專為大型推論（inference）工作負載設計人工智慧（AI）晶片的美國新創公司Etched.ai, Inc.，近期宣布完成3億美元的C輪募資，公司估值達到103億美元。這家AI晶片公司計畫在其總部附近興建一座佔地8萬平方英尺、耗電10百萬瓦的測試與原型設計設施，以支援變壓器（transformer）架構AI模型的運算需求，強化其開發能與傳統繪圖處理器（GPU）方案競爭的機架規模推論系統能力。

Etched.ai, Inc. 的硬體創新核心人物是 ASIC 及架構副總裁薩普塔迪普·帕爾（Saptadeep Pal）。他於2015年畢業於印度理工學院巴特那校區（Indian Institute of Technology (IIT) Patna）電機工程學系，並以班級第一的成績畢業。隨後，他前往美國加州大學洛杉磯分校（University of California, Los Angeles (UCLA)）深造，分別於2017年和2021年獲得碩士與博士學位。他的博士研究專注於晶粒（chiplet）架構的晶圓級處理器設計，並於2019年榮獲 Qualcomm Innovation Fellowship 獎項。

在加入Etched.ai, Inc.前，薩普塔迪普·帕爾曾在AI晶片龍頭輝達（NVIDIA）的先進架構研究團隊服務，參與V100、A100、H100等GPU的微架構與多GPU訓練策略開發。他也是Auradine（現名Velaura AI）的共同創辦人之一，專注於高效能運算基礎設施，並在此期間主導節能、低電壓矽技術的開發，並獲得多項基礎專利。

目前，薩普塔迪普·帕爾在Etched.ai, Inc.負責客製化特殊應用積體電路（ASIC）的開發，這些ASIC專為變壓器神經網路打造，透過將變壓器運算直接嵌入硬體，加速AI推論效能。Etched.ai, Inc.更開發出低電壓推論（Low Voltage Inference, LVI）方法，使數學處理單元能在不到傳統AI晶片一半的電壓下運作，支援高利用率的兆級參數混合專家模型（Mixture-of-Experts, MoE）。為了解決頻寬瓶頸並降低即時AI推論的解碼延遲，該公司將高頻寬記憶體（High Bandwidth Memory, HBM）與靜態隨機存取記憶體（SRAM）結合，形成混合式記憶體子系統，以支援大規模AI部署所需更快速高效的資料傳輸。Etched.ai, Inc.的領導團隊成員，亦包含來自輝達、博通（Broadcom）和張量處理單元（Google TPU programs）的資深工程師。