三星電子美洲總部（DSA）副總裁 Sang-Yeon Cho 近日指出，隨著人工智慧（AI）應用日益深化，AI 基礎架構正從傳統的「運算中心」（computation-centric）模式，轉變為以「記憶體為中心」（memory-centric）的全新典範。他強調，目前業界尚未完全理解 AI 推論服務中關鍵的「每秒所需 Token 數」，實則由記憶體頻寬所決定。

Sang-Yeon Cho 解釋，記憶體頻寬是指記憶體與處理器之間數據傳輸的速度。這項指標直接影響 AI 系統能夠支援的用戶數量、請求處理速度、回應時間，以及上下文維持能力與資料吞吐量。他直言，三星銷售的不是數據單位「位元」（bits），而是「頻寬」。未來能夠成功的應用程式，將是那些懂得如何有效利用記憶體頻寬，而非僅僅擁有最大記憶體容量的應用。

為了應對 AI 運算面臨的挑戰，三星提出「記憶體中心運算」方案，主張從記憶體出發，定義所需頻寬，並探索最佳利用方式。這種做法顛覆了過去優先考量運算資源，再決定記憶體容量，最後才考慮封裝與功耗的傳統順序。三星也為此推出了 zHBM 產品，透過將高頻寬記憶體（HBM）直接堆疊在執行運算的加速器（xPU）上方，最大程度縮短數據傳輸距離並提升頻寬，預計在 2029 年後推出相關產品，比市場預期提早一年。該產品開發的挑戰之一是散熱問題，三星正透過 Hybrid Copper Bonding (HCB) 等技術來解決。

此外，隨著製程微縮在提升 AI 效能與功耗效率方面逐漸達到極限，先進封裝技術的重要性日益凸顯。這種技術能夠將多個晶片、記憶體以及不同製程節點的組件整合在單一系統中。Sang-Yeon Cho 提及，三星透過內部管理從系統、晶片到記憶體各層次的整合流程，以實現設計目標。例如，針對 HBM4，三星自行設計 4 奈米製程的底層晶片（base die），並採用一站式（one-stop）製程管理組裝與封裝，以最佳化功耗效率、訊號完整性、性能與頻寬等整體系統目標。他同時預告，位於美國德克薩斯州 Taylor 的第二座半導體生產設施「Taylor Fab 2」將在數年內投入營運。

另一方面，SK海力士也在美國印第安納州西拉法葉為其 AI 記憶體先進封裝生產基地舉行了動工儀式。該公司將投資超過 40 億美元，預計於 2028 年 10 月完成無塵室建置，並於 2029 年下半年開始量產下一代 HBM。這座印第安納廠將成為 SK海力士在美國的第一座 HBM 生產前哨基地，未來將把在韓國生產的晶圓送往當地進行先進封裝與測試，供應「美國製造」的 HBM 產品給美國客戶。這項投資預計將創造超過 7,000 個直接與間接工作機會。

這些發展顯示，全球半導體產業正加速佈局記憶體與先進封裝技術，以克服 AI 運算瓶頸。對於台灣半導體產業而言，這不僅突顯了高頻寬記憶體和先進封裝在未來 AI 硬體架構中的關鍵地位，也強化了台積電等在先進封裝技術領域具有領先優勢的業者在全球供應鏈中的戰略重要性。