以AI為核心的異質整合技術革命：AI時代的硬體焦慮

※如欲轉載本文，請與北美智權報聯絡

李淑蓮╱北美智權報　編輯部

IEEE (INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS，電機電子工程師學會) 的EPS (ELECTRONICS PACKAGING SOCIETY，電子封裝學會於2月舉行了「2025異質整合藍圖第8屆年會」[1]。在為期3天的年會中，來自產、學、研不同領域的專家針對先進封裝如何提升性能表現及降低能耗方面的議題發表了精闢的研究成果；很明顯的，AI成為了先進封裝的發展核心。在摩爾定律已走到盡頭的時候，為了達到AI訓練及運作的高性能需求，封裝技術的再精進似乎成了唯一選項。由賓州州立大學（PENN STATE UNIVERSITY）電機工程系系主任MADHAVAN SWAMINATHAN教授主導的CHIMES研究中心，正在積極探索異質整合在AI硬體上的應用與挑戰。CHIMES（CENTER FOR HETEROGENEOUS INTEGRATION OF MICRO ELECTRONIC SYSTEMS）由美國賓州州立大學主導，整合了來自喬治亞理工、UCLA、MIT等多所名校與產業夥伴，是JUMP 2.0計畫[2]的旗艦研究中心。

AI時代的硬體焦慮：軟體一直在進步，硬體能跟上嗎？

自從生成式AI (如ChatGPT) 橫空出世，人工智慧應用即進入爆炸性增長階段。但龐大的AI模型背後，是高達數千TFLOPS的運算力與龐大能耗支出。例如Nvidia使用4000個GPU的訓練模型，一個月耗即達10¹²焦耳，相當於全球年能量產量的十億分之一，如圖1所示。

在人工智慧應用以迅雷不及掩耳的速度席捲全球之際，其帶來的挑戰不容小覷。在眾人都關注AI軟體發展 (像機器學習ML技術) 的時候，硬體的難處也不容忽視。AI時代的硬體焦慮是：軟體一直在進步，硬體能跟上嗎？

傳統的摩爾定律（每兩年電晶體數量倍增）已逐漸放緩，單晶片的製程極限與成本已近天花板。因此，下一代AI硬體的發展，必須另闢蹊徑。AI的創新，不能只靠演算法與模型，硬體創新必須跟上，甚至領先。Swaminathan教授表示，當摩爾定律已不再是黃金定律時，異質整合正帶領我們走向摩爾的下一站。

為何異質整合會是AI硬體往前推進的答案？

異質整合（Heterogeneous Integration, HI）是將來自不同製程、功能、甚至材料的晶片組件（Chiplets），透過先進封裝技術整合在同一系統上 (像是SoC系統單晶片、SiP系統單封裝)。這種方式大幅提升彈性、降低成本，並有助於延續摩爾定律。

當AI模型日益龐大，訓練與推論需求導致系統必須具備高運算力、低延遲與極高的能源效率。傳統的單一晶片系統面臨面積、成本與散熱的極限，難以再單獨應對AI應用的高要求。異質整合透過多晶粒（chiplets）方式，將不同功能與製程的晶片模組化整合，讓設計更彈性、成本更低、效能更高，成為突破技術瓶頸的可行之道。

Swaminathan教授指出，異質整合的優勢有很多，主要包括以下幾項：

• 縮短開發時間：可重複使用成熟節點的模組化晶片。
• 提高良率與降低成本：小面積晶粒較易達成高良率。
• 提升性能與擴充性：可整合多種高速運算與記憶體模組，創造龐大的資料吞吐量。

CHIMES計畫：將HI引入AI應用主舞台

CHIMES於2025年HIR年會報告中展示了一套超大規模的AI晶片系統 (如圖3所示)，結構成分如下：

• 晶片模組數量：超過175個Chiplets
• 基板面積：高達50,000 mm²
• 總功耗：9KW
• 模組組成：CPU + GPU + HBM記憶體（高頻寬記憶體）

從系統結構來看，此AI晶片系統不僅多功且高效，然而，在執行上，至少面臨3大挑戰。

（１）挑戰1：高功率如何穩定供電？

要驅動高達幾千瓦的AI晶片系統，需要極高效率的電源架構。CHIMES提出封裝內整合電壓轉換器（Packaged IVR），可實現以下目標：

• 電流密度超過4A/mm²
• 功率轉換效率超過90%
• 使用GaN元件進行高頻（3-10MHz）零損耗切換（ZVS）

(2) 挑戰2：散熱 — 不能讓AI燒掉自己

AI晶片密度高，散熱壓力巨大。CHIMES發展出以下解方：

• AlN高導熱散熱塗層：晶粒間隙填充可導熱材料，提升熱擴散效率。
• 蒸發式冷卻與微流體通道：直接導入晶粒背面，解決超過30kW/cm²的熱通量。
• 內嵌冷卻晶片：將冷卻結構嵌入晶片與基板之間，提升本體熱控能力。

(3) 挑戰3：如何快速設計如此複雜的系統？

面對橫跨50,000mm²的系統封裝，傳統EDA設計工具顯得力不從心。CHIMES提出：

• 跨層級自動化設計平台：整合電路、熱控、封裝與可靠性考量。
• 全新驗證與簽核流程：支援M3D（Monolithic 3D）架構的設計與整合。

下一站：光子整合與RF晶片

由於未來資料傳輸將無法只靠電訊號，CHIMES正投入3D光波導（Photonic Waveguides）與矽光子（Si-PIC）的開發。透過玻璃基板整合雷射雕刻波導路徑，有望實現：高頻寬、低功耗的晶片間溝通；以及數據中心級的內部光通訊模組。

HI不只是技術，更是AI時代的基礎建設

Swaminathan教授表示，CHIMES計畫不僅代表前瞻技術，更揭示一個趨勢：AI的創新，不能只靠演算法與模型，硬體創新必須跟上，甚至領先。從多晶粒封裝、熱管理、電源轉換到光子傳輸，異質整合技術正在構築AI時代的基礎建設。當Moore’s Law 已不再是黃金定律，HI正帶領我們走向摩爾的下一站。

備註：

[1] 2025 Heterogeneous Integration Roadmap (HIR) 8th Annual Conference

[2] Joint University Microelectronics Program 2.0 (JUMP 2.0)

參考資料：

１.“Is Heterogeneous Integration (HI) ready for Artificial Intelligence (AI) ?”, Madhavan Swaminathan, Dept. Head of Electrical Engineering, William E. Leonhard Endowed Chair, and Director, CHIMES (an SRC JUMP 2.0 Center) of Pennsylvania State University; Emeritus Professor, ECE & MSE, Georgia Tech and Former Director, 3D Systems Packaging Research Center (PRC), Georgia Tech.

延伸閱讀&電子報訂閱連結：

【詳細內容請見《北美智權報》378期；歡迎加入NAIPNews網站會員，或以系統訂閱《北美智權報》】