輝達GTC來了「推論晶片」上秀 市場關注整合Groq技術新產品

輝達年度盛事GTC將於美國時間3月16日登場，由執行長黃仁勳的主題演講揭開序幕。市場關注輝達如何力圖在競爭加劇下維持領先，預計該公司將公布整合Groq技術的新產品，專注於「推論」，將運行模型而非訓練模型。

這是輝達自去年12月以200億美元拉攏Groq之後的頭一款新產品。Groq是一家開發「語言處理單元」（LPU）的新創公司，其技術專為高速回應複雜的AI查詢而設計。

輝達預料推出一款基於Groq技術的LPU，和即將問世的新一代旗艦級「Vera Rubin」圖形處理器協同運作。這一系列產品目的在擺脫對手追趕，並應付新型態的AI應用之需。

金融時報引述知情人士報導，Groq架構的晶片採用SRAM（靜態隨機存取記憶體），而非HBM所使用的DRAM。SRAM取得較為容易，且更適合用來提升AI「推理」任務的速度。

Third Bridge分析師麥戈尼格爾（William McGonigle）也認為，輝達將推出一系列新的伺服器，結合Groq的晶片和輝達的網路技術，從而打造一款速度快、成本效益高的產品。而且麥戈尼格爾預測，輝達將將展示僅採用其自家中央處理器（CPU）的伺服器。

輝達執行長黃仁勳曾主張，單一系統即可既用於訓練新的AI模型，又執行隨後開發的聊天機器人和程式開發工具。各大科技巨人已投入數千億美元部署這些系統，但他們同時也正投資研發自家專用的 AI 晶片。

不過，隨著「代理型」程式碼系統等AI工具的複雜度日益提升，黃仁勳被迫放棄單一GPU即可應付所有工作的一貫主張。因此才有輝達和Groq的交易，涵蓋授權合作，以及對核心人才的延攬。

近期AI模型能力快速成長，焦點從「能不能訓練出更強的模型」，轉向「能不能把能力即時、穩定地送到每個使用者手上」，所以推論成了下一個關鍵，也是兵家必爭的新戰場。

輝達競爭對手FuriosaAI 執行長白俊（June Paik）表示，提供能更快速且容易部署的推論晶片，還有另一個好處。他指出：「很多企業希望利用現有的資料中心進行推論，但目前絕大多數的資料中心…都無法支援最新的液冷GPU。」