英特爾推新款AI加速器Gaudi 3 台積電5奈米生產
英特爾(Intel)推出新款AI加速器Gaudi 3,採用台積電5奈米生產,預計今年第2季向代工廠提供通用基板和開放加速器模型的標準配置,第3季全面上市。
英特爾表示,Gaudi 3加速器是專為高效能、高效率的生成式AI運算所打造,每台加速器都有專屬的異質運算引擎,運算效率高,並擅於處理複雜的矩陣運算,是深度學習演算法的基礎運算。
英特爾指出,Gaudi 3搭載128 GB的HBMe2記憶體容量、3.7 TB的記憶體頻寬和96 MB的靜態隨機存取記憶體(SRAM),能夠提供處理大型生成式AI資料集所需的記憶體,且適用於大型語言和多模態模型,有助於提升工作負載效能和資料中心的成本效率。
Gaudi 3加速器整合24個200 GB的乙太網路連接埠,提供開放標準網路,實現高效擴充,以支援大型運算集,並克服專有網路架構的供應商限制。
英特爾表示,Gaudi 3加速器是採用台積電5奈米製程生產,在B16浮點格式的運算效能,為前一代採用7奈米Gaudi 2加速器的4倍;Gaudi 3的記憶體頻寬和網路頻寬也分別是Gaudi 2的1.5倍和2倍。
英特爾說,Gaudi 3的參數模型訓練時間、推論吞吐量和推論能源效率皆優於輝達(NVIDIA)的H100,推理速度也優於輝達的H200。
延伸閱讀
贊助廣告
商品推薦
udn討論區
共 0 則留言
規範
- 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
- 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
- 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
- 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
FB留言