黃仁勳宣布輝達創造NVLink 將可打造半客製化的AI基礎建設

輝達執行長黃仁勳今日宣布，輝達與台積電與合作，發明了一種名為CoWoS-L的新聯合製程，使得打造這些巨型晶片成為可能。「但我們仍希望晶片能更大，因此創造了所謂的NVLink。這是世界上最快的交換器，可打造半客製化的AI基礎建設」。

黃仁勳表示，Grace Blackwell從這個計算節點開始。這個計算節點就是其中一個節點。這是上一代的樣子，V200，而這是 V300 的樣子。請注意中間部分，現在已完全用液冷系統，但外觀上基本相同，你只需插入相同系統的機殼中即可。

這就是Grace Blackwell GV300系統，推論性能比之前提升一倍半，訓練性能則大致相同。這套系統擁有40 petaflops（千萬億次浮點運算），約等於2018年Sierra超級電腦的性能。當年 Sierra超級電腦搭載18,000個多GPU，這一個節點就替代了整部超級電腦，六年內性能提升了四千倍，這是極致的摩爾定律。

GV300 將在相同架構、相同物理尺寸、相同電機結構的基礎上升級內部晶片。它配備了全新的 Blackwell 晶片，推論性能提升一倍半，HBM 記憶體容量也提升一倍半，網路頻寬則增為兩倍，因此整體系統性能更高。

黃仁勳表示，AI與資料已經讓計算能力每十年提升約百萬倍，輝達仍在這條道路上。但達成這一點的方法不只是讓晶片更快，有晶片速度的極限，也有限制晶片尺寸的物理極限。在 Blackwell 的情況下，輝達甚至將兩顆晶片連接在一起實現這一目標。

「台積電與我們合作，發明了一種名為CoWoS-L的新聯合製程，使得打造這些巨型晶片成為可能。但我們仍希望晶片能更大，因此創造了所謂的NVLink。這是世界上最快的交換器。」

黃仁勳當場秀出有如脊椎的NVLink，這個 NVLink是每秒7.2 TB的傳輸速度。九個這樣的交換器安裝在該機架中，這九個交換器則透過這個奇蹟般的裝置連接。它非常重，約70磅，這就是 NVLink 骨幹（spine），有兩英里的纜線，共有5,000條結構化纜線，全都使用 PNSMASH 技術整合。

它將72個GPU與其他所有72個GPU透過一張稱為NVLink switch的網路相連。NVLink 骨幹的帶寬達130 TB/s。做個比較，全球整個互聯網的峰值流量約為900 Tbps，換算成Bytes後，它已經比整個互聯網的流量還要大。