快訊

導航又出錯?外籍騎士誤闖國道1號內壢段撞車 骨折噴飛嚇壞用路人

鴻海攜輝達造台灣最大推論算力中心 2026啟用!首期27MW上線

國泰金控技術年會舉行高峰對談,以「台灣大型語言模型落地實踐挑戰,推動下一波AI產業革新」為主題,邀請國政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔、鴻海科技集團亞灣超算股份有限公司執行長姚延宗與會。王郁倫攝影
國泰金控技術年會舉行高峰對談,以「台灣大型語言模型落地實踐挑戰,推動下一波AI產業革新」為主題,邀請國政治大學金融科技研究中心主任王儷玲、國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔、鴻海科技集團亞灣超算股份有限公司執行長姚延宗與會。王郁倫攝影

鴻海(2317)今年5月宣布與NVIDIA合作打造亞灣超算股份有限公司(AI算力中心),將購買1萬顆Blackwell Ultra架構GB300 GPU,建立首期27MW電力容量的超級算力,定位為以推論為核心的本土算力基地,該中心量產後將成為台灣最大的推論算力集群。

亞灣超算執行長姚延宗20日出席國泰金控技術年會」指出,超算中心目標2026年上半啟用,提供真正本土算力出品的服務,讓企業能更有效率、更彈性地使用運算資源,概念上類似「喝牛奶不一定要在家裡養牛」。

現在許多AI算力中心設計架構適合用於訓練,而鴻海亞灣超算將更專注提供推論應用。他分享,GB300的算力中心設計架構跟GB200全然不同,目的也不同,後者聚焦AI訓練,而GB300聚焦推論,由於推論應用常被期待在幾秒甚至幾毫秒快速反應作答,若GPU機群距離太遠,可能會因資料傳輸而影響推論效率。

姚延宗指出,GB300算力中心是重資本投資,對硬體環境的要求也高,舉例而言,樓地板的承重要求是每平方公尺兩噸,相對一般辦公大樓每平方公尺500公斤承重標準,其實遠高的多,而這也將使傳統資料中心硬體跟不上GPU機群建置要求。

三大任務 2026年上半啟動

他解釋,亞灣算力中心有多重任務,首先,台灣企業或公部門的AI運算資料目前大多通過境外GPU算力完成後再回傳,部署本地GPU集群能將台灣企業的專業資料Domain Data和敏感資料留在本地。

其次,未來的AI Agent應用(例如推論 Inference)要求在幾秒或幾毫秒內回應,若GPU集群距離太遠,將影響推論效率,一些企業的研發專案或POC驗證,若需反覆修改,在地算力能更即時有效率,加快企業修改。

第三點,他透露目前也會跟國際大型AI模型商洽談合作,期望大型LLM落地亞灣超算,與其從無到有訓練台灣自有LLM,現階段更有效率方式是跟國際LLM合作,引進台灣後針對個別產業加入專業知識庫做優化。

亞灣超算也將與國泰金控合作,就金融AI模型進行POC驗證,姚延宗指出,政府已將資料治理納入AI十大建設中,他也期盼並可能透過修法適度放寬資料限制,呼籲能盡速在資料來源取得問題上進行「鬆綁」或「共享」,這對AI應用發展相當重要,另外政府若能有AI治理單一窗口將加快發展效率。

攜手國泰金(2882) 打造本地LLM應用

今年上半,金管會成立「金融市場發展與創新處」,邀集金融總會與4家國內金控業者中信金(2891)、玉山金(2884)、凱基金與國泰金成立「金融科技產業聯盟」,期望打群架,共同推動金融科技應用研發、數位金融產業標準、金融科技投資交流及異業生態共創。

國立政治大學金融科技研究中心主任王儷玲指出,業界需要一個產官學都認同的共同協作平台,以驅動台灣成為AI大國,初期,產業大聯盟已開始進行大型模型訓練,由中信金控主導,平台建立後下一步將擴展到保險業及機器人理財投資等領域。

王儷玲指出,政大金融AI創新中心將建立一個知識庫,整理包含學術界資料、考試試題、法規證照等資料,資料清理及模型檢測後,會調教該模型的邏輯思考跟問答,同時在AI模型的標準化上也會努力,並取得法遵及主管機關的認可,且能加入新資料不斷測試精進。

另外透過AI專屬沙盒,提供容錯措施進行多情境訓練,讓AI可以階段性優化。

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔也指出,雖通用型AI如GPT5.0已經很聰明強大,但專門為金融業Finetune的AI模型仍有必要。他指出,檢索不等於內化的知識,專門訓練的模型將所有知識內化於參數中,能針對結構化問題和邏輯推理提供更穩定的回答。對於處理跨越多項金控法規、內外規的複雜多跳式問答尤其重要,能避免RAG模式下資訊量過大導致的內容丟失問題。

鴻海亞灣超級算力中心日前預告將搭載NVIDIA Blackwell Ultra系統,包含GB300 NVL72機櫃級解決方案,配備NVIDIA NVLink、Quantum InfiniBand以及Spectrum-X乙太網路,預計2026年上半完成第一階段建置,而未來也有第二階段方案將啟動。

國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔、鴻海科技集團亞灣超算股份有限公司執行長姚延宗。王郁倫攝影
國泰金控數數發中心數據暨人工智慧發展部副總經理劉浩翔、鴻海科技集團亞灣超算股份有限公司執行長姚延宗。王郁倫攝影
國泰金控副總經理施君蘭與政治大學金融科技研究中心主任王儷玲。王郁倫攝影
國泰金控副總經理施君蘭與政治大學金融科技研究中心主任王儷玲。王郁倫攝影

國泰金控 AI GPU

延伸閱讀

輝達總部用地北市備案多 「更大、更便宜」選項浮現

鴻海劉揚偉出席東元全球策略大會 美AI商機成焦點

一下高鐵車站就到了 苗栗爭取輝達設立AI製造與研發基地

輝達土地後續...業界高層建議新光吳東亮大智慧合意解約 創造三贏

相關新聞

日官房長官:台積電熊本3奈米廠符合日政府戰略目標

熊本日日新聞報導,台積電董事長魏哲家今上午已在日本首相官邸向日相高市早苗說明,興建中的熊本二廠將打造成日本國內第一座量產...

拚農曆年前簽約!輝達北士科權利金今拍板 北市府終完成「最後一哩路」

輝達進駐北士科T17、T18步入最後階段,北市府下午舉行區段徵收市地重劃委員會,台北市副市長李四川指出,權利金已拍板定案...

訪台行程最後一站!黃仁勳私廚宴謝魏哲家:我為台積電感到驕傲

輝達(NVIDIA)執行長黃仁勳今天晚間與台積電董事長暨總裁魏哲家等高層在台北市私廚聚餐,感謝台積電過去一年來的辛勞,並...

黃仁勳「兆元宴」再登場! 魏哲家、劉揚偉等科技巨頭齊現身

輝達(NVIDIA)執行長黃仁勳今晚宴請供應鏈夥伴高層,台積電董事長暨總裁魏哲家、鴻海董事長劉揚偉、廣達董事長林百里、華...

輝達尾牙宴黃仁勳夜市風上場 通化街水果阿姨成座上賓

輝達(NVIDIA)今日在南港展覽館二館盛大舉行尾牙宴,今年公司以「輝達尚蓋讚」為主題,Dress Code則走「夜市風...

輝達第二總部落腳洲美?里長促開發就怕「一邊新世界、一邊都田地」

輝達傳出要在北市增設台灣第二總部,地點落腳洲美段,不排除是洲美國小預定地。當地里長樂見其成,也喊話中央和北市府,盡快促成...

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。