國泰金攜輝達 打造 AI 模型

國泰金控（2882）宣布與NVIDIA（輝達）合作，共同研究運用NVIDIA NeMo框架訓練台灣在地金融知識的大型語言模型（LLM），成果於昨（21）日在NVIDIA GTC Taipei發表，顯示LLM在處理專業金融知識方面可行性，為區域內具規模、特定領域的AI應用奠定基礎。

同時提出在台灣金融業導入AI智慧代理的藍圖，突顯國泰於技術領域的領導地位與創新承諾。

國泰金控去年領先市場推出「國泰生成式AI技術發展框架GAIA」，更宣布以AI即服務（AIaaS）策略全面提升集團在數位、數據、技術轉型效益，發展多元AI智能應用。此舉旨在透過導入多元AI解決方案，加速集團在數位、資料與科技領域的轉型進程。作為這項策略藍圖的一環，國泰金控與NVIDIA合作，共同研究如何運用NVIDIA NeMo在符合法規與商業需求的前提下，訓練台灣在地金融知識的大型語言模型，以契合台灣的市場需求。成果昨在NVIDIA GTC Taipei發表。

國泰金控副總經理暨國泰世華銀行數據長梁明喬表示：「我們運用台灣本地金融授信知識、法規文獻及實務案例等作為訓練語料，在模型上利用NVIDIA NeMo框架進行預訓練、微調等技術手法，藉NVIDIA的加速運算完成70至80億參數量的大型語言模型訓練。透過NVIDIA NeMo Curator框架，擴增訓練資料達四至五倍，大幅縮短資料準備時間，亦輔以NVIDIA TensorRT框架加速模型評估流程。成果顯示，此模型不僅能精準回應進階金融問答，亦具備通過進階授信人員證照考試能力，展現AI在金融領域的應用潛力。」

隨著全球AI技術快速演進，AI Agent（AI代理）正成為新一代人工智慧的發展趨勢。相較傳統具對話功能的工具型AI，AI Agent具備環境感測、記憶與自主規劃能力，能根據情境變化主動推論、規劃並執行任務，象徵AI由「回應式工具」正式邁入「主動型代理」新階段。

金融場域中，AI Agent的應用潛力無窮，惟發展金融AI Agent當中最重要的一項關鍵「具備金融知識的大型語言模型」，目前市面上多數屬通用大型語言模型，對於台灣在地金融知識、專業術語及產業實務掌握仍不足，缺乏深入理解台灣金融產業特定需求的能力，難以準確回應台灣市場金融使用者需求。此次國泰金控運用NVIDIA NeMo框架，成功訓練出具備台灣在地金融授信知識的大型語言模型，為未來金融AI Agent發展的願景推進了一大步。

梁明喬強調，國泰金控將持續與NVIDIA合作，持續強化具備更廣泛金融知識與實務應用能力的大型語言模型，並推進金融AI Agent的適應性推理、複雜決策輔助與情境感知任務執行等能力，涵蓋從交易處理、服務自動化到智慧資訊擷取等多元應用，盼開啟以AI驅動的智慧金融創新服務新時代。

此外，未來合作內容除了硬體與算力之外，梁明喬指出，國泰金控與NVIDIA為策略合作夥伴，未來除了善用NVIDIA的硬體與算力，雙方會持續在技術面、人才面進行深度交流。另，「國泰生成式AI技術發展框架GAIA，會一直開發下去。」梁明喬強調，GAIA已成為國泰金融集團所有AI內部應用的關鍵基礎，涵蓋技術框架、共同知識庫、模型選擇等，皆通盤加入GAIA思索。