聯發科宣布運用Meta Llama 2大型語言模型 加速終端裝置AI應用開發

IC設計大廠聯發科技今日宣布，將運用Meta最新世代大型語言模型Llama 2以及聯發科技最先進的人工智慧處理單元（APU）和完整的AI開發平台（NeuroPilot），建立完整的終端運算生態系統，加速智慧手機、汽車、智慧家庭、物聯網等終端裝置上的AI應用開發，為終端裝置提供更安全、可靠和差異化的使用體驗。預計運用Llama 2模型開發的AI應用將在年底最新旗艦產品上亮相，為使用者帶來突破性的生成式AI應用體驗。

聯發科技無線通訊事業部總經理徐敬全表示：「生成式AI的浪潮是數位轉型的重要趨勢之一，我們的願景是為Llama 2的開發者和終端使用者提供工具，帶來更多令人振奮的AI創新機會和產品體驗。透過與Meta的夥伴關係，聯發科技可提供更強大的硬體和軟體整體解決方案，賦予終端裝置更勝以往的強大AI效能。」

目前大部分的生成式AI處理都是透過雲端運算進行，聯發科技將生成式AI直接部署在終端裝置，讓開發者及使用者能直接在裝置上使用Llama 2模型，藉此提升性能、加強隱私保護、提高安全性及可靠性、降低延遲，能離線運算，並擁有節省成本的多項優勢，讓每個人都能享受到生成式AI帶來的便利與創新。

要真正在裝置上釋放生成式AI的潛力，製造商需採用高運算、低功耗的AI處理器，以及更快、更可靠的連網性能，以增強整體運算能力。目前每一款由聯發科技系統單晶片驅動的5G智慧手機皆配有APU，已有廣泛執行多項生成式AI功能的成功實例，例如AI-NR雜訊抑制、AI-SR超高解析度、AI -MEMC動態補償等。

聯發科技將於今年年底推出最新一代的旗艦晶片組，並採用針對Llama 2模型而優化的軟體堆疊架構（NeuroPilot），與搭配支援Transformer模型做骨幹網路加速的升級版AI處理單元，降低DRAM存取消耗及頻寬佔用，進一步強化大型語言模型和生成式AI的性能，以利開發者打造令人期待的全新AI應用，加速終端應用的落地擴展。