聯發科、高通喊生成式AI手機來了 為何記憶體需求看增？

生成式AI從雲端走向終端！聯發科（2454）看好生成式AI將引發革命，新發表的「天璣9300」旗艦5G生成式AI晶片算力大提升，能在不連網下啟動AI個人化服務，聯發科與高通投入下，AI手機將在2024年掀起浪潮，手機記憶體需求將提升，3個關鍵因素將影響AI手機體驗：AI算法模型、壓縮技術、支援多模態。

2024年將是生成式AI手機關鍵年，2023年生成式AI透過雲端龐大算力支持，應用爆紅，也讓世界見識到生成式AI威力，聯發科看好AI在裝置端威力，6日發表的旗艦晶片天璣9300就號稱已經可讓最高300億參數的大語言模型落地在手機上，離線提供有隱私的智慧化服務。

聯發科技總經理陳冠州表示，過去智慧手機特點是自動化跟反饋，未來的智慧手機將能做認知跟創造。不只是聯發科看好AI手機，高通日前發表旗艦晶片也一樣以AI為訴求。

天璣9300已經可運行70億參數的大語言模型，每秒處理速度可以跑20 Tokens，日前也已經嘗試運作130億個參數模型，聯發科承諾未來支援產品將問世，內部更嘗試跑330億個參數的大語言模型，期望以能跑大模型甩開對手競爭，也顯示未來AI手機將是大語言模型算力的競賽。

陳冠州表示，過去出售終端裝置晶片20億顆，總累積算力超過4.2億TOPS，未來3年目標把智能AI總算力提升到16億TOPS。高通半個月前才宣布驍龍8Gen 3可支援100億參數的AI模型，外電指出，運行70億參數大語言模型的速度是30 token/s。

若要把大語言模型塞入手機中，並在不連網不靠雲端算力，純粹利用手機本身內建的晶片算力跑模型，雖然能保留用戶隱私，但勢必有許多挑戰要克服。

首先是在大語言模型塞到手機中，肯定相當吃記憶體空間，AI手機未來記憶體容量是否從現在主流平均為8～16GB向上提升值得觀察。

聯發科舉例，330億參數的大語言模型要占33GB記憶體，加上手機本身跑Android系統就要3~4GB記憶體，若還要下載其他APP則需要更多記憶體，使手機硬體成本上升，故一般而言會壓縮AI模型，而聯發科則推出自家記憶體硬體壓縮技術NeuroPilot Compression，以軟體壓縮率60%以上概算，則330億參數大語言模型壓縮後將吃24GB記憶體，聯發科補充，現在未必需要把330億參數的大語言模型塞入手機中，但未來長期趨勢值得觀察。

高通的 Snapdragon 8 Gen 3 具業界指出，手機參考設計建議搭 24GB記憶體，但若要訴求中低階手機，需要搭配較小參數的AI模型，當然模型壓縮技術也持續進步，未來若可提高壓縮率，則裝置端的硬體資源不一定要擴大，手機依然也可以很聰明。

而天璣9300中包含一顆APU 790，支援「終端生成式AI技能擴充」技術（NeuroPilot Fusion），讓手機在大型生成式AI模型之上，可以外加個人偏好的技能擴充包，這也讓AI手機中的基礎大語言模型或許未必要很肥大，消費者可以根據個人需要下載專家技能模型。

舉例而言，自動生成AI以圖生圖，原生於手機中的人像變化造型風格可能只有10種，但消費者想要其他風格，可以另外自行下載技能擴充包，若希望有醫療背景知識或交通運輸相關能力，都能找到相對應模型下載強化，換言之，未來AI手機用越久，每個人手中的AI能力差異也會越大。

錢冠州表示，未來的世界，算力就是生產力，算法就是生產關係，數據就是生產資料，三要素成為算法改變世界的力量，AI的載體將是晶片，看好AI將引領第四次工業革命。

而AI模型是否夠聰明，絕對是用戶體驗的第一個印象，故聯發科跟高通都積極打造AI開發者平台及工具，期望有好的AI模型吸引消費者，最後則是AI手機必須支援多模態AI，包括聲音生成、文字生成、以圖生成圖等方式，並廣泛支援其他大語言模型，比方聯發科支援Meta LIama 2、百度文心一言、百川智能等，高通晶片支援OpenAI、Meta Llama 2模型、Android基礎大語言模型。