聯發科從「不會」到贏過GPT 蔡明介為何堅持做LLM？

「對於（營收）4,500億的公司來說，這是ESG的概念，即使收費也一點都不顯著。」聯發科（2454）人工智慧暨數據工程處副處長楊建州談到開發生成式AI服務平台「MediaTek DaVinci」（聯發科技達哥）及大語言模型（LLM）MR BreeXe背後的動機，除董事長蔡明介要求追求技術力，更希望台灣產業加速導入生成式AI。

聯發科9日發表450億參數的繁中語言模型MR BreeXe，為何這家IC設計公司堅持投資大語言模型LLM？聯發創新基地負責人許大山表示，董事長蔡明介曾說聯發科是一個以技術力為主，而不是以產品為主的公司，所以要做就做對世界有最重要影響的技術，以最好的人才去掌握，「而AI最重要的技術就是大語言模型」。

另外，聯發科運用「達哥」作為集團內部提高生產力的生成式AI工具平台已久，目前應用滲透率96%，跨部門生成式AI專案超過50個，88%使用同仁認同可以提升工作效率，從軟體開發需求分析、人資自動媒合、財務報銷都有用AI協助。

如今達哥變身成有40多家企業參與的開放平台生態系，能串接各家大語言模型如Anthropic公司Claude2/3、Google Vertex AI、Amazon Bedrock、微軟Cognitive AI、GPT3.5/4、DALLE3、及Google Gemini等，開放開發者上傳客製化外掛插件，成為百工百業都能應用的生成式AI工具平台，尤其是企業希望在「地端」使用生成式AI時，而目前國際開源大語言模型（LLM）可落地的選擇少，聯發科打造自有LLM就十分重要。

「在企業內部封閉環境，很多模型用不了，要就得自己下載去DIY，做得頭破血流，所以我們做了這個450億參數的模型，有很好的表現，看在這方面能不能幫大家一點？」許大山表示，MR BreeXe強調可以支援全地端或部分地端。

許大山透露，2年前聯發科決投入生成式AI，就是對標OpenAI，目標打造的大語言模型要成為繁中版GPT4。

聯發科這套LLM用輝達（NVIDIA）16台「DGX H100」AI系統，訓練歷時一個月，在繁中測試項目上表現超過GPT3.5。

許大山透露，2年前聯發科鎖定投入生成式AI時，同仁都不知怎麼做，「不會做，才更要做！」許大山指出，MR BreeXe不是聯發科最後一個大語言模型，「期望技術力能跟世界上最強的一樣強。」

不過，隨聯發科發布旗下大語言模型MR BreeXe，AI業者認為，該模型是基於Mixtral所開發，而Mixtral的弱點是呼叫外部功能能力不如OpenAI，後者目前是在功能呼叫上做得最好的，但若企業將生成式AI落地，則勢必是不能用OpenAI。

聯發科「MR BreeXe」是以Mixtral 8x7B模型為基礎去開發，具備Mixtral多專家模型的特色，運算資源節省，而聯發科又根據繁中進行優化，並導入生成式AI檢索增強生成（RAG）功能，可以讓企業在地端取用內部文件檔案協助工作，速度比Mixtral快，「我希望生成式AI可以普及台灣各產業，生成式AI是一個平台，聯發科已經做出來了，大家不要再花時間做。」許大山說。

而助攻聯發科訓練該大語言模型的夥伴是NVIDIA，NVIDIA去年在台灣設立「人工智慧創新研發中心」，去年底建置完成超級電腦「Taipei-1」後，建置64個DGX H100系統，而第一個從Taipei-1訓練出來的AI模型就是MR BreeXe，用掉系統資源1/4，凸顯聯發科與輝達關係密切。輝達的Taipei-1預計7月將釋出25%算力給一般企業團隊免費申請。

不僅輝達助攻，生成式AI服務應用平台「達哥」背後整合8個大模型服務，雲端服務由微軟Azure支援，聯發科很快將對外宣布達哥的服務方案，並透過協力系統整合商對外提供導入服務，目前系統整合商包括宏碁資訊、雲馥數位、賽微科技及緯創軟體。

意藍科技是AI語意分析、搜尋引擎、商業數據分析業者，在達哥平台上也推出相關應用。意藍策略行銷副總經理張建文表示，透過輿情資料庫開發出兩個小助理，一個是風向小精靈，另一個反向推出炎上小精靈，讓AI可以像幕僚一樣提前預警企業什麼事件可能會導致公司被「炎上」，聯發科透過廣邀開發者加入，在達哥平台推出並分享AI插件，未來商業模式將隨生態系逐漸豐富化進一步落實。