簡立峰：倚賴四大雲端讓能源集中化 應發展邊緣AI生態

前Google董事總經理簡立峰29日表示，台灣在AI時代應掌握軟硬整合機會，小模型搭配邊緣裝置、物聯網裝置將能發揮大應用，因此未來邊緣裝置的硬體規格上升是重要的，原因有2，首先是能源使用分散化，其次是有利開發者創新，加速發展生態系。

簡立峰29日受邀出席Arm Tech Symposia 2024論壇以「掌握 AI 新契機：硬軟整合」演說，談台灣在邊緣裝置端發揮軟體整合的機會。

他解釋，如果大家長期倚賴三大或四大雲端業者，會產生「能源過度集中」問題，所有的東西都跑到雲端資料中心，對全世界不一定是最好的，但如果分散在邊緣裝置，就能做能源分散，故終端硬體規格上升很重要，意指才能跑得動小模型。

他也提醒，硬體開發者未來不要將自己的裝置綁在任何一個模型上，模型變化速度太快，應盡量把握自己的數據，模型盡量彈性，可以一直變換，這樣才能應付未來的發展。

終端硬體規格上升，對開發者而言也有好處，因為要開發一個20億參數的AI模型應用放在邊緣硬體裝置上，比開發一個4000億參數模型放雲端上更好著手。後者要打造一個模型，需要1萬顆GPU，台灣沒有此條件，但小模型如何運用到最好，台灣有很多厲害的科學家。

他表示，兩個AI是完全不同的量級，開發小AI模型因為參數小，開發者可以更快速任務導向的AI模型，而Arm的Kleidi軟體函式庫支援PyTorch，更便利於開發者打造邊緣AI，發展生態系。

邊緣AI利於開發者創新，打造生態系

軟體方面，AI產業正在努力將大模型縮小。AI模型的長期發展正朝成本下降及效能提高方向努力，AI模型尚未達到該甜蜜點。

要鼓勵開發者參與開發，簡立峰提醒，動機很重要，如果開發者做一支AI手機，模型在雲端跑，則使用者愈多，開發者要付錢給雲端公司就越多，這樣小型新創就做不了。

但如果邊緣裝置上有AI模型，或是瀏覽器上有AI模型，就能扭轉此現象，業者就有動機開發AI模型，現在連瀏覽器都能嵌入一個模型，未來AI應用將愈來愈方便。

而對於AI小模型的能力是否有打折？簡立峰表示，小模型的語言辨識能力沒有下降，實際上還有一點邏輯推理，未來的應用想像空間很大，他舉例兩個應用情境，一是開會時大家用自己的手機錄音，集體上傳做同步處理，就能打造一個無收音痛點的內容紀錄，場景二是可以將家中IOT如家庭視訊鏡頭加入AI，當長輩丟三落四遺忘物品，可以透過AI推理，從長輩經過的路線找出最可能掉在何處。

簡立峰表示，但目前軟硬整合還不容易，原因是AI模型還太大，硬體也還沒有完全支援整合，要非常瞭解邊緣裝置規格條件，優化運算資源及電力限制，選擇適合模型並優化它，才能將邊緣裝置或IOT整合在一起創造無限的價值。

而未來AI的部署跟管理也是一大重點，他解釋「GPU腦袋也會壞掉」，若有心人刻意對AI的答案不滿意，反覆詢問，最後AI模型會生氣，逐漸反應變差，就跟人腦一樣，開發者必須小心的保護AI模型腦。