快訊

桃園上午再度無預警停電共991戶受影響 台電解釋原因了

「沒休閒公設大樓」哪裡找? 內行解答公設比曝:數量比想像中多

汪小菲談闖大S家鬧警局!自稱受精神刺激…「那4天失憶了」

聯發科、高通喊生成式AI手機來了 為何記憶體需求看增?

聯發科技發表天璣9300旗艦5G生成式AI 行動晶片。聯發科提供
聯發科技發表天璣9300旗艦5G生成式AI 行動晶片。聯發科提供

生成式AI從雲端走向終端!聯發科(2454)看好生成式AI將引發革命,新發表的「天璣9300」旗艦5G生成式AI晶片算力大提升,能在不連網下啟動AI個人化服務,聯發科與高通投入下,AI手機將在2024年掀起浪潮,手機記憶體需求將提升,3個關鍵因素將影響AI手機體驗:AI算法模型、壓縮技術、支援多模態。

2024年將是生成式AI手機關鍵年,2023年生成式AI透過雲端龐大算力支持,應用爆紅,也讓世界見識到生成式AI威力,聯發科看好AI在裝置端威力,6日發表的旗艦晶片天璣9300就號稱已經可讓最高300億參數的大語言模型落地在手機上,離線提供有隱私的智慧化服務。

聯發科技總經理陳冠州表示,過去智慧手機特點是自動化跟反饋,未來的智慧手機將能做認知跟創造。不只是聯發科看好AI手機,高通日前發表旗艦晶片也一樣以AI為訴求。

天璣9300已經可運行70億參數的大語言模型,每秒處理速度可以跑20 Tokens,日前也已經嘗試運作130億個參數模型,聯發科承諾未來支援產品將問世,內部更嘗試跑330億個參數的大語言模型,期望以能跑大模型甩開對手競爭,也顯示未來AI手機將是大語言模型算力的競賽。

陳冠州表示,過去出售終端裝置晶片20億顆,總累積算力超過4.2億TOPS,未來3年目標把智能AI總算力提升到16億TOPS。高通半個月前才宣布驍龍8Gen 3可支援100億參數的AI模型,外電指出,運行70億參數大語言模型的速度是30 token/s。

若要把大語言模型塞入手機中,並在不連網不靠雲端算力,純粹利用手機本身內建的晶片算力跑模型,雖然能保留用戶隱私,但勢必有許多挑戰要克服。

首先是在大語言模型塞到手機中,肯定相當吃記憶體空間,AI手機未來記憶體容量是否從現在主流平均為8~16GB向上提升值得觀察。

聯發科舉例,330億參數的大語言模型要占33GB記憶體,加上手機本身跑Android系統就要3~4GB記憶體,若還要下載其他APP則需要更多記憶體,使手機硬體成本上升,故一般而言會壓縮AI模型,而聯發科則推出自家記憶體硬體壓縮技術NeuroPilot Compression,以軟體壓縮率60%以上概算,則330億參數大語言模型壓縮後將吃24GB記憶體,聯發科補充,現在未必需要把330億參數的大語言模型塞入手機中,但未來長期趨勢值得觀察。

高通的 Snapdragon 8 Gen 3 具業界指出,手機參考設計建議搭 24GB記憶體,但若要訴求中低階手機,需要搭配較小參數的AI模型,當然模型壓縮技術也持續進步,未來若可提高壓縮率,則裝置端的硬體資源不一定要擴大,手機依然也可以很聰明。

而天璣9300中包含一顆APU 790,支援「終端生成式AI技能擴充」技術(NeuroPilot Fusion),讓手機在大型生成式AI模型之上,可以外加個人偏好的技能擴充包,這也讓AI手機中的基礎大語言模型或許未必要很肥大,消費者可以根據個人需要下載專家技能模型。

舉例而言,自動生成AI以圖生圖,原生於手機中的人像變化造型風格可能只有10種,但消費者想要其他風格,可以另外自行下載技能擴充包,若希望有醫療背景知識或交通運輸相關能力,都能找到相對應模型下載強化,換言之,未來AI手機用越久,每個人手中的AI能力差異也會越大。

錢冠州表示,未來的世界,算力就是生產力,算法就是生產關係,數據就是生產資料,三要素成為算法改變世界的力量,AI的載體將是晶片,看好AI將引領第四次工業革命。

而AI模型是否夠聰明,絕對是用戶體驗的第一個印象,故聯發科跟高通都積極打造AI開發者平台及工具,期望有好的AI模型吸引消費者,最後則是AI手機必須支援多模態AI,包括聲音生成、文字生成、以圖生成圖等方式,並廣泛支援其他大語言模型,比方聯發科支援Meta LIama 2、百度文心一言、百川智能等,高通晶片支援OpenAI、Meta Llama 2模型、Android基礎大語言模型。

AI 智慧手機 聯發科 記憶體 高通

延伸閱讀

以台積電4奈米製程打造!聯發科新晶片天璣9300正式亮相

台股上漲141點!聯發科逾1年新高 三大法人買超216億元

美光迎 AI 新世代 台中四廠啟用 總裁:記憶體潛力無窮

哈佛商業評論推薦必讀AI趨勢 從打造軟體、產生商業構想、再到撰寫行銷文案

相關新聞

鴻海首部國產電動車上陣 展示完整電動車生態系

「2024 臺北國際車用電子展」17日於南港展覽館1館舉行。鴻海(2317)作為主要參展廠商,圍繞集團智慧電動車平台,進...

台積電下屆董事候選人名單出爐!林全與二外籍女獨董入列

台積電今日宣布十位董事被提名人,包括三位現任董事魏哲家、曾繁城、龔明鑫,四位現任獨立董事彼得‧邦菲爵士、麥克‧史賓林特、...

晶圓代工廠業者世界先進:電價若調漲15% 今年毛利率影響0.5%到1%

專業8吋晶圓代工廠世界先進董事長方略今日表示,政府決定宣布調漲電價,世界內部估算,若電價漲幅15%,世界因是用電大戶,一...

台積掀雲嘉搶水大戰 嘉義設廠向雲林借水

台積電將在嘉義科學園區設置兩座CoWos先進製程封裝廠,第一廠預計二○二八年量產,屆時每天需三點三萬公噸用水,水利署計畫...

台積電是黑船2.0翻轉日本失落30年?陳冲:勿讓一個人的武林孤芳自賞

台積電(2330)日本廠在熊本風光開幕,「經濟學人」以日本廠較美國廠擁有 more luck(更多的幸運)為題,不足一頁...

總裁展現信心 魏哲家:與台積競爭「門都沒有」

台積電總裁魏哲家昨(29)日指出,台積電不與客戶競爭、贏得客戶信任,或許對手會追上製程與技術,但台積電純晶圓代工模式獲得...

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。