快訊

評/政策買票選擇性兌現 退休軍公教情何以堪?

美中台博弈/外商投資雪崩 「觸頂的中國」是更危險還是更和平?

半個台灣有感!下午12時37分花蓮縣近海規模5.0地震 最大震度4級

訓練非英語AI模型 Meta專家:2大挑戰待克服

國科會以Meta語言模型Llama為基礎,發展融合台灣元素的可信任人工智慧(AI)對話引擎,Meta專家今天在Connect大會回答中央社提問時表示,打造非英語的語言模型,需要克服詞彙量差異、預訓練學習率下降等2大挑戰。

Meta今天在美國加州總部舉辦Connect大會,為COVID-19(2019冠狀病毒疾病)疫情後首度恢復實體舉行,會中發表Quest 3頭戴式裝置、圖像生成模型Emu、結合直播功能的新一代智慧眼鏡,為元宇宙鋪路。Meta僅邀請全球不到百家媒體與會,中央社為唯一親臨現場的華文媒體。

在Connect主題演講後進行的媒體團訪時間,中央社記者提問,台灣政府部門使用Llama打造中文版AI對話引擎,Meta能否為相關研究者提供建議。Meta AI研究科學家安琪拉.范(Angela Fan)表示,打造非英語的語言模型,會面臨一些挑戰,其中之一是詞彙量(vocabulary size)差異。

安琪拉.范指出,如果某個語言模型的詞彙量是根據英語文本進行訓練,那麼未來使用其他語言訓練時,會發現詞元(token)分布方式不同。

她以英語為例,一個單字可能被分成2個詞元,但在另一種語言中的一個單字可能被分成6個詞元,這會對生成式應用帶來更多挑戰,因為詞元分布的任何差異,都可能導致模型輸出錯誤。在大部分時候,人們嘗試透過第二階段的預訓練(Pre-training)來改善相關問題。

不過,安琪拉.范提到,預訓練資料的多樣性也帶來另一種挑戰。在世界不同地區,人們關心不同的事情,如果主要使用英語資料訓練語言模型,能涵蓋的知識範圍將受限,影響模型輸出結果。就實務而言,大多數語言模型進行預訓練時,學習率都會逐步下降,必須做出更多調整,也是需要克服的問題。

疫情 美國 語言

延伸閱讀

通膨頑固難以消散…景氣連十藍燈好恐懼? 專家:繼續佈局市值型ETF

Meta祖克柏親上陣 發表AI助理、會回答問題的智慧眼鏡

Meta進軍AI圖像生成 新款智慧眼鏡結合直播

AI大模型 為自駕車按下加速鍵

相關新聞

AI助輝達股價飆 市值近62兆躍居全球第4大公司

美國晶片大廠輝達(NVIDIA)公布的上季財報獲利消息遠優於預期,帶動昨天股價飆漲16.4%,使輝達成為全球市值第4大的...

Nvidia就像印鈔機!黃仁勳身價飆 站到全球20首富俱樂部門口

輝達(Nvidia)執行長黃仁勳有關人工智慧(AI)已觸及「臨界點」的說法,將這支股票推到令人眩暈的新高度。這波行情也讓...

黃仁勳:Nvidia正為中國市場提供兩款新AI晶片樣品

輝達(Nvidia)執行長黃仁勳表示,公司目前正為客戶提供兩款針對中國大陸市場的新型人工智慧(AI)晶片樣品,以鞏固在大...

影/SpaceX火箭順利升空!搭載月球探測器 美半世紀來首次嘗試登月

彭博資訊報導,億萬富豪馬斯克旗下的太空探索科技公司(SpaceX)於15日順利發射搭載月球探測器的獵鷹9號(Falcon...

泰國總理:台達電未來四年將在當地投資5億美元

彭博資訊報導,泰國總理賽塔說,台灣的科技公司台達電子,未來四年將在當地投資約5億美元。

馬斯克公司Neuralink 成功植入大腦晶片

美國科技富豪馬斯克廿九日在社群媒體X宣布,他共同創辦的神經技術公司Neuralink廿八日首度成功為一名人類患者植入大腦...

商品推薦

udn討論區

0 則留言
規範
  • 張貼文章或下標籤,不得有違法或侵害他人權益之言論,違者應自負法律責任。
  • 對於明知不實或過度情緒謾罵之言論,經網友檢舉或本網站發現,聯合新聞網有權逕予刪除文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。
  • 對於無意義、與本文無關、明知不實、謾罵之標籤,聯合新聞網有權逕予刪除標籤、停權或解除會員資格。不同意上述規範者,請勿下標籤。
  • 凡「暱稱」涉及謾罵、髒話穢言、侵害他人權利,聯合新聞網有權逕予刪除發言文章、停權或解除會員資格。不同意上述規範者,請勿張貼文章。