趙坤茂／Token的百變角色

若長期關注資訊科技，對Token這個字詞必不陌生。在環狀網路Token Ring中，它是掌控網路發言權的通訊令牌；在虛擬貨幣區塊鏈中，它是代表去中心化的數位資產載體；而在ＡＩ模型中，它是將真實世界的複雜資訊轉化為機器能夠運算、理解並重組的「最小資料顆粒」。

Token的譯名多元，包括代幣、令牌、詞元、點數、通證、權杖、信物…等，其百變角色可見一斑。其實，Token本身往往不具法幣地位或實質功能，但只要獲得系統承認，它就擁有其所代表的價值與功用；例如今年三月從台北捷運退場的「藍色塑膠代幣」單程票，就是一種Token。

Token在ＡＩ大型語言模型領域裡的通用譯名是「詞元」，隱含「字詞」和「基本單元」的概念。例如英文單字「Apple」或中文詞組「角色」，皆可算是一個Token。當我們使用ＡＩ工具時，輸入的提問會被系統切分為Token，然後經歷了一場從自然語言到高維度向量，再從機率分布還原為文字的複雜循環。最終，各個流程所用到的Token總數，就被用來估算工作總量與費用總額。

若將本文標題「Token的百變角色」這十個字符輸入ＡＩ，它會被切成五塊：Token（獨立的英文字詞）、的（常用字）、百（常用字）、變（常用字）、角色（視為一個語義詞組）。因為ＡＩ的本質是數學模型，所以這五個字詞還會被轉換為數字編號，在ＡＩ內部運算時的代碼可能就像這樣：[39017, 11674, 53232, 98939, 44030]。

讀者或許好奇，「百變」明明也是一個詞，為何要拆成「百」和「變」呢？這是因為ＡＩ的詞典容量有限，無法把中文所有的兩字詞、三字詞、四字成語通通塞進去，否則它會直接爆表。職是之故，ＡＩ只能把獨立編號留給最常出現的明星詞組，例如「角色」天天有人講，所以它在詞典占有一席之地；「百變」卻不夠熱門，所以會被拆成兩個常用字「百」與「變」。

當ＡＩ切割中文字句（Tokenization）時，如果詞典裡有對應的字詞，它就直接用；如果沒有，就拆成單字來拼湊。雖然中文言簡意賅，但由於ＡＩ詞典裡裝的中文詞組有限，遇到不常用的就只能拆成單字，甚至像「喆」這樣的次常用字，還會算成兩個Token；而罕見字「鱻」更會算成三個Token，所以用中文跟ＡＩ聊天，通常比用英文聊更貴。

在多模態ＡＩ的應用中，文字Token只是其中一環，實際上萬物皆可化為Token。當你給它看一張照片，它會把照片切成多塊小小拼圖，這叫「圖片Token」；當你對它說話，它會把你的聲音切成多段的短短聲波，這叫「音訊Token」；當你給ＡＩ看影片時，它會啟動空間與時間編碼，把影片的每一格畫面，以及畫面之間隨著時間變化的動態軌跡，變成精簡的「影片Token」。當大家使用ＡＩ服務時，Token的使用總量包括用戶的提問、ＡＩ的回覆、系統的背景設定等；倘若超過免費額度，就得購買能處理更多Token的「運算額度」。

Token已然是ＡＩ吞吐萬物和運算推理的「基本核心單元」，未來誰能更高效率、更低成本、更長脈絡地處理Token，誰就更能稱霸數位市場。「贏Token者，得天下！」（作者為台大資工系教授）