企業 AI 燒 Token 太快？AMPIC 執行長吳柏翰提3對策

企業積極擁抱AI，但面臨使用AI必須耗費Tokens背後帶來的經濟課題，其次是企業資安需求，APMIC執行長吳柏翰表示，企業決定自建主權 AI 的常見考量有三點：一是產業合規需求，要求資料絕對不能上雲；二是長期的營運成本與穩定性。雲端模型不僅常因改版而提高收費，更面臨無預警斷線的風險。

第三是近年國際間甚至開始將 AI 模型視為國安級別的「武器」，很可能突然宣布某模型禁止出口，為了確保營運不中斷，並將核心知識鞏固在內部，企業自建專屬的主權大腦將成為必然趨勢。

APMIC是台灣 AI 主權的供應商之一，該公司推出企業 AI 平台PrivStation 2，訴求之一就是看好企業地端自建AI模型需求，要解決企業導入AI初期面臨Token燒錢痛點。

對於如何節省運算成本？吳柏翰指出，將大型通用模型改為專屬小型模型最顯著，一般常見的雲端模型通常擁有數兆等級（Trillion-level）的龐大參數，維持這類大腦的運作需要極高的算力與電費支出，但若專用模型，12B或30B大小模型就能勝任任務，模型縮小對硬體需求也降低，能省下9成運算成本。

其次，則是透過情境微調，以減少AI模型的思考成本。吳柏翰指出，現今雲端模型的計費方式中，輸出 token 的價格通常是輸入 token 的兩到三倍，且模型在運算時常會啟用「隱藏的思考模式」，這部分的算力消耗是使用者看不見也無法預估的，但如果先教AI思考邏輯跟流程，AI就能提高成功率，減少啟動思考模式的需求，讓Token消耗跟算力成本下滑。

第三是，由於雲端AI模型是按次按對話量計費，若AI客服面對客戶每次提問都要消耗Tokens量，很容易導致一個月燒了300萬Token但收益微乎其微，換言之，若將特定的工作交給地端小模型，就能降低變動成本，控制成本預算。

APMIC上週發表支援最新輝達GPU的企業 AI 平台PrivStation 2，讓企業在導入AI Agent時間加快，且Token消耗速度降低，吳柏翰指出，過去企業建置到軟體上線約耗費5~7個月，如今30天就能完成，內建120個系統微調模型及72萬種工作流，可以滿足企業地端AI需求。

APMIC鎖定國防、法律與金融AI 主權解決方案，未來也期望一路跨入產業主權及企業主權AI，打造成套的解決方案出海輸出。

APMIC是一個30人團隊，目前獲得金管會與20家銀行支持打造金融大語言模型，並是法務部大型語言模型的執行團隊，目前在政府國防、金融業的AI主權解決方案，一路從產業主權推進至企業主權，最終打造成套的框架並輸出國際。