iKala 自嘲 GPU 窮人 簡立峰挺黃仁勳：台灣適合 AI 微服務

「我們是 GPU 窮人！花了半年時間才買到 NVIDIA 的 A6000 GPU 卡四片，兜起來後，每天都把它操到（滿），我們最近真的很害怕電費往上漲，雖然 GPU 供給和緩，但 GPU 還是非常高價的東西。」AI新創 iKala 執行長程世嘉說。

程世嘉一番話，寫實描述AI新創現在面臨的挑戰，還有更多的不足，包括台灣市場太小，「缺乏驗證場域」，而另一大痛點在於AI GPU 迭代愈來愈快，架構也不斷變化，硬體部署的機會成本也成為AI新創思考課題。

「電信業者除了有算力（資料中心）外，還有數據及平台，這樣的大企業支持AI新創是方向。」前 Google 台灣區總經理簡立峰簡立峰目前擔任 iKala 董事，而為獲取更多驗證場域，iKala 已經走向日韓及東南亞市場。

台灣AI新創浮上台面，近期多家「數位雲端」股 Gogolook、科科科技等掛牌，中華電信領投 iKala 揭掛牌規劃，更引發關注，也凸顯AI新創與電信業者魚幫水、水幫魚的關係。

台灣20年前是PC代工大國，現在則有機會變成AI Fundry（AI製造）大國嗎？簡立峰表示，當年建構的PC產業，現在迎來新一波發展，而且是全面性的，過去PC時代 CPU 不是掌握在台灣手裡，這次AI浪潮，不只是在AI伺服器而已，邊緣端若也起來，則萬物各裝置都要AI，這就是過去所喊的 AIOT 時代實現。

這也是 NVIDIA 創辦人黃仁勳在今年 GTC 所倡議的「NVIDIA Inference Microservice」，簡稱 NIM，也就是幫客戶（AI產業）做服務，打造客製化AI模型，而其上是 NVIDIA 的 DGX Cloud 雲端，中間靠軟體工具層 NeMo 串接。

目前 NIM 已經提供20多種預訓練模型，開發者可以取用並快速調整成自己需要的專屬應用，縮短開發者打造AI模型時間，可以值得注意的是，這類應用多半是推論。

iKala 也看到相同的機會，簡立峰認為，屬於雲端的大型應用，更需要跨國型企業利用全球數據去推動，但邊緣端的應用，尤其是對特定場域的應用，就是台灣的機會，因為台灣比世界上任何國家都熟悉裝置端的硬體開發與製造，台灣有機會實現軟硬整合可能性。

而更可以觀察是，業者擺脫 NVIDIA 的動機。中華電信自行採購硬體打造 IaaS（Infrastructure as a Service基礎設施即服務），除了跟鴻海集團鴻佰合作採購 NVIDIA 的全套硬體方案，也跟技嘉採購 AMD 的解決方案或 Google 的 TPU，「我們會找其他夥伴做出更靈活彈性的整體解決方案出來」中華電信企業客戶分公司總經理張本元說，幫客戶規劃一站式的資料中心，「我們正在兜，不會太久」。

另一方面，iKala 除了企業端考慮產業機密期望雲地整合，並讓AI在地端而非雲上運作，打造完整企業解決方案， iKala 也同樣提供類似 NVIDIA 的 Microservice（微服務）服務，讓客戶可以快速拿到「專家AI模型」，目前2年來50多位工程師已經累積超過140多個AI模型與語言模型，不僅可以辨識聽懂語言，還可以理解語意。

「未來AI模型越小越厲害，」程世嘉表示，AI模型小一點，專精一點，企業應用面越大，而 iKala 累積140多個專家模型，有情緒分析或情緒偵測或行銷、資料彙整，幫助客戶做資料的拉管。

「未來5～10年，也許我們今天看到的 GPT4大小模型，會到企業端去，發展機會非常大，也希望台灣在邊緣端運算來臨時，有非常好的發展。」程世嘉說。