Arm新利器上陣 加速從雲端到邊緣AI整合

Arm控股公司近期宣布透過將 Arm Kleidi 技術整合到PyTorch 和 ExecuTorch，促使新一代的應用在 Arm CPU 上運行大語言模型（LLM）。Kleidi 彙集了最新的開發人員賦能技術和關鍵資源，目標在於推動機器學習（ML）技術堆疊中的技術協作和創新。透過這些重要進展，Arm致力於為每一位 ML技術堆疊的開發人員提供更為順暢的體驗。

Arm策略與生態部開發人員技術副總裁 Alex Spinelli 表示，「Arm 正與領先的雲端服務供應商和框架設計者緊密合作，以打造便捷的開發環境，讓軟體發展人員能夠輕鬆地在基於 Arm 架構的硬體上加速人工智慧（AI）和 ML 工作負載。自該技術推出的四個月以來，Kleidi 已在 Arm CPU 上加速開發並顯著提升主要的 AI 效能。Arm 與 PyTorch 社群的緊密合作，印證了該技術可大幅減少開發人員利用高效率 AI 所需的工作量。」

Arm指出，在雲端，Kleidi 以利用 Arm Compute Library（ACL）強化 PyTorch 帶來的成果為基礎，為世界各地在 Arm 平台上優化 AI 的開發人員打造藍圖。使開發人員免去其不必要的工程工作，以便開發人員能將 Arm 視為運行其關鍵 ML 工作負載的首選平台。做為實現此一願景的關鍵一步，Arm直接與 PyTorch 和 TensorFlow 進行 Arm Kleidi Libraries （函式庫）的整合合作，這包括將基本的 Arm函式庫整合到上述的領先框架中。

透過優化torch.compile來更有效率地使用透過 ACL 提供的 Kleidi 技術，在基於 AWS Graviton3 上所測得的資料顯示，各類 Hugging Face 模型推理工作負載上的效能可提升1.35至2倍。這些僅是出色的雲端範例之一，卻代表了在 Arm 平台上普及 ML 工作負載時可實現的效能加速類型。Arm 將持續投入，以確保開發人員的 AI 應用，從雲到邊緣都能完美運行，其中包括新功能與前代的相容，進而使得開發人員能夠立即從中獲益。