IBM發表可大幅減少記憶體用量的「小語言模型」 Granite 4.0

IBM日前發表其最新一代企業級「小語言模型」Granite 4.0，以創新的混合式架構 — 結合Mamba-2與Transformer技術，實現前所未有的效能與效率。Granite 4.0不僅大幅降低記憶體與硬體成本，更提供企業部署AI的安全性、可控性與彈性，為台灣各類型企業的AI應用落地提供強力支援。這一代模型優化了處理Agentic工作流程核心任務的能力，無論是獨立部署，或作為大型推理系統中的高效模組，皆能發揮關鍵作用。

Granite 4.0採用創新的Mamba/Transformer混合架構，突破傳統Transformer模型處理長文本的效能瓶頸。Mamba架構可線性擴展上下文長度，讓Granite 4.0在處理複雜任務時，大幅減少記憶體的使用量達70%，推理速度卻加快二倍，同時支援更平價的GPU包括家用硬體。這項突破對台灣中小企業與開發者意味著高效能AI不再是高成本的同義詞，而是人人可及的技術資源。

Granite 4.0已在IBM watsonx.ai平台正式上線，並同步支援Dell Technologies（Dell Pro AI Studio與Enterprise Hub）、Docker Hub、Hugging Face、Kaggle、LM Studio、NVIDIA NIM、Ollama、OPAQUE及Replicate等平台；未來也將支援Amazon SageMaker JumpStart與Microsoft Azure AI Foundry。

Granite 4.0提供多種模型規格，靈活應對不同場景；並預計於2025年底推出強化邏輯推理的Thinking模型。