IBM發布Granite 4.0語言模型家族,主打以Mamba-2與Transformer結合的混合式(Hybrid)架構,目標在長上下文與高並行情境,降低記憶體占用並維持輸出品質。官方將此系列定位為可在一般資料中心與邊緣環境穩定部署的小型模型,適用多工具代理、客服自動化與長文件處理等企業工作流程,同時維持開源與治理強度。
Granite 4.0的核心變化是採用混合設計,以Mamba-2層為主,周期性穿插Transformer自注意力層,兩者約9比1串接。Mamba能以線性計算方式處理輸入,避免Transformer在長上下文的平方級(Quadratic)資源消耗的計算特性,搭配不依賴位置編碼(Positional Encoding)的做法,主要對應長上下文與高批次需求,Transformer則用於補強局部語境判斷。
IBM強調Granite 4.0在長上下文與多批次並行時,可較傳統Transformer模型大幅降低記憶體需求,並在相同硬體上維持較高吞吐能力,特別適合成本敏感的自建運算叢集與多會話服務。官方同時指出,模型可在更平價的GPU上達成可用的延遲與產出,降低導入門檻,混合系列相容於AMD Instinct MI300X,有利於在記憶體密集工作負載下擴展。
Granite 4.0目標是以更小參數,接近或優於同級開源模型的水準,特別在指令遵循、工具呼叫與複雜RAG任務。IBM表示,H-Small型號在Stanford HELM的IFEval與Berkeley Function Calling v3等基準測試中具競爭力,並計畫在年內補充更大與更小的型號,以及獨立的思考推理強化變體。
Granite 4.0採Apache 2.0授權,模型可於IBM watsonx.ai與多個平臺取得與運行,包括Hugging Face、LM Studio、Nvidia NIM和Ollama等。在推論框架與執行端,vLLM與Hugging Face Transformers已提供對Granite 4 Hybrid架構完整支援,而llama.cpp與MLX的吞吐最佳化仍在持續進行,便於開發者以既有堆疊快速驗證與上線。
治理與供應鏈信任方面,Granite 4.0全數檢查點提供數位簽章(model.sig)以供來源與完整性驗證,IBM同時與HackerOne合作啟動漏洞獎金計畫,聚焦越獄與其他對抗手法的實務風險通報。IBM並表示Granite為第一個取得ISO/IEC 42001(2023 版)認證的開源語言模型家族,將安全、隱私與可解釋等要求納入人工智慧管理系統流程,目標支援高規管與關鍵任務場景的採用決策。
