AI & Big Data 10月03日 21:44
IBM发布Granite 4.0模型家族,混合架构提升长上下文处理能力
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

IBM发布了Granite 4.0语言模型家族,该系列模型采用Mamba-2与Transformer结合的混合式架构,旨在优化长上下文和高并发场景下的内存占用与输出质量。Granite 4.0系列模型被设计为可在通用数据中心和边缘环境稳定部署的小型模型,适用于多工具代理、客服自动化及长文档处理等企业工作流程,并强调开源和治理强度。其混合设计通过周期性穿插Transformer自注意力层来补充Mamba层的线性计算能力,从而在降低内存需求的同时,维持较高的吞吐能力和输出质量,降低了模型导入门槛,并提供了数字签名和漏洞奖金计划以确保治理和供应链信任。

💡 **混合式架构设计**:Granite 4.0模型家族的核心创新在于其采用Mamba-2层为主,周期性穿插Transformer自注意力层的混合式架构。这种设计巧妙地结合了Mamba的线性计算处理长上下文的优势,避免了Transformer在长序列处理中存在的平方级资源消耗,同时利用Transformer的自注意力机制来增强局部语境的判断能力,以实现对长上下文和高并发场景的高效处理。

📈 **内存占用与吞吐能力优化**:IBM强调,Granite 4.0在处理长上下文和多批次并行时,相比传统Transformer模型能显著降低内存需求,并在相同硬件条件下实现更高的吞吐能力。这使得该系列模型特别适合成本敏感的自建计算集群和需要处理多会话服务的场景,并且能在更经济的GPU上实现可接受的延迟和产出,从而降低了部署门槛。

⚖️ **开源与治理强化**:Granite 4.0遵循Apache 2.0协议开源,并在治理方面采取了多项措施。模型检查点提供数字签名以验证来源和完整性,IBM还与HackerOne合作启动漏洞奖金计划,以识别和防范对抗性攻击。此外,Granite是首个获得ISO/IEC 42001(2023版)认证的开源语言模型家族,将安全、隐私和可解释性等要求纳入AI管理系统流程,以满足高规范和关键任务场景的需求。

🎯 **性能与适用场景**:IBM表示,Granite 4.0在参数量更小的情况下,力求在指令遵循、工具调用和复杂RAG任务上达到或超越同级别开源模型。H-Small型号在Stanford HELM的IFEval和Berkeley Function Calling v3等基准测试中表现出竞争力,IBM计划年内推出更大、更小的型号以及独立的推理强化变体,以适应更广泛的企业工作流程,如多工具代理、客服自动化和长文档处理。

IBM發布Granite 4.0語言模型家族,主打以Mamba-2與Transformer結合的混合式(Hybrid)架構,目標在長上下文與高並行情境,降低記憶體占用並維持輸出品質。官方將此系列定位為可在一般資料中心與邊緣環境穩定部署的小型模型,適用多工具代理、客服自動化與長文件處理等企業工作流程,同時維持開源與治理強度。

Granite 4.0的核心變化是採用混合設計,以Mamba-2層為主,周期性穿插Transformer自注意力層,兩者約9比1串接。Mamba能以線性計算方式處理輸入,避免Transformer在長上下文的平方級(Quadratic)資源消耗的計算特性,搭配不依賴位置編碼(Positional Encoding)的做法,主要對應長上下文與高批次需求,Transformer則用於補強局部語境判斷。

IBM強調Granite 4.0在長上下文與多批次並行時,可較傳統Transformer模型大幅降低記憶體需求,並在相同硬體上維持較高吞吐能力,特別適合成本敏感的自建運算叢集與多會話服務。官方同時指出,模型可在更平價的GPU上達成可用的延遲與產出,降低導入門檻,混合系列相容於AMD Instinct MI300X,有利於在記憶體密集工作負載下擴展。

Granite 4.0目標是以更小參數,接近或優於同級開源模型的水準,特別在指令遵循、工具呼叫與複雜RAG任務。IBM表示,H-Small型號在Stanford HELM的IFEval與Berkeley Function Calling v3等基準測試中具競爭力,並計畫在年內補充更大與更小的型號,以及獨立的思考推理強化變體。

Granite 4.0採Apache 2.0授權,模型可於IBM watsonx.ai與多個平臺取得與運行,包括Hugging Face、LM Studio、Nvidia NIM和Ollama等。在推論框架與執行端,vLLM與Hugging Face Transformers已提供對Granite 4 Hybrid架構完整支援,而llama.cpp與MLX的吞吐最佳化仍在持續進行,便於開發者以既有堆疊快速驗證與上線。

治理與供應鏈信任方面,Granite 4.0全數檢查點提供數位簽章(model.sig)以供來源與完整性驗證,IBM同時與HackerOne合作啟動漏洞獎金計畫,聚焦越獄與其他對抗手法的實務風險通報。IBM並表示Granite為第一個取得ISO/IEC 42001(2023 版)認證的開源語言模型家族,將安全、隱私與可解釋等要求納入人工智慧管理系統流程,目標支援高規管與關鍵任務場景的採用決策。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Granite 4.0 IBM 语言模型 混合架构 Mamba Transformer 长上下文 开源 AI治理 Granite 4.0 IBM Language Models Hybrid Architecture Mamba Transformer Long Context Open Source AI Governance
相关文章