AI & Big Data 10月30日 15:49
IBM发布Granite 4.0 Nano系列模型,主打边缘计算与设备端应用
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

IBM发布了Granite 4.0 Nano系列大语言模型,该系列模型专为边缘计算和设备端应用设计,将参数量分别控制在约10亿和3.5亿。新系列模型在继承Granite 4.0训练方法和数据规模的基础上,使用了超过15兆个Token进行训练。Nano系列提供了两种架构:一种是采用Hybrid-SSM的Granite 4.0 H 1B和H 350M,旨在提升长序列建模和执行效率;另一种是传统的Transformer架构Granite 4.0 1B和350M,以提供更广泛的工具链支持。IBM强调Granite 4.0家族是首批获得ISO/IEC 42001认证的开源模型,并提供数字签名以验证来源和完整性。评测显示,Nano系列在通用知识、数学、代码和安全等领域表现良好,尤其在指令遵循和工具调用方面展现出优势。

💡 **轻量化模型设计**: Granite 4.0 Nano系列模型将参数量显著降低至10亿和3.5亿级别,使其非常适合在计算资源有限的边缘设备上运行,满足了在设备端进行AI推理的需求,同时保持了较强的通用任务处理能力。

🚀 **双架构选择与优化**: 该系列提供了基于Hybrid-SSM的Granite 4.0 H 1B/H 350M,专注于提升长序列处理和执行效率,以及传统的Transformer架构Granite 4.0 1B/350M,以兼容更广泛的工具生态系统,满足不同部署场景的需求。

🛡️ **安全与合规保障**: Granite 4.0系列是首批获得ISO/IEC 42001认证的开源模型,所有发布的模型检查点均提供数字签名,确保了模型的来源可信和文件完整性,增强了用户的安全性和合规性。

📊 **性能表现优异**: 在通用知识、数学、代码和安全等多个评估领域,Granite 4.0 Nano系列模型的平均准确率超过六成,部分性能甚至逼近参数量更大的模型。特别是在指令遵循和工具调用方面,Hybrid-SSM架构展现出显著优势,证明了其在有限参数下仍能保持高水平的理解和推理能力。

IBM釋出Granite 4.0 Nano系列模型,主打邊緣運算與裝置端應用,將參數量壓低至約10億與3.5億兩個等級,同時維持泛用任務的可用表現。新系列延續Granite 4.0的訓練方法與資料規模,訓練資料量超過15兆個Token,現採Apache2.0授權在Hugging Face開放下載。

官方已與vLLM、llama.cpp、MLX等推論框架合作,提供或正完善對Granite 4架構的支援,利於快速評估與部署。

本次Nano系列提供兩種架構,其一是採用Hybrid-SSM的Granite 4.0 H 1B(10億)與H 350M(3.5億),目標在低參數條件下提升長序列建模與執行效率,其二是對應傳統Transformer的版本Granite 4.0 1B與350M,考量到部分生態對混合式架構尚未全面最佳化,提供較廣的工具鏈支援。

治理與合規是Granite 4.0的重要訴求,IBM再次強調,Granite 4.0家族是第一批獲得ISO/IEC 42001認證的開源模型,所有釋出的檢查點提供數位簽章,可驗證來源與檔案完整性。

在評測面向,IBM指出Nano系列針對一般知識、數學、程式碼與安全性等領域具有良好表現,並把指令遵循與工具呼叫列為重點能力,進行IFEval與Berkeley Function Calling Leaderboard v3等任務評測。目前市場上有不少參數約十億的小語言模型,包括Alibaba、Google與LiquidAI等團隊都持續更新此區間的模型,在官方公布的測試組合中,Granite 4.0 Nano的平均成績領先多數同級小模型。

根據官方測試,Granite-4.0-1B與Granite-4.0-H-1B在通用知識、數學、程式碼與安全性等多項評測的平均準確率均達六成以上,不僅超越Qwen3-0.6B與Gemma-3-1B-IT,也逼近參數更高的1.7B等級模型。在指令遵循與工具呼叫等任務導向測試中,Hybrid-SSM架構特別凸顯優勢,達到78.5%與50.2%的準確率。這些結果顯示Granite 4.0 Nano能在有限參數條件下維持高水準的語意理解與邏輯推論能力,兼顧模型精簡與運算效率。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

IBM Granite 4.0 Nano 大语言模型 边缘计算 设备端应用 开源模型 AI Large Language Models Edge Computing On-Device Applications Open Source Models
相关文章