36氪 - 科技频道 10月09日
以色列初创公司开源3B模型,性能超越谷歌Gemma
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

以色列AI初创公司AI21 Labs近日开源了其轻量级推理模型Jamba Reasoning 3B。该模型拥有30亿参数,可在手机、电脑等多种设备上运行,性能优于Qwen3-4B和Gemma 3-4B等模型。Jamba Reasoning 3B基于创新的SSM-Transformer架构,拥有256K的上下文窗口长度,最高可处理1M token,效率提升2-5倍。其优势在于智能性能不下降、领先的智能表现以及专为设备安全使用而构建,支持Apache 2.0许可,可离线运行并保护数据隐私。该模型的出现为智能体落地开辟了新路径,有望推动去中心化AI时代的发展。

💡 **Jamba Reasoning 3B模型性能卓越且高效**:该模型采用混合SSM-Transformer架构,在处理长上下文(高达1M token)时性能损耗极小,远超传统Transformer模型在32K token以上性能显著下降的特点。在基准测试中,Jamba Reasoning 3B在指令跟踪、常识性知识等方面表现优异,超越了DeepSeek、谷歌、Meta和微软的同类设备端模型,使其成为高级智能体系统和多模态应用的理想选择。

🚀 **专为设备安全和隐私优化**:Jamba Reasoning 3B模型获得Apache 2.0许可,允许用户直接下载到本地设备(如手机、电脑)进行定制化使用,实现完全安全的应用,即使在断网状态下也能正常运行。其混合SSM-Transformer架构显著减小了键值缓存(KV),降低了内存占用,使得在M3 MacBook Pro上每秒可生成40个token,上下文长度为32K,优于多款竞品,为设备端RAG应用提供了高效解决方案。

🌐 **推动轻量模型发展与智能体落地**:随着AI任务日益增多,云端大型语言模型面临经济效率挑战。Jamba Reasoning 3B这类轻量级设备端模型能够实现经济高效的计算分配,本地处理简单任务,并保留云端资源用于复杂推理。这不仅为制造业和医疗保健领域的实时应用提供了低延迟,增强了数据隐私保护,还有望开启一个去中心化的AI时代,加速智能体在各种场景下的落地应用。

以色列创企开源3B模型,性能碾压谷歌Gemma 3-4B。

智东西10月9日报道,昨日,以色列AI创企AI21 Labs开源轻量级推理模型Jamba Reasoning 3B。该模型有30亿个参数,可在包括手机、电脑在内的多种设备端运行,性能超过Qwen3-4B、Gemma 3-4B等业界顶尖模型。

Jamba Reasoning 3B开源截图

Hugging Face地址: http://huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B

A21称,Jamba Reasoning 3B基于其新的SSM-Transformer架构构建,上下文窗口长度为256K个token,能够处理高达1M token,与DeepSeek、谷歌、Llama和微软等竞争对手相比效率提升了2-5倍,在基准测试中取得领先成绩。

Jamba Reasoning 3B在人类最后测试等测评中超Qwen 3-4B等模型

其将Jamba Reasoning 3B的优势总结为三点:

1、智能性能不下降:由于采用了混合SSM-Transformer架构,Jamba Reasoning 3B比纯Transformer模型更高效。

大多数基于Transformer的模型在上下文长度超过32K个token时性能会显著下降,而Jamba Reasoning 3B能够处理更长的上下文长度,包括高达100万个token。这使得它在高级智能体系统或多模态应用中非常有用,因为长上下文理解对输出质量至关重要。

Jamba Reasoning 3B的性能虽上下文增长损耗小

2、领先的智能:Jamba Reasoning 3B的表现优于DeepSeek、谷歌、Meta和微软的其他设备端模型。

它在指令跟踪任务(IFBench)和常识性知识(MMLU-Pro和Humanity's Last Exam)方面尤为出色,这使得Jamba Reasoning 3B成为一款高效且智能的模型,可用于高级智能体工作流程或设备端RAG应用。

这些成果源于训练后流程,A21将RLVR、SFT、DPO和GRPO等对齐训练技术与自主研发的专有方法相结合,以确保模型质量。

Jamba Reasoning 3B测评超阿里、谷歌等模型

3、专为设备安全使用而构建:此模型获得Apache 2.0许可,可直接下载到用户的计算机或手机上,并使用用户自己的文件在设备上进行定制,以实现完全安全的应用程序,即使断网它们也可以继续运行

Jamba Reasoning 3B的混合SSM-Transformer架构成功利用了比原始Transformer架构小8倍的键值缓存(KV),即使在上下文增长的情况下也能保持较低的内存占用。

在M3 MacBook Pro上,它每秒可以生成40个token,上下文长度为32K,这一成绩优于Qwen3-4B、DeepSeek Distill Qwen 1.5B、Gemma 3-4B等模型,使其成为高级智能体应用程序中的精简组件。

在M3 MacBook Pro上每秒可以生成40个token

该模型目前支持的语言包括:英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。

结语:轻量模型加速迭代,开辟智能体落地新路径

随着企业将AI融入运营,基于云端的大型语言模型暴露出经济效率低下的问题。A21援引研究报告称,40%-70%的AI任务可以通过小型语言模型处理,通过智能路由将成本降低10-30倍。

像Jamba Reasoning 3B这样的设备端轻量模型能够实现经济高效的异构计算分配,在本地处理简单任务,同时保留云端资源用于复杂推理。这为制造业和医疗保健领域的实时应用提供了低延迟,为远程操作提供了离线恢复能力,并增强了数据隐私保护,有望开启了一个去中心化的AI时代。

本文来自微信公众号“智东西”(ID:zhidxcom),作者:李水青,编辑:心缘 ,36氪经授权发布。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Jamba Reasoning 3B AI21 Labs 轻量级模型 开源模型 SSM-Transformer 设备端AI 智能体 Jamba Reasoning 3B AI21 Labs Lightweight Model Open-Source Model SSM-Transformer On-Device AI Intelligent Agents
相关文章