IT之家 08月11日
高通:OpenAI 最小开源模型 gpt-oss-20b 可在骁龙终端运行
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

OpenAI近期推出了其最小开源模型gpt-oss-20b,并在多个基准测试中表现出与OpenAI o3-mini模型相近的性能。高通公司宣布,这是首个可在搭载骁龙平台的终端设备上运行的开源推理模型。该模型支持在骁龙旗舰处理器上直接进行思维链推理,标志着OpenAI首次实现模型支持终端侧推理,打破了以往复杂模型仅限于云端部署的限制。高通通过集成测试发现,这款拥有200亿参数的模型在终端侧的推理能力极为出色,预示着AI助手式推理未来将在本地实现,同时也展现了AI生态系统的成熟度,使开发者能够利用骁龙平台快速采纳领先企业的开源创新。

💡 OpenAI发布了其最小开源模型gpt-oss-20b,该模型在常见基准测试中取得了与OpenAI o3-mini模型相似的结果,为AI模型在终端侧的部署开启了新篇章。

📱 高通宣布gpt-oss-20b是首个可在搭载骁龙平台的终端侧运行的开源推理模型,这意味着强大的AI能力将不再局限于云端,可以直接在智能手机、平板电脑等设备上实现,提升了用户体验和数据隐私。

🚀 gpt-oss-20b模型支持在终端侧直接进行思维链推理,这是OpenAI首次实现模型支持终端侧推理,这标志着AI模型部署模式的一个重要转折点,预示着未来复杂的助手式推理将能在本地完成。

⚙️ 高通通过提前获取gpt-oss-20b模型并结合Qualcomm AI Stack进行集成测试,验证了该模型在终端侧进行复杂推理的卓越能力,为开发者提供了在骁龙平台上利用该模型进行创新的基础。

🌐 开发者可以通过Hugging Face和Ollama等主流平台获取gpt-oss-20b模型,并将其部署在搭载骁龙平台的终端上。与Ollama的集成使得开发者和企业可以直接在终端上运行模型,并支持网页搜索等多种默认功能,无需额外配置,为AI应用开发带来了极大的便利。

IT之家 8 月 11 日消息,OpenAI 于 8 月 6 日推出了其最小开源模型 gpt-oss-20b,在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果。高通今日宣布,这是其首个可在搭载骁龙平台的终端侧运行的开源推理模型。

IT之家从官方新闻稿获悉,高通称 gpt-oss-20b 思维链推理模型可直接在搭载骁龙旗舰处理器的终端上运行。此前 OpenAI 的复杂模型仅限云端部署,这是 OpenAI 首次实现模型支持终端侧推理。通过提前获取模型,并结合高通 ® AI 引擎和 Qualcomm® AI Stack 进行集成测试,我们发现这款 200 亿参数的模型表现极为出色,能够完全在终端侧进行思维链推理。

高通认为这是一个关键转折点:预示着 AI 的未来方向,即丰富复杂的助手式推理也将在本地实现。这也展现了 AI 生态系统的成熟性,合作伙伴和开发者可以利用骁龙处理器,实时采用 OpenAI 等领军企业的开源创新成果。OpenAI 的 gpt-oss-20b 将助力终端设备利用终端侧推理,带来隐私保护和时延方面的优势,同时通过 AI 智能体为云端解决方案提供支持。

高通称,通过提前获取 gpt-oss-20b 模型,并结合 Qualcomm AI Stack 进行集成测试,见证了该模型的卓越能力,它能完全在终端侧进行复杂推理。开发者将可通过 Hugging Face 和 Ollama 等主流平台获取该模型,并在搭载骁龙平台的终端上发挥其性能。更多部署详情即将在 Qualcomm AI Hub 上公布。

将 Ollama 的轻量级的开源 LLM 服务框架和强大的骁龙平台集成,开发者和企业不仅可以直接在搭载骁龙计算平台的终端上运行 gpt-oss-20b 模型,还能够进行网页搜索等多个默认特性,无需额外配置。用户也可以在 Ollama 上尝试 Turbo 模式,以探索该模型的更多功能。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OpenAI gpt-oss-20b 高通 骁龙平台 终端侧推理 AI模型
相关文章