提示:本篇文章 1300 +字,阅读时间:5分钟。
前言
6 月 30 日,百度正式开源文心大模型 4.5 系列模型,本次开源从多个维度展现出强大的竞争力,为行业发展带来新契机。
开源模型规模与覆盖范围
本次开源涵盖从 0.3B 至 424B 参数量的 10 款模型,包含 47B、3B 激活参数的混合专家(MoE)模型以及 0.3B 参数的稠密型模型等,并实现预训练权重和推理代码完全开源。 开发者可在飞桨星河社区、HuggingFace 等平台便捷下载部署,同时开源模型 API 服务已在百度智能云千帆大模型平台上线!
技术实力与行业领先地位
百度早在今年 2 月就预告了文心大模型 4.5 系列的推出及开源计划,并如期兑现。在独立自研模型数量占比、模型类型数量、参数丰富度、开源宽松度与可靠性等关键维度,均处于行业领先水平。
在技术突破上,针对 MoE 架构提出多模态异构模型结构,适用于从大语言模型向多模态模型的持续预训练,在提升文本任务性能的同时,显著增强多模态理解能力。依托多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术,基于飞桨深度学习框架,大语言模型预训练中模型 FLOPs 利用率(MFU)高达 47%。
出色的实验成果与性能表现
(一)文本模型
文心大模型 4.5 开源系列在文本模型方面表现卓越, 基础能力强、事实准确性高、指令遵循与推理编程能力出色。在多个主流基准评测中超越 DeepSeek-V3、Qwen3 等模型。例如,数学推理的 SVAMP 测试中成绩达 90.2,常识问答的 MMLU 测试中以 78.4 的高分领先。
(二)多模态模型
在多模态模型领域, 文心大模型 4.5 开源系列具备卓越视觉感知能力,在视觉常识、多模态推理、视觉感知等主流评测中,表现优于闭源的 OpenAI o1。如在 DROP 测试中,多模态推理得分达 89.4。
(三)轻量模型
轻量模型上, 文心 4.5-21B-A3B-Base 文本模型效果与同量级的 Qwen3 相当;文心 4.5-VL-28B-A3B 多模态模型更是同量级中最好的多模态开源模型,与更大参数模型 Qwen2.5-VL-32B 相比也不落下风。
| 参考图 | ||
|---|---|---|
创新大门的 “金钥匙”
文心 4.5 系列不仅开源诚意十足,性能更是 “天花板” 级别。 其基于飞桨深度学习框架进行高效训练、推理和部署,在大语言模型的预训练中,模型 FLOPs 利用率(MFU)高达 47%。针对 MoE 架构提出的多模态异构模型结构,完美适配从大语言模型向多模态模型的持续预训练范式,在提升文本任务性能的同时,大幅增强多模态理解能力。 实测数据更是令人惊叹,在多个文本和多模态基准测试中,文心大模型 4.5 开源系列均达到 SOTA(State-of-the-Art)水平。在数学推理的 SVAMP 测试中, 成绩达到 90.2,远超 DeepSeek-V3、Qwen3 等模型;在常识问答的 MMLU 测试中, 以 78.4 的高分稳居前列;在多模态推理的 DROP 测试中, 得分 89.4,超越闭源的 OpenAI o1。 百度文心 4.5 系列的开源,是诚意与实力的双重彰显,为 AI 技术的发展注入全新活力。无论你是学术研究者,还是产业开发者,都能在这 10 款开源模型中,找到开启创新大门的 “金钥匙”。
👉 👉 👉 传送门 https://aistudio.baidu.com/playground
