美团技术 09月01日
LongCat-Flash-Chat:混合专家模型,高效智能体应用
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

LongCat-Flash-Chat正式发布并开源,采用创新性混合专家模型(MoE)架构,总参数560B,激活参数27B(平均),实现计算效率与性能双重优化。作为非思考型基础模型,其性能比肩主流模型,在智能体任务中尤为突出。得益于面向推理效率的设计,LongCat-Flash-Chat推理速度更快,更适合复杂智能体应用。模型在通用知识、智能体工具使用、编程和指令遵循等多个基准测试中均表现出色,部分指标领先同规模甚至更小规模模型。提供SGLang和vLLM部署方案,并已在Github、Hugging Face及官网开放。

🚀 **创新MoE架构与高效能:** LongCat-Flash-Chat采用了创新的混合专家模型(Mixture-of-Experts, MoE)架构,总参数量高达560B,但每次仅激活18.6B至31.3B参数(平均27B)。这种“零计算专家”机制通过PID控制器实时微调专家偏置,将算力按需分配,实现了计算效率和性能的双重优化,使得模型在保持较低激活参数量的同时,性能足以比肩当前领先的主流模型。

⭐ **智能体任务突出优势:** 该模型在智能体(Agentic)能力方面具备显著优势。通过自建Agentic评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据,LongCat-Flash-Chat在τ2-Bench和VitaBench等智能体工具使用和复杂场景智能体基准测试中均表现优异,甚至超越了参数规模更大的模型,在高复杂度场景下展现出强大的处理能力。

💡 **卓越的指令遵循与编程能力:** LongCat-Flash-Chat在遵循指令方面表现出色,在IFEval、COLLIE和Meeseeks-zh等多个指令遵循基准测试中取得了领先成绩,能够精确理解并执行复杂和细致的指令。同时,在编程能力方面,该模型在TerminalBench和SWE-Bench-Verified等基准测试中也展现出扎实实力,显示出其在实际智能体命令行任务和软件工程师能力验证方面的竞争力。

⚡ **极致的推理速度与成本效益:** 凭借面向推理效率的设计和工程优化,LongCat-Flash-Chat实现了更快的推理速度,在H800上可达100+ tokens/s。通过算法和工程层面的联合设计,其理论成本和速度均大幅领先行业同等规模甚至规模更小的模型,输出成本低至5元/百万Token,为耗时较长的复杂智能体应用提供了极具吸引力的解决方案。

🌐 **全面开源与便捷部署:** LongCat-Flash-Chat已在Github、Hugging Face平台同步开源,并提供基于SGLang和vLLM的两种高效部署方案,方便用户快速体验。用户也可直接访问官网https://longcat.ai/进行在线对话。开源仓库采用MIT License,允许用户自由使用模型输出及进行模型蒸馏等二次开发。

今天,我们正式发布 LongCat-Flash-Chat,并同步开源。LongCat-Flash 采用创新性混合专家模型(Mixture-of-Experts, MoE)架构,总参数 560B,激活参数 18.6B~31.3B(平均 27B),实现了计算效率与性能的双重优化。

根据多项基准测试综合评估,作为一款非思考型基础模型,LongCat-Flash-Chat 在仅激活少量参数的前提下,性能比肩当下领先的主流模型,尤其在智能体任务中具备突出优势。并且,因为面向推理效率的设计和创新,LongCat-Flash-Chat 具有明显更快的推理速度,更适合于耗时较长的复杂智能体应用。

目前,我们在 Github、Hugging Face 平台同步开源,同时你也可以访问官网 https://longcat.ai/,与 LongCat-Flash-Chat 开启对话。

技术亮点

LongCat-Flash 模型在架构层面引入“零计算专家(Zero-Computation Experts)”机制,总参数量 560B,每个 Token 依据上下文需求仅激活 18.6B~31.3B 参数,实现算力按需分配和高效利用。为控制总算力消耗,训练过程采用 PID 控制器实时微调专家偏置,将单 Token 平均激活量稳定在约 27B。

此外,LongCat-Flash 在层间铺设跨层通道,使 MoE 的通信和计算能很大程度上并行,极大提高了训练和推理效率。配合定制化的底层优化,LongCat-Flash 在 30 天内完成高效训练,并在 H800 上实现单用户 100+ tokens/s 的推理速度。LongCat-Flash 还对常用大模型组件和训练方式进行了改进,使用了超参迁移和模型层叠加的方式进行训练,并结合了多项策略保证训练稳定性,使得训练全程高效且顺利。

针对智能体(Agentic)能力,LongCat-Flash 自建了 Agentic 评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据等,实现了优异的智能体能力。

通过算法和工程层面的联合设计,LongCat-Flash 在理论上的成本和速度都大幅领先行业同等规模、甚至规模更小的模型;通过系统优化,LongCat-Flash 在 H800 上达成了 100 tokens/s 的生成速度,在保持极致生成速度的同时,输出成本低至 5 元/百万 Token。

性能评估

全面且严谨的评估表明,LongCat-Flash 是一款强大且全能的模型,它在多个领域表现出卓越的性能优势。以下将从不同维度详细解读:

    通用领域知识 方面,LongCat-Flash 表现出强劲且全面的性能:在 ArenaHard-V2 基准测试中取得 86.50 的优异成绩,位列所有评估模型中的第二名,充分体现了其在高难度“一对一”对比中的稳健实力。在基础基准测试中仍保持高竞争力,MMLU(多任务语言理解基准)得分为 89.71,CEval(中文通用能力评估基准)得分为 90.44。这些成绩可与目前国内领先的模型比肩,且其参数规模少于 DeepSeek-V3.1、Kimi-K2 等产品,体现出较高的效率。

    智能体(Agentic)工具使用 方面,LongCat-Flash 展现出明显优势:即便与参数规模更大的模型相比,其在 τ2-Bench(智能体工具使用基准)中的表现仍超越其他模型;在高复杂度场景下,该模型在 VitaBench(复杂场景智能体基准)中以 24.30 的得分位列第一,彰显出在复杂场景中的强大处理能力。

    编程 方面,LongCat-Flash 展现出扎实的实力:其在 TerminalBench(终端命令行任务基准)中,以 39.51 的得分位列第二,体现出在实际智能体命令行任务中的出色熟练度;在 SWE-Bench-Verified(软件工程师能力验证基准)中得分为 60.4,具备较强竞争力。

    指令遵循 方面,LongCat-Flash 优势显著:在 IFEval(指令遵循评估基准)中以 89.65 的得分位列第一,展现出在遵循复杂且细致指令时的卓越可靠性;此外,在 COLLIE(中文指令遵循基准)和 Meeseeks-zh(中文多场景指令基准)中也斩获最佳成绩,分别为 57.10 和 43.03,凸显其在中英文两类不同语言、不同高难度指令集上的出色驾驭能力。

模型部署

我们同步提供了分别基于 SGLang 和 vLLM 的两种高效部署方案,助您轻松部署、快速体验模型效果。

以下为使用 SGLang 进行单机部署的示例:

python3 -m sglang.launch_server \    --model meituan-longcat/LongCat-Flash-Chat-FP8 \    --trust-remote-code \    --attention-backend flashinfer \    --enable-ep-moe \    --tp 8

其他更为详细的部署指导请参阅 LongCat-Flash-Chat 仓库:

https://github.com/meituan-longcat/LongCat-Flash-Chat

全面开放,即刻体验

前往 https://longcat.ai/,立即与 LongCat-Flash-Chat 开启对话。 

开源平台地址:

此次我们的开源仓库统一采用 MIT License,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

LongCat-Flash-Chat 混合专家模型 MoE 人工智能 AI 大模型 LLM 智能体 Agent 开源 推理效率 Mixture-of-Experts AI Model Large Language Model Open Source Inference Speed
相关文章