快科技资讯 09月01日
美团开源LongCat-Flash-Chat AI模型,创新MoE架构兼顾效率与性能
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

美团正式发布并开源了其LongCat-Flash-Chat AI模型,该模型采用了创新的混合专家(MoE)架构,总参数量高达5600亿,但实际激活参数量仅为18.6-31.3B,平均仅27B。这一设计显著提升了计算效率和性能。美团表示,LongCat-Flash-Chat在激活少量参数的情况下,性能已能比肩主流领先模型,尤其在智能体任务中表现突出,推理速度更快,更适合复杂应用。该模型通过“零计算专家”机制、跨层通道并行处理以及PID控制器微调专家偏置等技术,实现了高效训练和推理,并在多个基准测试中取得了优异成绩,包括通用领域知识、智能体工具使用、编程和指令遵循等,展现了强大的综合实力。

💡 **创新MoE架构与参数优化**:LongCat-Flash-Chat采用了创新的混合专家(MoE)架构,总参数量高达5600亿,但其核心优势在于实际激活参数量的显著降低。通过“零计算专家”机制,每token仅激活18.6-31.3B参数,平均激活量仅为27B。这种设计使得模型在保持强大性能的同时,极大地提高了计算效率和推理速度,降低了算力消耗,为复杂AI应用提供了更优的解决方案。

🚀 **卓越的性能表现与智能体优势**:美团声称,LongCat-Flash-Chat在激活少量参数的情况下,性能已能比肩当下领先的主流模型。尤其在智能体(Agentic)任务中,该模型展现出突出优势,其面向推理效率的设计使其拥有更快的推理速度,非常适合耗时较长的复杂智能体应用。模型在多个基准测试中均取得了优异的成绩,例如在Agentic评测集中表现出色,并在VitaBench(复杂场景智能体基准)中位列第一。

📈 **多维度基准测试结果**:LongCat-Flash-Chat在多项关键领域的基准测试中表现抢眼。在通用领域知识方面,其在ArenaHard-V2和MMLU等测试中得分名列前茅。在智能体工具使用方面,它超越了许多同等甚至更大规模的模型。在编程能力上,它在TerminalBench和SWE-Bench-Verified中也取得了令人瞩目的成绩。此外,在指令遵循方面,LongCat-Flash-Chat在IFEval等基准测试中更是位列第一,展现了其全面的能力和强大的通用性。

🔧 **高效训练与部署方案**:该模型在架构层面通过引入跨层通道并行处理,极大地提高了训练和推理效率,并在30天内完成了高效训练。在H800 GPU上实现了单用户100+ tokens/s的推理速度,且输出成本低至5元/百万token。美团还提供了基于SGLang和vLLM的高效部署方案,方便用户快速接入和使用,进一步降低了AI模型的应用门槛。

快科技9月1日消息,美团宣布正式发布LongCat-Flash-Chat AI模型,并同步开源,采用创新性混合专家(MoE),总参数量达560B(5600亿),实际激活参数18.6-31.3B,平均仅27B,从而实现计算效率与性能的双重优化。

美团声称,根据多项基准测试综合评估,作为一款非思考型基础模型,LongCat-Flash-Chat在仅激活少量参数的前提下,性能就可以比肩当下领先的主流模型,尤其在智能体任务中具备突出优势。

同时,因为面向推理效率的设计和创新,LongCat-Flash-Chat具有明显更快的推理速度,更适合于耗时较长的复杂智能体应用。

美团LongCat-Flash在架构层面引入“零计算专家(Zero-Computation Experts)”机制,总参数量560B,每token依据上下文需求仅激活18.6-31.3B参数,实现算力按需分配和高效利用。

为控制总算力消耗,训练过程采用PID控制器实时微调专家偏置,将单个token的平均激活量稳定在约27B。

此外,LongCat-Flash在层间铺设跨层通道,使MoE的通信和计算能很大程度上并行,极大提高了训练和推理效率。

配合定制化的底层优化,LongCat-Flash在30天内完成了高效训练,并在H800 GPU上实现单用户100+ tokens/s的推理速度。

LongCat-Flash还对常用大模型组件和训练方式进行了改进,使用了超参迁移和模型层叠加的方式进行训练,并结合了多项策略保证训练稳定性,使得训练全程高效且顺利。

针对智能体(Agentic)能力,LongCat-Flash自建了Agentic评测集指导数据策略,并在训练全流程进行了全面的优化,包括使用多智能体方法生成多样化高质量的轨迹数据等,实现了优异的智能体能力。

通过算法和工程层面的联合设计,LongCat-Flash在理论上的成本和速度都大幅领先行业同等规模、甚至规模更小的模型。

通过系统优化,LongCat-Flash在H800上达成了100 tokens/s的生成速度,同时输出成本低至5元/百万token。


LongCat-Flash架构图

通用领域知识方面,LongCat-Flash在ArenaHard-V2基准测试中取得86.50的优异成绩,位列所有评估模型中的第二名。

在基础基准测试中,MMLU(多任务语言理解基准)得分为89.71,CEval(中文通用能力评估基准)得分为 90.44。

这些成绩可与目前国内领先的模型比肩,且其参数规模少于DeepSeek-V3.1、Kimi-K2等产品。

智能体工具使用方面,LongCat-Flash即便与参数规模更大的模型相比,在τ2-Bench(智能体工具使用基准)中的表现仍超越其他模型;高复杂度场景下,在VitaBench(复杂场景智能体基准)中以24.30分位列第一。

编程方面,LongCat-Flash在TerminalBench(终端命令行任务基准)中,以39.51的得分位列第二,在SWE-Bench-Verified(软件工程师能力验证基准)中得分为 60.4。

指令遵循方面,LongCat-Flash在IFEval(指令遵循评估基准)中以89.65的得分位列第一,在COLLIE(中文指令遵循基准)和 Meeseeks-zh(中文多场景指令基准)中成绩分别为 57.10 和 43.03。


LongCat-Flash基准测试性能

美团同步提供了分别基于SGLang和vLLM的两种高效部署方案。

以下为使用SGLang进行单机部署的示例:

python3 -m sglang.launch_server \

--model meituan-longcat/LongCat-Flash-Chat-FP8 \

--trust-remote-code \

--attention-backend flashinfer \

--enable-ep-moe \

--tp 8

现在前往https://longcat.ai/ ,就能立即与LongCat-Flash-Chat开启对话。

开源平台地址:

Hugging Face:

https://huggingface.co/meituan-longcat/LongCat-Flash-Chat

Github:

https://github.com/meituan-longcat/LongCat-Flash-Chat

开源仓库统一采用MIT License,并允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Meituan LongCat-Flash-Chat AI Model Open Source MoE Artificial Intelligence LLM 美团 AI模型 开源 人工智能 大模型
相关文章