虎嗅 10月10日 11:23
开源模型思考冗长问题:效率与成本的权衡
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

开源模型如DeepSeek-R1在回答问题时常显得“节制”不足,尤其在简单问题上倾向于过度思考,导致单位token成本优势被稀释。NousResearch研究表明,开源模型在完成任务时普遍比闭源模型消耗更多token,尤其在知识问答类任务中,DeepSeek-R1消耗量是基准的4倍。尽管在复杂推理任务中差距缩小,但token消耗仍是效率考量的重要因素。AI生产力公司Mercor的研究也印证了这一点,Qwen-3-235B和DeepSeek-R1输出长度突出,虽提升了平均成绩,但代价是更高的token消耗。这引发了关于开源模型是否经济的讨论,以及在实际工作中如何根据任务类型选择合适模型的重要性。中国与美国在AI经济学上的发展路径也因技术储备、供应链及电力供给等因素而分化,中国开源模型侧重逼近前沿性能,而美国闭源模型则致力于降低token消耗。

🔍 **开源模型面临“思考冗长”挑战:** 以DeepSeek-R1为代表的开源模型,在处理简单问题时倾向于过度思考,导致其单位token成本的API价格优势受到侵蚀。例如,在知识问答任务中,DeepSeek-R1消耗的token数量是基准水平的4倍,这表明其在简单任务上的效率有待提升。

⚖️ **效率与成本的权衡:** 尽管开源模型在一些复杂任务(如数学题和逻辑谜题)上表现出色,其token消耗量仍高于闭源模型。这使得在实际工作中,选择合适的模型来完成特定任务成为一项重要的考量。AI生产力公司Mercor的研究也指出,部分领先的开源模型输出长度突出,虽然提升了平均成绩,但付出了token消耗增加的代价。

💡 **中国与美国AI经济学路径分化:** 中国的开源模型在国产替代的背景下,倾向于通过增加token消耗来逼近前沿性能,以换取更高的价值。而美国的闭源模型则更侧重于降低token消耗并提升token价值。这种分化也体现在模型迭代方向上:中国模型迭代伴随token消耗上升,而美国模型则致力于降低消耗。

🌐 **环境因素对模型经济性的影响:** 研究表明,实际部署环境中的软硬件优化措施对AI能耗影响巨大。例如,硬件改进、模型优化和工作负载优化都能显著降低能耗。然而,在特定场景下,如使用较低能效的芯片和高PUE数据中心,DeepSeek-R1可能成为碳排放量最高的前沿模型,凸显了基础设施对模型经济性的重要影响。

很多业内人士已经注意到,似乎DeepSeek-R1等开源模型,在回答问题时往往缺乏“节制”。尤其是简单问题,它想得过于复杂了。它的单位token成本的API价格优势,最终将可能被不受制约的“冗长思考”所侵蚀。

NousResearch团队一项研究,就是想搞清楚,开源权重模型在完成相同任务时,是否系统性地需要比闭源模型更多的token?当将token消耗数量纳入考量后,这种差异如何影响总体推理成本?这种效率差异在不同的任务类型中是否更加显著?

该研究发现,对于不需要复杂推理就可直答的知识题,开源模型的“浪费”最为明显,DeepSeek-R1-0528完成任务消耗的token数量——它既包括向用户呈现的输出结果,也包括思维链,并与实际计费的token数量相匹配——要比基准水平高出4倍。

不过,到了需要推理数学题以及更复杂的逻辑谜题,DeepSeek-R1-0528消耗的token数量,高出基准水平缩小至2倍左右。看来实际工作中,向合适的模型询问合适的问题是一大学问。

事实上,AI招聘独角兽公司Mercor的另一项独立研究也注意到了这一现象。在它提出的衡量大模型的AI生产力指数的APEX-v1.0基准上,Qwen-3-235B和DeepSeek-R1的输出长度都超过了其他前沿模型。它们思考得更久,可以弥补一些不足,提升了平均成绩,代价就是更多的token消耗。

但这也是“慢思考”刚推出时的魅力,不是吗?在预训练扩展边际放缓后,测试时扩展越来越重要,是提升解题能力的关键。回到NousResearch团队的研究上,DeepSeek-R1在各类逻辑谜题的准确率,也明显胜出一筹。也许它慢了一些,用的token也多了一些,但答对了题!

所以,开源模型相比前沿闭源模型,究竟经济不经济?

如果有一个最简易的统计公式,那么token经济可以归纳为:AI完成一项任务的收益=token兑现的价值-单位token成本×消耗token数量。

Token兑现的价值,一方面取决于模型能不能最终解决现实问题,另一方面则取决于它所解决的问题有多值钱。它下围棋战胜世界冠军,值多少钱?获得奥数金牌,又值多少钱?但更重要的是,在实际工作场景中创造出经济价值,而这些价值由市场来决定。

单位token成本也决定着模型的经济性。黄仁勋一直鼓吹“买得越多,省得越多”,就是从硬件与基础设施层面优化能效,降低运营成本的逻辑。这是美国的强项。目前,美国几乎所有AI云巨头与前沿大模型厂商,都在探索与部署AI定制芯片以降低推理成本。英伟达计划自研HBM基础裸片,OpenAI则找上了SK海力士与三星合作;闪迪甚至预见了数年后高带宽闪存HBF的颠覆性。

中国开源社区的贡献,主要在于算法和架构的改进,对MOE推理与注意力机制的探索层出不穷。阿里巴巴的Qwen3-Next架构,总参数80B,却只需激活3B,即可媲美旗舰版Qwen3-235B性能,效率大幅提升。DeepSeek最新发布的V3.2-Exp引入了DSA机制,能在成本更低的同时几乎不影响模型的输出效果。这些都体现为每百万token的输入和输出成本在持续下降。

微软近期一篇为自己的碳足迹“洗白”的论文中,驳斥过往的纸面研究,往往忽略了实际部署环境中的规模效应与软硬件优化措施。论文提到,就每次AI查询而言,实际能耗要比预估低8-20倍。其中,硬件改进带来1.5至2倍降幅,模型改进带来3至4倍降幅,工作负载优化带来2至3倍降幅。

这里的工作负载优化,既包括KV缓存管理与批大小管理等提升单位token生成效率的手段,也包括用户手动设置token预算上限,或自动触发智能路由调用合适模型等降低token消耗数量的技术。OpenAI坚持让实时路由系统,根据对话类型、复杂度、所需工具和明确意图快速决定调用哪个模型。字节跳动的Knapsack RL也是类似的预算分配策略探索。这些都是出于性价比的考虑。

很长一段时间以来,在讨论token经济学时,完成任务的token消耗数量,往往被人们所忽视。这一指标缺乏前述各类测评token价值的基准,也不在大模型API定价中直接标识出来。

但它无疑越来越重要,它决定着AI的经济性。实际工作不同于刷榜,往往存在明显的成本约束。前述微软论文也担心,随着多模型与智能体的广泛落地,更多的推理次数和更长的推理时间将带来更高的能耗。

不仅如此,要输出更多token,通常也意味着更长的响应时间,用户体验下降;对于部分必须高速精准响应的场景,这甚至是生死问题;单次任务越来越多的token消耗,也可能耗尽模型的上下文窗口,限制它处理复杂长任务的能力。

受限于各自的技术储备、供应链体系与电力供给条件,中国与美国在token经济学上已经各自分岔。中国开源模型的首要目标是在国产替代的现实中逼近前沿水平,用较多的token换取较高的价值;美国闭源模型则要开始想法设法去降低token的消耗,并提升token的价值。

从DeepSeek的R1到R1-0528,或者,从Qwen3-235B-A22B-thinking到Qwen-235B-A22B-thinking-2507,中国领先的开源模型的迭代,往往伴随着总token消耗的上升。而Anthropic、OpenAI与xAI的模型迭代,则伴随着总token消耗的降低。

到目前为止,NousResearch团队的研究认为,综合token消耗数量与单位token成本,DeepSeek等开源模型仍具备整体成本优势,但在最高API定价时,它的整体成本优势已经不再显著,尤其是在回答简单问题时。

结合中国的AI算力生态,token消耗过多的短板会进一步放大。有一项研究,专门就基础设施的框架,量化了前沿模型的硬件配置与环境乘数,对能耗、水与碳足迹的影响。在其设定场景下,DeepSeek-R1成为了碳排放量最高的前沿模型,且远高于其他模型。除了与o3类似,它大量依赖CoT深度思考,还因为该研究为它“分配”了H800等更低能效的芯片,以及更高PUE的数据中心。

当下对性能的追求压倒了一切。最终,起作用的将是AI的经济性,用尽可能少的token解决尽可能有价值的问题。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

开源模型 闭源模型 token经济学 AI效率 推理成本 DeepSeek-R1 Qwen-3 算力 模型优化 Open Source Models Closed Source Models Token Economics AI Efficiency Inference Cost Model Optimization
相关文章