关注前沿科技 2025-10-17 17:43 北京
融合知识与图搜索的智能优化引擎
InternAgent团队 投稿量子位 | 公众号 QbitAI
在代码层面，大语言模型已经能够写出正确而优雅的程序。但在机器学习工程场景中，它离真正“打赢比赛”仍有不小差距。
因为像AutoML任务与Kaggle竞赛，不仅要求生成可运行的代码，更要求在数据处理、算法设计层面持续迭代与高性能调优。过去，这一过程往往依赖专家经验与反复试错，使模型难以高效突破瓶颈。
然而，现有基于大模型的机器学习智能体仍受限于两大问题：
缺乏细粒度的领域先验，导致在庞大搜索空间中探索效率低下；
传统的线性或树状搜索结构让不同分支彼此孤立，经验难以共享与复用，从而限制了智能体的自进化能力。
简单来说，就是它们会写代码，却还不会“聪明地优化”代码。
在此背景下，上海人工智能实验室联合华东师范大学提出了AutoMLGen，一个融合通用大模型推理与领域知识的智能编程框架。
其核心为自研的蒙特卡洛图搜索（MCGS），通过“分支—节点动态融合”打破传统MCTS的孤立局限，让不同搜索分支可共享高价值节点；并结合领域知识库与算子级优化，将搜索重点快速聚焦到有效空间，实现轨迹复用、跨分支聚合与过程学习。
AutoMLGen在仅使用DeepSeek-R1模型的情况下，以36.4%的平均奖牌率和18.7%的金牌率登顶MLE-Bench榜单，用标准时长一半（12小时）的计算预算实现“更准、更快、更省”，体现了AI智能体从“代码生成”到“算法优化”能力的转变。
AutoMLGen框架：融合知识与图搜索的智能优化引擎
AutoMLGen是一个面向机器学习工程任务的智能优化框架，让大语言模型在代码生成之外，具备了持续优化与经验复用的能力。
不同于传统依赖“暴力搜索”的AutoML系统，AutoMLGen以知识为导向、以结构化探索为核心，使智能体能在复杂任务中不断学习、逐步成长。
框架由领域知识库、蒙特卡洛图搜索与细粒度算子库三大模块组成：知识库提供经验启发，图搜索承担动态探索，算子库确保执行稳定，三者协同构建出一个从经验指引→智能探索→方案精修的自进化闭环，真正让AI实现从“生成”走向“优化”的进化飞跃。
领域知识库：让智能体从“零经验”快速觉醒
优秀的机器学习工程师总能凭借经验在模型选型、特征处理和策略设计上做出关键判断。
AutoMLGen将这些经验系统化，构建了覆盖模型层、数据层与策略层的知识库：模型层汇总不同任务下的高效架构与使用要点，数据层聚焦预处理与特征工程技巧，策略层则凝练自Kaggle实战的优化思路，如TTA、伪标签与模型集成等。
在任务启动阶段，AutoMLGen会自主判断是否启用领域知识，在保持智能体决策独立性的同时有效缓解冷启动。
进入探索阶段后，它能按需启发式地调用知识片段，在动态试探与自我修正中实现经验迁移与能力觉醒，真正让智能体从“新手”进化为懂策略、会优化的“专家型AI”。
MCGS图搜索：在迭代中成长，在融合中优化
传统的搜索算法（如MCTS）虽能在单一路径中平衡探索与利用，但由于分支独立、信息孤立，在复杂任务中效率受限。
AutoMLGen创新性地提出了蒙特卡洛图搜索，在搜索过程中引入图结构，让不同分支的节点和轨迹能够动态融合与共享，实现真正意义上的“经验互通”。
MCGS通过四种核心机制推动智能体的持续进化：
1、主扩展：沿当前路径生成新方案，稳步推进探索；2、分支内演化：回顾自身历史，总结得失，实现自我反思与修正；3、跨分支参考：学习其他分支的优解，吸收外部经验与灵感；4、多分支聚合：融合不同方案的优势，重组出更具创新性的解法。
通过从“线性树”到“图式网络”的跃迁，MCGS让智能体具备了跨分支学习与多解融合的能力，在有限预算下实现更快收敛与更优性能，真正让搜索过程具备了学习、反思与进化的智能特征。
细粒度算子库：连接节点的进化工具
在AutoMLGen中，细粒度算子库承担连接不同方案的角色，定义了解法之间的演化方式——从草稿生成到改进，从错误修复到性能微调，再到不同方案的融合。它为MCGS提供了一套通用的演化逻辑，让智能体能够在图结构中自由流动，在不断跳转与修正中持续探索新解。
这种机制让优化过程更连贯、更高效，也让 AutoMLGen 从“代码生成器”成长为能主动反思与改进的“AI 工程师”。
实验结果与分析
整体性能
AutoMLGen在MLE-Bench上刷新了自动机器学习智能体的纪录。仅用 12 小时预算（标准时长的一半），便实现36.4%平均奖牌率与 18.7% 金牌率，在同类系统中表现最优，展现出在有限算力下的强大竞争力。
在更轻量的MLE-Bench-Lite测试中，AutoMLGen依然领先，以显著优势超越现有方法，体现出一致的性能与出色的泛化能力。
在高难度任务中，AutoMLGen在多数竞赛中取得领先，进一步证明其在复杂场景下的稳定与进化能力。
模块消融分析
消融实验显示，各模块在性能提升中均发挥关键作用。知识库的引入为搜索提供了方向；分支内演化机制让智能体学会反思与修正；跨分支参考与多分支聚合进一步增强了方案融合与知识共享，使整体搜索更高效、更稳健。
现象分析
AutoMLGen在不同基础模型上均展现优异适配性。更强的基模型带来更高上限，不同模型在文本、图像与表格任务中各展所长。
随时间推移，性能曲线快速收敛并持续上升，始终高于基线，展现出系统的动态优化与稳健成长能力。
案例展示
典型案例展示了AutoMLGen从问题理解到方案实现的全过程，突出了其在推理、代码生成与性能优化中的自主进化能力。
前景与展望
AutoMLGen的出现，不仅体现了性能层面的提升，也标志着智能体在复杂工程与算法设计任务中的一种能力演进。它证明了AI在高复杂度任务中具备自主探索与持续提升的潜力。
通过融合领域知识与图结构搜索，AutoMLGen让智能体具备自我反思、跨分支学习与方案融合的能力，在有限资源下实现高效而稳健的优化，推动从“生成代码”向“理解并优化算法”的跃迁。
更重要的是，这一理念正向更广泛的智能系统范式扩展——从算法发现到科研自动化，从工程设计到多智能体协作。基于图结构的搜索逻辑与知识复用机制，为未来智能体的发展提供了通用的演化框架。
随着记忆与协作机制的不断引入，AutoMLGen有望成长为能主动理解、改进并创新方案的“AI工程伙伴”，为人工智能向更高层次的智能化与自我改进奠定基础。
论文链接：https://arxiv.org/abs/2510.08511项目仓库：https://github.com/Alpha-Innovator/InternAgent
