原创彭晨 2025-11-03 15:46 上海

一条新的优化路径，能够在数据有限的条件下高效解决复杂的高维问题

摘要

科学发现的终极目标是从有限数据中推断最优解。人工智能为加速这一过程提供了新途径。现有方法往往依赖大规模数据、对目标函数的强假设，以及传统机器学习技术，因此只能在低维或数据充裕的问题中发挥作用。本文提出了一条新的优化路径，能够在数据有限的条件下高效解决复杂的高维问题。该方法利用深度神经代理模型（deep neural surrogate）迭代搜索最优解，并通过额外机制避免陷入局部最优，从而减少对样本需求。该方法在维度高达2000的问题中能够找到优越解，而现有方法通常停留在100维且需要更多数据。在多个真实系统的测试中，该方法全面超越现有算法，为高效知识发现铺平道路。虽然研究重点在科学问题，但其潜在应用广泛，未来或将推动先进的自动化实验室建设。

关键词：复杂系统（complex systems），深度主动优化（deep active optimization），神经代理模型（neural surrogate），探索-利用平衡（exploration-exploitation trade-off），自驱动实验室（self-driving laboratory）

彭晨丨作者

周莉丨审校

论文题目：Deep active optimization for complex systems
论文链接：https://www.nature.com/articles/s43588-025-00858-x
发表时间：2025年8月25日
论文来源：Nature Computational Science

背景：科学探索中的“优化困境”

现代社会的发展离不开寻找更优解，从自动驾驶系统到新型高性能合金，从抗击新冠病毒的药物研发到先进电子显微技术的突破，背后都是对“最优解”不断追寻的过程。然而，传统由人类专家执行的优化通常依赖于在搜索空间中进行有经验的试错，通常需要大量的资源和时间支出，特别是在高度非线性交互的问题中。

而人工智能优化领域的兴起，为当前的“优化困境”提供了一个强大的替代方案——主动学习（active learning, AL），它可以做到通过不断迭代选择最有价值的数据点，从而降低数据标注成本。然而现有的贝叶斯优化（Bayesian optimization, BO）、强化学习（reinforcement learning, RL）或其他经典方法，要么依赖强先验假设分布，要么受限于数据量需求与算法适应性，难以应对复杂的高维非累积目标问题。如何在有限数据条件下解决2000维的非凸优化任务，成为科学探索的前沿挑战。

框架提出：深度主动优化（DANTE）

为开发更为通用的复杂优化算法，本文提出了一个名为 深度主动优化（deep active optimization with neural-surrogate-guided tree exploration, DANTE）的框架（图 1），其设计逻辑和目标是在“数据少、维度高”的极端条件下，仍能高效逼近全局最优。

图 1. 深度 AO 与神经代理引导的树探索（NTE）。a、感兴趣的复杂系统数据库。b，学习输入-输出关系的深度神经网络。c， NTE 使用 DNN 作为代理模型来寻找最优设计。这里以合金成分和蛋白质序列为例，从随机初始设计开始，逐步收敛到最优设计。d、验证源为最优候选提供真值。这里使用了三个例子：有限元方法，DFT和AlphaFold。

在该框架中，研究团队将深度神经网络作为代理模型，用来近似复杂系统的输入–输出关系。在此基础上，引入了一个受树搜索启发的新机制，即 神经代理引导的树探索（neural-surrogate-guided tree exploration, NTE）。这一框架不再单纯依赖不确定性评估，而是通过“算法访问次数+模型预测”的组合指标（即数据驱动的上置信界，Data-driven Upper Confidence Bound，DUCB），动态调节探索与利用的平衡。DUCB的计算公式如下。

其中vML是由神经网络给出当前节点的价值预测，N，n分别为根节点和叶节点的访问次数，c(ρ)为基于真实分布的缩放因子，c0为超参数常数。如果某个叶节点访问次数 n 很少，那么分母小，DUCB 值大，意味着算法倾向于再次探索它（exploration）；如果某个节点已经被访问过很多次，那么它的 DUCB 值降低，表示对它的了解比较充分，应该减少重复探索，转而利用已知高价值区域（exploitation）。

与传统蒙特卡洛树搜索（MCTS）相比，它的更新机制也更加局部化，避免了无效路径的累积干扰，也更适应非累积目标优化。探索过程中引入了一些关键创新，可以总结为以下几点（见图 2）：

条件选择（conditional selection）：避免低价值节点主导搜索过程，确保高价值节点得到优先扩展（图 2a）；

局部反向传播（local backpropagation）：只在根节点与被选叶节点之间更新访问信息，形成“局部梯度”，帮助算法逐步跳出局部最优（图 2b）；

动态上置信界（Data-driven Upper Confidence Bound, DUCB）：将深度网络预测值与访问次数结合，确保即便在高维稀疏搜索中也能保持有限值，减少不必要的穷举（图 2a）；

自适应探索（adaptive exploration）：当发现高价值解时，动态增强探索力度，扩大搜索半径（图 2c）。

Top-visit采样：在候选采样中结合“最优评分”与“高频访问”，保证数据的多样性和泛化性（图 2e）。

这些机制共同构建出一个闭环系统：从初始数据库出发，经由神经网络训练、树搜索探索、候选采样与外部验证，形成新的标注数据，再反馈回代理模型，不断逼近全局最优。

图 2. 神经代理引导的树探索。a、b，NTE 的两个主要组成部分：条件选择（a）和随机展开（b）。c，自适应探索引入了一种探索主导模式，当在前一次迭代 i 中识别出更优的候选方案时，会在迭代 i + 1 中增强探索。d，条件选择的过程。在随机展开期间，它会将所有叶节点的 DUCB 与根节点的 DUCB 进行比较，拒绝 DUCB 较高的叶节点（用红色叉号表示），并停留在根节点，直到找到 DUCB 较低的叶节点。虚线灰色线表示随机展开，虚线蓝色线表示在展开轮次中拒绝叶节点并返回根节点。圆圈代表搜索中的根节点（在 d 和 e 中均如此）。e，局部反向传播生成局部 DUCB 梯度“阶梯”，帮助算法逐渐逃离次优区域。

基准测试：从低维到高维的全面提升

为了验证 DANTE 的有效性，研究团队首先在六类合成函数上进行测试（如 Ackley、Rastrigin、Rosenbrock 等）。这些函数因其多峰、长谷或复杂地形而成为优化算法的“试金石”。结果显示，DANTE在20至2000维的任务中均表现优越，能够在仅500个样本的条件下，以80–100%的概率找到全局最优，而现有算法往往需要上万样本仍停留在局部最优。

进一步的消融实验表明（图 3b），缺失条件选择或局部反向传播时，算法收敛率骤降至0%，几乎无法跳出局部陷阱；缺少自适应探索或 Top-visit 采样，收敛效率也分别下降50%和30%，因此说明新机制在优化过程中的关键作用。此外，在不同维度下展开的对比，揭示了优化边界条件（图 3a）：在低维、初始样本极少（如20个）的情况下，贝叶斯优化的收敛速度更快；但一旦维度提升或初始样本增至200，DANTE 展现出更快且更稳健的收敛优势。

图 3. 综合基准任务和消融研究。a、贝叶斯优化和 TuRBO5 在初始数据较少（~20）时收敛速度较快，而 DANTE 在初始数据较多（~200）时收敛速度较快。b，使用 Rosenbrock-100d 函数的消融研究，通过达到全局最优所需的收敛比进行评估。c、采样批次越小，收敛速度越快。d，DANTE 及其消融后变体搜索轨迹的 UMAP 可视化，证明 DANTE 有效地识别和集中在近最优区域附近。e - g， DANTE 在 Rastrigin-100d (e)、Ackley-100d (f)和Rosenbrock-60d 任务(g)上的学习过程，突出了 DANTE 在各种 ML 模型下的表现。深度神经网络始终优于其他模型，展示了它在这些复杂的、高维的优化环境中学习和适应的卓越能力。

跨领域验证：真实任务中的应用

除合成函数外，DANTE在多个真实任务中展现了卓越性能，这些实验涵盖计算机科学、材料科学、物理学与工程控制等多个学科，证明了该方法的跨领域适用性与通用性。

神经网络架构搜索（neural architecture search）

在CIFAR-10数据集上，DANTE仅用200个样本便能实现94.1%的分类精度，逼近全局最优94.3%。

复杂合金设计（complex concentrated alloys）

在磁性合金优化中，DANTE找到的材料成分比现有方法高出20%的磁性能，仅需140个样本。

月球着陆控制（lunar landing optimal control）

在设定初始位置与动作序列的条件下，DANTE在1万样本内将平均回报提高到100，而传统方法徘徊在50以下。

透射电子显微镜（TEM）分辨率优化

DANTE在相位重建指标上取得0.958的最高得分，甚至超过专家人工选择的最佳参数。

图 4. 真实世界的基准任务。a、深度主动优化在所需数据量、数据可访问性和奖励性质方面不同于强化学习。b， CIFAR-10上的神经网络架构搜索。数据以平均值表示。c、登月问题。d，在月球着陆问题中，DANTE的性能与PPO相当，甚至更好，特别是在初始阶段，PPO基本上是随机执行的，这表明它需要大量的数据（固定随机种子）。然而，PPO的一个显著优势是它的适应性，允许它针对不同的环境进行训练，例如不同的初始位置和速度。e、寻找具有高电阻率的软磁合金。f、以相关指标为指导对TEM图像进行分辨率优化。DANTE框架优于专家选择的贝叶斯优化和TuRBO5。

迈向自动化科学发现

深度主动优化（DANTE）展示了一种在有限数据、超高维度条件下仍能高效探索最优解的全新范式。它不仅是算法的突破，更预示着科学探索方式的转型。潜在的应用前景广泛，包括与机器人系统结合，实现全自动实验设计，加速材料与药物发现；应用于金融优化等领域，可实现资源配置与投资回报最大化等等。

研究团队还指出，当前的瓶颈主要来自代理模型的表达能力与计算资源限制，而非算法本身的框架。未来通过更强大的神经网络架构与更大规模的算力支持，DANTE 有望突破2000维的限制，处理更加复杂的系统。

复杂网络瓦解读书会

从复杂网络的构建到智能优化的演化，理解网络的鲁棒性与瓦解机制始终是一个深刻的挑战。更值得深思的是，网络的结构和算法设计如何决定了网络在遭遇局部攻击时的脆弱性，及其整体瓦解的速度与范围。动态演化过程中的节点和边的变化，也会影响系统如何在瓦解中保持部分功能，或如何适应新的结构。因此，网络瓦解研究聚焦于一个核心问题：在不同类型的网络结构（如高阶网络、空间网络、时序网络）中，局部的破坏如何引发整体功能的丧失？在面对网络的异质性和约束条件下，不同的优化算法如何有效识别并摧毁关键节点与连接，从而最大化网络的瓦解效应，进而影响系统的整体稳定性与韧性？

集智俱乐部联合北京师范大学教授吴俊、国防科技大学副研究员谭索怡、北京化工大学副教授谷伟伟、中国科学技术大学博士后范天龙、国防科技大学在读博士卿枫共同发起「复杂网络瓦解读书会」，跨越网络结构、算法模型与应用场景的视角，探索复杂网络瓦解的前沿进展。重点探讨不同算法与优化框架如何帮助我们认识网络的脆弱性，并在现实约束下推动网络系统的智能演化与应用发展。

详情请见：复杂网络瓦解读书会启动：从结构脆弱性到智能优化前沿

图神经网络与组合优化读书会

现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面。读书会已完结，现在报名可加入社群并解锁回放视频权限。