本文探讨了 Adam 优化器中 Update RMS 稳定在 0.2 左右的现象。通过数值模拟和理论近似，分析了 Update RMS 与梯度信噪比、超参数 beta1 和 beta2 之间的关系，并提出了一个通用的估计动量优化器 Update RMS 的方法。

📈 Update RMS 在 Adam 优化器中稳定在 0.2 左右，这一现象并非偶然，而是由梯度信噪比、超参数 beta1 和 beta2 共同决定的。

🔍 通过数值模拟，我们发现 Update RMS 与梯度信噪比正相关，与 beta2 似乎关系不大，而 beta1 的增大会导致 Update RMS 的增大。

🧮 理论分析表明，Update RMS 可以用梯度的信噪比和 beta1 的函数来近似表示，这一结果与模拟结果吻合。

🔄 可以反过来用 Update RMS 估算梯度的信噪比，这一方法对动量优化器也适用。

🌐 本文提出的估计方法为理解和改进优化器提供了新的思路。

原创 苏剑林 2025-09-12 20:37 北京

训练一稳定，Adam就变0.2？

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 科学空间

研究方向 | NLP、神经网络

众所周知，我们很早就开始尝试将 Muon 用于大规模 LLM 的训练。

特别地，在QK-Clip巧解MaxLogit爆炸难题：让Muon在Scaleup之路上更进一步中，我们提出了 “Match Adam Update RMS” 的技巧，以便快速从 Adam 迁移到 Muon 上，这个技巧同样用到了 Kimi K2 的训练中。

该技巧是指将 Muon 的 Update RMS 统一成 0.2，这使得我们复用 Adam 的学习率和权重衰减率。

这一技巧的背后，是我们观察到 Adam 的 Update RMS 约等于 0.2，并且这一现象是稳定且可复现的。这便引发了一个有趣的问题：为什么 Adam 的 Update RMS 是 0.2？我们可以从理论上解释它吗？

问题引入

首先描述一下现象：从实验中我们观察到，大致上在 Warmup 结束、模型进入正式训练后，Adam 的 Update RMS 几乎都保持在 0.2～0.3 之间，并且不同尺寸的模型也呈现出相似的规律。

这些模型的共同点是都用 Adam 训练，参数是 。由于共性很明显，所以这大概率不是巧合，因此笔者尝试分析背后的原理。