算力化身监督者，大模型训练新思路

原创让你更懂AI的 2025-09-22 14:17 北京

算力变监督，学生一度跑赢老师！

在没有标准答案的任务里，大模型该向谁学习？

长期以来，我们依赖人类标注、LLM 判官或多数投票来为模型提供监督，但这些方式要么成本高昂，要么偏好明显，要么只能在候选里“挑最不差的”。

但如果——算力本身就能反过来提供监督，会怎样？

Meta 与牛津大学最新提出的 Compute as Teacher (CaT) 框架，给出了一个大胆的新思路：把推理时消耗的算力回收利用。模型在一次推理中生成多条 rollouts，再由锚点模型进行综合，产出新的“参考答案”，并进一步转化为奖励信号。

实验表明，这一方法在数学和医疗等任务上最高带来 +30% 提升，甚至出现了“学生反超老师”的现象。它不仅是后训练的一次技术革新，更可能改写我们对监督信号的基本理解：未来的监督，或许就来自模型自身的探索与综合。

论文题目：

Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision

论文地址：

研究背景：从“选择”到“综合”

在大模型的后训练实践中，研究者主要依赖三类监督信号：

1. 有标注数据的监督微调（SFT），需要大规模人工标注；

2. 可验证任务的程序化奖励，如数学答案匹配、代码执行；

3. 替代性信号：多数投票（Self-Consistency）、困惑度排序（PPL-based）、LLM 判官打分。

问题在于：

SFT 标注稀缺，难以扩展；

程序化奖励只适用于有限场景；

判官 LLM 和投票机制，都存在稳定性差或“随大流”的问题。

于是，作者提出：与其从 rollouts 里“挑最好的”，不如把它们综合成更优答案。在多样化探索下，矛盾和差异反而能成为学习信号的养分。

把“并行思考”炼成“可学监督”

从“选择”到“合成”CaT 的出发点是一个看似简单的问题：当模型一次性生成多条推理路径（rollouts）时，我们能否不只是“挑出最好的一条”，而是把这些路径综合成更优的参考答案？

设当前策略为，面对问题，它会生成条回答轨迹：

这些 rollouts 有时相互补充，有时相互矛盾。传统方法往往在这里结束：通过困惑度排序（min-PPL）、自一致性投票（Self-Consistency）、或 LLM 判官打分来选一条。

而 CaT 引入了一个冻结的锚点策略，让它基于做“信息调和”，产出新的参考回答：

其中是综合提示词，要求锚点聚合差异信息，消解冲突，而不是简单复写。

▲ 图1. CaT 总体流程。当前策略探索，锚点综合，得到参考答案并转化为奖励。

值得注意的是，看不到原题。这是一个关键设计：如果给它原题，它很容易“自己再写一遍答案”，而不是在已有 rollouts 之间调和。盲题综合迫使它必须依赖 rollouts 的差异，从而实现真正的“跨样本综合”。

GRPO框架下的CaTCaT 的训练建立在 Group Relative Policy Optimization (GRPO) 上。对于每个 rollout ，目标函数为：

其中，一般取，保证策略更新不过度偏离锚点。

直观理解：它不是要求模型绝对最优，而是学会在一组候选里“比平均更好”。

剪切式surrogate loss在每个 token 上，采用 PPO 式的剪切 surrogate loss：

其中是策略比率：

而优势函数通过组内归一化计算：

▲ 图2. 锚点在 rollouts 间做综合，而不是选择。即便多数是错的，它也可能调和出正确答案。

直观理解：奖励是相对性的，只有比同组平均更好的回答，才会得到正向强化。

奖励机制：可验证 vs 非可验证合成参考只是第一步，接下来要把它转化为奖励。这里 CaT 区分了两类任务：

可验证任务（如数学、代码）

廉价且精确，适合结构化任务。

Fish AI Reader