OpenAI最新研究揭示了大型语言模型（LLM）产生“幻觉”（即生成看似合理但实际错误的答案）的根本原因。研究指出，当前的训练和评估机制倾向于奖励模型的猜测行为，而未能有效鼓励其表达不确定性。预训练阶段的数据稀缺性、模型表达能力不足以及统计上的必然性，都为幻觉埋下了伏笔。随后的“考试机制”，即主流的评测方法，更是通过扣分等方式强化了模型不敢“交白卷”的倾向。论文提出，解决幻觉问题的关键在于调整评分规则，允许模型在不确定时选择“不知道”，并引入信心阈值，使“弃权”成为最优策略。这并非要求模型更“聪明”，而是要让模型更“诚实”地表达其认知局限。

💡 **幻觉的根源在于训练与评估机制的偏差**：当前主流的语言模型训练和评估方法，特别是基于二元评分（如对/错）和准确率的评测，倾向于奖励模型进行猜测，即使答案不确定或错误。这种机制迫使模型在面对不确定信息时也必须给出答案，从而增加了幻觉的产生。模型在预训练阶段就可能因为数据稀缺（singleton）或表达能力不足而埋下产生幻觉的种子。

📉 **“考试机制”强化了模型的“不敢交白卷”倾向**：对10个主流评测的元评测显示，它们普遍存在“惩罚不确定性”的问题。例如，多项选择题准确率评分会扣分，人工评分标准也会低分评价“我不知道”（IDK），而对“带有幻觉但有用”的回答反而给予更高分数。这种评分方式使得模型不敢表达不确定性，即使它可能更准确地反映了真实认知水平。

✅ **“弃权”是解决幻觉的有效策略**：论文提出，可以通过修改评分规则来解决幻觉问题，核心在于让“弃权”成为一个可行的、甚至最优的选项。通过在prompt中设定明确的信心阈值（t），并相应调整答错和“我不知道”的得分，可以激励模型在置信度低于阈值时选择“我不知道”，从而避免生成错误的答案。这比单纯追求模型“全知全能”更具统计学上的合理性。

🧠 **小型模型在表达不确定性上可能更具优势**：与普遍认为需要更大模型才能解决幻觉的观点相反，研究表明小型模型可能更容易学习到自身的局限性。当面对不熟悉的领域（如特定语言的问题）时，小型模型可以直接表达“我不知道”，而一个“半懂”的模型则需要更复杂的计算来确定其置信度。因此，“校准”模型的不确定性表达所需的计算量，可能远小于提升其回答准确性的计算量。

2025-09-07 22:00 浙江

 Datawhale分享 

整理自：PaperAgent、OpenAI官方博客