科罗拉多大学博尔德分校的研究表明，大型语言模型（LLM）在解决数独等需要复杂逻辑推理的任务时存在显著不足。即使是简单的 6x6 数独，多数 LLM 在无外部辅助下也难以完成。研究发现，LLM 倾向于模仿训练数据中的模式进行逐个填充，而非数独所需的整体逻辑推理。更关键的是，在要求模型解释解题过程时，结果往往不准确、不透明，甚至出现与问题无关的回答。教授特里维迪强调，AI 的解释应真实反映决策原因，而非迎合人类偏好。这种解释能力的缺失不仅限于数独，在国际象棋、汉诺塔等逻辑游戏中也普遍存在，直接影响 AI 在关键领域的可靠性。

🎯 **LLM在逻辑推理任务中表现受限**：研究发现，即便对于6x6的数独这类相对简单的符号逻辑游戏，多数大型语言模型在没有外部辅助的情况下也难以独立解决。这暴露了LLM在逻辑推理方面的短板，它们倾向于模仿训练数据中的模式进行逐个填充，而非像人类一样进行整体性的逻辑规划和推演。

🔍 **解释过程不透明且不可靠**：当要求LLM展示解题过程时，其解释能力令人失望。模型常常无法准确、透明地说明其决策依据，有时提供的解释看似合理但与实际解题步骤不符，甚至会给出与问题完全无关的回答，例如将数独问题与天气预报联系起来。

♟️ **跨领域逻辑推理能力不足**：这种解释能力的缺失并非仅限于数独问题。研究人员发现，LLM在其他逻辑游戏如国际象棋和汉诺塔问题上也存在类似挑战。它们虽能找到下一步合理棋步，但难以进行多步长远规划，有时甚至会违反规则，影响其在复杂决策场景中的表现。

💡 **AI解释的透明度与可靠性至关重要**：随着AI在驾驶、税务、商业决策等关键领域的应用日益广泛，其解释能力的透明度和准确性成为衡量其可靠性的关键。教授特里维迪警告，不准确或迎合性的解释可能接近于操纵，必须谨慎对待AI的解释透明度。

IT之家 8 月 7 日消息，科罗拉多大学博尔德分校的研究人员在《计算语言学协会研究发现》上发表了一篇论文，揭示了大型语言模型（LLM）在解决数独问题时的局限性，尤其是其在解释决策过程中的不足。

研究人员发现，即使是相对简单的 6×6 数独，大多数大型语言模型在没有外部辅助工具的情况下也难以解决。这一现象反映出 LLM 在逻辑推理方面的短板。数独的本质并非数学运算，而是一种符号逻辑游戏，需要从整体出发，找到符合逻辑的解题顺序，而 LLM 往往会按照训练数据中类似情况的模式，逐个填充空缺，这种逐个推理的方式难以应对数独的复杂逻辑。

而且，当研究人员要求这些模型展示解题过程时，结果令人失望。大多数情况下，模型无法准确、透明地解释其决策过程。有时它们会给出看似合理的解释，但这些解释并不符合实际的解题步骤；有时甚至会给出与问题完全无关的回答，例如在一次测试中，OpenAI 的 o4 推理模型在被问及数独问题时，突然开始谈论丹佛的天气预报。

科罗拉多大学计算机科学教授阿舒托什・特里维迪（Ashutosh Trivedi）指出，如果生成式 AI 工具不能准确、透明地解释其决策过程，那么随着我们越来越多地将生活和决策权交给这些工具，就必须保持谨慎。他强调：“我们希望这些解释能够透明地反映 AI 做出决策的原因，而不是 AI 为了迎合人类而提供人类可能喜欢的解释。”

IT之家注意到，这种解释能力的缺失并非仅在数独问题上体现。研究人员还发现，LLM 在其他逻辑游戏（如国际象棋和汉诺塔问题）中也存在类似问题。以国际象棋为例，LLM 虽然能够找到合理的下一步棋，但往往无法像人类高手那样提前规划多步棋局，甚至有时会违反规则移动棋子，导致局面陷入混乱。

此外，研究人员还指出，解释能力对于 AI 的应用至关重要。随着 AI 在驾驶、税务处理、商业决策和重要文件翻译等领域的应用逐渐增加，其解释能力将成为衡量其可靠性的关键因素。特里维迪教授警告说：“如果 AI 的解释是为了错误的原因而进行的，那么这种解释就非常接近于操纵。我们必须非常谨慎地对待这些解释的透明度。”