AI可能介入同行评审，影响学术公平

机器学习初学者 09月13日

AI可能介入同行评审，影响学术公平

一位拥有丰富经验的环境科学家在论文被拒后，对审稿意见的模糊、公式化和不准确性产生了怀疑，并认为可能是AI代写。他对比了AI生成的审稿样本，发现惊人的相似性。他指出AI生成的审稿意见常有五大弱点：语言模糊、歪曲论文范围、重复提及已解决问题、逻辑矛盾以及缺乏人类审稿的细微差别。尽管编辑否认AI使用，但作者认为，AI辅助同行评审应透明且作为辅助，而非替代。出版商和编辑需开发检测AI生成内容机制，并制定披露政策，以维护科学的公平与专业性。

🤖 **AI可能影响学术评审的公正性**：作者通过自身经历，对审稿意见的异常提出质疑，并发现其与AI生成文本高度相似，暗示AI可能被用于撰写同行评审意见，从而影响学术出版的客观性和公平性。

🔍 **AI生成审稿意见的典型特征**：文章列举了AI审稿意见的五大弱点：语言模糊笼统、通过抽象批评歪曲论文范围、重复标记已解决的问题、逻辑不一致或矛盾，以及缺乏人类审稿者的同理心和细微差别。这些特征使得审稿意见缺乏深度和专业判断。

⚖️ **呼吁同行评审的透明与责任**：作者强调，科学评审不应依赖运气，必须建立在公平、透明和专业的基础上。AI工具可作为辅助，但其使用必须透明，且不能取代人类的严谨判断。出版商和编辑有责任开发检测AI生成内容的方法，并制定明确的披露政策。

💡 **AI在学术出版中的潜在应用与风险**：AI工具在识别不一致、检测抄袭或改进文稿展示方面可能有所帮助，但若被滥用以生成完整的评审意见，将损害同行评审的本质。透明度、以人为本的评审过程以及对AI使用的严格规范至关重要。

2025-08-13 20:05 浙江

编者注：

Seongjin Hong说：“我们的论文被拒绝的原因是审稿人的评论模糊、公式化、往往不相关，偶尔也不准确。

作为一名有超过15年经验，发表过150多篇同行评议论文的环境科学家，笔者对学术出版的起起落落非常熟悉。但上个月，笔者收到了一家著名国际期刊的拒稿决定，其中有一些明显的奇怪之处。

在最初的主要修改决定之后，笔者们仔细地处理了每个审稿人的关注点，并提交了一份彻底修改过的手稿。第一轮的评议是合理的，作者们进行了详细的回应，进一步提高了工作的清晰度和科学严谨性。

然而，论文最终被拒绝了，主要是因为一位审稿人出人意料地在第二轮报告中给出了负面评价。困扰作者的不仅是审稿人的语气，而是他批评的性质：审稿人提出了以前从未提出过的全新问题。这些评论是公式化的，模糊的，经常是不相关的，偶尔是不准确的，与作者们手稿的实际内容几乎没有关系。

诸如“more needed”和“needs to be validated”之类的评论缺乏技术依据或基于数据的反馈。作者的研究是在环境化学领域，侧重于一种新的环境分析方法的现场应用。然而，审稿人批评它未能提供“全面的生态评估”，并且“没有检查对动物行为的影响，比如喂养或交配”——就好像它是一篇行为生态学论文一样。审稿人还声称，“化学分析的可重复性没有得到充分解释”，尽管这在多个部分都得到了解决。

此外，通篇审稿意见甚至有些自相矛盾。它首先承认“作者回答了提出的问题”，但随后在没有连贯推理的情况下得出结论，“我不能推荐这项工作。”

在那一刻，作者开始怀疑这篇评论是由ChatGPT等人工智能工具撰写的，至少部分是由ChatGPT等人工智能工具撰写的。

作为一名环境科学期刊的副主编，作者发现越来越多的评论似乎是由人工智能撰写的——尽管这一点很少事先披露。他们通常表面上听起来很清晰，但缺乏深度、背景和专业责任感。具体来说，根据笔者的经验，人工智能生成的评论通常有五个关键弱点：

依赖于模糊的、过于笼统的语言。

通过抽象的批评歪曲了论文的范围。

标记已经解决的问题。

表现出不一致或矛盾的逻辑。

缺乏一个深思熟虑的人类评论者的语气、同理心或细微差别。

为了证实作者的怀疑，作者将审稿人的评论与作者用大型语言模型生成的样本审查进行了比较。这种相似性是惊人的。措辞，再一次，是模板和脱离作者们的手稿的实际内容。而且，这篇评论再一次包含了关键词驱动的总结、毫无根据的断言和有缺陷的推理。感觉不太像是深思熟虑的同行评议，而更像是自动回复。

作为一名编辑，笔者也知道招募合格的审稿人是多么困难。许多专家负担过重，使用人工智能工具加速这一过程的诱惑越来越大。但是，肤浅的逻辑不能代替科学的判断。

因此，作者向杂志主编提出了担忧，并提供了详细的反驳和支持证据。编辑礼貌而谨慎地回答说：“审稿人极不可能使用人工智能。”“如果你能解决所有问题，我建议你重新提交一份新手稿。”

经过三个月的修改和回应，作者们又回到了起跑线上！！！这一决定——以及它受到人工智能不当使用影响的可能性——让作者深感失望。有些人可能会认为这是运气不好，但科学不应该依赖运气。同行评议必须以公平、透明和专业为基础。这并不是呼吁完全禁止人工智能参与同行评审过程。这些工具可以帮助审稿人和编辑识别不一致，发现剽窃或改进演示。

然而，使用它们来产生完整的同行评审可能会破坏该过程的真正目的。它们的使用必须是透明的，严格是次要的。审稿人不应该不加批判地依赖人工智能生成的文本，编辑必须学会识别缺乏实质内容或连贯性的审稿。出版商也有责任开发检测人工智能生成内容的机制，并制定明确的披露政策。

《自然》杂志6月16日宣布，它将开始将所有同行评议意见和作者回复与已接受的论文一起发表，这是出版商恢复透明度和问责制的一条潜在途径。

科学和出版必须随着技术的进步而进步，但不能没有责任。透明、以人为本的同行评议仍然至关重要。

参考文献：

https://www.timeshighereducation.com/opinion/my-paper-was-probably-reviewed-ai-and-thats-serious-problem

阅读原文

跳转微信打开

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

Fish AI Reader

FishAI

联系邮箱 441953276@qq.com

相关标签