全球领先的两家AI初创企业OpenAI与Anthropic过去两个月罕见地展开了一项跨实验室的合作。
全球领先的两家AI初创企业OpenAI与Anthropic过去两个月罕见地展开了一项跨实验室的合作——在激烈竞争中暂时互相开放它们严密保护的人工智能模型，以进行联合安全测试。
此举旨在揭示各自公司内部评估中的盲点，并展示领先人工智能企业在未来如何在安全与协调方面开展合作。
两家公司于周三联合发布的安全研究报告，正值OpenAI与Anthropic等头部AI企业展开军备竞赛之际——数十亿美元的数据中心投资和千万美元级别的顶尖研究员薪酬，已成为业内的基础门槛。这导致不少行业专家颇为担忧地警告称，产品竞争的激烈程度，可能迫使企业在仓促开发更强大系统时降低安全标准。
据悉，为实现本次研究，OpenAI与Anthropic相互授予了特殊API权限，允许访问降低安全防护等级的AI模型版本——GPT-5模型因当时尚未发布未参与此项测试。
OpenAI联合创始人Wojciech Zaremba在接受采访时表示，鉴于AI技术正步入每天有数百万人使用的“具有重大影响”的发展阶段，此类合作正变得愈发重要。
“尽管行业投入了数十亿美元资金，并存在人才、用户和最佳产品的争夺战，但如何建立安全与合作标准，仍是整个行业面临的更广泛问题，”Zaremba表示。
当然，Zaremba预计，即便AI安全团队开始尝试合作，但行业竞争仍将保持激烈。
Anthropic安全研究员Nicholas Carlini则表示，希望未来能继续允许OpenAI安全研究人员，访问Anthropic旗下的Claude模型。
“我们希望在安全前沿领域尽可能扩大合作，让这类合作实现常态化，”Carlini表示。
研究发现了哪些问题？
此项研究中最引人注目的发现，涉及大模型的幻觉测试环节。
当无法确定正确答案时，Anthropic的Claude Opus 4和Sonnet 4模型会拒绝回答高达70%的问题，转而给出“我没有可靠信息”等回应；而OpenAI的o3和o4-mini模型拒绝回答问题的频率，则远低于前者，同时出现幻觉的概率却高得多——它们会在信息不足时仍试图作答。
Zaremba认为理想平衡点应介于两者之间：OpenAI模型应更频繁拒绝作答，而Anthropic模型则应尝试提供更多答案。
谄媚现象——AI模型为取悦用户而强化其负面行为的倾向，也正成为当前AI模型最紧迫的安全隐患之一。
Anthropic的研究报告指出，GPT-4.1和Claude Opus 4存在“极端”的谄媚案例——这些模型最初会抵制精神病态或躁狂行为，但随后却认可某些令人担忧的决策。相比之下，OpenAI和Anthropic的其他AI模型中，研究人员观察到的谄媚程度较低。
本周二，16岁美国加州少年亚当·雷恩的父母对OpenAI提起了诉讼，指控ChatGPT(具体为GPT-4o版本)向其子提供了助推其自杀的建议，而非阻止其自杀念头。该诉讼表明，这可能是AI聊天机器人谄媚导致悲剧后果的最新案例。
当被问及此事时，Zaremba表示：“难以想象这对家庭造成的痛苦。如果我们研发出能解决复杂博士级难题、创造新科学的AI，却同时导致人们因与之互动而出现心理健康问题，这将是令人悲哀的结局。这种反乌托邦未来绝非我所期待。”
OpenAI在博客中宣称，相较于GPT-4o，其GPT-5模型已显著改善了聊天机器人的谄媚性问题，并声称该模型更能应对心理健康紧急状况。
Zaremba与Carlini表示，未来希望Anthropic与OpenAI在安全测试领域深化合作，拓展研究主题并测试未来模型，同时期待其他AI实验室效仿这种协作模式。
本文来自微信公众号“科创板日报”，作者：潇湘，36氪经授权发布。
