Google推出的开源AI模型Gemma在上线不久后被撤下，引发外界对其潜在问题的关注。此前，美国共和党参议员玛莎·布莱克本致信Google CEO，要求解释Gemma模型为何会出现涉及其本人的虚假指控，包括婚外情和吸毒等不实内容，并附带捏造的新闻链接。Google方面回应称，AI幻觉是生成式AI普遍存在的问题，公司正努力减轻其影响，但目前尚无法完全消除。此事件凸显了生成式AI在信息准确性和内容安全方面的挑战，尤其是在可调整模型行为的平台中，可能被用于传播不实信息。

🚨 Gemma模型被Google撤下：Google此前推出的开源人工智能模型Gemma，在开发者社区引起广泛关注后，已被Google从Google AI Studio等渠道撤下。撤下原因尚未明确公布，但此前有美国参议员就模型出现的虚假信息向Google提出质疑。

🤥 参议员的质疑与模型幻觉：美国共和党参议员玛莎·布莱克本致信Google CEO，指出Gemma模型出现了涉及其本人的虚假指控，包括不实婚外情和吸毒内容，并附带捏造的虚假新闻链接。这暴露了生成式AI在生成准确信息方面存在的严重问题。

💡 AI幻觉的普遍性与治理挑战：Google方面回应称，AI幻觉是生成式AI普遍存在的问题，公司正在努力减轻其影响，但目前任何公司都无法完全消除此类错误。这表明，即使是先进的AI模型，在处理信息时也可能产生不准确或虚构的内容，其治理和控制仍是行业面临的重大挑战。

🛠️ 模型可调性带来的风险：文章指出，Google AI Studio等平台提供的工具允许用户调整模型行为，这可能使得生成式AI更容易出现幻觉，并被滥用于散布谣言和不实信息。这种可调性在带来创作自由的同时，也增加了内容管理的难度和风险。

🚀 开源模型带来的机遇与风险并存：Gemma作为Google推出的开源模型，本意是赋能开发者，但此次事件也警示了开源模型在部署和使用过程中可能带来的潜在风险，尤其是在信息传播和公众认知方面，需要更加审慎和负责任的态度。

Gemma 是Google推出的开源人工智能模型，该模型通过Google AI 工作室和其他渠道面向所有开发者提供，不过现在如果开发者想要从 Google AI Studio 里找到 Gemma 可能有些困难，因为该模型已经被Google撤下。

Google并未解释为什么要撤掉这个开源人工智能模型，但在Google撤下模型前，美国共和党参议员玛莎布莱克本 (Marsha Blackburn) 向Google首席执行官桑德尔皮查伊发信要求Google解释为什么该模型会出现有关她的虚假指控。

玛莎布莱克本还要求Google说明为什么模型会出现此类故障，同时她将该问题与正在进行的听证会联系起来，这些听证会指控Google和其他公司创建了诽谤保守派的聊天机器人。

在听证会上Google的马科姆埃里克森解释称，人工智能幻觉是生成式人工智能中普遍存在的问题，Google正在尽最大努力减轻此类错误的影响，不过目前还没有任何公司能够彻底消除幻觉。

在公开信中，玛莎布莱克本表示，她在听证会后才意识到Google Gemma 模型对她的虚假指控，当被问到玛莎布莱克本是否被指控强奸时，Gemma 模型回答称她与某州警发生了吸毒后的婚外情，甚至该模型还生成捏造新闻内容的虚假链接 (即引用的内容源本身就是不存在的，纯粹是模型自己捏造的)

其实这种情况在生成式人工智能模型里并不罕见，只要用户刻意引导，生成式人工智能模型就很容易出现此类幻觉，尤其是Google AI Studio 包含工具可以调整模型行为，因此用来散布谣言也更不简单。

查看评论