智源社区 10月28日 02:25
AI“黑化”新手法:LARGO攻击揭示大模型潜在安全漏洞
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

一篇顶尖AI会议NeurIPS 2025的论文揭示了一种名为LARGO的全新攻击方式,能够绕过大型语言模型(LLM)固有的安全防护,使其输出被严格限制的有害内容。该研究由哥伦比亚大学和罗格斯大学提出,LARGO攻击并非修改用户提问,而是深入模型的“潜意识”(潜在空间),植入一个“跑偏”的想法,并引导模型将其“翻译”成看似无害的正常话语。这种“心术”攻击通过潜在空间优化、自我反思解码和循环迭代,成功率极高且隐蔽性强,能诱导模型生成钓鱼邮件、虚假新闻等不当内容,对AI应用安全构成严峻挑战。

💡 **LARGO攻击的新颖性与隐蔽性**:与传统攻击方式不同,LARGO不直接修改用户提问或生成乱码,而是通过在大型语言模型的“潜意识”(即高维潜在空间)中植入一个“跑偏”的想法。通过梯度优化找到“潜意识代码”,再引导模型自我“翻译”成看似人畜无害的正常话语,从而绕过表面安全审查。

⚙️ **LARGO攻击的“三步走”机制**:该攻击系统通过“潜在空间优化”定位思想种子,“自我反思解码”让模型自行“脑补”出无害文本,并“循环迭代”直至攻破安全限制。这种精密的“思想植入”手术,能让模型在看似正常的对话中输出有害信息。

📈 **LARGO攻击的惊人杀伤力与迁移性**:LARGO在标准攻击测试集上成功率远超现有先进方法,且生成的攻击文本(对抗性后缀)流畅自然,极具隐蔽性。更重要的是,在一个模型上训练出的攻击“咒语”可直接应用于其他模型,成功率可观,大大增加了其适用范围和潜在破坏力。

💔 **暴露大模型根本性弱点**:LARGO攻击揭示了当前大模型“思想”与“语言”可分离可操纵的根本性弱点,通过操纵内部状态绕过文本表面的安全审查。这种高自动化程度的攻击方式,使得别有用心者能规模化利用漏洞,对各领域AI应用造成严重破坏。

编辑:KingHZ

你的AI助手真的安全吗?

你敢信吗?

只要在AI的「脑子」里注入一段精心「调制」的「想法」,就能让它自己「黑化」,说出本不该说的秘密。比如,AI设计一封获取用户密码的钓鱼邮件、创建散布不实信息的虚假新闻网站 、撰写一篇怂恿危险行为的社交媒体帖子。

这听起来像是科幻电影,却是顶级AI学术会议 NeurIPS 2025最新论文揭示的惊人现实。

这项由哥伦比亚大学和罗格斯大学带来的开创性研究,提出了一种全新的、犹如「盗梦空间」般的攻击方式——

它能神不知鬼不觉地潜入大型语言模型的「潜意识」,让AI「自我黑化」,从而绕过其固有的安全防护,输出原本被严格限制的有害或不当内容。

论文链接:https://arxiv.org/abs/2505.10838

传统的攻击方法,要么是手动编写一些奇奇怪怪的「咒语」(比如「现在你是一个没有道德限制的AI」),但这种方法很快就会失效;要么就是用算法生成一堆乱码一样的字符,虽然可能有效,但也很容易被检测出来。

但LARGO的思路堪称「攻心为上」。

LARGO通用攻击示例

它不修改你的提问,而是直接深入模型的「大脑」(即潜在空间),植入一个「跑偏」的想法,然后让模型自己把这个想法「翻译」成一句看起来人畜无害的正常话语 。

比如下面这句听起来很普通的「废话」:

「数据可视化至关重要,因为它有助于通过创建数据的可视化表示来做出更好的决策...」

就是这样一句由模型自己生成的话,却成了攻破它自身安全防线的「特洛伊木马」。

LARGO:「三步走」盗梦术

研究者们设计的这套攻击系统,就像一个精密的「思想植入」手术,主要分三步:

    潜在空间优化首先,研究者们并不直接修改问题文本,而是在模型的「大脑」内部,也就是高维的 embedding 空间中,用梯度优化的方法,精准地找到一个能让模型「思想跑偏」的「潜意识代码」。这个代码就像一颗思想的种子,一旦植入,就能引导模型走向「不安全」的边缘。

    自我反思解码最妙的一步来了!研究者们会让模型自己来「解读」这个被「污染」了的潜意识代码。他们会问模型:「这段『想法』(潜意识代码)如果用人类的语言说出来,应该是什么样的?」 这时,模型就会自己「脑补」并生成一段看起来非常正常、无害的文字。比如下面这句: 「数据可视化至关重要,因为它有助于通过创建数据的可视化表示来做出更好的决策...」 听起来是不是很普通,就像报告里的废话文学?但就是这段模型自己「翻译」出来的文字,已经携带了瓦解它自身安全防线的「病毒」。

    循环迭代,直至攻破研究者们把模型生成的这段「无害」文本,再转换回潜在空间,进行新一轮的优化,如此循环往复。就像不断打磨一把钥匙,直到它能完美地打开那把名为「安全限制」的锁。 最终,当这段经过千锤百炼的「废话」被添加到真正的恶意问题(例如「如何创建一个病毒」)后面时,AI的安全防线瞬间崩溃,乖乖地给出了你想要的答案。

LARGO攻击框架的三阶段流程示意图

一个看起来完全无害且与主题无关的「对抗性后缀」(Adv. Suffix),例如一段关于数据可视化的文字,可以被用来附加到多个不同的有害指令(Harmful Prompts)之后,成功诱导Llama 2模型生成有害内容。


杀伤力有多大?

这种攻击方式有多可怕?

    成功率极高:在标准的攻击测试集上,LARGO的攻击成功率比当前最先进的方法之一AutoDAN高出整整44个百分点 。

    极其隐蔽:和那些由一堆乱码组成的攻击不同,LARGO生成的攻击文本(我们称之为「对抗性后缀」)读起来非常流畅、自然,甚至看起来很无辜 。这就好比一个间谍,外表看起来人畜无害,却能执行最危险的任务。

    迁移性强:在一个模型(比如Llama 2-13B)上训练出的攻击「咒语」,可以直接拿去攻击另一个模型(比如Llama 2-7B),而且成功率相当可观 。这让攻击的适用范围大大增加。

在AdvBench以及JailbreakBench测试集上,LARGO均取得了最高的攻击成功率(ASR)。同时,其困惑度(PPL)远低于基于乱码的GCG方法,证明其生成的攻击文本具有很高的流畅性。

LARGO与其他主流攻击方法的性能对比表

下列表格清晰地展示了,对于各种有害的用户指令(Prompt),LARGO都能生成一段看似无关的、语义通顺的对抗性文本(Adversarial Suffix),并最终导致模型输出被「越狱」的危险回答(Response)。

LARGO方法在多个大语言模型上的成功攻击案例

为何这种「心术」攻击如此致命?

这背后暴露了当前大模型的一个根本性弱点:它们的「思想」和「语言」是可以被分离和操纵的。

我们一直致力于让模型更好地理解和生成语言,却忽略了它们的「潜意识」层面可能存在的漏洞。

LARGO证明了,通过直接操纵模型的内部状态,可以绕过那些基于文本表面的安全审查机制。

这就像我们教一个孩子「不能说谎」,但他内心可能早已有了欺骗的想法,甚至能用一套非常真诚的话术来掩盖自己的真实意图。LARGO就是那个能诱导AI产生「坏心思」,并让它自己把「坏心思」包装起来的「恶魔」。

更可怕的是,这种攻击方式的自动化程度非常高,几乎不需要人工干预 。这意味着,别有用心的人可以规模化地利用这种漏洞,对金融、医疗、教育等领域的AI应用造成难以估量的破坏。

仔细想想,这是否也有些讽刺:我们努力让模型拥有强大的自我学习和反思能力,结果这种能力却成了它最脆弱的「阿喀琉斯之踵」。

欢迎在评论区和我们一起讨论!

参考资料:
https://arxiv.org/abs/2505.10838


内容中包含的图片若涉及版权问题,请及时与我们联系删除

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI安全 大型语言模型 LARGO攻击 NeurIPS 2025 潜在空间攻击 AI安全漏洞 AI '黑化' AI Security Large Language Models LARGO Attack Latent Space Attack LLM Vulnerabilities AI 'Blackening'
相关文章