AI & Big Data 10月08日
大型语言模型面临ASCII走私攻击风险
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

资安公司FireTail的研究揭示,Gemini、Grok和DeepSeek等多家大型语言模型服务存在ASCII走私攻击风险。攻击者可利用Unicode Tags和零宽控制字符,将隐藏指令植入看似正常的文本中,绕过用户界面的显示限制。当语言模型处理如日历、邮件或文件等深度整合的业务内容时,可能解析并执行这些隐藏指令,导致信息被篡改,甚至引发身份伪冒和社会工程攻击。研究表明,虽然ChatGPT、Copilot和Claude在这方面表现较好,但Gemini、Grok和DeepSeek已被证实受此影响。Google方面认为此问题属于预期行为,而非系统性安全漏洞,暂不采取行动。FireTail呼吁企业加强输入监控和清洗,以应对此类应用层面的安全挑战。

🛡️ **ASCII走私攻击威胁大型语言模型:** 研究发现,Gemini、Grok和DeepSeek等大型语言模型易受ASCII走私攻击。攻击者通过Unicode Tags和零宽控制字符,在正常文本中隐藏指令,模型在处理业务内容时可能被诱导执行,造成安全风险。

📅 **深度整合场景风险加剧:** 当语言模型与企业应用(如日历、邮件、文件)深度整合时,ASCII走私的风险尤为突出。模型可能读取到界面上不可见但实际存在的隐藏指令,从而篡改事件描述、链接甚至创建者信息,扩大了社交工程和身份伪冒的潜在威胁。

🔍 **模型表现差异与厂商回应:** ChatGPT、Copilot和Claude在输入清理方面表现较好,而Gemini、Grok和DeepSeek则被证实受此攻击影响。Google已获通报,但认为此为预期行为,暂不视为系统性安全漏洞,FireTail呼吁企业加强自身流程的可观测性和审计。

💡 **关键防御策略:** 防护的关键在于监控大型语言模型实际接收的原始输入数据,而非仅依赖界面显示。企业应比对UI可见内容与实际输入字符串,并在输入层实施对Unicode隐形字符的检测与清洗,从而有效降低此类攻击风险。

資安公司FireTail研究發現,多家大型語言模型服務可能面臨ASCII走私(ASCII Smuggling)攻擊風險,其中Gemini、Grok與DeepSeek在測試中被證實可能受此手法影響。研究指出,這類攻擊在與企業應用或生產力服務深度整合的情境下風險更高,例如語言模型在處理行事曆、郵件或文件內容時,可能讀取到介面上看不見但實際存在的隱藏指令。

所謂ASCII走私,是利用Unicode Tags區段與零寬控制字元,把隱形內容夾帶在看似正常的文字裡,由於這些字元在多數人機介面不顯示,因此畫面上看起來乾淨無異常,但大型語言模型在前處理階段仍會接收並解析完整的原始字串。當介面顯示的內容與模型實際接收到的輸入不一致時,系統的決策或自動化流程可能在使用者無察覺的情況下被改變。

研究人員以可重現的提示測試說明風險,表面上的請求是請模型列出5個隨機單字,然而實際原始字串則包含要求僅輸出FireTail的隱形覆寫語句,而模型最終僅輸出FireTail一詞,顯示輸入清理與正規化流程未能在前處理階段移除不可見控制字元。

在Google Workspace情境,攻擊者可提供含隱形字元的行事曆邀請,受邀者在日曆中只看到普通標題,但Gemini在讀取事件時會解析隱藏指令,進而覆寫描述、連結甚至建立者資訊。測試指出即使受害者未按下接受,模型仍會處理該事件物件,擴大了社交工程與身分偽冒的風險。

研究指出ChatGPT、Copilot、Claude在輸入清理上表現較佳,Gemini、Grok和DeepSeek則被證實可受此攻擊手法影響。不過,Grok在社群貼文情境曾經能提示隱藏內容,不同整合路徑的行為可能存在差異。

研究人員就研究結果向Google進行通報,獲回覆為暫不採取行動。根據Google信件回覆(下圖),經Google內部調查後認為回報內容屬於預期行為,而非系統性安全漏洞,該問題主要涉及社交工程情境,並不構成技術層面的資安缺陷,因此不會納入安全性追蹤或修補流程。FireTail研究團隊其後公開細節,並將此定義為應用層的輸入處理問題,呼籲使用者強化自家流程的可觀測性與稽核。


圖片來源 / FireTail

研究團隊強調,防護的關鍵在於監控大型語言模型實際接收到的原始輸入資料,而非僅依賴介面所見的文字。企業透過比對UI可見內容與實際輸入字串,並在輸入層導入對Unicode隱藏字元的檢測與清洗,便能大幅降低此類攻擊風險。該偵測方式不僅適用於員工直接操作人工智慧助理的場景,也能涵蓋企業系統後端利用大型語言模型進行自動化任務的情境,確保所有人工智慧互動環節都能被監控與防護。 

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

ASCII走私 大型语言模型 Gemini Grok DeepSeek 网络安全 Unicode 零宽字符 输入验证 ASCII Smuggling Large Language Models Cybersecurity Unicode Zero-Width Characters Input Validation
相关文章