OpenAI近期暂停了部分与中国有关的账户，因其涉嫌利用ChatGPT开发宣传材料及社交媒体监听工具。这些账户通过VPN连接，可能为政府客户服务，旨在监控X、Facebook等平台上的极端主义、民族、宗教或政治相关信息。OpenAI声明，其AI模型未被用于实际数据监控，也无法证实工具是否归属中国政府。此外，还有一个账户因起草“高风险维吾尔相关流入预警模型”的提案被封禁，该模型意在追踪维吾尔族群体流动。OpenAI还披露，中、俄、韩语社群团体试图利用ChatGPT研发恶意软件，并挫败了柬埔寨、缅甸、尼日利亚等地的诈骗网络违规行为。OpenAI强调，模型在面对明确恶意请求时会拒绝，且未发现新的攻击策略或能力。

📊 **OpenAI暂停中国账户，揭示AI滥用风险**：OpenAI近期采取行动，暂停了多个与中国相关的账户，这些账户被指控利用ChatGPT为项目计划设计宣传材料和社交媒体监听工具。这些行动表明了AI技术在内容生成和信息监控方面的潜在滥用风险，并凸显了平台方对违规行为的监管力度。

🔍 **社交媒体监控工具与潜在目标**：据OpenAI介绍，被禁账户开发的工具被描述为社交媒体“探测器”，旨在监控X（原Twitter）、Facebook、Instagram、Reddit、TikTok和YouTube等平台上的极端主义、民族、宗教或政治类信息。这引发了对AI在信息审查和舆论引导方面应用的担忧，以及对用户隐私和言论自由的潜在影响。

⚖️ **AI模型安全与边界**：OpenAI强调，被禁账户并未实际利用其AI模型进行社交媒体数据监控，并且公司无法独立核实这些工具是否为中国政府机构所用。同时，OpenAI还封禁了另一个起草“高风险维吾尔相关流入预警模型”提案的账户。这反映了AI模型在设计和应用中，需要明确的伦理界限和安全协议，以防止被用于不良目的。

🛡️ **恶意软件研发与诈骗网络打击**：OpenAI的威胁报告还披露，来自中国、俄罗斯和韩语社群的团体曾试图利用ChatGPT研发和改良恶意软件，以及挫败了包括柬埔寨、缅甸、尼日利亚在内的诈骗网络。这表明AI技术也被用于网络安全威胁的制造和防范，OpenAI正积极参与打击此类活动。

🔒 **AI模型的防御能力**：OpenAI表示，其模型在面对明确的恶意请求时都会拒绝，且未发现新的攻击策略或AI模型为不法分子带来新型攻击能力。这说明AI模型本身具备一定的防御机制，能够识别并拒绝不当使用，但持续的监控和更新仍是必要的。

OpenAI宣布，已暂停一些与中国有关的账户，这些账户涉嫌利用ChatGPT“设计宣传材料和社交媒体监听工具的项目计划”。据悉，相关账户通过VPN从中国连接至ChatGPT，并疑似在为某些政府客户工作。

据OpenAI介绍，这些用户正在开发的工具本质上是一种社交媒体“探测器”，可帮助操作者监控如X（原Twitter）、Facebook、Instagram、Reddit、TikTok和YouTube等平台上，被定义为极端主义、涉及民族、宗教或政治类信息的内容。

OpenAI强调，被禁账户未曾利用其AI模型进行社交媒体数据监控，并表示公司无法独立核实这些工具是否实际为中国政府机构所用。

此外，OpenAI还封禁了另一个使用ChatGPT起草名为“高风险维吾尔相关流入预警模型”提案的账户。该系统据称意在协助操作者追踪维吾尔族群体的流动，与警方记录进行交叉核查并对旅行活动进行预警。

OpenAI发布的威胁报告还披露，来自中国、俄罗斯和韩语社群的团体曾试图利用ChatGPT研发和改良恶意软件，包括远程访问木马、凭据窃取程序以及绕过检测的工具。此外，OpenAI还挫败了包括柬埔寨、缅甸、尼日利亚在内的诈骗网络的相关违规行为。

OpenAI补充称：“我们未发现有新的攻击策略，也未发现我们的模型为不法分子带来新型攻击能力。事实上，我们的模型在面对明确的恶意请求时都会拒绝。”

自2024年2月发布首份威胁报告以来，OpenAI已中断并上报了40多个违反公司政策的网络团体。

了解更多：

https://cdn.openai.com/threat-intelligence-reports/7d662b68-952f-4dfd-a2f2-fe55b041cc4a/disrupting-malicious-uses-of-ai-october-2025.pdf

查看评论