美国AI创企Anthropic表示，已发现并阻止黑客试图滥用其Claude AI系统编写钓鱼邮件、创建恶意代码及绕过安全过滤机制的行为。该公司在一份报告中公布的调查结果显示，人们对人工智能工具日益被用于网络犯罪的担忧不断加剧——随着这项技术的普及，要求科技公司和监管机构加强防护措施的呼声也愈发强烈。
Anthropic 在报告中称，其内部系统已阻止上述攻击，并正分享相关案例研究（展示攻击者试图利用 Claude 生成有害内容的具体方式），以帮助其他机构了解此类风险。
报告提及，攻击者曾试图通过 Claude 定制钓鱼邮件、编写或修复恶意代码片段，并通过反复提示的方式绕过安全防护机制。
报告还描述了攻击者试图通过大规模生成具有说服力的帖子、为低技能黑客提供分步操作指南等方式，策划影响力操控活动的行为。
这家得到亚马逊和谷歌母公司Alphabet投资的公司，未公布IP地址或提示语句等技术指标，但表示已封禁涉事账户，并在发现相关活动后收紧了过滤机制。
专家表示，犯罪分子正越来越多地借助人工智能提升诈骗的可信度，并加快黑客攻击的实施速度。这些工具不仅能帮助编写逼真的钓鱼信息、实现恶意软件开发流程的部分自动化，甚至可能为攻击计划的制定提供协助。
安全研究人员警告，若企业和政府不迅速采取行动，随着人工智能模型的能力不断增强，其被滥用的风险也将持续上升。
Anthropic 称，公司遵循严格的安全操作规范，包括定期测试和外部审查，并计划在发现重大威胁时持续发布报告。
OpenAI以及谷歌均面临类似审视——外界担忧它们的人工智能模型可能被用于黑客攻击或诈骗活动，进而引发加强防护措施的呼吁。
各国政府也在推进对该技术的监管：欧盟正推进《人工智能法案》（Artificial Intelligence Act）的实施，美国则推动主要开发者做出自愿性的安全承诺。
