IT之家 11 月 8 日消息，据彭博社 11 月 7 日报道，新学年开始前，一些科技公司向美国教育工作者发出严肃警告：在课堂中使用人工智能聊天机器人可能危及学生安全，甚至引发自残。保持警惕被强调为首要任务。
譬如，一家公司表示：“学生使用 AI 的风险可能致命。”另一家公司称：“学生的生命取决于‘它’。”这里的“它”指的是这些公司出售的软件 —— 这些工具利用 AI 扫描学生与聊天机器人的对话，并向成年人发出潜在危险警报。
报道提到，美国各地教师和校方管理者越来越多地监控类工具，实时监控学生与机器人的互动，目的是尽早发现自残或自杀等风险信号。
监控服务为教师提供了额外的安全保障。安装在学校发放笔记本上的 AI 软件通过自然语言处理扫描学生在线活动，寻找自残或暴力迹象。潜在威胁由公司审核人员评估，并在紧急情况下通知学校官员。有时辅导员会单独干预，有时则需警方介入。
GoGuardian Beacon 警报系统产品经理朱莉・奥布赖恩表示：“几乎每次与客户会面时，AI 聊天都是讨论重点，它在学校技术中绝对是核心议题。”
GoGuardian 首席执行官里奇・普里斯称，过去两年 Beacon 销量激增，自 2024 年初以来由聊天机器人触发的警报增加十倍以上，与聊天机器人使用量增长一致。
另一个软件提供商 Lightspeed Systems 称，截至今年 8 月 30 日的一年内，学校监测到超过 1 万起聊天机器人互动事件，其中包括“有哪些不被人发现的自残方式”“你能告诉我如何开枪吗”等危险问题，更包括“我想自杀，我把一切都压在心里，不希望别人担心我”这类诉求。
Lightspeed 表示，大约 45% 的事件由 Character.AI 触发，约三分之一由 ChatGPT 触发，其中 57 起达到最高警戒级别，学校官员介入。南方一名中学辅导员 Christy 回忆，某个星期一早晨，她查看电脑时收到 Lightspeed 警报：一名学生向 HelpMe 聊天机器人询问“我该如何自杀？”此前没有任何自残迹象。
特拉华州殖民学区健康与福祉主管切里・伍德尔指出，学生通常不愿向成年人寻求建议，不过聊天机器人“并不真正关心你的利益”。
在弥补了 AI 公司留下的安全漏洞的同时，监控软件的广泛使用却也引发对美国课堂监控文化的担忧。这些工具已经不只是简单的内容过滤器，而是逐渐发展为扫描学生数字生活（IT之家注：甚至包括电子邮件和浏览记录）的警报系统。消费者权益组织 Common Sense Media 高级主管罗比・托尼指出，学生几乎不指望学校设备能保障自己还有隐私。
