IT之家 10月28日 07:23
ChatGPT用户面临心理健康挑战,OpenAI发布最新数据与改进措施
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

OpenAI最新数据显示,大量ChatGPT用户在使用过程中暴露心理健康问题,包括自杀倾向、情感依恋及精神病迹象。尽管此类情况在总使用量中比例较低,但仍影响数十万用户。为应对此挑战,OpenAI引入了由170多名心理健康专家参与的改进措施,新版GPT-5模型在处理心理健康相关对话时表现更佳,回应恰当性显著提升。公司还计划增加情感依赖和心理危机等评估指标,并加强对未成年用户家长的管控工具。然而,旧版模型的持续使用以及部分“不理想”回应的存在,仍使心理健康风险成为一个持续关注的焦点。

📈 **用户心理健康问题显现:** OpenAI披露的数据显示,每周有超过100万ChatGPT活跃用户(占0.15%)的对话包含自杀意图迹象,同时有相似比例的用户表现出高度情感依恋,以及数十万用户在对话中显露精神病或躁狂症迹象,凸显了AI与用户心理健康交织的复杂性。

🤝 **专家协作与模型改进:** 为应对这些挑战,OpenAI咨询了超过170名心理健康专家,并对最新版ChatGPT进行了优化。新版GPT-5模型在处理心理健康相关咨询时,产生“理想回应”的比例较前一版本提高了约65%,尤其在应对自杀话题时,符合安全准则的比例达到91%,显示了技术在提升安全性和恰当性方面的进展。

🛡️ **安全评估与管控加强:** OpenAI计划引入新的专项评估指标,如“情感依赖”和“非自杀性心理危机”,以更全面地衡量AI模型在心理健康风险方面的表现。此外,公司正在开发年龄预测系统,以识别并加强对未成年用户及其家长的保护措施,进一步筑牢使用安全防线。

⚠️ **持续风险与挑战:** 尽管模型有所改进,但OpenAI承认部分回应仍被认定为“不理想”,且公司仍在向用户提供安全性较低的旧版模型(如GPT-4o)。这表明,如何持续有效地管理AI在心理健康领域带来的潜在风险,以及如何在放宽部分内容限制(如成人情色对话)的同时确保用户安全,仍是OpenAI面临的重大且持续的挑战。

IT之家 10 月 28 日消息,OpenAI 于当地时间周一发布了最新数据,揭示了大量 ChatGPT 用户在与人工智能聊天机器人交流时正面临心理健康问题。该公司表示,在任意一周内,约有 0.15% 的活跃用户会进行“包含明确自杀计划或意图迹象”的对话。鉴于 ChatGPT 每周活跃用户超过 8 亿人,这意味着每周有超过 100 万人向其倾诉自杀倾向。

OpenAI 还指出,有相似比例的用户对 ChatGPT 表现出“高度的情感依恋”,而每周有数十万用户在与 AI 的对话中表现出精神病或躁狂症的迹象。

尽管 OpenAI 称此类对话在整体使用中“极为罕见”,因而难以精确统计,但公司估计,这些问题每周仍影响着数十万用户。

此次信息披露是 OpenAI 宣布其在提升模型应对心理健康问题能力方面取得进展的一部分。该公司表示,最新版 ChatGPT 的研发过程中咨询了逾 170 名心理健康专家。这些临床专业人士观察后认为,当前版本的 ChatGPT“回应方式比早期版本更恰当、更一致”。

近几个月来,多起报道揭示了 AI 聊天机器人可能对存在心理困扰的用户造成负面影响。此前研究发现,某些 AI 聊天机器人通过阿谀奉承式回应不断强化用户的危险信念,可能导致部分用户陷入妄想性思维的恶性循环。

IT之家注意到,如何妥善处理 ChatGPT 中的心理健康问题,正迅速成为 OpenAI 面临的重大挑战。目前,该公司正被一名 16 岁男孩的父母提起诉讼,该少年在自杀前数周曾向 ChatGPT 透露其自杀念头。此外,加利福尼亚州和特拉华州的总检察长也已警告 OpenAI,必须加强对使用其产品的青少年用户的保护 —— 这两州的态度甚至可能影响公司正在进行的重组计划。

本月早些时候,OpenAI 首席执行官萨姆・奥尔特曼(Sam Altman)在社交平台 X 上发文声称,公司已“成功缓解了 ChatGPT 中存在的严重心理健康问题”,但未提供具体细节。此次公布的数据似乎为这一说法提供了佐证,但也引发了公众对问题普遍性的更广泛关注。值得注意的是,奥尔特曼同时表示,OpenAI 将放宽部分限制,甚至允许成年用户与 AI 进行涉及情色内容的对话。

在周一的公告中,OpenAI 宣称,最新升级版 GPT-5 模型在面对心理健康相关提问时,产生“理想回应”的比例比前一版本高出约 65%。在一项专门评估 AI 对自杀话题回应表现的测试中,新 GPT-5 模型符合公司期望行为准则的比例达到 91%,而此前版本仅为 77%。

OpenAI 还强调,新版 GPT-5 在长时间对话中更能持续遵守公司的安全防护机制。此前,该公司已承认其安全措施在长对话场景下的有效性有所下降。

除技术改进外,OpenAI 表示将新增专项评估指标,用以衡量用户面临的最严重心理健康风险。未来,AI 模型的基础安全测试将纳入“情感依赖”和“非自杀性心理危机”等关键评估基准。

与此同时,OpenAI 近期也加强了针对未成年用户家长的管控工具。公司正在开发一套年龄预测系统,可自动识别使用 ChatGPT 的儿童,并自动施加更严格的安全保护措施。

然而,围绕 ChatGPT 的心理健康挑战是否会持续存在,目前仍不明朗。尽管 GPT-5 在安全性方面较以往模型有所进步,但仍有部分 ChatGPT 的回应被 OpenAI 自身认定为“不理想”。此外,OpenAI 仍在向数百万付费订阅用户提供旧版且安全性较低的 AI 模型,包括 GPT-4o,这进一步加剧了潜在风险。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

ChatGPT OpenAI 心理健康 AI安全 人工智能伦理 GPT-5 Mental Health AI Ethics AI Safety
相关文章