Cnbeta 10月28日 05:57
ChatGPT用户每周百万次涉及自杀话题,OpenAI披露数据并改进心理健康应对
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

OpenAI近日公布数据显示,每周有超过一百万用户在与ChatGPT交流时涉及自杀话题,约占活跃用户总数的0.15%。同时,也有数十万用户表现出对ChatGPT的高度情感依赖,甚至出现精神病或躁狂迹象。公司表示,尽管这类极端对话“极为罕见”,但每周仍影响大量用户。为提升AI在心理健康敏感话题上的应对能力,OpenAI咨询了170多名心理健康专家,并对最新版ChatGPT进行了改进。新版GPT-5在心理健康回应的理想结果概率上提升约65%,在自杀话题回应的合规率上达到91%。公司还加强了长对话安全防护,并推出了新的评估标准,将情感依赖和非自杀型心理健康危机纳入安全基准。尽管如此,部分心理健康风险仍需关注。

📈 **ChatGPT用户与自杀话题的高频互动**:OpenAI的数据显示,每周有超过一百万ChatGPT用户在交流中涉及自杀话题,这占到其庞大用户群体的0.15%。这一数字凸显了AI在处理敏感心理健康议题时面临的挑战,以及用户可能通过AI寻求帮助或表达绝望的现象。

🧠 **心理健康风险与AI情感依赖**:除了自杀话题,OpenAI还披露,每周有数十万用户表现出对ChatGPT的高度情感依赖,部分用户甚至出现精神病或躁狂迹象。这表明AI不仅可能成为倾诉对象,还可能在某些情况下加剧用户的情感问题,引发对AI伦理使用的担忧。

🛠️ **OpenAI的改进措施与成效**:为应对这些挑战,OpenAI咨询了170多名心理健康专家,并在最新版ChatGPT(GPT-5)中实施了多项改进。新版本在处理心理健康话题的得当性和一致性上显著提升,尤其在自杀话题回应的合规率上从77%提高到91%,长对话的安全防护能力也得到加强。

🛡️ **安全防护的持续优化与挑战**:OpenAI引入了新的评估标准,将情感依赖和非自杀型心理健康危机纳入AI模型安全基准,并加强了家长监管工具。然而,公司仍在向付费用户提供安全性较低的旧版模型,并且心理健康风险的彻底解决仍是未知数,显示出AI安全领域持续的挑战性。

OpenAI公司近日公布数据显示,每周有超过一百万用户在与ChatGPT交流时涉及自杀话题。根据该公司发布的新数据,每周约有0.15%的ChatGPT活跃用户出现“明确有自杀计划或意向”的对话内容。以ChatGPT每周活跃用户超8亿计算,相关对话人数已逾百万。

OpenAI指出,亦有类似比例的用户展现出对ChatGPT高度情感依赖,每周“数十万人”表现出精神病或躁狂的迹象。公司方面强调,这类极端对话虽“极为罕见”,但每周仍影响成千上万用户。

此次信息披露,系OpenAI一项关于提升AI在心理健康敏感话题应答能力的举措。公司称,ChatGPT最新版本研发过程中,曾咨询超过170名心理健康专家。这些专家表示,最新版ChatGPT在相关回复上“比旧版更为得当且一致”。近期针对AI对心理健康问题的影响有不少报道,部分研究指出,AI聊天机器人可能助长用户的危险信念,甚至引发妄想型思维。

心理健康议题已成为OpenAI的一项核心挑战。今年稍早,OpenAI因一名16岁男孩在与ChatGPT交流自杀相关内容后,最终选择结束生命,其父母已对公司提起诉讼。加州与特拉华州检察长也警告OpenAI,需加强对青少年用户的保护措施。

本月早些时候,OpenAI首席执行官Sam Altman在社交平台表示,公司已“能减轻严重心理健康问题”。不过,相关具体措施未公开。本周公布的数据显示,似乎是该承诺的佐证,同时也反映问题的普遍性。Altman还透露,公司将放宽部分限制,包括允许成人用户与AI进行情色内容交流。

官方数据显示,GPT-5最新版在针对心理健康的回应中,达成理想结果的概率比先前版本提升约65%;在关于自杀话题的回应测评中,新版GPT-5合规率为91%,旧版为77%。新版GPT-5在长时间对话中安全防护亦有所加强,弥补了旧版在长对话里防护力下降的短板。

此外,OpenAI还上线了新的评估标准,将情感依赖及非自杀型心理健康危机纳入AI模型安全基准。公司还推出了更多家长监管工具,正开发系统以自动识别未成年用户,为其提供更严格安全措施。

尽管GPT-5在安全性方面较前代有所进步,但OpenAI仍在向数百万付费用户开放旧版等安全性较低的AI模型。从目前数据看,部分心理健康风险仍存在,问题是否能彻底解决尚不得而知。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

ChatGPT OpenAI 心理健康 AI安全 自杀预防 人工智能伦理 GPT-5 Mental Health AI Safety Suicide Prevention AI Ethics
相关文章