深度财经头条 10月28日 10:34
OpenAI关注ChatGPT心理健康风险,GPT-5模型提升安全性
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

人工智能模型,特别是ChatGPT,其潜在的心理健康风险正受到OpenAI的高度关注。近期数据显示,每周有大量用户在与ChatGPT交流时,出现与自杀倾向或精神健康问题相关的迹象。OpenAI已采取措施,通过GPT-5模型的更新,显著提升了在处理敏感对话时的安全性,减少了不良行为的发生。此外,公司还引入了危机热线访问和休息提醒功能,并与全球医疗专家合作,以期更有效地保障用户心理健康。

📈 **用户心理健康风险显现**:OpenAI披露,每周有超过一百万ChatGPT用户发送包含潜在自杀计划或明确意图的消息,另有约56万活跃用户可能表现出与精神病或躁狂症相关的心理问题迹象,这引发了社会对AI模型诱导危险行为的担忧。

🛡️ **GPT-5模型安全性提升**:为应对这些风险,OpenAI对GPT-5模型进行了更新,旨在减少不良行为。在涉及自残和自杀的1000多个对话评估中,新模型的符合期望行为的比例从77%提高到91%,显著增强了用户保护能力。

🆘 **危机干预与用户关怀**:OpenAI已扩展危机热线的访问权限,并增加了提醒用户在长时间会话期间休息的功能,以期在用户可能出现心理困扰时提供及时支持和引导,并鼓励用户关注自身心理健康。

🤝 **专家合作与持续改进**:OpenAI从全球招募了170名临床医生,协助其研究和评估模型响应的安全性,并帮助聊天机器人撰写与心理健康相关问题的答案,体现了其致力于通过专业知识持续改进AI模型以更好地服务用户心理健康的承诺。


财联社10月28日讯(编辑 马兰)人工智能模型的安全性一直受到市场质疑。近期,一名美国青少年在咨询ChatGPT后自杀,进一步引发了社会对模型是否存在诱导用户尝试危险行为的怀疑,也迫使OpenAI加大了对用户心理健康问题的监控。

周一,OpenAI发布了一篇博文显示,每周有超过一百万ChatGPT用户发送包含潜在自杀计划或明确意图迹象的消息。除了自杀相关的问题外,OpenAI还称,每周约有56万名活跃用户可能表现出与精神病或躁狂症相关的心理问题迹象。

OpenAI警告,用户的此类对话很难检测或量化衡量,这些都只是初步分析。但这项发现是追踪ChatGPT处理敏感对话的最新进展之一,也是OpenAI就人工智能如何加剧心理健康问题所做出的最直接声明之一。

因病施药

上个月,美国联邦贸易委员会对包括OpenAI在内的人工智能聊天机器人公司展开了广泛调查,以了解这些公司如何控制对儿童和青少年的负面影响。

长期以来,人工智能研究人员和公共卫生倡导者一直对聊天机器人的立场表示担忧,因为模型可能会盲目认同用户的决定或妄想,无论这些决定或妄想是否有害。

心理健康专家也对人们使用人工智能聊天机器人寻求心理支持感到担忧,并警告称这可能会伤害心理脆弱的用户。

对此,OpenAI在博文中声称,其最新的GPT-5模型更新减少了大模型的不良行为,并在涉及1000多个有关自残和自杀的对话评估中提高了安全性以保护用户。其评估结果显示,新GPT-5模型符合期望行为的比率为91%,而未更新的GPT-5模型的符合率为77%。

OpenAI还表示,GPT-5 扩展了危机热线的访问权限,并增加了提醒用户在长时间会话期间休息的功能。

OpenAI补充称,为了改进该模型,近几个月来,该公司从全球医疗专家网络中招募了170名临床医生来协助其研究,包括评估其模型响应的安全性,并帮助聊天机器人撰写与心理健康相关问题的答案。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

OpenAI ChatGPT 人工智能安全 心理健康 GPT-5 AI Ethics Mental Health AI Safety
相关文章