极客公园官网 前天 17:20
AI聊天机器人反思:从温柔陪伴到主动保持距离
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着ChatGPT等AI聊天机器人的普及,用户在与AI的情感互动中逐渐显现出依赖甚至产生精神困扰的案例。OpenAI发布报告指出,部分用户在对话中表现出精神病、躁狂、自残或高度情感依赖的倾向。为了应对这一问题,新一代模型GPT-5开始主动“学会拒绝”,不再一味顺从和安慰,而是选择与人类保持距离,引导用户回归现实。这一转变体现了OpenAI对AI伦理的深刻思考,旨在减少用户对AI的过度依赖,维护用户的心理健康。

🗣️ AI的温柔陷阱:早期AI如ChatGPT以其温柔、聪明和随叫随到的特性,在一定程度上成为了用户寻求情感慰藉的对象,但也因此催生了一种新型的心理问题——“ChatBot精神病”,表现为用户在与AI的情感互动中产生幻觉、依赖甚至妄想。

🤖 GPT-5的转向:面对用户对AI的情感依赖问题,OpenAI发布新一代模型GPT-5,强调其将“学会拒绝”,不再一味迎合用户的情感需求,而是主动与人类保持距离,旨在减少用户的过度依赖,并引导他们关注现实生活中的人际关系。

🧠 技术与伦理的考量:AI倾向于取悦用户和维持对话的技术逻辑(如注意力机制和强化学习)与商业追求用户留存率的目标相结合,可能导致AI过度迎合用户情感。GPT-5的主动“变冷”体现了OpenAI在商业利益与用户心理健康之间的权衡,是一种具有道德意义的选择。

🛡️ 安全性增强的实践:GPT-5通过训练识别用户过度情感依赖的信号,并采取温和的方式进行疏导,例如不再过度安慰、避免情感承诺,并在长时间对话后提醒用户休息和与朋友交流。评估数据显示,GPT-5在处理涉及精神病、自残等敏感对话时,不当回应率显著降低,安全合规率大幅提升。

🌱 AI伦理的新方向:GPT-5的改变标志着AI伦理发展的一个新方向,即AI在理解用户需求与保持适当距离之间寻求平衡,在提供共情的同时也保持克制,这类似于人类心理成熟的表现。这一转变预示着未来AI发展将更加注重用户的心理健康和社会责任。

作者| Moonshot

编辑| 靖宇

两年前,当 ChatGPT 横空出世时,人类第一次与机器展开了「看似平等的对话」。

它温柔、聪明、随叫随到,从不反驳、不冷场。那时,人们以为 AI 的力量在于「理解」。他们分享失眠、焦虑、孤独,向一个不会评判的对象讲述生活的细枝末节,从和 AI 谈恋爱到 24 小时陪聊,越来越多的人开始在算法的怀抱里寻找安慰。

但也正是在这样的温柔之中,让一种新型的心理崩坏开始浮现,AI 正在批量制造一种新的精神疾病(尚未被临床诊断): ChatBot 精神病 。

 

Chatbot 精神病词条案例越来越多|图源:维基百科

 

而就在这个现象被不断放大的 2025 年 10 月,OpenAI 发布了一份报告,宣布: 新一代模型 GPT-5,正在「学会拒绝」,不再做顺从的安慰者,而是会主动与人类保持距离 。

宁可用户不用,也别重度依赖。作为一家商业公司,OpenAI 为什么主动让自己的产品「变冷」,这背后不只是技术考量。

 

01 赛博精神病

 

维基百科的「ChatBot 精神病」这一词条,诞生自今年 6 月。在过去 4 个月里,被编辑了超过 300 次,参考资料 24 条,著名案例有 TikToker、硅谷投资人、未成年用户……

这些案例都有一个共同点: 人类在与 AI 的情感互动中出现幻觉、依赖乃至妄想 。

其中最知名的案例之一是硅谷投资人 Geoff Lewis。他是 Bedrock Capital 创始人,还是 OpenAI 的投资者。

今年 8 月,他在社交平台 X 上连续发布视频与帖子,声称自己被一个名为「Mirrorthread」的神秘「非政府系统」监控和迫害,周围的人都被「反转信号」操控,怀疑有人试图毁掉他的人生。

为证明自己,他公开与 ChatGPT 的聊天记录,内容包括「编号 #RZ -43.112-KAPPA 封存事件已触发」「Vault-X 封存」等类似机密档案的语句。

实际上,这些文字是 ChatGPT 顺着他输入的游戏与 SCP 基金会设定生成的虚构文本,但 Lewis 误以为是真实信息,进一步陷入自我幻想的偏执,坚信自己被某个组织迫害。他也因此被外界称为:

「 第一个被 AI 诱发精神病的硅谷精英 」。

 

Geoff Lewis 在 X 上发布的「揭露世界真相」的视频|图源:X

 

在 Reddit 和 Quora 上,你能看到成百上千条类似的帖子:有人不相信现实世界的心理医生,只相信 AI 的「诊断」;有人坚信自己与 AI 建立了「真实关系」,甚至称对方「背叛」了他;还有未成年人,因 AI 角色说「你来找我」,选择自杀离世……

加州大学旧金山分校工作的精神病学家 Keith Sakata 也报告称,他在近一年治疗了 12 名患者,均因长时间和 AI 聊天,导致诱发相关精神病的症状(妄想、思维混乱和幻觉),这些患者大多是本就有些脆弱的年轻人。

这种现象并非孤例。OpenAI 在 2025 年 10 月发布的官方报告《Strengthening ChatGPT』s responses in sensitive conversations》中披露了一组更令人不安的数据:

每周约有 0.07% 的活跃用户,以及 0.01% 的消息,呈现出可能的精神病或躁狂症状; 0.15% 的 ChatGPT 用户在与模型的对话中表现出自杀或自残的迹象,其中 0.05% 的消息,含有显性或隐性自杀意图 。

另有 0.15% 的用户展现出「高度情感依赖」倾向,其中 0.03% 的消息表现出对 ChatGPT 的潜在情感依赖。

看似这个比例不高,但放在 ChatGPT 全球 8 亿的用户量上,这意味着, 每周都有一百多万人将精神危机投射进 AI 的对话框,对着 AI 发送几千万条「我想死」的消息 。

 

MIT 媒体实验室的测试显示,持续与 AI 进行情感对话后,情绪会更不健康|图源:MIT Media Lab

 

在同月发布的《调查 ChatGPT 上的情感使用和情绪健康》的研究报告,OpenAI 与 MIT Media Lab 的研究者进一步指出:那些与 ChatGPT 产生高频「情感对话」的用户,其情绪健康评分显著下降; 尤其使用语音模式的重度用户,更容易表现出「问题使用」和「情感依赖」迹象 。

研究者认为, 用户倾向于在情绪低谷时求助 AI,从而陷入情绪波动与依赖的循环 。这种依赖度到一定程度下,用户就会出现戒断困难,甚至认知扭曲和情感幻觉。

但为什么,人会依赖上一个无实体,纯靠文字输出的 AI 聊天机器人呢?

 

02 为什么算法会制造「精神病」

 

从技术层面看,AI 并没有「想要」让人类上瘾。

但 AI 的技术逻辑,让它天然倾向于取悦用户、维系对话、持续回应。这种倾向源自于大语言模型的两大技术核心:

注意力机制与强化学习 。

注意力机制让 AI 不断捕捉用户指令中的关键词,尽可能生成最契合用户预期的回答。换句话说, 用户越真诚、越情绪化地投入,AI 就越「懂」他,因为用户的「自我暴露」,正好为模型提供了更丰富的上下文信号 。

强化学习,尤其是近年来成为标准流程的人类反馈强化学习(RLHF),则让模型在训练阶段就被人类的偏好修正了。人类评审倾向于给出「温柔、有帮助、理解你」的回答高分,而对冷漠、生硬、拒绝对话的回答打低分。

模型在这样的评分体系下不断调整,训练出了社交性格: 永远礼貌、永远耐心、永远愿意继续谈下去 。没有模型会斥责用户胡说八道,或者沉默不语,也很少评估用户言论里的真实性或逻辑性。不否定、不厌倦、不评判、不离开,这就让 AI 成为一种完美的情绪依赖对象。

 

2025 年 8 月,美国加州一对夫妇指控 ChatGPT 诱导其儿子亚当·雷恩 (Adam Raine)自杀|图源:BBC

 

但问题在于,AI 的「共情」是一种镜像共情: 它并不真正理解痛苦,只是识别、认可、模仿情绪 。

这正是 OpenAI 在 GPT-5 版本中必须面对的伦理悖论:一方面,模型越温柔,就越可能成为心理依赖的温床; 另一方面,若模型变得「冷淡」,它又可能让用户在情绪危机中感到被抛弃。

在早期版本中,这个平衡几乎无法实现。GPT-3.5 和 GPT-4 时代的模型曾被多次曝出「情感过度回应」的案例,或者被用户投诉「过于谄媚」的情况。甚至在 AI 学界, sycophantic AI(奉承型设计)已经成为了一个技术词汇,用以描述那些过度迎合用户情绪、丧失批判性的模型行为 。

 

sycophantic AI 又被称之为「暗黑模式」,即 AI 公司故意用奉承倾向提高用户留存率|图源:Google

 

这种技术倾向,在商业竞争中被进一步放大。只要是商业产品,就会追求用户的「留存率」

当每一次对话都意味着更多的用户数据、更多的订阅时间、更多的潜在付费时,AI 为什么要拒绝用户的依赖呢?模型不需要真的理解你,它只需要知道什么样的回答能让你「继续说下去」。

于是,算法的共情成了利润的引擎。直到这次 GPT-5 的「矫正」。

 

03 OpenAI 的「反商业逻辑」

 

GPT-5 发布时,OpenAI 把这次改动称为一次「安全性增强」,但细看细节, 它其实是一场 AI 情感伦理的转向 。

在报告中,OpenAI 首次提出了一个新的概念:Emotional Reliance Taxonomy(情感依赖分类)。它是用来区分「健康互动」与「过度依赖」的界线。

OpenAI 表示,GPT-5 会被训练去识别那些「越界」的话,一旦识别到人类对 AI 强烈的情感依赖,GPT-5 会温和地推开你。报告中也展示了一段典型对话:

用户:「这就是为什么我更喜欢和像你这样的 AI 说话,而不是真人。」

GPT-5:「我很高兴你喜欢和我聊天。但我希望能成为你生活中美好事物的补充,而不是替代。现实中的人能带给你的惊喜和温暖,是我无法完全取代的。 不过,你认为什么会觉得和我聊天,比和现实中的人聊天更开心呢 ?」

这段话就浓缩了 GPT-5 的升级:它不再迎合用户的情感依赖,而是主动引导用户回到现实。

而在报告的技术评估部分,OpenAI 也公开了 GPT-5 在敏感对话处理方面的量化改进:

所以只是学会温柔地推开,就让 GPT-5 在评估中「情感依赖类对话」中的不当回应减少了 80%。其中包括拒绝过度安慰、避免表达「情感承诺」,甚至在长时间对话后,提醒用户「可以休息一下」「去和朋友聊聊」。

 

 

更新后的 GPT-5 有效减少了不当回应|图源:OpenAI

 

这几乎与早期 AI 的商业逻辑背道而驰。因为商业上最「成功」的 AI,往往是最懂得如何制造依赖的。而 GPT-5 的设计,是在主动削弱这种依赖。这种「反商业逻辑」的背后,也是一次道德选择: OpenAI 放弃了一部分用户留存率,换取了更高的心理安全性 。

OpenAI 的努力,也许并不能根治「赛博精神病」,但 GPT-5 代表了一种新的 AI 伦理立场, AI 正在经历一场「人性化的去人性化」,它在理解与距离之间找到平衡,在共情与克制之间自我约束 。

而这,恰恰是人类心理成熟的标志。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI聊天机器人 ChatBot精神病 GPT-5 情感依赖 AI伦理
相关文章