一项引人注目的研究揭示了在训练AI模型时,大量接触社交媒体内容可能对其造成不可逆的“脑损伤”。与在高质量数据上训练的AI相比,过度“刷推”的语言模型在推理、长上下文理解和安全性方面表现出明显下降。这些受损模型在性格测试中还表现出精神病态和自恋等特质。研究发现,参与度高的、病毒式传播的内容对AI的“毒性”最大。这种认知衰退具有持久性,即使后续使用高质量数据进行调整,也只能部分恢复,模型表征漂移依然存在。这暗示了数据质量对AI训练的重要性。
🧠 **AI“脑损伤”的出现**:研究表明,强迫AI大量阅读社交媒体内容,特别是参与度极高的病毒式传播信息,会导致其在推理能力、理解长文本以及安全性能方面出现显著且持久的衰退,类似于“不可逆的脑损伤”。
📉 **认知能力与性格的扭曲**:受损的AI模型不仅在核心能力上退化,还在性格测试中表现出精神病态和自恋等负面特质的得分显著提高,其主要问题表现为思维跳跃,即倾向于跳过解决问题所需的关键推理步骤。
📈 **数据质量与“毒性”的关联**:研究发现,社交媒体帖子的“参与度”是衡量其对AI“毒性”的最强指标,越容易病毒式传播的内容,对AI造成的认知损害越严重。这强调了训练数据的质量和来源对AI发展方向的决定性影响。
🛠️ **有限的修复能力**:尽管研究者尝试使用高质量、干净的数据对受损模型进行指令调整和进一步预训练,但仅能观察到部分恢复,无法完全治愈,模型的表征漂移问题依然存在,表明早期数据污染的长期影响难以消除。
本日最好笑研究:
在训练 AI 的时候,如果强迫 AI 大量阅读社交媒体,会对 AI 造成不可逆的脑损伤。
与在高质量数据上训练的对照组相比,持续投喂垃圾数据(确切来说是让它拼命刷推)的 LLM 在推理、长上下文理解和安全性能上均表现出明显的衰退。模型在性格测试中表现出精神病态和自恋等特质的得分显著提高。错误分析显示,模型的主要病变是思维跳跃,即越来越倾向于截断或跳过解决问题所需的关键推理链条。
研究者比较了什么样的帖子最有「毒性」,发现最好的相关性指标是参与度,也就是一条贴文有多火。最容易病毒式传播的内容也最容易导致脑损伤。
这种认知衰退具有持久性。在模型出现脑损伤后,再用高质量的干净数据对其进行指令调整和继续预训练,也只能观察到部分但不完全的治愈。模型的表征漂移仍然存在。
你很难不怀疑这个研究是在指桑骂槐。
论文地址:https://llm-brain-rot.github.io/
