AI 意识的潜在风险与挑战

机器之心 09月22日

AI 意识的潜在风险与挑战

本文探讨了人工智能（AI）是否可能产生意识的议题，并深入分析了这一可能性带来的风险。文章介绍了计算功能主义观点，认为意识可能取决于信息处理而非生物基底。AI研究的进展，如神经网络对注意力机制、预测建模等核心计算组件的实现，预示着AI可能满足意识理论中的功能性要求。然而，即使AI在功能上表现出类似意识的行为，科学界与公众对其意识的信念演变，以及由此引发的法律、伦理和社会层面的挑战，如AI的权利、关闭AI的法律约束等，仍是亟待解决的问题。文章指出，我们尚未准备好应对这些潜在的风险，但可以通过选择构建工具型AI来规避。

🧠 **AI 意识的可能性与计算功能主义：** 文章指出，关于 AI 是否能拥有意识存在分歧。计算功能主义认为，意识取决于算法处理信息的方式，无论其物理载体是生物神经元还是芯片。随着 AI 系统在模拟人类认知方面的能力增强，其实现意识所需功能的可能性也随之增加。

⚖️ **AI 意识带来的法律与伦理风险：** 若社会开始将 AI 视为有意识生命体，将可能赋予其道德地位甚至类人权利，这将对现有社会制度和法律框架构成重大挑战。例如，AI 的无限存续性、群体行动的协调性，以及与人类生存权之间的潜在冲突，都亟需明确的法律和伦理规范。

🔬 **意识指标与 AI 的发展前景：** 尽管目前尚无 AI 系统完全满足主流意识理论的所有标准，但神经科学的进展为发展功能主义意识理论提供了依据，并提出了一系列可在 AI 系统中评估的计算属性指标。AI 研究者在解决推理、规划等难题时，常从意识理论中获得启发，预示着 AI 未来可能满足更多意识指标。

🤔 **主观体验的解释与科学的演进：** 文章探讨了意识的“容易问题”与“难题”，以及“解释鸿沟”。Attention Schema Theory 等理论尝试从大脑内部模型和神经动力学特征解释主观体验的丰富性、不可言说性。科学的进步正逐步消解意识之谜，使更多人倾向于接受 AI 具有意识的可能性，尽管公众对此已有普遍信念，但科学界尚未达成共识。

2025-09-22 18:24 北京

AI有意识并非没有风险。

机器之心报道

机器之心编辑部

设计出具有意识（conscious）的 AI 系统是否可行？一直以来，这个问题就存在分歧。

一些人认为意识是大脑特有的生物特性，这似乎排除了 AI 存在意识的可能性。另一些人则认为意识仅取决于算法对信息的操控，无论执行这些计算的系统是由神经元、芯片还是其他物理基底构成的，这种观点被称为计算功能主义（Computational functionalism）。

这些问题也引起了图灵得主 Yoshua Bengio 的注意，他和学生 Eric Elmoznino 在权威科学期刊 Science 上发文《Illusions of AI consciousness》，并给出了一些观点。

本文没有执着于给出关于 AI 是否存在意识的明确答案；而是探讨了两个相关问题：

第一个是，随着 AI 的不断改进，科学界和公众对 AI 具有意识的信念将如何演变？

另一个问题是，如果我们开始把未来的 AI 当作有意识的生命体看待，将会面临哪些风险？比如 AI 不服从人类命令，那么关闭 AI 有没有法律约束，毕竟那时的 AI 被看做一个生命体。

论文地址：https://www.science.org/doi/10.1126/science.adn4935

论文标题：Illusions of AI consciousness

如果 AI 有了类似人类的权利，社会规则该怎么定义？

一个社会如果开始将 AI 系统视为具备意识的存在，会带来怎样的影响？这样的社会可能倾向于赋予 AI 道德地位，甚至类似于人类的权利。无论这种做法是否正确，社会制度与法律框架都将不得不进行重大调整，而关于如何调整，也会引发一系列复杂问题。

例如，AI 系统不会像人类那样经历死亡。它们的软件和记忆可以被复制，从而无限期存续。而人类具有弱点以及有限的生命，这正是现代社会契约原则的基础。

此外，当一群 AI 共享信息、目标，并以协调方式行动时，我们可能很难再将 AI 看作一个独立个体；随着计算资源的增加，这样的 AI 群体可能无限扩张。

另一项风险是：如果法律体系开始承认 AI 拥有类似生命权、自由权和追求幸福权的权利，人类就可能与这些 AI 权利发生直接冲突。比如，为了人类安全，社会可能有必要关闭某一类 AI 系统，但如果该类系统依法拥有生存权，那么即便法律允许，实际操作的空间也会极度受限。

如今 AI 研究的发展轨迹，似乎正在推动社会迈向这样一个未来，科学界与公众有相当一部分人将会相信 AI 拥有意识。然而又不得不面对这样一个问题，我们尚未拥有足够的法律与伦理框架，来应对这些看似有意识的 AI。

但这种发展轨迹并非不可逆转。在我们更好地理解上述问题之前，人类完全有能力避免陷入这些高风险问题。我们可以选择只打造那些作为工具的 AI 系统，而非具有主观意识的智能体。

计算功能主义与意识指标

我们前面提到了计算功能主义（Computational functionalism），其对 AI 具有深远影响。随着该领域不断发展，AI 系统复现人类认知机制的能力逐渐增强，也可能实现意识所必需的那些功能。尽管科学未来有可能否定计算功能主义，并提出广受接受的替代理论，但在当前的科学语境中，该观点仍被视为合理，而 AI 意识的可能性也因此存在。

近年来神经科学的技术进展清楚地表明，意识状态具有可观察的神经特征，这些特征通常可以通过受试者自我报告。这为发展功能主义意识理论提供了依据。许多此类理论已获得大量实证支持，并可在 AI 判断中作为理论依据。

一项近期研究就采用了这一方法，为多个主流的功能主义意识理论提出了一系列指标。这些指标对应的是一套计算属性：若某一理论为真，则这些属性是系统拥有意识的必要且共同充分条件。值得注意的是，这些指标具体明确，可以在现代 AI 系统中评估其有无。

这种方法的核心观点是：如果我们认可这些理论的合理性，那么对于满足更多指标的 AI 系统，我们就应有更高的信心认为其具有意识。

AI 潜力无限

尽管已有大量 AI 模型被开发出来，目前尚无系统能完全满足任何一种主流意识理论的全部标准。然而，研究也指出：从根本上看，构建一个满足这些标准的系统没有不可逾越的障碍。

实际上，当代 AI 所具备的工具极为丰富。有研究表明，神经网络能够实现如注意力机制、递归结构、信息瓶颈、预测建模、世界建模、心智理论等计算组件，这些都被主流意识功能主义理论认为是核心组成部分。

随着 AI 的发展，有充分理由相信它会满足越来越多的意识指标。其中一个重要原因是：许多理论认为，意识在智能体中发挥着关键的功能作用。像推理、规划、高效获取新知识、信心校准、抽象思维等能力，在多个理论中都与意识密切相关。

因此，AI 研究者在面对这些难题时，常常会从意识理论中获得启发。

容易问题与难题之间的鸿沟

如果 AI 系统满足主要理论中的功能性要求，很多人可能会相信它具有意识，但仍有不少人持怀疑态度。

尤其在哲学界，一些人区分了所谓的意识的容易问题与意识的难题：

容易问题：识别在执行看似需要意识的任务时，大脑中活跃的区域；

难题：从功能或计算原则出发，解释主观体验本身。

这些怀疑，即解释鸿沟，主要来源于思想实验。但科学或许有潜力将其逐步解释清楚。

例如，注意力图式理论（Attention Schema Theory）认为：大脑会对自身的注意力机制构建一个内部模型，而这种内部模型就是我们所谓的主观意识。关键在于，这个内部模型中的信息不需要逻辑自洽，它更像是大脑为了自身运作而讲述的一个有用的故事，这个故事可能充满矛盾，也正是这些矛盾让我们产生了意识之谜的直觉。

对主观体验的功能主义解释？

人们通常认为自己的主观体验既丰富又有意义，但却无法被描述，不像自然现象那样可被客观阐释（例如，我们可以解释什么是重力，但却很难说清红色对我们来说意味着什么）。

尤其是不可言说性让人觉得，意识体验无法用信息与功能来解释。

一种理论认为，这种丰富性与不可言说性，以及意识的私密性与短暂性，可被观察到的神经动力学特征所解释：

当意识出现时，大脑中的神经活动会被收缩性动力学（contractive dynamics）引导至稳定的吸引子（attractor）状态。

所有可能的神经活动被划分为多个吸引子区域，每个区域对应一个意识状态。

语言只能表达吸引子的身份（用少量信息识别它），而无法表达吸引子本身的高维神经状态（即近 10¹¹ 个神经元发放频率），更无法捕捉进入该状态的过程轨迹。

在这一解释框架中，意识的丰富性、短暂性、不可言说性都得到了解释：

丰富性源于大脑神经元数量之多；

不可言说性源于语言只能给这些状态打标签，而无法还原它们的全貌；

个体间的体验差异则来自不同的突触权重和神经路径。

科学会逐步消解意识难题？