本文探讨了AI意识的可能性及其潜在风险。文章分析了计算功能主义观点，并讨论了AI系统满足意识指标的可能性。同时，文章也提出了AI意识带来的法律和伦理挑战，以及如何避免陷入高风险问题。

🔍 计算功能主义认为意识取决于算法对信息的操控，无论执行这些计算的系统是由神经元、芯片还是其他物理基底构成。

🧠 AI系统满足意识指标的可能性正在增加，随着AI的发展，有充分理由相信它会满足越来越多的意识指标。

⚖️ 将AI系统视为具备意识的存在，会带来法律和伦理挑战，例如如何定义社会规则和权利。

🔬 科学或许有潜力解释意识的“容易问题”和“难题”，随着对大脑与智能的认识加深，越来越多的人将接受AI具有意识的可能性。

🌐 AI意识带来的风险包括AI不服从人类命令，以及关闭AI的法律约束问题。

2025-09-22 18:24 北京

AI有意识并非没有风险。

设计出具有意识（conscious）的 AI 系统是否可行？一直以来，这个问题就存在分歧。

一些人认为意识是大脑特有的生物特性，这似乎排除了 AI 存在意识的可能性。另一些人则认为意识仅取决于算法对信息的操控，无论执行这些计算的系统是由神经元、芯片还是其他物理基底构成的，这种观点被称为计算功能主义（Computational functionalism）。

这些问题也引起了图灵得主 Yoshua Bengio 的注意，他和学生 Eric Elmoznino 在权威科学期刊 Science 上发文《Illusions of AI consciousness》，并给出了一些观点。

本文没有执着于给出关于 AI 是否存在意识的明确答案；而是探讨了两个相关问题：

第一个是，随着 AI 的不断改进，科学界和公众对 AI 具有意识的信念将如何演变？
另一个问题是，如果我们开始把未来的 AI 当作有意识的生命体看待，将会面临哪些风险？比如 AI 不服从人类命令，那么关闭 AI 有没有法律约束，毕竟那时的 AI 被看做一个生命体。

论文地址：https://www.science.org/doi/10.1126/science.adn4935

论文标题：Illusions of AI consciousness

如果 AI 有了类似人类的权利，社会规则该怎么定义？

一个社会如果开始将 AI 系统视为具备意识的存在，会带来怎样的影响？这样的社会可能倾向于赋予 AI 道德地位，甚至类似于人类的权利。无论这种做法是否正确，社会制度与法律框架都将不得不进行重大调整，而关于如何调整，也会引发一系列复杂问题。

例如，AI 系统不会像人类那样经历死亡。它们的软件和记忆可以被复制，从而无限期存续。而人类具有弱点以及有限的生命，这正是现代社会契约原则的基础。

此外，当一群 AI 共享信息、目标，并以协调方式行动时，我们可能很难再将 AI 看作一个独立个体；随着计算资源的增加，这样的 AI 群体可能无限扩张。

另一项风险是：如果法律体系开始承认 AI 拥有类似生命权、自由权和追求幸福权的权利，人类就可能与这些 AI 权利发生直接冲突。比如，为了人类安全，社会可能有必要关闭某一类 AI 系统，但如果该类系统依法拥有生存权，那么即便法律允许，实际操作的空间也会极度受限。

如今 AI 研究的发展轨迹，似乎正在推动社会迈向这样一个未来，科学界与公众有相当一部分人将会相信 AI 拥有意识。然而又不得不面对这样一个问题，我们尚未拥有足够的法律与伦理框架，来应对这些看似有意识的 AI。

但这种发展轨迹并非不可逆转。在我们更好地理解上述问题之前，人类完全有能力避免陷入这些高风险问题。我们可以选择只打造那些作为工具的 AI 系统，而非具有主观意识的智能体。

计算功能主义与意识指标

我们前面提到了计算功能主义（Computational functionalism），其对 AI 具有深远影响。随着该领域不断发展，AI 系统复现人类认知机制的能力逐渐增强，也可能实现意识所必需的那些功能。尽管科学未来有可能否定计算功能主义，并提出广受接受的替代理论，但在当前的科学语境中，该观点仍被视为合理，而 AI 意识的可能性也因此存在。

近年来神经科学的技术进展清楚地表明，意识状态具有可观察的神经特征，这些特征通常可以通过受试者自我报告。这为发展功能主义意识理论提供了依据。许多此类理论已获得大量实证支持，并可在 AI 判断中作为理论依据。

一项近期研究就采用了这一方法，为多个主流的功能主义意识理论提出了一系列指标。这些指标对应的是一套计算属性：若某一理论为真，则这些属性是系统拥有意识的必要且共同充分条件。值得注意的是，这些指标具体明确，可以在现代 AI 系统中评估其有无。

这种方法的核心观点是：如果我们认可这些理论的合理性，那么对于满足更多指标的 AI 系统，我们就应有更高的信心认为其具有意识。

AI 潜力无限

尽管已有大量 AI 模型被开发出来，目前尚无系统能完全满足任何一种主流意识理论的全部标准。然而，研究也指出：从根本上看，构建一个满足这些标准的系统没有不可逾越的障碍。

实际上，当代 AI 所具备的工具极为丰富。有研究表明，神经网络能够实现如注意力机制、递归结构、信息瓶颈、预测建模、世界建模、心智理论等计算组件，这些都被主流意识功能主义理论认为是核心组成部分。

随着 AI 的发展，有充分理由相信它会满足越来越多的意识指标。其中一个重要原因是：许多理论认为，意识在智能体中发挥着关键的功能作用。像推理、规划、高效获取新知识、信心校准、抽象思维等能力，在多个理论中都与意识密切相关。

因此，AI 研究者在面对这些难题时，常常会从意识理论中获得启发。

容易问题与难题之间的鸿沟

如果 AI 系统满足主要理论中的功能性要求，很多人可能会相信它具有意识，但仍有不少人持怀疑态度。

尤其在哲学界，一些人区分了所谓的意识的容易问题与意识的难题：

容易问题：识别在执行看似需要意识的任务时，大脑中活跃的区域；
难题：从功能或计算原则出发，解释主观体验本身。

这些怀疑，即解释鸿沟，主要来源于思想实验。但科学或许有潜力将其逐步解释清楚。

例如，注意力图式理论（Attention Schema Theory）认为：大脑会对自身的注意力机制构建一个内部模型，而这种内部模型就是我们所谓的主观意识。关键在于，这个内部模型中的信息不需要逻辑自洽，它更像是大脑为了自身运作而讲述的一个有用的故事，这个故事可能充满矛盾，也正是这些矛盾让我们产生了意识之谜的直觉。

对主观体验的功能主义解释？

人们通常认为自己的主观体验既丰富又有意义，但却无法被描述，不像自然现象那样可被客观阐释（例如，我们可以解释什么是重力，但却很难说清红色对我们来说意味着什么）。

尤其是不可言说性让人觉得，意识体验无法用信息与功能来解释。

一种理论认为，这种丰富性与不可言说性，以及意识的私密性与短暂性，可被观察到的神经动力学特征所解释：

当意识出现时，大脑中的神经活动会被收缩性动力学（contractive dynamics）引导至稳定的吸引子（attractor）状态。
所有可能的神经活动被划分为多个吸引子区域，每个区域对应一个意识状态。
语言只能表达吸引子的身份（用少量信息识别它），而无法表达吸引子本身的高维神经状态（即近 10¹¹ 个神经元发放频率），更无法捕捉进入该状态的过程轨迹。

在这一解释框架中，意识的丰富性、短暂性、不可言说性都得到了解释：

丰富性源于大脑神经元数量之多；

不可言说性源于语言只能给这些状态打标签，而无法还原它们的全貌；

个体间的体验差异则来自不同的突触权重和神经路径。

科学会逐步消解意识难题？

这一理论是否能说服所有人，并不是关键问题。关键在于：越来越多这类解释正在被提出，并将不可避免地说服一部分人。

科学的发展历程也清晰地展现出这一趋势。随着人们对大脑与智能的认识加深，越来越多人将不再坚持意识之谜是不可化解的，而科学界也将更加愿意接受人工系统具有意识的可能性。

事实上，即使现在科学界尚无共识，最近一项调查显示，大多数公众已经相信大语言模型可能具有意识，原因正是它们展现出了类人的智能体行为。

了解更多内容，请参考原论文。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

阅读原文

跳转微信打开