道哥的黑板报 09月20日
人工智能发展历程与下一代技术展望
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文回顾了人工智能技术的发展历程,从早期计算机先驱的构想,到当代深度学习的里程碑事件,再到大模型的发展路线之争。文章深入探讨了人工智能的关键技术依赖,包括算力、数据和算法,并指出了当前技术面临的挑战。在此基础上,作者提出了对下一代人工智能计算范式的思考,强调了自主智能系统(自适应、自协调、自博弈、自进化)的重要性,以及构建有效样本数据集的必要性,为实现通用人工智能描绘了新的方向。

💡 **人工智能发展历程回顾:** 文章梳理了AI从早期构想到当代里程碑的演变,包括达特茅斯会议确立AI概念,经历了两次高潮与两次寒冬。当代AI的第三次浪潮由深度学习驱动,以AlexNet、AlphaGo和ChatGPT为代表,并与杰弗里·辛顿、Joshua Bengio、杨立坤等关键人物紧密相关,凸显了深度学习、强化学习和生成式智能的融合。

🚀 **关键技术依赖与挑战:** AI的发展高度依赖算力、数据和算法。算力方面,GPU的崛起和“黄氏定律”推动了AI的指数级增长,但能源消耗和算力供给仍是挑战。数据方面,高质量数据的获取与标注成本高昂,大模型训练耗尽了现有语料,数据生成和“小数据、大智能”范式成为新方向。算法方面,脑科学和认知心理学的研究进展制约着AI的进一步发展,尤其是在推理、规划等高级认知能力上。

🌟 **下一代人工智能计算范式:** 文章提出,下一代AI应朝着自主智能系统发展,具备自适应、自协调、自博弈、自进化能力。核心在于解决“数据从哪里来”的问题,通过环境探索、行动反馈和自我思考来自动构建有效样本数据集,而非仅依赖预训练数据。这种范式将推动AI从“工具性智能”向“自主性智能”跨越,实现推理、规划、理解外部世界和持续记忆等高级智能活动。

🧠 **人工智能的基本原理与未来方向:** 作者提出“人工智能的基本原理”,即AI的本质是通过人工神经网络统计数据中的内在规律并储存在模型参数中。这一原理意味着数据样本决定模型表现,且通用大模型并非万能。未来的AI发展在于如何自动化构建有效的样本数据集,通过自我学习和优化,最终实现通用人工智能(AGI)。

原创 道哥 2025-09-08 17:07 浙江

本文通过回顾人工智能技术发展历程,探讨下一代人工智能技术的发展契机,并针对当前技术发展的迷雾与噪音提出了自己的观点。

前言

本文原文刊载于《前进论坛》(2025.04期,总第609期),原文标题为“人工智能创新的挑战与机遇”,旨在通过回顾人工智能技术发展历程,探讨下一代人工智能技术的发展契机。本文在原文的基础上有所修改,主要是新增了“3.1 人工智能的基本原理”一节,针对当前技术发展的迷雾与噪音提出了自己的观点。欢迎批评和指正。

目录

1. 人工智能的里程碑与关键人物

    1.1 早期计算机先驱对人工智能的构想

    1.2 当代人工智能技术的里程碑

    1.3 大模型的发展路线之争

2. 人工智能的关键技术依赖

    2.1 算力依赖

    2.2 数据依赖

    2.3 算法依赖

3. 下一代人工智能计算范式

    3.1 人工智能的基本原理

    3.2 自适应、自协调、自博弈、自进化的自主智能系统

    3.3 超越图灵测试:以关键复杂问题为第一驱动力

参考文献

1. 人工智能的里程碑与关键人物

自有计算机以来,人工智能就一直是人们所津津乐道的话题:让机器具备像人类一样的思考能力,进而服务于人,想必可以极大地改善人们的工作和生活状况。人们对此充满了想象,早在1920年,捷克作家卡雷尔·恰佩克(Karel Čapek)在戏剧《罗萨姆的万能机器人》中首次使用了“Robot”(机器人)一词,他描述了一种被制造出来替代人类劳动的智能机器。到了1941年,艾萨克·阿西莫夫发表了短篇科幻小说《骗子》,在其中提出了著名的机器人三定律:

i) 机器人不得伤害人类,也不得坐视人类受到伤害。

ii) 机器人必须服从人类给它的命令,除非这些命令与第一定律相冲突。

iii) 机器人必须保护自己的存在,只要这种保护不违反第一或第二定律。

阿西莫夫让“机器人”这一概念广为人知,同时也让人们开始思考人类与这种类人机器物种之间的伦理关系。

到了1946年,世界上第一台电子计算机EDVAC被发明,计算时代正式拉开序幕。

1.1 早期计算机先驱对人工智能的构想

人工智能一直是计算机科学领域的核心话题之一。在电子计算机发明之初,这个领域的先驱们就在研究如何让机器像人脑一样思考和工作。数学家冯·诺伊曼被认为是当时世界上最聪明的人,他参与了EDVAC项目,目前主流计算机内部结构都采用了以他的名字命名的“冯·诺伊曼架构”[1]。彼时恰逢二战前后,美国军方希望通过EDVAC项目来测算弹道的轨迹,增强军事实力。此后冯·诺伊曼还参与到了曼哈顿项目中,用计算机来计算原子弹爆炸的相关参数,但不幸的是他因此受到了核辐射的影响,在53岁就英年早逝了。在冯·诺伊曼生涯的晚期,他开始思考计算机与人脑的相似性,并留下了一部未完成的遗作《计算机与人脑》,探讨了计算机模拟人脑神经元结构的可能性。

无独有偶,在大西洋的另一侧,另一位计算机之父阿兰·图灵在1950年发表了文章《计算机器与智能》,在其中提出了计算机可以像孩童一样具备学习能力,同时提出了一种简单明了的验证机器是否具备智能的“模仿游戏”,即今天我们所熟知的“图灵测试”。图灵在1954年突然非正常死亡,他的探索和研究从此终止。

到了1956年,约翰·麦卡锡等人召集了当时最顶尖的一群科学家,在美国的达特茅斯学院召开了一次为期三个月的会议探讨“如何让机器模拟人类智能”。在会上明确提出了人工智能(Artificial Intelligence)的概念,简称为“AI”,同时确立了符号主义[2]路线和连接主义[3]路线等重要方向,从而真正在计算机科学中开辟了人工智能这一重要分支,成为了该学科的奠基性会议。在随后的若干年中,参会的科学家里有多人获得了图灵奖。

在达特茅斯会议之后,人工智能的发展经历过两次高潮和两次寒冬。在20世纪六七十年代,由于机器自动证明、感知器等人工智能技术的出现,吸引了一批投资热潮。但不久就由于算力短缺,算法实际效果不如预期而导致发展停滞。到了20世纪八九十年代,通过构建知识库和相关的逻辑推理能力,模拟人类专家经验的“专家系统”兴起,在工业制造、医疗等部分特定领域取得了较好效果,再次引发了人工智能的投资热潮。专家系统标志着符号主义路线的兴起。但专家系统由于维护成本高、泛化能力差的缺点而最终走向了泡沫破灭,人工智能的发展再次落入低谷。

人们对新技术的期望总是短期过于乐观,长期又过于悲观。

1.2 当代人工智能技术的里程碑

在人工智能的第二次寒冬到来后,很长一段时间里,让机器具备像人一样的思考能力仅仅被视为科幻想象,凡是正儿八经想研究“通用人工智能”、“强人工智能”的任何科学家几乎都会被周边的人视作不切实际的异端分子。在这样备受冷落的学术环境里,依然有人日复一日的坚持了下来,这就是现在被尊称为“深度学习之父”的杰弗里·辛顿(Geoffrey Hinton)。现在如果要问辛顿能给年轻人什么建议,他一定会说“不要受环境的影响,而要坚持自己的想法和研究方向”。因为正是他的不懈努力,最终使得神经网络这一连接主义路线大放异彩,而他也因此相继获得了2018年的图灵奖和2024年的诺贝尔物理学奖。

辛顿的奠基性工作带来了人工智能的第三次浪潮,他将这次变革命名为“深度学习”,以示和过去的人工神经网络概念之间的区分。深度学习的基本原理依然是人工神经网络,但是辛顿发明了一种“反向传播算法”使得可以有效调节人工神经网络里各个参数的权重[4],从而使得人工神经网络变得真正有效起来。这时候辛顿需要很多算力来扩大人工神经网络的计算规模,原本适用于图形渲染的GPU进入了他的视野,GPU的并行计算特点非常适合用在人工神经网络的计算上。

我们目前正身处于人工智能第三次浪潮之中,由于学术界、产业界的共同努力,以及地缘政治带来的挑战和机遇,使得人工智能受到空前的重视。在这历史的滚滚洪流中,我们需要从纷杂的噪音中去芜存菁,保持战略清醒,才能把握住关键问题。

要理解当代人工智能技术,可以从三大里程碑事件,三大关键人物,以及三股思潮开始。人工智能第三次浪潮的十年间,有三大里程碑事件:

i) 2012AlexNet夺取ImageNet项目竞赛最佳成绩;

ii) 2016AlphaGo击败人类围棋冠军;

iii) 2022ChatGPT发布。

围绕这三大里程碑事件粉墨登场的各路人物,基本都和2018年获得图灵奖的深度学习三巨头“杰弗里·辛顿、Joshua·Bengio,杨立坤(Yann·LeCan)”[5]有着千丝万缕的联系。

早在2012年,辛顿成立了一家名叫DNN Research的公司,其核心成员包括包括辛顿两名学生Alex KrizhevskyIlya Sutskever,他们基于杨立坤(曾是辛顿的访问学者)的CNN(卷积神经网络)构建了一个名叫AlexNet的深度学习模型,并参加了斯坦福的李飞飞教授建立的ImageNet项目举办的竞赛。ImageNet项目是计算机视觉领域的大规模标注数据集,旨在推动该领域的技术进步。AlexNet在那一年的竞赛中以突破性的成绩取得了胜利,大幅的降低了图片识别的错误率,证明了深度学习的潜力。在竞赛中崭露头角后,Google4400万美元的价格火速收购了辛顿团队的DNN Research公司,Alex KrizhevskyIlya Sutskever,包括辛顿本人都因此加入了Google。后来ImageNet项目的发起人李飞飞教授也加入到了Google之中。

在那一时期,Google建立了人工智能部门Google Brain,网罗了几乎市面上最好的人工智能人才。在2014年,经过辛顿和Google的传奇工程师Jeff Dean的评估后,Google以六亿美元的价格直接收购了欧洲的人工智能初创公司DeepMind

DeepMind的创始人戴密斯·哈萨比斯(Demis Hassabis)从小是个国际象棋天才,13岁时就取得了全球14岁以下国际象棋选手中排名第二的成绩。想必酷爱国际象棋的他一定读过奥地利作家茨威格的小说《象棋的故事》,在其中茨威格描述了一个人被囚禁在监牢中,整日只能通过在脑海中模拟国际象棋里的黑方和白方互相下棋来消磨度日。他日复一日的在脑海中模拟了成千上万局棋局,每局棋都要一会儿推算出黑方要下的若干步棋,再一会儿切换成白方视角,推算出该如何应对的若干步棋,形成了高度活跃的“左右互博”[6]的纯思维活动。出狱后的一次偶然的机会,无名小卒的他在一条船上竟然打败了当时国际象棋的世界冠军。

小说照进现实也不外如是,在2016年,《象棋的故事》中描绘的剧情在现实里发生了。DeepMind研发的人工智能AlphaGo击败了当时围棋的世界冠军李世石九段。而AlphaGo所采用的训练方法,恰恰类似于茨威格小说中的描述的自我对弈,DeepMind采用了让两个AlphaGo互相对弈出数千万盘棋局,然后通过强化学习算法判断每步棋的胜率,以此不断优化走棋的策略。这就脱离了人类棋谱的固有知识经验,因为一个人类棋手穷尽一生也就能够下两万局棋左右。而AlphaGo利用大规模算力和深度强化学习的模型,以一种不依赖人类专家经验的通用学习方式,在短短几个月内就模拟出了远超人类历史上所有棋局总和的棋局量,从而探索了人类从未尝试过的棋路,最终超越了人类的顶尖棋手。

可以说DeepMindAlphaGo是当时人工智能技术上的集大成者,它的模型被称为“深度强化学习”,以深度学习为基础,同时又因为要评估每盘棋面的胜率因此引入了强化学习的手段,来不断优化策略,最终它采用的自我对弈生成大量棋局的做法又蕴含了生成式智能的思想。深度学习、强化学习、生成式智能这三股当代人工智能技术中最重要的思潮在此交汇。

强化学习可以追溯到图灵在1950年的文章,主要方法是通过试错和奖励机制,让AI在环境中学习到最佳的决策策略。这个领域当代最重要的人物是理查德·萨顿(Richard Sutton),被尊称为强化学习之父。他在2017年加入到了DeepMind以便更直接的指导DeepMind在强化学习上的工作。萨顿由于在强化学习方面的贡献获得了2024年的图灵奖。

生成式智能的开创性工作则来自于Ian Goodfellow,他是Joshua Bengio的学生,他提出了GAN网络,是一种对抗式生成网络,通过一个生成器和一个判别器互相博弈来工作。Goodfellow后来也先后加入到了Google BrainDeepMind,继续他的研究工作。

得益于人才和资源的优势,DeepMind进一步发展了AlphaGo的核心思想,陆续在蛋白质三维折叠、纯数学猜想验证等基础科学领域不断的超越人类专家经验,取得成功。哈萨比斯也因为AlphaFold在蛋白质三维折叠领域的开创性贡献,推动了生物医药的研究,而获得了2024年的诺贝尔化学奖。在20234月,为了应对OpenAI的竞争,在Jeff Dean的推动下,Google BrainDeepMind正式合并为Google DeepMind,由哈萨比斯担任CEO

稍微梳理一下这些人物之间的关系,有助于我们理解今天的人工智能版图。

1.3 大模型的发展路线之争

当代人工智能技术的第三次里程碑事件,是2022OpenAI发布ChatGPT,并引发了席卷全球的热潮。ChatGPT推出时基于OpenAI研发的GPT-3.5架构,这是一种自然语言大模型(LLM),能够提供自然语言对话功能,支持问答、写作、代码生成等复杂的开放式任务。根据公开数据显示,早在2020年时的GPT-3就拥有了1750亿个参数,是当时最大规模的人工智能模型。

GPT的全称是“Generative Pre-Trained Transformer”,直译过来是“生成式的、预训练的Transformer架构”,恰如其分的表达了这项技术的关键之处。首先它采用了生成式智能的思想,能够基于自然语言输入来有效预测下一个“token[7]可能是什么,从而可完成问答等基础任务;其次它采用了预训练的计算范式,基于海量的语料数据,通过数千张高端GPU卡,花费数个月的时间完成训练,训练的成果是一个拥有上千亿参数的人工神经网络,这些参数相当于人脑的神经元,存储着所有训练数据中被提炼过的内涵知识;最后,它基于Transformer架构,这是一个模仿人脑注意力机制的自回归算法架构,它通过分析词与词之间的关系,就能有效的预测下一个词(token)是什么。

Transformer架构来源于Google Brain团队在2017年的一篇论文《Attention Is All You Need》,在其中描述了自注意力机制和相关的架构实现,它成为了大模型领域的基础性论文。目前该论文的8位作者均已离开Google,其中7人创业,1人加入了OpenAI

OpenAI的首席科学家Ilya Sutskever当年曾经随着DNN ResearchGoogle收购,短暂的加入过Google,后来他离职去了OpenAI进行通用人工智能的研究。Ilya Sutskever受到Richard Sutton2019年的文章《The Bitter Lesson》(苦涩的教训)的影响,后者认为“可以被算力规模化的通用搜索和学习方法,将胜过人类的经验和知识方法”,从而将OpenAI的技术发展路线建立在大规模算力的基础之上。到2020年,OpenAI进一步将算力和语言模型之间的关系总结为Scaling Law(缩放定律),它描述了大模型的性能随着计算量、数据量和模型规模的增加而提升的规律。

OpenAIChatGPT上大获成功,它成为有史以来最快达到1亿月活用户数的产品,仅仅花了两个月时间。它的对话式体验真正让许多普通人第一次感受到了科幻电影中AI的存在。可以说,自然语言大模型成为了一部强劲的知识机器,提示词的输入类似于激活了这个大脑中的某条神经元链路,让它从自己庞大的知识库中翻出相关的记忆,并给出答案。整个大模型的训练过程,类似于将海量数据有损压缩(丢弃了很多原始细节)到了一个人工神经网络中,通过学习数据中的统计规律,用更精简的表示(模型参数)来重构原始数据。由于参数量过于庞大,大模型对人类来说像一个黑盒子,它内部真正的运行机制尚有许多谜团,它在回答问题时的各种不确定性,包括幻觉现象,更为它增添了一层神秘的面纱。

关于大模型是否真正具备理解人类对话的能力,是引发最大争议的问题。一派学者认为大模型只是人类思维的统计镜像,通过海量数据反射集体智慧,是一种拙劣的鹦鹉学舌。而另一派的学者更加乐观,认为大模型并非只是简单的死记硬背,它提取统计规律的方式类似于人类从大量经验中总结知识,大模型内部可能存在一个潜在的认知框架,通过Scaling Law来扩大训练的规模,有可能让大模型具备知识涌现的能力。

更激进者如Ilya Sutskever甚至认为大模型开始涌现出了意识。这是引发另一个论战“AI威胁论的关键之处:一旦大模型开始具备意识,则极有可能威胁到人类的生存,科幻电影的灭世主题将成为现实。Ilya Sutskever及其导师辛顿,以及Joshua Bengio都是AI威胁论的拥护者,他们极其担忧人工智能对人类的生存造成威胁,因此主要的精力都花在构建一个更加安全可控的AI之上。Ilya SutskeverOpenAI内部倡导的安全审查委员会最终导致了OpenAI的分裂,在董事会洗牌后,Ilya Sutskever选择了离开OpenAI

另一派科学家则乐观得多,他们认为大模型还相当的不完善,只是一个工具,因此他们花了更多的精力在如何构建通用人工智能上。这一派的代表人物有萨顿,杨立坤、李飞飞等人。毕竟大模型的弊端太过于明显,它的很多问题是由于预训练的计算范式带来的,比如大模型的参数都是固定的,因此根本不具备自我进化的能力。同时因为预训练一次的周期较长,所以导致数据的时效性就相对滞后。而且大模型的原理使得它缺乏足够的精度,在一些需要高精度控制数据的任务上表现得相当笨拙,在深度推理能力上有着明显的欠缺。

为了解决这些问题,进而达到最终的通用人工智能,AI的系统架构必须继续演进。一些大模型公司的研究员将Scaling Law奉为圭臬,认为进一步扩大算力和模型规模,最终能走向通用人工智能。而杨立坤则对这种观点嗤之以鼻,他争锋相对的提出了世界模型(World Model),其核心思想是构建能像人类一样通过观察和交互自主学习世界运作规律的模型,而非依赖海量标注数据或被动训练,本质是让AI学会常识推理,像婴儿一样理解物理世界。勿论谁对谁错,在走向通用人工智能的道路上,必然还有许多座大山要翻越,今天的人工智能依然只是初级阶段,仿佛蹒跚学步的婴儿一样。

2. 人工智能的关键技术依赖

既然顶尖的人工智能科学家就如何通往AGI的路线都分裂成了不同阵营,我们该作如何判断呢?回顾科技的发展史,每每在这些重大路线争议的十字路口上都隐藏着重大创新的机遇。上文回顾了当代人工智能技术的来龙去脉和主要事件,我们已经知道了这项技术是如何一路发展到当今状态的,接下来我再对人工智能技术所依赖的关键元素稍作梳理,这将有助于我们拨开迷雾,看到事物的本来面目。

人工智能技术是电子计算机发展的产物,它同样依赖于计算的三个要素:算力、数据和算法。这三者之间相互依存,共同影响和促进了当代人工智能技术的发展。在当前,这三个要素中的每一个都对人工智能技术的发展构成了重大挑战。

2.1 算力依赖

当代人工智能技术的发展直接受益于算力的发展。在过去几十年,受摩尔定律影响,单位面积芯片上晶体管的数量每18个月翻一倍,这意味着每18个月时间里软件的性能将翻一倍,或者说成本将降低一半。摩尔定律让算力以指数级的速度在逐年增长,几十年下来累计的算力膨胀非常可观。

举个简单的例子,在1969720日,阿波罗11号载人飞船首次将人类送上了月球。阿波罗11号飞船上计算机的处理器能力为0.43MHz,内存容量为4KB,存储器容量为72KB;而到了50年后,2019年的一台iPhone手机,处理器能力为2490MHz,为阿波罗11号的10万倍,其搭载的A8芯片拥有16亿个晶体管,每秒能处理22.6亿条指令,比阿波罗11号飞船的处理速度快1.2亿倍;同时2019年的iPhone拥有4GB内存和512GB存储,分别是阿波罗11号飞船的100万倍和700万倍。

在过去的几十年里,人工智能遭遇的两次寒冬,很大一个原因就是当时的算力不足以让模型和算法发挥出足够效果。人工智能第三次浪潮的到来,一个很关键的原因在于辛顿采纳了GPU,它比CPU更适合用于模型训练。在2012年,AlexNet的训练采用了两块英伟达的GTX 580 GPU,训练一次需要6天的时间,到了五年后的2018年,采用一台英伟达的DGX-2服务器来训练则只需要18分钟时间。

因此英伟达的CEO黄仁勋预测GPU将推动AI性能实现逐年翻倍的提升。这一规律被命名为“黄氏定律”,与摩尔定律争锋相对[8]。黄仁勋提出了一条比摩尔定律陡峭的多的曲线,在2023年,英伟达宣称过去十年间GPU的性能提升了1000倍,而摩尔定律在十年里只能提升性能100倍左右。英伟达能够实现如此巨大的性能提升,在于它将工程优化扩展到了全栈,而不仅仅在于芯片上的晶体管工艺,同时还包括存储子系统、互联技术、软件开发支持(CUDA)等,是一种全系统优化的理念。英伟达的这一策略无疑是成功的,帮助它建立了领先的产品和技术壁垒,英伟达也成为了全球市值最高的公司。

黄氏定律和摩尔定律都只是一个产业指导的经验值,而非精确测算。在大模型提出了缩放定律(Scaling Law)的背景下,黄氏定律更凸显其意义。Scaling Law是实验观测结果,它受益于黄氏定律和摩尔定律背后的算力指数级增长,可能这恰恰是Scaling Law看起来之所以显得有效的原因:算力的指数级增长速度远远快过算法的优化速度。于是可能的一个结论是“与其优化算法,不如提升算力”。

这正是2019年萨顿(Richard Sutton)的文章《The Bitter Lesson》(苦涩的教训)中的核心观点。萨顿回顾了过去70AI技术的发展,发现历史证明依赖大规模计算能力的方法最终总是胜过依赖人类知识的方法。短期来看,研究人员倾向于利用人类专家知识(如国际象棋策略、语音识别的语言学规则)来优化AI系统,但这些方法最终会被基于大规模计算(搜索+学习)的通用方法超越。例如1997IBM深蓝击败国际象棋冠军卡斯帕罗夫,依靠的是暴力搜索,而非人类专家的策略。2016AlphaGo的成功同样基于大规模自我对弈(self-play+蒙特卡洛树搜索(MCTS,而非人类棋手的经验。AI发展的历史验证了这种研究者不愿放弃人类知识苦涩教训。

AI研究人员常常试图将人类知识硬编码到系统中(如专家系统、规则引擎),但这种方法短期有效,能让系统快速提升性能。但长期会受限,因为人类知识往往是局部的、不完整的,无法适应更广泛的场景。萨顿认为搜索(如蒙特卡洛树搜索)和学习(如强化学习、深度学习)是两种最强大的通用方法,它们能随着算力的增长而持续扩展。相比之下,依赖人类知识的方法往往过于复杂,难以适应计算能力的提升。因此研究者应克制住依赖人类知识经验的直觉冲动,而专注于构建能自动发现规律的元方法。这是一种面向机器的计算思维,经常是反直觉的,但往往能设计出超出研究人员最初预期的成功系统

20241226日,来自中国的DeepSeek-V3正式发布,它的训练成本仅为560万美元,远低于GPT-41亿美元,但是性能接近。DeepSeek-V3的效果震惊了世界,被视为挑战了Scaling Law。在DeepSeek-V3发布前,产业界一直在鼓吹Scaling Law是通向AGI的必经之路,因此鼓励大模型公司要买更多的GPU卡,形成了一场储备GPU卡的算力军备竞赛。这背后是资本的狂欢,英伟达的股价从2016年的7美元,一路上涨到20242月的最高点740美元,涨了100倍。而DeepSeek-V3的发布证明了所谓的Scaling Law至少在边际收益上存在大量的优化空间,人们没必要那么迫切的买那么多GPU卡,更不必因为买GPU卡而背上过重的负担。从全系统的角度来进行大量的工程优化和扩展GPU卡的规模同等重要。

使用大规模GPU卡进行训练背后消耗的是能源。ChatGPT每天的耗电量在50万千瓦时,相当于1.7万个家庭的用电量总和。在2018年,计算机只消耗了全球2%的电力,而今天,这个比例已经上升到了10%,预计到2030年,计算机将会消耗全球五分之一的电力。因此算力的挑战,不仅仅在于高端芯片的供给上,也在于支撑计算机运转所需的能源,解决能源问题迫在眉睫。

在能源的布局上,我国提出在2030年实现碳达峰,在2060年实现碳中和,并以此为目标建立了大力发展绿色能源的战略,逐渐摆脱对石油和煤的依赖。在这个背景下,2022217日我国全面启动“东数西算”工程,将我国东部人口稠密、经济发达地区产生的大量数据,搬运到西部地广人稀但有着充足的光伏、风力资源地区,借助西部地区的绿色能源优势来实现算力上的充分供给。未来我国的大地上,将建设若干个算力枢纽,构建整体的算力网络,来支撑人工智能战略的长远发展。

2.2 数据依赖

人工智能技术依赖的第二个关键要素是数据。数据,尤其是高质量数据,是过去人工智能模型效果的关键。机器学习的本质可以看作是让机器去学习数据中蕴含的内在规律,即从一堆结果数据中倒推出来一个符合这些数据运算结果的函数,这个通过数据拟合出来的函数代表了已知样本数据的规律,也大概率可以用来计算同样规律的未知数据了。因此,样本数据的质量决定了机器学习模型的质量。

在过去,一个人工智能模型的大量成本是花在样本数据的获得和标注上,数据标注在人工智能训练成本中的占比约为20%55%。一个在专业领域里行之有效的模型往往依赖于大量的高质量专业数据,为此还出现了专门帮助AI研究人员标注样本数据的产业分工。全球最大的数据标注公司是Scale AI,在2024年其估值达到了138亿美元,到2025年,Facebook计划溢价收购其49%的股权,它的成功意味着所有AI公司的背后,都离不开数据标注。

20200410日,我国发布了《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》。明确提出了土地、劳动力、资本、技术、数据五个要素领域改革的方向,数据作为一种新型生产要素写入文件,强调要加快培育数据要素市场。

在大模型出现之前,人工智能技术在数据方面遇到的主要挑战是数据质量差,标注成本高、效率低等因素。在大模型出现之后,数据问题又呈现出了新的挑战。以OpenAIGPT为代表的自然语言大模型,其训练规模之大,已经耗尽了互联网上的所有高质量语料,再从互联网上找新的语料,对模型能力的提升已经意义不大。尽管大模型的进一步发展还可以从专业领域挖掘更多数据,或者是把多模态数据比如视频、音频等补充进来,但是也只是延缓了数据资源耗尽这一终将面对的尴尬局面。

这意味着人工智能过去依赖于人类已有数据和知识的方法需要改变。数据生成是一个新的办法。AlphaGo在训练过程中通过简单的围棋规则,生成了几千万盘不存在于世界上的棋局。在自动驾驶的模型训练中,也有着类似的方法,没有车能够开完世界上所有的道路,看完所有的路况,自动驾驶公司的做法是通过模拟生成所有路面和路况数据,让AI在一个模拟环境中获得面对各种路况的经验。这就脱离了对于人类已知数据的依赖,进入到了全新的领域。生成数据本身就需要一个较好的AI,且依赖于算力,算力越多,越能生成更丰富的有效数据用于训练。

北京大学的朱松纯教授则提出了一种强化学习的观点,他受到动物智能的启发,举了一个刚出生的小牛,对世界还一片空白的时候(缺乏足够的先验数据),很快就能从环境中学会如何吃草的例子,进而提出了一种“小数据、大智能”的范式。与此类似的,人类的大脑智能不是要读完世界上所有的书籍以后才学会说话的,人类的孩童学会说话是一个渐进式的过程,受到环境的影响很大。萨顿则认为,新的数据应该来自于智能系统对于环境的探索,处理反馈后形成有效数据,这要求智能系统本身具备一种从环境中学习的能力。这就走在了通用人工智能的道路上,它关注的是让机器自己获得智能的通用方法,而非人类灌输了某种知识或经验给机器。

从这些挑战和机遇来看,让GPT-3.5大获成功的预训练计算范式快要走到头了。未来新的智能范式应该是生成式数据,或者是从环境中自我学习到新的数据,是一种动态的自成长过程。

2.3 算法依赖

人工智能技术依赖的第三个要素是算法。今天的人工智能算法早已经不是教科书上的基础算法集合,而是一种基于大量工程优化的复杂的系统架构,它往往由某种思想或原理进行指导设计。

Transformer架构受到人脑注意力机制的启发,是对注意力机制的一种模拟。整个人工智能技术的发展,建立在脑科学和认知心理学的基础之上。早在20世纪40年代,神经学家沃伦·麦卡洛克和数学家沃尔特·皮茨发表了一篇跨时代的论文《神经活动内在概念的逻辑演算》,他们为大脑的神经元建模,并证明了一定类型的神经网络,原则上能够计算一定类型的逻辑函数。每个命题演算都可以由某种网络来实现,每个图灵机可计算函数也都可以通过某个网络来计算。这篇论文影响深远,既成为了电子计算机的基础,又成为了人工智能的基础。图灵和冯·诺伊曼都认为要通过模拟人脑的结构,或大脑的认知原理,来让机器获得真正的智能。

但迄今为止,人们对于大脑的工作原理的认识依然相当的浅薄,人的大脑甚至比外太空更加神秘。大脑有约860亿个神经元,其功耗只有20瓦,相当于一个节能灯泡的功耗,却拥有语言、记忆、思考、推理、规划、决策、情感、意识等各种高级智能活动。相较之下,ChatGPT的每次回答大约消耗0.001-0.01千瓦时(kWh),是大脑执行类似任务能耗的数千倍。在人的大脑面前,大模型则显得相当的笨拙。

造成这种反差的原因在于迄今为止的人工智能模型,即便是掀起第三次人工智能浪潮的深度学习,也依然只是对大脑神经元结构的粗劣模仿。而脑科学的研究进展制约了人工智能的进一步发展。大脑是个复杂系统,它是如何从几百亿个神经元的结合涌现出了智能,至今还说不清楚。因此人工智能也就无从模仿,只能一步步在黑暗中摸索。

在脑科学未取得突破之前,人们转向了认知心理学。既然说不清楚神经元结构如何涌现出智能,那么就退而求其次,从认知心理学的角度研究人是如何建立对概念的认知,如何形成推理、规划等高级心理活动的。强化学习正是从认知心理学出发,来研究如何从奖励与惩罚中具备学习的能力,最终走向通用人工智能。

杨立坤提出的世界模型是认知心理学的另一种建模,它的核心是要建立对世界状态的信息预测。杨立坤做了一个示范项目V-JEPA,试图预测从图像中缺失的信息,它要求AI真正理解图像中各个物体之间的关系和物理规律,最终理解世界。李飞飞教授则认为通向AGI的关键在于空间智能,而非纯语言模型。她认为能动性是智能不可或缺的因素,AI需要从二维走向三维,能够在三维空间中具备感知、理解、交互的能力。

当代人工智能技术争议的核心问题是什么路线能走到AGI(通用人工智能)?也许基于基础学科如脑科学、认知心理学的进一步发展,能够给当代的人工智能技术架构以全新的突破,这种突破也许能够解决当前人工智能所面临的巨大的算力挑战和数据挑战。

3. 下一代人工智能计算范式

当前的人工智能技术发展解决了很多问题,但弊端也逐渐显现。针对这些弊病,我们也逐渐看清楚了解决的方向。下一代的人工智能计算范式需要保留当前技术的优点,建立在当代技术的基础之上,同时还要克服和解决当前的遗留问题,最终走向下一个阶段。

3.1 人工智能的基本原理

今天人们所谈论的当代人工智能技术,都是建立在人工神经网络(或者说是深度学习)的基础之上。那么基于人工神经网络的特性,我们很快就可以得出一个结论,我称之为“人工智能的基本原理”:即当代人工智能技术的本质,是通过人工神经网络自动统计出蕴含在大规模数据样本中的内在特征和隐含规律,并将其储存在模型参数之中。或者可以简单的表述为“想要机器具备某种智能能力,就必须拥有对应的样本来训练”。这一基本原理意味着一些显而易见的结论:

首先,数据样本决定了模型表现。因为模型的训练过程可以视作对数据样本所蕴含特征的一种抽象,因此模型所蕴含的信息量不会超出数据样本隐含的信息量,模型的能力也不会超出样本数据特征分布所描述的范围。

人工神经网络训练的样本数据集的建立主要是要考察输入数据和输出数据这两端,有效的数据样本是要建立一种从输入数据到输出数据之间的关系(端到端),以此来指导AI的工作:比如输入数据是一张猫的图片,输出数据是建立一个名为“猫”的标签,那么当有许多这样的输入、输出存在对应关系的数据样本后,丢给神经网络训练,模型就能自动记住这些图片里猫的特征,遇到一张新的猫的图片后,也能回答出这是猫。这正是2012年深度学习爆发后,一直到2020年前后大多数人工智能公司在做的事情,他们在图像、语音、自然语言等领域标注了大量的模式识别的样本,从而让AI学会了对图片或视频分类、以图搜图、语音转文本等感知层面的能力。

但是从认知心理学来看,大脑认知的过程除了感知以外,还有注意、记忆、推理、规划、决策、行动等高级活动,如果人工智能技术仅仅只模拟大脑感知层面的能力是远远达不到真正的智能的。在过去人们对AI技术能力不足的批评往往聚焦在算法上,这其实是一个谬误。算法的改进可能只有助于在单项评测上提升一定的效率或准确率,但是对于AI的整体智能程度的提升并无多大帮助。真正阻碍让AI变得更聪明的原因在于高级认知心理活动(如推理、规划、决策等)的数据样本非常难以获得,也更难形成规模。而只有在具备规模的有效数据样本前提下,才有机会借助大规模算力的优势,训练出一个强劲的AI模型。感知层的数据样本比较容易通过人工标注获得(只要是个心智健全的正常人就能做这种标注),而推理、规划、决策等高级心理活动一般是发生在人脑内部的思维过程,很难进行显性化的数据标注,且不同人的思考质量也参差不齐,从而制约了模型在这方面的发展。所以在2020年之前的8年里,除了DeepMind和一些做自动驾驶的公司外,大部分AI公司都选择了先解决感知层面的模式识别问题,因为数据样本比较容易建立。

因此,人工智能技术发展的真正难点在于如何获取有效的数据样本上,许多传统公司有成功的业务和数据,但是这些数据并不能转化成为对AI训练有用的有效样本。当前的AI技术的主要任务是要复制或替代人类专家的经验,如果希望AI最终要表现得像人类专家一样具备推理、规划、决策、行动的能力,那么就必须有对应的推理、规划、决策、行动的有效数据样本进行支撑,否则就是无源之水,无根之木。从这个角度看,就会发现一些成功的公司或政府部门所拥有的海量数据对AI训练的帮助微乎其微,因为这些数据可能适合于搜索、排序等寻求最优解的场景,但未必是记录了人类专家的感知、推理、规划、决策、行动各个环节的数据,因此根本没有办法从输入、输出的角度来指导AI的行为。要构建模仿人类专家行为的数据样本集,往往还得重新设计全新的工具链,并让人类专家们在业务中使用这种以采集样本数据为目的的工具链。这中间有许多困难,但如果有人能够克服困难在这方面成功建立有效且成规模的样本数据集,就极有可能训练出来一个具备人类专家经验的AI模型。

其次,通用大模型根本不通用。在2022ChatGPT发布后,引起了社会极大关注,一时间通用大模型成为了一个流行词汇。但“通用”这个词难免混淆视听,让人误以为大模型是万能的。事实上用一些非常冷门和小众的知识点去问询ChatGPT等大模型,会发现它也压根儿回答不出来。另一个足以证明通用大模型并不通用的事实在于,ChatGPT等大模型无论再怎么优化提示词,也不可能下出类似AlphaGo的第37手棋,或者是找到某个新药物的分子结构。这本质的原因是大模型根本不是通用图灵机,它的token使用有限的上下文窗口,同时它基于概率统计的方法使得其无法精确处理循环以及进行状态管理,它的能力完全依赖于训练样本的分布从而无法确保可以计算所有可计算问题。尽管大模型可以生成图灵完备的代码比如Python代码,但是它缺乏精确的执行器,更像一个描述者而非执行者。因此单纯的基座大模型的能力有相当大的局限性,难以满足人们对它的期待和憧憬。

大模型根本没有脱离“人工智能的基本原理”,它只是把数据样本的训练推到了极致,类似ChatGPT背后的大模型已经耗尽了互联网上的所有高质量语料训练样本,如果你问询的知识包含在这些训练样本里,它自然能回答出来。而大模型的自注意力机制类似一种简单法则,多次递归调用后会带来超出想象的复杂性,模型的外在表现就会看起来具备某种超级智慧,正如其奠基性的论文题目所描述的“Attention is all you need”。但大模型蕴含的数据量过于庞大,因此一次问询不一定能找到最优的回答,所以才需要提示词来不断引导,进而催生出了“提示词工程”。更优的提示词可以获得更好的回答,这并不意味着大模型本身的能力有所提升,仅仅只反映了大模型内部过于复杂,在使用上困难重重。这恰恰说明了大模型是一项不成熟的技术。

从“提示词工程”开始,大模型技术系统开始出现了分层,基于提示词工程的一类技术我们可以统称为Agent技术(AgentAgentic System等),比如思维链、思维树、MoERAG、工具调用、工作流等,它们的目的都是为了消除大模型的先天缺陷比如幻觉,同时期望增强系统在推理、规划等慢思考任务上的表现。提示词工程无法提升基座大模型的任何能力,因为这种外挂技术并没有改变基座大模型的任何参数;但是提示词工程可以激发出基座大模型的潜能,帮助人们更好的使用。大模型就像《天龙八部》里的段誉一样,内功天下第一,但他的招式太差,六脉神剑时灵时不灵,深厚的内功根本发挥不出来,而提示词工程就像有高人在不断点拨,让段誉次次都能激发出六脉神剑。

但提示词工程会在解决复杂任务时会带来更频繁的系统调用,非常的不经济,执行效率低下,大模型公司意识到了这个问题,于是考虑将推理、规划的慢思考能力变成大模型的某种原生能力。在202412月,OpenAI发布了o1模型,开启了post training(后训练)的新范式,它参考了类似AlphaGo的生成式数据和强化学习思路,先收集好问题集,然后让大模型生成大量的推理链(思维链、思维树),最后通过类似蒙特卡洛树搜索算法来判断最优的推理链,训练结果将用于优化基座大模型的局部参数,从而让大模型在某些任务上具备类似系统2的慢思考过程。o1模型在一些需要推理、规划的慢思考问题上,比如做数学题,就取得了明显更好的结果。这里它用到了一个技巧,前面我们提到AI智能程度的提升,一个很难的问题在于如何获取推理、规划、决策这类只发生人的脑海中的思考过程的数据样本,而o1模型把这个难题直接丢给基座大模型,通过生成思维链、思维树的方式,直接获取了大量推理行为数据,再通过搜索算法,完成了自动数据标注,从而建立了可用于推理、规划、决策的数据样本集。这个技巧在两三年内,都适用于各个专业领域,以提升AI的推理能力。post training阶段采用基座大模型生成推理链数据,然后用强化学习来增强模型推理能力的做法,将明显优于没有采用这一技巧的大模型应用系统。

“模型”前面加个“大”字,其实是对“人工智能基本原理”的不自信,或者说是没有理解人工智能的基本原理,还对AI抱有某种科幻情怀的美好想象所致。大模型训练上的Scaling Law,得益于这些年算力的指数级提升,但也意味着训练数据里可能存在大量的信息冗余。从“人工智能的基本原理”可推导出一个相关结论:大量重复的冗余信息可以用更高权重的简约信息来表示,这样就可以大幅减少冗余信息量,从而降低训练数据的体量,进而节约训练所需要的GPU卡。这在训练已经变得不那么经济的背景下具有重要的现实意义。从这个相关结论也可以解释为何DeepSeek-V3的工作是行之有效的,因为OpenAIGPT训练过程里存在着巨大的浪费。对于这种浪费英伟达自然是乐见其成,在企业和媒体的双重鼓吹之下,原本是工程实践中的Scaling Law被利用成为了一场资本的狂欢。从理性的角度可见,如何降低训练数据中的信息冗余,为工程创新留出了巨大的空间。

最后,如果将“人工智能的基本原理”视作第一性原理,那么推理、规划、决策等高级认知能力都可以转化成为对应数据样本集的构建和训练问题,从而就可以将此类高级智能的工程实现归约成为一个基本问题:“如何自动化的构建有效样本数据集”。这也是实现AGI的必经之路,这一关键路径可以描述为:AI的训练依赖于有效样本数据集,过去有效样本数据集的建立主要是依靠人工标注,未来则应当依靠AI自动构建。AlphaGo的架构中,自我对弈生成了大量数据,然后通过蒙特卡洛树搜索算法完成了自动标注,就构建了一个生生不息的有效样本数据集;GPT的训练中,通过预测句子中的下一个词,然后再比对模型所预测出的词是否正确,来完成了自动标注,将有效样本建立在了人类自然语言的内在规律之上。扩散模型训练中,先通过算法自动给图像增加噪音,得到了一系列“清晰图像如何变得模糊”的数据样本,再让AI学习其反过来的降噪过程,即如何擦掉这层噪点让它变回上一步更清晰的样子,AI就学会了从模糊一步步修复出清晰新图的能力。这几个在自动构建有效样本数据集上的巧思均带来了对应的模型成功。

强化学习给我们提供了指导方向,在具体场景中如何自动构建有效样本则需要进一步创新。一旦完成了最小化的可行性模型,就可以开始扩展大规模算力,充分发挥机器训练的优势,从而迅速超越人类专家经验,形成所谓的“Scaling Law”。所以AI模型的“炼丹”可以分为以下基本步骤:定义AI的行为,反推样本数据结构,构建样本数据集(生成数据和自动标注),启动大规模训练。

3.2 自适应、自协调、自博弈、自进化的自主智能系统

图灵奖得主杨立坤认为,理想中的智能要具备四项能力:推理和反思、分层规划、理解外部世界、持续的记忆。他描述的这四项高级智能功能,是AI最终的理想状态。但是对于如何达到这样的理想状态,目前我们则并不清楚路径。AI研究人员分别有着不同的技术信仰,在走向AGI的道路上,八仙过海,各显神通。

大模型通过自监督的方式完成数据标注,解决了数据标注的效率问题。但大模型并没解决数据从哪里来的问题,它训练的初始数据来自于互联网,互联网上的数据可以认为是人写出来的。那么仅凭大模型要求“提前准备好数据”这一点,几乎立即可以断言,仅靠Scaling Law是根本无法帮助大模型达到AGI的,因为AGI的首要问题是解决“数据从哪里来”。

如果把人脑类比为机器,那么人类智能成长过程中的数据是从哪里来的呢?从人类的切身体会可知,人脑获取数据有两个重要途径,一是从对环境的感知和反馈中得来;二是从大脑的自我思考中得来。从环境的感知和反馈中获取数据,需要通过行动不断在环境中试错,基于反馈再调整,人类就是这样逐渐获得经验的。在婴幼儿的教育里,早教专家一般都会建议给孩子禁用所有电子产品,如手机、电视,其原因在于这类电子产品给孩子的只有沉浸式的单向信息输出,而一旦孩子缺乏有效的反馈和互动,就会降低智力水平,影响大脑发育。那么机器智能也是一样,行动和反馈在形成高级智能的过程中非常关键。另一种获取大量数据的方式来源于自我思考,AlphaGo的自我对弈就是一种自我思考的过程。杨立坤提出的世界模型是对外部世界规律的一种描述,类似的,基于世界模型的元方法,AI可以不断的对外部环境进行模拟和预测,从而生成出大量的数据,再结合行动与反馈就可以验证预测结果,从而完成数据的自动标注,最终提升AI的能力。在这样的数据获取过程里,并没有提前预置任何的知识和经验,而是从环境探索中学习到了新的经验。

这样的AI系统可能可以称为“自主智能”(Autonomous Intelligence)系统。理想中的自主智能系统应当具备规划和执行能力,能够完成复杂任务。当前AI Agent的发展阶段依然停留在“AI做规划,人来执行”的程度上,比如AI可以制定一份旅行计划,但旅行中的酒店和机票依然要人通过其他工具来完成。而自主智能应当是“人提需求,AI自动完成复杂任务”,它由此需要具备推理、规划、决策、使用工具、探索环境的能力。特斯拉公司在2025628日发布了一辆型号为Model Y的特斯拉汽车,在没有驾驶员的情况下自己从德州超级工厂出发,驶出停车场,经过城市路段,上下高速,最高时速达到了115km,在30分钟后来到了客户的家门口,把自己交付给了新车车主。特斯拉汽车的自动交付就是一种自主智能的极佳体现。

在此我抛砖引玉,大胆的假设未来的自主智能系统应当具备四个关键特性:自适应、自协调、自博弈、自进化。这四个特性即是它的工作原理,也是一种架构描述。这样的自主智能系统将不再局限于执行预设程序的机械操作,而是能够像生物体一样,根据环境变化调整自身行为,协调内部各组件的关系,通过竞争与合作提升能力,并在长期运行中不断进化完善。我认为按照这个路径,最终可实现杨立坤所提到的“推理和反思、分层规划、理解外部世界、持续的记忆”等高级智能活动,完成人工智能技术从"工具性智能""自主性智能"的跨越。

自适应:即环境的应对能力。这种能力是智能系统能够感知环境变化并相应调整自身状态和行为,使系统能够在不确定、动态变化的环境中保持高效运行。从环境中不断学习并动态调整自身的执行目标是这项能力的关键。自动驾驶汽车就是一个高度自适应的系统,它需要实时处理道路状况、交通信号、行人行为等多种不确定因素,并做出加速、减速、转向等决策。

自协调:即系统内部的和谐运作。这种能力是智能系统中各子系统或组件之间能够自主协调行动,共同完成复杂任务的能力。类似于人体内部的各个器官,相对功能独立,却又可以共同协调工作。智能系统内部的架构越来越复杂,也必然存在诸多功能独立的模块或组件,就像人体内部的各个器官一样。建立统一的自协调能力,有助于将一个复杂的系统视为一个整体,在协作中取得任务的最优解,避免冲突和资源浪费。

自博弈:即竞争中的能力提升。这种能力是智能系统通过内部或外部的竞争与协作机制,不断提升自身性能的特性。这一概念源于博弈论,系统通过设计适当的竞争环境和奖励机制,促使各组件或子系统在对抗中学习进步。AlphaGo的自我对弈机制就是一个典型的自博弈过程,通过自我对抗的网络形成反思、推理等一系列复杂的思维活动,扩大策略空间,以换取更优策略的机会,它体现了智能系统慢思考的能力。在金融领域,自博弈算法也已被用于开发交易策略。多个交易算法在模拟市场环境中相互竞争,那些能够获得更高风险调整收益的策略被保留和改进,而表现不佳的策略则被淘汰。这种进化过程最终产生出能够适应复杂市场条件的强大交易系统。

自进化:即系统的持续自我完善。这种能力是智能系统能够像生物进化一样,在长时间尺度上通过变异、选择和遗传机制实现结构和功能的持续改进。与自适应针对短期环境变化的调整不同,自进化关注系统长期的结构性改变和能力跃升。与生物进化需要数百万年不同,人工智能系统的进化必须在可接受的时间内完成,这需要高效的并行评估和智能的变异策略。同时,必须确保进化方向符合设计者的初衷,避免出现"失控"的进化路径。自然语言大模型的预训练范式有着训练数据相对滞后,模型参数固定的缺点,采用自进化机制需要让AI有基于动态数据修改自身参数的能力,或者是基于代码生成能力重写自身内部组件代码的能力,形成一种基于长期记忆的自我进化机制。要从单场景、单领域的自主智能走向更通用的AGI,自我进化能力必不可少,其中记忆系统的设计成为关键。

自适应、自协调、自博弈和自进化四种能力并非孤立的存在,而是相互支撑、协同作用的有机整体。它们的协同效应使自主智能系统展现出远超过单一特性简单相加的复杂行为和强大能力。自适应能力为系统提供了基本的生存能力,确保其在变化环境中保持稳定;自协调能力使复杂系统的各部分和谐运作,实现整体大于部分之和的效果;自博弈机制创造了内部竞争环境,推动系统能力边界不断扩展;自进化则为系统提供了长期发展的动力,实现质的飞跃。这种协同效应在生物系统中已有体现。例如,人类免疫系统就是一个具备四维特性的杰出范例:它能自适应地识别新病原体(自适应),协调各种免疫细胞共同作用(自协调),通过抗体与抗原的"博弈"优化防御策略(自博弈),并在长期进化中发展出更强大的防御机制(自进化)。

在一种可能的具体实现路径上,可以从一个最小化但模块完整的系统开始,通过一个相对简单的场景(比如战棋游戏、策略游戏[9]),锻炼模型的能力。当模型算法逐渐成型后,再扩展算力,通过算力的规模化来快速提高模型能力。在具备一定程度的智能水平后,可以泛化到其他场景,通过建模的方式将现实问题映射到系统能解决的问题空间中,逐步增加其复杂性,最终实现更广泛意义上的自主智能系统。

理想中的自主智能系统,要能像孩子一样自己会从环境中学习,自己会设定目标,具备推理、规划的能力,会寻找资源、寻求帮助,也具备记忆能力,能够自我成长。在这个过程中,我们希望能够颠覆预训练范式,破除对大数据样本的过度依赖,将系统的智能水平建立在强化学习的基础之上,一点点的从环境中依靠试错和反馈来学习和成长,而非在一开始就通过大算力填鸭式的灌输知识和经验。

3.3 超越图灵测试:以关键复杂问题为第一驱动力

近年来,学术界和产业界关于人工智能新架构的讨论颇多,很多想法和方案都颇有见地,共识也在逐渐形成。但是为什么像AlphaGoChatGPT这样的成功创新却少之又少呢?许多人将其归功于DeepMindOpenAI的人才密度与资源优势,但我们要注意到这两家公司在早期就已经显示出不凡之处,而当时他们并没有人才密度与资源上的优势,同时也很难解释为什么这些创新没有出现在那些拥有人才密度和资源优势的商业巨头公司之中。

抛开公司制度和企业文化等因素,我认为有一个至关重要的原因,就是DeepMindOpenAI分别找到了足够关键也足够复杂的问题,来驱动技术的创新。人工智能技术是一个复杂的系统工程,需要团队协作,不是靠单兵作战能够完成的。同时它又对创新性要求极高,没有成熟的样板房可以参考,必须在黑暗中摸着石头过河。这时候定义清楚问题,就如同找到了指路的灯塔,只要坚持前进,就会看到希望。

很多拥有资源优势的商业公司做不出这种创新,是在于没有找到必须要解决的关键复杂问题。因为这些成功的公司已经建立了稳定的商业模式,拥有了护城河,这时候捍卫已经稳定的商业模式才是他们的首选,而不是改变。在这些成熟的商业体系里,他们面对的商业场景问题往往不足以复杂到需要AI来解决。比如让用户在线预定机票或酒店,通过一个在线的信息化网站或App就能完成,这是个简单的信息化问题,要处理的关键数据通过数据库的查询语句就能处理好,根本用不到AI。这种例子比比皆是,所以掌握了最佳技术资源的商业公司不一定有动力创新出新的人工智能系统。而有些足够复杂的问题,AI可能解决得比人类专家更好[10],却可能又有种种其他原因而没有专业的AI人才团队长期攻关。

以上种种,导致出现AlphaGo级别的创新很难。要找到一个关键复杂问题不是那么容易的事情,远远超出很多人的想象。它要足够关键,不能是一个不痛不痒的问题,而是一旦解决了就能创造极大价值,这样才能获得足够的社会驱动力,源源不断的得到资源和支持;它又需要足够复杂,应该复杂到人类专家经验都解决不了,因为凡是专家经验能解决的问题,都属于小成本能解决的问题,在短期内不值得专门创造一个极度昂贵的人工智能系统来解决。只有足够关键、足够复杂的问题,才能推动人工智能技术的创新。

DeepMind最厉害的地方,在于它定义关键复杂问题的能力特别强。它一直在尝试超越人类的专家经验:早期尝试在国际象棋、围棋领域计算人类冠军都无法想到的更优棋路;后来进入到蛋白质三维折叠、纯数学猜想验证等领域,更是在基础科学上屡屡突破创新。它攻关的问题足够关键,一旦突破,收益巨大;足够复杂,靠人脑或传统的信息化工具已经无法完成最终的计算[11]

所以时至今天,我们逐渐感觉到,可能需要用一种新的标准来看待人工智能系统的水平与意义。在1950年图灵发表文章《计算机器与智能》之后的很多年里,人们都用图灵测试来验证机器是否具备智能。但这个让机器扮演人说话,让另外一个人来识别机器的模仿游戏太过简单粗糙了,在今天已经逐渐失去了其本来作用。自然语言大模型出现后,许多人认为AI已经通过了图灵测试,但还有部分专家认为图灵测试的内涵要更加深刻,因为今天的大模型根本还不具备真正的理解能力。从另一方面讲,验证机器是否具备智能可能并没有那么大的意义,因为图灵早就表达了这是一个很主观的问题:对于任何能正常说话表达的个体,认定它具备智能是一种基本的礼貌。

我们可能需要一种超越图灵测试的新基准,来判定一个系统的智能水平和社会意义。那么我认为“连人类专家都解决不了的关键复杂问题”,将会是一个很好的判定标准。这类问题的解决,将真正成为人工智能技术创新的第一驱动力。

翻开人工智能的历史,背后虽有深刻的思想内涵,但它并不像其他基础科学那样有较多的理论,反而是不断的工程创新在持续的推动这门学科的发展。在这个领域里,工程师能做的贡献和科学家一样多。在人工智能技术的工程创新上,需要以关键复杂问题为导向,以整合业界技术红利为基础,以前沿理论成果为助力,最后以坚定的信仰和执行力为保障。

工程创新需要洞察事物的基本原理,然后再进行创造和超越。世界上没有任何动物是靠轮子移动的,但人类发明的汽车速度超过了最快的动物;世界上也没有任何鸟类是靠喷气或者自旋翼来飞行的,但人类发明的飞机速度超越了所有的鸟类。人们总是研究透彻自然界的基本原理后,再发明创造了更强大的人造物。人工智能的原理受到了人类大脑的启发,在可见的未来,人工智能也必定在某些能力上超越人类。但就像人类不会去和汽车比速度,不会去和飞机比高度一样,人类不必纠结于机器会比人聪明,因为汽车永远不会取代的双腿,人工智能也永远无法取代人类的大脑,正如控制论之父维纳所言:人有人的作用。

目前西方的科学界有一股“AI威胁论”的思潮,其中不乏这个领域里的顶尖科学家如辛顿、Joshua BengioIlya Sutskever等人。这些科学家都是从小看着阿西莫夫的小说长大的,熟谙“机器人三定律”,从第一天开始就对人工智能充满了一种浪漫主义的忧思。在这种意识形态下也就不难理解他们对人工智能的敬畏和担心。

在西方的文化里,人们喜欢不断的争论问题的对错,他们花了很多时间在讨论孰是孰非上,往往在历史的十字路口瞻前顾后。而中国的文化更注重实用,中国人都很勤奋务实,喜欢脚踏实地的去实践。因此当西方还在焦虑于AI威胁论踌躇不前时,中国应该抓住这个重大历史机遇在工程创新上尽快实现重大突破。

人工智能技术将重现人类历史上大航海时代的辉煌。大航海时代,也是地理大发现的时代,拥有远航技术的国家,组建一支能够跨越五大洋的舰队,才能发现新大陆。在人工智能时代,我们迫切需要拥有一支自己的“远航舰队”,新的数学定理、新的药物、新的材料,如此种种,正在等待我们去发现!

参考文献

[1] Russell S, Norvig P. 人工智能:一种现代方法[M]. 4北京:人民邮电出版社, 2022.

[2] 吴翰清计算[M]. 北京:电子工业出版社, 2023

[3] Wu H Q, Yang Z L, Zhang J H, et al.Personal Autonomous Intelligence Computer[R/OL]. (2024-02-26)[2025-04-15].https://kmind-webs-resources.oss-cn-hangzhou.aliyuncs.com/help_doc/PAIC_Paper.pdf.

[4]SUTTON R S. The Bitter Lesson[EB/OL].(2019-03-13) [2025-06-12].http://www.incompleteideas.net/IncIdeas/BitterLesson.html.

[5] TURING A M. Computing machinery and intelligence[J]. Mind, 1950, 59(236): 433-460.

[6] 冯·诺依曼计算机与人脑[M]. 甘子玉北京北京大学出版社, 2010

[7] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Long Beach, CA, USA: NIPS, 2017: 5998-6008.

[8] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.

[9] SILVER D, SCHRITTWIESER J, SIMONYAN K, et al. Mastering the game of Go without human knowledge[J]. Nature, 2017, 550(7676): 354-359.

[10] SUTTON R S, BARTO A G. Reinforcement learning: An introduction[M]. 2nd ed. Cambridge: MIT Press, 2018.

原文脚注

[1]这个命名有争议,因为还有其他作出重要贡献的人。

[2]以逻辑推理能力为基础,数学定理的机器自动证明为代表的

[3]以模式识别能力为基础,模拟人脑神经元结构

[4]这类似于微积分里链式法则的一种应用

[5]辛顿和Bengio都在加拿大的多伦多的大学工作,彼此之间有学术合作。杨立坤早年曾是辛顿的访问学者。

[6]金庸在小说《射雕英雄传》中描写武林高手周伯通被困在桃花岛后,研究出了左手和右手互相过招的绝技来消磨度日。

[7] Token是模型处理文本的最小单位,可以理解为词元或者文字碎片,模型会像乐高积木一样拆分需要处理的自然语言文本。

[8]英伟达与英特尔是主要竞争对手,摩尔定律由英特尔的创始人摩尔提出。

[9]电子游戏的本质是通过计算来模拟现实世界的一部分。

[10]比如物流的调度问题,就是个复杂问题,AI会解决得比人类专家更好。

[11]靠人类专家的大脑很难计算出新药物需要的蛋白质结构、新材料的分子结构、芯片的三维结构等极度复杂的问题,这些问题的复杂程度超出了人脑的计算能力。

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

人工智能 AI发展 深度学习 大模型 通用人工智能 技术依赖 算力 数据 算法 自主智能 Artificial Intelligence AI Development Deep Learning Large Models AGI Technological Dependencies Computing Power Data Algorithms Autonomous Intelligence
相关文章