原创 南乔River 2024-10-23 00:00 北京
致可预测和计算的未来🍺
ShowMeAI
专业◎洞察◎清晰◎实用
用知识加速每一次技术进步!推荐语
预测所谓的强AI/AGI/奇点的到来时间三年五载？？十年左右？？众说纷纭 😰
还是想看到更严谨的方式 🧐比如，可以用数学算出AI超越人类的时间嘛？这篇文章告诉你：可以。而且，作者的结果指向了 2027-2028年
需要注意的是：① 本文中AI即指代大语言模型 (LLM)② 具体估算细节和合理性验证在文章下方
③ 编译调整了原文顺序，并删减了某些推算细节，原文内容更加详细
公众号菜单栏底部有星球入口添加南乔 (AhaNanQiao) 好友进社群!
结论定义新物理量 Th，使用 token 数量比较人与AI的智能程度长则10年，短则4年，AI (LLM) 就能追上人类计算1 Th = 1000 tokens1 TTh = 1*10^12 ThHuman Thought = 1.9TTh/年，+0%Synthetic Thought = 0.085TTh，+36%假设本文是黄仁勋发言的延申Human TTh 年增长率的估算细节Synthetic TTh 用于 LLM 的全球 GPU 估算细节本文计算过程建立在诸多假设的基础之上，考虑因素也较少，是一个简化版的模型。但想借此说明，未来发展是可以进行计算和预判，并非构建在虚无之上。1.定义新物理量 Th，使用 token 数量比较人与AI的智能程度第二次工业革命，将人类从生物动力时代 (马) 带入到了机械动力时代 (蒸汽机和内燃机)。初期，人们需要用数据来直观对比二者的动力差异。
为此，James Watt (瓦特) 创造了 Horsepower (马力) 这一概念，来量化马匹的工作。
定义：一马力等于一匹马拉动 33000 磅 (pound) 并以每分钟1英尺 (foot) 走动所作的功率。1 Horsepower = 33,000 foot-pounds = 745.5 watts由此，在物理层面，传统动力和机械动力的衡量单位被统一到了 watt (瓦特) ，可以直接比较二者的动力大小。
类比过来。如果我们想比较大语言模型 (LLM) 和人类的认知能力，也需要将二者量化到某个统一的单位。
借鉴 Horsepower 的思路，本文定义一个新的物理单位 thought-hour (Th)，来量化人类的智力劳动。
定义：1 thought-hour 等于人类在1小时内思考 (thought) 的平均 token 额度。由此，人类和LLM的智力衡量单位被统一到了token，可以直接比较二者的智力发展程度。
说明：token 是模型处理文本时的一个基本单位，可以是单词、字符、子词单元等，具体取决于模型的设计和训练方式。token 作为衡量指标有多方面优势：可测量、可预测、可扩展，与服务提供商的成本相关。如果一定要翻译，那么中文称之为 词元。2.长则10年，短则4年，AI (LLM) 就能追上人类如上图所示，蓝线表示人类，红线表示AI。
当前：人类 Human Thought = 1.9 TTh人工智能 Synthetic Thought = 0.085 TTh
考虑到人类的 Th 数量基本保持不变，AI 的 Th 数量在以 36% 的年复合增长率持续增长。预计10年左右，AI的思维能力就能追赶上人类。
此外，还需要考虑到大模型的能力仍在进步中。据观察，AI算法效率在以每年 0.4 OOM(数量级) 的速度提升。如图中黄线所示。将这个因素纳入模型，AI超越人类的时间可能缩短一半以上，也就是只需要 4 年左右。
说明：可以看出，这个计算过程中引入了多个理想条件假设。这里提到的多个数值，下方有详细的计算和推理过程。整体来说，对AI智能程度的增长率估计是偏保守的。3.1 Th = 1000 tokens1 thought-hour 等于人类在1小时内思考的平均 token 额度。这个数值具体是多少呢？
一般，人类的平均阅读速度为每分钟 200 个单词，约合每分钟 250 个tokens，即每小时 12,000 个tokens。
佐证：参考有声书默认朗读速度为每小时 9,000 个单词，即每小时对应约 12,000 个tokens。单词与token转换比例约为3:4
不过，人类大脑并不能始终保持高效状态。不妨假设人类工作效率为 83.33% ，那么 12,000 * 83.33% = 10,000，结果是一个便于计算的整数。
说明：James Watt 在对 horsepower取值进行标准化的时候，也是选择了一个整数。这个过程看似随意，但也是合理的，进行估算时确保数量级合理就好。
所以，1 Th = 10,000 tokens即人类思考一个小时，token 额度是 10,000。
说明：人类输入 (阅读/感知) 与 输出 (说话/写作/创造) 对应的 token 数值存在差异，AI模型同样也是。不过这里只考虑输出。下方AI模型做了同样的选择。4.1 TTh = 1*10^12 Th同 Wh (瓦时) 一样，Th 也是一个标准物理量，所以也可以使用 K、M、G、T 等前缀表示数量级，分别对应 10^3 (10的三次方)、10^6、10^9、10^12。即 1 TTh = 1*10^12 Th5.Human Thought = 1.9TTh/年，+0%🧮 全球知识劳动力年产 1.9TTh假设知识工作者每周工作40小时，每年工作 2,000 小时，其中 95% 的时间用于思考。那么，每位知识工作者年产 1,900Th。
已知全球共有10亿知识工作者，且这个数量保持不变。(推理过程见本文第8部分)那么，全球知识劳动力年产 1.9TTh。6.Synthetic Thought = 0.085TTh，+36%Synthetic Thought 与 Human Thought 相对应，衡量的是人工智能系统产生的认知输出。Synthetic Thought 也使用 token 来计算数值大小，并与人类的 Human Thought 进行比较。🧮 全球人工智能年产 0.085TTh粗略估计，目前全球有 100 万片 H100 或同等性能的芯片被部署用于 LLM，其中一半 (50万片) 用于推理。也就是说，全球用于 Synthetic Th 的计算能力有 50万片 H100 (或等效芯片)。
单个 H100 芯片的推理能力，参考 LLama2 70b 在Nvidia H100 GPU上的性能数据，为每秒约 3269个tokens。
那么，每片 H100 芯片年产 Synthetic Th 约为 3269606024365 Th ≈ 170KTh全球 50 万片 H100 年产 Synthetic Th 约为 85GTh，即 0.085TTh。
说明：这只是大致的估算，只关注了 H100 的数量及其 token 数量。详细推理过程见本文第9部分。🧮 AI能力是在逐年增长的GPU 数量是目前限制AI发展的关键因素。根据 Markets and Markets 的数据，GPU市场的增长率为36%，因此我们采用此数字作为 GPU 复合年增长率的估计值。
0.4 OOM 的AI算法效率提升速度，则是来自于 Epoch AI 的一份研究报告 👇
Epoch AI | Machine Learning Trends → https://epochai.org/trends
了解到各数值的计算 (估算) 细节后，我们对👆 这张图有了更深刻的理解。
蓝线代表人类的思考水平，目前数值较高，之后保持稳定。黄线代表AI的思考水平，目前数值较低，正在快速增长中。
也就是说，2027年或2028年，AI的思考水平将赶上并迅速超越人类。7.本文是黄仁勋发言的延申黄仁勋 (Jensen Huang) 是英伟达的创始人兼CEO。他在与 Patrick Collison的访谈中，把工业革命时期的计量单位
$/kWh 与人工智能革命的单位 $/M tokens 进行了比较。本文正是受到了这次访谈的启发，并将 M token 这一指标进行了改进。仿照 Wh 构建了 Th 这一衡量标准。8.Human TTh 年增长率的估算细节麦肯锡 (McKinsey) 的一份报告显示，2012年全球大约有 2.3 亿知识工作者。另一份报告显示，截至2021年，这一数字已经达到了10亿。
本文对10亿这个数字及这几年间的增长率持怀疑态度。但在没有找到更可靠的数据来源之前，先采用该数据，并假设此后知识劳动力的规模保持不变。9.Synthetic TTh 用于 LLM 的全球 GPU 估算细节我们在上文中提到，全球目前有 100 万片 H100 (或同等性能的芯片) 用于LLM，其中一半 (50万片) 用于推理。这里对这个数据进行验证。
OpenAI 每天推理产生约 10亿tokens。相当于每年36万亿tokens，即每天100KTh，每年 36GTh。由此可以计算出 OpenAI 占全球推理能力的36GTh / 85GTh = 42%
考虑到 OpenAI 报告中提到的约 39% 的市场份额。42%与 39% 非常接近，说明本文的估算方式是可信的。
“ Further ReadingWhen will AI outthink humans? → https://davidvgilmore.com/writings/outthinking-ai
THE END
转载原创文章请添加微信 AhaNanQiao↓ 分享·收藏·在看·点赞
