原创 南乔River 2024-10-25 00:03 北京
全是暴论，但有根据
ShowMeAI
专业◎洞察◎清晰◎实用
用知识加速每一次技术进步!推荐语
非常深刻!!
作者的预判未必都灵验但可以带我们重新认识美国的AI穿透新闻、泡沫、炒作这些花里胡哨的表象看看社会和科技发展更深层的趋势
注意：① 本文专指美国② 调整了板块顺序，删除了过于敏感的话题③ 原文非常简练，编译时增加了很多注释
④ 原文有大量链接，感兴趣可以前往阅读
公众号菜单栏底部有星球入口添加南乔 (AhaNanQiao) 好友进社群!
南乔注 (下同)：Scaling Law：一般译为规模法则，指模型性能与模型大小、数据集大小、计算资源之间存在幂律关系；最小化交叉熵损失：机器学习的一种优化准则，目标是让模型预测结果尽可能接近真实结果。
想获得超越人类的推理能力，就要超越「预测下一个token」的传统思路，采用更有新的训练方法，比如强化学习 (Reinforcement Learning) 和自博弈 (self-play) 。这些新方法一旦奏效，LLM 推理能力的提升是立竿见影的。基于强化学习的威胁模型 (RL-based threat model) 被低估了。
基于强化学习的威胁模型：利用强化学习技术来模拟和分析网络安全中的威胁行为。
未来的AI进展是相当不连续的，即会有大量突发的、跳跃式的进步，尤其是在 Agent 方面。AGI 研发进行可能会加速，并迅速超越人类。但是受限于计算瓶颈和高维向量空间的不可约性，它不太可能「一飞冲天」，成为神一样的人工超级智能 (ASI)。换句话说，Ray Kurzweil 的观点被低估了。
Ray Kurzweil 是一位著名的未来学家和发明家，他预测「奇点时刻」发生在2045年，届时AI将达到人类的智能水平。此外，他的「加速回报定律」认为技术进步是指数级的，未来的技术发展速度将远超我们的直觉预期。
尽管如此，递归自我改进 (Recursive self-improvement) 和元学习 (meta-learning) 仍值得关注。尽管受限于目前硬件设施的种种约束，但它们仍有可能诞生出具有危险性的、强大的AI系统。一步慢，步步慢。2.Meta 所谓的开源，其实是个「谎言」随着时间的推移，闭源模型与开源模型之间的差距将不断扩大。小尺寸开源模型的能力突破，并不能阻挡这个趋势。两年内，前沿模型将突破某些能力阈值。以至于很多开源的支持者会倒戈，承认开源模型具备这样强大的能力，是有潜在风险的。当然迄今为止，主流开源大模型仍是安全的。而且 LLaMa3 和 AlphaFold 等模型已经给全社会带来了巨大的正面收益。
LLaMa 是 Meta 推出的系列大语言模型，目前最新版本是 LLaMa 3.2，已经具备多模态能力。AlphaFold 是 DeepMind (后被 Google 收购) 开发的AI程序，能预测蛋白质的三维结构，并因其划时代的影响获得了2024年诺贝尔化学奖。
真正的「开源 (Open Source)」不仅仅是开放模型权重，也包括开放训练数据和代码。这可以阻断带有 Sleeper Agent 或污染数据的模型传播开来。
所以前几天，Meta 被国际开源组织 OSI (Open Source Initiative) 给喷了🤭 负责人批评 LLaMa 并不是真正的开源，公司的行为玷污了「开源」这个词。
最前沿的模型最危险，需要的训练成本也最贵，几乎只有大公司能负担得起了 (至少目前是这样)。所以，把前沿模型当作监控重点是合理且有效的。
开源与闭源的争论主要围绕 Meta 公司展开，并没有涉及更深层次的哲学讨论。把一个不友好的AI带到这个世界，也不符合 Meta 股东的利益。
如果一家公司的董事会是非盈利的，而且CEO不拿工资，那么它应对AI潜在风险的动力就弱很多。
OpenAI：说我呢呗~
Deepfake (深度伪造) 的传播是一种集体行动问题，可以通过防御技术或制度调整来解决。较低级别AI风险的应对措施大抵如此。
Deepfake 一般指用深度学习 (也就是常说的AI) 技术生成假图像或假视频。
如果限制开源，意味着同时限制了「防御性质」的开源模型的传播。此举可能无意，但结果是有破坏性的。试图限制一种广泛可用或门槛较低的技术，不仅是毫无意义的，而且可能弊大于利。尽管如此，把外来物种轻易丢弃到野外，仍然是重罪。3.技术创新有「加速」或「减速」之外的选择未来十年，是人类发展史上最关键的十年，其决策影响力远超历史上的任何时期。
你可以信仰技术，但也要知道几乎所有领域都在支持加速主义 (accelerationism)，同时警惕AI可能造成的风险。
加速主义：是一种政治倾向，主张快速发展科学技术。更多的就不能说啦，自己百度吧 (因为AI可能拒绝回答
加速观点与减速观点，都把技术发展看作是一个线性的过程。但其实，技术创新更像是在无数的分支路径上不停探索。如果AI发展方向的选择，把人类文明带到了十字路口。那么，人类生存更多取决于路径选择，而不是前进速度。只有想快速切换到另一条路上的时候，速度才会是更重要的考虑因素。
构建AGI 会带来前所未见的风险。这是一项科学事业，应该严肃谨慎地对待。部落归属感 (Tribal mood affiliations) 会损害认知理性。
部落归属感：指个体与特定部落或族群的情感联系。
e/acc (有效加速) 和EA (有效利他) 是硬币的两面：e/acc源于尼采式无神论，EA 源于基督教人文主义。在华盛顿，支持加速主义的实际游说力量，远超另一方。
e/acc 支持者们认为，尽管AI存在潜在危险，但追求 AGI 是人类社会向前发展的必然要求。EA支持者们认为，AI系统要继续推进人类的价值观，确保AI的发展符合社会的整体利益。二者关于「AI安全」话题存在观点分歧。
至于哪个党派更支持消除 AI 潜在风险，还没有看到明确的答案。但可以确定的是，EA (有效利他) 与民主党关系更密切，但也只是一个很小的群体。尽管还有缺陷，但自由主义者、e/acc (有效加速) 和基督教保守派，对AI和政府的认识比一般进步人士更加务实。如果你认为AI在不加干预的情况下会变得更糟，那就应该支持特朗普，因为他能引入更多的变数。
Steve Bannon 认为「技术奇点」即将来临，并视其为巨大的风险；而 Janet Haven 则认为AI不过是另一个 Web3 泡沫。4.尽情想象，人类将抵达怎样的未来？如果一个人对2050年的预测没有科幻色彩，那么很可能是这个预测太保守了。某事听起来「科幻」，与它在物理上无法实现，是天差地别的两件事。
未来发展很大可能走向 Terminator (终结者) 式的结局。
《终结者》是美国系列科幻电影，讲述了人类与人工智能「天网」之间的生死博弈。
意识之所以能被进化出来，是因为它具有实际的功能。因此，某些AI系统诞生出意识也是必然会发生的。人类意识的存在，是有尺度依赖的。在规模特别巨大或计算约束更少的心智中，人类的意识不一定存在。Joscha Bach 提出的 Cyber Animism (网络万物有灵理论)，最有可能主导「后AI时代」形而上学理论的发展。
Cyber Animism：认为意识和精神可以类比为一种软件代理，这种代理在生物有机体中自然出现。这一理论强调了人工智能研究的新方向，即探索意识的非物质基础，并尝试在人工智能系统中复制这种非物质的意识。
人造心智的出现，更可能是拉低人类的道德水平，而不是把人造心智提升为道德人格一般的存在。从热力学的角度来看，人类文明会不断地发展和扩张。但也不排除，未来我们的文明会被无意识的replicators (复制者) 主导。
这里提到的是热力学第二定律，即熵增定律，是指在孤立系统中，总熵 (即系统的无序度) 不会减少。这意味着自然过程总是向更加无序的状态发展。
有限时间奇点 (Finite-time singularities) 实际上是相变的指标，而不是真正意义上的奇点。人工智能的相变，是类似于印刷术的发明？还是光合作用的出现？这个问题仍然没有答案。
有限时间奇点：一个数学和物理领域的概念，描述了在有限时间内，某些物理量或数学函数变得无限大 (发散) 的现象。相变：物质从一种相态转变为另一种相态的过程。奇点：临界点。5.生物学的本质，也是信息技术生物学 (Biology) 的复杂性来源，与梯度下降 (Gradient Descent) 和扩散 (Diffusion) 过程非常类似。
相同点在于，这些过程都受到了相对简单的奖励信号和超参数 (hyperparameters) 的引导。
梯度下降：一种优化算法，它通过迭代地沿着目标函数梯度（最陡上升方向）的反方向调整参数，来寻找函数的最小值。扩散：指物质或热量从高浓度区域自然流向低浓度区域，直到达到均匀分布状态。
我们有可能完全掌控生物学的意志控制，也就是说我们可以创造出任意的有机体，即使它们不会在自然界中常规"进化"出来。通过基因工程创造出 IQ 高达1000 的超智能人类，是有可能的。
IQ：智商，大多数人类的智商在85到115之间；IQ 超过 145 则被认为是天才，IQ 超过160则被认为是非凡天才。
无限期延长寿命，实际上是一种反公地悲剧 (tragedy of the anticommons) 。
反公地悲剧：当一个资源有多个所有者，每个所有者都有权排除他人使用该资源，但没有人拥有独立使用它的权利时，资源的使用效率会大大降低，导致资源被闲置或使用不足的现象。
在后人类转变 (post-human transition) 过程中，出问题的概率非常高。
后人类转变：专业术语，描述人类社会、文化、技术以及生物学特征的深刻变化。这些变化包括但不限于人类通过技术增强、基因编辑、人工智能融合等方式超越传统人类极限的过程。
自然约束往往比人为约束更可取，因为前者不需要追究责任。我们生活在现实而不是剧本里。现实世界不存在「金手指」帮我们心想事成或躲避伤害。6.AI是大势所趋，但超级智能未必构建统一的超级智能，更多是意识形态的追求。目前的超级智能竞赛由美国两三家公司主导。它们在近期的发展方向上拥有相当大的自主权。超级智能具有危险性和破坏性，而且与 Alignment (对齐) 的难度无关。我们真的需要构建统一的超级智能吗？看起来，把先进的AI技术用于加速科学发展、攻克疾病、解决核聚变等问题，是更好的选择。创造ASI (人工超级智能) 会直接威胁国家主权。
如果一个 AGI Lab 的领导者是没有子女的佛教徒，那这个实验室的冒险倾向会更明显。
嗯？这是说谁？(竖起八卦的小耳朵
Sam Altman 和 Sam Bankman-Fried 有诸多相似之处。他们两位太像了。高功能精神病患者年轻时会表现出反社会行为，但成年后学会了自我调节，变得善于社交操纵，怀有宏大愿景，并以不惜一切代价实现「获胜」的目标。
Sam Bankman-Fried 是加密货币交易所 FTX 的创始人，曾是加密货币领域的杰出人物之一，也因FTX的崩溃而声名狼藉。2022年，FTX 交易所因资金链断裂宣布破产，他被指控策划了美国历史上最大的金融欺诈案之一。
企业不当行为的来源有两个，一是差劲的激励机制，二是中和技术 (neutralization techniques)，也就是为了突破道德约束而找借口，比如「即便我不这么做，别人也会这么做」。7.对 AGI Lab 的监管，重要且必要密切关注前沿模型的能力发展，符合美国的国家利益。即便对大多数AI监管措施的效果持保留态度，也可以支持对前沿实验室进行监管。作为临时措施，可以利用计算阈值 (threshold) 的方法筛选 AGI Lab，然后进行安全测试和信息披露。这应该是目前最轻松且有针对性的方法。
计算阈值，也就是确定一个临界点或分界值。
如果监管只聚焦于「使用」和「风险」，听起来似乎对市场很友好，但实际效果可能南辕北辙，反而会将监管范围拓展至更广泛的领域。
比如欧盟的AI法案。
训练所需的计算量，可以简单明了地评估模型能力。这个指标虽然说不上完美，但整体是很靠谱的。
****
南乔注：敏感词。
对耗资超过1亿美元的训练项目，进行安全性测试和信息公开，这算不上监管俘获。而且与计算成本相比，也不会形成实质性的进入门槛。
监管俘获：一个经济学和政治学概念，指监管机构最终被其监管的行业或利益集团所影响和控制。8.现在谈全面的AI监管法案，为时尚早一个领域处于快速发展且充满不确定性的状态时，政府制定行业政策更要保持谨慎和自主。在技术拐点制定全面的法律监管并不明智，因为被监管对象的本质仍在不断变化。应对AI的最佳政策可能是把针对性监管与大多数领域的全面「放松管制」结合起来。
法律法规固化了特定生产模式与行业结构的规则、标准、流程，这些很容易在技术快速变革期失效。放松管制的好处是增强市场和政府适应创新的能力。对于AI商业应用来说，最大的监管障碍存在于现有法律法规之中，而不是未来可能出台的专项法规。
AGI 预期实现的时间越短，政策制定者越应该尽快把重点转向「应对冲击」。最有效的AI治理方式，势必会涉及到基础设施和硬件层面。
现有法律法规的制定，基于的是「执法不可能完美」的假设。如果人工智能显著降低了监管和执法的成本，那么在没有进一步放宽政策的情况下，所有现行法律法规的实际执行力度将会大大增强。
各国应该重点关注公共部门的现代化和监管沙盒 (regulatory sandbox)，避免创建互不兼容的AI安全法规体系。
监管沙盒：由监管机构提供，允许企业在受到监管的环境下测试新的金融产品、服务或商业模式。9.技术引发的社会转型，全面且复杂**
南乔注：敏感词。
技术转型往往是一揽子方案 (不是单一的、孤立的变化，而是包含多个方面和步骤的综合过程)。例如，自由市场和工业革命的发展，与「大政府」的兴起是相辅相成的。
可参考 Tyler Cowen 关于 The Paradox of Libertarianism (自由主义悖论) 的观点。
智能爆炸之后建立的AI原生组织，很可能与我们现在所熟知的自由民主制度大相径庭。在稳定状态下，AI最大程度民主化反而加速AI Leviathan 的崛起。因为不可逆的负外部性会刺激人们更加需求无处不在的社会管控。
Leviathan：利维坦，政治哲学概念，指的是一个强大的中央政府或国家，能够通过权威和力量维持社会秩序和防止混乱。
技术快速变革，往往会打乱现有的公共选择和政治经济约束，使得局势更加动荡难测。技术快速变革，也可能打破全球权力平衡，增加爆发热战的风险。技术快速变革，通常会伴随着乌托邦式政治和宗教运动兴起，而这些运动也往往以失败告终。
爆炸式的增长，可能会导致大规模的知识产权纠纷。生产力的显著提升将加剧 Baumol's Cost Disease (鲍莫尔成本病)，并由此推动人工智能在警察、教师、护士等岗位上的广泛应用。
鲍莫尔成本病：在某些行业中，尽管劳动生产率没有显著提高，但由于其他行业的生产率提升导致工资上涨，这些行业的劳动力成本也会随之上升。
**
南乔注：敏感词。
“ ReferenceNinety-five theses on AI: In no particular order → https://www.secondbest.ca/p/ninety-five-theses-on-ai如果你对同类型文章感兴趣，还可以继续看看这篇 👉 Fifty AI theses → https://an1lam.substack.com/p/fifty-ai-theses
THE END
转载原创文章请添加微信 AhaNanQiao↓ 分享·收藏·在看·点赞
