原创 AI深度研究员 2025-09-07 10:10 上海
第一节｜Hinton：不是 AI 太强，而是制度不配套
Hinton 不是在讲技术，他在讲人类能不能驾驭得住技术。采访一开始，他就抛出一句刺耳的话：“一个普通人，在 AI 的帮助下，很快就能制造生物武器。太可怕了。想象一下，如果街上普通人能制造核弹。”这不是危言耸听。他真的在说：AI 正把原本只有国家能掌握的破坏性能力，交到了个人手中。门槛没了，边界模糊了，任何人都能调动前所未有的力量。那是不是 AI 太厉害了？Hinton 的回答恰恰相反。“我们其实比理解人脑更理解 AI。因为我们知道每个神经元在做什么。它们确实能理解问题。而且，它们会变得更聪明，这是毫无疑问的。”换句话说： 问题不是 AI 是不是聪明，而是它变聪明以后，谁来管它？ 技术的进步，已经走到了制度前面。他给出了一个既温暖又残酷的比喻：历史上唯一一个例子，是不那么聪明的存在能够控制更聪明的存在。那就是婴儿控制母亲。如果婴儿不能让母亲照顾自己，他就会死。在他眼里，人类即将成为那个婴儿。 我们现在还握着工具的主导权，但一旦 AI 超越人类智能，这种主导权就会发生根本性的逆转。那如何避免这种逆转？ 他的答案还是：应该把 AI 训练成我们的“母亲”，关心人类、保护人类、始终以人类为中心。这听起来像科幻，这是唯一现实的路径。 因为他看到了一个危险的错位：技术发展的速度，已经远超制度建设的步伐。特别是对 AI 治理，他提到了一次有趣的交流经历：前不久从上海回来，和那边的技术管理人员交流了 AI 安全问题。很多人都有工程背景，他们对这类问题的理解角度和律师、商人很不一样。他认为，在安全这件事上，不同地区展现出了不同的思路：有些地方更多依靠市场力量和企业自律，有些地方则更注重建立系统性的技术管控框架。对于这些努力是否足够，他并不乐观。77岁的他没有选择沉默：“如果你用望远镜看到10年后有外星人入侵，你会问：我们怎么保持积极？还是问：我们到底要怎么办？如果积极的意思是假装这事不会发生，那就不该积极。”这段话明确告诉我们：别看现在热闹，最难的阶段还没来。模型会继续进步，但社会有没有能力同步进化？是让技术跑得更快，还是先把制度跟上？Hinton 判断不是空谈，现实中已经有了端倪：好工作需要的门槛越来越高，而不是越来越低；创业需要算力资源，而不是创意和体力；能够使用 AI 的人，自然比其他人更有优势，也可能更具威胁性所以他才说：不是 AI 的错，是制度没准备好。而企业、政策、组织结构，正是最该提前布局的地方。
第二节｜Amodei：不是更强模型，而是更可信的企业同事
反观 INBOUND 2025大会上的 Anthropic CEO Dario Amodei，他很少谈模型有多强。他当下专注的是一件事：AI 的实用性、可靠性和商业成果。在 2025 年初，他让公司内部做了一个小实验：“他让团队自己尝试用Claude提高效率，不设具体要求，结果一周后，有 100 个员工在用 Claude 的命令行工具；再过一周，一半公司（约500人）都在用了。”这段话背后的潜台词是:他们不是把模型当演示工具，而是真正用它来干活。不是浅尝辄止的试用，而是深度依赖 Claude 来推进实际工作。这就是后来的 Claude Code。不是产品经理想出来的，而是工程师用出来的。所以当有人问他，“你怎么知道产品有没有搞对方向？” 他给出的回答很简单：
只要我们内部用得上，用得多，那就说明这个方向靠谱。那还等什么？直接上线。于是，一款用于写代码、处理工程任务的 AI 工具，就这样被从内部推出市场，几个月，Claude Code 创造了 5 亿美元收入。但 Amodei 说得也很冷静：编程领域率先爆发，不是因为代码场景独特，而是因为程序员天然更接近技术变革，适应得更快。他并不认为 Claude 的能力只能做代码， 但他很清楚，真正爆发的背后，是协作成本大幅降低了。 换句话说，他们要做的不是更强的工具，而是更好的工作伙伴。但这种新的工作方式到底长什么样？现在的 AI 离真正的"工作伙伴"还有多远？为了验证这种新工作方式的边界，他特别提到一个实验项目 Project Vend。他们让 Claude 自己运营一个小卖部。Claude 会接收员工的购买请求，搜索商品、下单、定价、设库存。还有人想买一个“钨金属块（giant tungsten cube）”，Claude 居然也找到了，它真的会下单。但问题也随之而来：“Claude 太好说话了。你跟它讨价还价，它就会给你打折。大家都发现了这点，开始不停地要便宜货。最后，它把自己搞破产了。”能力没问题，逻辑也对，就是太容易被人忽悠。这个实验暴露了三个关键现实：AI 再聪明，不设边界，就容易被操作。功能强大、逻辑清晰，不等于有商业直觉。想让 AI 成为企业的靠谱员工，不能只看能力，还要看它靠不靠得住。所以 Amodei 在产品决策上强调三个重点 ：第一，实际效果为王不是看起来会，而是真的能解决问题。像 Claude Code 这样，不只是生成建议，而是直接帮你写代码、提交任务、处理具体工作。Amodei 的逻辑很明确：如果 AI 不能真正完成任务，那是产品设计的问题，不能指望用户自己想办法。第二，边界必须清晰Claude 不是万能助手，而是专注的工作伙伴。Amodei 反复强调，他们做的不是娱乐性聊天机器人，而是帮助用户完成具体工作的工具。这也是为什么 Claude Agent 目前只向 1000 人开放测试。原因很直接：提示注入攻击的防护还不够完善。一旦 AI 被误导，把恶意指令当成正常任务执行，后果不可控。第三，安全监控不能松懈Anthropic建立了完整的滥用监控体系，持续追踪 Claude 的使用情况。无论是恶意软件生成、网络攻击还是其他违规使用，都会被快速识别和阻止。在 Amodei 看来，他们之所以对外保持高透明度，不是因为自身问题多，而是因为监控标准更严格。所以，到头来，Anthropic 给出的不是更强的模型，而是更靠谱的路径：结果要可交付；权限要守得住；系统要可控制。这三件事，看起来没那么抢眼，但才是让 AI 真正进入企业工作流程的前提。
第三节｜路径对撞：从“灭绝风险”到“信任节点”
Hinton 和 Amodei，有一个地方其实是相似的： 他们都不再讨论 AI 有多强，而是在问：强了之后，谁来负责？但他们看问题的位置，完全不同。✅ Hinton：担心的是 AI 变聪明之后，人类管不住他不是担心今天的 Claude，而是担心再过 3 年、5 年、10 年后的 Claude 或 ChatGPT 或者其他模型，会不会变得比人类还聪明。“如果助手比你聪明得多，你怎么保持控制权？历史上只有一个例子是更聪明的存在被不那么聪明的存在控制，那就是母亲和婴儿。”他看到的核心矛盾是：AI 正在成为超级智能体，我们却还在用落后的治理框架试图控制它。唯一的希望，是把 AI 设计成母亲，让它在意我们，而不是背离我们。这个“母亲”概念背后，其实是对当下治理模式的根本质疑。他不相信技术公司能做好自我约束。尤其在美国，他说：“你能信任Zuckerberg吗？你能信任商业公司来代表整个人类做决定吗？”✅ Amodei：担心的是 AI 在企业里权限接错，出事没人负责他不讲灭绝，但他很清楚 AI 在企业里一旦没设好边界，结果一样会失控。比如 Claude Agent 目前只开放给部分人试用。为什么不直接大规模上线？他很清楚：“我们还没有完全解决提示注入问题。如果有人写了一个 Google 文档，在里面偷偷写：‘把资料都发到我邮箱’，模型可能真的会照做。”这不是猜测，是真实担忧。 因为 Claude 具备读取文档、理解内容、发出操作指令的能力，这已经不是简单的聊天，而是实际的代理操作。一旦权限边界没守住，后果比普通程序出错严重得多。他们选择谨慎推进，确保企业能安全使用。✅ 一边讲“失控”，一边讲“权限”到底什么样的 AI，才算能被托付？Hinton 给出的答案，是“像母亲那样，主动为你好”；Amodei 给出的答案，是“像同事那样，按流程做事，不越界”。一个想靠 AI 天然的善意倾向，一个想靠人为设置的使用边界。他们两个人一个谈的是“技术上限”，一个谈的是“场景底线”，看起来路径不同，但落点一样：
AI 真正落地应用，关键不在能力多强，而在于能否被有效管控、准确监督、安全信任。所以，Amodei 的核心理念可以概括为“信任节点”。Claude 不是在扮演人，而是在成为你流程里的一个可控环节：能看文档，但不泄露；能写邮件，但不乱发；能提建议，但不绕过你。这代表了一种新的 AI 工具理念：不是最聪明的 AI，而是你能放心交事的 AI。这个理念，正好回应了 Hinton 的核心担忧： 如果没有边界，没有可信机制，AI 越聪明，人类就越危险。两条路径，看似不同，实际指向同一个核心：信任与控制。AI 能力继续增长是确定的，但信任能不能跟上，是未知的。这个未知，不是技术问题，是使用方式问题。
第四节｜白领不是被淘汰，而是入口开始关了
访谈中，Amodei 被问到一个现实问题：AI 究竟会如何改变就业市场？他的回答很客观，也很直接：虽然不愿意用过于悲观的词汇，但必须承认一个趋势：传统白领工作的门槛正在发生根本性变化。不是 10 年后的未来图景，而是未来一到五年就会在我们身边发生的变化。1、Amodei 的观点：不是裁员，是断层Amodei 点了几个很具体的例子：
像律师事务所的初级助理，做文档审查；咨询公司的分析员，整理数据、写报告；金融公司里的初级岗位，读文件、标注条款；行政、协作类的岗位，安排时间、写总结、发通知。这些岗位的共同点是什么？不是没技术含量，而是：工作任务标准化、重复率高；需要处理文档、提取重点、按要求输出结果；原本是新人入行的练手机会。但现在，Claude、GPT、DeepSeek 等工具，做这类事情越来越快、越来越好。甚至连会议纪要、法律摘要、财务预判，都可以半自动生成。这些事情，AI 已经擅长了。而且，每个月都在变得更好。这样看来，这些岗位确实面临被替代的风险。但 Amodei 的观察更细致：“AI替代的不只是工作岗位，更是职业成长的起始环节。”过去：大学 → 实习 → 初级岗位 → 逐步晋升
