index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
Transformer架构的联合作者Llion Jones在TED AI大会上表示，当前AI研究过度聚焦于Transformer模型，导致研究方向变窄，创新停滞。他认为，海量资本和人才的涌入反而催生了“内卷”现象，研究者们忙于优化现有模型、刷论文KPI，而忽视了探索新的架构和方向。Jones以自身经历为例，强调了自由探索在Transformer诞生过程中的重要性，并呼吁AI行业应回归好奇心驱动的“探索”模式，而非一味“利用”现有技术。他目前在Sakana AI致力于复刻这种自由探索的环境，并相信真正的突破来自于大胆尝试和开放分享。
🤖 **AI研究面临“内卷”困境**：Transformer架构的联合作者Llion Jones指出，尽管AI领域获得了前所未有的关注和资源，但研究方向却日益狭窄。他认为，资本的驱动和对论文发表的追求，使得研究者们倾向于在现有Transformer架构上进行微调和优化，而非大胆探索全新的技术路径，导致创新动力减弱，研究陷入“拥挤赛道”。
💡 **自由探索是创新的源泉**：Jones回顾了Transformer在谷歌诞生时的情景，强调那是一个充满自由讨论和白板涂鸦的“自下而上”的过程，不受KPI和发表压力的束缚。他认为，正是这种自由的环境激发了灵感，催生了革命性的技术。当前行业过度强调“利用”现有技术，而忽视了“探索”新可能，这阻碍了下一代颠覆性技术的诞生。
🚀 **Sakana AI的“反内卷”实践**：作为Sakana AI的CTO，Jones正致力于在日本创建一种“少KPI，多好奇”的研究氛围。他鼓励团队进行“你只应该做那些如果不是你来做就不会发生的研究”，并通过支持员工的探索性项目，如“连续思维机器”，来验证自由探索的有效性。他认为，这种环境比高薪更能吸引和留住顶尖人才。
🔄 **Transformer的成功是双刃剑**：Jones并非否定Transformer的价值，而是认为其当前的强大和灵活性反而可能阻碍了对更优技术的寻找。他比喻道，如果现有技术不够好，人们反而会更积极地寻找下一个惊喜。他主张AI行业应从“军备竞赛”转向“开箱分享”，通过公开分享有价值的发现，共同加速通往下一代“Transformer级”突破的道路。
🤝 **重塑AI合作与突破**：Jones呼吁AI领域从竞争走向合作，将“军备竞赛”模式转变为“开箱分享”的集体解谜过程。他相信，如果研究者们能够扩大探索的边界，并公开分享有意义的发现，那么实现下一个重大AI突破的速度将远超想象。他本人在Transformer领域的深厚积累，使其对技术转向的时机有着独特的判断。
【新智元导读】Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。Transformer「亲爹」跑路啦，说是烦透了「自己生的娃」！还记得那篇8年前把「注意力机制」按在王座上的论文《Attention Is All You Need》吗？
共同作者Llion Jones最近在旧金山的TEDAI大会上当众「叛逃」：AI研究正越做越窄，而他本人，准备把对Transformer的爱好调成「低电量模式」。海量资金与人才反而让研究圈挤进死胡同，大家只顾卷参数、抢发论文，没人敢探索新架构。钱越多，点子越少？这是一种资本与论文KPI的奇妙化学反应。Jones的主张很直白：前所未有的关注、资金和人才涌入之后，研究反而被「收窄」了。为啥？一边是投资人盯着回报，另一边是研究者担心被别人「抢先发」，人人都在拥挤赛道里拼命刷存在感。结果呢？
赶工纸面成绩，挤牙膏式创新，和千人一面的论文标题。他还搬出了课本里的老朋友：「探索vs.利用」。现在的行业像把「利用」旋钮拧到11档：不停对同一架构打补丁、换皮肤、加大模型，再加点「我们又SOTA了」的调味包。可真正的新路子，没人敢走，也没空走。Jones在会议上说：未来每个人都会失去工作，这是一件好事一段历史复盘：RNN年代的「徒手抛光」
Jones提醒大家想想Transformer出现前的日子！
当时研究圈正对RNN做无尽小改小优，就像给一块石头抛光一样。一旦Transformer登场，前面那堆抛光操作立刻变得像「给马车装了碳纤维尾翼」！很精致，但很不对路，甚至变得完全无用，现在还有谁再谈论RNN？于是Jones担心我们是否又在重演历史：盯着一个8年前架构一直薅羊毛，薅到秃！不停给马车打造各种好看的设备，却不知道拐弯看看路口是不是有飞船停靠。Transformer是怎么「长大」的？不是KPI，是自由！这就是Transformer之父给出的答案。最扎心的一段来自Jones的回忆：那会儿他在谷歌做Transformer，是「午饭唠嗑+白板乱画」式的自下而上的。既没人规定必须发几篇论文，也没人拉着耳朵对着某个指标冲线。先有自由，后有灵感，这话听上去朴素，但如今反而成了稀缺品。再看现在：就算年薪上七位数，许多人也未必敢「瞎折腾」。新岗位第一天，谁不想先稳住绩效？于是低风险、可发表、见效快，自然优先级飙升。想象力？创造力？先等一等吧。Sakana AI的「反内卷」实验
Llion Jones打算把探索旋钮拧回去。Jones后来去日本创建了Sakana AI。身为东京创业公司Sakana AI的CTO，Jones说他打算在实验室里复刻Transformer诞生前的「空气配方」：少KPI，多好奇；少跟风，多自然启发。他还给团队安利了一句研究格言：You should only do the research that wouldn't happen if you weren't doing it.
你只应该做那些如果不是你来做就不会发生的研究。。
——来自工程师Brian Cheung在这种环境诞生成果的一个例子是Sakana的「连续思维机器」，它在神经网络中融入了类似大脑的同步机制。一位提出该想法的员工告诉Jones，在以前的雇主或学术岗位上，他会面临怀疑并受到不要浪费时间的压力。在Sakana，Jones给了他一周时间去探索。该项目取得了足够的成功，甚至在大型AI会议NeurIPS上获得了展示机会。Jones甚至表示，在招聘中，自由胜过报酬。
他谈到这种探索性环境时说：「这是吸引人才的一个非常非常好的方式。想想看，有才华、聪明、有野心的人，自然会去寻找这种环境。」这波操作证明——自由比高薪更能抢人。聪明人对自由的敏感度，往往高于对钱的感知。
「不是分手，是冷静期」：别把他当反对派也许最具讽刺意味的是，Transformer可能是自身成功的受害者。当前技术如此强大且灵活……这阻止了我们去寻找更好的技术，如果当前技术更糟糕，会有更多人去寻找更好的，这很有道理。Jones并不是要把Transformer一脚踢下船。他强调：现有技术上还有大量重要工作，未来几年也会继续创造价值。只是以现在行业的人才与资源密度，我们完全「买得起」更多的探索。Transformer的强大，正在阻挡我们寻找「更好」的冲动。如果现有技术差一点，大家反而更会到处找下一个惊喜。把「军备竞赛」改成「开箱分享」收尾时，Jones把姿态放得很开：这不是「你死我活」的竞技场，是集体解谜。如果大家能一起把探索旋钮拧大一点，把有意思的发现公开分享，那条通往下一次「Transformer级」突破的路，可能近得超乎想象。AI掌权者（是OpenAI、还是谷歌、还是其他？）是否会听从这一呼吁尚未可知。但Jones提出了一个尖锐的提醒：下一次达到Transformer级别的突破可能就在拐角处。毕竟，他在Transformer领域工作的时间比几乎所有人都要久。他会知道何时该转向新方向。Transformer八子Transformer可以奠定了如今的AI时代，几乎所有基础模型都是以此为地基。「Token by token，一个词接一个词」的简单输出模式在算力的加成下成为了新时代的AI魔法。Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。更重要的是，它让人类真正跨入了生成式AI时代。人类和生成式AI的命运从2017年6月12日周一下午17点57分开始交汇。Transformer的影响依然还在继续！到今天为止，这篇论文的被引次数已经到了18万+次！让人不禁好奇，除了Jones外，其他几位作者都身在何处？曾经联手打造出谷歌最强Transformer的「亲爹们」如今也已分道扬镳。· Ashish VaswaniEssential AI联合创始人&CEO称希望把EssentialAI做成“西方的DeepSeek”（2025-06-17采访）。· Noam Shazeer已回归Google；Gemini技术共同负责人· Niki ParmarAnthropic技术人员。此前与Vaswani共同创办EssentialAI，早期为Adept联合创始人2024年底/2025年初已加入Anthropic。EssentialAI的联合创始人之一。· Jakob UszkoreitInceptive Nucleics联合创始人&CEO2025年登台TED AI SanFrancisco分享「AI如何绕开传统科学」的新思路；持续推进「生物软件」方向。· Llion JonesSakanaAI联合创始人&CTO外媒称SakanaAI正洽谈新一轮融资，目标估值约25亿美元。采访中直言「已经受够了Transformer」，转而主打「演化式模型合并」等新架构路线。媒体采访介绍其在东京推进“自然启发”的集体智能路线。· Aidan N.GomezCohere联合创始人&CEO表示Cohere计划很快启动IPO（2025-10-21多家媒体现场采访）。公司估值升至约70亿美元。经营数据：年化收入达1亿美元、发力企业私有部署与代理平台North。· Lukasz KaiserOpenAI研究员2025年10月在OpenAI Forum发表「从Transformer到Reasoners」的主题演讲。· Illia PolosukhinNEAR Protocol联合创始人主张User-OwnedAI，推进「用户所有的AI」与隐私保护AI-原生产品。在NVIDIA GTC 2025分享「机密、可验证AI计算」。8年前一篇不起眼的论文，却彻底开启了人类的生成式AI时代。这个被忽视的小论文，彻底开启了AI的大时代。它的故事还远远没有结束。https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers 文章原文
