本文全面梳理了视觉-语言-动作（VLA）模型在机器人领域的全技术栈。VLA模型整合视觉、语言与动作，旨在实现通用机器人能力，打破传统感知、理解、执行的解耦限制。文章回顾了VLA模型的演进历程，从早期CNN模型到基于Transformer和大规模VLM的策略，再到融合扩散/流匹配技术和近期关注潜在动作与层级控制的趋势。同时，详细阐述了传感器-动作模型、世界模型和可供性模型三大核心架构，以及监督学习、自监督学习和强化学习等训练范式。最后，该综述提供了面向真实世界应用的“全栈”视角，涵盖了机器人平台、数据收集、公开数据集和评估基准等关键环节，为具身智能领域的研究者和工程师提供了宝贵的参考。
🤖 **VLA模型是实现通用机器人的关键技术**：视觉-语言-动作（VLA）模型通过整合视觉观察和自然语言指令，直接生成机器人控制动作，打破了传统机器人系统中感知、语言理解和动作执行的解耦状态，使其能够更灵活地应对复杂、未知任务，并展现出优异的泛化能力。
💡 **VLA模型技术演进与三大核心架构**：VLA模型经历了从基于CNN到Transformer和大规模VLM的演进，并融合了扩散模型等新技术。其核心架构主要包括传感器-动作模型（直接映射输入到输出）、世界模型（预测未来状态以规划动作）和可供性模型（基于物体或场景的可操作属性生成动作），这些架构共同推动了机器人智能的发展。
🛠️ **全栈视角助力真实世界应用**：该综述提供了从软件算法到硬件平台、从数据收集到模型评估的全栈式指南。它系统性地梳理了常用的机器人平台、数据收集方法、公开数据集以及评估基准，为研究者和工程师将VLA模型成功部署到真实世界提供了宝贵的实践参考和方向指引。
CV君 2025-10-10 14:51 江苏
一文读懂机器人通用模型VLA的全技术栈。
当大语言模型（LLM）和视觉语言模型（VLM）的能力不断溢出到机器人领域，一个激动人心的新方向——视觉-语言-动作（Vision-Language-Action, VLA）模型，正成为通往通用机器人之路的关键钥匙。最近，来自东京大学、牛津大学和德克萨斯大学奥斯汀分校的研究者们联手，在《IEEE Access》上发表了一篇极为全面的综述，系统性地梳理了VLA模型的全貌。
这不仅仅是一篇简单的文献回顾，更是一份面向真实世界应用的“全栈式”指南，涵盖了从软件算法到硬件平台、从数据收集到模型评估的方方面面。CV君觉得，对于任何想要了解或投身于具身智能领域的研究者和工程师来说，这篇论文都将是一份宝贵的参考资料。
论文: Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications作者: Kento Kawaharazuka, Jihoon Oh, Jun Yamada, Ingmar Posner, Yuke Zhu机构: 东京大学、牛津大学、德克萨斯大学奥斯汀分校论文地址: https://arxiv.org/abs/2510.07077项目主页: https://vla-survey.github.ioVLA模型：机器人通往通用之路的基石在过去，机器人系统通常将感知、语言理解和动作执行解耦处理，这限制了其在复杂、未知任务中的泛化能力。而VLA模型的出现，旨在打破这些模态之间的壁垒。
简单来说，VLA模型是一个统一的端到端框架，它接收视觉观察（看什么）和自然语言指令（做什么）作为输入，并直接生成机器人的控制动作（怎么做）。其核心目标是学习一个能够跨越不同任务、物体、机器人形态和环境的通用策略，从而让机器人仅需少量甚至无需额外的任务数据，就能灵活、可扩展地部署于真实世界。
这篇综述的结构非常清晰，从VLA模型面临的核心挑战出发，系统地回顾了其发展历程、关键技术和未来方向。
VLA模型的演进之路VLA模型的发展并非一蹴而就，论文通过一张时间线图清晰地展示了其技术演进脉络。
早期CNN 기반 모델: 以CLIPort为代表，首次尝试将预训练的VLM（如CLIP）用于提取视觉和语言特征，实现了端到端的物体操纵。但基于CNN的架构在统一多模态信息和扩展性方面存在瓶颈。基于Transformer和VLM的规模化策略: 随着Transformer架构的兴起，以谷歌的RT-1、RT-2为代表的模型，利用大规模真实世界数据进行训练，并借助强大VLM（如PaLM-E）作为骨干网络，展现了出色的泛化能力。这一时期的代表作还有OpenVLA，它成为了一个主流的开源VLA架构。扩散/流匹配技术的融合: 为了生成更平滑、更连续的动作，Octo、RDT-1B、π0等模型将扩散模型（Diffusion Models）或流匹配（Flow Matching）技术集成到动作解码器中，显著提升了机器人控制的实时性和稳定性。近期趋势：潜在动作与层级控制: 最新的研究，如LAPA、π0.5、GR00T N1，则开始关注从视频中学习潜在动作（Latent Action）以及构建层级控制策略，旨在将高层的任务规划与底层的电机执行更优雅地结合起来。VLA核心架构：三大主流范式论文将现有的VLA模型归纳为三大核心架构：传感器-动作模型、世界模型和可供性模型。
传感器-动作模型 (Sensorimotor Models)这是最直接、最主流的VLA架构，它将视觉、语言等传感器输入直接映射到动作输出。论文进一步细分了七种具体的实现方式，展示了该领域架构设计的多样性。
从最初的“Transformer + 离散动作”到最新的“VLM + 扩散Transformer”，我们可以看到一条清晰的技术路线：模型骨干从零开始训练的Transformer演变为利用互联网数据预训练的VLM，动作表示也从离散的Token演变为由扩散或流匹配生成的连续控制信号。
世界模型 (World Models)与直接输出动作不同，世界模型的核心思想是“预测未来”。它根据当前的观察和语言指令，预测未来世界的感官状态（如未来的图像序列）。然后，基于这些预测来规划和生成动作。这种方式使得机器人具备了更强的规划和多模态推理能力。
可供性模型 (Affordance-based Models)“可供性”（Affordance）是一个源于心理学的概念，指环境为行动者提供的行动可能性。在机器人领域，它表示物体或场景的可操作属性。可供性模型首先基于语言指令预测出环境中的可供性（例如，一个杯子“可以被拿起”的区域），然后基于这些可供性来生成具体动作。这种方式让机器人的行为更具解释性和鲁棒性。
VLA模型的训练与实现训练一个强大的VLA模型，离不开有效的学习范式。论文总结了三种主流策略：
监督学习: 这是最主要的方式，通常以模仿学习（Imitation Learning）的形式，在“图像-语言-动作”配对的数据集上进行训练。自监督学习: 用于学习模态间的一致性（如语言指令与目标图像的对齐）或从无标签数据中学习有意义的表征（如从人类视频中学习潜在动作）。强化学习 (RL): RL常用于微调通过模仿学习预训练好的VLA模型，以提升其在真实世界中的鲁棒性和成功率，或用于训练底层控制器。
迈向真实世界：全栈视角这篇综述最具价值的部分之一，就是它提供了一个完整的“全栈”视角，详细讨论了将VLA模型部署到真实世界所涉及的各个环节。
机器人平台: 涵盖了机械臂、灵巧手、移动机器人、四足机器人和人形机器人等VLA研究中常用的硬件。数据收集: 介绍了遥操作、代理设备（Proxy Devices）和人类数据收集等多种方法。公开数据集: 系统整理了近年来用于VLA研究的真实世界机器人数据集，这对研究者来说是极为宝贵的资源。
评估基准: 同样，论文也汇总了主流的VLA评估仿真环境及其关键特性，为模型的公平比较提供了依据。
总结CV君认为，这篇综述通过对VLA模型进行系统性的全栈式梳理，不仅清晰地描绘了该领域的技术图景和发展脉络，还为研究者和工程师提供了极具价值的实践指南。它就像一张详细的地图，指引着我们如何在VLA这个充满机遇与挑战的新大陆上探索。
大家对VLA模型的未来怎么看？欢迎在评论区分享你的见解！
