新智元报道
新智元报道
Paper：https://dexbotic.com/dexbotic_tech_report.pdf
GitHub：https://github.com/Dexmal/dexbotic
Hugging Face：https://huggingface.co/collections/Dexmal/dexbotic-68f20493f6808a776bfc9fc4
在5个仿真平台上的，Dexbotic都取得了不错的结果。· SimplerEnvSimplerEnv旨在缩小仿真环境与真实世界之间的差距。Dexbotic主要测试了WidowX机器人仅使用视觉匹配套件的情况，包含四项任务：将勺子放在毛巾上、将胡萝卜放在盘子上、堆叠立方体以及将茄子放入黄色篮子中。SimplerEnv的结果表明，Dexbotic极大提升了操控任务的稳定性与泛化性。Dexbotic版本（DB-*）在所有任务上显著优于原始模型，在平均准确率上：DB-CogACT提升了18.2%；DB-OFT相比官方OpenVLA-OFT实现了46.2%的绝对性能提升。DB-MemoryVLA成功率达到84.4%，较官方版本提升12.5%。· CALVINCALVIN专注于长周期语言条件机器人操作任务。Dexbotic的预训练使模型在长期依赖任务中表现更稳健、泛化更强。Dexbotic版本在CALVIN的长时序任务中同样优于原版；DB-CogACT平均任务长度从3.25→4.06，说明更好地完成多指令串行任务；同时，DB-OFT也在所有指标上略有提升。· ManiSkill2ManiSkill2主要聚焦基础抓取放置操作，检验模型的3D感知与空间推理能力。在五项代表性任务上评估实验结果：PickCube（拾取立方体）StackCube（堆叠立方体）PickSingleYCB（拾取单个 YCB 物体）PickSingleEGAD（拾取单个 EGAD 物体）PickClutterYCB（拾取杂乱 YCB 物体）Dexbotic版本（DB-*）在所有任务上显著优于原始模型：DB-OFT提升幅度高达42%；DB-CogACT提升幅度高达18%；· RoboTwin2.0RoboTwin2.0是新推出的仿真基准测试平台。它改进了仿真到现实的转换，包含50项双臂任务和五种机器人实体。Dexbotic基于四项精心挑选的任务进行比较：调整瓶子位置、抓取滚筒、放置空杯子和摆放手机支架。Dexbotic版本在所有任务上提升显著；特别是在「放置空杯子」任务中提升接近3倍（11%到30%）；· LIBEROLIBERO包含五个任务套件：LIBERO-Spatial，主要考察物体在不同位置的摆放能力；LIBERO-Object，要求在固定场景布局中完成多种物体的抓取与箱内放置；LIBERO-Goal，评估在固定布局下执行多样化操作的能力；LIBERO-Long（又称LIBERO-10），包含10个涉及多场景多操作的长期目标；LIBERO-90是LIBERO-10的扩展版本，提供了更具挑战性的基准测试。当前，最先进VLA在该基准上的性能已接近饱和。通过应用Dexbotic预训练模型，CogACT和MemoryVLA等策略均能获得额外性能提升。相较于CogACT基线，DB-CogACT在四项任务套件中的平均成功率提高了1.3个百分点。不管是排序、寻找还是分类，Dexbotic的表现都堪称完美。真机演示相比仿真，真机效果更能说明模型的能力。真实场景实验表明Dexbotic能完成多种日常任务。值得关注的是，在摆放盘子和搜寻绿盒任务中分别实现了100%和80%的成功率。下面视频展示了100%成功率的UR5e叠盘子。以及使用ARX 5来选找绿色方块。对于「撕碎废纸」和「将薯条倒入盘子」这类操作任务，现有VLA策略确实面临挑战。真机测试中，Dexbotic验证了，如MemoryVLA等前沿VLA策略能够解决「按顺序按下按钮」这类长周期且需记忆的任务（60%成功率）。开源硬件——DOS-W1具身智能的研究发展离不开开源硬件的支撑。有鉴于此，Dexmal原力灵机也推出了其首款开源硬件产品——Dexbotic Open Source-W1（DOS-W1）。DOS-W1采用完全开源的硬件设计，即将开源所有的文档、BOM、设计图纸、组装方案、相关代码；采用大量的快拆结构与可替换模块，这极大地降低了机器人的使用门槛、改造便利性和维护便利性；同时，其符合人体工学的抗疲劳设计，有效提升了操作人员的舒适度与数据采集效率。据悉，Dexmal原力灵机也将与各产业伙伴一起，持续丰富Dexbotic Open Source系列，以开源硬件助力具身智能前沿研究，加速机器人技术在真实物理世界的落地与应用。「软硬件」之外，Dexbotic全面覆盖训练需求，既支持阿里云、火山引擎等大规模云端训练平台，也兼容消费级GPU（如RTX 4090显卡）的本地训练方案。针对UR5、Franka、ALOHA等主流机器人，Dexbotic也提供了统一训练数据格式，并开源通用部署脚本支持用户自定义部署。可以看到，Dexbotic预训练模型在多种仿真器中，都给传统VLA策略带来了额外提升。他们是如何做到的？在开源的技术报告中，我们发现了Dexbotic的诸多创新，尤其是在模型层的设计上。Dexbotic架构创新Dexbotic代码库的整体架构主要包含三大核心层级：数据层（Data Layer）、模型层（Model Layer）和实验层 （Experiment Layer）。
数据层：统一格式数据层定义了Dexdata统一格式以整合多源数据并优化存储空间。基于Dexdata格式的数据，系统将自动执行数据处理流程，提取图像、文本及状态信息用于模型训练。模型层：统一模块化VLA框架Dexbotic在模型层面的创新主要集中在构建一个统一的模块化VLA框架。并在此基础上预训练了更强大的基础模型（DexboticVLM）和一系列性能优越的机器人专用预训练模型。此外，框架兼容主流LLM的开源接口，集成了具身操作和导航功能，预留了未来全身控制的接口扩展能力。· DexboticVLM为了解决现有VLA模型依赖过时VLM的问题，Dexbotic选择从头开始预训练自己的VLM。DexboticVLM集成了先进组件： 视觉编码器CLIP和Qwen2.5，双层MLP作为投影器。这个自研的DexboticVLM是后续所有预训练模型的基础。基于DexboticVLM，Dexbotic提供了一系列性能远超原始开源版本的预训练模型。这些模型分为离散和连续两种：1、离散预训练模型 (Dexbotic-Base)第一种是一个通用的VLA策略预训练模型。它在DexboticVLM的基础上，使用了大规模、多样化的机器人数据进行了进一步的预训练。训练数据非常广泛，包括Open-X Embodiment数据集的子集、来自多个模拟器（如RLBench, Libero, Maniskill2）的数据，以及真实的机器人数据（如UR5）。2、连续预训练模型第二种是专为特定视觉语言动作策略设计的预训练连续模型。对于连续预训练模型，Dexbotic还提供了单臂和双臂任务的两个版本。单臂连续模型 (Dexbotic-CogACT)：它使用Dexbotic-Base来初始化VLM部分，并随机初始化动作专家（DiT头）。该模型使用了包含Dexbotic收集的私有数据集进行训练。该私有数据集涵盖了8种不同的单臂真实机器人（如UR5, Franka, Unitree Z1等）执行的52个操控任务。这极大地增强了模型的泛化能力。混合臂（双臂）连续模型：原始的CogACT策略并不支持多视图和双臂设置。Dexbotic通过修改模型架构扩展了CogACT的能力。实验层：实验导向型开发框架实验层是Dexbotic体系中最核心的组成部分。Dexbotic创新性地引入实验脚本机制，定义了基础实验脚本，用户根据自己的需求修改最少量的实验配置，即可开展新的实验，在确保系统稳定性的同时支持快速实验迭代开发。实验层是Dexbotic VLA模型开发与复现的核心接口层，研究者只需通过实验脚本即可实现模型配置、训练与部署。实验层的设计遵循三个核心原则 ：实验中心化（Experiment-Centric）不依赖复杂YAML配置文件，而采用脚本化配置模式，让研究者能以最少代码完成实验定义。高可扩展性与可复用性通过「分层配置 + 工厂注册 + 入口分发」机制，支持对模型、任务、数据、优化器等模块的灵活替换。保持稳定与可维护性所有实验都基于同一base_exp模板，可继承并重写字段，防止配置碎片化。Dexbotic训练流水线推理服务Dexbotic还为不同开发者提供推理服务。Dexbotic提供了一个轻量化的远程推理架构，支持在云端或本地执行机器人控制。推理服务分为三个关键模块：DexClient（客户端）：位于机器人端或用户本地；向服务器发送推理请求；负责执行返回的动作序列。Web API（服务器端）：基于 Flask Service 构建；接收来自DexClient的数据；调用模型执行推理；返回动作结果。VLA模型（推理核心）：接收图像与文本指令；执行多模态特征提取与推理；输出连续或离散的机器人动作。Dexbotic致力于打造具身智能的基础运行层具身智能研究长期以来的一个核心痛点是「碎片化」。不同机构使用不同的框架、模型架构和数据格式，导致研究者难以复现、比较和迭代他人的工作。Dexbotic正是在这种背景下提出，其学术和工程创新性体现在以下几点：自研构建了新型基础模型DexboticVLM扩展了SOTA模型的能力范围在工程上提出统一模块化框架提出了以「实验为中心」的开发范式同步开源软硬件，降低研究门槛为VLA贡献一份力在VLA开源领域，还存在其他几个重量级参与者，比如通用机器人学习工具库LeRobot。LeRobot和Dexbotic都是旨在解决行业碎片化、推动机器人研究标准化的重要开源工具箱。Dexbotic不仅补充了LeRobot的生态，更在多个关键环节提供了针对性的「升级」：1、核心能力从「过时」到「最新」Dexbotic的核心创新之一是提供了DexboticVLM。许多现有的VLA模型（包括LeRobot等工具支持的模型）都构建在如Llama2等相对过时的LLM之上。它不再依赖旧的LLM，而是集成了最新的LLM（如Qwen2.5）和视觉编码器从头预训练。2、数据格式的升级：更高效的存储Dexbotic引入了统一的Dexdata格式。该格式专门为VLA训练设计，通过优化的存储方式（如mp4视频和json），显著节省了模型训练所需的存储空间。3、开发范式的升级：从「配置」到「实验」传统AI框架（包括LeRobot）大量依赖yaml文件进行配置，这在处理复杂VLA策略时可能变得繁琐。Dexbotic创新地采用了「以实验为中心」（Experiment-Centric）的开发框架。用户通过继承和修改exp脚本来定义实验。这种方式被认为比
yaml配置更灵活，允许用户在不影响全局配置的情况下快速开发新实验。LeRobot将重点和核心放在「易用性」与「社区生态」。它像是一个「VLA模型和数据集的Hugging Face」，目标是降低普通用户的门槛，让所有人都能轻松访问、下载、训练和分享机器人模型，更侧重于可复现性。Dexbotic核心是「高性能」与「统一标准」。它更像是一个「高性能VLA研究框架」，目标是解决碎片化和提升性能基线，为专业开发者提供一个更强、更统一的「基础运行层」，更侧重于冲击SOTA。从架构设计重点更能看出二者的区别。Dexbotic以「实验层 (Experiment Layer)」为核心，这是Dexbotic最重要的部分。它摒弃了传统的yaml配置文件，用户通过继承base_exp脚本并覆盖参数来定义新实验。这种设计的本质是为了让研究者在保持代码库稳定的同时，能极其敏捷地开发和修改实验（例如快速切换模型或任务）。LeRobot以「统一API (Unified API)」和「Hub集成」为核心。其架构的本质是简化工作流，将数据处理、模型训练和评估封装在一致的API下，重点在于开箱即用。原力灵机在VLA领域全面布局除了在平台层面发力，打造Dexbotic，原力灵机还试图构建一个更全面的评测基准。机器人正在走入现实世界，但目前仍缺乏统一、可复现的基准测试方法。比如有些算法在仿真环境表现优异，但是很难在现实世界复现。Dexmal原力灵机联合Hugging Face共同发起的RoboChallenge就是为了解决这个问题。RoboChallenge是全球首个大规模多任务的真机基准测试平台。Dexbotic鼓励用户利用该开源工具箱开发更多的现实机器人任务，并在其官网上提供了丰富的真实世界任务可视化案例。同时，Dexbotic建议用户将基于其开发的策略提交至RoboChallenge平台，以便在真实场景中进行公平的对比。《星球大战》的设定中，机器人是无法使用「原力」的。机器人缺乏生物体所拥有的「生命之力」，因此被认为无法感知或使用原力，这些机器没有感知原力的能力。但随着具身智能不可阻挡的进入物理世界，如何给这些机器赋予「原力」，或许是一个需要提上议程的话题。如何让机器人都可以用上「原力」？这就是Dexbotic和RoboChallenge背后，原力灵机试图解决的问题。One More Thing10月23日晚19:00，Dexmal原力灵机创始团队成员汪天才将现身直播间，讲解开源一站式VLA工具箱Dexbotic。欢迎大家预约观看、线上交流 : )文章原文
