FSDrive：让自动驾驶学会“视觉思考”

原创让你更懂AI的 2025-09-24 23:13 北京

从“文本推理”到“视觉推理”

引言

视觉语言动作模型（VLA）凭借其强大的通用知识与推理能力，正成为推动自动驾驶技术发展的关键力量。然而，当前主流方法在进行决策时，大多依赖于一种“文本式”的思维链（Chain-of-Thought，CoT）。

这种范式将复杂的动态驾驶场景压缩为离散的语言描述或坐标符号，再进行逻辑推理。这无异于将驾驶员的视觉直觉强行转译为离散的语言符号，不仅会导致时空关系模糊、细节信息丢失，也为模型的决策可靠性带来了瓶颈。

我们不禁要问：自动驾驶系统能否摆脱对抽象符号的依赖，像人类驾驶员一样，在决策前于脑海中进行一次直观的、可视化的场景推演，从而做出更精准、更安全的规划？

为了回答这一问题，我们荣幸地推出 FSDrive（FutureSightDrive），一个旨在让自动驾驶学会“视觉思考”的全新框架。其核心是一种我们首创的“时空思维链”（Spatio-temporal CoT）推理机制，它将模型的中间思考过程从抽象的文本，转变为对未来场景的具象化、多层次的视觉预测。

项目主页：

https://miv-xjtu.github.io/FSDrive.github.io/

论文链接：

https://arxiv.org/abs/2505.17685

代码链接：

https://github.com/MIV-XJTU/FSDrive

关键词：视觉-语言-动作模型（VLA）、世界模型（World Model）、视觉推理、时空思维链（Spatio-temporal CoT）、自动驾驶

▲ 图1：不同思维链（CoT）范式对比。传统文本 CoT（上）存在信息抽象问题；图文混合 CoT（中）面临模态不一致的挑战；而 FSDrive 提出的时空 CoT（下）在统一的视觉空间内进行推理，信息更丰富且无模态鸿沟。

FSDrive的核心创新：从文本推理到视觉预演

2.1 当前挑战：文本思维链的内在局限

传统的 VLM 在自动驾驶中的应用，遵循着“视觉感知 → 文本描述 → 文本推理 → 动作规划”的链路。此模式存在两大根本性问题：

1. 信息抽象与损耗：高维、连续的视觉信息在被转译为低维、离散的文本时，大量关于纹理、光照、相对位置与动态趋势的精细信息被不可逆地丢失。

2. 模态鸿沟与偏差：在视觉与文本两种截然不同的模态间反复转换，容易引入语义偏差，降低了端到端推理的准确性与可靠性。

2.2 FSDrive的解法：时空思维链（Spatio-temporal CoT）

FSDrive 摒弃了生成中间文本的思路，创新性地提出时空思维链，即直接生成一幅包含未来多层次信息的“统一预测图”作为思考的中间步骤。这幅“思考图”并非简单的未来画面，而是承载了模型的双重角色：

作为世界模型（World Model）：模型通过生成这幅图像，对未来世界的物理状态进行综合预测。这包括：

时间维度：通过预测常规的未来像素，表征场景的动态演化。

空间维度：通过在图像上直接绘制出未来的车道线、3D 障碍物框等关键感知元素（以红色线条标出），显式地表达对未来空间结构（如可行驶区域、物体位置）的判断。

作为逆动力学模型（Inverse Dynamics Model）：在生成了这幅“未来蓝图”后，模型会将其作为推理依据，结合当前的观测，反向推导出实现这一最优未来所必需的行驶轨迹。

通过这种设计，FSDrive 构建了一个端到端的视觉因果推理闭环（观察 → 视觉思考 → 决策），使整个过程在统一的视觉空间内完成，从根本上消除了信息损耗与模态鸿沟。

2.3 实现路径：如何赋予VLM“视觉想象力”？

为了让一个标准的、以理解为主的 VLM “解锁”高质量的视觉生成能力，我们设计了一套高效的训练范式：

1. 统一的视觉生成与理解预训练：我们提出了一种新颖的预训练范式，仅需对现有 VLM 的词表进行少量扩展，便可在完整保留其强大语义理解能力的同时，低成本、高效率地激活其视觉生成潜力。

2. 由简到繁的渐进式生成策略：直接生成复杂且符合物理规律的未来场景是极其困难的。因此，我们引入了渐进式生成策略。在训练中，模型首先学习生成未来场景的“骨架”——即代表物理约束的车道线和 3D 检测框，然后再基于这个骨架“填充”场景的像素细节。这种由粗到精的生成过程，确保了预测结果的物理真实性和结构准确性。