本文介绍了FSDrive，一个创新的自动驾驶框架，旨在解决当前自动驾驶系统过度依赖“文本式”思维链（CoT）的问题。传统方法将复杂的驾驶场景转化为离散文本进行推理，易丢失时空信息并引入模态偏差。FSDrive则提出“时空思维链”（Spatio-temporal CoT），让模型在决策前进行直观的、可视化的未来场景推演。通过生成包含未来多层次信息的“统一预测图”，FSDrive实现了端到端的视觉因果推理，在保证安全性的同时，提升了规划的准确性。实验结果表明，FSDrive在轨迹规划和未来帧生成方面均达到SOTA水平，并能协同增强模型的理解能力。
🚗 **革新自动驾驶推理范式**：FSDrive提出“时空思维链”（Spatio-temporal CoT），摒弃了传统自动驾驶中将视觉信息转化为离散文本进行推理的方式。这种新的范式允许模型直接在统一的视觉空间内进行推理，通过生成包含未来多层次信息的“统一预测图”，模拟人类驾驶员的直观“视觉思考”过程，从而避免了文本化过程中信息丢失和模态鸿沟的问题。
🔮 **赋能“视觉预演”能力**：FSDrive的核心创新在于赋予视觉语言模型（VLA）生成高质量视觉预测的能力。它不仅预测未来场景的像素细节，还能显式地在图像上标出未来的车道线、障碍物框等关键感知元素，作为世界模型（World Model）预测物理状态和作为逆动力学模型（Inverse Dynamics Model）反向推导轨迹的依据。这种“视觉预演”能力是实现更精准、更安全规划的关键。
🚀 **端到端的视觉因果推理闭环**：通过将“观察 → 视觉思考 → 决策”的整个过程统一在视觉空间内完成，FSDrive构建了一个端到端的视觉因果推理闭环。这种设计从根本上消除了跨模态转换带来的信息损耗和语义偏差，使得模型能够更直接、更可靠地理解和响应驾驶环境，从而在轨迹规划任务中取得了业界领先的安全性和准确性。
🧠 **高效的视觉生成与理解协同**：FSDrive采用了新颖的预训练范式，在保留VLM强大语义理解能力的同时，低成本地激活了其视觉生成潜力。通过渐进式生成策略，模型先学习生成场景的物理骨架，再填充细节，确保了预测的物理真实性。实验表明，FSDrive在提升生成能力的同时，也协同增强了其场景理解能力，在多项基准测试中表现优异。
原创 让你更懂AI的 2025-09-24 23:13 北京
从“文本推理”到“视觉推理”
引言视觉语言动作模型（VLA）凭借其强大的通用知识与推理能力，正成为推动自动驾驶技术发展的关键力量。然而，当前主流方法在进行决策时，大多依赖于一种“文本式”的思维链（Chain-of-Thought，CoT）。这种范式将复杂的动态驾驶场景压缩为离散的语言描述或坐标符号，再进行逻辑推理。这无异于将驾驶员的视觉直觉强行转译为离散的语言符号，不仅会导致时空关系模糊、细节信息丢失，也为模型的决策可靠性带来了瓶颈。我们不禁要问：自动驾驶系统能否摆脱对抽象符号的依赖，像人类驾驶员一样，在决策前于脑海中进行一次直观的、可视化的场景推演，从而做出更精准、更安全的规划？为了回答这一问题，我们荣幸地推出 FSDrive（FutureSightDrive），一个旨在让自动驾驶学会“视觉思考”的全新框架。其核心是一种我们首创的“时空思维链”（Spatio-temporal CoT）推理机制，它将模型的中间思考过程从抽象的文本，转变为对未来场景的具象化、多层次的视觉预测。
项目主页：https://miv-xjtu.github.io/FSDrive.github.io/论文链接：https://arxiv.org/abs/2505.17685代码链接：https://github.com/MIV-XJTU/FSDrive关键词：视觉-语言-动作模型（VLA）、世界模型（World Model）、视觉推理、时空思维链（Spatio-temporal CoT）、自动驾驶▲ 图1：不同思维链（CoT）范式对比。传统文本 CoT（上）存在信息抽象问题；图文混合 CoT（中）面临模态不一致的挑战；而 FSDrive 提出的时空 CoT（下）在统一的视觉空间内进行推理，信息更丰富且无模态鸿沟。FSDrive的核心创新：从文本推理到视觉预演2.1 当前挑战：文本思维链的内在局限传统的 VLM 在自动驾驶中的应用，遵循着“视觉感知 → 文本描述 → 文本推理 → 动作规划”的链路。此模式存在两大根本性问题：1. 信息抽象与损耗：高维、连续的视觉信息在被转译为低维、离散的文本时，大量关于纹理、光照、相对位置与动态趋势的精细信息被不可逆地丢失。
2. 模态鸿沟与偏差：在视觉与文本两种截然不同的模态间反复转换，容易引入语义偏差，降低了端到端推理的准确性与可靠性。
2.2 FSDrive的解法：时空思维链（Spatio-temporal CoT）FSDrive 摒弃了生成中间文本的思路，创新性地提出时空思维链，即直接生成一幅包含未来多层次信息的“统一预测图”作为思考的中间步骤。这幅“思考图”并非简单的未来画面，而是承载了模型的双重角色：
作为世界模型（World Model）：模型通过生成这幅图像，对未来世界的物理状态进行综合预测。这包括：时间维度：通过预测常规的未来像素，表征场景的动态演化。空间维度：通过在图像上直接绘制出未来的车道线、3D 障碍物框等关键感知元素（以红色线条标出），显式地表达对未来空间结构（如可行驶区域、物体位置）的判断。
作为逆动力学模型（Inverse Dynamics Model）：在生成了这幅“未来蓝图”后，模型会将其作为推理依据，结合当前的观测，反向推导出实现这一最优未来所必需的行驶轨迹。通过这种设计，FSDrive 构建了一个端到端的视觉因果推理闭环（观察 → 视觉思考 → 决策），使整个过程在统一的视觉空间内完成，从根本上消除了信息损耗与模态鸿沟。
2.3 实现路径：如何赋予VLM“视觉想象力”？为了让一个标准的、以理解为主的 VLM “解锁”高质量的视觉生成能力，我们设计了一套高效的训练范式：1. 统一的视觉生成与理解预训练：我们提出了一种新颖的预训练范式，仅需对现有 VLM 的词表进行少量扩展，便可在完整保留其强大语义理解能力的同时，低成本、高效率地激活其视觉生成潜力。
2. 由简到繁的渐进式生成策略：直接生成复杂且符合物理规律的未来场景是极其困难的。因此，我们引入了渐进式生成策略。在训练中，模型首先学习生成未来场景的“骨架”——即代表物理约束的车道线和 3D 检测框，然后再基于这个骨架“填充”场景的像素细节。这种由粗到精的生成过程，确保了预测结果的物理真实性和结构准确性。
▲ 图2：FSDrive 整体框架。左侧为统一预训练阶段，旨在同时激活模型的视觉理解与生成能力。右侧为推理阶段，模型首先生成作为“时空思维链”的未来预测图，再基于此进行轨迹规划。实验结果与分析我们在 nuScenes 数据集上对 FSDrive 进行了轨迹规划、未来帧生成、场景理解等多维度的全面评估，结果有力地证明了其先进性。3.1 轨迹规划性能：安全性与准确性双重领先在核心的轨迹规划任务中，FSDrive 表现出卓越的性能。如下表所示，无论是否使用自车状态（ego status）作为输入，FSDrive 在平均 L2 误差和碰撞率等关键安全指标上均达到了业界领先（SOTA）水平，充分验证了“视觉预演”对于提升规划安全性的巨大价值。
3.2 未来场景生成质量：媲美专用生成模型作为世界模型，FSDrive 生成的未来场景质量同样出色。如下图所示，尽管 FSDrive 采用了计算效率更高的自回归生成方式，其生成图像的 FID 指标仍优于众多专为生成任务设计的扩散模型。这证明了我们所提预训练范式在激活 VLM 生成能力上的高效与成功。
3.3 场景理解能力：生成与理解协同增强赋予模型生成能力是否会削弱其原有的理解能力？实验给出了否定的答案。在权威的 DriveLM 基准测试中，FSDrive 在多项视觉问答和场景描述任务上均取得了优异成绩，证明其实现了视觉生成与理解能力的统一，并达到了协同增强的效果。
3.4 可视化分析：让思考过程“眼见为实”下图直观地展示了时空思维链的实际作用。通过生成包含未来车道线和障碍物位置的“思考图”，FSDrive 能够清晰地预见潜在风险，并提前规划出更安全的规避轨迹，展现了强大的视觉因果推理能力。结论本文提出了 FSDrive，一个基于时空思维链的自动驾驶规划新框架，它首次赋予了视觉语言模型进行“视觉预演”的能力。
通过将中间推理过程统一在图像这一单一模态下，FSDrive 不仅根除了跨模态转换带来的信息瓶颈，更建立了一套端到端的视觉因果推理流程。我们提出的统一预训练范式和渐进式生成策略，为高效激活 VLM 的视觉生成能力提供了新的思路。大量实验证明，FSDrive 通过建立与物理世界更直接的像素级关联，而非依赖抽象的语言符号，正有力地推动自动驾驶技术向更高级、更可靠的视觉智能阶段迈进。更多阅读 
