index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
本研究由西湖大学ENCODE Lab牵头，联合多所高校，提出了RewardMap框架，旨在解决多模态大模型（MLLMs）在高分辨率、信息密集场景下的视觉理解和空间推理难题。针对现有模型在地铁图等复杂场景下易出现“看错线”、“漏站”等问题，以及强化学习训练中奖励稀疏、不稳定的困境，RewardMap引入了难度感知的细粒度奖励和多阶段课程学习。通过将复杂任务分解为可评估的子目标，并从易到难进行训练，该框架显著提升了MLLMs在细粒度视觉理解和空间推理方面的能力，并在多项外部评测中取得了优异表现，为高分辨率、强结构视觉任务提供了可复用的强化学习范式。
🗺️ **ReasonMap-Plus数据集的构建与细粒度题型设计**：研究团队在ReasonMap的基础上扩展，构建了ReasonMap-Plus数据集，涵盖30座城市的4018个地铁/轨交地图问题样本。该数据集明确区分了五类更偏向感知的细粒度题型，包括局部计数、全局计数以及判断对错题，旨在为强化学习阶段提供更精细的监督信号和可拆解的目标。数据集还标注了易/中/难的难度等级，并确保了训练/测试划分在城市和难度分布上的多样性和均衡性，为模型训练打下了坚实基础。
🧩 **RewardMap框架的核心创新——难度感知的细节奖励与多阶段课程学习**：RewardMap框架通过两大关键组件解决模型在复杂场景下的推理问题。首先，它引入“细节可分解”的奖励机制，将单一的“对/错”信号转化为可评估的子目标奖励，使模型能从部分正确的输出中获得反馈。其次，采用“从易到难”的课程式训练策略，利用ReasonMap-Plus中更易获得稠密信号的问题类型进行“冷启动”，逐步迁移到真实的路线规划任务，从而提高训练的信噪比和稳定性。奖励函数中，细节项（如起点/终点正确性、线路名称匹配度、换乘站点合理性等）占有重要比重，确保模型能获得连续的、部分正确的得分，而非全或无的信号。
📈 **RewardMap在多基准上的优异表现与泛化能力**：实验结果表明，RewardMap在ReasonMap/ReasonMap-Plus基准上取得了持续且可复现的增益。更重要的是，该框架成功推广至覆盖“空间推理、细粒度视觉、通用视觉问答”的三大类别的六项外部评测，并在所有基准上均实现了显著提升，特别是在SpatialEval上增幅高达+13.51%。这证明了“细粒度奖励+多阶段课程”的策略不仅适用于地铁图路径规划，也能有效迁移到更广泛的高分辨率和空间理解任务中，展现了其强大的泛化能力。质化对比也显示，RewardMap训练后的模型在视觉混淆和路线重复幻觉方面明显减少，能更稳健地给出正确的路线规划结果。
2025-10-21 11:41 四川
系统提升 MLLMs 的细粒度视觉理解与空间推理能力
本研究由西湖大学 ENCODE Lab 牵头，联合同济大学、浙江大学和新加坡国立大学共同完成。团队在大模型强化学习与多模态推理方向具有深厚研究基础。近年来，大语言模型（LLMs）以及多模态大模型（MLLMs）在多种场景理解和复杂推理任务中取得突破性进展。但一个朴素而尖锐的问题始终横在面前：当视觉信息变得极其繁复、结构密集，模型究竟能不能「看懂图」？比如以高分辨率地铁图为代表的真实场景，既要求精细的视觉感知，又要求跨线路、跨站点的空间推理。来自该团队的前向工作 ReasonMap 首次系统揭示了这一问题：在高分辨率地铁图等真实场景下，即使最先进的 MLLMs 也频繁在跨线路、跨站点的路径规划中出现「看错线」「漏站」「重复路线」等推理幻觉。团队进一步发现，在高分辨率、信息极其密集的地铁图上，仅依靠最终答案给出成败信号的强化学习，很容易陷入奖励极度稀疏的困境：多数输出几乎得不到任何正反馈，少数「偶然对」的样本又会造成高方差梯度，训练既慢又不稳，这使得模型在长链路路径规划中频繁出现看错线、漏站、甚至重复路线的「幻觉」。为此，该团队进一步提出 RewardMap：一个围绕真实 map reasoning 任务场景设计的多阶段强化学习框架，用难度感知的细粒度奖励与从易到难的课程式训练，系统提升 MLLMs 的细粒度视觉理解与空间推理能力。
论文标题：RewardMap: Tackling Sparse Rewards in Fine-grained Visual Reasoning via Multi-Stage Reinforcement Learning论文链接：https://arxiv.org/abs/2510.02240项目主页：https://fscdc.github.io/RewardMap/代码：https://github.com/fscdc/RewardMap数据集：https://huggingface.co/collections/FSCCS/reasonmap-688517b57d771707a5d64656
🗺️ ReasonMap-Plus：为「冷启动」准备的密集监督团队首先在 ReasonMap 的基础上构建 ReasonMap-Plus，它与 ReasonMap 一致采用高分辨率的地铁/轨交地图，覆盖 30 座城市，共计 4018 个问题样本，并在设计上明确区分了五类更偏感知的细粒度题型（两类 Local Counting、Global Counting、两类 True/False），以便为强化学习阶段提供更细密的监督与可拆解的目标。数据集还给出了易/中/难的难度标签，并在训练/测试划分上保持城市与难度分布的多样性与均衡性。
🧩 我们提出了什么：RewardMap 框架RewardMap 的核心思想并不复杂，却紧扣痛点。第一步，用「细节可分解」的奖励把一项路线规划题拆成若干可评估的子目标，让模型不再只有「对/错」两级的冰冷信号；第二步，以「从易到难」的课程式训练组织数据分布，先让模型在更密集、噪声更小的子任务上「热身」，再稳步迁移到真实的路线规划上。具体而言，RewardMap 包含两大组件：其一是「难度感知的细节奖励」；其二是「多阶段强化学习」，后者显式利用 ReasonMap-Plus 中更易获得稠密信号的问题类型进行冷启动，从一开始就提升训练信噪比并降低不稳定性。在难度感知上，团队对训练样本的奖励总和施加难度感知权重，综合考虑地图难度以及问题难度两个维度：前者针对 ReasonMap 与 ReasonMap-Plus 的全部地图统一划分为三档；后者在 ReasonMap 的规划题中可由换乘次数来度量，换乘越多、难度越高，权重也越大。
RewardMap 的奖励函数同样体现了「把复杂问题拆成可学信号」的思路。总奖励由三部分组成：格式合规（format）、最终正确性（correctness）与细节项（detail），并由难度权重进行缩放以体现题目的真实复杂度；其中细节项以 α=0.5 的系数参与总分，确保它既能提供稳定梯度，又不会喧宾夺主。在细节项的具体计算里，我们对「起点/终点是否正确、线路名称是否匹配、换乘站点是否合理、路线分段数是否正确」等要素分别给出加/扣分，形成一个「部分正确即可得分」的连续型信号，而不是过去那种「一票否决」的全或无。📈 关键结果那么，RewardMap 在多基准上的综合表现如何？除了在 ReasonMap/ReasonMap-Plus 上带来持续且可复现实验增益之外，我们还将其推广到覆盖「空间推理、细粒度视觉、通用视觉问答」三大类别的六项外部评测。结果显示，RewardMap 在所有基准上均取得一致提升，其中在 SpatialEval 上的增幅最高，达到 +13.51%；相较之下，传统的 SFT → RL 虽然也有稳定提升，但整体仍弱于 RewardMap。这些结果表明，「细粒度奖励 + 多阶段课程」这一策略不仅在地铁图路径规划上奏效，也能迁移到更宽泛的高分辨率与空间理解任务上。
质化对比同样直观地揭示了改进点。以多城多图的真实样例为参照，配合 RewardMap 训练后的模型更少出现「把线路看错」的视觉混淆，更少出现「把同一路线在答案中重复多次」的幻觉现象，能够更稳健地给出正确的首末站与换乘点，并在路线分段上匹配真实地图结构。
未来展望站在更宏观的角度，RewardMap 带来的价值不止于「刷榜」。它为高分辨率、强结构的视觉任务提供了一套可复用的强化学习范式：把复杂问题拆解为可度量的细节子目标，用难度建模去矫正样本分布的「偏与稀」，再以多阶段课程衔接「感知优先」的子任务与「推理密集」的规划任务。这样一来，模型从「看清楚」到「想明白」的路径被系统化了，训练过程的信噪比与稳定性也随之可控。同时，基于地图数据的后训练对多模态大模型通用能力的提升也得到了验证，未来地图这类真实数据还将在多模态大模型不同的阶段发挥更大的作用。© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
阅读原文
跳转微信打开
