跨模态人物检索新突破：组合人物检索任务及其解决方案

原创让你更懂AI的 2025-10-07 19:04 北京

从“以图搜图”到“图文同搜”

在智能安防、失踪人口查找、公共场所人员溯源等实际场景中，我们往往需要结合「目标人物参考照片」和「文字描述」定位具体个体——比如用失踪者过往生活照，搭配“近期穿灰色连帽卫衣、戴黑色边框眼镜”的实时描述展开搜寻。

但传统人物检索技术要么仅依赖图像、要么仅依赖文本，无法充分利用跨模态信息，导致检索精度难以满足复杂场景需求。

近日，题为“Automatic Synthetic Data and Fine-grained Adaptive Feature Alignment for Composed Person Retrieval” 的工作提出的「组合人物检索（Composed Person Retrieval, CPR）」研究成功被 NeurIPS 2025 接收。

论文地址：

https://arxiv.org/abs/2311.16515

代码与数据集地址：

https://github.com/Delong-liu-bupt/Composed_Person_Retrieval

这项工作首次系统性定义 CPR 任务，通过自动合成百万级高质量数据集、设计细粒度特征对齐框架，彻底解决了跨模态人物检索的数据稀缺与特征 mismatch 核心难题，性能全面超越现有 SOTA 方法。

▲ 图1. 文章贡献一览：(a) 所提出的组合人物检索任务与多种经典行人检索任务的对比。(b) 所提出的自动高质量组合行人检索（CPR）数据合成流程、所提出的训练框架 FAFA，以及该领域首个精心标注的测试集 ITCPR 的示意图。(c) 来自本文全合成数据集 SynCPR 的部分示例。

研究背景：为什么需要「组合人物检索（CPR）」？

传统人物检索主要分为两大技术方向，但其局限性在实际应用中十分突出：

图像-only 检索：仅依靠单张参考图像匹配目标，无法应对“人物服装更换、发型改变、拍摄场景切换”等常见情况（例如用某人夏季短袖照片，检索其冬季穿羽绒服的身影）；

文本-only 检索：仅通过文字描述定位人物，文字难以精准捕捉面部轮廓、体态细节、肤色特征等视觉信息，且易因“描述歧义”导致误检（例如“穿黑色外套的男性”可能对应多个相似个体）。

而在真实需求场景中，「图像+文本」的跨模态信息往往同时存在：比如机场安检时，工作人员会结合旅客证件照与“携带棕色双肩包、穿蓝色牛仔裤”的实时观察描述排查；商场寻人时，顾客会提供亲友照片与“身高约 175cm、戴白色棒球帽”的特征描述。

为此，这项工作首次提出组合人物检索（Composed Person Retrieval, CPR）任务，核心目标是通过「参考人物图像（）+ 相对文本描述（）」的组合查询，从大规模人物图像库中精准定位目标人物图像（），实现“视觉信息与语义信息互补”的高效检索。

但 CPR 任务面临两大核心挑战，制约了技术落地：

1. 数据稀缺难题：构建 CPR 所需的「(参考人物图, 相对文本描述, 目标人物图)」三元组，需要大量人工标注——标注者需先筛选同身份人物的不同状态图像，再精准撰写两者差异的文本，不仅耗时耗力，还存在个人隐私泄露风险（如涉及监控场景人物图像）；

2. 跨模态特征对齐难题：人物图像的视觉特征（如面部五官、服装纹理、姿态）与文本的语义特征（如“卫衣款式、眼镜类型”）存在天然表征鸿沟，如何实现细粒度、动态的特征匹配，是提升检索精度的关键。

核心突破：三大创新破解CPR关键难题

针对上述挑战，这项工作从「数据合成」「模型设计」「评测基准」三个维度构建完整技术体系，系统性解决 CPR 任务的核心痛点。

▲ 图2. 文章方法的整体框架：(a) 高质量三元组的合成流程，包含三个关键阶段：文本四元组生成、行人图像对合成与数据筛选。(b) FAFA 的结构：左侧展示了模型的训练过程，右侧重点呈现了 FAFA 所采用的关键损失。

1. 自动合成百万级数据集SynCPR：彻底解决“无数据可用”

为规避人工标注的高成本与隐私风险，这项工作设计了一套可扩展的 CPR 数据自动合成流水线，最终生成包含 115 万高质量三元组的 SynCPR 数据集，整个流程分为三步，确保数据质量与多样性：

▲ 图3. SynCPR合成数据集中的示例

步骤1：LLM生成多样化文本四元组

首先利用大语言模型（Qwen2.5-70B）生成「人物文本四元组」，每个四元组包含：

参考人物图描述（

）：如“一位25岁左右女性，留黑色长直发，穿白色短袖T恤、蓝色牛仔裤”；

目标人物图描述（

）：如“同一位女性，留黑色长直发，穿黑色连帽卫衣、灰色运动裤”；

正向相对描述（

）：如“从白色短袖T恤、蓝色牛仔裤，变为黑色连帽卫衣、灰色运动裤”；

反向相对描述（

）：如“从黑色连帽卫衣、灰色运动裤，变为白色短袖T恤、蓝色牛仔裤”。

通过精心设计的提示词模板（包含人物年龄、发型、服装类型、颜色等可控元素），并随机注入高质量人工标注示例，确保 LLM 生成的文本覆盖多样化场景（如不同年龄段、职业风格、季节穿搭），且能精准捕捉同身份人物的状态差异。

步骤2：微调扩散模型生成身份一致的人物图像

直接使用预训练扩散模型生成人物图像，易出现“参考图与目标图人物身份不匹配”的问题（如面部特征、体型差异过大）。为此，这项工作提出针对性优化方案：

模型微调：用真实人物图像-文本配对数据集（CUHK-PEDES）微调 Flux.1 扩散模型，通过 LoRA（Low-Rank Adaptation）仅优化跨注意力层，让生成的人物图像更贴近真实人物检索场景的视觉风格（如监控视角、日常场景质感）。

联合生成+裁剪策略：将和合并为统一提示词（如“左右分栏布局，左侧：[参考图描述]，右侧：[目标图描述]”），让模型一次性生成包含两个子图的完整图像，再通过裁剪得到独立的参考人物图（）和目标人物图（）——这种方式从生成逻辑上保证了两者身份一致性，避免独立生成导致的人物特征偏差。

步骤3：MLLM多维度过滤，保证数据高质量

为剔除生成过程中的低质量样本，这项工作采用多模态大语言模型（Qwen2.5VL-32B）对三元组进行打分（1-10 分），评估维度包括：

人物图像自然度：图像中人物是否真实、无模糊/畸变/ artifacts（不单纯依赖分辨率）

身份一致性：与是否为同一位人物（面部特征、体型是否匹配）；

图文对齐度：与、与的描述是否匹配（如“红色外套”是否对应图像中服装颜色）；

CPR 任务相关性：能否通过 + 准确推断（文本描述是否聚焦差异、无冗余信息）。

仅保留四项评分平均值≥8.5 的三元组，最终筛选得到 115 万高质量样本，为 CPR 模型训练提供充足且可靠的数据支撑。

▲ 图4. 数据筛选过程中被筛选掉的样本的典型示例。从左至右，每个子图分别对应四个评估维度中的一个，这些样本因在其对应维度上得分较低而被排除。

2. FAFA框架：细粒度特征对齐，突破跨模态匹配瓶颈

为解决“人物视觉特征与文本语义特征鸿沟”问题，这项工作提出 Fine-grained Adaptive Feature Alignment（FAFA）框架，通过三大核心机制实现细粒度、动态的跨模态特征匹配：

（1）细粒度动态对齐（FDA）：聚焦人物关键特征匹配

不同于传统对比学习仅做“全局特征单一匹配”，FAFA 从目标人物图像中提取细粒度局部特征，动态筛选与查询信息最相关的部分进行对齐：

特征拆分：对目标人物图像（

）提取N个细粒度特征（如面部特征、上衣特征、裤子特征、配饰特征等），每个特征对应人物的一个局部关键区域；

动态筛选：计算“参考图+文本”融合后的查询特征（

）与每个细粒度特征的相似度，选取Top-K个最相关特征（如K=6）求平均，作为最终匹配分数；

标签平滑优化：将“同一文本四元组生成的三元组”标记为“弱正样本”（相似度权重α=0.5），避免模型过度拟合单一正样本，提升泛化能力。

（2）特征多样性监督（FD）：减少特征冗余

为确保每个细粒度特征都能捕捉人物的独特信息，引入特征分散损失：通过限制任意两个细粒度特征的余弦相似度不超过阈值（如 m=0.5），强制特征间保持多样性，避免多个特征重复表征同一信息（如“上衣颜色”与“整体服装颜色”的冗余）。

（3）双向掩码特征推理（MFR）：强化跨模态互补

随机对查询特征（）和目标人物图像全局特征（）进行 30% 掩码，将未掩码特征输入轻量级解码器，重构完整特征——这一过程强制模型学习“用文本补充图像缺失信息、用图像验证文本描述”的跨模态互补能力，提升特征鲁棒性。

FAFA 框架基于 BLIP-2 构建，冻结 ViT-G/14 图像编码器以降低计算成本，通过可训练的 Query Transformer 实现“图像-文本”特征的高效融合，兼顾模型效率与检索精度。

3. 手动标注ITCPR测试集：建立CPR客观评测基准

▲ 图5. ITCPR测试集中的典型数据示例

为公平、准确验证 CPR 方法性能，这项工作基于 3 个公开的“服装变化人物检索数据集”（Celeb-reID、PRCC、LAST），手动标注了 Image-Text Composed Person Retrieval（ITCPR）测试集：

数据规模：包含 2225 个 CPR 三元组，覆盖 1199 个不同人物身份；

图库设置：测试图库包含 20510 张人物图像，其中 2225 张为三元组对应的目标图，确保检索难度贴近真实场景；

文本标注原则：仅描述与的差异（如“从短袖变为长袖、从运动鞋变为皮鞋”），不包含冗余信息，避免文本主导匹配；

质量控制：通过“视觉检索初筛+人工核验”消除图库中的假阴性样本（如漏标同身份目标图），确保评测结果可靠。

▲ 表1. FAFA方法在ITCPR数据集上的指标。从表中可以看出使用完整的信息可以获得更高的指标，说明任务设置的合理性。此外，所提出的方法的性能远远超高已有的仅图像/仅文本，以及将两种方法简单叠加的方法，也超越了组合图像检索领域的相关方法。

总结与未来展望

本研究围绕组合人物检索（CPR）任务，从数据、模型、评测三个维度实现突破，核心贡献可概括为：

1. 首次定义 CPR 任务：填补“参考图+文本”跨模态人物检索的研究空白，更贴合智能安防、寻人等实际应用需求；

2. 提出 SynCPR 数据集：通过“LLM 文本生成+微调扩散模型图像生成+MLLM 过滤”的自动流水线，解决 CPR 数据稀缺难题，为后续研究提供基础数据支撑；

3. 设计 FAFA 框架：通过细粒度动态对齐、特征多样性监督、双向掩码推理，突破跨模态特征匹配瓶颈，性能全面超越现有 SOTA 方法。

未来，他们将进一步拓展 CPR 任务的应用边界：

探索“多参考图+多文本”的复杂 CPR 场景（如结合人物正面/侧面照+多段描述）；

研究开放集 CPR（目标人物不在图库中时，如何鲁棒返回“无匹配结果”）；

优化合成数据与真实数据的域自适应方法，进一步缩小合成数据训练与真实场景应用的性能差距。

更多阅读

Fish AI Reader

FishAI

联系邮箱 441953276@qq.com

相关标签