原创 复旦白泽智能 2025-11-03 16:59 上海
复旦白泽智能团队提出点云网络的可解释框架InfoCons，使用信息瓶颈理论提取关键概念进行错误归因，为对抗安全问题提供直观的可解释归因工具
“关键概念”的可解释性
随着自动驾驶、机器人感知等技术的普及，3D点云深度学习模型正成为机器理解世界的关键工具。它们能从激光雷达采集的点云数据中识别车辆、行人或障碍物，为路径预测和规划提供必要信息。
然而，由于深度学习模型高度的复杂性，人们往往难以理解其工作原理：模型为什么做出这样的预测？哪些点真正影响了决策？
近期，复旦大学白泽智能团队提出了一种点云模型解释框架InfoCons，从信息瓶颈理论的角度揭示点云模型的决策依据，通过关键概念（Critical Concepts）帮助人类理解模型行为。
关键概念是输入点云中对模型输出影响最大的、人类可理解的点云子集（Subsets），如下图所示，InfoCons能够识别关键概念，对模型的错误分类进行归因：
为什么模型会混淆flower_pot和plant？InfoCons能够识别关键概念来回答这一问题——模型将输入点云X的一部分被识别为"pot"，导致其输出flower_pot
在自动驾驶场景中对点云模型进行错误归因十分有必要：当无人车未检测到前方车辆时，InfoCons能指出模型漏检的原因——例如地面反射信号的干扰——从而帮助工程师诊断并改进模型。
左图显示开源3D目标检测模型PointPillars在道路场景中漏检了一辆近处的车；在右图中，InfoCons揭示了这一错误的原因——是目标车下方的地面干扰点造成了漏检。
本文系白泽智能团队研究成果，相关内容发表于CCF-A类机器学习会议ICML25。
更多细节请见论文正文，点击文末获取原文链接。
点云模型的可解释性困境
点云是一组三维坐标点的集合，结构稀疏、无序且高维。相比图像或文本，其解释性研究明显滞后。传统的点云解释方法主要通过激活值大小或梯度信息判断点的重要性，存在两个核心缺陷：
缺乏忠实性（Faithfulness），基于激活值的解释结果未能真正反映模型预测的因果依据；
缺乏语义一致性（Conceptual Cohesion），被选出的点往往零散、缺乏人类可感知的结构，这导致我们难以直观判断模型出错的原因；此外，基于梯度的方法往往会引入模型数据无关的空间先验，导致“重要点”集中在空间角落，语义一致性难以保证。
CP++是基于激活值的解释方法，难以忠实地反映模型行为；PCSAM是基于梯度值的解释方法，会引入有偏空间先验，导致关键点总是集中在角落；而InfoCons兼顾忠实性和语义一致性。
上图展示了InfoCons对4种点云模型进行的解释。这些模型为flower_pot都产生了相同的错误预测plant，而InfoCons揭示了不同模型的错误模式存在差异；与两个基线方法相比兼顾了忠实性和语义一致性。
InfoCons：用信息瓶颈选择关键概念
InfoCons的核心思想是：让模型自己告诉我们哪些点最有信息量。简单来说，InfoCons首先利用信息瓶颈理论形式化了“good critical concepts”所需要满足的两个条件，并通过引入可学习的无偏先验，在保证忠实性的基础上提升了语义一致性。
理论示意图：关键概念C需要满足对模型输出的忠实性，形式化为最大化与模型输出Y的互信息、最小化与输入点云X的互信息。
如上图所示，InfoCons用互信息衡量点云子集与输入、预测结果之间的关系。框架同时优化两个方向：
最大化关键点集对预测结果的互信息——确保解释忠实、与预测类别有关；
最小化关键点集与原始输入的互信息——去除冗余点，保持语义集中，让人类易于理解。
InfoCons的具体实现如下图所示：
使用可学习的θ参数化C的提取过程，避免引入有偏先验；
使用特征级别的扰动操作，避免在输入空间丢点这一导致解释对象发生改变的行为。
可学习的先验θ为AutoEncoder架构，使用端到端的训练目标进行优化。优化完成后，InfoCons仅需特定层的输出特征进行关键概念的提取。
基于上述实现，InfoCons能够不破坏解释的忠实性并维持良好的语义一致性。如下图所示，在不同类别的错误预测上，InfoCons都能抽取容易理解和符合模型行为的关键概念：
针对desk和bench，InfoCons都能够抽取完整的轮廓点云
完整分析、方法介绍请见论文正文
点击文末获取原文链接
除了错误归因，InfoCons还可用于对抗攻击，选择关键概念进行对抗扰动能够增强隐蔽性和攻击成功率
使用InfoCons改进点扰动攻击方法SI-Adv中的目标点选择策略，可以实现更高的ASR和隐蔽性（更小的扰动距离）
InfoCons用于解释对抗样本，可以揭示其攻击模式：
InfoCons应用在训练阶段能够改进数据增强的效果，通过在关键概念级别进行Mixup，进一步提升模型泛化性
SageMix基于梯度引导两个点云的MixUp，能够提升模型在测试集上的泛化性(Test Overall Accuracy↑)；将梯度引导替换为InfoCons的关键分数引导能进一步提升泛化性。
完整实验内容请见论文正文，点击文末获取原文链接
团队简介
复旦白泽智能团队专注于对话大模型、多模态大模型与智能体安全研究。团队负责人为张谧教授，参与信安标委《生成式人工智能服务安全基本要求》、《人工智能生成合成内容标识办法》等多项国家/行业标准起草/建议工作，主持科技部重点研发计划课题等，并主持奇安信、阿里、华为等企业项目，曾获CCF科学技术奖自然科学二等奖等荣誉。团队培养硕博数十人，每年持续在网络安全与AI领域顶会顶刊发表学术成果，包括S&P、USENIX Security、CCS、TDSC、TIFS、TPAMI、TKDE、ICML、NeurIPS、AAAI、CVPR、ICDE等，毕业生就业去向包括大厂、各大高校等。
复旦白泽智能团队（Whizard AI）主页：
供稿、排版：复旦白泽智能团队
责编：邬梦莹
审核：洪赓、林楚乔
复旦白泽战队
一个有情怀的安全团队
还没有关注复旦白泽战队？
公众号、知乎、微博搜索：复旦白泽战队也能找到我们哦~
