为解决自动驾驶、户外监控等领域面临的恶劣天气图像修复难题，南京理工大学等机构的研究者提出了名为LCDiff的新框架。该框架核心思想是“亮度和色度解耦的扩散模型”，通过在YCbCr色彩空间中分离处理图像的亮度（Y通道）和色度（CbCr通道），利用亮度信息引导扩散模型进行精细修复。LCDiff包含亮度-色度分解网络（LCDN）进行初步修复，以及亮度引导的扩散模型（LGDM）进行细节打磨，并引入动态时间步损失优化恢复过程。研究者还发布了面向自动驾驶场景的全天气数据集DriveWeather。实验结果显示，LCDiff在多项基准和DriveWeather数据集上均取得SOTA性能。

💡 **核心创新：亮度与色度解耦** 研究者发现恶劣天气（如雨雪雾）主要影响图像亮度，而对色彩影响较小。LCDiff框架基于此洞察，在YCbCr色彩空间中将亮度（Y）和色度（CbCr）通道分离处理。通过实验验证，将清晰图像的亮度通道替换退化图像的亮度通道能显著提升图像质量，这一发现是LCDiff的基础。

⚙️ **两步修复流程：LCDN与LGDM** LCDiff工作流程分为两步：首先，亮度-色度分解网络（LCDN）对输入图像进行“粗装修”，其中亮度修复模块（LRM）利用先进网络去除亮度通道中的天气痕迹，频率色度恢复模块（FCRM）则在频域优化色度通道以保持颜色一致性。接着，亮度引导的扩散模型（LGDM）进行“精装修”，利用LCDN修复的清晰亮度信息作为引导，稳定且高效地恢复图像细节和纹理，并结合动态时间步损失以均衡低频和高频特征的恢复。

🚗 **DriveWeather数据集与性能验证** 为提供更真实的测试环境，研究者们创建了全新的DriveWeather数据集，包含7种真实驾驶场景下的恶劣天气（如浓雾、雨雾、水坑等），并提供不同严重等级的图像对。在多个公开数据集及DriveWeather数据集上的实验结果表明，LCDiff在PSNR和SSIM等指标上均表现优异，显著优于现有SOTA方法，尤其在混合退化场景下提升明显，视觉效果自然且细节保真。

🔬 **消融实验与色彩空间选择** 详尽的消融实验证明了LCDiff框架中各组件（LCDN、LGDM、动态损失、亮度引导等）对最终性能的贡献。对比不同色彩空间（RGB, HSV, YCbCr）的实验结果显示，YCbCr因其线性的亮色分离特性，最适合处理天气退化问题，其物理规律的契合度最高，进一步支撑了LCDiff方法的有效性。

CV君 2025-09-25 00:02 江苏

一招解耦色彩与亮度，让AI看清雨雪雾，还原真实世界。

如何让AI在狂风暴雨、大雪纷飞、浓雾弥漫的天气里，也能“看”得清清楚楚。这不仅仅是听起来酷，对于自动驾驶、户外监控这些应用来说，简直是刚需中的刚需。

恶劣天气下的图像修复（Adverse Weather Image Restoration, AWIR）一直是个老大难问题。天气状况千变万化，传统的修复算法经常“水土不服”，遇到没见过的恶劣天气就抓瞎。后来有人尝试用提示学习（Prompt-learning）的方法，但又太依赖模型对天气状况的判断，一不小心就可能修出“四不像”。

最近，来自南京理工大学等机构的研究者们提出了一个名为 LCDiff 的新框架，给这个问题带来了全新的解法。这个名字听起来有点技术范，其实是“Lumina-Chroma Diffusion”的缩写，核心思想就是“亮度和色度解耦的扩散模型”。简单来说，它把图像的亮度和色彩分开处理，再用扩散模型来个精装修，效果非常惊艳。

标题：When Color-Space Decoupling Meets Diffusion for Adverse-Weather Image Restoration

作者：Wenxuan Fang, Jili Fan, Chao Wang, Xiantao Hu, Jiangwei Weng, Ying Tai, Jian Yang, Jun Li

机构：南京理工大学、东南大学、南京大学

论文地址：https://arxiv.org/abs/2509.17024

项目地址：https://github.com/fiwy0527/LCDiff

核心思想：从色彩空间下手

研究者们发现了一个有趣的现象：下雨、起雾这些天气，主要影响的是图像的亮度（Luminance），而对色彩（Chrominance）的影响其实没那么大。这就好比你戴上了一副脏了的眼镜，看东西会模糊、变暗，但物体的颜色本身没怎么变。

基于这个洞察，他们选择了在YCbCr色彩空间里做文章，而不是我们常见的RGB。在YCbCr空间里，Y通道代表亮度，而Cb和Cr通道代表色度。通过实验可以看到，把一张恶劣天气图像的Y通道换成一张清晰图像的Y通道，图像质量瞬间就上来了。这个发现，就是整个LCDiff框架的基石。

LCDiff框架：两步走，让图像变清晰

LCDiff的整个工作流程可以分为两大步，由两个核心组件完成：Lumina-Chroma Decomposition Network (LCDN) 和 Lumina-Guided Diffusion Model (LGDM) 。

第一步：LCDN负责“粗装修”

首先登场的是 LCDN（亮度-色度分解网络）。它的任务是把输入的退化图像分解成亮度和色度两个部分，然后分别进行修复。

亮度修复模块 (LRM) ：这个模块专门负责处理受天气影响最严重的Y（亮度）通道。它利用了像NAFNet这样在图像恢复领域表现出色的网络结构，专门去除亮度通道里的天气“痕迹”，比如雨丝、雾气等。

频率色度恢复模块 (FCRM) ：对于基本没怎么被天气影响的CbCr（色度）通道，FCRM则小心翼翼地进行处理，确保图像的颜色不会失真，同时还能抑制可能出现的色彩噪声。它聪明地将色度信号分解到频域，对低频和高频成分进行针对性优化，从而在保持颜色一致性的同时保留细节。

经过LCDN处理后，就得到了一张初步修复的图像。可以说，天气造成的“硬伤”基本都被修复了，但可能还存在一些细节模糊、纹理失真的问题。

第二步：LGDM负责“精装修”

接下来，轮到 LGDM（亮度引导的扩散模型） 上场了。它接手LCDN的“半成品”，进行精细的打磨和优化。

扩散模型大家可能不陌生，它在图像生成领域非常火。LGDM的创新之处在于，它不是盲目地去生成，而是利用了上一步LCDN修复好的亮度信息作为“引导”，告诉扩散模型应该朝哪个方向去优化。这样做的好处是，模型不需要再费劲去猜天气到底是什么，直接根据清晰的亮度结构来恢复图像细节，过程更稳定，效果也更好。

此外，作者还引入了一个叫 动态时间步损失 (Dynamic Time Step Loss) 的东西。CV君觉得这个点子很巧妙。在扩散模型的修复过程中，不同阶段（时间步）关注的重点是不同的。早期阶段，模型主要关注图像的轮廓、结构等低频信息；到了后期，则更关注纹理、细节等高频信息。这个动态损失就能在不同阶段自动调整优化目标，确保低频和高频特征都能得到均衡、高质量的恢复。

DriveWeather：一个更真实的“考场”

为了更全面地检验LCDiff的实力，研究者们还干了件大事：他们创建了一个全新的、面向自动驾驶场景的全天气数据集——DriveWeather。

这个数据集包含了浓雾、雨雾、阴天、雨痕、水坑、眩光等7种真实驾驶场景中常见的恶劣天气，每种天气还有5个不同的严重等级。整个数据集有多达 29,750 对精细对齐的“退化-清晰”图像对，为算法提供了一个极具挑战性又非常贴近现实的“考场”。

实验结果：实力碾压

是骡子是马，拉出来遛遛。LCDiff在多个公开数据集以及全新的DriveWeather数据集上，和现有的一众SOTA方法进行了PK。

定量比较

从数据上看，LCDiff几乎在所有测试中都名列前茅。

在Snow100K、RainDrop等多个天气修复基准上，LCDiff的PSNR和SSIM指标都取得了 最优 成绩。

在自家更具挑战性的DriveWeather数据集上，LCDiff在7种天气中的6种都取得了最佳性能，PSNR和SSIM比之前的SOTA方法MoCE-IR分别高出 +5.3% 和 +0.7%。

在包含多种混合退化的CDD11数据集上，LCDiff同样表现出色，尤其是在低光、雾、雨混合的场景下，提升高达 +1.1 dB。

视觉效果

光看数字可能不够直观，我们直接看图。

在去雪、去雨等任务中，LCDiff不仅去除了天气干扰，还很好地保留了图像的细节和光照，效果比其他方法更自然。

在复杂的混合天气场景下，其他方法可能会出现各种奇怪的“修复痕迹”，而LCDiff的结果则干净利落，色彩和结构都非常保真。

即使是在真实的雨天和雪天照片上，LCDiff也展现了强大的泛化能力，修复后的图像细节丰富，观感非常舒适。

消融实验

为了证明框架里每个组件都不是“吃干饭”的，作者还做了详尽的消融实验。

实验结果表明，无论是LCDN的分解网络，还是LGDM的生成式精修，以及动态时间步损失和亮度引导条件，都对最终的优异性能有不可或缺的贡献。

作者还对比了不同的色彩空间（RGB, HSV, YCbCr），实验证明YCbCr确实是处理这类问题的“天选之子”，其线性的亮色分离特性完美契合了天气退化的物理规律。

总结

总的来说，LCDiff通过“色彩空间解耦”这一巧妙的思路，将复杂的全天候图像修复问题，拆解成了两个相对简单且可控的步骤。它既利用了分解策略的鲁棒性，又发挥了扩散模型的生成优势，还不需要复杂的文本提示，为恶劣天气图像修复领域树立了一个新的标杆。

大家对这个方法怎么看？欢迎在评论区留下你的看法！