CV君 2025-11-05 13:12 江苏
一种全新的损失函数,让现有低光增强模型重获新生。
晚上拍照,光线不好,照片总是黑乎乎一团,还伴随着奇怪的色偏?这在计算机视觉里,是个经典的老大难问题——低光图像增强(Low-Light Image Enhancement, LLIE)。为了让黑夜变白天,研究者们设计了各种精巧的神经网络,但似乎总有些不尽如人意的地方,比如伪影、色彩失真、细节丢失等。
今天,我们来聊一篇很有意思的论文,它不卷网络结构,而是另辟蹊径,从“损失函数”这个源头入手,提出了一个即插即用的新方法 SASW-Loss,能显著提升现有多种LLIE模型的表现。这项工作由福建师范大学提出,为ACM MM 2025 oral论文,给LLIE领域带来了一股清新的风。
简单来说,这篇论文最核心的思路,可以概括为 “利用伪影打败伪影”。
基于这个思想,SASW-Loss被设计出来,它的名字代表了两大核心组件:稀疏伪影相似度损失 (Sparsified Artifacts Similarity, SAS) 和 Walsh-Hadamard系数损失 (Walsh-Hadamard Coefficients, WHC) 。前者负责利用伪影正则化恢复图像细节,后者则专注于在频域校正图像。
在处理低光图像时,我们不仅希望把亮度提上来,还希望颜色和细节都能被忠实地还原。但理想很丰满,现实很骨感。
很多LLIE方法在增强亮度的同时,常常会引入不必要的“副作用”:
颜色跑偏:增强后的图像可能会出现整体性的色偏,比如天本来是黑的,结果增强后变成了诡异的紫色或蓝色。细节丢失:为了抑制噪声或重建图像,一些模型可能会过度平滑图像,导致纹理变得模糊。伪影严重:引入一些不存在的错误信息,即“伪影”,严重影响视觉效果和下游任务。传统的损失函数,如L1损失或SSIM损失,虽然在一定程度上能指导模型学习,但它们对颜色和结构信息的感知能力有限,很难从根本上解决上述问题。
SASW-Loss:利用伪影打败伪影作者认为,要解决细节和伪影的问题,必须转变思路。传统的想法是“抑制”或“消除”伪影,但作者创造性地提出:伪影本身就是一种宝贵的信息!
于是,SASW-Loss应运而生。它不改变任何现有LLIE模型的网络结构,只在训练阶段替换掉原有的损失函数,像一个“外挂”一样,即插即用。
整个框架非常清晰,由两个专门的损失项构成: 和 。
:利用伪影相似性,恢复结构细节这正是“利用伪影打败伪影”思想的直接体现。这里的SAS是“稀疏伪影相似度”(Sparsified Artifacts Similarity)。
它的核心思想是:
首先,将正常光照的参考图像(Ground Truth)进行“稀疏化”处理。可以理解为,我们故意扔掉它的一部分信息(例如,通过WHT变换后,只保留少量频率系数),然后再重建它。这样得到的图像,会布满独特的“伪影”。为什么这么做有效?因为伪影的模式,其实间接反映了图像丢失的细节和结构。通过强迫模型去“模仿”真实图像的伪影模式,模型就被引导着学会了如何更精确地恢复那些丢失的结构和纹理,而不是盲目地去噪或平滑。伪影从一个“敌人”,变成了指导细节恢复的“盟友”。
:用沃尔什-哈达玛变换守护频域信息除了利用伪影,(Walsh-Hadamard Coefficients Loss)则在频域进行约束。你可能对WHT有点陌生,简单来说,它和傅里叶变换类似,是一种将图像从空间域转换到频域的工具,但计算上更高效。转换后,图像信息被分解成不同频率的“分量”,低频分量代表图像的整体轮廓和色块,高频分量则代表细节和边缘。
的核心思想是:
将增强后的图像和正常光照的参考图像都进行WHT。直接在WHT频域中,计算两者变换系数的L1差异。这个是全频域的约束,包含像素约束也包含颜色。由于噪声通常集中在高频,而整体亮度和对比度与低频和中频更相关,通过直接约束所有频率的系数,这个损失函数能有效地帮助模型恢复正确的亮度和对比度、抑制噪声,并增强整体结构。
SASW-Loss通过融合 与 ,该损失函数使模型在噪声抑制、结构细节恢复与亮度重建方面获得协同增强。两种损失机制共同优化细节特征与频域分量,从而实现更精准、更自然的图像重建。
最终损失函数如上所示,其完整计算流程见下图。
在有成对数据的LOL数据集上,效果提升是全方位的。从下表可以看到,几乎所有用了SASW-Loss训练的模型,在PSNR和SSIM这两个关键指标上都获得了明显增益。
在更具挑战性的无成对数据(unpaired data)场景下,使用无参考指标NIQE(越低越好)进行评估,SASW-Loss同样表现出色。在DarkFace、NPE等五个数据集上,它帮助基线模型取得了更低的NIQE分数,意味着生成图像的自然度更高。
数字是抽象的,我们直接看图。相较于常出现过度平滑、噪声放大或色调映射失真等问题的传统基线模型,SASW-Loss能有效引导网络在保留结构细节的同时修复图像缺陷。这一优势在色彩丰富、物体特征多样或包含文字区域等复杂场景中尤为显著——SASW-Loss在保持图像清晰度的同时呈现出更自然的视觉效果。
具体而言,如上图所示,通过本方法处理的调色板色彩、背包纹理及黄牌标识均得到更精准还原,更贴近真实图像。这些增强结果展现出更优的色彩还原度、更准确的亮度修复以及更细腻的纹理恢复能力,尤其在曝光不足或光照不均区域改善明显。
此外,上图表明采用SASW-Loss训练的模型对非配对数据集也表现出更强鲁棒性。值得注意的是,基线模型修复的图像常出现伪影、过曝、异常条纹和色彩失真等问题,而本方法能有效应对这些挑战,显著提升图像的视觉真实感与整体质量。
消融实验为了证明SASW-Loss的两个组件 和 都不是花架子,作者还做了消融实验。
通过对比可以清晰地看到:
只用 :图像的结构和细节保留得不错,但颜色可能还是有点怪,没能完全摆脱色偏问题。只用 :颜色看起来非常自然、舒服,但图像的锐利度可能稍有欠缺,一些精细的纹理不如 保留得好。完整 :集两者之所长,既有 带来的自然色彩,又有 带来的清晰细节。画面整体效果无疑是三者中最好的。结果表明,无论是单独使用 还是 ,都能带来一定的性能提升,但将两者结合起来()的效果是最好的。
总结CV君觉得,这项工作最吸引人的地方在于它的通用性和实用性。在学术界越来越“卷”网络结构设计的今天,回头打磨一下损失函数这个基础环节,反而取得了意想不到的好效果。这种“利用伪影打败伪影”的思路,为LLIE领域甚至其他图像恢复任务提供了一个新的优化方向:在不增加任何推理成本的前提下,通过一个更优秀的损失函数来“解锁”现有模型的全部潜力。
值得一提的是,SASW-Loss“利用伪影打败伪影”的思路,不仅仅只在暗光增强有效果,在其他的图像恢复领域也显然可行。
你觉得这个技术未来会用在哪些场景?一起来聊聊吧!
