我爱计算机视觉 4小时前
新损失函数助力低光图像增强
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

福建师范大学的研究者提出了一种名为SASW-Loss的新型损失函数,旨在解决低光图像增强(LLIE)中的伪影、色彩失真和细节丢失等问题。该方法不改变现有模型结构,而是通过引入“稀疏伪影相似度损失”(SAS)和“Walsh-Hadamard系数损失”(WHC)两个组件,将伪影转化为恢复图像细节的有用信息,并在频域校正图像。实验表明,SASW-Loss能够显著提升多种LLIE模型的性能,在PSNR、SSIM和NIQE等指标上均有改善,且在非配对数据集上表现出更强的鲁棒性,为LLIE领域带来了创新性的解决方案。

💡 **创新损失函数提升低光图像增强效果**:研究提出SASW-Loss,一种不改变现有网络结构、即插即用的新型损失函数,通过在训练阶段替换传统损失,显著提升了低光图像增强模型的性能,有效解决了伪影、色彩失真和细节丢失等常见问题。

✨ **“利用伪影打败伪影”的核心思想**:SASW-Loss的SAS(稀疏伪影相似度)组件创造性地利用了图像中的伪影信息。通过对比真实图像和增强图像的稀疏化处理后产生的伪影模式,引导模型更精确地恢复丢失的图像细节和结构,将伪影从负面影响转变为有益的指导。

📊 **频域约束与细节优化的协同**:WHC(Walsh-Hadamard系数损失)组件在频域对图像进行约束。通过直接计算增强图像与参考图像在Walsh-Hadamard变换后的系数差异,该损失项能有效校正图像的亮度、对比度,抑制噪声,并增强整体结构,与SAS组件协同作用,实现更自然的图像重建。

🚀 **实验验证与广泛适用性**:在LOL、DarkFace、NPE等多个数据集上的实验结果显示,SASW-Loss在有配对和无配对数据场景下均能带来显著的PSNR、SSIM和NIQE指标提升。消融实验证明了SAS和WHC组件各自的有效性及结合使用的最佳效果,预示其在其他图像恢复任务中也具有潜力。

CV君 2025-11-05 13:12 江苏

一种全新的损失函数,让现有低光增强模型重获新生。

晚上拍照,光线不好,照片总是黑乎乎一团,还伴随着奇怪的色偏?这在计算机视觉里,是个经典的老大难问题——低光图像增强(Low-Light Image Enhancement, LLIE)。为了让黑夜变白天,研究者们设计了各种精巧的神经网络,但似乎总有些不尽如人意的地方,比如伪影、色彩失真、细节丢失等。

今天,我们来聊一篇很有意思的论文,它不卷网络结构,而是另辟蹊径,从“损失函数”这个源头入手,提出了一个即插即用的新方法 SASW-Loss,能显著提升现有多种LLIE模型的表现。这项工作由福建师范大学提出,为ACM MM 2025 oral论文,给LLIE领域带来了一股清新的风。

简单来说,这篇论文最核心的思路,可以概括为 “利用伪影打败伪影”

基于这个思想,SASW-Loss被设计出来,它的名字代表了两大核心组件:稀疏伪影相似度损失 (Sparsified Artifacts Similarity, SAS) 和 Walsh-Hadamard系数损失 (Walsh-Hadamard Coefficients, WHC) 。前者负责利用伪影正则化恢复图像细节,后者则专注于在频域校正图像。

论文标题: A Novel Perspective on Low-Light Image Enhancement: Leveraging Artifact Regularization and Walsh-Hadamard Transform

作者: Weilin Wu, Shifan Yang, Qizhao Lin, Xinghong Chen, Kunping Yang, Jing Wang, Guannan Chen

机构: 福建师范大学

论文地址: https://dl.acm.org/doi/pdf/10.1145/3746027.3758142

代码仓库: https://github.com/werringwu/SASW

现有方法的“痛点”

在处理低光图像时,我们不仅希望把亮度提上来,还希望颜色和细节都能被忠实地还原。但理想很丰满,现实很骨感。

很多LLIE方法在增强亮度的同时,常常会引入不必要的“副作用”:

颜色跑偏:增强后的图像可能会出现整体性的色偏,比如天本来是黑的,结果增强后变成了诡异的紫色或蓝色。

细节丢失:为了抑制噪声或重建图像,一些模型可能会过度平滑图像,导致纹理变得模糊。

伪影严重:引入一些不存在的错误信息,即“伪影”,严重影响视觉效果和下游任务。

传统的损失函数,如L1损失或SSIM损失,虽然在一定程度上能指导模型学习,但它们对颜色和结构信息的感知能力有限,很难从根本上解决上述问题。

SASW-Loss:利用伪影打败伪影

作者认为,要解决细节和伪影的问题,必须转变思路。传统的想法是“抑制”或“消除”伪影,但作者创造性地提出:伪影本身就是一种宝贵的信息!

于是,SASW-Loss应运而生。它不改变任何现有LLIE模型的网络结构,只在训练阶段替换掉原有的损失函数,像一个“外挂”一样,即插即用。

整个框架非常清晰,由两个专门的损失项构成: 和 

:利用伪影相似性,恢复结构细节

这正是“利用伪影打败伪影”思想的直接体现。这里的SAS是“稀疏伪影相似度”(Sparsified Artifacts Similarity)。

它的核心思想是:

首先,将正常光照的参考图像(Ground Truth)进行“稀疏化”处理。可以理解为,我们故意扔掉它的一部分信息(例如,通过WHT变换后,只保留少量频率系数),然后再重建它。这样得到的图像,会布满独特的“伪影”。

然后,将神经网络增强后的图像,也进行同样“稀疏化”处理,得到另一张带有伪影的图像。

 的目标,就是让这两张图像的“伪影”看起来尽可能地相似(例如,通过计算余弦相似度)。

为什么这么做有效?因为伪影的模式,其实间接反映了图像丢失的细节和结构。通过强迫模型去“模仿”真实图像的伪影模式,模型就被引导着学会了如何更精确地恢复那些丢失的结构和纹理,而不是盲目地去噪或平滑。伪影从一个“敌人”,变成了指导细节恢复的“盟友”。

:用沃尔什-哈达玛变换守护频域信息

除了利用伪影,(Walsh-Hadamard Coefficients Loss)则在频域进行约束。你可能对WHT有点陌生,简单来说,它和傅里叶变换类似,是一种将图像从空间域转换到频域的工具,但计算上更高效。转换后,图像信息被分解成不同频率的“分量”,低频分量代表图像的整体轮廓和色块,高频分量则代表细节和边缘。

 的核心思想是:

将增强后的图像和正常光照的参考图像都进行WHT。

直接在WHT频域中,计算两者变换系数的L1差异。

这个是全频域的约束,包含像素约束也包含颜色。

由于噪声通常集中在高频,而整体亮度和对比度与低频和中频更相关,通过直接约束所有频率的系数,这个损失函数能有效地帮助模型恢复正确的亮度和对比度、抑制噪声,并增强整体结构。

SASW-Loss

通过融合  与 ,该损失函数使模型在噪声抑制、结构细节恢复与亮度重建方面获得协同增强。两种损失机制共同优化细节特征与频域分量,从而实现更精准、更自然的图像重建。

最终损失函数如上所示,其完整计算流程见下图。

实验效果:即插即用的显著提升定量分析

在有成对数据的LOL数据集上,效果提升是全方位的。从下表可以看到,几乎所有用了SASW-Loss训练的模型,在PSNR和SSIM这两个关键指标上都获得了明显增益。

在更具挑战性的无成对数据(unpaired data)场景下,使用无参考指标NIQE(越低越好)进行评估,SASW-Loss同样表现出色。在DarkFace、NPE等五个数据集上,它帮助基线模型取得了更低的NIQE分数,意味着生成图像的自然度更高。

定性对比

数字是抽象的,我们直接看图。相较于常出现过度平滑、噪声放大或色调映射失真等问题的传统基线模型,SASW-Loss能有效引导网络在保留结构细节的同时修复图像缺陷。这一优势在色彩丰富、物体特征多样或包含文字区域等复杂场景中尤为显著——SASW-Loss在保持图像清晰度的同时呈现出更自然的视觉效果。

具体而言,如上图所示,通过本方法处理的调色板色彩、背包纹理及黄牌标识均得到更精准还原,更贴近真实图像。这些增强结果展现出更优的色彩还原度、更准确的亮度修复以及更细腻的纹理恢复能力,尤其在曝光不足或光照不均区域改善明显。

此外,上图表明采用SASW-Loss训练的模型对非配对数据集也表现出更强鲁棒性。值得注意的是,基线模型修复的图像常出现伪影、过曝、异常条纹和色彩失真等问题,而本方法能有效应对这些挑战,显著提升图像的视觉真实感与整体质量。

消融实验

为了证明SASW-Loss的两个组件  和  都不是花架子,作者还做了消融实验。

通过对比可以清晰地看到:

只用 :图像的结构和细节保留得不错,但颜色可能还是有点怪,没能完全摆脱色偏问题。

只用 :颜色看起来非常自然、舒服,但图像的锐利度可能稍有欠缺,一些精细的纹理不如  保留得好。

完整 :集两者之所长,既有  带来的自然色彩,又有  带来的清晰细节。画面整体效果无疑是三者中最好的。

结果表明,无论是单独使用  还是 ,都能带来一定的性能提升,但将两者结合起来()的效果是最好的。

总结

CV君觉得,这项工作最吸引人的地方在于它的通用性和实用性。在学术界越来越“卷”网络结构设计的今天,回头打磨一下损失函数这个基础环节,反而取得了意想不到的好效果。这种“利用伪影打败伪影”的思路,为LLIE领域甚至其他图像恢复任务提供了一个新的优化方向:在不增加任何推理成本的前提下,通过一个更优秀的损失函数来“解锁”现有模型的全部潜力。

值得一提的是,SASW-Loss“利用伪影打败伪影”的思路,不仅仅只在暗光增强有效果,在其他的图像恢复领域也显然可行。

你觉得这个技术未来会用在哪些场景?一起来聊聊吧!

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

低光图像增强 计算机视觉 损失函数 深度学习 SASW-Loss Low-Light Image Enhancement Computer Vision Loss Function Deep Learning
相关文章