我爱计算机视觉 11月06日 11:55
新损失函数赋能低光图像增强,解决伪影与色彩失真
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

福建师范大学提出了一种名为SASW-Loss的新型损失函数,旨在提升现有低光图像增强(LLIE)模型的表现。该方法不改变网络结构,而是从源头优化,核心思想是“利用伪影打败伪影”。SASW-Loss包含稀疏伪影相似度损失(SAS)和Walsh-Hadamard系数损失(WHC)两个组件。SAS通过模仿正常光照图像的伪影模式来恢复细节,而WHC则在频域约束图像,校正亮度和对比度。实验表明,SASW-Loss能显著提升PSNR、SSIM等指标,并有效解决色彩失真、细节丢失和伪影等问题,为LLIE领域带来了创新。

🌟 **创新损失函数助力低光图像增强:** 研究者提出了一种名为SASW-Loss的新型损失函数,它不改变现有的低光图像增强(LLIE)模型的网络结构,而是通过优化训练阶段的损失函数来显著提升图像质量。这种“即插即用”的特性使其具有极高的实用价值,能够轻松集成到现有模型中。

💡 **“利用伪影打败伪影”的核心思想:** SASW-Loss最引人注目的创新在于其核心理念——将原本被视为问题的“伪影”转化为解决问题的关键信息。通过分析和模仿正常光照下图像的伪影模式,模型被引导着更精确地恢复丢失的图像细节和结构,从而有效解决传统方法中常见的细节丢失和伪影问题。

🎛️ **双组件协同优化图像质量:** SASW-Loss由稀疏伪影相似度损失(SAS)和Walsh-Hadamard系数损失(WHC)两部分组成。SAS专注于在空间域利用伪影恢复图像细节,而WHC则在频域通过Walsh-Hadamard变换对图像进行约束,校正亮度、对比度并抑制噪声。两者的结合实现了对图像细节和整体频域信息的协同优化,确保了更自然、更准确的图像重建。

📈 **显著的性能提升与泛化能力:** 实验结果显示,在多种数据集和评估指标上,SASW-Loss都能为基线模型带来显著的性能提升,尤其是在PSNR、SSIM和NIQE等关键指标上。该方法不仅在有成对数据上表现出色,在更具挑战性的无成对数据场景下也展现出强大的鲁棒性和泛化能力,有效解决了色彩失真、伪影和过度平滑等问题。

CV君 2025-11-05 13:12 江苏

一种全新的损失函数,让现有低光增强模型重获新生。

晚上拍照,光线不好,照片总是黑乎乎一团,还伴随着奇怪的色偏?这在计算机视觉里,是个经典的老大难问题——低光图像增强(Low-Light Image Enhancement, LLIE)。为了让黑夜变白天,研究者们设计了各种精巧的神经网络,但似乎总有些不尽如人意的地方,比如伪影、色彩失真、细节丢失等。

今天,我们来聊一篇很有意思的论文,它不卷网络结构,而是另辟蹊径,从“损失函数”这个源头入手,提出了一个即插即用的新方法 SASW-Loss,能显著提升现有多种LLIE模型的表现。这项工作由福建师范大学提出,为ACM MM 2025 oral论文,给LLIE领域带来了一股清新的风。

简单来说,这篇论文最核心的思路,可以概括为 “利用伪影打败伪影”

基于这个思想,SASW-Loss被设计出来,它的名字代表了两大核心组件:稀疏伪影相似度损失 (Sparsified Artifacts Similarity, SAS) 和 Walsh-Hadamard系数损失 (Walsh-Hadamard Coefficients, WHC) 。前者负责利用伪影正则化恢复图像细节,后者则专注于在频域校正图像。

现有方法的“痛点”

在处理低光图像时,我们不仅希望把亮度提上来,还希望颜色和细节都能被忠实地还原。但理想很丰满,现实很骨感。

很多LLIE方法在增强亮度的同时,常常会引入不必要的“副作用”:

    颜色跑偏:增强后的图像可能会出现整体性的色偏,比如天本来是黑的,结果增强后变成了诡异的紫色或蓝色。

    细节丢失:为了抑制噪声或重建图像,一些模型可能会过度平滑图像,导致纹理变得模糊。

    伪影严重:引入一些不存在的错误信息,即“伪影”,严重影响视觉效果和下游任务。

传统的损失函数,如L1损失或SSIM损失,虽然在一定程度上能指导模型学习,但它们对颜色和结构信息的感知能力有限,很难从根本上解决上述问题。

SASW-Loss:利用伪影打败伪影

作者认为,要解决细节和伪影的问题,必须转变思路。传统的想法是“抑制”或“消除”伪影,但作者创造性地提出:伪影本身就是一种宝贵的信息!

于是,SASW-Loss应运而生。它不改变任何现有LLIE模型的网络结构,只在训练阶段替换掉原有的损失函数,像一个“外挂”一样,即插即用。

整个框架非常清晰,由两个专门的损失项构成: 和 

:利用伪影相似性,恢复结构细节

这正是“利用伪影打败伪影”思想的直接体现。这里的SAS是“稀疏伪影相似度”(Sparsified Artifacts Similarity)。

它的核心思想是:

    首先,将正常光照的参考图像(Ground Truth)进行“稀疏化”处理。可以理解为,我们故意扔掉它的一部分信息(例如,通过WHT变换后,只保留少量频率系数),然后再重建它。这样得到的图像,会布满独特的“伪影”。

    然后,将神经网络增强后的图像,也进行同样“稀疏化”处理,得到另一张带有伪影的图像。

     的目标,就是让这两张图像的“伪影”看起来尽可能地相似(例如,通过计算余弦相似度)。

为什么这么做有效?因为伪影的模式,其实间接反映了图像丢失的细节和结构。通过强迫模型去“模仿”真实图像的伪影模式,模型就被引导着学会了如何更精确地恢复那些丢失的结构和纹理,而不是盲目地去噪或平滑。伪影从一个“敌人”,变成了指导细节恢复的“盟友”。

:用沃尔什-哈达玛变换守护频域信息

除了利用伪影,(Walsh-Hadamard Coefficients Loss)则在频域进行约束。你可能对WHT有点陌生,简单来说,它和傅里叶变换类似,是一种将图像从空间域转换到频域的工具,但计算上更高效。转换后,图像信息被分解成不同频率的“分量”,低频分量代表图像的整体轮廓和色块,高频分量则代表细节和边缘。

 的核心思想是:

    将增强后的图像和正常光照的参考图像都进行WHT。

    直接在WHT频域中,计算两者变换系数的L1差异。

    这个是全频域的约束,包含像素约束也包含颜色。

由于噪声通常集中在高频,而整体亮度和对比度与低频和中频更相关,通过直接约束所有频率的系数,这个损失函数能有效地帮助模型恢复正确的亮度和对比度、抑制噪声,并增强整体结构。

SASW-Loss

通过融合  与 ,该损失函数使模型在噪声抑制、结构细节恢复与亮度重建方面获得协同增强。两种损失机制共同优化细节特征与频域分量,从而实现更精准、更自然的图像重建。

最终损失函数如上所示,其完整计算流程见下图。

实验效果:即插即用的显著提升

定量分析

在有成对数据的LOL数据集上,效果提升是全方位的。从下表可以看到,几乎所有用了SASW-Loss训练的模型,在PSNR和SSIM这两个关键指标上都获得了明显增益。

在更具挑战性的无成对数据(unpaired data)场景下,使用无参考指标NIQE(越低越好)进行评估,SASW-Loss同样表现出色。在DarkFace、NPE等五个数据集上,它帮助基线模型取得了更低的NIQE分数,意味着生成图像的自然度更高。

定性对比

数字是抽象的,我们直接看图。相较于常出现过度平滑、噪声放大或色调映射失真等问题的传统基线模型,SASW-Loss能有效引导网络在保留结构细节的同时修复图像缺陷。这一优势在色彩丰富、物体特征多样或包含文字区域等复杂场景中尤为显著——SASW-Loss在保持图像清晰度的同时呈现出更自然的视觉效果。

具体而言,如上图所示,通过本方法处理的调色板色彩、背包纹理及黄牌标识均得到更精准还原,更贴近真实图像。这些增强结果展现出更优的色彩还原度、更准确的亮度修复以及更细腻的纹理恢复能力,尤其在曝光不足或光照不均区域改善明显。

此外,上图表明采用SASW-Loss训练的模型对非配对数据集也表现出更强鲁棒性。值得注意的是,基线模型修复的图像常出现伪影、过曝、异常条纹和色彩失真等问题,而本方法能有效应对这些挑战,显著提升图像的视觉真实感与整体质量。

消融实验

为了证明SASW-Loss的两个组件  和  都不是花架子,作者还做了消融实验。

通过对比可以清晰地看到:

    只用 :图像的结构和细节保留得不错,但颜色可能还是有点怪,没能完全摆脱色偏问题。

    只用 :颜色看起来非常自然、舒服,但图像的锐利度可能稍有欠缺,一些精细的纹理不如  保留得好。

    完整 :集两者之所长,既有  带来的自然色彩,又有  带来的清晰细节。画面整体效果无疑是三者中最好的。

结果表明,无论是单独使用  还是 ,都能带来一定的性能提升,但将两者结合起来()的效果是最好的。

总结

CV君觉得,这项工作最吸引人的地方在于它的通用性和实用性。在学术界越来越“卷”网络结构设计的今天,回头打磨一下损失函数这个基础环节,反而取得了意想不到的好效果。这种“利用伪影打败伪影”的思路,为LLIE领域甚至其他图像恢复任务提供了一个新的优化方向:在不增加任何推理成本的前提下,通过一个更优秀的损失函数来“解锁”现有模型的全部潜力。

值得一提的是,SASW-Loss“利用伪影打败伪影”的思路,不仅仅只在暗光增强有效果,在其他的图像恢复领域也显然可行。

你觉得这个技术未来会用在哪些场景?一起来聊聊吧!

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

低光图像增强 损失函数 计算机视觉 人工智能 伪影 Walsh-Hadamard变换 Low-Light Image Enhancement Loss Function Computer Vision Artificial Intelligence Artifacts Walsh-Hadamard Transform
相关文章