第４４ 卷 第２期２０２１ 年２ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ．２Ｆｅｂ． ２０２１基于渐进式双网络模型的低曝光图像增强方法黄淑英１ ５胡 威２ ）杨 勇２ ）李红霞３ ）汪 斌３ ）１ ：）（天津工业大学计算机科学与技术学院 天津 ３００ ３８ ７）２ ）（ 江西财经大学信息管理学院 南昌 ３３００ ３２）３ ）（ 江西财经大学软件与物联网工程学院 南昌 ３３０ ０３ ２）摘 要 传统的图像增强方法对低曝光图像进行增强时， 通常只考虑到了亮度的提升， 忽略了增强过程中带来的噪声放大问题．而当前基于深度学习的方法利用端到端的网络直接学习低曝光图像到正常图像的映射关系， 忽略了低曝光图像形成的物理原理， 也没有考虑解决噪声放大的问题． 针对上述问题， 本文通过对图像降质的本质原因进行分析， 提出一种基于渐进式双网络模型的低曝光图像增强方法， 该方法包含图像增强模块以及图像去噪模块两个部分． 对每个模块的构建也采用了渐进式的思想， 考虑了图像由暗到亮的亮度变化， 以及从粗到细的图像恢复过程， 使增强后的结果更接近真实图像． 为了更好地训练网络， 本文构建了一种双向约束损失函数， 从图像降质模型的正反两个方向使网络学习结果逼近真实数据， 达到动态平衡．为了验证本文方法的有效性， 本文与一些主流的方法从主观和客观两方面进行了实验对比， 实验结果证明了本文方法得到的结果更接近真实图像， 获得了更优的性能指标．关键词 低曝光图像增强； 渐进式； 双网络； 双向约束损失函数中图法分类号ＴＰ３９１ＤＯＩ号１０． １ １８９ ７／ＳＰ．Ｊ． １０１ ６． ２０２１ ．００３８４ＡＬｏｗ－ＥｘｐｏｓｕｒｅＩｍａｇｅＥｎｈａｎｃｅｍｅｎｔＢａｓｅｄｏｎＰｒｏｇｒｅｓｓｉｖｅＤｕａｌＮｅｔｗｏｒｋＭｏｄｅｌＨＵＡＮＧＳｈｕ Ｙｉ ｎｇ１５ＨＵＷｅｉ２）ＹＡＮＧＹｏｎｇ２）ＬＩＨｏｎｇＸｉａ３ ）ＷＡＮＧＢｉ ｎ３ ）１：）｛ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＴｉａｎｇｏｎｇＵｎｉｖｅｒｓｉ ｔｙ？Ｔｉａｎｊｉｎ３００３８７）２）｛ ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔ ｉｏｎＭａｎａｇｅｍｅｎｔ？ＪｉａｎｇｘｉＵｎｉ ｖｅｒｓｉ ｔｙｏｆＦｉｎａｎｃｅａｎｄＥｃｏｎｏｍｉ ｃｓ＾Ｎａｎｃｈａｎｇ３３００３２）３ ）｛ＳｃｈｏｏｌｏｆＳｏｆｔ ｗａｒｅａｎｄＩｎｉｅｒｎｅｉｏｆＴｈｉ ｎｇｓＥｎｇｉｎｅｅｒｉｎｇ？ＪｉａｎｇｘｉＵｎｉ ｖｅｒｓｉ ｔｙｏｆＦｉ ｎａｎｃｅａｎｄＥｃｏｎｏｍｉ ｃｓ？Ｎａｎｃｈａｎｇ３３００３２）ＡｂｓｔｒａｃｔＷｈｅｎｔｈｅｔｒａｄｉｔｉ ｏｎａｌｉ ｍａｇｅｅｎｈａｎｃｅｍｅｎｔｍｅｔｈｏｄｓｅｎｈａｎｃｅｄｔｈｅｌｏｗｅｘｐｏｓｕｒｅｉ ｍａｇｅ，ｔｈｅｙｕｓｕａｌ ｌ ｙｊ ｕｓｔｃｏｎｓｉ ｄｅｒｅｄｔｈｅｅｎｈａｎｃｅｍｅｎｔｏｆｂｒｉｇｈｔｎｅｓｓａｎｄｉｇｎｏｒｅｄｔｈｅｐｒｏｂｌ ｅｍｏｆｎｏｉｓｅａｍｐｌｉｆｉｃａｔｉｏｎ．Ｂｅｓｉ ｄｅｓ，ｔｈｅｃｕｒｒｅｎｔｄｅｅｐｌ ｅａｒｎｉ ｎｇｍｅｔｈｏｄｓｕｓｅｄｔｈｅｅｎｄｔｏｅｎｄｎｅｔｗｏｒｋｔｏｄｉｒｅｃｔｌ ｙｌ ｅａｒｎｔｈｅｍａｐｐｉ ｎｇｒｅｌ ａｔｉ ｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅｌ ｏｗｅｘｐｏｓｕｒｅｉ ｍａｇｅａｎｄｔｈｅｎｏｒｍａｌｉ ｍａｇｅ，ｉｇｎｏｒｉ ｎｇｔｈｅｐｈｙｓｉｃａｌｐｒｉ ｎｃｉｐｌｅｏｆｔｈｅｆｏｒｍａｔｉ ｏｎｏｆｔｈｅｌ ｏｗｅｘｐｏｓｕｒｅｉｍａｇｅ，ａｎｄｄｉ ｄｎｏｔｃｏｎｓｉ ｄｅｒｓｏｌ ｖｉ ｎｇｔｈｅｐｒｏｂｌ ｅｍｏｆｎｏｉｓｅａｍｐｌｉ ｆｉｃａｔｉ ｏｎ．Ｉｎｏｒｄｅｒｔｏｓｏｌ ｖｅｔｈｅｓｅｐｒｏｂｌ ｅｍｓ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｌ ｏｗｅｘｐｏｓｕｒｅｉ ｍａｇｅｅｎｈａｎｃｅｍｅｎｔｍｅｔｈｏｄｂａｓｅｄｏｎｐｒｏｇｒｅｓｓｉｖｅｄｕａｌｎｅｔｗｏｒｋｍｏｄｅｌｂｙａｎａｌ ｙｚｉ ｎｇｔｈｅｅｓｓｅｎｔｉａｌｃａｕｓｅｓｏｆｉｍａｇｅｄｅｇｒａｄａｔｉ ｏｎ．Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｎｃｌ ｕｄｅｓｔｗｏｐａｒｔｓ ：ｉ ｍａｇｅｅｎｈａｎｃｅｍｅｎｔｍｏｄｕｌ ｅａｎｄｉ ｍａｇｅｄｅｎｏｉｓｉ ｎｇｍｏｄｕｌ ｅ．Ｔｈｅｃｏｎｓｔｒｕｃｔｉ ｏｎｏｆｅａｃｈｍｏｄｕｌ ｅａｌ ｓｏａｄｏｐｔｓｔｈｅｐｒｏｇｒｅｓｓｉ ｖｅｉ ｄｅａｂｙｃｏｎｓｉ ｄｅｒｉ ｎｇｔｈｅｉ ｍａｇｅｂｒｉｇｈｔｎｅｓｓｃｈａｎｇｅｆｒｏｍｄａｒｋｔｏｌｉｇｈｔａｎｄｔｈｅｉ ｍａｇｅｒｅｓｔｏｒａｔｉ ｏｎｆｒｏｍｃｏａｒｓｅｔｏｆｉｎｅ，ｓｏｔｈａｔｔｈｅｅｎｈａｎｃｅｄｒｅｓｕｌｔｉ ｓｃｌｏｓｅｒｔｏｔｈｅｒｅａｌｉｍａｇｅ．Ｆｕｒｔｈｅｒｍｏｒｅ，ｔｏｔｒａｉ ｎｔｈｅｎｅｔｗｏｒｋｂｅｔｔｅｒ，ａｂｉｄｉｒｅｃｔｉ ｏｎａｌ ｃｏｎｓｔｒａｉ ｎｔｌ ｏｓｓｆｕｎｃｔｉ ｏｎｉｓｄｅｓｉｇｎｅｄ，ｗｈｉｃｈｍａｋｅｓｔｈｅｌ ｅａｒｎｉ ｎｇｒｅｓｕｌ ｔｏｆｎｅｔｗｏｒｋａｐｐｒｏａｃｈｔｈｅｒｅａｌｄａｔａｆｒｏｍｐｏｓｉｔｉ ｖｅａｎｄｎｅｇａｔｉ ｖｅｄｉｒｅｃｔｉ ｏｎｓｏｆｔｈｅ收稿日期：２０１ ９ １１ ２７； 在线发布日期：２０２０ ０５ １８．本课题得到国家自然科学基金（６１８６２０３０， ６１６６２０２６） 、 江西省自然科学基金（ ２０１８２ＢＣＢ２２００ ６， ２０１８１ＢＡＢ２０２０１０ ， ２０１９２ＡＣＢ２０００２ ， ２ ０１９２ＡＣＢＬ２ １００８） 资助． 黄淑英， 博士， 副教授， 主要研究方向为图像处理与机器学习． Ｅｍａｉｌ： ｓｈｕｙｉｎｇｈｕａｎｇ２０１０＠１２６．ｃｏｍ． 胡 威， 硕士研究生， 主要研究方向为图像去雾与图像复原． 杨 勇（ 通信作者） ， 博士， 教授， 中国计算机学会（ＣＣＦ） 髙级会员， 主要研究领域为图像处理与机器学习． Ｅｍａｉｌ： ｇｒｅａｔｙａｎｇｙ＠１２ ６．ｃｏｍ． 李红霞， 硕士研究生， 主要研究方向为深度学习与图像复原． 汪 斌， 硕士研究生， 主要研究方向为深度学习与图像复原．２ 期黄淑英等： 基于渐进式双网络模型的低曝光图像增强方法３８５ｉｍａｇｅｄｅｇｒａｄａｔｉｏｎｍｏｄｅｌ，ａｎｄｆｉ ｎａｌ ｌｙａｃｈｉｅｖｅｓｄｙｎａｍｉｃｂａｌａｎｃｅ．Ｅｘｐｅｒｉ ｍｅｎｔａｌｒｅｓｕｌ ｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｍｏｒｅｅｆｆｅｃｔｉ ｖｅｔｈａｎｓｏｍｅｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔｅｎｈａｎｃｅｍｅｎｔｍｅｔｈｏｄｓｆｒｏｍｂｏｔｈｓｕｂｊｅｃｔｉ ｖｅａｎｄｏｂｊｅｃｔｉ ｖｅｅｖａｌ ｕａｔｉｏｎｓ．Ｋｅｙｗｏｒｄｓｌｏｗ－ｅｘｐｏｓｕｒｅｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ；ｐｒｏｇｒｅｓｓｉｖｅ；ｄｕａｌｎｅｔｗｏｒｋ；ｂｉｄｉｒｅｃｔｉｏｎａｌｃｏｎｓｔｒａｉ ｎｔｌｏｓｓｆｕｎｃｔｉｏｎｉ 引 言在夜间筹顏明不良的情况下获取到的？傳因为曝光不足． 往往导致圈像存在可见慶低、 细节． 不可见、噪声干扰大ｘ 光照本均匀等问題？． 低鹿度的圈＂像不仅在视觉上给观察者带来较差的感受， 而且会严重齋响基于图像倩息的计算机视觉系统的正常工作． 随着各种工业相机设备技术的发， 提■？ 其奇辨率、曝光时间等性能都有了较大的改参？ 但是刺用硬件提： 高分書率的方渎成本翁播化＿力差，礙难做爾１：普及． 属此， 许多研究者开始运用图像增强的技术， 对图像进＇行；后翁处理， 提高賀像的赓量《面１ 为图像增强示例， 其中第一行为低曝光的图像＊ 第二行为采用．本文方法迸行亮度增强后的图像． 从结果可以着出，围像增强算法使低曝光图像在翕食、 细节等方面都得到了很大的提升， Ｍ此， 低曝光圈像增强技术布目标检测、智能骞驶、文通监控、遥感图像等领域具有十聋重荽的价ａｉ 献曝光猶像（集一ｔｅｒ和本ｔ方蠢磁强后的闺《（潷二管；） 示曹闺在过去的几十年间． 西像增强技术发展迅速４艮多方法栩继被提出用以解决低曝光倒像增强的问题． 巨前＼针对图＇像增强的方法主要分为三种Ｔ 分别是基于直方画均衡化的增强方法 、基于Ｒｅｔｉ ｎｅｘ理论的增强方法￡６９］以及近年来， 兴起的基于深度学习的增强方法３° １ ３ ］＿基于直方两均衡化的增强方法主栗思想是將图像直方图统计的像素动态范围进行拉伸， 通过增加图像的对比度来达到提升视觉效果时目的． 这类增强算法主要包含基于爵部和基于全局的直方圈均衡化． 该类方法在处理前景和背景都过暗的匣像时能取得较好的效果， 同时由于计算量小， 该类方法在处理时间上也具有优势， 恒其往往因为对某些区域增强过度而会出现细节丢失和偏色等问题＞针对直方１图均衡化增強方法存在的问蘧，一些改选算法又相继被提出来， Ｌｉ 等人Ｍ提出了一种用于对低曝光图像进行对比度增強和去矂的新型虜像增强框架． 该框架利甩基于趙像素的局部自适， 座方抜进行去噪．在保待纹理细节的同时也可侧除噪声＊同时采＇用基于暗通道先验去雾方法的亮度＃息自适应增强＇参数， 尭服了图像过增强或欠增强的问Ｍ．Ｌｉ ｎ等入Ｍ提出了一种包括颜色通道拉伸、、 直方＿平均和重映射的流水线方法， 能够取得较：好的结果， Ｓｕｊｅｅ 等人＆］利甩金宇搽Ｍ直方＿四面的方法来増强图像对比度？ 从而最大限度地提取圈像的債息＾ 基于直方图均衡化的增强耸法虽然在时间上具有象大优势， 但由于在亮度增强的过程中考虑的是图像整体的统计特性， ． 因此在处理复杂场；＊图像时并不能取＃狼好的效果．Ｒｆｔｔｉｎｅ： ｘ理论是由Ｌａｉｒｆ１４］？２０世纪６０ 年：代雷次提出． 该連论的主要思想是人眼所感知到的物体雄顧色和鑫虞：由物体衰爾翁玟射特挫＿： 人射特性（或光照特性） 共周作用决定． 其数学模型可表示为＝Ｅｌ）在低曝光？像琅成过程中， ｓ代表莸取到的低曝光图像．ｉ？是正常曝光图像， Ｌ是照度圈像， 符号代表遂元素点乘？基于Ｋｅｔｉ ｎｅｘ理论的图像亮度增强算法的核心思想是首先估计照度： 西像Ｌ， 然后从低曝光＿像Ｓ中去餘Ｌ奢量， 得到正常曝光的图像尺，其数学表达式为ｉ？＝？Ｌ１（２３雜Ｌａｎｄ： 提出关于人纖视觉系统的Ｒｅ￥ｉｎ物理论 塞： ＴＲｅｔｉ ｎｅｘ理论的＿像增强方法被广泛研麗＊基于尊 ■度Ｒｅｔｉｎｅｘ理 ， Ｊｏｂｓｏｎ．Ａ［ １ ？：提：３８６ 计導机攀报： ＿１苹进了一种多， Ｒ度的Ｒｅｔｍｅｘ颜色恢复算法， 在迸行图像增强的同时保持颜色的一致性＾Ｆｕ等人？结合Ｒｅｔｍｅｘ理论提出了一种暴〒＊融合的低曝光图像增：强方法＞既保护了细节又提升了对比度， ．受人类视觉系统的启 Ｙｍｇ等人》７］设计了一种用于图像增強的多曝光融合框架，来握供准确的对比度和翕度増强？Ｇｕｏ等人［■提ｉｆ）丁结构感知先验细化照度图， 并分孤在红、绿、１ 蓝三个通道上计算以增强图像．尽營这些方法在某些情况下能取傳较好的结華， 但它们在对Ｒｅｔｉ ｎｅｘ模型中的反射孝和光照分解时仍然存在鳥暇性， 菌为设计一种适用于各种场景ｆｉｔ图像分解约束是图像增强中的主赛难点？ 此外＞， 由于求解反射率图是一个病态问題， 粗略的估计値容晷？导致图像增强的结果出现过曝光或欠曝光规象－随着人工智能的发廣及神经网祭赛爾像处理领域的优异表现． 基于深度学习的方法在图像增强颔域得到了迅速发展？Ｌｏｒｅ 等人１＞］提出了一种基于．深度自编码的方法对低＿光阁輟进行增强和去噪， 既提高了图像的亮度， 又避免了图像过曝光的情况．Ｃｈｅｎ等人 创建了一个根据相机曝光对间而产电的低曝光图像数据集， 并设计了一神全畚积的端到端两络来卖现图像的増强？Ｗｄ等人［竭将人类视觉理论和卷积神经．网絡结合， 把低曝光图像分解为反射率？和光照囹，－并利用增强网络实现菌像Ｓ度的增強？Ｊｉａｎｇ等人［ ２ １ ］曾次裘出利用非配对的低／正常亮度的图像来训练图像堯度增强网络， 这种训练策略消除了对成对训练数据的依赖． Ｗａｎｇ等人［ ２ ３］没有直， 接学习低亮度图像和ｍ常亮度图像之间的映射， 而？晕估计菌像到光照菌之间的映射来增强曝光不足的图像， 该方法增強了网络学习对复杂图像的调整能力－ 虽然上述方法都館获得较好的效果 是这些基于深度學习的方法都是端到端的直接：孿习低曝光 像到芷繪图像的映射关系， 忽略了低曝光图像形成的物理原理．同时没有显式地包含＊噪过程或仅仅依赖予传统的去噪方法， 因而在图像增强后眘在细节丢失，和噪声放大等问题．基于Ｊ：述分析， 本文针对现有低曝光图像增强方■奪在凿 振性， 握：出：一稀藝手Ｒｅｔｉｎｅｘ理论的渐迸式双网络低曝光图像增强■型（如图２ｉ？ 该网络以低曝光廚像作为输人． 和用不同尺度的卷积核进行特征提取， 最终学万到Ｒｅｔｉ ｎｅｘ獏塑中的照度菌， 接着將该照度图代人Ｒｅｔｍｅｘ隹型中计算＃到Ｓ度谱辑辰的顧像． 然辰针对增强过程中出现的噪声放大问题， 将增强后的图像再■经过一十图像去嵊网络ｓ 得到最终的增强结果？ 论文的创． 新工作如下ｊ（ １） 提报一种渐进式时双网络低曝光图像增：强模型， 整个模型针对低曝光图像增強中的低Ｓ度和噪声放大问题， 利用惭进式的思想设计了图偉增强模块和图像去噪模块．（２：） 在图像增强樓望的两个模块内部， 分别采用渐迸式的思想构建其网络框架， 对靡像实现从粗到细的修复过程，以取得更好的增嬅结果－（ ３＞ 考虑到图像降质理论的可逆性， 提出了一［ 低曝光醜『ＬＦ方ＩＰ照麵１ 亮度初步重建醜ＩＰＩＰ照度图２亮度重＿图像０： 除操作？： 拼接？： 减操作：３２＊３８４＊３８４的卷积块：６４＊１９２＊１９２的卷积块：１２８＊９６＊９６的卷积块图２ 渐进式双网络低曝光图像增强模型黄淑英等： 基于渐进式双网络模型的低曝光图像增强方法 ３８７２ 期种双向约束损失函数用于网络学习， 从图像降质模型的正反两个方向进行损失计算， 使学习到的信息更完整．本文第２ 节重点介绍本文所提出的方法； 第３节将实验方法与对比实验进行详细说明； 第４ 节总结全文工作及对未来研究展望．２ 渐进式图像增强方法２． １ 网络框架针对现有的方法在图像增强后存在细节丢失和噪声放大的问题， 本文提出一种渐进式的双网络低曝光图像增强模型， 该模型包括图像亮度增强模块和图像去噪模块两个子网络， 构建的整体框架如图２ 所示． 我们将网络设计与图像增强的物理模型相结合， 首先采用渐进式的思想对低曝光图像实现亮度的增强， 然后针对增强后图像出现的噪声被加强的问题， 对亮度增强结果加人图像去噪过程． 值得一提的是， 为了取得更好的图像增强结果， 本文在图像增强和图像去噪两个模块内部都引人了渐进式的思想， 实现从粗到细的亮度增强和噪声的去除．图像去噪模块和增强模块不同的是， 图像噪声通常被认为一种加性噪声， 因此在图像去噪模块的最后采用了减法操作， 通过将输人图像直接减去学习到的噪声得到最终的输出结果． 为了更好地训练网络， 本文根据图像降质理论的可逆性， 构建了一种正反双向约束的损失函数来训练网络， 其具体内容将在２．２节进行详细介绍．２．１．１ 图像亮度增强模块考虑到真实场景下亮度提升是一个由暗到亮的过程， 本文提出一种渐进式的图像增强模块， 对低曝光图像先后两次从粗到细地实现图像的亮度和色彩的提升， 来完成图像亮度增强的过程． 该网络模块的实现过程如下描述．如图２ 的图像增强模块（ 上端虚线框） 所示， 该模块的输人为低曝光图像， 模块中的两个子框架输出均为照度图Ｌ， 输人输出均为红、绿、蓝三个通道．该模块包含亮度初步重建和亮度加强两步， 第一步的框架中包含六个卷积层， 网络前两层利用卷积操作实现特征图的下采样， 该操作既可以保证下采样的效果， 同时也避免了下采样造成的信息丢失． 通过下采样减小特征图的尺寸， 可以扩大卷积核的感受野， 使原本只能学习到３＊３ 范围信息的卷积核在两次尺寸下降后可以学习到７＊７ 范围的信息． 此外，为了保证最后得到的照度图与输人图像的尺寸一样， 在网络中使用了２ 次反卷积操作， 来实现尺寸增大的目的， 同时也方便梯度下降的计算． 第二步的亮度加强的网络框架与第一步类似， 这一步的目的是精细化增强后的图像． 该部分网络中只设置了四个卷积层， 通过以较少的网络训练参数， 来提高网络性能． 本文在３．３ 节也给出了实验， 证明了使用四个卷积层比直接使用六个卷积层得到了更好的结果． 该模块为了保证网络的有效性及更好地利用原图信息， 首先将初步增强的结果与原图采用一次拼接操作， 然后再采用两次卷积和反卷积操作， 实现图像进一步增强． 在这些卷积层中， 每层都包含权重和偏差两类参数， 其计算方式如下式：Ｆｉｘ）＝（〇＊ｘ￣＼￣ｂ（ ３）式中， Ｆ是卷积之后得到的特征图， 分别是权重和偏差， ：ｒ 是输人， 符号“”代表卷积计算．在整个框架中， 每个卷积层的后面都有一层激活函数ＲｅＬＵ， 其定义如下：Ｒ｛ｘ）＝ｍａｘ（ ０， Ｆ（ｘ） ）（ ４）其中， ＿Ｆ（：ｒ） 为卷积得到的结果，ｉ？（ ：ｒ） 是ＲｅＬＵ函数得到的结果． ＲｅＬＵ激活函数的目的是将有效信息保存的同时去除无效信息， 从而加快训练速度．２．１．２ 图像去噪模块低曝光图像在成像过程中除了光照不足以外，还会受多种噪声影响． 在低亮度情况下由于图像的对比度比较低， 噪声难以被发现． 但经过对低曝光图像增强后， 噪声同样也会出现被增强的问题．因此，为了去除噪声， 本文在图像增强模块之后增加了一个噪声去除模块．如图２ 的图像去噪模块（下端虚线框） 所示， 该模块的网络设计思想与增强模块类似， 采用渐进式的思想先后两次从粗到细来学习噪声图像， 实现对亮度重建图像的噪声去除． 在模块内部通过对多个尺寸的特征图卷积的方式来扩大感受视野， 学习更丰富的特征． 该网络模块的目的是学习图像中存在的噪声成分， 而通常图像中噪声被认为是一种加性噪声， 因此在两个子块后端采用了减法操作， 将增强后的图像与网络学习到的噪声成分相减， 得到去噪后的图像．由于该网络模块学习噪声成分并不需要考虑图像特征信息复用的问题， 因此在去噪网络模块中并没有采用类似于增强模块中的拼接操作．３８８ 计 算机 学 报 ２０２１年２． ２ 损失函数网络模型的执行功能主要取决于损失函数的定义． 在图像复原的网络模型学习中， 通常使用均方误差ＭＳＥ（ ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ） 或平均绝对误差ＭＡＥ（ ＭｅａｎＡｂｓｏｌ ｕｔｅＥｒｒｏｒ） 之类的误差指标来定义损失函数． 但是， 由于低曝光图像亮度较低， 仅使用诸如ＭＳＥ或ＭＡＥ之类误差指标可能导致结构失真， 例如模糊效应或伪影． 所以为了提高视觉质量， 本文设计由结构损失和双向约束损失构建新损失函数来训练网络． 其中， 图像亮度增强模块的损失函数定义如下：Ｌｅ￣ＬｇＬ／（５）式中， Ｌｓ为结构相似度损失函数， ＆为双向约束损失函数．图像去噪模块的损失函数定义为Ｌｎ＝Ｌｓｐ＋Ｌｓｎ（６）其中， 是正向结构损失函数， ＬＳ？是反向结构损失函数． 双向约束损失函数是从图像降质模型正反两个方向， 通过分别向真实数据逼近来定义的． 结构相似度损失函数是用来保证图像结构信息的完整性，具体定义将在下面给出．２．２．１ 结构相似度损失函数在获取全局信息的同时， 网络还通过对多个尺寸的特征图卷积来学习结构细节信息， 因此我们用多尺度结构相似性ＭＳＳＳＪＭ（ Ｍｕｌ ｔｉ ＳｃａｌｅＳｔｒｕｃｔｕａｌＳｍｎｌ ａｎｔｙ）［２ ３］质量评价方法作为损失函数， 以保持图像结构， 避免模糊． 其获取方式为ＭＳ（ａｉ ， ａ２）＝ｌ （ａ１， ａｚ）？ＪＪｃ（ａｉ， ａ２） ｆ ， ａ２ Ｙ－ （７）其中， Ａ、 ？为对应的图像输人， ／ （Ａ，Ａ） 为亮度信息，ｃ 为对比度信息ｙ为结构相似性，ｚ 为像素坐标，？为像素总数， 《、／？、 ７ 为调整重要性的参数， ￥５的值越大， 则结构信息越完整， 结构相似度损失函数定义为Ｌｍｓ（ａｊ， ａ２ ）＝ ｌ ＭＳ（ａｉ ，ａ２）（８）因此， 基于上述式（ ８） ， 图像亮度增强模块的结构相似度损失函数Ｌｓ可以定义为Ｌｓ＝ＬＭＳ （ｙｔ ， ｆｃ ｓｙ）（９）其中，＿ｙ 代表真实正常曝光图像， Ｓ为低曝光图像，／（ Ｓ） 为网络输出结果．２．２．２ 双向约束损失函数增强模块学习的目的是得到精确的照度图Ｌ＝／（ Ｓ）， 再根据成像模型（ ２） 计算得到增强后的图像ｉ？＝ｓ＊／（ｓｒ１． 传统的深度学习定义损失函数的方法， 主要是通过将网络输出与真实数据之间的差异最小化来训练网络， 这样可以让输出结果向真实数据快速接近． 因此， 本文也将考虑利用将图像增强结果与正常曝光图像之间差的绝对值最小化来训练增强网络模块， 其计算方法为ｌ ＾ （ Ｓ＊／１（Ｓ） ）！｜ （１０）其中， 〃指的是样本的数量，ｚ 指的是第ｚ 个样本．根据式（１） ， 我们也可以通过反推的方法来验证增强网络输出的照度图／（Ｓ） 的精确性， 即将／（ Ｓ）代人到式⑴中， 用真实的图像与厂ＨＳ） 相乘， 得到的降质图像与网络输人的低曝光图像进行比较， 如果越接近网络的输人图像Ｓ， 则说明网络模型输出结果越精确． 基于该思想， 本文将反推过程引人到网络训练中， 我们将上述式（ １０） 定义为正向推进损失，将反推过程定义为反向推进损失， 使网络不仅能正向逼近真实结果， 还能反向逼近输人， 达到动态平衡， 提尚网络准确率． 基于上述分析， 本论文提出一■种双向约束的损失函数， 其定义如下：Ｌｆ—ＬｐＬｎ（１１）其中，Ｌ？＝Ｘ＼Ｓｔ （ｙ＾ｆ（ＳＹ）ｔ＼ （１２）表示反向推进损失．双向约束损失的思想不仅在图像增强模块中有效， 在去噪模块中也能起到同样的作用． 同样基于双向约束的思想， 本文定义正向与反向结构损失函数来训练图像的去噪模块， 其分别表示为Ｌｓｐ＝ＬＭＳ（ｙ， ｙ？ｆ（ ｙ？）＇）（ １３）Ｌｓ？＝ＬＭＳ （ｙ？ ， ｙ＋ ｆ（ｙ？ ） ）（１４）其中， 是加噪的数据集，／（Ａ） 为去噪网络学习得到的噪声．２．３网络训练２．３．１ 训练方法由于增强模块和去噪模块是分开训练的， 所以在最小化损失函数的时候， 两个模块的损失函数也是不同的． 我们采用式（ ５） 来训练图像增强模块， 用式（６） 训练图像去噪模块， 优化方式为Ａｄａｍ梯度下降方法． 整个网络的训练过程如算法１ 所示．算法１．网络训练过程．输人： 单次训练样本数ｎ输出： 照度图／（Ｓ）， 去噪后图像步骤：ｆｏｒｎｕｍ＝１； ｎｕｍｄｔｅｒａｔｉ ｏｎｓｄｏ低曝光图像集黄淑英等： 基于渐进式双网络模型的低曝光图像增强方法 ３８９２ 期输出增强图： 只―／（Ｓ） ；梯度下降法更新图像增强损失函数；ｅｎｄｆｏｒｎｕｍ＝１；ｎｕｍ么ｉ ｔ ｅｒａｔ ｉ ｏｎｓｄｏ加噪图像输出去噪图： 只＇—／（Ａ） ；梯度下降法更新图像去噪损失函数；ｅｎｄ２．３．２网络设置整个网络共有２０ 个卷积层， 包含增强和去噪两个部分． 其中每个模块有三个采用步长为２ 的卷积层以及３ 个反卷积层， 在所有卷积层中， 除了３＊３大小卷积核以外， 还采用了１＊１ 大小的卷积核， 来增强模型的非线性， 减少参数量， 提高计算速度． 其具体参数设置如表１ 所示．网络部分图像亮度增强模块图像去噪模块卷积层输人１２３４５６输出输人１２３４输出表１ 网络参数表输出尺寸卷积核数量 卷积核尺寸步长１２２１２２１３ 实验结果与分析我们将在合成图像数据集和真实场景图像数据集上验证本文提出方法的有效性， 并与其它六种图像增强方法进行比对， 这六种方法分别是：ＢＩＭＥＦ［１ ７］、Ｒｅｔｉ ｎｅｘｎｅｔ［２０］、 ＵＭＥ［１ ８］、ＭＳＲＣＲ［１ ５］、ＭＦ［ １ ６ ］、ＤＯＮＧ［ ２ ４］＿此外， 对低曝光图像只经过第一个亮度增强模块后的结果与对亮度增强后图像进行去噪的结果也分别进行了展示， 来验证只对图像进行增强会产生噪声放大的问题， 进一步说明了本论文提出的渐进式的双网络模型的有效性． 相关的实验在３．３ 节进行了说明．３． １实验设置用于图像增强模块训练的数据库包括两个，一是低曝光图像对数据库（ Ｌ０Ｌ）［２°］， 其中包含了５００ 张低曝光图像和对应的正常曝光图像， 每张图像的大小为４００＊６００．Ｌ０Ｌ的大部分图像都是在自然场景下通过调整曝光时间来获得的， 场景包括房屋、 郊区、 街道等， 本文方法将使用该数据库４８５ 个图像对用于训练， 余下１５ 个图像对用于测试．另一个数据库为合成数据库， 该数据库从ＲＡＩＳＥ？数据库挑选１０００ 张原始图像， 用ＡｄｏｂｅＵｇｈｔｒｏｏｍ提供的接口， 调整图像亮度通道Ｙ的值，将这些图像合成低曝光图像， 得到１〇〇〇 对相应图像对． 最后， 将这些图像对调整为４００＊６００ 大小． 在对网络训练时， 为了方便计算， 所有输人都将调整为３８４＊３８４大小．对于去噪网络， 由于现有带噪声的低曝光图像数据库缺乏， 所以我们结合低曝光图像噪声的特征，在增强模块训练集的正常曝光图像上进行了泊松噪声添加的处理， 以此作为去噪模块的训练数据， 图３为部分原始数据及对应加噪数据展示．在训练时， 上述ＬＯＬ数据库及合成数据库所有图像都会作为训练数据， 出于方便计算， 输人与输出的像素值都会经过归一化操作变换到〇 至１ 之间．为了避免在计算正常曝光图像时出现分母为零的现象， 我们将照度图的值设定在０．００３９（１／２５５） 到１之间．网络学习率设置为〇．００００１．所有实验都在Ｗｉ ｎｄｏｗｓ１０ 系统、ＰｙＴｏｒｃｈ 框架以及英伟达２０８０ＴｉＧＰＵ上运行的．３９０ 计 算机 学 报 ２０２１年ｍｍｍ，■■■■■■Ｄ＿ＭＤ低曝光数据集正常曝光数据集（ａ） 部分低曝光数据集及对应的正常曝光数据集加噪数据集无噪数据集（ｂ） 部分加噪数据集及对应的无噪清晰数据集， 第二、四列为局部放大示例图３ 数据库实例３． ２ 客观指标为了证明本文方法的性能优势， 我们采用峰值信噪比（ＰＳｉＶ＾Ｒ） 、 结构相似度（ＳＳＪＭ）［２６］＆及色差值（ＣＪ￡：Ｄ￡：２０００）［２７］Ｈ种指标来对各种方法进行客观评价．ＰＳｉＶｉ？ 是一种全参的图像质量评价指标， 计算每个像素点之间的差异， 其计算方法为ｐ－１０ｌ＜ｍｋ）個其中． 指的是图像中像素点的最大．僮，一般取２５＆ＭＳＥ指的是．均方误＃，ＭＳＥ计算如下：ＩＩＷＭＳＥ＝－＾２２）２（１６）ｉｊＳ中， 是图輟长宽，Ｘ、Ｙ对应？像中的像素氇， Ｗ＊ｊ＞綦闺像中修翥点的坐：＿？ＰＳＩＶｉ？＿值越高＾则图像质量越好．ＳＳＺＭ也是全参的图像质黧评价指标， 其值？分布在： ０ 到１ 之间准越大说明差异越小ＪＪＴ面像赓璧越好？ 其计算方法为ＳＳ—Ｚ（ ％＊ｊｔＣｈ． ｉｆ＊ｓｉｃｉｉ ）（１７）其中，／ｘｙ分别表示两张廚片的盡犯、对比度、结构三Ｉｆ面的相似度，ＣＪＥＤＥ２０００ 能够测试增强图像与真实数据之间的色差＿ 霄先． 将ＲＧＢ圈像转换到Ｌａｂ 颜色會间， 参照ＣＪＥＤＥ２０００ 计算色羞； 的方法得到两幅图像ｙ和Ｌ对应的每个像素点之间的色齡ＡＥ 并按如下定义计箕两幅图像的色差：１Ｎｃ＝ｊ＾ＸＡＥ＜ｙｉ上）＜ｉ？）其中， Ｎ是为像素数■， ＡＥ表示Ｌａｂ 空间中ｗ个圓镩之间的每个像素的色差 为网络输出图傳，Ｌ为真实数据？ 色差值越低． 表示颜色越接近真实菌像．３． ３ 实验结果在这一部分， 我们将展示本文方法对ＬＯＬ数据集以及／合成数据库中部分菌像进行增强的着终结果？ 主观效果好坏是人眼嚴直接的感． 受＜ 如？４ 所示， 为本文方法与其它六种方：法在不同场景下搏到的结果■ 从图中可以奢出， ＢＩＭＥＦ得到了较为猜晰的细节， 并且控制了噪声的扩张， 但暴其结某整体亮度偏低． ＤＯＮ：Ｇ在：亮度増强方面比较有效， 但其在围像增强后出现了嗓舞放大的问题， 如在第二列和第三列中的西像，白色框中的平滑废域ｓ 可以着出噪声故大非常严重： ； 苘徉在第五列的图像中也出现了偏色问题： ＬＩＭＥ和ＭＳＲＣＲ方法在得到丰富细节信惠的同时， 产生Ｔ过曝的现象， 并且也出现了噪声放大的何题， 如白色柩：中区域可以观察勤明遽的过曝光情况＊所有顧像的堯度都高于真实图像＊同祥在：第五列中可以着到较严重的偏色问題． ＭＦ实现３＊较．为６然的结杲， 但也伴Ｍ了轻徵的嗓声与偏色效果；Ｒ＾ｔｉｎｅｘ部＆ｔ 出现了较严重的色彩．失真和噪声敗大问题， 如平滑区域Ｗ以观察到＇较产重的噪＿拿，在白色框区域也可以看到明显的色彩失真． 与这些方法相比ｒ我们的方法既实现了盡度增强，图像的色彩更自然， 也没有产生多佘的噪Ｆ， 其结果也最接近离实虜像．黄淑英等： 基于渐进式双网络模型的低曝光图像增强方法 ３９ １ ２ 期ＤＯＮＧ本文真实图像图４ 图像增强结果除了主观效果以外， 本文也利用了３．２ 节中介绍的客观指标来对各方法进轩了比较． Ｂ５绐出了本文方法着其它六种方法． 对１５ 幅图像进行増强得到餘客．观搢标和ｅｉＥＤＦ２０： ００的、警均偉＊： Ｑｕｒｓ隹狄数据是本文方法的靖擧． 灌过比较可以看街． 本文方法的结某锝到的 、 ＳＳＪＭ及ＣＩＥＤＥ２０００值与其它六种方法相比都是最优的， 说明了本文方法的有效性．３９ ２ 计導机攀报： ＿１苹０．５０最逅＊ 为了验证本文方法所提出的浙进式双网络模型及双向约東损失函数的有效性， 我们对本文构建的两络做了太量前实验进行对比？ 图Ｓ 给出ｆ双浙进网络框架的几种变形网祭所得结桌的客观指标ＰＳＭＲ和ＳＳｆＭ的变化趋势？ 其中， 纵坐标为客观指标懷，． 横坐标为网讚训练的迭代次数． 图中黑色粗线条显： 示的是本文渐进式双网络模型的Ｍ果值；黑色虚线条显示的是没有舉用＇欢向绮束损朱得到的结粜值； Ｍ色点划幾条为本文方法塞础上加深网络深度〖 精细部分采用６ 个卷视层结构 到的结果值； 黑色细线条是只有第一部分的增强模块得到的结果眞？ 从？（ａ） 和（ｂ）中指标曲线的走勢可以看出ｓ只有第一部分增強模块得到的结果计算的ＰＳＭ？和怒ＪＭ值都比较低； 其它三种网络结构包含去躁０．８５０．８００． ７５§０．７０泛０．６５０．６００．５５模块的渐进式增强网络得到的增强结果的ＰＳＮＪ？和ＳＳＩＭ值都有了明， 显的提高｜但从黑色点划线条的走势来看， 增加精细化部分网络的深度相比釆用四个卷积层降低了客观指标值ｊ从黑色虛钱条和黑色粗线条的走勢可以看迅， 采用本文提出的双向约束损失函数对两络的训． 练进一歩提高了两络的锖确性， 得封了吏高的揩标． 由此可以说明， 本文提：出的网络结构是有效的，具有较强鲁棒性－４ 总结与展望本文提出了一种渐进式双网络结构的低曝光？像增强方法针对低曝光图像的亮． 度降质和噪声降质的坷题＊ 采： 用渐进式的思想先对图像进行堯废和色彩的增强， 然后再去除被放大的噪声， 针对这两： 步ｆ喿作？举文输纖了菌个渐翁式 模： 輿： 来拟合现实场景亮度＊暗到盡傭亮度变化． 及从粗到细的图僳恢复过． 隹， 使绾皋更自． 然？ 为了更圩地训练网络＾本文提出一种双向约束的损失函数， 不仅能疋向逼近真实结果， 还能反向迤近输入， 达到动态平衡， 提高网＿确象为了验证所提出的方法的有效性， 本文做了大薰前实验，并与多个方法从主观和客观苘方面迸行比较ｒ实验结果也验证了本文方法具宥更优， 的性能．未来我们计划将视频监控斑趙与图＃增莪箅法研究相结合ｆ 提窗实时视频监控在夜间或者光照不足等情况下的监控能力？图６［１］ＲａｏＹ，ＣｈｅｎＬ．Ａｓｕｒｖｅｙｏｆｖｉｄｅｏｅｎｈａｎｃｅｍｅｎｔｔｅｃｈｎｉｑｕｅｓ．ＪｏｕｒｎａｌｏｆＩｎｆｏｒｍａｔｉｏｎＨｉｄｉｎｇａｎｄＭｕｌｔｉｍｅｄｉａＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，２０１２，１３（１）：７１－９９２１参考 文 献３０ｒ２５■２０－１５■１０－ＰＳＮＲ＼ｌｌ（ａ） 各方法的ＰＳＮＲ指标比较ＳＳＩＭｔＣＩＥＤＥ２０Ｑ０ｉ（ｂ） 各方法的ＳＳＩＭ指标比较 （ｃ） 各方法的ＣＩＥＤＥ２０００指标比较图５ 本文方法与其它方法的ＰＳＭ？、ＳＳＪＭ以及ＣＪＥＤＥ２０００ 指标比较（其中， ＰＳＭ？和ＳＳＪＭ的值越大图像质量越好， ＣＪＥＤＥ２０００ 越小图像质量越好）？Ｍ－Ｌ－ＤＭ－Ｍ－Ｎ１５９１３１７２１２５２９３３３７４１４５４９５３５７６１６５６９７３７７８１８５８９９３９７ｅｐｏｃｈ（ａ）ＳＳＩＭ指标结果图Ｍ－－ －ＤＭＭ－Ｌ－＾ＭＮ（１５９１３１７２１２５２９３３３７４１４５ ４９５３５７６１６５６９７３７７８１８５８９９３９７ｅｐｏｃｈ（ｂ）ＰＳＮＲ指标结果图对比实验结果（Ｍ为本文方法， ＤＭ为在本文方法基础上加深网络深度， Ｍ－Ｌ为本文方法不使用双向约束损失函数， Ｍ－Ｎ为本文方只含增强模块）６５４３２２２２２２５ＡＴＣＯＱＨ黄淑英等： 基于渐进式双网络模型的低曝光图像增强方法 ３９ ３２ 期［２］ＬｉＬ， ＷａｎｇＬ， ＷａｎｇＷ， ＧａｏＷ． Ａｌｏｗｌｉｇｈｔ ｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ ｍｅｔ ｈｏｄｆｏｒｂｏｔ ｈｄｅｎｏｉｓｉｎｇａｎｄｃｏｎｔ ｒａｓｔｅｎｌａｒｇｉ ｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ． ＱｕｅｂｅｃＣｉｔｙ， Ｃａｎａｄａ，２０１５： ３７３０３７３４［３］ＬｉｎＳ， ＷｏｎｇＣ， ＲａｈｍａｎＭ， ｅｔａｌ． Ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ｕｓｉ ｎｇｔｈｅａｖｅｒａｇｉｎｇｈｉ ｓｔｏｇｒａｍｅｑｕａｌｉｚａｔｉ ｏｎ（ ＡＶＩ ＩＥＱ）ａｐｐｒｏａｃｈｆ ｏｒｃｏｎｔ ｒａｓｔ ｉｍｐｒｏｖｅｍｅｎｔａｎｄｂｒｉｇｈｔ ｎｅｓｓｐｒｅｓｅｒｖａｔ ｉｏｎ． Ｃｏｍｐｕｔｅｒｓ＆－Ｅｌｅｃｔ ｒｉｃａｌＥｎｇｉｎｅｅｒｉ ｎｇ，２０１５ ， ４６： ３５６ ３７０［４］ＳｕｊｅｅＲ？Ｐａｄｍａｖａｔ ｈｉＳ． Ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ｔ ｈｒｏｕｇｈ ｐｙｒａｍｉｄｈｉｓｔｏｇｒａｍｍａｔ ｃｈｉ ｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩＥＥＥＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＣｏｍｍｕｎｉｃａｔ ｉｏｎａｎｄＩｎｆｏｒｍａｔ ｉｃｓ．Ｃｏｉｍｂａｔ ｏｒｅ， Ｉｎｄｉａ，２０１７ ： １ ５［５］ＳｕｎＳＹ，ＷａｎｇＬＰ，ＺｈａｎｇＢＭ，ＪｉｎｇＺＬ． Ｌｏｗｌｉｇｈｔｌｅｖｅｌｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔｂａｓｅｄｏｎｄｕａｌ ｉｓｔ ｉｃｓｕｂｉｍａｇｅａｎｄｔ ｗｏｄｉｍｅｎｓｉｏｎａｌｈｉｓｔｏｇｒａｍａｎａｌｙｓｉｓ． ＪｏｕｒｎａｌｏｆＩｎｆｒａｒｅｄａｎｄＭｉｌｌｉ ｍｅｔｅｒＷａｖｅｓ，２００３ ，２２（ ３） ： ２２０２２４［６］ＪｏｂｓｏｎＤＪ？ ＲａｈｍａｎＺＵ， Ｗｏｏｄｅｌ ｌＧＡ． Ｐｒｏｐｅｒｔ ｉｅｓａｎｄｐｅｒｆ ｏｒｍａｎｃｅｏｆａｃｅｎｔｅｒ／ｓｕｒｒｏｕｎｄＲｅｔ ｉｎｅｘ． ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉ ｎｇ，１９９７，６（ ３） ： ４５１ ４６２［７］ＺｈａｎｇＱｉｎｇ，ＹｕａｎＧａｎ Ｚｈａｏ， ＸｉａｏＣｈｕｎＸｉａ，ｅｔ ａｌ． Ｈｉｇｈｑｕａｌｉｔｙｅｘｐｏｓｕｒｅｃｏｒｒｅｃｔ ｉｏｎｏｆｕｎｄｅｒｅｘｐｏｓｅｄｐｈｏｔ ｏｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ ＡＣＭＭｕｌｔ ｉｍｅｄｉａＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａＣｏｎｆｅｒｅｎｃｅ．Ｓｅｏｕｌ， Ｋｏｒｅａ， ２０１８： ５８２ ５９０［８］ＦｕＸｕｅ Ｙａｎｇ， ＬｉａｏＹｉｎｇＩ Ｉａｏ ， ＺｅｎｇＤｅ Ｌｕ， ｅｔ ａｌ． Ａｐｒｏｂａｂｉｌｉｓｔ ｉｃｍｅｔｈｏｄｆｏｒｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔｗｉｔｈｓｉ ｍｕｌｔ ａｎｅｏｕｓｉｌｌｕｍｉｎａｔｉｏｎａｎｄｒｅｆ ｌｅｃｔ ａｎｃｅｅｓｔ ｉｍａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉ ｎｇ， ２０１５ ， ２４（ １２）： ４ ９６５ ４９７７［９］ＬｉＭａ Ｄｉｎｇ， ＬｉｕＪｉ ａ Ｙｉｎｇ， ＹａｎｇＷｅｎ Ｉ Ｉ ａｎ， ＧｕｏＺｏｎｇＭｉｎｇ． Ｊｏｉｎｔｄｅｎｏｉｓｉ ｎｇａｎｄｅｎｈａｎｃｅｍｅｎｔｆｏｒｌｏｗｌｉｇｈｔ ｉｍａｇｅｓｖｉａＲｅｔ ｉｎｅｘｍｏｄｅｌ． Ｉｎｔ ｅｒｎａｔ ｉｏｎａｌＦｏｒｕｍｏｎＤｉｇｉｔ ａｌＴＶａｎｄＷｉｒｅｌｅｓｓＭｕｌｔｉｍｅｄｉａＣｏｍｍｕｎｉｃａｔ ｉｏｎｓ？ ２０１７： ９１９９［１０］ＬｏｒｅＫＧ， Ａｋｉｎｔ ａｙｏＡ， ＳａｒｋａｒＳ． ＬＬＮｅｔ： Ａｄｅｅｐａｕｔｏｅｎｃｏｄｅｒａｐｐｒｏａｃｈｔｏｎａｔ ｕｒａｌｌｏｗｌｉｇｈｔｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ ．Ｐａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，２０１７ ， ６１： ６５０ ６６２［１１］ＺｈａｎｇＹｏｎｇＩ Ｉ ｕａ，ＺｈａｎｇＪｉａ Ｗａｎ， ＧｕｏＸｉ ａｏ Ｊｉｅ． Ｋｉｎｄｌｉ ｎｇｔ ｈｅｄａｒｋｎｅｓｓ： Ａｐｒａｃｔｉ ｃａｌｌｏｗｌｉｇｈｔＩ ｍａｇｅＥｎｈａｎｃｅｒ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＡＣＭＩｎｔｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌ ｔｉｍｅｄｉａ． Ｎｉｃｅ，Ｆｒａｎｃｅ，２０１９： １６３２ １６４０［１２］ＴａｏＬ， ＺｈｕＣ， ＸｉａｎｇＧＱ， ｅｔａｌ． ＬＬＣＮＮ： Ａｃｏｎｖｏｌ ｕｔ ｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｌｏｗｌｉｇｈｔｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ／ ／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＶｉｓｕａｌＣｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ．Ｆｌｏｒｉｄａ ， ＵＳＡ， ２０ １７： １ ４［１３］ＳｈｅｎＬ， ＹｕｅＺＩ Ｉ ， ＦａｎｇＦ， ｅｔａｌ． ＭＳＲｎｅｔ： Ｌｏｗｌｉｇｈｔ ｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ ｕｓｉｎｇｄｅｅｐｃｏｎｖｏｌｕｔ ｉｏｎａｌｎｅｔ ｗｏｒｋ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７１１． ０ ２４８ ８，２０１７［１４］ＬａｎｄＥＩ Ｉ ． ＴｈｅＲｅｔ ｉｎｅｘｔ ｈｅｏｒｙｏｆｃｏｌｏｒｖｉｓｉｏｎ． Ｓｃｉｅｎｔ ｉｆｉ ｃＡｍｅｒｉｃａｎ，１９７７，２３７（６） ： １０８ １２９［１５］ＪｏｂｓｏｎＤＪ， ＲａｈｍａｎＺＵ， ＷｏｏｄｅｌｌＧＡ． ＡｍｕｌｔｉｓｃａｌｅＲｅｔｉｎｅｘｆｏｒｂｒｉｄｇｉ ｎｇｔ ｈｅｇａｐｂｅｔ ｗｅｅｎｃｏｌｏｒｉｍａｇｅｓａｎｄｔ ｈｅｈｕｍａｎｏｂｓｅｒｖａｔ ｉｏｎｏｆ ｓｃｅｎｅｓ． ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＩ ｍａｇｅＰｒｏｃｅｓｓｉｎｇ，１９９７， ６（７） ； ９６５ ９７６［１６］ＦｕＸ， ＺｅｎｇＤ， Ｉ ｌ ｕａｎｇＹ， ｅｔａｌ． Ａｆｕｓｉｏｎｂａｓｅｄｅｎｈａｎｃｉｎｇｍｅｔ ｈｏｄｆｏｒｗｅａｋｌｙｉｌｌｕｍｉｎａｔｅｄｉｍａｇｅｓ． ＳｉｇｎａｌＰｒｏｃｅｓｓ， ２０１ ６，１２ ９： ８２ ９６［１７］ＹｉｎｇＺ， ＬｉＧ， ＧａｏＷ． Ａｂｉｏｉｎｓｐｉｒｅｄｍｕｌｔ ｉ ｅｘｐｏｓｕｒｅｆｕｓｉｏｎｆｒａｍｅｗｏｒｋｆｏｒｌｏｗｌｉｇｈｔｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７１１． ００５９１ ， ２０１７［１８］ＧｕｏＸ， ＬｉＹ， ＬｉｎｇＩ Ｉ． ＬＩ ＭＥ： Ｌｏ ｗｌｉｇｈｔｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔｖｉａｉｌ ｌｕｍｉｎａｔ ｉｏｎｍａｐｅｓｔ ｉｍａｔｉｏｎ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩ ｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１７ ，２６（ ２） ： ９８ ２ ９９３［１９］ＣｈｅｎＣｈｅｎ，ＣｈｅｎＱｉ Ｆｅｎｇ？ Ｋｏｌｔ ｕｎＶ． Ｌｅａｒｎｉｎｇｔｏｓｅｅｉｎｔｈｅｄａｒｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉ ｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｓａｌｔ ＬａｋｅＣｉｔｙ， Ｕｔａｈ，２０１８：３２９１３３ ００［２０］ＷｅｉＣ， ＷａｎｇＷＪ， ＹａｎｇＷＩ Ｉ ， ＬｉｕＪＹ． ＤｅｅｐＲｅｔｉｎｅｘｄｅｃｏｍｐｏｓｉ ｔｉｏ ｎｆ ｏｒｌｏｗｌ ｉｇｈｔ ｅｎｈａｎｃｅｍｅｎｔ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＢｒｉ ｔｉｓｈＭａｃｈｉｎｅＶｉｓｉｏｎＣｏｎｆｅｒｅｎｃｅ． Ｎｅｗｃａｓｔｌｅ，ＵＫ，２０１８：１ １０［２１］ＪｉａｎｇＹ， ＧｏｎｇＸ， Ｌｉ ｕＤ， ｅｔａｌ． Ｅｎｌｉｇｈｔ ｅｎＧＡＮ： Ｄｅｅｐｌｉｇｈｔｅｎｈａｎｃｅｍｅｎｔｗｉｔｈｏｕｔｐａｉｒｅｄｓｕｐｅｒｖｉｓｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １９０６． ０６９７２ ，２０１９［２２］ＷａｎｇＲ， ＺｈａｎｇＱ， ＦｕＣ， ｅｔａｌ． Ｕｎｄｅｒｅｘｐｏｓｅｄｐｈｏｔｏｅｎｈａｎｃｅｍｅｎｔｕｓｉｎｇｄｅｅｐｉｌｌｕｍｉｎａｔｉｏｎｅｓｔｉｍａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ，ＬｏｎｇＢｅａｃｈ，ＵＳＡ，２０ １９： ６８４９ ６８ ５７［２３］ＷａｎｇＺ， Ｓｉｍｏｎｃｅｌ ｌｉＥＰ， ＢｏｖｉｋＡＣ． Ｍｕｌｔｉｓｃａｌｅｓｔ ｒｕｃｔ ｕｒａｌｓｉｍｉｌａｒｉｔｙｆｏｒｉｍａｇｅｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅ３７ ｔ ｈＡｓｉｌｏｍａｒＣｏｎｆｅｒｅｎｃｅｏｎＳｉｇｎａｌｓ？Ｓｙｓｔ ｅｍｓａｎｄＣｏｍｐｕｔｅｒｓ．Ｐａｃｉｆｉ ｃＧｒｏｖｅ，ＵＳＡ，２００３ ： １３９８ １４０２［２４］ＤｏｎｇＸ， ＷａｎｇＧ，ＰａｎｇＹ，ｅｔａｌ． Ｆａｓｔｅｆ ｆｉｃｉ ｅｎｔ ａｌｇｏｒｉｔｈｍｆｏｒｅｎｈａｎｃｅｍｅｎｔｏｆ ｌｏｗｌｉｇｈｔｉｎｇｖｉｄｅｏ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔｈｅＩＥＥＥＩｎｔ ｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａａｎｄＥｘｐｏ． Ｂａｒｃｅｌｏｎａ？Ｓｐａｉｎ，２０１１： １ ６［２５］ＤａｎｇＮｇｕｙｅｎＤＴ， Ｐａｓｑｕｉ ｎｉＣ， Ｃｏｎｏｔ ｔ ｅｒＶ， ＢｏａｔｏＧ．ＲＡＩＳＥ： Ａｒａｗｉｍａｇｅｓｄａｔａｓｅｔｆ ｏｒｄｉｇｉｔａｌｉｍａｇｅｆ ｏｒｅｎｓｉｃｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡＣＭＭｕｌｔｉｍｅｄｉａＳｙｓｔ ｅｍｓＣｏｎｆｅｒｅｎｃｅ．Ｏｒｅｇｏｎ， ＵＳＡ， ２０１５： ２１９ ２２４［２６］ＷａｎｇＺ， ＢｏｖｉｋＡＣ， ＳｈｅｉｋｈＩ ＩＲ， Ｓｉ ｍｏｎｃｅｌｌｉＥＰ． Ｉ ｍａｇｅｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔ： Ｆｒｏｍｅｒｒｏｒｖｉｓｉｂｉｌｉｔｙｔｏｓｔ ｒｕｃｔ ｕｒａｌｓｉｍｉｌａｒｉｔｙ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩ ｍａｇｅＰｒｏｃｅｓｓｉ ｎｇ， ２０１４ ，１３ （ ４） ： ６００ ６１２［２７］ＳｈａｒｍａＧ， ＷｕＷＣ， ＤａｌａｉＥＮ． ＴｈｅＣＩＥＤＥ２０００ｃｏｌ ｏｒｄｉｆｆｅｒｅｎｃｅｆｏｒｍｕｌａ ： Ｉ ｍｐｌｅｍｅｎｔ ａｔ ｉｏｎｎｏｔｅｓ？ ｓｕｐｐｌｅｍｅｎｔａｒｙｔｅｓｔｄａｔ ａ， ａｎｄｍａｔ ｈｅｍａｔｉ ｃａｌｏｂｓｅｒｖａｔ ｉｏｎｓ． ＣｏｌｏｒＲｅｓｅａｒｃｈａｎｄＡｐｐｌｉｃａｔ ｉｏｎｓ，２００５， ３０ （１） ： ２１３ ０３９ ４ 计 算机 学 报 ２０２１年ＨＵＡＮＧＳｈｕ－Ｙｉｎｇ，Ｐｈ．Ｄ．，ａｓｓｏｃｉａｔｅｐｒｏｆｅｓｓｏｒ．Ｈｅｒｍａｉｎｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｍａｃｈｉｎｅｌ ｅａｒｎｉｎｇ．ＨＵＷｅｉ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉ ｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｉｍａｇｅｄｅｈａｚｉｎｇａｎｄｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ．ＹＡＮＧＹｏｎｇ， Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｍａｉｎｒｅｓｅａｒｃｈｉ ｎｔｅｒｅｓｔｓｉ ｎｃｌ ｕｄｅｉｍａｇｅｐｒｏｃｅｓｓｉ ｎｇａｎｄｍａｃｈｉｎｅｌ ｅａｒｎｉｎｇ．ＬＩＨｏｎｇ－Ｘｉａ， Ｍ．Ｓ．ｃａｎｄｉ ｄａｔｅ．Ｈｅｒｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｄｅｅｐｌｅａｒｎｉｎｇａｎｄｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ．ＷＡＮＧＢｉ ｎ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉ ｎｃｌ ｕｄｅｄｅｅｐｌｅａｒｎｉ ｎｇａｎｄｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ．ＢａｃｋｇｒｏｕｎｄＷｉｔｈｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆａｒｔｉｆｉｃｉａｌｉｎｔｅｌ ｌｉｇｅｎｃｅａｎｄｔｈｅｅｘｃｅｌｌ ｅｎｔｐｅｒｆｏｒｍａｎｃｅｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｉ ｎｔｈｅｆｉｅｌｄｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ，ｔｈｅｍｅｔｈｏｄｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｈａｓｂｅｅｎａｐｐｌ ｉｅｄｔｏｖａｒｉｏｕｓｆｉｅｌｄｓｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｓｕｃｈａｓｉｍａｇｅｆｕｓｉｏｎ，ｉｍａｇｅｄｅｆｏｇｇｉｎｇ，ｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔ，ｉｍａｇｅｓｕｐｅｒ？ｒｅｓｏｌ ｕｔｉｏｎａｎｄｉｍａｇｅｑｕａｌ ｉｔｙｅｖａｌｕａｔｉｏｎ．Ｅｘｐｅｒｉ ｍｅｎｔａｌ ｒｅｓｕｌ ｔｓｓｈｏｗｔｈａｔｄｅｅｐｌｅａｒｎｉｎｇｉｓｅｆｆｅｃｔｉｖｅｆｏｒｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎａｎｄａｎａｌｙｓｉｓｏｆｄｉｇｉｔａｌｉｍａｇｅｓ．Ｗｉｔｈｔｈｅｒａｐｉｄｉｎｃｒｅａｓｅｏｆｔｈｅｎｕｍｂｅｒａｎｄｔｙｐｅｓｏｆｉ ｍａｇｅｄａｔａ，ｔｈｅｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｄｅｅｐｌｅａｒｎｉｎｇｍｅｔｈｏｄｈａｓｂｅｅｎｇｒｅａｔｌｙｃｈａｌｌ ｅｎｇｅｄ．Ｔｈｅｒｅａｒｅｔｈｒｅｅｋｉｎｄｓｏｆｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔｍｅｔｈｏｄｓ ，ｗｈｉｃｈａｒｅｂａｓｅｄｏｎｈｉｓｔｏｇｒａｍｅｑｕａｌｉｚａｔｉｏｎ，Ｒｅｔｉｎｅｘｔｈｅｏｒｙａｎｄｄｅｅｐｌ ｅａｒｎｉｎｇ．Ｈｉｓｔｏｇｒａｍｂａｓｅｄｍｅｔｈｏｄｓｍａｉｎｌｙｅｎｈａｎｃｅｔｈｅｖｉｓｕａｌｅｆｆｅｃｔｂｙｅｎｈａｎｃｉｎｇｔｈｅｉｍａｇｅｃｏｎｔｒａｓｔ．Ｓｕｃｈｍｅｔｈｏｄｓｈａｖｅｌｏｗｃｏｍｐｕｔａｔｉｏｎａｌｃｏｍｐｌ ｅｘｉｔｙ，ｂｕｔａｒｅｐｒｏｎｅｔｏｄｅｔａｉｌｌｏｓｓａｎｄｃｏｌｏｒｄｅｖｉａｔｉｏｎｐｒｏｂｌ ｅｍｓ．Ｒｅｔｉｎｅｘｂａｓｅｄｍｅｔｈｏｄｓｃａｎｇｅｔｔｈｅｂｅｔｔｅｒｖｉｓｕａｌｅｆｆｅｃｔ ，ｂｕｔｔｈｅｙｓｔｉｌ ｌｈａｖｅｌ ｉｍｉｔａｔｉｏｎｓｉｎｍｏｄｅｌｓｏｌｖｉｎｇ．Ｄｅｅｐｌｅａｒｎｉｎｇｂａｓｅｄｍｅｔｈｏｄｓｃａｎａｖｏｉｄｔｈｅｌ ｉｍｉｔａｔｉｏｎｓｏｆｍｏｄｅｌｓｏｌｖｉｎｇ，ｂｕｔｔｈｅｙａｌｓｏｉｇｎｏｒｅｔｈｅｉｍａｇｉｎｇｐｒｉｎｃｉｐｌ ｅｏｆｉｍａｇｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ ，ｗｅｃｏｍｂｉｎｅｔｈｅａｄｖａｎｔａｇｅｓｏｆｄｅｅｐｌｅａｒｎｉｎｇａｎｄｐｈｙｓｉｃａｌｍｏｄｅｌ ，ａｎｄｐｒｏｐｏｓｅａｌｏｗｅｘｐｏｓｕｒｅｉ ｍａｇｅｅｎｈａｎｃｅｍｅｎｔｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｐｒｏｇｒｅｓｓｉｖｅｄｕａｌｎｅｔｗｏｒｋｍｏｄｅｌ，ｗｈｉｃｈｉｓｄｉｖｉｄｅｄｉｎｔｏｔｗｏｍｏｄｕｌｅｓ：ｉｍａｇｅｅｎｈａｎｃｅｍｅｎｔａｎｄｉｍａｇｅｄｅｎｏｉ ｓｉｎｇ．Ｗｅａｌｓｏｐｒｏｐｏｓｅａｂｉｄｉｒｅｃｔｉｏｎａｌｃｏｎｓｔｒａｉｎｔｌｏｓｓｆｕｎｃｔｉｏｎｔｏｍａｋｅｔｈｅｌ ｅａｒｎｉｎｇｒｅｓｕｌｔｏｆｎｅｔｗｏｒｋａｐｐｒｏａｃｈｔｈｅｒｅａｌｄａｔａｆｒｏｍｔｈｅｐｏｓｉｔｉｖｅａｎｄｎｅｇａｔｉｖｅｄｉｒｅｃｔｉｏｎｓ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒｃａｎａｃｈｉ ｅｖｅｅｘｃｅｌｌ ｅｎｔｒｅｓｕｌ ｔｓ．