摘 要 盲图像复原过程中, 图像质量评价至关重要. 通过分析重构图像质量与其总变分值之间的关系, 提出了用于图像复原的一种基于总变分(Total bounded variation, TBV)的图像质量评估方法, 并构建关系模型, 证明了原始清晰图像的总变分值在所有模糊图像中具有极大值, 且在所有重构图像的变分值中具有极小值. 通过分析, 得出结论: 当总变分取极值时, 基于所提度量方法, 可以获得更好的盲图像重构效果. 最后, 比较了原始清晰图像、模糊图像和重构图像之间的变分值, 计算机仿真验证了该方法的有效性和准确性.
关键词 总变分, 图像质量, 盲图像复原, 评价函数
A Modern Image Quality Measurement Method for Blind Image Restoration
Abstract In the process of blind image restoration, image quality assessment is of paramount importance. In this paper,A novel image quality assessment method is presented by analyzing the relation between reconstructed image quality andits total bounded variation (TBV), on this basis, the relationship model is constructed, that is, the original clear image0sTBV is maximum in all the blurring image, and it is minimal in all the reconstructed image. Further, based on the metricmethod proposed, the better blind image reconstruction e®ect is obtained when the TBV is extremal. Finally, the TBV oforiginal clear image, blurred images and blind restored images are compared, the simulation results shows the validationand veracity of the method proposed.
Key words Total bounded variation (TBV), image quality, blind image restoration, evaluation function
　　在数字图像处理中, 盲图像复原技术广泛应用于各种实际问题. 在此过程中, 若能有效评价重构图像的质量, 可以使得复原图像的清晰度更佳[1¡2].
　　图像模糊分为散焦模糊和运动模糊两种. 学术界先后提出了不同的评价函数, 对去模糊图像的质量进行评价. 除了已使用多年的主观评价方法外, 并没有更加有效的评价准则. 然而主观评价方法速度较慢, 操作相对繁琐, 人工成本较高.
　　因此, 近年来, 客观图像质量评价方法逐渐成为研究热点. 主要分两大类: 一类基于数学定义, 诸如均方误差、峰值信噪比、信噪比等. 第二类基于人眼视觉, 但效果欠佳. 在众多类型的数字图像系统中,空间域方法简单而快速, 却不能灵敏的反映原始清晰图像的微小变化, 频域方法弥补了空间域方法的缺陷, 但其程序自动运行的计算速度却过于缓慢[3].
　　Rudin等将变分原理应用于图像恢复和盲卷积[4], Blomgren 等拓展了变分理论[5]，将其用于处理向量值. 基于上述基础, 本文研究了盲图像复原过程中, 一种基于总变分(Total bounded variation,TBV)的图像质量评估方法. 理论上说明了去模糊图像的质量与其总变分值之间的关系, 并阐述了原始清晰图像的变分值在所有模糊图像中具有极大值,而在所有重构图像的变分值中具有极小值. 当总变分取极值时, 基于所提度量方法, 可以获得更好的盲图像重构效果. 最后, 文章比较了原始清晰图像、模糊图像和重构图像之间的变分值, 计算机仿真验证了该方法的有效性和准确性.
　　1 总变分
　　变分有界函数空间的定义为[6;8]4期 成孝刚等: 基于变分的盲图像复原质量评价指标 419BV(­) :=fu;Z­jDujd­ <1g (1)上式中, Du表示u在分布意义上的导数. 由此, 可以得到有界变分函数的全变分定义, 即:T BV(u) :=Z­jrujdx (2)在盲图像复原中, 令f(x; y)表示原始清晰图像的像素, 总有界变差为f(x; y)在x和y方向变化速率绝对值的和. 则[7]:T BVf =Z1¡1Z1¡1µ¯@f(x; y)@x¯+¯@f(x; y)@y¯¶dxdy(3)清晰图像f(x; y) 可因多种原因而模糊, 令为g(x; y)g(x; y) =h(x; y)¤f(x; y) +´(x; y) (4)上式中, h(x; y) 为退化函数, 使得清晰图像f 变模糊. ´(x; y) 表示噪声. 为了简化问题, 忽略噪声项.则有:g(x; y) =Z1¡1Z1¡1f(u; v)h(x¡u; y¡v)dudv (5)h(x; y)有两个非常重要的约束项, 即:h(x; y)¸0; x; y 2R (6)Z1¡1Z1¡1h(x; y)dxdy= 1 (7)基于上述约束项, 使得模糊图像g比原始清晰图像f模糊, 因此模糊图像g的TBV可以表示为[8¡9]T BVg =Z1¡1Z1¡1ï@g(x; y)@x¯+¯@g(x; y)@y¯!dxdy(8)
　　2 理论描述
　　为了准确度量盲图像复原的质量, 文章研究了上述总变分理论, 并构建了总变分值与图像质量之间的关系模型. 阐述了极值TBV可以作为重构图像质量评估的准则. 如式(9) 和(10) 所示, 原始清晰图像的总变分值远大于模糊图像的TBV,随着重构图像不断接近原始清晰图像, 其TBV逐渐变小,且原始清晰图像的TBV在所有去模糊图像中具有最小值.Z1¡1Z1¡1µ¯@g(x; y)@x¯+¯@g(x; y)@y¯¶dxdy·Z1¡1Z1¡1µ¯@f(u; v)@u¯+¯@f(u; v)@v¯¶dudv(9)Z Z µ¯@f@x¯+¯@f@y¯¶dxdy= min (10)计算机仿真中, 通过对比原始清晰图像、模糊图像以及重构图像的变分值，验证了上述方法的有效性.首先说明模糊图像g(x; y)的TBV小于原始清晰图像f(x; y)的TBV.式(6) 和式(7) 为h(x; y)的两个约束, 于是有:@g(x; y)@x=Z1¡1Z1¡1@f(u; v)@uh(x¡u; y¡v)dudv(11)@g(x; y)@x=Z1¡1Z1¡1@f(u; v)@vh(x¡u; y¡v)dudv(12)因此[9¡10]Z1¡1Z1¡1½¯@g(x; y)@x¯+¯@g(x; y)@y¯¾dxdy=Z1¡1Z1¡1½¯Z1¡1Z1¡1@f(u; v)@uh(x¡u; y¡v)dxdy¯+¯Z1¡1Z1¡1@f(u; v)@vh(x¡u; y¡v)dudv¯¾dxdy·Z1¡1Z1¡1½Z1¡1Z1¡1¯@f(u; v)@u¯h(x¡u; y¡v)dudv+Z1¡1Z1¡1¯@f(u; v)@v¯h(x¡u; y¡v)dudv¾dxdy=Z1¡1Z1¡1½ µ¯@f(u; v)@u¯+¯@f(u; v)@v¯¶£¡Z1¡1Z1¡1h(x¡u; y¡v)dxdy¢¾dudv=Z1¡1Z1¡1½¯@f(u; v)@u¯+¯@f(u; v)@v¯¾dudv(13)即T BVg ·T BVf, 即模糊图像的TBV小于清晰图像的TBV,如式(9) 所示.式(10)表明原始清晰图像的TBV在所有去模糊图像的TBV中最小, 下面对此进行说明.420 自 动 化 学 报 39卷对于运动模糊图像, 假设图像f(x; y)进行平面运动, x0(t)和y0(t)分别为x和y方向上运动的时变分量. 模糊图像g(x; y)的傅立叶变换如下:G(u; v) =F(u; v)H(u; v) (14)其中, 退化函数H(u; v)表示为H(u; v) =ZT0e¡j2¼¡ux0(t)+vy0(t)¢dt (15)其中, T为运动模糊时间.假设图像进行匀速直线运动, 速度指定为x0(t) =at=T, y0(t) =bt=T, 于是退化函数变为H(u; v) =T¼(ua+vb)sin¡¼(ua+vb)¢e¡j¼(ua+vb)(16)对于运动模糊图像复原, 目标是通过模糊图像g(x; y)估计出时变分量x0(t), y0(t). 如果x0(t)和y0(t)已知, 那么可以估计退化函数. 于是可以得到原始清晰图像:F(u; v) =G(u; v)H(u; v)(17)为了说明式(10),假设退化函数H不能准确估计, 于是分析去模糊图像F的特征. 为了简便起见,只讨论简单的情况. 事实上, 如果匀速运动的估计为^ x0(t) =ct=T, ^ y0(t) =dt=T, 那么有:^F(u; v) =G(u; v)^H(u; v)=F(u; v)H(u; v)^H(u; v)=F(u; v)uc+vdua+vbsin(¼(ua+vb))sin(uc+vd)e¡j¼¡u(a¡c)+v(b¡d)¢(18)其中,^F和^H分别是原始清晰图像和退化函数的估计量. 考虑更为简单的情况, 令b=d= 0,那么式(18)可以表示为^F(u; v) =F(u; v)casin(¼ua)sin(¼uc)e¡j¼(a¡c)(19)从上述的公式中不难看出, 当^H(u; v) = 1时,^F(u; v)是F(u; v)的平滑情况, 于是XX¡^F(u; v)(u2+v2)¢2·XX¡F(u; v)(u2+v2)¢2(20)另外, 同样有:XX¡^F(u; v)(u2+v2)¢2¸XX¡F(u; v)(u2+v2)¢2(21)然而, 式(20)和式(21)并不总是正确的. 实际上, 在式(17)中, 令a= 2c, 可得:^F(u; v) =F(u; v) cos(¼uc)e¡j¼(a¡c)(22)在这种情况下,ZZ¡O2^f¢2dxdy=ZZ¡O2f¢2dxdy (23)由于TBV可用于反映信号的上下波动情况, 对于二维图像, 可以定义ZZ¡¯@f@x¯+¯@f@y¯¢dxdy= min (24)考虑到计算等原因, 式(24)可以表示为ZZ¡¯@2f@x2¯+¯@2f@y2¯¢2dxdy= min (25)进而根据傅立叶变换的帕塞瓦尔等式, 得:ZZ¡F(u; v)(u2+v2)¢2dxdy= min (26)即作为真值, 原始清晰图像的TBV在所有去重构图像的TBV中最小.
　　3 仿真实验和讨论
　　为进一步验证所提基于变分的盲图像复原质量评估方法, 文章针对标准的数字图像用例进行计算机仿真。图1 (a)为原始清晰图像,尺寸为514£436,8位/像素.对图1 (a)模糊化得到图1 (b)和图1 (g),对图1 (b)复原得重构图像1 (c)»1(f),对图1 (g)去模糊得到图像1 (h)»1(k). 很多原因会导致图像模糊, 诸如网络传输、编解码等. 文中, 针对原始清晰图像采取运动模糊, 即通过运动模糊滤波器使图1 (a)模糊, 模糊方向为5±, 15±, 25±, 35±, 45±, 55±,65±, 75±等. 这意味着像素在不同方向上移动, 模糊尺度代表像素移动的距离. 通过调整模糊尺度和方向, 得到不同的模糊图像, 然后采用各种去模糊方法, 诸如正则滤波、维纳滤波等, 获得较为清晰的重构图像. 并对不同图像的TBV进行比较, 包括原始清晰图像、模糊图像和重构图像以验证上述TBV理论的有效性.4期 成孝刚等: 基于变分的盲图像复原质量评价指标 421图1 清晰图像、模糊图像和复原图像清晰度的主观评价((a) 清晰图像, TBV = 909 873; (b) 模糊图像: 10 像素, 0±,TBV = 512 525; (c)正则滤波器, TBV = 2 335 141; (d) 正则滤波器, TBV = 1 677 299; (e) 维纳滤波器, TBV=2 466 829; (f)维纳滤波器, TBV = 1 793 396; (g) 模糊图像:30像素, 0±, TBV = 380 956; (h) 正则滤波器, TBV=1 944 525; (i)正则滤波器, TBV = 1 700 923; (j) 维纳滤波器, TBV = 1 987 353; (k) 维纳滤波器, TBV = 1 742 508)Fig. 1 Subjective de¯nition comparison of clear image,blurred image, and restored image ((a) Clear image, TBV= 909 873; (b) Blur image, 10 pixels and 0±, TBV =512 525; (c) Regularized ¯lter, TBV = 2 335 141; (d)Regularized ¯lter, TBV = 1 677 299; (e) Wiener ¯lter,TBV = 2 466 829; (f) Wiener ¯lter, TBV = 1 793 396; (g)Blur image, 30 pixels and 0±, TBV = 380 956; (h)Regularized ¯lter, TBV = 1 944 525; (i) Regularized ¯lter,TBV = 1 700 923; (j) Wiener ¯lter, TBV = 1 987 353; (k)Wiener ¯lter, TBV = 1 742 508)仿真说明了上述的TBV可以作为图像复原中图像清晰度的评价准则. 当去模糊图像的TBV取极值时, 得到所有去模糊图像中最为清晰的图像.计算机实验中, 式(3) 的离散形式表示为Df=M Xx=1N Xy=1¯f(x+1; y)¡f(x; y)¯+¯f(x; y+1)¡f(x; y)¯(27)图2为清晰图像和模糊图像TBV的对比. 对原始清晰图像在不同运动模糊方向上进行模糊, 如5±, 15±, 25±, 35±, 45±、55±, 65±, 75±并以10±为间隔. 图2 (a)为5±和25±的TBV曲线, 虚线表示原始清晰图像的TBV,其值为909 873.当模糊程度为5像素时, 5±曲线相应的TBV为611 407; 25±曲线相应的TBV为599 185. 当模糊程度增加5个单位时, 5±曲线相应的TBV分别为494 791, 450 055,419 975, 401 420, 381 274, 365 049, 350 147,339 531, 329 465. 25±模糊方向相应的TBV分别为518 275, 471 188, 438 814, 413 286, 391 432,373 500, 358 012, 345 054, 333 501.图2 (b)»2 (d)与图2 (a)具有相同的特征. 因此, 如果模糊方向一定, 当模糊程度增加时, 图像将越来越模糊. 另外,相应的TBV越来越小, 并且所有模糊图像的TBV均小于清晰图像. 这与式(9) 一致.图2 原始清晰图像和模糊图像的TBV,通过对清晰图像不同程度和方向的模糊得到模糊图像( (a) 5±and 25±; (b) 15±and 35±; (c) 45±and 65±; (d) 55±and 75±)Fig. 2 TBV of clear image and blurred images (Theblurred images are obtained by blurring the clear imagewith di®erent blur direction and extent: (a) 5±and 25±;(b) 15±and 35±; (c) 45±and 65±; (d) 55±and 75±.)图1为原始清晰图像、模糊图像和去模糊图像的图像质量的主观比较. 根据退化函数H, 通过运动模糊方法使原始清晰图像模糊(图1 (a), TBV =909 873),结果如图1 (b)和1 (g)所示, 相应的TBV分别为515 525和380 956. 基于主观评价, 图1 (g)比图1 (b)模糊. 根据图1 (a)、1 (b)、1 (g)和图2,进一步验证了式(9), 即在数字图像模糊的过程中,422 自 动 化 学 报 39卷图像越模糊, TBV 越小.如图1 (c)»1 (k) (除图1 (g)外)所示, 分别用正则滤波器和维纳滤波器复原模糊图像(图1 (b)和1 (g)). 如图1 (c)由图1 (b)应用正则滤波器进行去模糊. 在图1 (c)和(d) 中, 有条纹的去模糊图像,TBV为2 335 141,另一个为1 677 299. 图1 (e)和(f) 由图1 (b)应用维纳滤波器进行去模糊的结果,相应的TBV分别为2 466 829和1 793 396.图1 (g)同样应用正则滤波器和维纳滤波器进行去模糊, 结果如图1 (h)»1 (k)所示, TBV 分别为1 944 525,1 700 923, 1 987 353和1 742 508. 因此, 当复原图像不断逼近真值时, TBV 渐渐减小.图3 显示了去模糊图像和原始清晰图像的TBV.令原始清晰图像为真值, 对于不同模糊尺度和方向的模糊图像, 应用多种去模糊方法进行重构, 本文给出了维纳滤波器和正则滤波器的方法. 接下来比较原始清晰图像和去模糊图像的TBV.图3中的虚线代表原始清晰图像的TBV,为909 873,即真值. 从图1和图2中可以看出, 所有给出的源于原始清晰图像的具有不同模糊尺度和方向的模糊图像均具有不同的模糊深度. 然而, 这并不影响对于本文提出理论的验证. 在图3中试图比较的是复原图像和原始清晰图像TBV的差异. 也就是原始清晰图像的TBV是否为所有复原图像中最小. 根据图3 (a)»3 (h),模糊方向分别为5±, 15±, 25±, 35±,45±, 55±, 65±, 75±.图3 清晰图像和去模糊图像的TBV比较(通过对清晰图像不同程度和方向的模糊得到模糊图像, 进而应用维纳滤波器和正则复原对模糊图像进行重构((a) 5±; (b) 15±; (c) 25±; (d) 35±; (e) 45±; (f) 55±; (g) 65±; (h) 75±)Fig. 3 TBV comparison between clear images and deblurred images (Blurring clear images with di®erent blur images areobtained, then deblurring the blur images with wiener ¯ler and regularized restoration: (a) 5±; (b) 15±; (c) 25±; (d) 35±;(e) 45±; (f) 55±; (g) 65±; (h) 75±.)4期 成孝刚等: 基于变分的盲图像复原质量评价指标 423从图3可以看出, 原始清晰图像的TBV显然是所有复原图像中最小的. 另外, 如图2所示, 对于模糊的图像, 模糊程度高, TBV 越小. 因此, 在图像复原中当TBV达到极值时, 相应的去模糊图像最为清晰, 即如式(10)和式(11)所示.
　　4 结语
　　在图像复原的过程中, TBV 可以作为图像质量的度量准则, 也就是说, 当TBV取极值时, 相应的去模糊图像最为清晰. 原始清晰图像的TBV在所有模糊图像中最大, 而在所有去模糊图像中最小. 当由于某些原因使原始清晰图像模糊化[11¡12], 如运动模糊, 模糊图像的TBV将会减小; 反之, 当模糊图像进行复原时, TBV 将会增大. 直观上同样易于理解的是, 当原始清晰图像进行模糊后, 图像边缘逐渐变得光滑, 相邻像素间的差异变小, 因此模糊图像的TBV较小. 同时在上述的图像复原过程中, 由于某些条件的限制, 应用现存方法通常难以对模糊图像进行准确复原[13]. 在本文中, 提出了用于图像盲复原的一种新的图像质量评价指标, 即TBV.在图像复原的过程中, 如果去模糊图像的TBV达到最小,得到的图像将最为清晰.
    References1 Liu X W, Huang L H. Split Bregman iteration algorithm fortotal bounded variation regularization based image deblur-ring. Journal of Mathematical Analysis and Applications,2010,372(2): 486¡4952 Lieu L H, Vese L A. Image restoration and decompo-sition via bounded total variation and negative Hilbert-Sobolev spaces. Applied Mathematics and Optimization,2008,58(2): 167¡1933 Kirova Y M, Pena P C, Hijal T, Fournier-Bidoz N, LakiF, Sigal-Zafrani B. Improving the de¯nition of tumor bedboost with the use of surgical clips and image registrationin breast cancer patients. International Journal of RadiationOncology Biology Physics, 2010, 78(5): 1352¡13554 Rudin L I, Osher S, Fatemi E. Nonlinear total vriation basednoise removal algorithms.Physica D, 1992, 60(4): 259¡2685 Blomgren P V. Total variation method for restoration ofvector valued images [Ph. D. dissertation], University of Cal-ifornia, USA, 19986 Maleki M, Lati¯ M, Amani-Tehran M. De¯nition of struc-tural features of nano coated webs by image processingmethods.International Journal of Nanotechnology, 2009,6(12): 1131¡11547 Quarello E, Trabbia A. High-de¯nition °ow combined withspatiotemporal image correlation in the diagnosis of fetalcoarctation of the aorta.Ultrasound in Obstetrics and Gy-necology, 2009, 33(3): 365¡3678 Cheng X G, An M W, Chen Q M. Image distortion metricbased on total bounded variation.China Communications,2012,9(2): 79¡859 Cheng Xiao-Gang, Chen Qi-Mei, Liu Guo-Qing. The re-lation between total bounded variation and image de¯ni-tion detection. Journal of Beijing University of Posts andTelecommunications, 2009, 32(S1): 120¡122, 139(成孝刚, 陈启美, 刘国庆. 总有界变差与图像清晰度之间的关系. 北京邮电大学学报, 2007, 32(S1): 120¡122, 139)10 Awwal A A S, Rice K, Taha T. Fast implementation ofmatched-¯lter-based automatic alignment image processing.Optics and Laser Technology, 2009, 41(2): 193¡19711 Saad M A, Bovik A C, Charrier C. A DCT statistics-basedblind image quality index.IEEE Signal Processing Letters,2010,17(6): 583¡58612 Li Bo, Su Zhi-Xun, Liu Xiu-Ping. An adaptive PDE im-age processing method based onLpnorm.Acta AutomaticaSinica, 2008, 34(8): 849¡853(李波, 苏志勋, 刘秀平. 基于Lp 范数的局部自适应偏微分方程图像恢复. 自动化学报, 2008, 34(8): 849¡853)13 Moorthy A, Bovik A. Blind image quality assessment: fromnatural scene statistics to perceptual quality.IEEE Trans-actions on Image Processing, 2011, 20(12): 3350¡3364