第43卷    计  算  机  学  报  Vol. 43 2020  论文在线号No.4  CHINESE JOURNAL OF COMPUTERS   2020Online No.4 ——————————————— 本课题得到国家科技部重点研发项目(2018YFB0204300)和国家自然科学基金青年项目（61906200）资助.孙涛（通信作者），男，1991年生，博士，助理研究员,主要研究领域为机器学习中的优化，图像处理优化算法.E-mail: nudtsuntao@163.com. 李东升，男，1978年生，博士，教授，计算机学会(CCF)会员（09683D）,主要研究领域为分布式计算，计算机网络，云计算，大数据.E-mail:dsli@nudt.edu.cn.   基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法 孙涛    李东升       （国防科技大学  计算机学院  长沙    410073） 摘  要  非盲图像去模糊问题是从已知核的带噪声的线性卷积变换中恢复原始图像。如果噪声是满足高斯分布的，则可以直接使用最小二乘求解。然而在大多数情况下，去模糊问题都是高度病态的，直接求解无法做到。因此，通常的做法是通过抽取原始图像的已知统计先验信息进行正则化来帮助求解问题。两种常用的正则化是低秩和全变分。早期的相关工作单独使用这两种正则化。直到几年前，人们才考虑将这两种正则化结合起来。已有的结果表明，混合正则化模型比单一模型具有更好的性能。然而，目前的混合正则化方法只是采用凸方法，非凸的工作仍然是空白的。考虑到非凸正则化在很多种情况下都比凸正则化的效果要好，因此本文使用L1/2范数和Schatten-1/2范数提出了一种新的非凸混合模型。我们使用这两个非凸函数，因为它们的近端算子很容易计算。这种非凸混合正则化模型本质上是一个非凸线性约束问题，可以通过交替方向乘子法求解。然而，非凸性使得交替方向乘子法收敛十分困难。因此，我们转向求解原问题的惩罚问题。将交替最小化方法应用于惩罚问题就可以得到提出的算法，其中每个子步骤只涉及非常简单的计算。由于惩罚参数很大时，交替极小化算法速度会很慢，为了加速算法，针对惩罚参数我们使用了预热技术，即选取很小的初值但是在迭代过程中不断将参数增大。我们证明了该算法的收敛性。数值实验验证了本文提出的模型和算法的有效性。在非常温和的假设下，我们证明了算法的收敛性。数值实验验证了本文提出的模型和算法的有效性。 关键词  低秩;  全变分;  图像去模糊;  非凸模型;  交替极小化 中图法分类号  TP311   Nonconvex Low-Rank and Total-Variation Regularized Model and Algorithm for Image Deblurring SUN Tao  LI Dongsheng     (College of Computer, National University of Defense Technology, Changsha 410073)   Abstract  Non-blind  image  deblurring  aims  to  reconstruct  the  original  image  for  noised  linear  convolution transform  with  some  known  kernel.  If  the  noise  is  Gaussian,  one  might  use  the  least  square  minimization  with the  observed  image  and  the  kernel  for  this  task.  However,  in  most  cases,  the  convolution  operator makes  the problem very ill-posed and hard to solve directly. To this end, regularizations, which are recruited to characterize known statistical priors about the original images, are then developed to help. Among them, two frequently used ones  are  the  low-rank  and  total-variation  regularizations.  The  earlier  related  works  employed  them  separately, that  is,  just  using  one  of  them,  not  both.  Until  several  years  ago,  people  have  considered  combing  these  two regularizations together. Existing results show that the hybrid regularized model performs  much better than the single  one.  However,  the  current  composite  regularization  just  uses  the  convex  methodology.  The  nonconvex implementations are still missing. Considering nonconvex regularizations can beat convex ones in various cases, in  this  paper,  we  propose  a  novel  nonconvex  hybrid  model  in  which,  the  L1/2 and  Schatten-1/2  norms.  We  use these  two  nonconvex  functions  due  to  that  their  proximal  maps  are  easy  to  calculate  even  without  convexity. Both L1/2 and Schatten-1/2 norms enjoy closed-form proximal maps. The proposed nonconvex hybrid regularized model is naturally a nonconvex linearly constrained problem which can be solved by the alternating directions of 网络出版时间：2020-01-20 17:14:59网络出版地址：http://kns.cnki.net/kcms/detail/11.1826.TP.20200120.1640.002.html2  计  算  机  学  报  2020年  multipliers.  However,  the  nonconvexity    breaks  the  theoretical  guarantees.  Thus,  we  turn  to  solve  the  penalty problem rather than the original form. The alternating minimization method applied to the penalty then yields the proposed  algorithm,  in  which,  each  substep  just  involves  very  simple  computations.  In our  algorithm,  an important parameter is the penalty parameter. If it is infinity, the penalty is then identical to the original problem. But the large penalty parameter will make the algorithm iterate slowly. Thus, to improve the speed and narrow the  penalty  problem  and  the  original  one,  for  the  penalty  parameter,  we  use  a  warm-up  technique,  that  is, increasing  the  parameter  in  the  iterations.  The  convergence  of  the  algorithm  is  proved  under  very  mild assumptions,  which  can  be  easily  satisfied  in  applications.  The  numerical  experiments  are  conducted  on  six natural  test  images.  The  performance  of  the  proposed  algorithm  verifies  the  convergence  theory.  Comparisons with other algorithms demonstrate the efficiency of our algorithm.  Key words  Low-rank; Total Variation; Image Deblurring; Nonconvex Model; Alternating Minimization   1  引言 非盲的图像去模糊是图像处理领域中,尤其是自然图像处理中，一类常见的问题。从数学角度该问题可以表示为：给定一个图像* nnf´Î和已知的模糊算子B，在观测到模糊且噪声污染的图像*() b B f e =+后，通过数值算法有效地重构原始图像*f。上式中e表示观测过程中的噪声，一般问题都假设噪声是满足高斯分布的。在本文中，我们也遵循这样的假设。该问题本质上是一个逆问题,最为直观的解决办法是最小二乘回归，也就是直接求解2min ( )fB f b - ‖ ‖。当然如果噪声不是满足高斯分布的，需要其他的回归方法，例如如果噪声是脉冲的，我们需要用鲁棒回归方法[19,20]，即极小化1() B f b - ‖ ‖。但是由于模糊算子B是病态的，对于高斯白噪声通过直接的最小二乘往往会得到无数个解，而这些解和*f都相差很远。因此需要通过对最小二乘问题加以正则化，即增加一项关于*f的特征约束。由于图像自身的特征，人们普遍采用两种常见通用的正则化方法是低秩正则化[1]和全变分正则化[2]。这两种方法是基于自然图像的两种不同的基本特征。在本文的第二章节，我们将详细的介绍这两种正则化以及它们的混合正则化。 由于混合正则化结合了两种正则化的性质，所以其效果往往会好于单个特征正则化的效果。但是现有的关于混合正则化的工作都只是停留在了凸函数和凸方法的建模，混合正则化的发展也仅仅是使用了L1范数和核范数。因此本文考虑非凸的低秩和全变分混合正则化模型。这是因为虽然L1范数和核范数可以诱导稀疏和低秩特征，但是他们毕竟是零范数和秩范数的较为粗糙的近似。而且已有的结果也表明非凸函数相对于凸函数对于去模糊和低秩恢复的问题具有一定的优势[3,4]。所以我们考虑新由L1/2范数和Schatten-1/2范数正则化的非凸模型，以得到更好的去模糊效果。我们给出该非凸模型的求解算法及其算法的收敛性分析，我们也给出了在测试图像上新算法的数值结果以验证所提算法的有效性。 2  去模糊的正则化方法 符号:  令,()mnijXX ´=Î,本文中X ‖‖代表向量和矩阵的二范数或者Frobenius 范数, 即2,11:mnijijXX=== åå ‖‖。1× ‖‖代表向量和矩阵的一范数,即1,11: | |mnijijXX===åå ‖‖，而L1/2 范数的定义为1221,11 2: ( | | )mnijijXX=== åå ‖‖，X ‖‖的Schatten-1/2 范数定义为()iiX s å，其中()iX s代表矩阵X的第i个最大的特征值。符号°代表矩阵元素相乘, 即, , ,()i j i j i jA B A B =×。对于复数矩阵X,*X代表X的  孙涛等：基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法  3  共轭装置矩阵。对0 r>，定义算子rS为r ×的近似点算子，2 1( ) arg min { | | ( ) }2rmt r m m t Î + - S。若X为向量或矩阵，rS即为作用到向量或矩阵的每个元素。Lu 等在[10] 中 证 明 了 以 下 结 论2 1diag ( ( )) arg min { ( ) }2[]r i Y iiU X V r Y Y X ssÎ + - å ‖ ‖， S其中, UV是X的SVD分解的正交矩阵. 测试图片：实验部分使用六张标准的测试图片（如图 1 所示）,  依次为： “Lena”,“Barbara”,“Man”,“Cameraman”，“House”和“Pepper”。  图1   测试图像 2.1    低秩正则化 虽然自然图像本身往往都不是低秩的，但是一般都是主成分占优的。也就是说在一般情况下，对于一个自然图像f，存在一个低秩矩阵ˆf使得ˆff- ‖ ‖比较小。一种常见的获得ˆf的办法就是直接对f做SVD分解，然后取较大的奇异值对应的部分。对于图1中的六张图像，图2给出其奇异值分布，可以看到这些图像的奇异值下降地都很快。     图2   奇异值分布 低秩正则化正是利用了这一特性，最开始的求解的问题数学表达式为 { }21min ( ) rank( )2fB f e f l - + × ‖ ‖  ，            (1) 其中0 l>是参数。低秩性本质上是矩阵在谱域上的稀疏，而矩阵的秩也可以看做是谱域上的零范数。受压缩感知中的凸松弛方法启发，人们也考虑问题(1)的凸近似模型,其数学表达式为 { }2*1min ( )2fB f e f l -+ ‖ ‖ ‖‖,                    (2) 而*f ‖‖则表示f的核范数，也就是f所有奇异值之和。相对于问题(1)，问题(2)的优势在于可以保证全局最优解并且在统计意义上更便于分析。求解(2)的优化方法是向前向后分裂算法[5]。在后来的工作中，人们发现由Schatten-p范数(0<p<1)正则化得到的效果往往比核范数要有优势[4]，即如下问题 { }21min ( ) ( )2pfiiB f e f ls -+å ‖ ‖,                    (3) 这是因为核范数是秩范数的一种相对粗糙的近似，而Schatten-p 范数更加接近秩范数。对于一般的(0,1) pÎ且12,23p¹,求解(3)无法使用向前向后分4  计  算  机  学  报  2020年  裂算法，这是因为此时()piif lså的近似点算子并不存在解析解。这时使用的方法一般为重加权核范数极小化算法[6,8,10]。然而重加权核范数极小化算法并不是直接求解(3)，事实上他求解的是一个光滑化的Schatten-p 范数，即( ( ) )piif s + å ò(0 > ò且很小)正则化的问题。但1 / 2, 2 / 3 p=时，()piif s å有显式近似点表达。特别当1/ 2 p=时,近似点可以有快速算法[9,10]。  2.2  全变分正则化   全变分正则化利用了自然图像是分片光滑的这一特性，亦即相邻的像素值相减的所得矩阵是近似稀疏的。全变分正则化即考虑D(X)稀疏意义下的极小化。凸的全变分正则化模型可以表达为 211min { ( ) ( ) },2fB f n D f h -+ ‖ ‖ ‖ ‖                (4) 其中0 h>是参数。求解问题(4)的一般方法是ADMM[11]或者ADM方法[12]。由于p范数往往有着更好的诱导稀疏性的特质，很自然地，也可以考虑p 范数诱导稀疏性的模型，即( 0 1 , )ppD f p << ‖ ‖正则化[3] { }21min ( ) ( ) .2pfpB f n D f h -+ ‖ ‖ ‖ ‖              (5) 对于问题(5)，求解的方法有非凸的ADMM[13]和重加权ADMM算法[14]。但是由于理论上非凸ADMM和重加权ADMM收敛性的要求对涉及的矩阵较为苛刻使得去模糊问题不能满足该条件。而且由于在非凸的ADMM中，朗格朗日乘子取值很大,这使得算法迭代地比较慢。为了克服这两个缺点，在[15]中，作者提出了一种基于参数预热技术的交替极小化算法。 2.3  混合正则化   全变分正则化和低秩正则化是基于图像的两种不同的基本特征：一个是图像的分片光滑性质，即图像的横向和纵向的差分D(X)十分稀疏；另一个则是图像的低秩性，即图像往往可以被一个低秩矩阵逼近地很好。图像去模糊的前期工作都是使用单个性质，其组合使用是由[16]在2016年提出的。由于使用了两种不同的特征，其效果要好于单个正则化的效果。在[16]中,作者提出如下混合正则化模型 { }2*1 1min ( ) ( ) .2fB f e f D f lh - + + ‖ ‖ ‖‖ ‖ ‖        (6) 混合正则化(6)结合了低秩和全变分正则化,其去模糊效果往往要好于单个特征正则化模型的效果。该模型只使用了凸函数，本文旨在建立非凸的混合正则化模型以及设计相应的优化算法。  3  非凸混合正则化模型和优化算法 由于L1/2范数和Schatten-1/2核范数的近似点算子都有快速算法,这使得我们有足够的理由考虑使用L1/2范数和Schatten-1/2核范数替代(6)中的L1范数和核范数。我们考虑以下正则化问题 122121min ( ) ( ) ( ) ,2fiiB f e f D f l s h - + +ìü íý îþå ‖ ‖ ‖ ‖  (7) 其中,0 hl>是正则化参数。一个直观的求解(7)的方法是ADMM算法。但是由于我们求解的是非凸问题,在这种情况下，ADMM算法的收敛性较为苛刻且参数确定较为困难。事实上，直接使用ADMM很难收敛。因此在本文中,我们考虑一种针对(7)的罚子法。通过引用两个新变量y和z以及一个很大的惩罚参数0 r>,我们考虑以下非约束的优化模型 ,,2122 212min1( , , ) : ( ) ( )2()22f y z iif y z B f e yz f y D f zrlsrr h=ìíî-++ + + -üý -þå ‖ ‖‖‖ ‖ ‖ ‖ ‖   (8) 对于问题(8)我们使用交替极小化算法，也就是在每一步迭代固定其他两个变量而极小化其中的一个。但是如果r过大，会使得迭代过程很慢。因此我们考虑一种逐步增大的技巧，也就是选取较小的r,但是在迭代过程中不断增大r，具体来说可以选择一个1 a>在每步迭代中r ar ¬但是始终使r置于一个固定的大的正数值r之下。该技巧广泛应用很多工作中[15,17]。如果直接使用交替极小化算法,其在第k+1次迭代的具体的数学迭代表达式为   孙涛等：基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法  5  1111 1 11arg min ( , , ),arg min ( , , ),arg min ( , , ),min{ , }.kkkk k kfk k kyk k kzkkf f y zy f y zz f y zrrrr ar r++++ + ++ÎÎÎ=ìïïíïïî 然而这个算法无法保证充分下降，因此我们考虑对1 ky+和1 kz+使用以下交替极小化算法格式 1 1 21 1 1 2arg min ( , , ) ,2arg min ( , , ) ,2kkkk k k kykk k k kzy f y z y yz f y z z zrrdrdr+++ + +Î + -Î + -ì ì üíý ïï î þíìü ïíý ïî îþ‖ ‖‖ ‖ 其中0 d>是参数.我们给出k+1步的各个变量的具体迭代格式.令(1) ( 2 ) 2, , ,( , )i j i j i jD D D =Î为像素在( ) , ij位置的变分映射,起数学定义为 1, , , 1 ,, 1 ,,1, ,( , ),         if1 1,1 1,(0, ),( ) :               if  ,1 1,( , 0),if1 1, 0,(0, 0), if  , .i j i j i j i ji j i jiji j i jX X X Xi n j nXXDX i n j nXXi n ji n j n++++-- ìï£ £ - £ £ -ïï-ï= = £ £ - íï-ïï£ £ - =ï== ïî再定义(1) (1),: ( )ijDD=,(2) (2),: ( )ijDD=和(1)(2):DDDæö=ç÷èø.求解1 kf+本质是解如下的线性方程 1 1 2 2 112( ) ( ) Id( ) ( ) .()kkk k k kD D D D B B fD z D z B e yrr++ + + ×= + + +晻?晻?   (9) 考虑到(9)中涉及的矩阵具有明显的结构信息，我们考虑使用[12]中对于类似线性方程组的求解算法:快速傅里叶变换。对(9)两边做快速傅里叶变换，由傅里叶卷积定理可以马上得到 11(1) (2) * * *( ( ) ( ) ( ) ( ) ( ) ( ) ( ))(1) (1) (2) (2) * * */( ( ) ( ) ( ) ( ) ( ) ( ) )kfk k k kD z D z B e ykD D D D B Brr+-é= ° + ° + ° +ëù° + ° + ° + ×û11F F F F F F F F•F F F F F F  (10) 需要指出的是上式中的除也指的是元素相除.我们再考虑求解1 ky+,通过化简可以得到 1121arg min ( )(1 ) 2 1kk kyikify y y yldsd r d++ +Î + -++ ìü íý îþå ‖ ‖ 因此求解1 ky+实际就是1( (1 ) )/kk fydd +++在( ) / (1 )kiiy l s d r + å的近似点算子下的映射,也就是 11(1 )diag ,1[ ( )]kkk k k kfy y U Vldrdd++++=+S 其中,kkUV是1( (1 ) )/kk fydd +++的SVD分解的正交矩阵.类似地,我们可以得到对于1 kz+的迭代公式 1 (1) ( 2 )(1 )1[ ( ), ( )] .11 () kk k k kz D f D f zhdrddd ++=+++ S 4  非凸收敛性分析 在本节中,我们给出算法的收敛性分析.我们首先介绍一下函数次微分的概念[18].令: ( , ]NJ ® -¥ +¥为合适的闭函数,即() Jx> -¥且集合{( , ) ( )} x t t f x ³ ∣是闭集.给定一个dom( ) xJÎ,J在x处的Frechet次微分记为ˆ() Jx ¶,其定义为NuÎ且满足2( ) ( ) ,lim inf 0.y x y xJ y J x u y xyx ¹®- -á - ñ³- ‖ ‖当dom( ) xJÏ,我们记为ˆ() Jx ¶ = Æ.J在NxÎ次梯度记为() Jx ¶,是由以下过程定义的       ( ) : { : , ( ) ( ),ˆ( ) , }.N k kkkJ x u x x J x J xu J x u k¶ = Î $ ® ®Î¶ ® ® ¥ 若某个点x极小化函数J,称x为J的临界点,且有() Jx ζ 0,反之不然.由定义也可以知道对于任意x,次微分() Jx ¶是闭集合.我们再回顾一个关于強凸函数的性质,假设h是强凸的,若*arg min ( )xx h x Î那么 * * 2( ) ( )2h x h x x xn- ³ - ‖ ‖.                      (11) 定理：如果ln ln0/ 1: kKrar> + = `p,那么1 1 1 1 21 2 1 2( , , ) ( , , )2.22k k k k k k k kk k k kf y z f y z f fy y z zrr rdr dr+ + + +++- ³ -+ - + -‖ ‖‖ ‖ ‖ ‖              (12) 6  计  算  机  学  报  2020年  对于点列0( , , )k k kkf y z³的任意聚点,那么* * *( , , ) f y z也是函数( , , ) f y zr的临界点。 证明：容易发现，当ln ln0/ 1 krar>+`p,我们有krr=.注意到( , , )kkf y zr相对于f是r强凸函数,由(11)以及1arg min ( , , )k k kff f y zr+Î,那么 1 1 2( , , ) ( , , ) .2k k k k k k k kf y z f y z f frrr++ - ³ - ‖ ‖(13) 再由算法格式直接可以得到 1 1 1 1 21 1 1 1 1 1 2( , , ) ( , , ) ,2( , , ) ( , , ) .2k k k k k k k kk k k k k k k kf y z f y z y yf y z f y z z zrrrrdrdr+ + + ++ + + + + +³ + -³ + -‖ ‖‖ ‖  (14) 结合(13)和(14)，我们即可得到(12).注意到( , , ) 0 f y zr³,我们可以得到 1 2 1 2 1 20 0 0 1 1 1 0 0 0{}2 2 2( , , ) ( , , ) ( , , ).ki i i i i iiKk k kf f y y z zf y z f y z f y zr r rr dr dr+ + +=+ + +- + - + - £-£å‖ ‖ ‖ ‖ ‖ ‖ 令k® +¥,在上式中我们就可以得到 1 2 1 21222.2k k k kkkkf f y yzzr drdr+++- + -+ - < +¥å‖ ‖ ‖ ‖‖ ‖ 因此，我们可以得出以下结论 1 1 1lim lim lim 0.k k k k k kk k kf f y y z z+ + +- = - = - = ‖ ‖ ‖ ‖ ‖ ‖            (15) 令* * *( , , ) ( , , )j j jk k kf y z f y z ®,由(15),也就有1 1 1 * * *( , , ) ( , , )j j jk k kf y z f y z+ + +®.当kK³时,在kj 次的 迭代中，根据次微分的性质容易发现有 11 1 11 1 1 1( , , ),( , , ) ( ),( , , ) ( ).j j jj j j j jj j j j jk k kfk k k k kyk k k k kzf y zf y z y yf y z z zrrrdrdr++ + ++ + + +ì ζïζ + - íïζ + -ïî000 令j®+¥,我们就能推出 * * ** * ** * *( , , ),( , , ),( , , ),fyzf y zf y zf y zrrrì ζïζ íïζî000 也就是说* * *( , , ) f y z也是函数( , , ) f y zr的临界点. 由定理  1,我们可以看出,0r和a的选取不会对算法最终的结果造成影响.在算法中,对算法性能有影响的参数是, dr. 5  数值实验 在本节中，我们给出算法的相关实验。所有的实验都是MATLAB 程序编写的，我们使用的是Intel CPU @2.6 GHz  的笔记本计算机。我们使用峰值信噪比(SNR)来表征图像去模糊的效果.本部分包括两部分:第一部分是算法自身的表现，包括算法敛性和参数d和r对算法的影响。第二部分是算法和已有的经典算法的性能比较。 5.1   算法自身表现 在这个测试中，噪声水平设为10-7。其他参数设置为1210 d-=,00.1 r =,730, 1 a h l-= = =.最大迭代步数设为100。  图  3 给出了算法在高斯模糊算子作用于“Lena”,“Man”,“Cameraman”,以及运动模糊算子作用于“Barbara”,“House”,“Pepper”的去模糊表现.可以看到PSNR 最终都趋于平稳.容易发现,算法在最开始的几步迭代过程中非常不稳定。这是由于我们用的是惩罚算子的方法。因此目标函数和算法极小化的函数有所不同，而且在计算过程中我们不断增大惩罚算子，这使得目标函数一直在变化。因此导致了收敛曲线下降的情况。其实对于恒定惩罚算子的情况，曲线一直是下降的。  孙涛等：基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法  7   图3 算法性能  图4   不同d和r下的算法表现   对于3 6 7 91,10 ,10 , 10 ,10 dr--==的情形,图  4给出算法在高斯模糊算子下的去模糊效果比较.从左至右,从上至下依次为71, 10 dr==, 91, 10 dr==, 37 10 , 10 dr-==, 39 10 , 10 dr-==, 67 10 , 10 dr-==和69 10 , 10 dr-==.  5.2 和其他算法的比较   我们考虑的对比算法有四个,分别是TV1[12]，TVLR[16]，TV05[23]。另外我们考虑重加权的低秩方法[24].但是单单只用低秩正则化对于去模糊的效果并不好，因此我们增加了TV项得到新的方法称之为LR05TV。对于混合正则化模型，我们使用710 hl-==.在所有算法中,我们使用相同的0r,r和a.迭代步数设为100。运动模糊核是由MATLAB代码为fspecial('motion',17,3)，而高斯模糊算子则为fspecial('gaussian',17,3)。图  5 给出了在六幅图不同算法性能比较。图6给出不同算法对于不同测试图象PSNR随迭代步数变化的趋势图。在表1中，我们给出给个算法对于不同测试图像最后最后输出的结果和所需的迭代步数。从表1中可以看到，本文算法相对于已有的经典算法都可以稳定地提高1~3点的dB。本文给出的算法收敛时输出的结果PSNR要高于其他算法，从而说明了本文算法表现地更优秀。                         图  5不同算法性能比较 8  计  算  机  学  报  2020年     图6   不同算法对于不同测试图象PSNR随迭代步数变化的趋势   6  讨论   我们给出的算法可以用于解决盲去模糊问题的子问题。考虑将[25]中提出的经典的混合化盲去模糊模型作如下改变得到 122,1211min ( ) ( ) ( )2,                  s.t.  K 0, ||K || =1.B f iiBBB f e f D f l s h - + +ìü íý îþ³å ‖ ‖ ‖ ‖其中KB表示B的卷积核，即( )=KBBf f *.求解该问题可以通过B和f的交替极小得以解决。即从初始化的00, Bf出发，在第k步作如下迭代 1221211 1 211min ( ) ( ) ( )2argarg min{ ( ) }, s.t.  K 0, ||K || =1.iifkkkkBBf B f e f D fB B f el s h+++- + +ìü ìïíïî= íý îþ = - ³å ‖ ‖ ‖ ‖‖ ‖ 我们的算法可以用于求解第一个子问题。   我们使用的先验正则化项是有可能和深度学习结合的。在论文[21]以及[22]中，作者考虑了一种非线性反应扩散的深度学习框架用于图像去噪。不同于以往的优化模型使用固定的正则化函数，该框架运用学习的方法在一族函数中寻找j来代替1 范数。从而全变分的正则项就是( ( )) Df j。这要比L1/2 范数更为一般。但是这系列的工作都没有考虑使用低秩先验。我们可以考虑在其模型上增加低秩的正则项。但是这种直接的添加会增加其他计算上的复杂性。如何有效地结合低秩正则化将留到下一步研究。 7  结论 在本文中，我们提出一种新的非凸的低秩和全变分的混合去模糊模型。该模型使用了L1/2范数和Schatten-1/2范数来表征图像的两种不同特征。对于提出了模型我们使用交替极小化算法并给出了算法的收敛性分析。在数值实验中，该算法的性能表现优于已有的经典算法从而验证了算法的有效性。   LRq  TVq  TV1  LRTV  Alg1 测试图片  Iter  PSNR  Iter  PSNR  Iter  PSNR  Iter  PSNR  Iter  PSNR Lena  23  30.4  29  30.1  23  29.5  22  30.4  24  31.8 Barbara  19  27.8  34  27.3  29  26.9  18  27.8  19  28.8 Man  25  30.7  29  30.8  25  30.2  24  30.8  26  32.2 Cameraman  26  32.2  21  33.0  19  31.8  25  32.2  27  34.3 House  6  33.9  7  35.1  7  33.2  5  34.0  19  38.4 Pepper  6  32.8  7  33.8  7  32.1  5  33.0  8  36.7 表  1：不同算法在不同测试图片去模糊问题中收敛所需迭代步数（Iter）以及最后的PSNR(dB)。   孙涛等：基于非凸的全变分和低秩混合正则化的图像去模糊模型和算法  9  参 考 文 献 [1]    Candes  E  J,  Li  X,  Ma  Y,  et  al.  Robust  principal  component analysis?[J]. Journal of the ACM (JACM), 2011, 58(3): 11. 2 [2]    Rudin  L  I,  Osher  S,  Fatemi  E.  Nonlinear total variation  based noise removal  algorithms[J].  Physica  D:  nonlinear  phenomena,  1992, 60(1-4): 259-268. [3]    Hintermüller M, Wu T. Nonconvex TVq-models in image restoration: Analysis  and  a  trust-region  regularization–based  superlinearly convergent solver[J]. SIAM Journal on Imaging Sciences, 2013, 6(3): 1385-1415. [4]    Nie  F,  Huang  H,  Ding  C.  Low-rank  matrix  recovery  via  efficient schatten  p-norm  minimization[C]//Twenty-Sixth  AAAI  Conference on Artificial Intelligence. 2012. [5]    Combettes  P  L,  Wajs  V  R.  Signal  recovery  by  proximal forward-backward  splitting[J].  Multiscale  Modeling  &  Simulation, 2005, 4(4): 1168-1200. [6]    Lu  C,  Tang  J,  Yan  S,  Lin  Z.  Generalized  nonconvex  nonsmooth low-rank  minimization[C]//Proceedings  of  the  IEEE  conference  on computer vision and pattern recognition. 2014: 4130-4137. [7]    Lu  Z,  Zhang  Y.  Schatten-p  quasi-norm  regularized  matrix optimization via iterative reweighted singular value minimization[J]. arXiv preprint arXiv:1401.0869, 2015. [8]    Sun  T,  Jiang  H,  Cheng  L.  Convergence  of  proximal  iteratively reweighted  nuclear  norm  algorithm  for  image  processing[J].  IEEE Transactions on Image Processing, 2017, 26(12): 5632-5644. [9]    Xu  Z,  Chang  X,  Xu  F,  et  al.  L1/2  regularization:  A  thresholding representation  theory  and  a  fast  solver[J].  IEEE  Transactions  on neural networks and learning systems, 2012, 23(7): 1013-1027. [10]    Lu  C,  Zhu  C,  Xu  C,  et  al.  Generalized  singular  value thresholding[C]//Twenty-Ninth  AAAI  Conference  on  Artificial Intelligence. 2015. [11]    Gabay D, Mercier B. A dual algorithm for the solution of non linear variational problems via finite element approximation[M]. Institut de recherche d’informatique et d’automatique, 1975. [12]    Wang  Y,  Yang  J,  Yin  W,  et  al.  A  new  alternating  minimization algorithm  for  total  variation  image  reconstruction[J]. SIAM  Journal on Imaging Sciences, 2008, 1(3): 248-272. [13]    Wang  Y,  Yin  W,  Zeng  J.  Global  convergence  of  ADMM  in nonconvex  nonsmooth  optimization[J].  Journal  of  Scientific Computing, 2019, 78(1): 29-63.   [14]    Sun  T,  Jiang  H,  Cheng  L,  et  al.  Iteratively  linearized  reweighted alternating direction  method  of  multipliers  for  a  class of  nonconvex problems[J]. IEEE Transactions on Signal Processing, 2018, 66(20): 5380-5391. [15]    Sun T, Li D, Jiang H, et al. Iteratively reweighted penalty alternating minimization  methods  with  continuation  for  image  deblurring[C]. ICASSP 2019. [16]    He W, Zhang H, Zhang L, et al. Total-variation-regularized low-rank matrix  factorization  for  hyperspectral  image  restoration[J].  IEEE transactions on geoscience and remote sensing, 2016, 54(1): 178-188. [17]    Padcharoen  A,  Kitkuan  D,  Kumam P,  et  al.  Accelerated  alternating minimization algorithm for Poisson noisy image recovery[J]. Inverse Problems in Science and Engineering, 2020: 1-26. [18]    Mordukhovich  B  S.  Variational  analysis  and  generalized differentiation  I:  Basic  theory[M].  Springer  Science  &  Business Media, 2006. [19]    Huber  P  J.  Robust  regression:  asymptotics,  conjectures  and  Monte Carlo[J]. The Annals of Statistics, 1973, 1(5): 799-821. [20]    Sun  T,  Cheng  L.  Reweighted  fast  iterative  shrinkage  thresholding algorithm  with  restarts  for  ℓ1-ℓ1  minimisation[J].  IET  Signal Processing, 2016, 10(1): 28-36. [21]    Chen  Y,  Yu  W,  Pock  T.  On  learning  optimized  reaction  diffusion processes  for  effective  image  restoration[C]//Proceedings  of  the IEEE  conference  on  computer  vision  and  pattern  recognition.  2015: 5261-5269 [22]    Qiao  P,  Dou  Y,  Feng  W,  et  al.  Learning  non-local  image  diffusion for  image  denoising[C]//Proceedings  of  the  25th  ACM  international conference on Multimedia. ACM, 2017: 1847-1855 [23]    Hintermüller M,  Wu  T.  Nonconvex  TV  ^q-models  in  image restoration:  Analysis  and  a  trust-region  regularization--based superlinearly  convergent  solver[J].  SIAM  Journal  on  Imaging Sciences, 2013, 6(3): 1385-1415. [24]    Gu  S,  Xie  Q,  Meng  D,  et  al.  Weighted  nuclear  norm  minimization and  its  applications  to  low  level  vision[J].  International  journal  of computer vision, 2017, 121(2): 183-208. [25]    Chan  T  F,  Wong  C  K.  Total  variation blind deconvolution[J].  IEEE transactions on Image Processing, 1998, 7(3): 370-375.                           10  计  算  机  学  报  2020年              Tao Sun* received his Ph.D. degree from National  University  of  Defense Technology  in  2018.  Currently, he  is  an Assistant  Professor  with  National Laboratory  for  Parallel  and  Distributed Processing,  National  University  of Defense  Technology.  His  research  interests  include optimization  for  machine  learning,  image  processing,  distributed  system  and  neutral  networks.Dongsheng Li, received his Ph.D. degree from National  University   of Defense Technology in 2005. He is currently  a Full Professor with the National Laboratory for Parallel and Distributed Processing, National University of Defense Technology. His research interests include distributed  computing,  cloud  computing,  computer  network,  and large-scale data management. He was awarded the prize of the National Excellent  Doctoral  Dissertation  of China by  Ministry of Education of China in 2008.     Background  This paper studies the optimization methods for the image processing. Specially, we consider the math methods for image deblurring.  Basically,  it  can  be  regarded  as  an  intersect  of applied mathematics and computer science. The  current  research  in  this  area  of  image  deblurring focuses  on  the  convex  and  nonconvex  TV  model.  Recently, with  low-rank  property,  the  composite  TV+LR  model  is proposed.  With  the  extra  prior,  the  reconstructions  are  much better.  However, the current TV+LR model only uses the convex function.  Due  to  the  nonconvex  functions  always  perform better in the image processing compared with the convex ones, we proposed the nonconvex TV+LR model, which has not been proposed  before.  And  the  numerical  results  show  that  our model can work much better than the convex TV+LR . Our  research  team  focuses  on  the  AI  research,  machine learning  theory  and  their  applications.  We  published  plenty  of papers  in  top  conferences  (NIPS,AAAI,IJCAI)  and  journals (TKDE,TIP,TSP). The google scholar of the first author can be found  at https://c3.glgoo.top/citations?user=fPNZpAe5WXIC&hl=zh-CN&oi=ao  and  the  second  author  at https://c3.glgoo.top/citations?user=_WrK108AAAAJ&hl=zh-CN. The research is supported by National Key R&D Program of  China  (2018YFB0204300)  and  National  Natural  Science Foundation of China under Grant ( 61906200).     第一作者 照片 (高清照片)