基于邻域一致性的极化SAR图像仿射配准朱庆涛①      殷君君②      曾  亮*①      杨  健*①①(清华大学电子工程系   北京   100084)②(北京科技大学计算机与通信工程学院   北京   100083)摘   要：极化SAR图像的配准是极化SAR图像处理的基础，需要具备较高的精度与速度。基于深度学习的极化SAR图像配准大多数是结合图像块特征的匹配与基于随机抽样一致性的参数迭代估计来实现的。目前尚未实现端到端的基于深度卷积神经网络的一步仿射配准。该文提出了一种基于弱监督学习的端到端极化SAR图像配准框架，无需图像切块处理或迭代参数估计。首先，对输入图像对进行特征提取，得到密集的特征图。在此基础上，针对每个特征点保留k对相关度最高的特征点对。之后，将该4D稀疏特征匹配图输入4D稀疏卷积网络，基于邻域一致性进行特征匹配的过滤。最后，结合输出的匹配点对置信度，利用带权最小二乘法进行仿射参数回归，实现图像对的配准。该文采用RADARSAT-2卫星获取的德国Wallerfing地区农田数据以及PAZ卫星获取的中国舟山港口地区数据作为测试图像对。通过对升降轨、不同成像模式、不同极化方式、不同分辨率的极化SAR图像对的配准测试，并与4种现有方法进行对比，验证了该方法具有较高的配准精度与较快的速度。关键词：邻域一致性；仿射变换；极化SAR；图像配准；稀疏卷积神经网络中图分类号：TP75 文献标识码：A 文章编号：2095-283X(2021)01-0049-12DOI: 10.12000/JR20120引用格式：朱庆涛, 殷君君, 曾亮, 等. 基于邻域一致性的极化SAR图像仿射配准[J]. 雷达学报, 2021, 10(1): 49–60.doi: 10.12000/JR20120.Reference format: ZHU Qingtao, YIN Junjun, ZENG Liang, et al. Polarimetric SAR image affine registrationbased on neighborhood consensus[J]. Journal of Radars, 2021, 10(1): 49–60. doi: 10.12000/JR20120.Polarimetric SAR Image Affine Registration Based onNeighborhood ConsensusZHU Qingtao①      YIN Junjun②      ZENG Liang*①      YANG Jian*①①(Department of Electronic Engineering, Tsinghua University, Beijing 100084, China)②(School of Computer and Communication Engineering, University of Scienceand Technology, Beijing 100083, China)Abstract: As the base of Synthetic Aperture Radar (SAR) image processing, the registration of polarimetricSAR images requires high accuracy and a fast speed. Most methods used to register polarimetric SAR imagesbased on deep learning are combined with patch matching and iterative estimation, e.g. the random sampleconsensus algorithm. However, end-to-end deep convolutional neural networks have not been used in the non-iterative affine registration of polarimetric SAR images. This paper proposes a framework for end-to-endpolarimetric SAR image registration that is based on weakly-supervised learning and uses no image patchprocessing or iterative parameter estimation. First, feature extraction is performed on input image pairs toobtain dense feature maps with the most relevant k matches kept for each feature point. To filter the matched  收稿日期：2020-08-29；改回日期：2020-11-05；网络出版：2020-11-20*通信作者： 曾亮 zengliang14@mails.tsinghua.edu.cn； 杨健 yangjian_ee@tsinghua.edu.cn*Corresponding Author: ZENG Liang, zengliang14@mails.tsinghua.edu.cn; YANG Jian, yangjian_ee@tsinghua.edu.cn基金项目：国家自然科学基金(61771043)，中央高校基本科研业务费专项资金(FRF-IDRY-19-008, FRF-GF-19-017B)Foundation Items: The National Natural Science Foundation of China (61771043), The Fundamental Research Funds for the Central Uni-versities (FRF-IDRY-19-008, FRF-GF-19-017B)责任主编：陈思伟     Corresponding Editor: CHEN Siwei第10卷第1期 雷  达  学  报 Vol. 10No. 12021年2月 Journal of Radars Feb. 2021feature pairs, the 4D sparse feature matching maps are then fed into a 4D sparse convolutional network basedon neighborhood consensus. Lastly, the affine parameters are solved by the weighted least square methodaccording to the degree of confidence of the matches, which enables the affine registration of the input imagepair. As test image pairs, we use farmland data from Wallerfing, Germany obtained by the RADARSAT-2satellite and Zhoushan port data from China obtained by the PAZ satellite. Comprehensive experiments wereconducted on polarimetric SAR image pairs using different orbit directions, imaging modes, polarization typesand resolutions. Compared with four existing methods, the proposed method was found to have high accuracyand a fast speed.Key words: Neighborhood consensus; Affine transformation; Polarimetric SAR; Image registration; Sparseconvolutional neural network1    引言合成孔径雷达(Synthetic Aperture Radar, SAR)全天时、全天候、高分辨率成像的特点使得它在环境监测、资源探测、战场感知等方面具有重要的战略意义。近年来，多时相、多波段、多成像模式下的SAR图像资源日益丰富。它们的融合处理对于遥感目标的检测、识别等任务具有重要意义。而SAR图像之间的配准则是上述融合处理的基础，需要具有良好的精度与速度。当前的配准算法主要是基于极化SAR图像的散射强度、极化特征等信息，结合相似性度量与参数迭代估计来实现。随着深度学习的发展，基于深度神经网络的极化SAR图像配准算法也逐渐增加，但是主要还是结合图像块的特征匹配与图像变换参数的迭代估计来实现[1,2]。目前尚未提出基于深度卷积神经网络的端到端极化SAR图像一步配准算法。受到光学图像处理领域中基于深度学习的端到端特征匹配算法的启发，本文提出了一种无需对图像进行切块处理或参数迭代估计的端到端极化SAR图像配准算法框架。首先，对输入图像对进行特征提取，并进行k近邻特征匹配。之后，通过4D稀疏卷积网络，基于邻域一致性原则实现特征匹配的过滤。最后，根据输出的匹配点对置信度，利用带权最小二乘法进行仿射参数的一步回归，实现图像对的配准。本文的结构组织如下：第2节对极化SAR图像配准算法进行综述。第3节讨论本文提出的配准算法。第4节给出实验结果与分析讨论。第5节为结论。2    极化SAR图像配准方法2.1  基于传统方法的极化SAR图像配准传统的图像配准方法主要分为两类，一类是基于区域的方法，另一类是基于特征的方法。基于区域的方法主要是通过寻找与模板窗口具有较高相似性的图像块来求解最佳匹配参数。常见的有归一化互相关法[3]，Kullback-Leibler散度法[4]，互信息法[5]，傅里叶变换域法[6]等；基于特征的方法则主要是通过检测两幅图像中的显著特征点，根据周围像素点生成特征描述符后，基于欧氏距离等度量来进行匹配。之后通过随机抽样一致性(RandomSample Consensus, RANSAC)等迭代估计的方法获取可靠匹配点对以确定变换参数。常见的有基于Harris[7], SIFT (Scale-Invariant Feature Transform)[8]等的配准算法。以基于SIFT的配准算法为例，首先构建高斯金字塔与差分高斯金字塔，在多尺度空间内进行极值点检测；之后对关键点进行精细定位并分配方向，同时筛除不稳定的关键点；结合上述关键点位置、尺度与方向信息，得到关键点的128维特征描述向量后，设定最近邻与次近邻距离比阈值，筛除不显著的匹配点对。最后使用RANSAC算法对匹配点对进行精细筛选，从匹配结果中选取几对进行全局变换参数求解，实现图像配准。相比于基于区域的配准，基于特征的配准方法具有更好的鲁棒性，但是具有较高的计算复杂度。上述图像配准算法被广泛应用于极化SAR图像配准。在基于区域的配准方面，研究者结合极化SAR图像的散射特性对相似性度量进行重新设计[9]；在基于特征的配准方面，提出了基于极化SAR图像特性的改进SIFT配准算法SAR-SIFT[10], PSO-SIFT[11]等。SAR-SIFT算法中考虑到极化SAR相干斑噪声的特点，结合SIFT与Harris关键点检测算法的优势，采用SAR-Harris空间代替高斯差分金字塔，使得Harris检测算子具备尺度不变性。该算法能够有效地对SAR图像的角点特征进行提取，实现了针对SAR图像的精细配准。2.2  基于深度学习的极化SAR图像配准(1) 深度卷积神经网络近年来，随着计算机存储与计算能力的提升，深度学习在计算机图像处理领域取得了较大的进展。深度卷积神经网络通过权重共享的卷积层对图50 雷  达  学  报 第10卷像特征进行自动提取，具有良好的特征表达能力与泛化性能，被广泛应用于图像检测、识别、分割等领域。2012年，AlexNet[12]获得ImageNet竞赛冠军后，各种优秀的深度卷积神经网络结构被不断提出。随后深度卷积神经网络逐渐被运用于极化SAR图像处理中。相比于传统方法，深度学习在极化SAR图像的各个应用领域中表现出较强的优越性，例如徐丰等人[13]利用深度卷积神经网络进行极化SAR目标识别与地物分类，Jin等人[14]提出了一种基于深度学习的极化SAR舰船目标检测算法。(2) 基于深度学习的图像配准随着深度学习的发展，卷积神经网络逐渐被运用到图像配准领域，算法主要分为3类。一类是利用深度卷积神经网络替代人工特征提取，之后仍然通过RANSAC等迭代估计的方式完成变换参数求解与图像配准。另一类是利用深度卷积神经网络通过有监督学习的方式直接对变换参数进行回归。例如DeTone等人[15]通过卷积神经网络对生成的仿真图像对进行有监督学习，实现单应性矩阵的直接回归，从而实现图像配准；Rocco等人[16]利用深度神经网络来模拟传统配准过程中的特征提取、匹配与参数回归。首先，利用深度卷积神经网络进行特征提取。之后，通过内积操作来得到特征图的相关度信息。最后，通过全连接层进行参数的有监督回归。但是由于特征图分辨率较低，导致算法的配准精度不高。还有一类是利用深度卷积神经网络对变换后的图像与目标图像的相似性进行优化，通过无监督学习的方式实现图像的配准。例如Balakrishnan 等人[17]通过无监督学习的方式优化变换图像与目标图像的局部相关性与平滑性来实现医学图像的配准；在文献[16]的基础上，Rocco等人[18]利用无监督学习的方式来增加特征图匹配点对的一致性，提出了基于局部邻域一致性的密集4D卷积结构来筛选稳定的特征匹配点对。然而由于内存的限制，匹配的精度依旧较低。后续工作中，他们通过稀疏卷积神经网络很大程度上节省了内存，使得高分辨率、高精度的图像对的关键点匹配得以实现，不过未实现后续的图像配准[19]。(3) 基于深度学习的极化SAR图像配准基于深度学习的极化SAR图像配准算法主要利用深度神经网络直接预测图像块是否匹配或将深度卷积神经网络作为特征自动提取器，之后仍然需要利用RANSAC等迭代算法进行变换参数求解。文献[1]基于SIFT算法对图像的关键点进行定位，提取关键点周围的图像块，并通过自监督学习的方式训练了一个能够预测图像块是否匹配的深度神经网络。最后基于粗匹配结果利用RANSAC对变换参数进行迭代估计；文献[2]基于VGG16卷积神经网络对遥感图像进行特征提取，并基于欧氏距离对特征描述符进行预匹配。最后基于动态内点筛选算法对变换参数进行迭代估计。总之，现有的方法均考虑对大场景的SAR图像进行切块处理后，基于图像块进行独立的粗匹配，未考虑块间匹配的关联性。因此往往需要进行参数迭代估计的后处理步骤来筛除错误的匹配，从而得到精确的变换参数。上述方法中预处理与后处理的引入使得配准流程较为烦琐费时。目前尚未提出根据极化SAR待配准图像对，基于深度卷积神经网络的输出结果直接实现一步配准的端到端算法框架。本文借鉴了文献[19]的思路，将邻域一致性与稀疏卷积神经网络应用于极化SAR图像配准中，实现了一种采用弱监督学习的端到端极化SAR图像一步配准的算法框架。该算法无需对输入图像对进行切块预处理或是参数迭代估计，配准精度较高且速度较快。3    基于邻域一致性的SAR图像配准3.1  整体框架fIA;IBg ffA;fBg fAi-j fBp-q ffA;fBgSRABSRABSFABSFAB(in;jn;pn;qn) f(in;jn)g f(pn;qn)g f(in;jn)g f(pn;qn)g (n=1;2;···;N) fsng该配准算法主要由特征提取、特征稀疏匹配、特征匹配过滤与参数估计4个部分组成。如图1所示，特征提取模块用于提取输入图像对 的特征信息 ，采用的网络结构借鉴了DenseNet网络结构[20]。特征图 的坐标系为 ，特征图 的坐标系为 。特征匹配模块根据特征图 ，采用归一化内积的方式(即余弦距离)对特征点对的相关度进行求解。为了保留更为显著的特征对以及节省内存，特征匹配模块对每个特征点仅保留k个相关度最高的匹配点，由此可以得到4D的特征粗匹配稀疏相关图(Sparse Raw Correlation Map) 。特征匹配过滤模块中通过4D稀疏卷积网络对中非零元素的邻域进行卷积滤波操作，输出过滤后的4D稀疏相关图(Sparse Filtered CorrelationMap) 中的每个非零像素 的值代表了特征匹配点对 与 的匹配置信度，其中n为某一匹配点对的标号。变换参数回归模块根据置信度较高的N对匹配点对坐标以及它们的匹配置信度 通过带权最小二乘法回归出仿射变换参数进行图像配准。3.2  特征提取模块文献[19]中采用了ResNet网络结构作为骨干网络来提取输入图像对的特征。本文则采用Dense-第1期 朱庆涛等：基于邻域一致性的极化SAR图像仿射配准 51fIA;IBgNet结构对输入图像对 进行特征提取。为了便于特征图的下采样，DenseNet采用了多个DenseBlock连接的方式。每个DenseBlock内部通过特征级联的方式建立了卷积层之间更加密集的连接。如图2所示，DenseBlock模块内的主要卷积单元为BN-ReLU-Conv的串联，其中BN (BatchNormalization)为批归一化层，ReLU (RectifiedLinear Unit)为线性整流激活层，Conv为卷积层。由于特征级联操作会改变特征图尺寸，因此在每个卷积单元后面添加了1×1卷积层进行特征降维操作，将输入卷积单元的特征图通道数进行统一。在DenseBlock中，每个卷积单元的输入特征图为之前所有卷积单元的输出特征图的级联，最后一个卷积单元的输出特征图作为Transition层(包含1×1卷积层以及2×2池化层)的输入。相应的数学表达如式(1)所示xt =Ht([x0;x1;···;xt 1]) (1) xt Ht x0;x1;···;xt 1式中， 表示DenseBlock内第t个卷积单元的输出特征图， 表示1×1特征降维与第t个卷积单元对应的操作，它的输入为前t个(0, 1, ···, t–1)卷积单元输入特征图 的级联。特征的充分复用使得网络的特征表达能力十分出色，对于局部信息的描述更加细致。对于常见的深度卷积神经网络结构GoogleNet,ResNet, DenseNet等，深层特征图的分辨率较小，代表着图像较为抽象的语义特征，图像边缘、纹理等特征信息则较为模糊；而浅层特征图的特征信息提取不够充分。仿射配准任务并非目标识别或场景理解等高级别的任务，在利用深度卷积神经网络进行特征提取时，需要尽可能保留较多的图像边缘、纹理信息，同时也需要较为充分的特征提取，因此特征提取网络的结构深度应避免过深或过浅。本文 A11A12A13A21A22A230 0 1变换参数回归 k近邻特征稀疏匹配特征提取 特征匹配过滤AIAIBfAf BSRABSFABAB...... ......Bijpq{( pn,  qn)}{( in,  jn)}{sn}仿射矩阵jiqp... 图 1 基于邻域一致性的SAR图像配准算法框图Fig. 1  Flowchart of image registration based on neighborhood consensus ConvunitTransitionlayer=BN-ReLU-Conv =1×1卷积 =特征图级联DenseBlockConvunitConvunitConvunitx0x1x2x3 图 2 DenseBlock的网络结构Fig. 2  Structure of DenseBlock52 雷  达  学  报 第10卷将第3个DenseBlock的输出特征图作为特征提取模块的输出结果。以1200×1200×3的输入尺寸为例，特征提取网络与每层输出的尺寸如表1所示。表中conv卷积单元包含了BN-ReLU-Conv。3.3  k近邻特征稀疏匹配模块fAfB(fA;fB2RmRm) fA(i;j) fBfA(i;j) fBf(p1;q1);(p2;q2);···; (pk;qk)gkmm SRA!BfA(i;j) fB(p;q)SRA!BSRB!A(i1;j1) (pu;qu) (pv;qv) r1ur1v(pu;qu) (i1;j1)SRAB记经过特征提取模块得到的特征图分别为和 。对于特征图 的某一个坐标点 ，计算该点与 所有坐标点的特征值内积并进行归一化来作为特征的相关系数(相当于采用余弦距离来替代欧氏距离)，仅保留k个与的特征相关值最大的坐标点。最终得到 个相关值，可理解为稀疏的单通道4D图像 (该4D图像的4个坐标值是 的 和 的 ，像素值为归一化的相关值)。记上述操作为特征图A对特征图B的单向k近邻操作。由于上述操作并非全图互相关操作，因此特征图A对特征图B进行单向k近邻得到的图像与特征图B对特征图A进行单向k近邻得到的图像 并不一定相同。以k取2为例，设特征图B中与特征图A上点 的相关度最高的2个点分别为 和 ，相关值分别为 和 。而特征图A中与图B上点 相关度最高的2个点中却未必包含点 。为了进一步增强双向均近邻的匹配点对的相关性，抑制仅单向近邻的匹配点对的相关性，将两个4D的稀疏单向k近邻相关图进行叠加，得到稀疏的4D粗匹配相关图 作为特征匹配模块的输出结果。3.4  特征匹配过滤模块本文涉及的邻域一致性原则是指由于极化SAR图像对应的自然场景具有较高的局部空间连续性，故稳定的显著特征点对附近应该还存在一些匹配程度较高的点对，否则该点对的匹配置信度应大幅削减。通常的卷积神经网络为密集卷积操作，给定卷积核，通过参数共享，对整幅图像(或中间特征图)进行滑动卷积操作，会遍历图中每一个像素。当图像(或特征图)为稀疏图，即大部分像素值为零时，仅需要遍历非零元素进行卷积操作即可。稀疏张量自动微分库Minkowski Engine[21]实现了通用的稀疏卷积操作，在输入稀疏图非零元素的索引与像素值后，可以对非零元素进行遍历并进行局部卷积操作。由于配准图像训练集较小，因此稀疏卷积网络部分的层数设计得较小，仅为2层，第1层的输出通道数为16，第2层的输出通道数为1，卷积核大小均为3×3，即仅考察目标匹配点对周围3×3的邻域信息。SRAB基于上述网络结构，设计损失函数以驱动网络学习对输入的4D粗匹配相关图 进行邻域滤波的能力。损失函数如式(2)所示L= (∑F(xpos))+∑F(xneg) (2)F() xpos xneg F()∑L∑F(xneg) (∑F(xpos))式中，函数 代表深度卷积神经网络， 代表了一对正样本图像(场景相关联，可以进行配准的图像对)， 代表了一对负样本图像(场景无关联，无法进行配准的图像对)。卷积神经网络 接收了一对图像对之后，输出结果为4D稀疏相关图，图上非零元素代表了特征图匹配点对的置信度大小。代表了对4D稀疏相关图的非零元素进行求和的操作。损失函数的值设计为负样本对的输出置信度之和与正样本对的输出置信度之和的差。根据Loss的第2项 ，对于负样本对输入，理论上大多数匹配点对为不稳定点对，在Loss下降的过程中，网络参数的优化方向是抑制所有输出点对的置信度，因此网络在这个过程中学习到了抑制不稳定匹配点对的能力；根据Loss的第1项 ，表 1 特征提取模块的结构Tab. 1   Structure of the feature extraction module网络的层 该层输出的尺寸 特征提取模块ConvolutionPooling600×600×64300×300×647×7 conv, stride 23×3 Max Pooling, stride 2DenseBlock(1) 300×300×256[11 conv33 conv]6Transition layer(1)300×300×128150×150×1281×1 conv2×2 Average Pooling, stride 2DenseBlock(2) 150×150×512[11 conv33 conv]12Transition layer(2)150×150×25675×75×1281×1 conv2×2 Average Pooling, stride 2DenseBlock(3) 75×75×1792[11 conv33 conv]48第1期 朱庆涛等：基于邻域一致性的极化SAR图像仿射配准 53SFAB对于正样本对输入，理论上存在许多匹配点对为稳定点对，在Loss下降的过程中，网络能够使得正样本对的输出置信度之和尽可能大，即学习到了增强稳定匹配点对的能力。二者相结合，构成的联合Loss即为最终的损失函数。综上所述，特征匹配过滤模块能够增强稳定匹配点对的置信度，抑制不稳定匹配点对的置信度。记滤波后的4D稀疏匹配相关图为 。3.5  基于带权最小二乘法的参数回归SFABfAfBfsng由4D稀疏匹配相关图 可以得到图像 和的稳定匹配点对，之后按照网络输出的置信度的大小，选取前N个坐标点对进行仿射变换参数求解。由于当前的匹配点对本身具有较好的稳定性与一致性，因此无需进行类似RANSAC等算法的迭代参数估计，仅通过最小二乘法即可对变换参数实现准确估计。由于不同的点对具有不同的置信度，因此采用带权最小二乘法进行仿射变换参数回归。通用的带权最小二乘回归原理如式(3)所示=(XTWX) 1XTWY (3) (X; Y)其中，θ为待定参数； 为一对观测量；W为每个观测样本的权重构成的对角矩阵。(X; Y) fAfBfsng (n=1;2;···;N)XY在对本文的仿射变换参数进行回归时，θ即为待求的仿射变换参数； 为待配准图像 和参考图像 上置信度s最高的N对坐标点对；W可根据 进行设定。实际进行计算时，由于 和 的每个元素均为二维坐标向量，难以直接按照式(3)进行计算，因此需要进行如下的变形处理。e=[A11;A12;A21;A22;A13;A23]XXt =(Xti;Xtj)YYt =(Ytp;Ytq)如图1所示，仿射矩阵共有6个参数待求，记。记 的第t个元素为 ,  的第t个元素为 。在不考虑权重矩阵W的情况下，仿射变换的关系式如式(4)所示。2664X1i X1j0 0 1 0X2i X2j0 0 1 0. . . . . .XNi XNj 0 0 1 00 0 X1i X1j0 10 0 X2i X2j0 1. . . . . .0 0 XNi XNj 0 13775264A11A12A21A22A13A23375=2664Y1pY2p.YNpY1qY2q.YNq3775(4)XeYe We=diag(s1;s2;···;sN)将式(4)中等式左边的第1个矩阵记为 ，等式右边的矩阵记为 。之后，定义权重矩阵，其中diag()代表对角阵。最终按照式(5)带权最小二乘回归，得到仿射变换中6个待求参数的值。e=((Xe)TWeXe) 1(Xe)TWeYe(5)4    实验与分析4.1  实验环境与数据集由于可用于配准的公开SAR图像数据集较为匮乏，且高分辨率的SAR图像与光学图像具有一定的相似性，故采用的训练数据集是Indoor VenuesDataset。训练方式为弱监督的方式，损失函数详见第3节。使用的显卡为单块GeForce GTX 1080Ti，处理器为Intel(R) Core(TM) i9-7920X。为了进行对比试验，特征提取模块分别采用ResNet和DenseNet的架构进行对比，此外为了提高模型的收敛效果，均采用了ImageNet预训练模型进行微调。初步实验中，将k近邻稀疏匹配模块的参数k设置为10。后续讨论中考察了参数k的取值对配准性能的影响。特征匹配过滤模块采用两层4D稀疏卷积层。取最大的N=200个匹配置信度对应的点对作为稳定特征匹配点对。最后经过带权最小二乘法对仿射参数进行回归。将上述稀疏匹配与基于邻域一致性的过滤模块合起来记为SparseNeighborhood Consensus Network (SNCNet)。实验中一共对比了5种不同的算法，分别是采用SIFT+RANSAC, SAR-SIFT+RANSAC, ResNet+SNCNet, DenseNet+SNCNet以及DenseNet+RANSAC。用于测试的极化SAR待配准图像对如图3和图4所示。图3(a)和图3(b)分别为RADARSAT-2卫星于2014年5月28日和2014年6月10日获取的德国Wallerfing地区的农田图像，原始尺寸均为3000×3000，极化方式为HH, VV, HV和VH，采用精细 (a) Wallerfing数据1(a) Wallerfing data 1(b) Wallerfing数据2(b) Wallerfing data 2 图 3 Wallerfing农田数据Fig. 3  Wallerfing farmland data54 雷  达  学  报 第10卷全极化成像模式，中心频率为5.4 GHz(C波段)，像元大小为4.7 m×5.1 m，距离向分辨率为5.2 m，方位向分辨率为7.7 m，入射角为40.2°。图3(a)为升轨数据，图3(b)为降轨数据。将它们记为Wallerfing数据。图4(a)和图4(b)分别为PAZ卫星于2019年12月3日和2019年11月12日获取的中国舟山地区的港口图像，原始尺寸均为4000×4000，极化方式为HH,VV极化，分别采用聚束和条带成像模式，中心频率为9.7 GHz(X波段)，像元大小分别为1.5 m×1.5 m和2.75 m×2.75 m，距离向分辨率分别为3.1 m和6.0 m，方位向分辨率分别为3.5 m和6.1 m，入射角为51.1°。图4(a)为降轨数据，图4(b)为升轨数据。将它们记为舟山数据。在实验中，将用于测试的极化SAR图像对通过双线性插值缩放为1200×1200的大小。4.2  评价指标fPA;PBgi;i= 1;2;···;Ne Lth =

max(h;w)对待配准图像的仿射变换图像与参考图像按照不同的色彩通道进行叠加，可以得到配准叠加图，便于对配准算法进行直观评价。量化的评价指标则主要采用PCK (Average Probability of CorrectKeypoints)[22]和APE (Average Pixel Error)，如式(6)和式(7)所示。设待配准图像A和参考图像B上已标注的N个点对为 , wrap为仿射变换操作(所使用的仿射变换参数为第3.5节中得到的), d()代表两个二维坐标点之间的欧氏距离。阈值 ，其中α为人为设定的比例系数，h和w为待配准图像对的高与宽。PCK=
{PiA2fPAg;d(wrap(PiA);PiB)< Lth}
N(6)APE=N ∑i=1d(wrap(PiA);PiB)N(7)4.3  配准叠加图首先从直观的角度对配准结果进行评价。采用本文的DenseNet+SNCNet算法，Wallerfing和舟山数据的仿射变换图像与目标图像的叠加图分别如图5(a)和图5(b)所示，两幅图中绿色的前景通道为待配准图像仿射变换的结果，紫红色的背景通道为目标图像。采用SAR-SIFT的实验结果如图6(a)和图6(b)所示。由图5和图6可以看到采用本文算法和SAR-SIFT算法，前景和背景的河流与海岸线等区域均能较好地重合，整体配准精度均较高。4.4  量化指标结果分析Wallerfing和舟山数据的APE如表2所示，采用不同配准算法的PCK曲线如图7(a)和图7(b)所示。(1) 极化信息对配准效果的提升由表2中Wallerfing数据的Pauli图像与Span图像的APE指标对比可知，极化特征的引入有助于提升配准精度。Wallerfing数据的Pauli图像如图3所示，对应的Span功率图如图8所示。Wallerfing数据中包含了种类丰富的农作物区域以及山地区域，同时还包含河流与湖泊区域。湖泊与河流等水域的后向散射强度较弱，在Pauli图像与Span图像中均呈现为稳定的黑色区域，而不同种类的农作物则具 (a)  舟山数据1(a) Zhou Shan data 1(b)  舟山数据2(b) Zhou Shan data 2 图 4 舟山港口数据Fig. 4  Zhou Shan port data (a) Wallerfing配准叠加图(a) Overlay map ofWallerfing data(b)  舟山配准叠加图(b) Overlay map ofZhou Shan data 图 5 DenseNet+SNCNet算法下，Wallerfing和舟山数据配准叠加图Fig. 5  Overlay map of Wallerfing and Zhou Shan databy DenseNet+SNCNet (a) Wallerfing配准叠加图(a) Overlay map ofWallerfing data(b)  舟山配准叠加图(b) Overlay map ofZhou Shan data 图 6 SAR-SIFT+RANSAC算法下，Wallerfing和舟山数据配准叠加图Fig. 6  Overlay map of Wallerfing and Zhou Shan databy SAR-SIFT+RANSAC第1期 朱庆涛等：基于邻域一致性的极化SAR图像仿射配准 55有各自独特的极化特性，后向散射强度分布比较复杂。在Pauli图中，不同农田区域具有明显的纹理特征，边缘信息较为明显，而在Span图像中，部分纹理与边缘信息缺失，对比度较弱。从APE指标可知，本文算法能够结合Pauli图像3个极化分解通道的极化信息，更好地利用极化SAR图像中的纹理、边缘等结构信息来实现图像的稳定匹配，相比于Span图像具有更加精确、稳定的配准效果。(2) DenseNet特征提取的优势由图7中Wallerfing与舟山数据配准结果的PCK值随α的变化曲线可知，本文所提算法相比ResNet-SNCNet具有一定的效果提升，配准精度与传统的SIFT+RANSAC与SAR-SIFT+RANSAC算法可以相媲美。由表2中DenseNet-SNCNet与其他方法的APE指标对比可知，采用DenseNet特征提取结构的稀疏匹配效果优于ResNet，与传统的SIFT和SAR-SIFT算法精度相近，验证了DenseNet出色的特征表达能力。在1200×1200的分辨率条件下，Wallerfing数据和舟山数据的平均像素误差距离仅为6.175和2.553，平均像素误差距离与边长之比仅为6.175/1200=0.515%和2.553/1200=0.213%。从网络结构的角度分析，DenseNet的DenseBlock中的特征密集连接与特征复用是它相比于ResNet的优势。ResNet的shortcut操作能够学习到网络的残差，在网络的层数较深时能够保证网络参数的学习更加流畅，有利于深层信息的传递与特征表达的学习。然而当前由于配准任务是较低层次的几何任务，因此特征提取的深度较浅，在该情况下，笔者认为ResNet的密集连接并未能够完全凸显其优势，而DenseNet的密集连接则能够更加充分地对图像低层次的特征进行表达，有助于后续匹配任务的进行。为了进一步佐证DenseNet的显著特征提取能力，将输入图像对的分辨率修改为600×600，考察配准结果。如图9(a)和图9(b)所示，将输入的表 2 各种配准算法的APE值Tab. 2   APE of different registration algorithmsMethod Wallerfing Pauli images Wallerfing Span images Zhou Shan imagesSIFT+RANSAC 6.521 9.058 1.924SAR-SIFT+RANSAC 4.053 6.927 2.252ResNet-SNCNet 9.222 9.641 3.677DenseNet-SNCNet 6.175 7.545 2.553DenseNet+RANSAC 32.715 40.042 7.988 SIFT+RANSACResNet-SNCNetDenseNet-SNCNetDenseNet+RANSACSAR-SIFT+RANSAC0.005 0.015 0.025 0.035 0.04500.10.20.30.40.50.60.70.80.91.0PCKa(a) Wallerfing数据PCK曲线(a) PCK of Wallerfing data00.10.20.30.40.50.60.70.80.91.0PCK0.002 0.006 0.010 0.014 0.018a(b)  舟山数据PCK曲线(b) PCK of Zhou Shan data 图 7 不同算法下，Wallerfing和舟山数据配准的PCK曲线Fig. 7  PCK of Wallerfing and Zhou Shan image registration with different algorithms (a) Wallerfing Span 图1(a) Wallerfing Span image 1(b) Wallerfing Span 图2(b) Wallerfing Span image 2 图 8 Wallerfing农田数据Span图Fig. 8  Span image of Wallerfing farmland data56 雷  达  学  报 第10卷Wallerfing图像缩放为600×600时，DenseNet-SNCNet依然具有良好的配准结果，而ResNet-SNCNet出现明显的配准偏差，体现了DenseNet特征提取能力的优越性。(3) 参数k对配准性能的影响对于Wallerfing和舟山数据，采用DenseNet+SNCNet算法，在k值不同时，配准结果的APE和基于GPU的运算时间分别如表3和表4所示。Wallerfing图像中存在具有一定重复性的农田纹理，且地形较为复杂，配准难度较高；而舟山港口图像中海域纹理比较单调，海岸线较为明显，故配准难度相对较低。由表3可知，对于复杂的配准图像，当k较大(例如16)时，4D稀疏匹配相关图的冗余信息较多，由于当前训练样本较少以及稀疏匹配网络结构设计较为简单，网络的配准性能相比于k较小时有明显下降；对于配准难度较低的图像对，k的选取对最终的配准性能没有太大的影响。kmm SRAB由第3.3节对k近邻特征稀疏匹配模块的分析可知，单向近邻相关图存在 个非零相关值。理论上，由单向近邻相关图叠加后得到的4D粗匹配相关图 中的非零元素个数一般会随着k的增加而增加。因此，稀疏匹配模块的参数量会随着k值的增大而增加，从而导致运算时间增加。由表4可知，k取16时的网络前向推断时间增加为k取2时的两倍左右。为了减少算法前向推断的时间，应尽量避免选择过大的k。综上所述，为了提高算法的泛化性能，同时提高算法的运行速度，应尽量避免k取值过大，k的取值在2～10附近均较为合适。(4) 特征匹配与过滤模块的有效性DenseNet+RANSAC是用于验证特征匹配与过滤模块有效性的对照实验。从表2的APE值可以看到，利用DenseNet提取密集特征图并按传统方法基于欧氏距离度量进行次近邻粗筛后，利用RANSAC迭代算法进行仿射参数求解的效果劣于前述方法。可能的原因在于DenseNet进行特征提取后得到的是特征图的分辨率较低，利用传统的后处理方法，仅根据最近邻与次近邻的距离比进行粗筛，难以取得较好的粗匹配效果，因此即使进行RANSAC迭代估计，最终的匹配效果也较差。为了进一步直观地体现特征匹配过滤模块的有效性，对输入特征匹配过滤模块前后的特征点对匹配以及显著特征点进行可视化。如图10所示，经过特征粗匹配得到的连线较为杂乱(仅选取了一部分表 3 k取不同值时，DenseNet+SNCNet配准结果的APE值Tab. 3  APE of registration result by DenseNet+SNCNetwith different kk Wallerfing Pauli images Zhou Shan images2 7.497 2.4435 8.929 2.0808 8.157 3.15410 6.175 2.55316 13.416 2.383表 4 k取不同值时，基于GPU的DenseNet+SNCNet运算时间Tab. 4  Time consuming of registration based on GPU byDenseNet+SNCNet with different kk Wallerfing Pauli images Zhou Shan images2 0.6267 0.63645 0.7335 0.73798 0.8525 0.929210 0.9943 0.954216 1.1793 1.2199 (a) DenseNet-SNCNet 的配准结果(a) Result of DenseNet-SNCNet(b) ResNet-SNCNet 的配准结果(b) Result of ResNet-SNCNet 图 9 600×600分辨率下，DenseNet-SNCNet和ResNet-SNCNet的配准结果Fig. 9  Registration result of DenseNet-SNCNet andResNet-SNCNet at 600×600 resolution (a)  稀疏匹配过滤前(a) Before filter module(b)  稀疏匹配过滤后(b) After filter module 图 10 稀疏特征匹配过滤模块的有效性Fig. 10  Effectiveness of the sparse filter module第1期 朱庆涛等：基于邻域一致性的极化SAR图像仿射配准 57匹配点对进行可视化)，而经过稀疏卷积过滤后的置信度较高的特征点对匹配具有较好的全局一致性。如图11所示，将特征匹配过滤模块输出的具有较高置信度的点对在图中标出。亮度越高的地方代表匹配置信度越高。该结果验证了本文算法能够有效地提取出河流、河岸与海岸线等在极化SAR图像配准任务中比较稳定的特征。 (a) Wallerfing显著点对(a) Wallerfing salient pairs(b)  舟山显著点对(b) Zhou Shan salient pairs 图 11 显著特征点对的分布Fig. 11  Distribution of salient feature pairs (5) 算法时间分析未进行算法并行化加速的SIFT类算法具有明显的时间劣势。传统的SIFT与SAR-SIFT算法的流程是构建高斯差分金字塔与SAR-Harris金字塔，进行关键点精细搜索，构建关键点特征描述向量，对特征进行次近邻筛选以及基于随机抽样一致性进行参数迭代估计。以SAR-SIFT为例，对于1200×1200的Wallerfing图像，构建SAR-Harris空间耗费的时间为3.27 s，关键点搜索的时间为1.45 s，若限制输入后续环节的关键点数目为500以下，则特征向量的生成时间为9.61 s，次近邻筛选时间与RANSAC时间为5.46 s，最终得到的稳定匹配点对为28对，共耗时19.8 s。然而当关键点数目达到5000时，特征向量的生成以及匹配筛选的时间分别长达100.41 s与26.76 s，稳定匹配点对为90对，算法总体耗时为131.9 s。文中进行对比的SAR-SIFT算法所采用的关键点数目为500。许多学者针对SIFT类算法在CPU上运算时间的劣势，提出了基于GPU或多核DSP的加速算法，能够获得几十的加速比，使得SIFT类算法的实时性得到了很大提升[23]。由此推算，即使在关键点数目较多的情况下，SAR-SIFT并行加速算法的速度也可降低至几秒甚至一秒以内。本文的算法采用了深度卷积神经网络架构，计算过程具有较高的可并行性，因此在实际部署时若采用GPU则会大幅提高其运算速度。对于1200×1200大小的Wallerfing图像，基于CPU的前向推断的运算时间为27.09 s，而基于GPU的运算时间仅为0.9943 s。因此本文的算法即使在大场景条件下也具备较快的执行速度。此外，由于网络的输出结果为经过滤波后的所有匹配点对的置信度，筛选前N个稳定匹配点对的时间复杂度仅为O(N)，故本文算法增加稳定匹配点对的额外时间开销较小。本文并未针对网络结构进行模型压缩，当前关于深度卷积神经网络在移动端部署的研究也较为丰富，后续可以考虑利用模型蒸馏或参数压缩等方法对网络进行压缩，从而实现网络前向推断速度的加快以及轻量级平台上的部署。总之，在用于匹配的特征点数适中的情况下，经过并行加速后的SIFT类算法相比于本文算法在理论上具有一定的时间优势，但是本文算法也同样具备较高的实时性以及潜在的算法加速的可能性，且增加匹配点对的额外时间开销较小。(6) 本文算法的适用条件本文的算法适用于高分辨率且尺寸适中的图像。极化SAR图像成像分辨率较低时，训练集与测试集的数据分布会具有较大差异性，配准性能可能下降；极化SAR图像尺寸过小(例如500×500以下)时，16倍降采样特征图所包含的特征点过少，配准会失效。后续研究中，可以针对小场景图像，重新设计网络结构，提高输出特征图的分辨率，实现高分辨率下的特征匹配过滤，完成小图像的配准。本文的算法仅适用于全局仿射配准，不适用于更加精细、配准模型自由度更高的全局极化SAR图像配准。本文的端到端极化SAR图像仿射配准算法利用了稀疏卷积来降低网络参数量，使得输入图像的尺寸可达1000×1000以上，在仿射配准的精度与速度上均与当前被广泛采用的SAR-SIFT算法相近。然而仿射配准模型的全局自由度仅为6，对于极化SAR图像配准任务而言，建模仍较为粗糙。本文算法基于16倍降采样的特征图进行特征稀疏匹配与过滤，映射至高分辨原图的单点位置精度较低，而SAR-SIFT算法则对关键点进行精细插值定位。可以预见，当配准模型较为复杂时，本文方法的精度相比于传统的SAR-SIFT等算法具有一定劣势。随着显卡的更新换代，未来可以尝试通过对网络结构进行改进，实现高分辨率图像下的点对匹配，以完善上述缺陷。5    结论针对目前基于深度学习的极化SAR图像配准算58 雷  达  学  报 第10卷法需要对图像进行手动切块处理与参数迭代估计，致使流程较为烦琐的问题，本文提出一种端到端的基于深度卷积神经网络的极化SAR图像仿射配准算法。该算法将特征提取与特征匹配过滤模块整合在同一神经网络框架中，基于弱监督学习实现了基于邻域一致性的特征精细匹配。结合网络输出结果与带权最小二乘法即可实现仿射变换参数的一步求解，无需参数的迭代估计，流程简洁。实验结果表明，该算法能够有效地利用多通道的极化信息提取稳定的特征匹配点对；算法采用DenseNet作为特征提取结构，整体配准精度与传统算法相近，在1200×1200的分辨率下，配准后的平均像素误差距离低至2.5～6.2，全局平均像素误差距离与边长之比低至0.2%～0.5%；速度上，本文的算法能够满足海量数据的实际应用需求。此外，实验利用了升轨和降轨、不同成像模式、不同极化方式、不同分辨率的SAR数据进行验证，结果表明本文提出的方法在不同数据上具有良好的泛化性能。参 考 文 献WANG Shuang, QUAN Dou, LIANG Xuefeng, et al. A deeplearning framework for remote sensing image registration[J].ISPRS Journal of Photogrammetry and Remote Sensing,2018, 145: 148–164. doi: 10.1016/j.isprsjprs.2017.12.012.[1]YANG Zhuoqian, DAN Tingting, and YANG Yang. Multi-temporal remote sensing image registration using deepconvolutional features[J]. IEEE Access, 2018, 6:38544–38555. doi: 10.1109/ACCESS.2018.2853100.[2]SARVAIYA J N, PATNAIK S, and BOMBAYWALA S.Image registration by template matching using normalizedcross-correlation[C]. 2009 IEEE International Conference onAdvances in Computing, Control, and TelecommunicationTechnologies, Trivandrum, India, 2009: 819–822. doi:10.1109/ACT.2009.207.[3]GAN Rui, WU Jue, CHUNG A C S, et al. Multiresolutionimage registration based on Kullback-Leibler distance[C].The 7th International Conference on Medical ImageComputing and Computer-Assisted Intervention. Saint-Malo, France, 2004: 599–606. doi: 10.1007/978-3-540-30135-6_73.[4]张涛, 王正勇, 张影, 等. 基于和声算法的图像配准技术[J]. 电视技术, 2014, 38(7): 9–12. doi: 10.16280/j.videoe.2014.07.032.ZHANG Tao, WANG Zhengyong, ZHANG Ying, et al.Image registration techniques based on harmony searchalgorithm[J]. Video Engineering, 2014, 38(7): 9–12. doi:10.16280/j.videoe.2014.07.032.[5]AVERBUCH A and KELLER Y. FFT based imageregistration[C]. 2002 IEEE International Conference on[6]Acoustics, Speech, and Signal Processing, Orlando, USA,2002: IV-3608–IV-3611. doi: 10.1109/ICASSP.2002.5745436.HARRIS C and STEPHENS M. A combined corner andedge detector[C]. The 4th Alvey Vision Conference,Manchester, UK, 1988. doi: 10.5244/C.2.23.[7]LOWE D G. Distinctive image features from scale-invariantkeypoints[J]. International Journal of Computer Vision,2004, 60(2): 91–110. doi: 10.1023/B:VISI.0000029664.99615.94.[8]WANG Yufan, YU Qiuze, and YU Wenxian. An improvednormalized cross correlation algorithm for SAR imageregistration[C]. 2012 IEEE International Geoscience andRemote Sensing Symposium, Munich, Germany, 2012:2086–2089. doi: 10.1109/IGARSS.2012.6350961.[9]DELLINGER F, DELON J, GOUSSEAU Y, et al. SAR-SIFT: A SIFT-like algorithm for SAR images[J]. IEEETransactions on Geoscience and Remote Sensing, 2015,53(1): 453–466. doi: 10.1109/TGRS.2014.2323552.[10]MA Wenping, WEN Zelian, WU Yue, et al. Remote sensingimage registration with modified SIFT and enhanced featurematching[J]. IEEE Geoscience and Remote Sensing Letters,2017, 14(1): 3–7. doi: 10.1109/LGRS.2016.2600858.[11]KRIZHEVSKY A, SUTSKEVER I, and HINTON G.ImageNet classification with deep convolutional neuralnetworks[C]. The 25th International Conference on NeuralInformation Processing Systems, Lake Tahoe, USA, 2012:1097–1105.[12]徐丰, 王海鹏, 金亚秋. 深度学习在SAR目标识别与地物分类中的应用[J]. 雷达学报, 2017, 6(2): 136–148. doi: 10.12000/JR16130.XU Feng, WANG Haipeng, and JIN Yaqiu. Deep learningas applied in SAR target recognition and terrainclassification[J]. Journal of Radars, 2017, 6(2): 136–148. doi:10.12000/JR16130.[13]JIN Kan, CHEN Yilun, XU Bin, et al. A patch-to-pixelconvolutional neural network for small ship detection withPolSAR images[J]. IEEE Transactions on Geoscience andRemote Sensing, 2020, 58(9): 6623–6638. doi: 10.1109/TGRS.2020.2978268.[14]DETONE D, MALISIEWICZ T, and RABINOVICH A.Deep image homography estimation[J]. arXiv: 1606.03798,2016.[15]ROCCO  I,  ARANDJELOVIC  R,  and  SIVIC  J.Convolutional neural network architecture for geometricmatching[J]. IEEE Transactions on Pattern Analysis andMachine Intelligence, 2019, 41(11): 2553–2567. doi:10.1109/TPAMI.2018.2865351.[16]BALAKRISHNAN G, ZHAO A, SABUNCU M R, et al.VoxelMorph: A learning framework for deformable medical[17]第1期 朱庆涛等：基于邻域一致性的极化SAR图像仿射配准 59image registration[J]. IEEE Transactions on MedicalImaging, 2019, 38(8): 1788–1800. doi: 10.1109/TMI.2019.2897538.ROCCO I, CIMPOI M, ARANDJELOVIĆ R, et al.Neighbourhood consensus networks[C]. Advances in NeuralInformation Processing Systems 31, Montréal, Canada,2018: 1651–1662.[18]ROCCO I, ARANDJELOVIĆ R, and SIVIC J. Efficientneighbourhood consensus networks via submanifold sparseconvolutions[J]. arXiv: 2004.10566, 2020.[19]HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al.Densely connected convolutional networks[C]. 2017 IEEEConference on Computer Vision and Pattern Recognition,Honolulu, USA, 2017: 4700–4708.[20]CHOY C, GWAK J Y, and SAVARESE S. 4D Spatio-temporal Convnets: Minkowski convolutional neuralnetworks[C]. IEEE/CVF Conference on Computer Visionand Pattern Recognition, Long Beach, USA, 2019:3075–3084.[21]YANG Yi and RAMANAN D. Articulated human detectionwith flexible mixtures of parts[J]. IEEE Transactions onPattern Analysis and Machine Intelligence, 2012, 35(12):2878–2890. doi: 10.1109/TPAMI.2012.261.[22]魏天华. 基于多核DSP的加速SAR-SIFT算法并行计算设计[D].[硕士论文], 西安电子科技大学, 2020.WEI Tianhua. Parallel calculation of speed-up SAR-SIFTalgorithm based on multi-score DSP[D]. [Masterdissertation], Xidian University, 2020.[23]作 者 简 介 朱庆涛(1997–)，男，清华大学电子工程系在读硕士研究生，研究方向为极化SAR图像处理。E-mail: zqt19@mails.tsinghua.edu.cn殷君君(1983–)，女，北京科技大学计算机与通信工程学院副教授，研究方向为雷达极化应用的基础理论，极化合成孔径雷达图像理解、图像分割、数据融合，海洋遥感及生态环境变化监测。E-mail: yinjj07@gmail.com曾　亮(1990–)，男，清华大学电子工程系在读博士研究生，主要研究方向为极化雷达信号处理、微波遥感、精确制导。E-mail: zengliang14@mails.tsinghua.edu.cn杨　健(1965–)，男，湖北襄阳人，分别在西北工业大学和日本新潟大学获得学士、硕士和博士学位，2000年回国，现在为清华大学教授，博士生导师，研究方向为极化雷达理论及其应用。E-mail: yangjian_ee@tsinghua.edu.cn60 雷  达  学  报 第10卷