雷达学报 Journal of Radars ISSN 2095 -283X,CN 10-1030/TN      《雷达学报》网络首发论文  题目：  基于角度内插仿真的飞机目标多角度 SAR 数据集构建方法研究 作者：  王汝意，张汉卿，韩冰，张月婷，郭嘉逸，洪文，孙巍，胡文龙 收稿日期：  2021 -11 -27  网络首发日期：  2022 -01 -24 引用格式：  王汝意，张汉卿，韩冰，张月婷，郭嘉逸，洪文，孙巍，胡文龙．基于角度内插仿真的飞机目标多角度 SAR 数据集构建方法研究[J/OL] ．雷达学报. https://kns.cnki.net/kcms/detail/10.1030.TN.20220120.1628.002.html        网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出版管理条例》和《期刊出版管理规定》的有关规定；学术研究成果具有创新性、科学性和先进性，符合编辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。为确保录用定稿网络首发的严肃性，录用定稿一经发布，不得修改论文题目、作者、机构名称和学术内容，只可基于编辑规范进行少量文字的修改。 出版确认：纸质期刊编辑部通过与《中国学术期刊（光盘版）》电子杂志社有限公司签约，在《中国学术期刊（网络版）》出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊（网络版）》是国家新闻出版广电总局批准的网络连续型出版物（ISSN  2096-4188，CN 11-6037/Z ），所以签约期刊的网络版上网络首发论文视为正式出版。   基于角度内插仿真的飞机目标多角度SAR数据集构建方法研究 王汝意①②③     张汉卿①②③     韩冰*①②③     张月婷①②③ 郭嘉逸①②③     洪文①②③     孙巍①③     胡文龙①②③ ①(中国科学院空天信息创新研究院 北京 100190) ②(中国科学院空间信息处理与应用系统技术重点实验室 北京 100190) ③(中国科学院大学电子电气与通信工程学院 北京 100049) 摘  要：随着SAR技术应用领域的扩大以及SAR数据获取技术的发展，构建各种典型目标的多角度SAR数据集的需求日益迫切。针对飞机目标，目前尚未有比较完备的多角度SAR图像数据集。本文探索了一种基于实测数据和智能仿真相结合的数据集构建方法，通过飞行试验采集飞机目标SAR多角度数据，并基于散射分析和自注意力生成对抗网络实现特定角度的SAR图像内插仿真，从而为数据集构建和扩容提供新的解决方案。最后，在假定部分数据缺失的情况下，通过6种评价指标对仿真图像和实际采集图像的相似度进行了评价，验证了所提方法的有效性。 关键词：数据集构建；飞机目标；图像仿真；生成对抗网络；自注意力 中图分类号：TN959 DOI: 10.12000/JR21193 引用格式：王汝意, 张汉卿, 韩冰, 等. 基于角度内插仿真的飞机目标多角度SAR数据集构建方法研究[J]. 雷达学报, 待出版.doi: 10.12000/JR21193. Reference  format: WANG  Ruyi, ZHANG  Hanqing, HAN  Bing, et  al. Research  on  Multi-angle  SAR Dataset Construction of Aircraft Targets Based on Angle Interpolation Simulation [J]. Journal of Radars, in press. doi: 10.12000/JR21193. Research on Multi-angle SAR Dataset Construction of Aircraft Targets Based on Angle Interpolation Simulation WANG Ruyi①②③      ZHANG Hanqing①②③      HAN Bing*①②③      ZHANG Yueting①②③ GUO Jiayi①②③      HONG Wen①②③      SUN Wei①③      HU Wenlong①②③ ①(Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100190, China) ②(Key Laboratory of Technology in Geo-spatial Information Processing and Application System,  Beijing 100190, China) ③(School of Electronic, Electrical and Communication Engineering,  University of Chinese Academy of Sciences, Beijing 100049, China) Abstract：With the expansion of SAR applications and the development of SAR data acquisition technology, it is increasingly  urgent  to  construct  multi-angle  SAR  datasets  of  various  typical  targets. At  present,  there  is  no                                                              收稿日期：2021-11-27; *通信作者：韩冰han_bing@mail.ie.ac.cn *Corresponding Author: HAN Bing, han_bing@mail.ie.ac.cn 基金项目：国家自然科学基金61431018 Foundation Items: National Natural Science Foundation of China under Grant 61431018 责任主编：曾涛    Conspronding Editor: ZENG Tao  网络首发时间：2022-01-24 11:43:27网络首发地址：https://kns.cnki.net/kcms/detail/10.1030.TN.20220120.1628.002.html comprehensive  multi-angle  SAR  image  dataset  for  aircraft  targets.  This  paper  explores  a  method  of  dataset construction based on the acquisition of actual data and intelligent simulation. Multi-angle SAR images of aircraft targets  are  collected  through  flight  tests,  and  the  interpolation  simulations  of  SAR  images  of  specific angles are realized  based  on  scattering  analysis  and  self-attention  generative  adversarial  network, which  provides  a  new solution  for  dataset  construction  and  expansion. Finally,  under  the  assumption  that  some  data is missing, the similarities between  the  simulated  images and  the  actual  images are evaluated  by  six evaluation  indexes,  which verifies the effectiveness of the proposed method. Key  words：Dataset  construction; Airplane  object;  Image simulation;  Generative adversarial  network;  Self attention 1  引言 合成孔径雷达(Synthetic  Aperture  Radar，SAR)是一种高分辨率微波成像雷达。作为一种主动发射信号的传感器，SAR可以全天时、全天候获取被观测区域目标的散射信息，丰富的信息与及时高效的数据获取能力使得SAR在军事侦察、地形测绘、灾害监测、应急预警等多个领域发挥越来越重要的作用。 SAR成像机理决定了对于结构较为复杂的目标而言，其SAR图像特征将呈现显著的角度敏感特性。目前，在SAR目标检测识别等研究中被广泛使用的多角度观测公开数据集为The  Moving  and  Stationary Target  Acquisition  and  Recognition  (简称MSTAR)数据集，但MSTAR数据集的观测对象仅包含前苏联军用车辆目标。随着SAR技术应用领域的扩大以及SAR数据获取技术的发展，构建各种典型目标的多角度SAR数据集的需求日益迫切。 针对本论文研究的典型目标——飞机目标，目前尚未有比较完备的多角度SAR图像数据集。由于飞机目标在不同的观测角度下会体现出不同的散射特性，且飞机目标形状较为复杂，方位向各向异性特征显著，所以构建类似MSTAR的飞机多角度SAR数据集需要针对飞机各向异性特性系统地展开对数据集构建理论和方法的研究。 构建目标多角度SAR图像数据集的传统方法一般包括实验室半物理仿真、计算机仿真、实际数据采集等多种方式。实验室缩比半物理仿真，即对实体或缩小目标在外场或微波暗室进行实际测量[1]；计算电磁学计算机仿真，即先借助计算机软件对目标的几何外形进行精确建模，再用计算机代码编程实现电磁计算方法，通过仿真计算得到目标电磁散射回波特性[2]；实际数据采集则利用机载SAR系统针对特定目标进行如360°圆迹实际观测的数据获取方式。前两种方法的缺陷主要是难以实现对真实目标的准确描述，而最后一种方法的难点是成本高、受限因素多等。 随 着 深 度 学 习 技 术 的 发展，Goodfellow等人[3]在2014年提出的生成对抗网络(Generative  Adversarial  Networks，GAN)具备一定的数据内插和外插能力，在SAR图像的数据扩充和目标识别等方面有很好的应用前景。针对传统电磁仿真算法精度差、速度慢、自动化程度低的问题，Guo等人[4]开发了一种端到端模型，可以利用GAN直接从已知的图像数据库中生成所需的图像，并补全SAR目标在各个方位角下的结果。Zhang等人[5]结合SAR图像对目标方位角等参数敏感的特点，在利用深度卷积生成对抗网络(Deep Convolutional GAN，DCGAN)扩充目标图像的过程中，通过加入方位识别模型提取图像中的目标方位角，来生成与真实图像中目标的方位角一致的特定图像。为了改善DCGAN方法的不稳定性，同时更好地丰富完善已获取的SAR目标图像的角、方向等信息，张明蕊[6]提出了一个基于Wasserstein  GAN-Gradient  Penalty  (WGAN-GP)可用于SAR图像方位角筛选模型，证明了生成的SAR图像是有效的，可以在一定程度上扩充现有图像数据。为解决SAR自动目标识别中的数据稀疏问题，孙智博等人[7]提出一种基于谱归一化生成对抗网络(Spectral  Normalization  Generative  Adversarial Network，SN-GAN)的目标SAR图像仿真方法，通过实验验证，在训练集中加入SN-GAN优化的仿真SAR图像可以有效缓解数据稀疏问题，提升分类算法的准确率。Liu等人[8]提出利用RaySAR等工具生成模拟图像来增加训练集大小；然后，他们提出使用CycleGAN来调整仿真图像，实验结果表明，使用CycleGAN可以使分类准确率提高9.3%。生成对抗网络及其衍生网络在生成SAR图像样本中的广泛应用，促进实测数据采集和智能仿真相结合的目标多角度SAR数据构建和扩容技术的发展。 截至目前，无论是在国内还是国际上，基于GAN的SAR图像生成的研究基本上是基于MSTAR数据集而展开的。尚无人使用除MSTAR车辆数据集以外的多角度观测数据对SAR目标进行多角度数据集构建方法的研究工作。飞机目标轮廓复杂，角度敏感性更加突出，且相对于车辆来说尺寸更大，若使用传统的GAN网络容易忽视飞机整体的特征，所以针对飞机目标数据集构建方法的研究有着十分迫切的需求。 在本文中，通过实测数据采集来构建飞机目标SAR多角度数据集，并基于散射分析和自注意力生成对抗网络(Self-Attention  GAN，SAGAN)实现特定角度的SAR图像内插仿真，从而为数据集构建和扩容提供新的解决方案。首先，采用无人机载SAR以尽可能小的角度间隔采集数据，围绕飞机目标多角度拍摄获得SAR原始回波数据，对其进行成像处理，并对获得SAR图像进行数据预处理，得到飞机图像切片数据。然后，假定部分数据缺失，采用SAGAN对缺失角度的飞机SAR图像进行角度内插仿真，使用6种评价指标对仿真图像与实际采集的数据进行数值分析并补全目标能量积分曲线，证明了使用该方法进行特定角度图像仿真的可行性。 2  无人机飞行试验设备和规划 试验使用的雷达是中国科学院空天信息创新研究院研制的4公斤级MiniSAR R/SYA4000Ku-T1，采用KWT-X6L-15多旋翼无人机作为飞行平台，集成了雷达主机、惯性导航系统、供电模块、稳定云台四大部分。其集成平台实景图如图1所示。  图1  集成平台实景图 Fig. 1 Picture of integrated platform 试验选定山西省太原市尧城机场内自有停放的多架飞机作为本项目获取数据的观测对象。本文中研究的飞机目标是大棕熊100型(以下简称大棕熊)和“空中拖拉机”AT-504(以下简称T504)飞机，其现场图像如图2所示。此外，在该机场中还停放着其它型号的飞机，如空中国王350i、塞斯纳208“大篷车”等。在本文中只对大棕熊和T504飞机进行相关的研究，其余飞机目标后续会进行对比分析。  (a)大棕熊 (a) Quest  (b)T504 (b) T504 图2  现场图像 Fig. 2Situation image   图3  试验航线规划局部图 Fig. 3 Local figure of Route planning 试验中，SAR采用右侧视观测且下视角为45°，所用成像方式为条带成像模式。试验中以大棕熊飞机为目标中心规划航线飞行，并要求以相邻航线之间的间隔为5°，即获取72个角度的SAR条带数据，并保持雷达的下视角和雷达发射功率恒定。飞行航线示意图如图3所示。其中，由于每条飞行航迹均采用右侧视，所以相反的两条航迹关于成像中心是中心对称的。 3  飞机数据集构建与分析 3.1  飞机数据集数据预处理 传统SAR成像算法采用侧视观测几何来获得方位-斜距二维图像，由于飞行航线是随着观测角度不断变化的，所以飞机上的同一个点在不同角度的SAR图像中的位置是不同的，这给后续的散射特性分析带来了困难。BP成像算法可以将成像区域网格化，保障不同角度下网格的位置得一一对应关系[9]，所以本文中使用BP算法对原始数据进行成像处理。 BP算法是在时域进行操作的SAR成像算法。BP算法首先将成像的场景进行网格划分，最终形成的SAR图像中每个像素代表一个网格，将雷达回波数据反向投影到成像区域的每个像素，再将每个像素处的回波进行相干叠加，最后恢复出每个像素的目标函数。在本文中，成像网格根据数字高程模型(Digital  Elevation  Model，DEM)设定，网格分辨率设置为0.05m。 经过BP成像之后，还需对成像后的SAR图像进行预处理，来获得构建数据集所需的飞机图像，其处理流程如图4所示。  图4  数据集切片制作流程图 Fig. 4 Flow chart of dataset making 首先，从BP成像之后的SAR复图像中裁剪出飞机SAR复图像(a)；然后，将(a)中的复数取模，转化为(b)；同时，为了防止强散射点对图像缩放和幅值归一化的影响，在复数取模后，需对其设置最高幅值阈值，并将超过该阈值的幅值设置为阈值的大小，得到(c)；然后，将(c)经双线性插值缩放至128*128大小，得到(d)；最后，将(d)的幅值归一化至[0,255]区间内，得到飞机图像，即本文实验所使用的数据。 该数据集共有两型飞机，每型72张飞机图像，对应的角度信息分别为0°，5°，10°，15°……340°，345°，350°，355°，每张图像的大小都是128*128大小，且像素幅值都在[0,255]区间内。最后，制作的飞机数据集切片如图5和图6所示。          0°            5°          10°         15°          20°          25°         30°         35°         40°          45°         50°          55°         60°         65°         70°          75°          80°          85°         90°          95°        100°        105°       110°       115°        120°        125°       130°       135°        140°       145°        150°       155°       160°        165°       170°        175°       180°       185°       190°        195°        200°       205°        210°        215°       220°        225°        230°        235°         240°        245°        250°        255°       260°      265°       270°         275°        280°       285°       290°        295°        300°        305°       310°        315°        320°       325°        330°       335°       340°        345°       350°        355°  图5  大棕熊数据集展示 Fig. 5 Display of Quest dataset         0°            5°          10°         15°          20°          25°         30°         35°         40°          45°         50°          55°         60°         65°         70°          75°          80°          85°         90°          95°        100°        105°       110°       115°        120°        125°       130°       135°        140°       145°        150°       155°       160°        165°       170°        175°       180°       185°       190°        195°        200°       205°        210°        215°       220°        225°        230°        235°        240°        245°        250°        255°       260°      265°       270°         275°        280°       285°       290°        295°        300°        305°       310°        315°        320°       325°        330°       335°       340°        345°       350°        355°  图6  T504数据集展示 Fig. 6 Display of T504 dataset 3.2  基于幅度信息的飞机数据集散射分析 雷达散射截面积(Radar Cross  Section，RCS)是目标在雷达接收方向上反射雷达信号能力的度量，一个目标的RCS等于在单位立体角内目标在雷达接收天线方向上反射的功率与入射到目标处的功率密度之比[10]。其计算公式为 2224riEREsp=                   (1) 其中?���⃗⃗⃗ 为入射电场矢量，?���⃗⃗⃗⃗ 为在距离目标���处反射电场矢量。同时，因为SAR图像中每个像素的幅值就是该像素的强度，所以这里将SAR图像中目标的幅值之平方和定义为目标的能量积分。 如果一个目标的主体能量分布在���个像素点内，并且多角度SAR图像中第m(���=1,2,3,⋯,���)个像素处的幅值随角度变化的曲线为���?(?)，其中?为不同的方位角度，那么我们将目标的能量积分随角度变化的曲线定义为 1( ) ( )NmmR k R k==å                  (2) 即目标在某一角度的能量是每个像素在该角度能量的叠加。因此，目标的能量积分 曲线可以通过像素的累加获得。这相当于用一个等效像素来表示整个目标，类似于散射中心的概念[11]。 在本文中，将飞机数据集中每张切片图像的各个像素值按照式(2)进行相加，并将得到的结果取模，得到了飞机的能量积分随角度变化的曲线，分别是0°，5°，10°……345°，350°，355°等72个角度的目标能量积分随角度变化的曲线，以及假定部分数据缺失后，剩余的0°，10°，20°……330°，340°，350°等36个角度的目标能量积分随角度变化的曲线，如图7、图8所示。 试验中，在各个不同角度观测时保持雷达发射功率恒定，得到的SAR图像是处于同一辐射基准下的，所以虽然目标的能量积分的数值较大，但目标能量积分随角度变化的曲线仍能反映出各不同角度目标能量积分之间的相对关系。对比图7、图8中(a)、(b)两图，可以发现(b)图虽然在轮廓上与(a)图相差不大，但在曲线变化的细节方面仍和(a)图有着较为明显的差异。在后续的实验中，会将(b)图对应角度的图像作为数据集，利用SAGAN来进行中间角度的仿真，实现对目标能量积分曲线进行角度补全，证明SAGAN在飞机数据集缺失角度仿真中的能力。  (a)72个角度的目标能量积分变化曲线 (a) The integral curve of target energy at 72 angles  (b)36个角度的目标能量积分变化曲线 (b) The integral curve of target energy at 36 angles 图7  大棕熊目标能量积分变化曲线 Fig. 7 The integral curve of target energy of Quest  (a)72个角度的目标能量积分变化曲线 (a) The integral curve of target energy at 72 angles  (b)36个角度的目标能量积分变化曲线 (b) The integral curve of target energy at 36 angles 图8  T504目标能量积分变化曲线 Fig. 8 The integral curve of target energy of T504 4  网络模型 本文使用的网络由两大部分构成，一个是生成器?，一个是鉴别器?，如图9所示。二者相辅相成，生成器?产生尽可能真的假样本来骗过鉴别器?，而?则不断通过反馈学习鉴别出样本的真假。在网络训练过程中，二者交替进行，最终达到平衡状态[12]。同时，由于需要生成特定角度的 SAR图像，所以需要在生成器和鉴别器的输入端引入角度标签?，使其指导图像的生成过程，生成指定标签的样本。 4.1  生成器模型G 生成器模型?的网络结构如图10所示。在图10 中，Deconv 表示反卷积(Deconvolution)操作，SN表示谱归一化(Spectral  Normalization，SN)，BN表示批归一化(Batch  Normalization，BN)，ReLU表示线性整流函数(Rectified  Linear  Unit，ReLU)，网络中的H×W×C分别表示每层的高度、宽度和通道数量。 生成器有两个输入，一个是服从标准正态分布的60位随机噪声?，另一个是输入图像的方位角信息?=[sin���,cos���]。在生成器的输入端，将输入的两部分通过反卷积网络上采样为相同的维度，并进行通道合并。然后经过5层反卷积上采样得到128×128大小的仿真SAR图像。  图9  网络模型结构图 Fig. 9 Structure diagram of network model  图10  生成器G的网络结构图 Fig. 10 Structure diagram of generator G  图11  判别器D的网络结构图  Fig. 11 Structure diagram of discriminator D 4.2  判别器模型D 判别器模型?的网络结构如图11所示。图中Conv 表示卷积(Convolution)操作，Leaky ReLU表示渗漏整流单元。 判别器本质上就是一个二分类器。判别器也有两个输入，一个是生成器生成的SAR图像或真实的SAR图像，另一个是图像对应的角度信息?。经过通道合并和卷积下采样后，最后传送给全连接层进行分类，得到输入图像的可信度?=?(?)∈���，当判别器的输入为真实图像时可信度?≥1，当判别器的输入为生成图像时可信度?≤−1，而当可信度?∈(−1,1)时，判别器对图像的分类结果不确定。 4.3  自注意力机制 在生成飞机图片时，也是非常注重细节的，以左右机翼举例，只要左右机翼有一点点不对称，就会显得生成的飞机特别不真实。但是一般的卷积神经网络受局部感受野的限制，只能实现图像局部区域的精确建模，而无法体现图像中距离较远的特征之间的相关性。而自注意力机制为解决这一问题提供了新的途径。 自注意力模块将所有位置处的特征的加权和作为该位置的响应，在模拟远距离依赖性的能力、计算效率之间有非常好的权衡，其网络拓扑图如图12所示[13]。  图12  SAGAN的自注意力模块网络拓扑图 Fig. 12 Topology of the self-attention module network in SAGAN 图 12 中，���∈ℝ?×���(���=?×���，���1,���2,⋯,������为���个特征区域)表示前一个隐含层的输出，transpose 为矩阵转置运算，⊗代表矩阵乘法，softmax 为归一化指数函数，?、?、?分别代表不同的特征空间，且 ( ) ( ) ( )f g h,, = = = f x W x g x W x h x W x (3) 其中���?、���?、���ℎ为1×1卷积的权重矩阵。 ( ),softmax ( ) ( )Tj i i j b = f x g x       (4) 其中??,?表示模型在合成第?个特征区域时对第?个特征区域的关注程度。全局空间信息���=[���1 ���2 ⋯ ���? ⋯ ������]，其中 ,1()Nj j i iib==å o h x                   (5) 网络的最终输出为 i i ig =+ y o x                       (6) 表示全局空间和局部信息整合到一起，?参数是从0开始初始化，目的是让网络首先关注邻域信息，随后慢慢把权重分配到其他远距离特征上。 本文在生成器模型和判别器模型中均使用了注意力机制，如图10和图11中绿色方块所示。 4.4  谱归一化 此外，本文将谱归一化分别应用于生成器和判别器中来稳定网络的训练过程。谱归一化，是一种让函数满足Lipschitz条件的方式[14]。将谱归一化作用在生成器和判别器每一层的权重矩阵上，可以让判别器满足Lipschitz条件，同时也避免了生成器的参数过多导致梯度异常，使整个训练过程更加平稳和高效。其实现简单，额外的计算成本很低。 4.5  目标函数 本文中目标函数使用铰链损失函数(Hinge  Loss)，并采用交替训练的方式来最小化对抗性损失。判别器和生成器的目标 函数分别为 ( )( ) ( )( , ),min 0, 1 ( | c, | )min 0, 1 ( | ), |dataz dataD x y Pz P y PL E D x y cE D G z c y c= - - + éù ëû éù - - -ëû(7) ( ),( | ), |z data G z P y P L E D G z c y c =-   (8) 其中，���������������是数据集的分布函数，?和?表示从中采样出来的真实图像；������服从标准正态分布，?表示从中采样出来的随机噪声；?为方位标签信息。当判别器判定真实图像?为真实图像时，判别器的目标函数���?的第一项为0；当判别器判定生成器生成的图像?(?|?)为虚假图像时，���?的第二项为0；当判别器错判或判别不出图像的真假时，要对两项的损失进行累加。生成器的目标函数������使用判别器对生成图像?(?|?)的判定结果来作为损失。 5  实验设计 实验采用Pytorch深度学习框架。在训练过程中，设置batch  size为12。生成器和判别器均采用Adam优化器，初始学习率设 置 为0.00002，超参数?1=0.5，?2=0.9。 5.1  对照实验 为了方便对比本文网络模型的性能，本文将进行以下几组对照实验，并将通过几种仿真方法仿真的图像与采集到的真实图像进行参数对比，如表1所示。 表1  对照实验设计 Tab. 1 Design of control experiment 编号  数据集  仿真图像  实验1  1.1 线性插值 1.2 DCGAN 1.3 SAGAN 0°，10°，20°……330°，340°，350°等36个角度的切片图像 5°，15°，25°……335°，345°，355°等36个角度的生成图像  实验2  2.1线性插值 2.2 DCGAN 2.3 SAGAN 0°，20°，40°……300°，320°，340°等18个角度的切片图像 10°，30°，50°……310°，330°，350°等18个角度的生成图像  实验3  3.1线性插值 3.2 DCGAN 3.3 SAGAN 0°，30°，60°……270°，300°，330°等12个角度的切片图像 15°，45°，75°……285°，315°，345°等12个角度的生成图像  本文将每型飞机的实验分为三大部分，分别假定有不同程度的数据缺失，在每一部分使用线性插值仿真和DCGAN网络仿真来与SAGAN网络仿真的结果进行对比。 5.2  评价指标 本文将使用均值，方差，动态范围，等效视数，辐射分辨率[15]以及多尺度结构相似性[16](Multi-Scale Structural Similarity，MSSSIM)6 种评价指标来评估三种仿真图像与真实图像之间的相似程度。 图像的均值反映了图像的亮度，描述了目标的平均后向散射特征；图像的方差反映了像素值的不均匀性，图像越不均匀，方差越大；动态范围是图像最大灰度和最小灰度的比值，动态范围的减小会导致图像特征的模糊；等效视数反映了图像斑点噪声的相对强弱，等效视数越大，斑点噪声越弱；辐射分辨率反映了图像中像素点的区分能力，辐射分辨率越高，图像越清晰；多尺度结构相似性将失真建模为亮度、对比度和结构三个不同因素的组合，具有对称性，当两个图像完全相同时，MSSSIM值达到最大值1。值得注意的是，动态范围的定义是?=10×log10���?���������?���?，其中??������为图像幅度的最大值，????为图像幅度的最小值，由于在图像中有些????=0，所以我们定义????=max(????,1)。 6  实验结果 6.1  评价指标和视觉效果 本文实验结果如表2和表3所示，表中分别列举了6种评价指标，并展示了相应的图像便于视觉上的对比。  在表2和表3中，均值和方差越接近真实图像的评价指标，说明仿真的图像越接近于真实的图像。 表2  大棕熊飞机的实验结果 Tab. 2 The results of Quest 评价指标  真实图像  1.1 线性插值  1.2 DCGAN  1.3 SAGAN 实验1 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 8.3478 222.7115 24.0191 0.3544 4.4122 1 7.2824 180.5600 24.0654 0.3296 4.5283 0.8796 2.2015 332.6937 24.0645 0.0155 9.8494 0.7208 7.4473 184.9680 23.6535 0.3411 4.5109 0.9109 图像对比         实验2 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 7.9940 196.1860 23.9936 0.3610 4.3566 1 7.3991 195.2122 24.0654 0.3201 4.5477 0.8176 1.9416 299.9074 24.0654 0.0132 10.1238 0.7182 7.9586 171.7767 23.5524 0.4067 4.2361 0.8687 图像对比         实验3 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 9.3860 269.7321 24.0088 0.3585 4.4068 1 6.8494 177.5682 24.0654 0.2871 4.6584 0.7895 3.9641 444.1880 24.0654 0.0371 8.4001 0.6872 7.2850 151.7025 23.1066 0.3805 4.2585 0.8322 图像对比         表3  T504飞机的实验结果 Tab. 3 The results of T504 评价指标  真实图像  1.1 线性插值  1.2 DCGAN  1.3 SAGAN 实验1 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 7.6944 233.4476 24.0310 0.2890 4.7038 1 6.4487 195.5095 24.0654 0.2472 4.9370 0.8883 2.3689 419.6468 24.0654 0.0139 10.0759 0.7865 6.9906 207.3487 23.7438 0.3000 4.7565 0.9144 图像对比         实验2 均值 方差 动态范围 等效视数 7.6757 223.5757 24.0259 0.2928 4.6348 6.2026 181.2341 24.0654 0.2448 4.9537 2.6880 455.8974 24.0548 0.0168 9.6976 7.6460 207.0935 23.6946 0.3564 4.5942  辐射分辨率 MSSSIM 1  0.8056  0.7633  0.8757 图像对比         实验3 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 8.0766 248.2839 24.0408 0.3004 4.6469 1 5.8539 166.7415 24.0654 0.2394 4.9320 0.7346 3.7857 588.1618 24.0654 0.0259 9.2289 0.7276 7.7380 176.5282 23.3641 0.3768 4.2544 0.8358 图像对比         表4  2S1的实验结果 Tab. 4 The results of 2S1 评价指标  真实图像  DCGAN  SAGAN 实验1 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 40.2738 2180.6988 24.0654 0.7570 3.3949 1 17.9584 2994.0535 24.0654 0.1094 6.1325 0.6334 37.3199 1911.7460 24.0654 0.7521 3.3834 0.6378 图像对比       实验2 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 37.8375 2047.7608 24.0654 0.7171 3.4513 1 16.6881 2725.6077 24.0654 0.1034 6.1879 0.6271 38.1466 1780.0209 24.0654 0.8523 3.2304 0.6078 图像对比       实验3 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 41.7061 2236.8337 24.0654 0.7884 3.3453 1 15.5795 2792.1799 24.0654 0.0872 6.4576 0.5594 36.2191 1809.6890 24.0654 0.7392 3.4129 0.5744 图像对比        对比DCGAN和SAGAN的仿真结果， 可以发现除“动态范围”这一评价指标之 外，SAGAN在其他指标上表现力更好。这是因为SAGAN引入了自注意力机制和谱归一化，自注意力机制关注了图像中较远距离的相关性，谱归一化使得网络的训练更加稳定，因此SAGAN即使在数据集不充足的情况下(如实验3)，也能够生成视觉可以分辨出的飞机图像。 由于BP成像算法可以将成像区域网格化，所以在不同角度的SAR图像中飞机目标的轮廓位置是相同的，因此本文也采用了线性插值仿真的方法来与SAGAN仿真的结果进行对比。可以看出，在均值、等效视数和MSSSIM 三个评价指标中，SAGAN有着明显的优势，说明SAGAN仿真的图像拥有更高的亮度、更弱的斑点噪声，并且在结构相似性上与真实图像更相似。虽然SAGAN仿真的图像在方差、动态范围和辐射分辨率上的表现逊色于线性插值的方法，但随着实验数据集数据的增加(从实验3到实验2再到实验1)，这三个指标的数值也在逐渐增加，有些已经逼近甚至超过了真实图像和线性插值仿真的图像的评价指标数值，仿真图像也变得越来越清晰。 此外，本文还利用DCGAN和SAGAN分别对MSTAR数据集中的2S1型坦克进行了缺省角度仿真，所得结果如表4所示。右表4中的数据可知，不论在评价指标上，还是在视觉效果上，SAGAN都展示出了较强的仿真能力，说明不论是针对飞机目标还是坦克目标，基于SAGAN的缺失角度内插仿真具有较强的适用性。 6.2  目标能量积分曲线角度补全  (a)大棕熊 (a) Quest  (b)T504 (b)T504 图13  目标能量积分角度补全 Fig. 13 Angle completion of target energy integral 下面，利用仿真图像进行目标能量积分曲线的角度补全，其实验结果如图13所示。图中，蓝色的实线代表生成图像与真实图像的MSSSIM曲线，橘黄色的实线代表数据集的目标能量积分曲线，黑色的虚线代表假定一半数据缺失后，采用生成图像补全的目标能量积分曲线。 可以看出，在绝大部分区域，橘黄色实线和黑色虚线能够较好地吻合，说明生成图像和真实图像具有极高的相似性，这也从另一方面证明了SAGAN应用于飞机目标特定角度仿真是可行的；然而，在MSSSIM曲线的局部极小值点以及目标能量积分变化较为剧烈的角度，两条目标能量积分曲线仍有着比较显著的差异。因此，若想要实现目标能量积分曲线的较为理想的补齐，仍需要对上述区域进行较为密集的数据采集。 6.3  目标背景区域条纹状图像的讨论 仔细观察图5和图6，发现在0°、85°、90°、175°、180°、270°以及355°角度的图像目标背景区域会出现细条纹，经判断后确认是由于停机坪水泥边缘的反射引起的。为了讨论其是否给实验结果带来影响，本文将大棕熊数据集中上述角度的条纹区域去除，并按照表1 中数据集的设置使用SAGAN仿真了部分角度的图像。 以0°的大棕熊飞机SAR图像为例，将BP成像之后的复图像做方位向傅里叶变换后，得到其方位向频谱图，如图14所示。   (a) 0°的大棕熊SAR图像 (a) SAR image of Quest at 0°  (b) 0°的大棕熊SAR图像方位向频谱图 (b) Azimuthal spectrum of SAR image of Quest at 0° 图14  0°的大棕熊SAR图像及其方位向频谱图 Fig. 14 SAR image and azimuthal spectrum of Quest at 0° 从图14(b)中可以发现，没有条纹的背景(距离向=50，即图14(b)中左侧红虚线)和有条纹的背景(距离向=90，即图14(b)中右侧红虚线)在频谱图中有着较大的差异。分别绘制出这两处的方位向频谱曲线，如图15所示。  (a) 距离向=50处的方位向频谱曲线 (a) Azimuth spectrum curve at range = 50  (b) 距离向=90处的方位向频谱曲线 (b) Azimuth spectrum curve at range = 90 图15  距离向=50和90处的方位向频谱曲线 Fig. 15 Azimuth spectrum curves at range = 50 and 90 从图15中可以发现，由于停机坪水泥地边缘的反射，有条纹背景的频谱图(b)相较于无条纹背景的频谱图(a)在方位向点数200至280之间频谱变高。将此方位向点数内的频谱设置为图15(a)中相应的大小，并对频谱图做方位向逆傅里叶变换，则可得到去掉该条纹背景的SAR图像，如图16所示。  (a) 去除距离向=90处的条纹后的SAR图像 (a) SAR image after removing the stripe at range = 90  (b) 去条纹前与去条纹后SAR图像的差值 (b) The difference between SAR image before and after removing the stripe 图16  去除距离向=90处的条纹后的结果 Fig. 16 Results after removing the stripe at range = 90  对比图16(a)与图14(a)，并计算出两者的差值如图16(b)所示，可以发现该方法能有效地去除SAR图像中条纹背景的干扰。采用该方法将0°、85°、90°、175°、180°、270°以及355°的SAR图像条纹背景去除后的结果如表5所示。 表5  条纹背景去除前后的SAR图像对比 Tab. 5 Comparison of SAR images before and after removing stripes 角度  去除条纹前的SAR图像  去除条纹后的SAR图像  去条纹前后SAR图像的差值 0°      85°      90°      175°      180°      270°      355°      表6  去除条纹区域的对照实验结果 Tab. 6 The results of the control experiment with the removal of the background area 评价指标 去条纹前的 仿真图像 去条纹后的 仿真图像 实验1 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 7.4473 184.9680 23.6535 0.3411 4.5109 0.9109 6.9914 222.9078 23.6961 0.3154 4.9534 0.8978 图像对比     实验2 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 7.9586 171.7767 23.5524 0.4067 4.2361 0.8687 7.9711 169.2302 23.5418 0.4252 4.3732 0.8752 图像对比    实验3 均值 方差 动态范围 等效视数 辐射分辨率 MSSSIM 7.2850 151.7025 23.1066 0.3805 4.2585 0.8322 8.2949 149.7321 23.5496 0.4837 4.4068 0.8299 图像对比     使用SAGAN仿真的去条纹前后的图像及参数对比结果如表6所示。从表6可以看出，是否有条纹对仿真出来的图像在某些参数上会有些影响，但从视觉效果上相差并不大。因此，若将采用本文所提方法构建出来的数据集应用于目标检测或识别，是否会对其结果造成影响可能还是与检测或识别的方法有关，这一部分将作为后续研究的一部分内容进行深入探讨。 7  结语 针对飞机目标，本文研究通过实测数据采集来构建SAR多角度数据集，并利用SAGAN实现特定角度的SAR图像内插仿真。构建数据集完成后，假定部分数据缺失，并使用SAGAN仿真出来的生成图像进行数值分析和目标能量积分的角度补全，证明了使用该方法进行特定角度图像仿真的可行性。该方法结合了实测数据采集和智能仿真，是目标多角度SAR数据构建和扩容的新途径。 本文构建了飞机目标多角度数据集并对其进行了初步的分析与研究，但仍有以下问题尚待解决：在目标能量积分补齐曲线不理想的角度，需要至少几度间隔的数据采集才能使得目标能量积分补齐曲线较为理想；由SAGAN仿真出来的生成图像，能否在目标分类中取得和真实图像相近的效果；能否设计一种复数SAGAN，保留数据集的相位信息，来实现复数SAR图像的仿真等。在之后的研究中，我们将针对这些遗留问题逐一进行深入研究。 参考文献 [1]  李彩萍,张永军.典型目标SAR图像模拟[J].指挥技术学院学报,1999(02):60-64+70.  DOI: CNKI:SUN:XYZH.0.1999-02-011   Li  Cai-ping  and  Zhang  Yong-jun.  SAR  image simulation of typical object[J].  Journal of  Institute  of Command  and  Technology,  1999(02):  60-64+70. DOI:CNKI: SUN: XYZH.0.1999-02-011 [2]  李国靖,叶伟,劳国超,等.欺骗目标仿真SAR图像可信度评估方法[J].电子信息对抗技术,2018,33(03):53-58. DOI: CNKI:SUN:DZDK.0.2018-03-012   Li Guo-jing, Ye Wei, Lao Guo-chao, et al.. Credibility assessment  for simulated  SAR  image  of deceptive target[J]. Electronic  Information  Warfare  Technology, 2018,33(03):53-58.  DOI:  CNKI:SUN:DZDK.0.2018-03-012 [3]  Goodfellow  I,  Pouget-Abadie  J,  Mirza  M, et  al.. Generative  adversarial  nets[OL]. https://arxiv.org/abs/1406.2661v1.2014.DOI:10.1145/3422622 [4]  Guo  Jia-yi,  Lei  Bin,  Ding  Chi-biao,  et  al.. Synthetic aperture  radar  image  synthesis  by  using  generative adversarial  nets[J].IEEE  Geoscience  and  Remote Sensing  Letters,  2017,  14(7)  :  1111-1115. DOI:10.1109/LGRS.2017.2699196 [5]  Zhang M R, Cui Z, Wang X, et al.. Data augmentation method of SAR image dataset[C].Proceedings of 2018 IEEE  International  Geoscience  and  Remote  Sensing Symposium. Valencia,  Spain, Nov. 2018 :  5292-5295.  DOI: 10.1109/IGARSS.2018.8518825 [6]  张明蕊.SAR 图像数据分集与扩容方法研究[D].电子科技大学,2019.   Zhang Ming-rui. Research of SAR image data dversity and  data  augmentation  method[D].  School  of Information and Communication Engineering,2019. [7]  孙智博,徐向辉.基于谱归一化生成对抗网络的目标SAR图像仿真方法[J].计算机与现代化,2020(08):14-20. DOI: 10.3969/j.issn.1006-2475.2020.08.003   Sun  Zhi-bo and Xu  Hui. Simulation method  of target SAR image based on spectral normalization generative adversarial network[J].  Computer and Modernization, 2020(08):14-20.  DOI:  10.3969/j.issn.1006-2475.2020.08.003 [8]  Liu Lei, Pan Zong-xu, Qiu Xiao-lan, et al.. SAR target classification  with CycleGAN  transferred  simulated samples[J].  IEEE  International  Geoscience  and Remote  Sensing  Symposium,  2018:4411-4414.  DOI: 10.1109/IGARSS.2018.8517866 [9]  林翊青,李景文.大距离徙动情况下距离多普勒(RD)算法与后向投影(BP)算法的比较[J].雷达科学与技术,2004(06):349-354.  DOI:  10.3969/j.issn.1672-2337.2004.06.007   Lin  Yi-qing  and  Li  Jing-wen.  Comparison  of  RD algorithm  and  BP  algorithm  under  severe  range migration[J]. Radar Science and Technology, 2004(06): 349-354. DOI: 10.3969/j.issn.1672-2337.2004.06.007 [10]  黄培康,殷红成,许小剑.雷达目标特性[M].北京:电子工业出版社,2005:51-63.   Huang  Pei-kang,  Yin  Hong-cheng, and Xu  Xiao-jian. Radar Target  Characteristic[M].  Beijing,  Publishing House of Electronics Industry, 2005:51-63. [11]  Teng  Fei, Hong  Wen, and Lin  Yun.  Aspect  entropy extraction using  circular  SAR data  and  scattering anisotropy analysis[J]. Sensors, 2019, 19(2), 346. DOI: 10.3390/s19020346 [12]  邹秀芳,朱定局.生成对抗网络研究综述[J].计算机系统 应 用 ,2019,28(11):1-9.  DOI: CNKI:SUN:XTYY.0.2019-11-002   Zou Xiu-fang and Zhu Ding-ju. Review on generative adversarial  network[J].  Computer  Systems  & Applications,2019,28(11):1-9.  DOI: CNKI:SUN:XTYY.0.2019-11-002 [13]  Zhang  H, Goodfellow  I,  Metaxas  D, et  al..  Self-attention  generative  adversarial  networks[OL]. https://arxiv.org/abs/1805.08318v2.2018 [14]  Miyato  T  ,   Kataoka  T  ,   Koyama  M  , et al.. Spectral normalization for generative adversarial networks[OL]. https://arxiv.org/abs/1802.05957v1.2018. [15]  张晗.  SAR 图像质量评估方法研究[D].国防科学技术大学,2012:23-25.   Zhang  Han. Research  on  the  SAR image quality assessment[D].  National  University  of  Defense Technology, 2012:23-25. [16]  Wang  Z,  Simoncelli  E  P,  Bovik  A  C.  Multiscale structural  similarity  for  image  quality  assessment[C]. Proc  IEEE  Asilomar  Conference  on  Signals. Pacific Grove,  C.A.,  USA,  Nov.  2003:  1398-1402  .  DOI: 10.1109/ACSSC.2003.1292216 作者简介 王汝意（1997-），男，山东泰安人，硕士。中国科学院空天信息创新研究院硕士研究生，2019年获北京科技大学通信工程学士学位。主要研究方向为SAR图像仿真。  张汉卿（1997-），男，山东青岛人，中国科学院空天信息创新研究院博士生。主要研究方向为多角度SAR三维成像方法。   韩冰（1980-），女，北京人，博士研究生导师。2003年在北京航空航天大学电子工程系获学士学位，2008年在中国科学院研究生院获信号与信息处理专业工学博士学位，现任中国科学院空天信息创新研究院研究员，主要从事先进体制星载SAR高精度成像处理、辐射校正与定标等数据处理关键技术研究，成果应用于SAR海洋遥感、多源遥感数据智能信息提取等领域。   张月婷（1983-），女，河北人，博士（中科院电子所获得），现任中国科学院空天信息创新研究院副研究员，研究方向为SAR目标特性研究、SAR图像与遥感图像应用研究，发表SCI论文10余篇。 郭嘉逸（1989-），男，籍贯河北，博士，现任中国科学院空天信息创新研究院助理研究员，研究方向为SAR图像深度学习应用、SAR图像与遥感图像复原应用研究，发表SCI论文10余篇。 洪文（1968-），女，研究员。研究经历包括北京航空航天大学电子工程系副教授、德国宇航院雷达与微波技术所客座研究员、中国科学院电子学研究所研究员，现为中国科学院空天信息创新研究院研究员，博士生导师。主要研究方向为多角度SAR数据处理方法、微波成像新概念新体制新方法等。  孙巍（1980-），男，山东烟台人，硕士，副研究员。2015年在北京交通大学电子信息学院毕业，现任中国科学院空天信息创新研究院微波成像技术重点实验室副研究员。主要研究方向为SAR雷达系统设计和研制。  胡文龙(1963–)，男，籍贯安徽，北京航空航天大学博士学位，中国科学院电子学研究所研究员。主要研究方向为雷达信号处理、雷达目标识别、高轨SAR新体制新方法等。