关键词 　 遥感图像； 合成孔径雷达； 地物分类； 深度学习； 受限玻尔兹曼机； 

    深度信念网络遥感图像分类是指把遥感图像中的每个像元划归到类别中的过程， 是模式识别技术在遥感领域的具体运用， 也是地理信息系统（ｇ ｅ ｏ ｇ ｒ ａ ｐ ｈ ｉ ｃ 　ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｓ ｙ ｓ ｔ ｅ ｍ ， Ｇ Ｉ Ｓ ） 的关键技术． 其主要用途是根据地物电磁波辐射在遥感图像上的特征， 判读识别地面物体的类属． 分类图既可作为中间结果为目标检测与识别等其他应用提供辅助信息， 也可作为最终结果提供基础地理信息用于地图测绘、 城市规划、 资源监管、 环境保护、 救灾抢险、 军事侦察等领域．和光学成像传感器相比， 合成孔径雷达（ｓ ｙ ｎ ｔ ｈ ｅ ｔ ｉ ｃａ ｐ ｅ ｒ ｔ ｕ ｒ ｅ 　ｒ ａ ｄ ａ ｒ ， Ｓ Ａ Ｒ ） 不会受到光照和气候条件的影响， 具有全天时全天候工作的特点， 因此被广泛应用于遥感领域 ［１ ］ ． 同时， 由于极化分解可以获得更多的相关信息， 极化 Ｓ ＡＲ （ ｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃ 　Ｓ ＡＲ ， Ｐ ｏ ｌ Ｓ ＡＲ ）被越来越多地应用于遥感图像分类 ［２ ］ ．根据是否需要数据的先验知识， 遥感分类方法可以划分为参数化（ｐ ａ ｒ ａ ｍ ｅ ｔ ｒ ｉ ｃ ） 方法和非参数化（ｎ ｏ ｎ － ｐ ａ ｒ ａ ｍ ｅ ｔ ｒ ｉ ｃ ） 方法两类． 

    参数化方法包括最小距离分类器（ ｍ ｉ ｎ ｉ ｍ ｕ ｍ 　ｄ ｉ ｓ ｔ ａ ｎ ｃ ｅ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ， ＭＤ Ｃ ）［ ３ ］ 、极大 似 然 分 类 器 （ ｍ ａ ｘ ｉ ｍ ｕ ｍ 　ｌ ｉ ｋ ｅ ｌ ｉ ｈ ｏ ｏ ｄ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ，ＭＬ Ｃ ）［ ４ ］ 和 期 望 最 大 （Ｅ ｘ ｐ ｅ ｃ ｔ ａ ｔ ｉ ｏ ｎ － Ｍ ａ ｘ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ ，ＥＭ ） 算法［ ５ ］ ， 它们需要对数据分布有预先的假设．然而， 对于多时与多源的遥感数据， 数据分布规律往往难以知道． 因此， 非参数方法被更广泛地用于遥感图像 分 类， 包 括 人 工 神 经 网 络 （ ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ 　ｎ ｅ ｕ ｒ ａ ｌｎ ｅ ｔ ｗ ｏ ｒ ｋ ， ＡＮＮ ）［ ６ ］ 、 决策树 ［ ７ ］ 、 支持向量机（ｓ ｕ ｐ ｐ ｏ ｒ ｔｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ， Ｓ ＶＭ ）［ ８ － １ ０ ］等．２ ０ ０ ６年， 多伦多大学机器学习领域的著名教授Ｈ ｉ ｎ ｔ ｏ ｎ 和他的学生 Ｓ ａ ｌ ａ ｋ ｈ ｕ ｔ ｄ ｉ ｎ ｏ ｖ在国际顶尖学术期刊《 Ｓ ｃ ｉ ｅ ｎ ｃ ｅ 》 上发表一篇文章 ［１ １ ］ ， 提出利用深度信念网络（ｄ ｅ ｅ ｐ ｂ ｅ ｌ ｉ ｅ ｆ 　ｎ ｅ ｔ ｗ ｏ ｒ ｋ ， Ｄ Ｂ Ｎ ） 实现数据的降维及分类， 引发了深度学习（ｄ ｅ ｅ ｐ 　 ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ） 的浪潮．自此以后， 深度学习作为机器学习的一个新兴研究方向， 受到了学术界和工业界的极大关注 ［１ ２ － １ ９ ］． 深度神经网络采用模拟人脑多层结构的方式， 对输入数据从低层到高层渐进地进行特征提取， 最终形成适合模式分类的较理想特征， 从而提升分类或者预测的准确性． 

近几年， 深度学习技术在图像识别、 语音识别、 自然语言处理、 信息检索等领域取得了巨大成功 ［１ ２ ， １ ７ ， １ ９ ］． 文献［２ ０ ］ 提出用 Ｄ Ｂ Ｎ 模型对机载遥感图像中的道路进行检测， 这是深度学习方法被首次用于遥感领域． 然而， 到目前为止尚未发现有将深度学习模型应用于Ｓ ＡＲ遥感图像分类的相关工作．本文提出一种基于 Ｄ Ｂ Ｎ 模型的遥感图像分类方法， 并 利 用 多 天 的 Ｒ Ａ Ｄ ＡＲ Ｓ ＡＴ － ２ 卫 星 极 化Ｓ ＡＲ图像进行了验证． 实验结果表明， 与Ｓ ＶＭ 等方法相比， 基于 Ｄ Ｂ Ｎ 模型的方法可以取得更好的分类效果．

    １　Ｄ Ｂ Ｎ 模型简介

    深度信念网络由 Ｈ ｉ ｎ ｔ ｏ ｎ等人 ［２ １ ］ 于２ ０ ０ ６年提出， 作为一种深度学习模型受到了广泛关注， 并被成功应用在物体识别、 语音识别等领域． 从结构上看，Ｄ Ｂ Ｎ 由多层无监督的受限玻尔兹曼机（ｒ ｅ ｓ ｔ ｒ ｉ ｃ ｔ ｅ ｄＢ ｏ ｌ ｔ ｚ ｍ ａ ｎ ｎ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ， Ｒ ＢＭ ） 网络和一层有监督的反向传播（ｂ ａ ｃ ｋ － ｐ ｒ ｏ ｐ ａ ｇ ａ ｔ ｉ ｏ ｎ ， Ｂ Ｐ ） 网络组成， 如图１所示：Ｄ Ｂ Ｎ 的训练包含“ 预训练（ｐ ｒ ｅ －ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ ） ” 和“ 微调（ｆ ｉ ｎ ｅ － ｔ ｕ ｎ ｉ ｎ ｇ ） ” ２个步骤． ｐ ｒ ｅ － ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 阶段 Ｄ Ｂ Ｎ采用逐层（ｌ ａ ｙ ｅ ｒ ｗ ｉ ｓ ｅ ） 训练的方式对各层中的 Ｒ ＢＭ进行训练， 低一层 Ｒ ＢＭ 的隐含层输出作为上一层的 Ｒ ＢＭ 的可见层输入． ｆ ｉ ｎ ｅ － ｔ ｕ ｎ ｉ ｎ ｇ 阶段采用有监督学习方式对最后一层的 Ｂ Ｐ网络进行训练， 并将实际输出与预期输出的误差逐层向后传播， 对整个Ｄ Ｂ Ｎ网络的权值进行微调． Ｒ ＢＭ 网络的训练过程实际上可看成是对深层 Ｂ Ｐ网络权值的初始化， 使Ｄ Ｂ Ｎ克服了 Ｂ Ｐ网络因随机初始化权值参数而导致的训练时间长和容易陷入局部最优解的缺点．１． １　 受限玻尔兹曼机受限玻尔兹曼机是一种典型的基于能量的模型（ｅ ｎ ｅ ｒ ｇ ｙ － ｂ ａ ｓ ｅ ｄ 　ｍ ｏ ｄ ｅ ｌ， Ｅ ＢＭ ） ，它 由 一 个 可 见 层（ｖ ｉ ｓ ｉ ｂ ｌ ｅ 　ｌ ａ ｙ ｅ ｒ ） 与一个隐含层（ ｈ ｉ ｄ ｄ ｅ ｎ 　ｌ ａ ｙ ｅ ｒ ） 组成， 如图２所示． 其中，ｖ 和 ｈ 分别表示可见层与隐含层， Ｗ表示两层之间的连接权值． 对于可见层与隐含层， 其连接关系为层间神经元全连接， 而层内没有神经元相连．假设可见层与隐含层均为二值变量， 可见层与隐含层的神经元数目分别为 Ｉ 和 Ｊ ， ｖｉ 和 ｈ ｊ 分别表示第 ｉ 个可见层神经元与第 ｊ 个隐含层神经元的状态． 对于一组特定的（ｖ ， ｈ ） ， Ｒ ＢＭ 作为一个系统所具备的能量定义为Ｅ （ ｖ ， ｈ ｜ θ ） ＝－ ∑Ｉｉ ＝１ａ ｉ ｖ ｉ － ∑Ｊｊ ＝１ｂ ｊ ｈ ｊ － ∑Ｉｉ ＝１ ∑Ｊｊ ＝１ ｗｉ ｊｖ ｉ ｈ ｊ ，（１ ）其中，θ ＝ （ ｗｉ ｊ，ａ ｉ ， ｂ ｊ ） 是 Ｒ ＢＭ 的参数， ｗｉ ｊ表示可见层节点 ｖ ｉ 与隐含层节点 ｈ ｊ 之间的连接权值， ａｉ 和ｂ ｊ 分别表示 ｖ ｉ 和 ｈ ｊ 的偏置值（ ｂ ｉ ａ ｓ ） ． 基于该能量函数， 可得到（ｖ ， ｈ ） 的联合概率分布：ｐ （ ｖ ， ｈ ｜ θ ） ＝ｅ－ Ｅ （ ｖ ， ｈ ｜ θ ）? Ｚ （ θ ） ，（２ ）其中，Ｚ （ θ ） ＝∑ｖ∑ｈｅ－ Ｅ （ ｖ ， ｈ ｜ θ ） 为归一化项（ 也称配分函数） ． 在实际问题中， 我们最关心的是 Ｒ ＢＭ 所定义的关于观测变量的分布（ 似然函数） 即 ｐ （ ｖ ｜ θ ） ，它是联合概率 ｐ （ ｖ ， ｈ ｜ θ ） 的边缘分布．由于 Ｒ ＢＭ 的特殊结构（ 层内神经元无连接） ，当给定可见层节点的状态时， 各个隐含层节点的激活状态之间是相互独立的． 此时， 第 ｊ 个隐含层节点的激活概率为ｐ （ ｈ ｊ ＝１ ｜ ｖ ， θ ） ＝ σｂ ｊ ＋ ∑Ｉｉ ＝１ｖ ｉ ｗ ｊ（ ）ｉ， （３ ）其中，σ （ ｘ ） ＝１ ? （ １＋ｅ－ ｘ ） 为ｓ ｉ ｇ ｍ ｏ ｉ ｄ函数． 类似的，给定隐含层节点的状态， 第 ｉ 个可见层节点的激活概率为ｐ （ ｖ ｉ ＝１ ｜ ｈ ， θ ） ＝ σａ ｉ ＋ ∑Ｊｊ ＝１ｈ ｊ ｗ ｊ（ ）ｉ ．（４ ）Ｒ ＢＭ 采用迭代的方式进行训练， 训练的目标在于学习出参数 θ ＝ （ ｗｉ ｊ，ａ ｉ ， ｂ ｊ ） 的值， 以拟合给定的训练数据． 参数 θ 可以通过求在训练集（ 设样本数目为 Ｔ ） 上的极大对数似然函数得到， 即θ＊ ＝ａ ｒ ｇ ｍ ａ ｘθＬ （ θ ） ＝ａ ｒ ｇ 　 ｍ ａ ｘθ∑Ｔｔ ＝１ ｌ ｎ ｐ （ ｖ（ ｔ ）｜ θ ） ．（５ ）采 用 Ｈ ｉ ｎ ｔ ｏ ｎ 提 出 的 对 比 散 度 （ ｃ ｏ ｎ ｔ ｒ ａ ｓ ｔ ｉ ｖ ｅｄ ｉ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ， Ｃ Ｄ ） 算法［ ２ ２ ］ ， 可得各参数的更新规则如下：Δ ｗｉ ｊ＝ ε （ 〈 ｖ ｉ ｈ ｊ 〉 ｄ ａ ｔ ａ － 〈 ｖ ｉ ｈ ｊ 〉 ｒ ｅ ｃ ｏ ｎ ） ；（６ ）Δ ａ ｉ ＝ ε （ 〈 ｖ ｉ 〉 ｄ ａ ｔ ａ － 〈 ｖ ｉ 〉 ｒ ｅ ｃ ｏ ｎ ） ；（７ ）Δ ｂ ｊ ＝ ε （ 〈 ｈ ｊ 〉 ｄ ａ ｔ ａ － 〈 ｈ ｊ 〉 ｒ ｅ ｃ ｏ ｎ ） ；（８ ）其中，ε 为 ｐ ｒ ｅ － ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 的学习率， 〈 •〉 ｄ ａ ｔ ａ 为训练数据集所定义的分布之上的数学期望， 〈 •〉ｒ ｅ ｃ ｏ ｎ 为重构后的模型所定义的分布上的期望．１． ２　Ｂ Ｐ网络Ｂ Ｐ网络是一种有监督的分类器， 对 Ｒ ＢＭ 通过ｐ ｒ ｅ －ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 得到的特征向量进行分类， 并且起到微调整个 Ｄ Ｂ Ｎ 网络参数的作用． Ｂ Ｐ网络的训练分为前向传播和后向传播两个主要过程．

    前向传播过程中， 输入特征向量被逐层传播到输出层， 得到预测的分类类别． 将实际得到的分类结果与期望的类别数值进行比较得到误差， 该误差被逐层向后回传从而微调 Ｄ Ｂ Ｎ 的参数． 后向传播过程中， 需要计算每一层的 δ （ 灵敏度） 数值，δ 被自顶向下传递以修正网络的权值参数．对于输出层， 假设第 ｉ 个节点的实际输出为 ｏｉ ，期望输出为 ｄｉ ， 那么灵敏度 δ 的计算表达式为δ ｉ ＝ ｏ ｉ （ １－ ｏ ｉ ） （ ｄ ｉ － ｏ ｉ ） ．（９ ）对于第 ｌ 个隐含层，δ 的计算表达式为δｌｉ ＝ ｙｌｉ （ １－ ｙｌｉ ）∑ｊｗｌｉ ｊδｌ ＋ １ｊ ．（１ ０ ）　　 得到各层的 δ 之后， Ｄ Ｂ Ｎ 的网络权值根据式（１ １ ） （ １ ２ ） 进行更新：ｗｌｉ ｊ＝ ｗｌｉ ｊ＋ ε ｆ ｉ ｎ ｅ － ｔ ｕ ｎ ｉ ｎ ｇ × ｙｌｉ δｌ ＋１ｊ； （１ １ ）ｂｌｊ ＝ ｂｌｊ ＋ ε ｆ ｉ ｎ ｅ － ｔ ｕ ｎ ｉ ｎ ｇ × δｌ ＋１ｊ．（１ ２ ）

２　 基于 Ｄ Ｂ Ｎ 的遥感图像分类方法

为更好地理解本文提出方法的处理流程， 我们给出了如图３所示的流程图． 为消除遥感图像的斑点（ｓ ｐ ｅ ｃ ｋ ｌ ｅ ） 噪声， 对于一幅图像上的每一个要分类的像素， 需考虑包括其周围邻居像素点的一片区域．假设邻域窗口大小为 ｗ ｉ ｎ ｓ ｉ ｚ ｅ ， 可将其展开维度为ｗ ｉ ｎ ｓ ｉ ｚ ｅ × ｗ ｉ ｎ ｓ ｉ ｚ ｅ 的一维向量． 对于 Ｄ Ｂ Ｎ ， 其输入数据 是 经 过 处 理 的 Ｐ ａ ｕ ｌ ｉ 参 数，即 相 关 矩 阵（ｃ ｏ ｈ ｅ ｒ ｅ ｎ ｃ ｙ 　 ｍ ａ ｔ ｒ ｉ ｘ ） 的对角线元素（０ ． ５ ｜ ＨＨ ＋ Ｖ Ｖ ｜２ ，０ ． ５ ｜ ＨＨ － Ｖ Ｖ ｜２和２ ｜Ｈ Ｖ ｜２ ）． 这３个不同的 Ｐ ａ ｕ ｌ ｉ参数可拼装为１ ｄ的数据向量， 因此， 对于 ｍ 天的数据， 输入向量的维度为 ｗ ｉ ｎ ｓ ｉ ｚ ｅ × ｗ ｉ ｎ ｓ ｉ ｚ ｅ ×３× ｍ在训练过程中， 训练样本的 Ｐ ａ ｕ ｌ ｉ参数组成的向量作为输入被送到第１层 Ｒ ＢＭ 的可见层， 随后，通过逐层训练的方式， 数据在时间和空间上的相关性被依次映射到隐含层 ｈ（ １ ） ，ｈ（ ２ ） ， …，ｈ（ ｎ －１ ） 及 ｈ （ ｎ ）中．为加快训练过程， 一般采用批训练（ｂ ａ ｔ ｃ ｈ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ的方式， 即每次随机采样固定数目的训练样本作为一个 ｍ ｉ ｎ ｉ － ｂ ａ ｔ ｃ ｈ输入到神经网络， 每个 ｍ ｉ ｎ ｉ－ ｂ ａ ｔ ｃ ｈ进行一次权值更新．预测过程中， 测试样本的数据用训练样本类似的数据组织方式获得， 因而具有相同的数据维度． 在已训练的网络结构基础上， 通过前向传播计算得到分类的类别．

    ３　 实验与分析

    ３． １　 实验数据与实验设置研究区域位于加拿大的多伦多地区， 该地区土地覆盖和土地利用的主要类型包括高密度住宅区（ ＨＤ ） 、 低密度住宅区（ Ｌ Ｄ ） 、 工业和商业区（Ｉ ｎ ｄ ） 、 建设工地（ Ｃ ｏ ｎ ｓ ） 、 水域（ Ｗ ａ ｔ ｅ ｒ ） 、 森林（Ｆ ｏ ｒ ｅ ｓ ｔ ） 、 草地（Ｐ ａ ｓ ｔ ｕ ｒ ｅ ） 、 高 尔 夫 球 场 （ Ｇ ｏ ｌ ｆ ） 以 及 ２ 种 农 作 物（ Ｃ ｒ ｏ ｐ １ ，Ｃ ｒ ｏ ｐ ２ ） ．我们使用了６ ｄ的 Ｒ Ａ Ｄ ＡＲ Ｓ ＡＴ － ２卫星遥感图像， 其 中 ４ｄ （ ２ ０ ０ ８ － ０ ６ － １ １ ， ２ ０ ０ ８ － ０ ７ － ０ ５ ，２ ０ ０ ８ － ０ ８ － ２ ２ ，２ ０ ０ ８ － ０ ９ － １ ５ ） 为上升轨道图像， ２ ｄ （ ２ ０ ０ ８ － ０ ６ － １ ９ ， ２ ０ ０ ８ －０ ８ － ０ ６ ） 为下降轨道的图像． 在分类方案中， 根据电磁波散射性质的不同，１ ０个已定义的地表覆盖类型又被细分为共１ ９个子类． 在训练过程中， 每个子类都有约１ 　０ ０ ０个训练样本． 共有４ 　９ ５ ２ 　０ ６ ５个像素点被分类，１ ２ ０ 　 ６ １ ７个已知类别的像素点被均匀地选取用以验证分类的正确性．

    ３． ２　 分类精度评价分类精度分析是遥感分类技术中一个必不可少的环节， 通过精度分析可定量判断分类模型的准确性． 在遥感分类精度评价中， 最常用的方法是利用混淆矩阵进行分析． 混淆矩阵（ｃ ｏ ｎ ｆ ｕ ｓ ｉ ｏ ｎ 　ｍ ａ ｔ ｒ ｉ ｘ ） 也称误差矩阵， 它反映了分类结果与地表真实类别的相关信息， 是分析总体精度和 Ｋ ａ ｐ ｐ ａ系数等指标的基础． 以 Ｍ 表示混淆矩阵， 其元素 ｍｉ ｊ表示测试样本中应属于类别 ｊ 而实际被分到类别 ｉ 的像素总数． 混淆矩阵对角线的元素 ｍ ｉ ｉ 的值越大， 分类精度越高．１ ）总体精度总体精度（ ｏ ｖ ｅ ｒ ａ ｌ ｌ 　ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ ， ＯＡ ） 是对分类结果质量的总体评价， 等于被正确分类的像素总和除以总的像素个数 ． 被正确分类的像素沿着混淆矩阵的对角线分布， 它显示了被正确分类到真实分类中的像元数． 根据混淆矩阵可得 ＯＡ 的计算式为ｐ ＝ ∑ｃｉ ＝１ ｍｉ ｉ ? Ｎ ，（１ ３ ）其中，ｃ 表示类别数目， ｍ ｉ ｉ 表示混淆矩阵对角线上的元素， Ｎ ＝∑ｃｉ ＝１ ∑ｃｊ ＝１ ｍｉ ｊ表示测试样本的总数．２ ） Ｋ ａ ｐ ｐ ａ系数Ｋ ａ ｐ ｐ ａ系数 ［２ ３ ］ 采用一种多元离散分析技术， 来反映分类结果与参考数据之间的吻合程度， 它考虑了混淆矩阵的所有因子， 是一种更为客观的评价指标， 其定义为ｋ ＝Ｎ ∑ｃｉ ＝１ ｍｉ ｉ － ∑ｃｉ ＝１（ ｍ ｉ＋ ｍ ＋ ｉ ）Ｎ２－ ∑ｃｉ ＝１（ ｍ ｉ＋ ｍ ＋ ｉ ）， （１ ４ ）其中， ｍ ｉ ＋ ，ｍ ＋ ｉ 分别表示混淆矩阵的第 ｉ 行的总和、第 ｉ 列的总和． Ｋ ａ ｐ ｐ ａ系数越大分类精度越高．

    ３． ３　 结果分析本节我们主要讨论两方面的内容， 一是 Ｄ Ｂ Ｎ的结构（ 包括层数和隐含层节点数） 对遥感图像分类效果的影响， 二是 Ｄ Ｂ Ｎ 方法与其他两种分类方法（Ｓ ＶＭ 和传统神经网络） 的比较．在实验中， 每个像素选取的邻域窗口大小为３×３ ， 因此输入数据的维度为１ ６ ２． 目前， 关于 Ｄ Ｂ Ｎ结构选取目前尚没有完善的理论依据， 我们通过实验方法确定较优的网络结构． 为简便起见， 我们假设各隐含层具有相同数目的节点． Ｄ Ｂ Ｎ 的层数（ 不含Ｂ Ｐ层） 从｛１ ， ２ ， ３ ， ４ ， ５ ， ６ ｝ 中选取， 而隐含层节点数目从｛１ ６ ， ３ ２ ， ６ ４ ， １ ２ ８ ， ２ ５ ６ ｝ 中选取． 根据文献［ ２ １ ， ２ ４］ 推荐的参数范围并采用网格搜索（ｇ ｒ ｉ ｄ 　ｓ ｅ ａ ｒ ｃ ｈ ） 寻优的方法， 我们设置 Ｄ Ｂ Ｎ 的其他参数如下：ｐ ｒ ｅ －ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ和ｆ ｉ ｎ ｅ － ｔ ｕ ｎ ｉ ｎ ｇ 的学习率均为０ ． ０ ５， ｍ ｉ ｎ ｉ－ ｂ ａ ｔ ｃ ｈ大小为１ ０ ０． 由于样本进行２ ０遍迭代之后分类准确率趋于稳定， 我们将样本迭代遍数（ｅ ｐ ｏ ｃ ｈ ） 均设置为 ２ ０遍． 对于层数与隐含层节点数的不同组合， 我们通过实验发现， 当 Ｄ Ｂ Ｎ 的层数为３层、 各隐含层节点数为６ ４时， 总体分类精度最高． 下面， 我们采用固定其他参数而变化一种参数的方法来讨论不同网络深度以及隐含层节点数对分类效果的影响．

    １ ）网络深度的影响对于深度学习模型， 网络深度对分类效果起到十分重要的作用． 一方 面， 文 献 ［２ ５ ］ 证 明 了 增 加Ｒ ＢＭ 的层数可以增强 Ｄ Ｂ Ｎ 的建模能力， 更高层的表示有望发掘出更为抽象的特征表示， 提高分类性能． 另一方面， 文献［２ ６ ］ 说明了过多的层数可能导致降低Ｄ Ｂ Ｎ的泛化性能， 容易导致过拟合（ｏ ｖ ｅ ｒ ｆ ｉ ｔ ｔ ｉ ｎ ｇ ）现象． 因此， 合适的 Ｄ Ｂ Ｎ 层数往往与具体的应用和数据集相关．本实验中， 我们设置每个隐含层的节点数均为６ ４ ， 而 Ｄ Ｂ Ｎ 的层数从１变化至６ ， 结果如图４所示．由图４可知， 当Ｄ Ｂ Ｎ 层数为３时， 总体精度（ ＯＡ） 和Ｋ ａ ｐ ｐ ａ系数最大．文献［２ ６ ］ 指出， 当隐含层节点规模过小， 神经元之间的连接相应比较少， 可能不足以提取与分类任务的相关信息； 而神经元数目过多也同样容易导致过拟合的问题． 本实验中我们设定 Ｄ Ｂ Ｎ 层数为３层， 其他参数固定， 只改变各层中的隐含层节点数，结果如图５所示． 容易看出， 当各层隐含层节点数取值为６ ４时， 总体精度（ ＯＡ ） 和 Ｋ ａ ｐ ｐ ａ系数最大．

    ３ ）与其他分类方法的比较我们将基于 Ｄ Ｂ Ｎ 模型的方法与 Ｓ ＶＭ 及传统神经网络（ ＮＮ ） 两种分类方法进行了对比． Ｓ ＶＭ 采用常用的开源工具Ｌ Ｉ Ｂ Ｓ ＶＭ［ ２ ７ ］ ， 其核函数采用径向基函数（ｒ ａ ｄ ｉ ａ ｌ 　ｂ ａ ｓ ｉ ｓ 　ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ ， Ｒ Ｂ Ｆ ） ， 惩罚因子 Ｃ 和核函数参数 ｇ （ｇ ａ ｍｍ ａ ） 采用网格搜索交叉验证进行寻优．Ｃ 的搜索范围分别为［ ２－５ ，２－３ ， …，２１ ５ ］ ，ｇ 的搜索范围为［２－１ ５ ，２－１ ３ ， …，２３ ］ ， 共１ １×１ ０＝１ １ ０种可能组合． 通过５折交叉验证（５ － ｆ ｏ ｌ ｄ 　ｃ ｒ ｏ ｓ ｓ 　ｖ ａ ｌ ｉ ｄ ａ ｔ ｉ ｏ ｎ ） ，我们发现当 Ｃ ＝２－３ ，ｇ ＝２－５ 时， 可得到最高的交叉验证准确率， Ｓ ＶＭ 的训练过程即采用此数值． ＮＮ采用常用的 Ｂ Ｐ优化方式， 参数与 Ｄ Ｂ Ｎ 类似， 不同之处在于没有多层 Ｒ ＢＭ 的 ｐ ｒ ｅ － ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ过程．几种分类方法的对比实验结果如表１所示． 可以看出， 和 Ｓ ＶＭ 方法相比， Ｄ Ｂ Ｎ 在各个类别和总体分类精度上略有提升． 和 ＮＮ 方法相比， Ｄ Ｂ Ｎ 方法在 Ｗ ａ ｔ ｅ ｒ ， Ｇ ｏ ｌ ｆ ， ＨＤ 几个类别分类精度相当， 而Ｐ ａ ｓ ｔ ｕ ｒ ｅ和Ｉ ｎ ｄ两个类别精度略有提高． 由于 Ｃ ｏ ｎ ｓ类别与Ｃ ｒ ｏ ｐ ２的混淆增加， 采用 Ｄ Ｂ Ｎ 方法的 Ｃ ｏ ｎ ｓ分类精度较 Ｎ Ｎ略有下降． 但由于Ｌ Ｄ ， Ｃ ｒ ｏ ｐ １ ， Ｃ ｒ ｏ ｐ ２ ，Ｆ ｏ ｒ ｅ ｓ ｔ几个类的分类精度有大幅度的提高， Ｄ Ｂ Ｎ方法的总体分类精度提高了８ ％ ， Ｋ ａ ｐ ｐ ａ系数提高了． ０ ９ ． 总的来看， Ｄ Ｂ Ｎ 方法的分类效果在三者中为最优． 表２给出了 Ｄ Ｂ Ｎ 方法分类结果的混淆矩阵．Ｄ Ｂ Ｎ 分类效果提升的原因在于， Ｄ Ｂ Ｎ 的各层Ｒ ＢＭ 通过 ｐ ｒ ｅ－ ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 的无监督学习为神经网络的权值提供了更为合适的初始值， 而不是像普通神经网络那样给权值赋以随机数 ． 

    因此， Ｄ Ｂ Ｎ 结合了无监督学习和有监督学习各自的优点， 能更好地发掘遥感数据在时间上和空间上的规律性， 进而提高分类精度．图６显示了一个Ｌ Ｄ区域几种分类方法的分类结果， 可见， 与 ＮＮ 方法相比， Ｄ Ｂ Ｎ 方法减少了 Ｌ Ｄ类别被错分为 ＨＤ 类别 ． 图 ７ 显示了一个地物种类较多的较大区域的分类结果， 与 ＮＮ 相比较， Ｄ Ｂ Ｎ方法较好地保留了地物类别的细节， 并且 Ｆ ｏ ｒ ｅ ｓ ｔ类模型的遥感Ｓ ＡＲ 图像的分类方法． Ｄ Ｂ Ｎ 结合了无监督学习和有监督学习的学习的优点， 可自动发掘遥感数据在时间和空间上所蕴含的规律， 进而提高分类的准确性． 实验表明， 该方法可取得优于Ｓ ＶＭ及传统神经网络（ ＮＮ ） 的分类效果． 在下一步工作中， 我们将更深入研究多种深度学习模型， 以进一步提高遥感图像分类的准确度．

    参 考 文 献［ １ ］ Ｍ ｏ ｒ ｅ ｉ ｒ ａ 　Ａ ， Ｉ ｒ ａ ｏ ｌ ａ 　Ｐ ， Ｙ ｏ ｕ ｎ ｉ ｓ 　Ｍ ， ｅ ｔ 　ａ ｌ ．Ａ 　ｔ ｕ ｔ ｏ ｒ ｉ ａ ｌ 　ｏ ｎｓ ｙ ｎ ｔ ｈ ｅ ｔ ｉ ｃ 　ａ ｐ ｅ ｒ ｔ ｕ ｒ ｅ 　ｒ ａ ｄ ａ ｒ ［ Ｊ ］ ． Ｉ Ｅ Ｅ Ｅ 　Ｇ ｅ ｏ ｓ ｃ ｉ ｅ ｎ ｃ ｅ 　ａ ｎ ｄ 　Ｒ ｅ ｍ ｏ ｔ ｅＳ ｅ ｎ ｓ ｉ ｎ ｇ 　 Ｍ ａ ｇ ａ ｚ ｉ ｎ ｅ ， ２ ０ １ ３ ， １ （１ ） ： ６ － ４ ３［ ２ ］ Ｌ ｏ ｍ ｂ ａ ｒ ｄ ｏ 　Ｐ ， Ｓ ｃ ｉ ｏ ｔ ｔ ｉ 　Ｍ ， Ｐ ｅ ｌ ｌ ｉ ｚ ｚ ｅ ｒ ｉ 　Ｔ　Ｍ ， ｅ ｔ 　ａ ｌ ．Ｏ ｐ ｔ ｉ ｍ ｕ ｍｍ ｏ ｄ ｅ ｌ － ｂ ａ ｓ ｅ ｄ 　ｓ ｅ ｇ ｍ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ 　ｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ ｓ 　ｆ ｏ ｒ 　ｍ ｕ ｌ ｔ ｉ ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃ 　Ｓ Ａ Ｒ 　ｉ ｍ ａ ｇ ｅ ｓ 　ｏ ｆ 　ｕ ｒ ｂ ａ ｎ 　ａ ｒ ｅ ａ ｓ ［ Ｊ ］ ． Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎＧ ｅ ｏ ｓ ｃ ｉ ｅ ｎ ｃ ｅ 　ａ ｎ ｄ 　Ｒ ｅ ｍ ｏ ｔ ｅ 　Ｓ ｅ ｎ ｓ ｉ ｎ ｇ ， ２ ０ ０ ３ ， ４ １ （ ９ ） ： １ ９ ５ ９ － １ ９ ７ ５［ ３ ］ Ａ ｌ ｂ ｅ ｒ ｇ ａ 　Ｖ． Ａ 　ｓ ｔ ｕ ｄ ｙ 　 ｏ ｆ 　ｌ ａ ｎ ｄ 　ｃ ｏ ｖ ｅ ｒ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃ 　Ｓ Ａ Ｒ 　ｐ ａ ｒ ａ ｍ ｅ ｔ ｅ ｒ ｓ ［ Ｊ ］ ．Ｉ ｎ ｔ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｒ ｅ ｍ ｏ ｔ ｅＳ ｅ ｎ ｓ ｉ ｎ ｇ ， ２ ０ ０ ７ ， ２ ８ （ １ ７ ） ： ３ ８ ５ １ － ３ ８ ７ ０［ ４ ］ Ｈ ａ ｇ ｎ ｅ ｒ 　Ｏ ， Ｒ ｅ ｅ ｓ ｅ 　Ｈ．Ａ　ｍ ｅ ｔ ｈ ｏ ｄ 　ｆ ｏ ｒ 　ｃ ａ ｌ ｉ ｂ ｒ ａ ｔ ｅ ｄ 　ｍ ａ ｘ ｉ ｍ ｕ ｍｌ ｉ ｋ ｅ ｌ ｉ ｈ ｏ ｏ ｄ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｏ ｆ 　ｆ ｏ ｒ ｅ ｓ ｔ 　ｔ ｙ ｐ ｅ ｓ ［ Ｊ ］ ．Ｒ ｅ ｍ ｏ ｔ ｅ 　Ｓ ｅ ｎ ｓ ｉ ｎ ｇｏ ｆ 　Ｅ ｎ ｖ ｉ ｒ ｏ ｎ ｍ ｅ ｎ ｔ ， ２ ０ ０ ７ ， １ １ ０ （ ４ ） ： ４ ３ ８ － ４ ４ ４［ ５ ］ Ｋ ｈ ａ ｎ 　Ｋ　Ｕ ，Ｙ ａ ｎ ｇ Ｊ ， Ｚ ｈ ａ ｎ ｇ　 Ｗ． Ｕ ｎ ｓ ｕ ｐ ｅ ｒ ｖ ｉ ｓ ｅ ｄ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｏ ｆｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃ 　Ｓ Ａ Ｒ 　ｉ ｍ ａ ｇ ｅ ｓ 　ｂ ｙ 　 ＥＭ 　ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ［ Ｊ ］ ． Ｉ Ｅ Ｉ Ｃ Ｅ 　Ｔ ｒ ａ ｎ ｓｏ ｎ 　Ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ， ２ ０ ０ ７ ， Ｅ ９ ０ － Ｂ （ １ ２ ） ： ３ ６ ３ ２ － ３ ６ ４ ２［ ６ ］ Ｈ ｅ ｅ ｒ ｍ ａ ｎ ｎ 　Ｐ ， Ｋ ｈ ａ ｚ ｅ ｎ ｉ ｅ 　Ｎ．Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｏ ｆ 　ｍ ｕ ｌ ｔ ｉ ｓ ｐ ｅ ｃ ｔ ｒ ａ ｌｒ ｅ ｍ ｏ ｔ ｅ 　ｓ ｅ ｎ ｓ ｉ ｎ ｇ 　 ｄ ａ ｔ ａ 　ｕ ｓ ｉ ｎ ｇ 　 ａ 　ｂ ａ ｃ ｋ － ｐ ｒ ｏ ｐ ａ ｇ ａ ｔ ｉ ｏ ｎ 　ｎ ｅ ｕ ｒ ａ ｌ 　ｎ ｅ ｔ ｗ ｏ ｒ ｋ［ Ｊ ］ ． Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎ 　Ｇ ｅ ｏ ｓ ｃ ｉ ｅ ｎ ｃ ｅ 　ａ ｎ ｄ 　Ｒ ｅ ｍ ｏ ｔ ｅ 　Ｓ ｅ ｎ ｓ ｉ ｎ ｇ ， １ ９ ９ ２ ，３ ０ （ １ ） ： ８ １ － ８ ８［ ７ ］ Ｐ ａ ｌ 　Ｍ ， Ｍ ａ ｔ ｈ ｅ ｒ 　Ｐ　Ｍ．Ａ ｎ 　ａ ｓ ｓ ｅ ｓ ｓ ｍ ｅ ｎ ｔ 　ｏ ｆ 　ｔ ｈ ｅ 　ｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｎ ｅ ｓ ｓ 　ｏ ｆｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ 　ｔ ｒ ｅ ｅ 　ｍ ｅ ｔ ｈ ｏ ｄ ｓ 　ｆ ｏ ｒ 　ｌ ａ ｎ ｄ 　ｃ ｏ ｖ ｅ ｒ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ［ Ｊ ］ ．Ｒ ｅ ｍ ｏ ｔ ｅ 　Ｓ ｅ ｎ ｓ ｉ ｎ ｇ 　 ｏ ｆ 　Ｅ ｎ ｖ ｉ ｒ ｏ ｎ ｍ ｅ ｎ ｔ ， ２ ０ ０ ３ ， ８ ６ （４ ） ： １ １ ４ ５ － １ １ ６ １［ ８ ］ Ｌ ａ ｒ ｄ ｅ ｕ ｘ 　Ｃ ， Ｆ ｒ ｉ ｓ ｏ ｎ 　Ｐ ， Ｔ ｉ ｓ ｏ ｎ 　Ｃ ， ｅ ｔ 　ａ ｌ ．Ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｆ ｏ ｒ 　ｍ ｕ ｌ ｔ ｉ ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ 　 Ｓ Ａ Ｒ 　ｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃ 　ｄ ａ ｔ ａｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ［ Ｊ ］ ．Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎ 　Ｇ ｅ ｏ ｓ ｃ ｉ ｅ ｎ ｃ ｅ 　ａ ｎ ｄ 　Ｒ ｅ ｍ ｏ ｔ ｅＳ ｅ ｎ ｓ ｉ ｎ ｇ ， ２ ０ ０ ９ ， ４ ７ （ １ ２ ） ： ４ １ ４ ３ － ４ １ ５ ２［ ９ ］ Ｎ ｉ ｕ 　Ｘ ， Ｂ ａ ｎ 　Ｙ 　Ｆ．Ｍ ｕ ｌ ｔ ｉ－ ｔ ｅ ｍ ｐ ｏ ｒ ａ ｌ 　ＲＡ Ｄ Ａ Ｒ Ｓ ＡＴ － ２ｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃＳ Ａ Ｒ 　ｄ ａ ｔ ａ 　ｆ ｏ ｒ 　ｕ ｒ ｂ ａ ｎ 　ｌ ａ ｎ ｄ － ｃ ｏ ｖ ｅ ｒ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ｕ ｓ ｉ ｎ ｇ 　 ａ ｎ 　ｏ ｂ ｊ ｅ ｃ ｔ －ｂ ａ ｓ ｅ ｄ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ 　ａ ｎ ｄ 　ａ 　ｒ ｕ ｌ ｅ － ｂ ａ ｓ ｅ ｄ 　ａ ｐ ｐ ｒ ｏ ａ ｃ ｈ ［ Ｊ ］ ．Ｉ ｎ ｔ 　Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｒ ｅ ｍ ｏ ｔ ｅ 　Ｓ ｅ ｎ ｓ ｉ ｎ ｇ ， ２ ０ １ ３ ， ３ ４ （ １ ） ： １ － ２ ６［ １ ０ ］ Ｎ ｉ ｕ 　Ｘ ， Ｂ ａ ｎ 　Ｙ 　Ｆ．Ａ 　ｎ ｏ ｖ ｅ ｌ 　ｃ ｏ ｎ ｔ ｅ ｘ ｔ ｕ ａ ｌ 　ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｆ ｏ ｒ 　ｍ ｕ ｌ ｔ ｉ ｔ ｅ ｍ ｐ ｏ ｒ ａ ｌ 　ｐ ｏ ｌ ａ ｒ ｉ ｍ ｅ ｔ ｒ ｉ ｃ 　Ｓ Ａ Ｒ 　ｄ ａ ｔ ａ ［ Ｊ ］ ． Ｉ Ｅ Ｅ ＥＧ ｅ ｏ ｓ ｃ ｉ ｅ ｎ ｃ ｅ 　ａ ｎ ｄ 　Ｒ ｅ ｍ ｏ ｔ ｅ 　Ｓ ｅ ｎ ｓ ｉ ｎ ｇ 　 Ｌ ｅ ｔ ｔ ｅ ｒ ｓ ， ２ ０ １ ４ ， １ １ （ ３ ） ： ６ ８ １ －６ ８ ５［ １ １ ］ Ｈ ｉ ｎ ｔ ｏ ｎ 　Ｇ 　Ｅ ， Ｓ ａ ｌ ａ ｋ ｈ ｕ ｔ ｄ ｉ ｎ ｏ ｖ 　Ｒ．Ｒ ｅ ｄ ｕ ｃ ｉ ｎ ｇ 　 ｔ ｈ ｅ 　ｄ ｉ ｍ ｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ ｉ ｔ ｙｏ ｆ 　ｄ ａ ｔ ａ 　ｗ ｉ ｔ ｈ 　ｎ ｅ ｕ ｒ ａ ｌ 　ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ［ Ｊ ］ ．Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， ２ ０ ０ ６ ， ３ １ ３（ ５ ７ ８ ６ ） ： ５ ０ ４ － ５ ０ ７［ １ ２ ］ Ｙ ｕ 　Ｄ ， Ｄ ｅ ｎ ｇ 　 Ｌ．Ｄ ｅ ｅ ｐ 　 ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ａ ｎ ｄ 　ｉ ｔ ｓ 　ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ 　ｔ ｏ 　ｓ ｉ ｇ ｎ ａ ｌａ ｎ ｄ 　ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ 　ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ［ Ｊ ］ ．Ｉ Ｅ Ｅ Ｅ 　Ｓ ｉ ｇ ｎ ａ ｌ 　Ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇＭ ａ ｇ ａ ｚ ｉ ｎ ｅ ， ２ ０ １ １ ， ２ ８ （ １ ） ： １ ４ ５ － １ ５ ４［ １ ３ ］ Ａ ｒ ｅ ｌ 　Ｉ ， Ｒ ｏ ｓ ｅ 　Ｃ ， Ｋ ａ ｒ ｎ ｏ ｗ ｓ ｋ ｉ 　Ｔ．Ｄ ｅ ｅ ｐ 　 ｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ — Ａｎ ｅ ｗ 　ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ 　ｉ ｎ 　ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ 　ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ［ Ｊ ］ ． Ｉ Ｅ Ｅ ＥＣ ｏ ｍ ｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ａ ｌ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ 　Ｍ ａ ｇ ａ ｚ ｉ ｎ ｅ ， ２ ０ １ ０ ， ５ （ ４ ） ： １ ３ － １ ８［ １ ４ ］ Ｂ ｅ ｎ ｇ ｉ ｏ 　Ｙ． Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｄ ｅ ｅ ｐ ａ ｒ ｃ ｈ ｉ ｔ ｅ ｃ ｔ ｕ ｒ ｅ ｓ 　ｆ ｏ ｒ 　Ａ Ｉ ［ Ｊ ］ ．Ｆ ｏ ｕ ｎ ｄ ａ ｔ ｉ ｏ ｎ 　ａ ｎ ｄ 　Ｔ ｒ ｅ ｎ ｄ ｓ 　ｉ ｎ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ， ２ ０ ０ ９ ， ２ （ １ ） ： １ －１ ２ ７［ １ ５ ］ Ｂ ｅ ｎ ｇ ｉ ｏ 　Ｙ ， Ｃ ｏ ｕ ｒ ｖ ｉ ｌ ｌ ｅ 　Ａ ， Ｖ ｉ ｎ ｃ ｅ ｎ ｔ 　Ｐ． Ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ：Ａ 　ｒ ｅ ｖ ｉ ｅ ｗ 　ａ ｎ ｄ 　ｎ ｅ ｗ 　ｐ ｅ ｒ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅ ｓ ［ Ｊ ］ ． Ｉ Ｅ Ｅ Ｅ 　Ｔ ｒ ａ ｎ ｓ 　ｏ ｎ 　Ｐ ａ ｔ ｔ ｅ ｒ ｎＡ ｎ ａ ｌ ｙ ｓ ｉ ｓ 　ａ ｎ ｄ 　Ｍ ａ ｃ ｈ ｉ ｎ ｅ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ， ２ ０ １ ３ ， ３ ５ （ ８ ） ： １ ７ ９ ８ － １ ８ ２ ８［ １ ６ ］ Ａ ｎ ｔ ｈ ｅ ｓ 　Ｇ． Ｄ ｅ ｅ ｐ 　 ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ｃ ｏ ｍ ｅ ｓ 　ｏ ｆ 　ａ ｇ ｅ ［ Ｊ ］ ． Ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓｏ ｆ 　ｔ ｈ ｅ 　Ａ ＣＭ ， ２ ０ １ ３ ， ５ ６ （ ６ ） ： １ ３ － １ ５［ １ ７ ］ Ｊ ｏ ｎ ｅ ｓ 　Ｎ．Ｔ ｈ ｅ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ［ Ｊ ］ ．Ｎ ａ ｔ ｕ ｒ ｅ ， ２ ０ １ ４ ， ５ ０ ５（ ７ ４ ８ ２ ） ： １ ４ ６ － １ ４ ８［ １ ８ ］ Ｈ ｕ 　Ｘ ｉ ａ ｏ ｌ ｉ ｎ ， Ｚ ｈ ｕ 　Ｊ ｕ ｎ． Ｄ ｅ ｅ ｐ 　 ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ： Ｎ ｅ ｗ 　ｈ ｏ ｔ ｓ ｐ ｏ ｔ 　ｉ ｎｍ ａ ｃ ｈ ｉ ｎ ｅ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ［ Ｊ ］ ． Ｃ ｏ ｍｍ ｕ ｎ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ 　ｏ ｆ 　ｔ ｈ ｅ 　Ｃ Ｃ Ｆ ， ２ ０ １ ３ ， ９（ ７ ） ： ６ ４ － ６ ９ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 胡晓林，朱军 ． 深度学习：机器学习领域的新热点［ Ｊ ］ ． 中国计算机学会通讯， ２ ０ １ ３ ， ９ （ ７ ） ： ６ ４ － ６ ９ ）［ １ ９ ］ Ｙ ｕ 　Ｋ ａ ｉ ， Ｊ ｉ ａ 　Ｌ ｅ ｉ ， Ｃ ｈ ｅ ｎ 　Ｙ ｕ ｑ ｉ ａ ｎ ｇ ， ｅ ｔ 　ａ ｌ ．Ｄ ｅ ｅ ｐ 　 ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ：Ｙ ｅ ｓ ｔ ｅ ｒ ｄ ａ ｙ ， ｔ ｏ ｄ ａ ｙ ， ａ ｎ ｄ 　ｔ ｏ ｍ ｏ ｒ ｒ ｏ ｗ ［Ｊ ］ ． Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒＲ ｅ ｓ ｅ ａ ｒ ｃ ｈ 　ａ ｎ ｄ 　Ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ， ２ ０ １ ３ ， ５ ０ （ ９ ） ： １ ７ ９ ９ － １ ８ ０ ４ （ ｉ ｎＣ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 余凯，贾磊，陈雨强，等．深度学习 的昨天、 今天和明天［ Ｊ ］ ．计算机研究与发展， ２ ０ １ ３ ， ５ ０ （ ９ ） ： １ ７ ９ ９ － １ ８ ０ ４ ）［ ２ ０ ］ Ｍ ｎ ｉ ｈ 　Ｖ ， Ｈ ｉ ｎ ｔ ｏ ｎ 　Ｇ 　Ｅ．Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ｔ ｏ 　ｄ ｅ ｔ ｅ ｃ ｔ 　ｒ ｏ ａ ｄ ｓ 　ｉ ｎ 　ｈ ｉ ｇ ｈｒ ｅ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ 　ａ ｅ ｒ ｉ ａ ｌ 　ｉ ｍ ａ ｇ ｅ ｓ ［ Ｃ ］ ? ? Ｐ ｒ ｏ ｃ 　ｏ ｆ 　２ ０ １ ０Ｅ ｕ ｒ ｏ ｐ ｅ ａ ｎ 　Ｃ ｏ ｎ ｆＣ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｖ ｉ ｓ ｉ ｏ ｎ （ Ｅ Ｃ Ｃ Ｖ ２ ０ １ ０ ） ．Ｐ ｉ ｓ ｃ ａ ｔ ａ ｗ ａ ｙ ， Ｎ Ｊ ： Ｉ Ｅ Ｅ Ｅ ，２ ０ １ ０ ： ２ １ ０ － ２ ２ ３［ ２ １ ］ Ｈ ｉ ｎ ｔ ｏ ｎ 　Ｇ 　Ｅ ， Ｏ ｓ ｉ ｎ ｄ ｅ ｒ ｏ 　Ｓ ， Ｔ ｅ ｈ 　Ｙ．Ａ 　ｆ ａ ｓ ｔ 　ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｆ ｏ ｒ 　ｄ ｅ ｅ ｐ 　 ｂ ｅ ｌ ｉ ｅ ｆ 　ｎ ｅ ｔ ｓ ［Ｊ ］ ．Ｎ ｅ ｕ ｒ ａ ｌ 　Ｃ ｏ ｍ ｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ， ２ ０ ０ ６ ， １ ８ （ ７ ） ：１ ５ ２ ７ － １ ５ ５ ４［ ２ ２ ］ Ｈ ｉ ｎ ｔ ｏ ｎ 　Ｇ 　Ｅ．Ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 　ｐ ｒ ｏ ｄ ｕ ｃ ｔ ｓ 　ｏ ｆ 　ｅ ｘ ｐ ｅ ｒ ｔ ｓ 　ｂ ｙ 　 ｍ ｉ ｎ ｉ ｍ ｉ ｚ ｉ ｎ ｇｃ ｏ ｎ ｔ ｒ ａ ｓ ｔ ｉ ｖ ｅ 　ｄ ｉ ｖ ｅ ｒ ｇ ｅ ｎ ｃ ｅ ［ Ｊ ］ ．Ｎ ｅ ｕ ｒ ａ ｌ 　Ｃ ｏ ｍ ｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ， ２ ０ ０ ２ ， １ ４（ ８ ） ： １ ７ ７ １ － １ ８ ０ ０［ ２ ３ ］ Ｌ ｕ ｏ 　Ｘ ｉ ａ ｏ ｂ ｏ ， Ｚ ｈ ａ ｏ 　Ｃ ｈ ｕ ｎ ｈ ｕ ｉ ， Ｐ ａ ｎ 　Ｊ ｉ ａ ｎ ｐ ｉ ｎ ｇ ， ｅ ｔ 　ａ ｌ ．Ｒ ｅ ｍ ｏ ｔ ｅＳ ｅ ｎ ｓ ｉ ｎ ｇ 　 Ｉ ｍ ａ ｇ ｅ 　Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ 　Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ 　ａ ｎ ｄ 　Ｉ ｔ ｓ 　Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ［ Ｍ ］ ．Ｂ ｅ ｉ ｊ ｉ ｎ ｇ ： Ｐ ｕ ｂ ｌ ｉ ｓ ｈ ｉ ｎ ｇ 　 Ｈ ｏ ｕ ｓ ｅ 　ｏ ｆ 　Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ｓ 　Ｉ ｎ ｄ ｕ ｓ ｔ ｒ ｙ ，２ ０ １ １ （ ｉ ｎ 　Ｃ ｈ ｉ ｎ ｅ ｓ ｅ ）（ 罗小波，赵春晖，潘建平，等 ． 遥感图像智能分类及其应用［ Ｍ ］ ．北京：电子工业出版社， ２ ０ １ １ ）［ ２ ４ ］ Ｈ ｉ ｎ ｔ ｏ ｎ 　Ｇ 　Ｅ． Ａ 　ｐ ｒ ａ ｃ ｔ ｉ ｃ ａ ｌ 　ｇ ｕ ｉ ｄ ｅ 　ｔ ｏ 　ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 　 ｒ ｅ ｓ ｔ ｒ ｉ ｃ ｔ ｅ ｄＢ ｏ ｌ ｔ ｚ ｍ ａ ｎ ｎ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ ， ＵＴＭＬ 　Ｔ Ｒ 　２ ０ １ ０ － ０ ０ ３ ［ Ｒ ］ ．Ｔ ｏ ｒ ｏ ｎ ｔ ｏ ：Ｄ ｅ ｐ ａ ｒ ｔ ｍ ｅ ｎ ｔ 　ｏ ｆ 　Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ 　Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ， Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ 　 ｏ ｆ 　Ｔ ｏ ｒ ｏ ｎ ｔ ｏ ，２ ０ １ ０［ ２ ５ ］ Ｒ ｏ ｕ ｘ 　Ｎ ， Ｂ ｅ ｎ ｇ ｉ ｏ 　Ｙ．Ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ ａ ｌ 　ｐ ｏ ｗ ｅ ｒ 　ｏ ｆ 　ｒ ｅ ｓ ｔ ｒ ｉ ｃ ｔ ｅ ｄＢ ｏ ｌ ｔ ｚ ｍ ａ ｎ ｎ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ 　ａ ｎ ｄ 　ｄ ｅ ｅ ｐ 　 ｂ ｅ ｌ ｉ ｅ ｆ 　ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ［ Ｊ ］ ．Ｎ ｅ ｕ ｒ ａ ｌＣ ｏ ｍ ｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ， ２ ０ ０ ８ ， ２ ０ （ ７ ） ： １ ６ ３ １ － １ ６ ４ ９［ ２ ６ ］ Ｌ ａ ｒ ｏ ｃ ｈ ｅ ｌ ｌ ｅ 　Ｈ ， Ｂ ｅ ｎ ｇ ｉ ｏ 　Ｙ ， Ｌ ｏ ｕ ｒ ａ ｄ ｏ ｕ ｒ 　Ｊ ， ｅ ｔ 　ａ ｌ ．Ｅ ｘ ｐ ｌ ｏ ｒ ｉ ｎ ｇｓ ｔ ｒ ａ ｔ ｅ ｇ ｉ ｅ ｓ 　ｆ ｏ ｒ 　ｔ ｒ ａ ｉ ｎ ｉ ｎ ｇ 　 ｄ ｅ ｅ ｐ 　 ｎ ｅ ｕ ｒ ａ ｌ 　ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ［Ｊ ］ ． Ｊ ｏ ｕ ｒ ｎ ａ ｌ 　ｏ ｆＭ ａ ｃ ｈ ｉ ｎ ｅ 　Ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ 　 Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ， ２ ０ ０ ９ ， １ ０ （１ ） ： １ － ４ ０［ ２ ７ ］ Ｌ ｉ ｎ 　Ｃ 　Ｊ ．Ｌ Ｉ Ｂ Ｓ ＶＭ ： Ａ 　ｌ ｉ ｂ ｒ ａ ｒ ｙ 　 ｆ ｏ ｒ 　ｓ ｕ ｐ ｐ ｏ ｒ ｔ 　ｖ ｅ ｃ ｔ ｏ ｒ 　ｍ ａ ｃ ｈ ｉ ｎ ｅ ｓ［ Ｏ Ｌ ］ ． ［ ２ ０ １ ３ － １ １ － １ ２ ］ ． ｈ ｔ ｔ ｐ ：? ? ｗｗｗ． ｃ ｓ ｉ ｅ ． ｎ ｔ ｕ． ｅ ｄ ｕ． ｔ ｗ ? ～ｃ ｊ ｌ ｉ ｎ ?ｌ ｉ ｂ ｓ ｖ ｍ ?