基于栈式自动编码器的深度学习遥感影像分类： 以非洲土地覆盖制图为例外文翻译资料

英语原文共 17 页，剩余内容已隐藏，支付完成后下载完整资料

基于栈式自动编码器的深度学习遥感影像分类：

以非洲土地覆盖制图为例

Weijia Li^1,2, Haohuan Fu^1,2, Le Yu^1,2, Peng Gong^1,2, Duole Feng^1,2, Congcong Li^1,2 and Nicholas Clinton^1,2

（¹地球系统建模教育部重点实验室，清华大学地球系统科学研究中心，北京

²全球变化研究联合中心，北京）

摘要：土地覆盖制图是遥感领域的一个重要研究课题，具有广泛的适用性。虽然人们对深度神经网络重燃兴趣，机器学习算法（如：最大似然法、支持向量机、人工神经网络和随机森林）多年来在这个领域一直扮演着重要的角色。本文论述了将基于深度学习的分类方法应用到大比例尺土地覆盖地图的初期努力。基于深度学习模型中的栈式自动编码器，我们建立了一个大比例尺遥感图像处理分类结构。调整研究的测试样本，优化模型参数。通过多种性能分析方法，比较基于栈式自动编码器的方法与包括随机森林、支持向量机和人工神经网络在内的传统分类算法在性能上的不同。结果表明，当测试样本的收集独立于训练样本时，用一整套非洲训练样本来训练的栈式自编码分类器整体分类精度达到78.99%，高于其他三种分类器对相同测试样本进行分类的精度（其中随机森林、支持向量机和人工神经网络的分类精度分别是76.03%、77.74%和77.86%）。在这个研究中我们还论证了栈式自动编码器在预测时间和得到土地覆盖制图结果方面的优势。

1.简介

土地覆被是地球表面的物理物质，土地覆盖图在地球系统研究和生态系统管理方面有重要作用（Gong等人，2013; Yu等人，2014a）。数十年来，传统的分类方法（如:最大似然法、支持向量机、人工神经网络和随机森林）在遥感影像分类、对象检测和土地覆盖制图中起到了重要作用。例如，在2013年，分辨率最高（30米）的全球土地覆盖地图是用基于支持向量机、随机森林、J4.8决策树和最大似然法分类器的Landsat TM和ETM 数据制作而成的，其中，支持向量机方法得到的整体分类精度最高，接近64.9%。其后，基于分割的方法被应用于Landsat影像，通过支持向量机和随机森林分类器来缩减成像光谱仪（MODIS）数据中的低分辨率（250米）图像和另外1千米分辨率辅助数据的规模，其中随机森林分类器的精度最高，为67.08%。通过聚集FROM-GLC和FROM-GLC-seg以及两个不受影响的粗分辨率地图而得到的FROM-GLC-agg对后处理基础地图（30米）的最优整体分类精度为69.50%。

深度学习是机器学习研究的新领域，在计算机视觉、语音识别、语言处理等领域的应用越来越多，且其性能优于传统方法。近几年，也有研究者将深度学习方法应用于遥感影像识别领域。Chen等人介绍了深度学习的概念并首次将栈式自动编码器的方法应用于高光谱遥感数据分类中。他们也引入了另一种深度学习方法——深度置信网络——到高光谱影像分类中。Lv等人提出了基于深度置信网络模型的分类方法，对多极化合成孔径雷达数据的详细地图进行分类。Zhao等人应用多尺度卷积自动编码器的方法来提取深度学习特征，对著名的Pavia数据集高光谱影像进行分类。这些研究说明了深度学习方法比传统方法的分类精度更优。但是，这些研究只关注了对小区域遥感影像的分类。

本文中我们首次提出了将基于深度学习的分类方法应用到大比例尺土地覆盖地图。栈式自动编码器是基于架构的深度模型之一，我们将它应用到遥感数据分类和非洲土地覆盖地图上。我们还比较了栈式自编码分类器和随机森林、支持向量机和人工神经网络这些传统的机器学习算法在性能上的差别。研究显示出了栈式自动编码器在分类精度、预测时间和结果方面的优越性。

2.数据集

研究中，我们用到的训练样本和测试样本覆盖了整个非洲。 我们通过参考Landsat影像、MODIS的时间序列（2014）、谷歌地球上的最新高分辨率影像和5个季节（冬季（12、1、2月），春季（3、4、5月），夏季（6、7、8月），秋季（9、10、11月））的温度以及降水量信息进行人工解译来收集样本。样本代表了8种土地覆盖类型（农田、森林、草原、灌丛、水、不透水层、裸地和冰雪）和一种云类型。为了弄清土地覆盖的季节性变化，训练和测试数据集中加入了季节性样本（在相同位置有季节性土地覆被类型）。即一个坐标位置下的样本最多会有5种季节类型（4个季节和一个生长季节）。训练数据集也包含了每个样本点周围3*3的邻近像素点。样本具有8个特征用于分类，分别是：Landsat光谱反射率（Landsat5/7 TM（专题制图仪）或ETM （增强专题制图仪）的波段1-5和7，Landsat 8 OLI（陆地操作成像仪）的波段2-7），NDVI（归一化差值植被指数）和MNDWI（改进的归一化水体指数）。NDVI和MNDWI的公式分别如（1）和（2）所示，其中NIR表示近红外反射率（例如，TM/ETM 波段4，OLI 波段5），red表示红光光谱反射率（例如，TM/ETM 波段4，OLI波段4），green表示绿光光谱反射率（例如，TM/ETM 波段2，OLI 波段3），MIR代表中红外光谱反射率（例如，TM/ETM 波段5，OLI波段6）。

NDVI=（NIR-red）/（NIR red） （1）

MNDWI=（green-MIR）/（green MIR） （2）

3.方法

3.1全部流程

研究的整个流程如图一。首先引入三种传统分类器——随机森林、支持向量机和人工神经网络——和一种深度学习分类器——栈式自动编码器，在后文我们会对这些方法作详细介绍。其次，准备训练样本和测试样本并输入各个分类器。OA整体精度调整每个分类器的主要参数直到对测试样本的整体分类精度达到最高。通过调整参数，我们获得了每种分类器的最佳模型，保存这些模型供以后使用。土地覆盖分类的过程中，首先提取遥感图像上每个像元的8个特征（Landsat 7/8的光谱反射率，NDVI和MNDWI）并将它们加载到四个分类器中。然后我们用之前得到的每种分类器的最佳模型预测每个像元的标签，制作土地覆盖地图。

图五 研究中所用方法的流程图

3.2分类器

研究中我们用了四种分类器，分别是随机森林分类器、支持向量机分类器、人工神经网络和栈式自动编码器。随机森林和支持向量机早已在遥感领域被广泛应用，在许多土地覆盖制图研究中得到了不错的分类精度。人工神经网络作为本研究的参照方法是因为其在遥感影像分类领域也是一种很常见的分类器。再者，人工神经网络是深度学习的开端。栈式自动编码器是深度学习模型之一，我们在后续章节会作详细说明。本研究中各分类器的实现方法和用到的主要参数集如表一所示。

3.3栈式自动编码器

本研究中用到的栈式自动编码器由几个自编码层和一个逻辑回归层组成，如图三所示。自动编码器（图二）是栈式自编码分类器的基本单元。它包括一个编码器（图二的Layer1到Layer 2）和一个解码器/重建器（图二的Layer2到Layer 3）。这个过程可以表示为公式（3）和（4），W和W^T（W的转置）是模型的权重矩阵；b和brsquo;是两个不同的偏差向量；s是一个非线性函数，例如本研究中用到的sigmoid函数；y是输入层x的潜变量表示；z可以视为给定y的条件下x的预测结果，它的形式应该和x相同。

表一 各分类器的库和主要参数设置。Scikit-learn和Theano是两个用于机器学习和数据分析的Python库。

图二 自动编码器的结构。y是输入层x的潜变量表达，z可以视为根据y对x的预测。

图三 研究中所用栈式自动编码器的结构。包括一个输入层，三个隐层和一个输出层。

y=s(Wx b) (3)

z=s(W^Ty brsquo;) (4)

若干自编码层堆叠到一起形成了非监督的预训练阶段（图三中的Layer 1到Layer 4）。自动编码器计算得到的隐含表示y会作为下一个自编码层的输入数据。在这个阶段通过减小重构误差来逐层训练自动编码器。有很多方法能求得重构误差（损失函数L (x,z)）。本研究中，我们用交叉熵来计算重构误差，表示方法如式（5），其中x_k和z_k分别表示第k个元素的x和z值。

（5）

重构误差可以用梯度下降法来减小。式（3）和（4）里的权重需要根据式（6）-（8）来更新，式中alpha;表示学习率。

（6）

（7）

（8）

所有层都经过了预训练后，下一步是有监督的微调阶段。这个阶段在无监督预训练阶段输出层的基础上添加了一个逻辑回归层。在我们的研究中，输入向量x属于i类的可能性可以用公式（9）来表示，式中Y是输入向量x的预测类别；W和b分别表示该层的权重矩阵和偏差向量；W_i和W_j分别表示矩阵W的第i和j行；b_i和b_j分别表示向量的第i和第j个元素；另外，本研究中用到的非线性函数是softmax。如式（10），可能性最高的类别被看做是输入向量x的预测结果标签y_pred。如式（11），基于实际标签来计算样本数据集D 的预测误差(Loss (D))，其中y_i是x_i是实际类别标签。可以用梯度下降法最小化Loss( D)的值，这和我们上文中提到的减小重构误差值差不多。

（9）

（10）

（11）

4.结果和讨论

这一部分分析了基于栈式自动编码器方法的实验结果，并从多方面同随机森林、支持向量机和人工神经网络的方法进行比较。分类器都是基于我们的534396个训练样本进行训练，并调整了每个分类器的主要参数直到用26282个测试样本进行分类后的整体精度达到最高。4.1.节对比了各方法的分类精度和混淆矩阵。4.2.节分析比较了各方法的样本训练时长、验证时长和预测时长。4.3.节讨论了参数对栈式自动编码器性能的影响。结果表明，当网络深度为3，隐藏单元数为48时，经过286次迭代可以得到最高分类精度78.99%。4.4.节展示并比较了用各分类器得到的最终土地覆盖制图结果。

4.1随机森林、支持向量机、神经网络和栈式自动编码器的精度比较

表2-5显示了各方法的混淆矩阵。基于我们26282个测试样本计算得到的随机森林、支持向量机、人工神经网络和栈式自动编码器四种方法的整体精度分别为76.03%、77.74%、77.86%和78.99%。与随机森林分类器相比，用栈式自编码分类器对灌丛和不透水层的生产者精度更高（分别提高了16%和8%）。对裸地和云型的识别精度也稍有改善。对水和冰雪的生产者精度与随机森林分类器相同，但森林、农田和草地的生产者精度稍有下降。和支持向量机分类器相比，栈式自编码分类器对农田、草地、灌丛和不透水层的生产者精度更高，与此同时森林和裸地的生产者精度较前者轻微下降。和人工神经网络分类器相比，栈式自编码分类器对除森林外所有类型覆被的生产者精度都稍有提高或至少是持平的。至于用户精度，在多数类型的分类中栈式自编码分类器性能优于或持平于其它三种

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[138908]，资料为PDF文档或Word文档，PDF文档可免费转换为Word