深度神经网络和堆叠式自动编码器的性能分析外文翻译资料

英语原文共 16 页，剩余内容已隐藏，支付完成后下载完整资料

第一章

深度神经网络和堆叠式自动编码器的性能分析

图像分类

Shivappriya和R. Harikumar

1.1介绍

机器学习(ML)技术在模式识别、图像分类和医学诊断领域有着巨大的应用(Liu et al. 2017)。这种技术的主要优点是，计算机无需显式编程就可以运行(Ruder 2017)。它属于计算机科学领域，使计算机能够自动学习。这是通过使用复杂的模型和算法实现的(Wang et al. 2018)。它主要侧重于使用计算机进行预测。它主要与数学运算中的最优化有关。这是有效的，因为它强有力地利用了所有可用的培训数据。

Deep belief network (DBN)是由(Hinton and Teh 2006)于2006年开发的。神经形态系统支持深度网络模型的发展(Schmitt et al. 2017)。其中一个活跃的研究是人工神经网络(ANN, artificial neural network) (Raith et al. 2017)，它是深度学习的基础。训练一个神经网络(NN)需要更多的时间。采用监督学习算法对神经网络进行训练。在对网络进行预训练时，采用分层智贪婪学习的方法进行无监督学习。根据问题的复杂性，需要增加网络中神经元的数量和层数，从而构建了深度神经网络体系结构。

Shivappriya (*)

印度Tamilnadu, Coimbatore, Kumaraguru理工学院电子和通信工程系

电子邮件:shivappriya.sn.ece@kct.ac。在r . Harikumar

印度Tamilnadu Sathyamangalam Bannari Amman理工学院电子与通信工程系

copy;施普林格Nature swiss AG 2019

计算智能与可持续系统，EAI/施普林格通讯与计算创新，

https://doi.org/10.1007/978-3-030-02674-5_1

1

2 Shivappriya和R. Harikumar

技术的进步导致了深度学习(Lei and Ming 2016)，深度学习由多个层组成，可以自动提取特征。这使得深度神经网络在语音识别、视觉对象识别、对象检测以及药物发现和基因组学等许多其他领域的应用越来越多(Holder和Gass 2018)。DNN根据输入数据提取内部参数，然后根据前一层的参数表示，计算每一层要表示的参数。它提供了突破性的性能(Raju和Shivappriya 2018)。

一般来说，自动编码器(Yu et al. 2018)指的是一种利用无监督学习高效编码的ANN。它通常是首选的降维图像。自动编码器也称为自动联想器或空竹网络。自编码器与多层感知器(multilayer perceptron, MLP)非常相似，多层感知器是一种前馈的、非递归的神经网络，它有一个输入层和一个或多个隐藏层连接的输出层(Mohd Yassin et al. 2017)。它有一个约束，即拥有与输入层相同数量的节点，这样它就可以重构自己的输入。这是通过近似它的恒等函数来实现的。这个恒等函数是一个平凡函数。如果输入完全是随机的，那么压缩任务将非常困难。ANN算法的优势在于，当输入特征相关联时，它能够发现一些相关性(LeCun et al. 2015)。自动编码器的性能取决于隐藏单元的数量。

一个具有较少隐藏单元的自动编码器最终会学习一个与PCA(主成分分析)非常相似的低维表示。相反，当存在大量的隐藏单元，即输入图像中像素的个数越多，性能就越好。当神经元处于活动状态时，其输出值接近1;否则输出值接近于0，表示处于非活动状态的神经元。大多数时候，神经元被认为是不活跃的。当使用的激活函数为tanh时，处于非活动状态的神经元的输出值将接近

1. 当有一个小的训练集时，就可以很容易地计算正向传递，同时也可以很容易地执行反向传播，将使用的数据放入内存中。如果使用的数据非常大，那么反向传播也可以很容易地执行。

有不同类型的自动编码器，可用于提高捕获重要信息的能力，学习更丰富的表示。很少有自动编码器类型是去噪自动编码器，稀疏自动编码器，变分自动编码器和收缩自动编码器。

bull;去噪自动编码器(G. Du等人，2018)是一种接受部分损坏的输入，并在训练时恢复原始的未失真输入。这可以通过假设更高级别的表示是稳定的，并且对损坏的输入是健壮的来实现。

bull;稀疏自编码器(Liu et al. 2018)用于需要隐藏单元稀疏时，即，当需要的隐藏单元数量多于输入单元的数量时，则可以通过以下方法从输入数据中学习有用的结构

1 .深度神经网络与堆叠式自动编码器的性能分析hellip;3.

一个autoencoder。这里可以对分类任务进行预培训。在训练过程中可以在功能上达到稀疏性。这可以通过将一些较低的期望值与隐藏单元激活的概率分布进行比较来实现。

bull;变分自动编码器(Ishfaq和Rubin 2018)是一种关注潜在变量分布的自动编码器。它使用一种特殊的训练算法，称为随机梯度变分贝叶斯。对于隐式表示的学习，采用变分方法。这里使用有向图形模型生成数据，编码器学习后验分布的近似值。收缩式自动编码器(Galloway et al. 2018)是一种自动编码器，它显式地在目标函数中添加正则化器，确保函数即使对输入值的微小变化也具有健壮性。该正则化器属于编码器激活相对于输入激活的雅可比矩阵的弗洛贝尼乌斯范数。

本章在四种类型的自编码器中，选取稀疏自编码器，将其堆叠在一起，利用MNIST数据集对其性能进行评估，并将其输出与DNN输出在时间和精度上进行比较。

1.1.1公开的问题和挑战

要对实时数据进行分类，手工工程和特定于任务的特性通常是复杂、困难和耗时的。例如，目前还不清楚在拥挤的地方、制造业中不成形的物体、人脸识别和其他生物识别应用程序中，应该使用什么适当的特征。这种困难在多模态数据中更为明显，因为特性必须关联多个数据源。在这项工作中，我们展示了如何深入学习和自动编码器可以应用到这个具有挑战性的任务，自动提取特征。

1.2方法

1.2.1自动编码器的培训过程

为了学习导致图像降维的大数据表示，有必要使用自动编码器。自动编码器利用神经网络对数据分布进行编码和解码。自动编码器的培训过程包括:

bull;许多反向传播方法可以用来训练一个自动编码器，如共轭梯度法，最速下降等。

4 Shivappriya和R. Harikumar

图1.1自动编码器结构

bull;反向传播时错误发生的概率很高。这主要发生在有更多的隐藏层时。

bull;当错误被反向传播到前几层时，前几层就变得不重要了，因为网络几乎要学会重组所有训练数据的平均值。这个问题可以通过使用一种叫做预训练的技术来解决，它使用的初始权值近似于最终解，也可以使用先进的反向传播方法，如共轭梯度法。

bull;杰弗里bull;辛顿(Geoffrey Hinton)开发了一种再培训技术，用于培训多层深层自动编码器。该方法涉及受限的玻尔兹曼机，其模型取“深度信念网络”的名称。

bull;首先构造一个单一的自编码器，然后将其重复两次，最后将稀疏自编码器的三层叠加在一起，对网络进行训练。

图1.1显示了带有所有层和学习信息的堆叠式自动编码器的架构(Meyer 2015)。

1.2.2深度神经网络的训练过程

在学习期间，如果对隐藏单元的活动进行正则化，则DNN的性能更好(Ba和Frey 2013)。DNN的培训过程包括:

bull;首先，像MNIST这样的大数据集被收集，因为DNN可以很好地工作。

1 .深度神经网络与堆叠式自动编码器的性能分析hellip;5

图1.2深度神经网络

bull;选择激活函数的方式是不产生任何问题。这里使用tanh函数，因为它是以零为中心的，它会导致更快的收敛。

bull;定义隐藏单元和层数，然后用小随机数进行权重初始化，打破不同单元的对称性。权重选择在中间范围。

bull;下一步是选择学习率不应该是小的，因为它可能需要很长时间才能收敛。

bull;最后定义纪元或培训迭代的数量。

图1.2为具有全层学习信息的深度神经网络体系结构(Ng et al. 2015)。

1.2.3自编码器和深度神经网络的重要性

当DNN和自动编码器在不同的模型中实现时，可以获得较高的精度(Gottimukkula 2016;董等，2018)。

bull;自动编码器的压缩和解压缩功能不像jpg那样从数据本身学习。

bull;网络的训练方式是输入和输出之间的差异尽可能小。

bull;当输入完全是随机的时候，压缩任务是困难的。当输入特征相关联时，网络就会识别出来。它的工作原理与PCAs类似，PCAs只有线性变换，但在编码上有“非线性”。

6 Shivappriya和R. Harikumar

bull;为了发现隐藏单元数量越多的特征，对隐藏层施加稀疏性约束。

bull;这里所有的神经网络训练功能，如反向传播，正则化，dropout, RBM预训练。

1.3算法

1.3.1监督学习

在这里，只有当训练样本被标记时，才会进行训练，也就是说，它们应该属于一个合适的班级，而在无监督学习方法中，这些标签不需要属于一个合适的班级(Yang et al. 2015)。监督学习的功能如下:

bull;确定培训样本的类型。本文使用的数据是手写数字。之所以收集训练集，是因为它是在现实世界中对函数的使用。

bull;确定学习函数对输入特性的表示。根据输入对象表示，计算精度。这是在输入对象的帮助下完成的，输入对象被转换成包含对象描述特征的特征向量。

bull;确定学习函数的结构，然后将收集到的训练集在监督算法上运行。

Sun等人(2017)展示了如何将无监督学习用于非标记数据集。在数据中找到数据结构或集群，这是它的主要目标。无监督学习的主要方法之一是聚类，它包括对属于同一组的所有对象集进行分组。它通常被表述为最优化(Harikumar et al. 2014)。另一种算法是半监督学习(Parloff and Metz 2016)，它介于半监督学习和非监督学习之间，后者只需要少量带标签的数据。

未标记的数据可用于定义边界集群，而标记的数据可用于标记集群。实验证明，当少量的标记数据与未标记数据结合使用时，可以产生较高的学习精度。强化学习(Baldi 2012)是通过提供当前环境状态来进行重量训练的地方。在研究和控制文献中，它通常被称为动态规划。增强学习算法与经典方法的主要区别在于它不需要对MDP的知识。

本工作的重点是对MNIST开源标记数据集的手写图像进行分类，使用DNN和堆叠的自动编码器分类器模型。

1 .深度神经网络与堆叠式自动编码器的性能分析hellip;7

1.3.2参数

1.3.2.1重量正规化

机器学习采用权值正则化技术来减少模型的过拟合。消除了模型的过拟合后，模型的预测效果较好。当数据集具有更多的特性时，它创建的模型就不那么复杂了。有两种正则化技术，即L1正则化和L2正则化。在某些情况下，L1正则化可以用来进行特征选择，这是众所周知的，但是L2正则化的效果要优于L1正则化，因为L2正则化对其余变量的效果更好(Arulmurugan et al. 2017)。L2正则化也被称为权值衰减，因为它对权值的比例尺有较大的影响。它的值应该尽可能小。本文采用L2正则化方法。

1.3.2.2稀疏正则化

使用稀疏正则化的主要优点是它减少了内存的使用，而内存的使用又通过使用稀疏特定的算法减少了计算时间。

1.3.2.3稀疏比例

稀疏正则化器的参数之一是稀疏比例，它主要控制隐层输出的稀疏性。它应该尽可能地低，因为在隐藏层，它使每个神经元都能给出高输出。它的值位于0和1之间是很重要的。这里存储了矩阵中每个元素的位置。

1.3.2.4精度与损失

该学习模型的主要目标是通过使用不同的方法使损失函数的值最小化，常用的方法是反向传播，其中经常改变权向量的值以使损失最小化。

模型的精度是在没有学习的情况下确定的，这意味着模型中的所有参数都是学习过的。只有将模型与测试样本进行反馈，并将模型与真实目标进行比较后，记录模型产生的0 - 1损失的错误数量，才能计算出错误分类的百分比。当所有的标签都被正确预测时，可以获得100%的准确性。

8 Shivappriya和R. Harikumar

1.3.2.5时间

它是决定网络强度的另一个重要参数。时间越短，精度越高，网络的强度越大。

1.4数据集

在机器学习领域，数据集是一个不可分割的部分。该领域的重大进展导致学习算法的进步，其中最好的算法包括深度学习。在数据集上可以得到高质量的训练。在比较不同DNN模型的情况下，分类是一项艰巨的任务。这里对MNIST数据集进行了分类。人们注意到，与较困难的任务相比，较容易的任务不那么复杂。同样，对于简单的任务，所需的能量将会比更困难的任务消耗的能量更少。为了对图像进行分类，使用的模型有AlexNet、VGG16、GoogLeNet和ResNet，对数字进行分类，使用的模型有LeNet-5和MNIST。为了计算一个DNN模型的精度，许多人工智能任务是可用的，数据集可以使用它。这些数据集是公开的，以便比较不同方法的准确性。图像分类是指选择的整幅图像属于该图像最有可能属于的N个类中的1个，并且没有本地化。

1.4.1 MNIST数据集

它是修改后的国家标准与技术研究院(MNIST)数据库，该数据库是为数字分类引入的数据集(Kohli et

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[20877]，资料为PDF文档或Word文档，PDF文档可免费转换为Word