英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料

摘要

前馈神经网络（FNN）已经被广泛用于化学工程的识别和控制过程。然而，对于特定的映射应用程序，没有一个有效的模型结构确定方法。这有导致使用远远大于所需网络的趋势。在本文中，一个新的模型结构程序提出了前馈神经网络的确定。 该过程基于使用正交的网络修剪最小二乘技术来确定无关紧要或冗余的突触权重，偏差，隐藏节点和网络输入。使用模拟和实验数据讨论和说明了这种方法的优点。 结果表明正交最小二乘法在确定神经网络模型上的重要元素方面相当成功也显示了修剪程序来确定简约FNN模型的重要性。

第一章 引言

前馈神经网络（FNN）已被广泛使用于化学工程应用。 在这个计算范式知识被网络互连的强度（突触权重）所捕获，其可以以迭代的方式计算使用最陡峭的基于下降的优化程序为了最小化给定的目标函数（Rumelhart，Hinton＆Williams，1988）。 的主要优点最速下降算法是可并行性。 然而，可以使用串行计算机的更有效的例程，例如，基于Mququardt-Levenberg算法用于这项工作。 该算法的收敛是二次的。因此，它是计算的比线性收敛最快下降更快方法。

Cybenko（1989）显示从R^p到的任何映射R^q可以通过两层隐藏节点实现Hornik，Stinchcombe和White（1990）显示任何映射也可以实现，到任意度准确度，使用一个隐藏层的神经网络并有足够的节点数。然而，为了提高映射精度，用户常常使用两个甚至三个具有大量节点的隐藏层来增加网络复杂性。 这种方法的主要问题是，具有大量权重的神经网络具有过度拟合和对于在训练阶段未使用的数据具有较差的表现。此外，由于许多局部最小值，重量参数估计过程变得非常困难。

众所周知，大型神经网络通常具有大量冗余，从而提高网络复杂度，而不会显着提高映射精度。本文的目的是开发一种方法来识别和消除冗余和无关紧要的网络数。

本文的组织结构如下。 第2节介绍关于FNN中古典修剪方法的简要回顾。在第3节给出正交最小二乘估计的必要背景和基于这种技术修剪FNNs修剪的逻辑。第4节介绍并讨论通过使用获得的结果提出的方法在模拟实验案例中，包括非线性化学工程问题。最后，第5节提出了主要结论。

第二章 经典修剪技术

可以通过修剪过程获得FNN的简洁结构，其中包括从大型网络开始删除不必要的权重和节点并减少它直到获得简洁的模型。 一旦网络简化，与过拟合相关的问题就会消失。

Hagiwara (1990)提出隐藏的数量可以通过识别“坏节点”来减少节点。与每个节点相关联的“坏”因素取决于该错误通过该节点反向传播。具有高“坏”因素的节点被删除。

Mozer和Smolensky（1989）提出可以通过“相关性评估”（称为“骨架化”）过程删除隐藏节点。每个节点“i”的“相关性”由网络输出（E）的均方误差（由训练数据计算而来）与节点“i”之间的差表示。 通过删除不相关的节点来修剪网络。

还有一种方法不是删除节点，而是删除单独的权重。 该技术基于网络训练阶段双目标函数（E_w）的最小化。

(1)

其中lambda;是加权参数。 “复杂度函数（E_com）取决于网络的复杂度。 为克服一些问题提出这种方法，Bhat和McAvoy（1992）提出了一个不同寻常的功能。 他们定义了E_com如下所示：

(2)

其中N_k是到达第k个节点的有效权重（w_jk）的数量。 他们为说明性的线性示例和连续搅拌釜反应器中的pH的动态行为获得了良好的结果。 这些方法在计算上很重要，因为它们需要在lambda;中进行行搜索。

Le Cun，Denker和Solla（1990）提出了通过估计网络输出误差E相对于该权重的二阶导数来利用权重的“显着性”的度量的最佳脑损伤（OBD）方法。通过约束某些权重相等的一个很大的因素使该技术的复杂性也减少。 当权重向量w被扰动时，网络输出误差的变化大致由下式决定：

其中delta;_wi表示扰动参数向量delta;w的分量，j_i是E相对于w的梯度的分量，h _ij是

Hessian矩阵H：

(3)

(4)

由于修剪是在训练有素的网络上进行的，所以方程式右边的第一个术语 （3）将为零，因为在这种情况下，E是最小的。 此外，如果扰动很小，最后一个术语可以忽略不计。 由于H是一个非常大的矩阵，OBD方法基于对角线近似，减少了去除那些最不影响训练误差的权重的计算问题。 这导致

(5)

事实证明，二阶导数h_kk可以通过修改的反向传播规则来计算。 然后将权重W_k的lsquo;优越性rsquo;S_k定义为

(6)

修剪是反复进行的，即训练到一个合理的错误级别，计算“高效”，删除低级别的权重并恢复训练。

当对角线假设不准确时，可能导致错误权重的消除。 为了克服这种可能性，Hassibi，Stork和Wolf（1992）提出了最优脑外科医生（OBS）方法，其遵循OBD方法中使用的相同思想，但是消除对角线假设。 然而，对于大型网络来说是不切实际的。 早期停止过程监视验证集上的错误，并在此错误开始增加时停止学习。 学习曲线不能保证通过最优点，而且“权重对学习动力学非常敏感”，体重衰减（脊线回归）将惩罚大量权重的目标函数增加一个词，适当的系数这个术语不是一个先验知道的，所以必须用不同的值进行几个优化，导致过程繁琐。在本文中，由Norgaard（1996）实施的OBD和OBS方法用于与所提出的方法进行比较。

第三章 正交最小二乘法修剪

这里提出的修剪方法是基于Billings，Chen和Korenberg（1989）所述的正交最小二乘法。 考虑线性回归函数

(t=1,hellip;hellip;.,n) (7)

其中是因变量，p_i(t)是第i个回归或预测因子，是建模误差，是待估计的第i个未知参数。 方程式 （7）可以写成紧凑的形式

(8)

其中， ， 而且。对于由式 （8）中，最小二乘估计参数矢量由经典的“正态方程”给出。

(9)

在许多情况下，等式(9)呈现了计算问题。用于解决这些问题的数值稳定的方法是基于将被简要讨论的正交化过程。考虑回归矩阵P的Cholesky因式分解：

(10)

其中A是具有单位对角元素的上三角矩阵，D是具有正对角元素的对角矩阵。 现在，使用矩阵A，通过公式(8)可以被修改以给出

(11)

其中，，且。辅助回归矩阵B是正交的，因为，它可以从以下方式进行递归计算：

k=2,hellip;..,m (12)

其中

(13)

辅助参数矢量g=[g₁ hellip; g_m]^T满足

(14)

因此，忽略错误，估计的g由下式给出：

(15)

或

i=1, . . . ,m (16)

原始参数的估计可以从以下公式计算：

(17)

(18)

, i=m-1, . . . ,m

根据公式(11)

(19)

考虑到(t)是与p _i(t)的不相关的平均白序列，可以看出

或

(20)

其中是建模误差方差。因此，由辅助回归算子解释的因变量对方差的贡献度是。该结果可以用作模型结构选择的标准：在等式（11）或等式（8）中仅考虑对因变量方差贡献更多的辅助回归函数b_i或回归函数p_i。它作为我们对于回归函数b_i或p_i的“显着性”度量。 因此，“显着性”低的回归消除，这个结果使网络参数的数量有效减少。 因此，该过程捕获所有重要的模型术语，并且仍能消除P^TP矩阵的任何数字病态调节。该方法已Korenberg，Billings，Liu和McIlroy（1988）和Billings等人进行了测试（1989）。用于多项式NAR-MAX模型，并且已经表明对于模型结构选择是非常有效的。所述多变量容易作为单个可变箱子的直接扩展而获得。应该注意，通过奇异值分解也可以获得类似的方法，也称为PLS或Karhunen Loeve变换。这种情况下，奇异值的大小与矩阵P中回归的重要性成比例，因此，它们可以用作这些回归的“显着性”。然而，单数值分解方法所涉及的计算量比Cholesky因式分解要多得多。

现在，关于图1所示的FNN可以用以下表达式表达：

或简洁的形式：

(21)

(22)

(23)

(24)

其中f(.)表示任意激活函数，N _h是隐藏节点的数量， p是系统输入的数量，q是系统输出的数量。为了转换方程式 （21）和（23）变成方程式（8），两者都可以重写为连接关系：

(25)

(26)

一旦神经网络已经被训练并且由于u(t)和y(t)是已知的，则中间信号yrsquo;(t)和vrsquo;(t)可以由公式(24)和(22)分别计算出。 现在，方程式(26)和(28)与等式(8)形式相同。因此，应用OLS算法，可以选择W₂，W_1，d₂和d₁（权重和偏差）的有效参数。如果隐藏节点的输出对于任何隐藏节点不重要，则将这点从神经网络中删除。对于任何隐藏节点不重要的输入节点也是如此。然后，修剪的神经网络被重新训练然后再次应用修剪网络方法。这个过程继续进行到收敛。结果表明，收敛只需要几次迭代。该算法是一般的（任何类型的激活函数），可以简要描述如下：

1. 从前馈神经网络模型开始，直到收敛。
2. 将正交最小二乘法应用于神经网络。
3. 选择所有重要的突触权重和偏差。
4. 如果所有的突触权重和偏差都是重要的，那么进行步骤6。
5. 训练已修剪的网络，并转到步骤2。
6. 结束。

第四章 事例

在本节中，提出的算法在四种情况下进行测试; 前两例也用于比较由Bhat和McAvoy（1992）提出的StripNet算法。对于每种情况，最初训练大的前馈神经网络，直到使用双曲正切函数作为激活获得收敛。然后使用提出的OLS修剪算法修剪网络，并且要求修剪的网络必须解释为中间信号yrsquo;

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[140633]，资料为PDF文档或Word文档，PDF文档可免费转换为Word