英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

外文翻译

题 目 建立适用于教育数据集的PSO LSTM模型

建立适用于教育数据集的PSO LSTM模型

Devika Chhachhiya bull; Amita Sharm bull; Manish Gupta

摘要：设计一个最优的神经网络结构对神经网络模型的性能起着重要的作用。在过去的几年中，各种生物启发优化技术已被应用于寻找神经网络模型的最佳结构。本文将粒子群优化（PSO）技术应用于递归神经网络长时间记忆（LSTM）算法，寻找前馈神经网络的最优结构。优化神经网络模型的体系结构考虑的参数有隐藏神经元，学习速率和激活函数。适用于选择最佳参数组合的适应性函数是均方根误差（RMSE）。由于教育私有化私立院校数量每年都在迅速增加。这一增长导致了大量关于高等教育机构评估和认证的数据（NAAC报告）。数据集已经从国家评估和认可委员会（NAAC）官方网站收集了500个教育机构。将PSO与LSTM算法的混合模型应用于教育数据集。根据RMSE、精度和其他性能参数选择最佳体系结构。

关键词：人工神经网络 前馈神经网络 粒子群优化LSTM

1 介绍

质量保证是全球高等教育机构的一个重要方面，数据挖掘技术在教育系统中的应用是一种新兴的研究学科，被称为教育数据挖掘。由于每年都有大量的数据产生和堆积，私立大学正在快速增长。教育数据挖掘采用多种技术，如决策树、规则归纳、神经网络、k-最近邻、朴素贝叶斯、回归、关联分析等，人工神经网络是一种基于人体神经系统工作的强大技术，该技术已成功应用于解决各种模式识别，例如未来预测和分类问题。

神经网络模型的性能取决于其体系结构。因此，设计一个神经网络模型的最佳体系结构是一个重要的研究领域。神经网络模型的体系结构包括各种参数，如隐藏神经元的数量、隐藏层、激活函数、学习速率，突触权重和动量，直到我们将这些参数的最优值提供给神经模型后，我们才能检索神经网络的最佳性能。一种方法是手动向网络提供这些参数的不同值，并分析网络性能最佳的值，这是一个非常容易出错和乏味的任务。生物启发式算法是功能强大的优化工具，可以成功实施以解决非常复杂的优化问题，在文献中已经发现生物启发式算法已经被应用于优化递归神经网络模型的体系结构，粒子群优化（PSO）是众所周知的生物启发式算法之一，它能够探索大型多模态和非连续搜索空间，并能找到接近最优值的最佳，它对粒子群进行操作，通过多次迭代演变它们，最后的目标就是是找到适应度函数的最优解。

在本文中，我们使用反向传播实现了PSO，以找到神经网络的最佳体系结构。被PSO算法优化的个体或粒子由隐含神经元个数，激活函数和学习速率三个参数组成。380个学院的数据集是从NAAC的官方网站收集的。我们已经将该数据集用于所提出的算法以获得递归神经网络模型的最佳结构，个人的不同组合由PSO创建并应用于反向传播，最后，根据适应度函数即RMSE来选择个体的最佳组合。

在本文中第二部分给出了LSTM算法应用的简要历史。第三部分讲述了递归神经网络和LSTM算法。第四部分解释了PSO技术。数据集和建议方法的描述在第五部分和第六部分介绍。第七部分描述使用的适应度函数，最后，第八部分和第九部分给出结果分析和结论。

2 历史背景

循环神经网络（ANN）的最优结构的演化是一个非常重要的研究领域。EA、模拟退火（SA）、禁忌搜索（TS）、蚁群优化算法（ACO）、粒子群优化算法（PSO）、遗传算法（GA）等多种有效的优化算法，很多文献都可以说明这些生物启发式算法的成功实现，其中LSTM算法用于演化人工神经网络的最佳结构，最近，PSO在各个领域都引起了广泛的关注。

姚[1]讨论了应用进化算法演化人工神经网络。在[2]中讨论了函数逼近问题中PSO和人工神经网络的组合问题。Chatterjee等人[3]在语音控制机器人系统的模糊神经网络中实现PSO。Garro和Vazquez[4]已经可以让PSO和改进的PSO一起工作，用于关于激活函数和突触权重的拓扑演化。Conforth和Meng[5]提出了一种使用ACO来查找A的方法的特定架构（连接）用于人工神经网络和PSO来调整突触权重。

文献综述指出，前馈是解决分类和预测问题的最常用的神经网络体系结构。尽管LSTM比具有内部存储器的前馈网络更强大，但它们仍未被用于解决教育领域的预测问题。因此，本文选择LSTM网络进一步应用于质量评估问题。下一节讨论LSTM算法。

3 长时间的记忆神经网络

长期短期记忆（LSTM）是一种递归神经网络。传统的递归神经网络遭受渐消失梯度和爆炸梯度问题的困扰。LSTM体系结构由一组经常连接的子网组成，标识为内存块。每块由存储单元和三个元件组成：输入，输出和忘记门[6]，LSTM神经网络的基本特征是它包含反馈连接，即激活在一个循环中流动。它利用了MLP强大的非线性映射能力以及由于反馈连接而形成的存储内存形式。该特性使得LSTM网络能够执行时间处理和从序列学习，例如语音识别，手写识别等[7]。LSTM网络也消除了传统循环网络所遭受的渐变和爆炸梯度问题。文献研究表明LSTM已成功应用于序列学习和时间序列问题，但尚未在教育领域具体应用于模式识别和分类问题。因此，在当前的研究中应用LSTM具有巨大的应用前景，因为与前馈神经网络相比，由于其显着的特点，它可以提供显着的结果。

4 粒子群优化算法

PSO算法受鸟群搜索食物行为的启发[8]。有n个粒子代表不同的一组解决方案在搜索空间中移动，以达到最佳位置或解决方案。通过特定的优化函数来评估这些粒子，以确定它们的适应值并保存最佳解决方案。所有粒子根据描述群体Pgisin;R^D中粒子的最佳位置（即社会成分）以及它们自己的最佳位置Piisin;R^D的速度函数Vi在搜索空间中改变其位置[9,10]。每个迭代粒子移动到一个新的位置，直到达到最佳位置。在每个时间t，使用如下公式：

来更新粒子速度i，其中x是惯性权重，c1和c2是加速度系数;，r1和r2在（0,1）之间均匀分布随机数。速度Vi限于范围[Vmax，Vmin]。以这种方式更新速度可以使粒子i搜索其最佳个体位置P（t），并且最佳全局粒子位置i的计算公式为：

粒子群优化算法：

给定xi（i = 1 ... M）个体个体或粒子

1.最初所有的粒子都是随机初始化的。

2.直到达到停止标准（获得最小误差或最大迭代完成）

(a)对于每个粒子xi评估它们的适应性。

(b)对于每个粒子更新其个人最佳位置Pi。

(c)从所有粒子评估最佳粒子位置Pg（离目标最近）。

(d)对于每个粒子xi，计算速度更新方程Vi（t 1），然后计算当前位置Xi（t 1）。

4 数据集描述

在这项研究中，我们使用教育数据集来进行分类和预测。数据集从国家评估和认可委员会（NAAC）的官方网站收集。它由380个学院组成，具有7个输入属性和1个输出属性（学院等级）。输入参数代表NAAC为获得大学教育质量而采用的质量参数。输出参数表示学院取决于输入属性的等级。将对神经网络模型进行训练和测试，以对数据集的每条记录进行分类，并找出记录所在的等级。

(A)属性信息：输入属性

1.课程方面

2.教学和评估

3.研究，咨询和推广

4.基础设施和学习资源

5.学生的支持和进步

6.治理，领导和管理

7.创新和最佳实践

(B)大学成绩：输出属性

1.A级

2.B级

3.C级

6 建议方法

提高递归神经网络模型的准确性和性能的一个重要方面是选择最佳的架构设计。在这项研究中，我们考虑了三个参数来优化; 转移/激活功能），学习速率和隐藏的神经元。从上面讨论的NAAC官方网站收集的教育数据集应用于PSO算法。结果即所采用的体系结构参数的最佳值已经根据适应度函数即均方根误差（RMSE）来确定。体系结构参数值被编码成n个个体（粒子），使得每个个体表示独特的建筑。在适应度函数（RMSE）的基础上，比较了PSO技术和BP算法产生的解。具有最小RMSE的体系结构将代表两种算法的优化体系结构。重要的是要指出，在我们的研究中，单个参数值针对仅为教育数据集专门设计的模式分类问题进行了优化。三个参数的单独组合代表一个粒子，每个粒子在每个历元后被更新以获得最优解（具有最小误差）。在学习过程结束时，预计回归神经网络在训练和测试阶段提供可接受的准确度。

7 建议的加强方法

在适应度函数的基础上，选择最佳的神经网络结构参数组合。在本文中，RMSE是用于选择个体组合性能的标准，因为它是测量分类和预测问题中精度最常用的误差。此错误代表数据集的每个单独样本的预测输出与期望输出之间的误差。选择最好的参数的个别组合是在最小RMSE（RMSE）的基础上完成的。

均方根误差(RMSE)等于

Ai=实际值，Pi= RNN预测的预测值。

8 结果与讨论

对教育数据集进行了PSO算法的LSTM算法性能评估。从适应度函数的基础上选择算法得到的结果。通过应用十进制缩放归一化技术将数据集在[0,1]之间的范围内归一化。本研究采用三种激活函数（1）单极S形函数，（2）双极S形函数，（3）双曲正切函数。最大数量隐藏的神经元等于（m n （（m n）/ 2）），其中n是输入参数的数量，m是输出参数的数量，学习率的范围从0到1，数据集中有三类学院已被分类，即A、B和C。在开始之前，PSO算法的参数必须被初始化。将粒径设定为5，速度范围[-10,10]，加速度系数c1和c2设定为1，r=0.05，惯性权重从0.9到0.4。对于LSTM算法，迭代次数设置为500，层数设置为1。

每个粒子代表提供给LSTM算法的新架构。PSO算法为每个粒子生成各种组合并将其发送给LSTM算法。然后，对于这些值，LSTM算法计算其均方根误差，然后根据此误差值计算每个粒子的适应度。PSO算法的停止标准是达到最小误差值或完成迭代的总次数。对于所得结果的准确性，我们已经运行了（PSO-LSTM）算法500次，找到了隐藏神经元的最优值，激活函数和学习速率。

表1描述了三个参数隐藏神经元获得的不同组合，激活函数和学习率，以获得最小的RMSE和准确性。

基于最小均方根误差和最大精度选择了反向传播神经网络的最佳体系结构，如表5.11和表5所示

5.12.在这个实验中，对所获得的最优参数组合进行评估：

1. Tan-h方法明显优于其他四种方法
2. 学习率-0.7,0.8,0.9给出了最小RMSE（从0.1-0.9的范围）。
3. 隐藏神经元的数量--9和10隐藏神经元的架构提供了最佳结果。
4. RMSE-（0.00007254-0.00001133）
5. 平均执行时间：789秒。

重要的是要记住，针对架构参数获得的这些最优值仅适用于本文中使用的教育数据集，最佳架构值可能因数据集而异。

表1具有最小RMSE的最佳体系结构参数

序号 激活方法 隐藏的神经元 学习率 均方根误差（RMSE） 准确性

9 结论和未来的工作

本文提出了基于PSO的生物启发式技术设计最优递归神经网络结构（LSTM）。在这个优化问题中，我们的目标是在适应度函数即RMSE的基础上找到递归神经网络（LSTM）体系结构参数的最优值。选择的递归神经网络（LSTM）结构的三个参数是：隐藏神经元的数量，激活函数和学习速率。

在我们的研究中，380所大学的教育数据集被应用于（LSTM

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[23316]，资料为PDF文档或Word文档，PDF文档可免费转换为Word