一种新的基于灰色关联分析的BP神经网络剪枝算法

开篇：润墨网以专业的文秘视角，为您筛选了一篇一种新的基于灰色关联分析的BP神经网络剪枝算法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘 要：利用灰色关联分析方法，为BP神经网络结构约简提出了一种新的剪枝算法，该算法通过剪枝和并枝两个阶段实现BP网络结构的优化，提高了网络的数值效能。最后，通过数值实验验证了该算法的合理性和有效性。

关键词：神经网络；网络结构优化；灰色关联度分析；剪枝算法

4 实例建模

4.1 分类实例――XOR问题

XOR问题就是如何用神经网络实现异或逻辑关系，即Y=A・XOR・B。对于这个问题用单个神经元模型无法解决，因为该问题是线性不可分的，对于两维输入空间，神经元的作用可以理解为对输入空间进行一条直线划分。

多层神经网络可以解决这个问题，因为多层网络引入了中间隐含层，每个隐含神经元可以按不同的方法来划分输入空间抽取输入空间中包含的某些特征，从而形成更为复杂的分类区域。理论上已经证明三层神经网络足以解决任意复杂分类问题。

我们考虑用BP神经网络实现XOR问题，初步建立一个隐含层为30个神经元的网络结构，再运用前文灰色关联度分析的方法进行网络剪枝，以实现最简网络的XOR问题。

XOR问题的样本有四个，即他们的输入为x=■；对应的输出为：y=[0101]；输入是2维向量，用2个神经元作为输入层，网络输出是1维向量，用1个神经元作为输出层，对于这个问题，在BP神经网络隐含层节点个数未知的情况下，先取30个节点，经过简单的训练后得到网络结构，再利用灰色关联分析优化网络结构。

初始结构：2-30-1，神经元的传递函数取tin sig函数，BP网络的训练函数取tan sig；设定网络的训练参数如下：目标误差为1e-4； 最大迭代步数为5000步；其余为系统默认值。

灰色关联计算时选取的分辨系数为？籽=0.4；额定灰色关联度为？着=0.55，最大剪枝次数为5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05；

由表1-3可知，在程序运行过程中，原BP神经网络的结构首先调整为2-15-1，此时被删除的节点是E=2，5，6，7，9，10，16，17，20，21，

22，23，24，25，29共15个，在此基础上继续对网络进行训练学习，第二次删除的节点是E=14，26，27，28，30共4个，此时的网络结构调整为2-10-1，依次过程第五次网络达到稳定，得到BP网的最优化结构为2-3-1，具体每次调整过程对应的纵向节点和横向节点以及关联度如表1-2所示（省略前两次调整过程）。

每次剪枝完后网络的输出值是比较可观的，误差也是接近我们的目标误差，精度很高，足见虽然每次减少了隐含层神经节的个数，但网络训练不受影响，也证实了剪枝算法的合理性，如表3所示。

4.2 函数逼近实例――Y=sin（X）

我们考虑用BP神经网络实现函数逼近问题，初步建立一个隐含层为30个神经元的网络结构，进行网络剪枝运用前文灰色关联度分析的方法，以实现最简网络的Y=sin（X）函数逼近问题。

我们选取100个样本，隐含层节点数为30，输入和输出都是一维的。选取Y=sin（X）为逼近函数，输入从0.01？仔到0.02？仔，增长率为0.02？仔。最大训练次数为5000，学习速率为0.005，目标误差为1e-3。

灰色关联计算时选取的分辨系数为？籽=0.5；额定灰色关联度为？着=0.50，最大剪枝次数为5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05；

通过调节权值和阈值，网络达到稳定后，进行剪枝操作，第一次剪枝节点为E=12，13，21，25，27第二次剪枝节点为E=2，5，6，7，11，

16，22，30第三次剪枝节点为E=10，14，26，28，最终隐层节点为7个。函数逼近结果如图1所示。由图可知，大体符合函数逼近的趋势，逼近效果较好。

5 结束语

文章通过分析了几类前馈神经网络纵向和横向信息的传输特点，采用灰色关联分析方法，通过剪枝和并枝过程来设计一种以BP算法为例的剪枝算法，数值试验结果表明这种方法非常有效，同时也对前馈神经网络的结构优化提供了一种新的学习算法。

参考文献

[1]冯知凡.基于图像处理及BP神经网络的车牌识别技术的研究[D].武汉科技大学，2011.

[2]杨晟院，高协平.基于面向对象BP算法的灰度位图图像处理[J].计算机工程与应用，2003，33：103-105.

[3]周凌翱.改进BP神经网络在模式识别中的应用及研究[D].南京理工大学，2010.

[4]张宇.基于BP神经网络汇率预测的智能交易系统[D].安徽大学，2011.

[5]李聪.基于BP神经网络的股票指数期货价格预测[D].青岛大学，2012.

[6]黄庆斌.BP算法的改进及其应用研究[D].西南交通大学，2010.

[7]李晓峰，徐玖平，王荫清，贺昌政.BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践，2004，05：1-8.

[8]黄丽.BP神经网络算法改进及应用研究[D].重庆师范大学，2008.

[9]陈小前，罗世彬，王振国，陶玉静.BP神经网络应用中的前后处理过程研究[J].系统工程理论与实践，2002，1：65-70+88.

[10]熊焱，吴微，张超，亢喜岱.基于灰色关联分析的高阶神经网络剪枝算法[J].大连理工大学学报，2010，3：463-468.

[11]唐万梅.bp神经网络网络结构优化问题的研究[J].系统工程理论与实践，2005，10：95-100.

作者简介：赵蓉（1992-），女，籍贯：湖南省岳阳市，学历：本科，研究方向：算法优化。