墨西哥帽小波混沌神经网络及其应用

开篇：润墨网以专业的文秘视角，为您筛选了一篇墨西哥帽小波混沌神经网络及其应用范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：此文用墨西哥帽小波函数和Sigmoid函数相加组成一个新函数，利用此函数作为激励函数，提出一种新型的暂态混沌神经元模型，通过实验给出该神经元的倒分叉图以及最大Lyapunov指数时间演化图，并且分析此神经元的动力学特性。基于该神经元模型，构造一种暂态神经网络，并将其应用于组合优化和预测方面，通过对经典的10城市TSP，验证墨西哥帽小波混沌神经网络在克服陷入极小点的有效性。

关键词：小波函数；混沌神经网络；Lyapunov指数

中图分类号：TP368.1文献标识码：Adoi: 10.3969/j.issn.1003-6970.2011.03.007

The Mexican Hat Wavelet Chaotic Neural Network and its Application

ZHANG Zhong-hua, ZHANG Shi-long

(HuaDe College of Harbin Industry University,the No. 5 of University Road , Harbin 150025)

【Abstract】 By introducing Mexican Hat Wavelet equation plus Sigmoid equation as activative function, we proposed a new type Transient Chaotic Neuron Model, and provided its bifurcation diagram and time evolution diagram of Lyapunov exponent, analyze its Dynamics. Base on this Neuron Model, we build a Transient Neural Network, and use it to combinatiorial optimization and prediction. We have tested its effectiveness by typical 10 cities’s TSP.

【Key words】Wavelet function;the Chaotic Neural Network;Lyapunov exponent

0引言

现在，Hopfield神经网络(Hopfield Neural Network,

HNN)已经被广泛地应用于求解复杂组合优化问题，但HNN存在最大的缺点是在求解过程中极易陷入局部极小点，为了克服这一问题，人们将混沌动力学的全局搜索特性引入神经网络中，提出了多种混沌神经网络模型，并取得良好的效果[1-4]。

目前，混沌神经网络的神经元激励函数大都采用单调递增的Sigmoid函数，尽管该函数具有比较强的生理学背景，但严格来讲它不是基函数，因此其逼近函数的能力没有基函数强[5-6]。由于小波函数可以是正交性的基函数，保证了逼近函数表达似的唯一性，且小波函数对突变函数逐步惊喜的特性描述，使得函数的逼近效果更好[5-9]。1992年小波神经网络的概念被正式提出，用小波伸缩和平移得到的小波元函数作为神经元的激发函数，用随机梯度算法对网络进行训练，以实现对函数的逼近,并取得良好的效果[8]。

墨西哥帽小波函数（Mexican Hat）具有小波函数的数学特性，本文把Sigmoid激励函数换成以墨西哥帽小波函数和Sigmoid函数相加之和，利用自反馈项引入混沌特性，提出一种新的小波混沌神经元模型，通过实验分析该神经元模型的动力学特征。基于此神经元模型构造出一种小波混沌神经网络，即墨西哥帽小波混沌神经网络，它具有小波函数的正交性和混沌动力学特性。将此神经网络应用于函数优化和组合问题，并给出解决经典TSP问题的参数，经仿真试验证明，和以往的神经网络相比，该小波混沌神经网络具有更强的克服陷入极小点的能力。

1墨西哥帽小波混沌神经元模型

墨西哥帽小波混沌神经元模型的激励函数为Mexican Hat小波函数与 Sigmoid 函数之和，该模型的动力学定义如下：

xi(t)=M(yi(t))+S(yi(t)) （1）

yi(t+1)=kyi(t)-zi(xi(t)-I) （2）

M(T)=(1-μT(1+εi(t)))2exp(-(μT(1+εi(t)))2/2) （3）

S(T)=1/(1+exp(-T/τ)) （4）

zi(t+1)=(1-β)zi(t) （5）

εi(t+1)=(1-γ)εi （6）

其中xi、yi和Ii为第i个神经元的输出、内部状态和输入偏置；k(0≤k≤1)为神经隔膜的阻尼因子；zi(t)(0≤zi(t))为自反馈连接权；μ为墨西哥小帽函数的陡度参数；τ是陡峭参数；β(0≤β≤1)为时变量zi(t)的衰减因子；γ(0≤γ≤1)为时变量εi(t)的衰减因子；I0为一个正常数。当参数取下列初始值时，混沌神经元混沌动力学特性如图1：k=0.3,β=0.005,γ=0.005，ε0=20,z(0)=30,I0=0.15，y(0)=0.8,τ=1,μ=0.25。

图1混沌神经元的动力特性

Fig. 1 Dynamic characteristics of chaotic neurons

从上图可知，无论初始值y(0)取任何值，此混沌神经元迭代3000次，最终趋向稳定值，此稳定值为1.50000。由此可知该网络具有暂态混沌动力学行为，随着迭代次数的增加，z(t)和ε(t)也随之衰减，该网络的暂态混沌行为最终消失，神经元输出趋于稳定。通过倍周期的连续混沌倒分岔过程，网络将逐渐趋于稳定的平衡点。因此，该网络在求解优化问题时，其暂态混沌动力学行为可用来全局搜索和自组织，由于混沌搜索具有内随机性和轨道遍历性，随机性可以保证大范围搜索能力，轨道变历性使系统自身的演化行为不重复地变历所有可能状态，有利于克服一般随机算法中以分布遍历性为搜索机制带来的局限性，因此它具有使网络避免陷入局部极小值的能力，当暂态混沌动力行为消失以后，网络基本上由梯度下降的动力学控制，此时行为类似于Hopfield网络，系统最终将收敛于一个稳定的平衡点。

2墨西哥帽小波混沌神经网络模型

基于上节给出的神经元模型，构造出墨西哥帽小波混沌神经网络(MWCNN ,Mexican Hat Wavelet Chaotic Neural Network)，其动力学公式如下：

xi(t)=M(yi(t))+S(yi(t)) (7)

yi(t+1)=kyi+a(ΣjWijxj+Ii)-zi(t)(x(t)-I0) (8)

M(T)=(1-μT(1+εi(t)))2exp(-μT(1+εi(t))2/2) (9)

S(T)=1/(1+exp(-T/τ)) (10)

zi(t+1)=(1-β)zi(t) (11)

εi(t+1)=(1-γ)εi(t) (12)

其中xi、yi和Ii为第i个神经元的输出、内部状态和输入偏置；Wij为从第j个神经元到第i神经元的连接权值；a为神经元间的连接强度，又称耦合因子；k(0≤k≤1)为神经隔膜的阻尼因子；zi(t)(0≤zi(t))为自反馈连接权；μ为墨西哥小帽函数的陡度参数；τ是陡峭参数；β(0≤β≤1)为时变量zi(t)的衰减因子；γ(0≤γ≤1)为时变量εi(t)的衰减因子；I0为一个正常数。

混沌神经网络模型的动态特性很敏感的依赖k，zi(t)和a。k为网络记忆保留或遗忘内部状态的能力；自反馈连接项zi(t)是动态减小的，类似于随机模拟退火中的温度，退火速度依赖于β的大小，zi(t)最终使网络收敛到一个平衡点；a也具有很重要的作用，它代表着能量函数对动态特性的影响；在解决组合优化问题时，它们的搭配必须合适，如果a太大，则能量函数的影响太强，以至于无法得到暂态混沌现象；如果太小，能量函数的影响太弱，将无法收敛到最优解[9]。

3小波函数参数变化神经元动力特性的影响

本节通过实验进一步研究墨西哥小波函数的参数μ，研究参数μ对神经单元动力学的影响，将有利于我们选取正确的参数，根据实际的需要，来选择合适的参数，使混沌神经网络的性能达到最大。

经研究和仿真发现，当其他参数的值保持不变，参数μ值的变化对混沌神经元的收敛速度将产生很大的影响，其变化过程如图2至图4所示。

当k=0.3,β=0.002，γ=0.003，ε(0)=20，z(0)=30，I0=0.15, y(0)=0.8,μ=0.2,τ =1时，其收敛速度如下图2所示，迭代2000次就趋向稳定。

图2μ=0.2的倒分岔图

Fig.2 Reversed bifurcation of μ=0.2

当k=0.3，β=0.002，γ=0.003，ε(0)=20,z(0)=30，I0=0.15, y(0)=0.8,μ=0.6，τ =1时，其收敛速度如下图3所示，迭代3000次就趋向稳定。

图3μ=0.4的倒分岔图

Fig.3 Reversed bifurcation of μ=0.6

当k=0.3，β=0.002，γ=0.003，ε(0)=20,z(0)=30，I0=0.15, y(0)=0.8,μ=1.0，τ=1时，其收敛速度如下图4所示，迭代4000次就趋向稳定。

图4μ=1.0的倒分岔图

Fig.4 Reversed bifurcation of μ=1.0

由以上的研究和仿真，可得出结论，墨西哥帽小波神经单元的迭代次数随着参数μ的值增大，趋向稳定的迭代次数也越来越大，产生混沌的时间也越来越长，参数μ的变化影响了搜索到全局最优的速度。但是迭代次数的增加更有利于跳出局部极小值，因此，在实际应用的过程中，要选择合适的μ值，在不影响速度的情况下，适当提高迭代次数，以达到最优解，跳出局部最小值。

当激励函数只有Sigmoid函数时，那么神经元就变成了暂态混沌神经元，当其参数取值k=0.3，β=0.002，ε=20，z(0)=30, I0=0.15，y(0)=0.8时，其到分岔图如图5。在参数取值相同的情况下，墨西哥帽小波混沌神经元的倒分岔图如图2所示，经对比发现墨西哥帽小波混沌神经元具有更丰富的混沌动力特性，因此墨西哥帽小波混沌神经元对全局寻优和避免陷入局部最小值具有更好的性能。

图5暂态神经元的倒分岔图

Fig5 Reversed bifurcation of Transient Neurons

4在组合优化中的应用

本节研究将MWCNN应用于10个城市的旅行商问题（TSP），旅行商问题描述如下：

给定n个城市的集合{1,2,3……,n}及城市之间环游的花费Cij(1≤i≤n，1≤j≤n，i≠j)，需要找到一条经过每个城市一次且回到起点花费最小的路线。

达到最短路径并满足所有限制条件的一个能量函数可以描述如式(13)[10]。

(13)

式中，xij为神经元输出，代表以顺序j访问城市i，xi0=xiN，dij为城市i,j之间的距离；系数A和B代表条件和距离的权值。因此一个全局最小的E值代表一条最短的有效路径。

组合优化应用的步骤如下：

第一步：初始化参数：假设给定的城市数目为N，计算N个城市间的距离，得到一个N×N的距离矩阵；

第二步：设置一个神经网络收敛的迭代步数；

第三步：神经网络的输入应为一个N×N矩阵，随机初始化一个N×N的初始输入矩阵y，y∈[-1,1]；

第四步：由上一步初始输入计算得到一个输出矩阵；

第五步：根据网络的输出，按式(13)所示的公式计算能量函数，并求出能量函数的变化ΔE，如果ΔE≤0.005，则认为混沌过程结束，转入下一步，否则继续计算神经网络的输出，重复第四步和第五步。

第六步：判断路径是否有效，如果为有效路径，就认为此路径为最优路径，输出此最优路径，否则判断是否达到迭代的步数。

下面进行仿真实验，仿真中选用的是Hopfield-Tank最初解决10个城市的TSP问题时使用的城市坐标。

首先我们先看暂态混沌神经网络(TCNN)对TSP问题的解决方法的仿真实验[10]，参数值设定为：k=0.8,a=0.0147，μ=0.02，I0=0.5，z(0)=0.06。初始状态在[-1,1]区间取值，对10个城市的TSP进行10000次仿真结果，如下表1所示。

表1中，NG表示10000次寻优过程中得到最优解的次数，RG表示10000次中得到最优解的百分比，NI表示平均迭代次数。

接着就要把MWCNN对TSP问题的解决方法的仿真实验，参数值设定为：k=0.3，γ=0.003，ε(0)=20，z(0)=0.06，I0=0.5，a=0.014,μ=0.2,τ=1。初始值在区间[-1,1]中随机取，对10个城市的TSP进行10000次仿真的结果见表2：

表1的符号和表2的意义相同。

从表1和表2的仿真结果对比看到，对于TCNN来说，在10000次仿真结果中找到最有解的比率较高，但是，我们提出的MWCNN最优解率更高，平均在93%以上，有的甚至达到96%以上；其次，在参数相同的情况下，MWCNN的平均迭代次数明显降低。因此，无论是在寻找全局最优解，跳出局部最小值上，还是在平均迭代次数上，都表现出TCNN无可比拟的优势。

从以上仿真结果可以看出，MWCNN具有更好的组合优化能力。

5结论

本文在前人成果的基础上提出了墨西哥帽小波混沌神经元，此神经元的激励函数是Mexican Hat小波函数和Sigmoid复合函数，并引进了混沌特性，通过仿真发现此神经元既具有墨西哥帽小波的特性，也兼具了混沌以及神经元的特性，把三者优势巧妙的结合在一起，形成了一种全新的神经元。

基于此神经元建立了一个全新的墨西哥帽小波神经网络模型(MWCNN)，通过仿真实验发现，MWCNN不仅具有混沌动力学特性，而且具有小波函数的正交性和函数逼近的唯一性。本文通过对参数u=0.2,0.6,1.0进行研究，验证其神经元的混沌性和收敛性的特性。并将MWCNN应用于TSP问题，与暂态神经网络相比，发现其有效性和函数逼近能力都有较大的提高，并取得较好的效果。

参考文献

[1] Chen L,Aihara K. chaotic simulated annealing by a neural network model with transient chaos[J]. Neural Networks,1995,8(6):915-930.

[2] Yamada T，Aihara K，Kotani M．Chaotic Neural Networks and the Travelling Salesman Problem[C]，Proceedings of 1993 International Joint Conference on Neural Networks，1993：1549-1552．

[3] Aihara K，Toyada M，Takabe T．Chaotic Neural Networks[J]．Physics Letters A，1990，144(6)：333-340．

[4] 谭营，王保云，何振亚. 一种具有暂态混沌和时变增益的神经网络及其在优化计算中的应用[J]，电子学报，1998,26(7):123-127.

[5] SHUAI J W，CHEN Z X，LIU R T．Self-evolution Neural Model[J]．Physics Letters A，1996，211(5)：311-316

[6] POTAPOVE A，KALI M．Robust Chaose in Neural Networks

[J]．Physics Letters A，2000，277(6)：310-322．

[7] Zhang J，Walter G G，Miao Y B．Wavelet Neural Networks for function lernning[J]．IEEE Transaction on Signal Processing，1995，43(6)：1485-1497．

[8] 侯媛彬，杜京义，汪梅.神经网络(M).西安：西安电子科技大学出版社，2007.

[9] 徐耀群，孙明. Shannon小波混沌神经网络及其在TSP中的应用[C].Proceeding of the 25th Chinese ControlConference7-11August,2006,Haebin,Heilongjiang : 1172-1176.

[10] Hopfield, Tank D. Neural computation of decisions in optimization problems. Biology Cybernet-ics,1985 ,52(7): 141-152.

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文