基于权值直接确定的任意基函数神经网络建模
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于权值直接确定的任意基函数神经网络建模范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要: 以生物学和逼近论为理论基础，将任意一组线性无关的基函数作为各隐含神经元的激励函数，结合网络权值直接确定法建立了一个新的神经网络模型.仿真实验表明，该网络权值一步确定，收敛速度快，非线性逼近效果好.
关键词: 伪逆；任意基函数；神经网络
中图分类号:TP18
文献标识码:A文章编号:1672-8513(2010)06-0428-04
An Arbitrary Basis Function Neural Network with Weights Immediate Determination
YIN Ying, QI Xian
(Faculty of Science, Kunming University of Science and Technology, Kunming 650093, China)
Abstract: Based on biology and approximation theory, a new neural network model was constructed which used arbitrary basis functions as the activation functions of the hidden neurons. Simulation results showed that this method determined the weights directly, had a higher convergence speed and excellent performance of non-linear function approximating.
Key words: pseudo-inverse; arbitrary basis function; neural network
人工神经网络作为一种新的方法体系，具有分布并行处理、非线性映射、自适应学习和鲁棒容错等特性，这使得它在模式识别、控制优化、智能信息处理以及故障诊断等方面都有广泛的应用.基于误差回传（Back Propagation, BP）的前向神经网络及其变形已成为目前影响最大、应用最广的一种网络学习算法模型.但传统前向神经网络的权值调整常采用基于梯度下降的BP迭代学习算法，存在学习收敛速度慢、学习率难以选取（过大易发生震荡，过小会影响收敛速度和延长学习时间）及易陷入局部极小等固有缺陷.为此人们提出了许多改进的算法［1-6］，值得注意的是这些改进多着重于学习算法，期望通过改进网络训练的迭代规则来解决收敛速度慢和局部极小点的问题.
本文以生物神经系统中的神经元特性［7］和欧式空间逼近理论［8］为理论基础，采用网络权值直接确定法构建了一个任意基函数神经网络模型，能够快速有效地学习给定样本并逼近目标函数，解决收敛速度慢和局部极小点的难题.
1 任意基函数逼近基础
与任意n维向量空间类似，函数空间中的任意函数均可由该空间中一组基函数线性表出，而任一组线性无关基函数均可通过Schmidt正交化为一组正交基函数.
定义1 设x1,x2,…,xn是（无限维）线性空间X上的线性无关向量组，c1,c2,…,cn是[WTHZ]R中任意实数，由元素∑ni=1cixi的全体（即任意加权和）组成的集合是X的一个子集，记为δ=Span{x1,x2,…,xn}，该空间的最佳逼近问题称为Chebyshev最佳逼近.
定义2 设φ0,φ1,…,φn是欧式空间X上的n+1个线性无关元素（向量），定义子集δ=Span{φ0,φ1,…,φn}，在δ中寻求对X的某一目标元素f的Chebyshev最佳逼近S*，是指S*[KG-*2]∈δ，使得S*[KG-*2]∈δ，均有f-S*≤f-S.
定理1 S*[KG-*2]=∑ni=1c*iφi是δ对f的Chebyshev最佳逼近（元素），其充要条件是(S*-f)φi；i=0,1,…,n.
推论1 Chebyshev最佳逼近（元素）S*若存在，则唯一.
推论2 对于欧式空间C［a,b］中任意的线性无关向量组g0,g1,…,gn，令子集δ=Span{g0,g1,…,gn}.则f(x)∈C［a,b］，Sn(x)=∑ni=1wigi(x)∈δ，使得Sn(x)是目标（元素）f(x)的Chebyshev最佳平方逼近（又称最佳均方逼近或最小二乘逼近），即∫abρ(x)［f(x)-Sn(x)］2dxmin.
设期望输出（向量）[WTHX]D=［d1,d2,…,ds］[WTBZ]T∈[WTHZ]Rs，权值列向量[WTHX]w=［w1,w2,…,wn］[WTBZ]T∈[WTHZ]Rn，定义在样本输入作用下隐层神经元的激励函数响应矩阵f为
f=[KH*6]f1(x1) [KG*2]…[KG*2] fn(x1) f1(xs) [KG*2]…[KG*2] fn(xs)[KH*6]∈[WTHZ]Rs×n 则有如下基于矩阵伪逆的权值确定定理.
定理2［3］ 任意基函数神经网络y=∑ni=1wifi(x)的权值可直接确定为
[JZ（]w=(f[WTBZ]Tf)-1f[WTBZ]T[WTHX]D或w=f+[WTHX]D，[JZ）][JY](1)
其中f+表示输入响应矩阵f的伪逆,此处等于(f[WTBZ]Tf)-1f[WTBZ]T，并可调用Matlab命令pinv计算.
由于任意一组线性无关的基函数f1(x),f2(x),…,fm(x)均可以通过Schmidt变换矩阵S，将其转变为一组两两正交的基函数h1(x),h2(x),…,hn(x)；反之，一组两两正交的基函数也可以通过线性变换S-1转化为一组线性无关（而非正交）的基函数，这说明正交基函数系和线性无关基函数系在本质上是等价的.因此，对于任意未知目标系统 / 函数f(x)，只要找到一组线性无关的基函数f1(x),f2(x),…,fm(x)，根据前述推论中的表达式∫abρ(x)［f(x)-Sn(x)］2dxmin，确定相应的加权系数c1,c2,…,cm，即知∑mi=1cifi(x)就是f(x)的最佳均方逼近，由此可以构造出任意基函数人工神经网络模型.[HJ]
若以任意一组线性无关的基函数作为三层前向网络中各隐神经元的激励函数, 输入层至隐层的连接权值恒为1，式(1)作为隐层至输出层之间的连接权值，如图1模型可描述如下：
输入（感知）X=(x1,x2,…,xn)；
连接权W=(w1,w2,…,wn)[WTBZ]T；
加权求和（信息汇集）net=∑ni=1wixi=XW；
激励函数f(・)；
输出（响应）D=f(net).
3 仿真实验
例1 目标函数d1[KG-*2]=cos[KG*3]x/x2[KG-*2]+x+1,x∈［-1,1］，任取一组含有11个线性无关的基函数作为单输入单隐层神经网络的神经元激励函数（隐神经元个数选为m=11）：
{1,x,x2,x3,x4,1ex,1-x2，11+x2,2+x,x2+x,sin(πx)}.以0.1的间隔均匀选取训练样本数s=21，以0.01的间隔均匀选取测试样本数s=201.仿真结果如图2，3，4所示.实线代表正确的目标输出，虚线代表网络的实际输出，黑点代表含噪样本点.
例2 考虑目标函数d2=sin5(πx),x∈［-1,1］，任取一组含有10个线性无关的基函数作为神经元激励函数：
{1,x,(3x2-1)/2,(5x3-3x)/2,(35x4-30x2+3)/8,ex,e-x,11+x2,2+x,sin(2πx)}仿真结果如图5，6，7所示.
以上仿真实验表明：选取任意不同的线性无关的基函数作为隐层的神经元激励函数可能会改变网络的拓扑结构（基函数个数决定隐神经元个数），会使最终的权值发生变化，但对不同的非线性目标系统 / 函数都能实现很好的逼近仿真效果（所得权值和性能指标与被逼近的目标也有一定的关系）.此外，含噪仿真实验显示本网络及算法具有较强的鲁棒性，对含噪声数据同样具有较好的学习能力，达到较高精度.同传统的神经网络相比，权值一步确定，无需反复迭代，克服了传统神经网络固有的迭代时间长、迭代次数多、易陷入局部极小等缺点.如图8，9和表1所示.
4 结语
本文结合欧氏空间Chebyshev最佳逼近理论和BP神经网络权值直接确定理论，以任意一组线性无关的基函数作为该神经网络中各隐神经元的激励函数，由此构造了一个权值直接确定的任意基函数神经网络模型.理论分析与仿真实验表明，该网络模型具有良好的逼近能力和抗干扰性；且网络权值可由伪逆思想一步确定，相比传统的权值迭代法更简便、省时；为神经网络建模和权值优化技术提供了新的思路和尝试.
参考文献:
［1］
LANG B.Monotonic multi-layer perceptron networks as universal approxmators ［C］//Lecture Notes in Computer Science.Spriger,2005,3697:31-37.
［2］ZHANG Y N, GE S S.Design and analysis of general recurrent neural network model for timevarying matrix inversion［J］. IEEE Transactions on Neural Networks, 2005,16(6):1477-1490.
［3］邹阿金,张雨浓.基函数神经网络及应用［M］.广州：中山大学出版社,2009.
［4］仝凌云,潘佳,樊玮,等.基于粗糙集与神经网络的机场气象新型预测模型［J］.云南民族大学学报:自然科学版,2007, 16(3):185-188.
［5］张天瑜.基于RBF神经网络的伺服系统模型参考自适应控制［J］.云南民族大学学报:自然科学版,2009,18 (1):62-65.
［6］何童丽.灰色神经网络模型在高校招生预测中的应用研究［J］.云南民族大学学报:自然科学版,2010,19(1):60-62.
［7］SELKOE D J.大脑衰老，智能衰退［J］.科学，1993(1): 20-27.
［8］莫国瑞，刘开弟. 函数逼近论方法［M］.北京：科学出版社,2004.