一种新型的广义RBF神经网络及其训练方法

开篇：润墨网以专业的文秘视角，为您筛选了一篇一种新型的广义RBF神经网络及其训练方法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要:提出一种新型的广义rbf神经网络模型,将径向基输出权值改为权函数,采用高次函数取代线性加权｡给出网络学习方法,并通过仿真分析研究隐单元宽度､权函数幂次等参数的选取对网络逼近精度以及训练时间的影响｡结果表明,和传统的RBF神经网络相比,该网络具有良好的逼近能力和较快的计算速度,在系统辨识和控制中具有广阔的应用前景｡

关键词:RBF神经网络;训练方法;函数逼近

中图分类号:TP183文献标识码:A

1引言

RBF神经网络是近几年提出的一种新型的前向网络｡与应用广泛的BP网络相比,RBF神经网络不仅具有在任意精度下逼近任意非线性映射的能力,而且可以达到最佳逼近精度[1][2]｡RBF神经网络结构上具有输出-权值线性关系,训练速度快,这些优点给RBF神经网络的应用奠定了良好的基础｡但是,由于RBF神经网络本质上是一种局部网络,要得到良好的逼近性能,一般要增加隐节点数目,这无疑是以牺牲网络的计算速度作为代价｡本文提出了一种新型的广义RBF神经网络模型,将径向基输出权值改为权函数,采用高次函数取代了线性加权,从而大大改善了网络性能｡

2广义RBF神经网络模型

不失一般性,考虑多输入单输出归一化形式的广义模糊RBF神经网络,广义RBF神经网络结构如图1所示｡网络共分四层｡定义以下参数:式中,Ψk为径向基函数,一般取高斯函数｡

第二层:对基函数输出值进行加权｡

第三层:归一化处理｡

第四层:计算总输出｡

当fk(x)时,其作用类似于常规RBF神经网络的输出层权值｡随着fk(x)的不同,输出将不单纯是各基函数节点输出的超平面,也可能是超曲面｡与一般的RBF神经网络比较,这种结构主要是将径向基输出权值改为权函数,可采用高次函数取代线性加权,从而改善网络性能｡详细的分析见后文的实例仿真｡

如果基函数具有相同的指数和宽度,也就是说当lk1=lk2=…=lkn=2且σk1=σk2=…=σkn=σk时,广义RBF神经网络退化为常规的RBF神经网络,可见常规的RBF神经网络是广义RBF神经网络的特例｡计算技术与自动化2007年3月第26卷第1期党开放等:一种新型的广义RBF神经网络及其训练方法

3广义RBF神经网络的学习算法

广义RBF神经网络比单纯的RBF神经网络具有更多的参数,其学习相对来说就会更为复杂｡总的说来,学习方法有两种:第1种方法是全调节的,类似于BP网络的反向递推,也就是说按照使得代价函数(通常取误差平方和)最小的原则,调整所有的参数,本质上是一个非线性优化问题｡第2种方法,采用模糊聚类和专家知识预先优化网络前几层的参数,包括隐节点数目N､中心向量Ck､宽度σk,指数lk等,而以最小二乘方法在线优化fk(x),k=1,2,…,N｡第一种方法收敛速度慢,可能存在局部极值,只能够离线进行,可以应用于模式识别等领域;第二种方法计算量小,可以在线调节,适合于控制系统等对于实时性要求高的场合,但是一般需要系统的专家知识｡本文介绍第2种方法｡

广义RBF神经网络按照如下步骤进行学习:

1) 确定合适的网络隐节点数｡增加网络的隐节点数目,可以提高网络逼近精度,但同时增加了网络的学习时间｡一般初始时选取比较少的网络隐节点数目｡

2) 根据网络隐节点数选取合理的φk(x)参数,包括中心参数ck和宽度参数σk｡

3) 取vk=1,确定fk(x)的参数｡在下文中,给出了2维输入网络fk(x)参数的计算方法,多维参数的推导类似｡

4) 考核误差,如果小于设定误差,则训练结束;否则回到1) 增加网络隐节点数目,重复上 述步骤｡

在以上步骤中,最关键的是网络输出层权函数参数的调整,下文着重讨论｡

4广义RBF神经网络输出层权函数参数的调整

以x为二维向量(x1,x2)的情况进行分析｡

权值调整的目的是使得网络的输出能够满足误差平方和

最小,即E=min,下面分为三种情况进行讨论｡

a.fk(x)为常数项的情况

此时,fk(x)=wk,相应的误差平方和为

对权值求偏导数,可以得到以下N元一次方程组

b.fk(x)为网络输入1次幂函数的情况

此时,fk(x)=wk0+wk1x1+w k2,x2,相应的误差平方和为

若使上式最小,可以得到以下3N组方程

c.fk(x为网络输入2次幂函数的情况

此时,,相应的误差平方和为

推导过程与前类似,此处从略｡

由以上可以看出,fk(x)取为网络输入的高 次多项式,使得网络具有更加优良的 逼近性能的同时,保留了输出层权值的线性性质,从而可以采用最小二乘等方法优化权值｡

5参数选取对网络性能的影响

取期望函数为yd=sin(πx1)cos(πx2)x1∈[-1,1],x2∈[-1,1](15)考查广义RBF神经网络的函数逼近能力｡1) φk(x)函数参数σ对仿真结果的影响设φk(x)中心在参数空间内均匀分布｡由于参数空间的范围相同(都为2),且训练点取n2个(n=2,3,4),因此φk(x)中心的间隔在区间[x1,x2]也都相同,为Δx=2/(n-1)｡记相对宽度为ne,则有ne=σ/Δx｡图2给出了ne对系统输出误差的影响曲线,误差都采用441组非训练点进行计算｡从图中可以看出ne取值范围为0.6~1.8(即σ取0.6Δx~1.8Δx)时,网络输出误差比较小｡

2)fk(x)幂次对仿真结果的影响

图3为采用隐节点数目为9的网络,121组训练数据,φk(x)函数中心均匀分布,σ=1.2时得到的网络输出 曲面和误差曲面,其中误差曲面采用441组非训练点计算｡从图中可以看出,在网络隐节点数目相同的情况下,随着fk(x)幂次的升高,网络的逼近性能越好｡

图2参数σ对误差的影响

表1为采用不同幂次和不同隐节点数目时的网络训练时间和网络输出误差对比｡网络隐节点数为N,网络训练时间复杂度为O(N3)｡从表中可以看出,在隐节点数目相同时,随fk(x)幂次的增高,训练时间略有增加｡在fk(x)为2次幂函数时,网络取9个隐节点时的网络输出误差和fk(x)为1次幂函数时,网络取16个隐节点时的网络输出误差以及fk(x)为0次幂函数时,网络取64个隐节点时的网络输出误差相当,但是计算时间大大减少｡可见,提高fk(x)幂次,可减少网络隐节点数,缩短网络训练时间｡表1不同幂次和隐节点数时的网络输出误差幂次隐节点数目计算时间(ms)

6结论

在传统RBF神经网络基础上,提出了一种新型的广义RBF神经网络｡通过采用权函数代替权值,可以采用较少的隐节点数目达到同样甚至更高的逼近精度,因此具有更快的计算速度｡同传统的RBF神经网络相比,该网络表现出了良好的逼近性能,在系统辨识和控制中具有广阔的应用前景｡

注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。