基于熵聚类的泛函网络神经元函数优化

开篇：润墨网以专业的文秘视角，为您筛选了一篇基于熵聚类的泛函网络神经元函数优化范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：泛函网络是神经网络的一般化推广，同神经网络一样，至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此，利用熵聚类的思想来设计泛函网络，对网络每一神经元的基函数和泛函参数共存且相互影响的最优搜索来实现泛函网络结构和泛函参数的共同学习。提出一基于熵聚类思想来设计泛函网络的方法，有效地提高了泛函网络的收敛精度，并可获得更为合理的网络结构。

关键词：泛函网络；熵聚类；神经元函数

中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)03-0673-04

Optimizing Neuron Function Based on Entropy Clustering in Functional Networks

ZHANG Jun

(People’s Bank of China, Urumqi Central Branch,Urumqi 830002, China)

Abstract: Functional network is a recently introduced extension of neural networks,.Like neural networks ,nowdays,there is no system de? signing method for designing approximation functional networks structure. Because of that, A new entropy clustering method designing functional network, combing each neuron function and functional parameters by performing the optimal search to achieve the learning be? wteen functional network structure and the functional parameters These results also show that the proposed method in this paper can pro? duce very rational structure and functional networks convergent precision are improved greatly.

Key words: functional networks;entropy clustering; neuron function

自1998年Castillo提出泛函网络[1]以来，泛函网络成功地被应用与混沌时间序列的预测，微分、差分和泛函方程的求解，CAD,线性、非线性回归[2],非线性系统辨识[[3]等，泛函网络在解决上述问题中都表现出较好的性能。

然而，泛函网络同神经网络一样，其结构设计是一个复杂问题，其复杂性重要表现在三个方面：第一，采用什么类型的泛函网络结构和基函数簇，往往由人类专家根据经验知识做出判断；第二，泛函网络的结构和泛函参数的确定，这一点往往很难由人工确定；第三，在网络结构确定的基础上，同样存在局部极小问题。目前，也有一些用遗传规划[4]来解决以上问题，并取得了很好的成果。但是基函数簇如何选取，理论上至今还没有给出一个通用的设计方法，基函数簇选取的好坏直接影响着泛函网络的逼近性能，如何避免因基函数簇样本选取不足而导致泛函网络的逼近误差过大或过多而导致过配问题。文章提出熵的聚类思想来解决这问题提供了一条新的更有潜力的途径。熵聚类的思想最大的特点是对输入数据进行分析，根据每个点的熵值进行归类。利用熵聚类得出泛函网络中基函数集中函数的个数，如选择径向基函数作为基函数集的话，通过熵聚类不仅能找出基函数个数还能确定其中心值。

基于此，文中将熵聚类思想与泛函网络结合，把泛函网络看成是结构和参数的优化搜索过程，对泛函网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网路结构和泛函参数的共同学习，提出一种基于熵聚类的泛函网络方法。为了更能体现出熵聚类的优越性，文章将采用径向基函数来作为基函数集。可以通过熵聚类来确定中心的位置。最后仿真实验证明，利用熵聚类确定网络的结构及大小，最终改善了泛函网络的性能。

1基于熵聚类的泛函网络设计方法

1.1泛函网络模型

一般地泛函网络[1]由以下元素组成：1)输入单入层:这是输入数据的一层单元，输入单元以带有相应名字的实心圆来表示；2）输出单元层：这是最后一层单元，它输出网络的结果是数据。输出单元也是带有相应的名字来表示。3）一层或是多层神经元：每一个神经元是一个计算单元，它计算的是一组神经元或输出单元提供数据。神经单元相互连接，没一个神经元的输出可作为另一个神经元活输出单元输入数据的一部分，一旦给定输入值，输出便由神经元的类型来确定，它由一函数定义。例如，假如有一个神经元具有S个输入(x1,x2,....,xs)及k个函数fj,j=1,2,...,k，使得yj=fj(x1,x2,...,xs);j=1,2,...,k.函数fj又网络的结构来确定，神经元由带有相应fj函数的名称用圆圈来表示；（4）有向连接线；他们将输入层、中间层、输出单元层连接起来，箭头表示信息流向，所有这些元素一起形成了泛函网络的结构，它确定了网络的泛函能力。

图1给出了一简单的泛函网络结构以及与它对应的神经网络结构图2。

图1一个泛函网络模型图2与图1对应的神经网络

图1中输入模式是{} x1,x2,x3，神经元函数fj,j=1,2,3；输出x6。其中最重要的是神经元函数fj的选择。根据Castillo的做法是将每一个神经元函数fj表示成一些已知基函数簇的线性组合的形式，如多项式、三角函数、Fourier展开级数等。至于与神经网络区别，本文不再赘述，请参考文献[3]。

1.2基于熵聚类的泛函网络设计方法

与神经网络一样，泛函数网络也有各种各样的结构。我们不可能用一个统一的通用的结构来描述所有的泛函网络，也不可能用一个统一的泛函方程来表示所有的泛函网络。我们只能选取其中的具体的某种网络结构来介绍。目前，在泛函网络中应用最广泛的是可分离的泛函网络。如图3所示：

图3一种可分离泛函网络模型

从以上图可以看出，逼近能力的好坏完全取决于神经元函数的正确选择，据Castillo的做法是根据问题所蕴含的“先验知识”采取一定简化假设选取一些基函数簇，将每一神经元函数fj表示成一些已知基函数簇的线性组合的形式，再由最小二乘法等回归技术确定其中的泛函参数，通过对比选择其中最好的一个作为最终结果。

函数fj由泛函网络结构确定，泛函网络结构优化过程只对基函数和变量进行操作，无需考虑泛函网络参数的影响。先利用熵聚类的思想对输入数据进行分析，找出聚类的中心，中心的个数相当于基函数的个数。如果选择的径向基函数，聚类中心就为径向基函数的中心。

1.3熵聚类算法选择RBF中心

该思想基于信息熵理论的基本原理：越是有序排列的数据（如有聚类特征的数据），熵越小；越是无序的、混沌的数据，熵越大。

其中：i=1,2,?,N；Sij是表示两点xi和xj的相近度。它的定义如下：

表示数据点间的平均距离[5]。因此，和某些数据点距离很近和很远的数据点对该点的熵贡献极小，而和该点距离接均距离的点对该点的熵贡献很大。由以上分析可知，熵值越小的数据点，越是分布在密集的中心区域，越有较高的概率成为聚类中心；熵值越大的数据点，越是分布在稀疏的区域，越有较低的概率成为聚类的中心。然而，对于远离中心区域的孤立点也具有极小的熵值，显然这些点不应成为聚类中心，应该拒绝接受它为聚类中心，算法对这些点进行了处理。该算法描述如下：

熵聚类算法：

Ei（选含最小熵值的点作为聚类中心）；

3）计算X中与xcm的相近度大于β的数据点集Xm；

4）考虑到远离聚类中心的孤立点也拥有极小的熵值，或者在X中除去一些数据后，剩余的分布在分散区域的零散点都不适合做聚类中心.设阈值γ=0.05N，N表示数据点的总数.若Xm中的数据点大于γ，则接受xcm为聚类中心.从X中去除Xm：X=X-Xm，转6）；

5）若Xm中的数据点数不大于γ，则拒绝接受xcm为聚类中心.为加快算法收敛速度，标志Xm中的点数不在作为聚类中心的候选点；

6）若X中的聚类中心候选点数不大于γ，结束；否则，m=m+1，转2）。

将训练样本的数据应用上述聚类算法，将会得到数据的聚类中心的个数和初始值。如果将图3中的Φi取为G

考察已知函数z=3.1(1-x+2x2)e-x2/2的逼近性能，其曲线形式图4。我们仍采用图3的泛函网络结构，基函数集F={Φi(x ) i=1,2,3,... },其中Φi定义为{G(x-c1),G(x-c2),G(x-c3),...}。x在[0,5]之间通过随机选取或是均匀选取100个样本点作为训练样本。学习率α,β取为0.001，通过熵聚类算法，得到神经元基函数的个数和初值。再人工规定F={fj},j个数和径向基函数的中心。两种算法都用fig.3的泛函网络结构来训练，其训练结果如表1所示。在[0.5]上以0.1为间隔取50个点做测试样本对训练好的网络进行测试，其测试结果如表2所示：

表2测试结果比较

从表中可以看出，利用熵聚类的思想设计泛函网络，对网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网络结构和泛函参数的共同学习，有效地提高了泛函网络的收敛精度。

3结论

文中把泛函网络看作是结构和泛函参数的优化搜索过程，利用熵聚类的思想设计泛函网络，对网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网络结构和泛函参数的共同学习，有效地提高了泛函网络的收敛精度，并且可获得更为合理的网络结构。

参考文献:

[1] Castillo E. Functional Networks[J]. Neural Processing Letters,1998, 7:151-159

[2] Castillo E, Cobo A, Cutierrez J M. Functional Networks with Applications[M]. Kluwer Academic Publishers, 1999

[3] Iglesias A,Arcay B,Cotos J M,et al.A comparison between functional networks and artificial neural networks for the prediction of fishing catches[J]. Neural computer & applied,2004, 13:24-31.

[4] Zhou Yongquan,Wang Dongdong,Zhang Ming.Proceedings of the 6th World Congress on Intelligent Controland Automation[C]. 2006: 21-23.

[5] J Yao,M Dash,S T Tan et al. Entropy-based fuzzy clustering and modeling[J].Fuzzy Sets and Systems, 2000, 113(3):282-188.