支持向量机的混合核函数参数优选方法

开篇：润墨网以专业的文秘视角，为您筛选了一篇支持向量机的混合核函数参数优选方法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：

针对支持向量机中混合核函数参数的选取还没有一套完整的理论支撑，提出基于蚁群算法和循环交叉验证法的参数优选方法。以平均加权误差作为不同参数下支持向量机预测效果的评价指标，采用循环交叉验证法计算平均加权误差。采用蚁群算法来提高混合核函数参数优化效率，减少计算工作量。通过在某型飞机机体研制费用预测中的应用，显示基于最优参数下混合核函数的支持向量机的预测误差最小，表明该参数优选方法能够提高预测精度。

关键词：

支持向量机；预测精度；参数优选；加权误差；蚁群算法

0引言

以统计学习理论为基础的支持向量机（Support Vector Machine，SVM）在处理小样本问题上有比较突出的优势，但在预测效果评价和参数优选方面还需要进一步改进。某些文献采用支持向量的个数来评价预测效果[1-2]，有些文献中采用kflod crossvalidation法来评价[3-4]。对于小样本情况，支持向量的个数本身较少，每一个支持向量的减少都会对预测效果的评价产生较大的影响，所以在小样本情况下用支持向量的个数来评价预测效果不太合理。上述两种方法都只考虑了预测效果，忽视了训练精度，不能全面地反映模型的预测效果。许多文献提到基于混合核函数的支持向量机优于单核支持向量机[1-8]，但是这些文献并没有构建完整的预测效果评价和参数优选方法。

针对以上问题，本文提出将支持向量机的训练误差和预测误差加权组合到一起，采用循环交叉验证的方法来计算模型的平均加权误差，用平均加权误差来评价模型的预测效果。因支持向量机的混合核函数参数值会影响预测效果，且遍历算法会产生较大的计算量，提出应用蚁群算法对参数进行寻优，以便快速确定最优核函数参数。

4结语

以加权误差来评价模型的预测效果，能够充分考虑支持向量机在训练和预测时的误差，减少预测的不确定性。循环交叉验证的方法，在小样本预测中能够充分挖掘数据信息，经过交叉验证后能够计算模型的平均加权误差，根据加权误差确定最优参数和核函数。蚁群算法是一种有效的计算机智能算法，在参数优化方面能够快速准确地找到最优参数。将蚁群算法应用到支持向量机的参数寻优中，能够节省大量的计算时间，防止出现陷入局部最优的问题。

通过实例分析可知，参数对预测精度以及最优核函数的选择有很大的影响，全局核和局部核的组合比单核支持向量机有更好的预测效果，但简单的相加组合并不是最优的核函数，要通过对支持向量机参数的调整，根据平均加权误差找到最优的支持向量机参数，最终确定最优核函数。在比较分析中可知局部核函数比全局核函数更加稳定，最优混合核函数在牺牲一定的稳定性的基础上提高了预测精度。

参考文献：

[1]

OLIVIER D， CYRIL R，ALEXANDRA D， et al. Support Vector Machines （SVM） in Near Infrared （NIR） spectroscopy：Focus on parameters optimization and model interpretation [J]. Chemometrics and Intelligent Laboratory Systems， 2009， 96（1）： 27-33.

[2]

颜根廷，李传江，马广富.基于混合遗传算法的支持向量机参数选择[J]. 哈尔滨工业大学学报， 2008， 40（15）： 688-691.

[3]

HUANGA CM， LEE YJ， LIN D K J，et al.Model selection for support vector machines via uniform design [J].Computational Statistics & Data Analysis，2007，52（1）：335-346.

[4]

LIANG J J， WU D. A new smooth support vector machine[C]// AICI10： Proceedings of the 2010 International Conference on Artificial Intelligence and Computational Intelligence： Part I. Berlin：SpringerVerlag，2010：266-272.

[5]

朱燕飞，伍建平，李琦，等.MISO系统的混合核函数LSSVM建模[J].控制与决策2005，20（4）：417-425.

[6]

谭泗桥， 袁哲明， 柏连阳， 等.基于局部核函数与全局核函数支持向量回归优化小样本QSAR 建模[J]. 分子科学学报2009，25（3）：158-162.

[7]

薛欣， 贺国平. 基于多个混合核函数的SVM 决策树算法设计[J].计算机工程与应用，2007，43（8）：142-144.

[8]

LAM K C， YU C Y. A multiple kernel learningbased decision support model for contractor prequalification [J]. Automation in Construction， 2011，20（5）： 531-536.

[9]

DORIGO M， GAMBARDELLA L M. Ant colony system： a cooperative learning approach to the traveling salesman problem[J]. IEEE Transactions on Evolutionary Computation， 1997， 1（1）： 53-66.

[10]

DORIGO M， STUTZLE T. Ant colony optimization [M]. Cambridge： MIT Press， 2004.

[11]

HUANG M. Improved ant colony algorithm in the distribution of reactive power compensation device and optimization [J]. Procedia Engineering， 2010，7：256-264.

[12]

张恒喜，郭基联，朱家元， 等. 小样本多元数据分析方法及应用[M].西安：西北工业大学出版社， 2002.