基于结构风险最小化的加权偏最小二乘法

开篇：润墨网以专业的文秘视角，为您筛选了一篇基于结构风险最小化的加权偏最小二乘法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：为了在偏最小二乘法(PLS)建模过程中实现结构风险最小化(SRM)，提出基于结构风险最小化的加权偏最小二乘法(WPLS)。WPLS先提取训练样本中的主元，然后使用支持向量机(SVM)训练算法计算训练样本权值，最后计算原始论域中的回归模型。该算法保留了PLS能有效地提取对系统解释性最强的信息的优点，并通过样本权值提高模型的泛化能力，从而实现SRM准则，所建立的模型具有可解释性。仿真计算证明了模型的有效性。

关键词：结构风险最小化；加权偏最小二乘法；支持向量机；可解释性

中图分类号：TP18;TP273.4文献标识码：A

文章编号：1001-9081(2007)04-0939-03

0引言

从观测数据中学习归纳出系统规律，并利用这些规律对未来数据或无法观测到的数据进行预测，这一直是智能系统研究的重点。传统的数据驱动的研究方法尽管可以得到小的训练误差，但对未经训练的新数据，其泛化能力较差，存在过学习问题。原因在于传统学习方法是基于经验风险最小化准则(EmpiricalRiskMinimization,ERM)的。根据统计学习理论[1,2]，为了控制泛化能力，需要控制两个因素，即经验风险值和置信范围值。ERM准则只强调了经验风险最小(训练误差)，没有最小化置信范围值，因此基于ERM准则的学习方法泛化能力较差。要最大化泛化能力，不仅需要最小化经验风险，而且应最小化置信范围值，这是结构风险最小化准则(StructuralRiskMinimization,SRM)的基本思想。支持向量机(SupportVectorMachine,SVM)[1，2]就是这种思想的具体实现，它以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，因此，SVM的泛化能力要明显优于一般传统学习方法。

偏最小二乘法(PartialLeast―Squares,PLS)是一种多元统计数据分析方法[3]，在化工，市场分析和金融领域等广泛应用，被称为“第二代回归分析方法”。PLS在统计应用中的重要性主要体现在：PLS从整体对变量集合进行分析，因此结果可靠，整体性强。在自变量之间存在多重相关性的场合，PLS对系统中的数据信息进行分解和筛选，提取对因变量解释性最强的综合变量，辨识信息和噪声，从而克服多重相关性在系统建模中的不良作用。另外，在样本点数量小于变量个数的情况下，PLS也可以较好地解决建模任务。可以说，PLS将多元线性回归分析、典型相关分析和主成分分析有机结合，将建模预测类型的数据分析方法和非模型式的数据认识性分析方法有机结合，因此得到了广泛的研究[4,5]。

PLS属于正交最小二乘(OrthogonalLeastSquared,OLS)类方法[6]。OLS类方法将系统辨识过程中的结构选择和参数估计结合在一起，使用正交分解技术递归地计算回归模型的基向量。在计算过程中，OLS类方法通过前向地求解基向量集合，达到最小化残差的目的。这种前向最小化残差的过程使OLS类方法可能得到一个局部最优解，而SVM在理论上可以得到全局最优解。另外OLS类方法是基于ERM准则的，泛化能力较差。因此，本文提出一种基于结构风险最小化的加权偏最小二乘法(WeightedPartialLeastSquared,WPLS)，使PLS在保持原有优点的基础上成为基于SRM准则的回归方法，从而获得较好的泛化能力。

1加权最小二乘法(WPLS)

SVM以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，通过转化成二次规划问题求得唯一的、也是全局最优解。

1.1SVM算法

1.2WPLS算法

由SVM理论可知，通过控制训练样本中的支持向量数量，可以有效地控制模型的泛化能力。因此本文提出WPLS的概念，希望通过控制PLS算法中训练样本的权值来控制模型的泛化能力。考虑多输入单输出的PLS回归模型[7]:

因为PLS是基于ERM准则，所以使用式(8)进行预测的泛化能力比较差。为了提高模型的泛化能力，在式(8)的基础上，本文提出了WPLS模型。该模型为定义在S=[s1,s2,…,sN]中的线性函数集:

2仿真算例

本文使用两个算例来验证WPLS的性能。

3结语

PLS是一种多元统计数据分析方法,它可以有效地对高维数据空间进行降维处理，较好地克服变量多重相关性。由于PLS是基于ERM准则的学习方法，因此泛化能力较差。为了在保留PLS优点的基础上改善其泛化能力，本文提出了基于结构风险最小化的WPLS。通过提出训练样本权值，使用支持向量机理论计算WPLS中主元与输出之间的线性回归模型，实现了SRM准则。WPLS与SVM的预测效果相差不大，但是WPLS的回归结果具有可解释性。

本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。