求解双边加权模糊支持向量机的序贯最小优化算法

开篇：润墨网以专业的文秘视角，为您筛选了一篇求解双边加权模糊支持向量机的序贯最小优化算法范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度，提出了应用序贯最小优化算法（SMO）解该模型，该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题，然后求解这些二次规划子问题。为了测试SMO算法的性能，在三个真实数据集和两个人工数据集上进行了数值实验。结果表明：与传统的内点算法相比，在不损失测试精度的情况下，SMO算法明显地降低了模型的计算复杂度，使其在实际中的应用成为可能。

ス丶词:

序贯最小优化；双边加权模糊支持向量机；支持向量机；模糊支持向量机

ブ型挤掷嗪: TP301.6 文献标志码:A

Abstract: High computational complexity limits the applications of the BilateralWeighted Fuzzy Support Vector Machine (BWFSVM) model in practical classification problems. In this paper, the Sequential Minimal Optimization (SMO) algorithm,which firstly decomposed the overall Quadratic Program (QP) problem into the smallest possible QP subproblems and then solved these QP subproblems analytically, was proposed to reduce the computational complexity of the BWFSVM model. A set of experiments were conducted on three real world benchmarking datasets and two artificial datasets to test the performance of the SMO algorithm. The results indicate that compared with the traditional interior point algorithm, the SMO algorithm can reduce significantly the computational complexity of the BWFSVM model without influencing the testing accuracy, and makes it possible for the BWFSVM model to be applied to practical classification problems with outliers or noises.

Key words: Sequential Minimal Optimization (SMO); BilateralWeighted Fuzzy Support Vector Machine (BWFSVM); Support Vector Machine (SVM); Fuzzy Support Vector Machine (FSVM)

0 引言

支持向量机(Support Vector Machine,SVM)是模式识别和机器学习领域的一种很重要的分类和非线性函数估计方法，其主要的缺点是标准的支持向量机模型对噪声和孤立点是敏感的［1］。针对这一问题，Lin等人［2］在2002年提出了模糊支持向量机(Fuzzy Support Vector Machine,FSVM)，Jayadeva等人［3］在2005年提出了模糊近边界支持向量机，Tao等人［4］在2004年提出了一种基于加权间隔的模糊支持向量机。

模糊支持向量机的关键是如何设置训练样本的模糊隶属度。针对这个问题，2005年，Lin等人［5］通过引入置信因子和无用因子提出了模糊隶属度的自动生成方法。2006年，Jiang等人［6］基于高维特征空间样本与类中心的距离提出了一种新的模糊隶属度函数。2004年，基于模糊C均值聚类和模糊ifthen规则，Leski［7］提出了Е弄Ъ涓舴窍咝苑掷嗥骼唇饩龃孤立点或噪声点的分类问题，并提出了迭代设置样本权重和集成学习的策略。

在以上提出的模型中，模糊隶属度si是对应样本点属于某一类的程度，而1-si是无意义的程度。考虑到在实际的分类问题中，同一个样本点可能属于多个类，Wang等人［8］分别提出了双边加权模糊支持向量机模型和它的最小二乘版本［9］来评估信贷风险。2008年，Jilani等人［10］将双边加权模糊支持向量机应用在多分类问题中。对于一个具有lЦ鲅本点的训练集，双边加权模糊支持向量机模型需要解2lЦ霰淞康亩次规划问题。在先前的研究中，这个模型运用传统的优化算法来求解，其计算复杂度为O(8l3)。У毖盗费本上万时，如果计算机没有足够的内存，用传统的优化算法来求解双边加权模糊支持向量机模型是不现实的，这就限制了其在实际中的应用。目前，如何降低计算复杂度是双边加权模糊支持向量机模型的关键问题之一。在本文中，我们主要处理这个问题。

在支持向量机领域中，分解算法是处理实际分类问题的主要算法之一［11-13］。其中序贯最小优化(Sequential Minimal Optimization,SMO)算法的应用最广泛［14］。SMO算法将整个二次规划问题分解成一系列规模为2的二次规划子问题，然后解这些二次规划子问题，这使得SMO算法解决大规模分类问题成为可能。目前，SMO算法在大规模的分类问题中已有应用［15-20］。为了降低计算复杂度，本文用SMO算法求解双边加权模糊支持向量机(BilateralWeighted Fuzzy Support Vector Machine,BWFSVM)模型，使得该模型在实际分类问题中的应用成为可能。

1 双边加权模糊支持向量机模型

对于二分类问题，给定如下的训练数据集

T={(x1,y1),(x2,y2),…,(xl,yl)}(1)

2005年，Wang等人［8］将训练集扩展如下：

Tb={(x1,+1,m1),(x1,-1,1-m1),(x2,+1,m2),(x2,-1,1-m2),…,(xl,+1,ml),(xl,-1,1-ml)}(2)

其中输入数据xn∈Rp，对应的类标yn∈{-1,+1}，mn是xn属于+1类的模糊隶属度。オ

基于训练集Tb，双边加权模糊支持向量机的原问题［8］如下：

И┆minw,b,ξn,ξn′12w2+C∑ln=1(mnξn+(1-mn)ξn′)(3)

s.t.w•φ(xn)+b≥1-ξn； n=1,2,…,l,И

w•φ(xn)+b≤-1+ξn′； n=1,2,…,l,

Е为n,ξn′≥0； n=1,2,…,l,И

式中:w是超平面的法向量，b是偏项，φ(xn)是将xnв成涞礁呶特征空间的非线性映射，Е为n，ξn′是松弛变量，C是控制模型复杂性和训练误差的正则化常数。

原始优化问题的对偶问题为：

И┆minαi,αi′12∑ln=1∑lt=1(αn-αn′)(αt-αt′)k(xn,xt)-

∑ln=1(αn+αn′)(4)

s. t.Аln=1(αn-αn′)=0,И

0≤αn≤Cmn；n=1,2,…,l,И

0≤α′n≤C(1-mn)；n=1,2,…,l,И

其中k(xn,x)=(φ(xn),φ(x))是Mercer核函数。

求解上面的优化问题，从而可以得到如下的决策函数。

f(x)=∑ln=1(αn-αn′)k(xn,x)+b(5)

从对偶问题(4)可知，对于lЦ鲅本的训练集，双边加权模糊支持向量机模型需要求解2lЦ霰淞康亩次规划问题。如果用传统的优化算法来求解此模型，其计算复杂度O(8l3)限制了其在实际分类问题中的应用。在后边的研究中，考虑到SMO算法在实际分类问题中的广泛应用，我们给出求解对偶问题的SMO算法。

2 BWFSVM模型的SMO算法

本章首先给出对偶问题(4)的最优条件，其次给出选择工作集的策略，然后给出更新拉格朗日乘子的公式，最后给出SMO算法的步骤。

2.1 对偶问题的最优条件

对偶问题(4)的拉格朗日函数如下：

LD(αn,αn′,β,πn,ψn,δn,ηn)=

12∑ln=1∑lt=1(αn-αn′)(αt-αt′)k(xn,xt)-

∑ln=1(αn+αn′)+β∑ln=1(αn-αn′)-∑ln=1πnαn-∑ln=1ψnαn′-

∑ln=1δn(Cmn-αn)-∑ln=1ηn［C(1-mn)-αn′］(6)

式中：Е, πn≥0, ψn≥0, δn≥0和ηn≥0是拉格朗日乘子。オ

令

Fn=-∑lt=1(αt-αt′)k(xt,xn)；n=1,2,…,l(7)

对偶问题(4)的最优条件如下

ИLD(αn,αn′,β,πn,ψn,δn,ηn)郸联n=

-Fn-1+β-πn+δn=0 (8)

ИLD(αn,αn′,β,πn,ψn,δn,ηn)郸联n′=

Fn-1-β-ψn+ηn=0 (9)

Е歇nαn=0；n=1,2,…,l(10)

Е转nαn′=0；n=1,2,…,l(11)

Е莫n(Cmn-αn)=0；n=1,2,…,l(12)

Е仟n［C(1-mn)-αn′］=0；n=1,2,…,l(13)

0≤αn≤Cmn；n=1,2,…,l(14)

0≤αn′≤C(1-mn)；n=1,2,…,l(15)

Е歇n≥0,ψn≥0,δn≥0,ηn≥0；n=1,2,…,l(16)

为了方便讨论，先给出下面的定理。

定理1

当对偶问题取得最优解时，集合{n|αn=0,│联n′=0)}，{n|αn=0,0

证明

假设集合{n|αn=0,αn′=0)}Х强铡S墒(8)，(9)，(12)，(13)，(16)可得：

-Fn-1+β≥0 (17)

Fn-1-β≥0(18)

由式(17)，(18)可得

Fn+1≤Fn-1(19)

这是不可能的。故{n|αn=0,αn′=0)}是空集。

同理可证{n|αn=0,0

接下来，简要讨论mn=0, mn=1和 0

1)mn=0。由式(14)可知，αn=0，对于不同的αn′，в啥耘嘉侍獾淖钣盘跫可得:

У宝联n′=0时，Fn-1≥β；

当αn′=C时，Fn-1≤β；

当0

Fn-1≥β,αn′=0【取等？

或Fn-1≤β,αn′=C【取等？

或Fn-1=β,0

2)mn=1。由式(15)可得，αn′=0，Ф杂谌〔煌值的Е联n，Э梢缘玫阶钣盘跫为：

У宝联n=0时，Fn+1≤β；

当αn=C时，Fn+1≥β；

当0

Fn+1≤β,αn=0【取等？

或Fn+1≥β,αn=C【取等？

或Fn+1=β,0

3)0

У宝联n=0,αn′=C(1-mn)时，Fn+1≤β；

当αn=Cmn,αn′=0时，Fn-1≥β；

当αn=Cmn,αn′=C(1-mn)时，-1≤Fn-β≤1；

当αn=Cmn,0

当0

Fn+1≤β,αn=0,αn′=C(1-mn)

或Fn-1≥β,αn=Cmn,αn′=0

或-1≤Fn-β≤1,αn=Cmn,αn′=C(1-mn)

或Fn-1=β,αn=Cmn,0

或Fn+1=β,0

定义下面的指标集

I01={n|αn=0,αn′=0,mn=0}

I02={n|αn=0,0

I03={n|αn=C,αn′=0,mn=1}

I04={n|0

I05={n|αn=0,αn′=C,mn=0}

I06={n|αn=Cmn,αn′=0,0

I07={n|αn=0,αn′=0,mn=1}

I08={n|αn=0,αn′=C(1-mn),0

I1={n|αn=Cmn,αn′=C(1-mn),0

I2={n|αn=Cmn,0

I3={n|0

设

ИFn=Fn+1, n∈I03∪I04∪I1∪I3Fn-1, n∈I01∪I02∪I06∪I2

Fn=Fn+1, n∈I04∪I07∪I08∪I3Fn-1, n∈I02∪I05∪I1∪I2 オ

那么，最优条件可以改写为

Е隆塥Fn,n∈I01∪I02∪I03∪I04∪I06∪I1∪I2∪I3

β≥Fn,n∈I02∪I04∪I05∪I07∪I08∪I1∪I2∪I3 オ

设

b┆up=min{Fn,n∈I01∪I02∪I03∪I04∪I06∪I1∪I2∪I3}

b┆low=max{Fn,n∈I02∪I04∪I05∪I07∪I08∪I1∪I2∪I3}オ

则最优条件满足当且仅当

b┆low≤b┆up(20)オオ

2.2 选择工作集

设满足下面的两个条件之一的训练样本对为(i,j)オ

i∈I01∪I02∪I03∪I04∪I06∪I1∪I2∪I3,j∈I02∪I04∪I05∪I07∪I08∪I1∪I2∪I3 并且 ИFi

i∈I02∪I04∪I05∪I07∪I08∪I1∪I2∪I3,j∈I01∪I02∪I03∪I04∪I06∪I1∪I2∪I3 并且 ИFi>Fj (22)

那么这样的训练样本对(i,j)Фㄒ辶艘桓雒盾对。

设

i_up=argmin{Fn,n∈I01∪I02∪I03∪I04∪I06∪I1∪

I2∪I3}(23)オ

i_low=argmax{Fn,n∈I02∪I04∪I05∪I07∪I08∪I1∪

I2∪I3}(24)お

并且 b┆low>b┆up(25)

那么训练样本对(i_low,i_up)Фㄒ辶艘桓鲎畲蟮拿盾对，为了提高优化过程的速度，我们采取两个策略来挑选工作集：一个是最大矛盾对策略，也就是说将式(23)和(24)定义的最大矛盾对(i_low,i_up)挑选到工作集内进行优化，另一个策略是全部违反策略，将所有满足式(21)或(22)的矛盾对都放到工作集里进行优化［21］。

2.3 更新拉格朗日乘子Е联i,αi′,αj和 αj′オ

由指标集的定义可知，由于i和j属于不同的集合，这样就有九种集合的组合方法来确定要优化的变量对，具体组合见表1。

由表1可知，在优化过程中，仅仅需要优化其中的4个变量对(αi,αj),(αi′,αj′),(αi′,αj)和(αi,αj′)。オ

设

(αi-αi′)+(αj-αj′)=(α┆oldi-α┆oldi′)+

(α┆oldj-α┆oldj′)=γ (26)

Е=k(xi,xi)+k(xj,xj)-2k(xi,xj)(27)

Е摘t=∑ln=1(α┆oldn-α┆oldn′)k(xn,xt)+b； t=1,2,…,l(28)

Sw={i, j}(29)

将式(4)的目标函数12∑ln=1∑lt=1(αn-αn′)(αt-αt′)k(xn,xt)-∑ln=1(αn+αn′)д箍可得

12∑ln=1∑lt=1(αn-αn′)(αt-αt′)k(xn,xt)-

∑ln=1(αn+α′n)=12(αi-αi′)2η+

(αi-αi′)[(φi-φj)-η(α┆oldi-α┆oldi′)]-

∑n∈Sw(αn+αn′)+C1(30)

其中C1是常数。

如果待优化的变量对是(αi,αj)和(αi′,αj′)，设定s=1，否则s=-1，由式(30)可知，对偶问题(4)等价于下面的优化问题：オ

Иmin12(αi-αi′)2η+(αi-αi′)[(φi-φj)-

η(α┆oldi-α┆oldi′)]-(αi+αi′)(1-s)(31)お

s. t.Е联i∈[L,H],αi′∈[L′,H′]お

其中:H和L分别是αi的上、下界，H′和L′分别是αi′的上、下界。关于αi和αi′У奈拊际最小优化问题如表2。

オЕ联i和αi′的最终的计算公式分别如下：オ

Е联┆newi=

H,α┆unconstrainedi≥H

α┆unconstrainedi,L

L,α┆unconstrainedi≤L (32)

Е联┆newi′=

H′,α┆unconstrainedi′≥H′

α┆unconstrainedi′,L′

L′,α┆unconstrainedi′≤L′ (33)オ

基于式(26)，我们能够计算Е联i和αi′ё钪盏闹怠＊

2.4 确定Е联i和αi′У纳舷陆绐

由等式(14)、(15)、(26)可以得到待优化的变量对与其对应的上下界的关系如表3。

要优化的变量对变量对对应的上下界

(αi,αj)L=max(0,γ+αi′+αj′-Cmj),H=min(γ+αi′+αj′,Cmi)

(αi,αj′)L=max(0,γ+αi′-αj),H=min(γ+αi′-αj+C(1-mj),Cmi)

(αi′,αj)L′=max(0,-γ+αi-αj′),H′=min(-γ+αi-αj′+Cmj,C(1-mi))

(αi′,αj′)L′=max(0,-γ+αi+αj-C(1-mj)),H′=min(-γ+αi+αj,C(1-mi))

2.5 更新Fnオ

在优化过程中，每一步优化之后，Fn需要进行更新，更新FnУ墓式如下：

F┆newn=F┆oldn-∑t∈Sw［α┆newt-α┆oldt-(α┆newt′-α┆oldt′)］k(xt,xn)；

n=1,2,…,l(34)

2.6 双边加权模糊支持向量机的SMO算法

基于上面的分析，我们给出双边加权模糊支持向量机的SMO算法如下：

步骤1

输入训练数据集和超参数的值

步骤2

设定拉格朗日乘子Е联n和αn′的初始值，n=1,2,…,l。オ

步骤3

利用式(23)和(24)，计算i_low，i_up。オ

步骤4

检查i_low和i_up是否违背式(25)，如果违背了，就优化对应的拉格朗日乘子αi_low,αi_low′,αi_up和αi_up′，然后返回步骤3；否则继续。オ

步骤5

遍历所有的训练样本i，Ю用式(21)和(22)检查是否存在与i匹配的j，如果存在，优化对应的拉格朗日乘子Е联i,αi′,αj和 αj′，Х祷夭街3。如果所有的训练样本都不违背式(21)和(22)，就转到步骤6。

步骤6 输出支持向量和对应的拉格朗日乘子。

对于双边加权模糊支持向量机的对偶优化问题，SMO算法在每一步优化中仅仅挑选两个拉格朗日乘子去优化，解析地求解这两个拉格朗日乘子，避开了整体优化数值二次规划；另外，SMO算法也不需要额外存储矩阵，这些优良的特征使得双边加权模糊支持向量机在带噪声和孤立点的分类问题中的应用成为可能。双边加权模糊支持向量机模型中涉及到2l个变量，因此其时间复杂度为O((2l)2.2)［14］。И

3 数值实验和讨论

在三个实际数据集和两个人工数据集上进行实验来测试SMO算法的性能。为了比较双边加权模糊支持向量机模型和标准支持向量机模型的性能，我们也用SMO算法［18］求解标准的支持向量机模型。为了表明SMO算法大大降低了计算复杂性，给出了利用预测―校正算法(Predictorcorrector algorithm,PrCo)［22］即传统的内点算法来求解双边加权的模糊支持向量机模型的结果。

3.1 实验环境和数据集

实验中，采用高斯核函数，通过网格剖分方法来寻找近似的最优超参数，剖分的网格为Е=［2-4,2-3,2-2,…,25］和C=［20,21,22,…,29］，С绦蛟诵械挠布环境是拥有英特尔双核处理器、最大内存3.25@GB，CPU为3.16@GHz的PC，软件环境是Windows XP，编程语言是C++，编译器是VC++6.0。

Letter和Statlog数据集来自于hpp://archive.ics.uci.edu/ml，并经过了如下的预处理使之变为二类数据集：Letter是一个26类的数据集，将类标为{A,B,…,M}的看成正类，类标为{N,O,…,Z}看成负类;Statlog是一个6类的数据集，将类标为{1,2,5}的看成正类，类标为{3,4,6}看成负类。数据集的其他详细信息如表4。

3.2 产生模糊隶属度

数据集Ripley，人工数据集1，人工数据集2的模糊隶属度利用下面的方法设置。

设在高维特征空间中正类和负类的中心分别为

Е摘+(x)=1l+∑l+i=1φ(xi)

φ-(x)=1l-∑l-i=1φ(xi)お

其中l+和l-Х直鹞正负类的样本数。

训练获得的分类超平面为

w•φ(x)+b=0И

其中w=(φ+(x)-φ-(x)),b=[-(φ+(x)-φ-(x))×(φ+(x)+φ-(x))]/2。オ

如果yi=+1，那么

mi=min(0.5×(1+w•φ(xi)+bw•φ+(x)+b),1.0)お

否则mi=max(0.5×(1-w•φ(xi)+bw•φ-(x)+b),0.0)。オ

如果mi1，那么就删除训练集中对应的样本点。オ

对于Letter和Statlog数据集，用Keller和Hunt提出的策略产生模糊隶属度［24］。

mi=

0.5×(1+exp(C0(d-(xi)-d+(xi))/d)-exp(-C0)exp(C0)-exp(-C0))

yi=+1

0.5×(1-exp(C0(d+(xi)-d-(xi))/d)-exp(-C0)exp(C0)-exp(-C0))

yi=-1 (35)

其中d+(xi)=φ(xi)-φ+(x)，d-(xi)=φ(xi)-│摘-(x),d=φ+(x)-φ-(x)。C0是控制隶属度函数的参数。在实验中，通过在网格C0=［-100,-90,…,90,100］中搜索寻找到最优值C0=-100。オ

3.3 实验结果和分析

为了评估SMO算法的性能，表5列出了SMO算法、PrCo算法和标准的SVM模型的测试精度、训练时间和对应的最优超参数。

由表5可知，与PrCo算法相比，SMO算法大大降低了双边加权支持向量机模型的计算复杂度，例如，对于Statlog和Letter数据集，所提出SMO算法仅仅分别花费46.625@s和634.969@s。然而对于Statlog数据集，PrCo算法用了118B708.203@s，对于Letter数据集，由于没有足够的内存从而不能进行训练。另一方面，如果模糊隶属度设置得合理，双边加权模糊支持向量机模型比标准的SVM模型能获得更好的性能。例如，对于数据集Ripley、Statlog、人工数据集1和人工数据集2，双边加权支持向量机模型的测试精度高于标准的SVM模型；对于Letter数据集，双边加权支持向量机模型的测试精度与标准的SVM模型的测试精度一样。

4 结语

对于双边加权模糊支持向量机模型的高计算复杂度问题，本文运用SMO算法来求解。实验结果表明：与PrCo算法相比，SMO算法大大降低了模型的计算复杂度，使得双边加权支持向量机模型在带噪声和孤立点的实际分类问题中的应用成为可能。尽管SMO算法只在二分类问题上进行了实验，但是它也能够很容易应用到多分类问题中。

在以后的工作中，需要继续探索设置双边加权模糊支持向量机模型的隶属度的算法，进一步研究SMO算法在实际分类问题中的应用。

げ慰嘉南:

[1] ZHANG X G.Using classcenter vectors to build support vector machines［C］// Proceedings of the 1999 IEEE Signal Processing Society Workshop. New York: IEEE, 1999:3-11.

[2] LIN C F,WANG S D. Fuzzy support vector machines［J］. IEEE Transactions on Neural Networks,2002,13(2):464-471.

[3] JAYADEVA A, KHEMCHANDANI R, CHANDRA S. Fast and robust learning through fuzzy linear proximal support vector machines［J］. Neurocomputing, 2004(61):401-411.

[4] TAO QING.WANG JUE. A new fuzzy support vector machine based on the weighted margin［J］. Neural Processing Letters,2004,20(3):139-150.

[5] LIN C F,WANG S D. Fuzzy support vector machines with automatic membership setting［C］// Studies in Fuzziness and Soft Computing. Berlin:Springer,2005:233-254.

[6] JIANG X F,YI Z, LV J C. Fuzzy SVM with a new fuzzy membership function［J］. Neural Computing and Applications, 2006,15(3/4):268-276.

[7] LESKI J K. An εmargin nonlinear classifier based on fuzzy ifthen rules［J］. IEEE Transactions on Systems, Man, and Cybernetics Part B: Cybernetics,2004,34(1):68-76.

[8] WANG Y Q,WANG S Y, LAI K K. A new fuzzy support vector machine to evaluate credit risk［J］. IEEE Transactions on Fuzzy Systems,2005, 13(6):820-831.

[9] HUANG W, LAI K K,YU L, et al. A least squares bilateralweighted fuzzy SVM method to evaluated credit risk［C］// Proceedings of the 4th International Conference on Natural Computation.Washington, DC:IEEE Computer Society, 2008：13-17.

[10] JILANI T A，BURNEY S M A. Multiclass bilateralweighted fuzzy support vector machine to evaluate financial strength credit rating［C］// International Conference on Computer Science and Information Technology. Washington, DC: IEEE Computer Society, 2008: 342-348.

[11] DONG J X, KRZYZAK A，SUEN C Y. Fast SVM training algorithm with decomposition on very large data sets［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(4)：603-618.

[12] JOACHIMS T. Making largescale SVM learning practical［C］// Advances in Kernel MethodsSupport Vector Learning. Cambridge: MIT Press, 1998:169-184.

[13] OSUNA E, FREUND R, GIROSI F. Training support vector machines: an application to face detection［C］// Proceedings of 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 1997:130-136.

[14] PLATT J C. Sequential minimal optimization: a fast algorithm for training support vector machines［C］// Advances in Kernel Methods. Cambridge: MIT Press, 1998:185-208.

[15] CHEN P H, FAN R E, LIN C J. A study on SMOtype decomposition methods for support vector machines［J］. IEEE Transactions on Neural Networks,2006, 17(4): 893-908.

[16] KEERTHI S S,GILBERT E G. Convergence of a generalized SMO algorithm for SVM classifier design［J］. Machine Learning, 2002, 46(1/3):351-360.

[17] KEERTHI S S,SHEVADE S K. SMO algorithm for leastsquares SVM formulations［J］. Neural Computation, 2003, 15(2): 487-507.

[18] KEERTHI S S, SHEVADE S K, BHATTACHARYYA C,et al. Improvements to Platts SMO algorithm for SVM classifier design［J］. Neural Computation,2001,13(3):637-649.

[19] KNEBEL T, HOCHREITER S, OBERMAYER K. An SMO algorithm for the potential support vector machine［J］. Neural Computation, 2008,20(1):271-287.

[20] LIN C J. Asymptotic convergence of an SMO algorithm without any assumptions［J］. IEEE Transactions on Neural Networks,2002,13(1), 248-250.

[21] SHEVADE S K, KEERTHI S S, BHATTACHARYYA C,et al. Improvements to SMO algorithm for SVM regression［J］. IEEE Transactions on Neural Networks,2000,11(5):1188-1193.

[22] MEHROTRA S. On implementation of a primaldual interior point method［J］. SIAM Journal on Optimization,1992, 2(4):575-601.

[23] RIPLEY B D. Pattern recognition and neural networks［M］. Cambridge: Cambridge University Press,1996.

[24] KELLER J M, HUNT D J. Incorporating fuzzy membership functions into the perceptron algorithm［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence,1985,7(6):693-699.