基于MultiBoost―LMT算法的供应商信用评价研究
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于MultiBoost―LMT算法的供应商信用评价研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要：供应商违约问题一直是供应链管理模式中的一大难题，建立有效的模型实现较准确的供应商违约预测来协助企业采取应对措施，对于企业竞争致胜具有重要意义。本研究首先对MultiBoost算法的框架进行改进，用LMT算法代替C4.5决策树算法，作为MultiBoost的基分类器，提出MultiBoost-LMT算法，其优点是对样本中的奇异点和异常值不敏感，不易出现过拟合现象，具有更高的泛化能力。其次将MultiBoost-LMT算法应用于供应商信用评价问题，在两个公开的供应商信用数据集上的数值试验表明：与其它算法相比，所提出的MultiBoost-LMT算法能够显著地提高供应商信用分类精度，具有较高的实用价值。
Abstract： Default of supplier has been regarded as one of the toughest difficulties in supply chain management. How to establish an effective model to handle the default of supplier is a significant work. In this paper， a novel method called MultiBoost-LMT algorithm is presented. Due to the fact that the proposed MultiBoost-LMT can effectively avoid overfitting without the loss of the advantages in reducing the bias and the variance of the classified model， the proposed MultiBoost-LMT can increase the model performance significantly. For verification and illustration， two public available supplier credit datasets are used to test and compare the performance of other machine learning algorithm. The experimental results show the proposed MultiBoost-LMT algorithm can yield better performances compared with other machine learning algorithm listed in this study.
关键词：供应商信用评价；MultiBoost；LMT
Key words： supplier credit score；MultiBoost；LMT
中图分类号：TP1812.5 文献标识码：A 文章编号：1006-4311（2017）12-0076-03
0 引言
随着全球济迅猛发展，市场竞争已经发展到了供应链与供应链之间的竞争。在供应链管理模式中，拥有优秀的供应商队伍是企业竞争致胜的关键。而对供应商信用进行正确评价又是合理选择供应商的重要因素。因此，对供应商的信用分析很有意义[1-3]。
关于供应商信用评价问题，国内外目前已有不少研究。如石晓军等利用多因素视角下的双层规划建立供应商信用评价模型[4]。徐晋等利用灰色关联模型建立供应商信用评价模型[5]。Jafar Razmi等将网络分析法和模糊集理论应用到供应商信用评价问题[6]。本研究着重数据挖掘方法与供应商信用评价问题的结合，主要考察分类算法进行供应商信用评价的研究。
随着数据挖掘技术的不断发展，很多新的分类算法被提出来，例如支持向量机[7]、人工神经网络[8]等。与其它基于经验风险最小化的算法相比，支持向量机不易出现过拟合现象，具有较好的泛化能力，在信用评价领域得到了广泛的应用[9-12]。但是它的缺点也十分明显，即算法的分类准确率过度依赖参数的选择，当算法参数选择不合适时，算法的分类准确率很低[13]。当单个分类器难以较好地拟合数据集时，基于集成学习技术的multiboost算法的出现和发展成为了一个更理想的选择。
MultiBoost算法是Schapire在20世纪90年代提出的一种集成学习算法。与以往单个分类器模型相比，它通过Wagging策略对多个分类器的分类结果进行组合来决定最终的分类，以取得比单个分类器更好的性能[14]。标准MultiBoost算法，是以C4.5决策树算法作为基分类器，C4.5决策树算法是基于经验风险最小化原则，对数据集中的异常值敏感，容易出现过拟合现象，导致MultiBoost算法的泛化能力较差[15-19]。
本文在文献[20-22]的基础上提出了MultiBoost-lmt算法，主要思想是改进MultiBoost的框架，用LMT算法代替C4.5决策树算法作为基分类器，从而解决了原算法容易出现过拟合的问题，提高了泛化能力。文章余下的内容安排如下：首先描述了MultiBoost算法和LMT算法的基本原理，然后说明本文提出的MultiBoost-LMT的算法流程；其次使用沃尔玛供应商和本田汽车零配件供应商信用数据集进行数值试验，并对不同模型的结果进行对比；最后对全文进行总结，指出本文不足及未来主要研究方向。
1 模型建立
1.1 MultiBoost
MultiBoost算法的基本思想是，集成k个基分类器小组θk，每个基分类器小组θk中包含了由AdaBoost算法集成的Ik棵C4.5决策树。基分类器小组θk之间使用Wagging策略进行组合[23]。
1.2 LMT
LMT（Logistic Model Tree）算法是一种决策树与Logistic 回归的组合算法，与普通的决策树相比，LMT通过将对应子样本空间中的所有属性作为自变量，构建Logistic回归模型来确定对应的分类类别[24]。Birant通过实验证明，相比C4.5决策树， LMT不仅具有较高的分类精度，而且能够避免过度拟合训练集[25]。Gupta S和Kumar D通过实验证明，相比支持向量机，LMT的分类精度不依赖于算法参数的选择[26]。
1.3 MultiBoost-LMT算法
改进MultiBoost的框架，将LMT算法作为MultiBoost的基分类器？准j，避免过拟合。MultiBoost LMT算法的流程如下：
①初始化权重：将样本集S'中的样本元素权重均设为1；
②令k=1；
③令n=[■]
④For t=1 to T {
⑤Ik=[k・T/n]；
⑥若Ik=t，则根据连续泊松分布重置样本集S'的随机权重；
⑦k++；
⑧Ct=？准j（S'）；
⑨εt=■；
⑩若εt>0.5，
{11}根据连续泊松分布重置样本集S'的随机权重；
{12}k++；
{13}转到8；
{14}若εt=0，
{15}令βt=10-10；
{16}根据连续泊松分布重置样本集S'的随机权重；
{17}若0
{18}令βt=■；
{19}对于？坌xj∈S'，
{20}若Ct（xj）≠yj，令weight（xj）'=weight（xj）・■；
{21}若Ct（xj）=yj令weight（xj）'=weight（xj）・■；
{22}若weight（xj）
{23}}
最优解为：C*（x）=■■log■
2 数值试验
为验证MultiBoost-LMT算法的性能，本文采用两个数据集进行测试。两个数据集分别是沃尔玛供应商信用数据集（包含39000个样本，21750个正例和17250个反例，正例样本和反例样本中分别包括1200个和700个人工添加的异常样本）和本田汽车零配件供应商信用数据集（由12000样本构成，5680个正例和6320个反例，正例样本和反例样本中分别包括500个和800个人工添加的异常样本）。为了便于对比分析，对每一个数据集，分别采用标准支持向量机（C-SVM）、标准MultiBoost和MultiBoost-LMT三种算法进行分类测试。实验在Intel（R）Core（TM）/RAM 8G机上完成，算法C-SVM、MultiBoost和MultiBoost-LMT采用R语言编程。
2.1 分类器性能评价指标
评价分类器性能的指标有很多，Powers通过Precision、Recall、F-measure和ROCu价分类器的性能[27]。Huang和Ling通过Accuracy和AUC评价分类器的性能[28]。Chen和Tang等通过Accuracy、Recall和F-measure评价分类器的性能[29]。Nakayama和Hayashi通过Accuracy和Recall评价分类器的性能[30]。Lei和Yang等通过Accuracy、Recall和ROC评价分类器的性能[31]。本文选用的评价分类器性能指标包括：Accuracy、Recall和AUC。下面给出它们的定义：
Accuracy（准确度）=■（1）
Recall（查全率）=■ （2）
AUC（Aera Under Curve）=■ （3）
其中，TP表示分类正确的正例个数，TN表示分类正确的负例个数，FP表示分类错误的负例个数，FN表示分类错误的负例个数，S0表示所有正例的位置，n0表示正例样本个数，n1表示负例样本个数。
2.2 基于MultiBoost-LMT算法的信用评价试验
这部分给出C-SVM、标准MultiBoost和MultiBoost-LMT不同分类算法之间的性能比较试验。本文采用十重交叉验证法（10-fold validation）进行实验，把沃尔玛和本田汽车两个数据集分成10个不交叉的子集，每次取其中1个子集作为测试集，其余9个子集作为训练集得到分类器，如此重复10次，训练集和测试集的类标属性都是已知的，由训练集的类标训练模型，在测试阶段中我们假设测试集的类标属性未知，而使用模型得到预测值，然后通过比较预测值与实际值来判定模型正确率。最后的整体正确率是10次实验整体正确率的平均值。
从图1和图2的实验结果可以看出，MultiBoost-LMT在Accuracy、Recall和AUC三项指标上比其它两种算法表现更好，说明MultiBoost-LMT是一种较好的供应商信用评价方法[32]。原因有两方面：①MultiBoost-LMT算法基于集成学习技术，容易取得比单个分类器更好的分类效果；②MultiBoost-LMT将LMT作为基分类器，克服了原算法容易出现过拟合的问题，提高了泛化能力。
3 总结与展望
本文对MultiBoost的框架进行改进，用LMT算法代替C4.5决策树算法作为基分类器，克服了原算法容易过拟合的问题，提高了泛化能力。在两个公开的供应商信用数据集上的数值试验表明：与支持向量机和标准MultiBoost算法相比，所提出的MultiBoost-LMT算法具有更好的分类性能。该方法目前只解决了分类问题，由于其良好的性能，下一步将考虑把该方法改进推广至回归、聚类等问题上。
⒖嘉南祝
[1]吴军，李健，汪寿阳.供应链风险管理中的几个重要问题[J].管理科学学报，2007，9（6）：1-12.
[2]田歆，汪寿阳，华国伟.零售商供应链管理的一个系统框架与系统实现[J].系统工程理论与实践，2009（10）：45-52.
[3]舒彤，陈收，汪寿阳.基于影响因子的供应链协同预测方法[J].系统工程理论与实践，2010（8）：1363-1370.
[4]石晓军，张顺明，朱芳菲.多因素视角下商业信用期限决策的双层规划模型与实证研究[J].中国管理科学，2008，16（6）：112-122.
[5]徐晋，綦振法.供应商信用等级分析及评价模型[J].山西财经大学学报，2003，25（4）：71-74.
[6]Razmi J， Rafiei H， Hashemi M. Designing a decision support system to evaluate and select suppliers using fuzzy analytic network process[J]. Computers & Industrial Engineering， 2009， 57（4）： 1282-1290.
[7]Rebentrost P， Mohseni M， Lloyd S. Quantum support vector machine for big data classification[J]. Physical review letters， 2014， 113（13）： 130503.
[8]Taormina R， Chau K W， Sethi R. Artificial neural network simulation of hourly groundwater levels in a coastal aquifer system of the Venice lagoon[J]. Engineering Applications of Artificial Intelligence， 2012， 25（8）： 1670-1676.
[9]Harris T. Credit scoring using the clustered support vector machine[J]. Expert Systems with Applications， 2015， 42（2）： 741-750.
[10]Wang G， Ma J. A hybrid ensemble approach for enterprise credit risk assessment based on Support Vector Machine[J]. Expert Systems with Applications， 2012， 39（5）： 5325-5331.
[11]Chen C C， Li S T. Credit rating with a monotonicity-constrained support vector machine model[J]. Expert Systems with Applications， 2014， 41（16）： 7235-7247.
[12]Kim K， Ahn H. A corporate credit rating model using multi-class support vector machines with an ordinal pairwise partitioning approach[J]. Computers & Operations Research， 2012， 39（8）： 1800-1811.
[13]Chou J S， Cheng M Y， Wu Y W， et al. Optimizing parameters of support vector machine using fast messy genetic algorithm for dispute classification[J]. Expert Systems with Applications， 2014， 41（8）： 3955-3964.
[14]Benbouzid D， Busa-Fekete R， Casagrande N， et al. MultiBoost： a multi-purpose boosting package[J]. The Journal of Machine Learning Research， 2012， 13（1）： 549-553.
[15]Elomaa T. In defense of C4. 5： Notes on learning one-level decision trees[J]. ML-94， 2014， 254： 62.
[16]Zhang Y， Wang S， Wu L. Spam detection via feature selection and decision tree[J]. Advanced Science Letters， 2012， 5（2）： 726-730.
[17]Yadav S K， Bharadwaj B， Pal S. Mining Education data to predict student's retention： a comparative study[J]. arXiv preprint arXiv：1203.2987， 2012.
[18]Venkatesan P， Yamuna N R. Treatment Response Classification in Randomized Clinical Trials： A Decision Tree Approach[J]. Indian Journal of Science and Technology， 2013， 6（1）： 3912-3917.
[19]Patidar P， Dangra J， Rawar M K. Decision Tree C4. 5 algorithm and its enhanced approach for Educational Data Mining[J]. 2015.
[20]Webb G I， Zheng Z. Multistrategy ensemble learning： Reducing error by combining ensemble learning techniques[J]. Knowledge and Data Engineering， IEEE Transactions on， 2004， 16（8）： 980-991.
[21]Luo S T， Cheng B W. Diagnosing breast masses in digital mammography using feature selection and ensemble methods[J]. Journal of medical systems， 2012， 36（2）： 569-577.
[22]Kotti M， Benetos E， Kotropoulos C， et al. A neural network approach to audio-assisted movie dialogue detection[J]. Neurocomputing， 2007， 71（1）： 157-166.
[23]Maalej A， Amor B B， Daoudi M， et al. Shape analysis of local facial patches for 3D facial expression recognition[J]. Pattern Recognition， 2011， 44（8）： 1581-1589.
[24]Johannes. Logistic Model Trees[J]. Machine Learning，2005， 59（3）， 161-205.
[25]Birant D. Comparison of decision tree algorithms for predicting potential air pollutant emissions with data mining models[J]. Journal of Environmental Informatics， 2011， 17（1）： 46-53.
[26]Gupta S， Kumar D， Sharma A. Performance analysis of various data mining classification techniques on healthcare data[J]. International Journal of Computer Science & Information Technology （IJCSIT）， 2011， 3（4）.
[27]Powers D M. Evaluation： from precision， recall and F-measure to ROC， informedness， markedness and correlation[J]. 2011.
[28]Huang J， Ling C X. Using AUC and accuracy in evaluating learning algorithms[J]. Knowledge and Data Engineering， IEEE Transactions on， 2005， 17（3）： 299-310.
[29]Chen J， Tang Y Y， Fang B， et al. In silico prediction of toxic action mechanisms of phenols for imbalanced data with Random Forest learner[J]. Journal of Molecular Graphics and Modelling， 2012， 35： 21-27.
[30]Nakayama M， Hayashi Y. Prediction of recall accuracy in contextual understanding tasks using features of oculo-motors[J]. Universal access in the information society， 2014， 13（2）： 175-190.
[31]Lei J， Yang P， Zhang L， et al. Diagnostic accuracy of digital breast tomosynthesis versus digital mammography for benign and malignant lesions in breasts： a meta-analysis[J]. European radiology， 2014， 24（3）： 595-602.
[32]Fawcett T. An introduction to ROC analysis[J]. Pattern Recognition Letters，2006，27（3）： 861-874.