商业银行内部评级模型验证研究
开篇：润墨网以专业的文秘视角，为您筛选了一篇商业银行内部评级模型验证研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要：风险计量模型在现代银行风险管理工作中扮演着重要角色。但是由于种种原因，模型输出可能与业务实际存在差异，进而给银行运营带来负面影响。为了控制和消除这种差异，保持模型的有效性，商业银行有必要建立系统的模型验证制度来监控模型表现能力。
中图分类号：F830.33 文献标识码：A 文章编号：1001-828X（2013）07-0-02
风险计量模型的应用为银行风险管理工作提供了强有力的工具，但是，由于模型的复杂性、数据清洗和样本筛选不当、变量分布特征的误判、风险驱动因素考虑不够全面、模型环境发生变化等方面的原因，可能会导致模型风险，对银行经营活动产生负面影响。因此，商业银行应该通过制定相应的模型验证制度来监控模型表现能力，控制模型风险。
一、模型验证的内容与标准
广义的模型验证范围包括银行的内部评级体系，比如部门分工、模型开发应用流程、IT系统环境等。对于单个模型而言，验证主要包括以下内容：
1.理论基础审查和数据审查。统计理论和经济理论是建模的逻辑基础。在理论选择的过程中，可能发生一些概念或逻辑错误。银行必须对这些理论进行审查，或者通过行外专家的认可。数据是建模的基础，如果数据存在着错误，即使其他建模过程都是正确的，得到的模型质量也无法保证，因此必须对建模数据进行独立审查。
2.模型假设审查。建模经常会使用各种假设。这些假设可能来自各种金融理论，也可能来自银行的内部研究。但无论如何，银行应该将这些假设和实际情况进行比较，并随着外界形势的变化，对相关假设进行调整。
3.程序审查和结果审查。为了保证运算程序的正确，银行最好选择经验丰富的编码专家逐行进行检查，并与其他的模型结果进行对比，保证输出结果准确、易于理解。
根据巴塞尔新资本协议，信用风险度量模型有三个重要判断标准：①准确性。这是指模型输出和实际情况的偏差要小，这是对模型最根本的要求。②一致性。是指模型在不同行业、不同地区间的一致性。例如，具有相同信用等级的制造业客户和金融业客户应该具有相同的违约概率。③稳定性。即模型表现在不同时间段内尽可能一致，以便保持业务连续性。
二、模型定性分析
定性分析是对模型开发理念、适用条件、变量逻辑关系、参数设定等方面的考察。模型架构与计量对象的一致性、业务定义的合理性、风险因素的全面性、参数估计的合理性、模型的可操作性等，都是定性评价的重要内容。由于模型的构建往往是建立在数据分析上的，开发人员往往会犯两类错误：一是尽力将所有可能的风险因素都包含在模型当中，导致参数个数超过由样本规模与所用结构决定的上限，引起过度拟合问题。二是过多的重视量化关系，忽视实际业务含义。实践中，在定性分析时要特别注意充分发挥业务专家的作用。
三、模型定量验证
根据验证依据的不同，模型验证一般包含返回检验和基准测试。
1.返回检验
返回检验是通过统计工具比较实际值与模型输出之间的差异来评价模型效果的一类方法。由于以实际生产数据为基础，返回检验能够比较准确的评估模型性能。但是，返回检验的应用条件比较高，其结论的准确性不仅依赖于验证方法的科学性、合理性，也依赖于数据质量的高低。如果可以获得足够的历史违约债务人/债项样本数据并能够保证一定的数据质量要求，就可以对模型进行返回检验。
2.基准测试
基准测试是以设定标准为依据来评估模型性能的。常用的基准有：（1）使用第三方估值模型，例如标普或穆迪有关模型，或其他商业银行使用的模型等，比较所用模型与外部模型的估计结果；（2）比较专家经验判断与模型估值来评价模型；（3）将模型输出与市场中能够反应信用质量的指标进行比较，如股票价格，债券点差，或信用衍生品的风险溢价等。
四、定量验证方法
1.CAP曲线和AR值
CAP曲线（Cumulative Accuracy Profile）是常用的衡量风险模型的验证方法之一，它描绘了各个评分（或评级）结果下，累积违约客户比例和累积客户比例之间的关系。
为了画出CAP曲线，需先根据模型的结果，自高风险（差评级别）至低风险（好评级别）对评级客户进行排列，对于横坐标客户总数定的比例。纵坐标描画风险评级分数小于或等于横坐标x中的违约个数百分比。一个有效的模型应在样本客户同一排除率的情况下，排除更高百分比的坏客户。图1为CAP曲线示意图：
在完美的模型下，CAP曲线会是一条斜率为（1/违约率）并且停留在1的水平线。这时，所有表现差的客户都排在左边，表现好的客户都排在右面。图中最佳曲线就是这种情况。如果模型完全没有区分能力，CAP曲线会是一条45度的直线（图中随机曲线）。此时，模型无法区分客户的好坏，违约案例随机分布在所有客户中。
具有合理预测能力的模型通常介于最佳曲线和随机曲线之间，如图中待验证评级模型曲线。这表示该模型会给多数表现差的客户较低的评分，而给多数表现好的客户较高的评分。在少数情况下，也会给表现差的客户较好的评分，而给表现好的客户较低的评分。CAP曲线越接近左上角，模型预测能力越好。
为了度量模型区分能力，人们通常使用AR值这一指标。AR值被定义为模型的CAP曲线和45度线间的区域与完美曲线和45度线的区域的比率。计算公式为：
不难看出，AR值是一个介于[0，1]之间的值，AR值越高，模型的区分能力越强。但是，如果AR值过高，比如达到0.9，也可能意味着模型存在过度拟合的问题。根据各国银行业实践，AR值达到0.6以上即可认为模型表现良好。
2.K-S检验
KS检验主要是为了验证模型的区分能力，通常是在模型预测全体样本的信用评分后，将全体样本按正常户和违约户分成两组样本，然后用KS统计量来检验这两组样本信用评分的分布是否有显著差异。
有效的模型应能区别出违约户和正常户之间的差异，违约户的评级分配应当不同于正常户的评级分配。当两个样本累积相对次数分配的差异非常接近，且差异为随机时，则两样本的评级分配应为一致；反之当两样本的评级分配并不一致时，样本累积相对次数分配的差异会很显，如图2所示。另外，KS检验也常用来选择有预测能力的单变量。一般认为，KS值达到0.5以上即可认为模型可以接受。
3.等级相关系数
等级相关系数是一种较简易模型验证方法，属于非参数分析方法。一般地，对于非连续数据数据、非正态分布或分布类型难以判断的对象，或者只能以严重程度、名次先后等定出等级的对象，通常需要使用等级相关系数来衡量模型效果。
相关系数取值范围为-1～+1，大于0表示变量之间为正相关，小于0为负相关，绝对值越接近1表示相关性越大。通常来说，绝对值小于0.5表示相关性偏低。
Spearman系数计算公式为：
在这里，Ri是数据Xi的序，Si是数据Yi的序，是Ri的均值，是Si的均值。
4.均方误差 （MSE： Mean Square Error）
均方误差是常用的统计指标之一，用来测量估计值对实际值的偏离程度。MSE的定义如下：
其中，YAi为实际值，YBi为预测值，N为样本数目。
均方误差是对估计值可靠性的估计。由于均方误差简便、易用，因而得到广泛应用。需要注意的是，均方误差强调的是数据之间的数量差异。由于客户违约与否在统计上常常用0、1来表示，并且PD模型验证更多地关注的是预测结果是否与实际结果具有实质意义上的趋同性，而不需关注二者在数量上的差异。因此，均方误差对于PD模型验证是不适用的。
5.二项检验
二项检验可以让我们比较二分类变量的构成比是否与假设值不同。二项检验的一个重要应用条件是，事件的结果只有两类对立结果且事件相互独立。在内部评级体系中，PD类模型具有这样的特征。因此，二项检验是PD模型验证的重要方法。在使用二项检验时，双边检验要求模型结果必须位于置信区间内，单边检验则测试每一评级的实际违约率是否在此置信水平对应临界值的上界之下。
6.置信区间检验
给定一个债项分类方式（如按估计LGD大小划分等级、按债项地区分类、按担保形式分类等等），为了判断LGD模型对每个类别的LGD均值估计的准确性及其与该类别实际LGD之间的偏差是否可以接受，我们可以对分类方法中的每一个类别单独进行估计均值的置信区间检验。
假设某个类别或等级的验证样本来自一般总体Y（代表该类别或等级的分布总体），总体的均值为，方差为，那么根据中心极限定理有
设该类别或等级LGD估计均值为。
双侧检验（t检验/Hoeffding检验）的目的是检验和是否一致，在给定的显著性α水平下，估计均值对实际均值的偏差是否可以接受。
单侧检验（t检验/Hoeffding检验）目的是检验是否足够保守，在给定的显著性水平α下，估计均值是否显著高于实际均值，估计足够审慎。
以上介绍了几种常用的模型验证方法。实际上，模型验证方法远不止这些，其他统计分析方法，如转移矩阵、赫芬达尔指数、对数似然率、检验、蒙特卡罗模拟等，在实践中都有广泛应用。
模型验证需要多年的数据积累。因此，银行应该提前进行长远规划，并建立或改进信息管理系统。规划要考虑与违约概率、违约损失率及违约风险暴露等数据的协调，以提高数据积累的效率。有条件的银行，还应该根据规划，对以前年度的数据进行整理和完善。同时，加强模型验证方法研究和验证制度建设，完善模型运行IT系统坏境，持续改进模型验证质量。
参考文献：
[1]王胜邦，陈颖.新资本协议信用风险的建模、计量和验证[M].上海：上海远东出版社，2008.
[2]梁世栋.商业银行风险计量理论与实务[M].北京：中国金融出版社，2009.
[3]詹原瑞.银行内部评级的方法与实践[M].北京：中国金融出版社，2009.
[4]武剑.内部评级理论、方法与实务：巴赛尔新资本协议核心技术[M].北京：中国金融出版社，2006.
[5]Basel Committee on Bank Supervision， 2005， Study on the Validation of Internal Rating System.
[6]Bernd Engelmann， Robert Rauhmeier： The Basel Ⅱ Risk Parameters， Springer Berlin Heidelberg New York，2006.
[7]Roger M Stein.Benchmarking Default Predition Models： Pitfalls and Remedies in Model Validation [R]. Moody’s KMV，New York，2002.
作者简介：邱作文（1975-），男，博士后，国家开发银行。