基于多维度定性定量分析的培训效果评估体系研究
开篇：润墨网以专业的文秘视角，为您筛选了一篇基于多维度定性定量分析的培训效果评估体系研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！
摘要：培训评估是建立培训质量管理体系的重要环节。近年来，福建省电力公司培训中心利用教育培训管理系统建立了以学员为主体的反应层评估（一级）、以培训师为主体的学习层评估（二级）、以委培单位为主体的行为层评估（三级）三个层次的培训效果评估体系。以2011年评估数据为依托，通过定性、定量分析培训数据，总结如何发挥培训评估的诊断功能，增强培训效果评估工作的有效性和科学性，为培训质量管控提供有力的支持，切实保证培训质量和效果。
关键词：评估；培训质量；学员；培训师；委培单位；评估反馈
作者简介：陈大凤（1963-），女，福建上杭人，福建省电力有限公司培训中心副主任，高级讲师；林宇（1972-），女，福建福州人，福建省电力有限公司培训中心教培管理部，高级讲师。（福建福州350009）
中图分类号：G726 文献标识码：A 文章编号：1007-0079（2012）09-0024-02
培训效果的评估是培训管理体系的核心环节，其有效开展可对培训项目实施的全过程做出科学、准确的分析和判断。近几年来，福建省电力公司培训中心利用人资管理系统，通过对已完成培训项目的评估，总结培训组织管理中的成功经验，发现存在的问题和不足，不断提出改进意见，使新的培训项目更加完善，更具有针对性和有效性。
一、以学员为主体的反应层评估
反应层评估是测定学员对培训的满意程度。评估的主体是参培学员，在培训结束后学员直接在人资管理系统上，通过问卷调查形式收集学员对于培训项目效果的反应。从培训内容先进性、针对性、实用性、培训方式、培训组织、教师教学能力、效果总体评价等七个维度，系统评价培训的整体效果。通过定量和定性指标比对评估数据库，深入分析评估结果，是寻求教学培训质量“短板”的重要手段，为培训各方提供有价值的培训反馈信息。2011年度，在249期培训班中开展了培训效果评价，共评价了1154项培训课程，48358人次参加测评。纵观收集到的数据，可以从以下几个方面进行分析。
1.定量分析
（1）维度评价指标对比。将学员重点关注的培训内容针对性、教师教学能力、培训方式、效果总体评价等四个维度的统计数据进行分类整理，将评分为“好”及“很好”的学员占总参评人数的比例的统计结果用直方图进行对照（如图1）。
从学员反馈情况来看，培训内容总体效果好，培训组织好，各项指标均能达到96%及以上。从横向比对看，学员对采用的培训方式的满意度偏低，培训师的教学能力也有待提高。根据评估结果分析图，今后要加强培训师的教学教法的培训，采用集体备课、观摩教学等方式改进培训方式，提高学员满意度。
（2）多类别单一评价指标对比。根据实际培训专业构成，将年度培训班按照专业划分为班组长、技能人员、党校、供电所长、综合等五大类培训班，对“培训内容针对性”指标的统计数据进行分类整理，将评分为“好”及“很好”的学员占总参评人数比例的统计结果用直方图进行对照（如图2）。
培训学员对“培训内容针对性”评价结果总体满意，平均值为98.31%。横向比对，综合类培训的针对性有待加强，培训中心需加强与综合类主办部门的沟通，及时反馈学员信息，搭建培训交流的平台，拉近主办方与学员的距离。
2.定性分析
反应层评估在设计量化打分的同时，还在人资管理系统的评估功能上，设计了培训学员对培训的意见与建议。2011年度，收集到教学服务类意见、建议857条。其中肯定意见670条、改进意见34条。绝大多数学员对培训中心的教学表示认可。对培训表示满意。同时，培训学员对培训效果寄予很高的期望，希望培训能够针对性解决实际工作中遇到的问题。对培训教师提出了更高的要求。加强对实际问题的关注，注重案例式和体验式教学，让学员成为课堂的主体。
3.评估指标体系的科学性
评估效果是对各评估指标的信息综合。评估结果是否客观、准确，依赖于被综合的对象――各评估指标的信息是否准确、全面和有代表性；依赖于评估指标的选取和评估指标体系的设计是否合适，可见，评估指标体系是否科学，直接影响到综合评估的结论。
（1）评估指标体系设计合理性。根据《国家电网公司培训项目质量管理暂行办法》中的反应层评估方案“《培训项目反应评估和改进意见书》（一级）”的要求，福建省电力公司培训中心对培训质量满意率、综合服务满意率、建议与意见等实施定量评价。涵盖师资水平、课程内容、教学服务、后勤服务等评价，指标全面，反映了培训课程、培训教学、培训管理、培训管理等各个层次。在学员评价上采用量表形式，设置五个等级做基本的区分：5―很好、4―好、3―一般、2―差、1―很差；简单清晰，易于学员操作。
（2）数据全面性。为了保障数据的真实性，福建省电力公司培训中心利用“人力资源管理系统”的信息化平台，要求每个培训学员用本人身份证号在培训后登陆系统，在人资系统上进行培训满意率和后勤服务满意率评估，并将学员的参评率纳入送培单位的考核指标，每个评估人员亲自登陆系统进行评估，建立评估数据库，保证了评估数据的最大化。避免由于“以偏带全”导致评估分析的误差。
（3）数据客观性。培训评估必须尊重客观实际，科学、准确、真实地反映对象的全貌。福建省电力公司培训中心依靠信息化平台建立的评估系统，完全采用了“背靠背”模式，一般人员无法获取学员信息与评估结果的对应关系，改变了学员采用填写纸质评估表格的模式，打消了学员的顾虑，保证了数据的客观性。特别是在教学的相关意见和建议上，更多学员愿意在信息平台上发表自己对培训的感受，为培训教学和后勤服务献策献言，特别是针对评估指标的深度分析，利用定性分析数据与定量数据进行比照，使评估结论更具有说服力，提升培训质量控制决策的精准性。
二、以培训师为主体的学习层评估
学习层评估是测定被培训者的学习获得程度。它是测量受训人员对原理、技能、态度等培训内容的理解和掌握程度。培训师通过考试、操作测试等方法来了解受训人员对知识以及技能的掌握情况。在评估中主要是应用考核成绩进行分析，与一级评估相比，二级评估建立在学员的考核成绩上，具有更强的客观性，深入二级评估是优化培训师对培训效果进行自我评价的一个重要途径。福建省电力公司培训中心开展的学习层评估主要应用于技能人员的持证上岗培训。
1.定量分析
在学习层评估中，培训考核分为应知和应会两个部分。培训师针对考核成绩分别对最高分、最低分、平均分、合格率等指标进行定量分性，对学员知识技能的掌握度及与原因进行分析。通过各个成绩分数段的饼图来分析学员的培训效果。从2011年度统计数据来看：应知部分的整体考核成绩理想，达到了预期效果。应会部分的考核成绩大多由2至3门技能考核成绩综合取得，成绩段的分布特点是“中间大、两头小”。能取得高分的学员并不多，但大部分学员能达到基本要求，说明技能水平的提高和标准化作业习惯的养成更有赖于在作业现场长期持续地培养和训练。
2.定性分析
培训师根据学员考核成绩和培训情况，针对每个知识点和技能点的掌握度和原因，进行自我剖析。对教学实践所运用的教学设计、教学方法、教学资源、教学过程、教学效果进行反思，以实现教学的自我纠偏。优化调整培训内容，合理设置培训项目，着力提升技能培训的针对性和实效性。从2011年度的评估分析来看，事故处理和分析能力成为各专业学员掌握的难点，培训师应进行针对性地加强。
3.评估侧重点
（1）培训师关注度。学习层评估是培训师连续不断的自我反思、自我教育、激发内在动因的过程。通过自我评价，教师可以提醒自己的职责范围，也可以评价本人目标的达到程度、教学技能的改进程度和知识的增长程度。分析能力强的教师，在自我评价时善于纵向思考、横向对比，能通过现象看本质，能从复杂的反馈信息中寻到自己最为薄弱的环节。若培训师对评价结果分析的重视程度不高，常会出现同一课程，评价雷同。尤其是培训师只关注当期培训，缺少对以往课程的结果横向比对，评估效果不佳。
培训管理者应积极鼓励教师积极参与评价过程和进入角色，增强教师的主人翁意识。提高评价结果的客观性、可信性和有效性。若仅仅根据学员或他人提供的信息和数据，来判断一位培训师的工作难免有失公正，在这种情况下，培训师提供“自我画像”的评价机会就显得十分必要。
（2）过程关注度。对一门课程教学效果的评价，对课程来说是结果评价，但对整个教学实践来说则是过程评价。重视过程的评价更应重视学员培训的反馈信息。从回忆学员的培训表现开始，到反思教师行为的科学性与艺术性，再到提升培训内容、培训案例的适用性与针对性。这些行为评估所总结的教育智慧是教学实践的产物，也是优化教学实践的强有力的智力支撑。
三、以委培单位为主体的行为层评估
行为层评估在学习层评估的基础上进行。行为层评估是培训学员的直接主管对学员在培训后（3-6个月）运用所学内容使其行为改善程度的定性评估，主要内容包括所学知识技能实际应用的使用频率、为学员解决工作中的问题提供的实际帮助、对学员的工作效率的提高、单位的制度与文化对学员使用所学的知识技能的支持度、对培训目标达到的程度评价等五个维度的评价指标。2011年度在8个专业的持证上岗班级中开展了三级评估工作。利用各维度的统计数据做出直方图进行比较分析（如图3）。
可以看出，送培单位对培训效果反映好，各项指标值在89%以上。绝大部分送培单位对培训目标达到的程度评价为满意。认为培训内容与实际工作契合度高，对现场工作帮助大，达到了培训目标。学员所学内容与实际工作契合度高。同时，需要通过培训，学员在工作效率方面得到更高的提升。建议通过加强培训中的标准化作业培训，强化学员的行为习惯等方式来实现。
培训中心建立在第三方（即培训学员的直接主管）上的行为评估，注重以企业适应性为导向，参照《国家电网公司培训项目质量管理暂行办法》中的行为层评估方案，利用“人力资源管理系统”的信息化平台，要求每个培训学员主管用本人身份证号在培训后登陆系统，“背靠背”的评估模式保证了数据的真实有效，定量的五分制评估和定性的意见和建议反馈相结合，充分体现了委培单位对培训的需求。
四、建立以培训各方为主体的评估反馈系统
建立评估的长效机制，致力于评估后的工作改进，必须具备完善的反馈系统，确保评估报告确定后，能及时在企业内进行传递和沟通。健康的评估机制主要应进行以下几个层面的反馈：一是培训学员及培训学员的直接主管：及时培训成绩，使他们了解培训的效果，以便在工作中进一步学习和改进；二是培训师：督促其积极研究与改进，不断提升和完善自我。三是培训主办方：他们可以决定培训项目的未来，优化和调整设计培训项目。四是培训管理者：肯定优点，指出不足，争取培训管理，后勤保障，培训服务等各部门对培训的支持。通过闭环管理提高培训效果，并在提高培训效果的基础上，逐渐提高培训标准，进而使企业培训真正进入良性循环。
五、结论
基于培训学员、培训师和委培单位的多维度定性定量分析的三级培训效果评估结果显示：2011年度培训质量的反映总体良好。培训学员希望采用更加丰富的培训形式；委培单位希望在培训过程中规范技能操作过程，形成良好的作业习惯，提高在现场的工作效率；培训师通过自我分析，对技能项目的教学过程实现了自我完善。经评估结果传递于培训各方的有效沟通，保障培训满意度评价体系的闭环运行，强化培训质量管理的有效性和穿透力。
参考文献：
[1]劳动和社会保障部,中国职工教育与职业培训协会.企业培训师培训教材[M].北京:新华出版社,2008.
[2]于鉴夫.ISO10015国际培训标准读本[M].北京:中国经济出版社,2004.