科技计划项目验收评估体系的实证研究

开篇：润墨网以专业的文秘视角，为您筛选了一篇科技计划项目验收评估体系的实证研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

[摘 要]本文在工作实践中结合具体情况,通过定量与定性评估相结合的方式,采取同行评议法、层次分析法和回顾分析法相结合的评估方法,对我国科技计划项目验收评估和执行情况评估进行了综合分析,结合实际操作,重点研究了科技计划项目验收评估的指标和权重等内容。并提出了加强科技计划项目绩效评估的对策建议。此项研究对当前我国科技计划项目中后期评估工作有一定的指导及参考意义。

[关键词]计划;项目;验收;评估;

Abstract : In this paper ,through the practice of acceptance check evaluation, Take quantitative and qualitative assessment,peer review law, the level of analysis and retrospective analysis of combined assessment method, analysis to the scientific and technological projects acceptance check evaluation and performance evaluation.Focus on researching the indicators and weights of the scientific and technological projects ex-post evaluation by practice.And table proposals on Strengthening science and technology projects in the acceptance check evaluation.Have a Guide and reference value to China's scientific and technological projects Ex-post evaluation.

Key words : planning;projects; acceptance check ;evaluation;

科技计划评估是政府科技投入决策与管理的重要依据,对计划项目的评估包括了从立项、实施和结果或者影响的各个阶段。项目验收评估指项目结束后,对计划目标完成情况、成果结论、效益、作用和影响进行评估,检验项目完成后与项目立项时指标的一致性,以及能否在市场上应用,为新的资金支持提供决策依据。

科技计划项目验收评估是科技计划管理和项目绩效管理的关键环节,是根据项目任务书内容,对研究项目的完成情况进行评估。做好科技计划项目的验收评估工作,了解科技计划项目的执行进度、资源使用情况、目标任务的完成程度和存在问题,是科技计划管理工作的重要环节,是保障科技计划项目的顺利实施,实现计划目标的重要手段,对促进科技计划执行的有效性具有积极的作用。

我国的科技计划项目验收是指由验收单位按计划任务书或所规定的验收标准和方法进行测试、评价,并做出结论,本来是鉴定的前提,后因验收与鉴定的目的不同而脱离出来,相对于鉴定,项目验收活动开展得较少,或将二者合二为一。这两种评价活动一般都是由项目管理方(立项部门)来完成的,验收中的专家评审过程也大体与鉴定一致。由于验收工作不受重视,存在着评价内容简单、定性评价结论不准确、缺少定量评价指标等问题,立项部门即是项目管理方,又是评估方,验收通过率高,很少有不能通过验收的项目。而国外发达国家一般都是通过立法来保障项目绩效评价工作,并通过第三方中介机构实施的,故效果很好,保证了项目的完成。

我国1990年代后期在科技管理中引入科技计划立项评估机制后,科技评估活动在全国各省市逐步开展起来,主要以科技计划项目立项评估为主。2003 年5月,科学技术部、教育部等部门联合印发了《关于改进科学技术进行评价工作的决定》。同年 9 月,科学技术部印发了《科学技术评价办法》(试行)。这两个文件规定,对重大科学技术项目要求实行全程评价,包括立项、中期评估和结题验收,并可根据需要在项目结题2至5年内进行绩效评价;一般性生产技术项目评价应侧重立项评价和结题验收。此后,“国家高技术研究发展计划(863计划)”和“国家重点基础研究发展计划(973计划)”等计划项目的中后期评估纳入到计划管理环节,交由第三方――评估机构来完成。2008年,黑龙江省也首次开展科技计划项目的验收评估,完成了14项国家“十五”863计划引导项目的验收评估工作,效果很好,得到了科技部火炬中心的认可;此后,又对黑龙江省重点科技成果推广计划项目进行了验收评估,共有27个农业项目、9个工业项目通过了验收,评估结果为计划项目管理部门对下一轮项目决策提供了很好的反馈支持。

一、评估方式

验收评估主要依据有关评估规范和验收规范来操作。从实际操作上来看,验收评估一般采取同行评议来选择专家,主要包括实地考核、材料审阅、现场答辩和会议形式的讨论,并以定量和定性的方式给出验收评估结论意见。其中定量的方式主要考核取得成果和专利、论著、经费决算、以及取得的技术指标和经济指标。国家“十五”863计划引导项目和黑龙江省科技成果推广计划项目的执行情况评估工作就是严格按照上述方式实施的。评估活动遵循客观公正和科学规范的原则,参考计划评估典型案例,在充分利用已有信息基础上,综合运用案卷分析、数据统计、专利分析、座谈调研等多种方法,系统采集计划项目执行的有关信息。采集并分析了执行总结报告、计划拨款、统计数据、执行者队伍、企业参与情况、成果和专利产出等,重点对项目实施状况、组织实施及效果、取得专利及其效果、企业参与状况及其效果等关键问题进行了评估分析,评估结果说明该方式达到了分析诊断、决策参考、完善管理的评估目的,体现了突出重点、兼顾总体,面向需求、面向决策的特点。

二、评估方法

科技计划验收评估方法主要有两种:一种是综合指标体系评估的方法,即以定性和定量相结合的分析方法为主要手段,构建定性指标和定量指标相结合的评估指标体系及评估模型,评估计划目标实现的程度和实施效果的优劣分析;另一种是以数学模型为基础,强调严格的定量指标和计算方法,用于评估投入产出的情况。对一些大的评估项目,往往会针对评估问题的特点专门设计一套评估方法。如美国对日本和德国超导材料电力应用项目的评估、法国对阿丽亚娜火箭项目的评估等。用于科技项目评估的方法很多,但是每一方法都有一定的适用范围,注重方法之间的互补性,根据不同项目情况灵活使用,才能有利于提高评估的质量。

同行评议法是某一或若干领域的专家采用同一种评议标准,共同对涉及相关领域的某一事项进行评价的活动,是目前世界各国在做评价工作时最常用的方法。设方案Ai的指标因素bj的得分为aij。通过加权平均法计算Ai方案的综合评价值的公式如下:

为权系数,满足层次分析法(Analytic Hierarchy Process,简称AHP法)是美国运筹学家A.L.Saty于20世纪70年代初提出的定性和定量分析相结合的决策分析及综合评价的方法。通过专家调查,构建层次指标权重判断矩阵,并计算各指标的赋值,对主观判断作定量描述,是管理决策科学中非常实用、具有很大发展前途的一种方法,适用于处理多目标、多层次、多因素的复杂系统问题 。

三、指标体系

项目验收评估指标一般包括:计划目标完成情况、研究成果情况、应用前景、人才培养情况、资金和资源使用情况、创造效益(包括科学价值和社会效益)情况等。1991年经合组织发展援助委员会(OECD/DAC)首先提出项目中后期评估的指标体系,包括相关性、效果、效率、影响和可持续性等5大评估指标。日本在进行项目后期根据研究开发的目的、性质、方式、规模、时间等因素,评估课题的意义、目的、目标、方法和资源(人才和资金等)分配是否合理妥当。评估指标主要有:目标达成度情况、研究成果及扩散效果等。韩国对项目中后期评估的内容还包括:项目是否落后和重复、与其他项目的集成情况等。

我国的科技计划项目验收评估指标,以863计划为例,863计划课题验收评议指标包括:研究内容的完成情况、技术指标的实现情况、计划进度的执行情况、研究成果的水平、研究成果的应用前景、项目组织管理情况、人才培养情况、技术资料的完整性、经费使用的合理性、资产使用和管理情况等。专家评议时,针对这些内容分别给出定性和定量的意见,其中“经费使用的合理性”和“资产使用和管理情况”两项指标的评议内容只能由财务专家填写。分值分布情况,如表1所示。

通过此次863计划引导项目的验收评估,以及之后的推广计划项目验收评估,提出修正后的科技计划项目验收评估指标还应考虑:项目已取得的科学价值、经济效益、社会效益、生态效益情况等;应用性项目及其相关产品是否能够形成立项时预期的市场竞争力,公益性项目能否发挥出立项时预期的社会效益;项目实施过程中技术问题等目标任务的解决与开发推广的结合程度。科技计划项目验收评估指标体系P,如表2所示。

具体一些重点指标的权重,“成果水平”、“应用前景”、“已应用或开况”、“经济效益”、“预算执行和经费使用”、“固定资产使用和管理”在项目验收的各项指标中属于关键内容,应为一级权重。其中“预算执行和经费使用”、“固定资产使用和管理”两项指标可根据有关资料给出较为准确的评价意见,“自筹经费占项目总经费比例”和“购置大型设备的共享程度”是主要量化指标;“成果水平”指标不易给出准确、具体的评价结论,其定性评价主要是通过在国内外同类技术中进行比较得出的。取得的论文论著、专利、调研报告,取得的新产品、新品种、新工艺、新设备、新标准等现在可以得到量化统计,通过文献计量法进行评估后,只要根据一定的数据指标赋分值就能够实现准确评价。

四、工作体会与建议

1.通过第三方的事后评估,建立了有效的计划项目监督管理机制,促进了科技计划管理工作的规范化、科学化,增强了项目验收的公正性。

2.开展计划项目后期评估,改善了以往科研“重立项,轻结果”的局面,提高了科技投入资金的资助质量和效益,强化了科技计划项目的信用管理意识,对促进科技计划执行的有效性起到积极作用。

3.开展计划项目后期评估,可以将项目管理全过程的成功与不足置换成项目管理知识,对项目管理提供以“项目后期评估”知识为依据的决策支持,为下一步的科技计划安排和资金预算提供了依据。

4.当前科技计划项目中后期评估工作存在的主要问题就是计划执行情况和验收评估不受重视,计划项目中后期绩效评价机制缺少政府的强势推动。从发达国家的绩效评估实践看,必要的立法支持是确保计划绩效评估法制化、制度化、规范化的重要保证。要明确科技计划评估的任务导向,进一步完善科技计划项目绩效评估制度建设。

5.加强科技计划从立项、执行情况和验收全过程的评估服务和研究,尽快建立综合的、可操作性强的科技计划评价体系。通过验收评估和绩效评估的实践,感到如果有完善的项目中期评估机制,评估时间再充裕一些,评估的效果会更好。

尽快转变政府的职能,改变现行的科技项目评审中政府既是政策的制订者,又是政策的执行者和监督者的做法,由社会中介机构或专门的专业机构来对科技计划项目进行评估,完善科技计划项目评估制度并给予立法保障,是科技计划管理工作贯彻落实科学发展观的当务之急。只有用科学发展观引导科学评价观,合理地将科技计划项目评估向项目的中后期评估、成果评估、绩效评估等方面延伸,强化计划项目的合同制效力,提高项目执行的质量和实施的效率,才能使成果的创新性得到保证,使科技计划管理工作更加科学高效,全面、协调、可持续的发展。

参考文献:

[1]科学技术部,教育部,中国科学院,中

国工程院,国家自然科学基金委员会.

关于改进科技评价的决定[S].2003.

[2]科学技术部.科学技术评价办法(试行)

[S].2003.

[3]彼得・罗西,霍华德・弗里曼,马克 ・李

普希.项目评估―方法与技术[K] .邱泽

奇,译.

[4]Jan-EricFurubo, RayC . Rist, Rolf

Sandahl,刘世威,译 . Internationnal Atlas

Evaluation (内部资料)[Z].2001.

[5]方衍. 国外政府评估:以史为鉴,洋学

中用(内部资料)[Z].2007.

[6]OECD. Evaluation of Research.1997. [7]肖利,乐慧兰.迈向新世纪的日本科技

评估[J].科学对社会的影响,2002,(2).

[8]方衍. 日本、韩国科技评估的实践及其

经验借鉴(内部资料)[Z].2003.

[9]Werner and Souder .Measuring R&D

performance-U.S. and German practices

[J]. Research Technology Management,