科学计量学方法在预研基金绩效评价中的应用研究

开篇：润墨网以专业的文秘视角，为您筛选了一篇科学计量学方法在预研基金绩效评价中的应用研究范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要:对预研基金绩效进行评价已成为预研基金管理的一个紧迫任务。论文将科学计量学方法引入到预研基金绩效评价中,构建了合理的预研基金绩效评价框架,明确其需求、可行性及过程。

关键词:科学计量学;预研基金;绩效评价

中图分类号:G31文献标识码:A文章编号:1009-3044(2010)13-3555-03

Research on Application of Scientometrics to evaluation of Pre-research Foundation's Achievements and Effects

PAN Li1, LIU Yun-jie2, ZHOU Wen3

(1.Management and Economy Academy, Beijing Institute of Technology, Beijing 100081, China;2.The forth Aviation College of Air Force, Shijiazhuang 050001, China;3. Department of Command, Zhenjiang Watercraft College, Zhenjiang 212003, China)

Abstract: It's a very pressing task for management of the pre-research foundation to evaluate its achievements and effects. The paper uses the scientometrics method to construct reasonable frame for evaluation of pre-research foundation's achievements and effects, and ascertains its requirements, feasibility and process.

Key words: scientometricss; pre-research foundation; evaluation of achievements and effects

科技预研基金(以下简称预研基金)是为科技创新发展设立的专门性基金,旨在通过基金制形式,开展具有基础性、前瞻性的新思想、新概念、新原理、新方法的探索研究,为国家科技的发展提供基础性研究成果,增强科技发展后劲。经过20余年的发展,我国的预研基金制度取得了很大成就,在国家科技经费管理、优化资源结构、引导公平竞争、加快青年人才培养等方面发挥了积极作用。因此,如何科学、合理地评价预研基金取得的成效,提高预研基金项目在立项、验收以及效果评价等环节的科学性与合理性,提高预研基金的完成质量,切实使预研基金更好地继续为科学技术发展服务,是当前预研基金管理工作所面临的重要课题。但是,迄今为止,国外对预研基金项目绩效的定量评价研究尚不多见;我国对预研基金项目完成情况的评估研究还较为零散,缺少一个公认的、系统权威的评估方法。而目前常用来评价预研基金绩效的同行评议方法也还存在很多不足之处,如同行评价的公正性和准确性严重受制于专家的学识、品质和态度,共识决策及有限经费助长保守的思考和选择,过高的业绩权重和知名度影响不利于年轻科学家脱颖而出,评审成本较高等等。

为此,论文试图将科学计量学方法引入到预研基金绩效评价中,基于科学计量学方法构建合理的预研基金绩效评价框架,通过提供量化的评估标准和量化的决策依据,科学、公正、客观地评价预研基金项目的效果,以加强预研基金面上资助项目的后期管理,通过绩效评价促进创新并扩大优秀研究成果的显示度与影响力,切实发挥预研基金为科技发展的导向、引领作用。

1 预研基金绩效评价的需求

1.1 预研基金绩效评价的定义

对于预研基金来说,绩效是“绩”和“效”的合成,即成绩和效率,是基金项目成果与过程的综合反映和体现。“绩”指基金结果是否达到预先设定的目标,主要任务是否完成,完成得怎样,侧重反映基金的结果;“效”则指完成基金的效率,侧重反映基金完成过程[1]。由此可见,绩效包括两部分内容:与基金相关的组织行为以及这些行为所产生的结果。

而本文所讲的预研基金绩效评价是从宏观层面对预研基金研究成果的整体评价,目的是综合评价一段时期内预研基金的研究成果,找出其中存在的质量或制度问题,并提出改进预研基金管理制度的建议或措施,本质上是一种预研基金的管理绩效评价。预研基金绩效评价是预研基金项目管理中的一个重要环节,是为了切实加强科技预研基金项目的管理,以绩效评价促进预研基金创新,并通过评价发现现有预研基金在立项、验收和后期应用中存在的问题,为预研基金管理改革提供量化的决策依据,促进预研基金制度健康良性的发展,切实发挥其为我国科技的发展提供基础性研究成果、增强科技发展后劲的作用。

1.2 预研基金绩效评价的内容

预研基金绩效评价主要是对一段时间内预研基金的数量、质量和费用进行的评价,评价的中心是对预研基金成果质量的评估,包括对预研基金完成质量的评估和潜在价值的评估。

预研基金绩效评估内容必须紧贴评估目标,由于本文研究的预研基金绩效评估主要面向预研基金管理工作,目的是提高预研基金管理质量和效率,进而促进预研基金质量的提高。而提高管理效率需要从以下方面着手:①一段时间以来总投入与总产出的关系如何;②质量与费用有没有必然联系,是增加费用还是减少费用;③质量与时间跨度有没有必然联系,需不需要调整预研基金完成时间;④各个学科的完成质量如何,需不需要对某些学科增加投入;⑤各个完成单位总体的完成质量如何,是否需要调整今后的完成单位;⑥完成人的情况与完成质量有没有必然的联系,完成人的学历、职称、年龄、人数等对完成质量有何影响。为此,预研基金绩效评价需对以下内容进行评估:

1)预研基金投入-产出评估

预研基金投入-产出评估主要用于评估预研基金总的投入与总的产出之间的关系。总投入包括对预研基金经费、时间、完成人员等的投入,总产出包括与基金相应的数、著作数、申请专利数、培养人才数、基金成果潜在价值、基金成果被引用次数等等。通过预研基金的投入-产出评估,明确一段时期内预研基金的总体质量与总体投入情况,可以了解预研基金的发展趋势,为今后预研基金总的发展提供方向性意见。

2)预研基金质量-费用评估

预研基金质量-费用评估用于评估基金投入费用与成果质量之间的关系。通过预研基金的质量-费用评估,明确基金成果质量与投入费用情况,可以了解预研基金完成质量与费用之间的联系,为今后预研基金经费调整提供量化的依据。

3)预研基金质量-时间评估

预研基金质量-时间评估用于评估基金完成质量与完成时间之间的关系。通过预研基金的质量-时间评估,明确基金成果质量与完成时间情况,可以了解预研基金完成质量与时间之间有无必然联系,为预研基金完成时间的调整提供量化的依据。

4)预研基金质量-学科评估

预研基金质量-学科评估用于评估基金完成质量与学科之间的关系。通过预研基金的质量-学科评估,可以明确预研基金各学科的质量分布情况,为预研基金在学科之间的调整提供量化的依据。

5)预研基金质量-完成单位评估

预研基金质量-完成单位评估用于评估基金完成质量与完成单位之间的关系。通过预研基金的质量-完成单位评估,可以明确各完成单位预研基金的质量分布情况,为预研基金在完成单位之间的调整提供量化的依据。

6)预研基金质量-完成人评估

预研基金质量-完成人评估用于评估基金完成质量与完成人之间的关系。通过预研基金的质量-完成人的评估,可以明确预研基金的质量与完成人之间的关系,为预研基金应该交给什么样的人员来完成提供量化的依据。

2 科学计量学方法应用于预研基金绩效评价中的可行性分析

2.1 科学计量学方法

科学计量学(Scientometrics)是借助有关科学文献产生、传播和利用的定量数据,试图描述科学以及研究活动特征的学问,是对科学进行定量研究的学科,它借助科学计量学指标,运用数学方法来计量科学研究的成果,并对科学活动进行分析与评估[2]。科学计量学指标是标示科学研究的深度、广度和影响度等的一组信息,其基础是现有科学文献数据库所存储的大量数据以及其他各类与科学相关的数据。

科学计量学试图通过定量方法寻找科学活动的内在规律或准规律,并为更有效率地开展科研活动提供指导。下面列出几个典型的科学计量学问题:

1)科学研究的生产率问题;

2)通过科学计量学方法和指标预测学科发展趋势和确定资助重点;

3)通过科技产出指标进行科研绩效评估;

4)用科学计量学方法和指标研究科技人才和科技教育问题。

从科学计量学出现以来,它的调查研究和分析结论就一直被广泛应用到有关科学和科研的方方面面,比如预测科学的发展趋势、评价科学潜力的状况、分析科研状况的发展、评估和比较科研的水平、动向等许多方面,已经成为科学技术事业宏观政策管理和微观管理的重要依据,在科学创新体系中具有非常关键而重要的影响。

2.2 科学计量学方法在预研基金绩效评价中应用的可行性

评价一个方法是否适用于某个领域的研究,需要对方法的适用领域和领域的特点两个方面入手分析。从科学计量学方法的适用领域和预研基金绩效评价的特点来说,科学计量学是非常适合应用于预研基金绩效评价的。因为:

一方面,预研基金定位于基础研究和一部分探索性强的应用研究工作,其质量指标很大程度上可以用预研基金的数、著作数、申请专利数、培养人才数、基金成果潜在军事价值、基金成果被引用次数等来衡量,而这些指标大多是客观存在并且是可以度量的,基于科学计量学方法构建合适的指标体系和评价模型对预研基金的绩效进行评价是科学的、可行的、合理的。另一方面,科学计量学方法在管理绩效评价中的局限性对于本文所研究的预研基金绩效评价来说都不存在。首先,由于本文研究的绩效评价是从宏观角度对一段时期内预研基金的综合评价,所以科学计量学方法对单个项目评估的局限性[3]可以有效避免;其次,本文所依托的预研基金项目设有专门的数据采集组,专门负责对近5年来预研基金的相关数据采集,且数据源直接来自于预研基金的管理部门,数据齐全,具有很高的可信性,对科学评估预研基金绩效具有重要作用;最后,本项研究并不对预研基金的各个学科进行简单的横向比较,更多的是学科内的纵向比较,通过比较获得学科内的质量分布情况,即使是横向比较也是在衡量潜在价值的基础上进行相对性比较,避免学科间在不同层面上简单比较。

综上可以看出,将科学计量学方法应用于预研基金绩效评价是可行的,评价结果也是科学的、客观的,有助于加深对预研基金发展内在规律的认识,从而为预研基金管理工作和预研基金政策制定提供参考和指导。

3 基于科学计量学方法的预研基金绩效评价过程

使用科学计量学方法对科学活动进行分析与评估的步骤是:首先根据科研管理实践的要求或该学科本身发展逻辑的需要发现并提出问题;然后分析问题并确定使用哪些科学计量学指标:接下来进行数据采集工作;最后分析数据、构建科学计量学模型并对计量结果进行解释。

据此,基于科学计量学的预研基金绩效评价的过程可以分为如下6个步骤:整个过程如图1所示。

1)确定评价目标

预研基金绩效评价作为预研基金项目管理中的一个重要环节,其目标是从宏观层面对预研基金研究成果的整体评价,找出其中存在的质量或制度问题,并提出改进预研基金管理制度的建议或措施,为预研基金管理改革提供量化的决策依据,促进预研基金制度健康良性的发展,切实为科技的发展提供基础性研究成果、增强科技发展的后劲。

2)提出评价需求

主要包括预研基金投入-产出评估、预研基金质量-费用评估、预研基金质量-时间评估、预研基金质量-学科评估、预研基金质量-完成单位评估和预研基金质量-完成人评估等。

3)构建绩效评价的科学计量学指标体系

基于评价目标和评价需求,按照“投入-产出-结果”逻辑构建分层次、可操作的预研基金绩效评价指标,采用定量与定性相结合、问卷调查与专家研讨相结合的方法,进行评价指标体系优化设计。

4)数据采集

依据评价需求和评价指标,收集近5年来预研基金项目的相关数据,包括项目名称、学科类别、完成单位、负责人、完成时间、资助经费、完成论著、、申请专利、应用情况、获奖情况、人才培养情况等。为了提高数据收集的效率,我们特意建立了预研基金绩效评价专用的数据库,开发了数据录入系统。

5)构建绩效评价的数学模型

基于多指标综合评价法建立指标权重的计算模型和评价函数,结合数据包络分析(DEA)方法构建相对有效性指标计算模型,以多指标综合评价法得出的绩效评价值为基础,结合DEA模型建立绩效评价值的修正模型,有效克服多指标综合评价法和DEA模型的局限性[4]。为了提高绩效评价的效率和可靠性,我们还依据上述数据模型,开发了相应的计算机程序,负责对录入预研基金绩效评价数据库的数据进行处理、分析和计算,以得到科学、准确的结果。

6)分析绩效评价结果

按照基于科学计量学方法的预研基金绩效评价方法,对近5年预研基金项目数据进行实证研究,按照排序-频度、时间-序列、投入-产出排序等分析方法分析评价结果,提出对当前预研基金管理制度等方面进行优化和改进的建议。

4 结束语

从科学计量学的视角系统地分析预研基金管理情况,系统性、全面性,把理论与方法的应用有机地结合起来,研究预研基金管理绩效评价问题,并通过科学的绩效评价,提出成功经验、改进建议,是一项跨学科、跨领域、跨层次的交叉与综合的研究,是对预研基金管理问题研究的一个新尝试。它不但可以提高预研基金管理的效率和成效,还可为其它基金的绩效评价提供可以借鉴的经验。

参考文献:

[1] 马辉,杜亚灵,王雪青.公共项目管理绩效过程评价指标体系的构建[J].软科学,2008,22(7):49-53.

[2] 马强,陈建新.科学计量学方法在科学基金项目管理中的应用[J].科学学研究,2001,19(3):78-83.

[3] 马强.科学基金项目管理绩效评估方法研究[D].华南理工大学,2000.

[4] 王晓红,翟爱梅,王雪峰.使用DEA结果修正的多指标综合绩效评价方法[J].哈尔滨工业大学学报,2009,41(8):103-106.