考评中采用了类似的方法,即通过熟悉科技项目(课题)各方人士填表的方式,取得考评分值,综合评价科技项目的绩效。
具体做法是:根据考评指标体系,分别设计用于课题考评和用于项目考评的两套表格。课题考评表有四类,分别由课题负责人、项目负责人、考评专家和考评组织方填写;项目考评表也有四类,分别由项目负责人、主管该项目的政府部门处室、考评专家和考评组织方填写。
项目(课题)任务书、验收报告、审计报告等资料,是填写考评表有关内容的依据,考评组织方填写的结论和数据,则取自验收报告和审计报告。综合评价前确定各表中同一指标分值的权重,在进行综合评价时,对于不同表中同一指标分值的处理,根据指标性质取其加权平均数。
3.评价标准的建立
科技项目绩效评价标准是以一定量的有效样本为基础,测算出标准样本数据,用以衡量和评价科技项目的绩效水平。由于国内对科技项目绩效考评尚处于起步阶段,不可能采用或通过修订已有的计划标准、历史标准或经验标准来建立评价标准,只有进行实测,建立初步的标准之后,再逐步修订完善。在建立科技项目的绩效考评中,有必要按项目类型,建立适应各类项目的考评标准体系。
建立科技项目绩效考评的评价标准的程序为:(1)选定一定数量的项目样本;(2)确定评价指标体系中各指标权重、确定项目与课题相对重要性权重、确定同一项目各课题的相对重要性权重;(3)组织试填考评表,综合计算项目考评分值;(4)分析综合考评结果与实际情况是否相符、若相符,则确定标准;(5)当考评结果与实际情况不尽相符时,修改考评表设定有关分值项、重新试填考评表,重新计算,再分析结果,直至考评结果与实际情况相符为止,从而确定考评标准。
4.评价指标的确定
我们设计的绩效考评指标体质包含多个评价指标,它们对评价结果影响程度的大小被称为评价指标的权重,可以采取排序法、层(级)次分析法、专家直观判断法来确定各评价指标的权重。三种方法可以单独运用,也可以综合运用。
指标排序法,是按照设计的评价指标体系的级次,分级制定评价指标排序表,由专家根据主观判断对指标影响程度大小进行由大到小的排序,再根据设计的指标排序分值,分级进行统计和归一化处理,最终计算出各级次指标的权重。
层(级)次分析法,先确定衡量指标重要程度差别的定量标度,再按设计的评价指标体系的级次,分级确定进行指标重要性两两对比判断的矩阵,请专家在矩阵中填写指标对比判断后的标度值,经过归一化处理和统计计算,最终得出指标的权重。
专家直观判断法,是请专家根据自己的经验和知识,对绩效考评指标体系的各级次指标,按其重要性程度直接给出权重分值,再采用数学平均法处理专家分值,对分值进行归一化处理,即得指标的权重。