编者按:中央与地方各级财政对于公益性项目支出的效果评价,始终是个有争议的话题。从评价实践看,效果指标的明确性、针对性不够,可衡量度不高,评价结果带有较强的主观随意性,利益相关者参与程度不够等等问题不一而足。之所以会有如此现状,在于公益性项目所产生的效果并非短期经济效果,因而在衡量项目产出效果的过程中,难以做到客观、全面与精确。
为提升公益性项目效果评价的科学性,包括指标的明确性、可衡量度和客观性,国家林业和草原局全国林业预算资金绩效研究考评中心在长期研究与实践探索的基础上,推出了绩效清单评分法,令人眼前一亮。
在公益性项目效果评价中,初期的做法是与项目主管部门与项目承担单位充分沟通,梳理项目能够产生的主要经济、社会、生态效益,以此确定概括性较强的宏观指标和评判标准,再结合项目单位提供的绩效报告中的概括性描述及评价者现场调研情况,由绩效评价者进行主观打分。这样做的缺点在于评价过程主观随意性大,而评价结果缺乏说服力。
为解决这些问题,2014年,国家林业和草原局全国林业预算资金绩效研究考评中心(以下简称“中心”)经过认真研究,对项目效果的评价方式首次进行改进,采用关键事件法,参考项目关键业务活动所产生的典型事件的效果与影响,按照演绎法的逻辑来评价绩效目标实现程度。即在原有宏观笼统定性指标的内涵中增加典型案例予以佐证,丰富了指标内涵和具像性,增加了指标的可把握性和可衡量性。但是,项目效果指标的可衡量度、绩效评价报告的客观性和项目利益相关者的参与程度三大问题依然未得到根本解决。
为进一步解决这三大问题,在2016年度的国家林业局预算项目绩效评价工作的准备过程中,中心创新性地提出引入绩效清单评分法。
绩效清单评分法是先按照绩效评价指标体系中所设计4级指标分类列举典型例证,再将反映不同效果的4级指标及其典型例证以明晰的方式归纳、列示到表格中,编制形成不同效果的4级指标及其典型例证相结合的绩效清单,进而形成绩效清单评分表,供项目利益相关方——评价者(包括项目主管单位、项目实施单位和受益群众)对每一类效果进行评分。在项目利益相关方充分覆盖和符合统计学要求的原则下,通过科学选择、抽样,确定评分者,将绩效清单评分表发放给每个选定的评分者,由评分者对绩效清单内容进行评分,然后由项目绩效评价人员,汇总计算每个利益相关方的每一类效果评分结果(得分)的样本均值,以作为该效果指标对应的绩效得分。
绩效清单评分法的应用情况
中心首次将绩效清单评分法应用于2016年度“湿地监测与管理”的项目绩效评价报告中,并在2017年度绩效评价工作中进行沿用和优化。
首先,中心协同湿地保护管理中心着手开始项目效果的典型例证的搜集工作,起草了本项目绩效清单的初稿;随后会同财政部、国家林业局等管理部门赴云南纳帕海和拉市海等重要湿地监测项目进行了实地考察,与项目基层执行单位进行了深入的交流,在进一步了解了项目实施、管理、效益等情况的基础上,对绩效清单内容进行了修订和拓展。
在确定清单内容后,中心会同湿地保护管理中心将绩效清单评分表分别交由国家林业局、云南、贵州、江苏和湖北等地的湿地业务管理单位、各森林公园、湿地公园、自然保护区等项目实施单位和受益群众进行评分;经过中心对评分结果的汇总分析,将评分结果运用到了《湿地监测与管理项目财政支出绩效评价报告》的撰写中。
通过绩效清单评分法的应用尝试,可以总结其应用效果如下:一是通过评分表可以迅速直观地了解项目单位的工作效果;二是随着评分工作的持续开展,评分表能够使得工作效果在纵向上更有可比性;三是该评分工作能够同时完成项目相关方满意度的调查;四是通过控制绩效清单评分表的发放数量和方式,最重要的是可以得到具有统计学意义的项目相关方对项目效果的客观评价。借助项目效果指标的可衡量度和项目利益相关者的参与程度的提高,确实改进项目效果评价的客观性,促进绩效评价工作更加深入人心。
绩效清单评分法的创新意义
一是大大增强了项目效果指标的可衡量度。按照绩效清单评分法的要求,需要业务管理单位、项目实施单位和受益群众对这些定性指标及其相关的典型例证进行评分(百分制),然后,绩效评价者(专家组、中介机构等)根据业务管理单位、项目实施单位和收益群众对这些定性指标及其相关典型例证的数量化评分结果,进行汇总与综合评分,总体度量评判其实际效果。从而,使项目效果指标的可衡量度大为增强。
二是显著提高了绩效评价报告的客观性。按照绩效清单评分法的规则,需要业务管理单位、项目实施单位和受益群众等利益相关者参加评分,从根本上避免了单一方面评价的主观性,而显著增加了绩效评价报告的客观性。
三是充分扩大了项目利益相关者的参与程度。通过参与绩效清单的评分,利益相关者既能了解项目任务目标,又使绩效评价工作的意义和目的能够扩展到更宽的领域和更加深入的基层;既能使利益相关者明晰项目带来的效果,又能够通过他们的广泛参与,特别是通过他们参与项目建设、管理以及从项目获益的实践中,能够有利于总结出更多、更切合实践、更加能够说明项目效果的典型案例,甚至是更加细化、更加明确、更加科学的绩效评价指标。
四是进一步完善了绩效评价方法体系。
绩效清单评分法应用中的注意事项
在对绩效清单评分法的应用过程中,中心专家组根据遇到的问题和经验,总结了在应用中应注意的事项:
一是绩效清单评分法需要一定的条件,其中最主要的是利益相关者必须明确,如果利益相关者只是泛泛的“社会公众”则很难落实评分者,不易操作。
二是在样本选择上应尽量做到随机与利益相关者全面覆盖。
三是进一步提高受益群众参与的积极性,使绩效清单评分表尽量通俗化,并逐步采用匿名评分制。
四是调查评分组织方应与项目单位相互独立,以保证评分结果分析与应用具有客观独立性。
五是应该提早绩效清单的编制时间,以便调查评分组织能借实地考察或其他直接接触的机会完成清单的评分。此外,应在满足绩效清单评分法应用条件的前提下,进一步扩大其应用范围,在实践中积累更多的经验。(全国林业预算资金绩效研究考评中心)