杨道玲:电子政务工程项目绩效评估:体系与方法

来源:信息化研究部   作者:杨道玲   时间:2014-06-18

【摘  要】电子政务工程项目绩效评估是加强电子政务工程项目管理的重要手段。本文首先介绍了评估对象的选择标准以及评估目标、原则,提出了基于“产出—效果—管理”三层次模型的评估指标体系,形成了一套较为可行的工作流程和评估方法,并在H省工程项目绩效评估实践中进行了验证和完善。

【关键词】电子政务工程项目  绩效评估  项目管理

 

1.     研究背景与意义

2002年,国家信息化领导小组决定“把电子政务建设作为今后一个时期我国信息化工作的重点,政府先行,带动国民经济和社会发展信息化”。十年来,我国各级政府电子政务工程项目建设累计投入数千亿。花费巨资投入的电子政务工程项目能否真正取得预期成效,已成为政府和社会各界普遍关心的问题。而绩效评估是指导电子政务健康发展的有效指挥棒,在这方面,国内外学者做了较为深入的研究。

从理论层面看,国外学者在电子政务工程项目绩效评估领域的研究主要集中三个方面:第一,成因和对策研究,强调电子政务工程项目绩效评估的重要性,分析电子政务工程项目绩效评估面临的挑战及对策。第二,评估框架研究,采取事后评估方式建立电子政务工程项目绩效评估框架。第三,评估指标体系研究,从经济、质量、用户、影响力等方面构建指标体系。相比而言,国内研究总体上还处于起步和探索阶段,主要集中在三个方面:第一,现状、问题及对策研究,探讨电子政务工程项目绩效评估的影响因素,分析电子政务工程项目绩效评估面临的问题并提出相应对策,设计电子政务项目评估管理软件。第二,绩效评估模型研究,尝试构建电子政务项目绩效管理的基本模型。第三,绩效指标体系和方法研究,提出电子政务工程项目绩效评估的概念框架,基于项目立项、项目成熟度、项目审计、项目层次等某一方面来进行指标体系构建,提出神经网络综合评估方法、层次分析法、模糊层次分析法、德尔菲法、粗糙集法、数据包络分析法等评估方法。

从实践角度看,强调服务效果成为国外电子政务项目评估的主导趋势。如加拿大政府提出以结果为基础的项目绩效评估体系。美国政府在2002年推出了电子政务绩效参考模型(PRM)之后,最近从用户参与度、使用度和用户满意度三个方面重新设计了评估指标。而国内,当前我国电子政务评估主要集中在面向部门或地区的电子政务综合性评估以及政府网站绩效评估,而电子政务工程项目绩效评估的实践相对较少,现实中往往是以项目验收取代后评价和绩效评估。除海南等少数地方信息化主管部门尝试进行项目绩效评估外,国家主管部门尚未形成较为成熟的项目绩效评估指南或方法。

管理学大师彼得·德鲁克指出:“不能衡量则无法管理”。电子政务工程项目绩效评估体系的缺失,使我国电子政务建设在评估监控环节上相对薄弱,进而使整个管理过程实际上处于一种无有效监督的状态。这种情况导致各级政府在连续几年的巨额投入后,难以说清电子政务建设到底是否达到了预期效果。对此,国家有关主管部门已经开始意识到开展绩效评估的紧迫性,《“十二五”国家政务信息化工程建设规划》指出,“有关部门要抓紧研究制定国家政务信息化工程效能评估指标体系,在项目验收阶段和投入运行后对工程项目进行效能评估,评估结果作为项目验收和后续项目建设立项的重要参考。”《国家电子政务“十二五”规划》指出:“国家电子政务发展面临新的环境和要求,正处于转变发展方式、深化应用和突出成效的关键转型期……加强对规划执行情况的监测、评估、督导和工程项目动态跟踪及实施效果评估”。 因此,开展电子政务工程项目绩效评估研究,既是电子政务理论研究的重要课题,更是落实有关政策文件要求、解决工程项目管理实践难题的迫切需要。

2. 评估范围、目标与原则

作为对电子政务工程项目建成之后的成效进行“后评价”,为保证评估结果的客观性,参评电子政务工程项目的确定需具备这样几个条件:第一,应是地方财政投资建设或中央转移支付建设的电子政务工程项目;第二,应是建成并完成验收的项目,在建项目不纳入评估范围;第三,为确保应用效果评估的客观性,项目验收后应有一年以上的应用期。

开展电子政务工程项目绩效评估,主要是达到三个目的:一是摸清重大电子政务项目建设现状,为电子政务主管部门科学决策提供参考;二是形成一套电子政务工程项目绩效评估指标体系,以及行之有效的方式和方法;三是通过开展绩效评估,探索建立跟踪评估电子政务项目绩效的长效机制,切实提高电子政务项目建设的实效。

根据上述目标,评估工作在实施过程中应把握如下原则:第一,加强领导,统筹协调。地方信息化主管部门作为绩效评估工作的领导单位,有效进行组织协调,强化评估工作的全过程管理,充分发挥参评项目单位的积极性、主动性,做到统一组织、统一思想、统一标准、统筹推进。第二,客观公正,科学透明。坚持定性评估和定量评估相结合、主观评估和客观评估相结合,充分发挥评估指标的导向作用,积极探索政府主导、第三方专业机构执行、专家组参与的评估模式,增强评估方法和评估过程的透明度,保证评估结果的科学性、合理性、客观性和公正性。第三,持续改进,逐步完善。电子政务工程项目绩效评估是一个不断改进和逐渐完善的过程,要继续深化对电子政务工程项目绩效评估体系的实践检验,不断优化评估体系,完善实施方案,调整评估方法,健全评估保障措施,加强评估工作的制度化、规范化和标准化建设,实现评估机制的自我完善和良性循环。

3. 评估模型与指标体系设计

绩效评估重点关注三个方面的问题:一是项目是否按要求完成相关建设任务;二是建成后的应用效果怎么样;三是该项目是否具有可持续应用发展能力,即分别对应产出、效果和管理三大评估模块(如图1)。

1 绩效评估关注三大模块示意图

围绕这三个评估模块,设置项目产出、效果、管理三个一级指标,相应设置11个二级和26个三级指标。其中:

项目产出绩效主要从项目建设功能目标角度,综合反映项目建设目标的完成程度。重点考察项目预期的功能模块是否按计划完成建设,以及项目整改完成情况。以达标性指标为主,包括建设任务完成情况、整改目标完成情况两个二级指标。其中,建设任务完成情况是从系统建设的功能模块完成情况以及完成及时率等方面进行考察;整改目标完成情况是对依据项目验收意见的整改完成情况的考察。

项目应用效果主要从系统使用效果的角度,综合反映项目应用成效。重点考察系统应用性能、系统对政务业务的支撑程度,以及系统使用所产生的直接或间接经济社会效益等。以效果性指标为主,包括系统应用性能、系统使用情况、业务支撑情况、共享协同情况和系统应用效益五个二级指标。其中,系统应用性能从系统功能可用性、易用性和稳定性角度进行考察;系统使用情况考察系统目标用户群体对系统的使用比率;业务支撑情况考察该系统对政务业务的支撑广度和深度;共享协同情况考察该系统对促进部门内部业务以及跨部门相关业务之间的信息共享和业务协同的情况;系统应用效益从系统对业务流程优化、提高行政效率、降低行政成本以及直接或间接经济社会效果方面进行考察。

项目管理主要从项目全程管理合规性角度,综合反映项目管理的规范性和系统可持续发展能力。以合规性指标为主,包括立项管理、建设过程管理、使用和运行管理以及资金管理四个二级指标。其中,项目立项管理考察立项规范性和绩效目标明确性;建设过程管理重点考察项目招投标采购、监理和验收三个环节的合规性;使用和运行管理主要考察系统使用、运维和安全管理的合规性;资金管理主要考察资金使用合规性、资金节约情况以及运维资金投入情况。

具体指标体系及权重设置如表1所示:

1 电子政务工程项目绩效评估指标体系

一级指标

二级指标

三级指标

指标解释

产出

13分)

建设任务完成情况

8分)

实际完成率5分)

项目实际产出数与计划产出数的比例,用以反映项目产出目标的实现程度。

完成及时率3分)

项目实际提前完成时间与计划完成时间的比例,用以反映项目产出时效目标的实现程度。

整改完成情况

5分)

整改内容完成率5分)

依据项目验收意见的整改完成情况比例,用以反映项目建设的完善程度。

效果

62分)

系统应用性能

11分)

系统功能可用性4分)

所建成的系统界面和功能操作设置是否可用。

系统功能易用性3分)

系统界面和功能模块设计友好、合理、美观,便于使用。

系统稳定性4分)

系统的性能稳定情况,通过系统出错率来反映。

系统使用情况

7分)

系统用户使用率7分)

目标用户群体对该系统的使用比例,用以反映用户对系统的使用程度。

业务支撑情况

20分)

业务支撑广度10分)

系统对政务业务支撑的广度。

业务支撑深度10分)

系统对政务业务办理流程支撑的深度。

共享协同情况

8分)

内部共享协同度4分)

本系统与部门内部其他系统的共享协同情况,用以反映系统的内部共享协同能力。

外部共享协同度4分)

本系统与其他外部部门的业务系统的共享协同情况,用以反映系统的跨部门共享协同能力。

系统应用效益

16分)

优化业务流程4分)

系统对促进内部业务流程优化重组的作用是否明显。

降低办理成本4分)

系统对促进降低业务办理成本的作用是否明显。

提高行政效率4分)

系统对促进提高业务行政效果的作用是否明显。

系统的经济社会效益4分)

系统运行对增加经济社会效益的作用是否明显。

管理

25分)

项目立项管理(5分)

立项规范性(2分)

项目申请、设立是否符合相关要求,用以考察项目立项的规范情况。

绩效目标明确性(3分)

项目所设定的绩效目标是否依据充分,是否符合客观实际,项目绩效目标是否清晰、细化、可衡量,用以考察项目建设目标是否明确。

建设过程管理

6分)

项目招标合规性2分)

是否按照项目招标采购有关规定执行。

项目监理合规性2分)

是否按照项目监理有关规定执行。

项目验收合规性2分)

是否按照规定组织验收并出具验收报告。

使用和运行管理

7分)

系统使用管理2分)

是否有系统使用管理的有关手册和用户培训。

系统运维管理2分)

运维管理制度、组织机构、人员是否符合要求且有效运作。

系统安全管理3分)

考察系统的安全保障能力。

项目资金管理

7分)

资金使用合规性(2分)

资金使用是否符合有关资金管理文件要求。

成本节约率(3分)

完成项目的实际成本与项目招标金额相比的节约比例,用以反映项目的成本节约程度。

运维资金稳定性2分)

运维资金投入是否稳定。

               (注:每一项三级指标还应有详细的计算公式和评分细则,本文限于篇幅,不再展开)

4. 评估工作流程及方法

    4.1 工作流程

电子政务工程项目绩效评估工作的一般流程分为四个阶段:

第一阶段:设计指标体系和调查问卷。该阶段需要完成的工作有:(1)开展评估前的调研摸底工作,充分了解本地区电子政务项目建设基本情况;(2)根据指标框架,设计适应本地电子政务实际的指标体系,并依据指标体系,设计评估调查问卷。(3)组织由信息化主管部门、研究机构、参评单位构成的专家组,对指标体系和调查问卷进行研讨,根据专家意见进一步修正和完善。

第二阶段:采集指标数据。该阶段需要完成的工作有:(1)下发指标体系和调查问卷;(2)召开评估工作宣传动员会议,召集参评单位参加指标数据采集填报培训,阐述开展评估工作的重要意义及结果应用措施,充分调动参评单位的积极性;(3)工作组要随时解答数据填报中出现的问题。

第三阶段:数据核实与评分。该阶段需要完成的工作有:(1)回收调查问卷,进行数据录入与汇总;(2)组建专家评分工作组,选择熟悉电子政务工程项目建设管理工作的相关研究人员、一线工作者组成专家评分工作组,对参评项目进行现场核实与评分;(3)专家组就参评项目评分进行讨论,形成最终评分表和排名。

第四阶段:结果分析阶段。该阶段需要完成的工作有:(1)根据参评项目评分情况,完成参评项目绩效评估分报告。报告要逐一分析每个参评项目在每一个指标上的得分情况、成绩与问题,并提出改进意见和建议;(2)在参评项目分报告的基础上,汇总完成地区参评电子政务工程项目绩效评估总报告;(3)全面总结评估工作经验,研究分析存在的问题,提出下一步继续开展评估工作的思路与建议。

具体实施流程如图2所示。

2 评估流程图

4.2 关键方法说明

1、数据采集方法。指标基础数据采集首先采取调查问卷法,各参评单位按期填报调查问卷。通过比对和梳理参评项目建设单位在提交问卷同时所报送的立项审批文件(含经审批的项目需求说明书、项目建设合同等)和项目验收文件复印件或扫描件等证明材料,对调查问卷中的合规性数据进行核查,并梳理出现场核实的重点和问题。

2、现场核实方法。首先由项目建设单位简要介绍项目建设和系统使用情况,并按照指标要求汇报数据填报情况。然后专家组根据汇报内容,结合前期对填报问卷和相关材料的比对梳理结果,提出质询,项目建设单位逐一举证和演示来进行回复。各专家分别结合问卷填报和现场质询核实的情况,对各项指标进行初步评分,并在评分表上签字确认。

3、综合评分方法。全部参评项目初步评分结束后,对每一位专家的打分情况进行汇总,召开专家组内部会议,对所有参评项目按照指标逐一进行讨论,对个别评分差异较大的指标,由各位专家充分阐述意见,然后由专家组组长结合专家意见确定最终得分(一般采取专家加权平均法计算最终得分),最后汇总得出参评项目的总分。

5.应用案例:基于H省的实践

5.1 评估实施情况

为进一步加强电子政务工程项目管理,提高电子政务系统应用成效,H2013年正式启动全省电子政务工程项目绩效评估。受H省工业和信息化厅委托,国家信息中心成立专项课题组,笔者全程参与了该省电子政务工程项目绩效评估工作。按照前文提出的指标体系和评估方法流程,圆满完成了评估工作任务。

根据参评电子政务工程项目绩效评估得分情况,结合H省电子政务工程项目建设现状,将绩效得分分为“优秀”(90分以上)、“良好”(75-90分)和“及格”(60-75分)三个等级。本次参评的12个项目中,“优秀”等级2个,占比16.67%;“良好”等级8个,占比66.66%;“及格”等级2个,占比16.67%。参评的12个电子政务工程项目绩效评估平均得分为82.58分,总体处于“良好”等级。其中,参评项目管理绩效、产出绩效、效果绩效得分率分别为83.36%77.69%82.16%。总体上看,管理绩效和效果绩效表现较好,得分率均高于80%,这与参评绩效总体处于良好等级是一致的。产出绩效得分率则相对较低, 需要进一步改善。课题组针对每一个参评项目,分别出具了评估分析报告,对该项目的指标得分情况、主要成效、问题及改进建议进行了详细说明。

5.2 实践经验

本次绩效评估工作组织有序、实施高效,在较短的时间内高质量地完成了评估任务。验证了上文提出的指标体系和方法流程。有以下几点工作经验值得总结推广:

1)建立了统筹协调、分工明确的组织体系和工作机制。本次评估工作是在H省工信厅的领导下,由H省信息中心组织实施的。国家信息中心课题组作为第三方,负责具体执行工作,各参评部门高度重视和全力配合,指派1名熟悉电子政务系统建设工作的同志担任填报员,负责调查报告的填报和联络等工作,整个流程配合默契。

2)开展了动员培训,充分调动参评各方的积极性。为组织好评估工作,H省工信厅发布了《关于开展2013H省电子政务工程项目绩效评估工作的函》,召集各参评项目单位有关人员参加培训,提高了参评部门对绩效评估工作的认识,确保了较高的数据填报质量,为评估结果客观真实奠定了坚实基础。

3)现成了一套比较科学合理的指标体系。本次绩效评估指标设计充分借鉴了国内外电子政务工程项目绩效评估指标体系,同时结合H省特色和电子政务项目发展现状,既能客观反映项目建设绩效,又能引导项目健康发展的核心指标体系。专家评审组一致认为该指标体系“具有较强的科学性、合理性和可操作性”。

4)探索了一套操作性较强的评估方法流程。为了保证评估过程的客观性,工作组建立了一整套包括数据采集、现场核实与评分在内的评估工作方法流程。实践结果证明,这样的评估方法和流程总体上具有较强的可操作性。

5.3 问题及下一步改进重点

同时,提供实践也发现两个方面的问题。一是评估对象选取还需进一步细化,由于参评项目的类别不一,造成评估标准不宜把握、评估结果差异较大的问题;二是指标体系和评估方法还需进一步完善。个别指标设计和值域设置尚不完全符合参评项目实际情况,特别是部分定性指标评分标准过于固化,还有待进一步调整完善。为此,下一步将重点在如下方面进一步深化研究。

第一,对参评对象进行分批分类。电子政务工程项目涵盖范围广,不仅包括应用系统建设项目,还有基础设施建设项目,以及软硬件升级改造类项目等,不同类型项目的指标考核重心和要点都各不相同,在选择参评项目时需要做到区分。此外,同一年度参评项目要注意投资规模大体一致,避免过于悬殊。如果存在项目投资规模悬殊的情况,也可考虑按项目投资规模划分等级,在指标考核要点和难易度方面进行区分。

第二,指标体系需进一步优化。一是本文提出的指标体系主要适用于电子政务应用系统建设项目,对于其他类型建设项目尚需进一步完善指标。二是项目合规性指标需进一步细化,明确考核要点,以便更好指导和引导各部门项目立项建设管理。三是财务考核指标需强化。项目审批和经费拨付关系紧密,且资金多少与绩效也极为相关。需进一步细化财务指标,以规范项目经费使用,防止工程领域腐败情况发生。四是效果指标要更明晰。目前效果指标的主观定性成分较多,需要结合项目建设目标,进一步划定这类指标的考查细则,适当约束专家组打分的自由空间,确保效果指标更贴近实际。

第三,工作机制需进一步探索。一要建立较为稳定的专家组。在绩效评估工作启动之初就组建专家组,特别是在参评对象选取、指标体系设计和现场核实评分等环节,充分发挥专家组集体决策的智慧,确保关键环节科学可靠,评分结果真实准确。二要建立健全绩效评估结果应用机制。建议将各参评项目评估结果择机通报,并将评估结果作为建设单位申请下一年度信息化工程项目或申请财政运维经费的重要参考。三要探索建立绩效评估长效机制。通过不断积累电子政务工程项目绩效评估工作经验,完善评估工作保障机制和流程,探索制定地方电子政务工程项目绩效管理办法,引导和推动电子政务工程项目建设健康有序进行。同时注重评估结果的长期跟踪、对比,以反映各部门电子政务工程项目后续绩效改进情况及存在的短板,切实提高电子政务项目建设的实效。

(国家信息中心信息化研究部  杨道玲)

(原文刊发于《电子政务》2014年第5期

参考文献

[1] Esteves,J., & Joseph,R.(2008).A comprehensive framework for the assessment of e-Government projects   Government Information Quarterly , 25,118-132.

[2] Foley, P., & Alfonso, X. (2009) . E-Government and the transformation agenda, Public Administration, 87, 371–396.

[3] Andersen, K. V., & Henriksen, H. Z. (2006). E-Government maturity models: Extension of the Layne and Lee model. Government Information Quarterly, 23, 236?248.

[4] Mates,P., & Lechner.T., et al.(2013). Towards e-Government project assessment: European approach.Zb. rad. Ekon. fak. Rij,31,103-125

[5] Grimsley,M., & Meehan,A.(2007). Anna Tan. Evaluative design of e-government projects:A community development perspective. Transforming Government: People,Process and Policy, 2, 174-193.

[6] Sarantis,D., Smithson,S. , et al.(2010). A Critical Assessment of Project Management Methods with Respect to Electronic Government Implementation Challenges.Systemic Practice And Action Research,23,301–321.

[8] 赵豪迈 ,白庆华. 电子政务悖论与政府管理变革[J]. 公共管理学报, 2006,(1): 34-39.

[9] 徐少同.中国政府信息化项目绩效评价体系优化研究[J].电子政务,2013(3)

[10] 周朝旭.电子政务项目评估软件的设计与实现[D].云南:云南大学,2010

[11] 彭细正.电子政务项目绩效管理研究[J].电子政务,2009(04):95-99

[12] 潘春林. 政府信息化项目绩效评价指标及模型[J]. 中国集体经济,2011(1):57-58.

[13] 王进,吴前锋.电子政务建设项目后评价研究与实践[J].电子政务,20118):83-91.

[14] 胡勇,黄立军,徐耀铛,周建文. 中外电子政务项目绩效评估体系研究[J].情报杂志, 2008(07):131-134

[15] 彭细正,张达科.电子政务项目管理与绩效评估[J]. 计算机与信息技术, 2006(11): 93-94.

 

 



主办单位:国家信息中心 京ICP备05063309号 技术支持:中国经济信息网

地址:北京市西城区三里河路58号 邮政编码:100045 电话:010-68557000 传真:010-68533919