构建国家开放大学信息化评价体系 | 数字校园
随着信息技术不断发展，信息技术已渗透到各行各业，并产生重大影响，尤其近几年对教育行业的影响日益凸显。国家开放大学作为一所技术与教育深度融合的新型大学，不断探索新技术在教育行业的应用。近年来，国家开放大学不断探索云平台、云教室以及学习平台等各种信息化项目的建设，每年投入信息化项目建设的费用预算占比逐年增大。经过多年信息化项目的建设和开展验收试用，收集用户对验收后平台使用意见，虽然国家开放大学一直在探索研究信息化项目立项和验收的流程规范并落地，但随着学校信息化建设项目规模日渐增大，项目的建设进度、项目质量难以满足实际业务需要。
信息化项目出现进度、质量和成本等问题是各单位信息化项目管理发展历程中必然阶段。项目存在延期交付、预算超支或质量不达标的情况，分析其原因发现，70%项目失败不是技术问题造成的，而是项目管理不到位引起。国家开放大学在信息化项目建设过程中同样存在项目延误、项目质量难以达到用户满意以及成本失控等项目管理的诸多问题。
信息化项目进度、质量、成本和建设内容等在项目推进中存在的问题，究其原因主要是是信息化建设项目推进过程中缺乏过程监控与评价。探索研究建设评价体系，强化项目管理，规范项目推进工作，总结项目经验，提升项目取得成效。通过建立评价体系，不仅能够改善当前信息化项目进度、质量和进度不可控的问题，减少项目需求频繁变更。信息化项目评价从项目的可行性分析到最终交付的全过程评价，既包括研究项目本身可行性分析，也包括分析项目建设的发展意义和战略的价值。
1
体系的价值与意义
信息化项目管理为保证项目能够按照客户预期交付，而针对进度、质量、成本等方面进行的管理与控制。设计国家开放大学信息化项目评价体系的主要目标是规范项目管理、加强项目过程控制、提升项目质量，保证信息化项目保质、按时、按需完成。评价指标体系的价值与意义：
1.缩短信息化项目工期
分析项目工期延长原因，改善工期延长的现状，针对项目进度设立合理的进度评价指标。监控跟踪项目完成情况，对比项目计划之间，按照项目里程碑分析项目推进落实计划情况，及时规避延期的风险。不断分析总结信息化项目进度评价数据，实现缩短项目工期。
2.提升信息化项目质量
通过建立信息化项目质量评价指标，及时了解信息化项目存在的质量缺陷，分析、识别项目存在的质量风险。如信息化项目出现偏离质量指标要求，进行风险防控，有助于项目质量的改善、提升。
3.加强信息化项目成本控制
建立信息化项目成本评价指标，分析信息化项目经济可行性、预算及实际费用进行分析，根据分析结果对项目成本进行相应调整，项目推进中有效控制成本，建立项目成员的项目成本意识，严格按照项目预算支出项目的成本费用。
通过建立信息化项目评价指标体系，反映信息化项目建设需求、进度、成本及质量等各个要素之间相互联系、相互制约的指标，用来检查、监督信息化项目建设情况。构建信息化项目评价指标体系，对信息化项目进行多维度考核评价，并根据评价情况总结项目建设经验，分析不足，提出改进意见，进一步做好信息化项目管理。建立信息化项目评价指标体系，需采用简单易行、可用、好用的评价方法，对信息化项目进行科学合理的评价，以便于项目评价体系的采纳和推广应用，切实促进学校信息化项目工作高效有序推进。
2
设计原则
信息化项目评价体系设计与实现需统筹考虑项目推进过程中的人为主观因素以及已有技术条件和环境等客观因素，从定性与定量两方面科学严谨进行评价信息化项目。建设项目平台指标体系，遵循科学、可操作和可评价等设计原则。为使国家开放大学信息化项目评价系统能够全面、客观、科学地衡量和评价项目，在研究和设计评价指标体系时，应遵循以下原则。
1.整体性原则
项目管理中十个重要管理方面，其中进度、成本、质量是最为重要的三个方面，其相互制约，不能孤立、片面进行考量，单一评价任何一个方面都是片面的、不科学。单一控制项目进度，而不考虑项目的成本与质量，往往容易造成项目虽然按期完成，但是项目成本超支严重，项目质量难以达标等问题。信息化项目评价整体统筹设计、系统考量，使评价体系设计更合理，避免顾己失彼。
2.科学性原则
评价指标体系在设计理论、方法和指标等方面均体现科学性，在评价指标的构建理论参考项目管理理论知识，考虑评价指标的科学合理性，指标体系细分避免重复和交叠，具体指标的定义避免二义性，独立而不冲突，能够科学真实评价信息化项目整体情况。
3.可操作性原则
评价体系具有可操作性才存在设计的价值和意义。可操作性要求评价指标定义易懂、简单而不繁琐，从实际出发，可切实指导信息化项目。评价指标简单要求而不繁琐，过于简单达不到评价的意义，而过于繁琐会让评价指标流于纸面难于应用。信息化项目指标设计既要考虑设计的可行性，更为重要考虑指标的可操作性。
3
体系的构建
1.设计思路
梳理信息化项目推进中存在的问题，针对项目管理中的建设内容、进度、质量和成本等核心要素建立评价体系。构建国家开放大学信息化项目评价体系，逐步确定评价范围、构建评价指标以及确定指标数据源：确定评价范围，包括项目评价阶段、领域等整体评价范围；构建评价指标，针对信息化项目建设内容、进度、成本、质量等评价内容设立相应的考核指标，并保证各个评价指标可考核、可度量，能够客观对信息化项目进行客观评价。针对评价指标的数据源进行分析与确定，保证信息化项目执行过程中评价数据源的有效获取与收集。
2.指标内容
依据信息化项目评价指标体系的设计原则，结合国家开放大学信息化项目现状进行分析研究，尝试提出信息化项目评价指标体系。该体系自顶向下划分为指标项分层划分三层：顶层称为目标层，第二层称为准则层，第三层称为指标层，具体如图1所示。
体系的准则层由项目范围、项目进度、项目成本、项目质量和项目团队五个准则指标构成，每个准则内容又由具体指标项构成。指标体系中各指标具有含义及评价内容。
项目范围是项目整个建设的内容，由四个指标组成，其具体的评价内容为：可研分析是评价项目是否进行可行性研究以及可研报告完成的内容是否完整、可研报告是否进行专家论证；需求分析是项目是按照项目需求要求进行分析、是否有需求分析报告、需求分析报告内容是否完整、准确以及需求分析是否经过需求评审等内容；项目设计是项目是否按照需求分析报告进行概要设计和详细设计、设计是否合理可行以及设计是否通过评审等；控制范围是项目是否进行需求确认、项目范围是否进行变更管理以及项目是否防止需求蔓延等。
项目进度是评价项目推进进度的完成情况，由四个指标组成，其具体的评价内容为：项目立项是评价项目是否符合立项要求、是否进行立项审批以及立项审批具体意见进行完善；项目执行是项目是否按照项目计划执行、完成相应的阶段性工作要求；项目验收时评价项目是否开展相应的验收组织、是否邀请业务部门参与验收以及验收材料是否完整等；控制进度是评价是否对项目进度出现的问题采取有效的措施、是否进行进度风险分析和控制。
项目成本是评价项目推进成本的完成情况，由四个指标组成，其具体的评价内容为：项目预算是评价项目是否进行项目预算申请、是否通过预算审批；项目估算是评价项目是否按照需求进行询价、是否进行项目费用估算以及估算结果是否合理；项目结算是评价项目是否及时进行项目费用的结算、项目费用结算是否准确无误；控制成本是评价项目是否按照预算费用、费用增加是否进过变更审批流程、增加费用是否在合理范围等。
项目质量是评价项目推进以及项目产品完成情况，由三个指标组成，其具体的评价内容为：管理质量是评价整个项目推进过程管理水平如何；功能质量是评价项目产品是否满足功能要求；性能质量是评价项目产品是否满足安全性要求、可靠性要求、可维护性要求以及快速访问要求等。
项目团队是评价项目推进中项目团队人员情况，由三个指标组成，其具体的评价内容为：团队组建是评价项目是否安排合适的人员到项目中、项目人员是否都及时按需到位、人员是否承担项目的工作；团队建设是评价是否开展团队管理提高团队效率、是否开展相应的培训提高团队人员工作能力；项目沟通是评价项目团队成员之间是否建立沟通机制、项目汇报是否有明确的方式和要求、项目成员之间沟通是否畅通。
3.权重分配
信息化项目评价指标涉及项目内容、成本、质量和进度等多方面，评价指标因素涉及定量和定性两方面的数据来源。指标体系中各个指标的权重系数是设计项目评价指标体系的重要组成部分，设计权重系数是设计项目评价指标体系的重要环节。结合信息化项目涉及定性和定量双重因素，其指标权重分配采取层次分析法（AHP：The analytic hierarchy process）。层次分析法是上个世纪美国萨蒂教授提出的一种权重决策方法，被广泛应用到评价方法中。
（1）构建判断矩阵
萨蒂教授对层析分析法中两两元素对比重要程度划分了9个标度，根据标度构建指标元素的判断矩阵，即指标i对比指标j的标度为判断矩阵aij值。层次分析法按指标因素的重要性9个标度详见表1。
通过德尔菲法确定每个元素之间的比较系数。德尔菲法（Delphi method），别名专家意见法。在项目评价的过程中，确定专家小组，指定调查问卷，各专家间避免相互干扰，采用背对背评价的方式，各自提交专家意见。组织者汇总统计专家意见，调整形成新一轮调查问卷，再次征集专家意见。通过多轮调查、反馈，使每位专家能够给出相似的结论，并进行汇总。因为专家为独立评价，因此，德尔菲法可充分采纳个人的意见，能够有效规避被调查人之间相互的影响。
采用德尔菲法，设计信息化项目评价指标重要性调查问卷，聘请校内外信息化相关专家对指标的重要性进行打分，专家数量必须为单数，不宜人数太少，以9位或11位专家为宜。汇总专家打分情况，并对专家打分加权平均，逐一两两对比指标的重要性，分别构建评价体系的各层判断矩阵。
（2）计算判断矩阵权重
评价指标体系各层的判断矩阵权重系数借助Excel自带函数计算得出，分别利用Product函数、Power函数计算出判断矩阵“按行相乘”、“开n次方”两个值，用“开n次方”除以所有“开n次方”之和得出“权重Wm，n”，“权重Wm，n”所在矩阵行与权重列分别相乘之积为“AWm，n”，“权重Wm，n”除以“AWm，n”之商为“Awm，n/Wm，n”。逐一得出判断矩阵及权重向量，具体参数分别见表2～7。
（3）判断矩阵的一致性检验
国家开放大学信息化项目种类多，项目评价体系指标涉及面广泛，虽然在构建判断矩阵的赋值中采用德尔菲专家意见法进行加权平均，减少不少人为因素干预，仍不可避免在判断矩阵的评价指标重要性的判断上存在一些偏差。根据层次分析法推算步骤要求，需对判断矩阵进行一次性检验，以判断权重分配的合理性。根据判断矩阵Awm，n/Wm，n的平均值（λmax：最大特征根），利用CI=（λmax-n）/（n-1） 公式中计算一致性参数CI。当CI=0时，判断矩阵具有完全一致性，而CI 越小，矩阵的一致性越好，反之越差。
进一步判断一致性参数是否在合理满意的范围，通过一致性比率进行检验。通过CR= CI/ RI公式计算出一致性比率CR，其中RI为平均随机一致性指标，表8给给出了平均随机一致性指标RI 的值。通过CR值检验判断矩阵一致性是否在接受合理范围内，当CR< 0. 1 时，具有满意合理的一致性，判断矩阵合理可接受，否则需对判断矩阵进行重新赋值推导。
根据CR计算公式以及各个判断矩阵的CI值，分别计算每个判断矩阵的CR值。从表9看出计算结果CR值均小于0.1，判断矩阵具有合理的一致性要求，表明信息化项目指标表体系设计过程逻辑正确，设计指标参数合理有效。
根据表2～7计算各层的权重值，计算出各指标合成权重，并将合成权重转化为百分制，以方便用于评价信息化项目。利用层次分析法推导得出国家开放大学信息化项目评价体系各指标和权重，见表10。
国家开放大学虽已规范信息化项目建设及运维，起草信息化项目管理规范、流程和工具。但是，规范制度是否执行落地，以及执行是否到位需要监督评价机制。通过剖析国家开放大学信息化项目中的问题，避免历史问题重蹈覆辙，以项目管理中范围、进度、成本和质量四个项目管理核心要素以及项目团队因素，基于定性和定量的分析方式，采取层次分析法形成国家开放大学信息化项目评价指标体系，期望以体系评价促使信息化项目建设逐步趋势形成“多、快、好、省”的理想状态：高质量、高效率、低成本超额完成项目。信息化项目评价指标体系侧重在项目执行和后期评价，做好信息化项目需调动项目关系人的积极性、规防项目风险等诸多方面的探索研究。（责编：杨洁）
作者单位
孙雨 / 国家开放大学信息化部
鲍赟力 / 国家开放大学教务部
王楠 / 国家开放大学校长办公室
本文刊载于《中国教育网络》8月刊