如何建设更及时的教学质量反馈系统?
北京联合大学依据教育部本科教学审核评估范围构建教学质量监测数据平台,开展网上教学质量监测评估。平台的使用完善了学校教学质量监控体系,简化教学基本状态数据采集和管理的流程,有利于提高教学质量反馈效能。
学校已使用该平台积累了五年教学基本状态数据,全自动生成教学质量报告、教学基本状态报告,为调整教学资源配置提供决策支持,推进学校教育决策的科学性、规范性,为实时、全面、动态的教学质量管理奠定基础。
建设背景
2013年,教育部出台了《普通高等学校本科教学工作审核评估方案》,我国为提升高等教学质量将引入审核评估模式,且每隔五年开展一轮[1]。审核评估的特点是通过考察学校内部质量保障体系建设及其有效性间接评估高校的人才培养质量。
新一轮本科教学审核评估与全面质量管理(TQM)理论价值趋向一致,强调“全员、全过程、全要素”,体现了对当前高校内部质量保障体系的新要求[2]。
《教育部关于普通高等学校本科教学评估工作的意见》中明确指出“高等学校要充分利用信息技术,采集反映教学状态的基本数据,建立高等学校本科教学基本状态数据库。高等学校对数据库数据要及时更新,及时分析本科教学状况”。
如何动态展现学校基本条件、学科专业建设、人才培养等各方面信息,为学校评估工作提供信息化支撑,不断提升教育教学质量,是摆在学校面前的重要问题[3]。
在此背景之下,我校自2017年建设教学质量监测数据平台,希望解决以下关键问题:
#1
借助信息化技术实现
对教学状态数据可视化常态监测
平台便于学校自评,并辅助建立学校教学状态数据的长效管理机制,通过常态监测,及时发现各环节出现的或即将出现的异常,给予提醒。解决手工采集的数据与日常教学管理没有有机联系,对教学质量监控难以起到促进作用的问题。
#2
实现对教学状态
数据的信息化管理与再利用
将状态指标和数据建立挖掘关联,实现状态数据组合分析、展示,保证教学状态数据的统一性、准确性。解决手工统计数据收集难、横向校对调整复杂,以及学校各业务系统提供的数据规范不统一、统计口径不一致,数据资源难以再利用的问题。
#3
实现平台数据指标与教育部
高校教学基本状态数据指标同步
指标具有权威性,数据采集有依据,采集的数据不仅适用于校内教学质量监测,适用于教育部常态数据上报工作,还将成为学校重要数据资产。解决数据采集不全面,报送工作临时突击,报送后的数据无法沉淀积累的问题。
建设方案
通过对高校教学质量评价及监测的理解,以及对教育部评估工作的理解,根据学校教学工作需要,设计平台的建设方案。
#1
设计依据
平台根据《关于开展普通高等学校本科教学工作审核评估的通知》(教高〔2013〕10号)等文件设计,以教育部“五位一体”评估要求为依据,结合审核评估、年度质量报告、专业评估和学校质量建设体系要求,形成标准统一可追溯的状态数据,为教学质量的建设、监控和评估提供支撑。
#2
设计思路
根据可视化常态监测需求,
设计数据采集内容
数据采集内容符合教育部颁布“全国高校教学基本状态数据库数据内涵说明(3.0.1版)”的指标体系及相应数据项要求。数据按年度组织,分为学校基本信息、学校基本条件、学科专业、教师信息、人才培养、学生信息、教学管理与质量监控7大类。
根据教学质量管理规范性
和准确性需求,设计数据校验内容
主要实现权限控制、数据表单填报、数据校验、审核、提交等方面的管理。数据按照教育部采集表格的校验标准,对填报的表格数据进行表内和表间校验以及审核。
根据数据积累和
再利用需求,设计数据分析内容
为了反映学校教学质量现状及存在问题,数据分析应包含核心指标分析,数据下钻分析,人才培养与教师队伍分析,人才培养与基本条件分析,专业、师资、学生等关联分析。为了反映变化情况,要设计趋势分析内容。分析结果以图、表、报告方式直观展现。
根据数据“归口负责,分工协作”的工作要求,设计数据采集任务的组织方式
采集任务管理主要实现采集任务的创建、整理、权限分配、填报过程监管等方面的管理。系统角色分为填报人员、审核人员、查看人员、管理员。平台总体框架为图1。
图1 平台总体框架
#3
功能实现
形成学校教学基本状态数据库
平台可根据相应权限进行教学基本状态数据的采集、录入、校验、分析、对比,生成符合教育部评估体系的教学基本状态数据库。
集中分析展示教学基本状态数据
能够以条形图、饼状图、仪表盘、趋势图、数据表等方式展示数据指标,图表可以逐层挖掘直至明细数据;能根据教育部现行规范自动生成数据分析报告。同时平台还能生成本科教学质量报告和教学基本状态数据报告,便于学校自评及教学质量常态监测。
对学校教学质量进行预警
平台对学校办学条件指标进行动态监测和预警,对不达标、符合指标、优于指标的相关项予以标示。
积累教学质量数据,分析年度变化趋势
每年学校的各项指标都在变化,有提高的也有“被降低”的,具体每年的变化是什么趋势、趋势的幅度是多少,这些都是了解校情的关键内容。系统的“跨年比对”功能会实时显示出学校关键指标的年度变化趋势。
应用情况
平台自2017年建设并投入使用,至今的应用情况如下:
#1
持续采集高质量数据,
服务于学校教学质量监测
2017年~2020年连续4年采集学校本科教学基本状态数据并报送至教育部。连同2016年手工导入的数据,我校已经积累了5年的本科教学基本状态数据。
参与平台使用的部门有党校办、教务处、人事处、科学技术处、学生处、国有资产管理处等15个职能部处,14个学院。各部门分工协作,积累的数据权威、准确且口径统一,为学校教育决策的科学性,规范性奠定基础。
#2
数据覆盖全面,服务于学校自评、
校际间横向比较和历史数据纵深对比
监测数据范围覆盖学校基本信息、学校基本条件、教职工信息、学科专业、人才培养、学生信息、教学管理与质量监控7个大类,以及师范专业和工科专业相关数据。数据表从2017年的69张扩展至2020年的90张,数据表项从660项增加到740项,5年累计数据总量332454条。
系统将反映学校基本状况的25项核心指标数据与同类院校均值、教育部办学要求相比较,找出不足和优势。同时将近五年的数据做纵向对比,反映重要指标发展变化趋势(图2)。
图2 北京联合大学累计5年数据
#3
数据指标以图标和报告方式可视化呈现,直观、快捷、详尽地服务于学校专业调整、人才队伍建设等重大决策
平台对所有指标均实现表格呈现,可检索任意指标,任意条目数据。同时对反映学校基本情况的58个关键指标进行可视化呈现,对反映教学状态的71类数据进行图表展示。
平台每年自动生成《教学基本状态数据分析报告》和《教学质量报告》各一套。
2020年《教学基本状态数据分析报告》共120页,分三部分。
第一部分为学校本科教学质量报告支撑数据的发展变化及学科专业基本情况;
第二部分根据6大项目,分别对相关的数据进行分析,并通过图表等方式呈现;
第三部分为详细的数据附表,为学校了解自身情况提供直观的数据支撑。
2020年《教学质量报告》共53页,根据国教督办〔2018〕83号文件中关于普通高校编制本科教学质量报告基本要求生成,报告中数据源于本科教学基本状态数据。
建设成效
#1
创新教育管理模式,
促进管理效能的显著提升
平台应用促进了学校现有管理模式的转变,有效实现教育管理科学、规范,管理效能显著提升。
平台应用建立了统一的数据标准,将学校教学状态数据采集方式由传统的“手工采集、分散统计”转变为“自动采集、统一处理”,借助信息技术手段促使全校各部门之间的原有静态数据实现了“纵向贯通、横向关联”,不仅解决了学校在数据统计与管理中存在的信息孤岛和内部壁垒问题,极大地提高了数据采集的工作效率和数据的准确性。
同时,依托平台形成包括学校办学基本信息、教师队伍、教学资源、培养过程、学生发展以及教学保障六大项共计332454条数据资源,为学校精准掌握管理过程中关键环节的状态提供了科学的定量依据,有效实现了对日常教学管理的动态监控,形成预警机制,促进学校的管理效能显著提高。
#2
实现数据的信息化管理,
完善质量监控反馈机制
应用平台有效实现了数据信息化管理,作为有力手段进一步支撑了学校教学质量监控与反馈机制的完善,促进学校内部教学质量保障体系形成有效闭环。
定期提供数据分析,精准定位问题
应用平台每年采集办学条件、师资队伍、教学资源、人才培养过程、学生发展等各方面办学数据,及时掌握关键数据指标的变化动态,形成年度本科教学质量报告和本科教学数据状态分析报告,以定量方式准确描述学校在办学过程中存在的问题,为各项工作有效开展、持续改进指明方向。
实现数据挖掘关联,有效诊断问题
通过数据的信息化管理,将办学过程中的各类教学状态数据由“信息孤岛”转化成在学校范围内可开放共享的“数据资源库”,能够根据工作需要建立不同数据指标之间的挖掘关联,有效实现各类数据的组合分析、展示比较等功能,为学校精准分析问题存在的原因形成有针对性的改进措施提供科学依据。
#3
发挥服务功能,
支持学校精准决策
本平台投入使用后已连续五年采集学校本科教学基本状态数据。
通过数据深度分析呈现可视化结果,为学校在师资队伍建设、专业结构调整、课程建设等方面制定管理决策提供精准服务。
通过分析“双师素质”教师数量指标,学校明确了“进一步突出应用型师资队伍建设”的工作重点,通过不断完善教师参加行业企业实践的激励制度、优化双师素质教师认定流程等一系列政策引导,有效改善了专任教师队伍的结构,近五年双师素质教师比例提升了24.3%,进一步突出了应用型大学的办学特色。
近五年学校参考相应状态数据的分析结果,调整和停招本科专业十余个,增加新办专业六个,专业结构和布局进一步优化,基本形成了对接京津冀产(行)业链、创新链,与学校空间环境条件较吻合,特色鲜明的应用型专业体系,人才培养水平和服务北京社会经济发展能力得到有力提升。
#4
建立教学基本状态数据库,
成为学校重要数据资产
教学基本状态数据库权威性高,准确度高,是校级“主题数据库”之一,是学校数据资源建设的重要组成部分。全部数据通过共享交换平台同步至校主数据库,为其他系统建设及研究课题共享使用,同时成为报送多归口数据的参考依据。
通过毕业就业数据、创新创业教育数据、学生获奖数据等,支持学生成长发展观测指标研究。通过教职工信息,支持学校高层次人才数据申报。通过学校基本条件数据,支持学校服务门户数据展示。
综上,北京联合大学教学质量监测数据平台建设与应用完善了学校教学质量监控体系,提高管理效能,为调整教学资源配置提供决策支持,为实时、全面、动态的教学质量管理奠定基础。
同时教育部印发《普通高等学校本科教育教学审核评估实施方案(2021—2025年)》,对“十四五”新发展阶段普通高等学校本科教育教学审核评估工作作出整体部署和制度安排,要求综合运用互联网、大数据、人工智能等现代信息技术手段,深度挖掘常态监测数据资源,做全做深线上评估,做准做实入校评估[4]。我校教学质量检测数据平台的建设和应用为新一轮本科教育教学审核评估工作做好了铺垫。
参考文献
[1]教育部办公厅关于印发《普通高等学校本科教学工作水平评估方案(试行)》的通知[J].中华人民共和国教育部公报,2004,{4}(10):36-37.
[2]李志义,朱泓,刘志军.本科教学审核评估方案设计与实施重点[J].中国大学教学,2013,{4}(08):72-77.
[3]董健康,韩雁,梁志星.《教育部关于普通高等学校本科教学评估工作的意见》解读[J].高教发展与评估,2013,29(05):12-18+101.
[4]教育部启动实施新一轮本科教育审核评估[J].中国电力教育,2021,{4}(02):7.
作者:于春生、金培莉、周玲艳、宫旭(北京联合大学)