数字化赋能高水平专业群建设绩效评估研究

摘 要 目前，我国高水平专业群建设绩效评估在评估指标体系、数据客观性及监控平台建设上面临多重困境。遵循问题导向、数据协同、数字化管理等原则，构建了包括设备层、数据层、服务层和应用层在内的高水平专业群建设绩效评估平台。实证分析表明，该平台的应用加强了职能部门的互通互联，促进了建设者之间的协同共建，提高了绩效评价的信度和效率，为当前高水平专业群建设绩效评估提供了理论借鉴和工具支持。

关键词 高水平专业群；绩效评估；平台建设；数字化

中图分类号 G717 文献标识码 A 文章编号 1008-3219（2023）023-0026-04

“双高计划”是我国高等职业教育领域的一次重大制度设计，高水平专业群建设是“双高计划”建设的核心和抓手，而检验专业群建设水平，尤其是评价其是否将关联各专业的师资、设备、场所等资源有效整合成一个共同体[1]，需要开展专业群建设绩效评价。尽管在2020年12月，教育部、财政部在《中国特色高水平高职学校和专业建设计划绩效管理暂行办法》中指出，将专业群建设纳入“双高计划”院校的绩效管理与评价中[2]，但如何基于数字化手段全方位系统性开展专业群建设绩效管理，迄今为止尚未出台建议性的评价标准和实施办法。基于此，本文基于数字化转型大背景，探索高水平专业群建设绩效评估路径。

一、高水平专业群建设绩效评估面临的困境

（一）专业群建设绩效评估指标体系尚不健全

关于专业群建设目标达成的评价办法，2022年4月，教育部办公厅、财政部办公厅印发的《关于开展中国特色高水平高职学校和专业建设计划中期绩效评价工作的通知》明确指出，对高水平专业群建设单位的评价，包括学校层面的评价和专业群的评价两个部分，学校层面的评价指标以《双高学校建设数据采集表》为参考，专业群的绩效评价指标以《高水平专业群建设数据采集表》指标为参考。但通知中并未给出一个规范性的绩效评价标准，只是建议以数据采集表作为绩效评价指标的参考。显然，采集表是建设数据的状态指标值，而评价指标是建设效果的目标度量值，二者之间存在从量变到质变的关系。评价指标体系的不完善，极易导致专业群建设方向偏离“航道”、建设效果与建设目标不匹配的问题。

（二）群内“数据孤岛”现象影响数据采集的客观性

组建专业群的初衷就是要打破专业边界、重构组织结构、整合群内资源、提高规模“马太效应”，发挥专业集群优势，以品牌特色专业带动其他关联专业协同融合发展，实现“1+1＞2”的效果。但现实中，大多数高水平专业群“群生态”尚未完全建立，专业建设“单打独斗”现象比较严重，各专业建设之间缺乏有效沟通和协作机制，导致专业群建设存在“数据孤岛”现象，具体表现为：数据分散在各个专属系统之中，“政、行、校、企”之间的信息沟通与交流反馈不及时，数据采集缺乏专门的通道和平台，数据标准不统一、接口不开放、共享机制不健全、互通互认水平不高等。“数据孤岛”导致专业群内无法实现数据的高效流通和共享，数据之间缺乏有效的关联和交互，数据资源无法为绩效评估提供最大化的使用价值。

（三）缺少建设绩效监控运行平台

由于评价平台积累了完整的评审材料、评估意见、评估报告，提高了评估效率，可以直观展示评估结果，为优化教育决策提供科学依据和数据支撑。目前，绝大多数高职院校没有建设自己的“双高计划”建设专属管理平台，仅以国家的“中国特色高水平高职学校和专业建设计划项目监测平台（简称‘监测平台’）”作为专业群建设管理工具，建设过程中“浅尝辄止”于数据的填报工作。究其原因，一方面，高职院校仍然存在重建设轻评估的思想，另一方面，平台底层数据结构和评价框架尚无成熟的经验可借鉴，高职院校不愿意花费大力气构建基于数字技术的专业群建设绩效管理平台。由于缺乏与各专业群建设情况和需求相匹配的专业群评估平台，难以有效应对从基础数据、软硬件条件、产出数量与质量、社会效益与影响力、服务满意度到建设目标达成度等全过程、全方位的绩效评估工作。

二、高水平专业群建设绩效评估平台的构建原则

（一）问题导向原则

平台设计必须以解决问题为出发点，抓住专业群建设的关键环节，掌握绩效评价的关键点和“疑难杂症”，力求破解专业群建设中协同运行难、数据割裂、评价手段单一、建设效果可视化低等难题。如针对产出数量指标中实践教学基地建设存在的松散问题，平台要对专业群涉及的所有教学设备实施统一管理，实践教学基地的教育教学数据要能实现共享共用，新增的实验器材、实训设备和实习基地等数据都能及时在系统中得到反馈。

（二）数据协同原则

数据协同就是基于专业群建设的业务逻辑关系和数据流通路径，将数据归集整合以实现数据的高效利用与管理。现实中，“数据孤岛”现象阻碍了专业群利益者之间的协作关系，降低了专业群的协同共建和联邦管理水平。如在产出质量指标“社会服务”方面，如果相关数据整合不及时或数据共享不到位可能会导致社会服务工作的重复性和盲目性。因此，要统筹联通专业群多方建设数据，形成数据的跨专业流通、共享和使用，充分利用基于数据协同产生的专业群建设效果画像、绩效评估模型等数字化手段，助推专业群高质量建设。

（三）数字化管理原则

在对绩效评价工作客观定性分析的基础上，以人工智能、大数据等新一代数字技术赋能专业群的建、管、评各环节，围绕专业群数据监控、部门工作协同、绩效等级评估和成果统计分析等，实现专业群建设效果评价的全过程、全方位可视化管理。以效益指标中“社会效益”项为例，运用大数据、知识图谱、自动推荐等智能评价工具，分段统计专业群在引领职教改革与人才培养、支撑国家战略发展与区域支柱产业人才供给等方面的贡献度，根据统计数据实时生成下一级评价指标聚类图谱，可视化专业群在社会效益方面的建设趋势，主动推送建设绩效预警信息，让专业群管理者专注于伴随评价与反思。

三、高水平专业群建设绩效评估平台的框架构建

基于上述平台设计原则，构建了高水平专业群建设绩效评估平台框架，包括设备层、数据层、服务层和应用层四个部分，各部分互为联通和支撑，形成一个整体系统，为用户提供绩效管理服务，见图1。

（一）设备层

设备层是绩效管理的物质基础和平台技术支撑。依托学校现有的智慧校园网络环境和设备，利用云存储和云管理等工具，为专业群建设绩效评估服务提供支持环境，以满足平台对数据存储安全、设备稳定运行和网络顺畅访问的要求。

（二）数据层

数据层是利用底层算力对数据进行加工和管理。按照平台运行的业务逻辑要求，对专业群基础数据、绩效评价数据和平台的其他关联数据进行有序组织、分类汇聚和深度加工，以结构化或半结构化的形式存储在数据库或文件系统中，为上层的应用做好数据供给服务。

（三）服务层

服务层是业务处理和事务操控的服务中心，采用面向服务的体系结构以解决专业群建设中面临的“数据孤岛”和协同管理难的问题。服务层以不同的智能模型、组件集合、Web服务群和数据接口等形式向上提供可复用的适粒度功能模块，向下进一步丰富和拓展专业群建设数据。

（四）应用层

应用层是整个系统平台直接面向用户的交互窗口。根据业务逻辑和事务处理要求，通过调用下层的智能模型、Web服务、业务组件和数据接口，形成一个包含数据维护、产出管理、质量分析、报表导出和绩效监控5个子功能系统的应用平台，帮助用户在了解专业群建设情况的基础上，开展行之有效的数字化绩效评估活动。

四、高水平专业群建设绩效评估平台的应用验证

2021年3月起，南京科技职业学院使用高水平专业群建设绩效评估平台对两个省高水平专业群“精细化工技术”“化工装备技术”进行常态化运行监控。为了解该平台的使用成效，本研究采用问卷调查和专家打分两种方法，对平台历时一年的运行情况和效果进行调查分析。

（一）问卷调查分析

本研究设计了如表1所示的问题量表，利用微信小程序对参与高水平专业群建设的一线教师和行政管理人员进行了问卷调查，共收回问卷102份。采用“填问卷，领红包”及点对点发送问卷链接的方式，一定程度上保证了样本数据质量，剔除全选某一选项或选项明显有规律导致的无效样本，最后得到96份有效样本，有效率为94.11%。如图2所示，对样本数据按问题进行分类统计发现，近90%的受访者对平台的应用（问题A）持肯定态度，说明几乎所有的专业群建设者都有使用平台开展工作的需求。这与被调查者在问题B上的看法基本一致，近20%的被调查者认为平台对他们了解专业建设情况没有帮助，这可能与该部分人群没有深度参与专业群建设有关。在问题C方面，有不足70%的被调查者认为平台的应用对他们参与的专业群建设工作有帮助，这个比例明显少于他们在问题B上对平台的肯定，究其原因，可能与部分调查者因工作、职责的关系仅“浅尝式”承担了专业群少量建设任务，本人并没有归属于某个具体的专业有关。从问题D的统计数据可以看出，约1/3的被调查者只是因教学需要使用了绩效管理平台，其次是因管理或数据上传等工作之需访问了该平台，也有少部分被调查者利用平台从事教科研或为企业服务。此外，数据分析显示，平台最有用的功能（问题E）依次是数据共享、绩效监控、报表导出、质量分析和产出管理，这反映出在高水平专业群建设活动中，数据共享的地位非常突出，同时绩效监控也是非常重要的一个环节，这启示高职院校一定要高度重视平台在这些方面的推广应用作用。

为进一步全面了解被调查者在问题F、G、H上面的整体评价情况，本研究在上述统计数据的基础上，采用李克特5点量表法，计算出这三个问题的评价均分依次为3.74、3.34和4.00。由问题F的均值可以看出，平台使用者对该问题的看法整体上偏向于选项P2“多数解决”，这与图2所示的约88%的支持率完全吻合，说明平台的上线的确较好解决了以往专业群建设中碰到的“数据孤立”等问题。但仍有4.18%的被调查者持否定态度，反映出平台还有进一步优化和进步的空间。根据问题G的评价得分可以分析出，被调查者整体倾向认为平台只是“一般准确”地评估出阶段性建设成效，也有约20%的被调查者认为平台的阶段性评价结果并不可靠，出现这种情况是源于被调查者的主观臆断还是平台自身的原因，有待进一步验证。从问题H的评价均分来看，被调查者基本上认定平台的应用效果整体上还是令人满意的，这一点与图2反映的情况趋于一致，说明平台的整体设计契合了专业群建设绩效管理要求，使用者在这方面有较深的实际感受。

（二）专家评价分析

本研究采用专家评分与平台自评对比的方法，进一步验证平台在绩效评价方面的效度。以“化工装备技术”专业群2021年3月至2022年2月一年间的专业群建设指标数据为依据，专家在查阅平台提供的数据报表、产出质量等内容的基础上，结合专业群实际建设情况进行打分。平台自评按下式计算高水平专业群建设成效的评估分S[3]。

公式中pk是第k个一级指标的权重值，pki是第k个一级指标下第i个二级指标的权重，pkij是编号为ki的二级指标下第j个三级指标的权重，

其中，xkij是编号为kij的三级指标的实际值，tkij是该指标的学校预设目标值。建设成效的平台自动评分和专家打分如表3所示。

均分是专家打分排序后，取中间三个打分的平均值。通过专家评价分析表3可以得出如下结论：一是以专家的均分作为绩效考核的实际得分，既发挥了专家在绩效评估中专业化的决策作用，又较好地避免了个别偏差对整体评价结果的影响，该实际得分能客观反映出专业群建设绩效的高低。二是平台自动计算的评估分与实际得分的绝对误差为1.53分，相对误差为1.76%，该误差值对于专业建设绩效评估工作而言是完全能够接受的，表明前述的评估指标体系设计合理，平台的评估分计算方法有效。三是平台的自评功能可为科学化、精准化和便利化的高水平专业群建设绩效评估工作提供强有力的支撑，切实提高评估工作实效。同时，自评结果也能为学校适时调整专业群建设方案提供依据和参考。