职教改革中的技能评价方式研究

摘 要 “学历证书+若干职业技能等级证书”是我国职业教育改革的重要目标，技能评价的效度是影响职业技能等级证书质量的重要因素。以教育部等主办的全国职业院校技能大赛为平台，选择养老服务技能赛项，运用COMET能力测评对考生开展技能评价后，对其就业或顶岗实习中短期内的工作绩效进行跟踪调查，研究发现：COMET能力测评成绩与工作绩效评估结果间的关系趋向强相关;COMET测评三个能力层级中，过程性能力与工作绩效的关联度最高;COMET测评的八个一级指标中，除社会接受度外，其余指标均与工作绩效呈正相关。据此建议，在研究上加强对X证书的能力模型和测评模型的分析;在实践中应以典型工作任务为依据，灵活运用多元化的评价方式，强化技能评价结果与学分银行制度的衔接。

关键词 职业教育;技能评价;COMET能力测评;工作绩效;预测效度

中图分类号 G719.2 文献标识码 A 文章编号 1008-3219（2022）13-0020-06

作者简介

孙钰林（1981- ），男，北京社会管理职业学院副教授，民政部培训中心培训部主任，职业技术教育学博士，研究方向：职业能力测评，职业竞赛（北京，102600）;赵益枢（1999- ），女，北京师范大学教育学部硕士研究生，研究方向：职业能力测评

基金项目

2018年北京市职业教育教学改革项目“学生技能竞赛引领产教融合机制研究”（2018-135）;北京市教育科学“十三五”规划优先关注课题“‘1+X证书’制度建设中技能评价法研究”成果（BDEA2020009），主持人：孙钰林

一、问题提出

2019年1月，国务院印发《国家职业教育改革实施方案》（国发[2019]4号），提出“启动‘学历证书+若干职业技能等级证书’制度试点（以下简称“1+X”证书制度试点）工作”，这是对“学历证书+职业资格证书”的“双证书制度”的创新。“1+X”证书制度被看作是“引领创新培养培训模式和评价模式，深化教师、教材、教法改革”的手段[1]，被赋予广泛意义。2020年10月，中共中央、国务院印发的《深化新时代教育评价改革总体方案》指出，要“完善高等职业教育‘文化素质+职业技能’考试招生办法”[2]。这些国家层面的制度设计为开展学生职业技能评价提供了政策依据，同时也带来了挑战。

被市场和社会认可的现实需求对技能评价效度提出新要求。“职业技能等级证书”（以下简称“X”证书）制度替代传统“职业资格证书”，根本原因在于职业资格证书无法全面、有效地反映用人单位对技术技能人才的职业能力要求。证书颁发的依据是技能评价结果，若评价效度不高，则证书所反映的劳动力市场信号便难以发挥预期的指示作用，从而面临被诟病和淘汰的宿命。提高职业技能评价的质量和“X”证书技能评价水平的准确度，可以缓解结构性就业矛盾。但是，当前支持证书“技能评价模式”的系统性研究还很匮乏。

设计可持续发展的技能等级证书需要实证基础。目前，“1+X”证书制度试点的推广主要依靠行政力量的引导和支持，如与院校财政经费、“双高计划”的选拔指标等挂钩。“X”证书制度试点阶段的各类支持政策不会无限期延续，失去扶植政策支持后该如何依托自身实现可持续发展，是亟待解决的难题。为提高“X”证书的认可度，迫切需要相关研究为证实其有效性提供依据。

本研究以教育部等部门主办的全国职业院校技能大赛为平台，选择养老服务技能赛项，探究COMET能力测评这一技能评价方法对被试者工作绩效水平的预测效度，以期在职业院校、技能评价组织和用人单位之间建立有效的人才培养信号，完善“人才培养—考核评价—选人用人”的人才培养链。

二、研究设计

（一）研究问题与研究假设

“X”证书的发放需要经过技能评价，评价根据学习成果的认定会出具相应的结果证明。结果证明的效度，取决于结果证明与持证者未来实际工作绩效的相关性。评价的预测效度决定着证书的质量，证书的质量是职教改革的重要问题。当前关于技能评价的研究中，缺少对评价方式预测效度的研究，基于此，本研究的核心问题在于探究“技能评价的预测效度问题”。对比应用较为广泛的三种职业能力测评工具（ASCOT、COMET 职业能力测评和行政职业能力测验）后，考虑到测试任务综合性、领域特殊性等因素，选用COMET职业能力测评方案对其预测效度进行研究。

COMET大规模职业能力测评项目是英文“Competence Measurement”（“职业能力测评”或“职业能力诊断”）的简称，发源于德国，是一个职业教育的国际比较研究项目，在多个国家开展了相关的测评活动，其内涵相当于职业教育的PISA。它采用大规模能力诊断（large-scale diagnostics）方法，对被测试者的职业能力、职业承诺和职业认同感发展情况进行评价。COMET能力模型和测评模型凭借独特的优势与特征得到广泛认同，结构效度已得到验证[3][4]。基于从初学者到专家的能力模型，在不同国家的不同专业开展了测评活动，除了针对职业教育学生的测评之外，也扩展到了对职业教育教师职业能力的测评。

COMET能力测评充分反映了设计导向、工作过程知识等当代职业教育理念，从“职业效度”的视角评价研究对象的职业能力，建构有机综合的能力模型，与职业教育培养综合职业能力的目标相契合。经济社会发展和产业结构优化升级对人才技能提出了差异化、多样化的要求，在流水线作业的技术和生产组织方式下，员工的外显性动作技能对工作绩效的影响较大;而在现行更加突出人性化的生产组织方式下，仅靠动作能力并不能直接带来高绩效，人才的高工作绩效与其综合职业能力挂钩，而非与某个单项操作的技能水平相关。综合职业能力是个体在真实工作情境中整体化地解决综合性专业问题的能力，超越了职业功能性要求，强调综合素质和发展潜能[5]。综合职业能力与“工作”息息相关，显然，对工作绩效的考察理应蕴含在COMET能力测评中。基于此，本研究将工作绩效与COMET能力测评结果之间的相关性作为预测效度的效标，提出核心假设：COMET能力测评成绩与学习者的工作绩效呈正相关。研究重点回应三个问题：一是探索COMET能力测评与工作绩效之间的相关程度;二是在功能性能力、过程性能力和设计能力三个能力层级中，探究COMET能力测评中哪些能力层级与工作绩效相关性更高;三是分析COMET能力测评中八个一级指标对工作绩效的预测效度。

（二）研究对象

依托2018年和2019年全国职业院校技能大赛养老服务技能赛项，采用整群抽样的方法，对所有参赛选手（共计147名，其中2018年64名，2019年83名）进行研究。研究对象均来自高职院校老年服务与管理专业，培养方案略有差异，部分研究对象拥有企业实习经历。

（三）数据收集

1. COMET职业能力测评

运用非标准化作品评定法，具体流程主要包含三个方面。

第一，对相关人员进行培训。在开发测试任务前，研究者需将研究目的告知职业学校教师、企业专家等相关人员，并就COMET能力测评方案及命题要求对相关人员进行培训。

第二，开发试题并进行测试。依据专业教学标准、职业标准和专业人员的建议，以COMET能力模型中“提高者”阶段的代表性工作任务为基础开发测评任务，对研究对象进行纸笔测试。通过开展实践专家研讨会确定典型工作任务，并提炼完整工作过程，据此开发次级指标。测评题目需体现开放性特征，以解题空间的方式呈现问题的解决方案，部分解题空间见表1。区别于工业技术类职业和商业类职业，针对个人的服务类职业教育重点是促进个体人格的发展与完善。因此，在对COMET测评一级指标进行调整时，要关注专业特殊性;在测评题目设计上，除了囊括传统的生活照料和技术护理外，突出对失智老年人心理的关照。经过三轮修改，开发出符合COMET方案要求的平行任务后，进行测试。

第三，评分环节。通过开设评分培训会、增加评分者数量（由原定的2名评分者扩大到7名）、试评分等手段保证评分者信度，使用Finn系数对评分者的一致性进行考察，以提升评分者评价标准的统一性。

2. 360°绩效问卷

在综合考量各类绩效测评方法后，选择使用360°绩效评估考核结果作为绩效的表征。360°绩效评估是在人力资源领域开展工作绩效评估时广泛运用的一种方式，由加州创造性领导者中心在20世纪80年代中期研究提出。研究聚焦将反馈用于提升管理效能，促进企业目标实现。由于重视反馈环节，该方法也被称为360°绩效反馈、全视角评价（full-circle appraisal）、多源评估（multi-rater assessment）等，该方法从多个角度获取组织成员行为的观察资料，使被考评者本人及其所有利益相关方都作为绩效信息来源，反馈绩效信息，最终达到提高绩效的目标[6]。其核心在于通过不同评价对象全方位地对受试者的绩效表现进行评价而使结果接近实际，体现综合绩效观。同时，用人单位、服务对象和学校等所有利益相关方的参与，也符合职业教育“产教融合”的要求。

运用问卷调查法，收集研究对象的背景信息和360°绩效评估数据。绩效问卷模型在医院规培医生360°评价问卷的基础上开发[7]，同时针对老年服务与管理专业学生的专业特征、年级阶段、工作学习特点，对测评主体、测评问卷的项目等进行针对性修改。在征求行业专家和一线工作者意见后，形成4个维度的问卷，分别是上级评价问卷、服务对象评价问卷、同级评价问卷和本人评价问卷。每种问卷有不同数量的项目，如本人评价问卷共设置15个评分项，见表2。问卷题目采用Likert五点式量表作答方式，从“偶尔”“较少”“有时”“经常”到“总是”，依次记作1～5分。通过增加评分者数量等方式保障评分者信度，最终根据问卷结果，确定每位研究对象的绩效总成绩。

（四）数据分析

对相应的研究数据进行转换。按照COMET测评的级别划分方式，将三个能力层级、8个一级指标和40个评分点的得分分别转化为百分制量纲。通过三个能力层级与COMET测评总分来测定内部一致性信度，得出Cronbach'sα系数为0.858，说明COMET测评的信度符合要求。为将工作绩效量纲与COMET测评进行统一，将绩效评价结果依照一定权重进行数据转换，使其转化为百分制量纲。针对四种评价主体，通过德尔菲法确定排序。对工作绩效进行随机分布后的折半信度进行计算，得到的折半信度系数为0.903，属可接受的范围。

数据转换完成后，筛除1人份无效数据（实操考试否定项，未纳入分析），有效数据共146人份，以选手姓名作为对应项，输入相关数据建立二维表后，纳入SPSS 26.0软件中进行分析。经过上述操作后，两种变量（COMET能力测评成绩、360°绩效评价结果）的性质均为连续分数变量，相关指标具有可比性，从而可以采用积矩相关系数（Pearson）进行相关分析。

三、研究结果

（一）COMET测评结果与工作绩效的相关性分析

将COMET能力测评成绩与360°绩效评价结果这两个非确定性关系变量的数据对应列出，得到的散点图显示二者呈现正相关趋势，相关性统计结果也证实了上述结论，如表3所示。COMET能力测评成绩与绩效成绩的相关系数为0.460，达到了显著相关水平。这说明，COMET能力测评成绩可以预测实际工作绩效，初步证实了研究假设。

分析COMET测评成绩对工作绩效预测效果较好的原因可能是：一是COMET能力测评的理念是职业导向而非课程导向，工作绩效考察职业活动中的实际表现，两者在理念上相通，均面向职业要求，区别在于前者测量被试在校期间的潜力，后者则侧重考察被试在实际工作中的表现;二是COMET能力测评考察的能力涵盖较全面，从功能性能力、过程性能力到设计能力，为良好工作绩效打下基础;三是COMET能力测评基于完整的工作过程和典型工作任务，通过获取信息、控制到评价等一系列过程，形成完整的反馈体系，对提升工作绩效大有裨益。

COMET能力测评对技能的评价与教育学对评价的理解相契合，能够探查被试者的潜力，从多元智能理论的角度出发，发现个体不同方面智力的不同水平。依据信息经济学中的信号理论，能力测评结果对工作绩效的预测可以帮助雇主判断雇员的生产力水平。证书作评价结果的证明，为劳动力市场提供质量信号，易于对高技能水平劳动者与低技能水平劳动者进行区分。评价方式的研究，有助于促进行业企业对学生完成职业岗位典型工作任务的胜任力的了解，提高企业选拔人才的效率和“X”证书的市场认可度[8];也有利于鼓励劳动者进行人力资本投资，形成对人才的激励机制，缓解人才与劳动力市场之间结构性失调的矛盾。