从测量目标和效度看技能测试的挑战与发展

作者: 刘英霞 杜永贵

从测量目标和效度看技能测试的挑战与发展0

摘要:职教高考技能测试是高职院校招生考试的重要组成部分,其测量目标的达成度和测试效度关系到考生的切身利益和招生的公平性。目前,技能考试在实训测量目标、可测量性、区分度、测试项目设计等方面面临挑战,从教育测量角度透视技能考试的科学性,对测试的难度、区分度、效度和信度进行分析,通过实证研究,从优化考试内容、考试方式、考试标准等方面提出技能考试的发展策略。

关键词:测量目标;效度;技能考试;挑战;发展

中图分类号:G710    文献标识码:A    文章编号:1672-5727(2022)01-0069-06

考试招生制度是我国的基本教育制度,也是人才培养的枢纽环节。《国家职业教育改革实施方案》明确提出了要“建立‘职教高考’制度,为学生接受高等职业教育提供多种入学方式和学习方式”。《国务院关于深化考试招生制度改革的实施意见》要求招生考试要体现科学高效,提高选拔水平,指出要改革考试形式和内容,加快推进高职院校分类考试。“十四五”时期,我国将建立职教高考制度,把中等职业教育、职业专科教育、职业本科教育在内容上、培养上贯通起来。在我国,教育测量理论很早就开始指导高考改革与实践[1]。技能考试是高职院校招生考试的重要组成部分,技能考试目标的达成度和考试效度关系到考生的切身利益和招生的公平性。从教育测量理论的视角,通过对技能考试进行科学性分析,优化技能考试的内容和方式,有助于形成分类考试、综合评价、多元录取的考试招生模式,为全社会有需要的学习者搭建进入职业院校学习的桥梁。

一、职教高考技能考试现状分析

职教高考制度是职业教育类型特征的重要表现,国家进行职教高考改革是为学生能接受高等职业教育提供更多的入学方式,促进教育公平。职教高考将赋予高校更多的自主权,同时也为考生提供了更多的选择。而技能考试作为技术技能人才培养的重要“入口”,关系到高职院校的技能供给质量和服务经济社会发展的水平。随着职教高考改革进程的不断加快,技能考试在技术技能人才评价中发挥着越来越重要的作用。

(一)从国家政策看,职教高考是一项制度设计

职业教育作为一种类型教育,构建纵向贯通的现代职业教育体系,需要一个与之相适应的选拔人才的考试制度设计。建立分类考试、多元录取的“职教高考”制度,畅通了职业教育体系内部升学通道,为学生搭建多样化选择、多路径成才的立交桥。党中央、国务院高度重视考试招生制度改革工作。高等职业教育的考试招生改革大致可以分为三个阶段:

第一阶段是纳入全国统一高考。自1952年我国确立统一全国招生考试制度以来,高职教育作为专科层次教育,纳入全国统一高考,并按照分数高低,分层分批录取为本科和高职。

第二阶段是实施分类入学考试。《国家中长期教育改革和发展规划纲要(2010—2020年)》提出了改革考试招生制度;2011年,教育部发布《关于推进中等和高等职业教育协调发展的指导意见》提出,要积极推广“知识+技能”的考试招生模式;2013年,教育部出台《关于积极推进高等职业教育考试招生制度改革的指导意见》,提出“逐步与普通高校本科考试分离,重点探索‘知识+技能’的考试评价办法,为学生接受高等职业教育提供多样化入学形式”。

第三阶段是实行“文化素质+职业技能”考试招生模式。2014年,国务院发布《关于深化考试招生制度改革的实施意见》,明确“实行‘文化素质+职业技能’评价方式”。同年,《国务院关于加快发展现代职业教育的决定》提出,要健全“文化素质+职业技能”、单独招生、综合评价招生和技能拔尖人才免试等考试招生办法,为学生接受不同层次高等职业教育提供多种机会。2019年发布的《国家职业教育改革实施方案》提出,完善“文化素质+职业技能”的考试招生办法。在国家政策指导下,各省高职考试招生制度改革不断深化和完善,多元化考试招生模式逐步形成。

(二)从考试改革看,职教高考采用试点先行

2007年,教育部批准江苏、浙江、湖南、广东4省8所国家示范性高职院校进行“单独招生”试点,开创了我国高职院校“单独招生”的新时代。山东省2012年正式启动职教高考(山东省称为“春季高考”),技能考试共涉及17个专业类别的276个专业;2021年春季高考技能考试涉及18个专业类别。目前,山东省春季高考继续沿用技能考试单独进行的方式,而江苏等省份的高等职业院校(含部分应用型本科院校)对口招收中等职业学校毕业生时,除按专业类实施通用专业技能省级统考外,还将学业水平考试技能成绩同时作为学生对口升学考试技能成绩的一部分计算在内。

(三)从考试模式看,职教高考采用“知识+技能”的方式

职教高考采用文化素质考核与职业技能考核并重的方式,突出了实用导向[2]。以山东省为例,春季高考分为“知识”和“技能”两部分。知识部分由省考试院统一命题、统一组织考试,考试科目为语文(满分120分)、数学(满分120分)、英语(满分80分)、专业知识(满分200分)。技能考试部分由主考学校负责命题并组织考试,2021年山东省的技能考试分别由30所高职院校作为主考学校,满分为230分,知识和技能的占比为2.26∶1。

二、职教高考技能考试面临的问题

技能考试作为职教高考改革的重要环节,突出了职教高考和普通高考的区别,彰显了职业教育面向人人、面向市场、面向能力的类型属性特征。从近10年技能考试的实施情况以及在教师和学生中的调研来看,技能考试在试点省份稳步推进,畅通了职业教育纵向贯通的渠道。以山东省为例,从不同生源占比及变化趋势来看,2014—2018年普通高考招生规模占比由55.21%逐年上升到58.95%,呈现基本稳定但缓慢上升的趋势,依然是考试招生的主渠道,有效保障了高职院校的生源,为高职院校的高质量发展提供了有力支撑。从录取人数来看,从2012年的2 607人增加到2021年的45 442人,从而解决了技术技能人才学业成长路径不畅、高层次技术技能人才短缺问题,满足了产业转型升级对高技能人才的迫切需求,为学生根据个人兴趣和爱好选择专业和学校创造了条件,为更多青少年走技能成才、技能报国之路奠定坚实基础。但是,从测量目标和效度视角分析,技能考试在目标达成度、区分度等方面还面临一些挑战。

一是技能考试的测量目标达成度面临挑战。技能考试的目标是实现适应需求、因材施考、因材施教,科学选拔人才。这体现在三个方面:一是满足区域经济社会发展和产业转型升级的需要;二是适应高职院校特色发展定位的需要;三是适应学生个性化发展的需要,提供鉴别其知识、能力、素质等方面差异的考试内容[3]。目前,技能考试在实现测量目标方面还存在一定困难,主要表现为:考试内容与产业发展、企业职业岗位要求结合不够紧密;考试内容与专业人才培养目标吻合度不高;考试内容对考生的学情考虑不充分,学生差异化发展、个性化成才体现不足等。调研数据显示,有36%的考生认为技能考试能满足个性化发展需要;有18%的考生则认为技能考试对学习基础、特长等差异性体现不足。

二是技能考试的可测量性面临挑战。考试内容、过程和结果可测量是保证考试质量及有效性的基本要求。技能考试以实操为主,主要考核学生的实践能力和职业素养,因此,技能考试通常采用过程评价和结果评价相结合的方式。过程评价主要是由评定员根据考生现场操作和表现进行评分。在考试过程中,考生的操作是否规范、是否达到指定的熟练程度等指标,均受主观因素影响,使考试标准量化困难,从而影响职教高考的公平性。调研数据显示,仅有47%的考生认为技能考试能够体现测试的公平性;有40%的考生认为技能考试能反映出自己的技能水平;有15%的考生则持否定态度,认为技能考试难以准确地鉴别出技能水平高低。

三是技能考试区分度面临挑战。区分度是表征测试质量和有效性的重要依据。但是,目前有些专业大类的技能测试为了便于考试评分和组织管理,技能考试偏简单,难以体现本专业大类的核心技能,考生分数相对集中,不能将不同水平的考生区分开来,不利于学生创新能力和创新思维的发挥,在一定程度上影响了技能考试的权威性。调研数据显示,有超过57%的考生认为技能考试比较简单;有12%的考生持否定态度,认为技能考试难以准确地鉴别出技能水平高低。

四是技能考试测试项目面临挑战。职业教育是面向能力的实践教育,对选拔的生源除了要求具备必须的理论基础外,还要具备一定的实践操作能力。以山东省为例,技能考试最初是通过笔试完成测试,2014年开始实施现场实操测试,重点考核学生的实践动手能力和职业素养。如商贸类专业侧重于商品促销方案策划、业务单证缮制等,可通过上机考试完成;电工电子类专业侧重于焊接、组装、设计、调试等,通常在实践教学场所动手操作完成。由于受命题质量、测试场地、测试经费等条件限制,不同专业技能测试局限于固有的面试、上机考试、现场实操等大众化的考试模式,表现为考试方式僵化,不利于选拔出创新型、复合型的技术技能人才。调研数据显示,有42%的考生认为技能考试形式多样化;有20%的考生则认为技能考试形式单一,不利于发挥个人的优势特长。

三、职教高考技能考试的科学性分析

本文将经典测量理论应用于技能考试分析,从教育测量视角透视技能考试的科学性,满足难度、区分度、效度和信度等技术指标的要求,以提高考试的可靠性,保证“职教高考”作为制度设计的权威性。

(一)难度:要能充分适合被测试者的能力水平

难度是指测验的难易程度,通常用通过率作为难度系数P来定量描述被测试者完成项目作答任务时遇到的困难程度。P的最小值为0,最大值为1。通常将P≤0.4定义为难,将0.4

技能考试的难度受被测试者个体特征、测试方式、测试环境等多种因素影响。技能考试的主体以中等职业学校毕业生为主,其学习行为具有动手能力强、逻辑思维弱、创新能力强、学习需求多元化等特征。针对被测试者的学情特点,如果在真实或模拟的情景化职场环境中,采用实践操作的形式完成技能测试,将在一定程度上降低测试的难度。因此,技能考试的内容要在深入分析研究被测试者学习心理特征和行为特征的基础上,科学设计测试题目结构和题目类型,并设定恰当的测试方法,使考试的难度系数P控制在0.4~0.7之间,且在0.5左右,保证测试的适当性和有效性。

(二)区分度:要能准确鉴别被测试者技能水平的高低

区分度是指测试在多大程度上能将水平不同的被测试对象区分开的量度,通常用D表示,取值范围在-1~1之间。D值越大,区分度越高,越能反映出被测试者的真实水平。当D取0~1的值时,表示正区分,即高水平的被测试者得高分,低水平的被测试者得分低;当D取-1~0的值时,表示负区分,即高水平的被测试者反而得分低,而低水平的被测试者得分高;当D=0时,表示高水平的被测试者和低水平的测试者得分没有差异。根据美国教育测量学家埃贝尔提出的区分度标准[4],D的取值在0.40以上,则认为测试的区分度较好。

技能考试的区分度是衡量技能测试质量的重要标准和依据。技能考试以学生的能力本位为导向,注重职业能力评价,要求被测试者在设定的情境中,运用已有的知识和具备的能力完成设定的任务。评价过程侧重被测试者知识和技能的掌握程度、分析问题和解决问题的能力、交流与合作的能力,以及批判性思考问题的能力。因此,技能考试内容和方式要充分考虑上述因素,科学设定测试的区分度,合理区分被测试者能力的不同水平,选拔出合适的技术技能人才。

(三)信度:要能稳定呈现被测试者技能的实际水平

信度是测试的可靠性程度,是指测试能否稳定地反映被测试者的实际水平,通常用rxy表示,取值范围在0~1之间。任何一个测试都会受到相关因素的干扰,从而在不同程度上影响测试的信度。测试的信度通常用信度系数来表示,信度系数越大,测试的可信程度越高。美国学者德维利斯认为,信度系数在0.7~0.8之间时,表示测试的信度很好;信度系数在0.8以上时,表示信度非常好。

技能考试通常是在特定的实践环境中进行,以表现性评价的方式完成,考试过程受被测试者生理因素和心理因素、考试的难度和方式、考试的时段和时长、考试环境和测试设备、评分人员的言行和评分方式等的影响,从而导致测试结果的不稳定,影响考试的信度。因此,要科学设计技能考试的命题、测试过程以及考核评价,以最大限度避免被测试对象因特质不同、测试时间不同、测试环境不同等因素带来的误差影响,保证技能测试结果的公平和公正,为选拔适应需求的技术技能人才提供客观有效的依据。

经典小说推荐

杂志订阅