基于不同数据源的毕业要求达成情况评价实证研究

摘  要：毕业要求的达成情况评价是“学生为中心、面向产出、持续改进”工程教育基本理念实施的关键环节，其通过跟踪学生的学习轨迹对毕业要求进行达成情况评价，检验认证期内的某一届获学士学位毕业生能力是否达成，对于评价学生培养质量及持续改进教学薄弱环节具有重要参考依据。不同的评价方法和评价数据源会直接影响评价结果的有效性和持续改进的合理性。该文在分析毕业要求达成情况评价常用方法的基础上，讨论课程定量评价不同样本的选取方式对毕业要求达成结果的影响，最后以毕业要求达成的直接评价和间接评价结果探讨可行的持续改进措施，以提升专业的产出质量。

关键词：工程认证；面向产出；毕业要求达成评价；样本选择；数据源

中图分类号：G642      文献标志码：A          文章编号：2096-000X（2024）08-0020-06

Abstract： The evaluation of the achievement of graduation requirements is a key point of "student-centered， outcome-based and continuous improvement" engineering education. It evaluates the achievement of graduation requirements by tracking the learning process of students， and tests whether the ability of the graduates with bachelor's degree in the certification period is achieved， it has an important reference basis for evaluating the quality of students' training and continuously improving the weak points of teaching. Different evaluation methods and data sources will directly affect the effectiveness of evaluation results and the rationality of continuous improvement. This paper first analyzes the common methods of evaluating the achievement of graduation requirements， then discusses the impact of different sample selection methods of quantitative evaluation of curricular objectives on evaluating the achievement of graduation requirements， and finally explores the feasible continuous improvement measures based on the results of quantitative evaluation and qualitative evaluation， to improve the output quality of the major.

Keywords： engineering education accreditation; outcome-based education; achievement of graduation requirements; sample selection; data source

从2006年教育部启动工程教育专业认证试点工作到2016年中国正式加入《华盛顿协议》，标志着中国工程教育质量在该协议成员间达到了实质等效[1]。截至2021年底，我国共有288所普通高等学校1 977个专业通过了工程教育认证，涉及自动化、化工等24个工科专业类。工程教育专业认证的深入开展，进一步规范了我国高等教育专业人才培养体系和各教学环节，使人才培养质量保证体系满足国际互认的标准，促进了人才培养质量的提高，增强了我国大学工程教育的国际影响和竞争力。国内学者针对工程认证进行了大量研究[2-3]，促进了工程认证的深入开展。

为落实“学生为中心、面向产出、持续改进”的基本理念，认证专业应基于人才培养经验、培养目标及毕业生能力的总体要求，构建如图1所示的课程体系、课程目标达成及毕业要求达成的定期评价及持续改进机制。定期根据内外需求的变化，开展培养目标合理性评价，修订培养目标，并基于培养目标达成情况修订毕业要求；综合考虑毕业要求达成情况及课程体系合理性评价，修订课程体系，改进课程教学、师资队伍及支撑条件。毕业要求应能支撑人才培养目标的达成，课程目标需支撑毕业要求的达成。国内外每个毕业要求指标体系构建都是遵循着这种支撑性原则[4]。毕业要求达成情况评价对于落实培养目标、构建课程体系、实施课程目标具有重要的桥梁作用。

毕业要求达成情况评价有利于专业持续改进相关教学质量过程；使授课教师明晰自己承担的毕业要求培养任务，并围绕其实施教学活动、开展毕业要求达成情况评价，以便持续改进优化教学过程；毕业要求达成度评价的开展也有利于学生认识自己毕业时应具备的知识、能力和素养，以及每门课程的课程目标，理解和配合教师实施教学活动，明确自己获取能力的强项和弱项，及时调整自己的学习活动；管理部门根据毕业要求达成度评价可以评价教师工作状况、评价专业办学质量、考查院系和大学的办学目标达成情况。此外，评价结果也是作为专业经费资助、硬件和各项资源配置的依据[5]。本文根据作者在工程认证过程中的经验与反思，探讨分析了毕业要求达成情况评价实践过程中评价周期、评价样本选取，评价方式对评价结果的影响。

一  毕业要求达成情况评价方法

为了保证评价结果能客观反映毕业要求的达成情况，专业应根据每项毕业要求的不同特点，采用适当的方法开展评价。目前，对于工程教育认证毕业要求达成度的评价方法尚无统一的标准，采用的方法主要包括直接评价和间接评价两类，如课程考核成绩分析法、评分表分析法、问卷调查法和学生访谈法等。原则上，与专业相关的技术性指标，适宜采用课程考核成绩分析的方法进行评价。对于团队合作、沟通、工程职业道德等非技术性指标，适宜采用评分表分析法进行评价。在确保数据可靠有效的前提下，辅以问卷调查等其他方法，对上述两种方法的评价结果进行佐证，综合分析得出最终的评价结果[6-7]。

（一）  直接评价方法

毕业要求达成的直接评价方法主要是依据面向产出的课程质量开展评价。其过程应体现学生的学习成效，要求课程内容、教学方法和考核方式应与该课程支撑的毕业要求相匹配。

1  面向产出的课程质量评价

面向产出的课程质量评价的实施手段是课程目标达成情况评价，如图2所示，其评价方法包括定量评价和定性评价。定量评价是指任课教师对照课程目标，对学生的学习成果进行量化评估，形成课程目标达成分析报告。定性评价为学生自我评价，以课程调查问卷为依据，经过综合分析得到课程目标定性评价分析报告。

课程目标达成定量评价的评价依据主要来自学期成绩登记表和平时成绩，其基于平时作业、考试试卷、实习和实验报告等反映学生成绩的资料。在开展课程达成度评价前，应由熟悉该门课程的专家对评价依据的合理性进行确认，确保考核内容覆盖相应毕业要求的观测点，试题难度适中，覆盖面及课程作业、实习实践内容合理，能够反映学生相应毕业能力的状态。

计算单门课课程目标及毕业要求指标点达成度时，专业依据对学生的试卷、报告、答辩等考核成绩，抽取选修该门课程的全部或部分学生作为样本，进行课程对该毕业要求指标点的达成度评价。计算方法和过程如下。

某门课程i对毕业要求分观测点k的达成度C的计算公式为

C=O×Bt×Ft /100，

式中：O为课程i对分指标点k达成度的目标值；t为构成总评成绩的分成绩项数，例如，当总评成绩由卷面和平时成绩构成时，则t=2；Bt为换算后第t项成绩的平均得分相对于应得分的百分比；Ft为第t项成绩占总评成绩的百分比。

2  毕业要求达成情况定量评价

规定毕业要求j对应的分观测点k的达成度目标值之和为1，毕业要求j的各个分观测点达成度D具体计算公式为

D=ωC，

式中：i为支撑分指标点k的第i门课程；C为课程i对观测点k达成度的评价值；ω为课程i对观测点k达成度的权值。

求出各毕业要求对应的分观测点达成度D后，取各达成度最小值作为该项毕业要求达成度评价值Ej，具体计算公式为

Ej=min（D），

式中：D为支撑毕业要求j的分观测点k的达成度评价值。

在确定单项毕业要求j的达成度Ej后，取其最小值作为总体毕业要求达成度A的评价值，具体计算公式为

A=min（Ej），

式中：Ej为毕业要求j的达成度评价值。

（二）  间接评价方法

毕业要求达成的间接评价方法主要是通过问卷调查应届毕业生对专业毕业要求的达成情况认同度，以此来反映毕业要求达成度的评价。

其计算公式为

Bm=/5，

式中：Bmn为毕业要求m得分为n分的人数，例如，B14为毕业要求1得分为4分的人数；Bm为毕业要求m的定性达成度。

（三）  综合评价

将直接和间接评价结果按权重求和，得到其综合评价结果，即

毕业要求m的达成度=Am×W1+Bm×W2，

式中：W1、W2分别表示直接评价方法和间接评价方法的权重，其和为1。

二  样本数据选取对评价结果的影响分析

在具体开展毕业要求达成情况计算时，各专业根据评价周期选取不同的样本计算方法。

（一）  以三年为周期评价毕业要求达成情况

若毕业要求达成情况评价以三年为周期，每隔三年开展一次。那么在评价时，某门课程i对观测点k达成度的评价值C取近三年的最小值。采用这种方法计算简单，但是周期较长，不利于及时发现问题，而在最终计算毕业要求达成度时，可能因采用了不同届学生的样本，且以近三年为周期，样本数据来自不同的培养目标与课程体系，容易掩盖存在的问题，造成计算结果分析的混乱。

（二）  以一年为周期评价毕业要求达成情况

不同于以三年为周期的毕业要求达成评价方法，该种方法在课程结课后及时开展课程质量评价，并针对每届毕业生均开展毕业要求达成情况，该种方法虽然增加了评价次数，但也更加细致深入，能够快速准确地发现课程体系、课程实施及支撑条件方面存在的薄弱环节，及时改进。

成果导向教育的实施要坚持三大原则，即反向设计、学生中心和持续改进[8]，毕业要求达成情况评价是检验课程体系反向设计合理性的重要手段，以一年为周期，针对每届毕业生开展评价，时效性更快、借鉴意义更大。

（三）  课程目标达成情况评价样本选取对评价结果的影响

计算毕业要求达成情况时需要用到课程对所支撑观测点k达成度的评价值，该样本选取有两种方式，一种是以课程结课时所采用的原始试卷考核结果为样本进行分析，即以课程质量评价结果为依据，其分析结果便于发现课程实施过程中所存在的不足，利于任课教师发现问题，持续改进。另一种是更新原始考试不及格学生的成绩，以最终毕业时补考通过后的成绩为样本进行达成情况评价，这种方式更接近毕业要求达成情况的实际，利于发现课程体系设计中存在的问题。