基于强化学习的高校课程教学质量评价指标优化模型研究
作者: 陆悠 陈洋 傅启明 刘文亮 王飞 王蕴哲 孙云飞
摘 要:课程质量评价作为高校教学质量监控与保障工作中最为重要的一环,其评价结果能够为高校教师和管理人员及时调整教学策略提供针对性建议,从而提高教学质量。但现行评估方法的评价指标大多采用简单加权平均等策略给定指标权重,存在主观性和片面性局限。针对该问题,该文提出引入机器学习方法,建立基于强化学习的课程教学质量评价指标优化模型。首先分析现有教学质量评价指标体系设置优缺点,然后引入强化学习方法,提出教学质量评价指标自适应优化方法,最后引入苏州科技大学计算机科学与技术专业的现有教学评估数据,验证指标优化模型准确性。结果证明,该文模型优化后的评价指标权重更为合理,评价结果更符合基于OBE理念的课程评价结果,将有助于建立一个更加科学可靠的教学质量评估标准体系。
关键词:课程教学质量;强化学习;评价模型;指标优化;评估方法
中图分类号:G642 文献标志码:A 文章编号:2096-000X(2025)07-0106-05
Abstract: As the most important part of teaching quality monitoring and assurance in universities, course teaching quality evaluation can provide targeted suggestions for university teachers and administrators to adjust teaching strategies in a timely manner, thereby improving teaching quality. However, most of the current evaluation methods use simple weighted average strategies to assign indicator weights, which is subjective and one-sided. In response to this problem, this paper proposes to introduce machine learning methods to establish an optimization model for curriculum quality evaluation indicators based on reinforcement learning. First, The paper analyzes the advantages and disadvantages of the existing teaching quality evaluation indicator system, then introduces reinforcement learning methods, proposes an adaptive optimization method for teaching quality evaluation indicators, and finally it introduces the existing teaching evaluation data of the computer science and technology major at USTS to verify the accuracy of the model. The results show that the optimized evaluation indicator weights in this model are more reasonable, and the evaluation results are more in line with the real teaching evaluation results based on the OBE concept, which will help to establish a more scientific and reliable teaching quality evaluation standard system.
Keywords: course teaching quality; reinforcement learning; evaluation model; indicator optimization, assessment method
随着我国各领域的人才竞争日趋激烈,作为人才供应重要的基地,高校面临提升人才培养能力的紧迫课题。为确保培养质量的达成,建立科学合理的教学质量评价方法成为地方高校改革发展的核心任务之一[1]。与此同时,高校也越来越重视工科、师范等专业的人才培养特点,积极参与包括工程教育认证、示范认证在内的各类基于OBE理念的教学质量评价活动,评价专业培养质量时更注重学生实操能力、岗位胜任能力等出口成果导向,因此,这些专业的课程教学质量的评价结果也应以学生为中心,充分服务于出口能力培养目标,从而为客观评价高校教育质量乃至动态调整和持续改进提供数据支持[2]。
然而目前高校的教学质量评价方法仍存在着一定的传统性[3],一般来说,大部分高校已建立教学管理者(教学督导)、同行评教和学生评教为代表的多方教学质量评估体系,并设计各方使用的具体评价指标及评教表格,按照表格评分后其值作为教学质量评估结果,这类方法虽然有一定客观性和合理性,可操作性较强,但相对当前信息类专业教学质量评价的客观需求,尚有不足:
一是指标权重分配不合理。基于指标的评价结果大多采用加权计算方法,因此权重也是影响评价效果的重要因素,传统做法或者依赖历史经验,或者采用主成分分析、AHP等依赖专家经验的分配方法[4-7],往往存在主观性,可靠性不足。
二是缺乏对出口导向的支持。当前信息类专业教学大多已引入OBE理念,并积极参与包括工程教育认证在内的出口导向评估,已存在包括达成度评价等在内的评估结果,但尚缺乏将传统教学质量评价与这些出口导向评测结果关联的评估方法,使得传统质量评估结果缺乏实际意义。
由此可见,针对当前高校基于传统方法的信息类专业教学质量评价方法的不足,分析研究评价新模型、新方法现实意义显著。
一 出口导向的教学质量评价模型设计思路
仔细分析传统质量评价方法的不足,并结合信息类专业引入OBE理念的教学特点,可以发现上述不足的关键原因在于评价方法与基于学生出口能力的评估结果(例如工程教育认证相关的评估结果)联系松散,指标权重设计过于依赖人为主观设计,缺乏科学合理的调整,导致传统方法难以实现对教学质量的客观评价,更遑论对持续改进的支持。因此本文提出的改进思路为:发挥传统评估方法对教学过程和涉及要素覆盖面广的优势,同时结合出口导向的定性评估准确性优势,将质量评价和评估结果联系起来,基于结果对指标体系尤其是权重进行优化,确保质量评价方法结果符合评估结果,从而实现合理、可靠的评价模型。但其难点在于如何依靠定性的评估结果对面向过程的多方、多维质量评价模型进行调整。考虑到机器学习技术在参数优化问题的优势及其在教学质量评价领域中的应用经验[8-9],尤其是强化学习在自适应优化领域的突出优势,本文引入强化学习技术来实现评价指标优化模型设计与实现。
强化学习作为机器学习领域的一个重要分支,其训练过程中不依赖于对数据样本标签的拟合,而以获取最大累计奖赏为目标,通过智能体与外部环境相互作用,最终学到最优策略。面向教学质量评价指标体系优化的强化学习模型如图1所示。首先智能体从环境(即教学质量评价活动数据)中获取状态(即评价指标权重),然后智能体根据状态选择动作(对指标权重进行调整),并作用于环境,进行教学质量评价,其评价结果与出口导向的评估结果进行对比,其质量(即按更新的权重对课程教学质量评价后其结果与评估结果的符合程度)作为反馈动作相对应的奖赏,并进入下一步状态。最后智能体根据获取到的奖赏更新策略。这个过程将不断重复,直到环境到达终结状态并结束。通过上述过程,评价指标体系将与出口导向的评估结果相联系,最终实现两者的契合,从而实现评价模型的优化,进而支持对教学质量科学、合理的评价。
图1 面向教学质量评价指标体系优化的强化学习模型
二 基于强化学习的信息类专业教学质量评价模型设计
(一) 指标体系建立
教学质量评估的首要前提是如何设计科学合理的指标体系,由于当前信息类专业的课程教学建设一般都遵循出口导向和持续改进等基本原则,因此本研究将评估指标体系设计如下:纵向按教学阶段分为“课程建设、教学过程、反馈评价、改进提高”四个一级指标,其下分别设计相应的二级指标,横向则按评价对象分为教学管理者评价、教师同行评价、学生评教三类,从不同视角设计各自负责评价的指标内涵,以苏州科技大学计算机科学与技术专业的理论课程环节为例,其指标体系见表1。
该指标体系由教学管理者(教学督导)、同行教师和学生三个评教方开展,其中学生是课程教学内容接收者,但其对教学理论等专业领域并无理解,因此指标内涵更多从学生接受角度进行设计。同行教师一般为相同或相近专业,对培养方案、课程体系以及认证评估等方面理解较为深刻,同时经验也较为丰富,因此其指标内涵更多反映对教学质量的专业评价。教学管理者(教学督导)通常则由学校层面进行安排,其指标内涵更多从教学管理、质量控制角度设计,更多从硬性指标和可量化角度进行设计。此外,为便于评价者工作,所有指标的评价结果均采用4级制(1级为优秀,2级为良好,3级为一般,4级为不合格),该指标体系与苏州科技大学的教务系统中有关课程教学质量评价时数据收集的方式一致,从而便于本文进行数据的采集和处理。
(二) 基于强化学习的评价指标优化方法
使用强化学习的指标优化本质上可视为一个马尔可夫决策过程,以指标体系的权重作为状态,优化的核心在于决策动作以及相应的奖赏设计,考虑苏州科技大学的信息类专业已全部实施工程教育认证,在每一届学生毕业时都需要完成毕业要求达成度计算,计算过程中会得到每一门课程的毕业要求达成度值,同时还会引入社会第三方对毕业生进行相应的调查,共同构成对课程的评价结果,因此从出口导向及与认证评估工作衔接角度出发,本文使用上述课程评价结果作为课程教学质量客观评价参考,基于评价结果确定不同课程的质量排序关系,而指标权重优化决策的奖赏则以某状态下计算得到的课程评价排序与参考的评价排序之间的符合程度计算。基于上述思路,基于强化学习的评价指标优化算法可以由元组<S,A,R,Q,?琢,?酌>以及表示,其中:
S表示有限状态集{a1,…a4,b1,…b6,c1,…c3,d1,…d3},代表优化过程中表1所示指标体系的当前权重值集合;
A表示有限动作集,表示对指标权重的调整,设计为增加、减少、保持三种动作策略,幅度为1%;
R表示奖赏,其值计算公式为R=?撞fi,j,其中fi,j代表使用当前动作实施后的指标权重所计算出的课程质量评价位序中,课程i和课程j的位序关系符合基于达成度和第三方评价计算出的参考位序关系,记fi,j=1,所有符合位序关系的课程对的总数量为R,其值即当前动作的奖赏;
Q为Q值表(Q-table),是一个二维矩阵,起决策作用,其中的行和列分别表示state和action,Q-table中的元素为Q(state,action)值。Q(state,action)值常用来衡量在状态state下选择动作action的好坏。当奖赏值的大小与动作的好坏程度呈正相关时,Q值则越大越好,反之亦然。计算公式如下