基于CNN的教学质量评估模型研究
作者: 孟庆祥 王帆 冯苑君 申力 卢冰 杜娟
摘 要:高校教学质量评估活动开展为广大教师及时调整教学策略提供针对性建议,有助于提高教学质量。但现行评估方法多为简单加权平均,人为给定指标权重,常存在主观性和片面性局限。针对上述现象,该文综合学生、同行教师、督导员三方评价将教学质量分为优秀、良好、一般和较差4个等级,并采用神经网络算法,建立基于卷积神经网络的教学质量评估模型。该文首先研究现行教学质量评估体系优缺点,判断模型构建可行性,提出基于深度学习的教学质量评估模型构建方法,然后代入现有教学评估数据,比较所得结果与已知事实验证模型准确性。结果证明,评估模型准确性较高。该研究将有助于建立一个更加科学可靠的教学质量评估标准体系。
关键词:教学质量;深度学习;评估方法;CNN网络;评价体系
中图分类号:G642 文献标志码:A 文章编号:2096-000X(2023)S1-0014-04
Abstract: The development of teaching quality assessment activities in colleges and universities can provide more targeted information for teachers to adjust teaching strategies in a timely manner and do college lecturers a favor to improve teaching quality. Nevertheless, the majority of the current evaluation methods are weighted average algorithms. The weights of each indicator are artificially given empirical values, which often have limitations of subjectivity and one-sidedness. In view of the above phenomenon, this paper not only comprehensively considers the course evaluations of students, peer teachers and supervisors to divide the teaching quality into four grades: excellent, good, average and inferior, but also uses neural network algorithms to establish a teaching quality evaluation model structure based on Convolutional Neural Networks (CNN).This paper studies the pros and cons of the current teaching quality evaluation system, judges the feasibility of building a CNN model, and proposes a construction method for the model of teaching quality evaluation based on deep learning. Subsequently, the data of existing teaching evaluation is substituted into the model for calculation and the obtained results are compared with known facts to verify the accuracy of the model. According to the result, the accuracy of the CNN evaluation model is high, which will help to establish a more scientific and reliable teaching quality evaluation standard system.
Keywords: teaching quality; deep learning; assessment method; CNN network; evaluation system
基金项目:湖北省科技厅省级基金项目“基于全天空成像仪和辐射传输模型的太阳能短时预测方法研究”(2019CFB732);武汉大学遥感信息工程学院“三全育人”教改项目“疫情期间遥感大类卓越工程师人才培养改革”(YGJY202210);武汉大学遥感信息工程学院“三全育人”教改项目“探索‘教与学革命’背景下教师教学能力提升优化及制度设计”(YGJY202214);武汉大学遥感信息工程学院“三全育人”教改项目“价值引领式的大学生竞赛科研创新育人模式改革路径探索”(YGJY202114);武汉大学教改项目“学科竞赛与大创科研驱动的遥感类综合创新育人模式研究”(00030791)
第一作者简介:孟庆祥(1977-),男,汉族,内蒙古乌兰察布人,博士,讲师。研究方向为遥感科学与技术、深度学习、教学研究等。
目前,我国大多高校已建成由督导员、同行教师和教学学生评价共同组成的教学质量评估体系,该体系主要由督导员评价指标调查表、同行教师评价指标调查表和学生评价指标调查表构成。相较于单方面由学生或督导员评价的手段,该体系更客观,但其最终等级评估结果依赖于加权平均计算,且各权重乃人为给定经验值,在可靠性上仍有欠缺[1]。此外,受多种不定量因素影响,现行评估方法还存在评分结果与测评结果联系松散的问题,难以直观体现最终教学评价分数代表的实际意义,对课程教学改进的指导意义不强[2]。
传统反向传播(Back Propagation ,BP) 神经网络常常需要大量样本进行训练,计算量大,不利于推广应用[3]。而卷积神经网络(Convolutional Neural Networks, CNN)作为一种特殊的深度前馈神经网络模型,与生物神经网络具有高度相似性。卷积网络由大量独立神经元构成二维平面,多个二维平面构成单层神经网络,单层神经网络相互连结构成[4]。其特殊性主要体现在以下两点:一是神经元之间采用非全连接,有效降低模型复杂度;二是相同层级中特殊神经元的连接权重相同,减少权值数量[5]。同时,CNN具备准确度高、学习能力强、对噪声神经有较强的鲁棒性和容错能力等特点[6]。最后,CNN模型还有一个独具的优点,即广泛适用性。搭建CNN模型的知识来源不是固定的历史模型参数,而是对有参考价值的评估样本的学习结果,并基于习得模型分类规则进行实例分析[7]。这样的特点使得模型具有很强的时效性,只要收集到最新的评估样本训练集,就能通过深度学习得到最新的、最适合的评估系统,适用于当前社会背景。
根据武汉大学2016年教学评估工作数据,本研究基于CNN构造教学质量评估模型,通过学习样本中学生、教师及督导员课程评价和综合教学质量的对应关系,得到区分不同教学质量的规则,直观反映课程教学质量,进而形成一个科学可靠的教学质量评估标准体系。
一 基于CNN的教学质量评估模型
(一) 指标体系的建立
指标体系是进行课堂教学评估的前提。为从不同角度评估某课程教学质量,本研究评估指标体系的构建由学生、同行教师及督导员展开。其中,学生是课堂内容的第一接收者,故而学生评价是课程教学质量评估必不可少的部分,但其评价侧重于课堂信息的传递和课下沟通方式,难以覆盖教学策略等专业方面;同行教师经验丰富,对于课程体系和课程目标本身有较透彻的理解,能够对教学过程中老师使用了何种教学策略、该策略对学生理解课堂知识具有多大影响等方面作出专业评价;督导员更专注于评价课堂教学控制,一般从一些硬性指标,如课堂的纪律、出勤率、课程成绩等方面出发完成评价。
综上,我们将教学质量评估指标细分为三级。
1)一级指标为教学质量综合评估等级,分为4级:分别为1级(优秀),2级(良好),3级(一般),4级(较差)。
2)二级指标为学生、同行教师及督导员对课堂教学质量的评估结果,分为4级:分别为1级(优秀),2级(良好),3级(一般),4级(较差)。
3)三级指标为学生、同行教师及督导员评价表上的细分项,分为3级:分别为1级(优秀),2级(一般),3级(较差)。
具体指标体系见表1,同级指标间相互独立没有联系。而且,本研究制定该指标体系时注重传统评价数据的输入便捷性,三级指标与往常进行课程教学质量评价时数据收集的方式一致,便于我们通过CNN模型划分教学质量等级。
(二) CNN分类器
综合评价模型使用三类人物的评价指标作为分类器的分类特征项,建立CNN分类器以搭建教学质量评估系统如图1所示。首先由下层分类器确定二级指标X、Y、Z值,然后再基于上层分类器得到一级指标值。其中二级指标能够帮助课程教师快速锁定自己在哪个教学环节存在不足,更高效地进行教学计划调整:如果学生评价对应的二级指标X值较低,则主要需要调整课堂上的信息传递方式或课下与学生的沟通方法;如果同行教师的评价等级Y较低,则应考虑授课时教学策略运用是否存在不完善问题,提高备课能力;如果督导员评价等级Z较低,则应关注课堂纪律管理、给分是否合理等方面。
(三) 训练样本的建立
基于CNN分类器的教学质量评估模型的建立需要考虑两个问题:一是确定网络结构;二是学习属性变量的条件概率分布及确定类的先验概率。因设计教学质量评估指标时已考虑属性变量间的独立性,故不再进行结构学习,只需对属性类条件概率进行估计。
本文中选取的学生评价表、同行教师评价表和督导员评价表,以及教学质量评估等级数据均来自武汉大学2016年教学评估工作。
使用CNN分类器进行等级分类的前提是利用部分已有分类结果的样本进行先验概率统计,CNN分类器的准确度和样本空间大小有关,样本空间越大其准确性越强。因此,本研究从已有学生、同行教师及督导员的打分结果中随机选出500份作为样本,样本的一级指标和二级指标已知。使用CNN模型进行机器学习,从已有的样本中总结得出教学质量等级划分规则,利用计算机习得的分类规则对实例进行教学质量评估。这里需要注意的是,随机选中的500个样本不需要全部作为训练样本集输入到CNN分类器中,我们在实验中随机取出400个样本作为训练集用于拟合模型、调整参数,剩余100个样本作为验证分类器正确性的验证样本集,以保证所得CNN分类器准确性在应用前已被检验。
二 实例分析
使用武汉大学2016年教学评估工作中提取出的样本生成CNN分类器,进行神经网络样本计算机学习后,进行实例处理,取得结果见表2。
随后,对未有综合评价结果的10 000个课程进行教学质量评估。通过问卷调查和网上评价系统等渠道,我们收集了上述课程的三级指标。使用CNN分类器确定二级指标,并将二级指标作为新的属性特征值输入得到一级指标,即综合教学质量等级。结果如图2所示,其中1级课程占总课程数的5.32%,2级课程占总课程数的27.42%,3级课程占总课程数的60.77%,4级课程占总课程数的6.49%。
将评价结果与现实情况进行对比,可以发现:1级课程多为学生评选出的“最受学生喜爱课程”或被评为“武汉大学精品课程”;4级课程多为新开课程,任教老师的教学策略等有待改善。这一结果与现实的相互印证,代表本研究通过学习样本得到的基于CNN的教学质量评估模型能有效地、高可用地协助划分课程等级,进而帮助课程教师针对性地调整教学方法。