基于数据驱动的在线开放课程学习评价研究

摘要：在线开放课程已成为学习者知识获取、技能提升和终身学习的重要途径，但现有在线开放课程学习评价存在学习起点评价不精准、过程评价不全面、评价结果的解释性不足等困境。科学合理的学习评价能激发学习者的主动性和积极性，提高学习效能。本研究从混合教学结构流程的视角，将学习评价有机融入学习过程，构建了课前导学、课中研学、课后拓学评价框架，并应用于教学实践。研究结果表明：投入度高的学习者其学习成绩较好；发回帖越活跃的学习者其学习成绩并不一定很好；教师在混合教学过程中科学地进行教学组织、调控及干预，对提高学生学习质量具有重要的保障作用。

关键词：在线开放课程；混合学习；数据驱动；评价设计

中图分类号：G712    文献标识码：A    文章编号：1672-5727（2023）07-0078-06

2020年10月，中共中央、国务院发布的《深化新时代教育评价改革总体方案》对结果评价、过程评价、增值评价和综合评价改革做了详细部署，并要求利用信息技术，深度挖掘分析学习过程数据和学习结果数据，探索建立个性化、精准化的学习评价方式[1]。截止到2022年3月，我国在线开放课程数量和用户数量都居世界第一位[2]。在线开放课程因其支持多种教学应用场景、教学方式灵活、突破时空限制、能满足不同学习群体需求等优势备受学习者、教师们的青睐，为学习者在知识获取、技能提升和终身学习等方面提供了有效路径。同时，由于受在线开放课程师生之间的时空分离、浅层教学互动、学习动机差异较大等因素影响，出现在线开放课程学习体验不佳、学习质量不高等问题。鉴于此，本研究从在线开放课程中混合教学过程与学习评价相融合的视角，对在线开放课程学习质量进行评价研究，以提高学习效能。

一、在线开放课程学习评价的困境

通过中国知网和实践调研发现，现有在线开放课程学习质量评价存在不足。具体体现在：一是学习起点评价（学情分析）方面，因课前学习行为数据采集片面、部分数据缺失，同时在数据分析上多倚重教师的经验判断和简单的统计对比，导致学习起点评价（学情分析）不能精准识别学习者的认知基础、认识能力和学习偏好；二是学习过程评价方面，由于不能采集学习过程全样本数据，数据处理与分析难以深入，没有采取即时监测与精准反馈的有效措施，导致无法诊断学习状态与学习目标之间的差距；三是学习结果评价方面，过于强调对学生过去学习的总结并简单地赋予成绩等级，缺乏对等级与位置的深入分析、深度解释，难以发现教与学中存在的问题，难以实现“教学评一体化”；四是增值评价方面，评价指标设置不合理，简单粗糙地把几次考试分数的增值作为增值评价指标，而忽略了学习者在受教育过程中以及在独立学习过程中的表现，忽略了对学习者的品德、艺术审美、综合能力提升等方面的考察。

二、基于数据驱动的学习评价框架构建

（一）在线开放课程教学结构流程

在信息技术赋能下，在线开放课程与传统课堂相比，在教学模式、交互方式、评价方法等方面发生了根本性变化。在线开放课程教学结构流程通常包括课前导学、课中研学、课后拓学三个阶段[3]（见图1）。

课前导学：教师的主要任务聚焦在学情分析与教学预设。首先，教师从教学目标、教学资源、学习者初始学习需求和群体特征等方面进行学情分析。其次，根据学情分析进行教学设计，此阶段的教学设计主要围绕课前导学任务中需要学习者具备的知识、技能而进行的教学预设。教学预设趣味性强的导学任务、基于微课视频为主的多样化学习资源和课前导学测评试题等。然后，教师根据学习者导学资源学习情况、导学测评成绩、讨论互动等情况，综合分析导学阶段的学习情况。最后，重新评估学情，重新进行教学设计。学习者的主要任务是根据导学任务完成课前预习，进行自学、同伴互学，完成导学测验，并将学习难点或有疑问的地方记录下来及时反馈给教师，以便在课中研学时教师对其进行重点讲解。

课中研学：学习者深度参与教学活动是促进学习者有效内化知识、提升技能的关键。教师活动，首先，要对课前导学阶段遗留的“疑难杂症”进行讲解答疑；其次，为导入本堂课的教学情境，提出高阶问题，在学生研学过程中给予适当的点拨或提醒；最后，要对学习者的研学过程和学习成果进行归纳总结。学生活动方面，首先，基于具体情境、具体问题进行独立思考；其次，需在此基础上与小组其他成员进行协作研讨并解决问题，最终形成小组学习成果并进行展示；再次，要在课内学习任务完成后，及时进行学习效果评测；最后，为教师对小组学习成果进行及时的评价与反馈。

课后拓学：此阶段聚焦在学习之后的反思与迁移应用。教师根据课中阶段的学习情况，设计不同难易程度、不同类型的拓展项目，设计拓展学习资源，推送拓展学习资源，对个别学生/小组进行精准指导，最后组织学习者进行反思与自评/互评。学习者通过自学、互学完成拓展任务，进行拓学测评，完成同伴互评与学习反思，在此过程中培养学习者的批判思维和迁移应用能力。

（二）在线开放课程教学过程生成的数据体系

在线开放课程教学实施过程产生了大量的多模态数据，这些数据包含了学习过程和学习结果数据，为评价提供了数据基础（见图1）。本研究将教学过程产生的海量多模态数据进行分类，形成师生行为数据簇、师生情感数据簇、评价数据簇和课堂管理数据簇。

1.师生行为数据

师生的学习行为既包含显性学习行为，也包含隐性学习行为[4-5]。教师线下行为数据包含线下课堂组织行为、互动行为数据和线上在线指导、学情分析等线上行为数据。学习者行为数据同样包含线下实体课堂听课行为、互动行为等数据和登录学习平台频率、资源访问学习行为、论坛互动等在线行为数据。

2.师生情感数据

已有研究表明，学习者的情感是影响其学习效果的重要因素[6-7]。师生情感数据采集中，可以通过视频、图像识别技术对师生情感、实时状态数据等情感信息进行分析评价。

3.教与学评价数据

评价贯穿课前导学、课中研学、课后拓学全过程，评价数据包括评学、评教、互评等过程性和结果性数据。

4.课堂管理数据

信息化教学环境与设备是保障教学顺利实施的重要载体，它记录了教学过程中的课堂管理数据，这些数据包含学习者考勤、课堂异常表现、学习进度提醒和预警信息等数据[8]。

（三）在线开放课程学习评价框架构建

科学评价能有效诊断出教学中存在的不足，并提出针对性的改进建议，实现以评促教、以评促学。在线开放课程混合教学涉及线上线下不同场景，其学习质量评价也应针对不同场景进行适切性地评价[9]。本研究在教育测量等理论指导下，结合在线开放课程教学结构流程和教学过程生成的数据体系特点，从课前导学、课中研学、课后拓学等角度对学习者进行诊断与评价。学习评价在伴随式采集学习者学习过程全样本多模态数据基础上，采用定性与定量结合、线上线下考核并进、结果性评价与过程性评价相结合方式进行学习全过程诊断评价。学习评价总成绩=过程性评价成绩+结果性评价成绩，其中过程性评价成绩=课前导学评价成绩+课中研学评价成绩+课后拓学成绩，结果性评价成绩=综合测试成绩+项目作品质量成绩。

1.课前导学评价框架设计

在该阶段，学习评价的目标聚集在对学习者的学情进行分析、对导学成效进行评价。利用网络学习平台数据采集工具，采集学习者学习行为数据、导学测评数据等，利用学习分析、数据挖掘等技术，深度挖掘其学习参与度与学习成效，对学习者线上学习过程和学习结果进行评价。此阶段从评价维度、观测点、权重、评价主体等四个方面构建评价框架，其中评价的维度包含投入度、参与度、学习能力、导学测评等方面（详见表1）。

2.课中研学评价框架设计

课中学习评价目标主要聚焦在学习者在课堂上的主动参与、合作表现以及学习成效等方面，采用定量评价与定性评价相结合的方式，其中，在投入度中重点对学习者课上情况进行评价；参与度中主要对学习者是否积极参与讨论、小组互动、学习任务完成情况等方面进行评价，此外为其它维度评价观测点（详见表2）。

3.课后拓学评价框架设计

课后拓学是进一步巩固课中学习内容，并在此基础上进行知识迁移应用。因此，课后学习评价主要针对拓展学习任务的完成度、知识迁移应用、拓学测评、反思总结等方面进行评价。此外为各评价维度及观测点（详见表3）。

三、实践应用

（一）研究过程

1.实验样本选择

实验样本以湖南电气职业技术学院电梯工程技术专业和城市轨道交通机电技术专业2020级339名学生为研究对象，实验课程为“职业素养”，基于超星慕课平台和线下智慧课堂实施混合式教学。将电梯工程技术专业学生作为实验组，应用本研究的评价框架进行教学实践；城市轨道交通机电技术专业的学生作为参照组，采用原有的评价方法进行教学实践。前期两个专业的学生已基于超星慕课平台完成了“信息技术”等课程的混合式学习，具备了线上线下混合学习技能和相应的信息素养。“职业素养”课程为电梯工程技术专业和城市轨道交通机电技术专业学生所必修的一门公共基础课程，课程学习6～11周，第12周进行期末综合测评。总课时为32学时。

2.学习评价量化计算方法

本研究学习评价计算方法按照表1、表2、表3观测点进行量化。具体量化计算公式：课程学习评价总成绩=过程性评价（70%）+结果性评价（30%）。其中，结果性评价成绩=期末综合测试成绩（50%）+项目作品质量（50%）；过程性评价成绩=课前导学成绩（20%）+课中研学成绩（50%）+课后拓学成绩（30%）。

课前导学成绩=投入度（40%）+参与度（20%）+学习能力（10%）+导学测评（30%）。其中，投入度、参与度、学习能力、导学测评各维度下观测点的百分占比见表1所示。

课中研学成绩=投入度（15%）+参与度（20%）+协作创新（20%）+贡献度（15%）+实时测评（15%）+学习成效（15%）。其中，投入度、参与度、贡献度、协作创新、学习成效、实时测评等各维度下观测点的百分占比见表2所示。

课后拓学成绩=拓学任务完成度（20%）+知识迁移应用（40%）+拓学测评（20%）+反思总结（20%）。其中拓学任务完成度、知识迁移应用、拓学测评、反思总结等各维度下观测点的百分占比见表3所示。

3.信度与效度分析

研究基于上述具体量化公式，抽取课前导学4个评价维度数据、课中6个评价维度数据、课后4个评价维度数据为研究对象，将339名学生的数据导入到统计分析软件SPSS 26中进行可靠性计算分析。发现克朗巴哈系数Cronbach’s Alpha为0.843，表明各影响因素之间具有较好的内部一致性，信度较高。同时，研究还进行了KMO度量（检验变量之间的相关性，取值在0～1之间，值越大表明变量之间相关性越大），其KMO值为0.692，表明具有较好的结构效度。

（二）研究发现

1.学习者的参与度、投入度与学习总成绩相关性分析

通过皮尔逊相关性检验（度量两个变量间的相关程度）发现（见表4）：学习者的参与度成绩与总成绩的皮尔逊相关系数为0.745，两者之间相关性较强（在0.01水平上显著相关）；学习投入度成绩与总成绩的皮尔逊相关系数为0.759，两者之间相关性较强（在0.01水平上显著相关）；另外，学习者参与度成绩与学习者投入度成绩的皮尔逊相关系数为0.728且显著相关；参与度成绩、投入度成绩均与总成绩具有较强相关性。这说明参与度高的学习者，其学习投入度也较高，学习成绩也越好，也与心理学研究结论一致。本研究结论的启示是：教师创设趣味性较强、体验感较好的学习情境和学习任务，能较好地激发学习者的学习积极性与兴趣，促进学习者“乐学、爱学、好学”，提高学习效能。