基于层次分析法（AHP）的课程调查问卷设计

［摘  要］ 课程问卷调查是开展学情分析及了解课程教学效果的有效手段。课程调查问卷质量的好坏直接决定了调查结果的全面性、针对性以及有效性。一直以来，课程调查问卷中存在问题设置缺乏理论支撑的现实问题，难以全面客观地对学生课前基础及课后掌握程度进行有效分析。针对问题，提出一种基于层次分析法（AHP）的课程调查问卷设计方法。构建课程调查问卷内容体系，自上而下逐层分析各类问题的权重，继而明确问卷中各类调查问题的数量。利用层次分析法对某装备课程进行了调查问卷设计，通过分析问卷结果验证方法的可行性及有效性。

［关键词］ 课程调查问卷；层次分析法；学情分析；教学效果

［基金项目］ 2021年度国防科技大学信息通信学院教育教学研究重点项目“基于虚拟仿真的××装备教学研究”（ZY21A007）

［作者简介］ 林志强（1990—），男，吉林桦甸人，硕士，国防科技大学信息通信学院讲师，主要从事装备效能评估研究；鄢睿丞（1984—），男，湖北襄阳人，博士，国防科技大学信息通信学院讲师（通信作者），主要从事智能化指挥信息系统研究；苏耀峰（1982—），男，河南巩义人，硕士，国防科技大学信息通信学院副教授，主要从事指挥信息系统运维保障研究。

［中图分类号］ G642.3 ［文献标识码］ A ［文章编号］ 1674-9324（2024）24-0014-04 ［收稿日期］ 2023-05-17

引言

课程问卷调查是指教师通过设置关于教学主体和教学客体相关情况的问卷，要求被调查者据此进行回答以收集教学资料的方法，主要用来进行教情分析和学情分析。课程问卷是开展调查的基础，形式为一组与课程调查目标有关的问题表格。按照调查时间进行分类，课程调查问卷一般分为课前调查问卷、课中调查问卷及课后调查问卷。课前调查问卷主要用来对学生的基本情况进行摸底，从而进行有针对性的教学；课中调查问卷主要用来分析学生某一阶段的学习情况，以此调节教学难度、进度以及方法；课后调查问卷主要用来对教学效果进行研判，为下一轮教学优化调整提供参考和借鉴。

从本质上来讲，问题是课程调查问卷的核心，而问题设计的好坏，直接影响调查结果的可靠性和有效性。因此，正确而恰当地设计问题至关重要。在进行问题设计时通常要遵循的原则主要包括合理性原则、逻辑性原则、清晰性原则以及层次性原则［1］。合理性原则是指在问题设计时应该秉持客观中立的态度，设计的问题不能带有某种倾向性或暗示性，同时应该紧扣调查目标，避免偏离主题。逻辑性原则是指在问题设计时应该注意问题之间的逻辑关联性，由浅入深，循序渐进。清晰性原则是指在问题设计时语言描述要做到清晰规范，不能出现模糊的概念或者存在歧义的表述。层次性原则是指在设计问题（选择题）答案时要有一定的梯度，可参照李克特量表（五分量表）进行设置，便于作答和统计。

上述原则对课程调查问卷设计具有一定的指导意义，但并不能具体明确如何进行问卷设计。目前，大部分课程调查问卷主要是教师依据教学经验进行设计，存在的主要问题是主观性比较强，可能存在调查问题冗余、冲突、深度不够等缺点，同时各类问题数量的确定尚无科学的方法指导。为解决这些问题，笔者提出了一种基于层次分析法的课程调查问卷设计方法，即先构建具有树状结构的课程调查问卷内容体系，再通过构造判断矩阵求取各类调查问题的权重，最后利用权重确定问卷中各类调查问题的数量。

一、层次分析法概述

层次分析法（analytical hierarchy process， AHP）

是由美国运筹学专家Saaty于20世纪70年代初提出的一种综合定性与定量分析的多准则决策方法［2］。这种方法条理清晰、使用方便、科学性强，能够充分利用决策者的经验对解决问题的方案进行抉择，适用于一些难以完全用定量的方法来分析的复杂问题，目前在效能评估领域得到了广泛的应用。

（一）基本思想

层次分析法的基本思想是将复杂的问题分解为若干层次，在比原问题简单得多的层次上逐步进行分析。主要思路是根据决策目的和研究对象，把目标逐层分解为多个相互独立且完备的组成因素，得到一个自上而下的层次结构模型，下层因素隶属于某一上层因素，上层因素对下层因素有支配作用。通过按层分析，获得各因素的权重，最终进行方案的优劣性排序［3］。

（二）主要步骤

层次分析法在应用过程中的一般流程主要包括六个步骤。其一，根据决策的目的以及研究对象对决策目标进行明确，梳理出影响目标决策的全部因素；其二，分析各目标因素之间的关系，构建“树状”目标因素层次结构模型；其三，邀请领域专家对同一层次各因素之间的重要程度进行对比，建立判断矩阵；其四，计算判断矩阵的最大特征值，求出判断矩阵的一致性指标和随机一致性指标，进而得出随机一致性比例，利用随机一致性比例对判断矩阵进行一致性分析，若满足一致性，则进行下一步，若不满足一致性，则返回上一步重新构建判断矩阵；其五，利用判断矩阵求出各目标因素的权重；其六，依据目标因素权重，对目标因素的重要程度进行排序，完成决策。

二、课程调查问卷设计流程

利用层次分析法进行调查问卷设计的流程主要包括构建课程调查问卷内容体系、调查问卷判断矩阵求解以及调查问卷题目数量设置三个步骤。

（一）课程调查问卷内容体系

课程调查问卷内容体系是开展问卷设计的基础，一般来说，课程调查问卷的内容应该包含三个板块，分别是课程板块、教师板块以及学生板块。其中，课程板块主要指课程的教学内容，涵盖课程的各知识单元；教师板块主要包括教学理念、教学方法、教学设计、教学水平等方面；学生板块分为学生信息、学习动机、学习收获、学习效果等几个部分［1，4］。

（二）调查问卷判断矩阵求解

根据课程调查问卷内容体系可知，调查问卷判断矩阵主要包括：对于课程调查问卷内容而言与之有关的课程板块、教师板块、学生板块等因素形成的判断矩阵；对于课程板块而言各知识单元形成的判断矩阵；对于教师板块而言教学理念、教学方法、教学设计、教学水平等因素形成的判断矩阵；对于学生板块而言学生信息、学习动机、学习收获、学习效果等因素形成的判断矩阵。由于上述四个判断矩阵的求解方法基本相同，因此以各知识单元形成的判断矩阵为例进行简要介绍。

假设课程一共有n个知识单元，分别为S1，S2，…，Sn，构造各知识单元形成的判断矩阵需要邀请教学专家对各知识单元之间的相对重要性进行评判。若用bij（i=1，2，…，n；j=1，2，…，n）表示知识单元Si对知识单元Sj的相对重要性，其取值通常以数字1～9及其倒数作为标度［5］，取值越大表示相对重要性越凸显，则可构造出判断矩阵B=（bij）n×n。

判断矩阵的一致性检验以及各知识单元相对于课程板块权重的计算，需要求解出判断矩阵的最大特征值λmax及其对应的特征向量W。正规化求和法是一种计算判断矩阵最大特征值及其对应的特征向量的常用方法［6］。先利用最大特征值计算一致性指标CI，然后通过查表，获取随机一致性指标值RI，最后计算随机一致性比例CR=CI/RI，当CR＜0.1时，认为判断矩阵具有满意的一致性，此时各知识单元相对于课程板块的权重即为特征向量W，否则需要对判断矩阵进行调整。

（三）调查问卷题目数量设置

从课程调查问卷内容体系的层次结构分解粒度来看，问卷中涉及的调查问题类别共有n+8个（n为课程知识单元个数）。各类调查问题的数量依赖于预设的总调查问题数量N0以及最下层各调查问卷因素对于最上层调查问卷目标的权重αi（i=1，2，…，n，n+1，…，n+8），其中α1～αn分别为知识单元S1～Sn的权重，αn+1～αn+8分别对应教学理念、教学方法、教学设计、教学水平、学生信息、学习动机、学习收获、学习效果各因素的权重。

对于预设的总调查问题数量N0，若取值太小则问卷的体量不够，造成问卷的全面性不足；若取值太大，一是造成问卷中可能出现问题冗余，二是造成被调查人员由于填写耗时过长而产生厌烦情绪。根据专家经验，一般来说，预设的总调查问题数量N0取值在20～40之间比较合适。

由于最下层各调查问卷因素权重的计算方法大同小异，在此以各知识单元对课程调查问卷内容的权重（α1～αn）计算为例进行介绍。假设中间层因素课程板块、教师板块、学生板块对课程调查问卷内容的权重分别为ω1、ω2、ω3，则有

αi=ω1Wi，（i=1，2，…，n）                   （1）

其中Wi为知识单元Si对于课程板块的权重。

在课程调查问卷中，知识单元Si设置的数量Mi为

Mi=［αiN0］，（i=1，2，…，n）                 （2）

（2）式中“［ ］”表示四舍五入取整。

三、课程调查问卷设计实例

本节以一门本科教育必修课“×××技术与装备”的调查问卷设计实例进行介绍。由于课程专业性、岗位指向性较强，课前为了解学生的基本信息、学生对本门课程涉及知识的了解程度，以及对教学方式的主观偏好，设计了课前调查问卷；课后为掌握学生的学习效果、授课教师的教学效果，便于后续对课程进行改进，设计了课后调查问卷。

课前调查问卷的目的在于“前测”，问卷中课程板块设置的问题主要涉及一些比较浅显的基本概念；课后调查问卷目的在于“后测”，需要与“前测”形成闭环，问卷中课程板块设置的问题与课前调查问卷有对应关系，涉及内容深度和专业性较强。课前调查问卷中教师板块设置的问题主要侧重于对学生喜好或倾向的教学理念、教学方式进行了解，学生板块设置的问题主要集中于了解学生的学习意愿，学习兴趣和更高效的学习方式；课后调查问卷中教师板块设置的问题更倾向于了解教学效果、教学设计和教学意见建议，学生板块设置的问题偏重于了解学习收获和学习效果。

由于利用AHP法对课前和课后调查问卷中各类问题数量进行设计的过程基本一致，此处以“×××技术与装备”课程的课后调查问卷设计为例。先邀请教学专家对课程板块、教师板块以及学生板块两两进行比较，得出判断矩阵B0，经计算此判断矩阵的随机一致性比例为0.003 2＜0.1，满足一致性条件，得到课程板块的权重为0.65，教师板块的权重为0.23，学生板块的权重为0.12。

“×××技术与装备”课程共有5个知识单元，同样邀请专家对这5个知识单元的重要性进行两两对比，得出判断矩阵B1。经计算此判断矩阵的随机一致性比例为0.009 5＜0.1，满足一致性条件，得到知识单元一的权重为0.11，知识单元二的权重为0.36，知识单元三的权重为0.22，知识单元四的权重为0.10，知识单元五的权重为0.21。同理可计算教师板块和学生板块各下层因素的权重。经计算，教学理念对于教师板块的权重为0.13，教学方法对于教师板块的权重为0.18，教学设计对于教师板块的权重为0.32，教学水平对于教师板块的权重为0.37；学生信息对于学生板块的权重为0.10，学习动机对于学生板块的权重为0.21，学习收获对于学生板块的权重为0.40，学习效果对于学生板块的权重为0.29。

预设的总调查问题数量N0=30，利用公式（1）（2）可计算出最底层各因素知识单元一、知识单元二、知识单元三、知识单元四、知识单元五、教学理念、教学方法、教学设计、教学水平、学生信息、学习动机、学习收获、学习效果对于最顶层调查问卷内容设计总目标的权重，分别为：0.0715、0.234、0.143、0.065、0.1365、0.0299、0.0414、0.0736、0.0851、0.012、0.0252、0.048、0.0348；在问卷中设置的问题数量分别为：2、7、4、2、4、1、1、2、3、0、1、1、1。