人工智能背景下多媒体类课程教学模式探索

［摘 要］ 以“多媒体技术”“多媒体通信”为代表的多媒体技术类课程是电子信息和计算机学科的重要专业课程，可以为学生未来从事多媒体技术相关工作和研究提供坚实基础。针对目前教学中出现的学生积极性不高、知识模块脱节、课堂教学知识结构与企业能力需求的差异较大等问题，提出了一种人工智能背景下多媒体技术类课程“四维一体”教学模式探索方案。分别从如何切实让学生融入课程、如何提升学生动手能力、如何提升学生科研素养、如何拓展学生知识储备等四方面详细论述了提出的教学改革方案，为后续针对多媒体技术类课程开展理论教学和实践教学均可提供参考。

［关键词］ 多媒体技术教学；人工智能；科研素养；企业需求

［基金项目］ 2022年度上海理工大学教师发展研究项目“人工智能背景下的多媒体技术类课程‘四位一体’教学模式探索”（CFTD223005）；2021年度国家自然科学基金面上项目“面向社交网络场景的单幅舆情图像篡改定位问题研究”（62172281）；2017年度国家自然科学基金青年项目“基于高阶统计分析和局部同质性约束的图像噪声不一致性取证研究”（61702332）

［作者简介］ 姚 恒（1982—），男，安徽芜湖人，博士，上海理工大学光电信息与计算机工程学院副教授，主要从事多媒体安全和信号处理研究。

［中图分类号］ G642.0 ［文献标识码］ A ［文章编号］ 1674-9324（2023）29-0133-04 ［收稿日期］ 2022-10-08

引言

近年来，随着计算机图形处理器（GPU）算力的不断提升以及深度学习技术为代表的机器学习算法革新，人工智能逐渐成为当前研究热点。智能驾驶、虚拟现实以及智慧医疗等领域在人工智能技术的推动下均取得较快发展，甚至某些在20世纪科幻电影中的技术已经落地。人工智能技术发展的同时也伴随大量能够从事人工智能相关科研工作的人才需求，如何在高校中培养合格的人工智能领域人才成为当前电子信息类工科教育的当务之急。虽然当前多数高校已开设人工智能课程，甚至人工智能专业，但是在其他课程中的融合程度却远远不够。因为人工智能是一门交叉学科，需要融合多个领域的专业知识，然而这些相关课程的现有教学设计无法应对人工智能技术的发展。以多媒体技术类课程为例，当前多媒体技术类课程多以讲解图像、音视频编码和编辑技术为主，同时穿插部分基础性的多媒体后期处理技术。但是在涉及人工智能领域内的新进展时却往往浅尝辄止，无法做到与专业人工智能课程的无缝衔接。基于此，针对人工智能背景下的多媒体技术教学方法创新成为当前电子信息类课程亟待解决的问题，同时也极具挑战性。

由于多媒体技术类课程的重要性，上好这类专业课对学生将来投身人工智能领域的相关科研开发工作具有至关重要的作用。同时，教师在课程的日常教学过程中锤炼、提升自己的专业素养是教师职业发展的重要途径之一。多媒体技术类课程是电子信息类和计算机类专业的重要课程，通过教学过程实践，本文旨在探索人工智能背景下，如何有效解决学生缺乏发现和提出问题的能力、不注重与交叉学科的结合以及学生工程实践能力薄弱的问题。最终构建面向人工智能企业需求、科研需求、课程需求和相关领域知识储备需求的“四维一体”创新教学模式。

一、拟解决问题

以“多媒体技术”“多媒体通信”等课程为代表的多媒体技术类课程是电子信息和计算机学科的重要专业课程。课程中既承接“数字图像处理”“线性代数”“信息论”和“概率论与数理统计”等专业基础课程，又为学生从事人工智能相关领域深入学习和研究打下坚实基础，因此课程具有举足轻重的作用［1-4］。然而，该课程知识点分散，概念抽象、原理难懂，尤其是存在大量需要其他相关课程支撑的重、难知识点，使得很多学生感到入门较为困难。如果授课过程中不以需求为导向，那么在课程教学中必然停留在简单的原理和公式讲解上，学生只是机械被动的生搬硬套课程知识理论，利用公式做题，完成学习任务。学生难以深刻理解多媒体技术的精髓，难以达到开设这门课程的初衷。如何提高学生提出问题解决实际问题的能力、如何提高学生的课堂参与感、如何提高课程的理论深度为后续研究打下基础、如何提高学生的创新能力和工程实践能力，这些都是摆在授课教师面前无法回避的难题。在全面贯彻落实教育部《高等学校课程思政建设指导纲要》［5］的精神指引下，本研究拟从教育部“三全育人”人才培养需求入手，以培养学生成为具有国际视野、家国情怀、科学思维、工程能力的卓越创新人工智能人才为目标。构造面向人工智能企业需求、科研需求、课程需求和相关领域知识储备需求的“四维一体”创新教学模式。

随着人工智能技术的飞速发展，深度学习、卷积神经网络、图神经网络、强化学习等新型机器学习新技术已经深入融合各类现有成熟技术，从而催生了人工智能机器人、无人驾驶导航系统、智慧医疗等新型产业，这些产业急需掌握多媒体技术的复合型人才。现有多媒体技术类课程的教学方法大多难以满足社会和学生自身需求，主要存在以下几方面问题。

（一）忽视对学生发现问题和提出问题能力的培养

人工智能技术不同于以往的技术，往往需要先发现问题并提出问题，才有后续的研究和发展。而当前学生在上课过程中习惯了听课—回答问题的模式，逐渐丧失了提出问题的能力。从而在工作或深造过程中缺乏敏锐的科研嗅觉，从而失去掌握新技术发展的主动权和优先权。

（二）教学内容陈旧、枯燥

课程本身概念抽象、原理复杂，有些知识点晦涩难懂，并且和多门课程知识点紧密相关，需要学生对其他课程也有足够的功底，因此学生通过理论学习往往难以理解课程中的很多内容。多媒体技术类课程在市面上的教材非常多，而且写作质量参差不齐，即使是经典教材对不同知识接受能力的学生也会产生不同的效果。

（三）不注重与交叉学科的有机结合教学

多媒体技术涉及图像、视频、音频多种媒体形式，其中这些媒体形式本质上分别对应二维、三维和一维信号处理。在信号处理过程中涉及线性代数、概率论以及信号与系统等理论知识，同时多媒体技术又是一门实践性很高的课程，与计算机编程课程如Python、C语言以及数据结构密不可分。

（四）课程设计中对学生工程实践能力培养不足

当前人工智能企业的最大需求在于熟练掌握深度学习基本框架并能利用深度学习工具解决实际问题的人才。而作为深度学习最重要的应用之一，多媒体技术完整理论框架非常复杂，并很难对相关应用熟练掌握。因此，传统的多媒体类课程教学有种浅尝辄止的感觉，学生无法体验理论应用于实践的思维过程。

综上所述，多媒体技术类课程教学改革刻不容缓，无论对教师还是学生来说都将是一场具有深刻意义的改变。本文以全新视角对多媒体技术课程展开教学探索，并以四方需求为导向，有望解决当前教学中存在的难点和痛点。

二、研究思路和改进方法

本文基于促进教师职业发展的理念，对当前多媒体技术类课程（包括“多媒体通信”“多媒体技术”等）展开深入课程调研，发现了当前课程设计以及授课方式中存在的诸多问题，这些问题在当前人工智能技术高速发展背景下显得格外突出。如何提升教师在该类课程的教学水平，提升相关专业本科生的培养质量，成为本项目研究的重点。人工智能是一门交叉性很强学科，不可能通过一门课使学生掌握整体架构和核心技术，需要各门课程协同教育改革。类似理念，人工智能行业并不仅限于招收人工智能专业毕业生，因此人工智能理念应当普及通信工程、电子信息工程、计算机技术、大数据科学等其他相关工科学科。基于此考虑，本研究从综合维度考虑多媒体技术教学问题，以企业需求为导向重视学生工程实践能力、以科研需求为导向重视学生发现问题并提出问题的能力、以课程自身需求为导向重视学生多媒体技术知识理解和运用能力，以及以相关交叉学科需求为导向重视学生构建完备知识结构。针对本文中提出的问题，教学改进方法如下。

（一）切实让学生融入课程

多媒体技术类课程是一门既具有深厚历史，又不断涌现新技术的课程，因此会存在时间跨度较大情况。以最常见的多媒体载体图像为例，20世纪初即出现胶卷相机和模拟图像。胶卷曝光后经过冲印即产生模拟图像，一旦图像需要增强或者局部修改，后期处理难度较大。而随着短视频流媒体平台的不断发展，如今多媒体素材剪辑已经非常容易。因此在授课中，介绍多媒体发展历程一方面可以使学生惊叹科学技术的发展，另一方面又可以对我国改革开放以来科学技术的进步产生自豪感。我国在多媒体编码、多媒体芯片设计以及网络通信技术取得了长足进步。同时，我国拥有自主知识产权的新技术新设备层出不穷，以前的美国制造和日本制造已经纷纷被中国制造所取代。课程中以视频编码技术的发展来作为切入点，既包含MPEG1， H. 264这些经典视频压缩标准，也包含AVS和AVS2这些中国自主开发的视频编码标准。学生对这些标准进行比较后，可以切实感受到多媒体技术科研创新的价值。例如在影视特效制作过程中，传统方法需要演员在一块纯色幕布前拍摄动作，再通过手动抠图的形式叠加到需要的背景中，既费时费力，还会产生明显与背景不一致的边缘失真。而随着迪士尼公司在计算机图形学顶尖会议Siggraph 2017提出的自动抠图算法发布后，整个抠图流程所花费时间已经降低到原先的10%左右，并且抠图精度超过很多经验丰富的影视后期制作人员。

（二）提升学生动手能力

目前人工智能相关用人单位均要求毕业生能够熟练掌握Python和C++等编程语言，同时需要熟悉常规的模式识别和机器视觉基础算法。这些需求对现阶段本科教育提出了新的挑战。理论教学过程中可以加入一些实用多媒体编辑技术的介绍，例如老照片划痕修复、图像对比度增强、图像分割等。随着深度学习技术的发展，这些编辑技术主流算法都从以模型驱动的传统方法转变为以数据驱动的深度方法。由于理论课一般配备课程设计学时，课程设计过程中可以以Python语言为基础，适当介绍深度网络基本模型，并采用分组完成任务的形式进行课程设计。学生在完成课程设计过程中一方面可以参考例如Github在内的开发者网站进行程序复现，又可以根据实际需求对样例程序进行调整来锻炼实际动手能力。以Deepfake动态视频换脸技术为例，该项技术通过捕捉所替换人脸的面部特征对视频中的人脸进行替换，该算法大体分为人脸定位建模、人脸动态转换和图像动态拼接。在实际上课讲解过程中，可能会出现学生难以理解的情况，因此通过将整个的项目工程进行模块化，并以实现任务的形式让学生动手完成。

（三）提升学生科研素养

在面向企业需求的同时，如何培养学生从事多媒体技术领域研究创新的科研素养也非常重要。众所周知，目前学生在毕业去向选择方面，很大比例都选择考研深造。针对这一现象，多媒体技术类课程需要在课堂上引导学生养成严谨求实的科研作风。以图像或视频压缩编码环节为例，可以用1～2篇经典论文进行讲解，通过学生分组讨论图像、视频压缩编码的基本原理。并通过压缩标准的介绍，使学生清晰了解论文和标准的不同，以及如何根据一些创新性算法修改标准。通过这些例子的引入，学生一方面可以理解科研论文与教材在前沿性方面的不同，另一方面也培养了将来从事创新性科学研究的兴趣。例如在讲解图像JPEG压缩的失真时，可以讲解一些经典的论文如何去检测这类失真。JPEG压缩由于对图像进行分块，并对每个块进行离散余弦变换，变换后的系数再进行量化和编码。由于块和块之间的相关性被严重打破，因此也容易造成视觉上的失真。通过该例子，学生理解了块效应产生的原因，但是如何用数学方法来检测这类块效应则需要更高层次的科研素养。通过讲解一篇发表在IEEE Trans- actions on Image Processing上的经典论文，学生可以站在更高的高度去看待这个问题。

（四）构建学生完整知识储备

在与学生的交流访谈中，大家普遍感受到课程学习模块的割裂性。具体表现为学习完高等数学不清楚该怎么用，学习完信号与系统不知道如何深入，学习完专业课不知道各门课之间的关系等。因此，在多媒体技术类课程教学中一定要注重各门交叉课程的有机融合。既不能让学生感觉课程是一门缺少重点的大杂烩，又不能让学生在上其他课程时对出现过的知识点非常生疏。仍然以图像、视频压缩编码为例，在授课中也应当由浅入深介绍压缩中用到的数学基础，例如离散余弦变换、熵编码等。同时，授课中也应当介绍图像、视频在压缩编码后如何通过大幅度降低文件尺寸从而降低网络通信带宽要求以服务于计算机视觉、模式识别等后续应用。通过这些教学手段使学生真正具有综合思维能力，并具有尽可能完备的知识体系。