面向人工智能的数字信号处理课程案例设计

摘  要：人工智能（AI）技术已经大量应用于电子信息类专业中的信号处理、机器视觉等方面。针对当前信号处理类课程缺乏与AI交叉的现状，该文从信号与信息处理基础课程出发，融合前沿的AI教学案例，这对培养电子信息类AI人才具有重要意义。鉴于数字信号处理（DSP）是人工智能的专业方向课程，该文结合人工智能专业的知识体系与课程设置，在经典的DSP课程框架基础上，设计以“数据学习”为导向的教学案例，探索面向人工智能的“信号分析与处理+AI案例”教学新模式。课堂教学实践表明，引入AI案例的课程知识体系不仅可以拓展DSP课程的知识面，更重要的是，能够让电子信息类专业的学生更顺利地过渡到人工智能的核心课程体系。

关键词：数字信号处理;人工智能;电子信息;数据学习;课程案例

中图分类号：G642      文献标志码：A          文章编号：2096-000X（2022）28-0086-04

Abstract： Artificial intelligence（AI） technology has been widely used in signal processing and machine vision which belongs to electronic information majors. Aiming at the current situation where signal processing courses lack crossover with AI， this paper starts from signal and information processing basic courses and integrates cutting-edge AI teaching cases， which is of great significance for cultivating electronic information AI talents. In view of the fact that "digital signal processing"（DSP） is a professional course of artificial intelligence， this paper considers the knowledge system and curriculum of artificial intelligence， designs "data learning"-oriented teaching caseson the basis of the classic DSP course framework， and explores the new teaching model of "signal analysis and processing + AI cases" for artificial intelligence. Classroom teaching practice shows that the curriculum knowledge system with introduction of AI cases not only expands the knowledge of DSP courses， but more importantly， enables students majoring in electronic information to more smoothly transition to the core curriculum system of artificial intelligence.

Keywords： digital signal processing; artificial intelligence; electronic information; date learning; course case

现如今，计算机技术、大数据、云计算、移动通信及各种互联网技术发展迅速，促进了以这些新型信息技术为核心的人工智能系统的高速发展。人工智能已经成为引领新一轮科技革命和产业变革的战略性技术以及世界上众多国家的战略需求，国内外越来越多的高等学校开始设立与人工智能相关的专业、学科或课程体系[1-3]，全球已经有超过400所高校建立了人工智能研究方向。教育部印发了《高等学校人工智能创新行动计划》，要求高校全面贯彻党的十九大精神，以习近平新时代中国特色社会主义思想为指导，贯彻创新、协调、绿色、开放、共享的新发展理念，围绕科教兴国、人才强国、创新驱动发展、军民融合等战略，加快构建高校新一代人工智能领域人才培养体系和科技创新体系，全面提升高校人工智能领域人才培养、科学研究、社会服务、文化传承创新及国际交流合作的能力，推动人工智能学科建设、人才培养、理论创新、技术突破和应用示范全方位发展，为我国构筑人工智能发展先发优势和建设教育强国、科技强国、智能社会提供战略支撑。在新工科建设背景下，人工智能专业旨在培养中国人工智能产业的应用型人才，截至2020年全国有215所高校获批设置人工智能本科专业，武汉大学、华中科技大学和浙江大学获批设置人工智能交叉学科。国务院发布的《新一代人工智能发展规划》确立了我国新一代人工智能的“三步走”战略目标，将我国人工智能技术与产业发展上升为国家重大发展战略，使得人工智能成为各行各业发展的助推器。教育部、科技部和国家发展改革委等多个国家部委相继颁布指南和创新计划，指导高校进一步完善人工智能学科体系。

人工智能（AI）是一门以信息技术为基础，面向计算机、神经生理学等多个学科方向的应用型交叉学科。目前的AI课程群除涉及人工智能导论、数据结构与算法、模式识别、自然语言处理、知识表示与处理及计算机系统基础等传统内容外，还增加了人工智能现代方法、智能体、语音处理、深度学习、强化学习、认知心理学和脑科学等内容，其中一些增加的课程已经出现在MIT、CMU及 Stanford等国外高校开设的AI课程中。人工智能专业和课程体系的发展将给电子信息类的课程带来理论和实践等各方面的改革与创新，如优质AI教学资源的开放共享平台及“人工智能+X”相关的各类产学研实践项目等。对于未来高校的课程体系改革，强调人工智能与其他学科、课程深度交叉融合，已经成为必然趋势[4-5]。大量的人工智能技术已经应用在电子信息类专业中的信号处理、机器视觉和智能系统等方面，如何从信号处理和信息处理基础课程体系出发，融合最前沿的人工智能教学内容，以构建电子信息类人工智能专业人才培养模式，成为信号处理类课程发展所面临的问题之一。

数字信号处理（DSP）课程是面向电子信息类学科专业开设的基础课程[6-8]，同时也是电子与计算机专业等信息领域学科的专业基础课程，与语音处理、图像处理、机器学习及计算机视觉等人工智能核心课程具有千丝万缕的联系。笔者认为，在当前人工智能领域高速发展时期，面向AI方向的电子信息类课程内容和框架需要作出相应调整[9-13]，原因在于以下几点。（1）技术发展趋势与国家人才培养需求。AI技术已经应用在电子信息类专业中的信号处理、智能系统和机器学习等方面，如何从信号与信息处理基础课程体系出发，融合最前沿的AI教学内容与案例，迎合了国家对AI人才的培养需求。（2）行业发展背景需求。随着人工智能技术的迅猛发展，AI方向毕业的学生就业市场前景广阔，社会各行业对AI人才的需求将会越来越大。虽然AI专业及其课程受到了学生的欢迎，但不同学科的AI课程设置与改革仍然是制约人工智能发展的重要因素。因此，将前沿的AI案例融入DSP课程的体系框架，可以让学生更顺利过渡到AI的核心课程体系，对电子信息类专业中的AI人才培养具有重要意义。

一、面向AI的DSP课程案例设计

当前人工智能主流技术知识体系均建立在信号处理理论基础之上，例如“卷积运算”“不确定性分析”等，相应的课程包括信号与系统、数字信号处理、图像处理、语音处理及机器视觉等。信号与信息处理学科为人工智能提供了坚实的理论基础，其基本原理和方法已经应用到几乎所有的物理系统和社会计算中，可以实现通信、语音及图像等信号采样、传输与分析全科研链条的智能化处理。数字信号处理课程作为信号处理系列课程中的重要环节，主要以离散时间序列与线性时不变系统的分析与处理为核心内容，围绕DTFT、DFT、Z变换及滤波器等分析与处理手段展开讨论。面向电子信息类专业的AI人才培养，应该结合AI专业自身培养定位与课程体系结构，有针对性地将DSP课程的建设思路从“信号”偏向于“数据”，重构以“信号分析与处理”为核心、“数据学习”为导向的DSP课程框架。

我们在经典的DSP课程结构基础上，通过创建由信号（离散序列）构成的样本库，设计利用深度神经网络（DNN）实现信号分析与处理的AI案例，以突出“数据学习”为导向的DSP课程新结构，如图1所示。该课程结构在帮助学生建立信号与系统分析与处理知识结构的同时，引入了语音、图像等前沿领域的AI教研案例和科研成果，可以满足学生对人工智能相关领域的知识需求。最终目标是让电子信息类学生从数字信号处理中研究时域/频域的基础方法过渡到人工智能专业的主干核心课程中来，例如图像处理和模式识别近几年的研究热点——时频分析、稀疏表示、深度学习与神经网络等。

数字信号处理课程知识点繁多，其中傅里叶变换和滤波器设计是DSP的两大核心知识点。在大数据时代背景下，以“数据”为核心成为了人工智能的典型特点，所以培养学生掌握数据分析、处理的方法是人工智能方向DSP课程的重要任务之一。接下来，我们围绕傅里叶变换（信号分析）和滤波器卷积运算（信号处理）两个核心内容，进行跨学科探索性研究，设计面向人工智能的“数据学习”课程案例。

二、信号分析案例：基于数据学习的智能语音分离

傅里叶变换及其二维时频变换作为信号频率分析的重要手段，一直是DSP课程的核心知识点。近来，智能语音成为《国家新一代人工智能标准体系建设指南》中的关键领域技术之一，我们以语音信号为课程案例设计对象，设计了一个基于“数据学习”和注意力机制的编码网络模型，以替换经典数字信号处理中短时傅里叶变换（STFT）的角色，并应用于混合语音信号的智能分离。

传统语音信号分离利用经典的STFT分析信号的频率成分，从而设计属于不同语音信号的时频掩膜，最后通过时频逆变换得到分离语音的时域波形。然而，STFT的信号分析性能受到时频分析中“不确定性原理”的限制，而且时频变换本身具有一定的计算复杂度。更重要的是，不同语音信号在时频域呈现出的频谱混叠现象和未知的语音源数目，给各语音信号的掩膜估计增加了极大难度。基于此，我们设计了一种单通道未知说话人源数目估计与语音分离模型，主要由基于注意力机制的编码网络模块（替换传统的STFT）、基于未知说话人源数的分离模块（预测各语音的特征域掩膜），以及解码模块（替换STFT逆变换）组成。（1）假设si（t），i=1，…，N为语音信号源（N为源数目），x（t）=∑si（t）为接收的单通道混合语音数据。智能语音分离的目标是在N未知的情况下，利用混合信号x（t）恢复出源信号（t）。在编码模块部分，与其他深度语音分离模型仅使用x（t）的时域特征或频谱特征不同，所提模型利用1-D Conv提取x（t）的时域特征，并利用注意力机制进一步挖掘时域和频谱特征中对分离任务更加有用的信息，从而进一步提升分离模型的性能。值得注意的是，为了保证频谱特征和时域特征在时间维度上对齐，1-D Conv的卷积核大小以及步长分别与STFT的窗长和步长相对应。经过通道数的拼接，可以获得用于掩膜估计的时频混合域特征。为了更好地开发混合域特征，注意力机制SENet被用来凸显不同特征对于分离任务的重要性：首先对获取的混合域特征进行时间维度的池化，得到每个通道的平均特征;然后使用两个全连接层和ReLU激活函数对所获得通道特征进行权重计算，从而获得通道的权重矩阵;最后，利用获取的权重矩阵对混合域特征进行加权获得编码模块的输出。（2）接下来，设计基于未知语音源数的分离模块估计混合语音中各语音信号的特征域掩膜。分离模块主要包含三个部分：时域卷积网络（TCN，进行高维特征提取），Deep Attractor 网络（进行掩膜估计），以及盖氏圆算法（进行源数目估计）。（3）在获取各语音信号的掩膜估计之后，利用（1）中编码模块的反卷积操作（1-DDeconv，解码模块）可获取分离语音的时域信号波形（t）。

该案例中设计的编码模块与分离模型可以直接取代传统语音分离中的STFT与二值掩膜预测，无需任何调整，且具有更低的算法复杂度。值得一提的是，当语音信号源数增加且未知时，所提算法的性能相比于现有算法在所有任务中均能持续显著提高。更多的案例细节可以参考我们github网站的开源代码：https：//github.com/yimingxiao1/speech-separation。