融入电力特色的机器视觉课程教学研究

摘  要：机器视觉是机器人决策的重要基础，作为机器人工程专业的专业必修课程，主要培养学生视觉处理、三维构建的能力。该文结合电力学科特色，将机器视觉在发电、输电、变电等不同电力相关环节中的科研成果融合到教学内容中，并针对课程的基础原理和综合应用设计典型教学案例，实现翻转课堂。把电力特色内容融入课程中，不仅给学生直观演示算法原理，还能深刻了解机器视觉在电力场景下的实际应用，对提升学生的感性认识、实践能力和创新思维具有重要意义。

关键词：机器视觉;机器人工程;电力特色;教学案例;翻转课堂

中图分类号：G642      文献标志码：A          文章编号：2096-000X（2025）04-0125-04

Abstract： Machine vision is an important foundation for robot decision-making. As a compulsory course for robotics engineering majors， it mainly cultivates students' abilities in visual processing and three-dimensional construction. Combining the characteristics of the electric power discipline， the scientific research achievements of machine vision in different power processes， such as electric power generation， power transmission， power transformation， are integrated into the teaching content， and the typical teaching cases based on the basic principles and comprehensive applications are designed， and the flipped classroom is implemented. For integrating the electric power characteristics into the machine vision course， it not only provides students with a visual demonstration of algorithm principles， but also deeply understands the practical application of machine vision in power scenarios. It is of great significance to enhance students' perceptual understanding， practical ability， and innovative thinking.

Keywords： machine vision; robotics engineering; electric power characteristics; teaching case; flipped classroom

人工智能是引领未来的战略性技术，我国在2017年正式公布首个《新一代人工智能发展规划》[1]，相关的人才需求呈明显上升趋势。机器人作为人工智能的重要载体，被列入了政府大力推动实现突破发展的十大重点领域[2]，但目前人才储备严重不足，亟待培养高素质从业人员。机器人工程专业是教育部顺应国家建设需求、符合国际发展趋势，于2015年设立的新兴本科专业，是教育部重点扶持的新专业之一，具有很强的新颖性、综合性和实践性。

机器视觉是机器人决策的重要基础。机器视觉课程不仅是机器人工程专业必修课，也是一门涉及多领域的交叉学科，主要包括图像处理、计算机图形学、模式识别、人工智能、人工神经网络以及认知科学等，如图1所示，其中图像处理是基于已有图像生成新的图像;机器视觉是把图像作为输入，输出为另外一种形式;计算机图形学通过几何基元等来生成图像，进而呈现场景，机器视觉从图像中估计几何基元和其他特征，可视化和虚拟现实紧密联系了这两个领域;模式识别的目的是进行分类，它是机器视觉识别物体的基础;人工智能涉及智能系统设计和智能计算研究，机器视觉属于人工智能分支;人工神经网络是一种信息处理系统，可实现并行分布处理，可解决机器视觉中许多问题;认知科学主要研究人类视觉，而机器视觉中的方法与人类视觉非常相似。综上所述，机器视觉具有较深的理论性和较强的实践性。作为具有鲜明电力学科特色的电力院校，机器视觉在电力系统及设备的自动巡检、故障诊断中发挥重要作用，因此开展融入电力特色的机器视觉课程教学研究，系统完善教学资源，融入最新科研成果，尤其是电力学科相关的研究成果，对提升学生的感性认识、实践能力和创新思维具有重要意义。

一  融入电力特色的教学内容

针对机器人工程专业本科生，机器视觉课程主要包括相机成像与标定、数字图像处理、立体视觉与三维重建等。相机成像与标定是学习机器视觉中成像过程的重要基础，学生了解图像与真实世界之间的对应关系;数字图像处理学习图像空域、频域滤波、特征点检测与图像匹配等机器视觉的基本方法;立体视觉与三维重建是机器视觉的关键技术之一，学习双目立体视觉原理、从运动恢复形状以及三维重建等方法。

为提高电力生产和传输过程中的安全性和经济性，机器视觉技术在电力系统中得到广泛应用，主要包括燃烧监测与控制、电力设备巡检、燃料管理、故障诊断等各个方面。在发电厂侧，大型燃煤机组的火焰图像检测装置不仅用于火焰检测，还为锅炉燃烧优化研究提供视觉信息。针对数字图像处理教学，结合火电机组锅炉燃烧图像进行讲解与处理，实现对火焰图像的滤波、灰度化、图像分割和特征提取等处理，如图2所示。图1（a）为某燃煤机组单燃烧器煤粉火焰原始图像，煤粉和一次风混合气流从左侧进入炉膛，最初煤粉温度未到达着火点，在火焰图像中形成类似舌形黑龙的区域，通常叫做未燃区，也称黑龙区;随后开始剧烈燃烧，释放光与热。基于火焰图像亮度，可分为初始燃烧区和完全燃烧区。图1（b）与图1（c）分别是对火焰图像进行灰度化、滤波，去除干扰;图1（d）是基于阈值分割获得火焰图像中未燃烧区，为后续进一步研究炉内燃烧状况、氮氧化物排放预测、燃烧稳定性判别等奠定基础[3-6]。

近年来随着电网飞速发展，机器人技术引领电网智能运维检修未来发展的新方向。智能巡检机器人的适用范围覆盖发电、输电、变电及用电等各电力相关环节。以变电站为例，过去变电站的巡检主要由巡检人员到现场进行巡视，通过巡检人员的主观感官，如看、触、听、嗅等来对设备运行情况进行定性判断。由于人员业务素质、工作状态及环境的差异，尤其在严重故障设备、雷雨高温天气等特殊工况下，人工巡视则会伴随一定的风险。通过搭载单目、双目或深度相机、以及环境参数等各类检测设备，变电站智能巡检可代替人工完成电力日常巡检作业。巡检机器人以自主或遥控方式，对室外高电压电力设备进行巡检，可及时发现电力设备的热缺陷、仪表读数异常等非正常工作状况，替代人工完成巡检中遇到的繁、难、险和重复性的工作。

在变电站巡检场景下，图像语义分割对机器人准确识别现场电力设备位置和状态进而正确决策具有重要意义。结合课题组的最新研究，针对电力场景中类别不平衡问题，提出一种能够根据训练效果动态调节不同类别权值的多类别Focal Loss损失函数，构建了多类别图像语义分割模型[7]。图3为变电站室外场景的多类别图像语义分割效果。通过此案例，不仅让学生了解图像分割在电力场景中的应用，而且进一步拓展学生对多种图像分割方法的学习，引导学生从工程实践出发，针对实际工程问题能提出解决方案。

针对变电站、电厂等电力场景，除了日常巡检以外，若发生电力故障往往需要抢修人员在事故现场正确且迅速处理，但电力故障现场常伴随火焰、浓烟、漏电等危险性，因此迫切需要电力抢修机器人参与辅助现场工作。电力抢修机器人进入抢修现场后，首先必须准确感知自身所处位置与周围环境，同时定位与建图（Simultaneous Localization and Mapping，SLAM）技术成为关键，而视觉SLAM前端的特征提取与匹配决定了定位与建图的初始值。其中特征点检测与图像匹配是机器视觉的关键技术之一，广泛运用在运动结构、图像检索、目标检测等领域。特征可能是图像中的特定结构，例如点、边缘或对象;特征也可能是应用于图像的一般邻域操作或特征检测的结果;而特征点匹配则是图像拼接、三维重建、相机标定等应用的关键步骤。目前比较成熟的算法主要有SIFT、SURF和ORB等算法[8-9]，其中SIFT算法为尺度不变特征变换，所检测的特征与图像大小、旋转无关，对光照变化具有较好的鲁棒性，其特征提取丰富;SURF算法是改进版，其通过构造Hessian矩阵生成变换图进而提取特征点;ORB算法基于FAST算法、BRIEF算法检测关键点并提取描述子，在提高速度的同时保持稳定性，可用于实时性需求高的应用场景。因此，结合电力抢修机器人应用案例，针对控制柜图像进行SIFT、SURF和ORB特征提取算法的应用，如图4（a）—图4（c）所示。此课程内容的学习，不仅对比了不同算法的特征提取特点与区别，而且代入电力应用场景，让学生理解特征提取算法在现场应用中所发挥的作用。

二  典型教学案例设计

机器视觉课程不仅需要理论学习，更需要实践，以及在实践中发现问题、解决问题，综合培养学生的创新能力。在有限的上课学时中，如何能让学生掌握与理解算法原理，设计典型教学案例是关键。针对机器视觉的基础理论和在电力系统中综合应用，设计如下教学案例。

教学案例1：相机成像与标定作为机器视觉课程的重要基础，在图像测量与机器视觉应用中，建立相机成像的几何模型可确定空间点的三维几何位置与其在图像中对应点的关系，而相机参数即为几何模型参数，相机标定是求出相机的内、外参数及畸变参数。基于几何基元和变换等教学内容，设计图像放射变换案例，并分析变换函数如何工作;针对相机标定，要求学生课下查阅文献，对目前相机标定方法进行综述，动手测试编程完成相机标定。学生分组进行汇报交流，不仅增强了查阅总结文献、动手实践的能力，还锻炼了汇报表达的能力。

教学案例2：机器视觉在电缆隧道巡检中的应用。城市建设中电缆入地化率不断提升，巡检机器人可实现电力电缆及通道的智能运维。巡检过程中通过可见光、红外相机，实时进行电缆状态识别和隧道内安全隐患检测，包括电缆变形、表皮破损、脱架，电缆隧道支架倾斜、脱落，电缆隧道裂纹、渗漏水识别等。课题组针对上述问题研发了相应算法，通过机器人搭载摄像头获取视频，进行图像预处理，建立深度学习模型进行状态识别。图5为基于红外图像的隧道渗漏水识别[10]，图6为基于YOLOV3的隧道内电缆支架识别。通过机器视觉综合应用案例，让学生系统、全面理解机器视觉的应用。

三  基于翻转课堂的教学方法

在正常教学环节中，穿插翻转课堂，老师由知识传授者、课堂管理者转变为学习指导者和促进者，学生由被动接受者转为主动研究者;教学形式由课堂讲解+课后作业，变为课前学习+课堂研究，课堂内容由知识讲解传授变为问题研究。在完成基础知识讲解后，引导学生围绕机器视觉典型应用展开研究，围绕基于深度学习的识别、目标检测与跟踪等应用方面进行实践，进一步扩展学生对机器视觉应用的认知。设计的实践课题主要包括以下内容。

实践课题1 基于卷积神经网络的人脸识别：采用Residual Neural Network/残差网络的卷积神经网络模型，实现人脸识别与跟踪。开发和设计GUI界面，完成对人脸数据的采集、提取录入的人脸特征，实时捕获人脸并进行识别。

实践课题2 基于机器视觉的智能车赛道识别：结合大学生创新创业项目，自行设计基于机器视觉的智能车赛道识别系统，采用图像采集模块获取道路信息，通过图像处理算法处理灰度数组，对赛道元素进行识别。

实践课题3 目标跟踪：目标跟踪是机器视觉中的重要应用，应用于自动监控、车辆导航、视频标注等。学生不仅要掌握基本的机器视觉处理方法，还需要针对实际应用进行软件开发和创新，包括使用Meanshift、TLD和深度学习实现运动目标的跟踪，如图7所示。