基于深度学习的在线烟叶 等级判定研究

摘要 对烟叶进行等级判定可以合理利用烟叶资源，提高卷烟产品质量，对实现经济利益最大化有重要意义。提出一种基于深度学习的在线烟叶等级判定方法，该方法采用ResNeXt为基础网络，在残差结构中嵌入SE模块以增强重要通道的信息，并引入FPN+PAN结构将网络浅层细节特征和高层语义特征进行融合，以实现多尺度特征表达。测试结果表明，该方法烟叶等级判定的准确率达到92.8%，因此该方法对烟叶等级具备良好识别的能力，可适用实际生产。

关键词 烟叶等级判定；深度学习；卷积神经网络；SE模块；特征融合

中图分类号 TP 391.41;TP 18  文献标识码 A  文章编号 0517-6611（2023）03-0235-05

doi：10.3969/j.issn.0517-6611.2023.03.053

Online Tobacco Leaf Grade Determination Research Based on Deep Learning

QI Yue-cheng，WANG Yan，LI Li et al

（Yunnan Tobacco Leaf Co.，Ltd.，Kunming，Yunnan 650000）

Abstract The grading judgment of tobacco leaves can rationally utilize tobacco resources，improve the quality of cigarette products，and is of great significance to maximize economic benefits.An online tobacco leaf grade determination method based on deep learning was proposed，which used ResNeXt as the basic network，embedded the SE module in the residual structure to enhance the information of important channels，and introduced the FCN+PAN structure to fuse the shallow detail features and high-level semantic features of the network to achieve multi-scale feature expression.The test results showed that the accuracy of the tobacco grade determination of the method reached 92.8%，which showed that the method had the ability to identify the tobacco grade well and could be applied to actual production.

Key words Tobacco leaf grade determination；Deep leaning；Convolutional neural network；SE Net；Feature fusion

基金项目 中国烟草公司云南省公司科技计划一般项目（2021530000242043）。

作者简介 齐玥程（1986—），男，云南昆明人，从事计算机网络与信息研究。通信作者，助理工程师，从事计算机网络与信息研究。

收稿日期 2022-03-14；修回日期 2022-05-12

烤烟收购和生产过程中最重要的一环就是对烟叶等级进行判定，烟叶等级判定的准确性直接影响烟叶后续的加工和卷烟产品的质量［1］。国内的烟草公司多是人工进行烟叶分级，耗时又耗力。分级人员对于分级知识掌握的多少以及分级人员自身主观性等原因都会影响烟叶成品的质量，进而影响经济效益［2］，这使得烟叶准确分级尤为重要。

随着计算机视觉科技的发达与完善，这门技术越来越多地应用于现实生活的各个领域，也越来越多地运用到烟叶分级当中［3］。张惠民等［4］通过烟叶颜色、纹理、形状和叶脉等特征，构建了烟叶模型库，进行了烟叶分级模型的数学说明；赵世民等［5］提出一种基于烟叶颜色、形状、纹理特征和烟叶外观品质因素结合的烟叶分级方法；刘剑君等［6］发现烟叶的红外光谱信息可以作为烟叶分级的特征，开拓了一条新的烟叶分级研究思路；韩力群等［7］应用人工智能方法开发了一种拟脑智能系统，烟叶分级能力与人工分级相当。以上研究都是基于人工提取烟叶特征，再用机器学习算法进行烟叶识别，这类方法特征提取困难、模型优化复杂，难以适用于不同应用场景。随着深度学习技术的发展，基于卷积神经网络（CNN）的图像识别受到了极大的关注，CNN能够自动提取特征进行学习，并与标签进行拟合，具备分类精度高、鲁棒性好等优点。王士鑫等［8］选取Inception-V3网络，并使用迁移学习训练了烟叶分级模型；鲁梦瑶等［9］改进了LeNet-5网络，使用烟叶近红外光谱特征来训练烟叶分级模型。

基于使用CNN提取烟叶特征并进行烟叶等级判定，笔者提出一种基于深度学习的在线烟叶等级判定方法，采用ResNeXt作为基础网络，引入了注意力机制和特征融合模块［10］，通过融合多尺度烟叶特征，提高烟叶等级分类性能。

1 烟叶图像数据集

1.1 烟叶样本 研究对象采用云南省文山市地区2021年初烤后的云烟87烟叶，烟叶由多名经验丰富的高级分选工严格挑选，最后由分级专家进行验证，保证烟叶部位等级的准确性。最终挑选上部橘黄一级烟（B1F）、上部橘黄二级烟（B2F）、上部橘黄三级烟（B3F）、中部橘黄一级烟（C1F）、中部橘黄二级烟（C2F）和中部橘黄三级烟（C3F）共6个等级烟叶，采集图像共4 574张，其中3 433张用作训练集，687张用作验证集，454张用做测试集。训练集中每个等级烟叶图像数量分别为675、576、586、452、463、681张，图像分辨率为2 852*2 700，文件格式为BMP。

1.2 图像采集系统

设计并定制了一套图像采集系统，用于获取高质量烟叶图像。通过防光罩将拍摄区域与外界隔离，同时将光源搭建在防光罩内，确保拍摄区域光照稳定。相机采用大恒ME2P-2621-4GM-P型号相机，像素2 600万；镜头为JD1216A；光源为BNS-GSB700-50-HW。采集的图像通过高速以太网传输到计算机。

1.3 图像预处理 为了避免传送带反光以及部分残缺小面积烟叶对烟叶等级判定造成影响，需要对图像进行去背景和去除小面积烟叶处理。首先，将原始图像进行去背景处理，在RGB颜色空间，将像素位置的像素值置为0，得到去除皮带背景的图像。然后，将图像转换为灰度图后再转化为二值图，获取所有物体的轮廓边界，去除面积小于图像像素面积20%的部分，这样可以减少不完整的烟叶或者小物体对于烟叶等级判定的影响。最后，将图像resize到尺寸，用于训练模型。预处理过程的图像如图1所示。

1.4 数据增广

为了防止训练时由于图像数据量不足导致模型过拟合，采用数据增广的方式扩增烟叶图像数据量，以提高模型的泛化能力［11］。考虑到相邻部位等级的烟叶颜色差异小，若强行改变烟叶颜色、亮度、饱和度等参数可能影响烟叶等级判定的准确性，该研究采用随机旋转、平移、镜像的组合方式生成图像，生成的烟叶图像如图2所示。

2 研究方法

2.1 ResNeXt网络

ResNeXt［12］是借鉴了Inception［13］网络的思想来对ResNet网络的改进，它使用了分组卷积，先对feature map进行切片操作分成多组特征，然后分别对每组特征再进行卷积操作，相对于普通卷积来说，这样能够减少卷积的参数量。ResNeXt舍弃了人工设计复杂神经网络结构的方式，而是在网络的每个分支中使用同样的拓扑结构，最后再与残差网络结合，表达式为：

y=x+Ci=1Ti（x）（1）

式中，C为分组的个数，Ti是一系列卷积操作。如图3所示。

2.2 SE（Squeeze-and-Excitation）模块

SE［14-15］模块主要包含了2个部分，Squeeze部分和Excitation部分。如图4所示。

Squeeze和Excitation是一个计算单元，适用任何映射Ftr∶X→U，X∈RH′×W′×C′，U∈RH×W×C，以Ftr作为卷积运算符，V=［v1，v2，…，vc］表示卷积核，其中表示第c个卷积核。那么输出U=［u1，u2，…，uc］：

uc=vc×X=C′s=1vsc×xs（2）

式中，×代表卷积操作，vc=［v1c，v2c，…，vC′c］，X=［x1，x2，…，xC′］，uc∈RH×W。vsc是一个2D卷积核，表示作用于X对应通道的单个vc通道。

Squeeze部分实际是使用全局平均池化来实现的，将feature map每个通道上的所有特征全都编码成一个特征，表达式如下：

zc=Fsq（uc）=1H×WHi=1Wj=1uc（i，j），z∈RC（3）

Excitation部分实际使用了2个全连接层，一个全连接层的主要作用是为了降维，而后对降维后的特征使用ReLU函数激活，之后再通过一个全连接层将维度进行恢复，表达式如下：

s=Fex（z，W）=σ（g，（z，W））=σ（W2ReLU（W1z））（4）

式中，W1∈RCr×C，W2∈RC×Cr，r表示降维系数，σ表示Sigmoid函数。

最后将得到的激活值乘以原始特征，表达式如下：

c=Fscale（uc，sc）=sc·uc（5）

在ResNeXt网络的残差结构中嵌入SE模块，如图5所示。

2.3 FPN+PAN模块

在传统CNN中，图像经过多层特征提取后，得到丰富的高级语义特征，但是图像的分辨率变得越来越小，底层细节信息缺失严重，导致对细节的感知能力较差，而低层特征分辨率高，包含更多的细节特征，但噪声多、语义性低。若直接使用这些特征则不利于烟叶图像分类，为了解决这个问题，引入FPN+PAN结构。FPN（Feature Pyramid Networks）［16］呈现金字塔形式，对于不同的CNN特征提取层，将多个尺度的特征进行了合并，并将高层次的语义特征与低层次的高分辨率细节特征进行了融合。而PAN（Path Aggregation Network）［17］更多的是将细节特征进行融合并传递。采用FPN+PAN的双塔结构，使得提取到的烟叶特征更加的充分。

FPN+PAN的双塔结构如图6所示。该结构分为自下而上、横向连接、自上而下、横向连接和自下而上5个路径。左侧自下而上的路径是CNN特征提取的过程，通过卷积和池化逐级提取图像特征。左侧横向连接采用的卷积核改变对应阶段特征的通道数。中间自上而下的路径对高级语义特征采用2倍上采样，然后与对应的横向连接输出逐像素点相加，进行多尺度特征融合。右侧横向连接采用的卷积核对融合后的特征图进行卷积，消除FPN上采样过程中的混叠效应。右侧自下而上路径进一步将细节特征进行了融合，使得特征表达得更加充分。

2.4 基于FPN-PAN-SE-ResNeXt的烟叶等级判定算法

选用ResNeXt50作为基础网络，引入注意力机制SE模块，将各通道特征信息进行融合，增强重要通道的特征信息，采用FPN+PAN对网络提取到的不同层级的特征进行融合，丰富了特征信息，设计了一种基于多尺度特征融合的注意力机制的烟叶等级判定方法，该方法的整体网络结构框架如图7所示。主要分为特征提取模块和分类模块。

如图7所示，将烟叶图像缩放到尺寸大小，送入特征提取模块。在特征提取模块中，首先使用嵌入SE模块的ResNeXt50网络逐级提取特征，对应的特征图用L0、L1、L2、L3和L4表示，特征图大小分别为