基于注意力机制和深度神经网络的中华绒螯蟹品级快速鉴定方法研究

摘要 提出一种基于注意力机制和深度神经网络（YOLO-v7）的中华绒螯蟹品质快速预测的新方法。首先，蟹在自然环境中生长会形成背部花纹特征，根据形态测量学将其划分为侧齿、龙骨脊、额突、疣突、颈沟、复眼6种特征，提出基于对称度的特征定量计算方法，并根据视觉注意力机制可视化YOLO-v7模型中对分类精准度较高的区域，采用LabelImg图像标记软件分别对差异较大的前5种组合特征进行活力品级标记，然后基于YOLO-v7模型对标记好的数据进行训练和推理，得到最优中华绒螯蟹品级鉴定和预测模型。结果显示，疣突+颈沟的蟹背纹理组合特征可实现中华绒螯蟹品级的快速识别，总体训练准确率可以达到95.0%，总体推理准确率可以达到96.2%，且每只河蟹活力品级的推理时间不超过0.5 s。该方法具有较大的应用前景和市场价值，为开发大规模中华绒螯蟹在线品质的无损检测装备提供关键技术。

关键词 中华绒螯蟹；快速鉴别；外观品级；YOLO-v7模型；组合特征

中图分类号 TS254.7  文献标识码 A  文章编号 0517-6611（2024）14-0191-09

doi：10.3969/j.issn.0517-6611.2024.14.041

Rapid Identification Method of Chinese Mitten Crab Based on Attention Mechanism and Deep Neural Network

SUN Shu-yuan1，LIU Zi-hao2，CHEN Wei-jie2 et al

（1.Changxing County Agricultural Technology Extension Service Station，Huzhou，Zhejiang 313199;2.School of Information Science and Engineering，Jiaxing University，Jiaxing，Zhejiang 314001）

Abstract We established a mathematical model for predicting the health status of Chinese mitten crab based on deep inference model （YOLO-v7）.Firstly，crabs grew in the natural environment form the back pattern characteristics，which could be divided into six features of lateral teeth，keel ridge，frontal gibbosity，verruca process，neck groove，compound eye according to morphometrics.Based on the human visual attention mechanism，the effective feature characterizations were visualized with higher classification accuracy in the YOLO-v7 model.Moreover，according to the calculation results，the image labeling software-LabelImg was used to mark the vitality grade of the first five different feature combination modes，respectively.Then，the YOLO-v7 model was used to train and reason the marked data，and the optimal Chinese mitten crab freshness identification model was obtained.The experimental results showed that the proposed texture feature combination algorithm of verruca process + cervical groove could basically realize the recognition of the health status of Chinese mitten crab.The overall training accuracy could reach 95%，the reasoning accuracy could reach 96.20%.Moreover，the reasoning time of each vitality grade of Chinese mitten crab was less than one second.This method had great application prospect and market value，which provided key technology for developing nondestructive testing equipment for large-scale online quality of Chinese mitten crab.

Key words Chinese mitten crab;Rapid identification;Health status;YOLO-v7;Combination feature

基金项目 国家自然科学基金面上项目（62374074）；浙江省“尖兵领雁”研发攻关计划 （2024C04028）；浙江省农业科学院科技合作项目（00522228，00523051）；嘉兴市公益性研究计划项目（SQGY202400009）；嘉兴大学人才项目（CD70623008）；海盐县民生及农业领域科研项目（2022ND03）；浙江省大学生科技创新训练计划项目（851923030Z）。

作者简介 孙淑媛（1988—），女，浙江长兴人，工程师，从事食品质量安全检测研究。 *通信作者，副教授，博士，从事农产品在线无损检测技术研究。

收稿日期 2023-07-24

中华绒螯蟹又被称为河蟹、大闸蟹，其养殖和捕捞量很大，是海洋和淡水养殖的主要蟹类经济水产品种之一。然而，近几年来，存在一种被称为“水瘪子病”的河蟹养殖病［1-2］，在全国某些重要的河蟹养殖地区逐渐蔓延，患了水瘪子病的河蟹虽然没有传染性，但是一旦被感染，蟹甲壳变软，活力下降，摄食能力逐渐减弱，甲壳内的血淋巴液量增多，肝胰腺量减少、萎缩，肝胰腺颜色逐渐变淡，肌肉、心脏和鳃组织细胞坏死，且细胞坏死的过程不可逆，这些给河蟹养殖户带来了较大的养殖灾难，众多学者从病理性和生理性方面对水瘪子病进行了相关研究［3-5］，但是直到现在都没有得到统一的结论。中华绒螯蟹背部的颜色深浅和花纹的错综复杂程度与其健康状态、活力差别、养殖方式、水质污染、生活习性、进食等有较大关联［6-7］，传统河蟹活力判别方法往往通过训练有素的“挑蟹工”来完成，这项工作只有长期在“挑蟹”一线工作的员工才可胜任，对工种的要求很高，这种方式费时费力、效率低下，随着劳动力的短缺，对河蟹品级的传统人工识别法必将被淘汰。近年来随着人工智能技术的发展，对中华绒螯蟹的健康状态品级快速鉴定实现自动化、智能化已成为一种必然趋势。在中华绒螯蟹的相关国标中，虽然有对河蟹的外观、感官、滋气味的评价方法，但是只能依靠人工经验判断河蟹的品级好坏，适合于静态分析和研究，无法定量快速、高通量地实现中华绒螯蟹外观品质的鉴别，因此该研究具有一定的研究价值和意义。

近年来，国内外研究学者们在中华绒螯蟹的水下个数统计、品级判别、实时检测等方面进行了许多相关的研究工作。例如，周志强等［8］提出了一种新颖的河蟹分拣方法，通过图像预处理、雌雄判别以及河蟹肥满度的计算公式得到超过97%的识别结果。赵德安等［9］提出采用YOLO-v3网络结构实现河蟹的目标检测。曹硕［10-11］均针对河蟹养殖过程中饲料无法精准投喂的问题，提出采用深度学习模型对传统的河蟹识别检测模型进行参数和网络结构调整，提高模型的检测精度。石海军［12］采用光谱技术实现河蟹外观品质的等级划分。在国外，Cui等［13］提出采用深度卷积神经网络对河蟹的雌雄进行判别，可取得98.9%的检测精准度。Lu等［14-15］针对深海生物缺乏训练样本的问题，采用YOLO算法开展自动跟踪研究，对深海水生生物实现自动跟踪。以上文献中的方法主要聚焦在河蟹雌雄判别、计数、肥满度计算以及采用类似近红外光谱、电子鼻和电子舌实现河蟹品级的自动分析和判别，虽然现有研究已存在采用新兴技术（光谱技术、电子鼻和电子舌）实现河蟹的品级鉴定，但是这类研究的数据采集和分析过程较为复杂，往往需要把一只只河蟹手工放入实验仪器中，通过大型的阵列式传感器和商业化的光谱波段提取分析软件对采集到的数据进行特征提取和分类，算法时间复杂度和空间复杂度较高，无法高效根据蟹外观特征实现其品级的快速判别。

鉴于此，针对以上问题，该研究引入YOLO-v7（You Only Look Once第七代模型）发掘隐藏于中华绒螯蟹背部花纹中的密码，探索其与中华绒螯蟹健康状态之间的相关关系，基于中华绒螯蟹背部花纹中隐含的侧齿、龙骨脊、额突、疣突、颈沟、复眼6大细节特征，采用YOLO-v7模型分别对这6种单独和组合特征进行标记和模型训练，通过建立多因素试验测试推理得到最优的模型，实现中华绒螯蟹的健康状态活力品级鉴别。

1 材料与方法

1.1 试验材料

试验选取的中华绒螯蟹样本于2023年5—6月购自江苏省南通多瑞鲜电子商务有限公司，样本量总共有800只，雌雄个体各占50%，雄蟹和雌蟹的去绳后的重量为503 g，其中活力好的蟹500只，活力差的蟹150只，由于各种原因导致死亡的蟹150只，其中活力判别依据参考江苏省地方标准［16］。

1.2 试验图像获取

为了获取试验用的大批量河蟹图像，该研究搭建了一套完整的机器视觉实时采图系统，如图1所示，其中包括图像采集装置主要由高分辨率的CCD工业相机、镜头、铝型材支架、鱼缸、增氧棒组成，工业相机采用海康威视5 000万高分辨率相机，型号为MV-CE200-11UMUC，匹配的镜头焦距为16 mm，型号为 MVL-KF5024M-25MP。

为了增强算法的鲁棒性和适应性，样本图像的获取是在不同光照、不同位置下拍摄的，该研究将试验室内白炽灯作为图像采集系统的照明光源，相机可以覆盖到鱼缸全表面信息，对出现在相机视场内的河蟹进行在线自动视频录制，对获取到的视频离线按照每隔20帧提取1张图像，图2展示了视频转帧后的部分河蟹图像。

1.3 中华绒螯蟹背部花纹特征定量描述方法

从中华绒螯蟹背部的外观来看，存在6种较为明显的凹陷和凸包特征，分别为侧齿、龙骨脊、额突、疣突、颈沟、复眼，这些特征结构在蟹甲壳上的分布如图3所示。这些特征在不同个体之间存在微小的差异，而且每只蟹背上的花纹具有唯一性，这也被研究者们用于鉴定蟹的真伪［6］。然而，针对这六大特征以何种方式组合才能最大限度地表征不同个体之间的健康状态和活力品级，该研究采用组合法对这6个特征进行自由组合，发现共有63种组合方式，把这些特征进行标记后导入YOLO-v7，先让模型学习隐藏在这6种特征中最能表达中华绒螯蟹的品级鉴定目标的最优组合，这既避免了传统人工鉴别的局限，又能提升了水产行业的智能化水平。表1展示了中华绒螯蟹背部花纹的不同组合方式。

深度学习理论来自监督学习，这表明要从经验中学习先验知识，即需要预先训练大批量的目标才可完成蟹品级的鉴别目标，因此需要先对训练数据进行打标签。从表1可以看出，中华绒螯蟹背部的6种特征的组合方式共有63种，若将如此多组合方式逐一打标签导入深度学习模型是一项巨大的工程，因此该研究构建了一种特征优选方法，实现定量计算这63种组合特征的最优模式，筛选出最后对蟹的品级鉴别贡献最大的组合特征，该研究首次提出采用对称度算法对中华绒螯蟹进行特征组合的优选。