自然环境下基于增强YOLOv3的百香果目标检测

摘要 为解决当前流行的目标检测模型对自然环境下百香果由于目标密集互相遮挡所致的检测效率低等问题，以YOLOv3网络为基础，提出了一种基于增强的YOLOv3百香果目标检测算法。首先，针对百香果目标尺寸的特点，利用以交并比为距离度量的改进K-means++算法，重新获取与目标果实相匹配的锚选框，提高对目标的框选精度以及模型的收敛速度;其次，在输出网络中将用来筛选目标预测框的Soft-NMS算法通过线性函数的形式对其高斯函数的抑制参数进行改进，以提高模型在不同密集场景下的适应性和检测能力;最后，利用增强的YOLOv3模型在经过预处理后的百香果数据集上进行多次试验对比，结果表明增强后的YOLOv3目标检测算法平均精度均值（mAP）达到94.62%， F1 值达到94.34%，较原YOLOv3算法分别提升了4.58和3.68百分点，平均检测速度为25.45帧/s，基本满足了自然环境下百香果目标检测的精准性和实时性要求。

关键词 百香果;自然场景;密集目标检测;增强YOLOv3;非极大抑制算法

中图分类号 S 126  文献标识码 A

文章编号 0517-6611（2022）06-0186-07

doi：10.3969/j.issn.0517-6611.2022.06.043

开放科学（资源服务）标识码（OSID）：

Target Detection of  Passiflora edulis  Sims.Based on Enhanced YOLOv3 under Natural Environment

ZHANG Zhan-bang，LUO Zhi-cong，ZHOU Zhi-bin et al （College of Mechanical and Electronic Engineering，Fujian Agriculture and Forestry University，Fuzhou，Fujian 350100）

Abstract In order to solve the problem of low detection efficiency caused by the dense mutual occlusion of  Passiflora edulis  Sims.under the natural environment by the current popular target detection model，we proposed an enhanced YOLOv3 target detection algorithm of  P.edulis  based on the YOLOv3 network.First of all，according to the target size characteristics of  P.edulis， the improved K-means++ algorithm based on the intersection over union as the distance metric was used to retrieve the anchor box matching the target fruit，improve the accuracy of the target box selection and the convergence speed of the model.Secondly，in the output network，the Soft-NMS algorithm for was used to filter target prediction box，improve the suppression parameters of its Gaussian function in the form of linear function，so as to improve the adaptability and detection ability of the model in different dense scenarios.Finally，the enhanced YOLOv3 model was used to make multiple comparative experiments on the data set of  P.edulis  after pre-treatment.The experimental results showed that the mean average precision （mAP） of the enhanced YOLOv3 target detection algorithm reached 94.62%， F1  reached 94.34%，which increased 4.58 and 3.68 percentage points respectively，and the average detection speed was 25.45 frames per second，which basically met the accuracy and real-time requirements of  target detection of  P.edulis  under natural environments.

Key words  Passiflora edulis  Sims.;Natural scene;Dense target detection;Enhanced YOLOv3;Non-maximum suppression algorithm

基金项目 海峡博士后交流资助计划项目。

作者简介 张展榜（1996—），男，浙江慈溪人，硕士研究生，研究方向：农业电气化与自动化、基于嵌入式的目标检测研究。*通信作者，副教授，博士，从事生物电子集成电路设计、智能传感检测系统等方面的研究。

收稿日期 2021-10-31

百香果又称鸡蛋果，是西番莲科西番莲属的草质藤本植物，依赖棚架支撑生长结果，果实通过藤蔓下垂于棚架之下。作为福建的“致富果”，百香果产业给福建人民带来了巨大的经济效益。百香果不仅浓郁甘美、酸甜可口、富含维生素C，而且具有安神助眠、润肠通便的作用，具有极高的食用和药用价值[1]，同时其种子经榨油后还可用于制皂和制油漆，具有较高的经济价值。近年来，伴随着智慧农业[2]的不断推广，机器视觉技术被运用到农业作业的各个环节中。其中，果蔬的精细化管理作为农业生产的一个重大环节，其关键技术就是果蔬的实时目标检测。以百香果种植为例，据考察目前福建省百香果种植、采摘等管理主要是依靠劳动力，这极大地限制了福建各地百香果产业的高效发展[3]。若要实现百香果果实的自动化采摘、果实生长信息监测以及产量预估等智能化管理，果实的精准识别就至关重要，其目标检测的精确性和检测效率将直接决定智能机器人能否代替大量劳动力进行稳定、有效的长期工作[4]。这对于降低劳动强度、实现水果大批量持续生产以及引领传统水果产业链迅速走向规模化、自动化和智能化模式具有重要的意义。然而，在实际的自然环境下，由于藤叶遮挡、果实黏连重叠以及光线变化等复杂因素的干扰，再加上百香果果实颜色和枝叶颜色较为相近，因此百香果的精准识别仍是一个有待解决的难题。传统的果实目标检测算法往往采用人工提取的方式对候选区域进行特征检测，将提取后的经典特征通过提前训练好的分类器进行目标识别和分类，其不足之处在于候选框的确定主要采用穷举法的策略，这不仅会产生大量的冗余框，而且时间复杂度太高;另外，在特征提取的设计上采用人工的方式，主要是基于果实的纹理、形状以及颜色等特征[5]，识别准确率较高，但该方法本身所受局限性较大，且易受环境的影响。面对复杂多变的自然环境，传统的目标检测算法由于其鲁棒性不高，难以满足果实在自然环境下实时检测的要求。

目前，随着卷积神经网络在特征提取方面的能力越来越受到人们认可，深度学习算法[6]不断被应用在果实目标检测的研究中。满足复杂环境下目标检测条件的深度学习网络模型目前主要分为2类。一是以R-CNN[7]为代表的基于区域建议的“两阶段”算法。第一阶段先计算生成目标候选区域，完成检测任务;第二阶段通过卷积神经网络完成对候选区域的分类回归任务。熊俊涛等[8]利用Faster R-CNN方法对自然环境下的绿色柑橘进行目标检测，经测试模型平均精度均值（mAP）达到85.49%。岳有军等[9]通过在原始Mask R-CNN模型的基础上添加边界加权损失函数，实现了复杂环境下苹果的识别和高精度分割，经验证精度均值（AP值）达到92.62%。此系列算法虽然模型精度较高，但由于在生成建议框这一步骤占用了大量的计算资源，导致其检测速度较慢，无法满足实时性的需求。二是基于单一深度卷积网络，对检测目标直接进行端到端回归和分类的“一阶段”算法，以YOLO（You Only Look Once）系列算法[10-11]为代表。该类算法能在完成目标定位的同时识别出检测对象的类别，检测精度高，检测速度也快于第一类算法。在面向自然场景下各种果实的检测时，YOLO系列算法凭借其强大的泛化能力和实时性，越来越受到人们的关注。薛月菊等[12]在原始YOLOv2模型的基础上通过添加密集连接网络，从而进一步提高模型在复杂条件下对未成熟芒果的检测能力。赵德安等[13]在YOLOv3网络的基础上压缩网络规模，在不影响精度的情况下实现了复杂环境下苹果的高效率检测。 武星等[14]提出将苹果果实检测的YOLOv3基础网络Darknet-53[15]用5个串联的残差块替换，在保证准确率的基础上实现了网络模型的轻量化。上述这些应用中，在对自然环境下密集重叠果实区域或者稀疏果实区域进行目标检测时，检测模型都固定采用单一的传统非极大抑制算法，这会导致在不同环境下发生目标的漏检以及重复检测等问题，从而对最终的检测精度产生较大的影响。针对该问题，笔者在优化先验框尺寸的基础上[16]，对非极大抑制算法进行改进与优化，并将优化后的算法与YOLOv3模型相结合，从而加强模型对自然环境下百香果的目标检测能力，为百香果的农业智能化奠定基础。

1 图像采集与处理

1.1 图像采集 使用的百香果图像采集于福建省漳州市诏安县福果农业综合开发有限公司的黄金百香果基地，采集时间集中在2021年6月底至7月底。在考虑到水果机器采摘的视角以及黄金百香果实际棚高等因素的情况下，同时还要满足样品环境的多样性要求，分别在晴天和阴天的08：00—18：00，在顺光、逆光及侧光等光照情况下采集，拍摄环境包括果实遮挡、密集以及重叠等多种复杂情况。试验选用尼康数码相机、华为手机等设备，采集了不同遮挡情况的百香果原始图像共800幅，格式为JPG，同时采用横向、纵向及固定拍摄3种方式录制采摘现场视频30条，每段视频10 s，导出为MP4格式，帧率为30帧/s。

1.2 建立数据集

为了提高识别模型的鲁棒性，对所拍摄的部分百香果图片进行平移、旋转、裁剪和添加噪声等操作，将数据集扩充至1 140张，并

利用视频帧分解技术将所拍30条视频按10帧/s截取，每10帧选取1帧清晰且具有代表性的图片导出为JPG格式，最终获得1 440张图片，按9∶1的比例划分训练集和测试集。将所有百香果图片使用LabelImg 1.8.4软件进行人工手动标注，所标注的矩形框用于百香果的识别及其位置的确定，标记操作界面如图1所示。标记标签为“passion fruit”，标记文件最终以xml标准格式保存并以PASCALVOC[17]的数据格式进行存储。