基于深度学习的蓝莓成熟度预测

摘要  蓝莓果实成熟度的人工分级技术效率低、准确性有限，不能满足市场需求。为了提高蓝莓成熟度检测的准确性，提出了一种基于深度学习的蓝莓成熟度预测方法，从而预测出不同成熟阶段的蓝莓果实。针对7个不同成熟阶段的蓝莓果实，利用VGG 16神经网络，提取果皮颜色特征建立模型。结果表明，该方法对不同成熟阶段蓝莓果实的预测准确率分别达到了97.65%、93.94%、97.02%、100%、80.56%、83.62%、95.21%。该方法建立的模型对蓝莓成熟度的预测较为精细，覆盖了从盛花期50 d开始至完全成熟全过程，充分利用深度学习网络的分类能力，提高了对蓝莓果实成熟度的预测，为实现蓝莓果实无损检测技术提供理论依据。

关键词  蓝莓；成熟度检测；深度学习；VGG 16

中图分类号  S 126   文献标识码  A   文章编号  0517-6611（2023）05-0232-05

doi： 10.3969/j.issn.0517-6611.2023.05.053

开放科学（资源服务）标识码（OSID）：

Prediction of Blueberry Maturity Based on Deep Learning

LI Zhu1，MOU Chang-hong2，JI Kang-xuan1 et al

（1.College of Architecture，Soochow University，Suzhou，Jiangsu 215000;2.Chinese Academy of Forestry Sciences，Beijing  100000）

Abstract  The artificial grading technology of blueberry fruit maturity is low in efficiency and limited in accuracy，which can not meet the market demand.In order to improve the accuracy of blueberry maturity detection，a blueberry maturity prediction method based on deep learning was proposed，which could predict blueberry fruits at different ripening stages.VGG 16 neural network was used to extract peel color characteristics of 7 blueberry fruits at different ripening stages to establish models.The results showed that the prediction accuracy of blueberry fruits in different ripening stages reached 97.65%，93.94%，97.02%，100%，80.56%，83.62% and 95.21%，respectively.The model established had a relatively fine prediction of blueberry maturity，covering the whole process from 50 d of flowering to full maturity.The classification ability of deep learning network was fully utilized to improve the prediction of blueberry fruit maturity，providing theoretical basis for the realization of non-destructive testing technology of blueberry fruit.

Key words  Blueberries;Maturity detection;Deep learning;VGG 16

蓝莓为杜鹃花科越橘属植物，果实中含有大量的花青素和类黄酮等物质，具有增强人体免疫力、防止心血管疾病、延缓衰老等功效。随着生活水平的提高，人们对蓝莓消费需求不断增加，如何快速识别蓝莓成熟度，以适应运输、保鲜、口感等要求成为亟须解决的问题。蓝莓果实小，个体差异小，人工采摘难度大且效率较低，难以对不同成熟阶段的蓝莓进行准确分级［1］。因此，开发高效、无损、经济的成熟度检测方法，不仅能够提高对蓝莓果实的分级，满足蓝莓生产的需要，也为蓝莓采摘机器人的研制提供了理论依据。

果皮颜色是衡量果实成熟度的重要指标之一。在蓝莓成熟过程中，果实内源激素和可溶性糖含量增加，叶绿素分解速度加快，合成受阻，叶绿素和类胡萝卜素含量降低，花青素不断积累，颜色会相应地发生变化，从最初的绿色，逐步转变为红色，最后呈蓝色［2］。因此，根据果皮颜色预测蓝莓成熟度是一种可行的方式。目前，通过果皮颜色预测果实成熟度主要借助光特性无损检测技术和计算机视觉无损检测技术。光特性无损检测技术包括高光谱图像检测技术、近红外光谱技术等。例如，李丽丽等［3］利用高光谱图像信息对未熟、半熟、成熟和过熟的李果实进行分析，比较不同彩色图像模型中的颜色特征值，建立了RGB-HSV-PLS 成熟度预测模型。张静等［4］通过近红外光谱技术，对葡萄成熟度和果实品 质进行预测。计算机视觉无损检测技术主要利用典型视觉技术、机器学习技术、深度神经网络等，如岳有军等［5］改进级联卷积神经网络，成功将番茄成熟度预测率提高2百分点；贺付亮等［6］建立视觉显著性和脉冲耦合神经网络，改善成熟桑葚识别困难的问题。在针对蓝莓成熟度检测方面，国外起步较早，对预测模型的研究较为深入，如Tan等［7］应用HOG特征与颜色特征对同一区域内不同成熟度蓝莓进行识别与计数，对成熟果实预测率达到96.0%；Ni等［8］使用计算机图像分割方法对蓝莓图像进行处理，提高蓝莓预测过程中目标检测的准确率。这些研究侧重于对小体积实验对象的目标检测上，即如何更好地改善识别模型。国内这一领域的相关研究尚未形成完整的框架，对蓝莓成熟度的研究多局限于未熟、半熟、成熟3种成熟状态，不能对整个成熟过程进行全面把控。马淏等［9］利用高光谱成像技术对成熟、近成熟、未成熟蓝莓进行识别，正确率分别达到了96.1%、94.7%、 91.2%。王立舒等［10］建立YOLOv4-Tiny模型，结合卷积注意力模块，对成熟蓝莓的预测准确率高达97.3%。但也有研究表明，从果皮颜色判断果实成熟度虽然可行，但在成熟后期，果皮颜色变化不明显，成熟程度更多体现在果实个体大小上，因此不能仅从果皮颜色判断果实成熟度。

近5年的研究显示，深度学习在果实成熟度检测中的应用越来越多。深度学习是一种特殊的机器学习，能够通过学习在输入的数据中寻找规律，对未知数据进行预测。这一技术在图像识别、风险预测、自然语言处理等领域取得了很多成果，常用的模型有VGGNet、GoogleNet、Xception、MobileNet、ShuffleNet、GhostNet、AsymmNet等。其中，VGGNet作为卷积神经网络中经典的图像分类模型，在图像识别领域具有很大潜力。通过深度学习，可以有效减少主观因素对果实分级的影响，这在百香果［11］、刺梨［12］、枸杞［13］、番茄［14］等果实上都已被证明。但目前，针对蓝莓的深度学习案例较少。因此，为了更高效地识别蓝莓成熟度，笔者基于深度学习，利用VGG 16神经网络将蓝莓的成熟阶段进一步细分为7个阶段，从盛花期50 d开始，每10 d采样1次，直至果实完全成熟，共采样7次，检测蓝莓果实在7个不同成熟阶段的表皮颜色，建立蓝莓成熟度预测模型，测量和分析各阶段果实的纵横比与鲜重，旨在解决蓝莓果实成熟度难以人眼识别的问题，提高蓝莓分级的准确性。

1 材料与方法

1.1 样本采集

供试品种为梯夫蓝，由苏州御湖园农业科技有限公司提供。随机挑选长势一致且健康的5年生蓝莓植株，于盛花期50 d后开始采样，依据成熟度依次分为7个阶段，直至果实完全成熟。每10 d采样1次，分东、南、西、北4个方向随机采集，每次采样150颗，共采样7次。图1为7种成熟阶段的蓝莓样本图像。

1.2 外部指标测定    将采摘后的蓝莓果实冷藏保存并迅速运回实验室进行相关指标的测定。果实鲜重用千分之一天平称量，果实纵径和横径用游标卡尺进行测量，并计算果形指数（纵径/横径）。

1.3 数据采集

蓝莓图像采集在自然光照条件下，用EOS 550D相机在蓝莓果实1 m左右拍摄，图像分辨率为5 481×3 456，以.jpeg格式保存。为增加数据集丰富度，使网络能够适应更多的场景，数据集包含不同遮挡程度和光照条件下的蓝莓图像，同时对蓝莓图像进行旋转、缩放、镜像等多角度处理。图像样本共3 000幅，其中轻微遮挡图像样本1 800幅，重度遮挡图像样本450幅，逆光图像样本750幅。按8 ∶ 2比例随机分为训练集和测试集，数据分布如表1所示。

1.4 图像预处理与蓝莓识别

预处理的主要目的是让计算机更快、更精准地识别出图像中的蓝莓主体，便于后续的神经网络训练。如图2所示，从上到下分别代表不同成熟度，从左到右分别代表原始图、蓝莓位置的掩码图像、蓝莓样本区域图、最终样本图。

观察和初步识别结果显示，在蓝莓的7个成熟阶段中，第1阶段蓝莓果实偏绿，与背景色较为相近，在计算机识别过程中，通常会和背景树枝、树叶一同被识别，准确率较低。因此，在图像预处理时，将7个成熟阶段分为2部分，阶段1为一部分，阶段2～7为一部分，分别进行检测。

首先将颜色空间从RGB转换到HSV，通过色度（Hue）更快地将蓝莓果实区域识别出来。同时在HSV颜色空间下，可以减少光照对图片的影响，有利于排除干扰因素对识别准确率的影响。 通过色度选出除了绿色之外的所有颜色，即将成熟阶段2～7的蓝莓筛选出来，因为只有第1阶段的蓝莓呈现出绿色，而这一特征也可以被神经网络学习到，因此可以将阶段1的蓝莓图像筛选出来。选出蓝莓主体后，通过模糊图像，对图像进行降噪处理，得到蓝莓位置的掩码图像。

通过观察蓝莓位置掩码图片，可以发现图中残留一些叶片或枝干的边缘，蓝莓的中心区域不太完整，为了弥补上述缺陷，分别进行图像的腐蚀与膨胀操作。图像腐蚀可以消除细小的边缘地带，如树叶边缘，图像膨胀可以将部分小区域填充完整，从而得到一个较为完整的蓝莓区域，经过这一步处理后，得到蓝莓样本区域图。最后使用边缘识别算法，选出其中面积最大的区域作为目标蓝莓区域，将这部分裁剪下来作为后续的神经网络输入。

1.5 VGG 16网络

VGG 16共有16层，包括13个卷积层，5个池化层，3个全连接层，不包括激活层。对输入图像的默认大小是224×224×3，其网络结构如图3所示。

由图3可知，conv为卷积层，使用3×3的卷积核、长度为1的卷积步长进行局部特征提取，公式如下：

y=z（W*Matrix+Bias）

式中，y为卷积层输出结果，W为卷积核，Matrix为灰度图矩阵，*为卷积运算，Bias为偏置值。

maxpooling为最大池化层，大小为2×2，对卷积操作后提取的特征信息进一步提取，进行降维处理，降低计算难度，公式如下：

fpooling=MAX（Xm，n，Xm+1，n，Xm，n+1，Xm+1，n+1）（0≤n≤N，0≤m≤M）

式中，M为输入图像二维向量的长，N为输入图像二维向量的宽。

FC为完全连接层，对数据集进行分类。使用交叉熵损失作为损失函数，公式如下：

L=-［ylogy′+（1-y）log（1-y′）］

式中，y为真实标签值（正类值为1，负类值为0），y’是预测的概率值（y∈（0，1））。

模型的使用过程为：经64个卷积核的卷积处理2次，后进入池化层pooling；再经128个卷积核的卷积处理2次，后进入池化层pooling；再经256个卷积核的卷积处理3次，后进入池化层pooling；再经512个卷积核的卷积处理3次，后进池化层pooling，该过程重复2次。完成后，连接3层全连接层。

2 结果与分析

2.1 蓝莓果实外部指标比较

2.1.1    不同成熟阶段果形指数。由图4可知，蓝莓果实的果形指数整体上呈初期波动大、中后期平缓的趋势。阶段1～4期间波动较大，从0.825下降至0.688，后上升至0.803，最后下降，纵横比最高达到0.825，最低为0.667，最高值约为最低值的1.2倍。阶段4～7期间，纵横比趋于稳定，纵横比平均值约为0.700，最低值0.667，最高值0.733，均在平均值附近波动。