基于机器视觉的葡萄采摘域计算方法研究

摘要 鲜食葡萄采摘依靠人工，存在作业强度大、劳动力紧缺、生产成本高等问题，制约了产业规模化发展，亟需研制智能采摘设备提高生产效率。葡萄果实串采摘域的准确定位，是采摘设备视觉系统研究的重要内容。基于颜色空间和霍夫直线检测算法融合的方法，研究了棚架式葡萄图像目标提取和采摘域计算。分析葡萄果实串图像颜色特征后分割出目标区域，对目标区域开展形态学算法处理，计算出图像质心和最小外接矩形，以矩形与质心线的交点、矩形长宽等为参数构造出果梗感兴趣区域，分割提取果梗目标，采用霍夫直线检测算法计算区域内直线，以最长的直线区作为果梗采摘区域。根据测试结果，果梗感兴趣区域图像分割正确率为96%，果梗提取正确率为92%，采摘域计算正确率为92%，采用的算法数据处理量小、计算速度快，可以作为研制葡萄采摘机器人、产量测算、长势监测等设备的理论基础。

关键词 机器视觉；葡萄果梗；颜色空间；采摘域

中图分类号 S225  文献标识码 A  文章编号 0517-6611（2024）17-0224-04

doi：10.3969/j.issn.0517-6611.2024.17.051

Research on Grape Harvesting Domain Calculation Method Based on Machine Vision

MA Cong， CHEN Xue-dong

（Institute of Agricultural Economy and Information Technology， Ningxia Academy of Agriculture and Forestry Sciences， Yinchuan， Ningxia 750002）

Abstract Fresh grape picking relies on manual labor， which has problems of high workload， labor shortage and high production costs， which restricts the large-scale development of the industry. It is urgent to develop intelligent picking equipment to improve production efficiency. The accurate positioning of the picking domain for grape fruit clusters is an important aspect of the visual system research for picking equipment. Based on the fusion of color space and Hough line detection algorithm， we studied the target extraction and picking domain calculation of trellis grape images. After analyzing the color characteristics of grape fruit string images， the target area was segmented. Morphological algorithms were applied to the target area to calculate the centroid and minimum bounding rectangle of the image. The region of interest for the fruit stem was constructed using the intersection point of the rectangle and the centroid line， as well as the length and width of the rectangle. The fruit stem target was segmented and extracted. The Hough line detection algorithm was used to calculate the line within the region， and the longest line area was used as the fruit stem picking area. According to the test results， the accuracy rate of image segmentation in the region of interest of the fruit stem was 96%， the accuracy rate of fruit stem extraction was 92%， and the accuracy rate of picking domain calculation was 92%. The algorithm used had small data processing capacity and fast calculation speed， which could serve as the theoretical basis for developing grape picking robots， yield calculation， growth monitoring and other equipment.

Key words Machine vision;Grape stem;Color space;Picking domain

基金项目 宁夏农林科学院科技创新引导项目“宁夏酿酒葡萄智慧种植关键技术研究与示范”（NKYG-23-02）；宁夏自然科学基金项目“基于机器视觉的葡萄免碰采摘路径规划方法研究”（2023AAC03408）。

作者简介 马聪（1987—），女，回族，宁夏青铜峡人，助理研究员，硕士，从事农业信息化研究。

收稿日期 2023-09-21

葡萄味道鲜美、富含维生素，副产品也颇受市场消费者认可，是常见的水果种类之一。由于葡萄果树产量高、适应性强、收益好，因此我国葡萄果树的种植面积逐年上升。据国际葡萄与葡萄酒组织（OIV）公布，2022年我国的葡萄园面积为78.5万hm2，居全球第3位。随着经济的发展，我国的葡萄出口规模也在不断扩大，成为经济发展的重要产业［1-3］。葡萄成熟期比较集中，成熟时要进行批量采收，需要大量的劳动力。目前我国葡萄采摘主要依靠人工，存在劳动强度大、劳动力紧缺、生产成本高等问题，制约了产业规模化、高效化的发展。因此，设计研发机械化、智能化的批量葡萄采收设备，是提升葡萄产业生产管理水平的必然需求。

葡萄种类主要分为酿酒葡萄和鲜食葡萄，酿酒葡萄作为生产葡萄酒的原料，鲜食葡萄作为水果在市场上流通。由于2类葡萄的用途方向不同，对果实串的采摘要求存在差异。酿酒葡萄的果粒直接进入生产线进行酿酒，对果实串外观的完整性没有严格要求；鲜食葡萄必须保证果实串完整的外观，便于保存运输和销售。因此酿酒葡萄的采摘可以逐步实现自动化收获，德国、荷兰、法国等针对篱架式种植的酿酒葡萄研发了摇震式批量采摘机，通过震动和敲击使果粒脱落，去除杂质后收获果实。鲜食葡萄一般采用篱架式或者棚架式种植，生产管理方式对果实串的生长形成有很大影响，果实饱满、果皮易损、果实串形状不规则、果实颜色不完全均匀等，需要研制拟人作业方式的采摘设备保证果实的完好性［4］。采摘机器人分为软件部分和硬件部分，软件部分完成目标识别、空间坐标计算、命令发送等任务，硬件部分完成设备行进、采摘臂运动和目标抓取剪切等。

目标识别是采用机器视觉技术将果实串从实际果园环境中分割出来，自动计算出末端执行器可抓握或者剪切果梗的位置信息，作为末端执行器的动作指令。目标识别和采摘域计算的准确性决定了采摘机器人的动作成功率，是采摘机器人研究的重要内容。在非结构环境下，由于光照不均匀、藤蔓缠绕、枝叶遮挡、生长位置不确定等原因，采摘机器人目标识别在正确识别及准确定位时遇到很多难题。对于葡萄类的串型水果，自动识别果梗并定位计算采摘域是实现机器人精准作业的关键环节。但实际应用条件下，果梗颜色与枝干、叶片等背景颜色十分相似，很难直接采用颜色提取出果梗目标。针对葡萄采摘目标识别和定位存在的问题，国内外专家学者都进行了广泛的研究［5-9］，取得了较大的进展，但是仍然存在识别方法复杂、需要大量标注、训练设备需求高且耗时长等问题。鉴于此，笔者基于颜色分割空间模型和改进的霍夫直线检测方法，提出了一种鲜食葡萄采摘域自动识别的方法，以期为研制葡萄采摘机器人提供一定的理论支撑。

1 数据与材料

为提升研究算法的实用性和可用性，以果园自然生长环境中的夏黑品种葡萄作为数据采集对象，试验葡萄是棚架式种植鲜食葡萄，成熟后颜色为紫黑色，在生长过程中没有进行果实套袋。相机采用手机后置摄像头进行多角度拍摄，采集图像为1 200 万像素（3 000×4 000），总共采集有效图像300幅。采集的图像光照条件是晴天，采集图像时相机与葡萄串之间的距离、高度和角度均随机，采集图像内容包括果实串、葡萄果梗、枝干、叶片和实际果园背景。

2 研究方法

首先采用颜色空间分析成熟葡萄串颜色特征，以此为基础提取出果实串区域，利用形态学处理、孔洞填充等方法获取葡萄串区域，实现鲜食葡萄串目标与背景的有效分割。其次利用边缘提取算法获得果实串轮廓信息，构建果实串轮廓最小外接矩形，根据图像信息计算出果实串质心坐标，以质心垂线与外接矩形交点为底边中点，构造果梗感兴趣区域。最后对分割出的果梗区域进行滤除噪声、特征提取等操作，实现鲜食葡萄采摘域的快速提取。

2.1 果实目标分割

2.1.1 图像颜色特征分析。

非结构环境下，图像分割结果受外界光线变化影响较大，需要选择合适的方法进行区域提取。成熟的夏黑葡萄呈现紫黑色，与背景颜色差异十分明显，因此可根据颜色特征进行目标分割。采用基于不同颜色空间提取各颜色分量的算法，该算法运算量小、计算效率高、分割效果较好，适合用于实时采样、实时分析的视觉系统。根据葡萄果实串与背景颜色的特点，分别提取了葡萄图像RGB、HSV、Lab、YCbCr、XYZ等颜色空间中各分量图。经过对比分析可知，在相同的光照条件下，夏黑葡萄图像的H分量图中葡萄果实与背景的灰度差别较大，可以用于目标与背景的快速分割。分析H分量图的灰度分布特点可知，果实串区域的灰度值基本处于同一范围内，灰度值差异较小；背景中的其他颜色灰度值分布在不同范围内，灰度值差异较大。

2.1.2 目标区域分割。

根据颜色空间分析的结果，采用设置区间阈值的方法分割图像，基本计算流程如下：将原始图像A转换为HSV格式；建立一幅与A图像同样大小的HSV格式图像A1；设置H分量阈值范围T；遍历A1图像所有像素点，将所有在阈值范围外的像素点灰度值均赋值为255。遍历结束后，可以初步提取出葡萄串区域图像，图1a所示为原始图像，图1b为提取结果。

从分割结果可以看到，基于颜色特征提取出了大部分的葡萄果实信息，基本保留了果实串的整体轮廓；但是在按照阈值进行像素点的提取过程中，光线原因会导致葡萄果粒间隙之间出现不同范围的灰度值，环境中也存在与葡萄串颜色接近的背景，导致出现了部分误分割的结果。

2.1.3 分割结果优化。

针对上述步骤初步分割出的图像，利用数学形态学运算开展进一步的分割结构优化。基本计算流程如下：首先将分割出的彩色图像进行自适应阈值灰度化处理；构建圆盘形结构元素，对图像内所有像素点进行计算，如果都为1则该像素为1，去除小范围的噪声点；计算图像内连通域，设置最小连通域面值阈值，删除所有小于阈值面积的像素点；对处理后的图像进行膨胀处理，即构建圆盘形结构元素，对图像内所有像素点进行计算，如果都为0则该像素为0，平滑图像边缘；处理后的图像存在部分孔洞，用孔洞填充算法消除区域内的孔洞，实现完整的果实串区域分割。图1c为目标分割结果。