基于数字图像处理技术的水果分级检测研究进展
作者: 徐文青 丁爱霞 朱文卿摘 要:传统的水果分级检测主要由人工完成,效率和准确度低。数字图像处理技术效率和准确度高,在水果分级检测中发挥着重要作用。本文通过系统整理国内外相关领域文献,基于数字图像处理的核心步骤,即图像采集与数字化、图像预处理、图像背景分割、图像特征提取和图像分类,概括基于数字图像处理技术的水果分级检测研究现状,分析目前存在的问题并展望未来发展趋势,旨在为后续研究提供参考。
关键词:图像处理;分级检测;水果分级;特征提取
Research Progress of Fruit Grading Detection Based on Digital Image Processing Technology
XU Wenqing1, DING Aixia2, ZHU Wenqing1*
(1.College of Food Science and Engineering, Shandong Agricultural University, Taian 271018, China;
2.Yantai Tianlu Food Co., Ltd., Yantai 265200, China)
Abstract: Traditional fruit grading detection is mainly done manually, with low efficiency and accuracy. Digital image processing technology play an important role in fruit grading detection due to its high efficiency and accuracy. Through systematical arrangement related literature at home and abroad, based on the core of the digital image processing steps, namely image acquisition and digitization, image preprocessing, background segmentation, feature extraction, and classification, this paper summarizes the current research status of fruit grading detection based on digital image processing technology, analyzes the existing problems and looks forward to the future development trends, aiming to provide references for subsequent research.
Keywords: image processing; grading detection; fruit grading; feature extraction
实现水果分级的自动化、标准化和智能化,不仅是对市场需求变化的积极响应,更是提升我国水果产业国际竞争力、促进产业转型升级和可持续发展的关键举措[1]。行业内通常按照水果的大小、形状、果梗、色泽等特征对水果进行分级[2]。以往,水果分级检测主要由人工完成,不仅存在识别准确度低、费时费力等缺点,而且难以准确检测水果的内部品质,如糖分含量、酸度、腐烂程度等[3]。而使用机械式分级系统会损伤水果表面,降低水果的经济价值。因此,研发非接触式、自动化的方法对水果进行严格的质量评定和优选分级,成为水果行业亟待解决的问题[2]。
数字图像处理技术是利用计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术[4]。随着现代智慧农业的发展,数字图像处理技术被广泛应用于水果分级检测。相比传统的人工分级方法,数字图像处理技术凭借信息传输效率高、准确度高、易于统一标准等优势,可以提高分级检测速度和质量、减少水果表皮损伤、实现水果标准化分级[5-6]。本文系统整理国内外相关领域文献,基于数字图像处理技术的核心步骤,综述其在水果分级检测方面的应用现状,以期为今后该领域的研究提供指导。
1 数字图像处理的主要流程
数字图像处理的主要流程包含图像采集与数字化、图像预处理、图像背景分割、图像特征提取和图像分类[7]。
1.1 图像采集与数字化
图像采集是通过合适的设备如相机捕捉目标物体的图像信息。这一过程通常涉及光源、相机镜头、拍摄角度和距离等多个参数的设置,以确保采集的图像质量满足后续处理的需求。将采集的模拟图像(自然图像)经量化、编码等步骤转换为可被计算机识别和存储的信息,即图像数字化。图像采集与数字化决定了图像信息的质量[8-9]。目前,图像采集系统可概括为开放式系统和封闭式系统两大类[6]。李浩[10]使用集成红色、绿色、蓝色(Red-Green-Blue,RGB)相机与多传感器融合的深度图像相机采集甜椒的点云图像,快速获取甜椒的RGB颜色信息与三维姿态信息,重构目标物的三维场景模型,开发偏最小二乘判别分析分类模型,最终得到甜椒点云数据的平均分类精度为88.96%。甘博尔德等[11]对红枣进行分级检测时,将红枣置于不同颜色的卡纸上,通过相机对红枣图像进行采集,以确定最佳采集背景,结果发现白色背景采集效果最佳,并且分级准确率在90%以上。徐义鑫等[12]在检测水果尺寸时,将相机镜头置于与载物台距离为目标物平均半径的整数倍数处,将得出的校正系数与尺寸相乘得到改正后的尺寸数据,可以降低测量误差,提高测量精度。陈卓等[13]在苹果分级检测中,采集图像时为防止外部光源的影响,设计了黑色背景的避光箱,此条件下采集的目标物图像与背景差距明显且分级效果理想。马秀丽[14]对苹果进行图像采集时,选用了内壁为乳白色的密封光照箱,并且在光照箱顶部对称安装了
2个风扇,以促进箱内空气流通、加快摄像机散热,保证摄像机性能稳定。王虎挺[15]将光源箱作为载物台,并以白色半透明背景板为背景,保证了背景光源的稳定性,并且灯光从香梨底部中央处照射,可以获得清晰的库尔勒香梨边缘。
1.2 图像预处理
图像预处理包括图像去噪与图像增强,二者的本质都是突出重要信息,剔除噪声等干扰或其他不必要的信息,是提高图像质量的关键步骤。从视频信号中采集的图像画面会受到运动模糊伪影和噪声的污染,为了消除运动模糊,NANDI等[16]使用去模糊维纳滤波器和伪中值滤波器去噪,再将图像转化为二值图像,并使用基于流行链码的图轮廓跟踪方法对目标物边界进行跟踪。刘茗洋等[17]为了增强目标苹果的特征信息,利用均值漂移滤波器对采集的图像进行平滑操作,该滤波器可以中和与图像颜色相近的区域,平滑苹果及其枝叶表面的纹理细节,清理面积较小的颜色区域,从而突出重要区域。ZHOU等[18]对原始采集的青梅表面缺陷图像(2 592×2 048像素)进行预处理,将待处理图像进行高斯滤波,转换成灰度图像,再通过自适应阈值二值化,利用拉普拉斯滤波器和Canny边缘检测算子提取得到边缘的最小外矩形,之后进行图像切割,最终将图像调整为224×224的像素进行测试。KNOTT等[19]对水果(苹果和香蕉)图像进行预处理时,利用双线性插值技术将苹果图像从原始的120×120像素尺寸放大到所需的224×224像素,同时应用零填充技术将香蕉图像尺寸缩减到所需的224×224像素。申飘[20]利用图像处理技术进行柑橘表面缺陷检测时,针对柑橘表面光照不均现象进行图像预处理,先利用改进的Gamma算法变换柑橘图像亮度,再利用引导滤波提取柑橘明度分量的光照分量,根据光-反射原理对变换后的明度分量进行亮度校正,获得了正常果皮区域亮度显著增强的校正柑橘图像。
1.3 图像背景分割
图像背景分割是指将目标物从背景中分割出来,提取目标区域,剔除背景信息[6]。目前,图像背景分割的算法有聚类分割算法、区域与生长分割算法、阈值分割算法等[21]。张永剑等[22]提出一种基于粒子群优化K均值聚类的分割算法,此方法可以有效地将葡萄从背景中分割出来,并且准确率较高、葡萄轮廓完整。LIU等[23]基于最大类间方差法(Maximum Between-Class Variance,OTSU)改进图像分割技术,改进后的技术能有效分割出不同光照条件和遮挡条件下的低像素柑橘图像,准确率在77.78%~92.31%。乔豪杰等[21]采用基于Lab颜色空间和全局阈值分割算法,将水果图像从RGB颜色空间转换为Lab颜色空间,并结合全局阈值分割算法分割亮度(L)、颜色对立维度(a和b)3个分量,结果证实此算法不受光照和颜色的影响,可以在不同强度光源和不同颜色背景下分割出有缺陷的水果图像。FLORA等[24]为区分健康苹果和受损苹果,使用OTSU算法为每张图像计算一个自适应阈值,通过设置阈值将原始的RGB图像转为二值图像,输入至非线性支持向量机(Support Vector Machine,SVM)分类器,并调整系数C和γ以减少误差,最终分类准确率达94%。TRAN等[25]提出一种能够估计阳桃几何属性、体积和质量的综合方法,其中几何属性和体积属性信息的提取依赖于对目标物的精确分割,因此对输入图像应用背景减法、查找边界框技术(包括Canny边缘检测和寻找轮廓算法),从而得到阳桃的高度、宽度等物理参数。
1.4 图像特征提取
结合《鲜苹果》(GB/T 10651—2008)、《鲜梨》(GB/T 10650—2008)、《鲜柑橘》(GB/T 12947—2008)等不同种类的鲜水果国家标准以及现有的相关研究,总结出能被计算机识别检测出的、影响水果等级的主要特征分为外观品质,包括水果的果形、色泽、纹理、尺寸等;内部品质,包含水果的甜度、酸度、营养成分含量等;病害缺陷,包含水果的病害、表皮损伤、腐烂程度等[26-29]。利用图像处理技术进行水果分级检测时,提取目标物的典型特征作为分类的标准来完成。
1.4.1 颜色
颜色特征包含色泽、着色度、纹理,是判断水果品质的重要因素之一,同时也可在一定程度上反映水果的成熟度、病害程度等情况。肖壮[30]在提取红提果肉和果粉区域特征时,通过矩阵工厂(Matlab)软件处理红提图像,得到果肉和果粉区域的RGB值和像素点坐标值,成功实现了颜色特征的提取。SABZI等[31]提取苹果图像的颜色和质地特征后,使用人工神经网络(Artificial Neural Networks,ANN)建立了6个有效的特征(1个质地特征和5个颜色特征)预测模型来估计苹果的物理化学性质,从而判断苹果的成熟度,分类正确率高达97.86%。CARDENAS-PEREZ等[32]使用图像处理技术对苹果的成熟度进行表征,利用CIE-lab颜色空间、色度和色相角来识别苹果的3个成熟阶段,并采用多变量判别分析法(Multivariate Discriminant Approach,MDA)对颜色参数进行预测,预测准确率可达100%,表明可以利用颜色参数替代理化分析判定苹果成熟度。谢秀珍等[33]采用基于图像处理技术多特征融合的方法对影响百香果品质的含糖量进行分级检测,先分别提取百香果颜色和纹理特征进行优化并融合,再使用SVM分类器进行二分类训练和预测,结果显示色调-饱和度-亮度(Hue Saturation Value,HSV)颜色模型对百香果含糖量分类的准确率最高达91.48%。AZARMDEL等[34]使用基于相关性的特征选择子集和一致性子集两种特征衰减技术提取桑葚的几何特性、颜色和纹理特征,并采用ANN和SVM方法对桑树果实进行分类,结果表明使用基于相关性的特征选择子集的提取方法和ANN分类方法表现出最佳分类能力,准确率高达99.1%。
1.4.2 尺寸