基于Transformer模型的干辣椒等级分类方法研究*
时间：2023-04-24 08:30:06 来源：千叶帆 本文已影响人
邱显焱，郭士超，王俊杰
（湖南工业大学机械工程学院，湖南株洲 412007）
辣椒是茄科辣椒属的重要蔬菜，内含众多营养物质，具有药用价值和食用价值，在我国广泛种植[1]。作为人民必需的餐用调味品，常在市场中以干辣椒、辣椒粉等初级加工品的形式流通[2]。而干辣椒是指将新鲜红辣椒经过人工脱水或自然晾晒等工艺过程而制成的辣椒制品，又称作辣椒干、干制辣椒。但制作干辣椒时，特别是在自然晾晒干制过程中，辣椒皮和肉的红色部分经常褪色，变白色和黄色，形成“花壳”、“白壳”、“花皮”干辣椒[3]，花壳干辣椒果皮中的类胡萝卜素的含量较正常红辣椒显著降低[4]。鉴于干辣椒的感官品质和商品价值受到严重影响，需要干辣椒品质分类，但目前对此分类，大多是靠效率低、消耗成本大的人工完成，急需要研制一种操作方便、分类快速、准确率高、大规模自动分选的干辣椒品质分选机器，将花白壳等品质不好的干辣椒挑选出来，利用什么方法在众多的干辣椒当中将其选出是分选机器的关键。
近年来，计算机视觉技术在果蔬质量检测方面应用很广。计算机视觉系统一般由检测箱、光源、CCD 摄像头、图像采集卡（帧捕获器或数字化仪）、计算机硬件和软件系统、控制机构等部分组成。电脑硬件和软件系统相互作用，分析水果和蔬菜的外部品质图像，给出了检查对象的最终检测信息，并最终控制整个检测系统完成分级和分类任务[5]。张力超[6]提出一种基于计算机视觉的苹果分类和分级研究方法，通过提取苹果的外部特征，运用Support Vector Machine（SVM）和Convolution Neural Networks（CNN）方法进行对比，结果表明在有足够的图像数据下，CNN 方法在识别苹果种类和单个苹果外观等级的准确率高于SVM 方法。文怀兴等[7]提出基于改进深度残差网络的红枣缺陷检测分类方法，在RGB 彩色图片中，因G 通道在红枣的缺陷部分体现出红枣的正常部位和缺陷部位的反差区别，所以以红枣的G 分量作为残差网络的输入，通过神经网络的训练与测试，此分类方法准确率为96.11%。朱幸辉等[8]在卷积神经网络的基础上，利用Single Shot MultiBox Detector（SSD）算法将Region Proposal 和分类统一在一起，针对西红柿叶片病斑做出识别仿真，得出的Mean Average Precision（mAP）值为0.988。林雯[9]针对芒果外观品质，提出一种基于计算机视觉和BP神经网络的分类算法，选取芒果的小波特征、颜色特征、形状特征、缺陷面积所占比进行提取，作为BP 神经网络的输入，实现的3 个等级分类，准确率达到93.3%。余游江等[10]针对新疆红枣在加工过程中需对不同种类区分的问题，构建了Densenet 121、ResNet 50、VGG 16 三个种类的卷积神经网络为基础学习器，逻辑回归为次级学习器的Stacking 集成学习模型，并进行不同学习器组合的模型对比，结果表明提出的集成模型准确率为92.38%。
对于辣椒的研究，郑凯等[11]针对青椒质量品相问题，提出了利用卷积神经网络方法对其识别分类，通过比较不同的卷积层和优化函数对其准确率的影响，分析出运用3 * 3 卷积核的三层CNN 网络模型和Adaptive Moment Estimation（Adam）优化函数在测试分类的准确率最优，准确率达到97.60%。袁开放[12]针对鲜辣椒大小和病残问题，提出基于机器视觉的分类方法，利用最小外接矩形算法识别辣椒的大小，准确率为95%，利用RGB 和HIS颜色模型对辣椒病残进行识别并剔除次品。李硕[3]根据干辣椒外观品质国家分级标准，基于机器视觉对干辣椒进行品质分级，对干辣椒图像预处理后，利用最小外接矩形的长宽比鉴定干辣椒是否有柄，有柄为不合格，进一步基于颜色性状差异区分合格干辣椒与不合格干辣椒，实验分级准确率为92.15%。本文针对干辣椒外观品质提出了新的分类方法，研究基于Transformer 模型进行干辣椒外观品质分级，并进行同模型间训练是否利用迁移学习对比和不同训练模型的对比，结果表明：利用迁移学习的Shifted windows Transformer（Swin Transformer）模型准确率最高，最稳定。
1.1 图像收集
本文收集的图像来自于株洲市本地菜农所卖的干辣椒，当地人称“辣椒王”。收购后干辣椒制备描述如表1所示，在原始辣椒中掺杂着外观品相不一的干辣椒，需用人工把品质相同的干辣椒进行挑选出来，为做图像数据集做准备。本文依据国家对于干辣椒的分级标准[13]和市场需要将其分为3 种干辣椒，即优质干辣椒、合格干辣椒、不合格干辣椒。其中不合格干辣椒品质已经破环，严重影响消费者的购买行为。
表1 干辣椒分级描述
1.2 数据集划分
本文共拍摄2 115张干辣椒，为提高模型的训练量以及泛化能力，利用数据增强技术通过旋转、镜像方法扩增到6 345张图片，此方法增强模型的鲁棒性。数据分为训练集4 445 张和测试集1 900 张，划分比例为7∶3。其中训练集优质为889张，合格为889张，不合格各小类均为889 张；
测试集优质为380 张，合格为380 张，不合格各小类均为380 张。利用Python 将数据图片像素统一改为224×224。
2.1 Swin Transformer网络模型
Swin Transformer 网络起源于Transformer 模型，而Transformer 模型是谷歌在2017 年提出[14]，起初针对于自然语言处理领域，利用自注意力机制代替传统处理序列数据时采用的循环神经网络，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得不错的结果。Swin Transformer 网络是微软在2021 年在ICCV 上发表文章[15]中提出，这是Transformer 模型在计算机视觉图像分类方面一次大的发展。
该模型相比之前的VisionTransformer（ViT）[16]做出两个改进：（1）引入卷积神经网络常用的层次化构建方式构建层次化Transformer；
（2）引入locality 思想，对无重合的windows 区域内进行自注意力机制计算，实际表现与ViT 模型相比，拥有出色的效果。整体结构如图1所示，输入224×224×3 尺寸的干辣椒图像，在Patch Partition 阶段，由4×4的滑动窗口将图片划分为56×56×48大小的patch。经过stage1阶段，Linear Embedding对每个像素的channel 数据做线性变换，将向量的维度变成一个Transformer 可以接受的值，即将shape 为（56，56，48）变成（56，56，C），C为超参数，对于Swin-B 来说，C为128；
接着进入Swin Transformer Block，在模块中，为了减少计算量问题，引入Windows Muti-Head Self-Attention（W-MSA）模块，为了解决窗口与窗口无法传递信息的问题，引入Shifted Windows Muti-Head Self-Attention（SW-MSA）模块，W-MSA 和SW-MSA 依次进行，成对出现。在分类部分，依次通过Layer Norm 层、全局平均池化层（Global average pooling）、全连接层到分类标签，维度1×5，对应于干辣椒5个分类类别。
图1 Swin Transformer模型
2.2 激活函数
激活函数是神经网络的重要部分，线性神经网络引入激活函数，会引入非线性，增强模型的学习能力。本文使用高斯误差线性单元Gaussian Error Linear Unit（GELU），Dan Hendrycks 与Kevin Gimped 使用GELU 激活函数在MNIST和CIFAR-10/100数据集进行评估，准确性要比ELU 和RELU 激活函数高，至此可作为激活函数的可选方案之一。公式如下:
其中，Φ(x)指的x的高斯正态分布的累计分布，该式不能直接计算，近似逼近可表示为:
2.3 优化方法
基于梯度下降法的各种改进算法是目前主流的优化方法，其最基本的思想是如果找到某函数的最小值，最好的方法是沿着负梯度方向查寻。公式如式（3）。在数据集上计算梯度进行参数更新，只要学习率足够小，每次更新参数时总能使损失函数变小。
式中：x为参数向量；
Ir为学习率；
dx为梯度。
Adam 近似RMSProp 的动量版，加入了迭代衰减因子，采用指数衰减的方法，只对最近的历史梯度信息进行累加。Adam 公式如下：t为迭代次数；
Ir为学习率；
gt为梯度；
β1β2为衰减系数，一般用值{0.9，0.99，0.999}，取β1= 0.9；
β2= 0.999；
ε为小常量，防止除数为0，一般10-8与10-4之间，取10-8；
f(x)为参数x下的损失函数；
初始化参数x0，t= 0，m0= 0（一阶矩动量），v0=0（二阶矩动量）。对公式（4）～（10）不断重复，直到xt收敛。本文运用Adam优化方法。具体如下：
3.1 评价指标
评价模型优劣指标包括准确率Acc（Accuracy）、精确率P（Precision）、召回率R（Recall）等。公式如下：
式中：TP为预测与实际均为正类的样本数量；
TN为预测与实际均为负类的样本数量；
FP为预测为正类但实际为负类的样本数量；
FN为预测为负类但实际为正类的样本数量。
F1-Score 为精确率Precision 和召回率Recall 的调和值，取值范围（0～1），对单个种类越大越可以表达模型的优秀。公式如下：
本模型对每个分类的F1-Score 取平均值得到MeanF1-Score。
3.2 结果分析
本文针对干辣椒品相分为3 个等级，其中不合格又分为3 个类别，所以深度学习模型将对干辣椒分拣出5个类别。以Swin Transformer 和ViT 模型为基础，采用随机初始化学习方式和迁移学习方式在干辣椒数据集上训练并对比；
迁移学习所加载的预训练权重在数据集ImageNet1000 训练得到，除了全连接层的所有网络进行冻结，保留迁移权重，仅对全连接层训练。模型训练100 轮，测试集预测的准确率曲线如图2 和图3 所示（Pre-Val Acc 为运用迁移学习的测试准确率，ValAcc 为未用迁移学习的测试准确率），不同情况下测试结果如表2所示。从图中可以看出，采用迁移学习初始化模型比随机初始化模型预测准确率起点更高，特征提取用时更短，且更快达到收敛，收敛性变得更好。这是因为Image 数据集与分类任务数据集具有相关性，即在Image训练过的模型可以有效提取干辣椒图像特征，分类效果会更好。表2 显示同一模型运用迁移学习方式评估效果会更好，不同模型Swin Transformer 模型则比ViT 模型测试准确率更高，前者准确率达到95.26%，MesanF1-Score为95.26%。
图2 Swin Transformer 测试准确率曲线
图3 ViT测试准确率曲线
表2 不同网络模型测试结果
3.3 实验平台
云服务器实验平台参数设置如表3所示。
表3 云服务器实验平台参数设置
本文利用Transformer 模型在图像分类上的优势，通过改进将其应用到干辣椒分类任务，实验结果达到较高的识别准确率，证明方法的有效性。实验通过对比迁移学习初始化权重训练与随机初始化权重训练，证明迁移学习方案可以缩短模型训练时间，模型准确率曲线更快达到收敛，准确率更高，表现正迁移作用；
对比改进的Swin Transformer 模型与ViT 模型，得出Swin Transformer模型特征提取更有效，准确率更高，更稳定，且运用迁移学习方式的Swin Transformer 模型测试准确率为95.26%，可作为辣椒分类算法参考。
本数据集的干辣椒图像大部分取样可为其他辣椒检测或识别任务进一步扩充数据集，也可继续优化该模型，并将该模型运用到其他果蔬分拣方面。
猜你喜欢干辣椒辣椒准确率印度干辣椒产业发展对中国市场的影响中国蔬菜(2022年11期)2022-12-14干辣椒市场走势分析农村百事通(2022年2期)2022-03-11辣椒也疯狂小哥白尼(神奇星球)(2021年6期)2021-07-28乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-132015—2017 年宁夏各天气预报参考产品质量检验分析农业科技与信息(2021年2期)2021-03-27辣椒之争快乐作文（1.2年级）(2020年8期)2020-09-10拣辣椒中外文摘(2020年9期)2020-06-01高速公路车牌识别标识站准确率验证法中国交通信息化(2018年5期)2018-08-21错误百出的生活小常识养生保健指南(2017年3期)2017-03-30 相关热词搜索：模型，等级，干辣椒，
