陈鹏羽，张洪艳，贺 威
基于多尺度特征融合细粒度分类网络的扎把烟叶分级方法
陈鹏羽，张洪艳*，贺 威
(武汉大学测绘遥感信息工程国家重点实验室，武汉 430070)
当前我国烟叶分级主要采用的人工分级方法受主观因素的影响，易出现分级精度低、不稳定等问题。为了提高烟叶分级结果的准确度与可信度，通过对实地采集的烟叶RGB图像数据进行分析，并针对扎把烟叶数据复杂、类间差异较小的问题，提出了基于弱监督数据增强网络的多尺度特征融合细粒度扎把烟叶分级方法。本方法在Resnet-50提取特征的基础上，首先利用多尺度特征融合模块融合不同层次特征，再通过卷积层学习得到代表重要局部区域的注意力图，最后利用双线性注意力池化操作进一步从局部区域中提取细粒度特征并用于分类。另外，本方法引入了注意力分散约束损失，以防止不同注意力图所关注区域之间的冗余。最终模型经训练后在测试集上，分级准确率与宏F1分数分别为91.261%和91.780%，相比于以往细粒度分类模型分别提升了3.6%和2.8%。结果表明，相比与其他深度学习方法，该方法在扎把烟草数据集上取得了更好的性能。
扎把烟叶; 分等定级; 多尺度特征融合; 细粒度分类；
注意力分散约束损失
中国是世界上第一的烟草生产和消费国，年烟产量占世界总产量的三分之一左右[1]。其中烟叶是烟草工业的重要原料，烟叶也成为了我国重要的经济作物之一。在烟叶收购过程中不同质量的烤烟烟叶，会影响后续卷烟生产的品质以及烟叶收购的价格。因此制定科学合理与统一的烟叶分级标准对于卷烟生产显得非常必要。我国根据烟叶的成熟度、叶片结构、身份、油分、色度、长度和残伤这7项因素将烟叶分为42个等级[2]。然而这些因素并没有被统一的定量标准所描述，所以目前工人们主要基于知识和经验采用感官检测和主观评定的方式进行分等定级。然而，这种传统人工分级方法难以满足烟草生产需求[3]。
近年来随着数字图像识别技术的不断发展，多种图像算法被应用到烟叶分级任务当中。例如张帆等[4]应用图像处理技术提取烟叶的形状、颜色、纹理特征，再利用模糊数学的方法模拟人工分级过程，建立了烟叶分级模糊评判模型。焦艳华等[5]利用SVM算法划分烟叶等级，并结合二进制粒子群算法自适应地选择最优分类特征。Liu等[6]通过提取烟叶特征参数，并输入至GRNN神经网络进行建模，实现了烟叶的自动分等定级。虽然这些方法都取得了较好的精度，但分级结果往往受到特征提取方法等因素的影响，从而被局限在针对单片烟叶的初分级应用。在烟叶收购流程中，初分级后工人会将同一等级的多片烟叶以把为单位进行扎把，之后再由定级人员进行检验判断每把烟叶是否分级正确。因此对于扎把烟叶，由于每把烟叶中烟叶数量不同以及烟叶之间会出现相互遮挡以及卷曲等多种情况，造成数据类内差异大于类间差异，大大增加了不同等级烟叶的定级难度，使得传统图像处理算法难以提取有用的特征进行定级。
随着深度学习方法在人脸识别、目标检测、农产品质量监测[7-8]等多个领域的广泛应用，人们开始利用卷积神经网络对复杂烟叶图像进行自适应的特征提取和分等定级。例如王士鑫等[9]在inception V3模型的基础上结合迁移学习，提高了烟叶分级的准确率。Li等[10]提出了一种基于MobileNetV2的改进轻量化网络结构，利用深度可分离卷积代替传统卷积层，最终得到的模型在精度和分类速度上都有所提高。但上述的深度学习方法仅使用深度网络中高层抽象特征进行分类，并未探究浅层网络中以及烟叶数据本身的细粒度特征对于分级结果的影响。
细粒度图像分类，是近年来深度学习领域一个非常热门的研究课题。其目的是对于某一类别图像进行更加细致的子类划分，而通常这些子类之间的差异较为细微[11]。因此相较于传统的分类任务，细粒度分类通过寻找更具有区分性的区域块比如鸟类的尾巴、鸟喙等，以及提取更加丰富的细节信息来提高分类精度。Berg等[12]和Lei[13]等利用人工标注关键区分区域块来进行监督学习，虽然取得了不错的精度，但由于人工标注费时费力因此很难普及。另外一些工作[14-15]利用注意力方式让网络在弱监督下自主学习关键区分区域，再通过放大区域块使网络观察到更多细节。最近Lin等[16]提出了双线性池化，通过矩阵外积的形式来融合并联双分支卷积网络所输出的不同特征，从而得到更显著的细节信息提高分类精度。Hu 等[17]提出了弱监督数据增强网络（weakly supervised data augmentation network，WSDAN），该网络在仅使用类别标签的情况下利用弱监督学习方法提取关键性可区分局部区域，并结合双线性注意力池化层来强化不同局部区域所对应的细粒度特征，并应用此特征进行分类。同时该方法还在训练过程中随机选择不同局部区域对原始数据进行增强，避免了传统数据增强方法效率低以及生成噪声数据等问题。受此启发，本研究拟将图像细粒度分类的思想引入到扎把烟叶分类的任务中。然而，以往的图像细粒度分类方法，如WSDAN网络无法保证多个关注区域的差异性，从而导致网络提取出的分类特征冗余，使得模型对于扎把烟叶数据中分布分散的特征不能充分利用，直接影响最终网络的应用效果。
为了解决扎把烟叶不同等级间相似性高难以区分的问题，本研究在WSDAN网络基础上提出了改进多尺度特征融合细粒度分类方法。方法在特征提取网络最后一层特征的基础上，引入多尺度特征融合模块，为烟叶分类提供更加丰富的细节信息。同时提出了注意力分散约束损失，使网络其能够关注到烟叶数据内部更多的可区分性区域特征。
为了解决扎把烟叶数据具有的特征分布分散、类别差异不明显等难题，本研究以细粒度分类网络WSDAN[17]为基础，提出了多尺度特征融合烟叶细粒度分类方法，方法总框图如图1所示。相比较于WSDAN网络，本方法引入了多尺度特征融合模块以及注意力分散约束损失，同时为了提高模型训练效率，去掉了对烟叶分类结果影响较小的注意力随机引导数据增强部分。接下来，本研究将详细介绍提出方法的主要结构包括局部区域空间表示、双线性注意力池化层、中心损失，以及改进过后方法所加入的特征融合模块、注意力分散约束损失。
图1 多尺度特征融合烟叶细粒度分类方法结构图
Figure 1 Structure diagram of multi-scale feature fusion fine-grained classification method
1.1 多尺度特征融合烟叶细粒度分类方法结构介绍
图2 双线性注意力池化层结构图
Figure 2 Structure diagram of bilinear attention pooling layer
在获得注意力图后，为了进一步提取不同注意力图所关注的局部区域特征，方法引入了WSDAN网络中双线性注意力池化层BAP（bilinear attention map），结构见图2，即将每一个注意力图与所有融合后特征图对应元素相乘得到部分特征图F，见公式（1）。
F=A×（=1, 2, …,） （1）
其中代表注意力图维数，F代表部分特征图。
为了降低数据维度，网络采用全局平均池化(·)将部分特征图F转化成注意力特征向量f∈1×N（2），并将所有f进行拼接形成特征矩阵∈M×N（3），最后将特征矩阵送入全连接层得到分类结果。
f=(F) （2）
其中f代表注意力特征向量，(·)代表全局平均池化。
其中(,)代表注意力图与特征图进行双线性特征池化，代表特征矩阵。
在训练阶段对于同一类别数据，网络希望相同通道注意力图能够关注相似的部位，这样就能保证对于相同类别所学习到的关键可区分性区域位置相似，进而降低了类内的差异。为了达到这一目的，WSDAN网络在中心损失[19]的基础上，提出了注意力规则化损失函数，来保证对于同一类别数据相同维度注意力图具有固定的关注中心。该损失函数表示为L，见（4）。
其中c代表部分特征中心，维度为1×N。
c初始化为0并随着网络训练被逐渐更新，见公式5。
其中代表更新率。
1.2 多尺度特征融合模块
在卷积神经网络从低层到高层的训练过程中，网络首先通过低层卷积提取浅层信息，再经过不断地卷积、池化、激活等操作，网络的感受野不断扩大，逐渐开始提取更多整体抽象信息，这些整体抽象信息往往具有更强的信息表达能力。通常对于基本分类任务，往往只利用深度网络最后一层的输出特征。但对于细粒度分类任务，往往由于待分类类别间差异较小，通常需要网络能够学习到更加细节且更具有判别性的特征。浅层网络由于下采样次数较少因此能够提供更多的高分辨率局部细节信息（如垂直边缘特征、水平边缘特征等），利用这些细节特征能够更好的帮助网络捕捉类间的细微差异。因此，本研究在网络Resnet-50的基础上，通过提取出特征提取网络中不同层次的特征，并利用多尺度特征融合模块，来对不同尺度特征进行融合与交互。
图3 多尺度特征融合模块结构图
Figure 3 Structure diagram of multi-scale feature fusion module
图4 降采样模块结构图
Figure 4 Structure diagram of down-sampling module
多尺度特征融合模块结构如图3所示，将特征提取网络分为低、中、高3层，并提取出对应的特征图分别表示为低层特征F,中层特征F，高层特征F。对于低层和中层特征再经过降采样模块来使得特征在尺度和维度上与高层特征相对应。降采样模块如图4所示，包括两条分支，主分支先经过最大池化层来降低特征尺度，再经过1×1卷积层扩大特征维度；
为了防止特征下采样时池化操作产生的信息丢失，受跳跃连接的启发在主分支旁引入一个一层卷积的侧分支，其中卷积层卷积核大小以及个数分别与主干分支中池化层卷积核大小，1×1卷积层卷积核个数相同，保证了输出特征维度尺寸与主干分支相同，之后将不同分支得到特征相加再经过批归一化BN层(batch normalization)得到降采样后特征。降采样模块保证了低层，中层特征图在尺度和维度上大小上与网络高层输出特征图相同，同时也减小了在降采样过程中部分信息丢失。最后将高维特征图与经过降采样模块的中低维特征图进行对应元素相加，来实现多尺度特征的融合。
1.3 注意力分散约束
由于本次任务针对扎把烟叶数据分级，同一数据中包括了经人工筛选得到的级别统一的多片烟叶。而原始的WSDAN网络在训练过程中会出现不同注意力图关注区域较为集中，导致细粒度特征提取出现冗余的情况，可能造成扎把烟叶数据中具有关键分类特征的叶片未被充分利用。因此为了让网络关注到同一数据内更多不同的可区分性区域，受到Chang等[20]等人提出的Mutual-Channel 损失中分散模块的启发，本研究在原始网络损失中加入了注意力分散约束损失(attention diversity loss)，记为L。该损失函数是一种用来衡量不同注意力图之间的相似性的近似距离度量。在训练过程中，该损失约束着网络中注意力图的学习，使得不同注意力图所关注区域更加分散，具体约束流程如图5所示。首先将改进过后的网络所提取得到的注意力图通过Softmax函数进行归一化操作，再通过跨通道最大池化层(cross-channel max pooling, CCMP)将不同注意力层A的最大响应映射至同一个尺寸为×的响应矩阵中。在这里同样可以使用跨通道平均池化层(CCAP)，但由于平均池化可能会抑制住每一维度注意力图所观察到的信息的峰值，而最大池化能够保持这些峰值，通常这些峰值对细粒度分类是有益的。之后对响应矩阵进行求和再平均就得到了注意力分散约束损失L（式6）。
其中，A代表第维注意力图中的第个像素。
图5 注意力分散约束流程图
Figure 5 Flow chart of attention distraction constraint
图6 注意力分散约束解释图
Figure 6 A graphical explanation of the attention diversity component
如图6所示，假设目前共有3层注意力图，且注意力图中响应部位的值为1，非响应部位的值为0，如图6中的左图所示，若不同注意力图所关注到的响应部位不同，则得到的L值为3/；
图6中的右图显示，若不同注意力图所关注到的响应部位相似，则得到的L值越靠近1/。因此L越大，代表不同注意力图所观察到的判别性部位越分散，不同注意力图之间的冗余越小。在网络训练的时候为了与其他损失项保持一致需要在其前面添加负号。最终，改进过后网络的损失函数如式8所示，包括了交叉熵损失，注意力规则化损失，以及注意力分散约束损失。交叉熵损失如公式7所示。
其中，代表调节因子。
2.1 扎把烟叶数据集获取
将工人分级捆扎之后的烟叶，平铺在载物台上，利用GaiaField Lite-V10便携式高光谱成像仪，在设置好曝光时间、移位台运行速度等参数后进行数据获取，采集得到高光谱图像数据。为了避免光谱数据受到暗电流等噪声影响，采用SpecView2.9.2数据处理软件对光谱图像进行黑白校正。校正过后利用Python中Spectral库对数据进行批量的真彩色合成，分别选择637.3、546.8和468.0 nm作为红光、绿光、蓝光所对应波段，尽可能还原烟叶真实的目视效果，得到对应的RGB图像数据。为了去除图像质量等因素对于分级效果的影响，本实验对所有得到的真彩色数据进行了数据的预处理操作包括平滑去噪，背景分割，小图斑去除。处理后的数据（图7）显示，数据样例中不同图片中烟叶数量、烟叶分布等情况不同，导致出现不同等级烟叶数据的差异较小，而同等级烟叶数据差异较大的情况，符合细粒度分类任务的应用场景。
通过对不同时期获取到的扎把烟叶进行数据采集，最终共有5个等级(B2F、B3F、C2F, C3F和X2F)的烟叶数据4 305张（表1），图像尺寸为696×697（像素），按照80%、10%和10%的比例随机划分数据集为训练集、验证集和测试集。其中为了提高模型的泛化能力，对训练集数据进行随机翻转，随机亮度变换，随机小角度旋转等数据增强，最终将训练集扩充至22 602张。
2.2 实验环境配置与参数设置
本实验使用的软硬件环境见表2所示，模型的训练与测试采用Pytorch深度学习框架，并采用Python中Opencv库对数据进行预处理。
表1 扎把烟叶数据集数据分布
图7 扎把烟叶数据集示例图
Figure 7 A sample graph of bundled tobacco dataset
表2 实验软硬件环境
本实验参照文献[17]进行实验设置，使用到的特征提取网络为Resnet-50，所有模型训练过程中初始学习率为0.000 1，学习率更新策略采用Pytorch中ReduceLROnPlateau方法，模型优化算法采用Adam,损失函数的调节因子设置为1，注意力图维度设置为32。最终定量实验结果为10次实验结果的平均值。
2.3 性能评价指标
本实验使用Top-1准确率(Top-1 accuracy)，宏F1分数(Macro-F1 score)作为定量评价分类结果的评价指标。准确率表示的是分类正确的样本在总样本中的比例。准确率越大，表示分类正确的样本数越多，表达式见公式9。
其中代表真阳性，代表假阳性，代表假阴性，代表真阴性。
F1分数（F1 score），是统计学中用来衡量二分类模型精确度的一种指标。同时兼顾了分类模型的精确率和召回率,可以看作是模型精确率和召回率的一种调和平均，表达式见公式10。
其中代表模型精度，代表模型召回率。宏F1分数[21]，是加和了各类的F1分数，并取平均的结果。宏F1分数越大表示模型在多个类分类效果越好，表达式见公式11。
其中代表类别数。
本实验首先分析了注意力分散约束损失与多尺度特征融合模块的有效性；
其次，探究了提出方法与传统深度学习以及细粒度分类方法在扎把烟叶数据集上的效果对比。
3.1 消融实验
首先，为了验证注意力分散约束损失L的有效性，本实验设置了L损失的消融实验，并在测试集上进行精度对比。结果（表3）表明，本实验方法在引入L损失后准确率达到91.261%，宏F1分数达到91.780%，准确率提高了0.821%，F1分数提高了0.839%。
为了直观体现L损失对模型注意力图学习的影响，本实验采用Grad-CAM[22]方法对得到的注意力图进行可视化，热力图结果如图8所示。其中红色区域代表模型重点关注区域，蓝色区域代表模型次要关注区域。从图8中可以看出，不加入L损失的模型对不同等级烟叶数据重点关注区域相似并较为集中，出现了大量烟叶数据未被利用的情况。而对于加入了L损失的模型，其对不同等级数据关注区域分布均较为分散，充分利用了数据内的多数叶片的特征。因此可以看出L损失能够改善注意力图重点关注区域集中产生的冗余现象，并且使得烟叶数据内分散的特征被网络充分利用。
表3 注意力分散约束损失测试集实验对比
图8 模型注意力可视化对比图
Figure 8 Visual comparison of model attention maps
表4 不同特征组合模型
接着，验证多尺度特征融合模块的有效性，以及不同特征组合对模型精度的影响，本研究将特征提取网络Resnet50根据网络的深度划分为高层特征(对应于卷积conv5_1,conv5_2,conv5_3输出的特征)、中层特征(对应于卷积Conv4_5，Conv4_6输出的特征)、低层特征(对应于卷积Conv3_4输出的特征)。在保证实验结构统一的前提下，对网络不同维度特征进行组合，并进行了消融实验。结果（表4）分别是模型1仅使用一层高层特征的网络、模型2使用了3层高层特征进行融合的网络、模型3使用了高层和中层特征进行融合的网络、模型4使用了中层和低层特征进行融合的网络、模型5使用了低层、中层、高层特征进行融合的网络。
表5 不同组合特征模型实验对比
表6 与其他深度学习模型对比
从表5可以看出，首先相较于仅使用特征提取网络最后一层的模型1，使用了特征融合模块的模型2、3、4在测试集上的准确率以及F1分数都小于它。对于模型2、3来说高层特征的冗余造成了模型精度的下降，而模型3相较于模型2在测试集上准确率提高了0.299个百分点，F1分数提高了0.386个百分点，这说明了低层特征的引入对于烟叶细粒度分级精度提升是有所帮助的。而模型4相较于其他模型精度最低，这又说明高层抽象特征对于细粒度分类任务是不可或缺的。最后模型5分类精度达到91.261%，F1分数达到91.780%，达到最优，说明了低、中、高层特征组合能够使网络在不损失原有抽象信息的基础上，融合更多有价值的细节信息，提高模型的分类精度。
3.2 比较验证
将所提出的方法与传统深度学习方法Vgg[23]、Inception-V2[24]、Resnet[25]以及当前细粒度分类任务中同样使用到双线性池化操作的HBP[26]、Bilinear pooling[16]和原始WSDAN[17]网络进行精度对比。结果（表6）表明，本实验提出的方法在扎把烟叶测试集上取得了91.261%的精度，超过了传统深度学习网络。这说明考虑烟叶数据中细粒度信息能够有效的提高模型的分类精度。同时，本实验将所提出的方法在准确率和F1分数上远高于HBP，Bilinear Pooling等细粒度分类方法。
本实验方法与原始WSDAN网络相比，模型在测试集上的准确率提升了3.611个百分点，F1分数提升了2.860个百分点。并且通过进一步分析可知，在烟叶分级过程中，同一主组烟叶(BF,CF)中的误分率是高于非同一主组烟叶的，原因在于同一主组内部烟叶其生长部位以及颜色大体一致，因此更具有混淆性。通过对比原始WSDAN以及改进后网络的混淆矩阵（图9），可以看出相较于原始WSDAN网络，改进后网络于同一主组内部的错分数量明显减少。因此改进过后模型在扎把烟叶分类任务上分类效果更好。
图 9 混淆矩阵对比图
Figure 9 Confusion matrix comparison diagram
本实验提出了一种针对扎把烟叶数据分级的基于弱监督数据增强网络的多尺度特征融合细粒度分类方法。通过实验证明，本方法中引入的注意力分散约束损失和多尺度特征融合模块能够降低网络中不同注意力图所关注区域的冗余程度以及能够充分地利用深度网络中不同尺度的特征信息。最终实验与其他传统深度学习以及细粒度分类方法相比，本实验提出的方法分级精度达到了91.261%，F1分数达到91.780%，在扎把烟叶数据集上分类效果更优。未来随着扎把烟叶样本的不断采集，本实验方法将有望被实际应用到烟叶收购流程中，提高烟叶分级准确率，降低人工分级成本。
[1] 苏明秋. 基于烟叶图像的参数精确提取和分级识别系统研究与实现[D]. 成都: 电子科技大学, 2020.
[2] 王士鑫. 基于卷积神经网络(CNN)的烤烟烟叶质量分级研究[D]. 昆明: 云南师范大学, 2020.
[3] 庄珍珍. 基于机器视觉的烟叶自动分级方法研究[D]. 重庆: 西南大学, 2016.
[4] 张帆, 张新红, 张彤. 模糊数学在烟叶分级中的应用[J]. 中国烟草学报, 2002, 8(3): 44-48.
[5] 焦艳华, 张雪萍, 林楠. 支持向量机在烤烟烟叶自动分级中的应用[J]. 微计算机信息, 2009, 25(22): 195-196, 167.
[6] LIU J J, SHEN J Y, SHEN Z Y, et al. Grading tobacco leaves based on image processing and generalized regression neural network[C]//2012 IEEE International Conference on Intelligent Control, Automatic Detection and High-End Equipment. Beijing, China. IEEE : 89-93.
[7] 薛勇, 王立扬, 张瑜, 等. 基于GoogLeNet深度迁移学习的苹果缺陷检测方法[J]. 农业机械学报, 2020, 51(7): 30-35.
[8] 刘小刚, 范诚, 李加念, 等. 基于卷积神经网络的草莓识别方法[J]. 农业机械学报, 2020, 51(2): 237-244.
[9] 王士鑫, 云利军, 叶志霞, 等. 一种基于卷积神经网络的烟叶分级处理算法[J]. 云南民族大学学报(自然科学版), 2020, 29(1): 65-69.
[10] LI J X, ZHAO H, ZHU S P, et al. An improved lightweight network architecture for identifying tobacco leaf maturity based on Deep learning[J]. J Intell Fuzzy Syst, 2021, 41(2): 4149-4158.
[11] 郭美宏. 基于深度学习的教材插图分类算法研究[D]. 成都: 西南交通大学, 2020.
[12] BERG T, BELHUMEUR P N. POOF: part-based one-vs.-one features for fine-grained categorization, face verification, and attribute estimation[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA. IEEE: 955-962.
[13] LEI J J, DUAN J H, WU F, et al. Fast mode decision based on grayscale similarity and inter-view correlation for depth map coding in 3D-HEVC[J]. IEEE Trans Circuits Syst Video Technol, 2018, 28(3): 706-718.
[14] FU J L, ZHENG H L, MEI T. Look closer to see better: recurrent attention convolutional neural network for fine-grained image recognition[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE: 4476-4484.
[15] ZHENG H L, FU J L, MEI T, et al. Learning multi-attention convolutional neural network for fine-grained image recognition[C]//2017 IEEE International Conference on Computer Vision. Venice, Italy. IEEE: 5219-5227.
[16] LIN T Y, ROYCHOWDHURY A, MAJI S. Bilinear CNN models for fine-grained visual recognition[C]//2015 IEEE International Conference on Computer Vision. Santiago, Chile. IEEE: 1449-1457.
[17] HU T, QI H G, HUANG Q M, et al. See better before looking closer: weakly supervised data augmentation network for fine-grained visual classification[EB/OL]. 2019: arXiv: 1901.09891. https://arxiv.org/abs/1901. 09891
[18] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1137-1149.
[19] WEN Y D, ZHANG K P, LI Z F, et al. A discriminative feature learning approach for deep face recognition[M]//Computer Vision - ECCV 2016. Cham: Springer International Publishing, 2016: 499-515.
[20] CHANG D, DING Y, XIE J, et al. The devil is in the channels: mutual-channel loss for fine-grained image classification[J]. IEEE Trans Image Process, 2020: 2020Feb20.
[21] 袁培森, 申成吉, 徐焕良. 基于迁移学习和双线性CNN的细粒度菌菇表型识别[J]. 农业机械学报, 2021, 52(7): 151-158.
[22] SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[C]//2017 IEEE Int Conf Comput Vis ICCV, 2017: 618-626.
[23] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014: arXiv: 1409.1556. https://arxiv.org/abs/1409.1556
[24] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE: 2818-2826.
[25] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE: 770-778.
[26] YU C J, ZHAO X Y, ZHENG Q, et al. Hierarchical bilinear pooling for fine-grained visual recognition[M]//Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018: 595-610.
Multi-scale feature fusion method for bundled tobacco leaf classification based on fine-grained classification network
CHEN Pengyu, ZHANG Hongyan, HE Wei
(State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Whuhan 430070)
The quality of grading directly affects the economic benefits of the downstream industry chain. At present, tobacco classification mainly adopts manual method in China, which is easy to be affected by subjective factors, resulting in problems such as low classification accuracy and unstable classification results. In order to improve the accuracy and reliability of tobacco grading results, under analyzing the characteristics of RGB tobacco dataset, we proposed a multi-scale feature fusion tobacco classification method based on Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification to solve the problems of complex data and small difference between different classes of bundled tobacco. Specifically, we first obtained features of input data through the Resnet-50, and fused the different features by multi-scale feature fusion module. Next, the attention maps representing different object’s regions were obtained through the Convolutional Layers. Finally, we used bilinear attention pooling layer to extract fine-grained features of different regions focused by different attention maps ,and input the fine-grained features to the fully connection layer to obtain the classification result. In addition, Attention Diversity Loss was introduced in this method to prevent the redundancy between the regions concerned by different attention maps. After training, the grading accuracy and macro F1 score of the final model in the test set were 91.261% and 91.780%, respectively, which were 3.6% and 2.8% higher than the previous fine-grained classification model. Experimental results compared with other deep learning methods showed that our method achieve better performance on bundled tobacco dataset, which demonstrates its effectiveness and ability to distinguish the relatively similar bundled tobacco leaves.
bundled tobacco leaves; grading and ranks; multi-scale feature fusion; fine-grained classification；
attention diversity loss
TP393; S572
A
1672-352X (2022)06-1013-09
10.13610/j.cnki.1672-352x.20230106.022
2023-01-09 09:45:46
[URL] https://kns.cnki.net/kcms/detail//34.1162.S.20230106.1441.031.html
2022-02-22
国家自然科学基金(42071322)和湖北省杰出青年基金(2020CFA053)共同资助。
陈鹏羽，硕士研究生。E-mail：794030456@qq.com
张洪艳，博士，教授，博士生导师。E-mail：zhanghongyan@whu.edu.cn
猜你喜欢细粒度烟叶注意力融合判别性与细粒度特征的抗遮挡红外目标跟踪算法红外技术(2022年11期)2022-11-25让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09基于SVM多分类的超分辨图像细粒度分类方法安阳工学院学报(2020年2期)2020-06-05关于新形势下烟叶生产可持续发展的思考活力(2019年15期)2019-09-25烟叶主要真菌病害的发生与防治现代园艺(2017年23期)2018-01-18基于web粒度可配的编辑锁设计电脑知识与技术(2017年26期)2017-11-20“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13支持细粒度权限控制且可搜索的PHR云服务系统信息安全研究(2016年3期)2016-12-01A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21一种降低造纸法再造烟叶平滑度的方法天津造纸(2015年2期)2015-01-04
