基于轻量级卷积网络的电力绝缘子视觉检测
时间：2023-02-26 16:05:07 来源：千叶帆 本文已影响人
严 宇，张宏伟，肖 奕，江 维
（1.国网湖南省电力有限公司 超高压变电公司，湖南 长沙 420100；
2.武汉纺织大学 机械工程与自动化学院，湖北 武汉 430073）
输电线绝缘子串[1,2]是悬挂于柔性导线上的重要电力组件。绝缘子长期服役于复杂、恶劣自然环境中，其电气性能和机械性能会受到严重影响。
输电线路绝缘子的视觉检测[3,4]是输电线路巡检作业的重要内容。目前输电线路金具质量检测方法以人工携带检测设备和遥控巡线机器人高空巡检为主[5-7]，以无人机视觉巡检[8,9]为辅。
目前，关于电力金具视觉检测算法的研究主要分为传统机器学习和深度学习2大类。
文献[10]用改进的密度空间聚类算法进行图像预分割，在实现了目标和背景分离的同时，降低计算复杂度。文献[11]采用颜色特征与梯度特征融合的显著性区域检测算法，实现了绝缘子定位检测。文献[12]为实现快速检测，提出用深度学习单阶图像框架识别绝缘子。文献[13]采用传统图像处理方法处理输电线路绝缘子的识别问题。该研究虽然实现了简单背景下的绝缘子聚类识别，但算法的泛化性不强。文献[14]利用 YOLOv3算法识别出输电线路上的螺栓和破损导线。文献[15]基于YOLOv3网络迁移学习实现了输电线路防震锤的识别和定位。文献[16]在 YOLOv4中添加注意力机制和空洞卷积优化，实现了变电站缺陷检测。文献[17]改进了 YOLOv4算法损失函数并添加旋转矫正算法，并将算法用于绝缘子定位。
传统机器学习[18,19]算法的缺点是：只能针对特定对象的特定形状进行检测；
一种算法只能检测一种对象；
对于背景复杂的图像检测效果较差，难以适应复杂的野外作业环境。
与传统机器学习算法相比，深度学习算法[20]的特点是：可以使用GPU通过大量的矩阵乘法运算有效优化这些操作，提升图像检测效率与精准度，从而达到弥补常规算法上述缺陷的目标。但是，常规的深度网络算法网络存在参数多、模型大、较难在边缘节点实现部署的问题。
鉴于此，本文提出基于轻量级卷积网络的输电线绝缘子视觉检测方法：利用 Ghostnet替换YOLOv4模型主干网络，形成改进的 Ghostnet-YOLOv4轻量化算法模型；
在保持检测精度情况下，使得模型更小、便于部署。
1.1 YOLOv4网络的基本结构
YOLO 算法模型采用了端到端的网络结构，其核心思想是把目标检测当成一个单一的回归任务，直接利用神经网络结构进行候选框提取和类别回归。该模型具有很高的检测速度，能够很好地满足对实时性要求较高（检测速度大于25帧/s）的检测任务需求。
Yolov4算法将输入图像分为S×S个网格（grid），用各个格子分别预测物体的属性。物体中心所在的格子负责预测该物体类别。
每个格子要预测B个候选框（bounding box）的5个值，包括候选框坐标（x,y,w,h）和C种分类标签的置信度。预测总张量（tensor）为S×S×（5B+C）。如图1所示，通过主干网络输出预测张量，预测得到的张量经过非极大值抑制（NMS）处理，最后回归得到检测框的位置和物体类别。
图1 YOLO预测张量图Fig.1 YOLO prediction tensor graph
YOLOv4算法网络结构如图2所示。由图2可知，该算法网络结构主要由主体网络层、池化层、加强特征提取层和检测层构成。
图2 Yolov4网络结构图Fig.2 YOLOv4 network structure diagram
主体网络层使用 CSP-Darknet53框架对固定输入尺寸（416×416）的图像进行特征提取，生成3个有效特征层。该框架可以从高层到底层提取物理特征（如角点、边缘）并形成图像特征。该框架特点是：使用了残差网络结构，能够有效减少计算量并提高精确率；
采用Mosaic数据增强，随机将4张图像整合为一张图片输入，丰富了检测物体的背景；
采用 Dropblock模型解决过拟合问题，有利于提高超参数的鲁棒性；
采用Mish激活函数进行非线性回归，在梯度下降时更加平滑，且允许有一定的负梯度信息。Mish函数公式如式（1）所示。
在使用主体网络层得到3个有效特征层之后，小尺度特征层通过最大池化处理来减少参数量。该池化层采用k={1×1,5×5,9×9,13×13}方式来保留主要特征，之后与高尺度特征协同输入到PANet特征融合模块中进行特征融合，以增强多尺度识别能力。
该模块在 FPN的基础上加了 PAN：先利用FPN“上采样”融合强语义特征，再通过特征金字塔“下采样”融合强定位特征。模块通过上下反复提取特征的方法，有效增强了所提取到的图像特征。
在特征融合之后，将得到的包含复杂特征信息的3个尺度的特征图传送到检测层进行分类和回归，得到3个尺度：检测类别、置信度和检测框位置。
预测框位置回归的损失函数采用 CIOU_Loss函数。该函数形式如式（2）所示。
式中：ρ2(b,bgt)为中心点欧氏距离；
c为合并框的对角线距离；
α和v为惩罚因子，如式（3）所示。
将预测框长宽比考虑在内，使得模型回归速度和精度都有所提高。
最后，采用非极大值抑制法在由回归得到的候选框中筛选出最合适的候选框位置和大小。为减少计算量，非极大值抑制函数使用DIOU_NMS。
1.2 Ghostnet轻量化模型
Ghostnet是一种优秀的轻量化模型。与Mobilenet系列轻量化模型相比，Ghostnet参数量更小，准确率几乎不会损失。
Ghostnet架构由Ghost模块组成。
Ghost模块在设计时考虑到了神经网络提取特征图过程中会产生冗余的信息（极度相似的特征图）的问题。
本文认为冗余信息也可能是深度神经网络所以优良的一个重要特征，因此：以极小成本融合这些冗余信息，就可能在减少参数量的同时提高精度。
本文采用了计算量较小的运算方式：类似深度可分离中的逐层卷积，对原特征图的每个通道进行多次线性变换，生成 Ghost特征图。为了保留内在特征映射，将生成的 Ghost特征图与恒等映射后的原特征图并行堆叠，形成含内在特征的复合特征图，以实现利用冗余特征的目的。同时，为了减少堆叠操作增加的输出特征图通道数，在线性变换前，使用标准1×1卷积降维。
Ghost模块结构如图3所示。图3中，m为降维得到的特征图通道数。每个通道均通过s次线性变换，于是得到输出特征层通道数n=ms。由于映射的线性变换为无效变换，因此生成 Ghost特征图的线性变换次数为s–1。于是，输出特征图包含一个恒等映射特征图和m(s–1)个Ghost特征图。Ghost特征图数量可等效为(n/s)(s–1)，其中n/s表示1×1降维卷积后得到特征图通道数。
图3 Ghost模块结构图Fig.3 Ghost module structure diagram
为有效利用 Ghost模块，本文设计了如图 4所示的Ghost Bottleneck结构。由图4知：在步长为1时，通过连续2次Ghost模块操作可得到复合特征，复合特征通过残差模块与输入特征融合。在步长为2时，需要对图像进行尺寸压缩。为充分利用冗余特征，在第1次Ghost模块操作之后，使用深度可分离卷积中的逐层卷积压缩图像尺寸；
将第2次Ghost模块操作和与残差边融合结果作为Ghost Bottleneck的输出特征。
图4 Ghost Bottleneck结构图Fig.4 Ghost Bottleneck structure diagram
为了确保输入与 Ghost操作残差融合时的通道数和步长一致，使用1×1标准卷积调整通道数；
卷积操作使用逐层卷积。
2.1 Ghostnet替换主干网络
利用Ghostnet得到的3个有效特征层（52,26,13）替换原YOLOv4中的backbone。如图5所示，在改进后的主干网络结构中，可实现多次使用Ghost Bottleneck结构调整输出图像尺寸。
图5 改进的主干网络结构图Fig.5 Improved backbone network structure diagram
如表 1所示，调整特征层参数。表 1中，Operator代表使用的卷积模块类型，G-neck表示Ghost Bottleneck结模块，#Exp表示 Ghost Bottleneck中第一个 Ghost模块的通道数，#Out表示使用卷积操作后输出通道数，Se表示该卷积是否使用SE注意力机制，Stride为卷积操作的步长。
表1 调整特征层输出尺寸参数Tab.1 Adjustment of feature layer output size parameters
SE注意力机制是一种通用的提高网络通道特征的模块，可以实现通过自动学习获得通道特征权重，进而使神经网络能关注重点特征，最终达到提升网络精度的目的。
用经过调整输出得到的 3个有效特征层522×40、262×112、132×160 代替原 YOLOv4 中的主干网络结构。同时，将模型中普通3×3卷积替换为深度可分离卷积，以进一步降低模型复杂度。
将改进后算法称为G-YOLOv4算法。
2.2 Ghostnet模型的复杂度分析
用计算量和参数量评估网络模型复杂度。计算量和参数量越小，表示模型复杂度越低，越容易在边缘节点上部署。
Ghost模块复杂度由普通1×1卷积和Ghost模块深度可分离卷积2部分组成。假设输入为h1×w1×c1，输出为h2×w2×c2，常规卷积核大小为k×k，线性变换卷积核为d×d，则Ghost模块计算量如式（4）所示。
式中：(s–1)c2/s表示深度可分离卷积中逐层卷积所有的卷积核数量，且线性变换卷积核大小d×d一般与常规卷积核大小k×k相等。
Ghost模块计算量同传统卷积的比值如式（5）所示。
由于c1为输入通道数，一般较大，而线性变换次数s远小于输入通道数c1，所以结果可等效为1/s。因此，Ghost模块计算量仅为传统卷积的1/s。
同理，Ghost模块参数量也仅为传统卷积参数量的1/s。
3.1 实验环境的配置
本文使用的600张绝缘子图像源自网上公开数据集。通过数据增强，将图像扩充到3 000张。以9∶1的比例将图像数据集划分训练验证集与测试数据集；
训练验证集中，训练与验证的数据比例也为9∶1。
绝缘子数据集中，图像分辨率为1 152×864。标签格式为VOC格式（xml），标签名称为insulator。
实验平台：Intel(R) Core(TM) i5-10400 CPU @2.90GHz；
GPU，NVIDIA GeForce RTX 3060；
Pytorch环境1.7.1；
加速单元Cuda，8.0.5；
编程语言，Python 3.8。
初始学习率为0.001。
使用Adam优化器优化参数：总训练100轮次，前50轮使用冻结训练。
3.2 模型性能对比实验
3.2.1 算法性能评价
分别将原 YOLOv4的主干网络替换为Mobilenetv3和 Ghostnet轻量级网络，再与原YOLOv4网络做电力绝缘子视觉检测性能对比。为保证实验可对比性，使用相同配置以及训练参数。
对比结果如表2所示。表2中，Size为模型大小指标；
Param为模型参数量；
GFLOPS为模型计算量；
Map为模型平均精度；
P为精确率；
R为召回率；
F1表示每s可以检测的图片数量；
指标E为本文构建的模型在边缘设备上的部署效率，公式如式（6）所示。
表2 绝缘子检测各模型性能对比Tab.2 Performance comparison of each model for insulator detection
式中：所有参数均已比例归一化。
从表2所示对比结果可以看出，在损失平均精度3.33%的前提下，本文G-YOLOv4绝缘子检测模型相比原 YOLOv4的优势在于：（1）极大降低了模型复杂度；
模型大小仅为 42.5 MB，减少了82.58%。（2）边缘部署效率指标E最高。（3）理论检测速度达31.21帧/s。以上结果表明，G-YOLOv4绝缘子检测模型实现了不显著降低模型精度和大幅降低模型大小之间的最佳平衡，有利于满足实时检测任务的需求以及后续视觉伺服控制实时性的提升。
与Mobilenetv3-YOLOv4模型相比，本文改进的G-YOLOv4模型在精度仅降低1.28%和计算量仅增加0.545 G的前提下，模型的大小进一步降低至42.5 MB，模型部署效率指标E更高——这表明该模型更适合边缘部署。
将模型大小可视化为等比例归一化后的圆面积。若模型圆面积小、位置偏右上，则表示其部署效率高。将模型检测精度、检测速度和模型大小可视化，结果如图6所示。
图6 各绝缘子检测模型性能可视化Fig.6 Visualization of the performance of each insulator detection model
由图6可见，G-YOLOv4模型在模型大小较小的情况下仍保持与其他模型精度差异不大的高精度。这说明，相比之下，该模型为最佳的绝缘子视觉检测轻量化模型。
3.2.2 算法参数训练仿真与分析
使用Ghostnet网络训练绝缘子检测模型。训练过程中的Loss曲线和Map曲线如图7所示。在迭代 100轮后：如图 7（a）可见，验证集 Loss误差降低到0.02；
如图7（b）可见，训练集精确率提高到0.95。该结果表明，G-YOLOv4模型训练精度较高。
图7 训练过程曲线Fig.7 Training process curve
G-YOLOv4通过训练得到的各性能指标如图 8所示。由图 8（a）可见，该模型精确率为91.25%；
由图8（b）可见，该模型召回率为91.25%；
由图8（c）可见，该模型平均精度为96.51%，且PR曲线包围面积较大；
由图8（d）可见，该模型F1值为0.91。各指标均在 0.9以上，该结果表明训练模型性能优良。
图8 绝缘子模型各性能指标Fig.8 Performance index of insulator model
3.2.3 算法实际检测效果对比与分析
模型的实际检测效果对比结果如图9所示。从图9中可以看出，本文改进的G-YOLOv4绝缘子检测模型可以精确识别检测并定位绝缘子，与其他模型相比实际检测精度差异甚微。
图9 G-YOLOv4与其他模型的绝缘子检测效果对比Fig.9 Comparison of insulator detection effect between G-YOLOv4 and other models
为满足电力视觉伺服检测系统实时性检测需求，本文提出了一种基于轻量级卷积神经网络的视觉检测方法并将其应用于输电线绝缘子串检测。
仿真测试结果表明，本文提出的模型在具有轻量化和易于部署特点的同时，具有较高的检测精度，能够满足系统检测性能的要求。
对于复杂背景图像的检测性能，特别是在算法检测精度和模型轻量化之间如何均衡是后续研究要考虑的一个重要方面。
猜你喜欢 绝缘子卷积精度 基于Mask RCNN的绝缘子自爆缺陷检测计算技术与自动化(2022年1期)2022-04-15热连轧机组粗轧机精度控制一重技术(2021年5期)2022-01-18基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02零值绝缘子带电检测方法探讨宁夏电力(2021年1期)2021-03-19卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-04浅析输电线路绝缘子防污闪技术电子制作(2018年17期)2018-09-28基于DSPIC33F微处理器的采集精度的提高电子制作(2018年11期)2018-08-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20以工匠精神凸显“中国精度”华人时刊(2016年16期)2016-04-05 相关热词搜索：卷积，绝缘子，视觉，
