利用深度学习可以在电力设备缺陷识别中智能、高效、准确地识别出电力设备图像中的缺陷。中国科学院合肥物质科学研究院、中国科学技术大学、国网根河市供电公司、安徽大学物质科学与信息技术研究院的研究人员臧国强、刘晓莉、徐颖菲、陈雨露、李文波，在2022年第6期《电气技术》上撰文，阐述了缺陷识别的意义和背景，概括了主流的深度学习缺陷识别模型及其改进与优化，总结了当前市场的应用情况，分析了面临的挑战和难点。最后，从自动机器学习、样本数据库构建、电力知识图谱等方面分析深度学习在未来电力设备缺陷识别中的发展趋势。
电力是我国经济发展、社会发展、工业生产、民生生活、工程建设等方面不可或缺的重要元素，电力系统的稳定运行具有极其重要的意义。电力设备一旦出现故障，会影响电力系统的安全和稳定运行，甚至引起电力供应中断，对国家和社会造成重大影响。若不能及时发现电力设备的缺陷并处理，可能会导致电力设备故障，所以进行电力设备缺陷管理具有十分重大且必要的意义。
缺陷识别是电力设备缺陷管理工作中的重要流程。维护人员一般通过日常或专项巡检采集电力设备工作状态，进而发现其中存在的缺陷。若无法及时、准确、全面地发现缺陷，则会影响后续的缺陷管理工作。
1 电力设备缺陷识别的发展
1.1 从人工巡检到图像采集
电力设备缺陷通常依靠人工巡检在视距内或借助望远镜等设备被发现。对于输电线路此类分布广、规模大的电力设备，人工巡检不仅工作量和难度极大，还面临着复杂、多变的户外环境，工作具有较高的危险性。随着技术的进步与发展，越来越多的电力维护单位开始采用无人机、巡检机器人、固定摄像头、全景采集等图像采集设备对电力设备进行图像采集。
图像采集设备采集到大量的电力设备图像后，再由工程师根据经验判断是否存在缺陷。这种方法的识别效果受限于工程师的技术水平和工作经验，且识别效率与工程师数量和工作时长相关。长时间进行人工识别，不仅使工程师精神疲劳，导致识别精度降低、效率下降，还易对工程师的身体健康造成伤害。
1.2 传统图像识别模式
随着采集到的图像数量越来越多，将图像识别技术应用于电力设备缺陷识别中，已经成为缺陷识别的发展方向之一。在图像识别技术中，特征提取是关键步骤。传统图像识别算法由人工根据先验知识和对任务的理解提取图像特征，如根据电力设备的特点，提取边缘、梯度、颜色、纹理等特征，包括尺度不变特征变换（scale invariant feature transform, SIFT）特征、方向梯度直方图（histogram of oriented gradient, HOG）特征等。
但传统的电力设备图像缺陷识别算法对图像特征提取的能力不足，扩展性也较差，无法很好地利用低层特征数据，无法提取深层特征，需要人工设计特征。人工设计的特征往往针对给定的设备类型，因而识别种类少，数据规模小，泛化能力差，难以满足复杂场景下的多种类电力设备缺陷识别要求。
2 深度学习缺陷识别的研究进展
深度学习是机器学习领域的一个方向，近年来在图像识别领域取得突出成果。基于深度学习的电力设备缺陷识别的主要任务在于对电力设备巡检图像进行图像识别，判断图像中存在的缺陷并对其进行分类、定位和语义理解。经过多年发展，较为典型的深度学习模型包括深度信任网络模型、自编码网络模型及卷积神经网络（convolutional neural networks, CNN）模型。
基于卷积神经网络的图像识别算法于2012年取得突破性进展，在基于公共图像数据集的分类任务中取得良好的效果。近年来，越来越多的研究者将卷积神经网络模型应用于电力设备缺陷识别中，相较于传统的图像识别算法取得了更佳的识别精度、更强的泛化能力和更快的识别速度。
2.1 卷积神经网络缺陷识别模型
卷积神经网络是一种包含卷积运算仿照生物视觉机制构建的深层前馈型神经网络。经典的卷积神经网络模型主要有两类，即基于区域候选的两阶段模型和基于回归的单阶段模型。基于区域候选的模型主要有区域神经网络（region-convolutional neural networks, R-CNN）、快速区域神经网络（fast-region convolutional neural network, Fast R-CNN）、基于区域的全卷积网络（region-based fully convolutional networks, R-FCN）等；基于回归的模型主要有YOLO（you only look once）、单点多框检测器（single shot multibox detector, SSD）等。
基于区域候选的模型以较快区域神经网络（faster-region convolutional neural network, Faster R-CNN）为代表，是一种两阶段目标检测模型，其特点是先生成可能包含需要检测目标的候选框，再进一步对目标进行检测。Faster R-CNN模型是由R-CNN、Fast R-CNN改进和优化而来。R-CNN模型是将提取候选区域替代传统的窗口滑动检测，使用卷积神经网络计算候选区域的特征，最后使用支持向量机分类器进行分类。
Fast R-CNN模型在R-CNN基础上进行了改进，不需要再对每个候选区域单独提取特征，而是对整张图片提取一次特征，同时提出感兴趣区域池化对动态区域大小进行归一化，并将分类器由支持向量机更换为softmax函数，从而提高速度。而Faster R-CNN在此基础上增加了区域提取网络（region proposal network, RPN），RPN在特征图中进行滑动来选择所需目标，既保证了候选框选择的准确性，也提高了网络训练的效率。
有学者使用Faster R-CNN模型进行高压电线的缺陷识别实验，使用1917张原始样本图片，经过处理扩张成13419张样本。检测实验结果显示，对于高压电线的断股、异物缺陷，Faster R-CNN模型实现了90%以上的AP（average precision），对于损伤缺陷识别的AP值也达到了83%，综合三类缺陷识别的mAP（mean average precision）为94%。
基于回归的单阶段检测模型以端到端的YOLO、单点多框检测器模型为代表。YOLO系列模型的特点在于取消了目标区域建议的机制，通过卷积神经网络直接在一张完整的图像上进行目标类别和边界框回归的检测。由于从输入到输出只进行一次检测，与两阶段检测模型相比，其检测速度更快，但检测精度有所降低。
YOLO系列模型经过多年发展和迭代，目前已发展至第4代，且第5代也正处于构建当中。SSD模型将YOLO的回归思想和Faster R-CNN的候选区域anchor机制相结合，其检测速度较Faster R-CNN更快，检测精度较YOLO更高。回归思想可以对神经网络的计算复杂度进行简化，从而提高检测速度；采用anchor机制可以提取不同尺寸的特征，且可提取局部特征以提高检测精度。SSD模型采用多尺度的特征提取方法，可提升不同尺度目标检测的鲁棒性。
有学者提出基于改进YOLOv3的高压输电线路关键部件目标检测算法，在对高压输电线路防震锤、鸟巢、金具、绝缘子、塔身、塔牌的六类缺陷识别中，具有较好的效果。实验结果表明，YOLOv3针对防震锤、鸟巢、金具的检测精度AP均在80%以上，针对绝缘子、塔身、塔牌的检测精度AP在90%以上，六类的平均精度mAP为89.1%。
为了更好地说明深度学习缺陷识别模型的特点及其与传统图像识别算法的区别，表1从模型机制、优势、缺点、适用场景四方面进行对比。
表1 卷积神经网络与传统图像算法对比
2.2 模型的改进和优化
单阶段、两阶段的卷积神经网络在目标检测中具有较好的效果，但面对电力设备缺陷识别任务还存在一定不足。为了进一步提高深度学习的电力设备缺陷识别效果，研究者还将级联网络、迁移学习、生成对抗网络（generative adversarial nets, GANs）、注意力机制、网络剪枝等技术与卷积神经网络结合使用，取得了较好的效果。
采用级联形式的识别模型，可以先对目标部位进行检测，将检测结果裁剪放大作为下一阶段缺陷识别模型的输入，从而提高对小目标缺陷的检测效果。有学者级联YOLOv3和多个单分类（one-class classification, OCC）分类器对输电线路缺陷进行识别。无人机采集到的缺陷图像先传入YOLOv3网络，获得部件的位置与边界框，再对部件进行图像裁剪，将裁剪后的部件图像送入OCC分类器进行缺陷的判断。
样本的数量对于深度学习模型训练的效果非常重要，样本数量少不利于模型的训练。迁移学习和GANs是深度学习中有效解决样本数量少的重要方法。迁移学习的思想是从源区域将知识迁移到目标区域，从而提升目标区域模型的性能。
在缺陷识别中，迁移学习可以关联不同数据集之间的特征，在具备大量样本的源识别任务中进行模型训练，把训练出的模型参数迁移至小样本识别任务模型中，这样可以减少小样本识别所需要的训练样本。有学者在电力设备红外图像的识别模型中使用迁移学习的方法，在电磁单元发热、动静触头接触位置发热、接线板发热及金属连接部分发热四大类的热成像图像样本中进行迁移学习，最终模型的识别率分别为96%和94%，达到了较好的效果。
通过迁移学习可以减少模型训练对样本的需求量，而通过GANs可以对小样本进行扩充，缓解样本数量不足的困境。传统的样本扩充技术主要利用几何和光学维度的变换对图像进行处理，未增加额外的特征，对样本进行的修改较浅，得到的样本在深度模型训练中容易出现过拟合。
GANs主要包括两个网络模型，即生成模型和判别模型，其思想是通过两个模型对抗的方式进行学习。生成模型生成图像，判别模型对生成图像和真实图像的真伪进行判别，再根据判别器的输出对生成器的参数进行修正，同时调整判别器自身参数，在反复的训练过程中提高生成图像的逼真度。
有学者基于GANs构建了电力设备缺陷样本扩充模型，并针对X光耐张线夹图像进行实验。实验结果表明，基于GANs的样本扩充模型生成的样本数据集可以应用于缺陷识别模型的训练，且提高了识别精度。
复杂背景的干扰一直是提高电力设备缺陷识别精度的难点。在深度学习视觉图像领域的发展过程中，研究者们引入了注意力机制。注意力机制模拟人脑在处理视觉信息时可以快速扫描图像，获取关键信息，形成注意力焦点，并在焦点区域内进行更加仔细地特征提取。注意力机制的核心目标是在输入的大量信息中提高对当前任务更重要信息的关注度，降低或过滤其他无用信息，从而提高模型的效率和准确率。
有学者对SSD模型进行改进，引入注意力机制后，目标和背景的差异明显被放大，网络捕获了更多的目标信息，减少了背景的影响。
网络剪枝是实现深度学习网络模型压缩的一种有效方法。通过对权重低的冗余参数进行修剪，可以减少模型内的参数数量，降低网络的复杂度，提高模型的运行速度，降低模型对计算资源的开销，还能防止过拟合。因而可降低模型对计算设备的门槛要求，使可选的计算设备更加广泛。除了高性能的中心化计算设备以外，移动计算设备亦可承担计算工作，为边缘计算提供条件。
有学者利用基于YOLOv3的改进模型进行五类电力设备缺陷样本的识别，使用网络剪枝方法对网络模型进行压缩，并成功部署在轻量级Jetson AGX Xavier平台上。
表2对缺陷识别模型的改进和优化方法进行了梳理和总结，可以更清晰地说明不同方法的机制和应用效果。
表2 深度学习缺陷识别模型优化方法
2.3 市场应用情况
输电线路缺陷识别是目前深度学习在我国电力设备缺陷管理中常见的应用场景。我国的高压输电线路长期处于恶劣的自然环境之中，容易产生各种缺陷，同时巡检的成本较高、效率较低，对于提高巡检和缺陷识别效率有迫切的需求。目前的缺陷识别需求方主要以负责输电线路实际管理工作的各省市级电网公司为主；技术研发方以电网系统内各相关研究院、软件院和主营无人机巡检、人工智能的高新技术公司为主。
在国家“新基建”大力发展人工智能的背景下，电网公司已从战略层面加强人工智能在电力系统中的投入和研究，畅通科技成果转化渠道，推动成果落地。基于深度学习的电力设备缺陷识别是电力人工智能领域具有代表性的科技成果之一。
一方面，电网公司建立“人工智能联合实验室”，提出“两库一平台”（即样本库、模型库和训练平台）总部级训练平台的建设任务，推动在各个省市级公司的应用，并联合各大互联网公司共同探索和开发电力人工智能，发挥互联网公司的算法技术优势和电网公司的数据优势；另一方面，各地市电网公司为了提高管理效率，通过招标的方式采购基于深度学习的输电线路缺陷识别技术服务和产品，灵活满足当前的缺陷数字化智能管理需求。
3 深度学习缺陷识别挑战及展望
3.1 深度学习缺陷识别面临的挑战
尽管深度学习在图像识别研究中具有良好的识别效果，技术发展也较为迅速和全面，但面对复杂多变的电力设备缺陷识别任务，现有的研究多在实验室条件下进行，若要在实际缺陷管理中获得良好的应用效果，仍然存在一些挑战。
电力设备缺陷种类众多，其跨度也较大，有数厘米大小的螺栓、销钉缺陷，也有数米大小的塔杆缺陷。图像采集设备的拍摄分辨率有限，小尺度的缺陷在图像中占比较小，有效信息不足。而用于深度学习模型识别的图像往往会被压缩处理，进一步提高了小目标缺陷识别的难度。尽管模型的不断改进、样本质量的提高对小目标缺陷识别效果有较大提升，但在实际应用中，小目标缺陷识别精度的提高，依然是当前电力设备缺陷识别的挑战之一。
由于样本采集设备在不同季节、角度、光照、背景等条件下进行样本采集，采集到的样本具有复杂的视觉呈现，导致缺陷识别受到复杂背景和前景遮挡的严重干扰。即便是同一部件，在实际的样本采集中，也会呈现出较大差异。缺陷识别模型必须能够在高复杂背景下进行准确而高效的识别，同时还应该具备较好的泛化性能。
缺陷样本数量缺失和样本种类分布不平衡同样是缺陷识别中的挑战之一。深度学习进行模型训练与测试时对样本的数量要求较高，需要大量的经过标注的样本。
一方面，由于缺陷种类众多，设备材质、颜色、连接方式多样，覆盖所有缺陷需要的样本数量极大；另一方面，采集的大量电力设备巡检图像需要有经验的工程师进行缺陷标注和分类，效率较低，产生的有效样本较少。
此外，不同电力设备部件数量不同，发生缺陷的概率也存在很大差异，导致缺陷样本种类分布不平衡。数量少的缺陷样本和发生频次低的缺陷样本占总缺陷样本的比例较低，导致模型不能完整、准确地学习其特征，降低了识别效果。缺陷样本数量分布不均给缺陷识别带来了一定的局限。
尽管卷积神经网络在图像目标检测中可以发挥较好的作用，在缺陷图像检测中亦有良好表现，但从电力设备缺陷管理的角度出发，对于缺陷的识别不能仅满足于图像层面的目标识别，更应该实现对图像内容的理解和知识推理。如何结合电力行业相关的专业知识，利用好行业专家的知识和经验，进一步提高缺陷识别的专业性和智能化，亦是当前提高缺陷识别效果、完善缺陷数据善后管理、增强其实用性的一大挑战。
表3梳理了上述挑战内容及对深度学习缺陷识别模型的要求。
表3 深度学习缺陷识别面临的挑战
3.2 技术展望
随着我国电力系统建设力量不断加大，对电力设备维护的要求也越来越高，利用人工智能等先进技术提高缺陷管理效率已成为行业内的共识。前沿的人工智能技术发展迅速，新的思路、算法和技术也会逐渐应用于电力系统维护之中，从而进一步提高缺陷识别的精确度、效率和智能化水平。
自动机器学习（automatic machine learning, Auto ML）是深度学习未来发展的方向之一。深度学习在缺陷识别中的应用需要工程师选择合适的网络架构、对模型进行训练、调整各项参数等其他工作，整个过程非常耗时。而Auto ML的目标是使用自动化的数据驱动方式完成任务，只需要用户提供缺陷样本数据，Auto ML就可以实现大部分步骤自动化，自动化地分析网络架构、训练过程、正则化方法、超参数等对算法性能的影响，从而生成一个最优的网络架构。
深度学习的模型训练和测试对样本数量的依赖程度较高，尽管多种方法可以缓解此问题，但依然无法从源头解决。电力设备种类众多，型号繁杂，适用场景各不相同，缺陷标注代价较高，所以构建电力行业缺陷数据库较难实现。
未来的发展方向为：①可以构建电力设备缺陷样本数据库标准，规范缺陷分类、缺陷描述等结构化信息；②搭建高效的缺陷样本管理信息系统，开发半自动缺陷标注算法和工具，提高人工标注的效率；③打通行业内不同管理单位的数据壁垒，建立行业样本数据库，实现数据共享。
当前深度学习算法对图像中的缺陷特征提取和缺陷识别效果较好，但仅有图像层级的缺陷识别缺少专业知识做支撑。电力设备各部件之间相互耦合，缺陷的呈现不仅体现在单一部件上，更体现在各个部件之间的耦合关系上，需要更加丰富和专业的行业知识才能更精准地识别缺陷。未来可以构建缺陷知识图谱，利用先验专业知识作为指导，再结合深度学习目标检测算法实现对电力设备缺陷更加全面和精准的识别。
4 结论
电力设备缺陷管理对于国家电力系统的安全和稳定具有重要意义。本文对电力设备缺陷管理中缺陷识别的发展进行了回顾，并从卷积神经网络模型、模型优化和改进、市场应用情况三方面总结了深度学习在缺陷识别中的应用进展。
尽管当前深度学习技术发展迅速，但在应对复杂的缺陷识别任务、实现技术成果的转化和突破方面还面临众多挑战。未来可以通过自动机器学习、构建电力行业样本数据库和电力知识图谱等技术进一步推动人工智能在电力行业的融合应用。
本文编自2022年第6期《电气技术》，论文标题为“深度学习在电力设备缺陷识别中的应用进展”，作者为臧国强、刘晓莉 等。
您有10位好友已关注
扫码看看？👇
推荐阅读：《为什么是电“气”，而不是电“器”？下次再有人问你，这么回答！》《读研三年与工作三年，有哪些差异？》《重磅发布：2022软科世界一流学科排名》《电气毕业6年年薪50万!》《电网薪资揭秘第二波！》《电气应届生年薪40W+！》《电网薪资揭秘第三波！》
