本發(fā)明屬于目標(biāo)檢測(cè)，更具體地，涉及一種基于自編碼器的電力無(wú)人機(jī)巡檢邊側(cè)設(shè)備缺陷識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、隨著智能電網(wǎng)的發(fā)展，電網(wǎng)正日益成為網(wǎng)絡(luò)復(fù)雜、設(shè)備繁多、技術(shù)龐雜的綜合系統(tǒng)，為保障電力設(shè)備設(shè)施的運(yùn)行可靠和有效管理，傳統(tǒng)的運(yùn)維檢修方式也已無(wú)法滿足要求。人工智能與電網(wǎng)應(yīng)用技術(shù)融合，有效的解決了這種問(wèn)題。盡管目前電力場(chǎng)景中，在邊緣側(cè)通過(guò)無(wú)人機(jī)采集數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)的巡檢方式已經(jīng)取得了一定進(jìn)步，但是邊緣側(cè)小模型的檢測(cè)結(jié)果仍然不夠精確，對(duì)于不確定的圖片仍然需要人工復(fù)核，影響電力無(wú)人機(jī)巡檢的實(shí)用性。

2、現(xiàn)有技術(shù)中常需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，但由于部分故障出現(xiàn)的概率較低，異常數(shù)據(jù)數(shù)量較少，使得采集到的數(shù)據(jù)中各類別的數(shù)據(jù)分布極不平衡，部分類別的樣本出現(xiàn)頻率極高，部分類別的樣本出現(xiàn)頻率極低。導(dǎo)致對(duì)現(xiàn)有目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練完成后，樣本出現(xiàn)頻率較高的類別識(shí)別精度較高，樣本出現(xiàn)頻率較低的類別識(shí)別精度較低。

3、另外由于嵌入式設(shè)備具有體積小、低功耗、可靠性高、成本低等優(yōu)點(diǎn)，使其很適合在邊緣側(cè)部署。然而邊緣設(shè)備存儲(chǔ)和計(jì)算資源有限，這限制了可運(yùn)行的神經(jīng)網(wǎng)絡(luò)模型的計(jì)算量和大小。

4、現(xiàn)有的缺陷識(shí)別方法有：

5、授權(quán)公告號(hào)cn111126359a的專利公開了一種基于自編碼器與yolo算法的高清圖像小目標(biāo)檢測(cè)方法，實(shí)現(xiàn)步驟為：1)采集高清圖像并標(biāo)注，獲得訓(xùn)練集和測(cè)試集；2)對(duì)標(biāo)注好的訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)充；3)根據(jù)標(biāo)注信息生成對(duì)應(yīng)的mask數(shù)據(jù)；4)搭建自編碼器模型；5)使用訓(xùn)練集對(duì)其訓(xùn)練；6)將訓(xùn)練好的自編碼器的編碼網(wǎng)絡(luò)與yolo-v3檢測(cè)網(wǎng)絡(luò)拼接，得到混合網(wǎng)絡(luò)并使用訓(xùn)練集對(duì)其訓(xùn)練；7)使用訓(xùn)練好的混合網(wǎng)絡(luò)在測(cè)試集上進(jìn)行目標(biāo)檢測(cè)。

6、但是，該專利是先單獨(dú)訓(xùn)練一個(gè)自編碼網(wǎng)絡(luò)，然后將自編碼網(wǎng)絡(luò)的編碼器與解碼器解耦，在編碼器部分與yolov3檢測(cè)器部分進(jìn)行拼接，固定編碼器網(wǎng)絡(luò)部分，對(duì)新增加的yolov3檢測(cè)器部分再進(jìn)行訓(xùn)練。該專利不是端到端的，而是分階段的，這樣效率較低。另外該專利主要對(duì)處理小目標(biāo)時(shí)的精度高。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于自編碼器的電力無(wú)人機(jī)巡檢邊側(cè)設(shè)備缺陷識(shí)別方法及系統(tǒng)。

2、本發(fā)明采用如下的技術(shù)方案。

3、本發(fā)明的第一方面提出了一種基于自編碼器的電力無(wú)人機(jī)巡檢邊緣設(shè)備缺陷識(shí)別方法，包括以下步驟：

4、s1，邊緣設(shè)備加載電力無(wú)人機(jī)歷史巡檢圖像，對(duì)歷史巡檢圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對(duì)圖像大小和格式進(jìn)行調(diào)整；

5、s2，構(gòu)建電力無(wú)人機(jī)巡檢缺陷檢測(cè)模型，包括訓(xùn)練階段模型和推理階段模型，訓(xùn)練階段模型將s1預(yù)處理后的圖像數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行訓(xùn)練，將訓(xùn)練后的訓(xùn)練階段模型中的解碼器模塊移除得到推理階段模型；

6、s3，邊緣設(shè)備加載電力無(wú)人機(jī)實(shí)時(shí)巡檢圖像，經(jīng)預(yù)處理后輸入至推理階段模型，進(jìn)行結(jié)果后處理，實(shí)現(xiàn)對(duì)設(shè)備缺陷的識(shí)別。

7、優(yōu)選地，在s1中，圖像預(yù)處理的具體內(nèi)容為：將圖片大小調(diào)整到邊緣設(shè)備在推理過(guò)程中能接收的最大輸入空間尺寸(h,w)，將圖片像素值歸一化到[0,1]區(qū)間，對(duì)圖片格式進(jìn)行轉(zhuǎn)置，轉(zhuǎn)換為(b,c,h,w)的張量，其中，b表示批處理大小，設(shè)定為1；c表示一張圖像中的通道數(shù)，c取值為3，分別代表r、g、b；h表示圖像垂直維度的像素?cái)?shù)；w表示圖像水平維度的像素?cái)?shù)。

8、優(yōu)選地，在s2中，電力無(wú)人機(jī)巡檢缺陷檢測(cè)模型具體內(nèi)容為:

9、訓(xùn)練階段模型包含四個(gè)部分：主干網(wǎng)絡(luò)、特征融合模塊、檢測(cè)器、解碼器；主干網(wǎng)絡(luò)對(duì)預(yù)處理后的圖像進(jìn)行特征提取得到特征圖；特征融合模塊對(duì)主干網(wǎng)絡(luò)得到的特征圖進(jìn)行特征融合得到特征融合后的特征圖；檢測(cè)器用于進(jìn)行目標(biāo)預(yù)測(cè)；解碼器對(duì)主干網(wǎng)絡(luò)生成的特征進(jìn)行解碼，還原出輸入圖像，在訓(xùn)練階段將解碼模塊作為額外的網(wǎng)絡(luò)頭部進(jìn)行訓(xùn)練，增加模型學(xué)習(xí)的信息；訓(xùn)練階段不斷對(duì)模型進(jìn)行優(yōu)化；

10、推理階段模型包含三個(gè)部分：主干網(wǎng)絡(luò)、特征融合、檢測(cè)器，每一部分和訓(xùn)練階段的對(duì)應(yīng)部分保持相同，推理階段模型輸出缺陷類別預(yù)測(cè)結(jié)果和缺陷目標(biāo)位置預(yù)測(cè)結(jié)果；

11、缺陷類別預(yù)測(cè)結(jié)果的輸出是特征圖每個(gè)位置的值為每個(gè)類別的概率；所述特征圖等效為一個(gè)四維矩陣，矩陣中的每個(gè)值就是特征圖的每個(gè)位置的值；

12、目標(biāo)位置預(yù)測(cè)結(jié)果的輸出是目標(biāo)相對(duì)于特征圖每個(gè)位置中心點(diǎn)在左，上，右，下四個(gè)方向的偏移量。

13、優(yōu)選地，所述訓(xùn)練階段不斷對(duì)模型進(jìn)行優(yōu)化，具體過(guò)程為

14、訓(xùn)練中使用損失函數(shù)為幾個(gè)損失函數(shù)的加權(quán)和：

15、ltotal＝αlcls+βlpos+δldfl+γlmse

16、其中，α、β、δ、γ是權(quán)重，α＝0.5、β＝7.5、δ＝1.5、γ＝1；lcls為類別預(yù)測(cè)結(jié)果的交叉熵?fù)p失；lpos和ldfl分別為目標(biāo)位置預(yù)測(cè)結(jié)果的交并比損失和數(shù)據(jù)平均保真度損失；lmse為解碼器生成的圖像和原始圖像之間的平均平方誤差損失；

17、對(duì)類別預(yù)測(cè)結(jié)果計(jì)算交叉熵?fù)p失lcls，對(duì)類別預(yù)測(cè)特征圖上的每個(gè)位置交叉熵?fù)p失計(jì)算公式如下：

18、

19、其中，n是類別數(shù)目，yi是真實(shí)標(biāo)簽，如果該位置對(duì)應(yīng)的目標(biāo)類別是第i個(gè)類，則yi＝1，否則yi＝0；pi是預(yù)測(cè)的該位置出現(xiàn)的目標(biāo)是第i個(gè)類的概率；對(duì)三個(gè)特征圖所有批的所有位置的交叉熵?fù)p失求和得到最終的類別預(yù)測(cè)損失；

20、對(duì)目標(biāo)位置預(yù)測(cè)結(jié)果計(jì)算交并比損失lpos和數(shù)據(jù)平均保真度損失ldfl，對(duì)解碼器生成的圖像和原始圖像之間通過(guò)以下函數(shù)計(jì)算平均平方誤差損失：

21、

22、其中w是圖像寬度，h是圖像高度，b是批處理大小；是解碼器生成的圖像的第b張圖像第c個(gè)通道第i行第j列的像素值；是第b張?jiān)紙D像第c個(gè)通道第i行第j列的像素值。

23、優(yōu)選地，所述主干網(wǎng)絡(luò)具體為：主干網(wǎng)絡(luò)包括卷積模塊、切分層、bottleneck模塊、連接層、池化層組成，經(jīng)過(guò)多次提取特征，輸出特征圖feat3、特征圖feat4；特征圖feat3大小為特征圖feat4大小為特征圖feat5大小為

24、優(yōu)選地，所述特征融合具體內(nèi)容為：

25、將feat5通過(guò)上采樣，然后使用連接層和feat4在通道維度進(jìn)行連接，隨后對(duì)得到的特征圖使用卷積核大小為1x1、步長(zhǎng)為1的卷積模塊和卷積核大小為3x3、步長(zhǎng)為1的卷積模塊進(jìn)行特征融合得到feat41；

26、隨后對(duì)feat41通過(guò)上采樣，然后使用連接層和feat3在通道維度進(jìn)行連接，隨后對(duì)得到的特征圖使用卷積核大小為1x1、步長(zhǎng)為1的卷積模塊和卷積核大小為3x3、步長(zhǎng)為1的卷積模塊進(jìn)行特征融合得到feat31；

27、對(duì)特征圖feat31使用卷積核大小為1x1、步長(zhǎng)為1的卷積模塊和卷積核大小為3x3、步長(zhǎng)為1的卷積模塊進(jìn)行特征融合得到feat32；

28、對(duì)feat31進(jìn)行下采樣，將下采樣結(jié)果和feat41進(jìn)行連接，隨后對(duì)得到的特征圖使用卷積核大小為1x1、步長(zhǎng)為1的卷積模塊和卷積核大小為3x3、步長(zhǎng)為1的卷積模塊進(jìn)行特征融合得到feat42；

29、對(duì)特征圖feat5使用卷積核大小為1x1、步長(zhǎng)為1的卷積模塊和卷積核大小為3x3、步長(zhǎng)為1的卷積模塊進(jìn)行特征處理得到feat51；

30、對(duì)feat42使用下采樣，將下采樣結(jié)果和feat51進(jìn)行連接，隨后對(duì)得到的特征圖使用卷積核大小為1x1、步長(zhǎng)為1的卷積模塊和卷積核大小為3x3、步長(zhǎng)為1的卷積模塊進(jìn)行特征融合得到feat52。

31、優(yōu)選地，所述特征圖進(jìn)行上采樣的過(guò)程如下：

32、上采樣，輸入特征圖空間大小為w×h，期望的輸出特征圖空間大小為2w×2h；對(duì)于輸出特征圖中的每個(gè)位置(i,j)，首先映射坐標(biāo)，根據(jù)上采樣比例，確定(i,j)在輸入特征圖中的對(duì)應(yīng)位置(i',j')，公式為：

33、

34、將它映射到最近的整數(shù)坐標(biāo)，計(jì)算公式為：

35、

36、四個(gè)最近鄰像素在輸入特征圖中的對(duì)應(yīng)位置坐標(biāo)分別是(i',j'),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)，根據(jù)這四個(gè)像素的值和它們的權(quán)重，計(jì)算目標(biāo)像素的值，公式為：

37、iout(i,j)＝w1iin(i',j')+w2iin(i'+1,j')+w3iin(i',j'+1)+w4iin(i'+1,j'+1)

38、其中，w1,w2,w3,w4分別對(duì)應(yīng)(i',j),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)四個(gè)像素的權(quán)重；iout(i,j)是輸出特征圖(i,j)位置的特征值，iin(i',j')是輸入特征圖(i',j')位置的特征值，重復(fù)上述步驟，直到輸出特征圖中所有目標(biāo)位置都被填充。

39、優(yōu)選地，所述四個(gè)像素的權(quán)重具體為：

40、w1＝(i'+1-i”)(j'+1-j”)

41、w2＝(i'+1-i”)(j”-j')

42、w3＝(i”-i')(j'+1-j”)

43、w4＝(i”-i')(j”-j')

44、其中，w1,w2,w3,w4分別對(duì)應(yīng)(i',j),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)四個(gè)像素的權(quán)重。

45、優(yōu)選地，所述檢測(cè)器具體內(nèi)容為：檢測(cè)器中使用無(wú)錨點(diǎn)檢測(cè)頭，檢測(cè)器分別進(jìn)行目標(biāo)位置預(yù)測(cè)和目標(biāo)類別預(yù)測(cè)，目標(biāo)位置預(yù)測(cè)對(duì)目標(biāo)左上角和右下角到特征圖上每個(gè)特征位置在原圖中中心點(diǎn)的距離lt和rb進(jìn)行預(yù)測(cè)，目標(biāo)類別預(yù)測(cè)對(duì)特征圖上每個(gè)特征位置最鄰近的目標(biāo)類別進(jìn)行預(yù)測(cè)。

46、優(yōu)選地，所述解碼器的具體內(nèi)容為：解碼器和主干網(wǎng)絡(luò)保持相反的結(jié)構(gòu)，包括卷積反模塊；切分層、連接層、debottleneck模塊、轉(zhuǎn)置卷積模塊，解碼器模塊的輸入為來(lái)自主干網(wǎng)絡(luò)的特征feat5，輸出為大小(h,w)的圖片。

47、優(yōu)選地，在s3中，所述后處理為對(duì)檢測(cè)結(jié)果使用置信度閾值進(jìn)行過(guò)濾，該閾值為0.001；對(duì)檢測(cè)結(jié)果分類別進(jìn)行非極大值抑制處理；將檢測(cè)結(jié)果根據(jù)圖像的縮放平移情況映射回原圖中。

48、本發(fā)明的第二方面提出了一種基于自編碼器的電力無(wú)人機(jī)巡檢邊側(cè)設(shè)備缺陷識(shí)別系統(tǒng)，使用本發(fā)明的第一方面所述方法，包括以下模塊：

49、圖像預(yù)處理模塊，調(diào)整圖像的大小和格式；

50、訓(xùn)練模塊，使用訓(xùn)練階段缺陷檢測(cè)模型對(duì)圖像數(shù)據(jù)進(jìn)行訓(xùn)練，將訓(xùn)練后的訓(xùn)練模型中的解碼器模塊移除得到推理階段模型；

51、設(shè)備缺件識(shí)別模塊，通過(guò)由訓(xùn)練模塊得到的推理階段模型進(jìn)行缺陷檢測(cè)，檢測(cè)缺陷的類別和位置；

52、判斷模塊，進(jìn)行后處理，后處理后判斷數(shù)據(jù)是否處理完成。

53、本發(fā)明的有益效果在于，與現(xiàn)有技術(shù)相比，

54、本專利提出一種基于自編碼器的電力無(wú)人機(jī)巡檢邊側(cè)設(shè)備缺陷識(shí)別方法及系統(tǒng)，該方法采用輕量化的設(shè)計(jì)，實(shí)現(xiàn)在邊緣設(shè)備上快速推理；模型中引入了自編碼器的思想，將原來(lái)的主干網(wǎng)絡(luò)看作是編碼器，增加了解碼器，圖像自編碼器的訓(xùn)練目標(biāo)是最小化重構(gòu)誤差，即使得解碼器的輸出盡可能接近輸入數(shù)據(jù)。通過(guò)限制編碼器和解碼器之間的信息流動(dòng)，模型能夠?qū)W習(xí)到輸入數(shù)據(jù)的緊湊表示，這些表示通常具有比原始數(shù)據(jù)更高層次的抽象特征，但又保留了豐富的原始數(shù)據(jù)信息使解碼器能夠根據(jù)這些信息恢復(fù)原始數(shù)據(jù)。根據(jù)主干網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)了一種相應(yīng)的解碼器網(wǎng)絡(luò)結(jié)構(gòu)，增加的解碼器和網(wǎng)絡(luò)的部分相對(duì)獨(dú)立，在推理成中可以移除，加快模型的推理速度，并且不影響模型精度。檢測(cè)器中使用無(wú)錨點(diǎn)檢測(cè)頭，能夠更準(zhǔn)確地預(yù)測(cè)目標(biāo)的邊界框，因?yàn)樗辉偈芟抻陬A(yù)設(shè)錨點(diǎn)框的約束。這有助于模型在處理各種形狀和大小的目標(biāo)時(shí)表現(xiàn)出更高的精度。