本發(fā)明涉及雷擊燒蝕材料檢測，尤其涉及一種金屬復(fù)合材料雷擊燒蝕檢測方法。

背景技術(shù)：

1、雷擊是電網(wǎng)故障的重要原因，其中，雷擊對電網(wǎng)的影響之一就是架空地線在雷電電弧作用下會產(chǎn)生燒蝕損傷乃至斷股、斷線。長期運(yùn)行的架空鋁包鋼地線,鋁層在雷擊的作用下熔化,鋼芯暴露在外,長期的腐蝕使得地線的強(qiáng)度大大降低,從而可能發(fā)生斷線事故,危害設(shè)備、電網(wǎng)甚至是人身安全。因此，金屬復(fù)合材料的燒蝕檢測在保障電網(wǎng)安全穩(wěn)定運(yùn)行中至關(guān)重要。傳統(tǒng)的燒蝕檢測方法主要依賴于人工，但是依靠人工主觀判斷的方法效率低、勞動強(qiáng)度大、危險(xiǎn)因素高。

2、隨著計(jì)算機(jī)和機(jī)器視覺技術(shù)的快速發(fā)展，基于機(jī)器視覺的工程材料檢測技術(shù)已成為研究熱點(diǎn)。而一些工程特別是電網(wǎng)線路通常在偏遠(yuǎn)的地理環(huán)境下建設(shè)，其所處的工作環(huán)境極其復(fù)雜，特別是容易遭受雷擊的山區(qū)線路，這些因素對檢測技術(shù)提出了額外的要求。

3、現(xiàn)有的基于機(jī)器視覺的材料燒蝕檢測的最新技術(shù)主要是通過深度卷積神經(jīng)網(wǎng)絡(luò)來提取特征，在應(yīng)用到一些復(fù)雜的工作環(huán)境中時(shí)，由于存在許多噪聲和干擾源，例如整體高溫氧化、光照變化等，這導(dǎo)致材料燒蝕檢測過程需要經(jīng)過更復(fù)雜的數(shù)據(jù)處理去噪等方式才能夠進(jìn)行后續(xù)的檢測，大大增加了計(jì)算復(fù)雜度。同時(shí)，由于采樣得到的圖片中出現(xiàn)的燒蝕特征或大或小，形狀不規(guī)則，這也給材料燒蝕的特征提取帶來難度。

4、因此，本技術(shù)提出一種金屬復(fù)合材料雷擊燒蝕檢測方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對背景技術(shù)中存在現(xiàn)有的基于機(jī)器視覺的材料燒蝕檢測過程需要經(jīng)過更復(fù)雜的數(shù)據(jù)處理去噪等方式才能夠進(jìn)行后續(xù)的檢測，增加了計(jì)算復(fù)雜度的問題，提出一種金屬復(fù)合材料雷擊燒蝕檢測方法。

2、本發(fā)明的技術(shù)方案：一種金屬復(fù)合材料雷擊燒蝕檢測方法，包括以下步驟：

3、步驟s1：獲取待檢測的金屬復(fù)合材料雷擊燒蝕圖像數(shù)據(jù)集，對圖像數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)設(shè)邊界框，并通過預(yù)定義的卷積層對金屬復(fù)合材料燒蝕圖像數(shù)據(jù)學(xué)習(xí)二維表示，再拉伸為一維數(shù)據(jù)；

4、步驟s2：對提取特征后的燒蝕圖像轉(zhuǎn)換為的一維表示的數(shù)據(jù)與位置編碼一同送入transformer編碼器，使網(wǎng)絡(luò)進(jìn)一步的學(xué)習(xí)相關(guān)特征，在經(jīng)過深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，將得到的參數(shù)通過解碼器從特征中學(xué)習(xí)要檢測的燒蝕現(xiàn)象；

5、步驟s3：將上一步學(xué)習(xí)到的特征的位置和標(biāo)簽與實(shí)際數(shù)據(jù)集的位置和標(biāo)簽進(jìn)行二分圖匹配，并在匹配的結(jié)果上計(jì)算標(biāo)簽的損失函數(shù)和位置的損失函數(shù)；

6、步驟s4：利用學(xué)習(xí)到的模型對待識別的燒蝕圖片進(jìn)行邊界框預(yù)測，確定圖像中是否存在燒蝕及其存在的位置，得到帶有燒蝕范圍框的圖片。

7、可選的，所述步驟s1中，具體包括：

8、對存在燒蝕現(xiàn)象的金屬復(fù)合材料進(jìn)行拍照，制定帶有燒蝕現(xiàn)象的金屬復(fù)合材料的圖像數(shù)據(jù)集，通過預(yù)定義的卷積層來提取原始圖像的燒蝕特征圖，設(shè)定要預(yù)測圖像所包含燒蝕的邊界框；

9、采用旋轉(zhuǎn)自適應(yīng)大小的邊界框，旋轉(zhuǎn)邊界框的位置參數(shù)定義為一個(gè)六元組，其中是邊界框的中心點(diǎn)位置，為邊界框的寬度，為邊界框的高度，為邊界框相對于垂直線的旋轉(zhuǎn)角度，表示該邊界框是否存在燒蝕現(xiàn)象；

10、利用k-means聚類方法選擇出個(gè)預(yù)設(shè)好的邊界框尺寸，用于檢測時(shí)確定邊界框的大??；

11、將經(jīng)過卷積層后的二維圖像通過全連接層拉伸為一維數(shù)據(jù)，以進(jìn)行下一步的處理。

12、可選的，所述步驟s2中，具體包括：

13、將卷積層學(xué)習(xí)表示后的二維數(shù)據(jù)拉伸為一維數(shù)據(jù)后，才能滿足transformer對于待處理數(shù)據(jù)的要求，此時(shí)從中提取出位置編碼，并將其位置編碼和數(shù)據(jù)輸入進(jìn)n個(gè)相同組成的編碼模塊中，得到一個(gè)融合了所有注意力頭信息的矩陣，再將其輸入進(jìn)同樣n個(gè)相同組成的解碼模塊中，得到一個(gè)的張量，最后將其送入2個(gè)前饋神經(jīng)網(wǎng)絡(luò)ffn分別得到是否存在燒蝕現(xiàn)象與邊界框，為訓(xùn)練批次大小。

14、可選的，將三角函數(shù)擴(kuò)展到維向量作為輸入信息的表示，不同的通道具備不同的波長；

15、其中，為通道，為總通道數(shù)，為位置信息，為特征圖中的某個(gè)坐標(biāo)，分開計(jì)算。

16、可選的，在編碼過程中，采用完全相同的n個(gè)編碼模塊，每個(gè)編碼模塊的輸入均為的圖像特征與位置編碼，輸出均為同樣維度的特征矩陣，每個(gè)編碼模塊有一個(gè)多頭自注意力層與一個(gè)前饋神經(jīng)網(wǎng)絡(luò)組成，為圖像的特征的高，為圖像的特征的寬，為訓(xùn)練批次大小。

17、可選的，采用可變化的多頭自注意力機(jī)制，多頭自注意力層的計(jì)算過程為：特征矩陣和位置編碼相加后得到查詢矩陣，鍵矩陣，值矩陣即為特征矩陣，并由這三個(gè)矩陣計(jì)算得出包含自注意力信息的矩陣，矩陣的計(jì)算公式為：

18、其中，為查詢矩陣經(jīng)過一個(gè)線性層得到的權(quán)重矩陣，為多組權(quán)重矩陣的聚合矩陣，為位置編碼矩陣，即為價(jià)值權(quán)重，為從查詢矩陣計(jì)算得到的位置偏移，在通過可變化多頭自注意力層后，將殘差塊添加到得到的矩陣，再對其進(jìn)行歸一化，接著將得到的矩陣送入前饋神經(jīng)網(wǎng)絡(luò)中，此前饋神經(jīng)網(wǎng)絡(luò)由一個(gè)全連接層、一個(gè)relu激活層、一個(gè)dropout層和一個(gè)全連接層組成，之后再通過殘差連接和歸一化，這就是一個(gè)編碼模塊的作用，通過n個(gè)編碼模塊后，將結(jié)果送入解碼器。

19、可選的，在解碼過程中，同樣采用n個(gè)相同的模塊組成，其中每個(gè)模塊的組成為自下而上為可變化多頭自注意力層ms1、殘差歸一層、可變化多頭自注意力層ms2、殘差歸一層、前饋神經(jīng)網(wǎng)絡(luò)層、殘差歸一層，其中，殘差歸一層與前饋神經(jīng)網(wǎng)絡(luò)層與編碼器的殘差歸一層和前饋神經(jīng)網(wǎng)絡(luò)層相同，而多頭自注意力層的輸入與編碼器有區(qū)別，具體可以表示為：ms1的輸入為初始全為0的位置矩陣與類別查詢矩陣作相加為ms1的查詢矩陣和鍵矩陣，而價(jià)值矩陣則直接由得到，其結(jié)果通過殘差歸一層后與類別查詢矩陣相加作為ms2的查詢矩陣，而ms2的值矩陣由編碼器的輸出直接得到，ms2的鍵矩陣由編碼器的輸出與位置編碼相加得到，其中類別查詢矩陣也為一個(gè)可學(xué)習(xí)的矩陣，將ms2的輸出作為新的位置矩陣在通過前饋神經(jīng)網(wǎng)絡(luò)層與殘差歸一層，作為整個(gè)解碼器模塊的輸出。

20、可選的，將解碼器的輸出送入兩個(gè)不同的前饋神經(jīng)網(wǎng)絡(luò)ffn1、ffn2中，其中ffn1為類別預(yù)測網(wǎng)絡(luò)，本網(wǎng)絡(luò)可以預(yù)測多個(gè)類別，但根據(jù)需要僅需預(yù)測兩個(gè)類別，分別為0表示未出現(xiàn)燒蝕、1表示出現(xiàn)燒蝕，ffn1為一個(gè)全連接層構(gòu)成，ffn2為邊界框預(yù)測網(wǎng)絡(luò)，ffn2由三個(gè)全連接層組成，最終輸出為一個(gè)尺寸為6的數(shù)據(jù)，其邊界框的中心點(diǎn)、高度、寬度、角度即為這五個(gè)數(shù)據(jù)。

21、可選的，所述步驟s3中，具體包括：

22、采用端到端的損失計(jì)算方法，即直接計(jì)算訓(xùn)練集中的類別與邊界框與最終預(yù)測的結(jié)果之間的差異，以此為依據(jù)確定損失函數(shù)，先使用二分值匹配算法從預(yù)測的邊界框中選擇與標(biāo)簽對應(yīng)的邊界框，依次計(jì)算所有邊界框的標(biāo)簽損失和邊界框損失，并根據(jù)損失修改transformer結(jié)構(gòu)中的各個(gè)矩陣參數(shù)；

23、計(jì)算損失函數(shù)首先要通過二分圖匹配算法找到與標(biāo)簽對應(yīng)的文本框，使得最后的預(yù)測結(jié)果只和匹配上的真值計(jì)算損失，二分值匹配的公式為：

24、其中為真值，為預(yù)測值，為二分圖匹配算法，該公式的目的是尋找一個(gè)預(yù)測值使之與真值之間的二分圖匹配損失最小，在找到與標(biāo)簽對應(yīng)的邊界框之后，該方法的損失由兩部分組成，即分類損失與邊界框誤差損失，總的損失函數(shù)為：

25、其中分類損失即為是否能夠判斷出該圖片存在燒蝕現(xiàn)象，邊界框誤差損失即計(jì)算預(yù)測的邊界框與真實(shí)邊界框的中心點(diǎn)、高、寬、角度之間的差異，其公式表達(dá)為：

26、其中,分別為邊界框的中心點(diǎn)坐標(biāo)、寬、高、角度。

27、可選的，在所述步驟s4中，具體包括：

28、在訓(xùn)練完成后，將待檢測的圖片經(jīng)預(yù)處理后輸入到模型中，模型會自動預(yù)測出若干個(gè)邊界框與標(biāo)簽概率，若該標(biāo)簽的概率超過所設(shè)計(jì)的閾值，則直接輸出結(jié)果，若標(biāo)簽概率不超過，則認(rèn)為該邊界框無標(biāo)簽，不顯示該邊界框。

29、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益的技術(shù)效果：

30、（1）本發(fā)明中的燒蝕檢測模型，在應(yīng)用于一些復(fù)雜工況環(huán)境下的金屬復(fù)合材料燒蝕檢測時(shí)，引入的基于transformer的機(jī)器視覺檢測方法能夠自動、高效且準(zhǔn)確的識別燒蝕現(xiàn)象，有效的降低了噪聲地來的影響。

31、（2）本發(fā)明使用了可變化的多頭自注意力機(jī)制能夠有效地選擇性地捕捉全局信息，避免了在處理長序列數(shù)據(jù)時(shí)帶來的計(jì)算量迅速增加的問題，有效地提高了計(jì)算效率。

32、（3）本發(fā)明通過設(shè)計(jì)了一種自適應(yīng)可旋轉(zhuǎn)的邊界框，能夠最大程度上減少邊界框內(nèi)無關(guān)數(shù)據(jù)的存在，在加強(qiáng)全局信息捕捉的同時(shí)有效地降低了數(shù)據(jù)計(jì)算量，提升了預(yù)測的精確性和計(jì)算的效率。

33、本發(fā)明引入的基于transformer的機(jī)器視覺檢測方法能夠自動、高效且準(zhǔn)確的識別燒蝕現(xiàn)象，有效地降低了噪聲帶來的影響，有效地選擇性地捕捉全局信息，提高了計(jì)算效率，加強(qiáng)全局信息捕捉到的同時(shí)有效的降低了數(shù)據(jù)計(jì)算量，提升了預(yù)測的精確性和計(jì)算的效率。