本發(fā)明屬于風(fēng)力發(fā)電，具體涉及一種基于多模態(tài)感知的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)及方法。

背景技術(shù)：

1、隨著我國風(fēng)電裝機(jī)數(shù)量和容量的不斷增長，風(fēng)力發(fā)電機(jī)組正朝著大型化、高效化和智能化的趨勢發(fā)展。隨著風(fēng)機(jī)葉片規(guī)模和尺寸的不斷增加，其造價(jià)在風(fēng)力發(fā)電機(jī)組總成本中所占比例也逐漸上升，使得風(fēng)機(jī)葉片的安全檢測變得尤為關(guān)鍵。然而，由于風(fēng)力發(fā)電機(jī)組工作環(huán)境的復(fù)雜和惡劣，隨著運(yùn)行時(shí)間的延長，風(fēng)機(jī)葉片出現(xiàn)變形、裂紋、鼓包、油污、砂眼和風(fēng)蝕等損傷的概率也隨之增加。如果風(fēng)機(jī)葉片在工作過程中發(fā)生開裂、變形等問題，若不立即停機(jī)檢修，而是繼續(xù)運(yùn)轉(zhuǎn)，可能會(huì)引發(fā)機(jī)械故障，例如葉片折斷或摔落，這類嚴(yán)重事故將給用戶帶來巨大的財(cái)產(chǎn)損失。因此，及時(shí)檢測和發(fā)現(xiàn)葉片損傷情況顯得尤為迫切，這也一直是業(yè)界面臨的主要挑戰(zhàn)之一。

2、傳統(tǒng)的風(fēng)機(jī)缺陷檢測方法主要依賴于可見光圖像進(jìn)行缺陷識(shí)別，這種單一模態(tài)的檢測方式存在一些劣勢：可見光圖像容易受到光照和環(huán)境條件的影響，特別是在惡劣天氣或光線不足的情況下，缺陷的識(shí)別可能受到限制；可見光圖像難以穿透物體表面，對(duì)于葉片內(nèi)部或局部隱蔽的缺陷，識(shí)別能力較弱；對(duì)于相似顏色或紋理的材料，可見光圖像可能難以準(zhǔn)確區(qū)分，導(dǎo)致誤判；可見光圖像在夜間或光照不足的環(huán)境下效果較差，無法滿足全天候的監(jiān)測需求。

3、綜上所述，僅僅依靠可見光圖像進(jìn)行風(fēng)機(jī)缺陷檢測存在對(duì)光照和環(huán)境敏感、對(duì)隱蔽缺陷不敏感、難以區(qū)分相似材料等問題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種基于多模態(tài)感知的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)及方法。本發(fā)明要解決的技術(shù)問題通過以下技術(shù)方案實(shí)現(xiàn)：

2、本發(fā)明提供了一種基于多模態(tài)感知的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)，包括數(shù)據(jù)融合模塊和深度特征提取及缺陷檢測模塊，其中，

3、所述數(shù)據(jù)融合模塊用于獲取待檢測風(fēng)機(jī)葉片表面同一場景下的多種模態(tài)的數(shù)據(jù)，并對(duì)所述多種模態(tài)的數(shù)據(jù)進(jìn)行預(yù)處理、特征提取和特征融合，獲得融合后的特征圖，所述多種模態(tài)的數(shù)據(jù)包括可見光圖像、紅外圖像、激光雷達(dá)數(shù)據(jù)和熱成像數(shù)據(jù)；

4、所述深度特征提取及缺陷檢測模塊用于引入動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)和自適應(yīng)上下文卷積，對(duì)所述融合后的特征圖進(jìn)行多尺度特征提取，獲得多尺度的特征信息，并根據(jù)所述多尺度的特征信息獲得風(fēng)機(jī)葉片缺陷檢測結(jié)果。

5、在本發(fā)明的一個(gè)實(shí)施例中，所述基于多模態(tài)感知的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)還包括數(shù)據(jù)采集模塊，所述數(shù)據(jù)采集模塊為攜帶有高清攝像機(jī)、紅外攝像機(jī)、激光雷達(dá)和熱成像設(shè)備的無人機(jī)，用于對(duì)風(fēng)機(jī)葉片進(jìn)行全面掃描，以獲得風(fēng)機(jī)葉片表面的可見光圖像、紅外圖像、激光雷達(dá)數(shù)據(jù)和熱成像數(shù)據(jù)；所述無人機(jī)還包括飛控?cái)?shù)據(jù)采集模塊，所述飛控?cái)?shù)據(jù)采集模塊用于對(duì)采集的可見光圖像、紅外圖像、激光雷達(dá)數(shù)據(jù)和熱成像數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊、時(shí)空同步和圖像匹配。

6、在本發(fā)明的一個(gè)實(shí)施例中，所述數(shù)據(jù)融合模塊包括預(yù)處理單元、特征提取單元和特征融合單元，其中，

7、所述預(yù)處理單元用于對(duì)所述可見光圖像、所述紅外圖像和所述熱成像數(shù)據(jù)進(jìn)行統(tǒng)一尺寸、直方圖均衡化和歸一化處理，以調(diào)整為統(tǒng)一尺寸并將圖像像素值均縮放至[0,1]；

8、所述預(yù)處理單元還用于將以點(diǎn)云形式存在的激光雷達(dá)數(shù)據(jù)轉(zhuǎn)換為二維圖像，并對(duì)所述二維圖像進(jìn)行統(tǒng)一尺寸、直方圖均衡化和歸一化處理，以調(diào)整為統(tǒng)一尺寸并將圖像像素值均縮放至[0,1]；

9、所述特征提取單元用于利用cnn特征提取網(wǎng)絡(luò)對(duì)不同模態(tài)的數(shù)據(jù)進(jìn)行特征提取，獲得不同模態(tài)的特征圖；

10、所述特征融合單元用于引入注意力機(jī)制，依據(jù)注意力權(quán)重對(duì)不同模態(tài)的特征圖進(jìn)行加權(quán)求和，獲得融合后的特征圖。

11、在本發(fā)明的一個(gè)實(shí)施例中，不同模態(tài)的數(shù)據(jù)分別輸入至獨(dú)立的cnn特征提取網(wǎng)絡(luò)中，所述cnn特征提取網(wǎng)絡(luò)包括十三個(gè)卷積層、十三個(gè)relu激活層、四個(gè)池化層以及一個(gè)全連接層，其中，

12、每個(gè)卷積層的后面添加一個(gè)relu激活層，第一個(gè)池化層添加至第二個(gè)relu激活層之后，第二個(gè)池化層添加至第四個(gè)relu激活層之后，第三個(gè)池化層添加至第七個(gè)relu激活層之后，第四個(gè)池化層添加至第十個(gè)relu激活層之后，并且所述全連接層添加至最后一個(gè)relu激活層之后。

13、在本發(fā)明的一個(gè)實(shí)施例中，所述特征融合單元在融合處理中引入注意力機(jī)制，動(dòng)態(tài)調(diào)整不同模態(tài)的數(shù)據(jù)在不同區(qū)域的注意力權(quán)重，依據(jù)注意力權(quán)重對(duì)不同模態(tài)的特征數(shù)據(jù)進(jìn)行加權(quán)求和，其中，所述注意力權(quán)重的計(jì)算公式為：

14、

15、其中，表示第m個(gè)模態(tài)的數(shù)據(jù)在位置(i,j)處的注意力權(quán)重，表示第m個(gè)模態(tài)的數(shù)據(jù)在位置(i,j)處的注意力權(quán)重的學(xué)習(xí)參數(shù)，為位置(i,j)處不同模態(tài)的特征數(shù)據(jù)，m∈{tif,irf,lidar,thermal}；

16、隨后，根據(jù)不同模態(tài)的特征數(shù)據(jù)與不同模態(tài)的注意力權(quán)重獲得融合后的特征圖：

17、

18、其中，表示融合后的特征圖在位置(i,j)處的像素值。

19、在本發(fā)明的一個(gè)實(shí)施例中，所述深度特征提取及缺陷檢測模塊包括深度特征提取單元、自適應(yīng)上下文卷積單元和檢測結(jié)果輸出單元，其中，

20、所述深度特征提取單元基于動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)，用于利用所述融合后的特征圖捕獲多尺度的特征信息；

21、所述自適應(yīng)上下文卷積單元引入自適應(yīng)權(quán)重調(diào)整和可變形卷積核機(jī)制，用于根據(jù)輸入的特征數(shù)據(jù)的不規(guī)則特征自動(dòng)調(diào)整卷積核的形狀和位置，并且通過上下文感知機(jī)制，綜合利用全局上下文和局部上下文特征獲得具有更多細(xì)節(jié)信息的特征向量；

22、所述檢測結(jié)果輸出單元用于根據(jù)所述具有更多細(xì)節(jié)信息的特征向量獲得風(fēng)機(jī)葉片的缺陷信息，所述缺陷信息包括缺陷類型、缺陷位置、缺陷概率。

23、在本發(fā)明的一個(gè)實(shí)施例中，所述動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)包括依次連接的多個(gè)卷積層、殘差塊和動(dòng)態(tài)多尺度卷積子單元，其中，

24、所述殘差塊的具體表達(dá)式為：

25、fresidual＝dmsc(relu(conv(finput)))，

26、其中，finput表示殘差塊的輸入特征，conv表示卷積操作，dmsc表示動(dòng)態(tài)多尺度卷積操作，fresidual表示殘差塊的輸出特征；

27、所述動(dòng)態(tài)多尺度卷積子單元進(jìn)行的動(dòng)態(tài)多尺度卷積操作的表達(dá)式為：

28、

29、其中，f′input表示動(dòng)態(tài)多尺度卷積子單元的輸入向量，αk為所述動(dòng)態(tài)多尺度卷積子單元中通過注意力機(jī)制生成的權(quán)重，wk表示第k個(gè)動(dòng)態(tài)卷積核的原始權(quán)重，conv(f′input,wk)表示使用第k個(gè)動(dòng)態(tài)卷積核的卷積操作，k表示動(dòng)態(tài)卷積核的數(shù)量，fdmsc表示動(dòng)態(tài)多尺度卷積子單元輸出的特征向量。

30、在本發(fā)明的一個(gè)實(shí)施例中，所述自適應(yīng)上下文卷積網(wǎng)絡(luò)單元具體用于：

31、引入一個(gè)5×5的平均池化層和一個(gè)1×1的卷積層，以實(shí)現(xiàn)對(duì)不同尺度卷積核的自適應(yīng)選擇；

32、使用可訓(xùn)練的卷積權(quán)重增量δw在訓(xùn)練過程中動(dòng)態(tài)調(diào)整每個(gè)卷積核的權(quán)重，以最大化特征提取的效果；

33、在卷積層中引入可變形卷積核，通過學(xué)習(xí)得到的偏移量調(diào)整卷積核的采樣位置，以適應(yīng)輸入數(shù)據(jù)中的非均勻、變形或不規(guī)則特征；

34、通過引入上下文感知機(jī)制，整合全局上下文特征和局部上下文特征，提升模型對(duì)場景和對(duì)象的感知能力。

35、本發(fā)明的另一方面提供了一種基于多模態(tài)感知的風(fēng)機(jī)葉片缺陷檢測方法，利用上述實(shí)施例中任一項(xiàng)所述的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)執(zhí)行，所述方法包括：

36、s1：獲取待檢測風(fēng)機(jī)葉片表面同一場景的多種模態(tài)的數(shù)據(jù)，所述多種模態(tài)的數(shù)據(jù)包括可見光圖像、紅外圖像、激光雷達(dá)數(shù)據(jù)和熱成像數(shù)據(jù)；

37、s2：對(duì)所述多種模態(tài)的數(shù)據(jù)進(jìn)行預(yù)處理以提高數(shù)據(jù)質(zhì)量；

38、s3：對(duì)預(yù)處理后的多種模態(tài)的數(shù)據(jù)進(jìn)行特征提取和特征融合，獲得融合后的特征圖；

39、s4：基于動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)，利用所述融合后的特征圖捕獲多尺度的特征信息；

40、s5：引入自適應(yīng)權(quán)重調(diào)整和可變形卷積核機(jī)制，根據(jù)輸入的特征數(shù)據(jù)的不規(guī)則特征自動(dòng)調(diào)整卷積核的形狀和位置，并且通過上下文感知機(jī)制，綜合利用全局上下文和局部上下文特征獲得具有更多細(xì)節(jié)信息的特征向量；

41、s6：根據(jù)所述具有更多細(xì)節(jié)信息的特征向量獲得風(fēng)機(jī)葉片的缺陷信息，所述缺陷信息包括缺陷類型、缺陷位置、缺陷概率。

42、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果有：

43、1、檢測更精確：本發(fā)明提供了一種基于多模態(tài)感知的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)及方法，通過多模態(tài)數(shù)據(jù)融合技術(shù)，結(jié)合可見光圖像、紅外圖像、激光雷達(dá)數(shù)據(jù)和熱成像數(shù)據(jù)，全面捕捉風(fēng)機(jī)葉片的細(xì)節(jié)信息，克服了單一模態(tài)檢測方法的局限性，提高了缺陷識(shí)別的精準(zhǔn)度。

44、2、適應(yīng)性強(qiáng)：通過動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)(dmscnet)和自適應(yīng)上下文卷積(acc)，系統(tǒng)能夠靈活調(diào)整卷積核尺寸和采樣位置，適應(yīng)不同尺度的特征，增強(qiáng)了對(duì)復(fù)雜背景和多樣缺陷的感知能力；全局上下文連接增強(qiáng)全局信息感知。

45、3、小目標(biāo)缺陷識(shí)別提升：動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)在殘差網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行特征提取，顯著提高了小目標(biāo)缺陷的檢測能力，確保在重建過程中保留更多細(xì)節(jié)信息，從而提高檢測精度。

46、4、減少信息丟失：通過引入動(dòng)態(tài)多尺度卷積和自適應(yīng)權(quán)重調(diào)整，本實(shí)施例的風(fēng)機(jī)葉片缺陷檢測系統(tǒng)能夠自適應(yīng)地選擇和調(diào)整卷積核，有效減少信息丟失，保持特征的完整性和準(zhǔn)確性，從而在復(fù)雜場景中實(shí)現(xiàn)更可靠的缺陷檢測。

47、5、全方位性能提升：本發(fā)明綜合運(yùn)用了多模態(tài)數(shù)據(jù)融合、動(dòng)態(tài)多尺度卷積網(wǎng)絡(luò)和自適應(yīng)上下文卷積網(wǎng)絡(luò)等技術(shù)，使得系統(tǒng)在各種復(fù)雜環(huán)境下均能保持高水平的檢測性能，顯著提升了對(duì)風(fēng)機(jī)葉片缺陷的全方位檢測能力。

48、以下將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。