本發(fā)明涉及圖像數(shù)據(jù)處理，具體而言，尤其涉及一種基于多模態(tài)的遙感海上風(fēng)車識(shí)別方法。

背景技術(shù)：

1、隨著全球?qū)稍偕茉葱枨蟮牟粩嘣鲩L，海上風(fēng)力發(fā)電成為重要的新能源來源之一。海上風(fēng)車通過利用海上強(qiáng)勁而穩(wěn)定的風(fēng)力來發(fā)電，在減排和降低對(duì)化石能源依賴方面起到了至關(guān)重要的作用。然而，海上風(fēng)車的大規(guī)模建設(shè)與運(yùn)維也帶來了相應(yīng)的技術(shù)挑戰(zhàn)，特別是在監(jiān)測(cè)和管理風(fēng)車位置、狀態(tài)等方面。為了實(shí)現(xiàn)自動(dòng)化、精準(zhǔn)化的海上風(fēng)車監(jiān)測(cè)，遙感技術(shù)成為解決方案中的重要一環(huán)。

2、傳統(tǒng)的海上風(fēng)車監(jiān)測(cè)主要依賴光學(xué)影像，這種方法在白天或天氣狀況良好的情況下可以提供清晰的視覺信息，適用于海上風(fēng)車的精確定位與外觀監(jiān)測(cè)。然而，光學(xué)影像在云層遮擋、夜間或惡劣天氣下表現(xiàn)較差，影響了其全天候的監(jiān)測(cè)能力。相比之下，合成孔徑雷達(dá)(sar)影像憑借其全天時(shí)、全天候的成像優(yōu)勢(shì)，可以在不受天氣條件影響的情況下獲取地面信息，逐漸成為海上風(fēng)車監(jiān)測(cè)的有效工具之一。sar影像特別擅長于海洋環(huán)境中的物體檢測(cè)，能夠通過其高分辨率影像捕捉到海上風(fēng)車的特征。然而，單一的sar影像在分辨率和細(xì)節(jié)呈現(xiàn)上，仍不如光學(xué)影像，特別是在物體的精細(xì)形態(tài)和結(jié)構(gòu)特征識(shí)別上存在局限。

3、現(xiàn)有的海上風(fēng)車識(shí)別專利通常集中在單一模態(tài)下進(jìn)行風(fēng)車檢測(cè)，要么是基于光學(xué)影像，要么是基于sar影像。這些方法雖然在各自的應(yīng)用場(chǎng)景中表現(xiàn)出色，但由于兩種影像各有優(yōu)勢(shì)和劣勢(shì)，難以在所有條件下都取得穩(wěn)定和高精度的監(jiān)測(cè)結(jié)果。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提出一種基于多模態(tài)的遙感海上風(fēng)車識(shí)別方法，以解決現(xiàn)有海上風(fēng)車識(shí)別技術(shù)無法同時(shí)應(yīng)用光學(xué)影像與sar影像的技術(shù)問題。

2、本發(fā)明采用的技術(shù)手段如下：

3、一種基于多模態(tài)的遙感海上風(fēng)車識(shí)別方法，包括如下步驟：

4、s1、在遙感影像庫中，獲取同一區(qū)域的光學(xué)影像和sar影像；

5、s2、將光學(xué)影像進(jìn)行輻射定標(biāo)、大氣校正和幾何校正處理，對(duì)sar影像進(jìn)行復(fù)數(shù)數(shù)據(jù)轉(zhuǎn)換、濾波和地理編碼操作，之后對(duì)光學(xué)影像和sar影像進(jìn)行重采樣，使光學(xué)影像和sar影像具有相同分辨率；

6、s3、在s2處理后的光學(xué)影像中標(biāo)注海上風(fēng)車的中心點(diǎn)和半徑作為訓(xùn)練樣本集的標(biāo)注文件；從s2處理后的光學(xué)影像和sar影像中分別切取以中心點(diǎn)為切圖中心的圖像塊，形成訓(xùn)練樣本集；

7、s4、將訓(xùn)練樣本集輸入到多模態(tài)海上風(fēng)車識(shí)別模型進(jìn)行訓(xùn)練以提高多模態(tài)海上風(fēng)車識(shí)別模型的擬合度，得到訓(xùn)練后的多模態(tài)海上風(fēng)車識(shí)別模型；

8、s5、將目標(biāo)圖像輸入至訓(xùn)練后的多模態(tài)海上風(fēng)車識(shí)別模型中，輸出海上風(fēng)車識(shí)別結(jié)果，識(shí)別結(jié)果包含風(fēng)車在遙感影像中的位置信息；基于識(shí)別結(jié)果，通過對(duì)sar影像上海上風(fēng)車葉片的亮點(diǎn)進(jìn)行形態(tài)學(xué)分析和幾何計(jì)算，得到海上風(fēng)車位置、朝向信息。

9、進(jìn)一步地，s4中，所述多模態(tài)海上風(fēng)車識(shí)別模型由光學(xué)影像分支和sar影像分支組成，包括輸入層、卷積層、池化層、特征融合層和輸出層。

10、進(jìn)一步地，s4具體包括如下步驟：

11、s41、將所述訓(xùn)練樣本集通過多模態(tài)海上風(fēng)車識(shí)別模型的輸入層輸入到卷積層進(jìn)行特征提取，得到特征圖；

12、s42、將特征圖進(jìn)行最大池化操作，池化減少特征圖的尺寸；

13、s43、將s42處理后的的特征圖在通道維度上進(jìn)行拼接，生成融合特征圖；

14、s44、在融合特征圖上生成候選區(qū)域，通過滑動(dòng)窗口技術(shù)生成位置回歸向量和目標(biāo)分類分?jǐn)?shù)，對(duì)區(qū)域建議網(wǎng)絡(luò)生成的候選框進(jìn)行roi池化操作，將不同大小的候選框標(biāo)準(zhǔn)化為固定尺寸，經(jīng)過全連接層后，對(duì)池化后的特征圖進(jìn)行分類，通過回歸器調(diào)整邊界框的位置和大小，得到最終的風(fēng)車檢測(cè)結(jié)果。

15、進(jìn)一步地，s3具體包括如下步驟：

16、s31、根據(jù)風(fēng)車的位置，在sar影像中標(biāo)注每個(gè)風(fēng)車的中心點(diǎn)(x,y)和標(biāo)注的風(fēng)車半徑r1，用于確定風(fēng)車范圍，生成標(biāo)注文件；

17、s32、分別以中心點(diǎn)(x,y)和切圖半徑r2，同時(shí)在光學(xué)影像和sar影像上切圖，生成圖像塊。

18、進(jìn)一步地，s5中，進(jìn)行形態(tài)學(xué)分析和幾何計(jì)算的步驟如下：

19、s51、在sar影像中使用閾值分割和結(jié)合形態(tài)學(xué)操作的方法來提取亮點(diǎn)特征，設(shè)定一個(gè)閾值t，將sar影像中大于t的像素點(diǎn)標(biāo)記為亮點(diǎn)，公式如下：

20、

21、其中，i(x,y)是原始sar影像的像素值，i′(x,y)是二值化后的圖像；

22、s52、通過形態(tài)學(xué)開運(yùn)算去除噪聲，保留風(fēng)車葉片的三個(gè)亮點(diǎn)，設(shè)結(jié)構(gòu)元素為b，開運(yùn)算定義為：

23、

24、其中，表示腐蝕操作，表示膨脹操作，iopen表示開運(yùn)算后的圖像；

25、s53、通過s52得到三個(gè)亮點(diǎn)的坐標(biāo)，分別為(x1,y1)，(x2,y2)，(x3,y3)，來判斷這三個(gè)亮點(diǎn)所構(gòu)成的排列形式；

26、s54、基于s53所判斷的排列形式進(jìn)行風(fēng)車朝向的計(jì)算。

27、進(jìn)一步地，判斷三個(gè)亮點(diǎn)所構(gòu)成的排列形式的方法如下：

28、若滿足第一規(guī)則，則為直線排列；若滿足第二規(guī)則，則為等腰三角形排列；

29、第一規(guī)則的判斷條件如下：

30、對(duì)于任意兩個(gè)(x1,y1)和(x2,y2)之間的斜率為：

31、

32、計(jì)算另外兩點(diǎn)之間的斜率m13和m23，若三個(gè)點(diǎn)排列為直線，斜率應(yīng)滿足：

33、|m12-m13|≈0且|m12-m23|≈0

34、第二規(guī)則的判斷條件如下：

35、點(diǎn)(x1,y1)和(x2,y2)之間的距離為：

36、

37、計(jì)算另外兩點(diǎn)之間的距離d13和d23，若三個(gè)點(diǎn)為等腰三角形排列，距離應(yīng)滿足：

38、d12≈d13或d12≈d23或d13≈d23。

39、進(jìn)一步地，s54具體包括如下步驟：

40、對(duì)于第一規(guī)則，風(fēng)車朝向計(jì)算方式如下：

41、

42、其中，θ為風(fēng)車朝向；

43、對(duì)于第二規(guī)則，風(fēng)車朝向計(jì)算方式如下：

44、計(jì)算三角形的重心g，計(jì)算公式為：

45、

46、設(shè)底邊為(x1,y1)和(x2,y2)之間的線段，則底邊的中點(diǎn)為則風(fēng)車朝向計(jì)算方式如下：

47、

48、其中，gx和gy表示等腰三角形的重心的x坐標(biāo)和y坐標(biāo),mx和my分別表示底邊中點(diǎn)的x坐標(biāo)和y坐標(biāo)。

49、本發(fā)明還提供了一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，所述程序運(yùn)行時(shí)，執(zhí)行上述任一項(xiàng)基于多模態(tài)的遙感海上風(fēng)車識(shí)別方法。

50、本發(fā)明還提供了一種電子裝置，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器通過所述計(jì)算機(jī)程序運(yùn)行執(zhí)行上述任一項(xiàng)基于多模態(tài)的遙感海上風(fēng)車識(shí)別方法。

51、較現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

52、本發(fā)明通過融合光學(xué)影像和sar影像的特征，充分利用兩種數(shù)據(jù)的互補(bǔ)性，增強(qiáng)了風(fēng)車檢測(cè)的魯棒性和精度。光學(xué)影像能夠提供清晰的視覺信息，而sar影像則能夠在復(fù)雜天氣條件下，如云層或夜間，仍然清晰捕捉風(fēng)車的反射特征。兩者的聯(lián)合使用克服了單一模態(tài)影像的局限性，特別是在低可見度情況下，提高了風(fēng)車檢測(cè)的整體表現(xiàn)。

53、本發(fā)明通過使用風(fēng)車的中心點(diǎn)和半徑來切取sar和光學(xué)影像的局部區(qū)域，實(shí)現(xiàn)了圖像的精確對(duì)齊，簡(jiǎn)化了傳統(tǒng)的幾何配準(zhǔn)操作，減少了計(jì)算量并提升了處理效率。同時(shí)，該方法確保了不同模態(tài)影像中的風(fēng)車目標(biāo)保持一致性。

54、本發(fā)明提出了利用sar影像中的亮點(diǎn)特征來判斷風(fēng)車朝向的方法。通過對(duì)風(fēng)車葉片的亮點(diǎn)進(jìn)行形態(tài)學(xué)分析和幾何計(jì)算，可以精準(zhǔn)判定風(fēng)車的朝向信息。