本發(fā)明屬于遙感圖像處理，尤其涉及一種用于城市海岸邊sar圖像船舶檢測的通用多層次融合注意力模型。

背景技術(shù)：

1、合成孔徑雷達sar是一種高分辨率成像雷達，特點是分辨率高，能全天，全天候的工作，能有效地識別偽裝和穿透掩蓋物。近年來，由于神經(jīng)網(wǎng)絡(luò)在特征提取方面表現(xiàn)較好，各領(lǐng)域?qū)ι窠?jīng)網(wǎng)絡(luò)的研究愈發(fā)深入，基于深度學(xué)習(xí)的目標檢測方法廣泛應(yīng)用于sar船舶檢測。然而，在sar圖像中的艦船目標，由于船舶的多尺度、多角度特性，小型船只與大型船只相比，占據(jù)的像素較少，對比度較低；在多尺度船舶檢測時，船舶在sar圖像中的散射特性會導(dǎo)致船舶的輪廓不明確，尤其在城市海岸情況下，復(fù)雜的城市海岸背景突出，船舶更加不明顯，常見的sar目標檢測方法往往只關(guān)注船舶的局部特征，忽略了圖像上下文之間的關(guān)系，增加了圖像中多尺度艦船檢測的難度。因此，設(shè)計一種能多層次突出船舶重要特征，降低船舶檢測難度的用于城市海岸邊sar圖像船舶檢測的通用多層次融合注意力模型成為了急需解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明為解決上述問題，提供了一種用于城市海岸邊sar圖像船舶檢測的通用多層次融合注意力模型。

2、本發(fā)明的技術(shù)方案，一種用于城市海岸邊sar圖像船舶檢測的通用多層次融合注意力模型，建立步驟如下，

3、步驟1，建立深度特征提取子模塊dfem；

4、步驟2，建立包含多層感知機mlp的通道多層注意力融合子模塊cmafm與空間多層注意力融合子模塊smafm；

5、步驟3，將dfem子模塊分別與cmafm、smafm子模塊相鏈接，形成通道多層次注意力分支和空間多層次注意力分支；

6、步驟4，結(jié)合通道多層次注意力分支和空間多層次注意力分支，建立初步模型，并與現(xiàn)有sar圖像船舶檢測網(wǎng)絡(luò)相結(jié)合，形成基于mfam的sar圖像船舶檢測網(wǎng)絡(luò)；

7、步驟5，收集歷史sar圖像檢測數(shù)據(jù)形成數(shù)據(jù)集，并劃分為訓(xùn)練集和測試集，設(shè)置訓(xùn)練參數(shù)，用訓(xùn)練集對有無mfam的檢測網(wǎng)絡(luò)進行訓(xùn)練并得到通用多層次融合注意力模型mfam，將測試集中的sar圖像分別輸入mfam進行檢測。

8、作為本發(fā)明的進一步改進，所述dfem子模塊以核大小為3×3的卷積提取深層特征，依次執(zhí)行relu函數(shù)和批量歸一化操作，再通過最大池化操作進行下采樣，大小為淺層特征圖的一半，使用兩次得到多尺度特征圖。

9、作為本發(fā)明的進一步改進，所述多層感知機mlp執(zhí)行卷積操作將特征圖的通道數(shù)改變?yōu)樵瓉淼?/r，r為縮減率，再依次執(zhí)行批量歸一化操作和relu函數(shù)對數(shù)據(jù)進行歸一化激活，之后通過卷積層改變原始通道數(shù)，使用sigmoid激活函數(shù)得到通道注意力圖。

10、作為本發(fā)明的進一步改進，所述cmafm子模塊將多尺度特征圖輸入，壓縮輸入特征圖的空間維度，通過輸入dfem子模塊得到的多尺度特征圖，進行平均池化和最大池化，在維度上對每層的特征進行壓縮，得到兩個大小為c×1×1的特征圖；再利用多層感知機mlp對平均池化和最大池化的結(jié)果進行處理，處理公式為，

11、{c}_{1}=bn\left [ {\sum ^{3}_{i=1} {mlp\left ( {maxpool\left ( {{f}_{i}} \right )} \right )}} \right ]?????（1）

12、{c}_{2}=bn\left [ {\sum ^{3}_{i=1} {mlp\left ( {avgpool\left ( {{f}_{i}} \right )} \right )}} \right ]???（2）

13、?????????（3）

14、其中i?=?{1,2,3}，maxpool表示最大池化操作，avgpool表示平均池化操作，bn表示批歸一化操作，sigmoid為激活函數(shù)。

15、作為本發(fā)明的進一步改進，所述smafm子模塊通過dfem子模塊提取的三個不同層次的特征映射并輸入，生成空間注意塊；再沿著每一層特征圖的通道方向分別應(yīng)用最大池化和平均池化生成兩個大小為1×h×w的特征圖，將每一層的特征圖相加堆疊成一個大小為2×h×w的特征描述符；將特征描述符在批量歸一化層進行歸一化處理，使用通道數(shù)為1的標準卷積層進行連接和卷積，調(diào)整通道數(shù)；然后使用sigmoid激活函數(shù)獲得空間注意圖，得到輸入特征圖中每個特征點的權(quán)重值，該權(quán)重值介于0到1之間；該smafm子模塊的表示公式為，

16、??????????????????????（1）

17、????????????????????（2）

18、?（3）

19、其中i?=?{1,2,3}，?maxpool表示最大池化操作，avgpool表示平均池化操作，sigmoid為激活函數(shù)，表示對特征圖進行2i-1倍的上采樣，bn表示批量歸一化操作，con7×7表示卷積核為7×7卷積層。

20、作為本發(fā)明的進一步改進，所述現(xiàn)有sar圖像船舶檢測網(wǎng)絡(luò)包括faster-rcnn與retinanet；所述檢測網(wǎng)絡(luò)訓(xùn)練基于pytorch框架，使用隨機梯度下降方法進行訓(xùn)練，訓(xùn)練采用的權(quán)重衰減為0.0005，動量為0.9，學(xué)習(xí)率為0.005。

21、采用上述方法后，通過設(shè)計3個子模塊dfem、cmafm與smafm，構(gòu)建構(gòu)建通道多層次注意力分支和空間多層次注意力分支，通過這兩個分支構(gòu)建出多層次融合注意力模型mfam。

22、先利用dfem提取具有不同分辨率和語義信息的豐富特征，能突出圖像中不同尺度的艦船目標，抑制城市海岸背景，通過依次執(zhí)行relu函數(shù)和批量歸一化操作，規(guī)范化數(shù)據(jù)并優(yōu)化參數(shù)，通過最大池化操作進行下采樣，在保留特征的情況下減少參數(shù)，防止過擬合，并提高模型的泛化能力。

23、通過引入多層感知機mlp可以使特征區(qū)域的卷積被采樣，以增強特征區(qū)域的學(xué)習(xí)，沿著特征圖的通道維度輸出權(quán)重，實現(xiàn)減少參數(shù)開銷，有助于得到多層分支中，不同層次的特征信息重要性；通過依次執(zhí)行批量歸一化操作和relu函數(shù)對數(shù)據(jù)進行歸一化激活，加快網(wǎng)絡(luò)的收斂速度，防止梯度爆炸、梯度消失和過擬合。

24、然后，由cmafm和smafm來融合不同層次特征圖上的通道注意力塊和空間注意力塊，更好地學(xué)習(xí)來自通道和空間維度的依賴特征，以增強特征表示；通過cmafm子模塊確定通道的多層分支中，哪一層次的特征信息更重要，由最大池化取池化區(qū)域內(nèi)像素的最大值，得到對紋理特征信息更敏感的特征圖，由平均池化取池化區(qū)域內(nèi)圖像的平均值得到對背景信息更加敏感的特征信息，二者結(jié)合能增強圖像的特征；通過smafm子模塊將最大池化和平均池化生成的特征圖堆疊，得到特征描述符，再經(jīng)過標準卷積層與sigmoid激活函數(shù)處理，得到空間注意圖，能聚焦輸入圖像中較重要的部分信息，增強船舶的位置信息，弱化不重要的特征信息。

25、附圖說明

26、圖1為本發(fā)明的通用多層次融合注意力模塊mfam結(jié)構(gòu)圖。

27、圖2為本發(fā)明的dfem子模塊結(jié)構(gòu)圖。

28、圖3為本發(fā)明的多層感知機mlp結(jié)構(gòu)圖。

29、圖4為本發(fā)明的cmafm子模塊結(jié)構(gòu)圖。

30、圖5為本發(fā)明的smafm子模塊結(jié)構(gòu)圖。

31、圖6為通用檢測模型的結(jié)果對照圖。

32、圖7為結(jié)果對照圖的圖像轉(zhuǎn)換評價指標表。

33、具體實施方式

34、如圖1-5所示一種用于城市海岸邊sar圖像船舶檢測的通用多層次融合注意力模型，建立步驟如下，

35、步驟1，建立深度特征提取子模塊dfem；

36、步驟2，建立包含多層感知機mlp的通道多層注意力融合子模塊cmafm與空間多層注意力融合子模塊smafm；

37、步驟3，將dfem子模塊分別與cmafm、smafm子模塊相鏈接，形成通道多層次注意力分支和空間多層次注意力分支；

38、步驟4，結(jié)合通道多層次注意力分支和空間多層次注意力分支，建立初步模型，并與現(xiàn)有sar圖像船舶檢測網(wǎng)絡(luò)相結(jié)合，形成基于mfam的sar圖像船舶檢測網(wǎng)絡(luò)；

39、步驟5，收集歷史sar圖像檢測數(shù)據(jù)形成數(shù)據(jù)集，并劃分為訓(xùn)練集和測試集，設(shè)置訓(xùn)練參數(shù)，用訓(xùn)練集對有無mfam的檢測網(wǎng)絡(luò)進行訓(xùn)練并得到通用多層次融合注意力模型mfam，將測試集中的sar圖像分別輸入mfam進行檢測。

40、所述dfem子模塊以核大小為3×3的卷積提取深層特征，依次執(zhí)行relu函數(shù)和批量歸一化操作，再通過最大池化操作進行下采樣，大小為淺層特征圖的一半，使用兩次得到多尺度特征圖。

41、所述多層感知機mlp執(zhí)行卷積操作將特征圖的通道數(shù)改變?yōu)樵瓉淼?/r，r為縮減率，再依次執(zhí)行批量歸一化操作和relu函數(shù)對數(shù)據(jù)進行歸一化激活，之后通過卷積層改變原始通道數(shù)，使用sigmoid激活函數(shù)得到通道注意力圖。

42、所述cmafm子模塊將多尺度特征圖輸入，壓縮輸入特征圖的空間維度，通過輸入dfem子模塊得到的多尺度特征圖，進行平均池化和最大池化，在維度上對每層的特征進行壓縮，得到兩個大小為c×1×1的特征圖；再利用多層感知機mlp對平均池化和最大池化的結(jié)果進行處理，處理公式為，

43、{c}_{1}=bn\left [ {\sum ^{3}_{i=1} {mlp\left ( {maxpool\left ( {{f}_{i}} \right )} \right )}} \right ]?????（1）

44、{c}_{2}=bn\left [ {\sum ^{3}_{i=1} {mlp\left ( {avgpool\left ( {{f}_{i}} \right )} \right )}} \right ]???（2）

45、?????????（3）

46、其中i?=?{1,2,3}，maxpool表示最大池化操作，avgpool表示平均池化操作，bn表示批歸一化操作，sigmoid為激活函數(shù)。

47、所述smafm子模塊通過dfem子模塊提取的三個不同層次的特征映射并輸入，生成空間注意塊；再沿著每一層特征圖的通道方向分別應(yīng)用最大池化和平均池化生成兩個大小為1×h×w的特征圖，將每一層的特征圖相加堆疊成一個大小為2×h×w的特征描述符；將特征描述符在批量歸一化層進行歸一化處理，使用通道數(shù)為1的標準卷積層進行連接和卷積，調(diào)整通道數(shù)；然后使用sigmoid激活函數(shù)獲得空間注意圖，得到輸入特征圖中每個特征點的權(quán)重值，該權(quán)重值介于0到1之間；該smafm子模塊的表示公式為，

48、??????????????????????（1）

49、????????????????????（2）

50、?（3）

51、其中i?=?{1,2,3}，?maxpool表示最大池化操作，avgpool表示平均池化操作，sigmoid為激活函數(shù)，表示對特征圖進行2i-1倍的上采樣，bn表示批量歸一化操作，con7×7表示卷積核為7×7卷積層。

52、所述現(xiàn)有sar圖像船舶檢測網(wǎng)絡(luò)包括faster-rcnn與retinanet；所述檢測網(wǎng)絡(luò)訓(xùn)練基于pytorch框架，使用隨機梯度下降方法進行訓(xùn)練，訓(xùn)練采用的權(quán)重衰減為0.0005，動量為0.9，學(xué)習(xí)率為0.005。

53、通過設(shè)計3個子模塊dfem、cmafm與smafm，構(gòu)建構(gòu)建通道多層次注意力分支和空間多層次注意力分支，通過這兩個分支構(gòu)建出多層次融合注意力模型mfam。

54、先利用dfem提取具有不同分辨率和語義信息的豐富特征，能突出圖像中不同尺度的艦船目標，抑制城市海岸背景，通過依次執(zhí)行relu函數(shù)和批量歸一化操作，規(guī)范化數(shù)據(jù)并優(yōu)化參數(shù)，通過最大池化操作進行下采樣，在保留特征的情況下減少參數(shù)，防止過擬合，并提高模型的泛化能力。

55、通過引入多層感知機mlp可以使特征區(qū)域的卷積被采樣，以增強特征區(qū)域的學(xué)習(xí)，沿著特征圖的通道維度輸出權(quán)重，實現(xiàn)減少參數(shù)開銷，有助于得到多層分支中，不同層次的特征信息重要性；通過依次執(zhí)行批量歸一化操作和relu函數(shù)對數(shù)據(jù)進行歸一化激活，加快網(wǎng)絡(luò)的收斂速度，防止梯度爆炸、梯度消失和過擬合。

56、然后，由cmafm和smafm來融合不同層次特征圖上的通道注意力塊和空間注意力塊，更好地學(xué)習(xí)來自通道和空間維度的依賴特征，以增強特征表示；通過cmafm子模塊確定通道的多層分支中，哪一層次的特征信息更重要，由最大池化取池化區(qū)域內(nèi)像素的最大值，得到對紋理特征信息更敏感的特征圖，由平均池化取池化區(qū)域內(nèi)圖像的平均值得到對背景信息更加敏感的特征信息，二者結(jié)合能增強圖像的特征；通過smafm子模塊將最大池化和平均池化生成的特征圖堆疊，得到特征描述符，再經(jīng)過標準卷積層與sigmoid激活函數(shù)處理，得到空間注意圖，能聚焦輸入圖像中較重要的部分信息，增強船舶的位置信息，弱化不重要的特征信息。

57、如附圖6所示，其中a組是作為參照的目標檢測圖，b組為faster-rcnn檢測結(jié)果，c組為faster-rcnn+mfam檢測結(jié)果，d組為retinanet檢測結(jié)果，e組為retinanet+mfam檢測結(jié)果；現(xiàn)有檢測網(wǎng)絡(luò)加入mfam后檢測效果有了很大的提升，在b組中faster-rcnn檢測存在冗余框，c組加入mfam后對冗余框進行過濾，d組中retinanet檢測存在缺失，e組加入mfam后，對小型船舶有了更強的識別能力；如附圖7所示，在將圖像轉(zhuǎn)換為指標后，加入mfam后的檢測模型，其指標相對fast-rcnn中提升了3.2%，相對retinanet中提升了2.3%，檢測效果存在明顯改善。