本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域中的遙感目標(biāo)檢測問題，尤其是涉及一種基于上下文和注意力的遙感圖像小目標(biāo)檢測方法。

背景技術(shù)：

1、遙感目標(biāo)檢測作為一項重要的計算機視覺任務(wù)，廣泛應(yīng)用于智慧城市、海洋航運、國防安全和生態(tài)保護等領(lǐng)域。得益于深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)強大的特征表達能力在計算視覺領(lǐng)域取得了顯著成果，不少先進的目標(biāo)檢測算法被擴展應(yīng)用于遙感目標(biāo)檢測。相比一般的目標(biāo)檢測，遙感目標(biāo)檢測中存在目標(biāo)排列緊密、方向任意、小目標(biāo)等問題。以前的方法關(guān)注解決目標(biāo)方向任意的問題，但缺乏對小目標(biāo)問題的研究，其對遙感目標(biāo)檢測算法性能優(yōu)化具有極其重要的意義。

2、遙感目標(biāo)檢測作為目標(biāo)檢測的一個分支，主流方法通常將其視為旋轉(zhuǎn)目標(biāo)定位問題。其中，基于角度的檢測器占據(jù)主導(dǎo)地位，它們使用預(yù)測的角度來構(gòu)建旋轉(zhuǎn)矩形框。例如，scrdet、r3det、mask?obb以及oriented?r-cnn取得了良好的檢測性能。然而這些方法由于角度的周期有界性以及邊界框定義的限制，可能無法準確定位。csl、dcl使用圓形平滑標(biāo)記技術(shù)將角度回歸問題轉(zhuǎn)化為分類問題，取得了更加穩(wěn)定的效果。上述都是基于錨框的方法，近年來，無錨框的方法備受關(guān)注。fcos、oriented?reppoints等都是比較有代表的無錨框方法。與基于錨的方法相比，無錨框方法不需要對錨參數(shù)進行微調(diào)。而且，遙感圖像中物體的縱橫比變化較大，使得對錨參數(shù)調(diào)整比較困難。所以無錨框方法靈活性高，且計算復(fù)雜度低。與基于錨框的方法相比，無錨框方法具有更加靈活的特征表達方式。

3、針對小目標(biāo)問題，國內(nèi)外研究人員提出了一系列解決方法。主要可以分為數(shù)據(jù)增強方法、特征融合方法、超分辨率方法、基于上下文的方法、基于注意力的方法等。數(shù)據(jù)增強方法旨在解決數(shù)據(jù)集中小目標(biāo)數(shù)量不平衡，從而影響小目標(biāo)檢測性能的問題。其主要思路是增加小目標(biāo)實例的數(shù)量。特征融合方法是為了緩解深層特征和淺層特征的信息不平衡問題，以獲得更好的小目標(biāo)特征表示。超分辨率方法是為了豐富小目標(biāo)的信息，其主要采用生成對抗性網(wǎng)絡(luò)來生成有利于小目標(biāo)檢測的高質(zhì)量特征表示?；谏舷挛牡姆椒ㄊ抢媚繕?biāo)與環(huán)境的關(guān)系來促進對小目標(biāo)的識別?；谧⒁饬Φ姆椒ú捎米⒁饬C制來更好的檢測小目標(biāo)。在復(fù)雜的遙感場景下，實現(xiàn)對小目標(biāo)的優(yōu)越檢測性能不能僅依靠上述某一種方法。

4、現(xiàn)有的遙感目標(biāo)檢測方法對小目標(biāo)的檢測性能普遍較低。小目標(biāo)自身像素少，加之現(xiàn)在的方法都依賴于標(biāo)準的深度神經(jīng)主干網(wǎng)絡(luò)(resnet,darknet53等)來提取特征，使用特征金字塔網(wǎng)絡(luò)(fpn)作為特征融合網(wǎng)絡(luò)進行特征融合。不可否認，這些標(biāo)準設(shè)置在目標(biāo)檢測領(lǐng)域取得了一定的成效。然而，這些標(biāo)準設(shè)置在檢測小目標(biāo)存在以下幾點問題：第一，主干網(wǎng)絡(luò)對小目標(biāo)的特征信息提取不充分；第二，使用fpn進行特征融合時，小目標(biāo)存在信息丟失、特征錯位問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于上下文和注意力的遙感圖像小目標(biāo)檢測方法。首先，通過設(shè)計的主干網(wǎng)絡(luò)eresnet50來充分提取小目標(biāo)的特征信息。eresnet50結(jié)合了可切換卷積、上下文以及注意力，可以自適應(yīng)地調(diào)整感受野的大小。其次，將提取的特征送入設(shè)計的特征融合網(wǎng)絡(luò)am-fpn進行特征融合。am-fpn采用自注意力機制建立起相鄰特征層的語義和空間依賴關(guān)系，可以有效緩解小目標(biāo)特征錯位問題。而且，am-fpn通過自注意力機制捕獲當(dāng)前層特征的各子區(qū)域之間的語義和空間依賴關(guān)系，以保留和擴展通道信息，可以有效緩解小目標(biāo)信息丟失問題。最后，將經(jīng)過am-fpn得到的更有效的特征用于后續(xù)的分類和回歸任務(wù)。由于注意力和上下文的引入，盡可能有效保存了小目標(biāo)的特征信息，提高了小目標(biāo)特征的鑒別能力和回歸能力，從而提升了小目標(biāo)的檢測精度。

2、本發(fā)明具體采用如下技術(shù)方案：

3、提出了一種基于上下文和注意力的遙感圖像小目標(biāo)檢測方法，該方法的主要特征在于：

4、a.提出基于可切換卷積和se注意力的主干網(wǎng)絡(luò)eresnet50；

5、b.提出基于自注意力機制和上下文的特征融合網(wǎng)絡(luò)am-fpn；

6、c.提出一種結(jié)合主干網(wǎng)絡(luò)eresnet50、特征融合網(wǎng)絡(luò)am-fpn以及無錨框檢測頭的遙感圖像小目標(biāo)檢測方法；

7、如圖1所示，該方法主要包括以下步驟：

8、(1)通過主干網(wǎng)絡(luò)eresnet50來提取小目標(biāo)的特征信息，得到特征f1、f2、f3和f4。

9、(2)使用特征融合網(wǎng)絡(luò)am-fpn對提取的特征進行特征融合，其中特征f1、f2和f3先通過上下文注意力模塊cxam，再通過1×1卷積進行橫向連接；然后自上而下與經(jīng)上下文內(nèi)容注意力模塊cnam的上一級特征進行2倍上采樣，并相加融合得到更有效的特征p1、p2和p3。特征f4直接輸出得到p4，2倍降采樣得到特征p5。

10、(3)將經(jīng)過主干網(wǎng)絡(luò)eresnet50和特征融合網(wǎng)絡(luò)am-fpn得到的特征送入共享檢測頭進行分類和回歸。共享檢測頭是無錨框的，使用的是基線方法的檢測頭。

技術(shù)特征：

1.一種基于上下文和注意力的遙感圖像小目標(biāo)檢測方法，其特征在于：

2.如權(quán)利要求1所述的基于可切換卷積和se注意力的主干網(wǎng)絡(luò)eresnet50，其特征在于在步驟(1)中，設(shè)計主干網(wǎng)絡(luò)eresnet50中的殘差塊((即conv2_x、conv3_x、conv4_x和conv5_x)，設(shè)計方法如下：

3.根據(jù)權(quán)利要求1所述的基于自注意力機制和上下文的特征融合網(wǎng)絡(luò)am-fpn，其特征在于在步驟(2)中構(gòu)建特征融合網(wǎng)絡(luò)am-fpn，構(gòu)建方法如下：

4.根據(jù)權(quán)利要求1所述的結(jié)合主干網(wǎng)絡(luò)eresnet50、特征融合網(wǎng)絡(luò)am-fpn以及無錨框檢測頭的遙感圖像小目標(biāo)檢測方法，其特征在于在步驟(3)中結(jié)合步驟(1)中的主干網(wǎng)絡(luò)eresnet50和步驟(2)中的特征融合網(wǎng)絡(luò)am-fpn對小目標(biāo)信息進行充分挖掘；主干網(wǎng)絡(luò)eresnet50充分提取了小目標(biāo)的特征信息，而特征融合網(wǎng)絡(luò)am-fpn讓小目標(biāo)獲取了更多的來自深層特征層的語義信息，且盡可能地保留了小目標(biāo)本身的特征；加之步驟(3)中使用的無錨框檢測頭使用自適應(yīng)點集來捕獲小目標(biāo)的固有幾何結(jié)構(gòu)，可以更加細粒度地表征小目標(biāo)特征；這些方法都有效提升了小目標(biāo)的檢測精度。

技術(shù)總結(jié)
本發(fā)明公開了一種基于上下文和注意力的遙感圖像小目標(biāo)檢測方法。該方法包括以下步驟：首先，通過設(shè)計的主干網(wǎng)絡(luò)EResNet50來充分提取小目標(biāo)的特征信息。EResNet50結(jié)合了可切換卷積、上下文以及注意力，可以自適應(yīng)地調(diào)整感受野的大小。其次，將提取的特征送入設(shè)計的特征融合網(wǎng)絡(luò)AM?FPN進行特征融合。AM?FPN通過自注意力機制建立當(dāng)前特征層各子區(qū)域以及相鄰特征層之間的語義和空間依賴關(guān)系，可以有效緩解小目標(biāo)特征錯位和信息丟失問題。最后，將經(jīng)過AM?FPN得到的更有效的特征用于后續(xù)的分類和回歸任務(wù)。本發(fā)明所提方法有效提升了小目標(biāo)檢測精度，在智慧城市、海洋航運以及國防安全等方面具有廣闊的應(yīng)用前景。

技術(shù)研發(fā)人員：何小海,張明智,滕奇志,牛通,陳洪剛,吳小強
受保護的技術(shù)使用者：四川大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9