本發(fā)明屬于圖像處理，特別涉及一種融合認(rèn)知特征的遙感圖像旋轉(zhuǎn)小目標(biāo)檢測(cè)方法。

背景技術(shù)：

1、目標(biāo)檢測(cè)分類旨在從給定的場(chǎng)景圖像或視頻中精確找到目標(biāo)對(duì)象所在位置，并標(biāo)注出目標(biāo)的類別，準(zhǔn)確描述目標(biāo)的位置和類別信息。目前，國內(nèi)外學(xué)者針對(duì)遙感圖像目標(biāo)檢測(cè)分類方法開展了大量研究，根據(jù)特征提取方法的不同，主要可以分為2大類，即基于手工設(shè)計(jì)特征的傳統(tǒng)方法、基于深度學(xué)習(xí)的方法。

2、(1)基于手工設(shè)計(jì)特征的傳統(tǒng)方法

3、傳統(tǒng)的目標(biāo)檢測(cè)分類方法主要依賴手工設(shè)計(jì)特征提取器和分類器來實(shí)現(xiàn)目標(biāo)檢測(cè)任務(wù)。常用的手工設(shè)計(jì)特征有灰度統(tǒng)計(jì)特征(如直方圖、hog等)、幾何結(jié)構(gòu)特征(如sift、surf等)、變換特征(fft、hough變換、小波變換等)和代數(shù)特征(如pca、ica等)。例如，孫瞧等人提出了基于方向梯度直方圖(hog)和支持向量機(jī)(svm)的艦船檢測(cè)分類方法；姬曉飛等人提出了基于尺度縮放不變特征(sift)和支持向量機(jī)(svm)的多目標(biāo)檢測(cè)分類算法。然而基于手工設(shè)計(jì)特征的目標(biāo)檢測(cè)分類識(shí)別方法受特征選擇影響大，且特征表達(dá)能力較弱、泛化能力和魯棒性較差，目標(biāo)檢測(cè)分類性能有待提高。

4、(2)基于深度學(xué)習(xí)的方法

5、深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用，主要得益于其強(qiáng)大的特征提取能力和端到端的訓(xùn)練方式。與傳統(tǒng)的目標(biāo)檢測(cè)方法相比，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法在準(zhǔn)確性和魯棒性方面均具有一定優(yōu)勢(shì)。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)不斷發(fā)展，從早期的基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的目標(biāo)檢測(cè)方法，包括rcnn系列雙階段方法和yolo、ssd等單階段方法，再到最近興起的基于transformer的目標(biāo)檢測(cè)方法。

6、基于transformer的目標(biāo)檢測(cè)方法主要依賴全局注意力機(jī)制來建模圖像特征，在全局特征建模方面具有優(yōu)勢(shì)，但在局部特征建模、計(jì)算資源需求、訓(xùn)練數(shù)據(jù)需求方面存在巨大挑戰(zhàn)，導(dǎo)致其在檢測(cè)尺度相對(duì)較小的目標(biāo)上表現(xiàn)不佳。因此，現(xiàn)階段低分辨率遙感圖像小目標(biāo)檢測(cè)任務(wù)主要還是采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法，針對(duì)具體場(chǎng)景、具體目標(biāo)和圖像質(zhì)量等改進(jìn)創(chuàng)新?；诰矸e神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法在處理局部特征和對(duì)硬件要求上具有優(yōu)勢(shì)，但在全局特征建模方面相對(duì)較弱，卷積神經(jīng)網(wǎng)絡(luò)特征提取通過卷積和pooling等操作僅能關(guān)注到像素相鄰有限區(qū)域信息，難以獲取目標(biāo)全局拓?fù)浣Y(jié)構(gòu)信息，缺乏人類視覺系統(tǒng)“結(jié)構(gòu)理解”能力，影響檢測(cè)模型精度。另一方面，當(dāng)前基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)目標(biāo)檢測(cè)方法，還存在缺乏可解釋性、且高度依賴標(biāo)記樣本等深度學(xué)習(xí)方法普適性問題。

7、綜上所述，目前基于卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像目標(biāo)檢測(cè)方法存在目標(biāo)全局拓?fù)浣Y(jié)構(gòu)特征提取能力弱、缺乏可解釋性、且高度依賴標(biāo)記樣本等問題，難以滿足遙感低分辨觀測(cè)條件下少樣本復(fù)雜場(chǎng)景弱小目標(biāo)的高精度檢測(cè)分類需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)缺陷，提供一種融合認(rèn)知特征的遙感圖像目標(biāo)檢測(cè)方法，以提高現(xiàn)有低分辨率遙感系統(tǒng)面向少樣本復(fù)雜場(chǎng)景多狀態(tài)密集排布旋轉(zhuǎn)弱小目標(biāo)偵察監(jiān)測(cè)應(yīng)用的價(jià)值。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提出了一種融合認(rèn)知特征的遙感圖像旋轉(zhuǎn)小目標(biāo)檢測(cè)方法，包括：

3、將遙感圖像輸入預(yù)先建立和訓(xùn)練好的目標(biāo)檢測(cè)模型，檢測(cè)圖像中所有小目標(biāo)的位置信息，并預(yù)測(cè)小目標(biāo)類別，實(shí)現(xiàn)小目標(biāo)檢測(cè)；

4、所述目標(biāo)檢測(cè)模型以單階段旋轉(zhuǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)s2a-net作為基礎(chǔ)目標(biāo)檢測(cè)框架，通過引入物理認(rèn)知特征提取模塊和認(rèn)知特征與深度特征融合模塊，提升目標(biāo)拓?fù)浣Y(jié)構(gòu)特性表征能力，進(jìn)而提高遙感低分辨觀測(cè)條件下少樣本復(fù)雜場(chǎng)景弱小目標(biāo)的檢測(cè)準(zhǔn)確率，并降低虛警率。

5、優(yōu)選的，所述s2a-net包括依次連接的骨干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)fpn、特征對(duì)齊模塊fam，以及定向檢測(cè)模塊odm；其中，

6、所述骨干網(wǎng)絡(luò)，用于提取圖像基礎(chǔ)卷積特征；

7、所述特征金字塔網(wǎng)絡(luò)fpn，用于提取多尺度特征；

8、所述特征對(duì)齊模塊fam，用于提取與高質(zhì)量旋轉(zhuǎn)錨框?qū)R的對(duì)齊特征；

9、所述定向檢測(cè)模塊odm，用于生成最終目標(biāo)檢測(cè)結(jié)果。

10、優(yōu)選的，所述骨干網(wǎng)絡(luò)采用resnet網(wǎng)絡(luò)，對(duì)輸入的遙感圖像i進(jìn)行基礎(chǔ)特征提取，生成圖像基礎(chǔ)特征圖{c3、c4、c5}；

11、所述特征金字塔網(wǎng)絡(luò)fpn對(duì)圖像基礎(chǔ)特征圖{c3、c4、c5}進(jìn)行多尺度特征提取，生成圖像多尺度特征圖{p3、p4、p5、p6、p7}。

12、優(yōu)選的，所述特征對(duì)齊模塊fam包括錨框優(yōu)化網(wǎng)絡(luò)和對(duì)齊卷積層，通過錨框優(yōu)化網(wǎng)絡(luò)arn生成高質(zhì)量的旋轉(zhuǎn)錨框；并使用對(duì)齊卷積層acl自適應(yīng)地將卷積特征與高質(zhì)量旋轉(zhuǎn)錨框?qū)R，其中，

13、所述錨框優(yōu)化網(wǎng)絡(luò)對(duì)圖像多尺度特征圖{p3、p4、p5、p6、p7}分別進(jìn)行卷積操作，輸出每個(gè)特征圖的分類和回歸的結(jié)果：

14、cls_prei＝conv(conv(conv(pi)))i＝3,4,...,7

15、reg_prei＝conv(conv(conv(pi)))i＝3,4,...,7

16、式中，cls_prei和reg_prei分別為第i個(gè)尺度特征圖經(jīng)過arn網(wǎng)絡(luò)分類分支輸出的錨框分類信息和錨框位置信息；

17、所述對(duì)齊卷積層通過對(duì)齊卷積核實(shí)現(xiàn)，輸入為多尺度特征圖

18、{p3、p4、p5、p6、p7}和各尺度特征圖對(duì)應(yīng)的旋轉(zhuǎn)錨框位置信息reg_prei，i＝3,4......,7，輸出為旋轉(zhuǎn)后的卷積特征，即對(duì)齊特征fdi：

19、fdi＝alignconv(pi,reg_prei),i＝3,4......,7

20、其中，alignconv(·)表示對(duì)齊卷積核。

21、優(yōu)選的，所述物理認(rèn)知特征提取模塊的輸入為arn網(wǎng)絡(luò)分類分支輸出的錨框位置信息reg_prei和遙感圖像i，進(jìn)行錨框認(rèn)知特征提取，得到高質(zhì)量旋轉(zhuǎn)錨框的物理認(rèn)知特征fri，作為認(rèn)知特征與深度特征融合模塊的輸入；

22、所述認(rèn)知特征與深度特征融合模塊的輸入為物理認(rèn)知特征fri和特征對(duì)齊模塊fam輸出的對(duì)齊特征fdi，進(jìn)行融合處理，得到融合特征fi，輸入定向檢測(cè)模塊odm。

23、優(yōu)選的，所述物理認(rèn)知特征提取模塊的處理過程包括：

24、步驟s1)采用fast算法進(jìn)行點(diǎn)特征檢測(cè)，得到特征點(diǎn)集；

25、步驟s2)針對(duì)特征點(diǎn)集，進(jìn)行點(diǎn)拓?fù)浣Y(jié)構(gòu)特征描述，得到目標(biāo)全局描述向量；包括：

26、步驟s2-1)構(gòu)建復(fù)雜網(wǎng)絡(luò)，并采用結(jié)合邊和點(diǎn)的自主動(dòng)態(tài)演化機(jī)制進(jìn)行動(dòng)態(tài)演化；

27、步驟s2-2)針對(duì)復(fù)雜網(wǎng)絡(luò)動(dòng)態(tài)演化過程獲取的各時(shí)刻演化網(wǎng)絡(luò)圖，進(jìn)行局部ms-piifd描述；

28、步驟s2-3)采用特征詞袋bof方法，通過特征聚類得到領(lǐng)域視覺詞典；

29、步驟s2-4)利用詞典、網(wǎng)絡(luò)局部度中心性，對(duì)局部ms-piifd描述向量，進(jìn)行加權(quán)投影處理，生成全局ms-piifd描述子。

30、優(yōu)選的，所述認(rèn)知特征與深度特征融合模塊的處理過程包括：

31、將目標(biāo)物理認(rèn)知特征通過嵌入層映射至深度特征空間；

32、將物理認(rèn)知特征fri經(jīng)嵌入層映射后與對(duì)齊特征fdi通過多層感知機(jī)進(jìn)行融合，得到基于認(rèn)知感知的融合特征fi：

33、fi＝mlp(fθ(fri),fdi)

34、其中，fθ(·)表示嵌入層映射，mlp(·)表示多層感知機(jī)。

35、優(yōu)選的，所述定向檢測(cè)模塊odm的處理過程包括：

36、采用主動(dòng)旋轉(zhuǎn)濾波器arf對(duì)輸入融合特征fi進(jìn)行方向信息編碼生成方向敏感特征zi；

37、通過合并方向敏感特征提取得到方向不變特征zi′；

38、將方向敏感特征zi和方向不變特征zi′，分別傳入邊界框回歸分支和邊界框分類分支，進(jìn)行三次卷積，得到邊界框回歸結(jié)果regi和分類結(jié)果clsi。

39、優(yōu)選的，所述目標(biāo)檢測(cè)模型還包括后處理模塊，處理過程包括：

40、對(duì)5個(gè)尺度特征層的邊界框回歸結(jié)果regi和分類結(jié)果clsi進(jìn)行解碼，根據(jù)設(shè)定的閾值篩選出類別置信度得分高于設(shè)定閾值的邊界框，對(duì)邊界框進(jìn)行非極大值抑制處理，保留具有最高置信度的檢測(cè)框，得到類別信息。

41、優(yōu)選的，所述方法還包括目標(biāo)檢測(cè)模型的訓(xùn)練步驟：包括：

42、采用現(xiàn)有公開dota遙感圖像目標(biāo)檢測(cè)數(shù)據(jù)集中選取小尺寸車輛目標(biāo)對(duì)應(yīng)部分的數(shù)據(jù)，構(gòu)建遙感圖像陸地車輛目標(biāo)檢測(cè)數(shù)據(jù)集；或以google?earth上獲取的星載和機(jī)載數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)源，開展圖像數(shù)據(jù)制備、目標(biāo)標(biāo)注以及數(shù)據(jù)增廣，構(gòu)建遙感圖像陸地車輛目標(biāo)檢測(cè)數(shù)據(jù)集；

43、從遙感圖像陸地車輛目標(biāo)檢測(cè)數(shù)據(jù)集中選取部分為訓(xùn)練集，另一部分為驗(yàn)證集；

44、設(shè)置目標(biāo)檢測(cè)模型的初始化參數(shù)和訓(xùn)練參數(shù)；

45、將訓(xùn)練集數(shù)據(jù)依次輸入目標(biāo)檢測(cè)模型，采用動(dòng)態(tài)軟標(biāo)簽分配方法計(jì)算訓(xùn)練損失函數(shù)，使用隨機(jī)梯度下降sgd優(yōu)化器進(jìn)行訓(xùn)練，直至滿足訓(xùn)練要求，得到訓(xùn)練好的目標(biāo)檢測(cè)模型，并采用驗(yàn)證集通過map評(píng)價(jià)指標(biāo)進(jìn)行驗(yàn)證評(píng)價(jià)。

46、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)勢(shì)在于：

47、1、本發(fā)明提出了一種結(jié)合動(dòng)態(tài)演化復(fù)雜網(wǎng)絡(luò)和ms-piifd的遙感圖像復(fù)雜場(chǎng)景目標(biāo)點(diǎn)拓?fù)浣Y(jié)構(gòu)特征表征方法，增強(qiáng)對(duì)目標(biāo)全局拓?fù)浣Y(jié)構(gòu)特性的捕捉能力，以解決深度卷積特征存在難以獲取全局拓?fù)浣Y(jié)構(gòu)信息、缺乏可解釋性、且高度依賴標(biāo)記樣本的問題，為目標(biāo)檢測(cè)補(bǔ)充高效物理認(rèn)知特征；

48、2、本發(fā)明在s2a-net旋轉(zhuǎn)目標(biāo)檢測(cè)分類框架下，通過引入目標(biāo)物理認(rèn)知特征，并融合目標(biāo)物理認(rèn)知特征與深度卷積學(xué)習(xí)特征，提升目標(biāo)拓?fù)浣Y(jié)構(gòu)特性表征能力，進(jìn)而提高遙感低分辨觀測(cè)條件下少樣本復(fù)雜場(chǎng)景弱小目標(biāo)的檢測(cè)準(zhǔn)確率，同時(shí)降低虛警率。