本發(fā)明屬于目標(biāo)檢測(cè)，涉及一種空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法及設(shè)備，尤其是涉及一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法。

背景技術(shù)：

1、目標(biāo)檢測(cè)是監(jiān)控、搜救和故障監(jiān)測(cè)等各類計(jì)算機(jī)視覺應(yīng)用中的一項(xiàng)基本技術(shù)。近年來，隨著神經(jīng)網(wǎng)絡(luò)和人工智能技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（cnn）的目標(biāo)檢測(cè)技術(shù)取得了巨大進(jìn)步。目前主流的目標(biāo)檢測(cè)器可分為雙階段檢測(cè)器和單階段檢測(cè)器兩類。一般而言，雙階段檢測(cè)器的檢測(cè)精度較高，但執(zhí)行速度較慢；而單階段檢測(cè)器雖然執(zhí)行速度較快，但檢測(cè)精度略低。然而，這些檢測(cè)器一般都是基于單模態(tài)可見光圖像的，因此在光線不足或惡劣天氣（如雨、霧、霾）等條件下，其檢測(cè)性能會(huì)大幅下降。

2、因此，結(jié)合紅外與可見光雙模態(tài)信息的目標(biāo)檢測(cè)器作為一種可行有效的改進(jìn)方案逐漸受到研究人員的青睞。實(shí)驗(yàn)結(jié)果表明，融合可見光和紅外雙模態(tài)的信息通常能提高目標(biāo)檢測(cè)性能，并能更好地抵御光照不足和惡劣天氣等不利因素的影響。然而，面向空對(duì)地小目標(biāo)的可見光與紅外多模態(tài)目標(biāo)檢測(cè)技術(shù)仍處于探索階段，目前主要面臨以下三大挑戰(zhàn)：

3、1、待檢測(cè)目標(biāo)尺度小。由于空對(duì)地小目標(biāo)檢測(cè)中使用的圖像均依靠無人機(jī)進(jìn)行采集，而無人機(jī)采集圖像時(shí)高度高、視場(chǎng)寬，導(dǎo)致拍攝到的目標(biāo)物體通?？雌饋磔^小，包含的細(xì)節(jié)較少，并且受雜亂背景的影響也較大。因此，在空對(duì)地小目標(biāo)檢測(cè)任務(wù)中克服各種干擾因素，并在信息有限的情況下準(zhǔn)確檢測(cè)出微小目標(biāo)是相當(dāng)具有挑戰(zhàn)性的。

4、2、模態(tài)空間不平衡?？梢姽鈭D像和紅外圖像中包含的信息具有明顯不同的特征，可以為目標(biāo)檢測(cè)任務(wù)提供互補(bǔ)線索。例如，可見光傳感器可以在光線充足的條件下捕捉到具有豐富細(xì)節(jié)、色彩信息和紋理的圖像。相比之下，紅外探測(cè)器能捕捉目標(biāo)與其周圍環(huán)境之間的溫度差，并在光照條件不足的情況下表現(xiàn)出強(qiáng)大的性能。因此，在不同場(chǎng)景下，可見光模態(tài)和紅外模態(tài)對(duì)目標(biāo)檢測(cè)任務(wù)的重要性并不相同。如何有效地平衡或融合多模態(tài)特征仍然是一個(gè)有待解決的難題。

5、3、模態(tài)信息冗余。在典型的空對(duì)地小目標(biāo)檢測(cè)場(chǎng)景中，無人機(jī)捕獲的可見光和紅外圖像中包含大量來自雜亂背景的無效信息。為了提高檢測(cè)微小目標(biāo)的準(zhǔn)確性，去除這些無效輸入是合理的。此外，在使用無人機(jī)平臺(tái)捕獲的可見光和紅外圖像中，微小目標(biāo)通?？雌饋砗芟嗨?。因此，在不降低整體檢測(cè)性能的情況下減少多模態(tài)數(shù)據(jù)中的冗余信息是可行的。然而，如何設(shè)計(jì)一種有效的方案來去除無效輸入并減少冗余信息仍有待探索。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上存在的技術(shù)問題，本發(fā)明的目的在于提供一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，通過自適應(yīng)模態(tài)選取機(jī)制選擇有效的模態(tài)信息進(jìn)行融合以提升小目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。

2、本發(fā)明采用的技術(shù)方案如下：

3、一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，包括以下步驟：

4、s1.構(gòu)建深度學(xué)習(xí)卷積網(wǎng)絡(luò)初始框架模型，所述卷積網(wǎng)絡(luò)初始框架模型包括依次設(shè)置的雙路卷積神經(jīng)網(wǎng)絡(luò)、策略模塊、融合模塊和檢測(cè)頭；

5、s2.采用基于可見光-紅外圖像對(duì)的無人機(jī)人群檢測(cè)數(shù)據(jù)集（rgbtdroneperson）中的訓(xùn)練集對(duì)卷積網(wǎng)絡(luò)初始框架模型進(jìn)行訓(xùn)練，獲得目標(biāo)檢測(cè)模型；

6、s3.獲取待檢測(cè)圖像并輸入至目標(biāo)檢測(cè)模型中，通過目標(biāo)檢測(cè)模型對(duì)待檢測(cè)圖像進(jìn)行特征提取、篩選和融合，最后輸出目標(biāo)位置結(jié)果。

7、進(jìn)一步的，所述雙路卷積神經(jīng)網(wǎng)絡(luò)分別處理可見光圖像與紅外圖像，提取兩種模態(tài)的特征圖，得到雙路特征圖。

8、進(jìn)一步的，所述策略模塊用于對(duì)雙路卷積神經(jīng)網(wǎng)絡(luò)提取的雙路特征圖進(jìn)行模態(tài)篩選，去除無效或存在較多干擾的模態(tài)信息。

9、進(jìn)一步的，所述融合模塊用于對(duì)策略模塊篩選后的雙路特征圖的互補(bǔ)信息進(jìn)行整合。

10、進(jìn)一步的，所述雙路卷積神經(jīng)網(wǎng)絡(luò)卷積層參數(shù)均采用在圖像識(shí)別大規(guī)模數(shù)據(jù)集（imagenet）上預(yù)訓(xùn)練過的殘差網(wǎng)絡(luò)模型（resnet50）的權(quán)重與偏置進(jìn)行初始化，其他卷積層參數(shù)使用高斯正態(tài)分布隨機(jī)初始化。

11、進(jìn)一步的，步驟s2中，所述對(duì)卷積網(wǎng)絡(luò)初始框架模型進(jìn)行訓(xùn)練時(shí)，采用依次生成小批量數(shù)據(jù)的策略進(jìn)行數(shù)據(jù)輸入；采用梯度下降法進(jìn)行參數(shù)更新，并且采用梯度裁剪的方式對(duì)模型參數(shù)進(jìn)行調(diào)整。

12、進(jìn)一步的，所述融合模塊通過空間注意力機(jī)制識(shí)別特征圖中的關(guān)鍵區(qū)域，并減少無關(guān)區(qū)域的影響。

13、一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)系統(tǒng)，包括：

14、模型構(gòu)建模塊：用于構(gòu)建深度學(xué)習(xí)卷積網(wǎng)絡(luò)初始框架模型，所述卷積網(wǎng)絡(luò)初始框架模型包括依次設(shè)置的雙路卷積神經(jīng)網(wǎng)絡(luò)、策略模塊、融合模塊和檢測(cè)頭；

15、模型訓(xùn)練模塊：用于采用基于可見光-紅外圖像對(duì)的無人機(jī)人群檢測(cè)數(shù)據(jù)集中的訓(xùn)練集對(duì)卷積網(wǎng)絡(luò)初始框架模型進(jìn)行訓(xùn)練，獲得目標(biāo)檢測(cè)模型；

16、圖像檢測(cè)模塊：用于獲取待檢測(cè)圖像并輸入至目標(biāo)檢測(cè)模型中，通過目標(biāo)檢測(cè)模型對(duì)待檢測(cè)圖像進(jìn)行特征提取、篩選和融合，最后輸出目標(biāo)位置結(jié)果。

17、一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：

18、一個(gè)或多個(gè)處理器；

19、存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；

20、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)上述基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法。

21、一種存儲(chǔ)有計(jì)算機(jī)指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述計(jì)算機(jī)指令被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，致使所述一個(gè)或多個(gè)處理器執(zhí)行上述方法中的步驟。

22、本發(fā)明的有益效果為：

23、1、本發(fā)明可以充分利用可見光與紅外兩個(gè)模態(tài)的互補(bǔ)信息，實(shí)現(xiàn)對(duì)于遠(yuǎn)距離微小目標(biāo)的精確檢測(cè)，并且在陰天、夜晚等光照條件不良的情況下依舊可以穩(wěn)定地對(duì)微小目標(biāo)進(jìn)行檢測(cè)，具有較強(qiáng)的魯棒性。

24、2、本發(fā)明通過引入策略模塊，利用自適應(yīng)模態(tài)篩選機(jī)制將無效或存在較多干擾的模態(tài)信息進(jìn)行去除，極大地克服了模態(tài)空間不平衡與模態(tài)信息冗余的問題，提高了檢測(cè)性能。

25、3、本發(fā)明通過設(shè)計(jì)特定的融合模塊，將可見光與紅外兩個(gè)模態(tài)的特征圖進(jìn)行融合，突出目標(biāo)區(qū)域并抑制背景等干擾因素，同時(shí)利用空間注意力機(jī)制增強(qiáng)了對(duì)于小目標(biāo)的檢測(cè)性能。

26、4、本發(fā)明不僅檢測(cè)性能優(yōu)異，并且模型較為簡(jiǎn)單，適合部署在無人機(jī)等算力有限的設(shè)備上，可以滿足空對(duì)地小目標(biāo)檢測(cè)的應(yīng)用場(chǎng)景。

技術(shù)特征：

1.一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，所述雙路卷積神經(jīng)網(wǎng)絡(luò)分別處理可見光圖像與紅外圖像，提取兩種模態(tài)的特征圖，得到雙路特征圖。

3.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，所述策略模塊用于對(duì)雙路卷積神經(jīng)網(wǎng)絡(luò)提取的雙路特征圖進(jìn)行模態(tài)篩選，去除無效或存在較多干擾的模態(tài)信息。

4.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，所述融合模塊用于對(duì)策略模塊篩選后的雙路特征圖的互補(bǔ)信息進(jìn)行整合。

5.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，所述雙路卷積神經(jīng)網(wǎng)絡(luò)卷積層參數(shù)均采用在圖像識(shí)別大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練過的殘差網(wǎng)絡(luò)模型的權(quán)重與偏置進(jìn)行初始化，其他卷積層參數(shù)使用高斯正態(tài)分布隨機(jī)初始化。

6.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，所述對(duì)卷積網(wǎng)絡(luò)初始框架模型進(jìn)行訓(xùn)練時(shí)，采用依次生成小批量數(shù)據(jù)的策略進(jìn)行數(shù)據(jù)輸入；采用梯度下降法進(jìn)行參數(shù)更新，并且采用梯度裁剪的方式對(duì)模型參數(shù)進(jìn)行調(diào)整。

7.根據(jù)權(quán)利要求1所述的基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，其特征在于，所述融合模塊通過空間注意力機(jī)制識(shí)別特征圖中的關(guān)鍵區(qū)域，并減少無關(guān)區(qū)域的影響。

8.一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)系統(tǒng)，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括：

10.一種存儲(chǔ)有計(jì)算機(jī)指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，當(dāng)所述計(jì)算機(jī)指令被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，致使所述一個(gè)或多個(gè)處理器執(zhí)行權(quán)利要求1-7任一項(xiàng)所述方法中的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種基于自適應(yīng)模態(tài)選取策略的空對(duì)地小目標(biāo)多模態(tài)檢測(cè)方法，包括以下步驟：S1.構(gòu)建深度學(xué)習(xí)卷積網(wǎng)絡(luò)初始框架模型，所述卷積網(wǎng)絡(luò)初始框架模型包括依次設(shè)置的雙路卷積神經(jīng)網(wǎng)絡(luò)、策略模塊、融合模塊和檢測(cè)頭；S2.采用基于可見光?紅外圖像對(duì)的無人機(jī)人群檢測(cè)數(shù)據(jù)集中的訓(xùn)練集對(duì)卷積網(wǎng)絡(luò)初始框架模型進(jìn)行訓(xùn)練，獲得目標(biāo)檢測(cè)模型；S3.獲取待檢測(cè)圖像并輸入至目標(biāo)檢測(cè)模型中，通過目標(biāo)檢測(cè)模型對(duì)待檢測(cè)圖像進(jìn)行特征提取、篩選和融合，最后輸出目標(biāo)位置結(jié)果。本發(fā)明解決了現(xiàn)有空對(duì)地小目標(biāo)檢測(cè)技術(shù)中存在的待檢測(cè)目標(biāo)尺度小、模態(tài)空間不平衡以及模態(tài)信息冗余的問題，能夠抵御光照條件較差、部分遮擋和重疊等干擾因素的影響。

技術(shù)研發(fā)人員：曹彥鵬,唐溢禹,童希,楊將新
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2