本申請涉及遙感圖像目標檢測領域,特別是涉及一種遙感小目標檢測方法及裝置。
背景技術:
1、目前,常見的遙感小目標檢測算法包括更快速的基于區(qū)域的卷積神經網絡(faster?region-based?convolutional?neural?network,faster?r-cnn)、yolo(you?onlylook?once)、單發(fā)多框檢測器(single?shot?multibox?detector,ssd)等。其中,faster?r-cnn通過優(yōu)化rpn或后續(xù)的分類網絡來提高對小目標的檢測能力;yolo系列算法通過改進網絡結構、損失函數、數據增強等方面,提高了對小目標的檢測能力;ssd通過預設的錨框提高了對小目標的檢測性能。
2、近年來,在目標檢測優(yōu)化方面,為解決背景復雜性問題,注意力機制的引入也成為了研究熱點,如lim等提出一種融合目標上下文信息的注意力機制,使網絡聚焦于需要的部分從而降低背景信息的干擾,間接增強了所需要的小目標特征信息。此外,還有直接增強小目標特征的優(yōu)化方法來解決目標多樣性問題,主要有以下幾類:設計生成對抗網絡(generative?adversarial?network,gan),如bai等提出的sod-mtgan,rabbi等提出的增強型超分辨率生成對抗網絡等,都是對gan方法的改進;對訓練用數據集進行數據增強,如kisantal等提出的將小目標復制增多的方法,提高了網絡對小目標的訓練量;zoph等提出的強化學習的方法,先將質量好的數據進行篩選再訓練,有效提高了檢測性能;由于不同尺度的特征圖有不同的特征信息,通過融合多尺度特征圖也可以有效提升檢測精度,有很多基于經典特征融合網絡—特征金字塔網絡的改進,如zeng等提出的空洞空間金字塔池化平衡特征金字塔網絡,創(chuàng)新性地使用了跳躍連接,大幅提升了多尺度特征融合效果。這些方法在一定程度上解決了目標多樣性、背景復雜性和干擾等問題,但都存在計算復雜、資源消耗大的問題。
3、對于特定的遙感小目標檢測任務,融合目標上下文信息的注意力機制、增強型超分辨率生成對抗網絡(enhanced?super-resolution?gans,esrgan)、數據增強、強化學習、空洞空間金字塔池化平衡特征金字塔網絡在一定程度上解決了目標多樣性、背景復雜性和干擾等問題。
4、但融合目標上下文信息的注意力機制隨著上下文信息的增加,模型的復雜度和計算量也會顯著增加,進而影響模型的訓練和推理速度。
5、增強型超分辨率生成對抗網絡通常包含較為復雜的網絡結構,如生成器中的多級殘差網絡和判別器中的相對平均判別器等,這些結構使得模型在訓練和推理過程中需要較高的計算資源。因此,在處理大規(guī)模圖像數據集或需要實時響應的應用場景中,esrgan可能會受到計算復雜度的限制。
6、數據增強、強化學習在模型訓練時會增加訓練量,因此會增加計算的復雜度。
7、空洞空間金字塔池化平衡特征金字塔網絡需要構建多個尺度的特征圖,并進行多次特征融合和預測,這增加了模型的計算量和內存消耗。
8、可見,上述遙感小目標檢測方法也都存在計算復雜和資源消耗大的問題。
技術實現思路
1、本申請的目的是提供一種遙感小目標檢測方法及裝置,以解決現有遙感小目標檢測方法計算復雜和資源消耗大,檢測性能差的問題。
2、為實現上述目的,本申請?zhí)峁┝巳缦路桨浮?/p>
3、第一方面,本申請?zhí)峁┝艘环N遙感小目標檢測方法,包括以下步驟。
4、利用focal_wiou損失函數替換基線算法中的ciou損失函數,確定改進后的基線算法;所述focal_wiou損失函數包括focal損失函數以及wiou損失函數;所述focal損失函數用于引入調制因子,調整樣本的權重;所述wiou損失函數用于度量目標框之間的相似度。
5、利用改進后的基線算法訓練改進的yolov8模型;所述改進的yolov8模型包括主干網絡、頸部網絡以及檢測頭;所述頸部網絡的第二個上下文感知跨層融合模塊后增加gam模塊;所述gam模塊包括通道注意力子模塊和空間注意力子模塊;所述通道注意力子模塊用于保留跨緯度信息;所述空間注意力子模塊用于融合空間信息。
6、利用所述改進的yolov8模型檢測遙感圖像中的遙感小目標。
7、第二方面,本申請?zhí)峁┝艘环N遙感小目標檢測裝置,包括以下模塊。
8、基線算法改進模塊,用于利用focal_wiou損失函數替換基線算法中的ciou損失函數,確定改進后的基線算法;所述focal_wiou損失函數包括focal損失函數以及wiou損失函數;所述focal損失函數用于引入調制因子,調整樣本的權重;所述wiou損失函數用于度量目標框之間的相似度。
9、訓練模塊,用于利用改進后的基線算法訓練改進的yolov8模型;所述改進的yolov8模型包括主干網絡、頸部網絡以及檢測頭;所述頸部網絡的第二個上下文感知跨層融合模塊后增加gam模塊;所述gam模塊包括通道注意力子模塊和空間注意力子模塊;所述通道注意力子模塊用于保留跨緯度信息;所述空間注意力子模塊用于融合空間信息。
10、遙感小目標檢測模塊,用于利用所述改進的yolov8模型檢測遙感圖像中的遙感小目標。
11、根據本申請?zhí)峁┑木唧w實施例,本申請公開了以下技術效果:本申請利用焦點focal_權重交并比wiou損失函數替換基線算法中的ciou損失函數,并利用改進后的基線算法訓練改進的yolov8模型,結合焦點和權重交并比兩種損失函數,考慮了不同區(qū)域的重要性,并對不同區(qū)域分別給予不同的權重,解決訓練過程中容易正確分類樣本和難以正確分類樣本不平衡問題,降低了數據增強、強化學習在模型訓練時增加訓練量的計算復雜度,并對目標框之間的相似度進行更準確地度量,進一步提高算法對目標位置和大小的檢測精度及穩(wěn)定性,從而提升被訓練的改進的yolov8模型的精確度;此外,本申請還對yolov8模型進行了改進,改進的yolov8模型包括主干網絡、頸部網絡以及檢測頭;其中,頸部網絡的第二個上下文感知跨層融合模塊后增加全局注意力機制(global?attention?mechanism,gam)模塊;gam模塊包括通道注意力子模塊和空間注意力子模塊,從而在空間維度和通道維度形成雙層注意力,放大跨緯度的作用,通過全局方式吸引和融合通道與空間的特征信息,使得在進行遙感小目標檢測時,更關注于特征圖的重點區(qū)域信息,本申請無需過多的上下文信息以及復雜的網絡結構,也無需構建多個尺度的特征圖,而是通過跨維度的gam模塊,采用簡單的網絡結構就能夠精準識別遙感小目標,降低了資源消耗,提升了遙感小目標的檢測性能。
1.一種遙感小目標檢測方法,其特征在于,所述遙感小目標檢測方法包括:
2.根據權利要求1所述的遙感小目標檢測方法,其特征在于,所述focal損失函數為:
3.根據權利要求1所述的遙感小目標檢測方法,其特征在于,所述wiou損失函數為:
4.根據權利要求1所述的遙感小目標檢測方法,其特征在于,在所述改進的yolov8模型的訓練過程中,將特征圖f1輸入至所述通道注意力子模塊,輸出特征圖f2,將所述特征圖f2輸入至所述空間注意力子模塊,輸出特征圖f3;
5.根據權利要求4所述的遙感小目標檢測方法,其特征在于,所述通道注意力子模塊,具體包括:依次連接的permutation單元、雙層mlp、reverse?permutation單元以及第一sigmoid激活函數;
6.根據權利要求4所述的遙感小目標檢測方法,其特征在于,所述空間注意力子模塊,具體包括:依次連接的兩個卷積層以及第二sigmoid激活函數;
7.一種遙感小目標檢測裝置,其特征在于,所述遙感小目標檢測裝置包括: