本申請屬于目標(biāo)識(shí)別跟蹤的，更具體地說，是涉及一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法。

背景技術(shù)：

1、在海況高且能見度低的情況下尋找海面弱目標(biāo)一直是海面監(jiān)控和海上救援的難題。目前，可見光成像技術(shù)應(yīng)用最為廣泛，該技術(shù)有分辨率高、顏色豐富、成本低等特點(diǎn)，但在夜晚其可視距離會(huì)大幅度縮短，導(dǎo)致夜間目標(biāo)識(shí)別工作比較困難。現(xiàn)有的雷達(dá)探測技術(shù)可以全天候主動(dòng)探測，探測距離較遠(yuǎn)，但回波信號(hào)易受海浪、雨雪干擾，且對(duì)海面弱目標(biāo)檢測精度較差，檢測海面浮標(biāo)、浮球以及落水人員的效果不佳，因此不能滿足海面感知場景的需求。相比之下，無人艇搭載的紅外熱成像技術(shù)可以全天候工作、可穿透煙霧且有較強(qiáng)的抗干擾能力，在海上救援領(lǐng)域有著廣泛應(yīng)用。

2、然而，受制于紅外傳感器的發(fā)展，采集的海面目標(biāo)的紋理細(xì)節(jié)特征匱乏，在無人艇搖晃以及目標(biāo)和海面背景對(duì)比度低的情況下，對(duì)目標(biāo)的識(shí)別跟蹤非常困難。因此，研究快速且準(zhǔn)確的海面弱目標(biāo)識(shí)別跟蹤方法對(duì)于解決夜間海面監(jiān)控和救援場景中的弱目標(biāo)缺失問題具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例的目的在于提供一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，以解決現(xiàn)有技術(shù)中夜視環(huán)境下海面弱目標(biāo)缺失，無法精準(zhǔn)識(shí)別跟蹤的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本申請實(shí)施例提供了一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，包括以下步驟：

3、利用目標(biāo)識(shí)別模型對(duì)紅外視頻幀序列進(jìn)行識(shí)別得到目標(biāo)的坐標(biāo)信息和置信度，劃分得到高置信度目標(biāo)、低置信度目標(biāo)和無效目標(biāo)，將無效目標(biāo)作為海面背景進(jìn)行去除；

4、讀取目標(biāo)的軌跡序列并進(jìn)行判斷，若為空，直接生成新的軌跡并進(jìn)行下一輪迭代，否則，生成目標(biāo)軌跡預(yù)測結(jié)果；

5、將高置信度目標(biāo)與目標(biāo)軌跡預(yù)測結(jié)果進(jìn)行匹配，得到匹配成功的軌跡、第一次匹配失敗的軌跡和匹配失敗的高置信度目標(biāo)；

6、將低置信度目標(biāo)與第一次匹配失敗的軌跡進(jìn)行匹配，得到匹配成功的軌跡、第二次匹配失敗的軌跡和匹配失敗的低置信度目標(biāo)，將匹配失敗的低置信度目標(biāo)作為海面背景進(jìn)行去除；

7、將匹配成功的軌跡進(jìn)行更新，將第二次匹配失敗的軌跡進(jìn)行更新，為匹配失敗的高置信度目標(biāo)生成新的軌跡；

8、將更新后的坐標(biāo)信息和新的軌跡寫入目標(biāo)的軌跡序列中，進(jìn)行迭代直至最后一幀圖像，完成跟蹤；

9、目標(biāo)識(shí)別模型包括邊緣輔助增強(qiáng)模塊和層次加權(quán)約束注意力模塊；

10、邊緣輔助增強(qiáng)模塊包括四個(gè)角度的邊緣卷積層、非線性層、深度可分離卷積和平均池化層，用來提取圖像的邊緣輪廓特征；

11、層次加權(quán)約束注意力模塊包括深度可分離卷積、核大小為3×3的普通卷積層和歸一化層，用來平衡注意力掩碼對(duì)輸入的影響。

12、優(yōu)選地，非線性層包括relu激活函數(shù)層和批歸一化層。

13、優(yōu)選地，核大小為3×3的普通卷積層包括步長為1的3×3卷積、批歸一化層和silu激活函數(shù)層。

14、優(yōu)選地，劃分的公式：

15、；

16、式中，為第個(gè)目標(biāo)的置信度等級(jí)，取0、1、2分別表示該目標(biāo)為無效目標(biāo)、低置信度目標(biāo)、高置信度目標(biāo)，為目標(biāo)識(shí)別模型給出的第個(gè)目標(biāo)的置信度，為高分閾值，為低分閾值。

17、優(yōu)選地，將低置信度目標(biāo)與第一次匹配失敗的軌跡進(jìn)行匹配的過程包括：計(jì)算交并比，濾除小于交并比閾值的交并比，將剩余的交并比進(jìn)行匈牙利匹配。

18、優(yōu)選地，得到交并比的公式：

19、；

20、式中，為低置信度目標(biāo)與“第一次匹配失敗的軌跡”的交并比，為識(shí)別的低置信度目標(biāo)區(qū)域與軌跡預(yù)測的目標(biāo)區(qū)域相交的面積，為識(shí)別的低置信度目標(biāo)區(qū)域與軌跡預(yù)測的目標(biāo)區(qū)域合并的面積，為識(shí)別的低置信度目標(biāo)區(qū)域和軌跡預(yù)測的目標(biāo)區(qū)域兩個(gè)區(qū)域最遠(yuǎn)點(diǎn)的歐式距離的平方，為和兩個(gè)區(qū)域中心點(diǎn)的歐氏距離的平方，為和兩個(gè)區(qū)域最遠(yuǎn)點(diǎn)的水平坐標(biāo)的歐式距離的平方，為和兩個(gè)區(qū)域中心點(diǎn)的水平坐標(biāo)的歐式距離的平方，為和兩個(gè)區(qū)域最遠(yuǎn)點(diǎn)的垂直坐標(biāo)的歐式距離的平方，為和兩個(gè)區(qū)域中心點(diǎn)的垂直坐標(biāo)的歐式距離的平方，、、為后三項(xiàng)的權(quán)重因子。

21、優(yōu)選地，生成目標(biāo)軌跡預(yù)測結(jié)果的公式如下：

22、；

23、；

24、式中，為可觀測的目標(biāo)狀態(tài)向量，為軌跡在當(dāng)前幀的預(yù)測狀態(tài)向量，為觀測矩陣，為軌跡的中心橫坐標(biāo)、為中心縱坐標(biāo)、為寬、為高。

25、優(yōu)選地，將高置信度目標(biāo)與目標(biāo)軌跡預(yù)測結(jié)果進(jìn)行匹配的過程包括：將馬氏距離與馬氏距離閾值進(jìn)行對(duì)比，將大于馬氏距離閾值的丟棄，其余的計(jì)算代價(jià)后進(jìn)行匈牙利匹配。

26、優(yōu)選地，得到馬氏距離的公式：

27、；

28、；

29、式中，為變量之間的協(xié)方差矩陣，為觀測矩陣，為軌跡在當(dāng)前幀的狀態(tài)預(yù)測誤差協(xié)方差矩陣，為觀測矩陣的轉(zhuǎn)置，表示第個(gè)高置信度目標(biāo)和第個(gè)卡爾曼濾波器預(yù)測結(jié)果的馬氏距離，為可觀測的目標(biāo)狀態(tài)向量，為識(shí)別目標(biāo)的狀態(tài)向量，包括第個(gè)目標(biāo)的中心橫坐標(biāo)、中心縱坐標(biāo)、寬度以及高度信息。

30、優(yōu)選地，代價(jià)的計(jì)算公式如下：

31、；

32、式中，為第個(gè)高置信度目標(biāo)與第個(gè)軌跡的代價(jià)，為調(diào)和超參數(shù)，為第個(gè)高置信度目標(biāo)與第個(gè)軌跡的馬氏距離，為第個(gè)高置信度目標(biāo)的置信度，和均為條件函數(shù)，為軌跡狀態(tài)，為第個(gè)高置信度目標(biāo)的類別，為第個(gè)軌跡的類別。

33、本申請的有益效果在于：本申請?zhí)峁┝艘环N艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，利用改進(jìn)的目標(biāo)識(shí)別模型進(jìn)行識(shí)別，通過增強(qiáng)模型對(duì)目標(biāo)本身以及目標(biāo)邊緣輪廓特征的關(guān)注度來提高模型對(duì)海面弱目標(biāo)的識(shí)別能力。

34、目標(biāo)識(shí)別模型在傳統(tǒng)yolov8的基礎(chǔ)上進(jìn)行了改進(jìn)，具體包括以下三點(diǎn)：

35、第一點(diǎn)，調(diào)整了傳統(tǒng)yolov8骨干網(wǎng)絡(luò)的感受野，使骨干網(wǎng)絡(luò)注重提取潛在目標(biāo)局部細(xì)節(jié)特征；

36、第二點(diǎn)，在骨干網(wǎng)絡(luò)中引入邊緣輔助增強(qiáng)模塊，以對(duì)潛在海面弱目標(biāo)的邊緣輪廓特征進(jìn)行增強(qiáng)，增強(qiáng)模型對(duì)弱目標(biāo)的特征提取能力；

37、第三點(diǎn)，在傳統(tǒng)yolov8的頸部網(wǎng)絡(luò)部分引入層次加權(quán)約束注意力模塊，為骨干網(wǎng)絡(luò)輸出的多層次特征添加特征掩碼，放大了目標(biāo)本身特征以及周圍環(huán)境特征對(duì)識(shí)別結(jié)果的影響，減少了改進(jìn)的目標(biāo)識(shí)別模型對(duì)遠(yuǎn)距離背景特征的關(guān)注程度，平衡了注意力掩碼對(duì)輸入的影響。

38、此外，本申請調(diào)整了匹配過程以及對(duì)目標(biāo)坐標(biāo)信息的約束。通過這樣的改進(jìn)能夠最大限度地緩解無人艇上紅外傳感器震蕩導(dǎo)致目標(biāo)圖像位置變動(dòng)的問題，提高對(duì)海面弱目標(biāo)的識(shí)別跟蹤性能，能夠更精準(zhǔn)地識(shí)別跟蹤海面弱目標(biāo)。

技術(shù)特征：

1.一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：所述非線性層包括relu激活函數(shù)層和批歸一化層。

3.根據(jù)權(quán)利要求1所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：所述核大小為3×3的普通卷積層包括步長為1的3×3卷積、批歸一化層和silu激活函數(shù)層。

4.根據(jù)權(quán)利要求1所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：所述劃分的公式：

5.根據(jù)權(quán)利要求1所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：

6.根據(jù)權(quán)利要求5所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：得到所述交并比的公式：

7.根據(jù)權(quán)利要求1所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：所述生成目標(biāo)軌跡預(yù)測結(jié)果的公式如下：

8.根據(jù)權(quán)利要求1所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：將所述高置信度目標(biāo)與所述目標(biāo)軌跡預(yù)測結(jié)果進(jìn)行匹配的過程包括：將馬氏距離與馬氏距離閾值進(jìn)行對(duì)比，將大于馬氏距離閾值的丟棄，其余的計(jì)算代價(jià)后進(jìn)行匈牙利匹配。

9.根據(jù)權(quán)利要求8所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：得到所述馬氏距離的公式：

10.根據(jù)權(quán)利要求8所述的一種艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，其特征在于：所述代價(jià)的計(jì)算公式如下：

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N艇載紅外視覺的海面弱目標(biāo)識(shí)別跟蹤方法，解決了現(xiàn)有夜視環(huán)境下海面弱目標(biāo)缺失，無法精準(zhǔn)識(shí)別跟蹤的技術(shù)問題。其包括：利用目標(biāo)識(shí)別模型對(duì)紅外視頻幀序列進(jìn)行識(shí)別得到目標(biāo)的坐標(biāo)信息和置信度，劃分得到高置信度目標(biāo)、低置信度目標(biāo)和無效目標(biāo)；進(jìn)行判斷，若為空，生成新的軌跡，否則，生成目標(biāo)軌跡預(yù)測結(jié)果；將高置信度目標(biāo)與目標(biāo)軌跡預(yù)測結(jié)果進(jìn)行匹配；將低置信度目標(biāo)與第一次匹配失敗的軌跡進(jìn)行匹配；將匹配成功和匹配失敗的軌跡進(jìn)行更新，為匹配失敗的高置信度目標(biāo)生成新的軌跡；將更新后的坐標(biāo)信息和新的軌跡寫入目標(biāo)的軌跡序列中，進(jìn)行迭代直至最后一幀圖像，完成跟蹤。本申請可廣泛應(yīng)用于目標(biāo)識(shí)別跟蹤技術(shù)領(lǐng)域。

技術(shù)研發(fā)人員：王軍,韓天豪,馮翔,趙占鋒,王晨旭,周志權(quán)
受保護(hù)的技術(shù)使用者：哈爾濱工業(yè)大學(xué)（威海）
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2