本發(fā)明屬于圖像處理，進(jìn)一步涉及深度學(xué)習(xí)和數(shù)字圖像處理技術(shù)，具體為一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法、系統(tǒng)、設(shè)備及介質(zhì)，其中涉及的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)uavtranst(uav?transformer?tracking)是在現(xiàn)有無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)swintransformer基礎(chǔ)上改進(jìn)得到。本發(fā)明可用于無人機(jī)光學(xué)圖像中目標(biāo)的自動跟蹤。

背景技術(shù)：

1、無人機(jī)目標(biāo)跟蹤技術(shù)是無人機(jī)領(lǐng)域的一個重要研究方向，廣泛應(yīng)用于民用和軍事領(lǐng)域，如搜索偵察、環(huán)境監(jiān)測、救災(zāi)等任務(wù)中。隨著計算機(jī)視覺技術(shù)的快速發(fā)展，基于視覺的目標(biāo)跟蹤已成為一種直觀且接近人類行為的跟蹤方式。這種技術(shù)通過從視頻序列中提取目標(biāo)特征，并預(yù)測目標(biāo)在未來幀中的位置和大小，實(shí)現(xiàn)對目標(biāo)的連續(xù)跟蹤。無人機(jī)目標(biāo)跟蹤面臨的挑戰(zhàn)包括場景環(huán)境的復(fù)雜性、目標(biāo)的多變性、目標(biāo)與背景的可區(qū)分性差、尺度變化、相機(jī)抖動和視角變化等。這些因素增加了目標(biāo)特征提取和模型建立的難度，對跟蹤性能構(gòu)成挑戰(zhàn)。

2、在目標(biāo)跟蹤算法方面，主要分為生成類和判別類方法。生成類方法主要關(guān)注目標(biāo)本身，忽略背景信息，而判別類方法通過提取更多有用信息來提高跟蹤的準(zhǔn)確率和速度?；谙嚓P(guān)濾波的跟蹤算法和基于深度學(xué)習(xí)的跟蹤算法是目前研究的熱點(diǎn)，它們通過在線學(xué)習(xí)和更新模型來適應(yīng)目標(biāo)的變化，達(dá)到實(shí)時跟蹤的效果。

3、南京航空航天大學(xué)在所申請的專利文獻(xiàn)(申請?zhí)枺篶n202211428837.7，申請公布號：cn115984319a)中公開了一種基于改進(jìn)yolov7和deepsort的無人機(jī)目標(biāo)跟蹤方法。該方法的實(shí)現(xiàn)步驟為：構(gòu)造目標(biāo)數(shù)據(jù)集；優(yōu)化yo?lov7檢測器，利用目標(biāo)數(shù)據(jù)集對優(yōu)化后的yolov7檢測器進(jìn)行訓(xùn)練；搭建deepsort跟蹤器，利用目標(biāo)數(shù)據(jù)集對deepsort跟蹤器進(jìn)行訓(xùn)練；目標(biāo)數(shù)據(jù)集作為輸入項(xiàng)，利用訓(xùn)練后的yolov7檢測器和deepsort跟蹤器對目標(biāo)進(jìn)行跟蹤，獲得目標(biāo)位置；根據(jù)目標(biāo)位置計算脫靶量，按照脫靶量調(diào)整無人機(jī)的位姿，實(shí)現(xiàn)對目標(biāo)的跟蹤。但是，該發(fā)明仍然存在不足之處是，在復(fù)雜場景中該發(fā)明的無人機(jī)目標(biāo)跟蹤精度依然較低，且該發(fā)明計算復(fù)雜度依然較高，難以適用無人機(jī)平臺。

4、公開號為cn117456196a的專利申請文件公開了一種基于transformer多層特征融合的無人機(jī)目標(biāo)跟蹤方法及系統(tǒng)。該方法的實(shí)現(xiàn)步驟為：使用mobilenetv3網(wǎng)絡(luò)對搜索圖片和模板圖片中的目標(biāo)區(qū)域進(jìn)行特征提取，分別獲得三個不同尺度的特征圖；使用多層特征融合方法對三個不同尺度的特征圖進(jìn)行特征融合，獲得融合搜索特征圖和融合模板特征圖；使用基于tra?nsformer的特征匹配方法對融合搜索特征圖和融合模板特征圖進(jìn)行深度融合，獲得響應(yīng)圖；將響應(yīng)圖輸入多頭注意力模塊得到目標(biāo)邊界框。但是，該發(fā)明仍然存在不足之處是，在光照變化場景下該發(fā)明的無人機(jī)目標(biāo)跟蹤精度依然較低。

5、綜上所述，現(xiàn)有技術(shù)存在以下的缺陷和不足：

6、1.在復(fù)雜的自然場景中，如森林、城市、海洋等，目標(biāo)與背景的顏色和紋理往往非常相似，導(dǎo)致現(xiàn)有無人機(jī)目標(biāo)跟蹤算法難以準(zhǔn)確分離和跟蹤目標(biāo)。

7、2.在不同的光照條件下(如白天、夜晚、陰影等)，目標(biāo)的外觀特征會發(fā)生顯著變化，現(xiàn)有方法會出現(xiàn)漏跟蹤以及錯誤跟蹤情況。

8、3.無人機(jī)平臺通常具有有限的計算能力，難以支持復(fù)雜的深度學(xué)習(xí)模型或其他計算密集型算法，導(dǎo)致目標(biāo)跟蹤的實(shí)時性和精度之間存在權(quán)衡。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法、系統(tǒng)、設(shè)備及介質(zhì)，通過在特征提取子網(wǎng)絡(luò)部分設(shè)計一個頻域和空間信息增強(qiáng)模塊fsie，該模塊捕獲并結(jié)合了目標(biāo)的頻率和空間特征，提高了目標(biāo)特征表示和定位的準(zhǔn)確性，可以提高無人機(jī)在光照變化情況下的目標(biāo)跟蹤精度；同時，通過在特征融合子網(wǎng)絡(luò)部分設(shè)計一個時空特征融合模塊stff，該模塊利用三個多頭子注意力機(jī)制層來整合目標(biāo)的空間時間狀態(tài)信息，該設(shè)計有效地建模了跟蹤狀態(tài)，提高了在具有背景干擾和遮擋的且具有挑戰(zhàn)性的場景中的目標(biāo)跟蹤精度；此外，通過將l1損失、ciou損失和回歸損失混合作為網(wǎng)絡(luò)的損失函數(shù)，可以加速模型的收斂，提高模型的目標(biāo)跟蹤效率；本發(fā)明解決了無人機(jī)的目標(biāo)跟蹤方法在背景復(fù)雜情況下跟蹤精度低，以及光照變化下目標(biāo)漏跟蹤和錯誤跟蹤的問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案是：

3、一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法，包括以下步驟：

4、步驟一：構(gòu)建基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)，包括特征提取子網(wǎng)絡(luò)、特征融合子網(wǎng)絡(luò)以及分類和回歸子網(wǎng)絡(luò)；

5、步驟二：使用無人機(jī)公開數(shù)據(jù)集中的訓(xùn)練集對步驟一構(gòu)建的基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每輪訓(xùn)練結(jié)束后，得到一個訓(xùn)練權(quán)重文件；通過無人機(jī)公開數(shù)據(jù)集中的驗(yàn)證集對訓(xùn)練權(quán)重文件進(jìn)行驗(yàn)證，選取精度最高的訓(xùn)練權(quán)重文件作為最優(yōu)訓(xùn)練權(quán)重文件；

6、步驟三：使用無人機(jī)公開數(shù)據(jù)集中的測試集和步驟二得到的最優(yōu)訓(xùn)練權(quán)重文件對步驟一構(gòu)建的基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤，得到目標(biāo)跟蹤結(jié)果。

7、所述步驟一的基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)，包括特征提取子網(wǎng)絡(luò)、特征融合子網(wǎng)絡(luò)以及分類和回歸子網(wǎng)絡(luò)；

8、所述特征提取子網(wǎng)絡(luò)，包括backbone1網(wǎng)絡(luò)、backbone2網(wǎng)絡(luò)、兩個頻域和空間信息增強(qiáng)模塊fsie；其中，backbone1網(wǎng)絡(luò)和backbone2網(wǎng)絡(luò)均包括swin?transformer?stage1層、swin?transformer?stage2層和swin?transformer?stage3層，backbone1網(wǎng)絡(luò)和backbone2網(wǎng)絡(luò)共同組成backbone網(wǎng)絡(luò)，backbone1網(wǎng)絡(luò)和backbone2網(wǎng)絡(luò)之間互相共享權(quán)重；頻域和空間信息增強(qiáng)模塊fsie包括快速傅里葉變化層fft、圖卷積網(wǎng)絡(luò)層gcn、多頭子注意力機(jī)制層、兩個前饋網(wǎng)絡(luò)層ffn、兩個求和歸一化層、拼接卷積層和全局平均池化層，頻域和空間信息增強(qiáng)模塊fsie表示為下式：

9、f'＝norm(f4+ffn(f4))

10、

11、

12、f2＝conv(cat(norm(f1+sf),ff))

13、f1＝mhsa((sf)q,(sf+ff)k,(sf+ff)v)

14、sf＝gcn(f)

15、ff＝fft(f)

16、其中，gcn表示圖卷積網(wǎng)絡(luò)；fft表示快速傅里葉變化；mhsa表示多頭自注意力機(jī)制；norm表示歸一化操作；cat表示拼接操作；conv表示卷積操作；ffn表示前饋網(wǎng)絡(luò)；gap表示全局平均池化操作；表示通道相乘；表示元素相加；f'表示輸出的特征圖；f表示輸入特征圖；

17、所述特征融合子網(wǎng)絡(luò)，包括一個時空特征融合模塊stff和求和層；時空特征融合模塊stff包括三個多頭自注意力機(jī)制層、兩個前饋網(wǎng)絡(luò)層ffn和五個求和歸一化層；

18、所述分類和回歸子網(wǎng)絡(luò)，包括分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)；分類和回歸子網(wǎng)絡(luò)的損失函數(shù)采用l1損失、ciou損失和回歸損失的混合損失函數(shù)，表示如下式：

19、l＝lcls+λl1ll1+λcioulciou

20、

21、

22、

23、

24、lcls＝(1-pt)γ·log(pt)

25、其中，ll1表示l1損失；lciou表示ciou損失；lcls表示回歸損失；λl1和λciou為平衡系數(shù)；pt表示表示網(wǎng)絡(luò)預(yù)測出正類別的概率；γ表示均衡系數(shù)；p表示真實(shí)類別的概率；n表示樣本數(shù)；wgt和hgt標(biāo)簽框的寬度和高度；wpr和hpr預(yù)測框的寬度和高度，iou表示交并比；ρ是矩形框中心點(diǎn)之間的距離，c是外矩形方框的對角線長度。

26、所述步驟二中，設(shè)置訓(xùn)練輪次為≥200，批次大小batch_size≥16，學(xué)習(xí)率≤10-5，損失閾值≤0.001，相關(guān)性系數(shù)conf-thres≤0.5，交并比系數(shù)iou-thres≤0.5。

27、所述步驟三中，批次大小batch_size≥8，相關(guān)性系數(shù)conf-thres≤0.5，交并比系數(shù)iou-thres≤0.5。

28、本發(fā)明還提供了一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤系統(tǒng)，包括：

29、網(wǎng)絡(luò)構(gòu)建模塊：用于構(gòu)建基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)，包括特征提取子網(wǎng)絡(luò)、特征融合子網(wǎng)絡(luò)以及分類和回歸子網(wǎng)絡(luò)；

30、網(wǎng)絡(luò)訓(xùn)練模塊：用于使用無人機(jī)公開數(shù)據(jù)集中的訓(xùn)練集對構(gòu)建的基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每輪訓(xùn)練結(jié)束后，得到一個訓(xùn)練權(quán)重文件；通過無人機(jī)公開數(shù)據(jù)集中的驗(yàn)證集對訓(xùn)練權(quán)重文件進(jìn)行驗(yàn)證，選取精度最高的訓(xùn)練權(quán)重文件作為最優(yōu)訓(xùn)練權(quán)重文件；

31、目標(biāo)跟蹤模塊：用于使用無人機(jī)公開數(shù)據(jù)集中的測試集和最優(yōu)訓(xùn)練權(quán)重文件對構(gòu)建的基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行目標(biāo)跟蹤，得到目標(biāo)跟蹤結(jié)果。

32、本發(fā)明還提供了一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤設(shè)備，包括：

33、存儲器：存儲上述一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法的計算機(jī)程序，為計算機(jī)可讀取的設(shè)備；

34、處理器：用于執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)所述的一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法。

35、本發(fā)明還提供了一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，計算機(jī)程序被處理器執(zhí)行時能夠?qū)崿F(xiàn)所述的一種基于uavtranst網(wǎng)絡(luò)的無人機(jī)目標(biāo)跟蹤方法。

36、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

37、1、本發(fā)明通過在特征提取子網(wǎng)絡(luò)部分設(shè)計了兩個頻域和空間信息增強(qiáng)模塊fsie，該模塊捕獲并結(jié)合了目標(biāo)的頻率和空間特征，頻域和空間信息增強(qiáng)模塊fsie提高了目標(biāo)特征表示和定位的準(zhǔn)確性，可以提高無人機(jī)在光照變化情況下的目標(biāo)跟蹤精度。

38、2、本發(fā)明在特征融合子網(wǎng)絡(luò)部分設(shè)計了一個時空特征融合模塊stff模塊，該模塊利用三個多頭自注意機(jī)制層來整合目標(biāo)的空間時間狀態(tài)信息，該設(shè)計有效地建模了跟蹤狀態(tài)，提高了在具有背景干擾和遮擋的具有挑戰(zhàn)性的場景中的目標(biāo)跟蹤精度。

39、3、本發(fā)明通過將l1損失、ciou損失和回歸損失混合作為基于uavt?ranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)的損失函數(shù)，可以加速模型的收斂，提高模型的目標(biāo)跟蹤效率。

40、綜上所述，本發(fā)明通過在無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)swin?transformer中引入頻域和空間信息增強(qiáng)模塊、時空特征融合模塊stff和混合損失函數(shù)的方法對無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)swin?transformer進(jìn)行改進(jìn)，構(gòu)建了基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)，并通過使用無人機(jī)公開數(shù)據(jù)集對基于uavtranst的無人機(jī)目標(biāo)跟蹤網(wǎng)絡(luò)進(jìn)行訓(xùn)練以及預(yù)測，可以有效提高無人機(jī)目標(biāo)跟蹤精度，具有適應(yīng)性強(qiáng)、目標(biāo)跟蹤精度高的優(yōu)點(diǎn)。