本發(fā)明屬于計(jì)算機(jī)視覺和模式識別，具體涉及一種基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法。

背景技術(shù)：

1、目前，無人機(jī)的控制主要依賴于遙控設(shè)備控制，這種方式對操縱者的技能水平有一定的要求，限制了普通用戶的使用體驗(yàn)。特別是當(dāng)需要無人機(jī)完成復(fù)雜任務(wù)時(shí)，遙控操作對任務(wù)時(shí)效產(chǎn)生了較大的約束。

2、此外，當(dāng)前基于靜態(tài)特定手勢的控制方法，盡管試圖解決遙控設(shè)備控制存在的一些問題，但由于手勢的限制性和復(fù)雜性，導(dǎo)致了控制精度不足和操控范圍受限的現(xiàn)象。靜態(tài)特定手勢的識別和映射到無人機(jī)動作的過程對用戶要求較高，且容易受到環(huán)境因素和干擾的影響，限制了其實(shí)際應(yīng)用場景。

3、動態(tài)自然手勢可以表達(dá)出個(gè)體行為意圖，是日常生活中常用的一種交流方式；注視力通常指的是一個(gè)人的視線聚焦在特定物體或區(qū)域上的表現(xiàn)，也可以表達(dá)出相應(yīng)的個(gè)體意圖。動態(tài)自然手勢意圖和注視力意圖融合可以充分準(zhǔn)確表達(dá)出個(gè)體的行為意圖。無人機(jī)通過對自然手勢意圖和注視力意圖的識別融合，從而準(zhǔn)確理解個(gè)體對無人機(jī)的控制意圖。同時(shí)感知當(dāng)前所處的周圍環(huán)境，再進(jìn)行感知結(jié)果和個(gè)體意圖融合，完成相應(yīng)的意圖指令，實(shí)現(xiàn)動態(tài)自然手勢和注視力對無人機(jī)的控制。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明目的旨在提供一種基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法。

2、技術(shù)方案：本發(fā)明所述的基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，包括以下步驟：

3、(1)通過無人機(jī)的攝像頭實(shí)時(shí)采集操控者的圖像信息，獲得操控者的動態(tài)自然手勢和注視力；

4、(2)構(gòu)建動態(tài)自然手勢意圖理解模型和注視力意圖理解模型，并基于手勢意圖理解數(shù)據(jù)集和注視力意圖理解數(shù)據(jù)集分別訓(xùn)練動態(tài)自然手勢意圖理解模型和注視力意圖理解模型，根據(jù)步驟(1)得到的所述動態(tài)自然手勢和注視力分別利用所述動態(tài)自然手勢意圖理解模型和注視力意圖理解模型得到自然手勢意圖概率分布和注視力意圖概率分布；

5、(3)構(gòu)建個(gè)體意圖融合模型，利用所述個(gè)體意圖融合模型對自然手勢意圖概率和注視力意圖概率進(jìn)行融合，獲得操控者對無人機(jī)的控制意圖；

6、(4)利用步驟(3)得到的所述控制意圖和無人機(jī)的周圍環(huán)境信息獲得運(yùn)動控制指令，無人機(jī)執(zhí)行所述運(yùn)動控制指令，實(shí)現(xiàn)操縱者的動態(tài)自然手勢和注視力對無人機(jī)的導(dǎo)航控制。

7、更進(jìn)一步的，步驟(1)中，操控者的動態(tài)自然手勢為操控者的每一幀圖像中連續(xù)手勢的姿態(tài)信息與軌跡信息，操控者的注視力為操控者的每一幀圖像中連續(xù)眼部的注視力變化和視線估計(jì)信息。

8、更進(jìn)一步的，步驟(2)中，所述手勢意圖理解數(shù)據(jù)集通過采集操控者在實(shí)現(xiàn)各種意圖下的自然手勢圖像，標(biāo)注出自然手勢的姿態(tài)信息與軌跡信息，同時(shí)分配對應(yīng)的意圖標(biāo)簽；所述注視力意圖理解數(shù)據(jù)集通過采集操控者在實(shí)現(xiàn)各種意圖下的注視力圖像，標(biāo)注出眼部的注視力變化和視線估計(jì)信息，同時(shí)分配對應(yīng)的意圖標(biāo)簽。

9、更進(jìn)一步的，步驟(2)中，動態(tài)自然手勢意圖理解模型包括resnet50網(wǎng)絡(luò)、swin-t網(wǎng)絡(luò)、特征對齊融合模塊、第一全連接層和第一softmax層，所述resnet50網(wǎng)絡(luò)和swin-t網(wǎng)絡(luò)分別用于提取自然手勢的空間姿態(tài)特征fp與時(shí)間軌跡特征ft，所述特征對齊融合模塊用于將空間姿態(tài)特征fp與時(shí)間軌跡特征ft進(jìn)行特征對齊和融合，得到對齊融合特征fh，所述第一全連接層和第一softmax層用于利用所述對齊融合特征fh得到自然手勢意圖概率分布ph。

10、更進(jìn)一步的，所述特征對齊融合模塊通過下式對將空間姿態(tài)特征fp與時(shí)間軌跡特征ft進(jìn)行特征對齊和融合：

11、fhi＝fpi+fti

12、其中，fpi和fti分別表示第i幀中操控者自然手勢的空間姿態(tài)特征與時(shí)間軌跡特征，fhi表示第i幀中對齊后的特征，多個(gè)連續(xù)幀的對齊后的特征fhi進(jìn)行特征拼接得到對齊融合特征fh。

13、更進(jìn)一步的，步驟(2)中，所述注視力意圖理解模型包括pvt-tiny網(wǎng)絡(luò)、vit/b-16自注意力網(wǎng)絡(luò)、時(shí)空對齊融合模塊、第二全連接層和第二softmax層，所述pvt-tiny網(wǎng)絡(luò)和vit/b-16自注意力網(wǎng)絡(luò)分別用于提取注視力變化特征fc與視線估計(jì)特征fe，所述時(shí)空對齊融合模塊用于對注視力變化特征fc與視線估計(jì)特征fe進(jìn)行時(shí)空對齊融合，得到時(shí)空對齊融合特征fg，所述第二全連接層和第二softmax層用于利用所述時(shí)空對齊融合特征fg得到注視力意圖概率分布pg。

14、更進(jìn)一步的，所述時(shí)空對齊融合模塊通過下式對注視力變化特征fc與視線估計(jì)特征fe進(jìn)行時(shí)空對齊融合：

15、fgi＝fci+fei

16、其中，fpi和fti分別表示第i幀中操控者個(gè)體自然手勢的空間姿態(tài)特征與時(shí)間軌跡特征，fgi表示第i幀中對齊后的特征，多個(gè)連續(xù)幀的對齊后的特征fgi進(jìn)行特征拼接，得到時(shí)空對齊融合特征fg。

17、更進(jìn)一步的，步驟(3)中，所述個(gè)體意圖融合模型通過下式對自然手勢意圖概率和注視力意圖概率進(jìn)行融合：

18、

19、其中，pj表示融合后的第j個(gè)意圖的概率，α和β是可學(xué)習(xí)的超參數(shù)，phj表示自然手勢對應(yīng)第j個(gè)意圖的概率，pgj表示注視力對應(yīng)第j個(gè)意圖的概率，n為意圖的總數(shù)量。

20、更進(jìn)一步的，步驟三中操控者對無人機(jī)的控制意圖通過下式表示：

21、

22、其中，i表示操控者對無人機(jī)的控制意圖，pj表示融合后的第j個(gè)意圖的概率，t表示預(yù)定閾值。

23、更進(jìn)一步的，步驟(4)中，無人機(jī)的周圍環(huán)境信息為無人機(jī)周圍環(huán)境中物體的位置與大小信息

24、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明具有如下顯著的優(yōu)點(diǎn)：本發(fā)明的基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法利用操控者的動態(tài)自然手勢和注視力傳達(dá)操控者的控制意圖，有效降低對操縱者技能水平的限制，提高復(fù)雜任務(wù)的時(shí)效性，提供更直觀、自然且易于掌握的無人機(jī)導(dǎo)航控制方法。

技術(shù)特征：

1.一種基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(1)中，操控者的動態(tài)自然手勢為操控者的每一幀圖像中連續(xù)手勢的姿態(tài)信息與軌跡信息，操控者的注視力為操控者的每一幀圖像中連續(xù)眼部的注視力變化和視線估計(jì)信息。

3.根據(jù)權(quán)利要求1所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(2)中，所述手勢意圖理解數(shù)據(jù)集通過采集操控者在實(shí)現(xiàn)各種意圖下的自然手勢圖像，標(biāo)注出自然手勢的姿態(tài)信息與軌跡信息，同時(shí)分配對應(yīng)的意圖標(biāo)簽；所述注視力意圖理解數(shù)據(jù)集通過采集操控者在實(shí)現(xiàn)各種意圖下的注視力圖像，標(biāo)注出眼部的注視力變化和視線估計(jì)信息，同時(shí)分配對應(yīng)的意圖標(biāo)簽。

4.根據(jù)權(quán)利要求1所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(2)中，動態(tài)自然手勢意圖理解模型包resnet50網(wǎng)絡(luò)、swin-t網(wǎng)絡(luò)、特征對齊融合模塊、第一全連接層和第一softmax層，所述resnet50網(wǎng)絡(luò)和swin-t網(wǎng)絡(luò)分別用于提取自然手勢的空間姿態(tài)特征fp與時(shí)間軌跡特征ft，所述特征對齊融合模塊用于將空間姿態(tài)特征fp與時(shí)間軌跡特征ft進(jìn)行特征對齊和融合，得到對齊融合特征fh，所述第一全連接層和第一softmax層用于利用所述對齊融合特征fh得到自然手勢意圖概率分布ph。

5.根據(jù)權(quán)利要求4所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：所述特征對齊融合模塊通過下式對將空間姿態(tài)特征fp與時(shí)間軌跡特征ft進(jìn)行特征對齊和融合：

6.根據(jù)權(quán)利要求1所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(2)中，所述注視力意圖理解模型包括pvt-tiny網(wǎng)絡(luò)、vit/b-16自注意力網(wǎng)絡(luò)、時(shí)空對齊融合模塊、第二全連接層和第二softmax層，所述pvt-tiny網(wǎng)絡(luò)和vit/b-16自注意力網(wǎng)絡(luò)分別用于提取注視力變化特征fc與視線估計(jì)特征fe，所述時(shí)空對齊融合模塊用于對注視力變化特征fc與視線估計(jì)特征fe進(jìn)行時(shí)空對齊融合，得到時(shí)空對齊融合特征fg，所述第二全連接層和第二softmax層用于利用所述時(shí)空對齊融合特征fg得到注視力意圖概率分布pg。

7.根據(jù)權(quán)利要求6所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：所述時(shí)空對齊融合模塊通過下式對注視力變化特征fc與視線估計(jì)特征fe進(jìn)行時(shí)空對齊融合：

8.根據(jù)權(quán)利要求1所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(3)中，所述個(gè)體意圖融合模型通過下式對自然手勢意圖概率和注視力意圖概率進(jìn)行融合：

9.根據(jù)權(quán)利要求8所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(3)中，操控者對無人機(jī)的控制意圖通過下式表示：

10.根據(jù)權(quán)利要求1所述基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，其特征在于：步驟(4)中，無人機(jī)的周圍環(huán)境信息為無人機(jī)周圍環(huán)境中物體的位置與大小信息。

技術(shù)總結(jié)
本發(fā)明公開了一種基于自然手勢和注視力意圖融合的無人機(jī)導(dǎo)航控制方法，包括以下步驟：獲得操控者的動態(tài)自然手勢和注視力；利用動態(tài)自然手勢意圖理解模型和注視力意圖理解模型得到自然手勢意圖概率分布和注視力意圖概率分布；利用個(gè)體意圖融合模型對自然手勢意圖概率和注視力意圖概率進(jìn)行融合，獲得操控者對無人機(jī)的控制意圖；利用控制意圖和周圍環(huán)境信息獲得運(yùn)動控制指令，無人機(jī)執(zhí)行運(yùn)動控制指令，實(shí)現(xiàn)操縱者的動態(tài)自然手勢和注視力對無人機(jī)的導(dǎo)航控制。本發(fā)明利用操控者的動態(tài)自然手勢和注視力傳達(dá)操控者的控制意圖，有效降低對操縱者技能水平的限制，提高復(fù)雜任務(wù)的時(shí)效性，提供更直觀、自然且易于掌握的無人機(jī)導(dǎo)航控制方法。

技術(shù)研發(fā)人員：李新德,李兵,閆冬文
受保護(hù)的技術(shù)使用者：東南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2