本發(fā)明涉及無人機(jī)控制，特別是一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法。

背景技術(shù)：

1、通信技術(shù)是其無人機(jī)系統(tǒng)的核心部分，旨在實現(xiàn)穩(wěn)定和高效的無人機(jī)遙控與數(shù)據(jù)傳輸?，F(xiàn)有技術(shù)中，無人機(jī)與地面站（例如，遙控器）之間主要采用2.4?ghz和5.8?ghz頻段的無線信號傳輸。2.4?ghz頻段提供更廣的覆蓋范圍，但在高密度環(huán)境中可能受到其他設(shè)備（如wi-fi）的干擾；而5.8?ghz頻段則在信號質(zhì)量上表現(xiàn)更好，但覆蓋范圍相對較小。

2、為了應(yīng)對變化的環(huán)境，現(xiàn)有地面站（例如，遙控器）采用了自適應(yīng)調(diào)制技術(shù)，能夠根據(jù)實時的信號質(zhì)量動態(tài)調(diào)整數(shù)據(jù)傳輸速率。這種智能化的設(shè)計確保了在信號較差的情況下，仍能保持穩(wěn)定的連接和數(shù)據(jù)傳輸。同時，現(xiàn)有地面站（例如，遙控器）支持高清視頻傳輸，通過專有的數(shù)字視頻傳輸協(xié)議（如ocusync協(xié)議），實現(xiàn)低延遲的實時畫面反饋，極大提升了用戶的飛行體驗。

3、然而，現(xiàn)有無人機(jī)與地面站（例如，遙控器）之間的遙控與數(shù)據(jù)傳輸存在一些明顯的缺點(diǎn)：

4、（1）無人機(jī)遙控與數(shù)據(jù)傳輸存在技術(shù)壁壘，無法移植到更廣泛的無人機(jī)上，即無法通用所有無人機(jī)的遙控與數(shù)據(jù)傳輸。

5、（2）通信距離有限，超出無人機(jī)遙控的范圍后，無人機(jī)將無法被控制信號也容易受到建筑物的干擾。

6、（3）、隨著無人機(jī)與地面站（例如，遙控器）之間距離的增加，傳輸速率也會下降，距離越大則無人機(jī)控制的延遲或者無人機(jī)實時畫面的延遲越大。

7、現(xiàn)有技術(shù)中也存在一些使用4g/5g通信的方式來實現(xiàn)無人機(jī)與地面站（例如，遙控器）之間的遠(yuǎn)距離遙控與數(shù)據(jù)傳輸。但是現(xiàn)有技術(shù)中，在面對遠(yuǎn)距離遙控與數(shù)據(jù)傳輸時，缺乏無人機(jī)遠(yuǎn)程控制的手勢識別功能。無人機(jī)遠(yuǎn)程控制進(jìn)行巡檢時，無法實現(xiàn)無人機(jī)遠(yuǎn)程手勢識別，導(dǎo)致無人機(jī)遠(yuǎn)程巡檢效率低，巡檢準(zhǔn)確率低，出現(xiàn)巡檢錯誤的情形。

技術(shù)實現(xiàn)思路

1、本發(fā)明提出了一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法，以解決無人機(jī)遠(yuǎn)程控制進(jìn)行巡檢時，無法實現(xiàn)無人機(jī)遠(yuǎn)程手勢識別，導(dǎo)致無人機(jī)遠(yuǎn)程巡檢效率低，巡檢準(zhǔn)確率低，出現(xiàn)巡檢錯誤的技術(shù)問題。

2、本發(fā)明的一個方面在于提供一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制系統(tǒng)，其特征在于，所述無人機(jī)遠(yuǎn)程控制系統(tǒng)，包括：

3、部署在無人機(jī)上的邊緣計算機(jī)和相機(jī)、部署在中轉(zhuǎn)站的中轉(zhuǎn)服務(wù)器，以及配置在地面站的地面站應(yīng)用端；

4、其中，所述邊緣計算機(jī)配置無人機(jī)系統(tǒng)和python服務(wù)系統(tǒng)，所述python服務(wù)系統(tǒng)集成識別模型；

5、所述無人機(jī)系統(tǒng)，用于獲取相機(jī)拍攝的第一視頻流，對第一視頻流抽取第一單幀圖像，并將第一單幀圖像發(fā)送至所述識別模型；

6、所述識別模型，用于對第一單幀圖像進(jìn)行人體位置檢測，并將人體位置檢測結(jié)果返回至所述無人機(jī)系統(tǒng)；

7、所述無人機(jī)系統(tǒng)，還用于根據(jù)人體位置檢測結(jié)果控制無人機(jī)移動，使人體位于相機(jī)鏡頭的中間位置；

8、當(dāng)人體位于相機(jī)鏡頭的中間位置后，所述無人機(jī)系統(tǒng)獲取相機(jī)拍攝的第二視頻流，對第二視頻流抽取第二單幀圖像，并將第二單幀圖像發(fā)送至所述識別模型；

9、所述識別模型，還用于對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成識別結(jié)果，并將識別結(jié)果返回至所述無人機(jī)系統(tǒng)；

10、所述無人機(jī)系統(tǒng)，根據(jù)識別結(jié)果控制相機(jī)對人體進(jìn)行拍照生成手勢識別圖像，并獲取相機(jī)拍攝的手勢識別圖像發(fā)送至所述python服務(wù)系統(tǒng)；

11、其中，所述中轉(zhuǎn)服務(wù)器，至少配置java服務(wù)端；所述java服務(wù)端，用于獲取所述python服務(wù)系統(tǒng)的手勢識別圖像，并將手勢識別圖像發(fā)送至所述地面站應(yīng)用端。

12、在一個優(yōu)選的實施例中，當(dāng)所述識別模型對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成的識別結(jié)果是指定手勢；

13、則所述無人機(jī)系統(tǒng)控制相機(jī)對人體進(jìn)行拍照生成手勢識別圖像，并獲取相機(jī)拍攝的手勢識別圖像；

14、當(dāng)所述識別模型對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成的識別結(jié)果不是指定手勢；

15、則所述無人機(jī)系統(tǒng)不控制相機(jī)對人體進(jìn)行拍照。

16、在一個優(yōu)選的實施例中，所述中轉(zhuǎn)服務(wù)器還配置srs流媒體服務(wù)端；

17、所述無人機(jī)系統(tǒng)，將獲取的第一視頻流和/或第二視頻流推送至所述srs流媒體服務(wù)端；所述地面站應(yīng)用端拉取所述srs流媒體服務(wù)端上的第一視頻流和/或第二視頻流，并實時進(jìn)行視頻播放。

18、在一個優(yōu)選的實施例中，所述中轉(zhuǎn)服務(wù)器還配置mqtt服務(wù)端；

19、所述無人機(jī)系統(tǒng)，還用于獲取無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至所述mqtt服務(wù)端；

20、所述mqtt服務(wù)端，用于獲取所述無人機(jī)系統(tǒng)發(fā)送的無人機(jī)狀態(tài)信息；

21、所述java服務(wù)端，還用于訂閱所述mqtt服務(wù)端獲取的無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至所述地面站應(yīng)用端。

22、在一個優(yōu)選的實施例中，所述地面站應(yīng)用端，用于觸發(fā)控制請求，并將控制請求發(fā)送至所述java服務(wù)端；

23、所述java服務(wù)端，對所述控制請求封裝成mqtt指令，并將mqtt指令發(fā)送至所述mqtt服務(wù)端；

24、所述無人機(jī)系統(tǒng)，訂閱所述mqtt服務(wù)端的mqtt指令，根據(jù)mqtt指令控制無人機(jī)執(zhí)行控制請求。

25、在一個優(yōu)選的實施例中，所述java服務(wù)端對封裝的mqtt指令指定mqtt主題，將mqtt主題發(fā)送至所述mqtt服務(wù)端；

26、所述mqtt服務(wù)端獲取mqtt主題，并對mqtt主題進(jìn)行解析，得到mqtt指令。

27、本發(fā)明的另一個方面在于提供一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制方法，使用本發(fā)明提供的一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制系統(tǒng)進(jìn)行手勢識別，包括如下方法步驟：

28、s1、地面站應(yīng)用端觸發(fā)控制請求，并將控制請求發(fā)送至中轉(zhuǎn)服務(wù)器的java服務(wù)端；其中，控制請求包括指定手勢；

29、s2、java服務(wù)端，對控制請求封裝成mqtt指令，并將mqtt指令發(fā)送至mqtt服務(wù)端；

30、無人機(jī)系統(tǒng)，訂閱mqtt服務(wù)端的mqtt指令，根據(jù)mqtt指令控制無人機(jī)執(zhí)行控制請求；其中，無人機(jī)系統(tǒng)將控制請求中的指定手勢發(fā)送至識別模型；

31、s3、無人機(jī)系統(tǒng)，獲取相機(jī)拍攝的第一視頻流，對第一視頻流抽取第一單幀圖像，并將第一單幀圖像發(fā)送至識別模型；

32、識別模型，對第一單幀圖像進(jìn)行人體位置檢測，并將人體位置檢測結(jié)果返回至無人機(jī)系統(tǒng)；

33、無人機(jī)系統(tǒng)，根據(jù)人體位置檢測結(jié)果控制無人機(jī)移動，使人體位于相機(jī)鏡頭的中間位置；

34、s4、當(dāng)人體位于相機(jī)鏡頭的中間位置后，無人機(jī)系統(tǒng)獲取相機(jī)拍攝的第二視頻流，對第二視頻流抽取第二單幀圖像，并將第二單幀圖像發(fā)送至識別模型；

35、識別模型，對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成識別結(jié)果，并將識別結(jié)果返回至無人機(jī)系統(tǒng)；

36、無人機(jī)系統(tǒng)，根據(jù)識別結(jié)果控制相機(jī)對人體進(jìn)行拍照生成手勢識別圖像，并獲取相機(jī)拍攝的手勢識別圖像發(fā)送至所述python服務(wù)系統(tǒng)；

37、s5、java服務(wù)端，獲取所述python服務(wù)系統(tǒng)的手勢識別圖像，并將手勢識別圖像發(fā)送至所述地面站應(yīng)用端。

38、在一個優(yōu)選的實施例中，在步驟s4中，當(dāng)識別模型對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成的識別結(jié)果是控制請求中的指定手勢；

39、則無人機(jī)系統(tǒng)控制相機(jī)對人體進(jìn)行拍照生成手勢識別圖像，并獲取相機(jī)拍攝的手勢識別圖像；

40、當(dāng)識別模型對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成的識別結(jié)果不是控制請求中的指定手勢；

41、則無人機(jī)系統(tǒng)不控制相機(jī)對人體進(jìn)行拍照。

42、在一個優(yōu)選的實施例中，在步驟s1中，地面站應(yīng)用端觸發(fā)的控制請求，還包括控制無人機(jī)起飛、降落、飛行、懸停、拍攝視頻流的控制信號；

43、在步驟s2中，無人機(jī)系統(tǒng)控制無人機(jī)執(zhí)行控制請求，包括控制無人機(jī)起飛、降落、飛行、懸停、拍攝視頻流的至少一種飛行方式。

44、在一個優(yōu)選的實施例中，所述無人機(jī)遠(yuǎn)程控制方法還包括：

45、s6、無人機(jī)系統(tǒng)，將獲取的第一視頻流和/或第二視頻流推送至所述srs流媒體服務(wù)端；所述地面站應(yīng)用端拉取所述srs流媒體服務(wù)端上的第一視頻流和/或第二視頻流，并實時進(jìn)行視頻播放。

46、在一個優(yōu)選的實施例中，所述無人機(jī)遠(yuǎn)程控制方法還包括：

47、s7、無人機(jī)系統(tǒng)，獲取無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至mqtt服務(wù)端；

48、mqtt服務(wù)端，獲取所述無人機(jī)系統(tǒng)發(fā)送的無人機(jī)狀態(tài)信息；java服務(wù)端，訂閱所述mqtt服務(wù)端獲取的無人機(jī)狀態(tài)信息，并將無人機(jī)狀態(tài)信息發(fā)送至地面站應(yīng)用端。

49、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

50、本發(fā)明提出的一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法，在無人機(jī)上部署邊緣計算機(jī)和相機(jī)，邊緣計算機(jī)配置無人機(jī)系統(tǒng)和識別模型；無人機(jī)系統(tǒng)對第一視頻流抽取第一單幀圖像，識別模型對第一單幀圖像進(jìn)行人體位置檢測，調(diào)整人體位于相機(jī)鏡頭的中間位置，并當(dāng)人體位于相機(jī)鏡頭的中間位置后，無人機(jī)系統(tǒng)對第二視頻流抽取第二單幀圖像，識別模型對第二單幀圖像中人體的手勢進(jìn)行手勢識別，生成識別結(jié)果，無人機(jī)系統(tǒng)根據(jù)識別結(jié)果控制相機(jī)對人體進(jìn)行拍照，生成手勢識別圖像。

51、本發(fā)明提出的一種實現(xiàn)手勢識別的無人機(jī)遠(yuǎn)程控制系統(tǒng)及方法，在地面站配置地面站應(yīng)用端，由地面站應(yīng)用端觸發(fā)具有指定手勢的控制請求，在中轉(zhuǎn)站部署中轉(zhuǎn)服務(wù)器，通過中轉(zhuǎn)服務(wù)器將具有指定手勢的控制請求轉(zhuǎn)發(fā)至無人機(jī)系統(tǒng)。無人機(jī)系統(tǒng)根據(jù)識別型生成的識別結(jié)果是否為指定手勢，控制相機(jī)對人體進(jìn)行拍照，生成手勢識別圖像，并將手勢識別圖像通過中轉(zhuǎn)服務(wù)器轉(zhuǎn)發(fā)至地面站應(yīng)用端，從而在無人機(jī)遠(yuǎn)程控制過程中實現(xiàn)手勢識別，使無人機(jī)遠(yuǎn)程進(jìn)行巡檢時實現(xiàn)無人機(jī)遠(yuǎn)程手勢識別，提高無人機(jī)遠(yuǎn)程巡檢效率，巡檢準(zhǔn)確率，避免出現(xiàn)巡檢錯誤。