本發(fā)明涉及無人機(jī)目標(biāo)定位，特別涉及一種基于無人機(jī)實(shí)時(shí)位置聯(lián)動(dòng)攝像機(jī)定位目標(biāo)的方法。

背景技術(shù)：

1、固定點(diǎn)位的攝像機(jī)或者人工上報(bào)某經(jīng)緯度發(fā)送事件后需要手動(dòng)選擇附近的無人機(jī)與攝像頭分別進(jìn)行多次且手動(dòng)的操作，在繁瑣的操作過程中浪費(fèi)寶貴的處置與核實(shí)時(shí)間,費(fèi)時(shí)費(fèi)力。并且單個(gè)固定點(diǎn)位的攝像機(jī)可視范圍單一，無法對目標(biāo)進(jìn)行多方位的持續(xù)檢測，獲取的監(jiān)測結(jié)果的準(zhǔn)確度無法得到保證。

2、現(xiàn)有技術(shù)中多采用多無人機(jī)進(jìn)行協(xié)同監(jiān)測，需將各個(gè)無人機(jī)停留于目標(biāo)四周的同一水平面上，達(dá)成對目標(biāo)的多方位監(jiān)測。但是無人機(jī)在對持續(xù)性事件的觀測中，對續(xù)航能力是個(gè)極大的挑戰(zhàn)，如果使用多臺進(jìn)行接力性觀測或者協(xié)同觀測又大大增加了成本，且在遠(yuǎn)程的操作中，對目標(biāo)事件進(jìn)行持續(xù)監(jiān)測的靈活性與時(shí)效性還是有所不足。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明是鑒于上述問題而進(jìn)行的，其目的在于，提供一種基于無人機(jī)實(shí)時(shí)位置聯(lián)動(dòng)攝像機(jī)定位目標(biāo)的方法，通過對無人機(jī)拍攝視頻中置信度最高的目標(biāo)圖像視頻幀進(jìn)行處理，基于無人機(jī)的實(shí)時(shí)位置及配置信息，聯(lián)動(dòng)能夠覆蓋到目標(biāo)位置的固定點(diǎn)位攝像機(jī)，計(jì)算攝像機(jī)的ptz值，以同步無人機(jī)和攝像機(jī)對定位目標(biāo)進(jìn)行多方位監(jiān)測。

2、具體如下，本發(fā)明的第一方面提供了一種基于無人機(jī)實(shí)時(shí)位置聯(lián)動(dòng)攝像機(jī)定位目標(biāo)的方法，包括以下步驟：

3、步驟一：將無人機(jī)航線上的固定點(diǎn)位攝像機(jī)接入鐵塔視頻匯聚系統(tǒng)，符合無人機(jī)調(diào)度條件時(shí)通過無人機(jī)平臺進(jìn)行調(diào)度；

4、鐵塔視頻匯聚系統(tǒng)是一種利用通信鐵塔作為基礎(chǔ)設(shè)施，通過視頻監(jiān)控技術(shù)實(shí)現(xiàn)視頻數(shù)據(jù)的集中管理和應(yīng)用的系統(tǒng)，不僅支持多協(xié)議接入，如rtsp、rtmp、gb28181等，還具備靈活的擴(kuò)展能力。

5、步驟二：無人機(jī)飛行過程中，取目標(biāo)位置識別置信度最大的視頻幀，獲取此時(shí)無人機(jī)和無人機(jī)云臺的定位相關(guān)數(shù)據(jù)；

6、步驟三：對所述視頻幀的圖像進(jìn)行預(yù)處理，將事件目標(biāo)位置在圖像中的像素坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)系下的坐標(biāo)，再轉(zhuǎn)換為世界坐標(biāo)系下的坐標(biāo)，公式如下：

7、；

8、；

9、；

10、；

11、其中：為目標(biāo)在圖像中的像素坐標(biāo)；

12、為相機(jī)的焦距；

13、為圖像中心點(diǎn)的像素坐標(biāo)；

14、為目標(biāo)距離相機(jī)的距離；

15、h為無人機(jī)的高度；

16、(、、)為目標(biāo)在相機(jī)坐標(biāo)系下的坐標(biāo)；

17、(、、)為目標(biāo)在世界坐標(biāo)系下的坐標(biāo)；

18、(、、)為無人機(jī)的gps定位坐標(biāo)；

19、為旋轉(zhuǎn)矩陣；

20、為無人機(jī)云臺的偏航角；

21、為無人機(jī)云臺的俯仰角；

22、為無人機(jī)云臺的橫滾角；

23、像素坐標(biāo)系是以圖像左上角為原點(diǎn)建立的直角坐標(biāo)系，像素坐標(biāo)系用于描述圖像中單個(gè)像素的位置，通常在圖像處理中使用。

24、相機(jī)坐標(biāo)系是以攝像機(jī)光心為原點(diǎn)，光軸為z軸建立的三維直角坐標(biāo)系。其中，x軸和y軸分別與成像平面平行，z軸指向相機(jī)的前方（即與成像平面垂直）。相機(jī)坐標(biāo)系用于描述從相機(jī)視角看到的物體位置。

25、世界坐標(biāo)系是一個(gè)三維直角坐標(biāo)系，通常用于描述環(huán)境中任何物體的位置。它的原點(diǎn)可以根據(jù)需要自由設(shè)置，例如可以位于機(jī)器手底座或者前端執(zhí)行器上。世界坐標(biāo)系是其他坐標(biāo)系的參考框架，用來描述相機(jī)和其他物體在真實(shí)世界中的位置。本發(fā)明中世界坐標(biāo)系的原點(diǎn)與gps定位相同，為地球的質(zhì)心。

26、步驟四：系統(tǒng)根據(jù)無人機(jī)坐標(biāo)周邊固定點(diǎn)位攝像機(jī)的可視范圍是否涵蓋事件目標(biāo)位置，判斷出進(jìn)行聯(lián)動(dòng)的固定點(diǎn)位攝像機(jī)；

27、鐵塔的固定點(diǎn)位攝像機(jī)，由于型號、焦距的差異，可視范圍為3公里到10公里不等，還需要根據(jù)天氣的影響進(jìn)行調(diào)整，在霧天等遮擋視線的天氣時(shí)，可視范圍還會(huì)受到不同程度的削減，進(jìn)行判斷時(shí)需考慮到天氣的影響。

28、步驟五：計(jì)算固定點(diǎn)位攝像機(jī)的ptz值并根據(jù)ptz值調(diào)節(jié)攝像機(jī)，同步固定點(diǎn)位攝像機(jī)與無人機(jī)的目標(biāo)區(qū)域，計(jì)算公式如下：

29、；

30、；

31、；

32、其中：p為水平方位值；

33、t為俯仰方位值；

34、z為攝像機(jī)鏡頭焦距變倍值；

35、arccos為反余弦函數(shù)；

36、arctan為反正切函數(shù)；

37、為攝像頭到目標(biāo)點(diǎn)的距離；

38、b為p值為0的坐標(biāo)點(diǎn)到目標(biāo)點(diǎn)的距離；

39、c為攝像頭到p值為0的坐標(biāo)點(diǎn)的距離；

40、為攝像頭所在點(diǎn)位高度；

41、為攝像頭所在鐵塔高度；

42、為目標(biāo)點(diǎn)位高度；

43、distance為攝像頭到目標(biāo)點(diǎn)位的距離；

44、為圖片的像素寬度；

45、為攝像頭的最大焦距；

46、min為取最小值函數(shù)；

47、為攝像頭焦距達(dá)到最大值時(shí)，攝像頭能夠清晰捕捉到的目標(biāo)點(diǎn)的最大實(shí)際距離；

48、步驟六：對無人機(jī)拍攝視頻和固定點(diǎn)位攝像機(jī)拍攝視頻進(jìn)行視頻拼接，對目標(biāo)位置進(jìn)行多方位持續(xù)監(jiān)測。

49、對無人機(jī)拍攝視頻和固定點(diǎn)位攝像機(jī)拍攝視頻進(jìn)行視頻拼接，具體為使用ffmpegjoiner等軟件合并對同一目標(biāo)位置的不同角度的拍攝視頻，生成對目標(biāo)位置的全景監(jiān)控視頻圖像，進(jìn)行多方位持續(xù)監(jiān)測。

50、進(jìn)一步地，所述符合無人機(jī)調(diào)度條件，具體包括：

51、由固定點(diǎn)位攝像機(jī)返回鐵塔視頻匯聚系統(tǒng)的視頻中監(jiān)測到目標(biāo)事件，服務(wù)器對事件進(jìn)行采集分析，并向責(zé)任人發(fā)起告警推送，責(zé)任人確認(rèn)需持續(xù)追蹤本事件并派遣無人機(jī)核實(shí)；

52、或達(dá)到無人機(jī)巡檢時(shí)間，根據(jù)配置的固定航線調(diào)度無人機(jī)。

53、進(jìn)一步地，所述取目標(biāo)位置識別置信度最大的視頻幀，包括：對于每一幀圖像，都通過坐標(biāo)轉(zhuǎn)換的方法計(jì)算出坐標(biāo)的預(yù)測位置，然后根據(jù)目標(biāo)的實(shí)際位置與預(yù)測位置的差異來評估該幀圖像的置信度，差異越小，置信度越高，最后，比較不同視頻幀的置信度，選擇置信度最大的視頻幀作為最終結(jié)果。

54、進(jìn)一步地，所述獲取此時(shí)無人機(jī)和無人機(jī)云臺的定位相關(guān)數(shù)據(jù)，具體包括：

55、根據(jù)巡檢航線獲取無人機(jī)云臺的俯仰角、橫滾角、偏航角參數(shù)；

56、無人機(jī)云臺的俯仰角、橫滾角、偏航角參數(shù)是描述無人機(jī)姿態(tài)的重要參數(shù)，通常通過傳感器如陀螺儀和加速度計(jì)來測量，根據(jù)無人機(jī)的巡檢航線設(shè)置和無人機(jī)控制系統(tǒng)的無人機(jī)姿態(tài)數(shù)據(jù)獲得。

57、俯仰角是指無人機(jī)機(jī)體坐標(biāo)軸與水平面之間的夾角。俯仰角的測量可以通過陀螺儀積分得到，也可以通過加速度計(jì)在沒有自身加速度的情況下測量重力分量來確定。

58、橫滾角是指無人機(jī)機(jī)體坐標(biāo)軸與鉛垂面之間的夾角。同樣，橫滾角可以通過陀螺儀積分獲得，或者通過加速度計(jì)測量重力分量來確定。

59、偏航角是指無人機(jī)繞垂直軸旋轉(zhuǎn)的角度，通常通過陀螺儀測量角速度并進(jìn)行積分計(jì)算得到。此外，偏航角也可以通過磁強(qiáng)計(jì)與加速度計(jì)結(jié)合使用，通過卡爾曼濾波算法融合陀螺儀和磁強(qiáng)計(jì)的數(shù)據(jù)來計(jì)算。

60、根據(jù)無人機(jī)設(shè)備型號獲取相機(jī)的焦距、傳感器尺寸、圖像分辨率等參數(shù)數(shù)據(jù)；

61、焦距是指從鏡頭光學(xué)中心到成像平面（如ccd或cmos傳感器）的距離。焦距決定了相機(jī)的視角和成像范圍。

62、傳感器尺寸是指圖像傳感器的物理尺寸，傳感器尺寸影響相機(jī)的成像質(zhì)量和圖像細(xì)節(jié)。

63、圖像分辨率是指相機(jī)能夠捕捉的圖像細(xì)節(jié)的數(shù)量，通常以像素為單位表示，分辨率越高，可以容納的細(xì)節(jié)越多。

64、根據(jù)無人機(jī)內(nèi)置的定位模塊獲取無人機(jī)的gps坐標(biāo)和飛行高度。

65、進(jìn)一步地，所述預(yù)處理包括對圖像進(jìn)行去噪和灰度增強(qiáng)。

66、對圖像進(jìn)行中值濾波以平滑噪聲，降低噪聲的影響，再通過線性變換對原圖像的灰度值進(jìn)行線性變換來擴(kuò)展灰度范圍，從而增強(qiáng)圖像的對比度。

67、進(jìn)一步地，所述俯仰方位值在進(jìn)行計(jì)算時(shí)，默認(rèn)鐵塔位置與目標(biāo)點(diǎn)位的相對海拔為0米，高度差只計(jì)算攝像機(jī)的掛高。

68、攝像機(jī)的掛高是指攝像機(jī)在安裝時(shí)離地面的高度，本發(fā)明中，忽略鐵塔位置與目標(biāo)點(diǎn)位的相對海拔，攝像機(jī)安裝于鐵塔頂端，因?yàn)槭苤朴诠潭c(diǎn)位攝像機(jī)的可視范圍，鐵塔位置與目標(biāo)點(diǎn)位之間的距離不會(huì)太遠(yuǎn)，相對海拔之差較小，且相對于鐵塔高度來說對攝像機(jī)的影響較小，故進(jìn)行忽略。

69、進(jìn)一步地，所述根據(jù)ptz值調(diào)節(jié)攝像機(jī)，具體為：根據(jù)p值調(diào)整攝像機(jī)的水平旋轉(zhuǎn)角度；根據(jù)t值調(diào)整攝像機(jī)的俯仰角度；根據(jù)z值調(diào)節(jié)攝像機(jī)的鏡頭焦距變倍值。

70、第二方面，本發(fā)明還提供了一種計(jì)算裝置，該計(jì)算裝置具有實(shí)現(xiàn)上述第一方面所描述的方法的功能，有益效果可以參見第一方面的描述，此處不再贅述。功能可以通過硬件實(shí)現(xiàn)，也可以通過硬件執(zhí)行相應(yīng)的軟件實(shí)現(xiàn)。硬件或軟件包括一個(gè)或多個(gè)與上述功能相對應(yīng)的模塊。在一個(gè)可能的設(shè)計(jì)中，裝置的結(jié)構(gòu)中包括獲取模塊、訓(xùn)練模塊，可選的，還可包括構(gòu)建模塊。這些模塊可以實(shí)現(xiàn)上述第一方面方法示例中訓(xùn)練節(jié)點(diǎn)的功能，具體參見方法示例中的詳細(xì)描述，此處不做贅述。

71、第三方面，本發(fā)明還提供了一種計(jì)算設(shè)備，該計(jì)算設(shè)備用于實(shí)現(xiàn)上述第一方面描述的方法的功能，有益效果可以參見第一方面的描述此處不再贅述。該計(jì)算設(shè)備的結(jié)構(gòu)中包括處理器和存儲(chǔ)器，存儲(chǔ)器用于存儲(chǔ)指令和/或數(shù)據(jù)。存儲(chǔ)器與處理器耦合，處理器執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序指令時(shí)，可以實(shí)現(xiàn)上述第一方面示例中訓(xùn)練節(jié)點(diǎn)的功能。計(jì)算設(shè)備的結(jié)構(gòu)中還包括通信接口，用于與其他設(shè)備進(jìn)行通信。

72、第四方面，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述第一方面以及第一方面的各個(gè)可能的設(shè)計(jì)中的方法。

73、第五方面，本發(fā)明還提供一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)其在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述第一方面以及第一方面的各個(gè)可能的設(shè)計(jì)中的方法。

74、第六方面，本發(fā)明還提供一種計(jì)算芯片，芯片與存儲(chǔ)器相連，芯片用于讀取并執(zhí)行存儲(chǔ)器中存儲(chǔ)的軟件程序，執(zhí)行上述第一方面以及第一方面的各個(gè)可能的實(shí)現(xiàn)方式中的方法。