本發(fā)明涉及信息融合，特別是涉及一種空間信息與視頻三維動態(tài)融合方法、系統(tǒng)及存儲介質(zhì)。

背景技術：

1、隨著傳統(tǒng)ptz(pan-tilt-zoom)視頻監(jiān)控技術和人工智能(artificialintelligence，ai)的發(fā)展，通過安裝ptz相機，以視頻+ai的方式應用于耕地保護、礦山監(jiān)測、生態(tài)修復等自然資源監(jiān)測領域，構建了全天候、全時域的自動化監(jiān)測體系，實現(xiàn)自動或半自動識別監(jiān)測目標。同時，為了更好的在眾多碎片化監(jiān)控視頻中識別出目標的有效位置，在監(jiān)控視頻背景創(chuàng)建相應的三維地理場景，為視頻圖像中的任何點提供地理位置，為定位識別目標奠定數(shù)據(jù)基礎。目前將視頻與空間信息融合的方法主要有攝影測量方法、相機成像模型和單應性變換等方法實現(xiàn)。相機成像模型需要已知相機的數(shù)學模型，建立三維地理坐標和像素坐標之間的對應關系；單應性變換是通過圖像與二維平面特征點匹配建立的變換參數(shù)，構建兩個平面之間的對應關系，達到融合的效果。

2、現(xiàn)有的方法均可將三維場景中的目標映射至監(jiān)控畫面中，但是由于ptz相機的視角可以發(fā)生改變，同時也可以實現(xiàn)放大縮小，這對相機的內(nèi)參和外參獲取帶來了很大的困難。而單應性變換則不需要已知相機的內(nèi)外參就可以實現(xiàn)不同視角的變換，但前提是基于兩個平面之間的變換，并不適用于地勢起伏的場景。因此，有必要研發(fā)一種針對于地勢起伏的場景映射方法，并在相機轉(zhuǎn)動時實現(xiàn)動態(tài)融合。

技術實現(xiàn)思路

1、本發(fā)明的目的是提供一種空間信息與視頻三維動態(tài)融合方法、系統(tǒng)及存儲介質(zhì)，針對地形起伏、ptz相機視角靈活性以及相機可縮放等特點，通過匹配帶有控制點的預設幀作為參考圖像，采用三維直接線性變換的方式求解物方坐標到像素坐標之間的轉(zhuǎn)換關系，將空間數(shù)據(jù)映射至監(jiān)控畫面中，從而達到三維地理空間信息與視頻的融合。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種空間信息與視頻三維動態(tài)融合方法，該方法包括以下步驟：

4、s1，基于監(jiān)控區(qū)域的初始視頻數(shù)據(jù)以及空間數(shù)據(jù)，分別獲得初始視頻幀圖像以及初始視頻幀圖像中的若干控制點，基于初始視頻幀圖像與控制點之間的對應關系，設置預設幀；

5、s2，依據(jù)采集預設幀中初始視頻幀圖像時，ptz相機的z、p、t值構建圖像索引表；

6、s3，獲取監(jiān)控區(qū)域的實時視頻幀圖像，并根據(jù)獲取實時視頻幀圖像時ptz相機的p、t、z值，采用分級-分塊方法從圖像索引表中查詢到預設幀，得到對應的控制點；

7、s4，結合surf、flann和ransac算法動態(tài)匹配實時視頻幀圖像與預設幀，獲取控制點的像素坐標，以三維直接線性變換將三維空間信息映射到二維的視頻幀圖像中，實現(xiàn)空間信息到監(jiān)控視頻的融合。

8、進一步地，所述s1中，控制點為初始視頻幀圖像中已知的空間坐標的特征點；所述控制點提前布設在監(jiān)控區(qū)域內(nèi)，所述控制點的布設方法為：

9、在監(jiān)控區(qū)域選取多處固定位置，均勻布設若干控制點。

10、進一步地，所述s1中，設置預設幀的步驟按照分級-分塊原則進行，確定相鄰視頻幀之間的水平最大轉(zhuǎn)向角和垂直最大轉(zhuǎn)向角，基于水平最大轉(zhuǎn)向角和垂直最大轉(zhuǎn)向角，連續(xù)、均勻的轉(zhuǎn)動ptz相機獲得的初始視頻幀圖像作為預設幀圖像。

11、進一步地，所述設置預設幀的具體步驟如下；

12、s101，水平設置預設幀：

13、首先將ptz相機俯仰角設置為0，向前拍攝視頻幀，記錄當前視頻幀的畫面中左或右邊緣標志點，水平向左或右轉(zhuǎn)動ptz相機，觀察左或右邊緣標志點剛好消失，此時轉(zhuǎn)動前后兩視頻幀沒有重疊部分，即轉(zhuǎn)動過的角度即為水平最大轉(zhuǎn)向角hmax；依據(jù)ptz相機的工作視區(qū)范圍，選取拍攝角度ɑ，使得ɑ<hmax，依次拍攝初始視頻幀圖像；

14、s102，垂直設置預設幀：

15、將ptz相機云臺保持水平，記錄當前視頻幀的畫面中的下或上邊緣標志點，垂直向下或上轉(zhuǎn)動ptz相機，觀察下或上邊緣標志剛好消失，此時轉(zhuǎn)動前后兩視頻幀沒有重疊部分，即轉(zhuǎn)動過的角度就是垂直最大轉(zhuǎn)向角vmax；依據(jù)ptz相機的工作視區(qū)范圍，選取拍攝角度β，使得β<vmax，依次拍攝視初始視頻幀圖像；

16、s103，獲取的初始視頻幀圖像以五元組形式表達：pic＝<pcid,z,p,t,pts>，其中，pcid是初始視頻幀圖像的編號，z,p,t分別是拍攝圖像時ptz相機的倍率、旋轉(zhuǎn)、俯仰角的值，pts是初始視頻幀圖像中的控制點的集合，以pts＝{<ic1,pc1>,<ic1,pc1>,…,<icn,pcn>}表示，其中，pci是控制點，ici是初始視頻幀圖像內(nèi)與控制點所對應的點，i＝1,2,...,n，n為正整數(shù)；ic＝<pcid,u,v>由3元組組成，u,v表示控制點的像素坐標。

17、進一步地，所述s2，依據(jù)采集預設幀中初始視頻幀圖像時，ptz相機的z、p、t值構建圖像索引表，具體包括：

18、遵循分級-分塊的原則，依據(jù)采集預設幀中初始視頻幀圖像時，ptz相機的z、p、t值構建圖像索引，即以z為主索引鍵按升序排序，然后將z值對應的p、t值也按照升序排列后建立圖像索引表，其中，p值為行，t值為列，表中內(nèi)容是對應p/t值對應預設幀中初始視頻幀圖像的id。

19、進一步地，所述s3，獲取監(jiān)控區(qū)域的實時視頻幀圖像，并根據(jù)獲取實時視頻幀圖像時ptz相機的p、t、z值，采用分級-分塊方法從圖像索引表中查詢到預設幀，得到對應的控制點，具體包括：

20、通過z值對比獲取分級，在此基礎上，依據(jù)p、t值在圖像索引表中進行查詢，具體的方法如下：記實時視頻幀圖像的p、t、z值為pr、pt、pz；所求預設幀的p、t、z值為pp、tp、zp，其中，pr-ɑ≤pp≤pr+ɑ，tr-β≤tp≤tr+β，當分別檢索到滿足要求的p值和t值范圍的預設幀集合時，取兩者的交集完成檢索，得到初始視頻幀圖像的id集合，根據(jù)id找到對應的初始視頻幀圖像，得到對應的控制點。

21、進一步地，所述s4，結合surf、flann和ransac算法動態(tài)匹配實時視頻幀圖像與預設幀，獲取控制點的像素坐標，以三維直接線性變換將三維空間信息映射到二維的視頻幀圖像中，實現(xiàn)空間信息到監(jiān)控視頻的融合，具體包括：

22、s401，大尺度場景匹配：

23、1)采用特征匹配算法依次將當前視頻幀圖像和預設幀中初始視頻幀圖像集合進行特征匹配，計算出當前視頻幀圖像與各個初始視頻幀圖像之間的變換矩陣；

24、2)根據(jù)各個變換矩陣將初始視頻幀圖像中的控制點的像素坐標變換到當前視頻幀圖像中，依據(jù)當前視頻幀圖像內(nèi)的控制點和對應的像素坐標，采用三維直接線性變換建立地面點和像素點之間的映射關系，從而實現(xiàn)三維空間信息與當前視頻幀的融合；

25、3)當ptz相機視角發(fā)生變化時，將變化后的當前視頻幀圖像依次執(zhí)行上述的1)～2)步驟，從而實現(xiàn)實時監(jiān)控視頻與空間信息的動態(tài)融合；

26、s402，小尺度場景匹配：

27、依據(jù)圖像特征匹配原理提出虛擬視頻幀的方法，即依據(jù)當前視頻幀的p、t值及焦距值f，將焦距值調(diào)至圖像索引表中最低倍率的焦距值，獲取到一個視頻幀，即為包含最低控制點數(shù)量的虛擬視頻幀，記為vfvir；

28、將ptz相機焦距值調(diào)至f，得到此時的實時視頻幀，記為vfcur，然后以vfvir為基準視頻幀，執(zhí)行大尺度場景匹配，構建vfvir與三維空間信息的映射關系；在此基礎上，依據(jù)公式(1)計算出vfcur與vfvir之間的關系，從而計算出vfcur與三維空間信息的關系：

29、[ucur?vcur?1]t＝h[uvir?vvir?1]t＝hh′[xvir?yvirzvir?1]t????(1)

30、在公式(1)中，ucur、vcur、uvir、vvir分別是實時視頻幀vfcur中像素在虛擬視頻幀vfvir中對應的像素；xvir、yvir、zvir則是vfvir對應三維空間信息中地理坐標；h是vfvir和vfcur圖像像素之間的變換矩陣，由動態(tài)特征匹配算法計算而得；h'為地理空間到圖像之間的映射矩陣，基于vfvir采用三維直接線性變換計算而得；

31、隨著ptz相機的轉(zhuǎn)動，實時視頻幀發(fā)生變化，判斷實時視頻幀是否超出虛擬視頻幀范圍，并動態(tài)更新虛擬視頻幀。

32、進一步地，所述判斷實時視頻幀是否超出虛擬視頻幀范圍，并動態(tài)更新虛擬視頻幀，具體包括：

33、將公式(1)中參數(shù)調(diào)換一下位置，如公式(2)所示，即可用來判斷虛擬視頻幀與實時視頻幀的包含關系：

34、[uvir?vvir?1]t＝h[ucur?vcur?1]t???????????(2)

35、設實時視頻幀vfcur的尺寸為w*h，四個邊角(0,0)、(w,0)、(0,h)、(w,h)，公式(2)中ucur，vcur即為該四個邊角像素坐標，h是實時視頻幀到虛擬視頻幀的變換矩陣，同樣通過動態(tài)特征匹配算法求出，uvir和vvir是(0,0)、(w,0)、(0,h)、(w,h)在虛擬視頻幀中對應的同名像素坐標，若某一個邊角計算出來結果超出圖像尺寸界限，說明實時視頻幀超出虛擬視頻幀的范圍，需要重新計算，獲取新的虛擬視頻幀。

36、本發(fā)明還提供一種空間信息與視頻三維動態(tài)融合系統(tǒng)，應用于上述的空間信息與視頻三維動態(tài)融合方法，包括：

37、預設幀設置模塊，用于基于監(jiān)控區(qū)域的初始視頻數(shù)據(jù)以及空間數(shù)據(jù)，分別獲得初始視頻幀圖像以及初始視頻幀圖像中的若干控制點，基于初始視頻幀圖像與控制點之間的對應關系，設置預設幀；

38、索引構建模塊，用于依據(jù)采集預設幀中初始視頻幀圖像時，ptz相機的z、p、t值構建圖像索引表；

39、圖像查詢模塊，用于獲取監(jiān)控區(qū)域的實時視頻幀圖像，并根據(jù)獲取實時視頻幀圖像時ptz相機的p、t、z值，采用分級-分塊方法從圖像索引表中查詢到預設幀，得到對應的控制點；

40、動態(tài)匹配與映射模塊，用于結合surf、flann和ransac算法動態(tài)匹配實時視頻幀圖像與預設幀，獲取控制點的像素坐標，以三維直接線性變換將三維空間信息映射到二維的視頻幀圖像中，實現(xiàn)空間信息到監(jiān)控視頻的融合。

41、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一所述的一種空間信息與視頻三維動態(tài)融合方法。

42、根據(jù)本發(fā)明提供的具體實施例，本發(fā)明公開了以下技術效果：本發(fā)明提供了一種空間信息與視頻三維動態(tài)融合方法及系統(tǒng)，根據(jù)ptz相機的監(jiān)測范圍和縮放比例，結合視區(qū)范圍內(nèi)不同的地形狀況設置預設幀，這些預設幀建立了圖像與控制點之間的對應關系，并依據(jù)ptz相機的p、t、z值建立圖像索引表；然后，依據(jù)拍攝實時視頻ptz相機的p、t、z值，采用分級-分塊方法從圖像索引表中查詢到預設幀；在此基礎上，結合surf、flann和ransac算法動態(tài)匹配實時視頻幀與預設幀獲取控制點的像素坐標，以三維直接線性變換將三維空間信息映射到二維圖像中，從而實現(xiàn)地理空間信息到監(jiān)控視頻的融合。本發(fā)明不需要進行相機標定，避免了標定的復雜步驟，提高了融合效率；本發(fā)明結合ptz相機的視角及縮放靈活特性，可以考慮地形起伏的空間信息，適用于基于地勢起伏的應用場景。