本發(fā)明涉及圖像拼接，特別涉及一種基于無人機取證圖像實時拼接方法及系統(tǒng)。

背景技術(shù)：

1、隨著經(jīng)濟社會的發(fā)展，需要進行取證的情況逐漸增加，目前我國大部分地區(qū)的案件仍然采取人工取證的方式進行采集，例如水域污染、違法亂建等問題，取證過程不僅十分耗費時間，而且存在取證周期長、依人工成本高等問題，因此亟需一種新的方式完成取證任務(wù)。

2、無人機技術(shù)經(jīng)過不斷發(fā)展，已經(jīng)在巡航、監(jiān)測等方面取得諸多成果，但是現(xiàn)有方案仍然存在諸多不足，一方面由于無人機圖像拼接技術(shù)首先需要確保相機正常工作，但現(xiàn)有算法缺少對相機健康工作情況的驗證，另一方面，無人機圖像拼接技術(shù)的實時性要求較高，然而現(xiàn)有特征提取進行圖像拼接的技術(shù)計算復(fù)雜度較高，缺乏必要的邊緣驗證，導(dǎo)致存在部分區(qū)域重疊的問題，因此需要改進。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于無人機取證圖像實時拼接方法及系統(tǒng)，以解決目前圖像拼接計算效率不高，缺乏必要的驗證的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了如下技術(shù)方案：

3、一方面，本發(fā)明提供了一種基于無人機取證圖像實時拼接方法，該基于無人機取證圖像實時拼接方法包括：

4、無人機搭載兩個深度相機和一個gps信號采集器，深度相機采集環(huán)境信息，并完成深度相機的初始化；

5、構(gòu)建深度相機健康檢測算法，用以判斷深度相機工作是否正常，如果工作正常，則進行圖像拼接，如果工作不正常，則將信息上報指揮部；

6、如果深度相機均正常工作，獲取當(dāng)前時刻的主圖像和輔圖像，預(yù)測重疊區(qū)域的邊界，并對重疊區(qū)域的邊界進行驗證；

7、如果預(yù)測的重疊區(qū)域邊界和驗證的重疊區(qū)域邊界不一致，則采用隨機移步算法矯正重疊區(qū)域邊界，得到準(zhǔn)確的重疊區(qū)域；

8、得到準(zhǔn)確的重疊區(qū)域后，初始化空白圖像，完成圖像拼接的任務(wù)；

9、進一步地，所述無人機搭載兩個深度相機和一個gps信號采集器，深度相機采集環(huán)境信息，并完成深度相機的初始化，包括：

10、無人機搭載兩個深度相機，位于無人機頭部的兩側(cè)，兩個深度相機的中心點位于同一水平位置，兩個深度相機采集的圖像尺寸均為480*640；

11、兩個深度相機分為主深度相機和輔深度相機，分別采集環(huán)境信息，獲取兩個深度圖像，分別為主圖像f1＝{r1，g1，b1，h1}和輔圖像f2＝{r2，g2，b2，h2}，其中h1表示主圖像中各像素點的深度信息，r1，g1，b1表示主圖像中各像素點的顏色信息，h2表示輔圖像中的深度信息，r2，g2，b2表示輔圖像中各像素點的深度信息；

12、完成主圖像和輔圖像的顏色歸一化處理，顏色歸一化具體公式如下式所示：

13、s1＝0.265*r1+0.356*g1+0.256*b1

14、s2＝0.265*r2+0.356*g2+0.256*b2

15、其中，s1表示主圖像中各像素點顏色歸一化后的灰度值，s2表示輔圖像中各像素點顏色歸一化后的灰度值；

16、在后續(xù)圖像拼接的過程中，采用三原色進行計算復(fù)雜度較高，因此采用灰度值進行計算，后續(xù)為方便描述，主深度相機和輔深度相機采集的主圖像和輔圖像均是經(jīng)過顏色歸一化處理后包含灰度值的圖像。

17、進一步地，所述構(gòu)建深度相機健康檢測算法，用以判斷深度相機工作是否正常，如果工作正常，則進行圖像拼接，如果工作不正常，則將信息上報指揮部，包括：

18、構(gòu)建深度相機健康檢測算法，主要包括以下步驟：

19、(1)主深度相機采集第180秒的主圖像和第179秒的主圖像輔深度相機分別采集第180秒的輔圖像和第179秒的輔圖像的深度圖像，利用主圖像和輔圖像中像素點的灰度值，通過幀間匹配算法計算主深度相機在第180秒得到的無人機位置和輔深度相機在第180秒得到的無人機位置

20、(2)gps信號采集器獲取在第180秒時的無人機位置

21、(3)初始化健康檢測閾值μ；

22、(4)計算深度相機的健康系數(shù)γ1和γ2，具體表達(dá)式如下：

23、

24、其中，||表示絕對值；

25、(5)如果γ1≤μ且γ2≤μ，則表明主深度相機和輔深度相機均正常工作，否則主深度相機或者輔深度相機存在故障；

26、(6)如果發(fā)現(xiàn)主深度相機和輔深度相機均正常工作，進行圖像拼接，完成取證任務(wù)，如果主深度相機或者輔深度相機存在故障，則上報指揮中心及時檢修更換。

27、為保證無人機取證的準(zhǔn)確性，需要保證深度相機在整個取證周期內(nèi)均正常工作，因此在初次完成深度相機健康檢測后，每隔10分鐘再進行一次度相機健康檢測。

28、進一步地，所述如果深度相機均正常工作，獲取當(dāng)前時刻的主圖像和輔圖像，預(yù)測重疊區(qū)域的邊界，并對重疊區(qū)域的邊界進行驗證，包括：

29、如果深度相機均正常工作，獲取當(dāng)前時刻的主圖像和輔圖像其中i表示整數(shù)；

30、預(yù)測重疊區(qū)域的邊界，由于主深度相機和輔深度相機的位置固定，可以得到主深度相機和輔深度相機的同一水平夾角δ1和主深度相機和輔深度相機水平方向的拍攝角度大小δ2、δ3；

31、通過主深度相機和輔深度相機的同一水平夾角δ1和主深度相機和輔深度相機水平方向的拍攝夾角δ2、δ3計算重疊比例ρ，具體表達(dá)式如下式所示：

32、ρ＝|δ2+δ3-2*δ1|/(δ2+δ3)

33、當(dāng)前時刻的主圖像和輔圖像的尺寸均為480*640，因此可得重疊區(qū)域尺寸為ρ*640*480，在無人機取證過程中，重疊區(qū)域的寬度一致為480，因此重疊區(qū)域的長為ρ*640；

34、因此可以預(yù)測重疊區(qū)域的左邊界和右邊界具體表達(dá)式如下式所示：

35、

36、其中pre表示預(yù)測，zuo表示左，you表示右，l表示邊界，表示重疊區(qū)域左邊界對應(yīng)主圖像中的邊界，表示重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界，表示重疊區(qū)域右邊界對應(yīng)主圖像中的邊界，表示重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界；

37、之后對預(yù)測重疊區(qū)域的邊界進行驗證；

38、因安裝位置和使用過程中的碰撞，容易導(dǎo)致主深度相機和輔深度相機的水平夾角和主深度相機和輔深度相機水平方向的拍攝夾角發(fā)生改變，如果直接按預(yù)測重疊區(qū)域的邊界進行圖像拼接容易導(dǎo)致偽影問題，因此需要對預(yù)測重疊區(qū)域的邊界進行驗證；

39、驗證步驟主要如下：

40、(1)計算預(yù)測重疊區(qū)域邊界中重疊區(qū)域左邊界對應(yīng)主圖像中的邊界和重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界的累積深度誤差及累積灰度誤差

41、

42、其中，表示重疊區(qū)域左邊界對應(yīng)主圖像中的邊界中第i個像素點的深度值，表示重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界第i個像素點的深度值，表示疊區(qū)域左邊界對應(yīng)主圖像中的邊界中第i個像素點的灰度值，表示重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界第i個像素點的灰度值，i表示整數(shù)；

43、(2)計算預(yù)測重疊區(qū)域邊界中重疊區(qū)域右邊界對應(yīng)主圖像中的邊界和重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界的累積深度誤差及累積灰度誤差

44、

45、其中，表示重疊區(qū)域右邊界對應(yīng)主圖像中的邊界中第i個像素點的深度值，表示重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界第i個像素點的深度值，表示重疊區(qū)域右邊界對應(yīng)主圖像中的邊界中第i個像素點的灰度值，表示重疊區(qū)域左邊界對應(yīng)輔圖像中的邊界第i個像素點的灰度值；

46、(3)初始化累積深度閾值和累積灰度閾值

47、(4)初始化驗證標(biāo)識位flag，比較與的差異性以及比較與的差異性，具體表達(dá)式如下式所示：

48、

49、其中，∧表示與，當(dāng)和同時成立，flag＝1，當(dāng)和同時成立，flag＝1，∨表示或，當(dāng)或者僅一個成立，flag＝0，當(dāng)和僅一個成立，flag＝0；

50、輸出驗證標(biāo)志位結(jié)果，如果驗證標(biāo)志位結(jié)果為(1,1)則表示預(yù)測重疊區(qū)域的邊界準(zhǔn)確，直接進行圖像拼接，否則預(yù)測的重疊區(qū)域邊界和驗證的重疊區(qū)域邊界不一致，需要進一步矯正，得到準(zhǔn)確的重疊區(qū)域邊界。

51、進一步地，所述如果預(yù)測的重疊區(qū)域邊界和驗證的重疊區(qū)域邊界不一致，則采用隨機移步算法矯正重疊區(qū)域邊界，得到準(zhǔn)確的重疊區(qū)域，包括：

52、如果預(yù)測的重疊區(qū)域邊界和驗證的重疊區(qū)域邊界不一致，則采用隨機移步算法矯正重疊區(qū)域邊界；

53、在預(yù)測的重疊區(qū)域中，重疊區(qū)域的左邊界對應(yīng)主圖像中的邊界和輔圖像中的邊界重疊區(qū)域的右邊界對應(yīng)主圖像中的邊界和輔圖像中的邊界而輔圖像中的邊界和主圖像中的邊界是準(zhǔn)確的，因此稱為準(zhǔn)確邊界，而主圖像中的邊界和輔圖像中的邊界是不準(zhǔn)確的，因此稱為不準(zhǔn)確邊界，因此矯正的目的是為了找到主圖像中的邊界和輔圖像中的邊界其中，m和n為整數(shù)；

54、隨機移步算法具體步驟如下：

55、(1)獲取當(dāng)前時刻的時間戳t，計算隨機步數(shù)o＝(t％3)+2；

56、(2)如果o為奇數(shù)，則從對應(yīng)的不確定邊界的左側(cè)連續(xù)選取o列，分別各列和對應(yīng)的準(zhǔn)確邊界的深度累積誤差，標(biāo)記已選取計算的列；

57、(3)在計算深度累積誤差時，只選取行坐標(biāo)被5整除的像素點進行計算，共計選取96個像素點；

58、(4)初始化矯正閾值τ，如果某一列和對應(yīng)的準(zhǔn)確邊界的深度累積誤差小于矯正閾值τ，則該列為搜尋矯正的邊界，否則進行下一列深度累積誤差的計算；

59、(5)當(dāng)左側(cè)完成o列搜索仍未找到滿足條件的邊界，則需要從對應(yīng)的不確定邊界的右側(cè)連續(xù)選取o列再次進行計算；

60、(6)當(dāng)左右各搜索o列后，如果還未找到，則從已標(biāo)記的列旁選取未標(biāo)記的列進行計算，直到找到滿足條件的列，否則跳過該幀，并報警。

61、進一步地，所述得到準(zhǔn)確的重疊區(qū)域后，初始化空白圖像，完成圖像拼接的任務(wù)，包括：

62、得到準(zhǔn)確的重疊區(qū)域后，計算準(zhǔn)確的重疊區(qū)域的左邊界和右邊界具體表達(dá)式如下式所示：

63、

64、其中，n+m＝639，true表示準(zhǔn)確；

65、初始化空白圖像，空白圖像的尺寸為480*(1280-n-1)；

66、對進行畸變補償，具體步驟如下：

67、(1)計算和各列灰度平均值和

68、(2)計算畸變系數(shù)ω，具體表達(dá)式如下式所示：

69、

70、(3)如果ω<0.1，設(shè)定補償閾值φ1＝0.6，φ2＝0.4；如果ω≥0.1，設(shè)定補償閾值φ1＝0.8，φ2＝0.2；

71、(4)補償具體表達(dá)式如下：

72、

73、選取全部主圖像和輔圖像中第n列至639列的像素點進行拼接，完成圖像拼接的任務(wù)。

74、另一方面，本發(fā)明還提供了一種基于無人機取證圖像實時拼接系統(tǒng)，該基于無人機取證圖像實時拼接方法系統(tǒng)包括：

75、圖像獲取模塊：無人機搭載兩個深度相機和一個gps信號采集器，深度相機采集環(huán)境信息，并完成深度相機的初始化；

76、深度相機檢測模塊：構(gòu)建深度相機健康檢測算法，用以判斷深度相機工作是否正常，如果工作正常，則進行圖像拼接，如果工作不正常，則將信息上報指揮部；

77、預(yù)測及驗證模塊：如果深度相機均正常工作，獲取當(dāng)前時刻的主圖像和輔圖像，預(yù)測重疊區(qū)域的邊界，并對重疊區(qū)域的邊界進行驗證；

78、矯正拼接模塊：如果預(yù)測的重疊區(qū)域邊界和驗證的重疊區(qū)域邊界不一致，則采用隨機移步算法矯正重疊區(qū)域邊界，得到準(zhǔn)確的重疊區(qū)域；得到準(zhǔn)確的重疊區(qū)域后，初始化空白圖像，完成圖像拼接的任務(wù)。

79、本發(fā)明提供的技術(shù)方案帶來的有益效果至少包括：

80、1、本發(fā)明在實現(xiàn)無人機取證時，采用機械方式固定好兩個深度相機，并使兩個深度相機的中心點位于同一水平位置，從而降低圖像無人機取證時圖像拼接的計算量，同時構(gòu)建深度相機健康檢測算法，確保無人機在取證過程中均正常工作，從而保證無人機得到準(zhǔn)確的取證信息，相比于缺少深度相機健康檢測的算法，本算法可以及時檢測到無人機在取證過程深度相機故障，避免因深度相機故障造成取證不準(zhǔn)，從而降低圖像拼接的算力損失，提高無人機取證過程中的抗風(fēng)險性。

81、2、本發(fā)明在實現(xiàn)無人機取證圖像實時拼接時，引入控制論的思想，先預(yù)測再驗證，在預(yù)測時，僅利用角度關(guān)系得到重疊區(qū)域面積，并對得到的重疊區(qū)域做進一步驗證，相比于其他的方案，本方案通過灰度值和深度值就完成重疊區(qū)域邊界的驗證，降低計算量，從而提高無人機取證圖像拼接的實時性，效率較高。

82、3、本發(fā)明增加重疊區(qū)域邊界的矯正環(huán)節(jié)，通過隨機移步算法矯正重疊區(qū)域邊界矯正重疊區(qū)域邊界，得到準(zhǔn)確的重疊區(qū)域，并且在矯正計算累積深度誤差時，均勻提取部分像素點的信息進行計算，進一步提高了計算效率，并且在圖像拼接時，通過畸變補償及時消除邊緣畸變的影響，使得獲取的拼接圖像更加平滑，相比于經(jīng)通過配準(zhǔn)方式得到的重疊區(qū)域，本方案中不要提取復(fù)雜的特征點就可以找到重疊區(qū)域，計算簡單方便。