本發(fā)明涉及計算機圖像處理與地圖測繪領域，具體為一種基于實時在線地圖生成的無人機偵察方法，在基于無人機實時在線地圖生成的基礎上，自動對比分析不同時間的地理、場景、關鍵目標等信息在不同時刻上的變化，并自動在地圖上生成警告信息。

背景技術：

傳統(tǒng)技術與方法通過人工巡邏，或利用飛行器(包括無人機)拍攝視頻影像，然后人工判讀完成。人工巡邏效率低，需要大量人力物力，目前普遍采用飛行器進行高空視頻影像或拍照，這就需要專人對視頻影像或照片進行值守觀察判讀，人工判讀這些數(shù)據(jù)難免會有對上次偵察情況記憶不清、對偵察區(qū)域微小變化忽略的情況、長時間判讀導致注意力下降等諸多問題。

目前，國外采取傳統(tǒng)航空攝影測量方法的軟件主要有Pix4D(瑞士)、PhotoScan(俄羅斯)和傾斜攝影測量，均需離線計算，需要飛機降落后提取數(shù)據(jù)，進行運算，這類方法需要專業(yè)人員操作，并且運算時間幾個小時到幾天，因此不適宜做偵察應用。國際上能完成無人機實時地圖構建功能僅有DroneDeploy(美國)系統(tǒng)，該技術是通過連接Internet網(wǎng)進行網(wǎng)絡云計算完成，它將無人機送達需要進行測繪的地點上空，并自動完成測繪工作。用戶可以選擇是需要高分辨率、近距離的地圖，或是選擇視野更廣、低分辨率的地圖。該技術知識產(chǎn)權屬于美國，并且服務器放置在美國，所以數(shù)據(jù)安全性得不到保障。

基于視覺SLAM技術是時-空二維偵察處理的關鍵技術，也是當前智能機器研究的一個重要方向。雖然在眾多學者的努力下已取得了豐富的理論成果，但是一直以來視覺SLAM系統(tǒng)的工程實現(xiàn)存在很多困難。近年隨著微電子技術的發(fā)展，以及視覺SLAM算法的不斷創(chuàng)新，使實時高分辨率時-空偵察系統(tǒng)的軟硬件實現(xiàn)成為可能。

技術實現(xiàn)要素：

為解決現(xiàn)有技術存在的問題，本發(fā)明提出了一種基于實時在線地圖生成的無人機偵察方法，在基于無人機實時在線地圖生成的基礎上，自動對比分析不同時間的地理、場景、關鍵目標等信息在不同時刻上的變化，并自動在地圖上生成警告信息。

本發(fā)明的技術方案為：

所述一種基于實時在線地圖生成的無人機偵察方法，其特征在于：包括以下步驟：

步驟1：無人機對待偵查區(qū)域按照設定航路飛行，拍攝標準視頻，并提取標準視頻關鍵幀：

標準視頻第一幀設定為關鍵幀，且標準視頻第一幀的單應矩陣H為單位陣；

對于標準視頻當前幀，通過以下步驟計算當前幀到當前關鍵幀的單應矩陣H，并判斷是否更新關鍵幀：

步驟1.1：對當前幀做灰度化處理，提取當前幀的特征點并獲取特征描述向量，利用當前幀對應單應矩陣H的初始值，將當前幀的特征點投影到當前關鍵幀上；

步驟1.2：在當前關鍵幀上，以每一個投影點為設定區(qū)域中心，依據(jù)設定區(qū)域對每一投影點進行如下判斷：

若設定區(qū)域內(nèi)沒有當前關鍵幀的特征點，則對該投影點不做處理；

若設定區(qū)域內(nèi)存在當前關鍵幀的特征點，則選擇與投影點差異最小的特征點，判斷該特征點與投影點差異值是否滿足匹配設定條件，如果滿足，則得到一個特征點匹配對；

步驟1.3：利用得到的特征點匹配對，根據(jù)公式

計算當前幀到當前關鍵幀的單應矩陣H，并作為下一幀對應單應矩陣H的初始值；其中為當前幀中圖像特征點在Z向歸一化后的坐標，為當前關鍵幀中圖像特征點在Z向歸一化后的坐標，d為歸一化系數(shù)；

步驟1.4：如果當前幀與當前關鍵幀圖像重疊部分小于整幅圖像的90％，則將當前幀標記為關鍵幀，并作為新的當前關鍵幀；并判斷當前幀是否為標準視頻最后一幀，若不是，則返回步驟1.1，進行下一幀操作；

步驟1.5：根據(jù)標準視頻，按照實時在線地圖生成方法，將標準視頻的圖像序列生成全局地圖；

步驟2：無人機對待偵查區(qū)域按照設定航路進行偵查飛行，拍攝新視頻，對新視頻每一幀做灰度化處理，提取其特征點并獲取特征描述向量；

對于新視頻中的第一幀，根據(jù)特征描述向量從標準視頻的關鍵幀序列中找到與新視頻中第一幀最接近的關鍵幀作為當前關鍵幀；并采用單位陣作為新視頻第一幀到當前關鍵幀的單應矩陣H的初始值；

對于新視頻當前幀，通過以下步驟計算新視頻當前幀到當前關鍵幀的單應矩陣H，并得到當前幀與當前關鍵幀的差異圖D：

步驟2.1：利用新視頻當前幀到當前關鍵幀的單應矩陣H的初始值，將新視頻當前幀的特征點投影到當前關鍵幀上；

步驟2.2：在當前關鍵幀上，以每一個投影點為設定區(qū)域中心，依據(jù)設定區(qū)域對每一投影點進行如下判斷：

若設定區(qū)域內(nèi)沒有當前關鍵幀的特征點，則對該投影點不做處理；

若設定區(qū)域內(nèi)存在當前關鍵幀的特征點，則選擇與投影點差異最小的特征點，判斷該特征點與投影點差異值是否滿足匹配設定條件，如果滿足，則得到一個特征點匹配對；

步驟2.3：判斷得到的特征點匹配對個數(shù)是否達到設定的要求，如果達到，則利用得到的特征點匹配對，根據(jù)公式

計算新視頻當前幀到當前關鍵幀的單應矩陣H，并作為新視頻下一幀對應單應矩陣H的初始值，并進入步驟2.4；其中為新視頻當前幀中圖像特征點在Z向歸一化后的坐標，為當前關鍵幀中圖像特征點在Z向歸一化后的坐標，d為歸一化系數(shù)；并判斷當前幀是否是新視頻最后一幀，若不是最后一幀，則返回步驟2.1進行新視頻下一幀操作；

如果特征點匹配對個數(shù)沒有達到設定要求，則重新定位，所述重新定位過程為：根據(jù)新視頻當前幀的特征描述向量，從標準視頻的關鍵幀序列中找到與新視頻當前幀最接近的關鍵幀作為當前關鍵幀，并采用單位陣作為新視頻當前幀到當前關鍵幀的單應矩陣H的初始值，然后重新返回步驟2.1；

步驟2.4：將當前關鍵幀投影到新視頻當前幀上，與當前幀做圖像差異比較，得出差異圖，然后根據(jù)差異圖D，找出差異物體；

步驟3：判斷差異物體是否屬于威脅物，若是，則在步驟1.5建立的地圖上重點標出。

進一步的優(yōu)選方案，所述一種基于實時在線地圖生成的無人機偵察方法，其特征在于：某一幀圖像A的特征描述向量通過以下過程得到：

步驟a：對待偵查區(qū)域多次拍攝，得到訓練圖像集；

步驟b：利用SIFT算法，提取訓練圖像集中每一張圖像的SIFT特征；

步驟c：將所有訓練圖像的特征集合到一起，共有N個特征，從這N個特征中取K個具有代表性的聚類中心，利用K-Means算法對N個特征進行聚類，得到包含K個視覺詞的視覺詞典，所述視覺詞即為聚類中心；

步驟d：計算所述某一幀圖像A中每個特征點到所有視覺詞的距離，將每個特征點映射到距離最近的視覺詞中，對映射到視覺詞中特征點個數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計值建立與視覺詞序列對應的特征描述向量，所述特征描述向量中第n個元素為對應視覺詞序列中第n個視覺詞中所映射的特征點個數(shù)。

進一步的優(yōu)選方案，所述一種基于實時在線地圖生成的無人機偵察方法，其特征在于：步驟1.2和步驟2.2中，設定區(qū)域為正方形區(qū)域，正方形區(qū)域邊長為20個像素。

進一步的優(yōu)選方案，所述一種基于實時在線地圖生成的無人機偵察方法，其特征在于：根據(jù)特征描述向量，從標準視頻的關鍵幀序列找到當前關鍵幀的過程為：計算新視頻第一幀或當前幀特征描述向量與標準視頻的關鍵幀序列中每一關鍵幀特征描述向量的差，并求模，根據(jù)得到的模的數(shù)值進行選擇。

進一步的優(yōu)選方案，所述一種基于實時在線地圖生成的無人機偵察方法，其特征在于：步驟3中識別差異物體是否屬于威脅物的過程為：

預先建立威脅識別器，將差異物體圖像輸入威脅識別器，自動識別是否屬于威脅物；所述威脅識別器通過以下過程得到：預先搜集若干包含威脅物體的圖像，并對威脅物體進行類別和等級標注作為訓練數(shù)據(jù)集；利用卷積神經(jīng)網(wǎng)絡作為訓練模型，并使用訓練數(shù)據(jù)集來訓練網(wǎng)絡參數(shù)，從而得到威脅識別器。

有益效果

本發(fā)明能夠在實現(xiàn)地圖實時在線地圖重建的基礎上，自動對比分析不同時間的地理信息變化，在地圖上生成警告信息?？捎糜谶吘尘€巡邏偵察，海岸線河岸線巡邏偵察，石油管線巡查等，還可用于實時應急測繪，在突發(fā)地質(zhì)災害、森林火災、交通指揮等方面，有著廣泛的用途。

本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1流程圖；

圖2標準視頻的某一幀a；

圖3標準視頻的某一幀b；

圖4標準視頻、新視頻、差異圖的對比圖1；

圖5標準視頻、新視頻、差異圖的對比圖2；

圖6標準視頻、新視頻、差異圖的對比圖3；

圖7標準視頻與新視頻的特征點匹配。

具體實施方式

下面詳細描述本發(fā)明的實施例，所述實施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

本實施例中是實時在線地圖的生成是基礎上進行圖像的對比，生成差異視頻，根據(jù)差異視頻在基準地圖上標記危險，生成報告。

具體包括以下步驟：

步驟1：無人機對待偵查區(qū)域按照設定航路飛行，拍攝標準視頻，并提取標準視頻關鍵幀：

標準視頻第一幀設定為關鍵幀，且標準視頻第一幀的單應矩陣H為單位陣；

對于標準視頻當前幀，通過以下步驟計算當前幀到當前關鍵幀的單應矩陣H，并判斷是否更新關鍵幀：

步驟1.1：對當前幀做灰度化處理，提取當前幀的特征點并獲取特征描述向量，利用當前幀對應單應矩陣H的初始值，將當前幀的特征點投影到當前關鍵幀上；

步驟1.2：在當前關鍵幀上，以每一個投影點為設定區(qū)域中心，依據(jù)設定區(qū)域對每一投影點進行如下判斷，其中設定區(qū)域為正方形區(qū)域，正方形區(qū)域邊長為20個像素：

若設定區(qū)域內(nèi)沒有當前關鍵幀的特征點，則對該投影點不做處理；

若設定區(qū)域內(nèi)存在當前關鍵幀的特征點，則選擇與投影點差異最小的特征點，判斷該特征點與投影點差異值是否滿足匹配設定條件，如果滿足，則得到一個特征點匹配對；

步驟1.3：利用得到的特征點匹配對，根據(jù)公式

計算當前幀到當前關鍵幀的單應矩陣H，并作為下一幀對應單應矩陣H的初始值；其中為當前幀中圖像特征點在Z向歸一化后的坐標，為當前關鍵幀中圖像特征點在Z向歸一化后的坐標，d為歸一化系數(shù)；

步驟1.4：由于當前幀比當前關鍵幀在時間上要滯后，所以當前幀會出現(xiàn)一些新的特征點，在匹配過后，可以得到兩幀圖像重疊部分的圖像，如果當前幀與當前關鍵幀圖像重疊部分小于整幅圖像的90％，則將當前幀標記為關鍵幀，并作為新的當前關鍵幀；并判斷當前幀是否為標準視頻最后一幀，若不是，則返回步驟1.1，進行下一幀操作；

步驟1.5：根據(jù)標準視頻，按照實時在線地圖生成方法，將標準視頻的圖像序列生成全局地圖；這里實時在線地圖生成方法在發(fā)明專利申請《一種無人機實時在線地圖生成方法》201610373105.0中公開；

步驟2：無人機對待偵查區(qū)域按照設定航路進行偵查飛行，拍攝新視頻，對新視頻每一幀做灰度化處理，提取其特征點并獲取特征描述向量；新視頻與標準視頻中區(qū)域相同，航路相同；

對于新視頻中的第一幀，根據(jù)特征描述向量從標準視頻的關鍵幀序列中找到與新視頻中第一幀最接近的關鍵幀作為當前關鍵幀；并采用單位陣作為新視頻第一幀到當前關鍵幀的單應矩陣H的初始值；

對于新視頻當前幀，通過以下步驟計算新視頻當前幀到當前關鍵幀的單應矩陣H，并得到當前幀與當前關鍵幀的差異圖D：

步驟2.1：利用新視頻當前幀到當前關鍵幀的單應矩陣H的初始值，將新視頻當前幀的特征點投影到當前關鍵幀上；

步驟2.2：在當前關鍵幀上，以每一個投影點為設定區(qū)域中心，依據(jù)設定區(qū)域對每一投影點進行如下判斷，其中設定區(qū)域為正方形區(qū)域，正方形區(qū)域邊長為20個像素：

若設定區(qū)域內(nèi)沒有當前關鍵幀的特征點，則對該投影點不做處理；

若設定區(qū)域內(nèi)存在當前關鍵幀的特征點，則選擇與投影點差異最小的特征點，判斷該特征點與投影點差異值是否滿足匹配設定條件，如果滿足，則得到一個特征點匹配對；

步驟2.3：判斷得到的特征點匹配對個數(shù)是否達到設定的要求，如果達到，則利用得到的特征點匹配對，根據(jù)公式

計算新視頻當前幀到當前關鍵幀的單應矩陣H，并作為新視頻下一幀對應單應矩陣H的初始值，并進入步驟2.4；其中為新視頻當前幀中圖像特征點在Z向歸一化后的坐標，為當前關鍵幀中圖像特征點在Z向歸一化后的坐標，d為歸一化系數(shù)；并判斷當前幀是否是新視頻最后一幀，若不是最后一幀，則返回步驟2.1進行新視頻下一幀操作；

如果特征點匹配對個數(shù)沒有達到設定要求，則重新定位，所述重新定位過程為：根據(jù)新視頻當前幀的特征描述向量，從標準視頻的關鍵幀序列中找到與新視頻當前幀最接近的關鍵幀作為當前關鍵幀，并采用單位陣作為新視頻當前幀到當前關鍵幀的單應矩陣H的初始值，然后重新返回步驟2.1；

步驟2.4：將當前關鍵幀投影到新視頻當前幀上，與當前幀做圖像差異比較，得出差異圖，然后根據(jù)差異圖D，進行過濾，聚類操作，找出差異物體：將差異圖中的比較稀疏的點過濾，剩下的點利用K-Means算法進行聚類操作，使差異物比較明顯的顯示出來；

步驟3：判斷差異物體是否屬于威脅物，若是，則在步驟1.5建立的地圖上重點標出。

上述方案中，某一幀圖像A的特征描述向量通過以下過程得到：

步驟a：對待偵查區(qū)域多次拍攝，得到訓練圖像集；

步驟b：利用SIFT算法，提取訓練圖像集中每一張圖像的SIFT特征；SIFT特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；

步驟c：將所有訓練圖像的特征集合到一起，共有N個特征，從這N個特征中取K個具有代表性的聚類中心，利用K-Means算法對N個特征進行聚類，，使得簇內(nèi)具有較高的相似度，簇間相似度較低；得到包含K個視覺詞的視覺詞典，所述視覺詞即為聚類中心；

步驟d：計算所述某一幀圖像A中每個特征點到所有視覺詞的距離，將每個特征點映射到距離最近的視覺詞中，對映射到視覺詞中特征點個數(shù)進行統(tǒng)計，根據(jù)統(tǒng)計值建立與視覺詞序列對應的特征描述向量，所述特征描述向量中第n個元素為對應視覺詞序列中第n個視覺詞中所映射的特征點個數(shù)。

而根據(jù)特征描述向量，從標準視頻的關鍵幀序列找到當前關鍵幀的過程為：計算新視頻第一幀或當前幀特征描述向量與標準視頻的關鍵幀序列中每一關鍵幀特征描述向量的差，并求模，根據(jù)得到的模的數(shù)值進行選擇。

而步驟3中識別差異物體是否屬于威脅物的過程為：

預先建立威脅識別器，將差異物體圖像輸入威脅識別器，自動識別是否屬于威脅物；所述威脅識別器通過以下過程得到：預先搜集大于2000張包含威脅物體的圖像，并對威脅物體進行類別和等級標注作為訓練數(shù)據(jù)集；利用卷積神經(jīng)網(wǎng)絡作為訓練模型，并使用訓練數(shù)據(jù)集來訓練網(wǎng)絡參數(shù)，從而得到威脅識別器。

系統(tǒng)在線運行時，將當前圖像輸入到威脅識別器，從而能夠自動識別出威脅物體，并利用步驟2所生成的差異圖像對自動識別的結果過濾操作，從而生成真正威脅物體以及威脅等級。將威脅物體在圖像和標準全局地圖上進行標注，能夠給判讀人員提供參考。在操作界面，判讀人員可以對自動識別的威脅進行甄別，從而能夠持續(xù)不斷增大訓練數(shù)據(jù)集，并定期對卷積神經(jīng)網(wǎng)絡進行重訓練，從而逐步強化學習效果，并提高威脅物體的識別準確度。

盡管上面已經(jīng)示出和描述了本發(fā)明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發(fā)明的限制，本領域的普通技術人員在不脫離本發(fā)明的原理和宗旨的情況下在本發(fā)明的范圍內(nèi)可以對上述實施例進行變化、修改、替換和變型。