本發(fā)明涉及無人機控制領(lǐng)域，具體為一種基于無人機航拍影像數(shù)據(jù)的實時三維建模方法及系統(tǒng)。

背景技術(shù)：

mvs：multi-viewstereo，多視角的立體數(shù)據(jù)集。

隨著數(shù)字城市三維建設(shè)的發(fā)展及應(yīng)用的普及，城市三維建模在諸多領(lǐng)域的應(yīng)用不斷增多，傳統(tǒng)的手工建模方式由于工作量大，人力成本高等缺點，已不能適應(yīng)新時期的數(shù)據(jù)發(fā)展需求。

現(xiàn)有的無人機傾斜攝影系統(tǒng)由于搭載了多相機，使得無人機的拍照數(shù)量大幅增加，傳統(tǒng)方法需要在拍攝完成后整理數(shù)據(jù)，拷貝至電腦然后通過本地軟件進行拼圖運算，需要增大無人機的續(xù)航時間，且作業(yè)效率較低。

因此，該技術(shù)有必要進行改進。

技術(shù)實現(xiàn)要素：

為了解決上述技術(shù)問題，本發(fā)明的目的是提供一種可減少數(shù)據(jù)采集后的工作量和工作時間，提升工作效率的基于無人機航拍影像數(shù)據(jù)的實時三維建模方法及系統(tǒng)。

本發(fā)明所采用的技術(shù)方案是：

本發(fā)明提供一種基于無人機航拍影像數(shù)據(jù)的實時三維建模方法，包括以下步驟：

數(shù)據(jù)采集，其包括將采集到的含有位置信息的航拍圖片數(shù)據(jù)實時上傳；

圖像處理，其包括對所述航拍圖片的各像素點重建；

對所述像素點提取出密集點云數(shù)據(jù)；

對所述密集點云進行噪聲點云過濾處理以及噪聲片元過濾處理；

得到三維模型。

作為該技術(shù)方案的改進，所述步驟圖像處理，其還包括對相機姿態(tài)優(yōu)化，以及對所采集到的航拍圖片的每一個像素點驗證假設(shè)的平面參數(shù)，獲得各像素點的深度，并提取出密集點云數(shù)據(jù)。

作為該技術(shù)方案的改進，所述步驟圖像處理，其還包括對所述航拍圖片提取出來的密集點云之間進行交叉驗證，根據(jù)統(tǒng)計出的點云質(zhì)量信息和重建點云的相片質(zhì)量信息，過濾掉噪聲點云。

作為該技術(shù)方案的改進，所述步驟圖像處理，其還包括通過德勞內(nèi)模型對所述點云進行面片化處理，并依據(jù)片元的遮擋信息建立有向無環(huán)圖，進而過濾噪聲片元。

進一步地，所述步驟圖像處理，其還包括對所述每一個片元選取最右的相片并進行自動貼圖，以基于馬爾科夫隨機場的圖割算法全局勻色后得到三維模型，并對所述模型進行精度分層處理。

進一步地，采用mvs方法提取密集匹配的點云數(shù)據(jù)。

進一步地，通過雙邊濾波或小波算法進行去噪處理。

另一方面，本發(fā)明還提供一種基于無人機航拍影像數(shù)據(jù)的實時三維建模系統(tǒng)，包括：

數(shù)據(jù)采集模塊，用于執(zhí)行步驟將采集到的含有位置信息的航拍圖片數(shù)據(jù)實時上傳；

圖像處理模塊，用于執(zhí)行步驟

對所述航拍圖片的各像素點重建；

對所述像素點提取出密集點云數(shù)據(jù)；

對所述密集點云進行噪聲點云過濾處理以及噪聲片元過濾處理；

得到三維模型。

再一方面，本發(fā)明還提供一種基于無人機航拍影像數(shù)據(jù)的實時三維建模系統(tǒng)，包括：航線規(guī)劃模塊、數(shù)據(jù)采集模塊、位置信息采集模塊、通信模塊、在線數(shù)據(jù)處理模塊以及交互式顯示設(shè)備；

所述航線規(guī)劃模塊的輸出端和位置信息采集模塊的輸出端分別與所述數(shù)據(jù)采集模塊的輸入端連接；所述數(shù)據(jù)采集模塊的輸出端與所述通信模塊的輸入端連接；所述通信模塊的輸出端與所述在線數(shù)據(jù)處理模塊的輸入端連接；所述在線數(shù)據(jù)處理模塊的輸出端與所述交互式顯示設(shè)備的輸入端連接。

進一步地，所述通信模塊包括wifi和/或藍(lán)牙和/或4g/5g網(wǎng)絡(luò)。

本發(fā)明的有益效果是：本發(fā)明提供的基于無人機航拍影像數(shù)據(jù)的實時三維建模方法及系統(tǒng)，其基于輕小型無人機(小于5kg)的航拍數(shù)據(jù)數(shù)據(jù)采集更為輕便靈活，同時可獲取更高分辨率的三維紋理貼圖；其實時傳輸圖片至altizure三維建模服務(wù)器云端，大大縮短了采集建模的周期；通過mvs方法提取密集匹配的點云數(shù)據(jù)，為真彩色點云，較激光點云更為直觀，通過去噪，面片化，紋理映射等一系列手段得到的三維數(shù)據(jù)逼真度高，漫游效果好。通過體感方式操控的三維實景漫游體驗效果好，真實感強。

本發(fā)明所涉及的無人機傾斜攝影及三維重建系統(tǒng)，對航拍路徑進行了專門的優(yōu)化，僅通過單相機就可以進行多角度航片的數(shù)據(jù)采集并三維重建；增加了通信模塊，使得“即拍、即傳、即做”得以實現(xiàn)；大大減少了采集后的工作量和工作時間，提升了工作效率。

附圖說明

下面結(jié)合附圖對本發(fā)明的具體實施方式作進一步說明：

圖1是本發(fā)明第一實施例的模塊連接示意圖；

圖2是本發(fā)明第二實施例的步驟流程示意圖；

圖3是本發(fā)明第三實施例的原圖；

圖4是本發(fā)明第三實施例的平面降噪的初始深度圖像；

圖5是本發(fā)明第三實施例的平面降噪的去噪后的深度圖像；

圖6是本發(fā)明第三實施例的優(yōu)化后的相機姿態(tài)及特征點云示意圖

圖7是本發(fā)明第三實施例的基于平面降噪的像素點重建的輸入點云示意圖；

圖8是本發(fā)明第三實施例的基于平面降噪的降噪后點云示意圖；

圖9是本發(fā)明第三實施例的基于三維降噪的降噪后點云示意圖；

圖10是本發(fā)明第三實施例的三角網(wǎng)格示意圖；

圖11是本發(fā)明第三實施例的灰模示意圖；

圖12是本發(fā)明第三實施例的紋理示意圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。

本發(fā)明提供一種基于無人機航拍影像數(shù)據(jù)的實時三維建模系統(tǒng)，包括：

數(shù)據(jù)采集模塊，用于執(zhí)行步驟將采集到的含有位置信息的航拍圖片數(shù)據(jù)實時上傳；

圖像處理模塊，用于執(zhí)行步驟

對相機姿態(tài)優(yōu)化以及對所述航拍圖片的各像素點重建；

對所述像素點提取出密集點云數(shù)據(jù)；

對所述密集點云進行噪聲點云過濾處理以及噪聲片元過濾處理；

得到三維模型。

參照圖1，是本發(fā)明第一實施例的模塊連接示意圖。本發(fā)明還提供一種基于無人機航拍影像數(shù)據(jù)的實時三維建模系統(tǒng)，包括：航線規(guī)劃模塊、數(shù)據(jù)采集模塊、位置信息采集模塊、通信模塊、在線數(shù)據(jù)處理模塊以及交互式顯示設(shè)備；

所述航線規(guī)劃模塊的輸出端和位置信息采集模塊的輸出端分別與所述數(shù)據(jù)采集模塊的輸入端連接；所述數(shù)據(jù)采集模塊的輸出端與所述通信模塊的輸入端連接；所述通信模塊的輸出端與所述在線數(shù)據(jù)處理模塊的輸入端連接；所述在線數(shù)據(jù)處理模塊的輸出端與所述交互式顯示設(shè)備的輸入端連接。

進一步地，所述系統(tǒng)包括一臺相機，所述相機固定于無人機平臺腹部，其可進行0到90度的調(diào)整。

進一步地，所述通信模塊包括wifi和/或藍(lán)牙等無線通信和/或移動網(wǎng)絡(luò)3g/4g/5g網(wǎng)絡(luò)等。

一種基于無人機自動航拍影像數(shù)據(jù)的實時三維建模系統(tǒng)，主要包括采集部分和處理部分：采集部分包括航線規(guī)劃模塊、數(shù)據(jù)采集模塊(位置信息采集模塊)、通信模塊；三維處理部分包括在線數(shù)據(jù)處理模塊以及顯示設(shè)備。

無人機數(shù)據(jù)采集平臺包含手動遙控裝置、地面站系統(tǒng)、機身、飛控系統(tǒng)及動力系統(tǒng)等，通過地面站及飛控系統(tǒng)進行航線規(guī)劃，起飛及降落時通過自動遙控裝置進行控制，在地面站設(shè)備規(guī)劃好航線后，無人機按照設(shè)定好的航線勻速飛行進行采集。

本方案所涉及的無人機平臺起飛重量不大于5公斤，同時搭載航拍圖片數(shù)據(jù)采集模塊和位置信息采集模塊。其中航拍圖片數(shù)據(jù)采集模塊主要包括相機系統(tǒng)、定時拍照系統(tǒng)和位置信息采集系統(tǒng)；其中相機系統(tǒng)固定于無人機平臺腹部可以根據(jù)需要進行0到90度的調(diào)整；快門促發(fā)系統(tǒng)與位置信息采集模塊相連。定時拍照系統(tǒng)啟動，控制相機系統(tǒng)進行拍攝。

數(shù)據(jù)采集模塊，該模塊集成于飛控系統(tǒng)，通過地面站進行設(shè)定，無人機以固定高度在目標(biāo)區(qū)域上空按照一定的航向和旁向重疊度進行弓字型勻速飛行，定時觸發(fā)航拍圖片數(shù)據(jù)采集模塊進行拍攝，同時記錄下拍照點的位置信息，并且寫入照片內(nèi)。

通信模塊，該模塊集成于飛控系統(tǒng)，通過4g/5g網(wǎng)絡(luò)等將采集到的原始數(shù)據(jù)實時傳輸至altizure云端服務(wù)器。

在線數(shù)據(jù)處理模塊，其包括硬件和軟件，硬件部分是服務(wù)器設(shè)備，軟件部分是存儲于服務(wù)器的altizure實景三維重建算法。在線數(shù)據(jù)處理模塊接收到內(nèi)置位置信息的航拍圖片后，通過相機重建、密集點云、網(wǎng)格重建、紋理優(yōu)化最終得到城市三維模型，生成過程完全自動化。

交互式顯示設(shè)備，由體感控制器和顯示器及電腦主機組成，通過體感控制進行三維實景數(shù)據(jù)漫游。

可對傾斜圖片進行數(shù)據(jù)的數(shù)據(jù)采集模塊主要包括相機系統(tǒng)及定時拍照系統(tǒng)。其中相機系統(tǒng)以特定角度固定于無人機平臺腹部，可根據(jù)需求替換不同像素的相機系統(tǒng)，定時拍照系統(tǒng)與位置信息采集模塊相連使得位置信息同步寫入照片內(nèi)，當(dāng)無人機在預(yù)定航線上進行勻速飛行時，定時拍照系統(tǒng)開啟，控制相機系統(tǒng)進行拍攝，由于拍攝數(shù)據(jù)量極大，相機系統(tǒng)需采用大容量存儲卡(32g以上)。

位置信息采集模塊，該模塊集成于飛控系統(tǒng)一體，通過地面站進行設(shè)定，這一模塊的目的有兩個：一個是為三維模型附上位置坐標(biāo)，使三維模型成為與實際地物比例尺為1:1的模型成果；另外一個就是在模型區(qū)域面積較大時，依靠照片的位置信息對建模區(qū)域進行分塊，提高工作效率。無人機以固定高度(100-300m)在目標(biāo)區(qū)域上空進行勻速弓字型飛行，同時按照一定的航向和旁向重疊度，在空中定時觸發(fā)航拍圖片數(shù)據(jù)采集模塊進行拍攝，根據(jù)對地面分辨率要求的不同一般在空中每隔20-40m需拍攝一張圖片，而航線間隔控制在30到40m左右，在拍照的同時記錄下拍照點的位置信息，寫入照片內(nèi)。

在線數(shù)據(jù)處理模塊通過導(dǎo)入含有位置信息的航拍圖片數(shù)據(jù)后，進行建模。

本無人機傾斜攝影三維建模系統(tǒng)，包括航線規(guī)劃模塊、數(shù)據(jù)采集模塊，其包括對航拍圖片數(shù)據(jù)采集，以及位置信息采集模塊、通信模塊、在線數(shù)據(jù)處理模塊，以及交互式顯示設(shè)備。

在一塊典型需求區(qū)域，大小為1-2公頃左右，選定需求區(qū)域內(nèi)或附近一塊開闊地為無人機起降地點，通過無人機平臺所配置的地面站應(yīng)用規(guī)劃好航線，設(shè)置好滿足要求的重疊率和高度(一般航向重疊率為80％、旁向重疊率為80％、高度最低要高于區(qū)域內(nèi)最高建筑的高度的一半)，無人機在自檢完畢沒有問題后自動啟飛，升高至預(yù)設(shè)高度后向航線的起始點飛去。飛到起始點后觸發(fā)定時拍照按照恒定速度沿著航線飛行。拍攝時，位置信息采集模塊同時觸發(fā)并且將位置信息寫入照片，實時將采集的照片通過4g/5g網(wǎng)絡(luò)傳輸至altizure云端服務(wù)器。待航線飛行完成，點擊“返航”，無人機將移動至設(shè)定的返航高度沿著直線飛向返航點上空，檢測到周圍環(huán)境合適降落后，勻速降至地面，此時采集任務(wù)完成。所有航拍圖片也已經(jīng)傳輸至altizure云端服務(wù)器并且相機重建也已完成。服務(wù)器同步開始自動解算相機位置，并進行三維模型重建。采用mvs(multi-viewstereo)方法提取密集匹配的點云數(shù)據(jù)，通過雙邊濾波或小波算法進行去噪，并通過德勞內(nèi)模型進行面片化處理，最后通過約束紋理映射方法進行自動貼圖，全局勻色后得到最終得到全自動化的三維模型成果，再把模型進行精度分層處理，把模型簡化成不同層次，之間以四叉樹結(jié)構(gòu)組織。將該數(shù)據(jù)導(dǎo)入至交互式顯示設(shè)備的電腦主機中，通過體感控制器來操控三維漫游視角，電腦主機調(diào)用真三維數(shù)據(jù)庫中的模型數(shù)據(jù)，組合式顯示器呈現(xiàn)三維數(shù)據(jù)，從而達到三維實景數(shù)據(jù)漫游的效果。

參照圖2，是本發(fā)明第二實施例的步驟流程示意圖。本發(fā)明提供一種基于無人機航拍影像數(shù)據(jù)的實時三維建模方法，包括以下步驟：

數(shù)據(jù)采集，其包括將采集到的含有位置信息的航拍圖片數(shù)據(jù)實時上傳；

圖像處理，其包括對相機姿態(tài)優(yōu)化以及所述航拍圖片的各像素點重建；

對所述像素點提取出密集點云數(shù)據(jù)；

對所述密集點云進行噪聲點云過濾處理以及噪聲片元過濾處理；

得到三維模型。

所述步驟數(shù)據(jù)采集，其具體還包括航線規(guī)劃、升降控制。

作為該技術(shù)方案的改進，所述步驟圖像處理，其還包括對相機姿態(tài)優(yōu)化，以及對所采集到的航拍圖片的每一個像素點驗證假設(shè)的平面參數(shù)，獲得各像素點的深度，并提取出密集點云數(shù)據(jù)。

作為該技術(shù)方案的改進，所述步驟圖像處理，其還包括對所述航拍圖片提取出來的密集點云之間進行交叉驗證，根據(jù)統(tǒng)計出的點云質(zhì)量信息和重建點云的相片質(zhì)量信息，過濾掉噪聲點云。

作為該技術(shù)方案的改進，所述步驟圖像處理，其還包括通過德勞內(nèi)模型對所述點云進行面片化處理，并依據(jù)片元的遮擋信息建立有向無環(huán)圖，進而過濾噪聲片元。

進一步地，所述步驟圖像處理，其還包括對所述每一個片元選取最右的相片并進行自動貼圖，以基于馬爾科夫隨機場的圖割算法全局勻色后得到三維模型，并對所述模型進行精度分層處理。

進一步地，采用mvs方法提取密集匹配的點云數(shù)據(jù)。

進一步地，通過雙邊濾波或小波算法進行去噪處理。

本方法采用小型無人飛機進行傾斜攝影數(shù)據(jù)采集并實時上傳，通過相機重建、密集點云、網(wǎng)格重建、紋理優(yōu)化這四步得到最終的三維實景模型。

本發(fā)明所涉及的一種基于無人機自動航拍影像數(shù)據(jù)的實時三維建模方法，其組成部分包括路徑規(guī)劃模塊、采集模塊、通信模塊；處理部分包括在線數(shù)據(jù)處理模塊以及顯示設(shè)備。

無人機數(shù)據(jù)采集平臺包含手動遙控裝置，地面站系統(tǒng)，機身，飛控系統(tǒng)及動力系統(tǒng)等，通過地面站及飛控系統(tǒng)進行航線規(guī)劃，框選區(qū)域一般覆蓋目標(biāo)區(qū)域即可。其中航線規(guī)劃的目的有兩個：一是為了讓拍照區(qū)域的重疊度得到保障，以保證建模成果不會出現(xiàn)“空洞”；二是減少采集員的工作量，并提高了采集效率。全自動模式是在起降環(huán)境滿足的情況下可以使得無人機自動起飛、按照預(yù)定航線和高度飛行并采拍照、完成任務(wù)后或者電量不足時自動降落，并由地面站進行實時監(jiān)控。這樣大大減少了采集員的工作量，使得采集員擺脫一邊控制無人機一邊拍照并且大腦計算重疊率所帶來的高度精神緊崩狀態(tài)，只需關(guān)注無人機當(dāng)前的飛行狀態(tài)即可。當(dāng)周圍障礙(電線、燈桿)較多不利于全自動模式時，采用手動模式控制飛機起降。

本方法所涉及的無人機平臺起飛重量不大于5公斤，同時搭載航拍圖片采集模塊和位置信息采集模塊。

參照圖3至圖5，是本發(fā)明第三實施例的基于平面降噪的相關(guān)示意圖。其中圖3為原圖像，圖4為初始深度圖像，圖5為經(jīng)過算法過濾掉噪點(降噪)的深度圖像。該過程為像素點提取。采用基于雙視角平面假設(shè)驗證的多視角立體匹配的方法，通過對于每一個像素驗證假設(shè)的平面參數(shù)，獲得每一個像素的深度，從而提取出密集點云數(shù)據(jù)；參照圖6至8，為基于三維降噪的相關(guān)示意圖。圖6為優(yōu)化后的相機姿態(tài)及特征點云示意圖，圖7為基于平面降噪的像素點重建后的輸入初始點云，圖8是降噪后的點云圖，圖9是點云融合(精度優(yōu)化或者紋理優(yōu)化)后的圖，其合稱為密集點云提取。

對多對圖片提取出來的密集點云之間進行交叉驗證，利用多對相片的視覺遮擋信息，統(tǒng)計出的點云質(zhì)量信息和重建點云的相片質(zhì)量信息，過濾掉噪聲點云；

然后通過德勞內(nèi)模型進行面片化處理，并依據(jù)片元的遮擋信息建立有向無環(huán)圖，通過圖割算法過濾噪聲片元；

參照圖9，其中的四棱錐表示經(jīng)算法還原出來的相機姿態(tài)，剩下的點即為經(jīng)過多次降噪后的密集點云。將所得密集點云連結(jié)即得三角網(wǎng)格如圖10。將三角網(wǎng)格封閉起來形成灰模，如圖11，其中白色區(qū)域是由于反光而形成的。對其進行貼紋理處理即得三維模型，參照圖12。

對于每一個片元選取最右的相片通過約束紋理映射方法進行自動貼圖，以基于馬爾科夫隨機場的圖割算法全局勻色后得到最終三維模型成果，再對模型進行精度分層處理，把模型簡化成不同層次，其各層次之間以四叉樹結(jié)構(gòu)組織，生成過程完全自動化。

通過交互式顯示設(shè)備，由體感控制器、組合式顯示器及電腦主機組成，通過體感控制三維漫游視角，電腦主機調(diào)用真三維數(shù)據(jù)庫中的模型數(shù)據(jù)，組合式顯示器呈現(xiàn)三維數(shù)據(jù)，從而達到三維實景數(shù)據(jù)漫游的效果。

本發(fā)明提供的基于無人機航拍影像數(shù)據(jù)的實時三維建模方法及系統(tǒng)，其基于輕小型無人機(小于5kg)的航拍數(shù)據(jù)數(shù)據(jù)采集更為輕便靈活，同時可獲取更高分辨率的三維紋理貼圖；其實時傳輸圖片至altizure三維建模服務(wù)器云端，大大縮短了采集建模的周期；通過mvs方法提取密集匹配的點云數(shù)據(jù)，為真彩色點云，較激光點云更為直觀，通過去噪，面片化，紋理映射等一系列手段得到的三維數(shù)據(jù)逼真度高，漫游效果好。通過體感方式操控的三維實景漫游體驗效果好，真實感強。

本發(fā)明所涉及的無人機傾斜攝影及三維重建系統(tǒng)，對航拍路徑進行了專門的優(yōu)化，僅通過單相機就可以進行多角度航片的數(shù)據(jù)采集并三維重建；增加了通信模塊，使得“即拍、即傳、即做”得以實現(xiàn)；大大減少了采集后的工作量和工作時間，提升了工作效率。

以上是對本發(fā)明的較佳實施進行了具體說明，但本發(fā)明創(chuàng)造并不限于所述實施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做出種種的等同變形或替換，這些等同的變形或替換均包含在本申請權(quán)利要求所限定的范圍內(nèi)。