本發(fā)明涉及用于三維模型重建的多條無人機路徑確定方法及裝置。

背景技術：

空間信息作為重要的基礎數據，其采集與應用貫穿了應急管理的整個過程?，F有的空間信息多以二維地圖的形式表達，許多寶貴的地形和地物細節(jié)如紋理、高度、形狀信息均難以呈現。在應急管理過程中，三維實景地圖能夠提供更直觀、更詳細的空間信息，更好的為應急決策提供支撐。

為了獲取建筑的高精度三維模型，需要對建筑進行逐層環(huán)繞飛行，完全獲取建筑的表面紋理信息?，F有的紋理圖像采集過程均依靠人工控制，憑經驗確定無人機飛行軌跡和相機拍攝間隔。為保證照片的重疊率滿足三維重建的需求，往往通過設置密集的飛行軌跡和較小的拍攝間隔，拍攝大量冗余的影像照片，導致三維重建軟件要花費大量的時間去匹配和處理冗余信息，降低了三維重建效率。

技術實現要素：

為了克服現有技術的不足，本發(fā)明提出一種用于三維模型重建的多條無人機路徑確定方法及裝置，能夠在拍攝點集確定和明確時間約束情況下，確定最佳的多條飛行路徑。

用于三維模型重建的多條無人機路徑確定方法，包括如下步驟：

S1、對于確定的拍攝點集中的任意一個拍攝點，計算無人機可以從所述任意一個拍攝點直線飛行到達的另一個拍攝點，并計算這兩個拍攝點之間的時間成本，直至確定所述無人機的飛行路網；其中，所述拍攝點集為無人機的相機對建筑進行拍攝的拍攝點的集合；

S2、根據總時間約束、無人機的續(xù)航時間、無人機的起飛點和無人機的降落點的約束條件，計算在無人機遍歷所有拍攝點的情況下所需無人機的最少架次；

S3、逐漸減少每個架次的無人機的飛行時間，直至在總時間約束、無人機的飛行時間、無人機的起飛點和無人機的降落點的約束下，所述無人機無法遍歷所有的拍攝點，從而計算在最少架次下所需的最小飛行時間成本。

在一個實施例中，

在每個拍攝點所述無人機具有對應的航向角，所述時間成本包括飛行時間成本和航向調整時間成本，其中，所述飛行時間成本為所述無人機在拍攝點之間飛行所需的時間，所述航向調整時間成本為：所述無人機到達某個拍攝點后，將所述無人機的當前航向角調整為所述某個拍攝點對應的航向角所需的時間。

在一個實施例中，

每個架次的無人機的起飛點和降落點相同。

在一個實施例中，

每個架次的無人機的續(xù)航時間相同。

本發(fā)明還提供了用于三維模型重建的多條無人機路徑確定裝置，包括：

第一處理單元，用于對于確定的拍攝點集中的任意一個拍攝點，計算無人機可以從所述任意一個拍攝點直線飛行到達的另一個拍攝點，并計算這兩個拍攝點之間的時間成本，直至確定所述無人機的飛行路網；其中，所述拍攝點集為無人機的相機對建筑進行拍攝的拍攝點的集合；

第二處理單元，用于根據總時間約束、無人機的續(xù)航時間、無人機的起飛點和無人機的降落點的約束條件，計算在無人機遍歷所有拍攝點的情況下所需無人機的最少架次；

第三處理單元，用于逐漸減少每個架次的無人機的飛行時間，直至在總時間約束、無人機的飛行時間、無人機的起飛點和無人機的降落點的約束下，所述無人機無法遍歷所有的拍攝點，從而計算在最少架次下所需的最小飛行時間成本。

在一個實施例中，

在每個拍攝點所述無人機具有對應的航向角，所述時間成本包括飛行時間成本和航向調整時間成本，其中，所述飛行時間成本為所述無人機在拍攝點之間飛行所需的時間，所述航向調整時間成本為：所述無人機到達某個拍攝點后，將所述無人機的當前航向角調整為所述某個拍攝點對應的航向角所需的時間。

在一個實施例中，

每個架次的無人機的起飛點和降落點相同。

在一個實施例中，

每個架次的無人機的續(xù)航時間相同。

本發(fā)明的有益效果是：

在應急管理過程中，當三維重建的數據采集任務有明確時間約束時，本發(fā)明能夠準確計算出需要的飛行架次，以及每個架次的飛行路徑與拍攝任務點。

【附圖說明】

圖1是本發(fā)明一種實施例的三維模型重建的多條無人機路徑確定方法的流程示意圖

圖2是本發(fā)明一種實施例的建筑輪廓的三維點模型

圖3是本發(fā)明一種實施例的建筑及無人機的飛行路徑示意圖

圖4是本發(fā)明一種實施例的建筑輪廓的三維點模型及無人機的相機的拍攝錐體覆蓋示意圖

圖5是本發(fā)明一種實施例的任意兩個拍攝點之間與建筑物的位置關系示意圖

【具體實施方式】

以下對發(fā)明的較佳實施例作進一步詳細說明。

如圖1所示流程，一種實施例的三維模型重建的多條無人機路徑確定方法，包括如下步驟：

S1、構造構成所要拍攝建筑的輪廓的三維點模型

大部分建筑的立面都是垂直于或者近似垂直于地面的，因此根據建筑的正射影像能夠準確勾勒出建筑的橫剖面輪廓。用戶可以方便地從網絡地圖(比如百度衛(wèi)星地圖，Google衛(wèi)星地圖)上獲得建筑的正射影像。設定本地NED坐標系為X軸朝北，Y軸朝東，Z軸垂直地平面朝下，原點在地平面上。從正射影像上還能分析出建筑在Y軸上的長度、在X軸上的寬度以及周長信息。建筑的高度可以通過實地測量或者目測估計，幾米的誤差不會影響無人機按照本發(fā)明規(guī)劃的飛行路徑進行三維重建的結果。

勾勒建筑的橫剖面輪廓，得到一個封閉的曲線，用一個用戶設定的分辨率，比如0.5m，將該曲線離散化，使得每相鄰兩個點之間的長度均為0.5m，由此得到建筑外輪廓在XY平面上的離散點序列。用同樣的分辨率將建筑的高度離散化，得到Z方向的離散點序列。根據兩個離散點序列，可以構造建筑的立面三維外表面點模型。

建筑的頂面可以近似為由橫剖面輪廓圍起來的二維多邊形平面，在X、Y方向上以同樣的分辨率將該多邊形離散為網格。結合立面與頂面的三維點模型，得到建筑外表面(輪廓)的三維點模型。圖2以網格的形式示例了一個現實的建筑的外表面三維點模型，每個網格節(jié)點都是用上述方法得到的。當然這個模型是非常粗略的，只能體現建筑的輪廓，不能體現建筑表面的細節(jié)。

S2、確定飛行路徑關鍵參數的初始值

如背景技術里介紹的，要完全獲取建筑表面紋理，需要對建筑逐層環(huán)繞飛行，飛行路徑示意圖如圖3所示，可以分為立面環(huán)繞飛行路徑、頂面蛇形掃描飛行路徑，以及立面到頂面的過渡飛行路徑三部分。

對于立面飛行路徑，只要確定了立面拍攝點與建筑立面的距離、同一層相鄰兩個拍攝點的距離、上下兩層拍攝點的間距(即上下相鄰的飛行路徑段之間的距離)、每個拍攝點的姿態(tài)角(俯仰角、橫滾角、偏航角)、最低拍攝層的高度，以及最高拍攝層的高度，就能計算出無人機與相機在立面各個拍攝點的位置和姿態(tài)，從而構造出立面的飛行路徑。因為建筑的立面不是平面，為了確保拍攝的照片滿足三維重建重疊率的要求，這些參數值要通過反復迭代計算來確定。初始值的計算方法如下：

S21、計算立面環(huán)繞飛行時飛行路徑與建筑的水平距離D1的初始值D1_Initial。

相對于建筑而言，無人機質心與相機焦點的位置可以認為是重疊的，因此拍攝點與建筑的水平距離也就是無人機飛行路徑與建筑的水平距離D1。

可以假設立面為平面，根據無人機的飛行速度、相機的拍照間隔，以及三維重建對航向重疊率的要求來計算D1_Initial：

$D{1}_{Initial}=\frac{Speed\_UAV\×Intervel\_Photo}{(1-Overlap\_Heading)\×2\×\tan (FOV\_H)}$

其中Speed_UAV是無人機的飛行速度，Intervel_Photo是相機的拍照間隔；FOV_H是相機的水平視角的1/2，Overlap_Heading是航向重疊率閾值(三維重建航向重疊率要求)。

D1_Initial的確定可以分為兩種情況。

情況1：受到現場環(huán)境限制，比如有樹木、其他地物影響，無人機與建筑的距離不能太近，只能在某一個范圍外取值，這種情況下要先確定D1_Initial，然后再根據關系式調整無人機的飛行速度或者相機的拍照間隔。

情況2：受到無人機參數與相機參數的限制，無人機飛行速度與相機拍照間隔不能隨意調整，這種情況下要先確定無人機的飛行速度與相機拍照間隔，再根據關系式計算D1_Initial。

由于相機的水平視角以及航向重疊率閾值都是確定的，而相機的拍照間隔也不是連續(xù)可調的，因此一般這三個參數會先定下來，然后調整無人機與建筑的距離以及無人機的飛行速度，使得無人機與建筑的距離滿足環(huán)境要求，同時無人機的飛行速度也在一個合理范圍內。

S22、確定初始的同一層相鄰兩個拍攝點的距離，也即立面飛行路徑的航向間距。

確定了無人機的飛行速度與相機拍照間隔后，立面軌跡的航向間隔等于無人機飛行速度乘以相機拍照間隔。

S23、確定上下兩層拍攝點的間距，也即立面飛行路徑的初始旁向間距H3_Initial。

假設立面為平面，確定了飛行路徑與建筑的水平距離后，計算H3_Initial：

H3_Initial＝2×D1_Initial×tan(FOV_V)×(1-Overlap_Side)

其中，FOV_V是相機的垂直視角的1/2，Overlap_Side是建筑的垂直方向的重疊率閾值(三維重建旁向重疊率要求)。

S24、確定初始的立面最高拍攝層的高度H2。

立面飛行路徑的最高高度要確保同時拍攝到建筑立面與頂面，取建筑高度Height_Building加上無人機與建筑的水平距離D1之和，當采用45度角傾斜拍攝時，理論上照片的50％拍攝到建筑立面，50％拍攝到建筑頂面。

S25、確定立面最低拍攝層的初始高度H1_Initial

立面飛行路徑的最低高度要確保拍攝的照片能夠完全覆蓋建筑底部

$H{1}_{Initial}=\frac{Height\_Building}{\frac{Height\_Building}{H{3}_{Initial}}+1}$

S26、確定立面飛行路徑中每個拍攝點的姿態(tài)角。

每個拍攝點的姿態(tài)角由兩部分決定：無人機的姿態(tài)角和相機的姿態(tài)角。

理想情況下，無人機偏航角應指向同一高度的建筑二維質心。無人機的俯仰角和橫滾角受飛行過程影響，理想情況下，在每個拍攝點的俯仰角與橫滾角均為0。

相機裝載在云臺上，只需要調整相對于無人機平面的向下俯仰角，當立面軌跡高度低于建筑時，采用水平攝影，俯仰角為0度，當立面軌跡高度高于建筑時，采用傾斜攝影，俯仰角一般為42-45度。

頂面飛行路徑如圖3右側圖所示，是同一平面的掃描軌跡，類似的，只要確定了頂面拍攝點與建筑頂面的垂直距離、飛行方向上相鄰兩個拍攝點的距離，兩列拍攝點的間距(也即頂面飛行路徑中相鄰的路徑段之間的距離)、每個拍攝點的姿態(tài)角(俯仰角、橫滾角、偏航角)，就能計算出無人機與相機在頂面各個拍攝點的位置和姿態(tài)，從而構造出頂面的飛行路徑。因為在構造建筑三維點模型時，建筑的頂面已近似為平面，通過理論計算就能確保拍攝的照片滿足三維重建重疊率的要求，計算方法如下：

S27、確定頂面掃描飛行時，飛行路徑與建筑頂面的垂直距離H4。

類似的，頂面軌跡與建筑頂面的垂直距離根據無人機的飛行速度、相機的拍照間隔，以及航向重疊率閾值的要求來計算，與立面的距離D1不同的是，頂面路徑的航向對應著相機的垂直視角，關系式為：

$H4=\frac{Speed\_UAV\×Intervel\_Photo}{(1-Overlap\_Heading)\×2\×\tan (FOV\_V)}$

S28、確定頂面飛行路徑的飛行方向上相鄰拍攝點的距離也即頂面飛行路徑的航向間隔。

類似的，確定了無人機的飛行速度與相機拍照間隔后，頂面飛行路徑的航向間隔等于無人機飛行速度乘以相機拍照間隔。

S29、確定頂面飛行路徑兩列拍攝點的間距，也即頂面飛行路徑的旁向間隔D2。

類似的，確定了頂面飛行路徑與建筑頂面的垂直距離后，頂面的旁向對應了相機的水平視角以及三維重建對旁向重疊率的要求，計算公式為：

D2＝2×H4×tan(FOV_H)×(1-Overlap_Side)

S210、確定頂面飛行路徑中每個拍攝點的姿態(tài)角。

頂面飛行路徑中每個拍攝點的姿態(tài)角由兩部分決定：一是無人機的姿態(tài)角，二是相機的姿態(tài)角。

無人機偏航角應一直指向飛行方向。無人機的俯仰角和橫滾角受飛行過程影響，理想情況下，在每個拍攝點的俯仰角與橫滾角均為0。

相機裝載在云臺上，只需要調整相對于無人機平面的向下俯仰角，頂面飛行路徑中，俯仰角始終為90度，拍攝頂面的正射影像。

S211、確定過渡飛行路徑。

在通常情況下，過渡飛行路徑中拍攝的照片不參與三維重建，因而也不會影響三維重建，因此在過渡飛行路徑中不需要調整無人機與相機的參數。

S3、計算最小拍攝點集。

根據步驟S2中確定的關鍵參數初始值，構造飛行路徑，計算必須的拍攝位置點集，判斷在這些拍攝位置點拍攝的照片是否均滿足三維重建的航向與旁向重疊率要求。

S31、計算立面飛行路徑中相鄰的拍攝點所述相機拍攝覆蓋的點集的重疊率。

相機的拍攝區(qū)域可以視為一個金字塔形的錐體，錐體的頂點可以近似為無人機質心，錐體的張角由相機的水平視角和垂直視角決定，在機體坐標系中很容易獲得該錐體的解析表達式，再利用機體坐標系與本地NED坐標系之間的旋轉與平移關系，可以獲得在本地NED坐標系下相機的拍攝區(qū)域表達式。利用該錐體與建筑三維點模型的相對關系，可以算出建筑三維點模型中，有哪些點能夠被相機拍到。

將某一拍攝點N拍攝的建筑表面點標記為1，沒拍到的表面點標記為0，則我們能得到該位置的拍攝到的建筑點集，記為I_N，I_N+1表示拍攝點N的下一個拍攝點N+1拍攝到的建筑點集，計算該拍攝點拍到的建筑表面點與相鄰下一拍攝點拍到的建筑表面點之間的重疊率。對于某一個拍攝點而言，需要計算航向方向上相鄰的拍攝點覆蓋的建筑點之間的重疊率，還需要計算豎直方向上相鄰的拍攝點覆蓋的建筑點之間的重疊率。

重疊率的算法如下：

$O_N=\frac{sum(I_N\∩I_{N\mathrm{+1}})}{sum\left(I_N\right)}.$

如果采用相機能夠拍攝到的建筑的面積來計算重疊率，如圖2所示，由于建筑的立面通常是不規(guī)則的曲面，相機能夠拍攝到的建筑的面積計算非常困難，因此，本實施例采用利用相機拍攝覆蓋的點集來計算重疊率的方案更加簡單。

在一些情況下，相機拍攝覆蓋的三維點模型中的點可能是被實際的建筑遮擋的，也就是說這些點是無法出現在相機拍攝出來的照片中的，因此，需要對這些被遮擋點進行排除。

如圖4所示，經過步驟S1構造的三維點模型包含了網格化的建筑表面，網格的每一個節(jié)點坐標已知。不難理解，建筑立面可以看作由N個垂直于XoY平面的小矩形條組成，每個矩形條的高度等于建筑高度，每個矩形條的寬度等于一個網格的寬度。以O點為原點的四條射線范圍內是相機的拍攝錐體。

S311、遍歷建筑點集，判斷是否落在拍攝錐體內。這個有多種算法，比如可以通過判斷建筑上的點(假設為E點)與O點的連線OE矢量與平面OAB、OBC、OCD、OAD的法向量之間的夾角關系，來判斷E點是否在錐體內。

S312、對于落在錐體內的點集，判斷遮擋關系，排除被遮擋點。由于建筑表面可以看成由N個垂直于XoY平面的小矩形條以及平行于XoY平面的頂面，共N+1個面構成的，不難理解，如果某個點被遮擋，則該點與O點的連線將穿過N+1個面中的某一個面。

S3121、先判斷落在錐體內的點集中的點(以下統稱F點)是否被建筑頂面遮擋，由于頂面是個平行于XoY的多邊形，已知該多邊形的邊界點，所以只需要判斷F點與O點之間的連線與頂面多邊形是否有交點即可。如有交點，說明F點被頂面遮擋，不能被相機拍到，將該F點排除；如沒有交點，說明沒有被頂面遮擋。

S3122、繼續(xù)判斷經過步驟S3121處理剩下的點集中的點是否被立面遮擋。不難理解，只有落入拍攝錐體內的立面部分才有可能遮擋住F點。

類似的，將落入錐體內的立面部分看成多個垂直于XoY平面的矩形區(qū)域，因為知道圖4中每個節(jié)點的坐標，很容易列出這些矩形區(qū)域的方程，作一條F點到O點之間的連線，判斷這條直線與這些矩形的關系，如果相交，則表示F點被遮擋，否則F點則未被遮擋。

在一些實施例中，可以通過如下方法減少需要遍歷的點數：當發(fā)現O點高于建筑時，則位于拍攝錐體內的建筑頂面區(qū)域的點不需要再判斷。

S32、不斷調整參數，直至立面飛行路徑上的拍攝點滿足重疊率要求。

對于頂面飛行路徑，由于拍攝的是正射影像，通過正射影像理論計算便能獲得滿足重疊率要求的拍攝點位置。

對于立面軌跡，如果在步驟S31中，如果某兩個相鄰拍攝點覆蓋的點集的重疊率不滿足三維重建要求的，則需要增大飛行路徑與建筑的水平距離，或者改變無人機的飛行速度，或者相機的拍照間隔。由于改變飛行速度或相機拍照間隔會影響頂面飛行路徑的參數，因此優(yōu)先增大飛行路徑與建筑的水平距離D1，并計算與D1相關的其他關鍵參數。

重構飛行路徑，獲取新的拍攝點集，重復步驟S3，直至所有拍攝點覆蓋的點集的重疊率均滿足三維重建要求。

經過步驟S1至S3，得到了確定的拍攝點集。如果對無人機的數據采集過程有時間約束，還需判斷單架無人機飛行是否能夠滿足時間約束。如果單架無人機飛行能夠滿足時間約束，則按立面飛行路徑--過渡飛行路徑--頂面飛行路徑的順序構造飛行路徑，遍歷所有拍攝點。如果由于單架無人機飛行耗時太長，不能滿足時間約束，則需要采用多機模式，將拍攝點集分配到多架次飛行中去。由于每個拍攝點都是無人機的任務點，多架無人機協同作業(yè)下，路徑規(guī)劃就是要使用多架次無人機在指定的時間內，以最小的時間成本遍歷任務點，并在每個任務點調整姿態(tài)，拍攝照片。

S4、構造飛行路網。

針對拍攝點集中的任意一個拍攝點，確定無人機可以從該拍攝點直線飛行到達的另一個拍攝點(也即這兩個拍攝點之間的連線與建筑的表面不相交，無人機在這兩個拍攝點之間飛行不會被建筑遮擋)，并計算這兩個拍攝點之間的時間成本，這樣，在拍攝點集中，即可以形成一個飛行路網，其表示了無人機可以選擇的飛行路徑。

現有的無人機通常支持無頭模式飛行，無人機在飛行過程中航向角無法改變，由于相機是固定在無人機的云臺上的，相機的俯仰角可以在飛行過程中調整，無人機在到達拍攝點后才能調整航向角，因此時間成本主要包括飛行時間成本和航向調整時間成本，其中，所述飛行時間成本為所述無人機在拍攝點之間飛行所需的時間，所述航向調整時間成本為：所述無人機到達某個拍攝點后，將無人機的當前航向角調整為所述某個拍攝點對應的航向角所需的時間。

確保兩個拍攝點之間的連線與建筑的表面不相交的方法有很多。例如，可以參照步驟S311至步驟S312的計算方法，確保兩個拍攝點之間的連線與建筑的表面不相交。

在另一個實施例中，可以通過如下方法確保兩個拍攝點之間的連線與建筑的表面不相交的方法。

如圖5所示，根據建筑的三維點模型，可以把建筑立面想象成由一系列長方形構成，通過判斷兩個拍攝點之間的視線是否被建筑頂面或者立面的某些長方形遮擋，就能判斷這兩拍攝點之間的航路是否暢通。P1、P2是待判斷的兩個拍攝點，過P1、P2點，做一個垂直于XoY平面的長方形，記為ABCD面。構建一個長方體，頂點為E、F、G、H和K、L、M、N，四個立面均垂直于XoY平面，下底面為XoY平面，上頂面平行與XoY平面，高度為建筑高度與P1、P2的高度中最大值。其中A、B、C、D點分別是線段EH、FG、ML、NK的中點，EFGH面和KLMN面均垂直于ABCD面，取EH長度為建筑網格的2-3倍即可。如果P1P2視線被建筑立面某點P3所遮擋，則P3所在的長方形肯定會落在EFGHKLMN長方體內，也就是說，在規(guī)劃的某條飛行路徑中，無人機不能從P1直接飛到P2。

并不是所有拍攝點都需要兩兩判斷，相鄰的拍攝點之間一定可以通行，高于建筑的所有拍攝點之間都可以通行，這樣可以減少需要判斷的拍攝點的數量，能夠提高路徑規(guī)劃的速度。

S5、計算所需無人機的最少架次。

根據飛行路網、總時間約束、無人機的續(xù)航時間、無人機的起飛點和無人機的降落點，計算在無人機遍歷所有拍攝點的情況下所需無人機的最少架次。

例如，可以首先設定無人機的最少架次為2架，設定無人機的飛行時間為續(xù)航時間，并設定無人機的起飛點和降落點，通過多旅行商問題的計算算法，計算在總時間約束的情況下是否可以遍歷所有的拍攝點，如果不行，則增加無人機的架次(例如增加1架次)，如不能遍歷所有拍攝點則繼續(xù)增加架次，直至能夠遍歷所有的拍攝點，這樣即可以獲得所需的無人機最少架次。通常情況下，每個無人機的續(xù)航時間、起飛點和降落點是相同的，當然也可以不同。多旅行商問題是一個經典的數學問題，目前已經有很多的算法來計算最佳的路徑。

S6、在所述最少架次下，計算最小的飛行時間成本。

由于在步驟S5中假設每架次的無人機都是在續(xù)航時間下完成飛行任務的，實際飛行中在遍歷所有的拍攝點的情況下，可能有些無人機的實際飛行時間小于續(xù)航時間。因此，可以逐步減少每個無人機架次的飛行時間，根據步驟S5計算是否可以遍歷所有的拍攝點，若可以則繼續(xù)減少每個架次無人機的飛行時間，直至在某一次減小每個架次無人機的飛行時間后，根據步驟S5的計算無人機無法遍歷所有的拍攝點，這樣，上述某一次減小之前的飛行時間，即是最少架次下的最小飛行時間成本。

以上內容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明由所提交的權利要求書確定的專利保護范圍。