一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法
【專利摘要】一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，包括利用空三結(jié)合密集匹配的方法生成三維點(diǎn)云，并對(duì)點(diǎn)云進(jìn)行濾波處理，從其中檢測(cè)出建筑物。對(duì)檢測(cè)的建筑刪除墻面后，從建筑物頂面信息提取建筑物粗輪廓。建筑物粗輪廓作為緩沖區(qū)疊加拼接影像上，利用建筑物粗輪廓作為形狀先驗(yàn)信息，在緩沖區(qū)內(nèi)用水平集算法進(jìn)行演化，最后得到建筑物精確輪廓。本發(fā)明充分利用了多重疊影像生成的點(diǎn)云三維信息，同時(shí)結(jié)合高分辨率遙感影像的高精度幾何信息，不但顯著提高了建筑物輪廓提取的精度，而且降低了方法的復(fù)雜度。
【專利說(shuō)明】一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及遙感影像應(yīng)用【技術(shù)領(lǐng)域】，尤其是涉及一種無(wú)人機(jī)遙感影像建筑物輪廓 線提取方法。

【背景技術(shù)】
[0002] 建筑物是城市中一種重要的地理空間要素，它在城市規(guī)劃與管理、城市發(fā)展與變 化以及災(zāi)害檢測(cè)與評(píng)估等應(yīng)用領(lǐng)域具有重要的意義。建筑物輪廓線提取是城市基礎(chǔ)地理信 息系統(tǒng)的建立和更新的一個(gè)重要步驟。無(wú)人機(jī)作為一種新型遙感監(jiān)測(cè)平臺(tái)，飛行操作智能 化程度高，可按預(yù)定航線自主飛行、攝像，實(shí)時(shí)提供遙感監(jiān)測(cè)數(shù)據(jù)和低空視頻監(jiān)控，具有機(jī) 動(dòng)性強(qiáng)、便捷、成本低等特點(diǎn)，其所獲取的高分辨率重疊的遙感數(shù)據(jù)具有抗干擾能力強(qiáng)，成 像范圍大等特點(diǎn)，使之成為建筑物輪廓線提取有效的數(shù)據(jù)來(lái)源之一。
[0003] 高分辨率遙感影像的中包含了大量豐富的信息，建筑物輪廓提取往往受到各種其 它的地物干擾，比如建筑物和非建筑物區(qū)分，建筑物周圍樹木的遮擋，道路邊線的影響等 等。因此，僅僅靠單一的影像進(jìn)行建筑物輪廓提取，技術(shù)難度很大。建筑物輪廓提取不僅需 要依靠遙感二維信息的提取與分析，而且還需要結(jié)合建筑物三維信息，所以二維和三維信 息互為融合和補(bǔ)充將更加有利于遙感影像中建筑物輪廓的提取。目前利用高分辨率遙感 影像進(jìn)行建筑物輪廓提取的典型方法包括以下幾種：1)基于單一的高分辨率遙感影像建 筑物輪廓線提取。雖然高分辨率的遙感影像具有清晰的建筑物輪廓信息，但是人造的建筑 物和非建筑物難以區(qū)分開來(lái)，另外建筑物周圍的樹木遮擋也對(duì)建筑物的輪廓產(chǎn)生一定的干 擾，因此這類方法具有一定的局限性。2)基于陰影輔助下的建筑物輪廓線提取。雖然在陰影 輔助下進(jìn)行建筑物輪廓提取間接利用了建筑物的高度信息，但是陰影的提取不具有一定的 普適性，而且利用陰影求得建筑物高度的需要相關(guān)的參數(shù)較多，因此此類方法很難滿足實(shí) 際的需要。3)基于Lidar和遙感影像的建筑物輪廓線提取。雖然這類方法既利用了Lidar 的三維信息，又融合了影像的高精度幾何輪廓信息，通過(guò)兩種數(shù)據(jù)優(yōu)劣的互為補(bǔ)充來(lái)提取 建筑物輪廓信息。但是這類方法存在是Lidar和遙感影像的高精度配準(zhǔn)困難，而且Lidar 數(shù)據(jù)獲取的成本也較為昂貴。4)基于立體航空影像的建筑物輪廓線提取。雖然這類方法利 用立體匹配獲得了三維信息，同時(shí)利用了影像的高精度的二維信息，通過(guò)兩類信息的互補(bǔ) 進(jìn)行建筑物輪廓信息提取。但是這類方法的問(wèn)題是立體像對(duì)幅面較小，對(duì)于提取大范圍的 城區(qū)建筑物輪廓有一定的影響。因此需要迫切尋找一種數(shù)據(jù)易獲取、提取方法自動(dòng)化程度 高、提取結(jié)果相對(duì)精確高且符合實(shí)際生產(chǎn)需要的方法。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明充分利用了多重疊影像生成的點(diǎn)云三維信息，同時(shí)結(jié)合遙感影像自身的高 精度信息，顯著提高了建筑物輪廓提取的精度。
[0005] 本發(fā)明的技術(shù)方案為一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，包括 以下步驟：
[0006] 步驟一，利用空三對(duì)無(wú)人機(jī)遙感影像進(jìn)行平差，同時(shí)利用GPU加速后的PMVS算法 對(duì)影像密集匹配，最后得到精度高的密集彩色點(diǎn)云；
[0007] 步驟二，對(duì)平差后的無(wú)人機(jī)遙感影像進(jìn)行拼接；
[0008] 步驟三，對(duì)彩色點(diǎn)云進(jìn)行濾波；先利用改進(jìn)的形態(tài)學(xué)濾波算法進(jìn)行地面和非地面 分離，然后利用顏色不變量對(duì)地面點(diǎn)中的植被濾除，最后利用高程和面積作為閾值濾除非 建筑物；
[0009] 步驟四，利用區(qū)域增長(zhǎng)算法檢測(cè)點(diǎn)云中的建筑物；
[0010] 步驟五，刪除建筑物的墻面，通過(guò)對(duì)頂面邊界擬合最后得到建筑物的粗輪廓信 息；
[0011] 步驟六，利用步驟三得到的建筑物粗輪廓作為疊加在拼接影像上，形成建筑物輪 廓提取的緩沖區(qū)；
[0012] 步驟七，同時(shí)利用建筑物粗輪廓的形狀作為先驗(yàn)信息，在緩沖區(qū)內(nèi)用水平集算法 演化出建筑物精確輪廓。
[0013] 所述步驟一包括以下步驟：
[0014] (I. 1)利用先驗(yàn)信息對(duì)多視重疊無(wú)人機(jī)遙感影像進(jìn)行預(yù)處理：
[0015] (1. 2)在步驟（I. 1)的基礎(chǔ)上進(jìn)行空三攝影測(cè)量，利用空三勾網(wǎng)，求出每張影像的 外方位元素，并進(jìn)行光束法的整體平差；
[0016] (1. 3)根據(jù)影像分組，在步驟（1. . 2)的基礎(chǔ)上利用現(xiàn)有技術(shù)中GPU加速的PMVS算 法進(jìn)行快速的密集匹配，生成密集的三維點(diǎn)云，所重建的點(diǎn)云作為三維高程數(shù)據(jù)。
[0017] 所述步驟二包括以下步驟：
[0018] (2. 1)特征提取：利用SIFT進(jìn)行影像的特征提??；
[0019] (2. 2)影像配準(zhǔn)：先進(jìn)行粗配準(zhǔn)，利用k-d樹搜索匹配的特征點(diǎn)；然后進(jìn)行精配準(zhǔn)， 粗配準(zhǔn)往往出現(xiàn)錯(cuò)誤的匹配點(diǎn)，因此利用RANSAC算法剔除錯(cuò)誤的匹配點(diǎn)；通過(guò)影像的配 準(zhǔn)，得到影像之間的變換矩陣；
[0020] (2. 3)影像的拼接：通過(guò)（2. 2)得到的變換矩陣進(jìn)行影像的拼接；
[0021] (2. 4)影像的融合：拼接后，利用雙線性插值算法進(jìn)行影像的融合。
[0022] 所述步驟三包括以下步驟：
[0023] (3. 1)利用改進(jìn)的形態(tài)學(xué)濾波對(duì)點(diǎn)云的地面點(diǎn)和非地面點(diǎn)進(jìn)行分離；
[0024] (3. 2)對(duì)步驟（3. 1)中的地面點(diǎn)中利用顏色不變量對(duì)植被進(jìn)行濾波；
[0025](3. 3)基于建筑物的特點(diǎn)，利用閾值過(guò)濾掉非建筑物目標(biāo)點(diǎn)。
[0026] 所述步驟（3. 1)包括以下過(guò)程：
[0027] 首先取任意一個(gè)點(diǎn)和它的鄰域點(diǎn)組成一個(gè)固定大小的窗口，通過(guò)形態(tài)學(xué)的開運(yùn)算 檢測(cè)出窗口內(nèi)的最低點(diǎn)，如果窗口內(nèi)的點(diǎn)的高程值與最低點(diǎn)高程之差在閾值范圍內(nèi)，表示 該點(diǎn)為地面點(diǎn)，以此取出點(diǎn)云中所有點(diǎn)進(jìn)行濾波；
[0028] 其次根據(jù)y= 2Xwk+l獲得下次濾波所需的窗口大小，且該窗口的大小小于預(yù)設(shè) 的濾波窗口最大值，再進(jìn)行一次形態(tài)學(xué)濾波；最后當(dāng)窗口大于預(yù)設(shè)窗口，結(jié)束濾波；其中，k 為迭代次數(shù)，w前一次濾波窗口的大小。
[0029] 所述步驟（3. 2)包括以下過(guò)程：
[0030] 由于由影像密集匹配生成的點(diǎn)云具有顏色信息，因此利用顏色不變量理論對(duì)綠色 植被進(jìn)行過(guò)濾；設(shè)點(diǎn)云中每個(gè)點(diǎn)的坐標(biāo)為（X，y，Z)顏色三個(gè)通道為（R，G，B)，顏色不變量的 對(duì)于植被的閾值為Tg，利用綠色和藍(lán)色通道定義的顏色不變量公式為：
[0031]

【權(quán)利要求】
1. 一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特征在于，包括以下步 驟： 步驟一，利用空三對(duì)無(wú)人機(jī)遙感影像進(jìn)行平差，同時(shí)利用GPU加速后的PMVS算法對(duì)影 像密集匹配，最后得到精度高的密集彩色點(diǎn)云； 步驟二，對(duì)平差后的無(wú)人機(jī)遙感影像進(jìn)行拼接； 步驟三，對(duì)彩色點(diǎn)云進(jìn)行濾波； 先利用改進(jìn)的形態(tài)學(xué)濾波算法進(jìn)行地面和非地面分離，然后利用顏色不變量對(duì)地面點(diǎn) 中的植被濾除，最后利用高程和面積作為閾值濾除非建筑物； 步驟四，利用區(qū)域增長(zhǎng)算法檢測(cè)點(diǎn)云中的建筑物； 步驟五，刪除建筑物的墻面，通過(guò)對(duì)頂面邊界擬合最后得到建筑物的粗輪廓信息； 步驟六，利用步驟三得到的建筑物粗輪廓作為疊加在拼接影像上，形成建筑物輪廓提 取的緩沖區(qū)； 步驟七，同時(shí)利用建筑物粗輪廓的形狀作為先驗(yàn)信息，在緩沖區(qū)內(nèi)用水平集算法演化 出建筑物精確輪廓。
2. 根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟一包括以下步驟： (1. 1)利用先驗(yàn)信息對(duì)多視重疊無(wú)人機(jī)遙感影像進(jìn)行預(yù)處理： (1.2)在步驟（1. 1)的基礎(chǔ)上進(jìn)行空三攝影測(cè)量，利用空三勾網(wǎng)，求出每張影像的外方 位元素，并進(jìn)行光束法的整體平差； (1. 3)根據(jù)影像分組，在步驟（1. . 2)的基礎(chǔ)上利用現(xiàn)有技術(shù)中GPU加速的PMVS算法進(jìn) 行快速的密集匹配，生成密集的三維點(diǎn)云，所重建的點(diǎn)云作為三維高程數(shù)據(jù)。
3. 根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟二包括以下步驟： (2. 1)特征提取：利用SIFT進(jìn)行影像的特征提取； (2. 2)影像配準(zhǔn)：先進(jìn)行粗配準(zhǔn)，利用k-d樹搜索匹配的特征點(diǎn)；然后進(jìn)行精配準(zhǔn)，粗配 準(zhǔn)往往出現(xiàn)錯(cuò)誤的匹配點(diǎn)，因此利用RANSAC算法剔除錯(cuò)誤的匹配點(diǎn)；通過(guò)影像的配準(zhǔn)，得 到影像之間的變換矩陣； (2. 3)影像的拼接：通過(guò)（2. 2)得到的變換矩陣進(jìn)行影像的拼接； (2. 4)影像的融合：拼接后，利用雙線性插值算法進(jìn)行影像的融合。
4. 根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟三包括以下步驟： (3. 1)利用改進(jìn)的形態(tài)學(xué)濾波對(duì)點(diǎn)云的地面點(diǎn)和非地面點(diǎn)進(jìn)行分離； (3. 2)對(duì)步驟（3. 1)中的地面點(diǎn)中利用顏色不變量對(duì)植被進(jìn)行濾波； (3. 3)基于建筑物的特點(diǎn)，利用閾值過(guò)濾掉非建筑物目標(biāo)點(diǎn)。
5. 根據(jù)權(quán)利要求4所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟（3. 1)包括以下過(guò)程： 首先取任意一個(gè)點(diǎn)和它的鄰域點(diǎn)組成一個(gè)固定大小的窗口，通過(guò)形態(tài)學(xué)的開運(yùn)算檢測(cè) 出窗口內(nèi)的最低點(diǎn)，如果窗口內(nèi)的點(diǎn)的高程值與最低點(diǎn)高程之差在閾值范圍內(nèi)，表示該點(diǎn) 為地面點(diǎn)，以此取出點(diǎn)云中所有點(diǎn)進(jìn)行濾波； 其次根據(jù)y= 2Xwk+l獲得下次濾波所需的窗口大小，且該窗口的大小小于預(yù)設(shè)的濾 波窗口最大值，再進(jìn)行一次形態(tài)學(xué)濾波；最后當(dāng)窗口大于預(yù)設(shè)窗口，結(jié)束濾波；其中，k為迭 代次數(shù)，w前一次濾波窗口的大小。
6. 根據(jù)權(quán)利要求4所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟（3. 2)包括以下過(guò)程： 由于由影像密集匹配生成的點(diǎn)云具有顏色信息，因此利用顏色不變量理論對(duì)綠色植被 進(jìn)行過(guò)濾；設(shè)點(diǎn)云中每個(gè)點(diǎn)的坐標(biāo)為（x，y，z)顏色三個(gè)通道為（R，G，B)，顏色不變量的對(duì)于 植被的閾值為Tg，利用綠色和藍(lán)色通道定義的顏色不變量公式為：
其中，Ig(x,y,z)、Ib(x,y,z)表示點(diǎn)云在（X，y,z)點(diǎn)的綠色和藍(lán)色分量值；步g(x,y,z) 表示在（x，y，z)點(diǎn)的顏色不變量值；當(dāng)itg<T，，表示該點(diǎn)為植被點(diǎn)；當(dāng)$ 8>1\時(shí)，表 示該點(diǎn)為非植被點(diǎn)。
7. 根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟四，利用基于平面擬合區(qū)域增長(zhǎng)法分割步驟三中的點(diǎn)云，得到每個(gè)建筑物 的點(diǎn)云區(qū)域VBi，具體包括以下步驟： (4. 1)把點(diǎn)云中的點(diǎn)分為兩類：如果點(diǎn)的鄰域中有一個(gè)點(diǎn)缺省，這類點(diǎn)屬于邊界點(diǎn)；否 則這類點(diǎn)屬于內(nèi)部點(diǎn)； (4. 2)設(shè)某個(gè)內(nèi)部點(diǎn)pjxd,yd,zd，的八鄰域點(diǎn)為：{ppp2，…，p8}，對(duì)這9個(gè)點(diǎn)利用最 小二乘法擬合出平面方程（2)，具體實(shí)現(xiàn)如下：
對(duì)于點(diǎn)P〇和鄰域內(nèi)的8個(gè)點(diǎn)：(Xi,yi,Zi)，i= 0, 1，2,…，7 ;擬合計(jì)算式⑵平 面方程，則使（3)式最??；
其中M是P(l和它的八鄰域點(diǎn)的集合，hk和zk分別是觀測(cè)高程值和擬合平面高程值； (4. 4)對(duì)點(diǎn)云中每個(gè)點(diǎn)按照SSD值進(jìn)行升序排序，取最小的SSD值的點(diǎn)作為種子點(diǎn)； (4. 5)在種子點(diǎn)鄰域內(nèi)求每個(gè)點(diǎn)到種子點(diǎn)所在平面的距離h，如果h〈hT，hT為高程閾值， 則合并到同一區(qū)域，并對(duì)該區(qū)域進(jìn)行標(biāo)記；否則，這為非面片點(diǎn)； (4.6)當(dāng)鄰域點(diǎn)全部遍歷完，從新的SSD值中找未處理的點(diǎn)作為新的種子點(diǎn)，反復(fù) (4.5)的操作，直到所有的點(diǎn)遍歷結(jié)束。
8. 根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟五，對(duì)步驟四中的每個(gè)建筑物的點(diǎn)云區(qū)域VBi刪除建筑物的墻面點(diǎn)，通過(guò) 求取頂面邊界點(diǎn)最后得到建筑物的粗輪廓信息，具體包括以下步驟： (5. 1)根據(jù)步驟四分割的面片，如果面片的法向量平行于地面，說(shuō)明是墻面面片；如果 面片的法向量垂直地面，說(shuō)明是屋頂面片；因此根據(jù)法向量刪除墻面面片； (5. 2)根據(jù)（5. 1)中得到的頂面點(diǎn)云，利用alpha-shape算法得到點(diǎn)云的邊界；具體方 法是： a)從頂面點(diǎn)云中取出任意一點(diǎn)pl，從剩余點(diǎn)中搜索距離小于等于2a的點(diǎn)集合p2,a為圓的半徑，設(shè)p2= {p21，p22，p23，...，p2n};
c) 從點(diǎn)集合p2中求出所有點(diǎn)到pO的距離1，如果l>a，那么pi和p2i是邊界點(diǎn)；如 果1〈a，轉(zhuǎn)入下一步d); d) 對(duì)p2中其它點(diǎn)重復(fù)a)b)c)三步，直到p2中所有點(diǎn)全部判斷結(jié)束。
9. 根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其特 征在于，所述步驟六，將步驟五中的得到每個(gè)建筑物的頂面點(diǎn)云輪廓點(diǎn)疊加在影像上，得到 影像的上的筑物緩沖區(qū)〇Bi;具體過(guò)程如下： 設(shè)投影矩陣P3X4表示單視圖幾何的已知的內(nèi)外方位元素，計(jì)算P3X4矩陣：
其中，P即投影矩陣P3X4,f?為影像的焦距，和為光軸距離光心在水平方向和垂直 方向的偏心距；Xs、Ys、&為相機(jī)中心在世界坐標(biāo)系中的坐標(biāo)，RT表示3X3的旋轉(zhuǎn)矩陣； 投影公式為：
利用式（8)和式（9)計(jì)算點(diǎn)云上的點(diǎn)到影像上的投影；x，y，z表示物點(diǎn)在相機(jī)坐標(biāo)系 下的坐標(biāo)，X，Y，Z表示物點(diǎn)在世界坐標(biāo)系下的坐標(biāo)。
10.根據(jù)權(quán)利要求1所述的一種無(wú)人機(jī)多重疊遙感影像的建筑物輪廓線提取方法，其 特征在于，所述步驟七，把步驟六疊加到影像上的點(diǎn)進(jìn)行邊界連接，得到的建筑物粗輪廓作 為緩沖區(qū)疊加在拼接影像上，同時(shí)利用建筑物粗輪廓的形狀作為先驗(yàn)信息，在緩沖區(qū)內(nèi)用 水平集算法演化出建筑物精確輪廓；具體步驟如下： (7. 1)對(duì)疊加在影像上的點(diǎn)進(jìn)行邊界跟蹤，得到封閉的輪廓；對(duì)該輪廓進(jìn)行擴(kuò)大，得到 影像上建筑物輪廓提取的緩沖區(qū)〇Bi; (7. 2)根據(jù)（7. 1)得到影像區(qū)域的輪廓作為初始水平集，根據(jù)（7. 1)得到影像區(qū)域的輪 廓形狀作為先驗(yàn)信息在緩沖區(qū)內(nèi)部的遙感影像中進(jìn)行局部水平集演化，得到遙感影像的建 筑物的精細(xì)輪廓；具體實(shí)施如下： 首先，預(yù)設(shè)影像上每個(gè)建筑物的緩沖區(qū)為〇Bi，（7. 1)中獲取輪廓的形狀為〇)pi，0^作 為先驗(yàn)形狀，〇Si作為目標(biāo)分割輪廓，基于形狀約束的能量泛函定義如下：

根據(jù)式（13)，采用C-V水平集演化方法分割提取建筑物區(qū)域，作為影像的建筑物分割 對(duì)像viSeg，C-V水平集為現(xiàn)有技術(shù)。
【文檔編號(hào)】G06T7/00GK104484668SQ201510025503
【公開日】2015年4月1日 申請(qǐng)日期:2015年1月19日 優(yōu)先權(quán)日:2015年1月19日
【發(fā)明者】眭海剛, 涂繼輝, 賈曲, 宋志娜, 陳 光, 徐川 申請(qǐng)人:武漢大學(xué)