專利名稱：基于圖像的三維模型的重建模方法
技術(shù)領(lǐng)域：
本申請總的來說涉及計算機建模，具體地講，涉及將多維模型應用于圖像以更加 準確地顯現(xiàn)建筑物結(jié)構(gòu)的應用。
背景技術(shù)：
大型城市三維模型建模有許多重要的應用，研究者對于基于圖像的半自動或全自 動的三維建模方法已經(jīng)有一定程度的探索。基于圖像的三維建模方法的優(yōu)勢在于能夠得到 接近現(xiàn)實的某些紋理。但是，這些方法也有其局限性，就是它們只能恢復能夠被傳感器采集 到數(shù)據(jù)的建筑物部分。對于高層建筑的不可見部分卻無能為力。如果利用一些先驗知識， 其實可以根據(jù)能被傳感器采集到的部分來推斷出未被采集到的部分。然而到目前為止，只 有幾個簡單的先驗被研究者使用，比如平面度，平滑度和建筑物的規(guī)整度等。但利用這些簡 單先驗得到的結(jié)果往往缺乏高層次的語義描述，這樣就很難再重用已有的結(jié)果去大規(guī)模產(chǎn) 生更多的三維模型。形狀文法規(guī)被廣泛應用于大規(guī)模批量生成建筑模型，但這些方法很難 產(chǎn)生具有真實感的建筑模型。因此，現(xiàn)有的系統(tǒng)不能夠勝任從已有的建筑圖像中提取語義 信息以及創(chuàng)建形狀文法規(guī)庫并將其用于產(chǎn)生大規(guī)模具有真實感的建筑模型的需求。對于特定的應用，重新創(chuàng)建一個新的模型顯得不是很有必要，因為許多時候現(xiàn)有 的模型足以應付相應的應用。這些需要的模型基本可以從網(wǎng)絡或者已有的模型庫中找到。 比如，三維的可視化地球的平臺，其中就包括大批量的城市模型。而這些城市模型是在花費 了大量人力物力之后才得以建成的。不足的是這些模型一般都是用航拍圖像創(chuàng)建的，因為 它們頂部的紋理都相對清晰，但幾何形狀的細節(jié)和紋理的質(zhì)地都較差。另外，現(xiàn)有的街景服 務比如Google街景提供了清楚的拍攝于地面的街道全景圖，但是它們并不能提供建筑物 的幾何模型，而只是簡單的圖像信息?，F(xiàn)有的建模方法包括基于產(chǎn)生式規(guī)則的建筑方法和基于圖像的建模方法?；诋a(chǎn) 生式規(guī)則的建筑方法是以喬姆斯基語法和形狀語法為基礎(chǔ)。其幾何解釋和推導控制是專門 為實現(xiàn)圖形建模的要求而設計的。L系統(tǒng)就是其中的一種，現(xiàn)已被廣泛用于建立植物模型。 對于建筑建模而言，基于產(chǎn)生式規(guī)則的建筑方法一般是由分裂規(guī)則結(jié)合其他語法規(guī)則并依 賴于用戶提供的配置參數(shù)，進而產(chǎn)生建筑模型的。雖然文法系統(tǒng)本身得到了充分的研究，但 如何從已知信息中自動提取文法信息還幾乎未被探索?，F(xiàn)有的自動語法提取方案一般采用 了自上而下的圖像分割方法來提取一組分割規(guī)則。然而，這些提取語法規(guī)則的方法僅僅局 限于具有非常規(guī)則結(jié)構(gòu)的建筑物外墻，它們一般要求整個墻面只有一個格子狀結(jié)構(gòu)?；趫D像的建模利用圖像作為輸入來重建出物體的三維幾何模型和表示。從運動 中恢復出結(jié)構(gòu)的辦法(Structure from Motion, SFM)和多視點立體視覺是這種基于圖像建模的方法的根基。通過規(guī)整這些算法重構(gòu)出的三維點云，模型規(guī)整化過程可以最終產(chǎn)生 一個規(guī)則的三維網(wǎng)格模型。這個規(guī)整過程中的根本任務是對點云進行分析，即從非結(jié)構(gòu)化 的三維點云中提取出結(jié)構(gòu)化的三維網(wǎng)格模型。但在實際中會遇到各種各樣的問題，比如通 常只有部分點云可以用于這個過程。規(guī)整過程一般需要人為設定一些先驗假設。相對于傳 統(tǒng)的光滑表面假設，最近越來越多的特定領(lǐng)域的知識也被用于這個分析過程中。比如有些 方法從可見的樹枝提取結(jié)構(gòu)信息進而合成出一棵完整樹的模型；還有些方法使用了可展曲 面來模擬建筑物外觀表面，并對模型邊緣加以直線規(guī)則化限制來得到更加規(guī)則的建筑物模 型。上邊對當前三維建模算法的描述僅僅是為了提供一個對已有算法各種不足之處 的簡單總結(jié)，但并不是全面的概括和分析。與傳統(tǒng)系統(tǒng)的比較以及在此所述的各種非限制 性實施例的對應優(yōu)點將會在接下來的文章中得到進一步闡述。

發(fā)明內(nèi)容
接下來是對此方法簡單的整體闡述以及一些基本的技術(shù)描述。本概要并非一個全 面的概括。它的目的既不確定主要或關(guān)鍵的要素，也沒有劃定范圍方面的透露。它的唯一 目的就是對于以下更詳盡描述的總起和鋪墊。本發(fā)明提供了用以基于圖像的模型重建模的系統(tǒng)和方法。一方面，提供了一種建 模系統(tǒng)。該系統(tǒng)包括用于產(chǎn)生與一棟或者多棟建筑結(jié)構(gòu)相關(guān)的重建模圖像的處理器；以及 用于整合源自所述一棟或者多棟建筑結(jié)構(gòu)的航拍圖像的近似模型和源自所述一棟或者多 棟建筑結(jié)構(gòu)的攝于地面的圖像的三維重構(gòu)模型的過程模型。另一個方面，提供了一種方法， 該方法包括接收一張或者多張建筑物結(jié)構(gòu)的航拍圖像和一張或者多張與建筑物結(jié)構(gòu)相關(guān) 的從地面拍攝的圖像。該方法包括對三維模型以及從航拍圖像和從地面拍攝的圖像的至少 一個運動序列重構(gòu)出的三維結(jié)構(gòu)進行配準(register)。該方法包括把三維模型以及從至少 一個運動序列重構(gòu)出的三維結(jié)構(gòu)分解成建筑物單元。該方法還包括從建筑單元中產(chǎn)生文法 規(guī)則以用于輔助建筑物結(jié)構(gòu)的重建模成像。


圖1是基于圖像的過程重建模系統(tǒng)的示意性框圖。圖2至圖4展示了圖1示出的系統(tǒng)所處理的示例性建模方面和圖像。圖5展示了圖像的三維配準和重構(gòu)。圖6描述了使用包含規(guī)則(contain rule)來產(chǎn)生建筑物正墻紋理的過程。圖7描述了使用采樣點來產(chǎn)生建筑物正墻紋理的過程。圖8展示了結(jié)合三維網(wǎng)格模型的原始紋理以及從地面拍攝圖像進而抽取產(chǎn)生式 文法規(guī)則的過程。圖9展示了被遮擋的不完全的紋理的合成以及補全。圖10展示了從現(xiàn)有模型重建模圖像的示例。圖11展示了用于重建模建筑的示例性方法。圖12展示了用于產(chǎn)生重建模的建筑或者其他結(jié)構(gòu)的圖像的系統(tǒng)。圖13展示了一組用于觸發(fā)計算機生成重建模建筑或者其他結(jié)構(gòu)三維模型的計算機可讀介質(zhì)的指令。
具體實施例方式提供了用于對建筑進行重建模的系統(tǒng)和方法。一方面，提供了一種用于改善已有 模型的建模系統(tǒng)。該系統(tǒng)運行于計算機處理器并用于對一棟或者多棟的建筑模型進行重建 模。該系統(tǒng)的輸入是一個建筑物的簡單近似模型以及一張或者多張與此模型相關(guān)的圖像。 系統(tǒng)的輸出是對原來模型進行重建模并且改善后的具有豐富細節(jié)和真實紋理的建筑模型。在接下來的闡述中，相關(guān)詞匯比如“組件”、“系統(tǒng)”、“模型”、“規(guī)則”、“網(wǎng)格”、“合成” 等都是傾向于指計算機領(lǐng)域的事物，尤其是計算機視覺和圖形學相關(guān)的。比如，一個“組件” 的含義可以是，但不限于，一個運行于處理器的處理過程，一個處理器，一個物體或者一個 可執(zhí)行文件，一個進程，一個程序或者是一臺計算機。首先參照圖1，展示了一種基于圖像的過程重建模系統(tǒng)100，其用于改善已有模 型。系統(tǒng)100包括了一個預處理級110，預處理級110用于接收輸入圖像120以及運動恢復 結(jié)構(gòu)(SFM)數(shù)據(jù)(相關(guān)的三維點云數(shù)據(jù))130。相對應的近似三維模型140并行于預處理級 110被分析處理。盡管沒有被顯式的指出，系統(tǒng)100可以包括處理器以及其他電腦組件用于 執(zhí)行各種系統(tǒng)模塊，比如包括有形的計算機可讀介質(zhì)來存儲元器件的各自的執(zhí)行指令。預 處理級110以及簡單三維模型140的輸出被饋送到一個配準模塊150。配準模塊150細節(jié) 將會在以下文章給出。注冊模塊150的輸出會被分解模塊160進行處理。處理過程中，分解 模塊160會從三維網(wǎng)格以及與其配準的紋理中分別提取出建筑物的產(chǎn)生式規(guī)則170和180。 三維網(wǎng)格的規(guī)則170以及紋理中包含的規(guī)則180作為紋理合成190的輸入。紋理合成190 輸出一個改善過的紋理并且包含建筑物的結(jié)構(gòu)信息。這些紋理和信息作為重建模模塊194 的輸入，重建模模塊194最終產(chǎn)生重建模后的建筑物三維模型。重建模改善后的模型從紋 理到幾何質(zhì)量都得到了提升。基于圖像的建筑物過程建模技術(shù)被系統(tǒng)100用來改善三維建筑模型結(jié)構(gòu)，比如利 用已有的簡單三維模型結(jié)合拍攝于地面的圖像。給定一個簡單的三維模型，結(jié)合地面拍攝 的圖像來改善這個模型的幾何結(jié)構(gòu)以及紋理。這個簡單三維模型和從圖像得到的三維重建 進行配準，從而得到三維模型和圖像之間的關(guān)系。然后三維模型會被首先分解為多個單棟 的建筑物或者其他較小的建筑結(jié)構(gòu)。在對簡單三維模型以及圖像進行分析后，建筑或者其 他結(jié)構(gòu)可以被表示為建筑物的語義規(guī)則。在這個分析過程中，會從數(shù)據(jù)中分析出重復以及 非重復的建筑物元素用于組合成語義規(guī)則。已有的檢測重復物體的魯棒性不足以滿足我們 的要求，因此，研發(fā)出一個新的用于在建筑物正投影圖像上檢測重復物體的。因為利用了變 換空間的信息，新的重復物體檢測方法會更加魯棒且有效。最后，用從新生成的高質(zhì)量的紋 理取代簡單模型之前的紋理，并用分析得到的結(jié)構(gòu)信息來增加簡單模型的細節(jié)，從而得到 新的質(zhì)量得到很大改善的建筑物模型。以上各個模塊屬于自動方法并且在被用于建立多種 場景下的大規(guī)模城市模型。首先，請注意將會結(jié)合各附圖對系統(tǒng)100進行闡述。附圖中會包含一個或多個有 關(guān)該系統(tǒng)的圖像生成能力的示例性方面的中間結(jié)果。在闡述的時候，將以圖1所示的總系 統(tǒng)為背景討論隨后的附圖。比如，在圖2中展示了重建模前的現(xiàn)有技術(shù)三維模型200以及 通過系統(tǒng)100重建模后的重建模圖像210。圖3展示了一個輸入圖像300，在圖1展示的系統(tǒng)100中，這個圖像的對應位置是捕獲圖像120。圖4展示了一個改進前的現(xiàn)有技術(shù)三維模 型400和依靠圖1所示的系統(tǒng)100中的組件和方法改進后的三維重建模型410的比較。現(xiàn)在回頭看圖1，系統(tǒng)100的一個特性是結(jié)合至少兩種信息來源已有的近似三維 網(wǎng)格模型140和拍攝于地面的圖像120，以得到的結(jié)果是具有足夠細節(jié)和真實感的建筑物 或者其他結(jié)構(gòu)的三維模型。為了達到這個目的，有三方面的因素需要考慮1.用什么樣的 語法規(guī)則來描述建筑物；2.怎樣自動的從數(shù)據(jù)中抽取語法規(guī)則；3.怎樣用學到的語法規(guī)則 來改進當前的三維模型。系統(tǒng)100的輸入是一個簡單的現(xiàn)有低分辨率航拍紋理的三維網(wǎng)格模型140和120 處的拍攝于地面的二維圖像。首先，三維網(wǎng)格模型以及從輸入圖像中重構(gòu)的三維點云通過 3D線段特征進行配準。然后，三維網(wǎng)格和重構(gòu)的序列被分解為單獨的建筑分別進入接下來 的重建模模塊160。計算機產(chǎn)生建筑(CGA)形狀語法被采用來表示建筑物或者其他需要生 成的結(jié)構(gòu)或者形狀以進行建模。一種包含規(guī)則(contain rule)被引入并取代現(xiàn)有的切分 規(guī)則。在規(guī)則處理之后，文法規(guī)則會被從輸入數(shù)據(jù)中抽取出來。一方面，文法規(guī)則可以從三 維分解160得到。另一方面，文法規(guī)則也可以從建筑物正墻的正投影得到。比如系統(tǒng)100 會檢測重復以及非重復的建筑組成元素。在本發(fā)明中，開發(fā)了一種魯棒高效的基于投票機 制的重復圖案檢測算法。一個建筑的結(jié)構(gòu)信息會被從以下三個源頭得到的文法規(guī)則編碼 一個是三維網(wǎng)格模型，一個是建筑物正墻的正投影圖像，一個是網(wǎng)格模型之前附帶的圖像。 最后，通過從輸入圖像120中合成新的紋理和學到語法規(guī)則140，在194處建筑被重建模。這個方法集合了過程產(chǎn)生式建模方法以及基于圖像的建模方法。程序化重建模方 法被用于整合現(xiàn)有的帶有航拍圖像紋理的簡單模型以及從地面拍攝的圖像的三維重構(gòu)。通 過引入包含規(guī)則來克服之前的切分規(guī)則的不足從而改善了 CGA形狀文法規(guī)則。提供了基于 幾何網(wǎng)格和建筑物正投影紋理圖像的文法規(guī)則提取方法。提供了魯棒高效的在建筑物正投 影圖像上檢測重復圖案的方法并取得了比現(xiàn)有算法更好的結(jié)果。提供了基于文法規(guī)則的紋 理合成方法用來完成重建模。接下來將對圖1的系統(tǒng)100的每個單元模塊進行更詳盡的描述。首先，輸入圖像 120是通過沿街道運動并正對于建筑物正墻的攝像頭連拍采集得到的。Google街景以及微 軟的Mreetside圖像都是此類圖像的典型例子。在系統(tǒng)100中140位置的近似三維建筑 模型通常是從大規(guī)模航拍圖創(chuàng)建得到的。這些模型的遠景看起來沒問題，但是如果觀察角 度拉近被的話，其質(zhì)量就很不如人意，尤其是靠近地面的底層部分。從運動中恢復結(jié)構(gòu)的方法(structure from motion, SFM) 130被同時用來重構(gòu)三 維點云以及攝像機位置信息等，其中用到的是半稠密的SFM點云。半稠密點云的一個特點 就是其提供足夠密度的，并且被束調(diào)節(jié)方法(bundle-like approach)全局優(yōu)化而得到的 點。用GPS/INS數(shù)據(jù)來初始化之后歐式空間的束調(diào)節(jié)(Euclidean bundleadjustment)并 利用一個剛體變換來配準(register)重構(gòu)出的點云以及GPS/INS坐標系統(tǒng)。語義分割被用于識別和分割各個圖像像素為不同的具有不同語義的區(qū)域，比如建 筑、天空、地面、植物或者車輛，因為這種分割被證明可以有效地去除遮擋(比如，從視野中 被模糊或者屏蔽的特征)并能規(guī)整化紋理和模型的邊緣輪廓。開發(fā)了基于多張視圖的語義 分割算法，這樣就可以利用更多的紋理信息以及三維重構(gòu)信息。該分割結(jié)果被用于之后重 構(gòu)出準確的三維點和線段以及最后定義被用于紋理合成的遮擋部分。
進一步從圖像中提取線段并且進行三維重構(gòu)。通過檢測滅點來抽取兩組線段水 平線段和豎直線段。因為攝像機是沿著路面行進且側(cè)向拍攝的，所以有時候由于缺少足夠 的水平視差而導致較難重構(gòu)出水平的三維線段?；谀Ｐ偷呐錅实牟襟E發(fā)生在圖1所示系統(tǒng)100的150。重構(gòu)序列的這個配準過 程從被簡化為一個相對于初始模型的相似變換的三維網(wǎng)格模型開始。因為網(wǎng)格模型和重構(gòu) 的圖像序列都與相對應的GPS進行關(guān)聯(lián)，這使得對所需要的相似變換進行簡單的初始估計 變得很容易。接下來，這個初始估計可以在全局或者局部進行優(yōu)化。對于一個已經(jīng)得到了 全局配準信息的圖像序列，首先利用中間照相機與三維網(wǎng)格之間的距離來識別相關(guān)的三維 網(wǎng)格(就可以把它跟一個相對位置的三維網(wǎng)格進行配準)。如果一個網(wǎng)格模型同時對應幾 個相關(guān)序列，那么合并這些序列到一個完整的大的序列并提供其和三維網(wǎng)格之間的一一對 應關(guān)系。在進行全局配準之后，使用垂直線作為特征，進一步精確調(diào)整這個三維網(wǎng)格模型 和圖像序列之間的相似變換。首先從圖像中重構(gòu)出來的垂直線構(gòu)成集合Lt，然后從三維網(wǎng) 格提取出來垂直線構(gòu)成集合Lm，并作為特征匹配用的特征。然后找到一對最相近的垂直線 匹配組(lt，lm)作為匹配的線段組。利用這些匹配的線段，通過垂直線與地平面相交點來 得到一對匹配點。這個地平面是從主要的水平面的具有GPS信息的半稠密點云中估算得到 的。于是，以RANSAC方式估計相似變換，并且可以通過Levenberg-Marquardt方法優(yōu)化求 解以下定義的能量，從而精確調(diào)整這個相似變換。其中函數(shù)D是一個線段的單位向量。
遲=難iMI+ J2-·對于建筑物分解，每個建筑物的近似三維網(wǎng)格模型是單獨連接的模塊，并且可能 包含一個或者多個建筑物模型。把包含多個建筑的網(wǎng)格模型進行分解從而得到一個個單獨 的建筑網(wǎng)格模型。在整體配準之后，圖1中的建筑分解模塊160會利用之前用到的從網(wǎng)格 中提取出來的垂直線把原始的三維網(wǎng)格分解成多個部分。根據(jù)三維網(wǎng)格的分解，之前已經(jīng) 和三維網(wǎng)格配準的圖像序列也會同時被分拆成多個序列，其中每個序列對應每一個單獨建 筑的三維網(wǎng)格模型。在分解之后，對于每個單獨建筑的三維網(wǎng)格模型以及圖像序列，重新優(yōu)化得到一 個局部的相似變換。坐標系會調(diào)整為局部坐標，其水平和垂直方向會調(diào)整為和建筑物正墻 的真實水平垂直方向一致。最后，位于系統(tǒng)100位置194的模塊利用所有可見圖像信息和 反向合成紋理算法產(chǎn)生出一張建筑正墻的清晰正投影紋理圖像。圖5給出了一個例子，其 用以展示全局配準以及局部配準的結(jié)果。圖5展示了整個配準過程。圖5的510是用GPS 進行初始配準。520展示了整體配準。530是近視角的整體配準效果。540展示了局部配準 之后的改進效果。參考圖1所示的系統(tǒng)100，CGA形狀文法被使用于表示建筑物。包含規(guī)則被引入并 取代之前的分割規(guī)則。文法表示為G = (S，Ri)，其中S是一組文法符號而R是一組產(chǎn)生式規(guī) 則。每個位于S中的符號s或者屬于終結(jié)符號集V或者屬于非終結(jié)符號集E，其中VH E=0 , 并且V U E = S。在利用產(chǎn)生式規(guī)則產(chǎn)生模型的時候，符號可以參數(shù)化表示成s( ·)，其中符號·是一組參數(shù)。每個符號，不論終結(jié)符或者非終結(jié)符都表示一個具有幾何和數(shù)字屬性 的幾何形狀。每個在幾何R中的產(chǎn)生式規(guī)則r用于說明一個非終結(jié)符是怎樣被一串終結(jié)和 /或者非終結(jié)符替換的?，F(xiàn)有許多用于產(chǎn)生式規(guī)則建模的文法系統(tǒng)。比如，基于CGA形狀的 文法系統(tǒng)。以此方式，一個產(chǎn)生式規(guī)則可以寫成id !predecessor 一 cond !successor :prob其中id是分配給每個產(chǎn)生式規(guī)則單獨的索引(唯一的標識符)，predecessor e E是一個用于表示將被前驅(qū)節(jié)點替換的形狀的符號，cond表示哪條規(guī)則將會被選擇用于 替換前驅(qū)節(jié)點，它被選擇的概率為prob.用文法產(chǎn)生一個建筑物的產(chǎn)生過程如下。給定一個包含了許多S中的符號的字符 串str后，系統(tǒng)會從str中選擇一待替換的形狀P以及選擇了 P位于左邊的產(chǎn)生式規(guī)則L。 然后規(guī)則L右邊的字符串Q就會用于替換P在原來字符串的位置。同時，Q被設置成激活 狀態(tài)而P被設置成未激活狀態(tài)。該過程會不斷遞歸運行，直到字符串str不再包含非終結(jié) 符為止。依據(jù)選擇P的算法不同，衍生樹既可以根據(jù)深度優(yōu)先規(guī)則又可以根據(jù)廣度優(yōu)先規(guī) 則被探索。但是每個產(chǎn)生式規(guī)則都會有不同的優(yōu)先選擇權(quán)以導致對產(chǎn)生過程的更多控制， 當每次選擇要被替換的形狀時，系統(tǒng)會根據(jù)選擇權(quán)而選擇最優(yōu)產(chǎn)生式規(guī)則。請注意在產(chǎn)生 CGA形狀的過程中，形狀并沒有被替代刪除，而是被標為非激活狀態(tài)而不顯示。這樣系統(tǒng)就 可以詢問整個層次結(jié)構(gòu)，而不僅僅是激活構(gòu)造。切分文法規(guī)則已經(jīng)被用于產(chǎn)生建筑物模型。切分文法的基本思想是不斷切割大的 空間從而產(chǎn)生新的細小空間進而得到越來越多的細節(jié)。但是，切分文法經(jīng)常會過度分割一 個建筑物正墻，因為產(chǎn)生一個簡單的分割區(qū)域可能需要多次切割操作的組合。這樣就會產(chǎn) 生多余的分割區(qū)域并且把原本完整連接的墻面切割成缺乏實際語義的幾塊。同時，產(chǎn)生的 幾何描述可能不唯一。要從一個圖像中抽取出一個唯一一致的切分文法是一件困難的有待 研究的問題。通常來講，還沒有一個機制能夠處理好通過切分文法產(chǎn)生的相鄰符號之間互 動的關(guān)系。為了克服這些缺點，本發(fā)明引入了新的文法規(guī)則用于取代之前的切分文法，那就 是包含文法。包含文法的優(yōu)勢在于首先，每個前軀節(jié)點的區(qū)域及位置以都被明確地定義 了。其次，用戶可以定義能夠被所有后繼節(jié)點公用的性質(zhì)。第三，包含文法能夠簡單地從自 頂向下及自底向上的分析中得到。一個通用的包含文法并不會約束其前驅(qū)節(jié)點或者后繼節(jié)點的數(shù)量以及位置。其形 式定義為s -* Contain (Num, r0, . . . , r^^) {c0, . . . , Cnuii-J ；其中，Num是s中元素的數(shù)量，Cx是S中的形狀符號，rx是元素Cx的位置。rx被進一步定義為rx = (dim ；boundx ；visx ；opx)其中!^!!!！七是肚?。?！-肚！^！^化！!空間中的區(qū)域rj々邊框。為了更好地定義兄弟節(jié)點 Cx之間的關(guān)系，把節(jié)點Cx的可見優(yōu)先級定義為整數(shù)Vkx，其中較大的整數(shù)意味著更高的可 見優(yōu)先級。與此同時，本發(fā)明用OPx來定義兄弟節(jié)點Cx互相之間的關(guān)系Ici I ViSi < ViiU， 比如覆蓋或者三維布爾運算。建筑物上經(jīng)常會出現(xiàn)重復圖案，因為本發(fā)明定義了一個特殊的文法規(guī)則來產(chǎn)生重 復圖案。重復包含規(guī)則可以定義如下
s -* Repeat (DIR ；step ；times ;rx) {cj ；其中DIR可以是”X”，” Y”，”Z”，"Ti", ”XZ”，，1Z”，或者”XY Z”，它用于指定圖案
重復的方向。step用于指定沿各個方向重復的步長的向量，而times用于指定沿各個方向 重復的次數(shù)的向量，rx是初始的重復位置及所在區(qū)域，而Cx是重復圖案。圖6展示了一個用包含文法來描述建筑物正墻的過程。位于600的包含規(guī)則f首 先把建筑物正墻分解為五個水平的墻的區(qū)域。之后位于610的規(guī)則wr2h定義了從下數(shù)第 三塊墻的分割規(guī)則。它僅僅包含一個子節(jié)點wr2’°v，而這個子節(jié)點包含了 wr2’°和sr2’°兩個 葉子節(jié)點。wr2’°表示墻的區(qū)域而sr2’°表示了重復的窗戶。因為在一和！·2,中，定義了 sr2'0比wr2’°具有更高的顯示優(yōu)先級所以會對墻進行遮擋或者切割。現(xiàn)在將詳細描述從圖1網(wǎng)格模型170以及從紋理180得到的規(guī)則。一方面，本發(fā) 明首先通過對三維網(wǎng)格模型進行分解從而從中提取文法規(guī)則。對三維網(wǎng)格模型進行語義分 割是其中最具挑戰(zhàn)性的任務。在一個案例中，這個問題可以簡化為將建筑物網(wǎng)格模型M分 解為屋頂Roof和一些墻面F。這個簡化讓問題變得可解并且滿足隨后的文法抽取的要求。 此過程分三步首先要刪除被兩個共面的墻面分享的邊界。然后抽取位于地面的主要的豎 直平面作為建筑的正墻面以及最后剩下的各個面作為屋頂及其他區(qū)域處理。從而可以抽取出如下描述的包含文法。s — Contain(|F|+l，r0， ...r|Fhl，rroof) {f0， ··· f |Ρ|_ι; Roof}其中& e F。另一方面，本發(fā)明通過尋找重復以及非重復結(jié)構(gòu)圖案并用來分析建筑物正墻面結(jié) 構(gòu)，從而抽取出相關(guān)的文法規(guī)則。研究人員提出了許多方法來對重復對稱的物體進行分析。 它們基本屬于基于霍夫變換(Hough transform)的方法，區(qū)別在于采用了各種不同方式來 如何對數(shù)據(jù)空間進行采樣和何處對變換進行累計。比如，可以提出一個使用分立的變換群 來發(fā)現(xiàn)三維幾何結(jié)構(gòu)規(guī)則性的算法。因此，本發(fā)明提供了一種用于檢測建筑物正墻的正投 影紋理圖像中的重復元素的方法。因為側(cè)重于檢測平移重復的物體并且這些物體圖像會帶 有豐富的紋理信息，所以這個辦法可以達到魯棒并且有效的目的。一般來講，這個方法先要找到整個正墻紋理的一些采樣點，其中紋理圖像中的 Harris轉(zhuǎn)角經(jīng)常被用于作為采樣點來使用。由于檢測期間的穩(wěn)定性，所以Harris轉(zhuǎn)角適于 采樣。對于每個采樣點，首先要計算一個該點對于整張圖中每個位置的相似度，并存放在一 張相似度圖中。兩個位置的相似度定義為分別以這兩個點為中心的同樣大小區(qū)域的各個像 素數(shù)值的和方差(SSD)。利用均值平移(mean-shift)方法，對于每個采樣點，可以在其相 似度圖中找到一些峰值(平穩(wěn)點)。這些峰值(平穩(wěn)點)就是可能跟這個采樣點相似的位 置。例如，將w設置為30個像素。對這些采樣點和平穩(wěn)點組成的對，兩兩求平移轉(zhuǎn)換并在 平移空間中對所有求到的平移轉(zhuǎn)換進行累加，即，計算轉(zhuǎn)換并且將其映射到二維平面，該二 維平面是二維轉(zhuǎn)換的轉(zhuǎn)換空間，該二維轉(zhuǎn)換空間由二維陣列表示，作為累加器來接收所計 算出的所有對的轉(zhuǎn)換。均值平移被用來計算模式點，這些模式點用于通過變換空間的原點 裝配在稱作格子的矩形柵格上。與采樣點的轉(zhuǎn)換處于裝配的格子上的平穩(wěn)點作為相似點的 集合，其上還包含有采樣點。想要找到的重復信息會在平移空間中反應為一個格子狀的圖 案，因為提取這個格子狀的圖案并且得到想要的平移信息。計算相似點的邊框，并且在圖像空間中構(gòu)建柵格。注意，術(shù)語柵格用在圖像空間中，而格子用在轉(zhuǎn)換空間中。如果90 %的相似點處于所構(gòu)建的柵格上，則確認該柵格是給 定的采樣點。由此，每個采樣點通過轉(zhuǎn)換空間中格子產(chǎn)生圖像空間中的潛在柵格。對于每 個從平移空間(轉(zhuǎn)換空間)中找到的格子，在圖像空間中也可以找到其相對應的柵格位置。 于是，就根據(jù)在平移空間中找到的格子在圖像空間中恢復出對應的柵格。到此，為一個采 樣點找到了其在圖像空間中對應的柵格，這個柵格子就是跟其對應的重復圖案所重復的位 置。之后本發(fā)明對每一個采樣點做同樣的操作從而在圖像中得到很多這樣的柵格。如果柵 格重疊，則將他們分成一組。然后，通過柵格類型將該組中的重疊柵格集中在一起，例如， 3 X 1柵格與1 X 3柵格不同。本發(fā)明根據(jù)重復次數(shù)重復的步長對這些柵格子進行分類，然后 留下五組包含元素最多的柵格。每組都會對應于一個重復的圖案。對于每組柵格，把對應 于同樣重復位置卻屬于不同柵格的點進行合并進而將這些點的中心作為合并后新的統(tǒng)一 重復位置，從而得到了一個新的統(tǒng)一的柵格，這就是要找的重復圖案的位置。集中在中心處 并且與轉(zhuǎn)換空間中的格子的單元具有類似尺寸的瓦片被構(gòu)建出來。這種長方形瓦片應當包 含重復圖案的一個單獨元素。之后本發(fā)明利用GrabCut算法從作為建筑元素的背景墻分割 出前景。同一類型的所有前景分割的中間值(median)被視作建筑元素的代表形狀，抽取出 位于每個位置的物體的邊緣并進行平均。于是就找到了重復的圖案。圖7展示了此過程， 示出了重新組合的正投影紋理圖像700。圖8展示了一個此算法運行于低分辨率圖像的例 子，示出了來自航拍圖的低分辨率正墻紋理。除了正墻的重復圖案，還有許多非重復的結(jié)構(gòu)元素，比如單獨的門。本發(fā)明利用配 準圖像和重構(gòu)的半稠密點云來重構(gòu)突出區(qū)域作為潛在的結(jié)構(gòu)元素。它必須以建筑物正墻的 正投影圖像作為輸入以取得對應的紋理和深度信息。如圖7所示，這一步的結(jié)果是一些具 有深度的正方形的區(qū)域。檢測到的重復元素的邊界是有噪聲的任意輪廓。為了魯棒性目的，使得重構(gòu)的非 重復元素為矩形。一方面，將這些恢復元素與一組預定類屬模板進行匹配。設置模板數(shù)據(jù) 庫T，其中每個模板t e T具有類型(例如窗戶或門)和由其邊框進行參數(shù)設定的形狀St。 通過元素邊框和模板選擇潛在的匹配。然后，計算分數(shù)
Dfg γ )對于St 和 rsa，score = ~,其中 D (st, rsa) = st U rsa-st Π rsa。其中st和、的二元模板與B (St)之間的差是以像素測量的St的邊界的長度。對 于具有最高分數(shù)的一對，建立匹配。模板t的位置通過詳盡地搜索小鄰近區(qū)域來進行改善， 以便將其固定在邊緣響應最強的位置。而且，為了重建模目的，將一組三維模型與每個模板 t相關(guān)，從而搜索最相似的三維模型。對于這些檢測出來的重復或者非重復的元素，要從已知的數(shù)據(jù)庫中找到其對應的 三維模型。在通過縮放把三維模型和檢測到的元素調(diào)整到大小一致后，對于每個檢測到的 元素，求每個在三維數(shù)據(jù)庫中的邊緣點與其邊緣點的對應距離，最后選擇距離最近的三維 模型作為該元素的三維模型。當定義了包括重復元素以及非重復元素的一組建筑結(jié)構(gòu)元素之后。正墻紋理上的 其余部分被定義為墻面部分WR。結(jié)構(gòu)元素首先被合并成大的結(jié)構(gòu)區(qū)域。每組重復圖案形 成一個重復結(jié)構(gòu)區(qū)域。重疊的結(jié)構(gòu)區(qū)域合并成一個。如果一個結(jié)構(gòu)元素與一個重復區(qū)域重 疊，則將它們合并并且將它們的邊框作為新的重復區(qū)域。在重復區(qū)域的合并操作之后，剩下的結(jié)構(gòu)元素會被一個自底向上的合并分割算法根據(jù)它們的背景墻和位置所合并。最后，得 到了一組結(jié)構(gòu)區(qū)域SR。進一步把墻面區(qū)域分割成每個均包含結(jié)構(gòu)區(qū)域sr e SR的多個區(qū)域，并建立出一 個結(jié)構(gòu)區(qū)域的層次結(jié)構(gòu)關(guān)系來組織描述這個結(jié)果。整個過程是通過首先對整個墻面進行水 平切割然后進行縱向切割。每次切割都不能分開上一步已經(jīng)找到的任何一個區(qū)域，并且切 割線位于豎直或者水平梯度的極值處。于是這個墻面WR首先被分成一系列水平墻面WRh。 然后被分為一系列豎直墻面WRiv。即，首先將墻面區(qū)域的X和Y方向的梯度投射和累積到 水平和垂直軸上。累積的值相對于累積方向上的像素數(shù)據(jù)進行規(guī)一化。然后，通過將墻面 區(qū)域WR垂直分成一系列水平墻面WRh來開始切割過程。如果在垂直方向上存在不與結(jié)構(gòu) 區(qū)域相交的局部最大響應，則墻面被分割在該線上。最后，每個水平墻面區(qū)域wrih e WRh 被進一步水平分割成一系列豎直墻面WRiv。在此階段，正墻紋理被分解成幾個水平墻面區(qū)域，每個墻面區(qū)域均包含幾個垂直 墻面區(qū)域。而且，每個垂直墻面區(qū)域通常還包括結(jié)構(gòu)區(qū)域。上述描述可以把所有的分析結(jié) 果匯總這如下文法f — Contain (I WRh I，rh。，· · ·，！^丨碰1—1) {wrh°, · · ·，WrhlwshhlI那么，對于每個Wr1/，存在wr^ — Contain(\WR>v |’ 々’。，…，wV樹 ι}。大量的文法規(guī)則可以從許多圖像中抽出并按照層次結(jié)構(gòu)進行組織。所以位于不同 層次的規(guī)則一般來講不能進行互換。在此，把這個組織簡化成三層結(jié)構(gòu)。第一層用來組織 學到的三維規(guī)則信息；第二層用來組織一個背景墻面區(qū)域的布局信息；第三層用來組織各 個墻面中區(qū)域的布局信息，包含構(gòu)造每個區(qū)域的規(guī)則。從每個建筑物提取一個三維規(guī)則，存 儲在集合_30中的三維文法收集通過每個規(guī)則的ID來進行識別的所有三維規(guī)則。還為每 個正墻的墻面區(qū)域的布局提取一個規(guī)則。類似地，匯總這些規(guī)則并且將它們存儲在規(guī)則集 合_11 中。每個正墻內(nèi)的規(guī)則存儲在_SR中。最后，根據(jù)基本元素的模板類別來組織和存 儲基本元素。進行合成的時候，每次從三維規(guī)則中抽取一條來合成整個建筑物的框架，即各 個面的空間位置信息；對于每個面，用一條規(guī)則來生成其整體布局；最后根據(jù)生成的布局， 選取一條規(guī)則來描述每個局部區(qū)域。本發(fā)明的系統(tǒng)的最小輸入要求是存在一個現(xiàn)有的建筑物的簡單近似網(wǎng)格模型以 及對應的拍攝于地面的輸入圖像，因為至少要從三維模型中抽取一條規(guī)則。一般來說已有 的三維模型都會有紋理信息。盡管這些紋理一般是低分辨率的航拍圖像，但是仍然可以用 同樣的規(guī)則抽取方法來獲得建筑物的另外結(jié)構(gòu)信息。圖8的800就展示了從低分辨率的圖 像中抽取信息的結(jié)果，這個信息用來指導補全高分辨率缺失的部分。從兩個不同源提取的 規(guī)則將被合并。正墻布局被合并，并且對于具有從兩個源檢測到的結(jié)構(gòu)的兩個重疊區(qū)域，采 用源自從地面拍攝的圖像的規(guī)則，然后采用源自航拍圖像的規(guī)則。現(xiàn)有的基于圖像的方法經(jīng)常會遭遇前景遮擋或者照相機視野局限所導致的必要 紋理缺失的困擾?，F(xiàn)有的方法需要用戶指定結(jié)構(gòu)信息來合成，對確實部分進行補全，其中采 用學到的文法規(guī)則來指導自動合成。用戶有可能需要產(chǎn)生不同于從地面拍攝的圖像中的上 述三種類型區(qū)域的紋理。
可見區(qū)域是指可以被任意一張可見輸入圖像覆蓋到的區(qū)域。因為這種區(qū)域的紋理 應該保持與源自正投影紋理圖像的一樣。而圖像語義分割結(jié)果可以告訴哪里是被完全遮擋 的區(qū)域。除去可見區(qū)域以及完全被遮擋的區(qū)域，還有完全不可見區(qū)域，是指那些不能被照相 機視野所覆蓋到的區(qū)域。如果這種區(qū)域處于結(jié)構(gòu)區(qū)域中，則通過完成該結(jié)構(gòu)來重新合成缺 失的紋理。如果不處于結(jié)構(gòu)趨于中，則根據(jù)墻面紋理合成缺失紋理。這種區(qū)域的紋理要完全 靠合成才能得到。利用圖像合成方法比如基于shift-map (移位映射)的圖像編輯方法來合 成缺失的圖像。因此，將文法規(guī)則轉(zhuǎn)化成原始移位映射公式中的結(jié)構(gòu)映射。結(jié)構(gòu)映射C存 儲每個像素位置的文法符號的整數(shù)標示。其目標是從一系列源圖像{Si}中用結(jié)構(gòu)映射CR 和Ci來合成區(qū)域R，其中i表示輸入圖像的索引。那么，對于每個像素p: (x，y) eR，期望 用映射 M(x，y) = (i,tx,ty)找到像素 si (χ’，y’ ) e Si，其中(tx, ty) = (x，，y，)-(x, y)，從而使以下目標函數(shù)最小化
權(quán)利要求
1.一種建模系統(tǒng)，包括處理器，用于產(chǎn)生與一棟或者多棟建筑結(jié)構(gòu)相關(guān)的重建模圖像；以及過程模型，用于整合源自所述一棟或者多棟建筑結(jié)構(gòu)的航拍圖像的近似三維網(wǎng)格模型 以及源自所述一棟或者多棟建筑結(jié)構(gòu)的攝于地面的圖像的三維重構(gòu)模型。
2.如權(quán)利要求1中所述的系統(tǒng)，其中所述一棟或者多棟建筑結(jié)構(gòu)與建筑物正墻相關(guān)。
3.如權(quán)利要求1中所述的系統(tǒng)，進一步包括從運動恢復結(jié)構(gòu)模塊，用于重構(gòu)三維點云 和攝像機角度。
4.如權(quán)利要求3中所述的系統(tǒng)，進一步包括配準模塊，用于對重構(gòu)出的信息和三維網(wǎng) 格模型進行關(guān)聯(lián)。
5.如權(quán)利要求1中所述的系統(tǒng)，進一步包括分解模塊，用于對輸入的連在一塊的所述 一棟或者多棟建筑結(jié)構(gòu)的多個建筑物結(jié)構(gòu)的模塊進行分割。
6.如權(quán)利要求5中所述的系統(tǒng)，進一步包括第一文法規(guī)則模塊，其從所述分解模塊導 出網(wǎng)格文法規(guī)則，其中網(wǎng)格文法規(guī)則包括屋頂部分以及多個正墻平面。
7.如權(quán)利要求6中所述的系統(tǒng)，進一步包括第二文法規(guī)則模塊，其從所述分解模塊導 出紋理文法規(guī)則，其中紋理文法規(guī)則用于檢測正墻中的重復元素。
8.如權(quán)利要求1中所述的系統(tǒng)，進一步包括合成模塊，用于利用產(chǎn)生的一條或者多條 規(guī)則來確定紋理。
9.如權(quán)利要求8中所述的系統(tǒng)，其中所述合成模塊用于產(chǎn)生一棟或者多棟建筑結(jié)構(gòu)的 形狀或建筑物結(jié)構(gòu)的一個或者多個重建模圖像。
10.如權(quán)利要求1中所述的系統(tǒng)，其中所述處理器進一步用于確定一條或者多條包含 文法規(guī)則以產(chǎn)生重建模圖像，其中包含文法規(guī)則用來描述建筑物正墻所包含的組成部分。
11.如權(quán)利要求10中所述的系統(tǒng)，其中所述處理器進一步用于采用一條或者多條計算 機生成建筑文法規(guī)則來生成重建模圖像，其中所述計算機生成建筑文法規(guī)則定義了建筑物 或者相關(guān)結(jié)構(gòu)的基本形狀。
12.如權(quán)利要求11中所述的系統(tǒng)，其中所述處理器進一步用于檢測與所述一棟或者多 棟建筑結(jié)中的建筑結(jié)構(gòu)相關(guān)的正墻紋理圖像中的重復圖像。
13.一種方法，包含如下步驟接收一張或者多張建筑物結(jié)構(gòu)的航拍圖像和一張或者多張與建筑物結(jié)構(gòu)相關(guān)的從地 面拍攝的圖像；對三維模型以及從航拍圖像和從地面拍攝的圖像的至少一個運動序列重構(gòu)出的三維 結(jié)構(gòu)進行配準；把三維模型以及從至少一個運動序列重構(gòu)出的三維結(jié)構(gòu)分解成建筑物單元；以及從建筑物單元中產(chǎn)生文法規(guī)則以用于輔助建筑物結(jié)構(gòu)的重建模成像。
14.如權(quán)利要求13中所述的方法，進一步包含根據(jù)所述文法規(guī)則合成建筑物紋理的步馬聚ο
15.如權(quán)利要求14中所述的方法，進一步包括部分地基于建筑物紋理來產(chǎn)生至少一個 重建模建筑物圖像的步驟。
16.如權(quán)利要求13中所述的方法，其中所述的產(chǎn)生步驟包括產(chǎn)生一個或者多個包含文 法規(guī)則以用于輔助建筑物結(jié)構(gòu)的重建模成像，其中包含文法規(guī)則描述了建筑物所包含的形狀。
17.如權(quán)利要求16中所述的方法，進一步包括定義建筑物結(jié)構(gòu)的后繼替代形狀的位置 及區(qū)域的步驟。
18.如權(quán)利要求17中所述的方法，進一步包括定義建筑物結(jié)構(gòu)的后繼替代形狀所共用 的屬性的步驟。
19.一種計算機可讀介質(zhì)，包括用于指定計算機處理建筑物結(jié)構(gòu)的三維模型以及相關(guān)的從地面拍攝的圖像的指令；用于指定計算機對三維模型以及與航拍圖像和從地面拍攝的圖像相關(guān)的一個或多個 運動序列進行配準的指令；用于指定計算機產(chǎn)生描述一棟或者多棟建筑結(jié)構(gòu)的一條個或者多條網(wǎng)格規(guī)則和一條 或多條紋理規(guī)則的指令，其中所述網(wǎng)格規(guī)則包括建筑物屋頂和正墻平面，以及紋理規(guī)則被 用來檢測正墻中的重復元素；用于指定計算機部分地基于一條或者多條網(wǎng)格規(guī)則和一條或者多條紋理規(guī)則來產(chǎn)生 建筑物結(jié)構(gòu)的一個或多個重建模圖像的指令。
20.如權(quán)利要求19中所述的計算機可讀介質(zhì)，進一步包括指定計算機產(chǎn)生一條或者多 條包含文法規(guī)則以輔助產(chǎn)生一張或者多張建筑物結(jié)構(gòu)的重建模圖像，其中包含文法規(guī)則描 述了建筑物所包含的形狀。
全文摘要
本發(fā)明提供了一種基于圖像的三維模型的重建模方法。一方面，提供了一種建模系統(tǒng)。該建模系統(tǒng)包括處理器，用于產(chǎn)生與一棟或者多棟建筑結(jié)構(gòu)相關(guān)的重建模圖像；過程模型，用于整合源自所述一棟或者多棟建筑結(jié)構(gòu)的航拍圖像的近似模型以及源自所述一棟或者多棟建筑結(jié)構(gòu)的攝于地面的圖像的三維重構(gòu)模型。
文檔編號G06T17/00GK102142153SQ20111003027
公開日2011年8月3日 申請日期2011年1月26日 優(yōu)先權(quán)日2010年1月28日
發(fā)明者張宏輝, 方天, 權(quán)龍 , 趙鵬 申請人:香港科技大學