一種基于稀疏圖像的真實樹交互式建模方法
【專利摘要】本發(fā)明涉及一種基于稀疏圖像的真實樹交互式建模方法，交互式枝干提取與重建模塊從輸入的覆蓋樹90°角的n幅圖像序列出發(fā)，在圖像1中交互式編輯并存儲各級樹枝結(jié)點二維中心位置與直徑數(shù)據(jù)，建立樹枝層次結(jié)構(gòu)，再以中間圖像2～n-1為參考，尋找圖像1中的主枝在圖像n上的對應(yīng)位置并標(biāo)記，然后在圖像n上交互式編輯確定圖像1中各級樹枝結(jié)點對應(yīng)的深度信息；根據(jù)提取的樹枝結(jié)點二維中心位置、深度與粗度信息，并基于樹枝空間包圍盒進(jìn)行透視校正；所述樹葉生成模塊根據(jù)植物學(xué)中的葉序規(guī)則，生成最終的三維模型。本發(fā)明重建后的樹模型與真實樹形態(tài)接近且能夠較好地保持樹枝的拓?fù)浣Y(jié)構(gòu)，實現(xiàn)一般精確級別的樹的三維重建。
【專利說明】一種基于稀疏圖像的真實樹交互式建模方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)圖形學(xué)領(lǐng)域，尤其涉及一種基于稀疏圖像的真實樹交互式建模方法。
【背景技術(shù)】
[0002]樹是地球上最普遍存在的自然景物之一，真實環(huán)境中樹的三維建模在虛擬現(xiàn)實、景觀設(shè)計、三維動畫與游戲、數(shù)字農(nóng)業(yè)等領(lǐng)域具有廣泛的應(yīng)用價值。在虛擬現(xiàn)實、景觀設(shè)計、三維動畫與游戲等領(lǐng)域，引入真實樹的三維模型可極大增強(qiáng)場景的真實感與沉浸感；在農(nóng)林業(yè)領(lǐng)域，建立真實樹的三維模型可避免農(nóng)林業(yè)實驗中手工測量樹參數(shù)，如胸徑、樹高、拓?fù)浣Y(jié)構(gòu)等的低效性與低準(zhǔn)確性，也可為機(jī)器人采摘、機(jī)器人噴藥、虛擬修剪等提供重要的空間信息。然而，由于樹幾何結(jié)構(gòu)的復(fù)雜性和形態(tài)的多樣性，真實環(huán)境中樹的三維重建一直是計算機(jī)圖形學(xué)和虛擬植物研究中的挑戰(zhàn)性問題。
[0003]現(xiàn)有技術(shù)中的有效建模方法包括基于規(guī)則的方法、交互式建模方法、基于圖像的方法和基于激光掃描點云的方法。
[0004]其中，基于規(guī)則的方法能簡單快速產(chǎn)生不同樹型的樹，但存在語法規(guī)則抽象，模型的產(chǎn)生規(guī)則式較難被非專業(yè)用戶掌握，且很難得到真實環(huán)境中特定樹木的三維模型；交互式建模方法由用戶勾勒出樹模型的二維形狀然后交互式編輯生成樹的三維模型，該方法為用戶提供了便利的編輯控件，即使對樹的幾何規(guī)則不太熟悉的用戶也能建立高質(zhì)量的樹模型，但提出的方法未考慮在多幅真實樹照片上的交互式編輯；基于圖像的方法即從真實世界拍攝的樹圖像或圖像序列出發(fā)重建樹的三維信息，該方法能較好體現(xiàn)真實樹的三維輪廓信息，但對圖像數(shù)量O 16幅)和拍攝角度(> 120° )有較嚴(yán)格的要求；基于激光掃描點云的方法是直接通過激光掃描儀器獲取樹的點云數(shù)據(jù)，然后實現(xiàn)樹的三維重建，該方法重建精度高，但獲取的點云數(shù)據(jù)后期需經(jīng)過去噪、背景消除、配準(zhǔn)及拓?fù)渲貥?gòu)等復(fù)雜處理流程，此外激光掃描設(shè)備存在價格偏高、對環(huán)境光敏感、處理速度慢等缺點。
[0005]鑒于上述缺陷，本發(fā)明創(chuàng)作者經(jīng)過長時間的研究和實踐終于獲得了本創(chuàng)作。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種基于稀疏圖像的真實樹交互式建模方法，用以克服上述技術(shù)缺陷。
[0007]為實現(xiàn)上述目的，本發(fā)明提供一種基于稀疏圖像的真實樹交互式建模方法，
[0008]其基于稀疏圖像的交互式樹重建系統(tǒng)，該系統(tǒng)包括交互式枝干提取與重建模塊、幾何建模與透視校正模塊、樹葉生成模塊；
[0009]所述交互式枝干提取與重建模塊從輸入的覆蓋樹90°角的η幅圖像序列出發(fā)，在圖像I中交互式編輯并存儲各級樹枝結(jié)點二維中心位置與直徑數(shù)據(jù)，建立樹枝層次結(jié)構(gòu)，再以中間圖像2~η-1為參考，尋找圖像I中的主枝在圖像η上的對應(yīng)位置并標(biāo)記，然后在圖像η上交互式編輯確定圖像I中各級樹枝結(jié)點對應(yīng)的深度信息；[0010]根據(jù)提取的樹枝結(jié)點二維中心位置、深度與粗度信息，所述幾何建模與透視校正模塊采用廣義圓柱體繪制各級三維樹枝，并基于樹枝空間包圍盒進(jìn)行透視校正；
[0011]所述樹葉生成模塊根據(jù)植物學(xué)中的葉序規(guī)則，在各級樹枝上添加樹葉，生成最終的三維模型。
[0012]進(jìn)一步，該具體過程為:
[0013]步驟a，圖像采集；
[0014]步驟b，交互式枝干信息的提取與重建，在圖像中提取各級樹枝位置與粗度信息；
[0015]步驟c，幾何重建與透視校正；
[0016]步驟d,樹葉生成。[0017]進(jìn)一步，上述步驟a的具體過程為:
[0018]步驟al，用IOm鋼卷尺從樹干底部開始測量相差約90°角且與目標(biāo)距離相等的位置I和位置n，確保在位置I和位置η處數(shù)碼相機(jī)能捕捉到樹的全貌；
[0019]步驟a2，從位置I到位置η處手持相機(jī)間隔一定角度拍攝圖像；
[0020]步驟a3，在后期處理過程中，將主要對圖像I和圖像η進(jìn)行交互式編輯，提取各級樹枝結(jié)點中心位置與粗度信息。
[0021]進(jìn)一步，在上述步驟b中，交互式枝干提取過程為:
[0022]步驟bl，繪制關(guān)鍵結(jié)點；
[0023]步驟b2，捕捉編輯結(jié)點；
[0024]步驟b3，結(jié)點插入與刪除；在兩個相鄰結(jié)點間的線段上可添加新結(jié)點；或者刪除某結(jié)點；
[0025]步驟b4，編輯直徑；
[0026]步驟b5，分支插入與刪除；選中某一結(jié)點后，完成分支的添加，分支上第一個結(jié)點的直徑預(yù)設(shè)與父結(jié)點直徑相同，最后一個結(jié)點的直徑預(yù)設(shè)為一個接近O的數(shù)值，中間結(jié)點直徑采用上述步驟b4中線性法則自動求出；
[0027]步驟b6,樣條插值與顏色設(shè)定；采用三次埃爾米特樣條以實現(xiàn)相鄰結(jié)點Pi與pi+1間的光滑插值，計算過程如下述公式，
Pjit)= (2^3 - 3?2 +1)p.+ (t3 -2t2 + t)m.-(2t3 -3t2)pj+] +(t3
[0028]^ m.= {pM- p.x)/2
mM=(Pi+2-P 丨)/2
[0029]式中，Ph、Pp pi+1和pi+2表示相鄰4個結(jié)點的位置信息，Hii和mi+1表示切線向量，t為[0，1]間的參數(shù)值。
[0030]步驟b7，縮放與平移。
[0031]進(jìn)一步，在上述步驟b中，標(biāo)記生成與匹配過程為:
[0032]步驟b81,確定圖像I上的某一樹枝結(jié)點i的坐標(biāo)(Xli^li)中的高度yn與圖像η中的高度一致；
[0033]步驟b82，對圖像I中建立的樹結(jié)構(gòu)進(jìn)行先序遍歷并對離樹干較近的主枝標(biāo)記，第I層樹枝標(biāo)記為"B" +"結(jié)點序號"，第k層樹枝標(biāo)記為"父結(jié)點樹枝名"+"-子結(jié)點序號"，并在對應(yīng)樹枝中間結(jié)點位置(Xlc^ylc)處顯示，其中c=n/2，n為該樹枝上結(jié)點總數(shù)；
[0034]步驟b83，基于交互式圖像序列顯示和移動標(biāo)記，借助中間圖像，尋找標(biāo)記枝條在不同圖像上的位置，直到在圖像η上找到該標(biāo)記對應(yīng)的新位置(z2c;，y2。)；
[0035]步驟b84，根據(jù)圖像I中的主枝位置信息(Xli，yn)和圖像η中主枝標(biāo)記中心位置(z2c, y2c)采用下述公式預(yù)計算圖像η主枝上其余結(jié)點的位置信息(z2i，y2i) (1≤ i≤η,
i≠c):
[0036]
【權(quán)利要求】
1.一種基于稀疏圖像的真實樹交互式建模方法，其特征在于，其基于稀疏圖像的交互式樹重建系統(tǒng)，該系統(tǒng)包括交互式枝干提取與重建模塊、幾何建模與透視校正模塊、樹葉生成模塊； 所述交互式枝干提取與重建模塊從輸入的覆蓋樹90°角的η幅圖像序列出發(fā)，在圖像I中交互式編輯并存儲各級樹枝結(jié)點二維中心位置與直徑數(shù)據(jù)，建立樹枝層次結(jié)構(gòu)，再以中間圖像2~η-1為參考，尋找圖像I中的主枝在圖像η上的對應(yīng)位置并標(biāo)記，然后在圖像η上交互式編輯確定圖像I中各級樹枝結(jié)點對應(yīng)的深度信息； 根據(jù)提取的樹枝結(jié)點二維中心位置、深度與粗度信息，所述幾何建模與透視校正模塊采用廣義圓柱體繪制各級三維樹枝，并基于樹枝空間包圍盒進(jìn)行透視校正； 所述樹葉生成模塊根據(jù)植物學(xué)中的葉序規(guī)則，在各級樹枝上添加樹葉，生成最終的三維模型。
2.根據(jù)權(quán)利要求1所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，該具體過程為: 步驟a,圖像采集； 步驟b，交互式枝干信息的提取與重建，在圖像中提取各級樹枝位置與粗度信息； 步驟C，幾何重建與透視校正； 步驟d,樹葉生成。
3.根據(jù)權(quán)利要求1或2所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，上述步驟a的具體過程為: 步驟al，用IOm鋼卷尺從樹干底部開始測量相差約90°角且與目標(biāo)距離相等的位置I和位置n，確保在位置I和位置η處數(shù)碼相機(jī)能捕捉到樹的全貌； 步驟a2，從位置I到位置η處手持相機(jī)間隔一定角度拍攝圖像； 步驟a3，在后期處理過程中，將主要對圖像I和圖像η進(jìn)行交互式編輯，提取各級樹枝結(jié)點中心位置與粗度信息。
4.根據(jù)權(quán)利要求3所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，在上述步驟b中，交互式枝干提取過程為: 步驟bl，繪制關(guān)鍵結(jié)點； 步驟b2，捕捉編輯結(jié)點； 步驟b3，結(jié)點插入與刪除；在兩個相鄰結(jié)點間的線段上可添加新結(jié)點；或者刪除某結(jié)占.步驟b4，編輯直徑； 步驟b5，分支插入與刪除；選中某一結(jié)點后，完成分支的添加，分支上第一個結(jié)點的直徑預(yù)設(shè)與父結(jié)點直徑相同，最后一個結(jié)點的直徑預(yù)設(shè)為一個接近O的數(shù)值，中間結(jié)點直徑采用上述步驟b4中線性法則自動求出； 步驟b6，樣條插值與顏色設(shè)定；采用三次埃爾米特樣條以實現(xiàn)相鄰結(jié)點Pi與pi+1間的光滑插值，計算過程如下述公式，
5.根據(jù)權(quán)利要求4所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，在上述步驟b中，標(biāo)記生成與匹配過程為； 步驟b81,確定圖像I上的某一樹枝結(jié)點i的坐標(biāo)(X^yli)中的高度yn與圖像η中的高度一致；步驟b82，對圖像I中建立的樹結(jié)構(gòu)進(jìn)行先序遍歷并對離樹干較近的主枝標(biāo)記，第I層樹枝標(biāo)記為"B" +"結(jié)點序號"，第k層樹枝標(biāo)記為"父結(jié)點樹枝名"+"-子結(jié)點序號"，并在對應(yīng)樹枝中間結(jié)點位置Oq。，ylc)處顯示，其中c=n/2，η為該樹枝上結(jié)點總數(shù)；步驟b83，基于交互式圖像序列顯示和移動標(biāo)記，借助中間圖像，尋找標(biāo)記枝條在不同圖像上的位置，直到在圖像η上找到該標(biāo)記對應(yīng)的新位置(z2c;，y2。)； 步驟b84，根據(jù)圖像I中的主枝位置信息(Xli，yn)和圖像η中主枝標(biāo)記中心位置(ζ2。，y2c)采用下述公式預(yù)計算圖像η主枝上其余結(jié)點的位置信息(z2i，y2i) (l^i^n,i^c):
6.根據(jù)權(quán)利要求3所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，在上述步驟C中，結(jié)合圖像I樹枝結(jié)點位置(Xli，Yli)與圖像η結(jié)點位置(z2i，y2i)，最終該結(jié)點三維空間位置信息可表示為(Xli，(yii+y2i)/2, z2i)，對應(yīng)樹枝粗度直接采用圖像I中提取的直徑di ；對應(yīng)最小點坐標(biāo)和最大點坐標(biāo)分別記為bMin(x, y, z)與bMax(x, y, z),基于包圍盒對近處樹枝進(jìn)行縮小、對遠(yuǎn)處樹枝進(jìn)行放大便可抵消兩次透視變換后造成的畸變，校正后的樹枝三維坐標(biāo)位置P (x, y, z)與直徑d可表示為:
7.根據(jù)權(quán)利要求6所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，在上述步驟d中， 在完成樹枝三維結(jié)構(gòu)重建后，基于植物學(xué)葉序規(guī)則實現(xiàn)樹葉的添加，選擇黃金分割角.137.5°，在某一樹枝從結(jié)點pi處添加n-1片樹葉的算法描述如下: 步驟dl，設(shè)初始樹葉葉柄端點在原點，葉片初始法向量為LN，葉柄方向向量為LV，樹枝結(jié)點Pj處方向向量為PV (i ( j ( η)，樹葉到樹枝結(jié)點P」處的變換矩陣為Mj ； 步驟d2，初始化為單位矩陣； 葉柄與樹枝間夾角a =LV.Angle (PV)； 葉柄與樹枝所形成平面法向量LPN=I LVXPV I ； 垂直于樹枝的葉柄投影法向量:
LPV= PVcos( a)-LV | ； 葉片法向量與葉柄投影法向量夾角: β =LN.Angle (LPV)； 葉片法向量與葉柄投影法向量形成平面法向量:
SN=| LNXLPV I ； 葉柄繞樹枝旋轉(zhuǎn)角度
Y =137.5X τι /180X (j-1) +randomO X ； ji /6, -0.5 < random() < 0.5 ； 樹葉繞向量LPN旋轉(zhuǎn)α度使葉柄與樹枝重合:
Mj=LPN.Rotate ( α )； 繞向量SN旋轉(zhuǎn)β度使葉片法向量朝向樹枝:
Mj=SN.Rotate ( β ) X Mj ； 繞向量LPN旋轉(zhuǎn)75度使葉柄與樹枝分開:
Mj=LPN.Rotate (5 π /12) XMj ； 再繞樹枝方向以約137.5°增量旋轉(zhuǎn)Y度:
Mj=PV.Rotate ( Y ) X Mj ； 最后平移該樹葉至樹枝結(jié)點P」處:
Mj=Mj.Translate (Pj)； 步驟d3，根據(jù)旋轉(zhuǎn)矩陣％，在OpenGL中調(diào)用glMultMatrixd (Mp完成矩陣變換后繪制樹葉。
8.根據(jù)權(quán)利要求3所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，上述步驟a2中，所述樹圖像數(shù)目η均在6到9之間，拍攝最大覆蓋角度為90°。
9.根據(jù)權(quán)利要求5所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，在上述步驟b81中， 以圖像I上提取的樹干結(jié)點序列(Xli，yn)為參考，并選取樹干與樹干上最大樹枝的交叉點M1 (xn, yn)、M2 (x14, y14)和M3 (xln, yln)作為3個特征點，圖像I上的樹干結(jié)點坐標(biāo)映射到圖像η的新坐標(biāo)設(shè)為(221，化)，且滿足:
Z2「X11，y2「yii 則映射后的樹干位置和高度與圖像η中的樹干不匹配，通過交互式校正圖像η直到圖像I中的三個特征點均能在圖像η上找到匹配位置結(jié)束。
10.根據(jù)權(quán)利要求4所述的基于稀疏圖像的真實樹交互式建模方法，其特征在于，在上述步驟b4中， 每個結(jié)點除位置信息外，還對應(yīng)一個直徑信息，捕捉到綠色標(biāo)記后可調(diào)整兩個綠色標(biāo)記點的間距，為提高直徑調(diào)整效率，在調(diào)整某一樹枝第一個結(jié)點直徑Cl1或最后一個結(jié)點直徑dn時，中間第i個結(jié)點的直徑Cli將按照線性關(guān)系自動調(diào)整為屯+隊-屯)Xdisn/disnl,其中disn和disnl分別對應(yīng)結(jié)點I到結(jié)點i之間的線段長度及整個樹枝的長度；若調(diào)整中間結(jié)點直徑 將不改變其它結(jié)點直徑信息。
【文檔編號】G06T17/00GK103839289SQ201410091328
【公開日】2014年6月4日 申請日期:2014年3月7日 優(yōu)先權(quán)日:2014年3月7日
【發(fā)明者】胡少軍, 何東健, 秦亞恒, 袁守剛 申請人:西北農(nóng)林科技大學(xué)