本發(fā)明屬于紋理重建領(lǐng)域，特別涉及一種基于大傾角近景影像的彩色紋理重建方法。

背景技術(shù)：

紋理映射技術(shù)是一種從二維影像中提取正確的色彩信息賦予點(diǎn)云或者三角網(wǎng)模型的技術(shù)，在數(shù)字城市建模、古建筑遺產(chǎn)保護(hù)以及人臉識(shí)別等行業(yè)中得到了廣泛引用，而如何將二維紋理信息準(zhǔn)確地映射到三維模型表面一直以來是一個(gè)挑戰(zhàn)性的問題。

CCD數(shù)碼相機(jī)所獲取的近景影像只有二維的像素坐標(biāo)信息，而陸地激光掃描(STL)獲取的三角網(wǎng)(點(diǎn)云)是三維坐標(biāo)信息。紋理貼圖需要通過三維坐標(biāo)反算影像上的像素坐標(biāo)并提取對(duì)應(yīng)的像素值賦予點(diǎn)云或者三角網(wǎng)1。那么如何確定二維坐標(biāo)和三維坐標(biāo)之間的轉(zhuǎn)換關(guān)系就成為紋理貼圖的關(guān)鍵性問題(Samuel R.，2001)。

相片在像空間輔助坐標(biāo)系下的坐標(biāo)和點(diǎn)云在物方坐標(biāo)系(世界坐標(biāo)系)下的坐標(biāo)之間的轉(zhuǎn)換關(guān)系可以用一個(gè)旋轉(zhuǎn)矩陣和三個(gè)平移量表示，旋轉(zhuǎn)矩陣可以用三個(gè)旋轉(zhuǎn)角度確定。這三個(gè)平移量和三個(gè)旋轉(zhuǎn)角度稱為外方位元素。紋理貼圖的關(guān)鍵就在于如何精確地測(cè)定外方位元素。在古建筑遺產(chǎn)保護(hù)中，近景影像和航空影像有著本質(zhì)的不同，通常拍攝傾角較大，物體表面信息比較復(fù)雜，這就使得外方位元素不能用傳統(tǒng)后方交會(huì)方法確定(楊立君，等，2012)。

王秀鴿等，Otero J等(王秀鴿，等，1998；Otero J，et al，2015)提出了直接線性變換(DLT)解法，能克服近景攝影測(cè)量帶來的大角度問題，但解算的內(nèi)外方位元素精度不高，結(jié)果極容易受控制點(diǎn)影響，且選取控制點(diǎn)數(shù)量過多(6個(gè)以上)。

Hartley和Pateraki MN等均提到一種直接相機(jī)變換的方法，通過奇異值分解求解12個(gè)非線性變換參數(shù)，由此確定兩套坐標(biāo)之間的轉(zhuǎn)換關(guān)系(Hartley，et al，2003；Pateraki M N，et al，2001)。該方法可以克服近景影像大傾角問題，但為了使得參數(shù)更加精確必須選取6個(gè)以上控制點(diǎn)。

Al-Manasir K，F(xiàn)raser C S和Cabrelles M等提出在建筑物周圍架設(shè)多個(gè)攝站，通過具有一定重疊度的影像獲取準(zhǔn)確的外方位元素初值(A1-Manasir K，2006；Cabrelles M，et al，2009)，這種方法不適用于僅有單張大傾角影像的情況。

Habib等使用一種利用改進(jìn)的Hough變換以及共線方程確定單張航空影像外方位元素的方法(Habib，et al，2001)，但并沒有證明該方法同樣適用于大傾角影像。

姚吉利將羅德里格矩陣引入三維坐標(biāo)轉(zhuǎn)換中，推導(dǎo)了任意傾角的七參數(shù)模型計(jì)算公式(姚吉利，2006)，但該方法將比例因子當(dāng)作固定值求解，忽略了大傾角近景攝影測(cè)量中每一點(diǎn)的比例因子各不相同的情況。

Chen等首先用DLT解法獲取航空影像外方位元素初值，然后再用單像空間后方交會(huì)和多像空間后方交會(huì)確定外方位元素的精確解(Chen et al，2010)，但是沒有證明該方法適用于大傾角近景影像。

Liu Y等利用DLT解法制作基于多張影像獲取人體模型的點(diǎn)云，證明了DLT解法適用于近景影像(Liu Y，et al，2010)，但是該方法采用控制點(diǎn)數(shù)過多(33個(gè))，當(dāng)控制點(diǎn)數(shù)減少的時(shí)候，所求外方位元素精度不高且穩(wěn)定性不強(qiáng)，受控制點(diǎn)分布影響較大。

Werner等提出，首先檢測(cè)二維影像和三維模型中的線特征，然后通過對(duì)這些線特征進(jìn)行匹配完成單張近景影像紋理映射(Werner，et al，2002)，但當(dāng)近景影像無法提取到眾多的線特征(如壁畫，不規(guī)則的房頂?shù)?時(shí)，這種方法將不再適用。

官云蘭等提出一種有多余控制點(diǎn)的角錐體影像外方位元素初值確定方法，文章中沒有說明該方法仍然適用于大傾角近景影像的紋理貼圖(官云蘭，等，2007)。通過該方法所獲取的旋轉(zhuǎn)矩陣R并非正交陣，因此無法獲取準(zhǔn)確的外方位角元素。

因此，如何在基于大傾角近景影像的前提下，快速完成彩色紋理重建是我們亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的一個(gè)目的是解決至少上述問題或缺陷，并提供至少后面將說明的優(yōu)點(diǎn)。

本發(fā)明還有一個(gè)目的是提供一種基于大傾角近景影像的彩色紋理重建方法，本方法在已知拍攝焦距f和像素比例因子(mm/像素)的情況下可以求得外方位元素的精確值和每一個(gè)控制點(diǎn)的比例尺m。這種方法適用于任何傾角近景影像的紋理映射，計(jì)算過程中沒有出現(xiàn)迭代不收斂的情況，不需要人為給定內(nèi)外方位元素初值，所需選取控制點(diǎn)較少(4個(gè))，收斂性以及精度高于傳統(tǒng)后方交會(huì)方法。用該方法進(jìn)行紋理可視化的效果較好。

為了實(shí)現(xiàn)根據(jù)本發(fā)明的這些目的和其它優(yōu)點(diǎn)，提供一種基于大傾角近景影像的彩色紋理重建方法，包括

步驟一，獲得待重建的目標(biāo)物點(diǎn)云數(shù)據(jù)，并在所述點(diǎn)云數(shù)據(jù)中選取四個(gè)控制點(diǎn)并獲得所述控制點(diǎn)的三維點(diǎn)云坐標(biāo)(X_i，Y_i，Z_i)；計(jì)算每?jī)蓚€(gè)所述控制點(diǎn)的距離值D_i

步驟二，以一攝影中心S拍攝所述目標(biāo)物的影像照片，在所述影像照片上確定與四個(gè)所述控制點(diǎn)相對(duì)應(yīng)的四個(gè)像點(diǎn)；在所述影響照片的像空間坐標(biāo)系中獲得所述像點(diǎn)的像空間坐標(biāo)(x，y，-f)；計(jì)算每?jī)蓚€(gè)所述像點(diǎn)的距離值d_i

步驟三，利用所述控制點(diǎn)的距離值D_i除以所述像點(diǎn)的距離值d_i的平均值作為比例尺因子m，并按照下述公式計(jì)算所述像素中心的外方位線元素X_S、Y_S和Y_S值；

步驟四，利用所述像素中心的外方位線元素X_S、Y_S和Y_S值獲得表示將三維點(diǎn)云坐標(biāo)系和像空間坐標(biāo)系對(duì)應(yīng)關(guān)系的旋轉(zhuǎn)矩陣R和平移向量；

步驟五，根據(jù)所述旋轉(zhuǎn)矩陣R和所述平移向量，將所有點(diǎn)云數(shù)據(jù)與所述影像照片上的像點(diǎn)建立對(duì)應(yīng)關(guān)系，確定每個(gè)所述點(diǎn)云數(shù)據(jù)的顏色信息；將所述彩色信息按照一一對(duì)應(yīng)關(guān)系賦予所述目標(biāo)物的點(diǎn)云數(shù)據(jù)，完成所述目標(biāo)物的彩色紋理重建。

優(yōu)選的是，所述的基于大傾角近景影像的彩色紋理重建方法中，所述比例尺因子m的計(jì)算公式為：

其中，D_i為每?jī)蓚€(gè)所述控制點(diǎn)的距離值；d_i為每?jī)蓚€(gè)所述像點(diǎn)的距離值；n＝6。

優(yōu)選的是，所述的基于大傾角近景影像的彩色紋理重建方法中，所述步驟四中獲得所述旋轉(zhuǎn)矩陣的具體過程為：

4.1利用四個(gè)所述控制點(diǎn)的三維點(diǎn)云坐標(biāo)(X_i，Y_i，Z_i)和所述像素中心的外方位線元素X_S、Y_S和Y_S值計(jì)算所述像素中心與每個(gè)所述控制點(diǎn)之間的距離值S_i；其中，所述距離值S_i的計(jì)算公式為：

4.2根據(jù)每個(gè)所述像素中心與每個(gè)所述控制點(diǎn)之間的距離值S_i，按照直接解法獲得所述影像照片在所述物方坐標(biāo)系中的空間坐標(biāo)(ω，κ)，

4.3利用所述空間坐標(biāo)(ω，κ)，獲得旋轉(zhuǎn)矩陣的外方角元素的初始值；

4.4將每個(gè)所述像素中心與每個(gè)所述控制點(diǎn)之間的距離值S_i和所述初始值帶入下述公式中，獲得所述旋轉(zhuǎn)矩陣R；

優(yōu)選的是，所述的基于大傾角近景影像的彩色紋理重建方法中，所述步驟四中按照下述公式獲得所述平移向量；

優(yōu)選的是，所述的基于大傾角近景影像的彩色紋理重建方法中，所述步驟二中包括將把每一個(gè)以左上角為原點(diǎn)的相片控制點(diǎn)坐標(biāo)轉(zhuǎn)化到以相片中心為原點(diǎn)的坐標(biāo)，其轉(zhuǎn)化公式為：

本發(fā)明的有益效果如下：在已知拍攝焦距f和像素比例因子的情況下可以求得外方位元素的精確值和每一個(gè)控制點(diǎn)的比例尺m。這種方法適用于任何傾角近景影像的紋理映射，計(jì)算過程中沒有出現(xiàn)迭代不收斂的情況，不需要人為給定內(nèi)外方位元素初值，所需選取控制點(diǎn)較少(4個(gè))，收斂性以及精度高于傳統(tǒng)后方交會(huì)方法。用該方法進(jìn)行紋理可視化的效果較好。

具體實(shí)施方式

下面對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實(shí)施。

本發(fā)明公開了一種基于大傾角近景影像的彩色紋理重建方法，該方法至少包括：

步驟一，獲得待重建的目標(biāo)物點(diǎn)云數(shù)據(jù)，并在所述點(diǎn)云數(shù)據(jù)中選取四個(gè)控制點(diǎn)并獲得所述控制點(diǎn)的三維點(diǎn)云坐標(biāo)(X_i，Y_i，Z_i)；計(jì)算每?jī)蓚€(gè)所述控制點(diǎn)的距離值D_i

步驟二，以一攝影中心S拍攝所述目標(biāo)物的影像照片，在所述影像照片上確定與四個(gè)所述控制點(diǎn)相對(duì)應(yīng)的四個(gè)像點(diǎn)；在所述影響照片的像空間坐標(biāo)系中獲得所述像點(diǎn)的像空間坐標(biāo)(x，y，-f)；計(jì)算每?jī)蓚€(gè)所述像點(diǎn)的距離值d_i

S為攝影中心，A、B、C、D分別為物方點(diǎn)坐標(biāo)，在近景攝影測(cè)量大多數(shù)情況下，這幾個(gè)像點(diǎn)坐標(biāo)分布不在同一個(gè)平面上。a、b、c、d為像空間平面上的像點(diǎn)坐標(biāo)。一般取相片左上角為(0，0)，相片右下角為(width，height)，則每一個(gè)像點(diǎn)坐標(biāo)可以表示為(oldX，oldY)。

當(dāng)已知CCD數(shù)字照相機(jī)的拍攝時(shí)刻焦距f以及像素比例因子Xpixel(mm/像素)、Ypicxel(mm/像素)的時(shí)候，利用式把每一個(gè)以左上角為原點(diǎn)的相片控制點(diǎn)坐標(biāo)轉(zhuǎn)化到以相片中心為原點(diǎn)的坐標(biāo)。求得每一個(gè)像點(diǎn)在像空間坐標(biāo)系下的坐標(biāo)(內(nèi)定向)：

物方任意兩個(gè)攝影中心可以構(gòu)成一個(gè)三角形，以ΔABS為例，可以根據(jù)余弦定理列出如下方程：

將其線性化得到：

對(duì)應(yīng)的誤差方程為

其中：

需要知道攝影中心到物方控制點(diǎn)的初始距離以及兩個(gè)物方控制點(diǎn)和攝影中心形成的角度cos∠ASB。其中和可以通過如下方法求得

其中，為攝影中心到像點(diǎn)的距離。

步驟三，利用所述控制點(diǎn)的距離值D_i除以所述像點(diǎn)的距離值d_i的平均值作為比例尺因子m，并按照下述公式計(jì)算所述像素中心的外方位線元素X_S、Y_S和Y_S值；

其中，D_i為兩個(gè)物方控制點(diǎn)之間的距離，d_i為對(duì)應(yīng)的兩個(gè)像點(diǎn)坐標(biāo)的距離，n為所使用的距離的個(gè)數(shù)，n＝6。

步驟四，利用所述像素中心的外方位線元素X_S、Y_S和Y_S值獲得表示將三維點(diǎn)云坐標(biāo)系和像空間坐標(biāo)系對(duì)應(yīng)關(guān)系的旋轉(zhuǎn)矩陣R和平移向量；

4.1利用四個(gè)所述控制點(diǎn)的三維點(diǎn)云坐標(biāo)(X_i，Y_i，Z_i)和所述像素中心的外方位線元素X_S、Y_S和Y_S值計(jì)算所述像素中心與每個(gè)所述控制點(diǎn)之間的距離值S_i；其中，所述距離值S_i的計(jì)算公式為：

假設(shè)控制點(diǎn)坐標(biāo)沒有誤差，那么將式(5-14)用泰勒級(jí)數(shù)線性化展開為

其中

則可以根據(jù)式列出誤差方程為

當(dāng)有n個(gè)地面控制點(diǎn)時(shí)，就可以列出幾個(gè)形如公式的誤差方程，寫成矩陣的形式為

V_n×1＝B_n×3X_3×1-L_n×1

其中

X＝(B^TB)^-1(B^TL)

同樣地，由于泰勒級(jí)數(shù)展開的時(shí)候略去了高次項(xiàng)，因此求出改正數(shù)之后加到所給定的外方位線元素初值上并再次利用式列出誤差方程迭代求解外方位線元素的精確解。

對(duì)于外方位線元素的初值可以用式求得

其中，m為比例尺因子，由式已經(jīng)求解出來了，至此，完成了外方位元素的初值的求解。

根據(jù)間接平差理論，可以求得的外方位元素精度：

單位權(quán)中誤差為：

外方位線元素中誤差為

4.2根據(jù)每個(gè)所述像素中心與每個(gè)所述控制點(diǎn)之間的距離值S_i，按照直接解法獲得所述影像照片在所述物方坐標(biāo)系中的空間坐標(biāo)(ω，κ)；

4.3利用所述空間坐標(biāo)(ω，κ)，獲得旋轉(zhuǎn)矩陣的外方角元素的初始值；

4.4將每個(gè)所述像素中心與每個(gè)所述控制點(diǎn)之間的距離值S_i和所述初始值帶入下述公式中，獲得所述旋轉(zhuǎn)矩陣R；

在解算了攝影中心S物方坐標(biāo)系下的精確坐標(biāo)(X_S，Y_S，Z_S)和攝影中心S到每個(gè)物方點(diǎn)的距離Si之后，就可以借助已知點(diǎn)，按照直接解法解算每張相片在物方坐標(biāo)系下的方位(ω，κ)，即確定光束的方位矩陣：

若物方點(diǎn)A的構(gòu)像為a，則有

等式兩邊同時(shí)除以S_a可得

如果把a(bǔ)_i、b_i、c_i(i＝1，2，3，4)近似地看作獨(dú)立的未知數(shù)，則物方有三個(gè)以上的控制點(diǎn)就可以解求它們，例如針對(duì)于本書的四個(gè)控制點(diǎn)的情況，則解算a₁、b₁、c₁的n個(gè)誤差方程為：

寫成矩陣形式為：

V＝AX-L

其中X＝(a₁ b₁ c₁)^T＝(A^TA)^-1A^TL

隨后就可以通過旋轉(zhuǎn)矩陣R求得外方角元素的初始值：

步驟五，根據(jù)所述旋轉(zhuǎn)矩陣R和所述平移向量，將所有點(diǎn)云數(shù)據(jù)與所述影像照片上的像點(diǎn)建立對(duì)應(yīng)關(guān)系，確定每個(gè)所述點(diǎn)云數(shù)據(jù)的顏色信息；將所述彩色信息按照一一對(duì)應(yīng)關(guān)系賦予所述目標(biāo)物的點(diǎn)云數(shù)據(jù)，完成所述目標(biāo)物的彩色紋理重建。

盡管本發(fā)明的實(shí)施例已公開如上，但其并不僅僅限于說明書和實(shí)施方式中所列運(yùn)用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對(duì)于熟悉本領(lǐng)域的人員而言，可容易地實(shí)現(xiàn)另外的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的細(xì)節(jié)。