專利名稱：一種二維圖像組的三維場(chǎng)景重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種從二維圖像組到三維場(chǎng)景模型的三維重建方法。
背景技術(shù)：
三維場(chǎng)景重建是計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)核心內(nèi)容，在計(jì)算機(jī)動(dòng)畫、電子娛樂、虛擬 顯示等領(lǐng)域都有著廣泛的應(yīng)用價(jià)值。國(guó)內(nèi)外研究機(jī)構(gòu)和學(xué)者對(duì)此展開了廣泛研究。80年代美國(guó)麻省理工學(xué)院人工智能實(shí)驗(yàn)室的Marr提出了一種視覺計(jì)算理論并應(yīng) 用在雙目匹配上，使兩張有視差的平面圖產(chǎn)生在深度的立體圖形，奠定了雙目立體視覺發(fā) 展理論基礎(chǔ)。早期的三維場(chǎng)景重建主要是以同一場(chǎng)景不同角度拍攝的多幅圖像為基礎(chǔ)恢復(fù) 場(chǎng)景的三維信息。從二維圖像到三維場(chǎng)景生成通常需要經(jīng)過圖像獲取、預(yù)處理、模型恢復(fù)和 模型渲染等步驟。其中核心的三維模型恢復(fù)環(huán)節(jié)又可由特征提取與匹配、結(jié)構(gòu)運(yùn)動(dòng)恢復(fù)、立 體匹配和三維模型計(jì)算四部分組成。特征提取與匹配意在將同一時(shí)間不同視角視頻幀中對(duì)應(yīng)相同三維目標(biāo)的點(diǎn)或線 對(duì)進(jìn)行匹配，是三維重建過程中最基礎(chǔ)的一步，直接影響到后續(xù)步驟的效果。結(jié)構(gòu)運(yùn)動(dòng)恢復(fù) 的任務(wù)是標(biāo)定攝像機(jī)參數(shù)，主要方法分為離線標(biāo)定和在線自標(biāo)定兩大類。立體匹配是在恢 復(fù)攝像機(jī)運(yùn)動(dòng)和投影結(jié)構(gòu)之后，通過生成場(chǎng)景的深度圖來建立場(chǎng)景的三維模型，這一過程 通常分為校正和匹配兩步完成。三維模型計(jì)算是在以上得到的各點(diǎn)匹配圖的基礎(chǔ)上，通過 三角關(guān)系可以計(jì)算得到場(chǎng)景的深度圖。當(dāng)存在多視角的情況下，需要對(duì)同一場(chǎng)景獲取到的 多幅深度圖進(jìn)行有效的融合。在融合過程中引入空間連續(xù)性等先驗(yàn)知識(shí)對(duì)提高融合效果具 有重要影響。從二維圖像到三維立體的三維重建過程不但是把點(diǎn)狀圖像信息變換成整體描述 的一個(gè)聚集過程，還可以通過加入某些先驗(yàn)信息改善和提高信息的聚集?，F(xiàn)有的三維重建 利用的先驗(yàn)信息均為客觀信息，尚缺乏利用人類主觀感知改善局部三維重建效果的有效方 法。

發(fā)明內(nèi)容
本發(fā)明的目的是在二維圖像序組到三維場(chǎng)景模型的重建問題中引入人類視覺感 知機(jī)理，利用視覺關(guān)注度模型對(duì)特征進(jìn)行選擇與匹配、并將視覺關(guān)注度引入三維模型的計(jì) 算，對(duì)現(xiàn)有三維重建關(guān)鍵技術(shù)進(jìn)行改進(jìn)和補(bǔ)充，為提高受關(guān)注局部區(qū)域重建的精度、使三維 重建結(jié)果更加符合人類的視覺感知、本發(fā)明提供一種二維圖像組的三維場(chǎng)景重建方法。為了實(shí)現(xiàn)以上目的，本發(fā)明提供的二維圖像組的三維場(chǎng)景重建方法包括以下步 驟步驟S1 輸入圖像組中每幅圖像計(jì)算各像素的關(guān)注度評(píng)價(jià)；步驟S2 在輸入圖像組的各幅圖像上提取尺度不變特征變換特征點(diǎn)，并且對(duì)圖像 組中兩兩圖像上的特征點(diǎn)進(jìn)行匹配和選擇，獲得的匹配特征點(diǎn)，匹配和選擇的原則包括特 征點(diǎn)對(duì)的特征空間相似度以及獲得的特征點(diǎn)相對(duì)應(yīng)的視覺關(guān)注度；
步驟S3 利用獲得的匹配特征點(diǎn)對(duì)對(duì)攝像機(jī)參數(shù)進(jìn)行估計(jì)；步驟S4 用選取的匹配特征點(diǎn)對(duì)、相應(yīng)特征點(diǎn)的關(guān)注度評(píng)價(jià)以及估計(jì)得到的攝像 機(jī)參數(shù)求取優(yōu)化的三維場(chǎng)景模型。其中，各點(diǎn)視覺關(guān)注度的權(quán)值按以下方法確定某像素的視覺關(guān)注度由該像素與 周圍鄰域內(nèi)像素的顏色對(duì)比度經(jīng)歸一化描述，此關(guān)注度描述對(duì)應(yīng)于該點(diǎn)在特征點(diǎn)選擇和匹 配、三維表面模型優(yōu)化過程中的關(guān)注度權(quán)值。其中，在特征點(diǎn)匹配和選擇過程中，將特征點(diǎn)的視覺關(guān)注度以加權(quán)形式引入特征 點(diǎn)匹配度的衡量，在選擇匹配點(diǎn)時(shí)，優(yōu)先選擇視覺關(guān)注度高的匹配點(diǎn)對(duì)用于后期重建。其中，在三維場(chǎng)景模型優(yōu)化過程中，在優(yōu)化函數(shù)的特征點(diǎn)投影一致性項(xiàng)中引入特 征點(diǎn)關(guān)注度加權(quán)，優(yōu)先提高受關(guān)注度點(diǎn)附近重建模型的精度。本發(fā)明的優(yōu)點(diǎn)在于本發(fā)明在二維圖像序組到三維場(chǎng)景模型的重建問題中引入人 類視覺感知機(jī)理，利用視覺關(guān)注度模型對(duì)特征進(jìn)行選擇與匹配、并將視覺關(guān)注度引入三維 模型的計(jì)算，對(duì)現(xiàn)有三維重建關(guān)鍵技術(shù)進(jìn)行改進(jìn)和補(bǔ)充，提高受關(guān)注局部區(qū)域重建的精度， 使三維重建結(jié)果更加符合人類的視覺感知，為虛擬現(xiàn)實(shí)等應(yīng)用提供支持。根據(jù)人類視覺認(rèn) 知特性，為用于重建的圖像中各點(diǎn)確定其視覺關(guān)注度評(píng)價(jià)。在二維圖像上提取特征點(diǎn)，并在 圖像間進(jìn)行特征點(diǎn)匹配，匹配中用特征點(diǎn)的視覺關(guān)注度對(duì)匹配度進(jìn)行加權(quán)，優(yōu)先選擇視覺 關(guān)注度高的特征點(diǎn)進(jìn)行匹配。用匹配點(diǎn)對(duì)計(jì)算優(yōu)化的三維模型。在優(yōu)化目標(biāo)中的各向投影 一致性評(píng)價(jià)中引入視覺關(guān)注度加權(quán)，減小關(guān)注度高的區(qū)域的模型誤差?？紤]了人類關(guān)注度 在三維重建質(zhì)量評(píng)價(jià)中的作用，在重建中優(yōu)先提高關(guān)注度高的區(qū)域的三維模型精度，相對(duì) 傳統(tǒng)三維重建方法，能夠獲得更好的感官認(rèn)知效果。本發(fā)明方法可被運(yùn)用于虛擬現(xiàn)實(shí)等實(shí) 際應(yīng)用中。


圖1本發(fā)明基于視覺關(guān)注度的三維重建基本流程圖2本發(fā)明感興趣度加權(quán)的特征點(diǎn)
具體實(shí)施例方式下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問題。應(yīng)指出的是， 所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。根據(jù)人類視覺認(rèn)知特性，為用于重建的圖像中各點(diǎn)確定其視覺關(guān)注度評(píng)價(jià)。在二 維圖像上提取特征點(diǎn)，并在圖像間進(jìn)行特征點(diǎn)匹配，匹配中用特征點(diǎn)的視覺關(guān)注度對(duì)匹配 度進(jìn)行加權(quán)，優(yōu)先選擇視覺關(guān)注度高的特征點(diǎn)進(jìn)行匹配。用匹配點(diǎn)對(duì)計(jì)算優(yōu)化的三維模型。 在優(yōu)化目標(biāo)中的各向投影一致性評(píng)價(jià)中引入視覺關(guān)注度加權(quán)，減小關(guān)注度高的區(qū)域的模型 誤差。基本重建流程如圖1所示。將人類認(rèn)知中的關(guān)注度引入了傳統(tǒng)的三維重建，將兩者進(jìn)行有效整合，提高受關(guān) 注度高的區(qū)域的三維重建效果；視覺關(guān)注度和三維重建的結(jié)合主要通過特征點(diǎn)匹配和三維表面模型優(yōu)化這兩個(gè) 三維重建的關(guān)鍵步驟體現(xiàn)；視覺關(guān)注度以加權(quán)的形式參與特征點(diǎn)選擇和匹配、三維表面模型優(yōu)化的決策過程。各點(diǎn)視覺關(guān)注度的權(quán)值按以下方法確定某像素的視覺關(guān)注度由該像素與周圍鄰 域內(nèi)像素的顏色對(duì)比度經(jīng)歸一化描述，此關(guān)注度描述對(duì)應(yīng)于該點(diǎn)在特征點(diǎn)選擇和匹配、三 維表面模型優(yōu)化過程中的關(guān)注度權(quán)值。在特征點(diǎn)匹配和選擇過程中，將特征點(diǎn)的視覺關(guān)注度以加權(quán)形式引入特征點(diǎn)匹配 度的衡量，在選擇匹配點(diǎn)時(shí)，優(yōu)先選擇視覺關(guān)注度高的匹配點(diǎn)對(duì)用于后期重建。在三維表面模型優(yōu)化過程中，在優(yōu)化函數(shù)的特征點(diǎn)投影一致性項(xiàng)中引入特征點(diǎn)關(guān) 注度加權(quán)，從而優(yōu)先提高受關(guān)注度點(diǎn)附近重建模型的精度。1.關(guān)注度評(píng)價(jià)1)定義MXN像素點(diǎn)的圖像上某點(diǎn)的關(guān)注度評(píng)價(jià)為該點(diǎn)與周圍鄰域內(nèi)點(diǎn)之間 的顏色對(duì)比度
其中Q為的鄰域 內(nèi)的點(diǎn)，d為點(diǎn)和q顏色空間 的高斯距離。2)將圖像上各點(diǎn)的對(duì)比度歸一化到W，255]區(qū)間作為該點(diǎn)的關(guān)注度評(píng)價(jià)n。2. 二維特征點(diǎn)匹配在取得各點(diǎn)的視覺關(guān)注度之后，三維重建工作從尋找多視角采集的圖像組中各圖 像上二維特征點(diǎn)的提取和匹配開始。本發(fā)明采用尺度不變特征變換(SIFT)特征作為二維 圖像特征點(diǎn)的特征描述，建立16組每組8維共128維的SIFT特征向量[1] (Lowe, David G. , “ Object recognition fromlocal scale-invariant features“ .Proceedings of the International Conference onComputer Vision, pp. 1150-1157.)作為特征點(diǎn)的描 述子，參與匹配(如附圖2所示)。令圖像A和圖像B中的SIFT特征集SA和SB分別為
m，n分別為圖像A和圖像B提取的特征點(diǎn)數(shù)
量，則特征點(diǎn)對(duì)
)間的相似距離定義為 其中角標(biāo)k代表16組8維向量的組序號(hào)，相似距離、為16組8維向量按組歐氏 距離的加和，由知組成距離度量矩陣D =[、]，并按如下步驟進(jìn)行特征點(diǎn)匹配1)在D 的基礎(chǔ)上定義距離度量矩陣滬=[d^.]，其中 2)將視覺關(guān)注度引入特征點(diǎn)匹配度的描述中，定義特征點(diǎn)匹配度矩陣Mab為Mffi= [mij]，其中miJ是圖像A中第i個(gè)特征點(diǎn)和圖像B中第j個(gè)特征點(diǎn)的匹配度，n i是圖像A中 第i個(gè)特征點(diǎn)所對(duì)應(yīng)的視覺關(guān)注度，、是圖像B中第j個(gè)特征點(diǎn)所對(duì)應(yīng)的視覺關(guān)注度，由 步驟1的關(guān)注度評(píng)價(jià)方法得到。3)將矩陣Mab = [miJ]中元素從大到小排列，依次選擇前p個(gè)元素組成匹配點(diǎn)對(duì) 集合MP
其中當(dāng)k乒1時(shí)，匹配點(diǎn)對(duì)間滿足mP>k,mPh轉(zhuǎn)Ph，以保證所有匹配點(diǎn)對(duì)為一對(duì)一的唯一匹配，k，l是特征點(diǎn)的序數(shù)。圖2是上述特征點(diǎn)匹配方法應(yīng)用在兩幅圖像匹配中的實(shí)例示意圖。3.攝像機(jī)參數(shù)獲取利用以上提取的匹配點(diǎn)對(duì)，各視角間的視角坐標(biāo)轉(zhuǎn)換矩陣可由下式用最小二乘法 估計(jì) 其中(xA，yA)和(xB，yB)是兩個(gè)視角的匹配特征點(diǎn)對(duì)，x, y是二維圖像空間坐標(biāo)，h 是視角轉(zhuǎn)換參數(shù)。像機(jī)參數(shù)和度量矩陣?yán)靡陨掀ヅ潼c(diǎn)對(duì)通過文獻(xiàn)[2] (M. Pollefeys, R. Koch and L. Van Gool, "Self-Calibration and Metric Reconstruction in spite ofVarying and Unknown Internal Camera Parameters,，，International Journal ofComputer Vision, 32 (1)，7-25，1999.)中描述的攝像機(jī)自標(biāo)定方法確定，主要過程如下1)在已知主點(diǎn)坐標(biāo)和縱橫比為1 1的情況下利用線性模型算法粗略估計(jì)攝像機(jī) 的焦距，并用非線性模型對(duì)焦距參數(shù)的估計(jì)值進(jìn)行修正。2)利用估計(jì)的攝像機(jī)參數(shù)求計(jì)算得到的二次曲面以及射影變換矩陣求取相應(yīng)的 度量變換矩陣T。4.三維場(chǎng)景模型優(yōu)化本發(fā)明采用參數(shù)化表示三維場(chǎng)景模型，令三維表面X表示為X(u，v) e (x(u, v), y (u, v) ,z(u,v)),三維重建的目標(biāo)即為尋找一個(gè)最優(yōu)的表面函數(shù)X，使其能夠最小化以下代 價(jià)函數(shù)P(X) =/ / (c(X)+TS(X))dudV。代價(jià)函數(shù)由兩項(xiàng)的積分表示，其中c(X)描述三維
表面X在各視角上投影與所對(duì)應(yīng)的二維圖像的匹配度，定義為
其中 L是三維表面模型到二維視角j的度量變換矩陣，由攝像機(jī)自標(biāo)定獲得，Q是三維表面上的 特征點(diǎn)的三維空間坐標(biāo)，q/是第j個(gè)視角的二維圖像中第i個(gè)特征點(diǎn)的二維坐標(biāo)，為了將視 覺關(guān)注度引入三維重建，提高高關(guān)注度區(qū)域的重建精度，本發(fā)明在描述匹配度的c(X)函數(shù) 中加入關(guān)注度加權(quán)日/，日/是第j個(gè)視角的二維圖像中第i個(gè)特征點(diǎn)的視覺關(guān)注度系數(shù)，
s(X)是平滑項(xiàng)，t是平滑系數(shù)，平滑項(xiàng)s(X)定義為八X、= ai +其中a和b分
別是U和V方向平滑懲罰系數(shù)，u，V是二維空間坐標(biāo)。通過全局Graph-Cut [3] (S. Paris, F.Sillion, and L. Quan,"A surface reconstruction method using global graphcut optimization，” In ACCV, 2004.)可求解最優(yōu)的p(X)的作為重建的三維表面模型。以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種二維圖像組的三維場(chǎng)景重建方法，其特征在于，包括以下步驟步驟S1輸入圖像組中每幅圖像計(jì)算各像素的關(guān)注度評(píng)價(jià)；步驟S2在輸入圖像組的各幅圖像上提取尺度不變特征變換特征點(diǎn)，并且對(duì)圖像組中兩兩圖像上的特征點(diǎn)進(jìn)行匹配和選擇，獲得的匹配特征點(diǎn)，匹配和選擇的原則包括特征點(diǎn)對(duì)的特征空間相似度以及獲得的特征點(diǎn)相對(duì)應(yīng)的視覺關(guān)注度；步驟S3利用獲得的匹配特征點(diǎn)對(duì)對(duì)攝像機(jī)參數(shù)進(jìn)行估計(jì)；步驟S4用選取的匹配特征點(diǎn)對(duì)、相應(yīng)特征點(diǎn)的關(guān)注度評(píng)價(jià)以及估計(jì)得到的攝像機(jī)參數(shù)求取優(yōu)化的三維場(chǎng)景模型。
2.根據(jù)權(quán)利要求1所述二維圖像組的三維場(chǎng)景重建方法，其特征在于各點(diǎn)視覺關(guān)注 度的權(quán)值按以下方法確定某像素的視覺關(guān)注度由該像素與周圍鄰域內(nèi)像素的顏色對(duì)比度 經(jīng)歸一化描述，此關(guān)注度描述對(duì)應(yīng)于該點(diǎn)在特征點(diǎn)選擇和匹配、三維表面模型優(yōu)化過程中 的關(guān)注度權(quán)值。
3.根據(jù)權(quán)利要求1所述二維圖像組的三維場(chǎng)景圖像重建方法，其特征在于在特征點(diǎn) 匹配和選擇過程中，將特征點(diǎn)的視覺關(guān)注度以加權(quán)形式引入特征點(diǎn)匹配度的衡量，在選擇 匹配點(diǎn)時(shí)，優(yōu)先選擇視覺關(guān)注度高的匹配點(diǎn)對(duì)用于后期重建。
4.根據(jù)權(quán)利要求1所述二維圖像組的三維場(chǎng)景重建方法，其特征在于在三維場(chǎng)景模 型優(yōu)化過程中，在優(yōu)化函數(shù)的特征點(diǎn)投影一致性項(xiàng)中引入特征點(diǎn)關(guān)注度加權(quán)，優(yōu)先提高受 關(guān)注度點(diǎn)附近重建模型的精度。
全文摘要
本發(fā)明公開一種二維圖像組的三維場(chǎng)景重建方法，該方法包括以下步驟步驟S1輸入圖像組中每幅圖像計(jì)算各像素的視覺關(guān)注度評(píng)價(jià)；步驟S2在輸入圖像組的各幅圖像上提取尺度不變特征變換特征點(diǎn)，并且對(duì)圖像組中兩兩圖像上的特征點(diǎn)進(jìn)行匹配和選擇，獲得的匹配特征點(diǎn)，匹配和選擇的原則包括特征點(diǎn)對(duì)的特征空間相似度以及獲得的特征點(diǎn)相對(duì)應(yīng)的視覺關(guān)注度；步驟S3利用獲得的匹配特征點(diǎn)對(duì)對(duì)攝像機(jī)參數(shù)進(jìn)行估計(jì)；步驟S4用選取的匹配特征點(diǎn)對(duì)、相應(yīng)特征點(diǎn)的關(guān)注度評(píng)價(jià)以及估計(jì)得到的攝像機(jī)參數(shù)求取優(yōu)化的三維場(chǎng)景模型。
文檔編號(hào)G06T17/00GK101877143SQ200910242340
公開日2010年11月3日 申請(qǐng)日期2009年12月9日 優(yōu)先權(quán)日2009年12月9日
發(fā)明者盧漢清, 張奕, 徐常勝, 程健 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所