本發(fā)明屬于物體三維數(shù)字化重建技術(shù)領(lǐng)域，涉及到光度立體理論、點(diǎn)云濾波和優(yōu)化計(jì)算等領(lǐng)域，特別涉及一種融合RGB-D相機(jī)和彩色光度立體法的動(dòng)態(tài)非剛體三維數(shù)字化方法。

背景技術(shù)：

近年來(lái)隨著3D相關(guān)技術(shù)的發(fā)展，非剛性體的三維數(shù)字化技術(shù)受到了業(yè)內(nèi)的廣泛關(guān)注。實(shí)現(xiàn)高效、高精度、廉價(jià)的重建方法一直是三維數(shù)字化領(lǐng)域的一個(gè)研究重點(diǎn)?，F(xiàn)有的非剛性體動(dòng)態(tài)重建方法主要有以下幾種。

(1)Non-rigid Structure from Motion(N-SFM)方法

N-SFM通過(guò)對(duì)一組視頻序列的觀察矩陣進(jìn)行SVD分解得到對(duì)應(yīng)的相機(jī)矩陣和每一幀下的非剛性體形狀矩陣。相對(duì)于剛性體而言，非剛性體由于要求解的未知形狀數(shù)目大為增加，大大增加了求解的難度。并且計(jì)算常受遮擋和光照變化的影響，對(duì)于時(shí)間跨度較大的不同幀之間，其圖象密集匹配的計(jì)算難度較大，對(duì)于細(xì)節(jié)信息的恢復(fù)上不夠細(xì)膩和光順。

(2)彩色光度立體方法

Woodham的光度立體法較之于N-SFM的方法可以避開(kāi)不同幀之間圖象的匹配問(wèn)題，但由于不同的光照變化存在時(shí)間的延遲，并不適合于動(dòng)態(tài)非剛性體的重建。為此Hernandez C引入了彩色光度立體方法，通過(guò)同一時(shí)刻紅綠藍(lán)三色不同位置光源的照射來(lái)實(shí)現(xiàn)對(duì)動(dòng)態(tài)非剛性體物體的三維重建。上述方法可以較好地恢復(fù)出布料這樣的非剛性體的細(xì)節(jié)信息，但在求解中需要事先通過(guò)實(shí)例球或標(biāo)定板對(duì)光源的方向進(jìn)行標(biāo)定，過(guò)程復(fù)雜，其求解的幾何精度也不夠準(zhǔn)確。

(3)KinectFusion方法

直接使用Kinect這樣的深度相機(jī)能夠?qū)崟r(shí)地獲取被測(cè)對(duì)象的彩色和深度信息，將其用于物體的三維重建。但其深度信息分辨率不夠高，且常受噪聲的干擾，測(cè)量效果不夠理想，因此需要提高被測(cè)物體的分辨率和光順性。這方面最有名的工作當(dāng)屬Newcombe等的“KinectFusion”方法，該方法可以融合不同幀的深度信息，對(duì)剛性對(duì)象可以取得較好的效果。但隨著時(shí)間的變化，由于非剛性體的形狀時(shí)刻會(huì)發(fā)生改變，因此在非剛性對(duì)象的三維數(shù)字化時(shí)常遇到不同幀之間非剛性體配準(zhǔn)的難題。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種融合RGB-D相機(jī)和彩色光度立體法的動(dòng)態(tài)非剛體三維數(shù)字化方法，使用低成本的RGB-Depth相機(jī)和彩色光源的組合，通過(guò)融合深度和彩色信息，可有效解決現(xiàn)有的動(dòng)態(tài)非剛性三維數(shù)字化方法存在著不同幀間圖象中非剛性對(duì)象的匹配、幾何誤差較大或重建結(jié)果受噪聲影響不夠光滑和細(xì)節(jié)不夠細(xì)膩等問(wèn)題，具有高效、高精度、廉價(jià)的特點(diǎn)，可應(yīng)用于動(dòng)態(tài)非剛性物體的三維數(shù)字化任務(wù)，以實(shí)現(xiàn)高效便捷的物體三維重建結(jié)果。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

一種融合RGB-D相機(jī)和彩色光度立體法的動(dòng)態(tài)非剛體三維數(shù)字化方法，包括如下步驟：

步驟1，利用RGB三色光源照射待測(cè)物體，使用已標(biāo)定內(nèi)部參數(shù)的深度相機(jī)和彩色相機(jī)同時(shí)對(duì)物體進(jìn)行拍攝，同時(shí)獲得其深度圖像和彩色圖像；

步驟2，結(jié)合深度和彩色信息估算出光源方向和反射率；

步驟3，通過(guò)構(gòu)造優(yōu)化問(wèn)題求解出三維點(diǎn)云，具體實(shí)現(xiàn)步驟如下：

利用變分方法構(gòu)造一個(gè)融合深度項(xiàng)、法向項(xiàng)和光滑約束項(xiàng)的代價(jià)函數(shù)，采用最小二乘優(yōu)化求解出改進(jìn)質(zhì)量的被測(cè)物體表面三維數(shù)字化模型。

所述步驟1中，對(duì)深度圖像先采用置信區(qū)間分割和雙邊濾波方法對(duì)其處理以得到被測(cè)表面的一個(gè)光滑估計(jì)，從而降低深度數(shù)據(jù)噪聲。

對(duì)深度圖像，首先采取深度閾值分割的方法提取出重建物體的有效區(qū)域，位于有效范圍外的點(diǎn)云不參加計(jì)算；其次，對(duì)點(diǎn)云進(jìn)行深度維上的90％置信區(qū)間分割以剔除這些點(diǎn)；最后，采用經(jīng)典的雙邊濾波方法對(duì)點(diǎn)云進(jìn)行平滑處理。

所述步驟2中，先將深度相機(jī)和彩色相機(jī)拍攝的圖像估計(jì)出其上各點(diǎn)法向量的初始值；再基于朗伯體漫反射光照模型，由表面上各點(diǎn)的法向量和彩色光源照射下的對(duì)應(yīng)RGB信息，最小化估計(jì)出矩陣M，其同時(shí)表征了光源方向和物體表面的反射系數(shù)：

上式中I_p為圖像上點(diǎn)的灰度值，N_p為物體表面該點(diǎn)的方向向量，

然后通過(guò)交替優(yōu)化得到被測(cè)物體表面上各點(diǎn)法向量的準(zhǔn)確估計(jì)：將M和灰度I_p代入光度立體方程求出光度立體理論表征的物體表面法向量N_p，如下式所示：

N_p＝M^-1·N_p

所述步驟3中，構(gòu)造的代價(jià)函數(shù)為：

令u，v分別表征RGB圖像的圖像坐標(biāo)，上式中，對(duì)應(yīng)深度項(xiàng)，f_u,f_v為u方向和v方向上的焦距，Z(u,v)表示由深度相機(jī)測(cè)得的經(jīng)濾波處理后圖像上(u,v)點(diǎn)的深度值；

對(duì)應(yīng)法向項(xiàng)，其中為像素點(diǎn)(u,v)的法向量，其值由權(quán)利要求4中方法計(jì)算得出，

為拉普拉斯平滑項(xiàng)，有

λ_d、λ_n和λ_s分別對(duì)應(yīng)三者各自的權(quán)重，它們決定了上述三部分對(duì)重建結(jié)果影響的大小。

λ_n取一個(gè)較大的值，而λ_d相應(yīng)的取值較小，平滑權(quán)重λ_s取值也較小，以保證重建結(jié)果含有較多的細(xì)節(jié)信息。

將改寫(xiě)為矩陣方程，再通過(guò)線性最小二乘求解出使代價(jià)函數(shù)取得最小值時(shí)的Z，如下所示：

假設(shè)待計(jì)算的深度矩陣的長(zhǎng)和寬分別是m和n，在上式中，是按照像素順序?qū)⑺械纳疃茸兞颗帕谐傻牧邢蛄?，Z是按照相應(yīng)順序排列成的原始深度信息，它們都是mn維的列向量，算子以及是在此種排列下構(gòu)造出的mn×mn維偏導(dǎo)計(jì)算矩陣和拉普拉斯算子矩陣，‖μ‖，μ，是按相同排列順序?qū)懗龅膍n×mn維對(duì)角矩陣，將這些量按照與相同的順序排列在矩陣的主對(duì)角線上，而其余矩陣元素均為零。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

1、使用RGB-D相機(jī)的深度信息對(duì)光源方向進(jìn)行估計(jì)，不需要專(zhuān)門(mén)對(duì)光源進(jìn)行標(biāo)定，簡(jiǎn)化了采樣和求解過(guò)程。另外，由于重建方程中考慮了深度約束，對(duì)于畸變有較好的修正。

2、由于融合了被測(cè)物體表面的顏色(灰度)信息，重建結(jié)果擁有更豐富的細(xì)節(jié)，提升了數(shù)字化結(jié)果的實(shí)用性。

3、對(duì)單目視頻序列中每一幀分別處理，實(shí)現(xiàn)對(duì)動(dòng)態(tài)非剛性體的三維數(shù)字化重建。

附圖說(shuō)明

圖1是本發(fā)明測(cè)量系統(tǒng)的結(jié)構(gòu)圖。

圖2是本發(fā)明的技術(shù)流程圖。

圖3是本發(fā)明重建方法與深度相機(jī)重建結(jié)果的比較。

圖4是本發(fā)明重建方法與光度立體方法重建結(jié)果側(cè)面輪廓線與基準(zhǔn)模型比較。

圖5是使用本發(fā)明方法對(duì)視頻序列的重建結(jié)果。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式。

本發(fā)明的系統(tǒng)結(jié)構(gòu)如圖1所示，使用已標(biāo)定內(nèi)部參數(shù)的深度相機(jī)和彩色相機(jī)同時(shí)對(duì)物體進(jìn)行拍攝，結(jié)合深度和彩色信息估算出光源方向，最后通過(guò)構(gòu)造優(yōu)化問(wèn)題求解出三維點(diǎn)云。具體實(shí)現(xiàn)步驟如下：

(1)獲取被測(cè)物體表面的粗糙模型。直接由深度相機(jī)得到的深度數(shù)據(jù)噪聲很大，需要先采用置信區(qū)間分割和雙邊濾波方法對(duì)其處理以得到被測(cè)表面的一個(gè)光滑估計(jì)。

(2)求解被測(cè)物體表面上各點(diǎn)的法向量。由上一步被測(cè)物體表面的粗糙模型估計(jì)出其上各點(diǎn)法向量的初始值；基于朗伯體漫反射光照模型，由表面上各點(diǎn)的法向量和彩色光源照射下的對(duì)應(yīng)RGB信息，求出對(duì)應(yīng)于不同光源方向的矩陣描述，再通過(guò)交替優(yōu)化得到被測(cè)物體表面上各點(diǎn)法向量的準(zhǔn)確估計(jì)。

(3)利用變分方法構(gòu)造一個(gè)融合深度信息、法向信息和光滑性約束的代價(jià)函數(shù)，對(duì)該代價(jià)函數(shù)適當(dāng)?shù)淖冃魏?，采用最小二乘?yōu)化求解出改進(jìn)質(zhì)量的被測(cè)物體表面三維數(shù)字化模型。

本發(fā)明具體的重建技術(shù)流程如圖2所示，用三色光源照射待測(cè)物體的同時(shí)，使用PC控制的Kinect對(duì)待測(cè)物體拍照，同時(shí)獲得其彩色圖像和深度圖像，在此基礎(chǔ)上對(duì)其進(jìn)行三維重建的技術(shù)流程如下：

(1)圖像預(yù)處理和去噪：首先采取深度閾值分割的方法提取出重建物體的有效區(qū)域，位于有效范圍外的點(diǎn)云不參加計(jì)算以提高算法效率。其次注意到物體邊緣處存在較大深度值偏差的點(diǎn)，對(duì)點(diǎn)云進(jìn)行深度維上的90％置信區(qū)間分割以剔除這些點(diǎn)。最后采用經(jīng)典的雙邊濾波方法對(duì)點(diǎn)云進(jìn)行平滑處理。

(2)光源和反射率估計(jì)：在朗伯體表面反射模型下，物體表面一點(diǎn)的亮度只與其表面反射系數(shù)和表面法線方向線性相關(guān)。在待測(cè)物體為單一反射率，并近似認(rèn)為光源位于無(wú)限遠(yuǎn)處時(shí)，根據(jù)經(jīng)典的光度立體理論，可將反射率和光源方向的乘積寫(xiě)為矩陣M，從而物體表面亮度和其法向量間的線性關(guān)系可以表示為下式：

I_p＝M·N_p

其中，I_p為圖像上一點(diǎn)的灰度值，N_p為物體表面單位法向量。使用Kinect提供的深度信息對(duì)物體表面的法向量做一個(gè)初步的估計(jì)，然后使用法向信息最小化下式估計(jì)出矩陣M，其同時(shí)表征了光源方向和物體表面的反射系數(shù)。

(3)光度立體估算表面法向量：

優(yōu)化出M以后，將M和灰度I_p代入光度立體方程即可求出光度立體理論表征的物體表面法向量N_p，如下式所示：

N_p＝M^-1·N_p

(4)融合求解：

以主點(diǎn)位置作為坐標(biāo)原點(diǎn)，鏡頭光軸向外方向作為Z軸正向，根據(jù)相機(jī)的小孔成像模型，則曲面的參數(shù)方程可以寫(xiě)作：

其中f_u,f_v為u方向和v方向上的焦距，可通過(guò)相機(jī)標(biāo)定方法來(lái)獲得，Z(u,v)表示由Kinect測(cè)得的經(jīng)濾波處理后(u,v)點(diǎn)的深度值。

為了求得物體表面更準(zhǔn)確的三維形狀信息，根據(jù)已有的法向和深度信息及常規(guī)情況下物體表面符合平滑約束的特點(diǎn)，構(gòu)造出如下式所示由深度項(xiàng)、法向項(xiàng)和平滑項(xiàng)三部分構(gòu)成的代價(jià)函數(shù)。

其中，對(duì)應(yīng)深度項(xiàng)，對(duì)應(yīng)法向項(xiàng)，為拉普拉斯平滑項(xiàng)，有而λ_d、λ_n和λ_s分別對(duì)應(yīng)三者各自的權(quán)重，它們決定了上述三部分對(duì)重建結(jié)果影響的大小。通常，為了保證重建結(jié)果含有較多的細(xì)節(jié)信息，λ_n可以取一個(gè)較大的值，而λ_d相應(yīng)的取值較小，平滑權(quán)重λ_s一般取值也較小。

1)深度項(xiàng)

這里，深度項(xiàng)可以表示為估計(jì)值對(duì)應(yīng)的點(diǎn)與原始值Z對(duì)應(yīng)的點(diǎn)之間的三維距離之差的平方和，如式所示。求和符號(hào)代表對(duì)每一個(gè)像素點(diǎn)進(jìn)行累加求和。

2)法向量項(xiàng)

設(shè)通過(guò)光度立體法求得了像素點(diǎn)(u,v)的法向量為而由曲面的參數(shù)方程S(u，v)，分別對(duì)其沿u和v方向求導(dǎo)，可以得出其沿u和v方向的切向量分別為：

容易想到，曲面上一點(diǎn)的法向量和切向量的內(nèi)積應(yīng)該為零，故可以寫(xiě)出如下的法向代價(jià)函數(shù)：

注意到可以看做是一個(gè)超定的線性最小二乘系統(tǒng)，將其改寫(xiě)為矩陣方程，便可以通過(guò)線性最小二乘求解出使代價(jià)函數(shù)取得最小值時(shí)的Z，如下所示。

假設(shè)待計(jì)算的深度矩陣的長(zhǎng)和寬分別是m和n。在上式中，是按照像素順序?qū)⑺械纳疃茸兞颗帕谐傻牧邢蛄?，Z是按照相應(yīng)順序排列成的原始深度信息，它們都是mn維的列向量。算子以及是在此種排列下構(gòu)造出的mn×mn維偏導(dǎo)計(jì)算矩陣和拉普拉斯算子矩陣。‖μ‖，μ，是按相同排列順序?qū)懗龅膶?duì)角矩陣(mn×mn維)，將這些量按照與相同的順序排列在矩陣的主對(duì)角線上，而其余矩陣元素均為零。

本發(fā)明的效果可以通過(guò)以下實(shí)驗(yàn)進(jìn)一步說(shuō)明。

1、實(shí)驗(yàn)內(nèi)容

(1)為了驗(yàn)證本發(fā)明的效果，使用本發(fā)明所述技術(shù)對(duì)大衛(wèi)雕像進(jìn)行了三維重建。并以輪廓線的形式將重建結(jié)果與深度相機(jī)重建、傳統(tǒng)光度立體重加結(jié)果做了比較說(shuō)明。

(2)為了實(shí)現(xiàn)對(duì)動(dòng)態(tài)非剛性物體的重建，使用三色光源照射，利用Kinect實(shí)時(shí)采集一段不斷變化形態(tài)的衣物視頻，然后從此視頻序列中恢復(fù)出對(duì)應(yīng)于每一幀的一系列三維模型。

2、實(shí)驗(yàn)結(jié)果分析

(1)實(shí)驗(yàn)中將各參數(shù)取如下值：

f_i＝f_j＝1062，i₀＝640，j₀＝1103，λ_d＝0.13λ_n＝0.87,λ_s＝0.00001

得到的重建結(jié)果如圖3所示，(a)為彩色圖，(b)為Kinect獲得的原始深度圖僅進(jìn)行去噪處理后的建模結(jié)果。(c)為本發(fā)明的重建結(jié)果。相對(duì)于原始Kinect的建模結(jié)果，本文中的方法可以很好的保留物體的細(xì)節(jié)信息，從而彌補(bǔ)了Kinect的測(cè)量結(jié)果中噪聲過(guò)大、細(xì)節(jié)信息不夠清晰的缺陷。

(2)為了比較本發(fā)明與彩色光度立體法的測(cè)量精度，這里使用Artec掃描儀對(duì)大衛(wèi)像事先進(jìn)行了測(cè)量，接著分別用本文方法和彩色光度立體方法得到的測(cè)量結(jié)果與用Artec掃描儀得到的基準(zhǔn)模版進(jìn)行配準(zhǔn)，之后提取了大衛(wèi)像鼻梁處從上到下的一條輪廓線進(jìn)行了比較，如圖4所示?？梢钥闯霰疚闹亟ǚ椒ǖ妮喞谡w上更加貼近標(biāo)準(zhǔn)模板，而光度立體重建方法的畸變較大，與模板的偏離更大。

(3)圖5為使用本文方法對(duì)視頻序列進(jìn)行重建的實(shí)驗(yàn)結(jié)果，從結(jié)果中可以看出，本方法能夠較理想的恢復(fù)出動(dòng)態(tài)非剛性體的三維結(jié)構(gòu)。