專利名稱：基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖形、虛擬現(xiàn)實(shí)技術(shù)，尤其涉及一種基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法。
背景技術(shù)：
在大型三維動(dòng)畫(huà)制作軟件日益豐富的今天，越來(lái)越多的視頻作品中包含了大量的三維動(dòng)畫(huà)。在三維軟件的空間里建設(shè)三維模型，并模擬自然燈光，材質(zhì)生成三維動(dòng)畫(huà)。這樣的動(dòng)畫(huà)廣泛應(yīng)用于課件、科學(xué)實(shí)驗(yàn)、廣告、數(shù)字電影等領(lǐng)域，用來(lái)模擬一些在現(xiàn)實(shí)環(huán)境中，攝像機(jī)無(wú)法實(shí)錄場(chǎng)景的過(guò)程中，為了體現(xiàn)三維形象的真實(shí)性，需要將三維模型“放置”到背景圖像中，這個(gè)背景圖像是在真實(shí)的環(huán)境中通過(guò)攝像機(jī)實(shí)拍得到的，這樣生成的圖像，視頻更加逼真。所謂“放置”是在視頻編輯設(shè)備上通過(guò)真實(shí)環(huán)境生成的圖像和三維動(dòng)畫(huà)的疊加實(shí)現(xiàn)的。完成后的圖像畫(huà)面生硬邊緣有明顯摳像的痕跡。對(duì)于靜態(tài)的圖像，經(jīng)過(guò)ALPHA通道疊加生成的圖像經(jīng)圖像工具處理，可以滿足工作需要，而對(duì)于動(dòng)態(tài)的環(huán)境，以及活動(dòng)的三維動(dòng)畫(huà)則顯得無(wú)能為力。最新的嵌入不是在后期非線性或線性編輯過(guò)程中實(shí)現(xiàn)的。而是在三維圖像生成過(guò)程中以真實(shí)的背景圖像作為三維模型空間的背景，通過(guò)三維軟件的著色渲染生成視頻的過(guò)程。嵌入有三種形式:一種是靜止的三維模型與靜止的背景圖像，主要用于模擬現(xiàn)實(shí)生活不存在的或還沒(méi)有存在的物體，t匕如:三維模型大型建筑物，背景圖像是這個(gè)建筑物即將坐落的地方，通過(guò)在三維軟件中的調(diào)整，生成的圖像顯得很自然；二是動(dòng)態(tài)的三維模型與靜止的背景，在制作課件時(shí)通常模擬一些物理過(guò)程；三是活動(dòng)的三維模型與活動(dòng)畫(huà)面，這是很復(fù)雜的過(guò)程，用途廣泛，大量的數(shù)字電影和廣告都是這種形式。在三維軟件中使用三維模型空間的燈光、材質(zhì)等工具建立起來(lái)三維模型與背景圖像的光影、視覺(jué)、比例等關(guān)系，而后生成逼真圖像。早期的三維軟件是不具備嵌入所需的功能。目前的大型三維軟件為三維模型的嵌入提供了相應(yīng)的功能。一個(gè)三維模型與背景圖像的視角一致；而且在背景圖像中有陰影，這個(gè)陰影的方向背景圖像中物體的陰影方向一致；三維模型的受光面與背景圖像中物體的受光面一致，光線的強(qiáng)度、顏色一致，生成的新圖像與真實(shí)環(huán)境下實(shí)拍圖像的光影關(guān)系是一致的，達(dá)到逼真的效果。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法，有別于其它的虛實(shí)結(jié)合渲染方法，本發(fā)明提出的虛實(shí)結(jié)合方法是基于多視點(diǎn)視頻作為背景，其它的虛實(shí)結(jié)合渲染方法采用的背景都是靜止的，而本發(fā)明采用的背景是視頻背景，能夠動(dòng)態(tài)反應(yīng)背景光照的實(shí)時(shí)變化，渲染的三維模型更加逼真和真實(shí)。一種基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法，主要包括基于多視點(diǎn)視頻的光照進(jìn)行預(yù)先計(jì)算以及高真實(shí)感虛實(shí)結(jié)合渲染兩個(gè)部分，包括以下步驟:(I)構(gòu)建三維環(huán)境背景:對(duì)多視點(diǎn)視頻圖像進(jìn)行解碼，然后建立一個(gè)球面模型，然后把多個(gè)視點(diǎn)視頻同一時(shí)刻的圖像投影到球面模型上去，構(gòu)建一個(gè)三維的真實(shí)環(huán)境視頻背
旦 (2)構(gòu)建環(huán)境光源:將投影到球面模型上的圖像轉(zhuǎn)換為二維的環(huán)境圖，對(duì)該環(huán)境圖進(jìn)行卷積操作生成一幅光輝環(huán)境圖；這個(gè)光輝環(huán)境圖作為環(huán)境光源用來(lái)實(shí)時(shí)的照亮三維模型；(3)以步驟(2)的光輝環(huán)境圖對(duì)位于球面模型中心的三維模型進(jìn)行光照的預(yù)先計(jì)算，得到三維模型上每個(gè)點(diǎn)在各個(gè)方向上的光輝傳輸函數(shù)，用于后期的實(shí)時(shí)高真實(shí)感渲染；(4)利用所述光輝傳輸函數(shù)對(duì)三維模型進(jìn)行渲染。步驟(4)中渲染時(shí)采用如下的公式:L(x, ω0) =f i<NLi(x, Qj)fr(x, QiQ0, w) V(χ, ω 7 ω0) (Q1.η) ω (I)式⑴中:X是三維模型上的三維幾何點(diǎn)；w是權(quán)重系數(shù)；η是三維幾何點(diǎn)X的法向量；COtl是三維幾何點(diǎn)X的出射光的方向角；Coi是環(huán)境圖上的入射光的方向角度，也可以看成虛擬相機(jī)的方向角；L(x, ω0)是具有法向量η的三維幾何點(diǎn)χ在方向ω。上的反射光輝；LiU, Coi)環(huán)境圖的入射光的光亮度，Li是來(lái)自遠(yuǎn)距離環(huán)境的入射光輝，因此和點(diǎn)X無(wú)關(guān)；fr(x, COi(Oc^w)是三維幾何點(diǎn)χ在入射方向?yàn)镃o1、出射方向?yàn)镃Otl的光輝傳輸函數(shù)ν(χ, ω 7 ω0)是三維幾何點(diǎn)χ在入射方向?yàn)镼1、出射方向?yàn)镼ci的可見(jiàn)函數(shù)。為了能夠動(dòng)態(tài)的確定公式(I)中的區(qū)域光源的個(gè)數(shù)，本發(fā)明在現(xiàn)有方法(AndersWang Kristensen, Tomas Akenine-M" oiler.Precomputed Local Radiance Transferfor Real-Time LightingDesign[J].ACM Trans，Graph，2005，24(3): 1208-1215)基礎(chǔ)上進(jìn)行擴(kuò)展，該方法主要是建立了一個(gè)無(wú)結(jié)構(gòu)的點(diǎn)光源集合，沒(méi)有提出按照什么原則來(lái)建立區(qū)域光源，而本發(fā)明的區(qū)域光源建立方法主要是將高動(dòng)態(tài)環(huán)境圖通過(guò)卷積操作生成一幅光輝環(huán)境圖，實(shí)際操作過(guò)程中可釆用高斯模糊算法進(jìn)行卷積(FrederickM.Waltz, John W.V.Miller.An efficientalgorithm for Gaussian blur usingfinite-state machines.SPIE Conf.0nMachine Vision Systems for Inspection andMetrology.1998.)，這個(gè)光輝環(huán)境圖用來(lái)實(shí)時(shí)的照亮復(fù)雜對(duì)象。對(duì)于由多視點(diǎn)視頻圖像生成的光輝環(huán)境圖進(jìn)行過(guò)濾，主要是找出亮度差別在一定范圍內(nèi)的像素點(diǎn)的集合，這里的每個(gè)像素被看`成一個(gè)遠(yuǎn)距離的點(diǎn)光源，而像素的集合被看成一個(gè)區(qū)域光源，具體的亮度差別可以由用戶動(dòng)態(tài)的確定以達(dá)到最好的光照效果。多視點(diǎn)視頻構(gòu)成的環(huán)境圖可以在實(shí)時(shí)渲染的時(shí)候利用環(huán)境映射來(lái)在三維模型對(duì)象的表面生成周?chē)鷪?chǎng)景的反射圖，同時(shí)由于背景是由多視點(diǎn)視頻圖像貼圖生成，渲染的時(shí)候生成高真實(shí)感的光照效果。本發(fā)明提出的虛實(shí)結(jié)合方法，基于多視點(diǎn)視頻作為背景能夠動(dòng)態(tài)反應(yīng)背景光照的實(shí)時(shí)變化，與其它的虛實(shí)結(jié)合渲染方法采用的背景都是靜止的相比，而本發(fā)明渲染的三維模型更加逼真和真實(shí)。
具體實(shí)施例方式本發(fā)明一種基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法主要包括基于多視點(diǎn)視頻的光照進(jìn)行預(yù)先計(jì)算以及高真實(shí)感虛實(shí)結(jié)合渲染兩個(gè)部分，包括以下步驟:(I)建立一個(gè)球面模型，然后把多個(gè)視點(diǎn)視頻同一時(shí)刻的圖像投影到球面模型上去;(2)將投影到球面模型上的圖像轉(zhuǎn)換為二維的環(huán)境圖，對(duì)該環(huán)境圖進(jìn)行卷積操作生成一幅光輝環(huán)境圖；(3)以步驟(2)的光輝環(huán)境圖對(duì)位于球面模型中心的三維模型進(jìn)行光照的預(yù)先計(jì)算，得到三維模型上每個(gè)點(diǎn)在各個(gè)方向上的光輝傳輸函數(shù)；(4)利用所述光輝傳輸函數(shù)對(duì)三維模型進(jìn)行渲染。步驟(4)中渲染時(shí)采用如下的公式:L(x, ω0) =f i<NLi(x, Qj)fr(x, QiQ0, w) V (χ, ω 7 ω0) (Q1.η) ω (I)式⑴中: χ是三維模型上的三維幾何點(diǎn)；w是權(quán)重系數(shù)；η是三維幾何點(diǎn)χ的法向量；ω。是三維幾何點(diǎn)χ的出射光的方向角；Coi是環(huán)境圖上的入射光的方向角度；L(x, ω0)是具有法向量η的三維幾何點(diǎn)χ在方向Qtl上的反射光輝；Li (X，(Oi)環(huán)境圖的入射光的光亮度；fr (χ, ω j ω0, w)是三維幾何點(diǎn)χ在入射方向?yàn)椤?、出射方向?yàn)椤鼎系墓廨x傳輸函數(shù)v(x, (Oi, ω0)是三維幾何點(diǎn)χ在入射方向?yàn)镼1、出射方向?yàn)?Otl的可見(jiàn)函數(shù)。為了能夠動(dòng)態(tài)的計(jì)算公式(I)中的環(huán)境光源，本發(fā)明在(AndersWangKristensen, Tomas Akenine-M " oiler.Precomputed LocalRadiance Transfer forReal-Time Lighting Design [J].ACMTrans, Graph, 2005, 24 (3):1208-1215)方法基礎(chǔ)上進(jìn)行擴(kuò)展，該方法主要是建立了一個(gè)無(wú)結(jié)構(gòu)的點(diǎn)光源集合，沒(méi)有提出按照什么原則來(lái)建立環(huán)境光源，而本發(fā)明的環(huán)境光源建立方法主要通過(guò)多視頻環(huán)境圖通過(guò)預(yù)處理的卷積操作(高斯模糊算法)(Frederick M.Waltz, John ff.V.Miller.An efficient algorithm forGaussian blur using finite-statemachines.SPIE Conf.0n Machine Vision Systemsfor Inspection andMetrology.1998.)生成對(duì)應(yīng)的光輝環(huán)境圖，這個(gè)光輝環(huán)境圖用來(lái)實(shí)時(shí)的照亮復(fù)雜對(duì)象。對(duì)于由多視點(diǎn)視頻圖像生成的光輝環(huán)境圖進(jìn)行過(guò)濾，主要是找出亮度差別在一定范圍內(nèi)的像素點(diǎn)的集合，這里的每個(gè)像素被看成一個(gè)遠(yuǎn)距離的點(diǎn)光源，而像素的集合被看成一個(gè)區(qū)域光源，具體的亮度差別可以由用戶動(dòng)態(tài)的確定以達(dá)到最好的光照效果。多視點(diǎn)視頻構(gòu)成的環(huán)境圖可以在實(shí)時(shí)渲染的時(shí)候利用環(huán)境映射來(lái)在三維模型對(duì)象的表面生成周?chē)鷪?chǎng)景的反射圖，同時(shí)由于背景是由多視點(diǎn)視頻圖像貼圖生成，渲染的時(shí)候生成高真實(shí)感的光照效果。步驟(3)中，基于多視點(diǎn)視頻的光照預(yù)先計(jì)算:本發(fā)明的預(yù)計(jì)算方法米用(All-FrequencyPrecomputed RadianceTransfer forGlossy Ob jects, Eurographics Symposium on Rendering, 2004)中的預(yù)計(jì)算方法，針對(duì)三維幾何模型上的每一個(gè)點(diǎn)P，我們首先計(jì)算一個(gè)可見(jiàn)圖qp(sP，針對(duì)每一個(gè)方向&如果點(diǎn)P被遮擋，那么qp(Sj) = O ;在全局坐標(biāo)系中，我們利用一個(gè)球體來(lái)參數(shù)化表不方向S」。在點(diǎn)P法向量以下的半球中的方向Sj不用于計(jì)算。我們將球體進(jìn)行離散化，產(chǎn)生一個(gè)90*180的椎體。從可見(jiàn)圖中，我們可以計(jì)算一個(gè)中間傳輸矩陣Mp，這個(gè)矩陣可以視作BRDF基函數(shù)的積分。這個(gè)中間傳輸矩陣和最終的傳輸矩陣不一樣，最終的傳輸矩陣是一個(gè)基于燈光基的傳輸矩陣。這個(gè)中間矩陣可以表示如下:
權(quán)利要求
1.一種基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法，其特征在于，包括以下步驟: (1)建立一個(gè)球面模型，然后把多個(gè)視點(diǎn)視頻同一時(shí)刻的圖像投影到球面模型上去； (2)將投影到球面模型上的圖像轉(zhuǎn)換為二維的環(huán)境圖，對(duì)該環(huán)境圖進(jìn)行卷積操作生成一幅光輝環(huán)境圖； (3)以步驟(2)的光輝環(huán)境圖對(duì)位于球面模型中心的三維模型進(jìn)行光照的預(yù)先計(jì)算，得到三維模型上每個(gè)點(diǎn)在各個(gè)方向上的光輝傳輸函數(shù)； (4)利用所述光輝傳輸函數(shù)對(duì)三維模型進(jìn)行渲染。
2.根據(jù)權(quán)利要求1所述的基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法，其特征在于，步驟(4)中渲染時(shí)采用如下的公式:L(x, W0) = / i <NLi (x, Wi)fr (x, OiO0, w)v(x, Wi, (O0) (O1.n)dWi (I) 式⑴中: X是三維模型上的三維幾何點(diǎn)； W是權(quán)重系數(shù)； n是三維幾何點(diǎn)X的法向量； 。是三維幾何點(diǎn)X的出射光的方向角； 是環(huán)境圖上的入射光的方向角度； L(x, co0)是具有法向量n的三維幾何點(diǎn)X在方向Coci上的反射光輝； Li (x，Coi)環(huán)境圖的入射光的光亮度； fr(x, iCo0,w)是三維幾何點(diǎn)X在入射方向?yàn)閃1、出射方向?yàn)镺tl的光輝傳輸函數(shù) v(x, Wi, W0)是三維幾何點(diǎn)X在入射方向?yàn)閃p出射方向?yàn)镃Otl的可見(jiàn)函數(shù)。
3.根據(jù)權(quán)利要求1所述的基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法，其特征在于，步驟(2)中，所述卷積操作采用高斯模糊算法。
全文摘要
本發(fā)明公開(kāi)了一種基于多視點(diǎn)視頻的三維模型高真實(shí)感虛實(shí)結(jié)合渲染方法，包括(1)建立一個(gè)球面模型，然后把多個(gè)視點(diǎn)視頻同一時(shí)刻的圖像投影到球面模型上去；(2)將投影到球面模型上的圖像轉(zhuǎn)換為二維的環(huán)境圖，對(duì)該環(huán)境圖進(jìn)行卷積操作生成一幅光輝環(huán)境圖；(3)以得到的光輝環(huán)境圖對(duì)位于球面模型中心的三維模型進(jìn)行光照的預(yù)先計(jì)算，得到三維模型上每個(gè)點(diǎn)在各個(gè)方向上的光輝傳輸函數(shù)；(4)利用所述光輝傳輸函數(shù)對(duì)三維模型進(jìn)行渲染。本發(fā)明提出的虛實(shí)結(jié)合方法，基于多視點(diǎn)視頻作為背景能夠動(dòng)態(tài)反應(yīng)背景光照的實(shí)時(shí)變化，與其它的虛實(shí)結(jié)合渲染方法采用的背景都是靜止的相比，而本發(fā)明渲染的三維模型更加逼真和真實(shí)。
文檔編號(hào)G06T15/00GK103093491SQ201310019650
公開(kāi)日2013年5月8日 申請(qǐng)日期2013年1月18日 優(yōu)先權(quán)日2013年1月18日
發(fā)明者趙磊, 張勤飛, 陸勝, 李偉, 李亞珍 申請(qǐng)人:浙江大學(xué)