專利名稱：基于光度立體的自由視角重光照方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，特別涉及一種結(jié)合光度立體，利用多視角攝像陣 列在可控光照條件下采集動態(tài)視頻，恢復(fù)目標(biāo)物體的法向及反射特性，并進行自由視角重 光照的方法和系統(tǒng)。
背景技術(shù)：
隨著數(shù)字采集及處理技術(shù)的飛速發(fā)展，動態(tài)視頻已成為日常生活和科學(xué)研究中廣 泛存在的一種媒體格式。而在對視頻進行處理和播放的過程中，光照條件對視頻質(zhì)量和效 果有著至關(guān)重要的影響，另外拍攝的角度不同，也會帶來不同的效果。尤其對于感興趣的動 態(tài)物體，為實現(xiàn)從自由視角對該物體的觀察，和生成該物體在任意光照條件下的不同效果， 需要基于動態(tài)視頻對該目標(biāo)物體進行自由視角的重光照操作?，F(xiàn)有的物體重光照方法主要包括基于光度立體及基于圖像的重光照操作兩類?；诠舛攘Ⅲw的重光照方法，通過在多種可控光照條件下，對物體進行拍攝，并結(jié) 合參數(shù)化光照模型，恢復(fù)物體表面的幾何及反射屬性信息，從而根據(jù)光照模型在新的光照 條件下對物體進行重光照操作，并渲染至自由視角進行顯示。但是由于此類方法需要在多 種可控光照下對場景進行采集，且計算過程中采用無窮遠攝像機模型對物體表面的幾何信 息進行恢復(fù)，因此目前已有的基于光度立體的重光照方法多是針對單視角靜態(tài)場景進行處 理，少數(shù)針對動態(tài)場景的處理方法也需要使用造價昂貴的高速攝像頭；且由于需要使用參 數(shù)化光照模型進行求解，如漫反射光照模型或球面諧波等，因此此類方法也往往受限于對 郎伯表面進行處理?；趫D像的重光照方法，是將多種密集可控光照條件下采集的物體圖像作為基向 量，通過對基向量進行線性組合，實現(xiàn)目標(biāo)物體的重光照操作。由于在這一過程中，無需利 用解析光照模型進行參數(shù)求解，而是直接將采集圖像作為基向量進行組合，因此重光照效 果的真實性較高。但相應(yīng)的代價是，此種方法需要對目標(biāo)物體在密集光照條件下進行采集， 采集成本及復(fù)雜度均較高，且由于三維幾何信息的缺失，此類方法很難實現(xiàn)自由視角的渲染?？傊?，目前需要本領(lǐng)域技術(shù)人員迫切解決的一個技術(shù)問題就是，如何提供一種高 效的，支持自由視角觀察且渲染效果具有高真實感的動態(tài)場景重光照方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服已有技術(shù)的不足之處，特別是解決現(xiàn)有技術(shù)中對動態(tài)場景 重光照困難的缺陷。本發(fā)明提出了一種用于動態(tài)場景的，基于光度立體的自由視角重光照方法，包括 以下步驟在可控變化光照條件下，利用多視角攝像陣列采集目標(biāo)物體的動態(tài)視頻圖像； 根據(jù)采集的所述動態(tài)視頻圖像獲取所述目標(biāo)物體的三維模型及模型表面反射特性；根據(jù)所 述目標(biāo)物體的三維模型和模型表面反射特性獲得所述目標(biāo)物體的靜態(tài)三維物體重光照模型，并根據(jù)所述三維模型、模型表面反射特性及所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物 體的三維運動軌跡；根據(jù)所述目標(biāo)物體的三維運動軌跡和所述靜態(tài)三維物體重光照模型獲 得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照模型；和基于用戶給定的任意自由視角， 對所述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴自由視角的渲染，以實現(xiàn)所述目標(biāo)物 體的自由視角重光照。根據(jù)本發(fā)明的一個實施例，還包括根據(jù)所述預(yù)設(shè)的可控變化光照條件設(shè)置可控 光源序列，所述可控光源序列包括多個LED光源。根據(jù)本發(fā)明的一個實施例，還包括對所述多視角攝像陣列進行幾何及顏色校準(zhǔn)， 以及對所述多視角攝像陣列和所述可控光源序列進行同步校準(zhǔn)。根據(jù)本發(fā)明的一個實施例，還包括在采集場景中央放水晶球，在所述預(yù)設(shè)的可控 光照序列下利用所述多視角攝像陣列對所述水晶球進行拍攝；和對拍攝的多視角視頻中各 幀水晶球圖像進行全景拼圖，得到各時刻對應(yīng)的場景光照環(huán)境圖。根據(jù)本發(fā)明的一個實施例，所述獲取目標(biāo)物體的三維模型及模型表面反射特性的 步驟包括利用獲得的每個單視角中所述目標(biāo)物體的動態(tài)視頻，獲取所述目標(biāo)物體在對應(yīng) 的單視角中的可見區(qū)域表面的法向和反射特性信息；和對獲取的目標(biāo)物體在各個單視角中 的可見區(qū)域表面的法向和反射特性信息進行融合，以獲取所述目標(biāo)物體的三維模型及模型 表面反射特性。根據(jù)本發(fā)明的一個實施例，所述利用獲得的每個單視角的動態(tài)視頻，獲取目標(biāo)物 體在對應(yīng)的單視角中的可見區(qū)域表面的法向和反射特性的步驟包括對獲得的每個單視角 的動態(tài)視頻中均勻光照下拍攝的兩個圖像幀進行對齊操作，并獲得所述目標(biāo)物體的二維運 動軌跡；對已獲得的二維運動軌跡進行插值，并將變化光照下拍攝的各圖像幀與均勻光照 下拍攝的圖像幀對齊；利用魯棒的主分量分析方法(RPCA)對變化光照和均勻光照下的各 圖像幀中像素的置信度進行篩選；以及利用得到的高置信度光照條件下采集得到的圖像 幀，基于多項式紋理模型恢復(fù)所述目標(biāo)物體在所述單視角中的可見區(qū)域表面的法向及反射 牛寸性{曰息o根據(jù)本發(fā)明的一個實施例，所述利用得到的高置信度光照條件下采集得到的圖像 幀，基于多項式紋理模型恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的法向及反射特性 信息的步驟包括根據(jù)漫反射光照模型Id = P d(N*L)，恢復(fù)所述目標(biāo)物體在單視角中的可 見區(qū)域表面的法向N及漫反射特性Pd，其中，L根據(jù)所述場景光照環(huán)境圖計算獲得；根據(jù)鏡 面反射特性Is = I_Id，其中，I為采集的圖像幀中的像素值，并基于多項式紋理模型恢復(fù)相 應(yīng)可見區(qū)域表面的鏡面反射特性(片工,psK)，其中，分別對應(yīng)1到k階的鏡面反射多
項式系數(shù)；和對所述漫反射特性卩<1和所述鏡面反射特性(片山，片)進行綜合得到所述可
見區(qū)域表面的反射特性廣=(/^,片工,Psk)o根據(jù)本發(fā)明的一個實施例，所述多項式紋理模型為尸=||1|||>#*對，其中，
H = 1/2 (V+L)，K為多項式紋理模型的階數(shù)，L為入射光方向，V為觀察視角方向，H為利用 L和V計算得到的半角向量。根據(jù)本發(fā)明的一個實施例，還包括，在可見區(qū)域內(nèi)的每個子塊內(nèi)對所述目標(biāo)物體的法向及表面反射特性添加局部平滑約束，所述可見區(qū)域被劃分為多個子塊。根據(jù)本發(fā)明的一個實施例，所述對獲取的目標(biāo)物體在各個單視角中的可見區(qū)域表 面的法向及反射特性信息進行融合，以獲取所述目標(biāo)物體的三維模型及模型表面反射特性 的步驟包括采用匹配誤差能量函數(shù)對相鄰視角中目標(biāo)物體可見區(qū)域表面的法向及反射屬 性進行匹配，并利用對極約束去除錯誤匹配點；和基于相鄰視角匹配結(jié)果，對所述目標(biāo)物體 在各單視角中的可見區(qū)域表面的法向及反射特性信息進行融合，計算目標(biāo)物體的三維模型 及模型表面各點對應(yīng)的反射特性。根據(jù)本發(fā)明的一個實施例，還包括基于平滑性約束對目標(biāo)物體表面存在的漏洞 或不可見區(qū)域的法向及反射特性進行填充，以獲得目標(biāo)物體完整且連續(xù)的三維模型及模型 表面的法向和反射特性信息。根據(jù)本發(fā)明的一個實施例，所述根據(jù)目標(biāo)物體的三維模型、模型表面反射特性及 所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維運動軌跡的步驟包括根據(jù)所述目標(biāo)物 體的三維模型及表面各點的反射特性，并以所述二維運動軌跡為約束條件，結(jié)合所述攝像 陣列的參數(shù)，利用最小二乘方法求解三維模型表面各點的三維空間中的三維運動軌跡。根據(jù)本發(fā)明的一個實施例，所述根據(jù)目標(biāo)物體的三維模型和模型表面反射特性獲 得所述目標(biāo)物體的三維運動軌跡的步驟還包括根據(jù)所述目標(biāo)物體表面上的各點三維運動 軌跡的場景平滑性約束，對獲得的三維模型表面進行補繪及濾波操作。本發(fā)明實施例還提出了一種用于動態(tài)場景的，基于光度立體的自由視角重光照系 統(tǒng)，包括可控光源，用于產(chǎn)生預(yù)設(shè)的可控變化光照條件；多視角攝像陣列，用于在預(yù)設(shè)的 可控變化光照條件下采集目標(biāo)物體的動態(tài)視頻圖像；和重光照裝置，用于根據(jù)所述多視角 攝像陣列采集的所述動態(tài)視頻圖像獲取所述目標(biāo)物體的三維模型及模型表面反射特性，并 根據(jù)所述目標(biāo)物體的三維模型和模型表面反射特性獲得所述目標(biāo)物體的靜態(tài)三維物體重 光照模型，和根據(jù)所述三維模型、模型表面反射特性及所述多視角動態(tài)視頻圖像獲得所述 目標(biāo)物體的三維運動軌跡，之后根據(jù)所述目標(biāo)物體的三維運動軌跡和所述靜態(tài)三維物體重 光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照模型，以及基于預(yù)定的任意自 由視角，對所述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴所述自由視角的渲染，以實 現(xiàn)所述目標(biāo)物體的自由視角重光照。根據(jù)本發(fā)明的一個實施例，所述攝像陣列和所述可控光源序列之間同步。根據(jù)本發(fā)明的一個實施例，所述重光照裝置包括場景光照環(huán)境圖獲取模塊，用于 根據(jù)所述多視角攝像陣列在完整可控光照序列下對采集場景中央的水晶球拍攝的多視角 視頻，對所述多視角視頻中各幀水晶球圖像進行全景拼圖，得到各時刻對應(yīng)的場景光照環(huán) 境圖。根據(jù)本發(fā)明的一個實施例，所述重光照裝置包括第一計算模塊，用于根據(jù)所述多 視角攝像陣列采集的所述動態(tài)視頻圖像獲取所述目標(biāo)物體的三維模型及模型表面反射特 性，并根據(jù)所述目標(biāo)物體的三維模型和模型表面反射特性獲得所述目標(biāo)物體的靜態(tài)三維物 體重光照模型，和根據(jù)所述三維模型、模型表面反射特性及所述多視角動態(tài)視頻圖像獲得 所述目標(biāo)物體的三維運動軌跡；第二計算模塊，用于根據(jù)所述第一計算模塊獲得的所述目 標(biāo)物體的三維運動軌跡和所述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動 態(tài)三維物體重光照模型；和自由視角渲染模塊，用于接收用戶設(shè)定的自由視角，并對所述第二計算模塊獲得的所述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴所述自由視角的渲 染，以實現(xiàn)所述目標(biāo)物體的自由視角重光照。根據(jù)本發(fā)明的一個實施例，所述第一計算模塊包括單視角處理子模塊，用于利用 獲得的每個單視角的動態(tài)視頻，獲取所述目標(biāo)物體在對應(yīng)的單視角中的可見區(qū)域表面的法 向和反射特性信息；和融合子模塊，用于對所述單視角處理子模塊獲取的目標(biāo)物體在各個 單視角中的可見區(qū)域表面的法向和反射特性信息進行融合，以獲取所述目標(biāo)物體的三維模 型及模型表面反射特性。根據(jù)本發(fā)明的一個實施例，所述單視角處理子模塊對獲得的每個單視角的動態(tài)視 頻中均勻光照下拍攝的兩個圖像幀進行對齊操作，并獲得所述目標(biāo)物體的二維運動軌跡， 接著對已獲得的二維運動軌跡進行插值，并將變化光照下拍攝的各圖像幀與均勻光照下拍 攝的圖像幀對齊，之后利用魯棒的主分量分析方法(RPCA)對變化光照和均勻光照下的各 圖像幀中像素的置信度進行篩選，以及利用得到的高置信度光照條件下采集得到的圖像 幀，基于多項式紋理模型恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的法向及反射特性 fn息o根據(jù)本發(fā)明的一個實施例，所述單視角處理子模塊先根據(jù)漫反射光照模型Id = P d(N*L)，恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的法向N及漫反射特性P d，其中， L根據(jù)所述場景光照環(huán)境圖計算獲得，再根據(jù)鏡面反射特性Is = I_Id，其中，I為采集的圖 像幀中的像素值，并基于多項式紋理模型恢復(fù)相應(yīng)可見區(qū)域的鏡面反射特性，其中，片，《 分別對應(yīng)1到k階的鏡面反射多項式系數(shù)，之后對所述漫反射特性P d和所述鏡面反射特 性(片山，P)進行綜合得到所述可見區(qū)域表面的反射特性P = (pd，A%L ,Psk)o根據(jù)本發(fā)明的一個實施例，所述多項式紋理模型為
^，其中，
k=l
H = 1/2 (V+L)，K為多項式紋理模型的階數(shù)，L為入射光方向，V為觀察視角方向，H為利用 L和V計算得到的半角向量。根據(jù)本發(fā)明的一個實施例，所述融合子模塊采用匹配誤差能量函數(shù)對相鄰視角中 目標(biāo)物體可見區(qū)域表面的法向及反射屬性進行匹配，并利用對極約束去除錯誤匹配點，以 及基于相鄰視角匹配結(jié)果，對所述目標(biāo)物體在各單視角中的可見區(qū)域表面的法向及反射特 性信息進行融合，計算目標(biāo)物體的三維模型及模型表面各點對應(yīng)的反射特性。根據(jù)本發(fā)明的一個實施例，所述融合子模塊基于平滑性約束對目標(biāo)物體表面存在 的漏洞或不可見區(qū)域的法向及反射特性進行填充，以獲得目標(biāo)物體完整且連續(xù)的三維模型 及模型表面的法向和反射特性信息。根據(jù)本發(fā)明的一個實施例，所述第二計算模塊根據(jù)所述目標(biāo)物體的三維模型及表 面各點的反射特性，并以所述二維運動軌跡為約束條件，結(jié)合所述攝像陣列的參數(shù)，利用最 小二乘方法求解三維模型表面各點的三維空間中的三維運動軌跡。根據(jù)本發(fā)明的一個實施例，所述第二計算模塊還根據(jù)所述目標(biāo)物體表面上的各點 三維運動軌跡的場景平滑性約束，對獲得的三維模型表面進行補繪及濾波操作。本發(fā)明實施例為針對動態(tài)場景的動態(tài)重光照方法和系統(tǒng)，且支持自由視角的重光 照效果觀察，原理簡單，明確，易于實現(xiàn)。在本發(fā)明的一個實施例中，基于多項式紋理模型恢復(fù)所述單視角中可見區(qū)域的法向及反射特性信息，可以保證場景重光照得到真實的渲染效果。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實施例的用于動態(tài)場景的，基于光度立體的自由視角重光照方法的 流程圖；圖2a和2b分別為根據(jù)本發(fā)明實施例的在可控變化光照條件下采集的動態(tài)視頻示 意圖和多視角攝像陣列的示意圖；圖3為根據(jù)本發(fā)明實施例獲得目標(biāo)物體的三維模型及模型表面反射特性的流程 圖；圖4為根據(jù)本發(fā)明實施例的動態(tài)視頻對齊前后的示意圖；圖5為根據(jù)本發(fā)明實施例進行自由視角動態(tài)重光照的流程圖；圖6為根據(jù)本發(fā)明實施例的用于動態(tài)場景的基于光度立體的自由視角重光照系 統(tǒng)結(jié)構(gòu)圖。
具體實施例方式下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。本發(fā)明的核心構(gòu)思在于，利用多視角拍攝的可控光照下的動態(tài)場景視頻，并結(jié)合 置信度判斷的結(jié)果對每個單視角獲得的視頻圖像進行光度立體計算，以獲得目標(biāo)物體在每 個單視角可見區(qū)域內(nèi)表面的法向及反射特性信息。接著，對每個單視角可見區(qū)域內(nèi)表面的 法向及反射特性信息進行融合以獲取目標(biāo)物體的三維模型及模型表面反射特性，并依據(jù)獲 取的三維模型及模型表面反射特性計算該目標(biāo)物體的靜態(tài)三維物體重光照模型，以及結(jié)合 三維模型、模型表面反射特性和動態(tài)視頻圖像獲得目標(biāo)物體的三維運動軌跡。從而，根據(jù)該 目標(biāo)物體的靜態(tài)三維物體重光照模型和三維運動軌跡獲得該目標(biāo)物體的動態(tài)三維物體重 光照模型，并可依據(jù)該動態(tài)三維物體重光照模型進行依賴視角的渲染，以實現(xiàn)目標(biāo)物體自 由視角的動態(tài)重光照。如圖1所示，為本發(fā)明實施例的用于動態(tài)場景的，基于光度立體的自由視角重光 照方法的流程圖，該方法包括以下步驟步驟S101，對目標(biāo)物體，在可控變化光照條件下，利用多視角攝像陣列采集目標(biāo)物 體的動態(tài)視頻。例如，在本發(fā)明的一個實施例中，可由30個LED光源形成15種可控變化光 照條件(L1, L2, K，Lm, M = 15)，具體地，在可控變化光照條件(I1, I2, K，Lm, M = 15)中，光源 強度與多視角攝像陣列的光照時間相互配合，從而保證動態(tài)場景在采集結(jié)果中表現(xiàn)出正常 曝光的效果。另外，光照變化速率也與動態(tài)場景的運動規(guī)模相配合，在對于運動速率較慢的 動態(tài)場景進行采集時，可控光照條件的中兩個均勻光照狀態(tài)之間可以相隔較長的時間，而
10在對快速運動的動態(tài)場景進行采集時，應(yīng)在完整變光照序列中插于較多的均勻光照狀態(tài)， 保證運動跟蹤及后續(xù)運動軌跡計算的準(zhǔn)確性。如圖2a所示，為根據(jù)本發(fā)明實施例的在可控 變化光照條件下采集的動態(tài)視頻示意圖，需要說明的是圖2a僅是示意性的，本領(lǐng)域技術(shù)人 員應(yīng)該明白可在圖2a中加入更多的均勻光照狀態(tài)，這些均應(yīng)包含在本發(fā)明的包含范圍之 內(nèi)。根據(jù)本 發(fā)明的一個實施例，可由10個攝像頭構(gòu)成多視角攝像陣列，以在該可控變 化光照條件下利用多視角攝像陣列采集目標(biāo)物體的動態(tài)視頻，如圖2b所示，為根據(jù)本發(fā)明 實施例的多視角攝像陣列的示意圖。當(dāng)然本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知道，上述的LED光源、可控 變化光照條件及攝像頭的數(shù)量是可以增加或減少的，這些均應(yīng)包含在本發(fā)明的保護范圍之 內(nèi)。在本發(fā)明實施例中，對于動態(tài)場景，不需要對每一個動作狀態(tài)都要進行在15種光照狀 態(tài)下的拍攝，而是對每個動作狀態(tài)只對應(yīng)當(dāng)前時刻的一種光照條件進行拍攝即可，因此可 以使采集效率有所提高。在本發(fā)明的另一個實施例中，如果采集設(shè)備采用高速攝像機進行 拍攝的話，可以在相同的時間內(nèi)，采集更多的圖像幀。并且，在其他實施例中，本發(fā)明實施例 使用的光照條件數(shù)目還可以進一步提高，從而對光照空間進行更為密集的采樣。因此本發(fā) 明實施例通過上述可控變化光照條件及攝像機的組合方案，以保證對動態(tài)場景在光照空間 的高速采樣。該步驟具體包括步驟1. 1，對多視角攝像陣列進行幾何及顏色校準(zhǔn)，并將多視角攝像陣列與可控光 源進行同步校準(zhǔn)，從而保證采集得到的各圖像幀均是在穩(wěn)定的光照條件下采集得到的。步驟1. 2，在采集場景中央放一枚水晶球，在完整的15種可控變化光照條件下以 預(yù)定的光照序列利用多視角攝像陣列對水晶球進行同步采集。步驟1. 3，對10組視角拍攝的視頻中的各幀水晶球圖像進行全景拼圖，得到對應(yīng) 步驟1. 2中15種可控變化光照條件的場景光照環(huán)境圖。步驟1. 4，將目標(biāo)物體置于采集場景中，并利用多視角攝像陣列采集得到多個視角 的目標(biāo)物體的動態(tài)視頻。步驟S102，利用采集得到的目標(biāo)物體在每個單視角中的動態(tài)視頻，獲取目標(biāo)物體 在對應(yīng)單視角中的可見區(qū)域表面的法向和反射特性信息，如圖3所示，該步驟具體包括步驟2. 1，對單視角視頻中在均勻光照下拍攝的兩幀進行對齊操作，獲得目標(biāo)物體 的運動軌跡，例如在本發(fā)明的實施例中，可對在均勻光照L1, L16下拍攝的兩幀進行對齊操作。步驟2. . 2，對已獲得的目標(biāo)物體的運動軌跡進行插值，并將變化點光源下拍攝的 目標(biāo)物體的各幀圖像與均勻光照下拍攝的目標(biāo)物體的圖像對齊，如圖4所示，為根據(jù)本發(fā) 明實施例的動態(tài)視頻對齊前后的示意圖。步驟2. 3，利用魯棒的主分量分析方法(RPCA)對各像素的置信度進行篩選。因為 對于常見的多種材質(zhì)，光照特性主要還是以低頻分量為主，而視頻圖像采集過程中存在的 噪聲、遮擋陰影、高光區(qū)域的過飽和狀態(tài)等則是以不符合這一低頻特性的差殘分量存在的， 因此本發(fā)明實施例可以考慮利用RPCA對這類區(qū)域首先進行剔除，選出正常表示物體光照 特性的像素區(qū)域進行后續(xù)計算，這部分正常表示物體光照特性的像素區(qū)域即為高置信度區(qū) 域。因此，在本發(fā)明的一個實施例中，所述根據(jù)置信度進行篩選包括對各像素在不同時刻采 集數(shù)據(jù)中的過飽和和/或不可見性進行篩選。本發(fā)明實施例通過對過飽和和/或具有不可見性的像素進行篩選，從而能夠使光度立體的恢復(fù)結(jié)果準(zhǔn)確性得到保證。
步驟2. 4，對篩選后得到的滿足置信度條件采集得到的圖像幀中的各個像素進行 獨立處理，并基于多項式紋理模型恢復(fù)目標(biāo)物體在對應(yīng)的單視角中的可見區(qū)域表面的法向 及反射特性信息。對于圖像幀中各像素進行獨立處理包括選擇步驟2. 3中篩選得到的高置信度光 照角度作為數(shù)據(jù)集，首先考慮漫反射光照模型Id = P d(N*L)，恢復(fù)該單視角中可見區(qū)域表 面的法向N及漫反射特性P d，其中，L由利用步驟1.3得到的場景光照環(huán)境圖(MapJ計算
得到，具體地，Z 二 ΣΖρ 'Lp = MapL(p) · dir(p)，其中，Map為光照環(huán)境圖，ρ為光照環(huán)境圖
P
內(nèi)的某一像素點，dir(p)為P點所對應(yīng)的空間光源方向。之后，再考慮鏡面反射特性Is = I_Id，其中，I為采集圖像中的像素值，并基于多項式紋理模型恢復(fù)相應(yīng)可見區(qū)域表面的鏡
面反射特性(片,L ,Psk)，其中，分別對應(yīng)1到k階的鏡面反射多項式系數(shù)。在本發(fā)明 的一個實施例中，多項式紋理模型可為廠=Σ||‘ΙΕ^("*乂廣，其中，
為多項式紋理模型的階數(shù)，例如K = 5，L為入射光方向，V為觀察視角方向，H為利用L和V 計算得到的半角向量，當(dāng)然本領(lǐng)域技術(shù)人員也可選擇其他的多項式紋理模型以達到類似的 技術(shù)效果。之后對兩者進行綜合得到該可見區(qū)域表面的反射特性Ρ = (/^，ΑΛ,L，代)。此外，
可以以可見區(qū)域內(nèi)每個子塊內(nèi)對可見區(qū)域表面的法向及反射特性添加局部平滑約束，從而 可以解決矩陣求解中可能存在的欠定問題。因此，本發(fā)明實施例通過上述的多項式紋理模 型進行光度立體計算，可以保證場景重光照能夠得到真實的渲染效果。步驟S103，對各單視角獲取的目標(biāo)物體在單視角中的可見區(qū)域表面的法向及反射 特性信息進行融合，以獲取所述目標(biāo)物體的三維模型及模型表面反射特性。本發(fā)明使用光 流方法結(jié)合光度立體恢復(fù)結(jié)果，可以融合生成完整的三維模型及反射特性。該步驟具體包 括步驟3. 1，采用匹配誤差能量函數(shù)對相鄰視角ρ和q的法向Np，Ntl及反射特性P p， P q進行匹配，并利用對極約束去除錯誤匹配點 因子，函數(shù) SIFT (·)為 SIFT (Scale-invariant feature transform)特征描述符 的計算結(jié)果，F(xiàn)為相鄰視角間的基本矩陣，s. t. (subject to)為對極約束條件。步驟3. 2，基于相鄰視角匹配結(jié)果，對各單視角的光度立體恢復(fù)結(jié)果進行融合，計 算目標(biāo)物體的完整三維模型及模型表面各點對應(yīng)的反射特性。具體地融合包括，基于步驟 3. 1中已經(jīng)找到了匹配點，因此在該步驟中，對同一個像素點在若干單視角中的計算結(jié)果進 行合并，例如可以選擇各單視角計算結(jié)果的中值或平均值作為最終結(jié)果，或是選擇對多項 式紋理模型擬合誤差最小的單視角的計算結(jié)果做為融合后的結(jié)果。步驟3. 3，對于三維模型中可能存在的漏洞或不可見區(qū)域，基于平滑性約束對該漏 洞或不可見區(qū)域的法向及反射特性進行填充，獲得目標(biāo)物體完整且連續(xù)的三維模型及模型 表面的反射特性信息。
步驟S104，基于得到的三維模型以及模型表面的反射特性信息對目標(biāo)物體進行靜 態(tài)重光照操作，在用戶設(shè)定的理想光照條件下，對目標(biāo)物體進行渲染，得到目標(biāo)物體的靜態(tài) 三維物體重光照模型，如圖5所示，該步驟具體包括步驟4. 1，根據(jù)用戶給定的光照環(huán)境，以及根據(jù)恢復(fù)得到的目標(biāo)物體的法向及反射 特性信息，利用多項式紋理模型，對步驟2. 1. 2中對齊時刻的目標(biāo)物體的三維模型進行靜 態(tài)重光照操作，得到靜態(tài)三維物體重光照模型基于漫反射光照模型
為光照環(huán)境圖中的一個像素；并基于多項式紋理模型
態(tài)三維物體重光照模型 步驟S105，估計目標(biāo)物體對應(yīng)動態(tài)視頻的三維運動軌跡，以得到各時刻的動態(tài)三 維物體重光照模型。該步驟具體包括步驟5. 1，將步驟2. 1中估計得到的多視角視頻中的各像素的二維運動軌跡作為 約束條件，利用已有的目標(biāo)物體表面法向信息及反射特性信息，并結(jié)合多視角攝像陣列的 參數(shù)，例如攝像陣列中各視角攝像機對應(yīng)的內(nèi)參矩陣(常用K表示)，及外參矩陣(常用 [R t]表示)，和最小化三維運動軌跡驅(qū)動的變形模型在各單視角的投影與實拍數(shù)據(jù)間的差 異，求解三維模型表面各點在三維空間中的三維運動軌跡。具體地，按照以下公式計算的運動軌跡運動的模型(即三維運動軌跡驅(qū)動的變形 模型)表面各點的三維運動在各視角中的二維投影，與實際采集圖像中的各視角中的對應(yīng) 投影像素之間的二維運動軌跡(由光流計算得到)的差異。 其中，ν為屬于點(
均可見的視角范圍Vs中的某一視角，Pv
為該視角對應(yīng)的投影矩陣，mv表示該視角對應(yīng)的二維運動軌跡，△ ( ·)為拉普拉斯算子，w 為權(quán)重因子，受該點在運動軌跡計算的起始、終止時刻的局部法向一致性影響，在本發(fā)明的
一個實施例中，例如孫叫卜
即如果某像素點在運動過程中，
局部法向的一致性發(fā)生了變化，那可能在這一局部區(qū)域內(nèi)部發(fā)生了非剛體的運動，因此這 樣的區(qū)域則不應(yīng)該再要求區(qū)域內(nèi)各點的運動軌跡具有較好的平滑性，因此這類區(qū)域的w取
值應(yīng)較小。上式中的第一項對三維運動軌跡與各單視角二維運動軌跡之間的一致性進行約 束，第二至四項約束模型表面各點三維運動軌跡的空間平滑性，第五項對兩時刻對應(yīng)點的 反射特性一致性進行約束。
步驟5. 2，根據(jù)所述目標(biāo)物體表面上的各點三維運動軌跡的場景平滑性約束，對獲 得的三維模型表面進行補繪及濾波操作，保證得到目標(biāo)物體三維模型的完整且連續(xù)的三維 運動軌跡。步驟5. 3，根據(jù)步驟4. 1中的對齊時刻靜態(tài)三維物體重光照模型，及三維運動軌 跡，得到動態(tài)視頻中各時刻對應(yīng)的動態(tài)三維物體重光照模型。具體地，在本發(fā)明的一個實施 例中，對于起始時刻模型表面之上的各點，按照目標(biāo)物體的三維運動軌跡，保拓?fù)涞剡\動到 動態(tài)視頻中每一時刻的對應(yīng)位置，而重光照后的各點的色彩信息保持不變，從而得到了對 應(yīng)各時刻的目標(biāo)物體重光照模型，將各時刻的信息合在一起即可以看作是動態(tài)三維物體重 光照模型。步驟S106，基于用戶給定的任意自由視角，對目標(biāo)物體重光照后的動態(tài)三維物體 重光照模型進行依賴視角的渲染，以實現(xiàn)該目標(biāo)物體的自由視角動態(tài)重光照。本發(fā)明實施例另一方面還提出了一種用于動態(tài)場景的，基于光度立體的自 由視角 重光照系統(tǒng)。如圖6所示，為根據(jù)本發(fā)明實施例的用于動態(tài)場景的基于光度立體的自由視 角重光照系統(tǒng)結(jié)構(gòu)圖。該系統(tǒng)包括可控光源100，與可控光源100同步的多視角攝像陣列 200，以及與多視角攝像陣列200相連接的重光照裝置300。其中，可控光源100用于產(chǎn)生預(yù) 設(shè)的可控變化光照條件。多視角攝像陣列200用于采集目標(biāo)物體的動態(tài)視頻圖像。重光照 裝置300用于根據(jù)多視角攝像陣列200采集的所述動態(tài)視頻圖像獲取所述目標(biāo)物體的三維 模型及模型表面反射特性，并根據(jù)所述目標(biāo)物體的三維模型和模型表面反射特性獲得所述 目標(biāo)物體的靜態(tài)三維物體重光照模型，和根據(jù)所述三維模型、模型表面反射特性及所述多 視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維運動軌跡，之后根據(jù)所述目標(biāo)物體的三維運動 軌跡和所述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照 模型，以及基于用戶給定的任意自由視角，對所述目標(biāo)物體的動態(tài)三維物體重光照模型進 行依賴視角的渲染，以實現(xiàn)所述目標(biāo)物體的自由視角重光照。在本發(fā)明的一個實施例中，重光照裝置300包括場景光照環(huán)境圖獲取模塊310，場 景光照環(huán)境圖獲取模塊310用于根據(jù)多視角攝像陣列200在完整可控光照序列下對采集場 景中央的水晶球拍攝的多視角視頻，對多視角視頻中各幀水晶球圖像進行全景拼圖，得到 各時刻對應(yīng)的場景光照環(huán)境圖。在本發(fā)明的一個實施例中，該重光照裝置300包括第一計算模塊320、第二計算模 塊330和自由視角渲染模塊340。其中，第一計算模塊320用于根據(jù)多視角攝像陣列200采 集的動態(tài)視頻圖像獲取所述目標(biāo)物體的三維模型及模型表面反射特性，并根據(jù)所述目標(biāo)物 體的三維模型和模型表面反射特性獲得所述目標(biāo)物體的靜態(tài)三維物體重光照模型，以及根 據(jù)所述三維模型、模型表面反射特性及所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維 運動軌跡。第二計算模塊330用于根據(jù)第一計算模塊320獲得的所述目標(biāo)物體的三維運動 軌跡和所述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照 模型。自由視角渲染模塊340用于接收用戶設(shè)定的自由視角，并對第二計算模塊330獲得 的所述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴所述自由視角的渲染，以實現(xiàn)所述目 標(biāo)物體的自由視角重光照。在本發(fā)明的一個實施例中，更具體地，第一計算模塊320包括單視角處理子模塊 321和融合子模塊322。其中，單視角處理子模塊321用于利用獲得的每個單視角的動態(tài)視頻，獲取所述目標(biāo)物體在對應(yīng)的單視角中的可見區(qū)域表面的法向和反射特性信息。融合子 模塊322用于對單視角處理子模塊321獲取的目標(biāo)物體在各個單視角中的可見區(qū)域表面的 法向和反射特性信息進行融合，以獲取所述目標(biāo)物體的三維模型及模型表面反射特性。具 體地，單視角處理子模塊321對獲得的每個單視角的動態(tài)視頻中均勻光照下拍攝的兩個圖 像幀進行對齊操作，并獲得所述目標(biāo)物體的二維運動軌跡，接著對已獲得的二維運動軌跡 進行插值，并將變化光照下拍攝的各圖像幀與均勻光照下拍攝的圖像幀對齊，之后利用魯 棒的主分量分析方法(RPCA)對變化光照和均勻光照下的各圖像幀中像素的置信度進行篩 選，以及利用得到的高置信度光照條件下采集得到的圖像幀，基于多項式紋理模型恢復(fù)所 述目標(biāo)物體在單視角中的可見區(qū)域表面的法向及反射特性信息。更為具體地，單視角處理 子模塊321先根據(jù)漫反射光照模型Id = P d(N*L)，恢復(fù)所述目標(biāo)物體在單視角中可見區(qū)域 表面的法向N及漫反射特性P d，其中，L根據(jù)所述場景光照環(huán)境圖計算獲得，再根據(jù)鏡面反 射特性Is = I_Id，其中，I為采集的圖像幀中的像素值，并基于多項式紋理模型恢復(fù)相應(yīng)可
見區(qū)域的鏡面反射特性(as，l ,psk)，其中，分別對應(yīng)1到k階的鏡面反射多項式系數(shù)， 之后對所述漫反射特性卩<1和所述鏡面反射特性(片山，片)進行綜合得到所述可見區(qū)域表 面的反射特性
其中，在本發(fā)明的一個實施例中，多項式紋理模型可為
,其中，H= 1/2(V+L)，K為多項式紋理模型的階數(shù)，L為入射光方向， V為觀察視角方向，H為利用L和V計算得到的半角向量。在本發(fā)明的一個實施例中，融合子模塊322采用匹配誤差能量函數(shù)對相鄰視角中 目標(biāo)物體可見區(qū)域表面的法向及反射屬性進行匹配，并利用對極約束去除錯誤匹配點，以 及基于相鄰視角匹配結(jié)果，對所述目標(biāo)物體在各單視角中的可見區(qū)域表面的法向及反射特 性信息進行融合，計算目標(biāo)物體的三維模型及模型表面各點對應(yīng)的反射特性。在本發(fā)明的另一個實施例中，融合子模塊322基于平滑性約束對目標(biāo)物體表面存 在的漏洞或不可見區(qū)域的法向及反射特性進行填充，以獲得目標(biāo)物體完整且連續(xù)的三維模 型及模型表面的法向和反射特性信息。在本發(fā)明的一個實施例中，第二計算模塊330根據(jù)目標(biāo)物體的三維模型及表面各 點的反射特性，并以二維運動軌跡為約束條件，結(jié)合多視角攝像陣列200的參數(shù)，利用最小 二乘方法求解三維模型表面各點的三維空間中的三維運動軌跡。在本發(fā)明的另一個實施例中，第二計算模塊330還根據(jù)目標(biāo)物體表面上的各點三 維運動軌跡的場景平滑性約束，對獲得的三維模型表面進行補繪及濾波操作。根據(jù)本發(fā)明所公開的上述系統(tǒng)，能夠很容易地實現(xiàn)對目標(biāo)物體的自由視角重光 照。盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種用于動態(tài)場景的，基于光度立體的自由視角重光照方法，其特征在于，包括以下步驟在預(yù)設(shè)的可控變化光照條件下，利用多視角攝像陣列采集目標(biāo)物體的多視角動態(tài)視頻圖像；根據(jù)采集的所述多視角動態(tài)視頻圖像獲取所述目標(biāo)物體的三維模型及模型表面反射特性；根據(jù)所述目標(biāo)物體的三維模型和模型表面反射特性獲得所述目標(biāo)物體的靜態(tài)三維物體重光照模型，并根據(jù)所述三維模型、模型表面反射特性及所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維運動軌跡；根據(jù)所述目標(biāo)物體的三維運動軌跡和所述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照模型；和基于用戶給定的任意自由視角，對所述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴所述自由視角的渲染，以實現(xiàn)所述目標(biāo)物體的自由視角重光照。
2.如權(quán)利要求1所述的方法，其特征在于，還包括根據(jù)所述預(yù)設(shè)的可控變化光照條件設(shè)置可控光源序列，所述可控光源序列包括多個 LED光源。
3.如權(quán)利要求2所述的方法，其特征在于，還包括對所述多視角攝像陣列進行幾何及顏色校準(zhǔn)，以及對所述多視角攝像陣列和所述可控 光源序列進行同步校準(zhǔn)。
4.如權(quán)利要求2所述的方法，其特征在于，還包括在采集場景中央放水晶球，在所述預(yù)設(shè)的可控光照序列下利用所述多視角攝像陣列對 所述水晶球進行拍攝；和對拍攝的多視角視頻中各幀水晶球圖像進行全景拼圖，得到各時刻對應(yīng)的場景光照環(huán) 境圖。
5.如權(quán)利要求4所述的方法，其特征在于，所述獲取目標(biāo)物體的三維模型及模型表面 反射特性的步驟包括利用獲得的每個單視角中所述目標(biāo)物體的動態(tài)視頻，獲取所述目標(biāo)物體在對應(yīng)的單視 角中的可見區(qū)域表面的法向和反射特性信息；和對獲取的目標(biāo)物體在各個單視角中的可見區(qū)域表面的法向和反射特性信息進行融合， 以獲取所述目標(biāo)物體的三維模型及模型表面反射特性。
6.如權(quán)利要求5所述的方法，其特征在于，所述利用獲得的每個單視角的動態(tài)視頻，獲 取目標(biāo)物體在對應(yīng)的單視角中的可見區(qū)域表面的法向和反射特性的步驟包括對獲得的每個單視角的動態(tài)視頻中均勻光照下拍攝的兩個圖像幀進行對齊操作，并獲 得所述目標(biāo)物體的二維運動軌跡；對已獲得的二維運動軌跡進行插值，并將變化光照下拍攝的各圖像幀與均勻光照下拍 攝的圖像幀對齊；利用魯棒的主分量分析方法RPCA對變化光照和均勻光照下的各圖像幀中像素的置信 度進行篩選；以及利用得到的高置信度光照條件下采集得到的圖像幀，基于多項式紋理模型恢復(fù)所述目標(biāo)物體在所述單視角中的可見區(qū)域表面的法向及反射特性信息。
7.如權(quán)利要求6所述的方法，其特征在于，所述利用得到的高置信度光照條件下采集 得到的圖像幀，基于多項式紋理模型恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的法向 及反射特性信息的步驟包括根據(jù)漫反射光照模型Id = P d(N*L)，恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的 法向N及漫反射特性P d，其中，L根據(jù)所述場景光照環(huán)境圖計算獲得；根據(jù)鏡面反射特性Is = I_Id，其中，I為采集的圖像幀中的像素值，并基于多項式紋理 模型恢復(fù)相應(yīng)可見區(qū)域表面的鏡面反射特性(片,L ,PSK)，其中，pf，《分別對應(yīng)1到k階的 鏡面反射多項式系數(shù)；和對所述漫反射特性Pd和所述鏡面反射特性(a%l ,《)進行綜合得到所述可見區(qū)域表面的反射特性p =，P)。
8.如權(quán)利要求7所述的方法，其特征在于，所述多項式紋理模型為,其中，H= 1/2(V+L)，K為多項式紋理模型的階數(shù)，L為入射光k=l方向，V為觀察視角方向，H為利用L和V計算得到的半角向量。
9.如權(quán)利要求7所述的方法，其特征在于，還包括，在可見區(qū)域內(nèi)的每個子塊內(nèi)對所述 目標(biāo)物體的法向及表面反射特性添加局部平滑約束，所述可見區(qū)域被劃分為多個子塊。
10.如權(quán)利要求5所述的方法，其特征在于，所述對獲取的目標(biāo)物體在各個單視角中的 可見區(qū)域表面的法向及反射特性信息進行融合，以獲取所述目標(biāo)物體的三維模型及模型表 面反射特性的步驟包括采用匹配誤差能量函數(shù)對相鄰視角中目標(biāo)物體可見區(qū)域表面的法向及反射屬性進行 匹配，并利用對極約束去除錯誤匹配點；和基于相鄰視角匹配結(jié)果，對所述目標(biāo)物體在各單視角中的可見區(qū)域表面的法向及反射 特性信息進行融合，計算目標(biāo)物體的三維模型及模型表面各點對應(yīng)的反射特性。
11.如權(quán)利要求10所述的方法，其特征在于，還包括基于平滑性約束對目標(biāo)物體表面存在的漏洞或不可見區(qū)域的法向及反射特性進行填 充，以獲得目標(biāo)物體完整且連續(xù)的三維模型及模型表面的法向和反射特性信息。
12.如權(quán)利要求6所述的方法，其特征在于，所述根據(jù)目標(biāo)物體的三維模型、模型表面 反射特性及所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維運動軌跡的步驟包括根據(jù)所述目標(biāo)物體的三維模型及表面各點的反射特性，并以所述二維運動軌跡為約束 條件，結(jié)合所述攝像陣列的參數(shù)，利用最小二乘方法求解三維模型表面各點的三維空間中 的三維運動軌跡。
13.如權(quán)利要求12所述的方法，其特征在于，所述根據(jù)目標(biāo)物體的三維模型和模型表 面反射特性獲得所述目標(biāo)物體的三維運動軌跡的步驟還包括根據(jù)所述目標(biāo)物體表面上的各點三維運動軌跡的場景平滑性約束，對獲得的三維模型 表面進行補繪及濾波操作。
14.一種用于動態(tài)場景的，基于光度立體的自由視角重光照系統(tǒng)，其特征在于，包括 可控光源，用于產(chǎn)生預(yù)設(shè)的可控變化光照條件；多視角攝像陣列，用于在預(yù)設(shè)的可控變化光照條件下采集目標(biāo)物體的動態(tài)視頻圖像；和重光照裝置，用于根據(jù)所述多視角攝像陣列采集的所述動態(tài)視頻圖像獲取所述目標(biāo)物 體的三維模型及模型表面反射特性，并根據(jù)所述目標(biāo)物體的三維模型和模型表面反射特性 獲得所述目標(biāo)物體的靜態(tài)三維物體重光照模型，和根據(jù)所述三維模型、模型表面反射特性 及所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維運動軌跡，之后根據(jù)所述目標(biāo)物體的 三維運動軌跡和所述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物 體重光照模型，以及基于預(yù)定的任意自由視角，對所述目標(biāo)物體的動態(tài)三維物體重光照模 型進行依賴所述自由視角的渲染，以實現(xiàn)所述目標(biāo)物體的自由視角重光照。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述攝像陣列和所述可控光源序列之間 同步。
16.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述重光照裝置包括場景光照環(huán)境圖獲 取模塊，用于根據(jù)所述多視角攝像陣列在完整可控光照序列下對采集場景中央的水晶球拍 攝的多視角視頻，對所述多視角視頻中各幀水晶球圖像進行全景拼圖，得到各時刻對應(yīng)的 場景光照環(huán)境圖。
17.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述重光照裝置包括第一計算模塊，用于根據(jù)所述多視角攝像陣列采集的所述動態(tài)視頻圖像獲取所述目標(biāo) 物體的三維模型及模型表面反射特性，并根據(jù)所述目標(biāo)物體的三維模型和模型表面反射特 性獲得所述目標(biāo)物體的靜態(tài)三維物體重光照模型，和根據(jù)所述三維模型、模型表面反射特 性及所述多視角動態(tài)視頻圖像獲得所述目標(biāo)物體的三維運動軌跡；第二計算模塊，用于根據(jù)所述第一計算模塊獲得的所述目標(biāo)物體的三維運動軌跡和所 述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照模型；和自由視角渲染模塊，用于接收用戶設(shè)定的自由視角，并對所述第二計算模塊獲得的所 述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴所述自由視角的渲染，以實現(xiàn)所述目標(biāo)物 體的自由視角重光照。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述第一計算模塊包括單視角處理子模塊，用于利用獲得的每個單視角的動態(tài)視頻，獲取所述目標(biāo)物體在對 應(yīng)的單視角中的可見區(qū)域表面的法向和反射特性信息；和融合子模塊，用于對所述單視角處理子模塊獲取的目標(biāo)物體在各個單視角中的可見區(qū) 域表面的法向和反射特性信息進行融合，以獲取所述目標(biāo)物體的三維模型及模型表面反射 特性。
19.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述單視角處理子模塊對獲得的每個單 視角的動態(tài)視頻中均勻光照下拍攝的兩個圖像幀進行對齊操作，并獲得所述目標(biāo)物體的二 維運動軌跡，接著對已獲得的二維運動軌跡進行插值，并將變化光照下拍攝的各圖像幀與 均勻光照下拍攝的圖像幀對齊，之后利用魯棒的主分量分析方法RPCA對變化光照和均勻 光照下的各圖像幀中像素的置信度進行篩選，以及利用得到的高置信度光照條件下采集得 到的圖像幀，基于多項式紋理模型恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的法向及 反射特性信息。
20.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述單視角處理子模塊先根據(jù)漫反射光照模型Id = P d(N*L)，恢復(fù)所述目標(biāo)物體在單視角中的可見區(qū)域表面的法向N及漫反射特 性Pd，其中，L根據(jù)所述場景光照環(huán)境圖計算獲得，再根據(jù)鏡面反射特性Is = I_Id，其中， I為采集的圖像幀中的像素值，并基于多項式紋理模型恢復(fù)相應(yīng)可見區(qū)域的鏡面反射特性， 其中，W，《分別對應(yīng)1到k階的鏡面反射多項式系數(shù)，之后對所述漫反射特性P d和所述 鏡面反射特性(AS,L，片)進行綜合得到所述可見區(qū)域表面的反射特性Ρ = P/,L ,PSK、。
21.如權(quán)利要求20所述的系統(tǒng)，其特征在于，所述多項式紋理模型為Γ = \\1\ΣρΙ{Ν*Η ，其中，H= 1/2 (V+L)，K為多項式紋理模型的階數(shù)，L為入射光 k=\ 方向，V為觀察視角方向，H為利用L和V計算得到的半角向量。
22.如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述融合子模塊采用匹配誤差能量函數(shù) 對相鄰視角中目標(biāo)物體可見區(qū)域表面的法向及反射屬性進行匹配，并利用對極約束去除錯 誤匹配點，以及基于相鄰視角匹配結(jié)果，對所述目標(biāo)物體在各單視角中的可見區(qū)域表面的 法向及反射特性信息進行融合，計算目標(biāo)物體的三維模型及模型表面各點對應(yīng)的反射特 性。
23.如權(quán)利要求22所述的系統(tǒng)，其特征在于，所述融合子模塊基于平滑性約束對目標(biāo) 物體表面存在的漏洞或不可見區(qū)域的法向及反射特性進行填充，以獲得目標(biāo)物體完整且連 續(xù)的三維模型及模型表面的法向和反射特性信息。
24.如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述第二計算模塊根據(jù)所述目標(biāo)物體的 三維模型及表面各點的反射特性，并以所述二維運動軌跡為約束條件，結(jié)合所述攝像陣列 的參數(shù)，利用最小二乘方法求解三維模型表面各點的三維空間中的三維運動軌跡。
25.如權(quán)利要求24所述的系統(tǒng)，其特征在于，所述第二計算模塊還根據(jù)所述目標(biāo)物體 表面上的各點三維運動軌跡的場景平滑性約束，對獲得的三維模型表面進行補繪及濾波操 作。
全文摘要
本發(fā)明提出一種基于光度立體的自由視角重光照方法，包括利用多視角攝像陣列采集目標(biāo)物體的多視角動態(tài)視頻圖像；根據(jù)采集的所述多視角動態(tài)視頻圖像獲取所述目標(biāo)物體的三維模型及模型表面反射特性；獲得所述目標(biāo)物體的靜態(tài)三維物體重光照模型及所述目標(biāo)物體的三維運動軌跡；根據(jù)所述目標(biāo)物體的三維運動軌跡和所述靜態(tài)三維物體重光照模型獲得所述目標(biāo)物體在各時刻的動態(tài)三維物體重光照模型；和基于用戶給定的任意自由視角，對所述目標(biāo)物體的動態(tài)三維物體重光照模型進行依賴所述自由視角的渲染，以實現(xiàn)所述目標(biāo)物體的自由視角重光照。本發(fā)明提供了一種高效的、支持自由視角觀察的動態(tài)場景重光照方法。
文檔編號G06T15/50GK101872491SQ20101018830
公開日2010年10月27日 申請日期2010年5月21日 優(yōu)先權(quán)日2010年5月21日
發(fā)明者戴瓊海, 李冠楠 申請人:清華大學(xué)