專利名稱：變光照條件下運(yùn)動目標(biāo)的三維重建方法及三維重建裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)圖形學(xué)和計算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種變光照條件下運(yùn)
動目標(biāo)的三維重建方法及三維重建裝置。
背景技術(shù)：
從多視角視頻序列中獲取精確的動態(tài)場景的三維模型是當(dāng)前計算機(jī)視覺、計算機(jī)圖形學(xué)等學(xué)科領(lǐng)域的熱點研究問題。傳統(tǒng)的基于圖像的多視角立體重建方法在缺少紋理的區(qū)域難以建立精確的三維模型，但是可以建立出全視角的三維模型。傳統(tǒng)的光度立體方法是利用單一視角的多光照圖像，通過估計模型表面的法向信息進(jìn)而估計出深度圖來建立單一視角的三維模型，光度立體方法雖然可以建立出較為精細(xì)的三維模型，但是這個模型是非全視角的三維模型。從而導(dǎo)致對于運(yùn)動目標(biāo)又不能直接采集到同一時刻的多光照的圖像。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為此，本發(fā)明的第一個目的在于提供一種變光照條件下運(yùn)動目標(biāo)的三維重建方法，該方法聯(lián)合多視角立體和光度立體方法的優(yōu)勢，結(jié)合周期性變光照條件下的運(yùn)動估計和運(yùn)動補(bǔ)償，實現(xiàn)對運(yùn)動目標(biāo)的高精度的三維模型的重建。本發(fā)明的第二個目的在于提供一種變光照條件下運(yùn)動目標(biāo)的三維重建裝置。為達(dá)到上述目的，本發(fā)明第一方面的實施例提出一種變光照條件下運(yùn)動目標(biāo)的三維重建方法，包括如下步驟利用多臺攝像機(jī)采集運(yùn)動目標(biāo)在光源提供的變光照條件下的多個視角的圖像，其中，所述光源周期性地向所述運(yùn)動目標(biāo)提供變光照條件；根據(jù)所述多臺攝像機(jī)在每一時刻采集得到的所述運(yùn)動目標(biāo)的多個視角的圖像，提取所述運(yùn)動目標(biāo)的輪廓信息，根據(jù)所述運(yùn)動目標(biāo)的輪廓信息和對應(yīng)于每個視角的攝像機(jī)的參數(shù)建立可視凸殼，利用所述可視凸殼建立所述運(yùn)動目標(biāo)的初始三維模型；計算所述運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果，聯(lián)合所述多個周期中相同光照條件下的運(yùn)動估計結(jié)果以對所述運(yùn)動目標(biāo)進(jìn)行周期性變光照條件下的運(yùn)動估計，利用運(yùn)動估計得到的最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫矫總€時刻的所述運(yùn)動目標(biāo)的多光照圖像；聯(lián)合所述初始三維模型和所述每個時刻的所述運(yùn)動目標(biāo)的多光照圖像恢復(fù)得到所述初始三維模型的法向信息，包括根據(jù)所述初始三維模型獲取不同光照條件下的諧波系數(shù)，對所述不同光照條件下的諧波系數(shù)進(jìn)行優(yōu)化得到所述初始三維模型的法向信息；對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進(jìn)行聯(lián)合優(yōu)化， 得到所述運(yùn)動目標(biāo)的優(yōu)化三維模型。根據(jù)本發(fā)明實施例的變光照條件下運(yùn)動目標(biāo)的三維重建方法，通過運(yùn)動估計和運(yùn)動補(bǔ)償?shù)玫蕉喙庹盏膱D像對運(yùn)動目標(biāo)的初始三維模型的法向信息進(jìn)行優(yōu)化，聯(lián)合多視角立體和光度立體方法的優(yōu)勢結(jié)合周期性變光照條件下的運(yùn)動估計和運(yùn)動補(bǔ)償，實現(xiàn)對運(yùn)動目標(biāo)的高精度的三維重建。本發(fā)明第二方面的實施例提出了一種變光照條件下運(yùn)動目標(biāo)的三維重建裝置，包括采集模塊，所述采集模塊用于采集運(yùn)動目標(biāo)在光源提供的變光照條件下的多個視角的圖像，其中，所述采集模塊包括多個采集單元，每個采集單元用于采集所述運(yùn)動目標(biāo)在光源提供的變光照條件下的每個視角的圖像，所述光源周期性地向所述運(yùn)動目標(biāo)提供變光照條件；初始三維模型建立模塊，所述初始三維模型建立模塊與所述采集模塊相連，所述初始三維模型建立模塊用于根據(jù)所述采集模塊在每一時刻采集得到的所述運(yùn)動目標(biāo)的多個視角的圖像，提取所述運(yùn)動目標(biāo)的輪廓信息，根據(jù)所述運(yùn)動目標(biāo)的輪廓信息和對應(yīng)于每個視角的采集單元的參數(shù)建立可視凸殼，利用所述可視凸殼建立所述運(yùn)動目標(biāo)的初始三維模型； 多光照圖像獲取模塊，所述多光照圖像獲取模塊與所述初始三維模型建立模塊相連，所述多光照圖像獲取模塊用于計算所述運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果，聯(lián)合所述多個周期中相同光照條件下的運(yùn)動估計結(jié)果以對所述運(yùn)動目標(biāo)進(jìn)行周期性變光照條件下的運(yùn)動估計，利用運(yùn)動估計得到的最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫矫總€時刻的所述運(yùn)動目標(biāo)的多光照圖像；法向信息恢復(fù)模塊，所述法向信息恢復(fù)模塊分別與所述初始三維模型建立模塊和所述多光照圖像獲取模塊相連，所述法向信息恢復(fù)模塊用于聯(lián)合所述初始三維模型和所述每個時刻的所述運(yùn)動目標(biāo)的多光照圖像，根據(jù)所述初始三維模型獲取不同光照條件下的諧波系數(shù)，對所述不同光照條件下的諧波系數(shù)進(jìn)行優(yōu)化得到所述初始三維模型的法向信息；聯(lián)合優(yōu)化模塊，所述聯(lián)合優(yōu)化模塊與所述初始三維模型建立模塊和所述法向信息恢復(fù)模塊相連，所述聯(lián)合優(yōu)化模塊用于對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進(jìn)行聯(lián)合優(yōu)化，得到所述運(yùn)動目標(biāo)的優(yōu)化三維模型。根據(jù)本發(fā)明實施例的變光照條件下運(yùn)動目標(biāo)的三維重建裝置，通過運(yùn)動估計和運(yùn)動補(bǔ)償?shù)玫蕉喙庹盏膱D像對運(yùn)動目標(biāo)的初始三維模型的法向信息進(jìn)行優(yōu)化，聯(lián)合多視角立體和光度立體方法的優(yōu)勢結(jié)合周期性變光照條件下的運(yùn)動估計和運(yùn)動補(bǔ)償，實現(xiàn)對運(yùn)動目標(biāo)的高精度的三維重建。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實施例的變光照條件下運(yùn)動目標(biāo)的三維重建方法的流程圖；圖2為運(yùn)動目標(biāo)變光照條件下的多個視角的圖像；圖3為光源提供的光照條件的變化示意圖；圖4為兩個周期內(nèi)采集到的運(yùn)動目標(biāo)的圖像；和圖5為根據(jù)本發(fā)明實施例的變光照條件下運(yùn)動目標(biāo)的三維重建裝置的示意圖。
具體實施方式
下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。下面參考圖1至圖4描述根據(jù)本發(fā)明實施例的變光照條件下運(yùn)動目標(biāo)的三維重建方法。如圖1所示，本發(fā)明實施例提供的變光照條件下運(yùn)動目標(biāo)的三維重建方法包括如下步驟SlOl 采集變光照條件下的運(yùn)動目標(biāo)的多視角圖像。利用多臺攝像機(jī)和光源組成可以實現(xiàn)多視角且變光照的圖像采集設(shè)備。具體而言，多臺攝像機(jī)可以采集運(yùn)動目標(biāo)的多個視角的圖像，光源可以周期性地向運(yùn)動目標(biāo)提供變光照條件。其中，所述變光照條件是指施加到運(yùn)動目標(biāo)上的光照強(qiáng)度是變化的。利用多臺攝像機(jī)采集運(yùn)動目標(biāo)在變光照條件下的多個視角的圖像。在本發(fā)明的一個實施例中，利用硬件同步設(shè)備對多個攝像機(jī)和光源進(jìn)行同步，以保證多視角變光照的采集環(huán)境。如圖2所示，多臺攝像機(jī)采集運(yùn)動目標(biāo)的20個視角的圖像，包括視角1、視角2、視角3、視角4...視角20。同一行的圖像為同一臺攝像機(jī)拍攝的不同時刻的變光照條件下同一視角的圖像，同一列的圖像為同一時刻同一光照條件下的不同視角的圖像。如圖3所示， 隨著時間的推移，光照強(qiáng)度逐漸減弱。結(jié)合圖3所示的光照條件，圖2中同一行的同一視角的圖像的隨著時間的推移，圖像的光照強(qiáng)度逐漸減弱。但是需要說明的是，上述的20個視角的具體數(shù)目只是出于示例的目的，而不是為了限制本發(fā)明的保護(hù)范圍。S102 建立運(yùn)動目標(biāo)的初始三維模型。根據(jù)步驟101中由多臺攝像機(jī)在每一個時刻采集得到的運(yùn)動目標(biāo)的多個視角的圖像，提取運(yùn)動目標(biāo)的輪廓信息。根據(jù)運(yùn)動目標(biāo)的輪廓信息和標(biāo)定得到的攝像機(jī)的參數(shù)建立可視凸殼。可視凸殼描述了運(yùn)動目標(biāo)的外輪廓形狀。其中，所述標(biāo)定得到的攝像機(jī)為對應(yīng)于每個視角的攝像機(jī)的參數(shù)。利用建立的可視凸殼建立運(yùn)動目標(biāo)的初始三維模型。其中，現(xiàn)有的多視角立體的方法均可以實現(xiàn)建立初始三維模型的方法的目的。在本發(fā)明的一個實施例中，多視角體素方法、表面進(jìn)化方法、深度圖融合的方法和特征擴(kuò)展方法均可以實現(xiàn)本發(fā)明實施例中建立初始三維模型的目的。例如基于點云的三維重建方法和基于面片的三維重建方法。S103 獲取同一時刻運(yùn)動目標(biāo)的多光照圖像；在本步驟中，采用基于傳統(tǒng)運(yùn)動估計方法的周期性變光照條件下的運(yùn)動估計和運(yùn)動補(bǔ)償來獲得同一時刻運(yùn)動目標(biāo)的多光照圖像。具體而言，首先計算運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果。 多個周期對應(yīng)于光源周期性地向運(yùn)動目標(biāo)提供變光照條件的周期。在本發(fā)明的一個實施例中，通過計算運(yùn)動目標(biāo)在多個周期中的相同光照條件下的光流估計結(jié)果實現(xiàn)對運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果的計算。根據(jù)運(yùn)動目標(biāo)在多個周期中的相同光照條件的運(yùn)動估計結(jié)果初始化運(yùn)動向量，聯(lián)合上述運(yùn)動向量，利用迭代優(yōu)化的方法獲取最終的運(yùn)動估計向量。利用獲取的最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫竭\(yùn)動目標(biāo)在每個時刻的多光照圖像。在同一周期ρ中，相鄰的三幀的運(yùn)動目標(biāo)的運(yùn)動估計向量之間滿足下述線性運(yùn)動關(guān)系。其中，同一周期中的每幀圖像對應(yīng)于不同的光照條件。
權(quán)利要求
1.一種變光照條件下運(yùn)動目標(biāo)的三維重建方法，其特征在于，包括如下步驟利用多臺攝像機(jī)采集運(yùn)動目標(biāo)在光源提供的變光照條件下的多個視角的圖像，其中， 所述光源周期性地向所述運(yùn)動目標(biāo)提供變光照條件；根據(jù)所述多臺攝像機(jī)在每一時刻采集得到的所述運(yùn)動目標(biāo)的多個視角的圖像，提取所述運(yùn)動目標(biāo)的輪廓信息，根據(jù)所述運(yùn)動目標(biāo)的輪廓信息和對應(yīng)于每個視角的攝像機(jī)的參數(shù)建立可視凸殼，利用所述可視凸殼建立所述運(yùn)動目標(biāo)的初始三維模型；計算所述運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果，聯(lián)合所述多個周期中相同光照條件下的運(yùn)動估計結(jié)果以對所述運(yùn)動目標(biāo)進(jìn)行周期性變光照條件下的運(yùn)動估計，利用運(yùn)動估計得到的最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫矫總€時刻的所述運(yùn)動目標(biāo)的多光照圖像；聯(lián)合所述初始三維模型和所述每個時刻的所述運(yùn)動目標(biāo)的多光照圖像恢復(fù)得到所述初始三維模型的法向信息，包括根據(jù)所述初始三維模型獲取不同光照條件下的諧波系數(shù)， 對所述不同光照條件下的諧波系數(shù)進(jìn)行優(yōu)化得到所述初始三維模型的法向信息；對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進(jìn)行聯(lián)合優(yōu)化，得到所述運(yùn)動目標(biāo)的優(yōu)化三維模型。
2.如權(quán)利要求1所述的三維重建方法，其特征在于，所述多臺攝像機(jī)與所述光源為同步。
3.如權(quán)利要求1所述的三維重建方法，其特征在于，所述聯(lián)合所述多個周期中相同光照條件下的運(yùn)動估計結(jié)果以對所述運(yùn)動目標(biāo)進(jìn)行周期性變光照條件下的運(yùn)動估計，包括如下步驟根據(jù)所述運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果初始化運(yùn)動向量；聯(lián)合所述初始化后的運(yùn)動向量，采用的迭代優(yōu)化方法得到最終運(yùn)動估計向量； 利用所述最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫矫總€時刻的所述運(yùn)動目標(biāo)的多光照圖像。
4.如權(quán)利要求3所述的三維重建方法，其特征在于，所述多個周期為兩個周期。
5.如權(quán)利要求1所述的三維重建方法，其特征在于，所述初始三維模型的法向信息利用九維諧波空間表示。
6.一種變光照條件下運(yùn)動目標(biāo)的三維重建裝置，其特征在于，包括采集模塊，所述采集模塊用于采集運(yùn)動目標(biāo)在光源提供的變光照條件下的多個視角的圖像，其中，所述采集模塊包括多個采集單元，每個采集單元用于采集所述運(yùn)動目標(biāo)在光源提供的變光照條件下的每個視角的圖像，所述光源周期性地向所述運(yùn)動目標(biāo)提供變光照條件；初始三維模型建立模塊，所述初始三維模型建立模塊與所述采集模塊相連，所述初始三維模型建立模塊用于根據(jù)所述采集模塊在每一時刻采集得到的所述運(yùn)動目標(biāo)的多個視角的圖像，提取所述運(yùn)動目標(biāo)的輪廓信息，根據(jù)所述運(yùn)動目標(biāo)的輪廓信息和對應(yīng)于每個視角的采集單元的參數(shù)建立可視凸殼，利用所述可視凸殼建立所述運(yùn)動目標(biāo)的初始三維模型；多光照圖像獲取模塊，所述多光照圖像獲取模塊與所述初始三維模型建立模塊相連，所述多光照圖像獲取模塊用于計算所述運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果，聯(lián)合所述多個周期中相同光照條件下的運(yùn)動估計結(jié)果以對所述運(yùn)動目標(biāo)進(jìn)行周期性變光照條件下的運(yùn)動估計，利用運(yùn)動估計得到的最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫矫總€時刻的所述運(yùn)動目標(biāo)的多光照圖像；法向信息恢復(fù)模塊，所述法向信息恢復(fù)模塊分別與所述初始三維模型建立模塊和所述多光照圖像獲取模塊相連，所述法向信息恢復(fù)模塊用于聯(lián)合所述初始三維模型和所述每個時刻的所述運(yùn)動目標(biāo)的多光照圖像，根據(jù)所述初始三維模型獲取不同光照條件下的諧波系數(shù)，對所述不同光照條件下的諧波系數(shù)進(jìn)行優(yōu)化得到所述初始三維模型的法向信息；和聯(lián)合優(yōu)化模塊，所述聯(lián)合優(yōu)化模塊與所述初始三維模型建立模塊和所述法向信息恢復(fù)模塊相連，所述聯(lián)合優(yōu)化模塊用于對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進(jìn)行聯(lián)合優(yōu)化，得到所述運(yùn)動目標(biāo)的優(yōu)化三維模型。
7.如權(quán)利要求6所述的三維重建裝置，其特征在于，所述采集模塊進(jìn)一步包括同步單元，所述同步單元分別與所述多個采集單元和所述光源相連，用于將每個采集單元與所述光源同步。
8.如權(quán)利要求6所述的三維重建裝置，其特征在于，所述多光照圖像獲取模塊根據(jù)所述運(yùn)動目標(biāo)在多個周期中的相同光照條件下的運(yùn)動估計結(jié)果初始化運(yùn)動向量，聯(lián)合所述初始化后的運(yùn)動向量，采用的迭代優(yōu)化方法得到最終運(yùn)動估計向量，利用所述最終運(yùn)動估計向量進(jìn)行運(yùn)動補(bǔ)償?shù)玫矫總€時刻的所述運(yùn)動目標(biāo)的多光照圖像。
9.如權(quán)利要求8所述的三維重建裝置，其特征在于，所述多個周期為兩個周期。
10.如權(quán)利要求6所述的三維重建裝置，其特征在于，所述初始三維模型的法向信息利用九維諧波空間表示。全文摘要
本發(fā)明公開了一種變光照條件下運(yùn)動目標(biāo)的三維重建方法，包括如下步驟采集運(yùn)動目標(biāo)在光源提供的變光照條件下的多個視角的圖像；根據(jù)多臺攝像機(jī)在每一時刻采集得到的運(yùn)動目標(biāo)的多個視角的圖像，建立運(yùn)動目標(biāo)的初始三維模型；通過運(yùn)動估計和運(yùn)動補(bǔ)償?shù)玫矫總€時刻的運(yùn)動目標(biāo)的多光照圖像；聯(lián)合初始三維模型和多光照圖像恢復(fù)得到初始三維模型的法向信息；對初始三維模型的幾何信息和初始三維模型的法向信息進(jìn)行聯(lián)合優(yōu)化，得到運(yùn)動目標(biāo)的優(yōu)化三維模型。本發(fā)明還公開了一種變光照條件下運(yùn)動目標(biāo)的三維重建裝置。本發(fā)明聯(lián)合多視角立體和光度立體方法的優(yōu)勢，結(jié)合周期性變光照條件下的運(yùn)動估計和運(yùn)動補(bǔ)償，實現(xiàn)對運(yùn)動目標(biāo)的高精度的三維模型的重建。
文檔編號G06T17/00GK102236912SQ201110191618
公開日2011年11月9日 申請日期2011年7月8日 優(yōu)先權(quán)日2011年7月8日
發(fā)明者付瑩, 劉燁斌, 戴瓊海 申請人:清華大學(xué)