一種基于光場數(shù)字重聚焦的快速三維重建方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于光場數(shù)字重聚焦的快速三維重建方法，包含以下步驟：首先，采用光場數(shù)據(jù)獲取設(shè)備獲取空間四維光場數(shù)據(jù)；其次，數(shù)字重聚焦模塊對空間四維光場數(shù)據(jù)進(jìn)行數(shù)字重聚焦處理，得到聚焦平面序列圖像；最后，三維重建模塊對聚焦平面序列圖像進(jìn)行三維重建。本發(fā)明還提供一種基于光場數(shù)字重聚焦的快速三維重建系統(tǒng)，包括光場數(shù)據(jù)獲取設(shè)備、數(shù)字重聚焦模塊和三維重建模塊。本發(fā)明僅需拍攝一次，不需要移動相機(jī)和目標(biāo)，結(jié)果可以任意視角查看；降低了拍攝難度和重建算法的復(fù)雜度，減短了獲取圖像的時間，適合運動目標(biāo)的三維重建，拓展了DFF算法的適用深度范圍，適合大景深場景的三維重建。
【專利說明】一種基于光場數(shù)字重聚焦的快速三維重建方法及其系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算成像、圖像處理和計算機(jī)視覺等【技術(shù)領(lǐng)域】，尤其涉及一種基于光 場數(shù)字重聚焦的快速三維重建方法及其系統(tǒng)。

【背景技術(shù)】
[0002] 三維重建是指對三維物體建立適合計算機(jī)表示和處理的數(shù)學(xué)模型，是在計算機(jī) 中建立表達(dá)客觀世界的虛擬現(xiàn)實的關(guān)鍵技術(shù)，廣泛應(yīng)用于計算機(jī)動畫、虛擬現(xiàn)實、工業(yè)檢測 等領(lǐng)域?；谝曈X的三維重建技術(shù)形成了多種理論方法，如主動視覺法和被動視覺法；單目 視覺法、雙目視覺法、三目視覺或多目視覺法；單視圖法和多視圖法等。多視圖三維重建通 過照相機(jī)對某個目標(biāo)物進(jìn)行拍攝，然后利用拍攝到的圖像序列來恢復(fù)目標(biāo)物的三維結(jié)構(gòu)模 型，該方法可基于圖像序列和視頻。目前多視圖三維重建方法主要有輪廓法、紋理法、變焦 法、亮度法、明暗法等。
[0003] 變焦法通過獲取目標(biāo)物不同焦深的圖像，利用聚焦分析或者離焦分析的方法來實 現(xiàn)三維重建。聚焦深度測量（Depth_From_Focus，DFF)就是目標(biāo)平面與攝像機(jī)的圖像傳感 器平面共軛，根據(jù)像距由透鏡成像公式求得被測面相對于攝像機(jī)的距離，即深度。獲取目標(biāo) 圖像有單相機(jī)和相機(jī)陣列兩種方法。聚焦深度測量（DFF)方法采用單相機(jī)方式拍攝圖像 時，需要多次反復(fù)拍攝目標(biāo)，或者每次拍攝改變相機(jī)焦距等參數(shù)，或者每次改變相機(jī)和目標(biāo) 的相對位置。三維重建時，單相機(jī)聚焦深度測量方法拍攝時間長，過程復(fù)雜，不適于運動目 標(biāo)。單相機(jī)的鏡頭孔徑大小受限，此方法同樣不適于遠(yuǎn)距離目標(biāo)的重建?；谙鄼C(jī)陣列的 聚焦深度測量方法突破了拍攝次數(shù)和鏡頭孔徑的限制，通過一次拍攝便可獲得目標(biāo)物不同 焦深的序列圖像，簡化了拍攝過程。
[0004] 光場是指空間中每一個點和每一個方向的輻射函數(shù)總和。1996年，美國斯坦福大 學(xué)教授 Levoy (LEVOY，M.，AND HANRAHAN，P. Light field rendering. InSIGGRAPH 96, 31 -42, 1996.)和微軟研宄院的 GORTLER 等（The Lumigraph. In SIGGRAPH 96, 43 - 54, 1996.) 提出光場四維參數(shù)化方法，Levoy教授并進(jìn)一步提出了光場渲染理論。光場數(shù)字重聚焦 是光場成像技術(shù)的重要應(yīng)用，指的是一次曝光后獲得的照片利用數(shù)字圖像處理技術(shù)將模 糊離焦圖像進(jìn)行反演，從而重建出聚焦準(zhǔn)確的清晰目標(biāo)圖像。光場數(shù)字重聚焦由美國斯 坦福大學(xué)博士 Ng 提出并實現(xiàn)（NG, R.，LEVOY, M.，BR' EDIF, M.，DUVAL, G.，HOROWITZ, M.，A ND HANRAHAN, P. 2005. Light field photography with a hand-held plenoptic camera. Tech.Rep. CSTR2005-02, Stanford Computer Science ;Ng，R Fourier slice photography ACM Transactions on Graphics 2005N0. 3735-744)〇
[0005] Halcon是德國MVtec公司開發(fā)的一套完善的標(biāo)準(zhǔn)的機(jī)器視覺算法包，擁有應(yīng)用廣 泛的機(jī)器視覺集成開發(fā)環(huán)境，主要集中在字符識別、質(zhì)量檢測、標(biāo)定、定位等，而且具有非常 強(qiáng)大的3d視覺功能。Halcon軟件中的DFF(depth_from_focus，聚焦深度測量）三維重建 的基本原理是：首先沿Z軸不斷調(diào)整攝像機(jī)的位置，獲取目標(biāo)的序列圖像，從而保證整個序 列圖像覆蓋了物體在攝像機(jī)中Z軸方向的全部信息，每幅圖像有模糊和聚焦清晰區(qū)域；然 后通過一定的算法（包括菲波拉齊搜索法、金字塔結(jié)構(gòu)搜索法、拉普拉斯算子搜索法以及 動態(tài)規(guī)劃搜索法等）獲取每一個像素對應(yīng)在序列圖像中聚焦清晰的位置，從而重建出一幅 每一景深部位均十分清晰的圖像，為全聚焦圖；再通過聚焦分析恢復(fù)深度信息，最后恢復(fù)出 比較精確的物體深度信息，全聚焦圖和深度信息相結(jié)合便可以實現(xiàn)三維重建。DFF算法的基 本原理圖如圖3所示。
[0006] 目前，還沒有一種能夠?qū)⒐鈭鰯?shù)據(jù)獲取設(shè)備、數(shù)字重聚焦技術(shù)和DFF技術(shù)三者結(jié) 合對目標(biāo)物進(jìn)行快速三維重建的方法和系統(tǒng)。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明要解決的技術(shù)問題在于提供一種拍攝快捷、不需要移動相機(jī)和目標(biāo)、三維 重建效果好的基于光場數(shù)字重聚焦的快速三維重建方法及其系統(tǒng)，以解決現(xiàn)有技術(shù)存在的 問題。
[0008] 為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案： 一種基于光場數(shù)字重聚焦的快速三維重建方法，包含以下步驟： 首先，采用光場數(shù)據(jù)獲取設(shè)備獲取空間四維光場數(shù)據(jù)； 其次，數(shù)字重聚焦模塊對所述空間四維光場數(shù)據(jù)進(jìn)行數(shù)字重聚焦處理，得到聚焦平面 序列圖像； 最后，三維重建模塊對所述聚焦平面序列圖像進(jìn)行三維重建，得到三維重建圖像。
[0009] 所述光場數(shù)據(jù)獲取設(shè)備可米用Lytro光場相機(jī)、光場顯微鏡、Adobe光場2. 0光場 結(jié)構(gòu)、raytrix相機(jī)、相機(jī)陣列、canon光場相機(jī)模塊、西班牙光場鏡頭、鵜鶘成像陣列相機(jī)、 皮克斯超級光場鏡頭、英偉達(dá)近眼光場顯示器或光場傳感器。
[0010] 所述空間四維光場數(shù)據(jù)包括空間的二維位置信息和二維方向信息。
[0011] 所述數(shù)字重聚焦處理包括：（1)對空間四維光場數(shù)據(jù)進(jìn)行四維參數(shù)化表示：定 義光學(xué)系統(tǒng)出瞳面的坐標(biāo)平面為U-V平面，定義圖像傳感器所在平面為χ-y平面，所述 兩個平面均垂直于系統(tǒng)光軸；光線進(jìn)入相機(jī)系統(tǒng)后，經(jīng)過u-v平面上的點（u，v)投射到 x-y平面上的點（X，y)，將所述光線記為L F(u, V，X，y)，F(xiàn)為x-y平面相對于u-v平面的 距離，即相機(jī)系統(tǒng)的工作焦距；采用公式

【權(quán)利要求】
1. 一種基于光場數(shù)字重聚焦的快速三維重建方法，其特征在于包含以下步驟： 首先，采用光場數(shù)據(jù)獲取設(shè)備獲取空間四維光場數(shù)據(jù)； 其次，數(shù)字重聚焦模塊對所述空間四維光場數(shù)據(jù)進(jìn)行數(shù)字重聚焦處理，得到聚焦平面 序列圖像； 最后，三維重建模塊對所述聚焦平面序列圖像進(jìn)行三維重建，得到三維重建圖像。
2. 根據(jù)權(quán)利要求1所述的基于光場數(shù)字重聚焦的快速三維重建方法，其特征在于： 所述光場數(shù)據(jù)獲取設(shè)備可采用Lytro光場相機(jī)、光場顯微鏡、Adobe光場2.O光場結(jié)構(gòu)、 raytrix相機(jī)、相機(jī)陣列、canon光場相機(jī)模塊、西班牙光場鏡頭、鵜鶘成像陣列相機(jī)、皮克 斯超級光場鏡頭、英偉達(dá)近眼光場顯示器或光場傳感器。
3. 根據(jù)權(quán)利要求1所述的基于光場數(shù)字重聚焦的快速三維重建方法，其特征在于：所 述空間四維光場數(shù)據(jù)包括空間的二維位置信息和二維方向信息。
4. 根據(jù)權(quán)利要求1所述的基于光場數(shù)字重聚焦的快速三維重建方法，其特征在于：所 述數(shù)字重聚焦處理包括： (1)對空間四維光場數(shù)據(jù)進(jìn)行四維參數(shù)化表示：定義光學(xué)系統(tǒng)出瞳面的坐標(biāo)平 面為u-v平面，定義圖像傳感器所在平面為x-y平面，所述兩個平面均垂直于系統(tǒng)光 軸；光線進(jìn)入相機(jī)系統(tǒng)后，經(jīng)過u-v平面上的點（u，v)投射到x-y平面上的點（x，y)， 將所述光線記SLF(u，v，X，y)，F(xiàn)為x-y平面相對于u-v平面的距離，即相機(jī)系統(tǒng)的 工作焦距；采用公式= +J]乂V工.y)x雄/,ν〇·⑶S4(外/Wv，得到像距為F處的 像面上的成像，式中EF(x，y)是像距為F的像面上坐標(biāo)點（x，y)處圖像傳感器接受 到的能量，即入射光通量，LF(u,v，x，y)表示光線（u，V，X，y)攜帶的能量，A(u，V)是 接受光線的傳感器像元面積，Θ是光線LF(u，v，X，y)與像面法線方向的夾角，所述 公式可以簡化為Ef(X，y) =JJLf (u,V，X，y)dudv;(2)對空間四維光場數(shù)據(jù)進(jìn)行 數(shù)字重聚焦：假設(shè)光場相機(jī)系統(tǒng)在像距為I=F處得到的像EF(x，y)不清晰，在像 距1' =aF像面上的像是清晰的，其中α是一個調(diào)節(jié)像距大小的系數(shù)，采用公式 ΕαΛχ^ y) =?iLaj (x~ yyfucfv= f[ l, (?" v, w(i - -) +-,v(i - -) +^-y/udv, ffi ^S # a a a a 數(shù)a的值，得到相機(jī)系統(tǒng)在不同像距aF處的像面上的成像。
5. 根據(jù)權(quán)利要求1所述的基于光場數(shù)字重聚焦的快速三維重建方法，其特征在于：所 述三維重建采用聚焦深度測量DFF算法實現(xiàn)。
6. -種實施權(quán)利要求1所述方法的三維重建系統(tǒng)，其特征在于包括： 光場數(shù)據(jù)獲取設(shè)備，用于獲取空間四維光場數(shù)據(jù)； 數(shù)字重聚焦模塊，用于對空間四維光場數(shù)據(jù)進(jìn)行數(shù)字重聚焦處理，得到聚焦平面序列 圖像； 三維重建模塊，用于將數(shù)字重聚焦模塊處理得到的聚焦平面序列圖像進(jìn)行三維重建， 得到三維重建圖像。
【文檔編號】G06T17/00GK104463949SQ201410581347
【公開日】2015年3月25日 申請日期:2014年10月24日 優(yōu)先權(quán)日:2014年10月24日
【發(fā)明者】劉曉旻, 王曉霞, 張曉芳, 尹曉艮, 張偉超, 李碩豐, 賈紀(jì)元 申請人:鄭州大學(xué)