本發(fā)明涉及三維場(chǎng)景中焦曲面拍攝技術(shù)，特別涉及一種基于攝像機(jī)陣列的任意焦曲面拍攝方法。

背景技術(shù)：

攝像機(jī)拍攝技術(shù)是將三維場(chǎng)景經(jīng)過(guò)光學(xué)成像系統(tǒng)在二維的傳感器上投影，進(jìn)而獲得與三維場(chǎng)景相關(guān)聯(lián)的光學(xué)信息的技術(shù)。傳統(tǒng)的攝像機(jī)拍攝都具有特定的景深，且在成像的三維場(chǎng)景物方空間聚焦面為平面。由于入射光瞳直徑的限制，傳統(tǒng)的攝像機(jī)拍攝圖像的景深范圍固定，無(wú)法后期調(diào)節(jié)，更無(wú)法在三維場(chǎng)景方空間的特定曲面進(jìn)行聚焦。攝像機(jī)陣列是獲取三維場(chǎng)景不同角度三維信息的裝置，其獲取的三維信息數(shù)據(jù)具有很大的冗余性。目前，攝像機(jī)陣列主要應(yīng)用在三維重建和三維顯示領(lǐng)域，同時(shí)，在目標(biāo)探測(cè)和識(shí)別領(lǐng)域也有應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在實(shí)現(xiàn)一種基于攝像機(jī)陣列且可以聚焦于三維場(chǎng)景任意曲面的拍攝方法。該方法同時(shí)具備高速率、可調(diào)節(jié)和標(biāo)定簡(jiǎn)單的優(yōu)點(diǎn)。為了達(dá)到上述目的，本發(fā)明提出一種基于攝像機(jī)陣列的任意焦曲面拍攝方法。該方法基于攝像機(jī)陣列，根據(jù)攝像機(jī)陣列中每個(gè)攝像機(jī)的位姿，結(jié)合攝像機(jī)陣列標(biāo)定方法，實(shí)現(xiàn)等價(jià)的虛擬攝像機(jī)。利用等價(jià)的虛擬攝像機(jī)，對(duì)三維場(chǎng)景進(jìn)行拍攝，計(jì)算目標(biāo)焦曲面每個(gè)像素對(duì)應(yīng)的像素偏移量，合成目標(biāo)焦曲面拍攝圖像。該方法包括視差圖像像素偏移量的計(jì)算和任意焦曲面拍攝圖像的合成兩個(gè)過(guò)程。

本發(fā)明利用攝像機(jī)陣列得到等價(jià)的虛擬攝像機(jī)，不僅可以聚焦于三維場(chǎng)景中的特定平面，而且可以聚焦于三維場(chǎng)景中的任意曲面，如附圖1所示。本發(fā)明中的焦曲面可以是三維場(chǎng)景表面，也可以是任意數(shù)值曲面。

本發(fā)明所提方法的流程如附圖2所示，調(diào)節(jié)攝像機(jī)陣列中的每個(gè)攝像機(jī)的位姿，確定中心深度平面的位置和拍攝三維場(chǎng)景的范圍，利用攝像機(jī)陣列標(biāo)定方法，得到攝像機(jī)陣列的標(biāo)定參數(shù)，進(jìn)而對(duì)攝像機(jī)陣列獲得的視差圖像進(jìn)行校正，得到校正的視差圖像序列；根據(jù)確定的目標(biāo)焦曲面，并結(jié)合每個(gè)攝像機(jī)的索引編號(hào)，計(jì)算目標(biāo)焦曲面上每個(gè)像素對(duì)應(yīng)的像素偏移量，最終合成目標(biāo)焦曲面拍攝圖像。

所述視差圖像像素偏移量的計(jì)算過(guò)程，首先，調(diào)節(jié)攝像機(jī)陣列每個(gè)攝像機(jī)位姿。在攝像機(jī)陣列中，攝像機(jī)數(shù)目為m×n，調(diào)節(jié)攝像機(jī)陣列中的每個(gè)攝像機(jī)，保證所有攝像機(jī)處于同一平面，相鄰兩個(gè)攝像機(jī)的間隔相同，都為δc，同時(shí)使攝像機(jī)陣列中不同攝像機(jī)拍攝范圍盡可能多地重合，同時(shí)確定中心深度平面位置z0，攝像機(jī)陣列所處平面與中心深度平面平行，且兩者距離為l，如附圖3所示。攝像機(jī)陣列拍攝棋盤格標(biāo)定板，利用攝像機(jī)陣列標(biāo)定方法，得到攝像機(jī)陣列參數(shù)，進(jìn)而計(jì)算視差圖像序列的標(biāo)定矩陣hm,n，其中，m和n分別為攝像機(jī)陣列的第m列、第n行攝像機(jī)對(duì)應(yīng)的索引編號(hào)，m∈{1,2,3,…,m}，n∈{1,2,3,…,n}。然后，得到校正視差圖像序列。利用攝像機(jī)陣列，拍攝三維場(chǎng)景，得到視差圖像序列，視差圖像序列分辨率為wp×hp。攝像機(jī)陣列的第m列、第n行攝像機(jī)得到的視差圖像為im,n(x,y)，其中，x和y分別為三維場(chǎng)景視差圖像像素坐標(biāo)。利用標(biāo)定矩陣hm,n，計(jì)算得到對(duì)應(yīng)的校正視差圖像序列i'm,n(x',y')，i'm,n(x',y')與im,n(x,y)滿足：

（1）

其中：

（2）

最后，計(jì)算視差圖像每個(gè)像素的偏移方向和偏移大小。如附圖3所示，焦曲面上存在點(diǎn)p，其距中心深度平面的距離為δz，點(diǎn)p經(jīng)過(guò)攝像機(jī)陣列中不同攝像機(jī)的視框體投影，在中心深度平面上有不同的投影坐標(biāo)。在本發(fā)明中，以攝像機(jī)陣列中心位置的攝像機(jī)為基準(zhǔn)攝像機(jī)，則點(diǎn)p通過(guò)第m列、第n行攝像機(jī)視框體在中心深度平面上的投影坐標(biāo)與通過(guò)基準(zhǔn)攝像機(jī)視框體在中心深度平面上的投影坐標(biāo)相比有δs的像素偏移量，δs滿足：

（3）

（4）

（5）

其中，δsx和δsy分別為δs在x軸和y軸的分量，round(*)表示對(duì)*向最近整數(shù)四舍五入取整，ws和hs分別為視差圖像序列分辨率wp和hp在中心深度平面位置對(duì)應(yīng)的三維場(chǎng)景真實(shí)范圍。

所述任意焦曲面拍攝圖像的合成過(guò)程，首先，確定目標(biāo)焦曲面與中心深度平面的距離δz(x,y)。本發(fā)明中，目標(biāo)焦曲面為任意曲面，其深度值表示為z(x,y)，其中，x和y分別為目標(biāo)焦曲面像素坐標(biāo)。根據(jù)中心深度平面位置z0，計(jì)算得到目標(biāo)焦曲面z(x,y)與中心深度平面的距離δz(x,y)：

（6）

然后，計(jì)算目標(biāo)焦曲面每個(gè)像素在第m列、第n行攝像機(jī)對(duì)應(yīng)視差圖像上的像素偏移量δsm,n(x,y)。將公式（6）帶入公式（3）、（4）和（5）得到：

（7）

其中，δsm,n,x(x,y)和δsm,n,y(x,y)分別為δsm,n(x,y)在x軸和y軸的分量。最后，合成目標(biāo)焦曲面拍攝圖像o(x',y')，o(x',y')與i'm,n(x',y')滿足：

（8）

其中，m∈{1,2,3,…,m}，n∈{1,2,3,…,n}?；跀z像機(jī)陣列的不同焦曲面拍攝圖像如附圖4所示。

本發(fā)明提出一種基于攝像機(jī)陣列的任意焦曲面拍攝方法，該方法利用標(biāo)定后的攝像機(jī)陣列，獲取三維場(chǎng)景的視差圖像序列，突破了傳統(tǒng)攝像機(jī)僅能在平面聚焦的限制，同時(shí)具備高速率、可調(diào)節(jié)和標(biāo)定簡(jiǎn)單的優(yōu)點(diǎn)，可以實(shí)現(xiàn)在三維場(chǎng)景任意曲面聚焦。

附圖說(shuō)明

圖1為一種基于攝像機(jī)陣列的任意焦曲面拍攝方法示意圖

圖2為本發(fā)明所提方法的流程圖

圖3為本發(fā)明中視差圖像像素偏移量的計(jì)算過(guò)程示意圖

圖4為（a1）高斯型焦曲面拍攝合成圖像，（a2）對(duì)應(yīng)的高斯型焦曲面，（b1）任意焦曲面i拍攝合成圖像，（b2）對(duì)應(yīng)的任意焦曲面i，（c1）任意焦曲面ii拍攝合成圖像，（c2）對(duì)應(yīng)的任意焦曲面ii，（d）焦曲面深度值對(duì)照表

上述附圖中的圖示標(biāo)號(hào)為：

1攝像機(jī)陣列，2等價(jià)的虛擬攝像機(jī)，3焦平面i，4焦平面ii，5焦曲面，6中心深度平面，7攝像機(jī)。

應(yīng)該理解上述附圖只是示意性的，并沒有按比例繪制。

具體實(shí)施方式

下面詳細(xì)說(shuō)明本發(fā)明的一種基于攝像機(jī)陣列的任意焦曲面拍攝方法的一個(gè)典型實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步的具體描述。有必要在此指出的是，以下實(shí)施例只用于本發(fā)明做進(jìn)一步的說(shuō)明，不能理解為對(duì)本發(fā)明保護(hù)范圍的限制，該領(lǐng)域技術(shù)熟練人員根據(jù)上述本發(fā)明內(nèi)容對(duì)本發(fā)明做出一些非本質(zhì)的改進(jìn)和調(diào)整，仍屬于本發(fā)明的保護(hù)范圍。

本發(fā)明提出一種基于攝像機(jī)陣列的任意焦曲面拍攝方法，該方法包括視差圖像像素偏移量的計(jì)算和任意焦曲面拍攝圖像的合成兩個(gè)過(guò)程。

本實(shí)施例利用攝像機(jī)陣列得到等價(jià)的虛擬攝像機(jī)，不僅可以聚焦于三維場(chǎng)景中的特定平面，而且可以聚焦于三維場(chǎng)景中的任意曲面，如附圖1所示。本實(shí)施例中的焦曲面可以是三維場(chǎng)景表面，也可以是任意數(shù)值曲面。

本實(shí)施例的流程如附圖2所示，調(diào)節(jié)攝像機(jī)陣列中的每個(gè)攝像機(jī)的位姿，確定中心深度平面的位置和拍攝三維場(chǎng)景的范圍，利用攝像機(jī)陣列標(biāo)定方法，得到攝像機(jī)陣列的標(biāo)定參數(shù)，進(jìn)而對(duì)攝像機(jī)陣列獲得的視差圖像進(jìn)行校正，得到校正的視差圖像序列；根據(jù)確定的目標(biāo)焦曲面，并結(jié)合每個(gè)攝像機(jī)的索引編號(hào)，計(jì)算目標(biāo)焦曲面上每個(gè)像素對(duì)應(yīng)的像素偏移量，最終合成目標(biāo)焦曲面拍攝圖像。

所述視差圖像像素偏移量的計(jì)算過(guò)程，首先，調(diào)節(jié)攝像機(jī)陣列每個(gè)攝像機(jī)位姿。在攝像機(jī)陣列中，攝像機(jī)數(shù)目為m×n=11×11，調(diào)節(jié)攝像機(jī)陣列中的每個(gè)攝像機(jī)，保證所有攝像機(jī)處于同一平面，相鄰兩個(gè)攝像機(jī)的間隔相同，都為δc=20mm，同時(shí)使攝像機(jī)陣列中不同攝像機(jī)拍攝范圍盡可能多地重合，同時(shí)確定中心深度平面位置z0=995mm，攝像機(jī)陣列所處平面與中心深度平面平行，且兩者距離為l=995mm，如附圖3所示。攝像機(jī)陣列拍攝棋盤格標(biāo)定板，利用攝像機(jī)陣列標(biāo)定方法，得到攝像機(jī)陣列參數(shù)，進(jìn)而計(jì)算視差圖像序列的標(biāo)定矩陣hm,n，其中，m和n分別為攝像機(jī)陣列的第m列、第n行攝像機(jī)對(duì)應(yīng)的索引編號(hào)，m∈{1,2,3,…,11}，n∈{1,2,3,…,11}。然后，得到校正視差圖像序列。利用攝像機(jī)陣列，拍攝三維場(chǎng)景，得到視差圖像序列，視差圖像序列分辨率為wp×hp=512×389。攝像機(jī)陣列的第m列、第n行攝像機(jī)得到的視差圖像為im,n(x,y)，其中，x和y分別為三維場(chǎng)景視差圖像像素坐標(biāo)。利用標(biāo)定矩陣hm,n，計(jì)算得到對(duì)應(yīng)的校正視差圖像序列i'm,n(x',y')，i'm,n(x',y')與im,n(x,y)滿足：

（1）

其中：

（2）

最后，計(jì)算視差圖像每個(gè)像素的偏移方向和偏移大小。如附圖3所示，焦曲面上存在點(diǎn)p，其距中心深度平面的距離為δz=-100mm，點(diǎn)p經(jīng)過(guò)攝像機(jī)陣列中不同攝像機(jī)的視框體投影，在中心深度平面上有不同的投影坐標(biāo)。在本實(shí)施例中，以攝像機(jī)陣列中心位置的攝像機(jī)為基準(zhǔn)攝像機(jī)，則點(diǎn)p通過(guò)第m列、第n行攝像機(jī)視框體在中心深度平面上的投影坐標(biāo)與通過(guò)基準(zhǔn)攝像機(jī)視框體在中心深度平面上的投影坐標(biāo)相比有δs的像素偏移量，δs滿足：

（3）

（4）

（5）

其中，δsx和δsy分別為δs在x軸和y軸的分量，round(*)表示對(duì)*向最近整數(shù)四舍五入取整，ws和hs分別為視差圖像序列分辨率wp和hp在中心深度平面位置對(duì)應(yīng)的三維場(chǎng)景真實(shí)范圍，本實(shí)施例中，ws=2560mm和hs=1945mm。

所述任意焦曲面拍攝圖像的合成過(guò)程，首先，確定目標(biāo)焦曲面與中心深度平面的距離δz(x,y)。本實(shí)施例中，目標(biāo)焦曲面為任意曲面，其深度值表示為z(x,y)，其中，x和y分別為目標(biāo)焦曲面像素坐標(biāo)。根據(jù)中心深度平面位置z0，計(jì)算得到目標(biāo)焦曲面z(x,y)與中心深度平面的距離δz(x,y)：

（6）

然后，計(jì)算目標(biāo)焦曲面每個(gè)像素在第m列、第n行攝像機(jī)對(duì)應(yīng)視差圖像上的像素偏移量δsm,n(x,y)。將公式（6）帶入公式（3）、（4）和（5）得到：

（7）

其中，δsm,n,x(x,y)和δsm,n,y(x,y)分別為δsm,n(x,y)在x軸和y軸的分量。最后，合成目標(biāo)焦曲面拍攝圖像o(x',y')，o(x',y')與i'm,n(x',y')滿足：

（8）

其中，m∈{1,2,3,…,11}，n∈{1,2,3,…,11}。本實(shí)施例中，當(dāng)目標(biāo)焦曲面z(x,y)為高斯型曲面時(shí)，對(duì)應(yīng)的焦曲面拍攝圖像如附圖4（a1）和（a2）所示；當(dāng)目標(biāo)焦曲面z(x,y)為任意焦曲面i和任意焦曲面ii時(shí)，對(duì)應(yīng)的焦曲面拍攝圖像如附圖4（b1）、（b2）（c1）和（c2）所示；焦曲面深度值對(duì)照表如附圖4（d）所示。