一種聚焦光場(chǎng)相機(jī)內(nèi)外參數(shù)標(biāo)定方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明屬于光場(chǎng)相機(jī)標(biāo)定技術(shù)領(lǐng)域，具體涉及一種聚焦光場(chǎng)相機(jī)的內(nèi)外參數(shù)標(biāo)定 方法。
【背景技術(shù)】
[0002] 光場(chǎng)相機(jī)，基本機(jī)構(gòu)和原理不同于傳統(tǒng)相機(jī)，置一個(gè)微透鏡陣列于主鏡頭和探測(cè) 器之間，每個(gè)微透鏡接收經(jīng)主透鏡進(jìn)入的光線后，然后將不同方向的光線聚焦到微透鏡下 的不同位置的像素。這樣，傳感器所有像素被MXN的微透鏡陣列劃分為MXN個(gè)子圖像，子圖 像中每個(gè)像素都對(duì)應(yīng)著某個(gè)特定方向的光線，代表著目標(biāo)某位置的成像。通過(guò)微透鏡的劃 分，探測(cè)器同時(shí)記錄了二維的強(qiáng)度信息和二維的方向信息，構(gòu)成光場(chǎng)的四維數(shù)據(jù)。相機(jī)不僅 能夠記錄投射到相機(jī)探測(cè)器上光線的強(qiáng)度信息，還能夠分辨光線的方向，從而實(shí)現(xiàn)四維光 場(chǎng)的記錄。虛擬焦平面是相機(jī)探測(cè)器(CCD)關(guān)于光場(chǎng)相機(jī)的整個(gè)成像系統(tǒng)在物空間的共輒 面。虛擬焦平面關(guān)于主透鏡成像系統(tǒng)有一個(gè)共輒面，由于沒(méi)有成像探測(cè)器記錄這一像，稱(chēng)作 虛擬像面，虛擬像面關(guān)于微透鏡陣列也有一個(gè)共輒面，即相機(jī)的CCD。虛擬光源點(diǎn)，經(jīng)過(guò)這兩 個(gè)成像單元，最后在CCD上成像。光場(chǎng)相機(jī)可根據(jù)微透鏡與CCD的位置關(guān)系分為傳統(tǒng)光場(chǎng)相 機(jī)和聚焦光場(chǎng)相機(jī)，傳統(tǒng)光場(chǎng)相機(jī)中微透鏡陣列與CCD的距離等于微透鏡的焦距，聚焦光場(chǎng) 相機(jī)中該距離不等于微透鏡的焦距。
[0003] 要根據(jù)光場(chǎng)相機(jī)拍攝的原始圖像，確定各光線的空間方向及位置，獲取被拍攝目 標(biāo)的三維信息，需要通過(guò)標(biāo)定技術(shù)確定光場(chǎng)相機(jī)的內(nèi)外參數(shù)。傳統(tǒng)的相機(jī)標(biāo)定方法如直接 線性變換方法(DLT變換)和徑向一致約束法(RAC)。標(biāo)定過(guò)程中需要運(yùn)用到精密加工的標(biāo)定 模塊，標(biāo)定模塊可以是一維、二維和三維的，通過(guò)標(biāo)定模塊上已知的三維坐標(biāo)點(diǎn)與其圖像對(duì) 應(yīng)點(diǎn)之間的對(duì)應(yīng)關(guān)系，可以計(jì)算出相機(jī)的內(nèi)部和外部參數(shù)，估計(jì)相機(jī)參數(shù)的精度較高，可以 使用任意的相機(jī)模型來(lái)進(jìn)行標(biāo)定。目前光場(chǎng)相機(jī)標(biāo)定研究較少，Yunsu Bok提出了基于傳統(tǒng) 相機(jī)標(biāo)定方法的光場(chǎng)相機(jī)的標(biāo)定方法，該標(biāo)定法使用標(biāo)定模塊原始圖像中的線性特征來(lái)進(jìn) 行標(biāo)定。然而，對(duì)于聚焦光場(chǎng)相機(jī)，光場(chǎng)原始圖像有可識(shí)別特征點(diǎn)，這些特征點(diǎn)可直接用于 聚焦光場(chǎng)相機(jī)的標(biāo)定，因此不需要使用線性特征。同時(shí)，由于聚焦光場(chǎng)相機(jī)與傳統(tǒng)光場(chǎng)相機(jī) 的結(jié)構(gòu)差異，Yunsu Bok提出了基于傳統(tǒng)相機(jī)標(biāo)定方法不能進(jìn)一步計(jì)算所有聚焦光場(chǎng)相機(jī) 內(nèi)部參數(shù)，包括主透鏡（主面)與微透鏡陣列的距離L，微透鏡陣列與CCD的距離S v以及微透 鏡陣列與虛擬像面的距離lm，因而該方法不能用于聚焦光場(chǎng)相機(jī)的標(biāo)定。Ole Johannsen提 出基于傳統(tǒng)相機(jī)標(biāo)定方法的聚焦光場(chǎng)相機(jī)的標(biāo)定方法。該標(biāo)定法使用標(biāo)定模塊原始圖像， 建立了基于小孔相機(jī)模型的標(biāo)定模塊上已知三維坐標(biāo)點(diǎn)與其圖像對(duì)應(yīng)點(diǎn)之間的對(duì)應(yīng)關(guān)系， 通過(guò)序列二次規(guī)劃(SQP)算法優(yōu)化目標(biāo)函數(shù)來(lái)求解該模型，從而計(jì)算出相機(jī)的內(nèi)部和外部 參數(shù)，然而該方法優(yōu)化求解時(shí)需要較為精確的初始值，否則容易出現(xiàn)局部最優(yōu)解。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：針對(duì)已有的標(biāo)定技術(shù)無(wú)法精確獲得聚焦光場(chǎng)相機(jī)的全部?jī)?nèi)外參數(shù)，為 了能夠計(jì)算光線的空間方向及位置或被拍攝目標(biāo)的空間三維信息，本發(fā)明提出了一種聚焦 光場(chǎng)相機(jī)內(nèi)外參數(shù)標(biāo)定方法。
[0005] 基本思路:聚焦光場(chǎng)相機(jī)拍攝標(biāo)定板（印有國(guó)際象棋棋盤(pán)圖案的平板）的圖像，將 聚焦光場(chǎng)相機(jī)主透鏡和各微透鏡近視為薄透鏡，先根據(jù)微透鏡成像原理，將光場(chǎng)相機(jī)原始 圖像上已知的像點(diǎn)（棋盤(pán)圖案角點(diǎn)）轉(zhuǎn)化成虛擬像面上虛擬像點(diǎn)，再根據(jù)主透鏡成像原理， 建立虛擬像點(diǎn)與標(biāo)定板上對(duì)應(yīng)角點(diǎn)之間的數(shù)學(xué)模型，該模型可利用張正友相機(jī)標(biāo)定算法進(jìn) 行求解，獲得待標(biāo)定的外部參數(shù)和相機(jī)部分內(nèi)部參數(shù)，再利用聚焦光場(chǎng)相機(jī)F數(shù)匹配這一特 性，進(jìn)一步計(jì)算出相機(jī)的全部?jī)?nèi)部參數(shù)。
[0006] -種聚焦光場(chǎng)相機(jī)內(nèi)外參數(shù)標(biāo)定法，其特征在于，包括如下步驟：
[0007] 步驟一、在圖像上定義圖像坐標(biāo)系U-0-V，每一像素的坐標(biāo)分別是該像素在數(shù)組中 的列數(shù)和行數(shù)，（u，v)是以像素為單位的圖像坐標(biāo)系坐標(biāo);固定聚焦光場(chǎng)相機(jī)，轉(zhuǎn)動(dòng)標(biāo)定板， 改變標(biāo)定板平面相對(duì)于相機(jī)探測(cè)面的夾角，從不同角度拍攝并保存η張(η 2 3,通常為4-6) 標(biāo)定板圖像;記錄標(biāo)定板圖像上的各角點(diǎn)Μ的像點(diǎn)m以及對(duì)應(yīng)的微透鏡中心在圖像坐標(biāo)系下 的坐標(biāo)，以及角點(diǎn)Μ在世界坐標(biāo)系下的坐標(biāo)；
[0008] 該步驟一在圖像上定義圖像坐標(biāo)系υ-ο-ν，ο點(diǎn)稱(chēng)為相機(jī)光心，X軸和Υ軸與圖像的X 軸與Υ軸平行，Ζ軸為相機(jī)的光軸，它與圖像平面垂直，由點(diǎn)0與Χ，Υ，Ζ軸組成的直角坐標(biāo)系為 相機(jī)坐標(biāo)系。在環(huán)境中選擇一個(gè)基準(zhǔn)坐標(biāo)系來(lái)描述相機(jī)的位置，并用它描述環(huán)境中任何物 體的位置，該坐標(biāo)系稱(chēng)為世界坐標(biāo)系，由Xw，Yw，Zw軸組成。標(biāo)定板使用棋盤(pán)格圖案，為保證 標(biāo)定板圖像上的角點(diǎn)坐標(biāo)能夠被精確識(shí)別，用高清打印機(jī)打印高清晰度的標(biāo)定板圖案，將 標(biāo)定板和光場(chǎng)相機(jī)置于光學(xué)平臺(tái)上，二者相距一定距離，調(diào)整標(biāo)定板的位置，使得光場(chǎng)相機(jī) 能夠拍攝到全部標(biāo)定板的圖像。變換標(biāo)定板和光場(chǎng)相機(jī)的相對(duì)放置角度，拍攝并保存若干 張不同角度下的標(biāo)定板原始圖像(相機(jī)CCD直接獲得的未經(jīng)處理的圖像）。記錄標(biāo)定板圖像 上的各角點(diǎn)Μ的像點(diǎn)m以及對(duì)應(yīng)的微透鏡中心在圖像坐標(biāo)系下的坐標(biāo)，以及角點(diǎn)Μ在世界坐 標(biāo)系下的坐標(biāo)。
[0009] 步驟二、計(jì)算各虛擬像點(diǎn)m'在圖像坐標(biāo)系下的坐標(biāo)：
[0010] *m \ J
'm V ^·ν J
[0011] 式中，lm是微透鏡陣列與CCD的距離，Sv是虛擬像面與微透鏡陣列的距離，（Mu，Mv) 是微透鏡中心在圖像坐標(biāo)系下的坐標(biāo)；
[0012] 將微透鏡等效成小孔模型，兩個(gè)像點(diǎn)過(guò)微透鏡中心的成像光線交于虛擬像點(diǎn)處， 根據(jù)微透鏡的放大率匕計(jì)算公式，利用步驟一得到的兩像點(diǎn)在圖像坐標(biāo)系下的u坐標(biāo)m、 U2， 微透鏡中心在圖像坐標(biāo)系下的U坐標(biāo)Mul、Mu2計(jì)算虛擬像點(diǎn)m '在圖像坐標(biāo)系下的坐標(biāo)：
[0015]式中，（U，V)和(Mu，Mv)分別是像點(diǎn)m及其對(duì)應(yīng)微透鏡中心在圖像坐標(biāo)系下的坐標(biāo)。 [0016]步驟三、建立標(biāo)定板上角點(diǎn)Μ與虛擬像點(diǎn)m'的標(biāo)定模型：
[0013
[0014
[0017] .s-m' = \[R t]M
[0018] 基于張正友相機(jī)標(biāo)定法求解該模型，獲得聚焦光場(chǎng)相機(jī)內(nèi)部參數(shù)矩陣A和外部參 數(shù)[Rt]，其中[Rt]為相機(jī)坐標(biāo)系與世界坐標(biāo)系的坐標(biāo)轉(zhuǎn)換矩陣，R是旋轉(zhuǎn)變換矩陣，t是平移 變換矩陣，A是基于小孔模型的聚焦光場(chǎng)相機(jī)主透鏡物像轉(zhuǎn)換矩陣；s是比例系數(shù)，?'是各 虛擬像點(diǎn)m'在圖像坐標(biāo)系下的坐標(biāo)[u，ν，1 ]τ，Μ是對(duì)應(yīng)角點(diǎn)Μ在世界坐標(biāo)系下的坐標(biāo)[Xw， Yw,l]T；
[0019] 將主透鏡簡(jiǎn)化成小孔模型，則角點(diǎn)m與虛擬像點(diǎn)m'的對(duì)應(yīng)關(guān)系可由下式確定，
[0020] sfii:' = A[Rt]M
[00211引入單應(yīng)性矩陣H，上式進(jìn)一步簡(jiǎn)化為：
[0022] = HM
[0023] 其中，
[0024]
[0025]
[0026]
[0027] 式中s是比例系數(shù)，A是聚焦光場(chǎng)相機(jī)主透鏡成像的物像(M-m'）轉(zhuǎn)換矩陣，[R，t]是 世界坐標(biāo)系與相機(jī)坐標(biāo)系的坐標(biāo)變換矩陣，其中R是旋轉(zhuǎn)變換矩陣，t是平移變換矩陣。(uo， vo)是主透鏡的光心點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)。L是主透鏡與微透鏡陣列之間的距離。dx和 dy是各像素的尺寸大小，q是圖像坐標(biāo)系中兩圖像坐標(biāo)軸的不垂直性?xún)A斜角(兩圖像坐標(biāo)軸 夾角與直角之差）。'是各虛擬像點(diǎn)m'在圖像坐標(biāo)系下的坐標(biāo)[u，v，1 ]τ，:麻:是對(duì)應(yīng)角點(diǎn)Μ在 世界坐標(biāo)系下的坐標(biāo)[Xw，Yw，l]T?；趶堈褬?biāo)定法求解得到單應(yīng)性矩陣Η，內(nèi)部參數(shù)矩陣A 和外部參數(shù)矩陣[R，t]。
[0028] 步驟四、根據(jù)聚焦光場(chǎng)相機(jī)F數(shù)匹配這一特性，計(jì)算得主透鏡與微透鏡陣列的距離 L，微透鏡陣列與(XD的距離Sv以及虛擬像面與微透鏡陣列的距離l m;
[0029] 利用步驟三中得到的α，即（L-Sv)/dx和步驟二得到的Mlm/Sv)，進(jìn)一步計(jì)算聚焦 光場(chǎng)相機(jī)其他內(nèi)部參數(shù)(相機(jī)內(nèi)部各部件相對(duì)位置參數(shù)），即主透鏡(主面)與微透鏡陣列的 距離L，微透鏡陣列與CCD的距離S v以及虛擬像面與微透鏡陣列的距離lm，需要增加約束條 件。根據(jù)聚焦光場(chǎng)相機(jī)主透鏡和微透鏡的F相等，即主透鏡的像方出瞳孔徑的直徑D，微透鏡 陣列上各微透鏡的直徑d，主透鏡(主面)與微透鏡陣列的距離L以及虛擬像面與微透鏡陣列 的距離lm滿足，
[0030]
[0031] 最終可得：
[0032]
[0033] 有益效果:本發(fā)明具有如下優(yōu)點(diǎn)：
[0034] (1)能夠精確標(biāo)定聚焦光場(chǎng)相機(jī)的全部?jī)?nèi)外參數(shù)，而現(xiàn)有的標(biāo)定技術(shù)無(wú)法實(shí)現(xiàn)這 一目的；
[0035] (2)基于張正友傳統(tǒng)標(biāo)定法實(shí)現(xiàn)的標(biāo)定技術(shù)，具有較好的魯棒性、實(shí)用性和較高的 精度。
【附圖說(shuō)明】
[0036] 圖1是聚焦光場(chǎng)相機(jī)標(biāo)定裝置圖；
[0037]圖3是像點(diǎn)-虛擬像點(diǎn)變換原理圖；
[0038]圖2是聚焦光場(chǎng)相機(jī)標(biāo)定模型原理圖；
[0039]圖4是聚焦光場(chǎng)相機(jī)F數(shù)匹配原理圖；
[0040] 其中，1 一標(biāo)定板、2-光場(chǎng)相機(jī)、3-計(jì)算機(jī)、4一主透鏡、5-微透鏡陣列、6-探測(cè) 面(CXD)、7-固定夾、8-調(diào)整架、9 一支架、10-光學(xué)平臺(tái)、11 一角點(diǎn)、12-虛擬像點(diǎn)、13-微 透鏡中心點(diǎn)、14 一像點(diǎn)、15-光線、16-虛擬像面、17-光闌、18-宏像素。
【具體實(shí)施方式】
[0041] 下面結(jié)合附圖和具體實(shí)施例，進(jìn)一步闡明本發(fā)明。應(yīng)理解這些實(shí)施例僅用于說(shuō)明 本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對(duì)本發(fā)明的各 種等價(jià)形式的修改均落于本申請(qǐng)所附權(quán)利要求所限定的范圍。
[0042] -種聚焦光場(chǎng)相機(jī)內(nèi)外參數(shù)標(biāo)定法，包括如下步驟：
[0043]步驟一、在圖像上定義圖像坐標(biāo)系U-0-V，每一像素的坐標(biāo)分別是該像素在數(shù)組中 的列數(shù)和行數(shù)，（u，v)是以像素為單位的圖像坐標(biāo)系坐標(biāo)。0點(diǎn)稱(chēng)為相機(jī)光心，X軸和