本申請(qǐng)涉及圖像的拍攝和處理領(lǐng)域，特別涉及一種環(huán)繞式混合光場(chǎng)成像裝置及方法。

背景技術(shù)：

三維全景成像技術(shù)是近幾年新爆發(fā)的市場(chǎng)熱點(diǎn)，尤其在vr/ar、體感游戲、社交等領(lǐng)域具有極大的市場(chǎng)前景。目前，市場(chǎng)上已經(jīng)出現(xiàn)一些全景成像設(shè)備，如facebook出品的surround360由17個(gè)攝像頭構(gòu)成，其中包括14部廣角攝像頭圍成的圓盤，還有頂部一個(gè)魚眼攝像頭以及底部2部攝像頭，配有基于網(wǎng)絡(luò)的軟件，最高可拍攝8k像素視頻；samsung出品的projectbeyond看起來就像一個(gè)飛碟。16個(gè)攝像頭呈環(huán)形安裝在“飛碟”四周，每?jī)蓚€(gè)負(fù)責(zé)45度角范圍內(nèi)的拍攝。相機(jī)中央是一個(gè)強(qiáng)大的處理器/存儲(chǔ)器陣列，它能同時(shí)處理來自16個(gè)攝像頭的圖像信息，并把它們拼接成實(shí)時(shí)的360度全景視頻——當(dāng)然，你也可以按下快門，拍攝照片。上述全景成像設(shè)備兩款采用十幾個(gè)傳統(tǒng)相機(jī)搭建成一套球體相機(jī)陣列采集360°全景，但存在成本高昂、同步難度高、相機(jī)間標(biāo)定困難等缺點(diǎn)。nikon出品的keymission360以照相機(jī)為中心，約360°視頻功能同時(shí)從各個(gè)角度拍攝。捕捉用戶正面的視野，以及他們無法看到的場(chǎng)景；insta360nano為直板造型，采用前后雙鏡頭設(shè)計(jì)，每顆鏡頭都是超廣角210°，通過前后兩顆超廣角魚眼鏡頭拍攝360°x360°圖片/視頻，再進(jìn)行實(shí)時(shí)拼接，可拍攝3k分辨率(3040x1520)的全景視頻。以上兩種相機(jī)采用雙鏡頭背靠背組合采集360°場(chǎng)景，但是存在采樣率低，成像畸變嚴(yán)重等缺點(diǎn)。

公開號(hào)為cn205453890u的實(shí)用新型專利申請(qǐng)公開了一種線掃相機(jī)全景成像裝置，包括殼體；驅(qū)動(dòng)電機(jī)，安裝在殼體內(nèi)；一端具有固定相機(jī)的支架，另一端具有平衡塊；傳動(dòng)軸，通過傳動(dòng)軸承與殼體固定，一軸端與所述旋轉(zhuǎn)平臺(tái)衛(wèi)浴之家和平衡塊間的部分固定；傳動(dòng)齒輪組，安裝于殼體且傳動(dòng)驅(qū)動(dòng)電機(jī)的電機(jī)軸與所述傳動(dòng)軸；中央處理器，安裝于殼體內(nèi)，處理由相機(jī)輸出的的圖像信號(hào)以及控制驅(qū)動(dòng)電機(jī)轉(zhuǎn)動(dòng)。該專利的缺點(diǎn)在于使用線掃相機(jī)必須要使用外部光源，在自然光的條件下是無法成像的，需要額外補(bǔ)充光源才可以，在使用中受到很大的限制。

公開號(hào)為cn105959665a的發(fā)明專利申請(qǐng)公開了一種針對(duì)虛擬現(xiàn)實(shí)設(shè)備的全景3d視頻生成方法。該方法包括：用廣角相機(jī)陣列拍攝場(chǎng)景視頻并經(jīng)過拼接算法生成全景視頻；用深度相機(jī)陣列拍攝場(chǎng)景的深度圖并經(jīng)過拼接算法生成全景深度圖視頻。通過實(shí)時(shí)檢測(cè)人的頭部位置，在全景視頻幀中切割相應(yīng)位置的圖像作為左視點(diǎn)的視頻；根據(jù)左視點(diǎn)的圖像和相應(yīng)的深度圖基于虛擬視點(diǎn)合成技術(shù)外插生成右視點(diǎn)圖像，這兩幅圖像拼接為左右3d視頻，在虛擬現(xiàn)實(shí)設(shè)備中顯示。該方法需要廣角相機(jī)陣列及深度相機(jī)陣列兩組拍攝設(shè)備，在實(shí)施過程中難以保證設(shè)備的一致性。全景視頻與全景深度視頻的注冊(cè)問題也會(huì)限制最終的數(shù)據(jù)質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問題，本發(fā)明提出了一種環(huán)繞式光場(chǎng)成像裝置及方法，采取旋轉(zhuǎn)式的設(shè)計(jì)，使用時(shí)間換取空間以調(diào)和設(shè)備復(fù)雜性與成像質(zhì)量的矛盾。本發(fā)明相較于上述虛擬現(xiàn)實(shí)數(shù)據(jù)獲取方式具有較低的成本和較高的成像質(zhì)量。并且上述虛擬現(xiàn)實(shí)數(shù)據(jù)獲取方式輸出為全景圖。

本發(fā)明的具體技術(shù)方案如下：

本發(fā)明的第一方面提出了一種環(huán)繞式混合光場(chǎng)成像裝置，包括旋轉(zhuǎn)臺(tái)，

還包括光場(chǎng)相機(jī)、傳統(tǒng)相機(jī)、控制器；

所述光場(chǎng)相機(jī)安裝在所述旋轉(zhuǎn)臺(tái)上；

所述傳統(tǒng)相機(jī)安裝在所述旋轉(zhuǎn)臺(tái)上；

所述控制器分別與所述光場(chǎng)相機(jī)、所述傳統(tǒng)相機(jī)和所述旋轉(zhuǎn)臺(tái)相連。

優(yōu)選的是，所述旋轉(zhuǎn)臺(tái)包括一個(gè)平面和一個(gè)轉(zhuǎn)動(dòng)裝置。

在上述方案中優(yōu)選的是，所述轉(zhuǎn)動(dòng)裝置帶動(dòng)所述平面轉(zhuǎn)動(dòng)。

在上述方案中優(yōu)選的是，所述轉(zhuǎn)動(dòng)裝置為電動(dòng)機(jī)、手動(dòng)搖把和其他驅(qū)動(dòng)平臺(tái)轉(zhuǎn)動(dòng)的裝置中至少一種。

在上述方案中優(yōu)選的是，所述轉(zhuǎn)動(dòng)的角度為水平環(huán)繞360°。

在上述方案中優(yōu)選的是，通過調(diào)節(jié)所述電動(dòng)機(jī)的轉(zhuǎn)速設(shè)定所述平面的旋轉(zhuǎn)速度。

在上述方案中優(yōu)選的是，所述光場(chǎng)相機(jī)和所述傳統(tǒng)相機(jī)以特定角度固定在所述旋轉(zhuǎn)臺(tái)上。

在上述方案中優(yōu)選的是，所述光場(chǎng)相機(jī)和所述傳統(tǒng)相機(jī)在同一水平面上。

在上述方案中優(yōu)選的是，所述光場(chǎng)相機(jī)和所述傳統(tǒng)相機(jī)的鏡頭均向外。

在上述方案中優(yōu)選的是，所述光場(chǎng)相機(jī)采集數(shù)據(jù)形成多個(gè)深度切片的圖像。

在上述方案中優(yōu)選的是，所述光場(chǎng)相機(jī)采集到的圖像為低分辨率圖像。

在上述方案中優(yōu)選的是，所述多個(gè)深度切片的圖像是指所述廣場(chǎng)先機(jī)微鏡頭陣列可獲取連續(xù)視角變化的多張圖像，利用廣場(chǎng)深度技術(shù)，可以得到場(chǎng)景高精度深度估計(jì)。

在上述方案中優(yōu)選的是，所述傳統(tǒng)相機(jī)采集高分辨率圖像。

在上述方案中優(yōu)選的是，所述控制器用于控制所述旋轉(zhuǎn)臺(tái)的開始旋轉(zhuǎn)、停止旋轉(zhuǎn)和調(diào)整轉(zhuǎn)速中至少一種。

在上述方案中優(yōu)選的是，所述控制器還用于在所述旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)的同時(shí)，啟動(dòng)所述光場(chǎng)相機(jī)和傳統(tǒng)相機(jī)進(jìn)行拍攝。

在上述方案中優(yōu)選的是，所述控制器還用于在所述旋轉(zhuǎn)臺(tái)停止旋轉(zhuǎn)的同時(shí)，停止所述光場(chǎng)相機(jī)和傳統(tǒng)相機(jī)的拍攝。

本發(fā)明的第二方面還提出了一種環(huán)繞式混合光場(chǎng)成像方法，包括對(duì)權(quán)利要求1中所述的環(huán)繞式混合光場(chǎng)成像裝置的參數(shù)標(biāo)定，包含以下步驟：

步驟1：使用所述環(huán)繞式混合光場(chǎng)成像裝置獲取圖像；

步驟2：將獲取的所述圖像進(jìn)行融合；

步驟3：對(duì)獲取的所述圖像進(jìn)行渲染；

步驟4：生成最終圖像。

優(yōu)選的是，所述參數(shù)標(biāo)定包括普通相機(jī)參數(shù)標(biāo)定、光場(chǎng)相機(jī)參數(shù)標(biāo)定和旋轉(zhuǎn)臺(tái)參數(shù)標(biāo)定中至少一種。

在上述方案中優(yōu)選的是，所述光場(chǎng)相機(jī)參數(shù)標(biāo)定包括微透鏡投影中心位置的標(biāo)定和棋盤格標(biāo)定內(nèi)參數(shù)的標(biāo)定。

在上述方案中優(yōu)選的是，所述內(nèi)參數(shù)包括微透鏡陣列到傳感器的距離a、主透鏡到微透鏡陣列的距離d、系統(tǒng)光軸在傳感器上的坐標(biāo)cx,cy、主透鏡焦距f、相機(jī)畸變系數(shù)k1,k2)、傳感器像素尺寸p和微透鏡投影中心usj,vsj中至少一種。

在上述方案中優(yōu)選的是，所述內(nèi)參數(shù)的標(biāo)定方法包括以下步驟：

步驟a1：拍攝標(biāo)定源數(shù)據(jù)，內(nèi)參標(biāo)定過程中需要拍攝標(biāo)定圖片，采取棋盤格做標(biāo)定物，棋盤格上有k個(gè)角點(diǎn)，各個(gè)角點(diǎn)間距離為d毫米，使用所述光場(chǎng)相機(jī)在不同姿態(tài)下拍攝標(biāo)定板，得到n張光場(chǎng)標(biāo)定源圖像，其中n>3且相機(jī)的各個(gè)姿態(tài)互相不平行；

步驟a2：處理標(biāo)定源數(shù)據(jù)，提取所述標(biāo)定源圖像上的若干個(gè)像點(diǎn)，所述像點(diǎn)坐標(biāo)為(xijk,yijk)，該坐標(biāo)表示第k個(gè)棋盤格角點(diǎn)，在第i個(gè)姿態(tài)中，在第j個(gè)微透鏡下成像點(diǎn)坐標(biāo)為(x,y)；

步驟a3：建立方程計(jì)算角點(diǎn)射影變換參數(shù)，每個(gè)標(biāo)定板角點(diǎn)將在若干個(gè)微透鏡后成像，且只在每個(gè)微透鏡后成唯一像，對(duì)于每個(gè)姿態(tài)下的每個(gè)角點(diǎn)可以建立方程：

求解所述方程可得到與各個(gè)角點(diǎn)匹配的系數(shù)

步驟a4：建立方程解算參數(shù)，使用下面的轉(zhuǎn)換方程

將h轉(zhuǎn)換為更利于計(jì)算的形式得到h′，以標(biāo)定板平面為世界坐標(biāo)系，及所有角點(diǎn)z坐標(biāo)為0。角點(diǎn)的世界坐標(biāo)系坐標(biāo)與h′之間存在射影變換關(guān)系：

其中x′＝[x,y,1]^t，s為任意尺度因子。變換矩陣可由如下公式表示：

通過x′與h′求解g，并建立方程求解

可以解算出cx,cy,α，然后依據(jù)下列公式，可以解算出每個(gè)姿態(tài)下的外參數(shù)r,t以及β,γ：

r3＝r1×r2

t3＝s

最終，實(shí)際參數(shù)d,a,f可由下列公式解算：

步驟a5：非線性優(yōu)化，建立能量函數(shù)

energyfunction:∑ijk||xijk-f(xk,a,d,f,cx,cy,k1,k2,ri,ti)||

使用lm最小化能量函數(shù)從而得到優(yōu)化后內(nèi)參數(shù)。

在上述方案中優(yōu)選的是，所述步驟1還包括以下子步驟：

步驟b1：設(shè)置采集方式并采集原始數(shù)據(jù)圖像，所述原始數(shù)據(jù)圖像包括普通圖像和光場(chǎng)圖像；

步驟b2：歸檔所述原始數(shù)據(jù)圖像，計(jì)算相應(yīng)外參數(shù)；

步驟b3：光場(chǎng)圖片的處理；

步驟b4：光場(chǎng)計(jì)算深度結(jié)果與普通相機(jī)拍攝的圖像對(duì)應(yīng)；

步驟b5：數(shù)據(jù)組織存儲(chǔ)。

在上述方案中優(yōu)選的是，所述標(biāo)定采集方式包括給定角度自由指定、拍攝范圍自由指定、曝光時(shí)間根據(jù)測(cè)光動(dòng)態(tài)調(diào)整中至少一種。

在上述方案中優(yōu)選的是，所述外參數(shù)包括旋轉(zhuǎn)臺(tái)坐標(biāo)系x,y,z和相機(jī)坐標(biāo)系xc,yc,zc，使用所述普通相機(jī)與所述光場(chǎng)相機(jī)間的坐標(biāo)變換關(guān)系以及旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)前后相機(jī)坐標(biāo)系的變換，旋轉(zhuǎn)臺(tái)繞中心軸旋轉(zhuǎn)角度θ，相應(yīng)得到新坐標(biāo)系x′,y′,z′，可推導(dǎo)出從坐標(biāo)系x,y,z到新坐標(biāo)系x′,y′,z′的旋轉(zhuǎn)矩陣(假定中心軸為y軸)為旋轉(zhuǎn)臺(tái)坐標(biāo)系與相機(jī)坐標(biāo)系轉(zhuǎn)換矩陣[rc|tc]不隨旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)改變，rc為三維旋轉(zhuǎn)矩陣，tc為三維平移向量旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)后新的相機(jī)坐標(biāo)系坐標(biāo)為x′c,y′c,z′c，相機(jī)坐標(biāo)系旋轉(zhuǎn)前后變換矩陣為[r′c|t′c]，可以由旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)矩陣以及旋轉(zhuǎn)臺(tái)相機(jī)轉(zhuǎn)換矩陣推導(dǎo)[r′c|t′c]，t＝tc-rtc。

在上述方案中優(yōu)選的是，標(biāo)定數(shù)據(jù)獲取及計(jì)算包括以下步驟：

步驟b21：使用裝配好的相機(jī)拍攝標(biāo)定板，采集圖像a并提取角點(diǎn)；

步驟b22：控制旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)角度θ并計(jì)算旋轉(zhuǎn)矩陣rθ；

步驟b23：再次拍攝標(biāo)定板，采集圖像b并提取角點(diǎn)；

步驟b24：根據(jù)兩組圖像角點(diǎn)計(jì)算[r|t]，基于相機(jī)標(biāo)定步驟所得到的相機(jī)內(nèi)參數(shù)矩陣k及光場(chǎng)相機(jī)內(nèi)參矩陣q，求解以下方程xa＝kx,xb＝k[r|t]x和xa＝qx,xb＝q[r|t]x；

步驟b25：結(jié)合[r|t]及rθ計(jì)算[rc|tc]，和t＝tc-rtc。

在上述方案中優(yōu)選的是，所述步驟b3包括光場(chǎng)解碼、光場(chǎng)視差匹配和光場(chǎng)深度結(jié)算中至少一種

在上述方案中優(yōu)選的是，所述光場(chǎng)視差匹配是指對(duì)任一微透鏡圖像，搜索其相鄰的微透鏡圖像并建立匹配關(guān)系。結(jié)合微透鏡中心，計(jì)算出所有匹配關(guān)系的視差。

在上述方案中優(yōu)選的是，所述光場(chǎng)深度結(jié)算是指使用所述光場(chǎng)相機(jī)參數(shù)，可求得微透鏡視差與對(duì)應(yīng)空間點(diǎn)深度的關(guān)系利用標(biāo)定參數(shù)a及δu求出虛擬深度d，進(jìn)而使用主鏡頭焦距f以及聚焦公式求解空間點(diǎn)深度。

在上述方案中優(yōu)選的是，所述光場(chǎng)深度結(jié)算包括以下子步驟：

步驟b31：深度圖參數(shù)設(shè)置；

步驟b32：視差-深度映射；

步驟b33：全局優(yōu)化。

在上述方案中優(yōu)選的是，所述步驟b31為經(jīng)過標(biāo)定得到光場(chǎng)相機(jī)參數(shù)a,d,cx,cy,f,p,k1,k2，設(shè)置深度圖尺寸與光場(chǎng)源圖像一致，相應(yīng)小孔參數(shù)模型為焦距f/p、光軸中心cx,cy和畸變參數(shù)k1,k2。

在上述方案中優(yōu)選的是，所述步驟b32為計(jì)算遍歷深度圖d(x,y)所有關(guān)聯(lián)微透鏡序號(hào)，獲得微透鏡序號(hào)集合m；通過所述遍歷集合m，計(jì)算深度圖坐標(biāo)(x,y)對(duì)應(yīng)微透鏡圖像下坐標(biāo)(xj,yj)，其中計(jì)算匹配函數(shù)r(x,y,d,m)，i(x,y)表示光場(chǎng)源圖像(x,y)處亮度r(x,y,d,m)＝∑j∈mncc(i(xj,yj))；選擇匹配函數(shù)最小的深度值d作為(x,y)點(diǎn)深度d＝argminr(x,y,d,m)、d(x,y)＝d；其中d為遍歷深度值d∈[da,db]。

在上述方案中優(yōu)選的是，所述步驟b33為使用圖割算法對(duì)上一步所得到的深度圖d進(jìn)行優(yōu)化，具體能量函數(shù)形式為energyfunction:∑datad+∑smoothd，其中，數(shù)據(jù)項(xiàng)為r(x,y,d,m)，平滑項(xiàng)∑smoothd為∑smoothd＝∑x,y∑δx,δy‖d(x,y)-d(x+δx,y+δy)‖。

在上述方案中優(yōu)選的是，所述步驟b4為對(duì)源圖像進(jìn)行變換映射，所述變換映射需要深度信息，使用光場(chǎng)圖像計(jì)算出深度圖后需要將所述深度圖與所述對(duì)原圖像進(jìn)行對(duì)應(yīng)。

在上述方案中優(yōu)選的是，所述步驟b4還為利用外參數(shù)標(biāo)定數(shù)據(jù)計(jì)算深度圖與普通圖的旋轉(zhuǎn)平移關(guān)系，利用內(nèi)參數(shù)標(biāo)定結(jié)果能夠建立起像素級(jí)的對(duì)應(yīng)關(guān)系。

在上述方案中優(yōu)選的是，所述步驟2包括拼接模型的選取和源數(shù)據(jù)映射，所述源數(shù)據(jù)映射包括所述源數(shù)據(jù)映射關(guān)系計(jì)算、所述源數(shù)據(jù)映射過程和目標(biāo)模型數(shù)據(jù)處理。

在上述方案中優(yōu)選的是，所述步驟3包括目標(biāo)新視點(diǎn)模型的給定和相關(guān)源數(shù)集的計(jì)算。

在上述方案中優(yōu)選的是，所述相關(guān)源數(shù)集的計(jì)算包括所述源數(shù)據(jù)映射關(guān)系計(jì)算、源數(shù)據(jù)映射過程和目標(biāo)模型數(shù)據(jù)處理。

在上述方案中優(yōu)選的是，所述步驟4為使用得到的rgb圖像i和光場(chǎng)深度圖d以及各自的參數(shù)計(jì)算rgb圖像i和光場(chǎng)深度圖d的映射關(guān)系。

在上述方案中優(yōu)選的是，所述步驟4還為遍歷rgb圖像i所有像素i(x,y)，計(jì)算(x,y)到光場(chǎng)深度圖d上的對(duì)極線l，在對(duì)極線l上進(jìn)行搜索，得到最匹配視差的深度d(x′,y′)，生成rgbd圖像。

本發(fā)明采用參數(shù)標(biāo)定的手段結(jié)合光場(chǎng)相機(jī)的深度能力與傳統(tǒng)相機(jī)的高分辨率圖像，能夠獲取高質(zhì)量的場(chǎng)景三維圖像。場(chǎng)景三維圖像相對(duì)于全景圖而言有更高的數(shù)據(jù)維度和更大的信息量，能夠給后續(xù)應(yīng)用提供更高的自由度。

附圖說明

圖1為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像裝置的一優(yōu)選實(shí)施例的結(jié)構(gòu)圖。

圖2為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像裝置的外拍裝置搭建的一優(yōu)選實(shí)施例的示意圖。

圖3為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像裝置的圖2所示實(shí)施例的采集示意圖。

圖4為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像裝置的內(nèi)拍裝置搭建的一優(yōu)選實(shí)施例的示意圖。

圖5為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像方法的一優(yōu)選實(shí)施例的流程圖。

圖5a為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像方法的如圖5所示實(shí)施例的光場(chǎng)白圖像圖。

圖5b為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像方法的如圖5所示實(shí)施例的微透鏡映射關(guān)系圖。

圖5c為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像方法的如圖5所示實(shí)施例的光場(chǎng)相機(jī)拍攝標(biāo)定板圖。

圖5d為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像方法的如圖5所示實(shí)施例的傳統(tǒng)相機(jī)拍攝標(biāo)定板圖。

圖5e為按照本發(fā)明的環(huán)繞式混合光場(chǎng)成像方法的如圖5所示實(shí)施例的外參數(shù)坐標(biāo)示意圖。

具體實(shí)施方式

實(shí)施例1

如圖1所示。環(huán)繞式混合光場(chǎng)成像裝置有控制器100、光場(chǎng)相機(jī)110、旋轉(zhuǎn)臺(tái)120和傳統(tǒng)相機(jī)130組成。光場(chǎng)相機(jī)110和傳統(tǒng)相機(jī)130安放在旋轉(zhuǎn)臺(tái)120的兩端，在同一水平面上以固定夾角安裝。旋轉(zhuǎn)臺(tái)120中安裝有旋轉(zhuǎn)設(shè)備，可以是電動(dòng)機(jī)、手動(dòng)搖把或者其他可以使旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)的設(shè)備，可以360°旋轉(zhuǎn)?？刂破?00用于控制旋轉(zhuǎn)臺(tái)120旋轉(zhuǎn)的啟動(dòng)和停止、光場(chǎng)相機(jī)110和傳統(tǒng)相機(jī)130的拍攝。

使用控制器100選擇旋轉(zhuǎn)臺(tái)120的轉(zhuǎn)速，并標(biāo)定光場(chǎng)相機(jī)110和傳統(tǒng)相機(jī)130的拍攝參數(shù)?？刂破?00啟動(dòng)旋轉(zhuǎn)臺(tái)120中的旋轉(zhuǎn)設(shè)備，旋轉(zhuǎn)臺(tái)120開始加速旋轉(zhuǎn)，當(dāng)旋轉(zhuǎn)臺(tái)120達(dá)到設(shè)定的旋轉(zhuǎn)速度并穩(wěn)定速度時(shí)，光場(chǎng)相機(jī)110和傳統(tǒng)相機(jī)130開始拍攝照片。當(dāng)照片拍攝達(dá)到設(shè)定的數(shù)量后，光場(chǎng)相機(jī)110和傳統(tǒng)相機(jī)130停止拍攝照片，旋轉(zhuǎn)臺(tái)120開始減速，直到停止旋轉(zhuǎn)。

控制器100可以是一個(gè)控制設(shè)備、也可是臺(tái)式計(jì)算機(jī)、便攜式電腦以及其他可以輸出控制的智能設(shè)備。光場(chǎng)相機(jī)110可以是市面上出售的其他任何一款光場(chǎng)相機(jī)或者是自行使用傳統(tǒng)相機(jī)加上特殊部件租組成的光場(chǎng)相機(jī)，旋轉(zhuǎn)臺(tái)120的平面可以是圓形、方形、三角形、橢圓形或者多邊形的平臺(tái)，旋轉(zhuǎn)臺(tái)120的轉(zhuǎn)動(dòng)裝置可以是電動(dòng)機(jī)、手動(dòng)搖把或者其他可以驅(qū)動(dòng)旋轉(zhuǎn)臺(tái)120轉(zhuǎn)動(dòng)的設(shè)備，傳統(tǒng)相機(jī)130可以用市面上出售的其他任何一款膠片相機(jī)或者數(shù)碼相機(jī)。

實(shí)施例2

如圖2所示，標(biāo)號(hào)200為傳統(tǒng)相機(jī)-索尼dsxt77，標(biāo)號(hào)210為lytroillum光場(chǎng)相機(jī)，標(biāo)號(hào)220為圓形平臺(tái)，標(biāo)號(hào)230為底座，標(biāo)號(hào)240為旋轉(zhuǎn)電機(jī)電源線。

標(biāo)號(hào)200為傳統(tǒng)相機(jī)-索尼dsxt77和標(biāo)號(hào)210為lytroillum光場(chǎng)相機(jī)分別固定在圓形平臺(tái)220的兩個(gè)邊沿，兩部相機(jī)的鏡頭均面向外面，兩部相機(jī)的連線穿過平臺(tái)220的中心點(diǎn)，兩部相機(jī)相對(duì)于中心點(diǎn)對(duì)稱安放，兩部相機(jī)夾角為180°。在底座230中安放有可以360°旋轉(zhuǎn)的電機(jī)，帶動(dòng)平臺(tái)220進(jìn)行旋轉(zhuǎn)。

兩部相機(jī)沿平臺(tái)圓形220的水平面可旋轉(zhuǎn)，旋轉(zhuǎn)時(shí)同步采集，采集視野范圍為水平環(huán)繞360°。相機(jī)系統(tǒng)內(nèi)外參數(shù)可控。標(biāo)號(hào)200為傳統(tǒng)相機(jī)-索尼dsxt77和標(biāo)號(hào)210為lytroillum光場(chǎng)相機(jī)可以通過相機(jī)間標(biāo)定得到相機(jī)內(nèi)外參數(shù)，且旋轉(zhuǎn)臺(tái)的旋轉(zhuǎn)步進(jìn)可控，因此可以建立拍攝圖像與世界坐標(biāo)系間的映射關(guān)系。景深范圍內(nèi)三維場(chǎng)景深度可獲取。光場(chǎng)相機(jī)微鏡頭陣列可獲取連續(xù)視角變化的多張圖像，利用光場(chǎng)深度獲取技術(shù)，可以得到場(chǎng)景高精度深度估計(jì)。360°全景光場(chǎng)圖像無畸變拼接。利用光場(chǎng)相機(jī)水平面360°高密度采樣切片，通過相對(duì)外參數(shù)、光場(chǎng)數(shù)據(jù)的關(guān)聯(lián)性計(jì)算和畸變矯正，實(shí)現(xiàn)360°光場(chǎng)圖像拼接。成像視野內(nèi)高清晰圖像渲染。通過光場(chǎng)相機(jī)圖像和傳統(tǒng)相機(jī)圖像融合，單視角合成圖像的分辨率在500萬像素以上。成像視野內(nèi)全聚焦。通過光場(chǎng)重聚焦與全聚焦技術(shù)，視野內(nèi)不同深度場(chǎng)景全部清晰成像。小尺度視角連續(xù)可變。視角變化范圍為水平面360°，視角變化步進(jìn)在1°以內(nèi)，保證相鄰視角的圖像視野覆蓋在20％以上。

如圖3所示，光場(chǎng)相機(jī)和傳統(tǒng)相機(jī)分別采集360°場(chǎng)景。在同一視角，光場(chǎng)相機(jī)采集數(shù)據(jù)形成多個(gè)深度切片的低分辨率圖像，傳統(tǒng)相機(jī)采集到一張高分辨率圖像。通過光場(chǎng)圖像和傳統(tǒng)圖像的高分辨率圖像融合、360°全景圖像拼接、畸變矯正、白平衡等處理，形成3d場(chǎng)景的全聚焦成像。

標(biāo)號(hào)200為傳統(tǒng)相機(jī)-索尼dsxt77可以用市面上出售的其他任何一款膠片相機(jī)或者數(shù)碼相機(jī)替代，lytroillum光場(chǎng)相機(jī)210可以用市面上出售的其他任何一款光場(chǎng)相機(jī)或者自行使用傳統(tǒng)相機(jī)加上特殊部件租組成的光場(chǎng)相機(jī)代替，平臺(tái)220的形狀可以用方形、三角形、橢圓形或者多邊形的平臺(tái)代替，驅(qū)動(dòng)平臺(tái)220旋轉(zhuǎn)的設(shè)備可以是電動(dòng)機(jī)、手動(dòng)搖把等可以旋轉(zhuǎn)的設(shè)備。

實(shí)施例3

如圖4所示，標(biāo)號(hào)300為傳統(tǒng)相機(jī)索尼dsxt77，標(biāo)號(hào)310的是固定傳統(tǒng)相機(jī)索尼dsxt77的裝置，標(biāo)號(hào)320為lytroillum光場(chǎng)相機(jī)，標(biāo)號(hào)330標(biāo)號(hào)的是固定lytroillum光場(chǎng)相機(jī)的裝置，標(biāo)號(hào)340的為用于放置物體的平臺(tái)，標(biāo)號(hào)350為用于固定平臺(tái)的裝置，標(biāo)號(hào)360為旋轉(zhuǎn)臺(tái)，標(biāo)號(hào)370為旋轉(zhuǎn)臺(tái)底座，標(biāo)號(hào)380為dell臺(tái)式計(jì)算機(jī)。

在計(jì)算機(jī)上標(biāo)定好標(biāo)號(hào)300為傳統(tǒng)相機(jī)索尼dsxt77和標(biāo)號(hào)320為lytroillum光場(chǎng)相機(jī)的系統(tǒng)參數(shù)(包括拍照數(shù)量、拍照時(shí)間、拍照速度、曝光時(shí)間等)將物體放置在物體平臺(tái)340上，旋轉(zhuǎn)臺(tái)底座370中的電機(jī)開始工作，帶動(dòng)旋轉(zhuǎn)臺(tái)360開始轉(zhuǎn)動(dòng)，標(biāo)號(hào)300為傳統(tǒng)相機(jī)索尼dsxt77和標(biāo)號(hào)320為lytroillum光場(chǎng)相機(jī)開始隨著旋轉(zhuǎn)跳360轉(zhuǎn)動(dòng)，同時(shí)進(jìn)行拍照。當(dāng)照片的數(shù)量達(dá)到要求后，標(biāo)號(hào)300為傳統(tǒng)相機(jī)索尼dsxt77和標(biāo)號(hào)320為lytroillum光場(chǎng)相機(jī)停止拍照，旋轉(zhuǎn)臺(tái)底座370中的電機(jī)開始減速，旋轉(zhuǎn)臺(tái)360轉(zhuǎn)動(dòng)速度變慢，直到停止。使用dell臺(tái)式計(jì)算機(jī)380連接傳統(tǒng)相機(jī)索尼dsxt77和標(biāo)號(hào)320為lytroillum光場(chǎng)相機(jī)，下載拍攝好的相片，并用dell臺(tái)式計(jì)算機(jī)380中的環(huán)繞式混合光場(chǎng)成像系統(tǒng)中帶的軟件對(duì)相片進(jìn)行處理，生成被拍攝物品的三維圖像。

實(shí)施例4

如圖5所示，執(zhí)行步驟400進(jìn)行參數(shù)標(biāo)定。參數(shù)標(biāo)定包括普通相機(jī)參數(shù)標(biāo)定、光場(chǎng)相機(jī)參數(shù)標(biāo)定和相機(jī)相對(duì)于旋轉(zhuǎn)臺(tái)的標(biāo)定。

1、普通相機(jī)參數(shù)標(biāo)定

使用小孔成像模型簡(jiǎn)化普通相機(jī)，參數(shù)有a,u,v,k1,k2，分別代表相機(jī)焦距(像素單位)，相機(jī)光軸在圖像中的坐標(biāo)以及徑向畸變參數(shù)。采用張氏標(biāo)定法對(duì)模型進(jìn)行標(biāo)定。具體過程分四步，第一步拍攝不同姿態(tài)下的標(biāo)定板圖像，第二步提取每個(gè)標(biāo)定板圖像的角點(diǎn)信息，第三步利用角點(diǎn)信息解算模型參數(shù)初值，第四步通過非線性優(yōu)化得到模型參數(shù)優(yōu)化值。

2、光場(chǎng)相機(jī)參數(shù)標(biāo)定

光場(chǎng)相機(jī)從結(jié)構(gòu)設(shè)計(jì)上與普通相機(jī)不同，本相機(jī)使用光場(chǎng)相機(jī)作為獲取深度圖的工具，因此對(duì)光場(chǎng)相機(jī)進(jìn)行參數(shù)標(biāo)定。

光場(chǎng)相機(jī)拍攝白圖像標(biāo)定微透鏡投影中心位置

光場(chǎng)相機(jī)中的微透鏡陣列對(duì)主鏡頭進(jìn)行二次成像，每個(gè)微透鏡的成像范圍互不重疊，成像中心互不相同。需要計(jì)算出每個(gè)微透鏡的成像范圍和成像中心。具體過程分為三步：第一步使用光場(chǎng)相機(jī)拍攝白色背景或無紋理背景得到光場(chǎng)白圖像如圖5a所示；第二步二值化處理光場(chǎng)白圖像，曝光像素范圍為微透鏡有效像素范圍；第三步使用模板匹配找出每個(gè)微透鏡在傳感器平面上的投影中心及投影區(qū)域。根據(jù)檢測(cè)結(jié)果，得到有效微透鏡總數(shù)m，每個(gè)微透鏡投影中心坐標(biāo)(usj,vsj),j＝1…m及如圖5b所示中微透鏡映射關(guān)系圖

光場(chǎng)相機(jī)拍攝棋盤格標(biāo)定內(nèi)參數(shù)

1)內(nèi)參數(shù)說明

光場(chǎng)相機(jī)理想化模型由主透鏡，微透鏡陣列，傳感器三個(gè)部分組成。我們使用7個(gè)參數(shù)來參數(shù)化該模型。a,d,f,cx,cy,k1,k2，其中

a微透鏡陣列到傳感器的距離(/pixel，像素單位)

d主透鏡到微透鏡陣列的距離(/pixel，像素單位)

cx,cy系統(tǒng)光軸在傳感器上的坐標(biāo)(/pixel，像素單位)

f主透鏡焦距(/mm，毫米單位)

k1,k2相機(jī)畸變系數(shù)(無量綱)

此外，還有若干參數(shù)

p傳感器像素尺寸(pixel/mm，毫米單位)

usj,vsj微透鏡投影中心(/pixel，像素單位)

2)拍攝標(biāo)定源數(shù)據(jù)

內(nèi)參標(biāo)定過程中需要拍攝標(biāo)定圖片。

我們采取棋盤格做標(biāo)定物，棋盤格上有k個(gè)角點(diǎn)，各個(gè)角點(diǎn)間距離為d毫米。

使用光場(chǎng)相機(jī)在不同姿態(tài)下拍攝標(biāo)定板，得到n張光場(chǎng)標(biāo)定源圖像。

n>3且相機(jī)的各個(gè)姿態(tài)互相不平行。

3)處理標(biāo)定源數(shù)據(jù)

每一張標(biāo)定源圖像上都會(huì)有若干個(gè)像點(diǎn)，我們將提取這些像點(diǎn)。

像點(diǎn)坐標(biāo)為(xijk,yijk)，該坐標(biāo)表示第k個(gè)棋盤格角點(diǎn)，在第i個(gè)姿態(tài)中，在第j個(gè)微透鏡下成像點(diǎn)坐標(biāo)為(x,y)。

4)建立方程計(jì)算角點(diǎn)攝射影變換參數(shù)

每個(gè)標(biāo)定板角點(diǎn)將在若干個(gè)微透鏡后成像，且只在每個(gè)微透鏡后成唯一像，

因此對(duì)于每個(gè)姿態(tài)下的每個(gè)角點(diǎn)可以建立方程：

求解該方程可得到與各個(gè)角點(diǎn)匹配的系數(shù)

5)建立方程解算參數(shù)。

首先將h轉(zhuǎn)換為更利于計(jì)算的形式，轉(zhuǎn)換方程如下所示：

我們以標(biāo)定板平面為世界坐標(biāo)系，及所有角點(diǎn)z坐標(biāo)為0。角點(diǎn)的世界坐標(biāo)

系坐標(biāo)與h′之間存在射影變換關(guān)系，如下所示

其中x′＝[x,y,1]^t，s為任意尺度因子。變換矩陣可由如下公式表示：

通過x′與h′求解g，并建立方程求解

可以解算出cx，cy，α，然后依據(jù)下列公式，可以解算出每個(gè)姿態(tài)下的外參數(shù)r，t以及β，γ：

r3＝r1×r2

t3＝s

最終，實(shí)際參數(shù)d,a,f可由下列公式解算：

6)非線性優(yōu)化。

建立能量函數(shù)：

energyfunction:∑ijk||xijk-f(xk,a,d,f,cx,cy,k1,k2,ri,ti)||

使用lm最小化能量函數(shù)從而得到優(yōu)化后內(nèi)參數(shù)。

如圖5c所示的是光場(chǎng)相機(jī)拍攝標(biāo)定板圖，如圖5d所示的是傳統(tǒng)相機(jī)拍攝標(biāo)定板圖，傳統(tǒng)相機(jī)的是高分辨率的，光場(chǎng)相機(jī)是低分辨率且多視點(diǎn)的。

3、相機(jī)相對(duì)于旋轉(zhuǎn)臺(tái)的標(biāo)定

如圖5e所示，有兩類坐標(biāo)系，第一類是旋轉(zhuǎn)臺(tái)坐標(biāo)系x,y,z，第二類是相機(jī)坐標(biāo)系xc,yc,zc，因?yàn)樾D(zhuǎn)臺(tái)與相機(jī)的相對(duì)位置固定，因此旋轉(zhuǎn)臺(tái)坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系的變換矩陣固定。在后續(xù)步驟的數(shù)據(jù)處理與應(yīng)用中，需要使用普通相機(jī)與光場(chǎng)相機(jī)間的坐標(biāo)變換關(guān)系以及旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)前后相機(jī)坐標(biāo)系的變換。

旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)的旋轉(zhuǎn)角轉(zhuǎn)換為旋轉(zhuǎn)臺(tái)的旋轉(zhuǎn)矩陣

旋轉(zhuǎn)臺(tái)繞中心軸旋轉(zhuǎn)角度θ，相應(yīng)得到新坐標(biāo)系x′,y′,z′，可推導(dǎo)出從坐標(biāo)系x,y,z到新坐標(biāo)系x′,y′,z′的旋轉(zhuǎn)矩陣(假定中心軸為y軸)為：

相機(jī)坐標(biāo)系相對(duì)于旋轉(zhuǎn)臺(tái)坐標(biāo)系轉(zhuǎn)換矩陣的關(guān)系，旋轉(zhuǎn)臺(tái)坐標(biāo)系與相機(jī)坐標(biāo)系轉(zhuǎn)換矩陣[rc|tc]不隨旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)改變，rc為三維旋轉(zhuǎn)矩陣，tc為三維平移向量。

旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)前后，相機(jī)坐標(biāo)變換矩陣的推導(dǎo)

旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)后新的相機(jī)坐標(biāo)系坐標(biāo)為x′c,y′c,z′c，相機(jī)坐標(biāo)系旋轉(zhuǎn)前后變換矩陣為[r′c|t′c]，可以由旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)矩陣以及旋轉(zhuǎn)臺(tái)相機(jī)轉(zhuǎn)換矩陣推導(dǎo)[r′c|t′c]：

坐標(biāo)變換關(guān)系的標(biāo)定方式

旋轉(zhuǎn)臺(tái)坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣需要被標(biāo)定。具體過程分四步：第一步使用裝配好的相機(jī)拍攝標(biāo)定板，采集圖像a并提取角點(diǎn)；第二步控制旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)角度θ并計(jì)算旋轉(zhuǎn)矩陣r；第三步再次拍攝標(biāo)定板，采集圖像b并提取角點(diǎn)；第四步根據(jù)兩組圖像角點(diǎn)計(jì)算[r′c|t′c]，進(jìn)一步結(jié)合r反算出[rc|tc]。

執(zhí)行步驟410，通過環(huán)繞式混合光場(chǎng)成像裝置獲取圖像。

1、轉(zhuǎn)動(dòng)給定角度拍攝，可拍攝指定范圍

1)給定角度可自由指定

采樣密度可控?？梢云胶馀臄z數(shù)據(jù)量大小與成像效果等。

2)拍攝范圍可自由指定

采樣密度可控?？梢云胶馀臄z數(shù)據(jù)量大小與成像效果等。

3)曝光時(shí)間可根據(jù)測(cè)光動(dòng)態(tài)調(diào)整

全景環(huán)境中將出現(xiàn)亮度不一致的情況(例如迎光和背光)。在不同方位下，相機(jī)的曝光時(shí)間可以根據(jù)亮度直方圖數(shù)據(jù)做動(dòng)態(tài)調(diào)整。

2、拍攝圖片組的外參數(shù)解算

1)外參數(shù)說明

如圖5e所示，有兩類坐標(biāo)系，第一類是旋轉(zhuǎn)臺(tái)坐標(biāo)系x,y,z，第二類是相機(jī)坐標(biāo)系xc,yc,zc，因?yàn)樾D(zhuǎn)臺(tái)與相機(jī)的相對(duì)位置固定，因此旋轉(zhuǎn)臺(tái)坐標(biāo)系相對(duì)于相機(jī)坐標(biāo)系的變換矩陣固定。在后續(xù)步驟的數(shù)據(jù)處理與應(yīng)用中，需要使用普通相機(jī)與光場(chǎng)相機(jī)間的坐標(biāo)變換關(guān)系以及旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)前后相機(jī)坐標(biāo)系的變換。

旋轉(zhuǎn)臺(tái)繞中心軸旋轉(zhuǎn)角度θ，相應(yīng)得到新坐標(biāo)系x′,y′,z′，可推導(dǎo)出從坐標(biāo)系x,y,z到新坐標(biāo)系x′,y′,z′的旋轉(zhuǎn)矩陣(假定中心軸為y軸)為：

旋轉(zhuǎn)臺(tái)坐標(biāo)系與相機(jī)坐標(biāo)系轉(zhuǎn)換矩陣[rc|tc]不隨旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)改變，rc為三維旋轉(zhuǎn)矩陣，tc為三維平移向量。

旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)后新的相機(jī)坐標(biāo)系坐標(biāo)為x′c,y′c,z′c，相機(jī)坐標(biāo)系旋轉(zhuǎn)前后變換矩陣為[r′c|t′c]，可以由旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)矩陣以及旋轉(zhuǎn)臺(tái)相機(jī)轉(zhuǎn)換矩陣推導(dǎo)[r′c|t′c]：

2)標(biāo)定數(shù)據(jù)獲取及計(jì)算

旋轉(zhuǎn)臺(tái)坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣需要被標(biāo)定。

具體過程分四步：

第一步使用裝配好的相機(jī)拍攝標(biāo)定板，采集圖像a并提取角點(diǎn)；

第二步控制旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)角度θ并計(jì)算旋轉(zhuǎn)矩陣rθ；

第三步再次拍攝標(biāo)定板，采集圖像b并提取角點(diǎn)；

第四步根據(jù)兩組圖像角點(diǎn)計(jì)算[r|t]；

基于相機(jī)標(biāo)定步驟所得到的相機(jī)內(nèi)參數(shù)矩陣k及光場(chǎng)相機(jī)內(nèi)參矩陣q

求解以下方程

xa＝kx,xb＝k[r|t]x

xa＝qx,xb＝q[r|t]x

第五步結(jié)合[r|t]及rθ計(jì)算[rc|tc]；

t＝tc-rtc

3、光場(chǎng)圖片的處理

1)光場(chǎng)解碼

光場(chǎng)拍攝原始圖像按微透鏡成像區(qū)域分割。分割出每個(gè)微透鏡圖像。

2)光場(chǎng)時(shí)差匹配

光場(chǎng)相機(jī)內(nèi)部相當(dāng)于微型相機(jī)陣列。各個(gè)微透鏡之間存在視差，視差與深度比利相關(guān)。對(duì)任一微透鏡圖像，搜索其相鄰的微透鏡圖像并建立匹配關(guān)系。結(jié)合微透鏡中心，計(jì)算出所有匹配關(guān)系的視差。本發(fā)明中使用標(biāo)定參數(shù)結(jié)果可以簡(jiǎn)化搜索過程(公知技術(shù)需要對(duì)整個(gè)微透鏡圖像進(jìn)行搜索，本發(fā)明只需要對(duì)微透鏡圖像中的一條線進(jìn)行搜索，效率變高)

3)光場(chǎng)深度解算

(1)深度計(jì)算說明

基于光場(chǎng)相機(jī)微陣列多視成像的原理，可以由光場(chǎng)源圖像計(jì)算相應(yīng)的深度圖。設(shè)置符合小孔成像模型并與光場(chǎng)相機(jī)標(biāo)定參數(shù)的深度圖。經(jīng)過計(jì)算填充該深度圖，并輸出此圖像矩陣。

(2)深度圖參數(shù)設(shè)置

經(jīng)過標(biāo)定，得到光場(chǎng)相機(jī)參數(shù)：

a,d,cx,cy,f,p,k1,k2

設(shè)置深度圖尺寸與光場(chǎng)源圖像一致，相應(yīng)小孔參數(shù)模型為：

焦距f/p、光軸中心cx,cy、畸變參數(shù)k1,k2

(3)視差-深度映射

遍歷深度圖d上的每個(gè)坐標(biāo)(x,y)

遍歷深度值d,d∈[da,db]

計(jì)算d(x,y)所有關(guān)聯(lián)微透鏡序號(hào)，獲得微透鏡序號(hào)集合m

遍歷集合m，計(jì)算深度圖坐標(biāo)(x,y)對(duì)應(yīng)微透鏡圖像下坐標(biāo)(xj,yj)：

計(jì)算匹配函數(shù)r(x,y,d,m)，i(x,y)表示光場(chǎng)源圖像(x,y)處亮度

選擇匹配函數(shù)最小的深度值d作為(x,y)點(diǎn)深度

d＝argminr(x,y,d,m)

d(x,y)＝d

(4)全局優(yōu)化

使用圖割算法對(duì)上一步所得到的深度圖d進(jìn)行優(yōu)化。具體能量函數(shù)形式為：

energyfunction:∑datad+∑smoothd

其中，數(shù)據(jù)項(xiàng)為r(x,y,d,m)，平滑項(xiàng)∑smoothd為：

4、光場(chǎng)數(shù)據(jù)與普通數(shù)據(jù)的關(guān)聯(lián)性

依據(jù)以上步驟，我們將得到rgb圖像i，光場(chǎng)深度圖d，以及各自的參數(shù)(或等效參數(shù))

根據(jù)參數(shù)很容易計(jì)算兩者的映射關(guān)系。

遍歷rgb圖像i所有像素i(x,y)

計(jì)算(x,y)到光場(chǎng)深度圖d上的對(duì)極線l，已知兩個(gè)相機(jī)參數(shù)的情況下計(jì)算對(duì)極線是公知技術(shù)。

在對(duì)極線l上進(jìn)行搜索，得到最匹配視差的深度d(x′,y′)

5、數(shù)據(jù)組織存儲(chǔ)

經(jīng)過上述步驟處理后，我們將得到全景拍攝視野范圍內(nèi)的二維圖像，深度圖，以及外參數(shù)。本發(fā)明將這一類數(shù)據(jù)組織為全景源數(shù)據(jù)。一個(gè)全景源數(shù)據(jù)包含普通相機(jī)與光場(chǎng)相機(jī)的內(nèi)參標(biāo)定數(shù)據(jù)以及n組源圖像數(shù)據(jù)，每組源圖像數(shù)據(jù)包括經(jīng)過對(duì)應(yīng)處理的深度圖及普通圖和相應(yīng)外參數(shù)。

執(zhí)行步驟420，將獲取到的圖像進(jìn)行融合。

1、拼接模型的選取

選取目標(biāo)模型為柱狀模型，模型采用極坐標(biāo)表示。

2、源數(shù)據(jù)(圖像、深度圖)映射

1)源數(shù)據(jù)(圖像、深度圖)映射關(guān)系的計(jì)算

根據(jù)源數(shù)據(jù)每組圖像的內(nèi)外參數(shù)，計(jì)算圖像平面映射到柱狀投影面的映射矩陣。

2)源數(shù)據(jù)(圖像、深度圖)映射過程

根據(jù)映射矩陣，計(jì)算每組源圖像在目標(biāo)模型上的映射范圍。遍歷目標(biāo)映射范圍計(jì)算源圖像坐標(biāo)(一般情況下這個(gè)坐標(biāo)不是整數(shù)，即無法與源圖像像素一一對(duì)應(yīng))，根據(jù)采樣率要求提取源圖像坐標(biāo)區(qū)域像素值賦予目標(biāo)模型像素。

3)目標(biāo)模型數(shù)據(jù)處理

拼接縫鄰進(jìn)行高斯淡化處理。

多個(gè)源圖像重疊處，深度一致使用平均值，深度不一致使用深度淺像素。運(yùn)用泊松融合技術(shù)處理光照不一致情況。

執(zhí)行步驟430，將獲取到的圖像進(jìn)行渲染。

1、目標(biāo)新視點(diǎn)模型的給定

選取目標(biāo)模型為小孔模型(符合人眼透視)，給定新視點(diǎn)的內(nèi)參數(shù)(焦距，圖像大小)，外參數(shù)(旋轉(zhuǎn)平移矩陣)。

2、相關(guān)源數(shù)據(jù)集的計(jì)算

1)源數(shù)據(jù)映射關(guān)系的計(jì)算

根據(jù)源數(shù)據(jù)每組圖像的內(nèi)外參數(shù)，映射到新視點(diǎn)的映射矩陣。此外因?yàn)樾乱朁c(diǎn)的視野有限，為了降低計(jì)算量，排除映射范圍不在新視點(diǎn)內(nèi)的源圖像

2)源數(shù)據(jù)映射過程

3)目標(biāo)模型數(shù)據(jù)處理

執(zhí)行步驟440，生成圖像。

為了更好地理解本發(fā)明，以上結(jié)合本發(fā)明的具體實(shí)施例做了詳細(xì)描述，但并非是對(duì)本發(fā)明的限制。凡是依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所做的任何簡(jiǎn)單修改，均仍屬于本發(fā)明技術(shù)方案的范圍。本說明書中每個(gè)實(shí)施例重點(diǎn)說明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同或相似的部分相互參見即可。對(duì)于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見方法實(shí)施例的部分說明即可。

可能以許多方式來實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)。例如，可通過軟件、硬件、固件或者軟件、硬件、固件的任何組合來實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)。用于所述方法的步驟的上述順序僅是為了進(jìn)行說明，本發(fā)明的方法的步驟不限于以上具體描述的順序，除非以其它方式特別說明。此外，在一些實(shí)施例中，還可將本發(fā)明實(shí)施為記錄在記錄介質(zhì)中的程序，這些程序包括用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的機(jī)器可讀指令。因而，本發(fā)明還覆蓋存儲(chǔ)用于執(zhí)行根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對(duì)于本領(lǐng)域的普通技術(shù)人員而言是顯然的。選擇和描述實(shí)施例是為了更好說明本發(fā)明的原理和實(shí)際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計(jì)適于特定用途的帶有各種修改的各種實(shí)施例。