本發(fā)明涉及涉及計算機視覺與數字圖像處理領域，尤其涉及一種不完備數據下由聚焦堆棧重建光場的代數迭代方法和裝置。

背景技術：

光場成像已成為計算成像和計算機視覺的重要手段。光場采集與獲取已成為一個重要的研究領域。近年來，對光場數據獲取手段地不斷涌現：一類是直接獲取手段，即通過設計光學器件，如基于微透鏡陣列的光場相機、相機陣列和鏡頭陣列等，直接獲取光場；另一類是間接獲取手段，即用普通相機采集圖像數據，再對圖像數據進行后處理，以重建光場。但是，現有的間接獲取手段需要采集稠密的聚焦堆棧，才能夠重建出光場。

技術實現要素：

本發(fā)明的目的在于提供一種不完備數據情形下由聚焦堆棧重建光場的代數迭代方法和裝置，由聚焦堆棧重建四維光場的濾波反投影和卷積反投影方法。

為實現上述目的，本發(fā)明提供一種不完備數據下由聚焦堆棧重建光場的代數迭代方法，所述方法包括：建立四維光場形成聚焦堆棧的投影模型，所述聚焦堆棧是所述四維光場的二維投影，形成投影算子，采集到的聚焦堆棧數據通常在場景的一定深度范圍，對應投影的不完備數據；建立聚焦堆棧中的光線軌跡追蹤模型，形成反投影算子；將四維光場形成聚焦堆棧的投影模型離散為線性方程組，根據所述投影算子和所述反投影算子進行代數迭代重建光場。

進一步地，所述投影算子通過下述關系式獲得：

其中，e(dx,x′,y′)為聚焦堆棧平面圖像，為四維光場，(u,v)為光軸移動透鏡坐標，(x,y)為探測器坐標，(u,v)平面移動到(u′,v′)平面，(x,y)平面移動到(x′,y′)平面，d0為(u,v)平面和(x,y)平面的距離，dx為(u,v)平面和(x’,y’)平面的距離，du為(u‘,v’)平面和(x,y)平面的距離，

進一步地，所述建立聚焦堆棧中的光線軌跡追蹤模型，具體根據追蹤光線在聚焦堆棧的軌跡建立所述光線軌跡追蹤模型，其中，所述光線l(u,v,x,y)在聚焦堆棧的軌跡為：

進一步地，所述代數迭代過程具體為：光場生成聚焦堆棧的正過程建立由聚焦堆棧重建四維光場的代數迭代方法：

其中，l⁽ⁿ⁾(u,v,x,y)是光場第n次迭代的結果。

本發(fā)明還提供一種不完備數據下由聚焦堆棧重建光場的代數迭代裝置，所述裝置包括：第一構建模塊，用于建立四維光場形成聚焦堆棧的投影模型，所述聚焦堆棧是所述四維光場的二維投影，形成投影算子；第二構建模塊，用于建立聚焦堆棧中的光線軌跡追蹤模型，形成反投影算子；重建模塊，用于將四維光場形成聚焦堆棧的投影模型離散為線性方程組，根據所述第一構建模塊得到的所述投影算子和所述第二構建模塊得到的所述反投影算子進行代數迭代重建光場。

進一步地，所述第一構建模塊形成的投影算子通過下述關系式獲得：

其中，e(dx,x′,y′)為聚焦堆棧平面圖像，為四維光場，(u,v)為光軸移動透鏡坐標，(x,y)為探測器坐標，(u,v)平面移動到(u′,v′)平面，(x,y)平面移動到(x′,y′)平面，d0為(u,v)平面和(x,y)平面的距離，dx為(u,v)平面和(x’,y’)平面的距離，du為(u‘,v’)平面和(x,y)平面的距離，

進一步地，所述第二構建模塊構建的光線軌跡追蹤模型具體為跟蹤光線l(u,v,x,y)在聚焦堆棧的軌跡，包括：

進一步地，所述重建模塊的代數迭代過程具體為：光場生成聚焦堆棧的正過程建立由聚焦堆棧重建四維光場的代數迭代方法：

其中，l⁽ⁿ⁾(u,v,x,y)是光場第n次迭代的結果。

本發(fā)明提供的方案，依據光場重聚焦原理，在不同的聚焦平面下的重聚焦形成了聚焦堆棧，物方光場沒變化，因而可以將像方聚焦堆棧轉換成物方的聚焦堆棧，利用同步迭代算法進行迭代，再根據放大比對物方成像平面進行調整，因此，本發(fā)明對圖像數據的采集更加靈活，可不同場景設計采集方式，即使采集到的是不完備數據，也能夠重建任意角度分辨率的光場，滿足了現有技術中對現有光場成像技術中對光場的需求。

附圖說明

圖1是根據本發(fā)明第一實施例提供的由聚焦堆棧重建光場的代數迭代方法的流程示意圖。

圖2是根據本發(fā)明第一實施例提供的相機拍攝形成聚焦堆棧的示意圖。

圖3是根據本發(fā)明第一實施例提供的光場形成聚焦堆棧的原理圖。

圖4是根據本發(fā)明第一實施例提供的光線l(u,v,x,y)在聚焦堆棧的軌跡。

圖5是根據本發(fā)明第二實施例提供的由聚焦堆棧重建光場的濾波反投影裝置的結構示意圖。

具體實施方式

在附圖中，使用相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面結合附圖對本發(fā)明的實施例進行詳細說明。

在本發(fā)明的描述中，術語“中心”、“縱向”、“橫向”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明保護范圍的限制。

如圖1所示，本發(fā)明實施方式所提供的不完備數據情形下由聚焦堆棧重建光場的代數迭代方法包括：

步驟101，由四維光場形成聚焦堆棧的投影模型，形成投影算子，采集到的聚焦堆棧數據通常在場景的一定深度范圍，對應投影的不完備數據。

該步驟中，聚焦堆棧是一組聚焦在不同成像平面或采用不同參數拍攝的成像序列，本實施方式中的聚焦堆棧為一組聚焦在不同成像平面的成像序列。具體地，本實施方式以沿光軸同步移動透鏡和/或探測器完成聚焦堆棧采集為例，說明重建光場的具體實施方法。

如圖2所示，圖2的左側包括focusplane1和focusplane2，示出的是場景中的兩個物面位置，focusplane1對應的物面位置是(x,y)平面，focusplane2對應的物面位置是(x′,y′)平面。右側包括s1和s2，示出的是像方的兩個平面。中間包括lens1和lens2，示出的是透鏡所在的兩個平面位置，lens1對應的物面是(u,v)平面，lens2對應的物面是(u‘,v’)平面。

如圖2所示，采集聚焦堆棧的過程為：通過沿著光軸移動透鏡或探測器，即如圖2中示出地，透鏡從(u,v)平面移動到(u′,v′)平面，探測器對應的物面從(x,y)平面移動到(x′,y′)平面，(u,v)平面經由(u,v)平面在s1平面上成像，(u′,v′)平面經由(u′,v′)平面在s2平面上成像。當然，本實施例提供的方法同樣可以應用于其他類似方式聚焦堆棧采集的場景。

如圖3所示，(u,v)平面和(x,y)平面的距離為d0，(u,v)平面和(x’,y’)平面的距離為dx，(u‘,v’)平面和(x,y)平面的距離為du。例如，聚焦堆棧e(dx,x′,y′)是四維光場在(x′,y′)平面的二維投影。是光線的輻亮度。

不同的雙平面參數化可以表示同一光場，(u,v)平面上的一點和(x,y)平面上的一點確定光場中的一條光線，因此與表示同一條光線，并且可通過公式表示為：

鑒于聚焦堆棧e(dx,x′,y′)是四維光場的二維投影，則有：

(u,v,x,y)到(u′,v′,x′,y′)的仿射變換為：

四維光場形成聚焦堆棧e(dx,x′,y′)的過程對應的投影算子的表達式為：

上述的表達式為下述步驟中需要用到的四維光場形成聚焦堆棧的投影模型，由此，可得聚焦堆棧與四維光場的幾何關系：聚焦堆棧e(dx,x′,y′)是四維光場的二維投影。通常情形下，采集到的聚焦堆棧的圖像數據為稠密度不夠，且在場景的一定深度范圍內的不完備數據。根據不完備數據，無法利用現有方法重建光場。

需要說明的是，本發(fā)明下述實施方式提供的方法是以將沿光軸同步移動透鏡和探測器完成聚焦堆棧采集的場景為例進行的介紹，容易理解，本發(fā)明實施例提供的方法同樣可以應用于其它類似方式聚焦堆棧采集的場景。

步驟102：建立聚焦堆棧中的光線軌跡追蹤模型，形成反投影算子反投影算子對應聚焦堆棧對四維光場l(u,v,x,y)的反投影。

其中，首先，根據步驟101中得到的四維光場形成聚焦堆棧的投影模型，形成反投影算子建立由聚焦堆棧重建光場的反投影模型，即：

然后，建立聚焦堆棧中的光線軌跡追蹤：追蹤任一光線l(u,v,x,y)在聚焦堆棧中的軌跡，該軌跡的表達式為：

本發(fā)明實施例中，光線l(u,v,x,y)在聚焦堆棧中的軌跡追蹤如圖4所示，在視點(u,v)下的光場圖像是由視點(u,v)發(fā)出的全部光線，每條光線的值是聚焦堆棧沿直線的線性積分，也就是說，視點(u,v)下的光場圖像等價于聚焦堆棧沿直線的線性積分。

步驟103：將四維光場形成聚焦堆棧的投影模型離散為線性方程組，基于步驟101獲得的投影算子和步驟102獲得的反投影算子進行代數迭代重建光場。

其中，建立由聚焦堆棧重建光場的反投影迭代重建方法：投影模型離散為線性方程組，基于投影算子和反投影算子通過代數迭代建立由聚焦堆棧重建光場。

在光場形成聚焦堆棧的投影模型中，聚焦堆棧是四維光場的二維投影，投影角度θ∈(-90°,45°)，屬于不完備投影數據，可采用代數迭代方法重建光場，具體方法如下：

根據：對于由f(x,y)得到積分數據g(s,t)的積分方程，可表示為：

g(s,t)＝∫∫f(x,y)·k(x,y,s,t)dxdy

landwebber迭代方法是由積分g(s,t)求解f(x,y)的迭代方法，表示為：

f⁽ⁿ⁺¹⁾(x,y)＝f⁽ⁿ⁾(x,y)+∫∫k(x,y,s,t)(g(s,t)-∫∫f⁽ⁿ⁾(x,y)·k(x,y,s,t)dxdy)dsdt

而本實施例方式的四維光場生成聚焦堆棧的正過程是利用上面的landwebber迭代方法，建立由聚焦堆棧重建四維光場的代數迭代方法，例如sart算法，也叫同步迭代算法：

上述公式中，l⁽ⁿ⁾(u,v,x,y)是光場第n次迭代的結果。

其中，根據投影算子和所述反投影算子，利用上述同步迭代算法進行代數迭代重建光場，具體為：

首先，迭代過程l⁽ⁿ⁾(u,v,x,y)的初值選取為0，第n輪迭代計算出的光場l⁽ⁿ⁾(u,v,x,y)作為第n+1輪迭代的初值。

然后，利用投影算子將l⁽ⁿ⁾(u,v,x,y)投影為計算與實測值(e(dx,x′,y′))的誤差

最后，利用反投影算子將誤差反投影累加給光場l⁽ⁿ⁾(u,v,x,y)，其對應的表達式為：

對光場的雙平面參數化表示，一般是利用探測器平面與透鏡平面進行刻畫。依據光場重聚焦原理，在不同聚焦平面下的重聚焦形成了聚焦堆棧，像方光場沒變化，可以直接重建像方的光場。

在本發(fā)明中，采用透鏡平面與探測器平面同步移動的方式對聚焦堆棧進行采集，使像方光場發(fā)生了變化，因而將像方聚焦堆棧轉換成物方的聚焦堆棧，利用同步迭代算法進行迭代，再根據放大比對物方成像平面進行調整，進而重建光場。

參見圖5，本發(fā)明還提供一種不完備數據情形下由聚焦堆棧重建光場的代數迭代裝置，所述裝置包括：

第一構建模塊201，用于建立四維光場形成聚焦堆棧的投影模型，所述聚焦堆棧是所述四維光場的二維投影，形成投影算子；

第二構建模塊202，用于建立聚焦堆棧中的光線軌跡追蹤模型，形成反投影算子；

重建模塊203，用于將四維光場形成聚焦堆棧的投影模型離散為線性方程組，根據第一構建模塊201得到的所述投影算子和第二構建模塊202得到的所述反投影算子進行代數迭代重建光場。

其中，第一構建模塊201中形成的投影算子通過下述關系式獲得：

其中，e(dx,x′,y′)為聚焦堆棧平面圖像，為四維光場，(u,v)為光軸移動透鏡坐標，(x,y)為探測器坐標，(u,v)平面移動到(u′,v′)平面，(x,y)平面移動到(x′,y′)平面，d0為(u,v)平面和(x,y)平面的距離，dx為(u,v)平面和(x’,y’)平面的距離，du為(u‘,v’)平面和(x,y)平面的距離，.

其中，第二構建模塊202構建的光線軌跡追蹤模型具體為跟蹤光線l(u,v,x,y)在聚焦堆棧的軌跡，包括：

其中，重建模塊203的代數迭代過程具體為：

光場生成聚焦堆棧的正過程建立由聚焦堆棧重建四維光場的代數迭代方法：

其中，l⁽ⁿ⁾(u,v,x,y)是光場第n次迭代的結果。

本發(fā)明提供的一種不完備數據情形下由聚焦堆棧重建光場的代數迭代裝置，采用透鏡平面與探測器平面同步移動的方式對聚焦堆棧進行采集，使像方光場發(fā)生了變化，因而將像方聚焦堆棧轉換成物方的聚焦堆棧，利用同步迭代算法進行迭代，再根據放大比對物方成像平面進行調整，進而重建光場。

最后需要指出的是：以上實施例僅用以說明本發(fā)明的技術方案，而非對其限制。本領域的普通技術人員應當理解：可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；這些修改或者替換，并不使相應技術方案的本質脫離本發(fā)明各實施例技術方案的精神和范圍。