本發(fā)明涉及光場成像領(lǐng)域，具體涉及一種基于光場測量的光場高清晰成像方法，其為基于對光場相機記錄的原始光場信息進行處理，通過恢復(fù)子孔徑圖像的對稱性，以達到提高光場相機在受到大氣湍流等像差影響時的成像分辨率。

背景技術(shù)：

隨著CPU的爆炸式發(fā)展，基于計算成像的光場成像技術(shù)的發(fā)展前景非常樂觀，其在成像的同時，擴展了成像的重塑性，并且可以加入人對圖像的理解，使得最后的圖像信息更加靈活化。隨著光電技術(shù)及器件的發(fā)展和光場理論的進一步完善，光場成像正逐步滲透到航空拍攝、波前探測、安全監(jiān)視、科學(xué)儀器、攝影傳媒、3D立體顯示等各個領(lǐng)域，并朝著集成化、實用化、多元化的方向邁進。在這些應(yīng)用中，對光場相機的成像實時性和成像分辨率有著越來越高的要求。傳統(tǒng)的光場相機(結(jié)構(gòu)如圖1所示)是基于微透鏡陣列來獲取光線的2D位置信息和2D方向信息，其雖然增加了光場相機的方向分辨率，但由于光場相機的空間分辨率受限于微透鏡單元的數(shù)目和孔徑，空間分辨率不高仍是光場成像中的主要問題。

由于光場相機空間分辨率本就不高，如果在光線傳輸路徑上再受到大氣湍流等像差的影響，將大大降低光場相機的成像質(zhì)量，難以滿足實際需求。因此在這種情況下需要對光場相機的圖像進行處理，恢復(fù)大氣湍流等像差引起的入射波前畸變，減弱傳輸介質(zhì)像差對成像分辨率的影響，提高成像分辨率。如何有效的客服湍流效應(yīng)對光學(xué)系統(tǒng)成像分辨率的限制，一直是急需解決的問題。

目前主要消除大氣湍流的方法有：自適應(yīng)光學(xué)技術(shù)、圖像后處理技術(shù)以及混合處理技術(shù)(自適應(yīng)光學(xué)和圖像后處理技術(shù))等手段進行高分辨率重建。自適應(yīng)光學(xué)技術(shù)對成像質(zhì)量的補償或校正僅僅是部分的、不充分的。另外，自適應(yīng)光學(xué)系統(tǒng)的波前測量需要消耗大量的光能，系統(tǒng)光能利用率不高；強湍流環(huán)境會引起光強閃爍、導(dǎo)致哈特曼波前測量失敗；成本昂貴對于一些小型化設(shè)備，很難大規(guī)模應(yīng)用；需要導(dǎo)星，結(jié)構(gòu)復(fù)雜，特別是應(yīng)用于擴展目標的清晰化成像。圖像后處理是一種圖像事后處理技術(shù)，對圖像的拍攝條件、樣本的數(shù)量、圖像的先驗信息都有特殊的要求，況且數(shù)據(jù)計算量大，很難做到實時或者準實時，不適用與高速運動目標的清晰成像。

因此針對光場相機這種小型化設(shè)備，克服光線傳輸路徑中大氣湍流等像差的影響，需要發(fā)明一種新的圖像處理方法，能夠利用光場相機本身的結(jié)構(gòu)特點，充分利用其記錄的4D光場信息，以提高光場相機的成像分辨率。

技術(shù)實現(xiàn)要素：

為了克服成像路徑中大氣湍流等像差對光場相機成像分辨率的影響，本發(fā)明充分利用光場相機的結(jié)構(gòu)特點和其記錄下來的4D光場信息，提出了一種使用質(zhì)心算法或圖像相關(guān)算法計算出光場相機子孔徑圖像的位移信息，通過恢復(fù)子孔徑圖像的對稱性來校正成像路徑中的像差所引起的波前畸變，從而實現(xiàn)光場相機高清晰成像的圖像處理方法。

本發(fā)明采用的技術(shù)方案是：一種基于光場測量的光場高清晰成像方法，該方法包含步驟如下：

①、用光場相機拍攝目標，得到目標的原始光場數(shù)據(jù)，并提取出虛擬子孔徑圖像；

②、對子孔徑圖像進行處理，用質(zhì)心算法或圖像相關(guān)算法計算出虛擬子孔徑圖像和參考子孔徑圖像的相關(guān)矩陣，并由此求出子孔徑圖像的質(zhì)心位移；

③、平移虛擬子孔徑圖像，對此位移量進行補償，恢復(fù)虛擬子孔徑圖像的對稱性；

④、對恢復(fù)對稱性的子孔徑圖像進行數(shù)字重聚焦，得到目標高分辨率的復(fù)原圖像。

其中，通過校正子孔徑圖像的位置來克服大氣湍流等像差對光場成像的影響。

其中，理論上可以克服所有破壞子孔徑圖像對稱性的像差的影響，具有廣泛的適用范圍。

其中，計算子孔徑位移時所使用的優(yōu)化算法可以為質(zhì)心算法或圖像相關(guān)算法，質(zhì)心算法中目標質(zhì)心的位置可以由幾何光學(xué)推導(dǎo)出的質(zhì)心計算公式求得：

其中，設(shè)微透鏡陣列的數(shù)目為2M×2N，2M和2N分別為一維方向上微透鏡的個數(shù)，第(m,n)個微透鏡對應(yīng)的光瞳像為I_m,n(ξ,η)，ξ、η為光瞳像在光敏面(成像CCD)上的位置坐標，d為微透鏡單元的孔徑，f_M為主透鏡焦距；

圖像相關(guān)算法是通過計算圖像的最大相關(guān)矩陣來計算亞像元的位移量，設(shè)I_m(x,y)為第m個虛擬子孔徑圖像，I_r(x,y)為參考圖像，I_r(x+u,y+v)為平移后的參考圖像，偏移量為(u,v)，圖像相關(guān)矩陣可以表示為：

亞像元的位移量(u_m,v_m)為：

其中，(u_p,v_p)為相關(guān)系數(shù)取最大值時的位移量。

其中，數(shù)字重聚焦所使用的的方法可以為光線追跡數(shù)值積分法或傅里葉切片法，重聚焦面上的光照度可以表示為：

其中，(x',y')為重聚焦面上的位置坐標，(u,v)為主鏡上的位置坐標，cos⁴θ為漸暈系數(shù)，F(xiàn)為精準聚焦平面與主鏡頭之間的距離，F(xiàn)'為成像平面與主鏡之間的距離，對應(yīng)主鏡(u,v)處子孔徑圖像的光亮度；

光線追跡數(shù)值積分法即通過光線追跡的方法計算在不同u,v位置被積函數(shù)L_F的值，再將其疊加便得到重聚焦圖像；

廣義傅里葉切片定理表示如下：

其中，“ο”表示將目標函數(shù)代入算子進行運算；為M維的傅里葉變換算子；為積分投影算子，其通過對多余的N-M個變量積分，使一個N維函數(shù)降到M維；為基礎(chǔ)變換算子；為的逆矩陣的轉(zhuǎn)置；為傅里葉切片算子，其通過直接將多余維度置零的方式實現(xiàn)函數(shù)降維。根據(jù)傅里葉切片定理可以得出：2維對焦圖像是實質(zhì)上是4維光場在頻域中的2維切片。

其中，基于光場相機本身所記錄的光線信息來測量子孔徑圖像的位移量而不需要添加其它的硬件設(shè)施，方法簡單易行，成本低。

本發(fā)明與現(xiàn)有技術(shù)相比有如下優(yōu)點：

(1)本發(fā)明提出的子孔徑圖像處理方法簡單易行，不需要增加其他的硬件設(shè)施，充分利用光場相機自身的結(jié)構(gòu)特點，通過對原始光場數(shù)據(jù)進行處理便可實現(xiàn)光場相機的高清晰成像，方法簡單易行，成本低。

(2)本發(fā)明提出的基于光場測量的高清晰成像方法，不僅可以克服大氣湍流像差的影響，理論上可以克服所有破壞子孔徑圖像對稱性的像差的影響，具有廣泛的適用范圍。

附圖說明

圖1為光場相機原理結(jié)構(gòu)圖，其中，1為成像目標，2為成像主鏡，3為微透鏡陣列，4為成像CCD；

圖2為光場圖像重組示意圖，其中，圖2(a)為光場圖像，圖2(b)為重組圖像；

圖3為參考圖像與虛擬子孔徑圖像之間的位移示意圖；

圖4為二次曲線差值擬合示意圖；

圖5為系統(tǒng)流程圖。

具體實施方式

下面結(jié)合附圖具體說明本發(fā)明的具體實施方式。

光場相機的結(jié)構(gòu)圖如圖1所示，包括成像目標1、成像主鏡2、微透鏡陣列3和成像CCD 4。為了使成像分辨率最優(yōu)化，光場相機的微透鏡陣列應(yīng)放置在主鏡的像面處；CCD平面應(yīng)在微透鏡陣列的一倍焦距處；主鏡的f數(shù)應(yīng)與微透鏡陣列的f數(shù)相匹配；光場相機主鏡頭與微透鏡相結(jié)合的等效孔徑應(yīng)該與大氣相干長度相匹配。

從光場原始圖像中提取出斜率信息需要對光場圖像進行重組，重組過程如圖2所示，以各光瞳像中的1號像元為例，將所有光瞳像中的1號像元按照該微透鏡在微透鏡陣列中的位置分布重組，重組后的圖像稱之為重組子圖像。依照這種方法，光瞳像中的每一個像元都可以形成一個重組子圖像，而所有重組子圖像按照像元在光瞳像中的位置進行排布就形成了重組圖像。重組子圖像在物理意義上等效于夏克-哈特曼傳感器的子孔徑圖像，由于這些子孔徑圖像不是直接成像得到的，因此稱之為虛擬子孔徑圖像。

設(shè)微透鏡陣列的數(shù)目為2M×2N，2M和2N分別為一維方向上微透鏡的個數(shù)，第(m,n)個微透鏡對應(yīng)的光瞳像為I_m,n(ξ,η)，ξ、η為光瞳像在光敏面(成像CCD)上的位置坐標，d為微透鏡單元的孔徑，f_M為主透鏡焦距。對于點目標，通過重組可以得到虛擬子孔徑圖像的質(zhì)心計算公式：

對于擴展目標，如果通過求圖像質(zhì)心的方法來計算位移會引入很大的計算誤差。本發(fā)明選用圖像相關(guān)算法來計算其位移量。圖像相關(guān)算法計算子孔徑圖像位移量的過程為：

選取參考圖像(通常選擇虛擬子孔徑圖像中靠近中心位置的某一子圖像)，虛擬子孔徑圖像與參考圖像之間存在如下相關(guān)性：虛擬子孔徑圖像與參考圖像相對偏移越小，則圖像重疊部分越多，兩者的相關(guān)系數(shù)也越大。逐漸移動參考圖像，同時計算每移動一步時參考圖像和虛擬子孔徑圖像的相關(guān)系數(shù)，當相關(guān)系數(shù)最大時表示兩者重合，此時參考圖像的移動距離即為虛擬子孔徑圖像的質(zhì)心位移。

如圖3所示，假設(shè)I_m(x,y)為第m個虛擬子孔徑圖像，I_r(x,y)為參考圖像。當參考圖像移動(u,v)時，參考圖像可以表示為：

I′_r(x,y)＝I_r(x+u,y+v) (2)

平移后的參考圖像與虛擬子孔徑圖像的重疊程度可以通過計算兩者差值的方差得到：易知，得到的方差值越小，重疊程度越大，兩者偏離的距離也就越?。?/p>

最小化平移參考圖像與虛擬子孔徑圖像的差值的方差過程可以轉(zhuǎn)化最大化相關(guān)矩陣的過程。由(3)式得到相關(guān)法的計算公式可以表示為：

其中，I_r(x+u,y+v)為平移后的參考圖像，偏移量為(u,v)。參考圖像通常選擇虛擬子孔徑圖像中靠近中心位置的某一子圖像。

(4)式還可以通過快速傅里葉變換(FFT)來計算，其表達式為：

(4)式計算得到的圖像位移為像元精度，這在很多情況下是不夠的，因而通常采用二次曲線差值擬合來獲得亞像元精度。假設(shè)C(u,v)為一個二次曲面，如果只考慮一維情況，如圖4所示，那么C(u)可以表示為：

C(u)＝au²+bu+c (6)

C(u)取最大值時，

u_m＝-b/2a (7)

如果(u_p,v_p)為相關(guān)系數(shù)取最大值時的位移量，由(6)(7)式可知：

擴展到二維情況，采用二次曲線插值擬合得到的亞像元位移量(u_m,v_m)為：

易知，(9)式獲得的各個子孔徑的局部斜率不是入射波前真實的局部斜率，而是各子孔徑相對于某個子孔徑(參考圖像對應(yīng)的子孔徑)相對斜率。通過對此斜率進行補償，便可獲得對稱分布的子孔徑圖像。

最后對恢復(fù)對稱性的子孔徑圖像進行數(shù)值積分即數(shù)字重聚焦處理，可以人為的選定調(diào)整成像焦面的位置，數(shù)字重聚焦的公式如下：

其中，(x',y')為重聚焦面上的位置坐標，(u,v)為主鏡上的位置坐標，cos⁴θ為漸暈系數(shù)，F(xiàn)為精準聚焦平面與主鏡頭之間的距離，F(xiàn)'為成像平面與主鏡之間的距離，對應(yīng)主鏡(u,v)處子孔徑圖像的光亮度。

數(shù)字重聚焦的方法可以使用光線追跡數(shù)值積分法或傅里葉切片法。

光線追跡數(shù)值積分法即通過光線追跡的方法計算在不同u,v位置被積函數(shù)L_F的值，再將其疊加便得到重聚焦圖像。

廣義傅里葉切片定理表示如下：

其中，“ο”表示將目標函數(shù)代入算子進行運算；為M維的傅里葉變換算子；為積分投影算子，其通過對多余的N-M個變量積分，使一個N維函數(shù)降到M維；為基礎(chǔ)變換算子；為的逆矩陣的轉(zhuǎn)置；為傅里葉切片算子，其通過直接將多余維度置零的方式實現(xiàn)函數(shù)降維。根據(jù)傅里葉切片定理可以得出：2維對焦圖像是實質(zhì)上是4維光場在頻域中的2維切片。

本發(fā)明未詳細公開的部分屬于本領(lǐng)域的公知技術(shù)。

盡管上面對本發(fā)明說明性的具體實施方式進行了描述，以便于本技術(shù)領(lǐng)的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實施方式的范圍，對本技術(shù)領(lǐng)域的普通技術(shù)人員來講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護之列。