一種光場(chǎng)成像自動(dòng)重對(duì)焦方法
【專利摘要】本發(fā)明公開了一種光場(chǎng)成像自動(dòng)重對(duì)焦方法，該方法建立點(diǎn)擴(kuò)散函數(shù)模型和模糊度評(píng)價(jià)模型，基于以上模型，根據(jù)不同對(duì)焦深度及其對(duì)應(yīng)重對(duì)焦圖像估計(jì)感興趣區(qū)域的模糊度估計(jì)函數(shù)，對(duì)函數(shù)求取極值點(diǎn)獲得感興趣區(qū)域?qū)股疃龋罱K獲得該深度對(duì)應(yīng)的重對(duì)焦圖像。本發(fā)明通過直接估計(jì)感興趣區(qū)域的對(duì)焦深度實(shí)現(xiàn)感興趣區(qū)域的重對(duì)焦，克服了現(xiàn)有方法計(jì)算冗余度大的弊端，為光場(chǎng)成像在擴(kuò)大成像景深方面的應(yīng)用提供了一種快速有效的自動(dòng)重對(duì)焦機(jī)制，提高了光場(chǎng)成像感興趣區(qū)域重對(duì)焦操作的執(zhí)行效率，有利于促進(jìn)光場(chǎng)成像的研究及應(yīng)用發(fā)展。
【專利說明】一種光場(chǎng)成像自動(dòng)重對(duì)焦方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于光場(chǎng)成像中感興趣區(qū)域(ROI)的自動(dòng)重對(duì)焦方法，屬于計(jì)算成像、圖像處理、計(jì)算機(jī)視覺等【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]光場(chǎng)為光輻射在空間各個(gè)位置各個(gè)方向的傳播。1908年Lippmann首先提出了基于透鏡陣列形式的光場(chǎng)相機(jī)，直到1992年Adelson在此基礎(chǔ)上提出了全光場(chǎng)相機(jī)并提出了其在圖像深度提取方面的應(yīng)用后，光場(chǎng)成像作為一種計(jì)算成像方式開始受到越來越多的關(guān)注。光場(chǎng)成像利用其特殊的成像結(jié)構(gòu)，拓寬了圖像捕獲的數(shù)據(jù)種類，在擴(kuò)大成像景深、深度估計(jì)、超分辨率、物體分割、生物特征識(shí)別等領(lǐng)域已經(jīng)得到應(yīng)用。
[0003]利用光場(chǎng)成像在擴(kuò)大成像景深方面的優(yōu)勢(shì)，可以在一次曝光后，通過重對(duì)焦處理獲取不同深度的重對(duì)焦圖像，基于此Raghavendra和Zhang分別將其應(yīng)用在人臉和虹膜檢測(cè)識(shí)別領(lǐng)域，有助于推進(jìn)生物特征識(shí)別在大范圍場(chǎng)景下的應(yīng)用。在拍攝過程中，用戶最關(guān)注的是感興趣區(qū)域的對(duì)焦情況，希望ROI對(duì)焦清晰。由于沒有關(guān)于ROI區(qū)域深度信息的先驗(yàn)知識(shí)，目前常用的對(duì)焦策略是渲染出場(chǎng)景中所有不同深度的一組重對(duì)焦圖像，根據(jù)對(duì)ROI的模糊度判斷從這一組重對(duì)焦圖像中找到模糊度最小的一幅重對(duì)焦圖像以實(shí)現(xiàn)ROI的自動(dòng)重對(duì)焦(ARF)處理。這種重對(duì)焦模式雖然在目前光場(chǎng)成像角度分辨率較低(小于10)的情況下速度很快，但當(dāng)角度分辨率較大(如大于16)時(shí)渲染出一組重對(duì)焦圖像耗時(shí)增加，當(dāng)用戶其實(shí)只關(guān)注某一感興趣區(qū)域的重對(duì)焦圖像時(shí)，對(duì)其他區(qū)域進(jìn)行重對(duì)焦處理其實(shí)是一種不必要的操作，影響了自動(dòng)重對(duì)焦處理的效率。
[0004]目前，光學(xué)上的自動(dòng)對(duì)焦(AF)主要有主動(dòng)式和被動(dòng)式兩種處理方式，其中主動(dòng)式就是利用外界的近紅外光或超聲波信號(hào)獲取ROI深度，利用深度信息調(diào)節(jié)成像鏡頭焦距；被動(dòng)式的是利用ROI的清晰度評(píng)價(jià)值反復(fù)迭代獲取最優(yōu)值來調(diào)節(jié)成像鏡頭焦距。被動(dòng)式的自動(dòng)對(duì)焦方式與上述的光場(chǎng)成像ROI重對(duì)焦處理類似，相比較主動(dòng)式的對(duì)焦方式而言，被動(dòng)式的仍是一種比較耗時(shí)的處理手段。借鑒主動(dòng)式自動(dòng)對(duì)焦方法，如果在光場(chǎng)成像過程中能夠直接獲取ROI的深度，利用深度值確定感興趣區(qū)域的重對(duì)焦參數(shù)，就可以直接針對(duì)ROI進(jìn)行重對(duì)焦處理，而不再需要計(jì)算所有深度的重對(duì)焦圖像，這樣就能夠把重對(duì)焦操作處理計(jì)算量降到最低，提高了自動(dòng)重對(duì)焦的效率。光場(chǎng)成像本身也可以用來對(duì)場(chǎng)景進(jìn)行深度估計(jì)，但這種深度估計(jì)方法計(jì)算量較大耗時(shí)較多不適合用于快速的ARF操作，而且對(duì)于不是朗伯表面(Lambert surface)的物體,如虹膜,深度估計(jì)尚不夠準(zhǔn)確。利用離焦模糊對(duì)深度進(jìn)行估計(jì)Nayar等人已經(jīng)開展了相關(guān)研究并提出一個(gè)實(shí)時(shí)深度估計(jì)系統(tǒng)，因此該方法為光場(chǎng)成像自動(dòng)重對(duì)焦過程中關(guān)鍵的深度估計(jì)提供一種可借鑒的快速有效的解決途徑。


【發(fā)明內(nèi)容】

[0005](一 )要解決的技術(shù)問題
[0006]本發(fā)明旨在突破現(xiàn)有光場(chǎng)成像感興趣區(qū)域重對(duì)焦過程中計(jì)算冗余度較大的局限，提出一種新的光場(chǎng)成像自動(dòng)重對(duì)焦方法，以提高光場(chǎng)成像感興趣區(qū)域重對(duì)焦的效率。
[0007]( 二)技術(shù)方案
[0008]為解決上述技術(shù)問題，本發(fā)明提出一種光場(chǎng)成像自動(dòng)重對(duì)焦方法，該方法包括以下步驟:
[0009]步驟S1、建立光場(chǎng)重對(duì)焦處理模型，該模型建立重對(duì)焦圖像和對(duì)焦深度的基本映身寸關(guān)系;
[0010]步驟S2、根據(jù)點(diǎn)擴(kuò)散函數(shù)定義對(duì)h(i3)建模，并確定用以估計(jì)h(i3)的重對(duì)焦圖像數(shù)量η ；
[0011]步驟S3、對(duì)于采集到的光場(chǎng)原始圖像，將其解碼為4D光場(chǎng)參數(shù)化表示，該參數(shù)化表示由對(duì)應(yīng)于不同視角的子孔徑圖像構(gòu)成；
[0012]步驟S4、自動(dòng)檢測(cè)出需重對(duì)焦的感興趣區(qū)域；
[0013]步驟S5、對(duì)該光場(chǎng)做重對(duì)焦處理,渲染出η幅對(duì)焦在不同深度β i (i = I,..., η)的圖像^辦價(jià)=!，..』)；
[0014]步驟S6、使用機(jī)器學(xué)習(xí)的方法，構(gòu)建模糊度評(píng)價(jià)模型BM ；
[0015]步驟S7、利用模糊度估計(jì)模型ΒΜ，對(duì)重對(duì)焦圖像= …估計(jì)感興趣區(qū)域的模糊度Oh(Pi);
[0016]步驟S8、利用β i和σ h(P D Q = 1，...，η)估計(jì)出該光場(chǎng)中感興趣區(qū)域的點(diǎn)擴(kuò)散函數(shù)的方差之00);
[0017]步驟S9、求取么函數(shù)的極小值點(diǎn)β 0,即為重對(duì)焦在感興趣區(qū)域的對(duì)焦深度
β ο ；
[0018]步驟S10、利用重對(duì)焦算法渲染出β C1對(duì)應(yīng)的感興趣區(qū)域?qū)骨逦墓鈭?chǎng)重對(duì)焦圖像。
[0019]根據(jù)本發(fā)明的一種實(shí)施方式，所述步驟S2進(jìn)一步包括以下步驟:
[0020]步驟S21、獲取點(diǎn)光源S0的光場(chǎng)表示1>(5,11);
[0021]步驟S22、對(duì)光場(chǎng)//Hm)做重對(duì)焦渲染處理得到，其中tyiM重對(duì)焦算子；
[0022]步驟S23、將進(jìn)行尺度變換后，得到重對(duì)焦點(diǎn)擴(kuò)散函數(shù)A(CT) =Scri 根據(jù)對(duì)焦深度β與α關(guān)系β =f(a)，進(jìn)一步可得到h(i3)；
[0023]步驟S24、本發(fā)明僅關(guān)注對(duì)焦深度與圖像模糊度之間的關(guān)系，圖像模糊度采用h(i3)的方差oh(i3)衡量，以簡(jiǎn)化模型復(fù)雜度，最終建模得到oh(i3)。
[0024]根據(jù)本發(fā)明的一種實(shí)施方式，所述步驟S4中的自動(dòng)檢測(cè)感興趣區(qū)域，是利用目標(biāo)檢測(cè)算法，在中心視角的子孔徑圖像上自動(dòng)檢測(cè)出感興趣區(qū)域坐標(biāo)及尺寸，該坐標(biāo)及尺寸用于對(duì)渲染在任意深度的重對(duì)焦圖像的感興趣區(qū)域進(jìn)行分割。
[0025]根據(jù)本發(fā)明的一種實(shí)施方式，所述步驟S6進(jìn)一步包括以下步驟:
[0026]步驟S61、建立感興趣區(qū)域模糊度訓(xùn)練庫。訓(xùn)練庫包含了感興趣區(qū)域圖像樣本，這些樣本對(duì)應(yīng)于不同模糊度，并由模糊度進(jìn)行標(biāo)注；
[0027]步驟S62、對(duì)訓(xùn)練集中的樣本提取圖像模糊度評(píng)價(jià)特征；
[0028]步驟S63、利用步驟S61的感興趣區(qū)域模糊度訓(xùn)練庫及步驟S62提取的模糊度評(píng)價(jià)特征，訓(xùn)練模糊度評(píng)價(jià)回歸模型。
[0029]根據(jù)本發(fā)明的一種實(shí)施方式，所述步驟S7包括以下步驟:
[0030]步驟S71、利用所述步驟S4得出的感興趣區(qū)域坐標(biāo)，提取重對(duì)焦圖像的感興趣區(qū)域；
[0031]步驟S72、對(duì)感興趣區(qū)域圖像提取圖像模糊度評(píng)價(jià)特征；
[0032]步驟S73、將該圖像模糊度評(píng)價(jià)特征送入所述步驟S6得到的回歸模型中，得到感興趣區(qū)域的模糊度評(píng)價(jià)。
[0033]根據(jù)本發(fā)明的一種實(shí)施方式，所述步驟S9求取么極小值點(diǎn)基于公式

【權(quán)利要求】
1.一種光場(chǎng)成像自動(dòng)重對(duì)焦方法，其特征在于，該方法包括以下步驟: 步驟S1、建立光場(chǎng)重對(duì)焦處理模型，該模型建立重對(duì)焦圖像和對(duì)焦深度的基本映射關(guān)系; 步驟S2、根據(jù)點(diǎn)擴(kuò)散函數(shù)定義對(duì)h ( β )建模，并確定用以估計(jì)h ( β )的重對(duì)焦圖像數(shù)量η ； 步驟S3、對(duì)于采集到的光場(chǎng)原始圖像，將其解碼為4D光場(chǎng)參數(shù)化表示，該參數(shù)化表示由對(duì)應(yīng)于不同視角的子孔徑圖像構(gòu)成； 步驟S4、自動(dòng)檢測(cè)出需重對(duì)焦的感興趣區(qū)域； 步驟S5、對(duì)該光場(chǎng)做重對(duì)焦處理，渲染出η幅對(duì)焦在不同深度β = 1，...，η)的圖像％,[讀/ = 1’.”，《); 步驟S6、使用機(jī)器學(xué)習(xí)的方法，構(gòu)建模糊度評(píng)價(jià)模型BM ； 步驟S7、利用模糊度估計(jì)模型ΒΜ，對(duì)重對(duì)焦圖像~.SM(/= Uiff)估計(jì)感興趣區(qū)域的模糊度Oh(I); 步驟S8、利用β i和σ h(i3 D (i = 1，...，η)估計(jì)出該光場(chǎng)中感興趣區(qū)域的點(diǎn)擴(kuò)散函數(shù)的方差之(/?); 步驟S9、求取之(6#)函數(shù)的極小值點(diǎn)Ptl，即為重對(duì)焦在感興趣區(qū)域的對(duì)焦深度 步驟S10、利用重對(duì)焦算法渲染出β 0對(duì)應(yīng)的感興趣區(qū)域?qū)骨逦墓鈭?chǎng)重對(duì)焦圖像。
2.根據(jù)權(quán)利要求1所述的光場(chǎng)成像自動(dòng)重對(duì)焦方法，其特征在于，所述步驟S2進(jìn)一步包括以下步驟: 步驟S21、獲取點(diǎn)光源Stl的光場(chǎng)表示//u(x,U); 步驟S22、對(duì)光場(chǎng)//'++ (χ,ι.)做重對(duì)焦渲染處理得到IM(OTu),其中WJ/.]是重對(duì)焦算子； 步驟S23、將《α[?.](αχβ)進(jìn)行尺度變換后，得到重對(duì)焦點(diǎn)擴(kuò)散函數(shù)/?(?) = 8一[叱[/4](?*?)]，根據(jù)對(duì)焦深度β與α關(guān)系β =^。)，進(jìn)一步可得到11(3)； 步驟S24、本發(fā)明僅關(guān)注對(duì)焦深度與圖像模糊度之間的關(guān)系，圖像模糊度采用h(i3)的方差oh(i3)衡量，以簡(jiǎn)化模型復(fù)雜度，最終建模得到oh(i3)。
3.根據(jù)權(quán)利要求1所述的光場(chǎng)成像自動(dòng)重對(duì)焦方法，其特征在于，所述步驟S4中的自動(dòng)檢測(cè)感興趣區(qū)域，是利用目標(biāo)檢測(cè)算法，在中心視角的子孔徑圖像上自動(dòng)檢測(cè)出感興趣區(qū)域坐標(biāo)及尺寸，該坐標(biāo)及尺寸用于對(duì)渲染在任意深度的重對(duì)焦圖像的感興趣區(qū)域進(jìn)行分割。
4.根據(jù)權(quán)利要求1所述的光場(chǎng)成像自動(dòng)重對(duì)焦方法，其特征在于，所述步驟S6進(jìn)一步包括以下步驟: 步驟S61、建立感興趣區(qū)域模糊度訓(xùn)練庫。訓(xùn)練庫包含了感興趣區(qū)域圖像樣本，這些樣本對(duì)應(yīng)于不同模糊度,并由模糊度進(jìn)行標(biāo)注； 步驟S62、對(duì)訓(xùn)練集中的樣本提取圖像模糊度評(píng)價(jià)特征； 步驟S63、利用步驟S61的感興趣區(qū)域模糊度訓(xùn)練庫及步驟S62提取的模糊度評(píng)價(jià)特征，訓(xùn)練模糊度評(píng)價(jià)回歸模型。
5.根據(jù)權(quán)利要求1所述的光場(chǎng)成像自動(dòng)重對(duì)焦方法，其特征在于，所述步驟S7包括以下步驟: 步驟S71、利用所述步驟S4得出的感興趣區(qū)域坐標(biāo)，提取重對(duì)焦圖像的感興趣區(qū)域； 步驟S72、對(duì)感興趣區(qū)域圖像提取圖像模糊度評(píng)價(jià)特征； 步驟S73、將該圖像模糊度評(píng)價(jià)特征送入所述步驟S6得到的回歸模型中，得到感興趣區(qū)域的模糊度評(píng)價(jià)。
6.根據(jù)權(quán)利要求1所述的光場(chǎng)成像自動(dòng)重對(duì)焦方法，其特征在于，所述步驟S9求取





極小值點(diǎn)基于公式
,該式建立一種確定感興趣區(qū)域重對(duì)焦的對(duì)焦深度的模型。
【文檔編號(hào)】H04N5/232GK104079827SQ201410301659
【公開日】2014年10月1日 申請(qǐng)日期:2014年6月27日 優(yōu)先權(quán)日:2014年6月27日
【發(fā)明者】譚鐵牛, 孫哲南, 侯廣琦, 張馳, 秦婭楠 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所