圖像生成方法、圖像生成設(shè)備、程序以及存儲(chǔ)介質(zhì)的制作方法
【專利摘要】圖像生成方法用于根據(jù)圖像傳感器所獲取到的輸入圖像來生成輸出圖像，其中，圖像傳感器具有多個(gè)像素的陣列，各個(gè)像素中設(shè)置有多個(gè)子像素，各個(gè)子像素接收穿過攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的光束。該方法包括以下步驟：生成分別與不同光瞳子區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像的步驟；根據(jù)攝像光學(xué)系統(tǒng)的虛擬成像面、針對(duì)各個(gè)視差圖像進(jìn)行不同的移位，來生成多個(gè)像素移位圖像的步驟；以及通過合成處理，根據(jù)像素移位圖像來生成具有比視差圖像的分辨率高的分辨率的輸出圖像的步驟。
【專利說明】圖像生成方法、圖像生成設(shè)備、程序以及存儲(chǔ)介質(zhì)
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種圖像生成方法以及圖像生成設(shè)備。
【背景技術(shù)】
[0002]已經(jīng)提出一種攝像設(shè)備，其攝像鏡頭的出射光瞳被分割為多個(gè)光瞳區(qū)域，并且能夠同時(shí)拍攝與分割出的光瞳區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像。
[0003]美國專利4410804公開了一種使用二維圖像傳感器的攝像設(shè)備，在該二維圖像傳感器中相對(duì)于一個(gè)像素形成一個(gè)微透鏡以及多個(gè)分割的光電轉(zhuǎn)換器。分割的光電轉(zhuǎn)換器被配置為以使得經(jīng)由一個(gè)微透鏡來接收來自攝像鏡頭的出射光瞳的不同光瞳子區(qū)域的光，并且由此進(jìn)行光瞳分割。根據(jù)由于在分割的光電轉(zhuǎn)換器中的光接收而獲得的信號(hào)，能夠生成與分割的光瞳子區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像。日本特開2001-083407公開了通過將由于在分割的光電轉(zhuǎn)換器中的光接收而獲得的全部信號(hào)相加到一起來生成拍攝圖像。
[0004]所拍攝的多個(gè)視差圖像等同于光場(LF)數(shù)據(jù)，該LF數(shù)據(jù)是與光強(qiáng)度的空間分布和角度分布相關(guān)的信息。Stanford Tech Report CTSR2005-02，I (2005)公開了一種再聚焦技術(shù)，其中通過使用已獲取的LF數(shù)據(jù)在與攝像面不同的虛擬成像面處合成圖像，來在攝像之后修改所拍攝圖像的聚焦位置。
[0005]然而，盡管由于將攝像鏡頭的出射光瞳分割為多個(gè)區(qū)域因而能夠在上述傳統(tǒng)示例中同時(shí)獲取多個(gè)視差圖像，但是存在根據(jù)視差圖像所生成的拍攝圖像的空間分辨率低下的問題。

【發(fā)明內(nèi)容】

[0006]考慮到上述問題而作出本發(fā)明，并且本發(fā)明根據(jù)多個(gè)視差圖像生成具有高空間分辨率的拍攝圖像。
[0007]根據(jù)本發(fā)明的第一方面的圖像生成方法是一種用于根據(jù)圖像傳感器所獲取到的輸入圖像來生成輸出圖像的圖像生成方法，其中，所述圖像傳感器具有多個(gè)像素的陣列，所述多個(gè)像素各自設(shè)置有多個(gè)子像素，所述多個(gè)子像素各自接收穿過攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的光束，所述圖像生成方法包括以下步驟:基于所述輸入圖像生成分別與所述不同光瞳子區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像的步驟；根據(jù)與配置有所述圖像傳感器的攝像面不同的、所述攝像光學(xué)系統(tǒng)的虛擬成像面，針對(duì)所述多個(gè)視差圖像各自進(jìn)行不同的移位，來生成多個(gè)像素移位圖像的步驟；以及通過合成處理，根據(jù)所述多個(gè)像素移位圖像來生成具有比所述多個(gè)視差圖像的分辨率高的分辨率的輸出圖像的步驟。
[0008]此外，根據(jù)本發(fā)明的第二方面，一種程序使計(jì)算機(jī)執(zhí)行上述的圖像生成方法的步驟。
[0009]此外，根據(jù)本發(fā)明的第三方面，一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)存儲(chǔ)用于使計(jì)算機(jī)執(zhí)行根據(jù)上述的圖像生成方法的步驟的程序。
[0010]此外，根據(jù)本發(fā)明的第四方面，一種圖像生成設(shè)備，包括:圖像傳感器，用于獲取矣素的示意平面圖和示意截面圖。
勺像素和光瞳分割的示意圖。
勺圖像傳感器和光瞳分割的示意圖。
勺子像素與角度信息之間的關(guān)系的示意圖。勺可再聚焦范圍的圖。
矣生成的流程圖。
勺在視差圖像中的像素移位的圖。
出圖像與像素移位圖像之間的關(guān)系表達(dá)式
像生成的流程圖。
5施例。
為具有圖像傳感器的攝像設(shè)備的照相機(jī)的聶像光學(xué)系統(tǒng)的前端的第一透鏡組，并且該快門致動(dòng)器，其通過控制光圈/快門102的開口直徑來調(diào)節(jié)所拍攝的光量，并且控制在靜止圖像拍攝中的曝光時(shí)間。附圖標(biāo)記114表示調(diào)焦致動(dòng)器，其通過在光軸方向上向前和向后驅(qū)動(dòng)第三透鏡組105來調(diào)節(jié)焦點(diǎn)。
[0028]附圖標(biāo)記115表示在攝像時(shí)用于被攝體照明的電子閃光燈，并且優(yōu)選為使用氙管的閃光照明設(shè)備，但可以是包括連續(xù)發(fā)光的LED的照明設(shè)備。附圖標(biāo)記116表示AF輔助光設(shè)備，其經(jīng)由投影透鏡將具有預(yù)定的開口圖案的掩模圖像投影到被攝體區(qū)域，以使得提高針對(duì)暗被攝體和低對(duì)比度被攝體的焦點(diǎn)檢測能力。
[0029]附圖標(biāo)記121表示照相機(jī)中的CPU，其針對(duì)照相機(jī)本體進(jìn)行各種類型的控制，具有運(yùn)算部、R0M、RAM、A/D轉(zhuǎn)換器、D/A轉(zhuǎn)換器、通信接口電路等，并且基于存儲(chǔ)在ROM中的預(yù)定程序來驅(qū)動(dòng)照相機(jī)中的各種電路。該CPU還執(zhí)行諸如AF、攝像、圖像生成和記錄等的一系列操作。CPU121是本發(fā)明的圖像生成部件、視差圖像生成部件、像素移位圖像生成部件以及超分辨率處理部件。
[0030]附圖標(biāo)記122表示電子閃光燈控制電路，其進(jìn)行用于與攝像操作同步地點(diǎn)亮電子閃光燈115的控制。附圖標(biāo)記123表示輔助光驅(qū)動(dòng)電路，其進(jìn)行用于與焦點(diǎn)檢測操作同步地點(diǎn)亮AF輔助光設(shè)備116的控制。附圖標(biāo)記124表示圖像傳感器驅(qū)動(dòng)電路，其對(duì)圖像傳感器107的攝像操作進(jìn)行控制，并且對(duì)獲取到的圖像信號(hào)進(jìn)行A/D轉(zhuǎn)換并且將轉(zhuǎn)換后的圖像信號(hào)發(fā)送至CPU121。附圖標(biāo)記125表示圖像處理電路，其對(duì)圖像傳感器107所獲取的圖像進(jìn)行諸如Y轉(zhuǎn)換、顏色插值和JPEG壓縮等的處理。
[0031]附圖標(biāo)記126表示調(diào)焦驅(qū)動(dòng)電路，其通過基于焦點(diǎn)檢測結(jié)果來對(duì)用于驅(qū)動(dòng)調(diào)焦致動(dòng)器114進(jìn)行控制以使得在光軸方向上向前和向后移動(dòng)第三透鏡組105來調(diào)節(jié)焦點(diǎn)。附圖標(biāo)記128表示光圈/快門驅(qū)動(dòng)電路，其通過進(jìn)行用于驅(qū)動(dòng)光圈/快門致動(dòng)器112的控制來控制光圈/快門102的開口直徑。附圖標(biāo)記129表示變焦驅(qū)動(dòng)電路，其根據(jù)由拍攝者進(jìn)行的變焦操作來驅(qū)動(dòng)變焦致動(dòng)器111。
[0032]附圖標(biāo)記131表示諸如IXD等的顯示設(shè)備，其顯示與照相機(jī)拍攝模式有關(guān)的信息、攝像之前的預(yù)覽圖像、攝像之后的用于確認(rèn)的圖像、焦點(diǎn)檢測時(shí)表示聚焦?fàn)顟B(tài)的圖像等。附圖標(biāo)記132表示操作開關(guān)組，其被配置為電源開關(guān)、釋放(拍攝觸發(fā))開關(guān)、變焦操作開關(guān)、拍攝模式選擇開關(guān)等。附圖標(biāo)記133表示記錄所拍攝的圖像的可移除的閃速存儲(chǔ)器。
[0033]圖2是在本實(shí)施例的圖像傳感器中的像素陣列和子像素陣列的示意圖。
[0034]圖2示出在本實(shí)施例的二維CMOS傳感器(圖像傳感器)中的像素陣列中的4X 4像素陣列范圍和子像素陣列中的16X16子像素陣列范圍。在面上配置有多個(gè)圖2所示的4X4像素陣列(16X16子像素陣列)以使得能夠獲取到圖像。本實(shí)施例說明的圖像傳感器具有20 μ m的像素周期Λ X以及大約220萬像素(水平1800列X垂直1200行)的有效像素?cái)?shù)Nm也就是說，5 μ m的子像素周期Λ X以及大約3460萬像素(水平7200列X垂直4800行)的有效子像素?cái)?shù)N。
[0035]在第一實(shí)施例中，在圖2所示的2X2像素組200中，將具有G(綠)光譜靈敏度的像素200G配置為對(duì)角位置的像素，并且將具有R(紅)光譜靈敏度的像素200R和具有B(藍(lán))光譜靈敏度的像素200Β配置為其它兩個(gè)像素。此外，在各像素中以二維陣列的方式配置Ne XN0個(gè)(4X4陣列的)子像素201?216。
[0036]圖3Α是從圖像傳感器的光接收面?zhèn)?+ζ側(cè))所見的圖2所示的圖像傳感器中的像素200G中的一個(gè)的平面圖，并且圖3B是沿圖3A中的a-a截取的、從-y側(cè)所見的同一像素的截面圖。
[0037]如圖3A和3B所示，本實(shí)施例的像素200G設(shè)置有用于將入射光聚光至像素的光接收側(cè)上的微透鏡305，并且設(shè)置有在X方向上被分割為Ne個(gè)區(qū)域(4個(gè)區(qū)域)并且在y方向上被分割為Ne個(gè)區(qū)域(4個(gè)區(qū)域)的光電轉(zhuǎn)換器301?316。光電轉(zhuǎn)換器301?316分別與圖2中的子像素201?216相對(duì)應(yīng)。
[0038]光電轉(zhuǎn)換器301?316可以是本征層夾在p層與η層之間的pin結(jié)構(gòu)光電二極管，或者在必要時(shí)，可以是省略了本征層的pn結(jié)光電二極管。
[0039]在各像素中，在微透鏡305與光電轉(zhuǎn)換器301?316之間形成顏色濾波器306。此夕卜，對(duì)于各子像素，可以改變顏色濾波器的光譜透過率，或者在必要時(shí)，可以省略顏色濾波器。
[0040]入射到圖3A和圖3B所示的像素200G中的光被微透鏡305聚光、被顏色濾波器306濾波，然后被光電轉(zhuǎn)換器301?316接收。
[0041]在各光電轉(zhuǎn)換器中，根據(jù)接收到的光量來生成電子和空穴對(duì)，并且電子和空穴對(duì)被耗盡層分離，然后負(fù)電荷的電子累積在η層(未示出)中，而空穴經(jīng)由連接至恒定電壓源(未示出)的P層排出到圖像傳感器外部。
[0042]下面說明第一實(shí)施例的光瞳分割部件。圖4是示出在光瞳分割與光電轉(zhuǎn)換器301?316 (子像素201?216)之間的對(duì)應(yīng)關(guān)系的示意圖。圖4是圖3Α所示的沿a_a截取的、從+y側(cè)所見的像素200G的截面圖，并且示出攝像光學(xué)系統(tǒng)的出射光瞳面。在圖4中，為了與出射光瞳面的坐標(biāo)軸相對(duì)應(yīng)，截面圖中的X軸和I軸與圖3A和3B中的相反。
[0043]圖像傳感器被配置在攝像鏡頭(攝像光學(xué)系統(tǒng))的成像面附近，并且來自被攝體的光束穿過攝像光學(xué)系統(tǒng)的出射光瞳400并且入射至各像素。配置有圖像傳感器的面為攝像面。由于微透鏡，光瞳子區(qū)域501?516與被分割成Ne XNe個(gè)區(qū)域(4X4個(gè)區(qū)域)的光電轉(zhuǎn)換器301?316 (子像素201?216)的光接收面為近似共軛關(guān)系，并且這些光瞳子區(qū)域表示光能夠被相對(duì)應(yīng)的光電轉(zhuǎn)換器(子像素)接收的光瞳子區(qū)域。攝像光學(xué)系統(tǒng)的出射光瞳400被分割為Np (Np = Ne XNe)個(gè)不同的光瞳子區(qū)域，其中Np是光瞳分割數(shù)。令F為攝像光學(xué)系統(tǒng)的光圈值，光瞳子區(qū)域的有效光圈值近似為NeF。此外，光瞳區(qū)域500是在對(duì)被分割為Ne XNe個(gè)區(qū)域(4X4個(gè)區(qū)域)的全部光電轉(zhuǎn)換器301?316 (子像素201?216)進(jìn)行合并的情況下整個(gè)像素200G能接收到光的光瞳區(qū)域。
[0044]以下說明本實(shí)施例中的視差圖像生成。圖5是示出在本實(shí)施例的光瞳分割與圖像傳感器之間的對(duì)應(yīng)關(guān)系的示意圖。在圖像傳感器的各像素中，被分割為Ne XNe個(gè)區(qū)域(4X4個(gè)區(qū)域)的光電轉(zhuǎn)換器301?316(子像素201?216)各自接收穿過光瞳子區(qū)域501?516中不同的光瞳子區(qū)域的光束。在本實(shí)施例中，通過具有多個(gè)像素的陣列的圖像傳感器來獲取輸入圖像，其中該多個(gè)像素各自配置有多個(gè)子像素，該多個(gè)子像素各自接收穿過攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的光束。
[0045]通過針對(duì)各像素選擇來自子像素201?216 (光電轉(zhuǎn)換器301?316)中的特定子像素的信號(hào)，能夠獲得與攝像光學(xué)系統(tǒng)的光瞳子區(qū)域501?516中的特定光瞳子區(qū)域相對(duì)應(yīng)的視差圖像。例如，通過針對(duì)各像素選擇來自子像素209(光電轉(zhuǎn)換器309)的信號(hào)，能夠獲得與攝像光學(xué)系統(tǒng)的光瞳子區(qū)域509相對(duì)應(yīng)的視差圖像。對(duì)于其它子像素也是同樣的?；谕ㄟ^本實(shí)施例的圖像傳感器所獲取的輸入圖像，能夠生成分別與不同的光瞳子區(qū)域相對(duì)應(yīng)并且具有等于有效像素?cái)?shù)的分辨率的多個(gè)(光瞳分割數(shù)Np)視差圖像。
[0046]此外，通過針對(duì)各像素將來自子像素201~216的全部信號(hào)相加到一起，能夠生成具有等于有效像素?cái)?shù)的分辨率的拍攝圖像。
[0047]以下說明可再聚焦范圍。圖6是根據(jù)本實(shí)施例子像素與能夠獲取的角度信息之間的關(guān)系的示意圖。設(shè)定子像素周期ΛΧ以及每個(gè)像素的子像素區(qū)域的數(shù)量Np = NeXNe，則通過ΛΧ = Ne Λ X得到像素周期ΛΧ。這里，Λ Θ為角度分辨率，并且令Θ為攝像光學(xué)系統(tǒng)的出射光瞳的估計(jì)角，則得到Δ θ = Θ/N0。使用旁軸近似(paraxial approximat1n),其中F是攝像光學(xué)系統(tǒng)的光圈值，則關(guān)系表達(dá)式NeF~1/Λ θ近似成立。在入射到像素的全部光束中，子像素212~209分別接收到具有入射角度Qtl~03的光束。入射角度具有角度分辨率Λ θ的范圍的光束入射到子像素。
[0048]圖7是用于說明本實(shí)施例的可再聚焦范圍的示意圖。在圖7中，通過線段示意性地表示配置在攝像面的圖像傳感器的像素Xi (i = O~Nu-1)。在第i個(gè)像素Xi中，子像素接收到以角度ea(a = O~N0-l)入射的光束。來自接收到光的子像素的信號(hào)以Li,a(a =O~N0-1)表示。通過本實(shí)施例的圖像傳感器，能夠獲取作為關(guān)于光強(qiáng)度的空間分布和角度分布的信息的光場(LF)數(shù)據(jù)，并且LF數(shù)據(jù)由分別與如上所述的不同的光瞳子區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像構(gòu)成。
[0049]在攝像之后，能夠基于LF數(shù)據(jù)(多個(gè)視差圖像)在與配置有圖像傳感器并且獲取子像素ka的攝像面不同的虛擬成像面處生成(進(jìn)行再聚焦處理)圖像。通過將全部子像素信號(hào)Liia沿各個(gè)角度θ a從攝像面平移至虛擬成像面、將信號(hào)分配給虛擬成像面中的虛擬像素然后進(jìn)行加權(quán)相加，能夠在虛擬成像面處生成再聚焦圖像。加權(quán)相加中使用的系數(shù)被確定為以使得全部值為正并且總和為I。
[0050]在保持分辨率等于有效像素?cái)?shù)Nu的情況下，存在對(duì)從攝像面到虛擬成像面的能夠再聚焦的距離(最大再聚焦量)dmax的限制，并且該最大再聚焦量dmax由式(I)近似確定。
【權(quán)利要求】
1.一種圖像生成方法，用于根據(jù)圖像傳感器所獲取到的輸入圖像來生成輸出圖像，其中，所述圖像傳感器具有多個(gè)像素的陣列，所述多個(gè)像素各自設(shè)置有多個(gè)子像素，所述多個(gè)子像素各自接收穿過攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的光束，所述圖像生成方法包括以下步驟: 基于所述輸入圖像生成分別與所述不同光瞳子區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像的步驟； 根據(jù)與配置有所述圖像傳感器的攝像面不同的、所述攝像光學(xué)系統(tǒng)的虛擬成像面，針對(duì)所述多個(gè)視差圖像各自進(jìn)行不同的移位，來生成多個(gè)像素移位圖像的步驟；以及 通過合成處理，根據(jù)所述多個(gè)像素移位圖像來生成具有比所述多個(gè)視差圖像的分辨率高的分辨率的輸出圖像的步驟。
2.根據(jù)權(quán)利要求1所述的圖像生成方法，其中，令Np為所述攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的數(shù)量，F(xiàn)為所述攝像光學(xué)系統(tǒng)的光圈值，并且Λ X為所述子像素的周期，則所述攝像面和所述虛擬成像面之間的距離小于或等于NpFAx。
3.根據(jù)權(quán)利要求1或2所述的圖像生成方法，其中，令F為所述攝像光學(xué)系統(tǒng)的光圈值，并且δ為容許彌散圓的直徑，則所述攝像面和所述虛擬成像面之間的距離小于或等于焦點(diǎn)深度FS。
4.根據(jù)權(quán)利要求2所述的圖像生成方法，其中，針對(duì)所述多個(gè)視差圖像各自的移位時(shí)的移位量是Δχ。
5.一種程序，用于使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的圖像生成方法的步驟。
6.一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，其存儲(chǔ)用于使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的圖像生成方法的步驟的程序。
7.一種圖像生成設(shè)備，包括: 圖像傳感器，用于獲取輸入圖像，其中，所述圖像傳感器具有多個(gè)像素的陣列，所述多個(gè)像素各自設(shè)置有多個(gè)子像素，所述多個(gè)子像素各自接收穿過攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的光束； 第一生成部件，用于基于所述輸入圖像而生成分別與所述不同光瞳子區(qū)域相對(duì)應(yīng)的多個(gè)視差圖像； 第二生成部件，用于根據(jù)與配置有所述圖像傳感器的攝像面不同的、所述攝像光學(xué)系統(tǒng)的虛擬成像面，針對(duì)所述多個(gè)視差圖像各自進(jìn)行不同的移位，來生成多個(gè)像素移位圖像；以及 合成部件，用于通過合成處理，根據(jù)所述多個(gè)像素移位圖像來生成具有比所述多個(gè)視差圖像的分辨率高的分辨率的輸出圖像。
8.根據(jù)權(quán)利要求7所述的圖像生成設(shè)備，其中，令Np為所述攝像光學(xué)系統(tǒng)的不同光瞳子區(qū)域的數(shù)量，F(xiàn)為所述攝像光學(xué)系統(tǒng)的光圈值，并且Λ X為所述子像素的周期，則所述攝像面和所述虛擬成像面之間的距離小于或等于NpFAx。
9.根據(jù)權(quán)利要求7或8所述的圖像生成設(shè)備，其中，令F為所述攝像光學(xué)系統(tǒng)的光圈值，并且δ為容許彌散圓的直徑，則所述攝像面和所述虛擬成像面之間的距離小于或等于焦點(diǎn)深度FS。
10.根據(jù)權(quán)利要求8所述的圖像生成設(shè)備，其中，針對(duì)所述多個(gè)視差圖像各自的移位時(shí)的移位量是Δx
【文檔編號(hào)】G02B7/28GK104041006SQ201280066884
【公開日】2014年9月10日 申請(qǐng)日期:2012年12月5日 優(yōu)先權(quán)日:2012年1月13日
【發(fā)明者】福田浩一, 木村正史, 畠山弘至, 日淺法人, 堤正平, 西山知宏, 矢幡和浩 申請(qǐng)人:佳能株式會(huì)社