圖像拾取裝置、系統(tǒng)和控制方法以及圖像處理裝置制造方法
【專利摘要】本發(fā)明涉及圖像拾取裝置、系統(tǒng)和控制方法以及圖像處理裝置。一種能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像拾取裝置（10），包括：被配置為獲得輸入圖像的輸入圖像獲得單元（100）；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理單元（105）；和被配置為顯示所述顯示圖像的顯示單元（106），并且，圖像處理單元（105）獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
【專利說(shuō)明】圖像拾取裝置、系統(tǒng)和控制方法以及圖像處理裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像拾取裝置。
【背景技術(shù)】
[0002]近年，提出了計(jì)算通過(guò)圖像拾取元件獲得的數(shù)據(jù)并且執(zhí)行與其對(duì)應(yīng)的數(shù)字圖像處理以輸出各種圖像的圖像拾取裝置。日本專利N0.4752031公開了通過(guò)使用“光場(chǎng)照相”同時(shí)獲得被照體空間的光束的二維強(qiáng)度分布和光束的角度信息即視差信息的圖像拾取裝置。光束的二維強(qiáng)度分布和光束的角度信息被稱為光場(chǎng)，并且，可通過(guò)獲得光場(chǎng)來(lái)獲得被照體空間的三維信息。通過(guò)用獲得的光場(chǎng)在圖像上執(zhí)行重構(gòu)處理，能夠執(zhí)行稱為重新聚焦的圖像焦點(diǎn)位置控制、視點(diǎn)改變控制和場(chǎng)深控制等。
[0003]并且，PCT國(guó)際公開N0.W02008/050904公開了通過(guò)使用照相機(jī)陣列獲得光場(chǎng)并且
執(zhí)行重新聚焦的配置。
[0004]但是，在日本專利N0.4752031和PCT國(guó)際公開N0.W02008/050904公開的圖像
拾取裝置中，用戶不能在拍攝被照體或者編輯圖像時(shí)識(shí)別可重新聚焦的范圍(重新聚焦范圍)。出于這種原因，用戶難以根據(jù)用戶的意圖拍攝希望的被照體或者編輯圖像。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供允許用戶容易地識(shí)別重新聚焦范圍的圖像拾取裝置、圖像拾取系統(tǒng)和圖像處理裝置，并且提供圖像拾取裝置的控制方法。
[0006]作為本發(fā)明的一個(gè)方面的圖像拾取裝置能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像，該圖像拾取裝置包括:被配置為獲得輸入圖像的輸入圖像獲得單元；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理單元；和被配置為顯示所述顯示圖像的顯示單元，并且，圖像處理單元獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
[0007]作為本發(fā)明的另一方面的圖像拾取系統(tǒng)能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像，該圖像拾取系統(tǒng)包括:被配置為獲得輸入圖像的輸入圖像獲得裝置；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理裝置；和被配置為顯示所述顯示圖像的顯示裝置，該圖像處理裝置獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且該圖像處理裝置通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
[0008]作為本發(fā)明的另一方面的圖像處理裝置能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像，該圖像處理裝置包括:被配置為存儲(chǔ)輸入圖像的圖像拾取條件信息的存儲(chǔ)單元；被配置為從輸入圖像產(chǎn)生顯示圖像的圖像處理單元；和被配置為顯示所述顯示圖像的顯示單元，并且，圖像處理單元獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
[0009]作為本發(fā)明的另一方面的圖像拾取裝置的控制方法能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像，該方法包括以下的步驟:通過(guò)成像光學(xué)系統(tǒng)和圖像拾取元件獲得輸入圖像；獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍；通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像；和在顯示單元上顯示所述顯示圖像。
[0010]從參照附圖對(duì)示例性實(shí)施例的以下描述，本發(fā)明的其它特征和方面將變得清晰。
【專利附圖】

【附圖說(shuō)明】
[0011]圖1是示出實(shí)施例1?3的圖像拾取裝置的框圖。
[0012]圖2是示出實(shí)施例1的視差圖像獲得單元的示意配置圖。
[0013]圖3是示出實(shí)施例2的視差圖像獲得單元的示意配置圖。
[0014]圖4是示出實(shí)施例2的不同的視差圖像獲得單元的示意配置圖。
[0015]圖5是示出實(shí)施例3的視差圖像獲得單元的示意配置圖。
[0016]圖6是示出實(shí)施例1的視差圖像獲得單元的截面圖。
[0017]圖7是示出實(shí)施例1的重新聚焦圖像的產(chǎn)生的說(shuō)明圖。
[0018]圖8是示出實(shí)施例1的焦點(diǎn)控制范圍的說(shuō)明圖。
[0019]圖9是示出實(shí)施例1?4中的在執(zhí)行拍攝操作時(shí)(在執(zhí)行拍攝操作之前)向用戶提供焦點(diǎn)控制范圍的情況的流程圖。
[0020]圖10是示出實(shí)施例1?4中的在編輯圖像時(shí)向用戶提供焦點(diǎn)控制范圍的情況的流程圖。
[0021]圖11是示出實(shí)施例1的視差圖像獲得單元的光學(xué)布置的說(shuō)明圖。
[0022]圖12是示出實(shí)施例1?4中的拍攝場(chǎng)景的例子的示圖。
[0023]圖13A?13E是示出實(shí)施例1?4中的顯示圖像的說(shuō)明圖。
[0024]圖14是示出實(shí)施例2的視差圖像獲得單元的截面圖。
[0025]圖15A和圖15B是示出實(shí)施例2的重新聚焦圖像的產(chǎn)生的說(shuō)明圖。
[0026]圖16是示出實(shí)施例2的焦點(diǎn)控制范圍的說(shuō)明圖。
[0027]圖17是示出從物側(cè)觀察的實(shí)施例3的視差圖像獲得單元的截面圖。
[0028]圖18是示出實(shí)施例3的成像光學(xué)系統(tǒng)的截面圖。
[0029]圖19是示出實(shí)施例3的焦點(diǎn)控制范圍的說(shuō)明圖。
[0030]圖20是示出實(shí)施例4的圖像拾取裝置(圖像拾取系統(tǒng))的框圖。
[0031]圖21是示出實(shí)施例4的圖像拾取裝置(圖像拾取系統(tǒng))的示意性配置圖。
[0032]圖22是示出實(shí)施例4的單視點(diǎn)圖像獲得單元的框圖。
[0033]圖23是示出實(shí)施例4的成像光學(xué)系統(tǒng)的截面圖。
【具體實(shí)施方式】
[0034]以下將參照附圖描述本發(fā)明的示例性實(shí)施例。在各附圖中，相同的附圖標(biāo)記將被賦予相同的部件，并且，將省略其描述。
[0035]實(shí)施例的圖像拾取裝置是能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像拾取裝置。實(shí)施例的視差圖像獲得單元(輸入圖像獲得單元)獲得視差圖像(輸入圖像)即通過(guò)從多個(gè)視點(diǎn)拍攝被照體空間獲得的光場(chǎng)。作為實(shí)施例的視差圖像獲得單元的例子，例示圖2?4所示的在成像光學(xué)系統(tǒng)的像側(cè)設(shè)置透鏡陣列的配置或圖5所示的布置多個(gè)成像光學(xué)系統(tǒng)的配置。同時(shí)，作為獲得視差圖像(光場(chǎng))的方法，考慮通過(guò)使用包含成像光學(xué)系統(tǒng)和圖像拾取元件的圖像拾取裝置在改變圖像拾取裝置的位置的同時(shí)多次執(zhí)行拍攝操作的方法。通過(guò)這種方法獲得的視差圖像是通過(guò)在不同的時(shí)刻捕獲被照體空間而獲得的圖像。出于這種原因，當(dāng)移動(dòng)被照體存在于被照體空間中時(shí)，不能獲得正確的視差信息。因此，希望采用視差圖像獲得單元可如圖2?5所示的那樣同時(shí)獲得整個(gè)視差圖像(多個(gè)視差圖像)的配置。
[0036]通過(guò)在通過(guò)圖2?5的配置獲得的視差圖像上執(zhí)行像素提取處理、次序重新布置處理或組合處理，可以執(zhí)行重新聚焦或場(chǎng)深控制、以及視點(diǎn)改變控制等。在實(shí)施例中，這種處理(用于通過(guò)使用輸入圖像的至少一部分獲得輸出圖像的處理)被稱為重構(gòu)處理。并且，通過(guò)重構(gòu)處理產(chǎn)生的圖像被稱為重構(gòu)圖像(輸出圖像)。特別地，通過(guò)在視差圖像上執(zhí)行重新聚焦處理獲得的圖像(輸出圖像)被稱為組合圖像。可通過(guò)噪聲減少處理或諸如場(chǎng)深控制的重構(gòu)處理，獲得組合圖像。并且，可重新聚焦范圍即可在被照體空間中控制焦點(diǎn)位置的范圍被稱為焦點(diǎn)控制范圍(重新聚焦范圍)。如后面將描述的那樣，通過(guò)圖像處理單元獲得焦點(diǎn)控制范圍。并且，圖像處理單元通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含與焦點(diǎn)控制范圍有關(guān)的信息的顯示圖像。
[0037]在實(shí)施例中，人物或被照體可能未必存在于圖2?5的物面201上。這是由于，焦點(diǎn)位置可被控制，以通過(guò)在拍攝操作之后執(zhí)行的重新聚焦處理(重構(gòu)處理)聚焦在存在于物面201的內(nèi)側(cè)或前側(cè)的人物或被照體上。并且，在以下的各實(shí)施例中，可為了簡(jiǎn)化描述使用一維系統(tǒng)，但是，在各實(shí)施例中，這同樣適于二維系統(tǒng)。
[0038][實(shí)施例1]
[0039]首先，將描述本發(fā)明的實(shí)施例1的圖像拾取裝置。圖1是示出實(shí)施例的圖像拾取裝置10的框圖。圖2是示出圖像拾取裝置10的視差圖像獲得單元(輸入圖像獲得單元)100的示意性配置圖。
[0040]如圖2所示，視差圖像獲得單元100從物側(cè)(物面?zhèn)?依次包含成像光學(xué)系統(tǒng)101、透鏡陣列102和圖像拾取元件103。成像光學(xué)系統(tǒng)101在像側(cè)共軛面上形成來(lái)自物面201的光束的圖像。透鏡陣列102被設(shè)置在像側(cè)共軛面上。圖像拾取元件103包含多個(gè)像素。并且，透鏡陣列102被配置為使得來(lái)自物面201的同一位置的光束根據(jù)光束通過(guò)的成像光學(xué)系統(tǒng)101的光瞳區(qū)域入射到圖像拾取元件103的不同像素。
[0041]通過(guò)這種配置，視差圖像獲得單元100獲得視差圖像(輸入圖像)。圖像拾取元件103是諸如CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的二維圖像拾取元件。穿過(guò)成像光學(xué)系統(tǒng)101和透鏡陣列102并入射到圖像拾取元件103的光束的能量通過(guò)圖像拾取元件103的光電轉(zhuǎn)換被轉(zhuǎn)換成模擬電信號(hào)(模擬信號(hào))。Α/D轉(zhuǎn)換器104將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)并且將數(shù)字信號(hào)輸出到圖像處理單元105。圖像處理單元105通過(guò)在數(shù)字信號(hào)上施加預(yù)先確定的處理來(lái)產(chǎn)生顯示圖像。通過(guò)圖像處理單元105產(chǎn)生的顯示圖像被輸出到諸如液晶顯示器的顯示單元106以在其上被顯示。用戶觀察顯示單元106的顯示圖像，并由此可在檢查圖像的同時(shí)執(zhí)行拍攝操作。
[0042]圖像處理單元105在產(chǎn)生顯示圖像時(shí)使用圖像獲取條件、從曝光狀態(tài)預(yù)測(cè)單元113或存儲(chǔ)單元109獲得的信息、以及從距離信息獲得單元105a獲得的信息等。這里，圖像獲取條件包含關(guān)于獲得模擬信號(hào)(視差圖像)時(shí)的視差圖像獲得單元100的信息(關(guān)于視差圖像獲得單元100的配置的信息)、孔徑的曝光狀態(tài)、焦點(diǎn)位置和變焦透鏡的焦距等。狀態(tài)檢測(cè)單元108可直接從系統(tǒng)控制器111獲得圖像獲取條件。并且，也可從控制單元107獲得關(guān)于視差圖像獲得單元100的信息。在實(shí)施例中，關(guān)于視差圖像獲得單元100的配置的信息被存儲(chǔ)于存儲(chǔ)單元109中。曝光狀態(tài)預(yù)測(cè)單元113事先基于從測(cè)光單元112獲得的信息預(yù)測(cè)曝光狀態(tài)。圖像處理單元105根據(jù)事先預(yù)測(cè)的曝光狀態(tài)改變焦點(diǎn)控制范圍。并且，圖像處理單元105中的距離信息獲得單元105a從輸入的視差信息(視差圖像)獲得被照體空間的距離信息。
[0043]系統(tǒng)控制器111包含指示在顯示單元106上顯示所述顯示圖像的顯示指示單元Illc0顯示單元106根據(jù)從顯示指示單元Illc輸出的信號(hào)接通和關(guān)斷顯示器并且切換顯示圖像。例如，在圖像拾取裝置10配有釋放按鈕的情況下，顯示指示單元Illc輸出預(yù)先確定的信號(hào)，使得在用戶將釋放按鈕按壓到第一位置的同時(shí)(在執(zhí)行拍攝操作之前)在顯示單元106上顯示所述顯示圖像。當(dāng)釋放按鈕在這種狀態(tài)下被按壓到比第一位置深的第二位置時(shí)，執(zhí)行拍攝操作。但是，實(shí)施例不限于此，并且，顯示指示單元Illc可通過(guò)其它方法傳送信號(hào)。
[0044]并且，系統(tǒng)控制器111包含指定要通過(guò)視差圖像獲得單元100聚焦的被照體的對(duì)焦被照體指定單元111b。根據(jù)從對(duì)焦被照體指定單元Illb輸出的信號(hào)，控制單元107驅(qū)動(dòng)視差圖像獲得單元100的聚焦機(jī)構(gòu)以在被照體(指定的被照體)上執(zhí)行對(duì)焦控制。當(dāng)通過(guò)圖像拾取指示單元Illd執(zhí)行拍攝操作時(shí)，控制單元107基于來(lái)自測(cè)光單元112的信息調(diào)整視差圖像獲得單元100的曝光。此時(shí)，通過(guò)圖像拾取元件103獲得的圖像被輸入到圖像處理單元105，使得如上面描述的那樣在圖像上執(zhí)行預(yù)先確定的處理。以預(yù)先確定的格式在諸如半導(dǎo)體存儲(chǔ)器的圖像記錄介質(zhì)110 (圖像記錄單元)上記錄圖像。并且，在拍攝操作中從狀態(tài)檢測(cè)單元108獲得的圖像獲取條件還被記錄于圖像記錄介質(zhì)110上。記錄于圖像記錄介質(zhì)110上的圖像可以是經(jīng)過(guò)重構(gòu)處理的圖像。以這種方式，圖像記錄介質(zhì)110記錄視差圖像(輸入圖像)的至少一部分或重構(gòu)圖像(輸出圖像)。并且，圖像記錄介質(zhì)110不僅記錄視差圖像的至少一部分或重構(gòu)圖像(圖像)，而且記錄與記錄圖像對(duì)應(yīng)的焦點(diǎn)控制范圍。
[0045]在記錄于圖像記錄介質(zhì)110上的圖像在顯示單元106上被顯示的情況下，圖像處理單元105基于拍攝操作中的圖像獲取條件在圖像上執(zhí)行處理。結(jié)果，顯示單元106顯示通過(guò)希望的設(shè)定(像素?cái)?shù)量、視點(diǎn)、焦點(diǎn)位置和場(chǎng)深等)重構(gòu)的圖像(重構(gòu)圖像)。重構(gòu)圖像的像素的數(shù)量由組合圖像像素?cái)?shù)量指定單元(像素?cái)?shù)量指定單元)llla指定。并且，為了提高處理速度，可以采用事先在存儲(chǔ)單元109中存儲(chǔ)希望的設(shè)定并且在不使用圖像記錄介質(zhì)110的情況下在顯示單元106上顯示重構(gòu)圖像的配置。通過(guò)系統(tǒng)控制器111執(zhí)行上述的一系列的控制。
[0046]下面，將參照?qǐng)D2，描述實(shí)施例的視差圖像獲得單元100的配置。透鏡陣列102被設(shè)置在成像光學(xué)系統(tǒng)101的相對(duì)于物面201的像側(cè)共軛面上。并且，透鏡陣列102具有基本上在成像光學(xué)系統(tǒng)101的出射光瞳與圖像拾取元件103之間設(shè)定共軛關(guān)系的配置。這里，基本共軛關(guān)系不僅指精確共軛關(guān)系，而且指基本上評(píng)價(jià)為共軛關(guān)系的關(guān)系(基本共軛關(guān)系)。來(lái)自物面201的光束通過(guò)成像光學(xué)系統(tǒng)101和透鏡陣列102根據(jù)光束在物面201上的角度和位置入射到圖像拾取元件103的多個(gè)不同的像素。通過(guò)這種配置，獲得光場(chǎng)。這里，透鏡陣列102用于防止穿過(guò)物面201上的不同位置的光束入射到圖像拾取元件103的同一像素。結(jié)果，通過(guò)布置從多個(gè)視點(diǎn)通過(guò)圖像拾取元件103拍攝物面201上的同一區(qū)域的像素組，獲得圖像。
[0047]圖6是示出實(shí)施例的視差圖像獲得單元100的截面圖。在圖6中，成像光學(xué)系統(tǒng)101是單焦點(diǎn)透鏡(固定焦距透鏡)。焦點(diǎn)組IF在光軸OA上移動(dòng)以執(zhí)行聚焦操作?？讖絊P控制曝光狀態(tài)。透鏡陣列102在實(shí)施例中形成為單個(gè)固體透鏡，但本發(fā)明不限于此。透鏡陣列102可包含多個(gè)透鏡，并且可通過(guò)使用液體透鏡、液晶透鏡或衍射光學(xué)元件等形成。并且，在實(shí)施例中，形成透鏡陣列102的小透鏡在其兩個(gè)表面上具有凸面形狀，但本發(fā)明不限于此。例如，可以按平面形狀或非球面形狀形成一個(gè)表面。
[0048]并且，希望形成透鏡陣列102的小透鏡的像側(cè)(圖像拾取元件103側(cè))的面具有凸面形狀。因此，透鏡陣列102的像散減少，由此，在圖像拾取元件103上獲得的圖像變得銳利(sharp)。相反，在不以凸面形狀形成像側(cè)面的情況下，像散增加，由此，通過(guò)各個(gè)小透鏡形成的圖像的周邊變模糊。當(dāng)在重構(gòu)處理中使用圖像的模糊部分時(shí)，不能獲得銳利的重構(gòu)圖像。并且，更希望小透鏡的物側(cè)(成像光學(xué)系統(tǒng)101側(cè))的面具有平面形狀或凸面形狀。因此，小透鏡的曲率低并且像差減少。因此，可進(jìn)一步提高圖像的銳利度。
[0049]下面將描述實(shí)施例的重新聚焦處理。由于在“Fourier Slice Photography”(參見Ren Ng, 2005ACM Trans.Graph.24，735-744)中詳細(xì)描述了重新聚焦，但是，這里將簡(jiǎn)單描述重新聚焦。重新聚焦的基本原理在圖2?5所示的任何配置中是共通的。這里，將通過(guò)例示圖2的配置描述這一點(diǎn)。
[0050]在圖2中，由于成像光學(xué)系統(tǒng)101的光瞳在二維上被分成9個(gè)區(qū)段(在一維上是3個(gè)區(qū)段)，因此，獲得9視點(diǎn)圖像。這里，與某個(gè)分割的光瞳對(duì)應(yīng)的圖像被稱為單視點(diǎn)圖像。由于9個(gè)單視點(diǎn)圖像具有視差，因此，圖像上的被照體的相對(duì)位置關(guān)系根據(jù)被照體距離改變。當(dāng)單視點(diǎn)圖像相互組合使得某些被照體相互重疊(疊加)時(shí)，位于不同的被照體距離上的被照體以不對(duì)準(zhǔn)的狀態(tài)相互組合。由于這種不對(duì)準(zhǔn)，位于不同的被照體距離上的被照體變模糊。此時(shí)的模糊由與對(duì)于組合使用的單視點(diǎn)圖像對(duì)應(yīng)的光瞳限定，并且，當(dāng)所有的9個(gè)圖像被相互組合時(shí)，由成像光學(xué)系統(tǒng)101捕獲的圖像的模糊會(huì)被再現(xiàn)。由于通過(guò)單視點(diǎn)圖像的組合相互重疊的被照體被任意設(shè)定，因此可再現(xiàn)通過(guò)在成像光學(xué)系統(tǒng)101中聚焦任意的被照體捕獲的圖像。這是拍攝操作之后的焦點(diǎn)控制即重新聚焦的原理。
[0051]下面將描述實(shí)施例的單視點(diǎn)圖像的生成方法。圖7是示出實(shí)施例中的重新聚焦圖像的生成的說(shuō)明圖，并且是示出圖2的透鏡陣列102與圖像拾取元件103之間的關(guān)系的示圖。圖7的虛線圓表示穿過(guò)一個(gè)小透鏡的光束入射到的區(qū)域。圖7示出以格子形狀布置小透鏡的情況，但是小透鏡的布置不限于此。例如，可以六重對(duì)稱地布置小透鏡，或者各小透鏡可從規(guī)則的布置輕微偏移。在圖7中，斜線部分表不穿過(guò)成像光學(xué)系統(tǒng)101的同一光瞳區(qū)域的光束入射到的像素。出于這種原因，能夠通過(guò)提取斜線部分的像素產(chǎn)生從成像光學(xué)系統(tǒng)101的光瞳的下部觀看被照體空間的單視點(diǎn)圖像。類似地，還能夠通過(guò)提取相對(duì)于由虛線表示的各圓形的相對(duì)位置相同的像素來(lái)產(chǎn)生其它的單視點(diǎn)圖像。
[0052]下面將描述執(zhí)行重新聚焦的焦點(diǎn)控制范圍(重新聚焦范圍)。由于通過(guò)相互重疊單視點(diǎn)圖像來(lái)執(zhí)行重新聚焦，因此不能再一次重新聚焦在各單視點(diǎn)圖像中變模糊的被照體。這是由于，即使當(dāng)相互重疊變模糊的圖像時(shí)，也不能獲得高頻率分量，并且，圖像仍然模糊。即，焦點(diǎn)控制范圍依賴于成像光學(xué)系統(tǒng)101的分割的光瞳。由于當(dāng)光瞳被分成更多的區(qū)段時(shí)各單視點(diǎn)圖像的場(chǎng)深變得更深，因此，焦點(diǎn)控制范圍加寬。但是，單視點(diǎn)圖像的場(chǎng)深未必匹配焦點(diǎn)控制范圍。這是由于焦點(diǎn)控制范圍根據(jù)單視點(diǎn)圖像與通過(guò)組合這些圖像獲得的組合圖像的像素?cái)?shù)量比改變。例如，當(dāng)組合圖像的像素的數(shù)量比各視點(diǎn)的圖像的像素?cái)?shù)量少時(shí)，組合圖像的空間分量的采樣間距相對(duì)于單視點(diǎn)圖像增加。出于這種原因，組合圖像的場(chǎng)深變得比單視點(diǎn)圖像場(chǎng)深要深，由此，其焦點(diǎn)控制范圍也加寬。相反，當(dāng)組合圖像的像素的數(shù)量比單視點(diǎn)圖像的像素的數(shù)量多時(shí)，焦點(diǎn)控制范圍變得小于單視點(diǎn)圖像的場(chǎng)深。這里，作為與單視點(diǎn)圖像相比進(jìn)一步增加組合圖像的像素的數(shù)量的方法，考慮通過(guò)像素偏移使用超分辨率的方法。如上所述，通過(guò)在偏移狀態(tài)中組合單視點(diǎn)圖像執(zhí)行重新聚焦。當(dāng)此時(shí)的偏移量是單視點(diǎn)圖像的像素間距的非整數(shù)倍時(shí)，可通過(guò)像素偏移提高分辨率，并可由此提高分辨率。出于這種原因，可以提高組合圖像的像素?cái)?shù)量。
[0053]從到此為止的討論，可以理解，為了獲得組合圖像的精確焦點(diǎn)控制范圍，需要另外使用用于組合單視點(diǎn)圖像的條件。并且，單視點(diǎn)圖像的場(chǎng)深根據(jù)視角改變。這是因?yàn)?，由于成像光學(xué)系統(tǒng)101的漸暈(vignette)，F(xiàn)值根據(jù)視角改變。出于這種原因，用戶可通過(guò)根據(jù)視角計(jì)算焦點(diǎn)控制范圍來(lái)識(shí)別更精確的值。
[0054]下面，將參照?qǐng)D8，描述組合圖像的焦點(diǎn)控制范圍的計(jì)算方法。圖8是示出實(shí)施例的焦點(diǎn)控制范圍的說(shuō)明圖。首先，考慮與組合圖像的場(chǎng)深對(duì)應(yīng)的焦點(diǎn)深度。這里，焦點(diǎn)深度的可允許的模糊圓(confusion circle)的尺寸由e表示并且光束的角度分量的采樣間距由Au表示。此時(shí),重新聚焦系數(shù)a 土由下式(I)給出。
[0055]
【權(quán)利要求】
1.一種能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像拾取裝置，該圖像拾取裝置包括: 輸入圖像獲得單元，所述輸入圖像獲得單元被配置為獲得輸入圖像； 圖像處理單元，所述圖像處理單元被配置為從所述輸入圖像產(chǎn)生顯示圖像；和顯示單元，所述顯示單元被配置為顯示所述顯示圖像， 其特征在于，所述圖像處理單元獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過(guò)使用輸入圖像的至少一部分產(chǎn)生包含關(guān)于焦點(diǎn)控制范圍的信息的顯示圖像。
2.根據(jù)權(quán)利要求1的圖像拾取裝置，其特征在于， 所述輸入圖像是通過(guò)從多個(gè)視點(diǎn)拍攝被照體空間獲得的視差圖像，并且， 所述輸出圖像是通過(guò)在視差圖像上執(zhí)行重新聚焦處理獲得的組合圖像。
3.根據(jù)權(quán)利要求1的圖像拾取裝置，其特征在于， 所述圖像處理單元根據(jù)所述輸入圖像獲得單元的圖像獲得條件改變焦點(diǎn)控制范圍。
4.根據(jù)權(quán)利要求3的圖像拾取裝置，其特征在于， 所述圖像處理單元根據(jù)輸入圖像的視角區(qū)域改變焦點(diǎn)控制范圍。
5.根據(jù)權(quán)利要求1的圖像拾取裝置，其特征在于， 所述圖像處理單元根據(jù)輸出圖像的像素的數(shù)量改變焦點(diǎn)控制范圍。
6.根據(jù)權(quán)利要求5的圖像拾取裝置，還包括:像素?cái)?shù)量指定單元，所述像素?cái)?shù)量指定單元被配置為指定輸出圖像的像素的數(shù)量。
7.根據(jù)權(quán)利要求1的圖像拾取裝置，其特征在于， 所述顯示單元在拍攝操作之前顯示所述顯示圖像。
8.根據(jù)權(quán)利要求1的圖像拾取裝置，還包括:距離信息獲得單元，所述距離信息獲得單元被配置為獲得被照體空間的距離信息， 其特征在于，所述圖像處理單元通過(guò)使用距離信息來(lái)產(chǎn)生顯示圖像。
9.根據(jù)權(quán)利要求8的圖像拾取裝置，其特征在于， 所述距離信息獲得單元通過(guò)使用輸入圖像的視差信息獲得距離信息。
10.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置，其特征在于， 所述圖像處理單元通過(guò)在焦點(diǎn)控制范圍之內(nèi)和之外執(zhí)行不同的圖像處理來(lái)產(chǎn)生顯示圖像。
11.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置，還包括:顯示指示單元，所述顯示指示單元被配置為指示顯示單元來(lái)顯示所述顯示圖像。
12.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置，還包括:對(duì)焦被照體指定單元，所述對(duì)焦被照體指定單元被配置為指定要聚焦的被照體， 其特征在于，所述圖像處理單元在指定要聚焦的被照體之后產(chǎn)生顯示圖像。
13.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置，還包括:圖像記錄單元，所述圖像記錄單元被配置為記錄作為輸入圖像的至少一部分或輸出圖像的圖像， 其特征在于，所述圖像記錄單元記錄圖像和與圖像對(duì)應(yīng)的焦點(diǎn)控制范圍。
14.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置，還包括:曝光狀態(tài)預(yù)測(cè)單元，所述曝光狀態(tài)預(yù)測(cè)單元被配置為預(yù)先預(yù)測(cè)拍攝操作期間的曝光狀態(tài)， 其特征在于，所述圖像處理單元根據(jù)預(yù)先預(yù)測(cè)的曝光狀態(tài)改變焦點(diǎn)控制范圍。
15.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置， 其中，所述輸入圖像獲得單元從物側(cè)起包含被配置為在像側(cè)共軛面上形成來(lái)自物面的光束的圖像的成像光學(xué)系統(tǒng)、設(shè)置在像側(cè)共軛面上的透鏡陣列、以及包含多個(gè)像素的圖像拾取元件， 其中，所述透鏡陣列被配置為使來(lái)自物面的同一位置的光束根據(jù)光束通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同的像素，并且， 其特征在于，當(dāng)經(jīng)由所述成像光學(xué)系統(tǒng)與焦點(diǎn)控制范圍共軛的像側(cè)范圍被設(shè)定為像側(cè)焦點(diǎn)控制范圍時(shí)，滿足下式:
16.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置， 其中，所述輸入圖像獲得單元從物側(cè)起包含被配置為在像側(cè)共軛面上形成來(lái)自物面的光束的圖像的成像光學(xué)系統(tǒng)、透鏡陣列、以及包含多個(gè)像素的圖像拾取元件， 其中，所述透鏡陣列被設(shè)置為使得像側(cè)共軛面與所述圖像拾取元件具有共軛關(guān)系，并被配置為使得來(lái)自物面的同一位置的光束根據(jù)光束通過(guò)的成像光學(xué)系統(tǒng)的光瞳區(qū)域入射到圖像拾取元件的不同的像素，并且， 其特征在于，當(dāng)經(jīng)由所述成像光學(xué)系統(tǒng)與焦點(diǎn)控制范圍共軛的像側(cè)范圍被設(shè)定為像側(cè)焦點(diǎn)控制范圍時(shí)，滿足下式:
17.根據(jù)權(quán)利要求1~9中的任一項(xiàng)的圖像拾取裝置， 其中，所述輸入圖像獲得單元從物側(cè)起包含在像側(cè)共軛面上形成來(lái)自被照體空間的光束的圖像的多個(gè)成像光學(xué)系統(tǒng)和包含多個(gè)像素的至少一個(gè)圖像拾取元件， 其中，所述多個(gè)成像光學(xué)系統(tǒng)被二維地布置，并且， 其特征在于，當(dāng)經(jīng)由所述成像光學(xué)系統(tǒng)與焦點(diǎn)控制范圍共軛的像側(cè)范圍被設(shè)定為像側(cè)焦點(diǎn)控制范圍時(shí)，滿足下式:
18.—種能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像拾取系統(tǒng)，該圖像拾取系統(tǒng)包括: 輸入圖像獲得裝置，所述輸入圖像獲得裝置被配置為獲得輸入圖像； 圖像處理裝置，所述圖像處理裝置被配置為從所述輸入圖像產(chǎn)生顯示圖像；和 顯示裝置，所述顯示裝置被配置為顯示所述顯示圖像， 其特征在于，所述圖像處理裝置獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過(guò)使用所述輸入圖像的至少一部分產(chǎn)生包含關(guān)于所述焦點(diǎn)控制范圍的信息的顯示圖像。
19.一種能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像處理裝置，該圖像處理裝置包括: 存儲(chǔ)單元，所述存儲(chǔ)單元被配置為存儲(chǔ)輸入圖像的圖像拾取條件信息； 圖像處理單元，所述圖像處理單元被配置為從輸入圖像產(chǎn)生顯示圖像；和 顯示單元，所述顯示單元被配置為顯示所述顯示圖像， 其特征在于，所述圖像處理單元獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍，并且通過(guò)使用所述輸入圖像的至少一部分產(chǎn)生包含關(guān)于所述焦點(diǎn)控制范圍的信息的顯示圖像。
20.一種能夠通過(guò)重構(gòu)輸入圖像來(lái)產(chǎn)生具有不同的焦點(diǎn)位置的多個(gè)輸出圖像的圖像拾取裝置的控制方法，該方法包括以下的步驟: 經(jīng)由成像光學(xué)系統(tǒng)和圖像拾取元件獲得輸入圖像； 獲得可控制焦點(diǎn)位置的焦點(diǎn)控制范圍； 通過(guò)使用所述輸入 圖像的至少一部分產(chǎn)生包含關(guān)于所述焦點(diǎn)控制范圍的信息的顯示圖像；和 在顯示單元上顯示所述顯示圖像。
【文檔編號(hào)】H04N5/232GK103686134SQ201310411213
【公開日】2014年3月26日 申請(qǐng)日期:2013年9月11日 優(yōu)先權(quán)日:2012年9月12日
【發(fā)明者】日淺法人, 畠山弘至, 江口薫 申請(qǐng)人:佳能株式會(huì)社