成像設(shè)備、成像方法、圖像生成設(shè)備以及圖像生成方法
【專利摘要】一種成像設(shè)備包括：透鏡單元，用于聚焦光；至少三個圖像傳感器，用于進(jìn)行光電轉(zhuǎn)換；以及分光單元，用于將所述透鏡單元的光分成至少三個光支路。每個光支路與一個不同的圖像傳感器對應(yīng)。所述分光單元同時還將所述光支路引入相應(yīng)的圖像傳感器中。
【專利說明】成像設(shè)備、成像方法、圖像生成設(shè)備以及圖像生成方法
[0001]交叉引用相關(guān)申請
[0002]本申請要求于2013年6月28日提交的日本優(yōu)先權(quán)專利申請JP2013-136218的權(quán)益，該案之全文并入本文中，以作參考。

【技術(shù)領(lǐng)域】
[0003]本公開涉及一種成像設(shè)備、一種成像方法、一種圖像生成設(shè)備、一種圖像生成方法以及一種程序，并且更具體而言，涉及一種成像設(shè)備、一種成像方法、一種圖像生成設(shè)備、一種圖像生成方法以及一種程序，例如，通過其可容易地獲得3D圖像。

【背景技術(shù)】
[0004]例如，使用各種數(shù)字照相機(jī)(攝影機(jī)或靜物照相機(jī))，例如，雙透鏡和雙傳感器系統(tǒng)的照相機(jī)、雙透鏡和單傳感器系統(tǒng)的照相機(jī)、單透鏡和單傳感器系統(tǒng)的照相機(jī)以及三透鏡和三傳感器系統(tǒng)的照相機(jī)，可捕捉三維(3D)圖像。
[0005]雙透鏡和雙傳感器系統(tǒng)的照相機(jī)包括:兩個透鏡單元，其作為成像光學(xué)系統(tǒng)，收集光；以及兩個圖像傳感器(例如，互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器或電荷耦合裝置(CCD))，作為進(jìn)行光電轉(zhuǎn)換的光電轉(zhuǎn)換單元。
[0006]雙透鏡和單傳感器系統(tǒng)的照相機(jī)包括兩個透鏡單元和單個圖像傳感器。單透鏡和單傳感器系統(tǒng)的照相機(jī)包括單個透鏡單元和單個圖像傳感器。
[0007]而且，三透鏡和三傳感器系統(tǒng)的照相機(jī)包括三個成像單元，每個成像單元由單個透鏡單元和單個圖像傳感器構(gòu)成。換言之，三透鏡和三傳感器系統(tǒng)的照相機(jī)包括三個透鏡單元和三個圖像傳感器。


【發(fā)明內(nèi)容】

[0008]關(guān)于3D圖像，可取地提出一種技術(shù)，通過該技術(shù)，可更容易地獲得3D圖像。
[0009]在這種情況下，需要提供一種成像設(shè)備、一種成像方法、一種圖像生成設(shè)備、一種圖像生成方法以及一種程序，通過其可容易地獲得3D圖像。
[0010]根據(jù)本公開的一個實(shí)施方式，提供了一種成像設(shè)備，其包括:透鏡單元，被配置為聚焦光；至少三個圖像傳感器，被配置為進(jìn)行光電轉(zhuǎn)換；以及分光單元，被配置為將所述透鏡單元的光分成至少三個光支路，每個光支路與一個不同的圖像傳感器對應(yīng)，并且進(jìn)一步被配置為分別同時將所述光支路引入各個圖像傳感器中。
[0011]根據(jù)本公開的另一個實(shí)施方式，提供了一種成像方法，其包括:由成像設(shè)備同時捕捉至少三個圖像，所述至少三個圖像在至少三個不同的距離實(shí)現(xiàn)聚焦，所述成像設(shè)備包括:透鏡單元，被配置為聚焦光；至少三個圖像傳感器，被配置為進(jìn)行光電轉(zhuǎn)換；以及分光單元，被配置為將所述透鏡單元的光分成至少三個光支路，每個光支路與一個不同的圖像傳感器對應(yīng)，并且進(jìn)一步被配置為分別同時將所述光支路引入各個圖像傳感器中。
[0012]而且，提供了一種永久性計(jì)算機(jī)可讀介質(zhì)，在該介質(zhì)上具有指令，這些指令形成促使計(jì)算機(jī)或處理器用作這種圖像生成設(shè)備或者執(zhí)行這種成像方法的程序。
[0013]要注意的是，成像設(shè)備和圖像生成設(shè)備均可為獨(dú)立設(shè)備或者可位于構(gòu)成單個設(shè)備的方框內(nèi)。
[0014]而且，通過傳輸介質(zhì)傳輸程序或者在記錄介質(zhì)上記錄程序，可提供該程序。
[0015]根據(jù)本公開的實(shí)施方式，能夠容易地獲得3D圖像。
[0016]要注意的是，在本文中提出的效應(yīng)僅僅是實(shí)例，本公開的效應(yīng)不限于在本文中提出的效應(yīng)，并且可提供額外的效應(yīng)。
[0017]根據(jù)在附圖中說明的其最佳實(shí)施方式的以下詳細(xì)描述，本公開的這些和其他目標(biāo)、特征以及優(yōu)點(diǎn)更加顯而易見。

【專利附圖】

【附圖說明】
[0018]圖1為示出捕捉2D圖像的數(shù)字照相機(jī)的一個配置實(shí)例的透視圖；
[0019]圖2為示出雙透鏡和雙傳感器系統(tǒng)的照相機(jī)的一個配置實(shí)例的示圖；
[0020]圖3為示出捕捉圖像的雙透鏡和單傳感器系統(tǒng)的照相機(jī)的成像單元的平面圖；
[0021]圖4為示出捕捉圖像的單透鏡和單傳感器系統(tǒng)的照相機(jī)的成像單元的平面圖；
[0022]圖5為示出應(yīng)用本公開的3D照相機(jī)的一個實(shí)施方式的一個配置實(shí)例的方框圖；
[0023]圖6為示出成像單元11的一個配置實(shí)例的平面圖；
[0024]圖7為用于解釋正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的設(shè)置的示圖；
[0025]圖8為用于解釋在距離計(jì)算單元14中計(jì)算主體距離的方法的示圖；
[0026]圖9為用于解釋在視差計(jì)算單元15中計(jì)算視差(主體視差)的方法的示圖；
[0027]圖10為用于解釋在3D圖像生成單元16中生成3D圖像的方法的示圖；
[0028]圖11為用于解釋3D照相機(jī)的處理的流程圖；
[0029]圖12為示出應(yīng)用本公開的顯示系統(tǒng)的一個實(shí)施方式的一個配置實(shí)例的方框圖；
[0030]圖13為示出在顯示系統(tǒng)中顯示的3D圖像的一個實(shí)例的示圖；
[0031]圖14為用于解釋顯示系統(tǒng)的處理的流程圖；以及
[0032]圖15為示出應(yīng)用本公開的計(jì)算機(jī)的一個實(shí)施方式的一個配置實(shí)例的方框圖。

【具體實(shí)施方式】
[0033]<使用現(xiàn)有數(shù)字照相機(jī)捕捉3D圖像>
[0034]雖然在后文中描述本公開的實(shí)施方式，但是在此之前描述使用現(xiàn)有數(shù)字照相機(jī)捕捉(立體鏡地捕捉)3D圖像的方法。
[0035]圖1為示出捕捉2D圖像的數(shù)字照相機(jī)的一個配置實(shí)例的透視圖。
[0036]捕捉2D圖像的數(shù)字照相機(jī)(在后文中也稱為2D照相機(jī))是單透鏡和單傳感器系統(tǒng)的照相機(jī)并且包括單透鏡單元和單圖像傳感器。
[0037]在2D照相機(jī)中，由透鏡單元收集的光由圖像傳感器進(jìn)行光電轉(zhuǎn)換。通過光電轉(zhuǎn)換，生成(捕捉)2D圖像。
[0038]要注意的是，在透鏡單元的透鏡孔徑變得更大時，包括2D照相機(jī)的任何數(shù)字照相機(jī)可捕捉更明亮的圖像。
[0039]圖2為示出雙透鏡和雙傳感器系統(tǒng)的照相機(jī)(數(shù)字照相機(jī))的一個配置實(shí)例的示圖。
[0040]具體而言，圖2的部分A顯示了示出雙透鏡和雙傳感器系統(tǒng)的照相機(jī)的外觀的一個配置實(shí)例的透視圖。圖2的部分B顯示了示出其內(nèi)部可看穿的雙透鏡和雙傳感器系統(tǒng)的照相機(jī)的配置實(shí)例的透視圖。
[0041]而且，圖2的部分C顯示了示出捕捉圖像的雙透鏡和雙傳感器系統(tǒng)的照相機(jī)的成像單元的一個配置實(shí)例的平面圖。
[0042]雙透鏡和雙傳感器系統(tǒng)的照相機(jī)包括兩個透鏡單元和兩個圖像傳感器。這兩個透鏡單元和兩個圖像傳感器構(gòu)成成像單元。
[0043]雙透鏡和雙傳感器系統(tǒng)的照相機(jī)可通過以下方式捕捉3D圖像。
[0044]具體而言，在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，在這兩個透鏡單元的左眼透鏡單元(L透鏡單元)中收集的光由這兩個圖像傳感器的左眼圖像傳感器(L圖像傳感器)進(jìn)行光電轉(zhuǎn)換，以便生成左眼的左(L)圖像。
[0045]此外，在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，在這兩個透鏡單元的右眼透鏡單元(R透鏡單元)中收集的光由這兩個圖像傳感器的右眼圖像傳感器(R圖像傳感器)進(jìn)行光電轉(zhuǎn)換，以便生成右眼的右(R)圖像。
[0046]雙透鏡和雙傳感器系統(tǒng)的照相機(jī)通過這種方式同時捕捉(生成)L圖像和R圖像，作為3D圖像。
[0047]在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，為了生成與人眼相同的視差，設(shè)置這兩個透鏡單元，以便作為在這兩個透鏡單元的光軸之間的距離的透鏡間距離(視差分離)幾乎等于在人類的左右眼之間的距離。
[0048]在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，透鏡間距離限于幾乎等于在人類的左右眼之間的距離，因此，與圖1的2D照相機(jī)相比，透鏡單元的透鏡孔徑也限于更小的孔徑。
[0049]具有更小的透鏡孔徑的透鏡單元是具有更大的F值的透鏡，換言之，更暗的透鏡。因此，在透鏡單元包括作為這種更暗的透鏡的變焦透鏡的情況下，透鏡單元的設(shè)計(jì)限制更嚴(yán)格。
[0050]而且，在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，難以調(diào)整和校正左(L)透鏡單元和右(R)透鏡單元的位置。
[0051]此外，由人眼造成的視差是在靠近個人的宏觀位置和與個人相距幾米或幾十米或更長的距離的無限位置(可被視為無限的位置)之間的差值。因此，由雙透鏡和雙傳感器系統(tǒng)的照相機(jī)捕捉的L圖像和R圖像構(gòu)成的3D圖像可為例如一種圖像，其中，由于該視差太大，所以位于宏觀位置的主體的立體效應(yīng)太強(qiáng)。
[0052]具體而言，例如，在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)捕捉L圖像和R圖像，以便在位于與照相機(jī)相距某個距離的位置的主體中，造成某個視差時，在從這種L和R圖像中獲得的3D圖像中位于宏觀位置的主體的視差比在人眼中造成的視差更大。因此，可獲得一種圖像，其中，位于宏觀位置的主體的立體效應(yīng)太強(qiáng)。
[0053]因此，在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，難以調(diào)整視差，用于在與照相機(jī)相距不同距離的3D圖像中，在任何主體中造成合適的視差。
[0054]在圖2的雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中，作為在具有不同距離的位置(例如，宏觀位置和無限位置)適當(dāng)?shù)匦Ｕ暡畹姆椒ǎ哂幸环N稍后描述的為雙透鏡和雙傳感器系統(tǒng)的照相機(jī)提供角度調(diào)整機(jī)構(gòu)的方法。然而，如果雙透鏡和雙傳感器系統(tǒng)的照相機(jī)具有角度調(diào)整機(jī)構(gòu)，那么人們擔(dān)心雙透鏡和雙傳感器系統(tǒng)的照相機(jī)的光學(xué)系統(tǒng)的結(jié)構(gòu)變得非常復(fù)雜并且實(shí)際制造變得困難。
[0055]圖3為示出捕捉圖像的雙透鏡和單傳感器系統(tǒng)的照相機(jī)(數(shù)字照相機(jī))的成像單元的一個配置實(shí)例的平面圖。
[0056]雙透鏡和單傳感器系統(tǒng)的照相機(jī)包括L透鏡單元和R透鏡單元這兩個透鏡單元和單個圖像傳感器。
[0057]在雙透鏡和單傳感器系統(tǒng)的照相機(jī)中，在L透鏡單元中收集的光和在R透鏡單元中收集的光由單個圖像傳感器使用棱鏡和快門的組合來交替地進(jìn)行光電轉(zhuǎn)換。結(jié)果，生成L圖像和R圖像。
[0058]雙透鏡和單傳感器系統(tǒng)的照相機(jī)包括L透鏡單元和R透鏡單元這兩個透鏡單元，與雙透鏡和雙傳感器系統(tǒng)的照相機(jī)一樣。因此，與雙透鏡和雙傳感器系統(tǒng)的照相機(jī)一樣，雙透鏡和單傳感器系統(tǒng)的照相機(jī)具有以下問題:透鏡單元的設(shè)計(jì)限制更嚴(yán)格，難以調(diào)整和校正L透鏡單元和R透鏡單元的位置，在捕捉3D圖像的情況下獲得位于宏觀位置的主體的立體效應(yīng)太強(qiáng)的圖像，諸如此類。
[0059]要注意的是，為了校正視差，需要在雙透鏡和單傳感器系統(tǒng)的照相機(jī)中包含角度調(diào)整機(jī)構(gòu)，該機(jī)構(gòu)調(diào)整從L透鏡單元和R透鏡單元中進(jìn)入圖像傳感器的光的角度。
[0060]圖4為示出捕捉圖像的單透鏡和單傳感器系統(tǒng)的照相機(jī)(數(shù)字照相機(jī))的成像單元的一個配置實(shí)例的平面圖。
[0061]單透鏡和單傳感器系統(tǒng)的照相機(jī)包括單個透鏡單元和單個圖像傳感器。
[0062]例如，通過捕捉單個主體的多個圖像，同時在水平方向等改變成像位置，并且相對于多個圖像的主體計(jì)算視差，單透鏡和單傳感器系統(tǒng)的照相機(jī)可生成3D圖像。
[0063]或者，例如，如圖4中所示，通過捕捉具有作為偏離的聚焦位置的焦點(diǎn)位置的多個圖像，同時在光軸方向移動單個透鏡單元，并且相對于多個圖像的主體計(jì)算視差，單透鏡和單傳感器系統(tǒng)的照相機(jī)可生成3D圖像。
[0064]捕捉3D圖像的單透鏡和單傳感器系統(tǒng)的照相機(jī)具有可使用現(xiàn)有2D照相機(jī)來配置該照相機(jī)的優(yōu)點(diǎn)。
[0065]然而，在由單透鏡和單傳感器系統(tǒng)的照相機(jī)捕捉3D圖像時，需要捕捉圖像，同時在光軸方向移動成像位置或者移動透鏡單元。因此，如果該主體不移動，那么就沒問題，但是如果主體移動，那么在圖像之中造成時間間隙。結(jié)果，對于移動的主體，難以生成合適的3D圖像。
[0066]而且，在光軸方向移動單個透鏡單元的同時，在單透鏡和單傳感器系統(tǒng)的照相機(jī)捕捉必要數(shù)量的圖像的情況下，在透鏡單元從某個位置移動到另一個位置時，圖像傳感器不能進(jìn)行光曝光。曝光時間段至少縮短一個時間段(在透鏡單元移動時的時間段)。結(jié)果，由單透鏡和單傳感器系統(tǒng)的照相機(jī)獲得的圖像的敏感性低(動態(tài)范圍)。
[0067]要注意的是，具有三透鏡和三傳感器系統(tǒng)的照相機(jī)，作為能夠在宏觀位置將視差校正為較大并且在無限位置將其校正為較小的數(shù)字照相機(jī)。
[0068]三透鏡和三傳感器系統(tǒng)的照相機(jī)包括三個透鏡單元和三個圖像傳感器。換言之，三透鏡和三傳感器系統(tǒng)的照相機(jī)包括三個成像單元，這三個成像單元均由單個透鏡單元和單個圖像傳感器構(gòu)成。
[0069]三透鏡和三傳感器系統(tǒng)的照相機(jī)使用從這三個成像單元中獲得的圖像來校正視差。因此，人們擔(dān)心校正處理復(fù)雜并且是重負(fù)載處理。此外，三透鏡和三傳感器系統(tǒng)的照相機(jī)包括三個成像單元，因此，人們擔(dān)心三透鏡和三傳感器系統(tǒng)的照相機(jī)的尺寸總體上增大。
[0070]幾年前，將顯示3D圖像的三維顯示系統(tǒng)(例如，3D電視(電視接收器))商業(yè)化。很多產(chǎn)品目前以較低的價格分售。
[0071]與那些3D顯示系統(tǒng)相比，在捕捉3D圖像的3D照相機(jī)之中的均包括多個透鏡單元的3D照相機(jī)(例如，雙透鏡和雙傳感器系統(tǒng)的照相機(jī)、雙透鏡和單傳感器系統(tǒng)的照相機(jī)以及三透鏡和三傳感器系統(tǒng)的照相機(jī))的產(chǎn)品不如3D顯示系統(tǒng)的產(chǎn)品受歡迎。例如，這是由于以下原因。
[0072]具體而言，包括多個透鏡單元的3D照相機(jī)的尺寸比由單個透鏡單元捕捉2D圖像的2D照相機(jī)的尺寸更大，相差多個透鏡單元的量。因此，難以進(jìn)行處理。
[0073]此外，對于雙透鏡和雙傳感器系統(tǒng)的3D照相機(jī)和雙透鏡和單傳感器系統(tǒng)的3D照相機(jī)，需要制備透鏡單元，該透鏡單元與2D照相機(jī)的透鏡單元在結(jié)構(gòu)上完全不同，并且可以說專用于3D照相機(jī)。因此，不能利用2D照相機(jī)的透鏡單元、其他光學(xué)元件等的資源。因此，開發(fā)成本以及因此產(chǎn)品價格增大。
[0074]而且，除了 3D圖像以外，包括多個透鏡單元的3D照相機(jī)還能夠捕捉2D圖像。然而，與由2D照相機(jī)捕捉的2D圖像相比，由這種3D照相機(jī)捕捉的2D圖像沒有優(yōu)點(diǎn)。這還可被視為3D照相機(jī)不受歡迎的一個原因。
[0075]要注意的是，雙透鏡和雙傳感器系統(tǒng)的3D照相機(jī)、雙透鏡和單傳感器系統(tǒng)的3D照相機(jī)等生成3D圖像，其中，在捕捉L圖像和R圖像時位于聚焦距離(焦距)處的主體聚焦(即處于準(zhǔn)確對焦的狀態(tài))。在現(xiàn)有3D顯示系統(tǒng)中顯示這種3D圖像時，在由3D照相機(jī)捕捉時聚焦的主體處于聚焦的狀態(tài)中，但是其他主體處于離焦?fàn)顟B(tài)中，即，模糊的狀態(tài)。
[0076]例如，在與3D照相機(jī)相距某個距離的主體聚焦并且在前面位于更靠近3D照相機(jī)的位置的主體不聚焦的情況下，甚至在通過3D顯示系統(tǒng)查看3D圖像的用戶從聚焦的主體朝著在前面的主體觀看時，在前面的主體不聚焦并且保持模糊。
[0077]由用戶觀看的主體不聚焦并且保持模糊，因此，3D圖像的真實(shí)性可退化。
[0078]有鑒于此，在后文中，提出了一種3D照相機(jī)，該照相機(jī)便宜、尺寸小并且容易處理，以便容易獲得3D圖像。
[0079]此外，在后文中，提出了一種顯示系統(tǒng)，該系統(tǒng)顯示了真實(shí)的3D圖像。
[0080]<應(yīng)用本發(fā)明的3D照相機(jī)的實(shí)施方式>
[0081]圖5為示出應(yīng)用本公開的3D照相機(jī)的一個實(shí)施方式的一個配置實(shí)例的方框圖。
[0082]在圖5中，3D照相機(jī)包括成像單元11、主體提取單元12、對比信息計(jì)算單元13、距離計(jì)算單元14、視差計(jì)算單元15、3D圖像生成單元16、顯示單元17、儲存單元18、操作單元19以及控制單元20。
[0083]現(xiàn)在，假設(shè)某個整數(shù)(三或更大)由N表示，圖5的3D照相機(jī)是單透鏡和N傳感器系統(tǒng)的照相機(jī)，并且成像單元11包括稍后描述的單個透鏡單元和三個或多個(N個)圖像傳感器。
[0084]成像單元11通過稍后描述的方式以預(yù)定的幀速率同時捕捉例如N個圖像，即，例如，正常圖像、宏觀圖像以及無限圖像這三個圖像。成像單元11將那些圖像提供給主體提取單元12、3D圖像生成單元16以及儲存單元18。
[0085]正常圖像表示一種圖像，作為聚焦位置的該圖像的焦點(diǎn)位置是作為與成像單元11相距預(yù)定距離的位置的正常位置。而且，宏觀圖像是一種圖像，該圖像的焦點(diǎn)位置是作為與成像單元11相距比預(yù)定距離更小(更短)的距離的位置的宏觀位置。此外，無限圖像是一種圖像，該圖像的焦點(diǎn)位置是作為與成像單元11相距比預(yù)定距離更大(更長)的距離的位置的無限位置。
[0086]如果從成像單元11到焦點(diǎn)位置的距離稱為焦距，那么成像單元11捕捉基于距離的圖像，這些圖像是三個或多個圖像，所述三個或多個圖像具有作為焦距的三個或多個距離。
[0087]為了進(jìn)行描述，上述正常圖像、宏觀圖像以及無限圖像這三個圖像用作三個或多個基于距離的圖像。
[0088]要注意的是，成像單元11可捕捉四個或多個基于距離的圖像。
[0089]主體提取單元12從由成像單元11提供的正常圖像、宏觀圖像以及無限圖像的每個中提取主體。主體提取單元12將那些主體提供給對比信息計(jì)算單元13和距離計(jì)算單元14。
[0090]通過從由主體提取單元12提供的正常圖像、宏觀圖像以及無限圖像中提取的每個主體，對比信息計(jì)算單元13計(jì)算表示主體的對比度的對比信息。對比信息計(jì)算單元13將對比信息提供給距離計(jì)算單元14。
[0091]針對從由主體提取單元12提供的正常圖像、宏觀圖像以及無限圖像中提取的每個主體，距離計(jì)算單元14根據(jù)由對比信息計(jì)算單元13提供的每個主體的對比信息計(jì)算主體距離，作為從成像單元11到主體的距離。距離計(jì)算單元14將主體距離與相應(yīng)的主體(關(guān)于相應(yīng)的主體的信息)一起作為主體信息提供給視差計(jì)算單元15和儲存單元18。
[0092]針對包含在由距離計(jì)算單元14提供的主體信息內(nèi)的每個主體，視差計(jì)算單元15根據(jù)包含在主體信息內(nèi)的主體距離計(jì)算取決于主體距離的視差(在后文中也稱為主體視差)。視差計(jì)算單元15將那些視差提供給3D圖像生成單元16。
[0093]3D圖像生成單元16使用由成像單元11提供的正常圖像、宏觀圖像以及無限圖像，以針對每個主體生成3D圖像，該圖像具有由視差計(jì)算單元15提供的主體視差。3D圖像生成單元16將那些3D圖像提供給顯示單元17和儲存單元18。
[0094]顯示單元17包括液晶面板或有機(jī)電致發(fā)光(EL)面板。顯示單元17顯示由3D圖像生成單元16提供的3D圖像。要注意的是，除此以外，顯示單元17還顯示例如由成像單元11提供給3D圖像生成單元16的正常圖像、宏觀圖像和無限圖像以及從這些圖像中生成的2D圖像。在控制單元20的控制下，顯示單元17可進(jìn)一步顯示圖形用戶界面(⑶I)等。
[0095]儲存單元18包括儲存器，例如，硬盤和半導(dǎo)體存儲器。儲存單元18根據(jù)需要在儲存器中儲存由成像單元11提供的正常圖像、宏觀圖像以及無限圖像、由距離計(jì)算單元14提供的主體信息、由3D圖像生成單元16提供的3D圖像等。
[0096]操作單元19包括物理按鈕、在觸摸屏上顯示的虛擬按鈕(與顯示單元17整體地配置)等。操作單元19由用戶操作。操作單元19根據(jù)用戶的操作將操作信號提供給控制單元20。
[0097]控制單元20根據(jù)由操作單元19提供的操作信號等控制構(gòu)成3D照相機(jī)的各個框圖。
[0098]<成像單元11的配置實(shí)例>
[0099]圖6為示出圖5的成像單元11的一個配置實(shí)例的平面圖。
[0100]在圖6中，成像單元11包括單個透鏡單元31、光分散單元32以及三個圖像傳感器41、42和43，作為三個或多個圖像傳感器。
[0101]透鏡單元31是用于在圖像傳感器41到43中收集光的光學(xué)元件。透鏡單元31根據(jù)需要包括所謂的聚焦透鏡、變焦透鏡、光圈等。
[0102]光分散單元32分散透鏡發(fā)射的光(作為由透鏡單元31發(fā)射的光)并且在這三個圖像傳感器41到43的每個上入射透鏡發(fā)射的光。
[0103]在所謂的三板系統(tǒng)的照相機(jī)中，為了接收R(紅色)、G(綠色)以及B (藍(lán)色)的每個光束，使用棱鏡，將主體的光分散為R、G以及B光束。
[0104]如果將光分散為R、G以及B光束的棱鏡稱為RGB色散棱鏡，那么與RGB色散棱鏡具有相同結(jié)構(gòu)的棱鏡可用作光分散單元32。
[0105]應(yīng)注意的是，在RGB色散棱鏡中，在鏡面中形成薄膜，例如，介電多層膜，以便反射具有特定波長的光并且使具有其他波長的光透過，從而將光分散到R、G以及B光束內(nèi)。然而，無論波長多大，光都僅僅需要在光分散單元32中分散，因此，半反射鏡可用于替代薄膜(例如介電多層膜)用作光分散單兀32的棱鏡。
[0106]如上所述，使用用于三板照相機(jī)中的RGB色散棱鏡，可配置光分散單元32。
[0107]在圖6中，在表面ml和m2中形成半反射鏡。
[0108]由透鏡單元31發(fā)射的透鏡發(fā)射的光從用作光分散單元32的棱鏡的點(diǎn)cl中進(jìn)入并且到達(dá)表面ml的半反射鏡上的點(diǎn)c2。已經(jīng)到達(dá)點(diǎn)c2的光(透鏡發(fā)射的光)的一部分在點(diǎn)c2上反射并且到達(dá)點(diǎn)c3。點(diǎn)c3是反射鏡并且已經(jīng)到達(dá)點(diǎn)c3的光完全在點(diǎn)c3上反射并且從點(diǎn)c4中發(fā)射。
[0109]在用作光分散單元32的棱鏡的與點(diǎn)c4相對的一側(cè)，提供圖像傳感器42。因此，從點(diǎn)c4中發(fā)射的光(透鏡發(fā)射的光)進(jìn)入圖像傳感器42中并且進(jìn)行光電轉(zhuǎn)換。
[0110]已經(jīng)到達(dá)點(diǎn)c2的光(透鏡發(fā)射的光)的剩余光穿過點(diǎn)C2并且到達(dá)表面m2的半反射鏡上的點(diǎn)c5。已經(jīng)到達(dá)點(diǎn)c5的光(透鏡發(fā)射的光)的一部分在點(diǎn)c5上反射并且從點(diǎn)c6中發(fā)射。
[0111]在用作光分散單元32的棱鏡的與點(diǎn)c6相對的一側(cè)，提供圖像傳感器43。因此，從點(diǎn)c6中發(fā)射的光(透鏡發(fā)射的光)進(jìn)入圖像傳感器43中并且進(jìn)行光電轉(zhuǎn)換。
[0112]而且，已經(jīng)到達(dá)點(diǎn)c5的光(透鏡發(fā)射的光)的剩余光穿過點(diǎn)c5并且從點(diǎn)c7中發(fā)射。
[0113]在用作光分散單元32的棱鏡的與點(diǎn)c7相對的一側(cè)，提供圖像傳感器41。因此，從點(diǎn)c7中發(fā)射的光(透鏡發(fā)射的光)進(jìn)入圖像傳感器41中并且進(jìn)行光電轉(zhuǎn)換。
[0114]在圖像傳感器41到43中，從光分散單元32中入射的光(透鏡發(fā)射的光)通過上述方式進(jìn)行光電轉(zhuǎn)換，以便(同時)捕捉圖像。
[0115]在后文中，例如，以用作光分散單元32的棱鏡的點(diǎn)cl作為參考,通過點(diǎn)c2、點(diǎn)c5以及點(diǎn)c7從點(diǎn)cl運(yùn)行到圖像傳感器41的光的光路長度稱為正常光路長度。
[0116]同樣，以點(diǎn)cl作為參考，通過點(diǎn)c2、點(diǎn)c3以及點(diǎn)c4從點(diǎn)cl運(yùn)行到圖像傳感器42的光的光路長度稱為宏觀光路長度。
[0117]而且，同樣，以點(diǎn)cl作為參考，通過點(diǎn)c2、點(diǎn)c5以及點(diǎn)c6從點(diǎn)cl運(yùn)行到圖像傳感器43的光的光路長度稱為無限光路長度。
[0118]正常光路長度(從點(diǎn)cl到圖像傳感器41的光路長度)、宏觀光路長度(從點(diǎn)cl到圖像傳感器42的光路長度)以及無限光路長度(從點(diǎn)cl到圖像傳感器43的光路長度)不同。
[0119]具體而言，正常光路長度例如是適合于使正常位置作為焦點(diǎn)位置的光路長度。其中，正常位置是作為與透鏡單元31 (與光分散單元32相對)相距預(yù)定的距離(例如，幾米，作為提前限定的參考距離)的位置；焦點(diǎn)位置是處于聚焦?fàn)顟B(tài)的位置。
[0120]因此，圖像傳感器41 (穿過正常光路長度的光路的光(透鏡發(fā)射的光)在該圖像傳感器上入射)采集一種圖像，其中，位于正常位置中(附近)的主體聚焦。
[0121]而且，宏觀光路長度例如是適合于使宏觀位置作為焦點(diǎn)位置的光路長度。所述宏觀位置是作為與透鏡單元31相距比預(yù)定距離更小的距離的位置(換言之，相對于正常位置在前(在從光分散單元32中觀看透鏡單元31時，位于前面)的位置)。
[0122]因此，圖像傳感器42 (穿過宏觀光路長度的光路的光在該圖像傳感器上入射)采集一種圖像，其中，位于宏觀位置中的主體聚焦。
[0123]此外，無限光路長度例如是適合于使無限位置作為焦點(diǎn)位置的光路長度。其中，所述無限位置是作為與透鏡單元31相距比預(yù)定距離更大的距離的位置(換言之，相對于正常位置在后面(在從光分散單元32中觀看透鏡單元31時，位于后面)的位置)的無限位置是焦點(diǎn)位置。
[0124]因此，圖像傳感器43 (穿過無限光路長度的光路的光在該圖像傳感器上入射)采集一種圖像，其中，位于無限位置中的主體聚焦。
[0125]位于正常位置的主體聚集的圖像也稱為正常圖像。采集正常圖像的圖像傳感器41也稱為正常位置傳感器41。
[0126]同樣，位于宏觀位置的主體聚焦的圖像也稱為宏觀圖像。采集宏觀圖像的圖像傳感器42也稱為宏觀位置傳感器42。而且，同樣，位于無限位置的主體聚焦的圖像也稱為無限圖像。采集無限圖像的圖像傳感器43也稱為無限位置傳感器43。
[0127]設(shè)置正常位置傳感器41，以便正常位置是焦點(diǎn)位置。設(shè)置宏觀位置傳感器42，以便比正常位置更近的宏觀位置是焦點(diǎn)位置。設(shè)置無限位置傳感器43，以便比正常位置更遠(yuǎn)的無限位置是焦點(diǎn)位置。
[0128]因此，假設(shè)正常光路長度(即，正常位置傳感器41的光路長度)(從點(diǎn)cl到圖像傳感器41的光路長度)是參考，宏觀光路長度(即，宏觀位置傳感器42的光路長度)(從點(diǎn)cl到圖像傳感器42的光路長度)比正常光路長度更長。
[0129]另一方面，無限光路長度(即，無限位置傳感器43的光路長度)(從點(diǎn)cl到圖像傳感器43的光路長度)比正常光路長度更短。
[0130]要注意的是，在3D照相機(jī)中，通過由正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43中的任一個采集的圖像，例如，由正常位置傳感器41捕捉的作為目標(biāo)的正常圖像，在捕捉圖像時可實(shí)現(xiàn)聚焦(例如，自動聚焦)。
[0131 ] 光分散單元32可均勻地分散并且還可不均勻地分散由透鏡單元31發(fā)射給正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的透鏡發(fā)射的光。
[0132]例如，在主要使用正常圖像并且宏觀圖像和無限圖像可以說次要地用于在3D圖像生成單元16(圖5)中生成3D圖像的情況下，光分散單元32可不均勻地分散由透鏡單元31發(fā)射給正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的透鏡發(fā)射的光。
[0133]換言之，例如，在充分地計(jì)算包含在由宏觀位置傳感器42捕捉的宏觀圖像以及由無限位置傳感器43捕捉的無限圖像內(nèi)的主體的對比信息的情況下，例如，由透鏡單元31發(fā)射的透鏡發(fā)射的光的1/8光可分散給宏觀位置傳感器42和無限位置傳感器43中的每個，并且剩下的6/8光可分散給正常位置傳感器41。
[0134]以上是正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43捕捉(輸出)彩色圖像的情況。如果宏觀位置傳感器42和無限位置傳感器43捕捉圖像用于計(jì)算對比信息是足夠的情況下，那么宏觀位置傳感器42和無限位置傳感器43可捕捉(輸出)黑白圖像，而非彩色圖像。
[0135]在宏觀位置傳感器42和無限位置傳感器43可捕捉黑白圖像的情況下，與捕捉彩色圖像的情況相比，敏感度幾乎為兩倍。
[0136]因此，如果在捕捉上述彩色圖像的情況下需要透鏡發(fā)射的光的1/8光來計(jì)算對比信息，那么由于在捕捉黑白圖像的情況下，敏感度為兩倍，所以僅需要在捕捉彩色圖像的情況光量的一半(即，例如，僅僅需要透鏡發(fā)射的光的1/8光的一半，S卩，僅僅需要1/16光)來計(jì)算對比信息。
[0137]如上所述，在正常位置傳感器41捕捉彩色圖像并且宏觀位置傳感器42和無限位置傳感器43捕捉黑白圖像的情況下，能夠分別將由透鏡單元31發(fā)射的透鏡發(fā)射的光的1/16光分散給宏觀位置傳感器42和無限位置傳感器43中的每個，并且將剩下的14/16光分散給正常位置傳感器41。
[0138]在這種情況下，能夠?qū)⑼哥R發(fā)射的光分散給宏觀位置傳感器42和無限位置傳感器43，同時防止降低在捕捉正常圖像(作為彩色圖像)的正常位置傳感器41上入射的透鏡發(fā)射的光的光量。
[0139]如上所述，光分散單元32將透鏡發(fā)射的光不均勻地分散給正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43，具體而言，分散透鏡發(fā)射的光，以便在正常位置傳感器41上入射的光的光量大于在宏觀位置傳感器42和無限位置傳感器43上入射的光的光量。因此，在圖1中顯示的3D照相機(jī)可獲得具有高動態(tài)范圍的圖像。
[0140]例如，在將具有大比率(例如，透鏡發(fā)射的光的6/8和14/16)的光分散給正常位置傳感器41并且將具有小比率(例如，透鏡發(fā)射的光的1/8和1/16)的光分散給宏觀位置傳感器42和無限位置傳感器43的情況下，根據(jù)透鏡發(fā)射的光的分散比率，通過使用適當(dāng)?shù)募訖?quán)來加權(quán)增加正常位置傳感器41的輸出、宏觀位置傳感器42的輸出以及無限位置傳感器43的輸出，可獲得具有聞動態(tài)范圍的圖像。
[0141]<圖像傳感器41到43的設(shè)置的實(shí)例>
[0142]圖7為用于解釋在圖6中顯示的正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43(圖像傳感器41到43)的設(shè)置的示圖。
[0143]如上所述，設(shè)置正常位置傳感器41，以便正常位置是焦點(diǎn)位置。設(shè)置宏觀位置傳感器42，以便比正常位置更近的宏觀位置是焦點(diǎn)位置。設(shè)置無限位置傳感器43，以便比正常位置更遠(yuǎn)的無限位置是焦點(diǎn)位置。
[0144]因此，假設(shè)正常位置傳感器41的光路長度(正常光路長度)是參考，宏觀位置傳感器42的光路長度(宏觀光路長度)比正常光路長度更長。并且無限位置傳感器43的光路長度(無限光路長度)比正常光路長度更短。
[0145]雖然條件在某種程度上根據(jù)正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的像素尺寸、透鏡單元31的F值(圖6)等改變，但是在原則上，可通過以下方式計(jì)算在圖6中顯示的正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的位置(正常光路長度、宏觀光路長度以及無限光路長度)的最佳值。
[0146]圖7顯示了圖像傳感器的位置(在后文中也稱為傳感器位置)與焦距之間的關(guān)系。
[0147]要注意的是，在圖7中，垂直軸表示傳感器位置，水平軸表示焦距。
[0148]傳感器位置由例如從點(diǎn)cl到圖像傳感器的(大致)光路長度表示，作為以透鏡單元31為參考的預(yù)定位置。因此，在值變得更小時，該值表示更接近透鏡單元31的位置。
[0149]而且，焦距是從預(yù)定位置(透鏡單元31是參考)到焦點(diǎn)位置(聚焦位置)的距離。當(dāng)然，在值變得更小時，該值表示更接近透鏡單元31的位置。
[0150]而且，在圖7中，虛線部分表示場深。在更遠(yuǎn)的位置實(shí)現(xiàn)聚焦(焦距變得更大)時，場深變得更大(更深)。
[0151]在圖7中，在正常位置傳感器41的焦距為1750mm(l.75m)的情況下，點(diǎn)P1表示傳感器位置，即，正常光路長度。
[0152]而且，在正常位置傳感器41的傳感器位置由點(diǎn)P1表示的情況下，點(diǎn)P2表示宏觀位置傳感器42的傳感器位置，S卩，宏觀光路長度。此外，在正常位置傳感器41的傳感器位置由點(diǎn)P1表示的情況下，點(diǎn)P3表示無限位置傳感器43的傳感器位置，即，無限光路長度。
[0153]與正常位置傳感器41的傳感器位置P1相比，宏觀位置傳感器42的傳感器位置(點(diǎn))P2 (離透鏡單元31更遠(yuǎn))比位置P1遠(yuǎn)0.03mm。
[0154]與正常位置傳感器41的傳感器位置P1相比，無限位置傳感器43的傳感器位置P3 (更靠近透鏡單元31)比位置P1近0.01mm。
[0155]因此，宏觀光路長度比正常光路長度長dl = 0.03mm。無限光路長度比正常光路長度短 d2 = 0.01 mm η
[0156]可取地設(shè)置在正常光路長度、宏觀光路長度以及無限光路長度之間的關(guān)系(換言之，在正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43之間的設(shè)置關(guān)系)，以便正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的場深的范圍盡可能彼此接觸。
[0157]具體而言，可取地設(shè)置正常位置傳感器41和宏觀位置傳感器42，以便宏觀位置傳感器42的場深的范圍的右邊緣盡可能與正常位置傳感器41的場深的范圍的左邊緣接觸。換言之，正常位置傳感器41和宏觀位置傳感器42可取地被設(shè)置為在彼此略微重疊的同時彼此接觸或者彼此相隔不遠(yuǎn)。
[0158]同樣，可取地設(shè)置正常位置傳感器41和無限位置傳感器43，以便正常位置傳感器41的場深的范圍的右邊緣盡可能與無限位置傳感器43的場深的范圍的左邊緣可取地接觸(被設(shè)置為在彼此略微重疊的同時彼此接觸或者彼此相隔不遠(yuǎn))。
[0159]如上所述，設(shè)置正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43，以便場深的范圍盡可能彼此接觸。因此，關(guān)于具有從鄰近位置到遙遠(yuǎn)位置(靠近或遠(yuǎn)離3D照相機(jī))的大范圍的主體，正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43中的任一個可捕捉聚焦的圖像。
[0160]作為設(shè)置正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43，以便場深的范圍盡可能彼此接觸的方法，例如，具有一種方法，該方法將宏觀位置傳感器42的傳感器位置P2設(shè)為在左手邊從位于傳感器位置P1上的正常位置傳感器41的場深的范圍略微偏離的位置并且將無限位置傳感器43的傳感器位置P3設(shè)為在右手邊從位于傳感器位置P1上的正常位置傳感器41的場深的范圍略微偏離的位置。
[0161]設(shè)置正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43，以便場深的范圍彼此接觸。因此，在宏觀位置傳感器42中的場深以及在無限位置傳感器43中的場深至少彼此不重疊。
[0162]關(guān)于從宏觀位置到無限位置(正常位置傳感器41的焦點(diǎn)位置(在由正常位置傳感器41捕捉的正常圖像中的聚焦位置)是中心)的每個主體，可獲得適當(dāng)?shù)膶Ρ刃畔?，用于?jì)算從由正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43捕捉的圖像(正常圖像、宏觀圖像以及無限圖像)到主體的距離。
[0163]具體而言，關(guān)于由3D照相機(jī)捕捉的各個主體，在實(shí)現(xiàn)聚焦時以及未實(shí)現(xiàn)聚焦時，三個對比信息項(xiàng)目不同，三個對比信息項(xiàng)目可從由正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43捕捉的圖像中獲得這三個對比信息項(xiàng)目。
[0164]要注意的是，如圖7中所示，在傳感器位置與焦距之間的關(guān)系并非線性。在焦距較小(在靠近3D照相機(jī)的位置上進(jìn)行聚焦)時，由于焦距改變，所以傳感器位置急劇改變。在焦距較大(在遠(yuǎn)離3D照相機(jī)的位置上進(jìn)行聚焦)時，由于焦距改變，所以傳感器位置平穩(wěn)地改變。
[0165]如上所述，關(guān)于在傳感器位置與焦距之間的關(guān)系，由于在焦距較小時，焦距改變，所以傳感器位置急劇改變，并且由于在焦距較大時，焦距改變，所以傳感器位置平穩(wěn)地改變。因此，在設(shè)置正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43，以便場深的范圍彼此接觸時，從正常位置傳感器41的傳感器位置P1到具有小焦距的宏觀位置傳感器42的傳感器位置P2的距離dl ( = 0.03mm)比從正常位置傳感器41的傳感器位置P1到具有大焦距的無限位置傳感器43的傳感器位置P3的距離d2( = 0.01mm)更長。
[0166]通過設(shè)置正常位置傳感器41和宏觀位置傳感器42，以便從正常位置傳感器41的傳感器位置P1到宏觀位置傳感器42的傳感器位置P2的距離dl較大，宏觀位置傳感器42可捕捉一種圖像(宏觀圖像)，其中，位于更靠近3D照相機(jī)的位置的主體聚焦。
[0167]而且，正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43可固定至光分散單元32，以便在其間的設(shè)置關(guān)系不改變。
[0168]例如，在正常位置傳感器41固定在焦距為1750mm的傳感器位置P1并且宏觀位置傳感器42和無限位置傳感器43分別固定在傳感器位置P2和P3的情況下，例如，在正常位置傳感器41通過焦點(diǎn)調(diào)整(大致)移動到焦距為700mm的傳感器位置Q1時，宏觀位置傳感器42和無限位置傳感器43分別移動到傳感器位置Q2和Q3，在傳感器位置Ql、Q2和Q3之間的位置關(guān)系與在傳感器位置P1、P2和P3之間的位置關(guān)系相同。
[0169]〈計(jì)算主體距離〉
[0170]圖8為用于解釋由在圖5中顯示的距離計(jì)算單元14計(jì)算主體距離的方法的示圖。
[0171]針對從由正常位置傳感器41捕捉的正常圖像、由宏觀位置傳感器42捕捉的宏觀圖像以及由無限位置傳感器43捕捉的無限圖像的每個中提取的每個主體，距離計(jì)算單元14根據(jù)主體的對比信息計(jì)算從成像單元11到主體的主體距離。
[0172]假設(shè)在例如與3D照相機(jī)相距大約500mm的位置(作為宏觀位置)具有花朵，在例如與3D照相機(jī)相距大約1750mm的位置(作為正常位置)具有個人，在例如與3D照相機(jī)相距大約10m的位置(作為無限位置)具有建筑物，并且由3D照相機(jī)捕捉的圖像包括花朵、個人和建筑物，作為主體。
[0173]在這種情況下，在由正常位置傳感器41捕捉的正常圖像中，在正常位置的個人聚焦，而在宏觀位置具有的花朵以及在無限位置具有的建筑物不聚焦并且模糊。
[0174]而且，在由宏觀位置傳感器42捕捉的宏觀圖像中，在宏觀位置具有的花朵聚焦，而在正常位置具有的個人以及在無限位置具有的建筑物不聚焦并且模糊。
[0175]此外，在由無限位置傳感器43捕捉的無限圖像中，在無限位置具有的建筑物聚焦，而在正常位置具有的個人以及在宏觀位置具有的花朵不聚焦并且模糊。
[0176]在3D照相機(jī)中，主體提取單元12從上述正常圖像、宏觀圖像以及無限圖像的每個中提取花朵、個人以及建筑物，作為包含在正常圖像、宏觀圖像以及無限圖像內(nèi)的主體。
[0177]對比信息計(jì)算單元13計(jì)算作為從正常圖像、宏觀圖像以及無限圖像的每個中提取的主體的花朵、個人以及建筑物中的每個的對比信息。
[0178]具體而言，對比信息計(jì)算單元13相對于作為主體的個人使用正常圖像、宏觀圖像以及無限圖像計(jì)算三個對比信息項(xiàng)目。
[0179]如上所述，包含在正常圖像內(nèi)的個人聚焦。因此，關(guān)于這個人，使用正常圖像確定的對比信息(在后文中也稱為正常對比信息)具有例如表示高對比度的高值。
[0180]然而，如上所述，包含在宏觀圖像內(nèi)的個人模糊。因此，關(guān)于這個人，使用宏觀圖像計(jì)算的對比信息(在后文中也稱為宏觀對比信息)具有表示低對比度的低值。
[0181]包含在無限圖像內(nèi)的個人也模糊。因此，關(guān)于這個人，使用無限圖像計(jì)算的對比信息(在后文中也稱為無限對比信息)顯然具有低值。
[0182]如上所述，關(guān)于個人，可計(jì)算具有高值的正常對比信息、具有低值的宏觀對比信息以及無限對比信息這三個對比信息項(xiàng)目。
[0183]而且，關(guān)于正常圖像、宏觀圖像以及無限圖像，焦點(diǎn)位置(焦距)由正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的設(shè)置位置(傳感器位置)唯一地限定。因此，可繪制對比信息，與用于計(jì)算對比信息的圖像的焦點(diǎn)位置相聯(lián)系。
[0184]在圖8中，使用表示焦點(diǎn)位置的水平軸以及表示對比信息的垂直軸繪制對比信肩、Ο
[0185]關(guān)于個人，可繪制正常對比信息、宏觀對比信息以及無限對比信息這三個對比信息項(xiàng)目。
[0186]距離計(jì)算單元14(例如從控制單元20中)獲得關(guān)于正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的設(shè)置位置(傳感器位置)的信息。距離計(jì)算單元14根據(jù)該信息識別正常圖像、宏觀圖像以及無限圖像的焦點(diǎn)位置。
[0187]此外，距離計(jì)算單元14估算通過采用某個函數(shù)在正常圖像、宏觀圖像以及無限圖像的焦點(diǎn)位置上繪制關(guān)于個人的這三個對比信息項(xiàng)目所獲得的點(diǎn)(三個點(diǎn))。距離計(jì)算單元14計(jì)算在函數(shù)(值)為峰值時的焦點(diǎn)位置，作為個人的位置，即，作為從3D照相機(jī)到個人的主體距離。
[0188]而且，關(guān)于作為他主體的每個花朵和建筑物，距離計(jì)算單元14通過相同的方式計(jì)算主體距離。
[0189]要注意的是，正常圖像、宏觀圖像以及無限圖像這三個圖像是在焦點(diǎn)位置中不同的圖像。然而，通過使用焦點(diǎn)位置不同的這三個(或多個)圖像中的每個以這種方式計(jì)算相同主體的對比信息項(xiàng)目，能夠識別主體位于焦點(diǎn)位置的前面還是后面。此外，根據(jù)識別的結(jié)果，可進(jìn)行焦點(diǎn)調(diào)整(聚焦)。
[0190]〈計(jì)算視差〉
[0191]圖9為用于解釋由在圖5中所示的視差計(jì)算單元15計(jì)算視差(主體視差)的方法的示圖。
[0192]如圖9中所示，針對包含在來自距離計(jì)算單元14的主體信息內(nèi)的主體，根據(jù)包含在主體信息內(nèi)的主體距離，視差計(jì)算單元15使用人類的左右眼之間的距離以及三角函數(shù)來根據(jù)主體距離(在從3D照相機(jī)的位置中觀看主體時，視線方向、會聚角等)計(jì)算視差。視差計(jì)算單元15將視差作為主體視差提供給3D圖像生成單元16。
[0193]〈生成3D圖像〉
[0194]圖10為用于解釋由在圖5中所示的3D圖像生成單元16生成3D圖像的方法的示圖。
[0195]針對包含在由成像單元11提供的正常圖像、宏觀圖像以及無限圖像內(nèi)的每個主體，3D圖像生成單元16使用由視差計(jì)算單元15提供的主體視差在水平方向計(jì)算偏移量，用于作為3D圖像進(jìn)行顯示。
[0196]3D圖像生成單元16通過以下方式生成作為3D圖像的L圖像和R圖像。具體而言，例如，3D圖像生成單元16將由成像單元11提供的正常圖像、宏觀圖像以及無限圖像中的正常圖像設(shè)置為用于3D圖像的L圖像和R圖像中的一個。3D圖像生成單元16生成一個圖像，其中，包含在正常圖像內(nèi)的主體在水平方向移動所述偏移量，并且將該圖像設(shè)為L圖像和R圖像中的另一個。
[0197]在視差變得更大時，偏移量變得更大，換言之，主體更接近3D照相機(jī)。
[0198]因此，例如，在宏觀位置、正常位置以及無限位置上具有花朵、個人以及建筑物并且那些花朵、個人以及建筑物作為主體包含在現(xiàn)在參照圖8描述的正常圖像內(nèi)的情況下，假設(shè)花朵、個人以及建筑物的偏移量由offl、off2以及off3表示，在偏移量offl到off3之間的關(guān)系由不等式offl>off2>off3表示。
[0199]在此處，正常圖像實(shí)際上被設(shè)為L圖像和R圖像中的一個，并且其中包含在正常圖像內(nèi)的主體在水平方向移動偏移量的圖像被設(shè)為L圖像和R圖像中的另一個。然而，另外，例如，其中包含在正常圖像內(nèi)的主體在水平方向偏移到一側(cè)的一個圖像以及其中主體偏移到另一側(cè)的另一個圖像組成的這兩個圖像可被設(shè)為L圖像和R圖像。在這兩個圖像中，在水平方向的主體的位置相差所述偏移量不同。
[0200]而且，在上述的從正常圖像、宏觀圖像以及無限圖像(均包括分別在宏觀位置、正常位置以及無限位置上的花朵、個人以及建筑物，作為主體)之中使用正常圖像生成L圖像和R圖像(作為3D圖像)的情況下，3D圖像變成這樣一種圖像，其中，在正常位置的個人聚焦，而在宏觀位置的花朵以及在無限位置的建筑物處于模糊狀態(tài)。
[0201]例如，3D圖像生成單元16可根據(jù)用戶的操作使用宏觀圖像或無限圖像(而非正常圖像)生成3D圖像。
[0202]在使用宏觀圖像生成3D圖像的情況下，能夠獲得一種3D圖像，其中，在宏觀位置的花朵聚焦，而在正常位置的個人以及在無限位置的建筑物處于模糊狀態(tài)。在使用無限圖像生成3D圖像的情況下，能夠獲得一種3D圖像，其中，在無限位置的建筑物聚焦，而在宏觀位置的花朵以及在正常位置的個人處于模糊狀態(tài)。
[0203]或者，例如，通過使用個人在正常位置的正常圖像、花朵在宏觀位置的宏觀圖像以及建筑物在無限位置的無限圖像來生成3D圖像，能夠獲得一種3D圖像，其中，在正常位置的個人、在宏觀位置的花朵以及在無限位置的建筑物均聚焦。
[0204]要注意的是，在光分散單元32將由透鏡單元31發(fā)射的透鏡發(fā)射的光不均勻地分散給正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的情況下或者在正常位置傳感器41捕捉彩色圖像并且宏觀位置傳感器42和無限位置傳感器43捕捉參照圖6描述的黑白圖像的情況下，3D圖像生成單元16可使用由正常位置傳感器41 (具有最大的入射的透鏡發(fā)射的光的光量并且捕捉彩色圖像)捕捉的正常圖像生成3D圖像。
[0205]此外，在這種情況下，在使用正常圖像生成3D圖像時，3D圖像生成單元16可根據(jù)需要使用宏觀圖像或無限圖像。
[0206]換言之，例如，通過使用正常圖像生成3D圖像的彩色分量并且使用宏觀圖像或無限圖像生成3D圖像的亮度分量，能夠獲得一種3D圖像，其中，在宏觀位置的花朵聚焦，而在正常位置的個人以及在無限位置的建筑物處于模糊狀態(tài)，或者能夠獲得一種3D圖像，其中，在無限位置的建筑物聚焦，而在宏觀位置的花朵以及在正常位置的個人處于模糊狀態(tài)。
[0207]或者，例如，通過使用宏觀圖像和無限圖像生成的亮度分量來代替使用正常圖像生成的3D圖像的花朵和建筑物的亮度分量，能夠獲得一種3D圖像，其中，不僅在正常位置的個人，而且在宏觀位置的花朵以及在無限位置的建筑物均聚焦。
[0208]〈3D照相機(jī)的處理>
[0209]圖11為用于解釋在圖5中所示的3D照相機(jī)的處理的流程圖。
[0210]在步驟S11中，例如，成像單元11捕捉正常圖像、宏觀圖像以及無限圖像這三個圖像(作為基于距離的圖像，這些圖像是以三個或多個距離中的每個為焦距的三個或多個圖像)，每個圖像的焦點(diǎn)位置為正常位置、宏觀位置以及無限位置。
[0211]成像單元11將正常圖像、宏觀圖像以及無限圖像提供給主體提取單元12、3D圖像生成單元16以及儲存單元18。該處理從步驟S11繼續(xù)進(jìn)入步驟S12。
[0212]在步驟S12中，主體提取單元12從由成像單元11提供的正常圖像、宏觀圖像以及無限圖像中的每個圖像中提取主體。主體提取單元12將那些主體提供給對比信息計(jì)算單元13以及距離計(jì)算單元14。該處理進(jìn)入步驟S13。
[0213]在步驟S13中，針對由主體提取單元12提供的從正常圖像、宏觀圖像以及無限圖像中的每個中提取的每個主體，對比信息計(jì)算單元13計(jì)算表示主體的對比度的對比信息。對比信息計(jì)算單元13將對比信息提供給距離計(jì)算單元14。該處理進(jìn)入步驟S14。
[0214]在步驟S14中，針對由主體提取單元12提供的從正常圖像、宏觀圖像以及無限圖像中的每個中提取的每個主體，距離計(jì)算單元14根據(jù)由對比信息計(jì)算單元13提供的對比信息計(jì)算主體的主體距離。距離計(jì)算單元14將那些主體距離與主體(關(guān)于這些主體的信息)一起作為主體信息提供給視差計(jì)算單元15以及儲存單元18。該處理進(jìn)入步驟S15。
[0215]在步驟S15中，針對包含在由距離計(jì)算單元14提供的主體信息內(nèi)的每個主體，視差計(jì)算單元15根據(jù)包含在主體信息內(nèi)的主體距離計(jì)算取決于主體距離的視差(主體視差)。視差計(jì)算單元15將那些視差提供給3D圖像生成單元16。該處理進(jìn)入步驟S16。
[0216]在步驟S16中，3D圖像生成單元16根據(jù)由視差計(jì)算單元15提供的每個主體的主體視差計(jì)算偏移量，該偏移量是在形成3D圖像的L圖像和R圖像之間的關(guān)于每個主體的水平方向的位置差。
[0217]而且，在步驟S16中，3D圖像生成單元16根據(jù)每個主體的偏移量，使用由成像單元11提供的正常圖像并且進(jìn)一步使用必要的宏觀圖像和無限圖像，生成用作3D圖像的L圖像和R圖像。在3D圖像中，在水平方向的主體的位置偏移一個偏移量。3D圖像生成單元16將L圖像和R圖像提供給顯示單元17和儲存單元18。該處理進(jìn)入步驟S17。
[0218]在步驟S17中，顯示單元17進(jìn)行顯示由3D圖像生成單元16提供的3D圖像的顯示處理。通過顯示單元17的顯示處理，顯示所謂的穿透式圖像。
[0219]而且，在步驟S17中，儲存單元18根據(jù)需要進(jìn)行儲存由成像單元11提供的正常圖像、宏觀圖像以及無限圖像、由距離計(jì)算單元14提供的主體信息以及由3D圖像生成單元16提供的3D圖像的儲存處理。通過儲存單元18的儲存處理，進(jìn)行圖像記錄。
[0220]如上所述，成像單元11包括僅僅一個透鏡單元31，因此，能夠?qū)崿F(xiàn)縮小尺寸并且簡化處理。而且，不需要調(diào)整光學(xué)系統(tǒng)，例如，不需要在L透鏡單元與R透鏡單元之間進(jìn)行位置調(diào)整，這在雙透鏡和雙傳感器系統(tǒng)或雙透鏡和單傳感器系統(tǒng)的照相機(jī)中具有必要。
[0221]而且，在成像單元11中，可利用參照圖6描述的在三板照相機(jī)中使用的RGB色散棱鏡，配置分散透鏡發(fā)射的光的光分散單元32。
[0222]此外，在成像單元11中，可利用在現(xiàn)有2D照相機(jī)中使用的透鏡單元，配置透鏡單元31。
[0223]因此，例如，雖然透鏡間距離在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)中幾乎限于在人類的左右眼之間的距離，但是由于成像單元11包括單個透鏡單元31，所以不存在雙透鏡和雙傳感器系統(tǒng)的照相機(jī)的這種限制。包括具有大孔徑(與現(xiàn)有2D照相機(jī)的透鏡單元一樣)的變焦透鏡等的多個品種可用作透鏡單元31。
[0224]因此，現(xiàn)有2D照相機(jī)的透鏡單元、其他光學(xué)元件等的資源可用于成像單元11的光學(xué)系統(tǒng)中。因此，專用于3D照相機(jī)中的光學(xué)元件的開發(fā)成本不必要，并且可通過低成本制造3D照相機(jī)。
[0225]此外，在成像單元11中，參照圖6所述，對于正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43中的每個，在正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43上入射的透鏡發(fā)射的光的光路長度不同。具體而言，例如，設(shè)置在正常位置傳感器41上入射的透鏡發(fā)射的光的光路長度，以便正常位置是焦點(diǎn)位置，設(shè)置在宏觀位置傳感器42上入射的透鏡發(fā)射的光的光路長度，以便宏觀位置是焦點(diǎn)位置，并且設(shè)置在無限位置傳感器43上入射的透鏡發(fā)射的光的光路長度，以便無限位置(被視為無限的位置)是焦點(diǎn)位置。因此，可同時捕捉分別在宏觀位置、正常位置以及無限位置實(shí)現(xiàn)聚焦的宏觀圖像、正常圖像以及無限圖像。
[0226]因此，不僅相對于靜止主體，而且相對于運(yùn)動主體，未造成時間間隙，而在改變焦點(diǎn)位置的同時由單透鏡和單傳感器系統(tǒng)的照相機(jī)捕捉多個圖像時，在多個圖像中會造成該時間間隙。換言之，成像單元11可捕捉?jīng)]有時間間隙的宏觀圖像、正常圖像以及無限圖像。
[0227]而且，在正常位置傳感器41捕捉彩色圖像并且宏觀位置傳感器42和無限位置傳感器43捕捉黑白圖像時，能夠防止在捕捉正常圖像(作為彩色圖像)的正常位置傳感器41上入射的透鏡發(fā)射的光的光量(因此，正常位置傳感器41的敏感度)被降低。
[0228]要注意的是，控制單元20可控制正常位置傳感器41、宏觀位置傳感器42以及無限位置傳感器43的電子快門，以便正常位置傳感器41的電子快門和宏觀位置傳感器42以及無限位置傳感器43的電子快門具有不同的快門速度。根據(jù)透鏡發(fā)射的光的分散比率以及快門速度，通過使用適當(dāng)?shù)募訖?quán)來加權(quán)增加正常位置傳感器41的輸出、宏觀位置傳感器42的輸出以及無限位置傳感器43的輸出，能夠獲得具有高動態(tài)范圍的圖像。
[0229]而且，除了 3D圖像以外，3D照相機(jī)還可輸出2D圖像(例如，正常圖像本身或者使用正常圖像、宏觀圖像以及無限圖像生成的2D圖像)，并且能夠獲得關(guān)于3D圖像和2D圖像的具有這種高動態(tài)范圍的圖像。
[0230]<應(yīng)用本公開的顯示系統(tǒng)的實(shí)施方式>
[0231]圖12為示出應(yīng)用本公開的顯示系統(tǒng)的一個實(shí)施方式的一個配置實(shí)例的方框圖。
[0232]在圖12中，顯示系統(tǒng)包括圖像生成單元60和顯示單元65。
[0233]圖像生成單元60根據(jù)用戶的視線生成3D圖像。
[0234]因此，圖像生成單元60包括圖像信息采集單元61、視差計(jì)算單元62、3D圖像生成單元63以及視線檢測傳感器64。
[0235]例如，從儲存器、網(wǎng)絡(luò)或提供具有提供數(shù)據(jù)的功能的其他數(shù)據(jù)提供裝置中，圖像信息采集單元61獲取例如由在圖5中所示的3D照相機(jī)獲得的正常圖像、宏觀圖像以及無限圖像，作為基于距離的圖像，這些圖像是以三個或多個距離中的每個為焦距的三個或多個圖像。然后，圖像信息采集單元61將正常圖像、宏觀圖像以及無限圖像提供給3D圖像生成單元63。
[0236]從提供數(shù)據(jù)的裝置，圖像信息采集單元61進(jìn)一步獲取包含在正常圖像、宏觀圖像以及無限圖像內(nèi)的主體的主體信息，換言之，例如，由在圖5中所示的距離計(jì)算單元14獲得的主體信息。然后，圖像信息采集單元61將主體信息提供給視差計(jì)算單元62。
[0237]與在圖5中所示的視差計(jì)算單元15中一樣，視差計(jì)算單元62根據(jù)由圖像信息采集單元61提供的主體信息計(jì)算主體視差。然后，視差計(jì)算單元62將主體視差與由圖像信息采集單元61提供的主體信息一起提供給3D圖像生成單元63。
[0238]根據(jù)由視差計(jì)算單元62提供的主體視差，3D圖像生成單元63使用由圖像信息采集單元61提供的正常圖像、宏觀圖像以及無限圖像，生成3D圖像，與在圖5中所示的3D圖像生成單元16中一樣。
[0239]由視線檢測傳感器64向3D圖像生成單元63提供視線信息，該視線信息表示查看在顯示單元65上顯示的3D圖像的用戶的視線。
[0240]根據(jù)由視線檢測傳感器64提供的視線信息，3D圖像生成單元63檢測主體(在用戶視線的方向的主體)，其中，用戶對在顯示單元65上顯示的3D圖像內(nèi)包含的主體感興趣(在后文中也稱為關(guān)注主體)。
[0241]然后，3D圖像生成單元63使用參照圖10描述的正常圖像、宏觀圖像以及無限圖像生成3D圖像，在3D圖像中，關(guān)注主體聚焦。
[0242]視線檢測傳感器64例如包括照相機(jī)。視線檢測傳感器64檢測用戶的視線，并且將表示視線的視線信息提供給3D圖像生成單元63。
[0243]顯示單元65包括液晶面板或有機(jī)電致發(fā)光面板。顯示單元65顯示由3D圖像生成單元63提供的3D圖像。
[0244]圖13為示出在圖12中所示的顯示系統(tǒng)中顯示的3D圖像的一個實(shí)例的示圖。
[0245]例如，在顯示單元65上顯示包括作為主體在宏觀位置、正常位置以及無限位置具有的花朵、個人以及建筑圖的3D圖像。用戶的視線朝著個人的方向el (圖12)。
[0246]在這種情況下，3D圖像生成單元63生成3D圖像，其中，用戶的視線朝著的個人是關(guān)注主體，作為關(guān)注主體的個人聚焦，而與個人相距不同的距離的花朵和建筑物處于模糊狀態(tài)。
[0247]隨后，例如，在用戶的視線從個人的方向el (圖12)和花朵的方向e2 (圖12)中變化時，3D圖像生成單元63生成3D圖像，其中，用戶的視線朝著的花朵是關(guān)注主體，作為關(guān)注主體的花朵聚焦，而與花朵相距不同的距離的個人和建筑物處于模糊狀態(tài)。
[0248]如上所述，積極地生成3D圖像，其中，用戶的視線朝著的主體(即，用戶感興趣的主體)聚焦。因此，能夠使用戶感覺更現(xiàn)實(shí)。
[0249]圖14為用于解釋在圖12中所示的顯示系統(tǒng)的處理的流程圖。
[0250]在步驟S31中，圖像信息采集單元61獲取正常圖像、宏觀圖像以及無限圖像，作為基于距離的圖像，這些圖像是以三個距離中的每個為焦距的三個或多個圖像。然后，圖像信息采集單元61將正常圖像、宏觀圖像以及無限圖像提供給3D圖像生成單元63。
[0251]而且，在步驟S31中，圖像信息采集單元61獲取包含在正常圖像、宏觀圖像以及無限圖像內(nèi)的主體的主體信息。圖像信息采集單元61將主體信息提供給視差計(jì)算單元62。該處理進(jìn)入步驟S32。
[0252]在步驟S32中，視差計(jì)算單元62根據(jù)由圖像信息采集單元61提供的主體信息計(jì)算主體視差。視差計(jì)算單元62將主體視差與由圖像信息采集單元61提供的主體信息一起提供給3D圖像生成單元63。該處理進(jìn)入步驟S33。
[0253]在步驟S33中，視線檢測傳感器64檢測用戶的視線并且將表示視線的視線信息提供給3D圖像生成單元63。該處理進(jìn)入步驟S34。
[0254]在步驟S34中，根據(jù)由視線檢測傳感器64提供的視線信息，3D圖像生成單元63檢測關(guān)注主體，即用戶對在顯示單元65上顯示的圖像內(nèi)包含的主體中感興趣的主體。
[0255]此外，根據(jù)由視差計(jì)算單元62提供的主體信息，在顯示單元65上顯示的圖像內(nèi)包含的主體之中，3D圖像生成單元63主體距離大致等于關(guān)注主體的距離(例如，主體距離與關(guān)注主體的主體距離的差值在預(yù)定閾值內(nèi)的主體)的主體,作為目標(biāo)主體,該主體是要聚焦的焦點(diǎn)目標(biāo)。該處理繼續(xù)從步驟S34進(jìn)入步驟S35。
[0256]在此處，目標(biāo)主體包括興趣目標(biāo)。
[0257]在步驟S35中，根據(jù)由視差計(jì)算單元62提供的主體視差，3D圖像生成單元63使用由圖像信息采集單元61提供的正常圖像、宏觀圖像以及無限圖像，生成3D圖像。在3D圖像中目標(biāo)主體聚焦，而目標(biāo)主體以外的主體(換言之,其主體距離與關(guān)注主體的主體距離相差較大的主體)處于模糊狀態(tài)。
[0258]3D圖像生成單元63使用正常圖像、宏觀圖像以及無限圖像，生成3D圖像。因此，3D圖像生成單元63可生成一種圖像，其中，位于正常位置(附近)的主體聚焦(并且在宏觀位置和無限位置(而非正常位置)中的主體處于模糊狀態(tài))，可生成一種圖像，其中，位于宏觀位置(附近)的主體聚焦(并且在正常位置和無限位置(而非宏觀位置)中的主體處于模糊狀態(tài))，或者可生成一種圖像，其中，位于無限位置(附近)的主體聚焦(并且在正常位置和宏觀位置(而非無限位置)中的主體處于模糊狀態(tài))。
[0259]如上所述，3D圖像生成單元63生成3D圖像，并且將該3D圖像提供給顯示單元65。該處理繼續(xù)從步驟S35進(jìn)入步驟S36。
[0260]在步驟S36中，顯示單元65進(jìn)行顯示由3D圖像生成單元63提供的3D圖像的顯示處理。這樣做，在顯示單元65上顯示3D圖像，其中，用戶感興趣的關(guān)注主體以及位于大致等于關(guān)注主體的距離的距離(位置)中的主體聚焦。
[0261]如上所述，在圖12中所示的顯示系統(tǒng)中，檢測用戶的視線。根據(jù)用戶的視線，檢測在顯示單元65上顯示的3D圖像內(nèi)包含的主體之中的用戶感興趣的關(guān)注主體。例如，使用正常圖像、宏觀圖像以及無限圖像(作為基于距離的圖像，這些圖像是以三個或多個距離為焦距的三個或多個圖像)，生成關(guān)注主體聚焦的3D圖像。因此，能夠提供3D圖像，該圖像與用戶的視線同步變化，換言之，該3D圖像具有現(xiàn)實(shí)的立體效應(yīng)(結(jié)合實(shí)際)，其中，根據(jù)用戶的視線的移動，聚焦的主體實(shí)時改變。
[0262]要注意的是，關(guān)于構(gòu)成成像單元11的圖像傳感器41到43，與三板照相機(jī)一樣，捕捉R分量圖像的圖像傳感器可用作圖像傳感器41，捕捉G分量圖像的圖像傳感器可用作圖像傳感器42，并且捕捉B分量圖像的圖像傳感器可用作圖像傳感器43。
[0263]在這種情況下，R分量圖像變成位于正常位置的主體聚焦的圖像，G分量圖像變成位于宏觀位置的主體聚焦的圖像，并且B分量圖像變成位于無限位置的主體聚焦的圖像。3D圖像生成單元16和63中的每個可從這種R、G以及B分量圖像中生成3D圖像。
[0264]在圖6中所示的光分散單元32中，在捕捉R分量圖像的圖像傳感器用作圖像傳感器41，捕捉G分量圖像的圖像傳感器用作圖像傳感器42，并且捕捉B分量圖像的圖像傳感器用作圖像傳感器43的情況下，在表面ml上形成反射G光束并且使具有其他波長的光穿過其中的薄膜，并且在表面m2上形成反射B光束并且使具有其他波長的光穿過其中的薄膜。
[0265]而且，除了捕捉圖像以外，在圖5中所示的3D照相機(jī)還可用于測量與主體相距的距離。
[0266]<解釋應(yīng)用本公開的計(jì)算機(jī)>
[0267]上述一系列工序(或這系列工序的至少一部分)可由硬件執(zhí)行或者可由軟件執(zhí)行。在這系列工序由軟件執(zhí)行的情況下，配置軟件的程序安裝到通用計(jì)算機(jī)等內(nèi)。
[0268]圖15示出計(jì)算機(jī)的一個實(shí)施方式的一個配置實(shí)例，在該計(jì)算機(jī)內(nèi)安裝用于執(zhí)行上述一系列工序的程序。
[0269]該程序可提前儲存在作為包含在計(jì)算機(jī)內(nèi)的記錄介質(zhì)的硬盤105或ROM 103內(nèi)。
[0270]或者，該程序可儲存(記錄)在可移動的記錄介質(zhì)1117內(nèi)。這種可移動的記錄介質(zhì)1117可用作所謂的數(shù)據(jù)包軟件?？梢苿拥挠涗浗橘|(zhì)1117的實(shí)例包括軟盤、光盤只讀存儲器(⑶-ROM)、磁光(M0)盤、數(shù)字通用光盤(DVD)以及磁盤、半導(dǎo)體存儲器。
[0271]要注意的是，除了如上所述從可移動的記錄介質(zhì)1117中安裝到計(jì)算機(jī)內(nèi)以外，該程序還可通過通信網(wǎng)絡(luò)或廣播網(wǎng)絡(luò)下載到計(jì)算機(jī)內(nèi)并且安裝到嵌入式硬盤105內(nèi)。換言之，例如，該程序可通過用于數(shù)字地面廣播的衛(wèi)星從下載站中無線傳輸給計(jì)算機(jī)或者可通過網(wǎng)絡(luò)(例如，LAN(局域網(wǎng))和通過電線的互聯(lián)網(wǎng))傳輸給計(jì)算機(jī)。
[0272]計(jì)算機(jī)包括嵌入式中央處理單元(CPU) 102。輸入/輸出接口 110通過總線101連接至 CPU 102。
[0273]例如，在操作輸入單元107的用戶通過輸入/輸出接口 110輸入指令時，CPU 102根據(jù)輸入執(zhí)行儲存在只讀存儲器(ROM) 103內(nèi)的程序?；蛘?，CPU 102將儲存在硬盤105內(nèi)的程序載入隨機(jī)存取存儲器(RAM) 104內(nèi)并且執(zhí)行該程序。
[0274]這樣做，CPU 102根據(jù)上述流程進(jìn)行處理或者由上述方框圖的元件執(zhí)行的處理。然后，根據(jù)需要，例如，CPU 102從輸出單元106中輸出處理結(jié)果，傳輸通信單元108的處理結(jié)果或者通過例如輸入/輸出接口 110在硬盤105上記錄處理結(jié)果。
[0275]要注意的是，輸入單元107包括鍵盤、鼠標(biāo)、麥克風(fēng)等。而且，輸出單元106包括液晶顯示器0XD)、揚(yáng)聲器等。
[0276]在此處，由計(jì)算機(jī)根據(jù)程序執(zhí)行的處理步驟不一定需要根據(jù)在流程圖中描述的順序按照時間順序進(jìn)行。換言之，由計(jì)算機(jī)根據(jù)程序執(zhí)行的處理步驟還包括要同時或單獨(dú)執(zhí)行的處理步驟(例如，并行處理或?qū)ο筇幚?。
[0277]而且，該程序可由單個計(jì)算機(jī)(處理器)執(zhí)行或者可由多個計(jì)算機(jī)進(jìn)行分布式處理。此外，該程序可傳輸給遠(yuǎn)程計(jì)算機(jī)并且執(zhí)行該程序。
[0278]此外，在本文中，該系統(tǒng)表示元件的組件(設(shè)備、模塊(部件)等)。所有元件可位于單個外殼內(nèi)或者不需要為單個外殼內(nèi)。因此，位于分開的單獨(dú)的多個外殼內(nèi)并且通過網(wǎng)絡(luò)連接的多個設(shè)備以及包括容納在單個外殼內(nèi)的多個模塊的單個設(shè)備用作該系統(tǒng)。
[0279]要注意的是，本公開的實(shí)施方式不限于上述實(shí)施方式，并且在不背離本公開的主旨的情況下，可不同地修改。
[0280]例如，本公開可采用云計(jì)算配置，其中，通過網(wǎng)絡(luò)與多個設(shè)備分享單功能并且共同處理該單功能。
[0281]而且，在流程圖中的上述步驟可由單個設(shè)備執(zhí)行或者可與多個設(shè)備分享并且由多個設(shè)備執(zhí)行。
[0282]此外，如果單個步驟包括多個工序，那么除了由單個設(shè)備執(zhí)行以外，在單個步驟中包含的多個工序還可與多個設(shè)備分享并且由多個設(shè)備執(zhí)行。
[0283]要注意的是，本公開還可采用以下配置。
[0284](1) 一種成像設(shè)備，包括:透鏡單元，被配置為聚焦光；至少三個圖像傳感器，被配置為進(jìn)行光電轉(zhuǎn)換；以及分光單元，被配置為將來自所述透鏡單元的光分成至少三個光支路，每個光支路與一個不同的圖像傳感器對應(yīng)，并且進(jìn)一步被配置為分別同時將所述光支路引入各個圖像傳感器中。
[0285](2)根據(jù)(1)所述的成像設(shè)備，其中，每個光支路具有一個不同的光路長度。
[0286](3)根據(jù)(2)所述的成像設(shè)備，其中，所述至少三個圖像傳感器，其包括:正常位置傳感器，其定位成使正常位置光支路的光路長度是與透鏡單元的焦點(diǎn)位置對應(yīng)的預(yù)定距離；宏觀位置傳感器，其定位成使宏觀位置光支路的光路長度小于預(yù)定的距離；以及無限位置傳感器，其定位成使無限位置光支路的光路長度大于預(yù)定的距離。
[0287](4)根據(jù)(3)所述的成像設(shè)備，其中，所述正常位置傳感器被配置為輸出彩色圖像；并且所述宏觀位置傳感器和所述無限位置傳感器被配置為分別輸出黑白圖像。
[0288](5)根據(jù)(3)所述的成像設(shè)備，其中，所述分光單元被配置為分割所述透鏡單元的光，以便正常位置光支路的光量大于宏觀位置光支路和無限位置光支路的各個光量。
[0289](6)根據(jù)(5)所述的成像設(shè)備，其中，正常位置光支路的光量至少比宏觀位置光支路和無限位置光支路的各個光量大六倍。
[0290](7)根據(jù)(3)所述的成像設(shè)備，進(jìn)一步包括:電子正常位置快門，其與正常位置傳感器對應(yīng)；電子宏觀位置快門，其與宏觀位置傳感器對應(yīng)；電子無限位置快門，其與無限位置傳感器對應(yīng)；以及控制單元，被配置為控制正常位置、宏觀位置以及無限位置快門，以便正常位置快門的快門速度與宏觀位置和無限位置快門的各個快門速度不同。
[0291](8)根據(jù)(3)所述的成像設(shè)備，進(jìn)一步包括:主體提取單元，被配置為從由正常位置傳感器輸出的正常圖像、由宏觀位置傳感器輸出的宏觀圖像以及由無限位置傳感器輸出的無限圖像中提取主體；對比信息計(jì)算單元，被配置為計(jì)算表示主體的對比度的對比信息；距離計(jì)算單元，被配置為根據(jù)所述對比信息，計(jì)算表示與主體相距的距離的主體距離；以及三維圖像生成單元，被配置為根據(jù)正常圖像、宏觀圖像以及無限圖像，生成具有取決于主體距離的視差的三維圖像。
[0292](9)根據(jù)(8)所述的成像設(shè)備，進(jìn)一步包括儲存單元，其被配置為儲存正常圖像、宏觀圖像、無限圖像、對比信息以及主體距離。
[0293](10)根據(jù)(8)所述的成像設(shè)備，進(jìn)一步包括顯示單元，其被配置為顯示從包括正常圖像、宏觀圖像、無限圖像以及三維圖像的組中選擇的圖像。
[0294](11)根據(jù)(2)所述的成像設(shè)備，進(jìn)一步包括:視線檢測單元，被配置為檢測用戶的視線；以及三維圖像生成單元，被配置為根據(jù)用戶的視線，檢測在三維顯示單元上顯示的對象之中的關(guān)注主體，并且生成三維圖像，在所述三維圖像中，所述關(guān)注主體是聚焦的。
[0295](12)根據(jù)(11)所述的成像設(shè)備，其中，所述三維圖像生成單元被配置為生成三維圖像，在所述三維圖像中，所述關(guān)注主體以及與所述關(guān)注主體相距的距離在預(yù)定的閾值內(nèi)的另一個對象是聚焦的。
[0296](13)根據(jù)(1)所述的成像設(shè)備，其中，所述透鏡單元是變焦透鏡單元，其包括具有相同光軸的多個透鏡。
[0297](14) 一種成像方法，包括:由成像設(shè)備同時捕捉至少三個圖像，所述至少三個圖像在至少三個不同的距離實(shí)現(xiàn)聚焦，所述成像設(shè)備包括:透鏡單元，被配置為聚焦光；至少三個圖像傳感器，被配置為進(jìn)行光電轉(zhuǎn)換；以及分光單元，被配置為將來自所述透鏡單元的光分成至少三個光支路，每個光支路與一個不同的圖像傳感器對應(yīng)，并且進(jìn)一步被配置為分別同時將所述光支路引入各個圖像傳感器中。
[0298](15)根據(jù)(14)所述的成像方法，其中，每個光支路具有一個不同的光路長度。
[0299](16)根據(jù)(15)所述的成像方法，其中，所述至少三個圖像傳感器，其包括:正常位置傳感器，其定位成使正常位置光支路的光路長度是與透鏡單元的焦點(diǎn)位置對應(yīng)的預(yù)定距離；宏觀位置傳感器，其定位成使宏觀位置光支路的光路長度小于預(yù)定的距離；以及無限位置傳感器，其定位成使無限位置光支路的光路長度大于預(yù)定的距離。
[0300](17)根據(jù)(16)所述的成像方法，進(jìn)一步包括:由所述正常位置傳感器輸出彩色圖像；以及由所述宏觀位置傳感器和所述無限位置傳感器輸出各個黑白圖像。
[0301](18)根據(jù)(16)所述的成像方法，其中，所述分光單元被配置為分割所述透鏡單元的光，以便正常位置光支路的光量大于宏觀位置光支路和無限位置光支路的各個光量。
[0302](19)根據(jù)(18)所述的成像方法，其中，正常位置光支路的光量至少比宏觀位置光支路和無限位置光支路的各個光量大六倍。
[0303](20)根據(jù)(16)所述的成像方法，其中:所述成像設(shè)備進(jìn)一步包括:電子正常位置快門，其與正常位置傳感器對應(yīng)；電子宏觀位置快門，其與宏觀位置傳感器對應(yīng)；以及電子無限位置快門，其與無限位置傳感器對應(yīng)；所述方法進(jìn)一步包括通過控制單元控制正常位置、宏觀位置以及無限位置快門，以便正常位置快門的快門速度與宏觀位置和無限位置快門的各個快門速度不同。
[0304](21)根據(jù)(16)所述的成像方法，進(jìn)一步包括:通過主體提取單元從由正常位置傳感器輸出的正常圖像、由宏觀位置傳感器輸出的宏觀圖像以及由無限位置傳感器輸出的無限圖像中提取主體；通過對比信息計(jì)算單元計(jì)算表示主體的對比度的對比信息；通過距離計(jì)算單元根據(jù)所述對比信息，計(jì)算表示與主體相距的距離的主體距離；以及通過三維圖像生成單元根據(jù)正常圖像、宏觀圖像以及無限圖像，生成具有取決于主體距離的視差的三維圖像。
[0305](22)根據(jù)(15)所述的成像方法，進(jìn)一步包括:通過視線檢測單元檢測用戶的視線；通過三維圖像生成單元根據(jù)用戶的視線，檢測在三維顯示單元上顯示的對象之中的關(guān)注主體；并且通過三維圖像生成單元生成三維圖像，在所述三維圖像中，所述關(guān)注主體是聚焦的。
[0306](23)根據(jù)(22)所述的成像方法，進(jìn)一步包括:通過三維圖像生成單元生成三維圖像，在所述三維圖像中，所述關(guān)注主體以及與所述關(guān)注主體相距的距離在預(yù)定的閾值內(nèi)的另一個對象是聚焦的。
[0307]本領(lǐng)域的技術(shù)人員應(yīng)理解的是，只要在所附權(quán)利要求或其等同物的范圍內(nèi)，根據(jù)設(shè)計(jì)要求和其他因素，可進(jìn)行各種修改、組合、次組合以及變更。
【權(quán)利要求】
1.一種成像設(shè)備，包括: 透鏡單元，被配置為聚焦光； 至少三個圖像傳感器，被配置為進(jìn)行光電轉(zhuǎn)換；以及 分光單元，被配置為將來自所述透鏡單元的所述光分成至少三個光支路，每個光支路與不同的圖像傳感器對應(yīng)，并且進(jìn)一步被配置為分別同時將所述光支路引入各個所述圖像傳感器中。
2.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中，每個光支路具有不同的光路長度。
3.根據(jù)權(quán)利要求2所述的成像設(shè)備，其中， 所述至少三個圖像傳感器包括: 正常位置傳感器，其定位成使正常位置光支路的光路長度是與所述透鏡單元的焦點(diǎn)位置對應(yīng)的預(yù)定距離； 宏觀位置傳感器，其定位成使宏觀位置光支路的光路長度小于所述預(yù)定的距離；以及 無限位置傳感器，其定位成使無限位置光支路的光路長度大于所述預(yù)定的距離。
4.根據(jù)權(quán)利要求3所述的成像設(shè)備，其中， 所述正常位置傳感器被配置為輸出彩色圖像；并且 所述宏觀位置傳感器和所述無限位置傳感器被配置為分別輸出黑白圖像。
5.根據(jù)權(quán)利要求3所述的成像設(shè)備，其中，所述分光單元被配置為分割來自所述透鏡單元的所述光，以便所述正常位置光支路的光量大于所述宏觀位置光支路和所述無限位置光支路的各個光量。
6.根據(jù)權(quán)利要求5所述的成像設(shè)備，其中，所述正常位置光支路的所述光量至少比所述宏觀位置光支路和所述無限位置光支路的各個光量大六倍。
7.根據(jù)權(quán)利要求3所述的成像設(shè)備，進(jìn)一步包括: 電子正常位置快門，其與所述正常位置傳感器對應(yīng)； 電子宏觀位置快門，其與所述宏觀位置傳感器對應(yīng)； 電子無限位置快門，其與所述無限位置傳感器對應(yīng)；以及 控制單元，被配置為控制所述正常位置、宏觀位置以及無限位置快門，以便所述正常位置快門的快門速度與所述宏觀位置和無限位置快門的各個快門速度不同。
8.根據(jù)權(quán)利要求3所述的成像設(shè)備，進(jìn)一步包括: 主體提取單元，被配置為從由所述正常位置傳感器輸出的正常圖像、由所述宏觀位置傳感器輸出的宏觀圖像以及由所述無限位置傳感器輸出的無限圖像中提取主體； 對比信息計(jì)算單元，被配置為計(jì)算表示所述主體的對比度的對比信息； 距離計(jì)算單元，被配置為根據(jù)所述對比信息，計(jì)算表示與所述主體相距的距離的主體距離；以及 三維圖像生成單元，被配置為根據(jù)所述正常圖像、所述宏觀圖像以及所述無限圖像，生成具有取決于所述主體距離的視差的三維圖像。
9.根據(jù)權(quán)利要求8所述的成像設(shè)備，進(jìn)一步包括儲存單元，其被配置為儲存所述正常圖像、所述宏觀圖像、所述無限圖像、所述對比信息以及所述主體距離。
10.根據(jù)權(quán)利要求8所述的成像設(shè)備，進(jìn)一步包括顯示單元，其被配置為顯示從包括所述正常圖像、所述宏觀圖像、所述無限圖像以及所述三維圖像的組中選擇的圖像。
11.根據(jù)權(quán)利要求2所述的成像設(shè)備，進(jìn)一步包括: 視線檢測單元，被配置為檢測用戶的視線；以及 三維圖像生成單元，被配置為根據(jù)所述用戶的所述視線，檢測在三維顯示單元上顯示的對象之中的關(guān)注主體，并且生成三維圖像，在所述三維圖像中，所述關(guān)注主體是聚焦的。
12.根據(jù)權(quán)利要求11所述的成像設(shè)備，其中，所述三維圖像生成單元被配置為生成三維圖像，在所述三維圖像中，所述關(guān)注主體以及與所述關(guān)注主體相距的距離在預(yù)定的閾值內(nèi)的另一個對象是聚焦的。
13.根據(jù)權(quán)利要求1所述的成像設(shè)備，其中，所述透鏡單元是變焦透鏡單元，其包括具有相同光軸的多個透鏡。
14.根據(jù)權(quán)利要求1所述的成像設(shè)備,其中， 所述至少三個圖像傳感器包括: 正常位置傳感器，其定位成使正常位置光支路的光路長度是與所述透鏡單元的焦點(diǎn)位置對應(yīng)的預(yù)定距離； 宏觀位置傳感器，其定位成使宏觀位置光支路的光路長度小于所述預(yù)定的距離；以及 無限位置傳感器，其定位成使無限位置光支路的光路長度大于所述預(yù)定的距離。
15.—種成像方法,包括: 由成像設(shè)備同時捕捉至少三個圖像，其中，所述至少三個圖像在至少三個不同的距離實(shí)現(xiàn)聚焦，所述成像設(shè)備包括: 透鏡單元，被配置為聚焦光； 至少三個圖像傳感器，被配置為進(jìn)行光電轉(zhuǎn)換；以及 分光單元，被配置為將來自所述透鏡單元的所述光分成至少三個光支路，每個光支路與不同的圖像傳感器對應(yīng)，并且進(jìn)一步被配置為分別同時將所述光支路引入各個所述圖像傳感器中。
16.根據(jù)權(quán)利要求15所述的成像方法，其中，每個光支路具有不同的光路長度。
17.根據(jù)權(quán)利要求16所述的成像方法，其中， 所述至少三個圖像傳感器包括: 正常位置傳感器，其定位成使正常位置光支路的光路長度是與所述透鏡單元的焦點(diǎn)位置對應(yīng)的預(yù)定距離； 宏觀位置傳感器，其定位成使宏觀位置光支路的光路長度小于所述預(yù)定的距離；以及 無限位置傳感器，其定位成使無限位置光支路的光路長度大于所述預(yù)定的距離。
18.根據(jù)權(quán)利要求17所述的成像方法，進(jìn)一步包括: 由所述正常位置傳感器輸出彩色圖像；以及 由所述宏觀位置傳感器和所述無限位置傳感器輸出各個黑白圖像。
19.根據(jù)權(quán)利要求17所述的成像方法，其中，所述分光單元被配置為分割來自所述透鏡單元的所述光，以便所述正常位置光支路的光量大于所述宏觀位置光支路和所述無限位置光支路的各個光量。
20.根據(jù)權(quán)利要求19所述的成像方法，其中，所述正常位置光支路的所述光量至少比所述宏觀位置光支路和所述無限位置光支路的各個光量大六倍。
21.根據(jù)權(quán)利要求17所述的成像方法，其中: 所述成像設(shè)備進(jìn)一步包括: 電子正常位置快門，其與所述正常位置傳感器對應(yīng)； 電子宏觀位置快門，其與所述宏觀位置傳感器對應(yīng)；以及 電子無限位置快門，其與所述無限位置傳感器對應(yīng)； 所述方法進(jìn)一步包括通過控制單元控制所述正常位置、宏觀位置以及無限位置快門，以便所述正常位置快門的快門速度與所述宏觀位置和無限位置快門的各個快門速度不同。
22.根據(jù)權(quán)利要求17所述的成像方法，進(jìn)一步包括: 通過主體提取單元從由所述正常位置傳感器輸出的正常圖像、由所述宏觀位置傳感器輸出的宏觀圖像以及由所述無限位置傳感器輸出的無限圖像中提取主體； 通過對比信息計(jì)算單元計(jì)算表示所述主體的對比度的對比信息； 通過距離計(jì)算單元根據(jù)所述對比信息，計(jì)算表示與所述主體相距的距離的主體距離；以及 通過三維圖像生成單元根據(jù)所述正常圖像、所述宏觀圖像以及所述無限圖像，生成具有取決于所述主體距離的視差的三維圖像。
23.根據(jù)權(quán)利要求16所述的成像方法，進(jìn)一步包括: 通過視線檢測單元檢測用戶的視線； 通過三維圖像生成單元根據(jù)所述用戶的所述視線，檢測在三維顯示單元上顯示的對象之中的關(guān)注主體；并且 通過所述三維圖像生成單元生成三維圖像，在所述三維圖像中，所述關(guān)注主體是聚焦的。
24.根據(jù)權(quán)利要求23所述的成像方法，進(jìn)一步包括: 通過所述三維圖像生成單元生成三維圖像，在所述三維圖像中，所述關(guān)注主體以及與所述關(guān)注主體相距的距離在預(yù)定的閾值內(nèi)的另一個對象是聚焦的。
【文檔編號】H04N13/00GK104253988SQ201410281532
【公開日】2014年12月31日 申請日期:2014年6月20日 優(yōu)先權(quán)日:2013年6月28日
【發(fā)明者】高地泰三 申請人:索尼公司