專利名稱：3d自動(dòng)會(huì)聚照相機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體成像系統(tǒng)，并且更具體地，涉及用在這種立體成像系統(tǒng)中的自動(dòng)地會(huì)聚圖像。
背景技術(shù)：
立體成像系統(tǒng)向用戶的左眼和右眼提供了不同圖像的同步呈現(xiàn)。由左眼和右眼進(jìn)行的這些不同圖像的對(duì)準(zhǔn)在任何立體成像系統(tǒng)的發(fā)展中都是重要因素。一些傳統(tǒng)的系統(tǒng)包括其中操作者在顯示單元上選擇輸入成像因素的手動(dòng)對(duì)準(zhǔn)，諸如，照相機(jī)視野以及會(huì)聚距離。在這些系統(tǒng)中，立體顯示器可以被設(shè)計(jì)為通過(guò)自動(dòng)地移動(dòng)顯示器組件或者對(duì)于操作者提供關(guān)于允許精確地手動(dòng)對(duì)準(zhǔn)的可視反饋，輔助將顯示器幾何尺寸正確地對(duì)準(zhǔn)，以使得成像幾何尺寸匹配。一些已有的自動(dòng)對(duì)準(zhǔn)技術(shù)包括在左眼和右眼圖像屏幕上提供左對(duì)準(zhǔn)圖案和右對(duì)準(zhǔn)圖案，并且調(diào)整顯示器來(lái)通過(guò)移動(dòng)屏幕的顯示元件來(lái)進(jìn)行會(huì)聚。

發(fā)明內(nèi)容
提供了本發(fā)明的實(shí)施例來(lái)將用在立體照相機(jī)系統(tǒng)中的多個(gè)圖像自動(dòng)地會(huì)聚。在一個(gè)實(shí)施方式中，公開(kāi)了一種將用在立體照相機(jī)系統(tǒng)中的多個(gè)圖像自動(dòng)地會(huì)聚的方法，該立體照相機(jī)系統(tǒng)包括多個(gè)2D照相機(jī)。該方法包括從多個(gè)2D照相機(jī)中的每一者接收焦距；通過(guò)使用從多個(gè)2D照相機(jī)接收的焦距來(lái)計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；使用所計(jì)算的立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；從多個(gè)2D照相機(jī)接收多個(gè)圖像，其中，通過(guò)使用焦距由多個(gè)2D照相機(jī)中的每一者產(chǎn)生多個(gè)圖像中的每一者；以及對(duì)多個(gè)圖像進(jìn)行裁剪，以將多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。在另一個(gè)實(shí)施方式中，公開(kāi)了一種用于自動(dòng)地會(huì)聚多個(gè)圖像的立體照相機(jī)系統(tǒng)。 該系統(tǒng)包括包括第一 2D照相機(jī)和第二 2D照相機(jī)的多個(gè)2D照相機(jī)，其中，第一 2D照相機(jī)包括拍攝多個(gè)圖像中的第一圖像并將其投射到第一圖像傳感器上的第一透鏡，并且第二 2D 照相機(jī)包括拍攝多個(gè)圖像中的第二圖像并將其投射到第二圖像傳感器上的第二透鏡；以及處理器被構(gòu)造為(1)從多個(gè)2D照相機(jī)接收焦距并對(duì)其進(jìn)行處理，以計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；(2)使用所計(jì)算的立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；以及(3) 接收多個(gè)圖像并對(duì)其進(jìn)行裁剪，以將多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。在另一個(gè)實(shí)施方式中，公開(kāi)了一種用于自動(dòng)地會(huì)聚多個(gè)圖像的立體照相機(jī)系統(tǒng)。 該系統(tǒng)包括多個(gè)2D照相機(jī)，每個(gè)2D照相機(jī)包括拍攝圖像并將其投射到圖像傳感器上的透鏡；并且處理器被構(gòu)造為(1)豎直地裁剪多個(gè)圖像，以調(diào)整多個(gè)2D照相機(jī)中的透鏡的偏心；(2)接收并處理多個(gè)圖像的焦距，以計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；(3)使用所計(jì)算的立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；以及(4)接收多個(gè)圖像并對(duì)其進(jìn)行裁剪，以將多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。在另一個(gè)實(shí)施方式中，公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)用于將用在立體照相機(jī)系統(tǒng)中的多個(gè)圖像自動(dòng)地會(huì)聚的計(jì)算機(jī)程序，該立體照相機(jī)系統(tǒng)包括多個(gè)2D照相機(jī)。該計(jì)算機(jī)程序包括可執(zhí)行指令，這些指令使得計(jì)算機(jī)從多個(gè)2D照相機(jī)中的每一者接收焦距；通過(guò)使用從多個(gè)2D照相機(jī)接收的焦距來(lái)計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；使用所計(jì)算的立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；接收并裁剪多個(gè)圖像，以將多個(gè) 2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。在閱讀以下的詳細(xì)描述和附圖之后，本領(lǐng)域技術(shù)人員將會(huì)更加容易明白本發(fā)明的其他特征和優(yōu)點(diǎn)。


圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的、包括兩個(gè)2D照相機(jī)的立體(例如，3D) 照相機(jī)系統(tǒng)的示意圖，并且每個(gè)2D照相機(jī)具有傳感器透鏡組合。圖2示出了圖1中示出的立體照相機(jī)系統(tǒng)的另一個(gè)視圖，但是包括通過(guò)裁剪而提供的視野和有效傳感器寬度。圖3示出了圖1的立體照相機(jī)系統(tǒng)，其示出了會(huì)聚光學(xué)中心線。圖4示出了圖1的立體照相機(jī)系統(tǒng)，其進(jìn)一步示出了對(duì)圖像進(jìn)行機(jī)械會(huì)聚的另一種技術(shù)。圖5示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施方式的立體照相機(jī)系統(tǒng)。圖6是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式將多個(gè)圖像自動(dòng)地會(huì)聚的技術(shù)的流程圖，其可以被用在立體照相機(jī)系統(tǒng)中。圖7是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的、提供多個(gè)圖像的自動(dòng)地會(huì)聚的立體照相機(jī)系統(tǒng)的框圖。圖8A示出了計(jì)算機(jī)系統(tǒng)和用戶的示意圖。圖8B是示出了主持立體照相機(jī)處理系統(tǒng)的計(jì)算機(jī)系統(tǒng)的功能框圖。圖9示出了根據(jù)本發(fā)明的可選實(shí)施例的包括兩個(gè)2D照相機(jī)的立體照相機(jī)系統(tǒng)的示意圖。圖10示出了通過(guò)豎直地移動(dòng)或滑動(dòng)圖像傳感器而變的可能的每只眼睛的視野的豎直調(diào)整的可選實(shí)施方式。圖11是示出了根據(jù)可選實(shí)施方式的將多個(gè)圖像自動(dòng)地會(huì)聚的技術(shù)的流程圖。
具體實(shí)施例方式這里公開(kāi)的特定實(shí)施方式用于將用在立體成像系統(tǒng)中的圖像自動(dòng)地會(huì)聚。在閱讀說(shuō)明書(shū)之后，將會(huì)明白如何以各種可選實(shí)施方式以及可選應(yīng)用來(lái)實(shí)施本發(fā)明。然而，雖然將會(huì)在這里描述本發(fā)明的各種實(shí)施方式，應(yīng)該理解這些實(shí)施方式僅是通過(guò)是理性的方式提供的，而不是限制性的。因此，各種替換實(shí)施例的具體描述不應(yīng)被理解為限制本發(fā)明的范圍和外延。圖1示出了包括兩個(gè)2D照相機(jī)110、120的立體(例如，3D)照相機(jī)系統(tǒng)100的示意圖，每個(gè)2D照相機(jī)具有傳感器透鏡組合。雖然圖1的示意性實(shí)施方式示出了構(gòu)造為單個(gè)透鏡與單個(gè)傳感器的組合的“照相機(jī)”，但是在其他實(shí)施方式中，術(shù)語(yǔ)“照相機(jī)”可以被用來(lái)指代在單個(gè)單元或殼體中的多個(gè)透鏡/傳感器組合。
2D照相機(jī)110包括透鏡112和圖像傳感器114。透鏡112拍攝具有光學(xué)中心線116 的視野并將其投射到圖像傳感器114上。2D照相機(jī)120包括透鏡122和圖像傳感器124。 透鏡122拍攝具有光學(xué)中心線126的視野并將其投射到圖像傳感器IM上。2D照相機(jī)110 的光學(xué)中心線116被構(gòu)造為從2D照相機(jī)120的光學(xué)中心線1 偏移瞳孔間距150(例如， 約6到7厘米)。因此，在一個(gè)實(shí)施方式中，2D照相機(jī)110被構(gòu)造為拍攝并輸出用于左眼的圖像，而2D照相機(jī)120被構(gòu)造為拍攝并輸出用于右眼的圖像。在圖1的圖示實(shí)施方式中， 立體照相機(jī)系統(tǒng)100也包括被構(gòu)造為自動(dòng)地會(huì)聚由2D照相機(jī)110、120拍攝的兩個(gè)圖像的處理器130。在圖1和圖2中示出的一個(gè)實(shí)施方式中，圖像傳感器114、124從光學(xué)中心線218、 2 水平地偏置。在其他實(shí)施方式中，圖像傳感器不偏置。在圖示實(shí)施例中，圖像傳感器114 向左偏置以提供全寬度210，而圖像傳感器124向右偏置以提供全寬度220。因此，每個(gè)傳感器110或120的全部視野216或2 相對(duì)于透鏡112或122的光學(xué)中心線218或2 水平對(duì)稱。為了產(chǎn)生以光學(xué)中心線(例如，218、2觀)為中心的圖像，圖像可以被水平地裁剪， 以提供平行視野214、224。例如，投射到圖像傳感器114上的圖像被“右裁剪”，以提供具有相應(yīng)的平行視野214的有效傳感器寬度212。因此，術(shù)語(yǔ)“右裁剪”指的是在投射到圖像傳感器114上的圖像的左側(cè)上裁剪掉條帶。此外，投射到圖像傳感器IM上的圖像被“左裁剪”，以提供具有相應(yīng)的平行視野224的有效傳感器寬度222。因此，術(shù)語(yǔ)“左裁剪”指的是在投射到圖像傳感器1 上的圖像的右側(cè)上裁剪掉條帶。一般來(lái)說(shuō)，在離瞳孔間距的中央的遠(yuǎn)側(cè)上裁剪掉條帶以聚焦在遠(yuǎn)的目標(biāo)，而在離瞳孔間距的中央的近側(cè)上裁剪掉條帶以聚焦在近的目標(biāo)上。因此，光學(xué)中心線218、2觀對(duì)應(yīng)于具有基本零會(huì)聚的平行視線。很有趣地注意到裁剪區(qū)域限定了照相機(jī)的標(biāo)稱分辨度。在其他實(shí)施方式中，圖像可以被裁剪為除了水平方向之外的圖像，以在單個(gè)3D圖像中(例如，對(duì)角地)提供多個(gè)圖像的會(huì)聚。圖3示出了具有會(huì)聚光學(xué)中心線318、3 的立體照相機(jī)系統(tǒng)100。在圖3的圖示實(shí)施方式中，通過(guò)調(diào)整由圖像傳感器拍攝的圖像的裁剪，而不是通過(guò)調(diào)整照相機(jī)110、120的透鏡，來(lái)將中心線318、3觀控制為會(huì)聚。如上所述，對(duì)圖像進(jìn)行對(duì)稱的裁剪可以改變圖像的視野和光學(xué)中心線。例如，由圖像傳感器114拍攝的圖像被左裁剪，以提供具有相應(yīng)的“會(huì)聚”視野314的有效傳感器寬度312。此外，由圖像傳感器IM拍攝的圖像被右裁剪，以提供具有相應(yīng)的“會(huì)聚”視野324的有效傳感器寬度322。在圖4中，立體照相機(jī)系統(tǒng)100提供了將由兩個(gè)2D照相機(jī)110、120產(chǎn)生的圖像自動(dòng)地會(huì)聚，每個(gè)2D照相機(jī)具有傳感器透鏡的組合。圖像的自動(dòng)會(huì)聚涉及使用從兩個(gè)圖像傳感器透鏡組合接收的焦距確定所關(guān)注的中心和深度平面?？梢允褂米詣?dòng)聚焦機(jī)構(gòu)、由照相機(jī)操作者進(jìn)行的手動(dòng)聚焦或者在照相機(jī)外部的其他聚焦和/或測(cè)量裝置來(lái)確定焦距。在一個(gè)實(shí)施方式中，每個(gè)2D照相機(jī)產(chǎn)生圖像以及包括焦距的元數(shù)據(jù)。之后從所接收的元數(shù)據(jù)提取焦距。在一個(gè)實(shí)施方式中，通過(guò)對(duì)兩個(gè)照相機(jī)110、120的焦距進(jìn)行平均來(lái)確定所關(guān)注的中心。在其他實(shí)施方式中，通過(guò)在兩個(gè)照相機(jī)110、120之間的中央處測(cè)量透鏡(未示出) 的焦距來(lái)確定所關(guān)注的中心。因此，通過(guò)使得自動(dòng)會(huì)聚由照相機(jī)的焦距驅(qū)動(dòng)，可以將所關(guān)注的中心保持在立體圖像(例如，3D圖像)的屏幕深度處。此外，這允許3D視頻中的剪切或淡入淡出對(duì)于觀察者的眼睛舒適。在圖4的圖示實(shí)施方式中，通過(guò)數(shù)字地調(diào)整兩個(gè)圖像的裁剪的水平位置而不是通過(guò)透鏡的移動(dòng)，將兩個(gè)照相機(jī)110、120的觀察方向控制為會(huì)聚到所關(guān)注的中心處。例如，投射到圖像傳感器114上的圖像可以被右裁剪以平行視野214(有效傳感器寬度212)聚焦在正前方(沿著中心線218)的遠(yuǎn)的目標(biāo)上，或者可以被左裁剪以“會(huì)聚的”視野314(有效傳感器寬度312)聚焦在沿著“會(huì)聚”中心線318更接近的目標(biāo)上。此外，投射到圖像傳感器 124上的圖像可以被左裁剪以平行視野224(有效傳感器寬度222)聚焦在正前方(沿著中心線228)的遠(yuǎn)的目標(biāo)上，或者可以被左裁剪以“會(huì)聚的”視野324(有效傳感器寬度322)聚焦在沿著“會(huì)聚”中心線328更接近的目標(biāo)上。在圖9中示出的可選實(shí)施方式中，通過(guò)滑動(dòng)或移動(dòng)圖像傳感器904、908的水平位置，將兩個(gè)照相機(jī)902、906的觀察方向控制為會(huì)聚到所關(guān)注的中心處。例如，對(duì)于照相機(jī) 902，圖像被投射到寬度延伸通過(guò)972和974的圖像傳感器904，以平行視野932 (有效傳感器寬度952)聚焦在正前方(沿著中心線920)的遠(yuǎn)的目標(biāo)上。通過(guò)將圖像傳感器904向左移動(dòng)或滑動(dòng)以將有效傳感器寬度從952滑動(dòng)到954，可以將焦點(diǎn)沿著具有“會(huì)聚”視野934 的“會(huì)聚”中心線922調(diào)整為更接近目標(biāo)。從照相機(jī)906，圖像被投射到圖像傳感器908上， 該圖像傳感器908的寬度延伸經(jīng)過(guò)980和982，以利用平行視野942 (利用有效傳感器寬度 962)聚焦到在正前方(沿著中心線924)的遠(yuǎn)的目標(biāo)。通過(guò)將圖像傳感器908向右移動(dòng)或滑動(dòng)以將有效傳感器寬度從962滑動(dòng)到964，可以將焦點(diǎn)沿著具有“會(huì)聚”視野944的“會(huì)聚”中心線926調(diào)整為更接近目標(biāo)。圖5示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施方式的立體照相機(jī)系統(tǒng)500。雖然圖5僅示出了一個(gè)2D照相機(jī)510，但是由透鏡512投射到傳感器514上的圖像的數(shù)字處理被相等地應(yīng)用到另一個(gè)2D照相機(jī)(未示出)。在圖5的圖示實(shí)施方式中，通過(guò)使用在豎直尺寸上類似地加大的傳感器并且通過(guò)數(shù)字地調(diào)整裁剪的豎直位置，可以數(shù)字地進(jìn)行每只眼的視野的調(diào)整。例如，圖像可以被(1)中央裁剪(提供有效傳感器寬度522)以將全部視野536向下調(diào)整到豎直視野534 ； (2)上裁剪(提供有效傳感器寬度524)以將全部視野536向下調(diào)整到豎直視野530 ；或者(3)下裁剪(提供有效傳感器寬度526)以將全部視野536向下調(diào)整到豎直視野532。與使用上述(水平和/或豎直)裁剪技術(shù)的立體照相機(jī)系統(tǒng)500 (在圖5中示出) 類似的系統(tǒng)可以被用來(lái)控制光學(xué)中心線，以調(diào)整在變焦期間引起位置變化的透鏡偏心。水平地和/或豎直地對(duì)每只眼的視野數(shù)字地進(jìn)行調(diào)整的能力使得照相機(jī)系統(tǒng)能夠補(bǔ)償由透鏡偏心引起的位置變化。在該實(shí)施方式中，因?yàn)橥哥R偏心主要引起豎直位置變化，所以圖像的豎直裁剪被調(diào)整，以補(bǔ)償透鏡偏心。然而，除了豎直裁剪之外，圖像的水平裁剪可以被用來(lái)補(bǔ)償引起水平位置變化的透鏡偏心。在一個(gè)實(shí)施方式中，使用對(duì)于在不同變焦水平下的透鏡限定的裁剪值的查找表，照相機(jī)系統(tǒng)校正任何透鏡偏心。裁剪值包括校正透鏡偏心所需的水平和/或豎直裁剪值。圖10示出了根據(jù)可選(代替圖5)實(shí)施方式的立體照相機(jī)系統(tǒng)1000。在圖10的圖示實(shí)施方式中，通過(guò)使得圖像傳感器1014豎直地移動(dòng)或滑動(dòng)，可以數(shù)字地進(jìn)行每個(gè)眼的視野的調(diào)整。例如，圖像傳感器1014可以移動(dòng)到(1)中央(提供有效傳感器寬度1022)， 以將全部視野1036向下調(diào)整到豎直視野1034 ； (2)上方(提供有效傳感器寬度1024)以將全部視野1036向下調(diào)整到豎直視野1030 ；或者C3)下方(提供有效傳感器寬度10 )以將全部視野1036向下調(diào)整到豎直視野1032。與使用(水平和/或豎直地)滑動(dòng)圖像傳感器的上述技術(shù)的(在圖10中示出的) 立體照相機(jī)系統(tǒng)1000類似的系統(tǒng)可以被用來(lái)控制光學(xué)中心線，以調(diào)整在變焦期間引起位置變化的透鏡的偏心。水平地和/或豎直地對(duì)每只眼的視野數(shù)字地進(jìn)行調(diào)整的能力使得照相機(jī)系統(tǒng)能夠補(bǔ)償由透鏡偏心引起的位置變化。在該實(shí)施方式中，因?yàn)橥哥R偏心主要引起豎直位置變化，所以圖像傳感器的豎直滑動(dòng)被調(diào)整，以補(bǔ)償透鏡偏心。然而，除了豎直滑動(dòng)之外，圖像傳感器的水平滑動(dòng)可以被用來(lái)補(bǔ)償引起水平位置變化的透鏡偏心。在一個(gè)實(shí)施方式中，通過(guò)使用對(duì)于在不同變焦水平下的透鏡限定的傳感器滑動(dòng)值的查找表，照相機(jī)系統(tǒng)校正任何透鏡偏心。圖6是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式將多個(gè)圖像自動(dòng)會(huì)聚的技術(shù)的流程圖 600。在一個(gè)實(shí)施方式中，多個(gè)圖像被自動(dòng)地會(huì)聚為單個(gè)立體圖像。在圖6的圖實(shí)施方式中， 在框610處，通過(guò)使用來(lái)自2D照相機(jī)的圖像的焦距計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距。在一個(gè)實(shí)施方式中，由立體照相機(jī)系統(tǒng)的處理器從2D照相機(jī)接收焦距信息。通過(guò)在框610中的結(jié)果，在框612處確定所關(guān)注的中心以及深度平面。在一個(gè)實(shí)施方式中，通過(guò)對(duì)兩個(gè)2D照相機(jī)的焦距進(jìn)行平均來(lái)確定所關(guān)注的中心。因此，通過(guò)使得自動(dòng)會(huì)聚由照相機(jī)的焦距驅(qū)動(dòng)，可以將所關(guān)注的中心保持在立體圖像(例如，3D圖像)中的屏幕深度處。一旦確定了所關(guān)注的中心，在框614處接收已經(jīng)由2D照相機(jī)聚焦的多個(gè)圖像。之后通過(guò)在框616處如上所述地裁剪所接收到的2D圖像，來(lái)將2D照相機(jī)的視野的方向調(diào)整為會(huì)聚到所關(guān)注的中心。如上所述，上述(水平和/或豎直的)裁剪技術(shù)可以被用來(lái)控制光學(xué)中心線，以調(diào)整在變焦期間引起位置變化的透鏡的偏心。水平地和/或豎直地對(duì)每只眼的視野進(jìn)行數(shù)字調(diào)整的能力使得照相機(jī)系統(tǒng)能夠補(bǔ)償由透鏡偏心引起的位置變化。在一個(gè)實(shí)施方式中，在框618處，通過(guò)使用對(duì)于在任何水平的變焦下的透鏡限定的裁剪值的查找表，照相機(jī)系統(tǒng)校正任何透鏡偏心。裁剪值包括校正透鏡偏心所需的水平和/或豎直裁剪值。圖11是示出了根據(jù)可選實(shí)施方式的將多個(gè)圖像自動(dòng)會(huì)聚的技術(shù)的流程圖1100。 在圖11的圖示實(shí)施方式中，在框1110處，通過(guò)使用來(lái)自2D照相機(jī)的圖像的焦距來(lái)計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距。在一個(gè)實(shí)施方式中，由立體照相機(jī)系統(tǒng)的處理器從2D照相機(jī)接收焦距信息。通過(guò)在框1110中計(jì)算的結(jié)果，在框1112處確定所關(guān)注的中心和深度平面。在一個(gè)實(shí)施方式中，通過(guò)對(duì)兩個(gè)2D照相機(jī)的焦距進(jìn)行平均來(lái)確定所關(guān)注的中心。因此，通過(guò)使得自動(dòng)會(huì)聚由照相機(jī)的焦距驅(qū)動(dòng)，可以將所關(guān)注的中心保持在立體圖像(例如，3D圖像)中的屏幕深度處。一旦確定了所關(guān)注的中心，在框1114處接收已經(jīng)由2D照相機(jī)聚焦的多個(gè)圖像。之后通過(guò)在框1116處如上所述地滑動(dòng)2D照相機(jī)中的圖像傳感器，來(lái)將2D照相機(jī)的視野的方向調(diào)整為聚到所關(guān)注的中心。如上所述，上述(水平和/或豎直的)滑動(dòng)圖像傳感器的技術(shù)可以被用來(lái)控制光學(xué)中心線，以調(diào)整在變焦期間引起位置變化的透鏡的偏心。水平地和/或豎直地對(duì)每只眼的視野進(jìn)行調(diào)整的能力使得照相機(jī)系統(tǒng)能夠補(bǔ)償由透鏡偏心引起的位置變化。在一個(gè)實(shí)施方式中，在框1118處，通過(guò)使用對(duì)于在任何水平的變焦下的透鏡限定的傳感器滑動(dòng)值的查找表，照相機(jī)系統(tǒng)校正任何透鏡偏心?；瑒?dòng)值包括校正透鏡偏心所需的水平和/或豎直滑動(dòng)值。圖7是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的、提供多個(gè)圖像的自動(dòng)會(huì)聚的立體照相機(jī)系統(tǒng)700的框圖。在一個(gè)實(shí)施方式中，多個(gè)圖像被自動(dòng)地會(huì)聚到單個(gè)立體圖像。立體照相機(jī)系統(tǒng)700包括兩個(gè)2D照相機(jī)710、720以及處理器730。2D照相機(jī)710包括拍攝圖像并將其投射到圖像傳感器714上的透鏡712。2D照相機(jī)720包括拍攝圖像并將其投射到圖像傳感器724上的透鏡722。在圖7的圖示實(shí)施方式中，來(lái)自2D照相機(jī)710、720的圖像的焦距由處理器730接收和處理，以計(jì)算立體照相機(jī)系統(tǒng)700的焦距。處理器730之后從所計(jì)算的立體照相機(jī)系統(tǒng)700的焦距確定所關(guān)注的中心以及深度平面。在一個(gè)實(shí)施方式中，所關(guān)注的中心，通過(guò)對(duì)兩個(gè)2D照相機(jī)的焦距進(jìn)行平均來(lái)確定所關(guān)注的中心。因此，通過(guò)使得自動(dòng)會(huì)聚由照相機(jī)的焦距驅(qū)動(dòng)，可以將所關(guān)注的中心保持在立體圖像(例如，3D圖像)中的屏幕深度處。在一個(gè)實(shí)施方式中，一旦確定了所關(guān)注的中心，如上所述，處理器730被構(gòu)造為通過(guò)計(jì)算用于對(duì)2D圖像進(jìn)行裁剪的裁剪值，來(lái)將2D照相機(jī)710、720的視野的方向調(diào)整為會(huì)聚到所關(guān)注的中心。在可選實(shí)施例中，處理器730被構(gòu)造為通過(guò)計(jì)算可以被用來(lái)對(duì)圖像傳感器714、724進(jìn)行滑動(dòng)的滑動(dòng)值，來(lái)將2D照相機(jī)710、720的視野的方向調(diào)整為會(huì)聚到所關(guān)注的中心。此外，處理器730可以執(zhí)行(水平和/或豎直的)裁剪或滑動(dòng)，以控制光學(xué)中心線來(lái)調(diào)整在變焦期間引起位置變化的透鏡偏心。水平地和/或豎直地對(duì)每只眼的視野數(shù)字地進(jìn)行調(diào)整的能力使得照相機(jī)系統(tǒng)能夠補(bǔ)償由透鏡偏心引起的位置變化。在一個(gè)實(shí)施方式中，處理器730使用對(duì)于在不同變焦水平下的透鏡限定的裁剪或滑動(dòng)值的查找表來(lái)校正任何透鏡偏心圖8A示出了計(jì)算機(jī)系統(tǒng)800和用戶802的示意圖。用戶802使用計(jì)算機(jī)系統(tǒng)800 來(lái)執(zhí)行多個(gè)圖像的自動(dòng)會(huì)聚。計(jì)算機(jī)系統(tǒng)800存儲(chǔ)并計(jì)算立體照相機(jī)處理系統(tǒng)890。圖8B是示出了主持立體照相機(jī)處理系統(tǒng)890的計(jì)算機(jī)系統(tǒng)800的功能框圖?？刂破?10是可編程處理器并且控制計(jì)算機(jī)系統(tǒng)800及其組件的操作?？刂破?10從存儲(chǔ)器 820或者內(nèi)嵌控制器存儲(chǔ)器(未示出)裝載指令(例如，以計(jì)算機(jī)程序的形式)，并且執(zhí)行這些指令來(lái)控制系統(tǒng)。在其執(zhí)行過(guò)程中，控制器810作為軟件系統(tǒng)來(lái)提供立體照相機(jī)處理系統(tǒng)890，諸如提供自動(dòng)會(huì)聚計(jì)算(例如，確定使用裁剪或移動(dòng)，并且確定如何裁剪圖像數(shù)據(jù)或滑動(dòng)圖像傳感器)?；蛘撸摲?wù)可以在控制器810或計(jì)算機(jī)系統(tǒng)800中被實(shí)施為獨(dú)立的硬件組件。存儲(chǔ)器820存儲(chǔ)由計(jì)算機(jī)系統(tǒng)800的其他組件臨時(shí)使用的數(shù)據(jù)。在一個(gè)實(shí)施方式中，存儲(chǔ)器820被實(shí)施為RAM。在一個(gè)實(shí)施方式中，存儲(chǔ)器820也包括長(zhǎng)期或永久存儲(chǔ)器，諸如閃存和/或ROM。存儲(chǔ)器830臨時(shí)地或長(zhǎng)期存儲(chǔ)由計(jì)算機(jī)系統(tǒng)800的其他組件使用的數(shù)據(jù)，諸如用于存儲(chǔ)由立體照相機(jī)處理系統(tǒng)890使用的數(shù)據(jù)。在一個(gè)實(shí)施方式中，存儲(chǔ)器830是硬盤驅(qū)動(dòng)器。
介質(zhì)裝置840接收可移除介質(zhì)并且讀取介質(zhì)和/或?qū)?shù)據(jù)寫入所插入的介質(zhì)。在一個(gè)實(shí)施方式中，例如，媒體裝置840是光盤驅(qū)動(dòng)器。用戶接口 850包括用于接受來(lái)自計(jì)算機(jī)系統(tǒng)800的用戶輸入以及向用戶提供信息的組件。在一個(gè)實(shí)施方式中，用戶接口 850包括鍵盤、鼠標(biāo)、音頻揚(yáng)聲器和顯示器?？刂破?810使用來(lái)自用戶的輸入來(lái)調(diào)整計(jì)算機(jī)系統(tǒng)800的操作。I/O接口 860包括一個(gè)或多個(gè)I/O端口，以連接到相應(yīng)的I/O裝置，諸如外部存儲(chǔ)或追加裝置(例如，印刷機(jī)或PDA)。在一個(gè)實(shí)施方式中，I/O接口 860的端口例如包括以下端口 USB端口、PCMCIA端口、串行端口和/或并行端口。在另一個(gè)實(shí)施方式中，I/O接口 860包括用于與外部裝置無(wú)線地通信的無(wú)線接口。網(wǎng)絡(luò)接口 870包括有線和/或無(wú)線網(wǎng)絡(luò)連接，諸如支持以太網(wǎng)連接的RJ-45或 “Wi-Fi”接口(包括但不局限于802. 11)。計(jì)算機(jī)系統(tǒng)800包括以附加硬件和以及計(jì)算機(jī)系統(tǒng)為代表的軟件(例如，電源、冷卻、操作系統(tǒng))，盡管這些組件在圖8B中為了清楚而未示出。在另一個(gè)實(shí)施方式中，可以使用計(jì)算機(jī)系統(tǒng)的不同構(gòu)造(例如，不同的總線或存儲(chǔ)構(gòu)造或多處理器構(gòu)造)。提供所公開(kāi)的實(shí)施方式的以上描述以使得本領(lǐng)域技術(shù)人員制造或使用本發(fā)明。對(duì)于這些實(shí)施方式的各種修改易于由本領(lǐng)域技術(shù)人員理解，并且這里描述的一般原理可以應(yīng)用到其他實(shí)施方式，而不超出本發(fā)明的精神和范圍。因此，附加的實(shí)施方式和變化也可以在本發(fā)明的范圍內(nèi)。例如，使用兩個(gè)偏置的圖像傳感器來(lái)討論圖示實(shí)施方式。在其他實(shí)施方式中，傳感器不偏置，但是使得圖像被裁剪(該實(shí)施方式將會(huì)類似地也使用多個(gè)圖像傳感器材料)。類似地，雖然圖示的實(shí)施方式討論了將兩個(gè)2D圖像回絕道單個(gè)立體圖像中，但是兩個(gè)以上的2D圖像可以被會(huì)聚到所得到的立體圖像中。此外，可以理解這里提供的描述和附圖是由本發(fā)明寬泛地設(shè)想到的主題的代表。可以進(jìn)一步理解本發(fā)明的范圍完全包圍對(duì)于本領(lǐng)域技術(shù)人員變得明顯的其他實(shí)施方式并且本發(fā)明的范圍相應(yīng)地僅由權(quán)利要求限定。
權(quán)利要求
1.一種將用在立體照相機(jī)系統(tǒng)中的多個(gè)圖像自動(dòng)地會(huì)聚的方法，所述立體照相機(jī)系統(tǒng)包括多個(gè)2D照相機(jī)，所述方法包括從所述多個(gè)2D照相機(jī)中的每一者接收焦距；通過(guò)使用從所述多個(gè)2D照相機(jī)接收的所述焦距來(lái)計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；使用所計(jì)算的所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心； 從所述多個(gè)2D照相機(jī)接收所述多個(gè)圖像，其中，通過(guò)使用所述焦距由所述多個(gè)2D照相機(jī)中的每一者產(chǎn)生所述多個(gè)圖像中的每一者；以及對(duì)所述多個(gè)圖像進(jìn)行裁剪，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
2.根據(jù)權(quán)利要求1所述的方法，其中，通過(guò)使用從所述多個(gè)2D照相機(jī)接收的所述焦距來(lái)計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距包括對(duì)從所述多個(gè)2D照相機(jī)接收的所述焦距進(jìn)行平均。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述立體照相機(jī)系統(tǒng)還包括處理器，其構(gòu)造為對(duì)由所述多個(gè)2D照相機(jī)拍攝的所述多個(gè)圖像自動(dòng)地進(jìn)行會(huì)聚。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)圖像包括兩個(gè)圖像，并且其中，對(duì)所述多個(gè)圖像進(jìn)行裁剪包括在所述兩個(gè)圖像的相反側(cè)上裁剪掉條帶，以將所述兩個(gè)圖像的視野方向控制為會(huì)聚到所關(guān)注的中心。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述多個(gè)2D照相機(jī)包括彼此移位瞳孔間距的兩個(gè)2D照相機(jī)。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述兩個(gè)2D照相機(jī)中的每一者包括透鏡；以及圖像傳感器，其中，所述圖像傳感器偏離所述瞳孔間距的中心。
7.根據(jù)權(quán)利要求6所述的方法，其中，對(duì)所述多個(gè)圖像進(jìn)行裁剪包括從投射到所述兩個(gè)2D照相機(jī)的圖像傳感器上的兩個(gè)圖像裁剪掉條帶。
8.根據(jù)權(quán)利要求7所述的方法，其中，從所述兩個(gè)圖像裁剪掉條帶包括在離所述瞳孔間距的中心較遠(yuǎn)的那一側(cè)上裁剪掉條帶以聚焦在遠(yuǎn)的目標(biāo)上，而在離所述瞳孔間距的中心較近的那一側(cè)上裁剪掉條帶以聚焦在近的目標(biāo)上。
9.根據(jù)權(quán)利要求1所述的方法，其中，裁剪包括水平地裁剪所述多個(gè)圖像，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心；以及還包括豎直地裁剪所述多個(gè)圖像，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心。
10.一種用于自動(dòng)地會(huì)聚多個(gè)圖像的立體照相機(jī)系統(tǒng)，所述系統(tǒng)包括 包括第一 2D照相機(jī)和第二 2D照相機(jī)的多個(gè)2D照相機(jī)，其中，所述第一 2D照相機(jī)包括拍攝所述多個(gè)圖像中的第一圖像并將其投射到第一圖像傳感器上的第一透鏡，并且所述第二 2D照相機(jī)包括拍攝所述多個(gè)圖像中的第二圖像并將其投射到第二圖像傳感器上的第二透鏡；以及處理器，被構(gòu)造為(1)從所述多個(gè)2D照相機(jī)接收所述多個(gè)圖像的焦距并對(duì)其進(jìn)行處理，以計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；(2)使用所計(jì)算的所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；并且(3)接收所述多個(gè)圖像并對(duì)其進(jìn)行裁剪，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述處理器被構(gòu)造為通過(guò)對(duì)來(lái)自所述多個(gè)2D 照相機(jī)的所述焦距進(jìn)行平均來(lái)計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述處理器被構(gòu)造為在所述第一圖像和所述第二圖像的相反側(cè)上裁剪掉條帶，以將所述第一圖像和所述第二圖像的視野方向控制為會(huì)聚到所關(guān)注的中心。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述第一2D照相機(jī)和所述第二 2D照相機(jī)被構(gòu)造為彼此移位瞳孔間距。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所述第一圖像傳感器和所述第二圖像傳感器偏離所述瞳孔間距的中心。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述處理器被構(gòu)造為從所述第一圖像的一側(cè)和所述第二圖像的一側(cè)裁剪掉條帶。
16.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述處理器還被構(gòu)造為豎直地裁剪所述多個(gè)圖像，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心。
17.一種用于自動(dòng)地會(huì)聚多個(gè)圖像的立體照相機(jī)系統(tǒng)，所述系統(tǒng)包括多個(gè)2D照相機(jī)，每個(gè)2D照相機(jī)包括拍攝圖像并將其投射到圖像傳感器上的透鏡；以及處理器，被構(gòu)造為(1)豎直地裁剪所述多個(gè)圖像，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心；(2)接收并處理所述多個(gè)圖像的焦距，以計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；(3)使用所計(jì)算的所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；并且(4)接收所述多個(gè)圖像并對(duì)其進(jìn)行裁剪，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中，所述處理器被構(gòu)造為還水平地裁剪所述多個(gè)圖像，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心。
19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中，所述處理器被構(gòu)造為通過(guò)使用對(duì)各個(gè)變焦水平的透鏡限定的裁剪值的查找表，來(lái)調(diào)整所述多個(gè)2D照相機(jī)中每一者的每個(gè)透鏡的偏心。
20.一種將用在立體照相機(jī)系統(tǒng)中的多個(gè)圖像自動(dòng)地會(huì)聚的方法，所述立體照相機(jī)系統(tǒng)包括多個(gè)2D照相機(jī)，所述方法包括從所述多個(gè)2D照相機(jī)中的每個(gè)2D照相機(jī)接收焦距，其中，每個(gè)2D照相機(jī)包括至少一個(gè)圖像傳感器；通過(guò)使用從所述多個(gè)2D照相機(jī)接收的焦距來(lái)計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；使用所計(jì)算的所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；以及移動(dòng)每個(gè)2D照相機(jī)中的至少一個(gè)圖像傳感器，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
21.根據(jù)權(quán)利要求20所述的方法，其中，移動(dòng)每個(gè)2D照相機(jī)中的至少一個(gè)圖像傳感器包括沿著相反的方向滑動(dòng)所述至少一個(gè)圖像傳感器，以將所述視野方向控制為會(huì)聚到所關(guān)注的中心。
22.根據(jù)權(quán)利要求20所述的方法，其中，所述多個(gè)2D照相機(jī)包括彼此移位瞳孔間距的兩個(gè)2D照相機(jī)，其中，每個(gè)2D照相機(jī)包括透鏡和圖像傳感器。
23.根據(jù)權(quán)利要求22所述的方法，其中，移動(dòng)每個(gè)2D照相機(jī)中的至少一個(gè)圖像傳感器包括將每個(gè)2D照相機(jī)中的所述圖像傳感器朝向所述瞳孔間距的中心向內(nèi)滑動(dòng)，以聚焦到遠(yuǎn)的目標(biāo)上，而將每個(gè)2D照相機(jī)中的所述圖像傳感器遠(yuǎn)離所述瞳孔間距的中心向外滑動(dòng)， 以聚焦到近的目標(biāo)上。
24.根據(jù)權(quán)利要求20所述的方法，其中，移動(dòng)所述至少一個(gè)圖像傳感器包括水平地滑動(dòng)每個(gè)2D照相機(jī)的至少一個(gè)圖像傳感器，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心；并且還包括豎直地滑動(dòng)每個(gè)2D照相機(jī)的至少一個(gè)圖像傳感器，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心。
25.一種用于自動(dòng)地會(huì)聚多個(gè)圖像的立體照相機(jī)系統(tǒng)，所述系統(tǒng)包括 包括第一 2D照相機(jī)和第二 2D照相機(jī)的多個(gè)2D照相機(jī)，其中，所述第一 2D照相機(jī)包括拍攝所述多個(gè)圖像中的第一圖像并將其投射到第一圖像傳感器上的第一透鏡，并且所述第二 2D照相機(jī)包括拍攝所述多個(gè)圖像中的第二圖像并將其投射到第二圖像傳感器上的第二透鏡；以及處理器，被構(gòu)造為(1)從所述多個(gè)2D照相機(jī)接收多個(gè)圖像的焦距并對(duì)其進(jìn)行處理，以計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；(2)使用所計(jì)算的所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；并且(3)移動(dòng)所述第一圖像傳感器和所述第二圖像傳感器，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中，所述處理器被構(gòu)造為沿著相反的方向水平地滑動(dòng)所述第一圖像傳感器和所述第二圖像傳感器，以將所述第一圖像和所述第二圖像的所述視野方向控制為會(huì)聚到所關(guān)注的中心。
27.根據(jù)權(quán)利要求沈所述的系統(tǒng)，其中，所述處理器還被構(gòu)造為豎直地滑動(dòng)所述第一圖像傳感器和所述第二圖像傳感器，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心。
28.一種用于自動(dòng)地會(huì)聚多個(gè)圖像的立體照相機(jī)系統(tǒng)，所述系統(tǒng)包括多個(gè)2D照相機(jī)，每個(gè)2D照相機(jī)包括拍攝圖像并將其投射到圖像傳感器上的透鏡；以及處理器，被構(gòu)造為(1)豎直地移動(dòng)每個(gè)2D照相機(jī)中的所述圖像傳感器，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心；(2)接收并處理所述多個(gè)圖像的焦距，以計(jì)算所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；(3)使用所計(jì)算的所述立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；并且(4)水平地移動(dòng)每個(gè)2D照相機(jī)中的所述圖像傳感器，以將所述多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
29.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中，所述處理器被構(gòu)造為水平地移動(dòng)每個(gè)2D照相機(jī)中的所述圖像傳感器，以調(diào)整所述多個(gè)2D照相機(jī)中的透鏡的偏心。
30.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中，所述處理器被構(gòu)造為通過(guò)使用對(duì)各個(gè)變焦水平的透鏡限定的移動(dòng)值的查找表，來(lái)調(diào)整所述多個(gè)2D照相機(jī)中每一者的每個(gè)透鏡的偏心。
全文摘要
本發(fā)明提供了一種3D自動(dòng)會(huì)聚照相機(jī)，其自動(dòng)地將用在包括多個(gè)2D照相機(jī)的立體照相機(jī)系統(tǒng)中的多個(gè)圖像自動(dòng)地會(huì)聚，包括從多個(gè)2D照相機(jī)中的每一者接收焦距；通過(guò)使用從多個(gè)2D照相機(jī)接收的焦距來(lái)計(jì)算立體照相機(jī)系統(tǒng)的系統(tǒng)焦距；使用所計(jì)算的立體照相機(jī)系統(tǒng)的系統(tǒng)焦距來(lái)確定所關(guān)注的中心；從多個(gè)2D照相機(jī)接收多個(gè)圖像，其中，通過(guò)使用焦距由多個(gè)2D照相機(jī)中的每一者產(chǎn)生多個(gè)圖像中的每一者；以及對(duì)多個(gè)圖像進(jìn)行裁剪，以將多個(gè)2D照相機(jī)的視野方向調(diào)整為會(huì)聚到所關(guān)注的中心。
文檔編號(hào)G03B35/00GK102472959SQ201080027399
公開(kāi)日2012年5月23日 申請(qǐng)日期2010年7月2日 優(yōu)先權(quán)日2009年7月2日
發(fā)明者喬治·H·喬布拉弗, 克里斯·庫(kù)克森, 大衛(wèi)·L·海斯 申請(qǐng)人:索尼公司, 索尼電影娛樂(lè)公司