專利名稱：用以產(chǎn)生全景影像的多重鏡頭相機系統(tǒng)的影像拾取裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影像拾取裝置。更明確地說，本發(fā)明涉及一種用以產(chǎn)生全景影像的多重鏡頭相機系統(tǒng)的影像拾取裝置。該影像拾取裝置可定位多重相機系統(tǒng)中的多個鏡頭，以便將簡單的拼接運算法實施于專用集成電路(ASIC，Application Specific IntegratedCircuit)解決方案中。
背景技術(shù)：
全景影像的產(chǎn)生通常需要多個相機同時拍攝然后再使用影像處理裝置來合成影像。或者，也可以使用單一相機結(jié)合搖攝(panning)馬達來執(zhí)行多次拍攝并將每次所得的影像進行拼接從而形成靜態(tài)的全景影像。例如，日本專利第11-008845號及第11-018003號中所公開的全景影像拾取裝置是采用搖攝馬達來捕捉廣角影像。然而，搖攝馬達增加了相機系統(tǒng)的成本及尺寸。因此，希望能以更簡單的機構(gòu)及更簡單的拼接運算法來產(chǎn)生全景視頻。

發(fā)明內(nèi)容
本發(fā)明的影像拾取裝置是將所有鏡頭的視角交叉點對準(zhǔn)，從而提供一種具有固定拼接點的捕獲影像系統(tǒng)，其中能夠以低成本的ASIC解決方案實施簡單的拼接運算法來產(chǎn)生全景視頻。
為達成上述目的，本發(fā)明提供一種多重鏡頭相機系統(tǒng)的影像拾取裝置，包含N個鏡頭，其中每個鏡頭的水平視角分別為HFOVi(i＝1，2，...，N)；以及定位機構(gòu)，其中該定位機構(gòu)將各鏡頭在水平方向上旋轉(zhuǎn)θi度(0＜θi＜HFOVi，i＝1，2，...，N-1)并定位于另一鏡頭的上方，而且該定位機構(gòu)將各鏡頭的視角交叉點在垂直方向上對齊。
根據(jù)本發(fā)明的一個方案，上述定位機構(gòu)將各鏡頭在垂直方向上傾斜i度(0＜i＜VFOVi，i＝1，2，...，N)。
根據(jù)本發(fā)明的另一方案，上述θ1＝θ2＝θ3＝...θN-1。
根據(jù)本發(fā)明的又一方案，上述N個鏡頭所達成的總水平視角等于Σi=1NHFOVi-Σi=1N(HFOVi+1-θi).]]>


圖1是根據(jù)本發(fā)明的影像拾取裝置的N個鏡頭的示意圖。
圖2是鏡頭旋轉(zhuǎn)角度及水平視角(HFOV)的示意圖。
圖3是表示鏡頭的視角交叉點的圖形。
圖4是一圖形，其表示由視角交叉點的不對準(zhǔn)(misalignment)所造成的水平視差。
圖5(a)及圖5(b)是分別表示在不對準(zhǔn)的情況下近處物體與遠(yuǎn)處物體的影像重疊比例的改變的圖。
圖6是一圖形，其表示鏡頭的視角交叉點對準(zhǔn)的情況。
圖7是一圖形，其表示未在垂直方向上傾斜鏡頭時的影像偏移。
圖8是一圖形，其表示通過在垂直方向上傾斜鏡頭而對準(zhǔn)的影像。
圖9是表示根據(jù)本發(fā)明的多重鏡頭相機系統(tǒng)的框圖。
主要元件符號說明110 鏡頭部分110A、110B、110C 鏡頭120A、120B、120C 軟排線130 影像處理邏輯區(qū)塊131 多重鏡頭影像信號處理器132 拼接邏輯133 影像信號處理器134 視頻編碼器135 MPEG編碼器136 網(wǎng)絡(luò)界面具體實施方式
圖1以2、3及N個鏡頭為例，表示根據(jù)本發(fā)明的多重鏡頭相機系統(tǒng)的影像拾取裝置。此鏡頭配置是通過根據(jù)本發(fā)明的定位機構(gòu)而達成。此定位機構(gòu)可以是視頻電話系統(tǒng)的一部分，用以產(chǎn)生超過單一鏡頭的角度限制的廣角影像。根據(jù)本發(fā)明的影像拾取裝置配合一種實施了簡單拼接運算法的ASIC，從而能夠提供一種低成本、小尺寸及超廣角的相機系統(tǒng)。
以下，將參考圖2至圖8來簡單地描述本發(fā)明的原理。
本發(fā)明的影像拾取裝置包含N個鏡頭及定位機構(gòu)。該定位機構(gòu)將各鏡頭在水平方向上旋轉(zhuǎn)θi度(0＜θi＜HFOVi，i＝1，2，...，N-1)并定位于另一鏡頭的上方。
圖2是鏡頭旋轉(zhuǎn)角度及水平視角(HFOV)的示意圖。假設(shè)相機系統(tǒng)中的N個鏡頭(i＝1，2，3，...，N)分別具有HFOVi的水平視角且各鏡頭旋轉(zhuǎn)角為θi(i＝1，2，3，...，N-1)，則系統(tǒng)的總水平視角HFOVt等于Σi=1NHFOVi-Σi=1N(HFOVi+1-θi)]]>。假設(shè)各鏡頭的HFOVi均為HFOV而各旋轉(zhuǎn)角θi均為θ，則系統(tǒng)的總HFOVt等于HFOV*N-(HFOV-θ)*(N-1)。舉例而言，當(dāng)N＝2(即共有兩個鏡頭)、HFOV1＝HFOV2＝60°、θ1＝30°時，總HFOVt等于90°；而當(dāng)N＝11(即共有11個鏡頭)、HFOVi＝60°(i＝1，2，3，...，11)、θi＝30°(i＝1，2，3，...，10)時，總HFOVt等于360°。
本發(fā)明的重要性在于捕捉的影像可用一種簡單的拼接運算法產(chǎn)生全景圖，其運算法可以用低成本的ASIC實施。由于此系統(tǒng)中各鏡頭的視角交叉點被對準(zhǔn)，故不同距離的物體的拼接點維持恒定。此外，相機系統(tǒng)的各鏡頭間的旋轉(zhuǎn)角可被固定，故可在相機制造時的校準(zhǔn)(calibration)過程中計算出拼接點。因此，ASIC無須由于物體的距離改變而對每一畫面都動態(tài)地計算拼接點。因此可顯著地減少拼接所需的計算量從而降低ASIC的成本。
在以下描述中，將解釋拼接點與視角交叉點對準(zhǔn)之間的關(guān)系。
圖3表示單一鏡頭的視角交叉點。圖4描述由于視角交叉點的不對準(zhǔn)所造成的拼接問題。在圖中，stpn代表近處物體的拼接點；stpf代表遠(yuǎn)處物體的拼接點；Dn代表視角交叉點與近處物體之間的距離；Df代表視角交叉點與遠(yuǎn)處物體之間的距離；Dth代表單一鏡頭的視角交叉點與二個鏡頭間FOV交會點的距離；Wn代表近處物體的水平視角寬度；Wf代表遠(yuǎn)處物體的水平視角寬度；α代表重疊區(qū)邊界與拼接點之間的角度；以及HFOV代表水平視角。如圖4所示，在不對準(zhǔn)的情況下，在距離Dth之內(nèi)并無影像重疊。假設(shè)令影像重疊的中心為拼接點，則當(dāng)相機與物體間的距離改變時拼接點也隨之偏移。
圖5(a)及圖5(b)分別表示在不對準(zhǔn)的情況下近處物體與遠(yuǎn)處物體的影像重疊比例的改變。由兩圖的比較可看出，圖5(a)中所示的近處物體的影像重疊部分(斜線部分)明顯小于圖5(b)中所示的遠(yuǎn)處物體的影像重疊部分(斜線部分)。
拼接點改變可由如下的運算式求得對于近處物體stpn=2Dn*tan(HFOVi2)-(Dn-Dth)*tanα]]>Wn=2Dn*tan(HFOVi2)]]>近處物體拼接點在影像內(nèi)的百分比為stpnWn=2Dn*tan(HFOVi2)-(Dn-Dth)*tanα2Dn*tan(HFOVi2)]]>對于遠(yuǎn)處的物體
stpf=2Df*tan(HFOVi2)-(Df-Dth)*tanα]]>Wf=2Df*tan(HFOVi2)]]>遠(yuǎn)處物體拼接點在影像內(nèi)的百分比為stpfWf=2Df*tan(HFOVI2)-(Df-Dth)*tanα2Df*tan(HFOVi2)]]>因此， 圖6表示鏡頭的視角交叉點被對準(zhǔn)的情況。在此情況下，不管物體距離怎樣、拼接點均保持相同。此情況可在以下的運算式中被解釋對于近處物體stpn=2Dn*tan(HFOVi2)-Dn*tanα]]>Wn=2Dn*tan(HFOVi2)]]>近處物體拼接點在影像內(nèi)的百分比為stpnWn=2Dn*tan(HFOVi2)-Dn*tanα2Dn*tan(HFOVi2)=2tan(HFOVi2)-tanα2tan(HFOVi2)]]>
對于遠(yuǎn)處的物體stpf=2Df*tan(HFOVi2)-Df*tanα]]>Wf=2Df*tan(HFOVi2)]]>遠(yuǎn)處物體拼接點在影像內(nèi)的百分比為stpfWf=2Df*tan(HFOVi2)-Df*tanα2Df*tan(HFOVi2)=2tan(HFOVi2)-tanα2tan(HFOVi2)]]>因此，stpnWn=stpfWf]]>此外，若有視角的垂直位移，則由各鏡頭所捕捉的影像會有所偏移。圖7解釋由于視角的垂直位移所造成的影像不重合(non-coinciding)。不重合的部分需被修剪(cropped)才可形成最終的全景影像。N越大時，就有越多的部分被修剪。為了解決此問題，本發(fā)明的定位機構(gòu)在垂直方向上傾斜各鏡頭i度(0＜i＜VFOVi，i＝1，2，...，N)。圖8解釋在垂直方向上傾斜各鏡頭而獲得的結(jié)果。注意在傾斜鏡頭時視角交叉點仍維持被對齊。
因此，本發(fā)明的影像拾取裝置能夠提供具有恒定拼接點的影像，因而簡化了拼接運算法的復(fù)雜度。
接下來，將參考圖9的框圖來描述根據(jù)本發(fā)明的多重鏡頭相機系統(tǒng)的一實施例。為使本發(fā)明的說明書更簡潔且清楚，以下描述主要說明多重鏡頭相機系統(tǒng)的鏡頭部分以及相關(guān)的影像處理程序，而省略了一般相機系統(tǒng)的其他部分的詳細(xì)說明。
如圖9所示，鏡頭部分110包含三個鏡頭110A、110B及110C，其中鏡頭110B配置于鏡頭110A的上方且在水平方向上逆時針偏轉(zhuǎn)角度θ(未標(biāo)示于圖形中)；而鏡頭110C則配置于鏡頭110B的上方且在水平方向上逆時針再偏轉(zhuǎn)相同角度θ。由鏡頭110A、110B及110C所捕捉的影像信號分別透過軟排線(FFC，F(xiàn)lexible Flat Cable)120A、120B及120C而被傳送入影像處理邏輯區(qū)塊130以進一步執(zhí)行信號處理。影像處理邏輯區(qū)塊130包含多重鏡頭影像信號處理器131、拼接邏輯132、影像信號處理器133、視頻編碼器134、MPEG編碼器135及網(wǎng)絡(luò)界面136。
首先，多重鏡頭影像信號處理器131將從鏡頭110A、110B及110C傳送來的影像信號進行初步處理，其主要工作在于減少各鏡頭所捕捉的影像間的差異。經(jīng)初步處理后的影像信號被分別傳送至拼接邏輯132。拼接邏輯132便對各影像進行數(shù)學(xué)轉(zhuǎn)換及合并，從而將各影像無縫地合成為單一影像。該單一影像被傳送至影像信號處理器133以進行傳統(tǒng)的影像處理。經(jīng)影像信號處理器133處理過的影像可由視頻編碼器134所編碼并顯示在任意的顯示裝置上?；蛘撸?jīng)影像信號處理器133處理過的影像也可以由MPEG編碼器135壓縮以便存儲于任意的存儲裝置中。最后，經(jīng)MPEG編碼器135所壓縮的影像可通過網(wǎng)絡(luò)界面136而被傳送至網(wǎng)際網(wǎng)絡(luò)。
拼接運算法是產(chǎn)生全景影像時損耗最多計算量的部分。對于高幀頻(frame rate)的視頻(例如，30fps)，一種低成本的ASIC解決方案并不足以達到每1/30秒更新拼接點的性能。本發(fā)明公開了一種簡單且可行的機構(gòu)，使多個鏡頭捕捉具有恒定拼接點的影像，從而提供一種低成本、超廣角且小尺寸的相機系統(tǒng)。
權(quán)利要求
1. 一種多重鏡頭相機系統(tǒng)的影像拾取裝置，包含N個鏡頭，其中每個鏡頭的水平視角分別為HFOVi(i＝1，2，...，N)；以及定位機構(gòu)，其中該定位機構(gòu)將各鏡頭在水平方向上旋轉(zhuǎn)θi度(0＜θi＜HFOVi，i＝1，2，...，N-1)并定位于另一鏡頭的上方，而且該定位機構(gòu)將各鏡頭的視角交叉點在垂直方向上對齊。
2.如權(quán)利要求1所述的影像拾取裝置，其中該定位機構(gòu)將各鏡頭在垂直方向上傾斜i度(0＜i＜VFOVi，i＝1，2，...，N)。
3.如權(quán)利要求1所述的影像拾取裝置，其中θ1＝θ2＝θ3＝...＝θN-1。
4.如權(quán)利要求1所述的影像拾取裝置，其中該N個鏡頭所達成的總水平視角等于Σi=1NHFOVi-Σi=1N(HFOVi+1-θi).]]>
全文摘要
本發(fā)明的目的在于簡化產(chǎn)生水平全景影像的拼接(stitching)運算法。本發(fā)明的影像拾取裝置包含多個鏡頭及定位機構(gòu)。該定位機構(gòu)將各鏡頭的視角(FOV，F(xiàn)ield Of View)交叉點在垂直方向上對準(zhǔn)。因此，水平視差(parallax)不會存在于相機系統(tǒng)所拾取的影像中，而且不同距離的物體的拼接點保持為恒定。
文檔編號G03B37/00GK1979334SQ20051012852
公開日2007年6月13日 申請日期2005年11月30日 優(yōu)先權(quán)日2005年11月30日
發(fā)明者潘積桂, 光下辰己, 林旭婷, 郭恕銘 申請人:臺灣新力國際股份有限公司