主動式立體攝影校正裝置以及產(chǎn)生立體攝影參數(shù)的方法
【專利說明】主動式立體攝影校正裝置以及產(chǎn)生立體攝影參數(shù)的方法
[0001 ] 優(yōu)先權聲明
[0002]本申請主張在2013年7月5日提出申請的美國臨時專利申請第61/843，221號的權利，且上述美國專利申請以引用方式并入本文中。
技術領域
[0003]本發(fā)明所揭露的實施方式是與立體攝影裝置的校正有關，具體來說，涉及到主動式(on-line)立體攝影校正裝置以及產(chǎn)生立體攝影參數(shù)的方法。
【背景技術】
[0004]隨著科學與技術的發(fā)展，相比較于高質(zhì)量的圖像，用戶追求更具立體感與真實感的圖像。目前，具有兩種展現(xiàn)立體圖像的技術。一種是使用視頻輸出裝置，其與鏡片(例如立體眼鏡、偏振眼鏡、快門眼鏡)合作，另外一種是直接使用一種視頻輸出裝置，而并非與匹配的鏡片配合。無論使用哪種技術，產(chǎn)生立體圖像顯示的主要理論是使得左眼與右眼看到不同的圖像(即一個左眼圖像與一個右眼圖像)，因此大腦將兩眼的不同的圖像作為一個立體圖像。
[0005]—個左眼圖像與一個右眼圖像的立體圖像組可以通過使用一個立體攝影裝置來獲得。立體攝影裝置是一個攝影機，其具有兩個圖像傳感器，來同時獲得兩個圖片。立體圖像組，包含一個左眼圖像與一個右眼圖像，從而當用戶觀看時創(chuàng)造一個三維(3D)效果。舉例來說，一個智能手機配置有立體攝影模塊，該立體攝影模塊包含兩個圖像傳感器，每一個圖像傳感器具有一個透鏡。立體攝影模塊的捕獲結果被處理并且在智能手機的3D板(3Dpanel)上顯示。
[0006]然而，當制造立體攝影模塊時，可能在透鏡模塊、圖像傳感模塊、以及/或者立體攝影模塊的立體攝影布局上具有不可避免的誤差。因此，一個立體圖像組包含的一個左眼圖像與一個右眼圖像的基準點(即中心)并非具有X軸的共線性、左眼圖像的Y軸與右眼圖像的Y軸并不平行、以及/或者左眼圖像的Z軸與右眼圖像的Z軸并不平行。
[0007]在智能手機配備有立體攝影模塊之后，智能手機的一個圖像處理芯片需要應用圖像校正至立體攝影模塊產(chǎn)生每一立體圖像組，來避免/緩和立體攝影模塊的內(nèi)在誤差導致的圖像質(zhì)量下降。基于智能手機的圖像處理芯片的校正模塊，模塊廠(module house)需要執(zhí)行一個線下(離線off-line)立體攝影校正來產(chǎn)生校正模塊當前所需的立體攝影參數(shù)。然而，當智能手機的圖像處理芯片被修正，從而使用不同的校正模塊時，模塊廠需要執(zhí)行另外一次線下立體攝影校正，以產(chǎn)生校正模塊當前所需的新的立體攝影參數(shù)。
[0008]此外，立體攝影校正程序是在裝配程序之后執(zhí)行。實際上，立體攝影校正程序是由模塊廠來完成，而不是由裝配廠來完成。因此，多個圖像傳感器之間的相對位置需要在模塊廠以及裝配廠之間保持一致。然而，在裝配廠中，這是變化的。因此，基于模塊廠提供的立體攝影參數(shù)所執(zhí)行的立體圖像校正可能不能夠有效地減緩由于立體攝影模塊的內(nèi)在誤差導致的圖像質(zhì)量下降。

【發(fā)明內(nèi)容】

[0009]依據(jù)本申請的示范性舉例，主動式立體攝影校正裝置以及產(chǎn)生立體攝影參數(shù)的相關方法被提出，從而解決上述技術問題。
[0010]根據(jù)本發(fā)明的第一方面，提供了一種示例性的主動式立體攝影校正方法。主動式立體攝影校正方法由配置了立體攝影裝置的電子裝置所執(zhí)行，包含:獲取特征點集合;并且至少依據(jù)所獲取的特征點集合，利用所述電子裝置中的立體攝影校正電路來計算立體攝影參數(shù)集合。
[0011]根據(jù)本發(fā)明的第二方面，提供了一種示例性的配置了立體攝影裝置的電子裝置中的主動式立體攝影校正裝置，包含立體攝影校正電路。所述立體攝影校正電路包含輸入接口以及立體攝影校正單元。該輸入接口用來獲取特征點集合。該立體攝影校正單元用來至少依據(jù)所獲取的特征點集合計算立體攝影參數(shù)集合。
[0012]在閱讀以下對各圖及圖式中所例示的優(yōu)選實施例的詳細說明之后，本發(fā)明的這些及其它目標無疑將對所屬領域的技術人員顯而易見。
【附圖說明】
[0013]圖1是依據(jù)本發(fā)明的一個實施例的在模塊廠產(chǎn)生特征點集合的舉例說明。
[0014]圖2是用來一次拍攝校正的3D校正模型樣板的舉例說明。
[0015]圖3是具有對稱圖像傳感器的立體攝影模塊的舉例說明。
[0016]圖4是具有非對稱圖像傳感器的立體攝影模塊的舉例說明。
[0017]圖5是依據(jù)本發(fā)明的實施例的支持主動式立體攝影校正的電子裝置的舉例說明。
[0018]圖6是依據(jù)本發(fā)明的實施例的第一立體攝影方案的流程圖。
[0019]圖7是依據(jù)本發(fā)明的實施例的支持主動式立體攝影校正的另一電子裝置的舉例說明。
[0020]圖8是具有對稱單透鏡圖像傳感器的模塊簡化立體攝影機的舉例說明。
[0021 ]圖9是具有非對稱單透鏡圖像傳感器的模塊簡化立體攝影機的舉例說明。
[0022]圖10是依據(jù)本發(fā)明的實施例的第二立體攝影方案的流程圖。
[0023]圖11是依據(jù)本發(fā)明的支持主動式立體攝影校正的又一電子裝置的舉例說明。
【具體實施方式】
[0024]本說明書及權利要求書通篇中所用的某些用語指代特定部件。如所屬領域的技術人員可以理解的是，電子設備制造商可利用不同名稱來指代同一個部件。本文并非以名稱來區(qū)分部件，而是以功能來區(qū)分部件。在以下說明書及權利要求書中，用語“包括”是開放式的限定詞語，因此其應被解釋為意指“包括但不限于…”。另外，用語“親合”旨在意指間接電連接或直接電連接。因此，當一個裝置耦合到另一裝置時，則這種連接可以是直接電連接或通過其他裝置及連接部而實現(xiàn)的間接電連接。
[0025]本發(fā)明的一方面提供了一種跨平臺的立體攝影校正，這是一種主動式(on-line)立體攝影校正，其使用由模塊廠所提供的特征點集合。相同的特征點集合可用來提供不同的校正模塊所需的信息。因此，當一個電子裝置(例如一個移動電話)的圖像處理芯片被修正，以配置一個新的平臺所使用的不同的校正模塊時，模塊廠不需要為了移動電話中配置的立體攝影模塊提供一個新的特征點集合。本發(fā)明的另一方面，用來提供一種基于學習的(learning-based)立體攝影校正，其使用經(jīng)由機器學習所提供的特征點集合。執(zhí)行自我學習的程序來收集基于由電子裝置中配置的立體攝影裝置產(chǎn)生的每一立體圖像組的特征點。因此，特征點集合是在裝配廠所做的裝配程序之后獲得。盡管由于某些因素，圖像傳感器之間的相對位置改變了，特征點集合將由自我學習的程序更新。基于自我學習的程序所保持的學習數(shù)據(jù)組而獲得的特征點集合，電子裝置所執(zhí)行的圖像校正能夠避免/減緩由立體攝影裝置的誤差導致的圖像質(zhì)量下降。本發(fā)明提出用于大規(guī)模生產(chǎn)的對稱/非對稱的立體攝影系統(tǒng)的兩種立體攝影校正方案。具體細節(jié)如下詳述。
[0026]圖1是依據(jù)本發(fā)明的一個實施例的在模塊廠產(chǎn)生特征點集合的舉例說明。模塊廠制造立體攝影模塊104，包含多個圖像傳感器，每一圖像傳感器具有一個透鏡。舉例來說，立體攝影模塊104具有至少兩個圖像傳感器，來同時捕獲一個左眼圖像以及一個右眼圖像。模塊廠通過裝配立體攝影模塊104在一個裝配裝置(未顯示)上來設置一個校正環(huán)境。接下來，模塊廠可在立體攝影模塊104上執(zhí)行一次拍攝校正(one-shot calibrat1n)。具體來說，立體攝影模塊104是用來僅僅拍攝3D校正模型樣板CP3d—次，來產(chǎn)生包含左眼圖像頂Gl與右眼圖像頂Gr的立體圖像組103。需注意的是，使用3D校正模型樣板CP3d來實現(xiàn)一次拍攝校正僅僅用來舉例說明。可替換地，模塊廠可使用不同的校正模型樣板。此外，立體圖像組103可能通過拍攝多于一次的校正模型樣板來產(chǎn)生。
[0027]圖2是用來一次拍攝校正的3D校正模型樣板CP3d的舉例說明。如圖2所示，3D校正模型樣板CP3D具有一個顏色模型202位于y-z平面，另一個顏色模型204位于X-Z平面，以及另一個顏色模型206位于x-y平面。每一顏色模型202-206具有一個不同顏色成份的棋盤布置。舉例來說，顏色模型202具有一個紅色(255，0，0)顏色成份(在圖2中以“R”來表示)以及一個青色(0，255，255)顏色成份(在圖2中以“C”來表示)分布其中，顏色模型204具有一個綠色(0，255，0)顏色成份(在圖2中以“G”來表示)以及一個紫紅色(255，0，255)的顏色成份(在圖2中以“F”來表示)分布其中，以及顏色模型206具有一個藍色(0，0，255)顏色成份(在圖2中以“B”來表示)以及一個黃色(255，255，0)顏色成份(在圖2中以“Y”來表示)分布其中。需注意的是，3D校正模型樣板CP3d僅僅用于舉例說明，而并非作為本發(fā)明的限制。舉例來說，可以在另一個一次拍攝校正設計中使用不同的校正模型樣板。
[0028]立體攝影模塊104產(chǎn)生立體圖像組103，包含左眼圖像頂