專利名稱：立體影像拍攝裝置的制作方法
技術領域：
本發(fā)明涉及一種生成用于使得感知兩眼視差形成的立體影像的影像的立體影像拍攝裝置.
背景技術：
近年來，下述技術得到普及在有兩眼視差的2個影像中，使右眼識別右眼用影像、左眼識別左眼用影像，從而使視聽者感知立體影像(3D影像)。生成使得感知該立體影像的右眼用影像和左眼用影像的立體影像拍攝裝置分別生成右眼用影像和左眼用影像，因此大多具有2個拍攝部。但是，存在如下情況2個拍攝部、或構成拍攝部的鏡頭的形成精度、組裝精度有個體差異，在2個拍攝部之間進行設計時所設定的拍攝軸和實際的拍攝軸的偏離產生差 異，或者在2個拍攝部之間產生倍率誤差。因此，存在因由2個拍攝部生成的2個影像數(shù)據(jù)而使觀察者無法正確成像立體圖像的問題。其中，拍攝軸表示拍攝方向，是相當于通過拍攝部生成的影像的中心(影像中心)的軸。這樣的拍攝軸的偏離的差異、倍率誤差可通過直接調節(jié)硬件、或調節(jié)取得的影像數(shù)據(jù)的剪切范圍來進行校正(補正)。例如公開了以下技術對于通過一個拍攝部生成的影像數(shù)據(jù)，以該拍攝部的實際的拍攝軸為中心設定剪切范圍，對通過另一方拍攝部生成的影像數(shù)據(jù)，錯開以另一方拍攝部實際的拍攝軸相對一方拍攝部實際的拍攝軸的偏離程度進行剪切時的中心(剪切中心)，設定剪切范圍(例如專利文獻I)現(xiàn)有技術文獻專利文獻專利文獻I :日本特開2006 - 162991號公報

發(fā)明內容
發(fā)明要解決的課題通過調節(jié)從影像數(shù)據(jù)剪切時的剪切中心和剪切范圍來校正拍攝軸的偏離的差異時，剪切范圍限定在影像數(shù)據(jù)的范圍內。因此，當上述專利文獻I所述的、僅錯開單方的拍攝部的影像數(shù)據(jù)的剪切中心時，通過錯開的剪切中心和影像數(shù)據(jù)的范圍，限制了剪切范圍。因此，本發(fā)明的目的在于提供一種通過適當剪切拍攝部生成的影像數(shù)據(jù)，可維持剪切的部分影像數(shù)據(jù)的畫質的立體影像拍攝裝置。 用于解決課題的方法為解決上述課題，本發(fā)明的立體影像拍攝裝置的特征在于具有拍攝部，生成具有用于感知立體影像的兩眼視差的右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)；信息保持部，保持表示分別以右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的影像中心點為原點時的、將投影到右眼用影像數(shù)據(jù)的指標移動差分矢量的右校正點的位置、和將投影到左眼用影像數(shù)據(jù)的指標移動差分矢量的左校正點的位置的位置信息，差分矢量是以連接投影到右眼用影像數(shù)據(jù)的指標及投影到左眼用影像數(shù)據(jù)的指標的接線的中點為起點、以影像中心點為終點的差分矢量；剪切控制部，根據(jù)位置信息，從右眼用影像數(shù)據(jù)以右校正點為剪切中心、從左眼用影像數(shù)據(jù)以左校正點為剪切中心，分別剪切大小相等的部分影像數(shù)據(jù)。上述拍攝部在用于生成右眼用影像數(shù)據(jù)的拍攝軸上、及用于生成左眼用影像數(shù)據(jù)的拍攝軸上，分別具有可放大及縮小拍攝對象的鏡頭，信息保持部將使鏡頭設定為不同的多個倍率時的位置信息，與各自的倍率建立關聯(lián)并保持，剪切控制部取得當前的鏡頭的倍率，根據(jù)與當前的鏡頭的倍率建立關聯(lián)的位置信息，從右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)分別剪切大小相等的部分影像數(shù)據(jù)。上述拍攝部在用于生成右眼用影像數(shù)據(jù)的拍攝軸上、及用于生成左眼用影像數(shù)據(jù)的拍攝軸上，分別具有可放大及縮小拍攝對象的鏡頭，信息保持部保持表示投影到通過拍攝部生成的右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的同一拍攝對象的尺寸比的比率信息，剪切控制部，將保持的比率信息所示的比率加I的和除以2所獲得的平均值，乘以右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的任意一個，將平均值除以上述比率的值，乘以未和平均值相乘的影像數(shù)據(jù)，從乘以平均值的影像數(shù)據(jù)、及和平均值除以比率的值相乘的影像數(shù)據(jù)中，分別剪切大小相等的部分影像數(shù)據(jù)?！ど鲜鲂畔⒈３植繉⑹圭R頭設定為不同的多個倍率時的比率信息，與各自的倍率建立關聯(lián)并保持，剪切控制部取得當前的鏡頭的倍率，根據(jù)與當前的鏡頭的倍率建立關聯(lián)的比率信息，從乘以平均值的影像數(shù)據(jù)、及和平均值除以比率的值相乘的影像數(shù)據(jù)中，分別剪切大小相等的部分影像數(shù)據(jù)。發(fā)明效果如上所述，本發(fā)明通過適當剪切拍攝部生成的影像數(shù)據(jù)，可維持剪切的部分影像數(shù)據(jù)的畫質。


圖I是表示立體影像拍攝裝置的一例的外觀圖。圖2是表示立體影像拍攝裝置的概要性構成的功能框圖。圖3是用于說明校正值生成部的位置信息的生成單元的說明圖。圖4是用于說明校正值生成部的位置信息的生成單元的說明圖。圖5是用于說明校正值生成部的位置信息的生成單元的說明圖。圖6是用于說明剪切處理部的拍攝軸校正處理的詳細動作的說明圖。圖7是表示第2實施方式涉及的立體影像拍攝裝置的概要性構成的功能框圖。圖8是用于說明校正值生成部的比率信息的計算方法的說明圖。圖9是用于說明剪切處理部的縮放校正處理的詳細動作的說明圖。圖10是用于說明剪切處理部的縮放校正處理的詳細動作的說明圖。附圖標記100、300立體影像拍攝裝置104拍攝鏡頭IlOaUlOb 拍攝軸120 (120a、120b)拍攝部
126,326剪切處理部132、332信息保持部140變焦鏡頭(可放大或縮小拍攝對象的鏡頭)142聚焦鏡頭152,352校正值生成部154、354剪切控制部
具體實施例方式以下參照附圖詳細說明本發(fā)明的優(yōu)選實施方式。所述實施方式所示的尺寸、材料、其他具體數(shù)值等僅是易于理解發(fā)明的示例，除特別聲明外，不用于限定本發(fā)明。此外，在本 說明書及附圖中，對具有實質上相同的功能、構成的要素附加同樣的附圖標記，從而省略重復性說明，并且省略和本發(fā)明無直接關系的要素。(第I實施方式立體影像拍攝裝置100)圖I是表示第I實施方式涉及的立體影像拍攝裝置100的一例的外觀圖。圖1(a)中作為立體影像拍攝裝置100是錄像機，圖I (b)中作為立體影像拍攝裝置100是所謂數(shù)字靜物相機。立體影像拍攝裝置100具有便攜性，構成包括主體102、2個拍攝鏡頭104a、104b、操作部106、顯示部(取景器)108。在作為圖I (a)所示的立體影像拍攝裝置100的錄像機中，顯示部108是開關式的，未在拍攝時，可折疊顯示部108使之緊湊。其中，通過在該顯示部108的背面設置拍攝鏡頭104b，構成為可在避免立體影像拍攝裝置100的大型化的同時，充分確保兩個拍攝鏡頭104a、104b之間的基線長度。立體影像拍攝裝置100的拍攝部的拍攝軸IlOaUlOb如圖I所示，當拍攝者水平把持立體影像拍攝裝置100的主體102時，各自的拍攝軸IlOaUlOb在同一水平面上大致平行或在拍攝方向相交。其中，拍攝軸IlOaUlOb表示拍攝方向，是從通過拍攝部生成的影像的中心點(影像中心點)向拍攝方向延長的線。立體影像拍攝裝置100將通過2個拍攝鏡頭104a、104b生成的、具有用于使得感知立體影像的兩眼視差的2個影像數(shù)據(jù)(右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù))，以并排(sideby side)方式、上下(top andbottom)方式、行序(line sequential)方式、巾貞序方式等用于使得感知立體影像的規(guī)定方式進行記錄，并且對應拍攝者通過操作部106的操作輸入，調節(jié)該拍攝時序、視角。并且，立體影像拍攝裝置100受理來自拍攝者的野外、室內、夜景等拍攝模式的切換輸入，執(zhí)行與之對應的圖像處理。該立體影像拍攝裝置100 —般大多具有2個拍攝部，通過一個拍攝部生成使右眼識別的右眼用影像數(shù)據(jù)，通過另一個拍攝部生成使左眼識別的左眼用影像數(shù)據(jù)。但是，2個拍攝部及其各自設置的拍攝鏡頭104的形成精度、組裝精度有個體差異，在2個拍攝部之間產生拍攝軸的偏移的差異、倍率誤差，當不進行任何處理時，產生通過生成的2個影像數(shù)據(jù)拍攝者(觀察者)無法正確成像立體影像的問題。因此，在本實施方式的立體影像拍攝裝置100中，通過適當?shù)丶羟信臄z部生成的影像數(shù)據(jù)，可維持剪切的部分影像數(shù)據(jù)的畫質。以下說明這樣的立體影像拍攝裝置100。圖2是表示立體影像拍攝裝置100的概要構成的功能框圖。其中，作為立體影像拍攝裝置100，包括圖I (a)所示的錄像機。如圖2所示，立體影像拍攝裝置100的構成包括操作部106、2個拍攝部120 (圖2中以120a、120b表示)、影像緩沖器122、數(shù)據(jù)處理部124、剪切處理部126、影像合成部128、顯示部108、影像存儲部130、信息保持部132、中央控制部134。圖2中，實線表示數(shù)據(jù)的流程，虛線表示控制信號的流程。操作部106由包括釋放開關的操作鍵、十字鍵、操縱桿、重疊在顯示部108的顯示面上的觸摸面板等開關構成，接受拍攝者的操作輸入。拍攝部120如上所述，使各自的拍攝軸IlOaUlOb基本并排、或在拍攝方向的任意的收斂點相交地配置。并且，對應操作者通過操作部106的操作輸入，當選擇了影像數(shù)據(jù)的生成(錄像)時，拍攝部120a生成右眼用影像數(shù)據(jù)，拍攝部120b生成左眼用影像數(shù)據(jù)，將該影像數(shù)據(jù)輸出到影像緩沖器122。具體而言，拍攝部120的構成包括拍攝鏡頭104 (圖2中以104a、104b表示)；可 放大或縮小拍攝對象的變焦鏡頭140 (變倍鏡頭);焦點調節(jié)中使用的聚焦鏡頭142 ;曝光調節(jié)中使用的光圈(可變光闌)144 ;拍攝元件146，其將通過拍攝鏡頭104入射的光束光電變換為電子數(shù)據(jù)(影像數(shù)據(jù))；驅動部148，其對應下述拍攝控制部150的控制信號，分別驅動變焦鏡頭140、聚焦鏡頭142、光圈144及拍攝元件146，拍攝部120生成2個拍攝軸110a、IlOb各自的2個影像數(shù)據(jù)。此外，在本實施方式中，2個拍攝部120聯(lián)動，根據(jù)拍攝控制部150的控制信號，并行(同步)驅動各自的變焦鏡頭140、聚焦鏡頭142、光圈144及拍攝元件146的組合。影像緩沖器122由閃存、RAM等構成，分別以幀單位暫時保持一個拍攝部120a生成的右眼用影像數(shù)據(jù)、及另一個拍攝部120b生成的左眼用影像數(shù)據(jù)。數(shù)據(jù)處理部124對從影像緩沖器122輸出的右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)實施R (紅色)G (綠色)B (藍色)處理(Y校正、顏色校正)、增強處理、噪點降低處理等影像信號處理。剪切處理部126對應下述剪切控制部154的控制，剪切通過數(shù)據(jù)處理部124進行了影像信號處理后的影像數(shù)據(jù)的一部分并執(zhí)行校正拍攝軸的拍攝軸校正處理、執(zhí)行校正縮放(放大或縮小)比的縮放校正處理后，輸出到影像合成部128。剪切處理部126的拍攝軸校正處理、縮放校正處理的詳細動作稍后詳述。此外，影像合成部128可位于剪切處理部126的前段。影像合成部128合并從剪切處理部126輸出的右眼用影像數(shù)據(jù)和左眼用影像數(shù)據(jù)，例如生成并排方式、上下方式、行序方式、幀序方式等用于使得感知立體影像的規(guī)定方式的合成數(shù)據(jù)，輸出到顯示部108、影像存儲部130。顯示部108由液晶顯示器、有機EL (Electro Luminescence/電致發(fā)光)顯示器等構成，不限于附屬于錄像機、數(shù)字靜物相機的顯示器、取景器，也可是其他顯示器。并且，顯示部108顯示影像合成部128輸出的合成數(shù)據(jù)。此時，顯示部108可分別顯示構成合成數(shù)據(jù)的右眼用影像數(shù)據(jù)或者左眼用影像數(shù)據(jù)。并且，顯示部108例如根據(jù)偏光顯示方式等而每I行偏光不同時，影像合成部128以行序方式輸出合成數(shù)據(jù)，拍攝者安裝偏光眼鏡等，右眼僅識別右眼用影像、左眼僅識別左眼用影像，將合成數(shù)據(jù)作為立體影像感知。此外，當是使拍攝者感知立體影像地形成的顯示部108時，作為顯示方式不限于行序方式，例如也可使用以下方式按各幀交互顯示右眼用影像和左眼用影像，通過電子快門式眼鏡進行識別的幀序方式；經由雙凸透鏡控制右眼用影像和左眼用影像各自的光的行進方向的雙凸透鏡方式等。拍攝者識別顯示部108上顯示的影像的同時操作操作部106，從而可以所需的位置及占有面積捕捉被攝體。影像存儲部130由HDD、閃存、非易失性RAM等構成，對應后述存儲控制部156的控制信號，存儲從影像合成部128輸出的合成數(shù)據(jù)。并且，影像存儲部130也可作為在CD、DVD, BD等光盤介質、或便攜存儲卡等可裝卸的存儲介質中存儲合成數(shù)據(jù)的裝置構成。此時，影像存儲部130可將影像數(shù)據(jù)以M - JPEG、MPEG — 2、H. 264等規(guī)定的編碼方式編碼。信息保持部132由EEPR0M、PR0M、非易失性RAM等構成，例如在出廠時預先保持由下述校正值生成部152生成的位置信息。其中，信息保持部132將使變焦鏡頭140及聚焦鏡頭142設定為不同的多個倍率時的位置信息，與各自的倍率建立關聯(lián)，預先保持。位置信息表示分別以右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的影像中心點為原點時的、將投影到右眼 用影像數(shù)據(jù)的指標移動差分矢量的右校正點的位置、和將投影到左眼用影像數(shù)據(jù)的指標移動差分矢量的左校正點的位置。其中，差分矢量是以連接投影到右眼用影像數(shù)據(jù)的指標及投影到左眼用影像數(shù)據(jù)的指標的接線的中點為起點、以影像中心點為終點的矢量。稍后詳述校正值生成部152的位置信息的生成單元。中央控制部134通過包括中央處理裝置(CPU)、存儲了程序等的ROM、作為工作區(qū)域的RAM等的半導體集成電路，管理及控制立體影像拍攝裝置100整體。并且，在本實施方式中，中央控制部134也作為拍攝控制部150、校正值生成部152、剪切控制部154、存儲控制部156起作用。拍攝控制部150根據(jù)拍攝者的操作輸入、即由操作部106提供的信息，控制拍攝部120。例如，拍攝控制部150為獲得適當?shù)挠跋駭?shù)據(jù)，使驅動部148驅動變焦鏡頭140、聚焦鏡頭142、光圈144及拍攝元件146。并且，拍攝控制部150執(zhí)行變焦功能(倍率變更功能)時，通過驅動部148使變焦鏡頭140及聚焦鏡頭142移動。校正值生成部152生成剪切控制部154進行拍攝軸校正處理時使用的位置信息，使信息保持部132保持。圖:T圖5是用于說明校正值生成部152的位置信息的生成單元的說明圖。如上所述，因包括拍攝鏡頭104、變焦鏡頭140、聚焦鏡頭142而構成的2個拍攝部120的形成精度、組裝精度、由鏡頭驅動電機等構成的驅動部148存在個體差異。因此，產生基準拍攝軸、即設計立體影像拍攝裝置100時設定的拍攝軸(以下簡稱為基準軸)和實際的拍攝軸(以下簡稱實拍攝軸)110a、IlOb的偏離，該偏離按照各拍攝部120而不同，因此在2個拍攝部120之間，該偏離中產生差異。因此，為減少一個拍攝部120a的基準軸和實拍攝軸的偏離、與另一個拍攝部120b的基準軸和實拍攝軸的偏離之間的差分，校正值生成部152首先分別計算出分別以右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的影像中心點(表示實拍攝軸的點)為原點時的、投影到右眼用影像數(shù)據(jù)的指標的位置、和投影到左眼用影像數(shù)據(jù)的指標的位置。具體而言，如圖3 (a)、(b)所示，在拍攝部120a、120b的基準軸160a、160b上分別設置圖3 (c)所示的指標162。并且，將變焦鏡頭140和聚焦鏡頭142設定為規(guī)定倍率并拍攝，校正值生成部152計算出分別以拍攝部120a、120b各自生成的右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的影像中心點為原點時的、投影到右眼用影像數(shù)據(jù)的指標的位置、和投影到左眼用影像數(shù)據(jù)的指標的位置。其中，指標162可設置在基準軸160a、160b上的任意位置，并且，指標162可使用“X”標志，但不限于此，只要可將基準軸的位置以點來表示，則可是任意的指標。此時，拍攝部120a、120b生成的影像數(shù)據(jù)是圖4(a)所示的右眼用影像數(shù)據(jù)164a和左眼用影像數(shù)據(jù)164b時，對作為表示拍攝部120a的實拍攝軸的點的右眼用影像數(shù)據(jù)164a中的影像中心點M，可知投影到右眼用影像數(shù)據(jù)164a的指標A (指標162投影到右眼用影像數(shù)據(jù)164a)在正面視圖中向右側偏離。影像中心點M是右眼用影像數(shù)據(jù)164a的垂直方向的中心線166a和水平方向的中心線168a的交點。其中，指標162設置在基準軸上，因此對右眼用影像數(shù)據(jù)164a中的影像中心點M，可以說表示右眼用影像數(shù)據(jù)164a中的基準軸的點在正面視圖中向右側偏離(正確而言，拍攝部120a的實拍攝軸相對基準軸偏離)。并且，對作為表示拍攝部120b的實拍攝軸的點的左眼用影像數(shù)據(jù)164b中的影像中心點N，可知投影到左眼用影像數(shù)據(jù)164b的指標B (指標162投影到左眼用影像數(shù)據(jù)164b)在正面視圖中向左下側偏離。影像中心點N是左眼用影像數(shù)據(jù)164b的垂直方向的中心線166b和水平方向的中心線168b的交點。其中，指標162也設置在基準軸上，因此對左眼用影像數(shù)據(jù)164b中的影像中心點N，可以說表示左眼用影像數(shù)據(jù)164b中的基準軸的點在正面視圖中向左下·側偏離(正確而言，拍攝部120b的實拍攝軸相對基準軸偏離)。在此校正值生成部152計算出以作為表示圖4 (a)所示的實拍攝軸的點的右眼用影像數(shù)據(jù)164a的影像中心點M為原點時的、投影到右眼用影像數(shù)據(jù)164a的指標A(表示基準軸的點)的位置。同樣，校正值生成部152計算出以作為表示圖4 (a)所示的實拍攝軸的點的左眼用影像數(shù)據(jù)164b的影像中心點N為原點時的、投影到左眼用影像數(shù)據(jù)164b的指標B (表示基準軸的點)的位置。其中，以原點為影像中心點、將投影的指標A及投影的指標B的位置用xy坐標值(x，y)表示時，投影到右眼用影像數(shù)據(jù)164a的指標A (以下簡稱為基準點A)的xy坐標值是(ax，ay)，投影到左眼用影像數(shù)據(jù)164b的指標B (以下簡稱為基準點B)的xy坐標值是(bx，by)。其中，x坐標是畫面水平方向的坐標，y坐標是畫面垂直方向的坐標。并且如圖4 (b)所示，校正值生成部152導出以連接計算出的基準點A及基準點B的接線C的中點D為起點、以影像中心點(原點)為終點的差分矢量E。其中，基準點A的Xy坐標值是(ax, ay),基準點B是(bx,by)時，以原點為影像中心點，以xy坐標值(x,y)表示的中點D的xy坐標值可表示為((ax+bx) /2，(ay+by) /2)。因此，差分矢量E以xy坐標值表示時，可以說是以((ax+bx)/2，(ay+by)/2)為起點、以原點(0，0)為終點的矢量。校正值生成部152生成表示將基準點A移動差分矢量E的右校正點的位置、和將基準點B移動差分矢量E的左校正點的位置的位置信息，由信息保持部132保持。其中，基準點A的xy坐標值是(ax, ay),基準點B是(bx, by),差分矢量E的起點是((ax+bx) /2,(ay+by)/2),終點是原點(0,0)時,右校正點 F 變?yōu)?ax — (ax+bx)/2,ay — (ay+by)/2)),左校正點 G 變?yōu)?bx — (ax+bx) /2, by — (ay+by) /2))。并且，校正值生成部152將變焦鏡頭140、聚焦鏡頭142的倍率設定為多次，例如3 4個階段，按照各倍率分別計算出以設定的不同的多個倍率拍攝的影像數(shù)據(jù)164的右校正點F的位置及左校正點G的位置。并且，校正值生成部152與計算右校正點F的位置及左校正點G的位置時利用的、拍攝影像數(shù)據(jù)時的變焦鏡頭140、聚焦鏡頭142的倍率建立關聯(lián)，使表示計算出的右校正點F的位置及左校正點G的位置的位置信息，由信息保持部132保持。并且，校正值生成部152對未算出右校正點F的位置及左校正點G的位置的倍率相關的位置信息如下求得對信息保持部132保持的變焦鏡頭140和聚焦鏡頭142的多個階段的倍率中的右校正點F的位置進行線性內插，對信息保持部132保持的變焦鏡頭140和聚焦鏡頭142的多個階段的倍率中的左校正點G的位置進行線性內插。此外，內插方法不限于線性內插，也可是使用了樣條函數(shù)(spline function)的內插等其他內插處理。此外，在本實施方式中，校正值生成部152使信息保持部132出廠前預先保持位置信息，使用位置信息校正影像數(shù)據(jù)的剪切中心，從而使出廠時通過立體影像拍攝裝置100生成的右眼用影像數(shù)據(jù)的基準軸和實拍攝軸的偏離、與左眼用影像數(shù)據(jù)的基準軸和實拍攝軸的偏離基本一致。并且，在上述圖3中，前提是指標162的設置位置在基準軸上，但不限于此，如圖5所示，也可將下述點作為指標162的設置位置拍攝部120a和拍攝部120b之間的點，是以 距各自的拍攝部120的距離相等的點P為中心的、以點P到收斂點Q的距離為半徑的圓的圓周170上的點，且是拍攝部120的視角內的點。這種情況下，通過拍攝部120a拍攝時和通過拍攝部120b拍攝時，無需分2次設置指標，因此操作性強，并且可降低基于指標的設置誤差的基準軸的兩個拍攝部之間的偏離。剪切控制部154根據(jù)由信息保持部132保持的位置信息，控制剪切處理部126，以從右眼用影像數(shù)據(jù)164a以右校正點F為剪切中心、從左眼用影像數(shù)據(jù)164b以左校正點G為剪切中心，分別剪切大小相等的部分影像數(shù)據(jù)。圖6是用于說明剪切處理部126的拍攝軸校正處理的詳細動作的說明圖。如圖6(a)所示，剪切處理部126從右眼用影像數(shù)據(jù)164a剪切部分影像數(shù)據(jù)180a時，剪切處理部126對應剪切控制部154的控制，以右校正點F為剪切中心剪切部分影像數(shù)據(jù)180a。同樣，剪切處理部126從左眼用影像數(shù)據(jù)164b剪切部分影像數(shù)據(jù)180b時，剪切處理部126對應剪切控制部154的控制，以左校正點G為剪切中心剪切部分影像數(shù)據(jù)180b。其中，剪切處理部126對部分影像數(shù)據(jù)180a和部分影像數(shù)據(jù)180b的大小，使縱橫比(例如16 :9)相等地進行剪切。其中，剪切處理部126根據(jù)影像合成部128的方式縮放剪切的部分影像數(shù)據(jù)180。例如，拍攝元件146生成的右眼用影像數(shù)據(jù)164a及左眼用影像數(shù)據(jù)164b的像素數(shù)是3840 X 2160，影像合成部128的方式是1920X1080的并排方式時，剪切處理部126分別從右眼用影像數(shù)據(jù)164a、左眼用影像數(shù)據(jù)164b剪切1920X1080的部分影像數(shù)據(jù)180a、部分影像數(shù)據(jù)180b，進一步壓縮水平方向的像素數(shù)，生成1920X540的部分影像數(shù)據(jù)180a、部分影像數(shù)據(jù)180b。另一方面，如圖6 (b)所示，通過2個影像數(shù)據(jù)獨立錯開剪切中心時，即在圖6 (b)中，以右校正點F’、左校正點G’為剪切中心剪切部分影像數(shù)據(jù)182a、182b時，剪切范圍的縱向的允許量或者橫向的允許量被限制為單方的影像數(shù)據(jù)。在圖6 (b)所示的例子中，通過左眼用影像數(shù)據(jù)164b限制部分影像數(shù)據(jù)182b的縱向的剪切范圍，為與部分影像數(shù)據(jù)182b的剪切范圍的大小對應，部分影像數(shù)據(jù)182a的剪切范圍的大小也受限，結果部分影像數(shù)據(jù)182a、182b 變小。
本實施方式的剪切控制部154如圖6 (a)所示，對2個影像數(shù)據(jù)164 (右眼用影像數(shù)據(jù)164a及左眼用影像數(shù)據(jù)164b)的任意一個，均以對拍攝部120間的基準軸和實拍攝軸的偏離的差分按比例分配的程度，錯開剪切中心，因此剪切范圍的橫向的允許量和縱向的允許量在2個影像數(shù)據(jù)164中相等。因此，和圖6 (b)所示的以2個影像數(shù)據(jù)164獨立錯開剪切中心時相比，可最大限度地保持剪切中心和影像數(shù)據(jù)164的范圍的間隔，擴大剪切范圍。存儲控制部156將剪切控制部154使剪切處理部126剪切的部分影像數(shù)據(jù)存儲到影像存儲部130。如上所述，本實施方式涉及的立體影像拍攝裝置100通過適當剪切拍攝部生成的影像數(shù)據(jù)，可維持剪切的部分影像數(shù)據(jù)的畫質。并且，在此以立體影像拍攝裝置100設置2個拍攝部120以生成影像數(shù)據(jù)的例子(雙鏡頭相機)為例進行了說明，但也可使用反光鏡等光學方法，使對一個被攝體從二個視點同時拍攝的立體影像拍攝用適配器位于一個拍攝部的光學路徑前方，生成影像數(shù)據(jù)。這 種情況下，也可利用本實施方式的位置信息，通過適當剪切拍攝部生成的影像數(shù)據(jù)，可維持剪切的部分影像數(shù)據(jù)的畫質。(第2實施方式)在上述第I實施方式的立體影像拍攝裝置100中，剪切控制部154根據(jù)信息保持部132中保持的位置信息，調節(jié)剪切處理部126剪切影像數(shù)據(jù)時的剪切中心及剪切范圍，從而可減少基準軸和實拍攝軸的偏離的拍攝部12間的差異。在此說明立體影像拍攝裝置300，其進一步使用拍攝部120間的實際的倍率誤差，可減少生成的右眼用影像數(shù)據(jù)和左眼用影像數(shù)據(jù)的倍率差。圖7是表示第2實施方式涉及的立體影像拍攝裝置300的概要構成的功能框圖。如圖7所示，立體影像拍攝裝置300的構成包括操作部106、2個拍攝部120 (圖7中是120a、120b)、影像緩沖器122、數(shù)據(jù)處理部124、剪切處理部326、影像合成部128、顯示部108、影像存儲部130、信息保持部332、中央控制部334。并且，中央控制部334也作為拍攝控制部150、校正值生成部352、剪切控制部354、存儲控制部156起作用。作為上述第I實施方式中的構成要素已經說明的操作部106、2個拍攝部120、影像緩沖器122、數(shù)據(jù)處理部124、影像合成部128、顯示部109、影像存儲部130、拍攝控制部150、存儲控制部156實質上功能相同，因此省略重復性說明，在此以構成不同的剪切處理部326、信息保持部332、校正值生成部352、剪切控制部354為主進行說明。剪切處理部326對應下述剪切控制部354的控制，剪切通過數(shù)據(jù)處理部124進行了影像信號處理后的影像數(shù)據(jù)的一部分并執(zhí)行拍攝軸校正處理、執(zhí)行縮放校正處理后，輸出到影像合成部128。剪切處理部326的拍攝軸校正處理和上述第I實施方式的拍攝軸校正處理實質相同，稍后詳述縮放校正處理的詳細動作。并且，在本實施方式中，剪切處理部326首先執(zhí)行拍攝軸校正處理，接著執(zhí)行縮放校正處理。此外，拍攝軸校正處理、縮放校正處理的順序沒有特別限定。信息保持部332和信息保持部132 —樣，由EEPR0M、PR0M、非易失性RAM等構成，除了上述位置信息外，例如在出廠時預先保持下述校正值生成部352生成的比率信息。其中，比率信息表示投影到設定為不同的多個倍率時的2個拍攝部120a、120b生成的右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的同一拍攝對象的尺寸比，與各自的倍率建立關聯(lián)并預先保持。中央控制部334的校正值生成部352生成剪切控制部354進行縮放校正處理時使用的比率信息，由信息保持部332保持。圖8是用于說明校正值生成部352的比率信息的計算方法的說明圖。如上所述，包括拍攝鏡頭104、變焦鏡頭140、聚焦鏡頭142而構成的2個拍攝部120的形成精度、組裝精度、鏡頭驅動電機等驅動部148存在個體差異。因此，產生設計值的倍率(以下簡稱為設定倍率)和影像數(shù)據(jù)中的實際倍率(以下簡稱為實際倍率)的偏離，該偏離因各拍攝部120而不同，因此在2個拍攝部120之間，該偏離產生差異(以下稱為尺寸差)。因此，校正值生成部352計算出用于減少規(guī)定的設定倍率下的2個拍攝部120間的尺寸差的比率信息。首先，使用圖8 (a)所示的指標362，如圖8 (b)、(c)所示，在距各自的拍攝部120a、120b相等的距離R，與拍攝部120a、120b的基準軸160a、160b垂直地設置 指標362,按照各拍攝部120拍攝該指標362。在此作為指標362使用真圓，從而可吸收以基準軸160a、160b為中心的旋轉、或以與基準軸160a、160b正交的軸為中心的旋轉形成的、拍攝部120和指標362的角度差，可高精度地計算出拍攝部120間的尺寸差。其中，指標362設置在基準軸160a、160b上，但不限于此，只要設置在距拍攝部120的距離相等、視角相等的位置即可。并且，指標362使用真圓，但不限于此，只要可計算出投影到右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的同一拍攝對象的尺寸比，則可是任意的指標。校正值生成部352將投影到右眼用影像數(shù)據(jù)的指標的直徑α、和投影到左眼用影像數(shù)據(jù)的指標的直徑β的比率β/α，作為尺寸比計算。并且，校正值生成部352分別算出將設定倍率變更為多個值、例如3 4個階段而拍攝的影像數(shù)據(jù)的尺寸比，與拍攝表示該尺寸比的比率信息時的設定倍率建立關聯(lián)，由信息保持部332保持。此外，校正值生成部352對未算出尺寸比的設定倍率的比率信息，通過對信息保持部332保持的多個設定倍率下的尺寸比進行線性內插而求出。此外，內插方法不限于線性內插，也可是使用了樣條函數(shù)(spline function)的內插等其他內插處理。此外，在本實施方式中，校正值生成部352使信息保持部332出廠前預先保持比率信息，使用比率信息校正影像數(shù)據(jù)，從而使出廠時通過立體影像拍攝裝置300生成的影像數(shù)據(jù)的尺寸差在2個拍攝部120之間基本一致。剪切控制部354控制剪切處理部326，以便取得當前的設定倍率，將與當前的設定倍率建立了關聯(lián)的比率信息所示的比率β/α和I的和除以2所獲得的平均值，乘以投影了直徑α的指標的影像數(shù)據(jù)(右眼用影像數(shù)據(jù))，將平均值除以β/α的值，乘以未和平均值相乘的影像數(shù)據(jù)、即投影了直徑β的指標的影像數(shù)據(jù)(左眼用影像數(shù)據(jù))，從乘以平均值的影像數(shù)據(jù)(右眼用影像數(shù)據(jù))及和平均值除以比率的值相乘的影像數(shù)據(jù)(左眼用影像數(shù)據(jù))，分別剪切大小相等的部分影像數(shù)據(jù)。圖9及圖10是用于說明剪切處理部326的縮放校正處理的詳細動作的說明圖。例如，如圖9(b)所示，投影到右眼用影像數(shù)據(jù)364a的拍攝對象的直徑α是I、投影到左眼用影像數(shù)據(jù)364b的拍攝對象的直徑β是2時，僅將剪切了右眼用影像數(shù)據(jù)364a的部分影像數(shù)據(jù)366放大4倍時，部分影像數(shù)據(jù)366的3/4的周圍的實際信息量(像素)丟失，放大了部分影像數(shù)據(jù)366的部分影像數(shù)據(jù)368的畫質變得粗糙。其中，實際信息量表示未進行像素內插時的信息量。因此，圖9 (a)所示的放大的部分影像數(shù)據(jù)368和左眼用影像數(shù)據(jù)364b相比，放大的部分影像數(shù)據(jù)368的實際信息量少至1/4，僅放大的部分影像數(shù)據(jù)368畫質退化。因此，在右眼識別的部分影像數(shù)據(jù)368和左眼用影像數(shù)據(jù)364b中畫質產生差異(實際信息量變?yōu)镮和1/4)，最終視聽者作為立體影像感知時，畫質退化變得明顯。另一方面，如圖9(c)所示，為使投影到右眼用影像數(shù)據(jù)364a的拍攝對象的直徑α和投影到左眼用影像數(shù)據(jù)364b的拍攝對象的直徑β相等，僅縮小左眼用影像數(shù)據(jù)364b，作為縮小影像數(shù)據(jù)370。這種情況下，為成為縮小后在顯示部108中顯示所需的大小，需要放大，所以雖然左眼用影像數(shù)據(jù)364b的實際信息量未減少，但剪切了右眼用影像數(shù)據(jù)364a的部分影像數(shù)據(jù)366的實際信息量變?yōu)?/4，產生畫質退化。因此，剪切處理部326如圖10 (a)所示，在投影到右眼用影像數(shù)據(jù)364a的拍攝對象的直徑α是I、投影到左眼用影像數(shù)據(jù)364b的拍攝對象的直徑β是2時(比率β/α =2)，對應剪切控制部354的控制，如圖10 (b)所示，生成對右眼用影像數(shù)據(jù)364a乘以β/α和I的和除以2的平均值、即乘以{ (β/α )+ }/2=(α+β )/2 α = I. 5的縮放影像數(shù)據(jù)372a，及生成對左眼用影像數(shù)據(jù)364b乘以β/α和I的和除以2的平均值、即乘以{ ( β/α )+1}/2 =( α+β )/2β即O. 75的縮放影像數(shù)據(jù)372b。由此，縮放影像數(shù)據(jù)372a、372b 均可將實際信息量的減少抑制在1/2。并且如圖10 (c)所示，剪切處理部326將縮放影像數(shù)據(jù)372b作為左眼識別的影像數(shù)據(jù)直接輸出到影像合成部128，從縮放影像數(shù)據(jù)372a剪切和縮放影像數(shù)據(jù)372b大小相等的部分影像數(shù)據(jù)374a作為右眼識別的影像數(shù)據(jù)，輸出到影像合成部128。因此，剪切控制部354控制剪切處理部326，以按比例分配拍攝對象的尺寸比，對2個影像數(shù)據(jù)(右眼用影像數(shù)據(jù)364a、左眼用影像數(shù)據(jù)364b)的任意一個均實施縮放校正處理，從而可消除僅放大單方影像數(shù)據(jù)而產生的畫質在兩個影像數(shù)據(jù)間的差異，并且可抑制因僅縮小單方的影像數(shù)據(jù)而產生的明顯的實際信息量的減少。因此，本實施方式的立體影像拍攝裝置300可在抑制影像數(shù)據(jù)間的信息的減少的同時，可使畫質平均，降低作為最終的立體影像的畫質退化。此外，在本實施方式中，剪切處理部326對應剪切控制部354的控制，對影像數(shù)據(jù)實施縮放校正處理后剪切部分影像數(shù)據(jù)，但不限于此，也可首先從影像數(shù)據(jù)剪切部分影像數(shù)據(jù)，之后進行縮放校正處理。以上參照

了本發(fā)明的優(yōu)選實施方式，但本發(fā)明當然不限于上述實施方式。本領域技術人員在權利要求記載的范圍內當然可推測到各種變形例或修正例，這當然也在本發(fā)明的技術范圍內。例如，當基準軸和實拍攝軸的偏離在拍攝部120間的差分在允許范圍內時，可不執(zhí)行第I實施方式所述的拍攝軸校正處理，而僅執(zhí)行第2實施方式所述的縮放校正處理。產業(yè)可利用性本發(fā)明可用于生成用于使得感知立體影像的影像的立體影像拍攝裝置。
權利要求
1.一種立體影像拍攝裝置，其特征在于具有 拍攝部，生成具有用于感知立體影像的兩眼視差的右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)； 信息保持部，保持表示分別以上述右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的影像中心點為原點時的、將投影到上述右眼用影像數(shù)據(jù)的指標移動差分矢量的右校正點的位置、和將投影到上述左眼用影像數(shù)據(jù)的指標移動上述差分矢量的左校正點的位置的位置信息，上述差分矢量是以連接投影到上述右眼用影像數(shù)據(jù)的指標及投影到上述左眼用影像數(shù)據(jù)的指標的接線的中點為起點、以上述影像中心點為終點的差分矢量； 剪切控制部，根據(jù)上述位置信息，從上述右眼用影像數(shù)據(jù)以上述右校正點為剪切中心、從上述左眼用影像數(shù)據(jù)以上述左校正點為剪切中心，分別剪切大小相等的部分影像數(shù)據(jù)。
2.根據(jù)權利要求I所述的立體影像拍攝裝置，其特征在于， 上述拍攝部在用于生成上述右眼用影像數(shù)據(jù)的拍攝軸上、及用于生成上述左眼用影像數(shù)據(jù)的拍攝軸上，分別具有可放大及縮小拍攝對象的鏡頭， 上述信息保持部將使上述鏡頭設定為不同的多個倍率時的位置信息，與各自的上述倍率建立關聯(lián)并保持， 上述剪切控制部取得當前的上述鏡頭的倍率，根據(jù)與上述當前的鏡頭的倍率建立關聯(lián)的位置信息，從上述右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)分別剪切大小相等的部分影像數(shù)據(jù)。
3.根據(jù)權利要求I所述的立體影像拍攝裝置，其特征在于， 上述拍攝部在用于生成上述右眼用影像數(shù)據(jù)的拍攝軸上、及用于生成上述左眼用影像數(shù)據(jù)的拍攝軸上，分別具有可放大及縮小拍攝對象的鏡頭， 上述信息保持部保持表示投影到通過上述拍攝部生成的上述右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的同一拍攝對象的尺寸比的比率信息， 上述剪切控制部，將保持的上述比率信息所示的比率加I的和除以2所獲得的平均值，乘以上述右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的任意一個，將上述平均值除以上述比率的值，乘以未和上述平均值相乘的影像數(shù)據(jù)，從乘以上述平均值的影像數(shù)據(jù)、及和上述平均值除以上述比率的值相乘的影像數(shù)據(jù)中，分別剪切大小相等的部分影像數(shù)據(jù)。
4.根據(jù)權利要求3所述的立體影像拍攝裝置，其特征在于， 上述信息保持部將使上述鏡頭設定為不同的多個倍率時的比率信息，與各自的上述倍率建立關聯(lián)并保持， 上述剪切控制部取得當前的上述鏡頭的倍率，根據(jù)與上述當前的鏡頭的倍率建立關聯(lián)的比率信息，從乘以上述平均值的影像數(shù)據(jù)、及和上述平均值除以上述比率的值相乘的影像數(shù)據(jù)中，分別剪切大小相等的部分影像數(shù)據(jù)。
全文摘要
通過適當剪切拍攝部生成的影像數(shù)據(jù)，維持剪切的部分影像數(shù)據(jù)的畫質。立體影像拍攝裝置100具有拍攝部120，生成右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)；信息保持部132，保持表示分別以右眼用影像數(shù)據(jù)及左眼用影像數(shù)據(jù)的影像中心點為原點時的、將投影到右眼用影像數(shù)據(jù)的指標移動差分矢量的右校正點的位置、和將投影到左眼用影像數(shù)據(jù)的指標移動差分矢量的左校正點的位置的位置信息；剪切控制部154，根據(jù)位置信息，從右眼用影像數(shù)據(jù)以右校正點為剪切中心、從左眼用影像數(shù)據(jù)以左校正點為剪切中心，分別剪切大小相等的部分影像數(shù)據(jù)。
文檔編號H04N5/225GK102893616SQ20118002132
公開日2013年1月23日 申請日期2011年2月22日 優(yōu)先權日2010年4月28日
發(fā)明者高見悅也 申請人:Jvc建伍株式會社