拍攝裝置、方法、存儲介質以及程序的制作方法
【專利摘要】無需具有復雜的機構，減小幀之間的視差量的變化，得到容易觀看的立體動畫。利用多個拍攝單元將同一拍攝對象一幀一幀連續(xù)地拍攝，從拍攝到的各幀的圖像中檢測表示被攝體的對象，在檢測出多個對象的情況下，計算利用各個對象與拍攝單元的距離的最大值與最小值的差表示的被攝體距離范圍。在當前幀的被攝體距離范圍和前一幀的被攝體距離范圍的差較大的情況下，對當前幀的被攝體距離范圍進行調整，使得該差減小，基于被攝體距離范圍和與被攝體距離范圍對應的適當?shù)囊暡盍康念A先確定的關系，對與計算出的范圍或調整后的范圍相對應的視差量進行計算，基于計算出的視差量，根據(jù)由拍攝單元各自拍攝到的多個視角圖像而生成與各幀相對應的立體圖像并記錄。
【專利說明】拍攝裝置、方法、存儲介質以及程序

【技術領域】
[0001]本發(fā)明涉及一種拍攝裝置、方法、存儲介質以及程序。

【背景技術】
[0002]本申請主張在2012年3月20日申請的日本申請第2012-082558號的優(yōu)先權，通過參照將其全文弓I入至本說明書。
[0003]當前，提出了一種雙眼視差檢測方法(例如，參照日本特開平2-100589號公報)，即，求出與被攝體及背景或者相距照相機的距離不同的多個被攝體相對應的雙眼視差差異量，而作為左右圖像上的像素位置的差異。在該方法中，在求取雙眼視差時，在對左右圖像進行2維傅立葉變換,并通過該相位項的移位匹配(Shift matching)計算出幾個視差位移量的候補后，針對左右圖像分別進行被攝體的輪廓提取以及區(qū)域確定，在這些邊界點的內側的點和外側的數(shù)個點取得與利用2維傅立葉變換求出的位移量候補的對應，求出具有不同的視差量的被攝體和背景混合混在的立體圖像的雙眼視差量。
[0004]另外，提出了一種多視角圖像顯示方法(例如，參照日本特開平10-32840號公報)，即，使會聚角和最遠距離、最近距離的位置關系變化，例如以使圖像間的視差的平均值相抵消的方式使圖像偏離，由此，容易均勻地觀看圖像整體。


【發(fā)明內容】

[0005]但是，如果將日本特開平2-100589號公報的方法應用于立體觀看用的動畫，針對每I幀求出雙眼視差量，則在幀之間的雙眼視差量的變化變大的情況下，存在成為難以立體觀看的動畫的問題。
[0006]另外，在日本特開平10-32840號公報的方法中，存在下述問題，即，為了得到容易立體觀看的圖像而需要用于使會聚角變化的機構。
[0007]本發(fā)明鑒于上述問題，其目的在于提供一種拍攝裝置、方法、存儲介質以及程序，該拍攝裝置無需具有復雜的機構，能夠減小幀之間的視差量的變化，得到容易觀看的立體觀看動畫。
[0008]為了實現(xiàn)上述目的，本發(fā)明的一個方式所涉及的拍攝裝置構成為，包括:多個拍攝單元，它們從多個不同視角的各個視角對同一拍攝對象一幀一幀連續(xù)地拍攝；檢測單元，其從由所述多個拍攝單元的任意一個拍攝到的幀的各個圖像中，對被攝體進行檢測；范圍計算單元，其在由所述檢測單元檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體與所述拍攝單元的距離相關的值的最大值和最小值的差表示的范圍；調整單元，其在由所述范圍計算單元計算出范圍的特定幀的范圍、與比所述特定幀的前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，以使得該差減?。灰暡盍坑嬎銌卧浠诜秶鸵暡盍康念A先確定的關系，對與由所述范圍計算單元計算出的范圍或者由所述調整單元調整后的范圍相對應的視差量進行計算；立體圖像生成單元，其基于由所述視差量計算單元計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及記錄控制單元，其進行下述控制，即，將由所述立體圖像生成單元生成的立體圖像記錄在記錄單元中。
[0009]根據(jù)本方式的拍攝裝置，利用拍攝單元從多個不同視角的各個視角對同一拍攝對象一幀一幀連續(xù)地拍攝。由此，能夠拍攝立體觀看動畫。并且，檢測單元從由所述多個拍攝單元的任意一個拍攝到的幀的各個圖像中，對被攝體進行檢測，范圍計算單元在由所述檢測單元檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體和所述拍攝單元的距離相關的值的最大值和最小值的差表示的范圍?；谠摲秶?，利用視差量計算單元對每個幀的視差量進行計算，但在幀之間的范圍的變動較大的情況下，幀之間的視差量的變動也變大，而成為難以觀看的立體動畫。
[0010]因此，調整單元在與比所述特定幀的前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，以使該差減小，視差量計算單元基于范圍和視差量的預先確定的關系，對與由所述范圍計算單元計算出的范圍或者由所述調整單元調整后的范圍相對應的視差量進行計算。并且，立體圖像生成單元基于由所述視差量計算單元計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各幀相對應的立體圖像，記錄控制單元控制為將由所述立體圖像生成單元生成的立體圖像記錄在記錄單元。
[0011]這樣，如果在基于與從特定幀中檢測出的各個被攝體和拍攝單元的距離相關的值的范圍、和特定幀的前I個或后I個的幀的范圍的差較大的情況下，對特定幀的范圍進行調整，使得該差變小，根據(jù)范圍計算適當?shù)囊暡盍?，對應于視差量校正圖像并記錄，因此，無需具有用于調整會聚角的復雜的機構，減小幀之間的視差量的變化，得到容易觀看的立體觀看動畫。
[0012]此外，在本方式的拍攝裝置中，可以是所述記錄控制單元控制為，與所述立體圖像相關聯(lián)地將與由所述調整單元調整后的范圍相對應的視差量，記錄在所述記錄單元中。由此，能夠在動畫文件中附加表示視差量的信息。
[0013]另外，本實施方式的拍攝裝置還可以具有接收單元，該接收單元接收表示所述立體圖像的顯示形式的信息的輸入，所述立體圖像生成單元可以以與由所述接收單元接收到的信息所示的立體圖像的顯示形式相適合的形式生成立體圖像。由此，能夠以用戶所希望的立體圖像的顯示形式記錄動畫文件。
[0014]另外，本實施方式的拍攝裝置還可以具有輸入單元，其從所連接的顯示設備輸入表示立體圖像的顯示形式的信息，所述立體圖像生成單元可以以與由所述輸入單元輸入的信息所示的立體圖像的顯示形式相適合的形式生成立體圖像。由此，能夠以與顯示設備相對應的立體圖像的顯示形式記錄動畫文件。
[0015]另外，可以在本方式的拍攝裝置中，將與所述距離相關的值，作為檢測出的各個被攝體與所述拍攝單元的距離、或者檢測出的各個被攝體的視差。各個被攝體的視差是被攝體和拍攝單元的距離越遠而越小，越近而越大，因此，可以說是與各個被攝體和拍攝單元的距離相關的值。在范圍計算單元中，在計算出各個被攝體和拍攝單元的距離的情況下，對利用該距離的最大值與最小值的差表示的被攝體距離范圍進行計算，在計算出各個被攝體的視差的情況下，對利用該視差的最大值與最小值的差表示的視差范圍進行計算。
[0016]另外，所述調整單元可以針對未檢測出被攝體的未檢測幀中、在比該未檢測幀的前I個或后I個拍攝到的幀中檢測出被攝體的未檢測幀，所述調整單元視作該未檢測幀的范圍與所述前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值，對該未檢測幀的范圍進行調整。在從未檢測幀中未檢測出在前I個或后I個拍攝到的幀的范圍的計算中使用的被攝體的情況下，范圍較大地變動的可能性高，因此，能夠通過調整特定幀的范圍，減小幀之間的視差量的變化。
[0017]另外，所述范圍計算單元能夠對由所述檢測單元檢測出的被攝體的幀之間的移動量進行計算，將該移動量超過預先確定的規(guī)定移動量的被攝體排除后，計算所述范圍。這樣，通過預先將導致幀之間的范圍的較大的變動的可能性較高的移動量較大的被攝體排除而不用在范圍的計算中，從而能夠減小幀之間的視差量的變化。
[0018]另外，所述范圍計算單元也可以將所述被攝體的移動方向為所述拍攝單元的光軸方向且所述移動量超過預先確定的規(guī)定移動量的被攝體排除。由于范圍是與被攝體和拍攝單元的距離相關的值的最大值與最小值的差，因此，被攝體和拍攝單元的距離變動得較大的沿光軸方向移動的被攝體作為對象。
[0019]另外，本方式的拍攝裝置能夠包含登記單元而構成，在該登記單元中預先登記有由所述檢測單元檢測的被攝體，所述范圍計算單元在由所述登記單元登記的被攝體被所述檢測單元檢測出的情況下，可以利用該登記的被攝體，計算所述范圍。由此，將特別希望關注的被攝體預先進行登記，針對希望關注的被攝體，能夠減小幀之間的視差量的變化，得到容易觀看的立體觀看動畫。
[0020]另外，本發(fā)明的拍攝裝置能夠包含登記單元而構成，在該登記單元中預先登記有由所述檢測單元檢測的被攝體，所述范圍計算單元可以將所述移動量超過預先確定的規(guī)定移動量且未登記在所述登記單元中的被攝體排除后，計算所述范圍，或者，也可以是如果是登記在所述登記單元中的被攝體，則即使在該被攝體的所述移動量超過預先確定的規(guī)定移動量的情況下，所述范圍計算單元也不會從所述范圍的計算中排除該被攝體。
[0021]另外，所述視差量計算單元可以在由所述檢測單元檢測出的被攝體為I個的情況下，將該被攝體作為交叉點而計算視差量，在由所述檢測單元未檢測出被攝體的情況下，將預先確定的規(guī)定點作為交叉點而計算視差量。
[0022]另外，本發(fā)明的其他方式所涉及的拍攝方法包含以下步驟:拍攝控制步驟，在該步驟中，以從多個不同視角的各個視角將同一拍攝對象一幀一幀連續(xù)地拍攝的方式，對多個拍攝單元的每一個進行控制；檢測步驟，在該步驟中，從由所述多個拍攝單元的任意一個拍攝到的各幀的圖像中，對被攝體進行檢測；范圍計算步驟，在該步驟中，在通過所述檢測步驟檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體與所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍；調整步驟，在該步驟中，在通過所述范圍計算步驟計算出范圍的特定幀的范圍、與比所述特定幀的前I個或后一個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，使得該差減小；視差量計算步驟，在該步驟中，基于范圍和視差量的預先確定的關系，對與通過所述范圍計算步驟計算出的范圍或者通過所述調整步驟調整后的范圍相對應的視差量進行計算；立體圖像生成步驟，在該步驟中，基于通過所述視差量計算步驟計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及記錄控制步驟，在該步驟中，控制為將通過所述立體圖像生成步驟生成的立體圖像記錄在記錄單元中。
[0023]本發(fā)明的其他方式所涉及的存儲介質，是存儲有使計算機執(zhí)行拍攝處理的程序的持續(xù)性的計算機可讀存儲介質，其中，所述拍攝處理包含以下步驟:檢測步驟，在該步驟中，從由所述多個拍攝單元的任意一個拍攝到的各幀的圖像中，對被攝體進行檢測；范圍計算步驟，在該步驟中，在通過所述檢測步驟檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體與所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍；調整步驟，在該步驟中，在通過所述范圍計算步驟計算出范圍的特定幀的范圍、與比所述特定幀的前I個或后一個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，使得該差減??；視差量計算步驟，在該步驟中，基于范圍和視差量的預先確定的關系，對與通過所述范圍計算步驟計算出的范圍或者通過所述調整步驟調整后的范圍相對應的視差量進行計算；立體圖像生成步驟，在該步驟中，基于通過所述視差量計算步驟計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及記錄控制步驟，在該步驟中，控制為將通過所述立體圖像生成步驟生成的立體圖像記錄在記錄單元中。
[0024]另外，本發(fā)明的另一方式所涉及的拍攝程序，用于使計算機作為下述單元起作用:檢測單元，其從由多個拍攝單元的任意一個拍攝到的各幀的圖像中，對被攝體進行檢測，其中，所述多個拍攝單元從多個不同視角的各個視角將同一拍攝對象一幀一幀連續(xù)地拍攝；范圍計算單元，其在由所述檢測單元檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體與所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍；調整單元，其在由所述范圍計算單元計算出范圍的特定幀的范圍、與比所述特定幀的前I個或后一個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，使得該差減??；視差量計算單元，其基于范圍和視差量的預先確定的關系，對與由所述范圍計算單元計算出的范圍或者由所述調整單元調整后的范圍相對應的視差量進行計算；立體圖像生成單元，其基于由所述視差量計算單元計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及記錄控制單元，其控制為將由所述立體圖像生成單元生成的立體圖像記錄在記錄單元中。
[0025]發(fā)明的效果
[0026]如以上說明所述，根據(jù)本發(fā)明的方式獲得下述效果，S卩，無需具有用于調整會聚角的復雜的機構，能夠減小幀之間的視差量的變化，得到容易觀看的立體觀看動畫。

【專利附圖】

【附圖說明】
[0027]圖1是實施方式的多眼數(shù)字相機的正面?zhèn)刃币晥D。
[0028]圖2是實施方式的多眼數(shù)字相機的背面?zhèn)刃币晥D。
[0029]圖3是表示實施方式的多眼數(shù)字相機的內部結構的概略框圖。
[0030]圖4A是在實施方式的多眼數(shù)字相機中，用于說明被攝體距離范圍的計算的概念圖。
[0031]圖4B是在實施方式的多眼數(shù)字相機中，用于說明被攝體距離范圍的計算的概念圖。
[0032]圖5A是表示在實施方式的多眼數(shù)字相機中用于說明視差量的被攝體和拍攝部的位置關系的概念圖。
[0033]圖5B是表示在實施方式的多眼數(shù)字相機中用于說明視差量的左圖像及右圖像的概念圖。
[0034]圖6是表示用于說明視差量的立體觀看圖像的概念圖。
[0035]圖7是表示視差量和被攝體距離范圍的關系的曲線圖的一個例子。
[0036]圖8是表不視差量和被攝體距尚范圍的關系的對應表的Iv例子。
[0037]圖9是表示第I實施方式中的動畫拍攝處理流程的內容的流程圖。
[0038]圖10是表示第2實施方式中的動畫拍攝處理流程的內容的流程圖。
[0039]圖11是表示第3實施方式中的動畫拍攝處理流程的內容的流程圖。
[0040]圖12是表示第4實施方式中的動畫拍攝處理流程的內容的流程圖。
[0041]圖13是表示第5實施方式中的動畫拍攝處理流程的內容的流程圖。
[0042]圖14是表示實施方式的多眼數(shù)字相機的其他例子的斜視圖。
[0043]圖15是表示實施方式的多眼數(shù)字相機的其他例子的內部結構的概略框圖。

【具體實施方式】
[0044]以下，參照附圖，對本發(fā)明的實施方式進行詳細說明。此外，針對在本實施方式中將本發(fā)明的拍攝裝置應用于具有動畫拍攝模式的多眼數(shù)字相機的情況進行說明。
[0045]【第I實施方式】
[0046]圖1是第I實施方式的多眼數(shù)字相機I的正面?zhèn)刃币晥D，圖2是背面?zhèn)刃币晥D。如圖1所示，在多眼數(shù)字相機I的上部具有快門按鈕2、電源按鈕3、以及變焦桿4。另外，在多眼數(shù)字相機I的正面配置有閃光燈5、以及2個拍攝部21A、21B的鏡頭。另外，在多眼數(shù)字相機I的背面配置有進行各種顯示的液晶顯示器7、以及各種操作按鈕8。
[0047]圖3是表示多眼數(shù)字相機I的內部結構的概略框圖。如圖3所示，多眼數(shù)字相機I具有:2個拍攝部21A、21B、拍攝控制部22、圖像處理部23、壓縮/展開處理部24、幀存儲器25、介質控制部26、內部存儲器27、顯示控制部28、3維處理部30、對象檢測部41、被攝體距離范圍計算部42、被攝體距離范圍調整部43、視差量計算部44、以及連接部45。此外，拍攝部21A、21B具有觀看被攝體的會聚角，以形成預先確定的基線長度的方式進行配置。此外，會聚角及基線長度的信息存儲在內部存儲器27中。
[0048]拍攝控制部22由未圖示的AF處理部及AE處理部構成。在選擇靜止畫面拍攝模式的情況下，AF處理部基于通過快門按鈕2的半按操作而由拍攝部21A、21B所取得的預覽圖像，確定合焦區(qū)域，并且，確定鏡頭的焦點位置，并輸出至拍攝部21A、21B。AE處理部基于預覽圖像而確定光圈值和快門速度，并輸出至拍攝部21A、21B。另外，通過快門按鈕2的全按操作，向拍攝部21A、21B指示進行正式拍攝，使拍攝部21A取得左圖像的正式圖像，使拍攝部21B取得右圖像的正式圖像。
[0049]另外，拍攝控制部22在選擇動畫拍攝模式的情況下，通過快門按鈕2的全按操作，向拍攝部21A及拍攝部21B進行指示，以使得連續(xù)地進行上述靜止畫面拍攝模式下的處理。此外，在靜止畫面拍攝模式以及動畫拍攝模式中的任意情況下，在操作快門按鈕2前，拍攝控制部22均向拍攝部21A、21B進行指示，使得每隔規(guī)定時間間隔(例如1/30秒間隔)依次取得與用于確認拍攝范圍的正式圖像相比像素數(shù)較少的通過鏡頭圖像(through image)。
[0050]圖像處理部23針對拍攝部21A、21B所取得的左圖像及右圖像的數(shù)字圖像數(shù)據(jù)，實施調整白平衡的處理、灰度校正、銳度校正、以及顏色校正等圖像處理。
[0051]壓縮/展開處理部24針對表示由圖像處理部23實施了處理后的左圖像及右圖像的圖像數(shù)據(jù)，例如，按照JPEG等壓縮形式進行壓縮處理，生成立體觀看用的圖像文件。在該立體觀看用的圖像文件中包含左圖像及右圖像的圖像數(shù)據(jù)，并基于Exif格式等存儲基線長度、會聚角、以及拍攝時間等的附加信息、以及表示視角位置的視角信息。
[0052]幀存儲器25是在針對表示拍攝部21A、21B所取得的左圖像及右圖像的圖像數(shù)據(jù)，進行包含前述的圖像處理部23所進行的處理在內的各種處理時所使用的作業(yè)用存儲器。
[0053]介質控制部26訪問記錄介質29，進行圖像文件等的寫入及讀取的控制。
[0054]內部存儲器27對在多眼數(shù)字相機I中設定的各種常數(shù)、以及由CPU 35執(zhí)行的程序等進行存儲。
[0055]顯示控制部28將在拍攝時根據(jù)存儲于幀存儲器25的左圖像及右圖像而生成的立體觀看用圖像顯示在液晶顯示器7中，或者將記錄于記錄介質29的左圖像及右圖像或者立體觀看用圖像顯示在液晶顯示器7中。
[0056]3維處理部30為了將左圖像及右圖像在顯示器7中進行立體觀看顯示，對左圖像及右圖像進行3維處理而生成立體觀看用圖像。
[0057]對象檢測部41從所取得的左圖像或右圖像中，檢測適合的對象。對象是表示存在于拍攝對象區(qū)域中的被攝體的圖像。所謂“適合的”對象，能夠設為在左圖像或右圖像內邊緣明顯的(輪廓比較鮮明)的對象等。另外，也可以從左圖像及右圖像中分別檢測出相對應的對象，并對該對象的視差的值處于規(guī)定范圍內的對象進行檢測。
[0058]另外，對象檢測部41在從第2個幀及其以后的圖像中檢測對象時，利用從過去的幀的圖像中檢測出的對象的位置信息等，追蹤相對應的對象，由此，從當前幀中檢測對象。
[0059]被攝體距離范圍計算部42針對從左圖像或右圖像中檢測出的各個圖像，通過三角測量等方法對表示對象的被攝體和本裝置(拍攝部21A、21B)的距離進行計算，計算該距離的最大值和最小值的差而作為被攝體距離范圍。例如，如圖4A所示，從左圖像或右圖像中檢測出對象Op 02、O3,與各個對象Op 02、O3相對應的被攝體Sp S2, S3和多眼數(shù)字相機I處于圖4B所示的位置關系。如果將多眼數(shù)字相機I和被攝體S1的距離設為L1，將與被攝體S2的距離設為L2，將與被攝體S3的距離設為L3，則多眼數(shù)字相機I和被攝體的距離的最大值為L1,最小值為L2,因此,被攝體距離范圍R通過R = L1 — L2進行計算。
[0060]被攝體距離范圍調整部43判定針對前一幀的圖像所計算出的被攝體距離范圍、和針對當前幀的圖像所計算出的被攝體距離范圍的差，是否超過預先確定的閾值，在超過的情況下，以使得前一幀的被攝體距離范圍和當前幀的被攝體距離范圍的差變小的方式，調整當前幀的被攝體距離范圍。如后述所示，由于各幀的視差量是基于被攝體距離范圍進行計算的，因此，幀之間的被攝體距離范圍的較大變動，會引起幀之間的視差量的較大變動。在幀之間的視差量變動得較大的情況下，會成為難以觀看的動畫，因此，對被攝體距離范圍進行調整，使得視差量的變動不會變大。例如，如果將當前幀的被攝體距離范圍設為Rm，將前I個幀的被攝體距離范圍設為Rm-1，則能夠作為Rm’= a XRm+(l - α ) XRm-1 (O< α < I)而求出調整后的當前幀的被攝體距離范圍Rm’。此外，調整后的當前幀的被攝體距離范圍Rm’的求出方法并不限定于上述方法，只要是對Rm加減規(guī)定值等而使Rm和Rm-1的差變小的調整方法即可。
[0061]視差量計算部44基于被攝體距離范圍和與被攝體距離范圍相對應的適當?shù)囊暡盍康念A先確定的關系，根據(jù)計算出的被攝體距離范圍或調整后的被攝體距離范圍而計算當前幀的視差量。
[0062]在此，對視差量進行說明。例如，對與多眼數(shù)字相機1(拍攝部21A、21B)的位置關系如圖5A所示的被攝體Sp以及被攝體S2進行拍攝，得到圖5B所示的左圖像50L、以及右圖像50R。從左圖像50L中檢測與被攝體S1相對應的對象(V、以及與被攝體S2相對應的對象0%，從右圖像50R中檢測與被攝體S1相對應的對象01K、以及與被攝體S2相對應的對象O2ro如圖6所示，通過使左圖像50L和右圖像50R重合，成為立體觀看圖像50。在圖6中，以包含在左圖像50L中的對象O1L和包含在右圖像50R中的對象Oik —致的方式，即，對象O1成為交叉點的方式，左圖像50L和右圖像50R重合。對象Oa和對象O2k偏離距離P。該P為視差量，通過變更視差量P，從而能夠強調或緩和立體觀看圖像的立體感。
[0063]下面，對視差量和被攝體距離范圍的關系進行說明。在被攝體距離范圍較小的情況下，位于離多眼數(shù)字相機I最遠處的最遠的被攝體與位于最近處的最近的被攝體的相對的視差較小。另一方面，在被攝體距離范圍較大的情況下，最遠的被攝體與最近的被攝體的相對的視差較大。因此，為了得到具有適當?shù)牧Ⅲw感的立體觀看圖像，在被攝體距離范圍較小的情況下增大視差量，在被攝體距離范圍較大的情況下減小視差量?；谠撽P系，適合于在規(guī)定大小的顯示畫面中顯示立體觀看圖像的視差量是對應于被攝體距離范圍而決定的。例如，如圖7所示，作為橫軸表示被攝體距離范圍，縱軸表示視差量的曲線圖，能夠針對顯示畫面的各個尺寸而確定視差量和被攝體距離范圍的關系。另外，如圖8所示，也可以設為使以像素為單位的視差量與被攝體距離范圍相對應的對應表，確定視差量與被攝體距離范圍的關系。
[0064]在視差量計算部44中，基于如圖7或圖8所示的視差量與被攝體距離范圍的預先確定的關系，對與由被攝體距離范圍計算部42計算出的被攝體距離范圍、或者由被攝體距離范圍調整部43調整后的被攝體距離范圍相對應的視差量進行計算。例如，在圖7及圖8中，在顯示畫面尺寸為3英寸，計算出或調整后的被攝體距離范圍為0.3m的情況下，視差量成為40像素。在本實施方式中，由視差量計算部44計算的視差量是針對表示最近的被攝體的對象的視差量。即，如圖6所示，在使左圖像與右圖像重合時，表示左圖像的最近的被攝體的對象和表示右圖像的最近的被攝體的對象的距離，偏離計算出的視差量而重合。
[0065]另外，視差量計算部44在由對象檢測部41僅檢測出I個對象的情況下，將檢測出的對象作為交叉點而計算視差量。另外，在由對象檢測部41未檢測出對象的情況下，將預先確定的規(guī)定點作為交叉點而計算視差量。
[0066]連接部45具有用于與顯示設備連接的接口。如果多眼數(shù)字相機I與顯示設備連接，則連接部45基于CPU 35的控制，將由拍攝部21A、21B拍攝的圖像、或者記錄于內部存儲器27或記錄介質29中的圖像信息發(fā)送至該顯示設備，而對該圖像信息所示的圖像進行顯示。此外，多眼數(shù)字相機I和顯示設備根據(jù)情況而按照任意的通信標準連接，連接方式可以是有線、也可以是無線。
[0067]下面，參照圖9，對在第I實施方式的多眼數(shù)字相機I中執(zhí)行的動畫拍攝處理流程進行說明。本流程通過由用戶對操作按鈕8進行操作，選擇動畫拍攝模式而開始。
[0068]在步驟SlOO中，CPU 35判定是否存在3D設定操作。在此，3D設定是對顯示時所使用的顯示器的顯示尺寸、3D動態(tài)圖像的收錄方式、以及3D強度等立體圖像的顯示形式的設定。收錄方式是并行(side-by-side)方式、逐行(Line_by-Line)方式等。此時,CPU 35在由用戶經(jīng)由輸入部34進行了規(guī)定的輸入操作的情況下，判斷為存在3D設定操作。在步驟SlOO中判斷為存在3D設定操作的情況下，在步驟S102中，CPU 35將表示與設定操作相對應的3D設定的信息存儲于內部存儲器37。此外，在此表示存儲有的3D設定的信息，在后述的步驟S130中記錄動畫文件時使用。
[0069]在步驟S104中，開始由拍攝部21A、21B拍攝到的通過鏡頭圖像的讀取。
[0070]然后，在步驟S106中，CPU 35判定是否存在快門按鈕2被按下等、指示動態(tài)圖像的記錄開始的拍攝操作。在步驟S106中判定為不存在拍攝操作的情況下，轉入步驟S100。另一方面，在步驟S106中判定為存在拍攝操作的情況下，CPU 35轉入步驟S108，在不存在拍攝操作的情況下，直至存在拍攝操作為止重復本步驟。
[0071]在步驟S108中，CPU 35讀取I個幀的由拍攝部21A及21B在正式攝影狀態(tài)下所取得的左圖像及右圖像。然后，在步驟SllO中，CPU 35從在上述步驟S108中讀取到的左圖像及右圖像中選擇一個，并從所選擇的圖像(以下，稱為“選擇圖像”)中檢測適合的對象。
[0072]然后，在步驟S112中，CPU 35對在上述步驟SllO中是否檢測出多個對象進行判定。在步驟S112中判定為檢測出多個對象的情況下，轉入步驟S114，在僅檢測出I個對象的情況下，或者未檢測出對象的情況下，轉入步驟S122。
[0073]在步驟SI 14中，CPU 35針對從選擇畫面中檢測出的各個對象，通過三角測量等方法對表示對象的被攝體與多眼數(shù)字相機I的距離進行計算，將該距離的最大值與最小值的差作為被攝體距離范圍而計算。
[0074]然后，在步驟S116中，CPU 35通過對在步驟S114中計算出的當前幀的被攝體距離范圍、和在前I幀中同樣地計算出的被攝體距離范圍的差是否超過預先確定的閾值進行判定，從而對幀之間的被攝體距離范圍的變化是否較大進行判定。
[0075]在步驟S116中判定為幀之間的被攝體距離范圍的變化較大的情況下，轉入步驟S118，CPU 35對當前幀的被攝體距離范圍進行調整，使得前I幀的被攝體距離范圍與當前幀的被攝體距離范圍的差變小，并轉入步驟S120。
[0076]在步驟S116中判定為幀之間的被攝體距離范圍的變化不大的情況下，跳過步驟S118而轉入步驟S120。另外，在當前幀為第I幀而不存在前I幀的情況下，在本步驟中判定為否定而轉入步驟S120。
[0077]在步驟S120中，CPU 35基于例如圖7或圖8所示的被攝體距離范圍和與被攝體距離范圍相對應的適當?shù)囊暡盍康念A先確定的關系，在上述步驟S118中調整了被攝體范圍的情況下，計算與調整后的被攝體距離范圍相對應的當前幀的視差量，在上述步驟S118中沒有調整被攝體范圍的情況下，對與在上述步驟S114中計算出的被攝體距離范圍相對應的當前幀的視差量進行計算，轉入步驟S124。
[0078]另一方面，在上述步驟SI 12中判定為未檢出多個對象而轉入步驟S122的情況下，CPU 35基于交叉點而計算視差量。S卩，在步驟S122中，CPU 35在僅檢測出I個對象的情況下，將該對象作為交叉點而計算視差量，另一方面，在未檢出對象的情況下，將預先確定的點作為交叉點而計算視差量，轉入步驟S124。
[0079]在步驟S124中，CPU 35基于在步驟S122中計算出的視差量，對選擇圖像進行校正。校正的方法是例如使各像素向左右方向平行移動與視差量對應的距離的方法。此外，也可以在步驟S124中，針對在步驟SllO中未選擇的圖像(以下，稱為“非選擇圖像”)進行校正。在對非選擇圖像進行校正的情況下，使非選擇圖像向與校正選擇圖像的情況相反的方向進行平行移動。另外，也可以對選擇圖像及非選擇圖像這雙方進行校正。在對選擇圖像及非選擇圖像這雙方進行校正的情況下，使選擇圖像及非選擇圖像在左右方向上向相反方向分別平行移動與視差量相對應的距離的1/2。并且，在進行校正時，根據(jù)需要，對由于向上述左右方向的平行移動而在左圖像及右圖像中相互間相對應的區(qū)域不存在的區(qū)域(圖像端部的區(qū)域)進行修整。
[0080]并且，在步驟S126中，CPU 35將在步驟S124中校正后的圖像記錄于內部存儲器27。這樣，將以與被攝體距離范圍的變化對應地成為最佳的視差量的方式校正后的圖像分別進行記錄，在將動畫文件發(fā)送至顯示設備時發(fā)送校正為最佳的視差量的動畫文件，由此，能夠在顯示設備側減輕校正圖像的負荷，并且能夠再生最佳的3D動畫。此外，在對校正后的圖像進行記錄時，也可以與在步驟S122中計算出的視差量相關聯(lián)地進行記錄。
[0081]在步驟S128中，CPU 35判定是否存在快門按鈕2再次被按下等指示動態(tài)圖像的記錄停止的拍攝結束操作。在步驟S128中判定為不存在拍攝結束操作的情況下，返回步驟S108，CPU 35讀取下一幀而重復從步驟S108至S126的處理。在步驟S128中判定為存在拍攝結束操作的情況下，轉入步驟S130，CPU 35根據(jù)與由拍攝部21A、21B拍攝到的幀數(shù)對應的每一幀的左圖像、右圖像(在步驟S124中對圖像進行了校正的情況下，為校正后的圖像)、以及視差量的數(shù)據(jù)，生成與每一幀相對應的立體圖像而作為I個文件，并作為附加有數(shù)據(jù)頭信息的動畫文件而記錄于記錄介質29中，結束處理。
[0082]此時，CPU 35記錄以與對應于在步驟S102中設定的3D設定的立體圖像的顯示形式相適合的形式生成立體圖像而得到的動畫文件。例如，在動畫文件中，根據(jù)所設定的顯示尺寸而變更像素大小，或者根據(jù)所設定的3D強度而將表示左右圖像的偏移量的信息附加在動畫文件中。另外，根據(jù)3D動態(tài)圖像的收錄方式，例如在設定為并行方式的情況下，以將2幅圖像沿左右方向排列的狀態(tài)作為I個幀進行記錄，在設定為逐行方式的情況下，將左右各圖像的顏色變換的基礎上，切分成短條狀的各圖像交替排列的方式進行圖像變換后記錄。這樣，在步驟S102中基于通過用戶操作而輸入的信息進行3D設定，基于該3D設定而記錄動畫文件，由此，能夠以用戶所希望的任意的3D設定記錄動畫文件。
[0083]如以上說明所示，根據(jù)第I實施方式的多眼數(shù)字相機，針對每一幀計算被攝體距離范圍，在計算出的當前幀的被攝體距離范圍與前I幀的被攝體距離范圍的差較大的情況下，以使前I幀的被攝體距離范圍與當前幀的被攝體距離范圍的差變小的方式，調整當前幀的被攝體距離范圍，根據(jù)被攝體距離范圍計算適當?shù)囊暡盍?，因此，無需具有用于調整會聚角的復雜的機構，能夠減小幀之間的視差量的變化，得到容易觀看的立體動畫。
[0084]此外，進行步驟S124及S126的處理的定時，并不限定于緊跟著在步驟S122中計算出視差量后進行的定時，也可以是在步驟S130的拍攝結束時存儲動畫文件的定時。在該情況下，在保存動畫文件的定時對所有幀進行校正，另外，也可以與步驟S130同樣地，以成為與在步驟S102中所設定的3D設定相對應的立體圖像的顯示形式的方式，根據(jù)各個圖像生成動畫文件而進行記錄。
[0085]【第2實施方式】
[0086]下面，對第2實施方式進行說明。在第2實施方式中，說明在用于前I幀的被攝體距離范圍的計算中的對象未從當前幀中檢測出的情況下，視作前I幀的被攝體距離范圍與當前幀的被攝體距離范圍的差較大，調整當前幀的被攝體距離范圍的情況。此外，第2實施方式的多眼數(shù)字相機的結構，由于與第I實施方式的多眼數(shù)字相機I的結構相同，因此，標注相同的標號而省略說明。
[0087]在此，參照圖10，對在第2實施方式的多眼數(shù)字相機I中執(zhí)行的動畫拍攝處理流程進行說明。本流程通過由用戶對操作按鈕8進行操作，選擇動畫拍攝模式而開始。此外，針對與第I實施方式的動畫拍攝處理相同的處理，標注相同的標號，省略詳細的說明。
[0088]經(jīng)過從步驟SlOO至步驟S108，CPU 35讀取對應于I個幀的左圖像及右圖像。然后，在步驟S200中，從在上述步驟S108中所讀取的左圖像或右圖像中檢測適合的對象。另夕卜，CPU 35利用對象的位置信息等，在當前幀的左圖像或右圖像中，對從前I幀的左圖像或右圖像中檢測出的對象進行追蹤。
[0089]然后，在步驟S112中判定為在上述步驟S200中檢測出多個對象的情況下，轉入步驟S114，CPU 35將表示對象的被攝體和多眼數(shù)字相機I的距離的最大值與最小值的差作為被攝體距離范圍而進行計算。
[0090]然后，在步驟S202中，CPU 35基于上述步驟S200的對象的追蹤結果，對在前I幀的被攝體距離范圍的計算中所使用的對象的追蹤是否失敗進行判定。在從前I幀中檢測出的對象由于處于幀外或被其他對象遮擋等，而未能從當前幀中檢測出的情況下，判定為對象的追蹤失敗。在步驟S202中判定為對用于前I幀的被攝體距離范圍的計算的對象的追蹤失敗的情況下，在上述步驟SI 14中計算出的被攝體距離范圍相對于在前I幀中計算出的被攝體距離范圍變動較大的可能性高。因此，CPU 35在對用于前I幀的被攝體距離范圍的計算的對象的追蹤失敗的情況下，轉入步驟S118，以使前I幀的被攝體距離范圍與當前幀的被攝體距離范圍的差變小的方式，調整當前幀的被攝體距離范圍。另一方面，在對用于前I幀的被攝體距離范圍的計算的對象的追蹤沒有失敗的情況下，跳過步驟S118，CPU 35不進行被攝體距離范圍的調整，轉入步驟S120，根據(jù)被攝體距離范圍計算視差量。
[0091]之后，與第I實施方式相同地，CPU 35執(zhí)行從步驟S120至S130的處理，結束處理。
[0092]如以上說明所示，根據(jù)第2實施方式的多眼數(shù)字相機，在對用于前I幀的被攝體距離范圍的計算的對象的追蹤失敗的情況下，視作當前幀的被攝體距離范圍與前I幀的被攝體距離范圍的差較大，能夠以使前I幀的被攝體距離范圍與當前幀的被攝體距離范圍的差變小的方式，調整當前幀的被攝體距離范圍。
[0093]【第3實施方式】
[0094]下面，對第3實施方式進行說明。在第3實施方式中，對將移動量較大的對象排除而不用于被攝體距離范圍的計算的情況進行說明。此外，第3實施方式的多眼數(shù)字相機的結構，由于與第I實施方式的多眼數(shù)字相機I的結構相同，因此，標注相同的標號而省略說明。
[0095]在此，參照圖11，對在第3實施方式的多眼數(shù)字相機I中執(zhí)行的動畫拍攝處理流程進行說明。本流程通過用戶對操作按鈕8進行操作，選擇動畫拍攝模式而開始。此外，針對與第I及第2實施方式的動畫拍攝處理相同的處理，標注相同的標號，省略詳細的說明。
[0096]經(jīng)過從步驟SlOO至步驟S108，CPU 35讀取對應于I個幀的左圖像及右圖像。然后，在步驟S200中，CPU 35從在上述步驟S108中所讀取的左圖像或右圖像中檢測適合的對象。另外，利用對象的位置信息等，在當前幀的左圖像或右圖像中，對從前I幀的左圖像或右圖像中檢測出的對象進行追蹤。
[0097]然后，在步驟S300中，CPU 35基于上述步驟S200的對象的追蹤結果，對追蹤到的對象的移動方向是否是拍攝部的光軸方向進行判定。拍攝部的光軸方向在用于對象的檢測及追蹤的圖像為左圖像的情況下是拍攝部21A的光軸方向，在右圖像的情況下是拍攝部21B的光軸方向。并且，CPU 35針對移動方向為光軸方向的對象，計算幀之間的移動量，將該移動量與預先確定的規(guī)定移動量進行比較，由此，判定是否存在移動量較大的對象。在步驟S300中判定為存在移動量較大的對象的情況下，轉入步驟S302，CPU 35將移動量較大的對象從在上述步驟S200中檢測及追蹤到的對象排除，轉入步驟S112。與移動量較大的對象相對應的被攝體由于移動速度快，因此，被攝體和多眼數(shù)字相機I的距離在幀之間變動得較大。如果將表示這種被攝體的對象用于被攝體距離范圍的計算，則導致被攝體距離范圍變動得較大，因此，將其排除而不用于被攝體距離范圍的計算。
[0098]另一方面，在步驟S300中判定為不存在移動量較大的對象的情況下，跳過步驟S302，轉入步驟S112。在步驟S112中，CPU 35將在上述步驟S302中排除的對象除外，判定是否檢測出多個對象，之后，與第I實施方式相同地，執(zhí)行從步驟S114至S130的處理，結束處理。
[0099]如以上說明所示，根據(jù)第3實施方式的多眼數(shù)字相機，預先將很可能導致幀之間的被攝體距離范圍的較大的變動的移動量大的對象排除而不用于被攝體距離范圍的計算，由此，能夠減小幀之間的被攝體距離范圍的變動。
[0100]【第4實施方式】
[0101]下面，對第4實施方式進行說明。在第4實施方式中，對預先選擇用戶特別希望關注的被攝體而登記的情況進行說明。此外，第4實施方式的多眼數(shù)字相機的結構，由于與第I實施方式的多眼數(shù)字相機I的結構相同，因此，標注相同的標號而省略說明。
[0102]在此，參照圖12，對在第4實施方式的多眼數(shù)字相機I中執(zhí)行的動畫拍攝處理流程進行說明。本流程通過用戶對操作按鈕8進行操作，選擇動畫拍攝模式而開始。此外，針對與第I實施方式的動畫拍攝處理相同的處理，標注相同的標號，省略詳細的說明。
[0103]經(jīng)過從步驟SlOO至步驟S102，在步驟S104中CPU 35讀取通過鏡頭圖像，然后，在步驟S400中，判定是否進行了由用戶選擇特別關注的對象(以下稱為“選擇對象”)的操作。選擇對象能夠通過下述方式進行選擇，即，在液晶顯示器7中顯示的圖像上，對操作按鈕8進行操作而使光標移動，在移動至該對象上時按下確定按鈕等。
[0104]然后，在步驟S402中，CPU 35針對在上述步驟S400中選擇出的選擇對象，提取輪廓、特征量等信息，登記在規(guī)定的存儲區(qū)域中。選擇對象也可以登記多個。
[0105]然后，經(jīng)過從步驟S106至步驟S112，在步驟S112中判定為檢測出多個對象的情況下，轉入步驟S404，CPU 35對檢測出的對象與登記在上述步驟S402中的選擇對象的信息進行比較，對檢測出的對象中是否包含選擇對象進行判定。在步驟S404中判定為包含選擇對象的情況下，轉入步驟S406，在步驟S404中判定為不包含選擇對象的情況下，轉入步驟S114。
[0106]在步驟S406中，CPU 35利用選擇對象，計算被攝體距離范圍。在選擇對象登記有多個，且檢測出多個選擇對象的情況下，能夠將表示檢測出的各個選擇對象的被攝體、和多眼數(shù)字相機I的距離的最大值與最小值的差作為被攝體距離范圍而進行計算。另外，在檢測出的多個對象中僅包含I個選擇對象的情況下，利用選擇對象和除了選擇對象以外的對象中的I個對象而計算被攝體距離范圍。在除了選擇對象以外的對象中能夠利用下述對象:該對象所示的被攝體和多眼數(shù)字相機I的距離成為最大或最小的對象、與表示選擇對象的被攝體的距離成為最大或最小的被攝體相對應的對象等。
[0107]之后，與第I實施方式相同地，CPU 35執(zhí)行從步驟S116至S130的處理，結束處理。此外，在檢測出的對象僅為I個選擇對象的情況下，在步驟S112中判定為否定后轉入步驟S122，將該選擇對象作為交叉點而計算視差量。
[0108]如以上說明所示，根據(jù)第4實施方式的多眼數(shù)字相機，由于利用特別希望關注的對象計算被攝體距離范圍，另外，進行調整而使得幀之間的被攝體距離范圍的變動不會增大，因此，在關注特定的對象而觀看時，能夠得到容易觀看的立體動畫。
[0109]【第5實施方式】
[0110]下面，對第5實施方式進行說明。在第5實施方式中，對在多眼數(shù)字相機I連接有顯示設備的情況下，輸入表示該顯示設備的立體圖像的顯示形式的信息，基于該信息而生成動畫文件并進行記錄的情況進行說明。此外，第5實施方式的多眼數(shù)字相機的結構，由于與第I實施方式的多眼數(shù)字相機I的結構相同，因此，標注相同的標號而省略說明。
[0111]在此，參照圖13，對在第5實施方式的多眼數(shù)字相機I中執(zhí)行的動畫拍攝處理流程進行說明。本流程通過用戶對操作按鈕8進行操作，選擇動畫拍攝模式而開始。此外，針對與第I實施方式的動畫拍攝處理相同的處理，標注相同的標號，省略詳細的說明。
[0112]在步驟S500中，CPU 35對多眼數(shù)字相機I是否連接有與3D對應的顯示設備進行判定。在連接有3D對應的顯示設備的情況下，轉入步驟S502，在未連接的情況下，轉入步驟S104。在步驟S502中，CPU 35從所連接的顯示設備取得設備信息。在該設備信息中包含有關于3D設定的信息。關于3D設定的信息是在顯示時使用的顯示器的顯示尺寸、可顯示的3D動態(tài)圖像的收錄方式、可設定的3D強度等。在步驟S504中，CPU 35將與在步驟S502中取得的設備信息相對應地表示3D設定的信息存儲于內部存儲器27。
[0113]經(jīng)過從步驟S104至步驟S128，在步驟S130中，CPU 35根據(jù)與拍攝到的幀數(shù)對應的每一個幀的左圖像、右圖像、以及視差量的數(shù)據(jù)，生成與各個幀相對應的立體圖像而作為I個文件，作為附加有數(shù)據(jù)頭信息的動畫文件記錄于記錄介質29中，結束處理。此時，CPU35以與對應于在步驟S504中所設定的3D設定的立體圖像的顯示形式相適合的形式生成立體圖像，并記錄所得到的動畫文件。這樣，基于在步驟S504中由顯示設備輸入的信息而進行3D設定，基于該3D設定而記錄動畫文件，由此，僅通過將顯示設備與多眼數(shù)字相機I連接，就可以針對該顯示設備以最佳的3D設定記錄動畫文件。
[0114]此外，也可以將上述實施方式5的從步驟S500至S504的處理，替換為第I至第4實施方式的步驟SlOO以及S102，在步驟S130中記錄動畫文件，以成為與在步驟S504中所設定的3D設定相對應的立體圖像的顯示形式。
[0115]另外，在上述第I至第5實施方式中，說明了作為與被攝體和拍攝單元的距離相關的值，計算各個被攝體和拍攝單元的距離，并計算利用該距離的最大值與最小值的差表示的被攝體距離范圍的情況，但并不限定于此，也可以作為與被攝體和拍攝單元的距離相關的值，而計算各個被攝體的視差，計算利用該視差的最大值與最小值的差表示的視差范圍。在該情況下，可以取代圖3所示的被攝體距離范圍計算部42以及被攝體距離范圍調整部43，設置視差范圍計算部以及視差范圍調整部。
[0116]在視差范圍計算部中，生成視差對應表，求出由對象檢測部41檢測出的針對每個對象的視差，根據(jù)視差的最大值與最小值的差計算視差范圍。此外，在登記有選擇對象的情況下，利用選擇對象的視差而計算視差范圍。關于視差對應表的生成，首先，針對左圖像和右圖像進行立體匹配，例如以左圖像為基準，提取與左圖像上的像素(xl，yl)相對應的右圖像上的對應像素(x2，y2)。左圖像上的像素(xl，yl)與右圖像上的對應像素(x2，y2)的視差d能夠按照d = x2 — xl進行計算，將該視差d存儲在作為基準的左圖像上的像素位置(xl，yl)處而生成。并且，使檢測出的對象和視差對應表相關聯(lián)，將存儲于與對象的位置相對應的視差對應表上的像素位置處的視差，作為該對象的視差而求出。在與對象的位置相對應的區(qū)域內的多個像素位置處存儲有不同的視差的情況下，能夠將該區(qū)域內的視差的平均值、最頻繁出現(xiàn)值等，作為該對象的視差而求出。
[0117]視差范圍調整部通過與被攝體距離范圍調整部43中的處理相同的處理，判定針對前I幀的圖像計算出的視差范圍、和針對當前幀的圖像計算出的視差范圍的差，是否超過預先確定的閾值，在超過的情況下，調整當前幀的視差范圍，使得所述前個幀的視差范圍和當前幀的視差范圍的差減小。
[0118]視差量計算部44，基于視差范圍和與視差范圍相對應的適當?shù)囊暡盍恐g的預先確定的關系，由計算出的視差范圍或者調整后的視差范圍而計算當前幀的視差量。如上述所述，關于視差量和被攝體距離范圍的關系，在被攝體距離范圍較小的情況下，存在于相距多眼數(shù)字相機I最遠處的最遠的被攝體和存在于最近處的最近的被攝體的相對的視差較小，在被攝體距離范圍較大的情況下，最遠的被攝體和最近的被攝體的相對的視差較大。因此，為了得到具有適當?shù)牧Ⅲw感的立體觀看圖像，在被攝體距離范圍較小的情況下增大視差量，在被攝體距離范圍較大的情況下減小視差量。此處，在被攝體距離范圍較小的情況下視差范圍也較小，在被攝體距離較大的情況下視差范圍也較大。因此，視差范圍和視差量的關系能夠與被攝體距離范圍和視差量的關系相同地預先確定。例如，在作為圖7所示的曲線圖而預先確定視差范圍和視差量的關系的情況下，只要將橫軸作為視差范圍(像素)即可。
[0119]另外，上述第I至第5實施方式能夠適當?shù)亟M合而執(zhí)行。在將第3實施方式和第4實施方式進行組合的情況下，可以設為，如果是選擇對象，則即使是移動量大的對象，也不將其排除，如果是移動量大的對象，則即使是選擇對象，也可以將其排除。
[0120]另外，在上述實施方式中，說明了判定前I幀的被攝體距離范圍和當前幀的被攝體距離范圍的差是否較大，對當前幀的被攝體距離范圍進行調整的情況，但也可以在取得規(guī)定幀數(shù)量的圖像，而計算出各個幀的被攝體距離范圍后，將特定幀的被攝體距離范圍與該特定幀的后I個拍攝到的幀的被攝體距離范圍進行比較，由此，判斷能否調整特定幀的被攝體距離范圍。
[0121]另外，在上述實施方式中，對求出最近的被攝體的視差量的情況進行了說明，但如第4實施方式所示，也可以在對選擇對象進行選擇的情況下，求出選擇對象的視差量。
[0122]另外，在本實施方式中，對具有2個拍攝部的結構的多眼數(shù)字相機進行了說明，但在具有大于或等于3個拍攝部的結構中，也能夠同樣地應用與取得大于或等于3個圖像的情況。在該情況下，只要從多個圖像中任意地組合2個圖像，進行與上述實施方式相同的處理即可。
[0123]另外，可以將圖3所示的各個模塊通過硬件構成，也可以構成為通過軟件實現(xiàn)各個模塊的功能，也可以通過硬件和軟件的組合而構成。在通過軟件構成的情況下，可以將本實施方式的動畫拍攝處理流程程序化，通過CPU執(zhí)行該程序。程序能夠存儲于存儲介質中而提供，或者存儲于服務器等存儲裝置中，也能夠經(jīng)由網(wǎng)絡通過下載而提供。
[0124]以上，作為本發(fā)明的拍攝裝置的實施方式，對數(shù)字照相機進行了說明，但拍攝裝置的結構并不限定于此。作為本發(fā)明的其他實施方式，例如能夠作為內置型或者外接型的PC用照相機，或者如以下說明所示的具有拍攝功能的便攜終端裝置。
[0125]作為本發(fā)明的一個實施方式的便攜終端裝置，例如可舉出移動電話、智能手機、PDA (Personal Digital Assistants)、便攜式游戲機。下面，以智能手機為例,參照附圖而進行詳細說明。
[0126]圖14表示作為本發(fā)明的一個實施方式的智能手機70的外觀。圖14所示的智能手機70具有平板狀的框體72，在框體72的一側的面上具有將作為顯示部的顯示面板74A、和作為輸入部的操作面板74B —體化而成的顯示輸入部74。另外，框圖72具有揚聲器76、麥克風78、操作部80、照相機部82。此外，框體72的結構并不限定于此。例如，能夠采用顯示部和輸入部分別獨立的結構，或者采用具有折疊構造、滑動機構的結構。
[0127]圖15是表示圖14所示的智能手機70的結構的框圖。如圖15所示,作為智能手機的主要結構要素，具有無線通信部84、顯示輸入部74、通話部86、操作部80、照相機部82、存儲部88、外部輸入輸出部90、GPS(Global Posit1ning System)接收部92、運動傳感器部94、電源部96、主控制部98。另外，作為智能手機70的主要功能，具有無線通信功能，該無線通信功能經(jīng)由基站裝置BS和移動通信網(wǎng)NW進行移動無線通信。
[0128]無線通信部84按照主控制部98的指示，相對于收容在移動通信網(wǎng)NW中的基站裝置BS進行無線通信。使用該無線通信，進行聲音數(shù)據(jù)、圖像數(shù)據(jù)等的各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的接收/發(fā)送、或Web數(shù)據(jù)、流數(shù)據(jù)等的接收。
[0129]顯示輸入部74是通過主控制部98的控制，對圖像(靜止圖像以及動態(tài)圖像)、字符信息等進行顯示而以視覺方式將信息傳遞至用戶，并且，對針對所顯示的信息的用戶操作進行檢測的所謂的觸摸面板，具有顯示面板74A和操作面板74B。
[0130]顯不面板74A 將 LCD(Liquid Crystal Display)、OELD (OrganicElectro-Luminescence Display)等作為顯示設備使用。操作面板74B以能夠看到在顯示面板74A的顯示面上顯示的圖像的方式進行載置，是對通過用戶的手指、筆尖操作的一個或多個坐標進行檢測的設備。如果通過用戶的手指、筆尖操作該設備，則將由操作而產(chǎn)生的檢測信號輸出至主控制部98。然后，主控制部98基于接收到的檢測信號，檢測顯示面板74A上的操作位置(坐標)。
[0131]如圖14所示，作為本發(fā)明的一個實施方式而例示出的智能手機70的顯示面板74A和操作面板74B —體化而構成顯示輸入部74,操作面板74B配置為完全覆蓋顯示面板74A。在采用該配置的情況下，操作面板74B也可以具有即使在顯示面板74A外的區(qū)域也能檢測用戶操作的功能。換言之，操作面板74B可以具有針對與顯示面板74A重疊的重疊部分的檢測區(qū)域(以下，稱為顯示區(qū)域)、和針對其以外的未與顯示面板74重疊的外緣部分的檢測區(qū)域(以下，稱為非顯示區(qū)域)。
[0132]此外，顯示區(qū)域的大小和顯示面板74A的大小可以完全一致，但也不是必須使兩者一致。另外，操作面板74B可以具有外緣部分、和其以外的內側部分這2個感應區(qū)域。進而，外緣部分的寬度根據(jù)框體72的大小等適當?shù)卦O計。再者，作為操作面板74B所采用的位置檢測方式，舉出矩陣切換方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應方式、靜電容量方式等，能夠采用任意方式。
[0133]通話部86具有揚聲器76、麥克風78，通過麥克風78輸入的用戶的聲音變換為可由主控制部98處理的聲音數(shù)據(jù)而輸出至主控制部98，或者對通過無線通信部84或外部輸入部90接收到的聲音數(shù)據(jù)進行解碼而從揚聲器76輸出。另外，如圖14所示，例如可以將揚聲器76搭載于與設置有顯不輸入部74的面相同的面上,將麥克風78搭載于框體72的側面上。
[0134]操作部80是利用按鍵開關等的硬件鍵，接收來自用戶的指示。例如，如圖14所示，操作部80是搭載于智能手機70的框體72的側面，如果用手指按壓則開啟，如果手指離開則通過彈簧等的恢復力而成為關閉狀態(tài)的按鈕式的開關。
[0135]存儲部88存儲以下數(shù)據(jù):主控制部98的控制程序和控制數(shù)據(jù)、應用軟件、與通信對象的名稱和電話號碼等相關聯(lián)的地址數(shù)據(jù)、接收/發(fā)送的電子郵件的數(shù)據(jù)、通過Web瀏覽而下載的Web數(shù)據(jù)、下載的內容數(shù)據(jù)，另外，對流數(shù)據(jù)等進行暫時存儲。另外，存儲部88由智能手機內置的內部存儲部88A、和可自由拆裝的具有外部存儲器插槽的外部存儲部88B構成。此外，構成存儲部88的內部存儲部88A和外部存儲部88B，分別使用閃存類型(flash memory type)、硬盤類型(hard disk type)、多介質卡微型(multimedia cardmicro type)、卡式的存儲器(例如，MicroSD (注冊商標)存儲器等)、RAM (Random AccessMemory)、ROM (Read Only Memory)等的存儲介質而實現(xiàn)。
[0136]外部輸入輸出部90起到與連結于智能手機70的所有外部設備的接口的作用，用于通過通信等(例如，通用串行總線(USB)、IEEE1394等)或者網(wǎng)絡(例如，互聯(lián)網(wǎng)、無線LAN、藍牙(Bluetooth)(注冊商標)、RFID (Rad1 Frequency Identificat1n)、紅外線通信(Infrared Data Associat1n:IrDA)(注冊商標)> UffB (Ultra Wideband)(注冊商標)、物聯(lián)網(wǎng)(ZigBee)(注冊商標)等)與其他的外部設備直接或間接地連接。
[0137]作為與智能手機70連結的外部設備，例如為有/無線頭戴式受話器、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡座連接的記憶卡(Memory card)或SIM (SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、經(jīng)由音頻 / 視頻 I/0(lnput/0utput)端子連接的外部音頻/視頻設備、無線連接的外部音頻/視頻設備、有/無線連接的智能手機、有/無線連接的個人計算機、有/無線連接的PDA、有/無線連接的個人計算機、耳機等。外部輸入輸出部能夠將從上述外部設備傳送而接收到的數(shù)據(jù)傳遞至智能手機70的內部的各結構要素、或將智能手機70內部的數(shù)據(jù)傳送至外部設備。
[0138]GPS接收部92按照主控制部98的指示，接收從GPS衛(wèi)星STl?STn發(fā)送的GPS信號，基于接收到的多個GPS信號執(zhí)行測位運算處理，對該智能手機70的由緯度、經(jīng)度、高度構成的位置進行檢測。GPS接收部92在能夠從無線通信部84、外部輸入輸出部90 (例如，無線LAN)取得位置信息時，也能夠利用該位置信息對位置進行檢測。
[0139]運動傳感器部94例如具有3軸的加速度傳感器等，按照主控制部98的指示，對智能手機70的物理運動進行檢測。通過檢測智能手機70的物理運動，檢測出智能手機70的運動方向、加速度。該檢測結果輸出至主控制部98。
[0140]電源部96按照主控制部98的指示，將儲存于電池(未圖示)中的電力供給至智能手機70的各部。
[0141]主控制部98具有微處理器，按照存儲部88所存儲的控制程序、控制數(shù)據(jù)進行動作，綜合控制智能手機70的各部。另外，主控制部98為了經(jīng)由無線通信部84而進行聲音通信、數(shù)字通信，具有控制通信系統(tǒng)的各部分的移動通信控制功能、和應用處理功能。
[0142]應用處理功能是由主控制部98按照存儲部88所存儲的應用軟件進行動作而實現(xiàn)的。作為應用處理功能，包括例如控制外部輸入輸出部90而與相對設備進行數(shù)據(jù)通信的紅夕卜線通信功能、進行電子郵件的接收/發(fā)送的電子郵件功能、閱覽Web網(wǎng)頁的Web瀏覽功能坐寸ο
[0143]另外，主控制部98具有基于接收數(shù)據(jù)、下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜止圖像、動態(tài)圖像的數(shù)據(jù))，將影像顯示在顯示輸入部74中等圖像處理功能。所謂圖像處理功能，是指主控制部98對上述圖像數(shù)據(jù)進行解碼，針對該解碼結果實施圖像處理，將圖像顯示在顯示輸入部74中的功能。
[0144]并且，主控制部98執(zhí)行針對顯示面板74A的顯示控制、和對經(jīng)由操作部80、操作面板74B的用戶操作進行檢測的操作檢測控制。
[0145]通過顯示控制的執(zhí)行，主控制部98對用于啟動應用軟件的圖標、滾動條等軟件鍵進行顯示、或者對用于生成電子郵件的窗口進行顯示。此外，所謂滾動條，是指針對未完全收容于顯示面板74A的顯示區(qū)域的較大的圖像等，用于接受使圖像的顯示部分移動的指示的軟件鍵。
[0146]另外，通過操作檢測控制的執(zhí)行，主控制部98對經(jīng)由操作部80的用戶操作進行檢測，或者經(jīng)由操作面板74B接受針對上述圖標的操作、對上述窗口的輸入欄的字符串的輸入，或者接受經(jīng)由滾動條的顯示圖像的滾動要求。
[0147]并且，通過操作檢測控制的執(zhí)行，主控制部98具有觸摸面板控制功能，該觸摸面板控制功能是判定針對操作面板74B的操作位置處于與顯示面板74A重疊的重疊部分(顯示區(qū)域)、還處于其以外的未與顯示面板74重疊的外緣部分(非顯示區(qū)域)，對操作面板74B的感應區(qū)域、軟件鍵的顯示位置進行控制的功能。
[0148]另外，主控制部98也能夠檢測針對操作面板74B的手勢操作，根據(jù)檢測出的手勢操作，執(zhí)行預先設定的功能。所謂手勢操作，不是現(xiàn)有的單純的觸摸操作，而是通過手指等描繪軌跡、或同時指定多個位置，或者將上述進行組合，從多個位置中至少針對I個位置描繪軌跡的操作。
[0149]照相機部82 是利用 CMOS (Complementary Metal Oxide Semiconductor) >CCD(Charge-Coupled Device)等拍攝元件而進行電子拍攝的數(shù)字照相機。另外，照相機部82能夠通過主控制部98的控制，將拍攝得到的圖像數(shù)據(jù)變換為例如JPEGCJointPhotographic coding Experts Group)等壓縮后的圖像數(shù)據(jù)，存儲于存儲部88,或者經(jīng)由輸入輸出部90、無線通信部84而輸出。在圖14所示的智能手機70中，照相機部82搭載在與顯示輸入部74相同的面上，但照相機部82的搭載位置并不限定于此，也可以搭載在顯示輸入部74的背面，或者，也可以搭載多個照相機部82。此外，在搭載有多個照相機部82的情況下，能夠切換用于拍攝的照相機部82而單獨地進行拍攝，或者同時使用多個照相機部82進行拍攝。
[0150]另外，照相機部82能夠利用智能手機70的各種功能。例如，能夠在顯示面板74A中顯示由照相機部82取得的圖像、或作為操作面板74B的操作輸入的I種而利用照相機部82的圖像。另外，在GPS接收部92檢測位置時，也能夠參照來自照相機部82的圖像而檢測位置。進而，能夠參照來自照相機部82的圖像而不利用3軸加速度傳感器，或者，同時使用3軸加速度傳感器，判斷智能手機70的照相機部82的光軸方向，還對當前的使用環(huán)境進行判斷。當然，也能夠在應用軟件內利用來自照相機部82的圖像。
[0151]除此以外，能夠在靜止或動態(tài)的圖像數(shù)據(jù)中附加由GPS接收部92取得的位置信息、由麥克風78取得的聲音信息(也可以是通過主控制部等，進行聲音文本變換而成為文本信息)、由運動傳感器94取得的姿態(tài)信息等，而存儲于存儲部88，或者經(jīng)由輸入輸出部90、無線通信部84而輸出。
【權利要求】
1.一種拍攝裝置，其具有: 多個拍攝單元，它們從多個不同視角的各個視角對同一拍攝對象一幀一幀連續(xù)地拍攝; 檢測單元，其從由所述多個拍攝單元的任意一個拍攝到的幀的各個圖像中，對被攝體進行檢測； 范圍計算單元，其在由所述檢測單元檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體和所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍； 調整單元，其在由所述范圍計算單元計算出范圍的特定幀的范圍、與所述特定幀的前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，以使得該差減??； 視差量計算單元，其基于范圍和視差量的預先確定的關系，對與由所述范圍計算單元計算出的范圍或者由所述調整單元調整后的范圍相對應的視差量進行計算； 立體圖像生成單元，其基于由所述視差量計算單元計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及 記錄控制單元，其進行下述控制，即，將由所述立體圖像生成單元生成的立體圖像記錄在記錄單元中。
2.根據(jù)權利要求1所述的拍攝裝置，其中， 所述記錄控制單元進行下述控制，即，與所述立體圖像相關聯(lián)地，將與由所述調整單元調整后的范圍相對應的視差量，記錄在所述記錄單元中。
3.根據(jù)權利要求1或2所述的拍攝裝置，其中， 還具有接收單元，該接收單元接收表示所述立體圖像的顯示形式的信息的輸入， 所述立體圖像生成單元以與由所述接收單元接收到的信息所示的立體圖像的顯示形式相適合的形式，生成立體圖像。
4.根據(jù)權利要求1至3中任一項所述的拍攝裝置，其中， 還具有輸入單元，其從所連接的顯示設備輸入表示立體圖像的顯示形式的信息， 所述立體圖像生成單元以與由所述輸入單元輸入的信息所示的立體圖像的顯示形式相適合的形式生成立體圖像。
5.根據(jù)權利要求1至4中任一項所述的拍攝裝置，其中， 將與所述距離相關的值，作為檢測出的各個被攝體與所述拍攝單元的距離、或者檢測出的各個被攝體的視差。
6.根據(jù)權利要求1至5中任一項所述的拍攝裝置，其中， 針對未檢測出被攝體的未檢測幀中、在比該未檢測幀的前I個或后I個拍攝到的幀中檢測出被攝體的未檢測幀，所述調整單元視作該未檢測幀的范圍與所述前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值，對該未檢測幀的范圍進行調整。
7.根據(jù)權利要求1至6中任一項所述的拍攝裝置，其中， 所述范圍計算單元對由所述檢測單元檢測出的被攝體的幀之間的移動量進行計算，將該移動量超過預先確定的規(guī)定移動量的被攝體排除后，計算所述范圍。
8.根據(jù)權利要求7所述的拍攝裝置，其中， 所述范圍計算單元將所述被攝體的移動方向為所述拍攝單元的光軸方向且所述移動量超過預先確定的規(guī)定移動量的被攝體排除。
9.根據(jù)權利要求1至6中任一項所述的拍攝裝置，其中， 包含登記單元，在該登記單元中預先登記有由所述檢測單元檢測的被攝體， 所述范圍計算單元在由所述登記單元登記的被攝體被所述檢測單元檢測出的情況下，利用該登記的被攝體，計算所述范圍。
10.根據(jù)權利要求7或8所述的拍攝裝置，其中， 包含登記單元，在該登記單元中預先登記有由所述檢測單元檢測的被攝體， 所述范圍計算單元將所述移動量超過預先確定的規(guī)定移動量且未登記在所述登記單元中的被攝體排除后，計算所述范圍。
11.根據(jù)權利要求7或8所述的拍攝裝置，其中， 包含登記單元，在該登記單元中預先登記有由所述檢測單元檢測的被攝體， 如果是登記在所述登記單元中的被攝體，則即使在該被攝體的所述移動量超過預先確定的規(guī)定移動量的情況下，所述范圍計算單元也不會從所述范圍的計算中排除該被攝體。
12.根據(jù)權利要求1至11中任一項所述的拍攝裝置，其中， 所述視差量計算單元在由所述檢測單元檢測出的被攝體為I個的情況下，將該被攝體作為交叉點而計算視差量，在由所述檢測單元未檢測出被攝體的情況下，將預先確定的規(guī)定點作為交叉點而計算視差量。
13.一種拍攝方法，其包含以下步驟: 拍攝控制步驟，在該步驟中，以從多個不同視角的各個視角對同一拍攝對象一幀一幀連續(xù)地拍攝的方式，對多個拍攝單元的每一個進行控制； 檢測步驟，在該步驟中，從由所述多個拍攝單元的任意一個拍攝到的幀的各個圖像中，對被攝體進行檢測； 范圍計算步驟，在該步驟中，在通過所述檢測步驟檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體和所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍； 調整步驟，在該步驟中，在通過所述范圍計算步驟計算出范圍的特定幀的范圍、與所述特定幀的前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，使得該差減小； 視差量計算步驟，在該步驟中，基于范圍和視差量的預先確定的關系，對與通過所述范圍計算步驟計算出的范圍或者通過所述調整步驟調整后的范圍相對應的視差量進行計算； 立體圖像生成步驟，在該步驟中，基于通過所述視差量計算步驟計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及記錄控制步驟，在該步驟中，進行下述控制，即，將通過所述立體圖像生成步驟生成的立體圖像記錄在記錄單元中。
14.一種存儲介質，其是存儲有使計算機執(zhí)行拍攝處理的程序的持續(xù)性的計算機可讀存儲介質，其中， 所述拍攝處理包含以下步驟: 檢測步驟，在該步驟中，從由所述多個拍攝單元的任意一個拍攝到的幀的各個圖像中，對被攝體進行檢測； 范圍計算步驟，在該步驟中，在通過所述檢測步驟檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體和所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍； 調整步驟，在該步驟中，在通過所述范圍計算步驟計算出范圍的特定幀的范圍、與所述特定幀的前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，使得該差減??； 視差量計算步驟，在該步驟中，基于范圍和視差量的預先確定的關系，對與通過所述范圍計算步驟計算出的范圍或者通過所述調整步驟調整后的范圍相對應的視差量進行計算； 立體圖像生成步驟，在該步驟中，基于通過所述視差量計算步驟計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及記錄控制步驟，在該步驟中，進行下述控制，即，將通過所述立體圖像生成步驟生成的立體圖像記錄在記錄單元中。
15.一種程序，其用于使計算機作為下述單元起作用: 檢測單元，其從由多個拍攝單元的任意一個拍攝到的幀的各個圖像中，對被攝體進行檢測，其中，所述多個拍攝單元從多個不同視角的各個視角將同一拍攝對象一幀一幀連續(xù)地拍攝； 范圍計算單元，其在由所述檢測單元檢測出多個被攝體的情況下，針對檢測出多個被攝體的各幀，計算利用與檢測出的各個被攝體和所述拍攝單元的距離相關的值的最大值與最小值的差表示的范圍； 調整單元，其在由所述范圍計算單元計算出范圍的特定幀的范圍、與所述特定幀的前I個或后I個拍攝到的幀的范圍的差超過預先確定的閾值的情況下，對所述特定幀的范圍進行調整，使得該差減??； 視差量計算單元，其基于范圍和視差量的預先確定的關系，對與由所述范圍計算單元計算出的范圍或者由所述調整單元調整后的范圍相對應的視差量進行計算； 立體圖像生成單元，其基于由所述視差量計算單元計算出的視差量，根據(jù)由所述拍攝單元各自拍攝到的多個視角圖像而生成與各個幀相對應的立體圖像；以及 記錄控制單元，其進行下述控制，即，將由所述立體圖像生成單元生成的立體圖像記錄在記錄單元中。
【文檔編號】G03B35/08GK104185985SQ201380013450
【公開日】2014年12月3日 申請日期:2013年1月22日 優(yōu)先權日:2012年3月30日
【發(fā)明者】江鄉(xiāng)俊太 申請人:富士膠片株式會社