專利名稱：立體觀看用圖像拍攝裝置及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體觀看用圖像拍攝裝置及其制造方法。
背景技術(shù)：
在專利文獻(xiàn)I中記載下述技術(shù)，即，對(duì)于使照相機(jī)移動(dòng)而得到的多個(gè)圖像組(第I圖像組)，在相鄰的圖像之間進(jìn)行特征點(diǎn)關(guān)聯(lián)，使用上述特征點(diǎn)的關(guān)聯(lián)信息，從第I圖像組中得到視點(diǎn)間距一定的圖像組(第2圖像組)。利用第2圖像組構(gòu)成立體圖像。專利文獻(xiàn)I :日本特開(kāi)2006 - 113807號(hào)公報(bào)

發(fā)明內(nèi)容
但是，如果視點(diǎn)間距一定但在相鄰的圖像之間相關(guān)聯(lián)的特征點(diǎn)數(shù)量很少，則可能會(huì)在立體觀看時(shí)產(chǎn)生不適感。本發(fā)明目的在于可以簡(jiǎn)單地得到適合于立體觀看的圖像。本發(fā)明涉及的立體觀看用圖像拍攝裝置具有攝像單元，該攝像單元對(duì)被攝體進(jìn)行攝像，并輸出通過(guò)攝像得到的圖像數(shù)據(jù)，該立體觀看用圖像拍攝裝置由上述攝像單元輸出的來(lái)自于左眼用視點(diǎn)及右眼用視點(diǎn)的表示被攝體的圖像數(shù)據(jù)生成立體觀看用圖像文件，該立體觀看用圖像拍攝裝置具有對(duì)應(yīng)點(diǎn)搜索單元，其使用所述第2圖像數(shù)據(jù)搜索與使用第I圖像數(shù)據(jù)檢測(cè)到的多個(gè)特征點(diǎn)分別對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，所述第I圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)中的任一個(gè)基準(zhǔn)視點(diǎn)得到，所述第2圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)中的另一個(gè)與基準(zhǔn)視點(diǎn)不同的視點(diǎn)得到；對(duì)應(yīng)點(diǎn)數(shù)量判斷單元，其判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值；控制單元，其對(duì)上述對(duì)應(yīng)點(diǎn)搜索單元及對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)行控制，在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量小于第I閾值的情況下，使用通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)再次攝像而得到的新的第2圖像數(shù)據(jù)，重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷；以及立體圖像文件生成單元，其在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量大于或等于第I閾值的情況下，使用判斷時(shí)的第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)生成立體圖像文件。上述第I閾值可以是預(yù)先確定的值，也可以是根據(jù)與構(gòu)成由上述第2圖像數(shù)據(jù)表示的第2圖像的像素?cái)?shù)的比例確定的值。本發(fā)明還提供一種上述立體觀看用圖像拍攝裝置的控制方法。該立體觀看用圖像拍攝裝置具有攝像單元，該攝像單元對(duì)被攝體進(jìn)行攝像，并輸出通過(guò)攝像得到的圖像數(shù)據(jù)，該立體觀看用圖像拍攝裝置的控制方法為，由從上述攝像單元輸出的來(lái)自于左眼用視點(diǎn)及右眼用視點(diǎn)的、表示被攝體的圖像數(shù)據(jù)生成立體觀看用圖像文件，在該控制方法中，對(duì)應(yīng)點(diǎn)搜索單元使用第2圖像數(shù)據(jù)搜索與使用第I圖像數(shù)據(jù)檢測(cè)到的多個(gè)特征點(diǎn)分別對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，所述第I圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)中的任一個(gè)基準(zhǔn)視點(diǎn)得到，所述第2圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)中的另一個(gè)與基準(zhǔn)視點(diǎn)不同的視點(diǎn)得到；對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值，控制單元對(duì)上述對(duì)應(yīng)點(diǎn)搜索單元及對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)行控制,在通過(guò)所述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量小于第I閾值的情況下，使用通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)再次攝像而得到的新的第2圖像數(shù)據(jù)，重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷，立體圖像文件生成單元在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量大于或等于第I閾值的情況下，使用此時(shí)的第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)生成立體圖像文件。使用從基準(zhǔn)視點(diǎn)(例如左眼用視點(diǎn))得到的第I圖像和從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)(例如右眼用視點(diǎn))得到的第2圖像，從第2圖像中搜索與從第I圖像中檢測(cè)到的特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。如果通過(guò)搜索找到的特征點(diǎn)的數(shù)量大于或等于第I閾值，則由表示該第I圖像的第I圖像數(shù)據(jù)及表示第2圖像的第 2圖像數(shù)據(jù)生成立體圖像文件。另一方面，在對(duì)應(yīng)點(diǎn)的數(shù)量低于第I閾值的情況下，使用通過(guò)二次攝像得到的新的第2圖像數(shù)據(jù)，重新執(zhí)行對(duì)應(yīng)點(diǎn)的搜索及通過(guò)搜索找到的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值的判斷。第2圖像數(shù)據(jù)和新的第2圖像數(shù)據(jù)均是通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)(例如右眼用視點(diǎn))對(duì)被攝體進(jìn)行攝像(拍攝)而得到的圖像數(shù)據(jù)，二者在這一點(diǎn)上是相同的，但其拍攝定時(shí)不同，因此意味著它們是不同的圖像數(shù)據(jù)。在判斷對(duì)應(yīng)點(diǎn)數(shù)量低于第I閾值的情況下，可以將之后通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)對(duì)上述被攝體進(jìn)行再次拍攝得到的圖像數(shù)據(jù)作為上述新的第2圖像數(shù)據(jù)，也可以使用從通過(guò)預(yù)先進(jìn)行的多次攝像得到的、來(lái)自于與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)的多個(gè)第2圖像數(shù)據(jù)中選擇的一個(gè)第2圖像數(shù)據(jù)，作為上述新的第2圖像數(shù)據(jù)。根據(jù)本發(fā)明，由第I圖像和包含多個(gè)與從第I圖像檢測(cè)到的特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的第2圖像，生成立體圖像文件。由于由視點(diǎn)不同且構(gòu)圖比較一致的第I圖像及第2圖像構(gòu)成立體圖像文件，因此可以得到適合于立體觀看的立體圖像。也可以重復(fù)進(jìn)行從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)的攝像、上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷，直至得到具有大于或等于第I閾值的數(shù)量的對(duì)應(yīng)點(diǎn)為止(直至通過(guò)對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷通過(guò)對(duì)應(yīng)點(diǎn)搜索單元進(jìn)行搜索而找到的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于第I閾值為止)。優(yōu)選還具有閾值減小單元，其在上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元完成了規(guī)定次數(shù)的判斷處理、或上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元在規(guī)定時(shí)間內(nèi)完成了多次判斷處理時(shí)，未得到具有大于或等于第I閾值的數(shù)量的對(duì)應(yīng)點(diǎn)的第2圖像數(shù)據(jù)的情況下，降低上述第I閾值。可以避免在長(zhǎng)時(shí)間內(nèi)未實(shí)現(xiàn)立體圖像文件生成的狀況。在一個(gè)實(shí)施方式中，具有視差值計(jì)算單元,其針對(duì)通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)，計(jì)算上述特征點(diǎn)與上述對(duì)應(yīng)點(diǎn)的視差值，上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)中的具有規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第2閾值。在這種情況下，在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于第2閾值的情況下，進(jìn)入上述立體圖像文件的生成，在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于第2閾值的情況下，進(jìn)入使用新的第2圖像數(shù)據(jù)的上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷的重新執(zhí)行。由于具有適合于立體觀看的視差值(規(guī)定視差值)的第I圖像和第2圖像的組形成為立體圖像文件，因此可以得到易于進(jìn)行立體觀看的立體圖像文件。第2閾值可以是預(yù)先設(shè)定的值，也可以是根據(jù)與構(gòu)成由上述第2圖像數(shù)據(jù)表示的第2圖像的像素?cái)?shù)的比例確定的值。在其他實(shí)施方式中，上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)一步判斷通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)中、具有大于或等于極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否低于第3閾值。在這種情況下，在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于第2閾值、且具有大于或等于上述極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于上述第3閾值的情況下，進(jìn)入上述立體圖像文件的生成，在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于上述第2閾值、且具有大于或等于上述極限視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于第3閾值的情況下，進(jìn)入使用新的第2圖像數(shù)據(jù)的上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷的重新執(zhí)行。在第2圖像中找到大于或等于規(guī)定數(shù)量(第3閾值)個(gè)具有過(guò)大視差值(大于或等于極限視差值的視差值)(不適合于立體觀看的視差值)的對(duì)應(yīng)點(diǎn)的情況下，進(jìn)入使用新的第2圖像數(shù)據(jù)的處理。第3閾值可以是預(yù)先設(shè)定的值，也可以是根據(jù)相對(duì)于構(gòu)成由上述第2圖像數(shù)據(jù)表示的第2圖像的像素?cái)?shù)的比例而確定的值。上述視差值計(jì)算單元通過(guò)從上述特征點(diǎn)的坐標(biāo)值減去與上述特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的坐標(biāo)值，計(jì)算各個(gè)對(duì)應(yīng)點(diǎn)的上述視差值，上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元也可以優(yōu)先使用 計(jì)算出正的視差值的對(duì)應(yīng)點(diǎn)或計(jì)算出負(fù)的視差值的對(duì)應(yīng)點(diǎn)中的任一種?？梢缘玫奖硎緩?qiáng)調(diào)凹入感或凸出感中的任一種的立體圖像文件。優(yōu)選具有區(qū)域分割單元，其將由上述對(duì)應(yīng)點(diǎn)搜索單元進(jìn)行對(duì)應(yīng)點(diǎn)搜索所使用的第2圖像數(shù)據(jù)表示的第2圖像分成多個(gè)區(qū)域，上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元對(duì)于各個(gè)通過(guò)上述區(qū)域分割單元分割的多個(gè)分割區(qū)域，判斷分割區(qū)域中包含的對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于第4閾值。由于在圖像整體中選擇存在多個(gè)對(duì)應(yīng)點(diǎn)的第2圖像作為構(gòu)成立體圖像文件的圖像，因此可以得到在圖像整體中進(jìn)行立體觀看的立體圖像文件。第4閾值可以是預(yù)先設(shè)定的值，也可以是根據(jù)與構(gòu)成分割區(qū)域的像素?cái)?shù)的比例確定的值。在其他實(shí)施方式中，具有圖像平坦區(qū)域檢測(cè)單元，其檢測(cè)亮度或顏色變化較小的圖像平坦區(qū)域，上述對(duì)應(yīng)點(diǎn)搜索單元將除了通過(guò)上述圖像平坦區(qū)域檢測(cè)單元檢測(cè)到的圖像平坦區(qū)域之外的其余圖像區(qū)域設(shè)為上述對(duì)應(yīng)點(diǎn)搜索范圍。通過(guò)從對(duì)應(yīng)點(diǎn)搜索范圍去除不易進(jìn)行對(duì)應(yīng)點(diǎn)搜索的圖像平坦區(qū)域，可以實(shí)現(xiàn)對(duì)應(yīng)點(diǎn)搜索處理高效化。此外，這里所說(shuō)的“圖像平坦區(qū)域”是指在圖像內(nèi)無(wú)法檢測(cè)到邊緣或輪廓的無(wú)特征點(diǎn)的區(qū)域。此外，也可以將除了上述第2圖像左右端部的規(guī)定區(qū)域之外的其余圖像區(qū)域設(shè)為上述對(duì)應(yīng)點(diǎn)搜索范圍。通過(guò)從對(duì)應(yīng)點(diǎn)搜索范圍中去除重疊的圖像部分較少的圖像的左右端部，從而可以實(shí)現(xiàn)對(duì)應(yīng)點(diǎn)搜索處理的高效化。立體觀看用圖像攝像裝置還可以使用通過(guò)動(dòng)畫(huà)拍攝得到的圖像數(shù)據(jù)作為上述第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)。還包含死角區(qū)域判斷單元，其判斷包含在由上述第2圖像數(shù)據(jù)表示的第2被攝體中而未包含在由上述第I圖像數(shù)據(jù)表示的第I被攝體中的第I死角區(qū)域，或包含在上述第I被攝體中而未包含在上述第2被攝體中的第2死角區(qū)域中的至少一個(gè)死角區(qū)域的大小，是否大于或等于第5閾值。在這種情況下，上述控制單元對(duì)上述對(duì)應(yīng)點(diǎn)搜索單元及對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)行控制，例如，在由上述死角區(qū)域判斷單元判斷上述第I死角區(qū)域或上述第2死角區(qū)域中的至少一個(gè)死角區(qū)域的大小大于或等于第5閾值的情況下，使用通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)的二次攝像得到的、新的第2圖像數(shù)據(jù)，重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷，例如，在通過(guò)上述死角區(qū)域判斷單元判斷上述第I死角區(qū)域或上述第2死角區(qū)域中的任一個(gè)死角區(qū)域的大小低于第5閾值的情況下，上述立體圖像文件生成單元使用此時(shí)的第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)生成立體圖像文件。另外，上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元也可以判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元找到的對(duì)應(yīng)點(diǎn)中的、除了視差值的絕對(duì)值大于或等于第6閾值的對(duì)應(yīng)點(diǎn)即具有低于第6閾值的規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值。此外，還可以具有主要被攝體像檢測(cè)單元，其從由上述第2圖像數(shù)據(jù)表示的第2被攝體像檢測(cè)主要被攝體像。在這種情況下，上述對(duì)應(yīng)點(diǎn)搜索單元例如從由上述主要被攝體像檢測(cè)單元檢測(cè)到的主要被攝體像中，搜索分別與使用上述第I圖像數(shù)據(jù)檢測(cè)的多個(gè)特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。


圖I是表示對(duì)被攝體進(jìn)行拍攝時(shí)的數(shù)碼相機(jī)的位置關(guān)系的斜視圖。圖2是表示數(shù)碼相機(jī)的電氣結(jié)構(gòu)的框圖。圖3是表示第I實(shí)施例中的數(shù)碼相機(jī)的動(dòng)作的流程圖。圖4表示左眼用圖像和右眼用圖像的圖像例。圖5表示左眼用圖像和右眼用圖像的圖像例。圖6表示左眼用圖像和右眼用圖像的圖像例。圖7是表示第I實(shí)施例的變形例中的數(shù)碼相機(jī)的動(dòng)作的流程圖。圖8表示右眼用圖像、圖像平坦區(qū)域、圖像左端區(qū)域及圖像右端區(qū)域的關(guān)系。圖9是表示第2實(shí)施例的數(shù)碼相機(jī)的動(dòng)作的流程圖。圖10表示左眼用圖像和右眼用圖像的圖像例。圖11是表示第3實(shí)施例的數(shù)碼相機(jī)的處理的流程圖。圖12表示使各個(gè)對(duì)應(yīng)點(diǎn)的視差與由虛線表示的右眼用圖像重合。圖13是表示數(shù)碼相機(jī)的處理的流程圖。圖14表示右眼用圖像的圖像例。圖15是表示數(shù)碼相機(jī)的處理的流程圖。圖16是視差柱狀圖的一例。圖17是表示數(shù)碼相機(jī)的處理的流程圖。圖18表示左眼用圖像和右眼用圖像的圖像例。
具體實(shí)施例方式(第I實(shí)施例)圖I表示本發(fā)明的實(shí)施例，表示對(duì)被攝體進(jìn)行拍攝時(shí)的數(shù)碼相機(jī)I的位置關(guān)系。該實(shí)施例涉及的數(shù)碼相機(jī)1，由通過(guò)對(duì)同一個(gè)被攝體進(jìn)行多次拍攝而得到的圖像，得到可立體觀看的圖像(以下稱為立體圖像)。為了得到立體圖像，數(shù)碼相機(jī)I使其位置(視點(diǎn))移動(dòng)，使移動(dòng)前后的視點(diǎn)各不相同，對(duì)被攝體進(jìn)行拍攝。圖I表示用戶使用數(shù)碼相機(jī)I從左眼用視點(diǎn)(基準(zhǔn)視點(diǎn))進(jìn)行第I次拍攝，然后朝向被攝體向右方移動(dòng)而從右眼用視點(diǎn)進(jìn)行第2次拍攝時(shí)的數(shù)碼相機(jī)I的位置關(guān)系。在以下的說(shuō)明中，將通過(guò)移動(dòng)前的拍攝得到的圖像設(shè)為“左眼用圖像”，將通過(guò)移動(dòng)后的拍攝得到的圖像設(shè)為“右眼用圖像”。當(dāng)然，也可以將通過(guò)移動(dòng)前的拍攝得到的圖像設(shè)為“右眼用圖像”，而將通過(guò)移動(dòng)后的拍攝得到的圖像設(shè)為“左眼用圖像”。在這種情況下，用戶(數(shù)碼相機(jī)I)的移動(dòng)方向朝向被攝體為左方。無(wú)論哪種方式，都是由左眼用圖像及右眼用圖像這2幅圖像構(gòu)成立體圖像。圖2是表示數(shù)碼相機(jī)I的電氣結(jié)構(gòu)的框圖。此外，不限定于數(shù)碼相機(jī)(得到靜止圖像)，本發(fā)明的實(shí)施例也適用于數(shù)碼攝像機(jī)(得到動(dòng)畫(huà))。數(shù)碼相機(jī)I整體的動(dòng)作通過(guò)CPU 2集中控制。數(shù)碼相機(jī)I具有固體攝像元件(CXD、CMOS等)15，在固體攝像元件15的前方設(shè)置有攝像透鏡11、光圈12、紅外線截止濾光片13、及光學(xué)低通濾光片(OLPF) 14。數(shù)碼相機(jī)I具有操作器3。操作器3包含電源按鈕、模式設(shè)定旋鈕、兩段式快門鍵等。從操作器3輸出的操作信號(hào)輸入至CPU 2。通過(guò)模式設(shè)定旋鈕設(shè)定的模式包含拍攝模式、再生模式等。拍攝模式中還包含普通拍攝模式、立體拍攝模式等。
另外，在數(shù)碼相機(jī)I上設(shè)置有用于進(jìn)行閃光燈攝像的發(fā)光裝置4及用于接收從發(fā)光裝置4射出的射出光的反射光的受光裝置5。如果將數(shù)碼相機(jī)I的電源接通而設(shè)定拍攝模式，則表示被攝體像的光線束經(jīng)由攝像透鏡11、光圈12、紅外線截止濾光片13及光學(xué)低通濾光片14，入射到固體攝像元件15的受光面上。在固體攝像元件15的受光面上被攝體像成像，表示被攝體像的模擬影像信號(hào)從固體攝像元件15輸出。通過(guò)固體攝像元件15以一定周期對(duì)被攝體進(jìn)行攝像，并以一定周期一巾貞一巾貞地輸出表不被攝體像的模擬影像信號(hào)。從固體攝像元件15輸出的表示被攝體像的模擬影像信號(hào)輸入至模擬信號(hào)處理裝置16。模擬信號(hào)處理裝置16包含相關(guān)雙采樣電路、信號(hào)放大器等，在其中進(jìn)行相關(guān)雙采樣、信號(hào)放大等。從模擬信號(hào)處理裝置16輸出的模擬影像信號(hào)輸入至模擬/數(shù)字變換電路17，在這里，變換為數(shù)字圖像數(shù)據(jù)。數(shù)字圖像數(shù)據(jù)經(jīng)由數(shù)據(jù)總線32輸入至存儲(chǔ)器控制電路21。在存儲(chǔ)器控制電路21的控制下，數(shù)字圖像數(shù)據(jù)被暫時(shí)存儲(chǔ)在主存儲(chǔ)器22中。CPU 2和存儲(chǔ)器控制電路21等通過(guò)控制線31連接。數(shù)字圖像數(shù)據(jù)從主存儲(chǔ)器22讀取，經(jīng)由數(shù)據(jù)總線32輸入至數(shù)字信號(hào)處理電路23。在數(shù)字信號(hào)處理電路23中，進(jìn)行白平衡調(diào)整、Y校正等規(guī)定的數(shù)字信號(hào)處理。在數(shù)字信號(hào)處理電路23中進(jìn)行數(shù)字信號(hào)處理后的數(shù)據(jù)被輸入至顯示控制電路28。通過(guò)由顯示控制電路28對(duì)顯示裝置29進(jìn)行控制，在顯示畫(huà)面上顯示被攝體像。如果進(jìn)行快門鍵第一階段按下，則由透鏡驅(qū)動(dòng)電路6驅(qū)動(dòng)透鏡11而進(jìn)行合焦?；趶闹鞔鎯?chǔ)器22讀取的圖像數(shù)據(jù)，在數(shù)字信號(hào)處理電路23中得到亮度數(shù)據(jù)，亮度數(shù)據(jù)輸入積分電路25進(jìn)行積分。表示積分值的數(shù)據(jù)被輸入至CPU 2，計(jì)算曝光量。由光圈驅(qū)動(dòng)電路7控制對(duì)光圈12的開(kāi)口進(jìn)行控制，以達(dá)到計(jì)算出的曝光量，由攝像元件驅(qū)動(dòng)電路8對(duì)固體攝像元件15的快門速度進(jìn)行控制。如果進(jìn)行快門鍵的第二階段按下，則從模擬/數(shù)字變換電路17輸出的圖像數(shù)據(jù)記錄在主存儲(chǔ)器22中。對(duì)于從主存儲(chǔ)器22讀取的圖像數(shù)據(jù)，如上所述，在數(shù)字信號(hào)處理電路23中進(jìn)行規(guī)定的數(shù)字信號(hào)處理。從數(shù)字信號(hào)處理電路23輸出的圖像數(shù)據(jù)在壓縮展開(kāi)處理電路24中進(jìn)行數(shù)據(jù)壓縮。壓縮得到的圖像數(shù)據(jù)通過(guò)外部存儲(chǔ)器控制電路26的控制記錄在存儲(chǔ)卡27中。如果在操作器3中設(shè)定再生模式，則讀取記錄在存儲(chǔ)卡27中的壓縮圖像數(shù)據(jù)。所讀取的壓縮圖像數(shù)據(jù)在壓縮展開(kāi)處理電路24中展開(kāi)后，輸入至顯示控制電路28。在顯示裝置29的顯示畫(huà)面上顯示再生圖像。如上所述，數(shù)碼相機(jī)I可以得到立體圖像。在得到立體圖像的情況下，使用操作器3的模式選擇旋鈕選擇立體拍攝模式。對(duì)于選擇立體拍攝模式時(shí)的數(shù)碼相機(jī)I的動(dòng)作如下詳細(xì)地進(jìn)行說(shuō)明。圖3是表示通過(guò)模式設(shè)定旋鈕設(shè)定立體拍攝模式時(shí)的數(shù)碼相機(jī)I的動(dòng)作的流程圖。圖4、圖5及圖6均表示通過(guò)使用數(shù)碼相機(jī)I的拍攝得到的左眼用圖像和右眼用圖像的圖像例。

在圖3所示的流程圖中，對(duì)應(yīng)點(diǎn)搜索處理(步驟43、44)、對(duì)應(yīng)點(diǎn)數(shù)量計(jì)數(shù)處理(步驟45)、基于對(duì)應(yīng)點(diǎn)數(shù)量的判斷處理(步驟46)、立體圖像生成處理(步驟47)，通過(guò)上述數(shù)字信號(hào)處理電路23或CPU 2進(jìn)行。當(dāng)然，也可以在數(shù)碼相機(jī)I中單獨(dú)設(shè)置執(zhí)行上述處理的專用硬件電路(對(duì)應(yīng)點(diǎn)搜索處理電路、對(duì)應(yīng)點(diǎn)數(shù)量計(jì)數(shù)電路、判斷電路、及立體圖像生成電路等)。這一點(diǎn)在后述的其他實(shí)施例中也相同。通過(guò)按下快門鍵進(jìn)行左眼用圖像的拍攝，左眼用圖像數(shù)據(jù)存儲(chǔ)在主存儲(chǔ)器22中(步驟41)。然后，使數(shù)碼相機(jī)I向右方移動(dòng)，再次按下快門鍵進(jìn)行右眼用圖像拍攝。右眼用圖像數(shù)據(jù)也存儲(chǔ)在主存儲(chǔ)器22中(步驟42)。進(jìn)行左眼用圖像拍攝的數(shù)碼相機(jī)I的位置(視點(diǎn))和進(jìn)行右眼用圖像拍攝的數(shù)碼相機(jī)I的位置彼此不同，但在兩次拍攝中均是對(duì)同一被攝體進(jìn)行拍攝(參照?qǐng)DI)。使用存儲(chǔ)在主存儲(chǔ)器22中的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理(步驟43)。在對(duì)應(yīng)點(diǎn)搜索處理中進(jìn)行下述處理使用存儲(chǔ)在主存儲(chǔ)器22中的左眼用圖像數(shù)據(jù)或右眼用圖像數(shù)據(jù)中的一個(gè)，檢測(cè)圖像中的物體的角部或線的交點(diǎn)等，將其作為特征點(diǎn)(特征像素)，搜索另一個(gè)圖像中與上述特征點(diǎn)相關(guān)性高的像素(將其稱為對(duì)應(yīng)點(diǎn))。對(duì)應(yīng)點(diǎn)搜索處理通過(guò)模版比對(duì)等局部地進(jìn)行，通過(guò)多次的對(duì)應(yīng)點(diǎn)搜索處理執(zhí)行對(duì)圖像整體的處理(在步驟44中為否)。在對(duì)應(yīng)點(diǎn)搜索處理中通常會(huì)檢測(cè)到多個(gè)特征點(diǎn)，且會(huì)搜索找到多個(gè)對(duì)應(yīng)點(diǎn)。在該實(shí)施例中，使用左眼用圖像LI檢測(cè)特征點(diǎn)，使用右眼用圖像Rl至R3，搜索與上述特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。在圖4至圖6中，在左側(cè)顯示左眼用圖像LI，在右側(cè)顯示右眼用圖像Rl至R3。通過(guò)上述搜索找到的多個(gè)對(duì)應(yīng)點(diǎn)在右眼用圖像Rl至R3上用黑點(diǎn)突出表示。省略在左眼用圖像LI中檢測(cè)到的多個(gè)特征點(diǎn)的圖示。如果對(duì)應(yīng)點(diǎn)搜索處理完成(在步驟44中為是)，則對(duì)找到的對(duì)應(yīng)點(diǎn)數(shù)量進(jìn)行計(jì)數(shù)(步驟45)，判斷對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于規(guī)定的閾值(第I閾值。例如是1%，但也可以不是1%。)，在這里是判斷是否為右眼用圖像Rl的總像素?cái)?shù)(當(dāng)然，其與左眼用圖像LI的總像素?cái)?shù)相同)的1% (步驟46)。例如，在右眼用圖像Rl由橫向1，024個(gè)像素、縱向768個(gè)像素構(gòu)成的情況下，總像素?cái)?shù)(1，204X786 = 786，432)的1%約為7，864個(gè)像素。判斷在對(duì)應(yīng)點(diǎn)搜索處理中找到的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于7，864。在對(duì)應(yīng)點(diǎn)數(shù)量低于總像素?cái)?shù)的1%的情況下(在步驟46中為否)，例如，向用戶顯示需要進(jìn)行重新拍攝，然后，由用戶重新拍攝右眼用圖像(步驟42)?；蛘?，在對(duì)應(yīng)點(diǎn)數(shù)低于總像素?cái)?shù)的1%的情況下(在步驟46中為否)，例如，通過(guò)全自動(dòng)重新拍攝右眼用圖像(步驟42)。參照?qǐng)D4，圖4所示的右眼用圖像Rl表示與從左眼用圖像LI得到的特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的數(shù)量較少(不滿足總像素?cái)?shù)的1%)的例子。在這種情況下，如上所述，進(jìn)行右眼用圖像的再次拍攝。表示通過(guò)再次拍攝得到的右眼用圖像R2 (圖5)的圖像數(shù)據(jù)，取代通過(guò)第I次拍攝得到的右眼用圖像Rl的圖像數(shù)據(jù)或追加，而重新存儲(chǔ)在主存儲(chǔ)器22中。表示左眼用圖像LI的圖像數(shù)據(jù)直接保存在主存儲(chǔ)器22中。對(duì)使用通過(guò)再次拍攝得到的新的右眼用圖像R2搜索對(duì)應(yīng)點(diǎn)而找到的對(duì)應(yīng)點(diǎn)數(shù)量進(jìn)行計(jì)數(shù)(步驟42至45)。在第二次以后的對(duì)應(yīng)點(diǎn)搜索處理中，使用在第一次對(duì)應(yīng)點(diǎn)搜索處理中已檢測(cè)到的左眼用圖像LI的特征點(diǎn)，從新得到的右眼用圖像R2中搜索與該特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。
在通過(guò)第二次拍攝得到的右眼用圖像R2的對(duì)應(yīng)點(diǎn)的數(shù)量仍低于全部像素?cái)?shù)的1%的情況下，進(jìn)一步進(jìn)行第三次右眼用圖像拍攝(在步驟46中為否，步驟42)，重復(fù)進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理及對(duì)應(yīng)點(diǎn)數(shù)量的計(jì)數(shù)處理(步驟43至45)。參照?qǐng)D6，圖6所示的右眼用圖像R3表示對(duì)應(yīng)點(diǎn)數(shù)量較多(大于或等于總像素?cái)?shù)的1%)(為便于圖示,未顯示全部的對(duì)應(yīng)點(diǎn))的例子。在對(duì)應(yīng)點(diǎn)數(shù)量大于或等于總像素?cái)?shù)的1%的情況下(在步驟46中為是)，生成存儲(chǔ)在主存儲(chǔ)器22中的當(dāng)時(shí)的左眼用圖像及右眼用圖像，在這里，由表示左眼用圖像LI和右眼用圖像R3這兩個(gè)圖像的圖像數(shù)據(jù)生成立體圖像文件(步驟47)。在立體圖像文件中記錄包含表示左眼用圖像LI的圖像數(shù)據(jù)及表示右眼用圖像R3的圖像數(shù)據(jù)的按照多圖片格式的數(shù)據(jù)。所生成的立體圖像文件通過(guò)外部存儲(chǔ)器控制電路26記錄并保存在存儲(chǔ)卡27中(步驟48)。結(jié)束立體拍攝模式中的一連串處理。在上述實(shí)施例中，通過(guò)多次拍攝得到的右眼用圖像Rl、R2、R3，例如通過(guò)連續(xù)拍攝(在一秒鐘內(nèi)進(jìn)行多場(chǎng)景拍攝的各個(gè)定時(shí)的拍攝)得到。用戶在雙手握持?jǐn)?shù)碼相機(jī)I的情況下，在連續(xù)拍攝的各個(gè)定時(shí)，數(shù)碼相機(jī)I的方向通常不同，因此，在多次拍攝中，很可能會(huì)得到對(duì)應(yīng)點(diǎn)數(shù)量較多的右眼用圖像。在與從左眼用圖像得到的特征點(diǎn)相對(duì)應(yīng)的右眼用圖像中的對(duì)應(yīng)點(diǎn)數(shù)量較少的情況下，如果使用這兩個(gè)圖像，則有時(shí)很難進(jìn)行立體觀看或在立體觀看中產(chǎn)生不適感。如上所述，在對(duì)應(yīng)點(diǎn)數(shù)量比規(guī)定閾值(在上述實(shí)施例中，是總像素?cái)?shù)的百分之一)少的情況下，再次進(jìn)行右眼用圖像拍攝，如果得到具有大于或等于規(guī)定閾值的對(duì)應(yīng)點(diǎn)的右眼用圖像，則使用該右眼用圖像構(gòu)成立體圖像。由于由視點(diǎn)不同且構(gòu)圖比較一致的左眼用圖像和右眼用圖像的組生成立體圖像文件，因此可以得到適合于立體觀看的左眼用圖像和右眼用圖像(立體圖像)。在上述第I實(shí)施例中，在結(jié)束預(yù)先設(shè)定的拍攝次數(shù)(處理次數(shù))或預(yù)先設(shè)定的時(shí)間內(nèi)的多次拍攝，對(duì)應(yīng)點(diǎn)數(shù)量仍未大于或等于規(guī)定閾值的情況下，也可以使閾值下降(減小步驟46的判斷中使用的百分比值)，并使用降低后的閾值判斷是否進(jìn)入再次拍攝。這一點(diǎn)在后述的其他實(shí)施例中也相同。另外，在上述第I實(shí)施例中，每當(dāng)拍攝到右眼用圖像R1、R2、R3時(shí)，進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理(步驟43，44)、對(duì)應(yīng)點(diǎn)數(shù)量計(jì)數(shù)處理(步驟45)、基于對(duì)應(yīng)點(diǎn)數(shù)量的判斷處理(步驟46)，但也可以進(jìn)行一定時(shí)間的連續(xù)拍攝而預(yù)先得到多個(gè)右眼用圖像，然后對(duì)于多個(gè)右眼用圖像分別進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理(步驟43，44)、對(duì)應(yīng)點(diǎn)數(shù)量計(jì)數(shù)處理(步驟45)、以及基于對(duì)應(yīng)點(diǎn)數(shù)量的判斷處理(步驟46)。這一點(diǎn)在后述的其他實(shí)施例中也相同。(變形例) 圖7是表示第I實(shí)施例的變形例中的數(shù)碼相機(jī)I的動(dòng)作的流程圖。對(duì)于與圖3所示的第I實(shí)施例的流程圖相同的處理標(biāo)記相同的標(biāo)號(hào)，避免重復(fù)的詳細(xì)說(shuō)明。在第I實(shí)施例中，使用左眼用圖像及右眼用圖像的整個(gè)區(qū)域進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理。在第I實(shí)施例的變形例中，將后述的圖像平坦區(qū)域及圖像左右端區(qū)域除外，以除了這些圖像平坦區(qū)域及圖像左右端區(qū)域之外的其余區(qū)域?yàn)樘幚韺?duì)象，進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理。圖8表示右眼用圖像R3、圖像平坦區(qū)域FA、圖像左端區(qū)域LA及圖像右端區(qū)域RA的關(guān)系。在結(jié)束左眼用圖像及右眼用圖像拍攝而進(jìn)入對(duì)應(yīng)點(diǎn)搜索處理之前，進(jìn)行圖像平坦區(qū)域檢測(cè)處理(步驟51)。在圖像平坦區(qū)域的檢測(cè)處理中進(jìn)行下述處理將右眼用圖像設(shè)為處理對(duì)象，例如，使用帶通濾光器提取高頻成分，使用所提取的高頻成分檢測(cè)亮度變化較小的區(qū)域。檢測(cè)到的亮度變化較小的區(qū)域成為圖像平坦區(qū)域FA。例如，在圖像整體的亮度變化范圍為O至255的情況下，圖像平坦區(qū)域中的亮度變化是指±2即約為1%的范圍。圖像平坦區(qū)域檢測(cè)處理通過(guò)數(shù)字信號(hào)處理電路23或CPU 2進(jìn)行。也可以取代亮度變化較小的區(qū)域，例如，根據(jù)各個(gè)像素的色矢量檢測(cè)顏色變化較小的區(qū)域，將其設(shè)為圖像平坦區(qū)域FA。圖像左端區(qū)域LA及圖像右端區(qū)域RA均具有右眼用圖像R3的橫向像素?cái)?shù)的10%的像素?cái)?shù)的橫寬W。從右眼用圖像R3的左端向右的上述橫寬w對(duì)應(yīng)的范圍形成為圖像左端區(qū)域LA，從右眼用圖像R3的右端向左的上述橫寬w對(duì)應(yīng)的范圍形成為圖像右端區(qū)域RA。對(duì)于除了所檢測(cè)到的圖像平坦區(qū)域FA、圖像左端區(qū)域LA、圖像右端區(qū)域RA以外的其余區(qū)域，進(jìn)行上述對(duì)應(yīng)點(diǎn)檢索處理(步驟43A)。亮度變化或顏色變化較小的圖像平坦區(qū)域FA很難檢測(cè)到對(duì)應(yīng)點(diǎn)。通過(guò)預(yù)先從處理區(qū)域中去除圖像平坦區(qū)域FA，可以實(shí)現(xiàn)對(duì)應(yīng)點(diǎn)搜索處理的高效化。另外，圖像的左右端很少發(fā)生左眼用圖像和右眼用圖像的重疊，是無(wú)對(duì)應(yīng)點(diǎn)或不易找到對(duì)應(yīng)點(diǎn)的區(qū)域。對(duì)于圖像左端區(qū)域LA及圖像右端區(qū)域RA也同樣地，通過(guò)從對(duì)應(yīng)點(diǎn)搜索處理中去除，從而實(shí)現(xiàn)對(duì)應(yīng)點(diǎn)搜索處理的高效化。(第2實(shí)施例)圖9是表示第2實(shí)施例的數(shù)碼相機(jī)I的動(dòng)作的流程圖。對(duì)于與圖3所示的第I實(shí)施例的流程圖相同的處理標(biāo)記相同的標(biāo)號(hào)，避免重復(fù)的詳細(xì)說(shuō)明。圖10表示通過(guò)數(shù)碼相機(jī)I的攝像得到的左眼用圖像和右眼用圖像的圖像例。參照?qǐng)D10所示的圖像例，對(duì)第2實(shí)施例的數(shù)碼相機(jī)I的處理進(jìn)行說(shuō)明。在第2實(shí)施例中，將搜索到對(duì)應(yīng)點(diǎn)的右眼用圖像分割成多個(gè)區(qū)域，針對(duì)各分割區(qū)域?qū)?duì)應(yīng)點(diǎn)數(shù)量進(jìn)行計(jì)數(shù)。并且，判斷分割區(qū)域各自的對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于規(guī)定的閾值。參照?qǐng)D10，將右眼用圖像Rl分別在縱向和橫向進(jìn)行3等分，從而規(guī)定總計(jì)9個(gè)分割區(qū)域dl至d9。當(dāng)然，還可以規(guī)定更少或更多的分割區(qū)域。另外，也可以不將全部分割區(qū)域設(shè)為相同形狀(相同的像素?cái)?shù))，例如，而是規(guī)定右眼用圖像Rl的中央部分區(qū)域和包圍該中央部分區(qū)域的周邊區(qū)域這種彼此形狀不同的分割區(qū)域。拍攝左眼用圖像，然后，將數(shù)碼相機(jī)I向右方移動(dòng)而拍攝右眼用圖像，使用所得到的左眼用圖像和右眼用圖像進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理，這一點(diǎn)與上述第I實(shí)施例相同(步驟41至 44)。在右眼用圖像Rl中規(guī)定分割區(qū)域dl至d9，對(duì)分割區(qū)域dl至d9各自的對(duì)應(yīng)點(diǎn)數(shù)量進(jìn)行計(jì)數(shù)(步驟61)。對(duì)于全部的分割區(qū)域dl至d9，判斷各分割區(qū)域中包含的對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于該分割區(qū)域的像素?cái)?shù)的1% (第4閾值。也可以不是1%)(步驟62)。在圖10所示的分割右眼用圖像Rl得到的分割區(qū)域dl至d9的情況下，判斷9個(gè)分割區(qū)域dl至d9各自的對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于分割區(qū)域dl至d9各自的像素?cái)?shù)的1%。當(dāng)然，在分割區(qū)域dl至d9的像素?cái)?shù)相等(等分割的情況下)時(shí)，也可以僅對(duì)計(jì)數(shù)的對(duì)應(yīng)點(diǎn)數(shù)量最少的分割區(qū)域，判斷其對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于分割區(qū)域的像素?cái)?shù)的百分之I。在存在對(duì)應(yīng)點(diǎn)數(shù)量低于分割區(qū)域的像素?cái)?shù)的百分之I這種分割區(qū)域的情況下，進(jìn)行再次的右眼用圖像拍攝。重新使用通過(guò)第2次(進(jìn)一步是第3次)拍攝得到的右眼用圖像重復(fù)進(jìn)行上述處理，這一點(diǎn)與實(shí)施例I相同(在步驟62中為否，步驟42至44，步驟61)。如果全部的分割區(qū)域的對(duì)應(yīng)點(diǎn)數(shù)量大于或等于分割區(qū)域的像素?cái)?shù)的1%(在步驟62中為是)，則不進(jìn)行右眼用圖像的進(jìn)一步拍攝，而是使用此時(shí)的左眼用圖像及右眼用圖像， 生成立體圖像文件，并保存在存儲(chǔ)卡27中(步驟47、48)。由于使用在全部的分割區(qū)域dl至d9中包含多個(gè)對(duì)應(yīng)點(diǎn)的右眼用圖像生成立體圖像文件，因此可以得到能夠?qū)D像整體進(jìn)行立體觀看的立體圖像。在第2實(shí)施例中，與上述第I實(shí)施例的變形例(參照?qǐng)D8)同樣地，也可以將除了圖像平坦區(qū)域FA及圖像左右端區(qū)域LA、RA之外的其余區(qū)域作為處理對(duì)象，進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理。在這種情況下，可以在步驟62的判斷中，使用去除上述圖像平坦區(qū)域FA及圖像左右端區(qū)域LA、RA而得到的分割區(qū)域的像素?cái)?shù)。(第3實(shí)施例)圖11是表示第3實(shí)施例的數(shù)碼相機(jī)I的處理的流程圖。對(duì)于與圖3所示的第I實(shí)施例的流程圖相同的處理標(biāo)記相同的標(biāo)號(hào)，避免重復(fù)說(shuō)明。在第I實(shí)施例及第2實(shí)施例中，著眼于從右眼用圖像搜索的對(duì)應(yīng)點(diǎn)本身的數(shù)量，判斷右眼用圖像是否應(yīng)作為構(gòu)成立體圖像文件的圖像(是否應(yīng)該進(jìn)行再次拍攝)。在第3實(shí)施例中，與第I、第2實(shí)施例不同,取代對(duì)應(yīng)點(diǎn)本身的數(shù)量,還考慮特征點(diǎn)和與該特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的間隔即各個(gè)對(duì)應(yīng)點(diǎn)的視差，判斷右眼用圖像是否應(yīng)作為構(gòu)成立體圖像的圖像(是否應(yīng)該進(jìn)行再次拍攝)。圖12表示在由虛線表示的右眼用圖像R中，重合第3實(shí)施例的數(shù)碼相機(jī)I的處理中使用的視差。表示視差的值(以下稱為視差值)，通過(guò)對(duì)各個(gè)對(duì)應(yīng)點(diǎn)，從左眼用圖像的特征點(diǎn)的橫坐標(biāo)值中減去與該特征點(diǎn)相對(duì)應(yīng)的右眼用圖像的對(duì)應(yīng)點(diǎn)的橫坐標(biāo)值而計(jì)算。根據(jù)特征點(diǎn)及對(duì)應(yīng)點(diǎn)的位置，視差值為正(+)值或負(fù)(一)值。在圖12中，用黑點(diǎn)或黑粗線表示具有負(fù)的值的視差值。用白圈或白粗線表示具有正的值的視差值。粗線的長(zhǎng)度表示視差值的大小。在形成立體圖像時(shí)，例如，具有負(fù)的視差值的對(duì)應(yīng)點(diǎn)被人眼識(shí)別為向里側(cè)方向凹入，具有正的視差值的對(duì)應(yīng)點(diǎn)被人眼識(shí)別為向前方凸出。在第3實(shí)施例中，也與第I實(shí)施例及第2實(shí)施例同樣地，進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理。即，從左眼用圖像檢測(cè)特征點(diǎn)，并從右眼用圖像搜索與檢測(cè)到的特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)(步驟41至43)。然后，如上所述，通過(guò)從檢測(cè)到的特征點(diǎn)的橫坐標(biāo)值中減去與該特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的橫坐標(biāo)值，使用像素?cái)?shù)計(jì)算該特征點(diǎn)和對(duì)應(yīng)點(diǎn)的組涉及的視差值(步驟71)。對(duì)各個(gè)對(duì)應(yīng)點(diǎn)進(jìn)行視差值計(jì)算。對(duì)多個(gè)對(duì)應(yīng)點(diǎn)中具有規(guī)定大小(絕對(duì)值)的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)(步驟72)。例如，對(duì)具有與右眼用圖像R3的橫向像素?cái)?shù)的4%至6%的像素?cái)?shù)相當(dāng)?shù)囊暡钪档膶?duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)。如果右眼用圖像R3的橫向像素?cái)?shù)為1，024像素，則對(duì)具有其4%至6%即41至61像素范圍的視差值的對(duì)應(yīng)點(diǎn)數(shù)量進(jìn)行計(jì)數(shù)。判斷具有規(guī)定大小的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于總像素?cái)?shù)的O. 2%(第2閾值。也可以不是O. 2%)(步驟73)。例如，在右眼用圖像R3由橫向1，024像素、縱向768像素構(gòu)成的情況下，總像素?cái)?shù)的O. 2%約為1，572像素。判斷所計(jì)數(shù)的具有規(guī)定大小的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于1，572。在具有規(guī)定視差的對(duì)應(yīng)點(diǎn)的數(shù)量低于總像素?cái)?shù)的O. 2%的情況下(在步驟73中為否)，與第I實(shí)施例及第2實(shí)施例同樣地，進(jìn)行右眼用圖像的再次拍攝(步驟42)，使用新得 到的右眼用圖像，重復(fù)進(jìn)行上述處理(步驟43、44、71至73)。如果具有規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于總像素?cái)?shù)的O. 2%，則進(jìn)入立體圖像文件的生成及保存(在步驟73中為是，步驟47、48)。由于使用包含大量具有適合于立體觀看的視差值的對(duì)應(yīng)點(diǎn)的右眼用圖像構(gòu)成立體圖像文件，因此，可以得到適合于立體觀看的立體圖像。在上述第3實(shí)施例中，進(jìn)行使用視差值大小(絕對(duì)值)的處理,但也可以優(yōu)先對(duì)具有負(fù)的視差值的對(duì)應(yīng)點(diǎn)或具有正的視差值的對(duì)應(yīng)點(diǎn)中的任一種進(jìn)行與上述相同的處理。例如，如果僅使用具有負(fù)的視差值的對(duì)應(yīng)點(diǎn)，則使用包含大量具有負(fù)的視差值的對(duì)應(yīng)點(diǎn)的右眼用圖像，生成立體圖像文件。容易得到強(qiáng)調(diào)凹入感的立體圖像。如果僅使用具有正的視差值的對(duì)應(yīng)點(diǎn)，則使用包含大量具有正的視差值的對(duì)應(yīng)點(diǎn)的右眼用圖像生成立體圖像文件。容易得到強(qiáng)調(diào)凸出感的立體圖像。在第3實(shí)施例中，與第I實(shí)施例的變形例同樣地，也可以將除了圖像平坦區(qū)域及圖像左右端區(qū)域之外的其余區(qū)域作為處理對(duì)象，進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理。另外，與第2實(shí)施例同樣地，也可以將右眼用圖像分割為多個(gè)分割區(qū)域，針對(duì)分割區(qū)域?qū)哂幸?guī)定大小的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)，使用在全部分割區(qū)域中存在具有大于或等于規(guī)定數(shù)量的規(guī)定大小的視差值的對(duì)應(yīng)點(diǎn)的右眼用圖像，生成立體圖像文件。如果右眼用圖像中存在大量具有過(guò)大視差值的對(duì)應(yīng)點(diǎn)，則存在在立體觀看時(shí)產(chǎn)生不適感的情況。在上述第3實(shí)施例中，還可以在找到大量具有大于或等于不適合于立體觀看的視差值(稱為極限視差值)的視差值的對(duì)應(yīng)點(diǎn)的情況下，進(jìn)行再次的右眼用圖像拍攝。例如，將與右眼用圖像的橫向像素?cái)?shù)的10%的像素?cái)?shù)相當(dāng)?shù)囊暡钪底鳛闃O限視差值。在找到具有大于或等于極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于規(guī)定的閾值(由與右眼用圖像的總像素?cái)?shù)的規(guī)定比例確定的值。第3閾值。)的情況下，進(jìn)行再次的右眼用圖像拍攝。如果具有大于或等于極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于規(guī)定的閾值，則進(jìn)入立體圖像文件的生成。在上述第I至第3實(shí)施例中，對(duì)于使用通過(guò)靜止圖像拍攝得到的左眼用圖像LI及右眼用圖像R3生成的一個(gè)立體圖像文件的例子進(jìn)行了說(shuō)明，但也可以通過(guò)連續(xù)地生成立體圖像文件，得到可立體觀看的動(dòng)態(tài)圖像。在這種情況下，連續(xù)拍攝被攝體像，連續(xù)地重復(fù)進(jìn)行圖3、圖7、圖9、圖11所示的流程圖的處理，生成多個(gè)立體圖像文件。通過(guò)連續(xù)再生多個(gè)立體圖像文件，人眼可看到立體動(dòng)態(tài)圖像。(其他變形例等)圖13及圖14是表示第3實(shí)施例的變形例的圖。圖13是表示數(shù)碼相機(jī)I的處理的流程圖。在圖13的處理中，對(duì)于與圖11所 示的處理相同的處理標(biāo)記相同的標(biāo)號(hào)。圖14是表示視差值的右眼用圖像的一個(gè)例子。在第3實(shí)施例中，考慮圖像整體的對(duì)應(yīng)點(diǎn)的視差，判斷是否重新拍攝右眼用圖像，但在圖13及圖14所示的變形例中，考慮主要被攝體內(nèi)的對(duì)應(yīng)點(diǎn)的視差，判斷是否重新拍攝右眼用圖像。如上所述，得到右眼用圖像R3 (步驟42)，搜索對(duì)應(yīng)點(diǎn)(步驟43，44，參照?qǐng)D6)。然后，從所得到的右眼用圖像R3檢測(cè)主要被攝體(步驟81)。如果右眼用圖像R3的主要被攝體是熊的圖像0B，則檢測(cè)到該熊的圖像0B。例如，使用位置、相對(duì)于圖像的比例、合焦程度等，檢測(cè)主要被攝體。如果檢測(cè)到主要被攝體，則計(jì)算該主要被攝體OB中存在的各個(gè)對(duì)應(yīng)點(diǎn)的視差值(步驟82)。與上述同樣地，視差值針對(duì)特征點(diǎn)而用像素?cái)?shù)表示。如上所述，圖14在右眼用圖像R3中示出視差值。為了突出視差值，被攝體像用虛線表示。對(duì)于主要被攝體OB中存在的對(duì)應(yīng)點(diǎn)標(biāo)示視差值，對(duì)于除了主要拍攝體OB之外的圖像部分，不計(jì)算視差值。但是，也可以計(jì)算除了主要被攝體之外的圖像部分的視差值，從后述的計(jì)數(shù)對(duì)象中排除除了主要被攝體OB以外的圖像部分的視差值。如果計(jì)算出主要被攝體OB中存在的各個(gè)對(duì)應(yīng)點(diǎn)的視差值，則與上述同樣地，計(jì)數(shù)這些視差值中、主要被攝體的視差作為立體圖像視差而具有適當(dāng)范圍的規(guī)定大小(絕對(duì)值)的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量(步驟72)。在這種情況下，與上述同樣地，例如，對(duì)具有與右眼用圖像R3的橫向的像素?cái)?shù)的4%至6%的像素?cái)?shù)相當(dāng)?shù)囊暡钪档膶?duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)。如果右眼用圖像R3的橫向的像素?cái)?shù)為1，024像素，則對(duì)具有其4%至6%即41至61像素的范圍的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)。下面，判斷具有規(guī)定大小的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于主要被攝體的像素?cái)?shù)的O. 3% (第2閾值)(步驟83)。例如，如果主要被攝體的像素?cái)?shù)是50，000像素，則判斷上述對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于150。在具有規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于主要被攝體OB的像素?cái)?shù)的O. 3%的情況下(在步驟83中為否)，進(jìn)行右眼用圖像的再次拍攝(步驟42)。對(duì)于新得到的右眼用圖像重復(fù)進(jìn)行步驟43、44、81、82、72、83的處理。在具有規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于主要被攝體OB的像素?cái)?shù)的O. 3%的情況下(在步驟83中為是)，由此時(shí)得到的右眼用圖像和左眼用圖像生成立體圖像文件(步驟47)。所生成的立體圖像文件保存在存儲(chǔ)卡27中(步驟48)。特別對(duì)于主要被攝體得到可適當(dāng)?shù)亓Ⅲw觀看的圖像。圖15及圖16示出上述第3實(shí)施例的其他變形例。圖15是表示數(shù)碼相機(jī)I的處理的流程圖，對(duì)于與圖11所示的處理相同的處理標(biāo)記相同的標(biāo)號(hào)。圖16示出視差值的柱狀圖。橫軸是視差值，縱軸是具有該視差值的對(duì)應(yīng)點(diǎn)的數(shù)量。在圖15及圖16所示的變形例中，按照上述方式計(jì)算各對(duì)應(yīng)點(diǎn)的視差值，但對(duì)于較大視差值的對(duì)應(yīng)點(diǎn)，從計(jì)數(shù)對(duì)象中去除。按照上述方式得到左眼用圖像及右眼用圖像，對(duì)于右圖像整體計(jì)算對(duì)應(yīng)點(diǎn)(步驟41至44、71)(也可以按照上述方式檢測(cè)主要被攝體，針對(duì)主要被攝體計(jì)算對(duì)應(yīng)點(diǎn)的視差值)。如果計(jì)算出對(duì)應(yīng)點(diǎn)，則如圖16所示，生成視差值柱狀圖。利用所生成的視差值柱狀圖，對(duì)除了具有大于或等于規(guī)定大小(絕對(duì)值)(第6閾值)的視差值的對(duì)應(yīng)點(diǎn)之外的對(duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)(步驟91)。例如，將具有與大于或等于右眼用圖像R3的橫向像素?cái)?shù)的8%的像素?cái)?shù)相當(dāng)?shù)囊暡钪档膶?duì)應(yīng)點(diǎn)除外，對(duì)其余對(duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)。如果將右眼用圖像R3的橫向的像素?cái)?shù)設(shè)為1，024像素，則從計(jì)數(shù)中去除具有大于或等于其8%即81像素的視差值的對(duì)應(yīng)點(diǎn)(對(duì)具有絕對(duì)值低于81像素的視差值的對(duì)應(yīng)點(diǎn)進(jìn)行計(jì)數(shù))。判斷所計(jì)數(shù)的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于右眼用圖像R3的總像素?cái)?shù)的O. 3%(第I閾值)(步驟46)。在所計(jì)數(shù)的對(duì)應(yīng)點(diǎn)的數(shù)量低于O. 3%的情況下(在步驟46中為否)，進(jìn)行右眼用圖像的再次拍攝(步驟42)，使用新得到的右眼用圖像，重復(fù)進(jìn)行上述步驟42至44、71、91、46的處理。如果所計(jì)數(shù)的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于右眼用圖像R3的總像素?cái)?shù)的
0.3% (在步驟46中為是)，則進(jìn)行立體圖像文件的生成及其保存(步驟47、48)。圖17及圖18另外示出第I實(shí)施例的變形例。圖17是表示數(shù)碼相機(jī)I的處理的流程圖，對(duì)于與圖3所示的處理相同的處理標(biāo)記相同的標(biāo)號(hào)。圖18是左眼用圖像及右眼用圖像的一個(gè)例子。左眼用圖像在左眼視點(diǎn)進(jìn)行拍攝，右眼用圖像在右眼視點(diǎn)進(jìn)行拍攝，因此，產(chǎn)生左眼用圖像或右眼用圖像中的在一方的圖像中顯示而在另一方的圖像中不顯示的區(qū)域(死角區(qū)域、遮擋區(qū)域)。參照?qǐng)D18，在左眼用圖像LI中包含的主要被攝體OBL的左側(cè)，由陰影圖示在左眼用圖像LI中顯示而在右眼用圖像R4中不顯示的死角區(qū)域BL。另外，在右眼用圖像R4中包含的主要被攝體OBR的右側(cè)，由陰影圖示在右眼用圖像R4中顯示而在左眼用圖像LI中不顯示的死角區(qū)域BR。在該變形例中，考慮這些死角區(qū)域BL及BR(也可以是至少一個(gè)區(qū)域)。參照?qǐng)D17，對(duì)上述對(duì)應(yīng)點(diǎn)進(jìn)行計(jì)數(shù)(步驟45)，判斷對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于右眼用圖像R4的總像素?cái)?shù)的1% (步驟46)。在對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于右眼用圖像R4的總像素?cái)?shù)的1%的情況下(在步驟46中為是)，從右眼用圖像LI檢測(cè)死角區(qū)域BL，根據(jù)左眼用圖像R4檢測(cè)死角區(qū)域BR (步驟101 )。這些死角區(qū)域BL及BR，可以通過(guò)在使左右眼用圖像LI和右眼用圖像R4相對(duì)應(yīng)的各像素進(jìn)行比較而容易地檢測(cè)。如果檢測(cè)到左眼用圖像LI的死角區(qū)域BL和右眼用圖像R4的死角區(qū)域BR，則判斷左眼用圖像LI的死角區(qū)域BL是否大于或等于左眼用圖像LI的5% (第5閾值)，且右眼用圖像R4的死角區(qū)域BR是否大于或等于右眼用圖像R4的5% (步驟102)。如果死角區(qū)域BL及BR均低于各自對(duì)應(yīng)的圖像的5%(在步驟102中為否)，則即使由左右眼用圖像LI和右眼用圖像R4生成立體圖像，死角區(qū)域也很小，因此，可以得到不適感較小的立體圖像。如上所述，由左眼用圖像LI和右眼用圖像R4生成立體圖像文件，保存在存儲(chǔ)卡27中(步驟47、48)。如果死角區(qū)域BL及BR中的至少一個(gè)大于或等于對(duì)應(yīng)圖像的5%(在步驟102中為是)，則認(rèn)為無(wú)法立體觀看的部分較多，因此，重新拍攝右眼用圖像。重復(fù)進(jìn)行步驟42至46、101、102的處理。死角區(qū)域的部分無(wú)法立體觀看，但可以減少無(wú)法立體觀看的部分。
在上述變形例中，在死角區(qū)域BL大于或等于左眼用圖像LI的5%的情況下，或者，死角區(qū)域BR大于或等于右眼用圖像R4的5%的情況下，重新拍攝右眼用圖像R4，但也可以在死角區(qū)域BL大于或等于左眼用圖像LI的5%且死角區(qū)域BR大于或等于右眼用圖像R4的5%的情況下，重新拍攝右眼用圖像R4。此外，在判斷對(duì)應(yīng)點(diǎn)數(shù)量低于總像素?cái)?shù)的1%的情況下，也可以使用從預(yù)先通過(guò)多次拍攝得到的多個(gè)右眼用圖像中選擇的一個(gè)右眼用圖像，作為新的右眼用圖像，進(jìn)行上述步驟43等的處理。這一點(diǎn)不限定于第I實(shí)施例，對(duì)于上述其他實(shí)施例、變形例也相同。標(biāo)號(hào)的說(shuō)明I數(shù)碼相機(jī)
·
2 CPU3操作器15固體攝像元件23數(shù)字信號(hào)處理電路27存儲(chǔ)卡
權(quán)利要求
1.一種立體觀看用圖像拍攝裝置，其具有攝像單元，該攝像單元對(duì)被攝體進(jìn)行攝像，并輸出通過(guò)攝像得到的圖像數(shù)據(jù)，該立體觀看用圖像拍攝裝置由從上述攝像單元輸出的表示來(lái)自左眼用視點(diǎn)及右眼用視點(diǎn)的被攝體像的圖像數(shù)據(jù)而生成立體觀看用圖像文件， 該立體觀看用拍攝裝置具有 對(duì)應(yīng)點(diǎn)搜索單元，其使用第2圖像數(shù)據(jù)搜索與使用第I圖像數(shù)據(jù)檢測(cè)到的多個(gè)特征點(diǎn)分別對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，所述第I圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)的任一個(gè)基準(zhǔn)視點(diǎn)得至IJ，所述第2圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)中另一個(gè)與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)得到； 對(duì)應(yīng)點(diǎn)數(shù)量判斷單元，其判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值； 控制單元,其對(duì)上述對(duì)應(yīng)點(diǎn)搜索單元及對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)行控制,在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量低于第I閾值的情況下，使用通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)再次攝像而得到的新的第2圖像數(shù)據(jù)，重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷；以及 立體圖像文件生成單元，其在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量大于或等于第I閾值的情況下，使用該判斷時(shí)的第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)，生成立體圖像文件。
2.根據(jù)權(quán)利要求I所述的立體觀看用圖像拍攝裝置，其中， 重復(fù)進(jìn)行從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)的攝像、上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷，直至得到具有大于或等于第I閾值的數(shù)量的對(duì)應(yīng)點(diǎn)的第2圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求I或2所述的立體觀看用圖像拍攝裝置，其中， 還具有閾值減小單元，其在上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元完成了規(guī)定次數(shù)的判斷處理、或上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元在規(guī)定時(shí)間內(nèi)完成了多次判斷處理時(shí)，未得到具有大于或等于第I閾值的數(shù)量的對(duì)應(yīng)點(diǎn)的第2圖像數(shù)據(jù)的情況下，降低上述第I閾值。
4.根據(jù)權(quán)利要求I至3中任意一項(xiàng)所述的立體觀看用圖像拍攝裝置，其中， 上述第I閾值根據(jù)相對(duì)于由上述第2圖像數(shù)據(jù)表示的第2圖像的像素?cái)?shù)的規(guī)定比例而確定。
5.根據(jù)權(quán)利要求I所述的立體觀看用圖像拍攝裝置，其中， 具有視差值計(jì)算單元，其針對(duì)通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元的搜索找到的對(duì)應(yīng)點(diǎn)，計(jì)算上述特征點(diǎn)與上述對(duì)應(yīng)點(diǎn)之間的視差值， 上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元,判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元的搜索找到的對(duì)應(yīng)點(diǎn)中的具有規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第2閾值， 在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于第2閾值的情況下，生成上述立體圖像文件， 在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于第2閾值的情況下，使用新的第2圖像數(shù)據(jù)重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷。
6.根據(jù)權(quán)利要求5所述的立體觀看用圖像拍攝裝置，其中， 上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元,進(jìn)一步判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索找到的對(duì)應(yīng)點(diǎn)中、具有大于或等于極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否低于第3閾值， 在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于第2閾值、且具有大于或等于上述極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于上述第3閾值的情況下，生成上述立體圖像文件， 在判斷具有上述規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量低于第2閾值或具有大于或等于上述極限視差值的視差值的對(duì)應(yīng)點(diǎn)的數(shù)量大于或等于上述第3閾值的情況下，使用新的第2圖像數(shù)據(jù)重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷。
7.根據(jù)權(quán)利要求5所述的立體觀看用圖像拍攝裝置，其中， 上述第2閾值根據(jù)相對(duì)于由上述第2圖像數(shù)據(jù)表示的第2圖像的像素?cái)?shù)的規(guī)定比例而確定。
8.根據(jù)權(quán)利要求6所述的立體觀看用圖像拍攝裝置，其中， 上述第2及第3閾值根據(jù)相對(duì)于由上述第2圖像數(shù)據(jù)表示的第2圖像的像素?cái)?shù)的規(guī)定比例而確定。
9.根據(jù)權(quán)利要求5所述的立體觀看用圖像拍攝裝置，其中， 上述視差值計(jì)算單元通過(guò)從上述特征點(diǎn)的坐標(biāo)值中減去與上述特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)的坐標(biāo)值，從而計(jì)算各特征點(diǎn)的上述視差值， 上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元優(yōu)先使用計(jì)算出正的視差值的對(duì)應(yīng)點(diǎn)或計(jì)算出負(fù)的視差值的對(duì)應(yīng)點(diǎn)中的任一種。
10.根據(jù)權(quán)利要求I至6中任一項(xiàng)所述的立體觀看用圖像拍攝裝置，其中， 具有區(qū)域分割單元，其將由上述對(duì)應(yīng)點(diǎn)搜索單元進(jìn)行對(duì)應(yīng)點(diǎn)搜索所使用的第2圖像數(shù)據(jù)表示的第2圖像分割為多個(gè)區(qū)域， 上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元，對(duì)于通過(guò)上述區(qū)域分割單元分割的多個(gè)分割區(qū)域，判斷各個(gè)分割區(qū)域中包含的上述對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第4閾值。
11.根據(jù)權(quán)利要求10所述的立體觀看用圖像拍攝裝置，其中， 上述第4閾值根據(jù)相對(duì)于構(gòu)成上述分割區(qū)域的像素?cái)?shù)的規(guī)定比例確定。
12.根據(jù)權(quán)利要求I所述的立體觀看用圖像拍攝裝置，其中， 在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量低于上述第I閾值的情況下，使用之后通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)對(duì)上述被攝體進(jìn)行拍攝而得到的圖像數(shù)據(jù)，作為上述新的第2圖像數(shù)據(jù)。
13.根據(jù)權(quán)利要求I所述的立體觀看用圖像拍攝裝置，其中， 在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量低于上述第I閾值的情況下，使用從通過(guò)預(yù)先進(jìn)行的多次攝像得到的、來(lái)自于與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)的多個(gè)第2圖像數(shù)據(jù)中選擇的一個(gè)第2圖像數(shù)據(jù)，作為上述新的第2圖像數(shù)據(jù)。
14.根據(jù)權(quán)利要求I至13中任一項(xiàng)所述的立體觀看用圖像拍攝裝置，其中， 具有圖像平坦區(qū)域檢測(cè)單元，其檢測(cè)亮度或顏色變化較小的圖像平坦區(qū)域， 上述對(duì)應(yīng)點(diǎn)搜索單元將除了通過(guò)上述圖像平坦區(qū)域檢測(cè)單元檢測(cè)到的圖像平坦區(qū)域之外的其余圖像區(qū)域設(shè)為上述對(duì)應(yīng)點(diǎn)搜索的范圍。
15.根據(jù)權(quán)利要求I至13中任一項(xiàng)所述的立體觀看用圖像拍攝裝置，其中， 上述對(duì)應(yīng)點(diǎn)搜索單元將除了上述第2圖像的左右端部的規(guī)定區(qū)域之外的其余圖像區(qū)域設(shè)為上述對(duì)應(yīng)點(diǎn)搜索的范圍。
16.根據(jù)權(quán)利要求I至15中任一項(xiàng)所述的立體觀看用圖像拍攝裝置，其中，使用通過(guò)動(dòng)畫(huà)拍攝得到的圖像數(shù)據(jù)，作為上述第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)。
17.根據(jù)權(quán)利要求I所述的立體觀看用圖像拍攝裝置，其中， 還具有死角區(qū)域判斷單元，其判斷第I死角區(qū)域或第2死角區(qū)域中的至少一個(gè)死角區(qū)域的大小是否大于或等于第5閾值，所述第I死角區(qū)域包含在由上述第2圖像數(shù)據(jù)表示的第2被攝體像中而未包含在由上述第I圖像數(shù)據(jù)表示的第I被攝體像中，所述第2死角區(qū)域包含在上述第I被攝體像中而未包含在上述第2被攝體像中， 上述控制單元對(duì)上述對(duì)應(yīng)點(diǎn)搜索單元及對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)行控制,在通過(guò)上述死角區(qū)域判斷單元判斷上述第I死角區(qū)域或上述第2死角區(qū)域中的至少一個(gè)死角區(qū)域的大小大于或等于第5閾值的情況下，使用通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)再次攝像得到的新的第2圖像數(shù)據(jù)，重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷， 上述立體圖像文件生成單元在通過(guò)上述死角區(qū)域判斷單元判斷上述第I死角區(qū)域或 上述第2死角區(qū)域中的至少一個(gè)死角區(qū)域的大小低于第5閾值的情況下，使用該判斷時(shí)的第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)，生成立體圖像文件。
18.根據(jù)權(quán)利要求I所述的立體觀看用圖像拍攝裝置，其中， 上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元找到的對(duì)應(yīng)點(diǎn)中，具有視差值的絕對(duì)值低于第6閾值的規(guī)定視差值的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值。
19.根據(jù)權(quán)利要求5所述的立體觀看用圖像拍攝裝置，其中， 還具有主要被攝體像檢測(cè)單元，其從由上述第2圖像數(shù)據(jù)表示的第2被攝體像中檢測(cè)主要被攝體像， 上述對(duì)應(yīng)點(diǎn)搜索單元從通過(guò)上述主要被攝體像檢測(cè)單元檢測(cè)到主要被攝體像中，搜索與使用上述第I圖像數(shù)據(jù)檢測(cè)到的多個(gè)特征點(diǎn)分別對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。
20.—種立體觀看用圖像拍攝裝置的控制方法，該立體觀看用圖像拍攝裝置具有攝像單元，該攝像單元對(duì)被攝體進(jìn)行攝像，并輸出通過(guò)攝像得到的圖像數(shù)據(jù)，該控制方法為，由從上述攝像單元輸出的表示來(lái)自左眼用視點(diǎn)及右眼用視點(diǎn)的被攝體像的圖像數(shù)據(jù)而生成立體觀看用圖像數(shù)據(jù)， 在該立體觀看用拍攝裝置的控制方法中， 對(duì)應(yīng)點(diǎn)搜索單元使用第2圖像數(shù)據(jù)搜索與使用第I圖像數(shù)據(jù)檢測(cè)到的多個(gè)特征點(diǎn)分別對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，所述第I圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)的任一個(gè)基準(zhǔn)視點(diǎn)得到，所述第2圖像數(shù)據(jù)從左眼用視點(diǎn)或右眼用視點(diǎn)中另一個(gè)與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)得到， 對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷通過(guò)上述對(duì)應(yīng)點(diǎn)搜索單元搜索而找到的對(duì)應(yīng)點(diǎn)的數(shù)量是否大于或等于第I閾值， 控制單元對(duì)上述對(duì)應(yīng)點(diǎn)搜索單元及對(duì)應(yīng)點(diǎn)數(shù)量判斷單元進(jìn)行控制,在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量低于第I閾值的情況下，使用通過(guò)從與上述基準(zhǔn)視點(diǎn)不同的視點(diǎn)再次攝像而得到的新的第2圖像數(shù)據(jù)，重新執(zhí)行上述對(duì)應(yīng)點(diǎn)搜索及上述對(duì)應(yīng)點(diǎn)數(shù)量判斷， 立體圖像文件生成單元在通過(guò)上述對(duì)應(yīng)點(diǎn)數(shù)量判斷單元判斷對(duì)應(yīng)點(diǎn)數(shù)量大于或等于第I閾值的情況下，使用該判斷時(shí)的第I圖像數(shù)據(jù)及第2圖像數(shù)據(jù)，生成立體圖像文件。
全文摘要
可簡(jiǎn)單地得到適合于立體觀看的圖像。分別拍攝左眼用圖像及右眼用圖像(步驟41、42)。使用右眼用圖像搜索分別與從左眼用圖像檢測(cè)到多個(gè)特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)(步驟43、44)。對(duì)通過(guò)搜索找到的對(duì)應(yīng)點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)，對(duì)于右眼用圖像的像素?cái)?shù)判斷是否大于或等于規(guī)定比例(步驟45、46)。如果判斷對(duì)應(yīng)點(diǎn)數(shù)量低于規(guī)定比例，則重新拍攝右眼用圖像，使用通過(guò)重新拍攝得到的新的右眼用圖像，重新進(jìn)行對(duì)應(yīng)點(diǎn)搜索處理及對(duì)應(yīng)點(diǎn)數(shù)量是否大于或等于規(guī)定比例的判斷，如果判斷對(duì)應(yīng)點(diǎn)數(shù)量大于或等于規(guī)定比例，則使用此時(shí)的左眼用圖像數(shù)據(jù)及右眼用圖像數(shù)據(jù)生成立體圖像文件(步驟46、47、48)。
文檔編號(hào)H04N5/225GK102959942SQ201180028698
公開(kāi)日2013年3月6日 申請(qǐng)日期2011年6月16日 優(yōu)先權(quán)日2010年6月28日
發(fā)明者矢作宏一, 田中康一, 遠(yuǎn)藤恒史, 和田哲 申請(qǐng)人:富士膠片株式會(huì)社