專利名稱：能生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能以一次攝像機(jī)會(huì)來生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)的攝像裝置及攝像控制方法、圖像處理裝置及圖像處理方法、以及記錄介質(zhì)。
背景技術(shù)：
現(xiàn)有技術(shù)中，對(duì)使用比以標(biāo)準(zhǔn)視角范圍而拍攝的圖像(下面稱作“正常圖像”)更寬的范圍所拍攝的橫長或縱長的圖像(即所謂的全景圖像)進(jìn)行拍攝的技術(shù)是公知的。一般是通過比通常的鏡頭的視角范圍更寬的特殊的廣角鏡頭來拍攝全景圖像，但近年來，也有能在通常的鏡頭下來拍攝全景圖像的技術(shù)(參照日本特開平11-65004號(hào)公報(bào))。根據(jù)日本特開平11-65004號(hào)公報(bào)，攝像裝置在被使用者移動(dòng)的過程中連續(xù)進(jìn)行反復(fù)攝像的動(dòng)作(下面稱作“連拍動(dòng)作”)。此后，攝像裝置將通過連拍動(dòng)作而得到的多個(gè)正常圖像的各數(shù)據(jù) 予以合成，由此生成全景圖像的數(shù)據(jù)。這樣生成的全景圖像的數(shù)據(jù)是拼接多張正常圖像而得到的橫長或縱長的圖像數(shù)據(jù)。另一方面，在取得上述的全景圖像數(shù)據(jù)那樣的寬范圍視角的圖像數(shù)據(jù)的情況下，在明暗差較大的風(fēng)景的圖像中，存在在明亮的部分產(chǎn)生高光溢出、在暗的部分產(chǎn)生區(qū)塊陰影的問題。為此，在日本特開平11-65004號(hào)公報(bào)中記載了解決該問題的技術(shù)。即，根據(jù)專利文獻(xiàn)所記載的技術(shù)，攝像裝置在規(guī)定的移動(dòng)范圍內(nèi)以規(guī)定的曝光拍攝了多個(gè)正常圖像后，改變曝光的程度再次在同一移動(dòng)范圍內(nèi)拍攝多個(gè)正常圖像。然后，攝像裝置通過合成這些多個(gè)正常圖像的各數(shù)據(jù)，來生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)。在此,上述的日本特開平11-65004號(hào)公報(bào)所記載的技術(shù)是以在同一移動(dòng)范圍內(nèi)進(jìn)行兩次的攝像為前提的。在這樣的前提下，由于要求攝像裝置的移動(dòng)范圍的嚴(yán)格的同一性，因此需要用于固定攝像裝置的旋轉(zhuǎn)臺(tái)。因此，在未準(zhǔn)備旋轉(zhuǎn)云臺(tái)的情況下、或不能設(shè)置旋轉(zhuǎn)臺(tái)的情況下，應(yīng)用日本特開平11-65004號(hào)公報(bào)所記載的技術(shù)來獲得寬動(dòng)態(tài)范圍的全景圖像非常困難。在這種情況下，若用戶用手保持?jǐn)z像裝置來進(jìn)行移動(dòng)，則對(duì)于用戶而言，使攝像裝置兩次都在同一移動(dòng)范圍內(nèi)移動(dòng)非常困難。

發(fā)明內(nèi)容
本發(fā)明的目的在于，以一次攝像機(jī)會(huì)來生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)。為了達(dá)成上述目的，本發(fā)明的一個(gè)形態(tài)的攝像裝置具備攝像單元；攝像控制單元，其通過所述攝像單元來反復(fù)拍攝明亮度不同的圖像；合成單元，其通過分別合成由所述攝像控制單元得到的多個(gè)圖像的大致重復(fù)的圖像區(qū)域的數(shù)據(jù)，來生成與由所述拍攝單元拍攝而得到的圖像相比加寬了動(dòng)態(tài)范圍的多個(gè)合成圖像的數(shù)據(jù)；和圖像生成單元，其通過拼接由所述合成單元生成的所述多個(gè)合成圖像的數(shù)據(jù)，來生成要想拍攝出與通過所述攝像單元的視角所拍攝的圖像相比范圍更寬的廣角圖像的數(shù)據(jù)。


圖I是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的攝像裝置的硬件的構(gòu)成的框圖。圖2是表示全景圖像的生成的一例的示意圖。圖3是表示圖I的攝像裝置的功能性構(gòu)成中的、執(zhí)行全景圖像生成處理的功能性構(gòu)成的框圖。圖4是說明具有圖2的功能性構(gòu)成的圖I的攝像裝置所執(zhí)行的全景圖像生成處理的流程的流程圖。
具體實(shí)施例方式下面，使用附圖來說明本發(fā)明的實(shí)施方式。 圖I是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的攝像裝置I的硬件構(gòu)成的框圖。攝像裝置I例如構(gòu)成為數(shù)碼照相機(jī)。攝像裝置I 具備CPU (Central Processing Unit) 11、R0M (Read Only Memory) 12>RAM (Random Access Memory) 13、圖像處理部14、總線15、輸入輸出接口 16、攝像部17、加速度傳感器18、輸入部19、輸出部20、存儲(chǔ)部21、通信部22、和驅(qū)動(dòng)器23。CPUll按照記錄在R0M12中的程序、或者從存儲(chǔ)部21加載到RAM13中的程序來執(zhí)行各種處理。在RAM13中還適宜地存儲(chǔ)有CPUll在執(zhí)行各種處理過程中所需要的數(shù)據(jù)等。圖像處理部 14 由 DSP (Digital Signal Processor)、VRAM(Video Random AccessMemory)等構(gòu)成,與CPUll協(xié)作來對(duì)圖像的數(shù)據(jù)實(shí)施各種圖像處理。CPUlU ROMl2, RAMl3以及圖像處理部14介由總線15而彼此連接。在該總線15上另外還連接有輸入輸出接口 16。在輸入輸出接口 16連接有攝像部17、加速度傳感器18、輸入部19、輸出部20、存儲(chǔ)部21、通信部22以及驅(qū)動(dòng)器23。雖未圖示，但攝像部17具備光學(xué)透鏡部、和圖像傳感器。光學(xué)透鏡部是為了拍攝被攝體而將光會(huì)聚的透鏡，例如由聚焦透鏡或變焦透鏡等構(gòu)成。聚焦透鏡是使被攝體像在圖像傳感器的受光面上成像的透鏡。變焦透鏡是使焦距在一定的范圍內(nèi)自由變化的透鏡。在光學(xué)透鏡部上還根據(jù)需要設(shè)有調(diào)整焦點(diǎn)、曝光、白平衡等的設(shè)定參數(shù)的周邊電路。圖像傳感器由光電變換元件、AFE(Analog Front End)等構(gòu)成。光電變換兀件例如由CMOS (Complementary Metal Oxide Semiconductor)型的光電變換元件等構(gòu)成。被攝體像從光學(xué)透鏡部入射到光電變換元件。由此，光電變換元件對(duì)被攝體像進(jìn)行光電變換(攝像)并將圖像信號(hào)積蓄一定時(shí)間，且將積蓄的圖像信號(hào)作為模擬信號(hào)而依次提供給AFE。AFE對(duì)該模擬的圖像信號(hào)執(zhí)行A/D (模擬/數(shù)字)變換處理等的各種信號(hào)處理。通過各種信號(hào)處理來生成數(shù)字信號(hào)，并作為攝像部17的輸出信號(hào)來輸出。在此，在下面將通過一次攝像動(dòng)作而由攝像部17輸出的輸出信號(hào)稱作“幀圖像的數(shù)據(jù)”。即，由于連拍動(dòng)作是多次攝像動(dòng)作的反復(fù)，因此，通過連拍動(dòng)作而從攝像部17輸出多個(gè)攝像圖像的數(shù)據(jù)。加速度傳感器18檢測攝像裝置I的速度或加速度。輸入部19由各種按鈕等構(gòu)成，根據(jù)用戶的指示操作來輸入各種信息。輸出部20由顯不器或揚(yáng)聲器等構(gòu)成,輸出圖像或聲音。存儲(chǔ)部21由硬盤或DRAM (Dynamic Rand om Access Memory)等構(gòu)成，存儲(chǔ)各種圖像的數(shù)據(jù)。通信部22控制對(duì)介由包括因特網(wǎng)的網(wǎng)絡(luò)而在與其它的裝置(未圖示)之間進(jìn)行的通信。在驅(qū)動(dòng)器23上適宜地安裝有由磁盤、光盤、光磁盤或半導(dǎo)體存儲(chǔ)器等構(gòu)成的可移動(dòng)介質(zhì)31。通過驅(qū)動(dòng)器23而從可移動(dòng)介質(zhì)31中讀取的程序根據(jù)需要而被安裝在存儲(chǔ)部21中。另外，可移動(dòng)存儲(chǔ)器31也可以與存儲(chǔ)部21同樣地來存儲(chǔ)存儲(chǔ)部21中所存儲(chǔ)的圖像的數(shù)據(jù)等的各種數(shù)據(jù)。具有這樣構(gòu)成的攝像裝置I能執(zhí)行全景圖像生成處理。全景圖像生成處理是如下的一系列的處理一邊使曝光變化一邊使攝像部17進(jìn)行連拍動(dòng)作，將從拍攝結(jié)果中獲得的多張幀圖像的數(shù)據(jù)進(jìn)行合成，由此生成全景圖像的數(shù)據(jù)。在此，為了容易理解全景圖像的生成處理，首先，參照圖2來說明全景圖像生成處理中的全景圖像的數(shù)據(jù)的生成方法的概略。圖2是表示全景圖像的數(shù)據(jù)的生成方法的一例的示意圖。在本例中，以對(duì)結(jié)婚典禮的招待宴會(huì)的會(huì)場中新郎新娘進(jìn)行切蛋糕的事件的場面進(jìn)行拍攝的情況為例進(jìn)行說明。在本例中，設(shè)圖2中攝像裝置I從左側(cè)向右側(cè)的方向移動(dòng)。另外，為了拍攝全景圖像，在本例中，將使用者使攝像裝置I移動(dòng)的方向即從左側(cè)向右側(cè)的方向稱作“全景方向”。在本例中，在位于中央的蛋糕以及新郎新娘的周邊，照射著聚光燈，且通過插在蛋糕上的蠟燭的火、列席者用于拍攝新郎新娘的閃光燈的亮光等，形成了明亮的部分。與此相對(duì)，在其它的場所，由于關(guān)上了照明，因此形成了暗的部分。如此，在本例中，明亮的部分和暗的部分的差較大不同的場面成為了攝像對(duì)象，從而要求動(dòng)態(tài)范圍寬的圖像。另外，為了拍攝動(dòng)態(tài)范圍寬的圖像，即使應(yīng)用上述的日本特開平11-65004號(hào)公報(bào)的技術(shù)，有時(shí)也會(huì)存在設(shè)置應(yīng)用日本特開平11-65004號(hào)公報(bào)的技術(shù)所需要的旋轉(zhuǎn)云臺(tái)較困難的情況。另外，即使用手保持?jǐn)z像裝置I來進(jìn)行移動(dòng)，在全景方向上以同一軌跡移動(dòng)兩次也非常困難。因此，在本例的場面中，不適合應(yīng)用上述的日本特開平11-65004號(hào)公報(bào)的技術(shù)。與此相對(duì)，在本例這樣的場面中，使用者適合使用本實(shí)施方式的攝像裝置I。這是由于，用戶用手保持本實(shí)施方式的攝像裝置I只是進(jìn)行一次全景方向上的移動(dòng)，就能如后述那樣，在幀圖像間的接縫不會(huì)變得不自然的基礎(chǔ)上，容易地獲得動(dòng)態(tài)范圍寬的全景圖像。作為概略，攝像裝置I 一邊被使用者在全景方向上移動(dòng)，一邊對(duì)攝像部17設(shè)定第I曝光條件(例如用于取得明亮的幀圖像的曝光條件)和第2曝光條件(例如用于取得暗的幀圖像的曝光條件)，并一邊交替地切換這兩個(gè)曝光條件一邊進(jìn)行連拍動(dòng)作。由此，獲得了第I曝光條件下拍攝的數(shù)張幀圖像(下面稱作“第I曝光幀圖像”)的各數(shù)據(jù)，并且，獲得在第I曝光幀圖像之間以第2曝光條件拍攝的數(shù)張幀圖像的各數(shù)據(jù)。由此，攝像裝置I分別將連續(xù)拍攝的第I曝光幀圖像和第2曝光幀圖像的組、或者連續(xù)拍攝的第2曝光幀圖像和第I曝光幀圖像的組分別作為處理對(duì)象。之后，攝像裝置I從處理對(duì)象的組的各數(shù)據(jù)中分別提取拍入了同一范圍的圖像區(qū)域的數(shù)據(jù)，并將它們重疊來合成。由此，在每一組中，都能獲得將以不同的第I曝光條件和第2曝光條件分別拍攝的同一范圍的像進(jìn)行合成而得到的合成圖像的數(shù)據(jù)，即動(dòng)態(tài)范圍寬的合成圖像(下面稱作“HDR合成圖像”)的數(shù)據(jù)。攝像裝置I按照在全景方向上拼接的方式，以拍攝順序來合成各組的HDR合成圖像的各數(shù)據(jù)，由此，能在不使幀圖像間的接縫變得不自然的基礎(chǔ)上，生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)。、
更具體地，使用者在保持?jǐn)z像裝置I的狀態(tài)下進(jìn)行將輸入部19的未圖示的快門按鈕按下到下限(下面稱作“全按下”操作)。由此，開始全景圖像生成處理，攝像裝置I開始攝像部17的連拍動(dòng)作。接下來，使用者在維持快門按鈕的全按下操作的狀態(tài)下，使攝像裝置I在全景方向上移動(dòng)。另外，這樣的移動(dòng)一般表現(xiàn)為“搖拍(panning)”。攝像裝置I在移動(dòng)中基于加速度傳感器18的檢測結(jié)果來檢測出移動(dòng)量，且每當(dāng)該移動(dòng)量達(dá)到規(guī)定量時(shí)，就切換為與上一次不同的曝光條件來使攝像部17拍攝被攝體。然后，攝像裝置I反復(fù)存儲(chǔ)從拍攝結(jié)果獲得的幀圖像的數(shù)據(jù)。具體地，在本例中，攝像裝置I首先設(shè)定第I曝光條件來進(jìn)行第I次的拍攝，并存儲(chǔ)第I曝光幀圖像Fla的數(shù)據(jù)。接下來，攝像裝置I在從第I次的拍攝位置起的移動(dòng)量到達(dá)了規(guī)定量時(shí)，將曝光條件切換為第2曝光條件來進(jìn)行第2次的拍攝，并存儲(chǔ)第2曝光幀圖像F2a的數(shù)據(jù)。之后，攝像裝置I通過進(jìn)行使第I曝光幀圖像Fla和第2曝光幀圖像F2a的重復(fù)部分(第I曝光幀圖像Fla的右半部分、和第2曝光幀圖像F2a的左半部分)的各數(shù)據(jù)重疊的合成，來生成HDR合成圖像MA的數(shù)據(jù)。另外，下面為了將這樣的合成與全景圖像生成時(shí)的合成區(qū)分開，將這樣的合成稱作“HDR合成”。另外，如上所述，在本實(shí)施方式中，作為重復(fù)部分，能采用從合成對(duì)象的圖像(例如第I曝光幀圖像Fla和第2曝光幀圖像F2a)中相互除去了加速度傳感器18所檢測出的規(guī)定量的移動(dòng)量份的圖像區(qū)域后而得到的部分(例如，第I曝光幀圖像Fla的右半部分、和第2曝光幀圖像F2a的左半部分)。下面，即使攝影次數(shù)增加，重復(fù)部分的采用方式也相同。下面同樣地，攝像裝置I在從第2次的拍攝位置起的移動(dòng)量到達(dá)了規(guī)定量時(shí)，再次將曝光條件切換到第I曝光條件來進(jìn)行第3次的拍攝，并存儲(chǔ)第I曝光幀圖像Flb的數(shù)據(jù)。之后，攝像裝置I通過將第2曝光幀圖像F2a和第I曝光幀圖像Flb的重復(fù)部分(第2曝光幀圖像F2a的右半部分和第I曝光幀圖像Flb的左半部分)的各數(shù)據(jù)進(jìn)行HDR合成,來生成HDR合成圖像MB的數(shù)據(jù)。進(jìn)而，攝像裝置I在從第3次的拍攝位置起的移動(dòng)量到達(dá)了規(guī)定量時(shí)，將曝光條件切換到第2曝光條件來進(jìn)行第4次的拍攝，并存儲(chǔ)第2曝光幀圖像F2b。之后，攝像裝置I通過將第I曝光幀圖像Flb和第2曝光幀圖像F2b的重復(fù)部分(第I曝光幀圖像Flb的右半部分和第2曝光幀圖像F2b的左半部分)的各數(shù)據(jù)進(jìn)行HDR合成,來生成HDR合成圖像MC的數(shù)據(jù)。之后，攝像裝置I在該移動(dòng)量的總量(開始全按下操作的位置起的累計(jì)移動(dòng)量)到達(dá)了規(guī)定量時(shí)，使攝像部17的連拍動(dòng)作結(jié)束。于是，攝像裝置I通過將到此為止生成的HDR合成圖像MA至MC的各數(shù)據(jù)按照該順序在全景方向上拼接從而合成，由此生成全景圖像PG的數(shù)據(jù)。如此，HDR合成圖像MA至MC是根據(jù)直方圖的分布狀況而改變合成比例來對(duì)不同的第I曝光條件和第2曝光條件的圖像進(jìn)行加法合成而得到的圖像，是具有相同級(jí)別的寬動(dòng)態(tài)范圍的圖像。因此，拼接這樣的HDR合成圖像MA至MC而合成的全景圖像PG是幀圖像間的接縫不會(huì)變得不自然、且動(dòng)態(tài)范圍寬的全景圖像。接下來，參照圖3來說明這樣的全景圖像生成處理以及用于執(zhí)行全景圖像概要顯示處理的攝像裝置I的功能性構(gòu)成。 圖3是表示圖I的攝像裝置I的功能性構(gòu)成中的、用于執(zhí)行全景圖像生成處理的功能性構(gòu)成的功能框圖。在攝像裝置I執(zhí)行全景圖像生成處理的情況下，在CPUll中，攝像控制部41、移動(dòng)量檢測部42、曝光調(diào)整部43發(fā)揮作用。在圖像處理部14中，圖像切取部51、HDR合成部52、全景圖像合成部53發(fā)揮作用。另外，在存儲(chǔ)部21中，被劃分為3部分的區(qū)域的每一個(gè)分別作為存儲(chǔ)第I曝光幀圖像的數(shù)據(jù)的第I幀緩沖器61、存儲(chǔ)第2曝光幀圖像的數(shù)據(jù)的第2幀緩沖器62、以及存儲(chǔ)全景圖像的數(shù)據(jù)的圖像緩沖器63而發(fā)揮作用。攝像控制部41執(zhí)行攝像部17的拍攝的定時(shí)的控制、以及用于切換曝光的控制。具體地，在使用者保持著攝像裝置I而進(jìn)行全按下操作時(shí)，開始全景圖像生成處理。即攝像控制部41使攝像部17開始連拍動(dòng)作。之后，使用者在維持快門開關(guān)的全按下操作的狀態(tài)下使攝像裝置I在全景方向上移動(dòng)。攝像裝置41在維持全按下操作的期間，每當(dāng)攝像裝置I的移動(dòng)量(關(guān)于移動(dòng)量，在后面敘述)達(dá)到一定量時(shí)，基于后述的曝光調(diào)整部43的調(diào)整結(jié)果來切換曝光，并使攝像部17進(jìn)行拍攝。攝像控制部41反復(fù)將從拍攝結(jié)果得到的第I曝光幀圖像或第2曝光幀圖像的數(shù)據(jù)臨時(shí)存儲(chǔ)到第I幀緩沖器61中。之后，在攝像裝置I的總移動(dòng)量達(dá)到規(guī)定量后，攝像控制部41結(jié)束攝像部17的連拍動(dòng)作。移動(dòng)量檢測部42基于加速度傳感器18的檢測結(jié)果，檢測攝像裝置I的移動(dòng)量或加速度。曝光調(diào)整部43基于移動(dòng)量檢測部42所檢測出的攝像裝置I的移動(dòng)量來調(diào)整在攝像部17中設(shè)定的曝光條件(在本實(shí)施方式中是第I曝光條件或第2曝光條件)，并將調(diào)整結(jié)果通知給攝像控制部41。在通過這樣的功能性構(gòu)成的CPUll的控制而從攝像部17輸出第I曝光幀圖像的數(shù)據(jù)的情況下，將該數(shù)據(jù)存儲(chǔ)到第I幀緩沖器61中。另外，在從攝像部17輸出第2曝光幀圖像的數(shù)據(jù)的情況下，將該數(shù)據(jù)存儲(chǔ)到第2幀緩沖器62中。
圖像切取部51從第I幀緩沖器61中切取第I曝光幀圖像中的第I區(qū)域的數(shù)據(jù)，并且切取第2曝光幀圖像的數(shù)據(jù)中的與第I區(qū)域?qū)?yīng)的第2區(qū)域的數(shù)據(jù)。HDR合成部52對(duì)由圖像切取部51所分別切取的第I區(qū)域(以明亮的第I曝光而拍攝的幀圖像的一部分)、和第2區(qū)域(以暗的第2曝光而拍攝的幀圖像的一部分)的各數(shù)據(jù)進(jìn)行HDR合成，來生成HDR合成圖像的數(shù)據(jù)。全景圖像合成部53將由HDR合成部52所生成的多個(gè)HDR合成圖像的數(shù)據(jù)拼接而合成，由此生成全景圖像的數(shù)據(jù)，并存儲(chǔ)到圖像緩沖器63中。接下來，使用圖4來說明這樣的具有圖3的功能的圖I的攝像裝置I所執(zhí)行的處理中的、全景圖像生成處理的流程。圖4是說明攝像裝置I執(zhí)行的全景圖像生成處理的流程的流程圖。
在本實(shí)施方式中，全景圖像生成處理以使用者對(duì)輸入部19的未圖示的快門按鈕進(jìn)行全按下操作來進(jìn)行攝像的指示為契機(jī)而開始。在步驟SI中，曝光調(diào)整部43首先設(shè)定第I曝光條件作為初始曝光設(shè)定。在步驟S2中，攝像控制部41在第I曝光條件下使攝像部17拍攝I張第I曝光幀圖像(例如圖2中的第I曝光幀圖像Fla)。在步驟S3中，攝像控制部41將在步驟S2的處理中由攝像部17拍攝并輸出的第I曝光幀圖像的數(shù)據(jù)保存在第I幀緩沖器61中。此時(shí)，攝像裝置I被用戶在規(guī)定的方向上(全景方向)移動(dòng)拍攝視角。在步驟S4中，移動(dòng)量檢測部42判斷攝像裝置I是否移動(dòng)了規(guī)定移動(dòng)量，即判斷從前一次的拍攝時(shí)(前一次的步驟S2、S7或S13的時(shí)間點(diǎn))的位置起的移動(dòng)量是否達(dá)到了規(guī)定量。在移動(dòng)量達(dá)到了規(guī)定量的情況下，在步驟S4判斷為“否”，處理再次返回到步驟S4。即，在移動(dòng)量達(dá)到規(guī)定量之前的期間，反復(fù)步驟S4的判定處理，全景圖像生成處理成為待機(jī)狀態(tài)。之后，在移動(dòng)量達(dá)到了規(guī)定量的情況下，在步驟S4中，判斷為“是”，處理前進(jìn)到步驟S5。在步驟S5中，曝光調(diào)整部43判定當(dāng)前是否設(shè)定有第I曝光條件。例如，在步驟S2的處理中進(jìn)行的第I次的拍攝后的步驟S5的處理中，由于在第I曝光條件的設(shè)定下進(jìn)行了第I次的拍攝，因此在步驟S5中，判定為“是”，處理前進(jìn)到步驟S6。在步驟S6中，曝光調(diào)整部43切換曝光條件來設(shè)定第2曝光條件。S卩，將曝光的設(shè)定從第I曝光條件切換為第2曝光條件。在步驟S7中，攝像控制部41在暗的第2曝光條件下使攝像部17拍攝I張第2曝光幀圖像。例如，若是第2次的拍攝，則拍攝圖2的第2曝光幀圖像F2a。在步驟S8中，攝像控制部41將在步驟S7的處理中由攝像部17拍攝并輸出的第2曝光幀圖像的數(shù)據(jù)保存在第2幀緩沖器62中。在步驟S9中，圖像切取部51進(jìn)行第I幀緩沖器61以及第2幀緩沖器62的圖像的對(duì)位,并切取重復(fù)部分的數(shù)據(jù)。具體地，圖像切取部51切取保存在第I幀緩沖器61中的以第I曝光條件所拍攝的第I曝光幀圖像、和保存在第2幀緩沖器62中的以第2曝光條件所拍攝的第2曝光幀圖像的重復(fù)部分的數(shù)據(jù)。在步驟SlO中，HDR合成部52對(duì)通過步驟S9的處理而分別從第I曝光幀圖像以及第2曝光幀圖像切取的重復(fù)部分各自進(jìn)行HDR合成，由此生成HDR合成圖像的數(shù)據(jù)。然后，HDR合成部52在該HDR合成后，將該HDR合成圖像的數(shù)據(jù)追加保存到圖像緩沖器63中(在圖3中未圖示)。例如，通過步驟S9的處理，圖2中的通過第I次的拍攝而得到的第I曝光幀圖像Fla以及通過第2次的拍攝而得到的第2曝光幀圖像F2a的各自的各重復(fù)部分，即第I曝光幀圖像Fla的右半面的部分、和第2曝光幀圖像F2a的左半面的部分被裁出。這種情況下，通過步驟SlO的處理，來將第I曝光幀圖像Fla的右半面的部分、和第2曝光幀圖像F2a的左半面的部分進(jìn)行HDR合成，從而生成HDR合成圖像MA的數(shù)據(jù)，并將其追加保存到圖像緩沖器63中。
在步驟Sll中，移動(dòng)量檢測部42判斷攝像裝置I是否移動(dòng)了規(guī)定量，即判斷到此為止的總移動(dòng)量是否達(dá)到了規(guī)定量。在總移動(dòng)量達(dá)到了規(guī)定量的情況下，在步驟Sll中，判斷為“是”，處理前進(jìn)到步驟S12。其中，步驟S12以后的處理在后面敘述。與此相對(duì)，在總移動(dòng)量未達(dá)到規(guī)定量的情況下，在步驟Sll判斷為“否”，處理返回到步驟S4，并反復(fù)其后的處理。S卩，在步驟S2的處理中，在明亮的第I曝光條件下進(jìn)行了第I次的拍攝后，執(zhí)行步驟S4至S6，在S7的處理中，在暗的第2曝光條件下進(jìn)行第2次的拍攝，執(zhí)行步驟S8至SlO的處理，將圖2所示的HDR合成圖像MA的數(shù)據(jù)保存到圖像緩沖器63中。這種情況下，由于若在步驟S4的處理中判定為移動(dòng)了規(guī)定量，則第2次的拍攝是暗的第2曝光條件，因此，在步驟S5判定為“否”，處理前進(jìn)到步驟S12。在步驟S12中，曝光調(diào)整部43切換曝光條件來設(shè)定第I曝光條件。即，將曝光條件從第2曝光條件切換為第I曝光條件。在步驟S13中，攝像控制部41在明亮的第I曝光條件下使攝像部17拍攝I張第I曝光幀圖像。例如，由于當(dāng)前的情況是第3次的拍攝，因此拍攝圖2中的第I曝光幀圖像Fib。在步驟S14中，攝像控制部41將在步驟S13的處理中由攝像部17拍攝并輸出的第I曝光幀圖像的數(shù)據(jù)保存到第I幀緩沖器61中。之后，通過步驟S9的處理，圖2中的通過第2次的拍攝而得到的第2曝光幀圖像F2a、以及通過第3次的拍攝而得到的第I曝光幀圖像Flb的各自的重復(fù)部分，即第2曝光幀圖像F2a的右半面的部分和第I曝光幀圖像Flb的左半面的部分被切取。這種情況下，通過步驟SlO的處理，將第2曝光幀圖像F2a的右半面的部分、和第I曝光幀圖像Flb的左半面的部分進(jìn)行HDR合成，生成HDR合成圖像MB的數(shù)據(jù)，并追加保存到圖像緩沖器63中。之后，在步驟Sll中，判斷為“否”，處理返回到步驟S4，反復(fù)之后的處理。S卩，由于若在步驟S4的處理中判定為移動(dòng)了規(guī)定量，則第3次的拍攝在第I曝光條件下進(jìn)行，因此在步驟S5判定為“是”，處理前進(jìn)到步驟S6。
在步驟S6的處理中，切換曝光條件來設(shè)定第2曝光條件，在步驟S7的處理中，進(jìn)行第4次的拍攝，在步驟S8的處理中，將圖2中的第2曝光幀圖像F2b保存到第2幀緩沖器62中。之后，通過步驟S9的處理，圖2中的通過第3次的拍攝而得到的第I曝光幀圖像Fib、以及通過第4次的拍攝而得到的第2曝光幀圖像F2b的各自的重復(fù)部分被切取。即第I曝光幀圖像Flb的右半面的部分和第2曝光幀圖像F2b的左半面的部分被切取。這種情況下，通過步驟SlO的處理，將第I曝光幀圖像Flb的右半面的部分、和第2曝光幀圖像F2b的左半面的部分進(jìn)行HDR合成。之后，生成HDR合成圖像MC的數(shù)據(jù)，并追加保存到圖像緩沖器63中。在此，在總移動(dòng)量到達(dá)了規(guī)定量的情況下，在步驟Sll中判斷為“是”，處理前進(jìn)到 步驟S12。在步驟S12中，全景圖像合成部53通過將到此為止生成的HDR合成圖像的數(shù)據(jù)按照生成順序在全景方向上拼接來進(jìn)行合成，由此生成全景圖像的數(shù)據(jù)。例如，如圖2所示，將HDR合成圖像MA至MC的各數(shù)據(jù)進(jìn)行合成，來生成全景圖像的數(shù)據(jù)。由此，結(jié)束了全景圖像生成處理。如此，在本實(shí)施方式中，攝像裝置I通過按照圖4的流程圖來執(zhí)行全景圖像生成處理，能以一次的拍攝機(jī)會(huì)來生成動(dòng)態(tài)范圍寬的全景圖像。如以上說明那樣，攝像裝置I具備攝像部17、攝像控制部41和HDR合成部52。攝像控制部41控制攝像部17，以反復(fù)拍攝曝光條件不同的幀圖像。HDR合成部52通過將由攝像控制部41得到的多個(gè)幀圖像的大致重復(fù)的圖像區(qū)域的數(shù)據(jù)分別進(jìn)行HDR合成，來生成與由攝像單元拍攝而得到的圖像相比加寬了動(dòng)態(tài)范圍的多個(gè)HDR合成圖像的數(shù)據(jù)。全景圖像合成部53通過將由HDR合成部52生成的多個(gè)HDR合成圖像的數(shù)據(jù)進(jìn)行拼接，來生成拍攝了比通過攝像部17的視角而拍攝的圖像更寬的范圍的全景圖像(下面也稱作“廣角圖像”)。因此，攝像裝置I能以一次拍攝機(jī)會(huì)來生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)。攝像控制部41能通過用于對(duì)第I曝光條件下的攝像和與此不同的第2曝光條件下的攝像進(jìn)行切換的規(guī)定的算法，來控制攝像部17。另外，攝像控制部41能按照用于以規(guī)定的時(shí)間間隔來交替切換曝光值的算法來控制攝像部17，以反復(fù)拍攝明亮度不同的圖像。因此，攝像裝置I能生成曝光程度均勻化的全景圖像的數(shù)據(jù)。攝像控制部41能按照用于以攝像裝置I的規(guī)定的移動(dòng)距離間隔或規(guī)定的旋轉(zhuǎn)角度間隔來交替切換曝光值的算法來控制攝像部17，以反復(fù)拍攝明亮度不同的圖像。因此，攝像裝置I能基于移動(dòng)距離間隔或旋轉(zhuǎn)角度間隔來判斷攝像裝置I的移動(dòng)的程度。由此，攝像裝置I能按照基于實(shí)際的攝像裝置I的移動(dòng)而進(jìn)行拍攝的方式來進(jìn)行控制，其結(jié)果是，能正確得到大致重復(fù)的圖像區(qū)域地進(jìn)行拍攝。另外，本發(fā)明并不限于上述的實(shí)施方式，在能達(dá)成本發(fā)明的目的的范圍內(nèi)的變形、改良等也包含在本發(fā)明中。在上述的實(shí)施方式中，構(gòu)成為從第I曝光條件起進(jìn)行拍攝，但并不限于此，也可以從兎2曝光條件起開始拍攝。換言之，只要按照規(guī)定的算法來改變曝光條件，從而獲得明亮度不同的幀圖像即可。在此，作為規(guī)定的算符，在上述實(shí)施方式中，采用了交替切換第I曝光條件和第2曝光條件的算法，但并不限于此，可以是任意的算法。例如，代替曝光條件，通過用于準(zhǔn)備兩種與拍攝后的亮度相關(guān)的增益調(diào)整量并交替切換這兩種增益調(diào)整量的算法，也能實(shí)現(xiàn)相同的效果。這種情況下，由于不是改變曝光條件，因此能間接地降低因改變快門速度而帶來的被攝體模糊。另外，在上述的實(shí)施方式中，在取得分別具有大致重復(fù)的圖像區(qū)域的曝光不同的幀圖像的數(shù)據(jù)的狀態(tài)下、即在成為了能生成HDR合成圖像的數(shù)據(jù)的狀態(tài)下立即進(jìn)行了 HDR合成圖像的數(shù)據(jù)的生成。但是，HDR合成圖像的數(shù)據(jù)生成定時(shí)并不限于此。例如，攝像裝置
I也可以在全部的幀圖像的數(shù)據(jù)的拍攝結(jié)束的定時(shí)來生成全部的HDR合成圖像的數(shù)據(jù)。另外，在上述的實(shí)施方式中，根據(jù)由移動(dòng)量檢測部42所檢測出的移動(dòng)量來判斷攝 像裝置的移動(dòng)，但并不限于此。只要能判斷攝像裝置的移動(dòng)即可，例如，也可以通過根據(jù)預(yù)想的速度而推斷出的時(shí)間來進(jìn)行判斷，也就是，根據(jù)時(shí)間來判斷拍攝的定時(shí)，從而判斷攝像裝置的移動(dòng)。在這樣的攝像裝置I中，攝像控制部41控制攝像部17，使得以規(guī)定的時(shí)間間隔來同步地拍攝曝光條件不同的圖像。因此，在攝像裝置I中，由于以時(shí)間為基準(zhǔn)來判斷攝像裝置I的移動(dòng)的程度，因此例如即使不具備用于檢測攝像裝置I的移動(dòng)的構(gòu)成，也能以簡單的構(gòu)成來生成全景圖像。另外，在上述的實(shí)施方式中，攝像裝置I使用自身具備的攝像部17所拍攝的幀圖像的數(shù)據(jù)來生成了全景圖像的數(shù)據(jù)，但并不限于此。例如，攝像裝置I也可以使用由外部設(shè)備所拍攝的圖像的數(shù)據(jù)來生成全景圖像。換言之，這種情況下，作為本發(fā)明的實(shí)施方式，并不特別需要采取具有攝像功能的攝像裝置I的形態(tài)，也可以采取僅進(jìn)行圖像處理的圖像處理裝置的形態(tài)。這樣的圖像處理裝置具備圖像取得部、圖像合成部和圖像生成部。圖像取得部介由通信部等從外部設(shè)備取得曝光不同的多個(gè)圖像的數(shù)據(jù)。圖像合成部通過將這些多個(gè)圖像的大致重復(fù)的圖像區(qū)域的數(shù)據(jù)分別進(jìn)行合成來生成多個(gè)合成圖像的數(shù)據(jù)。圖像生成部通過拼接由圖像合成部所生成的多個(gè)合成圖像的數(shù)據(jù)，來生成拍攝了比通過規(guī)定的攝像單元(外部設(shè)備的攝像單元)等的視角所拍攝的圖像更寬的范圍的廣角圖像(全景圖像)的數(shù)據(jù)。因此，圖像處理裝置基于從外部設(shè)備取得的圖像數(shù)據(jù)，能生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)。這種情況下，操作外部設(shè)備或其它的攝像裝置的使用者也與操作攝像裝置I的使用者同樣地，以一次拍攝機(jī)會(huì)拍攝圖像即可。另外，在上述的實(shí)施方式中，應(yīng)用本發(fā)明的攝像裝置I是以數(shù)碼照相機(jī)為例進(jìn)行的說明，但并不特別限定于此。例如，本發(fā)明能一般應(yīng)用于具有全景圖像概要顯示處理功能的電子設(shè)備中。具體地，本發(fā)明能應(yīng)用在筆記本型的個(gè)人計(jì)算機(jī)、打印機(jī)、電視接收器、數(shù)碼照相機(jī)、便攜式導(dǎo)航裝置、便攜式電話機(jī)、移動(dòng)游戲機(jī)等中。
上述一系列的處理既可以由硬件執(zhí)行，也可以由軟件執(zhí)行。換言之，圖2的功能性構(gòu)成僅是例示，并不做特別的限定。即，只要在攝像裝置I中具備能將上述一系列的處理作為整體來執(zhí)行的功能即可，為了實(shí)現(xiàn)該功能而使用何種功能塊，則并不限于圖2的示例。另外，一個(gè)功能塊既可以由硬件單體構(gòu)成，也可以由軟件單體構(gòu)成，也可以由軟硬件的組合來構(gòu)成。在通過軟件來執(zhí)行一系列的處理的情況下，構(gòu)成該軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)等被安裝到計(jì)算機(jī)上。計(jì)算機(jī)也可以是嵌入在專用硬件中的計(jì)算機(jī)。另外，計(jì)算機(jī)也可以是能通過安裝各種的程序來執(zhí)行各種功能的計(jì)算機(jī)，例如是泛用的個(gè)人計(jì)算機(jī)。
包含這樣的程序的記錄介質(zhì)為了將程序提供給使用者，不僅可以通過與裝置主體分開來進(jìn)行散發(fā)的圖I的可移動(dòng)介質(zhì)31來構(gòu)成，也可以通過以預(yù)先嵌入到裝置主體中的狀態(tài)來向用戶提供程序的記錄介質(zhì)等構(gòu)成?？梢苿?dòng)介質(zhì)31例如通過磁盤(包含軟盤)、光盤、或光磁盤等構(gòu)成。光盤例如由⑶-ROM(Compact Disk-Read Only Memory)、DVD (DigitalVersatile Disk)等構(gòu)成。光磁盤通過MD (Mini-Disk)等構(gòu)成。另外，以預(yù)先嵌入在裝置主體的狀態(tài)來向使用者提供程序的記錄介質(zhì)例如由記錄有程序的圖I的R0M12、包含在圖I的存儲(chǔ)部21中的硬盤等構(gòu)成。另外，在本發(fā)明中，對(duì)記錄介質(zhì)中所記錄的程序進(jìn)行記述的步驟當(dāng)然是按照其順序而在時(shí)間序列上進(jìn)行的處理，但也不一定都在時(shí)間序列上進(jìn)行處理，也可以包含并行或個(gè)別執(zhí)行的處理。以上，說明了本發(fā)明的幾個(gè)實(shí)施方式，但這些實(shí)施方式只是例示，并不限定本發(fā)明的技術(shù)范圍。本發(fā)明也可以采取其它的各種實(shí)施方式，進(jìn)而，能在不脫離本發(fā)明的要旨的范圍內(nèi)進(jìn)行省略、置換等各種變更。這些實(shí)施方式、變形都包含在本說明書所記載的發(fā)明的范圍或要旨中，并且也包含在與記載在權(quán)利要求書中的發(fā)明以及與其等同的范圍內(nèi)。
權(quán)利要求
1.一種攝像裝置，其特征在于，具備 攝像單元； 攝像控制單元，其通過所述攝像單元來反復(fù)拍攝明亮度不同的圖像； 圖像區(qū)域切取單元，其分別切取所述明亮度不同的多個(gè)圖像的大致重復(fù)的圖像區(qū)域；合成圖像生成單元，其通過合成由所述圖像區(qū)域切取單元所分別切取的圖像區(qū)域，來生成與由所述攝像單元拍攝的圖像相比動(dòng)態(tài)范圍更寬的多個(gè)合成圖像；和 寬范圍圖像生成單元，其通過拼接由所述合成圖像生成單元生成的多個(gè)合成圖像，來生成與由所述攝像單元拍攝的圖像相比范圍更寬的圖像。
2.根據(jù)權(quán)利要求I所述的攝像裝置，其特征在于， 所述攝像控制單元通過用于對(duì)第I曝光條件下的拍攝、和用于拍攝明亮度與在所述第I曝光條件下所拍攝的圖像的明亮度不同的圖像的第2曝光條件下的拍攝進(jìn)行切換的算法，來控制所述攝像單元。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于， 所述攝像裝置還具備 檢測單元，其檢測該攝像裝置的移動(dòng)量；和 移動(dòng)量判定單元，其判定由所述檢測單元檢測出的移動(dòng)量是否達(dá)到了規(guī)定量， 在判定為所述移動(dòng)量未達(dá)到規(guī)定量時(shí)，所述攝像控制單元進(jìn)行所述第I曝光條件下的拍攝，在判定為所述移動(dòng)量達(dá)到了規(guī)定量時(shí)，所述攝像控制單元進(jìn)行所述第2曝光條件下的拍攝，由此來拍攝所述明亮度不同的多個(gè)圖像。
4.根據(jù)權(quán)利要求I所述的攝像裝置，其特征在于， 所述攝像控制單元按照用于以規(guī)定的時(shí)間間隔交替切換曝光值的算法來控制所述攝像單元，以反復(fù)拍攝明亮度不同的圖像。
5.根據(jù)權(quán)利要求I所述的攝像裝置，其特征在于， 所述攝像控制單元按照用于以該攝像裝置的規(guī)定的移動(dòng)距離間隔或規(guī)定的旋轉(zhuǎn)角度間隔來交替切換曝光值的算法來控制所述攝像單元，以反復(fù)拍攝明亮度不同的圖像。
6.根據(jù)權(quán)利要求I所述的攝像裝置，其特征在于， 所述攝像裝置還具備 增益調(diào)整量存儲(chǔ)單元，其存儲(chǔ)用于校正圖像的明亮度的兩種增益調(diào)整量， 所述攝像控制單元，對(duì)由所述攝像單元反復(fù)拍攝的圖像，按照用于交替切換由所述增益調(diào)整量存儲(chǔ)單元存儲(chǔ)的兩種增益調(diào)整量的算法，來分別取得明亮度不同的圖像。
7.一種攝像控制方法，是具備攝像單元的攝像裝置的攝像控制方法，其特征在于，該攝像控制方法包括 拍攝控制步驟，通過所述攝像單元來反復(fù)拍攝明亮度不同的圖像； 圖像區(qū)域切取步驟，分別切取所述明亮度不同的多個(gè)圖像的大致重復(fù)的圖像區(qū)域；合成圖像生成步驟，通過分別合成通過所述圖像區(qū)域切取步驟所切取的圖像區(qū)域，來生成與由所述攝像單元拍攝的圖像相比動(dòng)態(tài)范圍更寬的多個(gè)合成圖像；和 寬范圍圖像生成步驟，通過拼接通過所述合成圖像生成步驟的處理所生成的所述多個(gè)合成圖像，來生成與由所述攝像單元拍攝的圖像相比范圍更寬的圖像。
8.一種計(jì)算機(jī)可讀的記錄介質(zhì)，其特征在于，記錄有程序，該程序使對(duì)具備攝像單元的攝像裝置進(jìn)行控制的計(jì)算機(jī)實(shí)現(xiàn)作為如下單元的功能 攝像控制單元，其通過所述攝像單元來反復(fù)拍攝明亮度不同的圖像； 圖像區(qū)域切取單元，其分別切取由所述攝像控制單元得到的多個(gè)圖像的大致重復(fù)的圖像區(qū)域； 合成圖像生成單元，其通過分別合成由所述圖像區(qū)域切取單元所分別切取的圖像區(qū)域，來生成與由所述攝像單元拍攝的圖像相比動(dòng)態(tài)范圍更寬的多個(gè)合成圖像；和 寬范圍圖像生成單元，其通過拼接由所述合成圖像生成單元生成的所述多個(gè)合成圖像，來生成與由所述攝像單元拍攝的圖像相比范圍更寬的圖像。
9.一種圖像處理裝置，其特征在于，具備 圖像取得單元，其取得明亮度不同的多個(gè)圖像； 圖像區(qū)域切取單元，其分別切取由所述圖像取得單元取得的多個(gè)圖像中的大致重復(fù)的圖像區(qū)域； 合成圖像生成單元，其通過分別合成由所述圖像區(qū)域切取單元所分別切取的圖像區(qū)域，來生成動(dòng)態(tài)范圍寬的多個(gè)合成圖像；和 寬范圍圖像生成單元，其通過拼接由所述合成圖像生成單元生成的所述多個(gè)合成圖像，來生成與由規(guī)定的攝像單元拍攝的圖像相比范圍更寬的圖像。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備增益調(diào)整量存儲(chǔ)單元，其存儲(chǔ)兩種與圖像的亮度相關(guān)的增益調(diào)整量， 所述圖像取得單元按照用于交替切換由所述增益調(diào)整量存儲(chǔ)單元存儲(chǔ)的兩種增益調(diào)整量的算法，來分別取得明亮度不同的圖像。
11.一種圖像處理方法，對(duì)明亮度不同的多個(gè)圖像實(shí)施圖像處理，其特征在于，包括 圖像區(qū)域切取步驟，分別切取所述多個(gè)圖像的大致重復(fù)的圖像區(qū)域； 合成圖像生成步驟，通過分別合成通過所述圖像區(qū)域切取步驟的處理所分別切取的圖像區(qū)域，來生成動(dòng)態(tài)范圍寬的多個(gè)合成圖像； 寬范圍圖像生成步驟，通過拼接通過所述合成圖像生成步驟的處理所生成的所述多個(gè)合成圖像，來生成與由規(guī)定的攝像單元拍攝的圖像相比范圍更寬的圖像。
12.—種計(jì)算機(jī)可讀的記錄介質(zhì)，其特征在于，記錄有程序，該程序使對(duì)明亮度不同的多個(gè)圖像進(jìn)行處理的計(jì)算機(jī)實(shí)現(xiàn)作為如下單元的功能 圖像切取單元，其分別切取所述多個(gè)圖像的大致重復(fù)的圖像區(qū)域； 合成圖像生成單元，其通過分別合成由所述圖像區(qū)域切取單元所分別切取的圖像區(qū)域，來生成動(dòng)態(tài)范圍寬的多個(gè)合成圖像；和 寬范圍圖像生成單元，其通過拼接由所述合成圖像生成單元生成的所述多個(gè)合成圖像，來生成與由規(guī)定的攝像單元拍攝的圖像相比范圍更寬的圖像。
全文摘要
本發(fā)明提供一種能生成動(dòng)態(tài)范圍寬的全景圖像的數(shù)據(jù)的攝像裝置。攝像裝置具備攝像部、攝像控制部、圖像切取部、HDR合成部和全景圖像合成部。攝像控制部通過所述攝像部來反復(fù)拍攝明亮度不同的圖像。圖像切取部分別切取所述明亮度不同的多個(gè)圖像的大致重復(fù)的圖像區(qū)域的數(shù)據(jù)。HDR合成部通過將由圖像切取部所分別切取的圖像區(qū)域進(jìn)行合成，來生成多個(gè)與由所述攝像部拍攝的圖像相比動(dòng)態(tài)范圍更寬的合成圖像的數(shù)據(jù)。全景圖像合成部通過拼接由所述HDR合成部生成的多個(gè)合成圖像的數(shù)據(jù)，來生成與由所述攝像部拍攝的圖像相比范圍更寬的圖像。
文檔編號(hào)H04N1/387GK102739955SQ20121008368
公開日2012年10月17日 申請日期2012年3月27日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者加藤寬之, 市川英里奈, 星野博之, 村木淳, 清水博 申請人:卡西歐計(jì)算機(jī)株式會(huì)社