專利名稱：圖像處理設備、圖像處理方法以及程序的制作方法
技術領域：
本發(fā)明涉及圖像處理設備、圖像處理方法以及程序。具體而言，本發(fā)明涉及能夠用 于全景圖像上的對象運動的圖像處理設備和圖像處理方法及用于此的程序。
背景技術：
近年來，隨著數(shù)碼靜止攝像設備變得普及，拍攝大量照片的用戶的數(shù)量也增加了。 另外，存在對于有效地示出大量被捕獲到的照片的方法的需求。例如，作為有效地示出被捕獲到的照片的方法，已知使用所謂全景圖像的方法。全 景圖像是通過排列多個靜止圖像獲得的一個靜止圖像，該靜止圖像是在預定方向上平移圖 像捕獲裝置的同時通過圖像捕獲裝置的圖像捕獲以使靜止圖像上的相同對象彼此重疊來 獲得的(例如，參考日本專利No. 3168443)。通過使用全景圖像的方法，可以顯示比由標準圖像捕獲裝置拍攝的一個靜止圖像 的圖像捕獲區(qū)域(視角)更大的空間范圍作為對象。因此，可以更有效地顯示對象的被捕 獲到的圖像。

發(fā)明內容
順帶提及，當在平移圖像捕獲裝置的同時捕獲到多個靜止圖像以獲得全景圖像 時，有時多個靜止圖像可以包括相同對象。在此情形中，不同靜止圖像中的相同對象是在相 互不同的時間被捕獲圖像的對象。所以，可以認為捕獲到的用以生成全景圖像的靜止圖像 組具有關于對象運動的信息。事實上，在上面提及的全景圖像中，難以表現(xiàn)全景圖像中包括的對象的運動。由于 此原因，很難認為以足夠有效的方式顯示了對象的被捕獲到的圖像。鑒于上述狀況，本發(fā)明解決更有效地顯示對象的被捕獲到的圖像的問題。根據(jù)本發(fā)明實施例的圖像處理設備包括位置信息生成裝置，用于基于在圖像 捕獲裝置移動的同時通過圖像捕獲裝置的圖像捕獲獲得的多個被捕獲到的圖像來生成位 置信息，所述位置信息表示在預定平面上排列多個被捕獲到的圖像以使得不同的被捕獲到 的圖像中包括的相同對象彼此重疊時被捕獲到的圖像的相對位置關系；條形圖像生成裝 置，用于當基于位置信息在平面上排列多個被捕獲到的圖像時，對于多個被捕獲到的圖像 中的每一個，在被捕獲到的圖像上從被捕獲到的圖像上的預定參考位置到在平面上被排列 以與所述被捕獲到的圖像重疊的另一被捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成 包括該區(qū)域的條形圖像；以及全景圖像生成裝置，用于通過排列和拼合根據(jù)多個被捕獲到 的圖像獲得的條形圖像來生成一個全景圖像。條形圖像生成裝置在相對于多個被捕獲到的 圖像在預定方向上使被捕獲到的圖像上的區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生 成多個條形圖像。全景圖像生成裝置通過對區(qū)域的每個位置生成全景圖像來生成由多個全 景圖像形成的圖像組，其中，顯示在用于獲得多個被捕獲到的圖像的圖像捕獲時被設置為 圖像捕獲目標的圖像捕獲空間上的區(qū)域。
優(yōu)選地，圖像捕獲空間上的相同區(qū)域應該顯示在多個全景圖像中的每一個中。優(yōu)選地，圖像處理設備還應該包括顯示控制裝置，用于按預定時間間隔依次顯示 多個全景圖像。優(yōu)選地，圖像處理設備還應該包括規(guī)定裝置，用于當指定了全景圖像上的移動 對象時，規(guī)定多個被捕獲到的圖像之中包括移動對象的被捕獲到的圖像；以及裁剪出圖像 生成裝置，用于對于由規(guī)定裝置規(guī)定的多個被捕獲到的圖像中的每一個，通過從被捕獲 到的圖像中裁剪出包括移動對象的區(qū)域來形成裁剪出圖像，以及生成多個裁剪出圖像的群 組。還優(yōu)選地，顯示控制裝置應該按預定時間間隔依次顯示多個裁剪出圖像。優(yōu)選地，圖像處理設備還應該包括檢測裝置，用于基于連續(xù)顯示的全景圖像從全 景圖像中檢測移動對象。還優(yōu)選地，顯示控制裝置應該在依次顯示多個全景圖像時以與其 它區(qū)域不同的顯示格式顯示每個全景圖像中的包括移動對象的區(qū)域。優(yōu)選地，多個全景圖像應該是以下圖像其中，當依次顯示全景圖像時在預定范圍 中按從區(qū)域的一端到另一端的順序顯示圖像捕獲空間上在預定范圍中的每個區(qū)域。優(yōu)選地，通過使用預先在被捕獲到的圖像上設置的多個塊區(qū)域，位置信息生成裝 置應該通過從在比被捕獲到的圖像更早的時間獲得的被捕獲到的圖像中分別搜索與多個 塊區(qū)域相對應的塊對應區(qū)域來生成位置信息。優(yōu)選地，位置信息生成裝置應該基于多個塊區(qū)域的相對位置關系以及多個塊對應 區(qū)域的相對位置關系來檢測包括移動對象的塊區(qū)域，以及當檢測到包括移動對象的塊區(qū)域 時，應該通過使用多個塊區(qū)域之中與所檢測到的塊區(qū)域不同的塊區(qū)域來搜索塊對應區(qū)域來 生成位置信息。根據(jù)本發(fā)明另一實施例的圖像處理方法或程序包括位置信息生成步驟，基于在 圖像捕獲裝置移動的同時通過圖像捕獲裝置的圖像捕獲獲得的多個被捕獲到的圖像來生 成位置信息，所述位置信息表示在預定平面上排列多個被捕獲到的圖像以使得不同的被捕 獲到的圖像中包括的相同對象彼此重疊時被捕獲到的圖像的相對位置關系；條形圖像生成 步驟，當基于位置信息在平面上排列多個被捕獲到的圖像時，對于多個被捕獲到的圖像中 的每一個，在被捕獲到的圖像上從被捕獲到的圖像上的預定參考位置到在平面上被排列以 與被捕獲到的圖像重疊的另一被捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成包括該 區(qū)域的條形圖像；以及全景圖像生成步驟，通過排列和拼合根據(jù)多個被捕獲到的圖像獲得 的條形圖像來生成一個全景圖像。在條形圖像生成步驟中，在相對于多個被捕獲到的圖像 在預定方向上使被捕獲到的圖像上的區(qū)域移位的同時根據(jù)被捕獲到的圖像來生成多個條 形圖像。在全景圖像生成步驟中，通過對區(qū)域的每個位置生成全景圖像來生成由多個全景 圖像形成的圖像組，其中，顯示在用于獲得多個被捕獲到的圖像的圖像捕獲時被設置為圖 像捕獲目標的圖像捕獲空間上的區(qū)域。在本發(fā)明的實施例中，基于在圖像捕獲裝置移動時通過圖像捕獲裝置的圖像捕獲 獲得的多個被捕獲到的圖像，生成位置信息，所述位置信息代表在預定平面上排列多個捕 獲圖像以使不同被捕獲到的圖像中包括的相同對象彼此重疊時被捕獲到的圖像的相對位 置關系。隨后，對于多個被捕獲到的圖像中的每一個，當基于位置信息在平面上排列多個被 捕獲到的圖像時，在被捕獲到的圖像上從被捕獲到的圖像上的預定參考位置到排列在平面 上以與被捕獲到的圖像重疊的另一被捕獲到的圖像上的參考位置裁剪出區(qū)域，從而生成包括該區(qū)域的條形圖像。然后，通過排列和拼合根據(jù)多個被捕獲到的圖像獲得的條形圖像來 生成單個全景圖像。此時，在相對于多個被捕獲到的圖像在預定方向上使被捕獲到的圖像 上的區(qū)域移位的同時根據(jù)被捕獲到的圖像來生成多個條形圖像，以及通過對區(qū)域的每個位 置生成全景圖像來生成由多個全景圖像形成的圖像組，其中，顯示在用于獲得多個被捕獲 到的圖像的圖像捕獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
根據(jù)本發(fā)明的實施例，可以更有效地顯示對象的被捕獲到的圖像。


圖1是示出捕獲圖像的方法的圖；圖2是示出全景運動圖像的顯示示例的圖；圖3是示出根據(jù)本發(fā)明實施例的圖像捕獲裝置的示例性配置的4是示出信號處理單元的示例性配置的圖；圖5是示出再現(xiàn)運動圖像的處理的流程圖；圖6是示出被捕獲到的圖像的排列的圖；圖7是示出中心坐標的計算的圖；圖8是示出再現(xiàn)全景運動圖像的處理的流程圖；圖9是示出條形圖像的裁剪的圖；圖10是示出全景運動圖像的生成的圖；圖11是示出再現(xiàn)部分全景運動圖像的處理的流程圖；圖12是示出部分全景運動圖像的生成的圖；圖13是示出再現(xiàn)平移運動圖像的處理的流程圖；圖14是示出被捕獲到的圖像的補充的圖；圖15是示出平移運動圖像的生成的圖；圖16是示出再現(xiàn)對象跟蹤運動圖像的處理的流程圖；以及圖17是示出計算機的示例性配置的圖。
具體實施例方式在下文中，將參照附圖描述本發(fā)明的實施例。全景運動圖像的描述根據(jù)本發(fā)明實施例的圖像捕獲裝置例如是攝像設備等，并且根據(jù)由圖像捕獲裝置 在移動狀態(tài)中連續(xù)獲得的多個捕獲圖像來生成一個全景運動圖像。全景運動圖像是由多個全景圖像構成的圖像組，其中，比由圖像捕獲裝置的一次 圖像捕獲能夠對真實空間拍攝的圖像捕獲區(qū)域(視角)更大的區(qū)域被顯示為對象。因此， 在構成全景運動圖像的每個全景圖像被拍攝為與一幀相對應的圖像時全景運動圖像可被 定義為一個運動圖像，以及在構成全景運動圖像的每個全景圖像被拍攝為一個靜止圖像時 可以被定義為靜止圖像組。在下文中，為便于描述，在以下描述中，假定全景運動圖像是運 動圖像。當用戶想要使圖像捕獲裝置生成全景運動圖像時，用戶通過操作圖像捕獲裝置來 捕獲在全景運動圖像的生成中使用的圖像。8
例如，如圖1中所示，在圖中，在用于獲得捕獲圖像的圖像捕獲時，用戶在從圖的 右側到其左側的方向上圍繞旋轉中心Cll旋轉(平移)圖像捕獲裝置11的光學鏡頭的同 時連續(xù)向前捕獲對象的圖像。此時，用戶調整圖像捕獲裝置11的旋轉速度以使得保持靜止 的同一對象被包括在多個捕獲圖像中。如上所述，通過在移動圖像捕獲裝置11時捕獲圖像，可以獲得N個捕獲圖像P(I) 至 P (N)。此處，被捕獲到的圖像P(I)是N個被捕獲到的圖像中在圖像捕獲時間的次序上最 舊的圖像，也就是說，最先捕獲到的圖像。另外，被捕獲到的圖像P(N)是N個被捕獲到的圖 像中在圖像捕獲時間的次序上最新的圖像，也就是說，最后捕獲到的圖像。在下文中，把第 η個被捕獲到的圖像(此處，1 ^ η ^ N)稱作被捕獲到的圖像Ρ(η)。另外，每個被捕獲到的圖像可以是連續(xù)攝制的靜止圖像，并且可以是與攝制的運 動圖像的一幀相對應的圖像。此外，在圖1中，在把圖像捕獲裝置11本身旋轉90度的狀態(tài)下捕獲圖像，也就是 說，在側向轉動圖像捕獲裝置11的狀態(tài)下捕獲圖像，可以有利于在圖的豎直方向上獲得更 長的捕獲圖像。在此情形中，可以在側向轉動圖像捕獲裝置11的情況下執(zhí)行用于獲得捕獲 圖像的圖像捕獲。此時，被捕獲到的圖像在與圖像捕獲裝置11相同的方向上旋轉了 90度， 生成了全景運動圖像。以這種方式，當獲得了 N個被捕獲到的圖像時，圖像捕獲裝置11通過使用被捕獲 到的圖像來生成并顯示全景運動圖像。此處，全景運動圖像是以下運動圖像其中，在用于 獲得N個捕獲圖像的圖像捕獲時把作為圖像捕獲目標的圖像捕獲空間上的整個區(qū)域顯示 作為對象。當生成了全景運動圖像時，例如，圖像捕獲裝置11顯示圖2中所示的全景運動圖 像PMV。通過在顯示的全景運動圖像PMV上指定預定區(qū)域，用戶可以顯示與指定區(qū)域進一步 相關的新運動圖像。例如，當用戶指定了全景運動圖像PMV上的可選位置時，圖像捕獲裝置11顯示只 把全景運動圖像PMV上以指定位置為中心的區(qū)域BP設置成對象的部分全景運動圖像。也就 是說，顯示部分全景運動圖像的處理是以放大方式顯示全景運動圖像的部分區(qū)域的處理。進一步地，用戶可以顯示全景運動圖像PMV上的部分區(qū)域被平移和顯示的平移運 動圖像，還可以顯示僅預定移動對象區(qū)域被以放大方式連續(xù)顯示的對象跟蹤運動圖像。圖像捕獲裝置的配置圖3是示出根據(jù)本發(fā)明實施例的圖像捕獲設備11的示例性配置的圖。圖像捕獲裝置11包括操作輸入單元21、圖像捕獲單元22、圖像捕獲控制單元23、 信號處理單元24、總線25、緩沖存儲器沈、壓縮/擴大單元27、驅動觀、存儲介質四、顯示 控制部30以及顯示部31。操作輸入單元21被形成為按鈕等，并且由用戶操作以根據(jù)操作向處理單元M提 供信號。圖像捕獲單元22被形成光學鏡頭或成像元件、通過對來自對象的光執(zhí)行光電轉換 來捕獲圖像以及把捕獲到的圖像提供給圖像捕獲控制單元23。圖像捕獲控制單元23控制 由圖像捕獲單元22執(zhí)行的圖像捕獲，以及把從圖像捕獲單元22獲得的被捕獲到的圖像提 供給信號處理單元24。
信號處理單元M通過總線25連接到緩沖存儲器沈、驅動觀以及顯示控制部30， 并因此響應于從操作輸入單元21傳輸?shù)男盘杹砜刂茍D像捕獲裝置11的整體。例如，信號處理單元M經(jīng)由總線25把從圖像捕獲控制單元23傳輸?shù)谋徊东@到的 圖像提供給緩沖存儲器26，或者根據(jù)從緩沖存儲器沈獲得的被捕獲到的圖像來生成全景 運動圖像。進一步地，信號處理單元M根據(jù)從緩沖存儲器沈獲得的被捕獲到的圖像來生 成部分全景運動圖像、平移運動圖像、對象跟蹤運動圖像等。緩沖存儲器沈被形成為SDRAM(同步動態(tài)隨機訪問存儲器)等，并且暫時存儲數(shù) 據(jù)諸如通過總線25提供的被捕獲到的圖像等。壓縮/擴大單元27以預定格式對通過總線 25提供的圖像進行編碼或解碼。驅動觀把從總線25提供的全景運動圖像存儲在存儲介質四中，或者讀取出在存 儲介質四中存儲的全景運動圖像并把圖像輸出到總線25。存儲介質四被形成為可從圖像 捕獲設備11移除的非易失性存儲器，并且根據(jù)驅動觀的控制來存儲全景運動圖像。顯示控制部30把通過總線25傳輸?shù)娜斑\動圖像等提供給顯示部31，并對其進 行顯示。顯示部31被形成為例如IXD (液晶顯示器)等，并且根據(jù)顯示控制部30的控制來 顯示各種圖像，諸如全景運動圖像等。信號處理單元的配置進一步地，更具體地如圖4中所示配置圖3的信號處理單元24。也就是說，信號處理單元M包括運動估算部61、全景運動圖像生成部62、部分全 景運動圖像生成部63、平移運動圖像生成部64以及對象跟蹤運動圖像生成部65。運動估算部61使用通過總線25提供并且圖像捕獲時間不同的兩個被捕獲到的圖 像來執(zhí)行運動估算。運動估算部61具有坐標計算部71。坐標計算部71基于運動估算的結果來生成表示在預定平面上排列被捕獲到的圖 像以使得兩個被捕獲到的圖像上的相同對象彼此重疊時被捕獲到的圖像的相對位置關系 的信息。具體地，計算被捕獲到的圖像在預定平面上的2維xy坐標系統(tǒng)中的中心位置的坐 標(在下文中，稱作中心坐標)，作為表示被捕獲到的圖像的相對位置關系的信息。全景運動圖像生成部62使用通過總線25提供的被捕獲到的圖像以及中心坐標來 生成全景運動圖像。全景運動圖像生成部62具有條形圖像生成部72。條形圖像生成部72 通過基于被捕獲到的圖像和中心坐標在被捕獲到的圖像上裁剪出預定區(qū)域來生成條形圖 像。全景運動圖像生成部62通過拼合所生成的條形圖像來生成多個全景圖像并生成全景 運動圖像作為全景圖像組。此處，與一幀相對應的全景運動圖像，也就是說，一個全景圖像，是以下圖像其 中，在用于獲得被捕獲到的圖像的圖像捕獲時顯示作為圖像捕獲目標的圖像捕獲空間上的 整個范圍(整個區(qū)域)作為對象。部分全景運動圖像生成部63使用通過總線25提供的被捕獲到的圖像以及中心坐 標來生成部分全景運動圖像。部分全景運動圖像是只顯示全景運動圖像上的預定區(qū)域的圖 像，并且由多個部分全景圖像構成。進一步地，部分全景運動圖像生成部63具有部分條形圖像生成部73。部分條形圖 像生成部73通過基于被捕獲到的圖像和中心坐標在被捕獲到的圖像上裁剪出預定區(qū)域來 生成部分條形圖像。部分全景運動圖像生成部63通過拼合所生成的部分條形圖像來生成多個部分全景圖像并生成部分全景運動圖像作為部分全景圖像組。平移運動圖像生成部64使用通過總線25提供的被捕獲到的圖像以及中心坐標來 生成平移運動圖像。平移運動圖像是以下圖像在用于獲得被捕獲到的圖像的圖像捕獲時 把作為圖像捕獲目標的圖像捕獲空間上的部分區(qū)域顯示作為對象并且由多個平移圖像形 成。每個平移圖像包括圖像捕獲空間上相互不同的區(qū)域作為對象。進一步地，平移運動圖像生成部64具有補充部74和平移條形圖像生成部75。補 充部74在連續(xù)捕獲的圖像之間補充新的被捕獲到的圖像。平移條形圖像生成部75通過在 經(jīng)補充的被捕獲到的圖像上裁剪出預定區(qū)域來生成平移條形圖像。平移運動圖像生成部64 通過拼合所生成的平移條形圖像來生成多個平移條形圖像并且生成平移運動圖像作為平 移圖像組。對象跟蹤運動圖像生成部65使用通過總線25提供的被捕獲到的圖像以及中心坐 標來生成對象跟蹤運動圖像。對象跟蹤運動圖像生成部65具有規(guī)定部76。規(guī)定部76規(guī)定 全景運動圖像上的被指定的移動對象被包括在多個被捕獲到的圖像中。對象跟蹤運動圖像 生成部65通過從由規(guī)定部76指定的被捕獲到的圖像中裁剪出移動對象來生成對象跟蹤運 動圖像。再現(xiàn)運動圖像的處理的描述接下來，參照圖5的流程圖，將描述再現(xiàn)運動圖像的處理，該處理通過允許圖像捕 獲裝置11捕獲圖像并再現(xiàn)運動圖像來生成各種運動圖像，諸如全景運動圖像。當用戶對操 作輸入單元21進行操作并由此發(fā)出用以生成全景運動圖像的指令時再現(xiàn)運動圖像的處理 開始。在步驟Sll中，圖像捕獲單元22在圖像捕獲裝置11如圖1中所示移動的狀態(tài)下 捕獲對象的圖像。以這種方式，可以獲得一個被捕獲到的圖像(在下文中，稱作一幀)。通 過圖像捕獲控制單元23把由圖像捕獲單元22獲得的被捕獲到的圖像從圖像捕獲單元22 提供給信號處理單元M。在步驟S12中，信號處理單元M通過總線25把從圖像捕獲單元22提供的被捕獲 到的圖像提供給緩沖存儲器26并暫時存儲在緩沖存儲器沈中。此時，信號處理單元M為 被捕獲到的圖像分配幀號從而能夠指定存儲的是幾號被捕獲到的圖像。另外，在下文中，把 第η個被捕獲到的圖像P (η)稱作幀η的被捕獲到的圖像P (η)。在步驟S13中，運動估算部61通過總線25從緩沖存儲器沈獲取當前幀η和緊接 在前的幀(η-1)的被捕獲到的圖像，并通過運動估算來排列被捕獲到的圖像。例如，在緊接在前的步驟S12中，如果緩沖存儲器沈中存儲的被捕獲到的圖像是 第η個被捕獲到的圖像P (η)，則運動估算部61獲取當前幀η的被捕獲到的圖像P (η)以及 緊接在前的幀(η-1)的被捕獲到的圖像P(n-l)。隨后，運動估算部61如圖6中所示在緊接在前的幀的被捕獲到的圖像P(n-l)上 搜索與被捕獲到的圖像P (η)上的九個塊BL (η) -1至BR (η) -3相同的圖像所在的位置，從而 執(zhí)行排列。此處，塊BC (η) _1至BC (η) _3是在邊界CL_n上在圖的豎直方向上排列的矩形區(qū) 域，該邊界CL-n是在圖的豎直方向上并且基本上位于被捕獲到的圖像P(n)的中心處的假想直線。進一步地，塊BL(Ii)-I至BL(n)_3是在邊界LL-n上在圖的豎直方向上排列的矩形區(qū)域，該邊界LL-n是在豎直方向上并且在圖中位于被捕獲到的圖像P (η)的邊界CL_n左側 的假想直線。類似地，塊BR (η) -1至BR (η) -3是在邊界RL_n上在圖的豎直方向上排列的矩 形區(qū)域，該邊界RL-n是在豎直方向上并且在圖中位于被捕獲到的圖像P (η)的邊界CL_n右 側的假想直線。九個塊BL(n)-l至BR (η)-3的位置被預先設定。運動估算部61相對于被捕獲到的圖像Ρ(η)上的九個塊在被捕獲到的圖像P(η_1) 上搜索在面積上與塊的差別最小、形狀和尺寸與塊相同的區(qū)域(在下文中，稱作塊對應區(qū) 域)。此處，與每個塊的差別被定義為作為處理目標的塊(如，塊BL(n)-l)與作為塊對應 區(qū)域候選的區(qū)域之間在相同位置處像素的像素值絕對差的總和。當執(zhí)行了運動估算時，理想地對于被捕獲到的圖像P (η)上的塊BL (η) _ 1至 BR(η)-3中的每個塊，可以基于與塊的相對位置關系類似的位置關系來獲得位于被捕獲到 的圖像P(n-l)上的塊對應區(qū)域。與被捕獲到的圖像P(n)上的處理目標的每個塊相對應的被捕獲到的圖像P(n-l) 的每個塊對應區(qū)域是被捕獲到的圖像P(n-l)上與處理目標塊的差別最小的區(qū)域。所以，在 塊對應區(qū)域中，可以假定顯示與處理目標塊相同的圖像。因此，以疊加方式在預定平面上排列被捕獲到的圖像P(n)和被捕獲到的圖像 P(n-l)以使與塊BL(n)-l至BR(n)-3相對應的塊對應區(qū)域彼此重疊，隨后，被捕獲到的圖像 上的相同對象彼此重疊。事實上，有時在塊與塊對應區(qū)域之間可能未建立相同位置的關系。所以，更具體 地，運動估算部61在平面上排列被捕獲到的圖像P(n)和被捕獲到的圖像P(n-l)以使所有 塊和塊對應區(qū)域彼此基本上重疊，并把結果設置成被捕獲到的圖像的排列結果。另外，當被捕獲到的圖像上存在移動對象并且被捕獲到的圖像P(n)上的塊中包 括該對象時，在所獲得的九個塊對應區(qū)域與塊BL(n)-l至BR(n)-3之間不建立相同位置的 關系。當所獲得的塊對應區(qū)域的相對位置關系與被捕獲到的圖像P(Ii)上的塊的相對位 置關系不同時，運動估算部61移除被估算為包括移動對象的塊，以及基于運動估算再次執(zhí) 行排列。換言之，檢測在相對位置關系上與其它塊對應區(qū)域不同的塊對應區(qū)域，隨后，從處 理目標中移除與所檢測到的塊對應區(qū)域相對應的被捕獲到的圖像P(n)上的塊，從而只基 于剩余塊再次執(zhí)行運動估算。具體地，在圖6中的豎直和水平方向上以相等距離QL等距離地排列塊BL (η) _1至 BR(η)-3。例如，彼此相鄰的塊BL(n)-l與塊BL(n)-2之間的距離以及彼此相鄰的塊BL(n)-l 與塊BC(n)-l之間的距離等于距離QL。在此情形中，運動估算部61基于與塊相對應的塊對 應區(qū)域的相對位置關系檢測在被捕獲到的圖像P(n)上存在運動的塊。也就是說，運動估算部61計算在彼此相鄰的塊對應區(qū)域之間(如，在與塊BR(η)_3 對應的塊對應區(qū)域和與塊BC (η)-3對應的塊對應區(qū)域之間)的距離QM。作為結果，假定距離QM是在與塊BR(η) _2或塊BC (η) _3相對應的塊對應區(qū)域和與 塊BR(n)-3相對應的塊對應區(qū)域之間的距離，則距離QL與距離QM之間的絕對差等于或大 于預先確定的閾值。進一步地，假定距離QM是在與塊BR (η) _2或塊BC (η) _3相對應的塊對應區(qū)域和其 它相鄰塊對應區(qū)域(除了與塊BR(η)-3對應的塊對應區(qū)域之外)之間的距離，則距離QL與距離QM之間的絕對差小于預先確定的閾值。在此情形中，按與塊的相對位置關系相同的位置關系并排地排列與塊BR(n)_3不 同的其它塊的塊對應區(qū)域。然而，只有塊BR(n)-3的塊對應區(qū)域相對于其它塊對應區(qū)域滿 足與塊的位置關系不同的位置關系。當獲得了這種檢測結果時，運動估算部61估算出塊 BR (η) -3包括移動對象。另外，在檢測存在運動的塊時，不僅可以使用在彼此相鄰的塊對應區(qū)域之間的距 離還可以使用所關注的塊對應區(qū)域相對于其它相鄰塊對應區(qū)域的旋轉角度等。也就是說， 例如，可以存在朝向另一塊對應區(qū)域傾斜等于或大于預定角度的塊對應區(qū)域。在此情形中， 可以推斷與塊對應區(qū)域相對應的塊包括移動對象。如上所述，當檢測到存在運動的塊時，運動估算部61使用除了存在運動的塊之外 的剩余塊通過運動估算在被捕獲到的圖像P(N)與被捕獲到的圖像P(N-I)之間執(zhí)行排列。如上所述，只基于除了包括移動對象的塊之外的包括不移動對象的塊即只基于所 謂的背景執(zhí)行排列，因此可以更準確地執(zhí)行排列。當根據(jù)排列的結果排列被捕獲到的圖像 P(N)和被捕獲到的圖像P(N-I)時，以疊加方式排列被捕獲到的圖像以使得不移動對象彼 此重疊。當執(zhí)行了排列時，隨后坐標計算部71根據(jù)幀排列的結果來計算在預定平面(即xy 坐標系統(tǒng))上在排列迄今為止獲得的被捕獲到的圖像P(I)至P(N)時獲得的被捕獲到的圖 像P (N)的中心坐標。例如，如圖7中所示，被捕獲到的圖像P⑴的中心被設置到xy坐標系統(tǒng)的原點位 置。隨后，被捕獲到的圖像可以被排列為使得被捕獲到的圖像中包括的相同對象彼此重疊。 另外，在圖中，水平方向表示X方向，豎直方向表示y方向。進一步地，被捕獲到的圖像P(I) 至P(n)上的點0(1)至O(n)表示被捕獲到的圖像的中心位置。例如，如果處理目標的當前幀的被捕獲到的圖像是被捕獲到的圖像P(n)，則預先 計算并在緩沖存儲器26中存儲被捕獲到的圖像P(I)至P(n-l)的各中心點0(1)至0(η_1) 的中心坐標。坐標計算部71從緩沖存儲器沈中讀取出被捕獲到的圖像P(n-l)的中心坐標，并 根據(jù)所讀取出的中心坐標和被捕獲到的圖像P(n)和P(n-l)的排列結果來計算被捕獲到的 圖像P(n)的中心坐標。因此，計算出點O(n)的χ坐標和y坐標作為中心坐標?；氐綀D5的流程圖的描述，當在步驟S13中執(zhí)行了排列并且計算出被捕獲到的圖 像P(n)的中心坐標時，處理進入步驟S14。在步驟S14中，運動估算部61把所獲得的被捕獲到的圖像P(Ii)的中心坐標提供 給緩沖存儲器26，并與被捕獲到的圖像P(n)相關聯(lián)地存儲坐標。在步驟S15中，信號處理單元M判斷是否獲得了預定數(shù)量的被捕獲到的圖像。例 如，如圖1中所示，預定空間上區(qū)域的圖像可以被捕獲為N個部分。在此情形中，當獲得了 N個被捕獲到的圖像時，確定獲得了預定數(shù)量的被捕獲到的圖像。另外，圖像捕獲裝置11可以具有能夠檢測圖像捕獲裝置11的旋轉角度的器件，諸 如，陀螺儀傳感器。在此情形中，可以不判斷是否獲得了預定數(shù)量的被捕獲到的圖像而是可 以判斷圖像捕獲裝置11是否在用于獲得被捕獲到的圖像的圖像捕獲開始之后旋轉了預定 角度。即使在此情形中，也把預定空間上特定區(qū)域的整體設置成對象，因此可以規(guī)定是否執(zhí)行了用于獲得被捕獲到的圖像的圖像捕獲。在步驟S15中，如果判斷出尚未獲得預定數(shù)量的被捕獲到的圖像，則處理返回步 驟Sl 1，隨后獲得下一幀的被捕獲到的圖像。相反，在步驟S15中，如果判斷出獲得了預定數(shù)量的被捕獲到的圖像，則處理進入 步驟S16。在步驟S16中，圖像捕獲裝置11執(zhí)行再現(xiàn)全景運動圖像的處理。也就是說，信號 處理單元M從緩沖存儲器沈獲取被捕獲到的圖像和中心坐標，并基于被捕獲到的圖像和 中心坐標來生成全景運動圖像。進一步地，顯示控制部30再現(xiàn)所生成的全景運動圖像，以 及允許顯示部31顯示全景運動圖像。另外，后面詳細描述再現(xiàn)全景運動圖像的處理。當執(zhí)行了再現(xiàn)全景運動圖像的處理時，顯示部31顯示全景運動圖像。隨后，用戶 如果有必要則對操作輸入單元21進行操作，以及指定所顯示的全景運動圖像上的期望位 置，從而發(fā)出用以再現(xiàn)各種運動圖像的指令。當用戶執(zhí)行了操作時，把根據(jù)操作的信號從操 作輸入單元21提供給信號處理單元M。在步驟S17中，信號處理單元M基于來自操作輸入單元21的信號來判斷是否發(fā) 出了用以再現(xiàn)部分全景運動圖像的指令。如果在步驟S17中判斷出發(fā)出了用以再現(xiàn)部分全景運動圖像的指令，則圖像捕獲 裝置11在步驟S18中執(zhí)行再現(xiàn)部分全景運動圖像的處理，隨后再現(xiàn)運動圖像的處理結束。具體地，基于緩沖存儲器沈中存儲的中心坐標和被捕獲到的圖像，生成部分全景 運動圖像，從而再現(xiàn)所生成的部分全景運動圖像。另外，后面詳細描述再現(xiàn)部分全景運動圖 像的處理。相反，在步驟S17中，如果判斷出未發(fā)出用以再現(xiàn)部分全景運動圖像的指令，則處 理進入步驟S19。在步驟S19中，信號處理單元M基于來自操作輸入單元21的信號來判斷是否發(fā) 出了用以再現(xiàn)平移運動圖像的指令。如果在步驟S19中判斷出發(fā)出了用以再現(xiàn)平移運動圖像的指令，則圖像捕獲裝置 11在步驟S20中執(zhí)行再現(xiàn)平移運動圖像的處理，隨后再現(xiàn)運動圖像的處理結束。也就是說， 基于緩沖存儲器26中存儲的中心坐標和被捕獲到的圖像，生成平移運動圖像，從而再現(xiàn)所 生成的平移運動圖像。另外，后面詳細描述再現(xiàn)平移運動圖像的處理。相比而言，如果在步驟S19中判斷出未發(fā)出用以再現(xiàn)平移運動圖像的指令，則信 號處理單元M基于來自操作輸入單元21的信號來判斷是否在步驟S21中發(fā)出了用以再現(xiàn) 對象跟蹤運動圖像的指令。如果在步驟S21中判斷出發(fā)出了用以再現(xiàn)對象跟蹤運動圖像的指令，則圖像捕獲 裝置11在步驟S22中執(zhí)行再現(xiàn)對象跟蹤運動圖像的處理，隨后再現(xiàn)運動圖像的處理結束。 具體地，基于緩沖存儲器沈中存儲的中心坐標和被捕獲到的圖像，生成對象跟蹤運動圖 像，從而再現(xiàn)所生成的對象跟蹤運動圖像。另外，后面詳細描述再現(xiàn)對象跟蹤運動圖像的處理。進一步地，在步驟S21中，如果判斷出未發(fā)出用以再現(xiàn)對象跟蹤運動圖像的指令， 則終止所顯示的全景運動圖像的再現(xiàn)。隨后，再現(xiàn)運動圖像的處理結束。以這種方式，圖像捕獲裝置11通過使用在不同時間獲得的多個被捕獲到的圖像來生成和再現(xiàn)全景運動圖像。進一步地，在再現(xiàn)全景運動圖像的處理中，當用戶發(fā)出用以 再現(xiàn)部分全景運動圖像、平移運動圖像、或者對象跟蹤運動圖像的指令時，圖像捕獲裝置11 生成和再現(xiàn)經(jīng)受過指令的運動圖像。再現(xiàn)全景運動圖像的處理的描述接下來，參照圖8的流程圖來描述與圖5中步驟S16的處理相對應的再現(xiàn)全景運 動圖像的處理。在步驟S51中，條形圖像生成部72從緩沖存儲器沈獲取N個被捕獲到的圖像及 其中心坐標，以及通過基于所獲取的被捕獲到的圖像和中心坐標來裁剪出被捕獲到的圖像 的預定區(qū)域來生成條形圖像。例如，條形圖像生成部72如圖9中所示在被捕獲到的圖像P(Ii)上裁剪出基于邊 界CL-n設置的區(qū)域作為條形圖像T-n。另外，在圖9中，用相同的附圖標記和符號來表示與 圖6中的情形相對應的元件，將會略去其描述。在圖9中，被連續(xù)捕獲到的圖像Ρ(η)和Ρ(η+1)被排列為使得相同的對象基于中 心坐標彼此重疊。被捕獲到的圖像Ρ(η+1)上的邊界CL-(n+l)是與被捕獲到的圖像P(n) 上的邊界CL-n相對應的邊界。也就是說，邊界CL-n和CL-(n+1)是在圖的豎直方向上并且 位于被捕獲到的圖像P(n)和P(n+1)上相同位置處的假想直線。
進一步地，在圖中，作為豎直直線的邊界ML (C) -Π和MR (C) -η是靠近被捕獲到的圖 像P (η)上的邊界CL-n的直線，并且分別位于朝向邊界CL_n的左側和右側距邊界CL_n預 定距離處。類似地，在圖中，作為豎直直線的邊界ML(C) -η和ML(C) -(n+1)是靠近被捕獲到的 圖像P(n+1)上的邊界CL-(n+l)的直線，并且分別位于朝向邊界CL-(n+1)的左側和右側距 邊界CL-(n+1)預定距離處。例如，當從被捕獲到的圖像P(n)中裁剪出條形圖像T-n時，條形圖像生成部72在 被捕獲到的圖像P(n)上裁剪出從邊界ML(C)-η到邊界MR(C)-(n+1)的區(qū)域作為條形圖像 T-n。此處，在排列被捕獲到的圖像P(n)和P(n+1)時，邊界MR(C)-(n+1)在被捕獲到的圖 像P(n)上的位置是被捕獲到的圖像P(n)上的與邊界MR(C)-(n+l)重疊的位置。類似地，當從被捕獲到的圖像P(n-l)裁剪出條形圖像T-(n-l)時，在被捕獲到的 圖像P(n-l)上裁剪出從邊界ML(C)-(n-l)到邊界MR(C)-n的區(qū)域作為條形圖像T-(n-l)。因此，條形圖像T-n中從邊界ML(C)-η到邊界MR(C)-η的區(qū)域的對象與條形圖像 T-(n-l)中從邊界ML(C)-n到邊界MR(C)-n的區(qū)域的對象基本相同。然而，條形圖像T_n和 T-(n-l)分別是從被捕獲到的圖像P(n)和P(n-l)中裁剪出的圖像。因此，即使在對象相同 的情況下，其圖像捕獲時間也不相同。類似地，條形圖像T-n中從邊界ML(C)_(n+l)到邊界MR (C)-(n+1)的區(qū)域的對象 與條形圖像T-(n+l)中從邊界ML(C)-(n+1)到邊界MR(C)-(n+1)的區(qū)域的對象基本相同。如上所述，通過裁剪基于基本上在被捕獲到的圖像中心處的邊界設置的區(qū)域做出 每個條形圖像。隨后，當排列從被捕獲到的圖像中裁剪出的條形圖像時，顯示在用于獲得N 個被捕獲到的圖像的圖像捕獲時作為圖像捕獲目標(區(qū)域)的圖像捕獲空間上的整個區(qū) 域。因此，通過排列和拼合從被捕獲到的圖像獲得的條形圖像獲得的一個圖像被視為與構 成全景運動圖像的一個幀相對應的全景圖像。
在步驟S52中，全景運動圖像生成部62基于被捕獲到的圖像和條形圖像的中心坐 標排列和拼合幀的條形圖像，從而生成與全景運動圖像的一幀相對應的圖像數(shù)據(jù)，也就是 說，生成一個全景圖像。例如，在拼合條形圖像T-n和T-(n-l)時，對于條形圖像中從邊界ML (C) _n到邊界 MR(C)-n的區(qū)域，全景運動圖像生成部62通過加權相加來計算全景圖像像素的像素值。也就是說，當基于中心坐標來排列條形圖像T-n和T-(n-l)時，條形圖像中從邊界 ML(C)-n到邊界MR(C)-Ii的區(qū)域彼此重疊。全景運動圖像生成部62執(zhí)行條形圖像T_n和 T-(n-l)中彼此重疊像素的像素值的加權相加，以及把根據(jù)加權相加的結果獲得的值設置 成全景圖像的在像素對應位置處的像素的像素值。另外，在條形圖像T-n和T-(η-l)中，從邊界ML (C) _n到邊界MR(C) _n的區(qū)域的像 素的加權相加時的權重被設置如下。具體地，在位于從邊界CL-n到邊界MR(C)-Ii的范圍中的像素的情形中，隨著像素 的位置從邊界CL-n的位置更接近于邊界MR(C)-η的位置，條形圖像Τ_η的像素更有助于全 景圖像的生成。相反地，在位于從邊界CL-n到邊界ML(C)-Ii的范圍中的像素的情形中，隨 著像素的位置從邊界CL-n的位置更接近于邊界ML(C)-η的位置，條形圖像T-(η_1)的像素 更有助于全景圖像的生成。進一步地，在生成全景圖像時，條形圖像T-n從邊界MR(C) -η到邊界ML (C) - (η+1) 的區(qū)域直接設置成全景圖像。此外，在拼合條形圖像T-n和T-(η+1)時，對于條形圖像中從邊界ML (C) - (η+1)到 邊界MR(C)-(n+l)的區(qū)域，通過加權相加來獲得全景圖像像素的像素值。也就是說，在位于從邊界CL_(n+l)到邊界MR (C)-(η+1)的范圍中的像素的情 形中，隨著像素的位置從邊界CL-(n+l)的位置更接近邊界MR(C)-(n+l)的位置，條形圖 像T-(n+l)的像素更有助于全景圖像的生成。相反地，在位于從邊界CL-(n+l)到邊界 ML(C)-(η+1)的范圍中的像素的情形中，隨著像素的位置從邊界CL-(n+l)的位置更接近邊 界ML(C)-(n+l)的位置，條形圖像T-n的像素更有助于全景圖像的生成。如上所述，在拼合條形圖像的處理中，通過對連續(xù)幀的條形圖像邊緣附近的區(qū)域 執(zhí)行加權相加來設置全景圖像像素的像素值。從而，相比于通過簡單地排列條形圖像生成 一個圖像的情形而言可以獲得更自然的圖像。例如，當通過簡單地排列條形圖像來形成全景圖像時，存在如下關注點靠近條形 圖像邊緣的對象的輪廓畸變了 ；連續(xù)幀的條形圖像在亮度上不同；以及對于全景圖像的每 個區(qū)域出現(xiàn)亮度不均勻。結果是，在全景運動圖像生成部62中，根據(jù)加權相加來拼合靠近條形圖像邊緣的 區(qū)域，從而防止對象的輪廓發(fā)生畸變以及亮度不均勻。作為結果，可以獲得更自然的全景圖像。此外，在排列被捕獲到的圖像時，運動估算部61基于被捕獲到的圖像來檢測構成 圖像捕獲單元22的光學鏡頭的鏡頭畸變。隨后，在拼合條形圖像時，條形圖像生成部72可 以基于鏡頭畸變的檢測結果來校正條形圖像。也就是說，基于透鏡畸變的檢測結果，通過圖 像處理來校正條形圖像中出現(xiàn)的畸變。以這種方式獲得的一幀所對應的全景運動圖像是以下圖像在用于獲得N個被捕獲到的圖像的圖像捕獲時顯示作為圖像捕獲目標的圖像捕獲空間上圖像捕獲區(qū)域的整個 區(qū)域作為對象。全景運動圖像生成部62生成與一幀相對應的全景運動圖像，隨后通過總線 25把所生成的全景運動圖像的圖像數(shù)據(jù)提供給壓縮/擴大單元27。在步驟S53中，壓縮/擴大單元27以例如JPEG (聯(lián)合圖像專家組)格式對從全景 運動圖像生成部62提供的全景運動圖像的圖像數(shù)據(jù)進行編碼，以及通過總線25把經(jīng)編碼 的圖像數(shù)據(jù)提供給驅動觀。驅動觀把從壓縮/擴大單元27傳輸?shù)娜斑\動圖像的圖像數(shù)據(jù)提供給存儲介質 29以及存儲在存儲介質四中。在存儲圖像數(shù)據(jù)時，全景運動圖像生成部62為圖像數(shù)據(jù)分 配幀號。在步驟SM中，信號處理單元M判斷是否生成了與預定數(shù)量的幀相對應的全景運 動圖像的圖像數(shù)據(jù)。例如，可以假定根據(jù)M個幀的圖像數(shù)據(jù)來生成全景運動圖像。在此情 形中，當獲得了與M個幀相對應的圖像數(shù)據(jù)時，判斷出生成了與預定數(shù)量的幀相對應的全 景運動圖像。在步驟S54中，如果判斷出尚未生成與預定數(shù)量的幀相對應的全景運動圖像，則 處理返回步驟S51，生成全景運動圖像的下一幀的圖像數(shù)據(jù)。例如，當生成了全景運動圖像的第一幀的圖像數(shù)據(jù)時，如參照圖9所描述的，裁剪 出被捕獲到的圖像的從邊界ML(C)-Ii到邊界MR(C)-(n+l)的區(qū)域，以及把該區(qū)域設置成被 捕獲到的圖像P(n)的條形圖像T-n。隨后，當生成繼全景運動圖像的第二幀之后的圖像數(shù)據(jù)時，使從被捕獲到的圖像 P (η)裁剪出的條形圖像τ-η的裁剪位置從邊界CL-n到邊界CL_(n+l)每次在圖9的左方向 上移位寬度CW。也就是說，用條形圖像T(m)-n(其中，KmSM)表示全景運動圖像第m幀的條形 圖像T-n。在此情形中，把第m幀條形圖像T(m)-n的裁剪位置設置成以下位置從條形圖 像T(I)-η的裁剪位置在圖9中向左移位寬度CW的(m-1)倍的距離。因此，例如，把裁剪出第二幀的條形圖像T(》-n的區(qū)域設置成在被捕獲到的圖像 P(η)上形狀和尺寸與圖9中的條形圖像T-n相同的區(qū)域中的、右邊緣位于邊界MR(C)-n處 的區(qū)域。此處，根據(jù)在用于獲得被捕獲到的圖像的圖像捕獲時旋轉圖像捕獲裝置11的方 向來預先確定使條形圖像的裁剪出區(qū)域移位的方向。例如，在圖9的示例中，前提是旋轉圖 像捕獲裝置11以使得相對于預定幀的被捕獲到的圖像的中心位置，下一幀的被捕獲到的 圖像的中心位置位于圖的右側。結果是，在圖9的示例中，前提是在圖像捕獲時移動圖像捕 獲裝置11的方向是圖的右方向(χ方向)。原因是當根據(jù)圖像捕獲裝置11的移動在與移動被捕獲到的圖像的中心位置的 方向相反的方向上對每個幀使條形圖像的裁剪位置移位時，在構成全景運動圖像的全景圖 像上的相同位置處顯示相同的不移動對象。如上所述，在針對每個幀使條形圖像的裁剪位置移位時，生成全景運動圖像的幀 的圖像數(shù)據(jù)，從而可以獲得全景運動圖像，例如，如圖10中所示。另外，在圖10中，圖的水 平方向對應于圖9的水平方向。例如，圖10的水平方向對應于xy坐標系統(tǒng)上的X方向。在圖10的示例中，根據(jù)相應的N個被捕獲到的圖像P(I)至P(N)生成相應的條形17圖像T(I)-I至T(I)-N，隨后拼合條形圖像。從而，可以獲得全景圖像W(I)。類似地，根據(jù)相應的N個被捕獲到的圖像P(I)至P(N)來生成相應的條形圖像 T (2) -1至T (2) -N,隨后拼合條形圖像。從而，可以獲得全景圖像W (2)。此處，全景圖像W(I)和WQ)分別是構成全景運動圖像第一幀和第二幀的圖像。進 一步地，例如，把被捕獲到的圖像PO)上的條形圖像的裁剪出區(qū)域設置成與條形圖 像T(l)-2的裁剪出區(qū)域在圖的左方向上移位寬度CW的位置相對應的區(qū)域。寬度CW的尺 寸對于被捕獲到的圖像的每個幀改變。此外，例如，在條形圖像T(I)-I和Τ(2)-2上顯示不 同時間的相同對象。因此，不同時間的相同對象是全景圖像W(I)和W(2)。進一步地，通過拼合根據(jù)多 個不同幀的被捕獲到的圖像獲得的條形圖像來生成與一幀相對應的全景運動圖像。所以， 即使在一個全景圖像中，區(qū)域上顯示的對象的圖像捕獲時間也彼此不同。另外，更具體地，通過使用被捕獲到的圖像P(I)和P(N)來生成每個全景圖像的邊 緣部分。例如，圖中全景圖像W(I)的左邊緣部分被設置成與從被捕獲到的圖像P(I)的左 邊緣到條形圖像T(I)-I的右邊緣的范圍中的部分相對應的圖像?；氐綀D8的流程圖的描述，在步驟SM中，如果判斷出生成了與預定數(shù)量的幀相對 應的全景運動圖像，則信號處理單元M通過驅動觀從存儲介質四讀取出構成全景運動圖 像的幀的全景圖像。隨后，信號處理單元M把讀取出的全景圖像提供給壓縮/擴大單元 27，以及指示對其的解碼，處理進入步驟S55。在步驟S55中，壓縮/擴大單元27對從信號處理單元M提供的全景運動圖像的 圖像數(shù)據(jù)(即JPEG格式的全景圖像)進行解碼，以及把解碼后的圖像數(shù)據(jù)提供給信號處理 單元24。在步驟S56中，信號處理單元M對從壓縮/擴大單元27提供的全景運動圖像執(zhí) 行突出顯示處理。也就是說，對于構成全景運動圖像的全景圖像，信號處理單元M計算連續(xù)幀的全 景圖像之間的差別，以及從全景圖像中檢測顯示移動對象的區(qū)域。此處，通過對全景圖像的 每個區(qū)域計算全景圖像像素的像素值之間的差別來獲得幀之間的差別。隨后，信號處理單元M處理全景圖像以使得在全景圖像上檢測到移動對象的區(qū) 域被以與其它區(qū)域不同的顯示格式顯示并突出顯示。例如，全景圖像被處理以使得在再現(xiàn) 全景運動圖像時通過諸如紅色的特定顏色來顯示或者通過紅色框包圍移動對象的部分。如上所述，通過對全景運動圖像執(zhí)行突出顯示處理，用戶能夠在再現(xiàn)全景運動圖 像時容易地分辨移動部分。在步驟S57中，信號處理單元M把構成經(jīng)受了突出顯示處理的全景運動圖像的幀 的每個全景圖像的尺寸縮小到預定尺寸。例如，執(zhí)行縮小處理以達到能夠在顯示部31的顯 示屏幕上顯示整個全景圖像的尺寸。當縮小全景運動圖像的尺寸時，信號處理單元M把縮小后的全景運動圖像提供 給顯示控制部30。另外，還可以把縮小后的全景運動圖像提供給存儲介質四以及存儲在存 儲介質W中。在步驟S58中，顯示控制部30把全景運動圖像從信號處理單元M提供給顯示部 31，以及顯示全景運動圖像。結果是，顯示控制部30執(zhí)行控制以按分配給全景圖像的幀號的次序按預定時間間隔來顯示構建全景運動圖像的全景圖像。從而，顯示部31按預定時間間隔依次顯示全景運動圖像的幀。也就是說，顯示在 用于獲得N個被捕獲到的圖像的圖像捕獲時把作為圖像捕獲目標的圖像捕獲空間的區(qū)域 的整體設置成對象的運動圖像。構成以此方式顯示的全景運動圖像的幀的每個全景圖像本 身是靜止圖像，但是相同空間上的區(qū)域被設置成對象，因此全景運動圖像的每個區(qū)域上顯 示的每個對象具有移動。當顯示了全景運動圖像時，再現(xiàn)全景運動圖像的處理結束，此后， 處理進入圖5的步驟S17。如上所述，圖像捕獲裝置11根據(jù)圖像捕獲時間不同的多個被捕獲到的圖像來生 成多個條形圖像，同時使裁剪出的區(qū)域移位。隨后，圖像捕獲裝置11拼合每個裁剪位置的 條形圖像，從而生成構成全景運動圖像的幀的全景圖像。通過使用以此方式生成的全景運動圖像，使得被捕獲了圖像的對象具有移動，從 而可以顯示其移動。因此，可以更有效地顯示對象的被捕獲到的圖像。此外，一個全景圖像 上區(qū)域的對象分別屬于不同的時間，因此可以提供更有趣的圖像。也就是說，可以更有效地 顯示被捕獲了圖像的對象。另外，在以上描述中，獲得N個被捕獲到的圖像，在把被捕獲到的圖像存儲在緩沖 存儲器26中之后，就通過使用被捕獲到的圖像，生成全景運動圖像。然而，在執(zhí)行用于獲得 被捕獲到的圖像的圖像捕獲時，可以同時生成全景運動圖像。此外，在以上描述中，在生成全景運動圖像之后，就縮小全景運動圖像的尺寸。然 而，可以根據(jù)被捕獲到的圖像直接生成縮小的全景運動圖像。在此情形中，可以進一步減少 直到再現(xiàn)全景運動圖像為止執(zhí)行的處理的負荷，因此可以更迅速地顯示全景運動圖像。此 外，通過在諸如個人計算機的裝置中提供用以根據(jù)被捕獲到的圖像來生成全景運動圖像的 功能，可以根據(jù)由攝像設備獲得的被捕獲到的圖像來生成全景運動圖像。
再現(xiàn)部分全景運動圖像的處理的描述接下來，參照圖11的流程圖，描述與圖5的步驟S18的處理相對應的再現(xiàn)部分全 景運動圖像的處理。當用戶在全景運動圖像上指定預定位置并發(fā)出用以再現(xiàn)部分全景運動 圖像的指令時，再現(xiàn)部分全景運動圖像的處理開始。在步驟S81中，部分全景運動圖像生成部63基于從操作輸入單元21傳輸?shù)男盘?在緩沖存儲器26中存儲的被捕獲到的圖像之中規(guī)定作為處理目標的被捕獲到的圖像。也就是說，部分全景運動圖像生成部63在全景圖像上設置以用戶指定的位置為 中心并且具有預定尺寸的區(qū)域。例如，設置圖2的區(qū)域BP。另外，可以通過用戶指定的放大 顯示的尺度因子來設置區(qū)域BP的尺寸。隨后，部分全景運動圖像生成部63規(guī)定以下幀η 其中，被捕獲到的圖像P (η)的 邊界ML (C) -η在xy坐標系統(tǒng)上的χ坐標位于與圖2中設定區(qū)域BP的左邊緣的位置相對應 的xy坐標系統(tǒng)上的位置處。此外，部分全景運動圖像生成部63規(guī)定設置了區(qū)域BP的χ方 向長度和位置的幀(η+α)和幀η。隨后，部分全景運動圖像生成部63把從幀η到幀(η+α )的被捕獲到的圖像設置 成作為處理目標的被捕獲到的圖像。被捕獲到的圖像是生成顯示全景圖像上的區(qū)域BP的 運動圖像所需的被捕獲到的圖像。另外，通過把上面顯示了區(qū)域BP內的對象的所有被捕獲 到的圖像設置成處理目標，根據(jù)處理目標的被捕獲到的圖像來生成部分全景運動圖像。19
在步驟S82中，部分條形圖像生成部73通過基于在緩沖存儲器沈中存儲的被設 置為處理目標的被捕獲到的圖像、以及被捕獲到的圖像的中心坐標裁剪出被捕獲到的圖像 的預定區(qū)域來生成部分條形圖像。例如，從幀η的被捕獲到的圖像P(n)中裁剪出圖9的條形圖像T_n的部分區(qū)域作 為在生成第一幀的部分全景圖像中使用的部分條形圖像。具體地，部分條形圖像在圖9的 水平方向上的寬度與條形圖像Τ-η的寬度相同。另外，在豎直方向上，部分條形圖像的各邊 緣之間的距離，也就是說，圖中條形圖像Τ-η的上邊緣與下邊緣之間的距離，取決于xy坐標 系統(tǒng)上的區(qū)域BP的尺寸和位置。在步驟S83中，部分全景運動圖像生成部63基于被捕獲到的圖像和部分條形圖像 的中心坐標來排列和拼合部分條形圖像，從而生成與部分全景運動圖像的一幀相對應的圖 像數(shù)據(jù)，也就是說，生成部分全景圖像。在拼合部分條形圖像時，與條形圖像的圖像拼合類似，使部分條形圖像的邊緣部 分被加權相加，從而計算部分全景圖像像素的像素值。另外，在生成與一幀相對應的部分全 景圖像中，不使用處理目標的所有幀的被捕獲到的圖像，而只使用取決于部分全景圖像尺 寸的預定數(shù)量連續(xù)幀的被捕獲到的圖像。在步驟S84中，部分全景運動圖像生成部63判斷是否生成了與預定數(shù)量的幀相對 應的部分全景運動圖像的圖像數(shù)據(jù)。在步驟S84中，如果判斷出尚未生成與預定數(shù)量的幀 相對應的部分全景運動圖像，則處理返回步驟S82，生成部分全景運動圖像下一幀的圖像數(shù) 據(jù)。當生成了繼部分全景運動圖像的第二幀之后的圖像數(shù)據(jù)時，與全景運動圖像的情 形類似，使從被捕獲到的圖像中裁剪出的部分條形圖像的裁剪位置移位。另外，使部分條 形圖像的裁剪位置移位的方向及其寬度與使條形圖像的裁剪位置移位的方向及寬度CW相 同。如上所述，在針對每個幀使部分條形圖像的裁剪位置移位時，生成部分全景運動 圖像的幀的圖像數(shù)據(jù)，從而可以獲得部分全景運動圖像，例如，如圖12中所示。另外，在圖12中，與圖2中的情形相對應的元件用相同的附圖標記和符號表示，將 會略去其描述。另夕卜，在圖12中，圖的水平方向對應于圖9的水平方向。例如，圖12的水 平方向對應于xy坐標系統(tǒng)上的X方向。在圖12的示例中，根據(jù)三個被捕獲到的圖像P(η)至Ρ(η+2)來生成部分條形圖像 PT(I)-I至PT(I)-3，隨后拼合部分條形圖像。由此，可以獲得部分全景圖像PW(I)。類似地，根據(jù)三個被捕獲到的圖像Ρ(η+1)至Ρ(η+3)來生成部分條形圖像PTO)_1 至PTO)-3，隨后拼合部分條形圖像。由此，可以獲得部分全景圖像PWQ)。進一步地，根據(jù) 三個被捕獲到的圖像P(η+2)至Ρ(η+4)來生成部分條形圖像PT(3)-1至PT(3)-3，隨后拼合 部分條形圖像。由此，可以獲得部分全景圖像PW(3)。此處，部分全景圖像PW(I)和PW (3)分別是構成部分全景運動圖像第一至第三幀 的圖像。進一步地，例如，被捕獲到的圖像Ρ(η+1)上的部分條形圖像ΡΤ(2)-1的裁剪出區(qū) 域被設置成與部分條形圖像ΡΤ(1)-2的裁剪出區(qū)域在圖的左方向上移位寬度CW的位置相 對應的區(qū)域。此外，例如，在部分條形圖像PT(I)-I至ΡΤ(3)_1上分別顯示不同時間的相同對象。在以這種方式獲得的部分全景圖像PW⑴至PW(3)中，全景運動圖像PMV上的區(qū) 域BP中包括的對象，也就是說，上面顯示圖像捕獲空間上的相同區(qū)域的部分全景圖像上的 對象，在圖像捕獲時間方面不同?；氐綀D11的流程圖的描述，在步驟S84中，如果判斷出生成了與預定數(shù)量的幀相 對應的部分全景運動圖像，則部分全景運動圖像生成部63把所生成的部分全景運動圖像 提供給顯示控制部30。此后，處理進入步驟S85。
在步驟S85中，顯示控制部30把部分全景運動圖像從部分全景運動圖像生成部63 提供給顯示部31，并且顯示部分全景運動圖像。因此，顯示控制部30執(zhí)行控制以按預定時 間間隔依次顯示構成部分全景運動圖像的部分全景圖像。由此，顯示部31顯示全景運動圖像上的由用戶指定的區(qū)域的運動圖像。也就是 說，顯示部31顯示在用于獲得被捕獲到的圖像的圖像捕獲時把作為圖像捕獲目標的圖像 捕獲空間的具體區(qū)域設置成對象的運動圖像。因此，通過顯示部分全景圖像以放大方式顯 示全景運動圖像上的關注區(qū)域，用戶能夠更清楚地觀測該區(qū)域。當再現(xiàn)了部分全景運動圖 像時，再現(xiàn)部分全景運動圖像的處理結束。隨后，圖5的再現(xiàn)運動圖像的處理也結束。如上所述，圖像捕獲裝置11在使裁剪出的區(qū)域移位的同時根據(jù)被捕獲到的圖像 拼合多個部分條形圖像，由此生成構成部分全景運動圖像的幀的部分全景圖像。通過使用以此方式生成的部分全景運動圖像，使得被捕獲了圖像的對象具有移 動，從而可以顯示其移動。因此，可以更有效地顯示對象的被捕獲到的圖像。另外，在以上描述中，根據(jù)被捕獲到的圖像來生成部分全景運動圖像。然而，可以 通過從未縮小尺寸的所生成的全景運動圖像的幀的全景圖像中裁剪區(qū)域BP的圖像來根據(jù) 幀的部分全景圖像生成部分全景運動圖像。再現(xiàn)平移運動圖像的處理的描述接下來，參照圖13的流程圖，描述與圖5的步驟S20的處理相對應的再現(xiàn)平移運 動圖像的處理。當用戶在全景運動圖像上指定預定位置以及發(fā)出再現(xiàn)平移運動圖像的指令 時再現(xiàn)平移運動圖像的處理開始。在步驟Sl 11中，平移運動圖像生成部64基于從操作輸入單元21傳輸?shù)男盘栐诰?沖存儲器26中存儲的被捕獲到的圖像之中規(guī)定作為處理目標的被捕獲到的圖像。具體地，平移運動圖像生成部64在全景圖像上設置以用戶指定的位置為中心并 且具有預定尺寸的區(qū)域。隨后，平移運動圖像生成部64規(guī)定如下幀η 其中，xy坐標系統(tǒng)上 的區(qū)域的一個邊緣在χ方向上的位置(χ坐標)位于邊界ML(C)-η處。此處，區(qū)域的一個邊 緣被定義為在全景圖像上的與移動圖像捕獲裝置11的方向相反的方向上的邊緣，例如，圖 2的左側邊緣。平移運動圖像生成部64把從幀η到所規(guī)定的幀(η+β)的被捕獲到的圖像 設置成處理目標。例如，β取決于作為一個平移圖像顯示的全景圖像上的區(qū)域的尺寸。在步驟S112中，補充部74從緩沖存儲器沈中讀取出被設置成處理目標的幀的被 捕獲到的圖像，并且對讀取出的被捕獲到的圖像進行補充。結果是，在連續(xù)幀之間補充預定 數(shù)量的被捕獲到的圖像。例如，如圖14中所示，在被捕獲到的圖像Ρ(η)和Ρ(η+1)之間，通過補充來插入 新的R個被捕獲到的圖像Pn(I)至Pn㈨。在圖14中，基于中心坐標在xy坐標系統(tǒng)上排列被捕獲到的圖像P(n)和P(n+1)。進一步地，在圖14的示例中，被捕獲到的圖像P(n)和 P(n+1)的中心坐標的y坐標被設置為相同。此時，把從被捕獲到的圖像P(n)的中心到被捕獲到的圖像P(n+1)的中心的距離 表示成Δ0(η)。進一步地，補充的被捕獲到的圖像之中作為自幀η起第r(此處，1≤r≤R) 個幀的幀的被捕獲到的圖像被表示成被捕獲到的圖像Pn (r)。在此情形中，把圖中從距被捕 獲到的圖像P(n)的左邊緣(A0(n)Xr)/(R+l)的位置到被捕獲到的圖像P(η)右邊緣的被 捕獲到的圖像P (η)的區(qū)域直接設置成被捕獲到的圖像Pn (r)。也就是說，把圖中從被捕獲到的圖像P(n)的左邊緣到被捕獲到的圖像P(n+1)的 左邊緣的位置等分成(R+1)。隨后，把從等分后的各位置到被捕獲到的圖像P(n)的右邊緣 的位置的被捕獲到的圖像P(n)的區(qū)域直接設置成被捕獲到的圖像Pn(I)至Pn(R)。進一步地，即使在xy坐標系統(tǒng)上，也把被捕獲到的圖像Pn (r)設置為使得與被設 置成被捕獲到的圖像Pn(r)的被捕獲到的圖像P(Ii)的區(qū)域重疊。另外，通過把被捕獲到的 圖像P(n)的中心坐標的χ坐標加(A0(n)Xr)/(R+l)來設置被捕獲到的圖像Pn(r)的中 心坐標。如上所述，通過補充被捕獲到的圖像，可以實際上增加平移運動圖像的幀速率。由 此，可以在平移運動圖像上更平滑地移動對象，因此還可以改進平移運動圖像質量。回到圖13的流程圖的描述，當補充了處理對象的被捕獲到的圖像時，平移運動圖 像生成部64分別為補充后的被捕獲到的圖像重新分配幀號。在步驟S113中，平移條形圖像生成部75通過基于補充后的處理目標的被捕獲到 的圖像以及被捕獲到的圖像的中心坐標裁剪出被捕獲到的圖像的預定區(qū)域，來生成平移條 形圖像。例如，從幀η的被捕獲到的圖像P(n)中裁剪出圖9的條形圖像T_n的部分區(qū)域作 為在生成平移運動圖像的第一幀中使用的平移條形圖像。具體地，圖9的水平方向上設置 成平移條形圖像的區(qū)域的寬度與條形圖像Τ-η的寬度相同。另外，在豎直方向上平移條形 圖像各邊緣之間的距離，也就是說，圖9中條形圖像Τ-η的上邊緣與下邊緣之間的距離，取 決于全景圖像上的旨在被顯示成平移運動圖像的區(qū)域的尺寸和位置。在步驟S114中，平移運動圖像生成部64基于被捕獲到的圖像和平移條形圖像的 中心坐標來排列和拼合平移條形圖像，從而生成與平移運動圖像的一幀相對應的圖像數(shù) 據(jù)，也就是說，生成一個平移圖像。在拼合平移條形圖像時，與條形圖像的圖像拼合類似，使平移條形圖像的邊緣部 分被加權相加，由此計算平移圖像的像素的像素值。在步驟S115中，平移運動圖像生成部64判斷是否生成了與預定數(shù)量的幀相對應 的平移運動圖像的圖像數(shù)據(jù)。在步驟S115中，如果判斷出尚未生成與預定數(shù)量的幀相對應 的平移運動圖像，則處理返回步驟S113，生成平移運動圖像的下一幀的圖像數(shù)據(jù)。當生成了繼平移運動圖像的第二幀之后的圖像數(shù)據(jù)時，與全景運動圖像的情形類 似，使從被捕獲到的圖像中裁剪出的平移條形圖像的裁剪位置移位。另外，使平移條形圖像 的裁剪位置移位的方向及其寬度與使條形圖像的裁剪位置移位的方向及寬度CW相同。然 而，使平移條形圖像的裁剪位置移位的方向被設置成與使條形圖像的裁剪位置移位的方向 相反的方向。
如上所述，在針對每個幀使平移條形圖像的裁剪位置移位的同時，生成平移運動 圖像的幀的圖像數(shù)據(jù)，由此可以獲得平移運動圖像，例如，如圖15中所示。另外，在圖15中，圖的水平方向對應于圖9的水平方向。例如，圖15的水平方向 對應于xy坐標系統(tǒng)上的χ方向。在圖15的示例中，根據(jù)三個被捕獲到的圖像P(I)至PC3)來生成平移條形圖像 DT (1)-1至DT (1) -3，隨后拼合平移條形圖像。由此，可以獲得平移圖像PD (1)。類似地，根據(jù)三個被捕獲到的圖像P(I)至PC3)來生成平移條形圖像DT 0)-1至 DTO)-3，隨后拼合平移條形圖像。由此，可以獲得平移圖像PW2)。此外，根據(jù)三個被捕獲 到的圖像P(I)至PC3)來生成平移條形圖像DT(3)-1至DT(3)-3，隨后拼合平移條形圖像。 由此，可以獲得平移圖像PD(3)。此處，平移圖像PD(I)和PDQ)分別是構建平移運動圖像的第一至第三幀的圖像。 此外，例如，把被捕獲到的圖像P(I)上的平移條形圖像DW2)-1的裁剪出區(qū)域設置成與平 移條形圖像DT(I)-I的裁剪出區(qū)域在圖的右方向上移位寬度CW的位置相對應的區(qū)域。此外，例如，在平移條形圖像DT(I)-I和DT(3)_1上分別顯示不同時間的相同對象。在以這種方式獲得的平移圖像PD⑴至PD(3)中，在用于獲得N個被捕獲到的圖 像的圖像捕獲時顯示作為圖像捕獲目標的圖像捕獲空間上特定范圍中區(qū)域的一部分。進一 步地，使被顯示成每個平移圖像中的對象的圖像捕獲空間上的區(qū)域的位置在平移運動圖像 的每個幀的圖像捕獲時間轉動圖像捕獲裝置11的方向上偏移?；氐綀D13的流程圖的描述，在步驟S115中，如果判斷出生成了與預定數(shù)量的幀相 對應的平移運動圖像，則平移運動圖像生成部64把所生成的平移運動圖像提供給顯示控 制部30。此后，處理進入步驟Sl 16。
在步驟Sl 16中，顯示控制部30把平移運動圖像從平移運動圖像生成部64提供給 顯示部31，以及顯示平移運動圖像。因此，顯示控制部30執(zhí)行控制以按預定時間間隔依次 顯示構成平移運動圖像的平移圖像。由此，顯示部31顯示全景運動圖像上的預定范圍中的區(qū)域，同時該區(qū)域在特定方 向(圖像捕獲裝置11移動的方向)上相對于用戶指定的區(qū)域平移。也就是說，在用于獲得 被捕獲到的圖像的圖像捕獲時被設置成圖像捕獲目標的圖像捕獲空間上的預定范圍中的 區(qū)域被依次顯示，同時在從預定范圍中每個區(qū)域的一個邊緣向另一邊緣滾動，從而再現(xiàn)運 動圖像。當再現(xiàn)了平移運動圖像時，再現(xiàn)平移運動圖像的處理結束。隨后，圖5的再現(xiàn)運動 圖像的處理也結束。如上所述，圖像捕獲裝置11在使裁剪出區(qū)域移位的同時根據(jù)被捕獲到的圖像來 拼合多個平移條形圖像，從而生成構成平移運動圖像的幀的平移圖像。通過使用以此方式 生成的平移運動圖像，使得被捕獲了圖像的對象具有移動，從而可以顯示其移動。因此，可 以更有效地顯示對象的被捕獲到的圖像。此外，在平移時顯示被設置成對象的區(qū)域，因此可 以提供更有趣的圖像。再現(xiàn)對象跟蹤運動圖像的處理的描述接下來，參照圖16的流程圖，描述與圖5的步驟S22的處理相對應的再現(xiàn)對象跟 蹤運動圖像的處理。當用戶在全景運動圖像上指定移動對象并且發(fā)出再現(xiàn)對象跟蹤運動圖23像的指令時再現(xiàn)對象跟蹤運動圖像的處理開始。在步驟S141中，對象跟蹤運動圖像生成部65的規(guī)定部76基于從操作輸入單元21 傳輸?shù)男盘栐诰彌_存儲器26中存儲的被捕獲到的圖像之中規(guī)定作為處理目標的被捕獲到 的圖像。例如，通過使用顯示的全景運動圖像，規(guī)定部76把緩沖存儲器沈中存儲的被捕獲 到的圖像之中包括由用戶指定的對象的被捕獲到的圖像設置成處理目標。被設置成處理目 標的被捕獲到的圖像是多個連續(xù)幀的被捕獲到的圖像。例如，通過計算被捕獲到的圖像的 每個區(qū)域與包括全景運動圖像上指定對象的區(qū)域之間的差別來執(zhí)行對包括指定對象的被 捕獲到的圖像的檢測。在步驟S142中，對象跟蹤運動圖像生成部65選擇被設置成處理目標的被捕獲到 的圖像中的一個被捕獲到的圖像。具體地，從尚未選擇的處理目標的被捕獲到的圖像中選 擇幀號最舊的被捕獲到的圖像。在步驟S143中，對象跟蹤運動圖像生成部65從所選擇的被捕獲到的圖像中裁剪 出包括由用戶指定的對象的區(qū)域，以及把裁剪出區(qū)域設置成裁剪出的圖像。例如，通過把指定對象的中心置于被捕獲到的圖像的中心處，把環(huán)繞整個對象的 區(qū)域的圖像設置成裁剪出圖像。因此，裁剪出圖像必定包括指定對象，因此把對象的中心置 于裁剪出圖像的中心處。如上所述，通過裁剪出以對象的中心位置為中心的區(qū)域作為裁剪 出圖像，通?？梢栽谠佻F(xiàn)對象跟蹤運動圖像時基本上在屏幕的中心處顯示對象。在步驟S144中，對象跟蹤運動圖像生成部65如果有必要則對所生成的裁剪出圖 像執(zhí)行放大/縮小處理，以及把裁剪出圖像設置成具有預定尺寸的圖像。因此，裁剪出圖像 被放大或縮小以使得整個裁剪出圖像具有預定尺寸。原因是根據(jù)被捕獲到的圖像生成的裁剪出圖像的尺寸通常并不相同，這是因為 圖像捕獲裝置11與圖像捕獲空間上的指定對象之間的距離隨被捕獲到的圖像的幀而改變。在步驟S145中，對象跟蹤運動圖像生成部65判斷是否處理了處理目標的所有被 捕獲到的圖像，也就是說，是否根據(jù)所有被捕獲到的圖像生成了裁剪出圖像。在步驟S145中，如果判斷出尚未處理所有被捕獲到的圖像，則處理返回步驟 S142，重復上述處理。也就是說，選擇下一個被捕獲到的圖像，因此根據(jù)被捕獲到的圖像來 生成裁剪出圖像。相反，在步驟S145中，如果判斷出處理了所有被捕獲到的圖像，則對象跟蹤運動 圖像生成部65把根據(jù)獲得的裁剪出圖像生成的圖像組作為對象跟蹤運動圖像提供給顯示 控制部30。當為顯示控制部30被提供了對象跟蹤運動圖像時，然后處理進入步驟S146。在步驟S146中，顯示控制部30把對象跟蹤運動圖像從對象跟蹤運動圖像生成部 65提供給顯示部31，以及顯示對象跟蹤運動圖像。也就是說，顯示控制部30執(zhí)行控制以按 預定時間間隔依次顯示構成對象跟蹤運動圖像的裁剪出圖像。由此，顯示部31以放大方式顯示全景運動圖像上的預定移動對象。由于對象跟蹤 運動圖像是大部分在屏幕的中心顯示的運動圖像，所以通過顯示對象跟蹤運動圖像以放大 方式顯示全景運動圖像上的關注對象，用戶能夠更清楚地觀測該對象。當再現(xiàn)了對象跟蹤運動圖像時，再現(xiàn)對象跟蹤運動圖像的處理結束。隨后，圖5的24再現(xiàn)運動圖像的處理也結束。如上所述，圖像捕獲裝置11通過從被捕獲到的圖像中裁剪出對象的區(qū)域來生成 構成對象跟蹤運動圖像的幀的裁剪出圖像。通過使用以這種方式生成的對象跟蹤運動圖 像，可以通過放大全景運動圖像上的關注對象的方式更清楚地觀測該對象。上述一系列處理可以通過硬件執(zhí)行、以及可以通過軟件執(zhí)行。當通過軟件執(zhí)行一 系列處理時，從內置有專用硬件的計算機(例如，能夠通過安裝各種程序執(zhí)行各種功能的 通用個人計算機等)上的程序存儲介質安裝構成軟件的程序。圖17是示出用于使程序執(zhí)行上述一系列處理的計算機硬件的示例性配置的框 圖。在計算機中，CPU (中央處理單元)301、R0M(只讀存儲器)302以及RAM(隨機訪問 存儲器)303通過總線304彼此相連。總線304進一步與輸入/輸出接口 305相連。輸入/輸出接口 305與如下內容相 連由鍵盤、鼠標、麥克風等形成的輸入單元306 ；由顯示器、揚聲器等形成的輸出單元307 ； 由硬盤、非易失性存儲器等形成的存儲單元308 ；由網(wǎng)絡接口等形成的通信單元309 ；以及 驅動可移除介質311(諸如磁盤、光盤、磁光盤以及半導體存儲器等)的驅動310。在如上所述配置的計算機中，CPU 301通過輸入/輸出接口 305和總線304把存 儲單元308中存儲的程序加載在RAM 303上，從而執(zhí)行上述一系列處理。由計算機(CPU 301)執(zhí)行的程序被存儲在可移除介質311中，可移除介質311是 由例如磁盤(包括軟盤)、光盤(⑶_R0M(壓縮盤-只讀存儲器))、DVD (數(shù)字多功能盤等)、 磁光盤、半導體存儲器等形成的封裝介質?；蛘?，通過有線或無線傳輸介質(諸如局域網(wǎng)、 互聯(lián)網(wǎng)、數(shù)字衛(wèi)星廣播等)來提供程序。另外，可以通過把可移除介質311裝配在驅動310中通過輸入/輸出接口 305把 程序安裝在存儲單元308中。此外，可以通過允許通信單元309通過有線或無線傳輸介質 接收程序來把程序安裝在存儲單元308中。否則，可以預先把程序存儲在ROM 302或存儲 單元308中。另外，由計算機執(zhí)行的程序可以是按上述描述的次序按時間順序執(zhí)行處理的程 序，以及可以是并行地或者根據(jù)需要在被調用時等執(zhí)行處理的程序。本申請包含的主題與2009年10月9日提交日本專利局的日本優(yōu)先權專利申請JP 2009-235401中公開的主題相關，其全部內容經(jīng)引用而結合于此。本領域技術人員應該理解，根據(jù)設計需要和其它因素，可以進行各種修改、組合、 子組合和變換，只要它們在所附權利要求或其等同內容的范圍內。
權利要求
1.一種圖像處理設備，包括位置信息生成裝置，用于基于在圖像捕獲裝置移動的同時由所述圖像捕獲裝置通過 圖像捕獲獲得的多個被捕獲到的圖像來生成位置信息，所述位置信息表示在預定平面上排 列所述多個被捕獲到的圖像以使得不同的被捕獲到的圖像中包括的相同對象彼此重疊時 所述被捕獲到的圖像的相對位置關系；條形圖像生成裝置，用于當基于所述位置信息在所述平面上排列所述多個被捕獲到 的圖像時，對于所述多個被捕獲到的圖像中的每一個，在所述被捕獲到的圖像上裁剪從所 述被捕獲到的圖像上的預定參考位置到在所述平面上被排列以與所述被捕獲到的圖像重 疊的另一被捕獲到的圖像上的參考位置的區(qū)域并且生成包括所述區(qū)域的條形圖像；以及全景圖像生成裝置，用于通過排列和拼合根據(jù)所述多個被捕獲到的圖像獲得的所述條 形圖像來生成一個全景圖像，其中，所述條形圖像生成裝置針對所述多個被捕獲到的圖像，在預定方向上使所述被 捕獲到的圖像上的所述區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生成多個條形圖像，以 及其中，所述全景圖像生成裝置通過對所述區(qū)域的每個位置生成所述全景圖像來生成由 多個所述全景圖像形成的圖像組，其中，顯示在用于獲得所述多個被捕獲到的圖像的圖像 捕獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
2.如權利要求1所述的圖像處理設備，其中，所述圖像捕獲空間上的相同區(qū)域被顯示 在所述多個全景圖像中的每一個中。
3.如權利要求2所述的圖像處理設備，進一步包括顯示控制裝置，用于按預定時間間 隔依次顯示所述多個全景圖像。
4.如權利要求3所述的圖像處理設備，進一步包括規(guī)定裝置，用于當指定了所述全景圖像上的移動對象時，從所述多個被捕獲到的圖像 之中規(guī)定包括所述移動對象的被捕獲到的圖像；以及裁剪出圖像生成裝置，用于對于由所述規(guī)定裝置規(guī)定的所述多個被捕獲到的圖像中 的每一個，通過從所述被捕獲到的圖像中裁剪出包括所述移動對象的區(qū)域來形成裁剪出圖 像，并且生成多個裁剪出圖像的群組，其中，所述顯示控制裝置按預定時間間隔依次顯示所述多個裁剪出圖像。
5.如權利要求4所述的圖像處理設備，進一步包括檢測裝置，用于基于連續(xù)顯示的全 景圖像從所述全景圖像中檢測所述移動對象，其中，所述顯示控制裝置在依次顯示所述多個全景圖像時以與其它區(qū)域不同的顯示格 式顯示每個全景圖像中的包括所述移動對象的區(qū)域。
6.如權利要求1所述的圖像處理設備，其中，所述多個全景圖像是以下圖像其中，當 依次顯示所述全景圖像時，所述圖像捕獲空間上的預定范圍中的每個區(qū)域按照從所述預定 范圍中的所述區(qū)域的一端到另一端的順序顯示。
7.如權利要求1所述的圖像處理設備，其中，通過使用預先在所述被捕獲到的圖像上 設置的多個塊區(qū)域，所述位置信息生成裝置通過從在比所述被捕獲到的圖像更早的時間獲 得的被捕獲到的圖像中分別搜索與所述多個塊區(qū)域相對應的塊對應區(qū)域來生成所述位置 fn息ο
8.如權利要求7所述的圖像處理設備，其中，所述位置信息生成裝置基于所述多個塊 區(qū)域的相對位置關系以及所述多個塊對應區(qū)域的相對位置關系來檢測包括移動對象的塊 區(qū)域，以及當檢測到包括所述移動對象的塊區(qū)域時，通過使用所述多個塊區(qū)域之中與所檢 測到的塊區(qū)域不同的塊區(qū)域來搜索所述塊對應區(qū)域來生成所述位置信息。
9.一種圖像處理設備的圖像處理方法，所述圖像處理設備包括位置信息生成裝置，用 于基于在圖像捕獲裝置移動的同時由所述圖像捕獲裝置通過圖像捕獲獲得的多個被捕獲 到的圖像來生成位置信息，所述位置信息表示在預定平面上排列所述多個被捕獲到的圖像 以使得不同的被捕獲到的圖像中包括的相同對象彼此重疊時所述被捕獲到的圖像的相對 位置關系；條形圖像生成裝置，用于當基于所述位置信息在所述平面上排列所述多個被 捕獲到的圖像時，對于所述多個被捕獲到的圖像中的每一個，在所述被捕獲到的圖像上從 所述被捕獲到的圖像上的預定參考位置到在所述平面上被排列以與所述被捕獲到的圖像 重疊的另一被捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成包括所述區(qū)域的條形圖像； 以及全景圖像生成裝置，用于通過排列和拼合根據(jù)所述多個被捕獲到的圖像獲得的所述條 形圖像來生成一個全景圖像，所述圖像處理方法包括以下步驟通過所述位置信息生成裝置，根據(jù)所述多個被捕獲到的圖像來生成所述位置信息，通過所述條形圖像生成裝置，針對所述多個被捕獲到的圖像，在預定方向上使所述被 捕獲到的圖像上的所述區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生成多個條形圖像，以 及通過所述全景圖像生成裝置，通過對所述區(qū)域的每個位置生成所述全景圖像來生成由 多個所述全景圖像形成的圖像組，其中，顯示在用于獲得所述多個被捕獲到的圖像的圖像 捕獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
10.一種使計算機執(zhí)行處理的程序，所述處理包括位置信息生成步驟，基于在圖像捕獲裝置移動的同時由所述圖像捕獲裝置通過圖像捕 獲獲得的多個被捕獲到的圖像來生成位置信息，所述位置信息表示在預定平面上排列所述 多個被捕獲到的圖像以使得不同的被捕獲到的圖像中包括的相同對象彼此重疊時所述被 捕獲到的圖像的相對位置關系；條形圖像生成步驟，當基于所述位置信息在所述平面上排列所述多個被捕獲到的圖像 時，對于所述多個被捕獲到的圖像中的每一個，在所述被捕獲到的圖像上從所述被捕獲到 的圖像上的預定參考位置到在所述平面上被排列以與所述被捕獲到的圖像重疊的另一被 捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成包括所述區(qū)域的條形圖像；以及全景圖像生成步驟，通過排列和拼合根據(jù)所述多個被捕獲到的圖像獲得的所述條形圖 像來生成一個全景圖像，其中，在所述條形圖像生成步驟中，針對所述多個被捕獲到的圖像，在預定方向上使所 述被捕獲到的圖像上的所述區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生成多個條形圖 像，以及其中，在所述全景圖像生成步驟中，通過對所述區(qū)域的每個位置生成所述全景圖像來 生成由多個所述全景圖像形成的圖像組，其中，顯示在用于獲得所述多個被捕獲到的圖像 的圖像捕獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
11.一種圖像處理設備，包括3位置信息生成部，用于基于在圖像捕獲部移動的同時由所述圖像捕獲部通過圖像捕 獲獲得的多個被捕獲到的圖像來生成位置信息，所述位置信息表示在預定平面上排列所述 多個被捕獲到的圖像以使得不同的被捕獲到的圖像中包括的相同對象彼此重疊時所述被 捕獲到的圖像的相對位置關系；條形圖像生成部，用于當基于所述位置信息在所述平面上排列所述多個被捕獲到的 圖像時，對于所述多個被捕獲到的圖像中的每一個，在所述被捕獲到的圖像上從所述被捕 獲到的圖像上的預定參考位置到在所述平面上被排列以與所述被捕獲到的圖像重疊的另 一被捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成包括所述區(qū)域的條形圖像；以及全景圖像生成部，用于通過排列和拼合根據(jù)所述多個被捕獲到的圖像獲得的所述條形 圖像來生成一個全景圖像，其中，所述條形圖像生成部針對所述多個被捕獲到的圖像，在預定方向上使所述被捕 獲到的圖像上的所述區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生成多個條形圖像，以及 其中，所述全景圖像生成部通過對所述區(qū)域的每個位置生成所述全景圖像來生成由多 個所述全景圖像形成的圖像組，其中，顯示在用于獲得所述多個被捕獲到的圖像的圖像捕 獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
12.—種圖像處理設備的圖像處理方法，所述圖像處理設備包括位置信息生成部，基 于在圖像捕獲部移動的同時由所述圖像捕獲部通過圖像捕獲獲得的多個被捕獲到的圖像 來生成位置信息，所述位置信息表示在預定平面上排列所述多個被捕獲到的圖像以使得不 同的被捕獲到的圖像中包括的相同對象彼此重疊時所述被捕獲到的圖像的相對位置關系； 條形圖像生成部，當基于所述位置信息在所述平面上排列所述多個被捕獲到的圖像時，對 于所述多個被捕獲到的圖像中的每一個，在所述被捕獲到的圖像上從所述被捕獲到的圖像 上的預定參考位置到在所述平面上被排列以與所述被捕獲到的圖像重疊的另一被捕獲到 的圖像上的參考位置裁剪出區(qū)域并且生成包括所述區(qū)域的條形圖像；以及全景圖像生成 部，通過排列和拼合根據(jù)所述多個被捕獲到的圖像獲得的所述條形圖像來生成單一全景圖 像，所述圖像處理方法包括以下步驟通過所述位置信息生成部，根據(jù)所述多個被捕獲到的圖像來生成所述位置信息， 通過所述條形圖像生成部，針對所述多個被捕獲到的圖像，在預定方向上使所述被捕 獲到的圖像上的所述區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生成多個條形圖像，以及 通過所述全景圖像生成部，通過對所述區(qū)域的每個位置生成所述全景圖像來生成由多 個所述全景圖像形成的圖像組，其中，顯示在用于獲得所述多個被捕獲到的圖像的圖像捕 獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
13.一種使計算機執(zhí)行處理的程序，所述處理包括位置信息生成步驟，基于在圖像捕獲部移動的同時由所述圖像捕獲部通過圖像捕獲獲 得的多個被捕獲到的圖像來生成位置信息，所述位置信息表示在預定平面上排列所述多個 被捕獲到的圖像以使得不同的被捕獲到的圖像中包括的相同對象彼此重疊時所述被捕獲 到的圖像的相對位置關系；條形圖像生成步驟，當基于所述位置信息在所述平面上排列所述多個被捕獲到的圖像 時，對于所述多個被捕獲到的圖像中的每一個，在所述被捕獲到的圖像上從所述被捕獲到 的圖像上的預定參考位置到在所述平面上被排列以與所述被捕獲到的圖像重疊的另一被捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成包括所述區(qū)域的條形圖像；以及全景圖像生成步驟，通過排列和拼合根據(jù)所述多個被捕獲到的圖像獲得的所述條形圖 像來生成單一全景圖像，其中，在所述條形圖像生成步驟中，針對所述多個被捕獲到的圖像，在預定方向上使所 述被捕獲到的圖像上的所述區(qū)域移位的同時根據(jù)所述被捕獲到的圖像來生成多個條形圖 像，以及其中，在所述全景圖像生成步驟中，通過對所述區(qū)域的每個位置生成所述全景圖像來 生成由多個所述全景圖像形成的圖像組，其中，顯示在用于獲得所述多個被捕獲到的圖像 的圖像捕獲時被設置為圖像捕獲目標的圖像捕獲空間上的區(qū)域。
全文摘要
一種圖像處理設備、圖像處理方法以及程序，該圖像處理設備包括位置信息生成部，生成位置信息，所述位置信息表示在預定平面上排列被捕獲到的圖像以使得不同的被捕獲到的圖像中包括的相同對象彼此重疊時被捕獲到的圖像的相對位置關系；條形圖像生成部，當基于位置信息在平面上排列被捕獲到的圖像時，在每個被捕獲到的圖像上從被捕獲到的圖像上的預定參考位置到在平面上被排列以與被捕獲到的圖像重疊的另一被捕獲到的圖像上的參考位置裁剪出區(qū)域并且生成包括該區(qū)域的條形圖像；以及全景圖像生成部，通過排列和拼合根據(jù)被捕獲到的圖像獲得的條形圖像來生成單一全景圖像。
文檔編號G06T11/60GK102045502SQ201010503259
公開日2011年5月4日 申請日期2010年9月30日 優(yōu)先權日2009年10月9日
發(fā)明者山下紀之, 平井純 申請人:索尼公司