專利名稱：圖像處理裝置和方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，并且尤其涉及能夠編輯圖像內(nèi)容的圖像處理 裝置、用于該圖像處理裝置的圖像處理的方法和允許計算機執(zhí)行該方法的程序。
背景技術(shù)：
近些年來，數(shù)字視頻相機已普及。因此，受邀請參與婚禮招待會的客人 用數(shù)字視頻相機拍攝如婚禮慶典或婚禮招待會的事件已經(jīng)流行。在許多客人 聚會的如婚禮招待會的事件中，許多客人經(jīng)常拍攝相同的場景(例如，婚禮 蛋糕切割場景)。因此，在一個事件中的相同的場景可以被捕獲為多個運動 圖像。這些捕獲的運動圖像可以在例如家庭中的個人計算機的顯示器上播 放。例如，假設(shè)用相對長拍攝時間獲得的運動圖像被播放。當(dāng)整個運動圖像 從開始播放時，回放時間拉長。不幸的是，觀眾對正在播放的運動圖像的興 趣可能隨該回放時間的經(jīng)過而減弱。按照防止興趣減弱的方法，觀眾可能從 獲得的運動圖像檢索期望的部分，并且可以順序地播放期望的部分。然而， 在此情形中，回放需要檢索時間。而且，檢索操作可能經(jīng)常是復(fù)雜的。不利 地，觀眾對獲得的運動圖像的興趣可能減弱。按照提出的技術(shù)，在運動圖像的回放之前，與運動圖像的各個部分相對 應(yīng)的縮略圖像被產(chǎn)生并且利用產(chǎn)生的縮略圖像從期望記錄的位置播放該運動圖像。例如，日本未審專利申請公開No. 11 -289517公開一種再現(xiàn)裝置， 其產(chǎn)生指示在記錄介質(zhì)上記錄的運動圖像的各個場景的多個縮略圖像，并且 播放這些縮略圖像，使得期望的縮略圖像從顯示的縮略圖像選擇，并且從對 應(yīng)于選擇的縮略圖像的場景的起點，開始運動圖像的回放。發(fā)明內(nèi)容按照如上所述的相關(guān)領(lǐng)域的技術(shù)，當(dāng)用戶觀看通過拍攝如婚禮招待會的事件獲得的運動圖像時，用戶可以利用與該運動圖像相關(guān)的被顯示的縮略圖 像從期望的場景的頂部開始回放運動圖像。當(dāng)如婚禮招待會的事件通過拍攝被捕獲為運動圖像時，拍攝時間往往相 對長。在觀看由客人通過拍攝事件獲得的、導(dǎo)致相對長的拍攝時間的多個運 動圖像時，當(dāng)縮略圖像利用如上所述的相關(guān)領(lǐng)域技術(shù)播放時，顯示的縮略圖 像的數(shù)目可能非常大。在此情形中，要花長的時間選擇顯示的縮略圖像的任 何一個。不利地，選擇顯示的縮略圖像的任何一個是復(fù)雜的。而且，在許多情形中，那些運動圖像由客人(拍攝師)在不同位置以不同 視角拍攝事件獲得。因此盡管顯示的縮略圖^f象對應(yīng)相同的場景，但是縮略圖 像看起來顯示不同的場景。在此情形中，用戶可能多次選擇相同的場景。不 幸的是，難以有效觀看運動圖像。換句話說，難以有效觀看通過經(jīng)由多個成 像設(shè)備拍攝相同的場景獲得的多個運動圖像。因此，期望有效觀看通過經(jīng)由多個成像設(shè)備拍攝相同的場景獲得的多個 運動圖像。為了解決上述問題，做出本發(fā)明。按照本發(fā)明的第一個方面， 一種圖像 處理裝置包括下面的元件。圖像存儲部分存儲與時間信息有關(guān)的多個圖像。 特征提取部分提取在圖像存儲部分中存儲的每個圖像的特征的量(以下稱為 特征量)。圖像選擇部分基于與包括在重疊部分集中的各個圖像相關(guān)聯(lián)的特 征量，選擇存儲在圖像存儲部分中的幾個或全部圖像的每個重疊部分集中包 括的至少一個圖像，所述重疊部分集包括相對于拍攝時間重疊的幾個或全部 的圖像的重疊部分。摘要圖像產(chǎn)生部分基于選擇的圖像產(chǎn)生在圖像存儲部分中存儲的圖像的摘要圖像。因此，該第一實施例具有如下效果基于與包括 在重疊部分集中的各個圖像相關(guān)聯(lián)的特征量，選擇相對于拍攝時間重疊的多 個圖像的每個重疊部分集中包括的至少一個圖像，并且基于選擇的圖像產(chǎn)生 該圖像的摘要圖像在本實施例中，該裝置還可以包括摘要分?jǐn)?shù)計算部分，用于計算每個 圖像的摘要分?jǐn)?shù)，所述摘要分?jǐn)?shù)通過加權(quán)和相加提取的特征量獲得。圖像選 擇裝置可以將包括在重疊部分集中的各個圖像的所計算的摘要分?jǐn)?shù)比較，以 選擇具有最高摘要分?jǐn)?shù)的一個圖像。因此該實施例具有如下效果計算每個圖像的摘要分?jǐn)?shù)作為通過加權(quán)和相加圖像的特征量獲得的值，并且將包括在 多個重疊圖像的每個重疊部分集中的各個圖像的所計算的摘要分?jǐn)?shù)比較，以選擇具有最高摘要分?jǐn)?shù)的 一個圖像。在本實施例中，摘要圖像產(chǎn)生部分可以通過按時間序列排列選擇的圖像 產(chǎn)生摘要圖像。因此該實施例具有如下效果通過按時間序列排列選擇的圖 像產(chǎn)生摘要圖像。在本實施例中，存儲在圖像存儲部分中的圖像是按時間序列捕獲的運動分中存儲的每個運動圖像的特征量。圖像選擇部分可以基于在該部分中提取 的特征量，選擇每個部分中的至少一個運動圖像分段，其中存儲在圖像存儲 部分中的幾個或全部的運動圖像相對于拍攝時間重疊。摘要圖像產(chǎn)生部分可以基于選擇的運動圖像分段產(chǎn)生摘要圖像。因此該實施例具有如下效果基 于在該部分提取的特征量，選擇每個部分中的至少一個運動圖像分段，其中 幾個或全部的運動圖像相對于拍攝時間重疊，并且基于選擇的運動圖像分段 產(chǎn)生摘要圖像。在本實施例中，所述裝置還可以包括重疊拍攝部分提取部分，用于基 于所述時間信息提取每個重疊拍攝部分，該重疊拍攝部分用作這樣的部分， 其中存儲在圖像存儲部分中的至少一個運動圖像相對于拍攝時間與另 一個 運動圖像重疊。特征提取部分可以提取包括在提取的重疊拍攝部分中的各個 運動圖像的特征量。圖像選擇部分可以選擇部分分段中的運動圖像分段，其 中提取的重疊拍攝部分的該運動圖像相對于拍攝時間重疊。因此該實施例具 有如下效果提取重疊拍攝部分，其中至少一個運動圖像相對于拍攝時間與 另一個運動圖像重疊，并且選擇部分分段中的運動圖像分段，其中提取的重 疊拍攝部分的運動圖像相對于拍攝時間重疊。在此情形中，該重疊拍攝部 分可以是這樣的部分，其包括存儲在圖像存儲部分中的至少一個運動圖像， 該至少一個運動圖像相對于拍攝時間與另 一個運動圖像重疊，并且包括預(yù)定 數(shù)目或更多的運動圖像。因此該實施例具有如下效果選擇包括預(yù)定數(shù)目或 更多的運動圖像的部分分段中的運動圖像分段，其中運動圖像相對于拍攝時 間重疊。在本實施例中，圖像選擇部分可以在其中存儲在圖像存儲部分中的運動 圖像相對于拍攝時間不重疊的每個部分中，選擇與另 一個運動圖像相對于拍 攝時間不重疊的運動圖像分段。摘要圖像產(chǎn)生部分可以通過按時間序列排列 選擇的運動圖像分段產(chǎn)生摘要圖像。因此該實施例具有如下效果在其中運動圖像相對于拍攝時間不重疊的每個部分中，選擇與另 一個運動圖像相對于 拍攝時間不重疊的運動圖像分段，并且，按時間序列排列在其中運動圖像相 對于拍攝時間重疊的部分中選擇的運動圖像分段，和在其每個中選擇的運動 圖像分段相對于拍攝時間不與另 一個運動圖像重疊的部分中選擇的運動圖 像分段，以產(chǎn)生摘要圖像。在本實施例中，所述裝置還可包括如下的元件。摘要分?jǐn)?shù)計算部分在每 個預(yù)定部分計算每個運動圖像的摘要分?jǐn)?shù)，所述摘要分?jǐn)?shù)通過加權(quán)和相加提 取的特征量獲得。閾值保持部分保持預(yù)定的閾值。摘要分區(qū)提取部分提取與 所計算的摘要分?jǐn)?shù)中在所述閾值或之上的每個摘要分?jǐn)?shù)相對應(yīng)的摘要分段。圖像選擇部分可以比較在提取的摘要分段中的所計算的摘要分?jǐn)?shù)，以選擇具有最高摘要分?jǐn)?shù)的運動圖像分段。因此該實施例具有如下效果提取與所述 閾值或之上的每個摘要分?jǐn)?shù)相對應(yīng)的摘要分^:，并且比較在提取的摘要分段 中的摘要分?jǐn)?shù)，以選擇具有最高摘要分?jǐn)?shù)的運動圖像分段。按照本發(fā)明的第二實施例， 一種圖像處理裝置包括如下元件。圖像輸入 部分輸入與時間信息有關(guān)的多個圖像。特征提取部分提取每個輸入圖像的特 征量。圖像選擇部分基于與包括在重疊部分集中的各個圖像相關(guān)聯(lián)的特征 量，選擇幾個或全部的輸入圖像中的每個重疊部分集中包括的至少一個圖 像，所述重疊部分集包括相對于拍攝時間重疊的幾個或全部的圖像的重疊部 分。摘要圖像產(chǎn)生部分基于選擇的圖像產(chǎn)生輸入圖像的摘要圖像。因此該實 施例具有如下效果基于與包括在重疊部分集中的各個圖像相關(guān)聯(lián)的特征 量，選擇在相對于拍攝時間重疊的幾個或全部的輸入圖像的每個重疊部分集 中包括的至少 一個圖像，并且基于選擇的圖像產(chǎn)生所述圖像的摘要圖像。按照本發(fā)明的第三實施例，提供了 一種用于圖像處理部分的圖像處理的 方法，該圖像處理裝置包括圖像存儲部分，用于存儲多個與時間信息有關(guān) 的多個圖像；特征提取部分、圖像選擇部分和摘要圖像產(chǎn)生部分。所述方法 包括步驟提取在圖像存儲部分中存儲的每個圖像的特征量；基于與包括在 重疊部分集中的各個圖像相關(guān)聯(lián)的特征量，選擇存儲在圖像存儲部分中的幾 個或全部圖像的每個重疊部分集中包括的至少一個圖像，所述重疊部分集包 括相對于拍攝時間重疊的幾個或全部的圖像的重疊部分；以及基于選擇的圖 像產(chǎn)生在圖像存儲部分中存儲的圖像的摘要圖像。按照本發(fā)明的第四實施例，提供了一種程序，其允許計算機執(zhí)行如上所述方法。本發(fā)明的實施例具有的優(yōu)點在于，通過由多個成像設(shè)備拍攝相同的場景 獲得的圖像可以被有效觀看。發(fā)明內(nèi)容

圖1是顯示圖像處理裝置100的功能性結(jié)構(gòu)的框圖；圖2示意性地顯示了通過拍攝婚禮招待會獲得的運動圖像文件310、320 和330中包括的圖像；圖3是顯示按時間序列安排的3個運動圖像集410、 420和430的圖；圖4顯示從運動圖像500提取的特征量和基于特征量計算的摘要分?jǐn)?shù)的 例子；圖5圖示了包括在拍攝部分450中的運動圖^象411、 421和431至434;圖6顯示拍攝部分450中的各個運動圖像的摘要分?jǐn)?shù)以及基于摘要分?jǐn)?shù) 產(chǎn)生的摘要圖像480;圖7是圖像處理裝置100的摘要圖像產(chǎn)生過程的流程圖；圖8是顯示圖像處理系統(tǒng)600的結(jié)構(gòu)的圖；圖9是顯示圖像處理系統(tǒng)601的結(jié)構(gòu)的圖；圖10是顯示圖像處理系統(tǒng)602的結(jié)構(gòu)的圖；圖11是顯示圖像處理裝置700的功能結(jié)構(gòu)的框圖；以及圖12顯示從運動圖像500提取的特征量、摘要分?jǐn)?shù)和運動圖像500的 提取部分分段的例子。
具體實施方式
本發(fā)明的實施例將參照附圖詳細描述。圖1是圖示按照本發(fā)明的實施例的圖像處理裝置100的功能性結(jié)構(gòu)的框 圖。圖像處理裝置100包括捕獲圖像存儲單元110、拍攝部分提取單元120、 特征提取單元130、摘要分?jǐn)?shù)(digest-score)計算單元140、摘要圖像選擇 單元150、摘要圖像產(chǎn)生單元160、摘要圖像存儲單元170、顯示控制單元 180、操作接收單元190和顯示單元200。圖^f象處理裝置IOO可以由例如具有 編輯運動圖像內(nèi)容的功能的個人計算機實現(xiàn)。捕獲圖像存儲單元IIO存儲運動圖像內(nèi)容，例如，通過數(shù)字視頻相機捕獲的運動圖像。在捕獲圖像存儲單元110中存儲的運動圖像內(nèi)容與通過拍攝 獲得的內(nèi)容的拍攝時間有關(guān)。在捕獲圖像存儲單元110中存儲的運動圖像內(nèi) 容包含至少一個運動圖像，該至少一個運動圖像通過經(jīng)由數(shù)字視頻相機拍攝獲得，并且被輸入到圖像處理裝置100。在本發(fā)明的本實施例中，假設(shè)多個 運動圖像在捕獲圖像存儲單元110中記錄為內(nèi)容的塊(下文稱作為內(nèi)容塊)。在下面的描述中，基于重要場景由多個人同時拍攝的經(jīng)驗性規(guī)則，由多個人 同時拍攝的場景將被定義為"令人激動的場景"。此外，從在運動圖像的令 人激動的場景之間的重疊選擇的每個場景被定義為"重要(highlight)場景"。拍攝部分提取單元120基于與存儲在捕獲圖像存儲單元110中的各個運 動圖像內(nèi)容塊有關(guān)的拍攝時間提取拍攝部分，其中多個拍攝在相同的時間段 執(zhí)行。拍攝部分提取單元120輸出提取的拍攝部分到特征提取單元130。拍 攝部分提取單元120可以在如下條件下提取拍攝部分預(yù)定數(shù)目的運動圖像 內(nèi)容塊被包括在其中在相同的時間段執(zhí)行多個拍4聶的拍攝部分中。提取的拍 攝部分對應(yīng)于令人激動的場景。因此，令人激動的場景從多個運動圖像內(nèi)容 塊被提取，使得提取的令人激動的場景可以以令人激動的場景為單元按時間 序列排列。至于令人激動的場景，例如，婚禮切蛋糕場景和朋友的娛樂場景 可以在婚禮招待會被拍攝。在運動會中，接力比賽場景和舞蹈場景可被拍攝。 隨后將參照圖3詳細描述令人激動的場景的提取。特征提取單元130對存儲在捕獲圖像存儲單元110中的運動圖像內(nèi)容塊 中的、包括在由拍攝部分提取單元120提取的拍攝部分中的運動圖像內(nèi)容塊 執(zhí)行各種圖像分析過程，以在每預(yù)定部分(例如，每秒)提取每個運動圖像內(nèi) 容塊的特征的量(以后稱作為"特征量")。特征提取單元130將提取的特征 量輸出到摘要分?jǐn)?shù)計算單元140。那些令人激動的場景或特征量可以在例如 當(dāng)運動圖像內(nèi)容塊被記錄在捕獲圖像存儲單元110時的任何時候4皮提取。或 者，令人激動的場景或特征量可以按照由用戶給出的摘要圖像產(chǎn)生指令被提 取。特征量的提取將隨后參照圖4的部分A至E詳細描述。摘要分?jǐn)?shù)計算單元140在每預(yù)定部分計算每個運動圖像內(nèi)容塊的摘要分 數(shù)，所述摘要分?jǐn)?shù)通過用預(yù)定的權(quán)重乘以由特征提取單元130提取的每個特 征量并且相加所得值獲得。摘要分?jǐn)?shù)計算單元140將獲得的各個運動圖像內(nèi) 容塊的摘要分?jǐn)?shù)輸出到摘要圖像選擇單元150。摘要分?jǐn)?shù)的計算將隨后參照 圖4的部分F詳細描述。摘要圖像選擇單元150按時間序列比較由拍攝部分提取單元120提取的 拍攝部分中所包括的各個運動圖像內(nèi)容塊的、由摘要分?jǐn)?shù)計算單元140計算 的摘要分?jǐn)?shù)，以選擇該拍攝部分中具有最高摘要分?jǐn)?shù)的運動圖像內(nèi)容塊。摘 要圖像選擇單元150將與選擇的運動圖像內(nèi)容塊的分段有關(guān)的地址信息(指 示捕獲圖像存儲單元110中的記錄位置)輸出給摘要圖像產(chǎn)生單元160。任何 的運動圖像內(nèi)容塊的選擇將隨后參照圖6詳細描述。摘要圖像產(chǎn)生單元160基于從摘要圖像選擇單元150輸出的地址信息， 從捕獲圖像存儲單元110讀取由摘要圖像選#^單元150選擇的運動圖像內(nèi)容 塊的分段(以后稱作為"運動圖像內(nèi)容分段，，)。摘要圖像選擇單元150按時 間序列排列各個讀出的運動圖像內(nèi)容分段，以產(chǎn)生摘要圖像。在此情形中， 摘要圖像是通過按時間序列排列由摘要圖像選擇單元150選擇的運動圖像內(nèi) 容分段獲得的運動圖像。摘要圖像產(chǎn)生單元160輸出產(chǎn)生的摘要圖像給摘要 圖像存儲單元170,并且允許摘要圖像存儲單元170存儲該摘要圖像。摘要 圖像的產(chǎn)生將隨后參照圖6詳細描述。摘要圖像存儲單元170存儲由摘要圖像產(chǎn)生單元160產(chǎn)生的摘要圖像。 摘要圖像存儲單元170響應(yīng)從顯示控制單元180提供的控制信號，將該摘要 圖像輸出到顯示控制單元180。當(dāng)操作接收單元1卯接收指示播放運動圖像內(nèi)容塊的摘要圖像的指令的 操作輸入時，顯示控制單元180讀出在摘要圖像存儲單元170中存儲的摘要 圖像，并且允許顯示單元200顯示讀出的摘要圖像。操作接收單元190包括各種操作鍵。當(dāng)接收通過那些鍵中的任何的操作 輸入時，操作接收單元190將指示接收的操作輸入的信息輸出給顯示控制單 元180。例如，操作接收單元190包括用于播放摘要圖像的指令的摘要播放 按鈕。摘要播放按鈕和其他按鈕可以被顯示在顯示單元200上，并且響應(yīng)于 由操作接收單元l卯接收的操作輸入被按壓。作為替代，至少一部分的操作接收單元190可以被并入顯示單元200以實現(xiàn)觸4莫面板。顯示單元200按照從顯示控制單元180提供的控制信號顯示存儲在摘要 圖像存儲單元170中的摘要圖像。顯示單元200可以包括例如液晶顯示器 (LCD)。在一個事件(例如，婚禮招待會)中通過多個成像設(shè)備獲得的多個運動 圖像內(nèi)容塊的回放將隨后參照圖2詳細描述。ii圖2示意性顯示包括在通過拍攝婚禮招待會獲得的運動圖像文件310、320和330中的圖像。參照圖2,包括在運動圖像文件310中的圖像311至 316、包括在運動圖像文件320中的圖像321至322和包括在運動圖像文件 330中的圖像331和332沿著時間軸tl至t3排列。假設(shè)運動圖像文件310、 320和330分別由3個人，即A先生、B先生和C先生，通過拍攝婚禮招待 會獲得，并且每個運動圖像文件包括婚禮切蛋糕場景。而且，假定圖像312、 313、 321和322是同時捕獲的運動圖像的分段，而圖像315、 316、 331和 332是同時捕獲的運動圖像的分段。圖2的部分A顯示通過由A先生拍攝獲得的運動圖像文件310，而且包 括被包含在運動圖像文件310中的圖像311至316。圖像311至316通過從 相對遠的位置、從前面拍攝新娘夫婦(或新娘和新郎)切分婚禮蛋糕獲得。圖 2的部分B顯示通過由B先生拍攝獲得的運動圖像文件320，而且包括被包 含在運動圖像文件320中的圖像321和322。圖像321和322通過從相對近 的位置、從右側(cè)拍攝新娘夫婦的婚禮切蛋糕場景的前半部分獲得。圖2的部 分C顯示通過由C先生拍攝獲得的運動圖像文件330,而且包括被包含在運 動圖像文件330中的圖像331和332。圖像331和332通過從基本對應(yīng)于A 先生和B先生的中點的位置、從左側(cè)拍攝新娘夫婦的婚禮切蛋糕場景的后半 部分獲得。如圖2的部分A至C所示，在婚禮招待會中的如婚禮切蛋糕場景的令 人激動的場景傾向于由多個人同時拍攝。為了觀看包括相同的場景的時間上 重疊的圖像的多個運動圖像文件，例如可以播放包括通過由A先生拍攝獲得 的圖像311至316的運動圖像文件310，可以播-;故包括通過由B先生拍攝獲 得的圖像321和322的運動圖像文件320,并且在此之后，可以播放包括通 過由C先生拍攝獲得的圖像331和332的運動圖像文件330。在運動圖像文 件310中，記錄部分317包括通過以不同角度和距離拍攝與在運動圖像文件 320中的場景相同的場景獲得的圖像312和313。此外，記錄部分318包括 通過以不同角度和距離拍攝與在運動圖像文件330中場景的相同場景獲得的 圖像315和316。因此，當(dāng)運動圖像文件310、 320和330如上所述順序播放 時，用戶必須多次觀看該用戶已經(jīng)觀看過的場景。在此情形中，回放時間變 長，因為運動圖像文件310、 320和330順序寺番放。此外，由于該用戶已經(jīng) 觀看了相同場景，因此用戶對運動圖像文件320和330的興趣可能減弱。按照本發(fā)明的本實施例，為了觀看通過由不同的人拍攝獲得并且包括相 同的場景的多個運動圖像內(nèi)容塊，通過從不同的視點由各人拍攝獲得的各個 運動圖像內(nèi)容塊的適當(dāng)分段被組合并且播放所得圖像。因此，回放時間可以 被減少，并且該運動圖像內(nèi)容塊可以播放同時可以保持觀眾的興趣。例如，對于圖示在圖2的部分A至C中的運動圖像文件310、320和330, 在運動圖像文件320或運動圖像文件330中所示的新娘和新郎比在運動圖像 文件310中的新娘和新郎更大。因此，例如，運動圖像文件310、 320和330 的重疊記錄部分集(或重疊部分集)被編輯，使得包括運動圖像文件310的圖 像312和313的記錄部分317用包括運動圖像文件320的圖像321和322的 記錄部分代替，并且其包括圖像315和316的記錄部分318用包括運動圖像 文件330的圖像331和332的記錄部分代替。因此，在播放包括運動圖像文 件310的圖像311的記錄部分之后，可以播放包括運動圖像文件320的圖像 321和322的記錄部分。因此，在播放包括運動圖像文件310的圖像314的 記錄部分之后，可以播放包括運動圖像文件330的圖像331和332的記錄部 分。通過播放如上所述的運動圖像文件310、 320和330，新々良和新郎在與運 動圖像文件320和330的記錄部分相對應(yīng)的拍攝部分中以更大形式被顯示， 而在其它的拍攝部分觀看運動圖像文件310的婚禮切蛋糕場景。因此，整個 的婚禮切蛋糕場景可以按時間序列被快速地觀看。此外，可以觀看該場景的 適合的運動圖像內(nèi)容分段。該運動圖像文件的編輯將隨后參照圖3至6詳細 描述。從多個運動圖像內(nèi)容塊產(chǎn)生摘要圖像的方法將隨后參照附圖詳細描述。 首先，將參照圖3在下面詳細描述從多個運動圖像內(nèi)容塊提取對應(yīng)于令人激 動的場景的拍攝部分的方法。圖3原理性地顯示了按時間序列安排的3個運動圖像集410、 420和430。 在此情形中，運動圖像集410、 420和430通過由3個人以不同角度拍攝相 同的場景獲得。每個運動圖像集410、 420和430包括多個運動圖像。具體 地講，運動圖像集410包括通過拍攝事件一段時間獲得的多個運動圖像410 和412。運動圖像集420包括通過拍攝事件一段時間獲得的多個運動圖像421 和422。運動圖像集430包括通過拍攝事件一段時間獲得的多個運動圖像431 至436。在圖3中，那些運動圖像411、 412、 421、 422和431至436依據(jù)拍 攝時間繪畫。其中記錄各個運動圖像的記錄部分用陰影指示。參照圖3,當(dāng)存在通過由不同的人拍攝相同事件獲得的運動圖像411、 412、 421、 422和431至436時，與令人激動的場景相對應(yīng)的拍攝部分從那 些運動圖像提取。例如，與令人激動的場景相對應(yīng)的拍攝部分可以基于由預(yù) 定數(shù)目或更多的人在一段時間段捕獲的運動圖像的存在或不存在而提取。例 如，多個運動圖像相對于拍攝時間重疊的拍攝部分被提取，并且確定在拍攝 部分中的運動圖像的數(shù)目是否等于或大于N。當(dāng)N或多于N的運動圖像存 在于拍攝部分中時，拍攝部分可以作為與令人激動的場景相對應(yīng)的部分被提 取。在此情形中，N是大于或等于2的整數(shù)。用戶可以設(shè)置任何值為N。例 如，當(dāng)N被設(shè)置為相對高的值時，由許多人拍攝的場景的摘要圖像可以被產(chǎn) 生。另一方面，當(dāng)N被設(shè)置為相對低的值時，對于摘要產(chǎn)生可覆蓋由少數(shù)人 拍攝的場景。在本實施例中，假定N二2。參照圖3,運動圖像411、 421和431至434相對于相同的時間段的拍攝 時間重疊，即，相對于拍攝時間重疊的兩個或多個運動圖像在該時間段存在。 因此，包括那些運動圖像的部分作為對應(yīng)于令人激動的場景的拍攝部分450 被提取。運動圖像412、 422、 435和436相對于拍攝時間不重疊，因此，不 從包括那些運動圖像的部分提取令人激動的場景?，F(xiàn)在將參照圖4詳細描述用于從包括在與令人激動的場景對應(yīng)的拍攝部 分中的運動圖像計算摘要分?jǐn)?shù)的方法。圖4顯示從運動圖像500提取的特征量和基于特征量計算的摘要分?jǐn)?shù)的 例子。假定運動圖像500包括在與令人激動的場景對應(yīng)的拍攝部分中。圖4的部分A是顯示指示包括在運動圖像500中的臉的存在或不存在的 特征量的圖。圖4的部分B是顯示指示包括在運動圖像500中的臉的數(shù)量的 特征量的圖。圖4的部分C是顯示指示包括在運動圖像500中的特寫臉的存 在或不存在的特征量的圖。圖4的部分D是顯示指示包括在運動圖像500 中的語音(對話)的存在或不存在的特征量的圖。圖4的部分E是顯示指示包 括在運動圖像500中的笑聲的存在或不存在的特征量的圖。圖4的部分A至 E中的圖的每個顯示依據(jù)拍攝時間繪畫的特征量。在下面的描述中，假定在 那些圖中提取的特征量指示為值'T，或"0"。提取的特征量可以具有"1" 或"0"以外的連續(xù)值。參照圖4,在部分A中的特征量指示包括在運動圖像內(nèi)容分段中的臉的 存在或不存在。例如，當(dāng)運動圖像內(nèi)容分段包括臉時，值"1"記錄為特征量。而當(dāng)運動圖像內(nèi)容分段沒有包括臉時，值"0"記錄為特征量。在部分B中的特征量指示包括在運動圖像內(nèi)容分段中的臉的數(shù)目。例 如，當(dāng)運動圖像內(nèi)容分段包括的臉的數(shù)目相對小時，值"1"記錄為特征量。當(dāng)運動圖像內(nèi)容分段包括的臉的數(shù)目相對大時，值"0"記錄為特征量。 在部分c中的特征量指示包括在運動圖像內(nèi)容分段中的臉是否處于特寫。例如，當(dāng)包括在運動圖像內(nèi)容分段中的臉是處于特寫(即，在屏幕上顯 示的臉相對大)時，值"r，記錄為特征量。當(dāng)包括在運動圖像內(nèi)容分段中的臉不處于特寫時，值"0"記錄為特征量。在部分D中的特征量指示是否運動圖像內(nèi)容分段包括語音。例如，當(dāng)運 動圖像內(nèi)容分段包括語音(即，與運動圖像內(nèi)容分段有關(guān)的音頻數(shù)據(jù)包含語 音)時，值"1"記錄為特征量。當(dāng)運動圖像內(nèi)容分段不包括語音時，值"0" 記錄為特4正量。在部分E中的特征量指示是否運動圖像內(nèi)容分段包括笑聲。例如，當(dāng)運 動圖像內(nèi)容分段包括笑聲(即，與運動圖像內(nèi)容分段有關(guān)的音頻數(shù)據(jù)包含笑 聲)時，值"1"記錄為特征量。當(dāng)運動圖像內(nèi)容分段不包括笑聲時，值"0" 記錄為特征量。如圖4的部分A至E所示，為了提取運動圖像的特征量，運動圖像的 音頻數(shù)據(jù)和視頻數(shù)據(jù)按時間序列被分析，并且特征量基于音頻和視頻數(shù)據(jù)集 的分析按時間序列提取和記錄。至于音頻和視頻數(shù)據(jù)集的分析，各種已知的 分析方法可用，另一個提取特征量的方法可以被使用。在本發(fā)明的本實施例中，"包括在運動圖像中的臉的存在或不存在"、 "其中包括的臉的數(shù)目"、"其中包括的特寫臉的存在或不存在"、"其中包 括的語音(對話)的存在或不存在"和"其中包括的笑聲的存在或不存在"被 用作從運動圖像提取的特征量。另一個特征量可以從運動圖像提取。例如， "場景變化"、"臉的位置"、"臉的朝向"、"相機工作(廣角、傾斜或縮放)"、 "音量"、"運動圖像中的人，，和"運動圖像中的東西"可以被用作從運動圖 像提取的特征量。圖4的部分F是顯示作為基于圖4的部分A至E所示的各個特征量獲 得的值的摘要分?jǐn)?shù)的圖。圖4的部分F中的圖顯示依據(jù)拍攝時間繪畫的摘要 分?jǐn)?shù)。摘要分?jǐn)?shù)通過用圖4的部分A至E的特征量乘以各個權(quán)重并且相加所得值獲得。例如，指示"包括在運動圖像中的臉的存在或不存在"的特征量FS的權(quán)重被設(shè)置為"0.5",指示"其中包括的臉的數(shù)目"的特征量FN的權(quán)重被 設(shè)置為"1.0",指示"其中包括的特寫臉的存在或不存在"的特征量FZ的權(quán) 重被設(shè)置為"2.0"，指示"其中包括的語音(對話)的存在或不存在"的特征量 SP的權(quán)重被設(shè)置為"1.0",而指示"其中包括的笑聲的存在或不存在"的特 征量SM的權(quán)重被設(shè)置為"3.0"。摘要分?jǐn)?shù)DS可以使用下面的等式獲得。DS=FS x 0.5+FN x l.O+FZ x 2.0+SP x 1.0+SM x 3.0圖4的部分F顯示使用如上所述的等式計算的摘要分?jǐn)?shù)的例子。在此情 形中，用于摘要分?jǐn)?shù)的計算的權(quán)重現(xiàn)在描述如下。每個權(quán)重是指示該相對應(yīng) 的特征量對令人激動的視頻場景貢獻有多大的因子。在此情形中，包括笑聲 的部分的權(quán)重被設(shè)置為"3.0"，而包括特寫臉的部分的權(quán)重被設(shè)置為"2.0"。 換句話說，這些權(quán)重被設(shè)置為高的值。該設(shè)置基于包括笑聲的視頻場景和包 括處于特寫的人的視頻場景經(jīng)常"令人感興趣"或"令人激動"的經(jīng)驗規(guī)則。 作為替代，包括下面的步驟(l)至(3)的統(tǒng)計學(xué)習(xí)方法獲得的參數(shù)可以用作 權(quán)重。(1) 用戶在觀看捕獲的運動圖像的同時手動標(biāo)記期望是令人激動的場景。(2) 獲得與由用戶標(biāo)記的每個場景相關(guān)聯(lián)的每個特征量和標(biāo)記位置之間 的相關(guān)性。(3) 在各特征量中，與由用戶標(biāo)記的每個場景具有高相關(guān)的特征量被確定 為用戶深度關(guān)注并且對摘要圖像貢獻顯著的特征量。該特征量的權(quán)重被設(shè)置 為相對高的值。這些權(quán)重可以通過來自的用戶反饋更新。例如，對操作接收單元190提 供"正號按鈕"和"負(fù)號按鈕"，使得用戶被允許在回放由摘要圖像產(chǎn)生單 元160產(chǎn)生的摘要圖像期間或之后，按壓"正號按鈕，，或"負(fù)號按鈕"。當(dāng) 用戶按壓任一按鈕時，關(guān)于摘要圖像的反饋可以從用戶獲得。例如，當(dāng)用戶 在摘要圖像的包括笑聲的部分的回放期間按壓"正號按鈕，，時，指示"包括 在運動圖像中的笑聲的存在或不存在"的特征量的權(quán)重被設(shè)置為高的值。例 如，當(dāng)用戶在摘要圖像的包括許多臉的部分的回放期間按壓"負(fù)號按鈕，，時， 指示"包括在運動圖像中的臉的數(shù)目"的特征量的權(quán)重^皮設(shè)置為低的值。如 上所述，權(quán)重可以按照來自用戶的反饋個性化。而且，用戶可以通過4乘作接收單元190輸入各個權(quán)重值，以便按照用戶 的偏好設(shè)置所述權(quán)重。圖5顯示包括在拍攝部分450中并且從如圖3所示的運動圖像集410、 420和430提取的運動圖像411、 421和431至434。參照圖5,每個運動圖 像的記錄部分包括顯示對運動圖像計算的摘要分?jǐn)?shù)。例如，在圖5的部分A， 圖414顯示對運動圖4象411計算的摘要分?jǐn)?shù)。在圖5的部分B,圖424顯示 對運動圖像421計算的摘要分?jǐn)?shù)。在圖5的部分C，圖438至441分別顯示 對運動圖像431至434計算的摘要分?jǐn)?shù)。如圖5的部分A至C所示，摘要分?jǐn)?shù)使用參照圖4描述的計算方法， 對拍攝部分450中的從運動圖像集410、420和430提取的運動圖像411、421 和431至434計算。圖6顯示示出對如圖5所示的拍攝部分450中包括的運動圖像集411、 421、和431至434計算的摘要分?jǐn)?shù)的圖，并且進一步圖示了基于摘要分?jǐn)?shù) 產(chǎn)生的摘要圖像'480。圖6的部分A顯示如圖5的部分A至C所示的疊加 圖414、 424和438至441。圖6的部分B顯示基于如圖6的部分A所示的 圖414、 424和438至441中的比較結(jié)果的摘要圖像480。參照圖6的部分A,拍攝部分分段461 、 463至469和471中的每個中， 多個圖在相同的時間段疊加。換句話說，在拍攝部分分段461、 463至469 和471的每個中，多個運動圖像在相同的時間段疊加。如上所述，在如拍攝 部分450的拍攝部分中，其中多個運動圖像重疊，被包括在每個拍攝部分分 段中的各個運動圖像的摘要分?jǐn)?shù)被比較并且選擇具有最高摘要分?jǐn)?shù)的運動 圖像。例如，拍攝部分分段461包括部分或整個的運動圖像421和431(參照圖 3)。參照圖6的部分A,與運動圖像431有關(guān)的圖438比與運動圖像421有 關(guān)的圖424更高。因此與圖438有關(guān)的圖像的摘要分?jǐn)?shù)比與圖424有關(guān)的圖 像的摘要分?jǐn)?shù)更高。因此，與圖438有關(guān)的整個運動圖像431被選擇為拍攝 部分分段461中的摘要圖像分段。類似地，在其中兩個運動圖像重疊的拍攝部分分段463中，與曲線424 相關(guān)的運動圖像421的部分被選擇為摘要圖像分段。在其中三個運動圖像重 疊的拍攝部分分段464中，與曲線439相關(guān)的運動圖像432的全部被選擇為 摘要圖像分段。在其中兩個運動圖像重疊的拍攝部分分段465中，與曲線414相關(guān)的運動圖像411的部分被選擇為摘要圖像分段。在其中三個運動圖像重疊的拍攝部分分段467中，與曲線414相關(guān)的運動圖像411的部分被選擇為 摘要圖像分段。在其中三個運動圖像重疊的拍攝部分分段468中，與曲線424 相關(guān)的運動圖像421的部分被選擇為摘要圖像分段。在其中兩個運動圖像重 疊的拍攝部分分段469中，與曲線424相關(guān)的運動圖像421的部分被選才奪為 摘要圖像分段。在其中兩個運動圖像重疊的拍攝部分分段471中，與曲線424 相關(guān)的運動圖像421的部分被選擇為摘要圖像分段。在多個運動圖像之間沒有重疊的拍攝部分分段462、 470和472的每個 中，包括在拍攝部分分段中的運動圖像被選擇為摘要圖像分段。通過比較如上所述的摘要分?jǐn)?shù)編輯在拍攝部分450中選擇的部分或全部 運動圖像，摘要圖像480如圖6的部分B所示產(chǎn)生。在圖6的部分B中， 在摘要圖像480中的各個陰影部分對應(yīng)于如圖3所示的運動圖像集410、420 和430。如圖6的部分B所示，當(dāng)多個運動圖像被記錄在拍攝部分中時，任 何運動圖像的部分被用來產(chǎn)生摘要圖像。如上所述，由人以不同角度拍攝相同的場景獲得的多個運動圖像可以基 于拍攝時間和特征量編輯并且播放。因此，用戶可以播放用作由采樣的好的 部分獲得的編輯圖像的摘要圖像，而不進行用于編輯由人以不同角度拍攝相 同的場景獲得的運動圖像的復(fù)雜操作。按照本發(fā)明的本實施例的圖像處理裝置100的操作現(xiàn)在參照圖7描述。圖7是由圖像處理裝置100的摘要圖像產(chǎn)生過程的流程圖。首先，存儲在捕獲圖像存儲單元110中的運動圖像被輸入(步驟S911)。 該輸入的運動圖像是至少 一個運動圖像。接著，確定是否存在相對于拍攝時間重疊的運動圖像作為輸入的運動圖 像。當(dāng)不存在相對于拍攝時間重疊的運動圖像時(在步驟S912否)，則該事實 意味著沒有遭受摘要圖像產(chǎn)生過程的運動圖像。因此，摘要圖像產(chǎn)生過程終 止。例如，對于如圖3所示的運動圖^f象集410、 420和430，至少運動圖傳_ 411、 421和431至434相對于拍攝時間重疊。另一方面，運動圖像412、 422、 435和436沒有相對于拍4聶時間重疊。當(dāng)存在相對于拍攝時間重疊的運動圖像作為輸入的運動圖像時(在步驟 S912,是)，確定N或者更多的運動圖像存在于包括相對于拍攝時間重疊的 運動圖像的部分(步驟S913)。在此情形中，假設(shè)N-2。例如，對于如圖3所示的運動圖像集410、 420和430，兩個或者更多的運動圖像存在于包括相 對于拍攝時間重疊的運動圖像411、 421和431至434的拍攝部分450中。 當(dāng)N或者更多的運動圖像不存在于包括相對于拍攝時間重疊的運動圖像 411、 421和431至434的所述部分時，該事實意味著沒有遭受摘要圖像產(chǎn)生 過程的運動圖像。因此，摘要圖像產(chǎn)生過程終止。當(dāng)N或者更多的運動圖像存在于包括相對于拍攝時間重疊的運動圖像 的部分中時(在步驟S913,是)，提取用作對應(yīng)于令人激動的場景的拍攝部分 的、所述部分中包括的運動圖像(步驟S914)。例如，對于如圖3所示的運動 圖像集410、 420和430,提取運動圖像411、 421和431至434。接著，從每個提取的運動圖像提取特征量(步驟S915)。例如，按時間序 列從每個運動圖像提取特征量，如圖4的部分A至E所示。之后，將提取 的特征量加權(quán)并且相加，使得每個運動圖像的摘要分?jǐn)?shù)按時間序列計算(步 驟S916)。例如，如圖4的部分F所示，計算每個運動圖像的摘要分?jǐn)?shù)。在拍攝時間的時間軸上比較各個運動圖像的計算的摘要分?jǐn)?shù)(步驟 S917)。例如，如圖6的部分A所示的，在拍攝時間的時間軸上比較如圖5 所示的對運動圖像411、 421和431至434所計算的摘要分?jǐn)?shù)。接著，基于在各個運動圖像的摘要分?jǐn)?shù)之間的比較結(jié)果，在與令人激動 的場景相對應(yīng)的拍攝部分的每個分段中，選擇具有高摘要分?jǐn)?shù)的運動圖像分 段(步驟S918)。例如，如圖6的部分A所示，基于在摘要分?jǐn)?shù)之間的比較結(jié) 果，在拍攝部分450的分段461至472中選擇具有最高摘要分?jǐn)?shù)的運動圖像 分段。之后，從捕獲圖像存儲單元IIO讀取選擇的運動圖像分段，并且沿著拍 攝時間的時間軸排列讀取的運動圖像分段(步驟S919)。例如，如圖6的部分 A所示的，基于在拍攝部分450的各個分段461至472的比較結(jié)果選擇的運 動圖像分段被組合為摘要圖像480，如圖6的部分B所示。產(chǎn)生的摘要圖像被存儲在摘要圖像存儲單元170(步驟S920)。包括按照如上所述的本發(fā)明的實施例的圖像處理裝置的圖像處理系統(tǒng) 現(xiàn)在參照圖8詳細描述。圖8圖示了按照本發(fā)明的本實施例的圖像處理系統(tǒng)600的結(jié)構(gòu)。圖像處 理系統(tǒng)600包括圖像處理裝置610和成像設(shè)備620、 630和640。成像設(shè)備620、 630和640是圖像記錄設(shè)備，如數(shù)字視頻相機。成像設(shè)備620、 630和640將捕獲的運動圖像分別存儲到捕獲圖像存儲單元621、 631 和641。圖像處理裝置610通過部分修改按照本發(fā)明的前面的實施例的圖像處理 裝置100獲得。圖像處理裝置610包括用于與至少一個成像設(shè)備連接的多個 連接端子(未示出)。運動圖像從任何成像設(shè)備通過任何連接端子提供給捕獲 圖像輸入單元611。在此情形中，圖像處理裝置610通過如通用串行總線(USB) 線纜的接口分別連接到成像設(shè)備620、 630和640。至于所述接口，除了如 USB線纜的有線線纜外，還可以使用如超寬帶(UWB)的無線接口。圖像處理裝置610是這樣的圖像再現(xiàn)裝置，其能夠讀取通過接口分別連 接到裝置610的成^f象設(shè)備620、 630和640的捕獲圖4象存儲單元621、 631和 641中存儲的運動圖像，并且在顯示單元612上顯示讀取的運動圖像，以便 播放該運動圖像。此外，圖像處理裝置610以與圖像處理裝置IOO類似的方 式，產(chǎn)生從各個成像設(shè)備620、 630和640讀取的運動圖像的摘要圖像，并 且在顯示單元612顯示產(chǎn)生的摘要圖像。圖9顯示按照本發(fā)明的另一個實施例的圖像處理裝置610的結(jié)構(gòu)。圖像 處理系統(tǒng)601包括圖像處理裝置610和成像設(shè)備625、 635和645。成像設(shè)備625、 635和645是圖像記錄設(shè)備，如數(shù)字視頻相機。成像設(shè) 備625、 635和645分別將由各個成像單元626、 636和646捕獲的運動圖像 通過捕獲圖像傳輸單元627、 637和647傳輸給圖像處理裝置610。本實施例 針對這樣的情形描述，其中捕獲圖像傳輸單元627、 637和647通過無線傳 輸運動圖像到圖像處理裝置610。本實施例可以被應(yīng)用于運動圖像在有線電 路上發(fā)送的情形。圖像處理裝置610通過提供用于如圖8所示的圖像處理裝置610的捕獲 圖像接收單元613獲得。圖像處理裝置610是這樣的圖像再現(xiàn)裝置，其能夠 通過捕獲圖像接收單元613接收從成像設(shè)備625、 635和645傳輸?shù)倪\動圖 像，并且在顯示單元612顯示接收的運動圖像，以便于播放該運動圖像。此 外，圖像處理裝置610存儲從成像設(shè)備625、 635和645傳輸?shù)亩鄠€運動圖 像，以與圖8的圖像處理裝置610相類似的方式產(chǎn)生那些運動圖像的摘要圖 像，并且在顯示單元612顯示摘要圖像。如上所述，本發(fā)明的本實施例可以 被應(yīng)用于這樣的情形其中沒有給每個成像設(shè)備提供存儲單元，并且該成像 設(shè)備傳輸捕獲的圖像給圖像處理裝置。圖10圖示按照本發(fā)明的另一個實施例的圖像處理系統(tǒng)602的結(jié)構(gòu)。圖 像處理系統(tǒng)602包括成像設(shè)備650、 660和670。成像設(shè)備650、 660和670是圖像記錄裝置，如數(shù)字視頻相機，并且每 個通過部分修改按照本發(fā)明的前述實施例的圖像處理裝置100獲得。成像設(shè) 備650、 660和670通過無線以自組織方式彼此連接。換句話說，成像設(shè)備 650、 660和670的每個能夠以與圖8的圖^f象處理裝置610相類似的方式產(chǎn)生 摘要圖像并且顯示摘要圖像。本發(fā)明的實施例將針對這樣一種情形描述，其 中通過各個成像設(shè)備660和670的成像單元661和671捕獲的運動圖像通過 捕獲圖像傳輸單元664和674傳輸給成像設(shè)備650。本實施例可以被應(yīng)用于 其它的成像設(shè)備彼此傳輸和接收圖像的情形。例如，成像設(shè)備650可以通過捕獲圖像接收單元653接收從成像設(shè)備660 和670傳輸?shù)倪\動圖像，并且在顯示單元652顯示接收的運動圖像，以便于 播放所述運動圖像。此外，成像設(shè)備650以與圖8的圖像處理裝置610相類 似的方式，存儲從成像設(shè)備660和670傳輸?shù)倪\動圖像，產(chǎn)生運動圖像的摘 要圖像，并且在顯示單元652上顯示摘要圖像。本發(fā)明的本實施例可以被應(yīng) 用于這樣的情形，其中通過無線自組織彼此連接的多個成像設(shè)備捕獲的圖像 通過無線傳輸?shù)揭粋€成像設(shè)備。如上所述，按照本發(fā)明的如上所述的實施例，拍攝部分提取單元120提 取與所謂的令人激動的場景相對應(yīng)的拍攝部分，摘要分?jǐn)?shù)計算單元140計算 包括在拍攝部分中的運動圖像的摘要分?jǐn)?shù)，摘要圖像選擇單元150比較摘要 分?jǐn)?shù)以選擇最適合于觀看的運動圖像分段，并且摘要圖像產(chǎn)生單元160編輯 選擇的運動圖像分段。因此，由多個用戶同時捕獲的大量運動圖像可以被有效編輯和觀看。當(dāng) 摘要圖像首次被觀看時，許多運動圖像的整體可以被快速掌握。因此，摘要 圖像可以鼓勵用戶觀看大量的運動圖像。例如，關(guān)于婚禮招待會，通過取樣 由不同人拍攝婚禮招待會獲得的運動圖像的好的部分產(chǎn)生的摘要圖像可以 被觀看。至于運動會，在各種視點捕獲的接力比賽場景可以被容易地看到?，F(xiàn)在將參照圖ll描述本發(fā)明的前述實施例的修改。圖11是按照本發(fā)明的前述實施例的修改的圖像處理裝置700的功能性 結(jié)構(gòu)的框圖。圖像處理裝置700包括捕獲圖像存儲單元IIO、拍攝部分提 取單元120、特征提取單元130、摘要分?jǐn)?shù)計算單元140、摘要圖像選擇單元21150、摘要圖像產(chǎn)生單元160、摘要圖像存儲單元170、顯示控制單元180、 操作接收單元190、顯示單元200、閾值保持單元710和摘要分段提取單元 720。在圖像處理裝置700中，除了摘要圖像選擇單元150、閾值保持單元 710和摘要分段提取單元720外的組件與圖像處理裝置100中的那些相同。 因此，對相同組件的描述將被忽略。閾值保持單元710保持用于對基于運動圖像的各個特征量計算的摘要分 數(shù)進行閾值處理的閾值。例如，閾值保持單元710保持"4.0"的閾值。摘要分段提取單元720從包括在由拍攝部分提取單元120提取的拍攝部 分中的每個運動圖像，提取對應(yīng)于由閾值保持單元710保持的閾值或之上的 摘要分?jǐn)?shù)的部分分段(也被稱作為摘要分段)。摘要分段提取單元720將提取 的部分分段輸出到摘要圖像選擇單元150。部分分段的提取將隨后參照圖12 i羊纟田4葛述。摘要圖像選擇單元150按時間序列，比較在由摘要分段提取單元720提 取的部分分段中、通過摘要分?jǐn)?shù)計算單元140計算的各個運動圖像的摘要分 數(shù)，因此提取每個部分分段中具有最高摘要分?jǐn)?shù)的運動圖像分段。圖12顯示從運動圖像500提取的特征量、基于特征量計算的摘要分?jǐn)?shù) 和基于摘要分?jǐn)?shù)和闞值提取的運動圖像500中的部分分段的例子。圖12的 部分A至E與圖4的那些相同，因此這些部分的描述將被省略。在圖12的部分F中，曲線圖顯示基于在圖12的部分A至E顯示的特 征量獲得的摘要分?jǐn)?shù)。該圖與如圖4的部分F所示的相同。在圖12的部分 F中，該圖顯示依據(jù)拍攝時間繪畫的摘要分?jǐn)?shù)。在本發(fā)明的前述實施例中，摘要圖像利用基于在由拍攝部分提取單元 120提取的拍攝部分中包括的各個運動圖像的特征量所計算的所有摘要分?jǐn)?shù) 產(chǎn)生。按照該修改，基于各個運動圖像的特征量所計算的摘要分?jǐn)?shù)經(jīng)歷閾值 處理，并且在該閾值或之上的摘要分?jǐn)?shù)被用來產(chǎn)生摘要圖像。如圖12的部分F所示，摘要圖像選擇單元150在與由闊值保持單元710 保持的閾值711或之上的摘要分?jǐn)?shù)相對應(yīng)的每個部分分段中，選擇任何運動 圖像的部分或全部。圖12的部分G顯示依據(jù)拍攝時間繪畫的與閾值711或之上的摘要分?jǐn)?shù) 相對應(yīng)的部分分段721至726。與閾值711或之上的摘要分?jǐn)?shù)相對應(yīng)的部分 分段用陰影線表示。如上所迷，在與閾值711或之上的摘要分?jǐn)?shù)相對應(yīng)的部分分段721至726中的每個中，按時間序列比較由摘要分?jǐn)?shù)計算單元140所 計算的各個運動圖像的摘要分?jǐn)?shù)。具有最高摘要分?jǐn)?shù)的運動圖像分段在每個 部分分段被選擇。該修改已經(jīng)參照固定值"4.0"被用作閾值的情形描述。閾值可以按照運 動圖像的摘要分?jǐn)?shù)的分布調(diào)整。例如，閾值可以在每個部分分段中設(shè)置，使 得排序在所計算的摘要分?jǐn)?shù)中的頭10 %的摘要分?jǐn)?shù)在每個部分分段被選擇。 或者，用戶可以通過操作接收單元190按照用戶的偏好輸入閾值。按照本發(fā)明的前述實施例的修改，適合于觀看的運動圖像分段使用由閾 值保持單元710保持的閾值選擇，因此產(chǎn)生包括更短的運動圖像分段的摘要 圖像。因此，由用戶同時捕獲的大量運動圖像可以被有效編輯，使得運動圖 像可以被更快速地觀看。已經(jīng)參照運動圖像描述了本發(fā)明的上述實施例和修改。本發(fā)明的實施例 可以被應(yīng)用于連續(xù)捕獲的圖像，如相片。此外，典型的縮略圖像可以從構(gòu)成 產(chǎn)生的摘要圖像的各個分段中的運動圖像分段(例如，在圖6的拍攝部分分 段461至472)提取。典型的縮略圖像可以在摘要圖像的回放之前按時間序列 顯示。本發(fā)明的實施例已經(jīng)相對于圖像處理裝置描述。本發(fā)明的實施例可以被 應(yīng)用于如便攜式終端的圖像顯示裝置和如數(shù)字靜態(tài)照相機的成像設(shè)備，它們 能夠輸入多個圖像并且顯示輸入的圖像。本發(fā)明的實施例是體現(xiàn)本發(fā)明的例子。盡管在權(quán)利要求書的特征和本發(fā) 明的每個實施例的具體元件之間存在對應(yīng)，但是如隨后描述的，本發(fā)明不限 于實施例。本領(lǐng)域技術(shù)人員應(yīng)該理解到，各種修改、組合和子組合和更改可 以取決于設(shè)計要求和其它因素發(fā)生，只要它們落入權(quán)利要求書或其等價物的 范圍內(nèi)。圖像處理裝置100、圖像處理裝置610或圖像處理裝置700對應(yīng)于例如 按照本發(fā)明的第 一或第二實施例的圖像處理裝置。捕獲圖像存儲單元110對應(yīng)于例如按照本發(fā)明的第 一 實施例的圖像存儲部分。特征提取單元13 0對應(yīng)于例如按照本發(fā)明的第 一或第二實施例的特征提 取部分。摘要圖像選擇單元150對應(yīng)于例如按照本發(fā)明的第一或第二實施例 的圖像選擇部分。摘要圖像產(chǎn)生單元160對應(yīng)于例如按照本發(fā)明的第一或第二實施例的摘要圖像產(chǎn)生部分。摘要分?jǐn)?shù)計算單元140對應(yīng)于例如按照本發(fā)明的第一實施例的摘要分?jǐn)?shù) 計算部分。拍攝部分提取單元120對應(yīng)于例如按照本發(fā)明的第 一 實施例的重疊拍攝 部分提取部分。閾值保持單元710對應(yīng)于例如按照本發(fā)明的第一實施例的閾值保持部 分。摘要分段提取單元720對應(yīng)于例如按照本發(fā)明的第一實施例的摘要分段 提取部分。捕獲圖像輸入單元611對應(yīng)于例如按照本發(fā)明的第二實施例的圖像輸入 部分。步驟S915對應(yīng)于例如按照本發(fā)明的第三或第四實施例的特征提取步 驟。步驟S918對應(yīng)于例如按照本發(fā)明的第三或第四實施例的圖像選擇步驟。 步驟S919對應(yīng)于例如按照本發(fā)明的第三或第四實施例的摘要圖像產(chǎn)生步驟。在本發(fā)明的前述實施例中描述的處理步驟可以被認(rèn)為包括那些處理步 驟的方法、允許計算機執(zhí)行那些處理步驟的程序或存儲該程序的記錄介質(zhì)。 相關(guān)申請的交叉引用本發(fā)明包含涉及于2007年6月15日向日本專利局提交的日本專利申請 JP2007- 159468的主題，其整個內(nèi)容通過引用在此并入。
權(quán)利要求
1.一種圖像處理裝置，包括圖像存儲裝置，用于存儲與時間信息有關(guān)的多個圖像；特征提取裝置，用于提取在圖像存儲裝置中存儲的每個圖像的特征量；圖像選擇裝置，用于基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征量，選擇存儲在圖像存儲裝置中的、幾個或全部圖像的每個重疊部分集中包括的至少一個圖像，所述重疊部分集包括相對于拍攝時間重疊的幾個或全部圖像的重疊部分；以及摘要圖像產(chǎn)生裝置，用于基于選擇的圖像產(chǎn)生在圖像存儲裝置中存儲的圖像的摘要圖像。
2. 如權(quán)利要求1所述的裝置，還包括摘要分?jǐn)?shù)計算裝置，用于計算每個圖像的摘要分?jǐn)?shù)，所述摘要分?jǐn)?shù)通過 加權(quán)和相加提取的特征量獲得，其中圖像選擇裝置比較重疊部分集中包括的各個圖像的所計算的摘要分?jǐn)?shù)， 以選擇具有最高摘要分?jǐn)?shù)的 一個圖像。
3. 如權(quán)利要求1所述的裝置，其中摘要圖像產(chǎn)生裝置通過按時間序列排 列選擇的圖像產(chǎn)生摘要圖像。
4. 如權(quán)利要求1所述的裝置，其中存儲在圖像存儲裝置中的圖像是按時間序列捕獲的運動圖像，所述特征提取裝置在每個預(yù)定部分按時間序列提取在圖像存儲裝置中 存儲的每個運動圖像的特征量，圖像選擇裝置，基于在每個部分提取的特征量，選擇該部分中的至少一 個運動圖像分段，其中存儲在圖像存儲裝置的幾個或全部運動圖像相對于拍 攝時間重疊，以及摘要圖像產(chǎn)生裝置，基于選擇的運動圖像分段產(chǎn)生摘要圖像。
5. 如權(quán)利要求4所述的裝置，還包括 重疊拍攝部分提取裝置，用于基于所述時間信息，提取每個重疊拍攝部 分，該重疊拍攝部分用作這樣的部分，其中存儲在圖像存儲裝置中的至少一 個運動圖像相對于拍攝時間與另 一個運動圖像重疊，其中特征提取裝置提取包括在提取的重疊拍攝部分中的各個運動圖像的特征量，以及圖像選擇裝置選擇部分分段中的運動圖像分段，其中提取的重疊拍攝部 分的該運動圖像相對于拍攝時間重疊。
6. 如權(quán)利要求5所述的裝置，其中重疊拍攝部分是這樣的部分，該部分 包括存儲在圖像存儲裝置中的、相對于拍攝時間與另 一個運動圖像重疊的至 少一個運動圖像，并且包括預(yù)定數(shù)目或更多的運動圖像。
7. 如權(quán)利要求4所述的裝置，其中圖像選擇裝置在其中存儲在圖像存儲裝置中的運動圖像相對于拍攝時 間不重疊的每個部分中，選擇與另 一個運動圖像相對于拍攝時間不重疊的運 動圖像分段；以及摘要圖像產(chǎn)生裝置通過按時間序列排列選擇的運動圖像分段產(chǎn)生摘要 圖像。
8. 如權(quán)利要求4所述的裝置，還包括摘要分?jǐn)?shù)計算裝置，用于在每個運動圖像的每個預(yù)定部分計算每個運動 圖像的摘要分?jǐn)?shù)，所述摘要分?jǐn)?shù)通過加權(quán)和相加提取的特征量獲得； 閾值保持裝置，用于保持預(yù)定的閾值；以及摘要分段提取裝置，用于提取與所計算的摘要分?jǐn)?shù)中在所述閾值或之上 的每個摘要分?jǐn)?shù)相對應(yīng)的摘要分段，其中圖像選擇裝置比較在提取的摘要分段中的所計算的摘要分?jǐn)?shù)，以選擇具 有最高摘要分?jǐn)?shù)的運動圖像分段。
9. 一種圖像處理裝置，包括圖像輸入裝置，用于輸入與時間信息有關(guān)的多個圖像；特征提取裝置，用于提取每個輸入圖像的特征量；圖像選擇裝置，用于基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征 量，選擇幾個或全部輸入圖像的每個重疊部分集中包括的至少一個圖像，所 述重疊部分集包括相對于拍攝時間重疊的幾個或全部的圖像的重疊部分；以 及摘要圖像產(chǎn)生裝置，用于基于選擇的圖像產(chǎn)生輸入圖像的摘要圖像。
10. —種用于圖像處理裝置的圖像處理方法，該圖像處理裝置包括用于存 儲與時間信息有關(guān)的多個圖像的圖像存儲裝置、特征提取裝置、圖像選擇裝置和摘要圖像產(chǎn)生裝置，所述方法包括步驟提取在圖像存儲裝置中存儲的每個圖像的特征量；基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征量，選擇存儲在圖像 存儲裝置的幾個或全部圖像的每個重疊部分集中包括的至少一個圖像，所述重疊部分集包括相對于拍攝時間重疊的幾個或全部圖像的重疊部分；以及 基于選擇的圖像產(chǎn)生在圖像存儲裝置中存儲的圖像的摘要圖像。
11. 一種程序，其允許計算機執(zhí)行用于圖像處理裝置的圖像處理方法， 該圖像處理裝置包括用于存儲與時間信息有關(guān)的多個圖像的圖像存儲裝置、 特征提取裝置、圖像選擇裝置和摘要圖像產(chǎn)生裝置，所述方法包括步驟提取在圖像存儲裝置中存儲的每個圖像的特征量；基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征量，選擇存儲在圖像 存儲裝置中的幾個或全部圖像的每個重疊部分集中包括的至少一個圖像，所 述重疊部分集包括相對于拍攝時間重疊的幾個或全部圖像的重疊部分；以及基于選擇的圖像產(chǎn)生在圖像存儲裝置中存儲的圖像的摘要圖像。
12. —種圖像處理裝置，包括圖像存儲部分，用于存儲與時間信息有關(guān)的多個圖像； 特征提取部分，用于提取在圖像存儲部分中存儲的每個圖像的特征量； 圖像選擇部分，用于基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征量，選擇存儲在圖像存儲部分中的、幾個或全部圖像的每個重疊部分集中包括的至少一個圖像；所ii重疊部分集包括相對于拍攝時間重疊的幾個或全部的圖像的重疊部分；以及摘要圖像產(chǎn)生部分，用于基于選擇的圖像產(chǎn)生在圖像存儲部分中存儲的圖像的摘要圖像。
13. —種圖像處理裝置，包括圖像輸入部分，用于輸入與時間信息有關(guān)的多個圖像；特征提取部分，用于提取每個輸入圖像的特征量；圖像選擇部分，用于基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征 量，選擇幾個或全部輸入圖像的每個重疊部分集中包括的至少一個圖像，所 述重疊部分集包括相對于拍攝時間重疊的幾個或全部圖像的重疊部分；以及摘要圖像產(chǎn)生部分，用于基于選擇的圖像產(chǎn)生輸入圖像的摘要圖像。
全文摘要
一種圖像處理裝置包括下面的元件。圖像存儲部分存儲與時間信息有關(guān)的多個圖像。特征提取部分提取在圖像存儲部分中存儲的每個圖像的特征量。圖像選擇部分基于與重疊部分集中包括的各個圖像相關(guān)聯(lián)的特征量，選擇存儲在圖像存儲部分中的幾個或全部圖像的每個重疊部分集中包括的至少一個圖像，所述重疊部分集包括相對于拍攝時間重疊的幾個或全部圖像的重疊部分。摘要圖像產(chǎn)生部分基于選擇的圖像產(chǎn)生在圖像存儲部分中存儲的圖像的摘要圖像。
文檔編號G06F17/30GK101325680SQ200810125988
公開日2008年12月17日 申請日期2008年6月16日 優(yōu)先權(quán)日2007年6月15日
發(fā)明者倉田雅友, 小形崇, 村田誠, 王啟宏 申請人:索尼株式會社