專利名稱：運動圖像處理裝置、運動圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及運動圖像處理裝置、運動圖像處理方法和程序。
背景技術(shù)：
一般地，視頻(或運動圖像)包括多個剪切片段(cut)。在現(xiàn)有技術(shù)中，為了了解視頻的剪切片段結(jié)構(gòu)，已經(jīng)公開了一種運動圖像處理方法，用于以恒定的幀間隔按時間順序布置和顯示視頻的縮略圖。該運動圖像處理方法可以提供關(guān)于視頻的對象的信息。

發(fā)明內(nèi)容
另外，在視頻表現(xiàn)中，存在一種情況，其中剪切片段結(jié)構(gòu)被設計為例如根據(jù)制作者的意圖在時間上間隔地布置具有相同內(nèi)容的剪切片段。現(xiàn)有技術(shù)中的運動圖像處理方法提供關(guān)于視頻的對象的信息，但沒有充分地提供關(guān)于捕捉視頻的對象的方法的信息，換言之， 關(guān)于與視頻的時間情境有關(guān)的視頻表現(xiàn)方法的信息。同時，存在這樣的情況，其中與視頻的時間情境有關(guān)的視頻表現(xiàn)方法可能對于觀看視頻的人或使用視頻作為其他視頻等等的素材的人是重要的。然而，由于現(xiàn)有技術(shù)中的運動圖像處理方法不能充分地提供這種信息，因此觀看者或使用者可能不能直觀地了解視頻的剪切片段結(jié)構(gòu)。鑒于上述情況，希望提供一種使能容易地了解運動圖像的剪切片段結(jié)構(gòu)的運動圖像處理裝置、運動圖像處理方法和程序。根據(jù)本公開的實施例，提供了一種運動圖像處理裝置，包括剪切片段轉(zhuǎn)變檢測單元，被配置為從包括多個剪切片段的運動圖像中檢測剪切片段間轉(zhuǎn)變；剪切片段分組單元， 被配置為基于剪切片段之間的相似程度來將多個剪切片段分組成剪切片段群組；剪切片段間距離計算單元，被配置為基于運動圖像中的剪切片段間時間距離來計算剪切片段間距離；剪切片段群組間距離計算單元，被配置為通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離求和來計算剪切片段群組間距離；以及剪切片段結(jié)構(gòu)圖像生成單元，被配置為生成剪切片段結(jié)構(gòu)圖像，該剪切片段結(jié)構(gòu)圖像包括屬于剪切片段群組的剪切片段的代表圖像和指示剪切片段群組間距離的信息。當用指示運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的順序的轉(zhuǎn)變信息作為Iii和IijOii < Iij)時，剪切片段間距離計算單元可計算從轉(zhuǎn)變信息Iii和η」的差值 Iij-Iii獲得的(r^-ni)a(a Φ 0)作為剪切片段i與剪切片段j之間的剪切片段間距離。當用指示運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的定時的轉(zhuǎn)變信息作為Iii和IijOii < nj)時，剪切片段間距離計算單元可計算從轉(zhuǎn)變信息IIi和η」的差值 Iij-Iii獲得的(r^_ni)b(b Φ 0)作為剪切片段i與剪切片段j之間的剪切片段間距離。轉(zhuǎn)變信息Iii和r^.可分別是剪切片段i的結(jié)束幀號碼和剪切片段j的起始幀號碼， 或者分別是剪切片段i的結(jié)束時間幀和剪切片段j的起始時間幀。當用指示運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的順序的轉(zhuǎn)變信息作為Iili和Iil^nli < nlj)時，剪切片段間距離計算單元可計算從轉(zhuǎn)變信息Iili和Iilj 的差值!!^.-!!、獲得的(nl-nl^la興0)作為剪切片段i與剪切片段j之間的第一剪切片段間距離。當用指示運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的定時的轉(zhuǎn)變信息作為n2i和11^(11 < n2j)時，剪切片段間距離計算單元可計算從轉(zhuǎn)變信息Mi和 n2j的差值112,11 獲得的Φ 0)作為剪切片段i與剪切片段j之間的第二剪切片段間距離。剪切片段間距離計算單元可基于用第一剪切片段間距離和第二剪切片段間距離作為項的多項式來計算剪切片段i與剪切片段j之間的剪切片段間距離。轉(zhuǎn)變信息Mi和11 可分別是剪切片段i的結(jié)束幀號碼和剪切片段j的起始幀號碼，或者分別是剪切片段i的結(jié)束時間幀和剪切片段j的起始時間幀。剪切片段結(jié)構(gòu)圖像生成單元可生成如下的剪切片段結(jié)構(gòu)圖像在該剪切片段結(jié)構(gòu)圖像中，相互不同的、屬于剪切片段群組的至少一個剪切片段的至少一個代表圖像的集合根據(jù)剪切片段群組間距離相互間隔開。剪切片段結(jié)構(gòu)圖像生成單元可生成包括指示剪切片段轉(zhuǎn)變的順序的信息的剪切片段結(jié)構(gòu)圖像。當至少兩個剪切片段屬于同一剪切片段群組時，為了強調(diào)相對于該剪切片段群組的基準剪切片段的代表圖像的變化部分，剪切片段結(jié)構(gòu)圖像生成單元可修改其他剪切片段的代表圖像。剪切片段間距離計算單元可根據(jù)指示剪切片段間時間距離的轉(zhuǎn)變信息的倒數(shù)來計算剪切片段間距離，并且可根據(jù)通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離求和而獲得的值的倒數(shù)來計算剪切片段群組間距離。根據(jù)本公開的另一實施例，提供了一種運動圖像處理方法，包括從包括多個剪切片段的運動圖像中檢測剪切片段間轉(zhuǎn)變；基于剪切片段之間的相似程度來將多個剪切片段分組成剪切片段群組；基于運動圖像中的剪切片段間時間距離來計算剪切片段間距離；通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離求和來計算剪切片段群組間距離；以及生成剪切片段結(jié)構(gòu)圖像，該剪切片段結(jié)構(gòu)圖像包括屬于剪切片段群組的剪切片段的代表圖像和指示剪切片段群組間距離的信息。根據(jù)本公開的另一實施例，提供了一種程序，其使得計算機執(zhí)行該運動圖像處理方法。該程序可在計算機可讀介質(zhì)中提供或經(jīng)由通信等手段提供。根據(jù)以上所述的本公開的實施例，可以提供一種使得能夠容易地了解運動圖像的剪切片段結(jié)構(gòu)的運動圖像處理裝置、運動圖像處理方法和程序。


圖1是說明根據(jù)本公開的實施例的運動圖像處理方法的概要的示圖；圖2是示出運動圖像處理裝置的配置的框圖；圖3是示出運動圖像處理裝置的操作過程的流程圖；圖4是示出剪切片段結(jié)構(gòu)的示例的示圖；圖5是示出剪切片段分組處理的過程的流程圖；圖6是示出圖4中所示的剪切片段結(jié)構(gòu)中的剪切片段分組處理的結(jié)果的表格；圖7A是示出剪切片段間距離的計算過程的示例的示圖7B是示出剪切片段間距離的計算過程的另一示例的示圖；圖7C是示出剪切片段間距離的計算過程的另一示例的示圖；圖8是示出圖4中所示的剪切片段結(jié)構(gòu)中的剪切片段間距離的計算結(jié)果的示圖；圖9是示出圖8中所示的剪切片段結(jié)構(gòu)中的剪切片段群組間距離的計算結(jié)果的示圖；圖10是示出圖4中所示的剪切片段結(jié)構(gòu)中的剪切片段結(jié)構(gòu)圖像的示例的示圖；圖11是示出圖10中所示的剪切片段結(jié)構(gòu)圖像的修改例的示圖；并且圖12是示出圖10中所示的剪切片段結(jié)構(gòu)圖像的另一修改例的示圖。
具體實施例方式下面，將參考附圖詳細描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的標號來標示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復說明。[1.運動圖像處理方法的概要]首先，將參考圖1來描述根據(jù)本公開的實施例的運動圖像處理方法的概要。圖1 示出了運動圖像處理方法的概要。在根據(jù)本公開的實施例的運動圖像處理方法中，首先從包括多個剪切片段的運動圖像MP中檢測剪切片段間轉(zhuǎn)變。接下來，基于剪切片段間相似程度將這多個剪切片段分組成剪切片段群組。然后，基于運動圖像MP中的剪切片段間時間距離計算剪切片段間距離 Dc (剪切片段間距離的總稱)，并且通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離Dc求和來計算剪切片段群組間距離Dg(剪切片段群組間距離的總稱)。這里，剪切片段間距離Dc指示剪切片段間的相關(guān)程度，并且剪切片段群組間距離 Dg指示剪切片段群組間的相關(guān)程度。然后，生成屬于某一剪切片段群組的剪切片段的代表圖像I (代表圖像的總稱)，和包括指示剪切片段群組間距離Dg的信息的剪切片段結(jié)構(gòu)圖像 Cl。剪切片段結(jié)構(gòu)圖像CI作為用于容易地了解運動圖像MP的剪切片段結(jié)構(gòu)的信息，通過下文將描述的運動圖像處理裝置1和外部裝置被輸出。在圖1所示的示例中，運動圖像MP包括剪切片段1和2、與剪切片段1相似的剪切片段3、與剪切片段2相似的剪切片段4、以及與剪切片段1至4中的任何一個都不相似的剪切片段5。在剪切片段1至5中，基于剪切片段間的相似程度，剪切片段1和3被分組到剪切片段群組1中，剪切片段2和4被分組到剪切片段群組2中，并且剪切片段5被分組到剪切片段群組3中。在剪切片段1至5之中，基于剪切片段間時間距離計算剪切片段間距離Dc1,2，Dc1, 3，. . .，Dc4,5,并且通過在剪切片段群組1至3的每一個中對針對剪切片段1至5計算的剪切片段間距離Dc1,2，Dc1,3, . . .，Dc4,5求和來計算剪切片段群組間距離Dg1,2，Dg1,3和Dg2,3。這里，剪切片段群組間距離Dg指示剪切片段群組間的相關(guān)程度。因此，可以利用剪切片段群組間距離Dgl,2、Dg1,3和來指示剪切片段群組1和2、剪切片段群組1和3以及剪切片段群組2和3之間的相關(guān)程度。這里，在圖1中所示的示例中，運動圖像MP包含包括剪切片段1和2和剪切片段 3和4在內(nèi)的剪切片段的重復，以及剪切片段4之后的剪切片段5。因此，基于剪切片段的重復，認為在剪切片段群組1與剪切片段群組2而不是剪切片段群組3之間存在較強的相關(guān)性。另外，基于剪切片段轉(zhuǎn)變的順序，認為在剪切片段群組3與剪切片段群組2而不是剪切片段群組1之間存在較強的相關(guān)性。從而，例如，當剪切片段群組間距離Dg被計算成與剪切片段群組間相關(guān)性強度成反比時，剪切片段群組1和2之間的剪切片段群組間距離Dgl,2被計算成小于剪切片段群組 1和3之間的剪切片段群組間距離Dg1,3。另外，剪切片段群組2和3之間的剪切片段群組間距離被計算成小于剪切片段群組1和3之間的剪切片段群組間距離Dg1,3。在剪切片段結(jié)構(gòu)圖像CI中，屬于剪切片段群組1至3的剪切片段1至5的代表圖像Il至15按剪切片段群組之間的剪切片段群組間距離Dg相互間隔開。從而，可以容易地了解剪切片段群組間的相關(guān)程度。此外，在圖1中，剪切片段群組間距離Dg由數(shù)值信息指示。然而，可以不指示數(shù)值信息。這樣，利用剪切片段結(jié)構(gòu)圖像CI提供了關(guān)于與視頻的時間情境有關(guān)的視頻表現(xiàn)方法的信息。結(jié)果，視頻的觀看者或使用者觀看視頻或?qū)⒁曨l用作其他視頻等等的素材，從而易于了解視頻的剪切片段結(jié)構(gòu)。[2.運動圖像處理裝置1的配置]接下來，將參考圖2描述根據(jù)本公開的實施例的運動圖像處理裝置1。圖2示出了運動圖像處理裝置1的主要功能配置。如圖2中所示，運動圖像處理裝置1包括數(shù)據(jù)獲取單元11、剪切片段轉(zhuǎn)變檢測單元13、剪切片段分組單元15、剪切片段間距離計算單元17、剪切片段群組間距離計算單元19、剪切片段結(jié)構(gòu)圖像生成單元21、剪切片段結(jié)構(gòu)圖像輸出單元23、剪切片段結(jié)構(gòu)信息輸出單元25、以及數(shù)據(jù)存儲單元27。數(shù)據(jù)獲取單元11獲取包括多個剪切片段的運動圖像數(shù)據(jù)MP，并將運動圖像數(shù)據(jù) MP提供給剪切片段轉(zhuǎn)變檢測單元13、剪切片段分組單元15和剪切片段結(jié)構(gòu)圖像生成單元 21。一般地，運動圖像數(shù)據(jù)MP是幀格式的數(shù)據(jù)，并且可以僅是圖像數(shù)據(jù)或者是圖像數(shù)據(jù)和聲音數(shù)據(jù)的組合?？蓮臄?shù)據(jù)存儲單元27或外部裝置(未示出)獲取運動圖像數(shù)據(jù)MP。剪切片段轉(zhuǎn)變檢測單元13檢測運動圖像數(shù)據(jù)MP中的剪切片段轉(zhuǎn)變并將檢測結(jié)果提供給剪切片段分組單元15。剪切片段轉(zhuǎn)變表示運動圖像MP中的剪切片段的變化?；谶B續(xù)的幀中的圖像和/或聲音的特征量的相似程度來檢測剪切片段轉(zhuǎn)變。作為圖像和/或聲音的特征量，可以使用顏色直方圖和臉部圖像檢測，和/或聲音的音量、音調(diào)/節(jié)奏等等。 此外，剪切片段轉(zhuǎn)變的檢測結(jié)果除了被提供給剪切片段分組單元15以外，還可被提供給剪切片段結(jié)構(gòu)信息輸出單元25、數(shù)據(jù)存儲單元27、外部裝置等等。另外，當檢測剪切片段轉(zhuǎn)變時獲得的特征量可被存儲在數(shù)據(jù)存儲單元27等等中并用于其他處理。在檢測到剪切片段轉(zhuǎn)變之后，剪切片段轉(zhuǎn)變檢測單元13向剪切片段賦予指示出運動圖像MP中的剪切片段轉(zhuǎn)變的順序的轉(zhuǎn)變信息和指示剪切片段轉(zhuǎn)變的定時的剪切片段轉(zhuǎn)變信息。指示剪切片段轉(zhuǎn)變的順序的轉(zhuǎn)變信息是剪切片段號碼(剪切片段ID)等等，而指示剪切片段轉(zhuǎn)變的定時的轉(zhuǎn)變信息例如是幀號碼和時間碼。可以從運動圖像數(shù)據(jù)MP中提取或基于運動圖像數(shù)據(jù)MP生成幀號碼和時間碼。剪切片段轉(zhuǎn)變信息與剪切片段轉(zhuǎn)變的檢測結(jié)果一起被提供給剪切片段分組單元15。然而，剪切片段轉(zhuǎn)變信息可被提供給數(shù)據(jù)存儲單元27、外部裝置等等。剪切片段分組單元15基于剪切片段間的相似程度將多個剪切片段分組成剪切片段群組，這將在下文中詳細描述。剪切片段分組結(jié)果與剪切片段轉(zhuǎn)變的檢測結(jié)果一起被提供給剪切片段間距離計算單元17。然而，剪切片段分組結(jié)果可被提供給剪切片段結(jié)構(gòu)信息輸出單元25、數(shù)據(jù)存儲單元27、外部裝置等等。剪切片段間相似程度是根據(jù)剪切片段中包括的圖像和/或聲音的顏色直方圖和臉部圖像的檢測結(jié)果和/或包括聲音的音量、音調(diào)/ 節(jié)奏等等的剪切片段的特征量S(特征量的總稱)來計算的。剪切片段群組表示具有相似的特征量S的剪切片段的組合。剪切片段分組單元15基于剪切片段分組結(jié)果向剪切片段賦予表示剪切片段群組的群組ID。剪切片段間距離計算單元17基于剪切片段轉(zhuǎn)變信息來計算剪切片段間距離Dc， 這將在下文中描述。剪切片段間距離Dc是基于運動圖像MP中的剪切片段間的時間距離來計算的，以便指示剪切片段間的相關(guān)程度。剪切片段間距離Dc的計算結(jié)果被提供給剪切片段群組間距離計算單元19。然而，剪切片段間距離Dc的計算結(jié)果可被提供給數(shù)據(jù)存儲單元 27、外部裝置等等。剪切片段群組間距離計算單元19基于剪切片段間距離Dc的計算結(jié)果來計算剪切片段群組間距離Dg，這將在下文中描述。剪切片段群組間距離Dg是通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離Dc求和來計算的，以便指示剪切片段群組間的相關(guān)程度。剪切片段群組間距離Dg的計算結(jié)果被提供給剪切片段結(jié)構(gòu)圖像生成單元21。然而，剪切片段群組間距離Dg的計算結(jié)果可被提供給剪切片段結(jié)構(gòu)信息輸出單元 25、數(shù)據(jù)存儲單元27、外部裝置等等。為了生成剪切片段結(jié)構(gòu)圖像Cl，剪切片段結(jié)構(gòu)圖像生成單元21根據(jù)預定的標準， 基于運動圖像數(shù)據(jù)MP和剪切片段轉(zhuǎn)變的檢測結(jié)果，從每個剪切片段中包括的圖像中提取代表圖像I。代表圖像I是代表每個剪切片段的圖像，并且例如是以與剪切片段的中央幀相對應的圖像的形式來提取的。剪切片段結(jié)構(gòu)圖像CI是以包括屬于剪切片段群組的剪切片段的代表圖像I和指示剪切片段群組間距離Dg的信息的圖像的形式來生成的。剪切片段結(jié)構(gòu)圖像輸出單元23輸出從剪切片段結(jié)構(gòu)圖像生成單元21提供來的剪切片段結(jié)構(gòu)圖像Cl，以便用戶能夠容易地了解運動圖像MP的剪切片段結(jié)構(gòu)。剪切片段結(jié)構(gòu)圖像CI可被輸出到與運動圖像處理裝置1相連接的顯示裝置、打印裝置、存儲裝置或外部裝置(未示出)。剪切片段結(jié)構(gòu)信息輸出單元25輸出剪切片段間距離Dc和/或剪切片段群組間距離Dg的計算結(jié)果等等作為剪切片段結(jié)構(gòu)信息，以便用戶能夠使用剪切片段結(jié)構(gòu)信息來了解剪切片段結(jié)構(gòu)。剪切片段結(jié)構(gòu)信息可被輸出到與運動圖像處理裝置1相連接的顯示裝置、打印裝置、存儲裝置或外部裝置(未示出)。剪切片段結(jié)構(gòu)信息可用作用于執(zhí)行考慮剪切片段結(jié)構(gòu)的運動圖像搜索的數(shù)據(jù)。例如，可以用某個剪切片段作為基準剪切片段并且可搜索與基準剪切片段具有強相關(guān)性的剪切片段，或者可以用包括某個剪切片段的剪切片段群組作為基準剪切片段群組并且可搜索與基準剪切片段群組具有強相關(guān)性的剪切片段群組。另外，可以搜索包括相互之間具有強相關(guān)性的剪切片段群組的集合的運動圖像MP。數(shù)據(jù)存儲單元27存儲運動圖像數(shù)據(jù)MP和屬于運動圖像數(shù)據(jù)MP的數(shù)據(jù)。數(shù)據(jù)存儲單元27可存儲與運動圖像數(shù)據(jù)MP相關(guān)聯(lián)的諸如剪切片段轉(zhuǎn)變的檢測結(jié)果、剪切片段分組結(jié)果以及剪切片段間距離Dc和剪切片段群組間距離Dg的計算結(jié)果之類的剪切片段結(jié)構(gòu)信息以及剪切片段結(jié)構(gòu)圖像Cl。此外，在圖2中，省略了數(shù)據(jù)存儲單元27與其他元件之間的連接關(guān)系的一部分。這里，在功能配置中，數(shù)據(jù)獲取單元11、剪切片段轉(zhuǎn)變檢測單元13、剪切片段分組單元15、剪切片段間距離計算單元17、剪切片段群組間距離計算單元19、剪切片段結(jié)構(gòu)圖像生成單元21、剪切片段結(jié)構(gòu)圖像輸出單元23和剪切片段結(jié)構(gòu)信息輸出單元25包括諸如 CPU或數(shù)字信號處理裝置(DSP)之類的運算處理單元。數(shù)據(jù)存儲單元27包括諸如閃存之類的內(nèi)部存儲設備或者諸如硬盤驅(qū)動器或藍光盤驅(qū)動器之類的外部存儲設備。CPU在RAM上展開并執(zhí)行從ROM等等讀取的程序，從而執(zhí)行運動圖像處理方法。此外，功能配置的至少一部分可由諸如專用邏輯之類的硬件來實現(xiàn)。[3.運動圖像處理裝置1的操作]接下來，將參考圖3至12來描述根據(jù)本公開的實施例的運動圖像處理裝置1的操作。圖3示出了運動圖像處理裝置1的操作過程。如圖3中所示，數(shù)據(jù)獲取單元11首先獲取運動圖像數(shù)據(jù)MP (步驟Sll)，并將運動圖像數(shù)據(jù)MP提供給剪切片段轉(zhuǎn)變檢測單元13等等。剪切片段轉(zhuǎn)變檢測單元13基于運動圖像數(shù)據(jù)MP檢測運動圖像MP中的剪切片段轉(zhuǎn)變(步驟S13)，并將檢測結(jié)果提供給剪切片段分組單元15?；谶B續(xù)的幀中的圖像和/或聲音的特征量來檢測剪切片段轉(zhuǎn)變。向每個剪切片段賦予諸如剪切片段ID、幀號碼和時間碼之類的剪切片段轉(zhuǎn)變信息(步驟S15)。此外，在下文中，將主要描述指示運動圖像MP中的剪切片段轉(zhuǎn)變的順序的剪切片段號碼被用作剪切片段結(jié)構(gòu)信息的情況。圖4示出了從剪切片段轉(zhuǎn)變的檢測結(jié)果獲得的剪切片段結(jié)構(gòu)的示例。為了幫助理解，圖4利用每個剪切片段的代表圖像I示出剪切片段結(jié)構(gòu)。此外，代表圖像I是由剪切片段結(jié)構(gòu)圖像生成單元21從運動圖像數(shù)據(jù)MP中提取的，這將在下文中描述。如圖4中所示， 剪切片段1、3和6相互相似，剪切片段2、4和7相互相似，并且剪切片段5不與剪切片段1 至4、6和7中的任何一個相似。接下來，剪切片段分組單元15執(zhí)行用于將剪切片段分組成剪切片段群組的剪切片段分組處理(步驟S17)。圖5示出了剪切片段分組處理的過程。如圖5中所示，在剪切片段分組處理中，首先執(zhí)行初始化處理(步驟S51)。在初始化處理中，初始化群組的數(shù)目 m。另外，向剪切片段1賦予等于1的群組ID，并且向剪切片段2賦予等于2的群組ID。這里，群組的數(shù)目m指示從運動圖像數(shù)據(jù)MP確定的剪切片段群組的數(shù)目(在初始化處理中確定了剪切片段群組1和2)。向每個剪切片段賦予群組ID以便表示每個剪切片段所屬的剪切片段群組。然后，計算剪切片段1和2的特征量Sl和S2(步驟S53)并將其作為剪切片段群組1和2的特征量Sl和S2存儲在數(shù)據(jù)存儲單元27等等中(步驟S5Q。剪切片段的特征量例如是以顏色直方圖和臉部圖像檢測和/或聲音的音量、音調(diào)/節(jié)奏等等或其組合的形式來計算的。接下來，檢查是否存在要處理的后續(xù)剪切片段(步驟S57)。當存在后續(xù)剪切片段時(步驟S57中的“是”)，計算后續(xù)剪切片段的特征量S’(步驟S59)，并且在后續(xù)剪切片段與剪切片段群組1至m之間判定特征量S的相似度(步驟S61)。這里，當執(zhí)行判定時，可以優(yōu)先在后續(xù)剪切片段與具有比前一剪切片段的群組ID更大的群組ID的剪切片段群組之間判定特征量S的相似程度。這是因為，當執(zhí)行剪切片段的重復時，包括后續(xù)剪切片段的剪切片段群組的群組ID比前一剪切片段的大。當在后續(xù)剪切片段與剪切片段群組1至m中的任何一個之間特征量S的相似程度等于或大于預定閾值時(步驟S61中的“是”)，向后續(xù)剪切片段賦予具有最高相似度的剪切片段群組的群組ID (步驟S6!3)。后續(xù)剪切片段的特征量S’可被存儲為包括后續(xù)剪切片段的剪切片段群組的特征量S的一部分，然后被使用(步驟S6Q或丟棄。同時，當在后續(xù)剪切片段與所有剪切片段群組1至m之間特征量S的相似程度都小于預定閾值時(步驟S61中的“否”)，群組數(shù)m被遞增1以便生成新的剪切片段群組 (步驟S67)。向作為新剪切片段群組的后續(xù)剪切片段賦予與群組數(shù)m相當?shù)娜航MID (步驟 S69)。后續(xù)剪切片段的特征量S被存儲為包括后續(xù)剪切片段的新剪切片段群組的特征量 Sm，然后被使用(步驟S71)。重復步驟S57、S59、S61、S63、S65、S67、S69和S71的處理，直到?jīng)]有后續(xù)剪切片段為止(步驟S57中的“否”)。當沒有后續(xù)剪切片段時，剪切片段分組處理結(jié)束，并且如圖3 中所示執(zhí)行下一步驟S19的處理。剪切片段分組單元15將剪切片段分組結(jié)果與剪切片段轉(zhuǎn)變的檢測結(jié)果一起提供給剪切片段間距離計算單元17。圖6示出了圖4所示的剪切片段結(jié)構(gòu)中的剪切片段分組處理的結(jié)果。如圖6中所示，基于每個剪切片段的特征量S的相似程度，向剪切片段1、3和6賦予等于1的群組ID， 向剪切片段2、4和7賦予等于2的群組ID，并且向剪切片段5賦予等于3的群組ID。剪切片段間距離計算單元17基于剪切片段轉(zhuǎn)變信息來計算剪切片段間距離 Dc (步驟S19)，并將計算結(jié)果提供給剪切片段群組間距離計算單元19。圖7A至7C示出了利用各種剪切片段轉(zhuǎn)變信息針對包括剪切片段1至3的運動圖像MP計算剪切片段間距離 Dc的過程。首先，在圖7A中，指示運動圖像MP中的剪切片段轉(zhuǎn)變的順序的剪切片段ID被用作剪切片段轉(zhuǎn)變信息。如圖7A中所示，向剪切片段1至3分別賦予等于1至3的剪切片段 ID。首先，獲得剪切片段i的等于Iii的剪切片段ID與剪切片段j的等于r^.的剪切片段ID之間的差值(ηΓιΟ (η, < Hj)。接下來，計算差值(ηΓιΟ的冪值(η」-η Γ(& Φ 0)作為剪切片段i和j之間的剪切片段間距離Dci,」。冪指數(shù)a被設定為除了 0以外的任意整數(shù)或?qū)崝?shù)。這里，在運動圖像MP中的以相似順序進行剪切片段轉(zhuǎn)變的剪切片段之間，剪切片段間距離Dc在冪指數(shù)a小于0時較短， 而在冪指數(shù)a大于0時較長。以下，將描述a = -2的情況。例如，剪切片段1和2之間的剪切片段間距離Dc1,2被計算為1，因為剪切片段ID 之間的差值是1 ( = 2-1)。另外，剪切片段1和3之間的剪切片段間距離Dc1,3被計算為 1/4 ( = 2_2)，因為剪切片段ID之間的差值是2 ( = 3-1)。以相同的方式，剪切片段2和3之間的剪切片段間距離Dc2,3被計算為1。另外，在圖7B中，指示運動圖像MP中的剪切片段轉(zhuǎn)變的定時的幀號碼被用作剪切片段轉(zhuǎn)變信息。如圖7B中所示，向剪切片段1至3分別賦予起始幀號碼和結(jié)束幀號碼。例如，1和40被賦予作為剪切片段1的起始幀號碼和結(jié)束幀號碼，41和80被賦予作為剪切片段2的起始幀號碼和結(jié)束幀號碼，并且81和120被賦予作為剪切片段3的起始幀號碼和結(jié)
10束幀號碼。首先，獲得剪切片段i的最終幀號碼Iii與剪切片段j的起始幀號碼η」(η, < Hj)之間的差值(Iij-Iii)。接下來，計算差值(Iij-Iii)的冪值(Iij-Iii)b(b Φ 0)作為剪切片段i和j 之間的剪切片段間距離Dci,」。冪指數(shù)b被設定為除了 0以外的任意整數(shù)或?qū)崝?shù)。這里，在運動圖像MP中的以相似定時進行剪切片段轉(zhuǎn)變的剪切片段之間，剪切片段間距離Dc在冪指數(shù)b小于0時較短， 而在冪指數(shù)b大于0時較長。以下，將描述b = -l的情況。例如，剪切片段1和2之間的剪切片段間距離Dc1,2被計算為1，因為幀號碼之間的差值是1( = 41-40)。另外，剪切片段1和3之間的剪切片段間距離Dc1,3被計算為1/41， 因為幀號碼之間的差值是41 ( = 81-40)。以相同的方式，剪切片段2和3之間的剪切片段間距離Dc2,3被計算為1。這里，作為指示運動圖像MP中的剪切片段轉(zhuǎn)變的定時的剪切片段轉(zhuǎn)變信息，可以使用時間幀。關(guān)于時間幀，例如，0秒和40秒被賦予作為剪切片段1的起始時間幀和結(jié)束時間幀，40. 05秒和80秒被賦予作為剪切片段2的起始時間幀和結(jié)束時間幀，并且80. 05秒和120秒被賦予作為剪切片段3的起始時間幀和結(jié)束時間幀。與幀號碼的情況類似，在時間幀的情況下，可以計算剪切片段間距離Dc。此外，當幀號碼和時間幀被用作剪切片段轉(zhuǎn)變信息時，連續(xù)剪切片段之間的剪切片段間距離Dc與其他剪切片段之間的剪切片段間距離Dc相比可能長或短得多(例如，在圖7B的示例中，等于1/41的Dc1,3相對于等于1的Dc1,2)。在這種情況下，最好適當?shù)卣{(diào)整連續(xù)剪切片段之間的剪切片段間距離Dc。例如，可以用針對運動圖像MP中的幀數(shù)目或時間間隔最小的剪切片段獲得的剪切片段間距離Dc的1/2作為連續(xù)剪切片段之間的剪切片段間距離 Dc (例如，Dclj2 = DC1,3/2 = 1/82)。另外，在圖7C中，剪切片段ID和幀號碼被用作剪切片段轉(zhuǎn)變信息。如圖7C中所示，起始幀號碼和結(jié)束幀號碼與剪切片段ID被分別賦予剪切片段1至5。首先，如圖7A中所示，利用剪切片段ID計算第一剪切片段間距離Del。接下來， 如圖7B中所示，利用幀號碼計算第二剪切片段間距離Dc2。然后，例如，基于以下用第一剪切片段間距離Dcl和第二剪切片段間距離Dc2作為項的多項式來計算剪切片段間距離Dc。 此外，多項式的加權(quán)系數(shù)wl和是根據(jù)關(guān)于對作為剪切片段間相關(guān)性的剪切片段轉(zhuǎn)變的順序和定時的重視程度的評估標準來適當設定的。Dcijj = wlXDc Iiij^XDc 2Uj例如，當wl = 0. 8并且w2 = 0. 2時，剪切片段1和2之間的剪切片段間距離Dc1,2 = 1( = 0.8X1+0. 2X 1)，剪切片段1和3之間的剪切片段間距離 Dc1,3 = 0.20 (=0.8x1/4 + 0.2x1/41)，并且剪切片段2和3之間的剪切片段間距離 Dc2,3 =1( = 0.8X1+0.2X1)。圖8示出了圖4所示的剪切片段結(jié)構(gòu)中的剪切片段間距離Dc的計算結(jié)果。如圖8 中所示，分別向剪切片段1至7賦予剪切片段ID 1至7?；诿總€剪切片段的特征量S的相似程度，向剪切片段1、3和6賦予等于1的群組ID，向剪切片段2、4和7賦予等于2的群組ID，并且向剪切片段5賦予等于3的群組ID。在圖8中，剪切片段ID被用作剪切片段轉(zhuǎn)變信息。另外，為了計算剪切片段間距離Dc，使用冪值a( = -2)。
根據(jù)圖8中所示的剪切片段間距離Dc的計算結(jié)果，例如，在剪切片段1與剪切片段2至7之間的剪切片段間距離Dc之中，DCu被計算為LDCu被計算為l/^DCw被計算為1/9，DClj5被計算為1/16，DClj6被計算為V25，并且DCli7被計算為1/36。參考圖3，剪切片段群組間距離計算單元19基于剪切片段間距離Dc的計算結(jié)果來計算剪切片段群組間距離Dg，并將剪切片段群組間距離Dg的計算結(jié)果提供給剪切片段結(jié)構(gòu)圖像生成單元21 (步驟S21)。圖9示出了圖8所示的剪切片段結(jié)構(gòu)中的剪切片段群組間距離Dg的計算結(jié)果。如圖9中所示，剪切片段群組間距離Dg是通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離Dc求和來計算的。此外，在圖9的示例中，按照和值的倒數(shù)來計算剪切片段群組間距離Dg。然而，可以不按倒數(shù)來計算剪切片段群組間距離Dg。在圖9的示例中，通過如下對屬于剪切片段群組1的剪切片段1、3和6中的任何剪切片段與屬于剪切片段群組2的剪切片段2、4和7中的任何剪切片段之間的剪切片段間距離Dc、剪切片段1、3和6之間的剪切片段間距離Dc、剪切片段2、4和7之間的剪切片段間距離Dc求和并使用和值的倒數(shù)來計算剪切片段群組1與剪切片段群組2之間的剪切片段群組間距離Dg1,2。
Dgu= {(Dcu+Dcu+Dcu+Di^+Dcw+Dc^+Dcw+Dc^+Dcd+CDcu+
DC1’6+DC3,6)+(DC2，4+DC 2,7+DC 4,7)}"1
= ((1+1/9+1/36+1+1/16+1+1/16+1/4+1)+(1/4+1/25+1/9)+(1/4+1/25+1/9)}'1
= (4.51+0.40+0.40)"1 = 0.19此外，可以如下按照屬于剪切片段群組1的剪切片段1、3和6中的任何剪切片段與屬于剪切片段群組2的剪切片段2、4和7中的任何剪切片段之間的剪切片段間距離Dc 來計算剪切片段群組間距離Dg1,2。
Dgl，2= {(DCU+Dcm+DCU+DCW+DC^+DCW+DCV+DC^+DC”)}-1
={(1+1/9+1/36+1+1/16+1+1/16+1/4+1)}-1
= (4.51)-1 = 0.22另外，通過如下對屬于剪切片段群組1的剪切片段1、3和6中的任何剪切片段與屬于剪切片段群組3的剪切片段5之間的剪切片段間距離Dc求和來計算剪切片段群組1 與剪切片段群組3之間的剪切片段群組間距離Dg1,3。以同樣的方式，通過如下對屬于剪切片段群組2的剪切片段2、4和7中的任何剪切片段與屬于剪切片段群組3的剪切片段5之間的剪切片段間距離Dc求和來計算剪切片段群組2與剪切片段群組3之間的剪切片段群組間距離Dg2,3。
權(quán)利要求
1.一種運動圖像處理裝置，包括剪切片段轉(zhuǎn)變檢測單元，被配置為從包括多個剪切片段的運動圖像中檢測剪切片段間轉(zhuǎn)變；剪切片段分組單元，被配置為基于所述剪切片段之間的相似程度來將所述多個剪切片段分組成剪切片段群組；剪切片段間距離計算單元，被配置為基于所述運動圖像中的剪切片段間時間距離來計算剪切片段間距離；剪切片段群組間距離計算單元，被配置為通過在每個剪切片段群組中對針對所述多個剪切片段計算的所述剪切片段間距離求和來計算剪切片段群組間距離；以及剪切片段結(jié)構(gòu)圖像生成單元，被配置為生成剪切片段結(jié)構(gòu)圖像，該剪切片段結(jié)構(gòu)圖像包括屬于所述剪切片段群組的所述剪切片段的代表圖像和指示所述剪切片段群組間距離的信息。
2.根據(jù)權(quán)利要求1所述的運動圖像處理裝置，其中，當用指示所述運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的順序的轉(zhuǎn)變信息作為Iii和r^.時，所述剪切片段間距離計算單元計算從轉(zhuǎn)變信息Ili和Ilj的差值Ilj-Ili獲得的(Iij-Iii)a作為所述剪切片段i與所述剪切片段j之間的剪切片段間距離，其中Iii < nj; a興0。
3.根據(jù)權(quán)利要求1所述的運動圖像處理裝置，其中，當用指示所述運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的定時的轉(zhuǎn)變信息作為Iii和r^.時，所述剪切片段間距離計算單元計算從轉(zhuǎn)變信息Iii和Iij的差值Iij-Iii獲得的Oij-IOb作為所述剪切片段i與所述剪切片段j之間的剪切片段間距離，其中Iii < nj; b Φ 0。
4.根據(jù)權(quán)利要求3所述的運動圖像處理裝置，其中，所述轉(zhuǎn)變信息Iii和r^.分別是所述剪切片段i的結(jié)束幀號碼和所述剪切片段j的起始幀號碼，或者分別是所述剪切片段i的結(jié)束時間幀和所述剪切片段j的起始時間幀。
5.根據(jù)權(quán)利要求1所述的運動圖像處理裝置，其中，當用指示所述運動圖像中剪切片段i與剪切片段j之間的剪切片段轉(zhuǎn)變的順序的轉(zhuǎn)變信息作為Iili和η、時，所述剪切片段間距離計算單元計算從轉(zhuǎn)變信息Iili和Iilj的差值Iilj-Iili獲得的(Iilj-Iili)a作為所述剪切片段i與所述剪切片段j之間的第一剪切片段間距離，其中Iili < nlj, a興0，當用指示所述運動圖像中所述剪切片段i與所述剪切片段j之間的剪切片段轉(zhuǎn)變的定時的轉(zhuǎn)變信息作為Mi和η。時，所述剪切片段間距離計算單元計算從轉(zhuǎn)變信息Mi和Mj 的差值I^-Mi獲得的(112^12乂作為所述剪切片段i與所述剪切片段j之間的第二剪切片段間距離，其中Mi < n2j; b乒0，并且所述剪切片段間距離計算單元基于用所述第一剪切片段間距離和所述第二剪切片段間距離作為項的多項式來計算所述剪切片段i與所述剪切片段j之間的剪切片段間距離。
6.根據(jù)權(quán)利要求5所述的運動圖像處理裝置，其中，所述轉(zhuǎn)變信息Mi和η。分別是所述剪切片段i的結(jié)束幀號碼和所述剪切片段j的起始幀號碼，或者分別是所述剪切片段i 的結(jié)束時間幀和所述剪切片段j的起始時間幀。
7.根據(jù)權(quán)利要求1所述的運動圖像處理裝置，其中，所述剪切片段結(jié)構(gòu)圖像生成單元生成如下的所述剪切片段結(jié)構(gòu)圖像在該剪切片段結(jié)構(gòu)圖像中，多個屬于相互不同的剪切片段群組的至少一個剪切片段的至少一個代表圖像的集合根據(jù)所述剪切片段群組間距離相互間隔開。
8.根據(jù)權(quán)利要求7所述的運動圖像處理裝置，其中，所述剪切片段結(jié)構(gòu)圖像生成單元生成包括指示所述剪切片段轉(zhuǎn)變的順序的信息的所述剪切片段結(jié)構(gòu)圖像。
9.根據(jù)權(quán)利要求7所述的運動圖像處理裝置，其中，當至少兩個剪切片段屬于同一剪切片段群組時，為了強調(diào)相對于該剪切片段群組的基準剪切片段的代表圖像的變化部分， 所述剪切片段結(jié)構(gòu)圖像生成單元修改其他剪切片段的代表圖像。
10.根據(jù)權(quán)利要求1所述的運動圖像處理裝置，其中，所述剪切片段間距離計算單元根據(jù)指示所述剪切片段間時間距離的轉(zhuǎn)變信息的倒數(shù)來計算所述剪切片段間距離，并且根據(jù)通過在每個剪切片段群組中對針對所述多個剪切片段計算的所述剪切片段間距離求和而獲得的值的倒數(shù)來計算所述剪切片段群組間距離。
11.一種運動圖像處理方法，包括從包括多個剪切片段的運動圖像中檢測剪切片段間轉(zhuǎn)變； 基于所述剪切片段之間的相似程度來將所述多個剪切片段分組成剪切片段群組； 基于所述運動圖像中的剪切片段間時間距離來計算剪切片段間距離； 通過在每個剪切片段群組中對針對所述多個剪切片段計算的所述剪切片段間距離求和來計算剪切片段群組間距離；以及生成剪切片段結(jié)構(gòu)圖像，該剪切片段結(jié)構(gòu)圖像包括屬于所述剪切片段群組的所述剪切片段的代表圖像和指示所述剪切片段群組間距離的信息。
12.—種程序，使得計算機執(zhí)行運動圖像處理方法，該方法包括 從包括多個剪切片段的運動圖像中檢測剪切片段間轉(zhuǎn)變；基于所述剪切片段之間的相似程度來將所述多個剪切片段分組成剪切片段群組； 基于所述運動圖像中的剪切片段間時間距離來計算剪切片段間距離； 通過在每個剪切片段群組中對針對所述多個剪切片段計算的所述剪切片段間距離求和來計算剪切片段群組間距離；以及生成剪切片段結(jié)構(gòu)圖像，該剪切片段結(jié)構(gòu)圖像包括屬于所述剪切片段群組的所述剪切片段的代表圖像和指示所述剪切片段群組間距離的信息。
全文摘要
本發(fā)明提供了運動圖像處理裝置、運動圖像處理方法和程序。運動圖像處理裝置包括剪切片段轉(zhuǎn)變檢測單元，被配置為從包括多個剪切片段的運動圖像中檢測剪切片段間轉(zhuǎn)變；剪切片段分組單元，被配置為基于剪切片段之間的相似程度來將多個剪切片段分組成剪切片段群組；剪切片段間距離計算單元，被配置為基于運動圖像中的剪切片段間時間距離來計算剪切片段間距離；剪切片段群組間距離計算單元，被配置為通過在每個剪切片段群組中對針對多個剪切片段計算的剪切片段間距離求和來計算剪切片段群組間距離；以及剪切片段結(jié)構(gòu)圖像生成單元，被配置為生成剪切片段結(jié)構(gòu)圖像，該剪切片段結(jié)構(gòu)圖像包括屬于剪切片段群組的剪切片段的代表圖像和指示剪切片段群組間距離的信息。
文檔編號H04N7/26GK102378004SQ20111022528
公開日2012年3月14日 申請日期2011年8月3日 優(yōu)先權(quán)日2010年8月10日
發(fā)明者高木芳德 申請人:索尼公司