專利名稱：信息處理設(shè)備和信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備，具體地說涉及允許運(yùn)動(dòng)圖像檢索(moving image retrieval)的信息處理設(shè)備和信息處理方法。
背景技術(shù)：
近年來，諸如因特網(wǎng)之類的網(wǎng)絡(luò)技術(shù)正在被改進(jìn)，使得對各種信息片 段的高速通信正成為可能，并且這種通信的可靠度正在被提高。另外，運(yùn) 動(dòng)圖像共享系統(tǒng)正變得普遍起來。在該系統(tǒng)中，運(yùn)動(dòng)圖像被上載到與因特 網(wǎng)相連的運(yùn)動(dòng)圖像管理服務(wù)器，并且運(yùn)動(dòng)圖像以被與因特網(wǎng)相連的多個(gè)個(gè) 人計(jì)算機(jī)所共享的方式被査看。
例如，以下的在線服務(wù)是很普遍的。具體地說。在該服務(wù)中，用戶家 中的個(gè)人計(jì)算機(jī)經(jīng)由因特網(wǎng)連接到運(yùn)動(dòng)圖像管理服務(wù)器，并且運(yùn)動(dòng)圖像被 從用戶家中的個(gè)人計(jì)算機(jī)上載到運(yùn)動(dòng)圖像管理服務(wù)器，以便該運(yùn)動(dòng)圖像可 被從另一個(gè)人計(jì)算機(jī)査看。
在這種運(yùn)動(dòng)圖像共享系統(tǒng)中，上載的運(yùn)動(dòng)圖像在一些情況下將是由用 戶自己創(chuàng)建的，但在其他情況下卻將會(huì)是侵犯他人著作權(quán)的。如果侵犯他 人著作權(quán)的運(yùn)動(dòng)圖像被這樣上載，那么例如通過禁止下載運(yùn)動(dòng)圖像來防止 人們査看運(yùn)動(dòng)圖像，將會(huì)是很重要的。對于有關(guān)上載的運(yùn)動(dòng)圖像是否侵犯 他人著作權(quán)的判定，通常運(yùn)動(dòng)圖像管理服務(wù)器的管理員直接?xùn)丝锤鱾€(gè)上載 的運(yùn)動(dòng)圖像，從而作出該判定。但是，如果上載的運(yùn)動(dòng)圖像的數(shù)目很大， 那么管理員很難查看所有運(yùn)動(dòng)圖像。
為了解決該問題，例如已經(jīng)提出了一種圖像檢索設(shè)備。該設(shè)備作出關(guān) 于圖像相對于特定圖像的匹配和相似度的判定，從而檢索出與特定圖像匹 配的圖像，而無需對根據(jù)例如JPEG2000系統(tǒng)壓縮編碼的視頻內(nèi)容進(jìn)行完 全解碼(例如參考日本專利早期公開No. 2006-285615 (圖l))。

發(fā)明內(nèi)容
該現(xiàn)有技術(shù)可以迅速地檢索與特定圖像匹配的圖像。
但是，將被上載到網(wǎng)絡(luò)上的運(yùn)動(dòng)圖像的數(shù)目是非常大的，并且可能侵 犯他人著作權(quán)的運(yùn)動(dòng)圖像的數(shù)目也是非常大的。因此，為了基于特定圖像 的特征等等來迅速地檢索運(yùn)動(dòng)圖像，減少應(yīng)當(dāng)被存儲在檢索執(zhí)行方的信息 的量以及與檢索相關(guān)的處理量以便進(jìn)行迅速的運(yùn)動(dòng)圖像檢索，是很重要 的。
本發(fā)明需要迅速地檢索運(yùn)動(dòng)圖像。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，包括存儲 器，該存儲器被配置為在逐數(shù)據(jù)基礎(chǔ)上存儲視頻數(shù)據(jù)的至少一個(gè)變化點(diǎn)間 隔；計(jì)算器，該計(jì)算器被配置為從輸入視頻數(shù)據(jù)計(jì)算至少一個(gè)變化點(diǎn)間 隔；以及檢測器，該檢測器被配置為檢測與彼此匹配的變化點(diǎn)間隔。檢測 到的變化點(diǎn)間隔之一源自于存儲器中的存儲，檢測到的變化點(diǎn)間隔中的另 一個(gè)源自于計(jì)算器進(jìn)行的計(jì)算。該信息處理設(shè)備還包括判定器，該判定器 被配置為將各自包括在從由檢測器檢測到的變化點(diǎn)間隔中的相應(yīng)一個(gè)變化 點(diǎn)間隔起的預(yù)定范圍中的變化點(diǎn)間隔與彼此相比較，以判定輸入視頻數(shù)據(jù) 是否匹配與存儲器中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種信息處理方法，包括以下步 驟在逐數(shù)據(jù)基礎(chǔ)上存儲視頻數(shù)據(jù)的至少一個(gè)變化點(diǎn)間隔；從輸入視頻數(shù) 據(jù)計(jì)算至少一個(gè)變化點(diǎn)間隔；以及檢測與彼此匹配的變化點(diǎn)間隔。檢測到 的變化點(diǎn)間隔之一源自于存儲步驟，檢測到的變化點(diǎn)間隔中的另一個(gè)源自 于計(jì)算步驟。該信息處理方法還包括以下步驟將各自包括在從在檢測步
驟中檢測到的變化點(diǎn)間隔中的相應(yīng)一個(gè)變化點(diǎn)間隔起的預(yù)定范圍中的變化 點(diǎn)間隔與彼此相比較，以判定輸入視頻數(shù)據(jù)是否匹配與在存儲步驟中存儲 的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)。
本發(fā)明的這些實(shí)施例可提供允許迅速運(yùn)動(dòng)圖像檢索的優(yōu)良優(yōu)點(diǎn)。


圖1是示出信息處理設(shè)備的功能配置示例的框圖； 圖2是示出特征提取器的功能配置示例的框圖3A和3B是各自示出在逐幀基礎(chǔ)上提取的亮度信號Y、色差信號 (藍(lán))Cb和色差信號[O](紅)Cr的顏色直方圖(color histogram)的一個(gè) 示例的示圖，并且圖3C是示出圖3A和3B的顏色直方圖之間的面積差別 的示圖4是概念性地示出與運(yùn)動(dòng)圖像中包括的各個(gè)幀相對應(yīng)的圖像被以時(shí) 間序列方式布置的示例的示圖5是示意性地示出存儲在數(shù)據(jù)庫中的銳變點(diǎn)(cut-change point)間 隔列表的示圖6是示出銳變點(diǎn)間隔列表的示圖7是示意性地示出通過銳變點(diǎn)間隔列表之間的比較來判定運(yùn)動(dòng)圖像 是否與彼此匹配的判定方法的一個(gè)示例的示圖8是示出信息處理設(shè)備進(jìn)行的用于檢索匹配運(yùn)動(dòng)圖像的處理的過程 的流程圖9是示出在信息處理設(shè)備進(jìn)行的用于檢索匹配運(yùn)動(dòng)圖像的處理中的 匹配判定處理的過程的流程圖IOA和IOB是示出銳變點(diǎn)間隔列表的示圖11是示出信息處理設(shè)備的配置示例的框圖12是示出特征提取器的功能配置示例的框圖13是示意性地示出存儲在數(shù)據(jù)庫中的特征列表的示圖14是示出特征列表的示圖15是示出指示出特征列表中的連續(xù)幀之間的直方圖差別的線圖 (line graph)的示圖16是示出指示出特征列表中的連續(xù)幀之間的直方圖差別的線圖的 示圖17是示出信息處理設(shè)備進(jìn)行的閾值改變處理的過程的流程圖； 圖18是示出基于運(yùn)動(dòng)圖像的特性對運(yùn)動(dòng)圖像進(jìn)行的分類的示圖； 圖19是示出特征提取器的功能配置示例的框圖20是概念性地示出運(yùn)動(dòng)圖像中包括的、以時(shí)間序列方式布置的各
、圖2l:是示出信息處理設(shè)備的配置示例的框圖； 圖22是示出特征提取器的功能配置示例的框圖； 圖23是示意性地示出存儲在數(shù)據(jù)庫中的特征列表的示圖； 圖24是示出信息處理設(shè)備的配置示例的框圖； 圖25是示出特征提取器的功能配置示例的框圖26是示出特征核對器(feature checker)的功能配置示例的框圖； 圖27是示出核對方法決定器對核對方法的決定方法的概要的示以及
圖28是示出信息處理系統(tǒng)的系統(tǒng)配置圖。
具體實(shí)施例方式
下面將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明實(shí)施例的信息處理設(shè)備100的功能配置示例的 框圖。該信息處理設(shè)備100包括運(yùn)動(dòng)圖像輸入單元110、視頻和音頻解復(fù) 用器120、視頻解碼器130、數(shù)據(jù)庫140、特征核對器150、判定結(jié)果輸出 單元160和特征提取器200。該信息處理設(shè)備IOO例如可由個(gè)人計(jì)算機(jī)來 實(shí)現(xiàn)，該個(gè)人計(jì)算機(jī)可以通過視頻分析來提取由諸如數(shù)字?jǐn)z像機(jī)之類的成 像設(shè)備捕捉到的運(yùn)動(dòng)圖像的特征，并且可以利用所提取的特征執(zhí)行各種圖 像處理。
運(yùn)動(dòng)圖像輸入單元110是運(yùn)動(dòng)圖像所輸入到的單元，并且將輸入的運(yùn) 動(dòng)圖像輸出到視頻和音頻解復(fù)用器120。將被輸入到運(yùn)動(dòng)圖像輸入單元 110的運(yùn)動(dòng)圖像的示例包括由成像設(shè)備捕捉的運(yùn)動(dòng)圖像和通過電視廣播接 收的運(yùn)動(dòng)圖像。
視頻和音頻解復(fù)用器120將從運(yùn)動(dòng)圖像輸入單元IIO輸出的運(yùn)動(dòng)圖像 分離成視頻數(shù)據(jù)(信號)和音頻數(shù)據(jù)(信號)，并將分離后的視頻數(shù)據(jù)輸 出到視頻解碼器130。在本發(fā)明的實(shí)施例中沒有具體利用分離后的音頻數(shù) 據(jù)。
視頻解碼器130通過對從視頻和音頻解復(fù)用器120輸出的視頻數(shù)據(jù)進(jìn) 行解碼來創(chuàng)建基帶數(shù)據(jù)，并且將所創(chuàng)建的基帶數(shù)據(jù)輸出到特征提取器 200。
特征提取器200基于從視頻解碼器130輸出的基帶數(shù)據(jù)來提取特征， 并且將所提取的特征輸出到數(shù)據(jù)庫140和特征核對器150。在本發(fā)明的實(shí) 施例中，就被特征提取器200提取的特征而言，運(yùn)動(dòng)圖像中的變化點(diǎn)之間 的間隔、運(yùn)動(dòng)圖像中包括的幀之間的直方圖差別以及作為變化點(diǎn)之間的行 程(leg)中包括的幀當(dāng)中的至少一個(gè)幀的直方圖的代表性直方圖被用作示 例。變化點(diǎn)例如涵蓋了指示出運(yùn)動(dòng)圖像的瞬時(shí)場景變化的邊界的銳變點(diǎn)， 以及指示出運(yùn)動(dòng)圖像的較大場景變化的邊界的漸變點(diǎn)(cross fade point)。 變化點(diǎn)之間的間隔指示出連續(xù)的變化點(diǎn)之間的行程的時(shí)間、幀數(shù)目等等。 在此示例中，銳變點(diǎn)被用作變化點(diǎn)。其他特征的細(xì)節(jié)將在下文中參考圖17 等等來描述。特征提取器200的細(xì)節(jié)將在下文中參考圖2來描述。銳變點(diǎn) 之間的間隔的細(xì)節(jié)將在下文中參考圖4來描述。
由特征提取器200提取的變化點(diǎn)間隔被提供到數(shù)據(jù)庫140和特征核對 器150，以成為其中以時(shí)間序列方式布置提取出的變化點(diǎn)間隔的銳變點(diǎn)間 隔列表。銳變點(diǎn)間隔列表的細(xì)節(jié)將在下文中參考圖5、 6等等來描述。
數(shù)據(jù)庫140針對每個(gè)運(yùn)動(dòng)圖像存儲與特征提取器200輸出的銳變點(diǎn)間 隔相對應(yīng)的銳變點(diǎn)間隔列表，并且針對每個(gè)運(yùn)動(dòng)圖像將存儲的銳變點(diǎn)間隔 列表輸出到特征核對器150。
特征核對器150將從特征提取器200輸出的銳變點(diǎn)間隔與存儲在數(shù)據(jù) 庫140中的各個(gè)銳變點(diǎn)間隔列表相比較?；诒容^結(jié)果，特征核對器150 對照與存儲在數(shù)據(jù)庫140中的銳變點(diǎn)間隔列表相對應(yīng)的運(yùn)動(dòng)圖像來核對輸 入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像，從而判定兩個(gè)運(yùn)動(dòng)圖像是否與彼 此匹配。特征核對器150將指示出該判定結(jié)果的匹配列表輸出到判定結(jié)果 輸出單元160。也就是說，特征核對器150從存儲在數(shù)據(jù)庫140中的銳變 點(diǎn)間隔列表中，檢索出對應(yīng)于與輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像 相匹配的運(yùn)動(dòng)圖像的銳變點(diǎn)間隔列表。
判定結(jié)果輸出單元160輸出從特征核對器150輸出的匹配列表。例
如，判定結(jié)果輸出單元160可以顯示從特征核對器150輸出的匹配列表。
圖2是示出特征提取器200的功能配置示例的框圖。特征提取器200 包括顏色直方圖提取器210、用于連續(xù)幀之間的直方圖差別的計(jì)算器 220、閾值保存器230、銳變點(diǎn)判定器240以及變化點(diǎn)間隔計(jì)算器250。
圖3A和3B是示出在逐幀基礎(chǔ)上從輸出自視頻解碼器130的基帶數(shù)據(jù) 中提取的亮度信號Y、色差信號(藍(lán))Cb和色差信號[O](紅)Cr的顏色 直方圖的一個(gè)示例的示圖。在圖3A和3B的圖中，橫坐標(biāo)指示灰度，縱坐 標(biāo)指示頻率。圖3C是示出圖3A和3B的顏色直方圖之間的面積差別的示 圖。圖3C中的陰影面積等于圖3A和3B的顏色直方圖之間的面積差別。 圖3A至3C的細(xì)節(jié)將參考圖2來描述。
圖4是概念性地示出與運(yùn)動(dòng)圖像中包括的各個(gè)幀相對應(yīng)的圖像被以時(shí) 間序列方式布置的示例的示圖。圖4的細(xì)節(jié)將在下文中參考圖2來描述。
顏色直方圖提取器210將從視頻解碼器130輸出的基帶數(shù)據(jù)保存在緩 沖器中，并且從保存在緩沖器中的基帶數(shù)據(jù)中采樣整個(gè)屏幕的Y、 Cb和 Cr的顏色直方圖。此外，對于所采樣的顏色直方圖，顏色直方圖提取器 210將灰度分為N級(例如N=16)，并且以使得各級的頻率之和變?yōu)槌?數(shù)的方式來執(zhí)行歸一化。然后，顏色直方圖提取器210將Y、 Cb和Cr的 歸一化后的直方圖輸出到直方圖差別計(jì)算器220。例如，從運(yùn)動(dòng)圖像中包 括的一幀之中提取的Y、 Cb和Cr的直方圖在圖3A中示出，并且從與圖 3A所示直方圖相對應(yīng)的幀之后的幀中提取出的Y、 Cb和Cr的直方圖在圖 3B中示出。這樣，對于輸入到運(yùn)動(dòng)圖像輸入單元IIO的運(yùn)動(dòng)圖像中包括的 每一幀，提取了Y、 Cb和Cr的直方圖。
直方圖差別計(jì)算器220針對從顏色直方圖提取器210輸出的各個(gè)幀的 Y、 Cb和Cr的顏色直方圖，計(jì)算連續(xù)的兩幀之間的顏色直方圖面積的差 別。計(jì)算器220將計(jì)算出的直方圖差別輸出到銳變點(diǎn)判定器240。例如， 作為圖3A和3B所示的與連續(xù)的兩幀相對應(yīng)的顏色直方圖之間的面積差 別，計(jì)算出了圖3C所示的陰影區(qū)域的面積。
閾值保存器230保存在銳變點(diǎn)判定器240判定連續(xù)兩幀之間的邊界是 否是銳變點(diǎn)時(shí)使用的閾值，并且將保存的閾值輸出到銳變點(diǎn)判定器240。
銳變點(diǎn)判定器240基于從直方圖差別計(jì)算器220輸出的直方圖差別是 否超過閾值保存器230中保存的閾值，來判定連續(xù)兩幀之間的邊界是否是 銳變點(diǎn)。具體地說，如果從計(jì)算器220輸出的直方圖差別超過閾值保存器 230中保存的閾值，則銳變點(diǎn)判定器240判定與直方圖差別相對應(yīng)的連續(xù) 兩幀之間的邊界是銳變點(diǎn)，并且將與該邊界相對應(yīng)的時(shí)間作為銳變點(diǎn)時(shí)間 輸出到變化點(diǎn)間隔計(jì)算器250。另一方面，如果從計(jì)算器220輸出的直方 圖差別不超過閾值保存器230中保存的閾值，銳變點(diǎn)判定器240則判定與 直方圖差別相對應(yīng)的連續(xù)兩幀之間的邊界不是銳變點(diǎn)。如果以這種方式判 定邊界不是銳變點(diǎn)，則不向變化點(diǎn)間隔計(jì)算器250輸出時(shí)間。
圖4示意性地示出了與成像設(shè)備捕捉到的運(yùn)動(dòng)圖像300中包括的各個(gè) 幀相對應(yīng)的圖像301至309。圖像301至309被包括在一個(gè)運(yùn)動(dòng)圖像300 中。在運(yùn)動(dòng)圖像300中包括了成像時(shí)間和地點(diǎn)彼此不同的四個(gè)場景，因此 在與場景變化相對應(yīng)的幀之間，對象的構(gòu)成、顏色等等瞬時(shí)變化。結(jié)果， 與場景變化相對應(yīng)的連續(xù)兩幀之間的直方圖差別大于閾值保存器230中保 存的閾值，從而連續(xù)兩幀之間的每個(gè)邊界被判定為銳變點(diǎn)。
例如，圖像301至303源自于對在城市里漫步的人成像。這些圖像整 體上看起來與彼此類似，但在圖像之間人在移動(dòng)，從而在圖像之間人的位 置略有不同。因此，圖像301至303的連續(xù)兩幀之間的直方圖差別不超過 閾值保存器230中保存的閾值，從而判定連續(xù)兩幀之間的每個(gè)邊界不是銳 變占。
圖像304和305源自于對山脈前的一排房屋成像。這些圖像整體上看 起來與彼此類似，但它們是以成像設(shè)備水平移動(dòng)的方式來捕捉的，從而對 象位置水平移動(dòng)，因而在圖像之間與彼此略有不同。但是，圖像303和 304整體上與彼此不同，因?yàn)檫@些圖像之間的邊界對應(yīng)于成像時(shí)間和地點(diǎn) 彼此不同的場景的轉(zhuǎn)換。因此，圖像303和304之間的邊界被判定為銳變 點(diǎn)，并且與該銳變點(diǎn)相對應(yīng)的時(shí)間(從起始時(shí)間tl起的時(shí)段)t2被輸出到 變化點(diǎn)間隔計(jì)算器250。
另外，圖像305和360之間的邊界以及圖像307和圖像308之間的邊 界也被類似地檢測為銳變點(diǎn)，并且與這些銳變點(diǎn)相對應(yīng)的時(shí)間t3和t4被
輸出到變化點(diǎn)間隔計(jì)算器250。
變化點(diǎn)間隔計(jì)算器250基于從銳變點(diǎn)判定器240輸出的銳變點(diǎn)的時(shí)間 來計(jì)算相鄰兩個(gè)銳變點(diǎn)之間的時(shí)間間隔。變化點(diǎn)間隔計(jì)算器250將計(jì)算出 的銳變點(diǎn)間隔輸出到數(shù)據(jù)庫140和特征核對器150。具體地說，如果銳變 點(diǎn)時(shí)間被從銳變點(diǎn)判定器240輸出，則變化點(diǎn)間隔計(jì)算器250計(jì)算該時(shí)間 與就在該時(shí)間之前輸出的時(shí)間之間的差別，從而計(jì)算相鄰兩個(gè)銳變點(diǎn)之間 的時(shí)間間隔。就相鄰兩個(gè)銳變點(diǎn)之間的間隔而言，可以計(jì)算這些銳變點(diǎn)之 間的行程中包括的幀的數(shù)目，并且將計(jì)算出的幀數(shù)目用作銳變點(diǎn)的間隔。
下面將參考附圖來描述基于由特征提取器200提取的銳變點(diǎn)間隔來創(chuàng) 建的銳變點(diǎn)間隔列表的細(xì)節(jié)。
圖5是示意性地示出存儲在數(shù)據(jù)庫140中的銳變點(diǎn)間隔列表的示圖。 一個(gè)或多個(gè)銳變點(diǎn)間隔列表被存儲在數(shù)據(jù)庫140中。例如，銳變點(diǎn)間隔列 表400、 405和406被存儲在數(shù)據(jù)庫140中。存儲在數(shù)據(jù)庫140中的銳變點(diǎn) 間隔列表可以通過順序地存儲從特征提取器200輸出的銳變點(diǎn)間隔來創(chuàng) 建，或者可以通過順序地存儲由另一信息處理設(shè)備提取的銳變點(diǎn)間隔來創(chuàng) 建。
在銳變點(diǎn)間隔列表400中，以時(shí)間序列方式記錄了銳變點(diǎn)間隔403。 這些間隔與用于標(biāo)識相應(yīng)運(yùn)動(dòng)圖像的內(nèi)容ID相關(guān)聯(lián)。內(nèi)容ID可用于對存 儲在設(shè)置于信息處理設(shè)備100內(nèi)部或外部的運(yùn)動(dòng)圖像數(shù)據(jù)庫中的運(yùn)動(dòng)圖像 進(jìn)行的檢索。例如，"123"被用來作為與銳變點(diǎn)間隔列表400相對應(yīng)的 內(nèi)容ID。另外，在圖5中，節(jié)點(diǎn)ID 402被用來作為從相應(yīng)運(yùn)動(dòng)圖像提取 出的銳變點(diǎn)間隔的標(biāo)識號。
銳變點(diǎn)間隔403指示出從相應(yīng)運(yùn)動(dòng)圖像中作為時(shí)間提取出的變化點(diǎn)間 隔，并且是以時(shí)間序列方式被記錄的。
在利用這樣存儲了一個(gè)或多個(gè)銳變點(diǎn)間隔列表的數(shù)據(jù)庫140對輸入到 運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像進(jìn)行的匹配檢索中，存儲在數(shù)據(jù)庫140 中的銳變點(diǎn)間隔列表被順序地逐一讀出，并且隨后的檢索處理被執(zhí)行。
圖6是示出從數(shù)據(jù)庫140讀出的銳變點(diǎn)間隔列表400以及與從作為檢 索對象通過運(yùn)動(dòng)圖像輸入單元110輸入的運(yùn)動(dòng)圖像中提取出的銳變點(diǎn)間隔
相對應(yīng)的銳變點(diǎn)間隔列表420的示圖。參考圖7，下面將描述通過銳變點(diǎn) 間隔列表400和420之間的比較來判定與這些列表相對應(yīng)的運(yùn)動(dòng)圖像是否 與彼此匹配。
圖7是示意性地示出用于通過銳變點(diǎn)間隔列表400和420之間的比較 來作出關(guān)于與這些列表相對應(yīng)的運(yùn)動(dòng)圖像是否與彼此匹配的判定的方法的 一個(gè)示例的示圖。
首先，作為相對于銳變點(diǎn)間隔列表420的比較對象的銳變點(diǎn)間隔列表 被從數(shù)據(jù)庫140讀出。例如，銳變點(diǎn)間隔列表400被讀出。然后，基于節(jié) 點(diǎn)ID的順序來順序地將銳變點(diǎn)間隔列表400中的銳變點(diǎn)間隔403的值和 銳變點(diǎn)間隔列表420中的銳變點(diǎn)間隔423的值與彼此比較，從而檢測與彼 此匹配的值。例如，如箭頭431所示，與銳變點(diǎn)間隔列表400中的節(jié)點(diǎn)ID 402的"11"相對應(yīng)的銳變點(diǎn)間隔403的值"0 : 00 : 05.605"匹配與銳變 點(diǎn)間隔列表420中的節(jié)點(diǎn)ID 422的"21"相對應(yīng)的銳變點(diǎn)間隔423的值 "0:00:05.605" (441)。在圖7中，省略了對圖6所示的銳變點(diǎn)間隔列 表的各個(gè)值的前面部分的指示。
如果這樣從兩個(gè)銳變點(diǎn)間隔列表中檢測到與彼此匹配的銳變點(diǎn)間隔的 值，則從兩個(gè)列表的每一個(gè)中讀出與該匹配值的節(jié)點(diǎn)ID之后的節(jié)點(diǎn)ID相 對應(yīng)的銳變點(diǎn)間隔的值。例如，與銳變點(diǎn)間隔列表400中的節(jié)點(diǎn)ID 402的 "12"相對應(yīng)的銳變點(diǎn)間隔403的值"0 : 00 : 03.603"和與銳變點(diǎn)間隔列 表420中的節(jié)點(diǎn)ID 422的"22"相對應(yīng)的銳變點(diǎn)間隔423的值"0 : 00 : 03.570"被讀出。然后，判定讀出的這兩個(gè)值是否與彼此匹配(442)。如 果這些值與彼此匹配，則從兩個(gè)列表的每一個(gè)中讀出與該匹配值的節(jié)點(diǎn)ID 之后的節(jié)點(diǎn)ID相對應(yīng)的銳變點(diǎn)間隔的值，并且判定這些讀出的值是否彼 此匹配。
另一方面，如圖6和7所示，如果讀出的兩個(gè)值不與彼此匹配 (442),那么從讀出作為比較對象的這兩個(gè)值中的較小值的那個(gè)銳變點(diǎn) 間隔列表中，與該較小值的節(jié)點(diǎn)ID之后的節(jié)點(diǎn)ID相對應(yīng)的銳變點(diǎn)間隔的 值被讀出，以便被加到比較對象較小值。例如，銳變點(diǎn)間隔403的值"0 : 00 : 03.603"被與銳變點(diǎn)間隔423的值"0 : 00 : 03.570"相比較。銳變點(diǎn)間
隔423的值"0 : 00 : 03.570"較小。因此，與銳變點(diǎn)間隔列表420中的節(jié) 點(diǎn)ID 422的"23"相對應(yīng)的銳變點(diǎn)間隔423的值"0 : 00 : 01.634"被讀 出，以便被加到銳變點(diǎn)間隔423的值"0:00:03.570" (443)。
然后，判定由于相加而得出的值是否與未被應(yīng)用相加的值相匹配 (444)。如果這些值與彼此匹配，則從兩個(gè)列表的每一個(gè)中讀出與該匹 配值的節(jié)點(diǎn)ID之后的節(jié)點(diǎn)ID相對應(yīng)的銳變點(diǎn)間隔的值，并且判定這些讀 出的值是否彼此匹配。這樣，將從第一匹配值起的預(yù)定范圍內(nèi)的值順序地 相加，并且判定兩個(gè)銳變點(diǎn)間隔列表的值是否彼此匹配。就預(yù)定范圍而 言，例如可以使用三個(gè)節(jié)點(diǎn)ID的范圍。例如，在從通過圖6所示的箭頭 431與彼此耦合的第一匹配值起的三節(jié)點(diǎn)ID范圍432中，執(zhí)行相加處理 (443、 445、 447)，并且執(zhí)行比較處理(442、 444、 446、 448)。結(jié) 果，在三節(jié)點(diǎn)ID范圍432中，在由箭頭433指示的位置處，作為比較對 象的兩個(gè)值與彼此匹配(448)。
如果在從第一匹配值起的預(yù)定范圍中兩個(gè)銳變點(diǎn)間隔列表的值以這種 方式與彼此匹配，那么類似地，將從這些匹配值起的預(yù)定范圍中的值順序 地相加，并且判定兩個(gè)銳變點(diǎn)間隔列表的值是否彼此匹配。就此預(yù)定范圍 而言，例如，與第一范圍類似，可以使用與三個(gè)節(jié)點(diǎn)ID相對應(yīng)的范圍， 或者可以使用不同的值。
例如，在從通過圖6所示的箭頭433與彼此耦合的匹配值起的與銳變 點(diǎn)間隔列表400中的三個(gè)節(jié)點(diǎn)ID相對應(yīng)的范圍435中以及與銳變點(diǎn)間隔 列表420中的三個(gè)節(jié)點(diǎn)ID相對應(yīng)的范圍434中，執(zhí)行相加處理(450、 452)并且執(zhí)行比較處理(449、 451、 453)。結(jié)果，在三節(jié)點(diǎn)ID范圍434 和435中，在由箭頭436指示的位置處，作為比較對象的兩個(gè)值與彼此匹 配(453)。
如果基于第一匹配值或第二或后續(xù)匹配值讀出的兩個(gè)值中的至少一個(gè) 在該至少一個(gè)值經(jīng)歷相加處理之前與另一比較對象值相匹配，則基于這些 匹配值執(zhí)行下一比較處理，而不對該至少一個(gè)值進(jìn)行相加處理。如果相加 結(jié)果值在預(yù)定范圍中不與彼此匹配，則從兩個(gè)列表中檢測匹配值的操作被 再次重復(fù)。
下面將參考附圖描述根據(jù)本發(fā)明實(shí)施例的信息處理設(shè)備100的操作。
圖8是示出信息處理設(shè)備100進(jìn)行的用于檢索匹配運(yùn)動(dòng)圖像的處理的 過程的流程圖。圖8涉及這樣一個(gè)示例，其中一個(gè)或多個(gè)銳變點(diǎn)間隔列表 被存儲在數(shù)據(jù)庫140中，并且對應(yīng)于與輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn) 動(dòng)圖像相匹配的運(yùn)動(dòng)圖像的銳變點(diǎn)間隔列表將被從存儲在數(shù)據(jù)庫140中的 銳變點(diǎn)間隔列表中檢索出。
首先，運(yùn)動(dòng)圖像被輸入到運(yùn)動(dòng)圖像輸入單元110 (步驟S901)。然 后，視頻和音頻解復(fù)用器120將輸入的運(yùn)動(dòng)圖像分離成視頻數(shù)據(jù)和音頻數(shù) 據(jù)(步驟S902)。然后，視頻解碼器130對從輸入運(yùn)動(dòng)圖像分離出的視頻 數(shù)據(jù)進(jìn)行解碼，從而創(chuàng)建基帶數(shù)據(jù)(步驟S903)。然后，特征提取器200 基于所創(chuàng)建的基帶數(shù)據(jù)來提取銳變點(diǎn)(步驟S904)，并且計(jì)算所提取的銳 變點(diǎn)之間的間隔(步驟S905)。
然后，基于由特征提取器200計(jì)算的銳變點(diǎn)間隔，特征核對器150創(chuàng) 建出其中以時(shí)間序列方式布置銳變點(diǎn)間隔的銳變點(diǎn)間隔列表(步驟 S906)。
然后，特征核對器150從存儲在數(shù)據(jù)庫140中的銳變點(diǎn)間隔列表中獲 取一個(gè)銳變點(diǎn)間隔列表(步驟S907)。例如，如圖6所示，創(chuàng)建銳變點(diǎn)間 隔列表420，并從數(shù)據(jù)庫140獲取銳變點(diǎn)間隔列表400。
然后，特征核對器150對在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表和從 數(shù)據(jù)庫140獲取的銳變點(diǎn)間隔列表執(zhí)行匹配判定處理(步驟S920)。該匹 配判定處理的細(xì)節(jié)將在下文參考圖9來描述。
在匹配判定處理之后，判定在數(shù)據(jù)庫140中存儲的銳變點(diǎn)間隔列表當(dāng) 中是否存在尚未經(jīng)歷匹配判定處理的銳變點(diǎn)間隔列表(步驟S908)。如果 在數(shù)據(jù)庫140中存在尚未經(jīng)歷匹配判定處理的銳變點(diǎn)間隔列表(步驟 S908)，處理序列返回步驟S907，在該步驟中特征核對器150在數(shù)據(jù)庫 140中存儲的銳變點(diǎn)間隔列表當(dāng)中獲取尚未經(jīng)歷匹配判定處理的銳變點(diǎn)間 隔列表。
如果在數(shù)據(jù)庫140中不存在尚未經(jīng)歷匹配判定處理的銳變點(diǎn)間隔列表 (步驟S908)，則判定結(jié)果輸出單元160輸出匹配列表，該匹配列表指示
出通過匹配判定處理被判定為匹配比較結(jié)果的判定結(jié)果(步驟S909)。
圖9是示出信息處理設(shè)備100進(jìn)行的用于檢索匹配運(yùn)動(dòng)圖像的處理的 匹配判定處理(圖8所示的步驟S920的處理過程)的過程的流程圖。
首先，變量m和n被初始化到1，并且變量i被初始化到0 (步驟 S921)。然后，獲取在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中的第m個(gè)銳 變點(diǎn)間隔的值(步驟S922)。然后，獲取從數(shù)據(jù)庫140獲取的銳變點(diǎn)間隔 列表中的第n個(gè)銳變點(diǎn)間隔的值(步驟S923)。
然后，將在步驟S922和S923中獲取的最新的兩個(gè)值與彼此相比較， 并且判定這些值是否與彼此匹配(步驟S924)。如果在步驟S922和S923 中獲取的最新的兩個(gè)值不與彼此匹配(步驟S924)，則向變量n加1 (步 驟S935)，然后判定所得到的變量n是否大于從數(shù)據(jù)庫140獲取的銳變點(diǎn) 間隔列表中存儲的銳變點(diǎn)間隔的數(shù)目(步驟S936)。如果變量n不大于從 數(shù)據(jù)庫140獲取的銳變點(diǎn)間隔列表中存儲的銳變點(diǎn)間隔的數(shù)目(步驟 S936)，則處理序列返回到步驟S923，在該步驟中獲取從數(shù)據(jù)庫140獲取 的銳變點(diǎn)間隔列表中的第n個(gè)銳變點(diǎn)間隔的值。
如果變量n大于從數(shù)據(jù)庫140獲取的銳變點(diǎn)間隔列表中存儲的銳變點(diǎn) 間隔的數(shù)目(步驟S936)，則向變量m加1 (步驟S937)，然后判定所 得到的變量m是否大于在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中存儲的銳 變點(diǎn)間隔的數(shù)目(步驟S938)。如果變量m不大于在步驟S906中創(chuàng)建的 銳變點(diǎn)間隔列表中存儲的銳變點(diǎn)間隔的數(shù)目(步驟S938)，則變量n被初 始化到1，以便可以從來自數(shù)據(jù)庫140的列表中獲取第一銳變點(diǎn)間隔(步 驟S939)，并且處理序列返回到歩驟S922，在該步驟中獲取在步驟S906 中創(chuàng)建的銳變點(diǎn)間隔列表中的第m個(gè)銳變點(diǎn)間隔的值。這樣，以時(shí)間序列 方式順序地獲取了銳變點(diǎn)間隔的相應(yīng)值，從而可將兩個(gè)銳變點(diǎn)間隔列表中 的銳變點(diǎn)間隔的值與彼此相比較。
如果在步驟S922和S923中獲取的最新的兩個(gè)值與彼此匹配(步驟 S924),則分別從兩個(gè)銳變點(diǎn)間隔列表中獲取在步驟S922和923中獲取 的這些匹配值之后的值(步驟S925)。例如，從在步驟S906中創(chuàng)建的銳 變點(diǎn)間隔列表中獲取第m+l個(gè)銳變點(diǎn)間隔的值，并且從獲取自數(shù)據(jù)庫140
的銳變點(diǎn)間隔列表中獲取第n+l個(gè)銳變點(diǎn)間隔的值(步驟S925)。
然后，判定在步驟S925中獲取的兩個(gè)值是否與彼此匹配(步驟 S926)。如果在步驟S925中獲取的兩個(gè)值與彼此匹配(步驟S926)，則 處理序列前進(jìn)到步驟S932，在該步驟中向變量i加l。如果在步驟S925中 獲取的兩個(gè)值不與彼此匹配(步驟S926)，則針對作為比較對象的兩個(gè) 值，判定在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中的值是否大于從數(shù)據(jù)庫 140獲取的銳變點(diǎn)間隔列表中的值(步驟S927)。
如果在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中的值大于從數(shù)據(jù)庫140 獲取的銳變點(diǎn)間隔列表中的值(步驟S927)，則從獲取自數(shù)據(jù)庫140的銳 變點(diǎn)間隔列表中獲取后續(xù)的值，并且將所獲取的值加到從數(shù)據(jù)庫140獲取 的銳變點(diǎn)間隔列表中的值(步驟S928)。例如，如果從數(shù)據(jù)庫140獲取的 銳變點(diǎn)間隔列表中的第n+l個(gè)銳變點(diǎn)間隔的值是步驟S926中的比較對 象，則第n+2個(gè)銳變點(diǎn)間隔的值被獲取，以便被加到第n+l個(gè)銳變點(diǎn)間隔 的值。所得到的值被用作下一比較對象。
另一方面，如果在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中的值小于從 數(shù)據(jù)庫140獲取的銳變點(diǎn)間隔列表中的值(步驟S927)，則從在步驟 S906中創(chuàng)建的銳變點(diǎn)間隔列表中獲取后續(xù)的值，并且將所獲取的值加到在 步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中的值(步驟S929)。例如，如果在 步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表中的第m+l個(gè)和第m+2個(gè)銳變點(diǎn)間隔 的值的總和是步驟S927中的比較對象，則第m+3個(gè)銳變點(diǎn)間隔的值被獲 取，以便被加到第m+l個(gè)和第m+2個(gè)銳變點(diǎn)間隔的值的總和。所得到的 值被用作下一比較對象。
然后，判定其中至少有一個(gè)源自于步驟S928或S929中的相加處理的 兩個(gè)值是否與彼此匹配(步驟S930)。如果這兩個(gè)值與彼此匹配(步驟 S930)，則處理序列前進(jìn)到步驟S932，在該步驟中向變量i加1。如果這 兩個(gè)值不與彼此匹配(步驟S930)，則處理序列前進(jìn)到步驟S931。在步 驟S931中，將在步驟S924或S926中被判定為與彼此匹配的兩個(gè)值視為 基本值，并且判定在兩個(gè)匹配值之后從任一銳變點(diǎn)間隔列表獲取的值是否 是從基本值后的值起的第N個(gè)值。例如，如果在步驟S924中被判定為與
彼此匹配的兩個(gè)值被用作基本值，則判定是否從在步驟S906中創(chuàng)建的銳 變點(diǎn)間隔列表中獲取了第m+N個(gè)銳變點(diǎn)間隔的值，并且判定是否從獲取 自數(shù)據(jù)庫140的銳變點(diǎn)間隔列表中獲取了第n+N個(gè)銳變點(diǎn)間隔的值。
如果在在步驟S924或S926中被判定為與彼此匹配的兩個(gè)值之后從任 一銳變點(diǎn)間隔列表獲取的值是從基本值后的值起的第N個(gè)值(步驟 S931)，則處理序列返回到步驟S935，在該步驟中向變量n加l。另一方 面，如果在在步驟S924或S926中被判定為與彼此匹配的兩個(gè)值之后從任 一銳變點(diǎn)間隔列表獲取的值不是從基本值后的值起的第N個(gè)值(步驟 S931)，則處理序列返回到步驟S927。在步驟S927中，針對作為比較對 象的兩個(gè)值，判定源自于在步驟S906中創(chuàng)建的銳變點(diǎn)間隔列表的值是否 大于源自于從數(shù)據(jù)庫140獲取的銳變點(diǎn)間隔列表的值。
如果向變量i加1 (步驟S932)，則判定變量i是否等于常數(shù)A (步 驟S933)。具體地說，判定在步驟S926或S930中的匹配次數(shù)是否達(dá)到了 A。如果變量i等于常數(shù)A (步驟S933)，則從中獲取判定對象值的銳變 點(diǎn)間隔列表被添加到匹配列表(步驟S934)。就常數(shù)A而言，例如可以 使用2或3。就常數(shù)N而言，例如可以使用3到6的任何數(shù)字。具體地 說，第一匹配值被用作第一基本值，并且相加以及比較處理是在從第一基 本值后的值起的N個(gè)值的范圍中執(zhí)行的，從而判定值是否與彼此匹配。如 果在N個(gè)值的范圍中值與彼此匹配，則最新獲取的值被用作第二基本值， 并且相加以及比較處理在從第二基本值后的值起的N個(gè)值的范圍中執(zhí)行， 從而判定值是否與彼此匹配。這一系列相加以及比較處理被重復(fù)。結(jié)果， 依據(jù)是否有A次找到值匹配，來判定輸入運(yùn)動(dòng)圖像是否與目標(biāo)運(yùn)動(dòng)圖像相 匹配。
如果變量i小于常數(shù)A (步驟S933)，則處理序列返回到步驟S925， 在該步驟中，分別從兩個(gè)銳變點(diǎn)間隔列表中獲取提供了步驟S926或S930 中的匹配的最新獲取值之后的值(步驟S925)。
在上述示例中，如果在步驟S924中兩個(gè)值與彼此匹配，則這些匹配 值之后的值被順序地獲取并比較。但是，如果在步驟S924中兩個(gè)值是在 至少一個(gè)列表的較后端與彼此匹配的，那么就不可能順序地獲取并比較這
一端的匹配值之后的值，因?yàn)樽鳛檫@一端的匹配值之后的值的比較對象銳 變點(diǎn)間隔并不存在。因此，即使在這種情況下也執(zhí)行匹配判定處理是很重 要的。為了該目的，例如有以下方案可用。具體地說，銳變點(diǎn)間隔列表被
劃分成前部、中部和后部，并且比較和相加處理的方式依據(jù)步驟S924中 兩個(gè)值的匹配位置而被改變。更具體地說，如果在步驟S924中兩個(gè)值在 前部與彼此匹配，則匹配值之后的值被順序地獲取并比較，如圖7和9所 示。如果在步驟S924中兩個(gè)值在后部與彼此匹配，則匹配值之前的值被 順序地獲取和比較。如果在步驟S924中兩個(gè)值在中部與彼此匹配，則沿 著從匹配值起的向前或向后方向中的任何一個(gè)的值被順序地獲取和比較。 上述比較和相加處理可基于作為比較對象的兩個(gè)列表中的任何一個(gè)被改 變。或者，比較和相加處理可依據(jù)在步驟S924中被判定為與彼此匹配的 兩個(gè)列表中的兩個(gè)值的兩個(gè)位置而被改變。
接下來，下面將參考附圖詳細(xì)描述連續(xù)提取出短銳變點(diǎn)間隔的情況。
圖IOA和10B是示出銳變點(diǎn)間隔列表480和490的示圖。圖IOA示出 了包括連續(xù)的較短銳變點(diǎn)間隔的銳變點(diǎn)間隔列表480。圖IOB示出了由于 將連續(xù)的較短銳變點(diǎn)間隔與彼此相加而得到的銳變點(diǎn)間隔列表490。
如圖IOA所示，有可能提取出各自等同于一或兩場的較短銳變點(diǎn)間 隔。如果利用這種包括大量連續(xù)的較短銳變點(diǎn)間隔(例如1)的銳變點(diǎn)間 隔列表來執(zhí)行匹配判定處理，則很有可能在步驟S924中的兩個(gè)值的匹配 之后，隨后的值和再隨后的值在步驟S925和S926中與彼此匹配。這種情 況可能涉及這樣的可能性，即目標(biāo)運(yùn)動(dòng)圖像被判定為與實(shí)際上并不匹配目 標(biāo)運(yùn)動(dòng)圖像的錯(cuò)誤運(yùn)動(dòng)圖像相匹配。為了避免該問題，如果短銳變點(diǎn)間隔 被連續(xù)提取出，則變化點(diǎn)間隔計(jì)算器250如圖IOB所示將這些連續(xù)的較短 銳變點(diǎn)間隔與彼此相加，從而得到的值可用于匹配判定處理。
在圖IOA和IOB的示例中，圖IOA所示的銳變點(diǎn)間隔列表480中包 括的等于或短于10的連續(xù)短銳變點(diǎn)間隔被相加在一起，從而獲得圖10B 所示的銳變點(diǎn)間隔列表490。圖IOA和10B中的箭頭481至489指示出相 加之前和之后銳變點(diǎn)間隔之間的關(guān)系。
如圖IOA所示，在將等于或短于10的連續(xù)銳變點(diǎn)間隔相加之前，銳變點(diǎn)間隔的數(shù)目為45。與之相比，如圖IOB所示，在將等于或短于10的 連續(xù)銳變點(diǎn)間隔相加之后，銳變點(diǎn)間隔的數(shù)目是32。因此，可以減少數(shù)據(jù) 庫140中存儲的數(shù)據(jù)的量，并且可以減小與錯(cuò)誤運(yùn)動(dòng)圖像錯(cuò)匹配的概率。 在執(zhí)行圖IOA和IOB所示的相加處理的情況下，該相加處理是對存儲在數(shù) 據(jù)庫140中的銳變點(diǎn)間隔列表和與作為匹配判定處理的對象的運(yùn)動(dòng)圖像相 對應(yīng)的銳變點(diǎn)間隔列表兩者執(zhí)行的。
接下來，下面將描述特征提取器200所使用的閾值基于特征核對器 150的判定結(jié)果而被改變的示例。
如上所述，特征核對器150進(jìn)行的匹配判定處理受到特征提取器200 所提取的銳變點(diǎn)的很大影響。但是，即使與存儲在數(shù)據(jù)庫140中的銳變點(diǎn) 間隔列表相對應(yīng)的運(yùn)動(dòng)圖像和輸入到運(yùn)動(dòng)圖像輸入單元110中的運(yùn)動(dòng)圖像 是相同的，如果這兩個(gè)運(yùn)動(dòng)圖像具有不同的圖像質(zhì)量、圖像大小等等的 話，也有可能一個(gè)運(yùn)動(dòng)圖像中的幀位置被提取為銳變點(diǎn)，而另一運(yùn)動(dòng)圖像 中的同一幀位置卻沒有被提取為銳變點(diǎn)。這樣，如果圖像質(zhì)量、圖像大小 等等不同，則有可能未從同一運(yùn)動(dòng)圖像中提取相同的銳變點(diǎn)。在這種情況 下，特征核對器150進(jìn)行的匹配判定處理的準(zhǔn)確度將降低。因此，為了提 高特征核對器150進(jìn)行的匹配判定處理的準(zhǔn)確度，提高從運(yùn)動(dòng)圖像提取銳 變點(diǎn)的準(zhǔn)確度是很重要的。
圖11是示出通過部分修改圖1所示的信息處理設(shè)備ioo而獲得的信息 處理設(shè)備101的配置示例的框圖。就與圖1所示的信息處理設(shè)備100的差 別而言，信息處理設(shè)備101包括數(shù)據(jù)庫141和特征提取器201，而不是數(shù) 據(jù)庫140和特征提取器200，并且還包括特征保存器710、變化點(diǎn)比較器 720和閾值更新器730。除數(shù)據(jù)庫141、特征提取器201、特征保存器 710、變化點(diǎn)比較器720和閾值更新器730之外的配置與圖1所示的信息處 理設(shè)備100中的配置相同，因此對除這些組件之外的配置的描述被省略。 在匹配判定處理中，特征核對器150在逐列表基礎(chǔ)上將匹配判定處理中的 第一匹配值的位置記錄在匹配列表中。
特征提取器201基于從視頻解碼器130輸出的基帶數(shù)據(jù)來提取運(yùn)動(dòng)圖 像中包括的連續(xù)幀之間的直方圖差別和銳變點(diǎn)間隔。特征提取器201將所
提取的銳變點(diǎn)間隔輸出到特征核對器150，并將所提取的直方圖差別和銳 變點(diǎn)間隔輸出到數(shù)據(jù)庫141和特征保存器710。特征提取器201的細(xì)節(jié)將 在下文中參考圖12來描述。
數(shù)據(jù)庫141針對每個(gè)運(yùn)動(dòng)圖像存儲與從特征提取器201輸出的直方圖 差別和銳變點(diǎn)間隔相對應(yīng)的特征列表，并且針對每個(gè)運(yùn)動(dòng)圖像將所存儲的 特征列表輸出到特征核對器150。特征列表的細(xì)節(jié)將在下文中參考圖12、 13等等來描述。
特征核對器150將從特征提取器201輸出的銳變點(diǎn)間隔與存儲在數(shù)據(jù) 庫141中的各個(gè)特征列表相比較?；诒容^結(jié)果，特征核對器150判定輸 入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像是否匹配與存儲在數(shù)據(jù)庫141中的 特征列表相對應(yīng)的運(yùn)動(dòng)圖像。特征核對器150將指示該判定結(jié)果的匹配列 表輸出到判定結(jié)果輸出單元160。也就是說，特征核對器150從存儲在數(shù) 據(jù)庫141中的特征列表中檢索出對應(yīng)于與輸入到運(yùn)動(dòng)圖像輸入單元110的 運(yùn)動(dòng)圖像相匹配的運(yùn)動(dòng)圖像的特征列表。
特征保存器710基于從特征提取器201輸出的直方圖差別和銳變點(diǎn)間 隔來創(chuàng)建和保存其中以時(shí)間序列方式布置了直方圖差別和銳變點(diǎn)間隔的特 征列表。特征保存器710將所保存的特征列表輸出到變化點(diǎn)比較器720。
變化點(diǎn)比較器720從數(shù)據(jù)庫141獲取從特征核對器150輸出的匹配列 表中包括的特征列表。變化點(diǎn)比較器720從所獲取的特征列表和輸出自特 征保存器710的特征列表中檢測不與彼此匹配的變化點(diǎn)，并且將檢測到的 變化點(diǎn)的直方圖差別與彼此相比較。另外，變化點(diǎn)比較器720基于比較結(jié) 果計(jì)算閾值，并將計(jì)算出的閾值輸出到閾值更新器730。
閾值更新器730基于從變化點(diǎn)比較器720輸出的閾值來更新在特征提 取器201對變化點(diǎn)的提取中使用的閾值。閾值更新的細(xì)節(jié)將在下文中參考 圖15、 16等等來描述。
圖12是示出特征提取器201的功能配置示例的框圖。特征提取器201 與圖2所示的特征提取器200的不同之處在于特征提取器201包括閾值保 存器231，而不是閾值保存器230。另外，特征提取器201將來自用于連 續(xù)幀之間的直方圖差別的計(jì)算器220的直方圖差別輸出到數(shù)據(jù)庫141和特征保存器710。此外，特征提取器201將來自變化點(diǎn)間隔計(jì)算器250的銳 變點(diǎn)間隔輸出到數(shù)據(jù)庫141、特征核對器150和特征保存器710。除了閾 值保存器231之外的配置與圖2所示的特征提取器200中的配置相同，因 此對除閾值保存器231之外的配置的描述被省略。
閾值保存器231保存在銳變點(diǎn)判定器240判定連續(xù)兩幀之間的邊界是 否是銳變點(diǎn)時(shí)使用的閾值，并且基于來自閾值更新器730的更新信息來更 新保存的閾值。閾值保存器231將保存的閾值輸出到銳變點(diǎn)判定器240。
下面將參考附圖描述基于從特征提取器201輸出的直方圖差別和銳變 點(diǎn)間隔來創(chuàng)建的特征列表的細(xì)節(jié)。
圖13是示意性地示出存儲在數(shù)據(jù)庫141中的特征列表的示圖。 一個(gè) 或多個(gè)特征列表被存儲在數(shù)據(jù)庫141中。例如，特征列表460、 465和466 被存儲在數(shù)據(jù)庫141中?？梢皂樞虻卮鎯趶奶卣魈崛∑?01輸出的直 方圖差別和銳變點(diǎn)間隔來創(chuàng)建的特征列表，來作為存儲在數(shù)據(jù)庫141中的 特征列表?；蛘撸梢源鎯τ闪硪恍畔⑻幚碓O(shè)備創(chuàng)建的特征列表。
在特征列表460中，銳變點(diǎn)間隔463和連續(xù)幀之間的直方圖差別464 以時(shí)間序列方式與彼此相關(guān)聯(lián)地被記錄。這些特征與用于標(biāo)識相應(yīng)運(yùn)動(dòng)圖 像的內(nèi)容ID (例如"223")相關(guān)聯(lián)。另外，在圖13中，節(jié)點(diǎn)ID 462被 用來作為從相應(yīng)運(yùn)動(dòng)圖像提取出的銳變點(diǎn)間隔的標(biāo)識號。銳變點(diǎn)間隔463 與圖5所示的銳變點(diǎn)間隔403類似，因此對其的描述被省略。
直方圖差別464指示出從特征提取器201中的直方圖差別計(jì)算器220 輸出的直方圖差別，并且是在逐幀基礎(chǔ)上以時(shí)間序列方式來記錄的。銳變 點(diǎn)間隔463是針對下述的兩個(gè)連續(xù)幀來記錄的這兩個(gè)連續(xù)幀對應(yīng)于由直 方圖差別計(jì)算器220計(jì)算出的直方圖差別當(dāng)中的超過在閾值保存器230中 保存的閾值的直方圖差別。與之相比，由直方圖差別計(jì)算器220計(jì)算出的 所有直方圖差別都被記錄來作為直方圖差別464。
如上所述，特征核對器150進(jìn)行的匹配判定處理是利用特征列表460 中的銳變點(diǎn)間隔463來執(zhí)行的。因此，省略對特征核對器150進(jìn)行的匹配 判定處理的描述。
接下來，下面將參考附圖詳細(xì)描述用于基于特征列表中存儲的連續(xù)幀
之間的直方圖差別來改變閾值的閾值改變方法。
圖14是示出從數(shù)據(jù)庫141獲取的特征列表460和從特征保存器710獲 取的特征列表470的示圖。下面，將參考圖15和16來描述通過對特征列 表460和特征列表470之間的連續(xù)幀之間的直方圖差別的比較而進(jìn)行的閾 值改變。
圖15和16各自示出了指示出特征列表460和470中的連續(xù)幀之間的 直方圖差別的線圖。線圖481指示出特征列表460中的連續(xù)幀之間的直方 圖差別464。線圖482指示出特征列表470中的連續(xù)幀之間的直方圖差別 474。在圖15中，250被設(shè)置為閾值483。在圖16中，250的閾值483被 改變?yōu)?30的閾值484。在該示例中，與從數(shù)據(jù)庫141獲取的特征列表 460相對應(yīng)的運(yùn)動(dòng)圖像是具有高圖像質(zhì)量的運(yùn)動(dòng)圖像。與之相比，與從特 征保存器710獲取的特征列表470相對應(yīng)的運(yùn)動(dòng)圖像是具有低圖像質(zhì)量的 運(yùn)動(dòng)圖像。也就是說，作為比較對象的兩個(gè)運(yùn)動(dòng)圖像是相同的，但具有不 同的圖像質(zhì)量。
如圖15所示，兩個(gè)列表中的連續(xù)幀之間的直方圖差別在時(shí)間tll、 t12 和tl3處有很大變化。在圖15的情況中，因?yàn)殚撝?83被設(shè)置為250，因 此在時(shí)間tl連續(xù)幀之間的邊界被從高質(zhì)量運(yùn)動(dòng)圖像和低質(zhì)量運(yùn)動(dòng)圖像兩者 中提取出來，作為銳變點(diǎn)。與之相比，在時(shí)間t12，幀邊界被從高質(zhì)量圖 像中提取出來作為銳變點(diǎn)，因?yàn)榭邕吔绲闹狈綀D差別大于閾值，而幀邊界 沒有被從低質(zhì)量圖像中提取出來作為銳變點(diǎn)，因?yàn)榭邕吔绲闹狈綀D差別小 于閾值。在時(shí)間t13，幀邊界被從低質(zhì)量圖像中提取出來作為銳變點(diǎn)，因 為跨邊界的直方圖差別大于閾值，而幀邊界沒有被從高質(zhì)量圖像中提取出 來作為銳變點(diǎn)，因?yàn)榭邕吔绲闹狈綀D差別小于閾值。如上所述，如果在兩 個(gè)彼此相同的運(yùn)動(dòng)圖像之間，圖像質(zhì)量、圖像大小等等是不同的，則有可 能提取出的銳變點(diǎn)的位置是不同的。
高質(zhì)量運(yùn)動(dòng)圖像將會(huì)接近原始視頻，并且具有較高的銳變點(diǎn)提取準(zhǔn)確 度。因此，當(dāng)在兩個(gè)彼此相同的運(yùn)動(dòng)圖像之間，提取出銳變點(diǎn)的位置不同 時(shí)，在信任具有高圖像質(zhì)量的運(yùn)動(dòng)圖像的直方圖差別的情況下改變閾值。 具體地說，如果存在這樣一個(gè)點(diǎn)，該點(diǎn)在高質(zhì)量圖像中具有高于閾值的直
方圖差別，但在低質(zhì)量圖像中具有等于或低于閾值的直方圖差別，則閾值 將會(huì)被改變，使得該點(diǎn)也將被從低質(zhì)量圖像中作為銳變點(diǎn)提取出來。例 如，閾值被設(shè)置為這種點(diǎn)在低質(zhì)量圖像中的直方圖差別。具體地說，例
如，在圖15中被設(shè)置到250的閾值483如圖16所示被改變到230的閾值 484， 230等于與低質(zhì)量圖像相對應(yīng)的線圖482中的時(shí)間t12處的值。由于 該操作，即使當(dāng)在該改變之后輸入的運(yùn)動(dòng)圖像具有低圖像質(zhì)量時(shí)，也可以 從中提取出更適當(dāng)?shù)匿J變點(diǎn)。
在時(shí)間t13，只有低質(zhì)量圖像的直方圖差別大于閾值。但是，從低質(zhì) 量圖像提取銳變點(diǎn)的準(zhǔn)確度將會(huì)較低。因此，將把其直方圖差別僅在低質(zhì) 量圖像中低于閾值的點(diǎn)視為差錯(cuò)，并且不會(huì)對其執(zhí)行像對時(shí)間t12處的點(diǎn) 那樣的閾值改變。另外，如果存在多個(gè)點(diǎn)，每個(gè)點(diǎn)在高質(zhì)量圖像具有大于 閾值的直方圖差別，但在低質(zhì)量圖像具有等于或小于閾值的直方圖差別， 則這些點(diǎn)的直方圖差別當(dāng)中的最小直方圖差別可被用作閾值。
圖17是示出信息處理設(shè)備101進(jìn)行的閾值改變處理的過程的流程 圖。圖17涉及這樣一個(gè)示例，其中與高圖像質(zhì)量相對應(yīng)的特征列表被存 儲在數(shù)據(jù)庫141中，并且作為檢索對象輸入的運(yùn)動(dòng)圖像具有低圖像質(zhì)量。
首先，由特征核對器150創(chuàng)建的匹配列表被輸入到變化點(diǎn)比較器720 (步驟S941)。然后，變化點(diǎn)比較器720判定在輸入的匹配列表中是否存 在被判定為匹配輸入運(yùn)動(dòng)圖像的特征列表(步驟S942)。如果不存在被判 定為匹配輸入運(yùn)動(dòng)圖像的特征列表，則閾值改變處理的操作結(jié)束。
如果在匹配列表中存在被判定為匹配輸入運(yùn)動(dòng)圖像的特征列表(步驟 S942)，則變化點(diǎn)比較器720從數(shù)據(jù)庫141獲取匹配列表中包括的特征列 表，并且獲取保存在特征保存器710中的特征列表(步驟S943)。
然后，變化點(diǎn)比較器720將從數(shù)據(jù)庫141獲取的特征列表中的銳變點(diǎn) 與從特征保存器710獲取的特征列表中的銳變點(diǎn)相比較，從而檢測這樣的 點(diǎn)該點(diǎn)未被包括在從特征保存器710獲取的特征列表(與低質(zhì)量圖像相 對應(yīng)的特征列表)中，但卻被包括在從數(shù)據(jù)庫141獲取的特征列表(與高 質(zhì)量圖像相對應(yīng)的特征列表)中(步驟S944)。也就是說，檢測低質(zhì)量運(yùn) 動(dòng)圖像的特征列表中的銳變點(diǎn)缺失。如果不存在未被包括在低質(zhì)量圖像的
特征列表中但卻被包括在高質(zhì)量圖像的特征列表中的點(diǎn)(步驟S945)，則 閾值改變處理的操作結(jié)束。
如果存在未被包括在低質(zhì)量圖像的特征列表中但卻被包括在高質(zhì)量圖 像的特征列表中的點(diǎn)(步驟S945)，變化點(diǎn)比較器720從獲取自特征保存 器710的特征列表中獲取在步驟S944中檢測到的點(diǎn)的直方圖差別(步驟 S946)。如果在步驟S944中檢測到多個(gè)點(diǎn)，則獲取這多個(gè)點(diǎn)的直方圖差 別。
然后，變化點(diǎn)比較器720判定在步驟S944中是否檢測到多個(gè)點(diǎn)(步 驟S947)。如果在步驟S944中只檢測到一個(gè)點(diǎn)(步驟S947)，則變化點(diǎn) 比較器720將閾值設(shè)置為從獲得自特征保存器710的特征列表中獲取的這 一個(gè)點(diǎn)的直方圖差別(步驟S948)。
如果在步驟S944中檢測到多個(gè)點(diǎn)(步驟S947)，則變化點(diǎn)比較器 720將閾值設(shè)置為從獲得自特征保存器710的特征列表中獲取的、在步驟 S944中檢測到的多個(gè)點(diǎn)的直方圖差別當(dāng)中的最小直方圖差別。
在上述示例中，與具有高圖像質(zhì)量的運(yùn)動(dòng)圖像相對應(yīng)的特征列表被存 儲在數(shù)據(jù)庫141中，并且作為檢索對象輸入的運(yùn)動(dòng)圖像具有低圖像質(zhì)量。 或者，可以在特征核對器150進(jìn)行的匹配判定處理之前預(yù)先判定與作為比 較對象的兩個(gè)特征列表相對應(yīng)的運(yùn)動(dòng)圖像是具有高圖像質(zhì)量還是低圖像質(zhì) 量，并且可以基于判定結(jié)果為執(zhí)行上述閾值改變處理。對于有關(guān)運(yùn)動(dòng)圖像 是具有高圖像質(zhì)量還是低圖像質(zhì)量的判定，例如，可以從運(yùn)動(dòng)圖像的壓縮 流的頭部信息中提取出壓縮率或圖像大小，以便基于提取出的壓縮率或圖 像大小來進(jìn)行判定。另外，在檢索匹配運(yùn)動(dòng)圖像之前，可將作為測試數(shù)據(jù) 的多個(gè)運(yùn)動(dòng)圖像輸入到信息處理設(shè)備101,并可以利用測試數(shù)據(jù)來執(zhí)行閾 值改變處理。具體地說，將與高質(zhì)量運(yùn)動(dòng)圖像相對應(yīng)的特征列表中的變化 點(diǎn)和與低質(zhì)量運(yùn)動(dòng)圖像相對應(yīng)的特征列表中的變化點(diǎn)相比較。如果存在這 樣一個(gè)點(diǎn)，該點(diǎn)在低質(zhì)量圖像中未被判定為變化點(diǎn)，但在高質(zhì)量圖像中被 判定為變化點(diǎn)，則閾值被調(diào)節(jié)，使得該點(diǎn)在低質(zhì)量圖像中也將被判定為變 化點(diǎn)。這可以進(jìn)一步提高特征核對器150進(jìn)行的匹配判定處理的準(zhǔn)確度。 此外，可以通過上述閾值改變處理預(yù)先獲得運(yùn)動(dòng)圖像的圖像質(zhì)量與閾值之
間的關(guān)系，從而可以依據(jù)作為檢索對象輸入的運(yùn)動(dòng)圖像的圖像質(zhì)量來改變
B 接下來，下面將描述這樣一個(gè)示例，其中，顏色直方圖經(jīng)過多個(gè)幀以 較大的變化量變化的位置被提取來作為在連續(xù)幀之間的顏色直方圖的變化 量中不包括瞬時(shí)增大的運(yùn)動(dòng)圖像的變化點(diǎn)。
如上所述，特征提取器200提取與連續(xù)幀之間的顏色直方圖的變化量 的瞬時(shí)增大相對應(yīng)的銳變點(diǎn)。但是，如果顏色直方圖經(jīng)過多個(gè)幀以較大的 變化量變化的位置也被提取來作為變化點(diǎn)，則檢索準(zhǔn)確度將被進(jìn)一步提 高。
圖18是示出基于運(yùn)動(dòng)圖像的特性對運(yùn)動(dòng)圖像進(jìn)行的分類的示圖。在 下面描述的示例中，利用運(yùn)動(dòng)圖像中包括的幀之間的顏色直方圖變化的量 作為運(yùn)動(dòng)圖像的特性來提取變化點(diǎn)，并且依據(jù)變化點(diǎn)的存在與否來對運(yùn)動(dòng) 圖像進(jìn)行分類。
例如，可以基于作為時(shí)間軸信息501的是否存在切換轉(zhuǎn)變(cut transition)，來對運(yùn)動(dòng)圖像進(jìn)行分類。切換轉(zhuǎn)變例如指的是運(yùn)動(dòng)圖像中的 場景變化的邊界。如果存在切換轉(zhuǎn)變，那么作為屏幕信息502，切換轉(zhuǎn)變 可被分類成銳變點(diǎn)，在該點(diǎn)處場景在連續(xù)兩幀之間被瞬時(shí)轉(zhuǎn)換；以及漸 變點(diǎn)，在該點(diǎn)上場景經(jīng)預(yù)定數(shù)目的幀在較短的時(shí)間中被轉(zhuǎn)換。這個(gè)分類可 以依據(jù)幀間顏色直方圖變化量530是瞬時(shí)變大還是非瞬時(shí)但在較短時(shí)間中 變大來進(jìn)行。
如果不存在切換轉(zhuǎn)變，那么作為屏幕信息502，運(yùn)動(dòng)圖像可基于屏幕 中的對象的運(yùn)動(dòng)(屏幕中的運(yùn)動(dòng))來被分類。屏幕中的運(yùn)動(dòng)例如可被分類 成"對象快速運(yùn)動(dòng)"、"對象緩慢運(yùn)動(dòng)"以及"靜止對象"。與變化點(diǎn) 類似，對屏幕中的運(yùn)動(dòng)的這種分類也可利用幀間顏色直方圖變化量503來 進(jìn)行。具體地說，如果顏色直方圖經(jīng)過預(yù)定數(shù)目的幀變化的量較大，則屏 幕中的運(yùn)動(dòng)被分類為"對象快速運(yùn)動(dòng)"。如果顏色直方圖經(jīng)過預(yù)定數(shù)目的 幀變化的量較小，則運(yùn)動(dòng)被分類為"對象緩慢運(yùn)動(dòng)"。如果顏色直方圖經(jīng) 過預(yù)定數(shù)目的幀變化的量幾乎為零，則運(yùn)動(dòng)被分類為"靜止對象"。如果 顏色直方圖經(jīng)過預(yù)定數(shù)目的幀變化的量較大，從而屏幕中的運(yùn)動(dòng)被分類為 "對象快速運(yùn)動(dòng)"，則類似于包括漸變點(diǎn)的運(yùn)動(dòng)圖像，該運(yùn)動(dòng)圖像可被分 類為包括變化點(diǎn)的圖像。
如圖18所示，包括"銳變點(diǎn)"、"漸變點(diǎn)"和"對象快速運(yùn)動(dòng)"中 的至少一個(gè)的運(yùn)動(dòng)圖像被分類為包括變化點(diǎn)的運(yùn)動(dòng)圖像。與之相比，不包 括"銳變點(diǎn)"、"漸變點(diǎn)"和"對象快速運(yùn)動(dòng)"中的任何一個(gè)、但包括
"對象緩慢運(yùn)動(dòng)"或"靜止對象"的運(yùn)動(dòng)圖像可被分類為不包括變化點(diǎn)的 運(yùn)動(dòng)圖像。下面將描述如何利用涵蓋了 "漸變點(diǎn)"和"對象快速運(yùn)動(dòng)"的 變化點(diǎn)來執(zhí)行用于檢索匹配運(yùn)動(dòng)圖像的處理。
圖19是示出特征提取器202的功能配置示例的框圖。特征提取器202 與圖2所示的特征提取器200的不同之處在于特征提取器202包括變化點(diǎn) 間隔計(jì)算器251，而不是變化點(diǎn)間隔計(jì)算器250，并且還包括用于經(jīng)過N 幀的直方圖差別的計(jì)算器260、閾值保存器270以及用于N幀之間的變化 點(diǎn)的判定器280 (以下稱為N幀變化點(diǎn)判定器280)。除了變化點(diǎn)間隔計(jì) 算器251、直方圖差別計(jì)算器260、閾值保存器270和N幀變化點(diǎn)判定器 280之外的配置與圖2所示的特征提取器200中的配置相同，因此對除這 些組件之外的配置的描述被省略。
圖20是概念性地示出運(yùn)動(dòng)圖像中包括的、以時(shí)間序列方式布置的各 個(gè)幀的示圖。圖20的細(xì)節(jié)將在下文中參考圖19來描述。
用于經(jīng)過N幀的直方圖差別的計(jì)算器260針對從顏色直方圖提取器 210輸出的各幀的Y、 Cb和Cr的顏色直方圖，計(jì)算連續(xù)N幀的第一幀和 最后一幀之間的顏色直方圖面積的差別。計(jì)算器260將計(jì)算出的直方圖差 別輸出到N幀變化點(diǎn)判定器280.
閾值保存器270保存在N幀變化點(diǎn)判定器280判定連續(xù)N幀之間的點(diǎn) 是否是變化點(diǎn)時(shí)使用的閾值，并且將所保存的閾值輸出到N幀變化點(diǎn)判定 器280。
N幀變化點(diǎn)判定器280基于從計(jì)算器260輸出的直方圖差別是否超過 閾值保存器270中保存的閾值，來判定連續(xù)N幀之間的點(diǎn)是否是變化點(diǎn)。 具體地說，如果從計(jì)算器260輸出的直方圖差別超過閾值保存器270中保 存的閾值，則N幀變化點(diǎn)判定器280判定與該直方圖差別相對應(yīng)的連續(xù)N
幀之間的點(diǎn)是變化點(diǎn)，并且將與該點(diǎn)相對應(yīng)的時(shí)間作為變化點(diǎn)時(shí)間輸出到
變化點(diǎn)間隔計(jì)算器251。另一方面，如果從計(jì)算器260輸出的直方圖差別 不超過閾值保存器270中保存的閾值，則N幀變化點(diǎn)判定器280判定與該 直方圖差別相對應(yīng)的連續(xù)N幀之間的點(diǎn)不是變化點(diǎn)。如果以這種方式判定 該點(diǎn)不是變化點(diǎn)，則不向變化點(diǎn)間隔計(jì)算器251輸出時(shí)間。
圖20示意性地示出了由成像設(shè)備捕捉的運(yùn)動(dòng)圖像340的幀341至 350。幀341至350被包括在一個(gè)運(yùn)動(dòng)圖像340中。幀341至345是連續(xù)的 幀，幀346至350也是連續(xù)的幀。幀341和346、 342和347、 343和 348、 344和349以及345和350這些對各自是連續(xù)N幀的第一幀和最后一 幀的對。例如，假定幀速率是30 fj)s (幀/秒)，則N可被設(shè)置為30，這 等同于1秒。
圖20的示例是基于以下假設(shè)的幀342和347之間、幀343和348之 間以及幀344和349之間的點(diǎn)的直方圖差別分別超過了閾值保存器270中 保存的閾值，從而滿足了連續(xù)N幀之間的這些點(diǎn)各自被判定為變化點(diǎn)的條 件。在圖20中，其中有一個(gè)點(diǎn)被判定為變化點(diǎn)的連續(xù)N幀中的最后一幀 由陰影區(qū)域指示。如果滿足該點(diǎn)被判定為變化點(diǎn)的條件的點(diǎn)以這種方式連 續(xù)，那么在這些連續(xù)的點(diǎn)中，只有與最早的連續(xù)N幀相對應(yīng)的點(diǎn)被N幀變 化點(diǎn)判定器280檢測為變化點(diǎn)。具體地說，在分別滿足點(diǎn)被判定為變化點(diǎn) 的條件的幀342和347之間、幀343和348之間以及幀344和349之間的 點(diǎn)中，作為包括滿足條件的點(diǎn)的最早的連續(xù)N幀的第一幀和最后一幀的幀 342和347之間的點(diǎn)被判定為變化點(diǎn)。
變化點(diǎn)間隔計(jì)算器251基于從銳變點(diǎn)判定器240和N幀變化點(diǎn)判定器 280輸出的變化點(diǎn)的時(shí)間來計(jì)算相鄰兩個(gè)變化點(diǎn)之間的時(shí)間間隔(以下， 術(shù)語"變化點(diǎn)"涵蓋銳變點(diǎn)和變化點(diǎn)兩者)。變化點(diǎn)間隔計(jì)算器251將計(jì) 算出的變化點(diǎn)間隔輸出到數(shù)據(jù)庫140和特征核對器150。具體地說，如果 變化點(diǎn)時(shí)間被從銳變點(diǎn)判定器240或N幀變化點(diǎn)判定器280輸出，則變化 點(diǎn)間隔計(jì)算器251計(jì)算該時(shí)間與就在該時(shí)間之前輸出的時(shí)間之間的差別， 從而計(jì)算相鄰兩個(gè)變化點(diǎn)之間的時(shí)間間隔。就相鄰兩個(gè)變化點(diǎn)之間的間隔 而言，可以計(jì)算這些變化點(diǎn)之間的行程中包括的幀的數(shù)目，并且將計(jì)算出
的幀數(shù)目用作變化點(diǎn)的間隔。
接下來，下面將描述這樣一個(gè)示例，其中被銳變點(diǎn)判定器240和N幀 變化點(diǎn)判定器280使用的閾值基于特征核對器150的判定結(jié)果被改變。此 示例是對圖11至17所示的信息處理設(shè)備101中的閾值保存器中的閾值更 新的修改。與圖11至17所示的配置不同的部分將被描述，而對相同部分 的描述將被省略。
圖21是示出通過部分修改圖11所示的信息處理設(shè)備101而獲得的信 息處理設(shè)備102的配置示例的框圖。就與圖11所示的信息處理設(shè)備101的 差別而言，信息處理設(shè)備102包括數(shù)據(jù)庫142、特征核對器151、特征提 取器203、特征保存器711、變化點(diǎn)比較器721和閾值更新器731，而不是 數(shù)據(jù)庫141、特征核對器150、特征提取器201、特征保存器710、變化點(diǎn) 比較器720和閾值更新器730。除這些組件之外的配置與圖ll所示的信息 處理設(shè)備101中的配置相同，因此對除這些組件之外的配置的描述被省 略。
特征提取器203基于從視頻解碼器130輸出的基帶數(shù)據(jù)，提取運(yùn)動(dòng)圖 像中包括的連續(xù)兩幀之間的直方圖差別、銳變點(diǎn)間隔、經(jīng)過運(yùn)動(dòng)圖像中包 括的連續(xù)N幀的直方圖差別以及變化點(diǎn)間隔。特征提取器203將所提取的 銳變點(diǎn)間隔和變化點(diǎn)間隔輸出到特征核對器151。另外，特征提取器203 將所提取的直方圖差別、銳變點(diǎn)間隔和變化點(diǎn)間隔輸出到數(shù)據(jù)庫142和特 征保存器711。特征提取器203的細(xì)節(jié)將在下文中參考圖22來描述。
數(shù)據(jù)庫142針對每個(gè)運(yùn)動(dòng)圖像存儲與從特征提取器203輸出的各個(gè)直 方圖差別、銳變點(diǎn)間隔和變化點(diǎn)間隔相對應(yīng)的特征列表，并且針對每個(gè)運(yùn) 動(dòng)圖像將所存儲的特征列表輸出到特征核對器151。特征列表的細(xì)節(jié)將在 下文中參考圖23等等來描述。
特征核對器151將從特征提取器203輸出的銳變點(diǎn)間隔和變化點(diǎn)間隔 與存儲在數(shù)據(jù)庫142中的各個(gè)特征列表相比較?；诒容^結(jié)果，特征核對 器151判定輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像是否匹配與存儲在數(shù) 據(jù)庫142中的特征列表相對應(yīng)的運(yùn)動(dòng)圖像。特征核對器151將指示該判定 結(jié)果的匹配列表輸出到判定結(jié)果輸出單元160。也就是說，特征核對器
151從存儲在數(shù)據(jù)庫142中的特征列表中檢索出對應(yīng)于與輸入到運(yùn)動(dòng)圖像 輸入單元110的運(yùn)動(dòng)圖像相匹配的運(yùn)動(dòng)圖像的特征列表。
特征保存器711基于從特征提取器203輸出的直方圖差別、銳變點(diǎn)間 隔和變化點(diǎn)間隔來創(chuàng)建和保存其中以時(shí)間序列方式布置了直方圖差別、銳 變點(diǎn)間隔和變化點(diǎn)間隔的特征列表。特征保存器711將所保存的特征列表 輸出到變化點(diǎn)比較器721。
變化點(diǎn)比較器721從數(shù)據(jù)庫142獲取從特征核對器151輸出的匹配列 表中包括的特征列表。變化點(diǎn)比較器721從所獲取的特征列表和輸出自特 征保存器711的特征列表中檢測不與彼此匹配的變化點(diǎn)。另外，對于這些 檢測到的變化點(diǎn)，變化點(diǎn)比較器721將連續(xù)兩幀之間的直方圖差別與彼此 相比較，并且將經(jīng)過連續(xù)N幀的直方圖差別與彼此相比較。也就是說，變 化點(diǎn)比較器721基于對連續(xù)兩幀之間的直方圖差別的比較結(jié)果，計(jì)算用于 由銳變點(diǎn)判定器240進(jìn)行的關(guān)于被包括在兩個(gè)特征列表中并且不與彼此匹 配的變化點(diǎn)的判定的閾值。此外，變化點(diǎn)比較器721基于對經(jīng)過連續(xù)N幀 的直方圖差別的比較結(jié)果，計(jì)算用于由N幀變化點(diǎn)判定器280進(jìn)行的關(guān)于 被包括在兩個(gè)特征列表中并且不與彼此匹配的變化點(diǎn)的判定的閾值。然 后，變化點(diǎn)比較器721將各個(gè)計(jì)算出的閾值輸出到閾值更新器731。
閾值更新器731基于從變化點(diǎn)比較器721輸出的閾值來更新在特征提 取器203對銳變點(diǎn)或變化點(diǎn)的提取中使用的閾值。與參考圖14、 15等等 描述的更新方法相同的方法被用于更新與連續(xù)兩幀之間的直方圖差別相對 應(yīng)的閾值和與經(jīng)過連續(xù)N幀的直方圖差別相對應(yīng)的閾值。
圖22是示出特征提取器203的功能配置示例的框圖。特征提取器203 與圖19所示的特征提取器202的不同之處在于特征提取器203包括閾值保 存器231和閾值保存器271，而不是閾值保存器230和閾值保存器270。 另外，特征提取器203將來自用于連續(xù)幀之間的直方圖差別的計(jì)算器220 和用于經(jīng)過N幀的直方圖差別的計(jì)算器260的直方圖差別輸出到數(shù)據(jù)庫 142和特征保存器711。此外，特征提取器203將來自變化點(diǎn)間隔計(jì)算器 251的變化點(diǎn)間隔輸出到數(shù)據(jù)庫142、特征核對器151和特征保存器711。 除了閾值保存器231和271之外的配置與圖19所示的特征提取器202中的
配置相同，因此對除閾值保存器231和271之外的配置的描述被省略。
閾值保存器231保存在銳變點(diǎn)判定器240判定連續(xù)兩幀之間的邊界是 否是銳變點(diǎn)時(shí)使用的閾值，并且基于來自閾值更新器731的更新信息來更 新保存的閾值。閾值保存器231將保存的閾值輸出到銳變點(diǎn)判定器240。
閾值保存器271保存在N幀變化點(diǎn)判定器280判定連續(xù)N幀之間的點(diǎn) 是否是變化點(diǎn)時(shí)使用的閾值，并且基于來自閾值更新器731的更新信息來 更新保存的閾值。閾值保存器271將保存的閾值輸出到N幀變化點(diǎn)判定器 280。
下面將參考附圖描述基于從特征提取器203輸出的直方圖差別和變化 點(diǎn)間隔來創(chuàng)建的特征列表的細(xì)節(jié)。
圖23是示意性地示出存儲在數(shù)據(jù)庫142中的特征列表的示圖。 一個(gè) 或多個(gè)特征列表被存儲在數(shù)據(jù)庫142中。例如，特征列表470、 476和477 被存儲在數(shù)據(jù)庫142中?？梢皂樞虻卮鎯趶奶卣魈崛∑?03輸出的直 方圖差別和變化點(diǎn)間隔來創(chuàng)建的特征列表，來作為存儲在數(shù)據(jù)庫142中的 特征列表。或者，可以存儲由另一信息處理設(shè)備創(chuàng)建的特征列表。
在特征列表470中，變化點(diǎn)間隔473、連續(xù)幀之間的直方圖差別474 和經(jīng)過N幀的直方圖差別475以時(shí)間序列方式與彼此相關(guān)聯(lián)地被記錄。這 些特征與用于標(biāo)識相應(yīng)運(yùn)動(dòng)圖像的內(nèi)容ID (例如"323")相關(guān)聯(lián)。另 外，在圖23中，節(jié)點(diǎn)ID 472被用來作為從相應(yīng)運(yùn)動(dòng)圖像提取出的變化點(diǎn) 間隔的標(biāo)識號。變化點(diǎn)間隔473和連續(xù)幀之間的直方圖差別474與圖13所 示的銳變點(diǎn)間隔463和連續(xù)幀之間的直方圖差別464類似，因此對其的描 述被省略。
經(jīng)過N幀的直方圖差別475指示出從特征提取器203中的直方圖差別 計(jì)算器260輸出的直方圖差別，并且是在逐幀基礎(chǔ)上以時(shí)間序列方式來記 錄的。變化點(diǎn)間隔473是針對下述幀之間的點(diǎn)來記錄的所述幀對應(yīng)于由 直方圖差別計(jì)算器220和260計(jì)算出的直方圖差別當(dāng)中的超過在相應(yīng)閾值 保存器231或271中保存的閾值的直方圖差別。與之相比，由直方圖差別 計(jì)算器260計(jì)算出的所有直方圖差別都被記錄來作為經(jīng)過N幀的直方圖差 別475。
對用于N幀變化點(diǎn)判定器280執(zhí)行的判定的閾值的更新是與參考圖 15、 16等等描述的更新方法相類似地利用經(jīng)過N幀的直方圖差別475來進(jìn) 行的。
接下來，下面將詳細(xì)描述如何為無法從中提取出變化點(diǎn)間隔的運(yùn)動(dòng)圖 像檢索匹配運(yùn)動(dòng)圖像。
如圖18所示，運(yùn)動(dòng)圖像可被分類成包括變化點(diǎn)的和不包括變化點(diǎn) 的。在上述用于檢索匹配運(yùn)動(dòng)圖像的處理中，比較對象運(yùn)動(dòng)圖像應(yīng)當(dāng)包括 至少兩個(gè)變化點(diǎn)。但是，如圖18所示，也有可能例如通過捕捉其中對象 運(yùn)動(dòng)緩慢的場景而獲得的運(yùn)動(dòng)圖像不包括變化點(diǎn)。對于這種情況，匹配判 定處理依據(jù)變化點(diǎn)間隔的存在與否而被改變。具體地說，對于無法從中提 取變化點(diǎn)間隔的運(yùn)動(dòng)圖像，匹配運(yùn)動(dòng)圖像的檢索是利用除變化點(diǎn)間隔之外 的特征來執(zhí)行的。
圖24是示出通過部分修改圖1所示的信息處理設(shè)備101而獲得的信息 處理設(shè)備103的配置示例的框圖。就與圖1所示的信息處理設(shè)備100的差 別而言，信息處理設(shè)備103包括數(shù)據(jù)庫143、特征核對器152和特征提取 器204，而不是數(shù)據(jù)庫140、特征核對器150和特征提取器200。除數(shù)據(jù)庫 143、特征核對器152和特征提取器204之外的配置與圖l所示的信息處理 設(shè)備100中的配置相同，因此對除這些組件之外的配置的描述被省略。
特征提取器204基于從視頻解碼器130輸出的基帶數(shù)據(jù)來提取變化點(diǎn) 之間的變化點(diǎn)間隔和代表性直方圖，并將所提取的變化點(diǎn)間隔和代表性直 方圖輸出到數(shù)據(jù)庫143和特征核對器152。特征提取器204的細(xì)節(jié)將在下 文中參考圖25來描述。
數(shù)據(jù)庫143針對每個(gè)運(yùn)動(dòng)圖像存儲與從特征提取器204輸出的變化點(diǎn) 間隔和代表性直方圖相對應(yīng)的特征列表，并且針對每個(gè)運(yùn)動(dòng)圖像將所存儲 的特征列表輸出到特征核對器152。
特征核對器152將從特征提取器204輸出的變化點(diǎn)間隔和代表性直方 圖與存儲在數(shù)據(jù)庫143中的各個(gè)特征列表相比較。基于比較結(jié)果，特征核 對器152判定輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像是否匹配與存儲在 數(shù)據(jù)庫143中的特征列表相對應(yīng)的運(yùn)動(dòng)圖像。特征核對器152將指示該判
定結(jié)果的匹配列表輸出到判定結(jié)果輸出單元160。也就是說，特征核對器 152從存儲在數(shù)據(jù)庫143中的特征列表中檢索出對應(yīng)于與輸入到運(yùn)動(dòng)圖像 輸入單元110的運(yùn)動(dòng)圖像相匹配的運(yùn)動(dòng)圖像的特征列表。特征核對器152 的細(xì)節(jié)將在下文中參考圖26來描述。
圖25是示出特征提取器204的功能配置示例的框圖。特征提取器204 與圖19所示的特征提取器202的不同之處在于它還包括代表性直方圖采 樣器290。除了代表性直方圖采樣器290之外的配置與圖19所示的特征提 取器202中的配置相同，因此對除代表性直方圖采樣器290之外的配置的 描述被省略。
代表性直方圖采樣器290基于從銳變點(diǎn)判定器240和N幀變化點(diǎn)判定 器280輸出的變化點(diǎn)時(shí)間，從相鄰兩個(gè)變化點(diǎn)之間的幀中采樣至少一個(gè) 幀。代表性直方圖采樣器290選擇與所采樣的幀相關(guān)聯(lián)的從顏色直方圖提 取器210輸出的直方圖，并且將所選擇的直方圖作為代表性直方圖輸出到 數(shù)據(jù)庫143和特征核對器152。也就是說，代表性直方圖采樣器290采樣 一次切換中的代表性直方圖。如果銳變點(diǎn)判定器240和N幀變化點(diǎn)判定器 280未從輸入到運(yùn)動(dòng)圖像輸入單元110的一個(gè)運(yùn)動(dòng)圖像中輸出變化點(diǎn)時(shí) 間，則代表性直方圖采樣器290從輸入的這一個(gè)運(yùn)動(dòng)圖像中包括的幀中采 樣至少一個(gè)幀，并且將從顏色直方圖提取器210輸出的與所選擇的這個(gè)幀 相關(guān)聯(lián)的直方圖作為代表性直方圖輸出。
圖26是示出特征核對器152的功能配置示例的框圖。特征核對器152 包括核對方法決定器153、變化點(diǎn)間隔核對器154和顏色直方圖核對器 155。
圖27是示出核對方法決定器153對核對方法的決定方法的概要的示 圖。在本發(fā)明的實(shí)施例中，基于在與從特征提取器204輸出的變化點(diǎn)間隔 和代表性直方圖相對應(yīng)的特征列表中以及存儲在數(shù)據(jù)庫143中的各個(gè)特征 列表中是否存在變化點(diǎn)間隔，來決定核對方法。具體地說，如圖27所 示，如果在與從特征提取器204輸出的變化點(diǎn)間隔和代表性直方圖相對應(yīng) 的特征列表中存在變化點(diǎn)間隔(輸入運(yùn)動(dòng)圖像的變化點(diǎn)間隔511為"存 在")，并且在存儲在數(shù)據(jù)庫143中的特征列表中存在變化點(diǎn)間隔(DB
運(yùn)動(dòng)圖像的變化點(diǎn)間隔512為"存在")，則決定利用變化點(diǎn)間隔的核對 方法。另一方面，如果在與從特征提取器204輸出的變化點(diǎn)間隔和代表性 直方圖相對應(yīng)的特征列表中不存在變化點(diǎn)間隔(輸入運(yùn)動(dòng)圖像的變化點(diǎn)間 隔511為"不存在")，并且在存儲在數(shù)據(jù)庫143中的特征列表中不存在 變化點(diǎn)間隔(DB運(yùn)動(dòng)圖像的變化點(diǎn)間隔512為"不存在")，則決定利 用顏色直方圖的核對方法。
基于與從特征提取器204輸出的變化點(diǎn)間隔和代表性直方圖相對應(yīng)的 特征列表和存儲在數(shù)據(jù)庫143中的各個(gè)特征列表，核對方法決定器153如 圖27所示依據(jù)在這些列表中是否包括變化點(diǎn)間隔來決定核對方法。對應(yīng) 于所決定的核對方法，核對方法決定器153向變化點(diǎn)間隔核對器154或顏 色直方圖核對器155輸出核對指令信號。具體地說，如果決定利用變化點(diǎn) 間隔的核對方法，則核對方法決定器153向變化點(diǎn)間隔核對器154輸出核 對指令信號。如果決定利用顏色直方圖的核對方法，則核對方法決定器 153向顏色直方圖核對器155輸出核對指令信號。
在接收到來自核對方法決定器153的核對指令信號后，變化點(diǎn)間隔核 對器154將從特征提取器204輸出的變化點(diǎn)間隔與數(shù)據(jù)庫143中存儲的特 征列表中包括的變化點(diǎn)間隔相比較?；诒容^結(jié)果，變化點(diǎn)間隔核對器 154判定輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像是否匹配與存儲在數(shù)據(jù) 庫143中的特征列表相對應(yīng)的運(yùn)動(dòng)圖像。變化點(diǎn)間隔核對器154將指示該 判定結(jié)果的匹配列表輸出到判定結(jié)果輸出單元160。也就是說，與上述特 征核對器150類似，變化點(diǎn)間隔核對器154從存儲在數(shù)據(jù)庫143中的特征 列表中檢索出對應(yīng)于與輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像相匹配的 運(yùn)動(dòng)圖像的特征列表。
在接收到來自核對方法決定器153的核對指令信號后，顏色直方圖核 對器155將從特征提取器204輸出的代表性直方圖與數(shù)據(jù)庫143中存儲的 特征列表中包括的代表性直方圖相比較?；诒容^結(jié)果，顏色直方圖核對 器155判定輸入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像是否匹配與存儲在數(shù) 據(jù)庫143中的特征列表相對應(yīng)的運(yùn)動(dòng)圖像。顏色直方圖核對器155將指示 該判定結(jié)果的匹配列表輸出到判定結(jié)果輸出單元160。具體地說，在接收
到來自核對方法決定器153的核對指令信號后，顏色直方圖核對器155將 與從特征提取器204輸出的變化點(diǎn)間隔和代表性直方圖相對應(yīng)的特征列表 中包括的代表性直方圖與數(shù)據(jù)庫143中存儲的特征列表中包括的代表性直 方圖相比較，從而計(jì)算相應(yīng)兩個(gè)代表性直方圖之間的直方圖差別。如果這 些計(jì)算出的直方圖差別等于或小于閾值，則顏色直方圖核對器155判定輸 入到運(yùn)動(dòng)圖像輸入單元110的運(yùn)動(dòng)圖像匹配與存儲在數(shù)據(jù)庫143中的特征 列表相對應(yīng)的運(yùn)動(dòng)圖像。
這樣，對于從中提取出變化點(diǎn)的運(yùn)動(dòng)圖像和沒有從中提取出變化點(diǎn)的 運(yùn)動(dòng)圖像，都可以執(zhí)行對匹配運(yùn)動(dòng)圖像的檢索。
例如，經(jīng)編輯的運(yùn)動(dòng)圖像內(nèi)容(例如電影和TV節(jié)目)將包括變化 點(diǎn)。在此情況下，利用變化點(diǎn)間隔可以迅速檢索匹配運(yùn)動(dòng)圖像。此外，對 照存儲在數(shù)據(jù)庫中的代表性直方圖來核對輸入運(yùn)動(dòng)圖像的代表性直方圖的 顏色直方圖核對不僅允許了對匹配運(yùn)動(dòng)圖像的檢索，還允許了對相似運(yùn)動(dòng) 圖像的檢索。在不包括變化點(diǎn)的運(yùn)動(dòng)圖像內(nèi)容的情況下，應(yīng)當(dāng)從中采樣顏 色直方圖的幀的數(shù)目很小，因?yàn)樵搩?nèi)容具有很小的顏色直方圖變化量或者 沒有顏色直方圖變化量。這允許了信息量的減少。
下面將參考附圖詳細(xì)描述包括根據(jù)本發(fā)明實(shí)施例的信息處理設(shè)備的信 息處理系統(tǒng)。
圖28是示出根據(jù)本發(fā)明實(shí)施例的信息處理系統(tǒng)800的系統(tǒng)配置圖。 在信息處理系統(tǒng)800中， 一個(gè)或多個(gè)用于查看和提供內(nèi)容的內(nèi)容提供商公 司(電影公司、電視臺等等)和用戶終端(個(gè)人計(jì)算機(jī)、電視機(jī)等等)中 的信息處理設(shè)備連接到運(yùn)動(dòng)圖像共享站點(diǎn)。在此示例中，電影公司820和 830以及電視臺840是內(nèi)容提供商公司，并且個(gè)人計(jì)算機(jī)(PC) 850是用 戶終端。設(shè)置于電影公司820和830、電視臺840和PC 850中的信息處理 設(shè)備821、 831和841連接到運(yùn)動(dòng)圖像共享站點(diǎn)810中的信息處理設(shè)備 811。信息處理設(shè)備811、 821、 831和841以及PC 850經(jīng)由作為通信網(wǎng)絡(luò) 的網(wǎng)絡(luò)860 (例如因特網(wǎng))連接到彼此，并且可以交換各種信息。
信息處理設(shè)備811、 821、 831和841各自具有與根據(jù)本發(fā)明實(shí)施例的 信息處理設(shè)備中的任何一個(gè)的配置相同的配置，并且分別具有用于運(yùn)動(dòng)圖
像管理的運(yùn)動(dòng)圖像數(shù)據(jù)庫812、 822、 832和842。信息處理設(shè)備811、 821、 831和841以及PC 850在某種條件下能夠?qū)⑦\(yùn)動(dòng)圖像上載到運(yùn)動(dòng)圖 像共享站點(diǎn)810。就運(yùn)動(dòng)圖像的上載條件而言，可以設(shè)置各種條件中的任 何一種，例如運(yùn)動(dòng)圖像的長度短于五分鐘的條件，以及運(yùn)動(dòng)圖像具有低分 辨率的條件。PC 850的用戶851通過利用PC 850，可以自由地査看上載到 運(yùn)動(dòng)圖像共享站點(diǎn)810的較短運(yùn)動(dòng)圖像和低分辨率運(yùn)動(dòng)圖像。如果用戶希 望査看上載到運(yùn)動(dòng)圖像共享站點(diǎn)810的運(yùn)動(dòng)圖像的完整長度或高質(zhì)量版 本，則用戶可以從上載了運(yùn)動(dòng)圖像的內(nèi)容提供商公司購買運(yùn)動(dòng)圖像的完整 長度或高質(zhì)量版本，并且可以査看購買的運(yùn)動(dòng)圖像。
下面將描述信息處理系統(tǒng)800中的用于運(yùn)動(dòng)圖像檢索的方法。首先， PC 850的用戶851利用PC 850，査看上載到運(yùn)動(dòng)圖像共享站點(diǎn)810的較短 運(yùn)動(dòng)圖像和低分辨率運(yùn)動(dòng)圖像。如果用戶851希望査看上載的運(yùn)動(dòng)圖像的 完整長度或高質(zhì)量版本，則用戶851可利用PC 850向運(yùn)動(dòng)圖像共享站點(diǎn) 810發(fā)送檢索指令。
在接收到來自PC 850的檢索指令后，信息處理設(shè)備811通過提取與該 檢索指令相關(guān)的運(yùn)動(dòng)圖像的變化點(diǎn)間隔來創(chuàng)建特征列表，并且將該特征列 表發(fā)送到信息處理設(shè)備821、 831和841。在接收到該特征列表后，信息處 理設(shè)備821、 831和841各自對照存儲在內(nèi)置的數(shù)據(jù)庫中的變化點(diǎn)間隔來 核對接收到的特征列表中包括的變化點(diǎn)間隔，以便檢索匹配運(yùn)動(dòng)圖像。然 后，信息處理設(shè)備821、 831和841將檢索結(jié)果發(fā)送到信息處理設(shè)備811。 在接收到檢索結(jié)果后，信息處理設(shè)備811計(jì)算接收到的檢索結(jié)果的總和， 并將總計(jì)的檢索結(jié)果發(fā)送到PC 850。在接收和查看檢索結(jié)果后，用戶851 利用PC 850訪問具有所需運(yùn)動(dòng)圖像的完整長度或高質(zhì)量版本的內(nèi)容提供 商公司，并且可以決定是否購買運(yùn)動(dòng)圖像。在此示例中，運(yùn)動(dòng)圖像檢索是 在內(nèi)容提供商公司中執(zhí)行的?；蛘?，信息處理設(shè)備811可保存與上載的運(yùn) 動(dòng)圖像相對應(yīng)的特征列表，以便運(yùn)動(dòng)圖像檢索可在運(yùn)動(dòng)圖像共享站點(diǎn)810 中執(zhí)行。
在信息處理系統(tǒng)800中，如上所述，用戶851可利用PC 850將較短的 運(yùn)動(dòng)圖像和低分辨率運(yùn)動(dòng)圖像上載到運(yùn)動(dòng)圖像共享站點(diǎn)810。另外，另一
用戶可通過用戶終端等等來自由查看由用戶851上載到運(yùn)動(dòng)圖像共享站點(diǎn) 810的運(yùn)動(dòng)圖像。但是，也有可能由用戶851上載到運(yùn)動(dòng)圖像共享站點(diǎn) 810的運(yùn)動(dòng)圖像涉及他人的著作權(quán)。如果涉及他人的著作權(quán)的運(yùn)動(dòng)圖像被 這樣上載到運(yùn)動(dòng)圖像共享站點(diǎn)810，則運(yùn)動(dòng)圖像共享站點(diǎn)適當(dāng)?shù)貓?zhí)行過濾 以防止著作權(quán)侵犯，將會(huì)是很重要的。
為此，例如，在逐內(nèi)容的基礎(chǔ)上，與運(yùn)動(dòng)圖像相關(guān)聯(lián)并且指示出運(yùn)動(dòng) 圖像是否涉及著作權(quán)的NG標(biāo)簽被存儲在信息處理設(shè)備811的存儲特征列 表的數(shù)據(jù)庫中?；谠揘G標(biāo)簽，判定上載的運(yùn)動(dòng)圖像是否涉及著作權(quán)， 從而可以執(zhí)行過濾。
還有可能其音頻被處理的運(yùn)動(dòng)圖像被上載到了運(yùn)動(dòng)圖像共享站點(diǎn)。但 是，在根據(jù)本發(fā)明實(shí)施例的匹配運(yùn)動(dòng)圖像檢索中，沒有使用涉及音頻的特 征。因此，對于沒有音頻的運(yùn)動(dòng)圖像和具有經(jīng)編輯的音頻的運(yùn)動(dòng)圖像，也 可執(zhí)行適當(dāng)?shù)倪\(yùn)動(dòng)圖像檢索。此外，經(jīng)編輯的運(yùn)動(dòng)圖像也將被上載到運(yùn)動(dòng) 圖像共享站點(diǎn)。但是，在根據(jù)本發(fā)明實(shí)施例的匹配運(yùn)動(dòng)圖像檢索中，只要 在運(yùn)動(dòng)圖像的一部分中找到匹配的銳變點(diǎn)間隔，就可以作出關(guān)于匹配運(yùn)動(dòng) 圖像的判定。因此，即使當(dāng)檢索對象運(yùn)動(dòng)圖像是某個(gè)運(yùn)動(dòng)圖像的一部分 時(shí)，也可以執(zhí)行適當(dāng)?shù)臋z索。類似地，即使當(dāng)檢索對象運(yùn)動(dòng)圖像源自于多 個(gè)運(yùn)動(dòng)圖像的結(jié)合時(shí)，也可以執(zhí)行適當(dāng)?shù)臋z索。由于這些特性，可以適當(dāng) 并迅速地執(zhí)行對可能侵犯著作權(quán)的運(yùn)動(dòng)圖像的過濾。
對于除了涉及著作權(quán)的運(yùn)動(dòng)圖像之外的運(yùn)動(dòng)圖像，NG標(biāo)簽也可以用 于有關(guān)是否許可該運(yùn)動(dòng)圖像的發(fā)布的判定。
另外，本發(fā)明的實(shí)施例可被應(yīng)用到例如通過為運(yùn)動(dòng)圖像共享站點(diǎn)的管 理員檢測或提交相同運(yùn)動(dòng)圖像和相似運(yùn)動(dòng)圖像來消除與運(yùn)動(dòng)圖像內(nèi)容相似 的視頻的情況以及消除不需要被存儲的運(yùn)動(dòng)圖像內(nèi)容的情況。
如上所述，在根據(jù)本發(fā)明實(shí)施例的匹配運(yùn)動(dòng)圖像檢索中，對于不具有 音頻的運(yùn)動(dòng)圖像、具有經(jīng)編輯的音頻的運(yùn)動(dòng)圖像以及經(jīng)編輯的運(yùn)動(dòng)圖像等 等，也可以執(zhí)行適當(dāng)?shù)倪\(yùn)動(dòng)圖像檢索。另外，可以通過只使用銳變點(diǎn)間隔 作為特征來執(zhí)行對匹配運(yùn)動(dòng)圖像的檢索，從而可以節(jié)約用于匹配運(yùn)動(dòng)圖像 檢索的數(shù)據(jù)庫量。另外，利用變化點(diǎn)間隔來執(zhí)行匹配運(yùn)動(dòng)圖像檢索，因此
對于具有不同比特率或圖像大小的運(yùn)動(dòng)圖像也可以執(zhí)行適當(dāng)?shù)臋z索。也就 是說，本發(fā)明的實(shí)施例允許了應(yīng)當(dāng)為運(yùn)動(dòng)圖像檢索而保存的信息量的減 少，并且允許了適當(dāng)?shù)倪\(yùn)動(dòng)圖像檢索被迅速執(zhí)行。
本發(fā)明的上述實(shí)施例涉及對于輸入到信息處理設(shè)備的運(yùn)動(dòng)圖像的匹配 檢索。但是，本發(fā)明的實(shí)施例也可被應(yīng)用到例如以下目的在因特網(wǎng)上分
發(fā)的運(yùn)動(dòng)圖像內(nèi)容的檢索；內(nèi)容保存者(電影公司、電視臺、CM內(nèi)容保 存者)中的匹配檢索； 一種系統(tǒng)，其中用戶通過蜂窩電話捕捉TV節(jié)目等 等并將其發(fā)送到服務(wù)器從而介紹或分發(fā)該內(nèi)容；運(yùn)動(dòng)圖像內(nèi)容的分類；以 及運(yùn)動(dòng)圖像共享站點(diǎn)中的運(yùn)動(dòng)圖像內(nèi)容的分類。
本發(fā)明的上述實(shí)施例涉及作為示例的信息處理設(shè)備。但是，本發(fā)明的 實(shí)施例也可被應(yīng)用到可以檢索運(yùn)動(dòng)圖像的圖像檢索設(shè)備，例如便攜式終端 設(shè)備。
另外，本發(fā)明的上述實(shí)施例涉及包括特征提取器、特征核對器和數(shù)據(jù) 庫的信息處理設(shè)備。但是，本發(fā)明的實(shí)施例也可被應(yīng)用到這樣一種的信息 處理系統(tǒng)，其包括用于從運(yùn)動(dòng)圖像內(nèi)容中提取特征的特征提取服務(wù)器，用 于存儲從運(yùn)動(dòng)圖像內(nèi)容中提取的特征的特征數(shù)據(jù)庫，以及用于對照特征數(shù) 據(jù)庫中的特征來核對輸入運(yùn)動(dòng)圖像的特征從而基于核對結(jié)果來對輸入運(yùn)動(dòng) 圖像執(zhí)行檢索匹配的特征核對器。
以上針對本發(fā)明實(shí)施例描述的處理過程可解釋為包括該過程的方法。 本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行 各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物 的范圍之內(nèi)。
本發(fā)明包含與2007年8月20日向日本專利局提交的日本專利申請JP 2007-213219相關(guān)的主題，這里通過引用將該申請的全部內(nèi)容并入。
權(quán)利要求
1.一種信息處理設(shè)備，包括存儲裝置，用于在逐數(shù)據(jù)基礎(chǔ)上存儲視頻數(shù)據(jù)的至少一個(gè)變化點(diǎn)間隔；計(jì)算裝置，用于從輸入視頻數(shù)據(jù)計(jì)算至少一個(gè)變化點(diǎn)間隔；檢測裝置，用于檢測與彼此匹配的變化點(diǎn)間隔，檢測到的變化點(diǎn)間隔之一源自于所述存儲裝置中的存儲，檢測到的變化點(diǎn)間隔中的另一個(gè)源自于所述計(jì)算裝置進(jìn)行的計(jì)算；以及判定裝置，用于將各自包括在從由所述檢測裝置檢測到的變化點(diǎn)間隔中的相應(yīng)一個(gè)變化點(diǎn)間隔起的預(yù)定范圍中的變化點(diǎn)間隔與彼此相比較，以判定所述輸入視頻數(shù)據(jù)是否匹配與所述存儲裝置中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)。
2. 如權(quán)利要求1所述的信息處理設(shè)備，還包括判定標(biāo)準(zhǔn)設(shè)置裝置，用于設(shè)置判定標(biāo)準(zhǔn)，該判定標(biāo)準(zhǔn)是對于與由所 述檢測裝置檢測到的變化點(diǎn)間隔相鄰的變化點(diǎn)間隔或者源自于對從所述相 鄰變化點(diǎn)間隔起的預(yù)定范圍中包括的連續(xù)變化點(diǎn)間隔進(jìn)行的相加的值，是 否找到匹配，其中所述判定裝置根據(jù)由所述判定標(biāo)準(zhǔn)設(shè)置裝置所設(shè)置的判定標(biāo)準(zhǔn)，來判 定所述輸入視頻數(shù)據(jù)是否匹配與所述存儲裝置中存儲的變化點(diǎn)間隔相對應(yīng) 的視頻數(shù)據(jù)。
3. 如權(quán)利要求2所述的信息處理設(shè)備，還包括基本點(diǎn)設(shè)置裝置，用于在對于所述相鄰變化點(diǎn)間隔或者源自于所述相 加的所述值找到匹配的情況下設(shè)置基本變化點(diǎn)間隔，每個(gè)所述基本變化點(diǎn) 間隔是在用作比較對象的變化點(diǎn)間隔當(dāng)中距由所述檢測裝置檢測到的變化 點(diǎn)間隔中的相應(yīng)一個(gè)變化點(diǎn)間隔最遙遠(yuǎn)的，其中所述判定裝置根據(jù)下一判定標(biāo)準(zhǔn)來判定所述輸入視頻數(shù)據(jù)是否匹配與 所述存儲裝置中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)，所述下一判定標(biāo)準(zhǔn) 是對于與由所述基本點(diǎn)設(shè)置裝置設(shè)置的基本變化點(diǎn)間隔相鄰的變化點(diǎn)間 隔或者源自于對從與所述基本變化點(diǎn)間隔相鄰的變化點(diǎn)間隔起的預(yù)定范圍 中包括的連續(xù)變化點(diǎn)間隔進(jìn)行的相加的值，是否找到匹配。
4. 如權(quán)利要求2所述的信息處理設(shè)備，其中所述存儲裝置存儲一值，該值源自于對所述至少一個(gè)變化點(diǎn)間隔當(dāng)中 的各自等于或短于預(yù)定值的連續(xù)變化點(diǎn)間隔進(jìn)行的相加，并且如果所述至少一個(gè)變化點(diǎn)間隔包括各自短于所述預(yù)定值的連續(xù)變化點(diǎn)間隔，則所述判定標(biāo)準(zhǔn)設(shè)置裝置設(shè)置新的判定標(biāo)準(zhǔn)，該新的判定標(biāo)準(zhǔn)是 對于源自于對各自等于或短于所述預(yù)定值的連續(xù)變化點(diǎn)間隔進(jìn)行的相加的 值，是否找到匹配。
5. 如權(quán)利要求2所述的信息處理設(shè)備，所述存儲裝置以時(shí)間序列方式存儲從視頻數(shù)據(jù)提取的并與所述至少一個(gè)變化點(diǎn)間隔相關(guān)聯(lián)的特征，所述信息處理設(shè)備還包括特征比較裝置，用于針對被所述檢測裝置判定為與彼此匹配的視頻數(shù) 據(jù)，將所述存儲裝置中存儲的特征與從所述輸入視頻數(shù)據(jù)提取的特征相比較；閾值計(jì)算裝置，用于根據(jù)所述特征比較裝置的比較結(jié)果，計(jì)算在所述檢測裝置檢測變化點(diǎn)間隔時(shí)使用的閾值；以及閾值更新裝置，用于將所設(shè)置的閾值更新為由所述閾值計(jì)算裝置計(jì)算 出的閾值。
6. 如權(quán)利要求1所述的信息處理設(shè)備，還包括刪除裝置，用于在所述判定裝置判定所述輸入視頻數(shù)據(jù)匹配與所述存 儲裝置中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)的情況下，刪除與所述存儲 裝置中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)。
7. 如權(quán)利要求1所述的信息處理設(shè)備，還包括顯示控制裝置，用于在所述判定裝置判定所述輸入視頻數(shù)據(jù)匹配與所 述存儲裝置中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)的情況下，使顯示單元 顯示與所述存儲裝置中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)。
8. 如權(quán)利要求7所述的信息處理設(shè)備，其中 所述顯示控制裝置使所述顯示單元顯示所述輸入視頻數(shù)據(jù)。
9. 一種信息處理方法，包括以下步驟 在逐數(shù)據(jù)基礎(chǔ)上存儲視頻數(shù)據(jù)的至少一個(gè)變化點(diǎn)間隔； 從輸入視頻數(shù)據(jù)計(jì)算至少一個(gè)變化點(diǎn)間隔；檢測與彼此匹配的變化點(diǎn)間隔，檢測到的變化點(diǎn)間隔之一源自于所述 存儲步驟，檢測到的變化點(diǎn)間隔中的另一個(gè)源自于所述計(jì)算步驟；以及將各自包括在從在所述檢測步驟中檢測到的變化點(diǎn)間隔中的相應(yīng)一個(gè) 變化點(diǎn)間隔起的預(yù)定范圍中的變化點(diǎn)間隔與彼此相比較，以判定所述輸入 視頻數(shù)據(jù)是否匹配與在所述存儲步驟中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù) 據(jù)。
10. —種信息處理設(shè)備，包括存儲器，該存儲器被配置為在逐數(shù)據(jù)基礎(chǔ)上存儲視頻數(shù)據(jù)的至少一個(gè) 變化點(diǎn)間隔；計(jì)算器，該計(jì)算器被配置為從輸入視頻數(shù)據(jù)計(jì)算至少一個(gè)變化點(diǎn)間隔；檢測器，該檢測器被配置為檢測與彼此匹配的變化點(diǎn)間隔，檢測到的 變化點(diǎn)間隔之一源自于所述存儲器中的存儲，檢測到的變化點(diǎn)間隔中的另 一個(gè)源自于所述計(jì)算器進(jìn)行的計(jì)算；以及判定器，該判定器被配置為將各自包括在從由所述檢測器檢測到的變 化點(diǎn)間隔中的相應(yīng)一個(gè)變化點(diǎn)間隔起的預(yù)定范圍中的變化點(diǎn)間隔與彼此相 比較，以判定所述輸入視頻數(shù)據(jù)是否匹配與所述存儲器中存儲的變化點(diǎn)間 隔相對應(yīng)的視頻數(shù)據(jù)。
全文摘要
本發(fā)明提供了一種信息處理設(shè)備和信息處理方法。該信息處理設(shè)備包括存儲器，該存儲器被配置為在逐數(shù)據(jù)基礎(chǔ)上存儲視頻數(shù)據(jù)的至少一個(gè)變化點(diǎn)間隔；計(jì)算器，該計(jì)算器被配置為從輸入視頻數(shù)據(jù)計(jì)算至少一個(gè)變化點(diǎn)間隔；檢測器，該檢測器被配置為檢測與彼此匹配的變化點(diǎn)間隔，檢測到的變化點(diǎn)間隔之一源自于存儲器中的存儲，檢測到的變化點(diǎn)間隔中的另一個(gè)源自于計(jì)算器進(jìn)行的計(jì)算；以及判定器，該判定器被配置為將各自包括在從由檢測器檢測到的變化點(diǎn)間隔中的相應(yīng)一個(gè)變化點(diǎn)間隔起的預(yù)定范圍中的變化點(diǎn)間隔與彼此相比較，以判定輸入視頻數(shù)據(jù)是否匹配與存儲器中存儲的變化點(diǎn)間隔相對應(yīng)的視頻數(shù)據(jù)。
文檔編號G06F17/30GK101373482SQ20081021084
公開日2009年2月25日 申請日期2008年8月20日 優(yōu)先權(quán)日2007年8月20日
發(fā)明者柿田新次郎, 白根慶太, 荻窪純一 申請人:索尼株式會(huì)社