專(zhuān)利名稱(chēng)：視頻數(shù)據(jù)的非線性表征的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及以非線性方式表征視頻數(shù)據(jù)的方法。

背景技術(shù)：
目前，視頻的觀看與表征均是以線性方式實(shí)現(xiàn)的?；趲姆绞綄?duì)視頻進(jìn)行表 征，并且以遞增的順序一幀一幀地觀看視頻。視頻分類(lèi)和搜索均是以時(shí)間上為線性的形 式處理的。也就是說(shuō)，視頻片段以線性時(shí)基式的方式被分割。在視頻搜索期間，系統(tǒng)可 以指向特定的幀。大部分視頻特征(例如，快進(jìn)和快退)為基于線性的操作。當(dāng)前，網(wǎng)站(例如YouTube)允許對(duì)視頻數(shù)據(jù)標(biāo)記關(guān)鍵字。使用者可以通過(guò)敲入 關(guān)鍵字并且與網(wǎng)站上的視頻所標(biāo)記的關(guān)鍵字匹配來(lái)搜索視頻。這種技術(shù)使得能夠通過(guò)實(shí) 例進(jìn)行查詢(xún)。然而，如果使用者無(wú)法想到準(zhǔn)確的關(guān)鍵字來(lái)匹配時(shí)，這樣搜索視頻是非常 困難的。存在這樣的現(xiàn)有技術(shù)，允許基于低級(jí)的視覺(jué)特征(例如，顏色、紋理以及運(yùn)動(dòng)) 的視頻索引。選擇關(guān)鍵幀(key-frame)和場(chǎng)景(scene)來(lái)以壓縮方式概略地表征視頻。 然而，關(guān)鍵幀和場(chǎng)景是僅可以通過(guò)眼球來(lái)觀看的，并且因此是不能擴(kuò)展到針對(duì)視頻數(shù)據(jù) 庫(kù)來(lái)搜索的。另一現(xiàn)有技術(shù)針對(duì)包含模型幀(例如，車(chē)、花、狗等)的幀庫(kù)來(lái)匹配關(guān)鍵 幀。匹配結(jié)果將用來(lái)索引視頻內(nèi)容。然而，這就回到了與線性索引相同的限制，即其中 視頻數(shù)據(jù)僅可以支持關(guān)鍵字搜索?，F(xiàn)階段的技術(shù)具有有限的能力且不能使用視頻數(shù)據(jù)的 所有潛力。

發(fā)明內(nèi)容
本發(fā)明提供基于非線性的視頻表征以及用于視頻數(shù)據(jù)表征的方法。這樣的表征 為用于非線性視頻觀看和搜索的系統(tǒng)提供能力。視頻數(shù)據(jù)被顯示為多層結(jié)構(gòu)，其中每一層表示不同的影片實(shí)體(cinematic entity)。在所述結(jié)構(gòu)的頂層一般為抽象(abstract)信息，其中在基本層表示具體信息。視 頻數(shù)據(jù)被分類(lèi)到語(yǔ)義視頻數(shù)據(jù)中，語(yǔ)義視頻數(shù)據(jù)在多對(duì)多關(guān)系中是被超鏈接的。視頻數(shù) 據(jù)成為超視頻(hyper-video)，并且所述視頻數(shù)據(jù)支持多路訪問(wèn)和多路顯示。本發(fā)明包括用于向使用者顯示分類(lèi)的視頻數(shù)據(jù)的裝置。語(yǔ)義數(shù)據(jù)可以被描述為 純文本格式。使用者可以從頂層開(kāi)始向下到最低層來(lái)瀏覽語(yǔ)義數(shù)據(jù)。語(yǔ)義數(shù)據(jù)的分層結(jié) 構(gòu)被顯示為關(guān)系圖。使用者可以觀看可以作為短視頻單獨(dú)播放的對(duì)應(yīng)于每一語(yǔ)義數(shù)據(jù)的 視頻的每一部分。本發(fā)明還包括用于在語(yǔ)義視頻數(shù)據(jù)的貯藏庫(kù)上執(zhí)行搜索的裝置。使用者可以指 定要在分類(lèi)的視頻數(shù)據(jù)的語(yǔ)義內(nèi)容中進(jìn)行搜索的關(guān)鍵字?？梢栽谡Z(yǔ)義內(nèi)容上執(zhí)行本體搜 索(ontology search)，其中所述搜索操作基于分層的關(guān)系而不僅僅是關(guān)鍵字。采用泛型排 列和群集算法來(lái)將內(nèi)容分組并使內(nèi)容相互關(guān)聯(lián)。視頻可以根據(jù)其內(nèi)容、語(yǔ)義含義、事件等被分類(lèi)。因此，使用者可以選擇觀看和搜索來(lái)自視頻的任何特定的內(nèi)容。語(yǔ)義含義關(guān)系和本體論 從最低的對(duì)象層到最高的場(chǎng)景層，向每一視頻數(shù)據(jù)實(shí)例給出語(yǔ)義含義。本發(fā) 明為了組織語(yǔ)義描述采用本體論方法。本體論是采用最先進(jìn)技術(shù)的知識(shí)管理方法論， 并且常用來(lái)描述概念之間的關(guān)系。在許多技術(shù)網(wǎng)站中(例如，http://www.w3.org/TR/ webont-req/)對(duì)本體論的定義和實(shí)施進(jìn)行了描述。例如，幀包含對(duì)象富士山，該對(duì)象屬 于地理山脈和國(guó)家日本的組。在下一層中，日本屬于亞洲。


附圖被引入并作為本公開(kāi)的一部分，圖示說(shuō)明本發(fā)明的各種實(shí)施方案和各方 面。在附圖中圖1圖示說(shuō)明視頻數(shù)據(jù)多層結(jié)構(gòu)；圖2示出視頻顯示的線性視圖；圖3示出示例邏輯視圖；圖4示出對(duì)傳統(tǒng)媒體數(shù)據(jù)進(jìn)行分類(lèi)的過(guò)程；圖5示出用于顯示分類(lèi)的語(yǔ)義數(shù)據(jù)的裝置的優(yōu)選的實(shí)施方案；以及圖6示出在媒體搜索中的數(shù)據(jù)流。
具體實(shí)施例方式如下的具體說(shuō)明涉及附圖。盡可能地在附圖和如下的說(shuō)明中使用相同的參考標(biāo) 號(hào)來(lái)表示相同或相似的部分。盡管本文描述本發(fā)明的數(shù)個(gè)示例性實(shí)施方案和特征，修 改、變通和其他實(shí)施方式均為可能的，而不背離本發(fā)明的精神和范圍。例如，可以對(duì)附 圖中圖示說(shuō)明的部件進(jìn)行替換、增加或修改，而本文所描述的示例性方法可以通過(guò)對(duì)已 公開(kāi)的方法進(jìn)行替換、重排序或增加步驟來(lái)修改。因此，如下的具體說(shuō)明并不限制本發(fā) 明。相反，本發(fā)明適合的范圍由所附的權(quán)利要求書(shū)限定。本發(fā)明提供用于以語(yǔ)義和非線性的分層結(jié)構(gòu)表征視頻數(shù)據(jù)和顯示視頻數(shù)據(jù)模型 的方法。本發(fā)明以基于內(nèi)容的結(jié)構(gòu)表征視頻數(shù)據(jù)單元，而不是僅僅將視頻表征為幀實(shí)體 的序列。具體地，視頻數(shù)據(jù)被顯示為多層結(jié)構(gòu)，其中每一層表示不同的影片實(shí)體。在所 述結(jié)構(gòu)的頂層一般為抽象信息，其中在基本層表示具體信息。可以根據(jù)視頻的內(nèi)容、語(yǔ)義含義、事件等對(duì)視頻進(jìn)行分類(lèi)。這樣的分類(lèi)通過(guò)創(chuàng) 建特定的標(biāo)簽來(lái)實(shí)現(xiàn)，該特定的標(biāo)簽具有被分配到至少一種語(yǔ)義參考(semanticreference) 的字段。所述語(yǔ)義參考包括關(guān)于記錄的信息，所述記錄具有帶有至少一種語(yǔ)義參考的字 段。因此，使用者可以選擇觀看和搜索來(lái)自視頻的任何特定內(nèi)容，這樣的內(nèi)容是載 有具有相同的語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)。在優(yōu)選的實(shí)施方案中，這樣的內(nèi)容按順 序被排列并表征。例如，新聞剪輯可以被分組到各種類(lèi)別中，例如角色(cast)、事件、 日期、場(chǎng)地、主題等。歷史性的網(wǎng)球比賽可以被歸類(lèi)到比賽、發(fā)球、攔擊、非受迫性失 誤、運(yùn)動(dòng)員等中。影片可以被分組到角色、事件、場(chǎng)地等中。
由于本體論對(duì)語(yǔ)義內(nèi)容搜索的支持，針對(duì)不同使用者而言語(yǔ)義內(nèi)容貯藏庫(kù) (repository)成為有價(jià)值的資源。例如，新聞視頻可以更多地以電視臺(tái)來(lái)組織，歷史性體 育運(yùn)動(dòng)事件可以容易地通過(guò)人員方面信息(例如教練等)來(lái)進(jìn)行檢索。圖1圖示說(shuō)明視頻數(shù)據(jù)多層結(jié)構(gòu)，并且出于圖示說(shuō)明的目的，該多層結(jié)構(gòu)具有 這樣的六層，即場(chǎng)景、情節(jié)(plot)、情景(play)、截段(shot)、截鏡(take)、幀以及對(duì)象 (object)。最基本的層1為對(duì)象。該對(duì)象可以為富有意義的語(yǔ)義對(duì)象(例如人、車(chē)、建 筑物、海濱、天空等)或者為視覺(jué)上明顯的區(qū)域(例如具有相同顏色、類(lèi)似紋理等的區(qū) 域)，該視覺(jué)上明顯的區(qū)域?yàn)橐曈X(jué)對(duì)象。該對(duì)象還可以為交互式地分組的區(qū)域。語(yǔ)義對(duì) 象和視覺(jué)對(duì)象形成感知對(duì)象的概念。語(yǔ)義內(nèi)容的分層結(jié)構(gòu)可以在邏輯上被可視化為關(guān)系 圖和關(guān)鍵幀的顯示。下一層為幀2。對(duì)象為幀中的區(qū)域。幀是視頻數(shù)據(jù)基本單元的傳統(tǒng)的且物理的 表征。幀的序列形成視頻，其中典型地，視頻中的1秒包括25幀。幀在顯示上為一個(gè) 完整的單元。一系列連續(xù)的幀形成視頻序列。I-幀(I-frame)在一組幀中為識(shí)別幀，與 在MPEG壓縮標(biāo)準(zhǔn)中的I-幀的定義一致。層3表示截段和截鏡。截鏡為包含感知對(duì)象的一個(gè)動(dòng)作的幀序列。動(dòng)作是由 如在幀序列中示出的對(duì)象所實(shí)現(xiàn)的連續(xù)運(yùn)動(dòng)，然而所述運(yùn)動(dòng)演繹(process)語(yǔ)義含義。例 如，情景可以為從一個(gè)人開(kāi)始散步開(kāi)始到這個(gè)人停止散步的幀的序列。它是描述動(dòng)作的 最小序列。截段是給出特定感知對(duì)象的清晰描述的幀序列。例如，截段可以為從汽車(chē)出 現(xiàn)開(kāi)始到汽車(chē)消失的幀序列。它是描述感知對(duì)象的最小單元。 截鏡和截段均為抽象的影片實(shí)體。它們可以出現(xiàn)在相同的幀序列中，并且相互 之間不必具有任何物理關(guān)系。包含在同一場(chǎng)地執(zhí)行許多動(dòng)作的多個(gè)感知對(duì)象的視頻形成情景4。場(chǎng)地為對(duì)視頻 截鏡(video shot)起到背景作用的視覺(jué)對(duì)象。同一場(chǎng)地可以在視頻中出現(xiàn)多次。場(chǎng)地的 景象可以從不同的影片角度進(jìn)行拍攝。來(lái)自同一場(chǎng)地的所有情景4的集合形成場(chǎng)景6，而在同一故事下生成的多個(gè)情景 形成情節(jié)5。請(qǐng)注意的是，層的定義允許截鏡和截段，以及情節(jié)和場(chǎng)景之間的交疊。在可替換的實(shí)施方案中，可以針對(duì)各種類(lèi)型的視頻數(shù)據(jù)采用多層結(jié)構(gòu)中的不同 數(shù)目的層。例如，為了進(jìn)行影片視頻數(shù)據(jù)搜索和顯示，可以采用比較綜合的信息(global information)作為影片制作的來(lái)源、影片公司的名稱(chēng)和/或制片年份。圖2給出傳統(tǒng)線性視頻數(shù)據(jù)結(jié)構(gòu)的圖形顯示。在傳統(tǒng)視頻數(shù)據(jù)表征范例中，視 頻幀2以線性形式連接。也就是說(shuō)，視頻幀在其之前有一個(gè)且只有一個(gè)視頻幀，并且在 其之后有一個(gè)且只有一個(gè)幀。圖3示出示例邏輯視圖。被分類(lèi)到語(yǔ)義信息層中的視頻數(shù)據(jù)以分層的形式相互 關(guān)聯(lián)。在邏輯視圖中給出這一關(guān)系。注意到的是，每一個(gè)視頻剪輯對(duì)其他剪輯形成多對(duì) 多關(guān)系。多對(duì)多關(guān)系意味著所述數(shù)據(jù)為超視頻并且所述視頻數(shù)據(jù)支持多路訪問(wèn)和多路顯 示。這些剪輯通過(guò)語(yǔ)義關(guān)系而不是時(shí)間關(guān)系連接。圖4示出對(duì)序列媒體數(shù)據(jù)進(jìn)行分類(lèi)的過(guò)程。序列媒體7滿足被預(yù)期以之進(jìn)行表 達(dá)的預(yù)先限定的幀序列。例如影片、音頻唱片、預(yù)先編程的虛擬世界場(chǎng)景、周復(fù)一周 的靜態(tài)數(shù)據(jù)的集合等。
在限定和分類(lèi)截段8的過(guò)程中，序列媒體7的部分、具有特定興趣的片段被識(shí) 別并被給出一些分類(lèi)信息(例如，可搜索的文本描述)。這樣的被識(shí)別的片段稱(chēng)為截段 (shot)90截段可以由手動(dòng)方式限定或通過(guò)應(yīng)用適當(dāng)?shù)挠蛳嚓P(guān)算法的編程方式限定。這一 過(guò)程的結(jié)果是截段集合。每個(gè)截段包括有關(guān)原始媒體、開(kāi)始和結(jié)束幀/序列號(hào)/時(shí)間標(biāo)記以及分類(lèi)信息的 參考。截段僅僅包含涉及原始媒體的部分的信息。截段貯藏庫(kù)10用來(lái)儲(chǔ)存上面識(shí)別的截段對(duì)象，做好準(zhǔn)備來(lái)被搜索和檢索。截段 進(jìn)一步被分組為情景、情節(jié)、場(chǎng)景等。圖5示出用于在不同層顯示分類(lèi)的語(yǔ)義數(shù)據(jù)的裝置的優(yōu)選的實(shí)施方案。優(yōu)選具 有用于表征要被表征的視頻文件數(shù)據(jù)的視頻文件數(shù)據(jù)表征裝置。這樣的裝置被設(shè)計(jì)來(lái)儲(chǔ) 存具有圖形用戶界面的計(jì)算機(jī)程序，用于使用者訪問(wèn)視頻數(shù)據(jù)的分類(lèi)語(yǔ)義信息。在最低 層，分類(lèi)的視頻可以無(wú)需編碼轉(zhuǎn)換而被線性地逐段可視化并播放。在瀏覽層，語(yǔ)義數(shù)據(jù) 的分層結(jié)構(gòu)可以在邏輯上被可視化為關(guān)系圖和關(guān)鍵幀的顯示。

視頻的語(yǔ)義表征以文本的形式被顯示在文本窗口 11上，其中使用者可以瀏覽視 頻的內(nèi)容。類(lèi)似于傳統(tǒng)的顯示，在物理層，視頻可以在內(nèi)容頁(yè)面中示出。在播放窗口 14中 提供線性視圖。在這種表征中，視頻數(shù)據(jù)被可視化為一幀一幀的序列。本發(fā)明允許幀被 分組到截段和截鏡中。截段和截鏡的順序連接形成整個(gè)視頻。這些截段和截鏡在低層視 圖13中示出。根據(jù)其內(nèi)容，截段和截鏡可以被歸類(lèi)到各種類(lèi)別中。使用者可以為每個(gè)視頻動(dòng) 態(tài)地限定類(lèi)別。示例類(lèi)別為角色、事件、場(chǎng)地、情景、場(chǎng)景等。這些語(yǔ)義類(lèi)別被顯示為 高層視圖12。被分類(lèi)到語(yǔ)義信息層中的視頻數(shù)據(jù)以分層的形式相互關(guān)聯(lián)。包含針對(duì)視頻文件 數(shù)據(jù)的語(yǔ)義參考的標(biāo)簽被創(chuàng)建，以包含關(guān)于記錄的信息，所述記錄具有帶有至少一種所 述視頻文件數(shù)據(jù)上的語(yǔ)義參考的字段。這樣的標(biāo)簽便利由使用者進(jìn)行的搜索和檢索。在 邏輯視圖15中給出分層關(guān)系。可視化窗口 16示出每一場(chǎng)景、情景、截段或截鏡相對(duì)于整個(gè)視頻的物理位置。用于在語(yǔ)義視頻數(shù)據(jù)的貯藏庫(kù)上執(zhí)行搜索的裝置的優(yōu)選的實(shí)施方案為搜索引擎 (例如計(jì)算機(jī)程序)。分類(lèi)的視頻數(shù)據(jù)儲(chǔ)存在數(shù)據(jù)庫(kù)貯藏庫(kù)中。在分層結(jié)構(gòu)的不同層的 視頻數(shù)據(jù)由關(guān)鍵幀的泛型排列和群集算法分組以進(jìn)行截段再分組。視頻數(shù)據(jù)表征由用于表征要被表征的視頻文件數(shù)據(jù)的裝置實(shí)現(xiàn)，所述要被表征 的視頻文件數(shù)據(jù)載有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參考并且還被分 配到多層分層結(jié)構(gòu)中的指定的層的字段，并且所述要被表征的視頻文件數(shù)據(jù)被這樣構(gòu) 造，從而載有具有相同語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)按順序被排列并表征。所述裝置 包括多個(gè)標(biāo)簽，所述多個(gè)標(biāo)簽包含針對(duì)視頻文件數(shù)據(jù)的語(yǔ)義參考，所述語(yǔ)義參考包括關(guān) 于記錄的信息，所述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ)義參考 的字段，并且所述語(yǔ)義參考包含通過(guò)使用多個(gè)層次級(jí)(hierarchical level)對(duì)所述要被搜索 的視頻文件數(shù)據(jù)進(jìn)行歸類(lèi)的指定的層的信息。所述裝置提供輸入單元，所述輸入單元用 于給出指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽，并且搜索與所述要被搜索的視頻文件上的相同語(yǔ)義參考關(guān)聯(lián)和具有所述層次級(jí)中的指定的層的標(biāo)簽；檢索單元，所述檢索單元用于從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有 所述要被搜索的視頻文件數(shù)據(jù)上的相同語(yǔ)義參考和層次級(jí)中的指定的層；提取單元，所 述提取單元用于提取載有具有指定的語(yǔ)義參考和所述層次級(jí)中的指定的層的標(biāo)簽的所述 視頻文件數(shù)據(jù)；表征單元，所述表征單元用于按順序表征提取出的載有具有指定的語(yǔ)義 參考和所述層次級(jí)中的指定的層的標(biāo)簽的所述視頻文件數(shù)據(jù)。優(yōu)選地，本發(fā)明提供用于指示計(jì)算機(jī)來(lái)表征視頻文件數(shù)據(jù)的計(jì)算機(jī)可讀存儲(chǔ)器 產(chǎn)品，而這樣的存儲(chǔ)器產(chǎn)品儲(chǔ)存程序，以指示計(jì)算機(jī)接收指令來(lái)進(jìn)行搜索、檢索和提取 與指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽，并且按順序表征被提取出的載有這樣的標(biāo)簽的視頻文件 數(shù)據(jù)，該標(biāo)簽具有指定的語(yǔ)義參考和層次級(jí)中的指定的層。與使用者僅可以執(zhí)行線性搜索(例如快進(jìn)/快退以及跳到適當(dāng)章節(jié))的傳統(tǒng)視頻 搜索相反的是，本發(fā)明允許應(yīng)用程序在語(yǔ)義內(nèi)容貯藏庫(kù)上執(zhí)行本體搜索。例如，針對(duì)網(wǎng) 球視頻中的攔擊訓(xùn)練進(jìn)行的使用搜索，本體論自動(dòng)地支持具有正手?jǐn)r擊和反手?jǐn)r擊的連 接(link)。在另一實(shí)施例中，使用者可以通過(guò)指定內(nèi)容搜索特定的截段。例如，使用者 可以搜索比爾·克林頓，而系統(tǒng)將返回所有包含比爾·克林頓的截段和截鏡。使用者可以在視頻上執(zhí)行瀏覽操作。這在傳統(tǒng)線性視頻數(shù)據(jù)顯示的方法論中是 不可能的。例如，使用者可以選擇國(guó)家(例如美國(guó))并且在這一類(lèi)別下瀏覽內(nèi)容。在 國(guó)家類(lèi)別下，可以有包括總統(tǒng)的子類(lèi)別，并且轉(zhuǎn)而所述子類(lèi)別總統(tǒng)可以包括比爾·克林 頓。選擇比爾·克林頓將列出來(lái)自視頻紀(jì)錄的包含比爾·克林頓的全部視頻剪輯。圖6示出媒體搜索中的數(shù)據(jù)流。搜索標(biāo)準(zhǔn)由用戶應(yīng)用程序17經(jīng)由用戶界面收 集，并且搜索請(qǐng)求被發(fā)送到搜索服務(wù)器18，其中所述搜索服務(wù)器通過(guò)截段貯藏庫(kù)19搜索 匹配所述搜索標(biāo)準(zhǔn)的截段。截段貯藏庫(kù)19返回關(guān)于與給出的標(biāo)準(zhǔn)匹配的截段的信息。然 后，截段信息被返回到用戶應(yīng)用程序17。基于返回的截段信息，用戶應(yīng)用程序向媒體服 務(wù)器20提交請(qǐng)求，媒體服務(wù)器20處理所述請(qǐng)求并且通過(guò)給出的截段信息返回如所描述的 序列媒體的片段。盡管已經(jīng)描述了本發(fā)明的特定特征和實(shí)施方案，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，從本 文所公開(kāi)的本發(fā)明實(shí)施方案的說(shuō)明和實(shí)踐的理解中，本發(fā)明的其他實(shí)施方案將會(huì)是顯然 的。因此，意圖的是，說(shuō)明和實(shí)施例被認(rèn)為僅僅是示例性的，其中本發(fā)明的真正范圍和 精神由所附的權(quán)利要求書(shū)及其全部的等同范圍所指明。
權(quán)利要求
1.一種用于表征要被表征的視頻文件數(shù)據(jù)的視頻文件數(shù)據(jù)表征方法，所述要被表征 的視頻文件數(shù)據(jù)載有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參考的字段，并 且所述要被表征的視頻文件數(shù)據(jù)被這樣構(gòu)造，從而載有具有指定的語(yǔ)義參考的標(biāo)簽的視 頻文件數(shù)據(jù)按順序被排列并表征，該方法包括為視頻文件數(shù)據(jù)創(chuàng)建包含語(yǔ)義參考的標(biāo)簽，所述語(yǔ)義參考包括關(guān)于記錄的信息，所 述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ)義參考的字段；接收指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽； 從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有所述要被搜索的視頻文件數(shù)據(jù)上的指 定的語(yǔ)義參考；提取載有具有指定的語(yǔ)義參考的標(biāo)簽的所述視頻文件數(shù)據(jù)；按順序表征提取出的載有具有所述指定的語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)。
2.一種用于表征要被表征的視頻文件數(shù)據(jù)的視頻文件數(shù)據(jù)表征方法，所述要被表 征的視頻文件數(shù)據(jù)載有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參考并且還被 分配到多層分層結(jié)構(gòu)中的指定的層的字段，并且所述要被表征的視頻文件數(shù)據(jù)被這樣構(gòu) 造，從而載有具有所述指定的語(yǔ)義參考和指定的層的標(biāo)簽的視頻文件數(shù)據(jù)按順序被排列 并表征，該方法包括為視頻文件數(shù)據(jù)創(chuàng)建包含語(yǔ)義參考的標(biāo)簽，所述語(yǔ)義參考包括關(guān)于記錄的信息，所 述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ)義參考的字段，并且所述 語(yǔ)義參考包含通過(guò)使用多個(gè)層次級(jí)對(duì)所述要被搜索的視頻文件數(shù)據(jù)上的所述語(yǔ)義參考進(jìn) 行歸類(lèi)的指定的層的信息；接收指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽； 進(jìn)一步接收指令來(lái)搜索與所述指定的語(yǔ)義參考關(guān)聯(lián)并且具有要被搜索的視頻文件上 的所述層次級(jí)中的指定的層的標(biāo)簽；從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有所述要被搜索的視頻文件數(shù)據(jù)上的所 述指定的語(yǔ)義參考和所述層次級(jí)中的所述指定的層；提取載有具有指定的語(yǔ)義參考和所述層次級(jí)中的指定的層的標(biāo)簽的所述視頻文件數(shù)據(jù)；按順序表征提取出的載有具有所述指定的語(yǔ)義參考和所述層次級(jí)中的所述指定的層 的標(biāo)簽的視頻文件數(shù)據(jù)。
3.如權(quán)利要求1或2所述的視頻文件數(shù)據(jù)表征方法，其中內(nèi)容頁(yè)面示出多個(gè)所述提取 出的視頻文件數(shù)據(jù)及所述視頻文件數(shù)據(jù)的標(biāo)簽，從而所述表征支持多個(gè)具有多對(duì)多關(guān)系 的視頻文件數(shù)據(jù)的表征，并且支持多路訪問(wèn)和多路顯示。
4.如權(quán)利要求2所述的視頻文件數(shù)據(jù)表征方法，其中所述分層結(jié)構(gòu)包括多個(gè)層，在所 述多個(gè)層中頂層表示綜合信息，較低的一層表示比較基本信息，并且最低層表示最基本 fn息ο
5.如權(quán)利要求2所述的視頻文件數(shù)據(jù)表征方法，其中所述分層結(jié)構(gòu)包括六層，即場(chǎng) 景、情節(jié)、情景、截段、截鏡、幀以及對(duì)象，在所述六層中頂層表示綜合信息，較低的 一層表示比較基本信息，并且最低層表示最基本信息。
6.如權(quán)利要求2所述的視頻文件數(shù)據(jù)表征方法，其中多個(gè)載有具有指定的語(yǔ)義參考和指定的層的信息的標(biāo)簽的所述視頻文件數(shù)據(jù)為超鏈接的并且按順序被顯示。
7.一種用于表征要被表征的視頻文件數(shù)據(jù)的裝置，所述要被表征的視頻文件數(shù)據(jù)載 有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參考的字段，并且所述要被表征的 視頻文件數(shù)據(jù)被這樣構(gòu)造，從而載有具有指定的語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)按順序 被排列并表征，該裝置包括視頻文件數(shù)據(jù)或多個(gè)載有包含語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)，所述語(yǔ)義參考包括 關(guān)于記錄的信息，所述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ)義參 考的字段；輸入單元，所述輸入單元用于給出指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的 指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽；檢索單元，所述檢索單元用于從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有所述要 被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考；提取單元，所述提取單元用于提取載有具有指定的語(yǔ)義參考的標(biāo)簽的所述視頻文件 數(shù)據(jù)；以及表征單元，所述表征單元用于按順序表征提取出的載有具有所述指定的語(yǔ)義參考的 標(biāo)簽的視頻文件數(shù)據(jù)。
8.一種用于表征要被表征的視頻文件數(shù)據(jù)的裝置，所述要被表征的視頻文件數(shù)據(jù) 載有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參考并且還被分配到多層分層結(jié) 構(gòu)中的指定的層的字段，并且所述要被表征的視頻文件數(shù)據(jù)被這樣構(gòu)造，從而載有具有 所述指定的語(yǔ)義參考和指定的層的標(biāo)簽的視頻文件數(shù)據(jù)按順序被排列并表征，該裝置包 括視頻文件數(shù)據(jù)或多個(gè)載有包含語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)標(biāo)簽，所述語(yǔ)義參考 包括關(guān)于記錄的信息，所述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ) 義參考的字段，并且所述語(yǔ)義參考包含通過(guò)使用多個(gè)層次級(jí)對(duì)所述要被搜索的視頻文件 數(shù)據(jù)上的語(yǔ)義參考進(jìn)行歸類(lèi)的指定的層的信息；輸入單元，所述輸入單元用于給出指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的 指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽，并且搜索與所述指定的語(yǔ)義參考關(guān)聯(lián)并且具有要被搜索的 視頻文件上的所述層次級(jí)中的指定的層的標(biāo)簽；檢索單元，所述檢索單元用于從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有所述要 被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考和所述層次級(jí)中的指定的層；提取單元，所述提取單元用于提取載有具有指定的語(yǔ)義參考和所述層次級(jí)中的指定 的層的標(biāo)簽的所述視頻文件數(shù)據(jù)；表征單元，所述表征單元用于按順序表征提取出的載有具有指定的語(yǔ)義參考和所述 層次級(jí)中的指定的層的標(biāo)簽的所述視頻文件數(shù)據(jù)。
9.一種用于指示計(jì)算機(jī)來(lái)表征要被表征的視頻文件數(shù)據(jù)的計(jì)算機(jī)可讀存儲(chǔ)器產(chǎn)品， 所述要被表征的視頻文件數(shù)據(jù)載有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參 考的字段，并且所述要被表征的視頻文件數(shù)據(jù)被這樣構(gòu)造，從而通過(guò)使用多個(gè)包含針對(duì) 視頻文件數(shù)據(jù)的語(yǔ)義參考的標(biāo)簽，載有具有所述指定的語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù) 按順序被排列并表征，所述語(yǔ)義參考包括關(guān)于記錄的信息，所述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ)義參考的字段，所述存儲(chǔ)器產(chǎn)品儲(chǔ)存程序來(lái)指示計(jì) 算機(jī)進(jìn)行如下操作接收指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽； 從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有所述要被搜索的視頻文件數(shù)據(jù)上的指 定的語(yǔ)義參考；提取載有具有指定的語(yǔ)義參考的標(biāo)簽的所述視頻文件數(shù)據(jù)； 按順序表征提取出的具有所述指定的語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)。
10.—種用于指示計(jì)算機(jī)來(lái)表征要被表征的視頻文件數(shù)據(jù)的計(jì)算機(jī)可讀存儲(chǔ)器產(chǎn)品， 所述要被表征的視頻文件數(shù)據(jù)載有這樣的標(biāo)簽，所述標(biāo)簽具有被分配到至少一種語(yǔ)義參 考并且還被分配到多層分層結(jié)構(gòu)中的指定的層的字段，并且所述要被表征的視頻文件數(shù) 據(jù)被這樣構(gòu)造，從而通過(guò)使用多個(gè)包含針對(duì)視頻文件數(shù)據(jù)的語(yǔ)義參考的標(biāo)簽，載有具有 所述指定的語(yǔ)義參考的標(biāo)簽的視頻文件數(shù)據(jù)按順序被排列并表征，所述語(yǔ)義參考包括關(guān) 于記錄的信息，所述記錄具有帶有至少一種所述要被搜索的視頻文件數(shù)據(jù)上的語(yǔ)義參考 的字段，并且所述語(yǔ)義參考包括通過(guò)使用多個(gè)層次級(jí)對(duì)所述要被搜索的視頻文件數(shù)據(jù)上 的語(yǔ)義參考進(jìn)行歸類(lèi)的指定的層的信息，所述存儲(chǔ)器產(chǎn)品儲(chǔ)存產(chǎn)品來(lái)指示計(jì)算機(jī)進(jìn)行如 下操作接收指令來(lái)搜索與所述要被搜索的視頻文件數(shù)據(jù)上的指定的語(yǔ)義參考關(guān)聯(lián)的標(biāo)簽， 并且搜索與所述指定的語(yǔ)義參考關(guān)聯(lián)并且具有要被搜索的視頻文件上的所述層次級(jí)中的 指定的層的標(biāo)簽；從標(biāo)簽中檢索關(guān)于記錄的信息，所述記錄具有所述要被搜索的視頻文件數(shù)據(jù)上的指 定的語(yǔ)義參考和層次級(jí)中的指定的層；提取載有具有指定的語(yǔ)義參考和所述層次級(jí)中的指定的層的標(biāo)簽的所述視頻文件數(shù) 據(jù)；以及按順序表征提取出的載有具有指定的語(yǔ)義參考和所述層次級(jí)中的指定的層的標(biāo)簽的 所述視頻文件數(shù)據(jù)。
全文摘要
以非線性范式表征視頻數(shù)據(jù)的方法。視頻數(shù)據(jù)被分類(lèi)為語(yǔ)義內(nèi)容，所述語(yǔ)義內(nèi)容包括多層結(jié)構(gòu)且每一層表示語(yǔ)義參考(例如不同的影片實(shí)體)。以分層結(jié)構(gòu)組織所述語(yǔ)義內(nèi)容，其中頂層表示綜合信息，而最低層表征基本信息。在所述頂層中的所述影片實(shí)體被超鏈接到在第二層中的實(shí)體。在所述第二層中的所述實(shí)體被超鏈接到第三層并以此類(lèi)推。在最低層中的每一影片實(shí)體被指派到所述視頻內(nèi)容的一部分并且被超鏈接到對(duì)應(yīng)的視頻數(shù)據(jù)。所述語(yǔ)義內(nèi)容包括在多對(duì)多關(guān)系中被超鏈接的視頻數(shù)據(jù)。多對(duì)多關(guān)系意味著所述數(shù)據(jù)為超鏈接的視頻數(shù)據(jù)并且所述視頻數(shù)據(jù)支持多路訪問(wèn)和多路顯示。用于向使用者表征分類(lèi)的語(yǔ)義內(nèi)容的裝置，其中所述視頻數(shù)據(jù)可以無(wú)需編碼轉(zhuǎn)換被線性地逐段可視化并播放。所述語(yǔ)義內(nèi)容的所述分層結(jié)構(gòu)還可以在邏輯上被可視化為關(guān)系圖和關(guān)鍵幀的顯示。使用者可以從所述頂層開(kāi)始向下到所述最低層瀏覽所述語(yǔ)義內(nèi)容。與所述語(yǔ)義內(nèi)容的每一影片實(shí)體相對(duì)應(yīng)的所述視頻可以被單獨(dú)地作為短視頻來(lái)播放。以及用于在視頻數(shù)據(jù)的分類(lèi)的語(yǔ)義內(nèi)容的貯藏庫(kù)上執(zhí)行搜索的裝置。
文檔編號(hào)G06F17/30GK102027467SQ200880129122
公開(kāi)日2011年4月20日 申請(qǐng)日期2008年5月27日 優(yōu)先權(quán)日2008年5月27日
發(fā)明者歐思樂(lè), 金聲 申請(qǐng)人:多基有限公司