一種基于地圖隱喻的視頻內(nèi)容可視分析方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機應(yīng)用技術(shù)領(lǐng)域，具體涉及一種基于地圖隱喻的視頻內(nèi)容可視分 析方法。
【背景技術(shù)】
[0002] 隨著數(shù)碼設(shè)備的普及和互聯(lián)網(wǎng)技術(shù)的發(fā)展，視頻資源數(shù)量呈海量式增長。人們不 再滿足于傳統(tǒng)單一的線性的視頻信息利用方式，對有效檢索視頻信息、快速獲得視頻主要 內(nèi)容以及高效的瀏覽視頻也提出了更高的要求。迅速增長的視頻數(shù)據(jù)已成為人們生活中一 類最重要的信息獲取方式。如何快速獲取視頻信息、高效交互進而有效利用視頻信息具有 巨大的應(yīng)用價值。目前與視頻應(yīng)用快速增幅相對的是人與視頻間的交互方式并沒有隨之發(fā) 生根本性的轉(zhuǎn)變，現(xiàn)有交互技術(shù)已嚴(yán)重制約著進一步發(fā)展。研究者們開始研究在傳統(tǒng)視頻 中融入各種交互技術(shù)以滿足人們的這種需求。視頻內(nèi)容可視分析就是一種比較好的解決方 式。視頻內(nèi)容可視分析就是將視頻內(nèi)容提取出來，用通俗易懂，簡單明了的方式呈現(xiàn)給用 戶，提供自然直觀的交互方式幫助用戶快速、有效地理解視頻內(nèi)容，對搜索、分析和篩選用 戶感興趣的視頻數(shù)據(jù)具有重要意義。
[0003] 視頻內(nèi)容可視分析主要關(guān)注以下問題：1)結(jié)構(gòu)清晰、易于理解的表現(xiàn)方式:人眼視 覺特性對圖像的認知是非均勻的和非線性的，新穎的視頻表現(xiàn)方式應(yīng)使視頻內(nèi)容表現(xiàn)簡潔 直觀，要符合人眼視覺特性，從而輔助用戶對視頻內(nèi)容的高效理解;2)視頻幀的布局規(guī)則： 良好的視頻幀圖像布局規(guī)則能夠減少圖像間的相互遮掩、清晰地展示視頻內(nèi)容信息；3)自 然高效的交互功能：用戶應(yīng)能夠根據(jù)興趣和需求方便地查看視頻細節(jié)。而實際上，如何將視 頻結(jié)構(gòu)化，用什么樣的結(jié)構(gòu)去展現(xiàn)視頻內(nèi)容是一個研究熱點和難點。視頻的內(nèi)容多種多樣， 不同類型的視頻其內(nèi)容組織順序差別很大，它們內(nèi)容的側(cè)重點也不同，目前大多數(shù)的視頻 內(nèi)容可視化內(nèi)容都是針對特定領(lǐng)域的視頻內(nèi)容，采用不同的方法然后提取關(guān)鍵幀，根據(jù)不 同的需求進行聚類，按照一定的規(guī)則進行排布，缺少對視頻內(nèi)容間關(guān)聯(lián)關(guān)系的分析展示，不 能有效地幫戶用戶理解視頻內(nèi)容。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種基于地圖隱喻的視頻內(nèi)容可視分析方法，能夠解決了 當(dāng)前對視頻內(nèi)容的描述和呈現(xiàn)單一，缺少視頻內(nèi)容關(guān)聯(lián)分析的問題，實現(xiàn)對視頻內(nèi)容自然、 高效的交互與與可視分析，并據(jù)此可以實現(xiàn)基于地圖布局的視頻內(nèi)容分析和瀏覽系統(tǒng)。
[0005] 為實現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案：
[0006] -種基于地圖隱喻的視頻內(nèi)容可視分析方法，其步驟為：
[0007] 1)對原視頻內(nèi)容進行結(jié)構(gòu)化處理，得到視頻結(jié)構(gòu)數(shù)據(jù)；
[0008] 2)將視頻結(jié)構(gòu)數(shù)據(jù)經(jīng)過布局算法處理，得出視頻地圖的基本布局；
[0009] 3)按照地圖隱喻系統(tǒng)的映射規(guī)則，將視頻內(nèi)容(包括視頻內(nèi)人物與事件之間的各 種時空關(guān)聯(lián)關(guān)系)映射到視頻地圖上；
[0010] 4)通過與視頻地圖進行交互，實現(xiàn)對視頻內(nèi)容的可視化操作與分析。該步驟可以 實現(xiàn)草圖交互界面以及統(tǒng)計分析和查詢路徑等其他相關(guān)功能。
[0011] 進一步的，步驟1)中視頻結(jié)構(gòu)化將視頻內(nèi)容分解，按如下格式進行組織：
[0012] 〈Video〉： ： =〈Title>〈Describe>〈Time>{〈Scene〉};整個視頻由〈Title〉電影名 稱，〈Describe〉簡單描述，〈Time〉時長，{〈Scene〉}多個場景組成，其中場景為視頻內(nèi)常出現(xiàn) 的一些地點，視頻的一些主要事件發(fā)生在這些地點。
[0013] 進一步的，〈Scene〉： ： ="Scene_Id" {〈Event〉}，[Scene_Type];場景包含場景編號 3〇61^_1(1，在該場景內(nèi)發(fā)生的事件"￥61^>，以及該場景的類型3〇6脫_17口6，主要分為室內(nèi)、 室外白天和室外夜晚等。
[0014] 進一步的，〈Event〉： ： ='，Event-Id" [〈Association〉]〈Video-clips〉{〈Character >h事件為在特定場景發(fā)生的具有一定連續(xù)性，對電影情節(jié)具有推動作用的一系列視頻片 段，由人工定義并組織整理。事件內(nèi)包含參與事件的各個關(guān)鍵人員{〈Character〉}。事件包 含了事件編號Event_Id以及相對應(yīng)的一段視頻內(nèi)容<Video_clips>。事件間的關(guān)聯(lián)關(guān)系〈 Association〉。
[0015] 進一步的，〈Character〉： ="Character-name"，〈STime>，〈ETime>[〈Association >];角色是對整個電影情節(jié)具有推動作用的對象，是視頻內(nèi)容的重要組成部分，角色包含了 角色的名稱"Character_name"以及出場時間<STime>和退場時間〈ETime〉，〈Association〉 表示角色間的關(guān)聯(lián)關(guān)系。
[0016] 進一步的，〈Association〉： =〈Association_type> {，"Association_Id" } "weight" ；關(guān)聯(lián)關(guān)系包括關(guān)聯(lián)類型<Association_type>，與關(guān)聯(lián)主體相關(guān)聯(lián)的一系列關(guān)聯(lián) 對象編號"Association_Id"，以及該關(guān)聯(lián)的強度"weight"，（如兩個事件之間的關(guān)聯(lián)強度， 取決于他們是否發(fā)生在同一場景，它們擁有多少共同的參與角色）。
[0017] 進一步的，〈Association_type> : = "Temporal_Associat ion" | "Spatial_ Association" I "Customized_Association" ；關(guān)聯(lián)關(guān)系可分為事件發(fā)生順序的時間關(guān)聯(lián) "Time_Association"，以及表示事件是否發(fā)生在同一場景等關(guān)聯(lián)的空間關(guān)聯(lián)"Spatial_ Association"。用戶還可以根據(jù)自己的理解添加自定義的關(guān)聯(lián)關(guān)系"Customized_ Association"。
[0018] 進一步的，視頻片段<Video_clips>: =〈Video>〈STime>〈ETime>，視頻片段對應(yīng)事 先定義的事件信息，標(biāo)注上起始時間<STime>和結(jié)束時間〈ETime〉。
[0019] 進一步的，整體視頻內(nèi)容結(jié)構(gòu)化為如下結(jié)構(gòu)：
[0020] 〈Video〉： ： =〈Title>〈Describe>〈Time>{〈Scene>};
[0021 ] 〈Scene〉： ： = "Scene-Id" {〈Event〉}，[Scene-Type];
[0022] 〈Event〉：： = "Event_Id"[〈Association>]〈Video_clips>{〈Character>;
[0023] 〈Association〉：=〈Association_type>{"Association_Id"};"weight"
[0024] <Association_type>:="Temporal-Association" |"Spatial-Association" |
[0025] "Customized-Association"；
[0026] 〈Video-clips〉： =〈Video>〈STime>〈ETime>;
[0027] 進一步的數(shù)據(jù)預(yù)處理，我們將視頻內(nèi)容表示為一系列的事件E={ei，e2……en}，事 件ek(l〈k〈n)由起始時間stk，結(jié)束時間etk，涉及對象Ck= {ci，C2......cm}，發(fā)生的場景Sk，以及 簡要的事件描述。
[0028] 進一步的，通過視頻幀聚類方法判斷場景的類型，具體做法為：
[0029] 1)通過定義的事件獲取對應(yīng)的視頻片段，針對每一個事件隨機的提取一定數(shù)量的 視頻幀(具體多少與事件的時長有關(guān)），將它們匯集成一個視頻幀集合。
[0030] 2)針對每一幀視頻圖像，我們使用其RGB顏色矩陣作為特征向量，對應(yīng)為MatrixR， MatrixG，MatrixB(行列分別為w，h的矩陣，w為圖像的像素寬度，h為圖像的像素高度），使用 K-means作為聚類方法，將視頻幀集合進行分類處理。具體方法如下：
[0031] 我們定義兩幅視頻幀之間的距離矩陣D:
[0032] D= |MatrixRi-MatrixR21 +1 MatrixGi-MatrixG21 +1 MatrixBi-MatrixB2
[0033] 我們首先選取第一個視頻幀，用它的RGB矩陣作為初始類別的質(zhì)心矩陣，隨后我們 隨后選取下一個待分類的視頻幀，計算它的RGB矩陣與第一類的初始質(zhì)心矩陣之間的距離 矩陣D，我們將D與我們預(yù)先設(shè)定的一個閾值矩陣T進行比較，我們定義一個變量c如下所示：
[0034]
[0035] 如果我們則那么我們就將第二張視頻幀歸屬初始類，如果^1^，我們 2 2： 認為第二張視頻幀屬于一個新的類，我們將第二張視頻幀的RGB矩陣作為第二類的初始質(zhì) 心矩陣，以此類推，在處理隨后的視頻幀時，將它的RGB矩陣與所有類別的質(zhì)心矩陣進行對 比來決定它屬于哪一類或者將其定義為新的類。當(dāng)有一個類更新后。要計算出該類的新的 質(zhì)心矩陣，計算方法為依據(jù)該類的所有視頻幀的RGB矩陣所計算得出的平均矩陣。這樣持續(xù) 迭代計算直到所有視頻幀都處理完畢。
[0036] 3)最終每一個視頻幀都會有其歸屬的類別，我們依據(jù)場景所屬的視頻幀屬于哪一 個類別的視頻幀最多，就將該視頻劃分到該類別中，采用人為判斷的方式去判別場景的類 型，如室內(nèi)，室外或白天黑夜等。
[0037] 進一步的，視頻內(nèi)容與地圖的映射規(guī)則為，用地圖上的區(qū)域面元素代表視頻內(nèi)的 場景，用地圖上的城市點、地標(biāo)點來代表視頻內(nèi)的人物和發(fā)生的事件，用各種道路元素來連 接各種點元素來表示視頻內(nèi)人物與事件之間的各種時空關(guān)聯(lián)關(guān)系。
[0038]進一步的，草