圖交互功能包括在地圖上勾選目標(biāo)進(jìn)行統(tǒng)計(jì)結(jié)果分析和查詢路徑， 通過(guò)在地圖上勾勒來(lái)添加草圖注釋以幫助用戶加強(qiáng)理解視頻內(nèi)容。通過(guò)連接地圖點(diǎn)來(lái)添加 新的自定義關(guān)聯(lián)關(guān)系。
[0039] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：
[0040] 1、本發(fā)明支持用數(shù)字筆繪制草圖的方式與視頻地圖進(jìn)行各種交互，采用筆手勢(shì)的 交互方式完成各種功能、瀏覽視頻內(nèi)容，符合用戶的本能操作習(xí)慣。
[0041] 2、本發(fā)明提供了多種視頻媒體的瀏覽方式，滿足了用戶的多種需求，打破了傳統(tǒng) 的單一線性被動(dòng)瀏覽方式。
[0042] 3、本發(fā)明提供了針對(duì)電影視頻的結(jié)構(gòu)化方式，并以地圖隱喻的方式將視頻內(nèi)容可 視化，并通過(guò)統(tǒng)計(jì)圖，尋路等功能幫助用戶挖掘視頻內(nèi)容的隱藏關(guān)系，幫助用戶快速的理解 視頻，讓用戶擁有更好的觀影體驗(yàn)。
【附圖說(shuō)明】
[0043] 圖1.視頻地圖的系統(tǒng)處理流程圖。
[0044] 圖2.視頻地圖的隱喻的點(diǎn)線面表示方式示意圖。
[0045]圖3.視頻統(tǒng)計(jì)彳目息多視角展不圖。
[0046] 圖4(a)~圖4(c) .VideoMap尋路功能示意圖，其中圖4(a)為在初始地圖上選取起 點(diǎn)和終點(diǎn)；圖4(b)為返回第一條起點(diǎn)和終點(diǎn)之間的可行通路；圖4(c)為返回第二條起點(diǎn)和 終點(diǎn)之間的可行通路。
[0047]圖5(a)~圖5(b).按照用戶需求特定顯示部分目標(biāo)的示意圖，其中圖5(a)為在視 頻地圖上選取需要顯示的目標(biāo);圖5(b)為只對(duì)特定目標(biāo)進(jìn)行顯示。
[0048]圖6.針對(duì)特定的事件觀看對(duì)應(yīng)的視頻片段的示意圖。
[0049] 圖7.基于草圖的交互界面，支持自由手繪注釋和自定義添加關(guān)聯(lián)關(guān)系的示意圖， 其中（a)、（b)為沒(méi)有添加注釋和自定義關(guān)聯(lián)關(guān)系的示意圖，（c)、（d)為添加注釋和自定義關(guān) 聯(lián)關(guān)系之后的不意圖。
[0050] 圖8.特定的注釋符號(hào)和筆手勢(shì)交互方式的示意圖。
【具體實(shí)施方式】
[0051] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面通過(guò)具體實(shí)施例和 附圖，對(duì)本發(fā)明做進(jìn)一步說(shuō)明。
[0052] 本發(fā)明的基于地圖隱喻的視頻內(nèi)容可視分析方法，其流程如圖1所示，首先根據(jù)原 視頻內(nèi)容經(jīng)過(guò)人工提取關(guān)鍵內(nèi)容進(jìn)行結(jié)構(gòu)化處理，整理成相應(yīng)結(jié)構(gòu)的數(shù)據(jù);然后將處理的 數(shù)據(jù)經(jīng)過(guò)布局算法處理，得出視頻地圖的基本布局，再將數(shù)據(jù)按照地圖隱喻系統(tǒng)的映射規(guī) 貝1J，將視頻內(nèi)容和內(nèi)容關(guān)聯(lián)映射到視頻地圖上生成視頻地圖可視化系統(tǒng)，最后實(shí)現(xiàn)草圖交 互界面以及統(tǒng)計(jì)分析和查詢路徑等其他相關(guān)功能。軟件隱喻的本質(zhì)是一種認(rèn)知隱喻。我們 可以通過(guò)在日常生活中無(wú)意識(shí)獲得的基本隱喻系統(tǒng)，在軟件開(kāi)發(fā)過(guò)程中，受到關(guān)聯(lián)性的啟 發(fā)和影響，使得主觀經(jīng)驗(yàn)和感覺(jué)經(jīng)驗(yàn)相互匹配，然后通過(guò)概念融合而形成具有啟示意義和 指導(dǎo)意義的軟件隱喻。這正是軟件隱喻的工作機(jī)制。本發(fā)明所述"地圖隱喻"是指以地圖的 形式來(lái)對(duì)視頻內(nèi)容進(jìn)行類比，包含了地圖的展示形式與視頻內(nèi)容可視化之間的體驗(yàn)與分 析，找出兩者之間的類同之處，借助人們對(duì)地圖的現(xiàn)有理解，通過(guò)我們已經(jīng)熟悉的活動(dòng)，將 視頻內(nèi)容可視化過(guò)程聯(lián)系起來(lái)，從而幫助我們更好地對(duì)視頻內(nèi)容進(jìn)行理解。
[0053] 1.采用地圖作為視頻信息的描述載體
[0054] 地圖是一種形象化信息，具有較高的抽象性和關(guān)聯(lián)性，能夠較好的表達(dá)和描述數(shù) 據(jù)的聚類關(guān)系，特別適宜用于表現(xiàn)具有一定關(guān)聯(lián)性的數(shù)據(jù)。本發(fā)明基于地圖隱喻描述視頻 的主要內(nèi)容為:構(gòu)建基于地圖基本要素和視頻結(jié)構(gòu)的映射關(guān)聯(lián)以描述視頻資源的主要內(nèi)容 以及它們相互之間的語(yǔ)義關(guān)系，包括同一視頻內(nèi)部不同場(chǎng)景之間的關(guān)聯(lián)關(guān)系。各個(gè)視頻結(jié) 構(gòu)的語(yǔ)義關(guān)系和各個(gè)場(chǎng)景之間的關(guān)聯(lián)關(guān)系從不同側(cè)面描述了視頻的組織構(gòu)成，彼此對(duì)應(yīng)一 致。用戶能夠通過(guò)與地圖的交互間接實(shí)現(xiàn)對(duì)視頻的操縱和瀏覽，從而增強(qiáng)了視頻的交互性。
[0055] 2.視頻的結(jié)構(gòu)化處理與視頻地圖
[0056] 本發(fā)明通過(guò)分析視頻基本語(yǔ)義及其相互關(guān)系，將視頻進(jìn)行結(jié)構(gòu)化，重新定義視頻 結(jié)構(gòu)，同時(shí)將其與地圖上的點(diǎn)線面元素進(jìn)行映射，再按照一定的排布規(guī)則將他們組合成視 頻地圖。
[0057] (2.1)視頻根據(jù)情節(jié)可分割為若干相對(duì)獨(dú)立的語(yǔ)義段。這些視頻片段在物理結(jié)構(gòu) 上是線性排列的，但在語(yǔ)義上可能是相互交錯(cuò)關(guān)聯(lián)的。此外，不同的視頻在物理上是分散、 獨(dú)立的，但在語(yǔ)義上也可能存在關(guān)聯(lián)關(guān)系。我們將這些語(yǔ)義段定義為事件，同時(shí)提取出發(fā)生 事件的主要場(chǎng)景，以及參與人。并挖掘它們之間的關(guān)聯(lián)關(guān)系，重新將視頻結(jié)構(gòu)化，定義視頻 結(jié)構(gòu)：
[0058] 〈Video〉： ： =〈TitleXDescribe>〈Time>{〈Scene>};主要將視頻分為場(chǎng)景〈Scene >，事件〈Event〉，角色〈Character〉，關(guān)聯(lián)關(guān)系〈Association>，并將場(chǎng)景〈Scene〉對(duì)應(yīng)為地圖 上的面元素(如省域，區(qū)塊等），事件〈Event〉，角色〈Character〉對(duì)應(yīng)為地圖上的各種點(diǎn)元素 (如各種地標(biāo)、都市等），關(guān)聯(lián)關(guān)系〈Association〉，對(duì)應(yīng)為地圖上的各種線兀素（如各種公 路、鐵路等）。建立地圖元素與目標(biāo)視頻的映射時(shí)，首先隨機(jī)分配給各個(gè)事件一個(gè)地圖初始 坐標(biāo)位置，然后根據(jù)布局算法確定各個(gè)事件的相對(duì)位置及在視頻地圖上的位置。事件點(diǎn)按 照一定的排布規(guī)則散布在地圖上，采用E Gansner等人基于voronoi diagram的方法圍繞事 件點(diǎn)隨機(jī)生成包圍塊，用以表示事件之間的空間關(guān)系，用多個(gè)包圍塊拼合成地圖的總體輪 廓（參考文南犬：Gansner E，Kobourov S,Hu Y.GMap:Visualizing graphs and clusters as maps[J] · IEEE Computer Graphics&Applications,2〇10,3〇(6) :2〇l_2〇8·)，每一個(gè)包圍塊 表示為一個(gè)場(chǎng)景，表示這被包圍的事件發(fā)生在該場(chǎng)景下，根據(jù)場(chǎng)景分類的結(jié)果對(duì)不同的場(chǎng) 景塊進(jìn)行顏色分配來(lái)進(jìn)行區(qū)分。根據(jù)事先分析得出的各個(gè)事件之間，角色之間的關(guān)聯(lián)關(guān)系， 用不同類型的道路來(lái)將它們關(guān)聯(lián)起來(lái)，最后對(duì)地圖的各個(gè)組件進(jìn)行形狀外觀的修正，使得 它更像一幅地圖，如此VideoMap的大致外形輪廓基本定型。
[0059] (2.2)事件點(diǎn)的排布規(guī)則是采用基于遺傳算法的布局算法，該布局算法是基于遺 傳算法，使用遺傳算法能夠?qū)D的布局問(wèn)題轉(zhuǎn)換成函數(shù)優(yōu)化問(wèn)題，所以如何設(shè)計(jì)目標(biāo)函數(shù) 是算法的關(guān)鍵。
[0060] 我們的布局算法要求具有一定的審美價(jià)值，盡量的減少連接事件點(diǎn)之間關(guān)聯(lián)道路 之間的交叉，因此目標(biāo)函數(shù)應(yīng)滿足以兩點(diǎn)要求:a)事件點(diǎn)不能彼此覆蓋，點(diǎn)之間的邊的交叉 盡可能的少;b)兩事件點(diǎn)之間的距離要與兩點(diǎn)間的關(guān)聯(lián)強(qiáng)度成正比，即關(guān)系越密切距離越 近。最終目標(biāo)函數(shù)設(shè)定如下：
[0061]
[0062]其中edPe」代表任意兩條關(guān)聯(lián)邊，E是所有關(guān)聯(lián)邊的總數(shù)，N是事件點(diǎn)的總數(shù)，函數(shù) 〇088(61，6」）用來(lái)表示邊61是否和邊6」相交，如果相交返回1否則返回0。￥^是點(diǎn)口1=^#) 和點(diǎn)Pj= (Xj，yj)之間的連接權(quán)重(Xe (0，W)，ye (〇，h)，w，h分別表示地圖的寬和高），如果 兩個(gè)點(diǎn)之間沒(méi)有邊相連，則將其設(shè)置為一個(gè)預(yù)設(shè)的最大值，k是一個(gè)比例系數(shù)，在實(shí)驗(yàn)過(guò)程 中進(jìn)行調(diào)整，|pi-Pj I表示兩點(diǎn)在地圖上的距離，公式(kwij-|pi-Pj I )2的值越小表示事件點(diǎn)Pi 與事件點(diǎn)Pj在地圖上的距離越符合他們之間的實(shí)際關(guān)聯(lián)。公式（1)的第一部分
的值越小就會(huì)越滿足要求a)，第二部$
取 最小值是為了滿足要求b )，這樣事件點(diǎn)的布局問(wèn)題就轉(zhuǎn)化為求公式（1)的最小值N題。
[0063] 用遺傳算法求解式（1)的思想是:首先將式(1)可能的解(X1，yi)，（X2，y 2)，……（Xn， yn)，編碼成染色體，然后將一組遺傳算子作用于一個(gè)解的編碼群體，即染色體的群體上，使 其能夠保持一些關(guān)鍵信息，通過(guò)不斷演化，最后得到式(1)的最小值點(diǎn)或近似最小值點(diǎn)。
[0064] 該遺傳算法的基本步驟由編碼、設(shè)計(jì)適值函數(shù)、確定選擇策略、調(diào)整控制參數(shù)、設(shè) 計(jì)遺傳算子以及給出終止準(zhǔn)則6個(gè)部分組成。
[0065] 1)編碼：
[0066] 對(duì)式（1)中每個(gè)的解(xi，yi)，（X2，y2)，......(xn，yn)，我們用一個(gè)長(zhǎng)度為2n的實(shí)數(shù)串 (xi,yi,X2,y2......xn，yn)表示。
[0067] 2)設(shè)計(jì)適值函數(shù)
[0068] 因?yàn)槲覀円蟮模?)的最小值，而遺傳算法是求最大適值，故取Cmax Μ1 )，適值函 數(shù)則為F = Cmax_(l)。
[0069] 3)選擇策略
[0070] 我們使用輪盤賭選擇策略，依照各個(gè)染色體的適值函數(shù)的值來(lái)確定他們被選來(lái)用 于雜交的概率。
[0071] 4)控制參數(shù)
[0072 ]遺傳算法需要確定的參數(shù)有N，Pm，P。，T，他們分別表示種群大小，雜家概率、變異率 與最大演化代數(shù)。在實(shí)際應(yīng)用中可根據(jù)具體狀況進(jìn)行調(diào)整。
[0073] 5)遺傳算子
[0074]雜交部分，我們擬采用單點(diǎn)雜交，方式為：兩個(gè)個(gè)體A=(P1，P2…Pn)，B= (qi，q2… Qn) 〇
[0075]若選擇雜交位置為4，則雜交所得兩個(gè)新個(gè)體為：
[0076] A*= (pi，p2，P3，q4"_pn)，8*=(91，92,93，口4"、）。變異部分我們采用如下的非一致 變異算子:設(shè)父體為4=(?1，？2 - ？1〇，第1^位基因進(jìn)行變異。假設(shè)基因1^為7坐標(biāo)，其取值范圍 為[c，d]，則變異后所得到的新個(gè)體為J =(m】…AI，
[0077] 其中
f Λ V - ▲八 / V \ V / /
[0078] Random(2)產(chǎn)生0或1的一個(gè)隨機(jī)整數(shù)，而
其中r為[0，1]之 間的一個(gè)隨機(jī)數(shù)，t為當(dāng)前演化代數(shù)，T為最大演化代數(shù)。顯然，A(t，y)的值域?yàn)閇0，y]，且當(dāng) t趨于T時(shí)，A(t，y)趨于0。這表明，在演化初期，變異算子