在較大的范圍內(nèi)搜索;而在演化后 期，變異算子起到一種局部微調(diào)的作用。
[0079] 6)終止規(guī)則
[0080]采用算法運行代數(shù)限定和適值函數(shù)限定雙重終止條件。
[0081 ] 3.視頻地圖的交互功能
[0082]本發(fā)明的主要功能是幫助用戶更好更快的理解視頻內(nèi)容，能夠挖掘隱藏在視頻內(nèi) 容中各個對象之間以及對象與場景之間的關(guān)聯(lián)關(guān)系。借助地圖隱喻的方式，添加一些地圖 工具的交互方式，如平移，縮放，尋路等交互功能，來幫助用戶更快更好的瀏覽和理解視頻 內(nèi)容。
[0083] (3.1)VideoMap 主要功能：
[0084] 在一個長視頻內(nèi)含有很多的視頻數(shù)據(jù)多個角色、多個事件交織在一起，在其中找 出角色、場景和事件它們之間的關(guān)聯(lián)關(guān)系是一件費時費力的事情。VideoMap提供了一個直 觀的視頻內(nèi)容概覽，并且支持關(guān)聯(lián)分析功能來幫助用戶更快更容易地理解視頻內(nèi)容。 VideoMap主要由點、線、面三種要素組成，如圖2所示，它們分別對應(yīng)為地理地圖中的地點、 道路、和區(qū)域。在視頻中面元素對應(yīng)各種場景，點元素對應(yīng)事件和角色，我們將事件點按照 發(fā)生的時間順序?qū)λ鼈冞M行編號，然后用道路元素所帶將事件和角色連接起來以表示關(guān)聯(lián) 關(guān)系。在這里道路連接為直線連接，我們使用B-Spline插值的方法（參考文獻:HOFFMANN, G.2006.Interpolations for image warping.[Online].Available at:http://www.fh〇-emden.de/~hoffmann/bicubic 03042002.pdf)將所有的直線化道路，進行曲線擬合。并向 用戶提供修改功能，以實現(xiàn)用戶所需要的道路曲線形式。
[0085] 關(guān)聯(lián)關(guān)系的表達，我們將事件點放置在場景塊中，以表示事件發(fā)生在該場景內(nèi)。將 角色點散布在事件點周圍，以表示這些角色參與了該事件的發(fā)生。用道路線連接事件點以 表示事件發(fā)展順序，用道路線連接角色點以表示角色參與事件的順序。設(shè)事件A與事件B，其 中事件A包含參與角色C A= {C1，c2，……，cm}，事件B包含參與角色CB= {C1，c2，……，cn}，事件 A與事件B相關(guān)聯(lián)，則定義事件A與事件B之間的關(guān)聯(lián)權(quán)重為：
[0086] w(a,b)= |cAncB|/(cA| + |cB|),
[0087] 其中I CA n CB I為即參與了事件A也參與了事件B的角色數(shù)量，I CAI為參與事件A的角 色數(shù)，|CB|為參與事件B的角色數(shù)。按照關(guān)聯(lián)邊之間的權(quán)重和(2.2)所描述的布局算法，將事 件點排布在視頻地圖上。
[0088] VideoMap的關(guān)聯(lián)分析針對用戶有限的精力和處理復(fù)雜的視頻數(shù)據(jù)的需求提供了 解決方案，例如圖3所示，VideoMap支持從多方面視角顯示多種統(tǒng)計結(jié)果，如顯示多個事件 的共同參與者，與選擇事件都有關(guān)聯(lián)的其他事件，以及事件與場景的二維坐標(biāo)圖等。圖3中 ①為視頻地圖的操作顯示區(qū)域，②為對所選擇的事件的共同參與角色的統(tǒng)計分析顯示區(qū) 域，③為對所選擇的事件相關(guān)聯(lián)的事件統(tǒng)計分析區(qū)域，④為場景類型與事件的二維空間展 示區(qū)域。視頻地圖統(tǒng)計功能的實現(xiàn)方法如下：
[0089] 1)在\^(16〇1&^1上選擇多個事件點，分別為事件61，6」，01{等，；[〈」〈1^。
[0090] 2)按照事件發(fā)展順序，在視頻地圖上選取從&開始經(jīng)過^最終到達說的路徑，將這 條路徑與ei，ej，ek直接相連的事件點一起顯示在統(tǒng)計視圖左下方，并將與選中事件點均相 連的事件點加重顯示，用來表示事件之間的關(guān)聯(lián)統(tǒng)計；
[0091] 3)參與事件ei的角色……，(^}，參與事件幻的角色為6={>1， C2,……，~}，參與事件說的角色為(^={(31，(32,……，C。}，用餅狀圖來表示各個事件，并將各 個事件的參與人員的交集少n cj，少n ck，cj η 0和少n cj n ck放在事件餅狀圖的重疊處顯 示，用來表示事件角色之間的關(guān)聯(lián)統(tǒng)計；
[0092] 4)將各個事件的關(guān)鍵幀放置在縱坐標(biāo)為場景類型，橫坐標(biāo)為時間的二維坐標(biāo)系 中，并將各個關(guān)鍵幀按照事件發(fā)展順序用線連接起來。將被選擇的事件關(guān)鍵幀激活顯示，其 余事件關(guān)鍵幀半透明顯示，給用戶提供多視角來觀看事件發(fā)展。
[0093] 關(guān)聯(lián)分析有助于發(fā)現(xiàn)一些視頻內(nèi)容底層的隱藏關(guān)聯(lián)，基于數(shù)據(jù)的預(yù)處理和多尺度 的數(shù)據(jù)表示，這些未發(fā)現(xiàn)的關(guān)聯(lián)關(guān)系表示為關(guān)聯(lián)路徑的形式，我們通過類似于地理地圖中 的尋路功能，來幫助用戶發(fā)現(xiàn)視頻內(nèi)的隱藏關(guān)聯(lián)，如圖4(a)~圖4(c)所示，用戶選擇處于不 同事件內(nèi)的兩個角色點，VideoMap則返回可行的通路，其中圖4(a)為在初始地圖上選取起 點和終點；圖4(b)為返回第一條起點和終點之間的可行通路；圖4(c)為返回第二條起點和 終點之間的可行通路。VideoMap的尋路功能具體實現(xiàn)和含義如下：
[0094] 1)在VideoMap上選擇兩個角色點，分別為事件ei的Cm, (ei，Cm)和事件ej的cn, (ej, Cn)，i〈j 〇
[0095] 2)按照順序查找ei和ej之間的所有至少包含cm和cn之一的事件61<(1〈1^〈」），選取同 時包含cjPcn的事件作為關(guān)鍵事件點es，則每一條可行路徑就以一個關(guān)鍵事件點做轉(zhuǎn)折，路 徑表示為(ei，e1+1……es……幻）。路徑前半段由cm的情節(jié)線組成，然后經(jīng)由關(guān)鍵事件點e s發(fā) 生交互，最后路徑后半段由Cn的情節(jié)線組成。
[0096] 3)多條可行路徑用加粗深紅色的道路顯示，根據(jù)用戶的要求進行顯示。
[0097] 尋路功能的目的在于幫助用戶發(fā)現(xiàn)事件發(fā)展過程的關(guān)鍵點，以及影響角色之間相 互關(guān)聯(lián)的事件發(fā)展順序。例如用戶查詢事件Μ中的角色A與事件N中的角色B，在返回的可行 路徑中可能隱藏著與角色A有關(guān)的導(dǎo)致角色B參與到事件N中的線索。
[0098] (3.2)VideoMap 的交互功能
[00"] VideoMap還提供多種功能幫助用戶更便利的探索視頻內(nèi)容，如圖5(a)、圖5(b)所 示，其中圖5(a)為在視頻地圖上選取需要顯示的目標(biāo)；圖5(b)為只對特定目標(biāo)進行顯示。通 過選擇特定的事件點或角色點，VideoMap則會過濾掉其他的目標(biāo)，只顯示被選擇的目的相 關(guān)的事件點以及與其相關(guān)聯(lián)的關(guān)聯(lián)道路。如圖6所示勾選具體事件點時，會播放相應(yīng)的視頻 片段，并給出預(yù)先定義的內(nèi)容摘要和一些關(guān)鍵幀。當(dāng)選擇某個角色點時，VideoMap會顯示它 與其他角色的關(guān)聯(lián)，這些功能有利于用戶進行關(guān)聯(lián)分析，幫助用戶快速的理解視頻內(nèi)容。事 件的視頻段的剪輯功能是人工根據(jù)事先分好的視頻事件分割而成，在各個事件視頻段內(nèi)， 關(guān)于各個角色的視頻段，我們通過利用SIFT(全稱Scale Invariant Feature Transform) 特征匹配算法（參考文獻：David G.Lowe，〃Distinctive image features from scale-invariant keypoints，''International Journal of Computer Vision,60,2(2004), pp. 91-110.)對各個角色建立SIFT特征，在視頻段中進行相似性匹配，從而將事件視頻段分 割成包含各個角色的角色視頻段?？筛鶕?jù)用戶的選擇，對視頻段進行各種重組播放。
[0100]如圖7所示，VideoMap為了追求與地圖交互時的表現(xiàn)力與自然性的平衡從而提供 了基于草圖的交互界面，它支持用戶自由地繪制可編輯的草圖符號，更便利于用戶去探索 和分析視頻內(nèi)容，如圖8所示VideoMap提供一些草圖手勢來讓用戶進行交互操作。本發(fā)明采 用筆手勢對視頻地圖的進行編輯，如對地圖進行放大縮小，選擇目標(biāo)點等。筆手勢是指由數(shù) 字筆的筆劃作為控制命令，與視頻地圖進行交互。不同的筆手勢對應(yīng)不同的交互含義。筆手 勢的識別可以采用常用的Rub ine手勢識別算法（參考文獻：Rub ine D. Specifying gestures by example.ACM SIGGRAPH Computer Graphics,1991,25(4),329-337·)〇
[0101] VideoMap支持自由地在地圖上進行編輯和注釋，這樣有助于用戶有效的瀏覽視頻 和強調(diào)關(guān)鍵視頻片段。手動的注釋特別有利于幫助用戶創(chuàng)造對視頻內(nèi)容個性化的標(biāo)注。用 戶可以隨時以書寫的方式記錄下自己的分析。通過對視頻內(nèi)容用符號或手繪標(biāo)識進行草圖 注釋，這些草圖注釋可以在以后的回顧和檢索中幫助用戶快速定位視頻內(nèi)容.注釋功能的 實現(xiàn)方式是在地圖上添加畫板工具，在一定時間內(nèi)用戶所繪制的注釋字樣或圖案繪制在一 個圖層，用戶可添加多個圖層，可以各個圖層進行修改等操作。用戶完成組件后并可自定義 添加關(guān)聯(lián)關(guān)系，新添加的關(guān)聯(lián)關(guān)系可以用到尋路功能中。新添加的關(guān)聯(lián)關(guān)系，用戶可選擇不 同的道路進行表示，如公路、鐵路等，道路曲線使用三次貝塞爾曲線來表示。用戶可通過控 制曲線的控制點來調(diào)整曲線的形狀。
[0102] 本發(fā)明中，視頻地圖由一幅完整的疆域地圖構(gòu)成，它又進一步可分解為若干描述 相對完整事件語義的區(qū)域塊。在數(shù)據(jù)預(yù)處理過程中，有人工對視頻內(nèi)容進行初步的劃分歸 類，建立了地圖要素與視頻資源的匹配關(guān)系。用戶也可以通過后期的自定制添加各種關(guān)聯(lián) 的方式更改視頻的結(jié)構(gòu)化成分。如圖2中整個視頻為一個地圖，不同顏色的區(qū)域塊代表不同 類型的場景，場景內(nèi)部標(biāo)有數(shù)字的點代表了事件，它實質(zhì)上代表了其自身語義所描述的一 段視頻或視頻片段。事件周圍散布著參與事件的各個角色點，根據(jù)圖7展示的草圖交互方式 用戶可將這些分散的視頻資源根據(jù)用戶對視頻內(nèi)容的理解按照一定的語義關(guān)系非線性組 織在一起。
[0103] 視頻之間的語義關(guān)系有顯式或隱式的兩種描述方式。隱性的關(guān)聯(lián)關(guān)系如圖3所示 的視頻信息統(tǒng)計分析圖以及圖4所示的尋路功能，通過這兩個功能將視頻內(nèi)容的隱藏關(guān)聯(lián) 關(guān)系可視化呈現(xiàn)給用戶，幫助用戶去發(fā)掘隱藏在視頻內(nèi)容里的隱含關(guān)聯(lián)。顯性的關(guān)聯(lián)關(guān)系 就通過連接各個事件點以及各個角色點之間的各種道路以及事件點與場景的位置關(guān)系來 向用戶展示。此外，用戶可以通過編輯視頻地圖或語義關(guān)