系映射圖的節(jié)點(diǎn)或連接線，改變視 頻原有的結(jié)構(gòu)和組成方式，實(shí)現(xiàn)視頻的自定制編輯。在瀏覽視頻地圖時(shí)用戶在地圖的導(dǎo)航 下根據(jù)個(gè)人的興趣有選擇性地瀏覽視頻各部分內(nèi)容。我們提供多種不同的交互方式以滿足 不同的交互需求，為用戶提供多視角的視頻內(nèi)容的全局性導(dǎo)航，用戶通過視頻地圖可以快 速的獲得各視頻資源的主要內(nèi)容及其之間的關(guān)系，選擇不同的事件點(diǎn)可以定位到對(duì)應(yīng)的視 頻片段。用戶還可以添加注釋草圖，視頻瀏覽過程中及時(shí)的記錄下用戶的感受與想法，有助 于用戶下一次對(duì)視頻內(nèi)容的回顧和檢索。
[0104] 以上對(duì)本發(fā)明所述的生成視頻地圖以及使用的方法進(jìn)行了詳細(xì)的說明，但顯然本 發(fā)明的具體實(shí)現(xiàn)形式并不局限于此。本領(lǐng)域的普通技術(shù)人員可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行 修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書所 述為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種基于地圖隱喻的視頻內(nèi)容可視分析方法，其步驟為： 1) 對(duì)原視頻內(nèi)容進(jìn)行結(jié)構(gòu)化處理，得到視頻結(jié)構(gòu)數(shù)據(jù)； 2) 將視頻結(jié)構(gòu)數(shù)據(jù)經(jīng)過布局算法處理，得出視頻地圖的基本布局； 3) 按照地圖隱喻系統(tǒng)的映射規(guī)則，將視頻內(nèi)容映射到視頻地圖上； 4) 通過與視頻地圖進(jìn)行交互，實(shí)現(xiàn)對(duì)視頻內(nèi)容的可視化操作與分析。2. 如權(quán)利要求1所述的方法，其特征在于，步驟1)所述結(jié)構(gòu)化處理是將視頻內(nèi)容分解， 按如下格式進(jìn)行組織:〈Video〉： ： =〈Title>〈DescribeXTime〉{〈Scene〉};整個(gè)視頻由電影 名稱〈Title〉，劇情簡(jiǎn)介〈Describe〉，時(shí)長(zhǎng)〈Time〉，以及多個(gè)場(chǎng)景{〈Scene〉}組成，其中場(chǎng)景 Scene為視頻內(nèi)常出現(xiàn)的地點(diǎn)，視頻的主要事件發(fā)生在這些地點(diǎn)，場(chǎng)景Scene包含有各種事 件Event，事件Event包含多個(gè)參與的角色Characters。3. 如權(quán)利要求2所述的方法，其特征在于，所述場(chǎng)景的結(jié)構(gòu)組成是：〈Scene〉：：= "Scene_id" {〈Event〉}，[Scene_Type]，場(chǎng)景包含場(chǎng)景編號(hào)Scene_id，在該場(chǎng)景內(nèi)發(fā)生的事 件〈Event〉，以及該場(chǎng)景的類型[Scene_Type];所述事件的結(jié)構(gòu)組成是：〈Event〉：：=" Event_id" [〈Association>]〈Video_clips〉{〈Character〉}，事件為在特定場(chǎng)景發(fā)生的具有 一定連續(xù)性，對(duì)電影情節(jié)具有推動(dòng)作用的一系列視頻片段，事件內(nèi)包含參與事件的各個(gè)關(guān) 鍵人員{〈Character〉}，事件編號(hào)Event_id，相對(duì)應(yīng)的一段視頻內(nèi)容<Video_clips>，以及事 件間的關(guān)聯(lián)關(guān)系〈Association〉。4. 如權(quán)利要求3所述的方法，其特征在于，所述場(chǎng)景的類型的確定方法是： 1) 通過定義的事件獲取對(duì)應(yīng)的視頻片段，針對(duì)每一個(gè)事件隨機(jī)的提取一定數(shù)量視頻 幀，并將這些視頻幀匯集成一個(gè)視頻幀集合； 2)使用圖像幀的RGB像素矩陣作為特征值，使用K-means聚類方法將視頻幀集合進(jìn)行分 類處理； 3) 根據(jù)步驟2)的分類結(jié)果，將場(chǎng)景定義為其包含的最多的視頻幀所屬的類別，并按照 經(jīng)驗(yàn)規(guī)則為場(chǎng)景類型進(jìn)行定性，并按照不同類型分配不同的顏色。5. 如權(quán)利要求3所述的方法，其特征在于，所述關(guān)聯(lián)關(guān)系定義為〈Association〉：=〈 Association_type>, { "Association_id" }，"weight"，關(guān)聯(lián)關(guān)系包括關(guān)聯(lián)類型〈 八880(^1：；[〇11_17?6>，與關(guān)聯(lián)主體相關(guān)聯(lián)的一系列關(guān)聯(lián)對(duì)象編號(hào)"4880(^31：；[〇11」(1"，以及該 關(guān)聯(lián)的強(qiáng)度 "weight" ；所述關(guān)聯(lián)類型為〈Association_type> : = "Time_Association" "Spatial_Association"I"Customized_Association"，包括事件發(fā)生順序的時(shí)間關(guān)聯(lián) "Time_Association"，以及表示事件是否發(fā)生在同一場(chǎng)景的空間關(guān)聯(lián)"Spatial_ Association"。6. 如權(quán)利要求1所述的方法，其特征在于所述視頻結(jié)構(gòu)化為： <Video>: : =<TitleXDescribeXTime>{<Scene>}； 〈Scene>:: = "Scene_icT {〈Event>}，[Scene_Type]; 〈Event〉：：= "Event_id"[〈Association>]〈Video_clips>{〈Character>; 〈Association〉：=〈Association_type>{，"Association_id"};"weight" 〈Association_type>:="Temporal_Association"I "Spatial_Association" "Customized_Association"； <Video_clips>: =<VideoXSTimeXETime>； 其中，視頻Video由標(biāo)題Title、劇情簡(jiǎn)介Describle、時(shí)長(zhǎng)Time以及多個(gè)場(chǎng)景Scene構(gòu) 成；場(chǎng)景Scene由場(chǎng)景編號(hào)Scene_id、場(chǎng)景類型Scene_Type以及多個(gè)事件Event構(gòu)成；事件 Event由事件編號(hào)Event_id、對(duì)應(yīng)的視頻片段Video_clips、參與事件的角色Character以及 涉及到的關(guān)聯(lián)關(guān)系A(chǔ)ssociation構(gòu)成；關(guān)聯(lián)關(guān)系A(chǔ)ssociation由關(guān)聯(lián)類型Association_ Type、關(guān)聯(lián)對(duì)象編號(hào)Association_id以及關(guān)聯(lián)權(quán)重weight組成，其中關(guān)聯(lián)類型 Association_Type包括時(shí)間關(guān)系Temporal_Association、空間關(guān)系Spatial_Association 以及用戶自定義的關(guān)系Customized_Association〇7. 如權(quán)利要求1的方法，其特征在于，步驟3)所述映射規(guī)則為：用地圖上的區(qū)域面元素 代表視頻內(nèi)的場(chǎng)景，用地圖上的城市點(diǎn)、地標(biāo)點(diǎn)來(lái)代表視頻內(nèi)的人物和發(fā)生的事件，用地圖 上的各種道路元素連接各種點(diǎn)元素來(lái)表示視頻內(nèi)人物與事件之間的各種時(shí)空關(guān)聯(lián)關(guān)系;建 立地圖元素與目標(biāo)視頻的映射的方法為： 1) 首先隨機(jī)分配給各個(gè)事件一個(gè)地圖初始坐標(biāo)位置，然后根據(jù)布局算法確定各個(gè)事件 的相對(duì)位置及在視頻地圖上的位置； 2) 采用基于voronoidiagram的方法圍繞事件點(diǎn)隨機(jī)生成包圍塊，用以表示事件之間 的空間關(guān)系，將多個(gè)包圍塊拼合成地圖的總體輪廓，并根據(jù)場(chǎng)景類型分配顏色； 3) 將事件點(diǎn)之間的時(shí)間關(guān)系用道路元素連接，同時(shí)將事件包含的角色點(diǎn)均勻散布在事 件點(diǎn)周圍，以表示角色與事件的參與關(guān)聯(lián)，并用道路線貫穿各個(gè)角色點(diǎn)； 4) 在視頻地圖上加入統(tǒng)計(jì)功能、尋路功能以及草圖交互界面。8. 如權(quán)利要求7所述的方法，其特征在于，通過基于遺傳算法的布局算法得出事件在地 圖中的布局信息，包括如下步驟： 1) 根據(jù)需要確定滿足條件的目標(biāo)函數(shù)； 2) 初始化一個(gè)染色體種群，染色體為目標(biāo)函數(shù)的一個(gè)可行解，使用實(shí)數(shù)編碼； 3) 確定遺傳算子、編譯算子，以及選擇策略、變異方式和終止規(guī)則； 4) 經(jīng)過多次遺傳算法的迭代后，獲得滿足目標(biāo)函數(shù)的最優(yōu)解也就是各個(gè)事件點(diǎn)的最終 布局結(jié)果。9. 如權(quán)利要求7所述的方法，其特征在于，所述統(tǒng)計(jì)功能實(shí)現(xiàn)方法為： 1) 在\^(16〇1&^1上選擇多個(gè)事件點(diǎn)，包括事件61，6」，61{，：[〈」〈1^; 2) 按照事件發(fā)展順序，在視頻地圖上選取從&開始經(jīng)過^最終到達(dá)％的路徑，將這條路 徑與ei，ej，ek直接相連的事件點(diǎn)一起顯示在統(tǒng)計(jì)視圖左下方，并將與選中事件點(diǎn)均相連的 事件點(diǎn)加重顯示，用來(lái)表示事件之間的關(guān)聯(lián)統(tǒng)計(jì)； 3) 參與事件ei的角色*^={(^,(32,……，~}，參與事件6」的角色為6={(31，(3 2,……， cn}，參與事件改的角色為Ck= {C1，c2，……，c。}，用餅狀圖來(lái)表示各個(gè)事件，并將各個(gè)事件的 參與人員的交集少ηnck，cjη(^和6ncjnck放在事件餅狀圖的重疊處顯示，用來(lái)表 示事件角色之間的關(guān)聯(lián)統(tǒng)計(jì)； 4) 將各個(gè)事件的關(guān)鍵幀放置在縱坐標(biāo)為場(chǎng)景類型，橫坐標(biāo)為時(shí)間的二維坐標(biāo)系中，并 將各個(gè)關(guān)鍵幀按照事件發(fā)展順序用線連接起來(lái);將被選擇的事件關(guān)鍵幀激活顯示，其余事 件關(guān)鍵幀半透明顯示，給用戶提供多視角來(lái)觀看事件發(fā)展。 ?ο.如權(quán)利要求7所述的方法，其特征在于，所述尋路功能的實(shí)現(xiàn)方法為： 1)從視頻在VideoMap上選擇兩個(gè)角色點(diǎn)，分別為事件ei的Cm, (ei，Cm)和事件ej的cn, (ej, Cn)，i〈j; 2) 按照順序查找ei和ej之間的所有至少包含角色cm和角色cn之一的事件61<，1〈1^〈」，選取 同時(shí)包含^和^的事件作為關(guān)鍵事件點(diǎn)^，則每一條可行路徑就以一個(gè)關(guān)鍵事件點(diǎn)做轉(zhuǎn)折， 路徑表示為(ei，e1+1……es……幻），路徑前半段由cm的情節(jié)線組成，然后經(jīng)由關(guān)鍵事件點(diǎn)es 發(fā)生交互，最后路徑后半段由Cn的情節(jié)線組成； 3) 將多條可行路徑用加粗顏色的道路顯示，根據(jù)用戶的要求進(jìn)行顯示。
【專利摘要】本發(fā)明涉及一種基于地圖隱喻的視頻內(nèi)容可視分析方法，屬于計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域。該方法首先根據(jù)原視頻內(nèi)容，進(jìn)行結(jié)構(gòu)化處理，處理成相應(yīng)結(jié)構(gòu)的數(shù)據(jù)，建立地圖與目標(biāo)視頻的語(yǔ)義關(guān)聯(lián)關(guān)系；然后將處理的數(shù)據(jù)經(jīng)過布局算法處理，得出可視化系統(tǒng)的基本布局,然后將數(shù)據(jù)按照地圖隱喻系統(tǒng)的映射規(guī)則，將視頻內(nèi)容和內(nèi)容關(guān)聯(lián)映射到視頻地圖上生成視頻地圖可視化系統(tǒng)；然后實(shí)現(xiàn)草圖交互界面以及統(tǒng)計(jì)分析和查詢路徑等其他相關(guān)功能。與現(xiàn)有技術(shù)相比，本發(fā)明所構(gòu)建的視頻地圖符合人的認(rèn)知習(xí)慣，基于地圖表達(dá)的優(yōu)勢(shì)，能夠很好的表現(xiàn)視頻間的復(fù)雜語(yǔ)義關(guān)系，同時(shí)打破了傳統(tǒng)的單一線性被動(dòng)瀏覽方式，幫助用戶更好的瀏覽視頻。
【IPC分類】G06F17/30
【公開號(hào)】CN105468666
【申請(qǐng)?zhí)枴緾N201510490046
【發(fā)明人】馬翠霞, 郭洋, 王宏安
【申請(qǐng)人】中國(guó)科學(xué)院軟件研究所
【公開日】2016年4月6日
【申請(qǐng)日】2015年8月11日