一種基于與或圖的視頻事件處理方法
【專利摘要】本發(fā)明公開了一種基于與或圖的視頻事件處理方法，首先定義需要處理的視頻事件是由單人或多人參與的、具有聯(lián)系的動(dòng)作組合，并定義所述視頻事件中：與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系；基于所定義的與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系來表達(dá)視頻事件；使用自底向上和自頂向下相結(jié)合的推理方法，推理所述視頻事件中的事件發(fā)生過程。該方法能夠根據(jù)視頻事件的推理結(jié)果自動(dòng)生成視頻內(nèi)容的解說文本，一方面在視頻轉(zhuǎn)播領(lǐng)域能夠幫助視頻編輯員或解說員減輕工作強(qiáng)度，另一方面為視頻檢索相關(guān)應(yīng)用提供了一種較好的視頻內(nèi)容理解方法。
【專利說明】一種基于與或圖的視頻事件處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理【技術(shù)領(lǐng)域】，尤其涉及一種基于與或圖的視頻事件處理方法?！颈尘凹夹g(shù)】
[0002]目前，理解和分析視頻中的人類運(yùn)動(dòng)是近年來一個(gè)非常熱門的研究領(lǐng)域，諸如視頻監(jiān)控、視頻轉(zhuǎn)播、基于內(nèi)容的視頻索引和檢索等應(yīng)用及其依賴于視頻事件的識(shí)別和解析工作。為了完成這項(xiàng)工作，一些關(guān)鍵技術(shù)都已取得了良好的研究成果，包括物體跟蹤、人類動(dòng)作識(shí)別、人類行為分類等，這些關(guān)鍵技術(shù)的成果是進(jìn)行視頻事件理解的前提。由于人的思想更傾向于了解視頻中的人們正在做什么事情，給出視頻事件的故事線比僅僅給出幾個(gè)詞更能吸引人們的關(guān)注。尤其在電視轉(zhuǎn)播應(yīng)用領(lǐng)域，例如FIFA世界杯轉(zhuǎn)播，與單個(gè)人的射門動(dòng)作相比，人們更愿意了解比賽中重要事件的發(fā)生過程，而最重要的一類事件就是射門事件。
[0003]現(xiàn)有技術(shù)在視頻事件理解方向上已有相當(dāng)豐富的研究，尤其在團(tuán)體行為理解、動(dòng)作事件分析以及視頻事件表達(dá)等方面的研究，在團(tuán)體行為理解方面，現(xiàn)有技術(shù)中提出用于識(shí)別不同類型高層團(tuán)體行為的統(tǒng)計(jì)方法，采用一種概率模型描述團(tuán)體成員的個(gè)體行為如何組織成團(tuán)體行為，該方法能夠識(shí)別諸如“一群小偷從另一組人那里偷了一個(gè)東西”或者“一群人襲擊一個(gè)人”等團(tuán)體行為；另一種方法提出了一個(gè)利用場(chǎng)景信息表達(dá)和識(shí)別組合視頻事件，基于簡(jiǎn)單事件及其它們之間的時(shí)間邏輯關(guān)系，約束簡(jiǎn)單事件在組合事件中的位置。然而，現(xiàn)有技術(shù)中的方案對(duì)于拍攝距離較遠(yuǎn)、多人多動(dòng)作組合的視頻事件，無法根據(jù)一些明顯的動(dòng)作或物體識(shí)別來判斷事件的發(fā)生。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于與或圖的視頻事件處理方法，該方法能夠根據(jù)視頻事件的推理結(jié)果自動(dòng)生成視頻內(nèi)容的解說文本，一方面在視頻轉(zhuǎn)播領(lǐng)域能夠幫助視頻編輯員或解說員減輕工作強(qiáng)度，另一方面為視頻檢索相關(guān)應(yīng)用提供了一種較好的視頻內(nèi)容理解方法。
[0005]一種基于與或圖的視頻事件處理方法，所述處理方法包括:
[0006]定義需要處理的視頻事件是由單人或多人參與的、具有聯(lián)系的動(dòng)作組合，并定義所述視頻事件中:與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系；
[0007]基于所定義的與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系來表達(dá)視頻事件；
[0008]使用自底向上和自頂向下相結(jié)合的推理方法，推理所述視頻事件中的事件發(fā)生過程。
[0009]所述節(jié)點(diǎn)之間的關(guān)系，具體包括:
[0010]所述視頻事件的與或圖中上下層節(jié)點(diǎn)之間的與或關(guān)系；
[0011]所述視頻事件的與或圖中同層節(jié)點(diǎn)之間的時(shí)間關(guān)系；[0012]所述視頻事件的與或圖中同層節(jié)點(diǎn)之間的角色關(guān)系。
[0013]所述與或圖的節(jié)點(diǎn)類型包括非終結(jié)節(jié)點(diǎn)和終結(jié)節(jié)點(diǎn)，且非終結(jié)節(jié)點(diǎn)分為與節(jié)點(diǎn)和或節(jié)點(diǎn)。
[0014]所述節(jié)點(diǎn)分布方式為與節(jié)點(diǎn)層和或節(jié)點(diǎn)層交替分布，具體為:
[0015]與節(jié)點(diǎn)的下一層全部為或節(jié)點(diǎn)，且或節(jié)點(diǎn)的下一層全部為與節(jié)點(diǎn)。
[0016]所述與或圖中上下層節(jié)點(diǎn)之間的與或關(guān)系用實(shí)線表示，并根據(jù)節(jié)點(diǎn)的不同，該關(guān)系分為以下兩種情況:
[0017](A)與關(guān)系:指與節(jié)點(diǎn)與其子節(jié)點(diǎn)之間的關(guān)系，該關(guān)系要求所述與節(jié)點(diǎn)成立的條件是其子節(jié)點(diǎn)全部成立；
[0018](B)或關(guān)系:指或節(jié)點(diǎn)與其子節(jié)點(diǎn)之間的關(guān)系，該關(guān)系要求所述或節(jié)點(diǎn)成立的條件是其子節(jié)點(diǎn)中至少有一個(gè)成立。
[0019]所述與或圖中同層節(jié)點(diǎn)之間的時(shí)間關(guān)系用虛線表示，對(duì)于兩個(gè)時(shí)間段X和y，它們之間的時(shí)間關(guān)系包括以下6種情況:
[0020](A) Before (X, y):x的結(jié)束時(shí)間先于y的開始時(shí)間；
[0021](B) Overlaps (x, y):x的開始時(shí)間先于y的開始時(shí)間，x的結(jié)束時(shí)間后于y的開始時(shí)間且先于y的結(jié)束時(shí)間；
[0022](C)Meets (X, y):x的結(jié)束時(shí)間等于y的開始時(shí)間；
[0023](D) During (x, y):x的開始時(shí)間后于y的開始時(shí)間，x的結(jié)束時(shí)間先于y的結(jié)束時(shí)間；
[0024](E) Starts (X, y):x的開始時(shí)間等于y的開始時(shí)間；
[0025](F) Finishes (x, y):x的結(jié)束時(shí)間等于y的結(jié)束時(shí)間。
[0026]所述與或圖中同層節(jié)點(diǎn)之間的角色關(guān)系用虛線表示，該角色關(guān)系由其拓?fù)浣Y(jié)構(gòu)中的所有終結(jié)節(jié)點(diǎn)的角色關(guān)系組成；
[0027]其中，所述終結(jié)節(jié)點(diǎn)的角色關(guān)系包括相同關(guān)系、隊(duì)友關(guān)系、敵對(duì)關(guān)系和攻守關(guān)系。
[0028]所述推理所述視頻事件中的事件發(fā)生過程，具體包括:
[0029]為所述視頻事件與或圖中的每個(gè)節(jié)點(diǎn)構(gòu)建能量函數(shù)，其中所述能量函數(shù)為以該節(jié)點(diǎn)為根節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)中數(shù)據(jù)分能量、結(jié)構(gòu)分能量、關(guān)系分能量之和；
[0030]輸入動(dòng)作集合，從所述視頻事件與或圖中的終結(jié)節(jié)點(diǎn)開始，自底向上的為每個(gè)節(jié)點(diǎn)推薦候選動(dòng)作集；
[0031]從根節(jié)點(diǎn)的候選動(dòng)作集開始，自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集，并最終找到組成所述視頻事件的最佳動(dòng)作集。
[0032]所述自底向上的為每個(gè)節(jié)點(diǎn)推薦候選動(dòng)作集，具體包括:
[0033]首先對(duì)每一個(gè)終結(jié)節(jié)點(diǎn)，在輸入動(dòng)作集中選擇與該終結(jié)節(jié)點(diǎn)具有相同動(dòng)作標(biāo)簽的動(dòng)作作為其候選動(dòng)作集；
[0034]自底向上從第1層節(jié)點(diǎn)開始，為每一層的每一個(gè)節(jié)點(diǎn)構(gòu)造候選動(dòng)作集，其中:如果是或節(jié)點(diǎn)，則收集它的每個(gè)子節(jié)點(diǎn)的最優(yōu)候選元素作為其候選動(dòng)作集；如果是與節(jié)點(diǎn)，則每次從該與節(jié)點(diǎn)每個(gè)子節(jié)點(diǎn)的候選動(dòng)作集中選擇一個(gè)元素，組合成一個(gè)候選動(dòng)作序列，依次遍歷完所有的子節(jié)點(diǎn)候選動(dòng)作集后，所有的候選動(dòng)作序列組成該與節(jié)點(diǎn)的候選動(dòng)作集；計(jì)算該與節(jié)點(diǎn)的候選動(dòng)作集中每個(gè)元素的能量，將能量值較低的元素舍去；并將具有最大能量值的元素標(biāo)記為該與節(jié)點(diǎn)的最優(yōu)候選元素；
[0035]然后再返回根節(jié)點(diǎn)的候選動(dòng)作集。
[0036]所述自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集，并最終找到組成所述視頻事件的最佳動(dòng)作集，具體包括:
[0037]在自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集過程中，通過衡量每個(gè)候選動(dòng)作序列和輸入動(dòng)作集的相符程度，找到組成所述視頻事件的最佳動(dòng)作集。
[0038]由上述本發(fā)明提供的技術(shù)方案可以看出，該方法能夠根據(jù)視頻事件的推理結(jié)果自動(dòng)生成視頻內(nèi)容的解說文本，一方面在視頻轉(zhuǎn)播領(lǐng)域能夠幫助視頻編輯員或解說員減輕工作強(qiáng)度，另一方面為視頻檢索相關(guān)應(yīng)用提供了一種較好的視頻內(nèi)容理解方法。
【專利附圖】

【附圖說明】
[0039]為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖。
[0040]圖1為本發(fā)明實(shí)施例所述基于與或圖的視頻事件處理方法流程示意圖；
[0041]圖2為本發(fā)明實(shí)施例所舉實(shí)例基于與或圖的視頻事件表達(dá)方式的示意圖；
[0042]圖3為本發(fā)明實(shí)施例所舉實(shí)例終結(jié)節(jié)點(diǎn)動(dòng)作類型示意圖；
[0043]圖4為本發(fā)明實(shí)施例所舉實(shí)例視頻事件與或圖的節(jié)點(diǎn)間關(guān)系示意圖；
[0044]圖5為本發(fā)明實(shí)施例所舉實(shí)例視頻動(dòng)作初始化處理過程的示意圖；
[0045]圖6為本發(fā)明實(shí)施例所舉實(shí)例視頻事件推理過程的流程示意圖；
[0046]圖7為本發(fā)明實(shí)施例所舉實(shí)例視頻事件與或圖節(jié)點(diǎn)的候選集構(gòu)造過程的流程示意圖。
【具體實(shí)施方式】
[0047]下面結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。
[0048]由于人類視覺系統(tǒng)通常會(huì)采用分解的方式來理解事物，事件的來龍去脈可被劃分為開始期、進(jìn)行期和結(jié)束期三個(gè)階段，分別對(duì)應(yīng)之前、期間、之后三個(gè)時(shí)間段。由于每個(gè)時(shí)間段都包含一系列動(dòng)作，可以采用與或圖的方式描述，與或圖是一種類似于樹的圖結(jié)構(gòu)，經(jīng)常用于解決圖像和視頻的理解問題。下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步地詳細(xì)描述，如圖1所示為本發(fā)明實(shí)施例所述基于與或圖的視頻事件處理方法流程示意圖，所述處理方法包括:
[0049]步驟11:定義需要處理的視頻事件是由單人或多人參與的、具有聯(lián)系的動(dòng)作組合；
[0050]步驟12:定義所述視頻事件中:與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系；[0051]在該步驟中，所述與或圖的節(jié)點(diǎn)類型包括非終結(jié)節(jié)點(diǎn)和終結(jié)節(jié)點(diǎn)，且非終結(jié)節(jié)點(diǎn)分為與節(jié)點(diǎn)和或節(jié)點(diǎn)。
[0052]所述節(jié)點(diǎn)分布方式為與節(jié)點(diǎn)層和或節(jié)點(diǎn)層交替分布，具體為:與節(jié)點(diǎn)的下一層全部為或節(jié)點(diǎn)，且或節(jié)點(diǎn)的下一層全部為與節(jié)點(diǎn)。
[0053]所述節(jié)點(diǎn)之間的關(guān)系，具體包括:
[0054]1)所述視頻事件的與或圖中上下層節(jié)點(diǎn)之間的與或關(guān)系；
[0055]具體來說，所述與或圖中上下層節(jié)點(diǎn)之間的與或關(guān)系用實(shí)線表示，并根據(jù)節(jié)點(diǎn)的不同，該關(guān)系分為以下兩種情況:
[0056](A)與關(guān)系:指與節(jié)點(diǎn)與其子節(jié)點(diǎn)之間的關(guān)系，該關(guān)系要求所述與節(jié)點(diǎn)成立的條件是其子節(jié)點(diǎn)全部成立；
[0057](B)或關(guān)系:指或節(jié)點(diǎn)與其子節(jié)點(diǎn)之間的關(guān)系，該關(guān)系要求所述或節(jié)點(diǎn)成立的條件是其子節(jié)點(diǎn)中至少有一個(gè)成立。
[0058]2)所述視頻事件的與或圖中同層節(jié)點(diǎn)之間的時(shí)間關(guān)系；
[0059]具體來說，所述與或圖中同層節(jié)點(diǎn)之間的時(shí)間關(guān)系用虛線表示，對(duì)于兩個(gè)時(shí)間段X和y，它們之間的時(shí)間關(guān)系包括以下6種情況:
[0060](A) Before (X, y):x的結(jié)束時(shí)間先于y的開始時(shí)間；
[0061](B) Overlaps (x, y):x的開始時(shí)間先于y的開始時(shí)間，x的結(jié)束時(shí)間后于y的開始時(shí)間且先于y的結(jié)束時(shí)間；
[0062](C)Meets (X, y):x的結(jié)束時(shí)間等于y的開始時(shí)間；
[0063](D) During (x, y):x的開始時(shí)間后于y的開始時(shí)間，x的結(jié)束時(shí)間先于y的結(jié)束時(shí)間；
[0064](E) Starts (X, y):x的開始時(shí)間等于y的開始時(shí)間；
[0065](F) Finishes (x, y):x的結(jié)束時(shí)間等于y的結(jié)束時(shí)間。
[0066]3)所述視頻事件的與或圖中同層節(jié)點(diǎn)之間的角色關(guān)系。
[0067]這里，所述與或圖中同層節(jié)點(diǎn)之間的角色關(guān)系用虛線表示，該角色關(guān)系由其拓?fù)浣Y(jié)構(gòu)中的所有終結(jié)節(jié)點(diǎn)的角色關(guān)系組成；其中，所述終結(jié)節(jié)點(diǎn)的角色關(guān)系包括相同關(guān)系、隊(duì)友關(guān)系、敵對(duì)關(guān)系和攻守關(guān)系。
[0068]步驟13:基于所定義的與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系來表達(dá)視頻事件。
[0069]具體來說，定義與或圖的葉節(jié)點(diǎn)為視頻事件中的原子事件(動(dòng)作)，與節(jié)點(diǎn)為由單個(gè)或者多個(gè)子節(jié)點(diǎn)所表示視頻事件的組合事件，而或節(jié)點(diǎn)為其子節(jié)點(diǎn)所表示視頻事件之一，通過節(jié)點(diǎn)的不同組合分布方式表示視頻事件發(fā)生的結(jié)構(gòu)，從而表達(dá)相應(yīng)的視頻事件。
[0070]其中，節(jié)點(diǎn)之間具有時(shí)序約束關(guān)系和角色約束關(guān)系，時(shí)序約束關(guān)系描述視頻事件的不同組成部分之間的時(shí)間發(fā)生次序，角色約束關(guān)系描述各個(gè)原子事件的執(zhí)行者是否相同。
[0071]步驟14:使用自底向上和自頂向下相結(jié)合的推理方法，推理所述視頻事件中的事件發(fā)生過程。
[0072]在該步驟中，推理所述視頻事件中的事件發(fā)生過程的具體步驟為:
[0073]1)首先為所述視頻事件與或圖中的每個(gè)節(jié)點(diǎn)構(gòu)建能量函數(shù)，其中所述能量函數(shù)為以該節(jié)點(diǎn)為根節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)中數(shù)據(jù)分能量、結(jié)構(gòu)分能量、關(guān)系分能量之和；
[0074]2)然后輸入動(dòng)作集合，從所述視頻事件與或圖中的終結(jié)節(jié)點(diǎn)開始，自底向上的為每個(gè)節(jié)點(diǎn)推薦候選動(dòng)作集，具體過程包括:
[0075]首先對(duì)每一個(gè)終結(jié)節(jié)點(diǎn)，在輸入動(dòng)作集中選擇與該終結(jié)節(jié)點(diǎn)具有相同動(dòng)作標(biāo)簽的動(dòng)作作為其候選動(dòng)作集；
[0076]然后，自底向上從第1層節(jié)點(diǎn)開始，為每一層的每一個(gè)節(jié)點(diǎn)構(gòu)造候選動(dòng)作集，其中:如果是或節(jié)點(diǎn)，則收集它的每個(gè)子節(jié)點(diǎn)的最優(yōu)候選元素作為其候選動(dòng)作集；如果是與節(jié)點(diǎn)，則①每次從該與節(jié)點(diǎn)每個(gè)子節(jié)點(diǎn)的候選動(dòng)作集中選擇一個(gè)元素，組合成一個(gè)候選動(dòng)作序列，依次遍歷完所有的子節(jié)點(diǎn)候選動(dòng)作集后，所有的候選動(dòng)作序列組成該與節(jié)點(diǎn)的候選動(dòng)作集；②計(jì)算該與節(jié)點(diǎn)的候選動(dòng)作集中每個(gè)元素的能量，將能量值較低的元素舍去；③將具有最大能量值的元素標(biāo)記為該與節(jié)點(diǎn)的最優(yōu)候選元素；
[0077]再返回根節(jié)點(diǎn)的候選動(dòng)作集。
[0078]3)再從根節(jié)點(diǎn)的候選動(dòng)作集開始，自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集，并最終找到組成所述視頻事件的最佳動(dòng)作集，具體過程包括:
[0079]在自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集過程中，通過衡量每個(gè)候選動(dòng)作序列和輸入動(dòng)作集的相符程度，即輸入動(dòng)作的可信度和時(shí)間錯(cuò)位懲罰，最終找到組成所述視頻事件的最佳動(dòng)作集。
[0080]然后就可以基于該視頻事件的最佳動(dòng)作集，也就是該視頻事件的推理結(jié)果自動(dòng)生成視頻內(nèi)容的解說文本，這樣一方面在視頻轉(zhuǎn)播領(lǐng)域能夠幫助視頻編輯員或解說員減輕工作強(qiáng)度，另一方面為視頻檢索相關(guān)應(yīng)用提供了一種較好的視頻內(nèi)容理解方法。
[0081]下面以具體的實(shí)例對(duì)上述本發(fā)明所述方法進(jìn)行詳細(xì)說明，在本實(shí)例中所表達(dá)的視頻事件為多個(gè)動(dòng)作的組合，其中，單個(gè)動(dòng)作為由單人完成，不同的動(dòng)作可以由同一個(gè)人完成，也可以由不同人完成。不存在多個(gè)人共同完成一個(gè)動(dòng)作的情況，視頻事件與或圖由公式
[0082]G={S, VN, VT, R, P}
[0083]表示。其中，S是根節(jié)點(diǎn)，表示具有同樣性質(zhì)的一類事件。
[0084]本實(shí)例以足球比賽視頻中的射門事件為例，由于射門事件是由多名運(yùn)動(dòng)員共同參與的、多個(gè)動(dòng)作組成的復(fù)雜事件，本實(shí)例為該事件類型構(gòu)建與或圖，描述該事件類型的所有可能情況。與或圖的終結(jié)節(jié)點(diǎn)表示不同角色的運(yùn)動(dòng)員做出的各種動(dòng)作，與或圖的與節(jié)點(diǎn)和或節(jié)點(diǎn)有層次地交叉分布，表達(dá)了該事件的層次組合關(guān)系；同一層的與節(jié)點(diǎn)，其子節(jié)點(diǎn)之間存在關(guān)聯(lián)關(guān)系，本實(shí)例同時(shí)考慮了時(shí)間關(guān)系和角色關(guān)系。
[0085]在該實(shí)例中:足球比賽中的普通射門、任意球射門和罰球都屬于射門事件。vN={vand u vor}是非終結(jié)節(jié)點(diǎn)集合，由與節(jié)點(diǎn)集合和或節(jié)點(diǎn)集合組成。與節(jié)點(diǎn)表示能夠被分解成子事件或原子動(dòng)作的事件或子事件，與節(jié)點(diǎn)發(fā)生表明所有子事件或原子動(dòng)作的發(fā)生。或節(jié)點(diǎn)表示事件或子事件的不同情況，或節(jié)點(diǎn)發(fā)生表明其切換到某種情況。Ψ是終結(jié)節(jié)點(diǎn)集合，表示原子動(dòng)作。R是關(guān)系集合，同時(shí)考慮了時(shí)間關(guān)系和角色關(guān)系。P是定義在圖上的概率模型。
[0086]圖2為本發(fā)明實(shí)施例所舉實(shí)例基于與或圖的視頻事件表達(dá)方式的示意圖，參閱圖2:與節(jié)點(diǎn)、或節(jié)點(diǎn)和終結(jié)節(jié)點(diǎn)分別用正方形、圓形和三角形表示，該圖結(jié)構(gòu)由人工定義，而節(jié)點(diǎn)和關(guān)系參數(shù)從訓(xùn)練數(shù)據(jù)中學(xué)出。圖2中非終結(jié)節(jié)點(diǎn)集合VN由與節(jié)點(diǎn)集合和或節(jié)點(diǎn)集合組成。其中每個(gè)與節(jié)點(diǎn)Va e Vand表示一種射門的子事件，每個(gè)或節(jié)點(diǎn)v° e ￥^用先驗(yàn)分布Zvo表示選擇某個(gè)子節(jié)點(diǎn)的概率。根節(jié)點(diǎn)S e Vand表示足球比賽中發(fā)生的所有類型射門事件，它的3個(gè)子節(jié)點(diǎn){A，02，03}分別表示射門事件的開始、進(jìn)行和結(jié)束過程。
[0087]圖3為本發(fā)明實(shí)施例所舉實(shí)例終結(jié)節(jié)點(diǎn)動(dòng)作類型示意圖，參閱圖3:終結(jié)節(jié)點(diǎn)(葉節(jié)點(diǎn))集合VT表示足球比賽中由運(yùn)動(dòng)員進(jìn)行的各種動(dòng)作，每個(gè)動(dòng)作用一個(gè)連續(xù)時(shí)間段的一名運(yùn)動(dòng)員的運(yùn)動(dòng)序列表示。動(dòng)作與運(yùn)動(dòng)員、時(shí)間的關(guān)系為:同一個(gè)時(shí)間段內(nèi)同時(shí)發(fā)生多個(gè)動(dòng)作，而同一個(gè)運(yùn)動(dòng)員連續(xù)執(zhí)行多個(gè)動(dòng)作。根據(jù)動(dòng)作的角色和語義共有12種原子動(dòng)作，其中，A1、A2、D1和K分別代表不同的角色，A1和A2是同隊(duì)隊(duì)員，D1是他隊(duì)隊(duì)員，K是守門員。人物動(dòng)作的語義類別標(biāo)簽共有6種,分別是run、kick、head、pick、stand和rush。因此，視頻
中的人物動(dòng)作31可使用狀態(tài)參數(shù)^?/) = _^;.，；^.，￡^表不。和；lfl1.分別是動(dòng)作的語
義類別標(biāo)簽和相對(duì)于該語義類別標(biāo)簽的動(dòng)作相似度是動(dòng)作執(zhí)行者的角色，分為team A,team D 和 the keeper。
[0088]另外，不管是終結(jié)節(jié)點(diǎn)還是非終結(jié)節(jié)點(diǎn)，對(duì)于每個(gè)節(jié)點(diǎn)V，定義時(shí)間間隔Tv=(tv，Ιν)/，其中tv是時(shí)間開始錨點(diǎn)，Iv是時(shí)間持續(xù)長(zhǎng)度，并定義其最佳時(shí)間間隔h ( τ v) = (h (tv)，h(Iv)V。
[0089]圖4為本發(fā)明實(shí)施例所舉實(shí)例視頻事件與或圖的節(jié)點(diǎn)間關(guān)系示意圖，參閱圖4:關(guān)系R=(l，X)僅存在于同層的兩個(gè)節(jié)點(diǎn)之間，其中ξ和X分別代表時(shí)間關(guān)系和角色關(guān)系。本實(shí)例共定義6種二維時(shí)間關(guān)系，分別是before、overlap、meets、during、starts和finishes。對(duì)于任意兩個(gè)節(jié)點(diǎn)Vi和v」,它們的時(shí)間關(guān)系ξ (vi； Vj)是一個(gè)六維向量，即
【權(quán)利要求】
1.一種基于與或圖的視頻事件處理方法，其特征在于，所述處理方法包括:定義需要處理的視頻事件是由單人或多人參與的、具有聯(lián)系的動(dòng)作組合，并定義所述視頻事件中:與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系；基于所定義的與或圖的節(jié)點(diǎn)類型、節(jié)點(diǎn)分布方式以及節(jié)點(diǎn)之間的關(guān)系來表達(dá)視頻事件；使用自底向上和自頂向下相結(jié)合的推理方法，推理所述視頻事件中的事件發(fā)生過程。
2.根據(jù)權(quán)利要求1所述基于與或圖的視頻事件處理方法，其特征在于，所述節(jié)點(diǎn)之間的關(guān)系，具體包括:所述視頻事件的與或圖中上下層節(jié)點(diǎn)之間的與或關(guān)系；所述視頻事件的與或圖中同層節(jié)點(diǎn)之間的時(shí)間關(guān)系；所述視頻事件的與或圖中同層節(jié)點(diǎn)之間的角色關(guān)系。
3.根據(jù)權(quán)利要求1所述基于與或圖的視頻事件處理方法，其特征在于，所述與或圖的節(jié)點(diǎn)類型包括非終結(jié)節(jié)點(diǎn)和終結(jié)節(jié)點(diǎn)，且非終結(jié)節(jié)點(diǎn)分為與節(jié)點(diǎn)和或節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求1所述基于與或圖的視頻事件處理方法，其特征在于，所述節(jié)點(diǎn)分布方式為與節(jié)點(diǎn)層和或節(jié)點(diǎn)層交替分布，具體為:與節(jié)點(diǎn)的下一層全部為或節(jié)點(diǎn)，且或節(jié)點(diǎn)的下一層全部為與節(jié)點(diǎn)。
5.根據(jù)權(quán)利要求2所述基于與或圖的視頻事件處理方法，其特征在于，所述與或圖中上下層節(jié)點(diǎn)之間的與或關(guān)系用實(shí)線表示，并根據(jù)節(jié)點(diǎn)的不同，該關(guān)系分為以下兩種情況:(A)與關(guān)系:指與節(jié)點(diǎn)與其子節(jié)點(diǎn)之間的關(guān)系，該關(guān)系要求所述與節(jié)點(diǎn)成立的條件是其子節(jié)點(diǎn)全部成立；(B)或關(guān)系:指或節(jié)點(diǎn)與其子節(jié)點(diǎn)之間的關(guān)系，該關(guān)系要求所述或節(jié)點(diǎn)成立的條件是其子節(jié)點(diǎn)中至少有一個(gè)成立。
6.根據(jù)權(quán)利要求2所述基于與或圖的視頻事件處理方法，其特征在于，所述與或圖中同層節(jié)點(diǎn)之間的時(shí)間關(guān)系用虛線表示，對(duì)于兩個(gè)時(shí)間段X和y，它們之間的時(shí)間關(guān)系包括以下6種情況:(A)Before (X, y):x的結(jié)束時(shí)間先于y的開始時(shí)間；(B)Overlaps (x, y):x的開始時(shí)間先于y的開始時(shí)間，x的結(jié)束時(shí)間后于y的開始時(shí)間且先于y的結(jié)束時(shí)間；(C)Meets(X, y):x的結(jié)束時(shí)間等于y的開始時(shí)間；(D)During(x,y):x的開始時(shí)間后于y的開始時(shí)間，x的結(jié)束時(shí)間先于y的結(jié)束時(shí)間；(E)Starts (X, y):x的開始時(shí)間等于y的開始時(shí)間；(F)Finishes (X, y):x的結(jié)束時(shí)間等于y的結(jié)束時(shí)間。
7.根據(jù)權(quán)利要求3所述基于與或圖的視頻事件處理方法，其特征在于，所述與或圖中同層節(jié)點(diǎn)之間的角色關(guān)系用虛線表示，該角色關(guān)系由其拓?fù)浣Y(jié)構(gòu)中的所有終結(jié)節(jié)點(diǎn)的角色關(guān)系組成；其中，所述終結(jié)節(jié)點(diǎn)的角色關(guān)系包括相同關(guān)系、隊(duì)友關(guān)系、敵對(duì)關(guān)系和攻守關(guān)系。
8.根據(jù)權(quán)利要求1所述基于與或圖的視頻事件處理方法，其特征在于，所述推理所述視頻事件中的事件發(fā)生過程，具體包括:為所述視頻事件與或圖中的每個(gè)節(jié)點(diǎn)構(gòu)建能量函數(shù)，其中所述能量函數(shù)為以該節(jié)點(diǎn)為根節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)中數(shù)據(jù)分能量、結(jié)構(gòu)分能量、關(guān)系分能量之和；輸入動(dòng)作集合，從所述視頻事件與或圖中的終結(jié)節(jié)點(diǎn)開始，自底向上的為每個(gè)節(jié)點(diǎn)推薦候選動(dòng)作集；從根節(jié)點(diǎn)的候選動(dòng)作集開始，自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集，并最終找到組成所述視頻事件的最佳動(dòng)作集。
9.根據(jù)權(quán)利要求8所述基于與或圖的視頻事件處理方法，其特征在于，所述自底向上的為每個(gè)節(jié)點(diǎn)推薦候選動(dòng)作集，具體包括:首先對(duì)每一個(gè)終結(jié)節(jié)點(diǎn)，在輸入動(dòng)作集中選擇與該終結(jié)節(jié)點(diǎn)具有相同動(dòng)作標(biāo)簽的動(dòng)作作為其候選動(dòng)作集；自底向上從第1層節(jié)點(diǎn)開始，為每一層的每一個(gè)節(jié)點(diǎn)構(gòu)造候選動(dòng)作集，其中:如果是或節(jié)點(diǎn)，則收集它的每個(gè)子節(jié)點(diǎn)的最優(yōu)候選元素作為其候選動(dòng)作集；如果是與節(jié)點(diǎn)，則每次從該與節(jié)點(diǎn)每個(gè)子節(jié)點(diǎn)的候選動(dòng)作集中選擇一個(gè)元素，組合成一個(gè)候選動(dòng)作序列，依次遍歷完所有的子節(jié)點(diǎn)候選動(dòng)作集后，所有的候選動(dòng)作序列組成該與節(jié)點(diǎn)的候選動(dòng)作集；計(jì)算該與節(jié)點(diǎn)的候選動(dòng)作集中每個(gè)元素的能量，將能量值較低的元素舍去；并將具有最大能量值的元素標(biāo)記為該與節(jié)點(diǎn)的最優(yōu)候選元素；然后再返回根節(jié)點(diǎn)的候選動(dòng)作集。
10. 根據(jù)權(quán)利要求8所述基于與或圖的視頻事件處理方法，其特征在于，所述自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集，并最終找到組成所述視頻事件的最佳動(dòng)作集，具體包括:在自頂向下的修正所述根節(jié)點(diǎn)的候選動(dòng)作集過程中，通過衡量每個(gè)候選動(dòng)作序列和輸入動(dòng)作集的相符程度，找到組成所述視頻事件的最佳動(dòng)作集。
【文檔編號(hào)】G06F9/45GK103677950SQ201310631767
【公開日】2014年3月26日 申請(qǐng)日期:2013年11月29日 優(yōu)先權(quán)日:2013年11月29日
【發(fā)明者】陳小武, 趙沁平, 蔣愷, 張宇 申請(qǐng)人:北京航空航天大學(xué)