專利名稱：一種視頻中語義事件檢測(cè)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻內(nèi)容分析技術(shù)領(lǐng)域，特別是涉及一種視頻中語義事件檢測(cè) 方法及系統(tǒng)。
背景技術(shù)：
伴隨著數(shù)字視頻技術(shù)的發(fā)展，視頻內(nèi)容分析技術(shù)變得越來越重要。視頻中 的語義概念包括物體、場(chǎng)景、事件等各種類型。檢測(cè)需要利用不同模態(tài)的信息， 例如關(guān)鍵幀圖像、音頻等可以用于檢測(cè)出現(xiàn)在視頻中包含的語義概念。利用運(yùn) 動(dòng)信息的最基本工作就是在視頻中提取運(yùn)動(dòng)特征，包括攝像機(jī)運(yùn)動(dòng)估計(jì)和視頻 中運(yùn)動(dòng)對(duì)象分割。這對(duì)于視頻中的事件語義概念，例如行走、暴力和游行等都 有很好的檢測(cè)效果。多數(shù)現(xiàn)有的關(guān)于語義事件檢測(cè)的工作都是基于對(duì)視頻關(guān)鍵 幀的圖像特征分析。這意味著提取此類特征需要消耗大量的計(jì)算資源在特征計(jì) 算上。對(duì)于大規(guī)模的視頻數(shù)據(jù)集，我們需要更加有效的方法，例如我們可以直 接使用壓縮域的信息用于運(yùn)動(dòng)分析和語義事件檢測(cè)。
近幾年已經(jīng)有直接使用壓縮域信息的工作，包括直接利用運(yùn)動(dòng)矢量和離散
余弦變換(DCT)系數(shù)，這些工作主要是為了節(jié)省反余弦變換(IDCT)的計(jì)算 以及節(jié)省運(yùn)動(dòng)補(bǔ)償?shù)挠?jì)算。然而，這些方法仍然存在很多問題首先，對(duì)于幀 間編碼的宏塊，其DCT系數(shù)不是根據(jù)真實(shí)的象素值計(jì)算得出，而是根據(jù)當(dāng)前宏 塊與其參考幀宏塊的差值得到的；其次，在視頻碼流中有很多幀內(nèi)編碼的宏塊，
這些宏塊無法提供運(yùn)動(dòng)信息，特別是碼流中的I幀，其整個(gè)幀內(nèi)的宏塊都為幀 內(nèi)編碼；最后也是最重要的，很多宏塊包含有大量的噪聲，MPEG視頻碼流中 的運(yùn)動(dòng)矢量是根據(jù)編碼過程中的快速宏塊匹配算法計(jì)算出來的，其計(jì)算誤差較 大，并且其計(jì)算結(jié)果有可能不能真正反映宏塊的運(yùn)動(dòng)信息，特別是對(duì)于紋理不 是很明顯的區(qū)域。解決好以上問題對(duì)直接使用壓縮域的運(yùn)動(dòng)信息是非常重要 的。
多數(shù)運(yùn)動(dòng)分析方法中采用6參數(shù)的仿射模型或者8參數(shù)的射影模型來估計(jì)攝像機(jī)運(yùn)動(dòng)方式，這些方法運(yùn)算復(fù)雜度較大。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種視頻中語義事件檢測(cè)方法及系統(tǒng)，其能更準(zhǔn) 確、高效地檢測(cè)視頻中的語義事件概念。
為實(shí)現(xiàn)本發(fā)明的目的而提供的一種視頻中語義事件檢測(cè)方法，包括下列步
驟
A. 運(yùn)動(dòng)矢量歸一化及噪聲運(yùn)動(dòng)矢量過濾；
B. 攝像機(jī)運(yùn)動(dòng)估計(jì)；
C. 運(yùn)動(dòng)對(duì)象分割；
D. 語義事件檢測(cè)。 所述步驟A還進(jìn)一步包括步驟 Al.根據(jù)幀類型歸一化運(yùn)動(dòng)矢量；
A2.利用經(jīng)驗(yàn)規(guī)則過濾噪聲運(yùn)動(dòng)矢量。
所述歸一化運(yùn)動(dòng)矢量，是指將運(yùn)動(dòng)矢量除以該運(yùn)動(dòng)矢量所在幀與參考幀之 間的幀距離。
所述步驟Al還進(jìn)一步包括步驟
All.對(duì)于后向預(yù)測(cè)的宏塊，將其取反向作為該宏塊的運(yùn)動(dòng)矢量；
A12.對(duì)于雙向預(yù)測(cè)的宏塊，先將后向預(yù)測(cè)宏塊取反向之后，再與前向預(yù) 測(cè)宏塊取平均，該平均值作為該雙向預(yù)測(cè)的宏塊的運(yùn)動(dòng)矢量；
A13.對(duì)于I幀的宏塊，從以該I幀為參考的相鄰B幀中獲取運(yùn)動(dòng)信息， 估計(jì)I幀宏塊的運(yùn)動(dòng)。
所述步驟A13，將在所在I幀最相鄰的B幀中尋找將I幀中宏塊作為參考 宏塊的B幀宏塊，并將該B幀宏塊運(yùn)動(dòng)矢量取反方向作為I幀宏塊的運(yùn)動(dòng)矢量。
所述步驟A13，多個(gè)B幀宏塊將I幀宏塊作為參考宏塊，則取其中參考區(qū) 域與I幀宏塊重疊最多的B幀宏塊的運(yùn)動(dòng)信息取反方向作為I幀宏塊的運(yùn)動(dòng)矢
所述步驟A13，對(duì)于沒有作為任何B幀參考宏塊的I幀宏塊，將其作為幀 內(nèi)編碼宏塊處理。
所述經(jīng)驗(yàn)規(guī)則是指某些方法的參數(shù)是通過人工試驗(yàn)得到的。
8所述噪聲是指有些宏塊的運(yùn)動(dòng)矢量不能反映實(shí)際畫面中的運(yùn)動(dòng)情況。
所述步驟A2中，利用MPEG碼流中的直流分量和運(yùn)動(dòng)矢量信息過濾噪聲運(yùn)
動(dòng)矢量。
所述步驟A2中，對(duì)于滿足以下情況的宏塊將被標(biāo)記為包含噪聲運(yùn)動(dòng)矢量
的宏塊
A21.當(dāng)前宏塊的運(yùn)動(dòng)矢量明顯區(qū)別于相鄰宏塊的運(yùn)動(dòng)矢量； A22.當(dāng)前宏塊內(nèi)的4個(gè)8*8塊的直流分量幾乎相同；
A23.與當(dāng)前宏塊相鄰的8個(gè)宏塊中有一半以上宏塊內(nèi)的直流分量與當(dāng)前 宏塊內(nèi)的直流分量相近。
所述步驟B還進(jìn)一步包括步驟 Bl.判斷是否為攝像機(jī)靜止的幀； B2.判斷是否為攝像機(jī)平移的幀； B3.判斷是否為攝像機(jī)變焦的幀； B4.判斷是否為攝像機(jī)旋轉(zhuǎn)的幀；
B5.如果上述B1 B4判斷的結(jié)果都為否，則該幀標(biāo)識(shí)為不規(guī)則運(yùn)動(dòng)的幀。 所述步驟B1中，將當(dāng)前幀的所有宏塊數(shù)目定義為^，噪聲宏塊數(shù)目定義
為~,,,￡，幀內(nèi)編碼宏塊數(shù)目定義為n,一，如果極半徑等于零的宏塊數(shù)目大于
0.4*"a ，則該幀將被判斷為攝像機(jī)靜止的幀。
所述步驟B2中，對(duì)于不是攝像機(jī)靜止的幀，將幀中正常宏塊的運(yùn)動(dòng)矢量 轉(zhuǎn)換到極坐標(biāo)系，將其中宏塊的運(yùn)動(dòng)矢量的極半徑取整，將極夾角歸一化到[O, 360)中的整數(shù)，以極半徑和極夾角構(gòu)建二維直方圖；確定一定大小的滑動(dòng)窗口， 計(jì)算該窗口內(nèi)直方圖之和，選取窗口內(nèi)直方圖之和最大的窗口中心點(diǎn)的(A& ， 代表了該幀的主要運(yùn)動(dòng)矢量方向，如果該窗口內(nèi)直方圖之和
"平> 一2",，該幀為攝像機(jī)平移的幀。
所述步驟B3中，對(duì)于不是攝像機(jī)平移的幀，構(gòu)建一個(gè)與當(dāng)前幀大小相同 的二維數(shù)組，除去包含噪聲運(yùn)動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊，按照像素點(diǎn)所在 宏塊的運(yùn)動(dòng)矢量方向在每個(gè)象素點(diǎn)上畫一條直線，按照線的方向，每經(jīng)過一個(gè)象素點(diǎn)，該點(diǎn)對(duì)應(yīng)的數(shù)組累計(jì)值加1。利用滑動(dòng)窗口進(jìn)行求和計(jì)算，其中具有 最大累計(jì)值之和的滑動(dòng)窗口在焦點(diǎn)附近，如果該窗口的累計(jì)值之和大于所有的 滑動(dòng)窗口的累計(jì)值之和的平均值的10倍，則將該窗口判斷為攝像機(jī)變焦窗口， 該幀為攝像機(jī)變焦的幀。
所述步驟B3中，設(shè)"皿為每個(gè)象素點(diǎn)到焦點(diǎn)的距離，尋找所有運(yùn)動(dòng)矢量
方向指向焦點(diǎn)的象素點(diǎn)，其運(yùn)動(dòng)矢量p"皿的平均值設(shè)為幅度參數(shù)r， rX)表示 放大，K0表示縮小。
所述步驟B4中，判斷攝像機(jī)旋轉(zhuǎn)的方法與步驟B3判斷攝像機(jī)變焦的方法 基本一致，區(qū)別是每個(gè)象素點(diǎn)上線的方向需要與運(yùn)動(dòng)矢量方向垂直，如果最后 計(jì)算得到的r〉0表示順時(shí)針方向的旋轉(zhuǎn)，如果r〈0表示逆時(shí)針方向的旋轉(zhuǎn)。
所述步驟C還進(jìn)一步包括步驟
Cl.確定由攝像機(jī)運(yùn)動(dòng)產(chǎn)生的全局運(yùn)動(dòng)矢量；
C2.進(jìn)行攝像機(jī)運(yùn)動(dòng)補(bǔ)償；
C3.運(yùn)動(dòng)對(duì)象分割。
所述步驟Cl還進(jìn)一步包括步驟
Cll.對(duì)于攝像機(jī)靜止的幀，其全局運(yùn)動(dòng)矢量是O;
C12.對(duì)于攝像機(jī)平移的幀，其全局運(yùn)動(dòng)矢量即為^力)；
C13.對(duì)于攝像機(jī)變焦的幀，某象素點(diǎn)的攝像機(jī)運(yùn)動(dòng)方向延該點(diǎn)到焦點(diǎn)的 連線，方向由r的符號(hào)決定，運(yùn)動(dòng)矢量大小為一|*^?！?
C14.對(duì)于攝像機(jī)旋轉(zhuǎn)的幀，攝像機(jī)運(yùn)動(dòng)矢量的判別方法與攝像機(jī)變焦的 幀相類似，但其運(yùn)動(dòng)方向是宏塊到焦點(diǎn)連線的法線方向。
所述步驟C2中，對(duì)每個(gè)宏塊，選其中心點(diǎn)作為代表點(diǎn)計(jì)算全局運(yùn)動(dòng)，將 每個(gè)宏塊的運(yùn)動(dòng)矢量減去該宏塊的全局運(yùn)動(dòng)矢量，得到相對(duì)運(yùn)動(dòng)矢量；當(dāng)相對(duì) 運(yùn)動(dòng)矢量大于既定閾值時(shí)，該宏塊被認(rèn)為是前景，即運(yùn)動(dòng)區(qū)域；否則為背景。
所述既定閾值是指根據(jù)經(jīng)驗(yàn)規(guī)則設(shè)定的數(shù)值。
所述步驟C3中，對(duì)于包含噪聲運(yùn)動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊，如果其 相鄰8個(gè)宏塊中有一半以上屬于正常宏塊，則將這些相鄰正常宏塊的前/背景 類型標(biāo)記中占多數(shù)者設(shè)為為該宏塊的類型；否則將該宏塊標(biāo)記為背景宏塊。再 利用空間中值濾波算法進(jìn)行濾波，獲取最后的運(yùn)動(dòng)目標(biāo)區(qū)域。步驟B2或C3中，所述正常宏塊是指既不屬于包含噪聲運(yùn)動(dòng)矢量的宏塊，
也不屬于幀內(nèi)編碼宏塊的宏塊。
所述步驟D還進(jìn)一步包括步驟
Dl.構(gòu)造特征向量；
D2.訓(xùn)練得到支持向量機(jī)分類模型；
D3.利用訓(xùn)練得到的支持向量機(jī)分類模型，判斷視頻中存在的事件語義概念。
所述步驟Dl中，根據(jù)分割得到的運(yùn)動(dòng)區(qū)域，構(gòu)造用來描述當(dāng)前幀的17
維的特征向量，分別是
Dll.前景區(qū)域的重心的坐標(biāo)，2維； D12.前景區(qū)域的面積，l維； D13.圖像中心矩；
圖像中心矩的計(jì)算方式 =Z2>-^("，)V"力，其中(t刃為前景 重心坐標(biāo)，對(duì)于背景區(qū)域，/(x,力J/'對(duì)于前景區(qū)域/(x,力^，取二階、三階 圖像中心矩，即取^ +《=2和;7 + 9 = 3兩種情況的中心矩，二階中心矩3維，三 階中心矩4維，共7維；
D14.將二階和三階中心矩進(jìn)行組合可得到7個(gè)對(duì)平移、旋轉(zhuǎn)和尺度變化不
變的矩，即有
仍="2。 +》02
%=(<930 -3&)2+(3^U
^二093。+《2)2+092,+化3)2
% =093。 -3《2)093。 +<912)[( 93。 +>912)2 -3092| +t9。3)2] +(3>921 -+1903)[30930 +》12)2 -0921 +1903)2]
% = (A。 _%)[(<93。 + 912)2 -( 921 + <903)2] + 4^( + 912)0921 + 903) A =(3 921 -<903)G93O + 912肌+ 1912)2 一3( 92, +>903)2] -093。 Ju)^ + 1903)[30930 + 912)2 _(1921 +<903)2]。
所述步驟Dl中，對(duì)于待檢測(cè)視頻幀序列，定義其17維向量的序列為 ，其均值為-， 取相鄰幀的絕對(duì)差 {AI^A^,.--^—J-(l^-6l，l《-gl，…Ul》，計(jì)算絕對(duì)差均值A(chǔ)- ，再計(jì)算序列中無前景的幀的比率、靜止幀的比率、不規(guī)則運(yùn)動(dòng)幀的比率和運(yùn)動(dòng)幅度r 的平均值4個(gè)參數(shù)，加上17維的序列均值-和17維的絕對(duì)差均值A(chǔ)^構(gòu)成了 38維的幀序列特征。
所述步驟D2還進(jìn)一步包括步驟
D21.選取一部分訓(xùn)練數(shù)據(jù)進(jìn)行交叉驗(yàn)證，選取合適的支持向量機(jī)訓(xùn)練參
數(shù)；
D22.利用交叉驗(yàn)證得到的最佳訓(xùn)練參數(shù)訓(xùn)練支持向量機(jī)分類器模型。 為實(shí)現(xiàn)本發(fā)明的目的，還提供一種視頻中語義事件檢測(cè)系統(tǒng)，包括 運(yùn)動(dòng)矢量預(yù)處理模塊，用于將運(yùn)動(dòng)矢量歸一化并利用經(jīng)驗(yàn)規(guī)則過濾噪聲運(yùn) 動(dòng)矢量；
攝像機(jī)運(yùn)動(dòng)估計(jì)模塊，用于判斷攝像機(jī)的運(yùn)動(dòng)方式和運(yùn)動(dòng)參數(shù)； 運(yùn)動(dòng)對(duì)象分割模塊，用于利用攝像機(jī)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量，進(jìn)行運(yùn)動(dòng)對(duì) 象分割；
語義事件檢測(cè)模塊，用于利用分割結(jié)果檢測(cè)視頻鏡頭中的語義事件。 本發(fā)明的有益效果是
1、 良好的去除了運(yùn)動(dòng)矢量與視頻幀類型的相關(guān)性，對(duì)于幀內(nèi)編碼的宏塊 也得到了較為準(zhǔn)確的運(yùn)動(dòng)矢量信息；
2、 良好的去除了噪聲運(yùn)動(dòng)矢量；
3、 攝像機(jī)運(yùn)動(dòng)方式判斷準(zhǔn)確且時(shí)間復(fù)雜度低；
4、 利用支持向量機(jī)作為分類器。適應(yīng)性好，能在各種情況下工作良好。


圖1是本發(fā)明的一種視頻中語義事件檢測(cè)方法的流程圖。
具體實(shí)施例方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí) 施例，對(duì)本發(fā)明的一種視頻中語義事件檢測(cè)方法及系統(tǒng)進(jìn)行進(jìn)一步詳細(xì)說明。 應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā) 明。
12本發(fā)明的一種視頻中語義事件檢測(cè)方法及系統(tǒng)，是利用壓縮域信息對(duì)攝像 機(jī)運(yùn)動(dòng)進(jìn)行估計(jì)，并且得到視頻中準(zhǔn)確的運(yùn)動(dòng)物體信息。 本發(fā)明要解決的技術(shù)問題包括
1. 去除噪聲運(yùn)動(dòng)矢量；
2. 解決幀內(nèi)編碼的宏塊運(yùn)動(dòng)信息獲取問題；
3. 采用時(shí)間復(fù)雜度較低的方式判斷攝像機(jī)運(yùn)動(dòng)方式；
4. 用于語義檢測(cè)的視頻片斷運(yùn)動(dòng)特征表示。
下面結(jié)合上述目標(biāo)詳細(xì)介紹本發(fā)明一種視頻中語義事件檢測(cè)方法，如圖1
所示，包括下列步驟
步驟S100，運(yùn)動(dòng)矢量歸一化及噪聲運(yùn)動(dòng)矢量過濾； 步驟S110，根據(jù)幀類型歸一化運(yùn)動(dòng)矢量；
視頻編碼分為I幀、P幀和B幀。所有的幀都是把一副圖像分成許多宏塊 進(jìn)行編碼。I幀的每個(gè)宏塊都是幀內(nèi)編碼，也就是不參考別的幀；P幀的宏塊 通過參考其前一個(gè)的I幀或P幀進(jìn)行前向預(yù)測(cè)編碼；B幀的宏塊則可以同時(shí)參 考其前一個(gè)和后一個(gè)I幀或P幀進(jìn)行前向或后向的預(yù)測(cè)，即雙向預(yù)測(cè)，當(dāng)然也 可以選擇只參考一個(gè)。對(duì)于P幀和B幀的宏塊，也不是全部都去參考別的幀， 如果找不到匹配的，某些宏塊也可以幀內(nèi)編碼。
將運(yùn)動(dòng)矢量除以該運(yùn)動(dòng)矢量所在幀與參考幀之間的幀距離，得到歸一化后 的運(yùn)動(dòng)矢量。其中
步驟Slll，對(duì)于后向預(yù)測(cè)的宏塊，將其取反向作為該宏塊的運(yùn)動(dòng)矢量；
步驟S112，對(duì)于雙向預(yù)測(cè)的宏塊，先將后向預(yù)測(cè)宏塊取反向之后，再與 前向預(yù)測(cè)宏塊取平均，該平均值作為該雙向預(yù)測(cè)的宏塊的運(yùn)動(dòng)矢量；
步驟S113，對(duì)于I幀的宏塊，從以該I幀為參考的相鄰B幀中獲取運(yùn)動(dòng) 信息，估計(jì)I幀宏塊的運(yùn)動(dòng)。
對(duì)于I幀的運(yùn)動(dòng)信息，由于其采用幀內(nèi)編碼，沒有前、后向參考幀，所以 我們?nèi)∨c其最相鄰的B幀。通常一個(gè)I幀要作為其最相鄰B幀的參考幀，作為 I幀中的宏塊，我們將在其所在I幀最相鄰的B幀中尋找將I幀中宏塊作為參 考宏塊的B幀宏塊。并將該B幀宏塊運(yùn)動(dòng)矢量取反方向作為I幀宏塊的運(yùn)動(dòng)矢 量。如果有多個(gè)B幀宏塊將I幀宏塊作為參考宏塊，則取其中參考區(qū)域與I 幀宏塊重疊最多的B幀宏塊的運(yùn)動(dòng)信息取反方向作為I幀宏塊的運(yùn)動(dòng)矢量。對(duì)于沒有作為任何B幀參考宏塊的I幀宏塊，將其作為幀內(nèi)編碼宏塊處理。 作為一種可實(shí)施方式，假設(shè)運(yùn)動(dòng)矢量大小為「運(yùn)動(dòng)矢量所在幀號(hào)為i，
參考幀幀號(hào)為j，則歸一化后的運(yùn)動(dòng)矢量 _^，此時(shí)v—。是相對(duì)于相鄰幀的 當(dāng)前幀的運(yùn)動(dòng)矢量。
步驟S120，利用經(jīng)驗(yàn)規(guī)則過濾噪聲運(yùn)動(dòng)矢量；
利用MPEG碼流中的直流分量和運(yùn)動(dòng)矢量信息過濾噪聲運(yùn)動(dòng)矢量。MPEG標(biāo) 準(zhǔn)對(duì)視頻進(jìn)行編碼時(shí)，對(duì)每個(gè)宏塊記錄其運(yùn)動(dòng)矢量和DCT變換(離散余弦變換) 的數(shù)據(jù)，直流分量指的是DCT變換中的直流分量。
所述"經(jīng)驗(yàn)規(guī)則" 一般是指某些方法的參數(shù)是通過人工試驗(yàn)得到的。 所述噪聲是指有些宏塊的運(yùn)動(dòng)矢量不能反映實(shí)際畫面中的運(yùn)動(dòng)情況。 對(duì)于滿足以下情況的宏塊將被標(biāo)記為包含噪聲運(yùn)動(dòng)矢量的宏塊
A. 當(dāng)前宏塊的運(yùn)動(dòng)矢量明顯區(qū)別于相鄰宏塊的運(yùn)動(dòng)矢量；
B. 當(dāng)前宏塊內(nèi)的4個(gè)8*8塊的直流分量幾乎相同；
C. 與當(dāng)前宏塊相鄰的8個(gè)宏塊中有一半以上宏塊內(nèi)的直流分量與當(dāng)前宏 塊內(nèi)的直流分量相近。
步驟S200，攝像機(jī)運(yùn)動(dòng)估計(jì)；
利用以下規(guī)則判斷攝像機(jī)運(yùn)動(dòng)方式。
步驟S210，判斷是否為攝像機(jī)靜止的幀；
將當(dāng)前幀的所有宏塊數(shù)目定義為^,，噪聲宏塊數(shù)目定義為 ,￡，幀內(nèi)編碼 宏塊數(shù)目定義為",一。如果極半徑等于零的宏塊數(shù)目大于0.4*~,，則該幀將被
判斷為攝像機(jī)靜止的幀。
步驟S220，判斷是否為攝像機(jī)平移的幀；
在步驟S210的基礎(chǔ)上，對(duì)于不是攝像機(jī)靜止的幀，將該幀中正常宏塊(除 去包含噪聲運(yùn)動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊)的運(yùn)動(dòng)矢量轉(zhuǎn)換到極坐標(biāo)系，將 其中宏塊的運(yùn)動(dòng)矢量的極半徑取整，將極夾角歸一化到[O， 360)中的整數(shù)，以 極半徑和極夾角構(gòu)建二維直方圖。確定一定大小的滑動(dòng)窗口，計(jì)算該窗口內(nèi)直 方圖之和，選取窗口內(nèi)直方圖之和最大的窗口中心點(diǎn)的03^)，(》力)代表了該 幀的主要運(yùn)動(dòng)矢量方向，如果該窗口內(nèi)直方圖之和 。一 > ，該幀為攝
14像機(jī)平移的幀。作為一種可實(shí)施方式，本發(fā)明的窗口大小是由經(jīng)驗(yàn)規(guī)則設(shè)定的， 這里用的是9*15的窗口。
步驟S230，判斷是否為攝像機(jī)變焦的幀；
在步驟S220的基礎(chǔ)上，對(duì)于不是攝像機(jī)平移的幀，構(gòu)建一個(gè)與當(dāng)前幀大 小相同的二維數(shù)組，除去包含噪聲運(yùn)動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊，按照宏塊 的運(yùn)動(dòng)矢量方向在每個(gè)象素點(diǎn)上畫一條直線。按照線的方向，每經(jīng)過一個(gè)象素 點(diǎn)，該點(diǎn)對(duì)應(yīng)的數(shù)組累計(jì)值加1。對(duì)于理想的變焦?fàn)顩r，所有的直線將匯聚到 焦點(diǎn)上。實(shí)際情況下，焦點(diǎn)周圍的累計(jì)值將很大。利用5*5的滑動(dòng)窗口進(jìn)行求 和計(jì)算，其中具有最大累計(jì)值之和的滑動(dòng)窗口應(yīng)該在焦點(diǎn)附近，如果該窗口的 累計(jì)值之和大于所有的滑動(dòng)窗口的累計(jì)值之和的平均值的10倍，則將該窗口 判斷為攝像機(jī)變焦窗口，該幀為攝像機(jī)變焦的幀。設(shè)"，為每個(gè)象素點(diǎn)到焦點(diǎn) 的距離。尋找所有運(yùn)動(dòng)矢量方向指向焦點(diǎn)的象素點(diǎn)，其運(yùn)動(dòng)矢量WA，的平均 值設(shè)為幅度參數(shù)r， r〉0表示放大，r〈0表示縮小。
步驟S240，判斷是否為攝像機(jī)旋轉(zhuǎn)的幀；
判斷攝像機(jī)旋轉(zhuǎn)與判斷攝像機(jī)變焦的方法基本一致，區(qū)別是每個(gè)象素點(diǎn)上 線的方向需要與運(yùn)動(dòng)矢量方向垂直。如果最后計(jì)算得到的r>0表示順時(shí)針方向 的旋轉(zhuǎn)，如果r〈0表示逆時(shí)針方向的旋轉(zhuǎn)。
步驟S250，如果上述四種判斷的結(jié)果都為否，則該幀標(biāo)識(shí)為不規(guī)則運(yùn)動(dòng)
步驟S300，運(yùn)動(dòng)對(duì)象分割；
利用攝像機(jī)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量，進(jìn)行運(yùn)動(dòng)對(duì)象分割，即判斷運(yùn)動(dòng)對(duì)象 區(qū)域。
步驟S310，確定由攝像機(jī)運(yùn)動(dòng)產(chǎn)生的全局運(yùn)動(dòng)矢量；
步驟S311，對(duì)于攝像機(jī)靜止的幀，其全局運(yùn)動(dòng)矢量是O;;
步驟S312，對(duì)于攝像機(jī)平移的幀，其全局運(yùn)動(dòng)矢量即為(》，A;
步驟S313，對(duì)于攝像機(jī)變焦的幀，某象素點(diǎn)的攝像機(jī)運(yùn)動(dòng)方向延該點(diǎn)到 焦點(diǎn)的連線，方向由r的符號(hào)決定，運(yùn)動(dòng)矢量大小為一|*《?！?
步驟S314，對(duì)于攝像機(jī)旋轉(zhuǎn)的幀，攝像機(jī)運(yùn)動(dòng)矢量的判別方法與攝像機(jī) 變焦的幀相類似，但其運(yùn)動(dòng)方向是宏塊到焦點(diǎn)連線的法線方向；
步驟S320，進(jìn)行攝像機(jī)運(yùn)動(dòng)補(bǔ)償；對(duì)每個(gè)宏塊，選其中心點(diǎn)作為代表點(diǎn)計(jì)算全局運(yùn)動(dòng)，將每個(gè)宏塊的運(yùn)動(dòng)矢 量減去該宏塊的全局運(yùn)動(dòng)矢量，得到相對(duì)運(yùn)動(dòng)矢量。當(dāng)相對(duì)運(yùn)動(dòng)矢量極徑大于 既定閾值時(shí)，該宏塊被認(rèn)為是前景，即運(yùn)動(dòng)區(qū)域；否則為背景。
作為一種可實(shí)施方式，此閾值根據(jù)經(jīng)驗(yàn)規(guī)則設(shè)定，設(shè)定為2.0。 步驟S330，運(yùn)動(dòng)對(duì)象分割；
對(duì)于包含噪聲運(yùn)動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊，如果其相鄰8個(gè)宏塊中有 一半以上屬于正常宏塊(即既不屬于包含噪聲運(yùn)動(dòng)矢量的宏塊，也不屬于幀內(nèi) 編碼宏塊)，則將相鄰正常宏塊中的前/背景類型標(biāo)記中占多數(shù)者設(shè)為該宏塊 的類型；否則將該宏塊標(biāo)記為背景宏塊。最后利用空間中值濾波算法進(jìn)行濾波， 獲取最后的運(yùn)動(dòng)目標(biāo)區(qū)域。
步驟S400，語義事件檢測(cè)；
步驟S410，構(gòu)造特征向量；
根據(jù)分割得到的運(yùn)動(dòng)區(qū)域，即前景區(qū)域，構(gòu)造用來描述當(dāng)前幀的17維的
特征向量。分別為
A. 前景區(qū)域的重心的坐標(biāo)，2維；
B. 前景區(qū)域的面積，l維；
C. 圖像中心矩；
圖像中心矩的計(jì)算方式J7f/(x,力，其中&刃為前景 重心坐標(biāo)。對(duì)于背景區(qū)域，/(1,力=6/對(duì)于前景區(qū)域/(^,力=1。取二階、三階 圖像中心矩，即取p + g-2和p + 9-3兩種情況的中心矩，二階中心矩3維，三 階中心矩4維，共7維。
D. 將二階和三階中心矩進(jìn)行組合可得到7個(gè)對(duì)平移、旋轉(zhuǎn)和尺度變化不
變的矩，即有
A = "20 +》02
3&)2+(3^- 903)2
化=0930 - 3《2)093。 + <912)
+(3<921 +t9。3)[3(l93。 + 912)2 -( 921 + 903)2]
化=( 92。 - D[(<93。 + 912)2 —0921 +19。3)2] + 4 911(193。 + 1912)0921 + 903)巧=(3 921 — <9。3)093。 + ^跳+《2)2 -3(>921 + ;)勺 一(《93。 - 3 912)0921 + >9。3)[30930 + ^)2 — (>921 + ^)2〗
對(duì)于待檢測(cè)視頻幀序列，定義其17維向量的序列為g,4…,J，其均值 為#。取相鄰幀的絕對(duì)差(A巧,A&,…,AljMI巧-^l,lg-廣&|}，計(jì)算 絕對(duì)差均值A(chǔ)-。再計(jì)算序列中無前景的幀的比率、靜止幀的比率、不規(guī)則運(yùn) 動(dòng)幀的比率和運(yùn)動(dòng)幅度r的平均值4個(gè)參數(shù)，加上17維的序列均值^和17維 的絕對(duì)差均值A(chǔ)^構(gòu)成了 38維的幀序列特征。
步驟S420，訓(xùn)練得到支持向量機(jī)(Support Vector Machine,簡(jiǎn)稱SVM)分 類模型；
步驟S421，選取一部分訓(xùn)練數(shù)據(jù)進(jìn)行交叉驗(yàn)證，選取合適的SVM訓(xùn)練參
數(shù)；
步驟S422，利用交叉驗(yàn)證得到的最佳訓(xùn)練參數(shù)訓(xùn)練SVM分類器模型； 步驟S430，利用訓(xùn)練得到的SVM分類模型，判斷視頻中存在的事件語義 概念。
本方法中，交叉驗(yàn)證，選取合適的SVM訓(xùn)練參數(shù)；利用交叉驗(yàn)證得到的最 佳訓(xùn)練參數(shù)訓(xùn)練SVM分類器模型以及利用訓(xùn)練得到的SVM分類模型，判斷視頻 中存在的事件語義概念，均屬于模式識(shí)別里的基本技術(shù)，因此，在此不再一一 詳細(xì)說明。
相應(yīng)于本發(fā)明的一種視頻中語義事件檢測(cè)方法，本發(fā)明還提供一種視頻中 語義事件檢測(cè)系統(tǒng)，其包括
運(yùn)動(dòng)矢量預(yù)處理模塊21，用于將運(yùn)動(dòng)矢量歸一化并利用經(jīng)驗(yàn)規(guī)則過濾噪 聲運(yùn)動(dòng)矢量；
攝像機(jī)運(yùn)動(dòng)估計(jì)模塊22，用于判斷攝像機(jī)的運(yùn)動(dòng)方式和運(yùn)動(dòng)參數(shù)； 運(yùn)動(dòng)對(duì)象分割模塊23，用于利用攝像機(jī)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量，進(jìn)行運(yùn) 動(dòng)對(duì)象分割，即判斷運(yùn)動(dòng)對(duì)象區(qū)域；
語義事件檢測(cè)模塊24，用于利用分割結(jié)果檢測(cè)視頻鏡頭中的語義事件。 本發(fā)明的有益效果在于
1、 良好的去除了運(yùn)動(dòng)矢量與視頻幀類型的相關(guān)性，對(duì)于幀內(nèi)編碼的宏塊 也得到了較為準(zhǔn)確的運(yùn)動(dòng)矢量信息；
2、 良好的去除了噪聲運(yùn)動(dòng)矢量；
173、 攝像機(jī)運(yùn)動(dòng)方式判斷準(zhǔn)確且時(shí)間復(fù)雜度低；
4、 利用支持向量機(jī)作為分類器適應(yīng)性好，能在各種情況下工作良好。通過結(jié)合附圖對(duì)本發(fā)明具體實(shí)施例的描述，本發(fā)明的其它方面及特征對(duì)本
領(lǐng)域的技術(shù)人員而言是顯而易見的。
以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述和說明，這些實(shí)施例應(yīng)被認(rèn)為其只是示例性的，并不用于對(duì)本發(fā)明進(jìn)行限制，本發(fā)明應(yīng)根據(jù)所附的權(quán)利要求進(jìn)行解釋。
權(quán)利要求
1. 一種視頻中語義事件檢測(cè)方法，其特征在于，包括下列步驟A. 運(yùn)動(dòng)矢量歸一化及噪聲運(yùn)動(dòng)矢量過濾；B. 攝像機(jī)運(yùn)動(dòng)估計(jì)；C. 運(yùn)動(dòng)對(duì)象分割；D. 語義事件檢測(cè)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟A還進(jìn)一步包括步驟Al.根據(jù)幀類型歸一化運(yùn)動(dòng)矢量；A2.利用經(jīng)驗(yàn)規(guī)則過濾噪聲運(yùn)動(dòng)矢量。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述歸一化運(yùn)動(dòng)矢量，是指將運(yùn)動(dòng)矢量除以該運(yùn)動(dòng)矢量所在幀與參考幀之間的幀距離。
4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟A1還進(jìn)一步包括步驟All.對(duì)于后向預(yù)測(cè)的宏塊，將其取反向作為該宏塊的運(yùn)動(dòng)矢量；A12.對(duì)于雙向預(yù)測(cè)的宏塊，先將后向預(yù)測(cè)宏塊取反向之后，再與前向預(yù)測(cè)宏塊取平均，該平均值作為該雙向預(yù)測(cè)的宏塊的運(yùn)動(dòng)矢量；A13.對(duì)于I幀的宏塊，從以該I幀為參考的相鄰B幀中獲取運(yùn)動(dòng)信息，估計(jì)I幀宏塊的運(yùn)動(dòng)。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟A13，在所在I 幀最相鄰的B幀中尋找將I幀中宏塊作為參考宏塊的B幀宏塊，并將該B幀宏 塊運(yùn)動(dòng)矢量取反方向作為I幀宏塊的運(yùn)動(dòng)矢量。
6. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟A13，多個(gè)B幀 宏塊將I幀宏塊作為參考宏塊，則取其中參考區(qū)域與I幀宏塊重疊最多的B 幀宏塊的運(yùn)動(dòng)信息取反方向作為I幀宏塊的運(yùn)動(dòng)矢量。
7. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟A13，對(duì)于沒有作 為B幀參考宏塊的I幀宏塊，將其作為幀內(nèi)編碼宏塊處理。
8. 根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟A2中，所述經(jīng)驗(yàn)規(guī)則 是指某些方法的參數(shù)是通過人工試驗(yàn)得到的。
9. 根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟A2中，所述噪聲是指 有些宏塊的運(yùn)動(dòng)矢量不能反映實(shí)際畫面中的運(yùn)動(dòng)情況。
10. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟A2中，利用MPEG 碼流中的直流分量和運(yùn)動(dòng)矢量信息過濾噪聲運(yùn)動(dòng)矢量。
11. 根據(jù)權(quán)利要求10所述的方法，其特征在于，所述步驟A2中，對(duì)于滿 足以下情況的宏塊將被標(biāo)記為包含噪聲運(yùn)動(dòng)矢量的宏塊A21.當(dāng)前宏塊的運(yùn)動(dòng)矢量明顯區(qū)別于相鄰宏塊的運(yùn)動(dòng)矢量； A22.當(dāng)前宏塊內(nèi)的4個(gè)8*8塊的直流分量幾乎相同； A23.與當(dāng)前宏塊相鄰的8個(gè)宏塊中有一半以上宏塊內(nèi)的直流分量與當(dāng)前 宏塊內(nèi)的直流分量相近。
12. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟B還進(jìn)一步包括步驟Bl.判斷是否為攝像機(jī)靜止的幀； B2.判斷是否為攝像機(jī)平移的幀； B3.判斷是否為攝像機(jī)變焦的幀； B4.判斷是否為攝像機(jī)旋轉(zhuǎn)的幀；B5.如果上述B1 B4判斷的結(jié)果都為否，則該幀標(biāo)識(shí)為不規(guī)則運(yùn)動(dòng)的幀。
13. 根據(jù)權(quán)利要求12所述的方法，其特征在于，所述步驟B1中，將當(dāng)前 幀的所有宏塊數(shù)目定義為"。,;，噪聲宏塊數(shù)目定義為" _，幀內(nèi)編碼宏塊數(shù)目定 義為~ ，如果極半徑等于零的宏塊數(shù)目大于0.4^。,,，則該幀將被判斷為攝像 機(jī)靜止的幀。
14. 根據(jù)權(quán)利要求12所述的方法，其特征在于，所述步驟B2中，對(duì)于不 是攝像機(jī)靜止的幀，將幀中正常宏塊的運(yùn)動(dòng)矢量轉(zhuǎn)換到極坐標(biāo)系，將其中宏塊 的運(yùn)動(dòng)矢量的極半徑取整，將極夾角歸一化到[O, 360)中的整數(shù)，以極半徑和 極夾角構(gòu)建二維直方圖；確定一定大小的滑動(dòng)窗口，計(jì)算該窗口內(nèi)直方圖之和， 選取窗口內(nèi)直方圖之和最大的窗口中心點(diǎn)的G3^)，(》力)代表了該幀的主要運(yùn)動(dòng)矢量方向，如果該窗口內(nèi)直方圖之和> "°"，該幀為攝像機(jī)平移的
15. 根據(jù)權(quán)利要求12所述的方法，其特征在于，所述步驟B3中，對(duì)于不 是攝像機(jī)平移的幀，構(gòu)建一個(gè)與當(dāng)前幀大小相同的二維數(shù)組，除去包含噪聲運(yùn) 動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊，按照宏塊的運(yùn)動(dòng)矢量方向在每個(gè)象素點(diǎn)上畫一 條直線，按照線的方向，每經(jīng)過一個(gè)象素點(diǎn)，該點(diǎn)對(duì)應(yīng)的數(shù)組累計(jì)值加1，利 用滑動(dòng)窗口進(jìn)行求和計(jì)算，其中具有最大累計(jì)值之和的滑動(dòng)窗口在焦點(diǎn)附近， 如果該窗口的累計(jì)值之和大于所有的滑動(dòng)窗口的累計(jì)值之和的平均值的10 倍，則將該窗口判斷為攝像機(jī)變焦窗口，該幀為攝像機(jī)變焦的幀。
16. 根據(jù)權(quán)利要求15所述的方法，其特征在于，所述步驟B3中，設(shè)^促為每個(gè)象素點(diǎn)到焦點(diǎn)的距離，尋找所有運(yùn)動(dòng)矢量方向指向焦點(diǎn)的象素點(diǎn)，其運(yùn) 動(dòng)矢量p/"皿的平均值設(shè)為幅度參數(shù)r, rX)表示放大，rO表示縮小。
17. 根據(jù)權(quán)利要求12所述的方法，其特征在于，所述步驟B4中，判斷攝 像機(jī)旋轉(zhuǎn)的方法與步驟B3判斷攝像機(jī)變焦的方法基本一致，區(qū)別是每個(gè)象素 點(diǎn)上線的方向需要與運(yùn)動(dòng)矢量方向垂直，如果最后計(jì)算得到的r〉0表示順時(shí)針 方向的旋轉(zhuǎn)，如果r〈0表示逆時(shí)針方向的旋轉(zhuǎn)。
18. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟C還進(jìn)一步包括 步驟Cl.確定由攝像機(jī)運(yùn)動(dòng)產(chǎn)生的全局運(yùn)動(dòng)矢量； C2.進(jìn)行攝像機(jī)運(yùn)動(dòng)補(bǔ)償； C3.運(yùn)動(dòng)對(duì)象分割。
19. 根據(jù)權(quán)利要求18所述的方法，其特征在于，所述步驟C1還進(jìn)一步包 括步驟Cll.對(duì)于攝像機(jī)靜止的幀，其全局運(yùn)動(dòng)矢量是0;C12.對(duì)于攝像機(jī)平移的幀，其全局運(yùn)動(dòng)矢量即為(》力)；C13.對(duì)于攝像機(jī)變焦的幀，某象素點(diǎn)的攝像機(jī)運(yùn)動(dòng)方向延該點(diǎn)到焦點(diǎn)的 連線，方向由r的符號(hào)決定，運(yùn)動(dòng)矢量大小為|叫*^"￡;C14.對(duì)于攝像機(jī)旋轉(zhuǎn)的幀，攝像機(jī)運(yùn)動(dòng)矢量的判別方法與攝像機(jī)變焦的 幀相類似，但其運(yùn)動(dòng)方向是宏塊到焦點(diǎn)連線的法線方向。
20. 根據(jù)權(quán)利要求18所述的方法，其特征在于，所述步驟C2中，對(duì)每個(gè) 宏塊，選其中心點(diǎn)作為代表點(diǎn)計(jì)算全局運(yùn)動(dòng)，將每個(gè)宏塊的運(yùn)動(dòng)矢量減去該宏塊的全局運(yùn)動(dòng)矢量，得到相對(duì)運(yùn)動(dòng)矢量；當(dāng)相對(duì)運(yùn)動(dòng)矢量大于既定閾值時(shí)，該 宏塊被認(rèn)為是前景，即運(yùn)動(dòng)區(qū)域；否則為背景。
21. 根據(jù)權(quán)利要求20所述的方法，其特征在于，所述既定閾值是指根據(jù) 經(jīng)驗(yàn)規(guī)則設(shè)定的數(shù)值。
22. 根據(jù)權(quán)利要求18所述的方法，其特征在于，所述步驟C3中，對(duì)于包 含噪聲運(yùn)動(dòng)矢量的宏塊和幀內(nèi)編碼宏塊，如果其相鄰8個(gè)宏塊中有一半以上屬 于正常宏塊，則將相鄰正常宏塊的前/背景類型標(biāo)記中占多數(shù)者設(shè)為該宏塊的 類型；否則將該宏塊標(biāo)記為背景宏塊，再利用空間中值濾波算法進(jìn)行濾波，獲 取最后的運(yùn)動(dòng)目標(biāo)區(qū)域。
23. 根據(jù)權(quán)利要求14或22所述的方法，其特征在于，所述正常宏塊是指 既不屬于包含噪聲運(yùn)動(dòng)矢量的宏塊，也不屬于幀內(nèi)編碼宏塊的宏塊。
24. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟D還進(jìn)一步包括 步驟Dl.構(gòu)造特征向量；D2.訓(xùn)練得到支持向量機(jī)分類模型；D3.利用訓(xùn)練得到的支持向量機(jī)分類模型，判斷視頻中存在的事件語義概
25.根據(jù)權(quán)利要求24所述的方法，其特征在于，所述步驟D1中，根據(jù)分 割得到的運(yùn)動(dòng)區(qū)域，構(gòu)造用來描述當(dāng)前幀的17維的特征向量，分別是 Dll.前景區(qū)域的重心的坐標(biāo)，2維； D12.前景區(qū)域的面積，l維； D13.圖像中心矩；圖像中心矩的計(jì)算方式 =Z2>-W(y-刃V(x,力，其中(i,刃為前景 重心坐標(biāo)，對(duì)于背景區(qū)域，/(x,力-0、Y對(duì)于前景區(qū)域/(x,力^，取二階、三階 圖像中心矩，即取/7 +《=2和^ +《=3兩種情況的中心矩，二階中心矩3維，三 階中心矩4維，共7維；D14.將二階和三階中心矩進(jìn)行組合可得到7個(gè)對(duì)平移、旋轉(zhuǎn)和尺度變化不變的矩，即有% =( -3《2)093。 +<912)2 -30921 +1903)2]+(3>921 -^3)0^ +^)[30930 +1912)2 -(>921 + 1903)2]% = 0920 — <902)
+ 4^0930 + <912)( 921 + 903) & ,廣化3)0930 + 912)[(>930 + >912)2 -3( 921 +1903)2] -093。 -3 912)0921 + 9。3)[3(<93。 + >912)2 - 0921 +19。3)2]。
26. 根據(jù)權(quán)利要求25所述的方法，其特征在于，所述步驟D1中，對(duì)于待 檢測(cè)視頻幀序列，定義其17維向量的序列為其均值為戶，取相鄰幀的絕對(duì)差{厶巧^4一,厶6_1} = {1巧-^1,^2-^1，...，|11-&1}，計(jì)算絕對(duì)差均值 A^，再計(jì)算序列中無前景的幀的比率、靜止幀的比率、不規(guī)則運(yùn)動(dòng)幀的比率 和運(yùn)動(dòng)幅度r的平均值4個(gè)參數(shù)，加上17維的序列均值^和17維的絕對(duì)差均 值A(chǔ)^構(gòu)成了 38維的幀序列特征。
27. 根據(jù)權(quán)利要求24所述的方法，其特征在于，所述步驟D2還進(jìn)一步包 括步驟D21.選取一部分訓(xùn)練數(shù)據(jù)進(jìn)行交叉驗(yàn)證，選取合適的支持向量機(jī)訓(xùn)練參數(shù)；D22.利用交叉驗(yàn)證得到的最佳訓(xùn)練參數(shù)訓(xùn)練支持向量機(jī)分類器模型。
28. —種視頻中語義事件檢測(cè)系統(tǒng)，其特征在于，包括 運(yùn)動(dòng)矢量預(yù)處理模塊，用于將運(yùn)動(dòng)矢量歸一化并利用經(jīng)驗(yàn)規(guī)則過濾噪聲運(yùn)攝像機(jī)運(yùn)動(dòng)估計(jì)模塊，用于判斷攝像機(jī)的運(yùn)動(dòng)方式和運(yùn)動(dòng)參數(shù)； 運(yùn)動(dòng)對(duì)象分割模塊，用于利用攝像機(jī)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量，進(jìn)行運(yùn)動(dòng)對(duì) 象分割；語義事件檢測(cè)模塊，用于利用分割結(jié)果檢測(cè)視頻鏡頭中的語義事件。
全文摘要
本發(fā)明公開了一種視頻中語義事件檢測(cè)方法及系統(tǒng)。該方法包括下列步驟運(yùn)動(dòng)矢量歸一化及噪聲運(yùn)動(dòng)矢量過濾；攝像機(jī)運(yùn)動(dòng)估計(jì)；運(yùn)動(dòng)對(duì)象分割；語義事件檢測(cè)。該系統(tǒng)包括運(yùn)動(dòng)矢量預(yù)處理模塊，用于將運(yùn)動(dòng)矢量歸一化并利用經(jīng)驗(yàn)規(guī)則過濾噪聲運(yùn)動(dòng)矢量；攝像機(jī)運(yùn)動(dòng)估計(jì)模塊，用于判斷攝像機(jī)的運(yùn)動(dòng)方式和運(yùn)動(dòng)參數(shù)；運(yùn)動(dòng)對(duì)象分割模塊，用于利用攝像機(jī)運(yùn)動(dòng)補(bǔ)償后的運(yùn)動(dòng)矢量，進(jìn)行運(yùn)動(dòng)對(duì)象分割；語義事件檢測(cè)模塊，用于利用分割結(jié)果檢測(cè)視頻鏡頭中的語義事件。其能夠更準(zhǔn)確、高效地檢測(cè)視頻中的語義事件概念。
文檔編號(hào)H04N7/26GK101478675SQ20081005599
公開日2009年7月8日 申請(qǐng)日期2008年1月3日 優(yōu)先權(quán)日2008年1月3日
發(fā)明者張勇東, 明 李, 林守勛, 焜 陶 申請(qǐng)人:中國科學(xué)院計(jì)算技術(shù)研究所