基于序列時(shí)空立方體特征的視頻交互事件分析方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種基于序列時(shí)空立方體特征的視頻交互事件分析方法及裝置，該方法包括：基于監(jiān)控視頻的檢測跟蹤結(jié)果將該監(jiān)控視頻劃分成若干時(shí)空立方體序列；在每個(gè)時(shí)空立方體內(nèi)提取對(duì)象軌跡、表觀和局部運(yùn)動(dòng)描述子，并將提取的描述子組成特征片段；對(duì)所有時(shí)空立方體內(nèi)的特征片段進(jìn)行重構(gòu)以構(gòu)建序列時(shí)空立方體特征，利用該序列時(shí)空立方體特征進(jìn)行交互事件分類檢測。該裝置包括預(yù)處理模塊、視頻序列劃分模塊、時(shí)空立方體特征提取模塊、時(shí)序特征重構(gòu)模塊和序列特征分類模塊。本發(fā)明實(shí)現(xiàn)了對(duì)監(jiān)控視頻內(nèi)容的高層語義層描述，并且利用基于動(dòng)態(tài)時(shí)間對(duì)齊核函數(shù)的多核支持向量機(jī)，實(shí)現(xiàn)了變長序列特征分類，從而實(shí)現(xiàn)了對(duì)監(jiān)控視頻流交互事件的智能檢測。
【專利說明】基于序列時(shí)空立方體特征的視頻交互事件分析方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺【技術(shù)領(lǐng)域】，涉及監(jiān)控視頻交互事件分析方法，具體涉及一種基于序列時(shí)空立方體特征的監(jiān)控視頻交互事件分析方法，以及實(shí)現(xiàn)該方法的裝置。
【背景技術(shù)】
[0002]隨著監(jiān)控?cái)z像頭廣泛的應(yīng)用于人們生活的方方面面，監(jiān)控視頻數(shù)據(jù)呈現(xiàn)爆炸式的增長，如何智能地分析其中發(fā)生的感興趣的事件，是一個(gè)富有挑戰(zhàn)性的問題。在感興趣的事件當(dāng)中，有一部分是多對(duì)象交互事件，例如:打架、搶劫、兇殺和撞車等。為了能夠在事件發(fā)生的早期報(bào)警，以及在事件發(fā)生之后協(xié)助偵查取證，針對(duì)這類事件的智能分析方法十分關(guān)鍵。
[0003]目前對(duì)這類事件的處理主要依賴目擊者報(bào)警，然后調(diào)取相應(yīng)時(shí)間段的監(jiān)控視頻來調(diào)查取證。但往往有些事件沒有目擊者，或者目擊者不能及時(shí)報(bào)案，這就會(huì)導(dǎo)致對(duì)事件處理的延誤。另外在取證階段，如果不知道事件發(fā)生的確切時(shí)間或地點(diǎn)，就需要耗費(fèi)大量的人力來查看監(jiān)控視頻數(shù)據(jù)。
[0004]現(xiàn)有的大部分智能監(jiān)控系統(tǒng)均是采用運(yùn)動(dòng)目標(biāo)檢測及速度估計(jì)的方式，來分析對(duì)象發(fā)生的事件，例如中國專利CN201020660336.8公開的監(jiān)控系統(tǒng)。這種分析方法缺乏針對(duì)對(duì)象局部運(yùn)動(dòng)特點(diǎn)的描述，不能夠通過分析復(fù)雜事件的各個(gè)階段前后因果關(guān)系，來判斷復(fù)雜事件具體是什么類型。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)的局限性，本發(fā)明提出了一種基于序列時(shí)空立方體特征的監(jiān)控視頻交互事件分析方法及裝置，可以對(duì)對(duì)象局部運(yùn)動(dòng)特點(diǎn)進(jìn)行描述，通過分析復(fù)雜事件的各個(gè)階段前后因果關(guān)系判斷復(fù)雜事件的具體類型。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0007]一種基于序列時(shí)空立方體特征的視頻交互事件分析方法，其步驟包括:
[0008]I)基于監(jiān)控視頻的檢測跟蹤結(jié)果將該監(jiān)控視頻劃分成若干時(shí)空立方體序列；
[0009]2)在每個(gè)時(shí)空立方體內(nèi)提取對(duì)象軌跡、對(duì)象表觀、對(duì)象局部運(yùn)動(dòng)描述子，并將提取的描述子組成特征片段；
[0010]3)對(duì)所有時(shí)空立方體內(nèi)的特征片段進(jìn)行重構(gòu)以構(gòu)建序列時(shí)空立方體特征，利用該序列時(shí)空立方體特征進(jìn)行交互事件分類檢測。
[0011]進(jìn)一步地，為了增強(qiáng)視覺特征的描述能力，上面步驟I)劃分時(shí)空立方體的實(shí)現(xiàn)方法包括如下子步驟:
[0012]a)對(duì)象檢測跟蹤:根據(jù)每幀視頻內(nèi)的梯度、形狀、運(yùn)動(dòng)等信息，結(jié)合目標(biāo)對(duì)象的特點(diǎn)，檢測出對(duì)象的位置及運(yùn)動(dòng)軌跡；
[0013]b )選擇對(duì)象對(duì):對(duì)于監(jiān)控視頻中出現(xiàn)的全部對(duì)象，利用已知的事件知識(shí)，選擇出所有可能發(fā)生交互的對(duì)象對(duì)，截取每對(duì)對(duì)象共同出現(xiàn)的視頻段；[0014]c)時(shí)空立方體劃分:對(duì)于截取的視頻段，根據(jù)視頻段的時(shí)長以及視頻段內(nèi)的內(nèi)容變化，自適應(yīng)地劃分成若干時(shí)間子段，再結(jié)合對(duì)象的空間位置，構(gòu)成時(shí)空立方體。
[0015]進(jìn)一步地，上面步驟2)中各描述子為:
[0016]對(duì)象軌跡描述子:其包括的軌跡信息是:兩個(gè)對(duì)象之間的平均距離、兩個(gè)對(duì)象之間速度方向夾角、兩個(gè)對(duì)象區(qū)域的重疊面積；
[0017]對(duì)象表觀描述子:在每個(gè)時(shí)空立方體內(nèi)提取的表觀信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近梯度直方圖，并運(yùn)用特征包(bag-of-feature)方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的梯度直方圖構(gòu)建成一個(gè)描述子；
[0018]對(duì)象局部運(yùn)動(dòng)描述子:在每個(gè)立方體內(nèi)提取的局部運(yùn)動(dòng)信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近光流直方圖，并運(yùn)用特征包(bag-of-feature)方法,將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的光流直方圖構(gòu)建成一個(gè)描述子。
[0019]進(jìn)一步地，上面步驟3)所述重構(gòu)的方法為:將各特征片段串連在一起形成時(shí)序特征，將相鄰時(shí)空立方體內(nèi)的特征片段的差分值加入所述時(shí)序特征中。
[0020]進(jìn)一步地，為了適應(yīng)同一類事件持續(xù)時(shí)間可能不同這一特點(diǎn)，本發(fā)明提出的序列時(shí)空立方體特征也是變長的，根據(jù)事件發(fā)生的具體情況及具體時(shí)長(幀數(shù))而定。
[0021]進(jìn)一步地，采用動(dòng)態(tài)時(shí)間對(duì)齊核函數(shù)來計(jì)算時(shí)空立方體特征的相似性，利用多核支持向量機(jī)來學(xué)習(xí)、分類視頻段。
[0022]一種采用上述方法的基于序列時(shí)空立方體特征的視頻交互事件分析裝置，其包括:
[0023]預(yù)處理模塊，用于檢測并跟蹤監(jiān)控視頻中感興趣的對(duì)象；
[0024]視頻序列劃分模塊，連接所述預(yù)處理模塊，基于檢測跟蹤結(jié)果將監(jiān)控視頻自適應(yīng)地劃分成時(shí)空立方體序列；
[0025]時(shí)空立方體特征提取模塊，連接所述預(yù)處理模塊和所述視頻序列劃分模塊，用于提取監(jiān)控視頻中感興趣對(duì)象的視覺特征；
[0026]時(shí)序特征重構(gòu)模塊，連接所述時(shí)空立方體特征提取模塊，用于將提取的時(shí)空立方體特征重構(gòu)成變長序列特征；
[0027]序列特征分類模塊，連接所述時(shí)序特征重構(gòu)模塊，用于檢測監(jiān)控視頻中對(duì)象發(fā)生的交互事件。
[0028]進(jìn)一步地，所述時(shí)空立方體特征提取模塊包括對(duì)象軌跡描述子提取單元、對(duì)象表觀描述子提取單元和對(duì)象局部運(yùn)動(dòng)描述子提取單元。對(duì)各提取單元分別說明如下:
[0029]對(duì)象軌跡描述子提取單元:在每個(gè)時(shí)空立方體內(nèi)提取的軌跡信息包括:兩個(gè)對(duì)象之間的平均距離，兩個(gè)對(duì)象之間速度方向夾角，以及兩個(gè)對(duì)象區(qū)域的重疊面積。
[0030]對(duì)象表觀描述子提取單元:在每個(gè)時(shí)空立方體內(nèi)提取的表觀信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近梯度直方圖，并運(yùn)用特征包(bag-of-feature)方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的梯度直方圖構(gòu)建成一個(gè)描述子。
[0031]對(duì)象局部運(yùn)動(dòng)描述子提取單元:在每個(gè)立方體內(nèi)提取的局部運(yùn)動(dòng)信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近光流直方圖，并運(yùn)用特征包(bag-of-feature)方法,將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的光流直方圖構(gòu)建成一個(gè)描述子。
[0032]本發(fā)明的基于序列時(shí)空立方體特征的監(jiān)控視頻交互事件分析方法，提出了新的監(jiān)控視頻事件描述特征一序列的時(shí)空立方體特征，基于檢測跟蹤結(jié)果，將監(jiān)控視頻序列自適應(yīng)的分成若干階段，在每個(gè)階段內(nèi)提取描述子，然后經(jīng)過特征重構(gòu)，利用描述子序列以及時(shí)間上鄰接的描述子之間的變化信息構(gòu)成刻畫事件的特征，增強(qiáng)了特征的描述能力。
[0033]本發(fā)明通過對(duì)監(jiān)控視頻序列的自適應(yīng)時(shí)空立方體劃分，提取對(duì)象軌跡、表觀、局部運(yùn)動(dòng)的特征信息，特征重構(gòu)，實(shí)現(xiàn)了對(duì)監(jiān)控視頻內(nèi)容的高層語義層描述，并且利用基于動(dòng)態(tài)時(shí)間對(duì)齊核函數(shù)的多核支持向量機(jī)，實(shí)現(xiàn)了變長序列特征分類，從而實(shí)現(xiàn)了對(duì)監(jiān)控視頻流交互事件的智能檢測。
【專利附圖】

【附圖說明】
[0034]圖1為實(shí)施例中基于序列時(shí)空立方體特征的視頻交互事件分析裝置的組成示意圖；
[0035]圖2為實(shí)施例中基于序列時(shí)空立方體特征的視頻交互事件分析方法的步驟流程圖；
[0036]圖3為實(shí)施例中基于檢測跟蹤的時(shí)空立方體劃分方法示意圖；
[0037]圖4為實(shí)施例中單個(gè)時(shí)空立方體內(nèi)特征片段提取示意圖；
[0038]圖5為時(shí)實(shí)施例中序時(shí)空立方體特征重構(gòu)示意圖。
【具體實(shí)施方式】
[0039]下面通過具體實(shí)施例，并配合附圖，對(duì)本發(fā)明做詳細(xì)的說明。
[0040]圖1為本實(shí)施例的基于序列時(shí)空立方體特征的視頻交互事件分析裝置的組成結(jié)構(gòu)圖，其包括:預(yù)處理模塊，用于檢測并跟蹤監(jiān)控視頻中感興趣的對(duì)象；視頻序列劃分模塊，連接所述預(yù)處理模塊，用于基于檢測跟蹤結(jié)果將監(jiān)控視頻自適應(yīng)地劃分成時(shí)空立方體序列；時(shí)空立方體特征提取模塊，連接所述預(yù)處理模塊和所述視頻序列劃分模塊，用于提取監(jiān)控視頻中感興趣對(duì)象的視覺特征；時(shí)序特征重構(gòu)模塊，連接所述時(shí)空立方體特征提取模塊，用于將提取的時(shí)空立方體特征重構(gòu)成變長序列特征；序列特征分類模塊，連接所述時(shí)序特征重構(gòu)模塊，用于檢測監(jiān)控視頻中對(duì)象發(fā)生的交互事件。
[0041]圖2為本實(shí)施例的基于序列時(shí)空立方體特征的視頻交互事件分析方法的流程圖，對(duì)其具體說明如下:
[0042]I)將監(jiān)控視頻序列劃分成若干時(shí)空立方體，如圖3所示。
[0043]首先，對(duì)輸入的視頻序列進(jìn)行對(duì)象檢測及跟蹤，得到對(duì)象的位置和軌跡信息；然后以對(duì)象對(duì)(兩個(gè)對(duì)象)為基本處理單位，對(duì)每一個(gè)對(duì)象對(duì)，截取他們共同出現(xiàn)的視頻段，分析每個(gè)對(duì)象的軌跡變化，以及兩個(gè)軌跡的關(guān)系，以變化劇烈的時(shí)間點(diǎn)作為分隔點(diǎn)，將視頻段在時(shí)空域分成若干立方體，即時(shí)空立方體。采用“對(duì)象對(duì)”有利于研究對(duì)象之間的交互關(guān)系。
[0044]2)在每個(gè)時(shí)空立方體內(nèi)提取軌跡、表觀、局部運(yùn)動(dòng)描述子，組成特征片段，如圖4所示。
[0045]在每個(gè)時(shí)空立方體內(nèi)，提取軌跡關(guān)系、梯度、光流信息，分別來表征兩個(gè)對(duì)象的關(guān)系、表觀、局部運(yùn)動(dòng)特點(diǎn)；包括如下提取單元:
[0046]對(duì)象軌跡特征提取單元:在每個(gè)時(shí)空立方體內(nèi)提取的軌跡信息，包括:兩個(gè)對(duì)象之間的平均距離、兩個(gè)對(duì)象之間速度方向夾角、兩個(gè)對(duì)象區(qū)域的重疊面積；[0047]對(duì)象表觀特征提取單元:在每個(gè)時(shí)空立方體內(nèi)提取的表觀信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近的梯度直方圖，并運(yùn)用特征包(bag-of-feature)方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的梯度直方圖構(gòu)建成一個(gè)描述子；
[0048]對(duì)象局部運(yùn)動(dòng)特征提取單元:在每個(gè)立方體內(nèi)提取的局部運(yùn)動(dòng)信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近的光流直方圖，并運(yùn)用特征包(bag-of-feature )方法,將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的光流直方圖構(gòu)建成一個(gè)描述子。
[0049]每個(gè)時(shí)空立方體內(nèi)取到的描述對(duì)象對(duì)關(guān)系、表觀、局部運(yùn)動(dòng)的描述子組合在一起構(gòu)成一個(gè)特征片段，時(shí)間域相鄰的特征片段之間的差異描述了對(duì)像對(duì)的動(dòng)態(tài)變化信息。
[0050]3)針對(duì)所有時(shí)空立方體內(nèi)的特征片段進(jìn)行重構(gòu)，構(gòu)建序列時(shí)空立方體特征，利用重構(gòu)的特征進(jìn)行交互事件分類檢測，如圖5所示。該步驟具體包括:
[0051]a)利用視頻段內(nèi)的一系列特征片段以及特征片段的時(shí)域差分信息進(jìn)行特征重構(gòu)，將其串聯(lián)排列成一個(gè)時(shí)空立方體特征；
[0052]b)采用動(dòng)態(tài)時(shí)間對(duì)齊核函數(shù)來計(jì)算時(shí)空立方體特征的相似性，利用支持向量機(jī)來學(xué)習(xí)、分類視頻段；
[0053]c)對(duì)已經(jīng)標(biāo)注好的交互事件視頻段提取時(shí)空立方體特征，作為正樣本，隨機(jī)選取其他無關(guān)視頻段 ，對(duì)其提取時(shí)空立方體特征并作為負(fù)樣本，運(yùn)用基于動(dòng)態(tài)時(shí)間對(duì)齊核函數(shù)的支持向量機(jī)來進(jìn)行訓(xùn)練，得到分類模型；
[0054]d)運(yùn)用已經(jīng)得到的分類模型對(duì)未知視頻段進(jìn)行分類，輸出分類結(jié)果。得到該分類結(jié)果后，還可以進(jìn)行結(jié)果篩選等后續(xù)處理環(huán)節(jié)。
[0055]下面提供一個(gè)具體應(yīng)用實(shí)例，該實(shí)例采用的視頻為交通監(jiān)控視頻。
[0056]輸入一段交通監(jiān)控視頻，首先進(jìn)行車輛檢測，得到每一幀圖像中車輛的位置區(qū)域R1, R2,…Rn。其中Ri=U, y, width, height),表示車輛位置區(qū)域的起始點(diǎn)坐標(biāo)和車輛的長和寬。然后利用跟蹤算法，對(duì)于每個(gè)車輛進(jìn)行跟蹤，從而得到車輛的連續(xù)的位置軌跡T1, T2,…,Tffl,其中7； K Ι0-)，^?0-+?)，…5 / , t為視頻幀號(hào)，I⑴表示第t幀圖像中標(biāo)號(hào)為i的對(duì)象。
[0057]對(duì)于兩個(gè)車輛軌跡Ti, Tj，截取他們共同出現(xiàn)的一段時(shí)間(如果沒有則判定未發(fā)生異常事件)。然后按照以下規(guī)則將該段視頻分成若干時(shí)空立方體:1)從起始幀往后掃描，如果兩個(gè)對(duì)象距離大于L，則劃入第I個(gè)時(shí)空立方體，直到某一幀距離小于L ;2)從該幀開始，以K幀為單位，將剩余視頻段劃分成若干時(shí)空立方體；3)每段時(shí)空立方體內(nèi)，以對(duì)象的覆蓋區(qū)域?yàn)槟繕?biāo)，截取視頻中對(duì)象信息。
[0058]然后對(duì)于上一步獲得的時(shí)空立方體序列，首先提取對(duì)象的軌跡描述子，描述兩個(gè)對(duì)象的關(guān)系。軌跡描述子的提取方法如下:
[0059]Tlf = {4,4,04,00 (公式 U
[0060]其中，Ci，慫分別表示平均距離、平均相對(duì)速率以及平均重迭區(qū)域，k為時(shí)空立方體標(biāo)號(hào)，并且
, f O k = \
_1] ,>!
? O k ~\
[0062]dc^ = k η(公式 2)
[6SP -cSP? > 1
【權(quán)利要求】
1.一種基于序列時(shí)空立方體特征的視頻交互事件分析方法，其步驟包括: 1)基于監(jiān)控視頻的檢測跟蹤結(jié)果將該監(jiān)控視頻劃分成若干時(shí)空立方體序列； 2)在每個(gè)時(shí)空立方體內(nèi)提取對(duì)象軌跡描述子、對(duì)象表觀描述子和對(duì)象局部運(yùn)動(dòng)描述子，并將提取的描述子組成特征片段； 3)對(duì)所有時(shí)空立方體內(nèi)的特征片段進(jìn)行重構(gòu)以構(gòu)建序列時(shí)空立方體特征，利用該序列時(shí)空立方體特征進(jìn)行交互事件分類檢測。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟I)包括如下子步驟: a)根據(jù)每幀視頻內(nèi)的梯度、形狀和運(yùn)動(dòng)信息，并結(jié)合目標(biāo)對(duì)象的特點(diǎn)，檢測出對(duì)象的位置及運(yùn)動(dòng)軌跡； b)對(duì)于監(jiān)控視頻中出現(xiàn)的全部對(duì)象，利用已知的事件知識(shí)選擇出所有可能發(fā)生交互的對(duì)象對(duì)，并截取每對(duì)對(duì)象共同出現(xiàn)的視頻段； c)對(duì)于截取的視頻段，根據(jù)視頻段的時(shí)長以及視頻段內(nèi)的內(nèi)容變化，自適應(yīng)地劃分成若干時(shí)間子段，再結(jié)合對(duì)象的空間位置，構(gòu)成時(shí)空立方體。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)象軌跡描述子包括的軌跡信息是:兩個(gè)對(duì)象之間的平均距離、兩個(gè)對(duì)象之間速度方向夾角和兩個(gè)對(duì)象區(qū)域的重疊面積。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于:在每個(gè)時(shí)空立方體內(nèi)提取的表觀信息為對(duì)象覆蓋區(qū)域內(nèi)的特征 像素點(diǎn)附近梯度直方圖，并運(yùn)用特征包方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的梯度直方圖構(gòu)建成所述對(duì)象表觀描述子；在每個(gè)立方體內(nèi)提取的局部運(yùn)動(dòng)信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近光流直方圖，并運(yùn)用特征包方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的光流直方圖構(gòu)建成所述對(duì)象局部運(yùn)動(dòng)描述子。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟3)所述重構(gòu)的方法為:將各特征片段串連在一起形成時(shí)序特征，將相鄰時(shí)空立方體內(nèi)的特征片段的差分值加入所述時(shí)序特征中。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述序列時(shí)空立方體特征是變長的，根據(jù)事件發(fā)生的具體情況及具體時(shí)長而定。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于:采用動(dòng)態(tài)時(shí)間對(duì)齊核函數(shù)計(jì)算時(shí)空立方體特征的相似性，利用多核的支持向量機(jī)學(xué)習(xí)、分類視頻段。
8.一種基于序列時(shí)空立方體特征的視頻交互事件分析裝置，其特征在于，包括: 預(yù)處理模塊，用于檢測并跟蹤監(jiān)控視頻中感興趣的對(duì)象； 視頻序列劃分模塊，連接所述預(yù)處理模塊，用于基于檢測跟蹤結(jié)果將監(jiān)控視頻自適應(yīng)地劃分成時(shí)空立方體序列； 時(shí)空立方體特征提取模塊，連接所述預(yù)處理模塊和所述視頻序列劃分模塊，用于提取監(jiān)控視頻中感興趣對(duì)象的視覺特征； 時(shí)序特征重構(gòu)模塊，連接所述時(shí)空立方體特征提取模塊，用于將提取的時(shí)空立方體特征重構(gòu)成變長序列特征； 序列特征分類模塊，連接所述時(shí)序特征重構(gòu)模塊，用于檢測監(jiān)控視頻中對(duì)象發(fā)生的交互事件。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于:所述時(shí)空立方體特征提取模塊包括對(duì)象軌跡特征提取單元、對(duì)象表觀特征提取單元和對(duì)象局部運(yùn)動(dòng)特征提取單元。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于: 所述對(duì)象軌跡描述子提取單元在每個(gè)時(shí)空立方體內(nèi)提取的軌跡信息包括:兩個(gè)對(duì)象之間的平均距離，兩個(gè)對(duì)象之間速度方向夾角，以及兩個(gè)對(duì)象區(qū)域的重疊面積； 所述對(duì)象表觀描述子提取單元在每個(gè)時(shí)空立方體內(nèi)提取的表觀信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近梯度直方圖，并運(yùn)用特征包方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提取的梯度直方圖構(gòu)建成一個(gè)描述子； 所述對(duì)象局部運(yùn)動(dòng)描述子提取單元在每個(gè)立方體內(nèi)提取的局部運(yùn)動(dòng)信息為對(duì)象覆蓋區(qū)域內(nèi)的特征像素點(diǎn)附近光流直方圖，并運(yùn)用特征包方法，將每個(gè)時(shí)空立方體內(nèi)的所有特征點(diǎn)附近提 取的光流直方圖構(gòu)建成一個(gè)描述子。
【文檔編號(hào)】G06T7/00GK103902966SQ201210590580
【公開日】2014年7月2日 申請日期:2012年12月28日 優(yōu)先權(quán)日:2012年12月28日
【發(fā)明者】田永鴻, 房曉宇, 王耀威, 黃鐵軍 申請人:北京大學(xué)