一種人體動(dòng)作特征提取方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明屬于自動(dòng)視頻分析技術(shù)領(lǐng)域，涉及一種快速人體動(dòng)作自動(dòng)識(shí)別方法，具體 涉及一種人體動(dòng)作特征快速提取方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的不斷發(fā)展、視頻監(jiān)控系統(tǒng)的不斷推廣，視頻數(shù)據(jù)量急劇增長(zhǎng)。面對(duì)海 量涌現(xiàn)的視頻數(shù)據(jù)，如何快速分析其中包含的人體動(dòng)作行為成為一個(gè)亟待解決的問(wèn)題。目 前運(yùn)動(dòng)特征提取算法運(yùn)行速度慢，達(dá)不到在線快速視頻分析工程要求。

【發(fā)明內(nèi)容】

[0003] 為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種快速的人體動(dòng)作特征快速提取方法。
[0004] 本發(fā)明所采用的技術(shù)方案是:一種人體動(dòng)作特征提取方法，其特征在于，包括以下 步驟：
[0005] 步驟1:解碼視頻碼流獲取視頻原始圖像及圖像運(yùn)動(dòng)矢量數(shù)據(jù)；
[0006] 步驟2:在視頻原始圖像中檢測(cè)行人；
[0007] 步驟3:剔除行人區(qū)域中的圖像運(yùn)動(dòng)矢量數(shù)據(jù)，獲得相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)矢量數(shù)據(jù)；
[0008] 步驟4:基于相機(jī)運(yùn)動(dòng)的對(duì)稱性及矢量差分理論，對(duì)相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)矢量數(shù)據(jù)進(jìn) 行相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)；
[0009] 步驟5 :根據(jù)估計(jì)參數(shù)值，消除視頻運(yùn)動(dòng)矢量數(shù)據(jù)中的相機(jī)運(yùn)動(dòng)矢量，還原實(shí)際目 標(biāo)運(yùn)動(dòng)矢量數(shù)據(jù)，獲得修正后的矢量數(shù)據(jù)；
[0010] 步驟6:基于修正后的矢量數(shù)據(jù)及解碼圖像提取人體動(dòng)作局部時(shí)空特征。
[0011]作為優(yōu)選，步驟1中是利用開(kāi)源工具FFMPEG解碼視頻碼流獲取視頻原始圖像及圖 像運(yùn)動(dòng)矢量數(shù)據(jù)，F(xiàn)FMPEG解碼器根據(jù)視頻碼流編碼格式，自動(dòng)調(diào)用相應(yīng)的解碼器對(duì)碼流進(jìn) 行解碼，得到原始圖像幀F(xiàn)m和圖像運(yùn)動(dòng)矢量數(shù)據(jù)MV= {MV(k〇，MV(k2)，…，MV(K)}，其中K為 視頻碼流中宏塊數(shù)。
[0012] 作為優(yōu)選，步驟2中是利用快速行人檢測(cè)算法yolo在視頻原始圖像中檢測(cè)行人，利 用基于行人檢測(cè)圖片數(shù)據(jù)集事先離線訓(xùn)練好的y〇l〇算法參數(shù)模型，檢測(cè)原始圖像幀F(xiàn) m中的 行人，獲取行人在圖像中的區(qū)域位置。
[0013] 作為優(yōu)選，步驟4的具體實(shí)現(xiàn)過(guò)程為，在視頻解碼得到壓縮域P幀運(yùn)動(dòng)矢量數(shù)據(jù)后， 基于圖像中心原點(diǎn)構(gòu)建圖像坐標(biāo)系Χ0Υ，X軸方向向右，Y軸方向向下;P幀中的每一個(gè)運(yùn)動(dòng)矢 量能分解為平衡分量、伸縮分量和旋轉(zhuǎn)分量的組合;相機(jī)運(yùn)動(dòng)參數(shù)方程表示為：
[0014]
[0015] 其中，tx和ty分別表示X軸和Y軸上的平衡變化;&1和 &2控制伸縮和旋轉(zhuǎn)變化；由此， 相機(jī)運(yùn)動(dòng)估計(jì)轉(zhuǎn)換為對(duì)tx、ty、ai和a 2四個(gè)參數(shù)的估計(jì)；
[0016] 在圖像坐標(biāo)系Χ0Υ下，任意點(diǎn)Zi位置的運(yùn)動(dòng)矢量表示為：
[0019]
[0017] MV(zi) = f(zi |A,T)-Zi = (A-I)zi+T (2);[0018] 相機(jī)平移運(yùn)動(dòng)參數(shù)求解公式如下：
[0020]
[0021]其中21，211，2111，印分別為圖像坐標(biāo)系父0￥第一、二、三、四象限中的像素點(diǎn)坐標(biāo)；
[0022] 應(yīng)用公式3和公式4基于P幀運(yùn)動(dòng)矢量數(shù)據(jù)計(jì)算，得到參數(shù)T的初步估計(jì)值集合Tinit =i2，…，Τυη,Μ，Tn_IV,i，Tn_IV,2，…，Tn_ IV,N};然后計(jì)算所有Ti數(shù)據(jù)的均值，并 計(jì)算所有數(shù)據(jù)與此均值的殘差，再將殘差的絕對(duì)平均值作為閾值剔除對(duì)應(yīng)殘差絕對(duì)值大于 這個(gè)閾值的異常數(shù)據(jù)，剩余初始!^參數(shù)數(shù)據(jù)的均值作為最終參數(shù)T的估計(jì)值 ty esti);
[0023] 參數(shù)a#Pa2求解公式如下：
[0024]
[0025]
[0026]
[0027]
[0028] 其中 = =
[0029] 應(yīng)用公式5、公式6、公式7和公式8基于P幀運(yùn)動(dòng)矢量數(shù)據(jù)計(jì)算，得到參數(shù)ai，a2的初 步估計(jì)值集合ai-init= {aix-1，aix-2，…，aix-l，aiY-1，aiY-2，…，aiY-κ}和a2-init = {a2x-1，a2x-2，…， a2x_R，a2Y_i，a2Y_2，···，a2Y_s}，計(jì)算所有ai_i，a 2_i參數(shù)數(shù)據(jù)均值，然后再計(jì)算所有數(shù)據(jù)與此均值 的殘差，并將殘差的絕對(duì)平均值作為閾值剔除對(duì)應(yīng)殘差絕對(duì)值大于這個(gè)閾值的異常數(shù)據(jù)， 剩余初始ai_i，a2_i參數(shù)數(shù)據(jù)的均值被作為最終參數(shù)ai，a 2的估計(jì)值ai^t^as^ti。
[0030] 作為優(yōu)選，步驟5中所述消除視頻壓縮域運(yùn)動(dòng)矢量數(shù)據(jù)的相機(jī)運(yùn)動(dòng)矢量，計(jì)算公式 如下：
[0031]
[0032] 作為優(yōu)選，步驟6的具體實(shí)現(xiàn)過(guò)程為，將視頻立體塊按16行X 16列X5幀切分成小 塊，并按小塊計(jì)算H0G、H0F和MBH值;對(duì)小塊視頻H0G、H0F和MBH值按2 X 2 X 3塊進(jìn)行拼接，得 到人體動(dòng)作特征描述向量。
[0033] 相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的有益效果為：明顯提升了動(dòng)作特征提取速度，可應(yīng)用于 在線快速動(dòng)作分析。
【附圖說(shuō)明】
[0034] 圖1是本發(fā)明實(shí)施例的流程圖。
[0035] 圖2是本發(fā)明實(shí)施例的相機(jī)伸縮、旋轉(zhuǎn)運(yùn)動(dòng)矢量對(duì)稱消減示例圖。
[0036] 圖3是本發(fā)明實(shí)施例的人體動(dòng)作H0G、H0F、MBH特征提取方法圖。
【具體實(shí)施方式】
[0037] 為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā) 明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說(shuō)明和解釋本發(fā)明，并不 用于限定本發(fā)明。
[0038] 參見(jiàn)圖1，本發(fā)明實(shí)施例提供的一種人體動(dòng)作特征快速提取方法，具體包括以下步 驟：
[0039]步驟1:利用開(kāi)源工具FFMPEG解碼視頻碼流獲取視頻原始圖像及圖像運(yùn)動(dòng)矢量數(shù) 據(jù)。FFMPEG解碼器根據(jù)視頻碼流編碼格式，自動(dòng)調(diào)用相應(yīng)的解碼器對(duì)碼流進(jìn)行解碼，得到原 始圖像幀F(xiàn)m和圖像運(yùn)動(dòng)矢量數(shù)據(jù)MV= {MV(k〇，MV(k2)，…，MV(K)}，其中K為視頻碼流中宏塊 數(shù)。
[0040] 步驟2:利用快速行人檢測(cè)算法yolo在視頻原始圖像中檢測(cè)行人。利用基于行人檢 測(cè)圖片數(shù)據(jù)集事先離線訓(xùn)練好的y〇l〇算法參數(shù)模型，檢測(cè)原始圖像幀F(xiàn) m*的行人，獲取行 人在圖像中的區(qū)域位置。
[0041] 步驟3 :剔除行人區(qū)域中的圖像運(yùn)動(dòng)矢量數(shù)據(jù)，獲得相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)矢量數(shù)據(jù) MVesti= _(1!)，MV(12)，…，MV(L)} 〇
[0042] 步驟4:利用相機(jī)運(yùn)動(dòng)的對(duì)稱性及矢量差分理論，基于視頻壓縮域運(yùn)動(dòng)矢量數(shù)據(jù)進(jìn) 行相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)。在相機(jī)運(yùn)動(dòng)參數(shù)估計(jì)矢量數(shù)據(jù)中，基于圖像中心原點(diǎn)構(gòu)建圖像坐標(biāo) 系Χ0Υ(參見(jiàn)圖2)，X軸方向向右，Y軸方向向下。P幀中的每一個(gè)運(yùn)動(dòng)矢量可以分解為平衡分 量、伸縮分量和旋轉(zhuǎn)分量的組合。相機(jī)運(yùn)動(dòng)參數(shù)方程可以表示為：
[0043]
[0044] 其中，tx和ty分別表示X軸和Y軸上的平衡變化。a#Pa2控制伸縮和旋轉(zhuǎn)變化。由此， 相機(jī)運(yùn)動(dòng)估計(jì)轉(zhuǎn)換為對(duì)t x、ty、ai和a2四個(gè)參數(shù)的估計(jì)。
[0045] 在圖2所示的圖像坐標(biāo)系Χ0Υ下，任意點(diǎn)Zi位置的運(yùn)動(dòng)矢量可表示為：
[0046] MV(zi) = f(zi |A,T)-Zi = (A-I)zi+T (2);
[0047] 請(qǐng)見(jiàn)圖2,因?yàn)樯炜s分量和旋轉(zhuǎn)分量基于原點(diǎn)對(duì)稱，所以第一、三象限和二、四象限 的運(yùn)動(dòng)矢量和旋轉(zhuǎn)分量可以對(duì)稱消減，消減后剩下平