基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法
【專利摘要】本發(fā)明公開一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法。它是利用碼本模型運(yùn)動(dòng)檢測(cè)，融合顏色和紋理特征，對(duì)目標(biāo)進(jìn)行綜合推理匹配，可適應(yīng)圖像形變，適用顏色過(guò)暗情況，受背景像素干擾少，通過(guò)優(yōu)化建模、軌跡分析、軌跡預(yù)測(cè)，極大提高視頻濃縮過(guò)程中運(yùn)動(dòng)目標(biāo)提取的準(zhǔn)確性和完整性，降低視頻濃縮后的目標(biāo)丟失率。
【專利說(shuō)明】基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法 所屬技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種視頻濃縮方法，尤其是基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的方法。
【背景技術(shù)】
[0002] 目前，公知的視頻濃縮方法易受背景干擾，視頻濃縮結(jié)果中運(yùn)動(dòng)目標(biāo)易丟失。
[0003] CN化t.No.201510802199.4提出了通過(guò)視頻分段和H264編碼建模生成視頻摘要 的方法。該方法將視頻分割成η個(gè)長(zhǎng)度近似的片段，再通過(guò)基于集群及H264的視頻濃縮算法 生成摘要，過(guò)程中設(shè)計(jì)反復(fù)解碼編碼，運(yùn)就限制了在實(shí)際應(yīng)用中的時(shí)效性。并且，該方法通 過(guò)對(duì)比亮帖的灰度變化并對(duì)應(yīng)像素相減來(lái)建模，當(dāng)前景和背景顏色相似，亮度差異小時(shí)，前 景分割將模糊。
[0004] CN化t .No.201510419604.4提出了基于視頻帖的目標(biāo)跟蹤方法。該方法通過(guò)分析 兩帖的像素重疊點(diǎn)是否相近區(qū)域面積來(lái)判定是否為同一目標(biāo)，運(yùn)種方法計(jì)算量小，運(yùn)算快， 可W快速初步提取出運(yùn)動(dòng)目標(biāo)。但是當(dāng)目標(biāo)被部分遮擋時(shí)，該方法提出的目標(biāo)提取和目標(biāo) 跟蹤方法將受到非常大的干擾。該專利目的在于實(shí)現(xiàn)快速的運(yùn)動(dòng)跟蹤，可是在運(yùn)動(dòng)目標(biāo)檢 測(cè)過(guò)程易受到干擾，運(yùn)將影響目標(biāo)跟蹤的結(jié)果。
[0005] 基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，它是利用碼本模型運(yùn)動(dòng)檢測(cè)檢測(cè) 出運(yùn)動(dòng)目標(biāo)，融合顏色和紋理特征，對(duì)目標(biāo)進(jìn)行綜合推理匹配，可適應(yīng)圖像形變，適用顏色 過(guò)暗情況，受背景像素干擾少，通過(guò)優(yōu)化建模、軌跡分析、軌跡預(yù)測(cè)，極大提高視頻濃縮過(guò)程 中運(yùn)動(dòng)目標(biāo)提取的準(zhǔn)確性和完整性，降低視頻濃縮后的目標(biāo)丟失率。

【發(fā)明內(nèi)容】

[0006] 為了解決視頻濃縮結(jié)果中運(yùn)動(dòng)目標(biāo)丟失的問(wèn)題，本發(fā)明優(yōu)化建模、軌跡分析、軌跡 預(yù)測(cè)，建立目標(biāo)的綜合推理匹配策略，來(lái)解決建模W后目標(biāo)邊緣不清晰、不能完整提取目標(biāo) 的運(yùn)動(dòng)軌跡、遺漏運(yùn)動(dòng)目標(biāo)的問(wèn)題。
[0007] -種基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法包括:對(duì)于運(yùn)動(dòng)目標(biāo)的檢測(cè)提 取單元;對(duì)于運(yùn)動(dòng)目標(biāo)的軌跡預(yù)測(cè)單元;運(yùn)動(dòng)目標(biāo)的軌跡匹配單元。
[000引優(yōu)選的，在上述的一種基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法中，所述對(duì) 于運(yùn)動(dòng)目標(biāo)的檢測(cè)提取單元包括:運(yùn)動(dòng)目標(biāo)的檢測(cè)計(jì)算單元;運(yùn)動(dòng)目標(biāo)的提取計(jì)算單元。
[0009] 優(yōu)選的，在上述的一種基于對(duì)象的運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法中，所述運(yùn) 動(dòng)目標(biāo)的軌跡匹配單元包括：目標(biāo)的多特征融合計(jì)算單元；目標(biāo)的綜合推理匹配策略計(jì)算 單元。
[0010] 本發(fā)明公開一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，包括如下步驟：
[0011] A.數(shù)據(jù)矢量量化編碼
[0012] B.碼本模型運(yùn)動(dòng)檢測(cè)
[0013] C.對(duì)于運(yùn)動(dòng)目標(biāo)的軌跡預(yù)測(cè)
[0014] D.目標(biāo)的多特征融合
[00巧]E.目標(biāo)的綜合推理匹配
[0016] 優(yōu)選的，在上述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所述 步驟A包括如下步驟：
[0017] A1.對(duì)原始數(shù)據(jù)分害喊大小相同的塊，每個(gè)小塊包含了許多像素；
[0018] A2.形成由左至右、由上而下地串成一個(gè)向量；
[0019] A3.收集具有代表性的向量制作出碼本，找出其中跟此小塊最接近的碼字的索引 值代替此小塊，組成一張索引表;將此作為原始數(shù)據(jù)壓縮的結(jié)果。
[0020] 優(yōu)選的，在上述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所述 步驟B包括如下步驟：
[0021] B1.在視頻帖的每一個(gè)像素位置，為該位置建立了包含了一個(gè)或多個(gè)碼字的碼本； 視頻序列中一個(gè)像素點(diǎn)的訓(xùn)練序列為X={xi，X2…Xn}，該像素對(duì)應(yīng)的碼本為C=kl，C2… cl}，每個(gè)碼字Ci為二元組結(jié)構(gòu)Ci = <Vi，化〉。Vi =巧，石，百)，Vi對(duì)應(yīng)該碼字的累積RGBS通道的 平均顏色值。叫=化，ii，fi，Yi>，其中各個(gè)參數(shù)分別表示碼字對(duì)應(yīng)像素的最小、最大亮度值，碼 字出現(xiàn)的字?jǐn)?shù)，碼字在訓(xùn)練中未出現(xiàn)的最大間隔時(shí)間W及第一次和最后一次訪問(wèn)的時(shí)間。
[0022] B2.檢測(cè)像素運(yùn)動(dòng)情況;對(duì)于t時(shí)刻待檢測(cè)的像素，將當(dāng)前像素值xt與對(duì)應(yīng)的碼本 進(jìn)行比較，如果沒(méi)有相匹配的碼字，則創(chuàng)建一個(gè)新的碼字UL = <I，I，l，t-l，t，t>添加到其碼 本中；如果匹配的碼字有多個(gè)，則根據(jù)顏色相似度和亮度范圍確定匹配最好的碼字并更新 碼本，公式如下
[002；3] 1? =《柄如杉,y，巧取如句，魚I + 1,饑獻(xiàn)樣嚇t -輪}, Pm,詩(shī)
[0024] B3.當(dāng)訓(xùn)練結(jié)束后，為每個(gè)碼字Cl更新未訪問(wèn)的最大時(shí)間間隔Τι為
[0025] Τ i=max{ Τ i,N-qi+pi_l}。
[0026] 優(yōu)選的，在上述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，所述的步驟C利用 基于均值漂移的粒子濾波器來(lái)實(shí)現(xiàn)目標(biāo)軌跡預(yù)測(cè)，包括如下步驟：
[0027] C1:檢驗(yàn)分布預(yù)測(cè)得到的粒子;計(jì)算t-1時(shí)刻的待跟蹤目標(biāo)特征概率函數(shù)Fm(t-l)， 其中屯、為Xt-l，和t時(shí)刻的N個(gè)粒子中第P個(gè)粒子特征概率函數(shù)FmW(t)，其中屯、為St<P>，得出目 標(biāo)偏移向量Mft知η。
[00%] C2:按照偏移向量調(diào)整t時(shí)刻的目標(biāo)位置，其中核函數(shù)為G(X)，CtW為加權(quán)系數(shù);公 式如下
[0031 ]優(yōu)選的，在上述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所述 的步驟D包括如下步驟：
[0032] D1:通過(guò)RGB區(qū)域加權(quán)直方圖方式提取場(chǎng)景的顏色特征;L為顏色量化階數(shù)，則第i 個(gè)顏色粒子對(duì)應(yīng)區(qū)域的加權(quán)直方圖定義公式如下
[0036] 是歸一化因子;S表示區(qū)域內(nèi)像素的個(gè)數(shù);τ表示區(qū)域中屯、的像素點(diǎn)，τι表示區(qū)域中 某個(gè)像素點(diǎn)，τ-τι表示τ到τι的距離;h是核帶寬；用核函數(shù)k( ·)降低周圍區(qū)域與背景相似的 像素點(diǎn)帶來(lái)的干擾；
[0037] D2:權(quán)重分配；給靠近區(qū)域中屯、的像素所對(duì)應(yīng)的顏色特征賦予較高的權(quán)值；δ為 Kronecker余子函數(shù);ιΚτΟ表示Ti位置處像素的顏色階數(shù);μ為顏色直方圖階數(shù)，取值范圍為 (1，2^-，3);設(shè)9^和9^^9片^分別為目標(biāo)顏色直方圖模板和在*時(shí)刻^為中屯、的1個(gè)顏色 粒子所對(duì)應(yīng)的顏色直方圖，則其對(duì)應(yīng)的顏色特征觀測(cè)概率如下公式
[00；3 引
[0039] 則第i個(gè)顏色粒子的權(quán)重更新后如下公式
[0040]
[0041] D3:通過(guò)邊緣加權(quán)直方圖方式提取場(chǎng)景的紋理特征，融合紋理特征和顏色特征，共 同對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行狀態(tài)估計(jì)；
[0042] t時(shí)刻運(yùn)動(dòng)目標(biāo)S的狀態(tài)估計(jì)如下公式
[0043]
[0044] 其中，Nceler與Ncedge表示顏色特征與邊緣特征各自的粒子數(shù)目，表示第i個(gè)顏 色粒子在t時(shí)刻狀態(tài)，表示第j個(gè)邊緣粒子在t時(shí)刻狀態(tài)，Sgw w = = !;
[0045] 其t時(shí)刻目標(biāo)s的第k個(gè)特征的貢獻(xiàn)度函數(shù)dg跟新為：
[004引 Nk表示目標(biāo)參考特征數(shù)目，反應(yīng)特征的線索有效性的變化;在當(dāng)某一特征線 索退化時(shí)候，自動(dòng)減少該特征貢獻(xiàn)度，增加仍然具有魯棒性的特征貢獻(xiàn)度進(jìn)行跟蹤。
[0049] 優(yōu)選的，在上述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所述 的步驟E對(duì)于如下場(chǎng)景的處理計(jì)算方法：
[0050] 建立t時(shí)刻的目標(biāo)跟蹤列茍77端=1巧目標(biāo)檢測(cè)列巧{巧說(shuō)=1之間的推理關(guān)系矩陣 P、各個(gè)目標(biāo)的線索矩陣Ci/r、目標(biāo)掛起標(biāo)識(shí)5巧、生命周期￡戸；
[0化1]場(chǎng)景一：目標(biāo)離開場(chǎng)景:Pm=0表明目標(biāo)ΓΓ退出場(chǎng)景或者被完全遮擋。當(dāng)if三β時(shí)， 將目標(biāo)ΓΓ從跟蹤列表移除，否則，將目標(biāo)掛起，6/_.'t"=TRUE，呼二評(píng)-Η;
[(K)對(duì)場(chǎng)景二：目標(biāo)進(jìn)入場(chǎng)景:Pn=0,將韓信息加入到跟蹤目標(biāo)列表中；
[0053] 場(chǎng)景Ξ:多目標(biāo)合并:Pn> 1，多個(gè)單獨(dú)的運(yùn)動(dòng)目標(biāo)聚集到了一起，形成了一個(gè)較大 的聚集目標(biāo)，目標(biāo)間存在交錯(cuò)遮擋;將巧?尋目標(biāo)掛起，，fl^=TRUE，利用畔的速度信息更 新巧"邊界矩陣，其余特征不進(jìn)行更新；
[0054] 場(chǎng)景四：孤立目標(biāo)簡(jiǎn)單運(yùn)動(dòng)：？。=1，？。=1，5巧斗八^5[，(心品均為0，巧《與/^匹 配;利用而"更新校正rf的特征信息；
[005引場(chǎng)景五：目標(biāo)分裂:Pm〉l，β皆=Τ民1瓜，多目標(biāo)發(fā)生了分裂，運(yùn)可能是目標(biāo)被出現(xiàn)在 場(chǎng)景中的欄桿、樹木等物體部分遮擋，也可能是本身聚集在一起的多個(gè)運(yùn)動(dòng)目標(biāo)發(fā)生了分 裂，分裂出的目標(biāo)為曾被跟蹤的，恢復(fù)rf的跟蹤信息，將盡巧^置為FALSE，利甩礎(chǔ)^更新校正 T'f的特征信息;？《〉1，^巧^=踐1^86，表明多目標(biāo)發(fā)生了分裂，分裂出的是^前未被跟蹤的新 目標(biāo)，將解信息加入到跟蹤目標(biāo)列表中；
[0056] 場(chǎng)景六:遮擋：部分遮擋，Pm=l，Pn=l，公皆=FALSE，a鉛中存在CO·晉* 0且不是 所有的品> /1，表明目標(biāo)開始發(fā)生遮擋或者形變，但其形變或者遮擋情況仍較為輕微，其 跟蹤特征信息仍可信，利用更新校正7Γ的特征信息;靜態(tài)背景障礙物遮擋，Pm=l，Pn = 1，S/4"=FALSE，所有Ci/|| > 1，利用及f更新校正新目標(biāo)的邊界矩陣信息，但不更新目標(biāo)的 其余特征，同時(shí)將β犀置為TR肥對(duì)目標(biāo)的生命周期呼開始每帖自增1;
[0化7] 場(chǎng)景屯:遮擋后恢復(fù)跟蹤:Pm= 1，Ρη = 1，Β巧=TRUE，表明目標(biāo)罐是曾經(jīng)被背景障 礙物遮擋的ΓΓ又一次出現(xiàn)在場(chǎng)景中，恢復(fù)跟蹤。利用β?更新校正TT的特征信息;恢復(fù)對(duì)rf 跟蹤同時(shí)將及巧置為FALSE。
[0058] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下技術(shù)效果：
[0059] 采用本發(fā)明方案，它是利用碼本模型運(yùn)動(dòng)檢測(cè)，融合顏色和紋理特征，對(duì)目標(biāo)進(jìn)行 綜合推理匹配，可適應(yīng)圖像形變，適用顏色過(guò)暗情況，受背景像素干擾少，通過(guò)優(yōu)化建模、軌 跡分析、軌跡預(yù)測(cè)，極大提高視頻濃縮過(guò)程中運(yùn)動(dòng)目標(biāo)提取的準(zhǔn)確性和完整性，降低視頻濃 縮后的目標(biāo)丟失率。
【附圖說(shuō)明】
[0060] 圖1是本發(fā)明矢量量化編碼示意圖；
[0061 ]圖2是本發(fā)明本模型檢測(cè)流程圖；
[0062] 圖3是本發(fā)明Grab化t算法前景背景分割效果圖；
[0063] 圖4是本發(fā)明目標(biāo)特征分析計(jì)算流程圖；
[0064] 圖5是本發(fā)明RGB區(qū)域加權(quán)直方圖特征生成流程圖；
[0065] 圖6是本發(fā)明顏色紋理綜合特征生成流程圖；
[0066] 圖7是本發(fā)明目標(biāo)的綜合推理匹配結(jié)構(gòu)圖；
[0067] 圖8是本發(fā)系統(tǒng)整體流程圖。
【具體實(shí)施方式】
[0068] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于 本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0069] 本發(fā)明公開一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，包括:對(duì)于運(yùn)動(dòng)目標(biāo)的 檢測(cè)提取單元;對(duì)于運(yùn)動(dòng)目標(biāo)的軌跡預(yù)測(cè)單元;運(yùn)動(dòng)目標(biāo)的軌跡匹配單元。
[0070] 其中，上述對(duì)于運(yùn)動(dòng)目標(biāo)的檢測(cè)提取單元包括:運(yùn)動(dòng)目標(biāo)的檢測(cè)計(jì)算單元;運(yùn)動(dòng)目 標(biāo)的提取計(jì)算單元。
[0071] 上述運(yùn)動(dòng)目標(biāo)的軌跡匹配單元包括：目標(biāo)的多特征融合計(jì)算單元；目標(biāo)的綜合推 理匹配策略計(jì)算單元。
[0072] 如圖8所示，本發(fā)明公開的視頻濃縮方法包括多個(gè)數(shù)據(jù)源：如RGB區(qū)域加權(quán)直方圖 像，邊緣加權(quán)直方圖像。本發(fā)明公開的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，首先對(duì) 像素進(jìn)行矢量量化編碼;然后利用碼本模型檢測(cè)出運(yùn)動(dòng)目標(biāo);通過(guò)GrabCut分離前景背景； 然后提取目標(biāo)的RGB區(qū)域加權(quán)直方圖特征和邊緣加權(quán)直方圖特征，融合顏色和紋理特征，共 同對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行狀態(tài)估計(jì);然后通過(guò)目標(biāo)的綜合推理匹配策略得到目標(biāo)的運(yùn)動(dòng)軌跡。
[0073] 如圖1所示，對(duì)像素進(jìn)行矢量量化編碼，把原始數(shù)據(jù)分割成大小相同的塊，每個(gè)小 塊包含了許多像素;形成由左至右、由上而下地串成一個(gè)向量;收集具有代表性的向量制作 出碼本，找出其中跟此小塊最接近的碼字的索引值代替此小塊，組成一張索引表;將此作為 原始數(shù)據(jù)壓縮的結(jié)果。
[0074] 如圖2所示，在上述的運(yùn)動(dòng)目標(biāo)的檢測(cè)計(jì)算單元，利用碼本模型檢測(cè)出運(yùn)動(dòng)目標(biāo)， 在視頻帖的每一個(gè)像素位置，為該位置建立了包含了一個(gè)或多個(gè)碼字的碼本；
[0075] 視頻序列中一個(gè)像素點(diǎn)的訓(xùn)練序列為X = {XI，X2…XN}，該像素對(duì)應(yīng)的碼本為C = レl,C2…CL}，每個(gè)碼字ci為二元組結(jié)構(gòu)ci = <vi,Ui〉。'Vi =《R,6,B)，vi對(duì)應(yīng)該碼字的累積RGB Ξ通道的平均顏色值。Ui =(心心私義》，其中各個(gè)參數(shù)分別表示碼字對(duì)應(yīng)像素的最小、最大 亮度值，碼字出現(xiàn)的字?jǐn)?shù)，碼字在訓(xùn)練中未出現(xiàn)的最大間隔時(shí)間W及第一次和最后一次訪 問(wèn)的時(shí)間。
[0076] 檢測(cè)像素運(yùn)動(dòng)情況;對(duì)于t時(shí)刻待檢測(cè)的像素，將當(dāng)前像素值xt與對(duì)應(yīng)的碼本進(jìn)行 比較，如果沒(méi)有相匹配的碼字，則創(chuàng)建一個(gè)新的碼字UL = <I，I，l，t-l，t，t>添加到其碼本 中；如果匹配的碼字有多個(gè)，則根據(jù)顏色相似度和亮度范圍確定匹配最好的碼字并更新碼 本，公式如下
[0077]
[007引當(dāng)訓(xùn)練結(jié)束后，為每個(gè)碼字Cl更新未訪問(wèn)的最大時(shí)間間隔Τι為
[0079] Τ i=max{ Τ i,N-qi+pi_l}。
[0080] 如圖3中（a)所示，使用Grab化t算法分割前景背景，該算法利用了圖像中的顏色信 息和邊界信息，只要少量的用戶交互操作即可得到比較好的分割結(jié)果。如圖3中（b)所示，在 通過(guò)深度學(xué)習(xí)算法訓(xùn)練后，可更完整體提取出目標(biāo)和背景相似的部分。
[0081 ] GrabCut 函數(shù)說(shuō)明：
[0082] 函數(shù)原型：
[0083] void CV::邑rabCut(const Mat&im邑，Mat&mask,Rect rect,
[0084] Mat&bgdModel,Mat&fgdModel,
[0085] int iterCount,int mode)
[0086] 其中；
[0087] img--待分割的源圖像，必須是8位3通道(CV_WC3)圖像，在處理的過(guò)程中不會(huì) 被修改；
[0088] mask一一掩碼圖像，如果使用掩碼進(jìn)行初始化，那么mask保存初始化掩碼信息;在 執(zhí)行分割的時(shí)候，也可W將用戶交互所設(shè)定的前景與背景保存到mask中，然后再傳入 Grab化t函數(shù);在處理結(jié)束之后，mask中會(huì)保存結(jié)果。mask只能取W下四種值：
[0089] GCD_BGD(=0)，背景；
[0090] GCD_FGD( = 1)，前景；
[00川 GCD_PR_BGD(=2)，可能的背景；
[0092] GCD_PR_FGD(=3)，可能的前景。
[0093] 如果沒(méi)有手工標(biāo)記GCD_BGD或者GCD_FGD，那么結(jié)果只會(huì)有GCD_PR_BGD或GCD_PR_ FGD；
[0094] rect一一用于限定需要進(jìn)行分割的圖像范圍，只有該矩形窗口內(nèi)的圖像部分才被 處理；
[0095] bgdModel--背景模型，如果為null,函數(shù)內(nèi)部會(huì)自動(dòng)創(chuàng)建一個(gè)bgdModel; bgdModel必須是單通道浮點(diǎn)型(CV_32FC1)圖像，且行數(shù)只能為1，列數(shù)只能為13巧；
[0096] f gdModel--前景模型，如果為null,函數(shù)內(nèi)部會(huì)自動(dòng)創(chuàng)建一個(gè)f gdMode 1 ; fgdModel必須是單通道浮點(diǎn)型(CV_32FC1)圖像，且行數(shù)只能為1，列數(shù)只能為13巧；
[0097] iterCount--迭代次數(shù)，必須大于0;
[0098] mode--用于指示grab化t函數(shù)進(jìn)行什么操作，可選的值有：
[0099] GC_INIT_WnH_RECT( =0)，用矩形窗初始化GrabCut;
[0100] GC_INIT_WnH_MASK( = 1 )，用掩碼圖像初始化 GrabCut;
[0101] GC_EVAL(=2)，執(zhí)行分割。
[0102] 完成目標(biāo)與背景的分離。
[0103] 如圖4所示，將目標(biāo)與背景分離后，利用基于均值漂移的粒子濾波器來(lái)實(shí)現(xiàn)目標(biāo)軌 跡預(yù)測(cè)。
[0104] 檢驗(yàn)分布預(yù)測(cè)得到的粒子;計(jì)算t-1時(shí)刻的待跟蹤目標(biāo)特征概率函數(shù)Fm(t-l)，其 中屯、為Xt-l，和t時(shí)刻的N個(gè)粒子中第P個(gè)粒子特征概率函數(shù)FmW(t)，其中屯、為St^，得出目標(biāo) 偏移向量。
[0105] 按照偏移向量調(diào)整t時(shí)刻的目標(biāo)位置，其中核函數(shù)為G(X)，CtW為加權(quán)系數(shù);公式 如下
[0108]如圖5所示，通過(guò)RGB區(qū)域加權(quán)直方圖方式提取場(chǎng)景的顏色特征；L為顏色量化階 數(shù)，則第i個(gè)顏色粒子對(duì)應(yīng)區(qū)域的加權(quán)直方圖定義如下公式
[0112] 是歸一化因子;S表示區(qū)域內(nèi)像素的個(gè)數(shù);τ表示區(qū)域中屯、的像素點(diǎn)，τι表示區(qū)域中 某個(gè)像素點(diǎn)，τ-τι表示τ到τι的距離;h是核帶寬；用核函數(shù)k( ·)降低周圍區(qū)域與背景相似的 像素點(diǎn)帶來(lái)的干擾。
[0113] 給靠近區(qū)域中屯、的像素所對(duì)應(yīng)的顏色特征賦予較高的權(quán)值;δ為Kronecker余子函 數(shù);Φ( Ti)表示Ti位置處像素的顏色階數(shù);μ為顏色直方圖階數(shù)，取值范圍為（1，2，· · ·，S);設(shè) qir)和q滬的分別為目標(biāo)顏色直方圖模板和在t時(shí)刻W為中屯、的i個(gè)顏色粒子所對(duì)應(yīng)的顏 色直方圖，則其對(duì)應(yīng)的顏色特征觀測(cè)概率如下公式
[0114]
[0115] 則第i個(gè)顏色粒子的權(quán)重更新后如下公式
[0116]
[0117] 如圖6所示，通過(guò)邊緣加權(quán)直方圖方式提取場(chǎng)景的紋理特征，融合紋理特征和顏色 特征，共同對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行狀態(tài)估計(jì)；
[0118] t時(shí)刻運(yùn)動(dòng)目標(biāo)S的狀態(tài)估計(jì)如下公式
[0119]
[0120] 其中，Nceler與Ncedge表示顏色特征與邊緣特征各自的粒子數(shù)目，表示第i個(gè)顏 色粒子在t時(shí)刻狀態(tài)，xgdSg表示第j個(gè)邊緣粒子在t時(shí)刻狀態(tài)
[0121] 其t時(shí)刻目標(biāo)S的第k個(gè)特征的貢獻(xiàn)度函數(shù)跟新為：
[0124] Nk表示目標(biāo)參考特征數(shù)目，反應(yīng)特征的線索有效性的變化;在當(dāng)某一特征線 索退化時(shí)候，自動(dòng)減少該特征貢獻(xiàn)度，增加仍然具有魯棒性的特征貢獻(xiàn)度進(jìn)行跟蹤。
[0125] 如圖7所示，根據(jù)場(chǎng)景的不同，有著W下處理計(jì)算方法：
[0126] 建立t時(shí)刻的目標(biāo)跟蹤列勃7T說(shuō)=.1與目標(biāo)檢測(cè)列表{/巧說(shuō)=記間的推理關(guān)系矩陣 P、各個(gè)目標(biāo)的線索矩陣目標(biāo)掛起標(biāo)識(shí)β巧、生命周期得；
[0127] 場(chǎng)景一：目標(biāo)離開場(chǎng)景：Pm = 0表明目標(biāo)ΓΓ退出場(chǎng)景或者被完全遮擋。當(dāng)巧t芝β 時(shí)，將目標(biāo)7Γ從跟蹤列表移除，否則，將目標(biāo)掛起，β巧=TRUE，謬=:譚+1;
[0128] 場(chǎng)景二：目標(biāo)進(jìn)入場(chǎng)景:Pn=〇,將度iM言息加入到跟蹤目標(biāo)列表中；
[0129] 場(chǎng)景Ξ:多目標(biāo)合并:Pn> 1，多個(gè)單獨(dú)的運(yùn)動(dòng)目標(biāo)聚集到了一起，形成了一個(gè)較大 的聚集目標(biāo)，目標(biāo)間存在交錯(cuò)遮擋;將7T將目標(biāo)掛起，，S巧=TRUE，利用靖的速度信息更 新rf邊界矩陣，其余特征不進(jìn)行更新；
[0130] 場(chǎng)景四：孤立目標(biāo)簡(jiǎn)單運(yùn)動(dòng)：Pm= 1，Pn= 1，6/4"=FALSE，C(/&均為0，γγ與辟匹 配;利用R?更新校正rf的特征信息；
[0131] 場(chǎng)景五：目標(biāo)分裂:Pm〉1，S￡f=TRIIE:，多目標(biāo)發(fā)生了分裂，運(yùn)可能是目標(biāo)被出現(xiàn)在 場(chǎng)景中的欄桿、樹木等物體部分遮擋，也可能是本身聚集在一起的多個(gè)運(yùn)動(dòng)目標(biāo)發(fā)生了分 裂，分裂出的目標(biāo)為曾被跟蹤的，恢復(fù)ΓΓ的跟蹤信息，將公呼置為FALSE，利用嘩更新校正 巧《的特征信息;Pm〉l，8if=FALSE，表明多目標(biāo)發(fā)生了分裂，分裂出的是W前未被跟蹤的新 目標(biāo)，將蠟信息加入到跟蹤目標(biāo)列表中；
[om]場(chǎng)景六:遮擋:部分遮擋，Pm=l，Pn=l，fi皆=:FALSE，Cfy品中存巧C侶^單0且不是 所有的ci/藻> a，表明目標(biāo)開始發(fā)生遮擋或者形變，但其形變或者遮擋情況仍較為輕微，其 跟蹤特征信息仍可信，利用巧?更新校正ΓΓ的特征信息;靜態(tài)背景障礙物遮擋，Pm= 1，Pn= 1， 孩踩=ΕΑΙ^Ε，所有〇/獲玄J，利用巧巧新校正新目標(biāo)的邊界矩陣信息，但不更新目標(biāo)的其 余特征，同時(shí)將置為TR肥對(duì)目標(biāo)的生命周期Lf開始每帖自增1;
[0133] 場(chǎng)景屯:遮擋后恢復(fù)跟蹤:Pm= 1，Pn= 1，β/早=TRUE，表明目標(biāo)i??是曾經(jīng)被背景障 礙物遮擋的7Γ又一次出現(xiàn)在場(chǎng)景中，恢復(fù)跟蹤。利用韓更新校正取的特征信息；恢復(fù)對(duì) 1T跟蹤同時(shí)將S巧置為FALSE。
【主權(quán)項(xiàng)】
1. 一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，包括:對(duì)于運(yùn)動(dòng)目標(biāo)的檢 測(cè)提取單元;對(duì)于運(yùn)動(dòng)目標(biāo)的軌跡預(yù)測(cè)單元;運(yùn)動(dòng)目標(biāo)的軌跡匹配單元。2. 基于權(quán)利要求1所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述對(duì)于運(yùn)動(dòng)目標(biāo)的檢測(cè)提取單元包括:運(yùn)動(dòng)目標(biāo)的檢測(cè)計(jì)算單元;運(yùn)動(dòng)目標(biāo)的提取計(jì)算單 J L· 〇3. 基于權(quán)利要求1所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述的運(yùn)動(dòng)目標(biāo)的軌跡匹配單元包括：目標(biāo)的多特征融合計(jì)算單元；目標(biāo)的綜合推理匹配策 略計(jì)算單元。4. 基于權(quán)利要求1所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，包 括如下步驟： A. 數(shù)據(jù)矢量量化編碼 B. 碼本模型運(yùn)動(dòng)檢測(cè) C. 對(duì)于運(yùn)動(dòng)目標(biāo)的軌跡預(yù)測(cè) D. 目標(biāo)的多特征融合 E. 目標(biāo)的綜合推理匹配。5. 基于權(quán)利要求4所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述步驟A包括如下步驟： A1.對(duì)原始數(shù)據(jù)分割成大小相同的塊，每個(gè)小塊包含了許多像素； A2.形成由左至右、由上而下地串成一個(gè)向量； A3.收集具有代表性的向量制作出碼本，找出其中跟此小塊最接近的碼字的索引值代 替此小塊，組成一張索引表;將此作為原始數(shù)據(jù)壓縮的結(jié)果。6. 基于權(quán)利要求4所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述步驟B包括如下步驟： B1.在視頻幀的每一個(gè)像素位置，為該位置建立了包含了一個(gè)或多個(gè)碼字的碼本;視頻 序列中一個(gè)像素點(diǎn)的訓(xùn)練序列為)(={^1^2一幼}，該像素對(duì)應(yīng)的碼本為(：={〇 1，〇2一(^}，每 個(gè)碼字ci為二元組結(jié)構(gòu)Ci = <Vi，Ui>; Vi =〈瓦，Vi對(duì)應(yīng)該碼字的累積RGB三通道的平均顏 色值;Ui = 其中各個(gè)參數(shù)分別表示碼字對(duì)應(yīng)像素的最小、最大亮度值，碼字出現(xiàn) 的字?jǐn)?shù)，碼字在訓(xùn)練中未出現(xiàn)的最大間隔時(shí)間以及第一次和最后一次訪問(wèn)的時(shí)間； Β2.檢測(cè)像素運(yùn)動(dòng)情況;對(duì)于t時(shí)刻待檢測(cè)的像素，將當(dāng)前像素值Xt與對(duì)應(yīng)的碼本進(jìn)行比 較，如果沒(méi)有相匹配的碼字，則創(chuàng)建一個(gè)新的碼字ul =〈I，I，1，t-l，t，t>添加到其碼本中； 如果匹配的碼字有多個(gè)，則根據(jù)顏色相似度和亮度范圍確定匹配最好的碼字并更新碼本， 公式如下B3.當(dāng)訓(xùn)練結(jié)束后，為每個(gè)碼字Cl更新未訪問(wèn)的最大時(shí)間間隔T T i=max{ T i，N_qi+pi_l} 〇7. 基于權(quán)利要求4所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述的步驟C包括如下步驟： C1:檢驗(yàn)分布預(yù)測(cè)得到的粒子;計(jì)算t-Ι時(shí)刻的待跟蹤目標(biāo)特征概率函數(shù)Fm(t-1)，其中 心為xt-i，和t時(shí)刻的N個(gè)粒子中第p個(gè)粒子特征概率函數(shù)Fm(p)(t)，其中心為St (p)，得出目標(biāo)偏 移向量⑷#); C2:按照偏移向量調(diào)整t時(shí)刻的目標(biāo)位置，其中核函數(shù)為G(X)，Ct(p)為加權(quán)系數(shù);公式如 下8.基于權(quán)利要求4所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述的步驟D包括如下步驟：D1:通過(guò)RGB區(qū)域加權(quán)直方圖方式提取場(chǎng)景的顏色特征;L為顏色量化階數(shù)，則第i個(gè)顏 色粒子對(duì)應(yīng)區(qū)域的力π*▽吉卞 其中 是歸一化因子;S表示區(qū)域內(nèi)像素的個(gè)數(shù)；τ表示區(qū)域中心的像素點(diǎn)，^表示區(qū)域中某個(gè) 像素點(diǎn)，τ-η表示τ到^的距離;h是核帶寬；用核函數(shù)k( ·)降低周圍區(qū)域與背景相似的像素 點(diǎn)帶來(lái)的干擾； D2:權(quán)重分配；給靠近區(qū)域中心的像素所對(duì)應(yīng)的顏色特征賦予較高的權(quán)值；δ為 Kronecker余子函數(shù);Φ(τ〇表示η位置處像素的顏色階數(shù);μ為顏色直方圖階數(shù)，取值范圍為 (1，2,…，s);設(shè)qf和分別為目標(biāo)顏色直方圖模板和在t時(shí)刻以為中心的i個(gè)顏色 粒子所對(duì)應(yīng)的顏色直方圖，則其對(duì)應(yīng)的顏色特征觀測(cè)概率如下公式則第i個(gè)顏色粒子的權(quán)重審新后如下公式D3:通過(guò)邊緣加權(quán)直方圖方式提取場(chǎng)景的紋理特征，融合紋理特征和顏色特征，共同對(duì) 運(yùn)動(dòng)目標(biāo)進(jìn)行狀態(tài)估計(jì)； t時(shí)刻運(yùn)動(dòng)目標(biāo)s的狀態(tài)估計(jì)如下公式其中，N。。^與Nc^dge3表示顏色特征與邊緣特征各自的粒子數(shù)目，xg_e表示第i個(gè)顏色粒 子在t時(shí)刻狀態(tài)，表示第j個(gè)邊緣粒子在t時(shí)刻狀態(tài)，; 其t時(shí)刻目標(biāo)s的第k個(gè)特征的貢獻(xiàn)度函數(shù)dg跟新為：Nk表示目標(biāo)參考特征數(shù)目，反應(yīng)特征的線索有效性的變化;在當(dāng)某一特征線索退 化時(shí)候，自動(dòng)減少該特征貢獻(xiàn)度，增加仍然具有魯棒性的特征貢獻(xiàn)度進(jìn)行跟蹤。9.基于權(quán)利要求7所述的一種基于運(yùn)動(dòng)目標(biāo)軌跡提取的視頻濃縮方法，其特征在于，所 述的步驟E對(duì)于如下場(chǎng)景的處理計(jì)算方法： 建立t時(shí)刻的目標(biāo)跟蹤列表{7Τ}|=1與目標(biāo)檢測(cè)列表之間的推理關(guān)系矩陣P、各 個(gè)目標(biāo)的線索矩陣Ci/tm、目標(biāo)掛起標(biāo)識(shí)SLf、生命周期 場(chǎng)景一：目標(biāo)離開場(chǎng)景:Pm=〇表明目標(biāo)7Γ退出場(chǎng)景或者被完全遮擋。當(dāng)if 2 β時(shí)，將目 標(biāo)7Γ從跟蹤列表移除，否則，將目標(biāo)掛起，Mf=TRUE，#=#+1; 場(chǎng)景二：目標(biāo)進(jìn)入場(chǎng)景:Pn=〇，將邱信息加入到跟蹤目標(biāo)列表中； 場(chǎng)景三:多目標(biāo)合并:Ρη>1，多個(gè)單獨(dú)的運(yùn)動(dòng)目標(biāo)聚集到了一起，形成了一個(gè)較大的聚集 目標(biāo)，目標(biāo)間存在交錯(cuò)遮擋;將？Γ將目標(biāo)掛起，，Mf=TRUF，利用·的速度信息更新：Ff 邊界矩陣，其余特征不進(jìn)行更新； 場(chǎng)景四：孤立目標(biāo)簡(jiǎn)單運(yùn)動(dòng):Pm= 1，Pn= 1，5^=FAL.SE，Ci7^均為0，了7(與辟匹配;利用 更新校正7T的特征信息； 場(chǎng)景五：目標(biāo)分裂:Pm>l，Mf=TRUE，多目標(biāo)發(fā)生了分裂，這可能是目標(biāo)被出現(xiàn)在場(chǎng)景 中的欄桿、樹木等物體部分遮擋，也可能是本身聚集在一起的多個(gè)運(yùn)動(dòng)目標(biāo)發(fā)生了分裂，分 裂出的目標(biāo)為曾被跟蹤的，恢復(fù)ΤΓ的跟蹤信息，將Slf置為FALSE，利用更新校正7T的 特征信息 ;Pm>l3iT=FALSE，表明多目標(biāo)發(fā)生了分裂，分裂出的是以前未被跟蹤的新目標(biāo)， 將埤信息加入到跟蹤目標(biāo)列表中； 場(chǎng)景六:遮擋：部分遮擋，卩^=1幾=1，肌?^_八1^￡，〇刀^中存在(^/^關(guān)0且不是所有 的2 1，表明目標(biāo)開始發(fā)生遮擋或者形變，但其形變或者遮擋情況仍較為輕微，其跟 蹤特征信息仍可信，利用更新校正7T的特征信息;靜態(tài)背景障礙物遮擋，P m= 1，Pn= 1， SL.f=FALSE，所丫藝1，利用if更新校正新目標(biāo)的邊界矩陣信息，但不更新目標(biāo)的其 余特征，同時(shí)將置為TRUE對(duì)目標(biāo)的生命周期Lf開始每幀自增1; 場(chǎng)景七:遮擋后恢復(fù)跟蹤:Pm= 1，Pn= 1，=TRUE，表明目標(biāo)if是曾經(jīng)被背景障礙物 遮擋的7Γ又一次出現(xiàn)在場(chǎng)景中，恢復(fù)跟蹤。利用更新校正的特征信息；恢復(fù)對(duì)跟 蹤同時(shí)將Sif置為FALSE。
【文檔編號(hào)】H04N21/8549GK105872859SQ201610387437
【公開日】2016年8月17日
【申請(qǐng)日】2016年6月1日
【發(fā)明人】夏春秋
【申請(qǐng)人】深圳市唯特視科技有限公司