專利名稱：基于h.264壓縮域運動對象實時分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到一種基于H.264壓縮域運動對象實時分割方法，特別是與現(xiàn)有方法截然不同的是，免除了對壓縮視頻的完全解碼，僅通過熵解碼提取出的運動矢量用作分割所需的運動特征，因此計算量大大減少。而且它不受限于靜止背景的視頻序列，對于具有運動背景或者靜止背景的視頻序列，都能快速可靠地分割出運動對象。由于該方法只使用了運動矢量場信息，因此它同樣可適用于MPEG壓縮域的運動對象分割。
背景技術(shù)：
運動對象分割是諸如視頻索引與檢索、智能視頻監(jiān)控、視頻編輯和人臉識別等眾多基于內(nèi)容的多媒體應用所必需的一個前提條件。自從MPEG-4提出基于內(nèi)容的視頻編碼，有關(guān)運動對象分割的研究大多集中在象素域，而基于壓縮域的運動對象分割直至近年來才開始引起關(guān)注。在壓縮域內(nèi)進行運動對象分割，與象素域內(nèi)的分割方法相比更適合于實際應用的需要。尤其是實際應用中的大多數(shù)視頻序列已經(jīng)壓縮為某種格式，直接在此壓縮域內(nèi)進行運動對象分割，可免除對壓縮視頻進行完全解碼；而且，在壓縮域內(nèi)需要處理的數(shù)據(jù)量要比象素域少很多，因此計算量大大減少；加之，從壓縮視頻中僅通過熵解碼提取出的運動矢量和DCT系數(shù)，可直接用作分割所需的運動特征和紋理特征。因此，從壓縮域分割運動對象具有快速的特點，可解決傳統(tǒng)的象素域分割方法難于滿足實時性分割的要求，適合于眾多的具有實時性要求的應用場合。
目前，壓縮域運動對象分割方法雖已有人提出，但基本上是針對MPEG-2壓縮域的，H.264是最新的視頻編碼標準，相比于MPEG-2編碼效率提高了一倍，目前越來越多的應用都在轉(zhuǎn)向采用H.264來取代MPEG-2，但至今在H.264壓縮域內(nèi)進行運動對象分割的研究甚少。與MPEG壓縮域相比，H.264壓縮域中I幀的DCT系數(shù)不能直接用作分割的紋理特征，因為它們是在塊的空間預測殘差上進行變換的，而不是在原始塊上進行變換。因此，在H.264域進行運動對象分割可直接使用的特征只有運動矢量信息。目前在H.264域，只有Zeng等提出了一種基于塊的MRF模型從稀疏運動矢量場中分割運動對象的方法，根據(jù)各個塊運動矢量的幅值賦予各個塊不同類型的標記，通過最大化MRF的后驗概率標記出屬于運動對象的塊。但是，這種方法只適用于靜態(tài)背景的視頻序列，而且分割的準確度不高，計算量也較大。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于H.264壓縮域運動對象實時分割方法，分割所用的唯一信息是從H.264壓縮視頻中提取出的基于4×4塊均勻采樣的運動矢量場。本方法可免除對壓縮視頻的完全解碼，使用熵解碼提取出的運動矢量作為分割所需的運動特征，因此計算量大大減少，以達到實時運動對象分割的目的。
為達到上述的目的，本發(fā)明的構(gòu)思是如圖1所示，對輸入的H.264壓縮視頻流提取運動矢量并歸一化，然后進行迭代后向投影，獲得可顯著增強運動信息的累積運動矢量場。再進行全局運動補償并且按照運動相似性將累積運動矢量場分割成多個區(qū)域，然后用一個匹配矩陣表示當前幀的分割區(qū)域和前一幀運動對象在當前幀投影的相關(guān)性，基于這個匹配矩陣將運動對象分割出來。
根據(jù)上述構(gòu)思，本發(fā)明的技術(shù)方案是一種基于H.264壓縮域的運動對象實時分割方法，其特征在于對連續(xù)多幀的運動矢量場歸一化并進行迭代后向投影，獲得累積運動矢量場；然后對累積運動矢量場進行全局運動補償，同時采用快速的統(tǒng)計區(qū)域生長算法按照運動相似性將其分割成多個區(qū)域；利用上述兩方面結(jié)果，采用本發(fā)明提出的基于匹配矩陣的運動對象分割方法分割出運動對象，其中可有效地在視頻序列中進行對象的跟蹤與更新、對象的合并與分裂、對象的出現(xiàn)與消失等多種情況；其步驟是a.運動矢量場歸一化從H.264視頻中提取出運動矢量場并進行時域和空域上的歸一化；b.累積運動矢量場利用連續(xù)多幀的運動矢量場進行迭代后向投影來獲得更加可靠的累積運動矢量場；c.全局運動補償在累積運動矢量場上進行全局運動估計后進行補償以獲得各4×4塊的殘差；d.區(qū)域分割采用統(tǒng)計區(qū)域生長方法將累積運動矢量場分割成多個具有相似運動的區(qū)域；e.對象分割采用基于匹配矩陣的分割方法將運動對象分割出來。上述的運動矢量場歸一化的步驟是(1)時域歸一化將當前幀的運動矢量除以當前幀與參考幀的間隔幀數(shù)，即時域距離；(2)空域歸一化將凡尺寸大于4×4的各個宏塊運動矢量直接賦給該宏塊所覆蓋的所有4×4塊。
上述的累積運動矢量場的步驟是(1)利用當前幀之后若干幀的運動矢量場，對相鄰幀的運動矢量場進行后向投影，就是通過對各投影塊的運動矢量乘以不同的比例因子后相加得到當前塊的投影運動矢量，比例因子的選定方法為如果重疊區(qū)域的總面積大于當前塊面積的一半，則各投影塊的比例因子取為該投影塊與當前塊的相重疊的面積除以所有投影塊與當前塊重疊區(qū)域的總面積；否則，各投影塊的比例因子取為其重疊面積與當前塊面積之比；(2)從后幀開始迭代累積以獲得當前幀的累積運動矢量場；上述的全局運動補償?shù)牟襟E是(1)采用6參數(shù)的仿射運動模型估算全局運動矢量場；①模型參數(shù)初始化設(shè)m＝(m1，m2，m3，m4，m5，m6)是全局運動模型的參數(shù)矢量，模型參數(shù)m(0)初始化為m(0)=101NΣi=1Nmvxi011NΣj=1NmvyiT;]]>②剔除局外點首先計算當前幀中心坐標為(xi，yi)的第i個塊在前一幀的估計中心坐標(xi′，yi′)xi′yi′=m1m2m4m5xiyi+m3m6,]]>則預測運動矢量((xi′-xi)，(yi′-yi))和原始累積運動矢量(mvxi，mvyi)的偏差(exi，eyi)計算為exi=xi′-xi-mvxieyi=yi′-yi-mvyi,]]>使用這個式子計算出每個4×4塊的預測偏差(exi，eyi)，最后計算出偏差幅度平方和(exi2+eyi2)的直方圖，然后剔除直方圖中那些偏差幅度平方和大于25％的運動矢量；③模型參數(shù)更新使用前面步驟中保留下來的運動矢量和Newton-Raphson方法來更新模型參數(shù)，第l步迭代中新的模型參數(shù)矢量m(l)定義如下m(l)＝m(l-1)-H-1b，這里Hessian矩陣H和梯度矢量b計算如下
H=Σi∈Rxi2Σi∈RxiyiΣi∈Rxi000Σi∈RxiyiΣi∈Ryi2Σi∈Ryi000Σi∈RxiΣi∈RyiΣi∈R1000000Σi∈Rxi2Σi∈RxiyiΣi∈Rxi000Σi∈RxiyiΣi∈Ryi2Σi∈Ryi000Σi∈RxiΣi∈RyiΣi∈R1]]>b=Σi∈RxiexiΣi∈RyiexiΣi∈RexiΣi∈RxieyiΣi∈RyieyiΣi∈ReyiT]]>這里R代表保留下來的塊的集合；④結(jié)束條件重復步驟②和③最多5次，而且以下兩個條件之一如果被滿足的話也提前結(jié)束迭代(i)計算m(l)和在攝像機靜止情況下的全局運動向量mstatic＝[1 0 0 0 1 0]T的差值，如果對于每一個參數(shù)分量，這個差值小于0.01，就判斷為屬于攝像機靜止的情況，結(jié)束迭代；(ii)計算m(l)和m(l-1)的差值，如果這個差值的參數(shù)分量m3和m6小于0.01，而且其它參數(shù)分量小于0.0001，則迭代結(jié)束；⑤將得到的全局運動模型參數(shù)矢量m代入xi′yi′=m1m2m4m5xiyi+m3m6,]]>求出前一幀的估計坐標(xi′，yi′)，最后得到全局運動矢量場((xi′-xi)，(yi′-yi))；(2)計算全局運動矢量場與累積運動矢量場中各4×4塊的殘差。
上述的區(qū)域分割是采用統(tǒng)計區(qū)域生長算法將累積運動矢量場分劃成多個具有相似運動的區(qū)域，步驟如下(1)計算四鄰域內(nèi)任意相鄰塊組的運動差異性度量；(2)所有相鄰塊組按照運動差異性度量從小到大的次序進行排序；(3)將運動差異性度量最小的相鄰塊組合并，以此處開始區(qū)域生長過程，在每次區(qū)域生長時，當前兩個塊組分別屬于相鄰的兩個區(qū)域，則判斷這兩個區(qū)域是否合并的條件是這兩個區(qū)域的平均運動矢量之差是否小于閾值條件Δ(R)=SR22Q|R|(min(SR,|R|)log(1+|R|)+2log6wh),]]>其中SR表示運動矢量的動態(tài)范圍，|R|表示區(qū)域包含的運動矢量數(shù)目，wh表示運動矢量場的尺寸，參數(shù)Q用來控制運動矢量場的分割程度，就樣就可以將運動矢量場適度地分割成若干具有相似運動的區(qū)域；(4)計算每個分割區(qū)域在全局運動補償后的平均殘差；(5)區(qū)分最可靠的背景區(qū)域和其它對象所在的區(qū)域，在面積大于整個運動矢量場10％的若干分割區(qū)域中選擇平均殘差最小的區(qū)域作為可靠的背景區(qū)域，標記為R0t，剩下的區(qū)域作為運動對象可能存在的區(qū)域Rit；最后對當前幀所分割的M個對象區(qū)域和1個背景區(qū)域分別標記，分割結(jié)果記為Lregt。
上述的對象分割是利用前一幀，t-1時刻，已經(jīng)獲得的運動對象分割結(jié)果，來判斷當前幀，t時刻，各個分割區(qū)域是否與前一幀的某個對象匹配，以此構(gòu)造匹配矩陣；基于匹配矩陣判斷對象的跟蹤與更新、對象的合并、對象的分裂、新對象的出現(xiàn)、舊對象的消失等情況，最終獲得當前幀的若干運動對象；其步驟是(1)采用后向投影方法獲得前一幀，t-1時刻，各個對象在當前幀t時刻的投影區(qū)域，先將前一幀的N個運動對象Ojt-1和1個背景對象O0t-1標記出來，然后采用后向投影的方法獲得前一幀各個對象在當前幀的投影區(qū)域。就是利用當前幀累積運動矢量場中任意塊的坐標和其對應的累積運動矢量的差求出這個塊在前一幀中的匹配位置，然后將前一幀匹配位置上的塊對象投影到當前幀并逐個標記出來，記為Lprogt；(2)構(gòu)造矩陣CMt，它表示分割區(qū)域與對象投影相互重疊的面積；構(gòu)造矩陣CMRt，它表示每個分割區(qū)域落在各個對象投影內(nèi)的比例；構(gòu)造矩陣CMCt，它表示每個對象投影落在各個分割區(qū)域內(nèi)的比例；根據(jù)標記圖象Lregt和Lprojt，構(gòu)造3個M+1行N+1列的矩陣CMt，CMRt，CMCt。其中矩陣CMt中的任意元素CMt(i，j)取值為在Lregt中標記為i且在Lprojt標記為j的象素數(shù)目，即分割區(qū)域Lregt與對象投影Lprojt相互重疊的面積。而矩陣CMRt(i，j)定義為CMRt第i行的各個元素是分割區(qū)域Rit落在各個對象投影內(nèi)的比例；矩陣CMCt(i，j)定義為CMCt第j列的各個元素是對象Ojt-1的投影落在各個分割區(qū)域內(nèi)的比例；
(3)構(gòu)造矩陣CMMt，它表示當前幀分割區(qū)域和對象投影之間的關(guān)聯(lián)程度，矩陣CMMt記錄了CMRt和CMCt所反映的Lregt和Lprojt之間的相關(guān)信息；CMMt首先置為M+1行、N+1列的零矩陣；接著對CMRt進行行掃描找到每一行最大值所在的位置，對CMMt中相應位置處的元素值加1；然后對CMCt進行列掃描找到每一列最大值所在的位置，對CMMt中相應位置處的元素值加2；生成的矩陣CMMt的縱坐標依次表示為當前幀背景區(qū)域R0t和運動區(qū)域Rit(i＝1，2，L M)，橫坐標依次表示為前一幀背景對象O0t-1和運動對象Ojt-1(j＝1，2，L，N)，矩陣中各元素的可能取值為0，1，2，3；CMMt中任意不為0的元素CMMt(i，j)表明了分割區(qū)域Rit與對象Ojt-1存在一定的相關(guān)性，具體而言①CMMt(i，j)＝1，表明分割區(qū)域Rit在很大程度上屬于前一幀對象Ojt-1；②CMMt(i，j)＝2，表明前一幀對象Ojt-1在很大程度上包含在分割區(qū)域Rit中；③CMMt(i，j)＝3，同時包含了上述兩種情況，表明Rit和Ojt-1具有極強的相關(guān)性；需要進一步比較，如果CMRt(i，j)＞CMCt(i，j)，則CMMt(i，j)＝1；否則，CMMt(i，j)＝2；最后生成的CMMt取值范圍為0，1，2；(4)基于匹配矩陣CMMt對單個對象的跟蹤與更新、新對象出現(xiàn)、對象的合并、對象的分裂以及對象的消失五類情況進行對象分割；通過矩陣CMMt可以有效地建立起分割區(qū)域與運動對象的關(guān)聯(lián)關(guān)系，它能夠以一種統(tǒng)一的方式有效地處理以下五種情況①單個對象跟蹤與更新(1→1)；②新對象出現(xiàn)(0→1)；③對象的合并(m→1)；④對象的分裂(1→m)；⑤對象的消失(1→0)。
本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下的突出特點和優(yōu)點本發(fā)明提供的基于壓縮域的實時運動對象分割方法，是基于H.264視頻流，即與現(xiàn)有方法截然不同的是現(xiàn)有的壓縮域視頻對象分割方法主要適用于MPEG域，而本發(fā)明不僅適用于H.264壓縮域，同樣適用于MPEG壓縮域。而且本發(fā)明不受限于靜止背景的視頻序列，不論對于具有運動背景或者靜止背景的視頻序列，都能快速可靠地分割出運動對象。此外本發(fā)明提出的匹配矩陣分割運動對象的方法，幾乎能夠?qū)σ曨l對象運動的各種情況作出實時分割，因此分割對象的效果很好，具有很強的適用性。


圖1是本發(fā)明的基于匹配矩陣的H.264壓縮域運動對象實時分割方法的程序框圖。
圖2是圖1中運動矢量場歸一化和累積運動矢量場的結(jié)構(gòu)框圖。
圖3是圖1中全局運動補償和區(qū)域分割的結(jié)構(gòu)框圖。
圖4是圖1中對象分割的結(jié)構(gòu)框圖。
圖5是對序列Coastguard中各個典型幀(第4、37、61、208幀)運動對象分割結(jié)果的圖示。
圖6是對序列Mobile中各個典型幀(第4、43、109、160幀)運動對象分割結(jié)果的圖示。
具體實施例方式
本發(fā)明的一個實施例子結(jié)合附圖詳述如下本發(fā)明基于匹配矩陣的H.264壓縮域運動對象實時分割方法是按圖1所示程序框圖，在CPU為3.0GHz、內(nèi)存512M的PC測試平臺上編程實現(xiàn)，圖5和圖6示出仿真測試結(jié)果。
參見圖1，本發(fā)明基于匹配矩陣的H.264壓縮域運動對象實時分割方法，通過運動矢量場的歸一化和累積增強了顯著的運動信息，然后對累積運動矢量場進行全局運動補償，采用統(tǒng)計區(qū)域生長算法和基于匹配矩陣的運動對象分割方法來分割區(qū)域和運動對象，具有算法簡單，對象分割速度快，分割效果好的特點。
其步驟是(1)運動矢量場歸一化從H.264視頻中提取出運動矢量場并進行時域和空域上歸一化；(2)累積運動矢量場利用連續(xù)多幀的運動矢量場進行迭代后向投影來獲得更加可靠的累積運動矢量場；(3)全局運動補償在累積運動矢量場上進行全局運動估計后進行補償以獲得各4×4塊的殘差；(4)區(qū)域分割采用統(tǒng)計區(qū)域生長方法將累積運動矢量場分割成多個具有相似運動的區(qū)域；(5)對象分割采用基于匹配矩陣的分割算法將運動對象分割出來。
上述步驟(1)的運動矢量場歸一化的過程如下①時域歸一化將當前幀的運動矢量除以當前幀與參考幀的間隔幀數(shù)，即時域距離；②空域歸一化將凡尺寸大于4×4的各個宏塊運動矢量直接賦給該宏塊所覆蓋的所有4×4塊。
上述步驟(2)的累積運動矢量場的過程如下①利用當前幀之后若干幀的運動矢量場，對相鄰幀的運動矢量場進行后向投影；②從后幀開始迭代累積以獲得當前幀的累積運動矢量場。
上述步驟(3)的全局運動補償?shù)倪^程如下①采用6參數(shù)的仿射運動模型估算全局運動矢量場；②計算出各4×4塊經(jīng)全局運動補償后的殘差。
上述步驟(4)的區(qū)域分割的過程如下①計算四鄰域內(nèi)任意相鄰塊組的運動差異性度量；②所有相鄰塊組按照運動差異性度量從小到大的次序進行排序；③將運動差異性度量最小的相鄰塊組合并，以此處開始區(qū)域生長過程；④計算每個分割區(qū)域在全局運動補償后的平均殘差；⑤區(qū)分最可靠的背景區(qū)域和其它對象所在的區(qū)域。
上述步驟(5)的對象分割的過程如下①采用后向投影方法獲得前一幀各個對象在當前幀的投影區(qū)域；②構(gòu)造矩陣CMt，它表示分割區(qū)域與投影對象相互重疊的面積；構(gòu)造矩陣CMRt，它表示每個分割區(qū)域落在各個對象投影內(nèi)的比例；構(gòu)造矩陣CMCt，它表示每個對象投影落在各個分割區(qū)域內(nèi)的比例；③構(gòu)造矩陣CMMt，它表示當前幀分割區(qū)域和對象投影之間的關(guān)聯(lián)程度；④基于匹配矩陣CMMt對單個對象跟蹤與更新、新對象出現(xiàn)、對象的合并、對象的分裂以及對象的消失等五類情況進行對象分割。
下面對本實施例子結(jié)合總框圖(圖1)的五個步驟給予進一步詳細說明a.運動矢量場歸一化如圖2所示，將當前幀的運動矢量除以當前幀與參考幀的間隔幀數(shù)得到時域上的歸一化，將當前幀中尺寸大于4×4的塊的運動矢量直接賦給該塊所覆蓋的所有4×4塊獲得空域上的歸一化。
b.累積運動矢量場如圖2所示，先利用當前幀之后若干幀的運動矢量場，對相鄰幀的運動矢量場進行后向投影。就是通過對各投影塊的運動矢量乘以不同的比例因子后相加得到當前塊的投影運動矢量，比例因子的選定方法為如果重疊區(qū)域的總面積大于當前塊面積的一半，則各投影塊的比例因子取為該投影塊與當前塊的相重疊的面積除以所有投影塊與當前塊重疊區(qū)域的總面積；否則，各投影塊的比例因子取為其重疊面積與當前塊面積之比。然后從后幀開始迭代累積以獲得當前幀的累積運動矢量場。
c.全局運動補償如圖3所示，采用6參數(shù)的仿射運動模型估算全局運動矢量場，利用它與累積運動矢量場之差就可獲得累積運動矢量場任意塊經(jīng)全局運動補償后的殘差。其步驟是(1)采用6參數(shù)的仿射運動模型估算全局運動矢量場①模型參數(shù)初始化設(shè)m＝(m1，m2，m3，m4，m5，m6)是全局運動模型的參數(shù)矢量，模型參數(shù)m(0)初始化為m(0)=101NΣi=1Nmvxi011NΣi=1NmvyiT;]]>②剔除局外點首先計算當前幀中心坐標為(xi，yi)的第i個塊在前一幀的估計中心坐標(xi′，yi′)xi′yi′=m1m2m4m5xiyi+m3m6,]]>則預測運動矢量((xi′-xi)，(yi′-yi))和原始累積運動矢量(mvxi，mvyi)的偏差(exi，eyi)計算為exi=xi′-xi-mvxieyi=yi′-yi-mvyi.]]>使用這個式子計算出每個4×4塊的預測偏差(exi，eyi)，最后計算出偏差幅度的平方和(exi2+eyi2)的直方圖，然后剔除直方圖中那些偏差幅度平方和大于25％的運動矢量。
③模型參數(shù)更新使用前面步驟中保留下來的運動矢量和Newton-Raphson方法來更新模型參數(shù)。第l步迭代中新的模型參數(shù)矢量m(l)定義如下m(l)＝m(l-1)-H-1b，這里Hessian矩陣H和梯度矢量b計算如下H=Σi∈Rxi2Σi∈RxiyiΣi∈Rxi000Σi∈RxiyiΣi∈Ryi2Σi∈Ryi000Σi∈RxiΣi∈RyiΣi∈R1000000Σi∈Rxi2Σi∈RxiyiΣi∈Rxi000Σi∈RxiyiΣi∈Ryi2Σi∈Ryi000Σi∈RxiΣi∈RyiΣi∈R1]]>b=Σi∈RxiexiΣi∈RyiexiΣi∈RexiΣi∈RxieyiΣi∈RyieyiΣi∈ReyiT]]>這里R代表保留下來的塊的集合。
④結(jié)束條件重復步驟②和③最多5次，而且以下兩個條件之一如果被滿足的話也提前結(jié)束迭代(i)計算m(l)和在攝像機靜止情況下的全局運動向量mstatic＝[1 0 0 0 1 0]T的差值，如果對于每一個參數(shù)分量，這個差值小于0.01，就判斷為屬于攝像機靜止的情況，結(jié)束迭代；(ii)計算m(l)和m(l-1)的差值，如果這個差值的參數(shù)分量m3和m6小于0.01，而且其它參數(shù)分量小于0.0001，則迭代結(jié)束。
⑤將得到的全局運動模型參數(shù)矢量m代入xi′yi′=m1m2m4m5xiyi+m3m6,]]>求出前一幀的估計坐標(xi′，yi′)，最后得到全局運動矢量場((xi′-xi)，(yi′-yi))。
(2)計算全局運動矢量場與累積運動矢量場中各4×4塊的殘差。
d.區(qū)域分割
如圖3所示，本發(fā)明采用統(tǒng)計區(qū)域生長算法實現(xiàn)對累積運動矢量場的區(qū)域分割。步驟詳述如下(1)計算四鄰域內(nèi)任意相鄰塊組的運動差異性度量；(2)所有相鄰塊組按照運動差異性度量從小到大的次序進行排序；(3)將運動差異性度量最小的相鄰塊組合并，以此處開始區(qū)域生長過程。在每次區(qū)域生長時，當前兩個塊組分別屬于相鄰的兩個區(qū)域，則判斷這兩個區(qū)域是否合并的條件是這兩個區(qū)域的平均運動矢量之差是否小于閾值條件Δ(R)=SR22Q|R|(min(SR,|R|)log(1+|R|)+2log6wh),]]>其中SR表示運動矢量的動態(tài)范圍，|R|表示區(qū)域包含的運動矢量數(shù)目，wh表示運動矢量場的尺寸，參數(shù)Q用來控制運動矢量場的分割程度，就樣就可以將運動矢量場適度地分割成若干具有相似運動的區(qū)域；(4)計算每個分割區(qū)域在全局運動補償后的平均殘差；(5)區(qū)分最可靠的背景區(qū)域和其它對象所在的區(qū)域。在面積大于整個運動矢量場10％的若干分割區(qū)域中選擇平均殘差最小的區(qū)域作為可靠的背景區(qū)域，標記為R0t，剩下的區(qū)域作為運動對象可能存在的區(qū)域Rit。最后對當前幀所分割的M個對象區(qū)域和1個背景區(qū)域分別標記，分割結(jié)果記為Lregt。
e.對象分割如圖4所示，先通過計算找到在相鄰兩幀中匹配的塊，再將前一幀的運動對象投影至當前幀并標記為對象投影，然后利用當前幀對象投影和分割區(qū)域的相關(guān)性構(gòu)造3個M+1行N+1列的矩陣CMt，CMRt，CMCt。再由矩陣CMRt和CMCt生成匹配矩陣CMMt，基于這個匹配矩陣對五類不同的運動對象情況作出分割。步驟詳述如下(1)采用后向投影方法獲得前一幀，t-1時刻，各個對象在當前幀t時刻的投影區(qū)域。先將前一幀的N個運動對象Ojt-1和1個背景對象O0t-1標記出來，然后采用后向投影的方法獲得前一幀各個對象在當前幀的投影區(qū)域。就是利用當前幀累積運動矢量場中任意塊的坐標和其對應的累積運動矢量的差求出這個塊在前一幀中的匹配位置，然后將前一幀匹配位置上的塊對象投影到當前幀并逐個標記出來，記為Lprojt。
(2)構(gòu)造矩陣CMt，它表示分割區(qū)域與對象投影相互重疊的面積；構(gòu)造矩陣CMRt，它表示每個分割區(qū)域落在各個對象投影內(nèi)的比例；構(gòu)造矩陣CMCt，它表示每個對象投影落在各個分割區(qū)域內(nèi)的比例。根據(jù)標記圖象Lregt和Lprojt，構(gòu)造3個M+1行N+1列的矩陣CMt，CMRt，CMCt。其中矩陣CMt中的任意元素CMt(i，j)取值為在Lregt中標記為i且在Lprojt標記為j的象素數(shù)目，即分割區(qū)域Lregt與對象投影Lprojt相互重疊的面積。而矩陣CMRt(i，j)定義為CMRt第i行的各個元素是分割區(qū)域Rit落在各個對象投影內(nèi)的比例；矩陣CMCt(i，j)定義為CMCt第j列的各個元素是對象Ojt-1的投影落在各個分割區(qū)域內(nèi)的比例。
(3)構(gòu)造矩陣CMMt，它表示當前幀分割區(qū)域和對象投影之間的關(guān)聯(lián)程度。矩陣CMMt記錄了CMRt和CMCt所反映的Lregt和Lprojt之間的相關(guān)信息。CMMt首先置為M+1行N+1列的零矩陣；接著對CMRt進行行掃描找到每一行最大值所在的位置，對CMMt中相應位置處的元素值加1；然后對CMCt進行列掃描找到每一列最大值所在的位置，對CMMt中相應位置處的元素值加2。生成的矩陣CMMt的縱坐標依次表示為當前幀背景區(qū)域R0t和運動區(qū)域Rit(i＝1，2，L M)，橫坐標依次表示為前一幀背景對象O0t-1和運動對象Ojt-1(j＝1，2，L，N)，矩陣中各元素的可能取值為0，1，2，3。CMMt中任意不為0的元素CMMt(i，j)表明了分割區(qū)域Rit與對象Ojt-1存在一定的相關(guān)性，具體而言①CMMt(i，j)＝1，表明分割區(qū)域Rit在很大程度上屬于前一幀對象Ojt-1；②CMMt(i，j)＝2，表明前一幀對象Ojt-1在很大程度上包含在分割區(qū)域Rit中；③CMMt(i，j)＝3，同時包含了上述兩種情況，表明Rit和Ojt-1具有極強的相關(guān)性。需要進一步比較，如果CMRt(i，j)＞CMCt(i，j)，則CMMt(i，j)＝1；否則，CMMt(i，j)＝2。最后生成的CMMt取值范圍為0，1，2。
(4)基于匹配矩陣CMMt對單個對象的跟蹤與更新、新對象出現(xiàn)、對象的合并、對象的分裂以及對象的消失五類情況進行對象分割。通過矩陣CMMt可以有效地建立起分割區(qū)域與運動對象的關(guān)聯(lián)關(guān)系，它能夠以一種統(tǒng)一的方式有效地處理以下五種情況①單個對象跟蹤與更新(1→1)如果CMMt的第i行只有一個非零元素CMMt(i，j)，而且第j列也只有這一個非零元素CMMt(i，j)，那么表明分割區(qū)域Rit只與對象Ojt-1存在相關(guān)性，根據(jù)CMMt(i，j)的取值采取不同的策略如果CMMt(i，j)＝2，采取更新策略，用當前幀的分割區(qū)域來表示更新后的對象，即Ojt=Rit.]]>如果CMMt(i，j)＝1，一般采取對象跟蹤的策略，即用前一幀對象的投影來表示當前幀的對象，即Ojt=Proj(Ojt-1);]]>另外，如果分割區(qū)域Rit同時還滿足閾值條件|Rit|>Ts,]]>且ERit>αER0t,]]>其中Ts＝64，α＝1.5，|Rit|表示區(qū)域Rit所包含的運動矢量數(shù)目，ERit表示區(qū)域Rit的平均殘差，ER0t表示背景的平均殘差；則認為Rit是一個可靠的運動區(qū)域，可用來表示當前幀的運動對象，即Ojt=Rit.]]>②新對象出現(xiàn)(0→1)如果CMMt的第i行只有一個非零元素且位于第1列，值為1，表明該分割區(qū)域Rit在前一幀還是背景對象O0t-1，并不屬于已有的任何運動對象。如果Rit同時滿足上面①中的閾值條件，則可認為Rit是一個新出現(xiàn)的運動對象，記為OM+1t=Rit.]]>上述①和②兩種情況下，CMMt某行的非零元素個數(shù)都為1。如果CMMt的第i行存在多個非零元素，則表明分割區(qū)域Rit可能與多個對象存在相關(guān)性。在這種情況下，只需要將前一幀的對象投影到當前幀作為當前幀的運動對象，實現(xiàn)對象的跟蹤，即Ojt=Proj(Ojt-1).]]>③對象的合并(m→1)如果CMMt的第i行上除第1列外有2個以上的元素取值為2，表明前一幀中2個以上的對象在很大程度上包含在新的分割區(qū)域Rit中，則Rit表示了這些對象合并后的新對象，記為OM+1t=Rit.]]>在這種情況下，分割區(qū)域Rit往往包含了2個或2個以上具有十分相似的運動且在空間相互鄰接的對象，則它們在當前幀作為一個新的合并對象而被分割出來。
④對象的分裂(1→m)如果CMMt的第j列中有2個以上的元素取值為1，則表明前一幀對象Ojt-1在當前幀分裂成多個分割區(qū)域Rs1t，Rs2tL，Rsmt。即使這些區(qū)域在空間上并不鄰接，在當前幀的分割中，仍然認為這些分割區(qū)域?qū)儆谕粋€對象，直到這些具有相同對象標記卻在空間相互不鄰接的多個分割區(qū)域在隨后的若干幀中表現(xiàn)出不同的運動，則對這些分割區(qū)域賦予不同的對象標記，記為Osit=Rsit,]]>以實現(xiàn)真正的對象分裂。
⑤對象的消失(1→0)如果CMMt的第j列只有1個非零元素且位于第1行，值為2，表明前一幀對象Ojt-1的投影落在當前幀的背景區(qū)域R0t，則認為Ojt-1在當前幀消失。
如上所述已經(jīng)能夠有效地處理在視頻序列的運動對象分割過程中可能出現(xiàn)的5種情況。但當場景發(fā)生較大變化時，連續(xù)多幀都對所有對象采取了跟蹤的策略，即都是上一幀各個對象的投影，表明當前幀各個分割區(qū)域與前一幀各個運動對象的相關(guān)性很弱，因此將按照情況②來判斷是否有新對象出現(xiàn)，需要重新檢測運動對象。
以下給出輸入視頻格式為352×288的CIF時的實例，采用JM8.6版本的H.264編碼器對MPEG-4標準測試序列進行編碼，作為測試用的H.264壓縮視頻。H.264編碼器的配置如下Baseline Profile，IPPP，每30幀插入1個I幀，3個參考幀，運動估計的搜索范圍為[-32，32]，量化參數(shù)為30，編碼幀數(shù)為300幀。在實驗中，我們采取每隔3幀(運動矢量累積過程中使用的幀數(shù))計算一次累積運動矢量場的做法，總共獲得了100幀累積運動矢量場來測試本文提出的運動對象分割算法的性能。先從當前幀由累積運動矢量場得到區(qū)域分割結(jié)果，然后將前一幀運動對象投影到當前幀，基于這兩個結(jié)果采用基于匹配矩陣的分割方法將運動對象分割出來。
采用典型的標準測試序列Coastguard和Mobile作為輸入視頻進行測試，實驗結(jié)果分別如圖5和圖6所示。兩圖中第1列為當前幀的原始圖象，第2列為當前幀由累積運動矢量場分割所得的區(qū)域分割結(jié)果，第3列為前一幀運動對象的在當前幀的投影區(qū)域，第4列為當前幀分割出的運動對象。平均每幀的處理時間為38ms，已能滿足大多數(shù)實時應用25fps的要求?？紤]到本文的分割方法其實是每隔3幀進行一次運動對象分割，對于給出的原始視頻序列而言，完全可以在實時解碼的同時就能分割出相應的運動對象，即使要求每幀都分割出相應的運動對象，只需要對其余幀進行對象投影，其計算量也很小，仍能實時分割出運動對象。
實驗1序列Coastguard具有明顯的全局運動，攝像機首先自右向左平移來跟蹤畫面中間的小船，然后自左向右運動來跟蹤從畫面左邊出現(xiàn)的大船。圖5第1行(序列第4幀)為攝像機自右向左跟蹤小船的運動，圖5第2行(序列第37幀)為新對象大船由左向右運動，圖5第3行(序列第61幀)為兩個運動對象大船和小船完全出現(xiàn)在攝像機的場景中，圖5第4行(序列第208幀)為攝像機開始自左向右跟蹤大船的運動。由圖5第2列圖象可以看出，對累積運動矢量場的分割大多能夠比較準確地分割出兩個運動對象所在的區(qū)域，而且符合全局運動模型的大部分背景區(qū)域也都包含在一個大的分割區(qū)域中，白色的區(qū)域表示了經(jīng)運動補償后最可靠的背景區(qū)域，因此本文采取的對運動矢量場的累積以及分割方法是有效的，能夠利用運動矢量信息獲得一個適度分割的結(jié)果。結(jié)合第3列所示的前一幀各個對象在當前幀的投影區(qū)域，利用基于匹配矩陣的運動對象分割方法，能夠在整個序列中穩(wěn)定可靠地分割出第4列所示的運動對象。
實驗2序列Mobile具有更復雜的全局運動，除了攝像機的平移和俯仰運動外，在序列的前半段還有明顯的縮放運動。圖6第1行(序列第4幀)場景中總共包括3個運動對象，小火車推動球在軌道上運動，而掛歷在間歇性地上下運動，因此運動對象分割的難度更大。由圖6的分割結(jié)果可以看出，本發(fā)明提出的運動對象分割算法在運動對象停止運動的情況下，能夠通過對象投影分割出該運動對象，如圖6第2行(序列第43幀)的球以及圖6第3行(序列第109幀)的掛歷。此外，圖6的實驗結(jié)果也表明了本文的運動對象分割算法能夠很好地處理運動對象的合并與分裂。在圖6第3行(序列第109幀)，由于小火車已經(jīng)在無縫隙地推著球運動，因此兩個在空間上緊密鄰接且運動完全一致的運動對象被視作發(fā)生了對象合并；在圖6第4行(序列第160幀)對有了間隙的兩個對象，且運動程度不再相同時，兩個對象被分割成了兩個區(qū)域，真正實現(xiàn)兩個對象的分裂。
權(quán)利要求
1.一種基于匹配矩陣的H.264壓縮域運動對象實時分割方法，其特征在于對連續(xù)多幀的運動矢量場歸一化并進行迭代后向投影，獲得累積運動矢量場。然后對累積運動矢量場進行全局運動補償，同時采用快速的統(tǒng)計區(qū)域生長算法按照運動相似性將其分割成多個區(qū)域。利用上述兩方面結(jié)果，采用本發(fā)明提出的基于匹配矩陣的運動對象分割方法分割出運動對象，其中可有效地在視頻序列中進行對象的跟蹤與更新、對象的合并與分裂、對象的出現(xiàn)與消失等多種情況；其步驟如下a.運動矢量場歸一化從H.264視頻中提取出運動矢量場并進行時域和空域上的歸一化；b.累積運動矢量場利用連續(xù)多幀的運動矢量場進行迭代后向投影來獲得更加可靠的累積運動矢量場；c.全局運動補償在累積運動矢量場上進行全局運動估計后進行補償以獲得各4×4塊的殘差；d.區(qū)域分割采用統(tǒng)計區(qū)域生長方法將累積運動矢量場分割成多個具有相似運動的區(qū)域；e.對象分割采用基于匹配矩陣的分割方法將運動對象分割出來。
2.根據(jù)權(quán)利要求1所述的基于匹配矩陣的H.264壓縮域運動對象實時分割方法，其特征在于所述的運動矢量場歸一化的步驟是(1)時域歸一化將當前幀的運動矢量除以當前幀與參考幀的間隔幀數(shù)，即時域距離；(2)空域歸一化將凡尺寸大于4×4的各個宏塊運動矢量直接賦給該宏塊所覆蓋的所有4×4塊。
3.根據(jù)權(quán)利要求1所述的基于匹配矩陣的H.264壓縮域運動對象實時分割方法，其特征在于所述的累積運動矢量場的步驟是(1)利用當前幀之后若干幀的運動矢量場，對相鄰幀的運動矢量場進行后向投影，就是通過對各投影塊的運動矢量乘以不同的比例因子后相加得到當前塊的投影運動矢量，比例因子的選定方法為如果重疊區(qū)域的總面積大于當前塊面積的一半，則各投影塊的比例因子取為該投影塊與當前塊的相重疊的面積除以所有投影塊與當前塊重疊區(qū)域的總面積；否則，各投影塊的比例因子取為其重疊面積與當前塊面積之比；(2)然后從后幀開始迭代累積以獲得當前幀的累積運動矢量場。
4.根據(jù)權(quán)利要求1所述的基于匹配矩陣的H.264壓縮域運動對象實時分割方法，其特征在于全局運動補償，是先采用仿射運動模型估算全局運動矢量場，然后計算出各4×4塊經(jīng)全局運動補償后的殘差。步驟如下(1)采用6參數(shù)的仿射運動模型估算全局運動矢量場①模型參數(shù)初始化設(shè)m＝(m1，m2，m3，m4，m5，m6)是全局運動模型的參數(shù)矢量，模型參數(shù)m(0)初始化為m(0)=101NΣi=1Nmvxi011NΣi=1NmvyiT;]]>②剔除局外點首先計算當前幀中心坐標為(xi，yi)的第i個塊在前一幀的估計中心坐標(xi′，yi′)xi′yi′=m1m2m4m5xiyi+m3m6,]]>則預測運動矢量((xi′-xi)，(yi′-yi))和原始累積運動矢量(mvxi，mvyi)的偏差(exi，eyi)計算為exi=xi′-xi-mvxieyi=yi′-yi-mvyi,]]>使用這個式子計算出每個4×4塊的預測偏差(exi，eyi)，最后計算出偏差幅度平方和(exi2+eyi2)的直方圖，然后剔除直方圖中那些偏差幅度平方和大于25％的運動矢量；③模型參數(shù)更新使用前面步驟中保留下來的運動矢量和Newton-Raphson方法來更新模型參數(shù)，第l步迭代中新的模型參數(shù)矢量m(l)定義如下m(l)＝m(l-1)-H-1b，這里Hessian矩陣H和梯度矢量b計算如下H=Σi∈Rxi2Σi∈RxiyiΣi∈Rxi000Σi∈RxiyiΣi∈Ryi2Σi∈Ryi000Σi∈RxiΣi∈RyiΣi∈R1000000Σi∈Rxi2Σi∈RxiyiΣi∈Rxi000Σi∈RxiyiΣi∈Ryi2Σi∈Ryi000Σi∈RxiΣi∈RyiΣi∈R1]]>b=Σi∈RxiexiΣi∈RyiexiΣi∈RexiΣi∈RxieyiΣi∈RyieyiΣi∈ReyiT]]>這里R代表保留下來的塊的集合；④結(jié)束條件重復步驟②和③最多5次，而且以下兩個條件之一如果被滿足的話也提前結(jié)束迭代(i)計算m(l)和在攝像機靜止情況下的全局運動向量mstatic＝[100010]T的差值，如果對于每一個參數(shù)分量，這個差值小于0.01，就判斷為屬于攝像機靜止的情況，結(jié)束迭代；(ii)計算m(l)和m(l-1)的差值，如果這個差值的參數(shù)分量m3和m6小于0.01，而且其它參數(shù)分量小于0.0001，則迭代結(jié)束；⑤將得到的全局運動模型參數(shù)矢量m代入xi′yi′=m1m2m4m5xiyi+m3m6,]]>求出前一幀的估計坐標(xi′，yi′)，最后得到全局運動矢量場((xi′-xi)，(yi′-yi))；(2)計算全局運動矢量場與累積運動矢量場中各4×4塊的殘差。
5.根據(jù)權(quán)利要求1所述的基于匹配矩陣的H.264壓縮域運動對象實時分割方法，其特征在于所述的區(qū)域分割，是采用統(tǒng)計區(qū)域生長算法將累積運動矢量場分割成多個具有相似運動的區(qū)域。步驟如下(1)計算四鄰域內(nèi)任意相鄰塊組的運動差異性度量；(2)所有相鄰塊組按照運動差異性度量從小到大的次序進行排序；(3)將運動差異性度量最小的相鄰塊組合并，以此處開始區(qū)域生長過程，在每次區(qū)域生長時，當前兩個塊組分別屬于相鄰的兩個區(qū)域，則判斷這兩個區(qū)域是否合并的條件是這兩個區(qū)域的平均運動矢量之差是否小于閾值條件Δ(R)=SR22Q|R|(min(SR,|R|)log(1+|R|)+2log6wh),]]>其中SR表示運動矢量的動態(tài)范圍，|R|表示區(qū)域包含的運動矢量數(shù)目，wh表示運動矢量場的尺寸，參數(shù)Q用來控制運動矢量場的分割程度，就樣就可以將運動矢量場適度地分割成若干具有相似運動的區(qū)域；(4)計算每個分割區(qū)域在全局運動補償后的平均殘差；(5)區(qū)分最可靠的背景區(qū)域和其它對象所在的區(qū)域，在面積大于整個運動矢量場10％的若干分割區(qū)域中選擇平均殘差最小的區(qū)域作為可靠的背景區(qū)域，標記為R0t，剩下的區(qū)域作為運動對象可能存在的區(qū)域Rit；最后對當前幀所分割的M個對象區(qū)域和1個背景區(qū)域分別標記，分割結(jié)果記為Lregt。
6.根據(jù)權(quán)利要求1所述的基于匹配矩陣的H.264壓縮域運動對象實時分割方法，其特征在于所述的對象分割，是利用前一幀，t-1時刻，已經(jīng)獲得的運動對象分割結(jié)果，來判斷當前幀，t時刻，各個分割區(qū)域是否與前一幀的某個對象匹配，以此構(gòu)造匹配矩陣；基于匹配矩陣判斷對象的跟蹤與更新、對象的合并、對象的分裂、新對象的出現(xiàn)、舊對象的消失等情況，最終獲得當前幀的若干運動對象。步驟如下(1)采用后向投影方法獲得前一幀，t-1時刻，各個對象在當前幀t時刻的投影區(qū)域，先將前一幀的N個運動對象Ojt-1和1個背景對象O0t-1標記出來，然后采用后向投影的方法獲得前一幀各個對象在當前幀的投影區(qū)域。就是利用當前幀累積運動矢量場中任意塊的坐標和其對應的累積運動矢量的差求出這個塊在前一幀中的匹配位置，然后將前一幀匹配位置上的塊對象投影到當前幀并逐個標記出來，記為Lprojt；(2)構(gòu)造矩陣CMt，它表示分割區(qū)域與對象投影相互重疊的面積；構(gòu)造矩陣CMRt，它表示每個分割區(qū)域落在各個對象投影內(nèi)的比例；構(gòu)造矩陣CMCt，它表示每個對象投影落在各個分割區(qū)域內(nèi)的比例；根據(jù)標記圖象Lregt和Lprojt，構(gòu)造3個M+1行N+1列的矩陣CMt，CMRt，CMCt。其中矩陣CMt中的任意元素CMt(i，j)取值為在Lregt中標記為i且在Lprojt標記為j的象素數(shù)目，即分割區(qū)域Lregt與對象投影Lprojt相互重疊的面積。而矩陣CMRt(i，j)定義為CMRt第i行的各個元素是分割區(qū)域Rit落在各個對象投影內(nèi)的比例；矩陣CMCt(i，j)定義為CMCt第j列的各個元素是對象Ojt-1的投影落在各個分割區(qū)域內(nèi)的比例；(3)構(gòu)造矩陣CMMt，它表示當前幀分割區(qū)域和對象投影之間的關(guān)聯(lián)程度，矩陣CMMt記錄了CMRt和CMCt所反映的Lregt和Lprojt之間的相關(guān)信息；CMMt首先置為M+1行、N+1列的零矩陣；接著對CMRt進行行掃描找到每一行最大值所在的位置，對CMMt中相應位置處的元素值加1；然后對CMCt進行列掃描找到每一列最大值所在的位置，對CMMt中相應位置處的元素值加2；生成的矩陣CMMt的縱坐標依次表示為當前幀背景區(qū)域R0t和運動區(qū)域Rit(i＝1，2，L，M)，橫坐標依次表示為前一幀背景對象O0t-1和運動對象Ojt-1(j＝1，2，L，N)，矩陣中各元素的可能取值為0，1，2，3；CMMt中任意不為0的元素CMMt(i，j)表明了分割區(qū)域Rjt與對象Ojt-1存在一定的相關(guān)性，具體而言①CMMt(i，j)＝1，表明分割區(qū)域Rjt在很大程度上屬于前一幀對象Ojt-1；②CMMt(i，j)＝2，表明前一幀對象Ojt-1在很大程度上包含在分割區(qū)域Rit中；③CMMt(i，j)＝3，同時包含了上述兩種情況，表明Rit和Ojt-1具有極強的相關(guān)性；需要進一步比較，如果CMRt(i，j)＞CMCt(i，j)，則CMMt(i，j)＝1；否則，CMMt(i，j)＝2；最后生成的CMMt取值范圍為0，1，2；(4)基于匹配矩陣CMMt對單個對象的跟蹤與更新、新對象出現(xiàn)、對象的合并、對象的分裂以及對象的消失五類情況進行對象分割；通過矩陣CMMt可以有效地建立起分割區(qū)域與運動對象的關(guān)聯(lián)關(guān)系，它能夠以一種統(tǒng)一的方式有效地處理以下五種情況①單個對象跟蹤與更新(1→1)；②新對象出現(xiàn)(0→1)；③對象的合并(m→1)；④對象的分裂(1→m)；⑤對象的消失(1→0)。
全文摘要
本發(fā)明提出了一種基于匹配矩陣的H.264壓縮域運動對象實時分割方法，分割所依賴的唯一信息是從H.264視頻提取出的基于4×4塊均勻采樣的運動矢量場。首先對連續(xù)多幀的運動矢量場進行歸一化并且迭代后向投影，獲得累積運動矢量場以增強顯著的運動信息。然后對累積運動矢量場進行全局運動補償，同時采用快速的統(tǒng)計區(qū)域生長算法按照運動相似性將其分割成多個區(qū)域。利用上述兩方面結(jié)果，提出基于匹配矩陣的運動對象分割方法，使之能有效的在視頻序列中進行對象的跟蹤與更新、對象的合并與分裂、新對象的出現(xiàn)以及對象消失等多種情況。對MPEG－4測試序列的實驗結(jié)果表明，在一臺CPU為3.0GHz，內(nèi)存為512M的計算機上處理CIF格式的視頻序列，平均每幀的處理時間為38ms，已能滿足大多數(shù)實時應用25fps的要求，而且具有良好的分割質(zhì)量。由于本發(fā)明提出的方法只使用了運動矢量場信息，因此它同樣可適用于MPEG壓縮域的運動對象分割。
文檔編號H04N7/26GK1960491SQ20061011636
公開日2007年5月9日 申請日期2006年9月21日 優(yōu)先權(quán)日2006年9月21日
發(fā)明者劉志, 張兆楊, 陸宇 申請人:上海大學