專利名稱：從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運動視頻的運動對象重心軌跡提取方法，特別是一種從具有靜態(tài)背景的運動視頻中提取運動對象重心軌跡的方法。
背景技術(shù)：
利用視頻對運動對象的運動進行分析是模式識別，虛擬現(xiàn)實、智能人機接口領(lǐng)域的熱點問題，具有極大的應(yīng)用價值。例如，在體育運動視頻中對運動員的運動進行分析，對于指導(dǎo)教練員和運動員的訓(xùn)練，提高訓(xùn)練水平和競技水平有著重要的指導(dǎo)意義。
其中，運動對象在執(zhí)行特定動作時的2D重心軌跡是運動分析中的一個極其重要的參數(shù)，如果能從視頻中獲取運動過程中運動對象的2D重心軌跡，就可以為判斷運動對象所執(zhí)行動作的質(zhì)量提供強有力的依據(jù)。例如，如果應(yīng)用到體育運動視頻中，就可以為指導(dǎo)運動員的訓(xùn)練提供一個有效的手段，對提高運動員的運動質(zhì)量，提高訓(xùn)練水平和競技水平具有重要價值。
所謂靜態(tài)背景運動視頻，是指在視頻圖像序列中，場景背景不變的視頻。例如，蹦床運動視頻中，攝像機是靜止不動的，場景背景也是靜止的，所以，蹦床運動視頻就屬于靜態(tài)背景運動視頻。如果能夠有一種方法，可以在靜態(tài)背景條件下，從運動視頻中找到運動對象的重心軌跡，如找到蹦床運動員的重心運動軌跡，就能夠更好地研究運動對象的運動規(guī)律，根據(jù)運動對象的運動規(guī)律可以對運動對象的運動做更進一步的研究。
但在國內(nèi)外的現(xiàn)有視頻處理軟件中，都沒有提供這種自動提取靜態(tài)背景視頻中運動對象重心軌跡的功能。目前為止，也沒有找到能夠提供上述功能的專利。

發(fā)明內(nèi)容
本發(fā)明的目的是為在靜態(tài)背景條件下，從運動視頻中找到運動對象的重心軌跡，從而更好地研究運動對象的運動規(guī)律，而提供一種從具有靜態(tài)背景的運動視頻中提取運動對象重心軌跡的方法。
為實現(xiàn)上述目的，本發(fā)明提出一種從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，該方法包括如下步驟獲取一由多個視頻幀組成的運動視頻，并存入計算機；所述運動視頻具有靜態(tài)背景以及在靜態(tài)背景上的運動前景，所述運動前景包括有運動對象；提取出所述運動視頻的靜態(tài)背景；對于每一視頻幀，將該視頻幀與所述靜態(tài)背景作幀差，獲得該視頻幀的運動前景區(qū)域；對于每一視頻幀，從視頻幀的所述運動前景區(qū)域提取出運動對象的二維輪廓；對于每一視頻幀，計算所述運動對象二維輪廓的重心點；將所有視頻幀的運動對象的重心點轉(zhuǎn)換到同一圖像中，獲得運動對象的重心軌跡。
上述技術(shù)方案中，所述的提取出運動視頻的靜態(tài)背景包括求相鄰視頻幀間的視頻幀差圖；求視頻幀差圖中的靜止部分，所述靜止部分包括至少一個分段；用視頻幀差圖的靜止部分中的最長分段中點的對應(yīng)幀號的像素點來填充背景中的相應(yīng)位置，得到靜態(tài)背景。
所述的求相鄰幀間的視頻幀差圖包括將相鄰幀間的亮度分量相減。
所述的求相鄰幀間的視頻幀差圖還包括設(shè)定一閥值以去除噪聲。
上述技術(shù)方案中，所述的從視頻幀的運動前景區(qū)域提取出運動對象的二維輪廓包括去噪和/或去除非運動對象。
所述的去噪包括去除所述運動前景區(qū)域中面積小于一閥值的的空穴。
所述的去除非運動對象包括去除視頻幀中處于非中央?yún)^(qū)域的前景區(qū)域。
上述技術(shù)方案中，所述的計算所述運動對象二維輪廓的重心點是求運動對象二維輪廓的幾何中心。
本發(fā)明的方法的優(yōu)點在于1、本發(fā)明方法具有良好的通用性，只要背景是靜態(tài)的運動視頻都適用于本發(fā)明方法。
2、本發(fā)明方法在提取運動對象輪廓過程中，采用了基于運動規(guī)律的逐步分層次去除噪聲的方法，即使在存在較大噪聲，造成前景輪廓提取效果不甚理想的情況下，仍然能夠得到較為理想的效果。


圖1為靜態(tài)背景運動視頻的運動對象重心軌跡提取流程圖。
具體實施例方式
下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細描述。
參照圖1，為本實施例的流程圖。圖1中虛線框內(nèi)表示操作，實線框內(nèi)表示相關(guān)操作得到的結(jié)果。如圖1所示，本實施例包括下列步驟步驟10利用攝像設(shè)備獲取原始的運動視頻，并存入計算機。該運動視頻具有靜態(tài)背景以及在靜態(tài)背景上的運動前景。該運動前景包含有運動對象，這里的運動對象通常是指該運動視頻所主要拍攝的運動目標(biāo)，例如體育視頻中的運動員。該運動前景中還可能包括一些其它的非運動對象，這里的非運動對象通常是指運動視頻的除運動對象之外的其它運動物體，例如運動員所使用的諸如球或棒等輔助運動工具。
步驟20預(yù)處理。即采用常規(guī)的平滑技術(shù)對所獲取的運動視頻進行平滑處理，以初步去除噪聲的影響，然后將運動視頻分割生成各個視頻幀。對運動視頻進行平滑處理時，優(yōu)選采用中值濾波的局部平均平滑技術(shù)，它對脈沖干擾和淑鹽的抑制效果好，在抑制隨機噪聲的同時能降低邊沿的模糊程度。中值濾波是一種非線性的圖像平滑方法，它對一個滑動窗口內(nèi)的諸像素進行灰度排序而形成一個灰度值的序列，用序列中的中值代替窗口中心像素原來的灰度(若窗口中有偶數(shù)個像素，則取灰度值序列中兩個中間值的平均)。
步驟30提取運動視頻的靜態(tài)背景。具體包括以下步驟a1)求視頻幀差視頻幀差CDM(Change Detection Mask)用來反映相鄰幀之間的灰度變化，通過灰度幀差的求取可以方便地知道幀與幀之間的變化情況。視頻幀差的具體求解如下用圖像序列I(x，y，i)表示運動視頻第i幀在(x，y)處的像素值，其中i代表幀號(i＝1...N)，N為序列總幀數(shù)，(x，y)代表空間坐標(biāo)。圖像序列I(x，y，i)的亮度分量為IL(x，y，i)，則視頻幀差CDM的求解公式如下CDM(x,y,i)=d,ifd≥T0,ifd<Td=|IL(x,y,i+1)-IL(x,y,i)|]]>其中，閾值T被用來二次去除噪聲，閥值T是一個已知的公知值，無需用戶另行設(shè)定。對固定的坐標(biāo)位置(x，y)，CDM(x，y，i)可以表示為幀號i的函數(shù)，它記錄了在位置(x，y)處像素點的視頻幀差沿時間軸的變化曲線。
b1)求視頻幀差中的靜止部分對于固定的坐標(biāo)位置(x，y)，根據(jù)CDM(x，y，i)是否大于零將CDM(x，y，i)曲線分段，其中CDM(x，y，i)的值為0的部分稱為靜止部分，該靜止部分由一個或者多個分段組成。
c1)背景提取對于固定的坐標(biāo)位置(x，y)，在其CDM(x，y，i)曲線的靜止部分中挑選出最長的分段，并記錄該分段中點的對應(yīng)幀號為M(x，y)；用第M(x，y)幀處的(x，y)點的像素值來填充視頻背景中的(x，y)位置。這樣，當(dāng)遍及視頻幀上所有的坐標(biāo)位置(x，y)后，即可形成一個完整的背景。該步驟可用下面的公式描述M(x，y)＝(ST(x，y)+EN(x，y))/2B(x，y)＝I(x，y，M(x，y))其中，ST(x，y)和EN(x，y)表示坐標(biāo)位置(x，y)的視頻幀差CDM(x，y，i)的靜止部分中的最長分段的起點幀號和終點幀號，B(x，y)為靜態(tài)背景中(x，y)處的像素值。
步驟40提取運動視頻的前景區(qū)域輪廓。具體操作是利用已經(jīng)得到的靜態(tài)背景，在視頻中的每一幀和靜態(tài)背景之間用減法運算得到亮度分量的背景幀差圖IDL，背景幀差圖IDL中的非零區(qū)域反映了每一視頻幀的前景區(qū)域。背景幀差圖IDL的計算公式如下IDL(x,y,i)=d,ifd≥T0,ifd<T,d=|IL(x,y,i)-BL(x,y)|]]>其中，IL為視頻幀的亮度分量，BL是背景的亮度分量。在求解背景幀差圖IDL的過程中，利用閥值T也可以去除部分噪聲。在實際情況中，背景并不是完全靜止的，由于光照或者其他干擾而引入了一些局部噪聲，這些干擾對運動目標(biāo)的正確檢測和定位帶來很大的困難，因此，可以利用色度等其他信息或形態(tài)學(xué)的方法消除背景幀差圖IDL中的這些噪聲。
步驟50對每一背景幀差圖IDL的前景區(qū)域進行分層去噪，得到精確的運動對象的二維(2D)輪廓。步驟40中背景幀差圖IDL中的非零區(qū)域反映了視頻幀的前景區(qū)域的輪廓，但是其中通常還包括有噪聲或者非運動對象。其中的噪聲通常表現(xiàn)為空穴，在背景幀差圖IDL中，空穴是指由白色背景區(qū)域包圍起來的一個黑區(qū)域?？昭ǖ奶幚砜赏ㄟ^如下步驟進行首先搜索出背景幀差圖IDL圖中所包含的所有空穴；設(shè)定一閥值并計算每個空穴的面積，如果空穴面積小于閾值，就將當(dāng)前空穴所有的像素賦以背景值，進行空穴消去；如果大于閾值，則保留原有的空穴。由于前景區(qū)域中的運動對象一般位于視頻幀的中央部位，因此位于視頻幀的非中央?yún)^(qū)域的前景區(qū)域可以認(rèn)為是運動前景中的非運動對象，可以將對應(yīng)區(qū)域的像素賦以背景值，進行消去。
對背景幀差圖IDL中的空穴和非運動對象進行處理后，即可得到精確的運動對象的二維輪廓。
步驟60運動對象重心的計算。得到運動對象精確的二維輪廓以后，通過簡單的二維運算，就能夠得到運動對象的二維重心。這里的二維運算就是指計算二維運動對象輪廓的幾何中心例如設(shè)GL為視頻序列中第L幀圖像的運動對象輪廓區(qū)域，而(X1，Y1)、(X2，Y2)、...、(Xn，Yn)為組成運動對象輪廓區(qū)域GL的所有像素點，則(X，Y)就為該幀圖像的2D重心軌跡點坐標(biāo)，其中X=(X1+X2+...+Xnn),Y=(Y1+Y2+...Ynn).]]>步驟70將從每一視頻幀得到運動對象重心點轉(zhuǎn)換到指定的同一視頻幀中，將各個重心點相連接，便得到了一條連續(xù)的運動對象重心軌跡。
權(quán)利要求
1.一種從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，該方法包括如下步驟獲取一由多個視頻幀組成的運動視頻，并存入計算機；所述運動視頻具有靜態(tài)背景以及在靜態(tài)背景上的運動前景，所述運動前景包括有運動對象；提取出所述運動視頻的靜態(tài)背景；對于每一視頻幀，將該視頻幀與所述靜態(tài)背景作幀差，獲得該視頻幀的運動前景區(qū)域；對于每一視頻幀，從視頻幀的所述運動前景區(qū)域提取出運動對象的二維輪廓；對于每一視頻幀，計算所述運動對象二維輪廓的重心點；將所有視頻幀的運動對象的重心點轉(zhuǎn)換到同一圖像中，獲得運動對象的重心軌跡。
2.根據(jù)權(quán)利要求1所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的提取出運動視頻的靜態(tài)背景包括求相鄰視頻幀間的視頻幀差圖；求視頻幀差圖中的靜止部分，所述靜止部分包括至少一個分段；用視頻幀差圖的靜止部分中的最長分段中點的對應(yīng)幀號的像素點來填充背景中的相應(yīng)位置，得到靜態(tài)背景。
3.根據(jù)權(quán)利要求2所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的求相鄰幀間的視頻幀差圖包括將相鄰幀間的亮度分量相減。
4.根據(jù)權(quán)利要求3所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的求相鄰幀間的視頻幀差圖還包括設(shè)定一閥值以去除噪聲。
5.根據(jù)權(quán)利要求1所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的從視頻幀的運動前景區(qū)域提取出運動對象的二維輪廓包括去噪和/或去除非運動對象。
6.根據(jù)權(quán)利要求5所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的去噪包括去除所述運動前景區(qū)域中面積小于一閥值的空穴。
7.根據(jù)權(quán)利要求6所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的去除非運動對象包括去除視頻幀中處于非中央?yún)^(qū)域的前景區(qū)域。
8.根據(jù)權(quán)利要求1所述的從具有靜態(tài)背景的運動視頻提取運動對象重心軌跡的方法，其特征在于，所述的計算所述運動對象二維輪廓的重心點是求運動對象二維輪廓的幾何中心。
全文摘要
本發(fā)明公開了一種從具有靜態(tài)背景的運動視頻中提取運動對象重心軌跡的方法，該方法包括如下步驟獲取一由多個視頻幀組成的運動視頻，并存入計算機；提取出所述運動視頻的靜態(tài)背景；對于每一視頻幀，將該視頻幀與靜態(tài)背景作幀差，獲得該視頻幀的運動前景區(qū)域；從視頻幀的所述運動前景區(qū)域提取出運動對象的二維輪廓；計算所述運動對象二維輪廓的重心點；將所有視頻幀的運動對象的重心點轉(zhuǎn)換到同一圖像中，獲得運動對象的重心軌跡。本方法具有良好的通用性，只要背景是靜態(tài)的運動視頻都適用；本方法在提取運動對象輪廓過程中，采用逐步分層次去除噪聲的方法，即使在存在較大噪聲，造成前景輪廓提取效果不理想的情況下，仍能夠得到較為理想的效果。
文檔編號G06T7/20GK1770204SQ200410086740
公開日2006年5月10日 申請日期2004年10月29日 優(yōu)先權(quán)日2004年10月29日
發(fā)明者邱顯杰, 夏時洪, 王兆其, 李錦濤 申請人:中國科學(xué)院計算技術(shù)研究所