專利名稱：在體育比賽視頻中檢測精彩片斷的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在體育比賽的視頻中檢測精彩片斷的方法。
背景技術(shù)：
體育比賽的電視轉(zhuǎn)播一般很漫長，但對于觀眾來說，真正關(guān)心并有可能反復(fù)觀看的只是其中的精彩部分。這些精彩片斷不僅是普通觀眾所感興趣的，而且也是體育專業(yè)人士所關(guān)注的，例如教練員需要據(jù)此對運(yùn)動(dòng)員動(dòng)作進(jìn)行技術(shù)分析。傳統(tǒng)的方法是人工對錄制的視頻錄像帶進(jìn)行剪輯，然而這種方法費(fèi)時(shí)費(fèi)力并且需要專業(yè)技術(shù)。
隨著數(shù)字技術(shù)的不斷發(fā)展和普及，視頻可以采用數(shù)字化的形式存儲和處理。在此基礎(chǔ)上，利用計(jì)算機(jī)可以對視頻圖像數(shù)據(jù)進(jìn)行某種自動(dòng)處理。一些公開的方法利用了特定比賽場景下的領(lǐng)域知識，對如足球、籃球等比賽的視頻進(jìn)行了分析。但是這些方法依賴有關(guān)比賽的領(lǐng)域知識，不具有通用性。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種通用的在體育比賽視頻中自動(dòng)檢測精彩片斷的方法。
為實(shí)現(xiàn)上述目的，一種在體育比賽視頻中檢測精彩片斷的方法，包括下列步驟確定視頻中相鄰幀的攝像機(jī)運(yùn)動(dòng)；用所述攝像機(jī)運(yùn)動(dòng)來校正鏡頭邊界的檢測；確定所述鏡頭是否為重放鏡頭，如果是重放，則判定為精彩片斷；根據(jù)所述攝像機(jī)運(yùn)動(dòng)來計(jì)算重放鏡頭與之前視頻中正常鏡頭的相似度，其中相似度最大的鏡頭判定為精彩片斷。
本發(fā)明的主要優(yōu)點(diǎn)是能對精彩片斷進(jìn)行有效的自動(dòng)提取，且不依賴于特定比賽的領(lǐng)域知識。本發(fā)明基于以下事實(shí)，即在體育比賽轉(zhuǎn)播的時(shí)候，通常會在精彩事件之后及時(shí)穿插重放慢鏡頭，并且由于重放鏡頭與原先的正常鏡頭關(guān)注的事件是同一個(gè)運(yùn)動(dòng)，這使得鏡頭內(nèi)的攝像機(jī)運(yùn)動(dòng)通常比較明顯和存在一定的相關(guān)性。此外，針對體育視頻中存在的大量運(yùn)動(dòng)，本發(fā)明使用攝像機(jī)運(yùn)動(dòng)分析的結(jié)果來校驗(yàn)所檢測的鏡頭邊界，從而提高了鏡頭分割的準(zhǔn)確性。


圖1是本發(fā)明的流程示意圖。
圖2是運(yùn)動(dòng)矢量空間示意圖。
圖3說明了重放標(biāo)志的選取。
具體實(shí)施例方式
本發(fā)明對體育比賽視頻精彩片斷的提取，依賴于下面兩個(gè)假設(shè)(1)精彩事件會被及時(shí)重放；(2)重放的第一個(gè)鏡頭通常來自先前拍攝該事件的同一攝像機(jī)。在此基礎(chǔ)上，圖1給出了本發(fā)明的流程示意圖。首先，對視頻序列進(jìn)行基于顏色直方圖的鏡頭邊界檢測和攝像機(jī)運(yùn)動(dòng)分析，初步得到的鏡頭邊界再利用攝像機(jī)運(yùn)動(dòng)分析的結(jié)果進(jìn)行校驗(yàn)，消除其中由于運(yùn)動(dòng)造成的誤差。然后，對檢測出的鏡頭判斷是否為重放。若是重放鏡頭，則判定為精彩片斷。另一方面，則根據(jù)攝像機(jī)運(yùn)動(dòng)，在之前的視頻片斷中查找與重放的第一個(gè)鏡頭最相似的鏡頭，也判定為精彩片斷。
攝像機(jī)運(yùn)動(dòng)包括以下七種靜止，上搖，下?lián)u，右搖，左搖，推近和拉遠(yuǎn)。為了確定相鄰幀的攝像機(jī)運(yùn)動(dòng)，需要計(jì)算不同位置上的運(yùn)動(dòng)矢量，再對所有的運(yùn)動(dòng)矢量進(jìn)行統(tǒng)計(jì)。
運(yùn)動(dòng)矢量使用16×16塊匹配的全搜索算法來求得。在體育比賽的轉(zhuǎn)播中，通常都將視野的中央對準(zhǔn)運(yùn)動(dòng)員的動(dòng)作，因此我們不計(jì)算幀中央的塊，這樣既可以降低計(jì)算量又避免了前景物體運(yùn)動(dòng)造成的誤差。此外，為了降低塊匹配在平滑區(qū)域(如天空、水等)出現(xiàn)的隨機(jī)誤差，我們計(jì)算每一個(gè)塊的方差，只有方差大于某一閾值才計(jì)算其運(yùn)動(dòng)矢量。
計(jì)算得到的運(yùn)動(dòng)矢量m＝(x，y)分布在一個(gè)如圖2所示的二維空間中。將該空間劃分為五個(gè)區(qū)域，其中區(qū)域0為半徑2的圓形區(qū)域，空間的其他部分平分為四個(gè)區(qū)域。分別對五個(gè)區(qū)域統(tǒng)計(jì)其中運(yùn)動(dòng)矢量的數(shù)目，最多的記為主區(qū)域，次多的記為次區(qū)域。對攝像機(jī)運(yùn)動(dòng)的判定如下1、若主區(qū)域和次區(qū)域相對，如區(qū)域1和區(qū)域3，區(qū)域2和區(qū)域4，則為變焦距拉推運(yùn)動(dòng)。此時(shí)需分別計(jì)算外出矢量和內(nèi)入矢量的數(shù)目，來判定是推近還是拉遠(yuǎn)。若區(qū)域1中的矢量是來自于幀左部的塊則為內(nèi)入矢量；若來自于幀右部則為外出矢量。同理，可以分別計(jì)算出區(qū)域2、3和4中的外出矢量和內(nèi)入矢量數(shù)目。若外出矢量的總數(shù)超過內(nèi)入矢量的總數(shù)，則可以判定為推近，反之為拉遠(yuǎn)。
2、若主區(qū)域?yàn)閰^(qū)域1，判定為左搖。
3、若主區(qū)域?yàn)閰^(qū)域2，判定為下?lián)u。
4、若主區(qū)域?yàn)閰^(qū)域3，判定為右搖。
5、若主區(qū)域?yàn)閰^(qū)域4，判定為上搖。
6、以上條件均不滿足，攝像機(jī)運(yùn)動(dòng)判斷為靜止。
由上述算法，給定一段視頻序列，對其進(jìn)行幀間攝像機(jī)運(yùn)動(dòng)分析，我們可以得到一個(gè)運(yùn)動(dòng)特征序列C＝{ci}，ci∈
，其中ci指明了第i幀到第i+1幀的攝像機(jī)運(yùn)動(dòng)。由于每種攝像機(jī)運(yùn)動(dòng)都有一定的延續(xù)性，因此在實(shí)際計(jì)算中，可以采取隔幾幀計(jì)算一次的方法以降低計(jì)算量。
所謂鏡頭是指攝像機(jī)不間斷拍攝的一組幀序列，它常被看成一部視頻的最小結(jié)構(gòu)單元。為了將鏡頭分割出來，需要進(jìn)行鏡頭邊界檢測。鏡頭與鏡頭之間的邊界有兩種類型突變和漸變。突變時(shí)，鏡頭直接切換到下一個(gè)；漸變時(shí)，從一個(gè)鏡頭到下一個(gè)鏡頭會有一個(gè)持續(xù)多幀的變化過程，如淡入淡出等。漸變的檢測一般要比突變難，這主要是因?yàn)楹茈y區(qū)分鏡頭之間的漸變和由于攝像機(jī)或物體運(yùn)動(dòng)造成的場景變化。在體育視頻中，大部分鏡頭邊界屬于突變類型，少部分屬于漸變。但是由于體育視頻中存在大量的運(yùn)動(dòng)，這些運(yùn)動(dòng)常常會導(dǎo)致鏡頭邊界檢測算法出現(xiàn)較多的錯(cuò)誤判斷。
為了解決上述問題，首先采用基于顏色直方圖的雙重比較法(TwinComparison)對鏡頭邊界進(jìn)行初步檢測，然后根據(jù)攝像機(jī)運(yùn)動(dòng)對邊界進(jìn)行的校驗(yàn)。其中，第i幀的直方圖差值di由下式給出di=12N·Σr=03Σg=03Σb=03|Hi(r,g,b)-Hi-1(r,g,b)|]]>式中Hi(r，g，b)為第i幀中顏色值為(r，g，b)的像素的個(gè)數(shù)，N為每幀的像素總數(shù)。對于每個(gè)8位256級的顏色分量，只取其高兩位進(jìn)行區(qū)分，即r，g，b∈
。
設(shè)視頻序列V為雙重比較法探測的一個(gè)可能鏡頭漸變，{ci}為其運(yùn)動(dòng)特征序列。校驗(yàn)方法如下若在{ci}中存在至少連續(xù)10幀的相同非靜止攝像機(jī)運(yùn)動(dòng)，則判定該漸變過程是由于運(yùn)動(dòng)造成的誤差；反之，則為真正的漸變。
在體育比賽的電視轉(zhuǎn)播中，一般對于精彩片斷的重放都會以一個(gè)特別的標(biāo)志性變化引入，再以類似的變化結(jié)束。這些標(biāo)志比較固定，在相關(guān)比賽的轉(zhuǎn)播過程不會發(fā)生變化，可以事先通過用戶交互從視頻中選取，如圖3所示。然后通過檢測這些重放標(biāo)志，就可以準(zhǔn)確定位重放的開始和結(jié)束。
對每一幀計(jì)算它和重放標(biāo)志的距離。距離計(jì)算由下式給出d(s，t)＝β·d1(s，t)+(1-β)·d2(s，t)其中d1(s，t)為模板t標(biāo)志區(qū)域和幀s對應(yīng)區(qū)域基于顏色直方圖的距離，d2(s，t)為基于對應(yīng)像素顏色值的距離，0＜β＜1為權(quán)重。當(dāng)距離小于給定閾值時(shí)，記為一次標(biāo)志出現(xiàn)。為避免重復(fù)，約定若相鄰的兩次出現(xiàn)發(fā)生在30幀以內(nèi)，則只記為一次。根據(jù)重放標(biāo)志出現(xiàn)的記錄次數(shù)就可以對鏡頭是否屬于重放進(jìn)行判斷。若在該鏡頭開始之前記錄了偶數(shù)次(包括次數(shù)為零)標(biāo)志出現(xiàn)，則該鏡頭為正常鏡頭；若之前記錄了奇數(shù)次，則是重放鏡頭。
精彩片斷除了包括這些重放鏡頭，還有與之對應(yīng)的正常鏡頭。為此，需要根據(jù)重放鏡頭在之前的視頻中尋找同一事件的正常鏡頭。實(shí)際上就是將第一個(gè)重放鏡頭與之前到上一次重放結(jié)束為止的鏡頭進(jìn)行匹配，并將其中最相似的鏡頭作為精彩鏡頭。因?yàn)橹胤喷R頭在播放速度和起始點(diǎn)上與原先拍攝的鏡頭有較大的差異，所以如何衡量兩者的相似性成為一個(gè)關(guān)鍵問題。在體育視頻中，由于重放鏡頭與原先拍攝的鏡頭關(guān)注的事件通常是同一個(gè)運(yùn)動(dòng)，這使得鏡頭內(nèi)的攝像機(jī)運(yùn)動(dòng)比較明顯并存在一定的相關(guān)性。這種相關(guān)性即使在播放速度和起始幀不同的條件下，也是存在的。
首先把鏡頭內(nèi)相鄰幀的所述攝像機(jī)運(yùn)動(dòng)按照幀序依次排列得到運(yùn)動(dòng)序列。再對此運(yùn)動(dòng)序列進(jìn)行預(yù)處理，即去掉運(yùn)動(dòng)序列中表示靜止的攝像機(jī)運(yùn)動(dòng)和持續(xù)幀數(shù)較少的攝像機(jī)運(yùn)動(dòng)，從而消除其中由于拍攝時(shí)抖動(dòng)或分析的誤差造成的噪聲。預(yù)處理將幀間運(yùn)動(dòng)序列轉(zhuǎn)化為一個(gè)動(dòng)作二元組序列{(ci，li)}，其中ci∈[1，6]表示攝像機(jī)運(yùn)動(dòng)的類型(設(shè)ci＝0表示攝像機(jī)靜止)，li為運(yùn)動(dòng)持續(xù)的幀數(shù)。例如，0000000003333333302202200022222222→(3，8)(2，8)。
重放鏡頭和正常鏡頭的運(yùn)動(dòng)序列采用下面的算法來確定它們的相似度。
算法基于攝像機(jī)運(yùn)動(dòng)的重放鏡頭相似度計(jì)算 輸入重放鏡頭和普通鏡頭的二元組序列C1＝{(c1[i]，l1[i])}和C2＝{(c2[j]，l2[j])，長度分別為L1和L2。 輸出兩個(gè)特征序列的相似度s (1) s＝0； (2) while(C1 is not empty){ (3) s1＝0； (4) for(d＝-L1+1；d＜L2；d++){ (5) s2＝0； (6) for(i＝0；i＜L1；i++) { (7) j＝i+d； (8) if(0＜＝j(luò)&&j＜L2&&c1[i]＝＝c2[j])) (9) s2＝s2+min(l1[i]，l2[j])+score； (10) } (11) if(s2＞s1)s1＝s2； (12) } (13) if(s1＞s)s＝s1； (14) reduce(C1)//remove the shortest motion from C1 (15) } (16) return s； 對于重放鏡頭，由于播放速度慢，在進(jìn)行攝像機(jī)運(yùn)動(dòng)分析時(shí)有可能把一些比較微小的攝像機(jī)抖動(dòng)放大。為了消除這些放大的抖動(dòng)，我們實(shí)施多次匹配，每次匹配時(shí)依次去掉重放鏡頭二元組序列中一個(gè)li最小的二元組，最后將其中最佳的匹配作為返回結(jié)果。具體在對正常鏡頭和重放鏡頭的運(yùn)動(dòng)序列進(jìn)行匹配時(shí)，需要分別以不同的起始位置，對應(yīng)比較兩個(gè)序列，尋找最佳匹配。我們的算法綜合考慮了組的匹配和幀的匹配，其中score為組匹配的獎(jiǎng)勵(lì)權(quán)重，一般設(shè)為10。score的值越大，則表明匹配的組越多越相似；score的值越小，則匹配的幀數(shù)越多越相似。
權(quán)利要求
1.一種在體育比賽視頻中檢測精彩片斷的方法，包括下列步驟確定視頻中相鄰幀的攝像機(jī)運(yùn)動(dòng)；用所述攝像機(jī)運(yùn)動(dòng)來校正鏡頭邊界的檢測；確定所述鏡頭是否為重放鏡頭，如果是重放，則判定為精彩片斷；根據(jù)所述攝像機(jī)運(yùn)動(dòng)來計(jì)算重放鏡頭與之前視頻中正常鏡頭的相似度，其中相似度最大的鏡頭判定為精彩片斷。
2.如權(quán)利要求1所述的方法，其特征在于所述校正鏡頭邊界的檢測包括下列步驟基于幀間顏色直方圖的差值來檢測視頻中的鏡頭邊界；如果所述鏡頭邊界是漸變的，且在漸變過程中存在連續(xù)多幀都是相同的非靜止攝像機(jī)運(yùn)動(dòng)，則確定該漸變是無效。
3.如權(quán)利要求1所述的方法，其特征在于所述重放鏡頭的確定包括下列步驟確定視頻幀圖像中是否出現(xiàn)了重放標(biāo)志；如果所述幀圖像中出現(xiàn)了重放標(biāo)志，則對之后規(guī)定數(shù)目的視頻幀序列不再記錄重放標(biāo)志的出現(xiàn)；如果鏡頭開始之前記錄了奇數(shù)次重放標(biāo)志的出現(xiàn)，則該鏡頭為重放鏡頭。
4.如權(quán)利要求3所述的方法，其特征在于所述的規(guī)定數(shù)目為視頻中重放標(biāo)志從出現(xiàn)到消失的最大持續(xù)幀數(shù)。
5.如權(quán)利要求1所述的方法，其特征在于所述之前視頻是指從上次重放結(jié)束到本次重放開始之間的視頻幀序列。
6.如權(quán)利要求1所述的方法，其特征在于所述重放鏡頭和正常鏡頭的相似度計(jì)算包括下列步驟把鏡頭內(nèi)相鄰幀的所述攝像機(jī)運(yùn)動(dòng)按照幀序依次排列，分別得到重放鏡頭和正常鏡頭的運(yùn)動(dòng)特征序列；去掉所述運(yùn)動(dòng)特征序列中表示靜止的攝像機(jī)運(yùn)動(dòng)和持續(xù)幀數(shù)較少的攝像機(jī)運(yùn)動(dòng)；匹配重放鏡頭和正常鏡頭的所述運(yùn)動(dòng)特征序列，確定它們的相似度；依次去掉重放鏡頭運(yùn)動(dòng)特征序列中持續(xù)幀數(shù)最少的攝像機(jī)運(yùn)動(dòng)，再和正常鏡頭的運(yùn)動(dòng)序列進(jìn)行匹配，確定它們的相似度；把其中最大的相似度作為所述重放鏡頭和正常鏡頭的相似度。
7.如權(quán)利要求6的方法，其中所述運(yùn)動(dòng)特征序列的匹配包括下列步驟依次以不同的起始位置，對應(yīng)比較重放鏡頭和正常鏡頭的所述運(yùn)動(dòng)特征序列；確定所述運(yùn)動(dòng)特征序列的最佳匹配。
全文摘要
一種在體育比賽視頻中檢測精彩片斷的方法，包括步驟確定視頻中相鄰幀的攝像機(jī)運(yùn)動(dòng)；用所述攝像機(jī)運(yùn)動(dòng)來校正鏡頭邊界的檢測；確定所述鏡頭是否為重放鏡頭，如果是重放，則判定為精彩片斷；根據(jù)所述攝像機(jī)運(yùn)動(dòng)來計(jì)算重放鏡頭與之前視頻中正常鏡頭的相似度，其中相似度最大的鏡頭判定為精彩片斷。本發(fā)明能對精彩片斷進(jìn)行有效的自動(dòng)提取，且不依賴于特定比賽的領(lǐng)域知識。針對體育視頻中存在的大量運(yùn)動(dòng)，本發(fā)明使用攝像機(jī)運(yùn)動(dòng)分析的結(jié)果來校驗(yàn)所檢測的鏡頭邊界，從而提高了鏡頭分割的準(zhǔn)確性。
文檔編號H04N5/222GK1510907SQ0215697
公開日2004年7月7日 申請日期2002年12月24日 優(yōu)先權(quán)日2002年12月24日
發(fā)明者王扉, 張勇東, 李錦濤, 林守勛, 王 扉 申請人:中國科學(xué)院計(jì)算技術(shù)研究所