專利名稱：足球視頻遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在足球視頻中對足球位置的自動(dòng)檢測，具體的說，是涉及對足球視 頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法。
背景技術(shù)：
足球作為全球最流行的球類體育項(xiàng)目之一， 一直擁有廣大的參與和關(guān)注群體， 而其蘊(yùn)含的巨大商業(yè)價(jià)值也使得人們對足球視頻進(jìn)行著不斷的研究。其中對足球視 頻的自動(dòng)分析是一個(gè)主要的方面，具體包括對視頻的檢索、總結(jié)、檢測、加強(qiáng)等方 面，進(jìn)而進(jìn)行語義層次上的理解，比如戰(zhàn)術(shù)和場上形式分析等等。而鑒于足球總是 場上的焦點(diǎn)，對于足球位置的檢測便成了上述分析的一個(gè)首先需要解決的問題了， 而對其檢測的準(zhǔn)確性也將直接影響著之后的應(yīng)用。另一方面，隨著便攜移動(dòng)終端的 流行，能夠隨時(shí)隨地在移動(dòng)終端上觀看到足球比賽直播，對廣大的足球愛好者無疑 具有很強(qiáng)的誘惑力。但是在小屏幕上欣賞足球比賽，特別是比賽中的遠(yuǎn)景鏡頭，觀 眾的視覺體驗(yàn)和觀賞感受是無法保障的。解決的一個(gè)方法便是只播放視頻畫面中觀 眾感興趣區(qū)域，而這個(gè)感興趣區(qū)域也是以足球的位置為中心的。
足球視頻作為一種具體的視頻類別，有其自身的特點(diǎn)。比如球員和球的活動(dòng)基 本上都是在足球場上進(jìn)行的，而球場有特定的顏色。比如足球也有具體的大小顏色 形狀。另外，足球視頻鏡頭的分類， 一般有三種遠(yuǎn)景鏡頭、中景鏡頭和近景鏡頭。 其中，在中景鏡頭和近景鏡頭中，足球都是比較大，位置也相對容易確定。而在遠(yuǎn) 景鏡頭中，足球的尺寸相對于整個(gè)鏡頭來說是很小的，在一些運(yùn)動(dòng)很快的鏡頭中， 足球形狀也不是近似圓形的。而且相對于足球，鏡頭里的背景物體也很復(fù)雜，引入 了很多噪聲會對足球的檢測造成強(qiáng)烈的干擾。以前的很多檢測方法在這種情況下是 無法滿足要求的。然而在我們的應(yīng)用中，在小屏幕的足球視頻欣賞中，主要就是遠(yuǎn) 景鏡頭部分給觀眾的理解造成困難，解決的方法也是只播放遠(yuǎn)景鏡頭畫面的感興趣 區(qū)域部分。
另外，當(dāng)前的足球檢測技術(shù)都是針對相對較大的足球檢測，也就是多在中景鏡 頭中能夠較好的檢測結(jié)果。而對于遠(yuǎn)景鏡頭，足球尺寸更小形狀更不規(guī)則，背景更 加復(fù)雜，噪聲干擾更加嚴(yán)重，這些方法的檢測成功率就很難保證了。而有一類專門
5的利用圓形哈夫變換來檢測圓形的足球檢測方法在遠(yuǎn)景鏡頭中就更加不適用了。另 外，針對足球視頻在移動(dòng)終端的播放以足球比賽的直播最能吸引用戶的興趣，而直 播的要求之一便是實(shí)時(shí)性。還有一類足球的檢測方法是先簡單檢測一定數(shù)量幀再跟 蹤足球的軌跡，這種方法在實(shí)時(shí)性上無法滿足直播的要求。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種針對足球視頻中的遠(yuǎn)景鏡頭，自動(dòng)檢測出足球位置 的足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法。該檢測方法綜合各種空間信 息，利用連續(xù)幀在時(shí)間上的相關(guān)性，確保檢測結(jié)果具有較高的準(zhǔn)確性。并且整個(gè)檢 測過程都是實(shí)時(shí)進(jìn)行，完全符合足球視頻在便攜終端上實(shí)時(shí)直播的應(yīng)用要求，具有 較大的應(yīng)用價(jià)值。
為了實(shí)現(xiàn)以上目的，本發(fā)明的一種足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢 測方法，其特征是，包括如下步驟-
1) 對足球視頻中的遠(yuǎn)景鏡頭部分進(jìn)行解碼，得到連續(xù)的遠(yuǎn)景鏡頭幀；
通常，目前的足球視頻均經(jīng)過了mpeg、 H,264等編碼，利用ffmpeg就可以解碼 成連續(xù)的幀。至于對鏡頭類型的確定，對當(dāng)前幀的區(qū)域進(jìn)行黃金分割，在各區(qū)域內(nèi) 考察其屬于草地顏色的像素所占的比例。
2) 對遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場部分
根據(jù)對連續(xù)多個(gè)幀(例如，30幀)畫面上的主區(qū)域顏色的統(tǒng)計(jì)得到主顏色，由 于足球視頻中大多幀的主要部分就是球場，依照這個(gè)主顏色值便可以確定球場的大 體顏色，進(jìn)而提取圖像的球場部分；
這里，例如可以采用HSV顏色模型，因?yàn)镠SV顏色模型跟人的感知更加切合， 也適合于分辨不同的色彩。其色彩分量(Hue)能獨(dú)立的表現(xiàn)不同亮度情況下的色彩， 這樣就可以排除球場在不同天氣、燈光情況的干擾。
3) 建立對處理之后圖像的二值顯著圖(Binary Saliency Map): 基于人視覺神經(jīng)系統(tǒng)特征，將對顏色幾個(gè)不同方面的特征描述集中成一個(gè)統(tǒng)一
的量度；
這里，可以利用亮度特征、紅綠對比特征以及黃藍(lán)對比特征來構(gòu)建顯著圖。除 此之外，畫面上的方向、紋理信息特征等也能適當(dāng)加以利用。
上述亮度特征、紅綠對比特征以及黃藍(lán)對比特征的提取方法分別如下公式計(jì)算(m，")e
^g(/,刀=m^x ^i (/,力-G0'，幾/ (附,")—G(m，")] Sflr (/, _/) = rn x 4丑"/) — W, /)，風(fēng)w,") — y(m,")]
其中 是畫面(i， j)位置的鄰域(在遠(yuǎn)景鏡頭中，我們一般采取3x3大小的鄰域)， "代表兩個(gè)特征值的差異，/,/ ,G,S和r分別表示該像素位置的亮度、紅、綠、藍(lán)、 黃幾個(gè)特征。這三個(gè)特征加權(quán)綜合
s(/， _/)=義,& (/, +(/， _/)+(/，力 其中，a,義w, ;i^是加權(quán)因子。
一般來說，亮度和黃綠對比特征是比較重要的，因?yàn)榍虻念伾篌w是近似黃色 或者白色，而球場的顏色偏綠。然而，強(qiáng)調(diào)這兩個(gè)特征時(shí)，球場的球員的某部分被 劃分開來的可能性會更大，會對球的檢測造成干擾。因此，這里將三個(gè)加權(quán)因子設(shè) 為等值。
由此，得到了此幀圖像的顯著圖，之后經(jīng)過去噪、灰度調(diào)整、二值化和區(qū)域填 充之后便得到二值顯著圖。
4)在此二值顯著圖上，根據(jù)球的檢測特征進(jìn)行檢測，找出所有的足球近似物體； 這里，球的檢測特征具體包括
a) 尺寸首先排除不可能是球的顯然過大或者過小尺寸的物體，然后根據(jù)剩余 物體的平均大小來確定足球大小可能的范圍， 一般選取平均值的二分之一到二倍的 大小區(qū)間，之后采用統(tǒng)計(jì)學(xué)習(xí)的方法，每連續(xù)100幀的前20幀的檢測結(jié)果用于更新 得到更準(zhǔn)確的球尺寸；
b) 位置所有過于靠近邊界的位置一般都是檢測噪聲，畫面左上右上的固定位 置一般是時(shí)間和轉(zhuǎn)播電視臺的圖標(biāo)，這些位置予以排除；
C)檢測物體區(qū)域面積和最小外接矩形的比值
其中，^^&eg^代表檢測物體區(qū)域的面積，^^a^^代表最小外接矩形的面積，
該比值及w ,。 ^ 通常大于等于0.6，如低于這個(gè)值則認(rèn)為不可能是足球，予以排除；
d) 檢測物體區(qū)域面積和最小外接多邊形的比值用于考察待檢測物體的形狀的 緊湊型、跟圓形的相似性，
其中，^""j^,。n代表檢測物體區(qū)域的面積，」Mfl^p代表最小外接多邊形的面積， 該比值i k^。"—,。—a^通常大于等于0.8，如低于這個(gè)值則認(rèn)為不可能是足球，予
以排除；
e) 物體區(qū)域和圓形的近似度用于檢測物體在形狀上是否類似足球， 及c」。一細(xì)/ = A叫/ "<4;-60^朋
其中，^叫=Z /("')*MwU/，_/)
(,，j)eReg,o"
這里，Area—circle代表以物體區(qū)域的質(zhì)心為圓心的圓形區(qū)域，其面積和物體區(qū)域 面積相等，得到其半徑
爿W&代表所檢測的物體在于其質(zhì)心重合的等面積圓形區(qū)域^^一c^/e之內(nèi)的面 積，^"^^K代表最小外界矩形的面積，
該物體區(qū)域和圓形的近似度&(。 a^通常大于等于0.55，如低于這個(gè)值則認(rèn)為
不可能是足球，予以排除；
上述c)、 d)和e)三項(xiàng)特征指標(biāo)為形狀特征，
根據(jù)以上各特征，對球場上的物體逐個(gè)檢查排除，剩下來的所有物體作為足球近 似物體。
5)基于步驟4)的檢測結(jié)果，并利用之前幀的檢測結(jié)果，針對所有檢測出來的
足球近似物體進(jìn)行處理，對球的位置進(jìn)行確定或者預(yù)測
a)如果檢測出多于一個(gè)足球近似物，則對這些物體分別與之前幀所檢測出來的 足球在位置和尺寸上分別進(jìn)行比較，求出位置和形狀上的差異之和0 = 1>1+2)2，
其中A是指檢測出來的近似物和前一幀的位置距離，A是指兩者之間的面積差異，
8然后找出差異之和D值最小的物體作為最佳的近似物，接著進(jìn)入情況b);
b)如果檢測出一個(gè)足球近似物，則對這個(gè)物體與之前幀所檢測出來的足球進(jìn)一 步在位置和尺寸上進(jìn)行判斷，如果該物體與之前幀檢測出的足球的位置在縱軸和橫 軸方向上的距離分別小于該幀圖像的高度和寬度的十分之一；并且，該物體的尺寸 面積在所檢測出來的球的面積的三分之一到三倍之間，則判定該物體即為足球，否 則，如果不滿足如上所有條件的話，則進(jìn)入情況C);
C)如果檢測的結(jié)果是沒有一個(gè)物體近似足球，則根據(jù)之前所有幀的檢測結(jié)果， 通過卡爾曼濾波預(yù)測出當(dāng)前幀的足球位置，該預(yù)測位置之上或者就近位置的球員或 者形狀規(guī)則且尺寸跟球員相近的較大物體就確定為足球的位置范圍所在；如果預(yù)測 位置附件沒有物體存在，則以上一幀足球位置為此幀位置，后一幀重新開始檢測； 如果預(yù)測位置附近的物體形狀不規(guī)則并且尺寸相差較大的話，則表明足球被其他物 體所遮擋，判斷預(yù)測位置為足球位置，后一幀重新開始檢測。
因?yàn)樵谇驁錾?，很多情況球都是跟球員重合或者被球員遮住了，這樣找到精確 的足球位置是很困難，同時(shí)也是沒有必要的。需要指出的是，預(yù)測位置附近必須得 有物體存在才能算是可以確定足球位置范圍的，否則便指定前一幀檢測到得足球位 置為當(dāng)前幀的足球位置，下一幀再重新開始新的檢測。
本發(fā)明的足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法的有益效果在于 先對遠(yuǎn)景鏡頭幀進(jìn)行處理，提取其球場部分，然后綜合顏色信息，建立二值顯著圖， 再在檢測這個(gè)二值顯著圖上物體的形狀、尺寸等信息，找出球的近似物，之后再利 用之前幀檢測出的足球位置對當(dāng)前幀的足球近似物進(jìn)行分析以及預(yù)測，找到足球的 位置。本發(fā)明的檢測方法綜合了各種空間信息，也利用了連續(xù)幀在時(shí)間上的相關(guān)性， 使得檢測結(jié)果具有較高的準(zhǔn)確性。并且整個(gè)檢測過程都是實(shí)時(shí)進(jìn)行的，也完全符合 足球視頻在便攜終端上實(shí)時(shí)直播的應(yīng)用要求，具有較大的應(yīng)用價(jià)值。


圖1是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法的總體流程圖。
圖2是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法中的根據(jù)圖像檢 測結(jié)果對足球位置進(jìn)行判斷或預(yù)測的具體流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體的實(shí)施方式對本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法作進(jìn)一步詳細(xì)描述。
圖1是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法總體流程圖。圖2 是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法中的根據(jù)圖像檢測結(jié)果對 足球位置進(jìn)行判斷或預(yù)測的具體流程圖。
如圖1和圖2所示，本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法， 針對遠(yuǎn)景鏡頭幀，首先進(jìn)行預(yù)處理，提取出球場部分，建立二值顯著圖。然后對二 值圖上的物體進(jìn)行逐一檢測，找出大小形狀上跟足球比較相像的近似物，然后對這 些檢測結(jié)果進(jìn)行分析處理，決定足球的位置。具體包括如下步驟
1) 對足球視頻中的遠(yuǎn)景鏡頭部分進(jìn)行解碼，得到連續(xù)的遠(yuǎn)景鏡頭幀；
通常，目前的足球視頻均經(jīng)過了mpeg、 R264等編碼，利用ffmpeg就可以解碼 成連續(xù)的幀。至于對鏡頭類型的確定，對當(dāng)前幀的區(qū)域進(jìn)行黃金分割，在各區(qū)域內(nèi) 考察其屬于草地顏色的像素所占的比例。
2) 對遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場部分
例如，根據(jù)對連續(xù)30幀畫面上的主區(qū)域顏色的統(tǒng)計(jì)得到主顏色，由于足球視頻 中大多幀的主要部分就是球場，依照這個(gè)主顏色值便可以確定球場的大體顏色，進(jìn) 而提取圖像的球場部分；這里，提取球場部分的方法，可以采用HSV顏色模型，因 為HSV顏色模型跟人的感知更加切合，也適合于分辨不同的色彩。其色彩分量(Hue) 能獨(dú)立的表現(xiàn)不同亮度情況下的色彩，這樣就可以排除球場在不同天氣、燈光情況 的干擾。例如,可采用文獻(xiàn)Keewon Seo禾口 Jaeseung Ko， "An intelligent display scheme of soccer video on mobile devices, ，， in IEEE Transactions On Circuits and Systems For Video Technology, vol. 17, NO. 10， Oct. 2007中描述的方法在HSV顏色模型中，統(tǒng) 計(jì)球場主顏色的直方圖特性，得到球場顏色的HSV判定方法。然后再以每16x16像 素塊為單位，以某個(gè)閾值做判定依據(jù)，將每個(gè)像素塊劃分為球場部分塊和非球場塊。 最后根據(jù)像素塊周圍的情況，決定是否位于球場。這樣便能簡單的確定畫面的球場 部分和非球場部分了。
3) 建立對處理之后圖像的二值顯著圖(Binary Saliency Map): 基于人視覺神經(jīng)系統(tǒng)特征，將對顏色幾個(gè)不同方面的特征描述集中成一個(gè)統(tǒng)一
的量度；
這里，可以利用亮度特征、紅綠對比特征以及黃藍(lán)對比特征來構(gòu)建顯著圖。除 此之外，畫面上的方向、紋理信息特征等也能適當(dāng)加以利用。本實(shí)施例中，采用亮度特征、紅綠對比特征以及黃藍(lán)對比特征來構(gòu)建顯著圖。 此時(shí)，上述亮度特征、紅綠對比特征以及黃藍(lán)對比特征的提取方法分別如下公式計(jì) 算.
<formula>formula see original document page 11</formula>
其中0是畫面(i, j)位置的鄰域(在遠(yuǎn)景鏡頭中，我們一般采取3x3大小的鄰域)， d代表兩個(gè)特征值的差異，/，i ,G,S和y分別表示該像素位置的亮度、紅、綠、藍(lán)、 黃幾個(gè)特征。這三個(gè)特征加權(quán)綜合
<formula>formula see original document page 11</formula>其中<formula>formula see original document page 11</formula>是加權(quán)因子。
一般來說，亮度和黃綠對比特征是比較重要的，因?yàn)榍虻念伾篌w是近似黃色 或者白色，而球場的顏色偏綠。然而，強(qiáng)調(diào)這兩個(gè)特征時(shí)，球場的球員的某部分被 劃分開來的可能性會更大，會對球的檢測造成干擾。因此，這里將三個(gè)加權(quán)因子設(shè) 為等值。
由此，得到了此幀圖像的顯著圖，之后經(jīng)過去噪、灰度調(diào)整、二值化和區(qū)域填 充之后便得到二值顯著圖。
4)在所述二值顯著圖上，根據(jù)球的檢測特征進(jìn)行檢測，找出所有的足球近似物 體，在每一幀上找到可能是球的物體；
這里，球的檢測特征包括
a)尺寸首先排除不可能是球的顯然過大或者過小尺寸的物體，然后根據(jù)剩余 物體的平均大小來確定足球大小可能的范圍， 一般選取平均值的二分之一到二倍的 大小區(qū)間，之后采用統(tǒng)計(jì)學(xué)習(xí)的方法，每連續(xù)100幀的前20幀的檢測結(jié)果用于更新 得到更準(zhǔn)確的球尺寸；
這里，首先利用尺寸信息，先排除這一幀畫面上尺寸明顯不可能是球的物體(尺 寸過大或過小)，然后再求得剩下物體大小的平均值，利用這個(gè)平均值確定球大小可 能的區(qū)間(即尺寸大于這個(gè)平均值的一半小于平均值的一倍)，對球進(jìn)行初步的檢測排除。
b)位置所有過于靠近邊界的位置一般都是檢測噪聲，畫面左上右上的固定位 置一般是時(shí)間和轉(zhuǎn)播電視臺的圖標(biāo)，這些位置予以排除； C)檢測物體區(qū)域面積和最小外接矩形的比值
其中，JW"Keg,。"代表檢測物體區(qū)域的面積，^"M^,代表最小外接矩形的面積，
該比值及一。 —,?！w通常大于等于0.6，如低于這個(gè)值則認(rèn)為不可能是足球，予以 排除；
d) 檢測物體區(qū)域面積和最小外接多邊形的比值用于考察待檢測物體的形狀的
緊湊型、跟圓形的相似性，
其中，^^%^。 代表檢測物體區(qū)域的面積，^M"^p代表最小外接多邊形的面積， 該比值^eg,。"—,。—A^通常大于等于0.8，如低于這個(gè)值則認(rèn)為不可能是足球，予以
排除；
e) 物體區(qū)域和圓形的近似度用于檢測物體在形狀上是否類似足球，
Vm—層=/ 其中，Z /(/,_/)*M^arefe(/,/|
這里，Area—circle代表以物體區(qū)域的質(zhì)心為圓心的圓形區(qū)域，其面積和物體區(qū)域 面積相等，得到其半徑
^"flc代表所檢測的物體在于其質(zhì)心重合的等面積圓形區(qū)域c//rfe之內(nèi)的面 積，^"M^,代表最小外界矩形的面積，
該物體區(qū)域和圓形的近似度/ C^通常大于等于0.55，如低于這個(gè)值則認(rèn)為
不可能是足球，予以排除；
上述c)、 d)和e)三項(xiàng)特征指標(biāo)為形狀特征，根據(jù)以上各特征，對球場上的物體逐個(gè)檢査排除，剩下來的所有物體作為足球近 似物體。
上述步驟4)中，對球場的檢測方法主要是依靠大小、位置以及形狀特征等，本 發(fā)明在依據(jù)a)尺寸和b)位置特征的基礎(chǔ)上，進(jìn)一步利用形狀特征C)檢測物體 區(qū)域面積和最小外接矩形的比值、d)檢測物體區(qū)域面積和最小外接多邊形的比值以 及e)物體區(qū)域和圓形的近似度，對球場上的物體逐個(gè)檢查排除，確定可能是球的物 體。本發(fā)明會每100幀檢測會重新對檢測結(jié)果進(jìn)行統(tǒng)計(jì)，得出最近的球大小數(shù)據(jù)， 依靠這些數(shù)據(jù)再對球進(jìn)行更準(zhǔn)確的檢測。
5)基于步驟4)的檢測結(jié)果，并利用之前幀的檢測結(jié)果，針對所有檢測出來的
足球近似物體進(jìn)行處理，對球的位置進(jìn)行確定或者預(yù)測
a) 如果檢測出多于一個(gè)足球近似物，則對這些物體分別與之前幀所檢測出來的
足球在位置和尺寸上分別進(jìn)行比較，求出位置和形狀上的差異之和0 = 2)1+化，
其中A是指檢測出來的近似物和前一幀的位置距離，A是指兩者之間的面積差異，
然后找出差異之和D值最小的物體作為最佳的近似物，接著進(jìn)入情況b);
b) 如果檢測出一個(gè)足球近似物，則對這個(gè)物體與之前幀所檢測出來的足球進(jìn)一 步在位置和尺寸上進(jìn)行判斷，如果該物體與之前幀檢測出的足球的位置在縱軸和橫
軸方向上的距離分別小于該幀圖像的高度和寬度的十分之一；并且，該物體的尺寸 面積在所檢測出來的球的面積的三分之一到三倍之間，則判定該物體即為足球，否
則，如果不滿足如上所有條件的話，則進(jìn)入情況C);
c) 如果檢測的結(jié)果是沒有一個(gè)物體近似足球，則根據(jù)之前所有幀的檢測結(jié)果，
通過卡爾曼濾波預(yù)測出當(dāng)前幀的足球位置，該預(yù)測位置之上或者就近位置的球員或
者形狀規(guī)則且尺寸跟球員相近的較大物體就確定為足球的位置范圍所在；如果預(yù)測 位置附件沒有物體存在，則以上一幀足球位置為此幀位置，后一幀重新開始檢測； 如果預(yù)測位置附近的物體形狀不規(guī)則并且尺寸相差較大的話，則表明足球被其他物 體所遮擋，判斷預(yù)測位置為足球位置，后一幀重新開始檢測。
因?yàn)樵谇驁錾?，很多情況球都是跟球員重合或者被球員遮住了，這樣找到精確 的足球位置是很困難，同時(shí)也是沒有必要的。需要指出的是，預(yù)測位置附近必須得 有物體存在才能算是可以確定足球位置范圍的，否則便指定前一幀檢測到得足球位 置為當(dāng)前幀的足球位置，下一幀再重新開始新的檢測。圖2是本發(fā)明的足球視頻遠(yuǎn)景鏡頭中足球位置的自動(dòng)檢測方法中的根據(jù)圖像檢 測結(jié)果對足球位置進(jìn)行判斷或預(yù)測的具體流程圖。如圖2所示，該算法結(jié)構(gòu)框圖更 加準(zhǔn)確的描述了步驟5)中對足球位置的判斷或預(yù)測方法。
其中，由于在球場上足球的運(yùn)動(dòng)可以看成是一個(gè)典型的馬爾科夫過程，當(dāng)前幀 足球位置是可以將所有的足球近似物跟前一幀的檢測到的足球位置相比較，得出當(dāng)
前最佳物體位置。這個(gè)判決條件就是位置和形狀的差異D-A+A
D,是指檢測出來的物體和前一幀的位置距離，A是指兩者之間的面積差異。
如圖2所示，對于球場情況復(fù)雜、足球嚴(yán)重變形或者其他無法檢測出足球的畫 面一即當(dāng)?shù)仁街械慕Y(jié)果D過大時(shí)，首先依靠之前幀所檢測到得足球信息，卡爾曼濾
波預(yù)測出當(dāng)前幀的足球位置。該位置之上或者就近位置的球員或者其他尺寸與球員 相近的規(guī)則物體都可能是足球的范圍所在，本發(fā)明把球和球員的整體位置視為球的 位置范圍。但如果尺寸很大，而可能是其他檢測噪聲，把預(yù)測位置作為檢測到的位 置，下一幀再重新開始檢測。需要指出的是，預(yù)測位置附近必須得有物體存在才能 算是可以確定范圍。否則就直接采用前一幀的檢測結(jié)果，之后再重新開始這個(gè)檢測 過程。作這些檢測位置的指定是針對少數(shù)無法檢測成功的鏡頭，可以看出所指定的
位置都是在足球位置的附近，也就是說是在遠(yuǎn)景鏡頭的感興趣區(qū)域內(nèi)的，這樣也是 為了更方便于這個(gè)應(yīng)用。
權(quán)利要求
1、一種足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法，其特征在于，包括如下步驟1)對足球視頻中的遠(yuǎn)景鏡頭部分進(jìn)行解碼，得到連續(xù)的遠(yuǎn)景鏡頭幀；2)對遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場部分根據(jù)對連續(xù)多個(gè)幀畫面上的主區(qū)域顏色的統(tǒng)計(jì)得到主顏色，依照該主顏色值確定球場的大體顏色，進(jìn)而提取圖像的球場部分；3)建立對處理之后圖像的二值顯著圖基于人視覺神經(jīng)系統(tǒng)特征，將對顏色幾個(gè)不同方面的特征描述集中成一個(gè)統(tǒng)一的量度；4)在此二值顯著圖上，根據(jù)球的檢測特征進(jìn)行檢測，找出所有的足球近似物體；5)基于步驟4)的檢測結(jié)果，并利用之前幀的檢測結(jié)果，針對所有檢測出來的足球近似物體進(jìn)行處理，對球的位置進(jìn)行確定或者預(yù)測a)如果檢測出多于一個(gè)足球近似物，則對這些物體分別與之前幀所檢測出來的足球在位置和尺寸上分別進(jìn)行比較，求出位置和形狀上的差異之和D＝D1+D2，其中D1是指檢測出來的近似物和前一幀的位置距離，D2是指兩者之間的面積差異，然后找出差異之和D值最小的物體作為最佳的近似物，接著進(jìn)入情況b)；b)如果檢測出一個(gè)足球近似物，則對這個(gè)物體與之前幀所檢測出來的足球進(jìn)一步在位置和尺寸上進(jìn)行判斷，如果該物體與之前幀檢測出的足球的位置在縱軸和橫軸方向上的距離分別小于該幀圖像的高度和寬度的十分之一；并且，該物體的尺寸面積在所檢測出來的球的面積的三分之一到三倍之間，則判定該物體即為足球，否則，如果不滿足如上所有條件的話，則進(jìn)入情況c)；c)如果檢測的結(jié)果是沒有一個(gè)物體近似足球，則根據(jù)之前所有幀的檢測結(jié)果，通過卡爾曼濾波預(yù)測出當(dāng)前幀的足球位置，該預(yù)測位置之上或者就近位置的球員或者形狀規(guī)則且尺寸跟球員相近的較大物體就確定為足球的位置范圍所在；如果預(yù)測位置附件沒有物體存在，則以上一幀足球位置為此幀位置，后一幀重新開始檢測；如果預(yù)測位置附近的物體形狀不規(guī)則并且尺寸相差較大的話，則表明足球被其他物體所遮擋，判斷預(yù)測位置為足球位置，后一幀重新開始檢測。
2、如權(quán)利要求1所述的足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法，其 特征在于，所述步驟2)中，采用HSV顏色模型。
3、如權(quán)利要求l所述的足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法，其 特征在于，所述步驟3)中，利用亮度特征、紅綠對比特征以及黃藍(lán)對比特征來構(gòu)建顯著圖，具體方法如下上述亮度特征、紅綠對比特征以及黃藍(lán)對比特征的提取方法分別如下公式ma<formula>formula see original document page 3</formula>其中e)是畫面位置的鄰域，"代表兩個(gè)特征值的差異，/，i , g，s和y分別表示 該像素位置的亮度、紅、綠、藍(lán)、黃幾個(gè)特征，然后，將上述三個(gè)特征加權(quán)綜合<formula>formula see original document page 3</formula>其中，a,, ;t^， ^,是加權(quán)因子，由此，得到此幀圖像的顯著圖，之后經(jīng)過去噪、灰度調(diào)整、二值化和區(qū)域填充之 后便得到二值顯著圖。
4、 如權(quán)利要求3所述的足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法，其特征在于，所述三個(gè)加權(quán)因子/1,, ;i那設(shè)為等值。
5、 如權(quán)利要求i所述的足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法，其特征在于，所述步驟4)中，所述檢測特征包括a) 尺寸首先排除不可能是球的顯然過大或者過小尺寸的物體，然后根據(jù)剩余物體的平均大小來確定足球大小可能的范圍， 一般選取平均值的二分之一到二倍的大小區(qū)間，之后采用統(tǒng)計(jì)學(xué)習(xí)的方法，每連續(xù)100幀的前20幀的檢測結(jié)果用于更新 得到更準(zhǔn)確的球尺寸；b) 位置所有過于靠近邊界的位置一般都是檢測噪聲，畫面左上右上的固定位 置一般是時(shí)間和轉(zhuǎn)播電視臺的圖標(biāo)，這些位置予以排除；c) 檢測物體區(qū)域面積和最小外接矩形的比值-其中，^^^^。"代表檢測物體區(qū)域的面積，Jr^A^代表最小外接矩形的面積，該比值i^g,。"—,。一A^通常大于等于0.6，如低于這個(gè)值則認(rèn)為不可能是足球，予以排除；d) 檢測物體區(qū)域面積和最小外接多邊形的比值用于考察待檢測物體的形狀的 緊湊型、跟圓形的相似性，其中，^^ ^。n代表檢測物體區(qū)域的面積，^^a^p代表最小外接多邊形的面積，該比值^eg,。n」。,通常大于等于0.8，如低于這個(gè)值則認(rèn)為不可能是足球，予以排除；e) 物體區(qū)域和圓形的近似度用于檢測物體在形狀上是否類似足球， 及C一m—A/朋=X""c / J"^W 其中，Ae c=J] /(/,/)*Mm、rc/e(/J)MOi K0rc,e " ，" — J o 。 &這里，c^/e代表以物體區(qū)域的質(zhì)心為圓心的圓形區(qū)域，其面積和物體區(qū)域面積相等，得到其半徑J^"c代表所檢測的物體在于其質(zhì)心重合的等面積圓形區(qū)域^^_c7>c/e之內(nèi)的面積，v^^A^代表其最小外界矩形的面積，該物體區(qū)域和圓形的近似度A,。，通常大于等于0.55，如低于這個(gè)值則認(rèn)為不可能是足球，予以排除；上述c)、 d)和e)三項(xiàng)特征指標(biāo)為形狀特征，根據(jù)以上各特征，對球場上的物體逐個(gè)檢查排除，剩下來的所有物體作為足球近 似物體。
全文摘要
本發(fā)明提供一種足球視頻的遠(yuǎn)景鏡頭中對足球位置的自動(dòng)檢測方法。該方法，首先對足球視頻中的遠(yuǎn)景鏡頭部分進(jìn)行解碼，得到連續(xù)的遠(yuǎn)景鏡頭幀；然后，對遠(yuǎn)景鏡頭幀圖像進(jìn)行處理，提取球場部分；然后綜合顏色信息，建立對處理之后圖像的二值顯著圖；再在此二值顯著圖上，根據(jù)球的形狀以及尺寸等檢測特征進(jìn)行檢測，找出所有的足球近似物體；之后再利用之前幀檢測出的足球位置對當(dāng)前幀的足球近似物進(jìn)行分析以及預(yù)測，找到足球的位置。本發(fā)明的檢測方法綜合各種空間信息，同時(shí)利用連續(xù)幀在時(shí)間上的相關(guān)性，使得檢測結(jié)果具有較高的準(zhǔn)確性。并且整個(gè)檢測過程都是實(shí)時(shí)進(jìn)行，完全符合足球視頻在便攜終端上實(shí)時(shí)直播的應(yīng)用要求，具有較大的應(yīng)用價(jià)值。
文檔編號G06K9/54GK101645137SQ200910089438
公開日2010年2月10日 申請日期2009年7月17日 優(yōu)先權(quán)日2009年7月17日
發(fā)明者侯朝煥, 楊樹元, 王東輝, 裴朝科, 馬蔚鵬, 麗 高 申請人:中國科學(xué)院聲學(xué)研究所