專利名稱：用于檢測(cè)慢動(dòng)作的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測(cè)視頻序列中的慢動(dòng)作的方法和設(shè)備
背景技術(shù)：
當(dāng)今大量的廣播是體育內(nèi)容。雖然當(dāng)前的和新興的消費(fèi)型產(chǎn)品(如
HDD記錄器、TiVo或微軟媒體中心PC，s)為用戶提供了記錄許多體育 內(nèi)容的可能性，但是它們不提供對(duì)記錄的"快速且容易的"瀏覽并且 不提供用于對(duì)體育廣播進(jìn)行概述和縮短的裝置。
當(dāng)用戶已經(jīng)知道體育賽事的結(jié)果時(shí)，觀看所記錄的該賽事的廣播 可能變得令人厭煩，并且因此產(chǎn)生了對(duì)快速瀏覽記錄或觀看僅僅包括 該賽事的有趣部分的縮短的版本的需要。然而，使用現(xiàn)存的傳統(tǒng)記錄 器，這是不可能實(shí)現(xiàn)的。
一種已知技術(shù)是自動(dòng)提取亮點(diǎn)(highlight)(例如，足球中的進(jìn) 球、網(wǎng)球中的多拍回合球(long rallies)、犯規(guī)等等)。在大多數(shù) 體育賽事中，慢動(dòng)作序列(重放)可以被認(rèn)為是亮點(diǎn)的指示，因?yàn)閷?dǎo) 演通常決定將有趣的動(dòng)作用慢動(dòng)作從多個(gè)角度展示。因此在視頻序列 中定位慢動(dòng)作部分是自動(dòng)提取亮點(diǎn)(特別是體育賽事的亮點(diǎn))的方法。
廣播者使用兩種不同的技術(shù)來生成慢動(dòng)作序列。第一種是插值， 其將生成慢動(dòng)作序列作為后處理步驟。普通攝像機(jī)的輸出(典型地具 有每秒25或30幀的幀速率)通過插入重復(fù)的或內(nèi)插的幀被減慢。在 第二種技術(shù)中，廣播者使用高速攝像機(jī)，其能夠以高達(dá)每秒75和90 幀的幀速率捕獲視頻。如果隨后在沒有跳幀的情況下視頻以每秒25或 30幀廣播，則該結(jié)果是慢動(dòng)作序列。
用高速攝像機(jī)產(chǎn)生的慢動(dòng)作序列比由插值產(chǎn)生的慢動(dòng)作序列更 好。因?yàn)楦咚贁z像機(jī)在同一時(shí)間采用了更多的對(duì)象樣本，從而結(jié)果是 對(duì)象動(dòng)作看起來更平滑。
人類容易通過觀察序列中的對(duì)象沒有如預(yù)期地運(yùn)動(dòng)來檢測(cè)慢動(dòng)作 部分。根據(jù)先前的經(jīng)驗(yàn)，人類知道某些對(duì)象具有某種質(zhì)量、彈性、摩 錄像畫面交接等等，并且他們預(yù)期這些對(duì)象相應(yīng)地運(yùn)動(dòng)。例如，當(dāng)臺(tái)球以某一速度碰撞時(shí)，所述臺(tái)球存在預(yù)期的反沖速度。人類通過注意 到這些對(duì)象打破了預(yù)期的運(yùn)動(dòng)規(guī)則而認(rèn)識(shí)到慢動(dòng)作。
存在檢測(cè)由插值創(chuàng)建的慢動(dòng)作視頻序列的已知系統(tǒng)，比如V.Kobla 和D.Doermaim，"Detection of Slow-Motion Replays for Identify Sports Videos", Proceedings of IEEE Third Workshop for Multimedia Sport Processing，ppl35-140，1999,以及 V,Kobla , D.DeMenthon 和 D.Doermann ， "Identification of sports video using replay text,and camera motion features，，，Proc.of the SPIE Conference on Storage and Retrieval for Media Database, VoU972，2000年1月，pp332畫343。這 些系統(tǒng)通常搜索重復(fù)的或內(nèi)插的幀。已經(jīng)公開了能夠檢測(cè)用高速攝像 機(jī)創(chuàng)建的慢動(dòng)作視頻序列的其他系統(tǒng)，例如 L.Wungt，X丄iut，S.Liut，G.Xui和 H,Y.Shumt，"Generic Slow-Motion Replay Detection in Sports Video",2004 International Conference on Image Processing (ICIP)，ppl585-1588。這些技術(shù)的使用是通過人類認(rèn) 識(shí)到慢動(dòng)作的方式得到靈感。使用慢動(dòng)作場(chǎng)景的和非慢動(dòng)作場(chǎng)景的運(yùn) 動(dòng)特征對(duì)算法進(jìn)行訓(xùn)練以允許算法了解它們之間的差異。這些系統(tǒng)通 常專門用于檢測(cè)特定(所檢測(cè)的)攝像機(jī)拍攝和對(duì)于特定體育運(yùn)動(dòng)的 慢動(dòng)作序列。由于該方法非常容易出錯(cuò)，所以一些系統(tǒng)額外地搜索錄 像畫面交接(wipe)的轉(zhuǎn)變或執(zhí)行與手選的轉(zhuǎn)變標(biāo)志的模板匹配，廣 播者在重放序列之前引入了該轉(zhuǎn)變標(biāo)志(特別是在足球廣播中)，例 如 X.Tong，H丄u，Q.liu 和 H.Jin，"Replay Detection in Broadcasting Sports Video" ， Proceedings of the Third International Conference on Image and Graphics(ICIG，04)。
檢測(cè)由插值創(chuàng)建的慢動(dòng)作序列，十分準(zhǔn)確地工作，而建立一個(gè)識(shí) 別用高速攝像機(jī)創(chuàng)建的慢動(dòng)作序列的系統(tǒng)容易出錯(cuò)并且對(duì)于每一類型 的體育運(yùn)動(dòng)要求巨大的和不切實(shí)際的訓(xùn)練。依靠錄像畫面交 接(wipe) 和標(biāo)志檢測(cè)器也是不可能的，因?yàn)楹茈y建立可靠的錄像畫面交接和標(biāo) 志轉(zhuǎn)變檢測(cè)器。所共知的系統(tǒng)發(fā)現(xiàn)所有慢動(dòng)作的70-80%,但這僅僅是 在他們所訓(xùn)練的特定體育運(yùn)動(dòng)中的慢動(dòng)作，并且精確性較低(~ 60%)。
由于高速攝像機(jī)變得越來越便宜，并且廣播者盡力增強(qiáng)其節(jié)目的 質(zhì)量，所以使用高速攝像機(jī)制作的慢動(dòng)作序列現(xiàn)在用于大多數(shù)體育廣 播中，同時(shí)很少使用由插值得到的慢動(dòng)作。

發(fā)明內(nèi)容
本發(fā)明設(shè)法對(duì)由高速攝像機(jī)制作的慢動(dòng)作提供準(zhǔn)確地自動(dòng)檢測(cè)。 根據(jù)本發(fā)明的第一方面，這可以通過用于檢測(cè)在視頻序列中出現(xiàn)
的慢動(dòng)作的方法來實(shí)現(xiàn)，該方法包括以下步驟提取視頻序列的多個(gè) 幀的每一個(gè)的亮度(luminosity)特征；確定被提取的多個(gè)亮度特征 之間的差異；在多個(gè)被提取的亮度特征之間的所確定的差異上進(jìn)行頻 率分析；以及當(dāng)在所述差異之間的頻率變化超過預(yù)定的闞值時(shí)檢測(cè)在 所述視頻序列中出現(xiàn)的慢動(dòng)作。
根據(jù)本發(fā)明的另一方面，這也可以通過用于檢查視頻序列中出現(xiàn) 的慢動(dòng)作的設(shè)備來實(shí)現(xiàn)，該設(shè)備包括用于提取視頻序列的多個(gè)幀的 每一個(gè)的亮度特征的特征提取器；用于確定被提取的多個(gè)亮度特征之 間的差異并且在所確定的差異上執(zhí)行頻率分析的分析器；以及用于當(dāng) 在所述差異之間的頻率變化超過預(yù)定的閾值時(shí)檢測(cè)在所述視頻序列中 出現(xiàn)的慢動(dòng)作的處理裝置。
本發(fā)明基于以下物理效應(yīng)鹵素?zé)舻拈W爍對(duì)由高速攝影機(jī)拍攝的 視頻的亮度具有可測(cè)量的影響(measurable influence)，同時(shí)普通 攝像機(jī)不會(huì)出現(xiàn)這種效果。因此，當(dāng)所提取的亮度特征之間的差異超 過閾值(即足以提供準(zhǔn)確的且簡(jiǎn)單的技術(shù)以檢測(cè)由高速攝像機(jī)創(chuàng)建的 慢動(dòng)作)時(shí)，檢測(cè)慢動(dòng)作。因此，運(yùn)動(dòng)廣播的亮點(diǎn)可以容易地且準(zhǔn)確 地被檢測(cè)，并且可以用于概述體育賽事和用于在數(shù)字視頻記錄器中基 于上下文的瀏覽應(yīng)用。


為了更加全面地理解本發(fā)明，現(xiàn)在參考下面的描述以及附圖，在 附圖中
圖l是根據(jù)本發(fā)明的第一實(shí)施例的步驟的流程圖2是根據(jù)本發(fā)明的第二實(shí)施例的步驟的流程圖；以及
圖3是根據(jù)本發(fā)明的實(shí)施例的設(shè)備的簡(jiǎn)化示意圖。
具體實(shí)施例方式
參照?qǐng)D1，將詳細(xì)描述本發(fā)明的第一實(shí)施例。在步驟101中，輸入包括多個(gè)幀的視頻序列。對(duì)于每一個(gè)幀i，提取亮度特征LFi (幀的平 均亮度或，可替代地為亮度直方圖的至少一部分)，步驟103。對(duì)相繼 的亮度特征進(jìn)行相減，ALF=LFi-LFh，步驟105。所得結(jié)果ALF被存儲(chǔ) 在FIFO緩沖器中，步驟107。在存儲(chǔ)于緩沖器中的ALF樣本上執(zhí)行頻 率分析(例如傅里葉分解)以給出樣本ALF的頻譜，步驟109。如果所 述頻譜具有主頻(即在譜圖中明顯高于其余值的峰值)，則隨后檢測(cè) 慢動(dòng)作，步驟lll。
本發(fā)明的系統(tǒng)基于被稱為時(shí)間混擾(temporal aliasing)的物理 效應(yīng)。時(shí)間混擾的兩個(gè)實(shí)例如下
在日出之間的24小時(shí)內(nèi)，太陽(yáng)在天空中從東方移動(dòng)到西方。如果 一個(gè)人每23個(gè)小時(shí)對(duì)天空拍一張圖片，則在日出之間的24x23=552小 時(shí)內(nèi)，太陽(yáng)將呈現(xiàn)為從西方向東方移動(dòng)。注意到，在兩種情況下，每 小時(shí)拍一張圖片和每23小時(shí)拍一張圖片將得到相同的圖片。如果一個(gè) 人每N*24 (N為整數(shù))小時(shí)拍一張圖片，則太陽(yáng)甚至?xí)尸F(xiàn)為靜止?fàn)?態(tài)。
當(dāng)用閃爍的光源(比如熒光燈、CRT、或閃光燈)照亮或者攝制時(shí)， 相同的現(xiàn)象使得針刺輪(spiked wheel)呈現(xiàn)為在錯(cuò)誤的方向上或者 以錯(cuò)誤的速度旋轉(zhuǎn)。
在體育賽事中使用下面的效果。體育賽事用鹵素?zé)粽彰?。由于?于向這些燈提供電能的是交流電，所以這些燈以100Hz (或120Hz,這 取決于國(guó)家)的頻率閃爍。對(duì)于人眼來講，該閃爍是不可見的。
普通攝像機(jī)以精確地每秒25幀的速度記錄事件。這意味著，該攝 像機(jī)每40毫秒拍攝一個(gè)快照。燈以10毫秒的周期閃爍。由于攝像機(jī) 的周期恰好是燈的周期的整數(shù)倍，所以對(duì)于這種攝像機(jī)來講所述閃爍 是不可見的。
然而，當(dāng)高速攝像機(jī)以75Hz或90Hz的頻率記錄事件時(shí)，其周期 不再是燈周期的整數(shù)倍，從而在記錄中閃爍是可見的。
假設(shè)燈以f,的頻率閃爍。只有當(dāng)用以不是t的倍數(shù)的幀速率f。工 作的攝像機(jī)記錄場(chǎng)景時(shí)，該閃爍可以被注意到并可被測(cè)量
《
由于沒有滿足Nyquist-Shannon標(biāo)準(zhǔn)(2fH<fsaoipli:)這個(gè)事實(shí)，所 以不能檢索到燈閃爍的真實(shí)頻率。而在高速記錄中較低的頻率是可測(cè)
7量的。因此較低主頻的檢測(cè)給出了慢動(dòng)作的準(zhǔn)確顯示。
參照?qǐng)D2，將詳細(xì)描述考慮MPEG編碼的特殊性的第二實(shí)施例。典 型地使用MPEG-2視頻壓縮標(biāo)準(zhǔn)來編碼廣播。然而，編碼器可以以使其 出現(xiàn)錯(cuò)誤的主頻的方式干擾輸入。為了說明這個(gè)問題，考慮例如視頻 序列的IBPBPBPBPB的G0P結(jié)構(gòu)。對(duì)于每個(gè)I幀和P幀，平均亮度增加， 并且對(duì)于每個(gè)B幀，平均亮度減少。所得到的樣式為
I P P P P B B B B B
編碼器噪聲以依賴于G0P結(jié)構(gòu)的頻率在平均亮度中產(chǎn)生閃爍。這 可以產(chǎn)生誤報(bào)(false positive)慢動(dòng)作檢測(cè)。第二實(shí)施例的方法排 除這些誤報(bào)。
如圖2所示，輸入的MPEG-2視頻序列被分割為多個(gè)幀并被解碼。 對(duì)于每一幀，計(jì)算解碼的輸入序列的Y-直方圖，步驟201。以逐個(gè)柱 (bin-wise)的方式對(duì)Y直方圖進(jìn)行相減以給出在向量中的相繼元素 之間的絕對(duì)差值的和<formula>formula see original document page 8</formula>可替代地，可以由直方圖的交叉部分計(jì)算所述差值。隨后，將值 Ai存儲(chǔ)在緩沖器中，步驟205。在所示的特定實(shí)例中，通過快速傅里葉 變換(FFT)分析每25幀以計(jì)算主頻和相位，步驟207。雖然在該實(shí)例 中，對(duì)于每25幀執(zhí)行內(nèi)容的FFT，但是可以在每幀上執(zhí)行內(nèi)容的FFT， 但如被理解的，這將會(huì)明顯放慢計(jì)算。因此，在執(zhí)行FFT時(shí)，使得比 如100個(gè)樣本的窗口以如所描述的每25幀移位。進(jìn)一步地，確定編碼 器的主頻和相位，步驟209。如果在步驟211Ai的主頻非常顯著，如在 步驟211中所述的，并且在步驟H3中主頻和相位與編碼器的主頻和 相位不對(duì)應(yīng)，那么表示是慢動(dòng)作。因此在該實(shí)施例中，編碼器噪聲的 頻率和相位被確定并且在聲明一個(gè)序列為慢動(dòng)作之前，它要驗(yàn)證是否 可以由編碼器產(chǎn)生顯著的頻率并且該頻率不是慢動(dòng)作的結(jié)果。 在圖3中示出了用于檢測(cè)視頻序列中慢動(dòng)作的設(shè)備301。 所述設(shè)備包括輸入端子303，其連接到用于在該輸入端子303上接 收視頻序列輸入的裝置305，該視頻序列包括多個(gè)幀。該接收裝置305 連接到用于為每個(gè)幀提取亮度特征的特征提取器307。提取裝置305被連接到減法器309，其用于從相繼的幀的亮度特征減去由特征提取器 307所提取的幀的亮度特征，從而產(chǎn)生相繼的亮度特征中的差值A(chǔ)LF。 隨后所述差值被輸出并存儲(chǔ)在比如FIFO緩沖器的儲(chǔ)存器裝置311中。 從緩沖器311檢索所存儲(chǔ)的差值并且由快速傅里葉變換(FFT) 313分 析所存儲(chǔ)的差值。隨后由處理器315處理傅里葉分解的樣本以確定是 否已經(jīng)出現(xiàn)了明顯的頻率變化。如果發(fā)生了變化，則慢動(dòng)作已經(jīng)被檢 測(cè)到并且將其在輸出端子317上輸出以指示用戶出現(xiàn)慢動(dòng)作，或者將 其提供給用于自動(dòng)概述的裝置，或者儲(chǔ)存該信息以用于隨后回放期間 由用戶檢索，或用于由自動(dòng)產(chǎn)生視頻序列的概述的裝置利用。
由于慢動(dòng)作序列是亮點(diǎn)的指示器，所以本發(fā)明提供了在大量數(shù)字 視頻記錄器的應(yīng)用方面的改進(jìn)，比如體育內(nèi)容的自動(dòng)概述(例如， 一分鐘體育)；通過跳過廣告到亮點(diǎn)的智能瀏覽；以及精彩場(chǎng)面的搜 索和檢索。
本發(fā)明提供了在計(jì)算成本方面的低成本實(shí)現(xiàn)，并且本發(fā)明對(duì)數(shù)字 視頻記錄中的實(shí)時(shí)應(yīng)用是非常有用的，比如瞬時(shí)慢動(dòng)作重放。
雖然已經(jīng)在附圖中示出并在前面的描述中說明了本發(fā)明的優(yōu)選實(shí) 施例，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開的實(shí)施例，而是能夠在不 脫離如在所附權(quán)利要求中提出的本發(fā)明的范圍的情況下進(jìn)行許多修 改。本發(fā)明在于每一個(gè)和全部新穎的特性特征以及每一個(gè)和全部特性 特征的組合。權(quán)利要求中的參考數(shù)字沒有限制其保護(hù)范圍。動(dòng)詞"包 括"及其變化形式的使用不排除權(quán)利要求中所記載之外的其他元件的 存在。在元件之前冠詞"一"的使用不排除多個(gè)這樣的元件的存在。
如對(duì)本領(lǐng)域技術(shù)人員清楚的是，"裝置，，的意思是包括在運(yùn)行中 執(zhí)行或被設(shè)計(jì)執(zhí)行特定功能的任何硬件(比如離散的或集成的電路或 電子元件)或軟件(比如程序或程序的一部分)，無(wú)論是單獨(dú)地還是 與其他功能結(jié)合地執(zhí)行，無(wú)論是孤立地還是與其他元件協(xié)作地執(zhí)行。 本發(fā)明可以通過包括若干不同的元件的硬件裝置和通過適當(dāng)編程的計(jì) 算機(jī)的裝置來實(shí)現(xiàn)。在列舉了若干裝置的設(shè)備權(quán)利要求中，這些裝置 的若干個(gè)可以通過同一項(xiàng)硬件來實(shí)施。"計(jì)算機(jī)程序產(chǎn)品，，將被理解 為其表示儲(chǔ)存在計(jì)算機(jī)可讀媒體(比如軟盤)、可經(jīng)由網(wǎng)絡(luò)(比如因 特網(wǎng))下栽的、或可以以任一其他方式銷售的任何軟件。
權(quán)利要求
1.一種用于檢測(cè)視頻序列中出現(xiàn)的慢動(dòng)作的方法，該方法包括以下步驟-提取視頻序列的多個(gè)幀的每一個(gè)的亮度特征；-確定所提取的各亮度特征之間的差異；-在所提取的各亮度特征之間的所確定的差異上執(zhí)行頻率分析；以及-當(dāng)在所述差異之間的頻率變化超過預(yù)定的閾值時(shí)檢測(cè)在所述視頻序列中出現(xiàn)的慢動(dòng)作。
2. 根據(jù)權(quán)利要求1所述的方法，其中確定所提取的各亮度特征之 間的差異的步驟包括將所提取的一幀的亮度特征從所提取的先前或后繼幀的亮度特征 中減去。
3. 根據(jù)權(quán)利要求1所述的方法，其中在所述確定的差異上執(zhí)行頻率分析的步驟包括所述確定的差異的傅里葉分解。
4. 根據(jù)權(quán)利要求3所述的方法，其中檢測(cè)所述視頻序列中出現(xiàn)的慢動(dòng)作的步驟包括檢測(cè)由傅里葉分解產(chǎn)生的頻譜中的峰值。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述亮度特征包括在所述幀 上的平均亮度。
6. 根據(jù)權(quán)利要求1所述的方法，其中視頻序列被壓縮，并且檢測(cè) 在所述視頻序列出現(xiàn)的慢動(dòng)作的步驟進(jìn)一步包括以下步驟-針對(duì)噪聲，對(duì)所提取的各亮度特征之間的所述確定的差異進(jìn)行 補(bǔ)償；以及—當(dāng)補(bǔ)償后的差異之間的頻率變化超過預(yù)定的閾值時(shí)，檢測(cè)所述 視頻序列中出現(xiàn)的慢動(dòng)作。
7. 根據(jù)權(quán)利要求6所述的方法，其中提取亮度的特征的步驟包括 —解碼視頻序列；-計(jì)算所述解碼的視頻序列的Y直方圖；以及其中確定所提取的各亮度特征之間的差異的步驟包括 確定所述Y直方圖的相繼元素之間的絕對(duì)差值的和。
8. —種計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)施根據(jù)權(quán)利要求1到7中任一項(xiàng)的方法的多個(gè)程序代碼部分。
9. 用于檢查視頻序列中出現(xiàn)的慢動(dòng)作的設(shè)備，該設(shè)備包括-用于提取視頻序列的多個(gè)幀的每一個(gè)的亮度特征的特征提取器； -用于確定所提取的各亮度特征之間的差異并且在所確定的差異上執(zhí)行頻率分析的分析器；以及-用于當(dāng)在所述差異之間的頻率變化超過預(yù)定的閾值時(shí)檢測(cè)在所述視頻序列中出現(xiàn)的慢動(dòng)作的處理裝置。
10. 根據(jù)權(quán)利要求9所述的設(shè)備，其中所述分析器包括用于將所提取的一幀的亮度特征從所提取的先前或后繼的幀的亮 度特征中減去的減法器。
11. 根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備進(jìn)一步包括 用于傅里葉分解所確定的差異的快速傅里葉變換。
12. 根據(jù)權(quán)利要求11的設(shè)備，其中所述設(shè)備進(jìn)一步包括 用于檢測(cè)由傅里葉分解產(chǎn)生的頻譜中的峰值的裝置。
13. 根據(jù)權(quán)利要求9到12中任一項(xiàng)所述的設(shè)備，其中所述視頻序 列被壓縮并且所述處理裝置進(jìn)一步包括-補(bǔ)償器，用于補(bǔ)償所提取的亮度特征之間的所述確定的差異中 的噪聲；以及-當(dāng)在補(bǔ)償后的差異之間的頻率變化超過預(yù)定的閾值時(shí)，所述處 理裝置檢測(cè)所述視頻序列中出現(xiàn)的慢動(dòng)作。
全文摘要
通過下列步驟檢測(cè)視頻序列中出現(xiàn)的慢動(dòng)作提取視頻序列的多個(gè)幀的每一個(gè)的亮度特征，步驟103；確定被提取的各亮度特征之間的差異，步驟105；在所確定的差異上進(jìn)行頻率分析，步驟109；以及當(dāng)各差異之間的頻率變化超過預(yù)定的閾值時(shí)檢測(cè)在所述視頻序列中出現(xiàn)的慢動(dòng)作。
文檔編號(hào)G06F17/30GK101542481SQ200780042328
公開日2009年9月23日 申請(qǐng)日期2007年11月7日 優(yōu)先權(quán)日2006年11月14日
發(fā)明者E·L·埃勒斯, J·韋達(dá), M·巴比里 申請(qǐng)人:皇家飛利浦電子股份有限公司