專利名稱：用于檢測連續(xù)視頻圖象中鏡頭變化的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到用于檢測連續(xù)視頻圖象中鏡頭變化的一種方法和一個裝置，通常稱作一個“剪輯”。
需要在特別是幀畫面速率變換應用中發(fā)生的這種聲音-圖象序列的鏡頭變化添加標記，通常在應用中采用暫時濾掉的辦法。當兩個連續(xù)的幀畫面不再相關(guān)時，就不再需要這種濾波了。這種鏡頭變化的預先檢測能夠利用其它類型的插入法，例如一幀畫面的重復，因此可以避免不一致的混淆。
對于視頻內(nèi)容的索引參數(shù)的提取，利用以前的轉(zhuǎn)換檢測通過視頻鏡頭的分段也是本發(fā)明的應用。
大家知道的檢測視頻序列中鏡頭變化的一些方法通常依靠兩個所考慮連續(xù)幀畫面之間亮度直方圖的差別。所以原理是根據(jù)從一個鏡頭到下一個的亮度變化。這類檢測器對于亮度的變化是非常靈敏的，亮度變化可能單獨地發(fā)生在場景的變化因而并不是非常可靠的。
本發(fā)明的目的是減輕前述的缺點。
本發(fā)明的主題是一種用于檢測連續(xù)視頻圖象中鏡頭變化的方法，包括生成一幅圖象直方圖的步驟，它表示亮度值的具體值作為這些數(shù)值的一個函數(shù)，包括一個圖象T(t)直方圖與先前的圖象T(t-1)的直方圖的比較步驟，其特點在于該比較步驟包括-計算，對應圖象T(t)的亮度值n的具體值histo_lum(n,t)，這個具體值histo_lum(n,t)與前一幅圖象具體值histo_lum(n+k,t-1)之間的絕對差值，k是從-k到+k變化，k是自然數(shù)，-從這些差值中選擇最小值Min_Diff(n,t)，-對這組亮度值直方圖的最小值求和，-將所獲得的和與一個閥值進行比較。
根據(jù)一個特殊實施例，在比較步驟之前，該方法實現(xiàn)一個過濾直方圖的步驟，這是根據(jù)相鄰亮度值的一些具體值，執(zhí)行關(guān)于給定亮度值n的具體值取平均值。
一個應用涉及到一種為了檢索序列參數(shù)提取的聲音-圖象索引的方法，這種索引方法的特點在于它包括一個根據(jù)本發(fā)明方法檢測鏡頭變化的步驟。
盡管還是依靠直方圖的差，但是所建議的方法能夠吸收可能導致錯誤檢測的亮度變化。這些變化的起因可能源于改變焦距，起源于跟蹤(例如當進入陰影區(qū)域)，起源于一個輕微的攝象機晃動等等。
所建議的方法是更可靠的，更有效以及比較簡單地實現(xiàn)。相應的裝置是非常經(jīng)濟的，它可以非常容易地嵌入到市場上大多數(shù)的設(shè)備中。事實上在結(jié)構(gòu)的復雜性和效用上是一種非常好的折中方法。
這種方法還可以是更高級復雜的聲音-圖象索引系統(tǒng)的一部分，對該系統(tǒng)它可以構(gòu)成一個基本的算法模塊。它可以用能夠?qū)嵤┑倪€比較健全的其它分析層次來補充。
通過例子并且參考描繪該方法各個步驟的附

圖1，從下面的描述中本發(fā)明的特點和優(yōu)點將更清楚。
第一步驟1處理與在時刻t,T(t)一幀畫面有關(guān)的視頻信息。這幀畫面中每個像素的一些亮度值都是通過簡單地修剪最低兩位的6個比特的精確度來產(chǎn)生的。
在下一個步驟2，亮度值直方圖HISTO_LUM(0…63,t)在t時刻這幀畫面的一些亮度值上進行編譯。這個直方圖包含從0到63的64個不同數(shù)值。
下一個步驟3執(zhí)行該亮度直方圖的濾波。一個單維濾波器應用到該直方圖的元素。這個濾波器幫助補償由于亮度中寄生變量產(chǎn)生的寄生影響。
在與幀畫面T(t)有關(guān)的直方圖中，讓HISTO_LUM(n,t)是亮度值n的具體值的數(shù)量，或者其它的描述，在該幀畫面中像素的數(shù)量具有數(shù)值n。
例如，直方圖的濾波和平滑是整個2N+1值平均有關(guān)亮度值n具體值來實現(xiàn)的。除了考慮具體值以外，這些數(shù)值是相鄰亮度值的一些具體值，即n前后的N值。對位于距離比來自極值0和63的N小的亮度值，該濾波數(shù)值可以是原來的數(shù)值。
考慮一個平均值超過5(N=2)的例子，與亮度值n有關(guān)的具體值的平滑數(shù)值，histo_lum(n,t)，等于histo_lum(n,t)=15×Σk=-2k=+2HISTO_LUM(n+k,t)]]>定義濾波器寬度的值N大于或等于1，該濾波器適合至少3個元素。所有的越大期望的濾波器元素越多。
為每個新的幀畫面計算其亮度直方圖。當前幀畫面濾波后的直方圖，histo_lum
，在第四步驟被存儲。
先前幀畫面histo_lum
濾波后的直方圖已經(jīng)在步驟4存儲，當這個先前幀畫面T(t-1)的處理被傳送到步驟5時也接收直接來自步驟3的當前幀畫面T(t)的濾波后直方圖。
然后步驟5執(zhí)行根據(jù)本發(fā)明方法的兩個直方圖之間的比較，以便獲得該直方圖的每個元素的最小差別。
當前幀畫面直方圖的每個元素(或采樣)histo_lum[n,(t)]與其對應的histo_lum[n,(t-1)]和相鄰元素histo_lum[n+k,t-1]相比較，以便提供差值，選出最小差值Min_Dif(n,t)。
因此，對于這兩個直方圖的差值，我們有-0+k≤n≤63-kMin_Dif(n,t)=Mink+-kk=+k{Abs[histo_lum(n,t)-histo_lum(n+k,t-1)]}]]>-n＜0+k或63-k＜n-Min_Dif(n,t)=Abs[histo_lum(n,t)-histo_lum(n,t-1)]K是一個自然數(shù)，Abs對應于絕對值。
此外，對于來自極值0和63小于k的一個距離的亮度值，該計算的數(shù)值Min_Dif(n,t)是濾波后數(shù)值差值的絕對值。
該過程的下一步驟6在于對當前幀畫面直方圖的全部元素的集合，獲得最小差值Min_Dif(n,t)求和sum(t)=Σn=0n=63Min_Dif(n,t)]]>步驟7執(zhí)行為幀畫面T(t)而獲得的數(shù)值Sum(t)與一個預定閥值Thr_cut的比較。
-因為Sum(t)≥Thr_cut，則幀畫面T(t)被認為對應于一個序列的剪輯Cut(t)=1-如果Sum(t)＜Thr_cut，這里認為沒有剪輯Cut(t)=0以一種完全根據(jù)經(jīng)驗的方式，檢測閥值Thr_cut的數(shù)值固定在大約是包含在一幀畫面中點數(shù)的1/5。例如，對于一個720×288有用像素的SDTV幀畫面，閥值Thr_cut的數(shù)值取等于40000的數(shù)值。
因此，如果計算的總和比一個預定閥值大，在步驟7執(zhí)行測試，則所考慮的兩個幀畫面之間的一個鏡頭有變化并且第一輸出(Y)被激活。在相反的情況下，第二個激活的輸出(N)表示這里不存在鏡頭變化。
差值Min_Dif(n,t)的計算在一個預定值K結(jié)束。對于K值選擇越大，系統(tǒng)將越能夠吸收亮度中大的變量，但是這將得到的是在真實鏡頭變化時檢測器靈敏度的損害，因此可能導致檢測失敗。
經(jīng)驗已經(jīng)證明選擇K=1，該系統(tǒng)的運行最有效。則它可以檢測到95％的鏡頭變化而產(chǎn)生大約10％的錯誤檢測。根據(jù)自動檢測系統(tǒng)，這些表面上大量的錯誤檢測包含著認為是鏡頭變化的場景模糊的狀況。這些狀況通常被分類并且能夠容易地通過補償分析系統(tǒng)來確定，分析系統(tǒng)的責任是拒絕它們以便清理這些結(jié)果。這些輔助工具與這些典型的狀況有關(guān)，就是說狀況是已知的，因此能夠改善我們的方法性能。
沒有檢測到的鏡頭變化能夠通過替換K值來減少，但是對錯誤檢測的損害將變得更多了。根據(jù)所針對的應用以及根據(jù)與這個檢測器有關(guān)的工具，該優(yōu)點對檢測速率和錯誤檢測起作用。
例如，在幀畫面速度變化的情況，期望限制錯誤檢測，因為它們導致一個可能由明顯的跳動引起的特殊嵌入。
關(guān)于用來分段一個視頻序列到一些鏡頭的應用，檢測過度將不是關(guān)鍵的，因為檢測器后面跟隨能夠拒絕過剩檢測的補償分析。
關(guān)于2N+1個采樣，在差分化之前實施的濾波能夠吸收，從一幅圖象到另一幅，在向相鄰采樣傳播時出現(xiàn)的亮度中較小的變化。因此它允許較好地區(qū)分由于序列剪輯引起的而且在圖象中完全是隨機的亮度變化，亮度中的變化是由于場景中的運動。這些后面的變化一般把接近相鄰數(shù)值采樣的傳播表現(xiàn)為有關(guān)區(qū)域的面積演變，區(qū)域的出現(xiàn)或消失的演變，亮度變化的演變的一個函數(shù)，這些演變和變化通常以遞增的方式發(fā)生。事實上它是一個直方圖的形狀，因此為了與其它的直方圖比較必須重視過濾的直方圖，而不是這些直方圖特殊值。的確，從一幅圖象到另一幅它們即使是很小，這些數(shù)值也能提供一個可能導致剪輯錯誤檢測的一些變化的較大的總和。
幾個差別都將計算，一是根據(jù)先前圖象亮度的相同值，另外是根據(jù)相鄰的數(shù)值而且正是最小值被重視。通過選擇采樣相鄰的最小值它能夠防止錯誤的檢測。的確，在序列的一個剪輯期間，該直方圖峰值完全改變位置，然而在其它情況下這些直方圖峰值從一個亮度值到其它亮度值的緩慢演變在數(shù)量上更多。這是一種亮度值向相鄰直方圖的采樣的轉(zhuǎn)變，例如在光慢變化期間，在跟蹤期間等。由于考慮相鄰采樣就可能防止這個轉(zhuǎn)變，對于一定的內(nèi)容取決于相鄰采樣的數(shù)量。
還可以在圖象中亮度梯度中添加一個有優(yōu)勢的變化，例如在圖象減弱或者感光過度期間，從一幅圖象到另一幅圖象的累加超過大量的亮度采樣并且因此超過了在一些差值上執(zhí)行的求和。選擇最小值使其能夠?qū)@種在該圖象內(nèi)全部亮度變化的靈敏度減小。
根據(jù)本發(fā)明所提方法的應用涉及到圖象的編碼和壓縮裝置以及還涉及到通過視頻鏡頭對于序列索引的參數(shù)提取進行的分割。該方法能夠檢測各種序列，例如在一個電影膠片或一些連續(xù)電影膠片中，所以它能夠?qū)γ總€電影膠片并且根據(jù)已知的方法，提取一個或更多識別或辨認參數(shù)。例如，一個聲音-圖象索引處理可以包括一個根據(jù)本發(fā)明的方法檢測序列的步驟。
明顯地，前面描述的一些計算可能涉及到圖象，或幀畫面的連續(xù)性以及涉及到任何標準或編碼的類型。
一個編碼或視頻數(shù)據(jù)壓縮裝置包括一個實現(xiàn)前面描述方法的電路，也是本發(fā)明領(lǐng)域的一部分。
權(quán)利要求
1．一種用于檢測連續(xù)視頻圖象中鏡頭變化的方法，包括一個生成一幅圖象直方圖的步驟(2)，它表示亮度值的具體值作為這些數(shù)值的一個函數(shù)，包括一個圖象T(t)直方圖與先前的圖象T(t-1)的直方圖的比較步驟(5)，其特征在于該比較步驟(5)包括-計算，對應圖象T(t)的亮度值n的具體值histo_lum(n,t)，這個具體值histo_lum(n,t)與前一幅圖象具體值histo_lum(n+k,t-1)之間的絕對差值，k是從-k到+k變化，k是自然數(shù)，-從這些差值中選擇最小值Min Diff(n,t)，-對這組亮度值直方圖的最小值求和(6)，-將所獲得的和與一個閥值進行比較(7)。
2．根據(jù)權(quán)利要求1所述的方法，其特征在于在比較步驟(5)之前，該方法實現(xiàn)一個過濾直方圖的步驟，這是根據(jù)相鄰亮度值的一些具體值，執(zhí)行關(guān)于給定亮度值n的具體值取平均值。
3．根據(jù)權(quán)利要求2所述的方法，其特征在于相鄰亮度值是兩個低于n和兩個高于n的數(shù)值。
4．根據(jù)權(quán)利要求2所述的方法，其特征在于對應極端亮度值的具體值沒有取平均。
5．根據(jù)權(quán)利要求1所述的方法，其特征在于與獲得的總和比較的閥值基本上等于一幅圖象中包含像素點數(shù)的1/5。
6．根據(jù)權(quán)利要求1所述的方法，其特征在于在直方圖的計算之前它執(zhí)行亮度值的修剪處理。
7．根據(jù)權(quán)利要求1所述的方法，其特征在于K的數(shù)值等于1。
8．用于索引序列參數(shù)提取的聲音-圖象索引的方法，其特征在于它包括一個根據(jù)權(quán)利要求1所述方法的檢測鏡頭變化的步驟。
9．視頻編碼裝置，其特征在于它包括一個為了實現(xiàn)權(quán)利要求1所述方法用于檢測鏡頭變化的電路。
全文摘要
包括生成一幅圖象直方圖的步驟(2),包括圖象T(t)直方圖與先前的圖象T(t－1)的直方圖的比較步驟(5),該比較步驟(5)包括:計算,對應圖象T(t)的亮度值n的具體值histo_lum(n,t),這個具體值histo_lum(n,t)與前一幅圖象具體值histo_lum(n+k,t－1)之間的絕對差值,k是從－k到+k變化,k是自然數(shù),從這些差值中選擇最小值Min_Diff(n,t),對這組亮度值直方圖的最小值求和(6),將所獲得的和與一個閥值進行比較(7)。
文檔編號H04N5/225GK1325089SQ0111072
公開日2001年12月5日 申請日期2001年4月17日 優(yōu)先權(quán)日2000年4月17日
發(fā)明者熱拉爾·布里昂, 讓-伊夫·巴博諾, 阿蘭·韋迪耶 申請人:湯姆森多媒體公司