專利名稱：視頻比特流中的場景切換檢測的制作方法
技術領域：
本發(fā)明涉及MPEG類型視頻，尤其涉及在視頻比特流中的場景切換檢測。
背景技術：
基于MPEG的視頻序列能夠被分成在長度上從小于一秒到幾分鐘或者更長變化的場景。這些劃分或者場景切換的檢測使得附加特征的值具有一個較寬的變化范圍。例如，能夠從每一個場景中選擇出一幀，從而產生一個能夠概括出一個視頻記錄的內容的情節(jié)串連圖板。而且，也能夠使用一個視頻編輯器以一個場景接一個場景為基礎來管理視頻記錄，例如，對場景進行重新排序，或者對一個場景中的每一幀應用圖像處理技術。
MPEG視頻序列包括三種類型幀，內幀(I)，幀間幀(P)和雙向幀(B)。I幀使用與JPEG類似的方法編碼一幅靜止圖像。P幀是根據(jù)前面的I或者P幀進行預測的幀。B幀是根據(jù)前面的I或者P幀和接下來的I幀或者P幀進行預測的幀。這三種類型的幀利用離散余弦變換(DCT)來編碼，離散余弦變換利用了幀與幀之間空間方向上的冗余。但是，對于I幀，DCT信息直接來源于一個圖像采樣，而對于P和B幀，DCT信息來源于預測之后的一個剩余誤差。
每一幀被分成了多個宏塊。每一個宏塊包含與多個亮度塊(例如，Y1，Y2，Y3和Y4)以及多個色度塊(例如，在一個YUV系統(tǒng)中的一個U和一個V)有關的信息。這些塊中的每一個都包含多個像素(pels)或者圖像元素，例如一個8×8塊。
當視頻已經被編碼成一個類似MPEG比特流時，場景切換檢測可以在不全部解碼該比特流的情況下進行，這提高了視頻處理的速度。諸如宏塊編碼類型，運動矢量以及DCT系數(shù)的附加信息也能夠在不全部解碼該比特流的情況下，從比特流中抽取。
一種場景切換的檢測方法可以如下執(zhí)行1.對于I幀，確定DCT系數(shù)之間的均方差；2.對于P幀，所建議的方法確定前向預測宏塊的數(shù)目；3.對于B幀，計數(shù)前向編碼宏塊的數(shù)目和后向編碼的宏塊的數(shù)目的較小值；以及4.然后在這些數(shù)目與幀數(shù)的圖表中確定一個最小值。
在另一種所建議的檢測場景切換的方法中對于I幀，使用根據(jù)DC系數(shù)建立的彩色直方圖之間的差，并且組合有關不進行運動補償?shù)暮陦K數(shù)目與進行運動補償?shù)暮陦K數(shù)目之間的比值信息。所建議的方法在與幀數(shù)有關的圖表中查找峰值。對于B幀，確定前向預測與后向預測之間的比值。在所有情況下，都利用局部自適應門限技術來識別峰值。
另一種方法對于具有運動補償?shù)?，根?jù)離散余弦(DC)系數(shù)所建立的所有的幀(I，P，B)都使用直方圖。
但是，目前不存在根據(jù)一個子圖像組(GOP)中所有預測的全局檢測來進行場景切換檢測的系統(tǒng)或者方法。
發(fā)明概述依照本發(fā)明的原則，在一個子GOP中根據(jù)所有預測的全局檢測來檢測場景切換。首先檢測多個潛在場景切換的每一個切換的編碼宏塊的數(shù)目。然后確定多個潛在場景切換的每一個切換的預測宏塊的數(shù)目。接下來確定與潛在場景切換相應的多個幀中每一個幀的編碼宏塊數(shù)目和預測宏塊數(shù)目的比值。選擇具有期望比值的幀。該比值與一個門限值相比較。如果確定該比值滿足門限值，就檢測出一個場景切換。
附圖的簡要說明下面將參考附圖更詳細地描述本發(fā)明的優(yōu)選實施例。
附

圖1表明根據(jù)本發(fā)明的原則，在一個子GOP中的示例場景切換；
附圖2是一個表明根據(jù)本發(fā)明的原則的場景切換檢測的第一種方法的流程圖；以及附圖3是一個表明根據(jù)本發(fā)明的原則的場景切換檢測的第二種方法的流程圖。
詳細描述根據(jù)本發(fā)明的原則，場景切換檢測是通過以下方式進行的收集有關每一個幀間幀(P)或者雙向幀(B)中的前向預測和后向預測宏塊的數(shù)目的數(shù)據(jù)，并且在一個子GOP的級別上(沿著前一B幀的每一固定幀)對其進行分析，而不是單獨考慮每一個幀。應當理解，本發(fā)明可以通過各種硬件，軟件，固件，專用處理器或者他們的組合來實現(xiàn)。在本發(fā)明的一個實施例中，本發(fā)明是作為一個切實包含在一個程序存儲設備中的一個應用程序使用軟件來實現(xiàn)的。該應用程序可以被上傳到一個包含任意合適結構的機器上，也可以由該機器來執(zhí)行。最好是，該機器在一個具有諸如一個或者多個中央處理單元(CPU)，一個隨機訪問存儲器(RAM)，以及輸入/輸出(I/O)接口的硬件的計算機平臺中實施。該計算機平臺也包括一個操作系統(tǒng)以及微指令代碼。這里描述的各種處理和功能可以是微指令代碼的一部分，也可以是通過操作系統(tǒng)執(zhí)行的應用程序(或者它們的組合)的一部分。此外，諸如附加數(shù)據(jù)存儲設備和一個打印設備的各種其他的外圍設備也可以連接到該計算機平臺。
應當進一步理解，由于附圖中描述的一些構成系統(tǒng)元件和方法步驟可能以軟件實現(xiàn)，因此實際的連接、互相間的連接關系、或者系統(tǒng)元件(或者處理步驟)之間的功能關系可能隨本發(fā)明被編程的方式而改變。根據(jù)這里所給出的本發(fā)明的教導，本領域的技術人員能夠預計出本發(fā)明的這些以及相似的實現(xiàn)或者結構。
對于每一個P或者B幀，記錄進行前向預測的宏塊的數(shù)目和進行后向預測(僅在B幀中發(fā)現(xiàn))的宏塊的數(shù)目。檢測每一固定幀(anchorframe)、內幀(I)或者P，以及所有緊挨前面的B幀的數(shù)據(jù)。
如果一個宏塊被錯誤的預測，在運動補償之后的剩余將很大，為了補償該預測，需要較大的DCT系數(shù)。對于這些預測，非?？赡茴A測是偽造的(超過百分之五十)。就是說，預測所基于的一個固定幀宏塊可能與預測幀中的宏塊沒有實際的聯(lián)系，但是該固定幀非常相似使得可能根據(jù)它進行一個預測。因此，在收集統(tǒng)計量時，這樣的宏塊就被忽略。尤其是，當計數(shù)前向預測和后向預測的宏塊時，檢查DCT系數(shù)的全部能量(平均信息量，熵)。DCT系數(shù)的全部能量是非DC系數(shù)的平方和。對于前向預測或者后向預測的數(shù)目(分別為nFwd和nBwd)，或者對于編碼宏塊的數(shù)目(nCode)，如果該能量大于一個門限值，不計數(shù)該宏塊。對于MPEG-2，已經發(fā)現(xiàn)的一個典型的門限值是大約500。
對于一個固定幀，分析子GOP中每一幀的預測圖樣。參照圖1，其描述了包含兩個B幀和一個P幀的一個子GOP。一個場景切換的潛在位置包括位于幀B1102的前面，幀B1102和幀B2103之間，以及幀B2103和幀P3104之間。此外，如果幀是隔行掃描的，場景切換可能分別發(fā)生在105-107之間的任意三幀的場之間。
根據(jù)本發(fā)明的一個實施例，如果在108發(fā)生了一個場景切換，由于幀I/P0101與這些幀中的任意一個都不相關，所以在幀B1102，B2103或者P3104中幾乎沒有前向預測宏塊。同樣，如果在109發(fā)生了一個場景切換，由于幀B1102與預測所依據(jù)的幀P3104之間不相關，所以在幀B1102中幾乎沒有后向預測宏塊；由于幀I/P0101與這些幀無關，因此我們期望在幀B2103或者P3104中幾乎沒有前向預測宏塊。
這樣，在108發(fā)生場景切換的可能性的測量就是幀B1102，B2103或者P3104中前向預測宏塊數(shù)目的和。在109發(fā)生場景切換的可能性的測量就是幀B1102中后向預測的宏塊的數(shù)目加上幀B2103和P3104中前向預測宏塊的數(shù)目；在110中的場景切換的可能性與此類似。這樣在相應的點發(fā)生場景切換的可能性就隨著前向預測和后向預測宏塊的全部數(shù)目的減小而增加。
參照圖2，一旦確定當前圖像(p)是P或者B幀201，在該幀中編碼宏塊的總數(shù)目(nCode[p])就被設定為具有小于一個energyThresh的AcEnergy的宏塊的數(shù)目202。該幀中前向預測宏塊的總數(shù)目(nFwd[p])被設定為具有小于一個energyThresh的AcEnergy并且進行前向預測的宏塊的數(shù)目203。該幀中后向預測的宏塊的數(shù)目(nBwd[p])被設定為具有小于一個energyThresh的AcEnergy并且進行后向預測的宏塊的數(shù)目204。
現(xiàn)在參照圖3，根據(jù)步驟301，判斷p是否是一個I幀或者一個P幀。根據(jù)步驟302，如果p不是一個I幀或者P幀，那么直到該子GOP結束也不進行場景切換檢測。根據(jù)步驟303，判斷p是否是一個I幀，以及前面的圖像是否是一個I幀或者一個P幀。根據(jù)步驟304，如果確定p是一個I幀，并且前面的圖像是I或者P幀，那么在該子GOP中就沒有檢測出一個場景切換。一旦確定p是P類型幀，或者前面的圖像是B類型幀，那么在步驟305-311中收集有關當前子GOP的數(shù)據(jù)。根據(jù)步驟305，在子GOP中，對于每一場f，將場f與前面的場之間交叉的潛在場景切換的預測計數(shù)(predMBs[f])以及穿過該邊界進行預測的宏塊的計數(shù)(codedMBs[f])初始化為0。
根據(jù)步驟307，對于子GOP中的每一場f，判斷場f是否位于一個I圖像內。根據(jù)步驟308，如果場f位于一個I圖像內，那么處理繼續(xù)到下一場。一旦確定場f不在一個I圖像內，處理就在子GOP中場景切換的潛在位置循環(huán)，就是，兩場之間的每一個位置f’。根據(jù)步驟309，對于子GOP中的每一個潛在場景切換f’，codedMBs[f’]的值增加nCode[f]。而且，根據(jù)步驟310，對于f前面或者等于f的每一個潛在場景切換f’，predMBs[f’]的值增加nFwd[f]。
根據(jù)步驟311，判斷是否已經達到最后一場，根據(jù)步驟308，如果沒有達到最后一場，接著處理下一場。根據(jù)步驟312，一旦確定已經達到最后一場，確定predMBs[f]與codedMBs[f]的比值(例如，predMBs[f]比codedMBs[f])為最小值的場f。根據(jù)步驟313，對于已經確定具有最小比值的場f，如果predMBs[f]除以codedMBs[f]小于一個predRatioThresh，根據(jù)步驟314，檢測并報告在該場與前面場之間發(fā)生了場景切換，否則，根據(jù)步驟315，確定子GOP中沒有發(fā)生場景切換。
應當注意，即使圖像是幀圖像，由于在幀圖像的場(如果幀圖像是隔行的)之間可能發(fā)生場景切換，對于每一場，確定預測宏塊(predMBs)與場編碼宏塊(codedMBs)的數(shù)目。將一幀圖像的宏塊提供給該幀的每一場，從而計算predMBs和codedMBs。就是，當f’指的是幀中的某一場時，nCode[f’]是該幀中編碼宏塊的總數(shù)。類似，nFwd[f’]和nBwd[f’]分別表示場f’中前向預測宏塊和后向預測宏塊的數(shù)目。當f’與f是同一幀圖像時，僅當f是該幀的第一場時，predMBs[f]增加nBwd[f]，codedMBs[f]增加nCode[f]。由于假設前向預測僅應用到第一場，后向預測僅應用到第二場，所以第二場的排列不增加。如果沒有這樣做，一幀圖像的場之間的場景切換將會被場景邊界之間的預測所掩蓋。
通過實驗，已經發(fā)現(xiàn)預測比值門限，preRatioTresh最佳值是0.05。但是，進一步的實驗和/或應用可以確定除了該值以外的其他值或者在某一特定的應用中更為合適的一個可變的門限值。而且，為AC能量門限選取的特定值，AcThresh，同樣可以不同于上面所述的典型值。對于本領域的技術人員來說，很明顯可以計算和改變這些以及其他的值從而使本發(fā)明的效率和精度達到最好，這些的改變仍然包含在這里所述的本發(fā)明的原則以內。
上面所述的特定方法已經有所應用并且進行了測試。其并不打算限制本發(fā)明或者權利要求所包含的范圍。本發(fā)明的根本原則在于通過全局檢查一個子GOP中的全部預測來精確地檢測一個急劇場景切換。通過尋找預測中可能獲得的全部信息的連續(xù)性，來減少錯誤的判斷(場景切換的虛假報告)。
本發(fā)明的原則可以結合例如直方圖方法來處理僅存在I幀的情況，以及在一個I幀之后跟著一個P幀的情況，在這種情況下，該方法不能檢測出一個場景切換。涉及直方圖的擴展也能夠用于檢測諸如淡入淡出，漸隱，以及滑過等漸進性的場景轉換。
已經描述了通過對一個子GOP內的所有預測進行全局檢查來精確檢測場景切換的實施例，應當注意本領域的技術人員在上述教導下可以做出各種修改和變形。因此能夠理解，在本發(fā)明所描述的特定實施例中可以做出各種修改和變形，這些修改和變形包含在附加的權利要求所定義的本發(fā)明的精神和范圍內。這里已經詳細描述了本發(fā)明以及專利法所要求的特性，要求和期望被專利證書所保護的內容在附加的權利要求中闡述。
權利要求
1.一種用于檢測視頻比特流中的場景切換的方法，包括步驟確定多個潛在場景切換中的每一個切換的編碼宏塊的數(shù)目(309)；確定多個潛在場景切換中的每一個切換的預測宏塊的數(shù)目(310)；確定相應于多個潛在場景切換的多個幀中的每一個的編碼宏塊的數(shù)目與預測宏塊的數(shù)目的比值；選擇具有期望比值的幀(312)；將該比值與一門限值相比較(313)；以及一旦確定該比值滿足該門限值，檢測場景切換(314)。
2.如權利要求1所述的方法，進一步包括處理一組幀的步驟，其中每一幀包含兩場，并且該組幀包括一個子圖像組，該視頻比特流包括多個子圖像組。
3.如權利要求1所述的方法，進一步包括確定第一幀是否是一個I或者P圖像的步驟，一旦確定第一幀不是一個I或者P圖像，前進到下一個子圖像組。
4.如權利要求1所述的方法，進一步包括確定第一圖像是否是一個I圖像以及前面的圖像是否是一個I或者P圖像的步驟，一旦確定第一圖像是P圖像或者前面圖像是B圖像，前進到下一子圖像組。
5.如權利要求1所述的方法。進一步包括步驟對于每一幀，將預測宏塊的數(shù)目初始化為零；以及對于每一幀，將編碼宏塊的數(shù)目初始化為零。
6.如權利要求1所述的方法，其中至少一個潛在場景切換發(fā)生在一幀中的隔行場之間。
7.如權利要求6所述的方法，其中確定預測宏塊的數(shù)目的步驟進一步包括步驟對于每一潛在場景切換，一旦確定到一個相應的場是一幀圖像的第一場，就將預測宏塊的數(shù)目設定為前向預測的宏塊數(shù)目；以及對于每一個潛在場景切換，一旦確定相應的場是一幀的第二場，就將預測宏塊的數(shù)目設定為后向預測的宏塊數(shù)目，其中該幀包括第一場和第二場。
8.如權利要求6所述的方法，其中場景切換相應于選定的場。
9.如權利要求1所述的方法，其中期望的比值是所確定的全部比值中的最小比值。
10.如權利要求1所述的方法，其中潛在場景切換發(fā)生在一個子圖像組幀之間。
11.一種用于檢測MPEG視頻比特流中的場景切換的方法，包括步驟確定多個潛在場景切換中的每一個切換的編碼宏塊的數(shù)目，其中多個潛在場景切換發(fā)生在多個幀之間以及每一幀的多個場之間(309)；對于多個潛在場景切換中的每一個切換，一旦檢測到一個相應的場是一幀圖像的第一場，就將預測宏塊的數(shù)目設定為等于前向預測的宏塊數(shù)目，并且對于多個潛在場景切換中的每一個切換，一旦檢測到相應的場是該幀的第二場，就將預測宏塊的數(shù)目設定為等于后向預測的宏塊數(shù)目，其中該幀包括第一場和第二場(310)；確定相應于多個潛在場景切換的多個場中的每一個的編碼宏塊的數(shù)目與預測宏塊的數(shù)目的比值；在多個場中選擇具有最小比值的場(312)；將最小比值與一門限值相比較(313)；以及一旦確定最小比值滿足該門限值，就檢測到一個場景切換，其中場景切換與所選擇的場相對應(314)。
12.如權利要求11所述的方法，進一步包括處理一組幀的步驟，每一幀包含兩場，其中該組幀包括一個子圖像組，該視頻比特流包括多個子圖像組。
13.如權利要求11所述的方法，進一步包括步驟確定第一幀是否是一個I圖像或者P圖像；以及響應于第一幀不是一個I或者P圖像的確定，處理前進到下一個子圖像組。
14.如權利要求11所述的方法，進一步包括步驟確定第一圖像是否是一個I圖像；確定前面的圖像是否是一個I或者P圖像；以及響應于第一圖像是P圖像或者前面的圖像是B圖像的確定，處理前進到下一子圖像組。
15.如權利要求11所述的方法。進一步包括步驟對于每一場，將預測宏塊的數(shù)目初始化為零；以及對于每一場，將編碼宏塊的數(shù)目初始化為零。
16.權利要求11所述的方法，其中至少一個潛在場景切換發(fā)生在一幀的隔行場之間。
17.一種機器可讀的程序存儲設備，切實包含了可由機器執(zhí)行的指令程序，以執(zhí)行檢測視頻比特流中的場景切換的方法步驟，所述方法步驟包括確定多個潛在場景切換中的每一個切換的編碼宏塊的數(shù)目(309)；確定多個潛在場景切換中的每一個切換的預測宏塊的數(shù)目(310)；確定相應于多個場景切換的多個幀中的每一個的編碼宏塊的數(shù)目與預測宏塊的數(shù)目的比值；選擇具有期望比值的幀(312)；將該比值與一門限值相比較(313)；以及一旦確定該比值滿足該門限值，檢測到場景切換(314)。
18.如權利要求17所述的方法，其中多個潛在場景切換發(fā)生在幀的隔行場之間。
19.如權利要求18所述的方法，其中確定預測宏塊的數(shù)目的步驟進一步包括步驟對于每一潛在場景切換，一旦確定一個相應的場是幀中的第一場，就將預測宏塊的數(shù)目設定為等于前向預測的宏塊數(shù)目；以及對于每一個潛在場景切換，一旦確定相應的場是該幀的第二場，就將預測宏塊的數(shù)目設定為等于后向預測的宏塊數(shù)目，其中該幀包括第一場和第二場。
20.如權利要求18所述的方法，其中場景切換與所選擇的場相對應。
21.如權利要求17所述的方法，其中期望的比值是所確定的全部比值中的最小比值。
22.一種用于檢測一個視頻比特流中的場景切換的設備，包括確定多個潛在場景切換中的每一個切換的編碼宏塊的數(shù)目的裝置；確定多個潛在場景切換中的每一個切換的預測宏塊的數(shù)目的裝置；確定相應于多個場景切換的多個幀中的每一個的編碼宏塊的數(shù)目與預測宏塊的數(shù)目的比值的裝置；選擇具有期望比值的幀的裝置；將該比值與一門限值相比較的裝置；以及一旦確定該比值滿足該門限值，檢測場景切換的裝置。
全文摘要
公開了一種用于檢測視頻比特流中的場景切換的方法和設備。確定多個潛在場景切換中的每一個切換的編碼宏塊的數(shù)目(309)；確定多個潛在場景切換中的每一個切換的預測宏塊的數(shù)目(310)；然后計算相應于潛在場景切換的多個幀中的每一個幀的編碼宏塊數(shù)目與預測宏塊數(shù)目的比值；選擇具有期望比值的幀(312)；將所選擇的幀的比值與一門限值相比較(313)；以及響應于所選擇的幀的比值滿足該門限值的確定，報告已經檢測出一個場景切換(314)。
文檔編號H04N5/92GK1602592SQ02823277
公開日2005年3月30日 申請日期2002年9月20日 優(yōu)先權日2001年9月26日
發(fā)明者R·M·彼得森, E·查洛姆 申請人:湯姆森許可公司