專利名稱：檢測數(shù)字視頻序列中的場景轉(zhuǎn)換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測數(shù)字視頻序列中的轉(zhuǎn)換效應(yīng)的技術(shù)。
背景技術(shù)：
數(shù)字視頻序列可針對影像序列來描述，也稱為視頻幀。所述影像序列可呈現(xiàn)編輯 在一起以形成視頻剪輯或其它產(chǎn)物的一個或一個以上不同場景。每一場景包括一個或一個 以上相關(guān)的視頻數(shù)據(jù)幀?？焖龠B貫地向觀看者呈現(xiàn)所述視頻序列的幀以產(chǎn)生運(yùn)動印象。在制作所述視頻序列期間，將與一個或一個以上場景相關(guān)聯(lián)的幀編輯在一起以形 成所述序列。將兩個場景編輯在一起的位置稱作場景轉(zhuǎn)換。換句話說，場景轉(zhuǎn)換是以某一 方式從一個場景轉(zhuǎn)換為另一場景。所述場景可具有從不同角度拍攝的同一目標(biāo)或兩個完全 不同的目標(biāo)。硬場景轉(zhuǎn)換是從一個場景突然轉(zhuǎn)換為另一場景。硬場景轉(zhuǎn)換可(例如)包含 剪切場景改變或閃現(xiàn)幀。另一方面，軟場景轉(zhuǎn)換可為兩個場景之間的漸進(jìn)轉(zhuǎn)換。換句話說， 軟轉(zhuǎn)換可發(fā)生于若干幀上。軟場景轉(zhuǎn)換的實(shí)例包含交叉淡變(也稱為漸隱)、淡入、淡出等寸。視頻編碼裝置可接收一個或一個以上數(shù)字視頻序列并對所述序列進(jìn)行編碼以用 于發(fā)射至一個或一個以上解碼裝置或用于存儲直到以后發(fā)射及解碼為止。已制訂若干用于 對數(shù)字視頻序列進(jìn)行譯碼的不同視頻譯碼標(biāo)準(zhǔn)。例如，運(yùn)動圖像專家組(MPEG)已開發(fā)若干 標(biāo)準(zhǔn)，包含MPEG-I (部分2)、MPEG-2 (部分2)及MPEG-4 (部分2)。其它實(shí)例包含國際電信 聯(lián)盟(ITU-T)H. 261及H. 263標(biāo)準(zhǔn)，及也闡述于MPEG-4部分10中、標(biāo)題為“高級視頻譯碼 AVC”的新興ITU-T H. 264標(biāo)準(zhǔn)。一般來說，這些視頻譯碼標(biāo)準(zhǔn)通過以一壓縮方式對數(shù)據(jù)進(jìn) 行譯碼來支持視頻序列的經(jīng)改進(jìn)發(fā)射及存儲效率。壓縮減少需要發(fā)射或存儲的數(shù)據(jù)總量以 便有效地發(fā)射或存儲視頻幀。視頻譯碼用于諸多背景中，包含視頻串流、攝錄像機(jī)、個人視 頻記錄器(PVR)、數(shù)字視頻記錄器(DVR)、視頻電話(VT)、視頻會議、視頻CD(VCD)與數(shù)字通 用/視頻光盤(DVD)上的數(shù)字視頻分布，及通過有線及無線發(fā)射媒體兩者的視頻廣播應(yīng)用 以及磁性及光學(xué)存儲媒體兩者上的視頻存儲應(yīng)用。MPEG-1、MPEG-2、MPEG-4、ITU-T H. 261、ITU-T H. 263 及 ITU-T H. 264 標(biāo)準(zhǔn)支持利 用連貫視頻幀之間的相似性(稱作時間或幀間相關(guān))以提供幀間壓縮的視頻譯碼技術(shù)。這 些標(biāo)準(zhǔn)還支持利用個別視頻幀內(nèi)的相似性(稱作空間或幀內(nèi)相關(guān))以提供幀內(nèi)壓縮的視頻 譯碼技術(shù)。通過將基于像素的幀表示轉(zhuǎn)換為基于像素區(qū)塊的平移運(yùn)動表示，所述幀間壓縮 技術(shù)采用跨越鄰近或緊密間隔的視頻幀的數(shù)據(jù)冗余。使用幀間技術(shù)譯碼的視頻幀通常稱作 P( “預(yù)測”)幀或B( “雙向預(yù)測”)幀。使用空間壓縮譯碼的某些幀(一般稱作1( “內(nèi)”) 幀)可以為非預(yù)測性(即，僅基于以H. 264之前的標(biāo)準(zhǔn)的變換譯碼)或預(yù)測性(即，基于以 H. 264的空間預(yù)測與變換譯碼兩者)。另外，某些幀還可包含幀內(nèi)譯碼區(qū)塊與幀間編碼區(qū)塊 兩者的組合。這些編碼標(biāo)準(zhǔn)提供非常適合于無線視頻廣播應(yīng)用的高效譯碼。確定用于對一候選幀進(jìn)行編碼的譯碼技術(shù)類型對于譯碼效率是重要的。由于視頻 序列隨時間改變其統(tǒng)計(jì)性質(zhì)，因此編碼裝置應(yīng)使用于對所述幀進(jìn)行編碼的譯碼技術(shù)類型適于在可達(dá)成最有效壓縮的最大程度上利用可用冗余。一般來說，編碼裝置基于周圍幀的內(nèi)容及場景轉(zhuǎn)換的識別來自適應(yīng)地確定用于對當(dāng)前幀進(jìn)行譯碼的譯碼技術(shù)類型。為此目的， 所述編碼裝置可試圖識別這些場景轉(zhuǎn)換的位置。

發(fā)明內(nèi)容
在一個方面中，一種用于處理數(shù)字視頻數(shù)據(jù)的方法包括分析像素值在所述數(shù)字 視頻數(shù)據(jù)的序列的多個幀上的分布，及當(dāng)像素值的分布在具有中間范圍的可能像素值中的 像素值的像素位置的數(shù)量上展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。在另一方面中，一種用于處理數(shù)字視頻數(shù)據(jù)的設(shè)備包括用于接收多個幀的預(yù)處理 器。所述預(yù)處理器包含轉(zhuǎn)換檢測模塊，所述模塊分析像素值在所述數(shù)字視頻數(shù)據(jù)的序列的 多個幀上的分布，且當(dāng)像素值的分布在具有中間范圍的可能像素值中的像素值的像素位置 的數(shù)量上展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。在另一方面中，一種用于處理數(shù)字視頻數(shù)據(jù)的設(shè)備包括用于分析像素值在所述 數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分布的裝置；及用于當(dāng)像素值的分布在具有中間范圍的 可能像素值中的像素值的像素位置的數(shù)量上展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列 內(nèi)的場景轉(zhuǎn)換的裝置。在另一方面中，一種用于處理數(shù)字視頻數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品包括其上具有指令 的計(jì)算機(jī)可讀媒體。所述指令包含用于分析像素值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀 上的分布的代碼；及用于當(dāng)像素值的分布在具有中間范圍的可能像素值中的像素值的像素 位置的數(shù)量上展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換的代碼。在另一方面中，一種用于處理數(shù)字視頻數(shù)據(jù)的集成電路裝置包括至少一個處理 器，所述至少一個處理器經(jīng)配置以分析像素值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分 布，且當(dāng)像素值的分布在具有中間范圍的可能像素值中的像素值的像素位置的數(shù)量上展現(xiàn) 至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換?？稍谟布?、軟件、固件或其任一組合中實(shí)施本發(fā)明中所述的技術(shù)。如果在軟件中實(shí) 施所述技術(shù)，則可在處理器(其可指代一個或一個以上處理器)中執(zhí)行所述軟件，例如通 用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA，也稱為現(xiàn)場可編程邏輯陣列 FPLA)或數(shù)字信號處理器(DSP)或其它等效集成或離散邏輯電路。執(zhí)行所述技術(shù)的軟件最 初可存儲于計(jì)算機(jī)可讀媒體中且由處理器加載并執(zhí)行。因此，本發(fā)明也涵蓋計(jì)算機(jī)可讀媒 體，所述媒體包括致使處理器執(zhí)行如本發(fā)明中所述的各種技術(shù)中的任一者的指令。在某些 情形中，所述計(jì)算機(jī)可讀媒體可形成計(jì)算機(jī)程序產(chǎn)品的一部分，可將所述計(jì)算機(jī)程序產(chǎn)品 出售給制造商及/或用于裝置中。所述計(jì)算機(jī)程序產(chǎn)品可包含所述計(jì)算機(jī)可讀媒體，且在 某些情形中也可包含包裝材料。將在附圖及以下說明中闡述一個或一個以上實(shí)例的細(xì)節(jié)。依據(jù)所述說明及附圖并 根據(jù)權(quán)利要求書，其它特征、目的及優(yōu)點(diǎn)將顯而易見。


圖1是方框圖，其圖解說明采用根據(jù)本發(fā)明的場景轉(zhuǎn)換檢測技術(shù)的數(shù)字視頻譯碼 系統(tǒng)。
圖2是圖1的編碼裝置的更詳細(xì)方框圖。圖3是流程圖，其圖解說明編碼裝置利用本發(fā)明的場景轉(zhuǎn)換檢測技術(shù)的實(shí)例性操作。圖4是流程圖，其圖解說明編碼裝置在場景的區(qū)段內(nèi)檢測場景轉(zhuǎn)換的實(shí)例性操 作。圖5是實(shí)例性經(jīng)處理影像直方圖數(shù)據(jù)圖表，其表示像素值在一序列的多個幀上的 分布。圖6是另一實(shí)例性經(jīng)處理影像直方圖數(shù)據(jù)圖表，其表示像素值在一序列的多個幀 上的分布。
具體實(shí)施例方式本發(fā)明描述用于檢測數(shù)字視頻序列中的場景轉(zhuǎn)換的技術(shù)。特定來說，本發(fā)明的技 術(shù)對檢測視頻序列中的軟場景轉(zhuǎn)換尤其有用。軟場景轉(zhuǎn)換是指兩個場景之間的漸進(jìn)轉(zhuǎn)換， 其可包含交叉淡變(也稱作漸隱)、淡入、淡出等等。交叉淡變或漸隱是指其中第一場景直 接轉(zhuǎn)換為第二場景的轉(zhuǎn)換效應(yīng)。淡入是指其中第一場景包括均勻色彩且所述第一場景淡變 為第二場景的轉(zhuǎn)換效應(yīng)。例如，所述淡入可以從全黑色屏幕轉(zhuǎn)換為所述第二場景。淡出是 指所述第一場景淡變?yōu)榫鶆蛏?例如，黑色)的轉(zhuǎn)換效應(yīng)。可針對多個視頻幀的序列來描述數(shù)字視頻序列。每一視頻幀包括各自對應(yīng)于特定 像素值的多個像素位置，所述特定像素值界定在對應(yīng)像素位置處的像素的光亮度及/或色 彩。例如，在YCbCr色彩空間中，所述像素值可以是亮度(Y)值與兩個色度值的組合，所述 亮度(Y)值表示所述像素的光亮度(即，強(qiáng)度)且所述兩個色度值Cb及Cr分別表示所述 像素的藍(lán)色及紅色支配色彩分量。根據(jù)本文所述的技術(shù)，編碼裝置分析像素值在多個幀上的分布以檢測發(fā)生軟場景 轉(zhuǎn)換的時間位置(即，時間間隔)。特定來說，所述編碼裝置分析具有中間范圍的可能像素 值中的值的像素位置的分布以在所述多個幀中識別在具有中間范圍的可能像素值中的像 素值的像素位置的數(shù)量上展現(xiàn)至少預(yù)定量的短期增加的時間位置。所述短期增加可(例 如)發(fā)生在約2-30個幀上。然而，在某些情形中，所述短期增加可發(fā)生在較大集的幀上。在 具有中間范圍的可能像素值中的像素值的像素位置的數(shù)量上的顯著短期增加指示軟場景 轉(zhuǎn)換。如下文將更詳細(xì)描述，對于在轉(zhuǎn)換期間具有大量像素位置經(jīng)歷顯著像素值改變的場 景轉(zhuǎn)換情形尤其如此。以此方式，通過在所述多個幀內(nèi)識別在具有中間范圍像素值的像素 位置的數(shù)量上具有顯著短期增加的位置來檢測漸進(jìn)場景轉(zhuǎn)換的發(fā)生。圖1是方框圖，其圖解說明采用根據(jù)本文所述技術(shù)的場景轉(zhuǎn)換檢測的經(jīng)譯碼(或經(jīng)壓縮)視頻通信系統(tǒng)10。譯碼系統(tǒng)10包含由網(wǎng)絡(luò)16連接的編碼裝置12及解碼裝置14。 編碼裝置12從至少一個媒體源18獲得數(shù)字視頻序列、對所述數(shù)字視頻序列進(jìn)行編碼并經(jīng) 由網(wǎng)絡(luò)16將經(jīng)譯碼的序列發(fā)射到解碼裝置14。編碼裝置12及解碼裝置14可包括任何有 線或無線裝置，例如個人計(jì)算機(jī)、移動無線電電話、服務(wù)器、網(wǎng)絡(luò)用具、集成到車輛中的計(jì)算 機(jī)、視頻游戲平臺、便攜式視頻游戲裝置、計(jì)算機(jī)工作站、計(jì)算機(jī)信息亭、數(shù)字告示牌、大型 計(jì)算機(jī)、電視機(jī)機(jī)頂盒、網(wǎng)絡(luò)電話、個人數(shù)字助理(PDA)、移動媒體播放器、家庭媒體播放器、 數(shù)字視頻投影儀或其它類型的電子裝置。作為一個實(shí)例，編碼裝置12或解碼裝置14可與接收、發(fā)射及其它適合組件一起提供于無線通信裝置手持機(jī)(例如如上所述的移動電話) 內(nèi)。在某些方面中，媒體源18可包括廣播數(shù)字視頻序列(例如，經(jīng)由衛(wèi)星)的一個或 一個以上視頻內(nèi)容提供者。在其它方面中，媒體源18可包括捕獲所述數(shù)字視頻序列的視頻 捕獲裝置。在此情況下，視頻捕獲裝置可集成在編碼裝置12內(nèi)或耦合到編碼裝置12。媒體 源18也可以是位于編碼裝置12內(nèi)或耦合到編碼裝置12的存儲器或檔案庫。從媒體源18接收的視頻序列可包括將要作為廣播或按需內(nèi)容來譯碼及發(fā)射的直 播實(shí)時或近實(shí)時視頻及/或音頻序列，或可包括將要作為廣播或按需內(nèi)容來譯碼及發(fā)射的 預(yù)先記錄及所存儲的視頻及/或音頻序列。在某些方面中，所述視頻序列中的至少一部分 是由計(jì)算機(jī)產(chǎn)生的，例如在游戲的情形中。可針對編輯在一起以形成視頻序列的多個場景來描述從媒體源18接收的數(shù)字視 頻序列。編輯在一起的場景可包含其中包含同一目標(biāo)但自不同相機(jī)角度觀察的場景。例如， 編輯在一起的場景可包含自第一相機(jī)角度攝取的場景及自第二相機(jī)角度攝取的同一場景。 另一選擇為，編輯在一起的場景可為包含完全不同的目標(biāo)物的場景。在所述序列中兩個場 景編輯在一起的位置稱作場景 轉(zhuǎn)換。換句話說，場景轉(zhuǎn)換是以某一方式從一個場景轉(zhuǎn)換為 另一場景。如上所述，所述場景轉(zhuǎn)換可以是硬轉(zhuǎn)換或軟轉(zhuǎn)換，所述硬轉(zhuǎn)換是在單個幀中從一 個場景突然改變至另一場景而所述軟轉(zhuǎn)換是在若干幀上兩個場景之間的漸進(jìn)改變。所述數(shù)字視頻序列的每一場景包含其中包含同一目標(biāo)物的一個或一個以上幀。所 述幀的目標(biāo)物無需完全相同。例如，所述幀可包含位于稍微不同位置中的同一目標(biāo)物以表 示物件的運(yùn)動。所述幀可包含額外目標(biāo)物，例如進(jìn)入同一背景中的新物件。以此方式，場景 是由相關(guān)幀的序列組成。編碼裝置12使用一種或一種以上譯碼技術(shù)來對自媒體源18接收的序列的每一幀 進(jìn)行編碼。例如，編碼裝置12可使用幀內(nèi)譯碼技術(shù)來對所述幀中的一者或一者以上進(jìn)行編 碼。對使用幀內(nèi)譯碼技術(shù)編碼的幀(通常稱作內(nèi)(“I”)幀)進(jìn)行譯碼無需參考其它幀。 然而，使用幀內(nèi)譯碼技術(shù)編碼的幀可使用空間預(yù)測以通過利用位于同一幀中的其它視頻數(shù) 據(jù)中的冗余來壓縮所述幀。編碼裝置12也可使用幀間譯碼技術(shù)來對所述幀中的一者或一 者以上進(jìn)行編碼。對使用幀間譯碼技術(shù)編碼的幀進(jìn)行譯碼需參考一個或一個以上其它幀 (本文中稱作參考幀)的至少一部分。經(jīng)幀間譯碼的幀可包含一個或一個以上預(yù)測(“P”) 幀、雙向預(yù)測(“B”)幀或其一組合。對P幀進(jìn)行編碼需參考至少一個時間上居先的幀，而 對B幀進(jìn)行編碼需參考至少一個時間上居后的幀及至少一個時間上居先的幀。所述時間上 居先及/或時間上居后的幀稱作參考幀。以此方式，幀間譯碼技術(shù)通過利用視頻數(shù)據(jù)中跨 越時間維度的冗余來壓縮所述幀。編碼裝置12可進(jìn)一步經(jīng)配置以通過將每一幀分割成多個像素子組且單獨(dú)地對每 一像素子組進(jìn)行編碼來對所述序列的每一幀進(jìn)行編碼。這些像素子組可稱作區(qū)塊或宏區(qū) 塊。編碼裝置12可進(jìn)一步將每一區(qū)塊細(xì)分成兩個或兩個以上子區(qū)塊。作為一個實(shí)例，16x16 區(qū)塊可包括四個8x8子區(qū)塊或其它細(xì)分區(qū)塊。例如，H. 264標(biāo)準(zhǔn)允許對具有各種不同大小 (例如16xl6、16x8、8xl6、8x8、8x4、4x8及4x4)的區(qū)塊進(jìn)行編碼。此外，可通過擴(kuò)展將所述 區(qū)塊細(xì)分成任一大小(例如，2χ16、16χ2、2χ2、4χ16、8χ2及等等)的子區(qū)塊。也可能有大小 大于或小于16個行或列的區(qū)塊。如本文中所用，術(shù)語“區(qū)塊”可以指任一大小的區(qū)塊或子區(qū)塊。編碼裝置12可至少部分地基于對所述序列內(nèi)的場景轉(zhuǎn)換的檢測來自適應(yīng)地確定 用于對所述序列內(nèi)的候選幀進(jìn)行編碼的譯碼技術(shù)。如上所述，所述場景轉(zhuǎn)換可包含交叉淡 變(也稱為漸隱)、淡入、淡出等等。根據(jù)本文中所述的技術(shù)，編碼裝置12分析像素值在多 個幀上的分布以在所述幀序列內(nèi)檢測發(fā)生軟場景轉(zhuǎn)換的時間位置(時間間隔)。如下文將 更詳細(xì)描述，所述像素值可表示特定像素位置的光亮度(即，亮度)。另一選擇為，所述像素 值可表示所述特定像素位置的光亮度及色彩，例如，一個或一個以上光譜通道的強(qiáng)度向量。 編碼裝置12可在所述多個幀上分析每一幀中具有中間范圍的可能像素值內(nèi)的像素值的像 素位置的數(shù)量。編碼裝置12在具有所述中間范圍的可能像素值內(nèi)的像素值的像素位置的 數(shù)量上展現(xiàn)顯著短期增加時檢測軟場景轉(zhuǎn)換。具有所述中間范圍的可能像素值中的像素值 的像素位置的數(shù)量的顯著短期增加指示軟轉(zhuǎn)換。對于在轉(zhuǎn)換期間大量像素位置經(jīng)歷顯著強(qiáng) 度改變(正向地或負(fù)向地)的軟轉(zhuǎn)換情形尤其如此。以此方式，通過在所述多個幀內(nèi)檢測 在具有中間范圍像素值的像素位置的數(shù)量上展現(xiàn)短期增加的位置來檢測漸進(jìn)場景轉(zhuǎn)換的 發(fā)生。中間范圍像素值的這些短期增加可(例如)發(fā)生在相當(dāng)少的幾個幀上(例如，在5 個幀上)或較大數(shù)量的幀上(例如，在30個幀上)。然而，在某些情形中，所述短期增加可 發(fā)生在較大集的幀上。編碼裝置12至少部分地基于對所述序列內(nèi)的一個或一個以上場景轉(zhuǎn)換的檢測來 確定用于對所述序列內(nèi)的候選幀進(jìn)行編碼的譯碼技術(shù)。編碼裝置12可確定不將所述候選 幀譯碼成P幀，這是因?yàn)樗鰩砂瑏碜砸粋€以上場景的內(nèi)容。相反，編碼裝置12可確 定使用加權(quán)雙向預(yù)測譯碼來將所述候選幀譯碼成B幀以包含來自兩個場景的內(nèi)容。準(zhǔn)確地 確定用于對幀進(jìn)行譯碼的譯碼技術(shù)類型減少所需的編碼位速率、能夠有效地壓縮所述幀及 更好地處置場景轉(zhuǎn)換。編碼裝置12對所述序列的幀進(jìn)行編碼并經(jīng)由網(wǎng)絡(luò)16將經(jīng)編碼的幀發(fā)射到解碼裝 置14。網(wǎng)絡(luò)16可包括有線或無線通信網(wǎng)絡(luò)中的一者或一者以上，包含乙太網(wǎng)、異步傳送模 式(ATM)、電話(例如，POTS)、電纜、電力線路、及光纖系統(tǒng)、及/或無線系統(tǒng)中的一者或一者 以上，所述無線系統(tǒng)包括以下系統(tǒng)中的一者或一者以上碼分多重存取(CDMA或CDMA2000) 通信系統(tǒng)、頻分多重存取(FDMA)系統(tǒng)、正交頻分多重存取(OFDMA)系統(tǒng)、時分多重存取 (TDMA)系統(tǒng)(例如通用分組無線電服務(wù)(GPRS/GSM)/增強(qiáng)型數(shù)據(jù)GSM環(huán)境(EDGE))、地面 集群無線電(TETRA)移動電話系統(tǒng)、寬帶碼分多重存取(WCDMA)系統(tǒng)、高數(shù)據(jù)速率(IxEV-DO 或IxEV-DO黃金多播)系統(tǒng)、IEEE 802. 11系統(tǒng)、僅正向鏈路(FLO)系統(tǒng)、數(shù)字媒體廣播 (DMB)系統(tǒng)、手持式數(shù)字視頻廣播(DVB-H)系統(tǒng)、地面綜合服務(wù)數(shù)字廣播(ISDB-T)系統(tǒng)等 等。盡管在無線背景中描述本發(fā)明的技術(shù)，但其可用于壓縮供用于經(jīng)由有線網(wǎng)絡(luò)發(fā)射的數(shù) 據(jù)。解碼裝置14自編碼裝置12接收經(jīng)編碼數(shù)據(jù)并對所述經(jīng)譯碼幀進(jìn)行解碼。解碼裝置14可進(jìn)一步通過顯示器(未顯示)向用戶呈現(xiàn)經(jīng)解碼的視頻幀，所述顯示器可集成于解 碼裝置14內(nèi)或可提供為經(jīng)由有線或無線連接耦合到解碼裝置14的離散裝置。例如，解碼 裝置14可實(shí)施為數(shù)字電視、無線通信裝置、游戲裝置、便攜式數(shù)字助理(PDA)、膝上型計(jì)算 機(jī)或桌上型計(jì)算機(jī)、數(shù)字音樂及視頻裝置(例如那些以商標(biāo)“iPod”出售的裝置)或無線電 電話(例如蜂窩式、基于衛(wèi)星或地面的無線電電話)或其它經(jīng)配備用于視頻及/或音頻串流、視頻電話或兩者的無線移動終端的一部分。解碼裝置14可與移動或靜止裝置相關(guān)聯(lián)。 在其它方面中，解碼裝置14可包括耦合到有線網(wǎng)絡(luò)的有線裝置。編碼裝置12及解碼裝置14可根據(jù)視頻壓縮標(biāo)準(zhǔn)(例如動畫專家組(MPEG)、 MPEG-I (部分 2)、MPEG-2 (部分 2)、MPEG-4 (部分 2)、ITU-T H. 261、ITU-T H. 263 或?qū)?yīng)于 MPEG-4部分10的ITU-T H. 264 (高級視頻譯碼AVC))來操作。H. 264/MPEG-4 (AVC)標(biāo)準(zhǔn)是 由ITU-T視頻譯碼專家組(VCEG)與IS0/IEC動畫專家組(MPEG) —同制定，作為稱為聯(lián)合 視頻組(JVT)的共同合作組織的產(chǎn)物。H. 264標(biāo)準(zhǔn)描述于由ITU-T研究組在2005年3月作 出的用于泛用視聽服務(wù)的ITU-T推薦H. 264高級視頻譯碼中，其在本文中可稱作H. 264標(biāo) 準(zhǔn)或H. 264規(guī)范、或H. 264/AVC標(biāo)準(zhǔn)或規(guī)范。在某些方面中，對于視頻廣播來說，本發(fā)明中所述的技術(shù)可應(yīng)用于增強(qiáng)型H. 264 視頻譯碼以便在使用FLO空中接口規(guī)范(“用于地面移動多媒體多播的僅正向鏈路空中接 口規(guī)范”將出版為技術(shù)標(biāo)準(zhǔn)TIA-1099( “FLO”規(guī)范))的地面移動多媒體多播(TM3)系統(tǒng)中 輸送實(shí)時視頻服務(wù)。FLO規(guī)范包含界定位串流語法與語義及適合于FLO空中接口的解碼過 程的實(shí)例。另一選擇為，可根據(jù)其它標(biāo)準(zhǔn)(例如，DVB-H(手持式數(shù)字視頻廣播)、ISDB-T(地 面綜合服務(wù)數(shù)字廣播)或DMB(數(shù)字媒體廣播))來廣播視頻。然而，本發(fā)明中所述的技術(shù) 并非局限于任一特定類型的廣播、多播、單播或點(diǎn)對點(diǎn)系統(tǒng)。在廣播的情形中，視頻數(shù)據(jù)提 供者10可向多個接收裝置廣播數(shù)個通道的視頻數(shù)據(jù)。圖2是編碼裝置12的更詳細(xì)方框圖。編碼裝置12包含預(yù)處理器20、編碼器22及 發(fā)射器24。在某些方面中，編碼模塊12可駐存于無限通信裝置手持機(jī)內(nèi)以對影像及/或視 頻進(jìn)行編碼以便經(jīng)由無線網(wǎng)絡(luò)發(fā)射到另一無線通信裝置。預(yù)處理器20接收所述序列的幀 并分析所述幀以輔助編碼器22對所述幀進(jìn)行編碼且分析所述幀序列以使用本文所述的轉(zhuǎn) 換檢測技術(shù)在所述幀序列內(nèi)識別發(fā)生場景轉(zhuǎn)換的時間位置。特定來說，預(yù)處理器20接收所述序列的多個幀。預(yù)處理器20可自媒體源18 (圖 1)接收所述序列的多個幀。在某些情形中，例如當(dāng)媒體源18為廣播經(jīng)編碼數(shù)字視頻序列的 視頻內(nèi)容提供者時，所述幀可為經(jīng)譯碼幀。舉例來說，編碼裝置12可包含解碼器(圖2中 未顯示)，其在將所述幀提供給預(yù)處理器20之前對所述序列的幀進(jìn)行解碼。所述解碼器可 將所述幀解碼為像素域以用于由預(yù)處理器20執(zhí)行的操作。在其它情形下，例如當(dāng)媒體源18 為數(shù)碼攝錄機(jī)時，所述幀可為原始像素?cái)?shù)據(jù)的幀。對于每一幀來說，預(yù)處理器20可基于與像素位置相關(guān)聯(lián)的像素值來將幀的像素 位置分類為一個或一個以上群組(有時稱作箱)。如本文中所用，術(shù)語“像素值”是指界定 像素位置處的像素的光亮度及/或色彩的信息。例如，在YcbCr色彩空間的情形中，像素值 可由亮度(Y)值與兩個色度值Cb及Cr來表示，所述亮度(Y)值表示像素的強(qiáng)度且所述兩 個色度值Cb及Cr分別表示藍(lán)色及紅色支配色彩分量。在此情形中，預(yù)處理器20可基于與 像素位置相關(guān)聯(lián)的亮度值來分類所述像素位置。在某些其它情形中，預(yù)處理器20可給亮度 值增添一個或一個以上色度通道值以便基于像素值來分類像素位置。另一方面，在RGB色 彩空間的情形中，像素值可由紅色(R)通道值、綠色(G)通道值及藍(lán)色(B)通道值來表示， 所述紅色(R)通道值表示像素的紅色分量的強(qiáng)度，所述綠色(G)通道值表示像素的綠色分 量的強(qiáng)度且所述藍(lán)色(B)通道值表示像素的藍(lán)色分量的強(qiáng)度。在此情形中，預(yù)處理器20可 基于表示所述色彩空間的一個或一個以上通道的向量來分類像素位置。
在某些情形中，每一箱可對應(yīng)于所述可能像素值中的特定一者。在8-位灰度影像 的情形中，每一箱可對應(yīng)于介于0到255范圍中的值。換句話說，存在256個單獨(dú)的箱，每 一箱僅對應(yīng)于一個值。另一選擇為，所述箱可對應(yīng)于所述可能像素值的子組。舉例來說，每 一箱可對應(yīng)于特定數(shù)量的連續(xù)像素值，例如，64個箱各自對應(yīng)于4個連續(xù)像素值。盡管針對 使用8位灰階來表示每一像素進(jìn)行描述，但可使用更多或更少箱來表示像素。盡管在上述 實(shí)例中預(yù)處理器20是針對每一幀對像素位置進(jìn)行分類，但預(yù)處理器20可僅針對所述幀的 子組將像素位置分類成群組。例如，預(yù)處理器20可每隔一個幀、每隔兩個幀或針對所述幀 的某一其它部分對像素分布進(jìn)行分類及/或分析。預(yù)處理器20可產(chǎn)生經(jīng)處理直方圖數(shù)據(jù)序列，即時間系列，所述序列使用對應(yīng)于中 間范圍的可能像素值的群組/箱來表示具有中間范圍像素值的像素位置在多個幀上的分 布。在一個方面中，所述經(jīng)處理直方圖數(shù)據(jù)系列可顯示具有中間范圍的可能像素值內(nèi)的像 素值的像素位置在所述多個幀上的數(shù)量變化。換句話說，所述經(jīng)處理直方圖數(shù)據(jù)系列可圖 解說明具有中間范圍像素值的像素位置的數(shù)量如何隨時間變化。在一個實(shí)例中，預(yù)處理器 20可產(chǎn)生經(jīng)處理直方圖數(shù)據(jù)系列，所述系列表示具有介于60與140之間且更優(yōu)選地介于 80與120之間像素值的像素位置的分布。然而，此范圍僅僅是實(shí)例性的。預(yù)處理器20可產(chǎn) 生經(jīng)處理直方圖數(shù)據(jù)系列，所述系列表示具有其它范圍內(nèi)的像素值的像素位置的分布。
預(yù)處理器20的轉(zhuǎn)換檢測模塊26分析像素值在所述多個幀上的分布以檢測所述序 列內(nèi)的場景轉(zhuǎn)換的位置。在一個方面中，轉(zhuǎn)換檢測模塊26分析像素值在所述多個幀上的分 布以識別在具有中間范圍的可能像素值內(nèi)的值的像素位置的數(shù)量上具有顯著暫時增加的 時間位置(時間間隔)。此短期增加指示轉(zhuǎn)換。例如，在淡入或淡出期間，顯著數(shù)量的像素 位置可明顯地增加或減少光亮度。在任一情形中，所述像素值可在所述中間范圍中從亮轉(zhuǎn) 換到暗或從暗轉(zhuǎn)換到亮。作為一實(shí)例，在從均勻黑色屏幕到場景的淡入期間，顯著數(shù)量的像 素位置因從黑色(即，小亮度像素值)至與增加的光亮度對應(yīng)的像素值的像素位置改變而 增加光亮度。在此從小亮度像素值轉(zhuǎn)換為中等或大亮度像素值期間，顯著數(shù)量的像素在中 間范圍的亮度像素值中轉(zhuǎn)換。同樣，在淡出為均勻黑色屏幕期間，顯著數(shù)量的像素通過在光 亮度減少期間在中間范圍的亮度像素值中轉(zhuǎn)換而顯著地減少光亮度至所述均勻黑色屏幕。 因此，轉(zhuǎn)換的此一特性是在一系列兩個或兩個以上位于場景轉(zhuǎn)換處或附近的連續(xù)幀上具有 中間范圍的可能像素值內(nèi)的值的像素位置的數(shù)量的明顯增力口。盡管于上述實(shí)例中使用了亮 度(Y通道)像素值，但可使用其它色彩通道像素值對轉(zhuǎn)換的檢測進(jìn)行補(bǔ)充及輔助，例如表 示兩個或兩個以上色彩通道值(例如，RGB色彩通道值)的像素強(qiáng)度向量。在每一情形中， 所述亮度或強(qiáng)度向量一般來說指示像素的光亮度的等級或像素的光亮度與色彩的組合?？苫趫鼍稗D(zhuǎn)換的性質(zhì)來進(jìn)一步圖解說明此特性，如下文所描述。以下是描述軟 轉(zhuǎn)換的模型方程式ρ (m+k, (X，y)) = {α (k) ρ (m，(χ, y))} + { (1_ α (k))p (m+n, (x，y))}(1)其中在分辨率為320x240 的情形中，k e {0、1、···、η}，(χ, y) e {1、2、· · ·、320}
x{l、2.....240}，(χ表示兩個集的笛卡爾乘積)，p(i，(x,y))表示幀i (時刻i)及位置(x，
y)中的像素強(qiáng)度值，m是此后即刻開始交叉淡變的時刻，η是在此期間交叉淡變發(fā)生且結(jié)束 的時間間隔長度，α (k)是k的非增加(例如，減小)函數(shù)，其中α (0) = 1且α (η) =0?？蓪⑾袼匚恢玫恼麄€集{(x,y)|(x，y) e {1,2，…，320}χ{1,2，…，240}}分類成以下三種可能子組中的一者1. ￡t= i(X,y)|p(m，(x，y)) p(QH"n,(x,y)>丨(明顯增加的像素值位置)2. ￡1= {(x,y> I p(m,(x，y)_) p(m+n,(x>y))}(明顯減少的像素值位置)3. ^= i(x，y) I p(m，(x，y))sp(m+n,(x,y))}(相對穩(wěn)定的像素值位置)其中p(m，(χ, y))對應(yīng)于位于(x，y)處的像素在此后即刻開始交叉淡變的時刻時 的值，且P(m+n，(x,y))對應(yīng)于位于(x，y)處的像素在結(jié)束交叉淡變的時刻時的值。(x，y) 是顯示器上的像素位置。子組1-3滿足以下兩個條件
￡t η = 0,￡ι η = 0,￡τ η = 0.可通過如下劃定差(p(m，(χ, y))-p(m+n, (χ, y)))的絕對值的上限來達(dá)成以上分 類|p(m，(χ, y))-p (m+n, (χ, y))彡 T，其中閾值 T >0。此意指當(dāng)像素位置(X，y)滿足以上不等式時，則將認(rèn)為此像素位置隸屬于相對穩(wěn) 定的像素值位置的子組^。否則，即，如果像素位置(X，y)不滿足以上不等式，則此像素位 置將包含于島中(如果‘P(m，(x，y)) >p(m+n, (x，y))’)或包含于灼中(如果‘p(m，(χ, y)) <p(m+n, (x，y))’)?？稍诜秶鶾20，...，40]中選擇值作為閾值T，例如30。當(dāng)在像素強(qiáng)度值上經(jīng)歷明顯增加或明顯減少的像素位置的數(shù)量 為顯著(例如IfTU A| = I^tI +丨負(fù)丨對應(yīng)于μ丨的充足大分?jǐn)?shù)或等效地
=(|￡τ| + \￡ι\)Ι\￡\乏工，其中J為閾值)時，作為所述轉(zhuǎn)換的結(jié)果，充足 大數(shù)量的像素位置在所述像素值上經(jīng)歷充足大的擺動。在一個實(shí)例中，可將閾值 Γ設(shè)定為 0. 30。子組釙將引發(fā)從對應(yīng)于小像素值的箱朝向?qū)?yīng)于較大像素值的箱的概率質(zhì)量轉(zhuǎn)移。 以類似方式，基于其定義，集負(fù)將引發(fā)從對應(yīng)于大像素值的箱朝向?qū)?yīng)于較小像素值的箱 的概率質(zhì)量轉(zhuǎn)移。在任一方向轉(zhuǎn)移的概率質(zhì)量將必須穿過與中間范圍像素值相關(guān)聯(lián)的箱， 簡言之，即在一短期內(nèi)占據(jù)這些箱且導(dǎo)致此中間范圍的箱中的暫時概率質(zhì)量堆積。中間范 圍像素值的箱中的此短期暫時概率質(zhì)量堆積可表示軟轉(zhuǎn)換的發(fā)生。轉(zhuǎn)換檢測模塊26可經(jīng) 配置以檢測此概率質(zhì)量堆積從而識別軟轉(zhuǎn)換的發(fā)生。換句話說，轉(zhuǎn)換檢測模塊26可在具有所監(jiān)測中間范圍的像素值內(nèi)的像素值的像 素位置的數(shù)量上經(jīng)歷顯著暫時增加時檢測漸進(jìn)場景轉(zhuǎn)換。例如，轉(zhuǎn)換檢測模塊26可在具有 所監(jiān)測中間范圍內(nèi)的像素值的像素位置的數(shù)量在短期時間周期內(nèi)超過閾值時檢測轉(zhuǎn)換。所 述閾值可以是以靜態(tài)方式配置的值。例如，轉(zhuǎn)換檢測模塊26可在具有所監(jiān)測中間范圍內(nèi)的 像素值的像素位置的數(shù)量在30個或更少個幀上展現(xiàn)大于或等于所述像素位置的20%或者 大于或等于所述像素位置的30%的增加或類似增加時檢測轉(zhuǎn)換。在分辨率為320x240的情 形中，所述閾值可等于30，000 (其對應(yīng)于所述像素位置的大約40% )。另一選擇為，所述閾 值可以是以統(tǒng)計(jì)方式推論出的動態(tài)值，其是依據(jù)若干連續(xù)幀上在不同箱范圍內(nèi)的平均箱計(jì) 數(shù)所確定。例如，轉(zhuǎn)換檢測模塊26可在具有所監(jiān)測中間范圍內(nèi)的像素值的像素位置的數(shù)量 增加先前30個幀上的平均中間范圍箱計(jì)數(shù)的50%時檢測轉(zhuǎn)換。上述轉(zhuǎn)換檢測技術(shù)針對多個幀分析像素值在整個幀上的分布。然而，所述技術(shù)可 應(yīng)用于幀的多個區(qū)段而非整個幀。例如，在針對整個場景未檢測到轉(zhuǎn)換時，預(yù)處理器20可使用上述技術(shù)來檢測所述場景僅一部分內(nèi)的轉(zhuǎn)換。例如，在新聞廣播期間，所述場景的左上 部分可轉(zhuǎn)換為新場景，所述新場景顯示新聞節(jié)目主持人正談?wù)摰男侣勈录溺R頭的圖像。 于此情形中，預(yù)處理器20可將所述場景分割成片段并分析多個幀的對應(yīng)片段的像素值以 檢測所述場景的區(qū)段中的轉(zhuǎn)換。因而，所述幀的區(qū)段可僅包含所述幀的區(qū)塊子組。轉(zhuǎn)換檢測模塊26可給編碼器22提供關(guān)于檢測到的轉(zhuǎn)換的位置的信息。編碼器22 可至少基于轉(zhuǎn)換的經(jīng)識別位置來確定用于對每一幀或所述幀的區(qū)塊進(jìn)行編碼的譯碼技術(shù)。 例如，編碼器22可決定不將所述候選幀譯碼成P幀，這是因?yàn)樗鰩前瑏碜砸粋€以上 場景的內(nèi)容的轉(zhuǎn)換的一部分。相反，編碼裝置12可確定(例如)使用加權(quán)雙向預(yù)測譯碼來 將所述候選幀譯碼成B幀，以包含來自兩個場景的內(nèi)容。準(zhǔn)確確定用于對幀進(jìn)行譯碼的譯 碼技術(shù)類型減少所需的編碼位速率、能夠有效地壓縮所述幀及更好地處置視頻轉(zhuǎn)換。編碼器22根據(jù)選定的編碼技術(shù)對所述幀或區(qū)塊進(jìn)行編碼并經(jīng)由發(fā)射器24發(fā)射經(jīng) 編碼的幀。發(fā)射器24可包含適當(dāng)?shù)恼{(diào)制解調(diào)器及驅(qū)動器硬件、軟件及/或固件以經(jīng)由網(wǎng) 絡(luò)16(圖1)發(fā)射經(jīng)編碼的視頻。在某些情形中，編碼裝置12可包含互逆發(fā)射及接收電路， 使得每一電路可充當(dāng)經(jīng)由網(wǎng)絡(luò)16發(fā)射的經(jīng)編碼視頻及其它信息的發(fā)射裝置及接收裝置兩 者。換句話說，可將編碼裝置12的所圖解說明的組件集成為編碼器/解碼器(CODEC)的一 部分。在某些方面中，編碼裝置12可對在時間周期內(nèi)接收的幀進(jìn)行編碼、組合及發(fā)射。 例如，在某些視頻譯碼系統(tǒng)中，將多個視頻數(shù)據(jù)幀一起編組成視頻數(shù)據(jù)片段(有時稱作“超 幀”)。如本文中所用，術(shù)語“超幀”是指在時間周期或窗口內(nèi)所收集以形成數(shù)據(jù)片段的幀群 組。在利用FLO技術(shù)的譯碼系統(tǒng)中，所述超幀可包括可額定地具有30個幀的一秒數(shù)據(jù)片段。 預(yù)處理器20可分析所述數(shù)據(jù)片段的幀，例如，在FLO情形中，為30個幀的群組。在此情形 中，預(yù)處理器20可僅檢測大致發(fā)生于一個超幀內(nèi)的場景轉(zhuǎn)換。換句話說，可能難以檢測發(fā) 生于多個數(shù)據(jù)片段上的轉(zhuǎn)換。然而，超幀可包含任一數(shù)量的幀。也可利用所述技術(shù)來對其 它數(shù)據(jù)片段進(jìn)行編碼、組合及發(fā)射，例如用于在不同時間周期內(nèi)接收的數(shù)據(jù)片段(所述時 間周期可為或可不為固定時間周期)，或用于個別數(shù)據(jù)幀或幀集。換句話說，可界定超幀以 覆蓋大于或小于一秒的周期的時間間隔，或甚至可變的時間間隔。注意，本發(fā)明通篇中，特 定視頻數(shù)據(jù)片段(例如，類似于超幀的概念)是指特定大小及/或時長的任一視頻數(shù)據(jù)塊。在編碼裝置12中，可個別實(shí)施前述技術(shù)，或可一起實(shí)施此類技術(shù)中的兩者或兩者 以上或所有此類技術(shù)。編碼裝置12中的組件為可應(yīng)用于實(shí)施本文中所述技術(shù)的那些組件 的實(shí)例。然而，如果需要，編碼裝置12可包含許多其它組件，以及組合一個或一個以上上述 模塊的功能的更少組件。編碼裝置12中的組件可至少部分地通過處理器來實(shí)施。術(shù)語處 理器可用于指代各種處理裝置中的任一者，包含一個或一個以上處理器，例如通用微處理 器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA，也稱為現(xiàn)場可 編程邏輯陣列FPLA)或離散邏輯、軟件、硬件、固件或其任一組合。將不同的特征繪示成模 塊意在突出編碼裝置12的不同功能方面且未必暗示必須通過分離的硬件或軟件組件來實(shí) 現(xiàn)這些模塊。而是，可將與一個或一個以上模塊相關(guān)聯(lián)的功能集成于共同或分離的硬件或 軟件組件內(nèi)。圖3是流程圖，其圖解說明編碼裝置(例如圖2的編碼裝置12)利用本發(fā)明的轉(zhuǎn) 換檢測技術(shù)的實(shí)例性操作。預(yù)處理器20從圖1的媒體源18接收數(shù)字視頻序列的多個幀(30)。預(yù)處理器20基于與像素位置相關(guān)聯(lián)的像素值將每一幀的像素位置分類為一個或一 個以上群組(例如，箱)(32)。如上所述，所述像素值可為表示相應(yīng)像素位置處的像素的光 亮度及/或色彩的標(biāo)量像素值。例如，用于本發(fā)明技術(shù)的像素值可為亮度(Y通道)像素值。 另一選擇為，所述像素值可為表示兩個或兩個以上像素信息通道的強(qiáng)度向量。在某些情形 中，可預(yù)先確定此分類。在某些其它情形中，所述分類方案可動態(tài)地改變以適應(yīng)視頻信號的 變化的性質(zhì)。預(yù)處理器20可產(chǎn)生表示像素值在多個幀上的分布的直方圖數(shù)據(jù)(34)。在一個方 面中，可處理所述直方圖以產(chǎn)生概率值的序列，所述概率值的序列指示在所述多個幀上具 有中間范圍的可能像素值內(nèi)的像素值的像素位置的數(shù)量。換句話說，可處理所述直方圖以 圖解說明具有中間范圍像素值的像素位置的概率如何隨時間變化。轉(zhuǎn)換檢測模塊26分析像素值在所述多個幀上的分布以確定具有所述中間范圍的 可能像素值內(nèi)的值的像素位置的數(shù)量是否存在顯著暫時增加(36)。轉(zhuǎn)換檢測模塊26可分 析像素值在超幀上(例如，在30個幀上)的分布。例如，轉(zhuǎn)換檢測模塊26可確定具有所監(jiān) 測中間范圍內(nèi)的像素值的像素位置的數(shù)量是否在一系列幀上經(jīng)歷超過閾值(例如，所述像 素位置的30%)的暫時增加。轉(zhuǎn)換檢測模塊26可分析所述系列的每一幀或僅分析所述系 列的一部分幀(例如，每隔一個幀)。當(dāng)轉(zhuǎn)換檢測模塊26確定具有所述中間范圍的可能像 素值內(nèi)的值的像素的數(shù)量不存在顯著暫時增加時，轉(zhuǎn)換檢測模塊26確定所分析的多個幀 內(nèi)不存在轉(zhuǎn)換(38)。
當(dāng)轉(zhuǎn)換檢測模塊26確定具有所述中間范圍的可能像素值內(nèi)的值的像素的數(shù)量存 在顯著暫時增加(例如，具有中間范圍像素值的像素位置的數(shù)量經(jīng)歷超過所述閾值的暫時 增加)時，轉(zhuǎn)換檢測模塊26確定所分析的多個幀內(nèi)存在轉(zhuǎn)換(40)。編碼裝置12至少基于 所述多個幀中是否存在轉(zhuǎn)換的確定來選擇用于對每一幀或所述幀的區(qū)塊進(jìn)行編碼的譯碼 技術(shù)(42)。例如，在檢測到轉(zhuǎn)換時，編碼裝置12可確定(例如)使用加權(quán)雙向預(yù)測譯碼來 將候選幀譯碼成B幀。將所述候選幀譯碼成B幀允許經(jīng)譯碼幀包含先前幀及后續(xù)幀兩者的 目標(biāo)物，因而允許在場景之間更平滑地轉(zhuǎn)換。另一選擇為，編碼裝置12可在未檢測到轉(zhuǎn)換 時確定應(yīng)將所述候選幀譯碼成P幀。將所述幀譯碼成P幀允許僅利用先前參考，因而減少 編碼的復(fù)雜性同時仍令人滿意地減少所述經(jīng)譯碼幀所利用的帶寬的量。編碼器22根據(jù)選 定的編碼技術(shù)對所述幀或區(qū)塊進(jìn)行編碼并發(fā)射所述經(jīng)編碼幀(44)。圖4是流程圖，其圖解說明編碼裝置(例如圖2的編碼裝置12)在場景區(qū)段內(nèi)檢 測場景轉(zhuǎn)換的實(shí)例性操作。預(yù)處理器20從圖1的媒體源18接收數(shù)字視頻序列的多個幀 (50)。預(yù)處理器20基于與像素位置相關(guān)聯(lián)的像素值將每一幀的像素位置分類為一個或一 個以上群組(例如，箱)(52)。預(yù)處理器20產(chǎn)生表示整個場景的像素值在多個幀上的分布 的直方圖數(shù)據(jù)(54)。在一個方面中，可處理所述直方圖以產(chǎn)生概率值的序列，所述概率值的 序列指示在所述多個幀上具有中間范圍的可能像素值內(nèi)的像素值的像素位置的數(shù)量。換句 話說，可處理所述直方圖數(shù)據(jù)以圖解說明具有中間范圍像素值的像素位置的數(shù)量如何隨時 間變化。轉(zhuǎn)換檢測模塊26分析像素值在所述多個幀上的分布以確定在所述整個場景上具 有中間范圍的可能像素值內(nèi)的值的像素位置的數(shù)量是否存在顯著暫時增加(56)。當(dāng)轉(zhuǎn)換檢 測模塊26確定具有所述中間范圍的可能像素值內(nèi)的值的像素位置的數(shù)量存在顯著暫時增加時，轉(zhuǎn)換檢測模塊26確定所述整個場景已發(fā)生了場景轉(zhuǎn)換(58)。換句話說，所述場景轉(zhuǎn) 換是所述整個場景從一個場景到另一個場景的轉(zhuǎn)換。當(dāng)轉(zhuǎn)換檢測模塊26確定具有中間范圍的可能像素值內(nèi)的值的像素的數(shù)量不存在 顯著暫時增加時，轉(zhuǎn)換檢測模塊26確定在所述幀內(nèi)不存在整個場景的轉(zhuǎn)換(60)。預(yù)處理器 20產(chǎn)生表示所述場景的區(qū)段的像素值在多個幀上的分布的直方圖數(shù)據(jù)(62)。在一個方面 中，所述場景的所述區(qū)段可對應(yīng)于所述幀的一個或一個以上相鄰區(qū)塊。例如，所述場景的所 述區(qū)段可為所述幀的對應(yīng)于所述幀的拐角的區(qū)塊。轉(zhuǎn)換檢測模塊26分析所述場景的所述區(qū)段的像素值的分布以確定在所述場景的 所述區(qū)段上具有所述中間范圍的可能像素值內(nèi)的值的像素位置的數(shù)量是否存在顯著暫時 增加(64)。當(dāng)轉(zhuǎn)換檢測模塊26確定具有所述中間范圍的可能像素值內(nèi)的值的像素位置的 數(shù)量存在顯著暫時增加(例如，具有中間范圍值的像素位置的數(shù)量經(jīng)歷超過所有像素位置 的數(shù)量的30%的暫時增加)時，轉(zhuǎn)換檢測模塊26確定在所述場景的所述區(qū)段內(nèi)發(fā)生場景轉(zhuǎn) 換(66)。換句話說，所述場景轉(zhuǎn)換僅是所述幀的所述場景的一部分的轉(zhuǎn)換。當(dāng)轉(zhuǎn)換檢測模塊26確定具有所述中間范圍的可能像素值內(nèi)的值的像素的數(shù)量不 存在顯著暫時增加時，轉(zhuǎn)換檢測模塊26確定所述幀的所述場景的所述區(qū)段中不存在場景 轉(zhuǎn)換(68)。轉(zhuǎn)換檢測模塊26確定是否分析所述場景的其它區(qū)段(70)。當(dāng)存在要分析的所 述場景的額外區(qū)段時，預(yù)處理器20產(chǎn)生表示所述場景的下一區(qū)段的中間范圍像素值在所 述幀上的分布的直方圖數(shù)據(jù)組并分析所述分布。當(dāng)不存在要分析的所述場景的更多額外區(qū)段或檢測到整個場景轉(zhuǎn)換時，編碼裝置 12至少基于是否存在場景轉(zhuǎn)換的確定來選擇用于對所述幀或區(qū)塊的至少一部分進(jìn)行編碼 的譯碼技術(shù)(72)。編碼裝置12可在分析所述幀的其它區(qū)塊時開始對所述幀的某些區(qū)塊進(jìn) 行編碼。另一選擇為，編碼裝置12可等待直到分析完所述幀的所有區(qū)塊，此后再對所述幀 的任一區(qū)塊進(jìn)行譯碼。當(dāng)檢測到整個場景轉(zhuǎn)換時，編碼裝置12可確定(例如，在檢測到轉(zhuǎn) 換時)使用加權(quán)雙向預(yù)測譯碼來將候選幀譯碼成B幀。當(dāng)場景轉(zhuǎn)換僅發(fā)生于所述場景的區(qū) 段中時，編碼裝置12可基于檢測到的轉(zhuǎn)換來確定僅用于所述區(qū)段的區(qū)塊的譯碼技術(shù)。編碼 器22根據(jù)選定的編碼技術(shù)對所述幀或區(qū)塊進(jìn)行編碼并發(fā)射所述經(jīng)編碼幀(74)。圖5是實(shí)例性經(jīng)處理直方圖數(shù)據(jù)圖表，其表示在一序列的多個幀上具有中間范圍 的像素值中的值的像素的數(shù)量。圖5中所圖解說明的像素值直方圖是基于像素值在特定序 列的YCbCr域中的分布。χ軸表示所述序列的多個幀的幀索引。圖5中的經(jīng)處理直方圖數(shù) 據(jù)顯示像素值在所述序列的300個幀上的分布。y軸表示具有所述中間范圍的可能像素值 中的像素值的像素的數(shù)量的總和。對于圖5中所圖解說明的實(shí)例來說，所述中間范圍的可 能像素值針對Y通道為介于像素強(qiáng)度值80與120之間且針對Cb及Cr通道為介于像素色 彩值72與112之間。然而，其它范圍的像素值可表示所述中間范圍的像素值。圖5中的經(jīng) 處理直方圖數(shù)據(jù)包含在[80、120]范圍中的Y通道直方圖部分和序列80、在[72、112]范圍 中的Cb通道直方圖部分和序列82及在[72、112]范圍中的Cr通道直方圖部分和序列84， 所述序列表示在所述序列的多個幀上具有相應(yīng)通道的中間范圍像素值的像素的數(shù)量。如上文詳細(xì)描述，轉(zhuǎn)換檢測模塊26 (圖2)可分析Y通道直方圖部分和序列80以 確定所述中間范圍內(nèi)的像素強(qiáng)度值的分布何時經(jīng)歷顯著暫時增加。在圖5中所圖解說明的 實(shí)例中，轉(zhuǎn)換檢測模塊26檢測幀索引65周圍及幀索引220周圍的位置處的轉(zhuǎn)換。在這些位置中，Y通道直方圖部分和序列80在具有中間范圍中的像素值的像素的數(shù)量上展現(xiàn)顯著 增加，繼而在具有中間范圍中的像素值的像素的數(shù)量上展現(xiàn)顯著減少。此類模式可指示交 叉淡變的轉(zhuǎn)換。盡管僅使用Y通道(即，強(qiáng)度)直方圖部分和序列80來檢測圖5中所示實(shí)例中的 轉(zhuǎn)換，但轉(zhuǎn)換檢測模塊26也可使用并入有強(qiáng)度像素值及一個或一個以上Cb及Cr通道的像 素值向量來檢測所述轉(zhuǎn)換。此外，當(dāng)在RGB色彩空間中分析所述像素值時，轉(zhuǎn)換檢測模塊26 可使用單個色彩通道的像素值或兩個或兩個以上色彩通道的向量。
圖6是另一實(shí)例性經(jīng)處理直方圖數(shù)據(jù)圖表，其表示在一序列的多個幀上具有中間 范圍的像素值中的值的像素的數(shù)量。圖6中所圖解說明的像素值直方圖是基于像素值在特 定序列的YCbCr域中的分布。χ軸表示所述序列的多個幀的幀索引。圖6中的經(jīng)處理直方 圖數(shù)據(jù)顯示像素值在所述序列的300個幀上的分布。y軸表示具有所述中間范圍的可能像 素值中的像素值的像素的數(shù)量的總和。對于圖6中所圖解說明的實(shí)例來說，所述中間范圍 的可能像素值針對Y通道為介于像素強(qiáng)度值80與120之間且針對Cb及Cr通道為介于像 素色彩值72與112之間。圖6中的經(jīng)處理直方圖數(shù)據(jù)包含在[80、120]范圍中的Y通道直 方圖部分和序列90、在[72、112]范圍中的Cb通道直方圖部分和序列92及在[72、112]范 圍中的Cr通道直方圖部分和序列94，所述序列表示在所述序列的多個幀上具有相應(yīng)通道 的中間范圍像素值的像素的數(shù)量。如上文詳細(xì)描述，轉(zhuǎn)換檢測模塊26 (圖2)可分析Y通道直方圖部分和序列90以 確定所述中間范圍內(nèi)的像素強(qiáng)度值的分布何時經(jīng)歷顯著暫時增加。在圖6中所圖解說明的 實(shí)例中，轉(zhuǎn)換檢測模塊26檢測幀索引90周圍及幀索引255周圍的位置處的轉(zhuǎn)換。在這些 位置中，Y通道直方圖部分和90在具有該中間范圍中的像素值的像素的數(shù)量上展現(xiàn)顯著增 力口，繼而在具有中間范圍中的像素值的像素的數(shù)量上展現(xiàn)顯著減少。此類模式可指示交叉 淡變的轉(zhuǎn)換。盡管僅使用Y通道(即，強(qiáng)度)直方圖部分和序列90來檢測圖6中所示實(shí)例中的 轉(zhuǎn)換，但轉(zhuǎn)換檢測模塊26也可使用并入有多于一個的色通道的像素值向量來檢測所述轉(zhuǎn) 換。例如，當(dāng)在RGB色彩空間中分析所述像素值時，轉(zhuǎn)換檢測模塊26可使用單個色彩通道 的像素值或兩個或兩個以上色彩通道的向量。因此，所述像素值向量包含光亮度信息以及 色彩信息。基于本文所述的教示，應(yīng)了解，可不相依于任何其它方面來實(shí)施本文所揭示的一 個方面且可以各種方式來組合這些方面中的兩者或兩者以上?？稍谟布?、軟件、固件或其 任一組合中實(shí)施本文所述的技術(shù)。如果在硬件中實(shí)施所述技術(shù)，則可使用數(shù)字硬件、模擬 硬件或其組合來實(shí)現(xiàn)所述技術(shù)。如果在軟件中實(shí)施所述技術(shù)，則可至少部分地通過一個或 一個以上所存儲或所發(fā)射的指令或計(jì)算機(jī)程序產(chǎn)品來實(shí)現(xiàn)所述技術(shù)，所述計(jì)算機(jī)程序產(chǎn)品 包含其上存儲有一個或一個以上指令或代碼的計(jì)算機(jī)可讀媒體。與所述計(jì)算機(jī)程序產(chǎn)品 的計(jì)算機(jī)可讀媒體相關(guān)聯(lián)的指令或代碼可通過計(jì)算機(jī)來執(zhí)行，例如，通過一個或一個以上 處理器來執(zhí)行(例如一個或一個以上數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路 (ASIC)、現(xiàn)場可編程門陣列(FPGA，也稱為現(xiàn)場可編程邏輯陣列FPLSa)、或其它等效的集成 或離散邏輯電路)。因此，本發(fā)明也涵蓋各種集成電路裝置中的任一者，所述裝置包含實(shí)施 本發(fā)明中所述的一種或一種以上技術(shù)的電路。此種電路可提供于單個集成電路芯片中或提供于多個交互操作的集成電路芯片中。通過實(shí)例而非限制的方式，此類計(jì)算機(jī)可讀媒體可包括RAM，例如同步動態(tài)隨機(jī) 存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機(jī)存取存儲器(NVRAM)、可編程只讀 存儲器(PROM)、電可擦除可編程只讀存儲器(EEPROM)、可擦除可編程只讀存儲器(EPROM)、 FLASH存儲器、CD-ROM或其它光盤存儲器件、磁盤存儲器件或其它磁性存儲裝置，或任一其 它可用于以指令或數(shù)據(jù)結(jié)構(gòu)形式攜載或存儲所需的程序代碼且可由計(jì)算機(jī)存取的有形媒 體。已描述若干方面及實(shí)例。然而，也可對這些實(shí)例做各種修改，且本文所呈現(xiàn)的原理 也可應(yīng)用于其它方面。這些及其它方面均歸屬于以上權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
一種用于處理數(shù)字視頻數(shù)據(jù)的方法，其包括分析像素值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分布；及當(dāng)像素值的所述分布在具有中間范圍的可能像素值中的像素值的像素位置的數(shù)量上展現(xiàn)至少預(yù)定量的短期增加時，檢測所述序列內(nèi)的場景轉(zhuǎn)換。
2.如權(quán)利要求1所述的方法，其中檢測所述序列內(nèi)的所述場景轉(zhuǎn)換包括在具有所述中 間范圍的可能像素值中的像素值的像素位置的百分比在短期時間周期內(nèi)超過所述幀的像 素位置的總體數(shù)量的特定百分比時檢測所述序列內(nèi)的所述場景轉(zhuǎn)換。
3.如權(quán)利要求1所述的方法，其進(jìn)一步包括針對所述多個幀中的至少一子組所述幀，基于與所述像素位置相關(guān)聯(lián)的像素值，將所 述子組的幀的像素位置分類為群組；及使用所述群組中經(jīng)分類而對應(yīng)于所述中間范圍的可能像素值的像素位置的數(shù)量的總 和產(chǎn)生像素值在所述多個幀上的所述分布，其中直方圖數(shù)據(jù)指示具有中間范圍像素值的像 素位置的所述數(shù)量在所述多個幀上的變化。
4.如權(quán)利要求1所述的方法，其中分析像素值在所述多個幀上的所述分布包括針對所述幀內(nèi)的像素位置區(qū)段分析像素 值在所述多個幀上的所述分布；且檢測所述場景轉(zhuǎn)換包括在所述幀內(nèi)的所述像素位置區(qū)段的像素值的所述分布在具有 所述中間范圍的可能像素值中的像素值的像素位置的所述數(shù)量上在短期時間周期內(nèi)展現(xiàn) 至少預(yù)定量的短期增加時，檢測所述區(qū)段內(nèi)的所述場景轉(zhuǎn)換。
5.如權(quán)利要求1所述的方法，其進(jìn)一步包括至少基于所述檢測到的場景轉(zhuǎn)換選擇用于 對所述多個幀中的至少一者進(jìn)行編碼的譯碼技術(shù)。
6.如權(quán)利要求5所述的方法，其中選擇所述譯碼技術(shù)包括選擇用于所述檢測到的轉(zhuǎn)換 內(nèi)的幀的雙向譯碼技術(shù)。
7.如權(quán)利要求1所述的方法，其中分析像素值在所述多個幀上的所述分布包括分析強(qiáng) 度值與向量強(qiáng)度值及色彩值中的一者在所述多個幀上的分布。
8.如權(quán)利要求1所述的方法，其中檢測所述場景轉(zhuǎn)換包括檢測交叉淡變、淡入及淡出 中的一者。
9.如權(quán)利要求1所述的方法，其中在像素值的所述分布展現(xiàn)短期增加時檢測所述序 列內(nèi)的場景轉(zhuǎn)換包括在像素值的所述分布在具有中間范圍的可能像素值中的像素值的像 素位置的數(shù)量上在30個或更少個幀內(nèi)展現(xiàn)至少預(yù)定量的增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。
10.一種用于處理數(shù)字視頻數(shù)據(jù)的設(shè)備，其包括預(yù)處理器，其用于接收多個幀，其中所述預(yù)處理器包含轉(zhuǎn)換檢測模塊，其分析像素強(qiáng)度值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分布且在 像素值的所述分布在具有中間范圍的可能像素值中的像素值的像素位置的數(shù)量上展現(xiàn)至 少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。
11.如權(quán)利要求10所述的設(shè)備，其中所述轉(zhuǎn)換檢測模塊在具有所述中間范圍的可能像 素值中的像素值的像素位置的百分比超過所述幀的像素位置的總體數(shù)量的特定百分比時 檢測所述序列內(nèi)的所述場景轉(zhuǎn)換。
12.如權(quán)利要求10所述的設(shè)備，其進(jìn)一步包括編碼器，所述編碼器至少基于所述檢測 到的場景轉(zhuǎn)換選擇用于對所述多個幀中的至少一者進(jìn)行編碼的譯碼技術(shù)。
13.如權(quán)利要求10所述的設(shè)備，其中所述轉(zhuǎn)換檢測模塊在像素值的所述分布在具有中 間范圍的可能像素值中的像素值的像素位置的數(shù)量上在30個或更少個幀內(nèi)展現(xiàn)至少預(yù)定 量的增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。
14.如權(quán)利要求10所述的設(shè)備，其中所述設(shè)備包括無線通信裝置手持機(jī)，所述手持機(jī) 進(jìn)一步包括編碼器，其對所述序列的所述幀進(jìn)行編碼；及發(fā)射器，其發(fā)射所述經(jīng)編碼幀。
15.一種用于處理數(shù)字視頻數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，其包括上面具有指令的計(jì)算機(jī)可 讀媒體，所述指令包括用于分析像素值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分布的代碼；及用于在像素值的所述分布在具有中間范圍的可能像素值中的像素值的像素位置的數(shù) 量上展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換的代碼。
16.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其中用于檢測所述序列內(nèi)的所述場景轉(zhuǎn)換 的代碼包括用于在具有所述中間范圍的可能像素值中的像素值的像素位置的百分比超過 所述幀的像素位置的總體數(shù)量的特定百分比時檢測所述序列內(nèi)的所述場景轉(zhuǎn)換的代碼。
17.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括用于針對所述多個幀中的至少一子組的所述幀而基于與所述像素位置相關(guān)聯(lián)的像素 值將所述子組的幀的像素位置分類為群組的代碼；及用于使用所述群組中經(jīng)分類而對應(yīng)于所述中間范圍的可能像素值的像素位置的數(shù)量 的總和產(chǎn)生像素值在所述多個幀上的所述分布的代碼，其中直方圖數(shù)據(jù)指示具有中間范圍 像素值的像素位置的所述數(shù)量在所述多個幀上的變化。
18.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其中用于分析像素值在所述多個幀上的所述分布的代碼包括用于針對所述幀內(nèi)的像素位 置區(qū)段分析像素值在所述多個幀上的所述分布的代碼；且用于檢測所述場景轉(zhuǎn)換的代碼包括用于在所述幀內(nèi)的所述像素位置區(qū)段的像素值的 所述分布在具有所述中間范圍的可能像素值中的像素值的像素位置的所述數(shù)量上展現(xiàn)至 少預(yù)定量的短期增加時檢測所述區(qū)段內(nèi)的所述場景轉(zhuǎn)換的代碼。
19.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其進(jìn)一步包括用于至少基于所述檢測到的 場景轉(zhuǎn)換選擇用于對所述多個幀中的至少一者進(jìn)行編碼的譯碼技術(shù)的代碼。
20.如權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其中用于選擇所述譯碼技術(shù)的代碼包括用 于選擇用于所述檢測到的轉(zhuǎn)換內(nèi)的幀的雙向譯碼技術(shù)的代碼。
21.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其中用于在像素值的所述分布展現(xiàn)短期增 加時檢測所述序列內(nèi)的場景轉(zhuǎn)換的代碼包括用于在像素值的所述分布在具有中間范圍的 可能像素值中的像素值的像素位置的數(shù)量上在30個或更少個幀內(nèi)展現(xiàn)至少預(yù)定量的增加 時檢測所述序列內(nèi)的場景轉(zhuǎn)換的代碼。
22.一種用于處理數(shù)字視頻數(shù)據(jù)的設(shè)備，其包括用于分析像素值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分布的裝置；及用于在像素值的所述分布在具有中間范圍的可能像素值中的像素值的像素位置的數(shù) 量上展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換的裝置。
23.如權(quán)利要求22所述的設(shè)備，其中所述檢測裝置在具有所述中間范圍的可能像素值 中的像素值的像素位置的百分比超過所述幀的像素位置的總體數(shù)量的特定百分比時檢測 所述序列內(nèi)的所述場景轉(zhuǎn)換。
24.如權(quán)利要求22所述的設(shè)備，其中所述檢測裝置在像素值的所述分布在具有中間范 圍的可能像素值中的像素值的像素位置的數(shù)量上在30個或更少個幀內(nèi)展現(xiàn)至少預(yù)定量的 增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。
25.一種用于處理數(shù)字視頻數(shù)據(jù)的集成電路裝置，其包括至少一個處理器，所述至少一 個處理器經(jīng)配置以分析像素強(qiáng)度值在所述數(shù)字視頻數(shù)據(jù)的序列的多個幀上的分布；及在像素值的所述分布在具有中間范圍的可能像素值中的像素值的像素位置的數(shù)量上 展現(xiàn)至少預(yù)定量的短期增加時檢測所述序列內(nèi)的場景轉(zhuǎn)換。
全文摘要
本發(fā)明描述用于檢測數(shù)字視頻序列中的場景轉(zhuǎn)換的技術(shù)。編碼裝置可(例如)分析像素值在多個幀上的分布以檢測發(fā)生所述場景轉(zhuǎn)換的位置。特定來說，所述編碼裝置分析具有中間范圍的可能像素值中的值的像素位置的分布以在所述多個幀中識別在具有中間范圍像素值的像素位置的數(shù)量上經(jīng)歷顯著短期增加的位置。在具有所述中間范圍的可能像素值中的像素值的像素位置的所述數(shù)量上的顯著短期增加指示軟轉(zhuǎn)換。以此方式，通過在所述多個幀內(nèi)識別在具有中間范圍像素值的像素位置的所述數(shù)量上具有顯著短期增加的位置來檢測漸進(jìn)場景轉(zhuǎn)換的發(fā)生。
文檔編號H04N5/14GK101836431SQ200880112765
公開日2010年9月15日 申請日期2008年10月30日 優(yōu)先權(quán)日2007年10月30日
發(fā)明者劉方, 塞伊富拉·哈利特·奧古茲, 帕尼庫馬爾·巴米蒂帕提, 阿米特·羅哈吉 申請人:高通股份有限公司