專利名稱：一種視頻場(chǎng)景切換檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻場(chǎng)景切換的檢測(cè)方法，屬于視頻壓縮處理技術(shù)領(lǐng)域。
背景技術(shù)：
在一段視頻序列頻繁地出現(xiàn)場(chǎng)景切換的情況下，會(huì)造成編碼質(zhì)量下降，并增加了大量的算法復(fù)雜度。當(dāng)場(chǎng)景切換幀為I幀時(shí)，由于I幀中的宏塊全部應(yīng)用幀內(nèi)編碼模式，場(chǎng)景切換不會(huì)對(duì)其編碼質(zhì)量帶來不利影響；如果為B幀，由于B幀采取雙向預(yù)測(cè)模式，即使存在場(chǎng)景切換，前后兩個(gè)參考幀只要有一幀與當(dāng)前B幀為同一場(chǎng)景，就不會(huì)對(duì)當(dāng)前B幀的編碼帶來大的影響；但是如果場(chǎng)景切換發(fā)生在P幀，由于其參考幀為前一個(gè)I幀或者P幀，參考幀與當(dāng)前P幀處于不同的場(chǎng)景內(nèi)，導(dǎo)致當(dāng)前編碼P幀中絕大多數(shù)宏塊采取幀內(nèi)編碼方式，某些情況下，甚至全部的宏塊采用幀內(nèi)編碼模式。這樣不僅占用了本圖像組(以下簡(jiǎn)稱GOP)后續(xù)幀的碼率資源，同時(shí)無效的運(yùn)動(dòng)搜索也增加了編碼運(yùn)算復(fù)雜度，大大降低了視頻編碼性能。因此，在視頻編碼碼率控制技術(shù)的研究中設(shè)計(jì)快速有效的場(chǎng)景切換檢測(cè)算法具有重要的意義。
已有的場(chǎng)景切換檢測(cè)算法大致可以分為三類基于灰度值(gray-value-based)、基于邊緣輪廓(edge/contour-based)和基于運(yùn)動(dòng)(motion-based)。
基于灰度值的檢測(cè)算法基本思想是以參考幀圖像灰度值和當(dāng)前幀的差異作為判斷是否場(chǎng)景切換的依據(jù)，其中最典型的算法是比較兩幀圖像在灰度直方圖上的差異從而判斷是否有場(chǎng)景切換發(fā)生?；诨叶戎颠@一類的算法運(yùn)算復(fù)雜度比較低，但是在視頻對(duì)象的運(yùn)動(dòng)和場(chǎng)景切換之間容易誤判。
基于邊緣輪廓的檢測(cè)方法是根據(jù)對(duì)參考幀和當(dāng)前幀中相應(yīng)的物體邊緣輪廓進(jìn)行比較從而判斷是否有場(chǎng)景切換發(fā)生，這是由于場(chǎng)景切換時(shí)，前后兩幀圖像對(duì)應(yīng)物體的邊緣和輪廓是不同的。此類算法的主要步驟是提取圖像的邊緣輪廓。它可以有效地區(qū)分視頻對(duì)象的運(yùn)動(dòng)和突變場(chǎng)景切換，同時(shí)還可有效地檢測(cè)消融和淡入淡出等軟切換；但對(duì)于突變場(chǎng)景切換的檢測(cè)，相比基于灰度值的方法沒有性能上的優(yōu)越，且需要更大的運(yùn)算復(fù)雜度。
基于運(yùn)動(dòng)的場(chǎng)景切換算法的基本思想是場(chǎng)景切換前后視頻對(duì)象運(yùn)動(dòng)的不連續(xù)性，采用塊匹配(block-matching)的運(yùn)動(dòng)估計(jì)思想，以運(yùn)動(dòng)估計(jì)剩余殘差的均值作為是否有場(chǎng)景切換的依據(jù)。相關(guān)文獻(xiàn)指出，采用這種塊匹配的基于運(yùn)動(dòng)的算法，性能上并不比基于灰度值的算法優(yōu)越，歸其原因在于，可靠的運(yùn)動(dòng)估計(jì)算法遠(yuǎn)比場(chǎng)景切換檢測(cè)要復(fù)雜得多，在解決一個(gè)簡(jiǎn)單的問題中，采用了一個(gè)要比問題本身復(fù)雜得多的方法，這是得不償失的。
對(duì)于一種應(yīng)用于視頻碼率控制算法的場(chǎng)景切換檢測(cè)算法來說，對(duì)實(shí)時(shí)性的要求較高，這就要求算法復(fù)雜度應(yīng)該盡可能的低，顯然基于邊緣輪廓和基于運(yùn)動(dòng)的場(chǎng)景切換檢測(cè)算法都是不實(shí)際的，需要利用高效、低復(fù)雜度的方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種視頻場(chǎng)景切換檢測(cè)方法，通過場(chǎng)景檢測(cè)、判斷得到場(chǎng)景切換的時(shí)刻，以指導(dǎo)切換后的圖像幀編碼模式的選擇，省略不必要的運(yùn)動(dòng)估計(jì)步驟，從而降低運(yùn)算復(fù)雜度，并提高編碼效率。
本發(fā)明提出的視頻場(chǎng)景切換檢測(cè)方法，包括以下步驟(1)若當(dāng)前幀為視頻序列的第一幀或新場(chǎng)景的第一幀，設(shè)當(dāng)前幀在當(dāng)前場(chǎng)景中的編號(hào)為k，則k＝1，計(jì)算當(dāng)前幀亮度和色度三個(gè)分量的均值mean(Si，Y)、mean(Si，U)、mean(Si，V)mean(Si,Y)=1H×WΣh=0H-1Σw=0W-1Si,Y(h,w)]]>mean(Si,U)=4H×WΣh=0H/2-1Σw=0W/2-1Si,U(h,w)]]>mean(Si,V)=4H×WΣh=0H/2-1Σw=0W/2-1Si,V(h,w)]]>其中，Si，Y(h，w)、Si，U(h，w)和Si，V(h，w)分別表示視頻序列中第i幀圖像中，坐標(biāo)為(h，w)像素的Y、U、V分量取值，H、W分別表示視頻序列Y分量的高和寬；(2)計(jì)算當(dāng)前場(chǎng)景內(nèi)前k幀的亮度和色度三個(gè)分量的均值meanY，meanU和meanVmeanY＝mean(Si，Y)meanU＝mean(Si，U)meanV＝mean(Si，V)若i＝n，n為視頻序列中的圖像幀數(shù)，即當(dāng)前幀為視頻序列的最后一幀，則結(jié)束循環(huán)，退出檢測(cè)，若i＜n，進(jìn)行下述步驟(3)；(3)使i＝i+1，讀取圖像數(shù)據(jù)，計(jì)算當(dāng)前幀的亮度和色度三個(gè)分量與前一幀亮度和色度三個(gè)分量均值差值的絕對(duì)值DY、DU、DVDY＝|mean(Si，Y)-mean(Si-1，Y)|DU＝|mean(Si，U)-mean(Si-1，U)|DV＝|mean(Si，V)-mean(Si-1，V)|(4)若DYmeanY+DUmeanU+DVmeanV≥M]]>和DY+DU+DV≥N兩個(gè)條件不能同時(shí)滿足，則無場(chǎng)景切換，若同時(shí)滿足，則有場(chǎng)景切換，并轉(zhuǎn)入步驟(1)，其中M，N分別為場(chǎng)景切換的判定閾值，M取值范圍為0.01～1.0，N取值范圍為1～100；(5)使k＝k+1；，計(jì)算當(dāng)前場(chǎng)景內(nèi)前k幀的亮度和色度三個(gè)分量的均值meanY，meanU和meanVmeanY=1k(meanY×(k-1)+mean(Si,Y))]]>meanU=1k(meanU×(k-1)+mean(Si,U)),]]>meanV=1k(meanV×(k-1)+mean(Si,V))]]>若i＜n，即當(dāng)前幀不是視頻序列最后一幀，則進(jìn)行步驟(3)，若i＝n，則結(jié)束循環(huán)，退出檢測(cè)。
本發(fā)明提出的視頻場(chǎng)景切換檢測(cè)方法，考察當(dāng)前幀和前一幀亮度和色度信息均值的差值，將差值與一個(gè)閾值比較，以判斷當(dāng)前幀相對(duì)于前一幀是否發(fā)生場(chǎng)景切換。在算法中，同時(shí)考察相對(duì)差值和絕對(duì)差值兩方面，因此降低了錯(cuò)誤檢測(cè)和漏檢測(cè)的幾率。
對(duì)場(chǎng)景切換方法可以從算法復(fù)雜度和檢出率、檢測(cè)精度三個(gè)方面進(jìn)行評(píng)價(jià)。其中檢出率(Recall)和檢測(cè)精度(Precise)定義如下recall=NcNc+Nm]]>precision=NcNc+Nf]]>其中Nc為正確檢測(cè)出的場(chǎng)景切換幀的數(shù)量，Nm為沒有檢測(cè)出的場(chǎng)景切換幀的數(shù)量，Nf為誤判為有場(chǎng)景切換幀的數(shù)量。利用本發(fā)明的方法，以中央電視臺(tái)新聞聯(lián)播、焦點(diǎn)訪談、東方時(shí)空、法制在線、質(zhì)量報(bào)告、經(jīng)濟(jì)半小時(shí)和新聞會(huì)客廳等節(jié)目源作為視頻測(cè)試序列進(jìn)行測(cè)試，本算法達(dá)到87％以上的檢出率和97％以上的檢測(cè)精度。另外，在算法復(fù)雜度評(píng)價(jià)中，由于本發(fā)明方法只計(jì)算每幀圖像的亮度和色度信息共三個(gè)均值，計(jì)算復(fù)雜度非常低，對(duì)于視頻編碼來說基本不增加運(yùn)算復(fù)雜度，能很好的滿足碼率控制對(duì)視頻場(chǎng)景切換檢測(cè)的要求。


圖1是本發(fā)明的視頻場(chǎng)景切換檢測(cè)方法的流程圖。
具體實(shí)施例方式
本發(fā)明提出的視頻場(chǎng)景切換檢測(cè)方法，其流程如圖1所示。
(1)若當(dāng)前幀為視頻序列的第一幀或新場(chǎng)景的第一幀，設(shè)當(dāng)前幀在當(dāng)前場(chǎng)景中的編號(hào)為k，則k＝1，計(jì)算當(dāng)前幀亮度和色度三個(gè)分量的均值mean(Si，Y)、mean(Si，U)、mean(Si，V)mean(Si,Y)=1H×WΣh=0H-1Σw=0W-1Si,Y(h,w)]]>mean(Si,U)=4H×WΣh=0H/2-1Σw=0W/2-1Si,U(h,w)]]>mean(Si,V)=4H×WΣh=0H/2-1Σw=0W/2-1Si,V(h,w)]]>其中，Si，Y(h，w)、Si，U(h，w)和Si，V(h，w)分別表示視頻序列中第i幀圖像中，坐標(biāo)為(h，w)像素的Y、U、V分量取值(Y、U、V均按無符號(hào)數(shù)讀取)，H、W分別表示視頻序列Y分量的高和寬。在YUV420格式中，U分量和V分量高和寬分別為Y分量高和寬的一半，上式以YUV420格式序列為例；對(duì)于YUV422和YUV444或其它格式視頻序列，只是U和V兩個(gè)色度分量與亮度分量的尺寸大小關(guān)系不一樣而已。
(2)計(jì)算當(dāng)前場(chǎng)景內(nèi)前k幀的亮度和色度三個(gè)分量的均值meanY，meanU和meanVmeanY＝mean(Si，Y)meanU＝mean(Si，U)meanV＝mean(Si，V)若i＝n，即當(dāng)前幀為視頻序列的最后一幀，則結(jié)束循環(huán)，退出檢測(cè)，若i＜n，進(jìn)行下述步驟(3)，n為視頻序列中的圖像幀數(shù)。
(3)使i＝i+1，讀取圖像數(shù)據(jù)，計(jì)算當(dāng)前幀的亮度和色度三個(gè)分量與前一幀亮度和色度三個(gè)分量均值差值的絕對(duì)值DY、DU、DVDY＝|mean(Si，Y)-mean(Si-1，Y)|Du＝|mean(Si，U)-mean(Si-1，U)|，其中Si，Y、Si，U、Si，V分別表示當(dāng)前幀的三個(gè)分量組DV＝|mean(Si，V)-mean(Si-1，V)|成的二維矩陣，Si-1，Y、Si-1，U、Si-1，V分別表示前一幀的三個(gè)分量組成的二維矩陣。
(4)若DYmeanY+DUmeanU+DVmeanV≥M]]>和DY+DU+DV≥N兩個(gè)條件不能同時(shí)滿足，則無場(chǎng)景切換，若同時(shí)滿足，則有場(chǎng)景切換，并轉(zhuǎn)入步驟(1)，其中M，N分別為場(chǎng)景切換的判定閾值，M取值范圍為0.01～1.0，N取值范圍為1～100。
(5)使k＝k+1；，計(jì)算當(dāng)前場(chǎng)景內(nèi)前k幀的亮度和色度三個(gè)分量的均值meanY，meanU和meanVmeanY=1k(meanY×(k-1)+mean(Si,Y))]]>meanU=1k(meanU×(k-1)+mean(Si,U)),]]>meanV=1k(meanV×(k-1)+mean(Si,V))]]>若i＜n，即當(dāng)前幀不是視頻序列最后一幀，則進(jìn)行步驟(3)，若i＝n，則結(jié)束循環(huán)，退出檢測(cè)。
當(dāng)視頻序列發(fā)生突變場(chǎng)景切換時(shí)，Y、U、V三個(gè)分量的均值將全部或部分出現(xiàn)突變，一般來說Y分量相差很明顯；在某些情況下，比如說前一幀和當(dāng)前幀圖像都很亮或者很暗，Y分量相差不明顯，此時(shí)可以以色度分量U、V的差別作為判斷依據(jù)，實(shí)驗(yàn)表明，將當(dāng)前幀和前一幀的Y、U、V三個(gè)分量的差別作為突變場(chǎng)景切換的判斷依據(jù)是可行的。
權(quán)利要求
1.一種視頻場(chǎng)景切換檢測(cè)方法，其特征在于該方法包括以下步驟(1)若當(dāng)前幀為視頻序列的第一幀或新場(chǎng)景的第一幀，設(shè)當(dāng)前幀在當(dāng)前場(chǎng)景中的編號(hào)為k，則k＝1，計(jì)算當(dāng)前幀亮度和色度三個(gè)分量的均值mean(Si，Y)、mean(Si，U)、mean(Si，V)mean(Si,Y)=1H×WΣh=0H-1Σw=0W-1Si,Y(h,w)]]>mean(Si,U)=4H×WΣh=0H/2-1Σw=0W/2-1Si,U(h,w)]]>mean(Si,V)=4H×WΣh=0H/2-1Σw=0W/2-1Si,V(h,w)]]>其中，Si，Y(h，w)、Si，U(h，w)和Si，V(h，w)分別表示視頻序列中第i幀圖像中，坐標(biāo)為(h，w)像素的Y、U、V分量取值，H、W分別表示視頻序列Y分量的高和寬；(2)計(jì)算當(dāng)前場(chǎng)景內(nèi)前k幀的亮度和色度三個(gè)分量的均值meanY，meanU和meanVmeanY＝mean(Si，Y)meanU＝mean(Si，U)meanV＝mean(Si，V)若i＝n，n為視頻序列中的圖像幀數(shù)，即當(dāng)前幀為視頻序列的最后一幀，則結(jié)束循環(huán)，退出檢測(cè)，若i＜n，進(jìn)行下述步驟(3)；(3)使i＝i+1，讀取圖像數(shù)據(jù)，計(jì)算當(dāng)前幀的亮度和色度三個(gè)分量與前一幀亮度和色度三個(gè)分量均值差值的絕對(duì)值DY、DU、DVDY＝|mean(Si，Y)-mean(Si-1，Y)|DU＝|mean(Si，U)-mean(Si-1，U)|DV＝|mean(Si，V)-mean(Si-1，V)|(4)若DYmeanY+DUmeanU+DVmeanV≥M]]>和DY+DU+DV≥N兩個(gè)條件不能同時(shí)滿足，則無場(chǎng)景切換，若同時(shí)滿足，則有場(chǎng)景切換，并轉(zhuǎn)入步驟(1)，其中M，N分別為場(chǎng)景切換的判定閾值，M取值范圍為0.01～1.0，N取值范圍為1～100；(5)使k＝k+1；，計(jì)算當(dāng)前場(chǎng)景內(nèi)前k幀的亮度和色度三個(gè)分量的均值meanY，meanU和meanVmeanY=1k(meanY×(k-1)+mean(Si,Y))]]>meanU=1k(meanU×(k-1)+mean(Si,U)),]]>meanV=1k(meanV×(k-1)+mean(Si,V))]]>若i＜n，即當(dāng)前幀不是視頻序列最后一幀，則進(jìn)行步驟(3)，若i＝n，則結(jié)束循環(huán)，退出檢測(cè)。
全文摘要
本發(fā)明涉及一種視頻場(chǎng)景切換檢測(cè)方法，屬于視頻壓縮處理技術(shù)領(lǐng)域。首先，若當(dāng)前幀為視頻序列的第一幀或新場(chǎng)景的第一幀，設(shè)當(dāng)前幀在當(dāng)前場(chǎng)景中的編號(hào)為k，則k＝1，計(jì)算當(dāng)前幀亮度和色度三個(gè)分量的均值mean(S
文檔編號(hào)H04N7/26GK1758759SQ20051011484
公開日2006年4月12日 申請(qǐng)日期2005年11月18日 優(yōu)先權(quán)日2005年11月18日
發(fā)明者陸建華, 余成偉, 王翾 申請(qǐng)人:清華大學(xué)