專利名稱：對視頻信號中的局部視覺時空細節(jié)的檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及諸如TV或DVD信號的視頻信號處理的領(lǐng)域。更特別地，本發(fā)明涉及用于對視頻信號中的局部視覺時空細節(jié)進行檢測和分割的方法。另外，本發(fā)明涉及用于對視頻信號中的局部視覺時空細節(jié)進行檢測和分割的系統(tǒng)。
背景技術(shù)：
對具有圖像(幀)流的視頻信號的數(shù)據(jù)壓縮已變得普及，這是因為在諸如TV或DVD的數(shù)字視頻數(shù)據(jù)的傳輸中，可以節(jié)省大量的信道容量或存儲容量。諸如MPEG和H.26x的專用標準提供了使用基于塊的運動補償技術(shù)的高度數(shù)據(jù)壓縮。通常，16×16像素的宏塊被用于運動信息的表示。這些壓縮技術(shù)為許多普通的視頻信號提供了高數(shù)據(jù)壓縮率，而不遭受可被人眼察覺的任何視覺偽像。
然而，已經(jīng)知道，標準的壓縮方案是不透明的，即對于某些視頻信號它們引起視覺偽像。當視頻信號包括運動圖像、而運動圖像又包括局部時空細節(jié)時，會出現(xiàn)這種視覺偽像。局部時空細節(jié)由以不確定的方式隨時間改變其局部特征的空間紋理所表示。其實例是火、波動的水、上升的蒸汽、在風中擺動的葉子等的運動圖像。在這些情況中，由壓縮方案所提供的16×16像素宏塊的運動圖像信息表示太粗糙，以致于不能避免視覺信息的損失。這是關(guān)于與針對比特率縮減的MPEG或H.26x壓縮的好處相結(jié)合而達到最佳高質(zhì)量視頻再現(xiàn)的問題。
為了避免在用于壓縮的視頻信號中的視覺偽像，在應(yīng)用壓縮程序之前必須檢測局部時空細節(jié)，所述局部時空細節(jié)可能通過壓縮而導致視覺偽像。在視頻信號中定位了這些部分之后，就有可能對這些部分應(yīng)用專門的處理，以便避免由壓縮程序引入偽像。已經(jīng)知道用于檢測并指示包括時空細節(jié)的視頻信號圖像塊的方法。
EP 0 571 121 B1描述了一種圖像處理方法，這種圖像處理方法確立了已知的所謂的Horn-Schunk方法。在B.K.Horn和B.G.Schunck的“Determining Optical Flow(確定光學流)”(Artificial Intelligence，17卷，1981年，185-204頁)中對這種方法進行了描述。Horn-Schunk方法包括提取叫做光學流的像素方面的圖像速度信息。為每一個單個的圖像確定光學流矢量，并基于這個矢量計算條件數(shù)(conditionnumber)。在EP 0 571 121 B1中基于每一圖像的光學流矢量計算局部條件數(shù)，目標是得到魯棒的光學流。
EP 1 233 373 A1描述了一種用于對在各種視覺屬性中表現(xiàn)出相似性的圖像片斷進行分割的方法。對各種標準進行了描述，所述標準用于將小圖像區(qū)域組和成在預(yù)定閾值內(nèi)表現(xiàn)出相似特征的較大區(qū)域。關(guān)于運動檢測使用一個仿射運動模型，這意味著對光學流的計算。
US 6,456,731B1描述了一種用于光學流的估算方法和圖像合成方法。所描述的光學流估算是基于在B.D.Lucas和T.Kanade的“Aniterative image registration technique with an application to stereovision(可應(yīng)用于立體視覺的迭代圖像登記技術(shù))”(Proceedings of the7th International Joint Conference on Artificial Intelligence，1981年，Vancouver，第674-679頁)中描述的已知的Lucas-Kanade方法。Lucas-Kanade方法通過假定在局部像素鄰域中光學流是恒定的來對光學流進行估算。該圖像合成方法基于登記一個序列的連續(xù)圖像的處理，該處理是通過使用光學流的估算值和特別跟蹤的圖像點來實現(xiàn)的，而所述特別跟蹤的圖像點(比如視覺上突出的拐角點)是使用已知的所謂Tomasi-Kanade時間特征跟蹤方法進行跟蹤的。因此，在US5,456,731 B1中描述的方法不執(zhí)行圖像分割，而是類似于在EP 0 571121 B1中描述的方法，其執(zhí)行對光學流進行計算的步驟，以及隨后執(zhí)行圖像登記步驟。
發(fā)明概述本發(fā)明的一個目的可以看作是提供一種檢測視頻信號中的局部時空細節(jié)的方法。該方法必須易于實現(xiàn)，并且必須適用于在低成本設(shè)備中的應(yīng)用。圖像的時空細節(jié)應(yīng)當被理解為包含在局部級別下表現(xiàn)出較強時間變化的較大空間亮度變化的圖像區(qū)域，其中這些空間部分的速度在時間上的相關(guān)性很弱。
本發(fā)明的第一方面提供一種檢測表示多個圖像的視頻信號的局部時空細節(jié)的方法，對于每一圖像，該方法包括以下步驟
A)將圖像劃分成一個或多個像素塊；B)對于所述一個或多個塊當中的每一個塊內(nèi)的至少一個像素計算至少一個時空特征；C)對于所述一個或多個塊當中的每一個塊，針對在該塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)；D)檢測在其中該至少一個統(tǒng)計參數(shù)超出預(yù)定水平的塊。
優(yōu)選地，該至少一個時空特征包括視覺法向流大小和/或視覺法向流方向。視覺法向流表示與圖像亮度空間梯度平行的光學流分量。該至少一個時空特征可以進一步包括視覺法向加速度大小和/或視覺法向加速度方向。視覺法向加速度描述沿著法向(圖像亮度梯度)方向的視覺法向流的時間變化。
優(yōu)選地，該方法進一步包括計算在步驟C)中所計算的至少一個時空特征的水平和垂直直方圖的步驟。
步驟D)的至少一個統(tǒng)計參數(shù)可以包括以下各項當中的一個或多個方差、平均值以及概率函數(shù)的至少一個參數(shù)。像素塊優(yōu)選地是非重疊的正方塊，并且它們的大小可以是2×2像素、4×4像素、6×6像素、8×8像素、12×12像素或16×16像素。
該方法還可以包括在應(yīng)用步驟A)之前對圖像進行預(yù)處理的步驟，以便減少圖像中的噪聲，這種預(yù)處理優(yōu)選地包括用低通濾波器對圖像進行卷積的步驟。
該方法可以在步驟C)和D)之間進一步包括中間步驟，該中間步驟包括計算至少一個塊間統(tǒng)計參數(shù)，所述塊間統(tǒng)計參數(shù)涉及為每一塊所計算的至少一個統(tǒng)計參數(shù)?？梢允褂?-D馬爾可夫(Markovian)非因果鄰域結(jié)構(gòu)來計算該至少一個塊間統(tǒng)計參數(shù)。
該方法可以進一步包括為步驟C)中所計算的所述至少一個統(tǒng)計參數(shù)當中的每一個確定時間演化模式的步驟。該方法可以進一步包括把包括在步驟D)中檢測的一個或多個塊的至少一部分圖像編入索引的步驟。此外，該方法可以包括增加向步驟D)中檢測的一個或多個塊的數(shù)據(jù)率分配的步驟。在另一實施例中，該方法可以進一步包括將圖像插入在去隔行系統(tǒng)中的步驟。
本發(fā)明的第二方面提供一種用于檢測表示多個圖像的視頻信號的局部時空細節(jié)的系統(tǒng)，該系統(tǒng)包括
-用于將圖像劃分成一個或多個像素塊的裝置；-時空特征計算裝置，其對于所述一個或多個塊當中的每一個塊內(nèi)的至少一個像素計算至少一個時空特征；-統(tǒng)計參數(shù)計算裝置，其對于所述一個或多個塊當中的每一個塊、針對在所述一個或多個塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)；以及-檢測裝置，用于檢測在其中該至少一個統(tǒng)計參數(shù)超出預(yù)定水平的一個或多個塊。
本發(fā)明的第三方面提供一種裝置，其包括根據(jù)第二方面所述的系統(tǒng)的系統(tǒng)。
本發(fā)明的第四方面提供一種信號處理器系統(tǒng)，其被編程為根據(jù)第一方面所述的方法進行操作。
本發(fā)明的第五方面提供一種用于電視(TV)設(shè)備的去隔行系統(tǒng)，該去隔行系統(tǒng)根據(jù)第一方面所述的方法進行操作。
第六方面提供一種視頻信號編碼器，用于對表示多個圖像的視頻信號進行編碼，該視頻信號編碼器包括-用于將圖像劃分成一個或多個像素塊的裝置；-時空特征計算裝置，其對于所述一個或多個塊當中的每一個塊內(nèi)的至少一個像素計算至少一個時空特征；-統(tǒng)計參數(shù)計算裝置，其對于所述一個或多個塊當中的每一個塊、針對在所述一個或多個塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)；-用于根據(jù)量化尺度向所述一個或多個塊分配數(shù)據(jù)的裝置；以及-用于根據(jù)該至少一個統(tǒng)計參數(shù)調(diào)節(jié)針對所述一個或多個塊的量化尺度的裝置。
第七方面提供一種表示多個圖像的視頻信號，該視頻信號包括關(guān)于表現(xiàn)出時空細節(jié)的圖像段的信息，所述時空細節(jié)適合與第一方面的方法一起使用。
第八方面提供一種視頻存儲介質(zhì)，其包括根據(jù)第七方面所述的視頻信號數(shù)據(jù)。
第九方面提供一種計算機可用介質(zhì)，其具有包含在其中的計算機可讀程序代碼，該計算機可讀程序代碼包括
-用于使計算機讀取表示多個圖像的視頻信號的裝置；-用于使計算機將所讀取的圖像劃分成一個或多個像素塊的裝置；-用于使計算機對于所述每一個塊內(nèi)的至少一個像素計算至少一個時空特征的裝置；-用于使計算機對于每一個塊、針對在所述一個或多個塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)的裝置；以及-用于使計算機檢測在其中該至少一個統(tǒng)計參數(shù)超出預(yù)定水平的塊的裝置。
第十方面提供一種表示多個圖像的視頻信號，該視頻信號是根據(jù)諸如MPEG或H.26x的視頻壓縮標準而被壓縮的，該視頻信號包括向每一個圖像的各塊的指定的單獨數(shù)據(jù)分配，其中與向一個或多個所選圖像塊的指定數(shù)據(jù)分配相比，增加被分配給表現(xiàn)出時空細節(jié)的一個或多個所選圖像塊的數(shù)據(jù)率。
第十一方面提供一種對視頻信號進行處理的方法，其中該處理方法包括第一方面的方法。
第十二方面提供一種集成電路，其包括用于根據(jù)第一方面的方法對視頻信號進行處理的裝置。
第十三方面提供一種程序存儲裝置，其可由機器讀取并對指令程序進行編碼以用于執(zhí)行第一方面的方法。
附圖的簡要說明在下面將參考附圖詳細地對本發(fā)明進行描述，其中

圖1示出在以均勻速度運動的輪廓的兩點上的法向流和切向流的圖解；圖2a示出兩個人與噴水池的圖像的實例，其中噴水池包括飛濺的水；圖2b示出為圖2a的圖像表示法向流方差的塊方面級別的灰度圖，其中白色塊表示所計算的具有高級別的法向流方差的塊；圖3示出根據(jù)本發(fā)明的系統(tǒng)的流程圖；以及圖4示出法向流方差直方圖的實例。
雖然本發(fā)明容許各種變形和替換形式，但是已經(jīng)由圖中的例子示出特定的實施例并在此詳細地進行描述。應(yīng)當理解，本發(fā)明不想被限制到所公開的特定形式。相反地，本發(fā)明將覆蓋落入如所附權(quán)利要求書所限定的范圍中的所有變形、等效表述以及替換方案。
本發(fā)明的詳細描述根據(jù)本發(fā)明的實施例，用于對圖像進行處理的主要操作是如下步驟A)將圖像劃分成塊B)估算局部特征C)計算每一塊的特征統(tǒng)計量對圖像進行處理的步驟A)是將圖像劃分成塊。優(yōu)選地，這些塊與由諸如MPEG和H.26x的標準壓縮所使用的宏塊相符。因此，圖像被優(yōu)選地劃分成8×8像素或16×16像素的非重疊塊。當所述塊是8×8像素大并且當它們與(MPEG)圖像柵格對準時，其與典型的I幀DCT/IDCT計算相符并描述空間細節(jié)信息。當所述塊是16×16像素大并且當它們與(MPEG)圖像柵格對準時，其與用于在MPEG/H.26x視頻標準中的基于塊的運動估算中進行運動補償(MC)的P幀(B幀)宏塊相符，并且從而允許描述時空細節(jié)信息。
步驟B)包括估算至少一個局部特征，該局部特征涉及圖像的空間、時間、和/或時空細節(jié)。優(yōu)選地，將兩個特征與不同的相關(guān)度量一起使用。對局部特征的估算是基于空間和時間圖像亮度梯度的結(jié)合。優(yōu)選的特征是視覺法向流，即視覺法向速度和視覺法向加速度。所述局部特征可以基于視覺法向速度和視覺法向加速度的其中之一或者二者。在視覺法向速度的情況中使用兩個連續(xù)的幀(或圖像)，同時在視覺法向加速度的情況中，三個連續(xù)的幀(或圖像)是必需的。下面給出視覺法向速度與視覺法向加速度的更詳細描述。
步驟C)包括計算每一塊的特征統(tǒng)計量。這包括對特征平均值和方差的計算。此外，將不同的概率密度函數(shù)匹配于每一塊的統(tǒng)計量。每一塊的統(tǒng)計量提供信息以便設(shè)立閾值或標準，從而允許關(guān)于時空細節(jié)量對每一塊進行分類。因而，每一塊的統(tǒng)計量允許對具有大量時空細節(jié)的塊進行檢測，這是因為這種塊表現(xiàn)出超出預(yù)定閾值的每一塊的統(tǒng)計參數(shù)。
視覺法向流表示與圖像亮度空間梯度平行的光學流的分量。光學流是最詳細的速度信息，其可以通過對兩個連續(xù)的幀或視頻場進行處理來局部提取，但是提取過程花費大量的計算。另一方面，法向流易于計算并且含有豐富的局部空間和時間信息。例如，光學流的計算需要典型地為7×7×2的時空鄰域，同時法向流只需要2×2×2的鄰域。另外，對光學流的計算需要最優(yōu)化，同時對法向流的計算則不需要。
法向流大小確定與局部圖像亮度梯度平行的運動量，而法向流方向則描述局部圖像亮度指向。通過下式計算視覺法向流vx×∂I(x,y,t)∂x+vy×∂I(x,y,t)∂y+∂I(x,y,t)∂t=0]]>其中I是亮度，x和y是空間變量，t是時間變量。法向流方向隱含地對圖像亮度梯度的空間變化、以及從而對空間紋理信息進行編碼。法向加速度將法向流如何進行局部變化描述為二階效應(yīng)。
視覺法向流被定義為局部圖像速度或光學流的法向分量，即平行于空間圖像梯度的分量。圖像速度可以在每一圖像像素上被分解為法向和切向分量。
為了圖解，圖1示出經(jīng)過圖像的目標像素的明確定義的圖像邊界或輪廓。圖1中的圖示出以均勻速度 運動的輪廓的兩個點上的法向和切向流。從點A到點B，法向和切向圖像速度(分別為法向流和切向流)改變它們的空間指向。這由于輪廓曲率而確實從點到點地發(fā)生。法向和切向流總是相差90°。
法向流的一個重要屬性是，其是在圖像中可以被局部計算的唯一的圖像速度分量。切向分量不能被計算。為了解釋這一點，可以假定當時問t的圖像點P(x，y)移動到時間Δtt’＝t+Δt的位置P’(x’，y’)時，圖像亮度 是恒定的，其中(x′,y′)=(x,y)+V→·Δt.]]>圖像速度被認為是恒定的，并且Δt“很小”。因此，I(x′，y′，t′)≈I(x，y，t)(1)或者V→·▿→I(x,y,t)+∂I(x,y,t)∂t≈0---(2)]]>其中′≈′意味著近似，并且▿≡(∂/∂x,∂/∂y).]]>因為V→=V→n+V→t]]>并且V→t·▿→=0---(2)]]>被簡化為
V→n·▿→I(x,y,t)+∂I(x,y,t)∂t≈0---(3)]]>這意味著V→n=n^|V→n|---(4)]]>以及|V→n|=|∂I(x,y,t)∂t||▿I(x,y,t)|---(5)]]> 與圖像速度不同，法向流也是局部圖像亮度梯度指向的度量，并且該度量隱含地包括空間形狀可變性的量，例如曲率、紋理指向等。
優(yōu)選地，可以使用兩種不同的方法來計算離散圖像丌I[i][j][k]中的法向流．一種方法是在B.K.P.Horn的“Robot Vision(機器人視覺)”(The MIT Press，Cambridge，Massachusetts，1986年)中描述的2×2×2亮度立方方法。另一種方法是基于特征的方法。
在2×2×2亮度立方方法中，根據(jù)(7)-(9)來近似空間和時間導數(shù)。
I(x，y；t)/x≈1/4×[(I(i+1][j][k]+I[i+1][j][k+1]+I[i+1][j+1][k]+I[i+1][j+1][k+1])--(I[i][j][k]+I[i][j][k+1]+I[i][j+1][k]+I[i][j+1][k+1])].
(7)I(x，y；t)/y≈1/4×[(I[i][[j+1][k]+I[i][j+l][k+1]+I[i+1][j+1][k]+I[i+1][j+1][k+1])--(I[i][j][k]+I[i][k+1]+I[i+1][j][k]+I[i+1][j][k+1])](8)I(x，y；t)/t≈1/4×[(I[i][[j][k+1]+I[i][j+1][k+1]+I[i+1][j][k+1]+I[i+1][j+1][k+1])--(I[i][j][k]+I[i][j+1][k]+I[i+1][j][k]+I[i+1][j+1][k])](9)在2×2×2亮度立方的單元之內(nèi)計算這些離散導數(shù)。
基于特征的方法是基于下面的步驟(a)找到具有高空間梯度的圖像點。這通過下面的步驟來實現(xiàn)(i)通過向其應(yīng)用逼近高斯函數(shù)的二項式逼近來平滑圖像 (ii)計算離散化的空間圖像梯度∂I~/∂x≈1/2·(I[i+1][j][k]-I[i-1][j][k])]]>和∂I~/∂y≈1/2·(I[i][j+1][k]-I[i][j-1][k]);]]>(iii)找到其 大于預(yù)先確定的閾值TGr的圖像點的子集。此外，使用∂I~/∂t≈1/2·(I[i][j][k+1]-I[i][j][k-1]),]]>其涉及三個連續(xù)幀而不是兩個連續(xù)幀。
(b)通過使用(5)和(6)的離散形式、在每一特征位置(例如具有“高”空間梯度的點)處交互地計算法向流。首先，對于法向流進行初始計算，并且以其為根據(jù)來對局部圖像進行扭曲(warp)，以便細化法向流值。從殘留時間導數(shù)計算殘留法向流，并且更新初始法向流估算。重復這個步驟，直到殘留法向流小于ε(例如0001)。
法向加速度描述沿著法向(圖像亮度梯度)方向的法向流的時間變化。其重要性是由于加速度測量法向流在至少三個連續(xù)幀之間變化了多少，并且因而能夠確定在各幀對之間的時空細節(jié)變化了多少。
定義法向加速度的一種方式是通過采用(3)的時間導數(shù)∂∂t[V→n·▿→I(x,y,t)+∂I(x,y,t)∂t]=A→n·▿→I(x,y,t)+V→n·∂∂t▿→I(x,y,t)+∂2I(x,y,t)∂2t≈0---(10)]]>以使得A→n=n^|A→n|---(11)]]>以及|A→n|=|▿→I(x,y,t)|·∂2I(x,y,t)/∂2t+|∂I(x,y,t)/∂t|·|∂▿→I(x,y,t)/∂t||▿I(x,y,t)|2---(12)]]>因為(12)中的二階時間導數(shù)，當實現(xiàn)(12)時必須使用最少三個連續(xù)幀。采用3×3×3像素寬的立方來計算(12)中的導數(shù)的離散化形式，其可以被示為2I/2t≈1/6[I[i[j+1][k-1]+2·I[i][j][k-1]+I[i][j-1][k-1]+I[i+1][j][k-1]+I[i-1][j][k-1]-2·(I[i][j+1][k]+2·I[i][j][k]+I[i][j-1][k]+I[i+1][j][k]+I[i-1][j][k])+I[i][j+1][k+1]+2·I[i][j][k+1]+I[i][j-1][k+1]+I[i+1][j][k+1]+I[i-11][j][k+1]](13)可以在3×3×3立方上根據(jù)(7)-(9)獲得其它離散化的導數(shù)。
計算特征統(tǒng)計量的目的是為了檢測其中給定的特征變化最大的時空區(qū)域，即對高時空細節(jié)的分割和檢測。這可以根據(jù)下面的算法來實現(xiàn)，其中給出兩個(三個)連續(xù)的圖像1.將圖像劃分成非重疊的(正方形或矩形)塊；2.在每一塊中計算局部特征集合；
3.為每一塊確定在2.中計算的特征集合的平均值；以及4.根據(jù)3.中計算的方差來計算每一塊中的每一特征的方差、平均值變化；5.在給定閾值Tstat的情況下選擇一組塊，對于該組塊來說，在4.中所計算的方差大于Tstat。
在我們的算法實現(xiàn)方式中，我們選擇正方形(8×8或16×16)塊。這將把圖像以棋盤格形式布置(tessellate)為正方形塊，而其剩余部分將維持非棋盤格狀；為了減少這種殘留的非棋盤格狀圖像區(qū)域，可以使用矩形棋盤格布置，但是這不是這里所關(guān)心的，因為我們希望將這些塊與MPEG8×8(DCT)或16×16(MC)塊對準，以用于視覺偽像預(yù)檢測。對每一塊中的特征值的計算或者在其 大于預(yù)先確定的閾值T的每一像素上實現(xiàn)，或者在其 大于預(yù)先確定的閾值TGr的特征點上實現(xiàn)；通常T＜TGr。在步驟4.和5.中例示的統(tǒng)計量僅僅是為了說明?？梢杂嬎愀敿毜慕y(tǒng)計量。還可以計算特定的概率分布密度(pdf)及其統(tǒng)計量。
為了使根據(jù)上述或相關(guān)實現(xiàn)方式的計算更魯棒，可以應(yīng)用一組預(yù)處理或后處理操作。預(yù)處理的一個例子是用低通濾波器對輸入圖像進行卷積。后處理可以包括例如關(guān)于其統(tǒng)計量(例如特征方差)對相鄰決進行比較。
圖2a示出從圖像序列中獲取的一個圖像的例子。在該圖像中，兩個人正在注視著噴水池中飛濺的水。一個人部分地在飛濺的水的后面。因此，該圖像包括表現(xiàn)出一種預(yù)期會產(chǎn)生混亂的亮度圖案的現(xiàn)象的例子的局部部分，即飛濺的水的現(xiàn)象。因此，從具有潛在的大量局部時空細節(jié)的運動圖像序列中獲取該圖像。該圖像已根據(jù)本發(fā)明被按塊處理，并且對于每一決，已經(jīng)將法向流大小的方差計算為表示時空細節(jié)量的度量。
在圖2b中，以表示法向流大小的方差、并且從而表示局部時空細節(jié)量的灰度級示出圖2a的各圖像塊。白色塊指示具有高級別的法向流方差的區(qū)域，而暗灰色決則指示具有低級別的法向流方差的區(qū)域。如從圖2b中所看到的那樣，白色塊出現(xiàn)在具有飛濺的水的圖像部分，因而根據(jù)所述處理方法，發(fā)現(xiàn)這些局部圖像區(qū)域表現(xiàn)出大量的局部時空細節(jié)?？梢钥闯?，穩(wěn)定的圖像區(qū)域(諸如左邊的人和右邊的噴水池)是暗灰色，從而表示這些區(qū)域被檢測為表現(xiàn)出低法向流方差。
圖3示出用于處理時空細節(jié)信息的系統(tǒng)的流程圖結(jié)構(gòu)。通過使用在該流程圖中示出的不同路徑A、B和C，在圖3中繪出的系統(tǒng)可以用于不同的應(yīng)用。圖3的各單元是VI視頻輸入Pre-P預(yù)處理STDE時空細節(jié)估算和檢測Post-P后處理VQI視覺質(zhì)量改進Disp顯示St存儲介質(zhì)圖3的視頻輸入代表一個表示圖像序列的視頻信號。該視頻輸入可以例如通過有線或無線的方式而被直接應(yīng)用，或者如圖3中所指示的那樣，在被處理之前該視頻信號可以被存儲在存儲介質(zhì)中。存儲介質(zhì)可以是硬盤、可寫CD、DVD、計算機存儲器等。該輸入可以是諸如MPEG或H.26x的壓縮視頻格式，或者其可以是未壓縮的信號，即視頻信號的全分辨率表示。如果輸入的是模擬視頻信號，則VI步驟可以包括模/數(shù)轉(zhuǎn)換。
圖3的預(yù)處理是可選的。如果優(yōu)選的話，在應(yīng)用時空檢測處理之前可以應(yīng)用各種信號處理，以便減少視頻信號中的噪聲或其他視覺偽像。這增強了時空檢測處理的效果。
根據(jù)上述方法執(zhí)行時空細節(jié)估算和檢測。優(yōu)選地，該方法包括對視覺法向流的計算，并且可以進一步包括對視覺法向加速度的計算。必需的計算裝置可以是專用視頻信號處理器。替換地，根據(jù)本發(fā)明的信號處理方法所需的計算量可以使用已經(jīng)存在于裝置中的信號處理能力來實現(xiàn)，所述裝置例如是電視機或DVD播放器。
后處理可以包括各種對于圖3系統(tǒng)的STDE部分的每一塊的統(tǒng)計結(jié)果執(zhí)行的每塊統(tǒng)計方法。后處理可以進一步包括對圖3的STDE步驟的每一塊的統(tǒng)計結(jié)果的時間積分。另外，后處理可以包括確定每塊統(tǒng)計量隨時間的時間演化模式。這是確定哪些部分具有穩(wěn)定的統(tǒng)計量所必需的。
使用圖3的路徑A，在對時空細節(jié)的檢測之后存儲視頻信號。優(yōu)選地，將視頻信號與允許之后執(zhí)行進一步的處理的索引信息一起存儲。
替換地，可以在存儲之前應(yīng)用視覺質(zhì)量改進裝置，即可以使用路徑B?？梢韵蛐盘柼峁┮曈X質(zhì)量改進裝置，以便利用所提供的關(guān)于包含大量時空細節(jié)的局部圖像區(qū)域的信息。對于未壓縮的視頻信號，這可以通過向具有時空細節(jié)的塊分配比通常由標準編碼方案所分配的更大的數(shù)據(jù)率來完成(這例如通過減小I幀和P幀編碼中的量化尺度來實現(xiàn))，以處理更高級別的細節(jié)。然后可以以已編碼的形式存儲信號，并被任意處理以便消除或避免視覺偽像?？梢栽诓贿M行編碼而是提供指示具有時空細節(jié)的塊或區(qū)域的索引信息的情況下存儲視頻信號，從而允許進一步處理(例如隨后編碼或者將時空索引信息用作搜索準則)。
圖3的系統(tǒng)的最后的處理部分是視覺輸出，即顯示，諸如在TV屏幕上、計算機屏幕上等等進行顯示。替換地，視頻信號在被顯示或存儲之前可以被施加到其它裝置或處理器中。
根據(jù)本發(fā)明原理的一種應(yīng)用(i)是消除或至少減少視頻信號中的視覺偽像，諸如偽像塊效應(yīng)(blockiness)或時間閃爍，這是通過向被檢測為表現(xiàn)出時空細節(jié)的塊分配更多比特而實現(xiàn)的。在某些情況中，僅僅獲得對特定圖像/視頻區(qū)域的表示是優(yōu)選的，所述圖像/視頻區(qū)域一旦被編碼將包括可能的視覺偽像，諸如塊效應(yīng)、振鈴(ringing)、以及數(shù)字(MPEG、H.26x)處理的視頻的蚊式“噪聲”。
另一種應(yīng)用(ii)是實現(xiàn)低成本的運動檢測指示器，用于在TV系統(tǒng)的去隔行中的場插入，其可以得益于空間銳度改進。這可能特別適于低成本去隔行器中的應(yīng)用，本發(fā)明的原理提供了部分運動補償信息。
還有另一種應(yīng)用(iii)是在長視頻數(shù)據(jù)庫中檢測、分割、索引和檢索被檢測為表現(xiàn)出時空細節(jié)的圖像區(qū)域。以這種方式有可能提供一種允許對例如電視片的序列的快速索引的搜索工具，這種例如電視片的序列包含瀑布、海浪、在風中運動的頭發(fā)/葉子/草等。依賴于將哪種應(yīng)用作為目標，可以使用不同的處理塊。
還有另一種應(yīng)用(iv)是執(zhí)行選擇性的銳化，即自適應(yīng)地將空間銳度(通過峰化和限幅)改變成其中需要更銳利圖像的高亮選擇的圖像區(qū)域，并減小在去選擇的區(qū)域中增加數(shù)字偽像的可見度的可能性。
例如，應(yīng)用(i)可以被用在用于顯示和存儲應(yīng)用的視覺質(zhì)量改進中。對于顯示應(yīng)用，使用圖3的路徑C。顯示應(yīng)用可以是諸如高質(zhì)量電視機。對時空細節(jié)的檢測和分割是重要的，這是由于通過響應(yīng)于局部/區(qū)域的圖像特征進行適當?shù)谋忍胤峙?，諸如每8×8或16×16圖像塊的定制比特率控制，可以消除或者至少減少視覺偽像。這對于視覺偽像是重要的，這是因為只通過檢測可能會太晚，以致于在顯示時不能減小視覺偽像的可見度或者減小其對運動圖片的視覺質(zhì)量的影響。
在存儲應(yīng)用中可以使用圖3的路徑A或路徑B。通過使用路徑A，在執(zhí)行視覺質(zhì)量改進之前存儲視頻信號。然而，使用路徑A可以包括對時空細節(jié)的檢測和分割以及對區(qū)域索引的存儲，所述區(qū)域例如是8×8或16×16像素塊，其包含大量的時空細節(jié)。以這種方式，可以對長視頻數(shù)據(jù)庫(所存儲的內(nèi)容)進行處理，以便允許后期的進一步處理。對于非常詳細的、以及對于內(nèi)容描述不知道有效表示的內(nèi)容信息來說，這樣做是很有用的。視頻信號可以被壓縮或未壓縮地存儲。通過存儲未壓縮的數(shù)據(jù)，可以利用所存儲的關(guān)于局部時空細節(jié)的索引來執(zhí)行稍后的壓縮。
通過使用路徑B，在基于所檢測的局部時空細節(jié)而在提高視覺質(zhì)量方面對視頻信號進行了適當處理之后，對所述視頻信號進行存儲。如所述的那樣，可以通過向表現(xiàn)出時空細節(jié)的塊分配更多的數(shù)據(jù)來執(zhí)行視覺質(zhì)量改進。因此，路徑B也可以用于處理大的視頻數(shù)據(jù)庫。使用路徑B，視頻信號可以被壓縮存儲，這是因為已執(zhí)行適當?shù)男盘柼幚?，從而確保即使使用壓縮也能在時空細節(jié)方面獲得高視覺質(zhì)量。
在大量不同的裝置或系統(tǒng)、裝置或系統(tǒng)的各部分中，根據(jù)本發(fā)明的原理可以被應(yīng)用在諸如電視機的TV系統(tǒng)、諸如DVD播放器或DVD記錄器的DVD+RW設(shè)備中。所提議的方法可以被應(yīng)用在數(shù)字(LCD、LCoS)電視機中，其中新型的數(shù)字偽像出現(xiàn)和/或變得更明顯，并且因而需要通常較高的視頻信號質(zhì)量。
涉及視覺質(zhì)量改進的本發(fā)明的原理也可以用在以適于顯示運動圖片的顯示器為特色的無線便攜式小型裝置中。例如，在具有靠近眼睛的顯示器的移動電話上的運動圖片的高視覺質(zhì)量還可以與適中的數(shù)據(jù)率需求相結(jié)合。對于具有十分差的空間分辨率的裝置，根據(jù)本發(fā)明的視覺質(zhì)量改進可以用來減少視頻信號所需的數(shù)據(jù)率，并且仍沒有塊效應(yīng)和有關(guān)的視覺偽像。
另外，根據(jù)本發(fā)明的原理可以被應(yīng)用在MPEG編碼和解碼設(shè)備中。所述方法可以被應(yīng)用在這種編碼器或解碼器中。替換地，可以在現(xiàn)有的編碼器之前應(yīng)用單獨的視頻處理器裝置。根據(jù)本發(fā)明的原理既可以被應(yīng)用在消費設(shè)備中，也可以被應(yīng)用在專業(yè)設(shè)備中。
在根據(jù)本發(fā)明的視頻信號編碼器的實施例中，應(yīng)用依賴于時空細節(jié)信息的編碼器側(cè)的量化尺度。該量化尺度由時空細節(jié)信息進行調(diào)制。該尺度越小(越大)，量化器就具有更多(更少)的梯級，從而增強(模糊)更多(更少)的空間細節(jié)。優(yōu)選地，根據(jù)本發(fā)明的視頻信號編碼器能夠產(chǎn)生符合MPEG或H.26x格式的信號格式。
在優(yōu)選的實施例中，使用固定的每宏塊量化尺度q_sc。將調(diào)制應(yīng)用到q_sc，其中該調(diào)制使用關(guān)于時空細節(jié)的信息。對于每一宏塊計算法向流(每像素)及其平均值和方差σvn每宏塊)。從實驗中已知，伽馬(Erlang)函數(shù)對于法向流方差的直方圖是一個良好的擬合。利用該知識，有可能用如下移位的伽馬(Erlang)函數(shù)來擬合σvn的直方圖M(x)＝x×exp(-(x-1))通過該式，每宏塊量化尺度變成q_sc_m=F(δ×q_sc-λ×M(σv^n))]]>其中F()表示舍入和查表操作，δ和λ是根據(jù)分配給每幀(視頻序列)的優(yōu)選的比特總量而進行調(diào)節(jié)的實數(shù)(δ對應(yīng)于正數(shù)，λ對應(yīng)于正數(shù)和負數(shù))。
圖4示出一種直方圖的例子，其中為表現(xiàn)出具有大量時空細節(jié)的圖像部分的序列繪制該直方圖。所處理的序列是一個女孩在前景中奔跑的序列，同時背景部分是海浪拍打巖石。圖4的直方圖示出作為法向流方差的函數(shù)的多個塊。白條指示平坦區(qū)域，即具有少量時空細節(jié)的區(qū)域，例如天空。黑條指示具有大量時空細節(jié)的區(qū)域，例如拍打巖石的海浪。如從直方圖中所看到的那樣，在時空細節(jié)和法向流方差之間有很好的相關(guān)性，這是因為代表具有少量時空細節(jié)的區(qū)域的條朝著低法向流方差值聚集，同時代表具有大量時空細節(jié)的區(qū)域的條則朝著高法向流方差值聚集。
在前述內(nèi)容以及所附權(quán)利要求書中，應(yīng)當理解，諸如“合并”、“包含”、“包括”、“由……組成”、“是”以及“具有”的表達方式應(yīng)被非排他性地理解，即有可能存在沒有明確說明的其他部分或組件。
權(quán)利要求
1.一種檢測表示多個圖像的視頻信號的局部時空細節(jié)的方法，該方法對于每一圖像包括如下步驟A)將圖像劃分成一個或多個像素塊；B)對于所述一個或多個塊當中的每一個塊內(nèi)的至少一個像素計算至少一個時空特征；C)對于所述一個或多個塊當中的每一個塊，針對在該塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)；以及D)檢測在其中該至少一個統(tǒng)計參數(shù)超出預(yù)定水平的塊。
2.如權(quán)利要求1所述的方法，其中所述至少一個時空特征是從由以下各項構(gòu)成的組中選擇的視覺法向流大小，視覺法向流方向。
3.如權(quán)利要求1所述的方法，其中所述至少一個時空特征是從由以下各項構(gòu)成的組中選擇的視覺法向加速度大小，視覺法向加速度方向。
4.如權(quán)利要求1所述的方法，其中步驟D)的至少一個統(tǒng)計參數(shù)是從由以下各項構(gòu)成的組中選擇的方差，平均值，以及概率函數(shù)的至少一個參數(shù)。
5.如權(quán)利要求1所述的方法，其中所述一個或多個像素塊是一個或多個非重疊的正方形塊，并且其中所述一個或多個正方形塊的大小是從由以下各項構(gòu)成的組中選擇的2×2像素，4×4像素，6×6像素，8×8像素，12×12像素，以及16×16像素。
6.如權(quán)利要求1所述的方法，進一步包括在應(yīng)用步驟A)之前對圖像進行預(yù)處理的步驟，以便減少圖像中的噪聲。
7.如權(quán)利要求6所述的方法，其中所述預(yù)處理步驟包括用低通濾波器對圖像進行卷積。
8.如權(quán)利要求1所述的方法，進一步包括在步驟C)和D)之間的中間步驟，其中該中間步驟包括計算至少一個塊間統(tǒng)計參數(shù)，所述塊間統(tǒng)計參數(shù)涉及為每一塊所計算的至少其中一個統(tǒng)計參數(shù)。
9.如權(quán)利要求8所述的方法，其中使用2-D馬爾可夫非因果鄰域結(jié)構(gòu)來計算該至少一個塊間統(tǒng)計參數(shù)。
10.如權(quán)利要求1所述的方法，進一步包括為在步驟C)中所計算的所述至少一個統(tǒng)計參數(shù)當中的每一個確定時間演化模式的步驟。
11.如權(quán)利要求1所述的方法，進一步包括將包括在步驟D)中檢測的一個或多個塊的至少一部分圖像編索引的步驟。
12.如權(quán)利要求1所述的方法，進一步包括計算在步驟C)中所計算的至少一個時空特征的水平和垂直直方圖的步驟。
13.如權(quán)利要求1所述的方法，進一步包括增加向在步驟D)中檢測的一個或多個塊的數(shù)據(jù)率分配的步驟。
14.如權(quán)利要求1所述的方法，進一步包括將圖像插入去隔行系統(tǒng)中的步驟。
15.一種用于檢測表示多個圖像的視頻信號的局部時空細節(jié)的系統(tǒng)，該系統(tǒng)包括-用于將圖像劃分成一個或多個像素塊的裝置；-時空特征計算裝置，其對于所述一個或多個塊當中的每一個塊內(nèi)的至少一個像素計算至少一個時空特征；-統(tǒng)計參數(shù)計算裝置，其對于所述一個或多個塊當中的每一個塊、針對在所述一個或多個塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)；以及-檢測裝置，用于檢測在其中該至少一個統(tǒng)計參數(shù)超出預(yù)定水平的一個或多個塊。
16.一種裝置，其包括如權(quán)利要求15所述的系統(tǒng)。
17.一種信號處理器系統(tǒng)，其被編程為按照權(quán)利要求1所述的方法進行操作。
18.一種用于電視(TV)設(shè)備的去隔行系統(tǒng)，該去隔行系統(tǒng)按照權(quán)利要求1所述的方法進行操作。
19.一種視頻信號編碼器，用于對表示多個圖像的視頻信號進行編碼，該視頻信號編碼器包括-用于將圖像劃分成一個或多個像素塊的裝置；-時空特征計算裝置，其對于所述一個或多個塊當中的每一個塊內(nèi)的至少一個像素計算至少一個時空特征；-統(tǒng)計參數(shù)計算裝置，其對于所述一個或多個塊當中的每一個塊、針對在所述一個或多個塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)；-用于根據(jù)量化尺度向所述一個或多個塊分配數(shù)據(jù)的裝置；以及-用于根據(jù)該至少一個統(tǒng)計參數(shù)調(diào)節(jié)針對所述一個或多個塊的量化尺度的裝置。
20.一種表示多個圖像的視頻信號，該視頻信號包括關(guān)于表現(xiàn)出時空細節(jié)的圖像段的信息，所述時空細節(jié)適于與權(quán)利要求1的方法一起使用。
21.一種視頻存儲介質(zhì)，其包括如權(quán)利要求20所述的視頻信號數(shù)據(jù)。
22.一種計算機可用介質(zhì)，其具有包含于其中的計算機可讀程序代碼，該計算機可讀程序代碼包括-用于使計算機讀取表示多個圖像的視頻信號的裝置；-用于使計算機將所讀取的圖像劃分成一個或多個像素塊的裝置；-用于使計算機對于所述每一個塊內(nèi)的至少一個像素計算至少一個時空特征的裝置；-用于使計算機對于每一個塊、針對在所述一個或多個塊內(nèi)計算的所述至少一個時空特征當中的每一個計算至少一個統(tǒng)計參數(shù)的裝置；以及-用于使計算機檢測在其中該至少一個統(tǒng)計參數(shù)超出預(yù)定水平的塊的裝置。
23.一種表示多個圖像的視頻信號，該視頻信號是根據(jù)諸如MPEG或H.26x的視頻壓縮標準而被壓縮的，該視頻信號包括向每一個圖像的各塊的指定的單獨數(shù)據(jù)分配，其中與向一個或多個所選圖像塊的指定數(shù)據(jù)分配相比，增加被分配給表現(xiàn)出時空細節(jié)的一個或多個所選圖像塊的數(shù)據(jù)率。
24.一種對視頻信號進行處理的方法，其中該處理方法包括權(quán)利要求1的方法。
25.一種集成電路，其包括用于根據(jù)權(quán)利要求1的方法對視頻信號進行處理的裝置。
26.一種程序存儲裝置，其可由機器讀取并對指令程序進行編碼，以用于執(zhí)行權(quán)利要求1的方法。
全文摘要
本發(fā)明涉及例如用于TV或DVD信號的視頻信號處理。描述了用于對視頻信號中的局部視覺時空細節(jié)進行檢測和分割的方法和系統(tǒng)。此外，描述了一種視頻信號編碼器。所述方法包括如下步驟將圖像劃分成像素塊，計算每一塊中的時空特征，對于每一時空特征計算統(tǒng)計參數(shù)，以及檢測其中統(tǒng)計參數(shù)超出預(yù)定水平的塊。優(yōu)選地，視覺法向流被用作局部時空特征。另外，視覺法向加速度可以被用作時空特征。在優(yōu)選實施例中，通過MPEG或H.26x編碼發(fā)生的諸如塊效應(yīng)的視覺偽像可以通過向表現(xiàn)出大量時空細節(jié)的局部圖像部分分配更大比特量而被減少。
文檔編號H04N7/26GK1886759SQ200480034590
公開日2006年12月27日 申請日期2004年11月4日 優(yōu)先權(quán)日2003年11月24日
發(fā)明者R·S·雅辛施 申請人:皇家飛利浦電子股份有限公司