專利名稱：：通過基于abt的最小可覺差模型進(jìn)行視頻編碼的方法和裝置的制作方法通過基于ABT的最小可覺差模型進(jìn)行視頻編碼的方法和裝CP方法
技術(shù)領(lǐng)域：
：本發(fā)明通常涉及數(shù)字視頻處理，特別涉及包括編碼和解碼的數(shù)字視頻編碼。
背景技術(shù)：
：由于攝像裝置的進(jìn)步，無論何時何地都能夠產(chǎn)生越來越多的視頻(圖像序列，也被稱為運(yùn)動圖像)。此外，為了追求更高的分辨率，視頻尺寸不斷增加，從而涉及到大量數(shù)據(jù)需要處理。這給諸如顯示、傳輸和存儲視頻的過程帶來了巨大挑戰(zhàn)。所以，需要一種視頻編碼技術(shù)，使得視頻在不犧牲其質(zhì)量的情況下能夠被壓縮。至于質(zhì)量，期望發(fā)生較少的失真，傳統(tǒng)上失真通常是由量化度量如均方差(MSE)和峰值信噪比(PSNR)來衡量的。但是，這些量化度量并不能反映觀看者的感受以及失真在觀看者眼中的嚴(yán)重程度。因此，通過考慮人類如何視覺感受事物的特性，在不帶來額外視覺失真的前提下，需要進(jìn)一步提高壓縮比。換言之，人類如何視覺感受圖像的主觀試驗非常重要。所以，需要保持用戶的視覺感受，同時更有效地進(jìn)行視頻處理。此外，按照視頻標(biāo)準(zhǔn)的發(fā)展，越來越多的特征被結(jié)合到當(dāng)前和未來的視頻編準(zhǔn)里。其中一個特征是允許視頻編碼過程里有各種塊尺寸，例如，自適應(yīng)塊尺寸變換(ABT)。通過考慮圖像內(nèi)容，這有助于改善圖像質(zhì)量。所以，需要在視頻編碼時能夠進(jìn)行ABT，例如，與視頻標(biāo)準(zhǔn)如H.264/AVC兼容。發(fā)明概述基于空間內(nèi)容信息和運(yùn)動特性距離，本發(fā)明產(chǎn)生基于ABT的最小可覺差(JND)模型，其通過殘差濾波方法可以應(yīng)用于視頻編碼系統(tǒng)。JND模型也被稱為JND方案。由于JND模型能夠以矩陣格式表示，JND模型也被稱為JND圖。本發(fā)明其中一個優(yōu)點(diǎn)是通過使用基于ABT的JND模型進(jìn)行視頻編碼能夠節(jié)省高達(dá)50%的比特率，而不會降低主觀視覺質(zhì)量。本發(fā)明使用人類如何視覺感受事物的特性以降低比特率，而不會帶來可覺察的視覺失真。一個模擬人類視覺感受事物過程的系統(tǒng)被稱為視覺感受模型(VPM)。一個視覺感受模型的例子是最小可覺差(JND)模型。建立基于ABT的JND模型，并提供JND閾值給幀內(nèi)的每個塊，如果非零殘差系數(shù)的數(shù)值小于JND閾值，非零殘差系數(shù)被濾波。如果非零殘差系數(shù)的數(shù)值大于相應(yīng)的JND閾值，將從非零殘差系數(shù)中減去相應(yīng)的JND閾值。就本發(fā)明JND模型的特性而言，不同于圖像域內(nèi)的現(xiàn)有JND模型，或頻率域內(nèi)產(chǎn)生的基于固定塊尺寸DCT的JND模型，本發(fā)明采用基于不同塊尺寸的基于ABT的JND模型。另夕卜，基于ABT的JND模型在不同塊尺寸變換時考慮人類如何視覺感受事物的特性。基于ABT的JND模型是根據(jù)空間內(nèi)容信息(SCI)和運(yùn)動特性距離(MCD)而確定的。就本發(fā)明JND模型的應(yīng)用而言，不同于現(xiàn)有JND模型用于圖像/視頻水印和質(zhì)量評估，本發(fā)明使用JND模型以增強(qiáng)視頻編碼效率并降低比特率。此外，依照一個預(yù)設(shè)的圖像質(zhì)量度量，本發(fā)明使用基于ABT的JND模型進(jìn)行視頻編碼，而不需要調(diào)整量化矩陣。本發(fā)明的一個方面是將固定尺寸的JND模型擴(kuò)展到不同塊尺寸。不同塊尺寸的JND模型被用來描述人類對不同尺寸變換如何視覺感受事物的特性。本發(fā)明的另一個方面是確定空間內(nèi)容信息(SCI)，其描述宏塊及其子塊之間的空間外觀相似性。本發(fā)明的另一個方面是確定運(yùn)動特性距離(MCD)，其描述宏塊及其子塊之間的運(yùn)動特性相似性。本發(fā)明的另一個方面是基于宏塊的SCI使用圖像或幀內(nèi)的不同塊尺寸變換之間的平衡策略。本發(fā)明的另一個方面是基于宏塊的SCI和MCD使用幀間的不同塊尺寸變換之間的平衡策略。本發(fā)明的另一個方面是對不同尺寸變換進(jìn)行殘差濾波以降低比特率并保持相同的視覺質(zhì)量。本發(fā)明的其它方面也將披露，如以下所述的實(shí)施例。以下將參照附圖，詳細(xì)描述本發(fā)明的目的、方面和實(shí)施例，其中圖1顯示本發(fā)明一個視頻編碼的典型實(shí)施例的流程圖；圖2顯示一個產(chǎn)生基于ABT的JND模型的典型實(shí)施例的流程圖；圖3顯示一個基于ABT的JND濾波的典型實(shí)施例的流程圖；圖4顯示在一個實(shí)施例里分別在一個16x16塊和一個4x4塊內(nèi)分配測試DCT子帶。圖5描述宏塊及其相應(yīng)子塊的運(yùn)動矢量以解釋MCD—致性概念用于幀間的時間平衡策略。圖6描述一個視頻編碼裝置的典型實(shí)施例的模塊示意圖。發(fā)明詳述圖1顯示本發(fā)明提供的一個視頻編碼典型實(shí)施例的流程圖。在一個實(shí)施例里，視頻編碼實(shí)在一個輸入視頻110上進(jìn)行，輸入視頻110被編碼。為了編碼輸入視頻110，計算輸入視頻Iio里每幀內(nèi)不同塊尺寸的每個塊的JND模型。可能的塊尺寸的例子包括但不限于4x4,8x8和16x16。對每個宏塊，基于幀內(nèi)預(yù)測121或幀間預(yù)測122，計算預(yù)測值。例如，當(dāng)幀是P幀或B幀時，使用幀間預(yù)測122。幀內(nèi)預(yù)測121是基于不同塊尺寸如4x4、8x8和16x16，并也被稱為不同塊尺寸的幀內(nèi)預(yù)測。幀間預(yù)測122是基于不同塊尺寸如4x4、8x8和16x16，并也被稱為不同塊尺寸的幀間預(yù)測。差值塊(differenceblock)是由預(yù)測和塊之間的差異而產(chǎn)生。差值塊也被稱為殘差(residual)塊。根據(jù)殘差塊的塊尺寸，殘差塊被分割成不同構(gòu)造的非重疊塊用于進(jìn)行編碼。同時計算以下信息(1)塊類型，如幀間或幀內(nèi)；(2)塊分類，如平面、邊緣或紋理；和(3)不同尺寸的塊的運(yùn)動矢量。以上信息被用來計算最小可覺差(Just-NoticeableDifference,JND)模型140。依照其中一個實(shí)施例，根據(jù)Jia，Y.；Lin,W.；Kassim,Α.A.所著的EstimatingJust-NoticeableDistortionforVideo(IEEETransactionsonCircuitsandSystemsforVideoTechnology,Vol.16，No.7，pp.820-829，Jul.2006)一文中的Jia的模型，在此其披露通過引用結(jié)合到本發(fā)明，假設(shè)JND模型140最初是專為8x8離散余弦變換(DCT)塊開發(fā)的。8x8DCT塊的JND模型140可以被擴(kuò)展到以下所述的其它塊尺寸。以X表示將被編碼的塊，Xp是X的預(yù)測。如以下等式⑴所示，殘差塊&被變換、量化和編碼。Xr=X-Xp(1)殘差塊\通過自適應(yīng)塊尺寸變換(ABT)130進(jìn)行變換，也被稱為不同塊尺寸變換，如通過不同塊尺寸離散余弦變換(DCT)以計算被變換的殘差塊Y。被變換的殘差塊Y在以下等式⑵定義Y=T(Xr)(2)其中T表示在殘差塊X,上的ABT。被量化的變換的殘差塊Yq在以下等式(3)定義Yq=Q(Y)(3)其中Q表示量化運(yùn)算。對塊X，計算基于ABT的JND模型140?；贏BT的JND模型140，由Jx(u，ν)表示，是一個包括JND閾值的矩陣或圖，超過該JND閾值，觀察者就能注意到每個殘差系數(shù)的任何失真。JND閾值的計算將在以下討論。以Y(u，ν)表示殘差塊\的第(U，ν)位置的殘差系數(shù)。如果Y(U，ν)的幅值小于叉仏，力，則可以丟棄變換的殘差系數(shù)？㈨力。如果Υ(，ν)的幅值大于Jx(u，v)，變換的殘差系數(shù)Y(u，ν)減去Jx(u，ν)。變換的殘差系數(shù)Y(u，ν)的處理也被稱為一個濾波步驟150(基于ABT的JND濾波)。在一個實(shí)施例里，基于ABT的JND濾波步驟150在量化之前實(shí)施，并且濾波計算如以下等式(4)定義；^…力^垣械八…“^乂丨八“，力卜心，力)if\Y(u,v)\>Jx(u,v),(4)1‘E由以上等式(4)的Jx濾波，由以下等式⑶計算濾波E(uν)=I徹"(五("，v))x(I五…，v)Iif\E(u,v)\>Jx(u,v),⑶1'R=d+λL(10)其中λ是Lagrangian乘子，而L是利用預(yù)測模式對塊進(jìn)行編碼的實(shí)際比特長度。例如，如果幀間預(yù)測的RD成本低于幀內(nèi)預(yù)測，那么就選擇幀間預(yù)測作為該塊的預(yù)測模式?；贏BT的JND濾波步驟150可以看作是一個自適應(yīng)量化步驟，其中每個塊的量化裝置是由其空間和時間特性確定的。因為基于ABT的JND濾波的塊將經(jīng)歷正常的編碼程序，比特流完全與H.264標(biāo)準(zhǔn)兼容，并且能夠通過任何解碼器準(zhǔn)確地進(jìn)行解碼。選擇的變換模式與被濾波的殘差系數(shù)一起，通過熵編碼170進(jìn)行編碼。在進(jìn)行不同塊尺寸變換和基于ABT的JND濾波之后，計算宏塊的總失真及其所需比特。根據(jù)宏塊的總失真及其所需比特，依照率失真優(yōu)化而確定最佳變換模式(最佳變換尺寸)。基于ABT的JND模型140與變換模式有關(guān)，所以不需要編碼額外信息。圖2顯示一個典型實(shí)施例的產(chǎn)生基于ABT的JND模型的流程圖。為了產(chǎn)生基于ABT的JND模型，需要確定塊類型210。如果是一個幀間塊，一個根據(jù)空間和時間特性的平衡策略是合適的。如果是一個幀內(nèi)塊，僅空間平衡策略就合適了。在一個實(shí)施例里，使用8x8基于DCT的JND模型，并可以擴(kuò)展到不同塊尺寸的基于DCT的JND模型，如16x16基于DCT的JND模型和4x4基于DCT的JND模型。圖像的自適應(yīng)的基于塊尺寸變換(ABT)的最小可覺差(JND)模型的詳情在Ma，Lin;Ngan，KingN.所著的AdaptiveBlock-SizeTransformBasedJust-NoticeableDifferenceProfileforImages(Proceedingsofthe10thPacificRimConferenceonMultimedia:AdvancesinMultimediaInformationProcessing,Session13:AdvancedImageProcessingTechniques；Page1208-1218；2009)一文里有描述，在此其披露通過引用結(jié)合到本發(fā)明。在圖像域或變換域內(nèi)可以確定一個自動的JND模型，如DCT和離散小波變換(DWT)或這兩種方案的組合。為了準(zhǔn)確地描述人類如何視覺感受事物，在變換域內(nèi)產(chǎn)生的一個JND模型，其也被稱為基于子帶(subband-based)的JND，可以集合所有主要的影響因子。主要影響因子包括但不限于空間對比敏感度函數(shù)(CSF)、亮度適應(yīng)效應(yīng)和對比度掩蓋(contrastmasking)。ABT允許不同的變換尺寸。依照普通策略采用不同的變換尺寸，即較大變換會提供較好的能量壓縮和較好的細(xì)節(jié)保留，而較小變換可以避免壓縮期間的振鈴現(xiàn)象。如果使用不同的變換尺寸，本發(fā)明允許基于ABT的JND模型使用人類如何視覺感受事物的不同表現(xiàn)。在擴(kuò)展期間，進(jìn)行心理物理實(shí)驗來參數(shù)化空間CSF以考慮人類如何視覺感受事物的特性。圖像內(nèi)容也被自適應(yīng)地調(diào)整以確定采用哪一個變換尺寸來產(chǎn)生基于ABT的JND模型。對一個幀內(nèi)塊，使用空間平衡策略220來確定空間內(nèi)容信息(SCI)在塊內(nèi)是否一致。根據(jù)空間平衡策略220，如果一個16X16塊的空間內(nèi)容信息一致，DCT的塊尺寸被選擇為16X16。16X16DCT被用來產(chǎn)生基于ABT的JND模型。根據(jù)基于16X16塊尺寸的心理物理實(shí)驗221，產(chǎn)生的基于ABT的JND模型是基于16X16的塊尺寸。如果16X16塊的空間內(nèi)容信息不一致，那么16X16塊被分割成8X8塊。隨后，對每個8X8塊，根據(jù)空間平衡策略222，如果8X8塊的空間內(nèi)容信息一致，就選擇DCT的塊尺寸為8X8。8X8DCT被用來產(chǎn)生基于ABT的JND模型。產(chǎn)生的基于ABT的JND模型是基于8X8的塊尺寸。如果8X8塊的空間內(nèi)容信息不一致，就選擇DCT的塊尺寸為4X4，4X4DCT被用來產(chǎn)生基于ABT的JND模型。根據(jù)基于4X4塊尺寸的心理物理實(shí)驗223，產(chǎn)生的基于ABT的JND模型是基于4X4的塊尺寸。對一個幀間塊，使用空間和時間平衡策略230來確定16X16塊的空間內(nèi)容信息(SCI)是否一致，以及16X16塊的運(yùn)動特性距離(MCD)是否一致。依照空間和時間平衡策略230，如果SCI和MCD—致，就選擇DCT的塊尺寸為16X16。16X16DCT被用來產(chǎn)生基于ABT的JND模型。根據(jù)基于16X16塊尺寸的心理物理實(shí)驗231，產(chǎn)生的基于ABT的JND模型是基于16X16的塊尺寸。如果SCI和MCD不一致，16X16塊被分割成8X8區(qū)塊。隨后，對每個8X8塊，使用空間和時間平衡策略232來確定8X8塊的SCI是否一致以及8X8塊的MOT是否一致。依照空間和時間平衡策略232，如果SCI和MCD—致，就選擇DCT的塊尺寸為8X8。8X8DCT被用來產(chǎn)生基于ABT的JND模型。如果SCI和MCD不一致，就選擇DCT的塊尺寸為4X4。4X4DCT被用來產(chǎn)生基于ABT的JND模型。根據(jù)基于4X4塊尺寸的心理物理實(shí)驗233，產(chǎn)生的基于ABT的JND模型是基于4X4的塊尺寸。空間平衡策略在心理物理學(xué)中，最小可覺差(JND)是某一特定感官刺激所能察覺的最小差別。JND也被看作是差別閾限或差分閾值。通常，JND模型能夠以以下等式(11)表述Tjnd=TJNDsxTJNDi(11)其中:是空間JND，而是時間JND調(diào)制因子。在幀間幀，對于處理不適合運(yùn)動估計的塊，也需要幀內(nèi)預(yù)測。因為這些塊依賴于其空間鄰近塊多于時間幀。因此，這些塊被看作僅包含空間信息，并通過遵循空間平衡策略的空間JND模型進(jìn)行模擬。在DCT域里的空間JND模型是由以下等式(12)確定T(m，n，i，j)=Tbasic(i，j)alum(m,n)acm(m,n，i，j)(12)其中(m，n)表示圖像里DCT塊的位置，(i，j)表示DCT子帶(i，j)，Tbasi。是由空間對比敏感度函數(shù)(CSF)產(chǎn)生的基本可視度閾值；alun是亮度適應(yīng)性aCffl是對比度掩蓋；而T(m,n,i，j)是獲得的空間JND閾值?；究梢暥乳撝祷究梢暥乳撝礣basi。被定為空間頻率的對比敏感度的倒數(shù)，其是在空間頻率上人類視覺感受的敏感度，并通過以下等式(13)進(jìn)行模擬H(w)=(a+bco)exp(_cw)(13)其中co是指定的空間頻率。由于JND閾值是由等式(13)模擬的敏感度的倒數(shù)，基本JND閾值由以下等式(14)模擬<formula>formulaseeoriginaldocumentpage9</formula>14)其中s=0.25表示求和影響因子，并且小”小」是如以下等式(15)所定義的DCT正態(tài)因子<formula>formulaseeoriginaldocumentpage9</formula>N表示DCT塊的尺寸。約表示相應(yīng)DCT系數(shù)的方向角度，如以下等式(16)所示(ptj=arcsin(2<y;00J/G>fj)(16)其中辟j是相應(yīng)的DCT子帶(i，j)的空間頻率，由以下等式(17)定義=(1/(狄))>/氏)2+(_/凡)2(17)其中ey分別是水平和垂直視覺角度，由以下等式(18)提供ex=ey=2arctan(1/(2RdPh))(18)其中Rd表示觀看距離與圖像高度的比率，而Ph是圖像高度(像素)。參數(shù)(a，b，c)在以下段落進(jìn)行定義和計算。亮度適應(yīng)性亮度適應(yīng)性aluffl，被用來表示對比不同亮度有多容易地察覺到差別。例如，在黑暗或明亮區(qū)域內(nèi)有一個較高的可視度閾值，以表示要察覺到任何差別會更困難些，而在中等亮度區(qū)域內(nèi)有一個較低的可視度閾值，以表示更容易察覺到任和差別。亮度適應(yīng)性是基于DCT塊的平均強(qiáng)度I■，由以下等式(19)給定<formula>formulaseeoriginaldocumentpage9</formula>其中Iave是整個DCT塊的平均強(qiáng)度值。對比度掩蓋對比度掩蓋a。m被用來表示在出現(xiàn)另一個視覺分量時一個視覺分量可視度的降低。例如，在一個紋理區(qū)域內(nèi)將較難見到噪聲，而在一個光滑區(qū)域或邊緣區(qū)域內(nèi)將更容易見到噪聲。因此，a。^依塊分類的不同而不同，由以下等式(20)給定<formula>formulaseeoriginaldocumentpage9</formula>‘1,平面和邊緣塊2.25,for(i2+/2)<16紋理塊1.25,for(i2+f)>\6紋理塊在一個實(shí)施例里，塊分類是在圖像域內(nèi)實(shí)施的。首先，在圖像域內(nèi)使用Canny邊緣探測器標(biāo)記邊緣像素。其次，基于塊內(nèi)的邊緣像素數(shù)目，塊可以被分類成三種類型，即分別是PLANE(平面)、EDGE(邊緣)、和TEXTURE(紋理)。例如，對一個16X16宏塊，依照以下<formula>formulaseeoriginaldocumentpage9</formula>等式(21)定義塊分類<formula>formulaseeoriginaldocumentpage10</formula>其中EEdge是在一個給定宏塊里邊緣像素的數(shù)目。在一個實(shí)施例里，時間JND模型由以下等式(20)確定(21)<formula>formulaseeoriginaldocumentpage10</formula>(22)其中ft=fsxvx+fsyVfsx，fsy分別是水平空間頻率和垂直空間頻率，而vx，vy分別是沿著水平方向和沿著垂直方向在視網(wǎng)膜平面上物體運(yùn)動的速度。不同塊尺寸變換之間的JND方案的平衡策略在擴(kuò)展8X8到16X16以及4X4之后，將獲得三個基于不同塊尺寸變換的JND方案。較小塊尺寸的DCT將產(chǎn)生較好的能量壓縮和細(xì)節(jié)信息保留，而較大塊尺寸的DCT能夠更有效地表示局部圖像塊的內(nèi)容和特性。幀內(nèi)的空間平衡策略<table>tableseeoriginaldocumentpage10</column></row><table>對幀內(nèi)，圖像首先被分割成16X16宏塊。塊分類被采用作為平衡不同JND方案的基礎(chǔ)。如表格1所示，第一列表示16X16宏塊類型，而第二列表示8X8子塊分類。第三列是產(chǎn)生JND方案的決定。例如，如果16X16宏塊被標(biāo)記為PLANE，而在宏塊內(nèi)的所有8X8子塊也被標(biāo)記為PLANE，則采用16X16基于DCT的JND模型，因為其具有能量壓縮和細(xì)節(jié)信息保留的優(yōu)點(diǎn)。否則，JND方案確定過程將繼續(xù)，如以下表格2表格2(在16X16、8X8和4X4JND方案中間的平衡策略)<table>tableseeoriginaldocumentpage11</column></row><table>例如，如果8X8子塊被標(biāo)記為PLANE，并且在8X8子塊內(nèi)的所有4X4子塊也被標(biāo)記為PLANE，根據(jù)8X8子塊的不同信息和特性，如塊類型是否是PLANE或EDGE或TEXTURE，則采用8X8基于DCT的JND模型用于16X16宏塊內(nèi)的每個8X8子塊。否則，通過考慮4X4子塊的不同內(nèi)容信息和特性，如區(qū)塊類型是否是PLANE或EDGE或TEXTURE，采用4X4基于DCT的JND模型用于每個4X4子塊。幀間的時間平衡策略塊及其子塊之間的時間特性被用于幀間的平衡策略。在一個實(shí)施例里，運(yùn)動矢量被用來表示物體的運(yùn)動特性。運(yùn)動特性距離(MOT)表示一個宏塊及其子塊之間的運(yùn)動特性相似性。MCD由以下等式(23)確定<formula>formulaseeoriginaldocumentpage11</formula>其中MVS」是子塊的運(yùn)動矢量，而MVm」是宏塊的運(yùn)動矢量。如果MCD小于閾值，空間內(nèi)容信息一致，那么將使用一個較大的基于DCT的JND。否則，將采用較小的基于DCT的JND。圖5描述宏塊及其相應(yīng)子塊的運(yùn)動矢量以解釋MCD—致性概念用于幀間的時間平衡策略。圖5顯示一個當(dāng)前幀520及其參考幀510。在當(dāng)前幀520里的宏塊521有一個運(yùn)動矢量，指向參考幀510里的相應(yīng)宏塊511。當(dāng)前幀520里的宏塊522有一個運(yùn)動矢量，指向參考幀510里的相應(yīng)宏塊512。圖中顯示，與宏塊522的子塊的那些運(yùn)動矢量相比，宏塊521的子塊的運(yùn)動矢量與宏塊521的運(yùn)動矢量更加一致。宏塊522的MCD大于宏塊521的MCD，甚至大于閾值，都是可能的。心理物理實(shí)驗圖4顯示一個實(shí)施例里分別在一個16X16塊和一個4X4塊內(nèi)示例分配測試DCT子帶。在一個16X16塊410的實(shí)施例里，測試DCT子帶是由陰影單元表示，如單元411，其分配如附圖所示。在一個4X4塊420的實(shí)施例里，測試DCT子帶由陰影單元表示，如單元421，其分配如附圖所示。如圖4所示，測試DCT子帶被分配，使得至少一個測試DCT子帶安排在每行和每列上，測試DCT子帶覆蓋低頻、中頻和高頻，并且至少一個DCT子帶被安排在每個對角線上。噪聲被分別加到16X16和4X4DCT的某些空間頻率子帶上。對每個測試DCT子帶，基于預(yù)設(shè)的衡量，對每個子帶選擇多個幅度的噪聲。對是否能夠感受到噪聲，觀察者提供意見和看法。如果能察覺到噪聲，將降低噪聲幅度。相反，如果感受不到噪聲，將提高噪聲幅度。在實(shí)驗之后，能夠獲得所選擇DCT子帶的最小可覺差閾值。JND模型有方向性，其表示為對水平和垂直頻率分量的最大敏感度和對對角線分量的最小敏感度。在參數(shù)化期間，至少一個DCT子帶被安排在每行和每列上，至少一個DCT子帶被安排在每個對角線上，并且DCT子帶最好覆蓋低頻、中頻和高頻。采用最小均方誤差來擬合獲得的JND閾值，如以下等式(24)…，b,c)=minZ^-Tb—n，、J)f(24)<ij其中、y是從心理物理實(shí)驗獲得的JND閾值。圖3顯示一個基于ABT的JND濾波的典型實(shí)施例的流程圖。在一個實(shí)施例里，依照不同變換尺寸的DCT，4X4殘差系數(shù)301、8X8殘差系數(shù)302、和16X16殘差系數(shù)303是從ABT300獲得。通過產(chǎn)生JND模型310，而產(chǎn)生選擇的JND模型311，其可以是4X4JND模型、8X8JND模型、或16X16JND模型。此外，每個變換尺寸有兩種類型的JND模型，即幀內(nèi)宏塊的空間JND模型和幀間宏塊的時間JND模型。為了使JND模型與ABT變換兼容，選擇的JND模型通過JND擴(kuò)展312被擴(kuò)展到基于不同塊尺寸的JND模型。在JND擴(kuò)展312里，一些信息諸如不同塊的塊類型、塊分類和運(yùn)動矢量被用來產(chǎn)生每個塊的基于不同塊尺寸的JND模型。因此，獲得了4X4JND模型321、8X8JND模型322、和16X16JND模型323用于濾波變換的殘差系數(shù)。^={°'z/Etyp<JND^typ1sigOilEJ-JNDJ,otherwise等式(25)表示濾波過程?！皌yp”表示用于DCT變換和JND模型的塊尺寸。Etyp是根據(jù)不同塊尺寸的變換的殘差系數(shù)，JNDtyp是產(chǎn)生的JND，其可以是4X4JND模型321、8X8JND模型322、或16X16JND模型323。i㈣是被濾波的系數(shù)。在濾波之后，獲得4X4被濾波的殘差系數(shù)331、8X8被濾波的殘差系數(shù)332、或16X16被濾波的殘差系數(shù)333。殘差系數(shù)與預(yù)測模式信息一起將由率失真優(yōu)化(RD0)340進(jìn)行處理以選擇最佳預(yù)測模式。因此，當(dāng)率失真被激活時，選擇用于塊的預(yù)測模式即是最小化率失真成本的那個預(yù)測模式。在一個實(shí)施例里，率失真成本被定義為R=d+入L。其中\(zhòng)是Lagrangian乘子，而L是對那個預(yù)測模式的塊進(jìn)行編碼的實(shí)際比特長度。圖6描述本發(fā)明提供的一個視頻編碼裝置的典型實(shí)施例的模塊示意圖。以下所述的各個部件可以被實(shí)施為一個或多個處理器。預(yù)測模式確定單元601對輸入視頻數(shù)據(jù)進(jìn)行運(yùn)作，根據(jù)幀預(yù)測模式確定視頻信號里的幀是幀間編碼幀還是幀內(nèi)編碼幀。ABT單元603在輸入視頻數(shù)據(jù)上執(zhí)行自適應(yīng)塊變換以產(chǎn)生各種塊尺寸的DCT變換信號。另一方面，基于ABT的JND模型產(chǎn)生單元602基于以下上述信息產(chǎn)生一個基于ABT的JND模型(1)塊類型，如幀間或幀內(nèi)；(2)塊分類，如平面、邊緣或紋理；和(3)不同尺寸塊的運(yùn)動矢量?；贏BT的JND模型包括一個或多個JND閾值，這些閾值是由基于視覺感受模型的心理物理實(shí)驗確定的。根據(jù)上述空間平衡策略，基于ABT的JND模型產(chǎn)生單元602基于空間內(nèi)容信息計算幀內(nèi)編碼幀的基于ABT的JND模型。根據(jù)上述空間和時間平衡策略，基于ABT的JND模型產(chǎn)生單元602也基于空間內(nèi)容信息和時間特性計算幀間編碼幀的基于ABT的JND模型。通過丟棄一個或多個低于基于ABT的JND模型的JND閾值的殘差系數(shù)，基于ABT的JND濾波單元604濾波一個或多個殘差系數(shù)，從而輸出一個被濾波的殘差系數(shù)的信號?；诒粸V波的殘差系數(shù)，如果率失真優(yōu)化單元激活時，通過降低率失真成本，率失真優(yōu)化單元605確定率失真成本以選擇最佳預(yù)測模式。接著，在對被濾波的殘差系數(shù)進(jìn)行編碼之后，熵編碼單元606計算被編碼的數(shù)據(jù)。本發(fā)明實(shí)施例能夠以軟件、硬件、應(yīng)用邏輯的形式實(shí)施，或以軟件、硬件和應(yīng)用邏輯的組合而實(shí)施。軟件、應(yīng)用邏輯和/或硬件可以被安置在集成電路芯片、模塊或存儲器里。如果期望的話，部分軟件、硬件和/或用用邏輯可以被安置在集成電路芯片里，部分軟件、硬件和/或用用邏輯可以被安置在模塊里，并且部分軟件、硬件和/或用用邏輯可以被安置在存儲器里。在一個典型實(shí)施例里，應(yīng)用邏輯、軟件或指令集合保留在任何一種傳統(tǒng)的非臨時性計算機(jī)可讀媒質(zhì)里。在本說明書里描述的過程和邏輯流程可以通過一個或多個可編程處理器運(yùn)行一個或多個計算機(jī)程序，運(yùn)行輸入數(shù)據(jù)并產(chǎn)生輸出，以執(zhí)行以上功能。過程和邏輯流程也可以通過專用邏輯電路如FPGA(現(xiàn)場可編程柵極陣列)或ASIC(專用集成電路)來運(yùn)行。在本說明書里描述的裝置或設(shè)備可以通過可編程處理器、計算機(jī)、芯片系統(tǒng)或其組合來實(shí)施，運(yùn)行輸入數(shù)據(jù)并產(chǎn)生輸出。裝置或設(shè)備可以包括專用邏輯電路如FPGA(現(xiàn)場可編程柵極陣列)或ASIC(專用集成電路)。裝置或設(shè)備也可以包括硬件、為計算機(jī)程序產(chǎn)生運(yùn)行環(huán)境的代碼，如構(gòu)成處理器固件、協(xié)議堆棧、數(shù)據(jù)庫管理系統(tǒng)、運(yùn)行系統(tǒng)、跨平臺運(yùn)行環(huán)境的代碼，如虛擬機(jī)或一個或多個虛擬機(jī)的組合。適合執(zhí)行計算機(jī)程序的處理器包括諸如通用和專用微處理器，以及任何類型數(shù)字計算機(jī)的任何一個或多個處理器。通常，處理器從只讀存儲器和/或隨機(jī)存取存儲器接收指令和數(shù)據(jù)。計算機(jī)元件通常包括一個用來執(zhí)行指令的處理器、以及一個或多個用來存儲指令和數(shù)據(jù)的存儲器裝置。在本說明書里描述的計算機(jī)可讀媒質(zhì)可以是任何與指令執(zhí)行系統(tǒng)、裝置或設(shè)備如計算機(jī)一起連接以保留、存儲、通信、傳播或傳輸所用指令的任何媒質(zhì)或裝置。計算機(jī)可讀媒質(zhì)可以包括計算機(jī)可讀存儲媒質(zhì)，其可以是任何與指令執(zhí)行系統(tǒng)、裝置或設(shè)備如計算機(jī)一起連接以保留或存儲所用指令的媒質(zhì)或裝置。計算機(jī)可讀媒質(zhì)可以包括所有形式的非易失性存儲器、媒質(zhì)和存儲器裝置，包括如半導(dǎo)體存儲器裝置，如EPR0M、EEPR0M、和閃存裝置，磁碟如內(nèi)置硬碟或可移除碟、磁光碟、以及CD-ROM和DVD-ROM碟。計算機(jī)程序(也被稱為程序、軟件、軟件應(yīng)用程序、腳本或代碼)可以任何編碼語言撰寫，包括可編譯或可解釋語言、可陳述或程序語言，并且能夠以任何形式運(yùn)行，包括以一個單機(jī)程序或適合用于計算環(huán)境里的一個模塊、組件、子程序、對象或其它單元。計算機(jī)程序可以在一個計算機(jī)或多個計算機(jī)上運(yùn)行，計算機(jī)可以安置在單個地點(diǎn)或分布在多個地點(diǎn)，并通過通信網(wǎng)絡(luò)互連。在本說明書里描述的實(shí)施例和/或特征可以實(shí)施在一個計算系統(tǒng)里，其包括一個后端部件如數(shù)據(jù)服務(wù)器，或其包括一個中間件部件如應(yīng)用程序服務(wù)器，或其包括一個前端部件如具有用戶界面或Web瀏覽器的客戶計算機(jī)，由此用戶能夠與本說明書里所述的實(shí)施例進(jìn)行互動，或該計算機(jī)系統(tǒng)可以是一個或多個這種后端、中間或前端部件的任何組合。系統(tǒng)部件可以通過任何形式或通過數(shù)字?jǐn)?shù)據(jù)通信的方法如通信網(wǎng)絡(luò)而進(jìn)行互連。通信網(wǎng)絡(luò)的例子包括局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)，如互聯(lián)網(wǎng)。計算系統(tǒng)可以包括客戶機(jī)和服務(wù)器?？蛻魴C(jī)和服務(wù)器通?；ハ噙h(yuǎn)離，并通常通過一個通信網(wǎng)絡(luò)進(jìn)行互動。客戶機(jī)和服務(wù)器的關(guān)系憑借各個計算機(jī)上運(yùn)行的計算機(jī)程序發(fā)生聯(lián)系，并互相有一個客戶機(jī)_服務(wù)器的關(guān)系。整個說明書包括許多具體實(shí)施細(xì)節(jié)。這些具體實(shí)施細(xì)節(jié)并不意味著是對本發(fā)明范圍的限制，而是作為本發(fā)明特別實(shí)施例的具體特征描述。在各個實(shí)施例上下文里描述的某些特征也可以被合并，并作為單個實(shí)施例。相反地，在單個實(shí)施例的上下文里描述的各個特征也可以單獨(dú)或以任何合適的亞合并方式實(shí)施在多個實(shí)施例里。此外，盡管特征可以被描述以某些方式合并，甚至初始作如此聲明，來自所述組合或聲明組合的一個或多個特征在某些情況下可以被排除出組合，并且聲明組合可能涉及一個亞組合或一個亞組合的變化。盡管本發(fā)明各個方面在獨(dú)立權(quán)利要求里有闡述，但本發(fā)明的其它方面還包括來自實(shí)施例和/或從屬權(quán)利要求的特征以及獨(dú)立權(quán)利要求特征的其他組合，且并不是僅僅在權(quán)利要求里明確闡述的組合。在本說明書里描述的某些功能可以以不同次序和/或互相同時執(zhí)行。而且，如果期望的話，一個或多個上述功能可以是可選的或可以合并。以上描述提供了本發(fā)明的典型實(shí)施例，但不應(yīng)該被看作是限制性的。此外，還有可能對其作出改變和修改，而不會脫離如在所附權(quán)利要求里所定義的本發(fā)明范圍。權(quán)利要求一種視頻編碼裝置，包括一個提供視頻信號的單元；一個預(yù)測模式確定單元，其依照幀預(yù)測模式確定視頻信號里的幀是幀間編碼幀還是幀內(nèi)編碼幀；一個基于ABT的JND模型產(chǎn)生單元，其產(chǎn)生一個基于ABT的JND模型，該模型包括由基于視覺感受模型的心理物理實(shí)驗確定的一個或多個JND閾值；和一個基于ABT的JND濾波器，其通過去除一個或多個低于JND閾值的殘差系數(shù)并從一個或多個大于JND閾值的殘差系數(shù)中減去JND閾值來濾波一個或多個殘差系數(shù)，從而輸出一個含有被濾波的殘差系數(shù)的信號。2.根據(jù)權(quán)利要求1所述的視頻編碼裝置，其中基于空間內(nèi)容信息，基于ABT的JND模型產(chǎn)生單元為幀內(nèi)編碼幀計算基于ABT的JND模型。3.根據(jù)權(quán)利要求2所述的視頻編碼裝置，其中如果塊及其子塊之間的空間內(nèi)容信息一致，就選擇一個較大塊尺寸的基于ABT的JND模型。4.根據(jù)權(quán)利要求2所述的視頻編碼裝置，其中空間內(nèi)容信息是由塊類型確定，而塊類型是由幀的每個塊里的邊緣像素數(shù)量決定的。5.根據(jù)權(quán)利要求1所述的視頻編碼裝置，其中基于空間內(nèi)容信息和時間特性，基于ABT的JND模型產(chǎn)生單元為幀間編碼幀計算基于ABT的JND模型。6.根據(jù)權(quán)利要求5所述的視頻編碼裝置，其中如果空間內(nèi)容信息一致并且時間特性一致，就選擇一個較大塊尺寸的基于ABT的JND模型。7.根據(jù)權(quán)利要求5所述的視頻編碼裝置，其中空間內(nèi)容信息是由塊類型確定，而塊類型是由幀的每個塊里的邊緣像素數(shù)量決定。8.根據(jù)權(quán)利要求5所述的視頻編碼裝置，其中時間特性是由塊及其子塊之間的運(yùn)動特性距離確定。9.一種對視頻信號進(jìn)行編碼的方法，包括使用權(quán)利要求1所述的視頻編碼裝置，處理視頻信號。10.一種對視頻信號進(jìn)行編碼的方法，包括提供一個將被編碼的視頻信號；依照幀預(yù)測模式確定視頻信號里的幀是幀間編碼幀還是幀內(nèi)編碼幀；產(chǎn)生一個基于ABT的JND模型，其包括由基于視覺感受模型的心理物理實(shí)驗確定的一個或多個JND閾值；和通過去除一個或多個低于JND閾值的殘差系數(shù)并從一個或多個大于JND閾值的殘差系數(shù)減去JND閾值，濾波一個或多個殘差系數(shù)，從而輸出一個具有被濾波的殘差系數(shù)的信號。11.根據(jù)權(quán)利要求10所述的視頻信號編碼方法，還包括基于空間內(nèi)容信息，計算幀內(nèi)編碼幀的基于ABT的JND模型。12.根據(jù)權(quán)利要求11所述的視頻信號編碼方法，其中如果塊及其子塊之間的空間內(nèi)容信息一致，就選擇一個較大塊尺寸的基于ABT的JND模型。13.根據(jù)權(quán)利要求11所述的視頻信號編碼方法，其中空間內(nèi)容信息是由塊類型確定的，而塊類型是由幀的每個塊里的邊緣像素數(shù)量決定。14.根據(jù)權(quán)利要求10所述的視頻信號編碼方法，還包括基于空間內(nèi)容信息和時間特性，計算幀間編碼幀的基于ABT的JND模型。15.根據(jù)權(quán)利要求14所述的視頻信號編碼方法，其中如果空間內(nèi)容信息一致并且時間特性一致，就選擇一個較大塊尺寸的基于ABT的JND模型。16.根據(jù)權(quán)利要求14所述的視頻信號編碼方法，其中空間內(nèi)容信息是由塊類型確定的，而塊類型是由幀的每個塊里的邊緣像素數(shù)量決定。17.根據(jù)權(quán)利要求14所述的視頻信號編碼方法，其中時間特性是由塊及其子塊之間的運(yùn)動特性距離確定。全文摘要本發(fā)明涉及通過基于自適應(yīng)塊尺寸變換(ABT)的最小可覺差(JND)模型對視頻編碼的方法和裝置。為了建立最小可覺差模型，使用空間內(nèi)容信息(SCI)來表示宏塊及其子塊之間的空間外觀相似度，并且使用運(yùn)動特性距離(MCD)來表示宏塊及其子塊之間的運(yùn)動特性相似度。對幀內(nèi)編碼幀，基于宏塊SCI的平衡策略被用來產(chǎn)生基于ABT的JND模型。對幀間編碼幀，基于宏塊SCI和MCD的平衡策略被用來產(chǎn)生基于ABT的JND模型。使用基于ABT的JND模型，幀內(nèi)每個塊的殘差系數(shù)被濾波以獲得一組縮減的殘差系數(shù)用于傳輸，但不會降低視覺質(zhì)量。文檔編號H04N7/26GK101835048SQ20101017414公開日2010年9月15日申請日期2010年4月30日優(yōu)先權(quán)日2010年3月30日發(fā)明者劉雨,湛偉權(quán),顏慶義,馬林申請人:香港應(yīng)用科技研究院有限公司