估計(jì)比特流級(jí)別的視頻質(zhì)量的方法及設(shè)備的制作方法
【專利摘要】一種用于估計(jì)比特流級(jí)別的視頻質(zhì)量的方法，其中，所述視頻質(zhì)量涉及錯(cuò)誤隱藏后的視頻，并且在所述錯(cuò)誤隱藏之前在比特流-級(jí)別上執(zhí)行所述方法，所述方法包括：從視頻比特流提取和/或計(jì)算多個(gè)全局條件特征，至少為丟失的MB提取和/或計(jì)算多個(gè)局部有效性特征，通過模擬在所述錯(cuò)誤隱藏中使用的錯(cuò)誤隱藏方法來為每個(gè)（或至少每個(gè)丟失的）MB計(jì)算數(shù)值錯(cuò)誤隱藏有效性級(jí)別，以及提供計(jì)算出的錯(cuò)誤隱藏有效性級(jí)別作為視頻質(zhì)量的估計(jì)的可見偽像級(jí)別。
【專利說明】估計(jì)比特流級(jí)別的視頻質(zhì)量的方法及設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于估計(jì)特別是在視頻解碼前的比特流級(jí)別上的感知的視頻質(zhì)量的方法和設(shè)備。
【背景技術(shù)】
[0002]本節(jié)旨在向讀者介紹可能與下面描述和/或要求保護(hù)的本發(fā)明的各方面相關(guān)的技術(shù)的各個(gè)方面。相信這種討論有助于向讀者提供背景信息以便更好地理解本發(fā)明的各個(gè)方面。因此，應(yīng)當(dāng)理解，需要從這個(gè)角度來閱讀這些語句，而不是作為對(duì)現(xiàn)有技術(shù)的承認(rèn)。
[0003]在IP網(wǎng)絡(luò)上的視頻傳送是不可靠的。對(duì)VQM (視頻質(zhì)量建模)的需求是為了評(píng)價(jià)除了由視頻壓縮所導(dǎo)致的那些質(zhì)量下降之外的由于IP傳輸損傷(例如，數(shù)據(jù)包丟失、延遲、抖動(dòng))所導(dǎo)致的質(zhì)量下降。在解碼器處應(yīng)用錯(cuò)誤隱藏(EC)之后評(píng)估偽像(artifact)，因?yàn)樵摻Y(jié)果應(yīng)涉及觀眾所感知的視頻質(zhì)量。EC的目標(biāo)是估計(jì)起因于位擦除或數(shù)據(jù)包丟失的丟失宏塊(MB)，以便提供最低程度的感知質(zhì)量下降。因此，準(zhǔn)確預(yù)測(cè)EC的有效性是VQM測(cè)量傳輸損傷的基本部分。
[0004]EC方法是空間的(例如，雙線性插值，主要用于1-幀)或時(shí)間的(即,估計(jì)丟失的運(yùn)動(dòng)向量(MV)，主要用于B-和P-幀XVOM技術(shù)可分為數(shù)據(jù)包-分層模型、比特流-級(jí)別模型、媒體級(jí)別模型和混合模型。ITU-T SG12/Q14考慮比特流-級(jí)別無參考視頻質(zhì)量(VQ)評(píng)估模型以預(yù)測(cè)觀察到的編碼和IP網(wǎng)絡(luò)損傷對(duì)移動(dòng)流傳輸和IPTV應(yīng)用中的質(zhì)量的影響。它使用比特流信息、以及數(shù)據(jù)包報(bào)頭中包含的信息、有關(guān)媒體流的先驗(yàn)知識(shí)和來自客戶端的緩沖信息來預(yù)測(cè)平均意見得分(M0S)。H.Rui, C.Li和S.Qiu在《浙江大學(xué)科學(xué)期刊A輯》(2006年 I 月)第 7 卷，第 131-136 頁的“Evaluation of packet loss impairment on streamingvideo”中提出了使用強(qiáng)大的空間不連續(xù)性作為丟包提示、并且基于解碼的像素信息的VQM模型。然而，這些信息在比特流-級(jí)別是不可得的。
[0005]T.Yamada, Y.Miyamoto 和 M.Serizawa 在(2007 年)《數(shù)據(jù)包視頻》第 288-293頁 的“No-reference video quality estimation based on error-concealmenteffectiveness”中描述了使用比特流-級(jí)別信息和解碼的像素信息兩者的無參考混合VQM。它將錯(cuò)誤隱藏被確定為無效的MB的數(shù)量映射到MOS值。
[0006]上述方法的問題是，當(dāng)丟失的MB不固定時(shí)，它們表現(xiàn)不佳，而這在現(xiàn)實(shí)視頻序列中經(jīng)常發(fā)生。
[0007]A.R.Reibman, V.A.Vaishampayan 和 Y.Sermadevi 在 IEEE 多媒體匯刊(2004 年)第327-334 頁，6 (2)的 “Quality monitoring of video over a packet network” 中在傳輸損傷情況下使用EC視頻序列的無參考比特流-級(jí)別VQM來估計(jì)MSE (均方誤差)。使用來自所接收的基于宏塊的視頻比特流(例如1-幀MB的DCT的DC分量和AC分量，P-和B-MB的運(yùn)動(dòng)向量)的一些統(tǒng)計(jì)參數(shù)的估計(jì)。這種模型的一個(gè)問題是它使用MSE (均方誤差)作為目標(biāo)視覺質(zhì)量度量，而不是主觀的M0S。眾所周知，MSE不是用于主觀視頻質(zhì)量好的度量，尤其對(duì)于測(cè)量由傳輸損傷所導(dǎo)致的質(zhì)量下降。
【發(fā)明內(nèi)容】

[0008]由基于像素插值的EC方案和由基于MV估計(jì)的EC方案所產(chǎn)生的可見偽像有很大的不同。一般來說，空間方法產(chǎn)生缺失MB的模糊估計(jì)，而時(shí)間方法產(chǎn)生可能更少干擾或不可見的邊緣偽像。
[0009]本發(fā)明提供了一種作為比特流-級(jí)別VQM模型極其重要的部分的比特流-級(jí)別EC有效性評(píng)價(jià)方法和一種相應(yīng)的設(shè)備。該方法和設(shè)備至少可用于由一般網(wǎng)絡(luò)傳輸損傷所導(dǎo)致的感知視頻質(zhì)量下降的無參考VQM測(cè)量。特別是，該方法和設(shè)備在因特網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)傳輸損傷的情況下是有利的。
[0010]根據(jù)本發(fā)明，用于評(píng)價(jià)反映EC有效性的可見偽像級(jí)別的方案包括提取比特流-級(jí)別的編碼的視頻的多個(gè)局部特征(在這里也稱為有效性特征)和多個(gè)全局特征(在這里也稱為條件特征)，并通過模擬在解碼器處使用的具體錯(cuò)誤隱藏方法的過程來計(jì)算EC有效性的數(shù)值級(jí)別。
[0011 ] 例如,多個(gè)有效性特征是空間運(yùn)動(dòng)均勻性(homogeneity )分組、時(shí)間運(yùn)動(dòng)一致性、紋理平滑度和一個(gè)或多個(gè)特殊編碼模式的概率。在一個(gè)實(shí)施例中，提取了三個(gè)有效性特征，即空間運(yùn)動(dòng)均勻性、時(shí)間運(yùn)動(dòng)一致性和紋理平滑度。
[0012]多個(gè)條件特征是從接收到的比特流計(jì)算的每個(gè)幀的全局特征。它們用作確定或估計(jì)將哪種類型的EC方法用于傳輸損耗后的幀的條件。示例性條件特征為幀類型、幀內(nèi)-MB(intra-MB)/巾貞間-MB (inter_MB)的比例、運(yùn)動(dòng)指數(shù)和紋理指數(shù)。紋理指數(shù)可以是基于任何已知的紋理分析方法，例如，將DC系數(shù)和/或所選的AC系數(shù)與閾值進(jìn)行比較。在一個(gè)實(shí)施例中，提取所有這四個(gè)條件特征，或者分別計(jì)算這四個(gè)條件特征。
[0013]所使用的所有特征都是基于從比特流-級(jí)別的(S卩，無需解碼比特流為像素域)編碼視頻提取的數(shù)據(jù)。這具有保持視頻質(zhì)量評(píng)估模式的計(jì)算復(fù)雜度較低的優(yōu)點(diǎn)，因?yàn)椴簧婕皬?fù)雜視頻解碼處理，只有視頻語法分析是必需的；同時(shí)模型的視頻質(zhì)量預(yù)測(cè)準(zhǔn)確性得到提高，因?yàn)榭紤]了視頻內(nèi)容特征、編碼特征和解碼器特征。另一個(gè)優(yōu)點(diǎn)是，結(jié)果獨(dú)立于實(shí)際使用的解碼器，并因此是客觀的，從而使得不同的結(jié)果具有可比性。
[0014]在一個(gè)實(shí)施例中，從相鄰的正確的MB的MV獲得為丟失的或不正確的MB所計(jì)算的空間運(yùn)動(dòng)均勻性。在一個(gè)實(shí)施例中，從MV均勻度(uniformity)獲得時(shí)間運(yùn)動(dòng)一致性。在一個(gè)實(shí)施例中，只為1-幀從相鄰MB的DCT系數(shù)計(jì)算紋理平滑度。在一個(gè)實(shí)施例中，MB的中貞間跳躍模式(inter-skip mode)比例和/或巾貞間直接模式(inter-direct mode)比例是基于來自相鄰MB的4x4塊的數(shù)據(jù)。
[0015]在一個(gè)實(shí)施例中，一種用于估計(jì)視頻質(zhì)量的方法包括下列步驟，所述視頻質(zhì)量涉及錯(cuò)誤隱藏(EC)后的視頻，并且在所述EC之前在比特流-級(jí)別上執(zhí)行所述方法:
[0016]從視頻比特流提取和/或計(jì)算多個(gè)全局條件特征，
[0017]確定丟失了宏塊(MB)，
[0018]至少為丟失的MB提取和/或計(jì)算多個(gè)局部有效性特征，
[0019]通過模擬在所述EC中使用的EC方法來為每個(gè)(或至少每個(gè)丟失的)MB計(jì)算數(shù)值EC有效性級(jí)別，以及
[0020]提供計(jì)算出的EC有效性級(jí)別作為視頻質(zhì)量的估計(jì)的可見偽像級(jí)別。[0021]在一個(gè)實(shí)施例中，一種用于估計(jì)視頻質(zhì)量的設(shè)備包括下列部件，所述視頻質(zhì)量涉及錯(cuò)誤隱藏后的、并且在所述錯(cuò)誤隱藏之前在比特流-級(jí)別上估計(jì)的視頻:
[0022]第一提取和計(jì)算部件，用于從視頻比特流提取和/或計(jì)算多個(gè)全局條件特征，
[0023]確定部件，用于確定丟失了 MB，
[0024]第二提取和計(jì)算部件，用于至少為丟失的MB提取和/或計(jì)算多個(gè)局部有效性特征，
[0025]計(jì)算部件，用于通過模擬錯(cuò)誤隱藏方法來為每個(gè)(或至少每個(gè)丟失的)MB計(jì)算數(shù)值EC有效性級(jí)別，以及
[0026]輸出部件，用于提供計(jì)算出的錯(cuò)誤隱藏有效性級(jí)別作為視頻質(zhì)量的估計(jì)的可見偽像級(jí)別。
[0027]本發(fā)明的有利實(shí)施例公開在從屬權(quán)利要求、下面的描述和附圖中。
【專利附圖】

【附圖說明】
[0028]參照附圖描述本發(fā)明的示例性實(shí)施例，附圖中
[0029]圖1是VQM和偽像類型的概述；
[0030]圖2是所建議的方案的框圖；
[0031]圖3是提取EC有效性特征和提取條件特征的框圖；
[0032]圖4是丟失的MB和其鄰近MB ；以及
[0033]圖5是H.264中的幀內(nèi)_4X4和幀內(nèi)_8X8預(yù)測(cè)模式方向。
【具體實(shí)施方式】
[0034]有線和無線IP網(wǎng)絡(luò)上的視頻通信(例如，IPTV服務(wù))變得非常流行。相比傳統(tǒng)的在電纜網(wǎng)絡(luò)上的視頻傳輸，在IP網(wǎng)絡(luò)上的視頻傳送可靠性較低。在無線網(wǎng)絡(luò)的環(huán)境中情況更糟糕。相應(yīng)地，期望視頻質(zhì)量建模(VQM)來評(píng)價(jià)除了由視頻壓縮所導(dǎo)致的那些質(zhì)量下降之外的由IP傳輸損傷(例如，數(shù)據(jù)包丟失、延遲、抖動(dòng))所導(dǎo)致的質(zhì)量下降。如圖1所示，有兩類分別由傳輸和視頻編碼引起的可見偽像:傳輸損傷/網(wǎng)絡(luò)損傷50和編碼偽像60。
[0035]僅與VQM測(cè)量編碼偽像相比，對(duì)于由網(wǎng)絡(luò)損傷所導(dǎo)致的VQM測(cè)量感知偽像所特定的一個(gè)挑戰(zhàn)是在解碼器處應(yīng)用錯(cuò)誤隱藏之后評(píng)估偽像。當(dāng)在網(wǎng)絡(luò)傳輸中丟失了編碼視頻比特流的某些部分時(shí)，解碼器將采用錯(cuò)誤隱藏(EC)的方法來隱藏所丟失的部分以企圖減少感知的視頻質(zhì)量下降。所隱藏的丟失偽像越不可見，EC方法就越有效。EC有效性在很大程度上取決于視頻內(nèi)容特征。對(duì)EC有效性的評(píng)價(jià)確定發(fā)生數(shù)據(jù)包丟失時(shí)的初始可見偽像(IVA)級(jí)別。此外，IVA將空間-時(shí)間地傳播到將它用作如H.264、MPEG-2等的預(yù)測(cè)的視頻編碼框架中的參考的區(qū)域?？傊珽C有效性的準(zhǔn)確預(yù)測(cè)是VQM測(cè)量傳輸損傷的一個(gè)基本部分。根據(jù)VQM可得的輸入信息，VQM技術(shù)可分為數(shù)據(jù)包-分層模型10、比特流-級(jí)別20、媒體級(jí)別模型30和混合模型40。
[0036]數(shù)據(jù)包-分層模型10包括多路信號(hào)分離器和拆包器11。比特流-級(jí)別20也包括多路信號(hào)分離器和拆包器21，但還附加地包括對(duì)編碼視頻比特流的語法解析器22。兩個(gè)模型都考慮進(jìn)入視頻解碼器25前的視頻信號(hào)。視頻解碼器25通常包括EC單元或與EC單元結(jié)合。因此，數(shù)據(jù)包-分層模型10和比特流-級(jí)別模型20在觀眾所感知的視頻質(zhì)量時(shí)必須估計(jì)EC單元的效果。另一方面，在視頻解碼和EC單元25之后使用媒體級(jí)別模型30和混合模型40?；旌夏Ｐ?0也包括多路信號(hào)分離器和拆包器41、對(duì)編碼視頻比特流的解析器42和包括EC單元的視頻解碼器43。上述由P.NBAMS (ITU-T SG12/Q14)所考慮的比特流-級(jí)別視頻質(zhì)量評(píng)估模型相較于，例如，媒體-級(jí)別模型30，是輕量級(jí)模型，并且適合于實(shí)時(shí)監(jiān)控和便于在例如機(jī)頂盒或家庭網(wǎng)關(guān)的客戶設(shè)備中部署。下面描述的比特流-級(jí)別EC有效性評(píng)價(jià)方法是比特流-級(jí)別VQM模型20的一個(gè)重要部分。
[0037]當(dāng)在網(wǎng)絡(luò)傳輸過程中丟失編碼視頻比特流的部分時(shí)，解碼和EC單元25將采用EC來隱藏所丟失的部分。由數(shù)據(jù)包丟失所產(chǎn)生的偽像的程度在很大程度上取決于所采用的EC方案。EC的目標(biāo)是估計(jì)壓縮視頻流中由于位擦除或數(shù)據(jù)包丟失所導(dǎo)致的缺失的宏塊(MB)的像素，以便提供最低程度的感知質(zhì)量下降。通常，EC方法大致可分為兩類:空間和時(shí)間。在空間分類中，利用局部像素之間的空間相關(guān)性；通過插入鄰近像素的技術(shù)來恢復(fù)缺失的MB。在時(shí)間分類中，利用運(yùn)動(dòng)字段的連貫性和沿跨越塊邊界的邊緣的像素的空間平滑度來估計(jì)丟失MB的運(yùn)動(dòng)向量(MV)。例如，在H.264JM參考解碼器中，應(yīng)用空間方法通過使用雙線性插值技術(shù)來猜測(cè)幀內(nèi)編碼幀(I幀)的丟失的MB。應(yīng)用時(shí)間方法通過從鄰近MB的MV估計(jì)丟失MB的MV來猜測(cè)幀間預(yù)測(cè)幀(P-巾貞，B-巾貞)的丟失的MB。使用邊界匹配標(biāo)準(zhǔn)來選擇最好的MV估計(jì)。
[0038]由基于像素插值的EC方案和由基于運(yùn)動(dòng)向量估計(jì)的EC方案所產(chǎn)生的可見偽像有很大的不同。一般情況下，空間方法產(chǎn)生缺失MB的模糊估計(jì)，而如果猜測(cè)的MV不準(zhǔn)確的話，時(shí)間方法產(chǎn)生邊緣偽像。在其它情況下，時(shí)間方法幾乎不產(chǎn)生可見偽像。
[0039]圖2示出了用于評(píng)價(jià)可見偽像同時(shí)反映EC有效性的所公開的方案的框圖。輸入信號(hào)105被提供給兩個(gè)特征提取單元120、130。在局部特征提取單元120中，基于所接收的比特流信息，為每個(gè)(或至少為每個(gè)丟失的)MB提取和/或計(jì)算反映EC方法的有效性的至少兩個(gè)局部特征。在全局特征提取單元130中，從所接收的比特流中提取和/或計(jì)算每個(gè)幀的至少兩個(gè)全局特征，并且所述每個(gè)幀的至少兩個(gè)全局特征被用作確定將哪種類型的EC方法用于具有傳輸損耗的幀的條件。最后，在EC有效性估計(jì)單元140中通過模擬在解碼器處采用的預(yù)先已知的EC方法來獲得每個(gè)(或至少每個(gè)丟失的)MB的EC有效性的數(shù)值可見偽像級(jí)別。輸出是反映EC有效性的可見偽像級(jí)別值145?？梢酝ㄟ^任何方法，例如通過自動(dòng)檢測(cè)、手動(dòng)輸入、預(yù)編程等來獲得在解碼器處采用的EC方法。也可由解碼和EC單元25直接或間接地提供。
[0040]圖3示出局部特征提取單元120和全局特征提取單元130的示例性實(shí)施例。
[0041]在一個(gè)實(shí)施例中，局部特征提取單元120包括用于評(píng)估不同的有效性特征的三個(gè)子單元121-123，即，用于計(jì)算空間MV均勻性的第一子單元121、用于計(jì)算時(shí)間MV均勻度的第二子單元122、用于計(jì)算MV幅度的第三子單元123和用于計(jì)算紋理平滑度的第四子單元124。此外(未示出)，可能有用于計(jì)算某些模式(例如，幀間跳躍模式和/或幀間直接模式)的概率的一個(gè)或多個(gè)另外的子單元。
[0042]在一個(gè)實(shí)施例中，全局特征提取單元130包含用于評(píng)估不同條件特征的四個(gè)子單元131-134，即，幀類型確定子單元131、幀內(nèi)-/幀間比例檢測(cè)子單元132、運(yùn)動(dòng)指數(shù)確定子單元133和紋理指數(shù)確定子單元134。
[0043]在以下對(duì)子單元的描述中，幀索引被表示為n，幀中MB的坐標(biāo)被表示為(i，j)。對(duì)于在巾貞η中丟失的MB (i, j),計(jì)算巾貞η的條件特征和MB (i, j )的局部特征。在一個(gè)實(shí)施例中，在局部特征之前計(jì)算條件特征。在下文中，描述局部特征確定單元120的子單元，參見圖3。
[0044]空間均勻性確定單元121計(jì)算空間MV均勻性。在一個(gè)實(shí)施例中，在X方向和y方向計(jì)算空間均勻度的兩個(gè)單獨(dú)的參數(shù)。
[0045]空間均勻度MVx (n, i, j)
[0046]=標(biāo)準(zhǔn)方差{mvx(n,i_l, j-l),mvx(n, i, j-l),mvx(η, i+1, j-l),mvx(n, i_l, j),
[0047]mvx (n, i+1, j)，mvx (n, i_l, j+1)，mvx (n, i, j+1)，mvx (n, i+1, j+1)}
[0048]空間均勻度MVy (n, i, j)
[0049]=標(biāo)準(zhǔn)方差{mvy(n,i_l, j-l),mvy(n, i, j-l),mvy(n, i+1, j-l),mvy(n, i_l, j),
[0050]mvy(n, i+1, j),mvy(n, i_l, j+l),mvy(n, i, j+l),mvy(n, i+1, j+1)}
[0051]圖4b)示出具有丟失MB(n, i, j)的當(dāng)前視頻n的一部分。圖4a)示出前一視頻中貞n-Ι的相同的部分并且圖4c)示出下一視頻幀n+1的相同的部分。只要接收或恢復(fù)了圍繞丟失MB(n，i, j)的八個(gè)MB的任何一個(gè)，將它的運(yùn)動(dòng)向量，如果有的話，用于計(jì)算空間MV均勻性。如果沒有可用的鄰近MB，將空間MV均勻性設(shè)置為前一參考幀中的并置排列的MB (BP,分級(jí)H.264編碼中的P幀或參考B幀)的空間MV均勻性。對(duì)于H.264視頻編碼器，一個(gè)MB可能被劃分成用于運(yùn)動(dòng)估計(jì)的子塊。因此，在H.264編碼器的情況下，在上述公式中可能使用MB的4X4大小的塊的十六個(gè)個(gè)運(yùn)動(dòng)向量,而不是MB的一個(gè)運(yùn)動(dòng)向量。通過從當(dāng)前巾貞到相應(yīng)的參考幀的距離來歸一化每個(gè)運(yùn)動(dòng)向量。這種做法也被應(yīng)用于下面的涉及操縱運(yùn)動(dòng)向量的計(jì)算中。鄰近MV的標(biāo)準(zhǔn)方差越小，這些MB的運(yùn)動(dòng)越均勻。相應(yīng)地，如果在這里應(yīng)用基于運(yùn)動(dòng)估計(jì)的某種類型的時(shí)間EC方法，則更可能不帶有可見偽像地隱藏丟失的MB。這個(gè)特點(diǎn)適用于如P-幀和B-幀的幀間預(yù)測(cè)幀的丟失的MB。對(duì)于B-幀,可能有兩個(gè)運(yùn)動(dòng)字段，向前和向后字段。分別在兩個(gè)方向上計(jì)算空間均勻度。
[0052]時(shí)間均勻度確定單元122計(jì)算時(shí)間MV均勻度。在一個(gè)實(shí)施例中，在x方向和y方向計(jì)算時(shí)間均勻度的兩個(gè)單獨(dú)的參數(shù):
[0053]時(shí)間均勻度MVx(n，i，j)
[0054]=標(biāo)準(zhǔn)方差{(mvx(n+l,i’，j’)-mvx(n-l, i’，j’))I (i’，j’)e {九個(gè)時(shí)間鄰近
MB的位置}}
[0055]時(shí)間均勻度MVy(n，i，j)
[0056]=標(biāo)準(zhǔn)方差{(mvy(n+l,i’，j’)-mvy(n-l, i’，j’))I (i，，j’)e {九個(gè)時(shí)間鄰近
MB的位置}}
[0057]如圖4所示，時(shí)間MV均勻性被計(jì)算為相鄰幀中并置排列的MB之間的運(yùn)動(dòng)差異的標(biāo)準(zhǔn)方差。標(biāo)準(zhǔn)方差越小，這些宏塊在時(shí)間軸中的運(yùn)動(dòng)越均勻，相應(yīng)地，如果在這里應(yīng)用基于運(yùn)動(dòng)投影的時(shí)間EC方法，則更可能不帶有可見偽像地隱藏丟失的MB。這個(gè)特點(diǎn)適用于幀內(nèi)幀(例如，1-幀)和幀間預(yù)測(cè)幀(例如，P-幀和/或B-幀)兩者的丟失的MB。
[0058]如果相鄰幀(例如,幀n+1)之一是在編碼比特流中沒有可用MV的幀間幀,使用丟失MB的空間相鄰的MB (即，如圖4b)所示的(n，i ± 1，j ± I)的MV和幀間預(yù)測(cè)幀(即，幀n_l和/或n+1)的時(shí)間相鄰MB的MV來計(jì)算時(shí)間MV均勻度。即，
[0059]時(shí)間均勻度MVx(n，i，j)[0060]=標(biāo)準(zhǔn)方差{(mvx(n, i，，j，) _mvx (n_l, i，，j，))I (i，，j，) e {八個(gè)鄰近 MB 的位
置}}
[0061]時(shí)間均勻度MVy(n，i，j)
[0062]=標(biāo)準(zhǔn)方差{(mvy(n, i，，j，) _mvy (n_l, i，，j，))I (i，，j，) e {八個(gè)鄰近 MB 的位
置}}
[0063]MV幅度確定單元123計(jì)算MV幅度。對(duì)于簡(jiǎn)單的基于零運(yùn)動(dòng)副本的EC方案，MV幅度越大，丟失偽像就越可能是可見的。在一個(gè)實(shí)施例中，計(jì)算鄰近MB和當(dāng)前MB (如果沒有丟失的話)的運(yùn)動(dòng)向量的平均值。即，
[0064]平均幅度MV(n，i，j)
[0065]=求平均
【權(quán)利要求】
1.一種用于估計(jì)比特流級(jí)別的視頻質(zhì)量的方法，所述視頻質(zhì)量涉及錯(cuò)誤隱藏后的視頻，并且在所述錯(cuò)誤隱藏之前在比特流-級(jí)別上執(zhí)行所述方法，所述方法包括下列步驟 -從視頻比特流提取和/或計(jì)算多個(gè)全局條件特征； -確定丟失了 MB ； -至少為丟失的MB提取和/或計(jì)算多個(gè)局部有效性特征； -通過模擬在所述錯(cuò)誤隱藏中使用的錯(cuò)誤隱藏方法來為丟失的MB計(jì)算數(shù)值錯(cuò)誤隱藏有效性級(jí)別；以及 -提供計(jì)算出的錯(cuò)誤隱藏有效性級(jí)別作為視頻質(zhì)量的估計(jì)的可見偽像級(jí)別。
2.如權(quán)利要求1的方法，其中，所述多個(gè)條件特征包括幀類型、幀內(nèi)MB與幀間MB的比例、運(yùn)動(dòng)指數(shù)和紋理指數(shù)中的至少兩個(gè)。
3.如權(quán)利要求2的方法，其中，所述多個(gè)條件特征至少包括幀類型、幀內(nèi)MB與幀間MB的比例、運(yùn)動(dòng)指數(shù)和紋理指數(shù)。
4.如權(quán)利要求2或3的方法，其中，從幀的感興趣的MB的紋理平滑度特征獲得紋理指數(shù)，其中，感興趣的MB包括丟失的MB本身和與丟失的MB相鄰的MB，并且其中，從DC系數(shù)能量與DC和AC系數(shù)的積累的能量之比與閾值的比較中獲得紋理平滑度特征。
5.如權(quán)利要求1-4中任一項(xiàng)的方法，其中，所述多個(gè)局部有效性特征包括空間運(yùn)動(dòng)向量均勻性、時(shí)間運(yùn)動(dòng)向量均勻 度和紋理平滑度中的至少兩個(gè)。
6.如權(quán)利要求5中任一項(xiàng)的方法，其中，所述多個(gè)局部有效性特征至少包括空間運(yùn)動(dòng)向量均勻性、時(shí)間運(yùn)動(dòng)向量均勻度、平均運(yùn)動(dòng)幅度和紋理平滑度。
7.如權(quán)利要求5-6中一項(xiàng)的方法,其中,所述空間運(yùn)動(dòng)向量均勻性是基于相鄰正確MB的運(yùn)動(dòng)向量。
8.如權(quán)利要求5-7中一項(xiàng)的方法，其中，從DC系數(shù)能量與DC+AC能量之比與閾值的比較中，并且基于當(dāng)前MB和相鄰MB的DCT系數(shù)來獲得所述紋理平滑度。
9.如權(quán)利要求1-8中任一項(xiàng)的方法，其中，使用H.264編碼并且所述多個(gè)局部有效性特征包含幀間-跳躍模式比例和幀間-直接模式比例中的至少一個(gè)。
10.一種用于估計(jì)視頻質(zhì)量的設(shè)備，所述視頻質(zhì)量涉及錯(cuò)誤隱藏后的視頻并且在所述錯(cuò)誤隱藏之前在比特流-級(jí)別對(duì)其進(jìn)行估計(jì)，所述設(shè)備包括 -第一提取和計(jì)算部件(120)，用于從視頻比特流提取和/或計(jì)算多個(gè)全局條件特征； -確定部件，用于確定丟失了 MB ； -第二提取和計(jì)算部件(130)，用于至少為丟失的MB提取和/或計(jì)算多個(gè)局部有效性特征； -計(jì)算部件(140)，用于通過模擬錯(cuò)誤隱藏方法來為丟失的MB計(jì)算數(shù)值EC有效性級(jí)別；以及 -輸出部件(141)，用于提供計(jì)算出的錯(cuò)誤隱藏有效性級(jí)別作為視頻質(zhì)量的估計(jì)的可見偽像級(jí)別。
11.如權(quán)利要求10的設(shè)備，其中，所述多個(gè)條件特征包括幀類型、幀內(nèi)MB與幀間MB的比例、運(yùn)動(dòng)指數(shù)和紋理指數(shù)中的至少兩個(gè)。
12.如權(quán)利要求11的設(shè)備，其中，所述多個(gè)條件特征至少包括幀類型、幀內(nèi)MB與幀間MB的比例、運(yùn)動(dòng)指數(shù)和紋理指數(shù)。
13.如權(quán)利要求11或12的設(shè)備，其中，從幀的感興趣的MB的紋理平滑度獲得紋理指數(shù)，從DC系數(shù)能量與DC和AC系數(shù)的積累的能量之比與閾值的比較中獲得紋理平滑度，其中，感興趣的MB包括丟失的MB本身和與丟失的MB相鄰的MB。
14.如權(quán)利要求10-13中任一項(xiàng)的設(shè)備，其中，所述多個(gè)局部有效性特征包括空間運(yùn)動(dòng)向量均勻性、時(shí)間運(yùn)動(dòng)向量均勻度和紋理平滑度中的至少兩個(gè)。
15.如權(quán)利要求10-14中任一項(xiàng)的設(shè)備，其中，使用H.264編碼并且所述多個(gè)局部有效性特征包含幀間-跳躍模式比例和幀間-直接模式比例中的至少一個(gè)。
【文檔編號(hào)】H04N19/895GK103548342SQ201180070515
【公開日】2014年1月29日 申請(qǐng)日期:2011年5月12日 優(yōu)先權(quán)日:2011年5月12日
【發(fā)明者】廖寧, 顧曉東, 陳志波, 謝凱 申請(qǐng)人:湯姆遜許可公司