專(zhuān)利名稱(chēng)：基于關(guān)鍵幀圖像質(zhì)量加權(quán)的無(wú)參考視頻質(zhì)量客觀評(píng)價(jià)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻通信質(zhì)量的評(píng)價(jià)方法，確切地說(shuō)，涉及一種面向現(xiàn)有網(wǎng)絡(luò)的無(wú)參考視頻質(zhì)量的自動(dòng)評(píng)測(cè)方法，用于解決在無(wú)原始視頻參考情況下，客觀評(píng)價(jià)接收端視頻質(zhì)量的復(fù)雜度和準(zhǔn)確性問(wèn)題，屬于視頻通信技術(shù)領(lǐng)域。
背景技術(shù)：
目前，視頻質(zhì)量評(píng)價(jià)主要采用兩種形式主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)方法需要由一些人員按照設(shè)定規(guī)則進(jìn)行評(píng)分，該方法工作可靠，但是操作復(fù)雜、費(fèi)時(shí)，并不適合無(wú)線(xiàn)視頻業(yè)務(wù)等實(shí)時(shí)監(jiān)控的應(yīng)用場(chǎng)合?？陀^評(píng)價(jià)方法是通過(guò)儀器或軟件自動(dòng)分析視頻質(zhì)量而給出量化的評(píng)價(jià)分?jǐn)?shù)，其評(píng)價(jià)結(jié)果具有數(shù)值性、易操作性和可重復(fù)性等特點(diǎn)，已成為視頻質(zhì)量研究的熱點(diǎn)。根據(jù)有無(wú)原始視頻作為參考，通常將客觀評(píng)價(jià)方法分為三類(lèi)全參考型 FR (Full-Reference),部分參考型 RR(Reduce-Reference)和無(wú)參考型 NR(No-Reference)。 FR評(píng)價(jià)方法已經(jīng)取得了很好的性能，但是，由于該類(lèi)算法需要完整的原始視頻作參考，這在接收終端往往是無(wú)法實(shí)現(xiàn)或不存在的，致使實(shí)際應(yīng)用范圍很受限制。所以，國(guó)內(nèi)外越來(lái)越多的高等院校及科研機(jī)構(gòu)開(kāi)始從事NR評(píng)價(jià)算法的研究。相對(duì)于FR評(píng)價(jià)而言，NR方法的實(shí)用價(jià)值更大，但研究比較困難，取得的成果十分有限，評(píng)價(jià)效果也不甚理想。實(shí)際網(wǎng)絡(luò)中，影響視頻通信質(zhì)量的因素主要包括兩類(lèi)失真一是視頻編碼技術(shù)帶來(lái)的失真(如方塊效應(yīng)、模糊、噪聲等)；二是傳輸網(wǎng)絡(luò)的數(shù)據(jù)丟包或時(shí)延帶來(lái)的失真(如馬賽克、抖動(dòng)等)。因此，大部分NR客觀評(píng)價(jià)算法的核心思想是描述上述損傷的若干種特征參數(shù)，再確定每個(gè)特征參數(shù)與客觀評(píng)分之間的函數(shù)。NR客觀評(píng)價(jià)的另一類(lèi)重要方法是基于視頻質(zhì)量的先驗(yàn)知識(shí)進(jìn)行評(píng)價(jià)，即首先需要建立基于神經(jīng)網(wǎng)絡(luò)NN(Neural Network)或者支持向量機(jī)SVM(Support Vector Machine)的視頻質(zhì)量評(píng)價(jià)模型,然后根據(jù)該視頻的若干可得到的特征參數(shù)進(jìn)行分類(lèi)識(shí)別，從而得到視頻質(zhì)量評(píng)分。下面簡(jiǎn)介這兩類(lèi)評(píng)價(jià)方法的具體技術(shù)狀況第一種是通過(guò)檢測(cè)典型劣化特征進(jìn)行評(píng)價(jià)目前對(duì)劣化特征的檢測(cè)主要集中在方塊、模糊等空域失真或時(shí)域運(yùn)動(dòng)性的單一指標(biāo)上，例如，文獻(xiàn)《基于塊編碼視頻的無(wú)參考質(zhì)量評(píng)估[J] 》(刊于“電子與信息學(xué)報(bào)”，28 (4)，2006)通過(guò)分析可察覺(jué)的方塊效應(yīng)來(lái)評(píng)價(jià)視頻質(zhì)量；文獻(xiàn)《視頻質(zhì)量動(dòng)態(tài)性指標(biāo)評(píng)價(jià)及應(yīng)用[J].》(刊于“北京郵電大學(xué)學(xué)報(bào)”，31(6)， 2008)提出一種綜合描述視頻背景運(yùn)動(dòng)信息和對(duì)象運(yùn)動(dòng)信息的視頻動(dòng)態(tài)性評(píng)價(jià)方法，并由此推導(dǎo)出平滑度指標(biāo)用于視頻質(zhì)量評(píng)價(jià)。此類(lèi)檢測(cè)算法具有較強(qiáng)的“素材依賴(lài)性”或“場(chǎng)景依賴(lài)性”，即只對(duì)特定素材的典型劣化形態(tài)及劣化程度具有一定準(zhǔn)確性，一旦假設(shè)條件不同，檢測(cè)性能就會(huì)下降，甚至失效。與單一類(lèi)型失真檢測(cè)相比，多類(lèi)型失真檢測(cè)能夠更全面地表達(dá)視頻的質(zhì)量特性, 因此，文獻(xiàn)《(No-Reference Quality Metric for Degraded and Enhanced Video[C]》(刊于“Proceedings of SPIE”2003)中聯(lián)合檢測(cè)的特征失真包括方塊效應(yīng)、震蕩效應(yīng)、鉗位、
5噪聲和對(duì)比度等。視頻質(zhì)量專(zhuān)家組VQEG曾對(duì)the Psytechnics NR model和SwissQual’s NR model 進(jìn)行過(guò)測(cè)試(參見(jiàn) VQEG_Multimedia_PhaseI_Final_Report, 2008)。這兩種算法正是基于檢測(cè)空域和時(shí)域的多種類(lèi)型失真進(jìn)行質(zhì)量評(píng)價(jià)，但是，參見(jiàn)效果并不理想，算法仍對(duì)視頻格式和內(nèi)容有一定的依賴(lài)性，而且考慮的失真類(lèi)型越多，算法復(fù)雜度越高。第二種是利用視頻質(zhì)量先驗(yàn)知識(shí)進(jìn)行評(píng)價(jià)=Mohamed等人把網(wǎng)絡(luò)參數(shù)(如丟包率、 端到端時(shí)延、抖動(dòng))和編碼參數(shù)(如比特率、幀率、編碼類(lèi)型)等作為神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)， 把質(zhì)量評(píng)分作為輸出節(jié)點(diǎn)，經(jīng)過(guò)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)可以根據(jù)各參數(shù)直接預(yù)測(cè)視頻質(zhì)量(參見(jiàn)《A Study of Real-time Packet Video Quality Using Random Neural Networks[J]》 干丨J 于“ IEEE Transactions on. Circuits andSystems for Video Technology，，12 (12), 2002)。然而，神經(jīng)網(wǎng)絡(luò)擬合的函數(shù)不是最優(yōu)的，會(huì)造成過(guò)學(xué)習(xí)問(wèn)題，即泛化能力差，評(píng)價(jià)準(zhǔn)石角度不高° 文獻(xiàn)《No-reference video quality measurement with support vector regression [J]))(刊于 “ International Journal of Neural Systems” 19 (6), 2009)利用各種特征提取方法量化視頻質(zhì)量，并對(duì)支持向量回歸模型進(jìn)行訓(xùn)練，以實(shí)現(xiàn)待測(cè)視頻的質(zhì)量預(yù)測(cè)。此方法利用了 SVM，盡管泛化能力較好，但是其參數(shù)不容易調(diào)整，計(jì)算量較大。由上述分析可見(jiàn)，目前已有的NR評(píng)價(jià)方法在許多方面還存在不盡人意之處，一些算法對(duì)視頻格式和內(nèi)容有依賴(lài)性，一些算法效果尚可，但是，算法復(fù)雜度高而不適宜應(yīng)用， 一些算法簡(jiǎn)單，但泛化能力差或精度不理想等等。同時(shí)，上述視頻質(zhì)量評(píng)價(jià)方法往往只取單幀圖像質(zhì)量的平均值作為評(píng)價(jià)結(jié)果，未考慮視頻運(yùn)動(dòng)信息和各幀圖像質(zhì)量劣化程度不同的影響，不能很好地與實(shí)際主觀感覺(jué)相吻合。為此，申請(qǐng)人對(duì)相關(guān)技術(shù)進(jìn)行了研究，并將研究成果《一種用于視頻質(zhì)量評(píng)價(jià)的關(guān)鍵幀的選取方法》申請(qǐng)了中國(guó)發(fā)明專(zhuān)利(申請(qǐng)?zhí)枮?201010609119. 0)，以降低對(duì)視頻進(jìn)行逐幀評(píng)價(jià)的計(jì)算復(fù)雜度。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的是針對(duì)現(xiàn)有的視頻質(zhì)量評(píng)測(cè)技術(shù)存在的素材/場(chǎng)景依賴(lài)性大、算法復(fù)雜度高、泛化能力差和單幀圖像質(zhì)量簡(jiǎn)單平均等缺陷，在上述專(zhuān)利申請(qǐng)“一種用于視頻質(zhì)量評(píng)價(jià)的關(guān)鍵幀的選取方法”的基礎(chǔ)上，提供一種基于關(guān)鍵幀圖像質(zhì)量加權(quán)的無(wú)參考視頻質(zhì)量客觀評(píng)價(jià)方法。該方法充分考慮視頻運(yùn)動(dòng)信息、人眼視覺(jué)特性，以及不同幀的圖像質(zhì)量對(duì)整體視頻質(zhì)量的不同作用，在保證評(píng)測(cè)性能的前提下，能夠降低計(jì)算復(fù)雜度， 適用于現(xiàn)有網(wǎng)絡(luò)各種視頻應(yīng)用的自動(dòng)評(píng)測(cè)，且操作步驟簡(jiǎn)單，易于集成，在視頻質(zhì)量評(píng)測(cè)應(yīng)用中具有較好的推廣價(jià)值。為了達(dá)到上述目的，本發(fā)明提供了一種用關(guān)鍵幀圖像質(zhì)量加權(quán)的無(wú)參考視頻質(zhì)量的客觀評(píng)價(jià)方法，其特征在于首先依據(jù)基于人眼興趣加權(quán)的運(yùn)動(dòng)劇烈程度方法初步選取關(guān)鍵幀，然后通過(guò)相關(guān)性分析將初步選取的關(guān)鍵幀分為場(chǎng)景切換型關(guān)鍵幀和非場(chǎng)景切換型關(guān)鍵幀；再對(duì)非場(chǎng)景切換型關(guān)鍵幀評(píng)價(jià)圖像質(zhì)量，并根據(jù)該評(píng)價(jià)結(jié)果將非場(chǎng)景切換型關(guān)鍵幀細(xì)分為內(nèi)容變化型關(guān)鍵幀和質(zhì)量變化型關(guān)鍵幀；最后利用質(zhì)量變化型關(guān)鍵幀的持續(xù)時(shí)間因子和惡化頻率因子對(duì)其單幀質(zhì)量進(jìn)行加權(quán)求和計(jì)算，得到整個(gè)視頻序列的質(zhì)量評(píng)價(jià)結(jié)果。所述方法包括下列步驟(I)從待評(píng)價(jià)視頻序列中選取出非場(chǎng)景切換型關(guān)鍵幀先依據(jù)每幀圖像的運(yùn)動(dòng)劇烈程度初步選取關(guān)鍵幀，再分析這些關(guān)鍵幀之間的相關(guān)性，剔除其中與視頻質(zhì)量無(wú)關(guān)的場(chǎng)景切換型關(guān)鍵幀；(2)評(píng)價(jià)非場(chǎng)景切換型關(guān)鍵幀的圖像質(zhì)量和二次選取對(duì)非場(chǎng)景切換型關(guān)鍵幀圖像進(jìn)行小波變換，并檢測(cè)小波系數(shù)的統(tǒng)計(jì)特性，計(jì)算與評(píng)價(jià)其圖像質(zhì)量；再以該評(píng)價(jià)結(jié)果進(jìn)行關(guān)鍵幀的二次選取，區(qū)分圖像質(zhì)量下降的質(zhì)量變化型關(guān)鍵幀和圖像質(zhì)量未下降、但圖像內(nèi)容與前后幀發(fā)生變化的內(nèi)容變化型關(guān)鍵幀；(3)采用對(duì)質(zhì)量變化型關(guān)鍵幀的圖像質(zhì)量加權(quán)計(jì)算方法評(píng)價(jià)視頻質(zhì)量其中，兩個(gè)加權(quán)因子分別依據(jù)質(zhì)量變化型關(guān)鍵幀的持續(xù)時(shí)長(zhǎng)及其占非場(chǎng)景切換型關(guān)鍵幀數(shù)量的比例，用于考慮視頻質(zhì)量較差的幀的持續(xù)時(shí)間及其出現(xiàn)頻率對(duì)人眼視覺(jué)感知造成的影響。所述步驟(I)進(jìn)一步包括下列操作內(nèi)容(11)將待評(píng)價(jià)視頻序列轉(zhuǎn)化為統(tǒng)一的歐洲電視系統(tǒng)的顏色編碼YUV視頻格式，然后按順序?qū)γ繋膱D像進(jìn)行分塊，將當(dāng)前幀的圖像塊與前一幀的相同位置圖像塊之間亮度值的差值矩陣中的所有元素絕對(duì)值之和除以該圖像塊的總像素值的商，作為當(dāng)前幀的各個(gè)圖像塊的運(yùn)動(dòng)劇烈程度的計(jì)算公式
權(quán)利要求
1.一種用關(guān)鍵幀圖像質(zhì)量加權(quán)的無(wú)參考視頻質(zhì)量的客觀評(píng)價(jià)方法，其特征在于首先依據(jù)基于人眼興趣加權(quán)的運(yùn)動(dòng)劇烈程度方法初步選取關(guān)鍵幀，然后通過(guò)相關(guān)性分析將初步選取的關(guān)鍵幀分為場(chǎng)景切換型關(guān)鍵幀和非場(chǎng)景切換型關(guān)鍵幀；再對(duì)非場(chǎng)景切換型關(guān)鍵幀評(píng)價(jià)圖像質(zhì)量，并根據(jù)該評(píng)價(jià)結(jié)果將非場(chǎng)景切換型關(guān)鍵幀細(xì)分為內(nèi)容變化型關(guān)鍵幀和質(zhì)量變化型關(guān)鍵幀；最后利用質(zhì)量變化型關(guān)鍵幀的持續(xù)時(shí)間因子和惡化頻率因子對(duì)其單幀質(zhì)量進(jìn)行加權(quán)求和計(jì)算，得到整個(gè)視頻序列的質(zhì)量評(píng)價(jià)結(jié)果。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于所述方法包括下列步驟(1)從待評(píng)價(jià)視頻序列中選取出非場(chǎng)景切換型關(guān)鍵幀先依據(jù)每幀圖像的運(yùn)動(dòng)劇烈程度初步選取關(guān)鍵幀，再分析這些關(guān)鍵幀之間的相關(guān)性，剔除其中與視頻質(zhì)量無(wú)關(guān)的場(chǎng)景切換型關(guān)鍵巾貞;(2)評(píng)價(jià)非場(chǎng)景切換型關(guān)鍵幀的圖像質(zhì)量和二次選取對(duì)非場(chǎng)景切換型關(guān)鍵幀圖像進(jìn)行小波變換，并檢測(cè)小波系數(shù)的統(tǒng)計(jì)特性，計(jì)算與評(píng)價(jià)其圖像質(zhì)量；再以該評(píng)價(jià)結(jié)果進(jìn)行關(guān)鍵幀的二次選取，區(qū)分圖像質(zhì)量下降的質(zhì)量變化型關(guān)鍵幀和圖像質(zhì)量未下降、但圖像內(nèi)容與前后幀發(fā)生變化的內(nèi)容變化型關(guān)鍵幀；(3)采用對(duì)質(zhì)量變化型關(guān)鍵幀的圖像質(zhì)量加權(quán)計(jì)算方法評(píng)價(jià)視頻質(zhì)量其中，兩個(gè)加權(quán)因子分別依據(jù)質(zhì)量變化型關(guān)鍵幀的持續(xù)時(shí)長(zhǎng)及其占非場(chǎng)景切換型關(guān)鍵幀數(shù)量的比例，用于考慮視頻質(zhì)量較差的幀的持續(xù)時(shí)間及其出現(xiàn)頻率對(duì)人眼視覺(jué)感知造成的影響。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述步驟(I)進(jìn)一步包括下列操作內(nèi)容:(11)將待評(píng)價(jià)視頻序列轉(zhuǎn)化為統(tǒng)一的歐洲電視系統(tǒng)的顏色編碼YUV視頻格式，然后按順序?qū)γ繋膱D像進(jìn)行分塊，將當(dāng)前幀的圖像塊與前一幀的相同位置圖像塊之間亮度值的差值矩陣中的所有元素絕對(duì)值之和除以該圖像塊的總像素值的商，作為當(dāng)前幀的各個(gè)圖像 \)塊的運(yùn)動(dòng)劇烈程度的計(jì)算公式 式中，M、N、Mp、Np、i、j和k皆為自然數(shù)，M與N分別是每幀圖像的寬度與高度的像素值，Mp 和Np分別是分塊后的每個(gè)圖像塊的寬度與高度的像素值，且M和N分別為Mp和Np的整數(shù)倍，MpXNp為圖像塊的總像素值；i和j分別是圖像塊在幀中的橫坐標(biāo)與縱坐標(biāo)，其最大值 M N分別為&一和f ;fk(m，n)和LOiun)分別為該步驟讀取的第k幀和第(k-1)幀中坐標(biāo)為(m, n)的像素的亮度值；(12)按照下述公式計(jì)算每幀圖像總體運(yùn)動(dòng)劇烈程度 尋，乃’式中， Im為考慮人眼興趣的每個(gè)圖像塊的權(quán)重因子，若定義每幀圖像中心坐標(biāo)為(}，})，則位于不同位置的圖像塊的權(quán)重因子Iy的計(jì)算公式分別為
4.根據(jù)權(quán)利要求3所述的方法，其特征在于所述步驟(13)包括下列兩種操作內(nèi)容 (13A)若第k巾貞為非場(chǎng)景切換型關(guān)鍵巾貞，即keyframe [I] = k,則應(yīng)同時(shí)滿(mǎn)足以下三個(gè)篩選條件A，第k幀的總體運(yùn)動(dòng)劇烈程度MAk應(yīng)滿(mǎn)足下述兩式之一
5.根據(jù)權(quán)利要求2所述的方法，其特征在于所述步驟(2)進(jìn)一步包括下列操作內(nèi)容(21)采用多分辨率分析的小波快速算法，即Mallat算法對(duì)非場(chǎng)景切換型關(guān)鍵幀圖像進(jìn)行兩層小波分解先進(jìn)行一層小波分解，得到四個(gè)子圖低頻LL1、低高頻LH1、高低頻HL1 和高頻HH1，再對(duì)低頻LL1子圖進(jìn)行二層小波分解，得到四個(gè)子圖低頻LL2、低高頻LH2、高低頻HL2、高頻HH2 ;在每個(gè)尺度下，LLw子圖的小波系數(shù)/w°(m, )都包含前一階段的低頻信息， 而仏丄^^叫子圖的小波系數(shù)/么^^)、、/W3(w, )也分別包含橫向、縱向和對(duì)角方向的高頻邊緣信息；式中，字符的上標(biāo)數(shù)字與下標(biāo)w分別是小波分解后的子圖索引序號(hào)和小波分解層數(shù)；(22)將HL2子圖的小波系數(shù)水平分割為四個(gè)子帶fhl fh4 10^) = /^(40-1) + "^),式中，/2(40-1) + "^)是坐標(biāo)為(4(m-l)+x, n)的像素的小波系數(shù)，fhx(m，n)是分割后的子帶對(duì)應(yīng)(m，n)處的小波系數(shù)，子帶序號(hào)x = 1，2，3，4 ;(23)分別計(jì)算四個(gè)子帶fhl fh4飽方蓋 ，再計(jì)算垂直方向的失真度(J2fQv=——rr，I值與I偏離越大，表明該非場(chǎng)景切換型關(guān)鍵幀的圖像垂直方向 mean(afhi,afh2,afJ失真越大；(24)將LH2子圖的小波系數(shù)垂直分割為四個(gè)子帶fvl fv4
6.根據(jù)權(quán)利要求2所述的方法，其特征在于所述步驟(3)中，所述對(duì)質(zhì)量變化型關(guān)鍵 幀圖像質(zhì)量進(jìn)行加權(quán)衡量的操作包括下列內(nèi)容(31)因質(zhì)量差的關(guān)鍵幀持續(xù)時(shí)間越長(zhǎng)，對(duì)人眼視覺(jué)感知的影響越大，故定義持續(xù)時(shí)間 因子t為兩個(gè)相鄰的質(zhì)量變化型關(guān)鍵幀的幀序號(hào)差的倒數(shù)，則計(jì)算第q個(gè)質(zhì)量變化型關(guān)鍵幀的持續(xù)時(shí)間因子~
全文摘要
一種用關(guān)鍵幀圖像質(zhì)量加權(quán)的無(wú)參考視頻質(zhì)量的客觀評(píng)價(jià)方法，先依據(jù)基于人眼興趣加權(quán)的運(yùn)動(dòng)劇烈程度方法初步選取關(guān)鍵幀，然后通過(guò)相關(guān)性分析將初步選取的關(guān)鍵幀分為場(chǎng)景切換型關(guān)鍵幀和非場(chǎng)景切換型關(guān)鍵幀；再對(duì)非場(chǎng)景切換型關(guān)鍵幀評(píng)價(jià)圖像質(zhì)量，并根據(jù)該評(píng)價(jià)結(jié)果將非場(chǎng)景切換型關(guān)鍵幀細(xì)分為內(nèi)容變化型關(guān)鍵幀和質(zhì)量變化型關(guān)鍵幀；最后利用質(zhì)量變化型關(guān)鍵幀的持續(xù)時(shí)間因子和惡化頻率因子對(duì)其單幀質(zhì)量進(jìn)行加權(quán)求和計(jì)算，得到整個(gè)視頻序列的質(zhì)量評(píng)價(jià)結(jié)果。本發(fā)明解決了現(xiàn)有的評(píng)測(cè)技術(shù)不能與實(shí)際主觀感覺(jué)相吻合的缺陷，在保證評(píng)測(cè)性能前提下，能夠降低計(jì)算復(fù)雜度，適用于現(xiàn)有網(wǎng)絡(luò)各種視頻應(yīng)用的自動(dòng)評(píng)測(cè)，且操作步驟簡(jiǎn)單，易于集成。
文檔編號(hào)H04N17/02GK102611910SQ201110021600
公開(kāi)日2012年7月25日 申請(qǐng)日期2011年1月19日 優(yōu)先權(quán)日2011年1月19日
發(fā)明者劉勇, 徐靜濤, 李湘平, 杜海清, 胡文, 許克輝, 郭暢 申請(qǐng)人:北京東方文駿軟件科技有限責(zé)任公司, 北京郵電大學(xué)