一種基于網(wǎng)絡(luò)丟包損傷的比特流層視頻感知質(zhì)量評(píng)價(jià)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多媒體通信領(lǐng)域，具體設(shè)及一種基于網(wǎng)絡(luò)丟包損傷的比特流層視頻感 知質(zhì)量評(píng)價(jià)方法。
【背景技術(shù)】
[0002] 目前，網(wǎng)絡(luò)視頻運(yùn)營商越來越關(guān)注終端用戶的體驗(yàn)質(zhì)量（Qualityof Experience,Qo巧。QoE是終端用戶對(duì)應(yīng)用或者服務(wù)整體的主觀可接受程度。其中，視頻質(zhì) 量是QoE中很重要的一部分。要在有限的網(wǎng)絡(luò)傳輸環(huán)境下為終端用戶提供盡可能滿意的視 頻質(zhì)量服務(wù)，就要獲得與人眼主觀感知更為接近的圖像質(zhì)量評(píng)價(jià)結(jié)果，W此作為其服務(wù)的 參考。視頻質(zhì)量評(píng)價(jià)旨在通過一些方法，得到人眼對(duì)視頻圖像質(zhì)量好壞的感知度量，包括主 觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀評(píng)價(jià)在嚴(yán)格的實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)流程下進(jìn)行，要求一組觀 察者對(duì)視頻質(zhì)量進(jìn)行打分。主觀評(píng)價(jià)是獲得質(zhì)量評(píng)分的最準(zhǔn)確的方法，但其費(fèi)時(shí)、費(fèi)力，并 且不適用于實(shí)時(shí)的監(jiān)控場合?？陀^評(píng)價(jià)方法擬在通過計(jì)算模型或評(píng)價(jià)設(shè)備，模擬人眼對(duì)視 頻質(zhì)量進(jìn)行測量。視頻質(zhì)量評(píng)價(jià)在系統(tǒng)設(shè)備的研發(fā)階段、網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)搭建階段和運(yùn)營 維護(hù)階段都有很大的意義。在圖像處理系統(tǒng)中，視頻質(zhì)量評(píng)價(jià)可W作為算法和參數(shù)優(yōu)化的 參考。例如在視頻編碼系統(tǒng)端，可W對(duì)預(yù)濾波和比特分配等算法進(jìn)行最優(yōu)化處理。在視頻 解碼系統(tǒng)端，視頻質(zhì)量評(píng)價(jià)可W對(duì)圖像重建、誤碼掩蓋和后濾波等算法進(jìn)行最優(yōu)化處理。視 頻質(zhì)量評(píng)價(jià)結(jié)果可W用作圖像處理系統(tǒng)和算法優(yōu)劣性的一個(gè)度量。例如，可W用于不同視 頻編解碼器的評(píng)估和比較。通過對(duì)各種不同類型素材編碼解碼處理，可W用評(píng)價(jià)結(jié)果來決 定哪一個(gè)系統(tǒng)的處理效果最好。在實(shí)時(shí)應(yīng)用中，視頻質(zhì)量評(píng)價(jià)可W用來動(dòng)態(tài)地監(jiān)測和調(diào)整 圖像質(zhì)量的狀況，例如網(wǎng)絡(luò)視頻服務(wù)器、交換機(jī)和復(fù)用器等的在線質(zhì)量的監(jiān)測和控制。在網(wǎng) 絡(luò)數(shù)字視頻服務(wù)中，可W用評(píng)價(jià)模型來實(shí)時(shí)地檢查當(dāng)前網(wǎng)絡(luò)上傳輸視頻的質(zhì)量狀況W分配 數(shù)據(jù)流資源。
[0003] 視頻數(shù)據(jù)通過IP網(wǎng)絡(luò)傳輸可能引起潛在的問題。IP網(wǎng)絡(luò)是"盡力而為"的網(wǎng)絡(luò)， 不保證數(shù)據(jù)的準(zhǔn)確傳輸。當(dāng)發(fā)生網(wǎng)絡(luò)數(shù)據(jù)包擁塞時(shí)，路由器可能會(huì)采取丟包處理。一旦發(fā) 生丟包，將極大地影響視頻主觀質(zhì)量。接收端的視頻解碼器如果檢測出數(shù)據(jù)包的丟失，將 利用已接收?qǐng)D像恢復(fù)丟失的數(shù)據(jù)，即錯(cuò)誤隱藏。依賴于錯(cuò)誤隱藏的算法性能，丟包造成的 失真也不同。錯(cuò)誤隱藏很難保證正確恢復(fù)視頻丟包區(qū)域的內(nèi)容，往往還會(huì)引起內(nèi)容的錯(cuò)位， 導(dǎo)致塊邊緣處內(nèi)容的不連續(xù)，嚴(yán)重影響了視頻的主觀質(zhì)量。如果解碼器未檢測出丟包，將 丟包前的數(shù)據(jù)和丟包后的數(shù)據(jù)認(rèn)為是連續(xù)的，會(huì)造成更為嚴(yán)重的錯(cuò)誤。漏檢的誤碼會(huì)使解 碼視頻中出現(xiàn)顏色怪異的圖像塊，稱為貼片式誤碼。貼片式誤碼對(duì)視頻質(zhì)量的影響更為嚴(yán) 重，一幅清晰度很高的圖像即使只出現(xiàn)一兩塊貼片式誤碼，其主觀質(zhì)量也會(huì)急劇下降。圖1 和圖2所示為丟包對(duì)視頻的影響效果。圖1所示為經(jīng)過錯(cuò)誤隱藏之后的圖像，圖2為解碼 器未檢測出丟包，發(fā)生貼片式誤碼的效果。IP丟包損傷最常用的指標(biāo)為丟包率，該也是目 前工程上判斷網(wǎng)絡(luò)傳輸狀況的主要指標(biāo)。一些實(shí)驗(yàn)研究了丟包率對(duì)視頻感知質(zhì)量的影響。 如ITU-TG. 1070中，平均的主觀視頻質(zhì)量被建模為丟包率的指數(shù)函數(shù)。除了丟包率，一些 其他的觀點(diǎn)從丟包事件發(fā)生的次數(shù)出發(fā)，不論一次丟包中連續(xù)丟失多少個(gè)數(shù)據(jù)包，都等同 地認(rèn)為是一次丟包事件。如MClaypool和J.Tanner在論文"Hieeffectsofjitteron theperc巧化alqualityofvideo"中指出，感知質(zhì)量分?jǐn)?shù)與質(zhì)量下降事件發(fā)生的次數(shù)有 很強(qiáng)的關(guān)系。K.Yamagishi等人在論文"ParametricPacket-LayerModelforMonitoring VideoQualityofIPTVServices"中也有相似的結(jié)論，該論文計(jì)算了丟包頻數(shù)指標(biāo)，將其 定義為10s內(nèi)丟包事件發(fā)生的頻數(shù)。論文中發(fā)現(xiàn)主觀視頻質(zhì)量隨著丟包頻數(shù)的增加而降 低，最終用一個(gè)指數(shù)函數(shù)對(duì)該一曲線進(jìn)行建模。
[0004] 上述技術(shù)僅僅把丟包模型看成兩種狀態(tài)；丟包狀態(tài)和非丟包狀態(tài)，忽視了長時(shí)間 高密度丟包的影響。實(shí)際的IP網(wǎng)絡(luò)中，緩存器中丟包的發(fā)生通常是瞬態(tài)的，由路由器的堵 塞或者設(shè)備故障造成，該通常都會(huì)導(dǎo)致"稀疏的突發(fā)丟包"。依據(jù)RFC3611，突發(fā)期的定義是： (1)W-個(gè)數(shù)據(jù)包的丟失作為開始；（2)連續(xù)接收的數(shù)據(jù)包小于Gmin(即突發(fā)期內(nèi)，連續(xù)接 收的Gmin個(gè)數(shù)據(jù)包內(nèi)必然存在丟包）；（3)W-個(gè)丟包結(jié)束。通俗地講，突發(fā)期為一段信道 丟包較密集發(fā)生的時(shí)期。突發(fā)期之外的丟包稱之為隨機(jī)丟包。圖3所示為一段視頻序列示 意圖，黑色代表IP包丟失，灰色代表IP包成功接收（示意圖中Gmin= 16)。兩段視頻有相 同的丟包個(gè)數(shù)。相同的丟包率下，是每間隔一段時(shí)間就出現(xiàn)丟包事件（對(duì)應(yīng)隨機(jī)丟包）給 人更差的視覺感知，還是在短時(shí)間內(nèi)集中丟包（對(duì)應(yīng)突發(fā)丟包）有更差的視覺效果？F.化U 等人在論文"PacketLossPatternandParametricVideoQualityModelforIPTV"中 得出，隨機(jī)丟包相比突發(fā)丟包有更為嚴(yán)重的質(zhì)量損傷。該論文提出的T-model模型在口U-T G. 1070模型的基礎(chǔ)上，添加了一個(gè)參數(shù)來描述突發(fā)的程度，相比ITU-TG. 1070模型，可W 更好地預(yù)測視頻感知質(zhì)量。但該論文中仍然缺乏突發(fā)丟包和隨機(jī)丟包不同比例對(duì)視頻感知 質(zhì)量的影響的定量分析。
[0005] 對(duì)丟包進(jìn)行丟包分布的分析只是在包層分析視頻質(zhì)量，沒有深入載荷來分析丟包 對(duì)應(yīng)的視頻內(nèi)容信息。視頻包不同于普通的數(shù)據(jù)包，每個(gè)包的重要性不一樣。如果丟失數(shù)據(jù) 包發(fā)生在參考帖，后續(xù)的帖W其為參考進(jìn)行運(yùn)動(dòng)補(bǔ)償，會(huì)進(jìn)一步導(dǎo)致錯(cuò)誤傳播和誤差累積。 該不僅使得出錯(cuò)帖的恢復(fù)圖像質(zhì)量下降，而且將會(huì)給后續(xù)圖像帖的質(zhì)量造成損害。目前主 流的視頻編碼方案中，視頻流中主要有S類編碼圖像，分別是帖內(nèi)編碼帖（I，Intra)、前向 預(yù)測編碼帖（P，Predicated)和雙向預(yù)測編碼帖炬，Bidirectional)。I帖只使用本帖內(nèi) 的數(shù)據(jù)進(jìn)行壓縮編碼，通常數(shù)據(jù)量較大。P帖W前面的I帖或者P帖作參考，進(jìn)行運(yùn)動(dòng)估計(jì) 和運(yùn)動(dòng)補(bǔ)償，很大地降低了數(shù)據(jù)量。B帖有兩個(gè)參考列表，WI帖或者P帖作參考，可W進(jìn) 行雙向預(yù)測，壓縮比通常更高。在解碼端，I帖不需要參考其他帖圖像，可W獨(dú)立解碼。而B 和P帖，則需要參考其它帖，不能獨(dú)立解碼。因而，不同類型編碼帖數(shù)據(jù)包的丟失，造成的錯(cuò) 誤擴(kuò)散不同?？紤]到參考帖丟包會(huì)造成誤差時(shí)間上的擴(kuò)散，因此，很容易認(rèn)為，如果丟包為 參考包，視頻會(huì)有更嚴(yán)重的質(zhì)量下降。但是，在丟包率相同的情況，該個(gè)結(jié)論有待驗(yàn)證。因 為I帖的數(shù)據(jù)量通常大于P帖和B帖，所WI帖最后打包成TS流的包的個(gè)數(shù)也要大于P帖 和B帖。該意味著對(duì)于I帖來說，每個(gè)TS包覆蓋的像素范圍要小于P帖和B帖。IP包的載 荷大小固定，每個(gè)IP包最多負(fù)載7個(gè)TS包。所W對(duì)每個(gè)IP包來說，不同帖類型的包對(duì)應(yīng) 圖像上覆蓋的像素范圍不一樣。那究竟是參考帖丟包造成的誤差傳播的視頻效果更差，還 是丟失覆蓋像素范圍的較大的包（非參考帖）的感知誤差更明顯？化angYL等人在論文 "Network-basedippacketlossimportancemodelforh.264sdvideos"中WVQM為評(píng) 價(jià)指標(biāo)，對(duì)標(biāo)清序列進(jìn)行測試，得出如下結(jié)論；IP包的載荷如果是p帖數(shù)據(jù)，其丟包的感知 損傷最為嚴(yán)重。VQM是一種視頻質(zhì)量客觀評(píng)價(jià)算法，其不能代替人眼來完全準(zhǔn)確地預(yù)測視頻 的主觀感知質(zhì)量，因而該結(jié)論有待設(shè)計(jì)主觀評(píng)價(jià)實(shí)驗(yàn)來進(jìn)行驗(yàn)證。而且，該論文沒有計(jì)算不 同帖類型視頻包丟失對(duì)視頻感知質(zhì)量影響大小的權(quán)值。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明在綜合考慮丟包率、丟包分布（突發(fā)丟 包占總丟包的比例）及丟包所屬帖類型=個(gè)因素，進(jìn)行相應(yīng)的主觀評(píng)價(jià)實(shí)驗(yàn)和建立視頻感 知質(zhì)量客觀評(píng)價(jià)模型的基礎(chǔ)上，提出一種基于網(wǎng)絡(luò)丟包損傷的視頻感知質(zhì)量評(píng)價(jià)方法。
[0007] 一種基于網(wǎng)絡(luò)丟包損傷的比特流層視頻感知質(zhì)量評(píng)價(jià)方法，包括W下步驟：
[000引步驟1，建立質(zhì)量評(píng)價(jià)模型。
[0009] 步驟1. 1，進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)，通過對(duì)主觀評(píng)價(jià)實(shí)驗(yàn)的結(jié)果分析，將經(jīng)過網(wǎng)絡(luò)傳輸 后，存在丟包損傷的視頻的感知質(zhì)量分?jǐn)?shù)PMOS分解為兩部分，用公式表示為：
[0010] PMOS=PMOSbadc(PLR)+PMOSA(Pburst) (D
[ocm] 其中，PLR為丟包率，PMOSba,k(PLR)為丟包全部都是隨機(jī)丟包時(shí)，不同丟包率化R下的視頻感知質(zhì)量分?jǐn)?shù)，Pburst為突發(fā)丟包占總丟包的比例，PMOS.為由Pbuut決定的視頻感 知質(zhì)量增量分?jǐn)?shù)。
[0012] 步驟1.2,根據(jù)丟失不同的帖內(nèi)編碼帖/前向預(yù)測編碼帖/雙向預(yù)測編碼帖I/P/B 帖類型的視頻包造成的不同損傷影響，對(duì)公式（1)進(jìn)行修正，用調(diào)整的加權(quán)丟包率化Rwjust來代替公式（1)中化R，得到綜合考慮丟包率、丟包分布及丟包所屬帖類型S個(gè)影響因素的 視頻感知質(zhì)量評(píng)價(jià)模型：
[001 引PM0S=PMOSbasic化Radj'ust) +PM0SA(Pburst) 似
[0014] 所述丟包分布為突發(fā)丟包占總丟包的比例。
[0015] 步驟2,應(yīng)用所述步驟1建立的所述模型，對(duì)經(jīng)過網(wǎng)絡(luò)傳輸?shù)囊曨l進(jìn)行丟包損傷的 感知質(zhì)量測量。
[0016] 進(jìn)一步地