一種高清roi視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的方法
【專利摘要】本發(fā)明公開了一種高清ROI視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的方法，該方法步驟為：第一，實(shí)時(shí)獲取含ROI高清視頻的質(zhì)量評(píng)估值；第二，優(yōu)化x264編碼器，使之適應(yīng)高清ROI視頻的編碼需求；第三，結(jié)合ROI提取檢測(cè)技術(shù)和帶寬檢測(cè)技術(shù)，發(fā)送端編碼視頻時(shí)做到帶寬資源的最大化利用以及視頻質(zhì)量的最大化。本發(fā)明以含ROI視頻質(zhì)量評(píng)估模型為基礎(chǔ)，并結(jié)合基于ROI的快速H.264編碼方案，實(shí)現(xiàn)了一種高效、可靠的視頻實(shí)時(shí)調(diào)節(jié)系統(tǒng)。
【專利說明】一種高清ROI視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的【技術(shù)領(lǐng)域】，具體涉及一種高清ROI視頻實(shí)時(shí)質(zhì)量 調(diào)節(jié)的方法。

【背景技術(shù)】
[0002] 自從世界上首部模擬技術(shù)可視電話于1964年誕生于美國(guó)貝爾實(shí)驗(yàn)室以來，實(shí)時(shí) 多媒體交互系統(tǒng)在日常工作、生活中扮演著越來越不可或缺的角色，與實(shí)時(shí)視頻傳輸相關(guān) 的技術(shù)和服務(wù)也得到了充分地重視和發(fā)展，尤其是在全球一體化現(xiàn)象凸顯的今天，實(shí)時(shí) 視頻通信應(yīng)用被廣泛地應(yīng)用于商業(yè)溝通和日常交流等領(lǐng)域，其中比較有代表性的應(yīng)用有 Facetime、Skype 等。
[0003] 視頻會(huì)議系統(tǒng)面世以來相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)，視頻的質(zhì)量是制約視頻會(huì)議系統(tǒng)發(fā) 展的首要因素。一般來說，實(shí)時(shí)多媒體應(yīng)用程序由于對(duì)實(shí)時(shí)性的要求較高，相對(duì)于其他應(yīng)用 程序?qū)W(wǎng)絡(luò)狀況的要求更高，需要更高的帶寬來保證視頻傳輸?shù)牧鲿承院颓逦?。隨著多 媒體技術(shù)以及硬件的發(fā)展，主流的個(gè)人電腦和終端多媒體應(yīng)用中高清、高質(zhì)量的應(yīng)用比例 逐步增多，用戶對(duì)多媒體的質(zhì)量要求也相應(yīng)水漲船高，視頻會(huì)議系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)720PU080P 乃至更高清的視頻傳輸是一大發(fā)展趨勢(shì)。然而，高質(zhì)量的視頻傳輸需要更高的帶寬要求。我 國(guó)的寬帶事業(yè)起步晚，雖然發(fā)展迅速，但是目前和發(fā)達(dá)國(guó)家還存在差距。2013年中國(guó)互聯(lián) 網(wǎng)感知數(shù)據(jù)報(bào)告，是國(guó)外媒體2014年公布的一份數(shù)據(jù)。數(shù)據(jù)顯示，得益于中國(guó)"寬帶中國(guó)" 戰(zhàn)略的發(fā)布，2013年中國(guó)平均網(wǎng)絡(luò)速度為3. 45Mb/s，相比2012年第四季度的2. 59Mb/s提 高了 33. 2%。雖然中國(guó)整體帶寬水平有了較大的提升，但是帶寬的質(zhì)量參差不齊。數(shù)據(jù)顯 示，中國(guó)41. 56%的帶寬接入介于256Kb/s?2Mb/s之間，2Mb/s?5Mb/s以上帶寬接入比 例為40. 17%，超過5Mb/s的超寬帶寬占比甚至達(dá)到18. 07%，仍有0.20%的用戶使用的帶 寬在256K以下。相比于固定寬帶，移動(dòng)端寬帶資費(fèi)和質(zhì)量更不具有優(yōu)勢(shì)，視頻會(huì)議系統(tǒng)在 移動(dòng)終端的發(fā)展受到了帶寬的極大制約。因此，如何有效解決高質(zhì)量視頻和有限帶寬之間 的矛盾，仍是視頻會(huì)議領(lǐng)域技術(shù)發(fā)展面臨的重要問題。
[0004] 研究表明，人對(duì)圖像或視頻質(zhì)量的主觀感覺有側(cè)重性，往往重點(diǎn)關(guān)注圖像或視頻 中的某一個(gè)或幾個(gè)區(qū)域，這部分區(qū)域?qū)χ饔^質(zhì)量的影響權(quán)值較大，相應(yīng)其他區(qū)域影響則較 小，對(duì)圖像或視頻質(zhì)量影響比較大的區(qū)域被稱為感興趣區(qū)域（Region of Interest, R0I)。 視頻會(huì)議場(chǎng)景一般比較單一，感興趣區(qū)域主要集中在人臉和手部位置上，背景部分關(guān)注點(diǎn) 較少。在帶寬有限的前提下，根據(jù)視頻畫面重新分配有限帶寬，賦予ROI更多的帶寬，背景 部分更少的帶寬，能有效地在較低帶寬條件下加強(qiáng)整體視頻畫面質(zhì)量，也更有利于限定帶 寬下的高清實(shí)時(shí)流媒體的傳輸。
[0005] 視頻質(zhì)量調(diào)節(jié)需要對(duì)視頻質(zhì)量進(jìn)行量化評(píng)價(jià)，在此基礎(chǔ)上按照調(diào)節(jié)標(biāo)準(zhǔn)重新調(diào)整 畫面質(zhì)量，實(shí)現(xiàn)當(dāng)前帶寬下的最優(yōu)質(zhì)量。視頻質(zhì)量的評(píng)價(jià)是質(zhì)量調(diào)節(jié)的基礎(chǔ)和保證，獲得準(zhǔn) 確的視頻質(zhì)量評(píng)價(jià)量化值是系統(tǒng)實(shí)現(xiàn)的前提。目前主流的視頻質(zhì)量評(píng)估方法主要有兩種： 主觀評(píng)估和客觀評(píng)估。視頻質(zhì)量主觀評(píng)估方法以評(píng)測(cè)者的主觀感受為基礎(chǔ)，得到的評(píng)測(cè)值 更符合人對(duì)視頻質(zhì)量的感受，但是對(duì)評(píng)測(cè)者自身的要求較高；視頻質(zhì)量客觀評(píng)估方法以視 頻的相關(guān)參數(shù)來計(jì)算質(zhì)量值，較于主觀評(píng)估法快捷、省時(shí)、省力。主觀評(píng)估和客觀評(píng)估各有 利弊，一般來說，視頻會(huì)議系統(tǒng)由于其實(shí)時(shí)性的要求，大多采用客觀評(píng)估的方法計(jì)算視頻質(zhì) 量值，以此為基準(zhǔn)進(jìn)行質(zhì)量調(diào)節(jié)。
[0006] 隨著多媒體技術(shù)的發(fā)展，當(dāng)今視頻的畫面越來越精細(xì)，分辨率也在逐步增大，同幾 年前的主流視頻質(zhì)量相比不可同日而語(yǔ)，但由于視頻質(zhì)量的好與壞涉及到人眼、人腦的感 知，這種主觀感受難以具體量化，所以目前視頻質(zhì)量評(píng)價(jià)并沒有一套得到普遍認(rèn)可的標(biāo)準(zhǔn)。
[0007] 目前視頻質(zhì)量評(píng)估主要由兩種方法：主觀評(píng)估和客觀評(píng)估。這兩種評(píng)估方法的主 要區(qū)別在于評(píng)估的主體不同，主觀評(píng)估主體是人，客觀評(píng)估的主體是計(jì)算機(jī)。
[0008] (1)視頻質(zhì)量主觀評(píng)估法
[0009] 視頻質(zhì)量主觀評(píng)估法采用觀察者的主觀感受作為評(píng)測(cè)標(biāo)準(zhǔn)，評(píng)測(cè)時(shí)將待評(píng)估的視 頻序列播放給觀察者看，由觀察者給出視頻質(zhì)量的分?jǐn)?shù)，然后對(duì)所有觀察者的打分進(jìn)行統(tǒng) 計(jì)，計(jì)算出其平均值作為評(píng)估結(jié)果，這個(gè)結(jié)果通常也被稱為"平均估計(jì)分值"（Mean Opinion Score, M0S)。
[0010] 總體來說，視頻質(zhì)量評(píng)估方法由于是通過人對(duì)視頻的主觀感受評(píng)分得出的意見 值，與計(jì)算機(jī)評(píng)測(cè)值相比更符合大多數(shù)人對(duì)視頻質(zhì)量標(biāo)準(zhǔn)的認(rèn)可程度。同時(shí)，這也對(duì)視頻質(zhì) 量的評(píng)分機(jī)制提出了更高的要求，一般需要比較多的評(píng)分樣本來獲得較為準(zhǔn)確的數(shù)據(jù)，人 力和物力的投入大，歷時(shí)長(zhǎng)；評(píng)分者主觀因素對(duì)結(jié)果影響大，因此對(duì)評(píng)分者評(píng)分素質(zhì)、態(tài)度 也有較高要求；主觀評(píng)測(cè)需要人為介入，難以在實(shí)時(shí)流媒體視頻質(zhì)量控制中得到應(yīng)用。
[0011] (2)視頻質(zhì)量客觀評(píng)估法
[0012] 視頻質(zhì)量客觀評(píng)估方法基于利用計(jì)算機(jī)仿照人眼視覺模型對(duì)視頻質(zhì)量進(jìn)行客觀 的計(jì)算評(píng)估。與主觀評(píng)估方法相比，客觀評(píng)估方法在實(shí)時(shí)性方面更具優(yōu)勢(shì)，對(duì)于評(píng)測(cè)的條件 要求也較少，盡管客觀評(píng)估方法在結(jié)果準(zhǔn)確性方面有待提高，視頻質(zhì)量的客觀評(píng)估方法在 諸多實(shí)時(shí)流媒體質(zhì)量傳輸控制中被采用。
[0013] 客觀評(píng)估方法通常需要比較壓縮前后的視頻數(shù)據(jù)，往往是通過對(duì)每一幀畫面的比 對(duì)，計(jì)算出壓縮后視頻信息的丟失量，通過數(shù)學(xué)推導(dǎo)得出視頻質(zhì)量分值。
[0014] ITU-R視頻質(zhì)量專家組（ITU-VQEG :Video Quality Experts Group)是專門研究和 規(guī)范視頻質(zhì)量客觀評(píng)估方法和標(biāo)準(zhǔn)的國(guó)際組織，VQEG定義了兩個(gè)與視頻質(zhì)量相關(guān)的參數(shù)： 峰值信噪比（Peak Signal Noise Ratio，PSNR)和均方差（Root Mean Square Error，MSE)。 MSE和PSNR的計(jì)算公式分別如公式（I. I)和公式（I. 2)所示。

【權(quán)利要求】
1. 一種高清ROI視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的方法，其特征在于：該方法步驟為： 第一，實(shí)時(shí)獲取含R0I高清視頻的質(zhì)量評(píng)估值； 第二，優(yōu)化x264編碼器，使之適應(yīng)高清R0I視頻的編碼需求； 第三，結(jié)合R0I提取檢測(cè)技術(shù)和帶寬檢測(cè)技術(shù)，發(fā)送端編碼視頻時(shí)做到帶寬資源的最 大化利用以及視頻質(zhì)量的最大化。
2. 根據(jù)權(quán)利要求1所述的一種高清R0I視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的方法，其特征在于：所述 的實(shí)時(shí)獲取含R0I高清視頻的質(zhì)量評(píng)估值，具體步驟為： 步驟1、多分辨率視頻G. 1070質(zhì)量評(píng)估模型參數(shù)擬合； 步驟2、提出一種適用于R0I視頻擴(kuò)展的G. 1070模型，引入了一個(gè)R0I視頻質(zhì)量加權(quán)系 數(shù)w ; 步驟3、對(duì)加權(quán)系數(shù)w與R0I面積占總面積的比例SKQI、R0I帶寬占總視頻帶寬比例PKra進(jìn)行曲線估計(jì)，得到完整的含ROI視頻質(zhì)量評(píng)估公式。
3. 根據(jù)權(quán)利要求1所述的一種高清R0I視頻實(shí)時(shí)質(zhì)量調(diào)節(jié)的方法，其特征在于：所述 的優(yōu)化x264編碼器使之適應(yīng)高清R0I視頻的編碼需求具體為： 步驟1、修改x264編碼器量化模塊，允許對(duì)同一幀的不同宏塊賦予不同的量化參數(shù)值； 步驟2、限制同一幀內(nèi)R0I部分和背景部分宏塊的幀內(nèi)參考和幀間參考范圍，當(dāng)前宏塊 只能參考相同量化參數(shù)的區(qū)域； 步驟3、修改碼率控制模塊，對(duì)R0I部分分配更多比特，對(duì)背景部分分配更少比特。
【文檔編號(hào)】H04N17/00GK104410860SQ201410713484
【公開日】2015年3月11日 申請(qǐng)日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】樓奕華, 于海亮, 王夢(mèng)云, 吳文峻 申請(qǐng)人:北京航空航天大學(xué)