本發(fā)明屬于視頻處理領(lǐng)域，涉及立體視頻質(zhì)量評(píng)價(jià)方法改進(jìn)優(yōu)化，尤其是涉及遺傳算法、自適應(yīng)加權(quán)分配算法在立體視頻質(zhì)量客觀評(píng)價(jià)中的應(yīng)用。具體講,涉及基于自適應(yīng)權(quán)重調(diào)節(jié)的立體視頻質(zhì)量評(píng)價(jià)方法。

背景技術(shù)：

立體視頻能夠使觀看者獲得立體感，這無(wú)疑增強(qiáng)了用戶的觀看體驗(yàn)，使用戶的感受更加真實(shí)。圖像處理、顯示技術(shù)以及視頻編碼技術(shù)(例如h.264/avc,h.264/svc以及多視點(diǎn)視頻編碼(mvc))使得立體視頻技術(shù)在很多應(yīng)用領(lǐng)域得到廣泛的發(fā)展。最近，最新的hevc/h.265標(biāo)準(zhǔn)^[1]已經(jīng)增加了對(duì)立體視頻編碼的支持，與h.264相比，在相同的碼速率條件下h.265壓縮的視頻質(zhì)量更好。而且，隨著網(wǎng)絡(luò)容量和速度的快速增長(zhǎng)，高清晰度的立體視頻向大的用戶群(移動(dòng)用戶、桌面辦公用戶以及可穿戴設(shè)備用戶)投送成為可能。這些技術(shù)的發(fā)展為傳統(tǒng)立體電影以外的很多應(yīng)用帶來(lái)了革命性的機(jī)會(huì)，例如移動(dòng)電話立體視頻流、立體視頻在線交流、立體視頻會(huì)議、遠(yuǎn)程三維重現(xiàn)以及沉浸式三維視頻游戲等。全球很多組織機(jī)構(gòu)已經(jīng)在這方面加強(qiáng)學(xué)術(shù)交流和標(biāo)準(zhǔn)制定，例如3d@home^[2]致力于3d消費(fèi)產(chǎn)品對(duì)人類生理的影響，并且與很多國(guó)際性機(jī)構(gòu)都有聯(lián)系(包括中國(guó)3d工業(yè)聯(lián)盟^[3]和日本的3d聯(lián)合會(huì)^[4]等)。

立體視頻通過(guò)引入深度信息從而給觀眾帶來(lái)了更好的視覺(jué)體驗(yàn)。然而，為了給用戶提供更好的立體視頻質(zhì)量，那就不僅要面對(duì)2d視頻中存在的問(wèn)題，而且還要面對(duì)3d視頻所特有的問(wèn)題。典型的立體視頻分別由左右視點(diǎn)構(gòu)成，有多種存儲(chǔ)方式。例如，立體視頻的左右視點(diǎn)可以分別存儲(chǔ)^[5]；可以以彩色圖像加深度圖^[6]的方式存儲(chǔ)，在這種存儲(chǔ)方式下顯示終端可以由深度圖來(lái)恢復(fù)左視圖或者右視圖；還可以以多視點(diǎn)^[7]的方式存儲(chǔ)，這種格式可以創(chuàng)建出多種觀察角度的視圖^[8]。立體視頻通常有很高的冗余度，這些冗余信息可以通過(guò)各種各樣的壓縮算法來(lái)部分消除。但是在對(duì)立體視頻壓縮的同時(shí)也會(huì)造成立體視頻質(zhì)量的下降，從而影響用戶的觀看體驗(yàn)甚至給用戶的視覺(jué)系統(tǒng)帶來(lái)傷害。所以對(duì)壓縮的立體視頻進(jìn)行質(zhì)量評(píng)價(jià)從而將壓縮立體視頻的質(zhì)量管控在一定的范圍內(nèi)顯得尤為重要。

立體視頻質(zhì)量評(píng)價(jià)可分為主觀評(píng)價(jià)和客觀評(píng)價(jià)^[9]。由于主觀評(píng)價(jià)方法對(duì)實(shí)驗(yàn)環(huán)境、測(cè)試流程、被試者素質(zhì)等有較高要求，所以完成一次主觀評(píng)價(jià)既耗時(shí)又耗力，且結(jié)果的精確度易受外界條件影響，結(jié)果的可移植性和穩(wěn)定性難以達(dá)到應(yīng)用要求?？陀^評(píng)價(jià)方法較主觀評(píng)價(jià)方法快速、穩(wěn)定且簡(jiǎn)單易行。因此，研究合理且高效的客觀評(píng)價(jià)方法意義重大^[10]。

視頻專家組^[11]是國(guó)際電信聯(lián)盟下屬的一個(gè)分支機(jī)構(gòu)，他們提出可以根據(jù)客觀評(píng)價(jià)過(guò)程中對(duì)原始參考信息依賴程度的不同將客觀評(píng)價(jià)方法分為全參考(fullreference,fr)評(píng)價(jià)方法、部分參考(reducedreference,rr)評(píng)價(jià)方法和無(wú)參考(noreference,nr)評(píng)價(jià)方法^[12]。其中全參考評(píng)價(jià)方法是指在進(jìn)行客觀質(zhì)量評(píng)價(jià)時(shí)需要全部原始立體視頻作為評(píng)價(jià)時(shí)的參考依據(jù)；其中部分參考評(píng)價(jià)方法是指在進(jìn)行客觀質(zhì)量評(píng)價(jià)時(shí)需要原始立體視頻的部分參數(shù)作為評(píng)價(jià)時(shí)的參考依據(jù)，并不需要原始的立體視頻，這種方法與全參考立體視頻質(zhì)量評(píng)價(jià)方法相比可以有效的節(jié)省帶寬資源^[13]；而無(wú)參考評(píng)價(jià)方法是指在進(jìn)行客觀質(zhì)量評(píng)價(jià)時(shí)完全不需要原始立體視頻作為參考，這種方法所需的傳輸代價(jià)最小，但是也是最難實(shí)現(xiàn)的。下面介紹幾種典型的客觀質(zhì)量評(píng)價(jià)方案^[14]。

峰值信噪比(peaksignaltonoiseratio,psrn)和均方誤差(meansquareerror,mse)是最簡(jiǎn)單且出現(xiàn)最早的兩種圖像質(zhì)量評(píng)價(jià)方法^[15]，這兩種方法的評(píng)價(jià)基理相同，只是在mse中結(jié)果的數(shù)值越大代表圖像質(zhì)量越差，而在psrn中恰恰相反，結(jié)果的數(shù)值越小代表圖像質(zhì)量越差。公式(1)和公式(2)表明這兩種方法的計(jì)算公式：

其中，m和n表示圖像的大小，xij和yij分別代表參考圖像和失真圖像在位置(i,j)處的像素值，vmax代表像素的取值上限，例如在8bit的系統(tǒng)中，vmax＝2⁸-1＝255。

視覺(jué)信噪比(vsnr)是另一種比較經(jīng)典的基于人類視覺(jué)特性的評(píng)價(jià)方法，該方法是由chandler等人[12,13,14,15]提出的。這種方法首先用小波變換計(jì)算失真圖像與原始圖像差異量的小波系數(shù)，然后判斷這些系數(shù)是否超過(guò)最小可辨失真的閾值，如果沒(méi)有超過(guò)閾值的系數(shù)就認(rèn)為vsrn＝∞；如果小波系數(shù)超過(guò)閾值，則依據(jù)視覺(jué)敏感度計(jì)算出使失真最小的噪聲分布，最后將計(jì)算所得分布與理想分布之間的歐氏距離作為圖像質(zhì)量的評(píng)價(jià)指標(biāo)。

結(jié)構(gòu)相似度(structuralsimilarity,ssim)是wangzhou等人^{[16][17][18][19]}經(jīng)過(guò)一系列研究提出的一種非常經(jīng)典的圖像質(zhì)量評(píng)價(jià)算法。該方法主要通過(guò)失真圖像與原始圖像之間的亮度相似性、對(duì)比度相似性和結(jié)構(gòu)相似性三個(gè)指標(biāo)來(lái)衡量失真圖像的質(zhì)量的。在平面圖像質(zhì)量評(píng)價(jià)領(lǐng)域，該方法以及其相關(guān)的衍生方法具有十分優(yōu)秀的性能。是很多立體圖像和立體視頻質(zhì)量評(píng)價(jià)算法的基礎(chǔ)。

在立體視頻質(zhì)量評(píng)價(jià)方面研究人員通常都是結(jié)合一些已有的相關(guān)領(lǐng)域的方法通過(guò)迭代或者組合的方式來(lái)設(shè)計(jì)立體視頻質(zhì)量評(píng)價(jià)算法。例如，通過(guò)將上面提到的一些平面圖像質(zhì)量評(píng)價(jià)算法與視頻中特有的運(yùn)動(dòng)信息結(jié)合就可以得到視頻質(zhì)量評(píng)價(jià)算法；將平面圖像質(zhì)量評(píng)價(jià)方法與深度信息結(jié)合就可以得到立體圖象質(zhì)量評(píng)價(jià)方法；將平面圖像質(zhì)量評(píng)價(jià)方法、運(yùn)動(dòng)信息以及深度信息結(jié)合在一起就可以得到立體視頻質(zhì)量評(píng)價(jià)算法。在此基礎(chǔ)上再結(jié)合人類視覺(jué)系統(tǒng)特性就可以得到更加符合人類視覺(jué)特性的立體視頻質(zhì)量評(píng)價(jià)模型。其中在深度信息方面，人類視覺(jué)系統(tǒng)特性體現(xiàn)為雙目融合；在運(yùn)動(dòng)信息方面人類視覺(jué)系統(tǒng)特性體現(xiàn)為視覺(jué)顯著性；在圖像質(zhì)量提取方面人類視覺(jué)特性通過(guò)對(duì)比敏感度、視覺(jué)多通道以及最小可辨失真等方面體現(xiàn)出來(lái)。目前大部分立體視頻質(zhì)量評(píng)價(jià)算法都是以上所提內(nèi)容優(yōu)化組合的結(jié)果。

上述各種客觀評(píng)價(jià)方法通過(guò)不同方式對(duì)立體視頻質(zhì)量評(píng)價(jià)進(jìn)行研究，得到了較好的評(píng)價(jià)結(jié)果。然而，大部分方法都是通過(guò)分別計(jì)算每一幀的質(zhì)量分?jǐn)?shù)，然后平均加權(quán)或作為評(píng)價(jià)立體視頻質(zhì)量的指標(biāo)。但是立體視頻中幀與幀之間存在著顯著性差異，根據(jù)人類的視覺(jué)習(xí)慣，某些幀的顯著性非常強(qiáng)，能夠引起觀看者較強(qiáng)烈的關(guān)注；而另外一些幀則不具有顯著性，甚至不能引起觀看者的注意，因此本文在衡量視頻失真程度時(shí)采用自適應(yīng)權(quán)重對(duì)不同幀進(jìn)行加權(quán)得到立體圖像的失真度，實(shí)驗(yàn)結(jié)果表明本文方法和主觀評(píng)價(jià)具有很好的一致性。

技術(shù)實(shí)現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在提出一種符合人類視覺(jué)習(xí)慣且更加有效的立體視頻客觀質(zhì)量評(píng)價(jià)方法。使新的立體視頻客觀質(zhì)量評(píng)價(jià)方法更加準(zhǔn)確高效的評(píng)價(jià)立體視頻的質(zhì)量,同時(shí)在一定程度上推動(dòng)立體成像技術(shù)的發(fā)展。本發(fā)明采用的技術(shù)方案是，基于自適應(yīng)權(quán)重調(diào)節(jié)的立體視頻質(zhì)量評(píng)價(jià)方法，步驟如下：

步驟1：算法開(kāi)始時(shí)先進(jìn)行權(quán)值向量初始化，即給權(quán)值向量中的每一個(gè)元素隨機(jī)的賦值，從而得到初始權(quán)值向量權(quán)值向量的維度n與立體視頻中的幀數(shù)相同，其中的第i個(gè)元素對(duì)應(yīng)于立體視頻中第i幀質(zhì)量保真度的權(quán)重因子；

步驟2：進(jìn)入自適應(yīng)權(quán)重調(diào)整算法的迭代尋優(yōu)的循環(huán)過(guò)程中，首先以該權(quán)值向量為基礎(chǔ)變異產(chǎn)生第一代權(quán)值向量種群種群的大小為n，與權(quán)值向量的維度相同，其中第j個(gè)權(quán)值向量個(gè)體的上標(biāo)為j,表明該個(gè)體是由上一代權(quán)值向量通過(guò)變異第j個(gè)維度的權(quán)重因子而得來(lái)的，其下標(biāo)為1，說(shuō)明該個(gè)體是第一代權(quán)值向量種群中的個(gè)體，權(quán)值向量個(gè)體通過(guò)以下方法得到，p>＝1：

1)生成隨機(jī)數(shù)α，其取值范圍為(0,1)；

2)計(jì)算正向變異因子

計(jì)算負(fù)向變異因子

其中wj為上一代中最優(yōu)個(gè)體的第j維元素或的第j維元素；

步驟3：分別讓正向變異因子和負(fù)向變異因子替換上一代中最優(yōu)個(gè)體的第j維元素，計(jì)算時(shí)，其中p>＝2，或計(jì)算時(shí)的第j維元素從而得到和然后將和分別計(jì)算與其相對(duì)應(yīng)的主客觀一致性并將其中最大者所對(duì)應(yīng)的權(quán)值向量或作為這一代種群中第j個(gè)權(quán)值向量個(gè)體

接下來(lái)就該計(jì)算與這一代種群中權(quán)值向量個(gè)體所對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值：設(shè)與權(quán)值向量對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值為則的計(jì)算方法如式(5)所示：

其中，wi為權(quán)值向量的第i個(gè)元素，其中qfi為立體視頻中第i幀立體圖像的質(zhì)量保真度。

在得到這一代種群中所有的權(quán)值向量個(gè)體所對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值之后，計(jì)算立體視頻質(zhì)量的預(yù)測(cè)值與主觀質(zhì)量分值mos值之間的一致性，具體采用pearson線性相關(guān)系數(shù)和spearman等級(jí)相關(guān)系數(shù)來(lái)評(píng)估主觀質(zhì)量分值和客觀質(zhì)量預(yù)測(cè)分值之間的一致性；

接下來(lái)從這一代中選擇最優(yōu)的權(quán)值向量個(gè)體，其選擇過(guò)程如下：

如果權(quán)值向量決定的立體視頻質(zhì)量預(yù)測(cè)值與主觀mos值之間的一致性是當(dāng)代種群中最好的，j＝1,2,…,n，就將該權(quán)值向量保留，否則就將其淘汰掉；

接下來(lái)就要檢查這一代權(quán)值向量最優(yōu)個(gè)體所產(chǎn)生的立體視頻質(zhì)量預(yù)測(cè)值與主觀分值之間的一致性是否達(dá)到預(yù)期的目標(biāo)，如果達(dá)到預(yù)期的目標(biāo)就停止迭代過(guò)程，如果未達(dá)到要求就繼續(xù)迭代尋找更好的權(quán)值向量，這里以主客觀質(zhì)量分值的pearson線性相關(guān)系數(shù)達(dá)到穩(wěn)定或計(jì)算次數(shù)達(dá)到預(yù)先設(shè)定的上限為終止條件。

初始時(shí)沒(méi)有上一代的計(jì)算結(jié)果，而且初始條件下還沒(méi)有經(jīng)過(guò)迭代尋優(yōu)所以初始的權(quán)值向量不需要經(jīng)過(guò)判斷而直接進(jìn)入迭代計(jì)算的過(guò)程。

本發(fā)明的特點(diǎn)及有益效果是：

本立體視頻質(zhì)量客觀評(píng)價(jià)方法由于考慮了人眼對(duì)視頻中所有幀不分配同樣注意力的特點(diǎn)，對(duì)視頻中的各個(gè)幀采用權(quán)重自適應(yīng)調(diào)節(jié)賦予不同的權(quán)重，更符合人眼視覺(jué)特效，因此對(duì)視頻的質(zhì)量評(píng)價(jià)表現(xiàn)出了很好的主客觀一致性。實(shí)驗(yàn)結(jié)果說(shuō)明，本方法的準(zhǔn)確性和可靠性優(yōu)于目前常見(jiàn)的其它立體視頻質(zhì)量客觀評(píng)價(jià)方法。

附圖說(shuō)明：

圖1參考實(shí)驗(yàn)素材：

(a)airplane參考圖像。

(b)ballroom參考圖像。

(c)woshou參考圖。

圖2失真立體圖像，圖中：

airplane失真圖像。

ballroom失真圖像。

woshou失真圖像。

圖3自適應(yīng)權(quán)重分配算法模型框圖。

圖4自適應(yīng)權(quán)重調(diào)節(jié)算法性能結(jié)果顯示，圖中：

(a)airplane(b)ballroom

(c)woshou

圖5立體視頻失真度總框圖。

圖6七種失真度客觀評(píng)價(jià)方法散點(diǎn)圖，橫縱坐標(biāo)單位為百萬(wàn)，圖中：

(a)3dvif散點(diǎn)圖(b)3dpsnr散點(diǎn)圖

(c)3dvsnr散點(diǎn)圖(d)3dssim散點(diǎn)圖

(e)3dmssim散點(diǎn)圖(f)3dms散點(diǎn)圖

(g)3dmsfw散點(diǎn)圖。

具體實(shí)施方式

基于自適應(yīng)權(quán)重調(diào)節(jié)的立體圖像客觀質(zhì)量評(píng)價(jià)方法，考慮到一段視頻中的所有幀并不具有相同的重要性，人眼可能會(huì)忽視某些不重要的幀，而一些重要幀的質(zhì)量則會(huì)對(duì)視頻的質(zhì)量有更大的影響，理應(yīng)賦予這些幀更大權(quán)值。自適應(yīng)權(quán)重調(diào)節(jié)方法包括以下步驟：

步驟1：算法開(kāi)始時(shí)先進(jìn)行權(quán)值向量初始化，和遺傳算法一樣^[20][21]，即給權(quán)值向量中的每一個(gè)元素隨機(jī)的賦值，從而得到初始權(quán)值向量權(quán)值向量的維度n與立體視頻中的幀數(shù)相同，其中的第i個(gè)元素對(duì)應(yīng)于立體視頻中第i幀質(zhì)量保真度的權(quán)重因子。

步驟2：進(jìn)入自適應(yīng)權(quán)重調(diào)整算法的迭代尋優(yōu)的循環(huán)過(guò)程中。首先以該權(quán)值向量為基礎(chǔ)變異產(chǎn)生第一代權(quán)值向量種群種群的大小為n，與權(quán)值向量的維度相同。其中第j個(gè)權(quán)值向量個(gè)體的上標(biāo)為j,明該個(gè)體是由上一代權(quán)值向量通過(guò)變異第j個(gè)維度的權(quán)重因子而得來(lái)的，其下標(biāo)為1，說(shuō)明該個(gè)體是第一代權(quán)值向量種群中的個(gè)體。權(quán)值向量個(gè)體通過(guò)以下方法得到：

1)生成隨機(jī)數(shù)α，其取值范圍為(0,1)。

2)計(jì)算正向變異因子

計(jì)算負(fù)向變異因子

其中wj為上一代中最優(yōu)個(gè)體的第j維元素或的第j維元素。

步驟3：分別讓正向變異因子和負(fù)向變異因子替換上一代中最優(yōu)個(gè)體的第j維元素(計(jì)算時(shí)，其中p>＝2)或的第j維元素(計(jì)算時(shí))從而得到和然后將和分別計(jì)算與其相對(duì)應(yīng)的主客觀一致性并將其中最大者所對(duì)應(yīng)的權(quán)值向量(或)作為這一代種群中第j個(gè)權(quán)值向量個(gè)體

通過(guò)上述過(guò)程計(jì)算得到的權(quán)值向量個(gè)體與上一代最優(yōu)權(quán)值向量個(gè)體相比，其所決定的立體視頻質(zhì)量預(yù)測(cè)值不會(huì)變壞，即其所決定的立體視頻質(zhì)量預(yù)測(cè)的性能是不斷改善的。

根據(jù)自適應(yīng)權(quán)重分配算法的流程圖，接下來(lái)就該計(jì)算與這一代種群中權(quán)值向量個(gè)體所對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值了。不妨設(shè)與權(quán)值向量對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值為則的計(jì)算方法如式(5)所示。

其中，wi為權(quán)值向量的第i個(gè)元素，其中qfi為立體視頻中第i幀立體圖像的質(zhì)量保真度。

在得到這一代種群中所有的權(quán)值向量個(gè)體所對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值之后，就可以計(jì)算立體視頻質(zhì)量的預(yù)測(cè)值與主觀質(zhì)量分值(即mos值)之間的一致性了，這里通常用pearson線性相關(guān)系數(shù)和spearman等級(jí)相關(guān)系數(shù)來(lái)評(píng)估主觀質(zhì)量分值和客觀質(zhì)量預(yù)測(cè)分值之間的一致性。

接下來(lái)就要從這一代中選擇最優(yōu)的權(quán)值向量個(gè)體了，其選擇過(guò)程如下：

如果權(quán)值向量決定的立體視頻質(zhì)量預(yù)測(cè)值與主觀mos值之間的一致性是當(dāng)代種群中最好的，就將該權(quán)值向量保留，否則就將其淘汰掉。

接下來(lái)就要檢查這一代權(quán)值向量最優(yōu)個(gè)體所產(chǎn)生的立體視頻質(zhì)量預(yù)測(cè)值與主觀分值之間的一致性是否達(dá)到預(yù)期的目標(biāo)，如果達(dá)到預(yù)期的目標(biāo)就停止迭代過(guò)程，如果未達(dá)到要求就繼續(xù)迭代尋找更好的權(quán)值向量。這里我們以主客觀質(zhì)量分值的pearson線性相關(guān)系數(shù)達(dá)到穩(wěn)定(即此次計(jì)算所得的pearson線性相關(guān)系數(shù)和上一代時(shí)計(jì)算所得的pearson線性相關(guān)系數(shù)相同，這說(shuō)明計(jì)算結(jié)果已經(jīng)收斂于一個(gè)穩(wěn)定的值)或計(jì)算次數(shù)達(dá)到預(yù)先設(shè)定的上限為終止條件。由于初始時(shí)沒(méi)有上一代的計(jì)算結(jié)果，而且初始條件下還沒(méi)有經(jīng)過(guò)迭代尋優(yōu)所以初始的權(quán)值向量不需要經(jīng)過(guò)判斷而直接進(jìn)入迭代計(jì)算的過(guò)程。

通過(guò)遺傳算法進(jìn)行自適應(yīng)權(quán)重調(diào)節(jié)，我們總是能確定一組穩(wěn)定的權(quán)值向量，而且這組向量所決定的立體視頻質(zhì)量預(yù)測(cè)值與主觀質(zhì)量分值的一致性總是優(yōu)于平均方法所得的結(jié)果。因此本方法使用這種自適應(yīng)權(quán)重調(diào)節(jié)算法來(lái)評(píng)價(jià)立體視頻質(zhì)量。

表1本文方法與其余六種評(píng)價(jià)方法相關(guān)性比較

表2在其他立體視頻數(shù)據(jù)庫(kù)測(cè)試的實(shí)驗(yàn)結(jié)果

表3主觀試驗(yàn)環(huán)境及相關(guān)參數(shù)設(shè)置

本文所提立體視頻庫(kù)中原始的立體視頻來(lái)自天津三維顯示技術(shù)有限公司和hhi研究所，其中包括三種不同內(nèi)容的立體視頻，其信息列于表4中。

表4視頻內(nèi)容及參數(shù)

由于人類視覺(jué)系統(tǒng)對(duì)量化參數(shù)小于24的壓縮失真不敏感，所以我們?cè)诮⒅饔^實(shí)驗(yàn)數(shù)據(jù)庫(kù)時(shí)選擇了如下7種步長(zhǎng)的量化參數(shù)：24、28、32、36、40、44、48。立體視頻左右視點(diǎn)分別以每種量化步長(zhǎng)進(jìn)行壓縮，再相互結(jié)合成完整的立體視頻，所以每種內(nèi)容的立體視頻都包含有49種不同損傷程度的失真視頻和一個(gè)未失真的原始立體視頻，其中49種不同損傷程度的立體視頻既包括對(duì)稱壓縮損傷也包括非對(duì)稱壓縮損傷。

本方法所提立體視頻主觀實(shí)驗(yàn)數(shù)據(jù)庫(kù)一共包含150段不同內(nèi)容和不同損傷程度的立體視頻。

下面結(jié)合技術(shù)方案詳細(xì)說(shuō)明本方法：

本方法先通過(guò)ssim獲得立體視頻中每一幀的質(zhì)量分?jǐn)?shù)。ssim主要評(píng)價(jià)兩幅圖像的相似程度，在ssim中兩幅圖像的相似程度主要由三個(gè)指標(biāo)來(lái)衡量：亮度相似性、對(duì)比度相似性以及結(jié)構(gòu)相似性。

亮度相似性通過(guò)公式(6)得到：

等式中x和y分別代表參考圖像局部像素塊和失真圖像局部像素塊，ux和uy分別代表參考圖像局部像素塊的平均值和失真圖像局部像素塊的平均值。當(dāng)?shù)仁街械姆帜?imgfile="bda0001305075760000074.gif"wi="168"he="62"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>太小時(shí)會(huì)影響計(jì)算結(jié)果的穩(wěn)定性，為了防止這種現(xiàn)象的發(fā)生，故設(shè)置了一個(gè)常數(shù)c1，本文中令c1＝(k1×l)²，k1＝0.01，l＝255。

對(duì)比度相似性通過(guò)公式(7)算得到：

同樣等式中x和y分別代表參考圖像局部像素塊和失真圖像局部像素塊，σx和σy分別代表參考圖像局部像素塊的標(biāo)準(zhǔn)差和失真圖像局部像素塊的標(biāo)準(zhǔn)差。常數(shù)c2與常數(shù)c1的作用相同，本文中令c2＝(k2×l)²，k2＝0.03，l＝255。

結(jié)構(gòu)相似性通過(guò)公式(8)算得到：

同樣等式中x和y分別代表參考圖像局部像素塊和失真圖像局部像素塊，σx和σy分別代表參考圖像局部像素塊的標(biāo)準(zhǔn)差和失真圖像局部像素塊的標(biāo)準(zhǔn)差，σxy代表參考圖像局部像素塊和失真圖像局部像素塊的協(xié)方差。常數(shù)c3與常數(shù)c1的作用相同，本文中令c3＝c2/2。

最終的ssim質(zhì)量評(píng)價(jià)結(jié)果由式(9)計(jì)算得到：

ssim(x,y)＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ(9)

其中，α、β、γ是調(diào)節(jié)亮度相似性、對(duì)比度相似性以及結(jié)構(gòu)相似性這三個(gè)指標(biāo)相對(duì)重要性的非負(fù)常數(shù)。其典型的取值為α＝β＝γ＝1，則式(9)可以變?yōu)槭?10)形式：

其中參考圖像局部像素塊x和失真圖像局部像素塊y是分別在參考圖像和失真圖像中對(duì)應(yīng)位置選取以像素(x,y)為中心的11×11的像素區(qū)域。利用等式(10)計(jì)算得到(x,y)處的ssim值，最后逐像素滑動(dòng)計(jì)算窗從而得到所有像素的ssim值。由公式(6)(7)(8)可以看出當(dāng)兩幅圖像完全相同時(shí)l(x,y)、c(x,y)、s(x,y)達(dá)到最大值1從而使得ssim達(dá)到最大值1；隨著失真圖像損傷程度的加重，l(x,y)、c(x,y)、s(x,y)會(huì)隨之減小從而使得ssim相應(yīng)減小，所以ssim的取值范圍為0～1。

得到每一幀圖像的質(zhì)量以后，需要對(duì)這些圖像賦予不同的權(quán)重得到整個(gè)視頻的質(zhì)量。權(quán)值向量的確定使用自適應(yīng)權(quán)重調(diào)節(jié)。算法開(kāi)始時(shí)先進(jìn)行權(quán)值向量初始化，即給權(quán)值向量中的每一個(gè)元素隨機(jī)的賦值，從而得到初始權(quán)值向量權(quán)值向量的維度n與立體視頻中的幀數(shù)相同，其中的第i個(gè)元素對(duì)應(yīng)于立體視頻中第i幀質(zhì)量保真度的權(quán)重因子。

然后，就進(jìn)入自適應(yīng)權(quán)重調(diào)整算法的迭代尋優(yōu)的循環(huán)過(guò)程中。首先以該權(quán)值向量為基礎(chǔ)變異產(chǎn)生第一代權(quán)值向量種群種群的大小為n，與權(quán)值向量的維度相同。其中第j個(gè)權(quán)值向量個(gè)體的上標(biāo)為j,明該個(gè)體是由上一代權(quán)值向量通過(guò)變異第j個(gè)維度的權(quán)重因子而得來(lái)的，其下標(biāo)為1，說(shuō)明該個(gè)體是第一代權(quán)值向量種群中的個(gè)體。權(quán)值向量個(gè)體通過(guò)以下方法得到：

1.生成隨機(jī)數(shù)α，其取值范圍為(0,1)。

2.計(jì)算正向變異因子

計(jì)算負(fù)向變異因子

其中wj為上一代中最優(yōu)個(gè)體的第j維元素或的第j維元素。

3.分別讓正向變異因子和負(fù)向變異因子替換上一代中最優(yōu)個(gè)體的第j維元素(計(jì)算時(shí)，其中p>＝2)或的第j維元素(計(jì)算時(shí))從而得到和然后將和分別計(jì)算與其相對(duì)應(yīng)的主客觀一致性并將其中最大者所對(duì)應(yīng)的權(quán)值向量(或)作為這一代種群中第j個(gè)權(quán)值向量個(gè)體

通過(guò)上述過(guò)程計(jì)算得到的權(quán)值向量個(gè)體與上一代最優(yōu)權(quán)值向量個(gè)體相比，其所決定的立體視頻質(zhì)量預(yù)測(cè)值不會(huì)變壞，即其所決定的立體視頻質(zhì)量預(yù)測(cè)的性能是不斷改善的。

根據(jù)自適應(yīng)權(quán)重分配算法的流程圖，接下來(lái)就該計(jì)算與這一代種群中權(quán)值向量個(gè)體所對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值了。不妨設(shè)與權(quán)值向量對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值為則的計(jì)算方法如公式(13)所示。

其中，wi為權(quán)值向量的第i個(gè)元素，其中qfi為立體視頻中第i幀立體圖像的質(zhì)量保真度。

在得到這一代種群中所有的權(quán)值向量個(gè)體所對(duì)應(yīng)的立體視頻質(zhì)量預(yù)測(cè)值之后，就可以計(jì)算立體視頻質(zhì)量的預(yù)測(cè)值與主觀質(zhì)量分值(即mos值)之間的一致性了，這里通常用pearson線性相關(guān)系數(shù)和spearman等級(jí)相關(guān)系數(shù)來(lái)評(píng)估主觀質(zhì)量分值和客觀質(zhì)量預(yù)測(cè)分值之間的一致性。(14)(15)所示分別為pearson線性相關(guān)系數(shù)和spearman等級(jí)相關(guān)系數(shù)的計(jì)算公式。

pearson線性相關(guān)系數(shù)：

其中x和y分別代表兩個(gè)矩陣或者向量，xi和yi為向量中第i個(gè)元素，和為矩陣x和y的均值。p(x,y)為它們的pearson線性相關(guān)系數(shù)，σxy為它們的協(xié)方差，σx和σy分別為它們的標(biāo)準(zhǔn)差。

spearman等級(jí)相關(guān)系數(shù):

sp(x,y)＝p(index(x),index(y))(15)

其中index(x)和index(y)分別代表矩陣x和y所對(duì)應(yīng)的元素序數(shù)矩陣。實(shí)際上spearman等級(jí)相關(guān)系數(shù)反映了矩陣x和y所對(duì)應(yīng)的元素序數(shù)矩陣的相關(guān)性。

接下來(lái)就要從這一代中選擇最優(yōu)的權(quán)值向量個(gè)體了，其選擇過(guò)程如下：

如果權(quán)值向量決定的立體視頻質(zhì)量預(yù)測(cè)值與主觀mos值之間的一致性是當(dāng)代種群中最好的，就將該權(quán)值向量保留，否則就將其淘汰掉。

接下來(lái)就要檢查這一代權(quán)值向量最優(yōu)個(gè)體所產(chǎn)生的立體視頻質(zhì)量預(yù)測(cè)值與主觀分值之間的一致性是否達(dá)到預(yù)期的目標(biāo)，如果達(dá)到預(yù)期的目標(biāo)就停止迭代過(guò)程，如果未達(dá)到要求就繼續(xù)迭代尋找更好的權(quán)值向量。這里我們以主客觀質(zhì)量分值的pearson線性相關(guān)系數(shù)達(dá)到穩(wěn)定(即此次計(jì)算所得的pearson線性相關(guān)系數(shù)和上一代時(shí)計(jì)算所得的pearson線性相關(guān)系數(shù)相同，這說(shuō)明計(jì)算結(jié)果已經(jīng)收斂于一個(gè)穩(wěn)定的值)或計(jì)算次數(shù)達(dá)到預(yù)先設(shè)定的上限為終止條件。由于初始時(shí)沒(méi)有上一代的計(jì)算結(jié)果，而且初始條件下還沒(méi)有經(jīng)過(guò)迭代尋優(yōu)所以初始的權(quán)值向量不需要經(jīng)過(guò)判斷而直接進(jìn)入迭代計(jì)算的過(guò)程。迭代達(dá)到終止條件后利用公式(13)得到整個(gè)視頻的質(zhì)量。

參考文獻(xiàn)

[1]itu-tr.h.265,highefficiencyvideocoding[s].apr.2015.

[2]d@homewebsite—steeringteamsoverview.[ol].international3d&advancedimagingsociety.(2015).available:

http://www.3dathome.org/steering-overview.aspx

[3]china3dindustryassociation.[ol].china3dindustryassociation.(aug.2015).available:http://www.c3dworld.org/

[4]dconsortium—neweraof3d—“fromsurprisetoimpression！”[ol].3d-consortium.(aug.2014).available:http://www.3dc.gr.jp

[5]j.tam,f.speranza,s.yano,etal.stereoscopic3d-tv:visualcomfort[j].ieeetrans.broadcast,2011,57(2):335–346.

[6]h.linandj.-l.wu.adepthinformationbasedfastmodedecisionalgorithmforcolorplusdepth-map3dvideos[j].ieeetrans.broadcast.,2011,57(2):542–550.

[7]pulipaka,p.seeling,m.reisslein,etal,trafficandstatisticalmultiplexingcharacterizationof3-dvideorepresentationformats[j].ieeetrans.broadcast.,2013,59(2):382–389.

[8]merkle,k.müller,andt.wiegand.3dvideo:acquisition,coding,anddisplay[c].inproc.ieeeint.conf.consum.electron.(icce),piscataway,nj,usa:ieee,2010:127–128.

[9]張英靜,衛(wèi)津津等.立體圖像質(zhì)量的主觀評(píng)價(jià)方案[j].光子學(xué)報(bào),2012,41(5):602-607.

[10]internationaltelecommunicationunion(itu)，recommendationitu～rbt.1438，subjectiveassessmentofstereoscopictelevisionpictures[s].2000.

[11]qeg.videoqualityexpertgroupmotivationobjectivesandrules[ol].2010:http://www.its.bldrdoc.gov/vqeg

[12]chandler,d.m.,m.a.masry,ands.s.hemami.quantifyingthevisualqualityofwavelet-compressedimagesbasedonlocalcontrast,visualmasking,andglobalprecedence[c].in:signals,systemsandcomputers,2003.conferencerecordofthethirty-seventhasilomarconferenceon,piscataway,nj,usa:ieee,2003:1393-1397.

[13]chandler,d.m.ands.s.hemami.vsnr:awavelet-basedvisualsignal-to-noiseratiofornaturalimages.imageprocessing[j],ieeetransactions,2007,16(9):2284-2298.

[14]chandler,d.ands.hemami.vsnr:avisualsignalto-noiseratiofornaturalimagesbasedonnear-thresholdandsuprathresholdvision[j].retrievedjuly.2010,15(3):12-17.

[15]chandler,d.m.ands.s.hemami.effectsofnaturalimagesonthedetectabilityofsimpleandcompoundwaveletsubbandquantizationdistortions[j].j.opt.soc.am.a.2003,20(7):1164-1180.

[16]wang,z.anda.c.bovik.auniversalimagequalityindex[j].signalprocessingletters,ieee,2002,9(3):81-84。

[17]wang,z.,a.c.bovik,h.r.sheikh,etal.imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[j].ieeetransactionsonimageprocessing,2004,13(4):600-612.

[18]wang,z.,a.c.bovik,andl.lu.whyisimagequalityassessmentsodifficult[j].acoustics,speech,andsignalprocessing,2002,4(1):1-4.

[19]wang,z.anda.c.bovik.meansquarederror:loveitorleaveit？anewlookatsignalfidelitymeasures[j].signalprocessingmagazine,ieee,2009,26(1):98-117.

[20]caok,huangb,wangs,etal.sustainablelanduseoptimizationusingboundary-basedfastgeneticalgorithm[j].computers,environmentandurbansystems,2012,36(3):257－269.

[21]mengw,hanxd,hongbr.beeevolutionarygeneticalgorithm.actaelectronicasinica,2006,34(7):1294-1300。