專利名稱：一種立體圖像質(zhì)量客觀評價方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體圖像質(zhì)量評價技術(shù)，尤其是涉及一種基于雙目融合和雙目掩蔽的立體圖像質(zhì)量客觀評價方法。
背景技術(shù)：
隨著三維顯示技術(shù)的逐步發(fā)展，立體圖像技術(shù)在各領(lǐng)域得到了廣泛的應(yīng)用。然而， 如何建立有效的符合人類視覺感知的立體圖像質(zhì)量評價方法已成為立體圖像處理與壓縮領(lǐng)域的一個研究熱點。立體圖像質(zhì)量評價從方法學(xué)角度可分為兩種方法主觀質(zhì)量評價方法和客觀質(zhì)量評價方法。主觀質(zhì)量評價方法是通過大量的測試人員對立體圖像進(jìn)行視覺感知質(zhì)量評價。 由于主觀質(zhì)量評價方法操作極為不便并且消耗大量的時間和人力物力，因此立體圖像質(zhì)量評價研究的最終目標(biāo)是建立一種能夠自動地評價并且評價結(jié)果與主觀質(zhì)量評價結(jié)果一致的客觀質(zhì)量評價模型。立體圖像客觀質(zhì)量評價方法通過對失真信息進(jìn)行模型化來預(yù)測測試立體圖像的視覺質(zhì)量，因此在視頻處理領(lǐng)域中起到了十分重要的作用，如用于監(jiān)控和調(diào)整圖像質(zhì)量、優(yōu)化算法及參數(shù)設(shè)置、評價系統(tǒng)或算法性能等。目前，研究人員提出了多種立體圖像客觀質(zhì)量評價方法，其中一類有代表性的方法是直接用平面圖像質(zhì)量評價方法分別對立體圖像的左右視點圖像進(jìn)行評價所得結(jié)果的平均值作為立體圖像質(zhì)量預(yù)測值；而另一類方法是將立體圖像質(zhì)量評價分成兩部分平面失真評價和立體失真評價。第一類方法將立體圖像視為由獨立存在的左右視點圖像組成的集合，完全沒有考慮到立體圖像所具有的特殊性；而第二類方法在第一類方法的基礎(chǔ)上，僅僅利用立體圖像的深度或者視差信息來評價立體圖像特有的失真質(zhì)量。顯然，這兩類方法都是平面圖像客觀質(zhì)量評價方法的延伸或改進(jìn)。與平面圖像相比，立體圖像不僅僅是多了一個通道，其質(zhì)量評價至少存在以下幾個難點問題(I) 立體圖像特有的失真類型如Crosstalk、Cardboard、Keystone等的評價問題；(2)立體圖像深度感知信息的表示及其失真評價問題；(3)立體圖像左右視點間相互作用問題。目前，以上這些問題尚未得到解決，導(dǎo)致現(xiàn)有的客觀質(zhì)量評價模型的評價結(jié)果與立體圖像的視覺質(zhì)量不一致。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種基于雙目融合(binocular fusion)和雙目掩蔽(binocular suppression)的立體圖像質(zhì)量客觀評價方法,其能夠客觀地反映立體圖像受到各種圖像處理和壓縮方法影響下的視覺質(zhì)量變化情況，與人類視覺系統(tǒng)特性相一致。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種立體圖像質(zhì)量客觀評價方法，其特征在于包括以下步驟①定義立體圖像客觀質(zhì)量評價中用于參照的原始立體圖像為參考立體圖像，將參考立體圖像的左視點圖像記為I1，將參考立體圖像的右視點圖像記為Ir，將參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像記為C ;定義立體圖像客觀質(zhì)量評價中用于測試的參考立體圖像的失真圖像為測試立體圖像，將測試立體圖像的左視點圖像記為^，將測試立體圖像的右視點圖像記為/;，將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像記為0，其中，參考立體圖像的左視點圖像I1、參考立體圖像的右視點圖像Ir、測試立體圖像的左視點圖像A、測試立體圖像的右視點圖像A的尺寸大小均為WXH，W表示圖像的寬度，H 表不圖像的聞度；②將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d劃分為三類區(qū)域 第一類區(qū)域為遮擋區(qū)域，記為及·，該遮擋區(qū)域及·的信息僅存在于左視點和右視點的一個視點中；第二類區(qū)域為雙目掩蔽區(qū)域，記為為 ，該雙目掩蔽區(qū)域為 的信息為左視點和右視點中圖像內(nèi)容差異較大或視差較大的雙目信息；第三類為雙目融合區(qū)域，記為，該雙目融合區(qū)域兔,的信息為左視點和右視點中圖像內(nèi)容相似且視差較小的雙目信息；③將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d分割成互不重疊的大小為kXk的圖像塊，并將所有圖像塊分為遮擋塊、雙目掩蔽塊、雙目融合塊三種類型， 然后根據(jù)圖像塊的類型更新及^、Rbs^ ，對應(yīng)得到更新后的遮擋區(qū)域及·'、更新后的雙目掩蔽區(qū)域、更新后的雙目融合區(qū)域瓦/，接著獲取參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像C中與瓦J對應(yīng)位置的區(qū)域R。。/、與先/對應(yīng)位置的區(qū)域RbJ、與兔/對應(yīng)位置的區(qū)域Rb/，再對'的左視點對應(yīng)區(qū)域&/、it'的右視點對應(yīng)區(qū)域 C'、4/的左視點對應(yīng)區(qū)域戌/、的右視點對應(yīng)區(qū)域私'、R。。。'、V的左視點對應(yīng)區(qū)域i^'、RbJ的右視點對應(yīng)區(qū)域iC'、Rb/的左視點對應(yīng)區(qū)域的右視點對應(yīng)區(qū)域凡/■'中的所有大小為kXk的圖像塊分別進(jìn)行奇異值分解，得到各個圖像塊各自對應(yīng)的奇異值，其中，k大于I ;④根據(jù)及^Rocc'與Rtcc/中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離， 獲得見J的全局失真程度Q。。。；根據(jù)穴/與中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離及^^/與尺。中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離，獲得及J的全局失真程度Qbs;根據(jù)&'與<'中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離及或'與中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離，獲得Λ/的全局失真程度Qbf ；⑤根據(jù)及_'的全局失真程度Q。。。、及J的全局失真程度Qbs和或/的全局失真程度Qbf，采用線性回歸方程，計算測試立體圖像的全局失真程度，記為Q，Q =
'+ b + C = I
η
LXQ(xx+bXQbS+cXQbf，其中，a, b, c 均為系數(shù)，a, b, c 滿足條件
O < α < I 0<b<l 0<c<l所述的步驟②的具體過程為
②-I、將參考立體圖像的左視點圖像I1中坐標(biāo)位置為(x,y)的像素點記為尸將參考立體圖像的右視點圖像Ir中坐標(biāo)位置為(S，t)的像素點記為尸I,，將測試立體圖像的左視點圖像/沖坐標(biāo)位置為(X，y)的像素點記為》將測試立體圖像的右視點圖像/;中坐標(biāo)位置為(S，t)的像素點記為 ，其中，I②_2、對參考立體圖像進(jìn)行立體匹配，獲得參考立體圖像中的各個像素點的水平視差和垂直視差，具體過程為判斷與是否相匹配，如果兩者相匹配，則將兩者的匹
配關(guān)系表示為(尸K,)，并將和戍,的水平視差都記為(，<=μ-χ|，將；4和<,的垂直視差都記為0<廠|〖_少|(zhì)，否則，如果參考立體圖像的右視點圖像Ir中不存在與/4相匹配的像素點，則將的匹配關(guān)系表示為(尸U)，并將的水平視差和垂直視差都確定為255，如果參考立體圖像的左視點圖像I1中不存在與O目匹配的像素點，則將^的匹配關(guān)系轟不為[φ，Prsj)，并將的水平視差和垂直視差都確定為255,其中，“I I ”為取絕對值符號，“ Φ ”為空集表不符號；②_3、對測試立體圖像進(jìn)行立體匹配，獲得測試立體圖像中的各個像素點的水平視差和垂直視差，具體過程為判斷武丨與久^是否相匹配，如果兩者相匹配，則將兩者的匹
配關(guān)系表示為(足^義)，并將冗,義的水平視差都記為 =|^|，將冗，和式,的垂直視差記為<y = \t-y\，否則，如果測試立體圖像的右視點圖像兄中不存在與相匹配的像素點，則將武j的匹配關(guān)系表示為(瓦f 4，并將武j的水平視差和垂直視差都確定為 255，如果測試立體圖像的左視點圖像義中不存在與久^相匹配的像素點，則將久^的匹配關(guān)系表示為(么武，將&,的水平視差和垂直視差都確定為255，其中，“ I I ”為取絕對值符號， “ Φ”為空集表不符號；②-4、將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d劃分為遮擋區(qū)域和匹配區(qū)域及》-，遮擋區(qū)域及^由左視點遮擋區(qū)域及L和右視點遮擋區(qū)域及二兩部分組成，表示為'K ^jRrocc，左視點遮擋區(qū)域及^為測試立體圖像的左視點圖像義中匹配關(guān)系為的像素點的集合，表示為義廠⑶^說^武^/丄右視點遮擋區(qū)域瓦為測試立體圖像的右視點圖像I中匹配關(guān)系為(么尤)的像素點的集合，表示為 RL={pA^prJ^p, e，匹配區(qū)域瓦α Λ為測試立體圖像的左視點圖像A和測試立體圖像的右視點圖像/;相匹配的像素點的集合，其中，“U”為集合并運算符號，“Λ”為“與”運算符號;②_5、進(jìn)一步將匹配區(qū)域&^劃分為雙目掩蔽區(qū)域^和雙目融合區(qū)域式,，雙目掩蔽區(qū)域元為由&的左視點對應(yīng)區(qū)域尾與元的右視點對應(yīng)區(qū)域疋經(jīng)雙目掩蔽得到的合成區(qū)域，雙目融合區(qū)域為由尾/■的左視點對應(yīng)區(qū)域力丨/與尾/■的右視點對應(yīng)區(qū)域尾；/·經(jīng)雙目融
合得到的合成區(qū)域，其中，
權(quán)利要求
1.一種立體圖像質(zhì)量客觀評價方法，其特征在于包括以下步驟①定義立體圖像客觀質(zhì)量評價中用于參照的原始立體圖像為參考立體圖像，將參考立體圖像的左視點圖像記為I1，將參考立體圖像的右視點圖像記為Ir，將參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像記為C ;定義立體圖像客觀質(zhì)量評價中用于測試的參考立體圖像的失真圖像為測試立體圖像，將測試立體圖像的左視點圖像記為^，將測試立體圖像的右視點圖像記為/;，將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像記為 C，其中，參考立體圖像的左視點圖像I1、參考立體圖像的右視點圖像Ir、測試立體圖像的左視點圖像A、測試立體圖像的右視點圖像義的尺寸大小均為WXH，W表示圖像的寬度，H表示圖像的高度；②將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d劃分為三類區(qū)域第一類區(qū)域為遮擋區(qū)域，記為JL，該遮擋區(qū)域及^的信息僅存在于左視點和右視點的一個視點中；第二類區(qū)域為雙目掩蔽區(qū)域，記為兔,，該雙目掩蔽區(qū)域為 的信息為左視點和右視點中圖像內(nèi)容差異較大或視差較大的雙目信息；第三類為雙目融合區(qū)域，記為kf，該雙目融合區(qū)域兔 /的信息為左視點和右視點中圖像內(nèi)容相似且視差較小的雙目信息；③將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d分割成互不重疊的大小為kXk的圖像塊，并將所有圖像塊分為遮擋塊、雙目掩蔽塊、雙目融合塊三種類型，然后根據(jù)圖像塊的類型更新及^、ks、兔/，對應(yīng)得到更新后的遮擋區(qū)域更新后的雙目掩蔽區(qū)域&/、更新后的雙目融合區(qū)域瓦/，接著獲取參考立體圖像在人類視覺系統(tǒng)中形成的 cyclopean圖像C中與對應(yīng)位置的區(qū)域U、與對應(yīng)位置的區(qū)域RbJ、與式/對應(yīng)位置的區(qū)域Rbf'，再對、元1的左視點對應(yīng)區(qū)域疋'、瓦/的右視點對應(yīng)區(qū)域瓦V、Rbf' 的左視點對應(yīng)區(qū)域戌/、式/的右視點對應(yīng)區(qū)域、RbJ的左視點對應(yīng)區(qū)域</、 Rbs;的右視點對應(yīng)區(qū)域i 。、Rbf'的左視點對應(yīng)區(qū)域M/、Rbf'的右視點對應(yīng)區(qū)域凡；/■'中的所有大小為kXk的圖像塊分別進(jìn)行奇異值分解，得到各個圖像塊各自對應(yīng)的奇異值，其中，k大于I ;④根據(jù)見J與R。。/中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離，獲得見J的全局失真程度Q。。。；根據(jù)穴/與中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離及&/與中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離，獲得及J 的全局失真程度Qbs;根據(jù)&'與<■'中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離及或；■'與中所有對應(yīng)位置的大小為kXk的圖像塊之間的奇異值距離，獲得Λ/的全局失真程度Qbf ；⑤根據(jù)的全局失真程度Q。。。、及J的全局失真程度Qbs和或,'的全局失真程度Qbf，采用線性回歸方程,計算測試立體圖像的全局失真程度,記為Q,Q = aXQ0CC+bXQbs+cXQbf,Jt中，a, b, c均為系數(shù)，a, b, c滿足條件
2.根據(jù)權(quán)利要求I所述的一種立體圖像質(zhì)量客觀評價方法，其特征在于所述的步驟② 的具體過程為②-I、將參考立體圖像的左視點圖像I1中坐標(biāo)位置為(X，y)的像素點記為尸將參考立體圖像的右視點圖像I,中坐標(biāo)位置為(s，t)的像素點記為/C，將測試立體圖像的左視點圖像義中坐標(biāo)位置為U，y)的像素點記為武Y將測試立體圖像的右視點圖像/;中坐標(biāo)位置為(s，t)的像素點記為，其中，I彡χ彡W，1彡y彡H，1彡s彡W，1彡t彡H;②-2、對參考立體圖像進(jìn)行立體匹配，獲得參考立體圖像中的各個像素點的水平視差和垂直視差，具體過程為判斷與尸,是否相匹配，如果兩者相匹配，則將兩者的匹配關(guān)系表示為(尸K,)，并將和式,的水平視差都記為(，(=μ-χ|，將/4和戍,的垂直視差都記為0<廠卜少|(zhì)，否則，如果參考立體圖像的右視點圖像Ir中不存在與/4相匹配的像素點，則將的匹配關(guān)系表示為并將的水平視差和垂直視差都確定為 255，如果參考立體圖像的左視點圖像I1中不存在與O目匹配的像素點，則將/C的匹配關(guān)系表示為(么式，并將<,的水平視差和垂直視差都確定為255，其中，“ I I ”為取絕對值符號，“ Φ ”為空集表不符號；②_3、對測試立體圖像進(jìn)行立體匹配，獲得測試立體圖像中的各個像素點的水平視差和垂直視差，具體過程為判斷武丨與久^是否相匹配，如果兩者相匹配，則將兩者的匹配關(guān)系表示為PL，武,)，并將冗,義的水平視差都記為 =ι^-χ|，將冗，和式,的垂直視差記為，否則，如果測試立體圖像的右視點圖像兄中不存在與相匹配的像素點，則將的匹配關(guān)系表示為(瓦，并將的水平視差和垂直視差都確定為255，如果測試立體圖像的左視點圖像/沖不存在與尺湘匹配的像素點，則將式 的匹配關(guān)系表示為 (Φ,Ρ,)，將的水平視差和垂直視差都確定為255，其中，“ I I ”為取絕對值符號，“ Φ ”為空集表不符號；②-4、將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d劃分為遮擋區(qū)域及_和匹配區(qū)域及》-，遮擋區(qū)域及^由左視點遮擋區(qū)域及L和右視點遮擋區(qū)域及二兩部分組成，表示為:kocc=klocc ^jkrocc，左視點遮擋區(qū)域及^為測試立體圖像的左視點圖像i中匹配關(guān)系為(足，,4的像素點的集合，表示為尤,={瓦」(足 漢,/山右視點遮擋區(qū)域&:為測試立體圖像的右視點圖像I中匹配關(guān)系為(么尤)的像素點的集合，表示為 hAWKX dj，匹配區(qū)域之_為測試立體圖像的左視點圖像/>測試立體圖像的右視點圖像/;相匹配的像素點的集合，其中，“u”為集合并運算符號，“λ”為“與”運算符號；②_5、進(jìn)一步將匹配區(qū)域劃分為雙目掩蔽區(qū)域和雙目融合區(qū)域式,，雙目掩蔽區(qū)域元為由&的左視點對應(yīng)區(qū)域尾與元的右視點對應(yīng)區(qū)域疋經(jīng)雙目掩蔽得到的合成區(qū)域， 雙目融合區(qū)域為由尾/■的左視點對應(yīng)區(qū)域力丨/與尾/■的右視點對應(yīng)區(qū)域尾；/·經(jīng)雙目融合得到的合成區(qū)域，其中，
3.根據(jù)權(quán)利要求I或2所述的一種立體圖像質(zhì)量客觀評價方法，其特征在于所述的步驟③的具體過程為③-I、將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d分割成互不重疊的大小為kXk的圖像塊，并將測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d中的所有圖像塊分為遮擋塊、雙目掩蔽塊、雙目融合塊三種類型，具體分類過程為對于測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d中的任意一個圖像塊，將其記為6，判斷鄉(xiāng)中是否存在屬于iL的像素點，如果5中存在屬于U勺像素點，則將5標(biāo)記為遮擋塊，如果 5中不存在屬于瓦J勺像素點，則再判斷力中是否存在屬于之的像素點，如果存在，則將5標(biāo)記為雙目掩蔽塊，否則，將力標(biāo)記為雙目融合塊，其中，k大于I ;③-2、將由測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d中的所有遮擋塊構(gòu)成的區(qū)域作為更新后的遮擋區(qū)域，記為及_'，將由測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d中的所有雙目掩蔽塊構(gòu)成的區(qū)域作為更新后的雙目掩蔽區(qū)域，記為瓦/，將由測試立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像d中的所有雙目融合塊構(gòu)成的區(qū)域作為更新后的雙目融合區(qū)域，記為兔/，并將更新后的的左視點遮擋區(qū)域和 Aocc $勺右·視點、 當(dāng)g域、之御·&視點、對■應(yīng)g域# Rbs怕右■視點、對■應(yīng)g域、Rbf '的·&視點、對■應(yīng)區(qū)域和兔/的右視點對應(yīng)區(qū)域分別記為及^和&^、&/和兔V、■'和if;③-3、將參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像C中與瓦J對應(yīng)位置的區(qū)域記為R。。。，，Rocc' = R1occ 'UiC '，其中，“ U ”為集合并運算符號，iC為參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像C中與itj對應(yīng)位置的區(qū)域， rLc ={p[,y I p[,y e I1 ^p1xy e R1occ'}，U為參考立體圖像在人類視覺系統(tǒng)中形成的 cyclopean圖像C中與瓦V對應(yīng)位置的區(qū)域，^C'= IaPIj;③-4、將參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像C中與戌/對應(yīng)位置的區(qū)域記為I尸^ UlAP1xy ￡戌/}，將參考立體圖像在人類視覺系統(tǒng)中形成的 cyclopean 圖像 C 中與兒1 對應(yīng)位置的區(qū)域記為,Rrbs'= {prs t | prs t g Ir aprs t e Rbs')；③-5、將參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像C中與戌/對應(yīng)位置的區(qū)域記 將參考立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像C中與
4.根據(jù)權(quán)利要求3所述的一種立體圖像質(zhì)量客觀評價方法，其特征在于所述的步驟③-1中k = 4。
5.根據(jù)權(quán)利要求3所述的一種立體圖像質(zhì)量客觀評價方法，其特征在于所述的步驟④ 的具體過程為④-I、計算見
6.根據(jù)權(quán)利要求5所述的一種立體圖像質(zhì)量客觀評價方法，其特征在于所述的步驟⑤ 中 a = 0，b = O. 5，c = O. 5。
全文摘要
本發(fā)明公開了一種立體圖像質(zhì)量客觀評價方法，其通過模擬人類視覺系統(tǒng)處理立體圖像的過程，獲得立體圖像在人類視覺系統(tǒng)中形成的cyclopean圖像，該cyclopean圖像是由遮擋區(qū)域、雙目融合區(qū)域、雙目掩蔽區(qū)域三個區(qū)域組成，根據(jù)圖像奇異值表征圖像屬性具有較強的穩(wěn)定性，結(jié)合人類視覺系統(tǒng)處理cyclopean圖像中不同區(qū)域特點，采用測試立體圖像和參考立體圖像對應(yīng)的cyclopean圖像之間的奇異值距離來表示測試立體圖像對應(yīng)的cyclopean圖像的失真程度，從而最終獲得測試立體圖像的整體視覺質(zhì)量，本發(fā)明方法能夠客觀地反映立體圖像受到各種圖像處理和壓縮方法影響下視覺質(zhì)量的變化情況，與人類視覺系統(tǒng)特性相一致。
文檔編號H04N13/00GK102595185SQ20121004629
公開日2012年7月18日 申請日期2012年2月27日 優(yōu)先權(quán)日2012年2月27日
發(fā)明者周俊明, 彭宗舉, 李福翠, 蔣剛毅, 邵楓, 郁梅 申請人:寧波大學(xué)