專利名稱：一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像質(zhì)量評(píng)價(jià)方法，尤其是涉及一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法。
背景技術(shù)：
隨著圖像編碼技術(shù)和立體顯示技術(shù)的迅速發(fā)展，立體圖像技術(shù)受到了越來(lái)越廣泛的關(guān)注與應(yīng)用，已成為當(dāng)前的一個(gè)研究熱點(diǎn)。立體圖像技術(shù)利用人眼的雙目視差原理，雙目各自獨(dú)立地接收來(lái)自同一場(chǎng)景的左右視點(diǎn)圖像，通過(guò)大腦融合形成雙目視差，從而欣賞到具有深度感和逼真感的立體圖像。由于采集系統(tǒng)、存儲(chǔ)壓縮及傳輸設(shè)備的影響，立體圖像會(huì)不可避免地引入一系列的失真，而與單通道圖像相比，立體圖像需要同時(shí)保證兩個(gè)通道的圖像質(zhì)量，對(duì)其進(jìn)行質(zhì)量評(píng)價(jià)具有非常重要的意義。然而，目前對(duì)立體圖像質(zhì)量缺乏有效的客觀評(píng)價(jià)方法進(jìn)行評(píng)價(jià)。因此，建立有效的立體圖像質(zhì)量客觀評(píng)價(jià)模型具有十分重要的意義。目前的立體圖像質(zhì)量客觀評(píng)價(jià)方法直接將平面圖像質(zhì)量評(píng)價(jià)方法直接應(yīng)用于評(píng)價(jià)立體圖像質(zhì)量，然而，對(duì)立體圖像的左右視點(diǎn)圖像進(jìn)行融合產(chǎn)生立體感的過(guò)程并不是簡(jiǎn)單的左右視點(diǎn)圖像疊加的過(guò)程，還難以用簡(jiǎn)單的數(shù)學(xué)方法來(lái)表示，因此，如何在立體圖像質(zhì)量評(píng)價(jià)過(guò)程中有效地對(duì)雙目立體融合進(jìn)行模擬，如何根據(jù)人眼的視覺(jué)掩蔽特性對(duì)客觀評(píng)價(jià)結(jié)果進(jìn)行調(diào)制，使得客觀評(píng)價(jià)結(jié)果更加感覺(jué)符合人類視覺(jué)系統(tǒng)，都是在對(duì)立體圖像進(jìn)行客觀質(zhì)量評(píng)價(jià)過(guò)程中需要研究解決的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能夠有效提高客觀評(píng)價(jià)結(jié)果與主觀感知的相關(guān)性的基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法。本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于包括以下步驟①令Sots為原始的無(wú)失真的立體圖像，令Sdis為待評(píng)價(jià)的失真的立體圖像，將Sots 的左視點(diǎn)圖像記為{LOTg(x, y)}，將SOTg的右視點(diǎn)圖像記為{ROTg(x, y)}，將Sdis的左視點(diǎn)圖像記為ILdis (X，y)},將Sdis的右視點(diǎn)圖像記為{Rdis(X，y)}，其中，(x, y)表示左視點(diǎn)圖像和右視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)位直，l^x^W, l^y^H, W表不左視點(diǎn)圖像和右視點(diǎn)圖像的寬度，H表不左視點(diǎn)圖像和右視點(diǎn)圖像的聞度，LOTg(x，y)表不{Lorg (x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rorg(x, y)表示{ROTg(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，Ldis(x，y)表示ILdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rdis(x，y)表示 {Rdis(x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；②利用人類立體視覺(jué)感知對(duì)背景光照和對(duì)比度的視覺(jué)掩蔽效應(yīng)，分別提取出 ILdis(x，y)}的雙目最小可察覺(jué)變化圖像和{Rdis(x，y)}的雙目最小可察覺(jué)變化圖像，分別記為{Jf(U)}和其中，Jf(Xj)表示iLdis(x，y)}的雙目最小可察覺(jué)變化圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，表示{Rdis(x，yM的雙目最小
可察覺(jué)變化圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；③利用區(qū)域檢測(cè)算法，分別獲取{Ldis(x，y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的區(qū)域類型，記為P，其中，P e {I, 2，3}, P=I表示遮擋區(qū)域，p=2表示雙目抑制區(qū)域，p=3表示雙目融合區(qū)域；然后將ILdis(x，y)}中的所有區(qū)域類型為P=I的像素點(diǎn)構(gòu)成的遮擋區(qū)
域記為Ω ，將ILdis (x，y)}中的所有區(qū)域類型為p=2的像素點(diǎn)構(gòu)成的雙目抑制區(qū)域記為將{Ldis (x，y)}中的所有區(qū)域類型為p=3的像素點(diǎn)構(gòu)成的雙目融合區(qū)域記為 {Rdis(x，y)}中的所有區(qū)域類型為p=l的像素點(diǎn)構(gòu)成的遮擋區(qū)域記為Ω='，將{Rdis(x，y)}中的所有區(qū)域類型為P=2的像素點(diǎn)構(gòu)成的雙目抑制區(qū)域記為Ω^，將{Rdis(x，y)}中的所有區(qū)域類型為P=3的像素點(diǎn)構(gòu)成的雙目融合區(qū)域記為O
④分別計(jì)算{LOTg(x，y)}、{Rorg(x, y)} > {Ldis (x, y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征，將{LOTg(x，y)}中的所有像素點(diǎn)的局部相位特征和局部振
幅特征分別用集合表示為和將{ROTg(x，y)}中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為和[LCe(Xj)I,將仏-U，Y) I 中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為和 {LAt'{x,y)}，將{Rdis(x，y)}中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為和其中，Mws(W)表示Ux，y)}中坐標(biāo)位置為(x，y) 的像素點(diǎn)的局部相位特征， Γ(υ)表示{LOTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征，ZPi^x,.V，)表示{ROTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部相位特征， 表示{ROTg(x，yM中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征，LPfm衰示ILdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部相位特征，Uf(U)表示ILdis(x，y)} 中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征，Zif (x，>，)表示{Rdis(x，y)}中坐標(biāo)位置為
(χ, y)的像素點(diǎn)的局部相位特征，ZJf(U)表示{Rdis(x，yM中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征；⑤根據(jù){LOTg(x，y)}和ILdis(X，y)}中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征，計(jì)算{Ldis (x，y)}中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值，將{Ldis (x，y)}中的所有像素點(diǎn)
的客觀評(píng)價(jià)度量值用集合表不為{Ql(x，y) I，QL(x,y) = wlJP xS^p(χ, ν) + wLA χS^4(χ,y) + b，根據(jù){ROTg(x，yM和{Rdis(x，yM中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征，計(jì)算{Rdis(x，y)}中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值，將{Rdis(x，y)}中的所有像素點(diǎn)的
客觀評(píng)價(jià)度量值用集合表示為{QK (χ, y)}，
權(quán)利要求
1.一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于包括以下步驟 ①令Sots為原始的無(wú)失真的立體圖像，令Sdis為待評(píng)價(jià)的失真的立體圖像，將Sots的左視點(diǎn)圖像記為{LOTg(x, y)}，將SOTg的右視點(diǎn)圖像記為{ROTg(x, y)}，將Sdis的左視點(diǎn)圖像記為ILdis(X，y)}，將Sdis的右視點(diǎn)圖像記為{Rdis(X，y)}，其中，(x, y)表不左視點(diǎn)圖像和右視點(diǎn)圖像中的像素點(diǎn)的坐標(biāo)位直，l^x^W, l^y^H, W表不左視點(diǎn)圖像和右視點(diǎn)圖像的寬度，H表不左視點(diǎn)圖像和右視點(diǎn)圖像的聞度，LOTg(x，y)表不{Lorg (x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rorg(x, y)表示{ROTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Ldis(x, y)表示ILdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，Rdis(x, y)表示{Rdis(x, y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值； ②利用人類立體視覺(jué)感知對(duì)背景光照和對(duì)比度的視覺(jué)掩蔽效應(yīng)，分別提取出ILdis(x，y)}的雙目最小可察覺(jué)變化圖像和{Rdis(x，y)}的雙目最小可察覺(jué)變化圖像，分別記為和，其中，O』)表示ILdis(x，y)}的雙目最小可察覺(jué)變化圖像中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，O,.V)表示{Rdis(x，y)}的雙目最小可察覺(jué)變化圖像|./f (U)I中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值； ③利用區(qū)域檢測(cè)算法，分別獲取ILdis(x，y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的區(qū)域類型，記為P，其中，P e {I, 2, 3}, p=l表示遮擋區(qū)域，p=2表示雙目抑制區(qū)域，p=3表示雙目融合區(qū)域；然后將ILdis(x，y)}中的所有區(qū)域類型為P=I的像素點(diǎn)構(gòu)成的遮擋區(qū)域記為Ω^,將ILdis (x，y)}中的所有區(qū)域類型為p=2的像素點(diǎn)構(gòu)成的雙目抑制區(qū)域記為Ω 將{Ldis(x，y)}中的所有區(qū)域類型為p=3的像素點(diǎn)構(gòu)成的雙目融合區(qū)域記為，將{Rdis(x，y)}中的所有區(qū)域類型為p=l的像素點(diǎn)構(gòu)成的遮擋區(qū)域記為Ω。將{Rdis(x，y)}中的所有區(qū)域類型為P=2的像素點(diǎn)構(gòu)成的雙目抑制區(qū)域記為，將{Rdis(x，y)}中的所有區(qū)域類型為P=3的像素點(diǎn)構(gòu)成的雙目融合區(qū)域記為啤; ④分別計(jì)算{LOTg(x，y)}、{Rorg(x, y)} > {Ldis(x, y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征，將{LOTg(x，y)}中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為和，將IRwgU，Y)I中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為和(Adx5X)Idf ILdis(x，y)}中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為(U)I和{Rdis(x，y)}中的所有像素點(diǎn)的局部相位特征和局部振幅特征分別用集合表示為{LPf (x, v)}和(U)I，其中，LP°l's(x,少’)表示{LOTg(X，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的局部相位特征表示{LOTg(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征，iPr(Ay)表示{R g(x，yM中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部相位特征，表示{ROTg(x，yM中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征，ZZf(U)表示ILdis (X，y)}中坐標(biāo)位置為(X，y)的像素點(diǎn)的局部相位特征，(U)表示Ux，y)丨中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部振幅特征，表示{Rdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的局部相位特征，(U)表示{Rdis(x，yM中坐標(biāo)位置為(X，y)的像素點(diǎn)的局部振幅特征；⑤根據(jù)ILots(x，y)}和ILdis(x，y)}中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征，計(jì)算ILdis(x，y)}中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值，將{Ldis(x，y)}中的所有像素點(diǎn)的客觀評(píng)價(jià)度量值用集合表不為{QL (X，y)}，Ol (x, v) = wLP X S^p(x，y) + Wla x S^a (x, v) + b，根據(jù){ROTg(x，yM和{Rdis(x，yM中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征，計(jì)算{Rdis(x，y)}中的每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值，將{Rdis(x，y)}中的所有像素點(diǎn)的客觀評(píng)價(jià)度量值用集合表示為{QK (X，y)}，QR{x,y) = wlp xSLRP(χ,y) + wLA χ SLXA(χ, v) + b ,其中，Qjx，y)表示ILdis(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的客觀評(píng)價(jià)度量值，
2.根據(jù)權(quán)利要求I所述的一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟②的具體過(guò)程為 ②-I、計(jì)算ILdis (X，y)}的亮度掩蔽效應(yīng)的可視化閾值集合，記為IT1 (X，y)},
3.根據(jù)權(quán)利要求I或2所述的一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟③中利用區(qū)域檢測(cè)算法分別獲取ILdis(x，y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的區(qū)域類型的具體過(guò)程為 ③-I、采用塊匹配法計(jì)算ILotsU，y)}與{ROTg(x，y)}之間的視差圖像，記為，其中，JO表示中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值； ③-2、采用塊匹配法計(jì)算ILdis (X，y)}與{Rdis(x，y)}之間的視差圖像，記為，其中，表示中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值； ③-3、判斷中坐標(biāo)位置為(X^y1)的像素點(diǎn)的像素值是否為255，如果是，則將ILdis(x，y)}中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的區(qū)域類型標(biāo)記為p=l，然后執(zhí)行步驟③_6，否則，執(zhí)行步驟③-4，其中，I彡X1彡W，I彡yi SH; ③-4、判斷{0,7)1中坐標(biāo)位置為(Xl，Y1)的像素點(diǎn)的像素值是否大于中坐標(biāo)位置為(xU1)的像素點(diǎn)的像素值，凡),如果是，則將ILdis(x，y)}中坐標(biāo)位置為(X1^1)的像素點(diǎn)的區(qū)域類型標(biāo)記為P=2，然后執(zhí)行步驟③_6，否則，執(zhí)行步驟③-5 ； ③-5、判斷pi(U)I中坐標(biāo)位置為(xl，yl)的像素點(diǎn)的像素值是否小于或等于>，$中坐標(biāo)位置為Upy1)的像素點(diǎn)的像素值，如果是，則將{Ldis(x，y)}中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的區(qū)域類型標(biāo)記為p=3; ③-6、返回步驟③-3繼續(xù)確定ILdis(x，y)}中剩余的像素點(diǎn)的區(qū)域類型，直至{Ldis(x，y)}中的所有像素點(diǎn)的區(qū)域類型確定完畢； ③-7、采用塊匹配法計(jì)算{ROTg(x，y)}與{LOTg(χ，y)}之間的視差圖像，記為 (U)}，其中，O』)表示中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值；③-8、采用塊匹配法計(jì)算{Rdis(x，y)}與ILdis (x，y)}之間的視差圖像，記為，其中，0,.V)表示pi(Xv)I中坐標(biāo)位置為(X，y)的像素點(diǎn)的像素值； ③-9、判斷丨中坐標(biāo)位置為(X1^1)的像素點(diǎn)的像素值(ZjJx1, Ji)是否為255，如果是，則將{Rdis(x，y)}中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的區(qū)域類型標(biāo)記為p=l，然后執(zhí)行步驟③-12，否則，執(zhí)行步驟③-10，其中，I彡X1 ^ ff, I ^ Yi ^ H ； ③-10、判斷中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的像素值O^1)是否大于中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的像素值尤^^),如果是，則將{Rdis(x，y)}中坐標(biāo)位置為(X1^1)的像素點(diǎn)的區(qū)域類型標(biāo)記為P=2，然后執(zhí)行步驟③-12，否則，執(zhí)行步驟 ③-11 ; ③-11、判斷中坐標(biāo)位置為(X1^1)的像素點(diǎn)的像素值CZiI(Ui)是否小于或等于丨中坐標(biāo)位置為(X1J1)的像素點(diǎn)的像素值<,(U)，如果是，則將{Rdis(x，y)}中坐標(biāo)位置為(Xl，yi)的像素點(diǎn)的區(qū)域類型標(biāo)記為p=3; ③-12、返回步驟③-9繼續(xù)確定{Rdis(x，y)}中剩余的像素點(diǎn)的區(qū)域類型，直至{Rdis(x, y)}中的所有像素點(diǎn)的區(qū)域類型確定完畢。
4.根據(jù)權(quán)利要求3所述的一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其特征在于所述的步驟④中{LOTg(x，y)}、{Rorg (x, y)} > {Ldis (x, y)}和{Rdis(x，y)}中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征的獲取過(guò)程為 ④-I、對(duì){LOTg(x，y)}中的每個(gè)像素點(diǎn)進(jìn)行相位一致性變換，得到{LOTg(x，y)}中的每個(gè)像素點(diǎn)在不同尺度和方向的偶對(duì)稱頻率響應(yīng)和奇對(duì)稱頻率響應(yīng)，將{LOTg(x，y)}中坐標(biāo)位置為(X，y)的像素點(diǎn)在不同尺度和方向的偶對(duì)稱頻率響應(yīng)記為ea，0 (x, y)，將{LOTg(x，y)}中坐標(biāo)位置為(X，y)的像素點(diǎn)在不同尺度和方向的奇對(duì)稱頻率響應(yīng)記為oa, 0 (X，y),其中，a表示濾波器的尺度因子，I < a <4，0表示濾波器的方向因子，I < 9^4； ④-2、計(jì)算{LOTg(x，y)}中的每個(gè)像素點(diǎn)在不同方向的相位一致性特征，將
全文摘要
本發(fā)明公開了一種基于視覺(jué)感知的立體圖像質(zhì)量客觀評(píng)價(jià)方法，其首先通過(guò)計(jì)算立體圖像的左右視點(diǎn)圖像中的每個(gè)像素點(diǎn)的局部相位特征和局部振幅特征以獲得每個(gè)像素點(diǎn)的客觀評(píng)價(jià)度量值，并通過(guò)區(qū)域檢測(cè)方法將立體圖像劃分為遮擋區(qū)域、雙目抑制區(qū)域、雙目融合區(qū)域，然后對(duì)各個(gè)區(qū)域分別進(jìn)行評(píng)價(jià)并對(duì)各評(píng)價(jià)結(jié)果進(jìn)行融合得到最終的圖像質(zhì)量客觀評(píng)價(jià)預(yù)測(cè)值，優(yōu)點(diǎn)在于獲得的反映局部相位和局部振幅特征信息具有較強(qiáng)的穩(wěn)定性且能夠較好地反映立體圖像的質(zhì)量變化情況，提出遮擋區(qū)域、雙目抑制區(qū)域和雙目融合區(qū)域的圖像質(zhì)量評(píng)價(jià)方法能夠很好地反映人類視覺(jué)系統(tǒng)的視覺(jué)感知特性，有效地提高客觀評(píng)價(jià)結(jié)果與主觀感知的相關(guān)性。
文檔編號(hào)G06T7/00GK102708567SQ201210144039
公開日2012年10月3日 申請(qǐng)日期2012年5月11日 優(yōu)先權(quán)日2012年5月11日
發(fā)明者李福翠, 蔣剛毅, 邵楓, 郁梅, 顧珊波 申請(qǐng)人:寧波大學(xué)