本發(fā)明涉及一種圖像質(zhì)量評價方法,特別涉及一種基于預(yù)注意機制和空間依賴性的無參考圖像質(zhì)量評價方法,屬于圖像分析領(lǐng)域。
背景技術(shù):
近些年來,隨著科學(xué)技術(shù)的發(fā)展,圖像產(chǎn)生和傳播的成本變得越來越低,這使得圖像作為一種優(yōu)秀的信息傳播的媒介,在我們的日常生活中變得越來越普遍,越來越不可缺少。然而,圖像在場景采集、編碼、網(wǎng)絡(luò)傳輸、解碼、后期處理、壓縮存儲和放映的各個階段都會不可避免的引入失真,例如,在場景采集過程中由于設(shè)備參數(shù)設(shè)定、鏡頭晃動等因素引起的模糊失真;圖像壓縮存儲引起的壓縮失真等等。而失真的引入則會大大降低人們的視覺體驗,嚴重的還會影響到人們的身心健康。如何遏制低質(zhì)量圖像的傳播,保證人們的視覺體驗,成為了一個亟待解決的問題。
使圖像產(chǎn)生和傳播的媒體具有自動評價圖像質(zhì)量高低的能力,從而改善媒體輸出端圖像的質(zhì)量,對于解決這個問題具有重要意義。
綜上所述,對于客觀無參考圖像質(zhì)量評價模型的研究具有重要的理論價值和現(xiàn)實意義。本發(fā)明提出了一種基于預(yù)注意機制和空間依賴性的無參考圖像質(zhì)量評價方法,其參考的已有理論和技術(shù)為treisman等人提出的特征融合理論以及haralick等人提出的灰度色調(diào)共生矩陣。
(一)特征融合理論
treisman等人提出了特征融合理論,對早期視覺感知過程醉了分析和總結(jié)。該理論將人的視覺感知過程分為兩個階段:預(yù)注意階段和注意階段。在預(yù)注意階段,人眼的感知系統(tǒng)會首先生成當前感知場景的一幅模糊的概略圖,這幅模糊圖主要包含了感知場景的一些基本的信息,包括結(jié)構(gòu)信息,顏色信息,灰度信息以及方向信息等。這副模糊圖會為后續(xù)的感知過程提供一些先驗知識。而更細節(jié)的,更復(fù)雜的感知活動會在注意階段完成。
(二)灰度色調(diào)共生矩陣
haralick等人在對圖像分類等問題進行了研究的基礎(chǔ)上,提出了灰度色調(diào)共生矩陣,用于捕捉圖像中的各像素點之間的空間相關(guān)性以及統(tǒng)計特性。灰度色調(diào)共生矩陣的數(shù)學(xué)表示如下:
其中,qθ,d(i,j)代表方向參數(shù)為θ,距離參數(shù)為d的灰度色調(diào)共生矩陣,
灰度色調(diào)共生矩陣實際上是對圖像中具有特定空降關(guān)系的像素對個數(shù)的統(tǒng)計,為了將二維的矩陣轉(zhuǎn)化為一維的特征表示,haralick等人還提出了14個特征描述符,這里列出本發(fā)明中應(yīng)用到的四個特征描述符的數(shù)學(xué)表示:
其中,r代表輸入圖像的值空間大小。con代表對比度,是對點對之間相關(guān)性的表征,通常用于描述圖像紋理的清晰程度;asm代表角二階矩,反映了圖像的均勻程度和紋理的粗細程度;ent代表熵,是對圖像紋理強度的表征;idm代表逆差矩,反映了圖像中紋理的規(guī)則程度。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的是為了解決無參考圖像質(zhì)量評價中人眼視覺感知系統(tǒng)模擬方法不夠完善,對圖像中顏色信息的利用不充分,主觀一致性差,數(shù)據(jù)庫獨立性差,算法穩(wěn)定性差等問題。
本發(fā)明方法是通過以下技術(shù)方案實現(xiàn)的:
一種基于預(yù)注意機制和空間依賴性的無參考圖像質(zhì)量評價方法,其具體步驟如下:
步驟一、將輸入的待測圖像分解為顏色信息和灰度信息兩部分,其中顏色信息采用scielab顏色空間變換得到;
步驟二、應(yīng)用尺度空間對灰度信息做處理,處理
方法如下:
其中,(x,y)為坐標,i(x,y)代表灰度圖中的像素,g(x,y;σ)代表高斯核函數(shù),σ是它的標準差,s(x,y;σ)代表尺度空間處理后的灰度圖。原始灰度圖以及尺度空間處理后的灰度圖都將用于后續(xù)的特征提取。
步驟三、計算彩色信息圖和灰度信息圖的灰度色調(diào)共生矩陣,完成特征提取,灰度色調(diào)共生矩陣的計算方法如下:
其中,qθ,d(i,j)代表方向參數(shù)為θ,距離參數(shù)為d的灰度色調(diào)共生矩陣,
特征描述符的計算方法如下:
其中,r代表輸入圖像的值空間大小。con代表對比度,是對點對之間相關(guān)性的表征,通常用于描述圖像紋理的清晰程度;asm代表角二階矩,反映了圖像的均勻程度和紋理的粗細程度;ent代表熵,是對圖像紋理強度的表征;idm代表逆差矩,反映了圖像中紋理的規(guī)則程度。
步驟四、采用步驟一,步驟二和步驟三的方法對數(shù)據(jù)庫中的每一幅彩色圖像進行處理,即可得到每一幅彩色圖像對應(yīng)的質(zhì)量特征向量;在此基礎(chǔ)上利用基于學(xué)習(xí)的機器學(xué)習(xí)方法,在訓(xùn)練集上進行訓(xùn)練,在測試集上進行測試,把質(zhì)量特征向量映射為對應(yīng)的質(zhì)量分數(shù),機器學(xué)習(xí)的方法包括采用支持向量機(svr),神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)方法;進而利用現(xiàn)有的算法性能指標(srcc、krcc等)對算法的優(yōu)劣進行評估。
有益效果
本發(fā)明提出的基于預(yù)注意機制和空間依賴性的無參考圖像質(zhì)量評價方法,與已有技術(shù)相比具有主觀一致性高,數(shù)據(jù)庫獨立性高,算法穩(wěn)定性高等特點;可以與圖像/視頻處理相關(guān)應(yīng)用系統(tǒng)協(xié)同使用,可以嵌入實際的應(yīng)用系統(tǒng)(比如視頻的放映系統(tǒng)、網(wǎng)絡(luò)傳輸系統(tǒng)等)中,實時的監(jiān)控圖像/視頻的質(zhì)量;可以用于評價各種圖像/視頻處理算法、工具(比如立體圖像的壓縮編碼、圖像/視頻采集工具等)的優(yōu)劣;可以用于圖像/視頻作品的質(zhì)量審核,防止劣質(zhì)圖像制品危害觀眾的身心健康。
附圖說明
圖1是本發(fā)明的基于預(yù)注意機制和空間依賴性的無參考圖像質(zhì)量評價方法的流程圖;
圖2是本發(fā)明以及其他2d質(zhì)量評價方法在live數(shù)據(jù)上進行測試的盒形圖。
具體實施方式
下面結(jié)合附圖和具體實施例對本發(fā)明方法的實施方式做詳細的說明。
實施例
本方法的流程如圖1所示,具體實施過程為:
根據(jù)步驟一、將輸入的待測圖像分解為顏色信息和灰度信息兩部分,其中顏色信息采用scielab顏色空間變換得到,經(jīng)過變換之后會得到彩色信息圖a和b。
根據(jù)步驟二、應(yīng)用尺度空間對灰度信息做處理,計算方法如下:
其中,(x,y)為坐標,i(x,y)代表灰度圖中的像素,g(x,y;σ)代表高斯核函數(shù),σ是它的標準差,s(x,y;σ)代表尺度空間處理后的灰度圖。原始灰度圖以及尺度空間處理后的灰度圖都將用于后續(xù)的特征提取。
根據(jù)步驟三、對步驟一和步驟二中得到的四張信息圖,計算其灰度色調(diào)共生矩陣
灰度色調(diào)共生矩陣的計算方法如下:
其中,qθ,d(i,j)代表方向參數(shù)為θ,距離參數(shù)為d的灰度色調(diào)共生矩陣,
在計算得到灰度色調(diào)共生矩陣后,要從每個灰度色調(diào)共生矩陣提取特征描述符,完成特征提取。
特征描述符的計算方法如下:
其中,r代表輸入圖像的值空間大小。
根據(jù)步驟四、采用步驟一,步驟二和步驟三的方法對數(shù)據(jù)庫中的每一幅彩色圖像進行處理,計算得到每一幅彩色圖像對應(yīng)的質(zhì)量特征向量;然后利用基于學(xué)習(xí)的機器學(xué)習(xí)方法,在訓(xùn)練集上進行訓(xùn)練,在測試集上進行測試,把質(zhì)量特征向量映射為對應(yīng)的質(zhì)量分數(shù),機器學(xué)習(xí)的方法包括采用支持向量機(svr),神經(jīng)網(wǎng)絡(luò)等機器學(xué)習(xí)方法;進而利用現(xiàn)有的算法性能指標(srcc、krcc等)對算法的優(yōu)劣進行評估。
我們在四個圖像質(zhì)量評價數(shù)據(jù)庫上實施了我們的算法,包括live,tid2013,csiq,vlc。這些數(shù)據(jù)庫的基本信息列舉在了表一中。同時,我們選取了八種算法公開,性能優(yōu)秀的質(zhì)量評價算法與我們的方法進行比較,包括三種全參考算法:psnr,ssim,vif。五種無參考算法:sseq,gwh-glbp,diivine,brisque,biqa。為了消除訓(xùn)練數(shù)據(jù)和隨機性的影響,我們在數(shù)據(jù)庫上進行了1000次80%訓(xùn)練-20%測試的重復(fù)試驗,即80%的數(shù)據(jù)用于訓(xùn)練,剩下的20%的數(shù)據(jù)用于測試,訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)不存在內(nèi)容的重疊。最后利用現(xiàn)有的算法性能指標(1000次重復(fù)試驗srcc,krcc,plcc,rmse的中值)對算法的優(yōu)劣進行評估,實驗結(jié)果見表二。
表一數(shù)據(jù)庫基本信息
結(jié)合附圖2,可以看出,本發(fā)明提出的算法在四個數(shù)據(jù)庫的測試中,不僅表現(xiàn)出了比其他無參考圖像質(zhì)量評價算法更優(yōu)秀的主觀一致性和穩(wěn)定性,在live和tid2013數(shù)據(jù)庫上,甚至優(yōu)于全參考的質(zhì)量評價方法。
表二四個數(shù)據(jù)庫上算法性能比較