一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法
【專利摘要】一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，涉及圖像應(yīng)用領(lǐng)域的圖像質(zhì)量評(píng)價(jià)。1)建立待實(shí)驗(yàn)測(cè)試的立體圖像；2)控制播放待實(shí)驗(yàn)測(cè)試的立體圖像；3)測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)，得到實(shí)驗(yàn)數(shù)據(jù)；4)處理步驟3)得到的實(shí)驗(yàn)數(shù)據(jù)并輸出結(jié)果。從人類視覺感知和人眼的注意機(jī)制出發(fā)，考慮視覺注意機(jī)制對(duì)圖像質(zhì)量影響較大的因素，從而更好地體現(xiàn)人類視覺系統(tǒng)處理過程，保證了圖像質(zhì)量評(píng)價(jià)輸出值與主觀感知的一致性。操作簡單、評(píng)價(jià)結(jié)果更加準(zhǔn)確和穩(wěn)定，克服了傳統(tǒng)的依靠人工觀察的主觀質(zhì)量評(píng)價(jià)方法易受其它因素的限制和影響的缺點(diǎn)，同時(shí)也為客觀質(zhì)量評(píng)價(jià)方法奠定基礎(chǔ)，為解決大部分客觀質(zhì)量評(píng)價(jià)與人眼的觀測(cè)結(jié)果差異較大提供技術(shù)衡量指標(biāo)。
【專利說明】一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像應(yīng)用領(lǐng)域的圖像質(zhì)量評(píng)價(jià)，尤其是涉及一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法。
【背景技術(shù)】
[0002]立體圖像可以記錄真實(shí)的三維世界信息，擁有非常廣闊的應(yīng)用前景。目前，立體圖像技術(shù)已經(jīng)成功用于科研、軍事、教育、工業(yè)、醫(yī)療、娛樂等諸多領(lǐng)域。
[0003]通過立體圖像人們可以觀察到具有真實(shí)深度感的景物，立體圖像能使人們身臨其境地體驗(yàn)到立體感和臨場(chǎng)感。立體成像技術(shù)是未來信息處理發(fā)展的重要方向之一，立體圖像質(zhì)量評(píng)價(jià)推動(dòng)著立體成像技術(shù)不斷向前發(fā)展。
[0004]立體圖像質(zhì)量評(píng)價(jià)的方法有主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)兩種方法[卜3]。主觀質(zhì)量評(píng)價(jià)是讓大量測(cè)試者按照事先規(guī)定的評(píng)價(jià)規(guī)則對(duì)測(cè)試圖像按視覺效果的優(yōu)劣進(jìn)行評(píng)分，對(duì)所有測(cè)試者評(píng)分得到的原始數(shù)據(jù)進(jìn)行處理得到實(shí)驗(yàn)的有效數(shù)據(jù)，然后對(duì)其進(jìn)行加權(quán)平均得到測(cè)試圖像的主觀質(zhì)量評(píng)價(jià)值。客觀質(zhì)量評(píng)價(jià)方法是通過數(shù)學(xué)模型等手段設(shè)計(jì)出一套模型，自動(dòng)地對(duì) 測(cè)試圖像進(jìn)行評(píng)分，然后通過與主觀質(zhì)量評(píng)價(jià)之間的相關(guān)性來驗(yàn)證該模型的可靠性。因此，客觀質(zhì)量評(píng)價(jià)方法的最終目的是盡可能準(zhǔn)確得到與主觀感知相一致的客觀評(píng)價(jià)值。但由于人類對(duì)復(fù)雜的人眼視覺系統(tǒng)的認(rèn)識(shí)不夠深入，無法建立一個(gè)準(zhǔn)確、統(tǒng)一的模型，直接影響到客觀測(cè)評(píng)的準(zhǔn)確性，不能真實(shí)地反映立體圖像質(zhì)量的優(yōu)劣。
[0005]主觀質(zhì)量評(píng)價(jià)方法是建立在使用者視覺效果評(píng)價(jià)的基礎(chǔ)上，可提供終端用戶最為直接的反應(yīng)情況，從而建立起開發(fā)端與終端用戶之間的視覺評(píng)價(jià)反饋體系。但傳統(tǒng)的依靠人工觀察的主觀質(zhì)量評(píng)價(jià)方法需針對(duì)多個(gè)測(cè)試圖像進(jìn)行多次重復(fù)實(shí)驗(yàn)，耗時(shí)多、費(fèi)用高，容易受其它因素的限制和影響，不能用于批量處理，而且操作復(fù)雜，同時(shí)不具有可重復(fù)性，代價(jià)較高，從而評(píng)價(jià)的結(jié)果往往不夠準(zhǔn)確，穩(wěn)定性差[4~5]。現(xiàn)有的主觀測(cè)試方法主要有:雙刺激連續(xù)質(zhì)量分級(jí)法DSCQS(Double Stimulus Continuous Quality Scale)、雙激勵(lì)失真測(cè)度方法DSIS (Double Stimulus Impairment Scale)、單刺激連續(xù)質(zhì)量評(píng)價(jià)方法SSCQE (SingleStimulus Continuous Quality Evaluation)、絕對(duì)種類評(píng)分法 ACR(Absolute Category
Rating)、SAMVIQ(Subjective Assessment Methodology for Video Quality)測(cè)試方法等
[6 ~8]
ο
[0006]立體圖像質(zhì)量是評(píng)價(jià)系統(tǒng)性能的一個(gè)重要指標(biāo)，而一種好的立體圖像質(zhì)量客觀評(píng)價(jià)方法依賴于立體圖像的主觀評(píng)價(jià)。主觀質(zhì)量評(píng)價(jià)方法更為接近人的真實(shí)感受，能夠較好地反映出圖像質(zhì)量。人類是立體圖像的最終接受者，人眼具有雙目掩蔽特性。人類視覺系統(tǒng)通過左右眼視差和左右眼的融合形成深度上的感受，從而產(chǎn)生立體感，增加人類的辨識(shí)能力[9]。立體視覺注意無論是在心理學(xué)還是神經(jīng)科學(xué)上都得到了廣泛關(guān)注，也有不少的立體視覺方面的研究被發(fā)表，從左右視差，深度獲取，雙眼競(jìng)爭(zhēng)，雙目融合等方面都提出了研究理論，進(jìn)而為立體圖像質(zhì)量評(píng)價(jià)技術(shù)提供了理論支撐。
[0007]人類視覺心理學(xué)研究表明，人的雙眼間距大約為60~65mm，這個(gè)間距使得雙眼在觀看某一場(chǎng)景時(shí)所處位置和角度稍有不同，從而導(dǎo)致場(chǎng)景在雙眼視網(wǎng)膜的成像稍有差異。然而，實(shí)際上人們?cè)谡Ｒ暳ο掠^看場(chǎng)景時(shí)并不會(huì)出現(xiàn)兩個(gè)場(chǎng)景成像重疊在一起的感覺，而是在人腦中形成一幅具有立體感的圖像，這個(gè)現(xiàn)象是由人類視覺系統(tǒng)中雙目融合處理后的結(jié)果。
[0008]圖像質(zhì)量評(píng)價(jià)方法是分析圖像壓縮和處理效果、反饋圖像傳輸質(zhì)量的關(guān)鍵技術(shù)。平面圖像評(píng)測(cè)方法是對(duì)一幅平面圖像進(jìn)行評(píng)測(cè)，而一幅立體圖像是由多個(gè)平面圖按照一定規(guī)則組成，單獨(dú)評(píng)測(cè)立體圖像的各個(gè)平面圖像的質(zhì)量，并不能綜合反映立體圖像的質(zhì)量。因而不能將傳統(tǒng)的平面圖像質(zhì)量評(píng)測(cè)方法簡單地移植到立體圖像的評(píng)測(cè)中，而要在雙眼融合形成立體視覺的情況下進(jìn)行圖像質(zhì)量評(píng)價(jià)，才能真實(shí)反映人類立體視覺的主觀感受。
[0009]由此需要基于人眼的立體視覺特性，建立一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)價(jià)方法。
[0010]參考文獻(xiàn):
[0011][I]LewisNffj Allnatt J A.Subjective quality of television pictures withmultiple impairments[J].Electron Letters，1965，I (7):187 ~188.[0012][2] JonesB L，Turner J A.Subjective assessment of cable impairmentson television picture quaIity[J].IEEE Transact ions on ConsumerElectronics, 1992，38(4): 850 ~861.[0013][3]ITU BT500210, Methodology for the Subjective Assessment of theQuality of Television Pictures[S].[0014][4]Wang Zhijunj Ziou D，Armenakis C，et al.A comparative analysisof image fusion methods[J].1EEE Transactions on Geosciences and RemoteSensing, 2005，43 (6): 1391-1402.[0015][5]Piella G.New quality measures for image fusion[C]//Proceedings ofthe Seventh International Conference on Information Fusion..Mountain View.CA:1nternational Society of Information Fusion，2004:542—546.[0016][6] ITU-R Recommendation BT.500-11，“Methodology for the SubjectiveAssessment of the Quality of Television Pictures, ” Int.TeIecommun.Union, Geneva, Switzerland, 2002.[0017][7]7ITU-R:Methodology for the Subjective Assessment of the Quality ofTelevision Picture.1nternational Standard, 2000.1TU-R BT.500-10.[0018][8]ITU-T Rec.&IS0/IEC14496-10AVC，"Advanced video coding for genericaudiovisual services'ITU-T P., (2005).[0019][9]Yang Jiachen，Hou Chunpingj Zhou Yuan,et al.0bjective qualityassessment method of stereo images[C]//Proc.3DTV Conference: The TrueVision-Capturej Transmission and Display of3D Vide0.Potsdam:1EEE, 2009:1-4.[0020][10] Levitt, H.(1971).Transformed up-down methods in psychoacoustics.Journal of the Acoustical Society of America, 49(2):467 - 477.[0021][ll]Methodology for the Subjective Assessment of the Quality ofTelevision Pictures[R], ITU-R Recommendation BT500-11，2002.
【發(fā)明內(nèi)容】

[0022]本發(fā)明的目的在于從視覺感知和人眼的注意機(jī)制出發(fā)，結(jié)合心理物理學(xué)的方法，提供一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法。
[0023]本發(fā)明包括以下步驟:
[0024]I)建立待實(shí)驗(yàn)測(cè)試的立體圖像；
[0025]2)控制播放待實(shí)驗(yàn)測(cè)試的立體圖像；
[0026]3)測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)，得到實(shí)驗(yàn)數(shù)據(jù)；
[0027]4)處理步驟3)得到的實(shí)驗(yàn)數(shù)據(jù)并輸出結(jié)果。
[0028]在步驟I)中，所述待實(shí)驗(yàn)測(cè)試的立體圖像由原始立體圖像(標(biāo)記為Morg)和不對(duì)稱壓縮立體圖像(標(biāo)記為Mftag)組成；
[0029]所述不對(duì)稱壓縮立體圖像(記做的Mftag)可由以下步驟生成:
[0030]①對(duì)原始立體圖像(MOTg)的左視點(diǎn)圖像(標(biāo)記為LOTg)和右視點(diǎn)圖像(標(biāo)記為Rtffg)分別進(jìn)行壓縮，根據(jù)不同壓縮質(zhì)量等級(jí)，得到不同壓縮度下的立體圖像左視點(diǎn)圖(標(biāo)記為Lcom)和立體圖像右視點(diǎn)圖(標(biāo)記為Rcwm)；
[0031]②把原始立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像的中間區(qū)域分別用相對(duì)應(yīng)的壓縮后的立體圖像左視點(diǎn)圖和立體圖像右視點(diǎn)圖的中間區(qū)域進(jìn)行替換，通過編碼生成只有中間區(qū)域被壓縮的立體圖像左視點(diǎn)圖(標(biāo)記為Lfrag)和只有中間區(qū)域被壓縮的立體圖像右視點(diǎn)圖(標(biāo)記為Rfrag)；
[0032]③不對(duì)稱壓縮立體圖像由原始立體圖像的左視點(diǎn)圖Lots和只有中間區(qū)域被壓縮編碼的立體圖像右視點(diǎn)圖Rfrag(方式一)組成，或者由只有中間區(qū)域被壓縮編碼的立體圖像左視點(diǎn)圖Lfrag和原始立體圖像的右視點(diǎn)圖Rots (方式二)組成；
[0033]按照以上步驟，根據(jù)不同壓縮質(zhì)量等級(jí)，生成對(duì)應(yīng)于不同壓縮度下的待實(shí)驗(yàn)測(cè)試的立體圖像。
[0034]在步驟2)中，所述控制播放實(shí)驗(yàn)立體圖像的具體方法如下:
[0035]在實(shí)驗(yàn)測(cè)試的過程中，同一壓縮質(zhì)量等級(jí)下的實(shí)驗(yàn)立體圖像測(cè)試會(huì)有多個(gè)實(shí)驗(yàn)試次(trail)，實(shí)驗(yàn)播放軟件會(huì)連續(xù)播放同一壓縮質(zhì)量等級(jí)下的實(shí)驗(yàn)立體圖像直到得出測(cè)試者的觀看閾限值為止，這時(shí)控制程序會(huì)退出，結(jié)束所有的實(shí)驗(yàn)試次。
[0036]在每個(gè)實(shí)驗(yàn)試次中，播放待測(cè)試的立體圖像的順序如下:
[0037]首先播放原始立體圖像MOTg，前段播放的原始立體圖像Mots的播放時(shí)間長度記為ti ；
[0038]接著插入播放不對(duì)稱壓縮立體圖像Mftag,不對(duì)稱壓縮立體圖像Mfrag的播放時(shí)間長度記為Λ t2 ；
[0039]然后繼續(xù)播放原始立體圖像Mots，后段播放的原始立體圖像Mots的播放時(shí)間長度記為。
[0040]其中在每個(gè)實(shí)驗(yàn)試次中，對(duì)各段立體圖像播放時(shí)間長度的控制方法如下:
[0041]不對(duì)稱壓縮立體圖像Mftag的播放時(shí)間長度Λ t2的值會(huì)隨測(cè)試者的反饋情況動(dòng)態(tài)變化，前段播放的原始立體圖像Morg的播放時(shí)間h和后段播放的原始立體圖像Morg的播放時(shí)間t3也會(huì)動(dòng)態(tài)變化，但始終保持每個(gè)實(shí)驗(yàn)試次中實(shí)驗(yàn)測(cè)試的立體圖像的總播放時(shí)間t不變，其中 t = ti+ Δ t2+t3。
[0042]所述對(duì)各段立體圖像播放時(shí)間長度的控制過程中可采用文獻(xiàn)[10]中三下一上(3-down, 1-up)的程序作為核心測(cè)量方法，實(shí)現(xiàn)對(duì)實(shí)驗(yàn)中不對(duì)稱壓縮立體圖像Mfrag播放時(shí)間長度Λ t2動(dòng)態(tài)變化的控制。
[0043]在步驟3)中，所述測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)的實(shí)驗(yàn)要求如下:
[0044]選取測(cè)試者進(jìn)行質(zhì)量評(píng)價(jià)實(shí)驗(yàn)，測(cè)試環(huán)境符合ITU-R BT.500立體圖像主觀質(zhì)量測(cè)試要求標(biāo)準(zhǔn)(參見文獻(xiàn)[11])，測(cè)試實(shí)驗(yàn)采用標(biāo)準(zhǔn)的立體顯示系統(tǒng)。
[0045]所述測(cè)試者的選取要求如下:測(cè)試者的視力、色彩信息觀察力正常，擁有正常的“雙眼融合”能力，即“立體盲”的人員不在選擇范圍之內(nèi)。
[0046]所述“雙眼融合”是指大腦能綜合來自兩眼的相同物像，并在知覺水平形成一個(gè)完整印象的能力，屬II級(jí)雙眼視功能。
[0047]所述測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)的具體方法可為:[0048]測(cè)試者用雙目立體成像設(shè)備觀看視覺刺激，通過雙眼視覺融合在測(cè)試者腦中形成一幅具有立體感的圖像；在實(shí)驗(yàn)測(cè)試過程中測(cè)試者判斷所播放的立體圖像中是否出現(xiàn)圖像“抖動(dòng)”現(xiàn)象，在每個(gè)實(shí)驗(yàn)刺激播放結(jié)束時(shí)，測(cè)試者立即進(jìn)行“是”或“否”的二選一強(qiáng)制性判斷(two-alternative forced choice, 2AFC)。
[0049]在步驟4)中，所述處理步驟3)得到的實(shí)驗(yàn)數(shù)據(jù)并輸出結(jié)果的具體步驟可為:
[0050](I)采集不同壓縮質(zhì)量等級(jí)下的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù):
[0051]所述立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)主要是指在每個(gè)壓縮質(zhì)量等級(jí)下，每個(gè)試次中測(cè)試者從刺激播放結(jié)束到判斷按鍵反應(yīng)之間的間隔時(shí)間和每個(gè)試次中不對(duì)稱壓縮立體圖像Mfrag的播放時(shí)間Λ t2 ；
[0052](2)應(yīng)用數(shù)據(jù)處理軟件對(duì)實(shí)驗(yàn)得到每個(gè)壓縮質(zhì)量等級(jí)下的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)進(jìn)行分析處理，具體步驟如下:
[0053]首先，根據(jù)步驟2)中所述控制播放待實(shí)驗(yàn)測(cè)試的立體圖像的方法，在實(shí)驗(yàn)結(jié)束后每個(gè)壓縮質(zhì)量等級(jí)下每幅立體圖像的質(zhì)量評(píng)價(jià)測(cè)試中獲得的Λ t2的數(shù)據(jù)值會(huì)包含m個(gè)拐點(diǎn)，m≥15 ；
[0054]其次，計(jì)算最后η個(gè)拐點(diǎn)的平均值，并將計(jì)算得到的平均值關(guān)聯(lián)對(duì)應(yīng)于該壓縮質(zhì)量等級(jí)下的失真立體圖像的壓縮度，η為6~10 ;
[0055]然后，通過數(shù)據(jù)處理得到的平均值(閾限值)可映射為能被人眼覺察的最小可覺察差(Just noticeable difference, JND)值；
[0056]最后，將每個(gè)壓縮質(zhì)量等級(jí)下所對(duì)應(yīng)的最小可覺察差值輸出為可視化結(jié)果。
[0057]本發(fā)明基于人眼的立體視覺特性，提出了基于雙眼視覺融合的立體圖像質(zhì)量主觀評(píng)價(jià)方法。本發(fā)明從人類視覺感知和人眼的注意機(jī)制出發(fā)，考慮視覺注意機(jī)制對(duì)圖像質(zhì)量影響較大的因素，從而更好地體現(xiàn)人類視覺系統(tǒng)處理過程，保證了圖像質(zhì)量評(píng)價(jià)輸出值與主觀感知的一致性。本發(fā)明操作簡單、評(píng)價(jià)結(jié)果更加準(zhǔn)確和穩(wěn)定，克服了傳統(tǒng)的依靠人工觀察的主觀質(zhì)量評(píng)價(jià)方法易受其它因素的限制和影響的缺點(diǎn)，同時(shí)也為客觀質(zhì)量評(píng)價(jià)方法奠定基礎(chǔ)，為解決大部分客觀質(zhì)量評(píng)價(jià)與人眼的觀測(cè)結(jié)果差異較大提供技術(shù)衡量指標(biāo)。
【專利附圖】

【附圖說明】[0058]圖1為本發(fā)明實(shí)施例的流程圖；
[0059]圖2為本發(fā)明所基于的人類視覺系統(tǒng)雙目融合原理結(jié)構(gòu)圖；
[0060]圖3為本發(fā)明實(shí)施例中使用的對(duì)待測(cè)立體圖像播放過程的控制方法示例圖一。在圖3中，標(biāo)記Pl為壓縮編碼后的區(qū)域。
[0061]圖4為本發(fā)明實(shí)施例中使用的對(duì)待測(cè)立體圖像播放過程的控制方法示例圖二。在圖4中，標(biāo)記P2為壓縮編碼后的區(qū)域。
【具體實(shí)施方式】
[0062]以下實(shí)施例將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的說明。
[0063]應(yīng)理解的是 本發(fā)明提供的檢測(cè)方法能夠在不同的實(shí)例上具有各種變化，基于本發(fā)明思想的各種變化的實(shí)例皆不脫離本發(fā)明的范圍；且本發(fā)明中的附圖在本質(zhì)上作為說明之用，例如繪圖元件并不一定是按比例繪制也不限定特定的設(shè)備，描述特定順序或行為也不要求相對(duì)次序這樣的特定性。即本發(fā)明中的附圖只為解釋說明本發(fā)明的方法及系統(tǒng)，而非用以限制本發(fā)明。
[0064]根據(jù)本發(fā)明實(shí)施例，提供一種基于雙眼視覺融合的立體圖像質(zhì)量主觀評(píng)價(jià)方法，如圖1所示，按如下步驟進(jìn)行:
[0065]I)建立待實(shí)驗(yàn)測(cè)試的立體圖像，具體步驟如下:
[0066]①首先對(duì)原始立體圖像Mots的左右視點(diǎn)圖像0^8和1^8)分別進(jìn)行壓縮，根據(jù)不同壓縮質(zhì)量等級(jí)，得到不同壓縮度下的立體圖像左右視點(diǎn)圖仏_和R.)。
[0067]②然后把原始立體圖像的左右視點(diǎn)圖像的中間區(qū)域分別用相對(duì)應(yīng)的壓縮后的立體圖像的左右視點(diǎn)圖的中間區(qū)域進(jìn)行替換。通過編碼生成只有中間區(qū)域被壓縮的立體圖像
左右視點(diǎn)圖(Lfrag和Rfrag)。
[0068]③接著按方式一:原始立體圖像的左視點(diǎn)圖Lots和只有中間區(qū)域被壓縮編碼的立體圖像右視點(diǎn)圖R&ag和方式二:只有中間區(qū)域被壓縮編碼的立體圖像左視點(diǎn)圖Lfrag和原始立體圖像的右視點(diǎn)圖Rots生成兩種不同方式的不對(duì)稱壓縮立體圖像Mftag。
[0069]在本發(fā)明的實(shí)施例中，其中①中所述壓縮算法可以是現(xiàn)有的壓縮算法，例如H.264等；其中②中所述視點(diǎn)圖中間區(qū)域是中間一塊正方形區(qū)域。
[0070]按照以上步驟，根據(jù)不同壓縮質(zhì)量等級(jí)，生成對(duì)應(yīng)于不同壓縮度下的待實(shí)驗(yàn)測(cè)試的立體圖像。
[0071]2)控制播放待實(shí)驗(yàn)測(cè)試的立體圖像；
[0072]其中，本發(fā)明的具體實(shí)施例應(yīng)用心理物理的測(cè)量方法實(shí)現(xiàn)對(duì)待實(shí)驗(yàn)測(cè)試的立體圖像播放過程的控制，具體步驟如下:
[0073]在本發(fā)明的具體實(shí)施例中，同一壓縮質(zhì)量等級(jí)下的實(shí)驗(yàn)立體圖像測(cè)試會(huì)有多個(gè)實(shí)驗(yàn)試次。在每個(gè)實(shí)驗(yàn)試次中隨機(jī)選取步驟I)中由兩種不同方式生成的不對(duì)稱壓縮立體圖像中的其中一種進(jìn)行實(shí)驗(yàn)測(cè)試。若選取到由方式一生成的不對(duì)稱壓縮立體圖像進(jìn)行實(shí)驗(yàn)，待實(shí)驗(yàn)測(cè)試的立體圖像的播放過程如圖3所示；若選取到由方式二生成的不對(duì)稱壓縮立體圖像進(jìn)行實(shí)驗(yàn)，待實(shí)驗(yàn)測(cè)試的立體圖像的播放過程如圖4所示。每個(gè)實(shí)驗(yàn)試次中，待實(shí)驗(yàn)測(cè)試的立體圖像的總播放時(shí)間固定為t。在實(shí)驗(yàn)測(cè)試的過程中首先播放原始立體圖像Mots，播放時(shí)間長度值為懷接著插入不對(duì)稱壓縮立體圖像Mfrag,Mfrag的播放時(shí)間長度值為At2,然后繼續(xù)播放Mots，播放的時(shí)間長度值為t3。
[0074]具體地，每個(gè)實(shí)驗(yàn)試次的實(shí)驗(yàn)立體圖像的整個(gè)播放順序形象表示為Morg — Mfrag — Morg,每段所對(duì)應(yīng)播放的時(shí)間段分別為tf Δ t2-t3。
[0075]其中，在本發(fā)明的具體實(shí)施例中，t的值設(shè)定為2000ms (毫秒)，&初始值設(shè)定為930ms, Δ t2初始值設(shè)定為140ms，t3初始值設(shè)定為930ms。
[0076]其中圖3中的1，2部分分別表示播放的是前段播放的原始立體圖像Mots的左右視點(diǎn)圖Lots和Rots ;圖3中的3，4部分分別表示播放的是不對(duì)稱壓縮立體圖像Mfrag的左右視點(diǎn)圖Lots和Rfrag ;其中圖3中的5，6部分分別表示后段播放的原始立體圖像Mots的左右視點(diǎn)圖Lots和Rots。
[0077]其中圖4中的1，2部分分別表示播放的是前段播放的原始立體圖像Mots的左右視點(diǎn)圖Lots和Rots ;圖4中的3，4部分分別表示播放的是不對(duì)稱壓縮立體圖像Mfrag的左右視點(diǎn)圖Lfrag和Rots ;其中圖4中的5，6部分分別表示后段播放的原始立體圖像Mots的左右視點(diǎn)圖Lots和Rots。
[0078]為了更加精確地控制實(shí)驗(yàn)試次的播放過程，確保不對(duì)稱壓縮立體圖像Mfrag是在實(shí)驗(yàn)播放過程中的中間時(shí)刻插入播放的，本實(shí)施例的每個(gè)實(shí)驗(yàn)試次中&值總是設(shè)定和h值一樣長。
[0079]在具體實(shí)驗(yàn)例的實(shí)施過程中，每個(gè)實(shí)驗(yàn)試次中不對(duì)稱壓縮立體圖像Mfrag播放的初始時(shí)間Λ t2會(huì) 隨被測(cè)試者的反饋情況動(dòng)態(tài)變化，?!和t3的值也會(huì)動(dòng)態(tài)變化,但始終保持每個(gè)試次中待實(shí)驗(yàn)測(cè)試的立體圖像總的播放時(shí)間長度值t = h+ Λ t2+t3 = 2000ms不變。
[0080]其中，所述不對(duì)稱壓縮立體圖像Mfrag的播放時(shí)間Λ t2的值會(huì)隨測(cè)試者的反饋情況動(dòng)態(tài)變化，具體的控制方法如下:
[0081]實(shí)驗(yàn)播放軟件會(huì)連續(xù)播放同一壓縮質(zhì)量等級(jí)下的實(shí)驗(yàn)立體圖像直到得出測(cè)試者的觀看閾限值為止，這時(shí)控制程序會(huì)退出，結(jié)束所有的實(shí)驗(yàn)試次。
[0082]所述對(duì)各段立體圖像播放時(shí)間長度的控制過程采用文獻(xiàn)[10]中“三下一上”的程序作為核心測(cè)量方法，實(shí)現(xiàn)對(duì)實(shí)驗(yàn)中不對(duì)稱壓縮立體圖像Mfrag播放時(shí)間長度Λ t2動(dòng)態(tài)變化的控制。在該方法的應(yīng)用中，如果測(cè)試者連續(xù)3個(gè)試次都判斷正確，不對(duì)稱壓縮立體圖像Mftag的播放時(shí)間Λ t2的長度值就按照一定的步長減短變?。蝗绻麥y(cè)試者I個(gè)試次判斷錯(cuò)誤，不對(duì)稱壓縮立體圖像Mftag的播放時(shí)間At2的長度值就按照一定的步長增加變長。在本方法具體實(shí)施例中初始步長值設(shè)為Λ t2/2，在相同方向的拐點(diǎn)上該步長按照0.5倍的比率變化直到變化步長為某個(gè)特別小的固定值為止。在本發(fā)明的具體實(shí)施例中該固定值設(shè)為Ims0在實(shí)驗(yàn)測(cè)試過程中若步長達(dá)到Ims時(shí)，實(shí)驗(yàn)已經(jīng)可以精確計(jì)算出測(cè)試者在該壓縮質(zhì)量等級(jí)下所對(duì)應(yīng)的觀看閾限值，這時(shí)控制程序會(huì)結(jié)束退出該壓縮質(zhì)量等級(jí)下的立體圖像評(píng)價(jià)測(cè)試，并準(zhǔn)備進(jìn)入下一個(gè)壓縮質(zhì)量等級(jí)下的立體圖像評(píng)價(jià)測(cè)試。
[0083]3)測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)，得到實(shí)驗(yàn)數(shù)據(jù)，具體方法如下:
[0084]本方法的具體實(shí)施例中選取做實(shí)驗(yàn)測(cè)試的測(cè)試者16人，視力、色彩信息觀察力正常，“立體盲”的人員不在選擇范圍之內(nèi)。根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明的實(shí)施例在步驟3)中，基于圖2所示的原理，測(cè)試者利用雙目立體鏡觀看立體圖像的左右眼視覺刺激，通過雙眼視覺融合會(huì)在測(cè)試者腦中形成一幅具有立體感的圖像。
[0085]本發(fā)明的具體實(shí)施例在一間關(guān)照、色溫以及噪聲等均可控制的實(shí)驗(yàn)室里完成，該測(cè)試環(huán)境符合ITU-R BT.500立體圖像主觀質(zhì)量測(cè)試要求。
[0086]在本發(fā)明的具體實(shí)施例中應(yīng)用到的圖像刺激顯示設(shè)備為SyncMaster788DF，其空間分辨率為1024X768，刷新率為78赫茲；實(shí)驗(yàn)的立體圖像刺激的呈現(xiàn)通過心理學(xué)實(shí)驗(yàn)軟件Presentation來控制,屏幕的背景顏色為黑色。
[0087]實(shí)驗(yàn)測(cè)試過程中，待測(cè)試的立體圖像的左右視點(diǎn)圖水平排列在屏幕上，兩者的中心相距17.71°，通過立體鏡分別呈現(xiàn)給測(cè)試者的左、右眼睛。測(cè)試者端坐在屏幕前52cm處，下巴靠在雙目立體鏡設(shè)備的頭固定架的下巴托上以保持實(shí)驗(yàn)過程中頭部靜止不動(dòng)。實(shí)驗(yàn)測(cè)試過程中測(cè)試者的左手食指與右手食指分別放于控制手柄的左、右鍵上，測(cè)試者的任務(wù)是判斷所播放的立體圖像中是否出現(xiàn)圖像“抖動(dòng)”現(xiàn)象。若有觀察到抖動(dòng)現(xiàn)象則按左鍵，若沒有觀察到抖動(dòng)現(xiàn)象則按右鍵。每個(gè)實(shí)驗(yàn)試次中當(dāng)實(shí)驗(yàn)刺激播放結(jié)束時(shí)，測(cè)試者立即進(jìn)行按鍵判斷。當(dāng)測(cè)試者按鍵后，程序呈現(xiàn)兩類不同的提示聲，實(shí)時(shí)反饋給測(cè)試者剛才的判斷是否正確。
[0088]實(shí)驗(yàn)通過度量人眼視覺對(duì)實(shí)驗(yàn)立體圖像中是否出現(xiàn)“抖動(dòng)”現(xiàn)象的察覺來反映人眼對(duì)壓縮質(zhì)量感知的影響，從而進(jìn)一步通過人眼雙眼視覺融合后對(duì)立體圖像信息誤差的敏感程度得到對(duì)所述壓縮后的立體圖像質(zhì)量的度量。
[0089]4)處理步驟3)得到的實(shí)驗(yàn)數(shù)據(jù)并輸出結(jié)果，具體步驟如下:
[0090](I)采集到不同壓縮質(zhì)量等級(jí)下的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù):
[0091]在步驟3)完成后，實(shí)驗(yàn)采集到的數(shù)據(jù)主要包括在每個(gè)壓縮質(zhì)量等級(jí)下，每個(gè)試次中測(cè)試者從刺激播放結(jié)束到判斷按鍵反應(yīng)之間的間隔時(shí)間和每個(gè)試次中不對(duì)稱壓縮立體圖像Mfrag的播放時(shí)間Λ t2。
[0092](2)應(yīng)用matlab、C++等數(shù)據(jù)處理軟件對(duì)實(shí)驗(yàn)得到每個(gè)壓縮質(zhì)量等級(jí)下的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)進(jìn)行分析處理，步驟如下:
[0093]首先，根據(jù)步驟2)中所述控制播放待實(shí)驗(yàn)測(cè)試的立體圖像的方法，在實(shí)驗(yàn)結(jié)束后每個(gè)壓縮質(zhì)量等級(jí)下每幅立體圖像的質(zhì)量評(píng)價(jià)測(cè)試中獲得的Λ t2的數(shù)據(jù)值會(huì)包含15個(gè)拐點(diǎn)。
[0094]接著，計(jì)算最后8個(gè)拐點(diǎn)的平均值，并將計(jì)算得到的平均值關(guān)聯(lián)對(duì)應(yīng)于該壓縮質(zhì)量等級(jí)下的失真立體圖像的壓縮度。
[0095]然后，通過數(shù)據(jù)處理得到的平均值(閾限值)映射為能被人眼覺察的最小可覺察差值。如果壓縮度高于人類視覺的敏感門限，則表明其能夠被人眼覺察，否則被忽略。
[0096]最后，將每個(gè)壓縮質(zhì)量等級(jí)下所對(duì)應(yīng)的最小可覺察差值輸出為可視化結(jié)果。
[0097]同時(shí)，也可將測(cè)試者的不同反應(yīng)程度輸出為可視化結(jié)果，除了將顯示器作為可視化信號(hào)輸出界面以外，信號(hào)輸出界面還可以包括其它設(shè)備的聯(lián)結(jié)與操作，從而應(yīng)用到廣泛的測(cè)評(píng)設(shè)備中。
[0098]與現(xiàn)有的圖像質(zhì)量評(píng)價(jià)方法相比較，本發(fā)明從視覺感知和人眼的注意機(jī)制出發(fā)，結(jié)合心理物理學(xué)的方法，建立了一個(gè)基于視覺感知的立體圖像質(zhì)量主觀評(píng)價(jià)模型，保證了圖像質(zhì)量評(píng)價(jià)輸出值與主觀感知的一致性。本發(fā)明能夠克服現(xiàn)有主觀質(zhì)量評(píng)測(cè)的不足，不僅操作簡單而且評(píng)價(jià)結(jié)果更加有效、準(zhǔn)確和穩(wěn)定，從而也為立體圖像客觀評(píng)價(jià)的正確與否提供可靠支撐。
[0099]雖然本發(fā)明已以優(yōu)選實(shí)例公開如上，然而所公開實(shí)例并非用以限制本發(fā)明的范圍?？梢岳斫?在不脫離本發(fā)明的精神的情況下，在此可以產(chǎn)生各種附加、修改和替換。本領(lǐng)域普通技術(shù)人員很清楚:在不脫離本發(fā)明的精神或本質(zhì)特性的情況下，可以以其他特殊形式、結(jié)構(gòu)、布置、比例、以及利用其他元件、材料和部件來實(shí)現(xiàn)本發(fā)明。本領(lǐng)域的技術(shù)人員將意識(shí)到:本發(fā)明可以使用發(fā)明實(shí)際中使用的結(jié)構(gòu)、布置、比例、材料以及部件和其他的許多修改，這些修改在不脫離本發(fā)明的原理的情況下而特別適應(yīng)于特殊環(huán)境和操作需求。因此，當(dāng)前公開的實(shí)施例在所有方面應(yīng)被理解為說明性的而非對(duì)其請(qǐng)求保護(hù)的范圍的限制。
【權(quán)利要求】
1.一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于包括以下步驟: 1)建立待實(shí)驗(yàn)測(cè)試的立體圖像； 2)控制播放待實(shí)驗(yàn)測(cè)試的立體圖像； 3)測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)，得到實(shí)驗(yàn)數(shù)據(jù)； 4)處理步驟3)得到的實(shí)驗(yàn)數(shù)據(jù)并輸出結(jié)果。
2.如權(quán)利要求1所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在步驟1)中，所述待實(shí)驗(yàn)測(cè)試的立體圖像由原始立體圖像Mots和不對(duì)稱壓縮立體圖像Mfrag組成。
3.如權(quán)利要求2所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于所述不對(duì)稱壓縮立體圖像Mftag由以下步驟生成: ①對(duì)原始立體圖像Mots的左視點(diǎn)圖像Lots和右視點(diǎn)圖像Rots分別進(jìn)行壓縮，根據(jù)不同壓縮質(zhì)量等級(jí)，得到不同壓縮度下的立體圖像左視點(diǎn)圖Lram和立體圖像右視點(diǎn)圖R.； ②把原始立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像的中間區(qū)域分別用相對(duì)應(yīng)的壓縮后的立體圖像左視點(diǎn)圖和立體圖像右視點(diǎn)圖的中間區(qū)域進(jìn)行替換，通過編碼生成只有中間區(qū)域被壓縮的立體圖像左視點(diǎn)圖Lftag和只有中間區(qū)域被壓縮的立體圖像右視點(diǎn)圖Rfrag ； ③不對(duì)稱壓縮立體圖像由原始立體圖像的左視點(diǎn)圖Lots和只有中間區(qū)域被壓縮編碼的立體圖像右視點(diǎn)圖Rfrag組成，或者由只有中間區(qū)域被壓縮編碼的立體圖像左視點(diǎn)圖Lfrag和原始立體圖像的右視點(diǎn)圖Rots組成； 按照以上步驟，根據(jù)不同壓縮質(zhì)量等級(jí)，生成對(duì)應(yīng)于不同壓縮度下的待實(shí)驗(yàn)測(cè)試的立體圖像。
4.如權(quán)利要求1所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在步驟2)中，所述控制播放實(shí)驗(yàn)立體圖像的具體方法如下: 在實(shí)驗(yàn)測(cè)試的過程中，同一壓縮質(zhì)量等級(jí)下的實(shí)驗(yàn)立體圖像測(cè)試會(huì)有多個(gè)實(shí)驗(yàn)試次，實(shí)驗(yàn)播放軟件會(huì)連續(xù)播放同一壓縮質(zhì)量等級(jí)下的實(shí)驗(yàn)立體圖像直到得出測(cè)試者的觀看閾限值為止，這時(shí)控制程序會(huì)退出，結(jié)束所有的實(shí)驗(yàn)試次。
5.如權(quán)利要求4所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在每個(gè)實(shí)驗(yàn)試次中，播放待測(cè)試的立體圖像的順序如下: 首先播放原始立體圖像Mots，前段播放的原始立體圖像Mots的播放時(shí)間長度記為h ； 接著插入播放不對(duì)稱壓縮立體圖像Mftag,不對(duì)稱壓縮立體圖像Mfrag的播放時(shí)間長度記為 Δt2 ； 然后繼續(xù)播放原始立體圖像Mots，后段播放的原始立體圖像Mots的播放時(shí)間長度記為t3 ； 其中在每個(gè)實(shí)驗(yàn)試次中，對(duì)各段立體圖像播放時(shí)間長度的控制方法如下: 不對(duì)稱壓縮立體圖像Mfrag的播放時(shí)間長度Λ t2的值會(huì)隨測(cè)試者的反饋情況動(dòng)態(tài)變化，前段播放的原始立體圖像Mots的播放時(shí)間h和后段播放的原始立體圖像Mots的播放時(shí)間t3也會(huì)動(dòng)態(tài)變化，但始終保持每個(gè)實(shí)驗(yàn)試次中實(shí)驗(yàn)測(cè)試的立體圖像的總播放時(shí)間t不變，其中 t = t1+ Δ t2+t3。
6.如權(quán)利要求5所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于所述對(duì)各段立體圖像播放時(shí)間長度的控制過程中采用三下一上的程序作為核心測(cè)量方法，實(shí)現(xiàn)對(duì)實(shí)驗(yàn)中不對(duì)稱壓縮立體圖像Mftag播放時(shí)間長度Λ t2動(dòng)態(tài)變化的控制。
7.如權(quán)利要求1所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在步驟3)中，所述測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)的實(shí)驗(yàn)要求如下: 選取測(cè)試者進(jìn)行質(zhì)量評(píng)價(jià)實(shí)驗(yàn)，測(cè)試環(huán)境符合ITU-R BT.500立體圖像主觀質(zhì)量測(cè)試要求標(biāo)準(zhǔn)，測(cè)試實(shí)驗(yàn)采用標(biāo)準(zhǔn)的立體顯示系統(tǒng)。
8.如權(quán)利要求1所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在步驟3)中，所述測(cè)試者的選取要求如下:測(cè)試者的視力、色彩信息觀察力正常，擁有正常的“雙眼融合”能力，即“立體盲”的人員不在選擇范圍之內(nèi)； 所述“雙眼融合”是指大腦能綜合來自兩眼的相同物像，并在知覺水平形成一個(gè)完整印象的能力，屬II級(jí)雙眼視功能。
9.如權(quán)利要求1所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在步驟3)中，所述測(cè)試者對(duì)立體圖像的質(zhì)量進(jìn)行評(píng)價(jià)的具體方法為: 測(cè)試者用雙目立 體成像設(shè)備觀看視覺刺激，通過雙眼視覺融合在測(cè)試者腦中形成一幅具有立體感的圖像；在實(shí)驗(yàn)測(cè)試過程中測(cè)試者判斷所播放的立體圖像中是否出現(xiàn)圖像“抖動(dòng)”現(xiàn)象，在每個(gè)實(shí)驗(yàn)刺激播放結(jié)束時(shí)，測(cè)試者立即進(jìn)行“是”或“否”的二選一強(qiáng)制性判斷。
10.如權(quán)利要求1所述一種基于雙眼視覺融合的立體圖像質(zhì)量評(píng)測(cè)方法，其特征在于在步驟4)中，所述處理步驟3)得到的實(shí)驗(yàn)數(shù)據(jù)并輸出結(jié)果的具體步驟為: (1)采集不同壓縮質(zhì)量等級(jí)下的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù): 所述立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)主要是指在每個(gè)壓縮質(zhì)量等級(jí)下，每個(gè)試次中測(cè)試者從刺激播放結(jié)束到判斷按鍵反應(yīng)之間的間隔時(shí)間和每個(gè)試次中不對(duì)稱壓縮立體圖像Mftag的播放時(shí)間Λ t2 ； (2)應(yīng)用數(shù)據(jù)處理軟件對(duì)實(shí)驗(yàn)得到每個(gè)壓縮質(zhì)量等級(jí)下的立體圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)進(jìn)行分析處理，具體步驟如下: 首先，根據(jù)步驟2)中所述控制播放待實(shí)驗(yàn)測(cè)試的立體圖像的方法，在實(shí)驗(yàn)結(jié)束后每個(gè)壓縮質(zhì)量等級(jí)下每幅立體圖像的質(zhì)量評(píng)價(jià)測(cè)試中獲得的Λ t2的數(shù)據(jù)值會(huì)包含m個(gè)拐點(diǎn)，m ^ 15 ； 其次，計(jì)算最后η個(gè)拐點(diǎn)的平均值，并將計(jì)算得到的平均值關(guān)聯(lián)對(duì)應(yīng)于該壓縮質(zhì)量等級(jí)下的失真立體圖像的壓縮度，η為6~10 ; 然后，通過數(shù)據(jù)處理得到的平均值(閾限值)可映射為能被人眼覺察的最小可覺察差(Just noticeable difference, JND)值； 最后，將每個(gè)壓縮質(zhì)量等級(jí)下所對(duì)應(yīng)的最小可覺察差值輸出為可視化結(jié)果。
【文檔編號(hào)】H04N17/00GK103945218SQ201410170856
【公開日】2014年7月23日 申請(qǐng)日期:2014年4月25日 優(yōu)先權(quán)日:2014年4月25日
【發(fā)明者】吳梅紅, 洪志令 申請(qǐng)人:廈門大學(xué)