應(yīng)用erp技術(shù)評價壓縮的立體圖像舒適度問題的方法
【專利摘要】本發(fā)明涉及一種應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒適度問題的方法，包括：對原始立體圖像對進行不同壓縮比的壓縮處理；搭建ERP實驗平臺，進行客觀實驗，選取事件相關(guān)電位作為客觀評價指標(biāo)，分析事件相關(guān)電位，分析不同壓縮等級條件下事件相關(guān)電位的幅值和潛伏期的差異性；進行主觀實驗，確立立體圖像舒適度的評分標(biāo)準，對不同壓縮比的原始立體圖像對得到主觀評價分數(shù)MOS；分析和對比主觀行為數(shù)據(jù)與ERP數(shù)據(jù)，建立應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒適度問題的方法。本發(fā)明相對于傳統(tǒng)的客觀評價方法本發(fā)明更具有魯棒性和普適性。
【專利說明】
應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒適度問題的方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像舒適度評價領(lǐng)域，涉及應(yīng)用事件相關(guān)電位（Event Related Po tent ia I s，ERP)技術(shù)評價壓縮的立體圖像帶來的舒適度問題。
【背景技術(shù)】
[0002] 3D顯示技術(shù)與2D顯示技術(shù)相比能給觀看者更真實的視覺體驗，因此被廣泛應(yīng)用。 與此同時，健康和安全問題也得到了越來越多的關(guān)注。各種各樣的因素都可以導(dǎo)致觀看者 觀看立體圖像時產(chǎn)生視覺不適，例如，左右圖像不匹配，視差過大，輻輳與調(diào)節(jié)矛盾，物體運 動過快等。立體圖像舒適度評價是一個亟待解決的問題。目前，3D視覺疲勞的評價方法主要 分為主觀評價方法和客觀評價方法兩種。但是，兩種方法都存在缺陷。基于用戶研究的主觀 評價方法耗時大，同時結(jié)果往往趨于研究者的意愿。提取圖像特征的客觀評價方法方便，如 峰值信噪比（PSNR)，均方誤差(MSE)和結(jié)構(gòu)性相似度(SSM)。然而，對于不同類型的失真，它 不具備魯棒性和普適性。因此，越來越多的研究者在探索評價圖像和視頻舒適度問題的新 方法，如眨眼，事件相關(guān)電位，功能性磁共振成像(FMRI)。
[0003] 與2D圖像相比，3D圖像占用更大的存儲空間，需要更快的傳輸速度。因此，在存儲 和傳輸前要對圖像進行壓縮處理以減少數(shù)據(jù)量。壓縮通常會導(dǎo)致圖像信息缺失和圖像質(zhì)量 下降，產(chǎn)生視覺不舒適感。因此，本發(fā)明試圖應(yīng)用ERP技術(shù)評價對稱壓縮的立體圖像導(dǎo)致的 視覺舒適度問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種應(yīng)用ERP技術(shù)評價壓縮的立體圖像帶來的舒適度問題 的方法。技術(shù)方案如下：
[0005] -種應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒適度問題的方法，包括下列步驟：
[0006] 1)對原始立體圖像對進行不同壓縮比的壓縮處理；
[0007] 2)搭建ERP實驗平臺，進行客觀實驗，選取事件相關(guān)電位作為客觀評價指標(biāo)，分析 事件相關(guān)電位，分析不同壓縮等級條件下事件相關(guān)電位的幅值和潛伏期的差異性；
[0008] 3)進行主觀實驗，確立立體圖像舒適度的評分標(biāo)準，對不同壓縮比的原始立體圖 像對得到主觀評價分數(shù)MOS;
[0009] 4)分析和對比主觀行為數(shù)據(jù)與ERP數(shù)據(jù)，建立應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒 適度問題的方法。
[0010]本發(fā)明的有益效果在于基于ERP技術(shù)的客觀評價方法源于人的生理指標(biāo)，更符合 人的切實感受，相對于傳統(tǒng)的客觀評價方法本發(fā)明更具有魯棒性和普適性。
【附圖說明】
[0011] 圖1、2為本實驗采取的立體實驗材料(左視圖和右視圖）；
[0012] 圖3為被試檢測率的Psychometric曲線圖；
[0013]圖4為主觀評價分數(shù)分布圖；
[0014]圖5為電極CPZ上記錄的ERP波形(壓縮等級1、2、3、4的響應(yīng)波形）；
[0015]圖6為電極PZ上記錄的ERP波形(壓縮等級1、2、3、4的響應(yīng)波形）；
[0016] 圖7,圖8,圖9,圖10,圖11，圖12,圖13分別為不同的主觀評價分數(shù)MOS值與P300成 分的幅度的關(guān)系圖。
【具體實施方式】
[0017] 為使本發(fā)明的技術(shù)方案更加清楚，下面對本發(fā)明【具體實施方式】做進一步地描述。
[0018] 1.對原始立體圖像對(如圖1、2所示)進行壓縮處理，壓縮比如表1所示。
[0019]實驗素材為一般生活場景中的兩幅雙視點立體圖像對(分辨率：1920 X 1080)，對 原始立體圖像對進行JEPG壓縮處理得到不同壓縮比的立體圖像對。每一種圖像都有出屏和 入屏兩種顯示信息。
[0020]表1實驗圖像和壓縮等級
L〇〇22」注意，在壓縮比一欄中，第一個數(shù)和第二個數(shù)分別表示原始圖像和壓縮圖像 [0023] 2.搭建ERP實驗平臺，進行客觀實驗，選取事件相關(guān)電位作為客觀評價指標(biāo)，分析 事件相關(guān)電位
[0024] (1)搭建ERP實驗平臺，被試進行實驗準備工作
[0025] ERP實驗平臺包括立體顯示器（刺激呈現(xiàn)裝置）、2臺高性能計算機、32導(dǎo)電極帽 (Ag-AgCl電極，采用10-20國際腦電記錄系統(tǒng)）、Neuroscan信號放大器、偏光式立體眼鏡。 [0026]所有被試自愿參加本次實驗，在實驗之前，確保被試視力或矯正視力正常。在正式 開始實驗之前先讓被試熟悉實驗過程和實驗任務(wù)。實驗之前被試需要洗頭以降低頭皮與電 極之間的阻抗。讓被試坐在光線微暗和隔絕噪音的實驗環(huán)境中進行實驗，以減少外部因素 對實驗數(shù)據(jù)的影響。
[0027] 實驗選用21英寸AOC立體顯示器(分辨率為1920 X 1080)，刷新頻率為60Hz。被試坐 在離顯示屏78cm的舒服的椅子上，佩戴偏光式立體眼鏡，圖像刺激采用經(jīng)典的oddball范 式，第一種壓縮等級占60%，而其它三種壓縮等級各占13.3%。待被試的腦電波平穩(wěn)后開始 實驗。每個實驗由許多試次(試次，指一個圖像刺激呈現(xiàn)到下一個圖像刺激呈現(xiàn)的全過程） 組成，每個試次又由四部分組成。1)、顯示器正中央呈現(xiàn)一個白色圓亮點，提醒被試雙眼匯 聚在屏幕中央。2)、一個標(biāo)準的無壓縮的立體圖像呈現(xiàn)600m S(33)、三種壓縮等級之中的一種 圖像被隨機的呈現(xiàn)在屏幕上600mS(34)、白色圓亮點再次呈現(xiàn)在屏幕上，被試需要對刺激進 行快速的判斷。如果感覺壓縮圖像與標(biāo)準圖像相比，存在不舒適感，點擊鼠標(biāo)右鍵，反之則 點擊鼠標(biāo)左鍵，點擊鼠標(biāo)的同時觸發(fā)了下一個實驗試次。每組實驗有486個試次。
[0028] (2)測量和存儲被試的腦電信號
[0029] 本發(fā)明中的EEG信號由Neuroscan公司生產(chǎn)的32導(dǎo)電極帽記錄。在記錄階段EEG信 號經(jīng)Neuroscan SyAmps2放大器以1000 Hz的采樣頻率被記錄，同時以0.05Hz_100Hz的帶通 濾波器濾波去除漂移成分和直流相位偏移成分。實驗過程中，被試的行為數(shù)據(jù)被記錄在E-prime2.0軟件中，被試的腦電數(shù)據(jù)由Neuroscan 4.5軟件記錄在硬盤中。
[0030] (3)離線處理被試的腦電信號，得到事件相關(guān)電位作為客觀評價指標(biāo)，提取ERP信 號中的重要成分
[0031 ]實驗結(jié)束后對記錄到的腦電數(shù)據(jù)用Neuroscan4.5軟件直接地進行離線分析。1)、 進行腦電預(yù)覽去除腦電漂移比較厲害的無效腦電數(shù)據(jù)。2)、去除眼電的影響。3)、對數(shù)據(jù)進 行分段處理，分段區(qū)間為刺激呈現(xiàn)前IOOms至呈現(xiàn)后600m S(34)、進行基線校正，即將數(shù)據(jù)的 基線調(diào)整到0電位。5)、進行分類疊加平均，提高信噪比，提取ERPA)、分別對分類疊加平均 后的每個事件進行0.OlHz至35Hz的帶通濾波處理。7)、去除偽跡，去除振幅超出一定值的 腦電段。在刺激呈現(xiàn)后300-320ms處提取ERP信號中的P300成分。
[0032] 本發(fā)明主要研究P300成分，因為P300成分廣泛分布在頂葉和大腦中葉以及周邊區(qū) 域，因此本發(fā)明主要分析了位于這些區(qū)域的八個電極(PZ、CPZ、CZ、FCZ、CP3、CP4、C3、C4)。
[0033] (4)分析不同壓縮等級條件下P300成分的幅值和潛伏期的差異性
[0034] P300主要分布在？2、0?2、02、？02、0?3、0?4、03工4等電極，以0?2和？2電極為例分析 P300成分。從圖5、6可以看出，壓縮比的變化明顯體現(xiàn)在被試腦電數(shù)據(jù)上，不同的壓縮等級 具有不同的平均幅值，壓縮比越大幅值越高。從等級4到等級1，平均幅值分別減小。壓縮比 越大潛伏期越短。P300成分的峰值隨著實驗任務(wù)難度的增大而減小，潛伏期變長。同時，隨 著任務(wù)難度的加大響應(yīng)時間出現(xiàn)延遲并且準確率降低。隨著壓縮比的增加，3D圖像顯示效 果變差，從而引起視覺不適，所以被試很容易辨別出。此外，隨著壓縮等級的減小P300成分 的潛伏期增加。我們可以直觀地看出本發(fā)明中壓縮比越大P300成分峰值越高。
[0035] 對頂葉和大腦中葉以及周邊區(qū)域電極的平均幅值統(tǒng)計結(jié)果做重復(fù)性方差分析(采 用Greenhouse-Geisser對數(shù)據(jù)進行球形校正），實驗結(jié)果如表2所示。
[0036] 表2每個電極幅度的方差分析結(jié)果，括號中是標(biāo)準差
[0038] 備注，與等級1有顯著性差異(p〈0.05)，與等級2有顯著性差異(p〈0.05)，w與等 級3有顯著性差異(p〈0.05);
[0039] 等級1:壓縮比為1:1;等級2:壓縮比為1:0.61;等級3:壓縮比為1:0.52;等級4:壓 縮比為1:0.44。
[0040] 實驗發(fā)現(xiàn):在CPZ和FCZ電極上，等級4與等級1，等級4與等級3，P300成分在幅度上 具有顯著性差異(P〈〇. 05)。類似地，在PZ、C3和CZ電極上，等級4與等級1、等級4與等級2具有 顯著性差異(P〈〇.〇5)。在CP4和C4電極上，等級4與等級1具有顯著性差異(p〈0.05)。從統(tǒng)計 分析的角度來看，ERP中的P300成分的幅度隨著壓縮等級的不同而不同。此外，等級2與等級 1在幅度上沒有顯著性差異(p>〇.05)，進一步指出了由壓縮引起的小信息損失的3D圖像與 原始3D圖像差別不大。當(dāng)信息缺失增加時，等級4與等級1、等級4與等級2在幅度上具有顯著 性差異(P〈〇.05)，因此大壓縮比導(dǎo)致的視覺不適容易辨別出來。
[0041]綜上所述，本發(fā)明中采集到的不同壓縮等級的立體圖像誘發(fā)的腦電信號是客觀存 在的，并且存在差異性，所以本發(fā)明可以作為一種新型的評價立體圖像舒適度的客觀評價 方法。
[0042] (5)將不同被試針對不同刺激的檢測率進行曲線擬合
[0043] 在本實驗中，將每種壓縮等級的右鍵點擊數(shù)與總共點擊數(shù)的比值稱為檢測率。
[0044] 應(yīng)用Psychometric函數(shù)對每位被試的檢測率進行曲線擬合，如圖3所示。檢測率隨 著壓縮比的增加而增加，同時也出現(xiàn)了明顯的視覺不適感。從圖中可以直觀地看出當(dāng)壓縮 等級被設(shè)置在3和4時視覺不適感快速增加。
[0045] 3.進行主觀實驗，確立立體圖像舒適度的評分標(biāo)準，得到主觀評價分數(shù)MOS
[0046] (1)被試對不同壓縮等級的立體圖像刺激進行打分
[0047] 腦電實驗結(jié)束后，被試需要對相同的實驗刺激進行主觀評價。采用國際電信聯(lián)盟 通用的5分制評價標(biāo)準（1:非常差、2:差、3:-般、4:好、5:非常好）的單刺激主觀分級法。被 處理的不同壓縮比的圖像隨機呈現(xiàn)給被試5秒鐘，被試應(yīng)按照5分制評價標(biāo)準做出評價。 [0048] 表3國際5分制評分標(biāo)準
[0051 ] (2)對打分結(jié)果計算均值，得到主觀評價分數(shù)M0S，并進行分析
[0052] 對打分結(jié)果計算均值，得到主觀評價分數(shù)(MOS,Mean option Score)。均值計算公
式如下：
[0053] 式中代表被試i對壓縮等級j的打分結(jié)果，j代表不同 的壓縮等級。
[0054] 不同壓縮等級刺激下的評分結(jié)果如圖4所示，其中橫坐標(biāo)代表壓縮等級，縱坐標(biāo)代 表所有被試主觀評分的平均分數(shù)。結(jié)果表明，MOS值越低，3D圖像的壓縮程度越高。
[0055] 4.分析和對比主觀行為數(shù)據(jù)與ERP數(shù)據(jù)
[0056] 結(jié)合實驗中的主觀行為數(shù)據(jù)與ERP數(shù)據(jù)分析可得:壓縮過大可能會導(dǎo)致觀看者產(chǎn) 生不適感。當(dāng)壓縮比增加時，被試檢測率增大;P300成分幅度增加，潛伏期變短;主觀評價分 數(shù)減少。主觀評價分數(shù)MOS值與P300成分的幅度的關(guān)系如圖7，圖8,圖9,圖10,圖11，圖12,圖 13所示，MOS值越大，P300成分的幅度越小。
[0057] 在本發(fā)明之中應(yīng)用主觀評價方法的結(jié)果驗證了以腦電信號為客觀評價方法的結(jié) 果的正確性。
[0058]本發(fā)明具有以下優(yōu)點：
[0059] (1)本發(fā)明通過采集不同壓縮等級的立體圖像誘發(fā)的腦電信號，對觀看者觀看的 舒適度進行客觀評價。由于提取的是生理信號指標(biāo)，相對于以往的客觀評價指標(biāo)更具有魯 棒性和普適性。
[0060] (2)本發(fā)明采用客觀評價與主觀評價相結(jié)合的方法，相對于以往單一的主觀評價 方法或者客觀評價方法更具有說服力，得出的結(jié)論更具有可靠性。
[0061] (3)本發(fā)明結(jié)合主觀和客觀評價方法得出結(jié)論：當(dāng)壓縮比增加時，P300成分幅度增 加，潛伏期變短，主觀評價分數(shù)減少，檢測率增加。
【主權(quán)項】
1. 一種應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒適度問題的方法，包括下列步驟： 1) 對原始立體圖像對進行不同壓縮比的壓縮處理； 2) 搭建ERP實驗平臺，進行客觀實驗，選取事件相關(guān)電位作為客觀評價指標(biāo)，分析事件 相關(guān)電位，分析不同壓縮等級條件下事件相關(guān)電位的幅值和潛伏期的差異性； 3) 進行主觀實驗，確立立體圖像舒適度的評分標(biāo)準，對不同壓縮比的原始立體圖像對 得到主觀評價分數(shù)MOS; 4) 分析和對比主觀行為數(shù)據(jù)與ERP數(shù)據(jù)，建立應(yīng)用ERP技術(shù)評價壓縮的立體圖像舒適度 問題的方法。
【文檔編號】H04N19/154GK105915889SQ201610242243
【公開日】2016年8月31日
【申請日】2016年4月19日
【發(fā)明人】侯春萍, 劉月, 岳廣輝, 馬彤彤, 馮丹丹
【申請人】天津大學(xué)