專利名稱：視頻質量客觀評價設備、評價方法和程序的制作方法
技術領域：
本發(fā)明涉及視頻質量客觀評價設備、評價方法和程序，用于根據對視頻信號或視頻文件的物理特征量的測量來對觀察者所感知的主觀質量進行評估，而不執(zhí)行觀察者觀看視頻并對其質量進行評價的任何主觀評價/質量測試。
背景技術：
傳統(tǒng)的視頻提供服務通過使用諸如無線電波之類使得在廣播過程中的傳輸時具有較少差錯的介質來提供視頻，并通過使用諸如磁帶之類的介質來提供視頻。為此，已經對通過將參考視頻與劣化視頻進行比較，利用與主觀評價等同的精度推導出視頻質量的客觀評價值的客觀評價技術進行了研究，以主要針對編碼失真來推導出適當的評價值。
因此，作為傳統(tǒng)的客觀評價技術，提出了利用與主觀評價等同的精度來對主觀質量進行評估的技術，其中，基于由于編碼失真而導致的劣化在空間和時間上相對均勻的事實，通過使用“每個視頻的修正系數”、“SN”或“基于Sobel濾波器的劣化量”，推導出整個幀的平均劣化或沿時間方向的平均劣化(例如，見日本專利公開No.2004-80177和美國專利No.5446492和6704451)。
此外，根據Jun Okamoto、Noriko Yoshimura和Akira Takahashi的“A Study on Application of Objective Video Quality Measurement”，PROCEEDINGS OF THE 2002 COMMUNICATIONS SOCIETYCONFERENCE OF IEICE以及Jun Okamoto和Takaaki Kurita“A Studyon Objective Video Quality Measurement Method ConsideringCharacteristics of Reference Video”，IEICE Technical Report，Vol.103，No.289，CQ2003-52，2003年9月，pp.61-66中公開的技術，可以利用目標精度來對主觀評價值進行評估。

發(fā)明內容
發(fā)明要解決的問題近來，使用通信網絡的視頻提供服務變得普及起來。在這種通信網絡中，經常發(fā)生分組丟失和時延波動。這種網絡質量劣化現象引起了空間上(一幀內)的局部視頻劣化和時間上的程度改變的視頻劣化。這種視頻劣化現象極大地影響了視頻質量，并且是過去沒有出現過的劣化現象。這使得傳統(tǒng)評價技術不能以高精度來評價視頻質量。
為了解決上述問題而做出本發(fā)明，以及本發(fā)明具有以下目的提供一種視頻質量客觀評價設備、評價方法和程序，從而即使沿時間/空間方向在視頻中局部出現劣化，也可以對視頻的主觀質量進行評估。
解決問題的措施本發(fā)明包括時間/空間特征量推導單元，用于根據作為評價目標的劣化視頻信號、以及作為該劣化視頻信號劣化之前的信號的參考視頻信號，推導作為所述劣化視頻信號中出現的劣化的特征量的時間/空間特征量；以及主觀質量評估單元，通過基于事先獲得的劣化視頻與用戶的主觀評價值之間的關系對所述時間/空間特征量進行加權，而對與劣化視頻信號相關的主觀質量進行評估。
發(fā)明的效果本發(fā)明包括時間/空間特征量推導單元，用于將時間/空間特征量推導為在作為根據劣化視頻信號的評價目標的劣化視頻信號以及作為劣化視頻信號的劣化之前的信號的參考視頻信號中出現的劣化的特征量、；以及主觀質量評估單元，通過基于事先獲得的劣化視頻與用戶獲得的主觀評價值之間的關系來對時間/空間特征量進行加權，來對與劣化視頻信號相關的主觀質量進行評估。這使得即使沿時間/空間方向，在視頻中局部出現了由于例如通信網絡上的分組丟失而導致的劣化，也可以對視頻的主觀質量進行評估。使用本發(fā)明的視頻質量客觀評價設備來替代傳統(tǒng)主觀評價技術將會消除主觀評價所需的大量勞力和時間的必要性。
此外，根據本發(fā)明，時間/空間特征量推導單元包括第一推導裝置，用于考慮到在劣化視頻信號的評價目標幀中出現的劣化的空間局部性，來推導出空間特征量。這使得可以考慮到劣化的空間局部性來執(zhí)行質量評價，并提高了對主觀評價值進行評估的精度。
此外，根據本發(fā)明，時間/空間特征量推導單元包括第二推導裝置，用于推導出在劣化視頻信號的評價目標幀中出現的劣化的時間特征量；以及第三推導裝置，考慮到在評價目標幀中出現的劣化的空間局部性和時間軸上的局部性，通過使用空間特征量和時間特征量，來推導出時間/空間特征量。這使得可以考慮到時間軸上的劣化的局部性來執(zhí)行質量評價，并提高了對主觀評價值進行評估的精度。


圖1是示出了在空間中出現局部劣化的視頻示例的圖示；圖2是示出了在視頻幀編號與視頻劣化量之間的關系的示例圖示；圖3是示出了根據本發(fā)明第一實施例的視頻質量客觀評價設備的設置的結構框圖；圖4是示出了根據本發(fā)明第一實施例的視頻質量客觀評價設備的操作的流程圖；圖5是示出了根據本發(fā)明第一實施例，考慮了空間中的局部視頻劣化而推導出空間特征量的方法的流程圖；圖6是示出了根據本發(fā)明第一實施例的每個塊的劣化量直方圖的圖示；圖7是根據本發(fā)明第一實施例的用于解釋如何在時間軸上捕獲局部視頻劣化的圖示；圖8是示出了根據本發(fā)明第一實施例的、考慮了時間軸上的局部視頻劣化而推導出時間/空間特征量的方法的流程圖；圖9是示出了根據本發(fā)明第一實施例，在推導時間/空間特征量中的單位測量間隔設置示例的圖示；圖10是示出了根據本發(fā)明第一實施例，在推導時間/空間特征量中的單位測量間隔設置的另一示例的圖示；圖11是示出了穩(wěn)定狀態(tài)平均劣化量、局部視頻劣化的劣化變化量及持續(xù)時間的圖示；圖12是示出了根據本發(fā)明第一實施例的局部劣化判別閾值的推導函數的圖示；圖13是示出了根據本發(fā)明第一實施例，在劣化強度數據庫中的表格設置的圖示；圖14是示出了根據本發(fā)明第一實施例的用于解釋劣化強度總計的方法的圖示；圖15是示出了根據本發(fā)明第一實施例的第一劣化量求和表設置的圖示；圖16是示出了根據本發(fā)明第一實施例的第二劣化量求和表設置的圖示；圖17是示出了在空間中出現局部劣化的視頻的另一示例的圖示；圖18是示出了根據本發(fā)明第二實施例，考慮了空間中的局部視頻劣化而推導出空間特征量的方法的流程圖；圖19是用于解釋運動向量的視圖；圖20是根據本發(fā)明第二實施例，示出了對于局部視頻劣化的移動速度的加權因子的圖示；以及圖21是根據本發(fā)明第二實施例，示出了對于局部視頻劣化的注意力等級的加權因子的圖示。
具體實施例方式由于通信網絡質量中的諸如分組丟失和時延波動之類的劣化而導致的視頻劣化的特征在于，在空間中局部出現劣化、或在時間軸上局部出現劣化。
圖1是示出了在空間中出現局部劣化的視頻示例的圖示。因為以視頻移動區(qū)域為中心，局部地出現由于通信網絡中的分組丟失或編碼差錯而導致的視頻劣化，所以有必要考慮空間局部性。圖1中的參考符號P1表示劣化出現部分。
因此，本發(fā)明通過將從實際劣化視頻與主觀評價值之間的關系中事先獲得的權重施加于基于以幀為單位的參考視頻與劣化視頻之間差異的劣化量、以及以局部劣化出現的區(qū)域為單位的參考視頻與劣化視頻之間的差異的劣化量，針對空間中的局部視頻劣化的主觀評價值進行評估。
圖2是示出了局部出現在時間軸上的視頻劣化的示例、以及視頻幀編號與視頻劣化量之間關系的示例的圖示。出現于通信網絡中的分組丟失或編碼差錯將會引起較大的局部視頻劣化，如由于丟幀而突然出現的一幀停止的劣化(圖2中的J)、或者持續(xù)直至對下一I(幀內)幀進行解碼的劣化(圖2中的K)。
對于時間軸上的局部視頻劣化，通過考慮了事先獲得的主觀評價特性，對沒有出現局部劣化時的劣化量、和出現了局部劣化時的劣化量的增量(劣化變化量)和劣化量的持續(xù)時間進行加權，從而對主觀評價值進行評估。這提高了對主觀評價值進行評估的精度。
圖3是示出了根據本發(fā)明第一實施例的視頻質量客觀評價設備的設置的結構框圖。該設備操作的概述將在以下描述。圖3中的視頻質量客觀評價設備使用劣化視頻信號PI作為從評價目標系統(tǒng)(例如，編解碼器)(未示出)中輸出的評價目標，以及使用參考視頻信號RI作為在劣化視頻信號PI劣化之前事先在存儲設備(未示出)中登記的信號。
在與幀顯示間隔和格式匹配時，校準單元11搜索參考視頻信號RI在時間上和位置上與劣化視頻信號PI一致的地點，并將時間和位置一致狀態(tài)下的參考視頻信號RI和劣化視頻信號PI輸出到時間/空間特征量推導單元12。
時間/空間特征量推導單元12通過使用由校準單元11調整的參考視頻信號RI和劣化視頻信號PI、以及按照需要參照劣化強度數據庫(以下稱為劣化強度DB)13，來推導作為劣化的物理特征量的時間/空間特征量PC，并將推導出的時間/空間特征量PC傳輸至主觀質量評估單元14。時間/空間特征量推導單元12包括第一推導裝置121，用于推導出在劣化視頻信號PI的評價目標幀中出現的劣化的空間特征量；以及第二推導裝置122，用于推導出在劣化視頻信號PI的評價目標幀中出現的劣化的時間特征量；以及第三推導裝置123，通過使用空間特征量和時間特征量來推導出時間/空間特征量PC。
主觀質量評估單元14通過使用從用戶獲得的相對于劣化視頻的主觀評價值與劣化視頻的時間/空間特征量之間的對應關系中事先獲得的客觀評價值推導函數，對從時間/空間特征量推導單元12接收的時間/空間特征量PC進行加權，來推導出客觀評價值。
將在以下對圖3中的每個單元的操作進行詳細描述。圖4是示出了圖3中的視頻質量客觀評價設備的操作的流程圖。
在劣化視頻信號PI的幀顯示間隔和格式與參考視頻信號RI的幀顯示間隔和格式匹配時，校準單元11通過沿時間方向以幀為單位來檢索參考視頻信號RI，以搜索與劣化視頻信號PI相同的幀的參考視頻信號RI；通過上、下、左和右移動所找到的參考視頻信號RI，來調整劣化視頻信號PI和參考視頻信號RI，以使它們在基于像素最為相似；并將調整過的參考視頻信號RI和劣化視頻信號PI傳輸至時間/空間特征量推導單元12(圖4中的步驟S1)。
時間/空間特征量推導單元12通過對從校準單元11接收的參考視頻信號RI和劣化視頻信號PI執(zhí)行以下處理，來推導出多個時間/空間特征量PC，并傳輸至主觀質量評估單元(步驟S2)。
首先，將會對考慮在評價目標幀中出現的空間中的局部視頻劣化來推導出空間特征量DS的方法進行詳細描述。圖5是示出了推導出空間特征量DS的方法的流程圖。
時間/空間特征量推導單元12的第一推導裝置121為通過根據從校準單元11接收的參考視頻信號RI和劣化視頻信號PI來劃分評價目標幀所獲得的每個塊來計算和存儲劣化量S(圖5中的步驟S10)。例如，劣化量S是一參數，如PSNR(峰值信噪比)、或者由ANSI(美國國家標準協(xié)會)定義的平均邊緣能量。
然后，第一推導裝置121計算并存儲幀平均劣化量Xave_all和局部劣化區(qū)域平均劣化量Xave_bad，其中，Xave_all是用整個評價目標幀針對每個塊的所計算的劣化量S取平均而獲得的值，以及Xave_bad是通過在劣化強度非常強的評價目標幀的區(qū)域內對劣化量S取平均而獲得的值(步驟S11)。圖6是示出了每個塊的劣化量S的直方圖的圖示。橫坐標表示劣化量S；以及縱坐標表示通過將出現了劣化量S的每個塊進行累加而獲得的塊的個數。假設在圖6中，視頻劣化向右增加。局部劣化區(qū)域平均劣化量Xave_bad是通過將包括在預定劣化強度范圍中的劣化量S取平均而獲得的值(圖6中的陰影部分)。在這種情況下，將所有塊數中劣化量大的前10％的塊數設定為預定的劣化強度范圍。
然后，第一推導裝置121通過使用由主觀評價實驗事先獲得的系數A和B來計算以下等式，考慮了評價目標幀中的空間的局部視頻劣化，來計算和存儲空間特征量DS(步驟S12)DS＝A·Xave_all+B·Xave_bad …(1)其中，A是當沒有在空間中出現局部視頻劣化時，通過主觀評價特征事先獲得的系數，以及B是當在空間中出現了局部視頻劣化時，通過主觀評價特征事先獲得的系數。
通過確定優(yōu)化值的組合，能夠推導出系數A和B，從而基于用戶對于僅出現了編碼劣化的視頻(在空間中沒有出現局部視頻劣化的視頻)的主觀評價特征、以及用戶對于除編碼劣化之外還出現了由于分組丟失等導致的局部劣化的視頻的主觀評價特征，來更好地將空間特征量DS與主觀評價匹配。
時間/空間特征量推導單元12根據所經過的時間為每個幀執(zhí)行以上處理。應當注意，該實施例使用幀平均劣化量Xave_all和局部劣化區(qū)域平均劣化量Xave_bad來計算空間特征量DS。除了它們之外，時間/空間特征量推導單元12可以使用評價目標幀的各種劣化量分布的統(tǒng)計量。例如，在圖6所示的評價目標幀的劣化量分布中，時間/空間特征量推導單元12可以使用各劣化量中出現頻率較高的部分的面積或其中的塊數來計算空間特征量DS，或者可以使用劣化量的標準偏差或分散度。此外，時間/空間特征量推導單元12可以使用幀平均劣化量Xave_all和局部劣化區(qū)域平均劣化量Xave_bad的差值。可選地，時間/空間特征量推導單元12可以通過將這些統(tǒng)計量進行組合來計算空間特征量DS。
接下來將對考慮時間軸上的局部視頻劣化來推導時間/空間特征量PC的方法進行詳細描述。當推導時間/空間特征量PC時，該方法獨立地評價在時間軸上沒有出現局部視頻劣化時的視頻劣化的影響，以及時間軸上具有局部視頻劣化的影響，并考慮兩種劣化的影響。即，如圖7所示，該方法計算單位測量間隔ut中的平均劣化量Q2的影響、以及單位測量間隔ut中的僅局部劣化的影響，并在考慮了這兩種劣化影響時推導出時間/空間特征量PC。應當注意，單位測量間隔ut和幀具有由單位測量間隔ut≥一幀間隔所表示的關系。參照圖7，參考符號Q1表示局部劣化量。
圖8是示出了推導出時間/空間特征量PC的方法的流程圖。首先，時間/空間特征量推導單元12根據從校準單元11接收的參考視頻信號RI和劣化視頻信號PI，來計算并存儲每個單位測量間隔ut(每個幀或以預定測量間隔)的劣化量C(圖8中的步驟S20)。
第二推導裝置122推導時間特征量。例如，該時間特征量是幀速率、幀跳計數(frame skip count)、由ITU-T-1RecP.910所定義的TI值、或者由ANSI所定義的特征量。可以將第二推導裝置122推導出的時間特征量用作劣化量C。此外，第二推導裝置122也可以使用由第一推導裝置121事先推導出的空間特征量DS、或者用于推導出空間特征量DS的劣化量S來作為劣化量C。第二推導裝置122雖然采用上述那樣的劣化量，也可以將作為預先對每幀的主觀評價值而變換推測出的值(客觀評價值)用作劣化量C。
作為步驟S20處理的結果，推導出以時間連續(xù)方式計算的劣化量C。時間/空間特征量推導單元12的第三推導裝置123根據每個單位測量間隔ut的劣化量C，計算并存儲穩(wěn)定狀態(tài)的平均劣化量Dcons、局部視頻劣化的劣化變化量d、以及局部視頻劣化的持續(xù)時間t(圖8的步驟S21)。應當注意，如圖9所示，可以設置單位測量間隔ut以使ut不會重疊，或者如圖10所示，可以設置單位測量間隔ut以使ut彼此重疊。
圖11示出了穩(wěn)定狀態(tài)平均劣化量Dcons、局部視頻劣化的劣化變化量d、以及持續(xù)時間t的圖示。穩(wěn)定狀態(tài)平均劣化量Dcons是通過從單位測量間隔ut中去除局部視頻劣化出現時段而獲得的穩(wěn)定狀態(tài)時段內的劣化量C的平均值，以及為每個單位測量間隔ut計算穩(wěn)定狀態(tài)平均劣化量Dcons。應當注意，在單位測量間隔ut的某個中點，使用在前一單位測量間隔ut中計算的穩(wěn)定狀態(tài)平均劣化量Dcons。
局部視頻劣化量的劣化變化量d是局部視頻劣化量與穩(wěn)定狀態(tài)平均劣化量Dcons之間的差值。在本實施例中，當來自單位測量間隔ut中的與穩(wěn)定狀態(tài)平均劣化量Dcons的差值等于或大于局部劣化判別閾值，則確定出現了局部視頻劣化。假設將差值等于或大于局部劣化判別閾值的第一劣化量C設置為局部視頻劣化量，以及局部視頻劣化量與穩(wěn)定狀態(tài)平均劣化量Dcons之間的差是劣化變化量d。
局部視頻劣化的持續(xù)時間t是出現局部視頻劣化期間的時間，劣化量C與穩(wěn)定狀態(tài)平均劣化量Dcons之間的差值落在(d-Δv)以上和(d+Δv)以下的范圍內，其中，Δv是預定可允許變化范圍。作為確定是否發(fā)生局部視頻劣化的局部劣化判別閾值，根據類似于圖12中示出的局部劣化判別閾值推導函數，來確定與當前的穩(wěn)定狀態(tài)平均劣化量Dcons相對應的值。
為了事先準備局部劣化判別閾值推導函數，只要通過在改變穩(wěn)定狀態(tài)平均劣化量Dcons的同時檢查用戶針對出現局部視頻劣化的視頻的主觀評價特性，從而確定局部劣化判別閾值推導函數，并使第三推導裝置123存儲該函數即可，以便適當地將用戶主觀執(zhí)行的局部視頻劣化的判別與基于局部劣化判別閾值的局部視頻劣化的判別相匹配。應當注意，由于有時在單位測量間隔ut中出現多次局部視頻劣化，所以在每次出現局部視頻劣化時獲得并保持劣化變化量d和持續(xù)時間t的組合。
然后，第三推導裝置123基于在步驟S21中計算的劣化變化量d和持續(xù)時間t來參考劣化強度DB 13，考慮了單位測量間隔ut中的劣化變化量d和持續(xù)時間t對于用戶主觀評價的影響，以獲得并存儲劣化強度D(圖8中的步驟S22)。如圖13所示，劣化強度DB13為每個劣化變化量d事先存儲了持續(xù)時間劣化強度表130，其中登記了表示在持續(xù)時間t與劣化強度D之間的關系的持續(xù)時間劣化強度曲線。
第三推導裝置123通過參照劣化強度DB 13，將劣化變化量d和持續(xù)時間t的組合轉換為劣化強度D。只要通過在改變劣化變化量d和持續(xù)時間t的同時，檢查用戶針對出現局部視頻劣化的視頻的主觀評價特性，從而確定持續(xù)時間劣化強度曲線即可，以便適當地將用戶的主觀評價與劣化強度D相匹配。如果在單位測量間隔ut內獲得了劣化變化量d和持續(xù)時間t的多個組合，則第三推導裝置123對于每個組合來執(zhí)行步驟S22中的處理。
然后，第三推導裝置123將每個單位測量間隔ut的劣化強度D進行總計，并存儲總值(圖8中的步驟S23)。為了對劣化強度D進行總計，可以將在劣化量中推導出來的劣化強度D(S22)簡單地相加。然而，在這種情況下，考慮與用戶的主觀特性相匹配的以下幾點。即，如果視頻包括強局部劣化和弱局部劣化，則用戶的主觀評價受到具有高劣化強度的局部劣化的影響。此外，如果出現了具有相似強度的多個局部劣化，則用戶的主觀評價受到劣化總值的影響。
考慮以上幾點，如圖14所示，對在單位測量間隔ut中出現的多個局部劣化的劣化強度D1、D2、D3、...、DN-1和DN進行降序排列，以及第三推導裝置123通過參照如在圖15中示出的第一劣化量求和表124，以升序將劣化強度相加。第一劣化量求和表124對應地存儲劣化強度Da和Db、以及總劣化強度Dsum，并事先在第三劣化裝置123中準備該表124。
在圖14的步驟201中，令D′1、D′2、D′3、...、D′N-1和D′N作為對劣化強度D1、D2、D3、...、DN-1和DN進行重新的降序排列所獲得的劣化強度，如步驟202所指示(步驟203)，通過在劣化強度Da和Db的基礎上參照第一劣化量求和表124，第一加和操作獲得了與劣化強度Da和Db相對應的總劣化強度Dsum，其中，最低劣化強度D′1是Da，以及下一最低劣化強度D′2是Db。
通過參照第一劣化量求和表124，第二或后續(xù)的加和操作獲得了與劣化強度Da和Db相對應的總劣化強度Dsum(步驟205)，其中，如步驟204所示，先前推導出來的總劣化強度Dsum是Da，以及還未經加和或處理的劣化強度的最低劣化強度是Db。第三推導裝置123重復在步驟204和205中的處理，直至劣化強度D’N。第三推導裝置123將最后獲得的總劣化強度Dsum作為單位測量間隔ut中的劣化強度的總值Dpart進行存儲。
通過檢查對于在改變了兩個劣化強度Da和Db時出現局部視頻劣化的視頻的用戶主觀評價特性，確定了第一劣化量求和表124將用戶的主觀評價與總劣化強度Dsum適當地相匹配。根據第一劣化量求和表124，當劣化強度Db大于劣化強度Da時，總劣化強度Dsum接近劣化強度Db。當劣化強度Da和Db幾乎彼此相等時，總劣化強度Dsum接近劣化強度Da和Db之和。這使得可以將劣化強度D的總值與用戶的主觀特征相匹配。
第三推導裝置123通過基于在單位測量間隔ut中的劣化強度的總值Dpart和穩(wěn)定狀態(tài)平均劣化量Dcons，參照如圖16所示的第二劣化量求和表125，考慮了時間軸上的局部視頻劣化來獲取和存儲時間/空間特征量PC(圖8中的步驟S24)。
第二劣化量求和表125對應地存儲劣化強度的總值Dpart、穩(wěn)定狀態(tài)平均劣化量Dcons、以及時間/空間特征量PC，并事先在第三劣化裝置123中準備該表125。該第二劣化量求和表125通過在改變了總值Dpart和穩(wěn)定狀態(tài)平均劣化量Dcons的同時檢查用戶針對出現局部視頻劣化的視頻的主觀評價特性，從而確定為用戶的主觀評價與時間/空間特征量PC適當地相匹配。
利用以上操作，完成了時間/空間特征量推導單元12的處理。應當注意，在步驟S20中獲得的劣化量C包括多種類型，例如，幀速率和幀跳計數。時間/空間特征量推導單元12在步驟S20中獲得多個劣化量C時，對于每種類型的劣化量C執(zhí)行步驟S21至S24的處理。因此，在每個單位測量間隔ut內獲得多個時間/空間特征量PC。
然后，主觀質量評估單元14基于從時間/空間特征量推導單元12接收的多個時間/空間特征量PC，通過執(zhí)行由下式表示的加權操作來計算客觀評價值(圖4中的步驟S3)。
Y＝F(X1，X2，...，Xn) …(2)其中，Y是客觀評價值，X1，X2，....，Xn是時間/空間特征量PC，以及F是客觀評價值推導函數。
當時間/空間特征量PC是兩個量X1和X2時，例如，由下式表示客觀評價值推導函數FY＝F(X1，X2)＝αX1+βX2+γ …(3)其中，X1是在例如空間特征量DS用作劣化量C時，通過在步驟S21至S24的處理，從空間特征量DS中獲得的時間/空間特征量PC；以及X2是在例如幀速率用作劣化量C時，從幀速率中獲得的時間/空間特征量PC。
在以上等式中，α、β和γ是預定系數。為了推導出系數α、β和γ，通過檢查對于在改變劣化量時出現局部視頻劣化的視頻的用戶主觀評價特性，能夠確定優(yōu)化值的組合，從而將用戶的主觀評價與客觀評價值Y適當地相匹配。
接下來將對本發(fā)明的第二實施例進行描述。圖17是示出了在空間中出現局部劣化的視頻的另一示例的圖示。圖17示出了一段視頻，其中，背景由于攝像機正在跟蹤作為目標的車輛170的運動而以高速從右向左移動?？紤]空間中的局部視頻劣化。在這種情況下，即使局部視頻劣化171在快速移動的部分中出現但不能由眼睛來跟隨，該視頻劣化也幾乎不會影響用戶的主觀評價。即，用戶的主觀評價依據視頻的移動速度而改變。此外，出現于對象區(qū)域中的局部視頻劣化172對于用戶主觀評價的影響大于出現于背景區(qū)域中的局部視頻劣化171對它的影響。即，用戶的主觀評價依據用戶對于視頻的注意力等級(注意程度)而改變。
因此，本實施例通過考慮依據視頻移動速度的主觀評價的變化執(zhí)行加權，提高了主觀評價值的評估精度，即，劣化是否易于檢測取決于視頻的移動速度。本實施例還通過考慮依據用戶對于視頻的注意力等級的變化執(zhí)行加權，提高了主觀評價值的評估精度，即，出現局部視頻劣化的區(qū)域是要注意的區(qū)域，如對象。
本實施例的視頻質量客觀評價設備的設置和處理過程與第一實施例中的相同。因此，將通過使用圖3和4中的參考符號來描述本實施例。本實施例與第一實施例的不同之處在于通過在圖4的步驟S2的過程中使用時間/空間特征量推導單元12的第一推導裝置121來推導出空間特征量DS的方法。以下將會對考慮出現在評價目標幀中的空間中的局部視頻劣化而推導出空間特征量DS的方法進行描述。圖18是示出了根據本實施例的推導出空間特征量DS的方法的流程圖。
時間/空間特征量推導單元12的第一推導裝置121計算并存儲每個塊的運動向量，所述運動向量通過將根據校準單元11接收的參考視頻信號RI來劃分評價目標幀而獲得(圖18中的步驟S30)。圖19是用于解釋運動向量的圖示。運動向量是指示幀間例如8×8像素塊的移動量(方向和距離)的向量。通過找到顯示了當前幀與上一幀之間的最小差值的塊，能夠獲得塊的移動量。例如，圖19示出了球190移動至最下方的場景。在這種情況下，前一幀fN的塊E移動至當前幀fN+1中的E′。在這種情況下，由圖19中的V表示運動向量。第一推導裝置121對于參考視頻信號RI的一幀來計算每個塊的運動向量的量，并計算每個塊的方向和長度(標準)。
然后，第一推導裝置121根據在步驟S30中計算的參考視頻信號RI的運動向量分布特性，推導出為了推導出每個塊的注意力等級所需的每個評價目標幀的注意力等級閾值(步驟S31)。如果存在包括具有相同運動向量的多個塊的區(qū)域，以及預定個數或更多的塊屬于該區(qū)域，則第一推導裝置121推導出用于將區(qū)域分為兩種區(qū)域的閾值，所述兩種區(qū)域即，背景區(qū)域(注意力等級2)和對象區(qū)域(注意力等級1)，在背景區(qū)域中，存在具有相同運動向量的多個塊，并且預定個數或更多的塊屬于該區(qū)域；也可以使用兩個或多個注意力等級。
當要確定用戶對于視頻的注意力等級時，可以預期以下兩種情況，在這兩種情況中，若考慮根據對象的移動進行的攝像機的工作，則移動背景。
在第一情況下，攝像機根據對象的移動來上、下、左和右(搖擺與傾斜)移動。當攝像機根據對象的移動來上、下、左和右移動時，背景區(qū)域沿與攝像機的移動方向相反的方向移動。因此，當存在包括多個塊的區(qū)域，塊的運動向量在方向和長度上相同、并且預定個數或更多的塊屬于該區(qū)域時，第一推導裝置121將該區(qū)域設置為背景區(qū)域。應當注意，根據該注意力等級確定方法，即使對象不移動，也將這種區(qū)域確定為背景區(qū)域。
在第二情況下，攝像機對于對象執(zhí)行縮放操作(放大或縮小操作)。當要放大對象時，從對象位置(例如，視頻的中心位置)至外圍部分以全向放射狀地出現運動向量。相反地，當要縮小對象時，從外圍部分至對象位置出現運動向量。此外，當要放大或縮小對象時，外圍部分的背景區(qū)域內的運動向量大于位于視頻中心部分附近的對象的運動向量。
因此，當存在包括運動向量沿各個方向均勻分布，以及其運動向量具有等于或大于閾值的長度的多個塊的區(qū)域時，第一推導裝置121將該區(qū)域設置為背景區(qū)域。盡管第一推導裝置121可以將預定常數值用作該閾值，但是第一推導裝置121可以按照以下方式根據運動向量分布來獲得閾值。當根據運動向量分布獲得閾值時，第一推導裝置121獲得運動向量直方圖，其中，橫坐標表示運動向量的長度，以及縱坐標表示運動向量的出現頻率(塊計數)。然后，第一推導裝置121確定直方圖橫坐標上的任意邊界值，并獲得比邊界值長的運動向量的出現頻率。例如，當出現頻率達到總塊數的80％或更多時，第一推導裝置121將該邊界值設置為閾值。
然后，第一推導裝置121計算每個塊的劣化量S，并存儲幀中的每個位置處的值(步驟32)，其中，所述劣化量S通過將根據參考視頻信號RI和劣化視頻信號PI來劃分評價目標幀而獲得。例如，劣化量S是一參數，如，PSNR、或者由ANSI定義的平均邊緣能量。
最后，如下式所指示，第一推導裝置121通過使用在步驟S30至S32中獲得的結果，考慮了空間中的局部視頻劣化來計算并存儲空間特征量DS(步驟S33)。
DS＝(1/N)×∑(F1i×F2i×Si) …(4)其中，N是目標塊數，F1i是依據塊i(i是從1至N的自然數)的運動向量的方向和長度的加權因子，F2i是依據塊i的注意力等級的加權因子，以及Si是塊i的劣化量。等式(4)指示通過每個塊的加權因子F1和F2來對劣化量S進行加權，以及將整個評價目標幀通過對各個塊所獲得的結果進行平均所獲得的值設置為空間特征量DS。
以下是推導出兩個加權因子F1和F2的特定方法。
該方法根據事先獲得的劣化視頻的運動向量的長度與加權因子F1之間的關系，對于每個塊的運動向量的長度，推導出等式(4)的每個目標塊的加權因子F1(每次遞增i)。如圖20所示，當視頻無運動(運動向量很短)或視頻的運動過快而難以跟隨(運動向量很長)時，使加權因子F1遞減，以及當視頻的移動速度適中時，使加權因子F1遞增。應當注意，該方法通過將特定局部劣化加至包括不同運動向量長度的區(qū)域而獲得的主觀評價特性(空間特征量DS的平均值)，推導出劣化視頻的運動向量長度與加權因子F1之間的對應關系。
該方法根據在步驟S31中從每個塊的運動向量的長度和方向中獲得的閾值來確定注意力等級，并根據事先獲得的注意力等級與加權因子F2之間的關系來推導出等式(4)(每次遞增i)的每個目標塊的加權因子F2。如圖21所示，對于顯示出高注意力等級的區(qū)域(例如，對象區(qū)域)來增加加權因子F2，以及對于顯示出低注意力等級的區(qū)域(例如，背景區(qū)域)來減小加權因子F2。應當注意，作為注意力等級與加權因子F2之間的關系，該方法根據通過將特定局部劣化添加至事先分類的注意力等級的視頻(按照以上方式，通過使用運動向量，根據匹配主題移動的攝像機工作進行分類)而獲得的主觀評價特性(空間特征量DS的平均值)，考慮了加權因子F1的影響，推導出最佳關系。
可以根據在步驟30而不是步驟33中的每個塊的運動向量，事先獲得表格形式的加權因子F1；還可以在推導出根據步驟31中的一幀中的運動向量判別注意力等級的閾值之后，提取獲得每個塊的表格形式的加權因子F2；以及通過在步驟33中等式(4)的計算時參照表格來計算加權因子。
以這種方式，完成了空間特征量DS的推導。時間/空間特征量推導單元12的第一推導裝置121根據所經過的時間來為每個幀執(zhí)行以上過程。除了推導出空間特征量DS的過程之外，步驟S2中的過程、以及步驟S1和S3中的過程與第一實施例中的那些過程相同。
本實施例通過考慮由于視頻的移動速度而導致的主觀評價的差異來執(zhí)行加權、以及考慮由于用戶對于視頻的注意力等級而導致的主觀評價中的差異來執(zhí)行加權，可以提高主觀評價值的評估精度。
在要在固定位置(背景固定的環(huán)境)中提供的視頻通信服務中，由于可以僅對于對象部分來執(zhí)行步驟S31和S32中的過程，所以可以預期獲得幀間差異而非運動向量，并在將具有幀間差異的區(qū)域視為對象區(qū)域、以及將沒有任何幀間差異的區(qū)域視為背景區(qū)域的同時，來執(zhí)行簡單的計算。
接下來將對本發(fā)明的第三實施例進行描述。設計本實施例以將已在第一實施例中描述的推導出空間特征量DS的方法和已在第二實施例中描述的推導出空間特征量DS的方法進行組合。
即，時間/空間特征量推導單元12的第一推導裝置121考慮運動向量，基于第二實施例中的步驟S30至S32，來計算每個塊的劣化量。然后，第一推導裝置121考慮整個幀的評價劣化量和具有高劣化強度的區(qū)域中的平均劣化量，基于第一實施例中的步驟S11和S12，根據等式(1)來計算空間特征量DS。這使得可以將根據第一和第二實施例的推導方法進行組合。
應當注意，根據第一和第三實施例的視頻質量客觀評價設備中的每個可以通過包括CPU、存儲設備和與外部的接口的計算機、以及控制這些硬件資源的程序來實現。在記錄在諸如軟盤、CD-ROM、DVD-ROM或存儲卡之類的記錄介質上時，提供了使這種計算機實現本發(fā)明的視頻質量客觀評價方法的視頻質量客觀評價程序。CPU將從記錄介質中讀取的程序寫入存儲設備中，并根據程序來執(zhí)行在第一至第三實施例中描述的過程。
實用性本發(fā)明可以應用于根據視頻信號的物理特征量的測量來評估主觀質量的視頻質量客觀評價技術。
權利要求
1.一種視頻質量客觀評價設備，其特征在于，包括時間/空間特征量推導單元，所述時間/空間特征量推導單元根據作為評價目標的劣化視頻信號和作為該劣化視頻信號的劣化之前的信號的參考視頻信號，推導出作為在所述劣化視頻信號中出現的劣化的特征量的時間/空間特征量；以及主觀質量評估單元，通過基于事先獲得的劣化視頻與用戶的主觀評價值之間的關系對所述時間/空間特征量進行加權，來對與所述劣化視頻信號相關的主觀質量進行評估。
2.如權利要求1所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元包括第一推導裝置，所述第一推導裝置用于考慮到在所述劣化視頻信號的評價目標幀中出現的劣化的空間局部性，來推導出所述空間特征量。
3.如權利要求2所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元的所述第一推導裝置基于評價所述目標幀中的空間劣化量分布的統(tǒng)計量、事先獲得的所述統(tǒng)計量與用戶的主觀評價值之間的關系來獲得所述空間特征量。
4.如權利要求3所述的視頻質量客觀評價設備，其特征在于，以下的一個或任意組合用作所述劣化量分布的統(tǒng)計量作為用整個評價目標幀針對劣化量進行平均所獲得的值的幀平均劣化量；出現包括在預定劣化強度范圍內的劣化的所述評價目標幀區(qū)域的大??；作為通過對屬于所述區(qū)域的劣化量進行平均所獲得的值的局部劣化區(qū)域平均劣化量；以及所述幀平均劣化量與所述局部劣化區(qū)域平均劣化量之間的差值。
5.如權利要求2所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元包括第二推導裝置，所述第二推導裝置用于推導出在所述劣化視頻信號的評價目標幀中出現的劣化的時間特征量；以及第三推導裝置，考慮到在所述評價目標幀中出現的劣化的空間局部性和時間軸上的局部性，通過使用所述空間特征量和時間特征量，來推導出所述時間/空間特征量。
6.如權利要求5所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元的所述第三推導裝置將空間特征量和時間特征量中的每個設置為劣化量；以及基于時間軸上的局部劣化量、在時間軸上沒有任何局部劣化時的平均劣化量和事先獲得的劣化量與用戶的主觀評價值之間的關系，來推導出對于所述空間特征量和時間特征量中的每個的所述時間/空間特征量。
7.如權利要求6所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元的所述第三推導裝置基于事先獲得的劣化量與用戶的主觀評價值之間的關系來確定局部劣化判別閾值，以及在當前時間點處的劣化量與直至當前時間點的平均劣化量之間的差值不小于局部劣化判別閾值時，確定出現局部劣化。
8.如權利要求7所述的視頻質量客觀評價設備，其特征在于，所述設備包括劣化強度數據庫，所述劣化強度數據庫用于存儲局部劣化的變化量以及持續(xù)時間與劣化強度的關系，其中，考慮了局部劣化相對于平均劣化量的的變化量以及持續(xù)時間對用戶的主觀評價的影響來確定所述局部劣化的變化量和持續(xù)時間與劣化強度的所述關系，在每次發(fā)生所述局部劣化時，所述時間/空間特征量推導單元的所述第三推導裝置由所述劣化強度數據庫，獲得與局部劣化量的變化量和持續(xù)時間相對應的劣化強度。
9.如權利要求8所述的視頻質量客觀評價設備，其特征在于，所述設備包括第一表，用于存儲基于劣化量與主觀評價值之間的關系所確定的劣化強度的總值；以及第二表，用于存儲時間/空間特征量和基于劣化量與用戶的主觀評價值之間的關系所確定的劣化強度總值之間的關系，其中，所述時間/空間特征量推導單元的所述第三推導裝置基于所述第一表，對每個單位測量間隔內的從所述劣化強度數據庫中獲得的劣化強度進行總計，并基于所述第二表，根據劣化強度的總值來推導出所述時間/空間特征量。
10.如權利要求2所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元的所述第一推導裝置基于劃分幀所獲得的每個塊的幀間差值，來檢測每個塊的所述參考視頻信號中的視頻的運動；并通過基于在所述參考視頻信號的相應塊中檢測到的視頻的運動以及事先獲得的劣化視頻的移動速度與用戶的主觀評價值之間的關系，按每個塊對所述劣化視頻信號的塊的劣化量進行加權，以獲得所述空間特征量。
11.如權利要求2所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元的所述第一推導裝置基于通過劃分幀所獲得的每個塊的運動向量，來檢測在每個塊的所述參考視頻信號中的視頻的運動；并通過基于在所述參考視頻信號的相應塊中檢測到的視頻的運動以及事先獲得的劣化視頻的移動速度與用戶的主觀評價值之間的關系，按每塊對所述劣化視頻信號的塊的劣化量進行加權，以獲得所述空間特征量。
12.如權利要求2所述的視頻質量客觀評價設備，其特征在于，所述時間/空間特征量推導單元的所述第一推導裝置基于通過劃分幀所獲得的每個塊的運動向量，來推導出用戶對于每個塊的所述參考視頻信號的注意程度；并通過基于從所述參考視頻信號的相應塊中推導出的注意程度以及用戶對于事先獲得的劣化視頻的注意程度與用戶對于劣化視頻所獲得的主觀評價值之間的關系，按每塊對所述劣化視頻信號的塊的劣化量進行加權，以所述獲得空間特征量。
13.一種視頻質量客觀評價方法，其特征在于，所述方法包括時間/空間特征量推導步驟，用于根據作為評價目標的劣化視頻信號和作為該劣化視頻信號的劣化之前的信號的參考視頻信號，推導出作為所述劣化視頻信號中出現的劣化的特征量的時間/空間特征量；以及主觀質量評估步驟，通過基于事先獲得的劣化視頻與用戶的主觀評價值之間的關系對所述時間/空間特征量進行加權，來對與所述劣化視頻信號相關的主觀質量進行評估。
14.一種視頻質量客觀評價程序，其特征在于，所述程序使計算機實現以下步驟時間/空間特征量推導步驟，用于根據作為評價目標的劣化視頻信號和作為該劣化視頻信號的劣化之前的信號的參考視頻信號，推導出作為所述劣化視頻信號中出現的劣化的特征量的時間/空間特征量；以及主觀質量評估步驟，通過基于事先獲得的劣化視頻與用戶的主觀評價值之間的關系對所述時間/空間特征量進行加權，來對與所述劣化視頻信號相關的主觀質量進行評估。
全文摘要
一種視頻質量客觀評價設備包括時間/空間特征量推導單元(12)，所述時間/空間特征量推導單元(12)用于根據作為評價目標的劣化視頻信號(PI)和作為該劣化視頻信號(PI)的劣化之前的信號的參考視頻信號，推導出作為劣化視頻信號(PI)中出現的劣化的特征量的時間/空間特征量(PC)；以及主觀質量評估單元(14)，根據事先獲得的劣化視頻與用戶的主觀評價值之間的關系，對時間/空間特征量(PC)進行加權，從而對與劣化視頻信號(PI)相關的主觀質量(Y)進行評估。因此，甚至在沿時間/空間方向在視頻中局部出現劣化時，也可以對視頻主觀質量進行評估。
文檔編號H04N17/04GK101036399SQ20058003357
公開日2007年9月12日 申請日期2005年10月17日 優(yōu)先權日2004年10月18日
發(fā)明者岡本淳, 栗田孝昭 申請人:日本電信電話株式會社