專利名稱：借助偽影評價(jià)的提高的圖像/視頻質(zhì)量的制作方法
技術(shù)領(lǐng)域：
本揭示內(nèi)容涉及數(shù)字圖像及視頻處理，且更特定來說涉及借助偽影評價(jià)的提高的 圖像/視頻質(zhì)量。
背景技水
數(shù)字視頻功能可并入到各種各樣的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線
通信裝置、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)、數(shù)字?jǐn)z像機(jī)、數(shù) 字記錄裝置、移動(dòng)或衛(wèi)星無線電電話及類似裝置。數(shù)字視頻及圖片裝置可在創(chuàng)建、修 改、傳輸、存儲(chǔ)、記錄及播放全動(dòng)態(tài)視頻序列及圖片方面提供對常規(guī)模擬視頻及圖片 系統(tǒng)的顯著改善。視頻序列(還稱作視頻剪輯)由幀序列組成。圖片還可表示為幀。 來自視頻或圖片的任何幀或部分經(jīng)常稱為圖像。
數(shù)字裝置(例如，移動(dòng)電話及手持式數(shù)字?jǐn)z像機(jī))可錄制圖片及/或視頻兩者?？?存儲(chǔ)所述圖片及視頻序列并無線或經(jīng)由電纜將其傳輸?shù)搅硪谎b置。在傳輸之前，可將 所述幀取樣并數(shù)字化。 一旦數(shù)字化，可將所述幀解析為較小的塊并將其編碼。編碼有 時(shí)與壓縮同義。壓縮可減小表示幀所需要的總(通常冗余)數(shù)據(jù)量(即，位)。通過
壓縮視頻及圖像數(shù)據(jù)，許多圖像及視頻編碼標(biāo)準(zhǔn)允許視頻序列及圖像的改善傳輸速率。 通常，經(jīng)壓縮視頻序列及經(jīng)壓縮圖像稱作經(jīng)編碼位流、經(jīng)編碼包或位流。多數(shù)圖像及 視頻編碼標(biāo)準(zhǔn)利用經(jīng)設(shè)計(jì)以促進(jìn)使用要比沒有壓縮技術(shù)所使用的傳輸位少的傳輸位來 傳輸視頻及圖像的圖像/視頻壓縮技術(shù)。
為支持壓縮，數(shù)字視頻及/或圖片裝置通常包括用于壓縮數(shù)字視頻序列或壓縮圖片 的編碼器，及用于解壓縮所述數(shù)字視頻序列的解碼器。在許多情況下，所述編碼器與 解碼器形成集成編碼器/解碼器(CODEC)，其對界定視頻序列的幀內(nèi)的像素塊進(jìn)行 操作。在標(biāo)準(zhǔn)(例如，國際電信聯(lián)盟(ITU) H.264及運(yùn)動(dòng)圖像專家組(MPEG) -4、 聯(lián)合圖像專家組(JPEG))中，舉例來說，所述編碼器通常將將要傳輸?shù)囊曨l幀或圖 像分割為稱作"宏塊"的視頻塊。宏塊通常是16像素高xl6像素寬?？墒褂酶鞣N視頻 塊大小。圖像及視頻處理技術(shù)領(lǐng)域中的技術(shù)人員認(rèn)識(shí)到術(shù)語視頻塊或圖像塊可互換使 用。有時(shí)為使在其可互換性中清楚，使用術(shù)語圖像/視頻塊。ITU H.264標(biāo)準(zhǔn)支持處理 16x16視頻塊、16x8視頻塊、8x16圖像塊、8x8圖像塊、8x4圖像塊、4x8圖像塊及 4x4圖像塊。其它標(biāo)準(zhǔn)可支持不同大小的圖像塊。當(dāng)說明編碼過程時(shí)，所屬技術(shù)領(lǐng)域 中的技術(shù)人員有時(shí)互換使用視頻塊或幀，且有時(shí)可將視頻塊或幀稱作視頻事物。 一般
來說，視頻編碼標(biāo)準(zhǔn)支持對視頻單元進(jìn)行編碼及解碼，其中視頻單元可以是視頻塊或 視頻幀。
對于視頻幀中的每一視頻塊來說，編碼器以多種"預(yù)測"模式進(jìn)行操作。在一種 模式中，所述編碼器搜索一個(gè)或一個(gè)以上緊接在前視頻幀(或后續(xù)幀)的相似大小視 頻塊以識(shí)別最相似的視頻塊，其稱作"最佳預(yù)測塊"。將當(dāng)前視頻塊與其它幀的視頻 塊相比較的過程通常稱作塊級(jí)運(yùn)動(dòng)估計(jì)(BEM) 。 BME產(chǎn)生相應(yīng)塊的運(yùn)動(dòng)向量。一 旦識(shí)別當(dāng)前視頻塊的"最佳預(yù)測塊"，那么所述編碼器可對所述當(dāng)前視頻塊與所述最 佳預(yù)測塊之間的差異進(jìn)行編碼。使用所述當(dāng)前視頻塊與所述最佳預(yù)測塊之間的差異的 此過程包括稱作運(yùn)動(dòng)補(bǔ)償?shù)倪^程。特定來說，運(yùn)動(dòng)補(bǔ)償通常是指使用運(yùn)動(dòng)向量提取所 述最佳預(yù)測塊且然后從輸入視頻塊中減去所述最佳預(yù)測塊以產(chǎn)生差異塊的動(dòng)作。在運(yùn) 動(dòng)補(bǔ)償之后，通常執(zhí)行一系列額外編碼步驟來完成對所述差異塊的編碼。這些額外編 碼步驟可取決于所使用的編碼標(biāo)準(zhǔn)。在另一種模式中，所述編碼器在同一幀內(nèi)搜索一 個(gè)或一個(gè)以上相鄰視頻塊的相似大小視頻塊并使用來自所述塊的信息來幫助所述編碼 過程。
一般來說，作為所述編碼過程的部分，進(jìn)行視頻塊(或差異視頻塊)的變換。所 述變換將所述視頻塊(或差異視頻塊)從由像素表示轉(zhuǎn)換為由變換系數(shù)表示。視頻編 碼中的典型變換稱為離散余弦變換(DCT)。所述DCT將視頻塊數(shù)據(jù)從像素域變換為 空間頻域。在所述空間頻域中，數(shù)據(jù)由DCT塊系數(shù)表示。DCT塊系數(shù)表示在視頻塊 中所檢測的空間頻率的數(shù)量及度數(shù)。在計(jì)算DCT之后，DCT塊系數(shù)可在所謂的"塊 量化"過程中量化。DCT塊系數(shù)(來自所述視頻塊或差異視頻塊)的量化移除來自所 述塊的部分空間冗余。在此"塊量化"過程中，有時(shí)可通過將經(jīng)量化的DCT塊系數(shù)與 閾值相比較來移除其它空間冗余。如果經(jīng)量化DCT塊系數(shù)的量值小于所述閾值，那么 棄用所述系數(shù)或?qū)⑵湓O(shè)定為零值。
然而，當(dāng)重構(gòu)已在編碼器處壓縮的視頻幀或圖像時(shí)，所述編碼器處的塊量化可經(jīng) 常導(dǎo)致不同的偽影出現(xiàn)在解碼器處。偽影的實(shí)例是當(dāng)塊在經(jīng)重構(gòu)視頻圖像中出現(xiàn)時(shí)， 此稱作"成塊"。某些標(biāo)準(zhǔn)己嘗試通過將去塊效應(yīng)濾波器包括為所述編碼過程的部分 來解決此問題。在某些情況下，所述去塊效應(yīng)濾波器移除成塊但還具有拖尾或模糊視 頻幀或圖像的作用，此稱作模糊偽影。因此，圖像/視頻質(zhì)量遭受"成塊"或來自去塊 效應(yīng)濾波器的模糊?？蓽p小編碼偽影對所感知視覺質(zhì)量的影響的方法及設(shè)備是重大益 處。

發(fā)明內(nèi)容
在附圖及以下說明中論述一個(gè)或一個(gè)以上實(shí)施例的細(xì)節(jié)。根據(jù)所述說明、圖式及 權(quán)利要求書將明了其它特征、目的及優(yōu)點(diǎn)。
一般來說，采用偽影評價(jià)器的處理視頻塊的圖像/視頻編碼及解碼系統(tǒng)可提高圖像/視頻
質(zhì)量。在編碼過程期間，紋理解碼器與幀間編碼或幀內(nèi)編碼預(yù)測模式所產(chǎn)生的視頻塊 或幀合成未經(jīng)濾波的重構(gòu)視頻塊或幀。將未經(jīng)濾波的重構(gòu)視頻塊或幀穿過偽影濾波器 以產(chǎn)生經(jīng)濾波的重構(gòu)視頻塊或幀。所述偽影濾波器可以是去塊效應(yīng)濾波器或配置為去 塊效應(yīng)濾波器，如果所述偽影濾波器是去塊效應(yīng)濾波器或配置為一個(gè)去塊效應(yīng)濾波器， 那么其可抑制成塊。然而，在濾波之后，所得的經(jīng)濾波的重構(gòu)視頻塊或幀可能模糊。 當(dāng)前編碼方法及標(biāo)準(zhǔn)具有局限性，因?yàn)槠洳痪哂?自適應(yīng)地"改變?nèi)绾胃颅h(huán)路內(nèi)存 儲(chǔ)器緩沖器的方法。由于當(dāng)前編碼方法及標(biāo)準(zhǔn)的此局限性，較差的圖像/視頻質(zhì)量傳播 到其它幀(尤其對于幀間編碼預(yù)測模式)。
使用偽影評價(jià)器可克服當(dāng)前編碼方法及標(biāo)準(zhǔn)的局限性。偽影評價(jià)器的使用基于所 感知的圖像/視頻質(zhì)量評價(jià)并確定何時(shí)使用偽影濾波器(例如，去塊效應(yīng)濾波器)的輸 出更好或何時(shí)使用偽影濾波器(例如，去塊效應(yīng)濾波器)的輸入來更新環(huán)路內(nèi)存儲(chǔ)器 緩沖器更好。偽影評價(jià)器的使用可不僅提高當(dāng)前方法及當(dāng)前幀的標(biāo)準(zhǔn)的圖像/視頻質(zhì) 量，而且可提供防止較差圖像/視頻質(zhì)量傳播到后續(xù)處理幀(尤其對于幀間編碼預(yù)測模 式)的額外優(yōu)點(diǎn)。所述偽影評價(jià)器也可以是符合標(biāo)準(zhǔn)的。
對于每一未經(jīng)濾波器經(jīng)重構(gòu)視頻塊或幀及每一經(jīng)濾波的重構(gòu)視頻塊或幀來說，可 產(chǎn)生偽影度量以測量偽影的量。所述偽影度量可以是非原始參考(NR)或完全原始參 考(FR) 。 NR與FR偽影度量之間的差異可基于原始視頻塊或幀的可用性。偽影度 量產(chǎn)生器產(chǎn)生所述偽影度量且是偽影評價(jià)器的部分。在產(chǎn)生偽影度量之后，可基于所 感知的圖像/視頻質(zhì)量來作出使用哪一視頻塊或幀來更新環(huán)路內(nèi)存儲(chǔ)器緩沖器的決策。 如何產(chǎn)生偽影度量存在變更且存在確定將經(jīng)濾波的重構(gòu)視頻塊或幀用于更新環(huán)路內(nèi)存 儲(chǔ)器緩沖器還是將未經(jīng)濾波視頻塊或幀用于更新環(huán)路內(nèi)存儲(chǔ)器緩沖器的各種方法。在 以下實(shí)施例中圖解說明這些變更。
在一個(gè)實(shí)施例中，在視頻編碼器中使用偽影度量產(chǎn)生器來產(chǎn)生NR偽影度量。 在另一實(shí)施例中，在視頻編碼器中使用偽影度量產(chǎn)生器來產(chǎn)生FR偽影度量。 在其它實(shí)施例中，可使用NR或FR偽影度量來測量成塊的量。 在其它實(shí)施例中，可使用可配置偽影度量產(chǎn)生器來一次輸出多個(gè)偽影度量。 在又一實(shí)施例中，確定應(yīng)將哪一視頻塊或幀用于更新環(huán)路內(nèi)存儲(chǔ)器緩沖器的決策 僅基于一種類型的度量，例如成塊(或去成塊)度量。
在另一實(shí)施例中，確定應(yīng)將哪一視頻塊或幀用于更新環(huán)路內(nèi)存儲(chǔ)器緩沖器的決策 可基于多個(gè)類型的度量，例如成塊(或去成塊)度量及模糊度量。 可將上文所說明的某些實(shí)施例組合以形成其它實(shí)施例。
在附圖及以下說明中論述一個(gè)或一個(gè)以上實(shí)施例的細(xì)節(jié)。根據(jù)所述說明、圖式及 權(quán)利要求書將明了其它特征、目的及優(yōu)點(diǎn)。


圖1A圖解說明采用基于本文所說明技術(shù)的偽影評價(jià)器的圖像/視頻編碼及解碼系統(tǒng)。
圖IB圖解說明可基于本文所說明的技術(shù)使用的兩個(gè)CODEC。 圖2圖解說明視頻序列，稱作圖片群組(GOP)。
圖3圖解說明可用于圖1A或圖1B的裝置中的實(shí)例性圖像/視頻編碼器。
圖4A圖節(jié)說明圖3的簡化實(shí)例性圖像/視頻編碼器，其中圖3的去塊效應(yīng)濾波器 己由更一般的偽影濾波器替代。圖5B是使用經(jīng)重構(gòu)及原始圖像/視頻塊或幀兩者的方 塊圖，其圖解說明圖4B中所使用的偽影度量產(chǎn)生器的一個(gè)方面。
圖4B圖解說明使用經(jīng)重構(gòu)及可選原始圖像/視頻塊或幀兩者來幫助評價(jià)圖像及視 頻質(zhì)量的偽影度量產(chǎn)生器的使用。
圖5A圖解說明圖4B中所使用的僅使用經(jīng)重構(gòu)圖像/視頻塊或幀的偽影度量產(chǎn)生 器的一個(gè)方面。
圖5B是使用經(jīng)重構(gòu)及原始圖像/視頻塊或幀兩者的方塊圖，其圖解說明圖4B中 所使用的偽影度量產(chǎn)生器的一個(gè)方面。
圖6是圖解說明用于偽影度量產(chǎn)生器的用于計(jì)算ASNR度量的加權(quán)值選擇 (WVS)的圖表。
圖7圖解說明具有一般偽影濾波器及可配置有可選度量控制器的更一般偽影度量 產(chǎn)生器的實(shí)例性圖像/視頻編碼器。
圖8圖解說明偽影度量產(chǎn)生器的一般配置。
圖9圖解說明圖8的偽影度量產(chǎn)生器可經(jīng)配置以實(shí)施不同版本的ASNR度量。 圖10圖解說明可用于典型圖像/視頻編碼器的反饋環(huán)路的偽影評價(jià)器。 圖lla圖解說明使用一種類型的度量來作出輸出決策的偽影評價(jià)器版本。 圖lib圖解說明使用多種類型的度量來作出輸出決策的偽影評價(jià)器版本。 圖12圖解說明可由圖11A中的決策邏輯塊使用的方法的流程圖。 圖13圖解說明由圖11B中的決策邏輯塊使用的方法的流程圖。 圖14圖解說明偽影評價(jià)過程的流程。
具體實(shí)施例方式
本文所用措詞"實(shí)例性"意指"充當(dāng)實(shí)例、例子或例示"。在本文中，說明為"實(shí) 例性"的配置或設(shè)計(jì)均未必應(yīng)視為較其它實(shí)施例或設(shè)計(jì)為優(yōu)選或有利。 一般來說，本 文所說明的是一種不僅評價(jià)偽影而且改善所感知圖像/視頻質(zhì)量(作為所述評價(jià)的結(jié) 果)的新穎方法及設(shè)備。
圖1A圖解說明可采用基于根據(jù)本文所說明實(shí)施例的技術(shù)的偽影評價(jià)器的圖像/視 頻編碼及解碼系統(tǒng)2。如圖1A中所示，源裝置4a包含在將視頻序列或圖像發(fā)送到顯 示器裝置8之前捕獲所述視頻或圖片輸入的捕獲裝置6?？蓪⑺鲆曨l序列或圖像發(fā)
送到存儲(chǔ)器10或圖像/視頻處理單元14。還可從圖像/視頻處理單元14將所述視頻序 列或圖像寫入存儲(chǔ)器10中。可將圖像/視頻處理單元14從存儲(chǔ)器10或從捕獲裝置6 接收的輸入發(fā)送到圖像/視頻編碼器。所述圖像/視頻編碼器可在圖像/視頻處理單元14 內(nèi)部?？纱鎯?chǔ)經(jīng)所述視頻編碼器編碼的位流輸出或?qū)⑵浒l(fā)送到傳輸器16。源裝置4a 經(jīng)由信道19將所述經(jīng)編碼位流傳輸?shù)浇邮昭b置18a。信道19可以是無線信道或有線 線路信道。所示媒體可以是可將源裝置連接到接收裝置的空氣或任何電纜或鏈路。舉 例來說，接收器20可安裝在驅(qū)動(dòng)圖像/視頻解碼器21對上文所提及的經(jīng)編碼位流進(jìn)行 解碼的任何計(jì)算機(jī)、PDA、移動(dòng)電話、數(shù)字電視、DVD播放器、圖像/視頻測試裝備 及其它中。圖像/視頻解碼器21的輸出可將所述經(jīng)解碼信號(hào)發(fā)送到顯示所述經(jīng)解碼信 號(hào)的顯示器裝置22。
源裝置4a及/或接收裝置18a整體或部分可包含用于移動(dòng)電話的"芯片集"或"芯 片"，包括硬件、軟件、固件的組合及/或一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器 (DSP)、專用集成電路(ASIC)、現(xiàn)場可變成門陣列(FPGA)或其各種組合。此 外，在另一實(shí)施例中，圖像/視頻編碼及解碼系統(tǒng)2可作為CODEC24的部分在一個(gè)源 裝置4b及一個(gè)接收裝置18b中。因此，源裝置4b及接收裝置18b圖解說明源裝置及 接收裝置可包含至少一個(gè)CODEC 24，如圖IB中所見。CODEC 24由圖像/視頻編碼 器23及圖像/視頻解碼器21組成且可位于圖像/視頻處理單元14中。
圖2圖解說明視頻序列，稱作圖片群組(GOP) 130。通常使用幀間編碼預(yù)測模 式編碼來補(bǔ)償不同幀中的視頻塊之間的時(shí)間及空間差異兩者。使用幀內(nèi)編碼預(yù)測模式 編碼來補(bǔ)償同一幀中的視頻塊之間的空間差異。幀間編碼及幀內(nèi)編碼模式兩者均稱作 預(yù)測模式，因?yàn)槠涫褂孟惹?或未來經(jīng)緩沖)信息來幫助當(dāng)前視頻塊編碼。在某些標(biāo) 準(zhǔn)中，I幀31將通常指示在內(nèi)容上與先前幀不同的景物或幀序列的第一幀。I幀通常 使用幀內(nèi)編碼模式。B幀33及P幀35兩者均可使用幀內(nèi)或幀間編碼模式。P幀35可 將先前幀用作參考來進(jìn)行編碼，而B幀33可將先前及未來幀兩者用作參考來進(jìn)行編 碼。然而，在ITUH.264標(biāo)準(zhǔn)中，可將任何幀(I幀、P幀、B幀)用作參考來進(jìn)行編 碼?？墒褂梦磥韼?，因?yàn)閹ǔ１痪彌_且緩沖器中來自過去或未來幀的數(shù)據(jù)可用于當(dāng) 前正被編碼的幀。
圖3圖解說明可用于圖1A或圖1B的裝置中的實(shí)例性圖像/視頻編碼器?？蓪?自視頻序列的幀或部分幀放置在圖像/視頻編碼器23內(nèi)的輸入幀緩沖器42中，圖像/ 視頻編碼器23可以是CODEC 24的部分及/或在圖像/視頻處理單元14內(nèi)部。可將來 自輸入幀緩沖器42的輸入幀解析為塊(所述視頻塊可以是任何大小，但標(biāo)準(zhǔn)正方形視 頻塊大小是4x4、 8x8或16x16)并發(fā)送到視頻塊緩沖器43。視頻塊緩沖器43通常將 視頻塊發(fā)送到減法器44。減法器44從開關(guān)46的輸出減去視頻塊x。開關(guān)46可在編碼 的幀內(nèi)編碼與幀間編碼預(yù)測模式之間切換。如果開關(guān)46正啟用幀間編碼預(yù)測模式，那 么通過紋理編碼器47壓縮來自x的所得差及來自不同(先前或后續(xù))幀的視頻塊。如 果開關(guān)46啟用幀內(nèi)編碼預(yù)測模式，那么通過紋理編碼器47壓縮來自x的所得差及來
自同一幀中的先前視頻塊的預(yù)測值。
紋理編碼器47具有將輸入X (所述視頻塊或差異塊)從像素域變換為空間頻域的 DCT塊48。在所述空間頻域中，數(shù)據(jù)由DCT塊系數(shù)表示。DCT塊系數(shù)表示在視頻塊 中所檢測的空間頻率的數(shù)量及度數(shù)。在計(jì)算DCT之后，DCT塊系數(shù)可由量化器50在 所謂的"塊量化"過程中量化。DCT塊系數(shù)(來自所述視頻塊或差異視頻塊)的量化 移除來自所述塊的部分空間冗余。在此"塊量化"過程中，有時(shí)可通過將經(jīng)量化的DCT 塊系數(shù)與閾值相比較來移除其它空間冗余。此比較可在量化器50或另一比較器塊(未 顯示)內(nèi)部發(fā)生。如果經(jīng)量化DCT塊系數(shù)的量值小于所述閾值，那么棄用所述系數(shù)或 將其設(shè)定為零值。
在塊量化之后，可將所得輸出發(fā)送到兩個(gè)分離的結(jié)構(gòu)(1)紋理解碼器65，及 (2)熵編碼器55。紋理解碼器65包含幫助產(chǎn)生經(jīng)重構(gòu)圖像/視頻塊或幀的解量化器 66;其將與編碼預(yù)測模式一起使用。熵編碼器55產(chǎn)生供傳輸或存儲(chǔ)的位流。熵編碼器 55可包含接收經(jīng)塊量化輸出并將所述輸出重新排序以使可變長編碼器(VLC) 58進(jìn)行 更高效編碼的掃描儀56。 VLC 58可采用游程及哈夫曼編碼技術(shù)的使用來產(chǎn)生經(jīng)編碼 的位流。將所述經(jīng)編碼位流發(fā)送到輸出緩沖器60?？蓪⑺鑫涣靼l(fā)送到速率控制器62。 在維持基本質(zhì)量的同時(shí)，速率控制器62預(yù)算量化器50所使用量化位的數(shù)量。熵編碼 被視為壓縮的無損形式。無損壓縮意味著如果正被編碼的數(shù)據(jù)由熵解碼器解碼那么所 述數(shù)據(jù)可完全相同地恢復(fù)而不會(huì)破壞所述經(jīng)編碼數(shù)據(jù)。熵編碼器55執(zhí)行無損壓縮。
有損壓縮意指作為編碼的結(jié)果，輸入x將不產(chǎn)生x的相同拷貝，即使所述經(jīng)編 碼輸入未遭破壞。經(jīng)重構(gòu)的輸入已"丟失"其部分信息。紋理編碼器47執(zhí)行有損壓縮。 典型的圖像/視頻編碼器23通常具有本地紋理解碼器65以幫助幀間編碼及幀內(nèi)編碼預(yù) 測模式兩者的補(bǔ)償。解量化器66、反DCT68及開關(guān)46的發(fā)送到加法器69的輸出一 起工作以對紋理編碼器47的輸出解碼并重構(gòu)進(jìn)入紋理編碼器47的輸入x。經(jīng)重構(gòu)的 輸入y看似x但并非就是x。 一般圖像/視頻"解碼器"通常包含解量化器66、反DCT 68及開關(guān)46的發(fā)送到加法器69的輸出的功能性。
在某些標(biāo)準(zhǔn)(例如，MPEG-4及H.263基本規(guī)范)中，去塊效應(yīng)濾波器70的使用 不存在。在MPEG-4及H.263基本規(guī)范中，去塊效應(yīng)濾波器作為接收裝置的視頻解碼 器中的后處理步驟為可選。其它標(biāo)準(zhǔn)(例如，ITUH.264、窗口媒體9 (Windows Media 9) (WM9)或真實(shí)視頻9 (Real Video9) (RV9))支持啟用去塊效應(yīng)濾波器70 (稱 作"環(huán)路內(nèi)"去塊效應(yīng)濾波器)的使用。使用去塊效應(yīng)濾波器70來移除當(dāng)經(jīng)重構(gòu)輸入 y存在塊時(shí)所出現(xiàn)的"成塊"。如先前所提及，在某些情況下，所述去塊效應(yīng)濾波器 移除所述成塊，但也具有使視頻幀或圖像模糊的作用。成塊偽影與模糊偽影之間存在 折衷。啟用去塊效應(yīng)濾波器70可減少成塊，但其可通過使所述圖像模糊而使所感知視 覺質(zhì)量降級(jí)。啟用去塊效應(yīng)濾波器70的使用的標(biāo)準(zhǔn)總是用經(jīng)濾波的重構(gòu)視頻塊或幀》
來更新存儲(chǔ)器緩沖器81。找到確定何時(shí)使用去塊效應(yīng)濾波器70的輸出更好或何時(shí)使 用去塊效應(yīng)濾波器70的輸入來更新存儲(chǔ)器緩沖器81更好的方法具有巨大益處。此揭
示內(nèi)容中的各種實(shí)施例識(shí)別并解決先前標(biāo)準(zhǔn)的局限性。此揭示內(nèi)容中的各種實(shí)施例教 示評價(jià)并確定何時(shí)使用偽影濾波器(例如，去塊效應(yīng)濾波器70)的輸出更好或何時(shí)使 用偽影濾波器(例如，去塊效應(yīng)濾波器70)的輸入更好的方法。
如所提及，在某些標(biāo)準(zhǔn)中，當(dāng)啟用去塊效應(yīng)濾波器70時(shí)，可將輸出發(fā)送到存儲(chǔ)
器緩沖器81。存儲(chǔ)器緩沖器81內(nèi)部可存在兩個(gè)存儲(chǔ)器緩沖器(1)經(jīng)重構(gòu)新幀緩沖
器82;及(2)經(jīng)重構(gòu)舊幀緩沖器84。經(jīng)重構(gòu)新幀緩沖器82存儲(chǔ)當(dāng)前處理的經(jīng)重構(gòu)幀 (或部分幀)。經(jīng)重構(gòu)舊幀緩沖器84存儲(chǔ)過去處理的經(jīng)重構(gòu)幀。所述過去處理的經(jīng)重 構(gòu)幀用作(經(jīng)重構(gòu))參考幀。所述經(jīng)重構(gòu)參考幀可以是在輸入幀緩沖器42中的當(dāng)前幀 之前或之后的幀。當(dāng)前幀(或來自當(dāng)前幀的視頻塊)或當(dāng)前幀與經(jīng)重構(gòu)參考幀(或來 自差異塊的視頻塊)之間的差異是"當(dāng)前"正被編碼的幀或差異。在當(dāng)前幀已完成編 碼之后且在提取來自輸入幀緩沖器42的輸入中的將要編碼的下一幀之前，用具有經(jīng)重 構(gòu)新幀緩沖器82的內(nèi)容的拷貝來更新經(jīng)重構(gòu)舊幀緩沖器84。
經(jīng)重構(gòu)新幀緩沖器82可發(fā)送其接收的經(jīng)重構(gòu)視頻塊以用于空間預(yù)測器86。經(jīng)重 構(gòu)舊幀緩沖器84將過去處理的經(jīng)重構(gòu)視頻塊發(fā)送到MEC (運(yùn)動(dòng)估計(jì)及補(bǔ)償塊)87。 MEC塊包含運(yùn)動(dòng)估計(jì)器88及運(yùn)動(dòng)補(bǔ)償器90。運(yùn)動(dòng)估計(jì)器88產(chǎn)生可由運(yùn)動(dòng)補(bǔ)償器90 用來補(bǔ)償其它幀與正被編碼的一個(gè)幀之間的差異的運(yùn)動(dòng)向量(MV) 92及運(yùn)動(dòng)向量預(yù) 測器(MVP) 94。 MV92也可由熵編碼器55使用。在某些標(biāo)準(zhǔn)(例如，ITUH.264) 中，空間預(yù)測器86的輸出用于幀內(nèi)預(yù)測模式且反饋回減法器44及加法器69兩者。在 某些標(biāo)準(zhǔn)(例如，MPEG-4或JPEG)中，不存在空間預(yù)測器86。
圖4A看起來類似于圖3。然而，僅出于例示的目的，在圖4A及后續(xù)圖中省略速 率控制器62及熵編碼器55。此外，在圖4及后續(xù)圖中，圖3的去塊效應(yīng)濾波器70已 由更一般的濾波器(偽影濾波器72)替代。所述替代的目的是傳達(dá)可"在環(huán)路內(nèi)"使 用一般偽影濾波器。如先前所提及，偽影可在重構(gòu)己在解碼期間被壓縮的幀時(shí)出現(xiàn)。 偽影的某些實(shí)例是成塊、模糊、振蕩及色彩蔓延。成塊由個(gè)別視頻塊的獨(dú)立量化導(dǎo)致。 模糊由通過高頻率DCT系數(shù)的粗糙量化或截?cái)鄟硪种聘哳l率系數(shù)所導(dǎo)致。模糊也可通 過低通濾波或平滑而發(fā)生。振蕩沿高對比邊緣位置而起伏前進(jìn)且可由高頻率系數(shù)的量 化或截?cái)鄬?dǎo)致。色彩蔓延可在由色度分量的高頻率系數(shù)的抑制導(dǎo)致的高度不同色度區(qū) 域出現(xiàn)。
用以測量圖像及視頻質(zhì)量的最常用度量中的的一者是峰值信噪比(PSNR)如下 界定于方程式l中。
<formula>formula see original document page 14</formula> 方程式1)
其中PKS代表平方峰值像素值且通常是2552。
經(jīng)常通過取一對視頻塊之間的像素中的差異的均方誤差(MSB)來計(jì)算編碼_誤 差。所述對可由來自原始參考幀的視頻塊x與來自經(jīng)重構(gòu)幀的視頻塊y組成。PSNR
是一對視頻塊之間的編碼誤差的函數(shù)。編碼—誤差指示正被比較的視頻塊中的像素之間
的相似性的量。較多相似的像素導(dǎo)致較大的PSNR。較小的PSNR意指較少的像素相 似。此外，還可使用PSNR來指示平均編碼誤差的量度。平均編碼—誤差由<編碼—誤 差>指示，且可通過取所述編碼誤差的移動(dòng)平均值來產(chǎn)生。在此后一種情況下，PSNR 是對跨越幀的編碼_誤差的測量。即使PSNR是編碼一誤差的函數(shù)，較小的編碼—誤差不 總是產(chǎn)生良好的用戶所感知圖像及視頻質(zhì)量。作為實(shí)例，瓷磚墻或地板的圖像可能在 施加去塊效應(yīng)濾波器之后看起來模糊。瓷磚之間的邊界(邊緣)可僅代表總圖像的一 小部分。因此，當(dāng)逐像素計(jì)算編碼—誤差時(shí)，所得PSNR可指示所述圖像及視頻質(zhì)量為 良好，即使所述瓷磚的邊緣模糊。如果不向所述經(jīng)重構(gòu)圖像施加所述去塊效應(yīng)濾波器， 那么所述瓷磚邊緣可能看起來成成塊。在諸如此種情況下，PSNR不期望地限制對所 感知圖像及視頻質(zhì)量的測量。
可通過新的度量(偽影信噪比(ASNR))來克服PSNR的局限性。ASNR度量 提供測量偽影的缺乏(或存在)的方法。ASNR度量的版本(ASNR (y或？))可由 圖4B的偽影度量產(chǎn)生器101產(chǎn)生。如果使用可選輸入x，那么偽影度量產(chǎn)生器101可 產(chǎn)生ASNR度量的不同版本(ASNR (x，y或？))。將虛線畫到偽影度量產(chǎn)生器101 中以圖解說明輸入x是可選的。所述ANSR度量可具有各種示例。
在測量編碼偽影或編碼_誤差時(shí)可使用的兩個(gè)框架是(1)非原始參考(NR); 或(2)完全原始參考(FR)。所述NR框架的實(shí)例顯示在圖5A中。圖5A圖解說明 其中可使用圖4B的偽影度量產(chǎn)生器101的一個(gè)方面。圖5A中的偽影度量產(chǎn)生器101 幫助使用來自僅經(jīng)重構(gòu)(RFC，在沒有原始幀的情況下)視頻塊或幀的視頻塊來評價(jià) 所感知圖像及視頻質(zhì)量。所述非參考幀可以是并非所述原始幀的任何幀。通常，已被 壓縮并重構(gòu)的視頻塊或幀。FR框架的實(shí)例顯示在圖5B中。圖5B是圖解說明其中可 使用圖4B的使用可選原始輸入x的偽影度量產(chǎn)生器101的一個(gè)方面的方塊圖。圖5B 中的偽影度量產(chǎn)生器101b使用來自原始(參考)輸入x及非原始(經(jīng)重構(gòu))(REC， y或？)視頻塊或幀兩者的視頻塊來幫助評價(jià)所感知圖像及視頻質(zhì)量。
一般來說，偽影度量產(chǎn)生器的輸出是對偽影的量的測量。當(dāng)所述偽影為成塊時(shí)， 可使用ASNR度量的示例。所述示例是去塊效應(yīng)信噪比(DSNR)度量，其測量成塊 的缺乏或存在。在NR框架中，由偽影度量產(chǎn)生器執(zhí)行的產(chǎn)生僅基于經(jīng)重構(gòu)幀。如果 偽影濾波器72是去塊效應(yīng)濾波器，那么圖4B中的上部偽影度量產(chǎn)生器101可在x不 存在的情況下輸出DSNR (y) 。 DSNR (y)是對視頻塊y (經(jīng)重構(gòu)視頻塊)的成塊的 量的測量。如果偽影濾波器72是去塊效應(yīng)濾波器，那么圖4B中的下部偽影度量產(chǎn)生 器101可在x不存在的情況下輸出DSNR ( ) 。 DSNR ( )是對視頻塊？(所述偽 影經(jīng)濾波視頻塊)的成塊的量的測量。DSNR (y)或DSNR ( )(寫作DSNR (y 或？))為非原始參考(NR)度量。
如果將原始輸入x反饋到圖4B中的偽影度量產(chǎn)生器101中，那么可使用FR框 架來產(chǎn)生度量。FR框架中的度量是對非參考幀相對于原始參考幀的偽影量的測量。如
果偽影濾波器72是去塊效應(yīng)濾波器，那么圖4B中的上部偽影度量產(chǎn)生器101可輸出 DSNR (x,y) 。 DSNR (x， y)是對視頻塊y相對于視頻塊x的成塊量的測量。如果偽 影濾波器72是去塊效應(yīng)濾波器，那么下部偽影度量產(chǎn)生器101可輸出DSNR (x， ？)。 DSNR (x,歹)是對視頻塊？相對于視頻塊x的成塊量的測量。DSNR (x,y)或DSNR (x, )(寫作DSNR (x，y或y))為完全原始參考(FR)度量。
為測量圖像或幀中的成塊量，有時(shí)使用斜率均方差(MSDS)度量來確定經(jīng)重構(gòu) 圖像或幀中的成塊量。然而，MSDS度量不在原始圖像或幀的實(shí)際紋理與由視頻編碼 器的塊量化步驟引入的成塊之間進(jìn)行區(qū)分。此外，MSDS度量的使用不開發(fā)人類視覺 感知的使用?？赏ㄟ^DSNR度量來克服MSDS的局限性。DSNR度量可具有各種形式， 因?yàn)槠溆糜谕ㄟ^計(jì)及不同類型的成塊并考慮人類視覺感知來更好地評價(jià)基于成塊的視 頻編碼器的圖像及視頻質(zhì)量。如所提及，DSNR度量是ASNR度量的示例。
偽影信噪比(ASNR)度量的一般形式如下顯示在方程式2中
乂 ,(x,y) 乂
其中PKS代表平方峰值像素值且通常是2552。方程式2的分子包含PKS、 Ws、 Wp與Wr的乘積。Ws、 Wp及WT是經(jīng)選定以計(jì)及影響圖像及視頻質(zhì)量的空間(Ws)、 感知(Wp)及時(shí)間(WT)因素的加權(quán)。方程式2的分母是F (x， y)且可以是x與y 的連接或不連接函數(shù)。如果x不可用，那么F (x,y)可由F (y)替代。還應(yīng)注意，y (未經(jīng)濾波的重構(gòu)視頻塊或幀)可由^ (經(jīng)濾波器經(jīng)重構(gòu)視頻塊或幀)替代。
可用于F (x, y)的函數(shù)中的一者是MSDS—誤差(x, y)。通常在使用ASNR度 量的DSNR度量示例時(shí)進(jìn)行MSDS—誤差(x,y)的使用。 一方面，MSDS—誤差(x，y) 可以是MSDS (x)與MSDS (y)之間的平方誤差。另一方面，MSDS—誤差(x, y) 可以是MSDS (x)與MSDS (y)之間的誤差的絕對值。MSDSj^差(x, y)可具有 其它變型，但在FR框架中將經(jīng)常是MSDS (x)與MSDS (y)之間的誤差的函數(shù)。 在NR框架中，MSDSJ^差(x， y)可由可彼此進(jìn)行比較的至少兩個(gè)不同MSDS計(jì)算 替代。舉例來說，可使用MSDS (y)及MSDS ( ) 。 MSDS (x)是來自原始參考幀 的輸入視頻塊x的函數(shù)。MSDS (y或？)是來自經(jīng)重構(gòu)幀的視頻塊y或？的函數(shù)。
經(jīng)常在所有視頻塊邊界處計(jì)算斜率均方差(MSDS)，且其中三種不同類型的斜 率在一對毗鄰視頻塊的邊界附近。通常在同一像素行上的像素之間計(jì)算所述三種不同 類型的斜率?？紤]具有L行的直接彼此靠近的兩個(gè)毗鄰視頻塊。第一視頻塊中的最后 兩列像素靠近第二視頻塊中的前兩列像素。在所述第一視頻塊的最后列中的像素與倒 數(shù)第二列中的像素之間計(jì)算類型_1斜率。在所述第二視頻塊的第一列中的像素與第二 列中的像素之間計(jì)算類型一2斜率。在所述第二視頻塊的第一列中的像素與所述第一視 頻塊的最后列中的像素之間計(jì)算類型一3斜率。
通常將MSDS圖解說明為跨越共用像素行如方程式3中那樣計(jì)算
<formula>formula see original document page 17</formula>方程式3)
其中像素(i)表示所述L行中的任一者中的計(jì)算中所涉及的第z'像素群組，在此 情況下，任何第!'群組包含六個(gè)像素。對于每一視頻塊邊界，跨越L行將MSDS (像 素(i))求平均。每一視頻塊及視頻塊邊界的總(平均)MSDS將如以下方程式4中 那樣表達(dá)
<formula>formula see original document page 17</formula>其中L是界定視頻塊的邊界的行的數(shù)量。
然而，由于列是像素陣列，因此可并行計(jì)算所有同一類型的斜率。此并行計(jì)算稱
為梯度。因此，當(dāng)計(jì)算一對毗鄰視頻塊之間的邊界附近的MSDS時(shí)，可計(jì)算三個(gè)梯度 (1)前_梯度(針對類型l斜率)；(2)后—梯度(針對類型2斜率)；及(3)邊緣 —梯度(針對類型3斜率)。所計(jì)算的梯度是向量。如此以來，可用以下方程式(5) 計(jì)算方程式4的并行例子
<formula>formula see original document page 17</formula>方程式5)
其中b表示任何視頻塊。在菜!'像素群組(/=7,..丄)的一對毗鄰視頻塊之間的邊 界處計(jì)算MSDS (b)。
通過求差分向量(邊緣_梯度-一平均(前_梯度，后_梯度))的L2范數(shù)的平方， 可實(shí)施方程式5。范數(shù)是數(shù)學(xué)構(gòu)成物。所述L2范數(shù)是一種類型的范數(shù)且可用于計(jì)算向 量的量值。為計(jì)算所述量值，所述L2范數(shù)取向量的分量的平方和的平方根。雖然經(jīng) 常如方程式4及5中所示的那樣計(jì)算MSDS，但可存在不將邊緣_梯度與前_梯度與后— 梯度的平均值之間的差平方的變型。舉例來說，可改為使用Ll范數(shù)。本文所包含的 實(shí)施例涵蓋并應(yīng)用于使用類型1、類型2及類型3斜率的任何變型。
如所提及，將MSDS用于F (x,y)產(chǎn)生ASNR度量的示例，DSNR度量。同樣， 使用其它已知度量替代F (x,y)可用來產(chǎn)生ASNR度量的其它示例。去塊效應(yīng)信噪比 (DSNR)度量的一般FR形式界定于以下方程式6中，<formula>formula see original document page 17</formula>
DSNR度量的一般NR形式界定于以下方程式7中，
<formula>formula see original document page 17</formula> (方程式7)
圖5A圖解說明圖4B中所使用的僅使用經(jīng)重構(gòu)圖像/視頻塊或幀的偽影度量產(chǎn)生 器的一個(gè)方面。圖5A中的偽影度量產(chǎn)生器101a在沒有原始參考的情況下產(chǎn)生DSNR 度量。為評價(jià)去塊效應(yīng)偽影，可在DSNR (y)與DSNR ( )之間進(jìn)行比較(未顯示)。
方程式6或方程式7顯示的DSNR度量的分子可通過使用由以下三個(gè)加權(quán)值選擇器組 成的加權(quán)值選擇器(WVS)庫103而在偽影度量產(chǎn)生器101a中產(chǎn)生(1)輸出加權(quán) Ws的空間WVS 104; (2)輸出加權(quán)Wp的感知WVS 105;及輸出加權(quán)WT的時(shí)間 WVS 106?？深A(yù)先選擇或在編碼過程期間從輸入?yún)?shù)Zs、 Zp及ZT中選擇加權(quán)Ws、 Wp及Wt?？稍谒鼍幋a過程期間或在編碼器運(yùn)行之前產(chǎn)生輸入?yún)?shù)Zs、 Zp及Zt。 分子發(fā)生器107計(jì)算在方程式6或方程式7的分子中所見的PKS、 Ws、 Wp與Wt的 乘積。當(dāng)加權(quán)Ws、Wp及Wt均等于1時(shí)，DSNR度量的分子基值與方程式1中的PSNR 的分子相同。雖然分子發(fā)生器107中的一個(gè)乘法器108便足夠，但顯示兩個(gè)乘法器以 加重在分子中具有Ws、 Wp及Wt的作用。
可在偽影度量產(chǎn)生器101a中實(shí)施方程式7所示的DSNR度量的分母。輸入是REC
(經(jīng)重構(gòu)視頻塊或幀)，且因此方程式2中的F (x， y)僅是REC， F (y或？)的函 數(shù)。圖5A顯示當(dāng)F (y或？)是MSDS (y或？)時(shí)的實(shí)例。經(jīng)重構(gòu)輸入REC可以是 y或？，且MSDS 112如方程式4或方程式5中所見的那樣計(jì)算MSDS (y)及MSDS
(歹)。
除法器109將分子發(fā)生器107的輸出(PKS+W^W,WT)除以MSDS 112的輸出， MSDS (REC (y或？)。對數(shù)塊114取除法器109所產(chǎn)生的結(jié)果的10*log1Q。對數(shù)塊 114的輸出是DSNR度量，其是偽影度量產(chǎn)生器101所計(jì)算的ASNR(y或？)的示例。
圖5B圖解說明可使用圖4B的使用可選原始輸入x的偽影度量產(chǎn)生器101的一個(gè) 方面。偽影度量產(chǎn)生器101b具有與偽影度量產(chǎn)生器101a相似的結(jié)構(gòu)，除其具有分母 發(fā)生器110而不是僅一個(gè)MSDS 112。分母發(fā)生器110由兩個(gè)MSDS 112塊、減法器 44及范數(shù)因數(shù)116組成。分母發(fā)生器110接收兩個(gè)輸入(1)原始輸入ORIG (x); 及(2)經(jīng)重構(gòu)輸入，REC (y或？)。減法器44計(jì)算MSDS (x)與MSDS (y或？) 之間的差并將所述差發(fā)送到范數(shù)因數(shù)116。在分母發(fā)生器110的一個(gè)配置中，范數(shù)因 數(shù)116可將其輸入平方。在另一配置中，范數(shù)因數(shù)116可取其輸入的絕對值。在任一 種情況下，范數(shù)因數(shù)116可產(chǎn)生由分母發(fā)生器110輸出的MSDS—誤差(x，y)。除法 器109將分子發(fā)生器107的輸出除以MSDS一誤差(x， y)，且對數(shù)塊114取除法器109 所產(chǎn)生的結(jié)果的10*log1Q。對數(shù)塊114的輸出是DSNR (ORIG， REC)，其是偽影度量 產(chǎn)生器101所產(chǎn)生的ASNR (x,y或？)度量的示例。DSNR度量的空間、感知及時(shí)間 分量中的每一者可去加重、加重正被評價(jià)的成塊偽影或不對其進(jìn)行任何改變。DSNR 將成塊偽影鎖定為目標(biāo)，然而，所述結(jié)構(gòu)使得其還影響所存在的任何其它偽影。舉例 來說，作為施加去塊效應(yīng)濾波器的結(jié)果的模糊偽影也可被去加重、加重或保持不變。
一般來說，以改善圖像/視頻質(zhì)量的方式來進(jìn)行ASNR度量的加權(quán)(例如，WVS 庫103中的那些加權(quán))選擇過程。對于DSNR度量來說，加重去成塊的恰當(dāng)量且去加 重模糊的恰當(dāng)量。所述選擇過程基于圖6的圖表118。在圖6中，圖表118圖解說明 偽影評價(jià)器中所使用的加權(quán)值選擇器(WVS)(空間、感知或時(shí)間)。在圖表118的 橫坐標(biāo)軸上，存在兩個(gè)標(biāo)記(1) Thl，其表示閾值1;及(2) Th2，其表示閾值2。
在圖表118的縱坐標(biāo)軸上，所述三個(gè)標(biāo)記表示來自WVS的加權(quán)值。產(chǎn)生通用輸入?yún)?數(shù)Z (Zs、 Zp或Zt)且將其映射到圖表118中的橫坐標(biāo)(Z)軸。Z將在以下三個(gè)范 圍中的一者中(1) 0^Z<Thl; (2) Thl SZ<Th2;及(3) Th2^Z。來自WVS 的加權(quán)由Z的范圍確定。WVS基于以下三個(gè)范圍來選擇所述加權(quán)在(l)中選擇[Wz]-、 在(2)中選擇l;及在(3)中選擇Wz。 [Wz]"加權(quán)可去加重成塊偽影的空間、感知 或時(shí)間分量。加權(quán)值1不修改所述成塊偽影。Wz加權(quán)可加重所述成塊偽影的空間、感
知或時(shí)間分量。此可通過如下文所示重寫方程式2可見
取分子要素及分母的對數(shù)顯示所述加權(quán)的作用是添加、減去或不具有作用(當(dāng)加 權(quán)值為1時(shí))。
輸入?yún)?shù)的選擇變化。然而，Zs、 Zp及Zt的逸擇可如下。Zs可由通過實(shí)例解釋 的多步驟過程產(chǎn)生。考慮將被編碼的當(dāng)前視頻塊E，其具有鄰居D (在其左邊)、B (在其上邊)及A (位于其左上對角附近)。使用視頻塊E的部分及視頻塊A的部分 來形成視頻塊AE。同樣，可形成視頻塊BE及DE。可針對視頻塊AE、 BE及DE中 的每一者計(jì)算DCT且所述DCT的平均值可用于Zs?？赏ㄟ^跨越整個(gè)幀計(jì)算平均DCT 來產(chǎn)生ZP?？赏ㄟ^計(jì)算一個(gè)幀中的平均DCT與另一幀中的平均DCT之間的差來產(chǎn)生 ZT。
圖7圖解說明具有一般偽影濾波器及可配置有可選度量控制器122的更一般偽影 度量產(chǎn)生器121的實(shí)例性圖像/視頻編碼器。在圖7中用虛線畫出度量控制器122以及 輸入x以顯示其均為可選?？深A(yù)先配置偽影度量產(chǎn)生器121且因此將未必需要度量控 制器122。當(dāng)使用度量控制器122時(shí)，其將輸入?yún)?shù)傳遞到偽影度量產(chǎn)生器121。所述 輸入?yún)?shù)可存儲(chǔ)在偽影度量產(chǎn)生器121中或由度量控制器122傳遞到偽影度量產(chǎn)生器 121中。偽影度量產(chǎn)生器輸出一組度量，不只是一個(gè)輸出。當(dāng)計(jì)算所述組度量時(shí)，偽 影度量產(chǎn)生器121也可以或可不使用原始輸入x。
圖8圖解說明偽影度量產(chǎn)生器121的一般配置。組成塊中的下標(biāo)[i]用于顯示偽影 度量產(chǎn)生器121a中的兩個(gè)方面(1)可產(chǎn)生各種度量版本；及(2)可產(chǎn)生完全不同 的度量。從方面(1)，舉例來說，可斷定可產(chǎn)生各種形式的ASNR。從方面(2)， 舉例來說，可產(chǎn)生去塊效應(yīng)(或塊效應(yīng))度量、模糊度量、振蕩度量、色彩蔓延度量 或任何其它類型的偽影度量。顯示一般架構(gòu)捕獲可能的不同度量及各種度量版本。
可使用F—err塊123來計(jì)算原始視頻塊或幀的函數(shù)的例子與經(jīng)重構(gòu)視頻塊或幀的 函數(shù)的例子之間的誤差。所述函數(shù)之間的差由減法器44計(jì)算且可針對F的特定選擇來 選擇范數(shù)因數(shù)(NF) 128。偽影度量產(chǎn)生器121可實(shí)施偽影度量產(chǎn)生器101的功能。 此可通過認(rèn)識(shí)到在圖5A的偽影度量產(chǎn)生器101a的架構(gòu)中F的選擇是MSDS (y)及 MSDS ( )而可見。在圖5B的偽影度量產(chǎn)生器101b的架構(gòu)中，F(xiàn)的選擇為MSDS (x， y)及MSDS (x， ？)的函數(shù)?？赏ㄟ^可由度量控制器122預(yù)先配置或發(fā)送的度
量—類別[i]來控制F的選擇?？蓪⒄{(diào)節(jié)器[i] 130用于對F_err塊123的輸出的任何組操 作(包括將其乘以1)。調(diào)節(jié)器[i] 130 "調(diào)節(jié)"F—err塊123的輸出?？蓪⒄{(diào)節(jié)器[i] 130 的輸出發(fā)送到度量布置器132。度量布置器132使用選擇器134來將各種度量或度量 版本路由到度量緩沖器136中。可內(nèi)部驅(qū)動(dòng)選擇器134或視情況可通過度量控制器122 來控制選擇器134。輸出MsET(ORIG,REC)是一組輸出MA[1]、MA[2]...MAN]。MSET(ORIG， REC)的每一成員可以是不同度量或各種度量版本。從圖8來看，其顯示ASNR度量 的一般形式可以是調(diào)節(jié)器(F (x,y))，即F (x，y)可由某個(gè)其它函數(shù)或函數(shù)組調(diào)節(jié)。 在方程式2中，所述調(diào)節(jié)器是10*logl0 (PKS*WS*WP*WT)。
圖9圖解說明圖8的偽影度量產(chǎn)生器121a可經(jīng)配置以實(shí)施ASNR的各種版本。 存在可用于選擇可輸出ASNR的哪一版本的額外可選選擇器139。可選選擇器139用 于顯示圖9的偽影度量產(chǎn)生器121b可經(jīng)配置以像偽影度量產(chǎn)生器101那樣起作用(僅 一個(gè)ASNR輸出)。如果不使用可選選擇器139，那么偽影度量產(chǎn)生器121b的輸出可 以是ASNRset (ORIG，REC)。如先前所提及，F(xiàn)_err塊123可實(shí)施MSDS (x, y)及 MSDS (x, )。圖9也顯示調(diào)節(jié)器[i] 130。調(diào)節(jié)器[i]130可實(shí)施方程式2的分子連同 除法及取所述除法的對數(shù)。度量控制器122可發(fā)送導(dǎo)致調(diào)節(jié)器[i] 130的不同版本的不 同輸入?yún)?shù)。另一選擇為，度量—類別[i]可選擇并非MSDS的不同函數(shù)。也可選擇其 它范數(shù)因數(shù)[i]128。在圖9的配置中， 一般輸出ASNRsET (GRIG，REC)是ASNR^ ASNR[2]...ASNR[N]，且這些中的一者可視情況由選擇器139選擇以供輸出。
由于偽影可影響圖像及視頻質(zhì)量，因此需要在編碼過程期間使用度量來幫助評價(jià) 所感知圖像及視頻質(zhì)量的方法。使用圖10中的偽影評價(jià)器140容許所述方法。偽影評 價(jià)器140可評價(jià)哪一經(jīng)重構(gòu)輸入具有更好的所感知圖像及視頻質(zhì)量。通常，在所述編 碼過程期間，用兩個(gè)選擇中的任一者來更新存儲(chǔ)器緩沖器81。所述選擇通常在未經(jīng)濾 波的重構(gòu)視頻塊(或幀)y或(經(jīng)去塊效應(yīng))經(jīng)濾波的重構(gòu)視頻塊(或幀)？之間。 在較低位的條件下，成塊有時(shí)是主要偽影。如此以來，偽影濾波器72通?？山?jīng)配置以 減少成塊。在做此的情況下，經(jīng)濾波的重構(gòu)視頻塊(或幀)？可非常模糊。如果？太 模糊，那么用y更新存儲(chǔ)器緩沖器81將導(dǎo)致模糊的邊緣。如果y太成塊，那么用y更 新存儲(chǔ)器緩沖器81將導(dǎo)致"成塊"。如果當(dāng)前編碼方法及標(biāo)準(zhǔn)使用去塊效應(yīng)濾波器 70，那么其總是用去塊效應(yīng)濾波器70的輸出來更新存儲(chǔ)器緩沖器81。當(dāng)前編碼方法 及標(biāo)準(zhǔn)具有局限性，因?yàn)槠洳痪哂?自適應(yīng)地"改變?nèi)绾胃麓鎯?chǔ)器緩沖器81的方法。 由于當(dāng)前編碼方法及標(biāo)準(zhǔn)的此局限性，較差的圖像/視頻質(zhì)量傳播到其它幀(尤其對于 幀間編碼預(yù)測模式)。
"在環(huán)路內(nèi)"使用圖10的偽影評價(jià)器，即圖像/視頻編碼器的反饋環(huán)路允許改變 如何更新存儲(chǔ)器緩沖器81的"自適應(yīng)"方法。自適應(yīng)意指所述圖像/視頻編碼器可依 據(jù)哪一經(jīng)重構(gòu)視頻塊(或幀)(y或？)具有更好的所感知視覺質(zhì)量來調(diào)節(jié)到存儲(chǔ)器 緩沖器81的輸入。偽影評價(jià)器140評價(jià)哪一圖像及視頻質(zhì)量更好，y還是^。如果y 的質(zhì)量更好，那么偽影評價(jià)器140可將輸出QA (x, y, )設(shè)定為y且用y來更新存儲(chǔ)
器緩沖器81。如果？的質(zhì)量更好，那么偽影評價(jià)器140可將輸出QA (x， y, )設(shè)定 為？且用？來更新存儲(chǔ)器緩沖器81 。如果y及？兩者的圖像及視頻質(zhì)量均非可接受的 圖像及視頻質(zhì)量，那么偽影評價(jià)器140可指令圖像/視頻編碼器23用不同的量化系數(shù) 組重新進(jìn)行編碼。如此以來，由偽影評價(jià)器140評價(jià)的圖像及視頻質(zhì)量可緊接在幀中 的任何視頻塊的編碼及重構(gòu)之后得到自適應(yīng)地改善。因此，使用偽影評價(jià)器140克服 當(dāng)前編碼方法及標(biāo)準(zhǔn)的局限性。圖10中所見的通過使用偽影評價(jià)器140的架構(gòu)不僅提 高當(dāng)前方法及標(biāo)準(zhǔn)的圖像/視頻質(zhì)量，而且其還提供防止較差圖像/視頻質(zhì)量傳播到后續(xù) 處理幀(尤其對于幀間編碼預(yù)測模式)的額外優(yōu)點(diǎn)。
此外，由于某些標(biāo)準(zhǔn)(例如，ITUH.264、 WM9及RV9)支持使用去塊效應(yīng)濾波 器，因此偽影評價(jià)器140的使用是符合標(biāo)準(zhǔn)的。舉例來說，可將使用編碼器中的哪一 經(jīng)重構(gòu)(經(jīng)濾波或未經(jīng)濾波)視頻塊或幀來更新存儲(chǔ)器緩沖器81的決策傳遞到視頻解 碼器。因此，為了使視頻編碼器與視頻解碼器同步，可將所述決策插入到視頻解碼器 的標(biāo)頭信息中，即可將其作為告知所述視頻解碼器去塊效應(yīng)濾波器是接通還是關(guān)閉的 位流的部分插入。
圖11A圖解說明使用一種類型的度量來作出輸出決策的偽影評價(jià)器101的版本。 圖11A圖解說明圖10中所使用的偽影評價(jià)器140的配置。偽影評價(jià)器140接收兩個(gè) 輸入y及？，且另一選擇為，接收輸入x及來自度量控制器122的輸入?yún)?shù)(IP)。 可預(yù)先配置來自度量控制器122的偽影評價(jià)器140a的輸入?yún)?shù)(IP)，即不需要來自 度量控制器122的直接輸入。如此以來，在圖11A中省略來自度量控制器122的輸入 參數(shù)。偽影評價(jià)器140將輸入x (如果接收到)及y引導(dǎo)到偽影度量產(chǎn)生器101中且 還將輸入x (如果接收到)及^引導(dǎo)到不同的偽影度量產(chǎn)生器101中。偽影度量產(chǎn)生 器101的結(jié)構(gòu)的實(shí)施例顯示在圖5A及圖5B兩者中且上文已論述其功能，可使用任一 功能。在圖11A中，上部偽影度量產(chǎn)生器101輸出ASNR (x， ？)(雖然可替代使用 ASNR( ))且下部偽影評價(jià)器101輸出ASNR(x,y)(雖然可替代使用ASNR(y))。 決策邏輯142接收ASNR (x, )及ASNR (x，y)且決定輸出y或？，或啟動(dòng)線輸出 RE以基于所述兩個(gè)輸入ASNR度量進(jìn)行重新編碼?？烧J(rèn)識(shí)到，圖11A中所圖解說明 的邏輯可用于任何ASNR度量，不僅僅是DSNR度量。
圖11B圖解說明使用多個(gè)度量或度量版本來作出輸出決策的偽影評價(jià)器121的版 本。圖11B圖解說明圖10中所使用的偽影評價(jià)器140的配置。偽影評價(jià)器140接收 兩個(gè)輸入y及？，且另一選擇為，接收輸入x及來自度量控制器122的輸入?yún)?shù)(IP)。 可預(yù)先配置來自度量控制器122的偽影評價(jià)器140b的輸入?yún)?shù)(IP),即不需要來自 度量控制器122的直接輸入。如此以來，在圖11B中省略來自度量控制器122的輸入 參數(shù)。偽影評價(jià)器140將輸入x (如果接收到)及y引導(dǎo)到偽影度量產(chǎn)生器121中且 還將輸入x (如果接收到)及？引導(dǎo)到不同的偽影度量產(chǎn)生器121中。偽影度量產(chǎn)生 器121的結(jié)構(gòu)顯示在圖8及圖9兩者中且上文已論述其功能，可使用任一功能。在圖
IIB中，上部偽影度量產(chǎn)生器121輸出MsET (X, )(雖然可替代使用MsET ( ))
且下部偽影評價(jià)器121輸出MSET (x， y)(雖然可替代使用MSET (y))。決策邏輯 143接收M犯t(x， ？)及MsET(x，y)且決定輸出y或？，或啟動(dòng)線輸出RE以基于所 述兩個(gè)輸入度量組進(jìn)行重新編碼。
圖12圖解說明圖11A中的決策邏輯(142塊)所使用的方法的流程圖。減法器 44減去ASNR度量輸入、ASNR (x,歹)及ASNR (x, y)，且將所得差發(fā)送到輸出 質(zhì)量(144塊)。在輸出質(zhì)量(144塊)內(nèi)部，將所述差與零相比較(146)。如果所 述差大于O,那么此意指(1) ASNR (x， ？) >ASNR (x,y)且輸出(148)是卜 及(2) ASNR (x, ) >可接受圖像及視頻質(zhì)量閾值。如果所述差小于零，那么(1) ASNR (x，y) >ASNR (x， ？)且輸出(150)是y;及(2) ASNR (x，y) >可接受圖 像及視頻質(zhì)量閾值。如果啟用控制(CTRL)信號(hào)，那么決策邏輯(142塊)的輸出(RE) 可指令圖像/視頻編碼器23對x進(jìn)行重新編碼。此在ASNR (x，y)及ASNR (x，歹) 兩者小于可接受圖像及視頻質(zhì)量閾值的情況下是可能的。使用輸出QA (x, y, )來更
新編碼器存儲(chǔ)器緩沖器(參見圖10)?？烧J(rèn)識(shí)到，圖12的流程圖中所圖解說明的邏 輯可用于任何ASNR度量，不僅僅是DSNR度量。
圖13圖解說明圖11B中的決策邏輯143所使用的方法的流程圖。所述流程圖表 示任何偽影度量或偽影度量的變型的決策邏輯。舉例來說，A[l]可以是成塊，iMA[1] (x， ？)可以是DSNR (x，歹)。同樣，A[2]可以是模糊且Ma[2] (x, )可以是測量 的模糊的量的度量。同樣，MA[1] (x，y)可以是DSNR (x, y)且MA[2] (x, y)可以 是測量y的模糊的量的度量。MA[2] (x, y或？)可以是與Maw (x， y或？)相比去加 重成塊且如此以來更多加重模糊的DSNR的另一版本。MA[2] (x，y或？)也可以是測 量模糊的量的度量。
迸行Maw(x, )與成塊閾值之間的比較160以檢查經(jīng)濾波的重構(gòu)視頻塊(或幀) 中所存在的成塊的量。如果比較160為真(是)，那么？滿足"可接受"所感知圖 像及視頻質(zhì)量。迸行Mam (x， 7)與模糊閾值之間的進(jìn)一步比較162以檢查？中所存 在的模糊的量。如果比較162為真(是)，那么？對于模糊及成塊兩者來說滿足"可 接受"所感知圖像及視頻質(zhì)量。所得瑜出Qa (x，y, 7)成為164 且編碼器存儲(chǔ)器緩 沖器(參見圖10)得以用？更新。
如果任一比較160或162為假(否)，那么進(jìn)行MAw (x，y)與模糊閾值之間的 比較166以檢查未經(jīng)濾波的重構(gòu)視頻塊(或幀)y中所存在的模糊的量。如果比較166 為真(是)，那么y滿足"可接受"所感知圖像及視頻質(zhì)量。迸行Map] (x, y)與模 糊閾值之間的進(jìn)一步比較168以檢査y中所存在的模糊的量。如果比較168為真(是)， 那么y對于模糊及成塊兩者來說滿足"可接受"所感知圖像及視頻質(zhì)量。所得輸出QA
(x, y, )成為170 y，且所述編碼器存儲(chǔ)器緩沖器(參見圖10)得以用？更新。如 果任一比較166或168為假(否)，那么線輸出RE變得現(xiàn)用(172)，且原始視頻塊
(或幀)x的重新編碼可發(fā)生。
圖14圖解說明偽影評價(jià)過程的流程圖。在偽影評價(jià)開始之后，度量_類別的選擇
(180)基于將產(chǎn)生什么類型或版本的度量。原始x視頻塊或幀(如果一個(gè)可用)的載
入及可用經(jīng)重構(gòu)y或？視頻塊或幀的載入(182)發(fā)生?？捎煤瘮?shù)F及/或范數(shù)因數(shù)(NF) 來計(jì)算誤差(184)?？稍诰幋a之前或期間(串行或并行)進(jìn)行調(diào)節(jié)器[i] (186)。然 后，可執(zhí)行調(diào)節(jié)器[i]與使用函數(shù)F及/或NF計(jì)算的誤差的結(jié)果的組合(188)。所得組 合導(dǎo)致兩個(gè)MsET度量結(jié)果，MSET (x, y)及MSET (x, )?？刹贾肕SET (x, y)與 MSET (x， ？)中的每一成員(192)?；贛set (x， y)成員與M犯t (x， ？)成員之 間的至少一個(gè)比較的邏輯決策(194)決定y與？中的哪一者具有更好的圖像及/或視 頻質(zhì)量。基于所述決策(瑜出Qa (x,y， ？))，使用y與？中的更好一者來在編碼過 程期間更新編碼器環(huán)路內(nèi)存儲(chǔ)器緩沖器。如果y或？的圖像及視頻質(zhì)量均不可接受， 那么決策邏輯(194塊)也可發(fā)出重新編碼信號(hào)RE。
已說明了多個(gè)不同實(shí)施例。所述技術(shù)可能夠通過借助在編碼過程期間在環(huán)路內(nèi)使 用偽影評價(jià)器改善圖像及視頻質(zhì)量來改善視頻編碼。所述技術(shù)是符合標(biāo)準(zhǔn)的。所述技 術(shù)還可實(shí)施于硬件、軟件、固件或其任一組合中。如果實(shí)施于軟件中，那么所述技術(shù) 可涉及一種包含計(jì)算機(jī)可讀程序代碼(還可稱為計(jì)算機(jī)代碼)的計(jì)算機(jī)可讀媒體，當(dāng) 所述計(jì)算機(jī)可讀程序代碼在對視頻序列進(jìn)行編碼的裝置中執(zhí)行時(shí)會(huì)執(zhí)行上文所提及的 一種或一種以上方法。
所述計(jì)算機(jī)可讀程序代碼可以計(jì)算機(jī)可讀指令的形式存儲(chǔ)在存儲(chǔ)器上。在所述情 況下，處理器(例如DSP)可執(zhí)行存儲(chǔ)在存儲(chǔ)器中的指令以實(shí)施本文所說明的一種或 一種以上技術(shù)。在某些情況下，所述技術(shù)可由調(diào)用各種硬件組件(例如，運(yùn)動(dòng)估計(jì)器) 的DSP執(zhí)行以加速編碼過程。在其它情況下，所述視頻編碼器可實(shí)施為微處理器、一 個(gè)或一個(gè)以上專用集成電路(ASIC)、 一個(gè)或一個(gè)以上現(xiàn)場可編程門陣列(FPGA) 或某些其它硬件-軟件組合。這些及其它實(shí)施例歸屬于以上權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1、一種經(jīng)配置以處理視頻塊的設(shè)備，其包含解碼器，其可操作以合成未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊及視頻幀中的至少一者；偽影濾波器，其可操作以接收所述未經(jīng)濾波的重構(gòu)視頻單元，且其產(chǎn)生經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻視頻塊或幀中的至少一者；存儲(chǔ)器緩沖器，其可操作以存儲(chǔ)所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾波的重構(gòu)視頻單元；及偽影評價(jià)器，其可操作以更新所述存儲(chǔ)器緩沖器。
2、 如權(quán)利要求1所述的設(shè)備，其中所述偽影評價(jià)器包含至少一個(gè)偽影度量產(chǎn)生 器及決策邏輯塊。
3、 如權(quán)利要求2所述的設(shè)備，其中所述至少一個(gè)偽影度量產(chǎn)生器中的任何偽影 度量產(chǎn)生器經(jīng)配置以接收所述經(jīng)濾波視頻單元或所述未經(jīng)濾波的重構(gòu)視頻單元。
4、 如權(quán)利要求3所述的設(shè)備，其中所述至少一個(gè)偽影度量產(chǎn)生器進(jìn)一步經(jīng)配置 以接收所述原始視頻單元。
5、 如權(quán)利要求4所述的設(shè)備，其中所述至少一個(gè)偽影度量產(chǎn)生器中的任何偽影 度量產(chǎn)生器包含產(chǎn)生非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
6、 如權(quán)利要求5所述的設(shè)備，其中來自所述至少一個(gè)偽影度量產(chǎn)生器的第一偽 影度量產(chǎn)生器及來自所述至少一個(gè)偽影度量產(chǎn)生器的第二偽影度量產(chǎn)生器耦合到第一 決策邏輯塊或第二決策邏輯塊。
7、 如權(quán)利要求6所述的設(shè)備，其中所述第一決策邏輯塊經(jīng)配置以接收所述經(jīng)濾 波的重構(gòu)視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元，且進(jìn)一步經(jīng)配置以將第一 NR偽 影度量與第二 NR偽影度量相比較或?qū)⒌谝?FR偽影度量與第二 FR偽影度量相比較， 且基于任一比較決定輸出所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾波的重構(gòu)視頻單 元。
8、 如權(quán)利要求6所述的設(shè)備，其中所述第二決策邏輯塊經(jīng)配置以接收所述經(jīng)濾 波的重構(gòu)視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元，且進(jìn)一步經(jīng)配置以將第一組NR 偽影度量與第一組NR偽影度量相比較或?qū)⒌谝唤MFR偽影度量與第二組FR偽影度量 相比較，且基于任一比較決定輸出所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾波的重構(gòu) 視頻單元。
9、 如權(quán)利要求7所述的設(shè)備，其中所述輸出被發(fā)送到重放裝置、移動(dòng)裝置或計(jì) 算機(jī)環(huán)路內(nèi)的存儲(chǔ)器緩沖器。
10、 如權(quán)利要求8所述的設(shè)備，其中所述輸出被發(fā)送到重放裝置、移動(dòng)裝置或計(jì) 算機(jī)環(huán)路內(nèi)的存儲(chǔ)器緩沖器。
11、 一種偽影評價(jià)器裝置，其包含產(chǎn)生裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其中視頻單元是視 頻塊與幀中的至少一者；產(chǎn)生裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量經(jīng)濾波的重構(gòu)視頻單元， 其中視頻單元是視頻塊與幀中的至少一者；及所述原始視頻單元； 比較裝置，其用于將第一偽影度量與第二偽影度量相比較；及 決定裝置，其用于基于所述比較裝置來決定輸出。
12、 如權(quán)利要求11所述的偽影評價(jià)器裝置，其中所述輸出耦合到圖像/視頻編碼 器的環(huán)路內(nèi)存儲(chǔ)器緩沖器。
13、 如權(quán)利要求12所述的裝置，其中所述第一偽影度量及所述第二偽影度量是 非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
14、 如權(quán)利要求13所述的裝置，其中所述輸出是所述經(jīng)濾波的重構(gòu)視頻單元或 所述未經(jīng)濾波視頻單元。
15、 一種偽影評價(jià)器裝置，其包含產(chǎn)生裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其中視頻單元是視 頻塊與幀中的至少一者；產(chǎn)生裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量經(jīng)濾波的重構(gòu)視頻單元， 其中視頻單元是視頻塊與幀中的至少一者；及所述原始視頻單元；第一比較裝置，其用于第一偽影度量與第一偽影閾值的第一比較； 第二比較裝置，其用于第二偽影度量與第二偽影閾值的第二比較； 第三比較裝置，其用于第三偽影度量與第三偽影閾值的第三比較； 第四比較裝置，其用于第四偽影度量與第四偽影閾值的第四比較；及 決定裝置，其用于基于所述比較裝置的各種組合來決定輸出。
16、 如權(quán)利要求15所述的偽影評價(jià)器裝置，其中所述輸出耦合到圖像/視頻編碼 器的環(huán)路內(nèi)存儲(chǔ)器緩沖器。
17、 如權(quán)利要求16所述的裝置，其中所述第一、所述第二、所述第三或所述第 四偽影度量是非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
18、 如權(quán)利要求17所述的裝置，其中所述輸出是所述經(jīng)濾波的重構(gòu)視頻單元或 所述未經(jīng)濾波的重構(gòu)視頻單元。
19、 一種計(jì)算機(jī)可讀媒體，其經(jīng)配置以存儲(chǔ)一組指令，其中所述指令是可執(zhí)行處 理視頻塊，所述計(jì)算機(jī)可讀媒體包含計(jì)算機(jī)可讀程序代碼裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其 中視頻單元是視頻塊與幀中的至少一者； 計(jì)算機(jī)可讀程序代碼裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及所述原始視頻單元； 計(jì)算機(jī)可讀程序代碼裝置，其用于將第一偽影度量與第二偽影度量相比較；計(jì)算機(jī)可讀程序代碼裝置，其用于基于所述比較裝置來決定所述輸出；及 計(jì)算機(jī)可讀程序代碼裝置，其用于用基于所述決定裝置的輸出更新環(huán)路內(nèi)存儲(chǔ)器 緩沖器。
20、 如權(quán)利要求19所述的計(jì)算機(jī)可讀媒體，其中所述用于產(chǎn)生至少一個(gè)偽影度 量的裝置是非原始參考(NR)偽影度量或完全原始參考(FR)偽影度量。
21、 如權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中所述用于決定用于更新環(huán)路內(nèi) 存儲(chǔ)器緩沖器的裝置的裝置進(jìn)一步包含用所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾波 的重構(gòu)視頻單元更新所述存儲(chǔ)器緩沖器。
22、 一種計(jì)算機(jī)可讀媒體，其經(jīng)配置以處理視頻塊，其包含計(jì)算機(jī)可讀程序代碼裝置，其用于從以下單元中產(chǎn)生至少一個(gè)偽影度量未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；及原始視頻單元，其中視頻單元是視頻塊與幀中的至少一者；計(jì)算機(jī)可讀程序代碼裝置，其用于從經(jīng)濾波的重構(gòu)視頻單元及所述原始視頻單元 中產(chǎn)生至少一個(gè)偽影度量；計(jì)算機(jī)可讀程序代碼裝置，其用于第一偽影度量與第一偽影閾值的第一比較； 計(jì)算機(jī)可讀程序代碼裝置，其用于第二偽影度量與第二偽影閾值的第二比較；計(jì)算機(jī)可讀程序代碼裝置，其用于第三偽影度量與第三偽影閾值的第三比較； 計(jì)算機(jī)可讀程序代碼裝置，其用于第四偽影度量與第四偽影閾值的第四比較； 計(jì)算機(jī)可讀程序代碼裝置，其用于基于所述用于比較的裝置的各種組合來決定所 述輸出；及計(jì)算機(jī)可讀程序代碼裝置，其用于用基于所述用于決定的裝置的所述輸出更新環(huán) 路內(nèi)存儲(chǔ)器緩沖器。
23、 如權(quán)利要求22所述的計(jì)算機(jī)可讀媒體，其中所述用于產(chǎn)生至少一個(gè)偽影度 量的裝置是非(原始)參考(NR)偽影度量或完全(原始)參考(FR)偽影度量。
24、 如權(quán)利要求23所述的計(jì)算機(jī)可讀媒體，其中所述用于決定用于更新環(huán)路內(nèi) 存儲(chǔ)器緩沖器的裝置的裝置進(jìn)一步包含用所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾波 的重構(gòu)視頻單元更新所述存儲(chǔ)器緩沖器。
25、 一種偽影評價(jià)方法，其包含輸入原始視頻單元，其中視頻單元是視頻塊與幀中的至少一者；輸入未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者； 輸入經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者； 從所述原始視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生至少一個(gè)偽影度量；及 從所述原始視頻單元及所述經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生至少一個(gè)偽影度量。
26、 如權(quán)利要求25所述的方法，其中從所述原始視頻單元及所述未經(jīng)濾波的重 構(gòu)視頻單元中產(chǎn)生的所述偽影度量中的任一者及從所述原始視頻單元及所述經(jīng)濾波的重構(gòu)視頻塊中產(chǎn)生的所述偽影度量中的任一者測量成塊或模糊的量。
27、 如權(quán)利要求26所述的方法，其進(jìn)一步包含將從所述原始視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生的所述偽影度量 中的任一者與從所述原始視頻單元及所述經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生的所述偽影度 量中的任一者相比較；基于所述比較決定輸出所述未經(jīng)濾波的重構(gòu)視頻單元還是所述經(jīng)濾波的重構(gòu)視頻塊；及如果需要，基于所述比較進(jìn)行重新編碼。
28、 如權(quán)利要求27所述的方法，其進(jìn)一步包含進(jìn)行從所述原始視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生的所述偽影度 量中的任一者與第一偽影閾值的第一比較；如果所述第一比較中所使用的所述偽影度量中的任一者小于所述第一偽影閾值， 那么進(jìn)行從所述原始視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生的所述偽影度量中的任一者與第二偽影閾值的第二比較；如果所述第一比較中所使用的所述偽影度量中的任一者小于所述第一偽影閾值 且所述第二比較中所使用的所述偽影度量中的任一者小于所述第二偽影閾值，那么進(jìn)行從所述原始視頻單元及所述未經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生的所述偽影度量中的任 一者與第三偽影閾值的第三比較；如果所述第三比較中所使用的所述偽影度量中的任一者小于所述第三偽影閾值， 那么進(jìn)行從所述原始視頻單元及所述經(jīng)濾波的重構(gòu)視頻單元中產(chǎn)生的所述偽影度量中 的任一者與第四偽影閾值的第四比較；基于所述第一及第二比較來決定輸出所述經(jīng)濾波的重構(gòu)視頻單元；基于所述第三及第四比較來決定輸出所述未經(jīng)濾波的重構(gòu)視頻單元；及如果需要，基于所述第三或第四比較進(jìn)行重新編碼。
29、 如權(quán)利要求27所述的方法，其中所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾 波的重構(gòu)視頻單元存儲(chǔ)在正作為涉及紋理編碼器的編碼過程的部分在環(huán)路內(nèi)使用的存 儲(chǔ)器緩沖器中。
30、 如權(quán)利要求29所述的方法，其中所述經(jīng)濾波的重構(gòu)視頻單元或所述未經(jīng)濾 波的重構(gòu)視頻單元存儲(chǔ)在正作為涉及紋理編碼器的編碼過程的部分在環(huán)路內(nèi)使用的存 儲(chǔ)器緩沖器中。
31、 一種在圖像/視頻編碼器中的方法，其包含用偽影評價(jià)器的輸出更新存儲(chǔ)器緩沖器，其中在環(huán)路內(nèi)使用所述偽影評價(jià)器；及 用作為所述偽影評價(jià)器的部分的決策邏輯塊作出決策，所述偽影評價(jià)器使用第一組偽影度量及第二組偽影度量來進(jìn)行比較，且基于所述比較所述偽影評 價(jià)器輸出經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；或未 經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者。
32、 如權(quán)利要求31所述的方法，其中所述存儲(chǔ)器緩沖器存儲(chǔ)所述經(jīng)濾波的重構(gòu) 視頻單元或所述未經(jīng)濾波的重構(gòu)視頻單元。
33、 如權(quán)利要求32所述的方法，其中所述第一組度量基于所述原始視頻單元及 所述未經(jīng)濾波的重構(gòu)視頻單元。
34、 如權(quán)利要求33所述的方法，其中所述第二組度量基于所述原始視頻單元及 所述經(jīng)濾波的重構(gòu)視頻單元。
35、 如權(quán)利要求32所述的方法，其中所述第一組度量基于所述未經(jīng)濾波的重構(gòu) 視頻單元。
36、 如權(quán)利要求33所述的方法，其中所述第二組度量基于所述經(jīng)濾波的重構(gòu)視 頻單元。
37、 一種測量偽影的方法，其包含通過以下偽影度量實(shí)施方案使用未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視 頻塊與幀中的至少一者；或經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者 <formula>formula see original document page 6</formula>y表示未經(jīng)濾波的重構(gòu)視頻單元或經(jīng)濾波的重構(gòu)視頻單元； PKS是像素的平方峰值；Ws是基于空間因素影響所述未經(jīng)濾波的重構(gòu)視頻單元的加權(quán)； Wp是基于感知因素影響所述未經(jīng)濾波的重構(gòu)視頻單元的加權(quán)； WT是基于時(shí)間因素影響所述未經(jīng)濾波的重構(gòu)視頻單元的加權(quán)；且F (y)是y的函數(shù)。
38、 如權(quán)利要求37所述的方法，其中如果F (y)是范數(shù)—因數(shù)(MSDS (y))， 那么ASiV/ (y)是DSM (y);且范數(shù)_因數(shù)涉及取絕對值或平方。
39、 如權(quán)利要求38所述的方法，其中所述偽影的所述測量進(jìn)一步包含通過值 Ws、 Wp或WT的組合加重或去加重成塊偽影。
40、 一種測量偽影的方法，其包含通過以下偽影度量實(shí)施方案結(jié)合原始視頻單元使用未經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者；或經(jīng)濾波的重構(gòu)視頻單元，其中視頻單元是視頻塊與幀中的至少一者<formula>formula see original document page 7</formula>，其中y表示未經(jīng)濾波的重構(gòu)視頻單元或經(jīng)濾波的重構(gòu)視頻單元；X表示所述原始視頻單元，其中視頻單元是視頻塊與幀中的至少一者；PKS是像素的平方峰值；Ws是基于空間因素影響所述經(jīng)濾波的重構(gòu)視頻單元的加權(quán)； Wp是基于感知因素影響所述經(jīng)濾波的重構(gòu)視頻單元的加權(quán)； WT是基于時(shí)間因素影響所述經(jīng)濾波的重構(gòu)視頻單元的加權(quán)；且 F (x，y)是x與y的函數(shù)。
41、 如權(quán)利要求40所述的方法，其中如果F (x，y)是MSDS—誤差(x， y)，那 么ASMR (x，y)是DSNR (x,y);MSDS—誤差(x,y)=范數(shù)_因數(shù)(MSDS (x) -MSDS (y)); MSDS (x)是(x)的差異的均方斜率； MSDS (y)是(y)的差異的均方斜率；且 范數(shù)一因數(shù)涉及取絕對值或平方。
42、 如權(quán)利要求41所述的方法，其中所述偽影的所述測量進(jìn)一步包含通過值Ws、Wp或WT的組合加重或去加重成塊偽影。
全文摘要
在采用偽影評價(jià)器的圖像/視頻編碼及解碼系統(tǒng)中，一種用以處理視頻塊的方法及/或設(shè)備包含解碼器，其可操作以合成未經(jīng)濾波的重構(gòu)視頻塊或幀；及偽影濾波器，其可操作以接收所述未經(jīng)濾波的重構(gòu)視頻塊或幀，所述偽影濾波器產(chǎn)生經(jīng)濾波的重構(gòu)視頻塊或幀。存儲(chǔ)器緩沖器可操作以存儲(chǔ)所述經(jīng)濾波的重構(gòu)視頻塊或幀或所述未經(jīng)濾波的重構(gòu)視頻塊或幀，且偽影評價(jià)器可操作以在評價(jià)并確定所述經(jīng)濾波視頻塊或幀或所述未經(jīng)濾波視頻塊或幀中的哪一者產(chǎn)生更好的圖像/視頻質(zhì)量之后更新存儲(chǔ)器緩沖器。
文檔編號(hào)H04N7/26GK101390401SQ200780006957
公開日2009年3月18日 申請日期2007年3月1日 優(yōu)先權(quán)日2006年3月1日
發(fā)明者哈立德·希勒米·厄勒-馬列, 張錢仲, 蘇海勒·賈利勒 申請人:高通股份有限公司