專利名稱：圖像處理裝置與圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置與圖像處理方法，其例如適用于使用MPEG-4 AVC(或H.264)編碼對(duì)影片圖像進(jìn)行編碼的情況。
背景技術(shù)：
將參照?qǐng)D1，描述一種傳統(tǒng)的圖像傳輸/接收裝置或者圖像記錄/再現(xiàn)裝置(以下將把這兩種裝置僅稱為圖像傳輸裝置)。首先，輸入圖像11由圖像編碼單元12編碼，并且把編碼后的信息發(fā)送或記錄到或者在對(duì)應(yīng)于傳輸系統(tǒng)的無線/有線傳輸通路13或積累媒體14上。由圖像譯碼單元15對(duì)在接收/再現(xiàn)側(cè)所獲得的數(shù)據(jù)進(jìn)行譯碼，以獲得譯碼后的圖像16。
在圖像編碼單元12把輸入圖像數(shù)據(jù)的數(shù)量減小到七分之一至幾十分之一之后，發(fā)送或者記錄數(shù)據(jù)。例如，可以通過MPEG-4 AVC(或H.264)編碼，把圖像數(shù)據(jù)降低至1.5Mbps的傳輸率。由于這樣的編碼，人們會(huì)將譯碼后的圖像16和輸入圖像11之間的差別視為劣化。
傳統(tǒng)的圖像傳輸裝置減小了在傳輸或記錄時(shí)輸入圖像數(shù)據(jù)的數(shù)量。通常，諸如MPEG-4 AVC(或H.264)編碼的圖像編碼標(biāo)準(zhǔn)已經(jīng)規(guī)定了一種有效減小數(shù)據(jù)量而就人類視覺而言無明顯劣化的方法。然而，在有限傳輸帶寬或存儲(chǔ)容量下，圖像的細(xì)節(jié)信息被極大地?fù)p壞。特別是，當(dāng)傳輸或記錄諸如電影的影片圖像時(shí)，丟失了表示電影的大量質(zhì)地的影片顆粒(film grain)信息，因此明顯劣化了譯碼后圖像的質(zhì)量。
圖2A描述了用作輸入圖像11的影片圖像的一個(gè)實(shí)例，圖2B描述了譯碼后圖像16的一個(gè)實(shí)例。如圖2A和2B中所示，盡管作為影片質(zhì)量加以檢測(cè)的影片顆?？梢栽谳斎雸D像21中得以察覺，但譯碼后圖像22提交了單調(diào)的圖象，因?yàn)榇蟛糠钟捌w粒信息丟失了。由于丟失了影片顆粒，所以存在著不能感知影片質(zhì)地的問題。
傳統(tǒng)上，日本專利申請(qǐng)公開物(JP-A)JP11-250246聲稱通過抑制掃描器所獲取的圖像的噪音，可以加強(qiáng)清晰度。
JP-A-11-250246中所公開的裝置旨在抑制專門針對(duì)影片圖像的顆粒噪音，而不旨在在譯碼方改善通過高效編碼系統(tǒng)的編碼所丟失的影片圖像質(zhì)地。
因此，本發(fā)明的目的是提供一種圖像處理裝置與處理方法，其中，在譯碼方幾乎感覺不到影片顆粒信息的丟失，從而維持了輸入圖像的影片質(zhì)地，因此必然極大地改善圖像質(zhì)量。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明的第一方面提供了一種用于輸入圖像信號(hào)的高效編碼的圖像處理裝置，該圖像處理裝置包括區(qū)域檢測(cè)裝置，用于檢測(cè)輸入圖像中的不包含劇烈變化的區(qū)域；第一抽取裝置，用于抽取基本模式信息，該基本模式信息指示由區(qū)域檢測(cè)裝置所檢測(cè)的區(qū)域中的像素值的等級(jí)分布；第二抽取裝置，用于獲取強(qiáng)度信息，該強(qiáng)度信息指示將加以添加的影片顆粒的強(qiáng)度；以及用于傳輸或記錄編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的裝置。本發(fā)明還在編碼方提供了一種圖像處理方法，以實(shí)現(xiàn)在上述編碼方的裝置的處理。
本發(fā)明的第二方面提供了一種圖像處理裝置，用于接收或再現(xiàn)高效編碼的編碼后的數(shù)據(jù)、指示輸入圖像中不包含劇烈變化的區(qū)域中的像素值的等級(jí)分布的基本模式信息、以及指示添加影片顆粒的程度的強(qiáng)度信息，該圖像處理裝置包括譯碼裝置，用于對(duì)編碼后的數(shù)據(jù)進(jìn)行譯碼；基本模式生成裝置，用于通過把隨機(jī)噪音的等級(jí)分布轉(zhuǎn)換為與基本模式信息中所指示的等級(jí)分布相同的等級(jí)分布，重新構(gòu)造影片顆粒圖像；強(qiáng)度調(diào)整裝置，用于根據(jù)強(qiáng)度信息調(diào)整影片顆粒圖像的強(qiáng)度；以及添加裝置，用于把對(duì)其強(qiáng)度進(jìn)行了調(diào)整的影片顆粒圖像添加于由譯碼裝置所獲得的譯碼后的圖像信息。本發(fā)明還在譯碼方提供了一種圖像處理方法，以實(shí)現(xiàn)在上述譯碼方的裝置的處理。
本發(fā)明提供了一種圖像處理裝置，用于對(duì)輸入圖像信號(hào)進(jìn)行高效編碼，傳輸或記錄編碼后的數(shù)據(jù)，以及對(duì)所接收或所再現(xiàn)的編碼后的數(shù)據(jù)進(jìn)行譯碼，其中，其編碼方包括
區(qū)域檢測(cè)裝置，用于檢測(cè)輸入圖像中的不包含劇烈變化的區(qū)域；第一抽取裝置，用于抽取基本模式信息，該基本模式信息指示由區(qū)域檢測(cè)裝置所檢測(cè)的區(qū)域中的像素值的等級(jí)分布；第二抽取裝置，用于獲取強(qiáng)度信息，該強(qiáng)度信息指示將添加的影片顆粒的強(qiáng)度；以及用于傳輸或記錄編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的裝置，以及其譯碼方包括用于接收或再現(xiàn)編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的裝置；基本模式生成裝置，用于通過把隨機(jī)噪音的等級(jí)分布轉(zhuǎn)換為與基本模式信息中所指示的等級(jí)分布相同的等級(jí)分布，重新構(gòu)造影片顆粒圖像；強(qiáng)度調(diào)整裝置，用于根據(jù)強(qiáng)度信息調(diào)整影片顆粒圖像的強(qiáng)度；以及添加裝置，用于把對(duì)其強(qiáng)度進(jìn)行了調(diào)整的影片顆粒圖像添加于譯碼裝置所獲得的譯碼后的圖像信息。本發(fā)明還在編碼方提供了一種圖像處理方法，以實(shí)現(xiàn)以上所描述的在編碼方和譯碼方的裝置的處理。


圖1是方框圖，描述了本發(fā)明能夠被應(yīng)用的傳統(tǒng)圖像傳輸裝置的一個(gè)實(shí)例；圖2A和2B為示意圖，描述了傳統(tǒng)圖像傳輸裝置中的輸入圖像和譯碼后圖像的一個(gè)實(shí)例；圖3是方框圖，示意性地描述了本發(fā)明的圖像傳輸裝置的一個(gè)實(shí)施例；圖4是根據(jù)本發(fā)明的實(shí)施例的影片顆粒信息抽取單元的一個(gè)實(shí)例的方框圖；圖5是影片顆粒抽取單元中的影片顆粒基本模式信息抽取單元的一個(gè)實(shí)例的方框圖；圖6是影片顆粒抽取單元中的影片顆粒強(qiáng)度信息抽取單元的一個(gè)實(shí)例的方框圖；圖7A、7B以及7C為示意圖，用于示意性地解釋影片顆粒基本模式信息的抽取處理；圖8為根據(jù)本發(fā)明的實(shí)施例的影片顆粒添加單元的一個(gè)實(shí)例的方框圖；
圖9為影片顆粒添加單元中的基本模式生成單元的一個(gè)實(shí)例的方框圖；圖10為示意圖，用于示意性地解釋影片顆粒添加處理；圖11為時(shí)序圖，用于解釋影片顆粒信息抽取和影片顆粒添加處理的第一方法；圖12為時(shí)序圖，用于解釋影片顆粒信息抽取和影片顆粒添加處理的第二方法；圖13為時(shí)序圖，用于解釋影片顆粒信息抽取和影片顆粒添加處理的第三方法；圖14為時(shí)序圖，用于解釋影片顆粒信息抽取和影片顆粒添加處理的第四方法；圖15為時(shí)序圖，用于解釋影片顆粒信息抽取和影片顆粒添加處理的第五方法；以及圖16為時(shí)序圖，用于解釋影片顆粒信息抽取和影片顆粒添加處理的第六方法。
具體實(shí)施例方式
以下，將參照?qǐng)D附圖，描述本發(fā)明的一個(gè)實(shí)施例。圖3描述了本發(fā)明的圖像傳輸裝置。首先，將描述編碼方。通過圖像編碼單元32對(duì)輸入圖像31高效地進(jìn)行編碼，以通過壓縮數(shù)據(jù)量，生成編碼后的信息34。把編碼后的信息34發(fā)送到對(duì)應(yīng)于傳輸系統(tǒng)的無線/有線傳輸通路36，或者將其記錄于諸如數(shù)字通用盤(DVD)的積累媒體37中。
參照數(shù)字33表示影片顆粒信息抽取單元。影片顆粒信息抽取單元33從輸入圖像31抽取影片顆粒信息，并且把所抽取的影片顆粒信息35像編碼后的信息34一樣發(fā)送到對(duì)應(yīng)于傳輸系統(tǒng)的無線/有線傳輸通路36，或者將其記錄于積累媒體37中。
接下來，將描述譯碼方。把所接收的編碼后的信息38提交于譯碼方的圖像譯碼單元40，然后圖像譯碼單元40從所接收的編碼后的信息38中生成譯碼后的圖像信息42。參照數(shù)字41表示影片顆粒添加單元。在影片顆粒添加單元41從所接收的影片顆粒信息39中再現(xiàn)了影片顆粒信息之后，其添加對(duì)應(yīng)于譯碼后的圖像信息42的特征被重新構(gòu)造的影片顆粒信息，并且將其作為譯碼后的圖像43加以輸出。
例如，圖像編碼單元32和圖像譯碼單元40根據(jù)MPEG-4 AVC(或H.264)編碼標(biāo)準(zhǔn)執(zhí)行處理。在這種情況下，編碼信息34具有流數(shù)據(jù)結(jié)構(gòu)，該流數(shù)據(jù)結(jié)構(gòu)包括預(yù)定長(zhǎng)度的單元。使用用于傳輸補(bǔ)充增強(qiáng)信息(SEI)的單元傳輸或記錄影片顆粒信息35，就對(duì)動(dòng)畫圖像進(jìn)行譯碼而言，SEI是不可缺少的。即，由于SEI包含了用戶獨(dú)立定義的信息，所以使用用戶數(shù)據(jù)傳輸或記錄影片顆粒信息35。
圖4描述了影片顆粒信息抽取單元33的一個(gè)實(shí)例。影片顆粒信息抽取單元33由基本模式抽取單元51和強(qiáng)度抽取單元52構(gòu)成?；灸Ｊ匠槿卧?1從輸入圖像31抽取表示影片顆粒的信息，并且將其作為影片顆?；灸Ｊ叫畔?3加以輸出。在諸如0～20、21～40、...的像素值的每個(gè)范圍內(nèi)，強(qiáng)度抽取單元52計(jì)算在具有用于每一個(gè)楨的平均值的區(qū)域上應(yīng)該添加多大強(qiáng)度的影片顆粒的信息，并且將其信息作為影片顆粒強(qiáng)度信息54加以輸出。影片顆粒信息35包括影片顆?；灸Ｊ叫畔?3和影片顆粒強(qiáng)度信息54兩者。
圖5描述了基本模式抽取單元51的一個(gè)實(shí)例?；灸Ｊ匠槿卧?1由均勻區(qū)域抽取單元61、濾波器組(bank)62以及直方圖計(jì)算單元63、64、65、66以及67組成。
均勻區(qū)域抽取單元61從輸入圖像中抽取其中均勻地分布了影片顆粒并且圖像不包含劇烈變化的預(yù)定大小的區(qū)域(將其稱為均勻區(qū)域)，以及輸出均勻區(qū)域數(shù)據(jù)68。均勻區(qū)域的例子是作為背景的類似天空?qǐng)D像的單調(diào)圖象。均勻區(qū)域數(shù)據(jù)68由存在于均勻區(qū)域中的多個(gè)像素?cái)?shù)據(jù)項(xiàng)構(gòu)成。同時(shí)，為獲得均勻區(qū)域數(shù)據(jù)68，可準(zhǔn)許直接指定一個(gè)或者從所述單元輸出的候選中指定一個(gè)。
濾波器組62a、62b把以這樣的方式所獲得的均勻區(qū)域數(shù)據(jù)68劃分成多個(gè)子頻帶，該濾波器組62a、62b由多個(gè)高通濾波器(由H加以表示)和低通濾波器(由L加以表示)構(gòu)成。構(gòu)成濾波器組62a、62b的濾波器為二維地指定其濾波系數(shù)的數(shù)字濾波器。
在圖5所示的結(jié)構(gòu)實(shí)例中，每一個(gè)濾波器組62a、62b均由高通帶和低通帶構(gòu)成。另外，還可以提供多個(gè)帶通濾波器，就階段的數(shù)目而言，可以提供其多個(gè)階段，而不是圖5中所示的兩個(gè)階段。
把基帶和每個(gè)子頻帶的輸出提交給對(duì)應(yīng)于每一頻帶的直方圖計(jì)算單元63～67。直方圖計(jì)算單元63～67抽取每一頻帶的像素值的頻率分布信息(以下，將其稱為直方圖)，并且把所抽取的直方圖信息作為影片顆粒基本模式信息53加以輸出。
直方圖信息為頻率信息，其指示包含在預(yù)先確定的像素值范圍(以下將其稱為劃分段)中像素的數(shù)量。例如，假設(shè)存在4個(gè)預(yù)先確定的劃分段，即-19～-10、-9～0、1～+10、+11～+20，而且此時(shí)輸入于直方圖計(jì)算單元的數(shù)據(jù)的每一像素的值為[-11，-5，-1，+3，+8，+14]。在這一情況下，所輸出的直方圖信息為包含在每一范圍內(nèi)的像素?cái)?shù)據(jù)的頻率，即[1，2，2，1]。針對(duì)每一頻帶輸出直方圖信息。
圖6描述了強(qiáng)度抽取單元52的示范性配置。強(qiáng)度抽取單元52包括均勻區(qū)域抽取單元71和強(qiáng)度計(jì)算單元72。像均勻區(qū)域抽取單元61那樣，均勻區(qū)域抽取單元71從輸入圖像31抽取均勻區(qū)域，并且輸出均勻區(qū)域信息73。在這一情況下，關(guān)于圖像的陡峭區(qū)域，作為非均勻區(qū)域，輸出與其它均勻區(qū)域不同的信息。如圖6中所示，輸入圖像中的a、b、c、d、e以及f為均勻區(qū)域，而所填充的區(qū)域?yàn)榉蔷鶆騾^(qū)域。
把均勻區(qū)域信息73提交于強(qiáng)度計(jì)算單元72。強(qiáng)度計(jì)算單元72針對(duì)每一均勻區(qū)域，計(jì)算所述區(qū)域的平均像素值和影片顆粒的分布值。為了計(jì)算影片顆粒的分布值，例如，可以使用一種使用了均勻區(qū)域中的像素值的分布值的方法。然后，使用平均像素值和影片顆粒的分布值，計(jì)算影片顆粒強(qiáng)度信息54。影片顆粒強(qiáng)度信息54為預(yù)先確定的區(qū)域平均值的范圍內(nèi)的影片顆粒的分布的平均值。
例如，假設(shè)預(yù)先確定的區(qū)域例如(16×16)個(gè)像素的區(qū)域中的像素值的平均值的范圍為0～15、16～31、...、240～255，以及假設(shè)輸入圖像的均勻區(qū)域中的區(qū)域平均值和分布值的一對(duì)為(區(qū)域平均值＝28，分布值＝500)，(30，1000)，(44，400)，(250，20)，輸出影片顆粒強(qiáng)度信息為
，如果所輸入的區(qū)域平均值為23，則此時(shí)所輸出的影片顆粒強(qiáng)度為750。然而，如以上所描述的，如果在編碼方影片顆粒強(qiáng)度信息預(yù)先經(jīng)歷了規(guī)范化處理，則將其轉(zhuǎn)換為可用于強(qiáng)度調(diào)整的乘法運(yùn)算的一個(gè)值。可以在譯碼方執(zhí)行這一規(guī)范化。
乘法器84把影片顆?；灸Ｊ?6乘以影片顆粒強(qiáng)度信息88。從乘法器84獲得重新構(gòu)造的影片顆粒圖像89。加法器89把影片顆粒圖像89添加于譯碼后的圖像信息42。從加法器85輸出譯碼后的圖像43。在加法器85中，以(16×16)個(gè)像素為單位，把其中影片顆粒圖像89對(duì)應(yīng)于譯碼后的圖像信息42的(16×16)個(gè)像素的位置處的像素相加。從基本模式生成單元81所生成的(64×64)個(gè)像素的基本模式中裁剪影片顆粒圖像89。
與此同時(shí)，為了在圖像屏幕上獲得均勻性，可以通過針對(duì)將被提供有影片顆粒模式的每個(gè)區(qū)域單元例如每個(gè)16×16個(gè)(像素)的區(qū)域單元進(jìn)行位移來添加影片顆?；灸Ｊ?6。例如，假設(shè)區(qū)域大小為H×V，模式的像素值為G(h，v)(0≤h＜H)(0≤v＜V)，可以通過生成隨機(jī)數(shù)randh，randv(0≤randh＜H，0≤randv＜V)來獲得由隨機(jī)數(shù)所位移的模式，然后如下計(jì)算將被實(shí)際添加的模式A。可以假設(shè)這一模式為影片顆?；灸Ｊ?6。
A(h，v)＝G(mod(h+randh，H)，mod(v++randv，V))圖9說明了影片顆?；灸Ｊ缴蓡卧?1的示范性配置?；灸Ｊ?1包括噪音生成單元91；直方圖匹配單元92、93、94、95以及96；高通濾波器97和99；低通濾波器98和100；以及綜合濾波器組101。
噪音生成單元91生成與影片顆?；灸Ｊ较嗤笮?H×V)的噪音(高斯噪音、均勻隨機(jī)數(shù)的隨機(jī)噪音)，例如所述大小為(64×64)個(gè)像素。把所生成的噪音提交于直方圖匹配單元92。直方圖匹配單元92對(duì)噪音進(jìn)行轉(zhuǎn)換，以具有與影片顆粒基本模式信息53基本相同的直方圖。以下，將描述在通過軟件處理實(shí)現(xiàn)直方圖匹配單元92的情況下的轉(zhuǎn)換算法的例子。
1.假設(shè)將為影片顆?；灸Ｊ叫畔?3中匹配對(duì)象的直方圖的最小值和最大值為CMIN、CMAX，而且CMIN和CMAN之間的直方圖的劃分段的數(shù)量為圍框的數(shù)目。圍框指示直方圖的劃分段。另外，還假設(shè)編碼方所創(chuàng)建、接收或者再現(xiàn)的直方圖的累積分布函數(shù)為CDF ref(圍框)(0≤圍框＜圍框的數(shù)目-1)。
2.假設(shè)輸入信號(hào)(噪音生成單元91的輸出)為val org(h，v)，而且該輸入信號(hào)的累積分布函數(shù)為CDF org(圍框)(0≤圍框＜圍框的數(shù)目-1)。
3.對(duì)于輸入信號(hào)val org(h，v)的每一因子，根據(jù)下列偽代碼獲得val repl，并且用該值取代val org(h，v)。
val＝CDF org(((val org(h，v)-CMIN)/(CMAX-CMIN)*(圍框的數(shù)目-1)))；對(duì)于(i＝0；i＜圍框的數(shù)目；1++)如果(CDF ref(i)＞＝val)中斷；如果(i＝＝圍框的數(shù)目)i--；val repl＝i/(圍框的數(shù)目-1)*(CMAX-CMIN)+CMIN；其它直方圖匹配單元93、94、95以及96也具有上述算法的直方圖匹配函數(shù)。把直方圖匹配單元92的輸出信號(hào)提交于分析高通濾波器97和分析低通濾波器98，并且把分析高通濾波器97的輸出提交于直方圖匹配單元93，以及把分析低通濾波器98的輸出提交于直方圖匹配單元94。
另外，還把直方圖匹配單元94的輸出信號(hào)提交于分析高通濾波器99和分析低通濾波器100，把分析高通濾波器99的輸出提交于直方圖匹配單元95，把分析低通濾波器100的輸出提交于直方圖匹配單元96。
影片顆粒基本模式信息53向直方圖匹配單元92～96中的每一個(gè)提供不同的直方圖信息。把圖7C中的直方圖信息F1提交于直方圖匹配單元92，因?yàn)槠渖婕盎鶐А０阎狈綀D信息F2提交于直方圖匹配單元93，因?yàn)槠渖婕案邘?。把直方圖信息F3提交于直方圖匹配單元94，因?yàn)槠渖婕暗蛶А?br> 通過該分析高通濾波器97和99以及該分析低通濾波器98和100執(zhí)行子頻帶的劃分，把每一子頻帶的分量提交于綜合濾波器組101。綜合濾波器組101包括綜合高通濾波器102，其上被提供了直方圖匹配單元93的輸出信號(hào)；綜合高通濾波器103，其上被提供了直方圖匹配單元95的輸出信號(hào)；以及綜合低通濾波器104，其上被提供了直方圖匹配單元96的輸出信號(hào)。
加法器105把綜合高通濾波器103的輸出信號(hào)和綜合低通濾波器104的輸出信號(hào)相加，同時(shí)，加法器106把綜合高通濾波器102的輸出信號(hào)和加法器105的輸出信號(hào)相加。把影片顆?；灸Ｊ叫畔?6取出至加法器106的輸出端。同時(shí)，綜合濾波器組的結(jié)構(gòu)對(duì)應(yīng)于編碼方的子頻帶的劃分的結(jié)構(gòu)。
通過以上所描述的乘法器84，把影片顆?；灸Ｊ叫畔?6與影片顆粒強(qiáng)度信息88相乘，來對(duì)強(qiáng)度進(jìn)行校正或調(diào)整。在調(diào)整了其強(qiáng)度之后，把影片顆粒圖像89添加于譯碼后的圖像信息42，使得可獲得具有由高效編碼和譯碼而丟失的影片顆粒信息的高質(zhì)量的譯碼后圖像43。
圖10示意性地解釋了譯碼方影片顆粒圖像的重新構(gòu)造的處理。基本模式生成單元81生成其噪音直方圖與影片顆?；灸Ｊ叫畔?3基本相同的影片顆?；灸Ｊ?6。影片顆?；灸Ｊ?6為(64×64)個(gè)像素，裁剪(16×16)個(gè)像素的區(qū)域，并且將其提交于乘法器84。
在編碼方創(chuàng)建影片顆粒強(qiáng)度信息54，并且將其加以存儲(chǔ)，對(duì)應(yīng)于譯碼后圖像信息42的(16×16)個(gè)像素區(qū)域中的像素值的平均值87，輸出強(qiáng)度信息88。根據(jù)這一強(qiáng)度信息88，調(diào)整基本模式86的強(qiáng)度。加法器85以像素為單位，把調(diào)整了其強(qiáng)度的影片顆粒圖像89添加于譯碼后圖像信息42的(16×16)個(gè)像素的區(qū)域。
接下來，將在把分量視頻信號(hào)作為例子的情況下，描述影片顆粒信息的抽取和影片顆粒圖像的重新構(gòu)造的某些處理方法。圖11描述了第一處理方法。根據(jù)第一處理方法，針對(duì)分量Y、Cr以及Cb的每一個(gè)，抽取影片顆?；灸Ｊ叫畔⒑陀捌w粒強(qiáng)度信息，以便從每一幀中抽取這些信息塊。該圖描述了其中存在場(chǎng)景A和場(chǎng)景B的圖像信號(hào)。在譯碼方，針對(duì)分量Y、Cr以及Cb的每一個(gè)，使用每幀的影片顆?；灸Ｊ叫畔⒑陀捌w粒強(qiáng)度信息來重新構(gòu)造影片顆粒。
圖12描述了第二處理方法。根據(jù)第二處理方法，針對(duì)分量Y、Cr以及Cb的每一分量，抽取影片顆粒基本模式信息和影片顆粒強(qiáng)度信息。僅在每一場(chǎng)景的首部的幀處，抽取影片顆粒基本模式信息。在譯碼方，通常把所抽取的基本模式信息用于同一場(chǎng)景中的所有幀。像第一處理方法一樣，在每幀中，針對(duì)每一分量抽取影片顆粒強(qiáng)度信息。
圖13描述了第三處理方法。根據(jù)第三處理方法，僅從分量中的亮度信號(hào)Y抽取影片顆?；灸Ｊ叫畔?。僅在每一場(chǎng)景的首部的幀中抽取影片顆?；灸Ｊ叫畔?。在譯碼方，把所抽取的基本模式信息共用于同一場(chǎng)景的所有幀和所有分量。像第一處理方法一樣，在每幀中，針對(duì)每一分量抽取影片顆粒強(qiáng)度信息。
圖14描述了第四處理方法。根據(jù)第四處理方法，針對(duì)分量Y、Cr以及Cb中的每一分量，抽取影片顆?；灸Ｊ叫畔⒑陀捌w粒強(qiáng)度信息。僅在每一場(chǎng)景的首部的幀中，抽取影片顆?；灸Ｊ叫畔⒑陀捌w粒強(qiáng)度信息兩者。在譯碼方，把所抽取的基本模式信息和強(qiáng)度信息共用于同一場(chǎng)景中的所有幀。
圖15描述了第五處理方法。根據(jù)第五處理方法，從分量中的亮度信號(hào)Y抽取影片顆粒基本模式信息。僅在每一場(chǎng)景的首部的幀中抽取影片顆?；灸Ｊ叫畔?。在譯碼方，把所抽取的基本模式信息共用于同一場(chǎng)景中的所有幀和所有分量。針對(duì)分量Y、Cr以及Cb中的每一分量，抽取影片顆粒強(qiáng)度信息。僅在每一場(chǎng)景的首部的幀中，抽取影片顆粒強(qiáng)度信息。在譯碼方，把所抽取的影片顆粒強(qiáng)度信息共用于同一場(chǎng)景的所有幀中的每一分量。
圖16描述了第六處理方法。根據(jù)第六處理方法，僅從分量中的亮度信號(hào)Y抽取影片顆粒基本模式信息和影片顆粒強(qiáng)度信息兩者。在譯碼方，把所抽取的基本模式信息和強(qiáng)度信息兩者共用于同一場(chǎng)景中的所有楨和所有分量。
在以上所描述的第一～第六處理方法中，考慮在通過添加影片顆粒引起的圖像質(zhì)量改進(jìn)效果和將加以傳輸?shù)挠捌w粒信息的數(shù)據(jù)數(shù)量之間的關(guān)系來使用適當(dāng)?shù)姆椒?。另外，可以這樣地構(gòu)造第一～第六處理方法，使得可以根據(jù)用戶的操作，選擇兩種或兩種以上的處理方法，并且可以對(duì)它們加以轉(zhuǎn)換。
以上，具體地描述了本發(fā)明的實(shí)施例。本發(fā)明并不局限于以上所描述的實(shí)施例，而可以根據(jù)本發(fā)明的技術(shù)構(gòu)思，按不同的方式對(duì)本發(fā)明進(jìn)行修改。例如，對(duì)于子頻帶的劃分方法，可以將子頻帶劃分成水平頻率方向和垂直頻率方向的兩個(gè)段，以產(chǎn)生4個(gè)子頻帶。另外，作為一種根據(jù)影片顆?；灸Ｊ叫畔⑻幚碓胍舴至康姆椒?，也可以采用除以上提到的算法之外的算法。而且，本發(fā)明還允許把除MPEG-4 AVC(或H.264)外的、諸如MPEG2的其它編碼方法用作針對(duì)動(dòng)畫的一種高效編碼方法。
根據(jù)本發(fā)明，在編碼方，有效地抽取了在譯碼方所丟失的影片顆粒信息，并且將其傳輸于譯碼方，或者將其記錄在記錄媒體中。在譯碼方，根據(jù)所獲得的信息，重新構(gòu)造將添加于圖像的影片顆粒信息，并且將其添加于譯碼后的圖像。因此，向譯碼后的圖像提供了影片質(zhì)地，從而可以明顯地改進(jìn)圖像質(zhì)量。
權(quán)利要求
1.一種用于輸入圖像信號(hào)之高效編碼的圖像處理裝置，包括區(qū)域檢測(cè)裝置，用于檢測(cè)輸入圖像中不包含劇烈變化的區(qū)域；第一抽取裝置，用于抽取基本模式信息，該基本模式信息指示由區(qū)域檢測(cè)裝置檢測(cè)的區(qū)域中的像素值的等級(jí)分布；第二抽取裝置，用于獲取強(qiáng)度信息，該強(qiáng)度信息指示將加以添加的影片顆粒的強(qiáng)度；以及用于傳輸或記錄編碼后數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的裝置。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，第一抽取裝置為一種把所述區(qū)域中的像素值的頻率分布用作基本模式信息的圖像處理裝置。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，第一抽取裝置為一種用于把所述區(qū)域中的像素劃分成多個(gè)頻帶，并且針對(duì)每一頻帶抽取基本模式的圖像處理裝置。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，第二抽取裝置為一種用于生成對(duì)應(yīng)于每一區(qū)域中的像素的平均值的強(qiáng)度信息的圖像處理裝置。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，第一和第二抽取裝置檢測(cè)輸入圖像中的每幀的基本模式信息和強(qiáng)度信息。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，第一和第二抽取裝置檢測(cè)輸入圖像中的每一個(gè)場(chǎng)景的基本模式信息和強(qiáng)度信息。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，第一和第二抽取裝置的一個(gè)檢測(cè)輸入圖像的每幀的基本模式信息和強(qiáng)度信息的一個(gè)，而第一和第二抽取裝置的另一個(gè)檢測(cè)輸入圖像的每一個(gè)場(chǎng)景的基本模式信息和強(qiáng)度信息的另一個(gè)。
8.一種圖像處理裝置，用于接收或者再現(xiàn)高效編碼的編碼后數(shù)據(jù)、指示輸入圖像中不包含劇烈變化的區(qū)域中的像素值的等級(jí)分布的基本模式信息、以及指示添加影片顆粒的程度的強(qiáng)度信息，包括譯碼裝置，用于對(duì)編碼后數(shù)據(jù)進(jìn)行譯碼；基本模式生成裝置，用于通過把隨機(jī)噪音的等級(jí)分布轉(zhuǎn)換為與基本模式信息中所指示的等級(jí)分布相同的等級(jí)分布，重新構(gòu)造影片顆粒圖像；強(qiáng)度調(diào)整裝置，用于根據(jù)強(qiáng)度信息調(diào)整影片顆粒圖像的強(qiáng)度；以及添加裝置，用于把對(duì)其強(qiáng)度進(jìn)行了調(diào)整的影片顆粒圖像添加于譯碼裝置所獲得的譯碼后的圖像信息。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，裁剪由基本模式生成裝置所生成的影片顆粒圖像中的區(qū)域，并且將其添加于譯碼后的圖像信息。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，隨機(jī)地改變所裁剪區(qū)域的位置。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，強(qiáng)度調(diào)整裝置調(diào)整所述圖像中的每一所指定區(qū)域中的強(qiáng)度。
12.一種圖像處理裝置，用于高效編碼輸入圖像信號(hào)、傳輸或記錄編碼后的數(shù)據(jù)、以及譯碼所接收或所再現(xiàn)的編碼后的數(shù)據(jù)，其中，其編碼方包括區(qū)域檢測(cè)裝置，用于檢測(cè)輸入圖像中的不包含劇烈變化的區(qū)域；第一抽取裝置，用于抽取基本模式信息，該基本模式信息指示由區(qū)域檢測(cè)裝置所檢測(cè)的區(qū)域中的像素值的等級(jí)分布；第二抽取裝置，用于獲取強(qiáng)度信息，該強(qiáng)度信息指示將加以添加的影片顆粒的強(qiáng)度；以及用于傳輸或記錄編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的裝置，以及其譯碼方包括用于接收或再現(xiàn)編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的裝置；基本模式生成裝置，用于通過把隨機(jī)噪音的等級(jí)分布轉(zhuǎn)換為與基本模式信息中所指示的等級(jí)分布相同的等級(jí)分布，重新構(gòu)造影片顆粒圖像；強(qiáng)度調(diào)整裝置，用于根據(jù)強(qiáng)度信息調(diào)整影片顆粒圖像的強(qiáng)度；以及添加裝置，用于把對(duì)其強(qiáng)度進(jìn)行了調(diào)整的影片顆粒圖像添加于由譯碼裝置所獲得的譯碼后的圖像信息。
13.一種用于高效編碼輸入圖像信號(hào)的圖像處理方法，包括區(qū)域檢測(cè)步驟，用于檢測(cè)輸入圖像中的不包含劇烈變化的區(qū)域；第一抽取步驟，用于抽取基本模式信息，該基本模式信息指示由區(qū)域檢測(cè)步驟所檢測(cè)的區(qū)域中的像素值的等級(jí)分布；第二抽取步驟，用于獲取強(qiáng)度信息，該強(qiáng)度信息指示將加以添加的影片顆粒的強(qiáng)度；以及用于傳輸或記錄編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的步驟。
14.一種圖像處理方法，用于接收或者再現(xiàn)高效編碼的編碼后的數(shù)據(jù)、指示輸入圖像中不包含劇烈變化的區(qū)域中的像素值的等級(jí)分布的基本模式信息、以及指示添加影片顆粒的程度的強(qiáng)度信息，該圖像處理方法包括譯碼步驟，用于對(duì)編碼后的數(shù)據(jù)進(jìn)行譯碼；基本模式生成步驟，用于通過把隨機(jī)噪音的等級(jí)分布轉(zhuǎn)換為與基本模式信息中所指示的等級(jí)分布相同的等級(jí)分布，重新構(gòu)造影片顆粒圖像；強(qiáng)度調(diào)整步驟，用于根據(jù)強(qiáng)度信息調(diào)整影片顆粒圖像的強(qiáng)度；以及添加步驟，用于把對(duì)其強(qiáng)度進(jìn)行了調(diào)整的影片顆粒圖像添加于譯碼步驟所獲得的譯碼后的圖像信息。
15.一種圖像處理方法，用于高效編碼輸入圖像信號(hào)、傳輸或記錄編碼后的數(shù)據(jù)、以及對(duì)所接收或所再現(xiàn)的編碼后的數(shù)據(jù)進(jìn)行譯碼，其中，在其編碼方的處理包括區(qū)域檢測(cè)步驟，用于檢測(cè)輸入圖像中的不包含劇烈變化的區(qū)域；第一抽取步驟，用于抽取基本模式信息，該基本模式信息指示由區(qū)域檢測(cè)步驟所檢測(cè)的區(qū)域中的像素值的等級(jí)分布；第二抽取步驟，用于獲取強(qiáng)度信息，該強(qiáng)度信息指示將加以添加的影片顆粒的強(qiáng)度；以及用于傳輸或記錄編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的步驟，以及在其譯碼方的處理包括用于接收或再現(xiàn)編碼后的數(shù)據(jù)、基本模式信息以及強(qiáng)度信息的步驟；基本模式生成步驟，用于通過把隨機(jī)噪音的等級(jí)分布轉(zhuǎn)換為與基本模式信息中所指示的等級(jí)分布相同的等級(jí)分布，重新構(gòu)造影片顆粒圖像；強(qiáng)度調(diào)整步驟，用于根據(jù)強(qiáng)度信息調(diào)整影片顆粒圖像的強(qiáng)度；以及添加步驟，用于把對(duì)其強(qiáng)度進(jìn)行了調(diào)整的影片顆粒圖像添加于譯碼步驟所獲得的譯碼后的圖像信息。
全文摘要
基本模式生成設(shè)備(81)生成具有與影片顆粒基本模式信息(53)幾乎相同的隨機(jī)噪音直方圖的影片顆?；灸Ｊ?86)。影片顆?；灸Ｊ?86)具有[64×64]個(gè)像素，從中裁剪[16×16]個(gè)像素的區(qū)域，并且將其提交于乘法器(84)。根據(jù)在編碼方所創(chuàng)建的影片顆粒強(qiáng)度信息(54)，以及譯碼圖像信息(42)的[16×16]個(gè)像素的區(qū)域的像素值的平均值(87)，生成強(qiáng)度信息(88)。根據(jù)這一強(qiáng)度信息(88)，調(diào)整基本模式(86)的強(qiáng)度。加法器(85)以像素為單位，把已經(jīng)經(jīng)歷了強(qiáng)度調(diào)整的影片顆粒圖像(89)添加于譯碼圖像信息(42)的(16×16)個(gè)像素的區(qū)域。
文檔編號(hào)H04N7/26GK101080929SQ20058004341
公開日2007年11月28日 申請(qǐng)日期2005年9月14日 優(yōu)先權(quán)日2004年10月18日
發(fā)明者村山淳 申請(qǐng)人:索尼株式會(huì)社