專(zhuān)利名稱(chēng)：圖像編碼裝置和圖像解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼裝置和圖像解碼裝置，特別是，涉及用于數(shù)字圖像處理領(lǐng)域的，用于以有效的方法編碼圖象數(shù)據(jù)的運(yùn)動(dòng)圖像編碼裝置(motion imagecoding apparatus)和用于對(duì)由運(yùn)動(dòng)圖像編碼裝置生成的經(jīng)編碼數(shù)據(jù)進(jìn)行解碼的運(yùn)動(dòng)圖像解碼裝置。
背景技術(shù)：
在圖像編碼中，已考慮到疊加不同運(yùn)動(dòng)圖像序列的方法。名為“運(yùn)用分層表示法和多個(gè)模板的圖像編碼方案”的論文(IEICE，IE94-159的技術(shù)報(bào)告，第99-106頁(yè)(1995))描述用于把運(yùn)動(dòng)圖像序列作為背景和另一個(gè)運(yùn)動(dòng)圖像序列分量或局部圖像(part image)(例如，用色度鍵技術(shù)剪切人像或接合板(fish)的視頻圖像)作為前景相疊加以生成新的圖像序列的方法。
圖12是示出根據(jù)現(xiàn)有技術(shù)的編碼裝置和解碼裝置的方框圖。圖12中的像素?cái)?shù)據(jù)編碼部分1201是用于對(duì)表示強(qiáng)度和色差的像素?cái)?shù)據(jù)進(jìn)行編碼的部分，而形狀數(shù)據(jù)編碼部分1202是用于對(duì)表示局部圖像的形狀的形狀數(shù)據(jù)進(jìn)行編碼的。這些部分構(gòu)成用于對(duì)局部圖像進(jìn)行編碼的裝置。
用形狀數(shù)據(jù)對(duì)像素?cái)?shù)據(jù)進(jìn)行編碼。圖12中的像素?cái)?shù)據(jù)解碼部分1203是用于對(duì)像素?cái)?shù)據(jù)進(jìn)行解碼的部分，而形狀數(shù)據(jù)解碼部分1204是用于對(duì)形狀數(shù)據(jù)進(jìn)行解碼的。這些部分構(gòu)成用于對(duì)局部圖像進(jìn)行解碼的裝置。將經(jīng)解碼的形狀數(shù)據(jù)來(lái)對(duì)像素?cái)?shù)據(jù)進(jìn)行解碼。
例如，形狀數(shù)據(jù)編碼部分1202首先用8個(gè)方向鏈?zhǔn)骄幋a(directional chain code)表示形狀的輪廓，然后用霍失曼(Huffman)編碼對(duì)鏈?zhǔn)骄幋a進(jìn)行編碼。像素?cái)?shù)據(jù)編碼部分1201用編碼運(yùn)動(dòng)圖像的國(guó)際標(biāo)準(zhǔn)方法(諸如，MPEG或H.261)對(duì)像素?cái)?shù)據(jù)進(jìn)行編碼。當(dāng)把像素?cái)?shù)據(jù)分塊時(shí)，可將任意形狀DCT技術(shù)等用于包括局部圖像的邊界的塊。
由解碼裝置對(duì)每個(gè)局部圖像進(jìn)行解碼，然后運(yùn)用形狀數(shù)據(jù)在疊加位置(未圖示)上疊加每個(gè)局部圖像并顯示在諸如顯示器的裝置上。例如，當(dāng)把以任意形狀的局部圖像p(i，j)疊加在矩形背景圖像b(i，j)上時(shí)，根據(jù)下列表達(dá)式(1)，運(yùn)用形狀數(shù)據(jù)s(i，j)生成顯示圖像f(i，j)f(i，j)＝p(i，j)s(i，j)+b(i，j)[1-s(i，j)] ……(1)其中(i，j)表示像素的坐標(biāo)，而f(i，j)表示像素值。s(，j)假設(shè)在局部圖像內(nèi)值“1”，而在局部圖像外值“0”。
然而，在現(xiàn)有技術(shù)中，沒(méi)有提出為局部圖像建立空間分級(jí)的技術(shù)。國(guó)際標(biāo)準(zhǔn)MPEG2方法實(shí)現(xiàn)對(duì)整個(gè)圖像的分級(jí)(即，空間分級(jí))。用這種方法，對(duì)在整個(gè)圖像中具有低空間分辨率的下層中的數(shù)據(jù)和在用于提高分辨率的高層中的數(shù)據(jù)一起進(jìn)行解碼并獲得高空間分辨率。
因此，本發(fā)明的目的在于提供圖像編碼裝置和圖像解碼裝置，可以在局部圖像中實(shí)現(xiàn)空間分級(jí)。
為了獲得低分辨率的形狀數(shù)據(jù)，可以簡(jiǎn)單地使由現(xiàn)有技術(shù)獲得的高分辨率數(shù)據(jù)變稀(thin out)。然而，如果在具有低分辨率的大屏幕的監(jiān)視器顯示如此獲得的低分辨率的圖像，那么局部圖像的輪廓將出現(xiàn)階梯狀，它使得心理圖像質(zhì)量惡化。當(dāng)放大低分辨率圖像以顯示在具有高分辨率的大屏幕監(jiān)視器上時(shí)，會(huì)發(fā)生相同的問(wèn)題。
因此，本發(fā)明的另一個(gè)目的在于提供可以解決上述問(wèn)題的圖像編碼裝置和圖像解碼裝置。
發(fā)明內(nèi)容
在本發(fā)明中，提供在下列(1)至(10)中所述的圖像編碼裝置和圖像解碼裝置來(lái)解決上述問(wèn)題。
(1)一種圖像編碼裝置，它執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行編碼的下層編碼和對(duì)局部圖像以高分辨率進(jìn)行編碼的上層編碼，包括用于生成表示任意形狀的低分辨率形狀數(shù)據(jù)的第一形狀數(shù)據(jù)生成部分；用于對(duì)生成的低分辨率形狀數(shù)據(jù)進(jìn)行編碼的第一形狀數(shù)據(jù)編碼部分用于生成表示任意形狀的高分辨率形狀數(shù)據(jù)的第二形狀數(shù)據(jù)生成部分；和用于對(duì)生成的高分辨率形狀數(shù)據(jù)進(jìn)行編碼的第二形狀數(shù)據(jù)編碼部分；其中將低分辨率形狀數(shù)據(jù)用于編碼在下層中的局部圖像，而且將在下層中的高分辨率形狀數(shù)據(jù)和經(jīng)解碼的部分圖像數(shù)據(jù)用于對(duì)在所上層中的局部圖像進(jìn)行編碼。
(2)根據(jù)(1)的圖像編碼裝置，其中第二形狀數(shù)據(jù)編碼部分對(duì)關(guān)于在高分辨率形狀數(shù)據(jù)和低分辨率形狀數(shù)據(jù)之間差異的信息進(jìn)行編碼。
(3)一種圖像編碼裝置，它執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行編碼的下層編碼，和對(duì)局部圖像以高分辨率進(jìn)行編碼的上層編碼，其中由上層和下層共享局部圖像的高分辨率形狀數(shù)據(jù)；圖像編碼裝置包括用于生成上層局部圖像的高分辨率形狀數(shù)據(jù)的高分辨率形狀數(shù)據(jù)生成部分；和用于對(duì)生成的高分辨率形狀數(shù)據(jù)進(jìn)行編碼的形狀數(shù)據(jù)編碼部分；其中把具有N分級(jí)層(N至少為2)的高分辨率形狀數(shù)據(jù)轉(zhuǎn)換成具有M(M＞N)分級(jí)層的低分辨率形狀數(shù)據(jù)；將低分辨率形狀數(shù)據(jù)用于對(duì)在下層中的局部圖像進(jìn)行編碼；和將高分辨率形狀數(shù)據(jù)和經(jīng)解碼的下層中的局部圖像數(shù)據(jù)用于對(duì)在上層中的局部圖像進(jìn)行編碼。
(4)一種用于解碼由根據(jù)(1)的圖像編碼裝置編碼的數(shù)據(jù)的圖像解碼裝置，它執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行解碼的下層解碼，和對(duì)局部圖像以高分辨率進(jìn)行解碼的上層解碼，圖像解碼裝置包括用于對(duì)低分辨率形狀數(shù)據(jù)進(jìn)行解碼的第一形狀數(shù)據(jù)解碼部分；和用于對(duì)高分辨率形狀數(shù)據(jù)進(jìn)行解碼的第二形狀數(shù)據(jù)解碼部分；其中將低分辨率形狀數(shù)據(jù)用于對(duì)在下層中的局部圖像進(jìn)行解碼，而且把在下層中的高分辨率形狀數(shù)據(jù)和經(jīng)解碼的局部圖像數(shù)據(jù)用于對(duì)在上層中的局部圖像進(jìn)行解碼。
(5)一種用于對(duì)由根據(jù)(2)的圖像編碼裝置編碼的數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置，執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行解碼的下層解碼和對(duì)局部圖像以高分辨率進(jìn)行解碼的上層解碼；圖像解碼裝置包括用于對(duì)低分辨率形狀數(shù)據(jù)進(jìn)行解碼的第一形狀數(shù)據(jù)解碼部分；和用于對(duì)高分辨率形狀數(shù)據(jù)進(jìn)行解碼的第二形狀數(shù)據(jù)解碼部分；其中將低分辨率形狀數(shù)據(jù)用于對(duì)在下層中的局部圖像進(jìn)行解碼，而且將在下層中的高分辨率形狀數(shù)據(jù)和經(jīng)解碼的部分圖像數(shù)據(jù)用于解碼在上層中的局部圖像，和第二形狀數(shù)據(jù)解碼部分用關(guān)于高分辨率形狀數(shù)據(jù)和低分辨率形狀數(shù)據(jù)之間差異的信息來(lái)獲得高分辨率的形狀數(shù)據(jù)。
(6)一種用于對(duì)由根據(jù)(3)的圖像編碼裝置編碼的數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置，執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行解碼的下層解碼和對(duì)局部圖像以高分辨率進(jìn)行解碼的上層解碼；其中在下層和上層中共享局部圖像的高分辨率形狀數(shù)據(jù)；圖像解碼裝置包括用于對(duì)高分辨率形狀數(shù)據(jù)進(jìn)行解碼的形狀數(shù)據(jù)解碼部分；其中把具有N(N至少為2)分級(jí)層的高分辨率形狀數(shù)據(jù)轉(zhuǎn)換成具有M(M＞N)分級(jí)層的低分辨率形狀數(shù)據(jù)，用經(jīng)轉(zhuǎn)換的形狀數(shù)據(jù)對(duì)在下層中的局部圖像進(jìn)行解碼；和用在下層中的高分辨率形狀數(shù)據(jù)和經(jīng)解碼的局部圖像對(duì)在上層中的局部圖像進(jìn)行解碼。
(7)一種根據(jù)(1)的圖像編碼裝置，第二形狀數(shù)據(jù)生成部分具有用于生成與在下層中編碼的一部分局部圖像相對(duì)應(yīng)的高分辨率形狀數(shù)據(jù)的模式。
(8)一種根據(jù)(2)的圖像編碼裝置，第二形狀數(shù)據(jù)生成部分具有用于生成與在下層中編碼的一部分局部圖像相對(duì)應(yīng)的高分辨率形狀數(shù)據(jù)的模式；和當(dāng)選擇該模式時(shí)，第二形狀數(shù)據(jù)編碼部分對(duì)獨(dú)立于低分辨率形狀數(shù)據(jù)的高分辨率形狀數(shù)據(jù)進(jìn)行編碼。
(9)一種用于對(duì)由根據(jù)(7)的圖像編碼裝置編碼的數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置，執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行解碼的下層解碼和對(duì)局部圖像以高分辨率進(jìn)行解碼的上層解碼；圖像解碼裝置包括用于對(duì)低分辨率形狀數(shù)據(jù)進(jìn)行解碼的第一形狀數(shù)據(jù)解碼部分；和用于對(duì)高分辨率形狀數(shù)據(jù)進(jìn)行解碼的第二形狀數(shù)據(jù)解碼部分；其中將低分辨率形狀數(shù)據(jù)用于對(duì)在下層中的局部圖像進(jìn)行解碼，和將在下層中的高分辨率形狀數(shù)據(jù)和經(jīng)解碼的局部圖像數(shù)據(jù)用于對(duì)在上層中的局部圖像進(jìn)行解碼；和第二形狀數(shù)據(jù)解碼部分具有用于對(duì)與在下層中編碼的一部分局部圖像相對(duì)應(yīng)的高分辨率形狀數(shù)據(jù)進(jìn)行解碼的模式。
(10)一種用于對(duì)由根據(jù)(8)的圖像編碼裝置編碼的數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置，執(zhí)行對(duì)具有任意形狀的局部圖像以低分辨率進(jìn)行解碼的下層解碼和對(duì)局部圖像以高分辨率進(jìn)行解碼的上層解碼；圖像解碼裝置包括用于對(duì)低分辨率形狀數(shù)據(jù)進(jìn)行解碼的第一形狀數(shù)據(jù)解碼部分；和用于對(duì)高分辨率形狀數(shù)據(jù)進(jìn)行解碼的第二形狀數(shù)據(jù)解碼部分；其中將低分辨率形狀數(shù)據(jù)用于對(duì)在下層中的局部圖像進(jìn)行解碼，和將在下層中的高分辨率形狀數(shù)據(jù)和經(jīng)解碼的局部圖像數(shù)據(jù)用于對(duì)在上層中的局部圖像進(jìn)行解碼；和第二形狀數(shù)據(jù)解碼部分通過(guò)運(yùn)用關(guān)于在高分辨率形狀數(shù)據(jù)和低分辨率形狀數(shù)據(jù)之間的差異的信息，獲得高分辨率形狀數(shù)據(jù)，和第二形狀數(shù)據(jù)解碼部分具有用于對(duì)與在下層中編碼的一部分局部圖像相對(duì)應(yīng)的高分辨率形狀數(shù)據(jù)進(jìn)行解碼的模式，而且當(dāng)選擇該模式時(shí)，解碼獨(dú)立于低分辨率形狀數(shù)據(jù)的高分辨率形狀數(shù)據(jù)。
圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的編碼裝置的方框圖。
圖2是示出根據(jù)本發(fā)明的第一實(shí)施例的解碼裝置的方框圖。
圖3是示出根據(jù)本發(fā)明的第二實(shí)施例的編碼裝置的方框圖。
圖4是示出根據(jù)本發(fā)明的第二實(shí)施例的解碼裝置的方框圖。
圖5是示出根據(jù)本發(fā)明的第三實(shí)施例的編碼裝置的方框圖。
圖6是示出根據(jù)本發(fā)明的第三實(shí)施例的用于下層的解碼裝置的方框圖。
圖7是示出關(guān)于上層形狀數(shù)據(jù)和下層形狀數(shù)據(jù)差異的信息應(yīng)用的示圖。
圖8A至8D是示出根據(jù)本發(fā)明，從高分辨率形狀數(shù)據(jù)獲得低分辨率形狀數(shù)據(jù)的技術(shù)應(yīng)用的示圖。
圖9是示出根據(jù)本發(fā)明的另一個(gè)實(shí)施例的編碼裝置的方框圖。
圖10是示出根據(jù)本發(fā)明，用于對(duì)局部圖像執(zhí)行分級(jí)編碼的裝置的示例方框圖。
圖11是示出根據(jù)本發(fā)明下層解碼裝置的方框圖。
圖12是在現(xiàn)有技術(shù)中編碼裝置和解碼裝置的方框圖。
具體實(shí)施例方式
下面，將描述本發(fā)明的實(shí)施例，雖然本發(fā)明并不局限于那些實(shí)施例。
如圖10所示的裝置被認(rèn)為用于在局部圖像中建立空間分級(jí)的裝置。圖10中的下采樣部分(down sampling portion)1001使來(lái)自輸入像素?cái)?shù)據(jù)的像素變稀從而降低像素?cái)?shù)據(jù)的空間分辨率。第二下采樣部分1002使來(lái)自輸入形狀數(shù)據(jù)的像素變稀從而降低形狀數(shù)據(jù)的空間分辨率。例如，形狀數(shù)據(jù)示出局部圖像的形狀，而且被表示為二進(jìn)制圖像，其中在局部圖像內(nèi)像素值為“1”，而在局部圖像之外像素值為“0”。
下層編碼部分1004對(duì)低分辨率的像素?cái)?shù)據(jù)進(jìn)行編碼?？蓪⒕幋a運(yùn)動(dòng)圖像的國(guó)際標(biāo)準(zhǔn)方法(諸如，MPEG或H.261)用于編碼。當(dāng)把圖像分成塊時(shí)，將任意形狀DCT技術(shù)等用于包括局部圖像的邊界的塊。在這種情況下，把從第二下采樣部分1002輸出的低分辨率形狀數(shù)據(jù)用作在局部圖像的邊界上的信息。
上層編碼部分1003對(duì)高分辨率的像素?cái)?shù)據(jù)進(jìn)行編碼，其中也可以采用運(yùn)動(dòng)圖像編碼的國(guó)際標(biāo)準(zhǔn)方法(諸如，MPEG或H.261)。這里，可以根據(jù)在下層中以及在高層中的經(jīng)編碼圖像進(jìn)行預(yù)測(cè)。將沒(méi)有被下采樣的高分辨率形狀數(shù)據(jù)用于局部圖像的邊界。
形狀數(shù)據(jù)編碼部分1005對(duì)與上層的分辨率相對(duì)應(yīng)的高分辨率的形狀數(shù)據(jù)進(jìn)行編碼。例如，用8個(gè)方向鏈?zhǔn)骄幋a表示形狀的輪廓，而且用霍夫曼碼編碼對(duì)這些鏈?zhǔn)酱a進(jìn)行編碼。
由集成部分(未圖示)集成經(jīng)編碼的數(shù)據(jù)并發(fā)送或存儲(chǔ)。在只對(duì)下層進(jìn)行解碼的解碼裝置(如圖11所示)中，只從用于在其中集成的上層和下層的編碼數(shù)據(jù)提取對(duì)下層碼所需的數(shù)據(jù)，而且將上述數(shù)據(jù)用于解碼處理。換句話(huà)說(shuō)，在選擇部分(未圖示)處選擇“下層像素?cái)?shù)據(jù)的經(jīng)編碼數(shù)據(jù)(coded data of the lower layer pixeldata)”和“形狀數(shù)據(jù)的經(jīng)編碼數(shù)據(jù)(coded data of the shape data)”并對(duì)其進(jìn)行解碼。
此時(shí)，在圖11中的形狀數(shù)據(jù)解碼部分1103對(duì)高分辨率形狀數(shù)據(jù)進(jìn)行解碼。運(yùn)用與在圖10的下采樣部分1002中相同的技術(shù)，在下采樣部分1102中獲得低分辨率形狀數(shù)據(jù)。于是，將所獲得的數(shù)據(jù)用于在下層解碼部分1101中解碼像素?cái)?shù)據(jù)。用于解碼上至上層的解碼裝置用所有編碼數(shù)據(jù)以引導(dǎo)上至上層的解碼。
然而，上述裝置存在下列問(wèn)題。即，雖然下層的傳統(tǒng)解碼只需低分辨率的形狀數(shù)據(jù)，但是當(dāng)在下層編碼時(shí)，上述裝置必需用高分辨率的形狀數(shù)據(jù)，這導(dǎo)致了冗余的數(shù)據(jù)。換句話(huà)說(shuō)，應(yīng)用在具有大量代碼的上層中的形狀數(shù)據(jù)，來(lái)代替在具有少量代碼的下層中的形狀數(shù)據(jù)。因此，很難在有限的傳輸和存儲(chǔ)容量?jī)?nèi)以高圖像質(zhì)量對(duì)下層進(jìn)行編碼。
本發(fā)明的第一和第二實(shí)施例旨于解決這個(gè)問(wèn)題。
圖1和2分別是示出根據(jù)第一實(shí)施例的編碼裝置和解碼裝置的方框圖。
參照?qǐng)D1，下采樣部分104使輸入像素?cái)?shù)據(jù)變稀以生成用于下層的低分辨率像素?cái)?shù)據(jù)。當(dāng)變稀時(shí)，用低通濾波器來(lái)防止混淆(aliasing)。下層編碼部分105對(duì)低分辨率像素?cái)?shù)據(jù)進(jìn)行編碼。
將編碼運(yùn)動(dòng)圖像的國(guó)際標(biāo)準(zhǔn)方法(諸如，MPEG或H.261)用于編碼。當(dāng)圖像分成塊，將任意形狀DCT技術(shù)等用于包括局部圖像的邊界的塊。將從第一形狀數(shù)據(jù)生成部分106輸出的低分辨率形狀數(shù)據(jù)用于局部圖像的邊界。
第一形狀數(shù)據(jù)輸出部分106生成用于下層的低分辨率形狀數(shù)據(jù)。例如，通過(guò)把像素?cái)?shù)據(jù)分成區(qū)域，提取形狀數(shù)據(jù)。用于區(qū)域劃分的技術(shù)包括運(yùn)用差分運(yùn)算的邊界檢測(cè)技術(shù)和形態(tài)分段。
當(dāng)從靜態(tài)背景上裁剪移動(dòng)物體的形狀時(shí)，可以運(yùn)用幀內(nèi)差異進(jìn)行動(dòng)態(tài)區(qū)域檢測(cè)。作為替代，通過(guò)色度鍵技術(shù)可以生成形狀數(shù)據(jù)。在圖1中，在使下采樣部分104中的目標(biāo)像素?cái)?shù)據(jù)變稀以降低它的分辨率之后獲得低分辨率形狀數(shù)據(jù)。然而，可以采用另一種方法，其中首先對(duì)于高分辨率像素?cái)?shù)據(jù)獲得形狀數(shù)據(jù)，然后使形狀數(shù)據(jù)變稀以獲得低分辨率形狀數(shù)據(jù)。
這里生成的形狀數(shù)據(jù)是二進(jìn)制圖像，或者具有兩個(gè)或多個(gè)等級(jí)的圖像。在后者情況下，根據(jù)上述表達(dá)式(1)把局部圖像和背景圖像的疊加可以認(rèn)為是局部圖像和背景圖像的加權(quán)平均，其中形狀數(shù)據(jù)是權(quán)重。注意，在目標(biāo)局部圖像內(nèi)，在表達(dá)式(1)中的形狀數(shù)據(jù)s(i，j)取值為“1”、在局部圖像外取值為“0”，而在局部圖像的邊界部分上，取“0”和“1”之間的值。
第一形狀數(shù)據(jù)編碼部分107對(duì)用于下層的低分辨率形狀數(shù)據(jù)進(jìn)行編碼。如果形狀數(shù)據(jù)是二進(jìn)制數(shù)據(jù)，那么將游程長(zhǎng)度編碼、MMR編碼、鏈?zhǔn)骄幋a等用于編碼。如果用兩個(gè)或多個(gè)等級(jí)表示形狀數(shù)據(jù)，那么運(yùn)用在MPEG中用DCT的編碼方法、運(yùn)用四叉樹(shù)(quaternary tree)和矢量量化(“MPEG-4視頻驗(yàn)證模型版本2.0”(ISO/IECTC1/SC29/WG11N1260))的編碼方法等。
第二形狀數(shù)據(jù)生成部分102根據(jù)高分辨率像素?cái)?shù)據(jù)，生成用于上層的高分辨率形狀數(shù)據(jù)。生成形狀數(shù)據(jù)的方法與第一形狀數(shù)據(jù)生成部分106相同，因而不再重復(fù)它的描述。第二形狀數(shù)據(jù)編碼部分103對(duì)由第二形狀數(shù)據(jù)生成部分102生產(chǎn)的高分辨率形狀數(shù)據(jù)進(jìn)行編碼。編碼形狀數(shù)據(jù)的方法與在第一形狀數(shù)據(jù)編碼部分107中的相同，這里就不再重復(fù)。注意，那兩個(gè)形狀數(shù)據(jù)編碼部分103、107不一定要運(yùn)用相同的編碼方法；而是，它們可以使用不同的編碼方法。
上層編碼部分101對(duì)高分辨率像素?cái)?shù)據(jù)進(jìn)行編碼。用編碼運(yùn)動(dòng)圖像的國(guó)際標(biāo)準(zhǔn)方法(諸如，在背景技術(shù)部分中所述的技術(shù)中的MPEG或H.261)進(jìn)行編碼。然而，這里，編碼利用根據(jù)存在于下層編碼部分105中的部分經(jīng)解碼圖像進(jìn)行的預(yù)測(cè)以及根據(jù)在上層中之前或時(shí)間上延續(xù)的經(jīng)解碼圖像進(jìn)行的預(yù)測(cè)。對(duì)于部分圖像的邊緣，運(yùn)用從第二形狀數(shù)據(jù)生成部分102輸出的高分辨率形狀數(shù)據(jù)。
接著，參照?qǐng)D2，描述根據(jù)第一實(shí)施例的解碼裝置。
下層解碼裝置205包括由圖2中的虛線(xiàn)所圍繞的部分。第一形狀數(shù)據(jù)解碼部分204對(duì)下層形狀數(shù)據(jù)的經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，以獲得低分辨率形狀數(shù)據(jù)。把經(jīng)解碼形狀數(shù)據(jù)發(fā)送到下層解碼部分203，而且還用于顯示下層圖像。下層解碼部分203對(duì)下層像素?cái)?shù)據(jù)的經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，并向下層顯示部分(未圖示)提供低分辨率像素?cái)?shù)據(jù)。
接著，將描述在圖2中的上層解碼。第二形狀數(shù)據(jù)解碼部分202對(duì)上層形狀數(shù)據(jù)的經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，以獲得高分辨率形狀數(shù)據(jù)。把經(jīng)解碼的形狀數(shù)據(jù)發(fā)送到上層解碼部分201，還用于顯示上層圖像。
上層解碼部分201對(duì)上層像素?cái)?shù)據(jù)的經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，并向上層顯示部分(未圖示)提供高分辨率像素?cái)?shù)據(jù)。上層解碼部分201與在圖1中上層編碼部分101中一樣利用根據(jù)在下層解碼部分203中的經(jīng)解碼圖像進(jìn)行的預(yù)測(cè)以及根據(jù)在上層中的以前或在時(shí)間上延續(xù)的經(jīng)解碼圖像進(jìn)行的預(yù)測(cè)。
現(xiàn)在將描述本發(fā)明的第二實(shí)施例。
在上述第一實(shí)施例中，對(duì)在上層中用到的高分辨率形狀數(shù)據(jù)和在下層中用到的低分辨率形狀數(shù)據(jù)相互獨(dú)立地進(jìn)行編碼。于是，關(guān)于在下層中的形狀數(shù)據(jù)的信息并不受在上層中形狀數(shù)據(jù)的編碼的影響，因此，在上層中的形狀數(shù)據(jù)的代碼量變得很大。這導(dǎo)致這樣的問(wèn)題，即，上層中代碼總量增長(zhǎng)超過(guò)在采用如圖10和11中所述的方法的情況中的代碼總量。因此，本實(shí)施例的目的在于通過(guò)只編碼低分辨率形狀數(shù)據(jù)和高分辨率形狀數(shù)據(jù)之間差異的信息以解決上述問(wèn)題。
圖3和4分別是示出根據(jù)第二實(shí)施例的編碼裝置和解碼裝置的方框圖。
圖3中的編碼裝置與在圖1中的編碼裝置有所不同之處，在于，把在第一形狀數(shù)據(jù)編碼部分307中的低分辨率形狀數(shù)據(jù)發(fā)送到第二形狀數(shù)據(jù)編碼部分303，而且第二形狀數(shù)據(jù)編碼部分303只對(duì)關(guān)于在低分辨率形狀數(shù)據(jù)和高分辨率形狀數(shù)據(jù)之間的差異的信息進(jìn)行編碼。
除此之外，上層編碼部分101、第二形狀數(shù)據(jù)生成部分102、下采樣部分104、下層編碼部分105和第一形狀數(shù)據(jù)生成部分106與在圖1中的相同，因此，這里不再重復(fù)。
圖4中的解碼裝置4與在圖2中的解碼裝置，不同之處在于，把在第一形狀數(shù)據(jù)解碼部分404中解碼的低分辨率形狀數(shù)據(jù)發(fā)送到第二形狀數(shù)據(jù)解碼部分402，以及第二形狀數(shù)據(jù)解碼部分402對(duì)高分辨率形狀數(shù)據(jù)以及關(guān)于差異的信息進(jìn)行解碼。
除此之外，上層解碼部分201和下層解碼部分203與在圖2中的相同，因此，不再重復(fù)。此外，下層解碼裝置405與在圖2中的下層解碼裝置205相同。
當(dāng)用四叉樹(shù)表示二進(jìn)制形狀數(shù)據(jù)時(shí)，例如，可將在樹(shù)的下層中的數(shù)據(jù)用作上述關(guān)于差異的信息。圖7示出二進(jìn)制形狀數(shù)據(jù)和它的示范四叉樹(shù)表示法。當(dāng)在4像素×4像素的塊中至少有一個(gè)像素值“1”時(shí)，四叉樹(shù)的最大值是“1”，反之為“0”。同樣，分別對(duì)于2像素×2像素以及1像素×1像素的塊，確定在樹(shù)的第二層和第三層中的值。
按照光柵掃描序列，從左上到右下對(duì)在各層中塊進(jìn)行掃描。在如圖7所示的例子中，用三層表示在上層中的形狀數(shù)據(jù)，而且用兩層表示在下層中的形狀數(shù)據(jù)。把在第三層中的數(shù)據(jù)表示為關(guān)于在上層和下層之間的差異的信息。例如，用運(yùn)算編碼對(duì)用四叉樹(shù)表示的這些數(shù)據(jù)進(jìn)行編碼。
當(dāng)用兩層或更多層表示形狀數(shù)據(jù)時(shí)，可以采用另一種編碼方法，其中在利用與高分辨率形狀數(shù)據(jù)之間的差異之前，上采樣低分辨率形狀數(shù)據(jù)至上層的分辨率，然后由變換編碼對(duì)差異數(shù)據(jù)進(jìn)行編碼。
接著，描述本發(fā)明的第三實(shí)施例。
在參照?qǐng)D10和11所述的方法中，通過(guò)使形狀數(shù)據(jù)變稀獲得低分辨率形狀數(shù)據(jù)。這可能導(dǎo)致在下層中的局部圖像的輪廓變成階梯狀的，這導(dǎo)致了圖像質(zhì)量的下降。
在第三實(shí)施例中，通過(guò)為形狀數(shù)據(jù)建立多于原始形狀數(shù)據(jù)的多個(gè)分級(jí)層，以及使形狀數(shù)據(jù)變稀，解決了上述問(wèn)題。
圖8A示出二進(jìn)制形狀數(shù)據(jù)部分。圖8B示出經(jīng)變換的示范形狀數(shù)據(jù)以適應(yīng)于分辨率減半而像素尺寸垂直和水平都加倍的低分辨率監(jiān)視器。在這個(gè)例子中，2×2過(guò)濾，0.25 0.250.25 0.25，用于由圖8A中的實(shí)線(xiàn)所包圍的塊，從而獲得具有五個(gè)分級(jí)層0，0.25，0.5，0.75和1的低分辨率形狀數(shù)據(jù)。當(dāng)用f(i，j)表示上述2×2過(guò)濾元素，而且用d(i，j)表示在圖8A中的塊內(nèi)的元素時(shí)，過(guò)濾運(yùn)算可表示如下∑f(i，j)d(i，j)其中，∑表示對(duì)于i＝1，2和j＝1，2的總和。如果元素形狀數(shù)據(jù)具有N個(gè)分級(jí)層，過(guò)濾允許生成具有M(M＞N)分級(jí)層的形狀數(shù)據(jù)。
圖8C示出用于擴(kuò)大低分辨率的局部圖像以在允許以與圖8A中相同的分辨率顯示的監(jiān)視器上顯示的示范形狀數(shù)據(jù)。通過(guò)簡(jiǎn)單地把圖8B中的數(shù)據(jù)在垂直和水平方向都擴(kuò)大兩倍，可以獲得該數(shù)據(jù)。增加上述低分辨率的形狀數(shù)據(jù)的分級(jí)層數(shù)量可以避免邊緣部分出現(xiàn)階梯狀。
例如，根據(jù)在背景技術(shù)部分中所述的表達(dá)式(1)，可將在圖8C中生成的形狀數(shù)據(jù)用于重疊圖像。在這種情況下，在局部圖像的輪廓部分處，混合背景和前景，從而在邊緣處有不顯眼的階梯狀樣式。
雖然運(yùn)用2×2過(guò)濾描述上述例子，但是也可以采用其它濾波器。例如，可用下列3×3過(guò)濾來(lái)把形狀數(shù)據(jù)轉(zhuǎn)換成垂直和水平都減半。
0 1/601/62/61/60 1/60這里，例如，用于子采樣的目標(biāo)像素是在圖8(d)用標(biāo)有·的那些像素。
圖5和6分別是示出根據(jù)第三實(shí)施例的編碼裝置和下層解碼裝置的方框圖。它們是對(duì)圖10和11所示的那些的變化形式，其中分別由變換部分504和602來(lái)代替用于下采樣形狀數(shù)據(jù)的部分。
除此之外，第一下采樣部分1001、上層編碼部分1003、下層編碼部分1004、形狀數(shù)據(jù)編碼部分1005、下層解碼部分1101和形狀數(shù)據(jù)解碼部分1103與圖10和11中的那些相同，因此，這里不再重復(fù)。
變換部分504和602(這兩個(gè)部分的操作過(guò)程互相相同)把形狀數(shù)據(jù)轉(zhuǎn)換成具有低分辨率但是更多分級(jí)層的形狀數(shù)據(jù)(如圖8所示)。
雖然在圖8A-8C中用到2×2過(guò)濾，但是也可將多個(gè)其它濾波器(諸如，3×3或2×5的濾波器)用于變換。
此外，在根據(jù)上述實(shí)施例的編碼裝置的描述中，還把發(fā)送到形狀數(shù)據(jù)編碼部分的形狀數(shù)據(jù)發(fā)送到相應(yīng)的像素?cái)?shù)據(jù)編碼部分。然而，在那種情況下，當(dāng)在形狀數(shù)據(jù)編碼部分中執(zhí)行不可逆編碼上將會(huì)引起一個(gè)問(wèn)題，那是因?yàn)樵谙袼財(cái)?shù)據(jù)編碼部分中用到的形狀數(shù)據(jù)和在解碼裝置中的像素?cái)?shù)據(jù)解碼部分中用到的形狀數(shù)據(jù)互不相同。
在這種情況下，編碼裝置可設(shè)有形狀數(shù)據(jù)解碼部分，從而在發(fā)送到相應(yīng)的像素?cái)?shù)據(jù)編碼部分之前，可以在形狀數(shù)據(jù)中對(duì)經(jīng)編碼的形狀數(shù)據(jù)進(jìn)行解碼。圖9示出已用這種方法進(jìn)行變換的在圖3中的編碼裝置的變化形式。
參照?qǐng)D9，把已由第一形狀數(shù)據(jù)解碼部分909解碼的下層形狀數(shù)據(jù)的經(jīng)解碼數(shù)據(jù)發(fā)送到下層編碼部分905以及第二形狀數(shù)據(jù)編碼部分903和第二形狀數(shù)據(jù)解碼部分908。與如圖9所示的編碼裝置相對(duì)應(yīng)的解碼裝置還用在上層形狀數(shù)據(jù)解碼部分處的下層形狀數(shù)據(jù)的經(jīng)解碼數(shù)據(jù)，其中所述上層形狀數(shù)據(jù)解碼部分與圖9中的第二形狀數(shù)據(jù)解碼部分908相同。
最后，描述本發(fā)明的第四實(shí)施例。
本實(shí)施例是基于第一和第二實(shí)施例，但是其中構(gòu)成上層以改進(jìn)在下層中編碼的一部分局部圖像的空間分辨率。通過(guò)這種結(jié)構(gòu)，可對(duì)臉部圖像區(qū)域進(jìn)行編碼作為在下層中的局部圖像，但是例如，可以在上層中，以高分辨率對(duì)嘴部進(jìn)行編碼。
當(dāng)?shù)谒膶?shí)施例適用于第一實(shí)施例時(shí)，可用如圖1所示的編碼裝置的第二形狀數(shù)據(jù)生成部分102生成與一部分局部圖像相對(duì)應(yīng)的高分辨率形狀數(shù)據(jù)，從而可以執(zhí)行本發(fā)明。
如圖2所示的裝置可用作與其相對(duì)應(yīng)的解碼裝置。同樣，當(dāng)本實(shí)施例適用于第二實(shí)施例時(shí)，可由如圖3所示的編碼裝置的第二形狀數(shù)據(jù)生成部分102生成與一部分局部圖像相對(duì)應(yīng)的高分辨率形狀數(shù)據(jù)，從而可以執(zhí)行本發(fā)明。
然而，在這種情況下，不用從第一形狀數(shù)據(jù)編碼部分307到第二形狀數(shù)據(jù)編碼部分303的信號(hào)線(xiàn)。從而，需要提供開(kāi)關(guān)以在第四和第二實(shí)施例中所述的方法之間進(jìn)行轉(zhuǎn)換。在第一形狀數(shù)據(jù)編碼部分307和第二形狀數(shù)據(jù)編碼部分303之間設(shè)有該開(kāi)關(guān)。當(dāng)根據(jù)第四實(shí)施例適用該方法時(shí)，關(guān)閉該開(kāi)關(guān)，并獨(dú)立地對(duì)上層形狀數(shù)據(jù)(第二形狀數(shù)據(jù))進(jìn)行編碼。當(dāng)運(yùn)用在第二實(shí)施例中所述的方法時(shí)，接通開(kāi)關(guān)，而且對(duì)關(guān)于上層形狀數(shù)據(jù)(第二形狀數(shù)據(jù))和下層形狀數(shù)據(jù)(第一形狀數(shù)據(jù))之間的差異的信息進(jìn)行編碼。
對(duì)于解碼裝置，如圖4所示的裝置設(shè)有類(lèi)似的開(kāi)關(guān)，其中把它設(shè)在連接圖4中的第一形狀數(shù)據(jù)解碼部分404和第二形狀數(shù)據(jù)解碼部分402的信號(hào)線(xiàn)上。該開(kāi)關(guān)(如同在編碼裝置中的開(kāi)關(guān))控制在獨(dú)立解碼上層形狀數(shù)據(jù)(第二形狀數(shù)據(jù))的情況和解碼表示上層形狀數(shù)據(jù)(第二形狀數(shù)據(jù))和下層形狀數(shù)據(jù)(第一形狀數(shù)據(jù))之間差異的數(shù)據(jù)的情況之間的轉(zhuǎn)換，然后把差異數(shù)據(jù)加到下層形狀數(shù)據(jù)9第一形狀數(shù)據(jù))以對(duì)上層形狀數(shù)據(jù)(第二形狀數(shù)據(jù))進(jìn)行解碼。
根據(jù)上述實(shí)施例的運(yùn)動(dòng)圖像編碼裝置和運(yùn)動(dòng)圖像解碼裝置，可以獲得下列有利效果(1)可以實(shí)現(xiàn)對(duì)具有空間分級(jí)的局部圖像進(jìn)行編碼和解碼。
(2)在第一實(shí)施例中，對(duì)低分辨率形狀數(shù)據(jù)進(jìn)行編碼作為下層的形狀數(shù)據(jù)。因此，可以消除與在下層中的高分辨率形狀數(shù)據(jù)的編碼相關(guān)的冗余度。因此可以對(duì)在下層中的圖像進(jìn)行編碼和解碼并保存所需的圖像質(zhì)量，甚至是在發(fā)送和存儲(chǔ)容量有限的情況下。
(3)在第二實(shí)施例中，將關(guān)于在下層中的形狀數(shù)據(jù)的信息用于對(duì)在上層中的形狀數(shù)據(jù)進(jìn)行編碼，而且編碼關(guān)于在低分辨率形狀數(shù)據(jù)和高分辨率形狀數(shù)據(jù)之間的差異的信息。因此，可以減小編碼在上層中的形狀數(shù)據(jù)所需的數(shù)據(jù)量。因此，可以在上層中實(shí)現(xiàn)有效的編碼。
(4)在第三實(shí)施例中，發(fā)送上層形狀數(shù)據(jù)以生成具有更多分級(jí)層的下層形狀數(shù)據(jù)。
因此，可使存在于下層形狀數(shù)據(jù)的輪廓部分中的階梯狀邊界變得不明顯。因此，在顯示器上的局部圖像的輪廓變得光滑，于是，可以獲得心里喜歡的圖像。
(5)在本發(fā)明的另一個(gè)實(shí)施例中，假設(shè)上層形狀數(shù)據(jù)小于下層形狀數(shù)據(jù)，可以執(zhí)行用于運(yùn)用在上層中的數(shù)據(jù)改進(jìn)一部分下層的空間分辨率的分級(jí)編碼。因此，如果需要考慮僅在一部分下層中的圖像內(nèi)容，或者如果僅僅在下層中的一部分具有復(fù)雜的結(jié)構(gòu)而且必需以高分辨率顯示，那么可以執(zhí)行適當(dāng)?shù)姆旨?jí)編碼。
工業(yè)應(yīng)用如上所述，本發(fā)明對(duì)具有空間分級(jí)的局部圖像進(jìn)行有效的編碼和解碼。因此，將本發(fā)明有利地應(yīng)用于圖像編碼和解碼裝置的領(lǐng)域中。
權(quán)利要求
1.一種對(duì)局部圖像進(jìn)行分級(jí)編碼的運(yùn)動(dòng)圖像編碼設(shè)備，該設(shè)備包括下層編碼部分，用于將低分辨率的局部圖像編碼成下層局部圖像；上層編碼部分，用于將高分辨率的局部圖像編碼成上層局部圖像；其特征在于，生成將所述上層局部圖像在兩種圖像之間切換的信息，其中一種圖像對(duì)應(yīng)于空間分辨率在整個(gè)區(qū)域內(nèi)得到提高的所述下層局部圖像，另一個(gè)圖像對(duì)應(yīng)于空間分辨率在部分區(qū)域內(nèi)得到提高的所述下層局部圖像，并且將所述信息與所述下層編碼部分產(chǎn)生的編碼數(shù)據(jù)和所述上層編碼部分產(chǎn)生的編碼數(shù)據(jù)一起發(fā)送。
2.一種對(duì)局部圖像進(jìn)行分級(jí)解碼的運(yùn)動(dòng)圖像解碼設(shè)備，該設(shè)備包括下層解碼部分，用于將低分辨率的局部圖像解碼成下層局部圖像；上層解碼部分，用于將高分辨率的局部圖像解碼成上層局部圖像；其特征在于，對(duì)信息進(jìn)行解碼，其中所述信號(hào)表示所述上層局部圖像是對(duì)應(yīng)于空間分辨率在整個(gè)區(qū)域內(nèi)得到提高的所述下層局部圖像，或者是對(duì)應(yīng)于空間分辨率在部分區(qū)域內(nèi)得到提高的所述下層局部圖像，并且利用所述信息對(duì)所述上層進(jìn)行解碼。
全文摘要
圖像編碼裝置輸入高分辨率的局部圖像的像素?cái)?shù)據(jù)。上層編碼部分(101)、第二形狀數(shù)據(jù)生成部分(102)和第二形狀數(shù)據(jù)編碼部分(103)對(duì)在上層中的形狀數(shù)據(jù)和像素?cái)?shù)據(jù)進(jìn)行編碼。下采樣部分(104)生成低分辨率的像素?cái)?shù)據(jù)。下層編碼部分(105)、第一形狀數(shù)據(jù)生成部分(106)和第一形狀數(shù)據(jù)編碼部分(107)對(duì)在下層中的形狀數(shù)據(jù)和像素?cái)?shù)據(jù)進(jìn)行編碼。
文檔編號(hào)H04N7/26GK1501715SQ0314586
公開(kāi)日2004年6月2日 申請(qǐng)日期1997年5月7日 優(yōu)先權(quán)日1996年6月27日
發(fā)明者堅(jiān)田裕之, 子, 草尾寬, 男, 青野友子, 一, 伊藤典男, 渡部秀一 申請(qǐng)人:夏普公司