專利名稱：圖像處理方法、圖像處理裝置及數(shù)據(jù)記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法、圖像處理裝置及數(shù)據(jù)記錄媒體，特別是涉及用來即使用較少的比特數(shù)也不損及畫面質(zhì)量地進行圖像信號的記錄或傳送的層次編碼處理和層次解碼處理，以及儲存用來實現(xiàn)這些層次編碼處理和層次解碼處理的程序的記錄媒體。
為了能以顯示畫面上所顯示的各個物體(對象)為單位進行圖像處理，作為圖像信號除了通常的輝度信號和色差信號之外還需要表示物體的形狀的形狀信號。在以下的說明中，把這種除了輝度信號、色差信號之外還包含形狀信號在內(nèi)的，也就是具有物體的形狀信息的圖像信號，單稱為圖像信號。
這種圖像信號從以物體單位來處理這樣的觀點來說適合于同時關(guān)聯(lián)地表示圖像信息和聲音信息的多媒體。有關(guān)此一圖像信號的編碼處理的技術(shù)，目前由作為ISO/IEC(國際標(biāo)準(zhǔn)化組織/國際電工委員會聯(lián)合技術(shù)委員會)的工作組的MPEG(動畫專家組)4來進行標(biāo)準(zhǔn)化活動。
下面就現(xiàn)有的圖像信號的層次編碼處理進行說明。
圖22示出與分辨率不同的圖像信號相對應(yīng)的顯示畫面(以下也稱為幀)。圖中，LF是與低分辨率圖像信號相對應(yīng)的顯示畫面(圖22(a))，HF是與高分辨率圖像信號相對應(yīng)的顯示畫面(圖22(b))。此外，Lob是由低分辨率圖像信號在上述幀LF上所顯示的一個物體的圖像，Hob是由高分辨率圖像信號在上述幀HF上所顯示的一個物體的圖像，點顯示區(qū)是各物體內(nèi)部的區(qū)域。
在現(xiàn)有的圖像編碼處理(目前的MPEG 4的最新評價模型模式)中，在1幀上，設(shè)定與各個物體相對應(yīng)的包含該物體的矩形區(qū)，再把這種矩形區(qū)進一步分割成塊(MPEG 4的評價模型中是16×16像素的正塊)。于是，針對各個物體的圖像信號的編碼處理，以構(gòu)成上述矩形區(qū)的塊為單位來進行。
因而，在與MPEG 4相對應(yīng)的層次編碼處理中，有必要如圖22(c)中所示，在低分辨率幀LF上設(shè)定與物體Lob相對應(yīng)的低分辨率矩形區(qū)LR，同時如圖22(d)中所示，在高分辨率幀HF上設(shè)定與物體Hob相對應(yīng)的高分辨率矩形區(qū)HR。
在這種層次編碼處理中，在設(shè)定矩形區(qū)之際，就要分別進行針對低分辨率圖像信號的矩形區(qū)LF的設(shè)定和針對高分辨率圖像信號的矩形區(qū)HR的設(shè)定。作為其結(jié)果，雖然編碼處理簡單，但是針對物體的各塊的空間位置(也就是各塊在幀上的位置)在低分辨率矩形區(qū)的塊與高分辨率矩形區(qū)的塊之間不一致，此外，在低分辨率矩形區(qū)與高分辨率矩形區(qū)之間的塊有時也不對應(yīng)。
下面進行詳細描述。圖23是用來說明現(xiàn)有的層次圖像編碼裝置的方框圖。
該現(xiàn)有圖像編碼裝置200a的構(gòu)成為接受圖像輸入信號，再把該圖像輸入信號作為高分辨率圖像信號HSg進行層次編碼處理。也就是說，該層次圖像編碼裝置200a具有對該高分辨率圖像信號HSg進行二次采樣而生成低分辨率圖像信號LSg的二次采樣器2；和對該低分辨率圖像信號LSg施行編碼處理而生成低分辨率編碼信號LEg的低分辨率編碼單元201L。此外，該層次圖像編碼裝置200a還具有對上述低分辨率編碼信號LEg進行解碼的解碼器9a；對該解碼器9a的輸出Ldg進行上采樣的上采樣器10a；以及根據(jù)該上采樣器10a的輸出LAg，對上述高分辨率圖像信號HSg施行編碼處理，輸出高分辨率編碼信號HEg的高分辨率編碼單元201H。
上述低分辨率編碼單元201L具有根據(jù)上述低分辨率圖像信號LSg，檢測與低分辨率幀LF上的各個物體相對應(yīng)的低分辨率矩形區(qū)LR的位置或大小等信息，把該信息作為矩形信號LRg輸出的區(qū)域檢測器3；和根據(jù)該矩形信號LRg，從上述低分辨率圖像信號LSg中提取與上述矩形區(qū)LR相對應(yīng)的圖像信號LOg的區(qū)域提取器5。進而，上述編碼單元201L還具有把與上述矩形區(qū)LR相對應(yīng)的圖像信號(物體對應(yīng)圖像信號)LOg分割成對應(yīng)于由劃分該矩形區(qū)的16×16像素組成的塊MB，輸出與各塊相對應(yīng)的圖像信號(分塊圖像信號)LBg的分塊器6；和對該分塊圖像信號LBg進行編碼，輸出低分辨率編碼信號LEg的編碼器7。
此外，上述高分辨率編碼單元201H具有根據(jù)上述高分辨率圖像信號HSg，檢測與高分辨率幀HF上的各個物體相對應(yīng)的高分辨率矩形區(qū)HR的位置或大小等信息，把該信息作為矩形信號HRg輸出的區(qū)域檢測器12；和根據(jù)該矩形信號HRg，從上述高分辨率圖像信號HSg中提取與上述矩形區(qū)HR相對應(yīng)的圖像信號HOg的區(qū)域提取器14。進而，上述編碼單元201H還具有把與上述矩形區(qū)HR相對應(yīng)的圖像信號(物體對應(yīng)圖像信號)HOg分割成對應(yīng)于由劃分該矩形區(qū)的16×16像素組成的塊MB，輸出與各塊相對應(yīng)的圖像信號(分塊圖像信號)HBg的分塊器15；和對該分塊圖像信號HBg進行編碼，輸出高分辨率編碼信號HEg的編碼器16。
下面就操作進行說明。
高分辨率圖像信號HSg一旦作為圖像輸入信號輸入本圖像編碼裝置200a，上述高分辨率圖像信號HSg就在二次采樣器2中通過其二次采樣而變換成低分辨率圖像信號LSg。
在上述低分辨率編碼單元201L的區(qū)域檢測器3中，根據(jù)上述低分辨率圖像信號LSg，如圖22(c)中所示在低分辨率幀LF上檢測包含成為處理對象的物體Lob的矩形區(qū)LR的范圍，把該矩形區(qū)LR的位置和大小等信息作為矩形信號LRg輸出。于是，在上述編碼單元201L的區(qū)域提取器5中，根據(jù)這一矩形信號LRg，從上述低分辨率圖像信號LSg中，提取與上述矩形區(qū)LR相對應(yīng)的物體對應(yīng)圖像信號LOg。進而，在上述編碼單元201L的分塊器6中，如圖22(c)中所示，上述物體對應(yīng)圖像信號LOg被分割成分別對應(yīng)于劃分上述低分辨率矩形區(qū)LR的多個塊MB，作為與各塊MB相對應(yīng)的分塊圖像信號LBg輸出到編碼器7。然后，在該編碼器7中，進行上述分塊圖像信號LBg的編碼處理，從上述編碼單元201L輸出低分辨率編碼信號LEg。
該低分辨率編碼信號LEg在解碼器9a中通過解碼處理變換成低分辨率解碼信號Ldg，該解碼信號Ldg在上采樣器10a中通過插補處理變換成與高分辨率圖像信號同一空間分辨率的插補解碼信號LAg，輸出到高分辨率編碼單元201H的編碼器16。
此時，在上述高分辨率編碼單元201H中，進行與上述低分辨率編碼單元201L大體上相同的處理。
也就是說，在編碼單元201H的區(qū)域檢測器12中，根據(jù)上述高分辨率圖像信號HSg如圖22(d)中所示在高分辨率幀HF上檢測包含成為處理對象的物體Hob的矩形區(qū)HR的范圍，把該矩形區(qū)HR的位置和大小等信息作為矩形信號HRg輸出。于是，在上述編碼單元201H的區(qū)域提取器14中，根據(jù)此一矩形信號HRg從上述高分辨率圖像信號HSg中提取與上述矩形區(qū)HR相對應(yīng)的物體對應(yīng)圖像信號HOg。進而，在上述編碼單元201H的分塊器15中，如圖22(d)中所示，上述物體對應(yīng)圖像信號HOg被分割成分別對應(yīng)于劃分上述高分辨率矩形區(qū)HR的多個塊MB，作為與各塊MB相對應(yīng)的分塊圖像信號HBg輸出到編碼器16。然后，在該編碼器16中，根據(jù)上述插補解碼信號LAg進行上述分塊圖像信號HBg的編碼處理，從上述編碼單元201H輸出高分辨率編碼信號HEg。
對于由上述這樣的層次圖像編碼裝置200a編碼的低分辨率編碼信號LEg來說，可以根據(jù)它們和矩形信號LRg來進行生成相當(dāng)于低分辨率圖像信號LSg的解碼信號的解碼處理。此外，對于由上述編碼裝置200a編碼的高分辨率編碼信號HEg來說，可以根據(jù)上述低分辨率編碼信號LEg、矩形信號LRg、高分辨率編碼信號HEg以及矩形信號HRg來進行生成相當(dāng)于高分辨率圖像信號HSg的解碼信號的解碼處理。而且，在高分辨率圖像信號HSg的編碼處理中，通過參照低分辨率圖像信號LSg來利用這兩個圖像信號LSg和HSg間的像素的關(guān)聯(lián)，可以以與單獨對其進行編碼的場合相比較少的比特數(shù)，來對高分辨率圖像信號HSg進行編碼。
圖24是用來說明現(xiàn)有的層次圖像解碼裝置的方框圖。
該層次圖像解碼裝置200b是以由圖23中所示的現(xiàn)有的圖像編碼裝置200a編碼的低分辨率編碼信號LEg和高分辨率編碼信號HEg為輸入信號進行層次解碼處理的裝置。
也就是說，該層次圖像解碼裝置200b具有對上述低分辨率編碼信號LEg施行解碼處理而生成低分辨率再生信號LCg的低分辨率解碼單元202L；通過上采樣對在該解碼單元202L中的解碼處理中途的信號LDg進行插補的上采樣器10b；以及根據(jù)該上采樣器10b的輸出ADg對上述高分辨率編碼信號HEg施行解碼處理而生成高分辨率再生信號HCg的高分辨率解碼單元202H。
上述低分辨率解碼單元202L具有進行對上述低分辨率編碼信號LEg的解碼處理，生成與各塊相對應(yīng)的低分辨率解碼信號LDg的解碼器9；綜合該低分辨率解碼信號LDg，生成與上述矩形區(qū)LR相對應(yīng)的解碼綜合信號LIg的逆分塊器20；以及把與該矩形區(qū)LR相對應(yīng)的解碼綜合信號LIg與形成1幀的其他圖像信號合成、使該矩形區(qū)LR將被配置在來自上述編碼裝置200a的矩形信號LRg所示的低分辨率幀LF上的位置的區(qū)域合成器21。
此外，上述高分辨率解碼單元202H具有根據(jù)上述上采樣器10b的輸出ADg來進行對高分辨率編碼信號HEg的解碼處理，生成與各塊相對應(yīng)的高分辨率解碼信號HDg的解碼器30；綜合該高分辨率解碼信號HDg，生成與上述矩形區(qū)HR相對應(yīng)的解碼綜合信號HIg的逆分塊器31；以及把與該矩形區(qū)HR相對應(yīng)的解碼綜合信號HIg與形成1幀的其他圖像信號合成、使該矩形區(qū)HR將被配置在來自上述編碼裝置200a的矩形信號HRg所示的高分辨率幀HF上的位置的區(qū)域合成器32。
下面說明其操作過程。
上述低分辨率編碼信號LEg和高分辨率編碼信號HEg一旦輸入本圖像解碼裝置200b，該低分辨率編碼信號LEg就在上述低分辨率解碼單元202L的解碼器9中被施以解碼處理而生成低分辨率解碼信號LDg。這個低分辨率解碼信號LDg在上述上采樣器10b中通過上采樣處理而被插補變換成具有與上述高分辨率相對應(yīng)的空間分辨率的插補解碼信號ADg。另外，上述低分辨率解碼信號LDg進而由逆分塊器20來綜合，生成與上述矩形區(qū)LR相對應(yīng)的解碼綜合信號LIg。然后，該解碼綜合信號LIg在區(qū)域合成器21中根據(jù)來自上述編碼裝置200a的矩形信號LRg，與形成1幀的其他圖像信號合成，作為低分辨率再生信號LCg輸出。通過這一合成處理，解碼綜合信號LIg引起的矩形區(qū)LR的圖像被配置在上述矩形信號LRg所示幀LF上的位置。
另一方面，上述高分辨率編碼信號HEg在上述高分辨率解碼單元202H的解碼器30中根據(jù)上采樣器10b的輸出ADg被施以解碼處理，生成高分辨率解碼信號HDg。這一高分辨率解碼信號HDg進而由逆分塊器31來綜合，生成與上述矩形區(qū)HR內(nèi)的圖像相對應(yīng)的解碼綜合信號HIg。然后，該解碼綜合信號HIg在區(qū)域合成器32中根據(jù)來自上述編碼裝置200a的矩形信號HRg與對應(yīng)于1幀的其他圖像信號合成，作為高分辨率再生信號HCg輸出。通過這一合成處理，解碼綜合信號HIg引起的矩形區(qū)HR的圖像被配置在上述矩形信號HRg所示幀HF上的位置。
在這種構(gòu)成的層次圖像解碼裝置200b中，由于在對低分辨率編碼信號LEg依次施行了解碼處理和逆分塊處理之后，矩形區(qū)LR將被配置在幀LF內(nèi)的規(guī)定位置，對與該矩形區(qū)LR相對應(yīng)的低分辨率解碼信號LIg施行區(qū)域合成處理，所以可以對以與幀LF內(nèi)的各個物體相對應(yīng)的矩形區(qū)LR為對象的通過編碼處理所得到的低分辨率編碼信號Leg進行解碼處理。
此外，由于參照低分辨率解碼信號LDg對高分辨率編碼信號HEg進行解碼而生成高分辨率解碼信號HDg，然后對這一解碼信號HDg施行逆分塊處理，進而矩形區(qū)HR將被配置在幀HF內(nèi)的規(guī)定位置，對與該矩形區(qū)HR相對應(yīng)的高分辨率解碼信號HIg施行區(qū)域合成處理，所以可以對以與幀HF內(nèi)的各個物體相對應(yīng)的矩形區(qū)HR為對象的通過層次編碼處理所得到的高分辨率編碼信號HEg正確地進行解碼處理。
可是，在現(xiàn)有的層次圖像編碼裝置200a中，對低分辨率幀LF內(nèi)的矩形區(qū)LR的范圍的檢測處理與對高分辨率幀HF內(nèi)的矩形區(qū)HR的范圍的檢測處理是分別進行的，因此，如圖22(c)、圖22(d)中所示，劃分低分辨率矩形區(qū)LR的各塊MB的、針對低分辨率圖像Lob的空間位置，與劃分高分辨率矩形區(qū)HR的各塊MB的、針對高分辨率圖像Hob的空間位置不一致。在這一場合下，在對與上述高分辨率矩形區(qū)HR相對應(yīng)的高分辨率圖像信號HOg按塊進行編碼之際，建立低分辨率塊相對于被編碼高分辨率塊的對應(yīng)變得困難，高分辨率圖像信號與低分辨率圖像信號的差分值的運算處理變得復(fù)雜。結(jié)果，存在著在針對被編碼高分辨率塊的編碼處理之際，與在參照與此一被編碼高分辨率塊之間空間位置完全一致的低分辨率塊的場合相比，層次編碼處理中的預(yù)測效率變得劣化，還存在著編碼效率降低的問題。
本發(fā)明是為了解決上述這樣的問題而作出的，其目的在于得到一種在進行以與幀內(nèi)的各個物體相對應(yīng)的矩形區(qū)為對象的層次編碼處理之際，可以不招致編碼效率的降低地進行參照低分辨率圖像信號的高分辨率圖像信號的編碼處理的層次編碼處理、并且可以實現(xiàn)與此相對應(yīng)的層次解碼處理的圖像處理方法和圖像處理裝置，以及儲存可以用軟件來實現(xiàn)上述層次編碼處理和層次解碼處理的程序的記錄媒體。
根據(jù)本發(fā)明(方案1)的圖像處理方法是一種根據(jù)具有物體的形狀信息的圖像輸入信號，作為形成空間分辨率不同的多個圖像空間的層次圖像信號，至少生成低分辨率圖像信號和高分辨率圖像信號，把上述高分辨率圖像信號劃分成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)，同時把上述低分辨率圖像信號劃分成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)，參照形成與該高分辨率塊相對應(yīng)的低分辨率塊的低分辨率圖像信號，依次進行對形成成為處理對象的高分辨率塊的高分辨率圖像信號的編碼處理的層次圖像編碼方法，該方法把在上述編碼處理之際所參照的參照低分辨率塊設(shè)成為其低分辨率圖像空間中的空間位置對應(yīng)于與該參照低分辨率塊相對應(yīng)的上述對象高分辨率塊在高分辨率圖像空間中的空間位置的低分辨率塊。
在這種構(gòu)成的圖像處理方法中，在高分辨率圖像信號的編碼處理之際，通過參照在低分辨率圖像空間中處在與成為編碼處理對象的對象高分辨率塊的空間位置有關(guān)聯(lián)的空間位置的低分辨率塊的圖像信號，可以不招致編碼效率劣化地對具有物體的形狀信息的圖像信號進行層次編碼處理。
本發(fā)明(方案2)是在方案1中所述的圖像處理方法中，使構(gòu)成上述高分辨率圖像空間的各個像素與通過上述低分辨率圖像空間的分辨率變換所得到的、空間分辨率與上述高分辨率圖像空間相等的分辨率變換圖像空間中的各個像素一一對應(yīng)。
在這種構(gòu)成的圖像處理方法中，使高分辨率塊中的多個像素全部對應(yīng)于對低分辨率塊進行分辨率變換的分辨率變換塊中的規(guī)定像素，借此，可以進一步提高層次編碼處理中的編碼效率。
本發(fā)明(方案3)是在方案1中所述的圖像處理方法中，使構(gòu)成上述參照低分辨率塊的像素的數(shù)量與構(gòu)成上述對象高分辨率塊的像素的數(shù)量相一致。
在這種構(gòu)成的圖像處理方法中，在高分辨率圖像信號與低分辨率圖像信號之間共用分塊器和編碼器成為可能，可以謀求電路構(gòu)成的緊湊化。
本發(fā)明(方案4)是在方案1中所述的圖像處理方法中，使上述參照低分辨率塊的低分辨率圖像空間中的相對位置與對象高分辨率塊的高分辨率圖像空間中的相對位置相一致。
在這種構(gòu)成的圖像處理方法中，因為對象高分辨率塊的空間位置與參照低分辨率塊的空間位置相一致，故構(gòu)成高分辨率塊的各像素的像素值與構(gòu)成低分辨率塊的各像素的像素值的差分不會不必要地變大，可以以很高的編碼效率進行層次編碼處理。
本發(fā)明(方案5)是在方案1中所述的圖像處理方法中，根據(jù)針對上述參照低分辨率塊的、用來識別編碼處理方法的編碼模式來切換模式信號，該模式信號表示針對上述對象高分辨率塊的、用來識別編碼處理方法的編碼模式的編碼方式。
在這種構(gòu)成的圖像處理方法中，通過在與針對低分辨率塊的編碼模式相一致的針對高分辨率塊的編碼模式中分配短碼，可以減少表示高分辨率圖像信號的編碼模式的模式信號的編碼處理中的編碼比特數(shù)。
本發(fā)明(方案6)是在方案5中所述的圖像處理方法中，以上述編碼模式為表示圖像空間上所顯示的物體的形狀的邊界是否包含在上述對象高分辨率塊內(nèi)的編碼模式。
在這種構(gòu)成的圖像處理方法中，在高分辨率塊與物體的位置關(guān)系和低分辨率塊與物體的位置關(guān)系相一致的場合，通過在表示高分辨率圖像信號的編碼模式的模式信號中分配短碼，可以減少該編碼模式信號的編碼所需要的編碼比特數(shù)。
本發(fā)明(方案7)是在方案5中所述的圖像處理方法中，以上述編碼模式為表示按像素依次對與上述參照低分辨率塊相對應(yīng)的圖像信號進行編碼的編碼處理是否沿著水平掃描方向和豎直掃描方向中的某個掃描方向來進行的編碼模式。
在這種構(gòu)成的圖像處理方法中，高分辨率圖像信號沿著構(gòu)成它們的像素值的關(guān)聯(lián)大的掃描方向被編碼，因此，在低分辨率圖像信號與高分辨率圖像信號之間，像素值的關(guān)聯(lián)大的掃描方向相一致的場合，通過在表示高分辨率圖像信號的編碼模式的模式信號中分配短碼，可以減少該編碼模式信號的編碼所需要的編碼比特數(shù)。
本發(fā)明(方案8)是在方案1中所述的圖像處理方法中，參照與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的編碼方法。
在這種構(gòu)成的圖像處理方法中，因為在高分辨率圖像信號與低分辨率圖像信號之間存在著有關(guān)像素的大的關(guān)聯(lián)，所以在高分辨率塊和與其相對應(yīng)的低分辨率塊之間運動向量相一致的場合，通過在表示高分辨率圖像信號的運動向量(編碼模式)的模式信號中分配短碼，可以減少運動向量的編碼所需要的編碼比特數(shù)。
本發(fā)明(方案9)是在方案1中所述的圖像處理方法中，參照已經(jīng)施行了編碼處理的已處理高分辨率塊的、表示高分辨率圖像空間中的物體的運動的運動信息以及與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換表示與上述對象高分辨率塊相對應(yīng)的上述高分辨率圖像空間中的物體的運動的運動信息的編碼方法。
在這種構(gòu)成的圖像處理方法中，由于從與對象高分辨率塊相對應(yīng)的已處理高分辨率塊的運動向量和與對象高分辨率塊相對應(yīng)的低分辨率塊的運動向量，生成預(yù)測向量，根據(jù)該預(yù)測向量，對對象高分辨率塊的運動向量進行編碼，所以圖像信號在畫面間存在著有關(guān)像素值的關(guān)聯(lián)，此外在高分辨率圖像信號與低分辨率圖像信號之間存在著有關(guān)像素值的大的關(guān)聯(lián)，因此對象高分辨率塊的運動向量與預(yù)測運動向量的誤差減小，可以減少高分辨率圖像信號的運動向量的編碼所需要的編碼比特數(shù)。
根據(jù)本發(fā)明(方案10)的圖像處理方法是一種對對具有物體的形狀信息的圖像信號施行層次編碼處理所得到的至少兩個分塊了的層次編碼信號中的低分辨率編碼信號進行解碼，生成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)的低分辨率解碼信號，綜合該低分辨率解碼信號而生成與上述低分辨率圖像空間相對應(yīng)的低分辨率綜合信號，參照對應(yīng)的低分辨率解碼信號，對上述兩個分塊了的層次編碼信號中的高分辨率編碼信號進行解碼，生成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)的高分辨率解碼信號，綜合該高分辨率解碼信號而生成與上述高分辨率圖像空間相對應(yīng)的高分辨率綜合信號的層次圖像解碼方法，該方法把在上述高分辨率編碼信號的解碼處理之際所參照的參照低分辨率塊設(shè)定成其在低分辨率圖像空間中的空間位置，對應(yīng)于與該參照低分辨率塊相對應(yīng)的成為上述解碼處理的對象的對象高分辨率塊，在高分辨率圖像空間中的空間位置的低分辨率塊。
在這種構(gòu)成的圖像處理方法中，在高分辨率圖像信號的解碼處理之際，在低分辨率圖像空間中，處在與成為解碼處理對象的對象高分辨率塊的空間位置有關(guān)聯(lián)的空間位置的低分辨率塊的解碼信號被參照，可以實現(xiàn)抑制編碼效率劣化的、具有物體的形狀信息的圖像信號的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案11)是在方案10中所述的圖像處理方法中，使構(gòu)成上述高分辨率圖像空間的各個像素與通過上述低分辨率圖像空間的分辨率變換所得到的、空間分辨率與上述高分辨率圖像空間相等的分辨率變換圖像空間中的各個像素一一對應(yīng)。
在這種構(gòu)成的圖像處理方法中，高分辨率塊中的多個像素全都對應(yīng)于通過低分辨率塊的分辨率變換所得到的分辨率變換塊中的規(guī)定的像素，借此，可以得到編碼效率高的針對層次編碼處理的層次解碼處理。
本發(fā)明(方案12)是在方案10中所述的圖像處理方法中，使構(gòu)成上述參照低分辨率塊的像素數(shù)與構(gòu)成上述對象高分辨率塊的像素數(shù)相一致。
在這種構(gòu)成的圖像處理方法中，在高分辨率編碼信號與低分辨率編碼信號之間共用解碼器和逆分塊器成為可能，可以謀求電路構(gòu)成的緊湊化。
本發(fā)明(方案13)是在方案10中所述的圖像處理方法中，使上述參照低分辨率塊的低分辨率圖像空間中的相對位置與對象高分辨率塊的高分辨率圖像空間中的相對位置相一致。
在這種構(gòu)成的圖像處理方法中，因為對象高分辨率塊的空間位置與參照低分辨率塊的空間位置相一致，故構(gòu)成高分辨率塊的各像素的像素值與構(gòu)成低分辨率塊的各像素的像素值的差分不會不必要地變大，從而可以實現(xiàn)編碼效率高的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案14)是在方案10中所述的圖像處理方法中，根據(jù)針對上述參照低分辨率塊的用來識別解碼處理方法的編碼模式，來切換模式編碼信號，該模式編碼信號表示針對上述對象高分辨率塊的、用來識別解碼處理方法的編碼模式的解碼方式。
在這種構(gòu)成的圖像處理方法中，通過在與針對低分辨率塊的編碼模式相一致的表示高分辨率塊的編碼模式的模式信號中分配短碼，可以實現(xiàn)減少了表示高分辨率圖像信號的編碼模式的模式信號的編碼中所用的編碼比特數(shù)的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案15)是在方案14中所述的圖像處理方法中，以上述編碼模式為表示圖像空間上所顯示的物體的形狀的邊界是否包含在上述對象高分辨率塊內(nèi)的編碼模式。
在這種構(gòu)成的圖像處理方法中，在高分辨率塊與物體的位置關(guān)系和低分辨率塊與物體的位置關(guān)系相一致的場合，通過在表示高分辨率圖像信號的編碼模式的模式信號中分配短碼，可以實現(xiàn)減少了編碼比特數(shù)的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案16)是在方案14中所述的圖像處理方法中，以上述編碼模式為表示按像素依次對與參照低分辨率塊相對應(yīng)的圖像信號進行解碼的解碼處理是否沿著水平掃描方向和豎直掃描方向中的某個掃描方向來進行的編碼模式。
在這種構(gòu)成的圖像處理方法中，在低分辨率圖像信號與高分辨率圖像信號之間像素值的關(guān)聯(lián)大的掃描方向相一致的場合，通過在表示高分辨率圖像信號的編碼模式的模式信號中分配短碼，可以實現(xiàn)減少了編碼比特數(shù)的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案17)是在方案10中所述的圖像處理方法中，參照與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的解碼方法。
在這種構(gòu)成的圖像處理方法中，在高分辨率塊和與其相對應(yīng)的低分辨率塊之間運動向量相一致的場合，通過在表示高分辨率圖像信號的運動向量(編碼模式)的模式信號中分配短碼，可以實現(xiàn)減少了編碼比特數(shù)的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案18)是在方案10中所述的圖像處理方法中，參照已經(jīng)施行了解碼處理的已處理高分辨率塊的、表示高分辨率圖像空間中的物體的運動的運動信息和與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的解碼方法。
在這種構(gòu)成的圖像處理方法中，對象高分辨率塊的運動向量與預(yù)測運動向量的誤差減小，可以實現(xiàn)減少了編碼比特數(shù)的與層次編碼處理相對應(yīng)的層次解碼處理。
本發(fā)明(方案19)的圖像處理裝置是一個接受具有物體的形狀信息的圖像輸入信號，對形成空間分辨率不同的多個圖像空間的層次圖像信號進行編碼的層次圖像編碼裝置，包括對上述圖像輸入信號進行二次采樣而生成低分辨率圖像信號的二次采樣裝置；把該低分辨率圖像信號分塊成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)的第1分塊裝置；依次進行對成為編碼處理對象的形成低分辨率塊的低分辨率圖像信號的編碼處理的第1編碼裝置；把上述圖像輸入信號作為高分辨率圖像信號分塊成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)的第2分塊裝置；依次進行對成為編碼處理對象的形成低高晰度塊的高分辨率圖像信號的編碼處理的第2編碼裝置；其中在上述編碼處理之際所參照的參照低分辨率塊被設(shè)定成其在低分辨率圖像空間中的空間位置對應(yīng)于與該參照低分辨率塊相對應(yīng)的上述對象高分辨率塊在高分辨率圖像空間中的空間位置的低分辨率塊。
在這種構(gòu)成的圖像處理裝置中，在高分辨率圖像信號的編碼處理之際，在低分辨率圖像空間中，處在與成為編碼處理對象的對象高分辨率塊的空間位置有關(guān)聯(lián)的空間位置的低分辨率塊的圖像信號被參照，可以不招致編碼效率劣化地對具有物體的形狀信息的圖像信號進行層次編碼處理。
根據(jù)本發(fā)明(方案20)的圖像處理裝置是一個對對具有物體的形狀信息的圖像信號施行層次編碼處理所得到的至少兩個分塊了的層次編碼信號進行解碼的層次圖像解碼裝置，包括對上述兩個分塊了的層次編碼信號中的低分辨率編碼信號進行解碼，生成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)的低分辨率解碼信號的第1解碼裝置；綜合與各該低分辨率塊相對應(yīng)的低分辨率解碼信號，生成與上述低分辨率圖像空間相對應(yīng)的低分辨率綜合信號的第1逆分塊裝置；參照對應(yīng)的低分辨率解碼信號，對上述兩個分塊了的層次編碼信號中的高分辨率編碼信號進行解碼，生成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)的高分辨率解碼信號的第2解碼裝置；以及綜合與各該高分辨率塊相對應(yīng)的高分辨率解碼信號，生成與上述高分辨率圖像空間相對應(yīng)的高分辨率綜合信號的第2逆分塊裝置；其中在上述高分辨率編碼信號的解碼處理之際所參照的參照低分辨率塊被設(shè)定成為其在低分辨率圖像空間中的空間位置對應(yīng)于與該參照低分辨率塊相對應(yīng)的成為上述解碼處理的對象的對象高分辨率塊在高分辨率圖像空間中的空間位置的低分辨率塊。
在這種構(gòu)成的圖像處理裝置中，在高分辨率圖像信號的解碼處理之際，在低分辨率圖像空間中，處在與成為解碼處理對象的對象高分辨率塊的空間位置有關(guān)聯(lián)的空間位置的低分辨率塊的圖像解碼信號被參照，可以實現(xiàn)抑制編碼效率劣化的、具有物體的形狀信息的圖像信號的與層次編碼處理相對應(yīng)的層次解碼處理。
根據(jù)本發(fā)明(方案21)的數(shù)據(jù)記錄媒體是一個儲存用來在計算機中進行層次圖像編碼處理的程序的數(shù)據(jù)記錄媒體，其中上述程序被構(gòu)筑成能使計算機進行按方案1中所述的圖像處理方法的層次圖像編碼處理。
在這種構(gòu)成的數(shù)據(jù)記錄媒體中，在高分辨率圖像信號的編碼處理之際，在低分辨率圖像空間中，處在與成為編碼處理對象的對象高分辨率塊的空間位置有關(guān)聯(lián)的空間位置的低分辨率塊的圖像信號被參照，可以用計算機實現(xiàn)針對具有物體的形狀信息的圖像信號的，不招致編碼效率劣化的層次編碼處理。
根據(jù)本發(fā)明(方案22)的數(shù)據(jù)記錄媒體是一種儲存用來在計算機中進行層次圖像解碼處理的程序的數(shù)據(jù)記錄媒體，其中上述程序被構(gòu)筑成計算機將進行按方案10中所述的圖像處理方法的層次圖像解碼處理。
在這種構(gòu)成的數(shù)據(jù)記錄媒體中，在高分辨率圖像信號的解碼處理之際，在低分辨率圖像空間中，處在與成為解碼處理對象的對象高分辨率塊的空間位置有關(guān)聯(lián)的空間位置的低分辨率塊的圖像信號被參照，可以由計算機實現(xiàn)抑制編碼效率劣化的，具有物體的形狀信息的圖像信號的與層次編碼處理相對應(yīng)的層次解碼處理。


圖1是用來作為根據(jù)本發(fā)明的第1實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖2(a)～圖2(d)是用來說明上述第1實施例的層次圖像編碼裝置的操作過程的示意圖。
圖3是用來作為根據(jù)本發(fā)明的第2實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖4(a)～圖4(f)是用來說明根據(jù)本發(fā)明的第2實施例的層次圖像編碼裝置的工作過程的示意圖。
圖5是用來作為根據(jù)本發(fā)明的第3實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖6(a)～圖6(d)是用來說明根據(jù)本發(fā)明的第3實施例的層次圖像編碼裝置的操作過程的示意圖。
圖7是用來作為根據(jù)本發(fā)明的第4實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖8是用來作為根據(jù)本發(fā)明的第5實施例的圖像處理裝置說明的層次圖像解碼裝置的方框圖。
圖9(a)和圖9(b)是用來作為根據(jù)本發(fā)明的第6實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖10(a)和圖10(b)是用來作為根據(jù)本發(fā)明的第7實施例的圖像處理裝置說明的層次圖像解碼裝置的方框圖。
圖11(a)和圖11(b)是用來作為根據(jù)本發(fā)明的第8實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖12(a)～圖12(d)是用來說明上述第8實施例的層次圖像編碼裝置的操作過程的示意圖。
圖13(a)和圖13(b)是用來作為根據(jù)本發(fā)明的第9實施例的圖像處理裝置說明的層次圖像解碼裝置的方框圖。
圖14(a)和圖14(b)是用來作為根據(jù)本發(fā)明的第10實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖15(a)和圖15(b)是用來作為根據(jù)本發(fā)明的第11實施例的圖像處理裝置說明的層次圖像解碼裝置的方框圖。
圖16(a)～圖16(c)是用來作為根據(jù)本發(fā)明的第12實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖17(a)～圖17(c)是用來作為根據(jù)本發(fā)明的第13實施例的圖像處理裝置說明的層次圖像解碼裝置的方框圖。
圖18(a)～圖18(c)是用來作為根據(jù)本發(fā)明的第14實施例的圖像處理裝置說明的層次圖像編碼裝置的方框圖。
圖19(a)～圖19(d)是用來說明上述第14實施例的層次圖像編碼裝置的操作過程的示意圖。
圖20(a)～圖20(c)是用來作為根據(jù)本發(fā)明的第15實施例的圖像處理裝置說明的層次圖像解碼裝置的方框圖。
圖21(a)～圖21(c)是表示儲存用來利用計算機系統(tǒng)實現(xiàn)由上述各實施例的圖像處理裝置進行的層次編碼處理或?qū)哟谓獯a處理的程序的數(shù)據(jù)記錄媒體的示意圖。
圖22是用來說明現(xiàn)有的層次圖像編碼處理的示意圖。
圖23是用來作為現(xiàn)有的圖像處理裝置說明層次圖像編碼裝置的方框圖。
圖24是用來作為現(xiàn)有的圖像處理裝置說明層次圖像解碼裝置的方框圖。
下面用圖1至圖21就本發(fā)明的實施例進行說明。
第1實施例圖1是用來說明作為本發(fā)明的第1實施例的圖像處理裝置(層次圖像編碼裝置)的方框圖。此外，圖2(a)～圖2(d)是用來說明由上述第1實施例的層次圖像編碼裝置進行的編碼處理的示意圖。圖中，LF是與低分辨率圖像信號相對應(yīng)的顯示畫面(參照圖2(a))，HF是與高分辨率圖像信號相對應(yīng)的顯示畫面(參照圖2(b))。此外，Lob是由低分辨率圖像信號在上述幀(顯示畫面)LF上所顯示的一個物體的圖像，Hob是由高分辨率圖像信號在上述幀(顯示畫面)HF上所顯示的一個物體的圖像，各圖像Lob和Hob的點顯示區(qū)是各物體內(nèi)部的區(qū)域。
該第1實施例的層次圖像編碼裝置101的構(gòu)成為，即接受圖像輸入信號，以該圖像輸入信號作為高分辨率圖像信號HSg來進行層次編碼處理。
也就是說，該層次圖像編碼裝置101與現(xiàn)有的層次圖像編碼裝置201a同樣，包括對上述高分辨率圖像信號HSg進行二次采樣的二次采樣器2；對作為該二次采樣器2的輸出的低分辨率圖像信號LSg進行編碼的低分辨率編碼單元101L；對作為其輸出的低分辨率編碼信號LEg進行解碼的解碼器9a；對該解碼器9a的輸出Ldg進行上采樣的上采樣器10a；以及根據(jù)該上采樣器10a的輸出LAg，對上述高分辨率圖像信號HSg進行編碼的高分辨率編碼單元101H。
此外，上述各個編碼單元101L和101H與現(xiàn)有的層次圖像編碼裝置200a同樣，分別帶有區(qū)域檢測器30a和12、區(qū)域提取器5和14、分塊器6和15以及編碼器7和16a。
而且，在第1實施例中，只有上述區(qū)域檢測器30a與現(xiàn)有的層次圖像編碼裝置200a中的區(qū)域檢測器構(gòu)成不同。也就是說，該區(qū)域檢測器30a成為這樣的構(gòu)成，即參照高分辨率幀HF(參照圖2(b))上的表示與各個物體Hob相對應(yīng)的矩形區(qū)HR的范圍的矩形信號HRg，來檢測低分辨率幀LF(參照圖2(a))上的表示與各個物體Lob相對應(yīng)的矩形區(qū)LR的范圍。具體地說，在上述區(qū)域檢測器30a中，根據(jù)高分辨率矩形信號HRg來檢測高分辨率矩形區(qū)HR的空間位置HRp，這樣來確定低分辨率矩形區(qū)LR的空間位置LRp，使得通過對低分辨率圖像信號LSg的上采樣所得到的插補矩形區(qū)AR的空間位置ARp與上述高分辨率矩形區(qū)HR的空間位置HRp相一致。
再者，在這種構(gòu)成的區(qū)域檢測器30a中，低分辨率矩形區(qū)LR的空間位置LRp的檢測進行到使插補矩形區(qū)AR的空間位置ARp與上述高分辨率矩形區(qū)HR的空間位置HRp相一致就可以了，進行上述區(qū)域的位置檢測，沒有必要一定使低分辨率矩形區(qū)LR的空間位置LRp與高分辨率矩形區(qū)HR的空間位置HRp相一致。此外，上述編碼器16a與現(xiàn)有的層次圖像編碼裝置200a中的編碼器16具有完全相同的構(gòu)成。
下面就操作過程進行說明。
高分辨率圖像信號HSg一旦作為圖像輸入信號輸入本圖像編碼裝置101a，上述高分辨率圖像信號HSg就在二次采樣器2中通過其二次采樣而變換成低分辨率圖像信號LSg。然后，在各個編碼單元101H和101L中，分別進行高分辨率圖像信號HSg和低分辨率圖像信號LSg的編碼處理。
這里，在上述高分辨率編碼單元101H中，進行與現(xiàn)有的層次圖像編碼裝置200a中的高分辨率編碼單元201H完全相同的圖像信號的處理。此外，在上述低分辨率編碼單元101L中，除了由區(qū)域檢測器30a進行的幀LF上的低分辨率矩形區(qū)LR的位置檢測處理之外，進行與現(xiàn)有的層次圖像編碼裝置200a中的低分辨率編碼單元201L完全相同的處理。
因此，下面以上述區(qū)域檢測器30a的操作為主，就由上述低分辨率編碼單元101L進行的編碼處理進行說明。
在該第1實施例中，由高分辨率編碼單元101H的區(qū)域檢測器12根據(jù)高分辨率圖像信號HSg來檢測對應(yīng)的物體Hob的矩形區(qū)HR(參照圖2(b))，由上述區(qū)域檢測器30a根據(jù)上述高分辨率矩形區(qū)HR的空間位置HRp，來檢測低分辨率圖像信號LSg的矩形區(qū)LR的空間位置LRp(參照圖2(a))。
也就是說，在上述區(qū)域檢測器30a中，在高分辨率矩形區(qū)HR的基準(zhǔn)位置HRp沿水平方向按距離(HΔx)、沿豎直方向按距離(HΔy)離開高分辨率幀HF的基準(zhǔn)位置HFp的場合，把低分辨率矩形區(qū)LR這樣配置在低分辨率幀LF上，以便使其基準(zhǔn)位置LRp與低分辨率幀LF的基準(zhǔn)位置LFp的水平方向的距離為(LΔx)，豎直方向的距離為(LΔy)。此時，上述距離(HΔx)/距離(LΔx)和距離(HΔy)/距離(LΔy)設(shè)定成與高分辨率圖像的空間分辨率對低分辨率圖像的空間分辨率的比率(這里取為2/1)相一致。
這樣一來，通過在低分辨率幀LF上設(shè)定矩形區(qū)LR的位置，可以使低分辨率幀LF上的低分辨率矩形區(qū)LR的空間位置(基準(zhǔn)位置)與高分辨率幀HF上的高分辨率矩形區(qū)HR的空間位置(基準(zhǔn)位置)相一致。
然后，與如上所述在低分辨率幀LF上所設(shè)定的低分辨率矩形區(qū)LR相對應(yīng)的圖像信號LOg在分塊器6中被這樣分塊，以便對應(yīng)于劃分上述矩形區(qū)LR的各塊LMB。進而所分塊的圖像信號LBg在編碼器7中被編碼，作為低分辨率編碼信號LEg而輸出。這里，上述塊LMB是由16×16像素組成的圖像空間。
此外，低分辨率編碼信號LEg由解碼器9a變換成低分辨率解碼信號Ldg，該信號Ldg進而由上采樣器10a來插補，被變換成空間分辨率與高分辨率圖像信號HSg相等的插補圖像信號LAg。在此一場合，劃分與通過上述低分辨率編碼信號LEg的上采樣所得到的插補圖像信號LAg相對應(yīng)的插補矩形區(qū)AR的塊AMB成為由32×32像素組成的圖像空間。
圖2(c)示出了與上述插補圖像信號LAg相對應(yīng)的、具有與高分辨率幀HF相同的空間分辨率的插補幀AF，和該插補幀AF中的、與插補圖像信號LAg相對應(yīng)的插補圖像Aob。針對上述插補幀AF的與該插補圖像相對應(yīng)的插補矩形區(qū)AR的相對位置，與針對高分辨率幀HF的高分辨率矩形區(qū)HR的相對位置相一致。
另一方面，高分辨率圖像信號HSg一旦輸入?yún)^(qū)域提取器14，就在該區(qū)域提取器14中根據(jù)來自上述區(qū)域檢測器12的矩形信號HRg提取與高分辨率矩形區(qū)HR相對應(yīng)的圖像信號HOg，進而，在分塊器15中，該圖像信號HOg被分割成對應(yīng)于劃分該矩形區(qū)HR的各塊HMB1，輸出與各塊HMB1相對應(yīng)的圖像信號HBg。然后，在編碼器16a中，該分塊圖像信號HBg通過參照上述插補圖像信號LAg的編碼處理，變換成高分辨率編碼信號HEg。這里塊HMB1是由32×32像素組成的圖像空間。
此時，因為上述插補矩形區(qū)AR在幀AF上的相對位置與高分辨率矩形區(qū)HR在幀HF上的相對位置相一致，故在上述編碼器16a中，可以以各矩形區(qū)的塊單位很容易地計算分塊圖像信號的差分值，可以對構(gòu)成高分辨率圖像的像素的像素值與構(gòu)成插補圖像的像素的像素值的差分值簡單地進行編碼。
再者，圖2(d)把與上述差分值(誤差)D相對應(yīng)的差分圖像D表示在高分辨率幀HF上。
這樣一來，在本第1實施例中，由于構(gòu)成高分辨率矩形區(qū)HR的塊HMB1的空間位置與構(gòu)成對低分辨率矩形區(qū)LR進行分辨率變換所得到的插補矩形區(qū)AR的塊AMB的空間位置相一致，所以在進行以與高分辨率幀HF內(nèi)的各個物體相對應(yīng)的矩形區(qū)HR為對象的層次編碼處理之際，可以參照低分辨率圖像信號LSg，不招致編碼效率的降低地進行高分辨率圖像信號HSg的編碼處理。
第2實施例圖3是用來說明根據(jù)本發(fā)明的第2實施例的圖像處理裝置(層次圖像編碼裝置)的方框圖。
雖然在上述第1實施例中，示出了以對低分辨率圖像信號進行分辨率變換的插補圖像信號與高分辨率圖像信號的差分值為誤差而進行編碼的構(gòu)成作為層次圖像編碼裝置，但是在圖像信號為雙值的圖像信號也就是雙值形狀信號的場合，存在著對塊的差分值直接進行編碼的更加有效的方法。
因此，第2實施例的層次圖像編碼裝置102具有對根據(jù)低分辨率圖像信號所得到的圖像的邊界、與根據(jù)高分辨率圖像信號所得到的圖像的邊界的錯位的大小進行編碼的編碼器16b，代替對把低分辨率圖像信號進行分辨率變換所得到的插補圖像信號與高分辨率圖像信號的差分值進行編碼的第1實施例的編碼器16a，其他構(gòu)成與第1實施例的層次圖像編碼裝置101相同。也就是說，構(gòu)成第2實施例的層次圖像編碼裝置102的低分辨率編碼單元102L與上述第1實施例的構(gòu)成相同，此外構(gòu)成層次圖像編碼裝置102的高分辨率編碼單元102H中，只有編碼器16b的構(gòu)成與上述第1實施例的不同。
下面就其作用和效果進行說明。
圖4是用來說明由上述第2實施例的層次圖像編碼裝置進行的編碼處理的示意圖，圖4(a)示出與低分辨率圖像信號相對應(yīng)的幀LF，圖4(b)示出與高分辨率圖像信號相對應(yīng)的幀HF，圖4(c)示出與分辨率變換圖像信號(插補圖像信號)相對應(yīng)的幀AF。此外，圖4(d)示出設(shè)定在幀HF上的矩形區(qū)HR內(nèi)的物體Hob的邊界HB，圖4(e)示出設(shè)定在幀AF上的矩形區(qū)AR內(nèi)的物體Aob的邊界AB，而圖4(f)在上述幀HF上把與高分辨率圖像信號相對應(yīng)的物體Hob的邊界HB和與插補圖像信號相對應(yīng)的物體Aob的邊界AB重合起來示出。
這里所謂的物體的邊界，是指構(gòu)成圖像信號的雙值的形狀信號的值在空間上變化的像素的位置。
在該第2實施例中，與上述第1實施例同樣，由高分辨率編碼單元102H的區(qū)域檢測器12根據(jù)高分辨率圖像信號HSg來檢測對應(yīng)的物體的矩形區(qū)HR(參照圖4(b))，由低分辨率編碼單元102L的區(qū)域檢測器30a以這樣的方式來檢測低分辨率圖像信號LSg的矩形區(qū)LR的空間位置LRp(參照圖4(a))，亦即使空間位置與上述矩形區(qū)HR相一致。
這樣一來，通過在低分辨率幀LF上設(shè)定矩形區(qū)LR的位置LRp，可以使低分辨率幀LF上的低分辨率矩形區(qū)LR的位置LRp與高分辨率幀HF上的高分辨率矩形區(qū)HR的位置HRp相一致。
然后，與設(shè)定在低分辨率幀上的低分辨率矩形區(qū)相對應(yīng)的圖像信號LOg如上面所述的那樣在分塊器6中被分塊，進而該分塊圖像信號LBg在編碼器7中被編碼，作為低分辨率編碼信號LEg輸出。此一低分辨率編碼信號LEg被施以由解碼器9a進行的解碼處理和由上采樣器10a進行的插補處理，變換成具有與高分辨率圖像信號相等的空間分辨率的插補圖像信號LAg(參照圖4(c))。
另一方面，在區(qū)域提取器14中，從高分辨率圖像信號HSg中提取與高分辨率矩形區(qū)HR相對應(yīng)的圖像信號HOg，這一圖像信號HOg在分塊器15中被分塊。
然后，在編碼器16b中，根據(jù)從分塊后的圖像信號HBg所得到的物體Hob的邊界位置HB和從上述插補圖像信號LAg所得到的物體Aob的邊界位置AB，兩者的錯位量ΔB被編碼并作為高分辨率編碼信號HEg輸出。
這樣一來，在本第2實施例中，由于具有對從低分辨率圖像信號所得到的插補圖像的邊界與從高分辨率圖像信號所得到的圖像的邊界的錯位的大小進行編碼的編碼器16b，所以在圖像信號為雙值圖像信號的場合，也能以很高的編碼效率進行層次編碼處理。
再者，雖然在上述第2實施例中示出了對高分辨率圖像Hob的邊界HB與插補圖像Aob的邊界AB的錯位進行編碼的層次編碼處理，但是針對雙值圖像信號的層次編碼處理，也可以根據(jù)從低分辨率圖像信號所得到的插補圖像信號，按像素來切換用于高分辨率圖像信號的編碼處理的編碼表。
第3實施例圖5是用來說明根據(jù)本發(fā)明的第3實施例的圖像處理裝置(層次圖像編碼裝置)的方框圖。
雖然在上述第1實施例中示出了對低分辨率矩形區(qū)進行分辨率變換所得到的插補矩形區(qū)中的各塊的位置與高分辨率矩形區(qū)中的各塊的位置完全一致的例子，但是在綜合高分辨率矩形區(qū)的多個塊的綜合塊與插補矩形區(qū)的一個塊相一致的場合，也可以與上述第1實施例同樣地避免編碼效率的降低地進行層次編碼處理。
因此，第3實施例的層次圖像編碼裝置103設(shè)置成這樣的構(gòu)成，即具有把綜合分塊了的高分辨率圖像信號的綜合信號與分塊了的插補圖像信號進行比較、求出該綜合信號與插補圖像信號的差分值、對這一差分值進行編碼的編碼器16c，代替把分塊了的插補圖像信號與分塊了的高分辨率圖像信號進行比較而求出差分值的構(gòu)成的編碼器16a。此外，在第3實施例中，構(gòu)成高分辨率矩形區(qū)HR的高分辨率塊HMB2(參照圖6(b))與構(gòu)成低分辨率矩形區(qū)LR的低分辨率塊LMB(參照圖6(a))同樣，設(shè)置成由16×16像素組成的圖像空間；構(gòu)成插補矩形區(qū)AR的插補塊AMB(參照圖6(c))則被設(shè)置成由32×32像素組成的圖像空間。因而，在第3實施例中，分塊器15為這樣的構(gòu)成，即以由16×16像素組成的塊HMB2為單位進行高分辨率圖像信號的分塊處理。而且，第3實施例的層次圖像編碼裝置103中的其他構(gòu)成設(shè)置成與上述第1實施例的層次圖像編碼裝置101相同。也就是說，構(gòu)成該第3實施例的層次圖像編碼裝置103的低分辨率編碼單元103L與上述第1實施例的構(gòu)成相同。此外，構(gòu)成層次圖像編碼裝置103的高分辨率編碼單元103H中只有編碼器16c的構(gòu)成與上述第1實施例的不同。
下面就其作用和效果進行說明。
圖6是用來說明由上述第3實施例的層次圖像編碼裝置進行的編碼處理的示意圖，圖6(a)示出與低分辨率圖像信號相對應(yīng)的顯示畫面(幀)LF，圖6(b)示出與高分辨率圖像信號相對應(yīng)的顯示畫面(幀)HF。此外，圖6(c)示出與對低分辨率圖像信號進行分辨率變換的插補圖像信號相對應(yīng)的顯示畫面(幀)AF。
在第3實施例中，由區(qū)域檢測器12根據(jù)高分辨率圖像信號HSg，檢測與該信號相對應(yīng)的物體Hob的矩形區(qū)HR(參照圖6(b))，由區(qū)域檢測器30a以這樣的方式來檢測低分辨率圖像信號LSg的矩形區(qū)LR的空間位置LRp(參照圖6(a))，就是使上述矩形區(qū)HR的空間位置HRp與插補矩形區(qū)AR的空間位置ARp相一致。
這樣一來，通過在低分辨率幀LF上設(shè)定矩形區(qū)LR的空間位置LRp，可以使低分辨率幀LF上的低分辨率矩形區(qū)LR的空間位置LRp與高分辨率幀HF上的高分辨率矩形區(qū)HR的空間位置HRp實際上相一致。
然后，如上所述，與在低分辨率幀LF上所設(shè)定的低分辨率矩形區(qū)相對應(yīng)的圖像信號LOg在分塊器6中被分塊，進而該分塊了的圖像信號LBg在編碼器7中被編碼，作為低分辨率編碼信號LEg輸出。該低分辨率編碼信號LEg被施以由解碼器9a進行的解碼處理和由上采樣器10a進行的插補處理，變換成具有與高分辨率圖像信號相等的空間分辨率的插補圖像信號LAg(圖6(c))。
另一方面，在區(qū)域提取器14中從高分辨率圖像信號HSg中提取與矩形區(qū)HR相對應(yīng)的圖像信號HOg，該圖像信號HOg在分塊器15中被分塊成對應(yīng)于由16×16像素組成的塊HMB2。
此時，因為構(gòu)成上述插補圖像Aob的矩形區(qū)AR的一個塊AMB與綜合構(gòu)成高分辨率圖像Hob的矩形區(qū)HR的4個塊HMB2的區(qū)域相一致，故在上述編碼器16c中參照與一個塊AMB相對應(yīng)的插補圖像信號，對與該塊相一致的與高分辨率矩形區(qū)的4個塊HMB2相對應(yīng)的圖像信號HBg進行編碼。也就是說，對與該4個塊HMB2相對應(yīng)的圖像信號HOg和與上述一個塊AMB相對應(yīng)的插補圖像信號LAg的差分值進行編碼，作為高分辨率編碼信號HEg輸出。
這樣一來，在第3實施例中，由于對與綜合4個高分辨率塊HMB2的綜合區(qū)相對應(yīng)的高分辨率圖像信號HOg和與與該綜合區(qū)相一致的插補一個塊AMB相對應(yīng)的插補圖像信號ALg的差分值進行編碼，所以即使在高分辨率塊與插補塊不一一對應(yīng)的場合，也可以采取高分辨率塊中的像素與插補塊中的像素的對應(yīng)，可以參照低分辨率圖像信號對高分辨率圖像信號進行編碼。
此外，因為可以如上所述采取高分辨率塊與插補塊的對應(yīng)，故可以很容易地實現(xiàn)塊單位的信息(編碼模式信息等)的預(yù)測編碼，而且因為采取兩個塊間的空間位置的對應(yīng)，故編碼效率也提高。
此外，在該第3實施例中，因為分割低分辨率矩形區(qū)的塊的大小與分割高分辨率矩形區(qū)的塊是相同的大小，故低分辨率編碼單元中的編碼器7與高分辨率編碼單元中的編碼器17的構(gòu)成幾乎相同，通過時間分割處理等可以很容易地實現(xiàn)編碼單元的硬件資源的共享。
第4實施例圖7是用來說明根據(jù)本發(fā)明的第4實施例的圖像處理裝置(層次圖像編碼裝置)的方框圖。
第4實施例的層次圖像編碼裝置104省略了第1實施例中的與低分辨率圖像信號相對應(yīng)的區(qū)域檢測器30a，具有根據(jù)第1實施例中的區(qū)域檢測器12的輸出HRg、提取在低分辨率幀LF上處在與高分辨率矩形區(qū)HR的空間位置相對應(yīng)的空間位置的低分辨率矩形區(qū)LR的區(qū)域提取器31d，代替第1實施例的區(qū)域提取器5。
也就是說，該第4實施例的層次圖像編碼裝置104的低分辨率編碼單元104L由上述區(qū)域提取器31d、對其輸出進行分塊的分塊器6、以及對分塊了的圖像信號進行編碼的編碼器7構(gòu)成。此外，上述層次圖像編碼裝置104的高分辨率編碼單元104H與第1實施例的高分辨率編碼單元101H完全相同，由區(qū)域檢測器12、區(qū)域提取器14、分塊器15、以及編碼器16a構(gòu)成。
下面就作用效果進行說明。
根據(jù)二次采樣器2的空間分辨率變換方法的工作原理，在查明與對低分辨率圖像信號進行分辨率變換所得到的插補圖像信號相對應(yīng)的物體的形狀始終不大于與高分辨率圖像信號相對應(yīng)的物體的形狀的大小的場合下，把與矩形信號HRg所示的高分辨率矩形區(qū)HR相對應(yīng)的空間位置HRp(參照圖2(b))設(shè)置成與其相對應(yīng)的低分辨率矩形區(qū)LR的空間位置LRp(參照圖2(a))，借此可以把低分辨率圖像信號的物體Lob完全包含于低分辨率矩形區(qū)LR中。
由于這一點意味著不需要第1實施例中的從低分辨率圖像信號LSg中提取與包含物體的矩形區(qū)LR相對應(yīng)的矩形信號LRg，所以只要上述二次采樣器2滿足上述條件，就可以用比較簡單的構(gòu)成實現(xiàn)與第1實施例的圖像編碼裝置相同的效果。
也就是說，在第4實施例的層次圖像編碼裝置104中，對于圖像輸入信號的高分辨率圖像信號HSg，由高分辨率編碼單元104H施以與上述第1實施例完全相同的處理。
此外，通過上述高分辨率圖像信號HSg的二次采樣所得到的低分辨率圖像信號LSg，通過與上述第1實施例幾乎同樣的處理，在低分辨率編碼單元104L中被編碼。此時，區(qū)域提取器31d接受低分辨率圖像信號LSg，根據(jù)高分辨率編碼單元104H的區(qū)域檢測器12的輸出HRg，來確定低分辨率幀上的矩形區(qū)的位置，把與該矩形區(qū)相對應(yīng)的圖像信號LOg輸出到分塊器6。該圖像信號LOg在分塊器6中被分塊，進而分塊了的圖像信號LBg在編碼器7中被編碼，從低分辨率編碼單元104L輸出與各塊相對應(yīng)的低分辨率編碼信號LEg。
該低分辨率編碼信號LEg在解碼器9a中被解碼，該解碼器9a的輸出Ldg在上采樣器10a中被變換成具有與高分辨率圖像信號相同的空間分辨率的插補圖像信號LAg，輸出到高分辨率編碼單元104H的編碼器16a。
這樣，在本第4實施例中，由于在低分辨率編碼單元104L的區(qū)域提取器31d中根據(jù)作為高分辨率編碼單元104H的區(qū)域檢測器12的輸出的矩形信號HRg來確定低分辨率幀上的矩形區(qū)LR的位置，所以在低分辨率編碼單元104L中不需要區(qū)域提取用的電路構(gòu)成，可以用比較簡單的構(gòu)成來實現(xiàn)與第1實施例的圖像編碼裝置相同的效果。
第5實施例圖8是用來說明根據(jù)本發(fā)明的第5實施例的圖像處理裝置(層次圖像解碼裝置)的方框圖。
第5實施例的層次圖像解碼裝置105的構(gòu)成如下，即以由圖7中所示的第4實施例的層次圖像編碼裝置104編碼了的低分辨率編碼信號LEg和高分辨率編碼信號HEg為輸入信號進行層次解碼處理。也就是說，層次圖像解碼裝置105與現(xiàn)有的層次圖像解碼裝置200b同樣，具有對上述低分辨率編碼信號LEg施行解碼處理，生成低分辨率再生信號LCg的低分辨率解碼單元105L；通過上采樣對該解碼單元105L中的解碼信號LDg進行插補的上采樣器10b；以及根據(jù)該上采樣器10b的輸出LAg對上述高分辨率編碼信號HEg進行解碼，生成高分辨率再生信號HCg的高分辨率解碼單元105H。
這里，上述各解碼單元105L和105H與現(xiàn)有的層次圖像解碼裝置200b同樣，分別具有解碼器9和30、逆分塊器20和31、以及區(qū)域合成器34和32。
而且在本第5實施例中，上述區(qū)域合成器34為這樣的構(gòu)成，即參照來自上述第4實施例的層次圖像編碼裝置104的高分辨率矩形信號HRg，把低分辨率矩形區(qū)配置在低分辨率幀上的、該矩形信號HRg所示的位置，把與該矩形區(qū)相對應(yīng)的圖像信號LIg合成于與幀相對應(yīng)的其他圖像信號，只有這一點與圖24中所示的現(xiàn)有的層次圖像解碼裝置200b不同。
下面就其操作過程進行說明。
作為上述第4實施例的層次圖像編碼裝置104的輸出的低分辨率編碼信號LEg和高分辨率編碼信號HEg一旦輸入本層次圖像解碼裝置105，低分辨率編碼信號LEg就在低分辨率解碼單元105L中由解碼器9來進行解碼，進而解碼器9的輸出LDg由逆分塊器20來綜合。進而，逆分塊器20的輸出LIg根據(jù)高分辨率矩形信號HRg被合成為與低分辨率幀相對應(yīng)的圖像信號。
此時，上述解碼器9的輸出LDg在上采樣器10b中被插補并被輸出到高分辨率解碼單元105H。
此外，與上述現(xiàn)有的層次圖像解碼裝置200b中完全相同，上述高分辨率編碼信號HEg在高分辨率解碼單元105H中根據(jù)來自上述上采樣器10b的插補圖像信號ADg和高分辨率矩形信號HRg被解碼。
這樣一來，在本第5實施例中，可以接受來自第4實施例的層次圖像編碼裝置104的編碼信號LEg、HEg以及矩形信號HRg，在區(qū)域合成器34中，通過與第4實施例的區(qū)域提取器30d同樣的操作，把低分辨率矩形區(qū)合成于低分辨率幀上的、高分辨率矩形信號HRg所示的空間位置內(nèi)。
因而，通過把與由逆分塊器20所綜合的圖像解碼信號相對應(yīng)的圖像配置在設(shè)定在低分辨率幀上的低分辨率空間區(qū)內(nèi)，可以對由上述第4實施例的層次圖像編碼裝置編碼了的編碼信號LEg和HEg正確地進行解碼。
第6實施例圖9(a)和圖9(b)是用來說明根據(jù)本發(fā)明的第6實施例的圖像處理裝置(層次圖像編碼裝置)的方框圖。
第6實施例的層次圖像編碼裝置106與圖1中所示的第1實施例的層次圖像編碼裝置101同樣，具有二次采樣器2、低分辨率編碼單元106L、解碼器9a、上采樣器10a以及高分辨率編碼單元106H。這里，帶有與上述第1實施例相同標(biāo)號的是與第1實施例完全相同的構(gòu)成。
而且，在此一第6實施例中，對低分辨率圖像信號LSg進行編碼的低分辨率編碼單元106L具有生成并輸出與分塊了的低分辨率圖像信號LBg相對應(yīng)的低分辨率編碼信號Leg、同時生成并輸出表示各該分塊圖像信號LBg的編碼模式的編碼模式信號Mg的編碼器7f，代替第1實施例的低分辨率編碼單元101L中的編碼器7，其他構(gòu)成與第1實施例完全相同。
此外，在本第6實施例中，對高分辨率圖像信號HSg進行編碼的高分辨率編碼單元106H，具有不僅根據(jù)上采樣器10a的輸出LAg而且根據(jù)上述編碼模式信號Mg來進行分塊了的高分辨率圖像信號HBg的編碼處理的編碼器16f，代替上述第1實施例的高分辨率編碼單元101H中的編碼器16a，其他構(gòu)成與第1實施例完全相同。
編碼器16f具有接受上述分塊了的高分辨率圖像信號HBg，判定其編碼模式并輸出高分辨率塊的編碼模式信號MD的判定單元50；根據(jù)分塊了的低分辨率圖像信號LBg的編碼模式信號Mg，對該編碼模式信號MD進行編碼并輸出模式編碼信號EMg的模式編碼器51；以及對高分辨率分塊圖像信號HBg的編碼方法不同的第1和第2編碼器53和54(參照圖9(b))。
這里的第1編碼器53的構(gòu)成為，參照對低分辨率解碼信號Ldg進行上采樣所得到的插補信號LAg，進行高分辨率分塊圖像信號HBg的編碼處理；上述第2編碼器54的構(gòu)成為，不參照上述插補信號LAg地進行高分辨率分塊圖像信號HBg的編碼處理。進而，具體地說，上述模式判定器50的構(gòu)成為，根據(jù)上述高分辨率分塊圖像信號HBg，來判定是應(yīng)該參照與低分辨率圖像信號相對應(yīng)的插補信號LAg對該分塊圖像信號HBg進行編碼，還是應(yīng)該不參照該插補信號LAg地對該圖像信號HBg進行編碼。
此外，上述編碼器16f具有根據(jù)上述模式判定器50的輸出(編碼模式信號)MD，把上述高分辨率分塊圖像信號HBg供給到上述第1和第2編碼器53、54中的某一方的前級開關(guān)52；根據(jù)上述模式判定器50的輸出MD，來選擇上述第1和第2編碼器53、54中的某一個的輸出HEg1或HEg2的后級開關(guān)55；以及對該后級開關(guān)55的輸出SHEg和上述模式編碼信號EMg進行多路復(fù)合的多路復(fù)合器56。
下面就其作用和效果進行說明。
作為圖像輸入信號的高分辨率圖像信號HSg一旦輸入層次圖像編碼裝置106，就在二次采樣器2中通過高分辨率圖像信號HSg的二次采樣而生成低分辨率圖像信號LSg，該信號LSg在上述低分辨率編碼單元106L中被編碼。在該編碼單元106L的編碼器7f中，在低分辨率分塊圖像信號LBg的編碼處理之際，輸出與該圖像信號LBg相對應(yīng)的編碼模式信號Mg。
另一方面，在高分辨率編碼單元106H中，通過針對高分辨率圖像信號HSg的、與第1實施例同樣的區(qū)域檢測處理和區(qū)域提取處理，生成與高分辨率矩形區(qū)HR相對應(yīng)的圖像信號HOg，進而通過分塊處理從圖像信號HOg生成與高分辨率塊HMB1相對應(yīng)的分塊圖像信號HBg。然后，該分塊圖像信號HBg在編碼器16f中根據(jù)上述上采樣輸出LAg和編碼模式信號Mg被編碼。
也就是說，在由第6實施例的層次圖像編碼裝置106進行的層次編碼處理中，編碼模式信號Mg從低分辨率編碼單元106L的編碼器7f輸出到高分辨率編碼單元106H的編碼器16f，在編碼器16f中，參照低分辨率分塊圖像信號LBg的編碼模式Mg，對分塊了的高分辨率圖像信號HBg進行編碼，這一點與上述第1實施例的編碼處理不同。
下面，就上述編碼器16f的詳細操作簡單地進行說明。
在上述編碼器16f中，通過模式判定器50中的模式判定并根據(jù)分塊了的高分辨率圖像信號HBg來確定與該圖像信號HBg相對應(yīng)的編碼方法。也就是說，確定是參照插補信號ALg來對該圖像信號HBg進行編碼，還是不參照插補信號ALg地對該圖像信號HBg進行編碼。于是，與這一模式判定結(jié)果相對應(yīng)的編碼模式信號MD從上述模式判定器50輸出，在上述各開關(guān)52和55中，根據(jù)該編碼模式信號MD來選擇上述第1和第2編碼器53和54中的某一個。借此，上述高分辨率圖像信號HBg在所選擇的編碼器53或54中被編碼，并輸出到多路復(fù)合器56。
此外，此時在上述模式編碼器51中，上述編碼模式信號MD的編碼處理根據(jù)低分辨率塊的編碼模式Mg來進行，在上述多路復(fù)合器56中，上述開關(guān)55的輸出SHEg和上述模式編碼器51的輸出EMg被多路復(fù)合，作為高分辨率編碼信號HEg輸出。
這樣一來，在本第6實施例中，由于在編碼器16f中參照低分辨率塊的編碼模式進行高分辨率塊的編碼處理，所以可以實現(xiàn)編碼效率更高的層次編碼處理。
也就是說，上述高分辨率塊的編碼模式與對應(yīng)的低分辨率塊的編碼模式有關(guān)。例如，在低分辨率塊處在物體的邊界部分的場合，對應(yīng)的高分辨率塊也處在邊界部分的概率較高，同樣，在低分辨率塊處在物體外部或物體內(nèi)部的場合，對應(yīng)的高分辨率塊也處在物體外部或物體內(nèi)部的概率較高。
這樣一來，因為低分辨率塊的編碼模式與高分辨率塊的編碼模式相一致的概率較高，故在高分辨率編碼單元106H中的編碼器16f中，通過參照低分辨率塊的編碼模式信號Mg進行在此一編碼模式信號Mg和模式相同的高分辨率塊的編碼模式信號中分配短碼的預(yù)測編碼，可以比不參照低分辨率塊的編碼模式信號Mg的場合減少編碼比特數(shù)。
再有，雖然在上述第6實施例中示出了這樣的構(gòu)成，即根據(jù)低分辨率塊的編碼模式來切換高分辨率圖像信號的編碼方法，同時切換高分辨率塊的編碼模式的編碼方法；但是也可以設(shè)置成根據(jù)低分辨率塊的編碼模式來僅切換高分辨率圖像信號的編碼方法和高分辨率塊的編碼方法中的一方。
此外，雖然在第6實施例中示出了這樣的構(gòu)成，即作為層次圖像編碼裝置106不僅根據(jù)低分辨率圖像信號而且還根據(jù)低分辨率塊的編碼模式來進行圖1中所示的上述第1實施例的層次圖像編碼裝置101中的層次編碼處理，但是這種層次圖像編碼裝置不限于上述第6實施例，舉個例子來說，也可以這樣來構(gòu)成，即根據(jù)低分辨率圖像信號和低分辨率塊的編碼模式來進行圖5中所示的第3實施例中的層次編碼處理。
在這一場合下，參照與由16×16像素組成的低分辨率塊LMB(參照圖6(a))相對應(yīng)的編碼模式的、與由16×16像素組成的高分辨率塊HMB2(參照圖6(b))相對應(yīng)的編碼模式的編碼處理，可以以與通過上述低分辨率塊LMB的分辨率變換處理所得到的由32×32像素組成的一個插補塊AMB(參照圖6(c))相對應(yīng)的、由4個高分辨率塊HMB2組成的綜合區(qū)為單位來進行。但是在這一場合下，對于與比低分辨率塊LMB更小的單位相對應(yīng)的信息(即像素值的預(yù)測誤差等)來說，也與上述第3實施例同樣，例如，如圖6(d)中所示以像素單位，來計算與高分辨率幀HF相對應(yīng)的像素值(圖6(b))，和與分辨率變換(插補)幀AF相對應(yīng)的像素值(圖6(c))的誤差(差分圖像D)，以由16×16像素組成的小塊單位對此一誤差信號進行編碼處理。
第7實施例圖10(a)和圖10(b)是用來說明根據(jù)本發(fā)明的第7實施例的圖像處理裝置(層次圖像解碼裝置)的方框圖。
第7實施例的層次圖像解碼裝置107與圖24中所示的現(xiàn)有的層次圖像解碼裝置200b同樣，具有低分辨率解碼單元107L、上采樣器10b以及高分辨率解碼單元107H。這里，帶有與上述現(xiàn)有的層次圖像解碼裝置200b中的相同標(biāo)號的為與現(xiàn)有的層次圖像解碼裝置200b的完全相同的構(gòu)成。在根據(jù)該第7實施例的層次圖像解碼裝置107中，參照從低分辨率的解碼器9g輸出的編碼模式Mg來進行高分辨率編碼信號HEg的解碼處理，這一點與上述圖24中所示的現(xiàn)有的層次圖像解碼裝置200b不同。
也就是說，在第7實施例中，對低分辨率編碼信號LEg進行解碼的低分辨率解碼單元107L具有同時輸出低分辨率解碼信號LDg和編碼模式信號Mg的解碼器9g，代替現(xiàn)有的層次圖像解碼裝置200b的低分辨率解碼單元202L中的解碼器9，其他構(gòu)成與現(xiàn)有的層次圖像解碼裝置200b的構(gòu)成完全相同。
此外，在本第7實施例中，對高分辨率編碼信號HEg進行解碼的高分辨率解碼單元107H，具有不僅根據(jù)上述上采樣器10b的輸出ADg而且還根據(jù)上述編碼模式信號Mg來進行所輸入的高分辨率編碼信號HEg的解碼處理的解碼器40g，代替上述現(xiàn)有的層次圖像解碼裝置200b的高分辨率解碼單元202H中的解碼器30，其他構(gòu)成與現(xiàn)有的層次圖像解碼裝置200b完全相同。
該解碼器40g具有從上述高分辨率編碼信號HEg中分離并提取模式編碼信號EMg的分離器60；對該所分離的模式編碼信號EMg進行解碼的模式解碼器61；以及針對該模式編碼信號EMg和所分離的高分辨率編碼信號SHEg的解碼方法不同的第1和第2解碼器63和64。
此外，上述解碼器40g還具有根據(jù)在上述模式解碼器61中所解碼的編碼模式信號DMg，把上述高分辨率編碼信號SHEg供給到上述第1和第2解碼器63和64中的某一方的前級開關(guān)62；以及根據(jù)在上述模式解碼器61中所解碼的編碼模式信號DMg來選擇上述第1和第2解碼器63和64中的某一個的輸出HDg1或HDg2作為高分辨率解碼信號HDg輸出的后級開關(guān)65。
這里，上述第1解碼器63的構(gòu)成為，參照對低分辨率解碼信號LDg進行上采樣所得到的插補信號ADg，來進行高分辨率編碼信號HEg的解碼處理。此外第2解碼器64的構(gòu)成為，不參照上述插補信號ADg地進行高分辨率編碼信號HEg的解碼處理。
下面就其作用和效果進行說明。
高分辨率編碼信號HEg和低分辨率編碼信號LEg一旦輸入本層次圖像解碼裝置107，就在低分辨率解碼單元107L中依次進行對上述編碼信號LEg的解碼處理和逆分塊處理，通過該逆分塊處理所綜合的、與規(guī)定的矩形區(qū)相對應(yīng)的低分辨率解碼信號LIg由區(qū)域合成器21和與幀相對應(yīng)的其他圖像信號合成。
在進行這一解碼處理之際，低分辨率解碼信號LDg和編碼模式信號Mg同時從解碼器9g輸出，該低分辨率解碼信號LDg由上采樣器10b來插補，被變換成空間分辨率與高分辨率解碼信號HDg相等的插補解碼信號ADg。
此外，在高分辨率解碼單元107H中，對上述高分辨率編碼信號HEg的由解碼器40g進行的解碼處理，根據(jù)上述編碼模式信號Mg和插補解碼信號ADg來進行，進而在逆分塊器31中對解碼器40g的輸出HDg施以逆分塊處理。然后通過逆分塊處理所綜合的、與規(guī)定的矩形區(qū)相對應(yīng)的高分辨率解碼信號HIg由區(qū)域合成器32和與幀相對應(yīng)的其他圖像信號合成。
下面，就上述解碼器40g的詳細操作進行說明。
在上述解碼器40g中，在分離器60中，高分辨率編碼信號HEg分離成與編碼模式相對應(yīng)的碼部分EMg和其他碼部分SHEg，與編碼模式相對應(yīng)的碼部分EMg輸出到模式解碼器61，其他碼部分SHEg輸出到前級開關(guān)62。此時在上述模式解碼器61中，與高分辨率塊相對應(yīng)的模式編碼信號參照低分辨率塊的編碼模式信號Mg被解碼。在上述各開關(guān)62和65中，參照高分辨率塊的解碼了的編碼模式信號DMg，選擇第1解碼器63和第2解碼器64中的某一方以及某一個解碼器的輸出HDg1或HDg2作為解碼器40g的輸出HDg而輸出。
這樣一來，由于在本第7實施例中設(shè)置成不僅根據(jù)通過對低分辨率解碼信號LDg上采樣而插補了的插補解碼信號ADg而且還根據(jù)低分辨率塊的編碼模式信號Mg來進行高分辨率編碼信號HEg的解碼處理，所以使由圖9中所示的第6實施例的層次圖像編碼裝置106所編碼的高分辨率編碼信號HEg在解碼器40g中參照編碼模式信號Mg被解碼，可以進行與第6實施例中的編碼器16f進行的編碼處理相對應(yīng)的解碼處理。因此，可以對由第6實施例的層次圖像編碼裝置所編碼的低分辨率編碼信號LEg和高分辨率編碼信號HEg正確地進行解碼。
再者，雖然在上述第7實施例中設(shè)置成根據(jù)低分辨率塊的編碼模式來切換高分辨率編碼信號的解碼方法和高分辨率塊的編碼模式的解碼方法，但是也可以設(shè)成根據(jù)低分辨率塊的編碼模式，僅切換上述高分辨率編碼信號的解碼方法和高分辨率塊的編碼模式的解碼方法中的一方。
第8實施例圖11是用來說明根據(jù)本發(fā)明的第8實施例的圖像處理裝置(層次圖像編碼裝置)的示意圖，圖11(a)是表示其總體構(gòu)成的方框圖，圖11(b)是表示構(gòu)成該層次圖像編碼裝置的編碼器的詳細構(gòu)成的方框圖。
第8實施例中的層次圖像編碼裝置108具有根據(jù)物體的形狀來切換編碼模式的編碼器16h，代替圖9中所示的第6實施例的層次圖像編碼裝置106中的編碼器16f，其他構(gòu)成與上述第6實施例的層次圖像編碼裝置106相同。
而且，第8實施例的編碼器16h具有接受分塊了的高分辨率編碼信號HBg，判定物體的邊界是否包含在與此一圖像信號相對應(yīng)的塊內(nèi)，輸出與判定結(jié)果相對應(yīng)的判定信號BD，同時輸出表示物體的邊界包含在該塊內(nèi)的判定信號BD1的邊界判定器70；以及接受上述高分辨率編碼信號HBg和上述判定信號BD1，當(dāng)物體的邊界包含在上述塊內(nèi)時，輸出表示是否應(yīng)該參照低分辨率圖像信號LSg的識別信號MD1的模式判定器75。
此外，上述編碼器16h還具有根據(jù)低分辨率編碼信號LEg的編碼模式信號Mg對該判定信號BD和識別信號MD1進行編碼并輸出模式編碼信號EMg的模式編碼器71；對高分辨率圖像信號HSg的任意形狀的編碼處理的方法不同的第1和第2任意形狀編碼器73a和73b；以及對高分辨率圖像信號HSg施行固定形狀編碼處理的固定形狀編碼器74。
這里，上述第1任意形狀編碼器73a的構(gòu)成為，參照對低分辨率解碼信號Ldg進行上采樣所得到的插補信號LAg來進行高分辨率圖像信號HSg的任意形狀編碼處理。上述第2任意形狀編碼器73b的構(gòu)成為，不參照對低分辨率解碼信號進行上采樣所得到的插補信號LAg地進行高分辨率圖像信號HSg的任意形狀編碼處理。
此外，上述編碼器16h還具有根據(jù)上述邊界判定器70的輸出BD和模式判定器75的輸出MD1，把上述高分辨率圖像信號HSg供給到上述第1、第2任意形狀編碼器73a、73b，和固定形狀編碼器74中的某一個的前級開關(guān)52；根據(jù)上述邊界判定器70的輸出BD和模式判定器75的輸出MD1，來選擇上述第1、第2任意形狀編碼器73a、73b，和固定形狀編碼器74中的某一個的輸出的后級開關(guān)55；以及對上述后級開關(guān)55的輸出與上述模式編碼信號EMg進行多路復(fù)合的多路復(fù)合器56。
下面就其作用和效果進行說明。
對于具有物體的形狀信息的圖像信號來說，根據(jù)物體的形狀信息來切換編碼模式是有效的。
也就是說，在物體邊界被包含在高分辨率塊內(nèi)的場合下，由任意形狀編碼器73a或73b來進行根據(jù)物體形狀的任意形狀編碼處理，在高分辨率塊處在物體外部或高分辨率塊處在物體內(nèi)部的場合，由可以對塊內(nèi)的圖像信號(固定形狀)高效地編碼的固定形狀編碼器74來進行編碼。
此外，在物體邊界被包含在低分辨率塊內(nèi)的場合下，在物體邊界也被包含在對應(yīng)的高分辨率塊內(nèi)、低分辨率塊處在物體內(nèi)部或物體外部的場合，對應(yīng)的高分辨率塊也處在物體內(nèi)部或物體外部的概率較高。因而，參照對低分辨率塊的編碼模式(也就是，低分辨率塊與物體的邊界的位置關(guān)系)來進行對高分辨率塊的編碼處理，在提高編碼效率方面是有效的。
以下進行詳細描述。圖12是表示低分辨率矩形區(qū)和高分辨率矩形區(qū)處在物體內(nèi)部或物體外部的示意圖。圖12(a)示出構(gòu)成圖2(a)中所示的低分辨率矩形區(qū)LR的各塊LMB是否處在物體Lob內(nèi)，圖12(b)示出構(gòu)成圖2(b)中所示的高分辨率矩形區(qū)HR的各塊HMB1是否處在物體Hob內(nèi)。此外，圖12(c)示出構(gòu)成圖2(c)中所示的插補矩形區(qū)AR的塊AMB是否處在物體Aob內(nèi)，圖12(d)示出構(gòu)成圖6(d)中所示的高分辨率矩形區(qū)HR的各塊HMB2是否處在物體Hob內(nèi)。這里，帶有符號I的塊是處在物體內(nèi)部的塊，帶有符號O的塊是處在物體外部的塊，帶有符號IO的塊是處在物體邊界的塊。
從圖12看出，如果把與對低分辨率圖像信號LSg進行分辨率變換的插補圖像信號LAg相對應(yīng)的插補矩形區(qū)AR(圖12(c))和與高分辨率圖像信號HSg相對應(yīng)的矩形區(qū)HR(圖12(b)或圖12(d))進行比較，則在低分辨率塊LMB處在物體內(nèi)部、物體外部或物體邊界的判定結(jié)果與高分辨率塊HMB1或HMB2處在物體內(nèi)部、物體外部或物體邊界的判定結(jié)果之間，存在著很大的關(guān)聯(lián)。
因此，由邊界判定器70來判定物體的邊界是否被包含在高分辨率塊內(nèi)，在參照表示有無低分辨率圖像的邊界的編碼模式信號Mg，由模式編碼器71對表示有無高分辨率圖像的邊界的編碼模式信號BD進行編碼之際，在低分辨率塊和與之相對應(yīng)的高分辨率塊之間的物體邊界的有無相一致的場合下，通過在上述高分辨率塊的編碼模式信號BD和BD1中分配碼長短的碼，可以節(jié)約編碼比特數(shù)。
下面，就上述編碼器16h的具體操作簡單地進行說明。
在上述編碼器16h中，由邊界判定器70根據(jù)分塊了的高分辨率圖像信號HBg來確定對該圖像信號HBg是施行任意形狀編碼處理還是施行固定形狀編碼處理。此外，在模式判定器75中，根據(jù)與來自邊界判定器70的判定結(jié)果相對應(yīng)的判定信號BD1和分塊了的高分辨率圖像信號HBg來確定是參照對低分辨率解碼信號Ldg進行插補所得到的插補圖像信號LAg地進行對高分辨率圖像信號HBg的任意形狀編碼處理，還是不參照該插補圖像信號LAg地進行對高分辨率圖像信號HBg的任意形狀編碼處理。
于是，在上述各開關(guān)52和55中，根據(jù)上述各判定器70和75的判定結(jié)果，來選擇上述第1、第2任意形狀編碼器73a、73b和固定形狀編碼器74中的某一個。借此，上述高分辨率圖像信號HBg在所選擇的編碼器73a、73b或74中被編碼，并輸出到多路復(fù)合器56。
此外，此時在上述模式編碼器71中，上述邊界判定器70的判定信號BD和模式判定器75的判定信號MD1的編碼處理根據(jù)低分辨率塊的編碼模式Mg來進行，在上述多路復(fù)合器56中，上述開關(guān)55的輸出SHEg與上述模式編碼器71的輸出EMg被多路復(fù)合，作為高分辨率編碼信號HEg輸出。
這樣一來，由于在本第8實施例中，由編碼器16h參照低分辨率塊的編碼模式Mg對高分辨率塊的編碼模式進行編碼，所以可以減少編碼模式的編碼所需的比特數(shù)。
此外，由于判定高分辨率塊與物體的位置關(guān)系，而且判定對高分辨率塊的編碼處理的方法，并根據(jù)這些的判定結(jié)果對高分辨率圖像信號施行參照低分辨率圖像信號的任意形狀編碼處理、不參照低分辨率圖像信號的任意形狀編碼處理、以及固定形狀編碼處理中的某一種處理，所以可以進行編碼效率更高的層次編碼處理。
再者，雖然在上述第8實施例中示出了這樣的構(gòu)成，即根據(jù)低分辨率塊的編碼模式來切換高分辨率圖像信號的編碼方法，同時切換高分辨率塊的編碼模式的編碼方法，但是也可以設(shè)成根據(jù)低分辨率塊的編碼模式，僅切換高分辨率圖像信號的編碼方法和高分辨率塊的編碼方法中的一方。
第9實施例圖13是用來說明根據(jù)本發(fā)明的第9實施例的圖像處理裝置(層次圖像解碼裝置)的示意圖，圖13(a)是表示其總體構(gòu)成的方框圖，圖13(b)是表示構(gòu)成該層次圖像解碼裝置的解碼器的詳細構(gòu)成的方框圖。
第9實施例的層次圖像解碼裝置109對由圖11中所示的第8實施例的層次圖像編碼裝置108編碼了的低分辨率編碼信號和高分辨率編碼信號進行解碼，具有根據(jù)解碼了的編碼模式信號來切換解碼模式的解碼器40I，代替圖10中所示的第7實施例的層次圖像解碼裝置107中的解碼器40g。這一層次圖像解碼裝置109中的其他構(gòu)成與上述第7實施例的層次圖像解碼裝置107相同。
而且，第9實施例的解碼器40i具有從上述高分辨率編碼信號HEg中分離并提取模式編碼信號EMg的分離器60；參照低分辨率圖像信號的編碼模式信號Mg來對該所分離的模式編碼信號EMg進行解碼的模式解碼器75a；對高分辨率編碼信號HSg的解碼方法不同的第1和第2任意形狀解碼器76a和76b；以及固定形狀解碼器77。這里，上述第1任意形狀解碼器76a的構(gòu)成為，參照對低分辨率解碼信號進行上采樣的插補信號來進行高分辨率編碼信號的解碼處理。上述第2任意形狀解碼器76b的構(gòu)成為，不參照對低分辨率解碼信號進行上采樣的插補信號地進行高分辨率編碼信號的解碼處理。
此外，上述解碼器40i還具有根據(jù)在上述模式解碼器75a中所解碼的編碼模式信號DMg，把上述高分辨率編碼信號HEg供給到上述第1、第2任意形狀解碼器76a、76b和固定形狀解碼器77中的某一個的前級開關(guān)62；以及根據(jù)在上述模式解碼器75a中所解碼的編碼模式信號DMg，來選擇上述第1、第2任意形狀解碼器76a、76b和固定形狀解碼器77中的某一個的輸出作為高分辨率解碼信號HDg而輸出的后級開關(guān)65。
下面就其作用和效果進行說明。
由于在本第9實施例的層次圖像解碼裝置109中，除了解碼器40i以外的操作，與上述第7實施例的層次圖像解碼裝置107完全相同，所以下面僅就解碼器40i的操作進行說明。
在上述解碼器40i的模式解碼器75a中，參照低分辨率圖像的編碼模式信號Mg(即處在物體之內(nèi)還是處在物體之外)，對高分辨率圖像的模式編碼信號EMg進行解碼。在上述前級開關(guān)62和后級開關(guān)65中，根據(jù)解碼了的高分辨率圖像的編碼模式，來選擇上述3個解碼器中的某一個。
借此，任意形狀編碼了的圖像編碼信號由第1或第2任意形狀解碼器76來進行解碼，固定形狀編碼了的圖像信號由固定形狀解碼器77來進行解碼。
這樣一來，可以對由上述第8實施例的層次圖像編碼裝置108根據(jù)物體的形狀來編碼的編碼信號，正確地進行解碼。
第10實施例圖14是用來說明根據(jù)本發(fā)明的第10實施例的圖像編碼裝置(層次圖像編碼裝置)的示意圖，圖14(a)是表示其總體構(gòu)成的方框圖，圖14(b)是表示構(gòu)成該層次圖像編碼裝置的編碼器的詳細構(gòu)成的方框圖。
該第10實施例的層次圖像編碼裝置110具有根據(jù)像素值的關(guān)聯(lián)大的掃描方向來切換編碼模式的編碼器16j，代替圖9中所示的第6實施例的層次圖像編碼裝置106中的編碼器16f，其他構(gòu)成與上述第6實施例的層次圖像編碼裝置106相同。
上述編碼器16j具有接受分塊了的高分辨率編碼信號HBg，判定各塊中的像素值的關(guān)聯(lián)大的掃描方向的掃描方向判定器80；根據(jù)針對低分辨率編碼信號LEg的、表示像素值的關(guān)聯(lián)大的掃描方向的模式信號Mg，對表示該判定結(jié)果的信號SD進行編碼并輸出模式編碼信號EMg的模式編碼器81；對高分辨率圖像信號HSg進行水平掃描編碼處理的水平掃描編碼器83；以及對上述高分辨率圖像信號HSg進行豎直方向編碼處理的豎直方向編碼器84。
此外，上述編碼器16j還具有根據(jù)上述掃描方向判定器80的輸出SD，把上述高分辨率圖像信號HSg供給到上述水平掃描編碼器83和豎直掃描編碼器84中的某一個的前級開關(guān)52；根據(jù)上述掃描方向判定器80的輸出SD，來選擇上述水平掃描編碼器83和豎直掃描編碼器84中的某一個的輸出的后級開關(guān)55；以及對該后級開關(guān)55的輸出和上述模式編碼信號EMg進行多路復(fù)合的多路復(fù)合器56。
下面就其作用和效果進行說明。
因為在此一第10實施例的層次圖像編碼裝置中，除了編碼器16j以外的操作與第6實施例的層次圖像編碼裝置106完全相同地進行，故僅就有關(guān)編碼器16j的操作進行說明。
在沿掃描線方向?qū)D像信號進行編碼的編碼方式的場合，編碼效率隨著掃描方向而變化。也就是說，對于像素值的水平方向的關(guān)聯(lián)大的圖像信號而言，通過沿著水平掃描方向依次對各像素的像素值進行編碼，有效地利用水平方向的關(guān)聯(lián)的編碼是可能的。此外，對于像素值的豎直方向的關(guān)聯(lián)大的圖像信號而言，通過沿著豎直掃描方向依次對各像素的像素值進行編碼，有效地利用像素值的豎直方向的關(guān)聯(lián)的編碼是可能的。
因此，在此一第10實施例的層次圖像編碼裝置110中的編碼器16j中，由掃描方向判定器80來判定像素值的關(guān)聯(lián)大的掃描方向，根據(jù)其判定結(jié)果由開關(guān)52和55來選擇水平掃描編碼器83和豎直掃描編碼器84中的某一個，由所選擇的該編碼器來進行對高分辨率圖像信號的編碼處理。借此可以提高層次編碼處理中的編碼效率。
此外，由于高分辨率圖像在與低分辨率圖像之間有關(guān)像素值的關(guān)聯(lián)也很大，所以在低分辨率圖像中的像素值的關(guān)聯(lián)大的掃描方向與高分辨率圖像中的像素值的關(guān)聯(lián)大的掃描方向之間也存在著關(guān)聯(lián)。
因此，在本第10實施例中，在參照表示低分辨率圖像中的像素值的關(guān)聯(lián)大的掃描方向的編碼模式信號Mg、對表示由掃描方向判定器80來判定的、高分辨率圖像中的像素值的關(guān)聯(lián)大的掃描方向的編碼模式信號在模式編碼器81中進行編碼之際，在低分辨率圖像與高分辨率圖像之間像素值的關(guān)聯(lián)大的掃描方向相一致的場合，在與上述高分辨率圖像信號相對應(yīng)的編碼模式信號中，分配短碼長的碼。借此，可以進一步節(jié)約編碼模式信號的編碼所需的編碼比特數(shù)。
第11實施例圖15是用來說明根據(jù)本發(fā)明的第11實施例的圖像處理裝置(層次圖像解碼裝置)的示意圖，圖15(a)是表示其總體構(gòu)成的方框圖，圖15(b)是表示構(gòu)成該層次圖像解碼裝置的解碼器的詳細構(gòu)成的方框圖。
第11實施例的層次圖像解碼裝置111對由圖14中所示的第10實施例的層次圖像編碼裝置110編碼了的低分辨率編碼信號和高分辨率編碼信號進行解碼，具有根據(jù)解碼了的編碼模式信號來切換解碼方式的解碼器40k，代替上述第7實施例中的解碼器40g。而且，此一層次圖像解碼裝置111中的其他構(gòu)成與圖10中所示的第7實施例的層次圖像解碼裝置107相同。
而且，第11實施例的解碼器40k具有從上述高分辨率編碼信號HEg中分離并提取模式編碼信號EMg的分離器60；對該分離了的模式編碼信號EMg進行解碼的模式解碼器85；對高分辨率編碼信號HEg進行水平掃描解碼處理的水平掃描解碼器86；以及對高分辨率編碼信號HEg進行豎直掃描解碼處理的豎直掃描解碼器87。
此外，上述解碼器40k還具有根據(jù)在上述模式解碼器85中所解碼的編碼模式信號DMg，把上述高分辨率編碼信號HEg供給到上述水平掃描解碼器86和豎直掃描解碼器87中的某一個的前級開關(guān)62；以及根據(jù)在上述模式解碼器85中所解碼的編碼模式信號DMg，來選擇上述水平掃描解碼器86和豎直掃描解碼器87中的某一個的輸出作為高分辨率解碼信號HDg而輸出的后級開關(guān)65。
下面就其作用和效果進行說明。
因為在此一第11實施例的層次圖像解碼裝置111中，除了解碼器40k以外的操作，與上述第7實施例的層次圖像解碼裝置107完全相同地進行，故僅就解碼器40k的操作進行說明。
在上述解碼器40k的模式解碼器85中，參照低分辨率圖像的編碼模式信號Mg(即像素值的關(guān)聯(lián)大的掃描方向)，對高分辨率圖像的編碼模式信號EMg進行解碼。根據(jù)解碼了的高分辨率圖像的編碼模式信號(表示像素值的關(guān)聯(lián)大的掃描方向的信號)DMg，來切換開關(guān)62和開關(guān)65，借此水平掃描編碼處理了的圖像信號在水平掃描解碼器86中被解碼，豎直掃描編碼處理了的圖像信號在豎直掃描解碼器87中被解碼。
這樣一來，在本第11實施例中，可以對根據(jù)物體的形狀來施行水平掃描編碼處理或豎直掃描編碼處理的編碼信號，正確地進行解碼。
第12實施例圖16是用來說明根據(jù)本發(fā)明的第12實施例的圖像編碼裝置(層次圖像編碼裝置)的示意圖，圖16(a)是表示其總體構(gòu)成的方框圖，圖16(b)是表示構(gòu)成該層次圖像編碼裝置的編碼器16m的詳細構(gòu)成的方框圖，圖16(c)是表示構(gòu)成該編碼器16m的第2編碼器54m的具體構(gòu)成的方框圖。
第12實施例的層次圖像編碼裝置112，具有參照低分辨率圖像的運動向量來進行高分辨率圖像信號的編碼的編碼器16m，代替上述第6實施例中的編碼器16f，其他構(gòu)成與圖9中所示的第6實施例的層次圖像編碼裝置106相同。
編碼器16m用于把上述第6實施例的編碼器16f中的第2編碼器54設(shè)成根據(jù)需要進行畫面間預(yù)測編碼的構(gòu)成，其他構(gòu)成與上述編碼器16f相同。
也就是說，構(gòu)成此一實施例中的編碼器16m的第2編碼器54m包括根據(jù)預(yù)測信號Pc對高分辨率圖像信號HBg進行編碼并輸出高分辨率編碼信號HEg的編碼器92；根據(jù)上述預(yù)測信號Pc對高分辨率編碼信號HEg進行解碼并輸出高分辨率局部解碼信號Hdg的解碼器93；以及儲存該高分辨率局部解碼信號Hdg的存儲器94。此外，上述第2編碼器54m還具有接受上述高分辨率圖像信號HBg，參照上述存儲器94中所儲存的高分辨率局部解碼信號Hdg，和作為低分辨率圖像的編碼模式Mg的運動向量LMV，來檢測與高分辨率圖像相對應(yīng)的運動向量HMV的運動檢測器90；根據(jù)該運動向量HMV，從上述存儲器94中提取上述預(yù)測信號Pc的運動補償器91；根據(jù)低分辨率圖像的運動向量LMV對上述高分辨率圖像的運動向量HMV進行編碼并輸出運動向量編碼信號HMVc的運動編碼器95；以及對該運動向量編碼信號HMVc和上述高分辨率編碼信號HEg進行多路復(fù)合并輸出之的多路復(fù)合器56m。
下面就其作用和效果進行說明。
在第12實施例的層次圖像編碼裝置112中，因為除了編碼器16m以外的操作，與第6實施例的層次圖像編碼裝置106完全同樣地進行，故僅就有關(guān)編碼器16m的操作進行說明。
由于圖像信號存在著時間方向的關(guān)聯(lián)，也就是說存在著前后的幀間的像素值的關(guān)聯(lián)，所以通過用運動向量來進行運動補償，可以提高編碼效率，這是眾所周知的。
在上述編碼器16m的運動檢測器90中，根據(jù)存儲器94中所儲存的已解碼的圖像信號Hdg和分塊了的高分辨率圖像信號HBg來檢測高分辨率圖像的運動向量HMV。在運動補償器91中，根據(jù)所檢測的高分辨率圖像的運動向量HMV來生成運動補償圖像(預(yù)測信號)Pc。
然后，在編碼器92中，參照運動補償圖像Pc來進行對高分辨率圖像的分塊圖像信號HBg的編碼處理。通過此一處理所得到的高分辨率編碼信號HEg由解碼器93來進行解碼，作為高分辨率局部解碼信號Hdg儲存在存儲器94中。
此外，由于在高分辨率圖像與低分辨率圖像之間像素值的關(guān)聯(lián)很大，所以在低分辨率圖像的運動向量LMV與高分辨率圖像的運動向量HMV之間也存在著向量值的關(guān)聯(lián)。
因此，在運動編碼器95中，參照與低分辨率圖像的運動向量LMV相當(dāng)?shù)木幋a模式信號Mg對在運動檢測器90中所檢測的高分辨率圖像的運動向量HMV進行編碼之際，在低分辨率圖像與高分辨率圖像之間運動向量相一致的場合，在該高分辨率圖像的運動向量HMV中分配碼長短的碼。借此可以節(jié)約高分辨率圖像的運動向量HMV的編碼所需的編碼比特數(shù)。
第13實施例圖17是用來說明根據(jù)本發(fā)明的第13實施例的圖像處理裝置(層次圖像解碼裝置)的示意圖，圖17(a)是表示其總體構(gòu)成的方框圖，圖17(b)是表示構(gòu)成該層次圖像解碼裝置的解碼器40n的詳細構(gòu)成的方框圖，圖17(c)是表示構(gòu)成該解碼器40n的第2解碼器64n的具體構(gòu)成的方框圖。
第13實施例的層次圖像解碼裝置113對由圖16中所示的第12實施例的層次圖像編碼裝置112所編碼的編碼信號進行層次解碼。該層次圖像解碼裝置113具有參照低分辨率圖像的運動向量來進行高分辨率編碼信號的解碼的解碼器40n，代替圖10中所示的第7實施例中的解碼器40g，其他構(gòu)成與圖10中所示的第7實施例的層次圖像解碼裝置107相同。
此外，構(gòu)成上述解碼器40n的解碼器64n把上述第7實施例的解碼器107中的解碼器64設(shè)成根據(jù)需要來進行畫面間預(yù)測解碼的構(gòu)成，其他構(gòu)成與上述第7實施例的解碼器40g相同。
也就是說，構(gòu)成此一實施例中的解碼器40n的第2解碼器64n具有根據(jù)預(yù)測信號Pd對高分辨率編碼信號HEg進行解碼并輸出高分辨率解碼信號HDg2的解碼器93b；和儲存該高分辨率解碼信號HDg2的存儲器94b。此外，上述第2解碼器64n帶有參照低分辨率圖像的編碼模式(運動向量)LMV，來施行對所分離的模式編碼信號EMg的解碼處理，對高分辨率圖像的運動向量HMV進行再生的運動編碼器96；和根據(jù)該再生運動向量HMV，從儲存在存儲器94b中的高分辨率解碼信號HDg2中提取預(yù)測信號Pd的運動補償器91b。
下面就其操作進行說明。
在第13實施例的層次圖像解碼裝置113中，因為除了解碼器40n以外的操作，與上述第7實施例的層次圖像解碼裝置107完全同樣地進行，故僅就有關(guān)解碼器40n的操作進行說明。
在上述解碼器40n中的分離器60中，從高分辨率編碼信號HEg中分離出與模式信息(運動向量信息)EMg相對應(yīng)的碼部分。
然后，該模式信息EMg和高分辨率編碼信號HEg一供給到構(gòu)成上述解碼器40n的第2解碼器64n，就在該解碼器64n中，由運動解碼器96，參照低分辨率圖像的編碼模式Mg(即運動向量LMV)，根據(jù)在分離器60中所分離的模式信息的碼對高分辨率圖像的運動向量HMV進行解碼，此一運動向量HMV供給到運動補償器91b。
于是，在上述運動補償器91b中，參照存儲器94b中所儲存的已解碼高分辨率圖像信號Pd來進行運動補償。在解碼器93b中，參照運動補償器91b的輸出Pd，對高分辨率編碼信號HEg的除了模式信息以外的碼部分進行解碼，輸出高分辨率解碼信號HDg2。該解碼信號HDg2被儲存在存儲器94b中，在后續(xù)的塊的解碼處理之際被參照。
這樣一來，在本第13實施例中，可以對在第12實施例的層次圖像編碼裝置112中參照低分辨率圖像的運動向量LMV所編碼的高分辨率編碼信號HEg，正確地進行解碼。
第14實施例圖18是用來說明根據(jù)本發(fā)明的第14實施例的圖像處理裝置(層次圖像編碼裝置)的示意圖，圖18(a)是表示其總體構(gòu)成的方框圖，圖18(b)是表示構(gòu)成該層次圖像編碼裝置的編碼器16p的詳細構(gòu)成的方框圖，圖18(c)是表示構(gòu)成該編碼器16p的第2編碼器54p的具體構(gòu)成的方框圖。
第14實施例的層次圖像編碼裝置114具有參照根據(jù)低分辨率圖像的運動向量和從已編碼的高分辨率圖像的運動向量所預(yù)測的預(yù)測向量、來進行高分辨率圖像信號的編碼的編碼器16p，代替圖9中所示的第6實施例中的編碼器16f，其他構(gòu)成與上述第6實施例的層次圖像編碼裝置106相同。
該編碼器16p把上述第6實施例的編碼器16f中的第2編碼器54設(shè)置成根據(jù)需要進行畫面間預(yù)測編碼的構(gòu)成，其他構(gòu)成與上述編碼器16f相同。
也就是說，構(gòu)成此一第14實施例中的編碼器16p的第2編碼器54p除了構(gòu)成圖16中所示的第12實施例中的編碼器16m的第2編碼器54m的構(gòu)成之外，還具有根據(jù)與低分辨率圖像相對應(yīng)的運動向量的編碼信號和與已編碼的高分辨率圖像相對應(yīng)的運動向量的編碼信號、來生成預(yù)測運動向量PMV的運動向量預(yù)測器97，其他構(gòu)成與構(gòu)成上述第12實施例中的編碼器16m的第2編碼器54m相同。
下面就作用效果進行說明。
第14實施例中的第2編碼器54p與第12實施例的第2編碼器54m的不同之處在于在圖16中所示的第12實施例的編碼器54m中，參照低分辨率圖像的運動向量，對高分辨率圖像的運動向量進行編碼；而在圖18中所示的第14實施例的編碼器54p中，參照從低分辨率的圖像的運動向量和已編碼的高分辨率圖像的運動向量預(yù)測生成的運動向量，對高分辨率圖像的運動向量進行編碼。
圖19是有關(guān)運動向量的參照的示意圖。圖19(a)示出低分辨率圖像的運動向量LMV，圖19(b)示出高分辨率圖像的運動向量HMV，圖19(c)示出對低分辨率圖像進行分辨率變換的插補運動向量AMV。
下面進行詳細描述。根據(jù)從同一空間位置的低分辨率圖像的運動向量LMV(參照圖19(a))所得到的插補運動向量AMV(參照圖19(c))，和已編碼高分辨率圖像的運動向量HMV1～HMV3(參照圖19(b))，預(yù)測生成圖19(d)中所示的針對高分辨率圖像的被編碼塊Bx的運動向量。借此，比起單純參照同一空間位置的低分辨率圖像的運動向量，來對高分辨率圖像的運動向量進行編碼的場合，可以提高運動向量的編碼效率。
因此，在運動預(yù)測器97中，參照在運動編碼器95中編碼的、高分辨率圖像的運動向量HMV(HMV1～HMV3)的編碼信號HEmv和低分辨率圖像的運動向量的編碼信號Mg(LEmv)來生成高分辨率圖像的運動向量的預(yù)測值PMV。在運動編碼器95中，參照預(yù)測生成的運動向量PMV，對由運動檢測器90所檢測的高分辨率圖像的運動向量HMV進行編碼。再者，由上述運動編碼器95所編碼的預(yù)測運動向量PEmv在多路復(fù)合器56m中與作為編碼器92的輸出的高分辨率編碼信號被多路復(fù)合，作為第2編碼器54p的輸出HDg而輸出。
這樣一來，在本第14實施例中，由于參照從低分辨率圖像的運動向量和高分辨率圖像的運動向量預(yù)測生成的預(yù)測運動向量，來對高分辨率圖像的運動向量進行編碼，所以比起上述第12實施例來，可以更多地節(jié)約針對高分辨率圖像的運動向量的編碼比特數(shù)。
再者，在上述第12、14實施例中，在由運動檢測器90從儲存在存儲器94中的局部解碼信號中，提取與成為編碼處理的對象的對象高分辨率塊相對應(yīng)的預(yù)測信號(預(yù)測區(qū))之際，具有盡可能接近低分辨率圖像的運動向量的值的運動向量被選擇作為高分辨率圖像的運動向量，也就是說離上述對象高分辨率塊盡可能近的預(yù)測區(qū)被選擇，借此可以進一步減少運動編碼器95的編碼比特數(shù)。
此外，雖然在上述第12、14實施例中設(shè)置成根據(jù)低分辨率圖像的編碼模式來切換高分辨率圖像信號的編碼方法和高分辨率圖像信號的編碼模式的編碼方法，但是也可以根據(jù)低分辨率圖像的編碼模式，僅切換高分辨率圖像信號的編碼方法及其編碼模式的編碼方法中的一方。
第15實施例圖20是用來說明根據(jù)本發(fā)明的第15實施例的圖像處理裝置(層次圖像解碼裝置)的示意圖，圖20(a)是表示其總體構(gòu)成的方框圖，圖20(b)是表示構(gòu)成該層次圖像解碼裝置的解碼器40q的詳細構(gòu)成的方框圖，圖20(c)是表示構(gòu)成該解碼器40q的第2解碼器64q的具體構(gòu)成的方框圖。
第15實施例的層次圖像解碼裝置115對由圖18中所示的第14實施例的層次圖像編碼裝置114所編碼的編碼信號進行層次解碼。此一層次圖像解碼裝置115具有參照從低分辨率圖像的運動向量和已編碼的高分辨率圖像的運動向量所預(yù)測的預(yù)測向量、來進行高分辨率編碼信號的解碼的解碼器40q，代替圖10中所示的第7實施例中的解碼器40g，其他構(gòu)成與上述第7實施例的層次圖像解碼裝置107相同。
解碼器40q把上述第7實施例的解碼器40g中的第2解碼器64設(shè)成根據(jù)需要來進行畫面間預(yù)測解碼的構(gòu)成，其他構(gòu)成與上述解碼器40g相同。
也就是說，構(gòu)成此一實施例中的解碼器40q的第2解碼器64q除了構(gòu)成圖17中所示的第13實施例中的第2解碼器64n的構(gòu)成之外，還具有根據(jù)與低分辨率圖像相對應(yīng)的運動向量LMV，和與已編碼的高分辨率圖像相對應(yīng)的運動向量HMV來生成預(yù)測運動向量PMV的運動向量預(yù)測器98，其他構(gòu)成與上述第13實施例中的第2解碼器64n相同。
下面就其操作進行說明。
在此一第15實施例的層次圖像解碼裝置115中，因為除了解碼器40q中的第2解碼器64q以外的操作，與上述第13實施例的層次圖像解碼裝置113完全同樣地進行，故僅就有關(guān)解碼器40q中的第2解碼器64q的操作進行說明。
在上述第2解碼器64q中的運動預(yù)測器98中，參照由運動解碼器96所解碼的高分辨率圖像的運動向量HMV和從模式解碼器61所供給的低分辨率圖像的運動向量LMV(DMg)，來生成高分辨率圖像塊的運動向量的預(yù)測值PMV。于是，在運動解碼器96中，參照上述預(yù)測生成的運動向量PMV，針對高分辨率圖像的運動向量的編碼信號EMg被解碼。其他操作與圖17的第13實施例的層次圖像解碼裝置113相同。
這樣一來，在本第15實施例中，可以參照已編碼的高分辨率圖像的運動向量和低分辨率圖像的運動向量來對編碼了的運動向量編碼信號正確地解碼。
再者，通過把用來實現(xiàn)上述各實施例中所示的圖像編碼處理和圖像解碼處理的編碼或解碼程序記錄在軟盤等數(shù)據(jù)記錄媒體上，使得在獨立的計算機系統(tǒng)中簡單地實施上述各實施例中所示的處理成為可能。
圖21是用來說明靠計算機系統(tǒng)使用儲存與這些圖像處理相對應(yīng)的程序的軟盤來實施由上述各實施例的圖像處理裝置進行的層次圖像編碼處理或?qū)哟螆D像解碼處理的示意圖。
圖21(b)示出軟盤FD的從正面看的外觀、剖面結(jié)構(gòu)、以及作為記錄媒體的軟盤盤體，圖21(a)示出軟盤盤體D的物理格式的例子。軟盤盤體D內(nèi)裝于殼體F內(nèi)，在該軟盤盤體D的表面上，同心圓狀地從外周向內(nèi)周形成多個磁道Tr，各磁道沿圓周方向分割成16個扇區(qū)Se。因而，對于儲存上述程序的軟盤盤體D而言，作為上述程序的數(shù)據(jù)被記錄于在上述軟盤盤體D上所分配的區(qū)域中。
此外，圖21(c)示出用來對軟盤FD進行上述程序的記錄重放的構(gòu)成。在把上述程序記錄到軟盤FD上的場合，從計算機系統(tǒng)Cs把作為上述程序的數(shù)據(jù)經(jīng)由軟盤驅(qū)動器FDD寫入軟盤FD。此外，在由軟盤FD內(nèi)的程序在計算機系統(tǒng)Cs中建立上述解碼方法的場合，由軟盤驅(qū)動器FDD從軟盤FD讀出程序，轉(zhuǎn)送到計算機系統(tǒng)Cs。
再者，雖然在上述說明中進行了由用軟盤作為數(shù)據(jù)記錄媒體的計算機系統(tǒng)實現(xiàn)的圖像處理的說明，但是此一圖像處理同樣也可以用光盤來進行。此外，記錄媒體不限于此，集成電路卡、只讀存儲器盒等，只要是能夠記錄程序的媒體，同樣可以實施上述圖像處理。
再者，雖然在第6實施例、第8實施例和第10實施例的編碼器中，模式判定器50(圖9(b))、邊界判定器70(圖11(b))和掃描方向判定器80(圖14(b))在編碼處理前根據(jù)從外部輸入的高分辨率圖像信號來判定編碼方式，但是這些判定器也可以把由多種編碼方式編碼的結(jié)果(編碼信號)進行比較，來確定編碼方式(即編碼模式)。
以上這樣根據(jù)本發(fā)明的圖像處理方法和圖像處理裝置以及數(shù)據(jù)記錄媒體，可以謀求圖像信號的壓縮處理中的編碼效率的提高，作為進行圖像信號的傳送或儲存的系統(tǒng)中的實現(xiàn)圖像編碼處理或圖像解碼處理的東西是極其有用的，特別適合于依據(jù)MPEG4等標(biāo)準(zhǔn)的動畫圖像的壓縮、解壓縮處理。
權(quán)利要求
1.一種圖像處理方法，該方法根據(jù)具有物體的形狀信息的圖像輸入信號，作為形成空間分辨率不同的多個圖像空間的層次圖像信號，至少生成低分辨率圖像信號和高分辨率圖像信號，把上述高分辨率圖像信號劃分成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)，同時把上述低分辨率圖像信號劃分成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)，參照形成與該高分辨率塊相對應(yīng)的低分辨率塊的低分辨率圖像信號，依次進行形成對成為處理對象的高分辨率塊的高分辨率圖像信號的編碼處理，其特征在于在上述編碼處理之際所參照的參照低分辨率塊，是其在低分辨率圖像空間中的空間位置對應(yīng)于與該參照低分辨率塊相對應(yīng)的上述對象高分辨率塊在高分辨率圖像空間中的空間位置的低分辨率塊。
2.如權(quán)利要求1中所述的圖像處理方法，其特征在于構(gòu)成上述高分辨率圖像空間的各個像素，與通過上述低分辨率圖像空間的分辨率變換所得到的、空間分辨率與上述高分辨率圖像空間相等的分辨率變換圖像空間中的各個像素一一對應(yīng)。
3.如權(quán)利要求1中所述的圖像處理方法，其特征在于構(gòu)成上述參照低分辨率塊的像素數(shù)，與構(gòu)成上述對象高分辨率塊的像素數(shù)相一致。
4.如權(quán)利要求1中所述的圖像處理方法，其特征在于上述參照低分辨率塊的低分辨率圖像空間中的相對位置，與對象高分辨率塊的高分辨率圖像空間中的相對位置相一致。
5.如權(quán)利要求1中所述的圖像處理方法，其特征在于根據(jù)針對上述參照低分辨率塊的、用來識別編碼處理方法的編碼模式來切換模式信號，該模式信號表示針對上述對象高分辨率塊的、用來識別編碼處理方法的編碼模式的編碼方式。
6.如權(quán)利要求5中所述的圖像處理方法，其特征在于上述編碼模式是表示圖像空間上所顯示的物體的形狀的邊界是否包含在上述對象高分辨率塊內(nèi)的編碼模式。
7.如權(quán)利要求5中所述的圖像處理方法，其特征在于上述編碼模式是表示按像素依次對與參照低分辨率塊相對應(yīng)的圖像信號進行編碼的編碼處理是否沿著水平掃描方向和豎直掃描方向中的某個掃描方向來進行的編碼模式。
8.如權(quán)利要求1中所述的圖像處理方法，其特征在于參照與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的編碼方法。
9.如權(quán)利要求1中所述的圖像處理方法，其特征在于參照已經(jīng)施行了編碼處理的已處理高分辨率塊的、表示高分辨率圖像空間中的物體的運動的運動信息和與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的編碼方法。
10.一種圖像處理方法，該方法對對具有物體的形狀信息的圖像信號施行層次編碼處理所得到的至少兩個分塊了的層次編碼信號中的低分辨率編碼信號進行解碼，生成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)的低分辨率解碼信號，綜合該低分辨率解碼信號而生成與上述低分辨率圖像空間相對應(yīng)的低分辨率綜合信號，參照對應(yīng)的低分辨率解碼信號，對上述兩個分塊了的層次編碼信號中的高分辨率編碼信號進行解碼，生成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)的高分辨率解碼信號，綜合該高分辨率解碼信號而生成與上述高分辨率圖像空間相對應(yīng)的高分辨率綜合信號，其特征在于在上述高分辨率編碼信號的解碼處理之際所參照的參照低分辨率塊，是其在低分辨率圖像空間中的空間位置對應(yīng)于與該參照低分辨率塊相對應(yīng)的成為上述解碼處理的對象的對象高分辨率塊在高分辨率圖像空間中的空間位置的低分辨率塊。
11.如權(quán)利要求10中所述的圖像處理方法，其特征在于構(gòu)成上述高分辨率圖像空間的各個像素，與通過上述低分辨率圖像空間的分辨率變換所得到的、空間分辨率與上述高分辨率圖像空間相等的分辨率變換圖像空間中的各個像素一一對應(yīng)。
12.如權(quán)利要求10中所述的圖像處理方法，其特征在于構(gòu)成上述參照低分辨率塊的像素的數(shù)，與構(gòu)成上述對象高分辨率塊的像素的數(shù)相一致。
13.如權(quán)利要求10中所述的圖像處理方法，其特征在于上述參照低分辨率塊的低分辨率圖像空間中的相對位置，與對象高分辨率塊的高分辨率圖像空間中的相對位置相一致。
14.如權(quán)利要求10中所述的圖像處理方法，其特征在于根據(jù)針對上述參照低分辨率塊的、用來識別解碼處理方法的編碼模式來切換模式編碼信號，該模式編碼信號表示針對上述對象高分辨率塊的、用來識別解碼處理方法的編碼模式的解碼方式。
15.如權(quán)利要求14中所述的圖像處理方法，其特征在于上述編碼模式是表示圖像空間上所顯示的物體的形狀的邊界，是否包含在上述對象高分辨率塊內(nèi)的編碼模式。
16.如權(quán)利要求14中所述的圖像處理方法，其特征在于上述編碼模式是表示按像素依次對與參照低分辨率塊相對應(yīng)的圖像信號進行解碼的解碼處理，是否沿著水平掃描方向和豎直掃描方向中的某個掃描方向來進行的編碼模式。
17.如權(quán)利要求10中所述的圖像處理方法，其特征在于參照與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的解碼方法。
18.如權(quán)利要求10中所述的圖像處理方法，其特征在于參照已經(jīng)施行了解碼處理的已處理高分辨率塊的、表示高分辨率圖像空間中的物體的運動的運動信息和與上述參照低分辨率塊相對應(yīng)的、表示上述低分辨率圖像空間中的物體的運動的運動信息，來切換與上述對象高分辨率塊相對應(yīng)的、表示上述高分辨率圖像空間中的物體的運動的運動信息的解碼方法。
19.一種圖像處理裝置，該裝置接受具有物體的形狀信息的圖像輸入信號，對形成空間分辨率不同的多個圖像空間的層次圖像信號進行編碼，包括對上述圖像輸入信號進行二次采樣而生成低分辨率圖像信號的二次采樣裝置，把該低分辨率圖像信號分塊成，與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)的第1分塊裝置，依次進行對成為編碼處理對象的形成低分辨率塊的低分辨率圖像信號的編碼處理的第1編碼裝置，把上述圖像輸入信號作為高分辨率圖像信號分塊成，與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)的第2分塊裝置，以及依次進行對成為編碼處理對象的形成低高晰度塊的高分辨率圖像信號的編碼處理的第2編碼裝置，其特征在于在上述編碼處理之際所參照的參照低分辨率塊，是其在低分辨率圖像空間中的空間位置，對應(yīng)于與該參照低分辨率塊相對應(yīng)的上述對象高分辨率塊，在高分辨率圖像空間中的空間位置的低分辨率塊。
20.一種圖像處理裝置，該裝置對對具有物體的形狀信息的圖像信號施行層次編碼處理所得到的至少兩個分塊了的層次編碼信號進行解碼的層次圖像解碼裝置，包括對上述兩個分塊了的層次編碼信號中的低分辨率編碼信號進行解碼，生成與低分辨率圖像空間中的由規(guī)定數(shù)的像素組成的低分辨率塊相對應(yīng)的低分辨率解碼信號的第1解碼裝置，綜合與各該低分辨率塊相對應(yīng)的低分辨率解碼信號，生成與上述低分辨率圖像空間相對應(yīng)的低分辨率綜合信號的第1逆分塊裝置，參照對應(yīng)的低分辨率解碼信號，對上述兩個分塊了的層次編碼信號中的高分辨率編碼信號進行解碼，生成與高分辨率圖像空間中的由規(guī)定數(shù)的像素組成的高分辨率塊相對應(yīng)的高分辨率解碼信號的第2解碼裝置，以及綜合與各該高分辨率塊相對應(yīng)的高分辨率解碼信號，生成與上述高分辨率圖像空間相對應(yīng)的高分辨率綜合信號的第2逆分塊裝置，其特征在于在上述高分辨率編碼信號的解碼處理之際所參照的參照低分辨率塊，是其在低分辨率圖像空間中的空間位置，對應(yīng)于與該參照低分辨率塊相對應(yīng)的成為上述解碼處理的對象的對象高分辨率塊，在高分辨率圖像空間中的空間位置的低分辨率塊。
21.一種數(shù)據(jù)記錄媒體，該數(shù)據(jù)記錄媒體儲存用來在計算機中進行層次圖像編碼處理的程序，其特征在于上述程序這樣來構(gòu)成，即計算機將進行按權(quán)利要求1中所述的圖像處理方法的層次圖像編碼處理。
22.一種數(shù)據(jù)記錄媒體，該數(shù)據(jù)記錄媒體儲存用來在計算機中進行層次圖像解碼處理的程序，其特征在于上述程序這樣來構(gòu)成，即計算機將進行按權(quán)利要求10中所述的圖像處理方法的層次圖像解碼處理。
全文摘要
如圖1中所示,本發(fā)明的層次圖像編碼裝置101具有對作為圖像輸入信號的高分辨率圖像信號HSg進行二次采樣而生成低分辨率圖像信號LSg的二次采樣器2;按由多個像素組成的塊依次對該低分辨率圖像信號LSg進行編碼的低分辨率編碼單元101L;以及接由多個像素組成的塊依次對上述高分辨率圖像信號進行編碼的高分辨率編碼單元101H設(shè)成在上述高分辨率圖像信號HSg的編碼處理之際,參照與處在與成為編碼處理的對象的對象高分辨率塊的空間位置同一空間位置的參照低分辨率塊相對應(yīng)的低分辨率圖像信號LSg。在這種構(gòu)成的層次圖像編碼裝置101中,可以不招致編碼效率降低地對具有物體的形狀信息的圖像信號進行層次編碼處理。
文檔編號G06T9/00GK1243635SQ98801758
公開日2000年2月2日 申請日期1998年1月9日 優(yōu)先權(quán)日1997年1月10日
發(fā)明者角野真也 申請人:松下電器產(chǎn)業(yè)株式會社