運動圖像壓縮裝置、圖像處理裝置、運動圖像壓縮方法、圖像處理方法、以及運動圖像壓縮 ...的制作方法
【專利摘要】將運動圖像數(shù)據(jù)的幀序列劃分成貼片圖像序列(250)，并轉(zhuǎn)換貼片圖像序列(250)的色空間，從而生成YCbCr圖像序列(252)(S10)。通過將其長度和寬度乘以1/2縮小(S12)然后壓縮每個幀，從而生成參考圖像的壓縮數(shù)據(jù)(260)(S14)。與圖像顯示時間類似地解碼和解壓縮參考圖像的壓縮數(shù)據(jù)(260)，從而將YCbCr圖像重構(gòu)成參考圖像，生成原始YCbCr圖像序列(252)與參考圖像之間差值圖像序列(262)(S16)。然后，生成差值圖像的壓縮數(shù)據(jù)(266)，并每四個貼片圖像幀地生成將參考圖像的壓縮數(shù)據(jù)(260)與差值圖像的壓縮數(shù)據(jù)(266)耦合獲得的壓縮數(shù)據(jù)(268)(S20)。
【專利說明】運動圖像壓縮裝置、圖像處理裝置、運動圖像壓縮方法、圖像處理方法、以及運動圖像壓縮文件的數(shù)據(jù)結(jié)構(gòu)

【技術(shù)領域】
[0001]本發(fā)明涉及顯示包括運動畫面的圖像的圖像處理技術(shù)。

【背景技術(shù)】
[0002]人們已經(jīng)提出了不僅執(zhí)行游戲程序，而且可以渲染運動畫面的家用娛樂系統(tǒng)。在該家用娛樂系統(tǒng)中，GPU(圖形處理單元)使用多邊形生成三維圖像(參照，例如，PTL I)。
[0003]如何與圖像是運動畫面還是靜止圖像無關地有效顯示圖像一直是一個重要問題。因此，在像圖像數(shù)據(jù)的壓縮技術(shù)、傳輸技術(shù)、圖像處理技術(shù)和顯示技術(shù)那樣的各種領域中已經(jīng)開發(fā)出了各種技術(shù)并付諸于實際應用，在多種狀況下無拘無束地欣賞高清晰度圖像已經(jīng)成為可能。
[0004][引用列表]
[0005][專利文獻]
[0006][PTL I]US 6，563，999 A


【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]一直存在對用戶移動視點或游戲的進展引起的視角的變化等高響應度地顯示高清晰度圖像的需求。例如，為了像以放大尺度顯示整個顯示圖像當中用戶希望關注的區(qū)域，或轉(zhuǎn)去高響應度地顯示不同區(qū)域那樣，實現(xiàn)具有與視點有關的自由度的圖像顯示，還有必要在短時間處理大規(guī)模圖像數(shù)據(jù)的同時，使隨機訪問大規(guī)模圖像數(shù)據(jù)成為可能。
[0009]具體地說，在隨著時間的流逝依次顯示大量幀的運動畫面的情況下，由于數(shù)據(jù)規(guī)模增大，所以一般說來優(yōu)先考慮壓縮率。但是，隨著壓縮率升高，解碼時的算術(shù)運算成本增大，以及數(shù)據(jù)訪問的粒度也往往增大。其結(jié)果是，即使希望只顯示有限區(qū)域，也可能必需解碼幀的整個區(qū)域或?qū)⒄麄€區(qū)域部署在存儲器中。就算術(shù)運算成本和存儲成本而言，這是不利的。
[0010]本發(fā)明就是在考慮了像上述那樣的問題之后作出的，本發(fā)明的目的在于提供可以以滿足各種需求的高響應度顯示運動畫面的圖像處理技術(shù)。
[0011]問題的解決方案
[0012]本發(fā)明的一種具體方式涉及運動畫面壓縮裝置。該運動畫面壓縮裝置包括:貼片圖像序列生成部分，配置成生成通過按圖像平面劃分構(gòu)成運動畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列；參考圖像壓縮部分，配置成壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)；差值圖像生成部分，配置成生成由差值圖像構(gòu)成的差值圖像序列，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對應的圖像之間的差值；差值圖像壓縮部分，配置成以通過按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)；以及壓縮數(shù)據(jù)生成部分，配置成以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運動畫面壓縮數(shù)據(jù)，并將該運動畫面壓縮數(shù)據(jù)輸出到存儲裝置。
[0013]本發(fā)明的另一種方式涉及數(shù)據(jù)圖像處理裝置。該圖像處理裝置包括:信息處理部分，配置成相繼計算構(gòu)成運動畫面數(shù)據(jù)的幀序列當中要顯示的幀和該幀中要顯示的區(qū)域；裝載部分，配置成根據(jù)該信息處理部分計算的信息，以貼片圖像為單位將運動畫面壓縮數(shù)據(jù)從存儲運動畫面壓縮數(shù)據(jù)的存儲裝置裝載到存儲器中，該運動畫面壓縮數(shù)據(jù)包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)；顯示圖像處理部分，配置成從裝載在存儲器中的運動畫面壓縮數(shù)據(jù)當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區(qū)域的運動畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像；以及顯示部分，配置成依次顯示渲染的圖像。
[0014]本發(fā)明的進一步方式涉及運動畫面壓縮方法。該運動畫面壓縮方法包括:由運動畫面壓縮裝置執(zhí)行:生成通過按圖像平面劃分存儲在存儲裝置中和構(gòu)成運動畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的步驟；壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的步驟；生成由差值圖像構(gòu)成的差值圖像序列的步驟，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過解碼所生成參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對應的圖像之間的差值；以通過按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的步驟；以及以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運動畫面壓縮數(shù)據(jù)，并將該運動畫面壓縮數(shù)據(jù)輸出到存儲裝置的步驟。
[0015]本發(fā)明的更進一步方式涉及圖像處理方法。該圖像處理方法包括:由圖像處理裝置執(zhí)行:相繼計算構(gòu)成運動畫面數(shù)據(jù)的幀序列當中要顯示的幀和該幀中要顯示的區(qū)域的步驟；根據(jù)該計算步驟計算的信息，以貼片圖像為單位將運動畫面壓縮數(shù)據(jù)從存儲運動畫面壓縮數(shù)據(jù)的存儲裝置裝載到存儲器中的步驟，該運動畫面壓縮數(shù)據(jù)包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)；從裝載在存儲器中的運動畫面壓縮數(shù)據(jù)當中讀出通過計算步驟計算和包括要顯示的幀當中要顯示的區(qū)域的運動畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的步驟；以及依次顯示渲染圖像的步驟。
[0016]本發(fā)明的再進一步方式涉及運動畫面壓縮文件的數(shù)據(jù)結(jié)構(gòu)。在該數(shù)據(jù)結(jié)構(gòu)中，以預定個幀的貼片圖像為單位相互聯(lián)系通過以按圖像平面和時間軸劃分貼片圖像獲得的數(shù)據(jù)塊為單位壓縮貼片圖像獲得的參考圖像的壓縮數(shù)據(jù)、和通過以按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮由差值圖像構(gòu)成的差值圖像序列獲得的差值圖像的壓縮數(shù)據(jù)，該貼片圖像構(gòu)成通過按圖像平面劃分構(gòu)成運動畫面數(shù)據(jù)的幀序列獲得的貼片圖像序列，該差值圖像代表通過解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值。在圖像處理裝置中，解碼和相加根據(jù)要顯示的幀和該幀中要顯示的區(qū)域的信息以貼片圖像為單位裝載和與要顯示的幀當中要顯示的區(qū)域相對應的數(shù)據(jù)塊的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便用于依次渲染要顯示的區(qū)域的圖像。
[0017]要注意的是，作為本發(fā)明的方式，上述的組件和通過方法、裝置、系統(tǒng)、計算機程序等的不同幾種之間的轉(zhuǎn)換獲得的本發(fā)明的表示的任意組合也是有效的。
[0018]本發(fā)明的有益效果
[0019]按照本發(fā)明，可以進行可以隨機訪問和呈現(xiàn)高吞吐量的三維數(shù)據(jù)輸出

【專利附圖】

【附圖說明】
[0020]圖1是描繪按照一個實施例的圖像處理裝置的配置的視圖；
[0021]圖2是例示本實施例中的運動畫面數(shù)據(jù)的處理單元的視圖；
[0022]圖3是具體描繪本實施例中具有運動畫面數(shù)據(jù)壓縮功能的控制部分的配置和硬盤驅(qū)動器的配置的視圖；
[0023]圖4是示意性地例示本實施例中包括控制部分的圖像處理裝置執(zhí)行的運動畫面數(shù)據(jù)的壓縮過程的視圖；
[0024]圖5是例示本實施例中參考圖像壓縮部分執(zhí)行的生成參考圖像的壓縮數(shù)據(jù)的處理過程的流程圖；
[0025]圖6是示意性地例示本實施例中通過冗余判定壓縮空間劃分貼片圖像序列的過程的視圖；
[0026]圖7是例示本實施例中進一步劃分進行壓縮判定之后的數(shù)據(jù)塊形成量化單元以便量化像素值的方式的視圖；
[0027]圖8是例示本實施例中從Y圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法的視圖；
[0028]圖9是例示本實施例中從CbCr圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法的視圖；
[0029]圖10是例示本實施例中要存儲到劃分模式存儲部分中以便形成由16個像素構(gòu)成的量化單元的劃分模式的變種的視圖；
[0030]圖11是例示本實施例中在未進行通過冗余的壓縮的情況下從數(shù)據(jù)塊中生成量化單元時的劃分模式的視圖；
[0031]圖12是例示本實施例中從利用冗余進行壓縮的數(shù)據(jù)塊中生成量化單元時的劃分模式的視圖；
[0032]圖13是例示本實施例中從利用冗余進行壓縮的數(shù)據(jù)塊中生成量化單元時的劃分模式的視圖；
[0033]圖14是示意性地例示本實施例中參考圖像的壓縮數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的視圖；
[0034]圖15是例示本實施例中以調(diào)色板的形式表示代表壓縮模式和劃分模式的標識號的方法的視圖；
[0035]圖16是示意性地例示本實施例中差值圖像生成部分執(zhí)行的生成差值圖像的過程的視圖；
[0036]圖17是示意性地例示本實施例中解碼參考圖像時的圖像的放大處理的視圖；
[0037]圖18是例示本實施例中通過調(diào)色板表示解碼存儲在調(diào)色板中的數(shù)值時的放大率的標識號的方法的視圖；
[0038]圖19是例示本實施例中通過差值圖像的Y圖像表示代表壓縮模式和劃分模式的標識號的方法的視圖；
[0039]圖20是示意性地例示本實施例中生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的最終壓縮數(shù)據(jù)的處理過程的視圖；
[0040]圖21是具體描繪本實施例中具有圖像顯示功能的控制部分的配置的視圖；
[0041]圖22是例示本實施例中解碼部分執(zhí)行的解碼處理的過程的流程圖；以及
[0042]圖23是概念性地例示本實施例中運動畫面由分層數(shù)據(jù)構(gòu)成的數(shù)據(jù)結(jié)構(gòu)的視圖。

【具體實施方式】
[0043]在本實施例中，不增加算術(shù)運算成本和存儲成本地按圖像平面和隨著時間軸為對其的隨機訪問顯示運動畫面。這里取作顯示目標的運動畫面可以是本身構(gòu)成主要內(nèi)容的電影、動畫或用戶拍攝的運動畫面等，或可以是表示成像映射在游戲等的計算機圖形中的視頻紋理那樣的圖像構(gòu)件的運動畫面。
[0044]在靜止圖像的情況下，作為壓縮方法，JPEG(聯(lián)合圖像專家組)、S3TC(S3紋理壓縮)等已經(jīng)付諸于實際應用。前者呈現(xiàn)高壓縮率，但存儲成本相對較高，因為在顯示時需要將解碼目標的數(shù)據(jù)部署在存儲器中。后者的壓縮率相對較低。但是，由于不需要部署解碼數(shù)據(jù)，尤其在局部顯示圖像的情況下，所以存儲成本較低。于是，可以響應取決于顯示環(huán)境等的壓縮率和存儲負載的優(yōu)先次序適當選擇壓縮方法之一。
[0045]同時，傳統(tǒng)上，運動畫面的壓縮方法引起了像如下面所述那樣的問題，因為MPEG (運動圖像專家組)、AVC (高級視頻編碼)等都強調(diào)提高壓縮率。尤其，在運動畫面被用作視頻紋理的情況下，即使只映射運動畫面的一部分，也需要將整個區(qū)域部署在存儲器中，這需要無用的存儲成本。這類似地不僅適用于視頻紋理，而且適用于這樣以放大尺度只顯示運動畫面的一部分的情況。
[0046]尤其，在幀間預測編碼方法的情況下，也需要將參考圖像部署在存儲器中的整個區(qū)域上。進一步，源于高壓縮率，解碼整個區(qū)域上的數(shù)據(jù)的算術(shù)運算成本也很高。更進一步，甚至在視頻紋理表達的區(qū)域在視角之外的時段內(nèi)，也必須繼續(xù)解碼，為隨后進入視角內(nèi)作準備。因此，甚至從這一點來看，也無用地需要解碼的處理成本和存儲成本。
[0047]因此，在本實施例中，壓縮運動畫面的數(shù)據(jù)以便，即使在保持在壓縮狀態(tài)下的同時將運動畫面的數(shù)據(jù)存儲到存儲器中，也可以只提取必要區(qū)域中的數(shù)據(jù)，并獨立地解碼和顯示數(shù)據(jù)，從而降低算術(shù)運算成本和存儲成本。此時，考慮到幀中或幀間冗余地壓縮運動畫面的數(shù)據(jù)，以便考慮到圖像的內(nèi)容地實現(xiàn)高畫面質(zhì)量和高壓縮率。
[0048]首先，描述本實施例中生成運動畫面的壓縮數(shù)據(jù)的技術(shù)。圖1描繪了本實施例的圖像處理裝置的配置。圖像處理裝置10包括無線接口 40、輸入裝置20、顯示處理部分44、顯示裝置12、硬盤驅(qū)動器50、記錄介質(zhì)安裝部分52、盤驅(qū)動器54、主存儲器60和控制部分100。
[0049]顯示裝置12包括像液晶顯示單元、EL (電致發(fā)光)顯示單元和等離子顯示單元那樣的一般顯示單元之一。顯示裝置12可以與圖像處理裝置10的一些其它模塊集成地配備，或可以使用線纜、無線LAN(局域網(wǎng))等通過有線或無線連接來連接。顯示處理部分44含有緩存要顯示在顯示裝置12的顯示單元上的數(shù)據(jù)的幀存儲器(未示出)。
[0050]無線接口 40被配置成通過依照預定無線通信協(xié)議將無線接口 40與外部裝置或網(wǎng)絡連接，可以從服務器接收像圖像數(shù)據(jù)那樣各種類型的數(shù)據(jù)。輸入裝置20由像操縱桿、觸摸面板、鼠標、鍵盤、按鈕等那樣的普通輸入裝置構(gòu)成。輸入裝置20包括接受像選擇處理目標的圖像數(shù)據(jù)、開始生成壓縮數(shù)據(jù)等那樣用戶的請求的操作部件。將用戶輸入到輸入裝置20中的各種請求信號供應給控制部分100。
[0051]硬盤驅(qū)動器50起存儲數(shù)據(jù)的存儲裝置的作用。將從服務器接收的各種類型數(shù)據(jù)一次性存儲到硬盤驅(qū)動器50中。當像存儲卡那樣的可換式記錄介質(zhì)安裝在上面時，記錄介質(zhì)安裝部分52從可換式記錄介質(zhì)中讀出數(shù)據(jù)。當用于只讀的ROM盤安裝在上面時，盤驅(qū)動器54驅(qū)動ROM盤，并識別它以便讀出數(shù)據(jù)。ROM盤可以是光盤、磁光盤等?？梢詫⑾駡D像數(shù)據(jù)那樣各種類型的數(shù)據(jù)存儲在那些記錄介質(zhì)中。
[0052]控制部分100包括多核CPU，在一個CPU中配備一個通用處理器核心和多個簡單處理器核心。通用處理器核心被稱為pro (PowerPC處理器單元)，而其余處理器核心的每一個被稱為SPU (協(xié)同處理器單元)。PPU含有寄存器，包括作為進行算術(shù)運算的實體的主處理器以及有效地將作為要執(zhí)行的應用的其余處理單元的任務分配給SPU。要注意的是，PTO本身也可以執(zhí)行任務。每個SPU都含有寄存器，以及包括作為進行算術(shù)運算的實體的分處理器和作為本地存儲區(qū)的本地存儲器。
[0053]主存儲器60是存儲裝置，被配置成RAM (隨機訪問存儲器)。每個SPU都含有專門用作控制單元的DMA(直接存儲器訪問)控制器，并且可以實現(xiàn)顯示處理部分44的幀存儲器與主存儲器60之間的高速數(shù)據(jù)傳送。本實施例中的控制部分100通過使多個SPU相互并行地工作實現(xiàn)高速圖像處理功能。顯示處理部分44與顯示裝置12連接，輸出菜單屏幕圖像的屏幕數(shù)據(jù)等。
[0054]圖2是例示本實施例中的運動畫面數(shù)據(jù)的處理單元的視圖。在本實施例中，將構(gòu)成壓縮目標的運動畫面的圖像幀80的每一個劃分成預定尺寸，以便生成多個貼片圖像(例如，貼片圖像(tile image)82)。由于運動畫面的圖像幀80隨著在圖2中沿著垂直方向表示的時間軸構(gòu)成圖像序列，所以貼片圖像也構(gòu)成與該圖像序列相對應的圖像序列(例如，貼片圖像序列84)。在本實施例中，將貼片圖像序列用作處理單元地生成壓縮數(shù)據(jù)。在圖像顯示時，隨機應變地相互連接解碼的貼片圖像來顯示圖像。要注意的是，在如下描述中，構(gòu)成貼片圖像序列的貼片圖像的每一個也被稱為“幀”。要注意的是，在原始圖像幀的像素的數(shù)量小于預定數(shù)量的情況下，或在類似情況下，可以將整個圖像幀當作一個貼片地不進行貼片圖像劃分。
[0055]圖3具體描繪了本實施例中具有運動畫面數(shù)據(jù)壓縮功能的控制部分10a的配置和硬盤驅(qū)動器50的配置。控制部分10a包括貼片圖像序列生成部分120、參考圖像壓縮部分122、差值圖像生成部分124、差值圖像壓縮部分126、和壓縮數(shù)據(jù)生成部分128。貼片圖像序列生成部分120從壓縮目標的運動畫面數(shù)據(jù)中生成貼片圖像序列，并將色空間從RGB色空間轉(zhuǎn)換成YCbCr色空間。參考圖像壓縮部分122減少轉(zhuǎn)換之后的幀，并將幀壓縮成參考圖像。差值圖像生成部分124根據(jù)參考圖像生成幀的差值圖像。差值圖像壓縮部分126壓縮差值圖像。壓縮數(shù)據(jù)生成部分128生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的最終壓縮數(shù)據(jù)。
[0056]參照圖3和下文所述的圖21，描述成進行各種處理的功能塊的組件在硬件上可以由CPU(中央處理單元)、存儲器和其它LSI (大規(guī)模集成電路)構(gòu)成，在軟件上可以用裝載在存儲器等中的程序來實現(xiàn)。如下文所述，控制部分100含有一個PI3U和多個SPU，PPU和SPU可以單個地或組合地分別構(gòu)成功能塊。于是，本領域的普通技術(shù)人員可以認識到，功能塊可以只通過硬件，只通過軟件，或通過硬件和軟件的組合件地以各種形式實現(xiàn)，它們不局限于硬件、軟件和組合件之一。
[0057]硬盤驅(qū)動器50包括運動畫面數(shù)據(jù)存儲部分130、劃分模式存儲部分132和壓縮數(shù)據(jù)存儲部分134。運動畫面數(shù)據(jù)存儲部分130含有存儲在其中的壓縮目標的運動畫面數(shù)據(jù)。劃分模式存儲部分132存儲參考圖像壓縮部分122和差值圖像壓縮部分126形成量化單元的劃分模式。壓縮數(shù)據(jù)存儲部分134存儲壓縮數(shù)據(jù)生成部分128生成的壓縮數(shù)據(jù)。
[0058]貼片圖像序列生成部分120從輸入裝置20獲取用戶指定和與壓縮目標的運動畫面數(shù)據(jù)有關的信息，并從運動畫面數(shù)據(jù)存儲部分130中依次讀出構(gòu)成運動畫面數(shù)據(jù)的幀的數(shù)據(jù)。然后，貼片圖像序列生成部分120將幀劃分成預定尺寸，以便生成貼片圖像序列，并將作為像素值的RGB值轉(zhuǎn)換成亮度Y和色差Cb和Cr，以便生成具有作為像素值的YCbCr值的YCbCr圖像。色空間從RGB色空間到Y(jié)CbCr色空間的轉(zhuǎn)換可以應用現(xiàn)有方法來實現(xiàn)。
[0059]參考圖像壓縮部分122以預定比率縮短貼片圖像序列生成部分120生成的貼片圖像序列，然后壓縮縮短的貼片圖像序列。尤其，參考圖像壓縮部分122沿著空間和時間方向?qū)①N片圖像序列劃分成預定尺寸，并且在劃分之后量化數(shù)據(jù)塊。在量化時，參考圖像壓縮部分122利用存儲在劃分模式存儲部分132的劃分模式之一進一步對每個數(shù)據(jù)塊進行空時劃分，以便形成由預定個像素的數(shù)據(jù)構(gòu)成的量化單元。盡管下文描述其細節(jié)，但由于最佳劃分模式隨圖像的內(nèi)容而異，參考圖像壓縮部分122從存儲在劃分模式存儲部分132中的多種劃分模式當中選擇一種最佳模式。
[0060]然后，參考圖像壓縮部分122通過為每個量化單元生成代表兩個代表性值的調(diào)色板和將兩個代表性值和通過代表性值的線性內(nèi)插獲得的多個中間值之一指定成像素值的索引進行量化。分別為預定個量化單元收集每一個由調(diào)色板和索引構(gòu)成的數(shù)據(jù)，以便形成一個存儲單元。
[0061]差值圖像生成部分124分別為每個相應像素計算貼片圖像序列生成部分120生成的貼片圖像序列的每個幀與通過解碼參考圖像壓縮部分122壓縮的參考圖像的數(shù)據(jù)恢復的相應幀之間的差值，以便生成貼片圖像序列的差值圖像。差值圖像壓縮部分126壓縮差值圖像生成部分124生成的貼片圖像序列的差值圖像。
[0062]該壓縮處理的大致流程與參考圖像壓縮部分122進行的上述壓縮處理的大致流程類似。但是，由于參考圖像的像素值的范圍是有限的，所以將該壓縮處理配置成使其特點作為優(yōu)點反映在渲染處理的數(shù)據(jù)尺寸或效率上。尤其，只由絕對值等于或低于預定閾值的像素值構(gòu)成的數(shù)據(jù)塊的所有像素值被認為是O。進一步，關于量化時的調(diào)色板，減少分層的數(shù)量，以便代表四個具體值，以便在圖像顯示時不進行線性內(nèi)插。下面描述細節(jié)。
[0063]壓縮數(shù)據(jù)生成部分128以預定單元收集參考圖像壓縮部分122壓縮的參考圖像的數(shù)據(jù)和差值圖像壓縮部分126壓縮的差值圖像的數(shù)據(jù)，然后將指針加入每個數(shù)據(jù)中生成壓縮數(shù)據(jù)，以便在圖像顯示時可以引用數(shù)據(jù)。將生成的壓縮數(shù)據(jù)存儲到壓縮數(shù)據(jù)存儲部分134中。
[0064]圖4示意性地描繪了包括控制部分10a的圖像處理裝置10執(zhí)行的運動畫面數(shù)據(jù)的壓縮過程。首先，由貼片圖像序列生成部分120將從運動畫面數(shù)據(jù)存儲部分130中讀出的運動畫面數(shù)據(jù)的幀序列劃分成貼片圖像序列250。這里，貼片圖像具有256X256個像素的尺寸，以及每次對貼片圖像的四個幀進行后面的壓縮處理。盡管下面根據(jù)剛才所述的例子描述壓縮處理，但可以各種各樣地改變貼片圖像的像素的數(shù)量、處理單元的幀的數(shù)量和在隨后級上進行的處理的單元。
[0065]然后，貼片圖像序列生成部分120將貼片圖像序列250的色空間從RGB色空間轉(zhuǎn)換到Y(jié)CbCr色空間，以便生成具有256X256個像素的YCbCr圖像序列252(S10)。然后，參考圖像壓縮部分122通過沿著垂直和水平方向?qū)⑺鼈兂艘?/2縮小YCbCr圖像序列的幀，以便生成具有128X128個像素的YCbCr圖像序列256 (S12)。進一步，參考圖像壓縮部分122以像下文詳細所述那樣的方式進行壓縮處理，并相繼地收集量化單元形成存儲單元，以便生成參考圖像的壓縮數(shù)據(jù)260 (S14)。
[0066]另一方面，差值圖像生成部分124像在圖像顯示時的情況那樣類似地解碼和解壓參考圖像的壓縮數(shù)據(jù)260，以便恢復具有256X256個像素的YCbCr圖像作為參考圖像。然后，差值圖像生成部分124計算參考圖像與具有256 X 256個像素和貼片圖像序列生成部分120生成的YCbCr圖像序列252的相應幀的差值，以便生成256X256個像素的YCbCr的差值圖像序列262。
[0067]然后，差值圖像壓縮部分126以像下文詳細所述那樣的方式相繼進行壓縮處理，并收集量化單元形成存儲單元，以便生成差值圖像的壓縮數(shù)據(jù)266 (S18)。然后，壓縮數(shù)據(jù)生成部分128生成通過連接參考圖像的壓縮數(shù)據(jù)260和差值圖像的壓縮數(shù)據(jù)266獲得的壓縮數(shù)據(jù)268，并將生成的壓縮數(shù)據(jù)存儲到壓縮數(shù)據(jù)存儲部分134中(S20)。
[0068]在壓縮數(shù)據(jù)268中，包括指針信息作為首標269，以便在圖像顯示時可以找到原始運動畫面的幀中數(shù)據(jù)塊的位置與壓縮數(shù)據(jù)的對應關系。對圖像序列的整個其余部分的四個幀重復進行圖4中的處理。進一步，通過隨后每次對四個幀重復進行上述處理，壓縮整個運動畫面數(shù)據(jù)。
[0069]接著參考圖5到15描述參考圖像的壓縮數(shù)據(jù)生成處理。圖5是例示圖4的步驟S14中參考圖像壓縮部分122生成參考圖像的壓縮數(shù)據(jù)260的處理過程的流程圖。首先，沿著空間方向?qū)⒃趫D4的步驟S12中縮小的四個幀的YCbCr圖像序列256劃分成預定尺寸，以便生成處理單元的數(shù)據(jù)塊(S30)。這里，空間方向?qū)趫D像的平面。另一方面，時間方向?qū)诮碡懙臄?shù)量。
[0070]然后，對每個數(shù)據(jù)塊確認沿著空間方向和時間方向是否存在某種冗余，并且，如果判定存在冗余，貝1J沿著判定存在冗余的方向壓縮數(shù)據(jù)(S32)。尤其,如果沿著空間方向存在冗余，則縮小圖像。如果沿著時間方向存在冗余，則對多個相繼圖像求平均以減少幀的數(shù)量。然后，利用存儲在劃分模式存儲部分132中的劃分模式之一進行時間-空間劃分，以形成由相等數(shù)量的像素構(gòu)成的量化單元并量化數(shù)據(jù)(S34)。
[0071]此時,將YCbCr圖像分解成亮度Y是像素值的Y圖像和具有作為一個元素的色差(Cb,Cr)的矢量值是像素值的CbCr圖像，并通過預定放大率縮小CbCr圖像。然后，像上述的方式那樣類似地由Y圖像和CbCr圖像形成量化單元，以便分別量化圖像。如上文所述，量化是通過調(diào)色板和索引表示包括在量化單元中的像素值的處理。
[0072]其結(jié)果是，為每個數(shù)據(jù)塊生成包括Y圖像的調(diào)色板和索引的量化單元的一個或多個數(shù)據(jù)和包括與Y圖像相對應的CbCr圖像的調(diào)色板和索引的量化單元的一個或多個數(shù)據(jù)。這里，構(gòu)成一個數(shù)據(jù)塊的那些量化單元的數(shù)量隨步驟S32中的壓縮量而不同。通過每次對預定數(shù)量的量化單元收集以像上述那樣的方式生成的數(shù)據(jù)形成存儲單元，生成原始貼片圖像的四個幀的參考圖像的壓縮數(shù)據(jù)(S36)。
[0073]圖6示意性地例示了通過步驟S32中的冗余判定壓縮在圖5的步驟S30中空間劃分的貼片圖像序列的過程。在圖6的例子中，在步驟S30中將YCbCr圖像序列劃分成8X8個像素以形成數(shù)據(jù)塊。尤其，沿著垂直和水平兩個方向?qū)⒕哂?28X128個像素的四個幀的YCbCr圖像劃分成16個塊。在圖6中，在每個數(shù)據(jù)塊下面以“水平方向的像素數(shù)量X垂直方向的像素數(shù)量X幀數(shù)”的形式指示數(shù)據(jù)尺寸。這也類似地適用于隨后畫面。
[0074]對以像上述那樣的方式形成的每個數(shù)據(jù)塊272判定冗余。在圖6中，首先進行沿著空間方向的冗余判定(S32a)。尤其，沿著預定方向通過預定放大率縮小圖像，以及針對每個幀相互比較使縮小圖像的尺寸返回到原始尺寸獲得的圖像和縮小之前的圖像。如果像素值之間的差值的總和等于或低于閾值，則判定在空間方向存在一些冗余。然后，通過按總和等于或低于閾值的那些縮小放大率當中縮小量比較大的放大率縮小圖像來壓縮圖像。在圖6的例子中，將沿著垂直方向的1/2、沿著水平方向的1/2、和沿著垂直和水平方向的1/2設置成縮小放大率的候選者。
[0075]于是，如圖6所描繪，取決于步驟S32a中的判定，出現(xiàn)在原始圖像中沒有冗余和8X8個像素的圖像保持原樣的情況和將圖像縮小成8X4個像素、4X 8個像素或4X4個像素的不同情況。由于每四個幀為一組地進行判定，所以可以確定，如果當針對每個幀將像素值之間的差值的總和與閾值相比較時，發(fā)現(xiàn)對于所有四個幀該總和都等于或低于閾值，則可以縮小原始圖像?？商娲兀梢葬槍λ膫€幀的像素值之間的差值的總和進行閾值判定。
[0076]接著，對設置在上文所述的四種狀態(tài)之一下的圖像進行沿著時間方向的冗余判定(S32b)。尤其，通過對預定數(shù)量的相繼幀求平均生成圖像，將生成的圖像與原始幀的圖像相比較。如果像素值之間的差值的總和等于或低于閾值，則判定在時間方向存在冗余。在這種情況下，由于等效地判定可以用一個平均圖像總體表示多個幀，所以用總和等于或低于閾值的平均圖像當中可以收集到最大數(shù)量的幀的平均圖像取代這些幀以便壓縮圖像。在圖6的例子中，設置了每兩個幀進行平均以生成兩個平均圖像的一種情況和每四個幀進行平均以生成一個平均圖像的另一種情況。
[0077]但是，由于不要求未滿足下文所述的一個存儲單元的程度的壓縮，所以在圖6的例子中，對具有8X8個像素的圖像只設置用一個平均圖像表示四個幀的圖像的情況。進一步，不對具有4X4個像素的圖像進行沿著時間方向的壓縮。作為S32b中的判定的結(jié)果，如圖6所描繪，存在也包括不進行沿著時間方向的壓縮的情況、出現(xiàn)8X8個像素X4個幀、8X8個像素X2個幀、8X8個像素Xl個幀、8X4個像素X4個幀、8X4個像素X2個幀、4X8個像素X4個幀、4X8個像素X2個幀和4X4個像素X4個幀的八種類型數(shù)據(jù)結(jié)構(gòu)的情況。
[0078]與有關沿著空間方向的冗余的判定類似，可以進行這樣的判定，即針對原始圖像的每個幀將像素值之間的差值的總和與閾值相比較，并在對于所有四個幀該總和都等于或低于閾值的條件下允許壓縮?？商娲?，可以針對四個幀的像素值之間的差值的總和進行閾值判定。要注意的是，縮小放大率和減少幀數(shù)的選擇不局限于描繪在圖6中的那些，而是可以，例如，響應原始數(shù)據(jù)塊的尺寸、存儲單元的數(shù)據(jù)尺寸等適當確定。此外，沿著空間方向的冗余判定和沿著時間方向的冗余判定的次序可以與描繪在圖6中的次序相反?？商娲?，通過以各種組合一次性地進行幀的縮小和幀數(shù)的減少，可以同時進行兩種判定?？商娲?，可以只進行一種判定。
[0079]圖7示意性地例示了在圖5的步驟S34中進一步劃分像上述那樣的壓縮判定之后的數(shù)據(jù)塊形成量化單元以便量化像素值的方式。每個量化單元是沿著空間方向、沿著時間方向、或沿著空間和時間方向兩者劃分數(shù)據(jù)塊獲得的一組預定數(shù)量像素。為每個量化單元生成代表兩個代表性值的一對調(diào)色板和將指示調(diào)色板和調(diào)色板之間的中間值之一的標識信息與像素相聯(lián)系的索引。該調(diào)色板和索引基本上類似于在S3TC紋理壓縮方法中從RGB圖像中生成的那些。另一方面，在本實施例中，參數(shù)的維數(shù)不同于一般S3TC的維數(shù)。
[0080]要注意的是，在進行上文所述的量化之前，將YCbCr圖像劃分成Y圖像和CbCr圖像，然后縮小CbCr圖像。在如下描述中的例子中，假設沿著垂直和水平方向兩者將CbCr圖像縮小到1/2。在圖7的左側(cè)，一個矩形代表Y圖像的量化單元280或CbCr圖像的量化單元282。在如下描述中，假設量化單元包括16個像素?？商娲?，雖然在圖7中象征性地將量化單元表示成4X4個像素的圖像，但取決于劃分模式，在量化單元中可能混合著不同幀的一些像素。
[0081]通過量化，從Y圖像的量化單元280中生成調(diào)色板284和索引286，而從CbCr圖像的量化單元282中生成調(diào)色板288和索引290。由于CbCr圖像相對于Y圖像具有1/4尺寸，所以Y圖像的四個量化單元對應于CbCr圖像的一個量化單元。于是，如圖7所描繪，收集從相應量化單元中生成的調(diào)色板和索引以生成一個存儲單元292。在顯示時，可以將一個存儲單元的數(shù)據(jù)用于恢復相應區(qū)域中的像素值。
[0082]圖8是例示從Y圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法。如上文所述，一個量化單元包括16個像素。在圖8中，用一個圓圈示意性地表示每個像素。在將通過每個像素保存成像素值的亮度Y的值表示在有關亮度Y的軸上的情況下，獲得像描繪在圖8中那樣的分布300。從標繪在分布300上的16個像素值當中選擇兩個代表性值。例如，選擇最小值(min)和最大值(max)作為代表性值，并將保存兩個所選值的數(shù)據(jù)確定為調(diào)色板。
[0083]進一步，在將亮度Y的軸上最小值與最大值之間的線段內(nèi)分成1:2的亮度Y的值確定為第一中間值(midi)和將該線段內(nèi)分成2:1的亮度Y的值確定為第二中間值(mid2)的情況下，將為每個像素保存指定最小值、第一中間值、第二中間值和最大值的四個值之一的信息的數(shù)據(jù)確定為索引。其結(jié)果是，關于Y圖像的量化單元，該調(diào)色板是代表亮度Y的8個位X2個值=2個字節(jié)的數(shù)據(jù)，該索引是將四個值的標識號表示成O到3的信息的2個位X 16個像素=4個字節(jié)的數(shù)據(jù)。
[0084]圖9是例示從CbCr圖像的量化單元中生成調(diào)色板和索引的數(shù)據(jù)的方法。與Y圖像的量化類似，一個量化單元包括16個像素。但是，每個像素保存的值是具有作為元素的(Cb, Cr)的二維矢量值。在將像素值表示在具有色差Cb和Cr的軸的二維平面上的情況下，獲得像描繪在圖9中那樣的分布302。
[0085]從標繪在分布302上的16個像素值當中選擇兩個代表性值。例如，在用直線近似表示分布302的情況下，分別將直線左端和右端的色差確定為最小值(min)和最大值(max)，并確定為代表性值。將保存兩個計算值的數(shù)據(jù)確定為調(diào)色板。此時，每個代表性值是具有作為元素的(cb，Cr)的矢量值。
[0086]進一步，在將近似直線上最小值與最大值之間的線段內(nèi)分成1:2的色差確定為第一中間值(midi)和將該線段內(nèi)分成2:1的色差確定為第二中間值(mid2)的情況下，將為每個像素保存指定最小值、第一中間值、第二中間值和最大值的四個值之一的信息的數(shù)據(jù)確定為索引。其結(jié)果是，關于CbCr圖像的量化單元，該調(diào)色板是色差Cb和Cr的2個元素X代表色差的8個位X2個值=4個字節(jié)的數(shù)據(jù)，而該索引是將四個值的標識號表示成O到3的信息的2個位X 16個像素=4個字節(jié)的數(shù)據(jù)。
[0087]如果以像上述那樣的方式壓縮數(shù)據(jù)，則由于描繪在圖7中的存儲單元292包括Y圖像的調(diào)色板的2個字節(jié)X 4個量化單元=8個字節(jié)、Y圖像的索引的4個字節(jié)X 4個量化單元=16個字節(jié)、CbCr圖像的調(diào)色板的4個字節(jié)和CbCr圖像的索引的4個字節(jié),所以存儲單元292是總共32個字節(jié)的數(shù)據(jù)。由于一個存儲單元292保存16個像素X4個量化單元=64個像素的數(shù)據(jù)，所以量化之后的數(shù)據(jù)中的一個像素對應于0.5個字節(jié)。
[0088]如上所述，在本實施例中，在將原始RGB圖像分解成保存一維參數(shù)的Y圖像和保存二維參數(shù)的CbCr圖像之后，生成調(diào)色板和索引。因此，在一維Y圖像的情況下，所有樣本值分布在直線上，此外，在二維CbCr圖像中，只在相關近似直線的法線方向存在偏移近似直線的樣本。于是，與用直線近似表示然后量化保存三維參數(shù)的RGB圖像的一般S3TC方法相比，可以將量化誤差抑制得很小。
[0089]圖10例示了要存儲到劃分模式存儲部分132中以便形成由16個像素構(gòu)成的量化單元的劃分模式的變種。圖10中的變種從左側(cè)開始，稱為模式(A)、模式(B)、模式(C)和模式(D)，對于上級的Y圖像和下級的CbCr圖像，用直線表示空間劃分的分界線，以及用陰影部分代表性地表達一個量化單元。要注意的是，在圖10中，例示了對于Y圖像和CbCr圖像兩者，劃分不受通過冗余的壓縮支配的數(shù)據(jù)塊，即，8 X 8個像素X 4個幀的Y幀和4 X 4個像素X4個幀的CbCr圖像的方式。
[0090]在模式(A)中，每4 X 4個像素X I個幀地劃分圖像。在模式(B)中，每4 X 2個像素X2個幀地劃分圖像。在模式(C)中，每2X4個像素X2個幀地劃分圖像。在模式(D)中，每2X2個像素X4個幀地劃分圖像。從模式⑶到模式㈧進行更詳細時間劃分，從模式(A)到模式(D)進行更詳細空間劃分。準備好像上述那樣的劃分模式，并依照有關圖像沿著空間方向存在冗余還是沿著時間方向存在冗余的圖像特性選擇劃分模式之一。
[0091]尤其，在像包括很大像天空或草坪那樣顏色接近一種顏色的區(qū)域的情況那樣圖像具有空間冗余的情況下，該區(qū)域中的像素值有可能在空間方面變得更加一致。因此，即使空間劃分數(shù)減少了，也較不可能包括量化引起的誤差，因此選擇接近模式(A)的劃分模式。另一方面，在像通過定點觀察來觀察包括較不運動的風景的情況或類似情況那樣圖像具有時間冗余的情況下，像素值有可能沿著時間方向變得一致。因此，即使時間劃分數(shù)減少了，也由于較不可能包括量化引起的誤差，所以選擇接近模式(D)的劃分模式。
[0092]由于劃分之前的數(shù)據(jù)塊的數(shù)據(jù)結(jié)構(gòu)實際上是例示在圖6中的八種類型之一，所以可以取的劃分模式可以隨數(shù)據(jù)結(jié)構(gòu)而不同。圖11例示了當未進行通過冗余的壓縮時從8X8個像素X4個幀的數(shù)據(jù)塊中生成量化單元時的劃分模式。
[0093]在這種情況下，由于生成8X8個像素X4個幀的Y圖像和4X4個像素X4個幀的CbCr圖像，所以可以從如圖10所描繪的所有劃分模式㈧、⑶、(C)和⑶當中選擇劃分模式。在所有劃分模式中，每一個數(shù)據(jù)塊生成四個存儲單元(例如，存儲單元304a、304b、304c和304d)。對這種情況下的劃分模式分別應用標識號“ O ”、“ I ”、“ 2 ”和“ 3 ”。
[0094]圖12例示了作為進行使用冗余的壓縮時的結(jié)果，當數(shù)據(jù)塊是8X4個像素X4個幀時，當數(shù)據(jù)塊是4 X 8個像素X 4個幀時，以及當數(shù)據(jù)塊是8 X 8個像素X 2個幀時生成量化單元的劃分模式。首先，在數(shù)據(jù)塊是8X4個像素X4個幀的情況下，由于生成8X4個像素X4個幀的Y圖像和4X2個像素X4個幀的CbCr圖像，所以選擇劃分模式⑶和(D)之一。在數(shù)據(jù)塊是4X8個像素X4個幀的情況下，生成4X8個像素X4個幀的Y圖像和2X4個像素X4個幀的CbCr圖像。因此，選擇劃分模式(C)和⑶之一。
[0095]在數(shù)據(jù)塊是8X8個像素X2個幀的情況下，生成8X8個像素X2個幀的Y圖像和4X4個像素X2個幀的CbCr圖像。因此，選擇劃分模式㈧、⑶和(C)之一。在圖12的所有劃分模式中，每一個數(shù)據(jù)塊形成兩個存儲單元(例如，存儲單元306a和306b)。對這種情況下的劃分模式分別應用標識號“4”、“ 5 ”、“6 ”、“ 7 ”、“8 ”、“9 ”和“ 10 ”。
[0096]圖13例示了作為進行使用冗余的壓縮時的結(jié)果，當數(shù)據(jù)塊是4X4個像素X4個幀時，當數(shù)據(jù)塊是4 X 8個像素X 2個幀時，當數(shù)據(jù)塊是8 X 4個像素X 2個幀時，以及當數(shù)據(jù)塊是8X8個像素X I個幀時生成量化單元的劃分模式。首先，在數(shù)據(jù)塊是4X4個像素X4個幀的情況下，生成4X4個像素X4個幀的Y圖像和2X2個像素X4個幀的CbCr圖像。因此，該選擇局限于模式(D)。在數(shù)據(jù)塊是4X8個像素X2個幀的情況下，生成4X8個像素X2個幀的Y圖像和2X4個像素X2個幀的CbCr圖像。因此，該選擇局限于模式(C)。
[0097]在數(shù)據(jù)塊是8X4個像素X 2個幀的情況下，生成8X4個像素X 2個幀的Y圖像和4X2個像素X2個幀的CbCr圖像。因此，該選擇局限于模式(B)。在數(shù)據(jù)塊是8X8個像素X I個幀的情況下,生成8X8個像素X I個幀的Y圖像和4X4個像素X I個幀的CbCr圖像。因此，該選擇局限于模式(A)。在所有劃分模式中，每一個數(shù)據(jù)塊形成一個存儲單元(例如，存儲單元308)。對這種情況下的劃分模式分別應用標識號“ 11 ”、“ 12 ”、“ 13 ”和“14”。
[0098]如果以像上述那樣的方式應用標識號，則每個標識號最終包括利用冗余的壓縮模式和形成量化單元的劃分模式作為信息。將四種類型的劃分模式(A)到(D)和標識它們的信息事先以相互聯(lián)系的關系存儲到劃分模式存儲部分132中。參考圖像壓縮部分122根據(jù)壓縮模式和所選劃分模式的組合確定與每個數(shù)據(jù)塊相對應的標識號。使標識號包括到壓縮數(shù)據(jù)中并加以引用，以便在圖像顯示時在顯示區(qū)中指定像素值的數(shù)據(jù)。
[0099]在對量化單元的劃分模式可作多種選擇的情況下，應用所有劃分模式對每個數(shù)據(jù)塊進行量化然后加以解碼。然后，選擇解碼結(jié)果相對于原始圖像指示最小誤差的那一種劃分模式?？商娲?，可以使用含有相似內(nèi)容的測試圖像為每個區(qū)域事先設置劃分模式。
[0100]現(xiàn)在，描述參考圖像壓縮部分122生成的參考圖像的壓縮數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。與S3TC的紋理壓縮方法類似，在本實施例中生成的壓縮數(shù)據(jù)由調(diào)色板和索引構(gòu)成。因此，可以按原樣使用常見GPU的加陰影功能進行解碼處理。
[0101]為此，優(yōu)選的是可以與普通紋理圖像類似地讀出和解碼通過量化Y圖像的數(shù)據(jù)生成的索引和調(diào)色板和通過量化CbCr圖像的數(shù)據(jù)生成的索引和調(diào)色板。因此，當存儲壓縮數(shù)據(jù)時，如上所述地將代表相同區(qū)域的Y圖像的量化數(shù)據(jù)和CbCr圖像的量化數(shù)據(jù)收集成單個存儲單元，以便可以通過少數(shù)幾次數(shù)據(jù)訪問恢復像素。
[0102]圖14示意性地例示了參考圖像的壓縮數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。圖14中的左側(cè)代表一個存儲單元314，其中如圖14的右側(cè)所描繪地存儲著代表相同區(qū)域的Y圖像的壓縮數(shù)據(jù)310和CbCr圖像的壓縮數(shù)據(jù)312。Y圖像的壓縮數(shù)據(jù)310當中用“I”表示的每個長方體代表一個量化單元的索引，用“P”表示的每個長方體代表一個量化單元的調(diào)色板。這也類似地適用于CbCr圖像的壓縮數(shù)據(jù)312。如上文所述，Y圖像的索引和調(diào)色板分別是每個量化單元四個字節(jié)和兩個字節(jié)的數(shù)據(jù)。CbCr圖像的索引和調(diào)色板兩者都是每個編碼單元四個字節(jié)的數(shù)據(jù)。
[0103]因此，如圖14所描繪，將代表相同區(qū)域的Y圖像的四個量化單元和CbCr圖像的一個量化單元的數(shù)據(jù)集體排列成深度為四個字節(jié)的存儲區(qū)。這里，由于Y圖像的壓縮數(shù)據(jù)310當中的調(diào)色板是兩個字節(jié)的數(shù)據(jù)，所以如圖14所描繪將兩個調(diào)色板沿著深度方向布置。其結(jié)果是，一個存儲單元314包括4X2X4個字節(jié)的數(shù)據(jù)。
[0104]如果以這種方式收集數(shù)據(jù)，則可以將一個存儲單元314按原樣存儲到存儲4 X 2個像素的RGBA圖像的數(shù)據(jù)的存儲區(qū)中。由于從8X8個像素X4個幀的數(shù)據(jù)塊中最多形成四個存儲單元，所以一個數(shù)據(jù)塊的數(shù)據(jù)尺寸變成最多等于4X2個像素X4 = 32個像素的RGBA圖像的數(shù)據(jù)尺寸。如果將冗余用于壓縮，則數(shù)據(jù)量進一步減少到1/2或1/4。
[0105]這里，描述將代表壓縮模式和劃分模式的標識號包括到上文所述的壓縮數(shù)據(jù)中的方法。該標識號是四個位的信息，因為它是如上所述的“O”到“14”的15種類型之一。同時，如圖14所例示將Y圖像的四個調(diào)色板存儲到一個存儲單元中。在每個調(diào)色板中，存儲著代表亮度Y的數(shù)值的兩個值。因此，通過四個調(diào)色板的每一個保存的兩個值的存儲次序和它們之間的幅度的關系表示四個位的標識信息。
[0106]圖15是例示通過調(diào)色板表示標識號的方法的視圖。如果將作為如圖14所描繪的Y圖像的四個調(diào)色板之一的調(diào)色板315取作例子，則從圖15的這一側(cè)的最高地址開始依次存儲兩個代表性值“PO”和“P1”。此時，用數(shù)值“PO”和“P1”的幅度的關系表示一個位的信息。事先設置成，例如，如果P0>P1，則這代表1，而“PO”和“P1”的幅度的任何其它關系都代表O。
[0107]由于一個存儲單元包括Y圖像的四個調(diào)色板，所以如果利用所有四個調(diào)色板以及事先確定了與位序列相對應的調(diào)色板的次序，則可以表示四個位的信息。與將值的哪一個存儲到前一個地址中無關，取決于值的幅度的關系，調(diào)色板保存的兩個值的哪一個是最小值或最大值是顯而易見的，因此，該次序不影響解碼處理。因此，如果從每個數(shù)據(jù)塊的壓縮模式和劃分模式中確定了一個標識號，則參考圖像壓縮部分122響應該標識號確定要將每個調(diào)色板的較高值存儲到哪一個地址。
[0108]要注意的是，當一個數(shù)據(jù)塊形成多個存儲單元時，所有存儲單元表示相同標識信息。這使得不必與壓縮數(shù)據(jù)的主體分開地生成壓縮模式和/或劃分模式的信息，可以整體地縮小數(shù)據(jù)尺寸。進一步，由于為相應區(qū)域的每個壓縮數(shù)據(jù)嵌入壓縮模式和劃分模式的信息，所以引用該信息的效率是高的。
[0109]現(xiàn)在，參考圖16到19描述差值圖像的壓縮數(shù)據(jù)生成處理。圖16示意性地例示了差值圖像生成部分124在圖4的步驟S16中生成差值圖像的過程。在圖16中，與圖4中的那些相同的數(shù)據(jù)用相同標號表示。首先，將貼片圖像序列生成部分120生成的256X256個像素的YCbCr圖像序列252和參考圖像壓縮部分122使用YCbCr圖像序列252生成的參考圖像的壓縮數(shù)據(jù)260用作輸入數(shù)據(jù)。
[0110]差值圖像生成部分124首先解碼參考圖像的壓縮數(shù)據(jù)260 (S40)。尤其，差值圖像生成部分124讀出構(gòu)成包括在相同貼片圖像序列中的數(shù)據(jù)塊的存儲單元的所有數(shù)據(jù)，并從調(diào)色板和索引中恢復Y圖像和CbCr圖像。此時，可以通過獲取Y圖像的調(diào)色板所代表的標識號指定像素的陣列。
[0111]尤其，由于從每個數(shù)據(jù)塊的標識號中識別利用冗余的壓縮模式和形成量化單元時的劃分模式，所以根據(jù)壓縮模式和劃分模式通過與劃分處理相反的處理連接包括在量化單元中的數(shù)據(jù)。然后，沿著垂直和水平方向?qū)bCr圖像放大成兩倍，然后與Y圖像合成以生成YCbCr圖像。接著，增加幀數(shù)或通過與例示在圖6中的壓縮處理相反的處理擴大圖像。進一步連接以像上述那樣的方式恢復的數(shù)據(jù)塊，以生成128X128個像素X4個幀的YCbCr圖像序列400。
[0112]然后，沿著垂直和水平方向?qū)?28X128個像素X4個幀的YCbCr圖像序列400放大成兩倍，以生成256X256個像素X 4個幀的YCbCr貼片圖像序列402 (S42)。然后，計算YCbCr貼片圖像序列402的像素值與貼片圖像序列生成部分120生成的原始貼片圖像的YCbCr圖像序列252的那些像素值的差值，以生成差值圖像序列262 (S44)。
[0113]步驟S40和S42中的處理基本上是與例示在圖4和5中的參考圖像的壓縮處理的過程的那些相反的處理。但是，由于這個壓縮處理是進行圖像縮小、通過求平均和量化的幀數(shù)減少的不可逆處理，所以存在恢復的貼片圖像序列402可能包括誤差的可能性。將這個誤差表示成差值圖像，以滿足壓縮率和畫面質(zhì)量兩者的要求。
[0114]差值圖像是當在圖像顯示時解碼和解壓縮參考圖像的壓縮數(shù)據(jù)時彌補壓縮引起的誤差的圖像。于是，有必要使差值圖像生成部分124在步驟S40和S42中解碼和解壓縮參考圖像的壓縮數(shù)據(jù)260的處理與圖像顯示時的那些相同。另一方面，在本實施例中，以量化單元收集壓縮數(shù)據(jù)260，使以量化單元的數(shù)據(jù)訪問成為可能，因此不進行無用數(shù)據(jù)裝載或解碼地沿著空間方向和時間方向?qū)崿F(xiàn)隨機訪問。
[0115]于是，在圖像顯示時，必須引用不同量化單元以便解碼或解壓縮某個量化單元不是優(yōu)選的。因此，當在步驟S40中在連接了量化單元的數(shù)據(jù)之后在沿著垂直和水平方向?qū)bCr圖像擴大成兩倍的處理、依照壓縮模式擴大圖像以便將數(shù)據(jù)塊的尺寸改變到原始尺寸的處理、和在步驟S42中沿著垂直和水平方向?qū)⑼ㄟ^連接數(shù)據(jù)塊形成的YCbCr圖像序列400擴大成兩倍的處理中在像素之間生成新像素時，獨立于量化單元的劃分模式地在相關量化單元內(nèi)完成擴大處理。
[0116]尤其，將擴大目標的圖像劃分成2X2個像素，并通過內(nèi)插計算像素之間的像素的像素值，而2X2個像素之外的像素值通過外推來計算。圖17示意性地例示以這種方式擴大圖像的處理。在圖17中的左側(cè)，用白色圓圈指示將擴大之前的圖像劃分成2X2個像素的區(qū)域404中的每個像素。當將這些像素用于生成由4X4個像素構(gòu)成的擴大區(qū)域406時，通過內(nèi)插白色圓圈的像素的像素值獲取原來具有像素值的白色圓圈之間的像素(陰影圓圈)的像素值。
[0117]通過使用白色圓圈的像素及其內(nèi)插值進行外推獲取原來具有像素值的白色圓圈的外側(cè)的像素(黑色圓圈)的像素值。由于量化單元與量化單元具有的劃分模式無關地包括2X2個像素的區(qū)域，所以如果以這種方式進行擴大處理，則與劃分模式無關地在量化單元內(nèi)完成擴大處理。于是，當差值圖像生成部分124如上所述擴大CbCr圖像或擴大YCbCr圖像時，也以這種方式進行擴大處理。要注意的是，對于外推值，取決于像素值的灰度級地設置下限值和上限值，以便將像素值調(diào)整成不超過灰度級范圍。由于參考圖像的解碼處理的細節(jié)與進行圖像顯示的裝置中的解碼處理的那些類似，所以下文對它們加以描述。
[0118]差值圖像壓縮部分126壓縮以像上述那樣的方式生成的差值圖像(圖4中的S18)。這種處理基本上類似于例示在圖5中的參考圖像的壓縮處理。在下文中，把注意力放在與參考圖像的差值上地加以描述。首先，與圖5的步驟S30類似，沿著空間方向?qū)⒉钪祱D像序列262劃分成與參考圖像的尺寸相同的尺寸，以形成處理單元的數(shù)據(jù)塊。這里，如圖6所例示，一個數(shù)據(jù)塊由8X8個像素X4個幀構(gòu)成。但是，與參考圖像不同，差值圖像仍然是256X256個像素的圖像，因此，沿著垂直和水平方向兩者將差值圖像劃分成32個部分。
[0119]進一步，針對差值圖像，每個數(shù)據(jù)塊地進行是否認為像素值是O的判定，并將認為像素值是O的數(shù)據(jù)塊確定為NULL (空)塊。例如，對于構(gòu)成數(shù)據(jù)塊的所有像素值，進行像素值的絕對值與事先確定的閾值之間的比較。如果所有像素值的絕對值都等于或低于閾值，則將該數(shù)據(jù)塊確定為NULL塊。
[0120]在圖像顯示時的解碼中處理確定為NULL塊的數(shù)據(jù)塊，以便使所有像素值都是O。例如，事先生成所有像素值都是O的一個存儲單元，以及當生成最終壓縮數(shù)據(jù)時，將確定為NULL塊的所有數(shù)據(jù)塊和該存儲單元相互聯(lián)系。在也可以與其它塊類似地處理NULL塊的情況下，使圖像顯示時的解碼處理得到簡化并使處理效率得到提高。
[0121]由于差值圖像是如上文所述代表壓縮參考圖像引起的誤差的圖像，所以像素值可能接近O的可能性很高。在像，例如，藍天或草坪那樣圖像頻率低的區(qū)域中，較不可能出現(xiàn)像上述那樣的誤差。如果通過上述的處理找出這樣的圖像性質(zhì)，并將差值圖像的像素值處理成0，則可以提高圖像顯示時的處理效率以及可以提高數(shù)據(jù)壓縮率。
[0122]然后，差值圖像壓縮部分126與圖5的步驟S32類似地確認每個數(shù)據(jù)塊沿著空間方向和時間方向是否存在冗余，并且當判定數(shù)據(jù)塊具有冗余時，沿著一個或多個方向壓縮數(shù)據(jù)。這種處理可能類似于對參考圖像的處理。差值圖像壓縮部分126然后與圖5的步驟S34類似地將YCbCr圖像分解成Y圖像和CbCr圖像。差值圖像壓縮部分126縮小CbCr圖像并利用劃分模式之一在時間-空間上劃分縮小的CbCr圖像，以形成由數(shù)量相等的像素構(gòu)成的量化單元，然后量化該數(shù)據(jù)。
[0123]此時的劃分處理可能類似于對參考圖像的處理。另一方面，由于差值圖像具有如上所述像素值的范圍比參考圖像更受限制的性質(zhì)，所以將這種性質(zhì)用于使信息由相互不同的調(diào)色板保存。具體地說，取代降低調(diào)色板保存的數(shù)值的灰度級，不是將兩個值而是將四個值保存成代表性值。尤其，雖然參考圖像的調(diào)色板每個元素由8個位X2個值=2個字節(jié)構(gòu)成，但差值圖像的調(diào)色板同等地利用兩個字節(jié)表示4個位X4個值。索引保存為每個像素指定四個值之一的信息。這樣在圖像顯示時的解碼中就不用進行確定第一中間值和第二中間值的線性內(nèi)插，提高了處理效率。進一步，消除了在最大值和最小值之間將第一中間值和第二中間值選成2:1和1:2的內(nèi)插值的限制。因此，可以更靈活地選擇第一中間值和第二中間值，并且可以預計畫面質(zhì)量會有所提高。
[0124]調(diào)色板要保存的四個值根據(jù)例示在圖8和9中的Y圖像和CbCr圖像的最小值、最大值、第一中間值和第二中間值來確定。尤其，如果每個元素可以用四個位的數(shù)據(jù)尺寸來表示四個值，則將四個值按原樣存儲到調(diào)色板中。另一方面，如果用四個位不能充分表示表示四個值所需的灰度級，則相繼地將所有數(shù)值乘以1/2、1/4和1/8，以確定可以用四個位表示的放大率，然后將四個值乘以確定的放大率并存儲到調(diào)色板中。要注意的是，由于CbCr圖像的調(diào)色板是由(Cb，Cr)的兩個元素構(gòu)成的矢量值，所以用八個位表示四個值的每一個。
[0125]在圖像顯示時，將四個位的數(shù)值轉(zhuǎn)換成并用作八個位的數(shù)值。此時，為了從調(diào)色板的數(shù)值中恢復最小值、最大值、第一中間值和第二中間值，需要為每個調(diào)色板指示要相乘的放大率。在要將以像上述那樣的方式乘以1、1/2、1/4或1/8獲得的數(shù)值存儲到調(diào)色板中的情況下，一倍、兩倍、四倍和八倍的四種選擇可用作恢復的放大率。因此，將代表標識四種選擇的標識號“O”到“3”的兩個位的信息嵌入壓縮數(shù)據(jù)中。圖18是例示通過調(diào)色板表示放大率的標識號的視圖。
[0126]在圖18中，從圖18的這一側(cè)的最高地址開始依次將Y圖像的四個位的四個值“ PO ”、“ PI ”、“ P2 ”和“ P3 ”、或CbCr圖像的兩個元素的總共八個位的四個值“ PO ”、“ PI ”、“ P2 ”和“P3”存儲到調(diào)色板中。此時，通過包括取決于前兩個值“PO”和“P1”之間的幅度關系的一個位和取決于后兩個值“P2”和“P3”之間的幅度關系的另一個位的總共兩個位表示標識號。事先設置這樣的規(guī)則，例如，如果P0>P1，則這代表1，而數(shù)值PO和Pl之間的任何其它關系都代表0，以及如果P2>P3，則這代表1，而數(shù)值P2和P3之間的任何其它關系都代表O。
[0127]要注意的是，在CbCr圖像的情況下，將通過位序列連接作為矢量值(Cb，Cr)的元素的Cb的四個位的值和Cr的四個位的值時的八個位的信息確定為“P0”、“P1”、“P2”和“Ρ3”。于是，如果可以從(Cb，Cr)對中獲取八個位的值，則可以不將這些值存儲在八個位的相繼區(qū)域中。由于有關CbCr圖像的四個值用矢量值表示，所以如果對總共八個位的信息進行比較，則即使元素之一具有相等值，八個位的值也不會變成相等。
[0128]對于每個調(diào)色板可以通過上述的總共兩個位的信息表示標識號“O”到“3”。調(diào)色板保存的四個值不影響解碼處理，因為最小值、最大值、第一中間值和第二中間值可以與存儲次序無關、取決于值之間的幅度關系地決定。在圖像顯示時的解碼中，首先指定標識號(S50)，然后當將四個值P0、P1、P2和P3從四個位轉(zhuǎn)換成八個位時，將它們乘以通過標識信息表示的放大率，以確定PO'、P1'、P2'和P3',以便恢復最小值、最大值、第一中間值和第二中間值(S52)。
[0129]這樣，在差值圖像的Y圖像的調(diào)色板中，存儲四個位的四個值。在參考圖像的調(diào)色板中，通過八個位的兩個值的存儲次序和它們之間的幅度關系表示每一個代表壓縮模式和劃分模式的15個不同標識號“O”到“14”。圖19是例示通過差值圖像的Y圖像的調(diào)色板進一步表示15個不同標識號的方法的視圖。如上文參考圖18所述，將四個值“P0”、“P1”、“P2”和“P3”存儲到一個調(diào)色板408中。這里，通過由連接“PO”和“P1”的位序列形成的八個位的值(在圖19中表示成“P01”)和由連接“P2”和“P3”的位序列形成的八個位的值(在圖19中表示成“P23”)之間的幅度關系表示一個位的信息。
[0130]事先設置這樣的規(guī)則，例如，如果P0DP23，則這代表1，而數(shù)值POl和P23之間的任何其它關系都代表O。其結(jié)果是，這種處理與參考圖像的情況相同，因為將調(diào)色板的高地址的八個位的值和低地址的八個位的數(shù)值相互比較，以判定這些數(shù)值之間的幅度關系。于是，與參考圖像的情況類似，可以用四個調(diào)色板表示代表壓縮模式和劃分模式的標識號。差值圖像壓縮部分126確定要存儲到Y(jié)圖像的調(diào)色板中的四個值的存儲次序，以便使這四個值表示代表將調(diào)色板的數(shù)值恢復成原始數(shù)值的放大率的標識號和代表壓縮模式和劃分模式的標識號兩者。
[0131]現(xiàn)在，描述壓縮數(shù)據(jù)生成部分128生成最終壓縮數(shù)據(jù)的處理。圖20示意性地例示了在圖4的步驟S20中生成包括參考圖像的壓縮數(shù)據(jù)260和差值圖像的壓縮數(shù)據(jù)266的最終壓縮數(shù)據(jù)268的處理過程。如上文所述，參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)分別以數(shù)據(jù)塊為單位形成。
[0132]尤其，在上文所述的例子的情況下，從通過將原始運動畫面的幀序列劃分成256X256個像素獲得的貼片圖像序列的四個幀中生成參考圖像的數(shù)據(jù)塊陣列410和差值圖像的數(shù)據(jù)塊陣列411。參考圖像的數(shù)據(jù)塊陣列410由16X16個數(shù)據(jù)塊的壓縮數(shù)據(jù)構(gòu)成，而差值圖像的數(shù)據(jù)塊陣列411由32X32個數(shù)據(jù)塊的壓縮數(shù)據(jù)構(gòu)成。數(shù)據(jù)塊的壓縮數(shù)據(jù)的尺寸在長度上是可變的，對應于一個、兩個或四個存儲單元之一。要注意的是，在差值圖像中,取決于其值,將數(shù)據(jù)塊處理成NULL塊。
[0133]每個存儲單元具有等于如上文所述的4X2個像素的RGBA圖像的數(shù)據(jù)的數(shù)據(jù)尺寸。壓縮數(shù)據(jù)生成部分128針對每個存儲單元沿著預定方向以數(shù)據(jù)塊陣列的預定次序連接數(shù)據(jù)塊的存儲單元的壓縮數(shù)據(jù)。然后，壓縮數(shù)據(jù)生成部分128加入將陣列上的數(shù)據(jù)塊的位置和存儲單元的存儲地點相互聯(lián)系的指針信息。在圖20中的壓縮數(shù)據(jù)42的例子中，參考圖像數(shù)據(jù)的指針信息414、差值圖像數(shù)據(jù)的指針信息416、參考圖像的壓縮數(shù)據(jù)418、差值圖像的NULL塊的壓縮數(shù)據(jù)420和差值圖像的壓縮數(shù)據(jù)422沿著柵格方向按這個次序并置。
[0134]此外，在與存儲單元類似地垂直并置每一個四個字節(jié)的兩個數(shù)據(jù)的同時，水平地相繼解壓縮參考圖像數(shù)據(jù)的指針信息414和差值圖像數(shù)據(jù)的指針信息416。使這種情況下指針信息的存儲次序與陣列上的相應數(shù)據(jù)塊的次序相同，以便通過指針相互聯(lián)系陣列上的每個數(shù)據(jù)塊的位置和每個存儲單元的存儲位置。
[0135]在以這種方式相繼生成壓縮數(shù)據(jù)的情況下，生成具有兩個像素的寬度的帶狀行沿著垂直方向相互連接的圖像平面。因此，壓縮數(shù)據(jù)412被理解成圖像平面，并且通過存儲單元與每個數(shù)據(jù)塊相對應的區(qū)域的左上角的坐標表示指針信息。例如，如果該坐標通過UV坐標表示以及U坐標和V坐標分別用一個字節(jié)表示，則一個存儲單元的指針變成總共兩個字節(jié)的信息。其結(jié)果是，在壓縮數(shù)據(jù)412是圖像平面的情況下，兩個數(shù)據(jù)塊的指針可以用一個像素來表示。
[0136]即使原始運動畫面是8000 X 4000個像素等的高清晰度圖像，如果壓縮數(shù)據(jù)412本身被縮小成256 X 256個像素或更小，則指針信息可以用如上所述的分別一個字節(jié)的U坐標和V坐標來表示。在這種情況下，參考圖像數(shù)據(jù)的指針信息414變成代表16X16 = 256個數(shù)據(jù)塊的128個像素的區(qū)域，而差值圖像數(shù)據(jù)的指針信息416變成代表32X32 = 1024個數(shù)據(jù)塊的512個像素的區(qū)域。要注意的是，如果不能通過分別一個字節(jié)的U坐標和V坐標滿意地表示指針信息，則可以通過分別具有更大數(shù)據(jù)長度的U坐標和V坐標來表示，以便，例如，U坐標和V坐標分別用兩個字節(jié)來表示?？商娲?，可以改變劃分的貼片的尺寸，以便一個字節(jié)可以充分表示指針信息。
[0137]例如，參考圖像數(shù)據(jù)的指針信息414的區(qū)域內(nèi)通過某個像素424表示的兩個指針信息的每一個都指示包括在參考圖像的壓縮數(shù)據(jù)418中的某個存儲單元的區(qū)域的左上角的坐標。該存儲單元是構(gòu)成與指針相對應的數(shù)據(jù)塊的存儲單元的頂部上的那些存儲單元。同時，在差值圖像數(shù)據(jù)的指針信息416內(nèi)，通過某個像素426表示的兩個指針信息之一代表NULL塊的壓縮數(shù)據(jù)420，而兩個指針信息的另一個代表包括在差值圖像的壓縮數(shù)據(jù)422中的某個存儲單元的區(qū)域的左上角的坐標。此外，該存儲單元是構(gòu)成與指針相對應的數(shù)據(jù)塊的存儲單元的頂部上的那些存儲單元。
[0138]必要時每貼片圖像序列的四個幀一個地準備NULL塊的壓縮數(shù)據(jù)420，以便將其與多個數(shù)據(jù)塊相聯(lián)系。通過對所有貼片圖像序列每預定個幀(在上文所述的例子中，每四個幀)地生成這樣的壓縮數(shù)據(jù)，可以類似地壓縮整個原始運動畫面。將貼片圖像序列的壓縮數(shù)據(jù)按時間次序作為幀地存儲到壓縮數(shù)據(jù)存儲部分134中。進一步，事先進行原始運動畫面的幀中的貼片圖像的位置與每個貼片圖像序列的壓縮數(shù)據(jù)的聯(lián)系。例如，將代表位置的標識信息應用于貼片圖像序列的壓縮數(shù)據(jù)。這使得可以從運動畫面的整個壓縮數(shù)據(jù)中指定必要數(shù)據(jù)。
[0139]現(xiàn)在，描述使用通過上文所述的方法壓縮的數(shù)據(jù)進行圖像顯示的技術(shù)。此外，本技術(shù)中進行圖像顯示的裝置可以通過與顯示在圖1中的圖像處理裝置10類似的配置來實現(xiàn)。在下文中，主要對控制部分100的配置加以描述。圖21具體描繪了本實施例中具有圖像顯示功能的控制部分10b的配置。包括控制部分10b的圖像處理裝置10基本上是使用以像上述那樣的方式壓縮的運動畫面數(shù)據(jù)的至少一部分進行圖像顯示的裝置。但是，對顯示運動畫面的目的或顯示模式?jīng)]有具體限制。
[0140]例如，圖像處理裝置10可以顯示存儲在硬盤驅(qū)動器50等中的電影或撮取運動畫面、實時分發(fā)的運動畫面流、計算機圖形中的視頻紋理等的任何一種?？商娲兀梢酝瑫r顯示多種運動畫面，或在顯示圖像的局部區(qū)域中可以只使用一種運動畫面。于是，在硬盤驅(qū)動器50中，不僅可以存儲像上述那樣的壓縮運動畫面，而且可以存儲像實現(xiàn)各種功能的程序和其它圖像數(shù)據(jù)那樣的各種數(shù)據(jù)。
[0141]控制部分10b包括輸入信息獲取部分502、信息處理部分504、裝載部分506和顯示圖像處理部分508。輸入信息獲取部分502從輸入裝置20獲取用戶輸入的信息。信息處理裝置504響應用戶的輸入等進行信息處理。裝載部分506裝載運動畫面的必要壓縮數(shù)據(jù)。顯示圖像處理部分508渲染圖像幀。
[0142]輸入信息獲取部分502獲取圖像處理裝置10提供的功能的起點/終點、和用戶輸入到輸入裝置20中、該功能接受的各種類型的輸入信息。輸入信息獲取部分502將所獲信息通知信息處理部分504。圖像處理裝置10提供的功能可以是運動畫面顯示功能或游戲的各種功能的任何一種、通信等。于是，輸入信息獲取部分502獲取的輸入信息也取決于功能地多種多樣。
[0143]在本實施例中，容易地實現(xiàn)了沿著空間方向和時間方向?qū)\動畫面的隨機訪問。于是，用于接受牽涉到改變運動畫面的顯示區(qū)的操作一諸如用戶為了放大、縮小或滾動正在顯示的運動畫面而作的視點移動操作、或顯示映射視頻紋理的計算機圖形的游戲操作——的模式是特別有效的。
[0144]信息處理部分504根據(jù)輸入信息獲取部分502獲取的輸入信息，依照信息處理裝置提供的功能進行信息處理。例如，當接受視點移動操作時，信息處理部分504根據(jù)視點移動操作的操作量，在每個時步之后確定顯示區(qū)的移動量，并依次計算下一次顯示區(qū)的坐標。在要進行游戲的情況下，信息處理部分504依照游戲的內(nèi)容生成三維對象或依照游戲程序進級。由于可以應用常見技術(shù)進行處理，所以如下描述主要針對與顯示運動畫面有關的處理給出，而適當省略對其它處理的描述。
[0145]在有必要顯示運動畫面或作為進行像上述那樣的信息處理的結(jié)果有必要改變運動畫面的顯示區(qū)的情況下，信息處理部分504計算顯示區(qū)的幀坐標。信息處理部分504然后將計算的幀坐標通知裝載部分506和顯示圖像處理部分508。在本實施例中，由于以貼片圖像為單位或以預定個幀為單位生成各種壓縮數(shù)據(jù)，所以也可以以此為單位進行從硬盤驅(qū)動器50到主存儲器60的裝載。
[0146]因此，信息處理部分504測量從開始顯示運動畫面的時刻開始經(jīng)過的時間，并與幀坐標的信息一起發(fā)出基于所經(jīng)過時間的幀數(shù)的通知。因此，裝載部分506和顯示圖像處理部分508可以與相關貼片圖像直到那時是否已經(jīng)是處理目標無關地指定裝載目標或解碼目標的壓縮數(shù)據(jù)。裝載部分506根據(jù)來自信息處理部分504的通知確認在主存儲器60中是否存儲著必要壓縮數(shù)據(jù)。
[0147]這里的必要壓縮數(shù)據(jù)不僅包括下一次顯示所需的壓縮數(shù)據(jù)，而且包括為以后需要估計的壓縮數(shù)據(jù)。以后的數(shù)據(jù)是代表在視角固定的情況下，相同顯示區(qū)和時間軸上以后的幀內(nèi)圍繞相同顯示區(qū)預定范圍的區(qū)域的數(shù)據(jù)。另一方面，在作為移動視點等的結(jié)果使視角發(fā)生變化的情況下，上述以后的數(shù)據(jù)是代表從視角的變化中預測的移動目的地的顯示區(qū)和以后的幀內(nèi)圍繞該顯示區(qū)預定范圍的區(qū)域的數(shù)據(jù)。如果在主存儲器60中未存儲著必要數(shù)據(jù)，則裝載部分506從硬盤驅(qū)動器50裝載壓縮數(shù)據(jù)并將壓縮數(shù)據(jù)存儲到主存儲器60中。
[0148]顯示圖像處理部分508包括數(shù)據(jù)讀出部分510、解碼部分512和渲染部分514。數(shù)據(jù)讀出部分510根據(jù)從信息處理部分504接收的幀坐標，從壓縮數(shù)據(jù)的標識信息等中指定包括下一顯示區(qū)的數(shù)據(jù)的貼片圖像序列的壓縮數(shù)據(jù)。數(shù)據(jù)讀出部分510然后從主存儲器60中讀出指定的壓縮數(shù)據(jù)。解碼部分512根據(jù)幀坐標，從包括在讀出壓縮數(shù)據(jù)中的指針信息中指定渲染所需的數(shù)據(jù)塊的壓縮數(shù)據(jù)，并解碼指定的壓縮數(shù)據(jù)。
[0149]盡管這種處理基本上是相反地遵循上文所述的壓縮處理的處理，但可以對代表顯示區(qū)的每個像素進行像素值的恢復。渲染部分514使用解碼的數(shù)據(jù)渲染顯示處理部分44的幀存儲器中的整個顯示圖像。這種處理可以是渲染由幀坐標所代表的區(qū)域構(gòu)成的顯示圖像的處理,或可以是包括視頻紋理的映射處理的渲染處理。
[0150]圖22是例示主要由解碼部分512執(zhí)行的解碼處理的過程的流程圖。首先，解碼部分512參考包括在貼片圖像的讀出壓縮數(shù)據(jù)中的指針信息當中參考圖像數(shù)據(jù)的指針信息，以便指定包括渲染顯示區(qū)所需的參考圖像的數(shù)據(jù)的數(shù)據(jù)塊的壓縮數(shù)據(jù)(S60)。要注意的是，由于如上文所述以可變長度進行了壓縮，所以多個存儲單元可能是相關的。
[0151]然后，解碼部分512從參考圖像的壓縮數(shù)據(jù)中讀出相關壓縮數(shù)據(jù)，并根據(jù)包括在存儲單元中的Y圖像的四個調(diào)色板的每一個所代表的兩個值的幅度關系，獲取代表壓縮模式和劃分模式的四個位的標識號(S62)。由于可以從標識號中確定構(gòu)成顯示區(qū)的像素與包括在壓縮數(shù)據(jù)中的量化單元中的索引之間的對應關系，所以解碼部分512根據(jù)該對應關系指定保存必要數(shù)據(jù)的量化單元(S64)。
[0152]然后，解碼部分512從通過線性內(nèi)插調(diào)色板所代表的兩個值獲得的四個值中獲取索引所指的值，以確定每個像素的Y值、Cb值和Cr值。解碼部分512然后沿著垂直和水平方向?qū)bCr圖像擴大成兩倍以生成YCbCr圖像。如果已經(jīng)將壓縮模式之一用于進行壓縮，則解碼部分512沿著相反方向擴大YCbCr圖像或插入幀。幀的插入可以通過復制平均圖像來進行。然后，解碼部分512進一步沿著垂直和水平方向?qū)CbCr圖像擴大成兩倍，以生成原始貼片圖像尺寸的YCbCr圖像的參考圖像(S66)。此時的擴大處理通過內(nèi)插和外推來進行，以便可以如上文所述以2X2個像素為單位完成處理。
[0153]接著，解碼部分512對差值圖像進行類似處理，從差值圖像的壓縮數(shù)據(jù)中生成YCbCr圖像的差值圖像(步驟S68中的“否”，S60到S66)。但是，要注意的是，在步驟S62中，從分別連接Y圖像的四個調(diào)色板的每一個所代表的四個值的前一半的地址上的兩個值和后一半的地址上的兩個值獲得的數(shù)值的幅度關系中，獲取代表壓縮模式和劃分模式的標識信息。當在步驟S66中要確定每個像素的的Y值、Cb值和Cr值時，解碼部分512首先將調(diào)色板所代表的四個位的四個值轉(zhuǎn)換成八個位，并根據(jù)前一半地址的兩個值和后一半地址的兩個值的幅度關系的組合所代表的標識信息將八個位乘以一個放大率。然后，解碼部分512獲取每個像素的索引所指的數(shù)值，以確定Y值、Cb值和Cr值。
[0154]如果該指針指示NULL塊的壓縮數(shù)據(jù)，則解碼部分512將相應區(qū)域中的所有像素設置成O。但是，要注意的是，由于通過使NULL塊的壓縮數(shù)據(jù)具有與其它數(shù)據(jù)塊的壓縮數(shù)據(jù)相同的結(jié)構(gòu)，可以對其它壓縮數(shù)據(jù)類似地進行這種處理，所以不需要特殊處理。在成功生成分別代表顯示區(qū)的參考圖像和差值圖像的YCbCr圖像之后(S68中的“是”)，解碼部分512為各自相應像素相加它們(S70)，并將色空間轉(zhuǎn)換成RGB色空間，以生成顯示區(qū)的RGB圖像(S72)。
[0155]由于在本實施例中生成的壓縮數(shù)據(jù)具有與各自數(shù)據(jù)塊相對應的數(shù)據(jù)的變長尺寸，所以需要為每個數(shù)據(jù)塊指示代表存儲單元的存儲區(qū)的指針。如上所述，對于256X256個像素的貼片圖像的四個巾貞，指針的數(shù)量是包括參考圖像的256個指針和差值圖像的1024個指針的總共1280個。如果一個指針用兩個字節(jié)的UV坐標表示，則指針所需的數(shù)據(jù)尺寸是(2個字節(jié)X 1280)/(256 X 256個像素X 4個幀)?0.08個位每原始貼片圖像的一個像素，非常小。
[0156]關于壓縮數(shù)據(jù)，四個幀的數(shù)據(jù)塊用一個、兩個或四個4X2個像素X4個字節(jié)=32個字節(jié)的存儲單元來表示。在以最高壓縮率壓縮壓縮數(shù)據(jù)的情況下，一個數(shù)據(jù)塊可以用參考圖像數(shù)據(jù)和差值圖像數(shù)據(jù)的NULL塊的壓縮數(shù)據(jù)的一個存儲單元來表示。如果考慮到參考圖像是通過將原始圖像縮小到1/4獲得的，以及NULL塊的壓縮數(shù)據(jù)可以被其它共享，則數(shù)據(jù)尺寸是(32個字節(jié)X I X 0.25+0個字節(jié))/ (8 X 8個像素X 4個幀)=0.25個位每個像素。另一方面，在以最低壓縮率壓縮一個數(shù)據(jù)塊的情況下，一個數(shù)據(jù)塊用參考圖像數(shù)據(jù)和差值圖像數(shù)據(jù)兩者的四個存儲單元表示。于是，在這種情況下的數(shù)據(jù)尺寸是(32個字節(jié)X 4 X 0.25+32個字節(jié)X 4) / (8 X 8個像素X 4個幀)=5個位每個像素。
[0157]簡而言之，本實施例生成和解碼的壓縮數(shù)據(jù)具有近似0.33到5.08個位每個像素的尺寸。由于通過S3TC紋理壓縮的數(shù)據(jù)具有四個位/像素的數(shù)據(jù)尺寸，所以通過本實施例的運動畫面的壓縮數(shù)據(jù)具有等于或小于剛才所述的數(shù)據(jù)尺寸的尺寸。其結(jié)果是，可以以足夠低存儲成本顯示可以沿著空間方向和時間方向隨機訪問的運動畫面。
[0158]要注意的是，本實施例中的壓縮數(shù)據(jù)的壓縮率隨與沿著時間-空間方向的冗余和出現(xiàn)量化誤差的可能性有關的實際圖像而變。另一方面，通過調(diào)整涉及起因于像剛才所述那樣的因素、是否可以沿著時間-空間方向進行壓縮或是否進行到NULL塊的轉(zhuǎn)換的判定的閾值，可以減緩起因于圖像的壓縮率的下降。通過響應裝置環(huán)境和顯示時的圖像自適應地改變閾值，可以在利用給定環(huán)境的同時以最高圖像質(zhì)量顯示運動畫面。例如，可以事先準備將顯示裝置的資源量或通信環(huán)境與最佳閾值相互聯(lián)系的表格，以便使用符合實際顯示環(huán)境的閾值生成壓縮數(shù)據(jù)。
[0159]盡管在上面的描述中確定為處理目標的運動畫面數(shù)據(jù)的數(shù)量在每個時刻是一個幀，但另一方面每個時刻的圖像可以由以不同分辨率表示的多個幀序列構(gòu)成。如果依照來自用戶的視點移動請求改變要使用的幀序列，則可以在應用運動畫面的同時顯著擴大分辨率的變化范圍。此時，按分辨率次序?qū)⒉煌直媛实亩鄠€幀序列分層以建立分層結(jié)構(gòu)。下文將具有像剛才所述那樣的分層結(jié)構(gòu)的運動畫面數(shù)據(jù)稱為“分層數(shù)據(jù)”。
[0160]圖23概念性地例示了用分層數(shù)據(jù)表示運動畫面的數(shù)據(jù)結(jié)構(gòu)。在圖23中該分層數(shù)據(jù)具有沿著從頂部到底部的z方向由第O層30、第I層32、第2層34和第3層36構(gòu)成的分層結(jié)構(gòu)。要注意的是，盡管在圖23中只描繪了四個層，但層數(shù)不局限于此。如上文所述，每個層由按時間次序排列通過不同分辨率表示一個運動畫面的幀的幀序列構(gòu)成。在圖23中，每個層象征性地用四個幀來表示。但是，該幀數(shù)當然隨運動畫面的再生時間或幀速率而不同。
[0161]該分層數(shù)據(jù)具有，例如，四叉樹的分層結(jié)構(gòu)，假設第O層30包括一個貼片圖像；第I層32包括2X2個貼片圖像；第2層34包括4X4個貼片圖像；以及第3層36包括8X8個貼片圖像。此時，第N層(N是等于或大于O的整數(shù))的分辨率在圖像平面上沿著向左和向右(X軸)方向和向上和向下(y軸)方向兩者是第(N+1)層的分辨率的1/2。該分層數(shù)據(jù)可以通過根據(jù)具有最高分辨率的第3層36的運動畫面將每個幀折算成多個階層或通過類似處理生成。
[0162]如圖23所描繪，運動畫面顯示時的視點坐標和相應顯示區(qū)可以通過虛擬三維空間來表不，該虛擬三維空間由代表圖像的向左和向右方向的X軸、代表向上和向下方向的y軸和代表分辨率的z軸構(gòu)成。要注意的是，由于每個層由分別代表運動畫面的幀序列構(gòu)成，所以實際顯示的圖像也依賴于開始顯示之后的時間，在圖23中，為每個層表示了時間軸t。
[0163]基本上，圖像處理裝置10以預定幀速率沿著時間軸t依次渲染一個層的幀序列。例如，將第O層30的分辨率的運動畫面顯示在參考圖像。如果在顯示的過程中，從輸入裝置20供應顯示區(qū)移動請求信號，則圖像處理裝置10從該信號中導出顯示圖像的改變量，并使用該改變量導出虛擬空間中下一個幀的四個角的坐標(幀坐標)。圖像處理裝置10然后渲染與該幀坐標相對應的圖像幀。據(jù)此，為z軸提供分層的切換邊界，以便響應幀坐標的z值適當切換要用于幀渲染的運動畫面數(shù)據(jù)的分層。
[0164]例如，當顯示圖像所需的分辨率在第I層32與第2層34之間的切換邊界與第2層34與第3層36之間的切換邊界之間，則利用第2層34的圖像數(shù)據(jù)渲染顯示區(qū)。在第I層32與第2層34之間的切換邊界與第2層34之間的分辨率上，以縮小尺度顯示第2層34的圖像幀。在第2層34與第3層36之間的切換邊界與第2層34之間的分辨率上，以擴大尺度顯示第2層34的圖像幀。
[0165]與上文所述類似，以貼片圖像序列為單位將分層數(shù)據(jù)壓縮成壓縮數(shù)據(jù)。要注意的是，在這種情況下，不僅將貼片圖像序列的壓縮數(shù)據(jù)與圖像平面上的位置相聯(lián)系，而且與沿著分辨率方向的位置相聯(lián)系。
[0166]當像上述那樣的分層數(shù)據(jù)用于接受包括擴大或縮小的對正在顯示的運動畫面的顯示區(qū)的移動請求時，如果應用本實施例的數(shù)據(jù)壓縮技術(shù)，則可以只裝載必要貼片圖像的壓縮數(shù)據(jù)，并且可以只解碼必要區(qū)域。因此，與裝載或解碼整個圖像的可替代情況相比，在裝載處理和解碼處理的成本、傳送成本和存儲成本方面減少了浪費。例如，當將第3層36的數(shù)據(jù)用于進行圖像顯示時，由于只使用數(shù)據(jù)的一小部分給出顯示區(qū)，所以成本節(jié)省效果特別好。其結(jié)果是，通常可以不依賴于顯示的分辨率地以相等成本使處理繼續(xù)下去，并且可以實現(xiàn)流暢的運動畫面顯示。
[0167]進一步，當在使用分層數(shù)據(jù)顯示運動畫面期間，要依照視點移動請求切換分層時，需要針對直到那時還不是解碼目標的切換之后的分層馬上獲取下一個時刻的數(shù)據(jù)。由于本實施例中的壓縮數(shù)據(jù)對于像每四個幀那樣的每預定個幀是相互獨立的，所以它們在沿著時間方向的可隨機訪問性方面也是出眾的，這樣的分層切換可以無縫地進行。
[0168]按照上述的本實施例，為預定個幀收集將構(gòu)成運動畫面的幀劃分成預定尺寸形成的貼片圖像，以形成貼片圖像序列。進一步，以通過空間劃分貼片圖像序列獲得的數(shù)據(jù)塊為單位生成壓縮數(shù)據(jù)。這使得可以在裝載處理和圖像顯示時的解碼處理中，沿著空間方向和時間方向兩者隨機訪問壓縮數(shù)據(jù)。其結(jié)果是，降低了裝載處理和解碼處理的成本，此外，由于省去了將圖像部署在存儲器中，所以也降低了存儲成本。
[0169]在傳統(tǒng)運動畫面壓縮技術(shù)中，當顯示將運動畫面映射成視頻紋理的圖像時，即使紋理區(qū)非常小或由于用戶的操作或游戲的進行位移到視角之外，為了準備下一次顯示，也需要繼續(xù)解碼不顯示的運動畫面。在本實施例中，由于可以只處理與實際顯示相對應的數(shù)據(jù)，所以可以顯著提高處理效率。于是，在希望將運動畫面合成成像體育館的廣告牌、顯示、天空或遠處的風景那樣游戲或視頻的背景的情況下，本實施例特別有效。
[0170]進一步，不僅可以將運動畫面而且可以將像其間存在冗余那樣的圖像序列用作壓縮目標。例如，在使用攝像機陣列攝取的數(shù)據(jù)(光場數(shù)據(jù))中，可以預計在攝像機的相鄰幾個的攝取圖像之間存在冗余。因此，可以預料能夠有效壓縮將多個攝取圖像布置在時間軸上的運動畫面。進一步，本實施例也可應用于響應觀看圖像的角度改變要顯示的紋理圖像的技術(shù)(視點相關統(tǒng)計量)。換句話說，將可能顯示的圖像壓縮成布置在時間軸上的運動畫面，并在渲染時，隨機訪問和顯示任意一個圖像。
[0171]進一步，對于縮小貼片圖像序列獲得的參考圖像和代表通過解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與原始貼片圖像之間的差值的差值圖像，分開壓縮每個貼片圖像序列。在縮小尺寸或減少幀數(shù)，沿著空間方向和時間方向確認其冗余之后，將每個圖像劃分成量化單元，然后通過用調(diào)色板和索引表示每個像素值加以量化。
[0172]盡管調(diào)色板和索引的概念由S3TC的壓縮方法引入，但在本實施例中，調(diào)色板的兩個值保存亮度Y、色差Cb和色差Cr的任何一個的八個位，因此，畫面質(zhì)量較不容易變差。進一步，由于對Y圖像序列和CbCr圖像序列分開進行量化，所以與量化RGB的三維參數(shù)的那些相比，參數(shù)的維數(shù)少，量化誤差量也小。進一步，通過在形成編碼單元時改變空間劃分數(shù)和時間劃分數(shù)的組合，所以可以靈活地提供適合沿著空間方向的冗余和沿著時間方向的冗余的數(shù)據(jù)結(jié)構(gòu)。
[0173]進一步，由于差值圖像的像素值的范圍是有限的，所以如果可以認為像素值是0，則將數(shù)據(jù)塊處理成NULL塊，以便壓縮數(shù)據(jù)由多個數(shù)據(jù)塊共享。進一步，與使用沿著空間方向和時間方向的冗余的壓縮和形成量化單元的劃分模式有關的信息通過Y圖像的調(diào)色板保存的數(shù)值的幅度的比較來表示。據(jù)此，在響應實際圖像保持畫面質(zhì)量的同時，可以盡可能大的提高壓縮率。進一步，在圖像顯示時，可以與一般紋理映射的處理類似地進行渲染處理，因此，可以預計高吞吐量。其結(jié)果是，可以在抑制算術(shù)運算成本和存儲成本的同時顯示高清晰度運動畫面。
[0174]上面結(jié)合其實施例對本發(fā)明作了描述，上述的實施例是示范性的，本領域的普通技術(shù)人員可以識別到，可以對該實施例的部件和處理過程的組合作出各種修改，并且這樣的修改仍然在本發(fā)明的范圍之內(nèi)。
[0175]例如，在本實施例中，生成和壓縮用預定放大率縮小原始圖像獲得的參考圖像，然后使其包括在最終壓縮數(shù)據(jù)中。通過按原樣使用參考圖像，可以進行兩個級別小型映射(mipmap)圖像的渲染。進一步，通過提高參考圖像的縮小率可以進一步提高壓縮率。此時，可以利用一個參考圖像構(gòu)成三個或更多級別的小型映射圖像以便，例如，第一級的小型映射圖像由參考圖像構(gòu)成，第二級的小型映射圖像通過擴大第一級的小型映射圖像，并將擴大的小型映射圖像加入差值圖像中構(gòu)成，第三級的小型映射圖像通過進一步擴大第一級的參考圖像，并將進一步擴大的參考圖像加入差值圖像中構(gòu)成，依此類推。
[0176]在這種情況下，可以形成壓縮單元，以便可以像第一級的參考圖像、第二級的差值圖像和第三級的差值圖像那樣，相互獨立地管理參考圖像和差值圖像。進一步，可以間接利用第一級的參考圖像，以便將第二級的圖像用作第三級的參考圖像。由此，可以在可隨機訪問狀態(tài)下以及不增大數(shù)據(jù)尺寸地實現(xiàn)引入小型映像的圖像渲染技術(shù)。
[0177]標號列表
[0178]10圖像處理裝置；12顯示裝置；20輸入裝置；44顯示處理部分；50硬盤驅(qū)動器；60主存儲器；100控制部分；120貼片圖像序列生成部分；122參考圖像壓縮部分；124差值圖像生成部分；126差值圖像壓縮部分；128壓縮數(shù)據(jù)生成部分；130運動畫面數(shù)據(jù)存儲部分；132劃分模式存儲部分；134壓縮數(shù)據(jù)存儲部分；502輸入信息獲取部分；504信息處理部分；506裝載部分；508顯示圖像處理部分；510數(shù)據(jù)讀出部分；512解碼部分；514渲染部分
[0179]工業(yè)可應用性
[0180]如上所述，本發(fā)明可以用于像計算機、圖像處理裝置、圖像顯示裝置和游戲機那樣的信息處理裝置。
【權(quán)利要求】
1.一種運動畫面壓縮裝置，包含: 貼片圖像序列生成部分，配置成生成通過按圖像平面劃分構(gòu)成運動畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列； 參考圖像壓縮部分，配置成壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)； 差值圖像生成部分，配置成生成由差值圖像構(gòu)成的差值圖像序列，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像、與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對應的圖像之間的差值； 差值圖像壓縮部分，配置成以通過按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)；以及 壓縮數(shù)據(jù)生成部分，配置成以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運動畫面壓縮數(shù)據(jù)，并將該運動畫面壓縮數(shù)據(jù)輸出到存儲裝置。
2.按照權(quán)利要求1所述的運動畫面壓縮裝置， 其中該參考圖像壓縮部分以通過按圖像平面和時間軸劃分參考圖像獲得的數(shù)據(jù)塊為單位壓縮參考圖像； 當在壓縮處理中通過按預定放大率縮小一次然后放大包括在數(shù)據(jù)塊中的圖像獲得的圖像、與原始圖像之間的像素值的差值的總和等于或低于預定閾值時，該參考圖像壓縮部分和該差值圖像壓縮部分按相關放大率縮小包括在數(shù)據(jù)塊中的圖像；以及 該壓縮數(shù)據(jù)生成部分將使貼片圖像中的每個數(shù)據(jù)塊的位置和與該位置相對應的參考圖像和差值圖像的壓縮數(shù)據(jù)相互聯(lián)系的指針信息包括到運動畫面壓縮數(shù)據(jù)中。
3.按照權(quán)利要求2所述的運動畫面壓縮裝置， 其中當在壓縮處理中通過每預定個地對包括在數(shù)據(jù)塊中的圖像序列求平均獲得的圖像與原始圖像之間的像素值的差值的總和等于或低于預定閾值時，該參考圖像壓縮部分和該差值圖像壓縮部分用平均圖像取代原始圖像以減少圖像的數(shù)量。
4.按照權(quán)利要求1到3的任何一項所述的運動畫面壓縮裝置， 其中當構(gòu)成每個數(shù)據(jù)塊的像素值的絕對值等于或低于預定閾值時，該差值圖像壓縮部分確定該數(shù)據(jù)塊的所有像素值以便變成零；以及 該壓縮數(shù)據(jù)生成部分將數(shù)據(jù)塊和壓縮數(shù)據(jù)相互聯(lián)系，以便像素值是零的壓縮數(shù)據(jù)被運動畫面壓縮數(shù)據(jù)中的多個數(shù)據(jù)塊共享。
5.按照權(quán)利要求1到4的任何一項所述的運動畫面壓縮裝置， 其中該參考圖像壓縮部分為通過按圖像平面和時間軸劃分參考圖像獲得的參考圖像的數(shù)據(jù)塊的每預定個像素，生成保存像素值當中作為代表性值的兩個值的調(diào)色板、和取代像素值保存指定通過線性內(nèi)插代表性值確定的多個中間值和代表性值之一的信息的索引，以便量化像素值。
6.按照權(quán)利要求1到5的任何一項所述的運動畫面壓縮裝置， 其中該差值圖像壓縮部分為差值圖像的數(shù)據(jù)塊的每預定個像素生成保存將像素的像素值當中作為代表性值的四個值乘以1/N(N是自然數(shù))獲得的四個值的調(diào)色板、和取代像素值保存指定調(diào)色板保存的四個值之一的信息的索引，以便量化像素值。
7.按照權(quán)利要求6所述的運動畫面壓縮裝置， 其中該差值圖像壓縮部分通過調(diào)色板保存的四個值當中存儲在前半地址中的兩個值之間的幅度關系和存儲次序、和存儲在后半地址中的兩個值之間的幅度關系和存儲次序，表示代表要乘以調(diào)色板保存的值以便恢復代表性值的放大率N的標識號。
8.按照權(quán)利要求5到7的任何一項所述的運動畫面壓縮裝置， 其中該參考圖像壓縮部分和該差值圖像壓縮部分通過相應調(diào)色板的存儲在前半地址中的值和存儲在后半地址中的值之間的幅度關系，表示指定該索引與原始數(shù)據(jù)塊的像素的位置之間的對應關系的標識號。
9.按照權(quán)利要求5到8的任何一項所述的運動畫面壓縮裝置， 其中當該差值圖像生成部分在解碼參考圖像的壓縮數(shù)據(jù)的處理中放大圖像時，該差值圖像生成部分以等于或小于作為生成調(diào)色板和索引時的單位的由預定個像素構(gòu)成的圖像中的像素的陣列的單位進行內(nèi)插和外推以便生成新像素。
10.一種圖像處理裝置，包含: 信息處理部分，配置成相繼計算構(gòu)成運動畫面數(shù)據(jù)的幀序列當中要顯示的幀和該幀中要顯示的區(qū)域； 裝載部分，配置成根據(jù)該信息處理部分計算的信息，以貼片圖像為單位將運動畫面壓縮數(shù)據(jù)從存儲運動畫面壓縮數(shù)據(jù)的存儲裝置裝載到存儲器中，該運動畫面壓縮數(shù)據(jù)包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 顯示圖像處理部分，配置成從裝載在存儲器中的運動畫面壓縮數(shù)據(jù)當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區(qū)域的運動畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像；以及 顯示部分，配置成依次顯示渲染的圖像。
11.按照權(quán)利要求10所述的圖像處理裝置， 其中參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)是以通過按圖像平面和時間軸劃分壓縮數(shù)據(jù)獲得的數(shù)據(jù)塊為單位，以可變長度壓縮的數(shù)據(jù)；以及 該顯示圖像處理部分參考包括在運動畫面壓縮數(shù)據(jù)中、和將貼片圖像中的每個數(shù)據(jù)塊的位置和與該位置相對應的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)相互聯(lián)系的指針信息，以便指定與要顯示的區(qū)域相對應的數(shù)據(jù)塊的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)。
12.按照權(quán)利要求10或11所述的圖像處理裝置， 其中對于每預定個像素，差值圖像的壓縮數(shù)據(jù)由調(diào)色板和索引構(gòu)成，該調(diào)色板保存將像素的像素值當中作為代表性值的四個值乘以1/N(N是自然數(shù))獲得的四個值，以及該索引取代像素值保存指定調(diào)色板保存的四個值之一的信息；以及 該顯示圖像處理部分從調(diào)色板保存的四個值當中存儲在前半地址中的兩個值之間的幅度關系和存儲次序、以及存儲在后半地址中的兩個值之間的幅度關系和存儲次序中指定代表要乘以調(diào)色板保存的值的放大率N的標識號以便恢復代表性值。
13.按照權(quán)利要求12所述的圖像處理裝置， 其中該顯示圖像處理部分從相應調(diào)色板的存儲在前半地址中的值和存儲在后半地址中的值之間的幅度關系中指定差值圖像的壓縮數(shù)據(jù)中指定該索引與原始像素的位置之間的對應關系的標識號，并根據(jù)指定的標識號指定構(gòu)成要顯示的區(qū)域的像素的索引。
14.按照權(quán)利要求10到13的任何一項所述的圖像處理裝置， 其中參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)是每預定個像素地量化像素值獲得的數(shù)據(jù)；以及 當在解碼參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的處理中要放大圖像時，該顯示圖像處理部分以等于或小于作為進行量化時的單位的由預定個像素構(gòu)成的圖像中的像素的陣列的單位進行內(nèi)插和外推以便生成新像素。
15.—種運動畫面壓縮方法,包含: 由運動畫面壓縮裝置執(zhí)行: 生成通過按圖像平面劃分存儲在存儲裝置中和構(gòu)成運動畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的步驟； 壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的步驟； 生成由差值圖像構(gòu)成的差值圖像序列的步驟，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過解碼所生成參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對應的圖像之間的差值； 以通過按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的步驟；以及 以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運動畫面壓縮數(shù)據(jù)，并將該運動畫面壓縮數(shù)據(jù)輸出到存儲裝置的步驟。
16.—種圖像處理方法,包含: 由圖像處理裝置執(zhí)行: 相繼計算構(gòu)成運動畫面數(shù)據(jù)的幀序列當中要顯示的幀和該幀中要顯示的區(qū)域的步驟； 根據(jù)該計算步驟計算的信息，以貼片圖像為單位將運動畫面壓縮數(shù)據(jù)從存儲運動畫面壓縮數(shù)據(jù)的存儲裝置裝載到存儲器中的步驟，該運動畫面壓縮數(shù)據(jù)包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 從裝載在存儲器中的運動畫面壓縮數(shù)據(jù)當中讀出通過計算步驟計算和包括要顯示的幀當中要顯示的區(qū)域的運動畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的步驟；以及依次顯示渲染圖像的步驟。
17.一種使計算機實現(xiàn)如下功能的計算機程序: 生成通過按圖像平面劃分構(gòu)成運動畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的功能； 壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的功能； 生成由差值圖像構(gòu)成的差值圖像序列的功能，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對應的圖像之間的差值； 以通過按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的功能；以及 以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運動畫面壓縮數(shù)據(jù)，并將該運動畫面壓縮數(shù)據(jù)輸出到存儲裝置的功能。
18.一種使計算機實現(xiàn)如下功能的計算機程序: 相繼計算構(gòu)成運動畫面數(shù)據(jù)的幀序列當中要顯示的幀和該幀中要顯示的區(qū)域的功倉泛; 根據(jù)該信息處理部分計算的信息，以貼片圖像為單位將運動畫面壓縮數(shù)據(jù)從存儲運動畫面壓縮數(shù)據(jù)的存儲裝置裝載到存儲器中的功能，該運動畫面壓縮數(shù)據(jù)包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 從裝載在存儲器中的運動畫面壓縮數(shù)據(jù)當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區(qū)域的運動畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的功能；以及依次顯示渲染的圖像的功能。
19.一種記錄計算機程序的記錄介質(zhì),該計算機程序使計算機實現(xiàn)如下功能: 生成通過按圖像平面劃分構(gòu)成運動畫面數(shù)據(jù)的幀序列構(gòu)成的貼片圖像序列的功能； 壓縮該貼片圖像序列以生成參考圖像的壓縮數(shù)據(jù)的功能； 生成由差值圖像構(gòu)成的差值圖像序列的功能，該差值圖像代表構(gòu)成貼片圖像序列的貼片圖像與通過解碼該參考圖像壓縮部分生成的參考圖像的壓縮數(shù)據(jù)獲得和與貼片圖像相對應的圖像之間的差值； 以通過按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮差值圖像序列，以便生成差值圖像的壓縮數(shù)據(jù)的功能；以及 以預定個幀的貼片圖像為單位生成包括參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)的運動畫面壓縮數(shù)據(jù)，并將該運動畫面壓縮數(shù)據(jù)輸出到存儲裝置的功能。
20.一種記錄計算機程序的記錄介質(zhì),該計算機程序使計算機實現(xiàn)如下功能: 相繼計算構(gòu)成運動畫面數(shù)據(jù)的幀序列當中要顯示的幀和該幀中要顯示的區(qū)域的功倉泛; 根據(jù)該信息處理部分計算的信息，以貼片圖像為單位將運動畫面壓縮數(shù)據(jù)從存儲運動畫面壓縮數(shù)據(jù)的存儲裝置裝載到存儲器中的功能，該運動畫面壓縮數(shù)據(jù)包括通過壓縮按圖像平面劃分幀序列獲得的貼片圖像序列獲得的參考圖像的壓縮數(shù)據(jù)、和代表解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值的差值圖像的壓縮數(shù)據(jù)； 從裝載在存儲器中的運動畫面壓縮數(shù)據(jù)當中讀出由該信息處理部分計算和包括要顯示的幀當中要顯示的區(qū)域的運動畫面壓縮數(shù)據(jù)，并解碼和相加參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便依次渲染要顯示的區(qū)域的圖像的功能；以及依次顯示渲染的圖像的功能。
21.—種運動畫面壓縮文件的數(shù)據(jù)結(jié)構(gòu)，其中以預定個幀的貼片圖像為單位相互聯(lián)系通過以按圖像平面和時間軸劃分貼片圖像序列獲得的數(shù)據(jù)塊為單位壓縮貼片圖像獲得的參考圖像的壓縮數(shù)據(jù)、和通過以按圖像平面和時間軸劃分差值圖像序列獲得的數(shù)據(jù)塊為單位壓縮由差值圖像構(gòu)成的差值圖像序列獲得的差值圖像的壓縮數(shù)據(jù)，該貼片圖像構(gòu)成通過按圖像平面劃分構(gòu)成運動畫面數(shù)據(jù)的幀序列獲得的貼片圖像序列，該差值圖像代表通過解碼參考圖像的壓縮數(shù)據(jù)獲得的圖像與相應貼片圖像之間的差值；以及 在圖像處理裝置中，解碼和相加根據(jù)要顯示的幀和該幀中要顯示的區(qū)域的信息以貼片圖像為單位裝載和與要顯示的幀當中要顯示的區(qū)域相對應的數(shù)據(jù)塊的參考圖像的壓縮數(shù)據(jù)和差值圖像的壓縮數(shù)據(jù)，以便用于依次渲染要顯示的區(qū)域的圖像。
22.一種記錄具有按照權(quán)利要求21所述的數(shù)據(jù)結(jié)構(gòu)的運動畫面壓縮文件的記錄介質(zhì)。
【文檔編號】H04N19/124GK104137548SQ201280070242
【公開日】2014年11月5日 申請日期:2012年10月24日 優(yōu)先權(quán)日:2011年12月27日
【發(fā)明者】稻田徹悟, 大場章男, 勢川博之 申請人:索尼電腦娛樂公司