專利名稱：圖像處理裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、方法和程序，并且更具體地涉及可以提高編碼效率的圖像處理裝置、方法和程序。
背景技術(shù)：
近來(lái)，可以響應(yīng)于所謂的3D (三維)的立體可視圖像(下文中被稱為3D圖像)日益普遍。例如，利用立體可視的3D圖像的電影的制作非?；钴S。3D圖像與只能提供平面視角的傳統(tǒng)的所謂2D (二維)圖像有很大區(qū)別。因此，將這種3D圖像用于電影制作是非常有用的。此外，利用3D圖像的視頻內(nèi)容(例如電影等)根據(jù)MVC (多視角視頻編碼)標(biāo)準(zhǔn)被進(jìn)行高效壓縮，然后被記錄在例如藍(lán)光光盤(pán)等中或者通過(guò)網(wǎng)絡(luò)被分發(fā)，所述MVC標(biāo)準(zhǔn)是類似2D圖像的視頻內(nèi)容的MPEG-4AVC的擴(kuò)展格式。此外，可以響應(yīng)于3D圖像再現(xiàn)的家用設(shè)備的開(kāi)發(fā)已經(jīng)開(kāi)始。就是說(shuō)，即使在家里也可以享受3D圖像的環(huán)境已經(jīng)正在被建立。當(dāng)前最普遍的立體視圖是利用人眼的雙目視差的立體圖像。這種系統(tǒng)具有如下機(jī)制，其中用戶在分別看針對(duì)左眼的視頻內(nèi)容和針對(duì)右眼的視頻內(nèi)容的同時(shí)感覺(jué)到視差，從而立體地感知圖像內(nèi)的物體。然而，關(guān)于利用雙目視差的立體視圖，視差的量通常提前被設(shè)置以實(shí)現(xiàn)從任意方向看的立體視圖。為了實(shí)現(xiàn)從任意方向看的立體視圖，在圖像內(nèi)的每個(gè)物體的深度方向上的數(shù)據(jù)信息(Depth_Map )需要從圖像數(shù)據(jù)中被提取。利用處理或分析圖像數(shù)據(jù)的技術(shù)自動(dòng)提取粗糙深度信息的研究在積極的進(jìn)行中(例如，非專利文獻(xiàn)I和2)。不僅從雙眼而且從多個(gè)自由視角看的立體圖像已能夠利用這樣的技術(shù)或者利用提取用多個(gè)照相機(jī)拍攝的圖像內(nèi)的物體的深度信息的技術(shù)被生成，后一種技術(shù)被認(rèn)為相對(duì)簡(jiǎn)單。引用文獻(xiàn)列表非專利文獻(xiàn)非專利文獻(xiàn) I ,Fast Approximate Energy Minimization via Graph Cuts^IEEETransactions on Pattern Analysis and Machine Intelligence, vol. 23，No. 11，2001 年11月，非專利文獻(xiàn)2:"Stereo Matching Using Belief Propagation^IEEETransactions on Pattern Analysis and Machine Intelligence, vol. 25，No. 7，2003年7月。

發(fā)明內(nèi)容
本發(fā)明要解決的問(wèn)題然而，雖然由雙眼立體圖像所生成的原始數(shù)據(jù)量是有限的，但是問(wèn)題是多眼(三個(gè)或更多個(gè))的圖像數(shù)據(jù)及其深度數(shù)據(jù)的總和會(huì)形成巨大的數(shù)據(jù)量。當(dāng)數(shù)據(jù)量增加時(shí)，用于諸如傳輸、記錄或再現(xiàn)之類的處理的負(fù)荷和時(shí)間也可能增加。本發(fā)明被提供用于解決這樣的問(wèn)題，并且意圖對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼以更高效地提供立體視覺(jué)效果。問(wèn)題的解決方案本發(fā)明的一個(gè)方面是一種圖像處理裝置，包括編碼單元，所述編碼單元根據(jù)預(yù)定的編碼系統(tǒng)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及速率控制單元，所述速率控制單元利用所述編碼單元對(duì)所述圖像數(shù)據(jù)的編碼結(jié)果以及所述編碼單元對(duì)所述深度數(shù)據(jù)的編碼結(jié)果，執(zhí)行對(duì)在利用所述編碼單元對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制以及對(duì)利用所述編碼單元對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制。圖像處理裝置還可以包括檢測(cè)單元，所述檢測(cè)單元檢測(cè)所述圖像數(shù)據(jù)的位深度；以及偏移改變單元，所述偏移改變單元將所述深度數(shù)據(jù)進(jìn)行如下偏移量的偏移改變，所述 偏移量對(duì)應(yīng)于所述檢測(cè)單元所檢測(cè)到的所述圖像數(shù)據(jù)的位深度與所述深度數(shù)據(jù)的位深度之間的差異。偏移改變單元可將所述深度數(shù)據(jù)上移所述差異的量并執(zhí)行零填充，所述零填充將比被上移的所述深度數(shù)據(jù)更低位置的位中填充值為“0”的系數(shù)。偏移改變單元可從所述深度數(shù)據(jù)的最低位中刪除與所述差異的量相對(duì)應(yīng)的數(shù)據(jù)，并將未被刪除的所述深度數(shù)據(jù)的較高位下移所述差異的量。圖像處理裝置還可以包括復(fù)用單元，所述復(fù)用單元將所述圖像數(shù)據(jù)的編碼后數(shù)據(jù)與指示所述偏移改變單元執(zhí)行的所述偏移改變的偏移量的偏移改變信息進(jìn)行復(fù)用。編碼單元可以包括正交變換單元,所述正交變換單元針對(duì)具有預(yù)定大小的每個(gè)宏塊對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)執(zhí)行正交變換；以及熵編碼單元，所述熵編碼單元對(duì)通過(guò)所述正交變換單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)的正交變換得到的系數(shù)數(shù)據(jù)執(zhí)行熵編碼。編碼單元可以包括小波變換單元，所述小波變換單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)執(zhí)行小波變換；劃分單元，所述劃分單元以具有預(yù)定大小的碼塊為單位劃分通過(guò)所述小波變換單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)的小波變換得到的系數(shù)數(shù)據(jù)；展開(kāi)單元，所述展開(kāi)單元在位平面中展開(kāi)通過(guò)所述劃分單元的劃分得到的每個(gè)碼塊的系數(shù)數(shù)據(jù)；以及熵編碼單元，所述熵編碼單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)的所述系數(shù)數(shù)據(jù)的位平面執(zhí)行熵編碼，所述位平面由所述展開(kāi)單元展開(kāi)并按照重要性的順序被重排。編碼單元還可以包括偏移改變單元，所述偏移改變單元將所述深度數(shù)據(jù)進(jìn)行如下偏移量的偏移改變，所述偏移量與所述圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度與通過(guò)所述小波變換單元執(zhí)行的小波變換得到的所述深度數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度之間的差異相對(duì)應(yīng)。圖像處理裝置還可以包括復(fù)用單元，所述復(fù)用單元將所述圖像數(shù)據(jù)的編碼后數(shù)據(jù)與指示所述偏移改變單元執(zhí)行的所述偏移改變的偏移量的偏移改變信息進(jìn)行復(fù)用。圖像數(shù)據(jù)可以是包括亮度Y、色差Cb和色差Cr的組分圖像數(shù)據(jù)，并且深度數(shù)據(jù)是灰度級(jí)的位圖數(shù)據(jù)。本發(fā)明的一個(gè)方面是用于圖像處理裝置的圖像處理方法，所述方法包括所述圖像處理裝置的編碼單元根據(jù)預(yù)定的編碼系統(tǒng)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及所述圖像處理裝置的速率控制單元利用所述圖像數(shù)據(jù)的編碼結(jié)果以及所述深度數(shù)據(jù)的編碼結(jié)果，執(zhí)行對(duì)在對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制以及對(duì)在對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制。本發(fā)明的一個(gè)方面是一種程序，該程序使得計(jì)算機(jī)用作編碼單元，所述編碼單元根據(jù)預(yù)定的編碼系統(tǒng)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及速率控制單元，所述速率控制單元利用所述編碼單元對(duì)所述圖像數(shù)據(jù)的編碼結(jié)果以及所述編碼單元對(duì)所述深度數(shù)據(jù)的編碼結(jié)果，執(zhí)行對(duì)在利用所述編碼單元對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制以及對(duì)利用所述編碼單元對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制。本發(fā)明的一個(gè)方面是一種圖像處理裝置，包括分離單元，所述分離單元從復(fù)用數(shù)據(jù)中分離出偏移改變信息，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)被得到通過(guò)對(duì)圖像數(shù)據(jù)編碼 得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息；解碼單元，所述解碼單元根據(jù)預(yù)定的解碼系統(tǒng)對(duì)所述編碼后數(shù)據(jù)進(jìn)行解碼；以及偏移改變單元，所述偏移改變單元將在被所述解碼單元解碼之后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與所述偏移改變的方向相反的方向上偏移改變由所述分離單元分離出的所述偏移改變信息指示的偏移量。偏移改變單元可從所述深度數(shù)據(jù)的最低位中刪除與所述偏移量相對(duì)應(yīng)的數(shù)據(jù)，并將未被刪除的所述深度數(shù)據(jù)的較高位下移所述偏移量。偏移改變單元可將所述深度數(shù)據(jù)上移所述偏移量并執(zhí)行零填充，所述零填充將值為“0”的系數(shù)插入作為比被上移的所述深度數(shù)據(jù)更低位置的位。解碼單元可以包括熵解碼單元，所述熵解碼單元對(duì)通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行編碼得到的編碼后數(shù)據(jù)和通過(guò)對(duì)深度數(shù)據(jù)進(jìn)行偏移改變并對(duì)經(jīng)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)執(zhí)行熵解碼；以及逆正交變換單元，所述逆正交變換單元對(duì)通過(guò)對(duì)所述圖像數(shù)據(jù)的正交變換得到的系數(shù)數(shù)據(jù)和通過(guò)對(duì)所述深度數(shù)據(jù)的正交變換得到的系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，所述系數(shù)數(shù)據(jù)通過(guò)所述熵解碼單元的熵解碼而被得到。解碼單元可以包括熵解碼單元，所述熵解碼單元對(duì)通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行編碼得到的編碼后數(shù)據(jù)和通過(guò)對(duì)深度數(shù)據(jù)進(jìn)行偏移改變并對(duì)經(jīng)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)執(zhí)行熵解碼；位平面合成單元，所述位平面合成單元合成所述系數(shù)數(shù)據(jù)的位平面，所述系數(shù)數(shù)據(jù)是通過(guò)所述熵解碼單元執(zhí)行的熵解碼得到的并且是在所述位平面中被展開(kāi)的；碼塊合成單元，所述碼塊合成單元針對(duì)具有預(yù)定大小的每個(gè)碼塊合成所述系數(shù)數(shù)據(jù)，所述系數(shù)數(shù)據(jù)是通過(guò)所述位平面合成單元的合成得到的；以及小波逆變換單元，所述小波逆變換單元針對(duì)通過(guò)所述碼塊合成單元的合成得到的每個(gè)子頻帶對(duì)所述系數(shù)數(shù)據(jù)執(zhí)行小波逆變換，并得到所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)。
本發(fā)明的另一方面是一種用于圖像處理裝置的圖像處理方法，所述方法包括利用所述圖像處理裝置的分離單元從復(fù)用數(shù)據(jù)中分離出偏移改變信息，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)被得到通過(guò)對(duì)圖像數(shù)據(jù)編碼得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息；利用所述圖像處理裝置的解碼單元根據(jù)預(yù)定的解碼系統(tǒng)對(duì)所述編碼后數(shù)據(jù)進(jìn)行解碼；以及利用所述圖像處理裝置的偏移改變單元將在被所述解碼單元解碼之后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與所述偏移改變的方向相反的方向上偏移改變由所述分離單元分離出的所述偏移改變信息指示的偏移量。本發(fā)明的另一方面是一種程序，使得計(jì)算機(jī)用作分離單元，所述分離單元從復(fù)用數(shù)據(jù)中分離出偏移改變信息，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)被得到通過(guò)對(duì)圖像數(shù)據(jù)編碼得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的 深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息；解碼單元，所述解碼單元根據(jù)預(yù)定的解碼系統(tǒng)對(duì)所述編碼后數(shù)據(jù)進(jìn)行解碼；以及偏移改變單元，所述偏移改變單元將在被所述解碼單元解碼之后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與所述偏移改變的方向相反的方向上偏移改變由所述分離單元分離出的所述偏移改變信息指示的偏移量。根據(jù)本發(fā)明的一個(gè)方面，圖像數(shù)據(jù)和深度數(shù)據(jù)根據(jù)預(yù)定的編碼系統(tǒng)被編碼，所述深度數(shù)據(jù)所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像。在這個(gè)方面中，速率控制被執(zhí)行以利用圖像數(shù)據(jù)的編碼結(jié)果以及深度數(shù)據(jù)的編碼結(jié)果，控制在對(duì)圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率以及在對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率。根據(jù)另一方面，偏移改變信息從復(fù)用數(shù)據(jù)中被分離出，編碼后數(shù)據(jù)根據(jù)預(yù)定的解碼系統(tǒng)被解碼，在解碼后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與偏移改變的方向相反的方向上被偏移改變由從編碼后數(shù)據(jù)中分離出的偏移改變信息指示的偏移量，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)而得到通過(guò)對(duì)圖像數(shù)據(jù)編碼得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息。本發(fā)明的效果根據(jù)本發(fā)明，數(shù)據(jù)傳送可以被執(zhí)行。具體而言，數(shù)據(jù)可以被傳送以在抑制不必要的延遲的增大的同時(shí)抑制向后續(xù)數(shù)據(jù)的錯(cuò)誤傳播。


圖I圖示了本發(fā)明被應(yīng)用于的圖像編碼裝置的主要配置的示例的框圖。圖2是圖示了 3D圖像的配置的示例的框圖。圖3是描述上移(shift-up)操作的示例的圖。
圖4是圖示了本發(fā)明被應(yīng)用于的圖像解碼裝置的主要配置的示例的框圖。圖5是描述下移(shift-down)操作的示例的圖。圖6是描述圖像編碼過(guò)程的流程的示例的流程圖。圖7是描述圖像解碼過(guò)程的流程的示例的流程圖。圖8是描述圖I的編碼單元的主要配置的示例的框圖。圖9是圖示了宏塊的示例的圖。圖10是描述圖4的解碼單元的主要配置的示例的框圖。
圖11是描述編碼過(guò)程的流程的示例的流程圖。圖12是描述解碼過(guò)程的流程的示例的流程圖。圖13是圖示了圖I的編碼單元的配置的另一示例的框圖。圖14是圖示了子頻帶的配置的示例的圖。圖15是圖示了子頻帶的配置的示例的圖。圖16是圖示了每個(gè)子頻帶內(nèi)的碼塊的示例的圖。圖17是描述位平面(bit plane)的示例的圖。圖18是描述編碼通道的示例的圖。圖19是描述掃描系數(shù)的示例的圖。圖20是描述分組的配置的示例的圖。圖21是描述位平面展開(kāi)(bit-plane development)的形態(tài)的圖。圖22是圖示了圖4的解碼單元的配置的另一示例的框圖。圖23是描述編碼過(guò)程的流程的另一示例的流程圖。圖24是描述熵編碼過(guò)程的流程的示例的流程圖。圖25是描述解碼過(guò)程的流程的示例的流程圖。圖26是圖示了子頻帶的選擇順序的圖。圖27是描述對(duì)子頻帶進(jìn)行加權(quán)的示例的圖。圖28是圖示了本發(fā)明被應(yīng)用于的圖像編碼裝置的配置的另一示例的框圖。圖29是描述圖28的編碼單元的主要配置的示例的框圖。圖30是描述上移操作的示例的圖。圖31是圖示了本發(fā)明被應(yīng)用于的圖像解碼裝置的配置的另一示例的框圖。圖32是描述圖31的解碼單元的主要配置的示例的框圖。圖33是描述下移操作的示例的圖。圖34是描述編碼過(guò)程的流程的另一示例的流程圖。圖35是描述解碼過(guò)程的流程的另一示例的流程圖。圖36是圖示了本發(fā)明被應(yīng)用于的圖像編碼裝置的配置的另一示例的框圖。圖37是圖示了本發(fā)明被應(yīng)用于的圖像解碼裝置的配置的另一示例的框圖。圖38是圖示了本發(fā)明被應(yīng)用于的個(gè)人計(jì)算機(jī)的主要配置的示例的框圖。
具體實(shí)施例方式下文中，按以下順序描述實(shí)施本發(fā)明的方式(下文中被稱為實(shí)施例)。I.第一實(shí)施例(圖像編碼裝置和圖像解碼裝置)
2.第二實(shí)施例(圖像編碼裝置和圖像解碼裝置)3.第三實(shí)施例(圖像編碼裝置和圖像解碼裝置)4.第四實(shí)施例(個(gè)人計(jì)算機(jī))〈I.第一實(shí)施例〉[圖像編碼裝置的配置]圖I是圖示了本發(fā)明被應(yīng)用于的圖像編碼裝置的主要配置的示例的框圖。圖I中所示的圖像編碼裝置100是根據(jù)預(yù)定的編碼系統(tǒng)對(duì)平面圖像的圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼的裝置，所述深度數(shù)據(jù)指示平面圖像的全部像素在該平面圖像的深度方向(該平面圖像的前后方向)上的位置。
平面圖像可以利用深度數(shù)據(jù)被轉(zhuǎn)換為與所謂的具有視差的3D (維度(三維))相對(duì)應(yīng)的圖像(下文中被稱為3D圖像)。由于平面圖像中的所有部分在深度方向上的位置都用深度數(shù)據(jù)來(lái)表示，從平面圖像生成3D圖像的3D圖像生成裝置可以很容易地生成這樣的3D圖像，該3D圖像只要在平面圖像被觀看的范圍內(nèi)被觀看，就可以從任意方向被立體地觀看。如圖I中所示，圖像編碼裝置100包括位深度檢測(cè)單元111、位偏移(bit shift)改變單元112、編碼單元113-1到113-4、速率控制單元114和復(fù)用單元115。圖像數(shù)據(jù)按照包括三個(gè)組分的組分圖像數(shù)據(jù)的形式被提供給圖像編碼裝置100，所述三個(gè)組分是亮度數(shù)據(jù)Y (箭頭121-1)、色差數(shù)據(jù)Cb (箭頭121-2)和色差數(shù)據(jù)Cr (箭頭121-3)。位深度檢測(cè)單元111檢測(cè)亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr中的每一個(gè)的位深度。每個(gè)任意數(shù)據(jù)單元的位深度都可以被檢測(cè)。位深度檢測(cè)單元111將檢測(cè)到的亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr提供給編碼單元113-1到113-3。此外，位深度檢測(cè)單元111將檢測(cè)結(jié)果提供給位偏移改變單元112 (箭頭123)。此外，深度數(shù)據(jù)D被提供給圖像編碼裝置100(箭頭124)。位偏移改變單元112對(duì)深度數(shù)據(jù)D的位進(jìn)行偏移改變，以使得深度數(shù)據(jù)D的位深度與組分圖像數(shù)據(jù)的位深度相匹配。例如，當(dāng)位深度檢測(cè)單元111所檢測(cè)到的組分圖像數(shù)據(jù)的位深度為M位時(shí)，并且當(dāng)深度數(shù)據(jù)D的位深度為N位(M>N)時(shí)，位偏移改變單元112將深度數(shù)據(jù)D上移(M-N)位。此時(shí)，位偏移改變單元112例如將值為“0”的位插入到深度數(shù)據(jù)D的低(M-N)位中。此外，在以下的描述中，偏移改變可以包括零位的偏移改變(即不移位的操作)以及沿增加位的方向的上移和沿刪除位的方法的下移。當(dāng)偏移改變被執(zhí)行時(shí)，位偏移改變單元112將經(jīng)偏移改變后的深度數(shù)據(jù)D’提供給編碼單元113-4 (箭頭125)。編碼單元113-1根據(jù)預(yù)定方法對(duì)亮度數(shù)據(jù)Y進(jìn)行編碼，并將所生成的編碼后的數(shù)據(jù)提供給速率控制單元114 (箭頭126-1)。類似地，編碼單元113-2根據(jù)預(yù)定方法對(duì)色差數(shù)據(jù)Cb進(jìn)行編碼，并將所生成的編碼后的數(shù)據(jù)提供給速率控制單元114 (箭頭126-2)。類似地，編碼單元113-3根據(jù)預(yù)定方法對(duì)色差數(shù)據(jù)Cr進(jìn)行編碼，并將所生成的編碼后的數(shù)據(jù)提供給速率控制單元114 (箭頭126-3)。此外，編碼單元113-4根據(jù)預(yù)定方法對(duì)深度數(shù)據(jù)D’進(jìn)行編碼，并將所生成的編碼后的數(shù)據(jù)提供給速率控制單元114 (箭頭126-4)。編碼單元113-1到113-4所執(zhí)行的編碼過(guò)程的方法是任意的。速率控制單元114基于亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)以及深度數(shù)據(jù)D’的編碼后數(shù)據(jù)的數(shù)據(jù)量中的每個(gè)數(shù)據(jù)量分別針對(duì)每個(gè)編碼過(guò)程執(zhí)行速率控制。速率控制單元114將用于控制亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)的速率的速率控制信息提供給編碼單元113-1 (箭頭128-1)。類似地，速率控制單元114將用于控制色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)的速率的速率控制信息提供給編碼單元113-2 (箭頭128-2)。類似地，速率控制單元114將用于控制色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)的速率的速率控制信息提供給編碼單元113-3 (箭頭128-3)。此外，速率控制單元114將用于控制深度數(shù)據(jù)D’的編碼后數(shù)據(jù)的速率的速率控制信息提供給編碼單元113-4 (箭頭128-4)。編碼單元113-1到113-4分別參考來(lái)自速率控制單元114的速率控制信息執(zhí)行對(duì)編碼過(guò)程的速率控制。此外，速率控制單元114將已被用于速率控制的亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)提供給復(fù)用單元115(箭頭127-1)。類似地，速率控制單元114將已被用于速率控制的色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)提供給復(fù)用單元115(箭頭127-2)。此外，速率控制單元114將已被用于速率 控制的色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)提供給復(fù)用單元115 (箭頭127-3)。此外，速率控制單元114將已被用于速率控制的深度數(shù)據(jù)D’的編碼后數(shù)據(jù)提供給復(fù)用單元115 (箭頭127-4)。另外，位偏移改變單元112將指示深度數(shù)據(jù)的偏移量的位偏移改變信息提供給復(fù)用單元115 (箭頭129)。復(fù)用單元115將來(lái)自速率控制單元114的每個(gè)編碼后數(shù)據(jù)與來(lái)自位偏移改變單元112的位偏移改變信息進(jìn)行復(fù)用，并將結(jié)果作為一個(gè)碼流(復(fù)用數(shù)據(jù))輸出到輸出到圖像編碼裝置100的外部(箭頭130)。此外，復(fù)用方法可以是任意方法，只要其允許每個(gè)數(shù)據(jù)被下面將描述的圖像解碼裝置正確地分開(kāi)。從圖像編碼裝置100輸出的復(fù)用數(shù)據(jù)被記錄在記錄介質(zhì)中并且例如通過(guò)網(wǎng)絡(luò)被傳送。此外，在上文中，雖然針對(duì)其中亮度數(shù)據(jù)Y被編碼單元113-1編碼、色差數(shù)據(jù)Cb被編碼單元113-2編碼、色差數(shù)據(jù)Cr被編碼單元113-3編碼并且深度數(shù)據(jù)D’被編碼單元113-4編碼的實(shí)例進(jìn)行了描述，但是情況不限于此，編碼單元113-1到113-4可以被配置為一個(gè)編碼單元113。換言之，亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’可以用一個(gè)編碼單元113來(lái)編碼。在這種情況下，編碼單元113可以分時(shí)段地對(duì)每個(gè)數(shù)據(jù)進(jìn)行編碼，或者可以一起對(duì)每個(gè)數(shù)據(jù)進(jìn)行編碼。[3D圖像的配置]圖2是圖示了 3D圖像配置的示例的框圖。圖2(A)中所示的圖像數(shù)據(jù)141是例如包括YCbCr的組分圖像數(shù)據(jù)，并且如上所述作為三個(gè)系統(tǒng)被提供給圖像編碼裝置100。圖2(B)中所示的深度數(shù)據(jù)142是圖像數(shù)據(jù)141的深度數(shù)據(jù)。如圖2B中所示，深度數(shù)據(jù)142是以針對(duì)每個(gè)預(yù)定區(qū)域(例如針對(duì)每個(gè)像素或者針對(duì)每個(gè)塊)的預(yù)定位數(shù)的形式指示在圖像數(shù)據(jù)141的整個(gè)范圍上沿深度方向的位置的信息。因此，深度數(shù)據(jù)142可以總地被表示為灰度級(jí)的位圖(bitmap)數(shù)據(jù)。位圖數(shù)據(jù)的級(jí)數(shù)成為深度數(shù)據(jù)142的位深度。深度數(shù)據(jù)142被假設(shè)為實(shí)質(zhì)上被附著于圖像數(shù)據(jù)141的，所述圖像數(shù)據(jù)141被輸入到圖像編碼裝置100。
[上移的示例]圖3是描述作為位偏移改變單元112所執(zhí)行過(guò)程的示例的上移操作的示例的圖。如圖3中所示，亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr的位深度分別為M位，且深度數(shù)據(jù)D的位深度為N位。此外，假設(shè)M>N。位偏移改變單元112通過(guò)對(duì)深度數(shù)據(jù)D進(jìn)行偏移改變來(lái)將每個(gè)數(shù)據(jù)的最高有效位的位置(位深度)對(duì)齊。即，位偏移改變單元112將整個(gè)深度數(shù)據(jù)上移(M-N)位(深度數(shù)據(jù)D’)。此時(shí)，位偏移改變單元112將值全為“0”的(M-N)位的位串作為深度數(shù)據(jù)D’的較低位插入到比深度數(shù)據(jù)D低的位位置處(零值填充)。就是說(shuō)，在深度數(shù)據(jù)D’的配置中，全部的低(M-N)位具有值“0”，而高N位被配置為深度數(shù)據(jù)D。深度數(shù)據(jù)D’是位深度為M位的數(shù)據(jù)。此外，對(duì)于M=N的情況，位偏移改變單元112輸出深度數(shù)據(jù)D，而不執(zhí)行偏移改變。 即，在這種情況下，變?yōu)樯疃葦?shù)據(jù)D’ =深度數(shù)據(jù)D。此外，對(duì)于M〈N，位偏移改變單元112下移深度數(shù)據(jù)D。即，在這種情況下，深度數(shù)據(jù)D的位深度變淺。位偏移改變單元112例如刪除深度數(shù)據(jù)D的較低位置的(N-M)位，并將余下的在較高位置的M位下移。當(dāng)然，位偏移改變單元112可以上移圖像數(shù)據(jù)。然而，深度數(shù)據(jù)的變化所引起的視覺(jué)影響比圖像數(shù)據(jù)的變化所引起的視覺(jué)影響更小。此外，有很多深度數(shù)據(jù)為低精度的情況。另外，當(dāng)圖像數(shù)據(jù)被上移時(shí)，以下的情況可能要被考慮圖像不能在處理的較后面的階段中被處理?；蛘呒词箍梢赃M(jìn)行圖像處理，在較后面的階段中的工作量也會(huì)增大。因此，對(duì)于M〈N，位偏移改變單元112將沒(méi)有圖像數(shù)據(jù)重要的深度數(shù)據(jù)D下移。實(shí)際上，由于這個(gè)原因，深度數(shù)據(jù)D的位深度和分辨率一般比圖像數(shù)據(jù)的位深度和分辨率要低。[圖像解碼裝置的配置]圖4是圖示了本發(fā)明被應(yīng)用于的圖像解碼裝置的主要配置的示例的框圖。圖4中所示的圖像解碼裝置150是利用與在圖像編碼裝置100中所采用的編碼系統(tǒng)相對(duì)應(yīng)的預(yù)定的解碼系統(tǒng)對(duì)由圖I中所示的圖像編碼裝置100編碼的編碼后數(shù)據(jù)進(jìn)行解碼的裝置。圖像解碼裝置150獲取從圖I中所示的圖像編碼裝置100輸出的復(fù)用數(shù)據(jù)(碼流)(箭頭161)。復(fù)用數(shù)據(jù)的傳送路徑可以是任意的，并且可以例如經(jīng)由記錄介質(zhì)、網(wǎng)絡(luò)或其它設(shè)備從圖像編碼裝置100被傳送到圖像解碼裝置150。此外，例如，圖像編碼裝置100和圖像解碼裝置150被集成為一個(gè)裝置，并經(jīng)由內(nèi)部總線彼此連接。在這種配置中，復(fù)用數(shù)據(jù)可以通過(guò)內(nèi)部總線從圖像編碼裝置100被傳送到圖像解碼裝置150。此外，復(fù)用數(shù)據(jù)可以通過(guò)無(wú)線通信從圖像編碼裝置100被傳送到圖像解碼裝置150。如圖4中所示，圖像解碼裝置150可以包括分離單元151、解碼單元152-1到152-4以及位偏移改變單元153。分離單元151將所獲取的復(fù)用數(shù)據(jù)分成亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)、深度數(shù)據(jù)D’的編碼后數(shù)據(jù)和位偏移改變信息。分離單元151將亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)提供給解碼單元152-1 (箭頭162-1)，將色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)提供給解碼單元152-2 (箭頭162-2)，將色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)提供給解碼單元152-3 (箭頭162-3)，并且將深度數(shù)據(jù)D’的編碼后數(shù)據(jù)提供給解碼單元 152-4 (箭頭 162-4)。解碼單元152-1對(duì)亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)解碼，并將所得到的亮度數(shù)據(jù)Y輸出到圖像解碼裝置150的外部(箭頭163-1)。解碼單元152-2對(duì)色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)解碼，并將所得到的色差數(shù)據(jù)Cb輸出到圖像解碼裝置150的外部(箭頭163-2)。解碼單元152-3對(duì)色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)解碼，并將所得到的色差數(shù)據(jù)Cr輸出到圖像解碼裝置150的外部(箭頭163-3)。解碼單元152-4對(duì)深度數(shù)據(jù)D’的編碼后數(shù)據(jù)解碼，并將所得到的深度數(shù)據(jù)D’提供給位偏移改變單元153 (箭頭163-4)。此外，分離單元151將位偏移改變信息提供給位偏移改變單元153 (箭頭164)。位偏移改變單元153將來(lái)自解碼單元152-4的深度數(shù)據(jù)在與圖像編碼裝置100中所執(zhí)行的偏移方向相反的方向上偏移與位偏移改變信息所指示的位數(shù)相對(duì)應(yīng)的量。即，位偏移改變單元153對(duì)深度數(shù)據(jù)D’執(zhí)行由位偏移改變信息所指示的偏移量的位偏移改變，并生成深度數(shù)據(jù)D。 例如，當(dāng)深度數(shù)據(jù)D在圖像編碼裝置100中被上移了(M-N)位時(shí)，位偏移改變單元153將深度數(shù)據(jù)D’下移(M-N)位，生成深度數(shù)據(jù)D。位偏移改變單元153將所生成的深度數(shù)據(jù)D輸出到圖像解碼裝置150的外部(箭頭 165)。從圖像解碼裝置150輸出的圖像數(shù)據(jù)和深度數(shù)據(jù)例如被提供給其它設(shè)備以便被處理。例如，這些數(shù)據(jù)在圖像處理裝置等中被轉(zhuǎn)換成3D圖像，或者在圖像編輯設(shè)備等中被編輯。以上描述是針對(duì)亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)被解碼單元152-1解碼、色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)被解碼單元152-2解碼、色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)被解碼單元152-3解碼且深度數(shù)據(jù)D’的編碼后數(shù)據(jù)被解碼單元152-4解碼的情況進(jìn)行的。但是情況不限于此，解碼單元152可以被用來(lái)代替解碼單元152-1到152-4。換言之，亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)和深度數(shù)據(jù)D’的編碼后數(shù)據(jù)可以被一個(gè)解碼單元152解碼。在這種情況下，解碼單元152可以分時(shí)段地對(duì)每個(gè)編碼后數(shù)據(jù)進(jìn)行解碼，或者可以一起對(duì)每個(gè)編碼后數(shù)據(jù)進(jìn)行解碼。[下移的示例]圖5是描述作為位偏移改變單元153所執(zhí)行過(guò)程的示例的下移操作的示例的圖。如圖5中所示，亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr的位深度分別為M位，且深度數(shù)據(jù)D的位深度為N位。此外，假設(shè)M>N。另外，深度數(shù)據(jù)D被假設(shè)為在圖像編碼裝置100 (位偏移改變單元112)中被上移到M位(深度數(shù)據(jù)D’)。 位偏移改變單元153基于位偏移改變信息對(duì)深度數(shù)據(jù)D’進(jìn)行偏移改變，并將其恢復(fù)為具有原始位深度(N位)的深度數(shù)據(jù)D。位偏移改變單元112所執(zhí)行的偏移改變的偏移量((M-N)位)在位偏移改變信息中被指示。位偏移改變單元153基于位偏移改變信息刪除在深度數(shù)據(jù)D’內(nèi)的低位位置的全部(M-N)位，并將深度數(shù)據(jù)D’的高N位下移與(M-N)位相對(duì)應(yīng)的量。按照這種方式，位深度為N位的深度數(shù)據(jù)D被恢復(fù)。此外，對(duì)于M=N，位偏移改變單元153不執(zhí)行偏移改變。換言之，因?yàn)槲黄聘淖冃畔⒅兴甘镜钠屏繛?位，所以位偏移改變單元153輸出深度數(shù)據(jù)D’，而不執(zhí)行偏移改變。換言之，在這種情況下，就變成了深度數(shù)據(jù)D =深度數(shù)據(jù)D’。此外，對(duì)于M〈N，位偏移改變單元153將深度數(shù)據(jù)D下移與(N-M)位相對(duì)應(yīng)的量。因此，位偏移改變信息中所指示的偏移量為(N-M)位。在這種情況下，由于改變是下移，所以這種意圖在位偏移改變信息中被描述。指示這種偏移改變的方向的方法是任意的。例如，下移可以用如表述“-(N-M)位”中的符號(hào)來(lái)指示?；蛘撸甘鞠乱票粓?zhí)行的事實(shí)的信息與偏移量分開(kāi)被指示，如表述“下移”和“(N-M)位”。例如，位偏移改變單元153將深度數(shù)據(jù)D’上移(N-M)位。此時(shí)，位偏移改變單元153將已被上移的深度數(shù)據(jù)D’的低位填充O。換言之，在這種情況下，被恢復(fù)的深度數(shù)據(jù)D準(zhǔn)確地來(lái)說(shuō)與未經(jīng)位偏移改變單元112進(jìn)行偏移改變的深度數(shù)據(jù)D的值是不同的。但是，由于深度數(shù)據(jù)D的重要程度較低并且實(shí)際上深度數(shù)據(jù)只造成很小的視覺(jué)影響，所以位偏移改變單元153將被恢復(fù)的深度數(shù)據(jù)D輸出作為偏移改變的結(jié)果。以上描述是針對(duì)其中圖像數(shù)據(jù)是YCbCr的組分圖像數(shù)據(jù)的情況進(jìn)行的，但是圖像 數(shù)據(jù)不局限于此。圖像數(shù)據(jù)可以是任意數(shù)據(jù)，例如可以是RGB的組分圖像數(shù)據(jù)，或者除組分圖像數(shù)據(jù)以外的數(shù)據(jù)。此外，深度數(shù)據(jù)D的形式也可以是任意的，并且可以不是位圖數(shù)據(jù)。這在以下的描述中也是一樣。[圖像編碼過(guò)程的流程]接下來(lái)，描述上述每個(gè)裝置所執(zhí)行的過(guò)程的流程。首先，參考圖6的流程圖描述圖像編碼裝置100所執(zhí)行的圖像編碼過(guò)程的流程的示例。當(dāng)圖像編碼過(guò)程開(kāi)始時(shí)，在步驟SlOl中，圖像編碼裝置100獲取圖像數(shù)據(jù)(亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr)。在步驟S102中，位深度檢測(cè)單元111檢測(cè)在步驟SlOl中獲取的獲取圖像數(shù)據(jù)(亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr)的位深度。在步驟S103中，圖像編碼裝置100獲取與被獲取的圖像數(shù)據(jù)相對(duì)應(yīng)的深度數(shù)據(jù)D。在步驟S104中，位偏移改變單元112利用在步驟S 102中檢測(cè)到的圖像數(shù)據(jù)的位深度對(duì)在步驟S103中所獲取的深度數(shù)據(jù)D進(jìn)行偏移改變，并且使深度數(shù)據(jù)D的位深度與圖像數(shù)據(jù)的位深度匹配。在步驟S105中，編碼單元113 (或者，編碼單元113-1到113-4)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)D進(jìn)行編碼。在步驟S106中，速率控制單元114基于在步驟S105中執(zhí)行的圖像數(shù)據(jù)和深度數(shù)據(jù)的編碼結(jié)果控制在步驟S105中執(zhí)行的每個(gè)編碼的速率。例如，當(dāng)某個(gè)組分圖像的數(shù)據(jù)生成量比目標(biāo)值大時(shí)，控制數(shù)據(jù)被輸出以抑制生成量。另一方面，當(dāng)圖像的數(shù)據(jù)生成量小于目標(biāo)值時(shí)，控制數(shù)據(jù)被輸出以提升數(shù)據(jù)生成量。因此，組分圖像和深度數(shù)據(jù)的總碼量可以被穩(wěn)定地保持。在步驟S107中，復(fù)用單元115將指示步驟S104中的偏移改變的偏移量的位偏移改變信息與作為步驟S105的處理的結(jié)果所得到的每個(gè)編碼后數(shù)據(jù)進(jìn)行復(fù)用，并生成復(fù)用數(shù)據(jù)(碼流)。在步驟S108中，復(fù)用單元115將在步驟S107中生成的復(fù)用數(shù)據(jù)輸出到圖像編碼裝置100的外部。在步驟S109中，圖像編碼裝置100確定是否結(jié)束圖像編碼過(guò)程，并且當(dāng)其確定不結(jié)束圖像編碼過(guò)程時(shí)將該過(guò)程返回到步驟SlOl并重復(fù)接下來(lái)的步驟。
此外，當(dāng)例如因?yàn)樽鳛榫幋a目標(biāo)的圖像數(shù)據(jù)的提供被停止而在步驟S109中圖像編碼裝置確定結(jié)束圖像編碼過(guò)程時(shí)，圖像編碼裝置100結(jié)束圖像編碼過(guò)程。[圖像解碼過(guò)程的流程]接下來(lái)，參考圖7的流程圖描述圖像解碼裝置150所執(zhí)行的圖像解碼過(guò)程的流程的示例。當(dāng)圖像解碼過(guò)程開(kāi)始時(shí)，在步驟S121中，圖像解碼裝置150獲取復(fù)用數(shù)據(jù)(碼流)。在步驟S 122中，分離單元151利用與復(fù)用單元115的復(fù)用相對(duì)應(yīng)的方法將在步驟S121中已獲取的復(fù)用數(shù)據(jù)分成亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)、深度數(shù)據(jù)D的編碼后數(shù)據(jù)和位偏移改變信息。在步驟S123中，解碼單元152 (解碼單元152_1到152_4)對(duì)亮度數(shù)據(jù)Y的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cb的編碼后數(shù)據(jù)、色差數(shù)據(jù)Cr的編碼后數(shù)據(jù)和深度數(shù)據(jù)D的編碼后數(shù)據(jù)中的每一個(gè)進(jìn)行解碼。
·
在步驟S124中，位偏移改變單元153基于位偏移改變信息對(duì)深度數(shù)據(jù)執(zhí)行位偏移改變。在步驟S125中，圖像解碼裝置150輸出圖像數(shù)據(jù)和深度數(shù)據(jù)。在步驟S126中，圖像解碼裝置150確定是否結(jié)束圖像解碼過(guò)程，并且當(dāng)其確定不結(jié)束圖像解碼過(guò)程時(shí)將該過(guò)程返回到步驟S121并重復(fù)接下來(lái)的步驟。此外，當(dāng)例如因?yàn)閺?fù)用數(shù)據(jù)的提供被停止而在步驟S 126中圖像解碼裝置確定結(jié)束圖像解碼過(guò)程時(shí)，圖像解碼裝置150結(jié)束圖像解碼過(guò)程。如上所述，圖像編碼裝置100在使深度數(shù)據(jù)的位深度與圖像數(shù)據(jù)的位深度匹配之后對(duì)圖像數(shù)據(jù)的編碼后數(shù)據(jù)和深度數(shù)據(jù)的編碼后數(shù)據(jù)一起執(zhí)行速率控制，這與分開(kāi)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼的傳統(tǒng)技術(shù)不同。速率控制單元114通過(guò)全面地執(zhí)行對(duì)圖像數(shù)據(jù)的編碼后數(shù)據(jù)和深度數(shù)據(jù)的編碼后數(shù)據(jù)的速率控制，提高了在選擇每個(gè)編碼的速率之間的比率方面的靈活性，并且可以為每個(gè)編碼分配合適的速率。例如，分配給比較不重要的深度數(shù)據(jù)的速率可以被降低，且分配給更加重要的圖像數(shù)據(jù)的速率可以被增大。當(dāng)然，反過(guò)來(lái)也是可能的。此外，速率比可以根據(jù)情況變化。另外，由于深度數(shù)據(jù)的位深度被調(diào)節(jié)為與圖像數(shù)據(jù)的位深度匹配，所以速率控制的數(shù)學(xué)運(yùn)算變得簡(jiǎn)單。因此，速率控制單元114可以以更高的速度執(zhí)行速率控制。此外，由于用于速率控制的數(shù)學(xué)操作變得簡(jiǎn)單，所以速率控制單元114可以適當(dāng)?shù)貓?zhí)行速率控制并提高編碼效率。由于編碼效率提高了，所以通過(guò)對(duì)編碼后數(shù)據(jù)進(jìn)行解碼而得到的解碼后圖像的圖像質(zhì)量也提高了。即，圖像編碼裝置100可以對(duì)圖像進(jìn)行編碼以使得可以得到具有更高圖像質(zhì)量的解碼后圖像。此外，圖像解碼裝置150可以通過(guò)以上述方式執(zhí)行解碼過(guò)程來(lái)快速且更適當(dāng)?shù)貙?duì)復(fù)用數(shù)據(jù)進(jìn)行解碼，所述復(fù)用數(shù)據(jù)已被圖像編碼裝置100編碼并被復(fù)用。此外，圖像解碼裝置150可以快速且適當(dāng)?shù)貙?duì)深度數(shù)據(jù)進(jìn)行解碼和偏移改變。[編碼單元的配置]接下來(lái)，描述圖I的圖像編碼裝置100中所包括的編碼單元的具體示例。圖I的圖像編碼裝置100的編碼單元113 (或者，編碼單元113-1到113-4)的編碼系統(tǒng)是任意的。例如，編碼系統(tǒng)可以是MPEG (運(yùn)動(dòng)圖像專家組)-2、MPEG-4、AVC (聞級(jí)視頻編碼)等，或者可以是JPEG (聯(lián)合圖像專家組)、JPEG2000等。作為示例，將針對(duì)編碼單元113-1到113-4的編碼系統(tǒng)為AVC的情況進(jìn)行描述。圖8是描述圖I的編碼單元113-1的主要配置的示例的框圖。例如，圖8中所示的編碼單元113-1根據(jù)H. 264和MPEG-4第10部分(下文中被稱為H. 264/AVC)系統(tǒng)對(duì)圖像進(jìn)行編碼。在圖8的示例中，編碼單元113-1包括A/D (模/數(shù))轉(zhuǎn)換單元201、畫(huà)面重排緩沖器202、運(yùn)算單元203、正交變換單元204、量化單元205、無(wú)損編碼單元206和存儲(chǔ)緩沖器207。另外，編碼單元113-1包括逆量化單元208、逆正交變換單元209和運(yùn)算單元210。另外，編碼單元113-1還包括去塊濾波器211和幀存儲(chǔ)器212。此外，編碼單元113-1包括選擇單元213、幀內(nèi)預(yù)測(cè)單元214、運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215和選擇單元216。另外，編碼單元 113-1包括速率控制單元217。A/D轉(zhuǎn)換單元201對(duì)輸入圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，并將結(jié)果輸出到畫(huà)面重排緩沖器202并將其存儲(chǔ)起來(lái)。畫(huà)面重排緩沖器202根據(jù)GOP (圖像組)結(jié)構(gòu)對(duì)按顯示順序被存儲(chǔ)的圖像的幀的順序進(jìn)行重排以使得圖像的幀按照用于編碼的順序被重排。畫(huà)面重排緩沖器202將幀經(jīng)過(guò)重排的圖像提供給運(yùn)算單元203、幀內(nèi)預(yù)測(cè)單元214和運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215。運(yùn)算單元203將從畫(huà)面重排緩沖器202讀取的圖像減去來(lái)自選擇單元216的預(yù)測(cè)圖像，并將差異信息輸出到正交變換單元204。例如，對(duì)于要經(jīng)歷幀內(nèi)編碼的圖像，運(yùn)算單元203將來(lái)自幀內(nèi)預(yù)測(cè)單元214的預(yù)測(cè)圖像與從畫(huà)面重排緩沖器202讀取的圖像相加。此夕卜，例如對(duì)于要經(jīng)歷幀間編碼的圖像，運(yùn)算單元203將來(lái)自運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元115的預(yù)測(cè)圖像與從畫(huà)面重排緩沖器202讀取的圖像相加。正交變換單元204對(duì)來(lái)自運(yùn)算單元203的差異信息執(zhí)行正交變換，例如離散余弦變換和Karhunen-Loeve變換，并將變換系數(shù)提供給量化單元205。量化單元205對(duì)從正交變換單元204輸出的變換系數(shù)進(jìn)行量化。量化單元205將量化后的變換系數(shù)提供給無(wú)損編碼單元206。無(wú)損編碼單元206對(duì)量化后的變換系數(shù)執(zhí)行無(wú)損編碼，例如可變長(zhǎng)度編碼和算術(shù)編碼。無(wú)損編碼單元206從幀內(nèi)預(yù)測(cè)單元214獲取指示幀內(nèi)預(yù)測(cè)的信息，并從運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215獲取指示幀間預(yù)測(cè)模式的信息等。下文中，指示幀內(nèi)預(yù)測(cè)的信息被稱為幀內(nèi)預(yù)測(cè)模式信息。此外，下文中，指示幀間預(yù)測(cè)的信息模式的信息被稱為幀間預(yù)測(cè)模式信息。無(wú)損編碼單元206對(duì)量化后的變換系數(shù)進(jìn)行編碼，并將濾波器系數(shù)、幀內(nèi)預(yù)測(cè)模式信息、幀間預(yù)測(cè)模式信息和量化參數(shù)等設(shè)置為編碼后數(shù)據(jù)的頭部信息的一部分(復(fù)用)。無(wú)損編碼單元206將通過(guò)編碼得到的編碼后數(shù)據(jù)提供給存儲(chǔ)緩沖器207并允許該數(shù)據(jù)被存儲(chǔ)。例如，諸如可變長(zhǎng)度編碼和算術(shù)編碼之類的無(wú)損編碼過(guò)程在無(wú)損編碼單元206中被執(zhí)行。H. 264/AVC系統(tǒng)中所規(guī)定的可變長(zhǎng)度編碼的示例包括CAVLC (內(nèi)容自適應(yīng)可變長(zhǎng)度編碼)。算術(shù)編碼的示例包括CABAC (內(nèi)容自適應(yīng)二進(jìn)制算術(shù)編碼)。存儲(chǔ)緩沖器207暫時(shí)存儲(chǔ)來(lái)自無(wú)損編碼單元206的編碼后數(shù)據(jù)，將其作為根據(jù)H. 264/AVC編碼的編碼后圖像在預(yù)定的定時(shí)處輸出給未示出的記錄裝置或傳輸路徑。此外，在量化單元205中被量化的變換系數(shù)被提供給逆量化單元208。逆量化單元208利用與量化單元205的量化方法相對(duì)應(yīng)的方法對(duì)量化后的變換系數(shù)進(jìn)行逆量化，并將所得到的變換系數(shù)提供給逆正交變換單元209。逆正交變換單元209利用與正交變換單元204所執(zhí)行的正交變換過(guò)程相對(duì)應(yīng)的方法對(duì)所提供的變換系數(shù)執(zhí)行逆正交變換。經(jīng)過(guò)逆正交變換的輸出被提供給運(yùn)算單元210。運(yùn)算單元210將來(lái)自選擇單元216的預(yù)測(cè)圖像與來(lái)自逆正交變換單元209的逆正交變換結(jié)果(即，被恢復(fù)的差異信息)相加，得到部分被解碼的圖像(解碼后圖像)。例如，當(dāng)差異信息對(duì)應(yīng)于要經(jīng)歷幀內(nèi)編碼的圖像時(shí)，運(yùn)算單元210將來(lái)自幀內(nèi)預(yù)測(cè)單元214的預(yù)測(cè)圖像與差異信息相加。此外，例如當(dāng)差異信息對(duì)應(yīng)于要經(jīng)歷幀間編碼的圖像時(shí)，運(yùn)算單元 210將來(lái)自運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215的預(yù)測(cè)圖像與差異信息相加。相加的結(jié)果被提供給去塊濾波器211或幀存儲(chǔ)器212。去塊濾波器211通過(guò)執(zhí)行適當(dāng)?shù)娜K濾波過(guò)程去除解碼后圖像的塊失真，并通過(guò)利用維納(Wiener)濾波器執(zhí)行適當(dāng)?shù)沫h(huán)路濾波過(guò)程提高圖像質(zhì)量。去塊濾波器211將每個(gè)像素分類，并且針對(duì)每一類執(zhí)行適當(dāng)?shù)臑V波過(guò)程。去塊濾波器211將濾波過(guò)程的結(jié)果提供給幀存儲(chǔ)器212。在預(yù)定的定時(shí)處，幀存儲(chǔ)器212將已存儲(chǔ)的參考圖像通過(guò)選擇單元213輸出到幀內(nèi)預(yù)測(cè)單元214或運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215。例如，對(duì)于要經(jīng)歷幀內(nèi)編碼的圖像，幀存儲(chǔ)器212將參考圖像通過(guò)選擇單元213提供給幀內(nèi)預(yù)測(cè)單元214。此外，例如對(duì)于要經(jīng)歷幀間編碼的圖像，幀存儲(chǔ)器212將參考圖像通過(guò)選擇單元213提供給運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215。在編碼單元113-1中，例如從畫(huà)面重排緩沖器202輸出的I圖像、B圖像和P圖像被提供給幀內(nèi)預(yù)測(cè)單元214作為用于幀內(nèi)預(yù)測(cè)(被稱為幀內(nèi)過(guò)程)的圖像。此外，從畫(huà)面重排緩沖器202讀取的B圖像和P圖像被提供給運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215作為用于幀間預(yù)測(cè)(被稱為幀間過(guò)程)的圖像。對(duì)于要經(jīng)歷幀內(nèi)編碼的圖像，選擇單元213將來(lái)自幀存儲(chǔ)器212的參考圖像提供給幀內(nèi)預(yù)測(cè)單元214，并且對(duì)于要經(jīng)歷幀間編碼的圖像，選擇單元213將參考圖像提供給運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215。幀內(nèi)預(yù)測(cè)單元214執(zhí)行幀內(nèi)預(yù)測(cè)(畫(huà)面內(nèi)預(yù)測(cè))以利用畫(huà)面內(nèi)的像素值生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元214以多種模式(幀內(nèi)預(yù)測(cè)模式)執(zhí)行幀內(nèi)預(yù)測(cè)。幀內(nèi)預(yù)測(cè)模式包括基于通過(guò)選擇單元213從幀存儲(chǔ)器212提供的參考圖像生成預(yù)測(cè)圖像的模式。此外，幀內(nèi)預(yù)測(cè)模式是利用用于幀內(nèi)預(yù)測(cè)的從畫(huà)面重排緩沖器202讀取的圖像本身(過(guò)程目標(biāo)塊的像素值)生成預(yù)測(cè)圖像的模式。幀內(nèi)預(yù)測(cè)單元214生成所有幀內(nèi)預(yù)測(cè)模式下的預(yù)測(cè)圖像，評(píng)估每個(gè)預(yù)測(cè)圖像并選擇最佳模式。當(dāng)最佳幀內(nèi)預(yù)測(cè)模式被選擇時(shí)，幀內(nèi)預(yù)測(cè)單元214將在最佳模式下生成的預(yù)測(cè)圖像通過(guò)選擇單元216提供給運(yùn)算單元203。此外，如上所述，幀內(nèi)預(yù)測(cè)單元214適當(dāng)?shù)貙⒅甘舅捎玫膸瑑?nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式信息提供給無(wú)損編碼單元206。運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215利用從畫(huà)面重排緩沖器202提供的輸入圖像和通過(guò)選擇單元213從幀存儲(chǔ)器212提供的解碼后圖像(該圖像變?yōu)閰⒖紟?為要經(jīng)歷幀內(nèi)編碼的圖像計(jì)算運(yùn)動(dòng)向量。運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215根據(jù)所計(jì)算出的運(yùn)動(dòng)向量執(zhí)行補(bǔ)償過(guò)程，并生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215針對(duì)所有候選幀間預(yù)測(cè)模式執(zhí)行幀間預(yù)測(cè)過(guò)程，并生成預(yù)測(cè)圖像。運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215將所生成的預(yù)測(cè)圖像通過(guò)選擇單元216提供給運(yùn)算單元203。運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215將指示所計(jì)算出的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量信息或者指示所采用的幀間預(yù)測(cè)模式的幀間預(yù)測(cè)模式信息提供給無(wú)損編碼單元206。對(duì)于要經(jīng)歷幀內(nèi)編碼的圖像，選擇單元216將幀內(nèi)預(yù)測(cè)單元214的輸出提供給運(yùn)算單元203。對(duì)于要經(jīng)歷幀間編碼的圖像，選擇單元216將運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215的輸出提供給運(yùn)算單元203。 速率控制單元217基于存儲(chǔ)在存儲(chǔ)緩沖器207中的被壓縮圖像控制量化單元205的量化操作的速率以避免導(dǎo)致流量過(guò)高或流量多低。[宏塊]圖9是圖示了宏塊的示例的圖。如圖9中所示，例如，當(dāng)Y:Cb:Cr=2:l:l時(shí)，深度數(shù)據(jù)D的宏塊被設(shè)置為具有與亮度數(shù)據(jù)Y的宏塊相同的大小(16X 16)。按照這種方式，深度數(shù)據(jù)被添加到組分圖像數(shù)據(jù)，以使得四個(gè)組分圖像可以被生成。宏塊的大小是任意的。由于編碼單元113-2到113-4分別具有與編碼單元113_1相同的配置，所以關(guān)于它們的描述不再重復(fù)。參考圖8所描述的編碼單元113-1的配置可被應(yīng)用于編碼單元113的配置。[解碼單元的配置]圖10是描述圖4的解碼單元的主要配置的示例的框圖。如圖10中所示,解碼單元152-1包括存儲(chǔ)緩沖器251、無(wú)損解碼單元252、逆量化單元253、逆正交變換單元254、運(yùn)算單元255、去塊濾波器256、畫(huà)面重排緩沖器257、D/A轉(zhuǎn)換單元258、幀存儲(chǔ)器259、選擇單元260、幀內(nèi)預(yù)測(cè)單元261、運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262和選擇單元263。存儲(chǔ)緩沖器251存儲(chǔ)已被傳送的編碼后數(shù)據(jù)。編碼后數(shù)據(jù)是作為編碼單元113-1編碼的結(jié)果得到的數(shù)據(jù)。無(wú)損解碼單元252利用與圖8的無(wú)損編碼單元206的編碼系統(tǒng)相對(duì)應(yīng)的方法在預(yù)定的定時(shí)處對(duì)從存儲(chǔ)緩沖器251讀取的編碼后數(shù)據(jù)進(jìn)行解碼。逆量化單元253利用與圖8的量化單元205的量化系統(tǒng)相對(duì)應(yīng)的方法對(duì)作為無(wú)損解碼單元252所執(zhí)行的解碼的結(jié)果而得到的系數(shù)數(shù)據(jù)進(jìn)行逆量化。逆量化單元253將經(jīng)逆量化的系數(shù)數(shù)據(jù)提供給逆正交變換單元254。逆正交變換單元254通過(guò)利用與圖8的正交變換單元204的正交變換方法相對(duì)應(yīng)的系統(tǒng)對(duì)系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，得到與在正交變換在編碼單元113-1中被執(zhí)行之前存在的剩余數(shù)據(jù)相對(duì)應(yīng)的解碼剩余數(shù)據(jù)。通過(guò)逆正交變換得到的解碼剩余數(shù)據(jù)被提供給運(yùn)算單元255。此外，預(yù)測(cè)圖像從幀內(nèi)預(yù)測(cè)單元261或運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262通過(guò)選擇單元263被提供給運(yùn)算單元255。運(yùn)算單元255將解碼剩余數(shù)據(jù)與預(yù)測(cè)圖像相加，以得到與在預(yù)測(cè)圖像被編碼單元113-1的運(yùn)算單元203減去之前已存在的圖像數(shù)據(jù)相對(duì)應(yīng)的解碼后圖像數(shù)據(jù)。運(yùn)算單元255將解碼后圖像數(shù)據(jù)提供給去塊濾波器256。
去塊濾波器256從解碼后圖像中去除塊失真，然后將結(jié)果提供給幀存儲(chǔ)器259，存儲(chǔ)該結(jié)果并將其提供給畫(huà)面重排緩沖器257。畫(huà)面重排緩沖器257對(duì)圖像進(jìn)行重排。即，作為圖8的畫(huà)面重排緩沖器202的排列結(jié)果的以編碼順序排列的幀的順序被排列回原來(lái)顯示的順序。D/A轉(zhuǎn)換單元258對(duì)從畫(huà)面重排緩沖器257提供的圖像執(zhí)行D/A轉(zhuǎn)換，將結(jié)果輸出給顯示器(未示出)并允許其被顯
/Jn ο選擇單元260從幀存儲(chǔ)器259讀取要經(jīng)歷幀間處理的圖像和被用作參考的圖像，并將這些圖像提供給運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262。此外，選擇單元260從幀存儲(chǔ)器259讀取幀內(nèi)預(yù)測(cè)中要使用的圖像，并將該圖像提供給幀內(nèi)預(yù)測(cè)單元261。通過(guò)對(duì)頭部信息解碼而得到的指示幀內(nèi)預(yù)測(cè)模式的信息等被適 當(dāng)?shù)貜臒o(wú)損解碼單元252提供給幀內(nèi)預(yù)測(cè)單元261。幀內(nèi)預(yù)測(cè)單元261基于該信息生成預(yù)測(cè)圖像，并將所生成的預(yù)測(cè)圖像提供給選擇單元213。運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262從無(wú)損解碼單元252獲取通過(guò)對(duì)頭部信息解碼而得到的信息(預(yù)測(cè)模式信息、運(yùn)動(dòng)向量信息和參考幀信息)。當(dāng)指示幀間預(yù)測(cè)模式的信息被提供時(shí)，運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262基于從無(wú)損解碼單元252輸出的幀間運(yùn)動(dòng)向量信息生成預(yù)測(cè)圖像，并將所生成的預(yù)測(cè)圖像提供給選擇單元263。選擇單元263選擇運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262或幀內(nèi)預(yù)測(cè)單元261生成的預(yù)測(cè)圖像，將所選擇的預(yù)測(cè)圖像提供給運(yùn)算單元255。由于解碼單元152-2到152-4可具有與解碼單元152_1相同的配置，所以關(guān)于它們的描述將不再重復(fù)。參考圖10描述的解碼單元152-1的配置可以被應(yīng)用作為解碼單元152的配置。[編碼過(guò)程的流程]接下來(lái)，參考圖11的流程圖描述編碼單元113-1執(zhí)行的編碼過(guò)程的流程的示例。該編碼過(guò)程對(duì)應(yīng)于圖6中的步驟S105和步驟S106。當(dāng)編碼過(guò)程開(kāi)始時(shí)，在步驟S201中，A/D轉(zhuǎn)換單元201對(duì)被輸入的圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S202中，畫(huà)面重排緩沖器202存儲(chǔ)來(lái)自A/D轉(zhuǎn)換單元201的圖像，并排列圖像以使得按顯示順序排列的圖像被重排為用于編碼的順序。在步驟S203中，運(yùn)算單元203計(jì)算步驟S202中所排列的圖像與通過(guò)以下將描述的預(yù)測(cè)過(guò)程得到的預(yù)測(cè)圖像之間的差異。預(yù)測(cè)圖像從用于幀間預(yù)測(cè)的運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215和用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)單元214通過(guò)選擇單元216被提供給運(yùn)算單元203。差異數(shù)據(jù)與原始圖像數(shù)據(jù)相比有較少的數(shù)據(jù)量。因此，與按原樣對(duì)圖像編碼的情況相比，數(shù)據(jù)量可以被壓縮。在步驟S204中，正交變換單元204對(duì)來(lái)自運(yùn)算單元203的差異信息執(zhí)行正交變換。具體而言，諸如離散余弦變換和Karhunen-Loeve變換之類的正交變換被執(zhí)行，使得變換系數(shù)被輸出。在步驟S205中，量化單元205對(duì)變換系數(shù)進(jìn)行量化。所述經(jīng)量化的差異信息按照如下方式在本地被解碼。S卩，在步驟S206中，逆量化單元208利用與量化單元205的特性相對(duì)應(yīng)的特性對(duì)已通過(guò)量化單元205被量化的變換系數(shù)進(jìn)行逆量化。在步驟S207中，逆正交變換單元209利用與正交變換單元204的特性相對(duì)應(yīng)的特性對(duì)已通過(guò)逆量化單元208被逆量化的變換系數(shù)執(zhí)行逆正交變換。
在步驟S208中，運(yùn)算單元210將通過(guò)選擇單元216輸入的預(yù)測(cè)圖像與在本地被解碼的差異信息相加，生成本地被解碼的圖像(與運(yùn)算單元203的輸入相對(duì)應(yīng)的圖像)。在步驟S209中，去塊濾波器211對(duì)從運(yùn)算單元210輸出的圖像進(jìn)行濾波。因此，塊失真被去除。在步驟S210中，幀存儲(chǔ)器212存儲(chǔ)濾波后的圖像。另外，即使未經(jīng)去塊濾波器211濾波的圖像也從運(yùn)算單元210被提供給幀存儲(chǔ)器212并被存儲(chǔ)于其中。在步驟S211中，幀內(nèi)預(yù)測(cè)單元214按照幀內(nèi)預(yù)測(cè)模式執(zhí)行幀內(nèi)預(yù)測(cè)過(guò)程。在步驟S212中，運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215按照幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償過(guò)程。在步驟S213中，選擇單元216基于從幀內(nèi)預(yù)測(cè)單元214和運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215輸出的每個(gè)成本函數(shù)值確定最佳預(yù)測(cè)模式。換言之，選擇單元216選擇由幀內(nèi)預(yù)測(cè)單元214生成的預(yù)測(cè)圖像或者由運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215生成的預(yù)測(cè)圖像。此外，關(guān)于該預(yù)測(cè)圖像的選擇信息被提供給幀內(nèi)預(yù)測(cè)單元214或運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215。當(dāng)最佳幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)圖像被選擇時(shí)，幀內(nèi)預(yù)測(cè)單元214將指示最佳幀內(nèi)預(yù)測(cè)模式的信息(即，幀內(nèi)預(yù)測(cè)模式信息)提供給無(wú)損編碼單元206。 當(dāng)最佳幀間預(yù)測(cè)模式的預(yù)測(cè)圖像被選擇時(shí)，運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215將指示最佳幀間預(yù)測(cè)模式的信息以及(必要的話)還將與最佳幀間預(yù)測(cè)模式相對(duì)應(yīng)的信息輸出給無(wú)損編碼單元206。與最佳幀間預(yù)測(cè)模式相對(duì)應(yīng)的信息的示例包括運(yùn)動(dòng)向量信息、標(biāo)記信息以及參考幀信息等。在步驟S214中，無(wú)損編碼單元206對(duì)從量化單元205輸出的量化后的變換系數(shù)進(jìn)行編碼。即，對(duì)差異圖像(在幀間預(yù)測(cè)的情況下對(duì)第二個(gè)差異圖像)執(zhí)行諸如可變長(zhǎng)度編碼和算術(shù)編碼之類的無(wú)損編碼。無(wú)損編碼單元206對(duì)關(guān)于步驟S213的過(guò)程所選擇的預(yù)測(cè)圖像的預(yù)測(cè)模式的信息進(jìn)行編碼，并將差異信息加到通過(guò)對(duì)差異圖像進(jìn)行編碼而得到的編碼后數(shù)據(jù)的頭部信息上。換言之，無(wú)損編碼單元206對(duì)與從運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元215提供的最佳幀間預(yù)測(cè)模式或從幀內(nèi)預(yù)測(cè)單元214提供的幀內(nèi)預(yù)測(cè)模式相對(duì)應(yīng)的信息等進(jìn)行編碼，并將編碼后的信息加到頭部信息上。在步驟S215中，存儲(chǔ)緩沖器207存儲(chǔ)從無(wú)損編碼單元206輸出的編碼后數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)緩沖器207中的編碼后數(shù)據(jù)被適當(dāng)?shù)刈x取并通過(guò)傳送路徑被傳送給解碼側(cè)。在步驟S216中，速率控制單元217基于存儲(chǔ)在存儲(chǔ)緩沖器207中的壓縮圖像和來(lái)自速率控制單元114的速率控制信息，對(duì)量化單元205的量化操作的速率進(jìn)行控制，以避免發(fā)生流量過(guò)高或流量過(guò)低。當(dāng)步驟S216的過(guò)程結(jié)束時(shí)，編碼過(guò)程結(jié)束。編碼單元113-1對(duì)編碼過(guò)程的每個(gè)處理單元重復(fù)這樣的編碼過(guò)程。編碼單元113-2到113-4也執(zhí)行類似的過(guò)程。此外，即使編碼單元113被使用，也執(zhí)行類似的編碼過(guò)程。[解碼過(guò)程的流程]接下來(lái)，參考圖12的流程圖描述圖10的解碼單元152-1執(zhí)行的解碼過(guò)程的流程的示例。該解碼過(guò)程與圖7中的步驟S123相對(duì)應(yīng)。當(dāng)解碼過(guò)程開(kāi)始時(shí)，在步驟S231中，存儲(chǔ)緩沖器251存儲(chǔ)被傳送來(lái)的編碼后數(shù)據(jù)。在步驟S232中，無(wú)損解碼單元252對(duì)從存儲(chǔ)緩沖器251提供的編碼后數(shù)據(jù)進(jìn)行解碼。即，被圖8的無(wú)損編碼單元206編碼的I圖像、P圖像和B圖像被解碼。在此處，運(yùn)動(dòng)向量信息、參考幀信息、預(yù)測(cè)模式信息(幀內(nèi)預(yù)測(cè)模式或幀間預(yù)測(cè)模式)、標(biāo)記信息等被解碼。S卩，當(dāng)預(yù)測(cè)模式信息為幀內(nèi)預(yù)測(cè)模式信息時(shí)，預(yù)測(cè)模式信息被提供給幀內(nèi)預(yù)測(cè)單元261。當(dāng)預(yù)測(cè)模式信息為幀間預(yù)測(cè)模式信息時(shí)，與預(yù)測(cè)模式信息相對(duì)應(yīng)的運(yùn)動(dòng)向量信息被提供給運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262。在步驟S233中，逆量化單元253利用與圖8的量化單元205的特性相對(duì)應(yīng)的特性對(duì)被無(wú)損解碼單元252解碼的變換系數(shù)進(jìn)行逆量化。在步驟S234中，逆正交變換單元254利用與圖8的正交變換單元204的特性相對(duì)應(yīng)的特性對(duì)已通過(guò)逆量化單元253被逆量化的變換系數(shù)執(zhí)行逆正交變換。因此，與圖8的正交變換單元204的輸入(即，運(yùn)算單元203的 輸出)相對(duì)應(yīng)的差異信息變?yōu)楸唤獯a的信息。在步驟S235中，運(yùn)算單元255將預(yù)測(cè)圖像與通過(guò)步驟S234的過(guò)程得到的差異信息相加。因此，原始圖像數(shù)據(jù)通過(guò)解碼被得到。在步驟S236中，去塊濾波器256對(duì)從運(yùn)算單元255提供的解碼后圖像數(shù)據(jù)進(jìn)行濾波。因此，塊失真被去除。在步驟S237中，幀存儲(chǔ)器259存儲(chǔ)經(jīng)過(guò)濾波的解碼后圖像數(shù)據(jù)。在步驟S238中，幀內(nèi)預(yù)測(cè)單元261執(zhí)行幀內(nèi)預(yù)測(cè)過(guò)程。此外，運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元262執(zhí)行幀間預(yù)測(cè)過(guò)程。在步驟S239中，選擇單元263選擇被生成的兩個(gè)預(yù)測(cè)圖像中的任一個(gè)。在步驟S240中，畫(huà)面重排緩沖器257改變解碼后圖像數(shù)據(jù)的幀的順序。S卩，被圖8的畫(huà)面重排緩沖器202重排以用于編碼的解碼后的幀的順序被重新排列，以按照原始顯示的順序被排列。在步驟S241中，D/A轉(zhuǎn)換單元258對(duì)經(jīng)畫(huà)面重排緩沖器257進(jìn)行幀排列的解碼后圖像數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換。該解碼后圖像數(shù)據(jù)例如被輸出到顯示器(在圖中未示出)以使得圖像被顯示。當(dāng)步驟S241的過(guò)程結(jié)束時(shí)，解碼過(guò)程結(jié)束。解碼單元152-1對(duì)解碼過(guò)程的每個(gè)處理單元重復(fù)這樣的解碼過(guò)程。解碼單元152-2到152_4執(zhí)行類似的過(guò)程。此外，即使在使用解碼單元152的情況下，類似的解碼過(guò)程也被執(zhí)行。如上所述，AVC系統(tǒng)的編碼裝置/解碼裝置可以被用作編碼單元113 (或編碼單元113-1到113-4)和解碼單元152 (或解碼單元152-1到152-4)。在這種情況下，圖像編碼裝置100可以更高效地對(duì)可以提供立體視覺(jué)效果的深度數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行編碼。此外，圖像解碼裝置150可以快速且更適當(dāng)?shù)貙?duì)提供立體視覺(jué)效果的編碼后深度數(shù)據(jù)和編碼后圖像數(shù)據(jù)進(jìn)行解碼。[編碼單元的配置]圖13圖示了在根據(jù)JPEG2000系統(tǒng)進(jìn)行編碼的編碼器被用作圖I的編碼單元113的情況下的示例。參考圖13，所描述的是其中亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’被一起編碼以產(chǎn)生一個(gè)碼流系統(tǒng)(編碼后數(shù)據(jù))的情況，即，其中編碼單元用一個(gè)編碼單元113來(lái)配置。如圖13中所示，編碼單元113包括DC電平偏移單元301、小波(wavelet)變換單元302、量化單元303、碼分塊(code blocking)單元304和位平面展開(kāi)單元305。DC電平偏移單元301對(duì)輸入到編碼單元113的圖像數(shù)據(jù)的DC組分執(zhí)行電平偏移(如箭頭331)以在后面的處理級(jí)中高效地執(zhí)行小波變換。例如，RGB信號(hào)具有正值(無(wú)符號(hào)的整數(shù))。然后，DC電平偏移單元301嘗試通過(guò)執(zhí)行利用其將原始信號(hào)的動(dòng)態(tài)范圍減至一半的電平偏移來(lái)實(shí)現(xiàn)壓縮效率的提高。因此，當(dāng)有符號(hào)(正和負(fù))的整數(shù)值的信號(hào)(如YCbCr信號(hào)的色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr)被用作原始信號(hào)時(shí)，電平偏移不被執(zhí)行。小波變換單元302由通常利用低通濾波器和高通濾波器配置的濾波器組來(lái)實(shí)現(xiàn)。此外，由于數(shù)字濾波通常呈現(xiàn)具有多個(gè)抽頭長(zhǎng)度(濾波器系數(shù))的沖擊響應(yīng)，所以小波變換單元302具有緩沖僅通過(guò)預(yù)先濾波的輸入圖像的緩沖器。當(dāng)小波變換單元302獲取了數(shù)據(jù)量等于或大于最低要求的如箭頭332所指示的從 DC電平偏移單元301輸出的圖像數(shù)據(jù)時(shí)，小波變換單元302利用預(yù)定的小波變換濾波器對(duì)經(jīng)過(guò)DC電平偏移的圖像數(shù)據(jù)進(jìn)行濾波，并生成小波系數(shù)。此外，小波變換單元302執(zhí)行這樣的濾波過(guò)程，該濾波過(guò)程針對(duì)圖像的垂直方向和水平方向中的每一個(gè)方向?qū)D像數(shù)據(jù)分成低頻帶組分和高頻帶組分。接下來(lái)，小波變換單元302對(duì)針對(duì)垂直方法和水平方向中的每一個(gè)方向被分類為低頻帶組分的子頻帶遞歸地重復(fù)預(yù)定次數(shù)這樣的濾波過(guò)程。這是因?yàn)閳D像的大部分能量集中在低頻帶組分上，例如圖14中所示的。圖14是圖示了子頻帶的配置的示例。如圖14中所示，圖像的大部分能量集中在低頻帶組分上，即使在劃分級(jí)數(shù)為I的狀態(tài)下和劃分級(jí)數(shù)為3的狀態(tài)下也是如此。圖15是圖示了在劃分?jǐn)?shù)為4的情況下通過(guò)小波變換過(guò)程生成的子頻帶的配置的示例的圖。在這種情況下，小波變換單元302首先對(duì)整個(gè)圖像濾波，并生成子頻帶ILL (未示出)和1HL、1LH和1HH。接下來(lái)，小波變換單元302再次對(duì)所生成的子頻帶ILL濾波，并生成2LL (未示出)和2HL、2LH和2HH。此外，小波變換單元302再次對(duì)所生成的子頻帶2LL濾波，并生成3LL、3HL、3LH和3HH。此外，小波變換單元302再次對(duì)所生成的子頻帶3LL濾波,并生成 4LL、4HL、4LH 和 4HH。因而，當(dāng)分析濾波被執(zhí)行到劃分級(jí)數(shù)4時(shí)，十三個(gè)子頻帶被生成。如圖15中所示，當(dāng)劃分級(jí)數(shù)提高到更高的一級(jí)時(shí)，子頻帶的大小在垂直方向和水平方向上都變?yōu)?/2。S卩，當(dāng)在水平方向上有1920個(gè)像素的圖像的基帶圖像數(shù)據(jù)被進(jìn)行一次分析濾波時(shí)，在水平方向上分別具有960個(gè)像素的4個(gè)子頻帶(ILL、IHL, 1LH、1HH)被生成。此外，當(dāng)子頻帶ILL被進(jìn)行一次分析濾波時(shí)，在水平方向上分別具有480個(gè)像素的4個(gè)子頻帶(2LL、2HL、2LH、2HH)被生成。此外，當(dāng)子頻帶2LL被進(jìn)行一次分析濾波時(shí)，在水平方向上分別具有240個(gè)像素的4個(gè)子頻帶(31^、31、31^、3冊(cè))被生成。此外，當(dāng)子頻帶3LL被進(jìn)行一次分析濾波時(shí)，在水平方向上分別具有120個(gè)像素的4個(gè)子頻帶(4LL、4HL、4LH、4HH)被生成。小波變換的劃分級(jí)數(shù)是任意的。對(duì)于每個(gè)子頻帶，小波變換單元302將通過(guò)濾波得到的小波系數(shù)提供給量化單元303，如箭頭333所示。量化單元303對(duì)被提供的小波系數(shù)進(jìn)行量化。量化方法是任意的，但是除以量化步長(zhǎng)大小的標(biāo)量量化是常用的方法。量化單元303將通過(guò)量化得到的量化后系數(shù)提供給碼分塊單元304，如箭頭334所示。在后續(xù)處理級(jí)中，量化系數(shù)代替小波系數(shù)被提供。然而，量化系數(shù)基本上按與小波系數(shù)相同的方式被對(duì)待。因此，下文中，只要不是必要的，關(guān)于這一點(diǎn)的描述將被省略，并且系數(shù)被簡(jiǎn)單地稱為系數(shù)或系數(shù)數(shù)據(jù)。當(dāng)編碼單元113根據(jù)允許原始數(shù)據(jù)通過(guò)解碼過(guò)程被完全恢復(fù)的無(wú)損編碼系統(tǒng)對(duì)圖像數(shù)據(jù)進(jìn)行編碼時(shí)，量化單元303的處理被省略，并且小波變換單元302的輸出被提供給碼分塊單元304，如箭頭335所示。在碼分塊單元304中，小波系數(shù)以用于熵編碼的處理單元為單位被分成具有預(yù)定大小的碼塊。圖16圖示了每個(gè)子頻帶中的碼塊之間的位置關(guān)系。例如，在劃分后的每個(gè)子頻帶中分別具有大約64X64個(gè)像素的大小的碼塊被生成。后面的處理級(jí)中的每個(gè)處理單元對(duì)每個(gè)碼塊執(zhí)行處理。
碼分塊單元304將每個(gè)碼塊提供給位平面展開(kāi)單元305，如箭頭336所示。位平面展開(kāi)單元305展開(kāi)在各個(gè)位位置處的位平面中的系數(shù)數(shù)據(jù)。位平面是通過(guò)將由預(yù)定數(shù)目的小波系數(shù)組成的一組系數(shù)以位為單位(B卩，針對(duì)每個(gè)位位置)劃分(或分割)而得到的。即，位平面是在同一系數(shù)組內(nèi)的相同位位置處的一組位(系數(shù)位)。圖17圖示了具體示例。圖17中的左示了在水平方向上的4個(gè)系數(shù)組中的4個(gè)系數(shù)，即總共16個(gè)系數(shù)。在這16個(gè)系數(shù)中，具有最大絕對(duì)值的系數(shù)是13，被表示為二進(jìn)制數(shù)1101。位平面展開(kāi)單元305將這樣的系數(shù)組展開(kāi)在指示絕對(duì)值的四個(gè)位平面(絕對(duì)值位平面)和指示符號(hào)的一個(gè)位平面(符號(hào)位平面)中。即，圖17的左圖中的系數(shù)組是在四個(gè)絕對(duì)值的位平面和一個(gè)符號(hào)的位平面中被展開(kāi)的，如圖17的右圖中所示。這里，絕對(duì)值的位平面的每個(gè)元素取值O或I。此外，指示符號(hào)的位平面的每個(gè)元素取指示系數(shù)的值為正的值、指示系數(shù)的值為O的值或者指示系數(shù)的值為負(fù)的值。此外,編碼單元113還包括位建模單元306、算術(shù)編碼單元307、碼量相加單元308、速率控制單元309、頭部生成單元310和分組生成單元311。位平面展開(kāi)單元305將所展開(kāi)的位平面提供給位建模單元306，如箭頭337所示。位建模單元306和算術(shù)編碼單元307用作EBCOT (具有最佳截?cái)嗟那度胧骄幋a)單元321，并對(duì)輸入的系數(shù)數(shù)據(jù)執(zhí)行由JPEG2000標(biāo)準(zhǔn)所規(guī)定的被稱為EBCOT的熵編碼。EBCOT是一種針對(duì)具有預(yù)定大小的塊測(cè)量塊中的系數(shù)的統(tǒng)計(jì)量的同時(shí)進(jìn)行編碼的技術(shù)。位建模單元306根據(jù)JPEG2000標(biāo)準(zhǔn)所規(guī)定的過(guò)程對(duì)系數(shù)數(shù)據(jù)執(zhí)行位建模，并將關(guān)于控制信息、標(biāo)志和上下文等的信息提供給算術(shù)編碼單元307，如箭頭338所示。算術(shù)編碼單元307對(duì)系數(shù)的位平面執(zhí)行算術(shù)編碼。以長(zhǎng)寬表示的碼塊的大小被表示為從4到256的2的冪數(shù)，并且通常32X32、64X64U28X32等被使用。系數(shù)值用有符號(hào)的η位二進(jìn)制數(shù)來(lái)表示，其中位O到位(η_2)分別表示LSB到MSB。余下的一位表示符號(hào)。對(duì)碼塊的編碼根據(jù)以下三種編碼通道按照從MSB位平面開(kāi)始的位位置降低順序被執(zhí)行。(I)重要性傳播通道(Significance Propagation Pass)(2)幅度精煉通道(Magnitude Refinement Pass)(3)清理通道(Cleanup Pass)
使用這三個(gè)編碼通道的順序在圖18中被示出。首先，位平面(n-1) (MSB)通過(guò)清理通道被編碼。連續(xù)地依次到LSB側(cè)，對(duì)每個(gè)位平面的編碼通過(guò)按照重要性傳播通道、幅度精煉通道和清理通道的順序利用三個(gè)編碼通道被執(zhí)行。但是，關(guān)于從MSB側(cè)開(kāi)始計(jì)數(shù)的位平面的編號(hào)的信息(其中值“I”實(shí)際上首先出現(xiàn))被寫(xiě)在頭部中，并且從MSB側(cè)開(kāi)始連續(xù)全O的位平面(被稱為零位平面)不被編碼。通過(guò)以這樣的順序利用三種編碼通道重復(fù)編碼以及在任意位平面的任意通道處中斷編碼(速率控制)，在碼量和圖像質(zhì)量之間進(jìn)行了權(quán)衡考慮。接下來(lái)，參考圖19描述對(duì)系數(shù)的掃描。碼塊在高度方向上以四個(gè)系數(shù)為單位被劃分成條帶(stripe)。條帶的寬度等于碼塊的寬度。一個(gè)碼塊內(nèi)的掃描順序是所有系數(shù)可以被讀取的順序。即，系數(shù)按照一個(gè)碼塊內(nèi)從頂部條帶到底部條帶的方向、一個(gè)條帶內(nèi)從最左邊一列到最右邊一列的方向以及一個(gè)列中從上到下的方向被獲取。一個(gè)碼塊內(nèi)的全部系數(shù)按照這個(gè)掃描順序被每個(gè)編碼通道處理。
下文中，將描述三個(gè)編碼通道。以下描述的全部都是在JPEG-2000的書(shū)面標(biāo)準(zhǔn)中所描述的(參考IS0/IEC 15444-1，信息技術(shù)-JPEG2000，第一部分核心編碼系統(tǒng))。( I)重要性傳播通道(SP通道)在對(duì)某個(gè)位平面進(jìn)行編碼的重要性傳播通道中，不重要的系數(shù)(其中至少一個(gè)接近8的系數(shù)是重要的)的位平面的值通過(guò)算術(shù)編碼被編碼。當(dāng)已被進(jìn)行編碼的位平面的值為I時(shí)，指示符號(hào)為加號(hào)(+)還是減號(hào)(一)的MQ編碼繼續(xù)被執(zhí)行。這里，JPEG2000專用的術(shù)語(yǔ)“重要性”被描述。術(shù)語(yǔ)“重要性”表示針對(duì)每個(gè)系數(shù)的編碼器狀態(tài)。重要性的值最初被設(shè)置為0，指示不重要，當(dāng)I被系數(shù)編碼時(shí)變?yōu)?，指示重要，并且之后保持為I。因此，重要性可以被看作是指示有效位的信息是否已被編碼的標(biāo)記。如果在某個(gè)位平面處其值變?yōu)橹匾?，則該狀態(tài)(重要)被保持用于全部的后續(xù)位平面。(2)幅度精煉通道(MR通道)在對(duì)位平面進(jìn)行編碼的幅度精煉通道中，尚未被對(duì)位平面進(jìn)行編碼的重要性傳播通道編碼的重要系數(shù)的位平面的值被進(jìn)行MQ編碼。 (3)清理通道(⑶通道)在對(duì)位平面進(jìn)行編碼的清理通道中，尚未被對(duì)位平面進(jìn)行編碼的重要性傳播通道編碼的不重要系數(shù)的位平面的值被進(jìn)行MQ編碼。當(dāng)已被編碼的位平面的值為I時(shí)，位平面被繼續(xù)進(jìn)行MQ編碼，以指示符號(hào)為+還是一(符號(hào)信息)。此外，在這三個(gè)編碼通道的MQ編碼中，ZC (零編碼)、RLC (游程長(zhǎng)度編碼)、SC (符號(hào)編碼)和MR (幅度精煉)根據(jù)情況被適當(dāng)?shù)厥褂?。被稱為MQ編碼的算術(shù)編碼在這里被使用。MQ編碼是一種在JBIG2中規(guī)范的學(xué)習(xí)類型的二進(jìn)制算術(shù)編碼(參考IS0/IEC FDIS14492，“Lossy/Lossless Coding of Bi-level Images", 2000 年 3 月)。再參考圖13，算術(shù)編碼單元307將所生成的碼流提供給碼量相加單元308，如箭頭339所示。碼量相加單元308對(duì)碼流的碼量進(jìn)行計(jì)數(shù)并累加。接下來(lái)，碼量相加單元308提供頭部生成單元310和分組生成單元311的碼流，如箭頭342和343所示，并且還將碼量的累計(jì)值提供給速率控制單元309，如箭頭340所示。速率控制單元309將從速率控制單元114 (如圖I)提供的目標(biāo)碼量和所提供的碼量的累計(jì)值進(jìn)行比較，并且當(dāng)累計(jì)值小于目標(biāo)碼量時(shí)，控制EBCOT單元321允許下面的位平面被編碼，如箭頭341所示。EBCOT單元321根據(jù)控制對(duì)下一個(gè)重要的位平面進(jìn)行編碼，并將所生成的碼流提供給碼量相加單元308。碼量相加單元308對(duì)碼流的碼量進(jìn)行計(jì)數(shù)，累加并將累計(jì)值提供給速率控制單元309。上述過(guò)程被重復(fù)，直到累計(jì)值達(dá)到目標(biāo)碼量為止。并且，當(dāng)累計(jì)值達(dá)到目標(biāo)碼量時(shí)，速率控制單元309控制EBCOT單元321，并結(jié)束編碼過(guò)程。分組生成單元311將被提供來(lái)的編碼后的碼流封裝成分組。頭部生成單元310生成分組的頭部信息，并將頭部信息提供給分組生成單元311，如箭頭344所示。分組生成單元311利用頭部信息生成分組。圖20圖示了分組的概念。在圖20中所示的示例中，顯示小波變換被執(zhí)行了三次。因此，包括從最低頻帶分組Packet-I到最高頻帶分組Packet-4的四個(gè)分組被生成。因此，存在于每個(gè)分組的每個(gè)子頻帶內(nèi)的所有碼塊的編碼后的碼流被封裝成一個(gè)個(gè)的分組。 所生成的分組被輸出到編碼單元113的外部，如箭頭345所示，并被提供給速率控制單元114 (圖I)。此外，編碼單元可以被配置為包括編碼單元113-1到113-4的四個(gè)編碼單元。在這種情況下，由于編碼單元113-1到113-4分別具有與上述編碼單元113相同的配置，所以相關(guān)的描述不再重復(fù)。[位平面展開(kāi)]根據(jù)JPEG2000系統(tǒng)的編碼的最顯著特征是對(duì)逐個(gè)位平面進(jìn)行編碼。系數(shù)數(shù)據(jù)在JPEG和MPEG中被表示為二維數(shù)據(jù)，但是在JPEG2000中可以被表示為多個(gè)二維二進(jìn)制數(shù)據(jù)的平面。當(dāng)組分圖像數(shù)據(jù)和深度數(shù)據(jù)像傳統(tǒng)技術(shù)那樣被分開(kāi)編碼時(shí)，每個(gè)目標(biāo)速率被提前確定，然后被編碼。因此，在很多情況下難以實(shí)現(xiàn)對(duì)組分圖像數(shù)據(jù)和深度數(shù)據(jù)的編碼速率的最高效率的組合，并且難以提高編碼效率。另一方面，編碼單元113通過(guò)對(duì)組分圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行組合來(lái)在同時(shí)控制組分圖像數(shù)據(jù)和深度數(shù)據(jù)的編碼速率的同時(shí)執(zhí)行編碼。圖21圖示了在深度數(shù)據(jù)的位深度被調(diào)節(jié)為與組分圖像數(shù)據(jù)的位深度相匹配之后的速率控制的表現(xiàn)。編碼單元113基本按照重要性的遞減順序執(zhí)行編碼，即，從最高重要性(MSB側(cè)的位)到最低重要性(LSB側(cè)的位)，與利用現(xiàn)有RD (速率失真)特性的速率控制方法有很大不同。編碼單元113通過(guò)將組分圖像數(shù)據(jù)和深度數(shù)據(jù)看作一個(gè)組分來(lái)執(zhí)行其處理。SP，編碼單元113對(duì)作為具有包括亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’的四個(gè)組分的組分?jǐn)?shù)據(jù)的組分圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼。在圖21中所示的示例中，EBCOT單元321首先對(duì)在亮度數(shù)據(jù)Y內(nèi)的最高位位置處的位平面執(zhí)行EBC0T。由于不對(duì)其中只有不等于O的系數(shù)存在的零位平面執(zhí)行EBC0T，所以EBCOT實(shí)際的第一個(gè)目標(biāo)是在編號(hào)為“I”的位位置處的位平面，所述位位置是最高位位置(接近MSB的位置)。此外，在圖21中，被劃圈的編號(hào)是表示位位置的編號(hào)。在圖21中所示的示例中，不存在這樣的位平面，其中只有亮度數(shù)據(jù)的碼塊CBl在標(biāo)號(hào)為“I”的位位置處具有值為“I”的系數(shù)。因此，EBCOT單元321只對(duì)亮度數(shù)據(jù)的碼塊CBl的位平面執(zhí)行EBC0T。
對(duì)于同一位位置，EBCOT按照亮度數(shù)據(jù)Y的位平面、色差數(shù)據(jù)Cb的位平面、色差數(shù)據(jù)Cr的位平面和深度數(shù)據(jù)D’的位平面的順序被執(zhí)行。當(dāng)針對(duì)編號(hào)為“I”的位位置的處理結(jié)束時(shí)，處理目標(biāo)移到后面的位位置(比編號(hào)為“I”的位位置低一位的位位置)處。即，在編碼為“2”的位位置處的位平面變?yōu)镋BCOT的目標(biāo)。在圖21中所示的示例中，對(duì)于編號(hào)為“2”的位位置，EBCOT按照亮度數(shù)據(jù)Y內(nèi)的碼塊CBtl的位位置和碼塊CB1的位位置的順序被執(zhí)行。接下來(lái)，由于色差數(shù)據(jù)Cb和色差數(shù)據(jù)Cr沒(méi)有具有值為“I”的系數(shù)的位平面，所以深度數(shù)據(jù)D’的碼塊CB1的位平面成為EBCOT的下一個(gè)目標(biāo)。當(dāng)針對(duì)編號(hào)為“2”的位位置的處理結(jié)束時(shí)，處理目標(biāo)移到編號(hào)為“3”的位位置處。在圖21中所示的示例中，對(duì)于編號(hào)為“3”的位位置，EBCOT的目標(biāo)按照亮度數(shù)據(jù)Y的碼塊CB0, CB1和CBn，色差數(shù)據(jù)Cb的碼塊CB1，色差數(shù)據(jù)Cr的碼塊CB1和深度數(shù)據(jù)的碼塊CB1、CBn 的位平面的順序移動(dòng)。按照這種方式，EBCOT向前進(jìn)行，順著從編號(hào)為“ I ”的位位置到編號(hào)為“X”的位位置和從最高位到最低位的方向逐位地改變處理目標(biāo)。此外，在EBCOT按照這種方式被重復(fù)的同時(shí)，碼量相加單元308將所生成的碼量累加起來(lái)，如上所述。此外，在圖21中，為了描述的方便，沒(méi)有針對(duì)亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’中的任一個(gè)進(jìn)行關(guān)于子頻帶的描述。但是，如圖16中所示，碼塊實(shí)際上存在于在小波變換之后生成的全部子頻帶中。因此，只有子頻帶內(nèi)的碼塊成為圖21中所示的速率控制的目標(biāo)。如上所述，對(duì)于JPEG2000系統(tǒng)，編碼單元113按照位位置的降低順序搜索針對(duì)除零位平面以外的位平面的全部亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’。因此，尤其是當(dāng)深度數(shù)據(jù)的位深度與圖像數(shù)據(jù)相比更淺時(shí)，深度數(shù)據(jù)的優(yōu)先級(jí)可被大幅度地降低。如上所述，由于位偏移改變被執(zhí)行以使得深度數(shù)據(jù)的位深度與圖像數(shù)據(jù)的位深度相匹配，所以圖像編碼裝置100可以減少當(dāng)EBCOT的目標(biāo)被選擇時(shí)組分之間的過(guò)度優(yōu)先級(jí)偏差。因此，例如，可以減少深度數(shù)據(jù)幾乎未被包括在編碼后數(shù)據(jù)中的問(wèn)題的出現(xiàn)。[解碼單元的配置]接下來(lái)，描述與編碼單元113對(duì)應(yīng)的解碼單元152 (如圖4)。圖22是圖示了解碼單元152的主要配置的示例的框圖。如圖22中所示，解碼單元152可以對(duì)根據(jù)JPEG2000系統(tǒng)編碼的編碼后數(shù)據(jù)進(jìn)行解碼。即，解碼單元152可以對(duì)被圖13中所示的編碼單元113編碼的編碼后數(shù)據(jù)進(jìn)行解碼。在圖22中，解碼單元152包括分組解碼單元361、算術(shù)解碼單元362、位建模單元363、位平面合成單元364、碼塊合成單元365、小波逆變換單元366和DC電平反向偏移單元367。分組解碼單元361對(duì)來(lái)自圖像編碼裝置100的分組進(jìn)行解碼，如箭頭381所示，并將碼流提供給算術(shù)解碼單元362，如箭頭382所示。算術(shù)解碼單元362和位建模單元363用作EBCOT單元371，并且對(duì)輸入碼流執(zhí)行在JPEG2000標(biāo)準(zhǔn)中規(guī)定的被稱為EBCOT的熵解碼。算術(shù)解碼單元362利用與算術(shù)編碼單元307相對(duì)應(yīng)的方法對(duì)碼流進(jìn)行解碼，并將內(nèi)容提供給位建模單元363，如箭頭383所示。位建模單元363利用與位建模單元306相對(duì)應(yīng)的方法生成在位平面中被展開(kāi)的小波系數(shù)。位建模單元363針對(duì)每個(gè)被生成的位平面將系數(shù)數(shù)據(jù)提供給位平面合成單元364，如箭頭384所示。位平面合成單元364對(duì)在位平面中展開(kāi)的小波系數(shù)進(jìn)行合成。位平面合成單元364將被用于合成位平面的小波系數(shù)提供給碼塊合成單元365，如箭頭385所示。碼塊合成單元365利用被提供的位平面生成每個(gè)碼塊的系數(shù)數(shù)據(jù)，對(duì)它們進(jìn)行合成并生成針對(duì)每個(gè)子頻帶的系數(shù)數(shù)據(jù)。碼塊合成單元365將其提供給小波逆變換單元366，如箭頭386所示。
小波逆變換單元366對(duì)被提供的小波系數(shù)執(zhí)行小波逆變換，并生成基帶圖像數(shù)據(jù)。小波逆變換單元366將所生成的基帶圖像數(shù)據(jù)提供給DC電平反向偏移單元367，如箭頭387所示。DC電平反向偏移單元367根據(jù)需要對(duì)圖像的DC組分執(zhí)行DC電平反向偏移過(guò)程，以將DC組分返回到原始狀態(tài)，偏移量與在DC電平偏移單元301中執(zhí)行的偏移相對(duì)應(yīng)。DC電平反向偏移單元367將通過(guò)DC電平反向偏移過(guò)程得到的圖像數(shù)據(jù)輸出到解碼單元152的外部，如箭頭388所示。更具體而言，組分圖像數(shù)據(jù)被輸出到圖像解碼裝置150的外部，并且深度數(shù)據(jù)被提供給位偏移改變單元153。另外，解碼單元可以被配置為包括解碼單元152-1到152-4的四個(gè)解碼單元。在這種情況下，由于解碼單元152-1到152-4中的每一個(gè)具有與上述解碼單元152類似的配置，所以相關(guān)的描述不再重復(fù)。[編碼過(guò)程的流程]接下來(lái)，描述編碼過(guò)程的流程的示例。首先，參考圖23的流程圖描述編碼單元113執(zhí)行的編碼過(guò)程的流程的示例。該編碼過(guò)程對(duì)應(yīng)于圖6中的步驟S105和步驟S106。當(dāng)編碼過(guò)程開(kāi)始時(shí)，在步驟S301中，編碼單元113從輸入系統(tǒng)331獲取圖像數(shù)據(jù)和深度數(shù)據(jù)。在步驟S302中，DC電平偏移單元301對(duì)在步驟S301中輸入的圖像數(shù)據(jù)和深度數(shù)據(jù)的DC電平進(jìn)行偏移。在步驟S303中，小波變換單元302對(duì)已在步驟S302中進(jìn)行了 DC電平偏移的圖像數(shù)據(jù)和深度數(shù)據(jù)執(zhí)行小波變換。在步驟S304中，對(duì)于有損編碼系統(tǒng)，量化單元303對(duì)在步驟S303中從圖像數(shù)據(jù)和深度數(shù)據(jù)生成的小波系數(shù)進(jìn)行量化。對(duì)于無(wú)損編碼系統(tǒng)，該過(guò)程不被執(zhí)行。在步驟S305中，碼分塊單元304以碼塊為單位對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)的系數(shù)數(shù)據(jù)進(jìn)行劃分。在步驟S306中，位平面展開(kāi)單元305針對(duì)在步驟S305中劃分的每個(gè)碼塊在位圖中展開(kāi)系數(shù)。在步驟S307中，EBCOT單元221對(duì)已在步驟S306中在位圖中展開(kāi)的圖像數(shù)據(jù)和深度數(shù)據(jù)的系數(shù)執(zhí)行熵編碼。在步驟S308中，速率控制單元309利用在碼量相加單元308中被相加的碼量與從速率控制單元114提供的目標(biāo)碼量來(lái)控制所生成的碼量的速率。在步驟S309中，頭部生成單元310生成分組頭部。在步驟S310中，分組生成單元311生成分組。在步驟S311中，編碼單元113將分組輸出到外部。當(dāng)步驟S311的處理結(jié)束時(shí)，編碼過(guò)程結(jié)束。此外，編碼過(guò)程針對(duì)每個(gè)預(yù)定的數(shù)據(jù)單元被重復(fù)執(zhí)行，直到圖像數(shù)據(jù)和深度數(shù)據(jù)的供應(yīng)被停止或者停止供應(yīng)的指令被接收到為止。當(dāng)編碼單元被配置為編碼單元113-1到113-4時(shí)，編碼單元113_1到113_4中的每一個(gè)單元執(zhí)行與編碼單元113類似的過(guò)程。[熵編碼過(guò)程的流程]接下來(lái)，參考圖24的流程圖描述在圖23的步驟S307中執(zhí)行的熵編碼過(guò)程的流程。當(dāng)熵編碼過(guò)程開(kāi)始時(shí)，在步驟S331中，EBCOT單元321設(shè)置初始狀態(tài)。更具·體而言，EBCOT單元321將編碼目標(biāo)的組分設(shè)置為Ne= {1，2，…，Lc}，將子頻帶設(shè)置為Ns={l, 2，· · ·，Ls}，假設(shè)碼塊(B)的位平面(C)的信息量為T(B, C，Ne, Ns)，并假設(shè)累積相加碼量為Y。在步驟S332中，在圖13的位平面展開(kāi)單元305中的操作結(jié)束時(shí)的時(shí)間點(diǎn)處，EBCOT單元321將關(guān)于小波變換系數(shù)或量化后的系數(shù)的位平面信息(包括零位平面信息)保持在預(yù)定的存儲(chǔ)器中。在步驟S333中，EBCOT單元321將Y=O設(shè)置為初始值。在步驟S334中，EBCOT單元321在包括零位平面的子頻帶內(nèi)選擇在最高位位置處的第一碼塊的位平面。在步驟S335中，EBCOT單元321對(duì)所選擇的位平面執(zhí)行EBCOT。在步驟S336中，碼量相加單元308利用以下表達(dá)式將作為步驟S335的處理結(jié)果所生成的碼的量相加。Y=Y+T (B, C，Ne, Ns)... (I)在步驟S337中，速率控制單元309確定利用表達(dá)式(I)的加法得到的相加碼量Y是否在從速率控制單元114獲取的目標(biāo)碼量以下。當(dāng)確定相加碼量Y在目標(biāo)碼量以下時(shí)，速率控制單元309進(jìn)行到步驟S338。在步驟S338中，EBCOT單元321確定在相同位位置處是否有任何其它位平面。當(dāng)確定有任何其它位平面時(shí)，EBCOT單元321進(jìn)行到步驟S339。在步驟S339中，EBCOT單元321選擇在相同位位置處的下一個(gè)位平面。EBCOT單元321將過(guò)程返回到步驟S335，并對(duì)所選擇的位平面執(zhí)行EBCOT。此外，在步驟S338中，當(dāng)確定在相同位位置處沒(méi)有其它位平面時(shí)，EBCOT單元321使過(guò)程進(jìn)行到步驟S340。在步驟S340中，EBCOT單元321確定在比當(dāng)前位位置低一位的位位置處是否還有未處理的位平面。當(dāng)確定有未處理的位平面時(shí)，EBCOT單元321的處理目標(biāo)移到在低一位的位位置處的位平面，并EBCOT單元321選擇第一碼塊的位平面。EBCOT單元321將過(guò)程返回到步驟S335，并對(duì)所選擇的位平面執(zhí)行EBC0T。此外，在步驟S340中，當(dāng)不存在未處理的位平面時(shí)，EBCOT單元321結(jié)束熵編碼過(guò)程，將該過(guò)程返回到圖23中的步驟S307，并且執(zhí)行步驟S308和后續(xù)步驟的過(guò)程。此外，在步驟S337中，當(dāng)確定相加碼量Y超過(guò)目標(biāo)碼量時(shí)，速率控制單元309結(jié)束熵編碼過(guò)程，將過(guò)程返回到圖23中的步驟S307，并執(zhí)行步驟S308和后續(xù)步驟的過(guò)程。[解碼過(guò)程的流程]
圖25是描述解碼過(guò)程的流程的示例的流程圖。該解碼過(guò)程與圖7中的步驟S123相對(duì)應(yīng)。當(dāng)解碼過(guò)程開(kāi)始時(shí)，在步驟S361中，解碼單元152從輸入系統(tǒng)381獲取編碼后數(shù)據(jù)的分組。在步驟S362中，分組解碼單元361從在步驟S361中獲取的分組中提取編碼后數(shù)據(jù)。在步驟S363中，EBCOT單元371對(duì)在步驟S362中提取的編碼后數(shù)據(jù)進(jìn)行解碼。在步驟S364中，位平面合成單元364對(duì)通過(guò)步驟S363的過(guò)程得到的系數(shù)數(shù)據(jù)的位平面進(jìn)行合成,并生成針對(duì)每個(gè)碼塊的系數(shù)數(shù)據(jù)。在步驟S365中，碼塊合成單元365對(duì)通過(guò)步驟S364的過(guò)程生成的系數(shù)數(shù)據(jù)的碼塊進(jìn)行合成，并生成每個(gè)子頻帶的系數(shù)數(shù)據(jù)。在步驟S366中，小波逆變換單元366對(duì)通過(guò)步驟S365的過(guò)程生成的每個(gè)子頻帶的系數(shù)數(shù)據(jù)執(zhí)行小波逆變換，并生成基帶圖像數(shù)據(jù)。在步驟S367中，DC電平反向偏移單元 367對(duì)通過(guò)步驟S366的過(guò)程生成的基帶圖像數(shù)據(jù)的DC電平進(jìn)行反向偏移。在步驟S368中，解碼單元152從輸出系統(tǒng)388輸出經(jīng)過(guò)了步驟S367中的DC電平反向偏移過(guò)程的圖像數(shù)據(jù)作為解碼后圖像數(shù)據(jù)。例如，解碼后圖像數(shù)據(jù)被輸出到顯示器(未示出)，并且圖像被顯示。當(dāng)步驟S368的處理結(jié)束時(shí)，解碼單元152結(jié)束解碼過(guò)程。解碼單元152針對(duì)每個(gè)處理單元重復(fù)這樣的解碼過(guò)程。當(dāng)解碼單元被配置為解碼單元152-1到152-4時(shí)，解碼單元152-1到152-4中的每一個(gè)單元執(zhí)行與解碼單元152類似的過(guò)程。如上所述，JPEG2000系統(tǒng)的編碼裝置/解碼裝置可被用作編碼單元113 (編碼單元113-1到113-4)和解碼單元152 (解碼單元152-1到152-4)。在這種情況下，圖像編碼裝置100可以更高效地對(duì)可以提供立體視圖的深度數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行編碼。此外，圖像解碼裝置150可以快速且更適當(dāng)?shù)貙?duì)已按上述方式被編碼的可以提供立體視圖的圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行解碼。[子頻帶的選擇順序]順便提及，以上描述是針對(duì)其中組分圖像數(shù)據(jù)的每個(gè)數(shù)據(jù)按照優(yōu)先級(jí)的降序被選擇作為處理目標(biāo)并執(zhí)行EBCOT的情況進(jìn)行的，即按照亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’的順序(圖21)。處理目標(biāo)的選擇在每個(gè)組分內(nèi)按照類似的順序被執(zhí)行。例如，具有較高優(yōu)先級(jí)的子頻帶的碼塊被優(yōu)先選擇。圖26是圖示了針對(duì)每個(gè)子頻帶的選擇優(yōu)先級(jí)的順序的圖。如上所述，更多的能量一般集中在具有較低頻帶組分的子頻帶上。因此，具有較低頻帶組分的子頻帶更加重要且具有更高的優(yōu)先級(jí)。因此，例如在某個(gè)位位置處的位平面在一個(gè)組分內(nèi)被選擇的情況下，每個(gè)子頻帶的碼塊的位平面可以按照從低頻帶組分到高頻帶組分的順序被選擇。圖26中所示的被劃圈的編號(hào)表示每個(gè)子位置溫度的優(yōu)先順序。換言之，當(dāng)除零位平面以外的位平面存在于某個(gè)位位置處時(shí)，具有較低編號(hào)的子頻帶的碼塊的位位置最優(yōu)先被選擇。當(dāng)然，由于為每個(gè)子頻帶設(shè)置優(yōu)先級(jí)的方式是任意的，所以每個(gè)子頻帶的選擇的優(yōu)先順序也是任意的。例如，當(dāng)利用圖26中所示的編號(hào)進(jìn)行描述時(shí)，每個(gè)子頻帶可按I — 3 — 2 — 4 — 5 —…或I — 2 — 4 — 3 — 5 —…或I — 3 — 4 — 2 — 5 —…的順序被選擇。當(dāng)然，也可以是與以上順序不同的順序。這種順序的選擇在每個(gè)組分內(nèi)被進(jìn)行。在此，子頻帶的優(yōu)先順序可以因組分而異。此外，反映每個(gè)子頻帶的重要程度的加權(quán)因子可以被定義，并且量化后的系數(shù)可以乘以加權(quán)因子來(lái)對(duì)值進(jìn)行糾正。圖27是圖示了針對(duì)各個(gè)子頻帶定義的加權(quán)因子的示例的圖。就圖27的示例而言，由于最低頻帶的子頻帶(在該圖的左上方的子頻帶)的系數(shù)為“1.0”，所以即使量化后的系數(shù)與加權(quán)因子相乘，針對(duì)該子頻帶的值也不改變。另一方面，對(duì)于其它子頻帶，頻帶越高，加權(quán)因子具有越低的值。因此，對(duì)于這些子頻帶，當(dāng)量化后的系數(shù)乘以加權(quán)因子時(shí)，值被降低。即，非零的位平面的數(shù)目減少。頻帶越高，程度越高。如上所述，由于處理目標(biāo)的選擇是按照從高位到低位的順序(即，沿從高位到 低位的方向)進(jìn)行的，所以子頻帶具有越高的頻帶組分，被選擇作為處理目標(biāo)的順序越低。因而，被選擇作為EBCOT的處理目標(biāo)的順序可以通過(guò)利用加權(quán)因子矯正量化后系數(shù)的值來(lái)控制。順便提及，如上所述，當(dāng)存在多個(gè)組分時(shí)，每個(gè)組分的優(yōu)先級(jí)按照亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cb、色差數(shù)據(jù)Cr和深度數(shù)據(jù)D’的順序。關(guān)于原因的研究報(bào)道來(lái)自于不同機(jī)構(gòu)。即，原因在于為組分圖像數(shù)據(jù)分配比深度數(shù)據(jù)更大的碼量的碼量設(shè)置有益于圖像質(zhì)量的整體改善。在深度數(shù)據(jù)中，編碼效率可能會(huì)根據(jù)子頻帶的頻帶而改變。此外，對(duì)解碼后圖像的視覺(jué)影響增大的情況也被考慮。因此，即使對(duì)于具有低優(yōu)先級(jí)的深度數(shù)據(jù)，也希望根據(jù)裝置、圖像的內(nèi)容或圖像的使用來(lái)適當(dāng)?shù)乜刂泼總€(gè)子頻帶的優(yōu)先級(jí)。一般來(lái)說(shuō)，當(dāng)重視深度數(shù)據(jù)的子頻帶的較低頻帶時(shí)，在邊界部分可能會(huì)出現(xiàn)振鈴效應(yīng)，因?yàn)椴煌黝}之間(例如人和背景之間等)的邊界線變得暗淡。反之，當(dāng)重視高頻帶時(shí)，由于深度圖像的平面部分(即，其中波動(dòng)不存在的部分)被生成，所以可能在解碼后圖像中產(chǎn)生波動(dòng)。[2.第二實(shí)施例][圖像編碼裝置的配置]當(dāng)JPEG2000系統(tǒng)的編碼器被用作上述編碼單元時(shí)，深度數(shù)據(jù)的位偏移改變可以在編碼單元中被執(zhí)行。圖28是圖示了本發(fā)明被應(yīng)用于的圖像編碼裝置的配置的另一示例的框圖。圖28中所示的圖像編碼裝置400是與圖I的圖像編碼裝置100類似的裝置，并且具有與圖像編碼裝置100基本類似的配置。但是，圖像編碼裝置400可以不包括位深度檢測(cè)單元111和位偏移改變單元112，但是可以包括編碼單元413來(lái)代替編碼單元113。編碼單元413在其內(nèi)部執(zhí)行對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)D的位深度的檢測(cè)和對(duì)深度數(shù)據(jù)D的位偏移改變。因此，已被輸入到圖像編碼裝置400的組分圖像數(shù)據(jù)(亮度數(shù)據(jù)Y(箭頭121-1))、色差數(shù)據(jù)Cb (箭頭121-2)和色差數(shù)據(jù)Cr (箭頭121-3)被提供給編碼單元413。此外，從外部輸入的深度數(shù)據(jù)D也被提供給編碼單元413 (箭頭124)。編碼單元413根據(jù)JPEG2000系統(tǒng)對(duì)被提供的組分圖像數(shù)據(jù)和深度數(shù)據(jù)D進(jìn)行編碼，并將作為編碼結(jié)果的編碼后數(shù)據(jù)提供給速率控制單元114 (箭頭326)，并從速率控制單元114獲取指定目標(biāo)碼量的速率控制信息(箭頭328)。此外，編碼單元413檢測(cè)圖像數(shù)據(jù)和深度數(shù)據(jù)D的位深度，根據(jù)檢測(cè)結(jié)果對(duì)深度數(shù)據(jù)D的位進(jìn)行偏移，并將指示偏移量的位偏移改變信息提供給復(fù)用單元115 (箭頭329)。[編碼單元的配置]接下來(lái)，描述編碼單元413的細(xì)節(jié)。圖29是描述圖28的編碼單元413的主要配置的示例的框圖。編碼單元413具有與參考圖13的編碼單元113基本類似的配置，并執(zhí)行與編碼單元113類似的過(guò)程。然而，編碼單元413包括在位平面展開(kāi)單元305與EBCOT單元321之間的位深度檢測(cè)單元420和位偏移改變單元430。位深度檢測(cè)單元420具有與位深度檢測(cè)單元111基本類似的配置，并且執(zhí)行與其類似的過(guò)程。然而，在位平面中被展開(kāi)的圖像數(shù)據(jù)和深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)從位平面展開(kāi)單元305被提供給位深度檢測(cè)單元420 (箭頭337)。位深度檢測(cè)單元420檢測(cè)系數(shù)數(shù)據(jù)的每個(gè)項(xiàng)的位深度。位深度檢測(cè)單元420將在位平面中被展開(kāi)的系數(shù)數(shù)據(jù)的每個(gè)數(shù)據(jù)和對(duì)其的檢測(cè)結(jié)果(指示圖像數(shù)據(jù)和深度數(shù)據(jù)D的位深度的信息)提供給位偏移改變單元430 (箭頭 421)。位偏移改變單元430對(duì)從位深度檢測(cè)單元420提供的在位平面中被展開(kāi)的系數(shù)數(shù)據(jù)的每個(gè)系數(shù)中的深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的位進(jìn)行偏移改變。該偏移改變方法與位偏移改變單元112的方法是相同的，只是處理目標(biāo)不是基帶數(shù)據(jù)而是經(jīng)過(guò)小波變換的系數(shù)數(shù)據(jù)。但是，在這種情況下，由于系數(shù)數(shù)據(jù)的位被偏移，所以偏移量可能與第一實(shí)施例的情況不同。位偏移改變單元430對(duì)深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的位進(jìn)行偏移改變，以使得深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的位深度與組分圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度相匹配。位偏移改變單元430將組分圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)在不對(duì)位進(jìn)行偏移改變的情況下提供給EBCOT單元321 (箭頭431)。此外，位偏移改變單元430將作為偏移改變的結(jié)果得到的深度數(shù)據(jù)D’的系數(shù)數(shù)據(jù)提供給EBCOT單元321 (箭頭431)。此外，位偏移改變單元430將指示深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的偏移量的位偏移改變信息提供給復(fù)用單元115 (箭頭432)。在這種情況下，偏移改變包括上移、下移和無(wú)偏移改變(O位偏移)。其它處理都與圖13中所示的編碼單元113的情況相同。[上移的示例]圖30是描述這種情況的上移的示例的圖。如圖30中所示，當(dāng)組分圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)441 (這里，為了描述的方便，只有亮度數(shù)據(jù)Y被示出)為M位并且深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)為N位(M>N)時(shí)，位偏移改變單元430將深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)上移(M-N)位的偏移量，并將在低位位置的(M-N)位填充O (深度數(shù)據(jù)D’)。位偏移改變單元430將該深度數(shù)據(jù)D’的系數(shù)數(shù)據(jù)443提供給EBCOT單元321。當(dāng)按照這種方式在編碼單元內(nèi)執(zhí)行偏移改變時(shí)，例如在讀取存儲(chǔ)在緩沖器等中的系數(shù)數(shù)據(jù)時(shí)，系數(shù)數(shù)據(jù)可以在假設(shè)其已經(jīng)被偏移改變的情況下被處理，并且其實(shí)際上可以在不增加數(shù)據(jù)量的情況下被存儲(chǔ)。因此，通過(guò)在編碼單元內(nèi)執(zhí)行偏移改變，至少在EBCOT被執(zhí)行之前存儲(chǔ)系數(shù)數(shù)據(jù)的存儲(chǔ)器容量可以被壓縮。此外，由于允許省略位偏移改變單元112，所以可以抑制電路大小和成本的增加。[圖像解碼裝置的配置]圖31圖示了與圖像編碼裝置相對(duì)應(yīng)的圖像解碼裝置的配置的示例。在圖31中，雖然圖像解碼裝置450具有與圖4的圖像解碼裝置150基本類似的配置，但是位偏移改變單元153被省略了，并且解碼單元452被包括來(lái)代替解碼單元152。在該示例中，分離單元151從圖像數(shù)據(jù)和深度數(shù)據(jù)中分離出位偏移改變信息。分離單元151將圖像數(shù)據(jù)、深度數(shù)據(jù)和位偏移改變信息提供給解碼單元452 (箭頭162和箭頭163)。S卩，解碼單元452在其內(nèi)部對(duì)深度數(shù)據(jù)D’的位進(jìn)行偏移改變。解碼單元452不僅輸出組分圖像數(shù)據(jù)(箭頭163-1到箭頭163-3)，而且輸出經(jīng)過(guò)偏移改變的深度數(shù)據(jù)D’(箭頭 165)。[解碼單元的配置]
圖32是描述圖31的解碼單元452的主要配置的示例的框圖。圖32中所示的解碼單元452具有與圖22中所示的解碼單元152基本類似的配置。但是，解碼單元452包括在EBCOT單元371與位平面合成單元364之間的位偏移改變單元460。該位偏移改變單元460執(zhí)行與位偏移改變單元153基本類似的處理，只是處理目標(biāo)是深度數(shù)據(jù)D’的系數(shù)數(shù)據(jù)。位偏移改變單元460將深度數(shù)據(jù)D’的系數(shù)數(shù)據(jù)在與位偏移改變單元430執(zhí)行的偏移改變相反的方向上偏移改變?cè)趶姆纸鈫卧?51提供的位偏移改變信息中指示的偏移量(箭頭461 =箭頭164)。位偏移改變單元460將被偏移改變后的深度數(shù)據(jù)D提供給位平面合成單元364(箭頭 462)。[下移的示例]例如，當(dāng)深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)被上移(M-N)位時(shí)，位偏移改變單元460刪除被填充O的作為深度數(shù)據(jù)D’的系數(shù)數(shù)據(jù)的低位的(M-N)位，并將高N位下移。當(dāng)偏移改變?cè)诮獯a單元內(nèi)被執(zhí)行時(shí)，已在編碼單元內(nèi)被偏移改變的深度數(shù)據(jù)可以被恢復(fù)為原來(lái)的位深度。[編碼過(guò)程的流程]接下來(lái)，描述每個(gè)過(guò)程的流程的示例。首先，參考圖34的流程圖描述編碼單元413執(zhí)行的編碼過(guò)程的流程的示例。因?yàn)槌瞬襟ES104的處理被省略以外，圖像編碼裝置400執(zhí)行的圖像編碼過(guò)程與參考圖6描述的圖像編碼過(guò)程相同，所以相關(guān)的描述不再重復(fù)。此外，編碼單元413的編碼過(guò)程也基本與參考圖23描述的編碼過(guò)程相類似。但是，在步驟S407中，位深度檢測(cè)單元420檢測(cè)在步驟S406中已在位平面中被展開(kāi)的圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)和深度數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度中的每一個(gè)。在步驟S408中，位偏移改變單元430基于在步驟S407中檢測(cè)到的每個(gè)系數(shù)數(shù)據(jù)的位深度對(duì)深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的位進(jìn)行偏移改變，以使得深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的位深度與圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度相匹配。在步驟S408中，EBCOT單元321對(duì)圖像數(shù)據(jù)和已經(jīng)過(guò)偏移改變的深度數(shù)據(jù)D’執(zhí)行熵編碼。步驟S401到S406和步驟S409到S413中的每個(gè)處理按照與圖23的步驟S301到S311中的每個(gè)處理類似的方式被執(zhí)行。[解碼過(guò)程的流程]接下來(lái)，參考圖35的流程圖描述解碼單元452執(zhí)行的解碼過(guò)程的流程圖的示例。因?yàn)槌瞬襟ES124的處理被省略以外，圖像解碼裝置450執(zhí)行的圖像解碼過(guò)程與參考圖7描述的圖像解碼過(guò)程相類似，所以相關(guān)的描述不再重復(fù)。此外，解碼單元452的解碼過(guò)程也基本與參考圖25描述的解碼過(guò)程相類似。但是在步驟S464中，位偏移改變單元460將已在步驟S463中被解碼的深度數(shù)據(jù)D的系數(shù)數(shù)據(jù)的位進(jìn)行偏移改變。在步驟S465中，位平面合成單元364針對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)D中的每一個(gè)的位平面進(jìn)行合成。
步驟S461到S463和步驟S465到S469中的每個(gè)處理按照與圖25的步驟S361到S368中的每個(gè)處理類似的方式被執(zhí)行。如上所述，系數(shù)數(shù)據(jù)的位偏移可以在編碼單元413和解碼單元452中被執(zhí)行。在這種情況下，圖像編碼裝置400可以對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，可以更高效地提供立體視圖。此外，圖像解碼裝置450可以對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行解碼，這可以快速且更適當(dāng)?shù)靥峁┌瓷鲜龇绞奖痪幋a的立體視圖。[3.第三實(shí)施例][圖像編碼裝置的配置]圖36是圖示了本發(fā)明被應(yīng)用于的圖像編碼裝置的配置的另一示例的框圖。如圖36中所示，上述編碼器可以被應(yīng)用于實(shí)際3D圖像輸入/編碼系統(tǒng)。圖36的圖像編碼裝置500是接收3D圖像并對(duì)其進(jìn)行編碼的裝置。圖像編碼裝置500的深度數(shù)據(jù)生成單元511接收X個(gè)相機(jī)圖像和X個(gè)輸出圖像(521-1，521-2，…和521-X)，以像素為單位將這些圖像內(nèi)的相同時(shí)間點(diǎn)的圖片進(jìn)行對(duì)比，并生成該時(shí)間點(diǎn)的圖片的深度數(shù)據(jù)522。所生成的深度數(shù)據(jù)例如可以用灰度級(jí)的位圖數(shù)據(jù)來(lái)表示，如以上參考圖2B所描述的。關(guān)于深度數(shù)據(jù)生成單元511用來(lái)生成深度數(shù)據(jù)的方法，來(lái)自多個(gè)機(jī)構(gòu)的很多研究結(jié)果已被報(bào)道。例如，在 SPIE 會(huì)議中〃Algorithm for dynamic3D object generationfrom multi-viewpoint image" (5599，2004，153，161)作者K. Tomiyama, Y. Orihira, M.Katayama和Y. Iwadate)，如下技術(shù)被報(bào)道，其中目標(biāo)物體的圖像的3D形狀根據(jù)具有多個(gè)視差的圖像被自動(dòng)預(yù)測(cè)并生成。深度數(shù)據(jù)生成單元511例如利用這種技術(shù)來(lái)生成深度數(shù)據(jù)。接下來(lái)，深度數(shù)據(jù)522被提供給深度數(shù)據(jù)編碼單元512。深度數(shù)據(jù)編碼單元512按照上述其它實(shí)施例中所描述的方式對(duì)深度數(shù)據(jù)522進(jìn)行編碼，并生成碼流523。此外，X個(gè)輸出圖像(521-1，521-2，. ·.和521-X)被提供給相機(jī)圖像選擇單元513。相機(jī)圖像選擇單元513從X個(gè)輸出圖像中選擇Y個(gè)圖像。Y個(gè)相機(jī)圖像(524-1，524-2，...和524-Y)被提供給相機(jī)圖像編碼單元514。相機(jī)圖像編碼單元514按照上述其它實(shí)施例中所描述的方式對(duì)Y個(gè)相機(jī)圖像進(jìn)行編碼，并生成碼流525-1到525-Y。此時(shí)，深度數(shù)據(jù)編碼單元512和相機(jī)圖像編碼單元514可以交換關(guān)于它們的碼生成量的信息，并聯(lián)合執(zhí)行對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)的速率控制。碼流523被提供給復(fù)用單元515。此外，碼流525_1到525-Y被提供給復(fù)用單元515。此外，復(fù)用單元515還從深度數(shù)據(jù)編碼單元512獲取位偏移改變信息。復(fù)用單元515將碼流523和碼流525-1到525-Y進(jìn)行復(fù)用，并生成復(fù)用數(shù)據(jù)526。復(fù)用數(shù)據(jù)526被輸出到圖像編碼裝置500的外部。此外，以上描述是關(guān)于從X個(gè)圖像中選擇Y個(gè)圖像的技術(shù)。但是，只從X個(gè)圖像中選擇關(guān)鍵圖像是一種有效的方式，因?yàn)槔绠?dāng)X的值很大時(shí)，信息量也很大。作為選擇圖像的方法，選擇每隔一個(gè)圖像或優(yōu)先選擇其中包括目標(biāo)物體(例如，人、車等)的圖像的圖像是一種有效的方式。通過(guò)以這種方式縮減目標(biāo)圖像的數(shù)目，不僅可以減少編碼器的處理負(fù)荷，而且可以減少后面要描述的解碼器的處理負(fù)荷，并且因此可以減少整個(gè)碼流的數(shù)據(jù)量。例如，會(huì)有這樣的效果，即當(dāng)數(shù)據(jù)在網(wǎng)上被傳輸時(shí)，可以實(shí)現(xiàn)快速傳輸。 根據(jù)來(lái)自多個(gè)機(jī)構(gòu)的研究結(jié)果，在估計(jì)和生成高精度圖像的深度數(shù)據(jù)時(shí)，一般來(lái)說(shuō)，當(dāng)具有不同視差的圖像的數(shù)目增加時(shí)，精度變高。因此，圖36的X的數(shù)據(jù)量越大越好。然而，如上所述，對(duì)全部X個(gè)圖像進(jìn)行編碼和傳輸不是高效的?？s減數(shù)據(jù)是有效的方法。對(duì)圖像中被縮減掉的部分的補(bǔ)充可以通過(guò)下述解碼器來(lái)實(shí)現(xiàn)。此外，除了圖36的配置以外，利用以下配置，深度數(shù)據(jù)和相機(jī)圖像可以用相同的編碼裝置被編碼相機(jī)圖像的位深度被檢測(cè)；檢測(cè)到的位深度與深度數(shù)據(jù)的位深度進(jìn)行比較；位偏移被執(zhí)行以使得深度數(shù)據(jù)的位深度與相機(jī)圖像的位深度相匹配；總共(Y+1)個(gè)項(xiàng)的圖像數(shù)據(jù)，其中Y個(gè)圖像數(shù)據(jù)項(xiàng)和已被進(jìn)行了偏移改變的深度數(shù)據(jù)被組合然后被編碼；位偏移值從復(fù)用單元被發(fā)送。[圖像解碼裝置的配置]圖37是圖示了本發(fā)明被應(yīng)用于的圖像解碼裝置的配置的另一示例的框圖。圖37中所示的圖像解碼裝置600是與圖36的圖像編碼裝置500相對(duì)應(yīng)的裝置，并且是對(duì)通過(guò)對(duì)三維圖像數(shù)據(jù)的編碼得到的編碼后數(shù)據(jù)進(jìn)行解碼的裝置。圖像解碼裝置600包括分離單元611、深度數(shù)據(jù)解碼單元612、相機(jī)圖像解碼單元613和圖像呈現(xiàn)單元614。當(dāng)經(jīng)復(fù)用的碼流621被提供時(shí)，分離單元611將其分成深度數(shù)據(jù)的碼流622和Y個(gè)相機(jī)圖像的碼流(624-1，624-2，…，624-Y)。這Y個(gè)相機(jī)圖像的碼流(624-1，624-2，...，624-Y)被提供給相機(jī)圖像解碼單元613，并且深度數(shù)據(jù)的碼流622被提供給深度數(shù)據(jù)解碼單元612。相機(jī)圖像解碼單元613利用與相機(jī)圖像編碼單元514的編碼方法對(duì)應(yīng)的解碼方法對(duì)Y個(gè)相機(jī)圖像的碼流(624-1，624-2，…，624-Y)進(jìn)行解碼，并生成Y個(gè)相機(jī)圖像(625-1，625-2，...，625-Y)。Y 個(gè)相機(jī)圖像(625-1，625-2，· · ·，625-Y)被提供給圖像呈現(xiàn)單元 614。此外，深度數(shù)據(jù)的碼流622被提供給深度數(shù)據(jù)解碼單元612。深度數(shù)據(jù)解碼單元612利用與深度數(shù)據(jù)編碼單元512的編碼方法對(duì)應(yīng)的解碼方法對(duì)深度數(shù)據(jù)的碼流622進(jìn)行解碼。深度數(shù)據(jù)解碼單元612將通過(guò)解碼得到的深度數(shù)據(jù)623提供給圖像呈現(xiàn)單元614。圖像呈現(xiàn)單元614利用Y個(gè)相機(jī)圖像(625-1，625-2，…，625-Y)和深度數(shù)據(jù)623合成出X個(gè)相機(jī)圖像(Χ>γ)。合成X個(gè)相機(jī)圖像的方法是任意的，但是例如在Christoph Fehn(HHI)的 SPIE-IS&T/Vol. 5291:"Depth-Image-Based Rendering (DIBR), Compression andTransmission for a New Approach on 3D_TV〃 中有報(bào)道已知的技術(shù)。雖然傳統(tǒng)技術(shù)對(duì)組分圖像數(shù)據(jù)和深度數(shù)據(jù)分開(kāi)進(jìn)行編碼，但是根據(jù)以上描述，深度數(shù)據(jù)的位深度被調(diào)節(jié)以與組分圖像數(shù)據(jù)的位深度匹配，然后對(duì)它們的編碼用相同的編碼裝置來(lái)執(zhí)行，并且同時(shí)控制它們的編碼速率。因此，與傳統(tǒng)的分開(kāi)編碼技術(shù)相比，編碼可以被快速且高效地執(zhí)行(具有更高的質(zhì)量)。此外，在根據(jù)利用位平面的JPEG2000的編碼中，在經(jīng)過(guò)小波變換的系數(shù)在位平面中被展開(kāi)之后，位偏移以碼塊為單位被執(zhí)行，并且對(duì)MSB的位置的對(duì)齊被執(zhí)行。因此，深度數(shù)據(jù)的位平面的編碼速率和組分圖像數(shù)據(jù)的位平面的編碼速率被同時(shí)執(zhí)行。〈4.第四實(shí)施例〉[個(gè)人計(jì)算機(jī)]
上述一系列過(guò)程可以利用硬件或者利用軟件來(lái)執(zhí)行。在該示例中，例如其可以利用圖38中所示的個(gè)人計(jì)算機(jī)來(lái)配置。在圖38中，個(gè)人計(jì)算機(jī)700的CPU 701根據(jù)存儲(chǔ)在ROM (只讀存儲(chǔ)器)702中的程序或者從存儲(chǔ)單元713被載入RAM (隨機(jī)訪問(wèn)存儲(chǔ)器)703的程序執(zhí)行各種過(guò)程。CPU 701執(zhí)行各種過(guò)程所需要的數(shù)據(jù)等也被適當(dāng)?shù)卮鎯?chǔ)在RAM 703中。CPU 701、ROM 702和RAM 703經(jīng)由總線704被連接到彼此。輸入/輸出接口 710也被連接到總線704。包括鍵盤(pán)、鼠標(biāo)等的輸入單元711 ;包括CRT (陰極射線管)、IXD (液晶顯示器)等的顯示器；包括揚(yáng)聲器等的輸出單元712 ;利用硬盤(pán)等配置的存儲(chǔ)單元713 ;以及利用調(diào)制解調(diào)器等配置的通信單元714被連接到輸入/輸出接口 710。通信單元714執(zhí)行包括互聯(lián)網(wǎng)的網(wǎng)絡(luò)上的通信過(guò)程。驅(qū)動(dòng)器715也被根據(jù)需要連接到輸入/輸出接口 710，諸如磁盤(pán)、光盤(pán)、磁光盤(pán)和半導(dǎo)體存儲(chǔ)器之類的可移除介質(zhì)721被適當(dāng)?shù)匕惭b在其中，并且從可移除介質(zhì)中讀取的計(jì)算機(jī)程序根據(jù)需要被安裝在存儲(chǔ)單元713中。當(dāng)上述一系列過(guò)程用軟件來(lái)執(zhí)行時(shí)，構(gòu)成該軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)中被安裝。記錄介質(zhì)例如可以利用其中記錄有程序的、被分配為與如圖38中所示的裝置的主體相獨(dú)立地將程序傳送給用戶的可移除介質(zhì)721來(lái)配置，所述可移除介質(zhì)例如磁盤(pán)(包括柔性盤(pán))、光盤(pán)(包括⑶-ROM (緊致性只讀存儲(chǔ)器)和DVD (數(shù)字通用盤(pán)))或半導(dǎo)體存儲(chǔ)器?；蛘撸涗浗橘|(zhì)可以利用其中記錄有程序的ROM 702或者包括在存儲(chǔ)單元713中的硬盤(pán)來(lái)配置，所述記錄介質(zhì)以被提前嵌入到裝置的主體中的嵌入形式被分配給用戶。計(jì)算機(jī)所執(zhí)行的程序可以是依照本申請(qǐng)說(shuō)明書(shū)中所描述的過(guò)程以時(shí)間順序的方式執(zhí)行過(guò)程的程序，或者可以是并行地或者在必要的定時(shí)處(例如當(dāng)發(fā)生調(diào)用時(shí))執(zhí)行過(guò)程的程序。此外，被記錄在記錄介質(zhì)中的程序中所描述的步驟不僅可以包括按上述過(guò)程以時(shí)間順序的方式被執(zhí)行的步驟，還可以包括并行或者獨(dú)立地被執(zhí)行的步驟，而不需要以時(shí)間順序的方式被執(zhí)行。此外，在本申請(qǐng)的說(shuō)明書(shū)中，術(shù)語(yǔ)“系統(tǒng)”表示通過(guò)包括多個(gè)設(shè)備(裝置)來(lái)配置的裝置的整體。此外，在以上描述中作為一個(gè)裝置描述的配置(或一個(gè)處理單元)可以被分割以變成其中包括多個(gè)設(shè)備(處理單元)的配置。反之，被描述為包括多個(gè)裝置(處理單元)的配置可以被集成以變成其中包括一個(gè)裝置(處理單元)的配置。此外，除上述配置以外的配置可以被添加到每個(gè)裝置(或處理單元)中。此外，如果作為整個(gè)系統(tǒng)的配置和操作是基本相同的，則某個(gè)裝置(或某個(gè)處理單元)的配置的一部分可以被包括在另一裝置(另一處理單元)的配置中。就是說(shuō)，本發(fā)明的實(shí)施例不局限于上述實(shí)施例，并且在不脫離本發(fā)明主旨的范圍內(nèi)對(duì)這些實(shí)施例的各種修改都是可以的。本發(fā)明可以被應(yīng)用于例如數(shù)字影院編輯裝置、檔案系統(tǒng)、用于廣播電臺(tái)的圖像傳送裝置、圖像數(shù)據(jù)庫(kù)、醫(yī)學(xué)圖像記錄系統(tǒng)、網(wǎng)絡(luò)服務(wù)器、基于互聯(lián)網(wǎng)的圖像傳送裝置、無(wú)線傳送裝置、來(lái)自電影院的二級(jí)視頻分配裝置、非線性編輯裝置、游戲機(jī)、電視系統(tǒng)、HDD記錄器、基于PC的授權(quán)工具、軟件模塊等。 標(biāo)號(hào)列表100 圖像編碼裝置111 位深度檢測(cè)單元112 位偏移改變單元113 編碼單元114 速率控制單元115 復(fù)用單元150 圖像解碼裝置151 分離單元152 解碼單元153 位偏移改變單元400 圖像處理裝置413 編碼單元430 位偏移改變單元450 圖像解碼裝置452 解碼單元460 位偏移改變單元
權(quán)利要求
1.一種圖像處理裝置，包括 編碼單元，所述編碼單元根據(jù)預(yù)定的編碼系統(tǒng)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置，并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及 速率控制單元，所述速率控制單元利用所述編碼單元對(duì)所述圖像數(shù)據(jù)的編碼結(jié)果以及所述編碼單元對(duì)所述深度數(shù)據(jù)的編碼結(jié)果，執(zhí)行對(duì)在利用所述編碼單元對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制以及對(duì)利用所述編碼單元對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，還包括 檢測(cè)單元，所述檢測(cè)單元檢測(cè)所述圖像數(shù)據(jù)的位深度；以及 偏移改變單元，所述偏移改變單元將所述深度數(shù)據(jù)進(jìn)行如下偏移量的偏移改變，所述偏移量對(duì)應(yīng)于所述檢測(cè)單元所檢測(cè)到的所述圖像數(shù)據(jù)的位深度與所述深度數(shù)據(jù)的位深度·之間的差異。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述偏移改變單元將所述深度數(shù)據(jù)上移所述差異的量并執(zhí)行零填充，所述零填充將比被上移的所述深度數(shù)據(jù)更低位置的位中填充值為“0”的系數(shù)。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中 所述偏移改變單元從所述深度數(shù)據(jù)的最低位中刪除與所述差異的量相對(duì)應(yīng)的數(shù)據(jù)，并將未被刪除的所述深度數(shù)據(jù)的較高位下移所述差異的量。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括 復(fù)用單元，所述復(fù)用單元將所述圖像數(shù)據(jù)的編碼后數(shù)據(jù)與指示所述偏移改變單元執(zhí)行的所述偏移改變的偏移量的偏移改變信息進(jìn)行復(fù)用。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述編碼單元包括 正交變換單元，所述正交變換單元針對(duì)具有預(yù)定大小的每個(gè)宏塊對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)執(zhí)行正交變換；以及 熵編碼單元，所述熵編碼單元對(duì)通過(guò)所述正交變換單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)的正交變換得到的系數(shù)數(shù)據(jù)執(zhí)行熵編碼。
7.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述編碼單元包括 小波變換單元，所述小波變換單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)執(zhí)行小波變換； 劃分單元，所述劃分單元以具有預(yù)定大小的碼塊為單位劃分通過(guò)所述小波變換單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)的小波變換得到的系數(shù)數(shù)據(jù)； 展開(kāi)單元，所述展開(kāi)單元在位平面中展開(kāi)通過(guò)所述劃分單元的劃分得到的每個(gè)碼塊的系數(shù)數(shù)據(jù)；以及 熵編碼單元，所述熵編碼單元對(duì)所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)的所述系數(shù)數(shù)據(jù)的位平面執(zhí)行熵編碼，所述位平面由所述展開(kāi)單元展開(kāi)并按照重要性的順序被重排。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中 所述編碼單元還包括偏移改變單元，所述偏移改變單元將所述深度數(shù)據(jù)進(jìn)行如下偏移量的偏移改變，所述偏移量與所述圖像數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度與通過(guò)所述小波變換單元執(zhí)行的小波變換得到的所述深度數(shù)據(jù)的系數(shù)數(shù)據(jù)的位深度之間的差異相對(duì)應(yīng)。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，還包括 復(fù)用單元，所述復(fù)用單元將所述圖像數(shù)據(jù)的編碼后數(shù)據(jù)與指示所述偏移改變單元執(zhí)行的所述偏移改變的偏移量的偏移改變信息進(jìn)行復(fù)用。
10.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中 所述圖像數(shù)據(jù)是包括亮度Y、色差Cb和色差Cr的組分圖像數(shù)據(jù)，并且 所述深度數(shù)據(jù)是灰度級(jí)的位圖數(shù)據(jù)。
11.一種用于圖像處理裝置的圖像處理方法，所述方法包括 所述圖像處理裝置的編碼單元根據(jù)預(yù)定的編碼系統(tǒng)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及 所述圖像處理裝置的速率控制單元利用所述圖像數(shù)據(jù)的編碼結(jié)果以及所述深度數(shù)據(jù)的編碼結(jié)果，執(zhí)行對(duì)在對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制以及對(duì)在對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制。
12.—種程序，該程序使得計(jì)算機(jī)用作 編碼單元，所述編碼單元根據(jù)預(yù)定的編碼系統(tǒng)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行編碼，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及 速率控制單元，所述速率控制單元利用所述編碼單元對(duì)所述圖像數(shù)據(jù)的編碼結(jié)果以及所述編碼單元對(duì)所述深度數(shù)據(jù)的編碼結(jié)果，執(zhí)行對(duì)在利用所述編碼單元對(duì)所述圖像數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制以及對(duì)利用所述編碼單元對(duì)所述深度數(shù)據(jù)進(jìn)行編碼過(guò)程中的碼生成量的速率控制。
13.一種圖像處理裝置，包括 分離單元，所述分離單元從復(fù)用數(shù)據(jù)中分離出偏移改變信息，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)被得到通過(guò)對(duì)圖像數(shù)據(jù)編碼得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息； 解碼單元，所述解碼單元根據(jù)預(yù)定的解碼系統(tǒng)對(duì)所述編碼后數(shù)據(jù)進(jìn)行解碼；以及 偏移改變單元，所述偏移改變單元將在被所述解碼單元解碼之后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與所述偏移改變的方向相反的方向上偏移改變由所述分離單元分離出的所述偏移改變信息指示的偏移量。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中 所述偏移改變單元從所述深度數(shù)據(jù)的最低位中刪除與所述偏移量相對(duì)應(yīng)的數(shù)據(jù)，并將未被刪除的所述深度數(shù)據(jù)的較高位下移所述偏移量。
15.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中 所述偏移改變單元將所述深度數(shù)據(jù)上移所述偏移量并執(zhí)行零填充，所述零填充將值為“0”的系數(shù)插入作為比被上移的所述深度數(shù)據(jù)更低位置的位。
16.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中 所述解碼單元包括 熵解碼單元，所述熵解碼單元對(duì)通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行編碼得到的編碼后數(shù)據(jù)和通過(guò)對(duì)深度數(shù)據(jù)進(jìn)行偏移改變并對(duì)經(jīng)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)執(zhí)行熵解碼；以及 逆正交變換單元，所述逆正交變換單元對(duì)通過(guò)對(duì)所述圖像數(shù)據(jù)的正交變換得到的系數(shù)數(shù)據(jù)和通過(guò)對(duì)所述深度數(shù)據(jù)的正交變換得到的系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，所述系數(shù)數(shù)據(jù)通過(guò)所述熵解碼單元的熵解碼而被得到。
17.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中 所述解碼單元包括 熵解碼單元，所述熵解碼單元對(duì)通過(guò)對(duì)圖像數(shù)據(jù)進(jìn)行編碼得到的編碼后數(shù)據(jù)和通過(guò)對(duì)深度數(shù)據(jù)進(jìn)行偏移改變并對(duì)經(jīng)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)執(zhí)行熵解碼； 位平面合成單元，所述位平面合成單元合成所述系數(shù)數(shù)據(jù)的位平面，所述系數(shù)數(shù)據(jù)是通過(guò)所述熵解碼單元執(zhí)行的熵解碼得到的并且是在所述位平面中被展開(kāi)的； 碼塊合成單元，所述碼塊合成單元針對(duì)具有預(yù)定大小的每個(gè)碼塊合成所述系數(shù)數(shù)據(jù)，所述系數(shù)數(shù)據(jù)是通過(guò)所述位平面合成單元的合成得到的；以及 小波逆變換單元，所述小波逆變換單元針對(duì)通過(guò)所述碼塊合成單元的合成得到的每個(gè)子頻帶對(duì)所述系數(shù)數(shù)據(jù)執(zhí)行小波逆變換，并得到所述圖像數(shù)據(jù)和所述深度數(shù)據(jù)。
18.一種用于圖像處理裝置的圖像處理方法，所述方法包括 所述圖像處理裝置的分離單元從復(fù)用數(shù)據(jù)中分離出偏移改變信息，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)被得到通過(guò)對(duì)圖像數(shù)據(jù)編碼得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息； 利用所述圖像處理裝置的解碼單元根據(jù)預(yù)定的解碼系統(tǒng)對(duì)所述編碼后數(shù)據(jù)進(jìn)行解碼；以及 利用所述圖像處理裝置的偏移改變單元將在被所述解碼單元解碼之后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與所述偏移改變的方向相反的方向上偏移改變由所述分離單元分離出的所述偏移改變信息指示的偏移量。
19.一種程序，使得計(jì)算機(jī)用作 分離單元，所述分離單元從復(fù)用數(shù)據(jù)中分離出偏移改變信息，所述復(fù)用數(shù)據(jù)通過(guò)復(fù)用以下數(shù)據(jù)被得到通過(guò)對(duì)圖像數(shù)據(jù)編碼得到的編碼后數(shù)據(jù)；通過(guò)將深度數(shù)據(jù)偏移改變預(yù)定的偏移量并對(duì)所述經(jīng)過(guò)偏移改變后的深度數(shù)據(jù)進(jìn)行編碼而得到的編碼后數(shù)據(jù)，所述深度數(shù)據(jù)指示在所述圖像數(shù)據(jù)的圖像內(nèi)的整個(gè)區(qū)域上的深度方向上的位置并用于從所述圖像數(shù)據(jù)的圖像中生成具有視差且可立體觀看的圖像；以及指示所述偏移量的偏移改變信息； 解碼單元，所述解碼單元根據(jù)預(yù)定的解碼系統(tǒng)對(duì)所述編碼后數(shù)據(jù)進(jìn)行解碼；以及偏移改變單元，所述偏移改變單元將在被所述解碼單元解碼之后經(jīng)過(guò)偏移改變的深度數(shù)據(jù)在與所述偏移改變的方向相反的方向上偏移改變由所述分離單元分離出的所述偏移 改變信息指示的偏移量。
全文摘要
本發(fā)明涉及可以進(jìn)一步提高編碼效率的圖像處理裝置、方法和程序。在步驟S104中，位偏移改變單元(112)利用檢測(cè)到的圖像數(shù)據(jù)的位深度對(duì)在步驟S103中所獲取的深度數(shù)據(jù)(D)進(jìn)行偏移改變，并且調(diào)節(jié)深度數(shù)據(jù)(D)的位深度以與圖像數(shù)據(jù)的位深度匹配。在步驟S105中，編碼單元(113)對(duì)圖像數(shù)據(jù)和深度數(shù)據(jù)(D)進(jìn)行編碼。在步驟S106中，速率控制單元(114)基于在步驟S105中執(zhí)行的對(duì)圖像數(shù)據(jù)編碼的結(jié)果和對(duì)深度數(shù)據(jù)編碼的結(jié)果控制在步驟S105中執(zhí)行的每個(gè)編碼的速率。該彎曲的面部被設(shè)置為預(yù)測(cè)圖像。本發(fā)明例如可被應(yīng)用于圖像處理裝置。
文檔編號(hào)H04N7/26GK102812716SQ20118001482
公開(kāi)日2012年12月5日 申請(qǐng)日期2011年3月14日 優(yōu)先權(quán)日2010年3月26日
發(fā)明者福原隆浩 申請(qǐng)人:索尼公司