專利名稱：圖像編碼裝置和方法以及圖像解碼裝置和方法
技術領域：
本發(fā)明涉及用于運動圖像或靜止圖像的圖像編碼裝置和方法以 及圖像解碼裝置和方法。
背景技術：
作為代表性運動圖像編碼標準方式的H.264是如下的非可逆壓 縮方式對輸入圖像信號與通過進行畫面內(nèi)預測或運動補償生成的預 測圖像信號的預測誤差信號，進行離散余弦變換(DCT )等正交變換， 在進行了這樣的向頻率軸上的變換后，對變換系數(shù)進行基于量化和編 碼的壓縮處理，得到編碼圖像。在生成預測圖像信號時，在畫面內(nèi)預 測或運動補償?shù)膬?nèi)插濾波器中，使多個像素乘以濾波系數(shù)并相加后， 以與輸入圖像的像素比特長相同的精度進行舍入處理。
在特開2003- 283872號公報中示出如下方法將針對輸入圖像 的每一幀擴大了各色信號的動態(tài)范圍的圖像作為輸入來進行編碼，在 解碼后通過復原到原來的動態(tài)范圍，來抑制由于顯示裝置的校正引起 的編碼失真的強調(diào)。
在H.264中，在生成預測信號時的舍入處理的過程中，產(chǎn)生舍入 誤差，因此在畫面內(nèi)預測或運動補償?shù)膬?nèi)插濾波器中無法以足夠的精 度進行處理，從而導致預測誤差信號的增大，結果編碼效率降低。對 此，在特開2003 -283872號公報中，通過擴大輸入圖像的動態(tài)范圍， 可以將前述的舍入誤差減少若干。但是，特開2003 -283872號公報 中的動態(tài)范圍的擴大僅在輸入圖像的比特精度的范圍內(nèi)進行，并且， 在動態(tài)范圍的擴大時也產(chǎn)生舍入誤差，因此無法充分地提高計算精 度。在特開平4 -32667號公報中公開了如下方法應用于編碼器和 解碼器都一體設置的數(shù)碼相機，按照編碼器和解碼器共有的DCT運
算精度，對輸入圖像的比特長進行比特移位。在該方法中，如果編碼 器和解碼器分開設置并且各自的DCT運算精度不同，則按照各自的 DCT運算精度進行比特移位，因此以不同的比特數(shù)進行移位，從而產(chǎn) 生失配。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種通過充分提高畫面內(nèi)預測或運動補 償?shù)木葋硖岣呔幋a效率的圖像編碼裝置、圖像編碼方法以及圖像解 碼裝置、圖像解碼方法。
本發(fā)明的第l形態(tài)提供一種圖像編碼裝置，具有像素比特長變 換器，通過對輸入圖像的各像素的比特精度進行變換，生成不同比特 精度的變換輸入圖像，并且輸出表示通過變換而變更的比特數(shù)的比特 變換信息；圖像編碼器，對上述變換輸入圖像進行編碼，輸出圖像編 碼信息；和多路復用器，將上述比特變換信息和上述圖像編碼信息多 路復用。
本發(fā)明的第2形態(tài)提供一種圖像編碼裝置，具有像素比特精度 變換器，將由分別具有N比特精度的多個像素構成的輸入圖像的各像 素的比特精度變換成大M比特的(N + M)比特精度；預測圖像生成 器，根據(jù)(N + M)比特精度的參照圖像生成針對(N + M)比特精度 的上述輸入圖像的(N + M)比特精度的預測圖像；減法器，求出(N + M)比特精度的上述輸入圖像與(N + M)比特精度的上述預測圖 像的差分信號；編碼器，對上述差分信號進行編碼，輸出圖像編碼信 息；解碼器，根據(jù)上述圖像編碼信息，輸出解碼差分圖像；加法器， 將(N + M)比特精度的上述預測圖像與上述解碼差分圖像相加，輸 出(N + M)比特精度的解碼圖像；和參照圖像存儲存儲器，將(N +M)比特精度的上述解碼圖像作為上述參照圖像保存。
本發(fā)明的第3形態(tài)提供一種圖像解碼裝置，具有逆多路復用器，
1輸入比特變換信息和圖像編碼信息被多路復用的圖像信息，分離成比
特變換信息和圖像編碼信息；圖像解碼器，對上述圖像編碼信息進行 解碼，輸出解碼圖像；和圖像比特精度變換器，根據(jù)上述比特變換信 包'，'。
本發(fā)明的第4形態(tài)提供一種圖像解碼裝置，具有解碼器，將輸 入編碼圖像信息解碼成(N + M)比特精度的解碼差分圖像；預測圖 像生成器，使用上述編碼圖像信息，根據(jù)(N + M)比特精度的參照 圖像生成(N + M)比特精度的預測圖像；加法器，將上述解碼差分 圖像和上述預測圖像相加，得到(N + M)比特精度的解碼圖像；參 照圖像存儲存儲器，將(N + M)比特精度的上述解碼圖像作為上述 參照圖像保存；和像素比特精度變換器，將(N + M)比特精度的上 述解碼圖像的各像素變換成N比特精度，輸出N比特精度的解碼圖 像。


圖1A是示出本發(fā)明第1實施方式的圖像編碼裝置的結構例的框
圖1B是示出圖1A的圖像編碼裝置的動作的流程圖。
圖2是示出像素比特長擴展器的結構的框圖。
圖3是示出在同一實施方式中使用的語法的結構的一例的圖。
圖4是示出在同一實施方式中使用的序列參數(shù)集語法的結構的
圖5是示出在同一實施方式中使用的補充語法的結構的圖。
圖6是示出在同一實施方式中使用的補充語法的結構的圖。
圖7A是示出同一實施方式的圖像解碼裝置的結構例的框圖。
圖7B是示出圖7A的圖像解碼裝置的動作的流程圖。
圖8是示出圖7的像素比特長縮小器的結構的框圖。
圖9A是示出本發(fā)明第2實施方式的圖像編碼裝置的結構例的框圖9B是示出圖9A的圖像編碼裝置的動作的流程圖。
圖IOA是示出同一實施方式的圖像解碼裝置的結構例的框圖。
圖IOB是示出圖10A的圖像解碼裝置的動作的流程圖。
圖11A是示出本發(fā)明第3實施方式的圖像編碼裝置的結構例的框圖。
圖IIB是示出圖IIA的圖像編碼裝置的動作的流程圖。
圖IIC是示出圖IIA的像素比特長變換器的動作概要的圖。
圖IID是示出圖IIA的像素比特長變換器的結構的一例的框圖。
圖IIE是示出圖IIA的像素比特長變換器的結構的一例的框圖。
圖IIF是示出圖11A的幀存儲器的結構的一例的框圖。
圖12是示出圖11的像素比特長變換器的結構的框圖。
圖13是示出在同一實施方式中使用的序列參數(shù)集語法的結構的圖。
圖14是示出在同一實施方式中使用的圖片參數(shù)集語法的結構的圖。
圖15是示出在同一實施方式中使用的片(slice)級語法的結構的圖。
圖16是示出在同一實施方式中使用的宏塊級語法的結構的圖。 圖17A是示出同一實施方式的圖像解碼裝置的結構例的框圖。 圖17B是示出圖17A的圖像解碼裝置的動作的流程圖。 圖18A是示出本發(fā)明第4實施方式的圖像編碼裝置的結構例的框圖。
圖18B是示出圖18A的圖像編碼裝置的動作的流程圖。
圖19A是示出同一實施方式的圖像解碼裝置的結構例的框圖。
圖19B是示出圖19A的圖像解碼裝置的動作的流程圖。
圖20A是示出本發(fā)明第5實施方式的圖像編碼裝置的結構例的框圖。
圖20B是示出圖20A的圖像編碼裝置的動作的流程圖。
圖21A是示出同一實施方式的圖像解碼裝置的結構例的框圖。圖21B是示出圖21A的圖像解碼裝置的動作的流程圖。
圖22是編碼器側的預測圖像生成器的框圖。
圖23是解碼器側的預測圖像生成器的框圖。
圖24是示出幀間預測器的結構的框圖。
圖25是示出幀間預測器的另一結構的框圖。
圖26是示出幀間預測器的又一結構的框圖。
圖27是示出編碼器側的環(huán)路濾波器的結構的框圖。
圖28是示出解碼側的環(huán)路濾波器的結構的框圖。
圖29是示出像素比特長擴展器的另一結構的框圖。
圖30是濾波處理部的框圖。
圖31是濾波處理部的動作的流程圖。
圖32是像素比特長縮小器的框圖。
圖33A是第6實施方式的圖像編碼裝置的框圖。
圖33B是示出圖33A的圖像編碼裝置的動作的流程圖。
圖34A是第6實施方式的圖像解碼裝置的框圖。
圖34B是示出圖34A的圖像解碼裝置的動作的流程圖。
圖35A是第7實施方式的圖像編碼裝置的框圖。
圖35B是示出圖35A的圖像編碼裝置的動作的流程圖。
圖36是示出序列參數(shù)集語法的圖。
圖37是示出序列參數(shù)集語法的圖。
圖38是示出在圖像編碼裝置的處理中使用的控制標志的設定例的圖。
圖39A是示出第7實施方式的圖像解碼裝置的結構的框圖。 圖39B是示出圖39A的圖像解碼裝置的動作的流程圖。 圖40是示出比特變換信息中包含的控制標志的設定的圖。 圖41是用于說明由于比特精度擴展的有無而產(chǎn)生的舍入誤差的 差異的圖。
圖42是示出半像素精度的預測像素值的圖。
圖43是示出本發(fā)明實施方式的像素比特長擴展和像素比特長縮小中的變換特性的圖。
具體實施例方式
以下參照

本發(fā)明的實施方式。
參照圖1A說明第1實施方式的用于運動圖像編碼的圖像編碼裝 置的結構。該圖像編碼裝置被供給輸入圖像信號100,并且具備擴 展像素比特長的像素比特長擴展器(即，變換像素比特精度的像素比 特精度變換器)1001;與該像素比特長擴展器1001的輸出連接的圖 像編碼器10;與該圖像編碼器10的輸出連接的多路復用部12;和與 像素比特長擴展器1001的另一輸出連接、向多路復用部12供給比特 擴展信息的比特長變換控制器1002。
參照圖1B的流程圖說明圖像編碼裝置的動作。向該圖像編碼裝 置例如以幀為單位輸入運動圖像信號作為輸入圖像信號100 (S11)。 像素比特長擴展器1001進行將輸入的N比特精度的圖像信號100的 各像素變換成比N比特大M比特的(N + M)比特精度的處理。即， 在圖2所示的像素比特長擴展器1001中，根據(jù)比特長擴展信息1003， 通過開關E0選擇是否擴展所輸入的N比特精度的圖像信號100的各 像素的比特長(S12)。在進行擴展的情況下，將開關E0連接到ON
(接通)側，在不進行擴展的情況下，連接到OFF(斷開)側。在使 開關E0為ON的情況下，圖像信號被輸入到像素比特長擴展變換器
(像素比特精度變換器)EOl，進行后述的像素比特長變換(S13)。 在開關E0為OFF的情況下，圖像信號不進行像素比特長變換，而原 樣輸出。例如，在輸入圖像信號的某像素的值為K的情況下，將該像
素值K擴展了 M比特后的像素值K，如以下的公式(1)那樣計算。
K'=K M …(l)
另外，例如也可以結合顯示裝置的特性對像素進行伽馬變換。如 果設要擴展的比特數(shù)為M、伽馬值為Y，則如以下的公式(1-1)所
示計算像素值K，。
<formula>formula see original document page 18</formula> ... (1 一 1)另外，如以下的公式(1-2)所示，可以進一步求出輸入圖像的 像素的最小值Min、最大值Max， 一邊擴寬動態(tài)范圍， 一邊將像素擴 展到M比特的比特精度。
K' =INT〔〔{(K—Min)/(Max—Min)r X((l 〈< M) —1)〕十offset〕
…(l —2)
INT表示舍入成整數(shù)的處理。公式(1-1)、 (1-2)中的offset 表示進行舍入時的偏移，為0~1的任意值。
進而，可以對進行了上述擴展的輸入圖像的序列進行直方圖平滑 化，或者在時空間中實施濾波。
在輸入圖像例如是由RGB等多種成分構成的彩色圖像信號的情 況下，可以在將各成分的各像素的比特長擴展成大M比特的比特精 度后，將各成分變換成其它顏色空間的成分信號。例如，在從RGB 變換為YCoCg的情況下，利用以下的公式(1-3)進行變換。在該 例子中，N比特的輸入圖像的各成分的各像素R、 G、 B在將各像素
的值擴展成大M比特的比特精度后，被變換為Y、 Co、 Cg。
R' -(R << M) G，-(G << M) B' = (B << M)
Y=Round(0.5*G'+0.25* (R'+B，))
Co=Round(0.5*G，—0.25*(R'+B')) + (1 << (N+M —1)) Cg=Round(0.5* (R，一B')) + (1 〈< (N十M — l))
…(l一3)
這里，Round (A)是對A進行四舍五入而舍入為整數(shù)的處理。 在利用公式(1-3)的變換例中，如果使要擴展的比特數(shù)M為2以 上，則可以在舍入處理中不產(chǎn)生舍入誤差地進行顏色變換。這里所示 的顏色變換是一個例子，只要是進行顏色變換的處理，任何處理都可 以。
以上的例子是像素比特長擴展器1001進行的變換的一個例子， 將各像素的值擴展成大M比特的比特精度的處理不限于上述的例子， 只要是擴大比特長的處理，任何處理都可以。如上所述，進行了比特擴展的比特擴展輸入圖像信號1009被導 入圖像編碼器10。另外，生成要擴展的比特數(shù)M、輸入圖像信號的 比特長N以及其它變換所需的伽馬值、像素最大值、最小值、直方圖 等比特變換信息1010 (S14)，作為比特擴展信息1003由比特長變換 控制器(比特精度變換控制器1002 )導入多路復用部12。
圖像編碼器10將所輸入的比特擴展輸入圖像信號1009編碼，作 為圖像編碼數(shù)據(jù)11輸出到多路復用部12 (S15)。多路復用部12將 圖像編碼數(shù)據(jù)11和比特擴展信息1003多路復用(S16)，作為編碼 數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出(S17)。
然后，說明要擴展的比特數(shù)M等變換所需的比特擴展信息1003 的多路復用方法。
圖3示出在本實施方式中使用的語法結構的例子。
在該語法結構例中，在高級語法(401)中嵌入片(slice)以上 的上層的語法信息。在片級語法(402)中，記載了每個片所需的信 息，在宏塊級語法(403 )中，記栽了每個宏塊所需的量化參數(shù)的變 更值或模式信息等。
各語法由更詳細的語法構成。在高級語法(401)中，由序列參 數(shù)集語法(404 )和圖片參數(shù)集語法(405 )等序列和圖片級語法構成。 在片級語法(402 )中，由片標題語法(406 )、片數(shù)據(jù)語法(407) 等構成。并且，宏塊級語法(403 )由宏塊標題語法(408)、宏塊數(shù) 據(jù)語法(409)等構成。
上述的語法是解碼時必要的、不可缺少的構成要素，如果缺少這 些語法信息，則在解碼時無法正確地復原數(shù)據(jù)。另一方面，作為用于 將解碼時不必要的信息多路復用的輔助語法，存在補充語法(410)。
補充語法是為了發(fā)送表示對可在解碼側獨立執(zhí)行的處理的指示的信
息而準備o
在本實施方式中，可以將要擴展的比特數(shù)包含在序列參數(shù)集語法
(404)中來發(fā)送該語法。以下說明各個語法。
圖4的序列參數(shù)集語法內(nèi)所示的ex—seq—bit—extension_flag是表示是否進行比特擴展的標志，該標志為TRUE(真)時，可以以序列 為單位切換是否進行比特擴展。該標志為FALSE (假)時，在序列 內(nèi)不進行比特擴展。當ex—seq—bit_extension—flag為TRUE時，還發(fā) 送表示進行幾個比特擴展的ex_seq—shift_bits 。利用該標志的 TRUE/FALSE來決定例如圖2所示的像素比特長擴展器1001內(nèi)的開 關E0的ON/OFF。
在序列參數(shù)集語法內(nèi)，還可以包含表示進行什么樣的變換的 ex—bit—transform—type來發(fā)送。exbit—transform—type例汐口存儲有表 示公式(1)所示的簡單的比特擴展變換的值BIT—EXT一TRANS、表 示進行了公式(1 - 1)所示的y變換的GAMMA_TRANS、表示進行 了公式(1-2)所示的動態(tài)范圍變換的DR_TRANS等。在 ex—bit—transform_type為GAMMA—TRANS的情況下，進而發(fā)送表 示以什么樣的伽馬值進行了變換的 gamma_value 。 在 ex—bit—transform—type為DR_TRANS的情況下，進而發(fā)送分別表示 輸入圖4象4言號的4象素的最大值和最小值的max_value和min—value。
在本實施方式中，可以利用在補充語法(410)中多路復用的數(shù) 據(jù)。圖5中示出使用補充語法發(fā)送解碼側的輸出圖像信號的比特精度 的例子。補充語法內(nèi)所示的ex_sei—bit_extension_flag是表示是否變更 輸出圖像信號的比特精度的標志，當該標志為TRUE時，表示變更輸 出圖像信號的比特精度。當該標志為FALSE時，表示不進行輸出圖 像信號的比特精度的變更。當該標志為TRUE時，進一步發(fā)送 bit—depth—ofdecoded—image 。 bitdepth一of decoded—image是表示輸 出圖像信號的比特精度的值，在后述的解碼側利用具有進行比特擴展 或縮小來解碼的能力的解碼器對圖像信號進行解碼的情況下，可以按 照bit_depth_of_decoded_image的值，擴大或縮小解碼圖像的比特精 度，輸出以bit_depth_of—decodedjmage表示的比特精度的解碼圖像。
但是，在利用不具有進行比特擴展或縮小來解碼的能力的解碼器 對圖像信號進行解碼的情況下，或者即使具有該能力，也可以不必輸 出以bit—d印th—of—decodedjmage表示的比特精度的解碼圖像，而直接以解碼后的比特精度來輸出。
另外，圖6示出使用補充語法410來發(fā)送解碼側的輸出圖像信號 的顏色空間的例子。ex_sei_bit—extension—flag和bit—c^pth_of_ decoded—image與前述的圖4的例子相同。
補充語法內(nèi)所示的ex—color—transform—flag是表示是否變換輸 出圖像信號的顏色空間的標志，當該標志為TRUE時，表示變更輸出 圖像信號的各成分的顏色空間。而當該標志為FALSE時，表示不進 行輸出圖像信號的各成分的顏色空間的變更。當該標志為TRUE時， 還發(fā)送 color_space—of—decoded—image 。 color—space—of_decoded Jmage是表示輸出圖像信號的顏色空間的值，具有在后述的解碼側進 行比特擴展或縮小來解碼的能力。在利用具有變換成由 color—space—of—decoded—image的值指定的顏色空間的能力的解碼器 對圖像信號進行解碼的情況下，在將輸出圖像信號的各成分變換成由 color—space—of—decoded—image的值指定的顏色空間后，可以按照 bit_depth_of_decoded—image的值，擴大或縮小解碼圖像的比特精度， 輸出以bit—depth—of—decoded_image表示的比特精度的解碼圖像。
但是，在利用不具有將輸出圖像信號的各成分變換成由 color—space—of—decodedjmage的值指定的顏色空間的能力的解碼器 進行解碼的情況下，或者即使具有該能力，也不必輸出變換成由
color_space—of—decoded—image的值指定的顏色空間的解碼圖像。可 以在以解碼后的顏色空間直接輸出解碼圖像后，將成分變換成以 bit—depth_of_decoded—image表示的比特精度。另外，在利用不具有 進行比特擴展或縮小來進行解碼的能力的解碼器對圖像信號進行解 碼的情況下，或者即使具有該能力，也可以不必輸出以 bit—depth—of_decoded_image表示的比特精度的解碼圖像，而直接以 解碼后的比特精度來輸出。
以下參照圖7A、圖7B說明本實施方式的圖像解碼裝置。如圖 7A所示，該圖像解碼裝置具備輸入編碼數(shù)據(jù)的逆多路復用部21; 與逆多路復用部21的輸出連接的圖像解碼器20;與圖像解碼器20的輸出連接的像素比特長縮小器(像素比特精度縮小變換器)2001;從 逆多路復用部21接收比特擴展信息并將比特變換信息輸入到像素比 特長縮小器2001的比特長變換控制器(比特精度變換控制器)2002。
如圖7B的流程圖所示，首先，將利用圖1A的圖像編碼裝置編 碼后的編碼數(shù)據(jù)117輸入到逆多路復用部21 (S21)。在逆多路復用 部21中，編碼數(shù)據(jù)117被分離為比特擴展信息2004和圖像編碼數(shù)據(jù) 11(S22)。比特擴展信息2004被輸入比特長變換控制器2002，圖像 編碼數(shù)據(jù)11被輸入圖像解碼器20。圖像編碼數(shù)據(jù)11按照與圖像編碼 器10進行的編碼相反的過程被解碼，成為比特擴展解碼圖像信號203 (S23 )。比特擴展解碼圖像信號203被輸入像素比特長縮小器2001。 比特擴展信息2004被輸入到比特長變換控制器2002后，比特長變換 控制器2002輸出表示解碼圖像被擴展幾個比特以及變換所需的信息 的比特變換信息2003。
如圖8所示，在像素比特長縮小器2001中，對于所輸入的N比 特精度的圖像信號100，由開關E2根據(jù)比特變換信息10(B選擇是否 縮小各像素的比特長(S24)。開關E2在進行縮小的情況下連接到 ON側，不進行擴展的情況下連接到OFF側。在使開關E2為ON的 情況下，圖像信號被輸入到像素比特長縮小變換器EO2，進行后述的 像素比特長變換(S25)。在開關E2為OFF的情況下，圖像信號不 進行像素比特長變換，而直接輸出。例如，在ex—seq_bit_extension—flag 為TRUE、表示各像素的比特長被擴展的情況下，使開關為ON側， FALSE的情況下，使開關為OFF側。
比特變換信息2003例如利用ex_seq_shift—bits擴展了 M比特、 利用ex—bit—transform—type示出表示進行了例如乂^式(1)所示的變 換的BIT_EXT—TRANS的情況下，被輸入到像素比特長縮小器2001 的比特擴展解碼圖像信號203將各像素的值縮小M比特。例如，在 比特擴展解碼圖像信號203的某像素的值為K的情況下，縮小了 M 比特后的像素值K，如下計算。K' = (K +offset)》M
offset=(l<〈(M—1)) …(2)
這是利用四舍五入將像素值縮小到小M比特的比特長的方法的 一個例子，這里的縮小變換方法只要是例如將offset設為0~ (1<<M) 的任意值等減小比特長的方法，則可以是任意的變換方法。
比特變換信息2003例如利用ex—seq—shift—bits擴展了 M比特、 利用ex—bit_transform—type示出表示進行了例如7>式(1 - 1)所示的 伽馬變換的GAMMA—TRANS。在利用gamma—value示出伽馬值為y 的情況下，被輸入到像素比特長縮小器2001的比特擴展解碼圖像信 號203將各像素的值縮小M比特。例如，在比特擴展解碼圖像信號 203的某像素的值為K的情況下，縮小了 M比特后的像素值K，如下 計算。
K'=INT〔〔{K/((1 <<M) — 1》1/YX((1 〈<N) —1)〕+offset 〕
…(2 —1)
比特變換信息2003例如利用ex—seq—shift—bits擴展了 M比特、 利用ex—bit—transform—type示出表示進4亍了例如z^式(1 - 2 )所示的 動態(tài)范圍變換的DR—TRANS，并且利用min—value、 max—value示出 輸入圖像的像素的最大值和最小值分別為Max、 Min的情況下，被輸 入到像素比特長縮小器2001的比特擴展解碼圖像信號203將各像素 的值縮小M比特。例如，在比特擴展解碼圖像信號203的某像素的
值為K的情況下，縮小了 M比特后的像素值K，如下計算。
K'=INT〔〔{(K—(Min <<M)) / ((Max—Min) <<M)}1/v X ((l 〈< N) —1)〕+offset〕
…(2 —2)
INT表示舍入為整數(shù)的處理。公式(2-1)、 (2-2)中的offset 表示進行舍入時的偏移，為0 1的任意值。
比特變換信息2003例如利用ex—seq_shift_bits擴展了 M比特、 解碼圖像信號的顏色空間是與例如圖5所示補充語法內(nèi)指定的 color—space—of—decoded—image指定的顏色空間不同的顏色空間的情 況下，在將解碼圖像的各成分的各像素變換成color_space—of_decoded—image指定的顏色空間后，將比特長縮小M 比特。例如，在輸入圖像從RGB被變換成YCoCg并編碼，并且在 color—space—of—decoded—image中指定了 RGB的情況下，對于解碼圖 像的各成分的各像素Y、 Co、 Cg，利用以下的公式(2-3)進行比特
縮小和顏色空間變換，各成分的各像素分別被變換成R、 G、 B。
t=(Y—((Cg—(1 << (N+M-l)))》l))
G'=Cliply(t+(Cg—(l 〈< (N十M-l)))) B，=Cliply(t—((Co—(1 << (N+M —1)))〉〉 l)) R'=Cliply(B' + (Co—(1 << (N + M—1)))) offset-(1<〈(M_1))
R=(R'+offset)》M .'.(2-3) G-(G'+ offset) >〉 M B= (B'+ offset) >> M
這里，Cliply ( A)表示如下處理在A滿足0〈A〈 ( 1<< ( N + M))的情況下，直接輸出A，如果A〈0，則輸出0，如果A^(K〈 (N + M)),則輸出(1 (N + M) ) -1。這是利用四舍五入將 像素值縮小為小M比特的比特長的方法的一個例子，這里的縮小變 換方法只要是例如使offset為0~ (1<<M)的任意值等比特減小的方 法，則可以是任意的變換方法。
這里示出了解碼圖像信號的顏色空間由補充語法內(nèi)指定的 color—space—of—decoded—image指定的例子，但在沒有該指定的情況 下，或在高級語法401中與補充語法中所示的例子同樣地指定解碼圖 像信號的顏色空間的情況下，在輸出解碼圖像的過程中進行顏色變換 處理的情況下，也可以在進行顏色變換處理后，將像素值縮小為小M 比特的比特長。另外，這里所示的顏色變換是一個例子，只要是進行 顏色變換的處理，則可以是任何處理。
以上所示的縮小變換是一個例子，只要是減小比特長的方法，任 何變換方法都可以。
通過以上，從像素比特長縮小器2001輸出與輸入到圖像編碼裝 置的輸入圖像相同的N比特精度的解碼圖像202 (S25)。根據(jù)以上結構，圖像編碼和圖像解碼可以以比輸入圖像的比特精
度大M比特的比特精度進行，從而可以提高編碼效率。 (第2實施方式)
參照圖9A說明第2實施方式的用于運動圖像編碼的圖像編碼裝 置的結構。如圖9所示，該圖像編碼裝置具備像素比特長擴展器(像 素比特精度變換器)1001、比特長變換控制器(比特精度變換控制器) 1002、減法器101、正交變換器104、量化器106、逆量化器109、逆 正交變換器IIO、加法器lll、環(huán)路濾波器113、幀存儲器114、預測 圖像生成器115和熵編碼器108。接收輸入圖像信號的像素比特長擴 展器1001的輸出經(jīng)由減法器101、正交變換器104、量化器106與熵 編碼器108連接。量化器106的輸出經(jīng)由逆量化器109、逆正交變換 器IIO、加法器lll、環(huán)路濾波器113、幀存儲器114與預測圖像生成 器115連接。來自預測圖像生成器115的預測圖像信號被輸入減法器 101和加法器111。來自預測圖像生成器115的運動矢量/預測模式信 息被輸入熵編碼器108。比特長變換控制器1002將比特變換信息輸入 像素比特長擴展器1001，將比特擴展信息輸入熵編碼器108。
參照圖9B的流程圖說明上述結構的圖像編碼裝置的動作。向圖 像編碼裝置例如以幀為單位輸入運動圖像信號作為輸入圖像信號100 (S31)，像素比特長擴展器1001進行將輸入的N比特精度的圖像信 號100的各像素的值擴展成比N比特大M比特的(N + M )比特精度 的處理(S32)。例如，在輸入圖像信號的某像素的值為K的情況下， 擴展了 M比特后的像素值K，例如利用公式(1)或公式(1 - 1) 、 ( 1 -2) 、 (l-3)等計算。
要擴展的比特數(shù)M等變換信息由比特長變換控制器1002作為比 特擴展信息1003導入熵編碼器108 (S33)。作為像素比特長擴展器 IOOI的結構例，可以采用圖2的結構，與第l實施方式同樣，進行利 用標志來切換并控制是否擴展各像素的比特長的處理。
利用減法器101取得將比特長擴展為(N + M)比特精度的輸入 圖像信號100與以(N + M)比特精度生成的預測圖像信號102的差分，生成(N + M)比特精度的預測誤差信號103 (S34)。所生成預 測誤差信號103由正交變換器104進行正交變換(例如進行離散余弦 變換(DCT) ) (S35)。在正交變換器104中得到正交變換系數(shù)信 息105 (例如DCT系數(shù)信息)。正交變換系數(shù)信息105由量化器106 量化，量化正交變換系數(shù)信息107被輸入熵編碼器108和逆量化器 109。量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，即 進行局部解碼，變換成與預測誤差信息同樣的信號，即局部解碼誤差 信號。該局部解碼誤差信號利用加法器111與(N + M)比特精度的 預測圖像信號102相加，由此生成(N + M)比特精度的局部解碼圖 像信號112。即，量化正交變換系數(shù)信息107被局部解碼(S36)。局 部解碼圖像信號112根據(jù)需要由環(huán)路濾波器113進行了濾波處理后， 存儲在幀存儲器114中。
預測圖像生成器115根據(jù)將比特長擴展成(N + M)比特精度的 輸入圖像信號100以及存儲在幀存儲器114中的(N + M)比特精度 的局部解碼圖像信號112，生成基于某預測模式信息的(N + M)比特 精度的預測圖像信號。此時，來自加法器111的(N + M)比特精度 的局部解碼圖像信號112被臨時存儲在幀存儲器114中。通過針對幀 內(nèi)的每個塊進行(N + M)比特精度的輸入圖像信號100與蓄積在幀 存儲器114內(nèi)的(N + M)比特精度的局部解碼圖像信號112之間的 匹配(例如塊匹配)，檢測出運動矢量(S37)。利用以該運動矢量 補償后的(N + M)比特精度的局部圖像信號，生成(N + M)比特精 度的預測圖像信號(S38)。這里生成的(N + M)比特精度的預測圖 像信號102與所選擇的預測圖像信號的運動矢量信息/預測模式信息 116 —起從預測圖像生成器115輸出。
熵編碼器108對量化正交變換系數(shù)信息107、運動矢量信息/預測 模式信息116以及比特擴展信息1003進行熵編碼(S39 )，由此生成 的編碼數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出。
另外，要擴展的比特數(shù)M的編碼方法與笫1實施方式相同。在本實施方式中，與第l實施方式同樣，可以利用在補充語法中多路復 用的數(shù)據(jù)。
以下參照圖10A說明本實施方式的圖像解碼裝置的結構。該圖 像解碼裝置具備熵解碼器200、逆量化器109、逆正交變換器IIO、加 法器lll、環(huán)路濾波器113、幀存儲器114、預測圖像生成器115、像 素比特長縮小器(像素比特精度變換器)2001和比特長變換控制器(比 特精度變換控制器)2002。接收編碼數(shù)據(jù)的熵解碼器200的系數(shù)信息 輸出經(jīng)由逆量化器109、逆正交變換器IIO、加法器lll、環(huán)路濾波器 113與像素比特長縮小器2001連接。環(huán)路濾波器113的輸出經(jīng)由幀存 儲器114與預測圖像生成器115的一個輸入連接。預測圖像生成器115 的另一個輸入從預測圖像生成器115接收運動矢量/預測模式信息。預 測圖像生成器115的輸出與加法器111連接。熵解碼器200的比特擴 展信息輸出經(jīng)由比特長變換控制器2002與像素比特長縮小器2001連 接。
參照圖10B說明圖像解碼裝置的動作。向圖像解碼裝置輸入利 用圖9A的圖像編碼裝置編碼的編碼數(shù)據(jù)117后(S41),在熵解碼器 200中，編碼數(shù)據(jù)117按照與熵編碼相反的過程被解碼(S")，得到 量化正交變換系數(shù)信息107、運動矢量/預測模式信息116和比特擴展 信息2004。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成(N + M)比特精度的殘差信號201 (S43)。運動矢量/預測模式 信息116被輸入預測圖像生成器115，根據(jù)存儲在幀存儲器114中的
(N + M )比特精度的比特擴展解碼圖像信號203，生成基于運動矢量 /預測模式信息116的(N + M )比特精度的預測圖像信號102 ( S44 )。
(N + M)比特精度的殘差信號201和(N + M)比特精度的預測圖像 信號102由加法器111相加，生成解碼圖像信號(S45)。該解碼圖 像信號在環(huán)路濾波器113中根據(jù)需要進行濾波處理，作為(N + M) 比特精度的比特擴展解碼圖像信號203輸出，并存儲在幀存儲器114中。從熵解碼器200輸出的比特擴展信息2004被輸入到比特長變換 控制器2002后，從比特長變換控制器2002輸出表示解碼圖像被擴展 幾個比特的比特變換信息2003。
輸入到像素比特長縮小器2001的比特擴展解碼圖像信號203根 據(jù)比特變換信息2003，例如根據(jù)公式(2 )或公式(2-1)、 (2-2)、 (2-3)等接受與第1實施方式同樣的處理，將各像素的值縮小M比 特(S46)。像素比特長縮小器2001采用圖8所示的結構，與第l實 施方式同樣，可以進行利用標志來切換是否縮小各像素的比特長的控 制。
通過以上，從像素比特長縮小器2001輸出與輸入到圖像編碼裝 置的輸入圖像相同的N比特精度的解碼圖像信號202 (S47)。
根據(jù)以上結構，預測圖像信號以比輸入圖像信號大M比特的精 度生成，因此可以提高運動補償?shù)臑V波、環(huán)路濾波、畫面內(nèi)預測等精 度，結果可以減小預測誤差信號，從而可以提高編碼效率。 (第3實施方式)
圖11A中示出本發(fā)明第3實施方式的用于運動圖像編碼的圖像 編碼裝置的結構。該圖像編碼裝置是與第2實施方式所示的結構例(圖 9)幾乎同樣的結構，但不同點在于，在幀存儲器114的前級具有像 素比特長變換器1005,在幀存儲器114的后級具有像素比特長變換器 (像素比特精度變換器)1006。
參照圖11B說明該圖像編碼裝置的動作。向該圖像編碼裝置例 如以幀為單位輸入運動圖像信號作為圖像信號100(SS1)。像素比特 長擴展器(像素比特精度變換器)1001通過進行與第2實施方式同樣 的處理，對輸入的N比特精度的圖像信號100的各像素的值，進行擴 展成比N比特大M比特的(N + M)比特精度的處理(S52)。擴展 的比特數(shù)M由比特長變換控制器1002作為比特擴展信息1003導入 熵編碼器108。像素比特長擴展器1001采用圖2的結構，與第1實施 方式同樣，可以進行通過利用標志來切換是否擴展各像素的比特長從 而控制像素比特長的處理。利用減法器101取得將比特長擴展為(N + M)比特精度的輸入 圖像信號100與以(N + M)比特精度生成的預測圖像信號102的差 分，生成(N + M)比特精度的預測誤差信號103 (S53)。所生成的 預測誤差信號103由正交變換器104進行正交變換(例如離散余弦變 換(DCT))。在正交變換器104中得到正交變換系數(shù)信息105 (例 如DCT系數(shù)信息)。正交變換系數(shù)信息105由量化器106量化。即， 預測誤差信號103被正交變換和量化(S54)。量化正交變換系數(shù)信 息107被導入熵編碼器108和逆量化器109。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成局部解碼誤差信號，利用加法器111與(N + M)比特精度的預 測圖像信號102相加。由此，生成(N + M)比特精度的局部解碼圖 像信號112。即，量化正交變換系數(shù)信息107被局部編碼(S55)。
(N + M)比特精度的局部解碼圖像信號112根據(jù)需要由環(huán)路濾 波器113進行了濾波處理后，輸入到像素比特長變換器1005,將各像 素的值縮小變換成小L比特的值，或者將各像素的值擴大變換成大L 比特的值(S56)。例如，在(N + M)比特精度的局部解碼圖像信號 112的某像素的值為K的情況下，縮小了 L比特后的像素值K，如下 計算。
K' = (K+offset)》L
offset-(K〈(L一1)) …(3)
這里，要縮小的比特數(shù)L是滿足(KLSM的整數(shù)?？s小了比特長 的結果，局部解碼圖像信號112的各像素的比特長為(N + M-L)比 特。這里的縮小變換方法只要是例如將offset設為0~ (K〈L)的任 意值等減小比特長的方法，則可以是任意的變換方法。
說明變換方法的其它做法。圖11C中示出編碼單位圖像的像素 值的直方圖(左側)和比特精度變換后的直方圖(右側)。如圖iic 所示，例如將擴展成12比特的局部解碼圖像112縮小為8比特長的 圖像的情況下，對于擴展成12比特長的局部解碼圖像112，例如針對 宏塊單位等任意的編碼單位中的每一個，根據(jù)像素值的最大值mbmax和最小值mb一min算出動態(tài)范圍D=(mb—max畫mb—min)。如 果該動態(tài)范圍D是以8比特表示的范圍，即0~255,則該塊被變換 成8比特，并輸出到幀存儲器114。此時，利用該塊的像素值的最大 值mb一max和/或最小值mb_min決定的代表值也被輸出到幀存儲器 114。如果動態(tài)范圍D是無法以8比特表現(xiàn)的值，則在對塊進行向右 移位2比特的除法處理后，變換成8比特。此時，塊與移位量Q一bit =2以及代表值一起輸出到幀存儲器114。在動態(tài)范圍更大的情況下， 如圖11C所示，8比特變換塊與移位量Q—bit = 4以及代表值一起輸 出到幀存儲器114。
若要更詳細地說明上述做法，則如圖11C所示，例如針對宏塊 單位等任意的編碼單位中的每一個，求出局部解碼圖像信號112內(nèi)的 像素值的最大值mb_max和最小值mb_min ，根據(jù)其動態(tài)范圍 D-(mb一max-mb—min)，使用(3 - 1)式變更要縮小的比特數(shù)Q—bit。
這種情況下，像素比特長變換器1005例如采用圖IID所示的結 構，首先，利用動態(tài)范圍算出部10051求出局部解碼圖像信號112內(nèi) 的^^素值的最大值mb—max和最小值mb—min，并求出其動態(tài)范圍 D=(mb_max-mb—min)。
然后，在移位量/代表值算出部10052中，根據(jù)動態(tài)范圍D，例 如使用(3-la)式算出移位量Q—bit。另外，例如將mb一min設定為 代表值。
<formula>formula see original document page 31</formula>
進而，在像素比特精度變換器10053中，在比特擴展解碼圖像信 號的某像素的值為K的情況下，縮小了 L比特(LX))后的像素值K， 例如如下計算，變換后的局部解碼圖像信號112將代表值mb—min、
移位量Q—bit (代表值/移位量10054)輸出到幀存儲器114。
<formula>formula see original document page 31</formula>
此時，例如如圖11F所示，用存儲參照圖像的存儲器U4a和存 儲表示針對各參照圖像的各編碼單位(宏塊單位)中的每一個如何變 換比特精度的信息的子存儲器114b構成幀存儲器114，在子存儲器114b中例如保持代表值mb—min和移位量Q—bit。
另外，考慮在解碼側將以N + M比特精度得到的比特擴展解碼 圖像信號變換成N比特精度來得到解碼圖像信號時例如使用了 (2) 式的情況。此時，將使用(3-1)式變換的(N + M-L)比特精度的 局部解碼圖像信號存儲在幀存儲器中，按照與(3-1)式相反的過程從 幀存儲器讀出比特精度被擴展為N + M比特的局部解碼圖像信號后， 會算出與直接利用(2)式變換了將得到的N + M比特精度的局部解 碼圖像信號變換成N + M-L比特前的局部解碼圖像信號的情況不同 的值。考慮到這一點的變換式為以下的(3-2) - (3-6)式。
首先，在動態(tài)范圍算出部10051中，例如針對宏塊單位等任意編 碼單位中的每一個，求出局部解碼圖像信號112內(nèi)的像素值的最大值 mb_max 和最小值 mb—min ， 并求出其動態(tài)范圍 D=(mb—max國mb—min)。
然后，在移位量/代表值算出部10052中，根據(jù)動態(tài)范圍D，使 用(3-2)式算出要縮小的臨時比特數(shù)Q—bit和以QJ)it進行移位運
算時使用的偏移值Offset。
mb_min = INT(mb—min》L)
D = mb—max-(mb一min《L) Q一bit = 1og2(D) — (N+M-L-l)
Offset = (l〈〈(Q_bit-l》 …(3 — 2)
然后，在Q一bit的值不是O或L的情況下，判定是否滿足以下 的條件式(3-3)。
D +Offset 〉 (1<〈N+M-L+Q—bit) —1 —Offset)…(3 —3)
這里，在不滿足(3-3)的不等式的情況下，如(3-4)式所示，
使Q_bit加1，重新進行偏移值Offset的再計算。
Q_bit = Q_bit+1
Offset = (K《Q-bit-l》 ".(3—4)
在QJbit的值為O或L的情況下，直接使用(3-2)式的QJbit 和Offset 。
最后，在像素比特精度變換器10053中，在比特擴展解碼圖像信號的某像素的值為K的情況下，縮小了 L比特(LX))后的像素值K， 例如如下計算，變換后的局部解碼圖像信號112將代表值mb_min、 移位量Q一bit (代表值/移位量10054 )輸出到幀存儲器。
Q—bit為0或L的情況下，
K' = (K — (minjnb L) + Offset)》Q_bit …(3—5)
Q—bit不是0或L的情況下，
K' = (K 一 (minjnb《L) + 2*Offset)》Q—bit …(3 — 6)
此時，與使用了 (3-l)式的情況同樣，幀存儲器114具有存儲
表示針對各幀的各編碼單位中的每一個如何變換比特精度的信息的
子存儲器，在這里例如保持代表值mb一min和移位量Q一bit。
如上所述，使用(3-1)或(3-2) ~ (3-6)式，考慮到宏塊 等編碼單位中的每一個的各像素的動態(tài)范圍，將各像素值縮小變換成 小L比特的值的情況下，與如(3)式那樣簡單地縮小變換成小L比 特的值的情況相比，可以將由于縮小時的移位運算而產(chǎn)生的舍入誤差 抑制得較小，從而可以在保持更高精度的狀態(tài)下在幀存儲器中保存參 照圖像信號。
在上述實施方式中，將代表值設為像素值的最小值mLmin，但 也可以是其它值，可以是由像素值的最大值mb—max和最小值 mb—min決定的值。
相反，在將各像素的值擴大變換成大(-L)比特的值的情況下， 例如，在比特擴展解碼圖像信號的某像素的值為K的情況下，擴展了
(-L)比特后的像素值K，例如如下計算。
K'=K〈< (一L) …(4)
這里，要擴大的比特數(shù)L是滿足0< ( -L)的整數(shù)。擴大了比 特長的結果，局部解碼圖像信號112的各像素的比特長為(N + M-L) 比特。圖12中示出像素比特長變換器1005的結構例。對于所輸入的 N比特精度的圖像信號100，由開關E3根據(jù)比特長擴展信息1003選 擇是否擴展各像素的比特長。開關E3在進行擴展的情況下連接到ON 側，不進行擴展的情況下連接到OFF側。在使開關E3為ON的情況下，輸入到像素比特長變換器1005的圖像信號被輸入到像素比特長 擴展/縮小變換器E03，進行像素比特長變換。在開關E3為OFF的情 況下，圖像信號不進行像素比特長變換，而直接輸出。這樣，縮小或 擴大了比特長的局部解碼圖像信號112被存儲在幀存儲器114中 (S57 )。存儲在幀存儲器114中的(N + M- L)比特精度的局部解 碼圖像信號112在輸入到預測圖像生成器115之前，被導入像素比特 長變換器1006，在LX)的情況下，將各像素的比特長擴展變換成大L 比特的比特精度(S58)。例如，在(N + M-L)比特精度的局部解 碼圖像信號112的某像素的值為K的情況下，擴展了 L比特后的像
素值K，例如如下計算。
<formula>formula see original document page 34</formula>
另外，作為變換方法的另一做法，如圖11C所示，例如針對宏 塊等任意編碼單位中的每一個，求出局部解碼圖像信號112內(nèi)的像素 值的最大值mb—max和最小值mb—min ，才艮據(jù)其動態(tài)范圍 D=(mb—max-mb—min)，使用(3-1 )式所示的式子變更了要縮小的比 特數(shù)Q一bit的情況下，像素比特精度變換器1006例如使用圖11E所 示的結構，在移位量/代表值讀出部10061中，從幀存儲器114內(nèi)的子 存儲器114b中讀出該編碼單位的代表值mb_mm和移位量Q—bit(代 表值/移位量10054)，在像素比特精度變換部10062中，例如使用下 式計算將比特精度擴展了 L比特后的像素值K，。 K' = (K Q—bit) + mb—min …(5 — 1)
另外，作為變換方法的又一做法，在使用(3-2) ~ (3-6)式 所示的式子進行了變更的情況下，在移位量/代表值讀出部10061中， 從幀存儲器114內(nèi)的子存儲器中讀出該編碼單位的mb一min和Q—bit, 在像素比特精度變換部10062中，例如使用下式計算將比特精度擴展 了 L比特后的像素值K'。
在Q_bit為0或L的情況下，
<formula>formula see original document page 34</formula>
在Q—bit不是0或L的情況下，<formula>formula see original document page 35</formula>
另一方面，在L<0的情況下，將各像素的比特長縮小變換成小 (-L)比特的比特精度。例如，在比特擴展解碼圖像信號的某像素 的值為K的情況下，縮小了( -L)比特后的像素值K，例如如下計算。<formula>formula see original document page 35</formula>
這里的縮小變換方法只要是例如將offset設為0~ (1<<( - L)) 的任意值等減小比特長的方法，則可以是任意的變換方法。像素比特 長變換器1006采用與像素比特長變換器1005同樣的圖12所示的結 構，可以進行利用標志來切換是否變換各像素的比特長的處理的控 制。通過進行這樣的變換，輸出到預測圖像生成器115的局部解碼圖 像信號112的比特精度成為(N + M)比特精度。
在幀存儲器114的前后縮小/擴大的比特長L是滿足LSM的整 數(shù)，并且在幀存儲器114的前后縮小/擴大的比特數(shù)可以相等。在L-0的情況下，不進行存儲到幀存儲器114中時或者從幀存儲器114輸 出時的比特擴展/比特縮小。由像素比特長變換器1005和像素比特長 變換器1006進行的變換不限于前述的公式(3) ~ (6)，只要是以 指定的比特長進行擴大/縮小的變換，就可以進行任意的變換。該比特 數(shù)L也由比特長變換控制器1002作為比特擴展信息1003導入熵編碼 器108。
預測圖像生成器115根據(jù)將比特長擴展成(N + M)比特精度的 輸入圖像信號100以及(N + M)比特精度的局部解碼圖像信號112， 生成基于某預測模式信息的(N + M)比特精度的預測圖像信號。此 時，針對幀內(nèi)的每個塊取得(N + M)比特精度的輸入圖像信號100 與由像素比特長變換器1005擴大為(N + M)比特精度的局部解碼圖 像信號112之間的匹配(例如塊匹配)，檢測出運動矢量(S59)。 利用以該運動矢量補償后的(N + M)比特精度的局部圖像信號，生 成(N + M)比特精度的預測圖像信號(S60)。這里生成的(N + M) 比特精度的預測圖像信號102與所選擇的預測圖像信號的運動矢量信息/預測模式信息116 —起從預測圖像生成器115輸出。
熵編碼器108對量化正交變換系數(shù)信息107、運動矢量信息/預測 模式信息116以及比特擴展信息1003進行熵編碼(S61 )，由此生成 的編碼數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出。
以下說明要擴展的比特數(shù)M和L的編碼方法。本實施方式中使 用的語法結構的例子與在第1實施方式中使用的圖3相同。在本實施 方式中，可以將要擴展的比特數(shù)包含在序列參數(shù)集語法(404 )、圖 片參數(shù)集語法(405)、片級語法(402 )以及宏塊級語法(403)中 發(fā)送。以下說明各個語法。
圖13的序列參數(shù)集語法內(nèi)所示的ex_seq_bit_extension_flag是 表示是否進行比特擴展的標志，該標志為TRUE時，可以以序列為單 位切換是否進行比特擴展。而該標志為FALSE時，在序列內(nèi)不進行 比特擴展。當exseqbit—extension—flag為TRUE時，還可以發(fā)送表 示進行幾個比特擴展的ex—seq_shift_bits。
ex—seq_bit_extension—flag為TRUE時，還可以發(fā)送表示存儲到 幀存儲器114中時的比特精度的ex—framemem—bitdepth。在本實施 方式中，例如將N + M - L存儲在ex_framemem—bitdepth中發(fā)送。
在本實施方式中，可以以任意的編碼單位切換是否進行比特擴 展，或者切換要擴展的比特數(shù)。這種情況下，可以將要擴展的比特數(shù) 進一步包含在圖片參數(shù)集語法(405)、片級語法(402)以及宏塊級 語法(403 )中發(fā)送。
圖14的圖片參數(shù)集語法內(nèi)所示的ex—pic_bit_extension—flag是表 示是否針對每個圖片變更是否進行比特擴展的標志。該標志為TRUE 時，可以以圖片為單位切換是否進行比特擴展。而該標志為FALSE 時，不能針對每個圖片變更是否以圖片為單位進行比特擴展。當 ex_pic_bk—extension—flag為TRUE時，還可以發(fā)送表示進行幾個比 特擴展的ex_pic_shift_bits 這里，在由序列參數(shù)集語法內(nèi)的 ex_seq—shift_bits指定了在序列級擴展的比特數(shù)的情況下，可以將 ex_pic_shift—bits作為要擴展的比特數(shù)優(yōu)先，也可以將ex_seq_shift—bits作為要擴展的比特數(shù)優(yōu)先，還可以將 ex_seq—shift_bits + ex_pic_shift—bits作為要擴展的比特數(shù)。使哪個優(yōu) 先最好預先決定。
在圖片參數(shù)集語法內(nèi)可以存在ex—bit—extension_in_slice—flag 、 exbitextensionin—mb一flag這樣的標志。這些標志分另'J是表示是否 存在變更是否在片級、宏塊級進行比特擴展的標志的標志。
如圖15所示，在片級語法內(nèi)，ex—bit—extension—in—slice_flag為 TRUE時，發(fā)送ex—slice—shift_bits，可以以片為單位切換要擴展的比 特數(shù)來發(fā)送。這里，在已經(jīng)由序列參數(shù)集語法和圖片參數(shù)語法指定了 要擴展的比特數(shù)S的情況下，可以將S作為要擴展的比特數(shù)優(yōu)先，也 可以將ex—slice—shiftjbits作為要擴展的比特數(shù)優(yōu)先，還可以將S + ex—slice—shift_bits作為要擴展的比特數(shù)優(yōu)先。使哪個優(yōu)先最好預先決 定。另一方面，在ex—bit—extension—in—slice—flag為FALSE的情況下， 不發(fā)送ex—slice_shift—bits。
如圖16所示，在宏塊級語法內(nèi)，ex—bit_extension—inmb—flag 為TRUE時，發(fā)送ex—mb_shift—bits,可以以宏塊為單位切換要擴展 的比特數(shù)來發(fā)送。這里，在已經(jīng)由序列參數(shù)集語法、圖片參數(shù)語法和 片級語法指定了要擴展的比特數(shù)S的情況下，可以將S作為要擴展的 比特數(shù)優(yōu)先，也可以將ex— mb —shiftj)its作為要擴展的比特數(shù)優(yōu)先， 還可以將S + ex_ mb _shift_bits作為要擴展的比特數(shù)優(yōu)先。使哪個優(yōu) 先最好預先決定。另一方面，在ex—bitextensionin—mb_flag為 FALSE的情況下，不發(fā)送ex— mb _shift_bits。
如上所述，在以任意的編碼單位切換是否進行比特擴展的情況 下，或者切換要擴展的比特數(shù)的情況下，將L規(guī)定成使得存儲在幀存 儲器114中的局部解碼圖像信號的比特精度成為序列參數(shù)集語法內(nèi)所 示的ex—framemem—bitdepth。
在本實施方式中，與第1實施方式同樣，可以利用在補充語法中 多路復用的數(shù)據(jù)。
以下參照圖17A說明本實施方式的圖像解碼裝置的結構。該圖
37像解碼裝置是與第2實施方式所示的結構例(圖10A)基本同樣的結 構，不同點在于，在加法器111 (以及環(huán)路濾波器113)的后級具備 像素比特長變換器(像素比特精度變換器)2007來代替像素比特長縮 小器2001，幀存儲器114不是加法器111 (以及環(huán)路濾波器113 )的 后級，而是與像素比特長變換器2007的后級連接，并且，在幀存儲 器114的后級連接有像素比特長變換器2008。
參照圖17B的流程圖說明圖像解碼裝置的動作。向圖像解碼裝 置輸入利用圖11A的圖像編碼裝置編碼的編碼數(shù)據(jù)117后(S71)， 在熵解碼器200中，編碼數(shù)據(jù)117按照與熵編碼相反的過程被解碼， 得到量化正交變換系數(shù)信息107、運動矢量/預測模式信息116和比特 擴展信息2004 (S72)。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成(N + M )比特精度的殘差信號201 ( S73 ) ( S74 )。
從熵解碼器200輸出的比特擴展信息2004被輸入到比特長變換 控制器2002后，從比特長變換控制器2002輸出表示解碼圖像被擴展 幾個比特的比特數(shù)M和表示存儲到幀存儲器中時縮小的比特數(shù)L的 比特變換信息2003。
像素比特長變換器2008按照后述的過程，對于存儲在幀存儲器 114中的(N + M-L)比特精度的解碼圖像信號202，根據(jù)比特變換 信息2003，例如在LX)的情況下，通過實施與公式(5) (5-1) (5 -2 )等同等的處理，進行將像素比特長擴展變換L比特的處理(S75 ), 在L<0的情況下，通過實施與公式(6)等同等的處理，進行將像素 比特長縮小變換(-L)比特的處理，輸出(N + M)比特精度的比特 擴展參照圖像信號204 (S75)。另外，在實施與(5-1)或(5-2) 同樣的處理的情況下，可以使像素比特長變換器2008的結構與圖11D 的結構相同。另外，可以使幀存儲器114例如與圖11F的結構相同。
運動矢量/預測模式信息116被輸入預測圖像生成器115，根據(jù)上 述(N + M)比特精度的比特擴展參照圖像信號204，生成基于運動矢量/預測模式信息116的(N + M)比特精度的預測圖像信號102( S77)。 (N + M)比特精度的殘差信號201和(N + M)比特精度的預測圖像 信號102由加法器111相加。相加后的信號在環(huán)路濾波器113中根據(jù) 需要進行濾波處理，輸出(N + M)比特精度的比特擴展解碼圖像信 號203 ( S78 )。
比特擴展解碼圖像信號203被輸入像素比特長變換器2007，通 過根據(jù)比特變換信息2003對各像素的值實施例如與公式(2)等的第 1實施方式的圖像解碼裝置中的像素比特長縮小器同等的處理，將像 素比特長縮小變換成小M比特的值(S79),得到與輸入到圖像編碼 裝置的輸入圖像相同的N比特精度的解碼圖像202 (S80)。
像素比特長變換器2007采用圖12的結構，可以進行利用標志來 切換是否縮小各像素的比特長的控制。
在M-L的情況下，N比特精度的解碼圖像信號202直接存儲在 幀存儲器114中。在M#L且L>0的情況下，對于(N + M)比特精 度的比特擴展解碼圖像信號203，通過針對每個像素進行例如與公式 (3) (3-1) (3-2) ~ (3-6)同樣的處理，生成將比特長縮小 了 L比特的(N + M-L)比特精度的解碼圖像，并存儲在幀存儲器 114中。相反，在L<0的情況下，通過對各像素進行與公式(4)相 同的處理，生成將比特長縮小了 ( -L)比特的(N + M-L)比特精 度的解碼圖像，并存儲在幀存儲器114中。另外，在實施與(3-1) 或(3-2) ~ (3-6)同樣的處理的情況下，可以使像素比特長變換 器2007的結構與圖11D的結構相同。
根據(jù)以上結構，預測圖像信號以比輸入圖像信號大M比特的精 度生成，因此可以提高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精 度，結果可以減小預測誤差信號，因此可以提高編碼效率。另外，與 第1、第2實施方式不同，在0<L^VI的情況下，能夠以小于擴展了 比特長的輸入圖像信號或預測圖像信號的比特長來存儲在幀存儲器 中存儲的參照圖像信號，從而可以在保持提高運動補償?shù)臑V波或環(huán)路 濾波、畫面內(nèi)預測等精度的效果的情況下，削減幀存儲器的使用量。根據(jù)以上結構，能夠以任意的編碼單位切換是否進行比特擴展或 者切換要擴展的比特數(shù)，可以針對任意的編碼單位中的每一個選擇編 碼效率最好的擴展比特數(shù)來編碼，因此可以進一步提高編碼效率。
(第4實施方式)
參照圖18A說明第4實施方式的用于運動圖像編碼的圖像編碼 裝置的結構。該圖像編碼裝置與第2實施方式所示的結構例(圖9) 相比，不同點在于，不具備對輸入圖像擴大像素比特長的像素比特長 擴展器，而是在幀存儲器114 (以及環(huán)路濾波器113)的前級具有像 素比特長擴展器(像素比特精度擴展變換器)1001，在預測圖像生成 器115的后級具有像素比特長縮小器(像素比特精度縮小變換器) 1004。
參照圖18B的流程圖說明圖像編碼裝置的動作。向該圖像編碼 裝置例如以幀為單位輸入各像素的精度例如為N比特精度的運動圖 像信號作為輸入圖像信號100(S81)。利用減法器IOI取得輸入圖像 信號100與N比特精度的預測圖像信號102的差分，生成N比特精 度的預測誤差信號103 (S82)。關于N比特精度的預測圖像信號102 的生成方法將后述。對于所生成的預測誤差信號103，由正交變換器 104實施正交變換(例如離散余弦變換(DCT))，在正交變換器104 中得到正交變換系數(shù)信息105 (例如DCT系數(shù)信息)(S83)。正交 變換系數(shù)信息105由量化器106量化，量化正交變換系數(shù)信息107被 導入熵編碼器108和逆量化器109。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成局部解碼誤差信號。該局部解碼誤差信號利用加法器111與N比 特精度的預測圖像信號102相加，生成N比特精度的局部解碼圖像信 號112 (S84)。
局部解碼圖像信號112根據(jù)需要由環(huán)路濾波器113進行了濾波處 理后，輸入到像素比特長擴展器1001,將各像素的值擴展變換成大M 比特的值(S85)。例如，在比特擴展解碼圖像信號的某像素的值為K的情況下，縮小了 M比特后的像素值K，與第1實施方式的公式(l) 同樣地計算。比特精度被擴大到(N + M)比特的局部解碼圖像信號 112存儲在幀存儲器114中(S86 )。存儲在幀存儲器114中的(N + M)比特精度的局部解碼圖像信號112被輸入預測圖像生成器115。 像素比特長擴展器1001采用圖2的結構，與第1實施方式同樣，可 以進行通過利用標志切換是否擴展各像素的比特長來控制比特長的 處理。
預測圖像生成器115根據(jù)(N + M)比特精度的局部解碼圖像信 號112，生成基于某預測模式信息的(N + M)比特精度的預測圖像信 號。此時，針對幀內(nèi)的每個塊取得將輸入圖像信號100的各像素擴展 到(N + M)比特精度的圖像信號與擴大到(N + M)比特精度的局部 解碼圖像信號112之間的匹配(例如塊匹配)，檢測出運動矢量(S87 )。 利用以該運動矢量補償后的(N + M)比特精度的局部圖像信號，生 成(N + M)比特精度的擴展預測圖像信號117 (S89)。這里生成的 (N + M)比特精度的擴展預測圖像信號117與所選擇的預測圖像信 號的運動矢量信息/預測模式信息116 —起從預測圖像生成器115輸 出。
(N + M)比特精度的擴展預測圖像信號117被輸入像素比特長 縮小器1004,變換成各像素的比特長變小M比特的圖像信號(S90)。 該變換例如通過與第1實施方式所示的公式(2)同樣的處理來進行。 這里，要縮小的比特數(shù)M和在像素比特長擴展器1001中要擴大的比 特數(shù)M都是相同的值，由比特長變換控制器1002作為比特擴展信息 1003導入熵編碼器108。像素比特長縮小器1004采用圖8的結構， 可以與第1實施方式同樣地進行通過利用標志來切換是否擴展各像素 的比特長來控制比特長的處理。
熵編碼器108對量化正交變換系數(shù)信息107、運動矢量信息/預測 模式信息116以及比特擴展信息1003進行熵編碼(S91)，由此生成 的編碼數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出。
要擴展的比特數(shù)M的編碼方法與第1實施方式相同。另外，在本實施方式中，與第l實施方式同樣，可以利用在補償語法中多路復 用的數(shù)據(jù)。
以下參照圖19A說明本實施方式的圖像解碼裝置的結構。該圖 像解碼裝置與第2實施方式所示的結構(圖IOA)相比，不同點在于， 在幀存儲器114 (以及環(huán)路濾波器113)的前級具有像素比特長擴展 器2005，在預測圖像生成器115的后級具有像素比特長縮小器(像素 比特精度變換器)2006。
參照圖19B的流程圖說明圖像解碼裝置的動#。向圖像解碼裝 置輸入利用圖18A的圖像編碼裝置編碼的編碼數(shù)據(jù)117后(S101)， 在熵解碼器200中，編碼數(shù)據(jù)117按照與熵編碼相反的過程被解碼， 得到量化正交變換系數(shù)信息107、運動矢量/預測模式信息116和比特 擴展信息2004 (S102)。量化正交變換系數(shù)信息107通過逆量化器 109和逆正交變換器110依次接受與量化器106和正交變換器104的 處理相反的處理，變換成N比特精度的殘差信號201 (S103)。從熵 解碼器200輸出的比特擴展信息2004被輸入到比特長變換控制器 2002后，從比特長變換控制器2002輸出表示解碼圖像被擴展幾個比 特的比特變換信息2003 (S104)。
運動矢量/預測模式信息116被輸入預測圖像生成器115后，按 照后述的過程，根據(jù)存儲在幀存儲器114中的比特擴展解碼圖像信號 203，生成基于運動矢量/預測模式信息116的(N + M)比特精度的 擴展預測圖像信號205 ( S105 )。
像素比特長縮小器2006根據(jù)比特變換信息2003，通過對(N + M)比特精度的擴展預測圖像信號205實施例如與公式(2)等的第1 實施方式的圖像解碼裝置中的像素比特長縮小變換器同等的處理，進 行將像素比特長縮小變換M比特的處理(S106)，輸出N比特精度 的預測圖像信號102。像素比特長縮小器2006采用圖8的結構，與第 1實施方式同樣，可以進行通過利用標志來切換是否擴展各像素的比 特長來控制比特長的處理。
N比特精度的殘差信號201和N比特精度的預測圖像信號102
4由加法器lll相加，生成縮小解碼圖像信號(S107)?？s小解碼圖像 信號被輸入到像素比特長擴展器2005后，像素比特長擴展器2005根 據(jù)比特變換信息2003,通過實施例如與公式(1)等的第1實施方式 的圖像編碼裝置中的像素比特長擴展器進行的處理同等的處理，進行 將像素比特長擴展M比特的處理(S108 )。從像素比特長擴展器2005 輸出的信號在環(huán)路濾波器113中根據(jù)需要進行濾波處理，輸出(N + M)比特精度的擴展解碼圖像信號203 (S109)，并存儲在幀存儲器 114中。像素比特長擴展器2005采用圖2的結構，與第1實施方式同 樣，可以進行通過利用標志切換是否擴展各像素的比特長來控制比特 長的處理。
(N + M )比特精度的比特擴展解碼圖像信號203被輸入像素比 特長縮小器2001，通過根據(jù)比特變換信息2003對各像素的值實施例 如與公式(2)等的第1實施方式的圖像解碼裝置中的像素比特長縮 小變換器同等的處理，得到與輸入到圖像編碼裝置的輸入圖像相同的 N比特精度的解碼圖像202 (S110) (S111)。
根據(jù)以上結構，預測圖像信號以比輸入圖像信號大M比特的精 度生成，因此可以提高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精 度。結果可以減小預測誤差信號，因此可以提高編碼效率。另外，與 第1~3實施方式不同，能夠以對應于輸入圖像的比特精度的精度來 進行預測誤差信號和殘差信號的變換.量化的處理，從而可以在保持提 高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精度的效果的情況下， 削減變換.量化的比特精度，減小運算規(guī)模。
(第5實施方式)
參照圖20A說明第5實施方式的用于運動圖像編碼的圖像編碼 裝置的結構。該圖像編碼裝置與第2實施方式所示的結構例(圖9) 相比，不同點在于，不具備對輸入圖像擴大像素比特長的像素比特長 擴展器，而是在預測圖像生成器115的前級具有像素比特長擴展器(像 素比特精度擴展變換器)1001，在預測圖像生成器115的后級具有像 素比特長縮小器(像素比特精度縮小變換器)1004。參照圖20B的流程圖說明圖像編碼裝置的動作。向該圖像編碼 裝置例如以幀為單位輸入各像素的精度例如為N比特精度的運動圖 像信號作為輸入圖像信號100 (S121)。利用減法器101取得輸入圖 像信號100與N比特精度的預測圖像信號102的差分，生成N比特 精度的預測誤差信號103 (S122)。關于N比特精度的預測圖像信號 102的生成方法將后述。對于所生成的預測誤差信號103，由正交變 換器104進行正交變換，例如實施離散余弦變換(DCT)，在正交變 換器104中得到正交變換系數(shù)信息105，例如DCT系數(shù)信息(S123)。 正交變換系數(shù)信息105由量化器106量化，量化正交變換系數(shù)信息107 被導入熵編碼器108和逆量化器109。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成局部解碼誤差信號。該局部解碼誤差信號利用加法器111與N比 特精度的預測圖像信號102相加，生成N比特精度的局部解碼圖像信 號112 (S124)。
N比特精度的局部解碼圖像信號112根據(jù)需要由環(huán)路濾波器113 進行了濾波處理后，存儲到幀存儲器114中(S125)。存儲在幀存儲 器114中的N比特精度的局部解碼圖像信號112被輸入到像素比特長 擴展器1001，將各像素的值擴展變換成大M比特的值(S126)。例 如，在比特擴展解碼圖像信號的某像素的值為K的情況下，縮小了 M 比特后的像素值K，與第1實施方式的公式(1)同樣地計算。比特精 度被擴展到(N + M)比特的局部解碼圖像信號112被輸入預測圖像 生成器115。像素比特長擴展器1001采用圖2的結構，與第1實施方 式同樣，可以進行通過利用標志切換是否擴展各像素的比特長來控制 比特長的處理。
預測圖像生成器115根據(jù)(N + M)比特精度的局部解碼圖像信 號112，生成基于某預測模式信息的(N + M)比特精度的預測圖像信 號。此時，針對幀內(nèi)的每個塊取得將輸入圖像信號100的各像素擴展 到(N + M)比特精度的圖像信號與擴大到(N + M)比特精度的局部解碼圖像信號112之間的匹配(例如塊匹配)，檢測出運動矢量(S127 )。 利用以該運動矢量補償后的(N + M)比特精度的局部圖像信號，生 成(N + M)比特精度的擴展預測圖像信號117 (S128)。這里生成 的(N + M)比特精度的擴展預測圖像信號117與所選擇的預測圖像 信號的運動矢量信息/預測模式信息116 —起從預測圖像生成器115 輸出。
擴展預測圖像信號117被輸入像素比特長縮小器1004，實施變 換使得各像素的比特長變小M比特(S129)。該變換例如通過實施 與第1實施方式的圖像解碼器所示的公式(2)同樣的處理來進行。 這里，要縮小的比特數(shù)M和在像素比特長擴展器1001中要擴大的比 特數(shù)M都是相同的值，由比特長變換控制器1002作為比特擴展信息 1003導入熵編碼器108。像素比特長縮小器1004釆用圖8的結構， 可以與第i實施方式同樣地進行通過利用標志來切換是否擴展各像素 的比特長來進行控制的處理。
熵編碼器108對量化正交變換系數(shù)信息107、運動矢量信息/預測 ^t式信息116以及比特擴展信息1003進行熵編碼(S130)，由此生 成的編碼數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出。
要擴展的比特數(shù)M的編碼方法與第1實施方式相同。另外，在 本實施方式中，與第l實施方式同樣，可以利用在補償語法中多路復 用的數(shù)據(jù)。
以下參照圖21A說明本實施方式的圖像解碼裝置的結構。該圖 ^泉解碼裝置與第2實施方式所示的結構例(圖10A)相比，不同點在 于，在加法器111 (以及環(huán)路濾波器113)的后級不具備圖像比特縮 小器，而是從加法器111 (以及環(huán)路濾波器113)輸出解碼圖像信號 202，并且在預測圖像生成器115的前級具有像素比特長擴展器(像 素比特精度擴展變換器)2005,在預測圖像生成器115的后級具有像 素比特長縮小器(像素比特精度縮小變換器)2001。
參照圖21B的流程圖說明圖像解碼裝置的動作。向圖像解碼裝 置輸入利用圖20A的圖像編碼裝置編碼的編碼數(shù)據(jù)117后(S141)，在熵解碼器200中，編碼數(shù)據(jù)117按照與熵編碼相反的過程被解碼， 得到量化正交變換系數(shù)信息107、運動矢量/預測模式信息116和比特 擴展信息2004 (S142)。量化正交變換系數(shù)信息107通過逆量化器 109和逆正交變換器110依次接受與量化器106和正交變換器104的 處理相反的處理，變換成N比特精度的殘差信號201 (S143)。從熵 解碼器200輸出的比特擴展信息2004被輸入到比特長變換控制器 2002后，從比特長變換控制器2002輸出表示解碼圖像被擴展幾個比 特的比特變換信息2003 (S144)。
像素比特長擴展器2005按照后續(xù)的過程，根據(jù)比特變換信息 2003，對存儲在幀存儲器114中的N比特精度的解碼圖像信號202實 施例如與公式(1)等的第1實施方式的圖像編碼裝置中的像素比特 長擴展器進行的處理同等的處理，由此進行將像素比特長擴展變換M 比特的處理，輸出(N + M)比特精度的比特擴展參照圖像信號204。 像素比特長擴展器2005采用圖2的結構，與第1實施方式同樣，可處理。
運動矢量/預測模式信息116被輸入預測圖像生成器115，根據(jù)上 述(N + M)比特精度的比特擴展參照圖像信號204，生成基于運動矢 量/預測模式信息116的(N + M)比特精度的擴展預測圖像信號205 (S145)。像素比特長縮小器2001根據(jù)比特變換信息2003，對(N + M)比特精度的擴展預測圖像信號205實施例如與公式(2)等的 第1實施方式的圖像解碼裝置中的像素比特縮小變換器同等的處理， 由此進行將像素比特長縮小變換M比特的處理，輸出N比特精度的 預測圖像信號102 ( S146 )。像素比特長縮小器2001采用圖8的結構， 與第1實施方式同樣，可以進行通過利用標志來切換是否擴展各像素 的比特長來進行控制的處理。
N比特精度的殘差信號201和N比特精度的預測圖像信號102 由加法器111相加。相加后的信號在環(huán)路濾波器113中根據(jù)需要進行 濾波處理，輸出N比特精度的解碼圖像信號202 (S147)，并存儲在幀存儲器114中。這里得到的解碼圖像信號202成為與輸入到圖像編 碼裝置的輸入圖像相同的N比特精度。
根據(jù)以上結構，預測圖像信號以比輸入圖像信號大M比特的精 度生成，因此可以提高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精 度。結果可以減小預測誤差信號，因此可以提高編碼效率。另外，能 夠以小于擴展了比特長的輸入圖像信號或預測圖像信號的比特長來 存儲在幀存儲器中存儲的參照圖像信號。因此，可以在保持提高運動 補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精度的效果的情況下，削減幀 存儲器的使用量。并且，能夠以對應于輸入圖像的比特精度的精度來 進行預測誤差信號和殘差信號的變換.量化的處理。由此，可以在保持 提高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精度的效果的情況 下，削減變換.量化的比特精度，減小運算規(guī)模。
在第2~第5實施方式中，可以使預測圖像生成器115為圖22 所示的結構。根據(jù)圖22所示的編碼器側的預測圖像生成器115,幀內(nèi) 預測器B101根據(jù)在幀存儲器114內(nèi)的幀內(nèi)已經(jīng)編碼的區(qū)域的局部解 碼圖像信號112，生成基于幀內(nèi)預測的預測圖像信號。另一方面，幀 間預測器B103根據(jù)由運動矢量檢測器B102檢測的運動矢量，對幀存 儲器114內(nèi)的局部解碼圖像信號112實施運動補償。自適應濾波信息 生成部B104生成基于使用根據(jù)輸入圖像信號101、局部解碼圖像信 號112和運動矢量生成的自適應濾波信息的幀間預測的預測圖像信號 102。
幀內(nèi)預測器B101具有M個(M為多個)幀內(nèi)預測模式，幀間 預測器B103具有N個(N為多個)幀間預測模式。模式判定器B105 與幀間預測器B103和幀內(nèi)預測器B101的輸出連接。模式判定器B105 輸出基于從N個幀間預測模式中選擇的一個預測模式的預測圖像信 號，或者基于從M個幀內(nèi)預測模式中選擇的一個預測模式的預測圖 像信號102。
運動矢量/預測模式信息/自適應濾波信息116,即從運動矢量檢 測器B102輸出的運動矢量、表示由模式判定器選擇的預測模式的預測模式信息和自適應濾波信息116被送到熵編碼器117,包含在編碼 數(shù)據(jù)117中被發(fā)送到解碼側。僅在選擇了幀間預測模式的情況下，運 動矢量和自適應濾波信息從運動矢量檢測器B102輸出。
參照圖23說明解碼器側的預測圖像生成器115。根據(jù)該預測圖 像生成器115，切換器B201根據(jù)預測模式信息116選擇預測器。在 幀內(nèi)預測器B202被選擇的情況下，根據(jù)在幀存儲器114內(nèi)的幀內(nèi)已 經(jīng)編碼的區(qū)域的解碼圖像信號203生成基于幀內(nèi)預測的預測圖像信號 102。而在幀間預測器B203被選擇的情況下，根據(jù)運動矢量對幀存儲 器114內(nèi)的解碼圖像信號203實施運動補償，生成基于使用自適應濾 波信息116的幀間預測的預測圖像信號102。
圖24示出幀間預測器B103的結構例。幀間預測器B103根據(jù)運 動矢量、局部解碼圖像信號和自適應濾波系數(shù)信息，生成幀間預測圖 像信號102。整數(shù)像素權重/偏移校正部B301進行用于進行整數(shù)像素 值的所謂加權預測的處理。作為具體例，按照以下的公式(7)生成 整數(shù)像素的預測圖像信號102。
<formula>formula see original document page 48</formula>這里，W為權重系數(shù)，L為移位系數(shù)，O為偏移系數(shù)，包舍在 自適應濾波系數(shù)信息中。對像素值X進行基于公式(7)的處理，變 換成Y的值，由此可以進行亮度的校正或顏色的校正。
公式(8)是進行雙向預測的情況下的權重/偏移處理的例子。
<formula>formula see original document page 48</formula>(8)
這里，對像素值&的權重系數(shù)為Wl5偏移系數(shù)為On對像素 值乂2的權重系數(shù)為\￥2，偏移系數(shù)為O" L為移位系數(shù)，包含在自適 應濾波系數(shù)信息中。對象素值X^ X2進行公式B2的處理，變換成Y 的值，由此可以進行亮度的校正或顏色的校正。
在不必進行權重/偏移校正處理的情況下，利用自適應濾波信息 116切換開關B301，生成小數(shù)點像素自適應內(nèi)插圖像。
在本發(fā)明中，將編碼/解碼處理的比特長設定成比輸入圖像信號 的像素比特長要長，因此可以確保權重/偏移校正處理的計算精度，可以進行精度更高的權重/偏移校正。
在運動矢量示出了小數(shù)點像素位置的情況下，小數(shù)像素自適應內(nèi)
插圖像生成部B303使用自適應濾波信息中的內(nèi)插濾波系數(shù)，根據(jù)整 數(shù)像素值生成小數(shù)點像素位置的內(nèi)插像素值，生成預測圖像信號102。 關于該處理，在本發(fā)明中也將編碼/解碼處理的比特長設定成比輸入圖 像信號的像素比特長要長，因此可以確保內(nèi)插濾波處理的計算精度， 可以得到更好的小數(shù)點像素值。
圖25示出幀間預測器B103的另一結構例。同樣，該幀間預測 器根據(jù)運動矢量、局部解碼圖像信號和自適應濾波系數(shù)信息，生成幀 間預測圖像信號102。在運動矢量示出了小數(shù)點像素位置的情況下， 小數(shù)像素自適應內(nèi)插圖像生成部B401使用自適應濾波信息中的內(nèi)插 濾波系數(shù)，根據(jù)整數(shù)像素值生成小數(shù)點像素位置的內(nèi)插像素值，生成 預測圖像信號102。
在本實施方式中，將編碼/解碼處理的比特長設定成比輸入圖像 信號的像素比特長要長，因此可以確保內(nèi)插濾波處理的計算精度，可 以得到更好的小數(shù)點像素值。
權重/偏移校正部B403進行用于進行預測圖像信號的像素值的 所謂加權預測的處理。作為具體例，按照上述的公式(7)或公式(8) 生成預測圖像信號102。
在本實施方式中，將編碼/解碼處理的比特長設定成比輸入圖像 信號的像素比特長要長，因此可以確保權重/偏移校正處理的計算精 度，可以進行精度更高的權重/偏移校正。
圖26示出幀間預測器的又一結構例。該幀間預測器根據(jù)運動矢 量、再生圖像信號和自適應濾波系數(shù)信息，生成幀間預測圖像信號。 由此，在運動矢量示出了小數(shù)點像素位置的情況下，開關B501與小 數(shù)像素自適應內(nèi)插/偏移校正圖像生成部B502連接，再生圖像信號由 小數(shù)像素自適應內(nèi)插/偏移校正圖像生成部B502處理。在示出了整數(shù) 像素的情況下，開關B501與整數(shù)像素權重/偏移校正圖像生成部B503 連接，再生圖像信號由整數(shù)像素權重/偏移校正圖像生成部B503處理。在運動矢量示出了小數(shù)點像素位置的情況下，小數(shù)像素自適應內(nèi)
插/偏移校正圖像生成部B502使用自適應濾波信息中的內(nèi)插濾波系數(shù) 和偏移校正系數(shù)，根據(jù)整數(shù)像素值生成小數(shù)點像素位置的內(nèi)插像素 值，生成預測圖像信號。作為具體例，在下述進行單向預測的情況下， 使用公式(9)，在進行雙向預測的情況下，使用公式(10)。 [式1]
<formula>formula see original document page 50</formula> (9)
這里，對再生圖像信號Xi，j的Wi,j是內(nèi)插濾波系數(shù)，o是偏移 系數(shù)，Y是預測圖像信號。 [式2
<formula>formula see original document page 50</formula>
這里，對再生圖像信號X^i，j的W^i，j是內(nèi)插濾波系數(shù)，0(())是 偏移系數(shù)，對再生圖像信號X(1)i，j的W(1)i，j是內(nèi)插濾波系數(shù)，0(1)是 偏移系數(shù)，Y是預測圖像信號。
整數(shù)像素權重/偏移校正部B503進行用于進行預測圖像信號的 像素值的所謂加權預測的處理。作為具體例，按照上述的公式(7) 或公式(8)生成預測圖像信號。此時的偏移校正系數(shù)使用輸入像素 比特長以上的精度的系數(shù)。
在本實施方式中，將編碼/解碼處理的運算比特長設定成比輸入 圖像信號的像素比特長要長，因此可以確保內(nèi)插濾波處理的計算精 度，可以得到更好的預測像素值。
在本實施方式中，將編碼/解碼處理的比特長設定成比輸入圖像 信號的像素比特長要長，因此可以確保權重/偏移校正處理的計算精 度，可以進行精度更高的權重/偏移校正。 (自適應環(huán)路濾波器)
在第2到第5實施方式中，可以使環(huán)路濾波器113為圖27所示 的結構。
圖27示出編碼器側的環(huán)路濾波器113的結構。濾波系數(shù)決定部C101將輸入圖像信號101和局部解碼圖像信號112作為輸入信號， 在對局部解碼圖像信號112實施濾波處理時，例如算出與輸入圖像信 號101的最小平方誤差最小的濾波系數(shù)，將算出的濾波系數(shù)輸出到濾 波處理部C102,并且作為濾波系數(shù)信息C103輸出到熵編碼部108。 這里的濾波系數(shù)決定方法不限于該例，例如也可以預先準備去塊濾波 器(deblocking filter)和去振鈴濾波器(deringing filter)等多個濾 波器，對它們自適應地進行切換，將所選擇的濾波器作為濾波系數(shù)信 息C103輸出，或者可以進行自適應地判定是否應用各濾波器等的處 理，可以應用各種方式。要輸入的輸入圖像信號101根據(jù)各實施方式 使用與輸入到環(huán)路濾波器的局部圖像解碼信號112相同的像素比特長 的信號。
濾波處理部C102使用從濾波系數(shù)決定部C101輸入的濾波系數(shù) 對局部解碼圖像信號的各像素實施了濾波處理后，向幀存儲器114等 輸出。
輸出到熵編碼部108的濾波系數(shù)信息103由熵編碼部108進行熵 編碼，包含在編碼數(shù)椐117中發(fā)送。
圖28示出解碼側的環(huán)路濾波器113的結構例。根據(jù)從熵解碼部 200輸出的濾波系數(shù)信息C103，在濾波處理部C102中對解碼圖像信 號的各像素實施濾波處理。進行了濾波處理的解碼圖像信號根據(jù)各個 實施方式，或者輸出到幀存儲器114或像素比特長縮小器，或者作為 解碼圖像信號原樣輸出。
根據(jù)以上結構，由于將編碼/解碼處理的比特長設定成比輸入圖 像信號的像素比特長要長，因此可以確保在環(huán)路濾波器113內(nèi)進行的 濾波處理的計算精度，可以進行精度更高的環(huán)路濾波處理。 (包括前置濾波器的結構)
在第1到第3實施方式中，可以使變換輸入圖像信號101的像素 比特長的像素比特長擴展器1001為圖29所示的結構。在該結構中， 輸入到像素比特長擴展器1001的輸入圖像信號按照與第1實施方式 同樣的過程進行了將各像素的比特長擴展成比N比特大M比特的(N+ M)比特精度的處理后，被導入濾波處理部7000，對各像素進行濾 波處理。這里進行的濾波處理例如使用使幀內(nèi)的鄰接像素乘以濾波系 數(shù)后相加的空間濾波器。作為空間濾波器，圖30中示出例如使用了 Ipsilon濾波器的濾波處理部7000。
根據(jù)該濾波處理部7000，若將輸入像素值設為P[tl、將輸出像 素值設為Q[t，則t表示像素的位置。在對t位置的像素施加濾波器 的情況下，向加法器A01輸入輸入像素值P[t和蓄積在臨時存儲器 A04中的其前一個的輸出像素值Qt-1，求出差分d。利用該差分d 來查查找表A02，決定F(d)。將該值F (d)輸入加法器A03，從 輸入像素值Ptl中減去。若用公式表示該動作則如下。 Q〔t] = P[t] - F(P[t]- Q[t-l]) (11)
函數(shù)F由式(12)表示，(int)是向O方向的整數(shù)化處理。
F(d)=(int)(d/(dXd/(uXu)+l. 0) (12)
d= P[t] - Q[t-l] (13)
查找表A02的內(nèi)容可以將利用函數(shù)F計算的值預先作為表存儲。 例如，如果像素值為n比特，則d的值為-2" + 1~ +2n-l，查找表準 備2n + 1-l個排列即可。這里，u是濾波參數(shù)，u越大就越強地施加濾 波。該濾波運算量在1個像素的濾波處理中僅為2次加法運算。
圖31是使用了圖30的濾波器的濾波處理部7000的具體的流程 圖。該濾波處理部7000從幀的4個方向進行濾波處理。首先，進行 幀的從右向左的后置濾波處理(S101)。然后，進行相反方向的從左 向右的后置濾波處理(S102)。同樣，下次進行從上到下的后置濾波 處理(S103)，然后進行相反方向的從下到上的后置濾波處理。針對 YCbCr各自的信號進行該處理。這樣，通過從相互相反的方向進行濾 波處理，能夠消除作為循環(huán)濾波的缺點的相位偏移。
另外，作為濾波處理，也可以利用對多個幀的對應像素乘以濾波 系數(shù)后相加的時間濾波。另外，也可以實施伴隨運動補償?shù)臅r間濾波。 伴隨運動補償?shù)臅r間濾波例如使用記載在特愿2006 - 36206等中的方 法。
本結構中的濾波處理不限于這里所述的濾波處理，只要是濾波處理，可以進行任意的處理。另外，對于第4和第5實施方式，輸入圖 像信號101在不變換像素比特長的情況下進行編碼，但也可以在對輸 入圖像信號101直接實施這里所述的前置濾波處理后進行編碼。
(包括后置濾波器的結構) 在第1到第5實施方式中，可以使像素比特長縮小器2001和2007 為圖32所示的結構。在該結構中，輸入到像素比特長縮小器2001和 2007的比特擴展解碼圖像信號2003被輸入濾波處理部7001,在對各 像素進行了濾波處理后，按照與第1實施方式同樣的過程進行將各像 素的比特長縮小成比(N + M)比特小M比特的N比特精度的處理后， 作為N比特的解碼圖像信號輸出。這里進行的濾波處理例如可以使用 使幀內(nèi)的鄰接像素乘以濾波系數(shù)后相加的空間濾波器，也可以使用使 多個幀的對應像素乘以濾波系數(shù)后相加的時間濾波器。
(可逆濾波器的結構)
在本結構中，可以使上述的像素比特長擴展器1001與進行濾波 處理的結構相組合，由像素比特長縮小器2001內(nèi)的濾波處理部進行 像素比特長擴展器1001內(nèi)的濾波處理部7000進行濾波處理的逆濾波 處理。例如，在濾波處理部7000中，作為輸入像素值，在將2幀間 對應的2點的像素值分別設為x、 y，將對應的輸出像素值設為a、 b 的情況下，實施公式(14)所示的處理。
a = (3x+y+2)》2
b = (x+3y+2)〉〉2 (14)
公式(14 )的處理進行基于2比特的右移的除法處理，但例如在 像素比特長擴展器1001中進行基于2比特左移的像素比特擴展的情 況下，在公式(14)所示的濾波處理中不產(chǎn)生舍入誤差，從而不會丟 失輸入圖像的信息。
另一方面，在解碼側的濾波處理部7000中，作為輸入像素，在 將解碼圖像信號的2幀間對應的2點的像素值設為a，、 b，，將對應的
輸出像素值設為x，、 y，的情況下，實施公式(15)所示的處理。
x' =(3a'-b' +4)〉>3
y' = (3b'-a''+4)〉〉3 (15)公式(15)的處理進行基于3比特的右移的除法處理，但例如在 像素比特長擴展器1001中進行基于2比特左移的像素比特擴展的情 況下，與公式(14)所示的濾波處理同樣，不產(chǎn)生舍入誤差。即，如 果假定通過編碼和解碼處理產(chǎn)生的量化誤差為0，則基于公式(14) 和公式(15)的濾波和逆濾波成為可逆濾波。公式(14)進行使2幀 間的對應2點的像素值分別接近的處理，因此運動補償更容易符合預 測，從而預測殘差變小。因此可以削減代碼量。并且，通過進行像素 比特擴展，只要除去量化誤差，就可以在解碼側進行返回到原來的輸 入圖像的濾波處理，因此可以提高編碼效率。
在濾波處理部7000和7001中使用的濾波器不限定于這里所迷的 例子，可以使用任何濾波器。當然，在像素比特長擴展器1001中， 通過使用對應于要擴展的比特數(shù)M的可逆濾波器，可以進一步提高 預測等的精度。另外，在這里所述的例子中，將2幀間對應的2點作 為濾波處理的對象，但不限定于該例，例如也可以使用2幀以上的幀 的像素。另外，也可以將1幀內(nèi)的相鄰的2點或2點以上的多個點的 像素作為濾波處理的對象。而且，在交錯(interlace)圖像中，可以 將頂場(top field)和底場(bottom field)的對應2點的# 素值作為 濾波處理的對象等，可以使用各種形態(tài)的濾波處理。
可以將在濾波處理部7000和7001中使用的可逆濾波器的系數(shù)輸 出到熵編碼部108,并包含在編碼數(shù)據(jù)117中。這樣，可以針對每幀 選擇提高預測等的精度的效果高的濾波系數(shù)來進行編碼。 (第6實施方式)
參照圖33A說明第6實施方式的用于運動圖像編碼的圖像編碼 裝置的結構。
該圖像編碼裝置是與第2實施方式所示的結構例(圖9)幾乎同 樣的結構，但不同點在于，在像素比特長擴展器1001的后級具有水 印信息埋入器3000。
參照圖33B的流程圖說明圖像編碼裝置的動作。向該圖像編碼 裝置例如以幀為單位輸入運動圖像信號作為圖像信號100 (S151)。像素比特長擴展器(像素比特精度變換器)1001通過進行與第2實施 方式同樣的處理，對輸入的N比特精度的圖像信號100的各像素的值， 進行擴展成比N比特大M比特的(N + M )比特精度的處理(S152 )。 擴展的比特數(shù)M由比特長變換控制器(比特精度變換控制器)1002 作為比特擴展信息1003導入熵編碼器108。
比特長被擴展的輸入圖像信號100被輸入到水印數(shù)據(jù)埋入器 3000后，將根據(jù)預先設定的參數(shù)生成的數(shù)據(jù)串埋入到輸入圖像信號 100的各像素的例如下位比特中(S153)。這里，所生成的數(shù)據(jù)串具 有作為擴展的比特長的M比特以下的字長。
埋入了數(shù)據(jù)串的輸入圖像100被導入減法器101后，利用減法器 101求出將比特長擴展為(N + M)比特精度的輸入圖像信號100與以 (N + M)比特精度生成的預測圖像信號102的差分。由此生成(N + M)比特精度的預測誤差信號103 (S154)。對于所生成的預測誤 差信號103，由正交變換器104實施正交變換(例如離散余弦變換 (DCT)),在正交變換器104中得到正交變換系數(shù)信息105 (例如 DCT系數(shù)信息)(S155 )。正交變換系數(shù)信息105由量化器106量化， 量化正交變換系數(shù)信息107被導入熵編碼器108和逆量化器109。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，生 成與預測誤差信號同樣的信號，即局部解碼誤差信號。該局部解碼誤 差信號利用加法器111與(N + M)比特精度的預測圖像信號102相 加，由此生成(N + M)比特精度的局部解碼圖像信號112 (S156)。 (N + M)比特精度的局部解碼圖像信號112根據(jù)需要由環(huán)路濾波器 113進行了濾波處理后，存儲在幀存儲器114中。存儲在幀存儲器114 中的局部解碼圖像信號112被輸入到預測圖像生成器115。
預測圖像生成器115根據(jù)將比特長擴展成(N + M)比特精度的 輸入圖像信號100以及(N + M)比特精度的局部解碼圖像信號112， 生成基于某預測模式信息的(N + M)比特精度的預測圖像信號。此 時，針對幀內(nèi)的每個塊取得(N + M)比特精度的輸入圖像信號100與由像素比特長變換器1005擴大為(N + M)比特精度的局部解碼圖 像信號112之間的匹配(例如塊匹配)，檢測出運動矢量(S157)。 利用以該運動矢量補償后的(N + M)比特精度的局部圖像信號，生 成(N + M)比特精度的預測圖像信號(S157)。這里生成的(N + M) 比特精度的預測圖像信號102與所選擇的預測圖像信號的運動矢量信 息/預測模式信息116 —起從預測圖像生成器115輸出。
熵編碼器108對量化正交變換系數(shù)信息107、運動矢量信息/預測 模式信息116以及比特擴展信息1003進行熵編碼(S159)，由此生 成的編碼數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出。
在本實施方式中，與第1實施方式同樣，可以利用在補充語法中 多路復用的數(shù)據(jù)。
以下參照圖34A說明本實施方式的圖像解碼裝置的結構。該圖 像解碼裝置是與第2實施方式所示的結構例(圖IO)基本同樣的結構， 不同點在于，在環(huán)路濾波器113和像素比特長縮小器2001 (像素比特 精度變換器)之間連接有水印檢測器3002。
參照圖34B的流程圖說明圖像解碼裝置的動作。向圖像解碼裝 置輸入利用圖11A的圖像編碼裝置編碼的編碼數(shù)據(jù)117后(S161)， 在熵解碼器200中，編碼數(shù)據(jù)117按照與熵編碼相反的過程被解碼， 得到量化正交變換系數(shù)信息107、運動矢量/預測模式信息116和比特 擴展信息2004 (S162)。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成(N + M)比特精度的殘差信號201 (S163)。從熵解碼器200 輸出的比特擴展信息2004被輸入到比特長變換控制器2002后，輸出 示出表示解碼圖像被擴展幾個比特的比特數(shù)M的比特變換信息2003。
運動矢量/預測模式信息116被輸入預測圖像生成器115，根據(jù)上 述(N + M)比特精度的比特擴展參照圖像信號204，生成基于運動矢 量/預測模式信息116的(N + M )比特精度的預測圖像信號102( S164 )。 (N + M)比特精度的殘差信號201和(N + M)比特精度的預測圖像信號102由加法器111相加。相加后的信號在環(huán)路濾波器113中根據(jù) 需要進行濾波處理，輸出(N + M)比特精度的比特擴展解碼圖像信 號203 ( S165 )。
比特擴展解碼圖像信號203被存儲到幀存儲器114中，并且被輸 入到水印檢測部3002。在水印檢測部3002中，判定比特擴展解碼圖 像203的各像素的例如下位比特是否是被埋入的水印數(shù)據(jù)，輸出表示 是否包含水印數(shù)據(jù)的水印檢測信息3003 ( S166 )。是否是水印數(shù)據(jù)的 判定例如利用如下等的方法來進行計算預先已知的水印圖案與比特 擴展解碼圖像203的例如下位M個比特的相關關系，在其值在一定 的閾值以上的情況下，判定是水印數(shù)據(jù)。
比特擴展解碼圖像信號203被輸入像素比特長變換器2007，通 過根據(jù)比特變換信息2003對各像素的值實施例如與公式(2)等的第 1實施方式的圖像解碼裝置中的像素比特長縮小器同等的處理，將像 素比特長縮小變換成小M比特的值(S167)，得到與輸入到圖像編 碼裝置的輸入圖像相同的N比特精度的解碼圖像202 (S168)。
根據(jù)以上結構，預測圖像信號以比輸入圖像信號大M比特的精 度生成，因此可以提高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預測等精 度。結果可以減小預測誤差信號，因此可以提高編碼效率。另外，通 過利用被擴展的下位比特來埋入水印信息，可以在不改變輸入圖像信 號的情況下埋入水印信息。
在第2~6實施方式中，將進行擴展或縮小的比特數(shù)M作為比特
擴展信息進行熵編碼并包含在編碼數(shù)據(jù)中，但在圖像編碼裝置和圖像 解碼裝置中將比特長擴展或縮小預先決定的數(shù)目的情況下，不必將比 特數(shù)M包含在編碼數(shù)據(jù)中。另外，在將比特長擴展或縮小預先決定 的數(shù)目的情況下，可以在編碼數(shù)據(jù)中僅包含表示是否進行擴展或縮小 的標志。這種情況下，當標志為TRUE時，在第2~第6實施方式的 像素比特長擴展器1001或像素比特長縮小器2001或像素比特長變換 器2007中，將開關連接到ON側。而在標志為FALSE時，將開關連 接到OFF側。在第2、第3實施方式中，對于在將局部解碼圖像信號存儲到幀 存儲器中時縮小的比特數(shù)L，在與M為相同值的情況下，不必在編碼 數(shù)據(jù)中包含L。另外，不管M、 L是相同值還是不同值，在是預先決 定的數(shù)目的情況下，都不必在編碼數(shù)據(jù)中包含比特數(shù)M、 L。
對輸入圖像或局部解碼圖像信號以及解碼圖像的像素比特長進 行擴展與提高編碼.解碼處理過程的整數(shù)運算的運算精度是等同的?？?以使處理過程中的任意部位處的運算精度可變，并在編碼數(shù)據(jù)中包含 表示它們的運算精度的標志或信息。例如，組合第2~第5實施方式， 在編碼數(shù)據(jù)中包含表示是否在編碼.解碼處理過程中擴展存儲在幀存 儲器中的像素比特精度的標志，以及表示是否擴展輸入到正交變換/ 量化的預測殘差的像素比特長、即是否擴展正交變換/量化的運算精度 的標志?？梢詫谶@些標志的ON/OFF來切換是否在編碼裝置和解 碼裝置中擴展存儲在幀存儲器中的像素比特精度、是否擴展輸入到正 交變換/量化的預測殘差的像素比特長。而且，在這些標志為ON的情 況下，可以在編碼數(shù)據(jù)中包含表示擴展/或縮小幾個比特的數(shù)據(jù)。另外， 表示是否擴展這些編碼.解碼處理的一個過程的運算精度的標志或表 示要擴展的比特數(shù)的數(shù)據(jù)不是僅將這里所示的幀存儲器或正交變 換.量化為對象，例如可以追加針對環(huán)路濾波器的標志或表示擴展比特 數(shù)的數(shù)據(jù)。只要處理是編碼.解碼處理過程的一部分，就可以將該處理 或多個處理集中為一個，對于每一個設定表示是否擴展運算精度的標 志或表示擴展比特數(shù)的數(shù)據(jù)，并包含在編碼數(shù)據(jù)中。 (第7實施方式)
參照圖35A說明第7實施方式的圖像編碼裝置的結構。該實施 方式基本上與圖11的實施方式具有同樣的結構，但與圖11的實施方 式的不同點在于，在預測圖像生成部115與減法器101之間設置像素 比特長縮小器(像素比特精度縮小變換器)1004，在加法器lll與環(huán) 路濾波器112之間設置像素比特長擴展器(像素比特精度擴展變換器) 1007。
參照圖35B的流程圖說明圖像編碼裝置的動作。向該圖像編碼裝置例如以幀為單位輸入運動圖像信號作為圖像信號100 (S171)。 像素比特長擴展器1001采用圖2的結構，根據(jù)基于比特變換信息1010 中包含的后述的語法信息的控制標志F1001,判定是否將輸入的N比 特精度的圖像信號100的各像素的值擴展成比N比特大M比特的(N + M)比特精度(S172)。這里，在控制標志F1001為ON的情況下， 將像素比特長擴展器1001內(nèi)的開關EO設定為ON，通過與第1實施 方式中的像素比特長變換器1001進行的處理同樣的處理，擴展局部 解碼圖像信號112的各像素的比特長(S173)。例如，在輸入圖像信 號的某像素的值為K的情況下，擴展了 M比特后的像素值K，例如通 過公式(1)或公式(1-1) 、 (1-2)、 (1-3)等的處理來計算。
在控制標志F1001為OFF的情況下，將開關E0連接到OFF側， 不進行擴展各像素的比特長的處理。要擴展的比特數(shù)M等變換信息 由比特長變換控制器1002作為比特擴展信息1003導入熵編碼器108。
利用減法器101取得輸入圖像信號100與預測圖像信號102的差 分，生成預測誤差信號103 (S174)。對于所生成預測誤差信號103， 由正交變換器104實施正交變換(例如離散余弦變換(DCT))，在 正交變換器104中得到正交變換系數(shù)信息105 (例如DCT系數(shù)信息) (S175)。正交變換系數(shù)信息105由量化器106量化，量化正交變換 系數(shù)信息107被導入熵編碼器108和逆量化器109。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器 110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成與預測誤差信息同樣的信號，即局部解碼誤差信號。該局部解碼 誤差信號利用加法器lll與預測圖像信號102相加，生成局部解碼圖 像信號112 (S176)。局部解碼圖像信號112被輸入像素比特長擴展 器1007，根據(jù)基于比特變換信息1010中包含的后述的語法信息的控 制標志F1007，判定是否擴展局部解碼圖像信號112的各像素的比特 長(S177)。在控制標志F1007為ON的情況下，將像素比特長擴展 器1007內(nèi)的開關E0設定為ON，通過與第4實施方式中的像素比特 長變換器1007進行的處理同樣的處理，擴展局部解碼圖像信號112的各像素的比特長(S178)。在控制標志F1007為OFF的情況下， 不進行擴展像素的比特長的處理。
從像素比特長擴展器1007輸出的局部解碼圖像信號112根據(jù)需 要由環(huán)路濾波器113進行了濾波處理后，輸入到像素比特長變換器 1005。像素比特長變換器1005根據(jù)基于比特變換信息1010中包含的 后述的語法信息的控制標志F1005，判定是否擴展局部解碼圖像信號 112的各像素的比特長(S179)。這里，在控制標志F1005為ON的 情況下，將像素比特長擴展器1005內(nèi)的開關E3設定為ON，通過與 第3實施方式中的像素比特長變換器1005進行的處理同樣的處理， 擴展局部解碼圖像信號112的各像素的比特長(S180)。在控制標志 F1005為OFF的情況下，不進行擴展像素的比特長的處理。從像素比 特長變換器1005輸出的局部圖像信號112存儲在幀存儲器114中 (S181)。存儲在幀存儲器114中的局部圖像信號進而被輸入到像素 比特長變換器1006。像素比特長變換器1006根據(jù)基于比特變換信息 1010中包含的后述的語法信息的控制標志F1006，判定是否變換局部 解碼圖像信號112的各像素的比特長(S182)。這里，在控制標志 F1006為ON的情況下，將像素比特長擴展器1006內(nèi)的開關E3設定 為ON，通過與第3實施方式中的像素比特長變換器1006進行的處理 同樣的處理，擴展局部解碼圖像信號112的各像素的比特長(S183)。 在控制標志F1006為OFF的情況下，不進行變換像素的比特長的處 理。從像素比特長變換器1006輸出的局部解碼圖像信號112被輸入 到預測圖像生成器115。
預測圖像生成器115根據(jù)輸入圖像信號100以及存儲在幀存儲器 114中的局部解碼圖像信號112，生成基于某預測模式信息的預測圖 像信號(S184)。此時，來自加法器111的局部解碼圖像信號112被 臨時蓄積在幀存儲器114中，針對幀內(nèi)的每個塊取得輸入圖像信號100 與蓄積在幀存儲器114內(nèi)的局部解碼圖像信號112之間的匹配(例如 塊匹配)，檢測出運動矢量，利用以該運動矢量補償后的局部圖像信 號，生成預測圖像信號。這里生成的預測圖像信號102與所選擇的預測圖像信號的運動矢量信息/預測模式信息116 —起從預測圖像生成 器115輸出。
從預測圖像生成器115輸出的預測圖像信號102被輸入到像素比 特長縮小器1004。像素比特長縮小器1004根據(jù)基于比特變換信息 1010中包含的后述的語法信息的控制標志F1004，判定是否變換預測 圖像信號102的各像素的比特長(S185)。在控制標志F1004為ON 的情況下，將像素比特長縮小器1004內(nèi)的開關E2設定為ON，通過 與第4實施方式同樣的處理，縮小預測圖像信號102的各像素的比特 長(S186)。在控制標志F1004為OFF的情況下，不進行變換像素 的比特長的處理。
熵編碼器108對量化正交變換系數(shù)信息107、運動矢量信息/預測 模式信息116以及比特擴展信息1003進行熵編碼(S187)，由此生 成的編碼數(shù)據(jù)117向未圖示的傳送系統(tǒng)或蓄積系統(tǒng)送出。
以下說明控制是否進行比特長的擴展.縮小.變換的控制標志的編 碼方法。
在本實施方式中，可以將控制是否進行比特長的擴展'縮小'變換 的控制標志或要擴展的比特數(shù)據(jù)包含在序列參數(shù)集語法(404)中來 發(fā)送。以下說明各個語法。
圖36的序列參數(shù)集語法內(nèi)所示的ex—seq—all_bit—extension_flag 是表示是否進行比特擴展的標志，該標志為TRUE時，表示在編碼和 解碼內(nèi)部的所有數(shù)據(jù)路徑中，使用各像素的比特長被擴展的數(shù)據(jù)來進 行編碼和解碼。該標志為FALSE時，該標志表示在編碼和解碼內(nèi)部 的所有數(shù)據(jù)路徑中，不使用各像素的比特長被擴展的圖像信號來進行 編碼.解碼，或者表示僅在一部分數(shù)據(jù)路徑中，使用各像素的比特長被 擴展的圖像信號來進行編碼.解碼。當ex_seq_bit_extension—flag為 TRUE時，還可以發(fā)送表示進行幾個比特擴展的ex_seq—shift—bits。
ex—seq—all_bit_extension_flag為FALSE時，還可以發(fā)送表示是 否擴展輸入到編碼和解碼內(nèi)部的預測圖像生成部的圖像信號的像素 比特長的ex_seq_partial—bit—extension—flag。在該標志為TRUE的情況下，表示在編碼.解碼內(nèi)部處理中的預測圖像生成時使用各像素的比
特長被擴展的圖像信號。另一方面，在標志為FALSE時，該標志表 示在編碼和解碼內(nèi)部的所有數(shù)據(jù)路徑中，不使用各像素的比特長被擴 展的圖^象信號。當ex—seq—partial—bit—extension—flag為TRUE時，還 可以發(fā)送表示與輸入圖像信號的像素比特長相比，將輸入到預測圖像 生成部112的圖像信號的像素比特長擴展幾個比特的ex—seq_ partial_shiftbits 。
當ex—seq—partialbit—extension—flag為TRUE時，還可以發(fā)送 表示是否在編碼*解碼內(nèi)部的數(shù)據(jù)路徑的某一部分中使用各像素的比 特長被擴展的圖像信號。在圖36所示的例子中，發(fā)送表示是否擴展 存儲在幀存儲器114中的參照圖像信號的像素比特長的標志 ex—seq—framemem—bit—extension—flag、以及表示是否擴展輸入或輸出 到正交變換部和量化部(正交變換器104、量化器106、逆量化器109 和逆正交變換器110)的預測殘差信號的像素比特長的標志 ex—seq—trans—and—quant—bit_extension_flag。
在ex—seq_framemem—bit—extension—flag為TRUE的情況下，該 標志表示擴展存儲在幀存儲器中的參照圖像信號的像素比特長。標志 為FALSE的情況下，表示使存儲在幀存儲器中的參照圖像信號的像 素比特長與輸入圖像的像素比特長相同。
—framemem—bit—extension—flag為TRUE的情況下，還可以發(fā) 送表示與輸入圖像信號的像素比特長相比，將存儲在幀存儲器中的圖 像信號的像素比特長擴展幾個比特的ex—seq_ framemem _shift_bits。
ex—seq—trans—and—quant—bit—extension—flag為TRUE的情況下， 該標志表示擴展輸入或輸出到正交變換部和量化部(正交變換器104、 量化器106、逆量化器109和逆正交變換器110)的預測殘差信號的 像素比特長。即，表示擴展輸入圖像信號和預測圖像信號的各像素的 比特長，預測殘差信號是各像素的比特長被擴展的輸入圖像信號與預 測圖像信號的差分信號。
該標志為FALSE的情況下，該標志表示輸入或輸出到正交變換部和量化部(正交變換器104、量化器106、逆量化器109和逆正交 變換器110)的預測殘差信號是比特精度與輸入圖像信號相同的預測 圖像信號與輸入圖像信號的差分信號。
ex—seqtrans—and—quant—bit—extension—flag為TRUE的情況下， 還可以發(fā)送表示在輸入或輸出到正交變換部和量化部(正交變換器 104、量化器106、逆量化器109和逆正交變換器110)的預測殘差信 號的生成時，與輸入圖像信號的像素比特長相比，將輸入圖像信號和 預測圖像信號的像素比特長擴展幾個比特的ex一seq一 trans—and—quant —shift—bits.
在編碼側和解碼側，在各標志為TRUE的情況下，在以預先設 定的比特數(shù)進行擴展或縮小幾個比特的情況下，如圖37所示，也可 以僅發(fā)送表示是否變換圖像信號的像素比特長的標志。
圖38中示出以這些語法的值為基礎，在圖35所示的圖像編碼裝 置的處理中使用的控制標志FlOOl、 F1007、 F1005、 F1006、 F1004 的i殳定例。在圖38中，all的列表示ex_seq_all—bit—extension_flag的 值。同樣，part 、 fm 、 t/q 的列分別表示 ex—seq_partial—bit—extension—flag、 ex—seq—framemem—bitextension —flag 、 ex—seq—trans—and_quant—bit_extension_flag 的值。0 表示 FALSE, 1表示TRUE,-表示不存在語法?？刂茦酥綟lOOl、 F1007、 F1005、 F1006、 F1004的列表示根據(jù)各自的語法的值設定的控制標志 的值。1表示ON， 0表示OFF。例如，在ex_seq—all_bit—extension_flag 為TRUE的情況下，表示僅控制標志FlOOl為ON，其它的標志為 OFF。
圖40中示出在后述的圖像解碼裝置的處理中使用的控制標志 F2001、 F2005、 F2006、 F2007、 F2008的i殳定例。分別表示與圖38 同樣的值。在本實施方式中，與第l實施方式同樣，可以利用在補充 語法中多路復用的數(shù)據(jù)。
參照圖39A說明本實施方式的圖像解碼裝置的結構。如圖39所 示，該圖像解碼裝置具備熵解碼器200、逆量化器109、逆正交變換器110、加法器lll、環(huán)路濾波器113、幀存儲器114、預測圖像生成 器115、像素比特長縮小器(像素比特精度縮小變換器)2001、 2006、 像素比特長擴展器(像素比特精度擴展變換器)2005、像素比特長變 換器(像素比特精度變換器)2007、 2008、比特長變換控制器2002。 即，熵解碼器200的系數(shù)信息輸出經(jīng)由逆量化器109、逆正交變換器 110與加法器111連接。熵解碼器200的運動矢量/預測模式信息輸出 與預測圖像生成器115連接，其比特擴展信息輸出與比特長變換控制 器2002連接。預測圖像生成器115的輸出經(jīng)由像素比特長縮小器與 加法器111的另一輸入連接。加法器111的輸出經(jīng)由像素比特長擴展 器2005、環(huán)路濾波器113、像素比特長變換器2007與幀存儲器114 連接。環(huán)路濾波器113的另一輸出與像素比特長縮小器2001的輸入 連接。幀存儲器114的輸出與比特長變換控制器2002的輸出一起與 像素比特長變換器2008連接。像素比特長變換器2008的輸出與預測 圖像生成器115的另一輸入連接。比特長變換控制器2002的輸出與 像素比特長縮小器2001、像素比特長擴展器2005、像素比特長縮小 器2006、像素比特長變換器2007和像素比特長變換器2008的另一輸 入連接。
參照圖39B的流程圖說明圖像解碼裝置的動作。向圖像解碼裝 置輸入利用圖9的圖像編碼裝置編碼的編碼數(shù)據(jù)117后(S201)，由 熵解碼器200按照與熵編碼相反的過程解碼，生成量化正交變換系數(shù) 信息107、運動矢量/預測模式信息116和比特擴展信息2004( S202 )。 比特擴展信息2004被輸入到比特長變換控制器2002后，比特長變換 控制器2002輸出包含是否進行像素比特長縮小器2001、 2006、像素 比特長擴展器2005、像素比特長變換器2007、 2008中的像素比特長 變換的控制標志和表示要擴展或縮小的比特長的信息等的比特變換 信息2003。該比特變換信息中包含的控制標志根據(jù)例如作為比特擴展 信息2004在編碼數(shù)據(jù)117中多路復用的語法(圖36)的值，如圖40 所示分別設定，并且包含在比特變換信息2003中。
量化正交變換系數(shù)信息107通過逆量化器109和逆正交變換器110依次接受與量化器106和正交變換器104的處理相反的處理，變 換成殘差信號201 (S203 )。運動矢量/預測模式信息116被輸入預測 圖像生成器115,并存儲在幀存儲器114中，由像素比特長變換器2008 根據(jù)需要并根據(jù)各像素的比特長被變換的解碼圖像信號203，生成基 于運動矢量/預測模式信息116的預測圖像信號102 (S204 )。
預測圖像信號102被輸入到像素比特長縮小器2006，根據(jù)比特 變換信息2003中包含的控制標志F2006，判定是否變換預測圖像信號 102的各像素的比特長(S205)。在控制標志F2006為ON的情況下， 將像素比特長擴展器2006內(nèi)的開關E2設定為ON,通過進行與第4 實施方式中的像素比特長擴展器2006進行的處理同樣的處理，縮小 預測圖像信號102的各像素的比特長(S206 )。在控制標志F2006為 OFF的情況下，不進行變換像素的比特長的處理。
從像素比特長縮小器2006輸出預測圖像信號102和殘差信號 201由加法器lll相加，生成解碼圖像信號(S207)。解碼圖像信號 203被輸入到像素比特長擴展器2005。像素比特長擴展器2005根據(jù) 比特變換信息2003中包含的控制標志F2005，判定是否擴展解碼圖像 信號203的各像素的比特長(S208 )。在控制標志F2005為ON的情 況下，將像素比特長擴展器2005內(nèi)的開關E1設定為ON，通過進行 與第4實施方式中的像素比特長變換器2005進行的處理同樣的處理， 擴展解碼圖像信號203的各像素的比特長(S209 )。在控制標志F2005 為OFF的情況下，不進行變換像素的比特長的處理。
從像素比特長擴展器2005輸出的解碼圖像信號203在環(huán)路濾波 器113中根據(jù)需要進行濾波處理后輸出，輸出到像素比特長縮小器 2001和像素比特長變換器2007。
解碼圖像信號203被輸入到像素比特長變換器2007后，像素比 特長變換器2007根據(jù)比特變換信息2003中包含的控制標志F2007， 判定是否變換解碼圖像信號203的各像素的比特長(S210)。在控制 標志F2007為ON的情況下，將像素比特長擴展器2007內(nèi)的開關E3 設定為ON，通過進行與第3實施方式中的像素比特長變換器2007進行的處理同樣的處理，變換解碼圖像信號203的各像素的比特長 (S211)。在控制標志F2007為OFF的情況下，不進行變換像素的 比特長的處理。
從像素比特長擴展器2007輸出的解碼圖像信號203被存儲在幀 存儲器114中(S212)。存儲在幀存儲器114中的解碼圖像信號203 被輸入到像素比特長變換器2008后，像素比特長變換器2008根據(jù)比 特變換信息2003中包含的控制標志F2008，判定是否變換解碼圖像信 號203的各〗象素的比特長(S213 )。在控制標志F2008為ON的情況 下，將像素比特長擴展器2008內(nèi)的開關E3設定為ON，通過進行與 第3實施方式中的像素比特長變換器2008進行的處理同樣的處理， 變換解碼圖像信號203的各像素的比特長(S214)。在控制標志F2008 為OFF的情況下，不進行變換像素的比特長的處理。從像素比特長 變換器2008輸出的圖像信號被輸入到預測圖像生成器115 (S215)。
解碼圖像信號203在環(huán)路濾波器113中根據(jù)需要進行濾波處理， 并輸出到像素比特長縮小器2001。解碼圖像信號203被輸入到像素比 特長縮小器2001后，像素比特長縮小器2001根據(jù)比特變換信息2003 中包含的控制標志F2001,判定是否變換解碼圖像信號203的各像素 的比特長(S216)。在控制標志F2001為ON的情況下，將像素比特 長縮小器2001內(nèi)的開關E2設定為ON，通過進行與第1實施方式中 的像素比特長縮小器2001同樣的處理，縮小解碼圖像信號203的各 像素的比特長(S217)。在控制標志F2001為OFF的情況下，不進 行變換像素的比特長的處理，而是直接作為解碼圖像信號202輸出。
通過以上，從像素比特長縮小器2001輸出與輸入到圖像編碼裝 置的輸入圖像相同的N比特精度的解碼圖像202 (S218)。
在上述圖35、 39的結構中，可以根據(jù)編碼數(shù)據(jù)中包含的語法信 息，利用標志來分別切換幀存儲器、正交變換和量化的預算精度，根 據(jù)編碼器側或解碼器側的運算成本的制約，以適當?shù)倪\算精度來進行 編碼。在該結構中，只要任意一個控制標志為ON，輸入到預測圖像 生成器的圖像信號的像素比特長就以大于輸入圖像信號100的精度被輸入，因此可以提高預測圖像生成的運算精度，可以提高編碼效率。
在圖35、 39中，省略了像素比特長擴展器、像素比特長縮小器、 像素比特長變換器的一部分，形成第2~第5實施方式所示的結構， 在像素比特長擴展器、像素比特長縮小器、像素比特長變換器中，按 照例如圖36所示的語法中的ex—seq_all—bit—extension—flag指定的值 來決定是否進行比特長的變換?？梢赃M行如下控制如果 ex—seq—all_bit_extension—flag為TRUE,則在各結構中的像素比特長 擴展器、像素比特長縮小器、像素比特長變換器中進行變換各像素的 比特長的處理，如果為FALSE,則不進行變換處理。
在進行量化/逆量化時，將輸入圖像相當于N比特的情況下進行 量化的量化步幅設為Qstep的情況下，對于在第2、第3實施方式中 的量化/逆量化中使用的量化步幅Qst印，，考慮到如果將比特精度擴 大.縮小M比特，則殘差的精度被擴大到(N + M)比特，可以利用以 下式計算的Qstep'。
Qst印，=Qst印<< M (16)
由此，可以得到與將N比特同等的輸入圖像原樣編碼的情況下
幾乎同等的代碼量的編碼數(shù)據(jù)。利用圖41、 42說明在這樣根據(jù)要擴 展的比特長改變了量化步幅的情況下編碼效率提高的理由。圖41是 示出各像素位置處的、針對輸入像素值(8比特)的基于H.264的8 比特精度的預測像素值和基于本實施方式的12比特精度的預測像素 值的表，圖42是將其形成曲線的圖(半像素位置的內(nèi)插濾波器為6 抽頭{1/32、 -5/32、 20/32、 20/32、 -5/32、 1/32})。
如前所述，當輸入圖像信號為8比特時(在圖42中用正方形的 圖標表示)，以與輸入圖像信號相同的8比特生成預測圖像信號的情 況下(在圖42中用菱形的圖標表示)，內(nèi)插到半像素位置的像素的 像素值產(chǎn)生舍入誤差。對此，例如進行本實施方式所述的比特擴展并 且生成例如12比特的預測圖像的情況下(在圖42中用圓形的圖標表 示)，內(nèi)插到半像素位置的像素的像素值的舍入誤差小。在進行了比 特擴展的情況下，與進行比特擴展前相比，殘差的比特精度擴大到12比特，因此與不進行擴展而以8比特求出殘差的情況相比，殘差的絕 對值變大，但舍入誤差變小，因此以公式(16)所示的量化步幅量化、 成為幾乎相同的代碼量時的誤差變小，結果可以提高編碼效率。
在本實施方式中，如圖43所示，能夠以比輸入圖像的比特精度 大M比特的比特精度進行，預測圖像信號以比輸入圖像信號大M比 特的精度生成，因此可以提高運動補償?shù)臑V波或環(huán)路濾波、畫面內(nèi)預 測等的精度，結果可以減小預測誤差信號，從而可以提高編碼效率。
另外，本發(fā)明不原樣限定于上述實施方式，在實施階段，在不脫 離其要義的范圍內(nèi)，可以對構成要素進行變形來具體化。另外，可以 利用上述實施方式所公開的多個構成要素的適當組合，來形成各種發(fā) 明。例如，可以從實施方式所示的所有構成要素中刪除幾個構成要素。 并且，可以適當組合不同實施方式中的構成要素。
根據(jù)本發(fā)明，通過提高畫面內(nèi)預測或運動補償?shù)木?，可以提?編碼效率。根據(jù)本發(fā)明的結構，通過使輸入到預測圖像生成器的參照 圖像的比特精度大于輸入圖像的比特精度，將例如應用于H.264等的 畫面內(nèi)預測、單向運動補償預測、雙向運動補償預測以及加權運動補 償預測的運算時產(chǎn)生的舍入誤差抑制得較小，從而可以減小預測誤差 信號，提高編碼效率。即，不僅可以將與上述的小數(shù)像素的運算精度 有關的比特精度保持得較高，而且可以將與整數(shù)像素的運算精度有關 的比特精度保持得較高。另外，根據(jù)本發(fā)明的幾個結構，通過以比輸 入圖像的比特精度高的比特精度來保存參照圖像并用于預測，可以進
一步提高在預測圖像生成器中生成預測圖像時的運算精度，從而可以 提高編碼效率。
權利要求
1.一種圖像編碼裝置，具有像素比特精度變換器，將由分別具有N比特精度的多個像素構成的輸入圖像的各像素的比特精度變換成大M比特的(N+M)比特精度；預測圖像生成器，根據(jù)(N+M)比特精度的參照圖像生成針對(N+M)比特精度的上述輸入圖像的(N+M)比特精度的預測圖像；減法器，求出(N+M)比特精度的上述輸入圖像與(N+M)比特精度的上述預測圖像的差分信號；編碼器，對上述差分信號進行編碼，輸出圖像編碼信息；解碼器，根據(jù)上述圖像編碼信息，輸出解碼差分圖像；加法器，將(N+M)比特精度的上述預測圖像與上述解碼差分圖像相加，輸出(N+M)比特精度的解碼圖像；和參照圖像存儲存儲器，將(N+M)比特精度的上述解碼圖像作為上述參照圖像保存。
2. 如權利要求1所述的圖像編碼裝置，具有將表示通過變換 而變更的比特數(shù)的比特變換信息和上述圖像編碼信息多路復用的多 路復用器。
3. 如權利要求l所述的圖像編碼裝置，其中， 上述圖像編碼裝置在上述參照圖像存儲存儲器的前級還具有將(N + M)比特精度的上述解碼圖像的各像素變換成(N + M-L)比 特精度的笫l像素比特精度變換器，其中，L是L1M的整數(shù)，上述參照圖像存儲存儲器將(N + M-L)比特精度的上述解碼 圖像作為上述參照圖像保存，上述圖像編碼裝置在上述參照圖像存儲存儲器的后級還具有將 (N + M-L)比特精度的上述參照圖像的各像素變換成(N + M)比 特精度的第2像素比特精度變換器。
4. 如權利要求3所述的圖像編碼裝置，其中，上述第1像素比特精度變換器包括針對每個編碼單位，根據(jù)(N + M)比特精度的上述解碼圖像的編碼單位圖像內(nèi)包含的像素值的最 大值和最小值來算出代表值的單元；算出將上述編碼單位圖像內(nèi)的各 像素的值與代表值的差右移Q比特后的值收入(N + M-L)比特精 度的動態(tài)范圍的移位量Q的單元，其中，0SQ1L;和通過將上述編碼 單位圖像內(nèi)的各像素的值與代表值的差右移Q比特而將各像素的值 變換成(N + M-L)比特精度的值，從而將(N + M)比特精度的上 述解碼圖像變換成(N + M-L)比特精度的解碼圖像的單元，上述參照圖像存儲存儲器將(N + M-L)比特精度的上述解碼 圖像作為上述參照圖像保存，并且針對每個任意的編碼單位圖像保存 上述Q和代表值，上述第2像素比特精度變換器針對上述每個編碼單位，從上述參 照圖像存儲存儲器讀出上述參照圖像、上述移位量Q和上述代表值， 將上述參照圖像的各像素的(N + M-L)比特精度的像素值右移Q 比特，與上述代表值相加，變換成(N + M)比特精度的像素值。
5. —種圖像編碼裝置，具有預測圖像生成器，針對N比特精度的輸入圖像，根據(jù)(N + M) 比特精度的參照固像生成(N + M)比特精度的預測圖像；像素比特長縮小變換器，將(N + M)比特精度的上述預測圖像 的各像素縮小變換成N比特精度；減法器，求出N比特精度的上述輸入圖像與變換成N比特精度 的上述預測圖像的差分信號；編碼器，對上述差分信號進行編碼，輸出圖像編碼信息；解碼器，根據(jù)上迷圖像編碼信息，輸出解碼差分圖像；加法器，將變換成N比特精度的上述預測圖像與上迷解碼差分 圖像相加，輸出N比特精度的解碼圖像；像素比特精度變換器，將N比特精度的上述解碼圖像的各像素 的值變換成大M比特的(N + M)比特精度；和參照圖像存儲存儲器，將(N + M)比特精度的上述解碼圖像作為上述參照圖像保存。
6. —種圖像編碼裝置，具有預測圖像生成器，針對N比特精度的輸入圖像，根據(jù)(N + M) 比特精度的參照圖像生成(N + M)比特精度的預測圖像；像素比特精度變換器，將(N + M)比特精度的上述預測圖像的 各像素變換成N比特精度的像素；減法器，求出N比特精度的上述輸入圖像與N比特精度的上述 預測圖像的差分信號；編碼器，對上述差分信號進行編碼，輸出圖像編碼信息；解碼器，根據(jù)上迷圖像編碼信息，輸出解碼差分圖像；加法器，將N比特精度的上述預測圖像與上迷解碼差分圖像相 加，輸出N比特精度的解碼圖像；參照圖像存儲存儲器，將N比特精度的上述解碼圖像作為上述 參照圖像保存；和像素比特精度變換器，將存儲在上述參照圖像存儲存儲器中的N 比特精度的上述參照圖像的各像素擴展變換成大M比特的(N + M) 比特精度。
7. 如權利要求1-6中任意一項所述的圖像編碼裝置，其中，上 述圖像編碼信息針對每個任意的編碼單位，包含表示要擴展的比特數(shù) M的數(shù)據(jù)，作為比特變換信息。
8. 如權利要求3所述的圖像編碼裝置，其中，上述圖像編碼信 息針對每個任意的編碼單位，包含表示上述參照圖像存儲存儲器的比 特精度(N + M-L)的數(shù)據(jù)，作為比特變換信息。
9. 如權利要求1-6中任意一項所述的圖像編碼裝置，其中，上 述圖像編碼信息針對每個任意的編碼單位，包含表示輸出解碼圖像時 的比特精度N的數(shù)據(jù)，作為比特變換信息。
10. 如權利要求l所述的圖像編碼裝置，其中，上述像素比特精 度變換器在將上述輸入圖像的各像素的值變換成比特精度不同的值 后，將該輸入圖像的各成分變換到不同的顏色空間。
11. 如權利要求1-6中任意一項所述的圖像編碼裝置，其中， 上述像素比特精度變換器在將N比特精度的上述圖像的各像素的值 變換成大M比特的(N + M)比特精度后，將該圖像的各成分變換到 不同的顏色空間。
12. 如權利要求10或11所述的圖像編碼裝置，其中，上迷圖像 編碼信息針對每個任意的編碼單位，包含表示要擴展的比特數(shù)M的 數(shù)據(jù)和表示輸出上述解碼圖像時的顏色空間的數(shù)據(jù)，作為比特變換信 息。
13. 如權利要求10或11所述的圖像編碼裝置，其中，上述圖像 編碼信息針對每個任意的編碼單位，包含輸出上述解碼數(shù)據(jù)時的比特 精度N和表示輸出上述解碼圖像時的顏色空間的數(shù)據(jù)，作為比特變換 信息。
14. 如權利要求1-6中任意一項所迷的圖像編碼裝置，其中， 上述預測圖像生成器根據(jù)自適應內(nèi)插濾波信息來生成預測圖像，上述 圖像編碼信息包含上述自適應內(nèi)插濾波信息。
15. 如權利要求1-6中任意一項所迷的圖像編碼裝置，其中， 上述圖像編碼裝置在參照圖像存儲器的前級還具有根據(jù)濾波處理信 息對上述解碼圖像進行濾波處理的濾波器，并且上述圖像編碼信息包 含上述濾波處理信息。
16. 如權利要求1-3中任意一項所述的圖像編碼裝置，其中， 上述像素比特精度變換器還具有濾波器，該濾波器在將各像素的比特 精度為N比特的輸入圖像的各像素變換成大M比特的(N + M )比特 精度后，對上述輸入圖像進行基于濾波處理信息的濾波處理。
17. 如權利要求1-3中任意一項所迷的圖像編碼裝置，其中， 上述像素比特精度變換器還具有濾波器，該濾波器在將N比特精度的 輸入圖像的各像素變換成大M比特的(N + M)比特精度的像素后， 對上述輸入圖像進行基于濾波處理信息的濾波處理，并且上述圖像編 碼信息包含上述濾波處理信息。
18. 如權利要求15所述的圖像編碼裝置，其中，上述像素比特精度變換器還具有水印信息埋入器，該水印信息埋入器在將N比特精 度的輸入圖像的各像素變換成大M比特的(N + M)比特精度的像素 后，對上述輸入圖像附加M比特以下的字長的水印信息。
19.如權利要求1-6中任意一項所述的圖像編碼裝置，其中， 上述圖像編碼信息針對每個任意的編碼單位，包含是否將圖像信號的 各像素的比特精度擴展M比特的標志，作為比特變換信息。
20，如權利要求1-6中任意一項所述的圖像編碼裝置，其中， 上述圖像編碼信息針對每個任意的編碼單位，包含是否將圖像信號的 各像素的比特精度擴展M比特的標志，并且還包含表示要擴展的比 特數(shù)M的數(shù)據(jù)，作為比特變換信息。
21. —種圖像解碼裝置，具有逆多路復用器，輸入比特變換信息和圖像編碼信息被多路復用的圖像信息，分離成比特變換信息和圖像編碼信息；圖像解碼器，對上述圖像編碼信息進行解碼，輸出解碼圖像；和 圖像比特精度變換器，根據(jù)上述比特變換信息，將上述解碼圖像的各像素的值變換成比特精度不同的比特精度。
22. —種圖像解碼裝置，具有解碼器，將輸入編碼圖像信息解碼成(N + M)比特精度的解碼 差分圖像；預測圖像生成器，使用上述編碼圖像信息，根據(jù)(N + M)比特 精度的參照圖像生成(N + M)比特精度的預測圖像；加法器，將上述解碼差分圖像和上述預測圖像相加，得到(N + M)比特精度的解碼圖像；參照圖像存儲存儲器，將(N + M)比特精度的上述解碼圖像作 為上述參照圖像保存；和像素比特精度變換器，將(N + M)比特精度的上述解碼圖像的 各像素變換成N比特精度，輸出N比特精度的解碼圖像。
23. —種圖像解碼裝置，具有解碼器，輸入編碼圖像信息，輸出(N + M)比特精度的解碼差分圖像；像素比特精度擴展變換器，將(N + M-L)比特精度的參照圖 像的各像素變換成(N + M)比特精度的像素，輸出(N + M)比特精 度的解碼圖像；預測圖像生成器，使用上述編碼圖像信息，根據(jù)(N + M)比特 精度的參照圖像生成(N + M)比特精度的預測圖像；加法器，將上述解碼差分圖像和上述預測圖像相加，得到(N + M)比特精度的解碼圖像；像素比特精度縮小變換器，將(N + M)比特精度的上述解碼圖 像的各像素變換成(N + M-L)比特精度的像素，輸出(N + M-L) 比特精度的解碼圖像，并且將(N + M)比特精度的上述解碼圖像的 各像素變換成N比特精度的像素，輸出N比特精度的解碼圖像；和參照圖像存儲存儲器，將(N + M-L)比特精度的上述解碼圖 像作為上述參照圖像保存。
24. —種圖像解碼裝置，具有解碼器，輸入編碼圖像信息，輸出N比特精度的解碼差分圖像；預測圖像生成器，使用上述編碼圖像信息，根據(jù)(N + M)比特 精度的參照圖像生成(N + M)比特精度的預測圖像；像素比特精度變換器，將(N + M)比特精度的上述預測圖像的 各像素變換成N比特精度的像素，輸出N比特精度的預測圖像；加法器，將上述解碼差分圖像和上述預測圖像相加，得到N比 特精度的解碼圖像；像素比特長擴展變換器，將N比特精度的上述解碼圖像的各像 素變換成(N + M)比特精度的像素，輸出(N + M)比特精度的解碼 圖像；和參照圖像存儲存儲器，將(N + M)比特精度的上述解碼圖像作 為上述參照圖像保存。
25. 如權利要求24所述的圖像解碼裝置，其中， 上述像素比特精度變換器具有第l像素比特精度變換器，該第1像素比特精度變換器包括針對每個解碼單位，根據(jù)上述參照圖像的 編碼單位圖像內(nèi)包含的像素值的最大值和最小值來算出代表值的單 元；算出將上述編碼單位圖像內(nèi)的各像素的值與代表值的差右移Q比 特后的值收入(N + M-L)比特精度的動態(tài)范圍的移位量Q的單元， 其中，0SQ^L;和通過將上述編碼單位圖像內(nèi)的各像素的值與上述代 表值的差右移Q比特而將各像素的值變換成(N + M-L)精度的值 的單元，上述參照圖像存儲存儲器將(N + M-L)比特精度的上述解碼 圖像作為上述參照圖像保存，并且針對每個編碼單位保存上述移位量 Q和上述代表值，上述像素比特精度變換器具有第2像素比特精度變換器，該第2 像素比特精度變換器包括針對每個解碼單位，從上述參照圖像存儲 存儲器讀出上述參照圖像、上述移位量Q和上述代表值，將上述參照 圖像的各像素的(N + M-L)比特精度的像素值右移Q比特，與上 述代表值相加，變換成(N + M)比特精度的單元。
26. —種圖像解碼裝置，具有解碼器，輸入編碼圖像信息，輸出N比特精度的解碼差分圖像；像素比特精度變換器，將N比特精度的參照圖像的各像素變換 成(N + M)比特精度的像素，輸出(N + M)比特精度的參照圖像；預測圖像生成器，使用上述編碼的圖像信息，根據(jù)(N + M)比 特精度的上述參照圖像生成(N + M)比特精度的預測圖像；像素比特精度變換器，將(N + M)比特精度的上述預測圖像的 各像素變換成N比特精度的像素，輸出N比特精度的預測圖像；加法器，將上述解碼差分圖像和上述預測圖像相加，得到N比特精度的解碼圖像；和參照圖像存儲存儲器，將N比特精度的上述解碼圖像作為上述 參照圖像保存。
27. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述編碼圖像信息針對每個任意的編碼單位，包含表示要擴展的比特數(shù)M的比特變換信息，作為比特變換信息，上述變換器根據(jù)上述比特變換信息進行上述圖像的各像素的比 特精度的擴展或縮小。
28. 如權利要求23所述的圖像解碼裝置，其中，上述編碼圖像信息針對每個任意的編碼單位，包含表示上述參照 圖像存儲存儲器的比特精度(N + M - L )的數(shù)據(jù)，作為比特變換信息，上述像素比特精度擴展變換器和上述像素比特精度縮小變換器 根據(jù)上述比特變換信息進行上述擴展變換和上述縮小變換，并作為(N + M - L)比特精度的上述參照圖像存儲在參照圖像存儲存儲器中。
29. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述編碼的圖像信息針對每個任意的編碼單位，包含表示輸出解碼圖像時的比特精度N的比特變換信息，作為比特變換信息，根據(jù)上述比特變換信息，將上述解碼圖像的比特精度變換成與輸 出上述解碼圖像時的比特精度N具有相同精度的精度。
30. 如權利要求21所述的圖像解碼裝置，其中，上述像素比特 精度變換器將上述解碼圖像的各成分變換到不同的顏色空間后，將該 解碼圖像的各成分的各像素變換成不同的比特精度。
31. 如權利要求22 - 26中任意一項所述的圖像解碼裝置，其中， 上述像素比特精度縮小變換器將(N+M)比特精度的上述圖像的各 成分變換到不同的顏色空間后，將該圖像的各成分的各像素變換成N 比特精度的像素。
32. 如權利要求30或31所述的圖像解碼裝置，其中， 上述編碼的圖像信息針對每個任意的編碼單位，包含表示要擴展的比特數(shù)M的比特變換信息和表示輸出解碼圖像時的顏色空間的數(shù) 據(jù)，作為比特變換信息，上述變換器根據(jù)上述比特變換信息對上述解碼圖像進行顏色變 換，變換成表示輸出上述解碼圖像時的顏色空間的數(shù)據(jù)后，進行該顏 色變換后的解碼圖像的各像素的比特長的擴展和縮小。
33. 如權利要求30或31所述的圖像解碼裝置，其中，上述編碼圖像信息針對每個任意的編碼單位，包含表示輸出解碼圖像時的輸入圖像的比特精度N的比特變換信息和表示輸出解碼圖 像時的顏色空間的數(shù)據(jù)，作為比特變換信息，根據(jù)上述比特變換信息對上述解碼圖像進行顏色變換，變換成表 示輸出上述解碼圖像時的顏色空間的數(shù)據(jù)后，將該顏色變換后的解碼 圖像變換成與輸出上述解碼圖像時的比特精度N具有相同精度的像 素。
34. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述編碼圖像信息包含自適應內(nèi)插濾波信息，上述預測圖像生成器根 據(jù)上述自適應內(nèi)插濾波信息生成預測圖像。
35. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上迷編碼的圖像信息包含濾波處理信息，上述圖像解碼裝置還具有 根據(jù)上述濾波處理信息對上述解碼圖像進行濾波處理的濾波器。
36. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述像素比特精度變換器還具有對上述解碼圖像進行濾波處理的濾 波器，上述濾波器在對上述解碼圖像進行濾波處理后，將(N + M) 比特精度的上述解碼圖像的各像素變換成N比特精度的像素，并輸出 N比特精度的解碼圖像。
37. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述編碼圖像信息包含濾波處理信息，上述像素比特精度變換器還具 有根據(jù)上述濾波處理信息對上述解碼圖像進行濾波處理的濾波器，上 述濾波器在對上述解碼圖像進行濾波處理后，將(N + M)比特精度 的上述解碼圖像的各像素變換成N比特精度的像素，并輸出N比特 精度的解碼圖像。
38. 如權利要求22所述的圖像解碼裝置，其中，上述圖像解碼 裝置在上述加法器的后級還具有檢測埋入到解碼圖像中的水印信息 的水印檢測器。
39. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述圖像編碼信息針對每個任意的編碼單位，包含是否擴展M比特的標志，作為比特變換信息，并且上述標志為FALSE的情況下，上 述變換器不進行變換，上述標志為TRUE的情況下，上述變換器根據(jù) 上述比特變換信息進行上述圖像的各像素的比特精度的擴展或縮小。
40. 如權利要求21-26中任意一項所述的圖像解碼裝置，其中， 上述圖像編碼信息針對每個任意的編碼單位，包含是否擴展M比特 的標志和表示要擴展的比特數(shù)M的數(shù)據(jù)，作為比特變換信息，并且 上述標志為FALSE的情況下，上述變換器不進行變換，上述標志為 TRUE的情況下，上述變換器根據(jù)上述比特變換信息進行上述圖像的 各像素的比特精度的擴展或縮小。
41. 一種圖像編碼方法，具有以下步驟通過對輸入圖像的各像素的比特精度進行變換，生成不同比特精 度的變換輸入圖像；輸出表示通過變換而變更的比特數(shù)的比特變換信息； 對上述變換輸入圖像進行編碼，輸出圖像編碼信息；以及 將上述比特變換信息和上述圖像編碼信息多路復用。
42. —種圖像編碼方法，具有以下步驟將由分別具有N比特精度的多個像素構成的輸入圖像的各像素 的比特精度變換成大M比特的(N + M)比特精度；根據(jù)(N + M)比特精度的參照圖像生成針對(N + M)比特精 度的上述輸入圖像的(N + M)比特精度的預測圖像；求出(N + M)比特精度的上述輸入圖像與(N + M)比特精度 的上述預測圖像的差分信號；對上述差分信號進行編碼，輸出圖像編碼信息；根據(jù)上述圖像編碼信息，輸出解碼差分圖像；將(N+M)比特精度的上述預測圖像與上述解碼差分圖像相加， 輸出(N + M)比特精度的解碼圖像；以及將(N + M)比特精度的上述解碼圖像作為上述參照圖像保存在 參照圖像存儲存儲器中。
43. —種圖像解碼方法，具有以下步驟將比特變換信息和圖像編碼信息被多路復用的輸入圖像信息分離成比特變換信息和圖像編碼信息；對上述圖像編碼信息進行解碼，生成解碼圖像；以及 根據(jù)上述比特變換信息，將上述解碼圖像的各像素變換成比特精度不同的像素。
44. 一種圖像解碼方法，具有以下步驟將輸入編碼圖像信息解碼成(N + M )比特精度的解碼差分圖像；使用上述輸入編碼圖像信息，根據(jù)(N + M)比特精度的參照圖 像生成(N + M)比特精度的預測圖像；將上述解碼差分圖像和上述預測圖像相加，生成(N + M)比特 精度的解碼圖像；將(N + M)比特精度的上述解碼圖像作為上述參照圖像保存；以及將(N + M)比特精度的上述解碼圖像的各像素的值變換成N比 特精度，生成N比特精度的解碼圖像。
全文摘要
圖像編碼裝置具有像素比特長擴展變換器(1001)，通過對輸入圖像的各像素的比特精度進行變換，輸出變換輸入圖像，并且輸出表示通過變換而變更的比特數(shù)的比特變換信息；圖像編碼器(10)，對變換輸入圖像進行編碼，輸出圖像編碼信息；以及多路復用器(12)，將比特變換信息和圖像編碼信息多路復用。
文檔編號H04N7/32GK101411202SQ200780011200
公開日2009年4月15日 申請日期2007年3月30日 優(yōu)先權日2006年3月30日
發(fā)明者中條健, 野田玲子 申請人:株式會社東芝