專利名稱：圖像編碼方法及圖像編碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用圖像間的相關(guān)高效率地壓縮動畫圖像信號的圖像編碼 方法，和將其正確地進行譯碼的圖像譯碼方法，以及用于用軟件執(zhí)行該操作 的程序等。
背景技術(shù)：
近年來，迎接統(tǒng)一處理聲音、圖像、其他象素值的多媒體時代，將現(xiàn)有 的信息媒體，即報紙、雜志、電視、收音機、電話等的信息傳達給人的裝置， 作為多媒體對象成了熱點。 一般地，所謂多媒體，是指不僅文字，同時還關(guān) 聯(lián)圖形、聲音，特別是圖像等進行表示的信息媒體，但是，要想將上述現(xiàn)有 的信息媒體作為多媒體的對象，其必要條件為將其信息以數(shù)字形式表示。
但是，若將上述各信息媒體所持有的信息量作為數(shù)字信息量來估計，則 在信息為文字時每一個文字的信息量為1 2字節(jié)，而信息為聲音時每一秒的 信息量為64kbits (電話質(zhì)量)，另夕卜，對于動畫，則每一秒需要100Mbits (現(xiàn) 行電視接收質(zhì)量)以上的信息量，在上述信息媒體中以數(shù)字形式原樣處理該 龐大信息是不現(xiàn)實的。例如，利用具有64kbps 1.5Mbps傳輸速度的綜合服 務(wù)數(shù)字網(wǎng)絡(luò)(ISDN: Integrated Services Digital Network)己實現(xiàn)可視電話， 但不能用ISDN原樣發(fā)送電視和攝影機的影像。
因此，這就需要信息的壓縮技術(shù)，例如，可視電話的情況下，正在使用 由ITU—T (國際電信同盟，國際電信標(biāo)準(zhǔn)化部門)國際標(biāo)準(zhǔn)化的H.261和 R263標(biāo)準(zhǔn)的動畫壓縮技術(shù)。此外，根據(jù)MPEG—1標(biāo)準(zhǔn)的信息壓縮技術(shù)，也 可以在通常的音樂用CD (激光唱盤)中與聲音信息一同寫入圖像信息。
在此，所述MPEG (Moving Picture Experts Group即，動畫圖形專家組) 是活動圖像信號的數(shù)字壓縮國際標(biāo)準(zhǔn)，MPEG—1將活動圖像信號壓縮到 1.5Mbps，即將電視信號的信息壓縮到大約百分之一的標(biāo)準(zhǔn)。此外，以MPEG 一l標(biāo)準(zhǔn)為對象的傳輸速度主要限定在大約1.5Mbps，因此，在為滿足高畫質(zhì) 的要求而標(biāo)準(zhǔn)化的MPEG—2中，活動圖像信號被壓縮到2 15Mbps。
另外，現(xiàn)在，由推進MPEG—1、 MPEG — 2標(biāo)準(zhǔn)化的工作組(ISO/
3IECJTC1 / SC29 / WGll)，已規(guī)范出更高壓縮率的MPEG—4。在MPEG—4
中， 一開始不僅能以低位速率進行高效率的編碼，而且導(dǎo)入了即使傳輸線路 產(chǎn)生錯誤，也能減小主觀的畫質(zhì)劣化的強有力的防差錯技術(shù)。此外，ISO/ IEC和ITU共同推進了作為下一代圖像編碼方式的JVT(Joint Video Team艮口， 聯(lián)合視頻小組)的標(biāo)準(zhǔn)化活動，現(xiàn)在最新的稱為聯(lián)合模型2 (JM2)。
在JVT中，與現(xiàn)有的動畫圖像編碼不同，作為前方參照圖像，能從多個 圖像(圖像)中選擇任意圖像(圖像)作為參照圖像。在此，所述圖像表示 幀或信息組(filed)。
圖l (a)是參照從存儲器內(nèi)保存的多個參照圖像中選擇了的圖像，進行 編碼的圖像編碼的說明圖。圖1 (b)是示出保存圖像的存儲器的結(jié)構(gòu)的結(jié)構(gòu) 圖。
如圖1 (b)所示，存儲器由短時間保存存儲器和長時間保存存儲器構(gòu)成。 短時間保存存儲器存儲在緊前面進行了譯碼的多幅圖像，相當(dāng)于稱作MPEG 一l和MPEG—2的P圖像(前方預(yù)測編碼圖像)及B圖像(雙向預(yù)測編碼 圖像)的參照圖像。長時間保存存儲器用于比短時間保存存儲器長時間保存 圖像信號。
通常，短時間保存存儲器是FIFO (先入先出)存儲器，在短時間保存存 儲器中保存超過存儲器上限的圖像的情況下，消除短時間保存存儲器內(nèi)的最 早時刻的圖像，在該區(qū)域中保存新的圖像。因此，通常，在欲參照利用FIFO 結(jié)構(gòu)從存儲器中消除了的參照圖像的情況下，通過預(yù)先將該參照圖像從短時 間保存存儲器移動到長時間保存存儲器中來，保存在長時間保存存儲器內(nèi)， 就能長時間參照。長時間存儲器是明示保存區(qū)域的方法，只要不指定相同的 區(qū)域進行重寫，就可以參照保存在該區(qū)域中的圖像。
圖1 (a)示出圖像編碼時的預(yù)測狀況，圖像編號2的圖像參照圖像編號 0的圖像，圖像編號l的圖像參照圖像編號0或圖像編號2的圖像。同樣地， 圖像編號4的圖像參照圖像編號0、 2的圖像，圖像編號6的圖像參照圖像編 號0的圖像。另外，在圖像編號5的圖像中則能參照圖像編號0、 2、 4、 6 的圖像。
另外，在該圖1 (a)中，相對于圖像編號0、 6、 12的圖像可在比較長 時間以后仍被參照，圖像編號2、 4、 8的圖像等僅由短時間以后的圖像進行 參照。因此，如圖1 (b)所示，將保存圖像的存儲器區(qū)域分割成短時間保存用存儲器和長時間保存存儲器，能在需要長時間保存的存儲器中保存圖像
(幀)編號為0、 6、 12的圖像。
另外，為了效率使用如圖1 (a)所示的存儲器，需要高度的存儲器管理， 在JVT中導(dǎo)入用于控制存儲器的結(jié)構(gòu)。 控制存儲器的指令如下
1. 選擇可參照的圖像的指令；
2. 在短時間保存存儲器中釋放存儲器區(qū)域的指令，所述存儲器區(qū)域是 保存著作為預(yù)測編碼的參照圖像成為不需要的圖像存儲器區(qū)域；
3. 將短時間保存存儲器的內(nèi)容向長時間保存存儲器移動的指令。 在圖像編碼和譯碼中，由于從可參照的圖像中按塊單位選擇預(yù)測誤差小
的圖像作為參照圖像，因此，需要有按塊單位指示參照圖像的信號。通過預(yù) 先選擇可參照的圖像，將參照圖像的候補數(shù)壓縮成適當(dāng)?shù)闹?，能?jié)約按塊單 位所需的參照圖像指示信號的位數(shù)。
此外，在從短時間保存存儲器移動到長時間保存存儲器中的情況下，在 短時間保存存儲器和長時間保存存儲器兩方保存相同的內(nèi)容是浪費的，因此， 消除短時間保存存儲器內(nèi)的圖像。
圖2 (a) (b)是示出現(xiàn)有的圖像編碼方法和圖像譯碼方法的流程圖。
圖2 (a)示出在釋放存儲器區(qū)域時的圖像編碼裝置的動作，該存儲區(qū)域 是保存著作為預(yù)測編碼的參照圖像成為不需要的圖像的存儲器區(qū)域。在圖2
(a)中，首先，圖像編碼裝置對所輸入的輸入圖像進行編碼(步驟100)。 編碼之后在存儲器內(nèi)檢査不需要的區(qū)域(在以后的編碼中不參照的圖像)(步 驟101)，判定是否有不需要的存儲器區(qū)域(步驟102)。在判定為有不需要的 存儲器區(qū)域的情況下(步驟102的Yes)，將釋放不需要的存儲器區(qū)域的指令 作為存儲器管理信息，進行編碼(步驟103)，并釋放該不需要的存儲器區(qū)域 (消除存儲器內(nèi)的圖像)(步驟104)，結(jié)束處理。另一方面，在圖像編碼裝 置判定為沒有不需要的存儲器區(qū)域的情況下(步驟102的No)，不進行步驟 103和步驟104的動作，結(jié)束處理。
下面，按照圖2 (b)的流程圖，說明在釋放存儲器區(qū)域時的圖像譯碼裝 置進行的動作，該存儲器區(qū)域是保存著作為預(yù)測編碼的參照圖像而成為不需 要的圖像的存儲器區(qū)域。首先，圖像譯碼裝置對存儲器管理信息進行譯碼(步 驟110)，然后，根據(jù)編碼信號對圖像信號進行譯碼(步驟111)。圖像譯碼裝置判定檢查的結(jié)果是否有存儲器釋放指令(步驟112)，若有存儲器釋放指令 (步驟112的Yes)，就判定是否有應(yīng)該用該指令消除的圖像，或者是否已經(jīng) 釋放完存儲器(圖像消除完了)(步驟113)。若判定為已釋放完(步驟113 的Yes)，則設(shè)定為錯誤(ERROR)。這是因為，在JVT中，禁止在從存儲器 消除了圖像之后發(fā)出再次消除相同圖像的指令，因此，在再次釋放釋放完的 存儲器的情況下，就設(shè)為錯誤。另一方面，圖像譯碼裝置若判定為沒釋放完 (步驟113的No)，就釋放存儲器(步驟114)，之后結(jié)束處理。此外，在判 定為沒有存儲器釋放指令的情況下(步驟12的No)，不進行步驟113和步 驟114的動作，結(jié)束處理。再有，步驟110和步驟111的順序不同，所述兩 步驟的順序可以互換。
圖3(a) (b)是示出現(xiàn)有的其他圖像編碼方法和圖像譯碼方法的流程圖。
圖3 (a)示出從短時間保存存儲器向長時間保存存儲器移動圖像時的圖 像編碼裝置進行的動作。
在圖3 (a)中，首先，圖像編碼裝置對輸入圖像進行編碼(步驟120)。 編碼之后檢查是否有應(yīng)該向長時間保存存儲器移動的圖像(步驟121)，并判 定是否有應(yīng)該移動的圖像(步驟122)。若有應(yīng)該移動的圖像(步驟122的 Yes)，就將表示如何向長時間保存存儲器移動的指令作為存儲器管理信息， 進行編碼(步驟123)，按照該指令向長時間保存存儲器移動圖像(步驟124)， 之后結(jié)束處理。另一方面，圖像編碼裝置在判定為沒有應(yīng)該向長時間保存存 儲器移動的圖像的情況下(步驟122的No),就不進行步驟123和步驟124 的動作，結(jié)束處理。
下面，按照圖3 (b)的流程圖，說明從短時間保存存儲器向長時間保存 存儲器移動圖像時的圖像譯碼裝置進行的動作。首先，圖像譯碼裝置對存儲 器管理信息進行譯碼(步驟130)，接著，根據(jù)編碼信號對圖像信號進行譯碼 (步驟131)。然后，圖像譯碼裝置判定在已譯碼的存儲器管理信息中是否有 向長時間保存存儲器移動的指令(步驟132)，若判定為有(步驟132的Yes)， 則接著判定是否有應(yīng)該按該指令移動的圖像，或者是否已移動完(由于移動 之后消除完了而圖像不存在)(步驟133)。在JVT中，禁止在向長時間保存 存儲器移動之后發(fā)送再次向長時間保存存儲器移動相同圖像的指令，因此， 在再次向長時間保存存儲器移動已經(jīng)向長時間保存存儲器移動完了的圖像的 情況下，就設(shè)為錯誤。因而，圖像譯碼裝置若判定為己完成向長時間保存存儲器移動(步驟133的Yes)，則設(shè)為錯誤(ERROR);若判定為沒移動完， 則向長時間保存存儲器移動(步驟134)，之后結(jié)束處理。
另一方面，圖像譯碼裝置在判定為沒有向長時間保存存儲器移動的指令 的情況下(步驟132的No)，就不進行步驟133和步驟134的動作，結(jié)束處 理。再有，步驟130和步驟131的順序不同，可以交換所述兩步驟的順序。
圖4 (a)、 (b)是示出現(xiàn)有的另外的圖像編碼方法和圖像譯碼方法的流 程圖。
首先，按照圖4 (a)的流程圖，說明選擇可參照圖像時的圖像編碼裝置 進行的動作。
首先，圖像編碼裝置選擇預(yù)計為與被編碼圖像相關(guān)密切的參照圖像(通 常是時間上接近的參照圖像)，作為參照圖像的候補(步驟200)。接著，將 示出所選擇的參照圖像的候補的指示信息(存儲器管理信息的一種)進行編 碼(步驟201)，從所選擇的參照圖像的候補中按塊單位參照適當(dāng)?shù)膮⒄請D像， 進行編碼(步驟202)，之后結(jié)束處理。再有，步驟201和步驟202的順序不 同，可以交換所述兩步驟的順序。
下面，按照圖4 (b)的流程圖，說明選擇可參照圖像時的圖像譯碼裝置 進行的動作。
首先，圖像譯碼裝置對作為存儲器管理信息的一種的指示信息進行譯碼 (步驟210)，作為其結(jié)果，從存儲器中選擇參照圖像的候補(步驟211)，從 選擇了的參照圖像的候補中按塊單位選擇適當(dāng)?shù)膮⒄請D像進行參照并進行譯 碼(步驟212)，之后結(jié)束處理。
另外，在象這樣的現(xiàn)有的圖像編碼方法和圖像譯碼方法中，用圖像編碼 裝置將從存儲器中消除不需要的圖像的指令、和從短時間保存存儲器向長時 間保存存儲器移動圖像的指令進行編碼之后輸出，并傳輸?shù)綀D像譯碼裝置中 進行譯碼，但是，由于該傳輸次數(shù)僅限定為一個圖像，因此，在隨著該指令 的圖像因傳輸錯誤等消失了的情況下，就不能正確地復(fù)原存儲器內(nèi)的圖像配 置，因此就不能對圖像進行譯碼。
此外，在圖像的編碼和譯碼中，在選擇參照圖像時，若簡單地將在時間 上接近的圖像設(shè)為參照圖像候補，則不能進行考慮了圖像的譯碼的可變性 (scalability)(在圖1 (a)的預(yù)測結(jié)構(gòu)的例子中，即使B圖像沒有進行譯碼， I圖像和P圖像也能進行譯碼，或即使不對圖像編號4、 10、 16的P圖像進行譯碼，其他的P圖像也能進行譯碼)的最佳的編碼。即，雖然在時間上與
圖像編號6的圖像接近的圖像是圖像編號4、 2的圖像，但實際上，僅能參照 圖像編號0的圖像，因此，若將不能參照的圖像編號4、 2的圖像放入?yún)⒄請D 像的候補中，則編碼效率不太好。
另外，在現(xiàn)有的圖像編碼方法中，禁止附隨著存儲器中不保存的圖像傳 輸消除存儲器內(nèi)的不需要的圖像的指令、或從短時間保存存儲器向長時間保 存存儲器移動圖像的指令，因此，妨礙/柔性的存儲器管理信息的指令傳輸。 禁止附隨著存儲器中不保存的圖像傳輸該指令有下述理由。BP，這是因為， 由于存儲器中不保存的圖像的重要度最低，不能按可變性(scalability)譯碼 的可能性高，因此，是為了避免附隨了該存儲器中不保存的圖像的該指令不 被譯碼而導(dǎo)致不能正確復(fù)原存儲器內(nèi)的圖像配置。

發(fā)明內(nèi)容
因此，本發(fā)明為了解決以上的課題，目的在于提供一種即使因傳輸線路 錯誤而一部分存儲器管理信息消失，也能正確地復(fù)原的圖像編碼方法和圖像 譯碼方法等，和更適當(dāng)?shù)剡x擇可參照的參照圖像的候補來提高編碼效率的圖 像編碼方法和圖像譯碼方法等。
為了解決該課題，本發(fā)明涉及的圖像編碼方法，參照從存儲器內(nèi)保存著 的多個參照圖像中選擇的參照圖像進行編碼，包括參照所選擇的參照圖像， 對編碼對象圖像進行編碼；將用于管理存儲器中保存著的參照圖像的第一存 儲器管理信息進行編碼，并且，附隨于已被編碼的所述編碼對象圖像，輸出 被編碼的所述第一存儲器管理信息；將所述第一存儲器管理信息作為第二存 儲器管理信息再次進行編碼；在被編碼的所述第二存儲器管理信息上附加用 于確定所述編碼對象圖像的圖像確定信息，并且，附隨于與所述編碼對象圖 像不同的別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二 存儲器管理信息。
本發(fā)明的圖像編碼裝置，參照從存儲器內(nèi)保存著的多個參照圖像中選擇 的參照圖像進行編碼，包括圖像編碼單元，參照所選擇的參照圖像，對編 碼對象圖像進行編碼；管理信息編碼單元，將用于管理存儲器中保存著的參 照圖像的第一存儲器管理信息進行編碼，并且，附隨于已被編碼的所述編碼 對象圖像，輸出被編碼的所述第一存儲器管理信息；管理信息再編碼單元， 將所述第一存儲器管理信息作為第二存儲器管理信息再次進行編碼，在被編碼的所述第二存儲器管理信息上附加用于確定所述編碼對象圖像的圖像確定 信息，并且，附隨于與所述編碼對象圖像不同的別的編碼圖像，輸出附加了 所述圖像確定信息的被編碼的所述第二存儲器管理信息。
這樣，在上述管理信息編碼步驟中，使上述存儲器管理信息附隨著不保 存在上述存儲器中的編碼對象圖像的情況下，在上述管理信息再編碼步驟中， 也可以使上述存儲器管理信息還附隨保存在上述存儲器中的編碼對象圖像。
這樣，在附隨著編碼對象圖像向圖像譯碼裝置傳輸最初己被編碼的存儲 器管理信息時產(chǎn)生了傳輸錯誤的情況下，由于確定存儲器管理信息附隨的編 碼對象圖像，能檢測在哪個時刻產(chǎn)生了傳輸錯誤。
再有，本發(fā)明不僅能實現(xiàn)象上述的圖像編碼方法和圖像編碼裝置，也能 實現(xiàn)記錄了由圖像編碼方法進行了編碼的數(shù)據(jù)流的記錄媒體，也能實現(xiàn)將圖 像編碼方法的步驟在計算機中執(zhí)行的程序。當(dāng)然，象這樣的程序也可以通過
CD—ROM等記錄媒體和因特網(wǎng)等傳輸媒體來發(fā)送。
再有，本說明書中摘錄了前日本特許申請"特愿2002 —110424"、"特愿 2002—190955"、"特愿2003—49711"和美國申i青"60 / 377656"的內(nèi)容。


圖l (a)是參照從保存在存儲器中的多個參照圖像選擇的圖像進行編碼 的圖像編碼的說明圖，圖l (b)是示出保存圖像的存儲器的結(jié)構(gòu)的結(jié)構(gòu)圖。
圖2 (a)是示出現(xiàn)有的圖像編碼方法的流程圖，圖2 (b)是示出現(xiàn)有的 圖像譯碼方法的流程圖。
圖3 (a)是示出現(xiàn)有的圖像編碼方法的另一種流程圖，圖3 (b)是示出
現(xiàn)有的圖像譯碼方法的另 一種流程圖。
圖4 (a)是示出現(xiàn)有的圖像編碼方法的另一種流程圖，圖3 (b)是示出
現(xiàn)有的圖像譯碼方法的另 一種流程圖。
圖5是示出本發(fā)明的圖像編碼裝置的結(jié)構(gòu)框圖。 圖6是示出本發(fā)明的實施方式1中的圖像編碼方法的流程圖。 圖7是示出本發(fā)明的圖像譯碼裝置的結(jié)構(gòu)框圖。 圖8是示出本發(fā)明的實施方式2中的圖像譯碼方法的流程圖。 圖9是示出本發(fā)明的實施方式3中的圖像編碼方法的流程圖。 圖10是示出本發(fā)明的實施方式4中的圖像譯碼方法的流程圖。 圖11是示出本發(fā)明的實施方式5中的圖像編碼方法的流程圖。圖12是示出本發(fā)明的實施方式6中的圖像編碼方法的流程圖。 圖13是示出本發(fā)明的實施方式7中的圖像編碼方法的流程圖。 圖14 (a)是示出圖像的圖像編號、保存圖像編號及傳輸順序的關(guān)系的 說明圖，圖14 (b)是示出進行譯碼的圖像編號、保存著的圖像編號及被刪 除的圖像編號之間關(guān)系的關(guān)系圖，圖14 (c)是示出進行譯碼的圖像編號、 保存著的圖像編號及被刪除的圖像編號的其他關(guān)系的關(guān)系圖。 圖15是示出本發(fā)明中的存儲器管理信息的指令的對應(yīng)圖。 圖16是示出本發(fā)明的實施方式8中的指令執(zhí)行順序的流程圖。 圖17是示出各圖像的編碼信號中的標(biāo)題信息與幀數(shù)據(jù)之間關(guān)系的模式圖。
圖18是示出編碼信號的標(biāo)題信息中的存儲器管理信息的指令的模式圖。 圖19是示出各圖像的圖像編號、保存圖像編號及傳輸順序的關(guān)系的說 明圖。
圖20是示出將初始化指令進行編碼的方法的流程圖。 圖21是示出將己編碼的初始化指令進行譯碼的方法的流程圖。 圖22是示出在本發(fā)明的實施方式8中使用的存儲器管理信息的指令的 對應(yīng)圖。
圖23是示出使用了本發(fā)明中的初始化重發(fā)指令的圖像編碼方法的流程圖。
圖24是示出本發(fā)明中的將己編碼的初始化重發(fā)指令進行譯碼的方法的 流程圖。
圖25是示出各圖像的圖像編號、保存圖像編號及傳輸順序的其他關(guān)系 的說明圖。
圖26是示出在本發(fā)明的實施方式9中使用的存儲器管理信息的指令的 對應(yīng)圖。
圖27是示出本發(fā)明的實施方式9中的圖像編碼方法的流程圖。 圖28是示出本發(fā)明的實施方式9中的圖像譯碼方法的流程圖。 圖29 (a)是示出指令的內(nèi)容和附加信息的對應(yīng)圖，圖29 (b)是示出指 令的執(zhí)行定時的對應(yīng)圖。
圖30是示出編碼信號的標(biāo)題信息中的存儲器管理信息指令的模式圖。 圖31是示出其他編碼信號的標(biāo)題信息中的存儲器管理信息指令的模式圖。
圖32是示出按片單位編碼的數(shù)據(jù)流結(jié)構(gòu)的模式圖。 圖33 (a) (b)都是示出按片單位編碼的數(shù)據(jù)流結(jié)構(gòu)的模式圖。 圖34 (a) (b) (c)都是對用于存儲程序的存儲媒體的說明圖,所述程序 是計算機系統(tǒng)實現(xiàn)本發(fā)明的實施方式1至實施方式10的圖像編碼方法和圖 像譯碼方法的程序。
圖35是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的內(nèi)容供給系
統(tǒng)的整體結(jié)構(gòu)的框圖。
圖36是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的攜帶式電話
的一例的外觀圖。
圖37是示出上述攜帶式電話結(jié)構(gòu)的結(jié)構(gòu)框圖。
圖38是示出使用本發(fā)明的圖像編碼方法和圖像譯碼方法的數(shù)字廣播用 系統(tǒng)的結(jié)構(gòu)的結(jié)構(gòu)圖。
具體實施例方式
以下，用

本發(fā)明的實施方式。 (實施方式1) 首先，對實施方式l進行說明。
圖5是示出用于實現(xiàn)本實施方式中的圖像編碼方法的圖像編碼裝置的結(jié) 構(gòu)框圖。
圖像編碼裝置100由存儲器信息控制部101、短時間保存存儲器管理部 102、長時間保存存儲器管理部103、非保存存儲器管理信息部104、管理信 息編碼部105、參照圖像選擇部106、保存區(qū)域指定部107、參照區(qū)域指定部 108、圖像存儲器109、圖像譯碼部111、圖像編碼部110、可變長編碼部112、 計數(shù)器113、計數(shù)器114等構(gòu)成。
參照圖像選擇部106根據(jù)從外部輸入的重要度指示信號Pri和圖像類型 信息PicType，選擇參照圖像的候補，并通知存儲器信息控制部101。
存儲器信息控制部101根據(jù)圖像類型信息PicType，判斷前方和后方的 哪一方或兩方的圖像(圖像)是否可參照，命令參照區(qū)域指定部108，從圖 像存儲器109向圖像編碼部IIO輸出對應(yīng)的參照圖像。
圖像編碼部110參照從圖像存儲器109輸出的參照圖像，對輸入圖像信 號Vin進行編碼，可變長編碼部112進一步進行可變長編碼之后，輸出圖像編碼流VideoStr。此外，圖像編碼部110的輸出被圖像譯碼部111譯碼而成 為譯碼圖像，作為參照圖像存儲到圖像存儲器109中。
這時，圖像存儲器109中的譯碼圖像的可存儲的存儲器位置如下進行指 定。即，存儲器信息控制部IOI向短時間保存存儲器管理部102査詢，在短 時間存儲器中確定圖像已被消除的存儲器位置，保存區(qū)域指定部107對圖像 存儲器109發(fā)出指示，以使在該存儲器位置上記錄譯碼圖像。
短吋間保存存儲器管理部102檢測短時間保存存儲器內(nèi)的不需要(不被 參照)的圖像，并向存儲器信息控制單元部101通知消除(釋放存儲器)的 指令。此外，長時間保存存儲器管理部103向存儲器信息控制部101通知將 短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令。該不需要的圖 像的消除(存儲器的釋放)指令和將短時間保存存儲器內(nèi)的圖像向長時間保 存存儲器移動的指令，在管理信息編碼部105被進行編碼成為存儲器管理信 息流CtlStr。
另一方面，為了防止因傳輸線路錯誤而一部分存儲器管理信息流CtlStr 消失，從而存儲器管理信息被損壞，用短時間保存存儲器用的計數(shù)器113和 長時間保存存儲器用的計數(shù)器114，計測不需要的圖像的消除指令和將短時 間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令的編碼次數(shù)，能根據(jù) 需要進行上述指令的多次傳輸。
此外，非保存存儲器管理信息部104，管理不需要的圖像的消除指令和 將短時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令是否附隨著重 要度低且難被譯碼的圖像已被編碼，在上述指令附隨著重要度低的圖像被編 碼了的情況下，向存儲器信息控制部101發(fā)出指示，以使附隨著更高重要度 的圖像再次對指令進行編碼。
下面，對本發(fā)明的實施方式l中的圖像編碼方法進行說明。圖6是示出 實施方式1中的圖像編碼方法的流程圖，示出圖5示出的圖像編碼裝置100 進行的動作。再有，在圖6中，對與圖2 (a)動作相同的部分標(biāo)注相同的標(biāo) 記。
圖6中示出的圖像編碼方法的特征在于，在存儲器內(nèi)作為預(yù)測編碼的參 照圖像存在不需要的圖像(圖像)的情況下，反復(fù)對釋放保存著該圖像的存 儲器區(qū)域(消除該圖像)的存儲器管理信息的指令進行編碼。象這樣地，通 過反復(fù)對存儲器管理信息的指令進行編碼，即使因傳輸線路錯誤而其中一方存儲器管理信息的指令消失，也能根據(jù)另一方存儲器管理信息的指令復(fù)原保 存在存儲器內(nèi)的圖像的管理信息，因此，即使有傳輸線路錯誤也能正確地復(fù) 原圖像的可能性提高。
圖6中，首先，對輸入圖像(步驟100)進行編碼。編碼之后在存儲器 內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是 否有不需要的存儲器區(qū)域(步驟102)。在有不需要的存儲器區(qū)域的情況下(步 驟102的Yes)，管理信息編碼部105將釋放不需要的存儲器區(qū)域的指令作為 存儲器管理信息進行編碼(步驟103)。然后，釋放該不需要的存儲器區(qū)域(步 驟104)。在沒有不需要的存儲器區(qū)域的情況下(步驟02的No)，就不進行 步驟103和步驟104的動作。
接著，存儲器信息控制部101判定釋放不需要的存儲器區(qū)域的指令是否 附隨著在緊前面已編碼的圖像(編碼對象之前的圖像)，作為存儲器管理信息 進行了編碼(步驟105)，在指令沒有被編碼了的情況下(步驟105的No) 結(jié)束處理，并在指令己被編碼了的情況下(步驟105的Yes)，管理信息編碼 部105再次將釋放該不需要的存儲器區(qū)域的指令作為存儲器管理信息進行編 碼(步驟106)，并結(jié)束處理。
象這樣地，若在緊前面的圖像的編碼中，釋放不需要的存儲器(存儲器 管理信息的)的指令被編碼，則存儲器管理信息的指令再次被編碼。附隨著 緊前面的圖像的編碼而被編碼了的存儲器管理信息、和再次被編碼了的存儲 器管理信息，分別由圖像編碼裝置輸出，傳輸?shù)綀D像譯碼裝置中被譯碼。
再有，在步驟105中，附隨著緊前面已被編碼的圖像的編碼信號，釋放 不需要的存儲器區(qū)域的指令被編碼了的情況下，再次編碼指令，但在不是附 隨著緊前面的圖像的情況，而是附隨著幾個圖像以前的圖像的情況下，并且， 將上述指令作為存儲器管理信息反復(fù)進行編碼，并附隨多個圖像進行傳輸也 可以。
此外，若能將釋放上述不需要的存儲器區(qū)域的指令作為存儲器管理信息 多次傳輸就好，在再次編碼該指令進行傳輸時，無需一定使之附隨著圖像的 編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已被編碼的圖像相同的流中，而是例如作為另外的流進行傳輸，也可 以記錄在存儲媒體的另外的區(qū)域中。如上所述，由于可認(rèn)為通過多次傳輸釋放不需要的存儲器區(qū)域(存儲器 管理信息的)的指令，即使在產(chǎn)生了傳輸線路錯誤的情況下，多次傳輸?shù)闹?令中的某一個被傳輸并被譯碼，因此，能正確地復(fù)原圖像的可能性提高。 (實施方式2)
下面，對本發(fā)明的實施方式2進行說明。
圖7是用于實現(xiàn)實施方式2中的圖像譯碼方法的圖像譯碼裝置的框圖。 圖像譯碼裝置200由存儲器信息控制部201、短時間保存存儲器管理部 202、長時間保存存儲器管理部203、管理信息譯碼部205、保存區(qū)域指定部 207、參照區(qū)域指定部208、圖像存儲器209、圖像譯碼部210、可變長譯碼 部212等構(gòu)成。
存儲器信息控制部201根據(jù)圖像類型信息PicType，對編碼對象判斷前 方和后方的哪一方或兩方的圖像是否可參照，命令參照區(qū)域指定部208，從 圖像存儲器209向圖像譯碼部210輸出對應(yīng)的參照圖像。
可變長譯碼部212對編碼流VideoStr進行譯碼，圖像譯碼部210將其進 一步譯碼，作為譯碼圖像信號Vout輸出，并作為參照圖像存儲到圖像存儲器 209中。
這時，圖像存儲器209中的譯碼圖像的可存儲的存儲器位置如下進行指 定。存儲器信息控制部201向短時間保存存儲器管理部202査詢，確定的已 消除圖像的存儲器位置，保存區(qū)域指定部207對圖像存儲器209發(fā)出指示， 以使在該存儲器位置上記錄譯碼圖像。
管理信息譯碼部205對存儲器管理信息流CtlStr進行譯碼，通過存儲器 信息控制部201，向短時間保存存儲器管理部202通知短時間保存存儲器內(nèi) 的不需要(不參照)的圖像信息，對長時間保存存儲器管理部203通知將短 時間保存存儲器內(nèi)的圖像向長時間保存存儲器移動的指令。
下面，對本發(fā)明的實施方式2中的圖像譯碼方法進行說明。圖8是示出 實施方式2中的圖像譯碼方法的流程圖，示出圖7示出的圖像譯碼裝置200 進行的動作。再有，圖8中，在與圖2 (b)動作相同的部分上標(biāo)記相同的標(biāo) 記。
在圖像編碼裝置多次傳輸了釋放不需要的存儲器區(qū)域的指令的情況下， 只要不因傳輸線路錯誤而指令消失，圖像譯碼裝置就多次接收釋放存儲器內(nèi) 的相同圖像區(qū)域的指令。因此，必須實現(xiàn)這樣的圖像譯碼方法，即，即使在圖像譯碼裝置接收到了再次釋放己經(jīng)釋放了的存儲器區(qū)域的指令的情況下， 也不作為錯誤進行處理，而相反判斷為能正確地接收。在本實施方式中，實 現(xiàn)了這樣的圖像譯碼方法。
圖8中，首先，管理信息譯碼部205對存儲器管理信息譯碼(步驟110)。 接著，根據(jù)編碼信號對圖像信號(步驟111)進行譯碼。然后，存儲器信息 控制部201判定在譯碼后的存儲器管理信息中是否有釋放存儲器的指令(步 驟112)。若有釋放存儲器的指令(步驟112的Yes)，就判定是否有應(yīng)該用該 指令消除的圖像，或者是否已經(jīng)釋放完(消除完)(步驟113)，若存儲器釋 放完(步驟113的Yes)，就不做任何處理而結(jié)束，若不是這樣，就釋放存儲 器(步驟114)，之后結(jié)束處理。另一方面，在沒有存儲器釋放指令的情況下 (步驟112的No)，就不進行步驟113和步驟114的動作而結(jié)束處理。再有， 步驟110和步驟111的順序不同，可以互換所述兩步驟的順序。
根據(jù)如上所述的動作，用實施方式1的圖像編碼方法多次編碼并傳輸釋 放存儲器內(nèi)的相同圖像的區(qū)域的指令，即使圖像譯碼裝置200多次接收到該 信號的情況下，由于不作為錯誤進行處理，因而能夠?qū)崿F(xiàn)能正確地譯碼的圖 像譯碼方法。
再有，只要將釋放上述不需要的存儲器區(qū)域的指令作為存儲器管理信息 多次進行傳輸就好，在將該指令再次編碼并傳輸時，無需必須使其附隨著圖 像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已被編碼的圖像相同的流中，而是例如作為另外的流進行傳輸，也可 以記錄在存儲媒體的另外的區(qū)域中。 (實施方式3)
下面，對實施方式3中的圖像編碼方法進行說明。圖9是示出實施方式 3中的圖像編碼方法的流程圖，示出圖像編碼裝置100進行的動作。在圖9 中，在與圖3 (a)動作相同的部分標(biāo)注相同的標(biāo)記。
本實施方式的特征在于，在存儲器內(nèi)存在應(yīng)該從短時間保存存儲器向長 時間保存存儲器移動的圖像的情況下，反復(fù)對移動該圖像的存儲器管理信息 的指令進行編碼。通過反復(fù)編碼存儲器管理信息的指令，即使因傳輸線路錯 誤而其中部分存儲器管理信息的指令消失，也能根據(jù)另一部分存儲器管理信 息的指令復(fù)原保存在存儲器內(nèi)的圖像的管理信息，因此，即使有傳輸線路錯誤也能正確地復(fù)原圖像的可能性提高。
圖9中，首先，對輸入圖像(步驟120)進行編碼。編碼之后檢查是否 有應(yīng)該向長時間保存存儲器移動的圖像(步驟121)。然后，存儲器信息控制 部101判定是否有向長時間保存存儲器移動的圖像(步驟122)。若有應(yīng)該移 動的圖像(步驟122的Yes)，管理信息編碼部105就把表示如何向長時間保 存存儲器移動的指令作為存儲器管理信息進行編碼(步驟123)。然后，按照 該指令把圖像向長時間保存存儲器中移動(步驟124)。
接著，存儲器信息控制部101判定是否將編碼信號向長時間保存存儲器 移動的指令，作為存儲器管理信息進行了編碼(步驟125)，所述編碼信號是 附隨著緊前面已編碼的圖像(編碼對象之前的圖像)的信號。若沒進行編碼 (步驟125的No)，就結(jié)束處理；若已編碼(步驟125的Yes)，則管理信息 編碼部105就將向該長時間保存存儲器移動的指令作為存儲器管理信息，再 次進行編碼(步驟126),之后結(jié)束處理。
如上，若在緊前面的圖像的編碼中向長時間保存存儲器移動(存儲器管 理信息的)的指令被編碼，則編碼存儲器管理信息的指令再次被編碼。分別 由圖像編碼裝置輸出附隨著緊前面的圖像的編碼而被編碼了的存儲器管理信 息和已再次被編碼的存儲器管理信息，并傳輸?shù)綀D像譯碼裝置中進行譯碼。
再有，在步驟125中，在附隨著緊前面已編碼的圖像的編碼信號，向長 時間保存存儲器移動的指令已被編碼的情況下，再次對指令進行編碼，但也 可以不是附隨著緊前面的圖像的情況，而是附隨幾個圖像之前的圖像的情況， 并且，將上述指令作為存儲器管理信息反復(fù)進行編碼，可以附隨著多個圖像。
此外，只要能多次傳輸向上述長時間保存存儲器移動的指令作為存儲器 管理信息就好，無需在再次對該指令進行編碼并傳輸時，必須使之附隨著圖 像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已編碼的圖像相同的流中，而是例如作為另外的流進行傳輸，也可以 記錄在存儲媒體的另外的區(qū)域中。
如上所述，由于可認(rèn)為通過多次傳輸向長時間保存存儲器移動的指令， 即使在產(chǎn)生了傳輸線路錯誤的情況下，多次傳輸?shù)闹噶钪械哪骋粋€仍被傳輸 并被譯碼，因此，能正確地復(fù)原圖像的可能性提高。 (實施方式4)下面，對實施方式4的圖像譯碼方法進行說明。
在圖像編碼裝置多次傳輸了向長時間保存存儲器移動的指令的情況下， 指令不因傳輸線路錯誤而消失，圖像譯碼裝置則多次接收將短時間保存存儲 器內(nèi)的相同圖像區(qū)域向長時間保存存儲器移動的指令。因此，必須實現(xiàn)這樣 的圖像譯碼方法，即，即使在圖像譯碼裝置接收到再次移動已移動的圖像的 指令的情況下，也不作為錯誤進行處理，而相反地判斷為能正確地接收。本 實施方式中的圖像譯碼方法的特征在于實現(xiàn)這樣的圖像譯碼方法。
圖10是示出實施方式4中的圖像譯碼方法的流程圖，示出圖7中示出 的圖像譯碼裝置200的動作。在圖10中，在與圖3 (b)動作相同的部分上 標(biāo)記相同的標(biāo)記。
圖10中，首先，管理信息譯碼部205譯碼存儲器管理信息(步驟130)。 然后，根據(jù)編碼信號對圖像信號進行譯碼(步驟131)。
然后，存儲器信息控制部201判定在已譯碼的存儲器管理信息中是否有 向長時間保存存儲器移動圖像的指令(步驟132)。若有向長時間保存存儲器 移動的指令(步驟132的Yes)，則判定是否有應(yīng)該按該指令移動的圖像，或 是否已經(jīng)移動完(因為在移動之后消除完而不存在圖像)(步驟133)，若向 長時間保存存儲器移動完(步驟133的Yes)，就不做任何處理而結(jié)束，若不 是這樣，就向長時間保存存儲器移動(步驟134)后結(jié)束處理。
另一方面，在沒有向長時間保存存儲器移動的指令的情況下(步驟132 的No)，就不進行步驟133和步驟134的動作而結(jié)束處理。再有，步驟130 和步驟131的順序不同，也可以交換所述兩步驟的順序。
根據(jù)如上所述的動作，即使用實施方式3的圖像編碼方法多次編碼并傳 輸向長時間保存存儲器移動圖像的指令，也能夠?qū)崿F(xiàn)能正確地譯碼的圖像譯 碼方法。
再有，只要將向上述長時間保存存儲器移動的指令作為存儲器管理信息 進行多次傳輸就好，無需必須在再次編碼該指令進行傳輸時，必須使之附隨 著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已編碼的圖像相同的流中，而是例如作為另外的流進行傳輸，也可以 記錄在存儲媒體的另外的區(qū)域中。 (實施方式5)下面，對本實施方式中的圖像編碼方法進行說明。圖11是示出實施方式
5中的圖像編碼方法的流程圖，示出圖5中示出的圖像編碼裝置100的動作。 在圖11中，在與圖6動作相同的部分上標(biāo)注相同的標(biāo)記。
圖11中示出的本實施方式的特征在于，在存儲器內(nèi)存在不需要的圖像的 情況下，反復(fù)對消除該圖像的存儲器管理信息的指令進行編碼，至少一次附 隨著保存在存儲器中的重要圖像進行傳輸。在反復(fù)編碼存儲器管理信息的指 令的情況下，即使在附隨著重要度不高的圖像傳輸了存儲器管理信息的指令， 在譯碼重要度不高的圖像沒有全部被譯碼時，就不能取得存儲器管理信息的 指令。
例如，在圖l (a)中，由于圖像編號4的圖像在將圖像編號5的圖像進 行編碼之后就成為不需要，因此，能夠附隨著圖像編號5的圖像，對釋放圖 像編號4的圖像的某個存儲器區(qū)域的指令進行編碼。
但是，在除了附隨著圖像編號5的圖像，將釋放該圖像編號4的圖像所 在的存儲器區(qū)域的指令進行編碼之外，附隨著圖像編號7的圖像進行編碼時， 附隨著重要度最低(在不譯碼的情況下畫質(zhì)劣化少)的B圖像，上述指令被 編碼。有時這些B圖像不被譯碼，釋放圖像編號4的圖像所在的存儲器區(qū)域 的指令不被譯碼，就不能正確地再現(xiàn)存儲器內(nèi)的管理信息。因此，必須要至 少一次附隨著重要度高的、必須譯碼的、保存在存儲器中的圖像，來對釋放 圖像區(qū)域的指令進行編碼。
圖11中，首先，對輸入圖像進行編碼(步驟100)。編碼之后在存儲器 內(nèi)檢查不需要的區(qū)域(在以后的編碼中不參照的圖像)(步驟101)，判定是 否有不需要的存儲器區(qū)域(步驟102)。若有不需要的存儲器區(qū)域(步驟102 的Yes)，管理信息編碼部105就將釋放不需要的存儲器區(qū)域的指令進行編碼， 作為存儲器管理信息(步驟103)。然后，釋放該不需要的存儲器區(qū)域(步驟 104)。在沒有不需要的存儲器區(qū)域的情況下(步驟102的No)，不進行步驟 103和步驟104的動作。
接著，存儲器信息控制部101判定是否附隨著重要圖像(保存在譯碼的 存儲器中)，過去己被編碼的、釋放不需要的存儲器區(qū)域的指令被編碼(步驟 140)，若附隨著重要圖像進行了編碼(步驟140的Yes)，就結(jié)束處理，若 沒附隨著重要圖像進行了編碼(步驟140的No)，管理信息編碼部105就再 次將釋放該不需要的存儲器區(qū)域的指令作為存儲器管理信息進行編碼(步驟141)，之后結(jié)束處理。
這樣，釋放不需要的存儲器區(qū)域的指令附隨著重要圖像被編碼。 如上所述，由于上述指令附隨譯碼后保存在存儲器中的重要圖像，因此，
就譯碼上述指令被譯碼，在產(chǎn)生了傳輸線路錯誤時能正確地復(fù)原圖像的可能
性提高。
再有，只要能將釋放上述不需要的存儲器區(qū)域的指令作為存儲器管理信 息多次傳輸就可以，在再次編碼該指令并進行傳輸時，無需必須使之附隨圖 像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與己被編碼的圖像相同的流中，而是例如作為另外的流進行傳輸，也可 以記錄在存儲媒體的另外的區(qū)域中。 (實施方式6)
下面，對本實施方式的圖像編碼方法進行說明。圖12是示出實施方式6 中的圖像編碼方法的流程圖。圖12示出圖5中示出的圖像編碼裝置100的動 作。在圖12中，與圖9動作相同的部分標(biāo)注相同的標(biāo)記。
圖12中示出的本實施方式的特征在于，反復(fù)對向長時間保存存儲器移 動圖像的存儲器管理信息的指令進行編碼，至少一次附隨著重要圖像(譯碼 后保存在存儲器中)進行傳輸。在反復(fù)對向長時間保存存儲器移動圖像的存 儲器管理信息的指令進行編碼的情況下，即使附隨著重要度不高的圖像傳輸 了存儲器管理信息的指令，在重要度不高的圖像沒有全部被譯碼的情況下， 就不能取得存儲器管理信息的指令。
圖12中，首先，對輸入圖像進行編碼(步驟120)。編碼之后檢查是否 有應(yīng)該向長時間保存存儲器移動的圖像(步驟121)，判定是否有應(yīng)該移動的 圖像(步驟122)。
若有應(yīng)該移動的圖像(步驟122的Yes)，管理信息編碼部105就把表示 如何向長時間保存存儲器移動的指令作為存儲器管理信息已被編碼(步驟 123)，并將照該指令將圖像移動到長時間保存存儲器中(步驟124)。
接著，存儲器信息控制部101判定過去已編碼的向長時間保存存儲器移 動的指令，是否附隨著重要圖像(保存在譯碼的存儲器中)進行編碼(步驟 150)，若附隨著重要圖像(步驟150的Yes)，就結(jié)束處理，若沒附隨著重 要圖像(步驟150的No),管理信息編碼部105就再次將該向長時間保存存儲器移動的指令作為存儲器管理信息進行編碼(步驟151)，之后結(jié)束處理。
這樣，向長時間保存存儲器移動圖像的指令附隨著重要圖像被編碼。 如上所述，由于上述指令附隨著譯碼后保存在存儲器中的重要圖像，因
此，就上述指令被譯碼，在產(chǎn)生了傳輸線路錯誤時能正確地復(fù)原圖像的可能
性提高。
再有，只要多次傳輸向上述長時間保存存儲器移動的指令作為存儲器管 理信息進行傳輸就可以，在再次編碼該指令進行傳輸時，無需必須使之附隨 著圖像的編碼信號進行傳輸。
此外，在重發(fā)存儲器管理信息的指令的情況下，其重發(fā)的指令也可以不 是在與已編碼的圖像相同的流中，而是例如作為另外的流進行傳輸，也可以 記錄在存儲媒體的另外的區(qū)域中。
(實施方式7) 對實施方式7中的圖像編碼方法進行說明。
本實施方式的特征在于，是參照根據(jù)圖像的重要度選擇的參照圖像來進 行編碼的圖像編碼方法。
圖13是示出本發(fā)明的實施方式7中的圖像編碼方法的流程圖。圖13示 出圖5中示出的圖像編碼裝置100進行的動作。
圖13中，首先，設(shè)定編碼對象的各圖像的重要度(步驟160)。例如，I 圖像和P圖像的重要度高，B圖像的重要度低。此外，即使是相同的P圖像， 被許多圖像參照的P圖像的重要度高，不太被參照的P圖像的重要度低。
接著，從存儲器內(nèi)的參照圖像選擇重要度與編碼對象圖像同等以上的圖 像，設(shè)為參照圖像的候補(步驟161)。例如，B圖像能參照I圖像和P圖像， 但P圖像中重要度低的P圖像不在參照圖像的候補之內(nèi)。
接著，對示出選擇的參照圖像的候補的指示信息(存儲器管理信息的一 種)進行編碼(步驟162)，從選擇的參照圖像的候補中按塊單位參照適當(dāng)?shù)?參照圖像進行編碼(步驟163)。再有，步驟162和步驟163的順序不同，也 可以互換所述兩步驟的順序。
象這樣地，使在參照圖像的候補中不加入重要度比編碼對象圖像的重要 度低的圖像。
如上所述地，由于在參照圖像的候補中不加入重要度比編碼對象圖像的 重要度低的圖像，因此，在生成了能實現(xiàn)可變性(scalability)的流的情況下，能將不能參照的圖像從參照圖像的候補中除去，編碼效率提高。
在此，對根據(jù)如上所述地設(shè)定的圖像的重要度進行的圖像編碼方法，用
圖14進行具體地說明。
圖14 (a)是表示賦予各幀的編號(圖像(幀)編號)、各幀保存在存儲 器中時的編號(保存圖像(幀)編號)、表示各幀被傳輸?shù)男蛱柕木幪?傳輸 順序)的關(guān)系的說明圖。
在圖14 (a)中，圖像編號0的I圖像因為不參照其他的圖像而保存在 存儲器中，因此保存圖像編號為0。接著，由于參照圖像編號O的I圖像的圖 像編號2的P圖像保存在存儲器中，因此與圖像編號2的P圖像有關(guān)的保存 圖像編號為l。然后，由于參照圖像編號O的I圖像和圖像編號2的P圖像 的圖像編號1的B圖像保存在存儲器內(nèi)，因此圖像編號1的B圖像的保存圖 像編號為2。傳輸各圖像的序號為保存在存儲器中的序號。按同樣的順序決 定圖像編號與保存圖像編號及傳輸順序的關(guān)系。
下面，對進行譯碼(decode)的圖像編號、保存在存儲器中的圖像編號、 和被刪除的圖像編號的關(guān)系的一例，用圖14 (b)進行說明。
圖14(b)是示出進行譯碼的圖像編號(幀編號)、保存著的圖像編號(幀 編號)、和被刪除的圖像編號(幀編號)的關(guān)系的關(guān)系圖。再有，在此，設(shè)能 保存在存儲器中的圖像的最大幅數(shù)為5。在存儲器中按傳輸順序保存圖像。
此外，例如，在圖像編號為4的P圖像被譯碼時，由于圖像編號為4的 P圖像的保存圖像編號是3，因此，就在存儲器上保存保存圖像編號為0、 1、 2的圖像。在進行譯碼的圖像編號為3的B圖像被譯碼時，如圖14 (b)所 示，保存著圖像編號為4、 1、 2、 0的圖像。在此，如圖14 (a)所示，由于 在譯碼了圖像編號3的圖像之后，圖像編號1的B圖像不再被任何圖像參照， 因此，圖像編號為3的圖像在被譯碼的時候，刪除圖像編號1的B圖像。
同樣地，在進行譯碼的圖像編號為5的B圖像被譯碼時，如圖14 (b) 所示，保存著圖像編號為6、 3、 4、 2、 0的圖像。在此，由于在譯碼了圖像 編號5的圖像之后，圖像編號3的B圖像不再被任何圖像參照，因此，在圖 像編號為5的B圖像被譯碼了的時刻，刪除圖像編號3的B圖像。
另外，在進行譯碼的圖像編號為8的P圖像被譯碼時，如圖14 (b)所 示，保存著圖像編號為5、 6、 4、 2、 0的圖像。在此，由于在存儲器中最大 僅能保存5幀，因此，為了在后面參照圖像編號8的P圖像，就必須確保刪除圖像編號為5、 6、 4、 2、 0的某一個圖像并存儲圖像編號8的P圖像的存 儲器。因而，作為在圖14 (b)中刪除幀的選擇基準(zhǔn)，在將圖像編號8的P 圖像進行譯碼的時刻，刪除在P圖像的譯碼、即在偶數(shù)號圖像編號的譯碼中 時間上最老的圖像，即該情況下是圖像編號為0的I圖像。
同樣地，在進行譯碼的圖像編號為7的B圖像被譯碼時，如圖14 (b) 所示，保存著圖像編號為8、 5、 6、 4、 2的圖像。在此，由于在譯碼了圖像 編號7的B圖像之后，圖像編號5的B圖像不再被任何圖像所參照，因此， 在譯碼了圖像編號為7的B圖像的時刻，刪除圖像編號5的B圖像。
另外，在進行譯碼的圖像編號為10的P圖像被譯碼時，如圖14 (b)所 示，保存著圖像編號為7、 8、 6、 4、 2的圖像。在此，由于在存儲器中最大 僅能保存5幀，因此，為了在后面參照圖像編號10的P圖像，就必須確保刪 除圖像編號為7、 8、 6、 4、 2的某一個圖像并存儲圖像編號10的圖像的存儲 器。因而，作為在圖14 (b)中刪除幀的選擇基準(zhǔn)，在譯碼了圖像編號10的 P圖像的時刻，刪除在P圖像的譯碼、即在偶數(shù)號圖像編號的圖像的譯碼中 時間上最舊的圖像編號為2的圖像。
象這樣地，在刪除圖像時，用于刪除圖像的存儲器管理信息的指令被編 碼后，附隨著將被譯碼的圖像的編碼信號，進行傳輸。
在上述圖14 (b)示出的例子中，對在存儲器內(nèi)存在不需要的圖像(圖 像)，發(fā)送一次消除該圖像的存儲器管理信息指令的例子進行了敘述。如上， 若將消除的存儲器管理信息指令僅發(fā)送一次，則有不能執(zhí)行附隨著B圖像發(fā) 送的存儲器管理信息的指令的可能性。這是因為，由于B圖像作為在P圖像 的編碼和譯碼中參照的圖像來使用的可能性低，因此，在不能確保充足的存 儲容量和傳輸容量的情況下，優(yōu)先廢棄B圖像的數(shù)據(jù)的可能性高，其結(jié)果， 就有不能執(zhí)行附隨著B圖像發(fā)送的存儲器管理信息的指令的可能性。
為了解決該問題，說明將消除圖像的存儲器管理信息的指令反復(fù)進行編 碼并傳輸?shù)睦?。以下，對圖14 (c)具體地進行說明。
圖14(c)是示出進行譯碼的圖像編號(幀編號)、保存著的圖像編號(幀 編號)、和被刪除的圖像編號(幀編號)的其他關(guān)系的關(guān)系圖。在圖14 (c) 中，示出將被刪除的圖像編號的圖像進行刪除的指令附隨著進行譯碼的圖像 編號圖像的編碼信號的情況。
如圖14 (c)所示，在圖像編號為3的B圖像被譯碼時，保存著圖像號為4、 1、 2、 0的圖像。在此，圖像編號1的B圖像如圖14 (a)所示，在 譯碼了圖像編號3的圖像之后，不再被任何圖像所參照。因此，在譯碼了圖 像編號為3的圖像的時刻，刪除圖像編號1的B圖像，用于刪除的存儲器管 理信息的指令附隨著圖像編號3的圖像。
但是，由于圖像編號3的圖像是B圖像，因此，與I圖像和P圖像相比， 在圖像再現(xiàn)的這一點上，其重要度如上所述那樣低，由于發(fā)送時數(shù)據(jù)易被廢 棄，因此有不能執(zhí)行指令的可能性(如圖25所示的保存幀的情況)，該指令 為附隨著圖像編號3的B圖像發(fā)送的存儲器管理信息的指令。
因此，使表示刪除附隨著圖像編號3的圖像編號1的圖像的存儲器管理 信息的指令，附隨著接著進行譯碼的、在圖像的再現(xiàn)這點上比圖像編號3的 B圖像其重要度高的圖像編號6的P圖像(參照圖14 (c))。
同樣地，使附隨著圖像編號5的B圖像的存儲器管理信息的指令(示出 刪除圖像編號3的圖像)附隨著圖像編號8的P圖像；使附隨著圖像編號7 的B圖像的存儲器管理信息的指令(示出刪除圖像編號5的圖像)附隨著圖 像編號10的P圖像。再有，由于圖像編號8的圖像是P圖像，因此，如圖 14 (c)所示，不使附隨著圖像編號8的圖像的存儲器管理信息的指令附隨著 圖像編號7的B圖像，但也可以附隨。
以上，如圖14 (c)所示，使與最初附隨著B圖像的存儲器管理信息的 指令相同的存儲器管理信息的指令，反復(fù)附隨著比最初使存儲器管理信息的 指令附隨的B圖像晚保存或傳輸?shù)膱D像，且該被反復(fù)附隨的圖像是在圖像再 現(xiàn)中重要度比B圖像高的圖像。這樣，即使遺漏了最初附隨著存儲器管理信 息的指令的B圖像，也能正常地執(zhí)行存儲器管理信息的指令。
再有，如用圖14 (c)說明的，即使在使存儲器管理信息的指令附隨著 B圖像，進一步反復(fù)使存儲器管理信息的指令附隨著P圖像的情況下，也使 用已設(shè)定的重要度。再有，重要度的設(shè)定不限于本實施方式示出的方式。
再有，在本實施方式中，并非根據(jù)各圖像的重要度來決定是否發(fā)送各圖 像，而且不能將各圖像的重要度象上述實施方式中示出的存儲器管理信息那 樣附隨著各圖像來進行編碼。因此，本實施方式中已編碼的數(shù)據(jù)的譯碼處理 與現(xiàn)有的方法相同。 (實施方式8)
下面，對實施方式8進行說明。本實施方式的特征在于，刪除存儲器內(nèi)的全部圖像(圖像)，將進行存 儲器區(qū)域的初始化的(存儲器管理信息的)指令多次進行編碼并傳輸。
在上述各實施方式中示出的存儲器管理信息，被作為如圖15中示出的 代碼信息而被賦予。
圖15是示出存儲器管理信息的指令的對應(yīng)圖，示出代碼編號(Code)、 指令的內(nèi)容(指令)、其附加信息(附加信息)。
例如，釋放短時間保存存儲器中不需要的存儲器區(qū)域的指令(釋放短時 間保存存儲器)作為代碼信息Codel而被賦予，進行釋放的圖像編號(幀編 號)作為附加信息而被附加。
此外，代碼信息作為圖17中示出的各幀的標(biāo)題信息而被賦予。
圖17是示出各圖像的編碼信號中的標(biāo)題信息與幀數(shù)據(jù)的關(guān)系的模式圖。 在圖17中，各編碼信號示出了后述的幀F(xiàn)rm12、 Frmll、 Frml4的編碼信號。
各編碼信號包括具有標(biāo)題信息的幀標(biāo)題和與圖像的編碼有關(guān)的幀數(shù)據(jù)。例如， 幀F(xiàn)rml2的編碼信號包括幀標(biāo)題Frml2Hdr和由各數(shù)據(jù)MB12a、 MB12b、 MB12c、 MB12d構(gòu)成的幀數(shù)據(jù)。
圖18的模式圖中示出該編碼信號的詳細(xì)情況。
圖18是示出編碼信號的標(biāo)題信息中的存儲器管理信息的指令的模式圖。
如圖18所示，幀F(xiàn)rmA的編碼信號包括具有標(biāo)題信息的幀標(biāo)題FrmAHdr 和由各數(shù)據(jù)MBa、MBb、MBc、MBd等構(gòu)成的幀數(shù)據(jù)。然后，在幀標(biāo)題FrmAHdr 上附加指令的代碼信息CodeA，之后附加代碼信息CodeA的附加信息AddA， 接著，附加應(yīng)在代碼信息CodeA的指令之后執(zhí)行的指令的代碼信息CodeB 和代碼信息CodeB的附加信息AddB。若沒有附加信息，就如代碼信息CodeC 僅附加代碼信息。
下面，在圖16中示出指令執(zhí)行的順序。
圖16是示出指令執(zhí)行順序的流程圖。
在圖16中，首先，取得指令(步驟C0)，判定指令的取得是否已結(jié)束(步 驟C1)。若指令的取得還沒有結(jié)束而取得指令(步驟C1的No)，則執(zhí)行所取 得的指令(步驟C2)，返回到步驟C0，反復(fù)進行該動作。另一方面，若指令 的取得結(jié)束而未取得指令(步驟Cl的Yes)，則結(jié)束指令執(zhí)行處理。對每一 個幀進行一次該過程。再有，即使在按由多個宏塊構(gòu)成的片單位發(fā)送指令信 息的情況下，也按上述順序執(zhí)行指令。下面，對在上述實施方式l中消除不需要的圖像(釋放存儲器)的存儲 器管理信息的指令進行說明。另外，在實施方式l中，通過反復(fù)對消除不需 要的圖像的存儲器管理信息的指令進行編碼，即使因傳輸線路錯誤而其中部 分存儲器管理信息的指令消失，也能根據(jù)另一些存儲器管理信息的指令復(fù)原 保存在存儲器內(nèi)的圖像的管理信息，能正確地復(fù)原圖像的可能性提高。
在此，關(guān)于圖15中示出的代碼信息中的、消除存儲器內(nèi)的全部信息的
初始化指令Code5進行討論。
在僅發(fā)送一次初始化指令Code5時，若因傳輸線路錯誤而該初始化指令 Code5消失，就對本來已初始化之后進行的存儲器管理等的處理產(chǎn)生影響。 在此，用圖19，對與實施方式1同樣反復(fù)編碼初始化指令Code5后傳輸?shù)那?況進行說明。
圖19是關(guān)系說明圖，示出賦予各幀的編號(圖像(幀)編號)、在存儲 器內(nèi)保存各幀時的編號(保存圖像(幀)編號)、示出傳輸各幀的序號的編號 (傳輸順序)的關(guān)系。
以下，對圖19具體地進行說明。首先，圖像編號O的I圖像由于不參照 其他圖像，因此保存在存儲器中，其保存圖像編號為0。接著，由于在存儲 器中保存參照圖像編號0的I圖像的圖像編號2的P圖像，因此與圖像編號 2的P圖像有關(guān)的保存圖像編號成為1。然后，由于在存儲器中保存參照圖像 編號0的I圖像和圖像編號2的P圖像的圖像編號1的B圖像，因此圖像編 號1的B圖像的保存圖像編號成為2。傳輸各圖像的序號設(shè)為保存在存儲器 中的序號。按同樣的順序決定圖像編號和保存圖像編號及傳輸順序的關(guān)系。
設(shè)定在對圖19中示出的圖像編號12的I圖像進行編碼時發(fā)送圖15中示 出的初始化指令Code5。由于圖像編號12的I圖像的保存圖像編號是11，因 此，能利用該初始化指令Code5，從存儲器內(nèi)全部消除保存圖像編號為10以 下的圖像。
在此，用圖20對編碼初始化指令Code5的方法進行說明。 圖20是示出編碼初始化指令Code5的方法的流程圖，示出圖5中示出 的圖像編碼裝置100進行的動作。
首先，對輸入圖像迸行編碼(步驟A0)。編碼之后檢查存儲器內(nèi)可參照 的全部圖像是否不需要(是否在以后的編碼中不被任何圖像所參照)(初始化 檢査)(步驟A1)，并判定在存儲器中存儲著的圖像是否在以后未被參照而進行初始化好一些(步驟A2)。
若進行初始化好(步驟A2的Yes)，則將初始化存儲器區(qū)域的初始化指 令Code5作為存儲器管理信息，進行編碼(步驟A3)，并進行初始化(步驟 A4)，結(jié)束處理。另一方面，在沒有進行初始化的必要的情況下(步驟A2的 No)，就不進行步驟A3和步驟A4的動作而結(jié)束處理。
下面，用圖21，對將已編碼的初始化指令Code5進行譯碼的方法進行說明。
圖21是示出對已編碼的初始化指令Code5進行譯碼的方法的流程圖， 示出圖7中示出的圖像編碼裝置200進行的動作。
首先，將存儲器管理信息進行譯碼(步驟AIO)，根據(jù)編碼信號對圖像信 號進行譯碼(步驟All)。接著，判定在譯碼后的存儲器管理信息中是否有初 始化指令Code5 (步驟A12)，若有初始化指令Code5 (步驟A12的Yes)， 則將存儲器內(nèi)存儲著的圖像全部消除，并進行初始化(步驟A13)，結(jié)束處理。 但是，這時不消除已譯碼的圖像(步驟A11中)。
另一方面，若在存儲器管理信息中沒有初始化指令Code5 (步驟A12的 No)，就結(jié)束處理。
以下，用圖19具體說明進行存儲器的初始化的方法。設(shè)對圖19中示出 的圖像編號11的B圖像賦予與對圖像編號12的I圖像賦予的初始化指令 Code5相同的初始化指令Code5。
若如在圖17所示，則為在幀F(xiàn)rm12 (圖像編號12)的幀標(biāo)題Frml2Hdr 和幀F(xiàn)rmll (圖像編號ll)的幀標(biāo)題FrmllHdr上賦予初始化指令Code5。 由于初始化指令Code5如圖15所示，不具有附加信息，因此，就在被譯碼 了的時刻全部消除存儲器內(nèi)保存著的圖像。
因此，若賦予了圖像編號12 (保存圖像編號11)的I圖像的初始化指令 Code5因傳輸線路錯誤而消失，并執(zhí)行賦予了圖像編號ll(保存圖像編號12) 的B圖像的初始化指令Code5，則在保存圖像編號11之前譯碼了的圖像中， 存儲器中保存著的圖像全部被消除。即，本來不應(yīng)消除的圖像編號12 (保存 圖像編號ll)的I圖像也被消除。
如上，在對圖像編號ll的B圖像賦予了與對圖像編號12的I圖像賦予 了的初始化指令Code5相同的初始化指令Code5時，就遺漏一幅圖像(圖像 編號12的I圖像)。另一方面，若對圖像編號14 (保存圖像編號13)的P圖像賦予與對圖像編號12(保存圖像編號11 )的I圖像賦予的初始化指令Code5 相同的初始化指令Code5，并對圖像編號12的I圖像賦予的初始化指令Code5 因傳輸線路錯誤而消失，且賦予圖像編號14的P圖像的初始化指令Code5 被執(zhí)行，則導(dǎo)致遺漏兩幅圖像(圖像編號11的B圖像和圖像編號12的I圖 像)。
再有，在反復(fù)編碼初始化指令Code5，并且最初發(fā)送的初始化指令Code5 和接著發(fā)送的初始化指令Code5都在沒有傳輸線路錯誤地執(zhí)行的情況下，也 產(chǎn)生與上述相同的問題。這是因為，根據(jù)最初發(fā)送的初始化指令Code5進行 初始化，又根據(jù)接著發(fā)送的初始化指令Code5再次進行初始化。
對用于解決這樣的存儲器的初始化中存在的問題的方法進行說明。 圖22中示出為了解決存儲器的初始化中存在的問題而使用的存儲器管 理信息的指令。
與圖15的不同點是在圖22中新附加了初始化重發(fā)指令Code6。此外， 該初始化重發(fā)指令Code6具有初始化圖像(幀)編號(附隨初始化存儲器區(qū) 域的初始化指令Code5的幀的編號)作為附加信息。
以下，用圖23對使用了該初始化重發(fā)指令Code6的圖像編碼處理的流 程進行說明。
圖23是示出使用了初始化重發(fā)指令Code6的圖像編碼方法的流程圖， 示出圖5中示出的圖像編碼裝置100進行的動作。在圖23中，在與圖20相 同的動作上標(biāo)注相同的標(biāo)記。
首先，編碼輸入圖像(步驟A0)。編碼之后檢查存儲器內(nèi)可參照的全部 圖像是否不需要(是否在以后的編碼中哪個圖像也不被參照)(初始化檢查) (步驟A1)。存儲器信息控制部101判定是否需要初始化(步驟A2)，若需 要初始化(步驟A2的Yes)，管理信息編碼部105就將初始化存儲器區(qū)域的 初始化指令Code5作為存儲器管理信息進行編碼(步驟A3)，并進行初始化 (步驟A4)。在不需要初始化的情況下(步驟A2的No)，就不進行步驟A3 和步驟A4的動作。
接著，存儲器信息控制部101判定是否將附隨著緊前面已編碼的圖像(比 編碼對象早的圖像)的編碼信號進行初始化存儲器區(qū)域的初始化指令Code5， 作為存儲器管理信息進行了編碼(步驟A30)，若進行了編碼(步驟A30的 Yes)，則管理信息編碼部105就將初始化該存儲器區(qū)域的初始化重發(fā)指令Code6作為存儲器管理信息進行編碼(步驟A31)，之后結(jié)束處理。
此外，若沒有附隨著緊前面已編碼的圖像(比編碼對象早的圖像)的編 碼信號，將初始化存儲器區(qū)域的初始化指令Code5作為存儲器管理信息進行 了編碼(步驟A30的No)，則結(jié)束處理。
再有，在圖23中示出的方法中，在附隨緊前面已編碼的圖像的編碼信 號，初始化存儲器區(qū)域的初始化指令Code5被編碼的情況下，就再次編碼初 始化重發(fā)指令Code6，但也可以在不是附隨著緊前面的已編碼的圖像的編碼， 而是附隨著幾個圖像以前已編碼的圖像的編碼，將初始化存儲器區(qū)域的初始 化指令Code5進行編碼的情況下，再次編碼初始化重發(fā)指令Code6，此外， 也可以附隨著多個圖像，將初始化存儲器區(qū)域的初始化重發(fā)指令Code6作為 存儲器管理信息，反復(fù)進行編碼。
具體地，如圖19所示，在附隨著圖像編號12的I圖像的編碼，將初始 化指令Code5進行編碼的情況下，也可以附隨著圖像編號11的B圖像的編 碼，將初始化重發(fā)指令Code6進行編碼，此外，也可以附隨著圖像編號14 的P圖像的編碼，將初始化重發(fā)指令Code6進行編碼。
前者的情況若用圖17示出，就是在幀F(xiàn)rm12的幀標(biāo)題Frml2Hdr上賦予 初始化指令Code5，另外，在幀F(xiàn)rmll的幀標(biāo)題FrmllHdr上賦予初始化重 發(fā)指令Code6。此外，后者的情況，在幀F(xiàn)rml2的幀標(biāo)題Frml2Hdr上賦予 初始化指令Code5，在幀F(xiàn)rml4的幀標(biāo)題Frml4Hdr上賦予初始化重發(fā)指令 Code6。
另外，也可以在附隨著圖像編號11的B圖像的編碼對初始化重發(fā)指令 Code6進行編碼的同時，附隨著圖像編號14的P圖像的編碼對初始化重發(fā)指 令Code6進行編碼。該情況下，若用圖17示出，就是在幀F(xiàn)rni12的幀標(biāo)題 Frml2Hdr上賦予初始化指令Code5，在幀F(xiàn)rmll的幀標(biāo)題FrmllHdr和幀 Frml4的幀標(biāo)題Frml4Hdr上賦予初始化重發(fā)指令Code6。
下面，用圖24對將已編碼了上述初始化重發(fā)指令Code6的數(shù)據(jù)進行譯 碼時的處理進行說明。圖24是示出對已編碼的初始化重發(fā)指令Code6進行 譯碼的方法的流程圖，示出圖7中示出的圖像譯碼裝置200的動作。在圖24 中，在與圖21動作相同的部分標(biāo)注相同的標(biāo)記。
首先，管理信息譯碼部205對存儲器管理信息進行譯碼(步驟A10)。 然后，根據(jù)編碼信號對圖像信號進行譯碼(步驟All)。判定在譯碼后的存儲器管理信息中是否有初始化指令Code5 (步驟 A12)，若有初始化指令Code5(步驟A12的Yes)，則全部消除存儲器內(nèi)的圖 像，并進行初始化(步驟A13)，若沒有初始化指令Code5(步驟A12的No)， 就不進行初始化。
接著，存儲器信息控制部101判定在存儲器管理信息中是否有初始化重 發(fā)指令Code6(步驟A40)。若沒有初始化重發(fā)指令Code6(步驟A40的No)， 則結(jié)束處理，若有初始化重發(fā)指令Code6 (步驟A40的Yes)，則檢查初始化 是否完了 (步驟A41)。若初始化完了 (步驟A41的Yes)，就結(jié)束處理，若 還沒進行初始化(步驟A41的No)，就基于初始化重發(fā)指令Code6的附加信 息，刪除初始化幀(初始化存儲器區(qū)域的初始化指令Code5附隨的幀)以前 的保存幀(在初始化幀進行編碼的時刻，參照用圖像存儲器中存儲著的幀)， 并且，設(shè)定長時間保存存儲器大小為0 (步驟A42)，結(jié)束處理。再有，不使 用長時間保存幀的情況下，則無需使長時間保存存儲器的大小設(shè)為0。
因此，在圖19中示出的初始化指令Code5附隨著圖像編號12的圖像， 和初始化重發(fā)指令Code6附隨著圖像編號14進行編碼的情況中，在初始化 指令Code5不因傳輸線路錯誤而消失的情況下，就由初始化指令Code5，在 初始化指令Code5因傳輸線路錯誤而消失的情況下，就由初始化重發(fā)指令 Code6，來全部刪除保存在存儲器中的圖像中保存圖像編號為10以下的圖像。
象這樣地，由于在反復(fù)編碼初始化指令Code5進行傳輸時，在第二次以 后，將附加了作為附加信息的初始化圖像編號的初始化重發(fā)指令Code6進行 編碼并傳輸，因此，就根據(jù)該附加信息初始化幀以前的保存幀(在最初初始 化指令Code5附隨的初始化幀進行編碼的時候，參照用圖像存儲器中存儲著 的幀)全部被刪除。因此，能解決需要的圖像(圖像)遺漏的上述問題。
再有，如圖25所示，即使在與圖19不同的保存圖像編號的賦予方法中， 上述說明的初始化重發(fā)指令Code6也是有效的。
以下，具體地說明。
圖25是示出賦予各幀的編號(圖像(幀)編號)、各幀保存在存儲器內(nèi) 時的編號(保存圖像(幀)編號)、表示傳輸各幀的序號的編號(傳輸順序) 的其他關(guān)系的說明圖。
對這些編號的賦予方法進行說明。首先，由于圖像編號0的I圖像不參 照其他圖像，因此保存在存儲器中，其保存圖像編號就為0。接著，由于參照圖像編號0的I圖像的圖像編號2的P圖像保存在存儲器中，因此與圖像編號2的P圖像有關(guān)的保存圖像編號就為1。然后，參照圖像編號0的I圖像和圖像編號2的P圖像的圖像編號1的B圖像保存在存儲器中，但由于該B圖像不被其他圖像所參照，因此，保存圖像編號與緊前面保存的圖像編號2的P圖像的保存圖像編號相同，均為1。傳輸各圖像的序號設(shè)為保存在存儲器中的序號。按同樣的順序決定圖像編號和保存圖像編號及傳輸順序的關(guān)系。如圖25所示，設(shè)定在對圖像編號12的I圖像進行編碼時，附隨著發(fā)送圖15中示出的初始化指令Code5。由于圖像編號12的I圖像的保存圖像編號是6，因此，能由該初始化指令Code5從存儲器內(nèi)全部消除保存圖像編號為5以下的圖像。
在此，在反復(fù)對初始化指令Code5迸行編碼的情況下，具體地對在圖像編號14的P圖像上賦予與在圖像編號12的I圖像上賦予了的初始化指令Code5相同的初始化指令Code5的情況進行說明。
初始化指令Code5如圖15所示，不具有附加信息，因此，就在被譯碼了的時刻，全部消除參照用存儲器內(nèi)保存著的圖像。因此，若賦予了圖像編號12 (保存圖像編號6)的I圖像的初始化指令Code5因傳輸線路錯誤而消失，且賦予了圖像編號14 (保存圖像編號7)的P圖像的初始化指令Code5被執(zhí)行，就在保存圖像編號6以下的圖像中，保存在存儲器中的圖像全部被刪除。即，本來不應(yīng)消除的圖像編號12 (保存圖像編號6)的I圖像都被消除。
但是，由于取代初始化指令Code5，使上述初始化重發(fā)指令Code6附隨著圖像編號14的P圖像，因此，在附隨圖像編號12的I圖像的初始化指令Code5不因傳輸線路錯誤而消失的情況下，就由初始化指令Code5，在初始化指令Code5因傳輸線路錯誤而消失了的情況下，就由附隨圖像編號14的P圖像的初始化重發(fā)指令Code6，來全部刪除保存在存儲器中的圖像中保存圖像編號為5以下的圖像。
艮P，由于在初始化重發(fā)指令Code6中附加了初始化幀(該情況中，圖像編號12)編號作為附加信息，因此，刪除初始化幀以前的保存幀(在保存初始化幀的時候保存在參照用圖像存儲器中的保存圖像編號為5以下的保存幀)。
如上所述，由于具有附加信息的初始化重發(fā)指令Code6，即使在初始化指令Code5因傳輸線路錯誤而遺漏的情況下也能正常地執(zhí)行初始化的可能性
提高。再有，也可以將附加信息作為初始化重發(fā)指令附隨的圖像編號，用本實施方式中示出的初始化重發(fā)指令代用作初始化指令，用一個指令來實現(xiàn)圖
22中示出的Code5和Code6。這是因為，由于在為了重發(fā)初始化信息的而進行初始化重發(fā)時，初始化指令指定附隨的幀的編號，因此，不使用重發(fā)該幀這樣的圖像編號。這時，也可以使初始化指令Code5無效。
再有，如上，在用一個指令實現(xiàn)上述實施方式中示出的初始化重發(fā)指令和初始化指令Code5的情況下，也可以以初始化重發(fā)指令作為具有與最初發(fā)送的初始化指令Code5相同功能的指令，所述初始化重發(fā)指令是具有在上述實施方式中示出的初始化重發(fā)指令中不使用的特別的值作為附加信息的指令。
此外，如在上述各實施方式所說明，在再次傳輸釋放不需要的存儲器區(qū)域的指令和初始化指令等的存儲器管理信息時，也可以如圖17和圖18所示，不是包含在與圖像的編碼有關(guān)的幀數(shù)據(jù)上附加的標(biāo)題信息中進行傳輸?shù)?，而是與幀數(shù)據(jù)分開另外傳輸存儲器管理信息包含的標(biāo)題信息。即，重發(fā)的上述指令不在與已編碼的圖像相同的流中，而也可以例如作為另外的流進行傳輸。此外，也可以記錄在存儲媒體的另外的區(qū)域中。
另外，在本實施方式中，在重發(fā)初始化指令時，將使初始化指令最初附隨的圖像的圖像編號(初始化幀編號)作為附加信息，附加在初始化重發(fā)指令中，但當(dāng)然也可以在重發(fā)上述各實施方式中示出的、存儲器管理信息的指令時，也將最初使該指令附隨并傳輸?shù)木幋a對象圖像的圖像編號(確定圖像的信息)作為參數(shù)包含進行傳輸也可以。所述存儲器管理信息為示出釋放的存儲器區(qū)域的指令、和指定從短時間保存存儲器向長時間保存存儲器移動的對象的圖像的指令等。這樣，能檢測出在傳輸哪個圖像時產(chǎn)生了傳輸線路錯誤。
(實施方式9)
下面，對實施方式9中的圖像編碼方法和圖像譯碼方法進行說明。本實施方式的特征在于，在多次傳輸存儲器管理信息時，改變基于在第
二次以后被傳輸?shù)拇鎯ζ鞴芾硇畔⒌奶幚淼亩〞r。
在對將上述實施方式中示出的存儲器管理信息反復(fù)進行編碼了的數(shù)據(jù)
進行譯碼時，在進行反復(fù)發(fā)送的存儲器管理信息的處理之前，必須將存儲器管理信息附隨的圖像信號進行譯碼。作為具體例在實施方式2中說明了的、多次傳輸釋放不需要的存儲器區(qū)域的指令的情況，用圖19再次進行說明。
使圖22中示出的Codel的指令附隨著圖19中示出的圖像編號12的圖像進行編碼，另外，使Codel的指令也附隨著圖像編號11的圖像進行編碼。這時，按照圖8進行譯碼。
首先，附隨圖像編號12的圖像的Codel被譯碼(步驟110)。接著，圖像編號12的圖像被譯碼(步驟111)。在此，若本來應(yīng)該正在附隨著圖像編號12的圖像的Codel在傳輸途中遺漏了 (步驟112的No)，結(jié)束與該幀有關(guān)的處理。
在傳輸順序中，在圖像編號12的圖像之后進行譯碼處理的是圖像編號11的圖像。
首先，對附隨著圖像編號11的圖像進行編碼了的Codel被譯碼(步驟110)。接著，圖像編號12的圖像被譯碼(步驟lll)。在該Codel不在傳輸途中遺漏而傳輸了的情況下，由于在已譯碼的存儲器管理信息中存在存儲器釋放的指令Codel (步驟112的Yes)，因此就過渡到下面的處理(步驟113)。
在此，由于在對圖像編號11的圖像被譯碼之前被譯碼的圖像編號12的圖像進行譯碼時，存儲器未被釋放(步驟113的No)，因此就進行存儲器釋放處理(步驟U4)。
如上述具體例中所示，伴隨著多次傳輸釋放不需要的存儲器區(qū)域的指令的操作，應(yīng)該對本來沒有進行最初的指令執(zhí)行的圖像(圖像編號12)執(zhí)行的指令，在從后面發(fā)送的圖像(圖像編號ll)的圖像信號的譯碼處理之后來執(zhí)行，產(chǎn)生指令執(zhí)行的延遲。
因此，在本實施方式中，用圖26、圖27和圖28對用于解決上述問題的方法進行說明。
圖26是示出在本實施方式中使用的存儲器管理信息和指令的關(guān)系的對應(yīng)圖。
在圖26中，Code表示指令的編號，指令表示指令的內(nèi)容，附加信息表示附加在指令中的附加信息，處理位置表示執(zhí)行指令的定時。
與圖15的不同點是，在圖26中，將CodeAl CodeA4設(shè)定為在圖像的譯碼處理之后執(zhí)行的指令，另一方面，將與CodeAl CodeA4對應(yīng)的CodeA6 CodeA9設(shè)定為在圖像的譯碼處理之前執(zhí)行的指令。然后，在反復(fù)發(fā)送存儲器管理信息的情況下，將最初進行編碼的存儲器 管理信息的指令設(shè)定為處理位置是譯碼后的(在圖像的譯碼之后執(zhí)行)指令
(從CodeAl到CodeA4)，將反復(fù)(第二次以后)進行編碼的指令設(shè)定為處 理位置是譯碼前(在圖像的譯碼之前執(zhí)行)的指令(從CodeA6到CodeA9)。
這樣，即使在最初發(fā)送的存儲器管理信息遺漏了的情況下，本來應(yīng)該按 最初發(fā)送的存儲器管理信息執(zhí)行的指令早期執(zhí)行，而不容易引起延遲等問題。
以下，用圖27和圖28對使用圖26的指令時的處理順序進行說明。
圖27是示出本實施方式中的圖像編碼方法的流程圖，示出圖5中示出 的圖像編碼裝置100的動作。
在圖27中，首先，編碼圖像(步驟B0)。編碼之后檢査存儲器內(nèi)的不需 要的區(qū)域(在以后的編碼中不參照的圖像)(步驟B1)，判定是否有不需要的 存儲器區(qū)域(步驟B2)。若有不需要的存儲器區(qū)域(步驟B2的Yes)，就把 釋放不需要的存儲器區(qū)域的指令作為在圖像信號的譯碼之后執(zhí)行的指令，將 譯碼后用的存儲器管理信息進行編碼(步驟B3)，釋放該不需要的存儲器區(qū) 域(步驟B4)。另一方面，在沒有不需要的存儲器區(qū)域的情況下(步驟B2 的No)，就不進行步驟B3和步驟B4的動作。
接著，存儲器信息控制部101判定是否將附隨著之前己編碼的圖像(比 編碼對象早的圖像)的編碼釋放不需要的存儲器區(qū)域的指令，作為存儲器管 理信息進行編碼(步驟B30)。若沒編碼(步驟B30的No)，就結(jié)束處理， 若已編碼(步驟B30的Yes)，管理信息編碼部105就將釋放該不需要的存儲 器區(qū)域的指令作為在圖像信號的譯碼之前執(zhí)行的指令，對譯碼前用的存儲器 管理信息進行編碼(步驟B31)，結(jié)束處理。
再有，在步驟B30中，在釋放不需要的存儲器區(qū)域的指令附隨著緊前面 己編碼的圖像的編碼信號被編碼了的情況下，就再次對指令進行編碼，但也 可以不是附隨著緊前面的圖像的情況，而是附隨著幾個圖像以前的圖像的情 況，并且，也可以反復(fù)編碼上述指令作為存儲器管理信息，附隨著多個圖像 進行傳輸。
下面，用圖28和圖19，對譯碼已按照圖27的順序編碼了的數(shù)據(jù)進行譯 碼的順序進行說明。
圖28是示出本實施方式中的圖像譯碼方法的流程圖，示出圖7中示出 的圖像譯碼裝置200進行的動作。在以下的說明中，在圖19中，假設(shè)圖26中示出的CodeAl的指令附隨 著圖像編號12的圖像被進行了編碼，并且，使CodeA6的指令附隨著圖像編 號11的圖像被進行了編碼。如在圖17中示出，就成為在圖像編號12的幀 Frml2的幀標(biāo)題Frml2Hdr上賦予CodeAl，在圖像編號11的幀F(xiàn)rmll的幀 標(biāo)題FrnillHdr上賦予CodeA6。
再有，在圖像譯碼裝置中，只要指令不因傳輸線路錯誤而消失，就多次 接收釋放存儲器內(nèi)的相同的圖像區(qū)域的指令。因此，必須使圖像譯碼裝置進 行的圖像譯碼方法，在接收到再次釋放已經(jīng)釋放了的圖像的指令的情況下， 也不當(dāng)作錯誤來處理，而相反地，判斷為能正確地接收。
首先，對與圖像編號12的圖像有關(guān)的譯碼處理進行說明。
在圖28中，首先，譯碼圖像編號12的圖像的存儲器管理信息(步驟B5)， 檢査該存儲器管理信息是否是譯碼前用的存儲器管理信息(步驟B7)。在此， 由于該存儲器管理信息(CodeAl)是譯碼后用的存儲器管理信息(步驟B7 的No),因此圖像編號12的圖像信號被譯碼。然后，如上所述地，由于存儲 器管理信息(CodeAl)是譯碼后用的存儲器管理信息(步驟B9的Yes)，因 此釋放存儲器(步驟Bll)，結(jié)束與圖像編號12的圖像的存儲器管理信息有 關(guān)的處理。
另一方面，在存儲器管理信息的CodeAl遺漏了時，在步驟B7中，不 判斷為是譯碼前用的存儲器管理信息(步驟B7的No),此外，在步驟B9中 也不判斷為是譯碼后用的存儲器管理信息(步驟B9的No)，而僅進行圖像 編號12的圖像信號的譯碼(步驟B6)，結(jié)束與圖像編號12的存儲器管理信 息有關(guān)的處理。
下面，用圖28對與圖像編號11的幀有關(guān)的譯碼處理進行說明。 首先，對圖像編號11的存儲器管理信息進行譯碼(步驟B5)，檢查該存 儲器管理信息是否是譯碼前用的存儲器管理信息(步驟B7)。在此，由于 CodeA6是譯碼前用的存儲器管理信息(步驟B7的Yes)，因此檢查存儲器是 否已釋放完(步驟B8)。在圖像編號12的處理中，若正在執(zhí)行CodeAl，則 由于存儲器已釋放完(步驟B8的Yes)，因此就不進行存儲器釋放處理(步 驟B10)，而進行圖像編號11的圖像信號的譯碼(步驟B6)。然后，判定存 儲器管理信息是否是譯碼后用的信息(步驟B9)，但由于CodeA6是譯碼前 用的存儲器管理信息(步驟B9的No)，因此結(jié)束與圖像編號ll的圖像的存儲器管理信息有關(guān)的處理。
但是，若因傳輸過程中的包的遺漏等而圖像編號12的存儲器管理信息
遺漏，在與圖像編號12有關(guān)的處理中，沒進行存儲器釋放，則在與圖像編號 ll有關(guān)的處理中，判定為存儲器未釋放完(步驟B8的No)，在接著的步驟 中，釋放存儲器(步驟BIO)。在存儲器被釋放之后，圖像編號11的圖像信 號被譯碼(步驟B6)。然后，由于CodeA6是譯碼前用的存儲器管理信息(步 驟B9的No)，因此結(jié)束與圖像編號11的圖像的存儲器管理信息有關(guān)的處理。
如上所述，通過對重發(fā)部分比圖像信號的譯碼先執(zhí)行指令，即使最初發(fā) 送的指令遺漏，也能減少指令執(zhí)行的滯后。
再有，作為具體例，對存儲器管理信息為CodeAl和CodeA6的情況進 行了說明，但在使用CodeA2和CodeA7的情況下，也能用同樣的處理來實 現(xiàn)，在使用CodeA3和CodeA8、 CodeA4和CodeA9的情況下，也能用同樣 的處理來實現(xiàn)。
此外，也可以設(shè)圖26中示出的初始化指令CodeA5為譯碼后用的存儲器 管理信息，設(shè)圖22中示出的初始化重發(fā)指令CodeA6為譯碼前用的存儲器管 理信息，將它們成對地使用。
此外，在對一個幀賦予了譯碼后用的存儲器管理信息和多個譯碼前用的 存儲器管理信息作為標(biāo)題信息的情況下，也可以比譯碼后用的存儲器管理信 息先處理多個譯碼前用的存儲器管理信息。
艮P，也可以在圖17中示出的標(biāo)題信息的前頭賦予譯碼前用的存儲器管 理信息并進行編碼。
此外，也可以由圖29 (a)和圖29 (b)中示出的命令的組合，將存儲器 管理信息是譯碼前用的管理信息還是譯碼后用的管理信息的內(nèi)容，作為另外 的信息，實現(xiàn)上述實施方式中示出的指令。
圖29 (a)是示出指令的內(nèi)容與附加信息的對應(yīng)圖。圖29 (b)是示出指 令的執(zhí)行定時(處理位置)的對應(yīng)圖。
圖30是示出編碼信號的標(biāo)題信息中的存儲器管理信息的指令的模式圖。
在圖30中，幀F(xiàn)rmB的編碼信號具有幀標(biāo)題FrmBHdr和MBa、 MBb等 幀數(shù)據(jù)等，幀標(biāo)題FrmBHdr作為標(biāo)題信息，具有代碼信息CodeD等。
這時，例如，如圖30所示，可以設(shè)幀F(xiàn)rmB的幀標(biāo)題FrmBHdr從前到 后為指令的代碼信息CodeD、表示處理位置的FlagD、表示指令的附加信息的附加信息AddD。在沒有附加信息的情況下，如圖30所示，可以在幀標(biāo) 題FrmBHdr上附加指令的CodeE和表示處理位置的FlagE。通過在示出指令 的Code之后，不設(shè)置表示附加信息的Add,而設(shè)置表示處理位置的Flag, 使圖28中示出的步驟B7和步驟B9的處理最優(yōu)化。
此外，為了區(qū)別指令的執(zhí)行定時是圖像信號的譯碼前和譯碼后的哪一 個，也可以使用表示指令的處理位置的新指令，在譯碼之后實施位于比表示 該處理位置的指令的幀標(biāo)題上的位置靠前的指令，在譯碼之前實施位于比表 示該處理位置的指令在幀標(biāo)題上的位置靠后的指令。這樣，在有多個指令時， 能用一個指令表示各指令的執(zhí)行定時(處理位置)，與對每一個指令發(fā)送表示 處理位置的Flag的情況相比，發(fā)送的信息減少，編碼效率提高。
用圖31說明具體例。
圖31是示出其他的編碼信號的標(biāo)題信息中的存儲器管理信息的指令的 模式圖。
在圖31中，幀F(xiàn)rmC的編碼信號具有幀標(biāo)題FrmCHdr和MBa、 MBb等 幀數(shù)據(jù)等，幀標(biāo)題FrmCHdr作為標(biāo)題信息，從前依次為指令CodeF、指令dif、 指令CodeG、附加信息AddG、指令CodeH。
然后，判別表示處理位置的指令dif是否在幀標(biāo)題FrmCHdr中，在幀F(xiàn)rmC 的譯碼之后執(zhí)行位于比表示處理位置的指令dif靠前位置的指令CodeF，在幀 FrmC的譯碼之前執(zhí)行位于比指令dif靠后位置的指令CodeG和指令CodeH 也可以。該情況下，若沒有示出處理位置的指令dif，就在幀F(xiàn)miC的譯碼處 理之后執(zhí)行幀標(biāo)題FrmCHdr內(nèi)的全部指令。
再者，如在上述各實施方式中說明的，在再次傳輸釋放成為不需要的存 儲器區(qū)域的指令和初始化指令等存儲器管理信息時，也可以不包含在圖像的 編碼信號中附加的標(biāo)題信息中進行傳輸，而存儲器管理信息被包含的標(biāo)題信
息與圖像的編碼信號分開另外傳輸。即，重發(fā)的上述指令也可以不在與已編 碼的圖像相同的流中，而例如作為另外的流進行傳輸。此外，也可以記錄在 存儲媒體的另外的區(qū)域中。 (實施方式10) 下面，對本發(fā)明的實施方式10進行說明。
在本實施方式中，進行編碼的單位與上述各實施方式不同。即，在上述 實施方式1中，在多次傳輸釋放不需要的存儲器區(qū)域的指令時，所述的相當(dāng)于上述指令的圖5中示出的存儲器管理信息流CtlStr和圖像編碼流VideoStr 是按圖像(圖像)單位進行編碼的，但在本實施方式中，也可以象圖32中示 出的流結(jié)構(gòu)，將一幀按片單位進行編碼。
所述按片單位進行編碼，是指對幀具有的每一個片編碼標(biāo)題、存儲器管 理信息流CtlStr、圖像編碼流VideoStr,以便使圖32的幀1的片1具有標(biāo)題 1 — 1、 ctlStrl、 VideoStrl — l，幀1的片2具有標(biāo)題1 一2、 ctlStrl、 VideoStrl 一2。在圖像編碼裝置中進行編碼之后，圖像編碼裝置輸出數(shù)據(jù)流。再有，片 是同步復(fù)位單位，是由一個或多個塊構(gòu)成的帶狀區(qū)域，由多個片構(gòu)成圖像。 此外，圖像是對應(yīng)于一幅圖像的基本的編碼單位，塊是編碼和譯碼的基本單 位。
此外，設(shè)如上所述地多次傳輸存儲器管理信息流CtlStr時的內(nèi)容在同一 幀內(nèi)為同一信息。通過設(shè)為同一信息，能省略該存儲器管理信息流CtlStr的 在片單位中的附加。例如，在片的標(biāo)題中附加表示在該片中是否省略了多次 傳輸?shù)男畔?，在該片中省略了多次傳輸上述指令的?nèi)容時，就附加"0"，在 該片中傳輸了上述指令時(沒省略時)，就附加"1"。具體地在圖33 (a)中 示出一例，以下進行說明。從幀1中的片1到片3中的標(biāo)題和圖像編碼流 VideoStr各不相同。另一方面，在片1和片2中具有同一存儲器管理信息流 CtlStrl，在同一幀中的多個片中，片1和片2分別具有表示編碼了同一存儲 器管理信息流CtlStrl的內(nèi)容的信息"l"。此外，片3具有示出省略了存儲器 管理信息流CtlStd的信息"0"。這樣，在該片中省略了多次傳輸?shù)男畔r， 前頭的片等參照表示為上述"1"的片中的存儲器管理信息流CtlStr，由此可 以省略存儲器管理信息流CtlStr的附加，能減少位數(shù)。
艮P，表示省略了上述存儲器管理信息流CtlStrl的信息"0"，是在不具有 指定信息的片(片3)中參照指定信息時，表示參照指定信息的信息。上述 指定信息是指定進行消除的對象圖像的信息。
象這樣的能省略存儲器管理信息流CtlStr的附加的方法，由于在傳輸過 程中存儲器管理信息流CtlStr多次遺漏的可能性少，因此很有效。
另外，在沒有表示省略了存儲器管理信息流CtlStr的信息的情況下能夠 判別有無存儲器管理信息流CtlStr，也可以如圖33 (b)所示，省略該信息。 例如，在能區(qū)別存儲器管理信息流CtlStr的標(biāo)頭與圖像編碼流VideoStr的標(biāo) 頭的情況下，如圖33 (b)所示，能同判別從各片中的標(biāo)頭到規(guī)定位置上是否有規(guī)定的信息，來確認(rèn)是否有表示編碼存儲器管理信息流CtlStrl的信息化 是否已被編碼。
象這樣的能省略存儲器管理信息流CtlStr的附加的方法，對削減編碼存 儲器管理信息流CtlStr的次數(shù)、減少位數(shù)很有效。
以上，對編碼進行了說明，但可以同樣地按片單位進行一個幀的譯碼。
在上述實施方式2中，在多次傳輸釋放不需要的存儲器區(qū)域的指令時，在圖
7中示出的圖像譯碼裝置200中，分離相當(dāng)于上述指令的圖32中示出的、具
有管理信息流CtlStr和圖像編碼流VideoStr的流結(jié)構(gòu)，將其各自按圖像(圖
像)單位進行輸入，但也可以分別按片單位進行輸入。
再有，在其他實施方式中的編碼和譯碼中，也可以同樣用片單位編碼和 譯碼一個幀。
此外，上述實施方式1 10中示出的編碼方法和譯碼方法，可以利用LSI 等半導(dǎo)體安裝在攜帶式電話、汽車駕駛導(dǎo)向系統(tǒng)系統(tǒng)等移動通信設(shè)備、數(shù)碼 攝像機、數(shù)碼相機等攝影設(shè)備上。此外，作為安裝形式，除具有編碼器和譯 碼器兩種的收發(fā)型終端之外，還可以考慮僅有編碼器的發(fā)送終端和僅有譯碼 器的接收終端的三種形式。 (實施方式11)
下面，對本發(fā)明的實施方式11進行說明。
在本實施方式中，另外，將用于實現(xiàn)從實施方式1到實施方式10中示 出的圖像編碼方法或圖像譯碼方法的程序，記錄在軟盤等存儲媒體中，就能 在獨立的計算機系統(tǒng)中簡單地實施在上述實施方式中示出的處理。
圖34是使用存儲了上述實施方式1的圖像編碼方法或圖像譯碼方法的 軟盤，由計算機系統(tǒng)實施的情況的說明圖。
圖34 (b)示出從軟盤的正面看的外觀、剖面結(jié)構(gòu)和軟盤，圖34 (a)示 出作為記錄媒體主體的軟盤的物理格式例。軟盤FD1內(nèi)裝在殼F內(nèi)，在該磁 盤的表面，從外周向內(nèi)周以同心圓狀形成多個磁道Tr，各磁道在角度方向上 分割為16個扇區(qū)Se。因此，在存儲了上述程序的軟盤中，在上述軟盤FD1 上分割的區(qū)域中記錄著作為上述程序的圖像編碼方法。
此外，圖34 (c)示出用于在軟盤FD1上進行上述程序的記錄播放的結(jié) 構(gòu)。在軟盤FD1上記錄上述程序的情況下，從計算機系統(tǒng)Cs通過軟盤驅(qū)動 器FDD，寫入作為上述程序的圖像編碼方法或圖像譯碼方法。此外，利用軟
38盤FD1內(nèi)的程序?qū)⑸鲜鰣D像編碼方法安裝到計算機系統(tǒng)中時，利用軟盤驅(qū)動 器FDD從軟盤FD1中讀出程序，傳送到計算機系統(tǒng)Cs中。
再有，在上述說明中，使用軟盤作為記錄媒體進行了說明，但是，使用 光盤也能同樣地進行。此外，記錄媒體不限于此，IC卡、盒式ROM等，只 要能記錄程序的都能同樣地實施。
此外，上述實施方式中示出的圖像編碼方法和圖像譯碼方法，可以利用 LSI等半導(dǎo)體安裝在攜帶式電話、汽車駕駛導(dǎo)向系統(tǒng)等移動通信設(shè)備或數(shù)字 式錄像機、普通攝影機等攝影設(shè)備上。此外，作為安裝形式，可以考慮除具 有編碼器和譯碼器的兩種的收發(fā)型終端之外，還可以是僅有編碼器的發(fā)送終 端和僅有譯碼器的接收終端的三種形式。
在此，對從上述實施方式1到實施方式10中示出的圖像編碼方法和圖 像譯碼方法的應(yīng)用例和使用了它的系統(tǒng)進行說明。
圖35是示出實現(xiàn)內(nèi)容發(fā)送服務(wù)的內(nèi)容供給系統(tǒng)ex100的整體結(jié)構(gòu)框圖。 將通信服務(wù)的提供區(qū)域分割成期望的大小，在各單元內(nèi)分別設(shè)置作為固定無 線局的基站exl07 ex110。
該內(nèi)容供給系統(tǒng)ex100例如通過因特網(wǎng)服務(wù)提供商exl02和電話網(wǎng) exl04及基站exl07 ex110，與因特網(wǎng)exlOI連接計算機exll 1 、PDA(personal digital assistant即，個人數(shù)字化處理器)exl12、攝影機exl13、攜帶式電話 exl14、帶攝影機的攜帶式電話exll5等各設(shè)備。
但是，內(nèi)容供給系統(tǒng)exl00不限定于如圖35中的組合，也可以組合其中 某一個來連接。此外，也可以不通過固定無線局即基站exl07 ex110，而在 電話網(wǎng)exl04上直接連接各設(shè)備。
攝影機exll3是數(shù)字式錄像機等能拍攝動畫的設(shè)備。此外，攜帶式電話 是PDC (Personal Digital Communications即，個人數(shù)字化通信)方式、CDMA (Code Division Multiple Access艮卩，碼分多路訪問)方式、W —CDMA (Wideband-Code Division Multiple Access即，寬帶碼分多路訪問)方式、或 GSM (Global System for Mobile Communications即，全球移動通信系統(tǒng))方 式的攜帶式電話機，或者PHS (Personal Handyphone System即，個人手持電 話系統(tǒng))等，哪一種都可以。
此外，流服務(wù)器exl03從攝影機exl13通過基站exl09和電話網(wǎng)exl04 進行連接，能使用攝影機ex113來進行基于用戶發(fā)送的已編碼處理的數(shù)據(jù)的實況發(fā)信等。拍攝到的數(shù)據(jù)的編碼處理可以用攝影機exll3進行，也可以用 進行數(shù)據(jù)的發(fā)送處理的服務(wù)器等進行。此外，也可以通過計算機exlll向流 服務(wù)器exl03發(fā)送用攝影機exl16拍攝到的動畫數(shù)據(jù)。攝影機exl16是數(shù)字 式攝影機等可攝影靜止圖像和動畫的設(shè)備。該情況下，動畫數(shù)據(jù)的編碼即可 以用攝影機exll6進行，也可以用計算機exlll進行。此外，編碼處理是在 計算機exlll和攝影機exll6所具有的LSIexll7中進行處理。再有，也可以 將圖像編碼和譯碼用的軟件裝在能用計算機exlll等讀取的記錄媒體的任一 種存儲媒體(CD—ROM、軟盤、硬盤等)中。另外，也可以用帶攝影機的 攜帶式電話exl15發(fā)送動畫數(shù)據(jù)。這時的動畫數(shù)據(jù)是用攜帶式電話exl15所 具有的LSI進行編碼處理后的數(shù)據(jù)。
在該內(nèi)容供給系統(tǒng)ex100中， 一方面，與上述實施方式同樣地對用戶用 攝影機exll3和攝影機(camera) exll6等拍攝的內(nèi)容(例如，攝影了音樂實 況的影像等)進行編碼處理，并向流服務(wù)器ex103發(fā)送，另一方面，流服務(wù) 器exl03對有請求的客戶終端流發(fā)送上述內(nèi)容數(shù)據(jù)。作為客戶終端，有能進 行對上述已編碼處理的數(shù)據(jù)進行譯碼的計算機exlll、 PDAexl12、攝影機 exl13、攜帶式電話exll4等。通過這樣做，內(nèi)容供給系統(tǒng)ex100能在客戶終 端接收已編碼的數(shù)據(jù)并進行播放，另外，能在客戶終端實時地接收、譯碼、 播放，因此是能實現(xiàn)個人廣播的系統(tǒng)。
在構(gòu)成該系統(tǒng)的各設(shè)備的編碼和譯碼中，也可以使用在上述各實施方式 中示出的圖像編碼方法或圖像譯碼方法。
作為一例，對攜帶式電話進行說明。
圖36是示出使用了在上述實施方式中說明了的圖像編碼方法和圖像譯 碼方法的攜帶式電話ex115的圖。攜帶式電話ex115具有下列部分用于與 基站exl10之間收發(fā)電波的天線ex201; CCD攝影機等能拍攝影像和靜止圖 像的攝影機部ex203;液晶顯示器等顯示部ex202，顯示用攝影機部ex203攝 影到的影像和用天線ex201接收到的影像等被譯碼了的數(shù)據(jù)；由操作鍵ex204 群構(gòu)成的主體部；用于進行聲音輸出的揚聲器等聲音輸出部ex208;用于進 行聲音輸入的話筒等聲音輸入部ex205;記錄媒體ex207，用于保存攝影到的 動畫或靜止圖像數(shù)據(jù)、接收到的郵件數(shù)據(jù)、動畫數(shù)據(jù)或靜止圖像數(shù)據(jù)等已編 碼的數(shù)據(jù)或己譯碼的數(shù)據(jù)；用于能在攜帶式電話ex115中裝入記錄媒體ex207 的卡槽部ex206。記錄媒體ex207是SD卡等在塑料殼體內(nèi)電氣地裝入能改寫和擦除的不易失存儲器即EEPROM (Electronically Erasable and Programmable Read Only Memory即，電可擦可編程只讀存儲器)的快閃存儲器元件的裝置。
另外，用圖37對攜帶式電話exll5進行說明。攜帶式電話exll5對主控 制部ex311，通過同步總線ex313，相互連接著電源電路部ex310、操作輸入 控制部ex304、圖像編碼部ex312、攝影機接口部ex303、 LCD (Liquid Crystal Display目卩，液晶顯示器)控制部ex302、圖像譯碼部ex309、多重分離部ex308、 記錄播放部ex307、調(diào)制解調(diào)電路部ex306和聲音處理部ex305。主控制部 ex311對包括顯示部ex202和操作鍵ex204的主體部的各部分進行統(tǒng)一控制。
電源電路部ex310若由用戶操作成通話結(jié)束和電源鍵處于開通狀態(tài)，則 通過由電源向各部分供給電力，來啟動帶攝影機的數(shù)字?jǐn)y帶式電話exl15使 其處于可工作的狀態(tài)。
攜帶式電話exl15基于由CPU、 ROM和RAM等構(gòu)成的主控制部ex311 的控制，在聲音通話模式時，利用聲音處理部ex305將用聲音輸入部ex205 集音到的聲音信號轉(zhuǎn)換成數(shù)字聲音數(shù)據(jù)，將其用調(diào)制解調(diào)電路部ex306進行 頻譜擴散處理，在由收發(fā)信電路部ex301實施了數(shù)字模擬轉(zhuǎn)換處理和頻率變 換處理之后，通過天線ex201發(fā)送。此外，攜帶式電話機exll5在聲音通話 模式時，放大由天線ex201接收到的接收數(shù)據(jù)，并對所述接收的數(shù)據(jù)實施頻 率變換處理和模擬數(shù)字轉(zhuǎn)換處理，用調(diào)制解調(diào)電路部ex306進行頻譜逆擴散 處理，并用聲音處理部ex305轉(zhuǎn)換成模擬聲音數(shù)據(jù)之后，將其通過聲音輸出 部ex208輸出。
另外，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，由主體部的操作鍵 ex204的操作輸入的電子郵件的文本數(shù)據(jù)，通過操作輸入控制部ex304向主 控制部ex311發(fā)送。主控制部ex311用調(diào)制解調(diào)部ex 306對文本數(shù)據(jù)進行頻 譜擴散處理，在用收發(fā)信電路部ex301實施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換 處理之后，通過天線ex201，向基站exllO發(fā)送。
在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，通過攝影機接口部ex303， 向圖像編碼部ex312供給用攝影機部ex203拍攝到的圖像數(shù)據(jù)。此外，在不 發(fā)送圖像數(shù)據(jù)的情況下，也可以通過攝影機接口部ex303和LCD控制部 ex302，在顯示部ex202直接顯示用攝影機部ex203攝像到的圖像數(shù)據(jù)。
圖像編碼部ex312的結(jié)構(gòu)具有已在本申請中說明了的圖像編碼裝置，利 用在上述實施方式示出的圖像編碼裝置中使用的編碼方法，將由攝影機部ex203供給的圖像數(shù)據(jù)進行壓縮編碼，轉(zhuǎn)換成編碼圖像數(shù)據(jù)，將其向多重分 離部ex308發(fā)送。此外，與此同時，攜帶式電話機exll5將由攝影機部ex203 在攝像中利用聲音輸入部ex205集音到的聲音作為數(shù)字聲音數(shù)據(jù)，通過聲音 處理部ex305向多重分離部ex308送出。
多重分離部ex308用規(guī)定的方式，將由圖像編碼部ex312供給的編碼圖 像數(shù)據(jù)和由聲音處理部ex305供給的聲音數(shù)據(jù)進行多重化，由調(diào)制解調(diào)電路 部ex306對其結(jié)果得到的多重數(shù)據(jù)進行頻譜擴散處理，在由收發(fā)信電路部 ex301實施了數(shù)字模擬轉(zhuǎn)換處理和頻率變換處理之后，通過天線ex201發(fā)送。
在數(shù)據(jù)通信模式時接收與首頁鏈接的動畫圖像文件數(shù)據(jù)的情況下，用調(diào) 制解調(diào)電路部ex306對通過天線ex20從基站exl10接收到的接收數(shù)據(jù)頻譜 逆擴散處理，將其結(jié)果得到的多重化數(shù)據(jù)向多重分離部ex308發(fā)送。
此外，為對通過天線ex201接收到的多重數(shù)據(jù)進行編碼，多重分離部 ex308通過分離多重化數(shù)據(jù)，分成圖像數(shù)據(jù)位流和聲音數(shù)據(jù)位流，通過同步 總線ex313向圖像譯碼部ex309供給該編碼圖像數(shù)據(jù)的，并向聲音處理部 ex305供給該聲音數(shù)據(jù)。
接著，圖像譯碼部ex309的結(jié)構(gòu)具有已在本申請發(fā)明中說明了的圖像譯 碼裝置，通過用對應(yīng)于上述實施方式中示出的編碼方法的譯碼方法，對圖像 數(shù)據(jù)的位流進行譯碼，生成播放動畫圖像數(shù)據(jù)，將其通過LCD控制部ex302 向顯示部ex202供給，這樣，顯示例如與首頁鏈接的動畫圖像文件中包含的 動畫數(shù)據(jù)。與此同時，聲音處理部ex305在將聲音數(shù)據(jù)轉(zhuǎn)換成模擬聲音數(shù)據(jù) 之后，向聲音輸出部ex208供給，這樣，播放例如與首頁鏈接的動畫圖像文 件中包含的聲音數(shù)據(jù)。
再有，不限于上述系統(tǒng)的例子，最近，利用衛(wèi)星和地面波進行的數(shù)字廣 播成為熱門話題，如圖38所示，也可以在數(shù)字廣播用系統(tǒng)中組合至少一種上 述實施方式的圖像編碼裝置或圖像譯碼裝置。具體地說，在廣播電臺ex409 中，通過電波向通信或廣播衛(wèi)星ex410傳輸影像信息的位流。接收到該位流 的廣播衛(wèi)星ex410,發(fā)送廣播用電波，由具有衛(wèi)星廣播接收設(shè)備的家庭天線 ex406接收該電波，由電視機(接收機)ex401或機頂盒設(shè)備(STB) ex407 等裝置將位流進行譯碼并播放。此外，也可以在將記錄在記錄媒體CD和DVD 等存儲媒體ex402上的位流進行讀取并播放的裝置ex403上，安裝上述實施 方式中示出的圖像譯碼裝置。該情況下，在監(jiān)視器ex404上顯示播放的影像信號。此外，也可以考慮在與有線電視用的電纜ex405或衛(wèi)星/地面波廣播 的天線ex406連接的機頂盒設(shè)備ex407內(nèi)安裝圖像譯碼裝置，用電視機的監(jiān) 視器ex408進行播放的結(jié)構(gòu)。這時，不僅在機頂盒設(shè)備，也可以在電視機內(nèi) 裝入圖像譯碼裝置。此外，也可以用具有天線ex41的車ex412從衛(wèi)星ex410 或基站exl07等接收信號，在車ex412所具有的汽車駕駛導(dǎo)向系統(tǒng)ex413等 顯示裝置中播放動畫。
另外，也可以用上述實施方式中示出的圖像編碼裝置將圖像信號進行編 碼，并記錄在記錄媒體中。作為具體例，有在DVD盤ex421中記錄圖像信號 的DVD記錄器和在硬盤中記錄的盤式記錄器等的記錄器ex420。另外，也可 以記錄在SD卡ex422中。若記錄器ex420具有上述實施方式中示出的圖像 譯碼裝置，則能播放記錄在DVD盤ex421和SD卡ex422中的圖像信號，用 監(jiān)視器ex408顯示。
再有，汽車駕駛導(dǎo)向系統(tǒng)ex413的結(jié)構(gòu)可以是例如在圖37中示出的結(jié)構(gòu) 中除去攝影機部ex203和攝影機接口部ex303、圖像編碼部ex312的結(jié)構(gòu)， 可以考慮用計算機exlll和電視機(接收機)ex401等代替所述去除的部分。
此外，上述攜帶式電話exl14等終端可以是除具有編碼器和譯碼器兩種 的收發(fā)型終端之外，還可以是僅有編碼器的發(fā)送終端和僅有譯碼器的接收終 端的三種安裝形式。
如上，就能在上述的某一個設(shè)備和系統(tǒng)中使用上述實施方式中示出的圖 像編碼方法或圖像譯碼方法，通過使用本發(fā)明，能得到上述實施方式中說明 的效果。
本發(fā)明不僅限定于上述實施方式，可以在不脫離本發(fā)明的范圍內(nèi)作各種 各樣的變形和修正。
工業(yè)上利用的可能性
本發(fā)明的圖像編碼裝置作為在具有通信功能的個人計算機、PDA、數(shù)字 廣播的廣播電臺和攜帶式電話機等中具有的圖像編碼裝置，非常有用。
此外，本發(fā)明的圖像譯碼裝置作為在具有通信功能的個人計算機、PDA、 接收數(shù)字廣播的STB和攜帶式電話機等中具有的圖像譯碼裝置，非常有用。
權(quán)利要求
1. 一種圖像編碼方法，參照從存儲器內(nèi)保存著的多個參照圖像中選擇的參照圖像進行編碼，包括參照所選擇的參照圖像，對編碼對象圖像進行編碼；將用于管理存儲器中保存著的參照圖像的第一存儲器管理信息進行編碼，并且，附隨于已被編碼的所述編碼對象圖像，輸出被編碼的所述第一存儲器管理信息；將所述第一存儲器管理信息作為第二存儲器管理信息再次進行編碼；在被編碼的所述第二存儲器管理信息上附加用于確定所述編碼對象圖像的圖像確定信息，并且，附隨于與所述編碼對象圖像不同的別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二存儲器管理信息。
2. —種圖像編碼裝置，參照從存儲器內(nèi)保存著的多個參照圖像中選擇 的參照圖像進行編碼，包括圖像編碼單元，參照所選擇的參照圖像，對編碼對象圖像進行編碼； 管理信息編碼單元，將用于管理存儲器中保存著的參照圖像的第一存儲器管理信息進行編碼，并且，附隨于己被編碼的所述編碼對象圖像，輸出被編碼的所述第一存儲器管理信息；管理信m再編碼單元，將所述第一存儲器管理信息作為第二存儲器管理信息再次進行編碼，在被編碼的所述第二存儲器管理信息上附加用于確定所 述編碼對象圖像的圖像確定信息，并且，附隨于與所述編碼對象圖像不同的 別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二存儲器管 理信息。
全文摘要
本發(fā)明的圖像編碼方法，參照從存儲器內(nèi)保存著的多個參照圖像中選擇的參照圖像進行編碼，包括參照所選擇的參照圖像，對編碼對象圖像進行編碼；將用于管理存儲器中保存著的參照圖像的第一存儲器管理信息進行編碼，并且，附隨于已被編碼的所述編碼對象圖像，輸出被編碼的所述第一存儲器管理信息；將所述第一存儲器管理信息作為第二存儲器管理信息再次進行編碼；在被編碼的所述第二存儲器管理信息上附加用于確定所述編碼對象圖像的圖像確定信息，并且，附隨于與所述編碼對象圖像不同的別的編碼圖像，輸出附加了所述圖像確定信息的被編碼的所述第二存儲器管理信息。
文檔編號H04N7/26GK101483773SQ200810170028
公開日2009年7月15日 申請日期2003年4月10日 優(yōu)先權(quán)日2002年4月12日
發(fā)明者安倍清史, 羽飼誠, 近藤敏志, 野真也 申請人:松下電器產(chǎn)業(yè)株式會社