專利名稱：利用基本層的圖像信號的編碼/解碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號的可伸縮(sca 1 ab 1 e)編碼和解碼，尤其涉及在利用動態(tài) 補償時間過濾(MCTF: Motion Compensated Temporal Fi 1 ter)方式進(jìn)行可伸縮編 碼時，追加使用圖像信號基本層(base layer)對圖像進(jìn)行編碼，并且對基本層進(jìn)行 編碼處理后的圖像數(shù)據(jù)進(jìn)行解碼的方法和裝置。
背景技術(shù)：
將圖像信號數(shù)字化的標(biāo)準(zhǔn)有許多種，MPEG是其中最具代表性的一種。由于該 MPEG標(biāo)準(zhǔn)被采用為當(dāng)前在DVD等記錄媒體上收錄電影內(nèi)容等的標(biāo)準(zhǔn)，因而被廣泛 使用。并且，作為代表性標(biāo)準(zhǔn)的還有H. 264，估計今后它將被使用為高品質(zhì)TV電 視信號的標(biāo)準(zhǔn)。但是，TV電視信號需要使用寬頻帶，而現(xiàn)在普遍使用的手機和筆記本電腦以 及今后將廣泛使用的移動(mobile)電視(TV )和掌上電腦(PC )等是通過無線進(jìn)行 圖像接收和發(fā)送的，針對這樣的圖像來分配用于傳送TV信號的寬頻帶是不易進(jìn)行 的。因此，只能使此類移動性便攜裝置的圖像壓縮方式中所使用的標(biāo)準(zhǔn)當(dāng)中圖像信 號的壓縮效率進(jìn)一步提高。更詳細(xì)地說，也就是上述移動性便攜裝置不得不使自身處理或表現(xiàn) (presentation)的能力多樣化。因此，被壓縮的圖像也必須照樣子進(jìn)行多種預(yù)先準(zhǔn) 備，這就意味著針對同一個圖像源(source)需要具有每秒傳送幀數(shù)、解像度、每個 像素的比特數(shù)等多種變數(shù)的組合值，這樣一來，內(nèi)容提供商就不得不承受更多的負(fù) 擔(dān)?；谶@種理由，內(nèi)容提供商針對一個圖像源準(zhǔn)備了高速比特率的壓縮圖像數(shù) 據(jù)，如果上述移動性裝置提出申請，就在對原始圖像進(jìn)行解碼之后，利用與提出申 請裝置的圖像處理能力(capabi 1 i ty)相適應(yīng)的圖像數(shù)據(jù)提供并執(zhí)行適當(dāng)?shù)木幋a過 程。但是，在這種方式當(dāng)中需要以代碼轉(zhuǎn)換(transcoding)(解碼+編碼)過程作為基 礎(chǔ)，所以在提供移動性裝置所申請的圖像時就會發(fā)生一些時間遲延。并且，代碼轉(zhuǎn)
換也由于目標(biāo)編碼的多樣性而需要復(fù)雜的硬件設(shè)備和算法。為了消除這種不利因素，開發(fā)了可伸縮的圖像編解碼器(SVC: Scalable Video Codec)。這種方式能夠在對圖像信號進(jìn)行編碼的過程中編碼出最高的畫質(zhì)，這樣， 即使只提供被生成圖像序列的部分序列(從整個序列中間隔著選擇出來的幀的序列) 也能夠顯示出低畫質(zhì)的圖像。動態(tài)補償時間過濾(MCTF: Motion Compensated Temporal Filter)方式是為 了在上述可伸縮圖像編解碼器上使用而被提出的編碼方式。但是，由于該MCTF方 式象前面所講述的那樣極有可能被應(yīng)用在帶寬受到限制的移動通信當(dāng)中，所以為了 降低每秒被傳送的比特數(shù)，需要有很高的壓縮效率即高編碼率(coding rate)。但是，如上所述，雖然對利用可伸縮動態(tài)補償時間過濾(MCTF)方式進(jìn)行編 碼的圖像序列來說，即使只接收并處理部分序列也能夠顯示出低畫質(zhì)的圖像，但是 當(dāng)比特率(bitrate)變低時，就很容易出現(xiàn)畫質(zhì)格外低下的問題。發(fā)明內(nèi)容本發(fā)明正是為解決上述問題而提出的，其目的在于提供一種在利用可伸縮方 式對圖像進(jìn)行編碼時，提供用于低傳送率的利用基本層的圖像信號的編碼/解碼 方法及裝置。本發(fā)明的另一個目的是提供一種在利用可伸縮方式對圖像信號進(jìn)行編碼時， 利用基本層與圖像序列之間的相互關(guān)系來生成預(yù)測圖像的方法和裝置。本發(fā)明的另 一個目的是提供一種為了使用其他基本層的圖像序列而生成/記 錄必要的管理信息的方法和裝置。本發(fā)明還有一個目的是提供一種追加使用基本層的圖像信號對編碼后的數(shù)據(jù) 流進(jìn)行解碼的方法和裝置。為了實現(xiàn)上述目的， 一種利用基本層的圖像信號的編碼裝置，是針對由幀序 列構(gòu)成的圖像信號進(jìn)行編碼的裝置，其特征在于包括以下幾個組成部分用可伸縮 的方式對上述圖像信號進(jìn)行編碼，然后輸出第1層比特流的動態(tài)補償時間過濾編碼 器；用圖像信號基本層方式對上述圖像信號進(jìn)行編碼，然后輸出第2層比特流的基 本層編碼器。所述動態(tài)補償時間過濾編碼器由以下幾個部分組成針對上述幀序列 內(nèi)任意幀中所包含的圖像塊，在包括與上述任意幀在時間上前后相鄰的幀以及上述 第2層的比特流中所包含的輔助幀序列當(dāng)中在時間上與上述任意幀處于前、后及同
時段的輔助幀在內(nèi)的巾貞的集合中，使用至少1個幀內(nèi)的標(biāo)準(zhǔn)塊來求出上述圖像塊中各個像素的差值的編碼第1設(shè)備；以及如杲被上述第1設(shè)備使用的標(biāo)準(zhǔn)塊屬于上述 第1層比特流，就把上述求出的各個像素的差值加在上述標(biāo)準(zhǔn)塊上的編碼第2設(shè)備。所述標(biāo)準(zhǔn)塊是在一個幀或更小的規(guī)定大小的區(qū)域內(nèi)，與上述圖像塊之間的影 像差值小于預(yù)定門坎值的塊當(dāng)中差值最小的塊。所述編碼第1設(shè)備是把體現(xiàn)出上述圖像塊內(nèi)各個像素的差值是否是以某一幀 內(nèi)的塊為標(biāo)準(zhǔn)求出的差值的信息記錄在上述圖像塊頭信息內(nèi)的裝置。所述動態(tài)補償時間過濾編碼器還包括在上述前幀和/或后幀的各個像素值中，對上述第2層比特流中所包含的輔助幀序列中的輔助幀內(nèi)的各個像素值進(jìn)行差減， 然后求出上述前幀和/或后幀的幀影像差的編碼第3設(shè)備。所述動態(tài)補償時間過濾編碼器利用并聯(lián)及串聯(lián)連接的數(shù)個編碼第1設(shè)備和編碼第2設(shè)備，求出由N個原影像的幀中帶有影像差的N/2個H幀和被加上影像差 的N/2個L幀所形成的n編碼水平的幀序列，并且針對上述n編碼水平的L幀序列， 用相同方法求出由N/4個H幀和N/4個L幀所形成的n+l編碼水平的幀序列；所述第3設(shè)備只針對編碼水平中某一水平的L幀，對上述輔助幀序列中輔助 幀的各個像素值進(jìn)行差減，然后求出該L幀的影像差。所迷動態(tài)補償時間過濾編碼器將有關(guān)求出上述影像差的L幀序列的編碼水平 的信息插入并記錄在上述第1層的比特流中。所述動態(tài)補償時間過濾編碼器把體現(xiàn)出上述第2層比特流中的幀和上述第1 層比特流中的幀之間的時間相關(guān)性的定時信息插入并記錄在上述第1層比特流中。所述定時信息包括體現(xiàn)上述第2層的比特流是否具有固定幀率的標(biāo)記信息， 和有關(guān)將上述第l層比特流中的幀和上述第2層比特流中的幀看作是同一影像的標(biāo) 準(zhǔn)時間步長的信息。在所述標(biāo)記信息顯示出上述第2層的比特流是否具有固定幀率時，所述定時 信息還包括有關(guān)上述第2層比特流內(nèi)的幀的傳送率的信息。有關(guān)所述幀率的信息由體現(xiàn)一定時間的第l值和對上述第l值進(jìn)行分解的第2 值構(gòu)成。所述基本層編碼器將上述圖像信號編碼成具有小畫面幀的第2層比特流，它 的畫面比上述第1層比特流內(nèi)幀的畫面小。所述編碼第1設(shè)備為了求出上述圖像塊內(nèi)各個像素的差值而將上述小畫面幀擴大。另外，為了實現(xiàn)上述目的， 一種利用基本層的圖像信號的編碼方法，是針對 由幀序列構(gòu)成的圖像信號進(jìn)行編碼的方法，其特征在于包括以下幾個步驟以圖像 信號可伸縮的第1方式對上述圖像信號進(jìn)行編碼并輸出第1層比特流的步驟；以圖 像信號基本層的第2方式對上述圖像信號進(jìn)行編碼并輸出第2層比特流的步驟。所 述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟包括以下幾個過程針對上述幀序 列中任意一幀內(nèi)所包舍的圖像塊，在包括與上述幀在時間上前后相鄰的幀以及上述 第2層比特流內(nèi)所包含的輔助幀序列當(dāng)中在時間上與上述任意一幀處于前、后及同 時段的輔助幀在內(nèi)的幀的集合當(dāng)中，使用至少1個幀內(nèi)的標(biāo)準(zhǔn)塊來求出上迷圖像塊 內(nèi)各個像素的差值的編碼第1過程；如果上述第1步驟所使用的標(biāo)準(zhǔn)塊是上述第1 層比特流內(nèi)的幀，就將上述求出來的各個像素的差值加在上述標(biāo)準(zhǔn)塊上的編碼第2 過程。所述標(biāo)準(zhǔn)塊是在一個幀或更小的規(guī)定大小的區(qū)域內(nèi)，與上述圖像塊之間的影 像差值小于預(yù)定門坎值的塊當(dāng)中差值最小的塊。所述編碼第1過程是把顯示上述圖像塊內(nèi)各個像素的差值是否是以某一幀內(nèi) 的塊為標(biāo)準(zhǔn)求出的差值的信息記錄在上述圖像塊的頭信息內(nèi)的過程。所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟還包括在上述前幀和/或后幀的各個像素值中，對上述第2層的比特流中所包含的輔 助幀序列中的輔助幀的各個像素值進(jìn)行差減，然后求出上述前幀和/或后幀的幀影 像差的編碼第3過程。所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟，通過并聯(lián)及串聯(lián)運行編 碼第1過程和編碼第2過程的方式，求出由N個原影像的幀中具有影像差的N/2 個H幀和被加上影像差的N/2個L幀所形成的n編碼水平的幀序列，并且針對上述 n編碼水平的L幀序列，用相同方法求出由N/4個H幀和N/4個L幀所形成的n+l 編碼水平的幀序列；所述編碼第3過程只針對編碼水平中某一水平的L幀對上述輔助幀序列中輔 助幀的各個像素值進(jìn)行差減，然后求出該L幀的影像差。所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟,將有關(guān)求出上述影像差的 L幀序列的編碼水平的信息插入并記錄在上述第1層的比特流中。所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟，把體現(xiàn)上述第2層的比
特流中的幀和上述第1層的比特流中的幀之間的時間相關(guān)性的定時信息插入并記 錄在上述第1層的比特流中。所述定時信息包括體現(xiàn)上述第2層的比特流是否具有固定幀率的標(biāo)記信息， 和有關(guān)將上述第l層比特流中的幀和上述第2層比特流中的幀看作為同一影像的標(biāo)準(zhǔn)時間步長的信息。在所述標(biāo)記信息體現(xiàn)出上述第2層的比特流是否具有固定幀率時，所述定時 信息還包括有關(guān)上述第2層比特流內(nèi)的幀的傳送率的信息。所述以圖像信號基本層第2方式進(jìn)行編碼的步驟，將上述圖像信號編碼成具 有小畫面幀的第2層比特流，它的畫面比上述第l層比特流內(nèi)幀的畫面小。所述編碼第1過程為了求出上述圖像塊內(nèi)各個像素的差值而將上述小畫面幀 擴大。另夕卜，為了實現(xiàn)上述目的， 一種利用基本層的圖像信號的解碼裝置，是接收 包括具有差值的像素的H幀序列和L幀序列在內(nèi)的第l層比特流和另外的第2層比 特流并將其解碼成圖像信號的裝置，其特征在于包括以下幾個組成部分以圖像信 號可伸縮的第1方式對上述第1層比特流進(jìn)行解碼并將其還原為具有原來影像的圖 像幀然后進(jìn)行輸出的動態(tài)補償時間過濾解碼器；以圖像信號基本層的第2方式對上 述第2層比特流進(jìn)行解碼并將其還原為具有原來影像的輔助圖像幀然后進(jìn)行輸出 的基本層解碼器。所述動態(tài)補償時間過濾解碼器包括以下幾個組成部分確認(rèn)具有上述H幀序 列內(nèi)任意一幀中所包含的對象塊的各個像素的差值是否是在包括與上述任意幀在 時間上前后相鄰的幀以及上述輔助圖像幀序列當(dāng)中在時間上與上述任意一幀處于 前、后及同時段的輔助圖像幀在內(nèi)的幀的集合中，以某一個或幾個幀內(nèi)的其他塊為 標(biāo)準(zhǔn)求出來的差值的解碼第1設(shè)備；如果上述解碼第1設(shè)備的確認(rèn)結(jié)果是上述其他 塊屬于上述第1層比特流內(nèi)的幀中，就將上述對象塊的各個像素的差值從上述其他 塊中差減出去的解碼第2設(shè)備；依據(jù)上述差值被差減后的其他塊和/或位于上述輔 助圖像幀內(nèi)的其他塊的各個像素值，從上述對象塊內(nèi)的各個像素的差值中還原出上 述對象塊的原來影像的解碼第3設(shè)備。另外，為了實現(xiàn)上述目的， 一種利用基本層的圖像信號的解碼方法，是對具 有差值像素的包含有H幀序列和L幀序列的第1層比特流和另外的第2層比特流進(jìn) 行接收，并將其解碼成圖像信號的方法，其特征在于包括以下幾個步驟用圖像信
號可伸縮的第1方式對所述第1層比特流進(jìn)行解碼，然后將其還原為具有原來影像的圖像幀并進(jìn)行輸出的步驟；和用圖像信號基本層的第2方式對所述第2層比特流進(jìn)行解碼，然后將其還原為具有原來影像的輔助圖像幀并進(jìn)行輸出的步驟。用所述圖像信號可伸縮的第1方式進(jìn)行解碼的步驟包括以下幾個過程 確認(rèn)所述H幀序列內(nèi)任意一幀中的對象塊所擁有的各個像素的差值是不是把 幀的集合當(dāng)中的某一個或幾個幀內(nèi)的其他塊作為標(biāo)準(zhǔn)求出來的差值的解碼第1過程，其中幀的集合中包括與所述任意一幀在時間上前后相鄰的幀和所述輔助圖像幀 序列當(dāng)中在時間上與所述任意一幀處于前、后及相同時段的輔助圖像幀；如果所述 確認(rèn)結(jié)果為上述其他塊位于所述第1層比特流內(nèi)，就將所迷對象塊中各個像素的差 值從上述其他塊中差減出去的解碼第2過程；根據(jù)上述差值被差減掉的其他塊和/ 或所述輔助圖像幀內(nèi)其他塊的各個像素值，從上述對象塊內(nèi)的各個像素的差值中將 所述對象塊的原來影像還原出來的解碼第3過程。本發(fā)明的效果綜上所述，本發(fā)明的利用基本層的圖像信號的編碼/解碼方法及裝置在動態(tài) 補償時間過濾(MCTF)編碼中，如果在增強層的幀之外利用專門為低性能解碼器提 供的基本層的幀來制作H幀和L幀，那么由于編碼后的整體數(shù)據(jù)量減少了， MCTF 的編碼率也就提高了。為進(jìn)一步說明本發(fā)明的上述目的、結(jié)構(gòu)特點和效果，以下將結(jié)合附圖對本 發(fā)明進(jìn)行詳細(xì)的描述。


圖1是以本發(fā)明為依據(jù)的圖像信號壓縮方法所適用的圖像信號編碼裝置中結(jié) 構(gòu)塊的示意圖。圖2是圖1所顯示的在MCTF編碼器內(nèi)進(jìn)行圖像估值/預(yù)測和更新動作的濾波 器的結(jié)構(gòu)示意圖。圖3是依據(jù)本發(fā)明，在一個G0P內(nèi)的圖像期間內(nèi)制作出與L幀之間存在影像 差的H幀的過程示意圖。圖4是依據(jù)本發(fā)明，為了說明基本層的輔助幀與增強層的主幀之間在時間上 的相關(guān)性，而對被插入并進(jìn)行傳送的定時信息的結(jié)構(gòu)進(jìn)行舉例說明的示意圖。
圖5a和5b是依據(jù)本發(fā)明，對在制作一個預(yù)測圖像的H幀時可以被用來作標(biāo) 準(zhǔn)的增強層與基本層的幀之間的關(guān)系進(jìn)行分別顯示的示意圖。圖6是對圖2所示的濾波器在制作一個宏塊時的多種標(biāo)準(zhǔn)塊選擇模式進(jìn)行有 限說明的示意圖。圖7是依據(jù)本發(fā)明對宏塊頭信息中所包含的標(biāo)準(zhǔn)塊選擇模式的信息結(jié)構(gòu)進(jìn)行 顯示的示意圖。圖8是以本發(fā)明為依據(jù)的將使用基本層時所需的必要信息放置在增強層比特 流中的結(jié)構(gòu)示意圖。圖9是依據(jù)本發(fā)明，針對基本層中輔助幀影像被差減后的增強層編碼水平的 信息結(jié)構(gòu)進(jìn)行顯示的示意圖。圖IO顯示的是針對被圖1所示的裝置進(jìn)行編碼后的數(shù)據(jù)流進(jìn)行解碼的裝置方塊圖。圖11顯示的是圖10中MCTF解碼器內(nèi)執(zhí)行逆估值/預(yù)測和逆更新動作的逆濾 波器的結(jié)構(gòu)示意圖。附圖中主要部分的符號說明100MCTF編碼器101:分離器102估值/預(yù)測器103:更新器105240:基本層解碼器105a，240a:定標(biāo)器110紋理編碼器120:運動編碼部130多路復(fù)用器200:解復(fù)用器210紋理解碼器220:運動解碼部230MCTF解碼器231:逆更新器232逆估值/預(yù)測器234:排序器235運動矢量解碼器具體實施方式
下面將參照附圖對本發(fā)明的利用基本層的圖像信號的編碼/解碼方法及裝 置的實施例進(jìn)行詳細(xì)說明。圖1是以本發(fā)明為依據(jù)的圖像信號的可伸縮(scalable)壓縮方法所適用的圖 像信號編碼裝置的結(jié)構(gòu)塊示意圖。
圖1的圖像信號編碼裝置包括以下幾個組成部分本發(fā)明所適用的利用MCTF 方式將輸入的圖像(視頻)信號編碼成各個宏塊(macro block)單位并生成適當(dāng)管 理信息的動態(tài)補償時間過濾(以下簡稱MCTF)編碼器100;將上述編碼后的各個宏 塊的信息變換成壓縮比特列的紋理(Texture)編碼部110;將上述通過MCTF編碼器 100得到的圖像塊的運動矢量(motion vectors)以指定的方式編碼成壓縮比特列的 運動編碼部120; 將輸入的圖像信號以指定的方式，例如MPEG1、 2、 4或H. 261、 H. 263、H. 264方式進(jìn)行編碼并生成小畫面例如原來大小的25°/。的圖像序列的基本層 (base layer以下簡稱BL)編碼器150;在將上述紋理編碼部110輸出的數(shù)據(jù)和上 述基本層(BL)編碼器150的小畫面序列、上述運動編碼部120的輸出矢量數(shù)據(jù)壓 縮(encapsulate)成指定的格式之后，再利用已經(jīng)指定的傳送格式進(jìn)行相互復(fù)用然 后輸出的多路復(fù)用器130。在下面的說明當(dāng)中，將上述小畫面圖像序列稱為基本層 序列，將上述MCTF編碼器100的輸出幀序列稱為增強(enhanced)層序列。上迷基 本層序列是提供給不得不進(jìn)行上述增強層主幀序列的低畫質(zhì)解碼的裝置進(jìn)行選擇 性使用的輔助幀序列。上述MCTF編碼器100針對任意圖像幀內(nèi)的宏塊進(jìn)行運動估值(motion estimation)和預(yù)測(prediction)動作，并且針對該宏塊與相鄰幀內(nèi)宏塊之間的影 像差來執(zhí)行對該宏塊進(jìn)行進(jìn)一步更新(update)的動作，圖2就是對執(zhí)行該動作的濾 波器的結(jié)構(gòu)進(jìn)行顯示的示意圖。圖2所顯示的濾波器包括以下幾個組成部分將輸入圖像(視頻)的幀序列 分離成前后幀的分離器101;對經(jīng)過上述基本層(BL)編碼器150編碼處理后的小 畫面序列圖像進(jìn)行解碼，并且利用內(nèi)部定標(biāo)器105a將該圖像還原成原來圖像大小 的解碼器105;負(fù)責(zé)在前后相鄰的幀或由上述定標(biāo)器105a進(jìn)行大小還原的幀中找 出關(guān)于將要進(jìn)行預(yù)測(predict ive)幀制作的幀內(nèi)各個宏塊的標(biāo)準(zhǔn)塊，并算出該標(biāo) 準(zhǔn)塊與實際宏塊之間的影像差(各個對應(yīng)像素的差值)和運動矢量，或者執(zhí)行求出由 上述定標(biāo)器105a進(jìn)行大小還原的同時段幀的宏塊與標(biāo)準(zhǔn)塊之間的影像差等預(yù)測動 作(prediction)(以下簡稱"P"動作)的估值/預(yù)測器102;針對經(jīng)過上述運動估 值而找出標(biāo)準(zhǔn)塊情況下的宏塊，在將上述求出的影像差正規(guī)化(norma lize)之后， 對相關(guān)標(biāo)準(zhǔn)塊執(zhí)行進(jìn)一步更新(update)動作的更新器103。上述更新器103執(zhí)行的 動作被稱作"U"動作(operation),而經(jīng)過"U"動作生成的幀被稱作"L"幀。而 且，上述更新器103針對更新后的幀，對在定標(biāo)器105a中進(jìn)行擴大的同時段幀進(jìn)
行差減，然后有選擇性地執(zhí)行輸出動作。圖2的濾波器可以不針對圖像幀而是針對一個幀被分割后形成的數(shù)個片段同 時進(jìn)行并列操作，由上述估值器102制作的具有影像差的幀(或片段)叫作"H"幀(片段)。這是由于"H'"幀(片段)中的差值數(shù)據(jù)反映了圖像信號的高頻成份。在下面實施例當(dāng)中所使用的"幀"的概念中包含了片段的意思。所述估值/預(yù)測器102針對被輸入的各個圖像幀，將其分割成預(yù)定大小的宏塊 (macro-block),并且從相鄰的前后幀和/或在上述定標(biāo)器105a中被擴大的幀中找 出影像與各個分割后的宏塊最相似的影像塊。即，找出在時間上(temporal)具有相 互關(guān)系的宏塊。最相似的影像塊是與對象影像塊之間影像差最小的塊。影像差的大 小由例如pixel-to-pixel的差值總和或平均值等決定，因此它是在小于規(guī)定門 坎值的塊中數(shù)值最小的塊，即影像差最小的塊，該宏塊被稱作標(biāo)準(zhǔn)(reference)塊。 標(biāo)準(zhǔn)塊可以在時間關(guān)系上的前幀(包括基本層幀)和后幀(包括基本層幀)當(dāng)中分別 存在一個。在找到標(biāo)準(zhǔn)塊的情況下，所述估值/預(yù)測器102求出當(dāng)前塊的塊運動矢量值并 算出該標(biāo)準(zhǔn)塊(只限前幀或后幀當(dāng)中)的各個像素值和/或標(biāo)準(zhǔn)塊(相鄰兩幀當(dāng)中)的 各個平均像素值以及當(dāng)前塊內(nèi)各個像素的誤差值即差值并進(jìn)行輸出。如果在上述的運動估值動作當(dāng)中，沒有在相鄰的兩個幀(包括基本層幀)中找 到與當(dāng)前宏塊之間的影像差值小于規(guī)定門坎值的塊，就對與當(dāng)前幀同時段或鄰近時 段的幀是否存在于上述基本層序列當(dāng)中進(jìn)行確認(rèn)，如果存在的話，就利用所對應(yīng)宏 塊的像素值求出當(dāng)前塊的差值但不求運動矢量。所述鄰近時段是指可以被看作具有 同一圖像的幀的時間步長，有關(guān)該時間步長的信息被放置在編碼后的碼流中進(jìn)行傳 送。后面將會對此進(jìn)行說明。關(guān)于當(dāng)前宏塊，即使在找到標(biāo)準(zhǔn)塊的情況下，也可以使用基本層的同時段或 鄰近時段的對應(yīng)宏塊。即，可以使用與被找出的標(biāo)準(zhǔn)塊相對應(yīng)的宏塊中的例如各個 像素的平均值來求出當(dāng)前宏塊的像素差值。在這種情況下，求出有關(guān)被找出的標(biāo)準(zhǔn) 塊的宏塊運動矢量，并且把用來告知基本層的幀已經(jīng)被使用的信息記錄在當(dāng)前宏塊 的頭中。由上述估值/預(yù)測器102執(zhí)行的上述動作被稱為"P"動作(operation)。 所述MCTF編碼器IOO針對規(guī)定的圖像序列區(qū)間例如一個圖像組(GOP: Group of Pictures),來^U于前面所講的"P'，動作和"U"動作并生成H幀和L幀，并且 由串聯(lián)連接的下一段估值/預(yù)測器和更新器(未圖示)來針對L幀序列再次執(zhí)行"P"動作和"U"動作并生成H幀和L幀。通過執(zhí)行適當(dāng)次數(shù)的此類動作來制成最終的 增強(enhanced)層序列。圖3就是對此類事例進(jìn)行顯示的示意圖，截止到一個GOP 內(nèi)的L幀數(shù)量達(dá)到2個時為止，已經(jīng)執(zhí)行了 3次"P"動作和"U"動作。在執(zhí)行圖 3所示的動作時，當(dāng)上述MCTF編碼器100內(nèi)的更新器103從l次L幀序列當(dāng)中制 作2次L幀序列時，在1次L幀序列中對在上迷定標(biāo)器105a所擴大的同時段幀進(jìn) 行差減和生成。當(dāng)然，也可以不對1次L幀而對其他次L幀進(jìn)行差減，然后生成下 一次的L幀。例如，當(dāng)由上述定標(biāo)器105a提供的基本層圖像在時間上與1次L幀 相交錯時，如果進(jìn)一步提高差減水平的話，就能夠減少實際圖像在時間上的差異， 所以通過提高差減水平來使上述L幀和基本層的擴大圖像得到差減。如上所述，如果使用被提供給基本層的小畫面序列來進(jìn)行適當(dāng)次數(shù)的L幀差 減并生成增強層序列的話，那么在增強層的序列中，由于圖像冗余(redundancy) 被刪除使得編碼數(shù)據(jù)的數(shù)量減少了 ，也就是提高了編碼增益(coding gain)。并且，所述MCTF編碼器IOO在進(jìn)行上述可伸縮編碼時，把用來在增強層與基 本層之間進(jìn)行定時的圖4所示結(jié)構(gòu)的信息放置在增強層的比特流中。為了圖4的定 時信息，需要從上述基本層編碼器150和/或外部輸入設(shè)定的值中接收必要的內(nèi)容， 圖4的定時信息在增強層比特流的傳送初期被傳送一次或被周期性地插入并傳送。在圖4的定時信息結(jié)構(gòu)中，"flag—BL—fixed—frame —rate"是指基本層比特流 是否在上述基本層編碼器150中被用固定的幀率進(jìn)行編碼的信息， "BL—time_increment —resolution"是關(guān)于"BL—time_increm ent，，中所記錄時間 值的分解能的信息，例如，如果l(秒)被記錄在"BL—time-increment"中，而5 4皮i己錄在"BL—time一increment一reso lution，， 中，刃卩么t尤表示基本層6々中貞每1/5 秒傳送一次。并且，"THR_ temporally—coincidence"體現(xiàn)的是表示增強層的幀和 基本層的幀之間具有互相相同的圖像的時間步長。該字段，例如msec可以具有單 位的值，即當(dāng)該值為10的情況下，如果在編碼時被插入的增強層的幀的時間信息 和從上述幀率(1—time一increment" / "BL一time—incremen t —resolution")中 計算出來的基本層的任意幀的時間信息(接收幀數(shù)* "BL_time_increment" / "BL—time—increment —resolution")之間的差小于0. 01 (秒)，那么它們在解碼器 端就凈皮看作是具有相同圖^^的即相互時間 一致(in coincidence)的幀。另一方面，所述估值/預(yù)測器102在執(zhí)行"P"動作并制作H幀時，當(dāng)找出當(dāng) 前幀內(nèi)任意宏塊的標(biāo)準(zhǔn)塊然后將當(dāng)前塊制成預(yù)測(predictive)影4象塊時，如圖5a 所顯示的那樣，除了可以使用增強層中相鄰的前后L幀之外，還可以選擇并使用由 上述定標(biāo)器105a提供的基本層的擴大圖像。在以本發(fā)明為依據(jù)的理想實施例中，在制作H幀時使用5個幀。圖5b顯示了 為了制作任意H幀而能夠使用的5個幀，即，為了將一個L幀400L制作成H幀400H, 使用了與上述L幀400L相同的MCTF水平的前后L幀401、 402以及在基本層上處 于相同時點的幀405及其前后幀403、 404。圖6顯示了幾個在依據(jù)本發(fā)明使用5個幀時將任意一個宏塊制作成影像差數(shù) 據(jù)時所選擇的2個以下的幀的例子。"Fwd-BL—mode"表示標(biāo)準(zhǔn)塊是基本層序列中在 時間上處于前面的圖像的情況；"Bwd— BL-mode，'表示標(biāo)準(zhǔn)塊是基礎(chǔ)層序列中在時 間上處于后面的圖像的情況；"Bid_BL—mode"表示標(biāo)準(zhǔn)塊是基本層序列中在時間上 處于前面和后面的兩個圖像的情況；"Fwd—BL—Bwd—EL—mode"表示標(biāo)準(zhǔn)塊是基本層 的前面圖像和增強層的后面圖像的情況；"FwdLEL—Bwd—BL—mode"表示標(biāo)準(zhǔn)塊是增 強層的前面圖像和基礎(chǔ)層的后面圖像的情況。并且，"TC—pred-mode"是指使用基 本層同時段圖像的對應(yīng)塊的像素值時的情況；'TC—pred_Bwd-BL—mode"是指使用基 本層同時段圖像的對應(yīng)塊和位于基本層后面圖像中的標(biāo)準(zhǔn)塊時的情況； "TC_pred-Fwd—BL—mode"是指使用基本層同時段圖像的對應(yīng)塊和位于基本層前面 圖像中的標(biāo)準(zhǔn)塊時的情況；"TC—pred—Bwd-EL—mode"是指使用基本層同時段圖像的 對應(yīng)塊和位于增強層后面圖像中的標(biāo)準(zhǔn)塊時的情況；"TC—pred-Fwd—EL _mode，，是 指使用基本層同時段圖像的對應(yīng)塊和位于增強層前面圖像中的標(biāo)準(zhǔn)塊時的情況。還有圖6中沒有顯示的其他多種模式，為了將圖6中所顯示的模式和圖6中 沒有顯示的多種模式中的一種告知給解碼器一側(cè)，上述MCTF編碼器IOO將具有圖 7所顯示結(jié)構(gòu)的"標(biāo)準(zhǔn)塊選擇模式"信息，按照圖8所顯示的那樣，插入并記錄在 決定相關(guān)宏塊中頭區(qū)域位置的字段(Ref-Se1—mode)當(dāng)中，然后傳送給上述紋理編碼 部IIO。上述Ref—Sel—mode字段可以插入幀(或片段)的頭內(nèi)，也可以在同一幀(或 片段)內(nèi)使用相同的2張標(biāo)準(zhǔn)圖像。在圖7的標(biāo)準(zhǔn)塊選擇模式的信息結(jié)構(gòu)中，"flag_use_BL"是顯示基礎(chǔ)層是否 4皮<吏用為標(biāo)準(zhǔn)塊的信息，"reference-selection-code"是記錄上面所述各個沖莫式 的相關(guān)值的字段，是顯示前面所講的5個幀中的一個或二個任意幀是否被用來制作 宏塊影像差的信息。
另 一方面，所述MCTF編碼器100把對基本層的圖像序列進(jìn)行差減的L幀序列的水平即有關(guān)MCTF水平的信息，以圖9所示的結(jié)構(gòu)，依據(jù)圖8所顯示的那樣，記 錄在決定相關(guān)G0P頭區(qū)域位置的字段(BL-Subtr action)當(dāng)中進(jìn)行傳送。在圖9所 示的信息結(jié)構(gòu)中，"flag腸usel"是指相關(guān)G0P中是否使用了基本層的信息； "BL—subtract ion—level"指的是針對某種水平的L幀序列，基本層的圖像序列是 否被差減。利用截止目前所說明的方法進(jìn)行編碼的數(shù)據(jù)流是通過有線或無線被傳送到解 碼裝置中的，或者是將記錄媒體作為媒介來進(jìn)行傳送的，解碼裝置可以依據(jù)下面將 說明的方法來還原出原來的增強層和/或基本層的圖像信號。圖IO是針對由圖1所示裝置進(jìn)行編碼的數(shù)據(jù)流進(jìn)行解碼的裝置方塊圖。圖10 的解碼裝置包括以下幾個組成部分從接收到的數(shù)據(jù)流中分離出壓縮后的運動矢量 流和壓縮后的宏塊信息流以及基本層碼流的解復(fù)用器200;將被壓縮的宏塊信息流 還原到原來非壓縮狀態(tài)的紋理解碼部210;將被壓縮的運動矢量流還原到原來非壓 縮狀態(tài)的運動解碼部220;對解除壓縮的宏塊信息流和運動矢量流以MCTF方式逆 變換為原來的圖像信號的MCTF解碼器230;利用決定上述基本層碼流的方式，例 如MPEG4或H. 264方式進(jìn)行解碼的基本層解碼器240。上述基本層解碼器240內(nèi)還 包括將基本層的小畫面圖像序列擴大為增強層圖像大小的定標(biāo)器240a。所述MCTF解碼器230，為了從被輸入的碼流中還原出原來的幀序列，而將如圖 11所示結(jié)構(gòu)的逆(inverse)濾波器作為內(nèi)部組成成份。圖11的逆濾波器包括以下幾個組成部分將被輸入的增強層碼流分成H幀和 L幀，并且對增強層碼流內(nèi)的各個頭信息進(jìn)行解釋的前端信息處理機236;將被輸 入的H幀的各個像素的差值從補充輸入的L幀中差減出去的逆更新器231;參照被 差減去H幀影像差的L幀和/或由上述定標(biāo)器240a進(jìn)行擴大并輸入的圖像，將H 幀還原為具有原來影像的幀的逆估值/預(yù)測器232;對被輸入的運動矢量流進(jìn)行解 碼并且將各個塊的運動矢量信息提供給上述逆估值/預(yù)測器232的運動矢量解碼器 235;以及將上述逆估值/預(yù)測器232所完成的幀有間隔地插入上述逆更新器231 輸出的L幀之間，從而形成正常的圖像幀序列的排序器2 34。所述逆更新器231和逆估值/預(yù)測器232與前面說明的MCTF的編碼水平相適 應(yīng)，它被設(shè)置在上述排序器234的前端并由多段構(gòu)成。而且，各段(stage)逆更新 器中的一個輸出L幀與上述解碼器240中定標(biāo)器240a的擴大圖像的影像值相加
239，所述MCTF解碼器230才艮據(jù)增強層碼流中所放置的如圖9所顯示的 BL—subtraction—level的值來決定是否在某段(編碼水平)的L幀輸出當(dāng)中加上基 本層的幀。所述前端信息處理機236對被輸入的增強層碼流進(jìn)行解釋，然后區(qū)分并輸入 為L幀序列和H幀序列，而且利用該碼流內(nèi)的各個頭信息，將有關(guān)在制作H幀內(nèi)的 宏塊時所使用的幀的信息告知給上述逆估值/預(yù)測器232。該信息可以從接收到的 圖7所顯示的"標(biāo)準(zhǔn)塊選擇模式"(reference-selection-code)的信息當(dāng)中得知。因此，所述逆估值/預(yù)測器232可以針對一個H幀內(nèi)的任意宏塊，以制作該塊 的預(yù)測影像為目的，而特別指定被使用的增強層的L幀和/或基礎(chǔ)層的擴大幀，并 且利用上述運動矢量解碼器235中提供的運動矢量來掌握位于相關(guān)幀內(nèi)的標(biāo)準(zhǔn)塊， 然后在上述任意宏塊內(nèi)的各個像素的差值上加上標(biāo)準(zhǔn)塊的各個像素值或兩個宏塊 的各個像素的平均值，通過這種方式來還原出原來的影像。尤其當(dāng)上述逆估值/預(yù) 測器232利用基本層的幀時，利用上述前端信息處理機236解釋的如圖4所顯示的 定時信息，在當(dāng)前增強層的圖像序列當(dāng)中，指定當(dāng)前H幀的前、后或同時段基本層 的輔助幀。如果對上述基本層解碼器240的輸出幀進(jìn)行計數(shù)，那么就可以從圖4 的信息中得知各個基本層幀的時間，因而可以得知當(dāng)前H幀的前后幀，然后根據(jù)兩 幀的時間差和'THR—tempo rally—coin cidence'的值來判斷其是否處于同時段。針對一個H幀，將其分成規(guī)定單位例如片段(s 1 ice)單位來并列運行，并在使 該幀內(nèi)的所有宏塊具有原來的影像之后，通過將這些宏塊組合在一起的方式來構(gòu)成 一個完整的圖像幀。依據(jù)前面所講的方法，被以MCTF方式進(jìn)行編碼的數(shù)據(jù)流被還原成完整的圖像 幀序列。尤其是當(dāng)針對一個GOP執(zhí)行N次以上前面所講的MCTF編碼中的估值/預(yù)測 和更新動作的情況下，如果執(zhí)行N次上述逆估值/預(yù)測及逆更新動作并求出圖像幀 序列，就可以得到原來圖像信號的畫質(zhì)，并且如果執(zhí)行次數(shù)少于N次，那么雖然畫 質(zhì)有些下降但也可以得到比特率相對低的圖像幀序列。但是，如果不用MCTF方式 來獲得比特率低的圖像幀序列而是對基本層的幀序列進(jìn)行解碼輸出，就會得到與之 相比更低的畫質(zhì)。因此，解碼裝置需要與自身性能相符的能夠執(zhí)行上述逆估值/預(yù) 測及逆更新動作的設(shè)計，或者是只對基本層的碼流進(jìn)行解碼的設(shè)計。前面所講的解碼裝置可以被安裝在移動通信終端機或用來再生記錄媒體的裝 置上。
本技術(shù)領(lǐng)域中的普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到，以上的實施例僅是用來說明本發(fā) 明，而并非用作為對本發(fā)明的限定，只要在本發(fā)明的實質(zhì)精神范圍內(nèi)，對以上所述 實施例的變化、變型都將落在本發(fā)明權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1、一種利用基本層的圖像信號的編碼裝置，是針對由幀序列構(gòu)成的圖像信號進(jìn)行編碼的裝置，其特征在于包括以下幾個組成部分用圖像信號可伸縮的方式對上述圖像信號進(jìn)行編碼，然后輸出第1層比特流的動態(tài)補償時間過濾編碼器；用圖像信號基本層方式對上述圖像信號進(jìn)行編碼，然后輸出第2層比特流的基本層編碼器；所述動態(tài)補償時間過濾編碼器由以下幾個部分組成針對上述幀序列內(nèi)任意幀中所包含的圖像塊，在包括與上述任意幀在時間上前后相鄰的幀以及上述第2層的比特流中所包含的輔助幀序列當(dāng)中在時間上與上述任意幀處于前、后及同時段的輔助幀在內(nèi)的幀的集合中，使用至少1個幀內(nèi)的標(biāo)準(zhǔn)塊來求出上述圖像塊中各個像素的差值的編碼第1設(shè)備；如果被上述第1設(shè)備使用的標(biāo)準(zhǔn)塊屬于上述第1層比特流，就把上述求出的各個像素的差值加在上述標(biāo)準(zhǔn)塊上的編碼第2設(shè)備。
2、 如權(quán)利要求l所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述標(biāo)準(zhǔn)塊是在一個幀或更小的規(guī)定大小的區(qū)域內(nèi)，與上述圖像塊之間的影像差值小于預(yù)定門坎值的塊當(dāng)中差值最小的塊。
3、 如權(quán)利要求l所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述編碼第1設(shè)備是把體現(xiàn)出上述圖像塊內(nèi)各個像素的差值是否是以某一幀內(nèi)的塊為標(biāo)準(zhǔn)求出的差值的信息記錄在上述圖像塊頭信息內(nèi)的裝置。
4、 如權(quán)利要求l所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述動態(tài)補償時間過濾編碼器還包括在上述前幀和/或后幀的各個像素值中，對上述第2層比特流中所包含的輔助幀序列中的輔助幀內(nèi)的各個像素值進(jìn)行差減， 然后求出上述前幀和/或后幀的幀影像差的編碼第3設(shè)備。
5、 如權(quán)利要求4所述的利用基本層的圖像信號的編碼裝置，其特征在于所述動態(tài)補償時間過濾編碼器利用并聯(lián)及串聯(lián)連接的數(shù)個編碼第1設(shè)備和編碼第2設(shè)備，求出由N個原影像的幀中帶有影像差的N/2個H幀和被加上影像差 的N/2個L幀所形成的n編碼水平的幀序列，并且針對上述n編碼水平的L幀序列， 用相同方法求出由N/4個H幀和N/4個L幀所形成的n+1編碼水平的幀序列；所述第3設(shè)備只針對編碼水平中某一水平的L幀，對上述輔助幀序列中輔助 幀的各個像素值進(jìn)行差減，然后求出該L幀的影像差。
6、 如權(quán)利要求5所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述動態(tài)補償時間過濾編碼器將有關(guān)求出上述影像差的L幀序列的編碼水平的信息插入并記錄在上述第1層的比特流中。
7、 如權(quán)利要求l所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述動態(tài)補償時間過濾編碼器把體現(xiàn)出上述第2層比特流中的幀和上述第1層比特流中的幀之間的時間相關(guān)性的定時信息插入并記錄在上述第1層比特流中。
8、 如權(quán)利要求7所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述定時信息包括體現(xiàn)上述第2層的比特流是否具有固定幀率的標(biāo)記信息，和有關(guān)將上述第l層比特流中的幀和上述第2層比特流中的幀看作是同一影像的標(biāo) 準(zhǔn)時間步長的信息。
9、 如權(quán)利要求8所述的利用基本層的圖像信號的編碼裝置，其特征在于 在所述標(biāo)記信息顯示出上述第2層的比特流是否具有固定幀率時，所述定時信息還包括有關(guān)上述第2層比特流內(nèi)的幀的傳送率的信息。
10、 如權(quán)利要求9所述的利用基本層的圖像信號的編碼裝置，其特征在于 有關(guān)所述幀率的信息由體現(xiàn)一定時間的第l值和對上述第l值進(jìn)行分解的第2值構(gòu)成。
11、 如權(quán)利要求1所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述基本層編碼器將上述圖像信號編碼成具有小畫面幀的第2層比特流，它 的畫面比上述第l層比特流內(nèi)幀的畫面小。
12 、如權(quán)利要求11所述的利用基本層的圖像信號的編碼裝置，其特征在于 所述編碼第1設(shè)備為了求出上述圖像塊內(nèi)各個像素的差值而將上述小畫面幀擴大。
13、 一種利用基本層的圖像信號的編碼方法，是針對由幀序列構(gòu)成的圖像信 號進(jìn)行編碼的方法，其特征在于包括以下幾個步驟以圖像信號可伸縮的第1方式對上述圖像信號進(jìn)行編碼并輸出第1層比特流 的步驟；以圖像信號基本層的第2方式對上述圖像信號進(jìn)行編碼并輸出第2層比特流 的步驟；所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟包括以下幾個過程 針對上述幀序列中任意一幀內(nèi)所包含的圖像塊，在包括與上述幀在時間上前后相鄰的幀以及上述第2層比特流內(nèi)所包含的輔助幀序列當(dāng)中在時間上與上述任意一幀處于前、后及同時段的輔助幀在內(nèi)的幀的集合當(dāng)中，使用至少1個幀內(nèi)的標(biāo)準(zhǔn)塊來求出上述圖像塊內(nèi)各個像素的差值的編碼第1過程；如果上述第1步驟所使用的標(biāo)準(zhǔn)塊是上述第1層比特流內(nèi)的幀，就將上述求出來的各個像素的差值加在上述標(biāo)準(zhǔn)塊上的編碼第2過程。
14、 如權(quán)利要求13所述的利用基本層的圖像信號的編碼方法，其特征在于 所述標(biāo)準(zhǔn)塊是在一個幀或更小的規(guī)定大小的區(qū)域內(nèi)，與上述圖像塊之間的影像差值小于預(yù)定門坎值的塊當(dāng)中差值最小的塊。
15、 如權(quán)利要求13所述的利用基本層的圖像信號的編碼方法，其特征在于 所述編碼第1過程是把顯示上述圖像塊內(nèi)各個像素的差值是否是以某一幀內(nèi)的塊為標(biāo)準(zhǔn)求出的差值的信息記錄在上述圖像塊的頭信息內(nèi)的過程。
16、 如權(quán)利要求13所述的利用基本層的圖像信號的編碼方法，其特征在于: 所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟還包括 在上述前幀和/或后幀的各個〗象素值中，對上述第2層的比特流中所包舍的輔 助幀序列中的輔助幀的各個像素值進(jìn)行差減，然后求出上述前幀和/或后幀的幀影 像差的編碼第3過程。
17、 如權(quán)利要求16所述的利用基本層的圖像信號的編碼方法，其特征在于 所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟，通過并聯(lián)及串聯(lián)運行編碼第1過程和編碼第2過程的方式，求出由N個原影像的幀中具有影像差的N/2 個H幀和被加上影像差的N/2個L幀所形成的n編碼水平的幀序列，并且針對上述 n編碼水平的L幀序列，用相同方法求出由N/4個H幀和N/4個L幀所形成的n+l 編碼水平的幀序列；所述編碼第3過程只針對編碼水平中某一水平的L幀對上述輔助幀序列中輔 助幀的各個像素值進(jìn)行差減，然后求出該L幀的影像差。
18、 如權(quán)利要求17所述的利用基本層的圖像信號的編碼方法，其特征在于 所述以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟，將有關(guān)求出上述影像差的L幀序列的編碼水平的信息插入并記錄在上述第1層的比特流中。
19、 如權(quán)利要求13所述的利用基本層的圖像信號的編碼方法，其特征在于 所迷以圖像信號可伸縮的第1方式進(jìn)行編碼的步驟，把體現(xiàn)上述第2層的比特流中的幀和上述第1層的比特流中的幀之間的時間相關(guān)性的定時信息插入并記 錄在上述第l層的比特流中。
20、 如權(quán)利要求19所述的利用基本層的圖像信號的編碼方法，其特征在于 所述定時信息包括體現(xiàn)上述第2層的比特流是否具有固定幀率的標(biāo)記信息，和有關(guān)將上述第1層比特流中的幀和上述第2層比特流中的幀看作為同一影像的標(biāo)準(zhǔn)時間步長的信息。
21、 如權(quán)利要求20所述的利用基本層的圖像信號的編碼方法，其特征在于 在所述標(biāo)記信息體現(xiàn)出上述第2層的比特流是否具有固定幀率時，所述定時信息還包括有關(guān)上述第2層比特流內(nèi)的幀的傳送率的信息。
22、 如權(quán)利要求13所述的利用基本層的圖像信號的編碼方法，其特征在于 所述以圖像信號基本層第2方式進(jìn)行編碼的步驟，將上述圖像信號編碼成具有小畫面幀的第2層比特流，它的畫面比上述第l層比特流內(nèi)幀的畫面小。
23、 如權(quán)利要求22所述的利用基本層的圖像信號的編碼方法，其特征在于 所述編碼第1過程為了求出上述圖像塊內(nèi)各個像素的差值而將上述小畫面幀擴大。
24、 一種利用基本層的圖像信號的解碼裝置，是接收包括具有差值的像素的 H幀序列和L幀序列在內(nèi)的第l層比特流和另外的第2層比特流并將其解碼成圖像 信號的裝置，其特征在于包括以下幾個組成部分以圖像信號可伸縮的第1方式對上述第1層比特流進(jìn)行解碼并將其還原為具 有原來影像的圖像幀然后進(jìn)行輸出的動態(tài)補償時間過濾解碼器；以圖像信號基本層的第2方式對上述第2層比特流進(jìn)行解碼并將其還原為具 有原來影像的輔助圖像幀然后進(jìn)行輸出的基本層解碼器；所述動態(tài)補償時間過濾解碼器包括以下幾個組成部分確認(rèn)具有上述H幀序列內(nèi)任意一幀中所包含的對象塊的各個像素的差值是否 是在包括與上述任意幀在時間上前后相鄰的幀以及上述輔助圖像幀序列當(dāng)中在時 間上與上述任意一幀處于前、后及同時段的輔助圖像幀在內(nèi)的幀的集合中，以某一 個或幾個幀內(nèi)的其他塊為標(biāo)準(zhǔn)求出來的差值的解碼第1設(shè)備；如果上述解碼第1設(shè)備的確認(rèn)結(jié)果是上述其他塊屬于上述第1層比特流內(nèi)的 幀中，就將上述對象塊的各個像素的差值從上述其他塊中差減出去的解碼第2設(shè)備；依據(jù)上述差值被差減后的其他塊和/或位于上述輔助圖像幀內(nèi)的其他塊的各 個像素值，從上述對象塊內(nèi)的各個像素的差值中還原出上述對象塊的原來影像的解碼第3設(shè)備。
25、 如權(quán)利要求24所述的利用基本層的圖像信號的解碼裝置，其特征在于 所述解碼第1設(shè)備根據(jù)上述對象塊的頭信息中所包含的信息，指定至少一個包括求出具有上述對象塊內(nèi)各個像素差值的標(biāo)準(zhǔn)塊在內(nèi)的幀。
26、 如權(quán)利要求24所述的利用基本層的圖像信號的解碼裝置，其特征在于 所述動態(tài)補償時間過濾解碼器還包括將上述輔助圖像幀內(nèi)的各個像素值加在上述前幀和/或后幀內(nèi)各個像素值上的解碼第4設(shè)備。
27、 如權(quán)利要求26所述的利用基本層的圖像信號的解碼裝置，其特征在于 所述動態(tài)補償時間過濾解碼器使用并聯(lián)及串聯(lián)連接的數(shù)個上述解碼第2設(shè)備和解碼第3設(shè)備，從由具有3N/4個影像差的H幀和N/4個L幀所形成的n+l編碼 水平的幀序列當(dāng)中，將具有N/4個影像差的H幀還原為具有原來影像的L幀，然后 形成由具有N/2個影像差的H幀和N/2個L幀所形成的n編碼水平的幀序列，并且 針對該幀序列中具有N/2個影像差的H幀還原出原來的影像，然后求出由全部N 個L幀所形成的圖像幀序列；所述解碼第4設(shè)備只針對編碼水平中某一水平的L幀來加上輔助圖像幀的各 個像素值。
28、 如權(quán)利要求27所述的利用基本層的圖像信號的解碼裝置，其特征在于 所述動態(tài)補償時間過濾解碼器根據(jù)被插入上述第1層比特流內(nèi)的信息，對有關(guān)將被加上輔助圖像幀中各個像素值的L幀序列的編碼水平進(jìn)行判斷。
29、 如權(quán)利要求24所述的利用基本層的圖像信號的解碼裝置，其特征在于 所述動態(tài)補償時間過濾解碼器從上述被插入第1層比特流中的信息當(dāng)中，獲得體現(xiàn)第2層比特流中的幀與上述第l層比特流中的幀之間的時間相關(guān)性的定時信 息，并且根據(jù)上述獲得的定時信息，來判斷位于上述輔助圖像幀序列中的各個輔助 圖像幀和上述任意一幀之間是否在時間上處于前、后和/或相同時段。
30、 如權(quán)利要求29所述的利用基本層的圖像信號的解碼裝置，其特征在于 所述定時信息包括有關(guān)上述第2層比特流的幀傳送率的信息，和有關(guān)將上述第l層比特流中的幀和上述第2層比特流中的幀看作為同時段影像的標(biāo)準(zhǔn)時間步長 的信息。
31、 如權(quán)利要求24所述的利用基本層的圖像信號的解碼裝置，其特征在于所述輔助圖^象還包括具有與上述第1層比特流中幀的畫面大小相同并對上述第2層比特流進(jìn)行解碼，然后對所獲得的小畫面幀進(jìn)行擴大的由上述輔助圖像幀所 構(gòu)成的定標(biāo)器。
32、 一種利用基本層的圖像信號的解碼方法，是對具有差值像素的包含有H 幀序列和L幀序列的第1層比特流和另外的第2層比特流進(jìn)行接收，并將其解碼成 圖像信號的方法，其特征在于包括以下幾個步驟用圖像信號可伸縮的第1方式對所述第1層比特流進(jìn)行解碼，然后將其還原 為具有原來影像的圖像幀并進(jìn)行輸出的步驟；和用圖像信號基本層的第2方式對所述第2層比特流進(jìn)行解碼，然后將其還原 為具有原來影像的輔助圖像幀并進(jìn)行輸出的步驟；用所述圖像信號可伸縮的第1方式進(jìn)行解碼的步驟包括以下幾個過程確認(rèn)所述H幀序列內(nèi)任意一幀中的對象塊所擁有的各個像素的差值是不是把 幀的集合當(dāng)中的某一個或幾個幀內(nèi)的其他塊作為標(biāo)準(zhǔn)求出來的差值的解碼第1過 程，其中幀的集合中包括與所述任意一幀在時間上前后相鄰的幀和所述輔助圖像幀 序列當(dāng)中在時間上與所述任意一幀處于前、后及相同時段的輔助圖像幀；如果所述確認(rèn)結(jié)果為上述其他塊位于所述第1層比特流內(nèi)，就將所述對象塊 中各個像素的差值從上述其他塊中差減出去的解碼第2過程；根據(jù)上述差值被差減掉的其他塊和/或所述輔助圖像幀內(nèi)其他塊的各個像素 值，從上述對象塊內(nèi)的各個像素的差值中將所述對象塊的原來影像還原出來的解碼 第3過程。
33、 如權(quán)利要求32所述的利用基本層的圖像信號的解碼方法，其特征在于 所述解碼第1過程根據(jù)上述對象塊的頭信息中所包含的信息，指定至少一個包括求出所述對象塊中各個像素的差值的標(biāo)準(zhǔn)塊在內(nèi)的幀。
34、如權(quán)利要求32所述的利用基本層的圖像信號的解碼方法，其特征在于 以所述圖像信號可伸縮的第1方式進(jìn)行解碼的步驟還包括，將所述輔助圖像幀的各個像素值加在所述前幀和/或后幀的各個像素值上的 第4過程。
35、 如權(quán)利要求34所述的利用基本層的圖像信號的解碼方法，其特征在于 用所述圖像信號可伸縮的第1方式進(jìn)行解碼的步驟，通過對所迷解碼第2過程和解碼第3過程進(jìn)行并聯(lián)和串聯(lián)運行的方式，從具 有3N/4個影《象差的H幀和N/4個L幀所形成的n+l編碼水平的幀序列當(dāng)中，將具 有N/4個影像差的H幀還原為具有原來影像的L幀；并構(gòu)成由具有N/2個影像差的 H幀和N/2個L頓所形成的n編碼水平的幀序列，并且針對該幀序列中具有N/2個 影像差的H幀來還原出原來的影像，然后求出由全部N個L幀所形成的圖像幀序列。所述解碼第4過程只給編碼水平中某一水平的L幀加上所述輔助圖像幀的各 個像素值。
36、 如權(quán)利要求35所述的利用基本層的圖像信號的解碼方法，其特征在于 用所述圖像信號可伸縮的第1方式進(jìn)行解碼的步驟，根據(jù)被插入所述第1層比特流中的信息，對有關(guān)將被加上所述輔助圖像幀中 各個像素值的L幀序列的編碼水平進(jìn)行判斷。
37、 如權(quán)利要求32所述的利用基本層的圖像信號的解碼方法，其特征在于 用所述圖像信號可伸縮的第1方式進(jìn)行解碼的步驟，從被插入所述第1層比特流中的信息當(dāng)中獲得體現(xiàn)所述第2層比特流中的幀 和所述第1層比特流中的幀之間的時間相關(guān)性的定時信息，并且根據(jù)所獲得的定時 信息，來判斷所述輔助圖像幀序列中各個輔助圖像幀和上述任意一幀之間是否在時 間上處于前、后和/或相同時段。
38、 如權(quán)利要求37所述的利用基本層的圖像信號的解碼方法，其特征在于 所述定時信息當(dāng)中包括有關(guān)所述第2層比特流中幀的傳送率的信息，和把所述第l層比特流中的幀與所述第2層比特流中的幀看作是同時段影像的幀的標(biāo)準(zhǔn)時 間步長的信息。
39、如權(quán)利要求32所述的利用基本層的圖像信號的解碼方法，其特征在于 所述輔助圖像幀在對所述第2層比特流進(jìn)行解碼之后，將其擴大為與所述第1 層比特流中的幀的畫面大小相同的幀。
全文摘要
一種利用基本層的圖像信號的編碼/解碼方法及裝置，能在用可伸縮的動態(tài)補償時間過濾(MCTF)方式對圖像信號進(jìn)行編碼并輸出第1層比特流的同時，用指定的圖像信號基本層的其他方式對該圖像信號進(jìn)行編碼并輸出第2層比特流，當(dāng)利用MCTF方式進(jìn)行編碼時，針對上述圖像信號的幀序列中任意一幀內(nèi)所包含的圖像塊，在包括與上述任意一幀在時間上前后相鄰的幀和上述第2層比特流中所包含的輔助幀序列中在時間上與上述任意一幀處于前、后及相同時段的輔助幀在內(nèi)的幀的集合當(dāng)中，使用至少一個幀內(nèi)的標(biāo)準(zhǔn)塊來求出上述圖像塊中各個像素的差值。本發(fā)明的這種利用第2層的幀來制作第1層的幀內(nèi)圖像的方式可以提高編碼率。
文檔編號G06T9/00GK101127900SQ20061003014
公開日2008年2月20日 申請日期2006年8月17日 優(yōu)先權(quán)日2006年8月17日
發(fā)明者全丙文, 尹道玄, 樸志虎, 樸勝旭 申請人:上海樂金廣電電子有限公司