專(zhuān)利名稱(chēng)：利用逐個(gè)像素運(yùn)動(dòng)估算與幀抽取的圖像處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼與解碼視頻信號(hào)的圖象處理系統(tǒng)；更具體地，涉及利用運(yùn)動(dòng)估算與補(bǔ)償技術(shù)以及幀抽取過(guò)程的編碼與解碼視頻信號(hào)的圖象處理系統(tǒng)。
眾所周知，傳輸數(shù)字化視頻信號(hào)能提供比傳輸模擬信號(hào)高得多的質(zhì)量的視頻圖象。當(dāng)包含一序列圖象“幀”的一個(gè)圖象信號(hào)以數(shù)字形式表示時(shí)，會(huì)生成大量的傳輸數(shù)據(jù)，尤其是在高清晰度電視系統(tǒng)的情況中。然而， 由于一條傳統(tǒng)的傳輸信道的可利用的頻帶寬度是有限的，為了通過(guò)有限的信道帶寬來(lái)傳輸大量的數(shù)字?jǐn)?shù)據(jù)，不可避免地要壓縮或減少傳輸數(shù)據(jù)量。在各種視頻壓縮技術(shù)中， 已知用統(tǒng)計(jì)編碼技術(shù)將時(shí)間與空間壓縮技術(shù)組合在一起的所謂混合編碼技術(shù)是最高效的。
大多數(shù)混合編碼技術(shù)采用運(yùn)動(dòng)補(bǔ)償?shù)腄PCM(差分脈沖碼調(diào)制)、二維DCT(離散余弦變換)、DCT系數(shù)的量化、以及VLC(可變長(zhǎng)度編碼)。運(yùn)動(dòng)補(bǔ)償?shù)腄PCM是確定一個(gè)目標(biāo)在當(dāng)前幀與其前一幀之間的運(yùn)動(dòng)，并根據(jù)該目標(biāo)的運(yùn)動(dòng)流來(lái)預(yù)測(cè)當(dāng)前幀而生成表示當(dāng)前幀與其預(yù)測(cè)幀之間的差的一個(gè)差分信號(hào)的過(guò)程。這一方法描述在諸如Staffan Ericsson的“用于混合預(yù)測(cè)/變換編碼的固定與自適應(yīng)預(yù)測(cè)器”(Fixed andAdaptive Predictors for HybridPredictive/Transform Coding)，IEEE通信學(xué)報(bào)，COM-33，第12號(hào)(1985年12月)；以及Ninomiya與Ohtsuka的“電視畫(huà)面的一種運(yùn)動(dòng)補(bǔ)償?shù)膸g編碼方案”(A Motion-CompensatedInterframe Coding Scheme for TelevisionPictures)，IEEE通信學(xué)報(bào)，COM-30，第1號(hào)(1982年1月)中。
具體地說(shuō)，在運(yùn)動(dòng)補(bǔ)償?shù)腄PCM中，當(dāng)前幀數(shù)據(jù)是根據(jù)當(dāng)前與前一幀之間的運(yùn)動(dòng)估算從對(duì)應(yīng)的前一幀數(shù)據(jù)中預(yù)測(cè)出的。這種估算的運(yùn)動(dòng)可用表示前一幀與當(dāng)前幀之間的象素的位移的二維運(yùn)動(dòng)矢量來(lái)描述。
已有兩種估算一個(gè)目標(biāo)的象素的運(yùn)動(dòng)或位移的基本方法一種是逐塊估算；而另一種是逐個(gè)象素的方法。
在逐塊的運(yùn)動(dòng)估算中，將當(dāng)前幀中的一塊與其前一幀中的塊進(jìn)行比較直到確定了一個(gè)最佳匹配為止。這時(shí)，便可為正在傳輸?shù)漠?dāng)前幀估算整個(gè)塊的一個(gè)幀間位移矢量(它表示該象素塊在幀間移動(dòng)了多大)。然而在逐塊運(yùn)動(dòng)估算中，如果塊中的所有象素并不以相同的方式運(yùn)動(dòng)，便會(huì)得出低劣的估算，而降低整體編碼效率。
反之，在逐個(gè)象素估算中，為各個(gè)與每個(gè)象素確定一個(gè)位移。從而，這種技術(shù)能夠得出更精確的象素值的估算，并具有容易地處理標(biāo)度改變(諸如，變焦、垂直于圖象平面的運(yùn)動(dòng))的能力。然而，在逐個(gè)象素的方法中，由于在各個(gè)與每一個(gè)象素上確定一個(gè)運(yùn)動(dòng)矢量，實(shí)際上不可能將所有的運(yùn)動(dòng)矢量數(shù)據(jù)都傳輸給接收機(jī)。因此，只將一組選擇的象素，即特征點(diǎn)的運(yùn)動(dòng)矢量傳輸給接收機(jī)，其中各該特征點(diǎn)定義為能夠代表其相鄰象素的一個(gè)象素，從而在接收機(jī)上能從特征點(diǎn)的運(yùn)動(dòng)矢量中再生非特征點(diǎn)的運(yùn)動(dòng)矢量。在采用基于特征點(diǎn)的運(yùn)動(dòng)估算的編碼器中，如在名為“利用逐個(gè)象素估算的編碼視頻信號(hào)的方法與裝置”(Method and Apparatus forEncoding a Video Signal Using Pixel-by-pixelMotion Estimation)的一個(gè)共同未決共同擁有的08/367,520號(hào)美國(guó)專(zhuān)利申請(qǐng)中所公開(kāi)的，首先從包含在前一幀中的所有象素中選定若干特征點(diǎn)。然后，確定所選定的特征點(diǎn)的運(yùn)動(dòng)矢量，其中各該運(yùn)動(dòng)矢量表示前一幀中的一個(gè)特征點(diǎn)與當(dāng)前幀中的一個(gè)對(duì)應(yīng)的匹配點(diǎn)，即一個(gè)最相似的象素，之間的空間位移。具體地說(shuō)，各該特征點(diǎn)的匹配點(diǎn)是在當(dāng)前幀內(nèi)的一個(gè)搜索區(qū)中搜索到的，其中的搜索區(qū)是定義為包圍對(duì)應(yīng)的特征點(diǎn)的位置的一個(gè)預(yù)定面積的區(qū)域的。
已經(jīng)可以實(shí)現(xiàn)的另一種壓縮技術(shù)為幀抽取方法，它通過(guò)只編碼與傳輸視頻信號(hào)的一定的選定的幀并跳過(guò)或消毀存在于它們之間的其余的幀而減少數(shù)據(jù)量(諸如見(jiàn)“在p×64kb/s上聲像服務(wù)的視頻編碼解碼器(Video Codec for Audiovisual Services at px64kb/s)”CCITT推薦技術(shù)標(biāo)準(zhǔn)(CCITT Recomm-endation)H.261，CDM XV-R37-E，國(guó)際電報(bào)與電話(huà)咨詢(xún)委員會(huì)(CCITT)，1990年8月)。
通常，對(duì)視頻編碼器的輸入為每秒30幀的視頻信號(hào)。從每?jī)蓚€(gè)編碼的幀之間跳過(guò)一、二或三個(gè)幀得出的幀速率通常分別為每秒15、10或7.5幀。
在與這種采用跳過(guò)技術(shù)的編碼器相對(duì)應(yīng)的解碼器中，各跳過(guò)的幀只根據(jù)其相鄰的解碼的幀來(lái)估算，以便重構(gòu)30幀/秒的視頻信號(hào)。由于估算的跳過(guò)的幀是不采用對(duì)應(yīng)的原始跳過(guò)的幀的實(shí)際信息構(gòu)成的，有可能不能再生原始跳過(guò)的幀的實(shí)際特征，從而降低顯示圖象的總體質(zhì)量。
因此，本發(fā)明的主要目的為提供一種改進(jìn)的圖象處理系統(tǒng)，該系統(tǒng)通過(guò)采用在逐個(gè)象素的基礎(chǔ)上應(yīng)用特征點(diǎn)的運(yùn)動(dòng)估算與補(bǔ)償技術(shù)并且還采用簡(jiǎn)化跳過(guò)的幀的估算的一個(gè)跳過(guò)的幀的預(yù)測(cè)因子來(lái)編碼視頻信號(hào)。
按照本發(fā)明，提供了用于處理視頻信號(hào)的一種圖象處理系統(tǒng)，包括用于編碼該視頻信號(hào)來(lái)提供一個(gè)編碼信號(hào)的裝置以及用于解碼該編碼信號(hào)來(lái)提供一個(gè)重構(gòu)的視頻信號(hào)的裝置，其特征在于所述編碼裝置包括用于從視頻信號(hào)中選擇包含當(dāng)前幀與前面幀在內(nèi)的多個(gè)幀的裝置，其中在前面幀與當(dāng)前幀之間跳過(guò)了N個(gè)幀，所述N為一正整數(shù)；用于估算前面的幀與當(dāng)前幀之間的位移以提供表示估算的位移的一組運(yùn)動(dòng)矢量，并通過(guò)使用該組運(yùn)動(dòng)矢量補(bǔ)償前面的幀而在逐個(gè)象素的基礎(chǔ)上提供一個(gè)預(yù)測(cè)的當(dāng)前幀的裝置；用于從當(dāng)前幀中減去預(yù)測(cè)的當(dāng)前幀以提供一個(gè)差信號(hào)，并借助編碼該差信號(hào)與該組運(yùn)動(dòng)矢量，來(lái)向解碼裝置提供一個(gè)編碼的差信號(hào)及一組編碼的運(yùn)動(dòng)矢量的裝置；用于利用乘以M個(gè)跳過(guò)的幀的預(yù)測(cè)因子的該組運(yùn)動(dòng)矢量來(lái)補(bǔ)償前面的幀而提供M個(gè)候選幀的裝置，所述M為大于N的一個(gè)正整數(shù)；以及用于將各該N個(gè)跳過(guò)的幀與各該M個(gè)候選幀進(jìn)行比較而為各該N個(gè)跳過(guò)的幀傳輸該M個(gè)跳過(guò)的幀的預(yù)測(cè)因子之一到解碼裝置的裝置；并在于所述解碼裝置包括用于借助解碼該編碼的差信號(hào)與該組編碼的運(yùn)動(dòng)矢量來(lái)恢復(fù)該差信號(hào)與該組運(yùn)動(dòng)矢量的裝置；用于通過(guò)用恢復(fù)后的運(yùn)動(dòng)矢量組來(lái)初步補(bǔ)償前面的幀而重構(gòu)預(yù)測(cè)的當(dāng)前幀的裝置；
用于借助將恢復(fù)后的差信號(hào)加在重構(gòu)的預(yù)測(cè)當(dāng)前幀上而重構(gòu)當(dāng)前幀的裝置；以及用于借助用恢復(fù)的運(yùn)動(dòng)矢量組與各該N個(gè)跳過(guò)的幀的各該傳輸?shù)奶^(guò)的幀的預(yù)測(cè)因子來(lái)進(jìn)一步補(bǔ)償前面的幀，而構(gòu)成前面的幀與重構(gòu)的當(dāng)前幀之間的各該N個(gè)跳過(guò)的幀的裝置。
從下述結(jié)合附圖給出的較佳實(shí)施例的描述中，本發(fā)明的上述與其它目的及特征將是顯而易見(jiàn)的，附圖中

圖1為具有按照本發(fā)明的當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框的視頻信號(hào)編碼器；圖2示出圖1的當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框的詳細(xì)方框圖；圖3描述用于檢測(cè)一個(gè)非準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量的方法；圖4A與4B描繪若干示例幀來(lái)定義一個(gè)候選幀；圖5表示圖2的跳過(guò)的幀的預(yù)測(cè)因子確定框的詳細(xì)方框圖；以及圖6示出與圖1中所示的視頻信號(hào)編碼器對(duì)應(yīng)的視頻信號(hào)解碼器。
圖1描述采用在逐個(gè)象素的基礎(chǔ)上的運(yùn)動(dòng)估算與補(bǔ)償技術(shù)及幀抽取過(guò)程的視頻信號(hào)編碼器。如圖所示，將一個(gè)輸入信號(hào)輸送給一個(gè)幀抽取器(Frame decimator)101。在幀抽取器101中，通過(guò)在表示抽取度的一個(gè)預(yù)定的幀抽取比上跳過(guò)它們之間的幀而選擇要編碼的幀，并將它們輸送給一個(gè)第一幀存儲(chǔ)器100。例如，幀抽取器101在預(yù)定的抽取比為2或3時(shí)分別選擇與使用視頻信號(hào)中兩個(gè)幀或每三個(gè)幀的一個(gè)幀，將跳過(guò)的幀存儲(chǔ)在一個(gè)跳過(guò)幀存儲(chǔ)器148中。
如圖1中所示，所選擇的信號(hào)存儲(chǔ)在第一幀存儲(chǔ)器100中，該存儲(chǔ)器與一個(gè)減法器102相連并通過(guò)線(xiàn)L10與一個(gè)當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框150相連。
在當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框150中，從第一幀存儲(chǔ)器100中檢索到的線(xiàn)L10上的一個(gè)當(dāng)前幀信號(hào)與從跳過(guò)的幀存儲(chǔ)器148中檢索到的線(xiàn)L8上的一個(gè)跳過(guò)幀信號(hào)以及來(lái)自第二幀存儲(chǔ)器124的線(xiàn)L12上的一個(gè)重構(gòu)的前面幀信號(hào)受到處理而在逐個(gè)象素的基礎(chǔ)上預(yù)測(cè)當(dāng)前幀以生成一個(gè)預(yù)測(cè)的當(dāng)前幀信號(hào)到線(xiàn)L30上及一組特征點(diǎn)的運(yùn)動(dòng)矢量到線(xiàn)L20上及各該跳過(guò)的幀的一個(gè)跳過(guò)的幀的預(yù)測(cè)因子到線(xiàn)L21上。下面參照?qǐng)D2與3描述當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框150的細(xì)節(jié)。
在減法器102中從當(dāng)前幀信號(hào)中減去線(xiàn)L30上的預(yù)測(cè)的當(dāng)前幀信號(hào)并將得到的數(shù)據(jù)，即表示差分象素值的一個(gè)誤差信號(hào)，發(fā)送給圖象信號(hào)編碼器105，在其中利用諸如DCT與任何已知的量化方法將該誤差信號(hào)編碼成一組量化變換系數(shù)。此后，將這些量化變換系數(shù)傳輸給熵編碼器107與圖象信號(hào)解碼器113。在熵編碼器107中，為了它們的傳輸而利用可變長(zhǎng)度編碼技術(shù)將來(lái)自圖象信號(hào)編碼器105的量化變換系數(shù)與通過(guò)線(xiàn)L20輸送的來(lái)自當(dāng)前幀預(yù)測(cè)框150的運(yùn)動(dòng)矢量編碼在一起。多路復(fù)用器109多路傳輸熵編碼器107的輸出信號(hào)與通過(guò)線(xiàn)L21傳輸?shù)膩?lái)自當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框150的跳過(guò)的幀的預(yù)測(cè)因子。此后，將多路的信號(hào)提供給一個(gè)發(fā)送機(jī)(未示出)供傳輸。
同時(shí)，圖象信號(hào)解碼器113采用逆量化與逆離散余弦變換將來(lái)目圖象信號(hào)編碼器105的量化變換系數(shù)轉(zhuǎn)換回重構(gòu)的誤差信號(hào)。在加法器115組合來(lái)自圖象信號(hào)解碼器113的重構(gòu)的誤差信號(hào)與線(xiàn)L30上來(lái)自當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框150的預(yù)測(cè)的當(dāng)前幀信號(hào)，借此提供一個(gè)重構(gòu)的當(dāng)前幀信號(hào)供作為前面的幀存儲(chǔ)在第二幀存儲(chǔ)器124中。
參見(jiàn)圖2，其中示出了圖1中所示的當(dāng)前幀預(yù)測(cè)與跳過(guò)的幀的預(yù)測(cè)因子生成框150的細(xì)節(jié)。將線(xiàn)L12上來(lái)自第二幀存儲(chǔ)器124的前面的幀信號(hào)輸入到一個(gè)特征點(diǎn)選擇框210、一個(gè)特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212、一個(gè)運(yùn)動(dòng)補(bǔ)償框216及一個(gè)跳過(guò)的幀的預(yù)測(cè)因子確定框218。
在特征點(diǎn)選擇框210中，從包含在前面的幀中的象素中選擇若干個(gè)特征點(diǎn)。各該特征點(diǎn)是定義為能夠代表幀中的一個(gè)目標(biāo)的運(yùn)動(dòng)的象素的。將來(lái)自特征點(diǎn)選擇框210的選定的特征點(diǎn)輸入到特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212、當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)框214及跳過(guò)的幀的預(yù)測(cè)因子確定框218。將線(xiàn)L10上的當(dāng)前幀信號(hào)擔(dān)給特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212。
在特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212中，檢測(cè)所選中的特征點(diǎn)的第一組運(yùn)動(dòng)矢量。各該第一組運(yùn)動(dòng)矢量代表前面的幀中的一個(gè)特征點(diǎn)與當(dāng)前幀中與之最相似的一個(gè)象素之間的一個(gè)空間位移。
為所有的特征點(diǎn)檢測(cè)了運(yùn)動(dòng)矢量之后，將第一組運(yùn)動(dòng)矢量經(jīng)由線(xiàn)L20提供給當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)框214、跳過(guò)的幀的預(yù)測(cè)因子確定框218及熵編碼器107(示出在圖1中)。
在當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)框214中，利用來(lái)自特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212的第一組運(yùn)動(dòng)矢量及來(lái)自特征點(diǎn)選擇框210的選定的特征點(diǎn)，為包含在當(dāng)前幀中的所有象素確定第二組運(yùn)動(dòng)矢量。為了確定第二組運(yùn)動(dòng)矢量，首先確定一組“準(zhǔn)特征點(diǎn)”的運(yùn)動(dòng)矢量，各該準(zhǔn)特征點(diǎn)表示從前面幀中的各該特征點(diǎn)位移了各個(gè)第一組特征矢量的當(dāng)前幀中的一個(gè)象素。一個(gè)準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量的大小等于其對(duì)應(yīng)的特征點(diǎn)的運(yùn)動(dòng)矢量，然而這兩個(gè)運(yùn)動(dòng)矢量方向是相反的。為所有的準(zhǔn)特征點(diǎn)確定了運(yùn)動(dòng)矢量之后，便以下述方式確定非準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量，這些點(diǎn)的運(yùn)動(dòng)矢量，這些非準(zhǔn)特征點(diǎn)是當(dāng)前幀中剩下的象素點(diǎn)。
如圖3中所示，若干準(zhǔn)特征點(diǎn)不規(guī)則地分布在整個(gè)當(dāng)前幀中。通過(guò)求出位于一個(gè)半徑為dr+da的園的邊界內(nèi)的準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量的平均值而計(jì)算出帶星號(hào)的非準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量，其中da為距帶星號(hào)的象素位置最近的準(zhǔn)特征點(diǎn)的距離，而dr則為將用在運(yùn)動(dòng)矢量計(jì)算中的其它準(zhǔn)特征點(diǎn)包含進(jìn)來(lái)的一個(gè)預(yù)定的擴(kuò)張半徑。例如，如果最近的準(zhǔn)特征點(diǎn)為“Y”而準(zhǔn)特征點(diǎn)“X”位于“da+dr”的邊界以?xún)?nèi)，則從下式計(jì)算出帶星號(hào)的象素的運(yùn)動(dòng)矢量(MVx，MVy)(MVx,MVy)=1dX(MVx,MVy)X+1dY(MVx,MVy)Y1dX+1dY]]>其中dx與dy為準(zhǔn)特征點(diǎn)X與Y距帶星號(hào)的象素位置的相應(yīng)距離；而(MVx，MVy)x與(MVx，MVy)y則為準(zhǔn)特征點(diǎn)的對(duì)應(yīng)運(yùn)動(dòng)矢量。
參見(jiàn)圖2，將準(zhǔn)特征點(diǎn)與非準(zhǔn)特征點(diǎn)的第二組運(yùn)動(dòng)矢量提供給運(yùn)動(dòng)補(bǔ)償框216。在運(yùn)動(dòng)補(bǔ)償框216中，用各該第二組運(yùn)動(dòng)矢量經(jīng)由線(xiàn)L12從第二幀存儲(chǔ)器124(圖1中所示)檢索出要包含在一個(gè)預(yù)測(cè)的當(dāng)前幀中的各象素。
同時(shí)，跳過(guò)的幀的預(yù)測(cè)因子確定框218為各該N個(gè)跳過(guò)的幀建立M個(gè)候選幀；并將各該跳過(guò)的幀與各該M個(gè)候選幀進(jìn)行比較而為各該跳過(guò)的幀提供一個(gè)跳過(guò)的幀的預(yù)測(cè)因子給多路復(fù)用器109(圖1中所示)。下面參照?qǐng)D4A、4B與5說(shuō)明跳過(guò)的幀的預(yù)測(cè)因子的定義與候選幀，以及跳過(guò)的幀的預(yù)測(cè)因子確定框218的細(xì)節(jié)。
參見(jiàn)圖4A與4B，其中示意性地示出定義候選幀的若干幀。在圖4A中，其中示出了四個(gè)幀一個(gè)前面的幀30，一個(gè)第一跳過(guò)的幀32，一個(gè)第二跳過(guò)的幀34及一個(gè)預(yù)測(cè)的當(dāng)前幀36。為了例示的目的，假定前面的幀30與預(yù)測(cè)的當(dāng)前幀之間的跳過(guò)的幀的數(shù)目為2，并且只有一個(gè)特征點(diǎn)及其對(duì)應(yīng)的準(zhǔn)特征點(diǎn)分別在前面的幀30上標(biāo)示為特征點(diǎn)A及在預(yù)測(cè)的當(dāng)前幀36上標(biāo)示為準(zhǔn)特征點(diǎn)B。并且分別將第一與第二跳過(guò)的幀32與34上與前面的幀30上的特征點(diǎn)A相對(duì)應(yīng)的象素點(diǎn)標(biāo)示為一個(gè)象素點(diǎn)C與另一個(gè)象素點(diǎn)D。
如圖4A中所示，第一跳過(guò)的幀32中的象素點(diǎn)C與第二跳過(guò)的幀34中的象素點(diǎn)D并不位于特征點(diǎn)A與準(zhǔn)特征點(diǎn)B之間的直線(xiàn)上。這說(shuō)明在第一跳過(guò)的幀32或第二跳過(guò)的幀34中與前面的幀30中的特征點(diǎn)A相對(duì)應(yīng)的象素點(diǎn)C或D的位置并不與前面的幀30與預(yù)測(cè)的當(dāng)前幀36之間的時(shí)間間隔成比例的位置重合，即并不與該直線(xiàn)與跳過(guò)的幀32或34的交點(diǎn)重合。然而，如果前面的幀30中的特征點(diǎn)A線(xiàn)性地移動(dòng)到預(yù)測(cè)的當(dāng)前幀36中準(zhǔn)特征點(diǎn)B上，則兩個(gè)象素點(diǎn)C與D將會(huì)基本上對(duì)準(zhǔn)特征點(diǎn)A與準(zhǔn)特征點(diǎn)B之間的直線(xiàn)。在這種情況中，便有可能通過(guò)在特征點(diǎn)A與準(zhǔn)特征點(diǎn)B之間的直線(xiàn)上順序地排列若干個(gè)候選特征點(diǎn)而逼近象素點(diǎn)C與D的各個(gè)位置。例如，如圖4B中所示，在候選特征點(diǎn)E與K之間的直線(xiàn)上指定若干個(gè)候選特征點(diǎn)E至K，其中候選特征點(diǎn)E與K分別等于特征點(diǎn)A與準(zhǔn)特征點(diǎn)B。一個(gè)候選特征點(diǎn)的選擇是通過(guò)將各該跳過(guò)的幀32與34與M個(gè)候選幀進(jìn)行比較而完成的，各該候選幀是根據(jù)包含在其中的若干個(gè)候選特征點(diǎn)構(gòu)成的。
M個(gè)候選幀的構(gòu)成方法等同于圖2中的當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)框214與運(yùn)動(dòng)補(bǔ)償框216中所執(zhí)行的預(yù)測(cè)當(dāng)前幀的構(gòu)成方法，只是用包含在各該候選幀中的候選特征點(diǎn)代替了預(yù)測(cè)當(dāng)前幀中的準(zhǔn)特征點(diǎn)。例如，如圖4B中所示，如果第一候選幀38與第M候選幀50之間的時(shí)間段為T(mén)，而兩個(gè)候選幀之間的間隔ΔT為T(mén)/(M-1)，其中M為一個(gè)大于2的整數(shù)，則第j個(gè)候選幀中的一個(gè)候選特征點(diǎn)及其運(yùn)動(dòng)矢量可確定如下。
通過(guò)將前面的幀30中的特征點(diǎn)A移動(dòng)特征點(diǎn)A與準(zhǔn)特征點(diǎn)B之間的運(yùn)動(dòng)矢量乘以一個(gè)因子(j-1)/(M-1)的距離而確定第j個(gè)候選幀中的一個(gè)候選特征點(diǎn)，并通過(guò)將特征點(diǎn)A與準(zhǔn)特征點(diǎn)B之間的運(yùn)動(dòng)矢量乘以因子(j-1)/(M-1)而確定第j個(gè)候選幀中的候選特征點(diǎn)位置與前面的幀30中的特征點(diǎn)A之間的運(yùn)動(dòng)矢量。
參見(jiàn)圖5，其中描繪了圖2的跳過(guò)的幀的預(yù)測(cè)因子確定框218的詳細(xì)方框圖。如圖5中所示，在特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212(圖2中所示)中所確定的特征點(diǎn)運(yùn)動(dòng)矢量經(jīng)由線(xiàn)L18提供給乘法器500。同時(shí)，還將各候選幀的跳過(guò)的幀的預(yù)測(cè)因子的一個(gè)預(yù)定值從跳過(guò)的幀的預(yù)測(cè)因子生成器502提供給乘法器500，在其中將乘以第j個(gè)跳過(guò)的幀的預(yù)測(cè)因子的特征點(diǎn)運(yùn)動(dòng)矢量提供給第j個(gè)候選幀運(yùn)動(dòng)矢量檢測(cè)框504。將圖4A與4B中說(shuō)明的等于(j-1)/(M-1)的第j個(gè)候選幀的跳過(guò)的幀的預(yù)測(cè)因子存儲(chǔ)在第一寄存器516中。在第j個(gè)候選幀運(yùn)動(dòng)矢量檢測(cè)框504中，根據(jù)來(lái)自乘法器500的乘以第j個(gè)跳過(guò)的幀的預(yù)測(cè)因子后的特征點(diǎn)運(yùn)動(dòng)矢量及經(jīng)由線(xiàn)L13來(lái)自特征點(diǎn)選擇框210(圖2中所示)的特征點(diǎn)，為包含在第j個(gè)候選幀中的所有象素確定運(yùn)動(dòng)矢量。第j個(gè)候選幀運(yùn)動(dòng)矢量檢測(cè)框504的操作等同于上述當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)框214(圖2中所示)的操作。
將來(lái)自第j個(gè)候選幀的所有象素的運(yùn)動(dòng)矢量提供給第j個(gè)候選運(yùn)動(dòng)補(bǔ)償框506。第j個(gè)候選運(yùn)動(dòng)補(bǔ)償框506用來(lái)自第j個(gè)候選幀運(yùn)動(dòng)矢量檢測(cè)框504的所有運(yùn)動(dòng)矢量補(bǔ)償線(xiàn)L12上的前面的幀，借此提供第j個(gè)候選幀。將第j個(gè)候選幀送至第j個(gè)候選幀存儲(chǔ)器508供存儲(chǔ)在其中。
在減法器510中，在逐個(gè)象素的基礎(chǔ)上計(jì)算存儲(chǔ)在第j個(gè)候選幀存儲(chǔ)器508中的第j個(gè)候選幀與線(xiàn)L8上的第i個(gè)跳過(guò)的幀之間的誤差，然后將結(jié)果提供給第j個(gè)候選幀誤差累加框512，在其中累加第j個(gè)候選幀誤差。將第j個(gè)候選幀誤差提供給比較器514與第二寄存器518。在比較器514中，將當(dāng)前輸入的候選幀誤差與存儲(chǔ)在第二寄存器518中的一個(gè)前面的候選幀誤差進(jìn)行比較，以提供第一與第二寄存器516與518的啟動(dòng)信號(hào)。每當(dāng)當(dāng)前輸入的候選幀誤差小于前面的幀誤差時(shí)，便出現(xiàn)該啟動(dòng)信號(hào)。此時(shí)，用輸入候選幀的一個(gè)新的跳過(guò)的幀的預(yù)測(cè)因子來(lái)代替存儲(chǔ)在第一寄存器516中的前面的幀的跳過(guò)的幀的預(yù)測(cè)因子，并用輸入的候選幀誤差修正存儲(chǔ)在第二寄存器518中的誤差值。在第i個(gè)跳過(guò)的幀與所有的候選幀比較過(guò)之后，將存儲(chǔ)在第一寄存器516中的最終跳過(guò)的幀的預(yù)測(cè)因子作為第i個(gè)跳過(guò)的幀的跳過(guò)的幀的預(yù)測(cè)因子產(chǎn)生在線(xiàn)L21上。
參見(jiàn)圖6，其中示出了與圖1中所示的視頻信號(hào)編碼器對(duì)應(yīng)的視頻信號(hào)解碼器。來(lái)自該視頻信號(hào)編碼器的傳輸信號(hào)被輸入到多路信號(hào)分離器605中，在其中將編碼信號(hào)經(jīng)由線(xiàn)L60提供給熵解碼器607并將各該跳過(guò)的幀的各跳過(guò)的幀預(yù)測(cè)因子經(jīng)由線(xiàn)L66提供給幀插入器601。在熵解碼器607中，線(xiàn)L60上的傳輸信號(hào)被解碼成第一組運(yùn)動(dòng)矢量及量化變換系數(shù)。經(jīng)由線(xiàn)L64將運(yùn)動(dòng)矢量提供給當(dāng)前幀預(yù)測(cè)框650及幀插入器601并經(jīng)由線(xiàn)L62將量化變換系數(shù)耦合到圖象信號(hào)解碼器613上。
圖象信號(hào)解碼器613采用逆量化及逆離散余弦變換將量化變換系數(shù)轉(zhuǎn)換回重構(gòu)的誤差信號(hào)。
當(dāng)前幀預(yù)測(cè)框650基本上執(zhí)行與圖1中所示的視頻信號(hào)編碼器的框150的當(dāng)前幀預(yù)測(cè)過(guò)程相同的操作，但是它是根據(jù)存儲(chǔ)在幀存儲(chǔ)器624中的前面的幀信號(hào)及來(lái)自熵解碼器607的第一組運(yùn)動(dòng)矢量提供預(yù)測(cè)的當(dāng)前幀的。
因此，當(dāng)前幀預(yù)測(cè)框650具有與圖2的當(dāng)前幀預(yù)測(cè)部分(除跳過(guò)的幀的預(yù)測(cè)框218外)相似的結(jié)構(gòu)，除非由于從編碼器傳輸來(lái)的第一組運(yùn)動(dòng)矢量是在線(xiàn)L64上提供給它而沒(méi)有諸如圖2中所示的特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)框212之類(lèi)的運(yùn)動(dòng)估算器。
在解碼器的特征點(diǎn)選擇框中，以類(lèi)似于編碼器的方式從解碼后并存儲(chǔ)在解碼器中的前面的幀中重構(gòu)特征點(diǎn)。在解碼器的當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)框中，通過(guò)利用第一組運(yùn)動(dòng)矢量與特征點(diǎn)，為包含在當(dāng)前幀中的所有象素估算第二組運(yùn)動(dòng)矢量。在解碼器的運(yùn)動(dòng)補(bǔ)償框中，通過(guò)利用各該第二組運(yùn)動(dòng)矢量移動(dòng)前面的幀中的各象素而確定要包含在預(yù)測(cè)的當(dāng)前幀中的各象素。
在加法器615中組合來(lái)自圖象信號(hào)解碼器613的重構(gòu)的誤差信號(hào)與來(lái)自當(dāng)前幀預(yù)測(cè)框650的線(xiàn)L70上的預(yù)測(cè)的當(dāng)前幀信號(hào)，借此將重構(gòu)的當(dāng)前幀信號(hào)提供給幀存儲(chǔ)器624。
將存儲(chǔ)在幀存儲(chǔ)器624中的重構(gòu)的幀輸送給幀插入器601，在其中利用來(lái)自多路信號(hào)分離器605的跳過(guò)的幀的預(yù)測(cè)因子及來(lái)自熵解碼器607的第一組運(yùn)動(dòng)矢量重構(gòu)前面的幀與當(dāng)前幀之間的N個(gè)跳過(guò)的幀，如此后所述。
為了重構(gòu)前面的與當(dāng)前的幀之間的第i個(gè)跳過(guò)的幀，首先根據(jù)第i個(gè)跳過(guò)的幀的預(yù)測(cè)因子確定若干個(gè)運(yùn)動(dòng)矢量與第i個(gè)跳過(guò)的幀中的對(duì)應(yīng)數(shù)目的象素點(diǎn)。通過(guò)利用與前面的幀中的所述各特征點(diǎn)相對(duì)應(yīng)的第一組運(yùn)動(dòng)矢量之一乘i個(gè)跳過(guò)的幀的預(yù)測(cè)因子(j-1)/(M-1)移動(dòng)前面的幀中的各該特征點(diǎn)而確定第i個(gè)跳過(guò)的幀中的各該對(duì)應(yīng)數(shù)目的象素點(diǎn)，而第i個(gè)跳過(guò)的幀中的所述各對(duì)應(yīng)數(shù)目的象素點(diǎn)與前面的幀中的所述各特征點(diǎn)之間的各該若干運(yùn)動(dòng)矢量則是通過(guò)在第一組運(yùn)動(dòng)矢量中的所述第一組上乘以因子(j-1)/(M-1)而確定的。此后，利用所述若干運(yùn)動(dòng)矢量與第i個(gè)跳過(guò)的幀中的對(duì)應(yīng)數(shù)目的象素點(diǎn)確定包含在第i個(gè)跳過(guò)的幀中的所有象素的運(yùn)動(dòng)矢量，然后用所有象素的運(yùn)動(dòng)矢量補(bǔ)償前面的幀以估算第i個(gè)跳過(guò)的幀。此后，幀插入器601控制輸出幀的次序來(lái)重構(gòu)輸入信號(hào)。
雖然已參照具體的實(shí)施例示出與描述了本發(fā)明，但對(duì)于熟悉本技術(shù)的人員而言，顯然可以作出許多變化與修改而仍不脫離所附的權(quán)利要求書(shū)中所限定的本發(fā)明的精神與范圍。
權(quán)利要求
1.一種用于處理視頻信號(hào)的圖象處理系統(tǒng)，包含用于編碼該視頻信號(hào)以提供編碼信號(hào)的裝置及用于解碼該編碼信號(hào)以提供重構(gòu)的視頻信號(hào)的裝置，其特征在于所述編碼裝置包括用于從該視頻信號(hào)中選擇包含一個(gè)當(dāng)前的幀與一個(gè)前面的幀在內(nèi)的多個(gè)幀的裝置，其中在前面的幀與當(dāng)前幀之間跳過(guò)了N個(gè)幀，所述N為一個(gè)正整數(shù)；用于估算前面的幀與當(dāng)前幀之間的位移以提供代表估算的位移的第一組運(yùn)動(dòng)矢量，并通過(guò)利用第一組運(yùn)動(dòng)矢量初步補(bǔ)償前面的幀而在逐個(gè)象素的基礎(chǔ)上提供一個(gè)預(yù)測(cè)的當(dāng)前幀的裝置；用于從當(dāng)前幀中減去預(yù)測(cè)的當(dāng)前幀而提供一個(gè)差信號(hào)并編碼該差信號(hào)與該組運(yùn)動(dòng)矢量，借此提供一個(gè)編碼的差信號(hào)及編碼的第一組運(yùn)動(dòng)矢量的裝置；用于利用以M個(gè)跳過(guò)的幀的預(yù)測(cè)因子乘該組運(yùn)動(dòng)矢量來(lái)進(jìn)一步補(bǔ)償前面的幀而提供M個(gè)候選幀的裝置，所述M為大于N的一個(gè)正整數(shù)；以及用于將N個(gè)跳過(guò)的幀中的各個(gè)與各該候選幀進(jìn)行比較而將N個(gè)跳過(guò)的幀中的各個(gè)的跳過(guò)的幀的預(yù)測(cè)因子之一傳輸給解碼裝置的裝置；以及在于所述解碼裝置包括用于解碼該編碼的差信號(hào)及編碼的第一組運(yùn)動(dòng)矢量，借此恢復(fù)差信號(hào)及第一組運(yùn)動(dòng)矢量的裝置；用于利用恢復(fù)的第一組運(yùn)動(dòng)矢量初步補(bǔ)償前面的幀以重構(gòu)預(yù)測(cè)的當(dāng)前幀的裝置；用于相加重構(gòu)的預(yù)測(cè)的當(dāng)前幀與恢復(fù)的差信號(hào)，借此重構(gòu)當(dāng)前幀的裝置；以及用于利用恢復(fù)的第一組運(yùn)動(dòng)矢量及各該N個(gè)跳過(guò)的幀的各個(gè)傳輸?shù)奶^(guò)的幀的預(yù)測(cè)因子進(jìn)一步補(bǔ)償前面的幀，借此構(gòu)成前面的幀與重構(gòu)的當(dāng)前幀之間的各該N個(gè)跳過(guò)的幀的裝置。
2.權(quán)利要求1的裝置，其中編碼裝置中的所述估算裝置包括用于從包含在前面的幀中的象素中選擇若干特征點(diǎn)的裝置，各該特征點(diǎn)是能夠代表其中的一個(gè)目標(biāo)的運(yùn)動(dòng)的一個(gè)象素點(diǎn)；用于比較前面的幀與當(dāng)前幀而檢測(cè)各該所選擇的特征點(diǎn)的第一組運(yùn)動(dòng)矢量的裝置，各該第一組運(yùn)動(dòng)矢量代表前面的幀中的所選擇的特征點(diǎn)之一與當(dāng)前幀中與之最相似的一個(gè)象素之間的空間位移；用于根據(jù)第一組運(yùn)動(dòng)矢量及特征點(diǎn)，為包含在當(dāng)前幀中的所有象素推算第二組運(yùn)動(dòng)矢量的裝置；以及用于以第二組運(yùn)動(dòng)矢量補(bǔ)償前面的幀而產(chǎn)生預(yù)測(cè)的當(dāng)前幀的裝置。
3.權(quán)利要求2的裝置，其中編碼裝置中的所述用于進(jìn)一步補(bǔ)償前面的幀的裝置包括用于確定選定的數(shù)目的第j個(gè)候選幀運(yùn)動(dòng)矢量及第j個(gè)候選幀中對(duì)應(yīng)數(shù)目的象素點(diǎn)的裝置，其中第j個(gè)候選幀中的各該對(duì)應(yīng)數(shù)目的象素點(diǎn)是通過(guò)使用與前面的幀中的所述各該特征點(diǎn)對(duì)應(yīng)的第一組運(yùn)動(dòng)矢量之一乘跳過(guò)的幀的預(yù)測(cè)因子(j-1)/(M-1)，移動(dòng)前面的幀中的各該特征點(diǎn)而確定的，而第j個(gè)候選幀中的所述各該對(duì)應(yīng)數(shù)目的象素點(diǎn)與前面的幀中的所述各該特征點(diǎn)之間的各若干第j個(gè)候選幀運(yùn)動(dòng)矢量是通過(guò)用因子(j-1)/(M-1)去乘第一組運(yùn)動(dòng)矢量中的所述一個(gè)而確定的；用于根據(jù)所述選定數(shù)目的第j個(gè)候選幀運(yùn)動(dòng)矢量及第j幀中的對(duì)應(yīng)數(shù)目的象素點(diǎn)，為包含在第j個(gè)候選幀中的所有象素確定整組第j個(gè)候選幀運(yùn)動(dòng)矢量的裝置；以及用于以該整組第j個(gè)候選幀運(yùn)動(dòng)矢量補(bǔ)償前面的幀，借此提供第j個(gè)候選幀的裝置。
4.權(quán)利要求3的裝置，其中解碼裝置中的用于進(jìn)一步補(bǔ)償前面的幀的所述裝置包括根據(jù)所傳輸?shù)奶^(guò)的幀的預(yù)測(cè)因子，用于確定選定的數(shù)目的第i個(gè)跳過(guò)的幀的運(yùn)動(dòng)矢量及在第i個(gè)跳過(guò)的幀中的對(duì)應(yīng)數(shù)目的象素點(diǎn)的裝置，其中第i個(gè)跳過(guò)的幀中的各該對(duì)應(yīng)數(shù)目的象素點(diǎn)是通過(guò)利用所傳輸?shù)奶^(guò)的幀的預(yù)測(cè)因子(j-1)/(M-1)乘以與前面的幀中的特征點(diǎn)中的所述各個(gè)相對(duì)應(yīng)的第一組運(yùn)動(dòng)矢量之一移動(dòng)前面的幀中的各該特征點(diǎn)而確定的，并且第i個(gè)跳過(guò)的幀中的所述各該對(duì)應(yīng)數(shù)目的象素點(diǎn)與前面的幀中的所述各該特征點(diǎn)之間的選定數(shù)目的第i個(gè)跳過(guò)的幀的運(yùn)動(dòng)矢量中的各個(gè)是通過(guò)將第一組運(yùn)動(dòng)矢量中所述的一個(gè)乘以因子(j-1)/(M-1)而確定的；用于利用所述選定數(shù)目的第i個(gè)跳過(guò)幀的運(yùn)動(dòng)矢量及第i個(gè)跳過(guò)的幀中的對(duì)應(yīng)數(shù)目的象素點(diǎn)，為包含在第i個(gè)跳過(guò)的幀中的所有象素確定整組第i個(gè)跳過(guò)的幀的運(yùn)動(dòng)矢量的裝置；以及用于以該整組第i個(gè)跳過(guò)的幀的運(yùn)動(dòng)矢量補(bǔ)償前面的幀，借此提供第i個(gè)跳過(guò)的幀的裝置。
全文摘要
用于處理視頻信號(hào)的圖像處理系統(tǒng)，包括編碼器及解碼器，其中的編碼器包括一個(gè)幀抽取器，用于從所述視頻信號(hào)中選擇多個(gè)幀；一個(gè)單元，用于利用M個(gè)跳過(guò)的幀的預(yù)測(cè)因子，為各未選中的幀，即跳過(guò)的幀，建立M個(gè)候選幀；以及一個(gè)單元，用于將各該N個(gè)跳過(guò)的幀與各該候選幀進(jìn)行比較而為各該N個(gè)跳過(guò)的幀將一個(gè)跳過(guò)的幀的預(yù)測(cè)因子傳輸給解碼器；并且該解碼器包括用于利用所傳輸?shù)奶^(guò)的幀的預(yù)測(cè)因子確定前面的幀與重構(gòu)的當(dāng)前幀之間的各該跳過(guò)的幀的一個(gè)單元。
文檔編號(hào)H04N7/36GK1131872SQ95106689
公開(kāi)日1996年9月25日 申請(qǐng)日期1995年6月1日 優(yōu)先權(quán)日1995年3月20日
發(fā)明者李敏燮 申請(qǐng)人:大宇電子株式會(huì)社