專利名稱：利用基于特征點(diǎn)的運(yùn)動(dòng)估算編碼視頻信號(hào)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種編碼視頻信號(hào)的方法；并且，更具體地，涉及一種可通過根據(jù)目標(biāo)的運(yùn)動(dòng)自適應(yīng)地選取特征點(diǎn)而有效地編碼視頻信號(hào)的方法。
眾所周知，數(shù)字視頻信號(hào)的傳輸可獲得比模擬信號(hào)傳輸質(zhì)量高得多的視頻圖象。當(dāng)包括有一序列圖象“幀”的圖象信號(hào)以數(shù)字形式表示時(shí)，將生成大量用于傳輸?shù)臄?shù)據(jù)，特別在高清晰度電視系統(tǒng)的情況中，然而，一常規(guī)傳輸信道的可用頻帶寬度是有限的，因此，為了發(fā)送大量的數(shù)字?jǐn)?shù)據(jù)，必須壓縮或減少傳輸數(shù)據(jù)的量，在各種視頻壓縮技術(shù)中，將時(shí)間及空間壓縮技術(shù)與統(tǒng)計(jì)編碼技術(shù)相結(jié)合的所謂的混合編碼技術(shù)是所知最為有效的。
大多數(shù)混合編碼技術(shù)采用運(yùn)動(dòng)補(bǔ)償DPCM(差分脈沖碼調(diào)制)，二維DCT(離散余弦變換)、DCT系數(shù)的量化及VLC(可變長(zhǎng)度編碼)。運(yùn)動(dòng)補(bǔ)償DPCM是對(duì)在一當(dāng)前幀和一先前幀之間的目標(biāo)的運(yùn)動(dòng)進(jìn)行估算，并根據(jù)該目標(biāo)的運(yùn)動(dòng)流預(yù)測(cè)當(dāng)前幀以產(chǎn)生一個(gè)代表當(dāng)前幀及其預(yù)測(cè)之間的差的誤差信號(hào)的處理。這種方法在例如Staffan Ericsson的“用于混合預(yù)測(cè)/變換編碼的固定及自適應(yīng)預(yù)測(cè)器，”IEEE Transactions on Communications，COM-33，NO.12(1985年12月)；及在Ninomiya和Ohtsuka的“一種用于電視畫面的運(yùn)動(dòng)補(bǔ)償幀間編碼方案”，IEEE Iransactions on Communications，COM-30，NO.1(1982年1月)中被描述。
二維DCT減少或利用圖象數(shù)據(jù)間的空間冗余，將一例如為8×8象素塊的數(shù)字圖象數(shù)據(jù)塊變換成一組變換系數(shù)數(shù)據(jù)。這種技術(shù)在例如Chen和Pratt的“場(chǎng)景自適應(yīng)編碼器”IEEE Transactions on Communications，COM-32，NO.3，(1984年3月)中被描述。通過量化器、折線掃描及VLC對(duì)這些變換系數(shù)數(shù)據(jù)的處理，侍傳輸?shù)臄?shù)據(jù)量可被有效地壓縮。
特別地，在運(yùn)動(dòng)補(bǔ)償DPCM中，基于對(duì)當(dāng)前幀及先前幀間的運(yùn)動(dòng)的估算，當(dāng)前幀數(shù)據(jù)自相應(yīng)的先前幀被預(yù)測(cè)。
該被估算的運(yùn)動(dòng)可用代表先前幀及當(dāng)前幀間的象素的位移的二維運(yùn)動(dòng)矢量描述。
已有兩種基本方法估算目標(biāo)的象素的位移一種是逐塊估算，另一種是逐象素的方法。
在逐塊運(yùn)動(dòng)估算中，將一當(dāng)前幀中的一塊與其先前幀中的各塊進(jìn)行比較直至確定最佳匹配。自此，可以為被傳輸?shù)漠?dāng)前幀估算整個(gè)塊的幀間位移矢量(代表該象素塊已在幀間移動(dòng)了多少)。然而，在逐塊運(yùn)動(dòng)估算中，如果塊中所有象素不以相同的方式移動(dòng)，可導(dǎo)致差的估算，從而降低了整個(gè)畫面的質(zhì)量。
采用逐象素的方法，在另一方面，可確定用于各個(gè)及每個(gè)象素的位移。這種技術(shù)可取得象素值的更精確的估算并能容易地處理標(biāo)度改變(例如變焦、垂直于圖象平面的運(yùn)動(dòng))。然而，在逐象素的方法中，由于是確定各個(gè)及每個(gè)象素的運(yùn)動(dòng)矢量，因此幾乎不可能將所有的運(yùn)動(dòng)矢量數(shù)據(jù)傳輸給一接收機(jī)。
引入的用于改善涉及由逐象素方法導(dǎo)致的剩余或多余的傳輸數(shù)據(jù)的問題的一種技術(shù)是基于特征點(diǎn)的運(yùn)動(dòng)估算方法。
在該基于特征點(diǎn)的運(yùn)動(dòng)估算技術(shù)中，用于一組被選取的象素，即特征點(diǎn)的運(yùn)動(dòng)矢量被傳輸給一接收機(jī)，其中特征點(diǎn)被定義為能夠代表目標(biāo)的運(yùn)動(dòng)的一先前幀或一當(dāng)前幀的象素以便當(dāng)前幀中的象素的全部運(yùn)動(dòng)矢量可從接收機(jī)中特征點(diǎn)的運(yùn)動(dòng)矢量中被還原或近似。在采用在美國(guó)流水號(hào)為08/367,520，題目為“利用逐象素運(yùn)動(dòng)估算編碼視頻信號(hào)的方法和裝置”的共有未決申請(qǐng)中公開的基于特征點(diǎn)的運(yùn)動(dòng)估算技術(shù)的編碼器中，首先從包含在先前幀中的全部象素中選取一些特征點(diǎn)。接著，通過使用常規(guī)的塊匹配技術(shù)確定被選取的特征點(diǎn)的運(yùn)動(dòng)矢量，其中各個(gè)運(yùn)動(dòng)矢量代表先前幀中的一特征點(diǎn)與當(dāng)前幀中的一對(duì)應(yīng)匹配點(diǎn)即最相似的象素間的空間位移。特別地，在當(dāng)前幀內(nèi)的一搜索區(qū)中搜索對(duì)于各個(gè)特征點(diǎn)的匹配點(diǎn)，其中搜索區(qū)被定義為包圍了對(duì)應(yīng)特征點(diǎn)的位置的預(yù)定區(qū)域的一個(gè)區(qū)。然后，基于特征點(diǎn)的運(yùn)動(dòng)矢量確定對(duì)于當(dāng)前幀中所有象素的全部運(yùn)動(dòng)矢量。
不過，在上述基于特征點(diǎn)的運(yùn)動(dòng)估算技術(shù)中，特征點(diǎn)被確定時(shí)沒有充分考慮到兩個(gè)目標(biāo)間可能不同的運(yùn)動(dòng)的細(xì)節(jié)，因此，不是總可以充分地估算運(yùn)動(dòng)或準(zhǔn)確地再現(xiàn)圖象。
因此，本發(fā)明的主要目的是提供一種改進(jìn)的能夠通過根據(jù)目標(biāo)的運(yùn)動(dòng)自適應(yīng)地選取特征點(diǎn)而有效地編碼視頻信號(hào)的視頻信號(hào)編碼方法。
根據(jù)本發(fā)明，提供有一種用在視頻信號(hào)編碼器中根據(jù)基于特征點(diǎn)的運(yùn)動(dòng)估算技術(shù)，通過根據(jù)當(dāng)前幀和參考幀間的目標(biāo)的運(yùn)動(dòng)自適應(yīng)地選取特征點(diǎn)編碼數(shù)字視頻信號(hào)的方法，所述數(shù)字視頻信號(hào)有多個(gè)包括一個(gè)當(dāng)前幀和一參考幀的幀，該方法包括(a)檢測(cè)在當(dāng)前幀與參考幀間當(dāng)前幀中的各個(gè)象素的運(yùn)動(dòng)矢量；(b)根據(jù)當(dāng)前幀中的各個(gè)象素的運(yùn)動(dòng)矢量提供來自該參考幀的一個(gè)象素值；(c)自當(dāng)前幀的所述各象素的象素值中減去自參考幀提供的象素值，從而提供一差分象素值；(d)在逐象素的基礎(chǔ)上將該差分象素值和與一閾值TH進(jìn)行比較，并選取一個(gè)或多個(gè)區(qū)，各個(gè)所選取的區(qū)由具有其各自的大于閾值TH的差分象素值的象素組成；(e)在所選取的區(qū)內(nèi)將象素移位至由其各自的運(yùn)動(dòng)矢量指示的位置，從而提供移位區(qū)；(f)從參考幀檢測(cè)邊緣點(diǎn)；(g)自移位區(qū)中確定一個(gè)或多個(gè)處理區(qū)，其中這些處理區(qū)是與部分邊緣點(diǎn)重疊的移位區(qū)；(h)在參考幀上生成第一網(wǎng)格并生成用于各個(gè)處理區(qū)的第二網(wǎng)格，其中第二網(wǎng)格由部分第一網(wǎng)格的網(wǎng)格點(diǎn)和新增加的網(wǎng)格點(diǎn)構(gòu)成，各個(gè)新增加的網(wǎng)格點(diǎn)位于在一水平或垂直方向上第一網(wǎng)格的一對(duì)相鄰網(wǎng)格點(diǎn)的中心；及(i)基于第一和第二網(wǎng)格及邊緣點(diǎn)在參考幀中選取多個(gè)象素作為特征點(diǎn)。
本發(fā)明的上述及其它目的和特征在下面結(jié)合附圖給出的優(yōu)選實(shí)施例的描述中將變得明顯，其中

圖1是根據(jù)本發(fā)明的一視頻信號(hào)編碼裝置的方框圖；圖2示出了圖1的當(dāng)前幀預(yù)測(cè)塊的詳細(xì)方框圖；圖3給出了圖2的特征點(diǎn)選取塊的詳細(xì)方框圖；圖4A和4B提供了基于運(yùn)動(dòng)矢量的當(dāng)前幀信號(hào)的轉(zhuǎn)換的圖；圖5表示邊緣在參考幀內(nèi)具有大的差分象素值的區(qū)的重疊；圖6說明了在選取區(qū)中自適應(yīng)網(wǎng)絡(luò)生成處理；圖7為用于說明根據(jù)本發(fā)明的特征點(diǎn)選取操作的說明圖；圖8給出了根據(jù)本發(fā)明的視頻信號(hào)解碼裝置的方框圖；以及圖9為圖8中所示當(dāng)前幀預(yù)測(cè)塊的詳細(xì)方框圖。
參照?qǐng)D1，示出了根據(jù)本發(fā)明的視頻信號(hào)編碼裝置10的方框圖。一輸入數(shù)字視頻信號(hào)被作為當(dāng)前幀信號(hào)存儲(chǔ)在第一幀存儲(chǔ)器100中，第一幀存儲(chǔ)器100通過線L11與一減法器102連接并通過線L10與一當(dāng)前幀預(yù)測(cè)塊150連接。
在當(dāng)前幀預(yù)測(cè)塊150，取自第一幀存儲(chǔ)器100在線L10上的一當(dāng)前幀信號(hào)和來自第二幀存儲(chǔ)器124在線L12上的一先前或一參考幀信號(hào)被處理，以在逐象素的基礎(chǔ)上預(yù)測(cè)該當(dāng)前幀，以生成一預(yù)測(cè)當(dāng)前幀信號(hào)到線L16上、生成一組特征點(diǎn)的運(yùn)動(dòng)矢量到線17上及生成代表具有目標(biāo)的不規(guī)則及局部移動(dòng)并因此要求詳細(xì)的運(yùn)動(dòng)補(bǔ)償?shù)膮^(qū)的位置的網(wǎng)格信息到線L18上。當(dāng)前幀預(yù)測(cè)塊150的細(xì)節(jié)將在后面參照?qǐng)D2和圖9予以敘述。
在減法器102，從線L11上的當(dāng)前幀信號(hào)中減去線L16上的預(yù)測(cè)當(dāng)前幀信號(hào)，并且該結(jié)果數(shù)據(jù)，即表示當(dāng)前幀和預(yù)測(cè)的當(dāng)前幀間的差分象素值的誤差信號(hào)被發(fā)送至圖象信號(hào)編碼器105，其中該誤差信號(hào)通過使用例如DCT及任何已知的量化方法被編碼成多組量化變換系數(shù)。
然后，該量化的變換系數(shù)被傳輸至熵編碼器107和圖象信號(hào)解碼器113。在熵編碼器107，來自圖象信號(hào)編碼器105的量化變換系數(shù)、線L17上的運(yùn)動(dòng)矢量及線L18上的網(wǎng)格信息通過使用例如可變長(zhǎng)度編碼技術(shù)被一起編碼，以恒定的傳輸速率通過緩沖器109被傳輸至發(fā)射機(jī)(未示出)用于發(fā)射。
同時(shí)，圖象信號(hào)解碼器113通過采用逆量化和離散反余弦變換將該組來自圖象信號(hào)編碼器105的量化的變換系數(shù)變換回為重建誤差信號(hào)。
該來自圖象信號(hào)解碼器113的重建誤差信號(hào)及來自當(dāng)前幀預(yù)測(cè)塊15線的在L16上的預(yù)測(cè)的當(dāng)前幀信號(hào)在加法器115上被組合以提供重建的當(dāng)前幀信號(hào)作為下一幀的參考存儲(chǔ)進(jìn)第二幀存儲(chǔ)器124中。為了使編碼器監(jiān)視接收機(jī)中解碼器的行為，誤差信號(hào)需要重建，從而防止在編碼器重建的當(dāng)前幀信號(hào)與接收機(jī)中的解碼器的重建當(dāng)前幀信號(hào)出現(xiàn)偏差。
參照?qǐng)D2，舉例說明了圖1中所示的當(dāng)前幀預(yù)測(cè)塊150的細(xì)節(jié)。如圖2中所示，來自第二幀存儲(chǔ)器124的線L12上的參考幀信號(hào)被輸入到特征點(diǎn)選取塊210、特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)塊212和運(yùn)動(dòng)補(bǔ)償塊216。
在特征點(diǎn)選取塊210，在參考幀包含的象素中選取一些特征點(diǎn)。這些特征點(diǎn)被定義為能夠代表幀中目標(biāo)的運(yùn)動(dòng)的象素。
現(xiàn)在參照?qǐng)D2，提供有圖2中所示的特征點(diǎn)選取塊210的詳細(xì)的方框圖。來自圖1中所示的第一幀存儲(chǔ)器100的線L10上的當(dāng)前幀信號(hào)被輸入到基于塊的運(yùn)動(dòng)矢量估算塊310和加法器312，同時(shí)來自圖1中所示的第二幀存儲(chǔ)器124的線L12上的參考幀信號(hào)被輸入基于塊的運(yùn)動(dòng)矢量估算塊310、基于塊的運(yùn)動(dòng)補(bǔ)償塊311和邊緣檢測(cè)塊315。
該基于塊的運(yùn)動(dòng)矢量估算塊310通過使用現(xiàn)有技術(shù)中公知的常規(guī)塊匹配技術(shù)檢測(cè)代表當(dāng)前幀中各搜索塊與參考幀中與其最相似的塊之間的空間位移的運(yùn)動(dòng)矢量并通過線L31將該運(yùn)動(dòng)矢量提供給基于塊的運(yùn)動(dòng)補(bǔ)償塊311和區(qū)選取塊316。該搜索塊的運(yùn)動(dòng)矢量被指定為包含在該搜索塊內(nèi)的象素的運(yùn)動(dòng)矢量?；趬K的運(yùn)動(dòng)補(bǔ)償塊311通過利用當(dāng)前幀中的所有象素的運(yùn)動(dòng)矢量從圖1中所示的第二幀存儲(chǔ)器124中取出象素值，從而將預(yù)測(cè)信號(hào)提供給減法器312。
在減法器312中從當(dāng)前幀信號(hào)中減去該預(yù)測(cè)的信號(hào)，并且結(jié)果數(shù)據(jù)，即表示當(dāng)前幀信號(hào)與預(yù)測(cè)的信號(hào)之間的差分象素值的差信號(hào)被送給比較塊313。比較塊313在逐象素的基礎(chǔ)上將差信號(hào)中所包括的各個(gè)差分象素值與閾值TH進(jìn)行比較，該閾值TH可根據(jù)緩沖器占有率，即在圖1中所示的緩沖器109中存儲(chǔ)的數(shù)據(jù)量被預(yù)定或自適應(yīng)地確定。如果差分象素值小于該閾值TH，它被設(shè)置成變換值0。否則，該差分象素值被設(shè)置成變換值1。該變換值被提供給第三幀存儲(chǔ)器314。在圖4中，通過存儲(chǔ)在第三幀存儲(chǔ)器314中的變換值所形成的誤差幀41被舉例地示出。在誤差幀41中有兩個(gè)不同的區(qū)一個(gè)是帶有變換值1的區(qū)(例如A、B和C)；另一個(gè)是帶有變換值0的區(qū)。
返回參照?qǐng)D3，現(xiàn)有技術(shù)中眾所周知的邊緣檢測(cè)塊315通過使用常規(guī)的梯度算子，例如Sobel算子檢測(cè)在參考幀中的邊緣點(diǎn)。例如，通過使用水平和垂直Sobel算子計(jì)算位于象素位置(X，Y)的方向梯度，即水平和垂直梯度Gx(X，Y)和Gy(X，Y)，并且位于該象素位置(x，y)的梯度的幅值g(xy)可由下式得到g(x，y)＝|Gx(x，y)|＋|Gy(x，y)|并且然后通過將用于參考幀中各象素的梯度幅值g(x，y)與預(yù)定的閾值Te進(jìn)行比較，參考幀中的邊緣點(diǎn)被檢測(cè)。即如果g(x，y)大于Te，該象素位置(x，y)則是邊緣點(diǎn)。
隨后，一表示該邊緣點(diǎn)位置的邊緣信號(hào)eg(x，y)被提供給區(qū)選取塊316且用于各邊緣點(diǎn)的梯度幅值g(x，y)與邊緣信號(hào)eg(x，y)一起被提供給特征點(diǎn)定義塊318。
響應(yīng)來自基于塊的運(yùn)動(dòng)矢量估算塊310的運(yùn)動(dòng)矢量，區(qū)選取塊316將具有變換值1的各象素，即對(duì)應(yīng)于圖4中所示的誤差幀41的區(qū)A、B和C的象素移動(dòng)到由其運(yùn)動(dòng)矢量所指示的位置，從而生成一轉(zhuǎn)換誤差幀43。各個(gè)區(qū)A、B和C被分別移位到區(qū)A’、B’或C’。然后，如圖5中所示，基于具有變換值1的區(qū)A’、B’和C’與自邊緣檢測(cè)塊315提供的邊緣點(diǎn)的位置之間的位置關(guān)系，處理區(qū)被選取。例如，與一部分邊緣點(diǎn)重疊的區(qū)A’和B’是由區(qū)選取塊316確定的處理區(qū)。因?yàn)槲磁c參考幀中的任何邊緣點(diǎn)重疊，區(qū)C’未被選取為處理區(qū)。表示處理區(qū)位置的處理區(qū)信息被提供給網(wǎng)格點(diǎn)生成塊317。
現(xiàn)在返回到圖3，網(wǎng)格點(diǎn)生成塊317在參考幀上生成第一網(wǎng)格。并相應(yīng)處理區(qū)信息，生成用于各處理區(qū)的第二網(wǎng)格，其中第二網(wǎng)格的網(wǎng)格點(diǎn)的密度大于第一網(wǎng)格的網(wǎng)格點(diǎn)的密度。在本發(fā)明的優(yōu)選實(shí)施例中，首先在整個(gè)幀上形成一六角形網(wǎng)格；并為各處理區(qū)構(gòu)成一三角形網(wǎng)格，其中該三角形網(wǎng)格的尺寸最小，僅覆蓋住處理區(qū)并由六角形網(wǎng)格的部分網(wǎng)格點(diǎn)和附加的網(wǎng)格點(diǎn)形成，各個(gè)附加的網(wǎng)格點(diǎn)是在水平或垂直方向上一對(duì)相鄰六角形網(wǎng)格點(diǎn)的中心處新增加的。例如，如圖6中所示，為處理區(qū)A’和B’生成更密集的網(wǎng)格，即三角形網(wǎng)格61和63。且然后代表各三角形網(wǎng)格的位置數(shù)據(jù)的網(wǎng)格信息。例如左上方象素位置及各三角形網(wǎng)格的尺寸通過線L18被提供給熵編碼器107和特征點(diǎn)定義塊318。在特征點(diǎn)定義塊318，從包含在參考幀中的象素中選取一些特征點(diǎn)。
參照?qǐng)D7，示出了根據(jù)本發(fā)明在特征點(diǎn)定義塊318實(shí)現(xiàn)特征點(diǎn)選取處理的說明性視圖。響應(yīng)于來自網(wǎng)格點(diǎn)生成塊318的網(wǎng)格信息，最大的且不重疊的圓形搜索區(qū)，例如SR1至SR4，為位于其中的各自的網(wǎng)格點(diǎn)，例如G1至G4被設(shè)置。然后，基于邊緣點(diǎn)的梯度幅值和代表來自邊緣檢測(cè)塊315的邊緣點(diǎn)位置的邊緣信號(hào)，為各邊緣點(diǎn)例如E1至E9設(shè)置在其中心有一邊緣點(diǎn)的例如5×5象素的塊，，其與搜索區(qū)重疊。各塊中所包括的象素的梯度幅值然后被求和且該得到的和值被指定作為在塊中心的邊緣點(diǎn)的邊緣值；并且在搜索區(qū)中具有最大邊緣值的邊緣點(diǎn)被選取作為搜索區(qū)的特征點(diǎn)。如果存在多于一個(gè)具有相等的最大邊緣值的邊緣點(diǎn)，則與網(wǎng)格點(diǎn)最近的邊緣點(diǎn)被選取作為特征點(diǎn)。且如果在一搜索區(qū)內(nèi)未包括邊緣點(diǎn)。例如SR1或SR3，搜索區(qū)內(nèi)所包括的網(wǎng)格點(diǎn)本身，例如G1或G3，被選取作為特征點(diǎn)。
返回參照?qǐng)D2和圖3，來自特征點(diǎn)定義塊318的表示選取的特征點(diǎn)的位置的特征點(diǎn)信息被輸入特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)塊212和當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)塊214。并且，線L10上的當(dāng)前幀信號(hào)及線L12上的參考幀信號(hào)也被提供給特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)塊212。
在特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)塊212，選取的特征點(diǎn)的第一組運(yùn)動(dòng)矢量被檢測(cè)。第一組中的各運(yùn)動(dòng)矢量代表參考幀中特征點(diǎn)與當(dāng)前幀中與該特征點(diǎn)最相似的象素之間的空間位移。在檢測(cè)完所有特征點(diǎn)的運(yùn)動(dòng)矢量后，該第一組運(yùn)動(dòng)矢量通過線L17被提供給當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)塊214和熵編碼器107(圖21中所示)。
在當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)塊214，當(dāng)前幀中所有象素的第二組運(yùn)動(dòng)矢量通過使用第一組運(yùn)動(dòng)矢量和來自特征點(diǎn)選取塊210的特征點(diǎn)信息被確定。為了確定該第二組運(yùn)動(dòng)矢量，首先，一組“準(zhǔn)特征點(diǎn)”矢量，即代表自參考幀的特征點(diǎn)移過該第一組運(yùn)動(dòng)矢量的當(dāng)前幀的象素點(diǎn)的一組矢量被確定。準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量的大小等于用于其對(duì)應(yīng)的特征點(diǎn)的運(yùn)動(dòng)矢量，但該兩運(yùn)動(dòng)矢量的方向相反。在確定了所有準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量后。非準(zhǔn)特征點(diǎn)即當(dāng)前幀中剩余的象素點(diǎn)的運(yùn)動(dòng)矢量被如下確定。
首先，多個(gè)非重疊的多角形，例如三角形通過與準(zhǔn)特征點(diǎn)相連的線段被定義。然后，基于形成所述多角形的準(zhǔn)特征點(diǎn)與它們對(duì)應(yīng)的特征點(diǎn)之間的位置關(guān)系，當(dāng)前幀的各多角形中包含的各象素的參考幀上的預(yù)測(cè)位置被確定。然后，當(dāng)前幀中所述各象素的運(yùn)動(dòng)矢量由該象素與其預(yù)測(cè)位置之間的位移被確定。該確定的第二組運(yùn)動(dòng)矢量被提供給運(yùn)動(dòng)補(bǔ)償塊216以在逐象素的基礎(chǔ)上預(yù)測(cè)當(dāng)前幀。這種技術(shù)在例如在此引入作為參考的，美國(guó)流水號(hào)為08/434,808，1995年5月4日申請(qǐng)的，題為“用于編碼/解碼視頻信號(hào)的方法和裝置”的共有未決申請(qǐng)中進(jìn)行了描述。
美國(guó)流水號(hào)為08/367,520于1994年12月30日申請(qǐng)的題為“利用逐象素運(yùn)動(dòng)預(yù)測(cè)編碼視頻信號(hào)的方法和裝置”的一件共有未決申請(qǐng)中公開了另一例適于確定非準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量的視頻信號(hào)編碼裝置，在此也被引入作為參考。在該參考的視頻信號(hào)編碼裝置中，非準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量通過對(duì)準(zhǔn)特征點(diǎn)的運(yùn)動(dòng)矢量進(jìn)行平均而被確定，這些準(zhǔn)特征點(diǎn)位于一圓形邊界內(nèi)，該圓有從象素位置到最近的準(zhǔn)特征點(diǎn)的距離求和定義的半徑以及在計(jì)算該運(yùn)動(dòng)矢量中所使用的包括其它特征點(diǎn)的預(yù)定的擴(kuò)展半徑。
運(yùn)動(dòng)補(bǔ)償塊216通過使用第二組中所包含的各運(yùn)動(dòng)矢量，自第二幀存儲(chǔ)器124取出包含在該預(yù)測(cè)當(dāng)前幀中的各象素的值，因此提供該預(yù)測(cè)當(dāng)前幀信號(hào)通過線L16至圖1中所示的減法器102和加法器125。
參照?qǐng)D8，示出了本發(fā)明的對(duì)應(yīng)于圖1中所示的視頻信號(hào)編碼裝置10的視頻信號(hào)解碼裝置800。來自視頻信號(hào)編碼裝置10的編碼的視頻信號(hào)通過緩沖器810被饋送給熵解碼器820。然后，熵解碼器820解碼該經(jīng)編碼的視頻信號(hào)以提供特征點(diǎn)運(yùn)動(dòng)矢量和網(wǎng)格信息至當(dāng)前幀預(yù)測(cè)塊850；并提供量化的變換系數(shù)至圖象信號(hào)解碼器830。圖象信號(hào)解碼器830執(zhí)行與視頻信號(hào)編碼裝置10的圖象信號(hào)解碼器113相同的功能，因此可提供重建的誤差信號(hào)至加法器840。除了沒有如圖2中所示的例如特征點(diǎn)運(yùn)動(dòng)矢量檢測(cè)塊212的運(yùn)動(dòng)估算器外，當(dāng)前幀預(yù)測(cè)塊850具有與圖2中所示的當(dāng)前幀預(yù)測(cè)塊150相似的結(jié)構(gòu)，因?yàn)閬碜跃幋a器10的特征點(diǎn)運(yùn)動(dòng)矢量通過熵解碼器820被提供給當(dāng)前幀預(yù)測(cè)塊850。該當(dāng)前幀預(yù)測(cè)塊850包括有與上述當(dāng)前幀預(yù)測(cè)塊150所說明的各塊功能相似的特征點(diǎn)選取塊，當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)塊和運(yùn)動(dòng)補(bǔ)償塊。
特別地，如說明當(dāng)前幀預(yù)測(cè)塊850的細(xì)節(jié)的圖9中所示，來自熵編碼器820的網(wǎng)格信息和來自幀存儲(chǔ)器860的參考幀信號(hào)被輸入特征點(diǎn)選取塊950以選取一些與圖2中所示的特征點(diǎn)選取塊210所選取的特征點(diǎn)相同的特征點(diǎn)，其中特征點(diǎn)選取塊952包括有與編碼器的特征點(diǎn)選取塊210中所包括的各塊完全相同的邊緣檢測(cè)塊和特征點(diǎn)定義塊。響應(yīng)于來自特征點(diǎn)選取塊952表示所選取的特征點(diǎn)的位置的特征點(diǎn)信息和來自熵解碼器820的特征點(diǎn)運(yùn)動(dòng)矢量，當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)塊954以與圖2中所示的當(dāng)前幀運(yùn)動(dòng)矢量檢測(cè)塊214相同的方式確定當(dāng)前幀中所包含的所有象素的運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償塊956提供與來自圖2中所示的運(yùn)動(dòng)補(bǔ)償塊216的預(yù)測(cè)的當(dāng)前幀信號(hào)相同的預(yù)測(cè)的當(dāng)前幀信號(hào)。
返回參照?qǐng)D8，來自當(dāng)前幀預(yù)測(cè)塊850的預(yù)測(cè)的當(dāng)前幀信號(hào)和來自圖象信號(hào)解碼器830的重建誤差信號(hào)在加法器840被相加在一起以提供該重建當(dāng)前幀信號(hào)至一顯示單元(未示出)及幀存儲(chǔ)器860。在幀存儲(chǔ)器860，該重建當(dāng)前幀信號(hào)被存儲(chǔ)作為下一個(gè)待被解碼的幀的參考幀信號(hào)。
本發(fā)明已結(jié)合具體實(shí)施例進(jìn)行了示出和敘述，在不超出所附權(quán)利要求所定義的本發(fā)明的精神和范圍的前提下，對(duì)于本技術(shù)領(lǐng)域的熟練技術(shù)人員顯然可以作出許多變化和修改。
權(quán)利要求
1.一種在視頻信號(hào)編碼器中使用的根據(jù)基于特征點(diǎn)的運(yùn)動(dòng)估算技術(shù)，通過根據(jù)當(dāng)前幀和參考幀間目標(biāo)的運(yùn)動(dòng)自適應(yīng)地選取特征點(diǎn)編碼數(shù)字視頻信號(hào)的方法，所述數(shù)字視頻信號(hào)有多個(gè)包括有一當(dāng)前幀和一參考幀的幀，包括(a)檢測(cè)當(dāng)前幀和參考幀之間的當(dāng)前幀中各象素的運(yùn)動(dòng)矢量；(b)基于當(dāng)前幀中各象素的運(yùn)動(dòng)矢量，提供來自參考幀的象素值；(c)從當(dāng)前幀的所述各象素的象素值中減去來自參考幀的象素值，從而提供差分象素值；(d)在逐象素的基礎(chǔ)上將該差分象素值與閾值TH進(jìn)行比較并選取一個(gè)或多個(gè)區(qū)，各個(gè)被選取的區(qū)由具有各自大于閾值TH的差分象素值的象素組成；(e)在所選取的區(qū)內(nèi)將象素移位至由其各自的運(yùn)動(dòng)矢量指示的位置，從而提供移位區(qū)；(f)從參考幀檢測(cè)邊緣點(diǎn)；(g)自移位區(qū)中確定一個(gè)或多個(gè)處理區(qū)，其中處理區(qū)是與部分邊緣點(diǎn)重疊的移位區(qū)；(h)在參考幀上生成第一網(wǎng)格并生成用于各處理區(qū)的第二網(wǎng)格，其中第二網(wǎng)格由第一網(wǎng)格的部分網(wǎng)格點(diǎn)和新增加的網(wǎng)格點(diǎn)形成，各新增加的網(wǎng)格點(diǎn)位于在水平或垂直方向上第一網(wǎng)格的一對(duì)相鄰網(wǎng)格點(diǎn)的中心；且(i)基于第一和第二網(wǎng)格及邊緣點(diǎn)，選取參考幀中的多個(gè)象素作為特征點(diǎn)。
2.根據(jù)權(quán)利要求1的方法，其中所述用于檢測(cè)邊緣點(diǎn)的步驟(f)包括生成參考幀中各象素的梯度幅值的步驟；所述選取特征點(diǎn)的步驟(i)包括有以下步驟(i1)為第一和第二網(wǎng)格的各網(wǎng)格點(diǎn)指定非重疊的搜索區(qū)；(i2)為各邊緣點(diǎn)提供一個(gè)邊緣值，其中該邊緣值是通過將包括所述各邊緣點(diǎn)的象素塊中的象素梯度幅值求和而獲得的；且(i3)將在其搜索區(qū)內(nèi)不包括有邊緣點(diǎn)的各網(wǎng)格點(diǎn)和在一搜索區(qū)的一個(gè)或多個(gè)邊緣點(diǎn)中具有最大邊緣值的各邊緣點(diǎn)確定為特征點(diǎn)，從而提供特征點(diǎn)。
3.根據(jù)權(quán)利要求2的方法，其中所述檢測(cè)運(yùn)動(dòng)矢量的步驟(a)是通過利用塊匹配技術(shù)實(shí)現(xiàn)的。
4.根據(jù)權(quán)利要求2的方法，其中第一和第二網(wǎng)格分別是六角形和三角形網(wǎng)格。
全文摘要
根據(jù)當(dāng)前幀和參考幀間目標(biāo)的運(yùn)動(dòng)自適應(yīng)地選取特征點(diǎn)的方法，包括檢測(cè)當(dāng)前幀和參考幀間的當(dāng)前幀內(nèi)各象素的運(yùn)動(dòng)矢量；基于該運(yùn)動(dòng)矢量自參考幀提供象素值并將該象素值從當(dāng)前幀的各象素值中減去以提供差分象素值以比較選取大于閾值TH的區(qū)；將所選取區(qū)內(nèi)的象素移位至由其運(yùn)動(dòng)矢量指示的位置以提供移位區(qū)，從中確定處理區(qū)，生成在其參考幀上的第一網(wǎng)格及第二網(wǎng)格；檢測(cè)自參考幀的邊緣點(diǎn)；基于各網(wǎng)格及邊緣點(diǎn)，選取參考幀中的多個(gè)象素作為特征點(diǎn)。
文檔編號(hào)H04N7/36GK1135148SQ95109998
公開日1996年11月6日 申請(qǐng)日期1995年7月13日 優(yōu)先權(quán)日1995年4月29日
發(fā)明者李敏燮 申請(qǐng)人:大宇電子株式會(huì)社