專利名稱：使用基于特征點的運動估算編碼及解碼視頻信號的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種編碼視頻信號的方法和裝置；且更具體地，涉及一種使用改進的基于特征點的運動估算編碼及解碼數(shù)字視頻信號，從而有效地降低數(shù)字視頻信號的傳輸速率，提供良好的畫面質(zhì)量的方法和裝置。
眾所周知，數(shù)字視頻信號的傳輸可獲得比模擬信號傳輸質(zhì)量高得多的視頻圖象。當(dāng)包括有一序列圖象“幀”的圖象信號以數(shù)字形式表示時，將生成大量用于傳輸?shù)臄?shù)據(jù)，特別在高清晰度電視系統(tǒng)的情況中，然而，一常規(guī)傳輸信道的可用頻帶寬度是有限的，因此，為了發(fā)送大量的數(shù)字?jǐn)?shù)據(jù)，必須壓縮或減少傳輸數(shù)據(jù)的量，在各種視頻壓縮技術(shù)中，將時間及空間壓縮技術(shù)與統(tǒng)計編碼技術(shù)相結(jié)合的所謂的混合編碼技術(shù)是所知最為有效的。
大多數(shù)混合編碼技術(shù)采用運動補償DPCM(差分脈沖碼調(diào)制)，二維DCT(離散余弦變換)、DCT系數(shù)的量化及VLC(可變長度編碼)。運動補償DPCM是對在一當(dāng)前幀和一先前幀或一將來幀，即一參考幀之間的目標(biāo)的運動進行估算，并根據(jù)該目標(biāo)的運動流預(yù)測當(dāng)前幀以產(chǎn)生一個代表當(dāng)前幀及其預(yù)測之間的差的誤差信號的處理。這種方法在例如Staffan Ericsson的“用于混合預(yù)測/變換編碼的固定及自適應(yīng)預(yù)測器”，IEEE Transactions on Communications，COM-33，NO.12(1985年12月)；及在Ninomiya和Ohtsuka的“一種用于電視畫面的運動補償幀間編碼方案”，IEEE Transactions on Communications，COM-30，NO.1(1982年1月)中被描述。
二維DCT減少或利用圖象數(shù)據(jù)間的空間冗余，將一例如為8×8象素塊的數(shù)字圖象數(shù)據(jù)塊變換成一組變換系數(shù)數(shù)據(jù)。這種技術(shù)在Chen和Pratt的“場景自適應(yīng)編碼器”IEEE Transactions on Communications，COM-32，NO.3，(1984年3月)中被描述。通過量化器、折線掃描及VLC對這些變換系數(shù)數(shù)據(jù)的處理，侍傳輸?shù)臄?shù)據(jù)量可被有效地壓縮。
特別地，在運動補償DPCM中，基于對當(dāng)前幀及參考幀間的運動的估算，當(dāng)前幀數(shù)據(jù)自相應(yīng)的參考幀數(shù)據(jù)被預(yù)測。
該被估算的運動可用代表參考幀及當(dāng)前幀間的象素的位移的二維運動矢量描述。
已有兩種基本方法估算目標(biāo)的象素的位移一種是逐塊估算，另一種是逐象素的方法。
在逐塊運動估算中，將一當(dāng)前幀中的一塊與其參考幀中的各塊進行比較直至確定最佳匹配。自此，可以為被傳輸?shù)漠?dāng)前幀估算整個塊的幀間位移矢量(代表該象素塊已在幀間移動了多少)。
如在“ITU Telecmmunication Standardization Sector Study Group15，Working Party15/1Expert’s Group on VeryLow Bit Rate Visual Telephony，”中的“視頻編譯碼器測試模型，TMN4 Rev1”(1994年10月25日)中所公開的，這樣的塊匹配技術(shù)可在預(yù)測視頻序列中包括的P及B幀中被采用，其中P即預(yù)測幀表示自其先前幀(作為參考幀)被預(yù)測的幀，而B即雙向預(yù)測幀是自其先前及將來幀(作為參考幀)被預(yù)測的幀，在所謂的B幀編碼中，具體地說，采用一雙向運動估算技術(shù)以導(dǎo)出向前和向后位移矢量，其中該向前位移矢量是通過對一B幀及其先前在幀內(nèi)(I)或預(yù)測(P)幀間一目標(biāo)的運動進行估算而得到的，而向后位移矢量是根據(jù)其將來I或P幀(作為參考幀)而導(dǎo)出的。
然而，在逐塊運動估算中，在運動補償過程中可能會產(chǎn)生塊邊界處的成塊效應(yīng)，如果塊中的所有象素不以一相同的方式運動，則可以導(dǎo)致差的估算，從而降低整體的畫面質(zhì)量。
采用逐象素的方法，在另一方面，可確定用于各個及每個象素的位移。這種技術(shù)可取得象素值的更精確的估算并能容易地處理標(biāo)度改變(例如變焦、垂直于圖象平面的運動)。然而，在逐象素的方法中，由于是確定各個及每個象素的運動矢量，因此幾乎不可能將所有的運動矢量數(shù)據(jù)傳輸給一接收機。
引入的用于改善涉及由逐象素方法導(dǎo)致的剩余或多余的傳輸數(shù)據(jù)的問題的一種技術(shù)是基于特征點的運動估算方法。
在該基于特征點的運動估算技術(shù)中，用于一組被選取的象素，即特征點的運動矢量被傳輸給一接收機，其中各特征點被定義為能夠代表其相鄰象素的象素以便非特征點的運動矢量可從接收機中特征點的運動矢量中被還原或近似。在采用在美國流水號為08/367,520，題目為“利用逐象素運動估算編碼視頻信號的方法和裝置”的共有未決申請中公開的基于特征點的運動估算技術(shù)的編碼器中，首先從包含在先前幀中的全部象素中選取一些特征點。接著，確定被選取的特征點的運動矢量，其中各個運動矢量代表先前幀中的一特征點與當(dāng)前幀中的一對應(yīng)匹配點即最相似的象素間的空間位移。特別地，通過使用已知的塊匹配算法，在當(dāng)前幀內(nèi)的一搜索區(qū)中搜索對于各個特征點的匹配點，其中特征點塊被定義為包圍了選取的特征點的塊而搜索區(qū)被定義為包圍對應(yīng)的特征點的位置的一預(yù)定區(qū)域內(nèi)的區(qū)。
盡管通過使用上述基于特征點的運動估算技術(shù)可能會大大地減少待被發(fā)送的數(shù)據(jù)量，如果使用網(wǎng)格或/和邊緣技術(shù)仍要從不僅運動目標(biāo)而且沒有運動的靜止目標(biāo)選取大量的特征點。這么大量的特征點需要一相當(dāng)復(fù)雜的電路來完成上述的編碼方法，或仍要在用于檢測這些運動矢量的電路上施加高強度的計算負(fù)擔(dān)，并且，它還需要進一步減少待被發(fā)送的數(shù)據(jù)量以成功地實現(xiàn)具有例如64kb/s傳輸信道寬度的低比特率編譯碼器系統(tǒng)。
因此，本發(fā)明的一個目的是提供一種在圖象信號編碼裝置中使用的，采用基于特征點的運動估算有效地編碼數(shù)字視頻信號的雙向預(yù)測幀，從而有效地減少數(shù)字視頻信號的傳輸率。提供良好的畫面質(zhì)量的裝置和方法。
根據(jù)本發(fā)明的一個方面，提供了一種在圖象信號編碼系統(tǒng)中使用的方法，該方法通過使用基于特征點的運動估算，根據(jù)一數(shù)字視頻信號的一雙向預(yù)測幀(B幀)的兩重建的相鄰幀來編碼該B幀，該方法包括有以下步驟a)指定一第一重建的相鄰幀為一參考幀；b)根據(jù)重建的相鄰幀間的差檢測一表示該數(shù)字視頻信號的一運動目標(biāo)的運動的處理區(qū)，產(chǎn)生表示該被檢測的處理區(qū)的區(qū)信息；c)根據(jù)該區(qū)信息從參考幀的該被檢測的處理區(qū)內(nèi)包含的象素中選取多個象素作為一組特征點；
d)確定該當(dāng)前幀與參考幀間的一組運動矢量，該組運動矢量中的各個表示各特征點的運動；e)指定該組運動矢量為一第一組運動矢量并指定一第二重建的相鄰幀為該參考幀；f)重復(fù)步驟(c)及(d)以指定自重復(fù)的步驟(d)得到的一組運動矢量為一第二組運動矢量；及g)自該第一及第二組運動矢量中選取該組特征點的該組運動矢量，從而產(chǎn)生選取的運動矢量組及表示該被選取組的選取信息作為被編碼的B幀。
通過以下參照附圖對優(yōu)選實施例的描述中，本發(fā)明的以上及其它目的和特征將變得明顯，附圖中

圖1為根據(jù)本發(fā)明的具有一基于特征點的運動估算(ME)的編碼器的圖象信號編碼裝置；圖2示出了說明一輸入幀序列的概略性示意圖；圖3示出了在圖1中所示的運動補償-離散余弦變換(MC-DCT)編碼器的詳細(xì)方框圖；圖4給出了圖1中所示的ME編碼器的詳細(xì)方框圖；圖5給出了根據(jù)本發(fā)明的特征點選取操作中示例性圖；圖6給出了根據(jù)本發(fā)明的特征點運動估算操作的示例性圖；圖7示出了描述根據(jù)本發(fā)明的非準(zhǔn)特征點運動矢量搜索過程的說明性圖；圖8示出了根據(jù)本發(fā)明的具有一基于特征點的運動估算(ME)的解碼器的圖象信號解碼裝置；圖9示出了圖8中所示的MC-DCT解碼器的詳細(xì)方框圖；及圖10示出了圖9中所示的ME解碼器的詳細(xì)方框圖；參照圖1，示出了根據(jù)本發(fā)明的一圖象信號編碼裝置的方框圖。該圖象編碼系統(tǒng)包括一幀重排電路10，一運動補償-離散余弦變換(MC-DCT)編碼器20。一運動估算(ME)編碼器30，一熵編碼器40。
一輸入數(shù)字視頻信號包括一如圖2所示的由一在內(nèi)(I)幀I1、N個雙向預(yù)測(B)幀B1、B2、B3……BN及N-1個預(yù)測(P)幀P1、P2、P3……PN-1提供的輸入幀(或畫面)序列。因此，該包括I1、B1、P1、B2、P2、B3、P3的輸入幀序列被提供給幀重排電路10。在幀重排電路10，該輸入的幀序列被重排成例如I1、P1、B1、P2、B2、P3、B3的序列以編碼這些B幀。該被重排的幀序列然后被提供給MC-DCT編碼器20和ME編碼器30。也就是說，這些I及P幀信號被饋送給MC-DCT編碼器20，及該B幀信號被提供給ME編碼器30。
MC-DCT編碼器20用于分別通過兩種編碼方式，例如幀內(nèi)編碼方式及一幀間編碼方式，序列地編碼這些I及P幀信號，以產(chǎn)生一幀內(nèi)編碼I及一幀間編碼P幀信號，然后經(jīng)一開關(guān)SW1被傳送給熵編碼器40。該MC-DCT編碼器20還生成一重建的I及一重建的P幀信號，被傳送給ME編碼器30。
然后，該B幀信號被傳送給ME編碼器30，ME編碼器30通過使用重建的I及重建的P幀信號對其進行編碼，從而生成一被運動估算編碼的B幀信號。然后該被運動估算編碼的B幀信號經(jīng)開關(guān)SW1被傳送給熵編碼器40，其中該開關(guān)SW1由來自一系統(tǒng)控制器(未示出)的控制信號CS1進行致動。
在熵編碼器40，通過使用例如已知的可變長度編碼技術(shù)分別對被幀內(nèi)編碼的I幀信號、被幀間編碼的P幀信號及被運動估算編碼的B幀信號進行編碼；并作為被編碼的視頻信號發(fā)送給一發(fā)射機(未示出)，以進行發(fā)射。
參照圖2，提供了上述輸入幀序列的一示例性圖。如圖所示，當(dāng)當(dāng)前幀是一P幀P1時，在MC-DCT編碼器20，通過使用重建的I幀I1作為參考幀，在逐塊的基礎(chǔ)上獲得一組運動矢量SMV1，以相類似的方式，分別通過使用參考幀P1和P2獲得當(dāng)前幀P2和P3的運動矢量組SMV2和SMV3。
當(dāng)當(dāng)前幀為B幀B1時，在ME編碼器30，通過根據(jù)改進的基于運動估算的特征點，使用自MC-DCT編碼器20輸出的一重建I幀I1作為一第一參考幀獲得一組向前的運動矢量FMV1。以相類似的方式，通過使用來自MC-DCT編碼器20的重建的P幀P1作為一第二參考幀獲得該當(dāng)前幀B1的該組向后運動矢量BMV1。然后，ME編碼器30通過使用該組向前運動矢量FMV1及該組向后運動矢量BMV1，生成當(dāng)前幀B1的一組運動矢量為被運動估算編碼的B幀。
因此，根據(jù)本發(fā)明的優(yōu)選實施例，通過使用基于預(yù)測編碼方法的DCT對P幀P1、P2、P3進行編碼。該預(yù)測編碼方法采用基于塊的運動估算；并通過使用基于特征點的運動估算編碼方法對插入幀，即B幀B1、B2、B3進行編碼。
參照圖3，給出了圖1中所示的MC-DCT編碼器。該MC-DCT編碼器20包括一圖象信號編碼器105、一圖象信號解碼器113、一當(dāng)前幀預(yù)測電路150及兩先前幀存儲器，即一第一先前幀存儲器124和一第二先前幀存儲器125。
該MC-DCT編碼器20還包括一開關(guān)SW2和一開關(guān)SW3，它們被用于選擇性地執(zhí)行兩種幀編碼方式幀內(nèi)編碼方式和幀間編碼方式。該兩開關(guān)SW2和SW3也如先前技術(shù)中已知的那樣，由來自系統(tǒng)控制器的一編碼方式控制信號CS2進行同時致動。
在幀內(nèi)編碼方式中，I幀I1作為一當(dāng)前幀信號被直接傳送給圖象信號編碼器105，其中例如通過使用一離散余弦變換(DCT)及任何已知的量化方法，該當(dāng)前幀信號被編碼成量化的變換系數(shù)組。然后，這些量化的變換系數(shù)作為被幀內(nèi)編碼的I幀信號被發(fā)送給圖1中所示的熵編碼器40和一圖象信號解碼器113。在熵編碼器107，通過使用例如一可變長度編碼技術(shù)，這些來自圖象信號編碼器105的量化的變換系數(shù)被一起編碼，并將該被編碼的視頻信號發(fā)送給一發(fā)射機(未示出)，以用于發(fā)送。
另一方面，該圖象信號解碼器113通過采用一逆量化及一逆離散余弦變換將來自圖象信號解碼器105的該被量化的變換系數(shù)轉(zhuǎn)換后成一重建的I幀信號。然后該來自圖象信號解碼器113的重建的幀信號被存儲在第一先前幀存儲器124中。
在幀間編碼方式中，該P幀作為一當(dāng)前幀信號被提供給減法器102和當(dāng)前幀預(yù)測電路150。
在當(dāng)前幀預(yù)測電路150中，通過使用普通的基于運動補償技術(shù)的塊；對該當(dāng)前幀和來自幀存儲器124的重建的I幀信號(該參考信號)進行處理以預(yù)測該當(dāng)前幀；生成被預(yù)測的當(dāng)前幀信號及運動矢量組。
在減法器102，從當(dāng)前幀信號中減去該被預(yù)測的當(dāng)前幀信號，而結(jié)果數(shù)據(jù)，即表示該差分象素值的一誤差信號被傳送給圖象信號編碼器105，其中例如通過使用一DCT及任何已知的量化方法，將該誤差信號編碼成一組量化的變換系數(shù)。也就是說，通過從該當(dāng)前幀中減去該被預(yù)測的當(dāng)前幀而獲得的該誤差信號被進行DCT編碼。
然后，該被量化的變換系數(shù)連同該組運動矢量一起作為幀間編碼的P幀信號經(jīng)開關(guān)SW3被發(fā)送給一熵編碼器107和圖象信號解碼器113。在熵編碼器107，通過使用例如一可變長度編碼技術(shù)，對自圖象信號編碼器105提供的被幀間編碼的P幀信號及自當(dāng)前幀預(yù)測電路150發(fā)送的運動矢量一起進行編碼；并將該被編碼的視頻信號發(fā)送給一發(fā)射機(未示出)，用于發(fā)射。
在另一方面，通過采用逆量化和逆離散余弦變換，圖象信號解碼器113將來自圖象信號解碼器105的被量化的變換系數(shù)轉(zhuǎn)換回成一重建的誤差信號。
該來自圖象信號解碼器113的重建的誤差信號及來自當(dāng)前幀預(yù)測電路150的預(yù)測的當(dāng)前幀信號經(jīng)開關(guān)SW3在加法器115被組合，從而提供一重建的P幀信號存儲于第一先前幀存儲器124中。同時，預(yù)存在第一先前幀存儲器124中的重建的I幀信號被轉(zhuǎn)送入第二先前幀存儲器125中。只要圖象編碼操作被執(zhí)行，該過程就被序列地重復(fù)。
現(xiàn)在參照圖4，給出了圖1中所示的ME編碼器30的詳細(xì)方框圖。如圖所示，該ME編碼器30包括一處理區(qū)檢測電路310，一邊緣檢測電路312，一網(wǎng)格信息生成器314、一特征點選取電路315、一運動矢量估算器316和一運動矢量確定電路318。
當(dāng)自圖1中所示的重排電路10輸出的B幀B1作為當(dāng)前幀信號F(t)被提供給ME編碼器30時，自第一及第二先前幀存儲器124和125輸出的重建的I幀和重建的P幀作為第一及第二參考幀信號F(t+1)和F(t-1)被提供給處理區(qū)檢測電路310。
在處理區(qū)檢測電路310，通過使用兩參考幀信號F(t+1)和F(t-1)之間的差對表示輸入數(shù)字視頻信號的一運動目標(biāo)的運動的處理區(qū)進行檢測。也就是說，從相應(yīng)的第二參考幀信號F(t-1)的各象素值中減去第一參考幀信號F(t+1)的各象素值。結(jié)果，將到一包含有多個象素差值的幀差信號。
然后將各象素差值與一預(yù)定的閾值進行比較。結(jié)果，確定一幀差信號的區(qū)域，其中該區(qū)域表示一包含有多個大于或等于預(yù)定閾值的象素差值的象素區(qū)域。該預(yù)定閾值可以通過反射包含在該數(shù)字視頻信號中的噪聲分量及攝像機記錄(Penning)矢量而被預(yù)先選取。然后處理區(qū)檢測電路310產(chǎn)生表示對應(yīng)的幀差信號區(qū)的檢測處理區(qū)的處理區(qū)信息。該處理區(qū)信息被傳送給特征點選取電路315和運動矢量選取電路318。
該ME編碼器30還包括一開關(guān)SW4，該開關(guān)SW4被用于序列地執(zhí)行兩種運動估算方式一向前運動估算方式和一向后運動估算方式，該開關(guān)SW4由來自系統(tǒng)控制器的一方式控制信號CS4進行序列地開關(guān)。
在向前運動估算方式中，重建的I幀作為第一參考幀信號F(t+1)被饋送給邊緣檢測電路312、運動矢量估算器316和運動矢量選取電路318。
在邊緣檢測電路312，通過使用例如已知Sobel邊緣檢測器，檢測第一參考幀信號F(t+1)中的運動目標(biāo)的邊緣。表示該被檢測的邊緣的邊緣信息被傳送給了特征點選取電路315。網(wǎng)格點生成電路314用于生成一表示例如具有多個交叉點的一矩形網(wǎng)格的預(yù)選取的網(wǎng)格信息且該預(yù)選取的網(wǎng)格信息也被傳送給特征點選取電路315。
在特征點選取電路315，通過使用處理區(qū)信息、邊緣信息和預(yù)定的網(wǎng)格信息從包含在第一參考幀信號F(t+1)的處理區(qū)中的象素中選取多個特征點。也就是說，如圖5所示，為各網(wǎng)格點，例如G4設(shè)置一非重疊的搜索范圍，例如SR4，其中參考標(biāo)志PR表示例如被選取的處理區(qū)。如果搜索范圍SR4內(nèi)的一邊緣點，例如E1的值為最大，則該邊緣點，例如E1變成該網(wǎng)格點，例如G4的一特征點。該網(wǎng)格與該邊緣EL的一交叉點G5也被選取為一特征點。另一方面，在其搜索范圍內(nèi)不包含有邊緣點的網(wǎng)格G1、G2和G3的節(jié)點不被選取為特征點。因此，由于通過使用網(wǎng)格和邊緣技術(shù)選取了該組特征點，這些被選取的特征點被定義為可代表該數(shù)字視頻信號的目標(biāo)運動的象素。
在運動矢量搜索單元316，根據(jù)第一參考幀信號F(t+1)和當(dāng)前幀信號檢測所選取的特征點的第一組運動矢量。第一組中的各運動矢量表示第一參考幀中的一特征點與當(dāng)前幀中與其最相似的一象素之間的一空間位移。有許多處理算法可用于在逐象素的基礎(chǔ)上檢測這些運動矢量。如圖6中所示，在本發(fā)明的優(yōu)選實施例中，使用了一塊匹配算法也就是說，先形成在其中心有一特征點F1的第一參考幀的一特征點塊K1。然后，在該特征點塊K1和當(dāng)前的一通常較大的P×Q，例如10×10象素的搜索區(qū)K2中包括的多個相同大小的候選塊中的每一個，例如K3之間通過使用一誤差函數(shù)，例如MAE(平均絕對誤差)或MSE(均方誤差)進行一相似性計算后，確定該特征點塊的一運動矢量，該搜索范圍K2被確定位于該搜索區(qū)PR2內(nèi)，而運動矢量MV1是特征點塊F1和候選塊K3之間的產(chǎn)生一最小誤差函數(shù)的一位移。然后將確定的運動矢量MV1設(shè)定為特征點F1的運動矢量以獲得所有特征點的第一組運動矢量，并傳送給運動矢量選取電路318。
在向后運動估算方式中，將重建的P幀作為第二參考幀信號F(t-1)經(jīng)開關(guān)SW4饋送給邊緣檢測電路312、運動矢量估算器316和運動矢量選取電路318。通過使用與在上述向前運動估算中所用的方式相同的方式(除了是從第二參考幀F(xiàn)(t-1)中選取一組特征點及通過使用第二參考幀F(xiàn)(t-1)和當(dāng)前幀獲得第二組運動矢量外)確定第二組運動矢量。然后該第二組運動矢量被傳送給運動矢量選取電路318。
在運動矢量選取電路318，通過使用第一組及第二組運動矢量，一組運動矢量被選取為被運動估算編碼的B幀信號，其中被選取的該組運動矢量用于生成一產(chǎn)生一相對于噪聲比的最小的峰值信號(PSNR)的被更相似預(yù)測的當(dāng)前幀。因此，通過使用第一及第二組運動矢量初始地確定了兩被預(yù)測的當(dāng)前幀，例如向前和向后預(yù)測的當(dāng)前幀。
首先，通過使用第一組運動矢量、當(dāng)前幀及第一參考幀F(xiàn)(t+1)確定向前預(yù)測的當(dāng)前幀。為了獲得向前預(yù)測當(dāng)前幀，通過使用第一組向前運動矢量及區(qū)信息確定包含在當(dāng)前幀中的所有象素的第一群運動矢量。該第一群運動矢量包括兩子群運動矢量，例如一用于準(zhǔn)特征點的第一子群運動矢量，及一用于非準(zhǔn)特征點的第二子群運動矢量，其中這些準(zhǔn)特征點表示從包含在先前幀的處理區(qū)中的特征點移位了第一組運動矢量的當(dāng)前幀的象素；及這些非準(zhǔn)特征點表示包含在當(dāng)前幀的處理區(qū)中的其余象素。通過使用第一組運動矢量確定這些準(zhǔn)特征點，然后該第一組運動矢量被轉(zhuǎn)換成用于確定的準(zhǔn)特征點的第一子群運動矢量。然后通過使用第一子群運動矢量檢測當(dāng)前幀的處理區(qū)中包含的非準(zhǔn)特征點的第二子群運動矢量。如圖7中所示，為了獲得各非準(zhǔn)特征點，例如PM的各運動矢量，一運動搜索范圍，例如QS被設(shè)定。位于該運動搜索范圍內(nèi)的準(zhǔn)特征點QF1和QF2的運動矢量QMV1和QMV2被用于計算非準(zhǔn)特征點PM的運動矢量。如上所述，當(dāng)選取該運動搜索范圍中包含的多個準(zhǔn)特征點作為有影響的準(zhǔn)特征點時，該非準(zhǔn)特征點PM的運動矢量QMVPM由以下公式計算得到QMVPM=Σi=1N(QMViLi×Wi)Σj=1N(1Li×Wi)---(1)]]>其中QMVi是一第i個準(zhǔn)特征點的運動矢量，N是當(dāng)前幀中準(zhǔn)特征點的數(shù)量，Li是第i個準(zhǔn)特征點與非準(zhǔn)特征點PM之間的距離；及Wi是第i個準(zhǔn)特證點的加權(quán)因數(shù)。如果第i個準(zhǔn)特征點包含在運動搜索范圍QS中作為有影響的準(zhǔn)特征點，加權(quán)因數(shù)為1，否則為0。以同樣的方式，確定所有非準(zhǔn)特征點的第二子群運動矢量。
準(zhǔn)特征點的第一子群運動矢量及非準(zhǔn)特征點的第二子群運動矢量被設(shè)定至包含在當(dāng)前幀中的所有象素的第一群運動矢量，其中位于當(dāng)前幀中處理區(qū)外側(cè)的象素的運動矢量被設(shè)置成零。
然后在向前預(yù)測的當(dāng)前幀的預(yù)測中使用當(dāng)前幀中所有象素的第一群運動矢量。也就是說，通過使用第一群中包含的各運動矢量，從第一參考幀中抽取一待被包含在預(yù)測的當(dāng)前幀中的各象素值，從而提供向前預(yù)測的當(dāng)前幀信號。
以相同的方式，然后根據(jù)第二參考幀和當(dāng)前幀，使用自第二組運動矢量導(dǎo)出的第二群運動矢量，確定向后預(yù)測的當(dāng)前幀。
然后，根據(jù)向前及向后預(yù)測的幀從第一及第二組運動矢量選取這些特征點的一組運動矢量。也就是說，所選取的該組運動矢量用于生成一產(chǎn)生最小的對于噪聲比的峰值信號(PSNR)的被更相似預(yù)測的當(dāng)前幀。然后將自運動矢量選取電路318輸出的選取的該組運動矢量及表示其的一選取信息作為運動估算編碼的B幀信號經(jīng)開關(guān)SW1傳送給熵編碼器40。
參照圖8，根據(jù)有根據(jù)本發(fā)明的與圖1中所示的圖象信號編碼裝置相對應(yīng)的一圖象信號解碼裝置。該解碼系統(tǒng)用于對包括被幀內(nèi)編碼I及幀間編碼P幀信號和被運動估算編碼的B幀信號的編碼視頻信號進行解碼；并包括一熵解碼器810，一MC-DCT解碼器820，一ME解碼器830和一幀重排電路840。
具有被幀內(nèi)編碼的I及被幀間編碼的P幀信號和被運動估算編碼的B幀信號的該編碼視頻信號經(jīng)傳輸信道被傳送給圖象信號解碼裝置。被幀內(nèi)編碼的I幀信號及被幀間編碼的P幀信號經(jīng)熵編碼器810和開關(guān)SW5被饋送給MC-DCT編碼器820。該MC-DCT編碼器820分別將它們轉(zhuǎn)換成一重建的I幀信號和一重建的P幀信號。然后將這些重建的I及P幀信號傳送給幀重排電路840。
另一方面，將被運動估算編碼的B幀信號經(jīng)熵編碼器810和開關(guān)SW5傳送給ME解碼器830。解碼器830將其轉(zhuǎn)換成一重建的B幀信號。然后將該重建的B幀信號傳送給幀重排電路840。
在幀重排電路840，將自MC-DCT及ME編碼器820和830輸出的一重建幀(或畫面)序列，例如重建的幀I1、P1、B1、P2、B2、P3、B3……轉(zhuǎn)換成一包括I1、B1、P1、B2、P2、B3、P3……的重排的重建幀序列。然后將該重排的重建幀序列提供給顯示器屏幕(未示出)以在其上顯示。
參照圖9，說明了在圖8中示出的一MC-DCT解碼器820。為方便起見，出現(xiàn)在圖3及圖9中的相似部分用相同的參考數(shù)字表示。當(dāng)以與編碼器系統(tǒng)中使用的相似方式將幀內(nèi)編碼的I幀信號經(jīng)一信息分配器910饋送給圖象解碼器113’，該圖象信號解碼器113’通過采用一逆量化和一逆離散余弦變換將幀內(nèi)編碼的I幀信號的量化的變換系數(shù)轉(zhuǎn)換回成一重建的I幀信號。然后將來自圖象信號解碼器113’的該重建的I幀信號存儲在第三先前幀存儲器918中。
當(dāng)將幀間編碼的P幀信號傳送給信息分配器910時，信息分配器910將幀間編碼的P幀信號分為量化的變換系數(shù)和一組運動矢量，它們分別被提供給圖象解碼器113’和當(dāng)前幀預(yù)測電路916。在當(dāng)前幀預(yù)測電路916，通過使用該組運動矢量預(yù)測當(dāng)前幀。另一方面，在圖象解碼器電路113’，通過采用逆量化和逆離散余弦變換將這些量化的變換系數(shù)轉(zhuǎn)換回成一重建的誤差信號。
然后，在加法器917中將重建的誤差信號和預(yù)測的當(dāng)前幀信號相組合，從而提供一重建的幀信號，存儲在第三先前幀存儲器918中。同時，將預(yù)存在第三先前幀存儲器918中的重建的I幀信號轉(zhuǎn)送入第四先前幀存儲器920。只要圖象解碼操作被執(zhí)行，該過程被序列地重復(fù)。
現(xiàn)在參照圖10，說明了在圖8中示出的一ME解碼器830。以與圖9中采用的相同的方式，在圖4及10中出現(xiàn)的相似部分用相同的參考數(shù)字表示。當(dāng)將運動估算編碼的B幀傳送給ME解碼器830時，自第三及第四先前幀存儲器918和920輸出的重建的I幀和重建的P幀作為第一和第二參考幀信號F(t+1)和F(t-1)被提供給處理區(qū)檢測電路310’。在處理區(qū)檢測電路310’，以與ME編碼器中采用的方式相同的方式，通過使用兩參考幀信號F(t+1)和F(t-1)之間的差檢測表示運動目標(biāo)的運動的一處理區(qū)。
在另一方面，通過一由運動估算編碼的B幀的選取信息致動的開關(guān)SW6來選取該參考幀信號。該選取的參考幀信號被饋送給邊緣檢測電路312’和運動補償電路930。然后，以與ME編碼器中使用的相同方式，通過根據(jù)處理區(qū)信息和選取的參考幀使用邊緣檢測電路312’，網(wǎng)格點生成電路314’和特征點檢測電路315’，來選取一組特征點。
通過使用在圖4中所示的運動矢量選取器318中所用的上述當(dāng)前幀預(yù)測處理，運動補償電路930接收該運動估算編碼的B幀信號的該組運動矢量并生成一重建的B幀信號。
正如從上面可以看到的，可以容易地理解到由于本發(fā)明的圖象信號編碼裝置采用基于特征點的運動估算的編碼方法，對雙向預(yù)測幀進行編碼，它可能大大減少了待被發(fā)送的數(shù)據(jù)量而不使圖象質(zhì)量劣化。而且，在本發(fā)明的基于特征點的運動估算的編碼方法中，自處理區(qū)選取的有限量的特征點被用于運動估算，從而進一步減少計算負(fù)擔(dān)和待被發(fā)送的運動矢量的量，從而進一步提高了編碼效率。
盡管已參照具體實施例對本發(fā)明進行了圖示和描述，但在不超出由所附權(quán)利要求定義的本發(fā)明的范圍和精神的前提下，本領(lǐng)域的熟練技術(shù)人員顯然可以改進許多變化和改型。
權(quán)利要求
1.一種在圖象信號編碼系統(tǒng)中使用的方法，通過采用基于特征點的運動估算，根據(jù)數(shù)字視頻信號的一雙向預(yù)測幀(B幀)的兩重建的相鄰幀對該B幀進行編碼以生成被編碼的B幀信號，該方法包括有以下步驟(a)指定一第一重建的相鄰幀為一參考幀；(b)根據(jù)這兩重建的相鄰幀間的差，檢測表示該數(shù)字視頻信號的一運動目標(biāo)的一運動的一處理區(qū)，以生成表示該被檢測的處理區(qū)的區(qū)信息；(c)根據(jù)該區(qū)信息，從該參考幀的被檢測的處理區(qū)中包含的象素中選取多個象素作為一組特征點。(d)確定該當(dāng)前幀和參考幀之間的一組運動矢量，該組中的各運動矢量表示各特征點的一運動；(e)指定該組運動矢量作為一第一組運動矢量并指定一第二重建的相鄰幀為參考幀；(f)重復(fù)步驟(c)和(d)以將自重復(fù)的步驟(d)獲得的該組運動矢量作為一第二組運動矢量；及(g)從第一及第二組運動矢量中選取該組特征點的運動矢量組，從而生成選取的運動矢量組及表示該選取組的選取信息為編碼的B幀。
2.如權(quán)利要求1所述的方法，其中所述的步驟(b)包括有以下步驟(b1)從第二重建的相鄰幀的相應(yīng)各象素值中減去第一重建的相鄰幀的各象素值，生成包含有多個象素差值的一幀差信號；及(b2)將各象素差值與一預(yù)定的閾值進行比較，生成該處理區(qū)信息，其中該區(qū)信息表示對應(yīng)于包含多個象素差值的幀差信號的一區(qū)的被檢測的處理區(qū)，各象素差值大于或等于預(yù)定的閾值。
3.如權(quán)利要求2所述的方法，其中所述的步驟(g)包括有以下步驟(g1)根據(jù)第一組運動矢量，確定包含在B幀的處理區(qū)中的所有象素的第一群運動矢量；(g2)根據(jù)第二組運動矢量，確定包含在B幀的處理區(qū)中的所有象素的第二群運動矢量；(g3)通過使用第一及第二群運動矢量，分別產(chǎn)生第一預(yù)測的B幀和第二預(yù)測的B幀；及(g4)從第一及第二組運動矢量中選取該組特征點的運動矢量組，其中選取的該運動矢量組生成一相對于該B幀被更相似預(yù)測的B幀。
4.如權(quán)利要求3所述的方法，其中所述的步驟(g1)包括有以下步驟(g11)將第一組運動矢量轉(zhuǎn)換成B幀中包含的準(zhǔn)特征點象素的第一子群運動矢量，其中這些準(zhǔn)特征點象素表示從第一參考幀的特征點象素移位過第一組運動矢量的B幀的多個象素；及(g12)通過使用第一子群運動矢量為包含在B幀的處理區(qū)中的其余象素抽取一第二子群運動矢量，從而產(chǎn)生第一和第二子群運動矢量作為第一群運動矢量。
5.如權(quán)利要求4所述的方法，其中所述的步驟g (2)包括有以下步驟(g21)將第二組運動矢量轉(zhuǎn)換成B幀中包含的準(zhǔn)特征點象素的第一子群運動矢量，其中這些準(zhǔn)特征點象素表示從第二參考幀的特征點象素移位過第二組運動矢量的B幀的多個象素；及(g22)通過使用第一子群運動矢量為包含在B幀的處理區(qū)中的其余象素抽取第二子群運動矢量，從而產(chǎn)生第一和第二子群運動矢量作為第二群運動矢量。
6.如權(quán)利要求5所述的方法，其中所述步驟(g12)和g(22)包括有以下步驟(g221)指定當(dāng)前幀的各其余象素為一目標(biāo)象素(g222)選取包圍該目標(biāo)象素的一預(yù)定區(qū)域中所包含的一個或多個準(zhǔn)特證點象素；及(g223)通過使用選取的準(zhǔn)特征點象素的運動矢量計算該目標(biāo)象素的一運動矢量，從而生成所有其余象素的第二子群運動矢量。
7.如權(quán)利要求6所述的方法，其中所述的步驟(c)包括以下步驟通過使用網(wǎng)格和邊緣檢測方法從參考幀中選取該組特征點象素，該網(wǎng)格和邊緣檢測方法選取位于邊緣上的象素作為特征點象素，其中各被選取的象素位于包圍一相應(yīng)的網(wǎng)格節(jié)點的預(yù)定的搜索范圍內(nèi)并具有包含在預(yù)定的搜索范圍內(nèi)的象素值中的一最大值。
8.如權(quán)利要求7所述的方法，其中該網(wǎng)格是一矩形網(wǎng)格。
9.一種用于圖象信號編碼系統(tǒng)中的裝置，通過采用基于特征點的運動估算的方法，根據(jù)一數(shù)字視頻信號的雙向預(yù)測幀(B幀)的兩重建的相鄰幀對該B幀進行編碼，以生成一被編碼的B幀信號，該裝置包括有用于提供一第一重建的相鄰幀作為第一參考幀并提供一第二重建的相鄰幀作為第二參考幀的裝置；檢測裝置，用于根據(jù)該第一及第二重建的相鄰幀間的差，對表示該數(shù)字視頻信號的一運動目標(biāo)的一運動的處理區(qū)進行檢測，以生成表示該被檢測的處理區(qū)的區(qū)信息；第一選取裝置，用于根據(jù)該區(qū)信息，從該第一及第二參考幀的該被檢測的處理區(qū)中包含的象素中選取兩群象素分別作為第一及第二組特征點；運動估算裝置，用于對當(dāng)前及第一參考幀間的第一組運動矢量進行估算并確定當(dāng)前及第二參考幀間的第二組運動矢量，各運動矢量表示各特征點的一運動；第二選取裝置，用于從第一及第二組運動矢量中選取該組特征點的運動矢量組，從而生成選取的運動矢量組及表示該選取組的選取信息作為編碼的B幀。
10.如權(quán)利要求9所述的裝置，其中所述檢測裝置包括用于從第二重建的相鄰幀的相應(yīng)的各象素值中減去第一重建的相鄰幀的各象素值，生成包含多個象素值的一幀差信號的裝置；及用于將各象素差值與一預(yù)定閾值相比較，生成該處理區(qū)信息的裝置，其中該區(qū)信息表示與包含多個象素差值的該幀差信號的一區(qū)相對應(yīng)的被檢測的處理區(qū)，各象素差值大于或等于該預(yù)定閾值。
11.如權(quán)利要求10所述的裝置，其中所述第二選取裝置包括第一確定裝置，用于根據(jù)第一組運動矢量確定包含在B幀的處理區(qū)中的所有象素的第一群運動矢量；第二確定裝置，用于根據(jù)第二組運動矢量確定包含在B幀的處理區(qū)中的所有象素的第二群運動矢量；用于通過使用第一及第二群運動矢量，分別產(chǎn)生一第一預(yù)測的B幀和一第二預(yù)測的B幀；及用于從第一及第二組運動矢量中選取該組特征點的運動矢量組的裝置，其中該選取的運動矢量組生成一相對于B幀被更相似預(yù)測的B幀。
12.如權(quán)利要求11所述的裝置，其中所述第一確定裝置包括用于將第一組運動矢量轉(zhuǎn)換成包含在B幀中的準(zhǔn)特征點象素的第一子群運動矢量的裝置，其中這些準(zhǔn)特征點象素表示從第一參考值的特征點象素移位過第一組運動矢量的多個B幀的象素；及用于通過使用第一子群運動矢量，抽取包含在B幀的處理區(qū)中的其余象素的第二子群運動矢量，從而產(chǎn)生第一及第二子群運動矢量作為第一群運動矢量的裝置。
13.如權(quán)利要求12所述的裝置，其中所述第三確定裝置包括用于將第二組運動矢量轉(zhuǎn)換成包含在B幀中的準(zhǔn)特征點象素的第一子群運動矢量的裝置，其中這些準(zhǔn)特征點象素表示從第二參考幀的特征點象素移位過第二組運動矢量的多個B幀的象素；及用于通過使用第一子群運動矢量，抽取包含在B幀的處理區(qū)中的其余象素的第二子群運動矢量，產(chǎn)生第一及第二子群運動矢量作為第二群運動矢量的裝置。
14.如權(quán)利要求13所述的裝置，其中所述抽取裝置包括用于指定當(dāng)前幀的各其余象素作為一目標(biāo)象素的裝置；用于選取在包圍該目標(biāo)象素的一預(yù)定區(qū)域中包含的一個或多個準(zhǔn)特征點象素；及用于通過使用所選取的準(zhǔn)特征點象素的運動矢量，計算該目標(biāo)象素的一運動矢量，從而生成所有其余象素的第二子群運動矢量。
15.如權(quán)利要求14所述的裝置，其中所述第一選取裝置包括用于通過使用一網(wǎng)格及邊緣檢測方法從參考幀中選取該組特征點象素的裝置，該網(wǎng)格及邊緣檢測方法選取位于邊緣上的象素作為特征點象素，其中各選取的象素位于包圍該網(wǎng)格的一相應(yīng)節(jié)點的一預(yù)定搜索范圍內(nèi)并具有包含在該預(yù)定搜索范圍內(nèi)的象素值中的一最大值。
16.如權(quán)利要求15所述的裝置，其中該網(wǎng)格是一矩形網(wǎng)格。
17.一種在圖象信號解碼系統(tǒng)中使用的方法，通過采用一基于特征點的運動估算的方法，根據(jù)一編碼的數(shù)字視頻信號的一編碼的雙向預(yù)測幀(編碼的B幀)的兩重建的相鄰幀，對該編碼的B幀進行解碼，其中該B幀包括一組運動矢量和選取信息，該方法包括有以下步驟(a)根據(jù)該選取信息選取一個重建的相鄰幀作為一參考幀；(b)根據(jù)該兩重建的相鄰幀間的差對表示該數(shù)字視頻信號的一運動目標(biāo)的一運動的處理區(qū)進行檢測，生成表示該被檢測的處理區(qū)的區(qū)信息；(c)根據(jù)該區(qū)信息，從包含在該參考幀的被檢測的處理區(qū)中的象素中選取多個象素作為一組特征點；及(d)通過使用該組運動矢量、被選取的該組特征點及該參考幀，提供被重建的B幀；
18.如權(quán)利要求17所述的方法，其中所述步驟(b)包括以下步驟(b1)從第二重建的相鄰幀的相應(yīng)的各象素值中減去第一重建的相鄰幀的各象素值，生成包含多個象素差值的一幀差信號；及(b2)將各象素差值與一預(yù)定閾值相比較，生成該處理區(qū)信息，其中該區(qū)信息表示與包含多個象素差值的該幀差信號的一區(qū)相對應(yīng)的被檢測的處理區(qū)，各象素差值大于或等于該預(yù)定的閾值。
19.如權(quán)利要求18所述的方法，其中所述的步驟(d)包括以下步驟(d1)根據(jù)該組運動矢量確定包含在B幀的處理區(qū)中的所有象素的一群運動矢量；及(d2)通過使用該群運動矢量及該參考幀，產(chǎn)生被重建的B幀和一第二預(yù)測的B幀。
20.如權(quán)利根據(jù)19所述的方法，其中步驟(c)包括有以下步驟通過使用一網(wǎng)格及邊緣檢測方法，從該參考幀中選取一組特征點象素，該網(wǎng)格及邊緣檢測方法選取位于邊緣上的象素作為特征點象素，其中各選取的象素位于包圍該網(wǎng)格的一相應(yīng)節(jié)點的一預(yù)定的搜索范圍內(nèi)并具有該預(yù)定的搜索范圍中包含的象素值中的一最大值。
21.一種用于在一象圖信號解碼系統(tǒng)中的裝置，通過采用一基于特征點的運動估算的方法，根據(jù)一編碼的數(shù)字視頻信號的編碼的雙向預(yù)測幀(編碼的B幀)的兩重建的相鄰幀，對該編碼的B幀進行解碼，生成一重建的B幀信號，其中該B幀包括一組運動矢量和選取信息，該裝置包括第一選取裝置，用于根據(jù)該選取信息，選取一重建的相鄰幀作為一參考幀；檢測裝置，用于根據(jù)該兩重建的相鄰幀間的差，檢測表示該數(shù)字視頻信號的一運動目標(biāo)的一運動的一處理區(qū)，生成表示該被檢測的處理區(qū)的區(qū)信息；第二選取裝置，用于根據(jù)該選取信息，從包含在該參考幀的被檢測的處理區(qū)中的象素內(nèi)選取多個象素作為一組特征點；及生成裝置，用于通過使用該組運動矢量，被選取的該組特征點及該參考幀，提供該被重建的B幀。
22.如權(quán)利要求21所述的裝置，其中所述檢測裝置包括用于從第二重建的相鄰幀的相應(yīng)的各象素值中減去第一重建的相鄰幀的各象素值，生成包含多個象素差值的一幀差信號的裝置；及用于將各象素差值與一預(yù)定閾值相比較，生成該處理區(qū)信息的裝置，其中該區(qū)信息表示與包含多個象素差值的該幀差信號的一區(qū)相對應(yīng)的被檢測的處理區(qū)，各象素差值大于或等于該預(yù)定閾值。
23.如權(quán)利要求22所述的裝置，其中所述的生成裝置包括(d1)根據(jù)該組運動矢量，確定在B幀的處理區(qū)中包含的所有象素的一群運動矢量的裝置；及(d2)通過使用該群運動矢量及該參考幀，產(chǎn)生該被重建的B幀及一第二預(yù)測的B幀的裝置。
24.如權(quán)利要求23所述的裝置，其中該第二選取裝置包括有通過使用一網(wǎng)格及邊緣測方法，從該參考幀中選取該組特征點象素的裝置。該網(wǎng)格及邊緣檢測方法選取位于邊緣上的象素作為特征點象素，其中各選取的象素位于包圍該網(wǎng)絡(luò)的一相應(yīng)節(jié)點的一預(yù)定的搜索范圍內(nèi)并具有包含在該預(yù)定的搜索范圍中的象素的一最大值。
全文摘要
一種用于在一圖象信號編碼系統(tǒng)中的裝置，該裝置通過使用一特征點選取電路，分別選取包含在第一及第二參考幀的一檢測處理區(qū)中兩群象素作為第一及第二組特征點；然后通過使用一特征點運動估算電路確定當(dāng)前幀與第一參考幀之間的第一組運動矢量及當(dāng)前幀與第二參考幀之間的第二組運動矢量。從該兩組運動矢量中選取該組特征點的運動矢量組，從而生成該選取的運動矢量組及表示該選取組的選取信息作為編碼的B幀。
文檔編號H03M7/36GK1152844SQ9612029
公開日1997年6月25日 申請日期1996年10月28日 優(yōu)先權(quán)日1995年10月28日
發(fā)明者李敏燮 申請人:大宇電子株式會社