專利名稱：包含隨機(jī)目標(biāo)對(duì)象的活動(dòng)圖象的編碼和解碼系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包含隨機(jī)目標(biāo)對(duì)象的活動(dòng)圖象的編碼和解碼系統(tǒng)。
近來(lái)，為了適用于可視電話和電視會(huì)議系統(tǒng)以極低比特率發(fā)送活動(dòng)圖象的國(guó)際標(biāo)準(zhǔn)取得進(jìn)展。為以極低比特率發(fā)送電視圖象，人們廣泛研究使用面向?qū)ο蟮木幋a技術(shù)，這種編碼技術(shù)將活動(dòng)圖象中的有意義的目標(biāo)分割然后將分割后的目標(biāo)發(fā)送出去。面向?qū)ο蟮木幋a技術(shù)被認(rèn)為是以極低比特率發(fā)送活動(dòng)圖象的一項(xiàng)基本技術(shù)。在活動(dòng)圖象的面向?qū)ο蟮木幋a中，需要運(yùn)動(dòng)預(yù)測(cè)技術(shù)以去掉關(guān)于目標(biāo)的時(shí)間相關(guān)性并且為了提高編碼效率還需要更精確的運(yùn)動(dòng)預(yù)測(cè)技術(shù)。
本發(fā)明的一個(gè)目的是為包含隨機(jī)目標(biāo)的活動(dòng)圖象提供一種編碼裝置，在該裝置中，從圖象中提取的隨機(jī)目標(biāo)被表示為網(wǎng)格，并且各網(wǎng)格的控制點(diǎn)被用作圖象的運(yùn)動(dòng)預(yù)測(cè)編碼。
本發(fā)明的另一個(gè)目的是提供一種解碼裝置，該解碼裝置將上述編碼裝置編得的數(shù)據(jù)解碼。
為實(shí)現(xiàn)本發(fā)明的上述目的，提供一種用于將包含目標(biāo)對(duì)象的當(dāng)前圖象進(jìn)行編碼的活動(dòng)圖象編碼裝置，該活動(dòng)圖象編碼裝置包括；目標(biāo)對(duì)象提取單元，用以從接收到的當(dāng)前圖象數(shù)據(jù)中提取包含在當(dāng)前圖象中的目標(biāo)對(duì)象并且輸出表示所提取目標(biāo)輪廓的目標(biāo)輪廓數(shù)據(jù)；預(yù)測(cè)編碼單元，利用當(dāng)前圖象數(shù)據(jù)、參考圖象的預(yù)存數(shù)據(jù)、劃分一個(gè)當(dāng)前圖象和參考圖象的網(wǎng)格的各控制點(diǎn)實(shí)現(xiàn)預(yù)測(cè)編碼操作并且產(chǎn)生涉及控制點(diǎn)的運(yùn)動(dòng)信息，當(dāng)前圖象和參考圖象之間的差值數(shù)據(jù)以及預(yù)測(cè)圖象數(shù)據(jù)；目標(biāo)差值產(chǎn)生器，用以從來(lái)自預(yù)測(cè)編碼單元的差值數(shù)據(jù)中選擇目標(biāo)區(qū)域內(nèi)的差值數(shù)據(jù)從而根據(jù)目標(biāo)提取單元輸出的目標(biāo)輪廓數(shù)據(jù)對(duì)被選差值數(shù)據(jù)進(jìn)行編碼并且輸出被選差值數(shù)據(jù)和編碼后的差值數(shù)據(jù)；以及加法單元，用以接收預(yù)測(cè)圖象數(shù)據(jù)和被選差值數(shù)據(jù)，并將它們相加，同時(shí)利用加法結(jié)果得到的圖象數(shù)據(jù)更新預(yù)存在預(yù)測(cè)編碼單元中的參考圖象數(shù)據(jù)，其中預(yù)測(cè)圖象數(shù)據(jù)是從預(yù)測(cè)編碼單元輸出的，被選差值數(shù)據(jù)是從目標(biāo)差值產(chǎn)生器選擇的。
為了實(shí)現(xiàn)本發(fā)明的其他目的，還提供了一種用于將活動(dòng)圖象編碼裝置的輸出進(jìn)行解碼的活動(dòng)圖象解碼裝置，該活動(dòng)圖象解碼裝置包括目標(biāo)輪廓恢復(fù)單元，用以將接收到的編碼后目標(biāo)輪廓數(shù)據(jù)解碼并恢復(fù)表示當(dāng)前圖象中所包含目標(biāo)輪廓的目標(biāo)輪廓數(shù)據(jù)；差值數(shù)據(jù)解碼單元，用以將接收到的編碼后差值數(shù)據(jù)進(jìn)行解碼并輸出差值數(shù)據(jù)；運(yùn)動(dòng)補(bǔ)償解碼單元，用以利用目標(biāo)輪廓數(shù)據(jù)、預(yù)存參考圖象數(shù)據(jù)、劃分一個(gè)目標(biāo)輪廓和參考圖象的網(wǎng)格的控制點(diǎn)和有關(guān)控制點(diǎn)的運(yùn)動(dòng)信息實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償操作；加法單元，用于將由目標(biāo)輪廓數(shù)據(jù)選擇的預(yù)測(cè)圖象數(shù)據(jù)和差值數(shù)據(jù)相加，并且利用相加結(jié)果得到的圖象數(shù)據(jù)更新預(yù)存在運(yùn)動(dòng)補(bǔ)償解碼單元中的參考圖象數(shù)據(jù)。
參照附圖描述本發(fā)明的優(yōu)先實(shí)施例，其中；

圖1為按照本發(fā)明的優(yōu)先實(shí)施例的活動(dòng)圖象編碼裝置的框圖；圖2為圖1中網(wǎng)格產(chǎn)生器的詳細(xì)框圖；圖3為對(duì)圖1中裝置所編碼的數(shù)據(jù)進(jìn)行解碼的活動(dòng)圖象解碼裝置框圖；圖4為按照本發(fā)明的另一優(yōu)先實(shí)施例的活動(dòng)圖象編碼裝置框圖；圖5為對(duì)圖4裝置所編碼的數(shù)據(jù)進(jìn)行解碼的活動(dòng)圖象解碼裝置的框圖。
參照附圖詳細(xì)描述本發(fā)明的優(yōu)先實(shí)施例。
圖1所示為按照本發(fā)明的優(yōu)先實(shí)施例的活動(dòng)圖象編碼裝置，目標(biāo)提取器10接收來(lái)自外部源的數(shù)字圖象數(shù)據(jù)并從由接收的圖象數(shù)據(jù)所表示的當(dāng)前圖象中提取隨機(jī)目標(biāo)。然后，該目標(biāo)提取器10產(chǎn)生代表被提取目標(biāo)輪廓信息的目標(biāo)輪廓數(shù)據(jù)。該目標(biāo)輪廓數(shù)據(jù)被提供給差值數(shù)據(jù)編碼器20和后面將要描述的圖3的解碼裝置。該目標(biāo)輪廓數(shù)據(jù)包含確定該目標(biāo)輪廓的各象素的空間位置或象素組成的段的空間位置。該目標(biāo)提取器10將目標(biāo)輪廓數(shù)據(jù)和接收到的當(dāng)前圖象數(shù)據(jù)輸出到網(wǎng)格產(chǎn)生器12。該網(wǎng)格產(chǎn)生器12根據(jù)目標(biāo)輪廓數(shù)據(jù)從當(dāng)前圖象中識(shí)別出目標(biāo)區(qū)域并且對(duì)有關(guān)目標(biāo)區(qū)域內(nèi)的圖象進(jìn)行規(guī)則網(wǎng)格表示的信號(hào)處理。該網(wǎng)格產(chǎn)生器12的詳細(xì)結(jié)構(gòu)和操作將參照?qǐng)D2描述。
網(wǎng)格產(chǎn)生器12中的塊形成器121(block former)接收從目標(biāo)提取器10輸出的當(dāng)前圖象數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)。該塊形成器121將收到的圖象數(shù)據(jù)所表示的當(dāng)前圖象劃分為各具有預(yù)定大小的圖象塊，并且將代表圖象塊的圖象塊數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)加到塊選擇器123。該塊選擇器123根據(jù)目標(biāo)輪廓數(shù)據(jù)在構(gòu)成當(dāng)前圖象的全部圖象塊中選擇包含目標(biāo)區(qū)域中圖象數(shù)據(jù)的圖象塊。代表被選圖象塊的數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)一起輸出到目標(biāo)圖象生成器125(objectimage composer)。此處，只具有不屬于目標(biāo)區(qū)域的圖象數(shù)據(jù)的圖象塊不被選擇。因此代表未被選擇的圖象塊的數(shù)據(jù)不被選到目標(biāo)圖象生成器125。接收被選圖象塊數(shù)據(jù)的目標(biāo)圖象生成器125合并各被選圖象塊，并把合并結(jié)果產(chǎn)生的代表目標(biāo)圖象的數(shù)據(jù)與目標(biāo)輪廓數(shù)據(jù)一起送到網(wǎng)格生成器127。接收目標(biāo)圖象數(shù)據(jù)的網(wǎng)格生成器127將該目標(biāo)圖象劃分為規(guī)則的矩形網(wǎng)格或規(guī)則的三解形網(wǎng)格。
在采用規(guī)則的矩形網(wǎng)格劃分圖象的情況下，網(wǎng)格生成器127將目標(biāo)圖象劃分為各具有與塊尺寸不同的預(yù)定尺寸的柵格。此處柵格的尺寸比塊尺寸小。然后該網(wǎng)格生成器127在由劃分得到的柵格的各頂點(diǎn)中將包含在目標(biāo)區(qū)域中的各頂點(diǎn)確定為控制點(diǎn)，并且將具有控制點(diǎn)的柵格確定為規(guī)則的矩形柵格。該柵格生成器127將包含有關(guān)規(guī)則矩形柵格的控制點(diǎn)的圖象數(shù)據(jù)的矩形網(wǎng)格數(shù)據(jù)輸出到圖1中所示的運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14。這里，涉及每一控制點(diǎn)的圖象數(shù)據(jù)包括控制點(diǎn)的位置和在該控制點(diǎn)的位置處的灰度值。以及與該控制點(diǎn)相鄰位置的各象素的位置及其灰度值。該網(wǎng)格生成器127還輸出當(dāng)前圖象數(shù)據(jù)到差值計(jì)算器18。
在采用規(guī)則的三角形網(wǎng)格劃分圖象的情況下，該網(wǎng)格生成器127將通過(guò)上述過(guò)程得到的每一規(guī)則矩形網(wǎng)格根據(jù)網(wǎng)格中圖象數(shù)據(jù)的相似性劃分為兩個(gè)規(guī)則的三角形網(wǎng)格。為了判斷每一規(guī)則矩形網(wǎng)格的圖象數(shù)據(jù)的相似性，該網(wǎng)格控制器127將對(duì)應(yīng)于位于規(guī)則矩形網(wǎng)格中45°對(duì)角線方向上的兩個(gè)控制點(diǎn)的象素值之間的差值與對(duì)應(yīng)于其尺寸內(nèi)-45°對(duì)角線方向上的兩個(gè)控制點(diǎn)的象素值之間的差值進(jìn)行比較。該網(wǎng)格生成器127按照較小差值的對(duì)角線方向劃分矩形網(wǎng)格。其結(jié)果是每一矩形網(wǎng)格產(chǎn)生兩個(gè)規(guī)則三角形網(wǎng)格。該網(wǎng)格生成器127將包含涉及規(guī)則三角形網(wǎng)格的控制點(diǎn)的圖象數(shù)據(jù)的三角形網(wǎng)格數(shù)據(jù)輸出到運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14。該網(wǎng)格生成器127還輸出當(dāng)前圖象數(shù)據(jù)到差值計(jì)算器18。
該運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14利用存儲(chǔ)器16中存儲(chǔ)的參考圖象數(shù)據(jù)和涉及來(lái)自網(wǎng)格生成器12的當(dāng)前圖象中目標(biāo)圖象的網(wǎng)格數(shù)據(jù)進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償操作。該運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14首先將與每一網(wǎng)格的控制點(diǎn)有關(guān)的圖象數(shù)據(jù)與存儲(chǔ)器16中存儲(chǔ)的參考圖象數(shù)據(jù)作幅度的比較。理想情況下，每一控制點(diǎn)對(duì)應(yīng)于單一象素。即一個(gè)控制點(diǎn)由一個(gè)象素的空間位置和灰度值表示。然而，實(shí)際中只通過(guò)象素與象素比較很難恰好找到與參考圖象中控制點(diǎn)相似的圖象數(shù)據(jù)的位置。因此，涉及每一控制點(diǎn)的圖象數(shù)據(jù)是與對(duì)應(yīng)該控制點(diǎn)有關(guān)的象素和與對(duì)應(yīng)該控制點(diǎn)鄰近的多個(gè)象素的圖象數(shù)據(jù)，如網(wǎng)格生成器127中所描述的。該運(yùn)動(dòng)估計(jì)與補(bǔ)償部件14根據(jù)數(shù)據(jù)幅度比較結(jié)果確定具有與控制點(diǎn)的圖象數(shù)據(jù)最近似的圖象數(shù)據(jù)的參考圖象中的位置。然后，運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14確定代表控制點(diǎn)及參考圖象中相應(yīng)位置之間的位移的運(yùn)動(dòng)矢量。如果對(duì)所有控制點(diǎn)確定各運(yùn)動(dòng)矢量，運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14利用所確定的各運(yùn)動(dòng)矢量進(jìn)行空間變換如圖象彎曲(image warping)，并產(chǎn)生當(dāng)前圖象的預(yù)測(cè)圖象。代表預(yù)測(cè)圖象的數(shù)據(jù)輸出到差值計(jì)算器18和加法器24。代表對(duì)應(yīng)所有控制點(diǎn)運(yùn)動(dòng)矢量的運(yùn)動(dòng)信息加到圖3所示的裝置。由于上述的空間變換在數(shù)字圖象處理領(lǐng)域已廣為人知，所以與之有關(guān)的詳細(xì)描述將被省略。
差值計(jì)算器18計(jì)算從網(wǎng)格產(chǎn)生器12接收的當(dāng)前圖象與運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14輸出的預(yù)測(cè)圖象數(shù)據(jù)之間的差值。在當(dāng)前圖象和預(yù)測(cè)圖象的各對(duì)應(yīng)位置的各象素之間完成差值計(jì)算，并且該差值數(shù)據(jù)結(jié)果輸出到差值數(shù)據(jù)編碼器20。該差值數(shù)據(jù)編碼器20對(duì)差值計(jì)算器18送來(lái)的差值數(shù)據(jù)中由目標(biāo)提取器10的目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域中的差值數(shù)據(jù)進(jìn)行編碼。如果由差值數(shù)據(jù)編碼器20所編碼的數(shù)據(jù)被規(guī)定為目標(biāo)區(qū)域中的差值數(shù)據(jù)，則只有有關(guān)當(dāng)前圖象的目標(biāo)的差值數(shù)據(jù)被編碼。因此，差值數(shù)據(jù)編碼器20能夠?qū)Ξ?dāng)前圖象進(jìn)行更有效的編碼操作。該差值數(shù)據(jù)編碼器20還對(duì)從目標(biāo)提取器10接收的目標(biāo)輪廓數(shù)據(jù)進(jìn)行編碼。為了對(duì)目標(biāo)區(qū)域中的差值數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)進(jìn)行編碼，該差值數(shù)據(jù)編碼器20使用的是熟為人知的包括離散余弦變換(DCT)等在內(nèi)的正交變換編碼方法。該編碼后的目標(biāo)輪廓數(shù)據(jù)、編碼后的差值數(shù)據(jù)和運(yùn)動(dòng)信息經(jīng)傳送信道(未示出)被傳送到后文中將要描述的圖3中的解碼裝置，或者被記錄在圖3解碼裝置中使用的存儲(chǔ)介質(zhì)里。
差值數(shù)據(jù)解碼器22接收來(lái)自差值數(shù)據(jù)編碼器20的編碼后差值數(shù)據(jù)并通過(guò)與差值數(shù)據(jù)編碼器20的信號(hào)處理的相反過(guò)程恢復(fù)差值數(shù)據(jù)。加法器24將運(yùn)動(dòng)估計(jì)和補(bǔ)償部件14輸出的預(yù)測(cè)圖象數(shù)據(jù)與差值數(shù)據(jù)解碼器22的差值數(shù)據(jù)相加，并將相加結(jié)果輸出到存儲(chǔ)器16中。從加法器24輸出的數(shù)據(jù)是已經(jīng)完成運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)漠?dāng)前圖象的數(shù)據(jù)，并且該數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器16中作為下一幅圖象的運(yùn)動(dòng)估計(jì)和補(bǔ)償用的參考圖象數(shù)據(jù)。
如圖3所示的活動(dòng)圖象解碼裝置接收編碼后的差值數(shù)據(jù)、編碼后的目標(biāo)輪廓數(shù)據(jù)和由圖1所示裝置產(chǎn)生的運(yùn)動(dòng)信息。一目標(biāo)輪廓恢復(fù)器30將編碼后的目標(biāo)輪廓數(shù)據(jù)解碼。該目標(biāo)輪廓數(shù)據(jù)輸出到網(wǎng)格產(chǎn)生器34。接收該目標(biāo)輪廓數(shù)據(jù)的該網(wǎng)格產(chǎn)生器34將整幅圖象劃分成各具有預(yù)定尺寸的柵格，并在由劃分得到的柵格的各頂點(diǎn)中確定存在于由目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域中的頂點(diǎn)作為控制點(diǎn)，以及確定具有控制點(diǎn)的柵格為矩形網(wǎng)格。在圖1的網(wǎng)格生成器12被設(shè)計(jì)成產(chǎn)生代表矩形網(wǎng)格的網(wǎng)格數(shù)據(jù)的情況下，網(wǎng)格生成器34還產(chǎn)生代表矩形網(wǎng)格的網(wǎng)格數(shù)據(jù)。同時(shí)，在圖1的網(wǎng)格生成器12被設(shè)計(jì)成產(chǎn)生有關(guān)三角形網(wǎng)格的網(wǎng)格數(shù)據(jù)的情況下，該網(wǎng)格生成器34產(chǎn)生關(guān)于三角形網(wǎng)格的網(wǎng)格數(shù)據(jù)。該網(wǎng)格生成器34將產(chǎn)生的網(wǎng)格數(shù)據(jù)加到運(yùn)動(dòng)補(bǔ)償器38并且將目標(biāo)輪廓數(shù)據(jù)加到加法器36。
同時(shí)，差值數(shù)據(jù)解碼器32將圖1裝置產(chǎn)生的編碼后的差值數(shù)據(jù)解碼。該差值數(shù)據(jù)輸出到加法器36。運(yùn)動(dòng)補(bǔ)償器38接收網(wǎng)格生成器34輸出的網(wǎng)格數(shù)據(jù)和由圖1裝置產(chǎn)生的運(yùn)動(dòng)信息。運(yùn)動(dòng)補(bǔ)償器38利用包含在對(duì)應(yīng)于當(dāng)前圖象的網(wǎng)格中的控制點(diǎn)、包含在運(yùn)動(dòng)信息中的對(duì)應(yīng)于所有控制點(diǎn)的運(yùn)動(dòng)矢量以及存儲(chǔ)在存儲(chǔ)器40中的參考圖象數(shù)據(jù)產(chǎn)生預(yù)測(cè)圖象數(shù)據(jù)。為了產(chǎn)生預(yù)測(cè)圖象數(shù)據(jù)，運(yùn)動(dòng)補(bǔ)償器38利用對(duì)應(yīng)于每一控制點(diǎn)的運(yùn)動(dòng)矢量找到最近似于該控制點(diǎn)的參考圖象中的位置，然后利用空間變換(如圖象彎曲)來(lái)產(chǎn)生當(dāng)前圖象的預(yù)測(cè)圖象。該運(yùn)動(dòng)補(bǔ)償器38輸出產(chǎn)生的預(yù)測(cè)圖象到加法器36。
該加法器36接收從運(yùn)動(dòng)補(bǔ)償器38輸出的預(yù)測(cè)圖象數(shù)據(jù)和從差值數(shù)據(jù)解碼器32輸出的差值數(shù)據(jù)。該加法器36只將全部預(yù)測(cè)圖象數(shù)據(jù)中由網(wǎng)格生成器34提供的目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域中的預(yù)測(cè)圖象數(shù)據(jù)與對(duì)應(yīng)的差值數(shù)據(jù)相加。經(jīng)過(guò)這樣的運(yùn)算有關(guān)當(dāng)前圖象中的目標(biāo)的圖象數(shù)據(jù)能被恢復(fù)。加法器36的輸出數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器40中用作下一幅圖象運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D象數(shù)據(jù)。
圖4所示為按照本發(fā)明另一優(yōu)先實(shí)施例的活動(dòng)圖象編碼裝置。由于圖4中與圖1相同參考號(hào)的方塊完成的是同樣的功能，所以有關(guān)的詳細(xì)描述被省略。圖1裝置使用當(dāng)前圖象得到的網(wǎng)格和存儲(chǔ)在存儲(chǔ)器16中的參考圖象數(shù)據(jù)以產(chǎn)生預(yù)測(cè)圖象數(shù)據(jù)。與之相反圖4裝置使用從存儲(chǔ)器48中存儲(chǔ)的參考圖象數(shù)據(jù)得到的網(wǎng)格和外部輸入的當(dāng)前圖象數(shù)據(jù)以產(chǎn)生預(yù)測(cè)圖象數(shù)據(jù)。
外部的當(dāng)前圖象數(shù)據(jù)輸入到目標(biāo)提取器10以及運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44。該目標(biāo)提取器10利用當(dāng)前圖象數(shù)據(jù)產(chǎn)生目標(biāo)輪廓數(shù)據(jù)。該目標(biāo)輪廓數(shù)據(jù)輸出到差值數(shù)據(jù)編碼器20。網(wǎng)格生成器42讀取存儲(chǔ)在存儲(chǔ)器48中的參考圖象數(shù)據(jù)并且將全部參考圖象劃分為規(guī)則的網(wǎng)格。對(duì)于這種劃分，該網(wǎng)格生成器42將參考圖象劃分為規(guī)則矩形網(wǎng)格且再次將規(guī)則矩形網(wǎng)格劃分為規(guī)則三角形網(wǎng)格。由于生成規(guī)則矩形網(wǎng)格和規(guī)則三角形網(wǎng)格的方法與圖1中網(wǎng)格生成器12的信號(hào)處理相同，因此詳細(xì)的描述被省略。
該網(wǎng)格生成器42的另一功能是從規(guī)則矩形網(wǎng)格或規(guī)則三角形網(wǎng)格產(chǎn)生不規(guī)則網(wǎng)格。產(chǎn)生不規(guī)則網(wǎng)格的過(guò)程如下該網(wǎng)格生成器42從規(guī)則三角形網(wǎng)格的控制點(diǎn)中移去一個(gè)被選中的控制點(diǎn)，并且對(duì)移去該控制點(diǎn)的區(qū)域?qū)崿F(xiàn)三角化。由三角化生成的三角形網(wǎng)格具有不規(guī)則的三角形狀。這種移去控制點(diǎn)并進(jìn)行三角化的過(guò)程重復(fù)進(jìn)行直到剩余控制點(diǎn)的數(shù)量等于預(yù)定值。為了移去一個(gè)特定的控制點(diǎn)，需要提供當(dāng)該控制點(diǎn)已經(jīng)被從該控制點(diǎn)的支撐區(qū)(supportregion)去除時(shí)得到的圖象圖形(image descriptiveness)與當(dāng)該控制點(diǎn)沒(méi)有被去除時(shí)得到的圖象圖形之間的量化差值。這里，該支撐區(qū)是由對(duì)應(yīng)控制點(diǎn)的各鄰近控制點(diǎn)和連接這些鄰近控制點(diǎn)的線所圍繞的區(qū)域。在圖象圖形的各量化差值中對(duì)應(yīng)最小差值的控制點(diǎn)對(duì)圖象描述沒(méi)有什么用處，因此被去除。不規(guī)則網(wǎng)格生成技術(shù)公開(kāi)在題目名稱為“基于去除自適應(yīng)控制點(diǎn)的不規(guī)則三角形網(wǎng)格表示(Irregular Triangular Mesh Representation Based on Adaptive ControlPoint Removal)”的文章中，該文章發(fā)表在SPIE的1996年論文集的“可視通信和圖象處理”(Visual Communications and Image Processing)中，作者KangW.Chun，Byung Woo Jean和Jae M.Jo。網(wǎng)格生成器42將有關(guān)最后生成的不規(guī)則三角形網(wǎng)格的信息(即代表剩余控制點(diǎn)和由該控制點(diǎn)圍繞的不規(guī)則網(wǎng)格的不規(guī)則網(wǎng)格數(shù)據(jù))輸出到運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44。該網(wǎng)格生成器42還將從存儲(chǔ)器48讀取的參考圖象數(shù)據(jù)輸出到差值計(jì)算器46。
運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44接收外部輸入的當(dāng)前圖象數(shù)據(jù)和網(wǎng)格生成器42產(chǎn)生的不規(guī)則網(wǎng)格數(shù)據(jù)并讀取存儲(chǔ)在存儲(chǔ)器48中的參考圖象數(shù)據(jù)。該運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44確定在具有最近似于不規(guī)則網(wǎng)格的控制點(diǎn)的圖象數(shù)據(jù)在當(dāng)前圖象中的對(duì)應(yīng)位置。在對(duì)應(yīng)位置確定之后，該運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44產(chǎn)生控制點(diǎn)及相應(yīng)位置之間的運(yùn)動(dòng)矢量并且利用當(dāng)前圖象使用空間變換產(chǎn)生預(yù)測(cè)圖象。該預(yù)測(cè)圖象數(shù)據(jù)加到差值計(jì)算器46和加法器24，并且代表運(yùn)動(dòng)矢量的運(yùn)動(dòng)信息經(jīng)傳送信道發(fā)送出去或被記錄在存儲(chǔ)介質(zhì)中以供解碼裝置使用。
該差值計(jì)算器46產(chǎn)生來(lái)自網(wǎng)格生成器42的參考圖象數(shù)據(jù)和來(lái)自運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44的預(yù)測(cè)圖象數(shù)據(jù)之間的差值數(shù)據(jù)，并將該差值數(shù)據(jù)提供給差值數(shù)據(jù)編碼器20。該差值數(shù)據(jù)編碼器20對(duì)目標(biāo)提取器10輸出的目標(biāo)輪廓數(shù)據(jù)和差值計(jì)算器46輸出的差值數(shù)據(jù)進(jìn)行編碼。該差值數(shù)據(jù)編碼器20以與圖1中對(duì)應(yīng)部分相同的方式處理輸入數(shù)據(jù)。因此，從差值數(shù)據(jù)編碼器20輸出的編碼后數(shù)據(jù)包括對(duì)目標(biāo)區(qū)域中差值數(shù)據(jù)進(jìn)行編碼得到的數(shù)據(jù)和編碼后的輪廓數(shù)據(jù)。編碼后的數(shù)據(jù)經(jīng)傳送信道發(fā)送到接收端(圖中未示)或記錄在記錄介質(zhì)中(未示)。在編碼后數(shù)據(jù)中的編碼后差值數(shù)據(jù)被傳送到差值數(shù)據(jù)解碼器22。
該差值數(shù)據(jù)解碼器22將在差值數(shù)據(jù)編碼器中編碼的差值數(shù)據(jù)解碼，并將解碼后的差值數(shù)據(jù)提供給加法器24。該加法器24將運(yùn)動(dòng)估計(jì)和補(bǔ)償部件44提供的預(yù)測(cè)圖象數(shù)據(jù)和差值數(shù)據(jù)解碼器22的差值數(shù)據(jù)相加，其結(jié)果存儲(chǔ)在存儲(chǔ)器48中作為下一幅圖象的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D象數(shù)據(jù)。
圖5所示為對(duì)應(yīng)圖4裝置的活動(dòng)圖象解碼裝置。由于圖5中與圖3中具有相同參考號(hào)的各方塊完成的是相同的功能，所以其詳細(xì)描述被忽略。該編碼后的目標(biāo)輪廓數(shù)據(jù)輸入到目標(biāo)輪廓恢復(fù)器30，同時(shí)運(yùn)動(dòng)信息輸入到運(yùn)動(dòng)補(bǔ)償器52。另外，編碼后的差值數(shù)據(jù)輸入到差值數(shù)據(jù)解碼器32。該差值數(shù)據(jù)解碼器32將編碼后的差值數(shù)據(jù)解碼并將解碼后的差值數(shù)據(jù)輸出到加法器56。該目標(biāo)輪廓恢復(fù)器30將編碼后的目標(biāo)輪廓數(shù)據(jù)解碼并將解碼后的目標(biāo)輪廓數(shù)據(jù)輸出到網(wǎng)格生成器34。該網(wǎng)格生成器34讀取存儲(chǔ)在存儲(chǔ)器54中的參考圖象數(shù)據(jù)，并且將目標(biāo)輪廓數(shù)據(jù)確定的參考圖象中的目標(biāo)區(qū)經(jīng)與圖4中網(wǎng)格生成器42同樣的信號(hào)處理過(guò)程劃分為不規(guī)則網(wǎng)格，網(wǎng)格生成器5 1輸出的網(wǎng)格數(shù)據(jù)送到運(yùn)動(dòng)補(bǔ)償器52。該運(yùn)動(dòng)補(bǔ)償器52利用網(wǎng)格數(shù)據(jù)、運(yùn)動(dòng)信息和存儲(chǔ)在存儲(chǔ)器54中的參考圖象數(shù)據(jù)產(chǎn)生預(yù)測(cè)圖象數(shù)據(jù)。該加法器56將預(yù)測(cè)圖象數(shù)據(jù)和差值數(shù)據(jù)解碼器32輸出的差值數(shù)據(jù)相加。其產(chǎn)生的當(dāng)前圖象存儲(chǔ)在存儲(chǔ)器54中以作為下一幅圖象的運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D象數(shù)據(jù)。
如上所述，按照本發(fā)明的編碼和解碼系統(tǒng)根據(jù)包含于圖象中隨機(jī)目標(biāo)的網(wǎng)格表示實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。其結(jié)果是與對(duì)整幅圖象進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償相比能夠?qū)崿F(xiàn)更有效的編碼。因此，可以設(shè)計(jì)出適于應(yīng)用極低比特率的裝置。
雖然這里僅僅描述了本發(fā)明的某些實(shí)施例，而很明顯在不脫離本發(fā)明的要旨和范圍的情況下可以對(duì)本發(fā)明做許多修改。
權(quán)利要求
1.用于對(duì)包含目標(biāo)的當(dāng)前圖象進(jìn)行編碼的活動(dòng)圖象編碼裝置，該活動(dòng)圖象編碼裝置包括目標(biāo)提取裝置，用以從收到的當(dāng)前圖象數(shù)據(jù)中提取其中包含的目標(biāo)并輸出表示所提取目標(biāo)的輪廓的目標(biāo)輪廓數(shù)據(jù)；預(yù)測(cè)編碼裝置，它利用所述當(dāng)前圖象數(shù)據(jù)、預(yù)先存儲(chǔ)的參考圖象數(shù)據(jù)以及劃分其中一幅當(dāng)前圖象和參考圖象的網(wǎng)格的控制點(diǎn)實(shí)現(xiàn)預(yù)測(cè)編碼操作，并產(chǎn)生涉及該控制點(diǎn)的運(yùn)動(dòng)信息、所述當(dāng)前圖象與所述參考圖象之間的差值數(shù)據(jù)和預(yù)測(cè)圖象數(shù)據(jù)；目標(biāo)差值生成器裝置，用以在所述預(yù)測(cè)編碼裝置提供的所述差值數(shù)據(jù)中選擇目標(biāo)區(qū)內(nèi)的差值數(shù)據(jù)從而根據(jù)目標(biāo)提取裝置輸出的所述目標(biāo)輪廓數(shù)據(jù)對(duì)所選差值數(shù)據(jù)據(jù)進(jìn)行編碼，并輸出所述所選差值數(shù)據(jù)和所述編碼后差值數(shù)據(jù)；和加法裝置，用以接收所述預(yù)測(cè)編碼裝置輸出的所述預(yù)測(cè)圖象數(shù)據(jù)和所述目標(biāo)差值生成器裝置輸出的所述所選差值數(shù)據(jù)，并將所述預(yù)測(cè)圖象數(shù)據(jù)和所述被選差值數(shù)據(jù)相加以及利用相加得到的圖象數(shù)據(jù)對(duì)預(yù)存儲(chǔ)在所述預(yù)測(cè)編碼裝置中的參考圖象數(shù)據(jù)進(jìn)行更新。
2.如權(quán)利要求1所述的活動(dòng)圖象編碼裝置，其中所述預(yù)測(cè)編碼裝置利用空間變換進(jìn)行預(yù)測(cè)編碼操作以產(chǎn)生所述預(yù)測(cè)圖象數(shù)據(jù)。
3.如權(quán)利要求1所述的活動(dòng)圖象編碼裝置，其中所述預(yù)測(cè)編碼裝置包括存儲(chǔ)器，用以存儲(chǔ)參考圖象數(shù)據(jù)；網(wǎng)格生成器，用以根據(jù)來(lái)自所述目標(biāo)提取裝置的所述目標(biāo)輪廓數(shù)據(jù)確定規(guī)則網(wǎng)格并輸出代表該確定的規(guī)則網(wǎng)格的網(wǎng)格數(shù)據(jù)，其中該規(guī)則網(wǎng)格是在將整幅圖象劃分為預(yù)定尺寸的網(wǎng)格中具有位于所述當(dāng)前圖象的目標(biāo)區(qū)內(nèi)的頂點(diǎn)為控制點(diǎn)的規(guī)則網(wǎng)格；運(yùn)動(dòng)估計(jì)和補(bǔ)償部件，用以根據(jù)對(duì)有關(guān)該控制點(diǎn)的參考圖象的運(yùn)動(dòng)估計(jì)生成運(yùn)動(dòng)信息，并利用存儲(chǔ)在所述存儲(chǔ)器中的所述參考圖象數(shù)據(jù)和所述網(wǎng)格生成器輸出的所述網(wǎng)格數(shù)據(jù)生成其控制點(diǎn)的運(yùn)動(dòng)被補(bǔ)償?shù)念A(yù)測(cè)圖象數(shù)據(jù)；及差值數(shù)據(jù)生成器，用以生成所述當(dāng)前圖象數(shù)據(jù)與所述預(yù)測(cè)圖象數(shù)據(jù)之間的差值數(shù)據(jù)。
4.如權(quán)利要求3所述的活動(dòng)圖象編碼裝置，其中所述網(wǎng)格生成器包括；塊生成器，用以輸出代表多個(gè)塊的圖象塊數(shù)據(jù)，其中這些塊是劃分與收到的所述當(dāng)前圖象數(shù)據(jù)有關(guān)的當(dāng)前圖象得到的，且每一塊具有預(yù)定尺寸；塊選擇器，用以在所述塊生成器輸出的所述圖象塊數(shù)據(jù)中選擇包含由所述目標(biāo)輪廓數(shù)據(jù)確定的目標(biāo)區(qū)域的圖象數(shù)據(jù)的圖象塊數(shù)據(jù)；目標(biāo)圖象生成器，用以通過(guò)將所選圖象塊數(shù)據(jù)的圖象塊合并生成目標(biāo)圖象；以及網(wǎng)格生成器，用以在以一定尺寸劃分整幅圖象的大量柵格的頂點(diǎn)中確定由所述目標(biāo)圖象生成器構(gòu)成的目標(biāo)區(qū)域內(nèi)所包含的頂點(diǎn)作為控制點(diǎn)，并且確定具有這些控制點(diǎn)的柵格作為矩形網(wǎng)格。
5.如權(quán)利要求4所述的活動(dòng)圖象編碼裝置，其中所述網(wǎng)格生成器輸出代表規(guī)則三角形網(wǎng)格的網(wǎng)格數(shù)據(jù)，該規(guī)則三角形網(wǎng)格是由規(guī)則矩形網(wǎng)格得到的。
6.如權(quán)利要求5所述的活動(dòng)圖象編碼裝置，其中所述規(guī)則三角形網(wǎng)格是根據(jù)每個(gè)規(guī)則矩形網(wǎng)格的控制點(diǎn)之間的數(shù)據(jù)相似性通過(guò)沿著45°或-45°對(duì)角方向劃分網(wǎng)格得到的。
7.如權(quán)利要求1所述的活動(dòng)圖象編碼裝置，其中所述預(yù)測(cè)編碼裝置包括存儲(chǔ)器，用以存儲(chǔ)參考圖象數(shù)據(jù)；網(wǎng)格生成器，用以利用存儲(chǔ)在所述存儲(chǔ)器中的所述參考圖象數(shù)據(jù)，確定具有位于該參考圖象中作為控制點(diǎn)的頂點(diǎn)的不規(guī)則網(wǎng)格，并輸出代表已確定的不規(guī)則網(wǎng)格的網(wǎng)格數(shù)據(jù)；運(yùn)動(dòng)估計(jì)和補(bǔ)償部件，用以根據(jù)對(duì)應(yīng)控制點(diǎn)的當(dāng)前圖象的運(yùn)動(dòng)估計(jì)生成運(yùn)動(dòng)信息，以及利用所述當(dāng)前圖象數(shù)據(jù)和所述網(wǎng)格生成器輸出的所述網(wǎng)格數(shù)據(jù)生成其控制點(diǎn)運(yùn)動(dòng)被補(bǔ)償?shù)念A(yù)測(cè)圖象數(shù)據(jù)；以及差值數(shù)據(jù)生成器，用以生成所述參考圖象數(shù)據(jù)和所述預(yù)測(cè)圖象數(shù)據(jù)之間的差值數(shù)據(jù)。
8.如權(quán)利要求7所述的活動(dòng)圖象編碼裝置，其中所述網(wǎng)格生成器生成代表不規(guī)則網(wǎng)格的網(wǎng)格數(shù)據(jù)，該不規(guī)則網(wǎng)格是根據(jù)自適應(yīng)控制點(diǎn)的去除由不規(guī)則三角形網(wǎng)格表示產(chǎn)生的。
9.根據(jù)權(quán)利要求1所述的活動(dòng)圖象編碼裝置，其中所述目標(biāo)差值生成器裝置對(duì)被選差值數(shù)據(jù)完成正交變換編碼。
10.如權(quán)利要求1所述的活動(dòng)圖象編碼裝置，其中所述目標(biāo)差值生成器裝置包括差值數(shù)據(jù)編碼器，用以從所述預(yù)測(cè)編碼裝置輸出的差值數(shù)據(jù)中選擇屬于所述目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域的差值數(shù)據(jù)，并且對(duì)被選的該差值數(shù)據(jù)和該目標(biāo)輪廓數(shù)據(jù)進(jìn)行編碼從而輸出編碼后的差值數(shù)據(jù)和編碼后的目標(biāo)輪廓數(shù)據(jù)；以及差值數(shù)據(jù)解碼器，用以將所述差值編碼器輸出的編碼后差值數(shù)據(jù)進(jìn)行解碼并輸出被選差值數(shù)據(jù)。
11.為活動(dòng)圖象編碼裝置輸出用的活動(dòng)圖象解碼裝置，該活動(dòng)圖象解碼裝置包括目標(biāo)輪廓恢復(fù)裝置，用以將接收到的編碼后的目標(biāo)輪廓數(shù)據(jù)進(jìn)行解碼，并恢復(fù)表示當(dāng)前圖象中包含的目標(biāo)輪廓的目標(biāo)輪廓數(shù)據(jù)；差值數(shù)據(jù)解碼裝置，用以將接收到的編碼后的差值數(shù)據(jù)進(jìn)行解碼并輸出差值數(shù)據(jù)；運(yùn)動(dòng)補(bǔ)償解碼裝置，用以利用目標(biāo)輪廓數(shù)據(jù)、預(yù)先存儲(chǔ)的參考圖象數(shù)據(jù)和劃分其中一個(gè)目標(biāo)輪廓和參考圖象的網(wǎng)格的控制點(diǎn)以及有關(guān)該控制點(diǎn)的運(yùn)動(dòng)信息進(jìn)行運(yùn)動(dòng)補(bǔ)償操作；加法裝置，用以將所述目標(biāo)輪廓數(shù)據(jù)所選擇的預(yù)測(cè)圖象數(shù)據(jù)與差值數(shù)據(jù)相加，并利用相加結(jié)果得到的圖象數(shù)據(jù)更新預(yù)先存儲(chǔ)在運(yùn)動(dòng)補(bǔ)償解碼裝置中的參考圖象數(shù)據(jù)。
12.如權(quán)利要求11所述的活動(dòng)圖象解碼裝置，其中所述差值數(shù)據(jù)解碼裝置對(duì)編碼后的差值數(shù)據(jù)完成正交變換解碼。
13.如權(quán)利要求11所述的活動(dòng)圖象解碼裝置，其中所述運(yùn)動(dòng)補(bǔ)償解碼裝置利用空間變換實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償以產(chǎn)生預(yù)測(cè)圖象數(shù)據(jù)。
14.如權(quán)利要求11所述的活動(dòng)圖象解碼裝置，其中所述運(yùn)動(dòng)補(bǔ)償解碼裝置包括存儲(chǔ)器，用以存儲(chǔ)參考圖象數(shù)據(jù)；網(wǎng)格生成器，用以在以預(yù)定尺寸劃分整幅圖象的網(wǎng)格中確定具有位于由所述目標(biāo)輪廓恢復(fù)裝置輸出的目標(biāo)輪廓數(shù)據(jù)所確定的目標(biāo)區(qū)域作為控制點(diǎn)的頂點(diǎn)的網(wǎng)格，并將代表所確定網(wǎng)格的網(wǎng)格數(shù)據(jù)和目標(biāo)輪廓數(shù)據(jù)輸出；以及運(yùn)動(dòng)補(bǔ)償部件，它利用存儲(chǔ)在存儲(chǔ)器中的所述參考圖象數(shù)據(jù)和所述網(wǎng)格數(shù)據(jù)生成其相對(duì)于控制點(diǎn)的參考圖象的運(yùn)動(dòng)被補(bǔ)償?shù)念A(yù)測(cè)圖象數(shù)據(jù)。
15.如權(quán)利要求14所述的活動(dòng)圖象解碼裝置，其中所述網(wǎng)格生成器輸出的網(wǎng)格數(shù)據(jù)包括屬于該所確定網(wǎng)格的頂點(diǎn)的位置信息。
16.如權(quán)利要求14所述的活動(dòng)圖象解碼裝置，其中所述網(wǎng)格生成器輸出與規(guī)則矩形網(wǎng)格有關(guān)的網(wǎng)格數(shù)據(jù)。
17.如權(quán)利要求11所述的活動(dòng)圖象解碼裝置，其中所述活動(dòng)圖象解碼裝置包括存儲(chǔ)器，用以存儲(chǔ)參考圖象數(shù)據(jù)；網(wǎng)格生成器，用以確定網(wǎng)格和輸出代表所確定網(wǎng)格的網(wǎng)格數(shù)據(jù)，其中該網(wǎng)格用以在存儲(chǔ)于所述存儲(chǔ)器中的參考圖象數(shù)據(jù)中劃分屬于由目標(biāo)輪廓數(shù)據(jù)確定的目標(biāo)區(qū)的參考圖象；以及運(yùn)動(dòng)估計(jì)和補(bǔ)償部件用以生成預(yù)測(cè)圖象數(shù)據(jù)，該預(yù)測(cè)圖象數(shù)據(jù)相對(duì)于屬于該網(wǎng)格的控制點(diǎn)的參考圖象的運(yùn)動(dòng)利用收到的運(yùn)動(dòng)信息、存儲(chǔ)在存儲(chǔ)器中的所述參考圖象數(shù)據(jù)和所述網(wǎng)格數(shù)據(jù)被補(bǔ)償。
18.如權(quán)利要求17所述的活動(dòng)圖象解碼裝置，其中所述網(wǎng)格生成器根據(jù)相對(duì)于屬于目標(biāo)區(qū)的參考圖象的自適應(yīng)控制點(diǎn)去除生成由不規(guī)則三角形網(wǎng)格表示所產(chǎn)生的代表該不規(guī)則網(wǎng)格的網(wǎng)格數(shù)據(jù)。
全文摘要
一種活動(dòng)圖象編碼裝置,包括:目標(biāo)提取器,提取當(dāng)前圖象中包含的目標(biāo)并輸出目標(biāo)輪廓數(shù)據(jù);預(yù)測(cè)編碼器,實(shí)現(xiàn)預(yù)測(cè)編碼操作并產(chǎn)生運(yùn)動(dòng)信息、當(dāng)前圖象與參考圖象的差值數(shù)據(jù)以及預(yù)測(cè)圖象數(shù)據(jù);目標(biāo)差值生成器,在差值數(shù)據(jù)中選擇目標(biāo)區(qū)域內(nèi)的差值數(shù)據(jù)從而對(duì)其進(jìn)行編碼,并產(chǎn)生被選差值數(shù)據(jù)和編碼后的差值數(shù)據(jù);加法器,接收預(yù)測(cè)圖象數(shù)據(jù)和差值數(shù)據(jù),并將二者相加從而根據(jù)相加結(jié)果更新參考圖象數(shù)據(jù)。
文檔編號(hào)H04N7/50GK1177259SQ9711290
公開(kāi)日1998年3月25日 申請(qǐng)日期1997年5月29日 優(yōu)先權(quán)日1996年5月29日
發(fā)明者千罡旭, 全炳宇 申請(qǐng)人:三星電子株式會(huì)社