專(zhuān)利名稱(chēng)：確定運(yùn)動(dòng)矢量的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于根據(jù)從圖像序列中取出的一幅圖像的塊或?qū)ο蟮膱D像數(shù)據(jù)來(lái)確定運(yùn)動(dòng)矢量的方法。本發(fā)明還涉及一種包括用于確定從圖像序列中取出的一幅圖像的塊或?qū)ο蟮倪\(yùn)動(dòng)矢量的確定器的顯示設(shè)備，并涉及一種包括用于確定從圖像序列中取出的一幅圖像的塊或?qū)ο蟮倪\(yùn)動(dòng)矢量的軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品。
大量的圖像處理應(yīng)用需要根據(jù)圖像數(shù)據(jù)來(lái)確定運(yùn)動(dòng)矢量。在諸如MPEG或H.261的視頻編碼框架中，運(yùn)動(dòng)矢量用確定從一個(gè)圖像到另一個(gè)圖像的運(yùn)動(dòng)(或者對(duì)象位移)的運(yùn)動(dòng)矢量來(lái)表示。運(yùn)動(dòng)矢量的確定能夠例如用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼。因?yàn)橐环鶊D像中的一個(gè)畫(huà)面一般很類(lèi)似于其之前畫(huà)面的位移拷貝，所以將所確定的運(yùn)動(dòng)矢量數(shù)據(jù)與關(guān)于實(shí)際圖像及其預(yù)測(cè)之間的、在像素或DCT域中的差異信息一起編碼允許大大降低編碼信號(hào)中的時(shí)間冗余。
用于運(yùn)動(dòng)矢量估計(jì)的其它例子包括估計(jì)圖像片段(對(duì)象)的運(yùn)動(dòng)模型的方法，其中運(yùn)動(dòng)矢量的分量于是包含該運(yùn)動(dòng)模型的參數(shù)。
用來(lái)根據(jù)圖像數(shù)據(jù)估計(jì)或確定運(yùn)動(dòng)矢量的現(xiàn)有技術(shù)通常應(yīng)用某種塊匹配算法(BMA)，其中一幅圖像被分解成固定或可變尺寸的塊。同樣，圖像能夠按照其顯著對(duì)象而不是它的塊(對(duì)象片段)來(lái)分解，從而接下來(lái)的描述同樣很好地對(duì)代替塊的對(duì)象有效。對(duì)于當(dāng)前圖像的每個(gè)塊，搜索前一幅圖像中類(lèi)似的塊，其中應(yīng)用一個(gè)相似度度量來(lái)識(shí)別與當(dāng)前塊最類(lèi)似的前一個(gè)塊。與為之確定了最高相似度的前一幅圖像的塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量于是表示與當(dāng)前塊的各像素相關(guān)聯(lián)的運(yùn)動(dòng)矢量。注意，當(dāng)計(jì)算該相似度度量時(shí)，不必評(píng)估將被比較的兩個(gè)塊的所有像素。例如，能夠?qū)K進(jìn)行空間子采樣，從而為了相似度度量的評(píng)估只考慮兩個(gè)塊的每個(gè)第k個(gè)像素。
在通常的塊匹配中，運(yùn)動(dòng)估計(jì)器被用于計(jì)算一幅圖像中的每個(gè)像素塊的位移矢量，這通常是通過(guò)一個(gè)候選矢量組中選擇將匹配標(biāo)準(zhǔn)最小化的那個(gè)矢量。于是該矢量是對(duì)應(yīng)于圖像的相關(guān)塊的運(yùn)動(dòng)矢量。在本發(fā)明的概念內(nèi)，“運(yùn)動(dòng)”可以是任意類(lèi)型的位移，它包含例如實(shí)際運(yùn)動(dòng)(例如在一個(gè)顯示圖像內(nèi)運(yùn)動(dòng)的一個(gè)或多個(gè)對(duì)象)，但是也包含圖像的放大或縮小(圖像變大或變小)或攝影機(jī)移動(dòng)，在這種情況下，圖像作為一個(gè)整體在攝影機(jī)的框內(nèi)移動(dòng)。在本發(fā)明的概念內(nèi)，運(yùn)動(dòng)矢量包括從任何方法得到的對(duì)對(duì)應(yīng)于塊或?qū)ο蟮倪\(yùn)動(dòng)或位移數(shù)據(jù)的任意估計(jì)，其中基于數(shù)據(jù)已知的多個(gè)圖像構(gòu)造一個(gè)或多個(gè)另外的圖像。對(duì)所述運(yùn)動(dòng)矢量進(jìn)行估計(jì)，以預(yù)測(cè)所述另外的圖像內(nèi)的塊或?qū)ο蟮奈恢没蚱渌鼌?shù)。這樣方法的一個(gè)例子例如是視頻格式轉(zhuǎn)換，在該方法中，通過(guò)使用例如畫(huà)面內(nèi)插和/或去隔行而從一種視頻格式(格式A，源格式)的視頻數(shù)據(jù)得出另一種視頻格式(格式B，目標(biāo)格式)的視頻數(shù)據(jù)。在這種方法中，運(yùn)動(dòng)矢量可以被用來(lái)基于一種已知視頻格式(源格式)的已知數(shù)據(jù)來(lái)對(duì)于塊或?qū)ο蠊烙?jì)另一種視頻格式(目標(biāo)格式)的所述塊或?qū)ο蟮臄?shù)據(jù)。將注意到，使用畫(huà)面內(nèi)插從已知圖像(畫(huà)面內(nèi)插)構(gòu)造新的圖像，但是使用去隔行不改變已知的圖像，但是掃描行上數(shù)據(jù)的分布改變。在這樣的視頻轉(zhuǎn)換方法中使用被分配給塊的矢量簡(jiǎn)化計(jì)算，并且例如使得能夠壓縮數(shù)據(jù)。另一個(gè)例子是用于立體視頻的所謂的“視差估計(jì)(disparity estimation)”，其中在代表兩個(gè)立體視圖的兩個(gè)圖像的基礎(chǔ)上估計(jì)局部深度。在這樣的實(shí)施例中，矢量能夠被分配給這樣的塊或?qū)ο?，其中矢量使得能夠在已知圖像的基礎(chǔ)上預(yù)測(cè)其它圖像(例如經(jīng)內(nèi)插或去隔行的圖像或者在一個(gè)立體圖像對(duì)內(nèi)的由于3D效果而稍稍位移的圖像)中的所述塊的其它參數(shù)的位置。
盡管本發(fā)明有其它可能的應(yīng)用，但是本發(fā)明尤其對(duì)于“經(jīng)典的”運(yùn)動(dòng)矢量有用，即基于多個(gè)先前圖像來(lái)預(yù)測(cè)塊或?qū)ο蟮倪\(yùn)動(dòng)矢量，以便構(gòu)造一個(gè)(或一系列)隨后的圖像。
盡管塊運(yùn)動(dòng)矢量的使用通常是有用的策略，但是可能出現(xiàn)偽像，例如在對(duì)象的邊界周?chē)虍?dāng)對(duì)象覆蓋字幕的時(shí)候就會(huì)出現(xiàn)偽像。
而且，在塊匹配算法中的一個(gè)關(guān)鍵性的參數(shù)是塊尺寸。該參數(shù)確定所估計(jì)的矢量場(chǎng)的分辨率和用于圖像中的噪聲和周期性結(jié)構(gòu)的估計(jì)器的靈敏度。結(jié)果，最佳的塊尺寸是一種折衷。一方面，小的塊尺寸造成存在噪聲的運(yùn)動(dòng)矢量和對(duì)周期性結(jié)構(gòu)的高靈敏度，而另一方面，大的塊造成較差的矢量分辨率。較差的矢量分辨率產(chǎn)生其中對(duì)象邊界僅能夠被粗略近似的矢量場(chǎng)，從而造成使用這些運(yùn)動(dòng)矢量的應(yīng)用中的塊狀偽像。
本發(fā)明的一個(gè)目的是提供一種如開(kāi)頭段落中描述的那種類(lèi)型的改進(jìn)的方法、設(shè)備以及計(jì)算機(jī)程序產(chǎn)品。
為此，按照本發(fā)明的方法的特征在于對(duì)于一個(gè)塊或?qū)ο?，按照劃分?biāo)準(zhǔn)和像素信息的比較，將像素分為兩組或多于兩組，并且對(duì)于塊或?qū)ο髢?nèi)的每一組確定一個(gè)運(yùn)動(dòng)矢量，并且對(duì)應(yīng)的運(yùn)動(dòng)矢量被分配給該塊并被應(yīng)用到塊內(nèi)的對(duì)應(yīng)各組的像素。
在本發(fā)明的概念中，所述組或塊被根據(jù)該組內(nèi)的像素中的信息和劃分標(biāo)準(zhǔn)的比較分為兩組或多于兩組。結(jié)果，像素組和塊之間的關(guān)系(即哪些像素屬于塊中的哪一組)是從比較中得出的，即不是固定的(這是例如當(dāng)把一個(gè)塊劃分為多個(gè)相等部分時(shí)的情況)。后者將簡(jiǎn)單地表示塊尺寸降低，也就是使用更小的塊。在本發(fā)明的概念內(nèi)，基于劃分標(biāo)準(zhǔn)和像素信息之間的比較將一個(gè)塊劃分為組。
按照本發(fā)明的方法允許使用更大的塊尺寸，同時(shí)還實(shí)現(xiàn)更好的矢量分辨率。試驗(yàn)也已經(jīng)表明減少了偽像。
所述分離標(biāo)準(zhǔn)可以是一個(gè)與像素信息內(nèi)容無(wú)關(guān)的簡(jiǎn)單標(biāo)準(zhǔn)。這樣的簡(jiǎn)單標(biāo)準(zhǔn)的一個(gè)例子是固定閾值強(qiáng)度，例如把每一塊劃分為兩組，第一組包括具有低于最大亮度值的特定百分比(例如50％)的亮度值的像素，第二組包括具有高于所述閾值的亮度值的像素。
但是，所述劃分標(biāo)準(zhǔn)優(yōu)選地基于塊內(nèi)的像素信息內(nèi)容。這樣的標(biāo)準(zhǔn)的例子例如是將塊劃分為兩組，其中所述標(biāo)準(zhǔn)是一個(gè)平均強(qiáng)度，或者在平均顏色點(diǎn)周?chē)念伾c(diǎn)區(qū)域。這樣的劃分標(biāo)準(zhǔn)是優(yōu)選的，因?yàn)樗a(chǎn)生更好的效果，同時(shí)它造成在所有區(qū)域內(nèi)分配多于一個(gè)矢量的可能性，而不管這些區(qū)域的亮度級(jí)。
在優(yōu)選實(shí)施例中，塊或?qū)ο蟊环譃樗慕M或更少的組，優(yōu)選地是兩組。盡管在本發(fā)明的最寬概念內(nèi)，一個(gè)塊或一個(gè)對(duì)象可以被劃分為任意數(shù)量的組，但是較小的組數(shù)量(四個(gè)或更少，并優(yōu)選地是兩組)是優(yōu)選的。在大多數(shù)情況下，另外劃分為多于四組、并通常甚至劃分為多于兩組，只是帶來(lái)較小的改善，或者甚至造成有噪聲的矢量估計(jì)，同時(shí)使該方法復(fù)雜化。
在優(yōu)選實(shí)施例中，所述劃分標(biāo)準(zhǔn)是對(duì)于塊內(nèi)像素的平均亮度值。這已經(jīng)證明是一種有用并簡(jiǎn)單的標(biāo)準(zhǔn)。這可以是平均亮度值，即所有亮度值的總和與像素?cái)?shù)的商，或者是中間亮度值，即50％的像素具有高于該值的亮度值并且50％具有低于或等于所述亮度值的亮度值。
在優(yōu)選實(shí)施例中，在估計(jì)了構(gòu)成塊的各組的運(yùn)動(dòng)矢量之后、在運(yùn)動(dòng)矢量之間進(jìn)行比較，并且如果多個(gè)組的運(yùn)動(dòng)矢量之間的差小于一個(gè)閾值，則平均運(yùn)動(dòng)矢量被計(jì)算出來(lái)并被分配給所述多個(gè)組。劃分成組的措施提供了一種改進(jìn)的方法。但是，如果塊被劃分為多個(gè)組，同時(shí)實(shí)際上該塊只包括一個(gè)對(duì)象(并且從而只有一個(gè)運(yùn)動(dòng)矢量是適合的那個(gè))，則將塊分解為兩個(gè)或多于兩組將造成所計(jì)算的運(yùn)動(dòng)矢量之間的小的差異。運(yùn)動(dòng)矢量的計(jì)算通常是一個(gè)近似過(guò)程，并且在有限數(shù)量像素上進(jìn)行，從而有一個(gè)誤差邊際。如果在所計(jì)算的運(yùn)動(dòng)矢量之間的差小于一個(gè)閾值(例如在運(yùn)動(dòng)矢量的計(jì)算中的誤差邊際)，則很可能該差異是由于近似或計(jì)算的不精確而造成的。在這樣的情況下，將相同的運(yùn)動(dòng)矢量分配給相關(guān)組并且選擇所找到的運(yùn)動(dòng)矢量的平均值是有用的。
參照以下描述的實(shí)施例，本發(fā)明的這些和其它方面將很明顯并將被闡明。
在附圖中

圖1A到1C示出了表示不同類(lèi)型的運(yùn)動(dòng)或位移的不同圖像序列。
圖2示出了背景上的一個(gè)旋轉(zhuǎn)的輪子。
圖3借助于流程圖示出了按照本發(fā)明的示例方法的不同步驟。
各圖并沒(méi)有按比例畫(huà)出。通常，圖中相同的部件用相同的附圖標(biāo)記表示。
圖1A到1C很簡(jiǎn)要地說(shuō)明了一幅圖像的或一幅圖像之內(nèi)的不同運(yùn)動(dòng)或位移。
在圖1A中示出了一個(gè)圖像序列，其中一個(gè)對(duì)象(一只鳥(niǎo)的很簡(jiǎn)化的圖像)相對(duì)于背景運(yùn)動(dòng)。從序列的頭兩幅圖像能夠建立一個(gè)運(yùn)動(dòng)矢量(在中間圖像中的箭頭)，它能夠用于預(yù)測(cè)隨后圖像中該對(duì)象(鳥(niǎo))的位置。
圖1B示出了攝影機(jī)在鳥(niǎo)上放大的動(dòng)作。同樣使用該序列的頭兩個(gè)圖像(或通常更多數(shù)量的先前圖像)，可以將一個(gè)運(yùn)動(dòng)矢量(其能夠更一般地稱(chēng)為位移矢量)分配給每個(gè)塊或?qū)ο?，從而預(yù)測(cè)在該序列內(nèi)的隨后圖像上的對(duì)象或塊的位置。運(yùn)動(dòng)矢量可以被分配給圖像的塊或?qū)ο?，并且可以在先前圖像中的信息的基礎(chǔ)上被計(jì)算，以預(yù)測(cè)序列內(nèi)的隨后的(或者如果該方法用于例如內(nèi)插多個(gè)“中間”的圖像)(一個(gè)或多個(gè))圖像中的所述塊或?qū)ο蟮奈恢谩?br> 圖1C示出了攝影機(jī)移動(dòng)，該攝影機(jī)關(guān)于圖像移動(dòng)。同樣使用該序列的頭兩個(gè)圖像(或通常更多數(shù)量的先前圖像)，可以將一個(gè)運(yùn)動(dòng)矢量(其能夠更一般地稱(chēng)為位移矢量)分配給每個(gè)塊或?qū)ο螅瑥亩A(yù)測(cè)在該序列內(nèi)的隨后圖像上的對(duì)象或塊的位置，當(dāng)然在這種情況下，這對(duì)隨后鏡頭中再次出現(xiàn)的圖像的那些部分成立，而對(duì)新的部分則不成立。應(yīng)該提到，即使對(duì)于簡(jiǎn)單的攝影機(jī)移動(dòng)(比如掃描水平線)，塊或?qū)ο蟮氖噶繉?duì)于不同的對(duì)象也可以是不同的，這取決于例如它們與攝影機(jī)相對(duì)的位置，例如對(duì)象是在圖像的前景還是背景中。對(duì)象也可以隨著攝影機(jī)位置改變而變形(因?yàn)閷?duì)象的不同部分與攝影機(jī)相對(duì)不同地定位)。
在本發(fā)明的概念內(nèi)，從而“運(yùn)動(dòng)矢量”將被寬泛地解釋為表示一組參數(shù)，以便預(yù)測(cè)一個(gè)對(duì)象或塊的任何變換，諸如例如一個(gè)簡(jiǎn)單的平移T(見(jiàn)例如圖1A，對(duì)于該情況，簡(jiǎn)單地加上一個(gè)矢量就足夠了)、一個(gè)旋轉(zhuǎn)R(對(duì)于該情況，將矩陣與一個(gè)旋轉(zhuǎn)矩陣相乘就足夠了)、放大(矩陣相乘，例如見(jiàn)圖1B)或變形(于是將需要更復(fù)雜的矩陣)或這種平移、旋轉(zhuǎn)放大和/或變形的任意組合。能夠使用預(yù)測(cè)來(lái)基于在先前圖像中可獲得的信息預(yù)測(cè)后續(xù)圖像中的塊對(duì)象的位置。
通常塊匹配運(yùn)動(dòng)估計(jì)器(BMA)用于計(jì)算圖像中每個(gè)像素塊的運(yùn)動(dòng)矢量，這一般是通過(guò)從候選矢量組中選擇那個(gè)將匹配標(biāo)準(zhǔn)最少化的矢量。于是該矢量是對(duì)應(yīng)于圖像的相關(guān)塊的運(yùn)動(dòng)矢量。
例如US 5072293公開(kāi)了一種這樣的BMA，其中根據(jù)一個(gè)3D鄰域的預(yù)測(cè)被用作運(yùn)動(dòng)矢量估計(jì)的候選矢量。該組候選運(yùn)動(dòng)矢量包括對(duì)運(yùn)動(dòng)矢量的空間(2D)和時(shí)間(1D)預(yù)測(cè)，其中對(duì)于每個(gè)塊遞歸地確定最好的矢量。該技術(shù)是遞歸的，因?yàn)閷?duì)應(yīng)于當(dāng)前圖像n的一個(gè)塊的該組候選運(yùn)動(dòng)矢量中的至少一個(gè)候選運(yùn)動(dòng)矢量取決于圖像n(空間預(yù)測(cè))或前一圖像n-1(時(shí)間預(yù)測(cè))中的其它塊的已經(jīng)確定的運(yùn)動(dòng)矢量。
圖2示出了一個(gè)相對(duì)于星星背景旋轉(zhuǎn)的輪子。輪子旋轉(zhuǎn)，而星星具有固定位置。
在一個(gè)(塊匹配或任意類(lèi)型的)運(yùn)動(dòng)估計(jì)器中，試圖將前一個(gè)(或下一個(gè)，或二者)圖像的位移部分與當(dāng)前圖像的固定部分相匹配。在我們用于闡述本發(fā)明的例子中，估計(jì)器使用例如絕對(duì)差和(SAD)作為匹配標(biāo)準(zhǔn)SAD(C→,X→,n)=]]>Σx→∈B(X→)|F(x→-C→,n-1)-F(x→,n)|,---(1)]]>其中 是待測(cè)候選矢量，矢量 表示塊 的位置， 是亮度信號(hào)，并且n是畫(huà)面或場(chǎng)編號(hào)。在輸出處得到的運(yùn)動(dòng)矢量(每塊一個(gè)矢量)是給出最低SAD值的候選矢量。上面的運(yùn)動(dòng)估計(jì)器的質(zhì)量主要由產(chǎn)生候選矢量的方式確定。在本發(fā)明公開(kāi)內(nèi)容中，我們不涉及這種選擇。使用完全搜索、三步驟搜索、一次一個(gè)的搜索或3D遞歸搜索塊匹配器能獲得良好的結(jié)果(取決于應(yīng)用)。所謂的分級(jí)運(yùn)動(dòng)估計(jì)器方法也是可能的，其中傳統(tǒng)上該方法首先對(duì)相對(duì)較大的塊(例如32×32像素)估計(jì)運(yùn)動(dòng)矢量，其后大塊被分割為較小的塊(例如4個(gè)16×16像素)，并且大塊的運(yùn)動(dòng)矢量被轉(zhuǎn)移到下一個(gè)分級(jí)層，即大塊的運(yùn)動(dòng)矢量被用作較小塊的運(yùn)動(dòng)矢量的計(jì)算的起點(diǎn)。按照本發(fā)明的方法能夠用于分級(jí)運(yùn)動(dòng)估計(jì)器方法，于是其中兩個(gè)(或多于兩個(gè)，取決于劃分標(biāo)準(zhǔn))運(yùn)動(dòng)矢量被轉(zhuǎn)移到下一個(gè)分級(jí)層。
在任意這種塊匹配(或任意匹配)算法中的關(guān)鍵性參數(shù)是塊尺寸。該參數(shù)確定所估計(jì)的矢量場(chǎng)的分辨率和估計(jì)器對(duì)噪聲和圖像中的周期性結(jié)構(gòu)的靈敏度。結(jié)果，最佳的塊尺寸是一種折衷。一方面，小的塊尺寸造成有噪聲的運(yùn)動(dòng)矢量和對(duì)周期性結(jié)構(gòu)的高靈敏度，而另一方面，小的塊尺寸造成較差的矢量分辨率。較差的矢量分辨率產(chǎn)生這樣的矢量場(chǎng)其中對(duì)象邊界只能被粗略近似，從而造成使用這些運(yùn)動(dòng)矢量的應(yīng)用中的塊狀偽像。
如果選擇一個(gè)相對(duì)較大的塊或?qū)ο螅热鐖D2中示意性地用虛線矩形表示的塊或?qū)ο?，所得到的運(yùn)動(dòng)矢量將偏離目標(biāo)。如果運(yùn)動(dòng)矢量(它可以是一個(gè)旋轉(zhuǎn)矩陣)的計(jì)算接近于輪子的真實(shí)旋轉(zhuǎn)，則運(yùn)動(dòng)矢量對(duì)于星星是錯(cuò)的，如果發(fā)現(xiàn)運(yùn)動(dòng)矢量接近于零(對(duì)星星是正確的)，則所預(yù)測(cè)的運(yùn)動(dòng)矢量對(duì)輪子是偏離目標(biāo)的。任何平均值對(duì)輪子和星星都是偏離目標(biāo)的。通過(guò)使用更小的塊尺寸，比如示意性在圖2的下半部分中表示的那樣，對(duì)于圖的大部分，該問(wèn)題被減輕了，但是以降低所預(yù)測(cè)的(一個(gè)或多個(gè))運(yùn)動(dòng)矢量的精度為代價(jià)。即使是這樣，即使對(duì)于小的塊尺寸(比如例如用矩形21表示的)仍出現(xiàn)相同的問(wèn)題。本發(fā)明旨在提供解決或至少減輕該問(wèn)題的方法。
為此，修改匹配標(biāo)準(zhǔn)，并且基于修改后的標(biāo)準(zhǔn)，每個(gè)塊分配多于一個(gè)矢量。
按照本發(fā)明的方法特征在于對(duì)于一個(gè)塊或?qū)ο?，像素被按照劃分?biāo)準(zhǔn)和像素信息的比較劃分為兩組或多于兩組，并且對(duì)于塊或?qū)ο笾械拿恳唤M確定一個(gè)運(yùn)動(dòng)矢量，并且對(duì)應(yīng)的運(yùn)動(dòng)矢量被分配給該塊并被應(yīng)用到該塊內(nèi)的對(duì)應(yīng)各組的像素。基本的了解是，如果在一個(gè)塊或?qū)ο髢?nèi)有對(duì)之來(lái)說(shuō)運(yùn)動(dòng)矢量的最佳預(yù)測(cè)不同的像素組，則通過(guò)比較像素信息與劃分標(biāo)準(zhǔn)，可以在像素信息的基礎(chǔ)上在各組之間進(jìn)行劃分，此后對(duì)于每個(gè)組確定一個(gè)運(yùn)動(dòng)矢量，并且對(duì)應(yīng)的運(yùn)動(dòng)矢量被分配給每組內(nèi)的像素。
為了闡明本發(fā)明，我們將描述一個(gè)按照本發(fā)明的示例運(yùn)動(dòng)估計(jì)器，其中每個(gè)塊被分解為兩組像素，同時(shí)估計(jì)器將一個(gè)運(yùn)動(dòng)矢量分配給這兩組，即每塊2個(gè)矢量。
塊 中的像素的平均像素值可以按照如下方式定義Av(X→,n)=1/NΣx→∈B(X→)F(x,n→),---(2)]]>其中N是 中的像素?cái)?shù)量。在該例子中， 將例如是一個(gè)對(duì)象或一個(gè)n×m尺寸的矩形內(nèi)的像素，例如n和m在4和32之間，例如16×16。
現(xiàn)在，我們定義一起形成塊 的兩組像素 Ga(X→)={x→∈B(X→)|F(x→,n)>Av(X→,n)}---(3)]]>即塊 內(nèi)的具有大于該平均亮度值的亮度值的那些像素，以及Gb(X→)={x→∈B(X→)|F(x→,n)≤Av(X→,n)}---(4)]]>即具有等于或小于該平均亮度值的亮度值的那些像素。在所提出的估計(jì)器中，現(xiàn)在對(duì)每個(gè)組 計(jì)算運(yùn)動(dòng)矢量Da和Db，從而Da是將組Ga中的像素的SADa最小化的候選矢量SADa(C→,X→,n)=]]>Σx→∈Ga(X→)|F(x→-C→,n-1)-F(x→,n)|,---(5)]]>
而Db是將組Gb中的像素的SADb最小化的候選矢量SADb(C→,X→,n)=]]>Σx→∈Gb(X→)|F(x→-C→,n-1)-F(x→,n)|,---(6)]]>運(yùn)動(dòng)矢量Da和Db被分配給塊 從而一個(gè)矢量場(chǎng)對(duì)圖像中的每一塊得到兩個(gè)運(yùn)動(dòng)矢量。更準(zhǔn)確地說(shuō)，對(duì)于塊中的具有大于平均亮度的亮度值的像素，它們應(yīng)用Da，而對(duì)其它像素應(yīng)用Db。在該給定的例子中，例如平均亮度值被用作劃分標(biāo)準(zhǔn)。即使是這樣基于平均亮度值簡(jiǎn)單地劃分為兩組仍將形成兩組，一組主要包括低強(qiáng)度像素(比如星星)，另一組主要包括與輪子相關(guān)聯(lián)的像素。兩個(gè)所預(yù)測(cè)的運(yùn)動(dòng)矢量于是接近于輪子和星星的正確值，并且被分配給不同的組，從而將給出更好的結(jié)果。一個(gè)不同的劃分標(biāo)準(zhǔn)將是中間亮度值，其也將導(dǎo)致良好的結(jié)果。
使用中間亮度值具有這樣的優(yōu)點(diǎn)即各組總是包括50％的像素，從而包括統(tǒng)計(jì)上相對(duì)較大數(shù)量的像素。完全有可能將塊劃分為更多組，并且它們不必具有相等的尺寸。在本例中例如劃分成三組，一組具有小于平均亮度值的0.5倍的亮度值，一組具有平均亮度值的0.5倍和1.5倍之間的亮度值，一組具有大于平均亮度值的1.5倍的亮度值，這可能在某種條件下給出更好的結(jié)果。
圖3借助于流程圖示出按照本發(fā)明的一個(gè)示例方法的不同步驟。在第一步驟31中，得到關(guān)于塊B(X)內(nèi)的像素的亮度值的信息。第一步驟31后面跟隨著步驟32，其中劃分標(biāo)準(zhǔn)被限定為例如平均像素值，或者如果劃分標(biāo)準(zhǔn)已知，則計(jì)算對(duì)應(yīng)于劃分標(biāo)準(zhǔn)的值(例如平均亮度值)。步驟32后面跟隨著步驟33，其中限定塊B(X)內(nèi)的各組，即通過(guò)比較像素信息與劃分標(biāo)準(zhǔn)，計(jì)算哪些像素屬于哪個(gè)組，在該例子中，例如基于像素的亮度值和平均亮度值之間的差的符號(hào)來(lái)限定一個(gè)像素是否屬于一個(gè)組或另一組。步驟33后面跟隨著步驟34，其中對(duì)于每一組(在該例子中是對(duì)于兩組)確定運(yùn)動(dòng)矢量。為了確定運(yùn)動(dòng)矢量，在本發(fā)明內(nèi)可以使用任何已知的確定方法。使用完全搜索、三步驟搜索、一次一個(gè)的搜索或者3D遞歸搜索塊匹配器(取決于應(yīng)用)能夠?qū)崿F(xiàn)良好的結(jié)果。其中確定運(yùn)動(dòng)矢量的步驟的后面可選地跟隨著步驟35，其中將運(yùn)動(dòng)矢量之間的差與一個(gè)閾值作比較，以及如果該差小于一個(gè)閾值，則將一個(gè)平均運(yùn)動(dòng)矢量用于兩個(gè)組。最后在步驟36中，將運(yùn)動(dòng)矢量分配給塊B(X)，從而矢量場(chǎng)得到兩個(gè)運(yùn)動(dòng)矢量，并將所述矢量場(chǎng)的其中一個(gè)矢量應(yīng)用到像素(Da應(yīng)用到組Ga，Db應(yīng)用到組Gb)。
本發(fā)明也涉及一種顯示設(shè)備，其包括用于確定從一個(gè)圖像序列中取得的圖像的塊或?qū)ο蟮倪\(yùn)動(dòng)矢量的確定器，其特征在于該確定器包括一個(gè)劃分器，用于按照劃分標(biāo)準(zhǔn)與像素信息的比較而將一個(gè)像素塊或?qū)ο髣澐譃閮山M或更多組，該確定器隨后為該塊或?qū)ο髢?nèi)的每一組確定一個(gè)運(yùn)動(dòng)矢量，并且該確定器包括一個(gè)分配器來(lái)將對(duì)應(yīng)的運(yùn)動(dòng)矢量分配給該塊，以用于應(yīng)用到該塊內(nèi)的對(duì)應(yīng)各組的像素。
本發(fā)明還涉及一種計(jì)算機(jī)程序產(chǎn)品，其包括用于按照本發(fā)明的最廣意義上的方法(以及在任何實(shí)施例中，特別是在優(yōu)選實(shí)施例中)確定從一個(gè)圖像序列中取得的圖像的塊或?qū)ο蟮倪\(yùn)動(dòng)矢量的軟件代碼部分。
在本發(fā)明的概念中，“確定器”、“劃分器”、“分配器”應(yīng)被寬泛地理解，并且單獨(dú)或組合地包括例如任何硬件(比如確定器、劃分器、分配器)、被設(shè)計(jì)來(lái)執(zhí)行所述確定、劃分、分配的任何電路或子電路、被設(shè)計(jì)或編程來(lái)執(zhí)行所述確定、劃分、分配的任意軟件(計(jì)算機(jī)程序或子程序或計(jì)算機(jī)程序集或程序代碼)以及執(zhí)行這些功能的硬件和軟件的任意組合，而不限制為以下給出的示例性實(shí)施例。
對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)，本發(fā)明顯然不由這里特別示出和描述的內(nèi)容所限制。本發(fā)明存在于每個(gè)新穎特征和每種特征組合中。權(quán)利要求中的附圖標(biāo)記不限制其保護(hù)范圍?！鞍ā币辉~和它的同義詞不排除與權(quán)利要求中所列出的那些不同的元件的存在。元件之前的冠詞“一個(gè)”不排除多個(gè)這種元件的存在。
已經(jīng)按照各具體實(shí)施例描述了本發(fā)明，它們對(duì)本發(fā)明僅僅是說(shuō)明性的，而不應(yīng)理解為限制本發(fā)明。本發(fā)明可以用硬件、固件或軟件或它們的組合來(lái)實(shí)現(xiàn)。其它實(shí)施例在所附權(quán)利要求書(shū)的范圍內(nèi)。
權(quán)利要求
1.一種用于根據(jù)從圖像序列中取得的一幅圖像的塊或?qū)ο蟮膱D像數(shù)據(jù)來(lái)確定運(yùn)動(dòng)矢量的方法，其特征在于按照劃分標(biāo)準(zhǔn)(Av(X，n))和像素信息(F(x，n))的比較對(duì)于一個(gè)塊(B(X))或?qū)ο髮⑾袼貏澐?33)為兩組或多于兩組(Ga，Gb)，并且對(duì)于該塊(B(X))或?qū)ο髢?nèi)的每組(Ga，Gb)確定一個(gè)運(yùn)動(dòng)矢量(Da，Db)，并且將對(duì)應(yīng)的運(yùn)動(dòng)矢量(Da，Db)分配給該塊(B(X))并應(yīng)用到該塊內(nèi)的對(duì)應(yīng)各組(Ga，Gb)的像素。
2.如權(quán)利要求1所要求保護(hù)的方法，其特征在于，每塊中的組的數(shù)量等于或小于四。
3.如權(quán)利要求1所要求保護(hù)的方法，其特征在于，每塊中的組的數(shù)量是二。
4.如權(quán)利要求1所要求保護(hù)的方法，其特征在于，所述劃分標(biāo)準(zhǔn)(Av(X，n))是基于所述塊(B(X))內(nèi)的像素的信息內(nèi)容(F(x，n))確定的。
5.如權(quán)利要求4所要求保護(hù)的方法，其特征在于，所述劃分標(biāo)準(zhǔn)是所述組內(nèi)的像素的平均亮度值。
6.如權(quán)利要求4所要求保護(hù)的方法，其特征在于，所述劃分標(biāo)準(zhǔn)是所述組內(nèi)的像素的中間亮度值。
7.如權(quán)利要求1所要求保護(hù)的方法，其特征在于將為不同組確定的運(yùn)動(dòng)矢量之間的差與一個(gè)閾值作比較，并且如果該差小于該閾值，則用所述運(yùn)動(dòng)矢量的組合替換對(duì)應(yīng)的各運(yùn)動(dòng)矢量。
8.一種包括一個(gè)用于確定從圖像序列中取得的一幅圖像的塊或?qū)ο蟮倪\(yùn)動(dòng)矢量的確定器的顯示設(shè)備，其特征在于該確定器包括一個(gè)劃分器，用于按照劃分標(biāo)準(zhǔn)和像素信息的比較將一個(gè)像素塊或?qū)ο髣澐譃閮山M或多于兩組，該確定器隨后為該塊或?qū)ο髢?nèi)的每一組確定一個(gè)運(yùn)動(dòng)矢量，并且該確定器包括一個(gè)分配器以將對(duì)應(yīng)的運(yùn)動(dòng)矢量分配給該塊，以用于應(yīng)用到該塊內(nèi)的對(duì)應(yīng)各組的像素。
9.一種可直接加載到數(shù)字計(jì)算機(jī)的內(nèi)部存儲(chǔ)器中的計(jì)算機(jī)程序產(chǎn)品，包括當(dāng)所述產(chǎn)品運(yùn)行在一個(gè)計(jì)算機(jī)上時(shí)執(zhí)行權(quán)利要求1的各步驟的各軟件代碼部分。
全文摘要
在一個(gè)用于根據(jù)從圖像序列中取得的一幅圖像的塊或?qū)ο蟮膱D像數(shù)據(jù)來(lái)確定運(yùn)動(dòng)矢量的方法中，一個(gè)像素塊(B(X))或?qū)ο蟊粍澐?33)為在該塊(B(X))或?qū)ο髢?nèi)的兩組或多于兩組(G
文檔編號(hào)H04N5/14GK1762160SQ200480006843
公開(kāi)日2006年4月19日 申請(qǐng)日期2004年3月11日 優(yōu)先權(quán)日2003年3月14日
發(fā)明者G·德哈安 申請(qǐng)人:皇家飛利浦電子股份有限公司