專利名稱：視頻圖象運動測量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖象運動的測量，特別是關(guān)于在視頻圖象相鄰場之間存在攝象機(快速)變焦距、旋轉(zhuǎn)、或某些其他非線性變換時這種運動的測量。
在我們的英國專利GB-B-2188510號中描述了一種TV(電視)畫面運動的測量方法，其中對一幅畫面的多個測量塊的每一個都提取一組運動矢量，并從它們當(dāng)中得到可以應(yīng)用于測量塊整個區(qū)域的運動矢量清單(list)，這一過程在整個畫面區(qū)域上重復(fù)地進行。這些矢量是用相位相關(guān)技術(shù)得到的。然后對圖象的每個區(qū)域的每個區(qū)域單元(elementaryarea)指定一個矢量。也可以用其他方法產(chǎn)生這個矢量清單，例如用在歐洲專利申請EP-A-0395264號中描述的塊匹配技術(shù)。圖象區(qū)域中被指定一個矢量的每個區(qū)域單元可以小到一個畫面元素(象素)或者對畫面的一塊它可由多個畫面元素組成。這樣得到的運動矢量可以用于例如產(chǎn)生介于兩次輸入場之間的若干時刻的輸出場。當(dāng)產(chǎn)生慢動作效果時、當(dāng)視頻圖象與(電影)膠片相應(yīng)互轉(zhuǎn)換時、或在變換標(biāo)準(zhǔn)時，都需要這種中間場。
已經(jīng)發(fā)現(xiàn)，用于提取運動矢量的那些方法對于穩(wěn)定的攝象機位置是很令人滿意的，但當(dāng)涉及攝象機的(快速)變焦距或攝象機相對于它的取景孔(viewingaccess)旋轉(zhuǎn)時則會引起一些問題。當(dāng)這種變焦距或旋轉(zhuǎn)與攝象機搖鏡頭(camerapan)相結(jié)合時這些問題就特別嚴(yán)重，而且在這些情況下提取運動矢量的方法有時會完全失靈。
本發(fā)明的最佳實施例試圖提供一種機器方法，用于從場景中的總體運動中提取出由于攝象機變焦距或旋轉(zhuǎn)所引起的運動分量。由于攝象機旋轉(zhuǎn)或變焦距所引起的這類運動，對于每個畫面區(qū)域的分量將與該區(qū)域到圖象中一個特定點的距離成比例。
現(xiàn)在將通過舉例并參考附圖來詳細描述本發(fā)明的最佳實施例。這些附圖是

圖1示意性給出由傳統(tǒng)TV圖象運動測量系統(tǒng)提取的運動矢量類型;
圖2示意性給出攝象機搖鏡頭的效果;
圖3給出在圖2所示畫面區(qū)域的頂部行上攝象機變焦距的效果;以及圖4和圖5給出使用本發(fā)明的一個實施例得到的變焦距和搖鏡頭表面。
在圖1中示意性示出了電視信號的兩個相鄰幀F(xiàn)0和F1。它們由時間T分開。一個目標(biāo)2在F0和F1中都出現(xiàn)了，該目標(biāo)從F0中的第一位置運動到F1中的第二位置。使用GB2188510中描述的那類TV畫面運動測量系統(tǒng)去分析F0和F1之間的差別，并由此產(chǎn)生矢量V，它描述目標(biāo)2在相鄰幀或場之間的運動。
在圖2中所示幀F(xiàn)1被分成多個區(qū)域，對于這些區(qū)域由該運動測量系統(tǒng)得到一組嘗試運動矢量。通常使用108個區(qū)域，對每個區(qū)域得到一組嘗試矢量。最好是這些區(qū)域重疊，從而能更容易地跟蹤穿過邊界的運動。在F0和F1之間發(fā)生了一次搖鏡頭，這樣，運動測量在這組嘗試矢量中產(chǎn)生一個平移矢量，它用于圖象中的每個區(qū)域以確定攝象機搖鏡頭。除此之外，包括圖1所示類型的運動的那些區(qū)域?qū)汛_定這類運動的矢量包括在它們的嘗試矢量清單中，從而由賦予各區(qū)域單元的運動矢量適當(dāng)?shù)卮_定重疊于背景搖鏡頭動作之上的任何前景目標(biāo)的運動。對于場景中的任何運動而言，搖鏡頭矢量是背景矢量。
已經(jīng)發(fā)現(xiàn)，對于簡單的攝象機掃描運動能容易地取得搖鏡頭矢量，因為這種情況通常發(fā)生在TV圖象所分成的60%以上的塊中。然而，當(dāng)同時涉及變焦距時，小量的變焦距將導(dǎo)致提取搖鏡頭矢量的失敗。
為了改正系統(tǒng)使之考慮攝象機的任何變焦距或旋轉(zhuǎn)，在本發(fā)明的一個實施例中已設(shè)計了一個涉及更多內(nèi)容的處理過程，以便從應(yīng)用于畫面一個區(qū)域的矢量中得到變焦距分量以及任何搖鏡頭分量。
從F1中的圖象和F0中的圖象的對比中得到賦予一個序列的幀F(xiàn)1中不同塊的兩個矢量。它們代表了場景中的總體運動，由兩個分量組成。由于搖鏡頭產(chǎn)生的一個分量將在整個畫面上為一常數(shù)值，而且可以為零。另一個分量將是非線性的，可以是由于變焦距或旋轉(zhuǎn)產(chǎn)生的。這是一個指向或離開畫面中一點(通常為中心點)的運動或者該點旋轉(zhuǎn)的運動，其值與離開那點的距離成比例。繞著一個非中心點的旋轉(zhuǎn)能定義為一個搖鏡頭加上一個繞中心點的旋轉(zhuǎn)。
在圖3中顯示了圖2所示畫面區(qū)域頂部行上的變焦距效應(yīng)。在P1得到一個背景矢量V1。它由搖鏡頭矢量PV1及變焦聚矢量ZV1組成。在P2得到第2個背景矢量V2。它由搖鏡頭矢量PV2(等于PV1)及變焦距矢量V2組成。
點P1和P2相對于畫面中心。這導(dǎo)致一對聯(lián)立方程如下V1＝搖鏡頭矢量+變焦距常數(shù)＊P1V2＝搖鏡頭矢量+變焦距常數(shù)＊P2這樣，V1-V2＝變焦距常數(shù)＊P1-變焦距常數(shù)＊P2以及變焦距常數(shù)+(V1-V2)/(P1-P2)…(1)從而，搖鏡頭矢量＝V1-變焦距常數(shù)＊P1。
利用方程(1)，使用一個區(qū)域的嘗試矢量組中每個矢量并將其在方程(1)中與該圖象所有其他區(qū)域的嘗試矢量組中的每個矢量進行比較，便可估計出變焦距常數(shù)。由這些便有可能對該圖象作為整體得到變焦距常數(shù)，不論在該圖象中是否有任何平移運動。其作法是對場景中的所有矢量對得到變焦距常數(shù)分布圖，并從這張變焦距圖中取得最一般發(fā)生之值作為變距常數(shù)。除非它們對應(yīng)于變焦距作用的源目標(biāo)，否則所得到的那些值將是隨機的。
一旦已經(jīng)取得了嘗試矢量組，對變焦距和搖鏡頭矢量的全部分析可以概括如下a)建立一個帶有實軸和虛軸的所有可能變焦距值分布圖，并設(shè)該分布圖為零。
b)對于一對畫面區(qū)域，由這些區(qū)域的嘗試矢量組用方程(1)得到變焦距常數(shù)估計值。對于所有畫面區(qū)域但不是對來自同一塊的矢量重復(fù)這一過程。然后將變焦距常數(shù)的每個估計值畫到變焦聚分布圖上。
c)對變焦聚分布圖進行濾波以給出光滑表面。
d)變焦距常值被取作帶有超過閾值小虛分量的最大非零峰值。虛分量是由于攝象機旋轉(zhuǎn)，通常是相當(dāng)小的。
e)對于原始嘗試矢量清單中的每個塊和矢量，減去變焦距常數(shù)乘以塊位置，從而去掉變焦距分量去變焦Vn＝Vn-P1＊變焦距常數(shù)，如果沒發(fā)生變焦距，則變焦距常數(shù)＝0，于是，去變焦Vn＝Vn。
f)建立所有可能搖鏡頭值分布圖，并置該分布圖為零。
g)在搖鏡頭分布圖中與去變焦Vn值對應(yīng)的位置增加一常數(shù)標(biāo)志。對所有去變焦Vn重復(fù)這一過程。
h)對該搖鏡頭分布圖濾波以給出光滑表面并找出最大值。設(shè)一閾值等于最大值之半。
i)在搖鏡頭圖表面上的各個峰值對應(yīng)于畫面中的總體運動。通常在閾值之上的最大非零峰值是搖鏡頭。如果最大峰值是零而又沒有其他超過閾值的，則搖鏡頭等于零。
j)從搖鏡頭表面中最大峰值出發(fā)，對每塊計算P2值，如果還沒有適當(dāng)?shù)氖噶烤桶阉拥皆搲K上P2-矢量(n)搖鏡頭矢量+變焦距常數(shù)＊Pn在不涉及變焦聚時CCD攝象機趨向于給出零峰值矢量。這被認(rèn)為是因為CCD電池的背景噪聲。這樣，當(dāng)存在變焦距時通常不會發(fā)現(xiàn)多于一個搖鏡頭矢量，但若沒有變焦距則常常發(fā)現(xiàn)兩個搖鏡頭矢量。如果搖鏡頭矢量數(shù)被設(shè)置成一個大數(shù)，則仍然不大可能加上一個或二個以上的矢量。
使用這種方法能將組合的的變焦距和搖鏡頭矢量加到每個區(qū)域的嘗試矢量清單，然后將矢量賦予畫面區(qū)域的各區(qū)域單元。由此引出一個賦予矢量系統(tǒng)，它更精確地確定背景運動并減小接近于前景目標(biāo)的誤差。這使得更直接地追蹤場景內(nèi)接近于前景目標(biāo)的背景目標(biāo)，其結(jié)果是將正確的矢量賦予F0和F1之間量時刻的中間場。
找出搖鏡頭的另一種方法是對所有經(jīng)過變焦距校正的矢量計算其處于一個小參考距離內(nèi)的矢量數(shù)目。具有最大相鄰矢量數(shù)的矢量將是搖鏡頭或總體運動。
精通本門技藝的人將會理解，這里所描述的方法能以公知的方式在計算機軟件或?qū)Ｓ糜布袑崿F(xiàn)。對于本發(fā)明的這一具體實施例而言，至關(guān)重要的是提取圖象的變焦距和搖鏡頭分量的實際步驟而不是用于提取這些分量的任何具體硬件。
由上述步驟提取的變焦距面示于圖4，其中指出了變焦距峰值。類似地，搖鏡頭面示于圖5，其中最大非零峰值為搖鏡頭矢量。
為簡化提取的變焦距面示于圖4，其中指出了變焦距峰值。類似地，搖鏡頭面示于圖5，其中最大非零峰值為搖鏡頭矢量。
為簡化提取搖鏡頭和變焦距矢量的方法，已經(jīng)建議，不去生成變焦距和搖鏡頭分布圖，而是可以用帶有實軸的一維圖來提取變焦距常數(shù)。當(dāng)然，這會忽略由于攝象機旋轉(zhuǎn)造成的任何虛分量。
權(quán)利要求
1.在視頻圖象運動補償系統(tǒng)中補償非線性畫面變換的一種機器方法，該補償系統(tǒng)的運作是從多個按順序的輸入圖象中對多個圖象區(qū)域的每一個都提取一組嘗試運動矢量并將這些矢量中的一個賦予該視頻圖象的每個區(qū)域單元，該方法包括如下步驟先估計出一個常數(shù)，利用每個區(qū)域得到的嘗試矢量組由這一常數(shù)得出非線性變換，并把對于特定區(qū)域確定非線性變換的矢量加到那個區(qū)域的嘗試矢量清單中的矢量上，然后再把這些矢量賦予該區(qū)域的各區(qū)域單元。
2.根據(jù)權(quán)利要求1的一種機器方法，其中的估計步驟包括將一個區(qū)域得到的嘗試矢量組中的至少是一些矢量與其他一些區(qū)域得到的至少是一些嘗試矢量進行比較，并從每個矢量對估計出一個常數(shù)。
3.根據(jù)權(quán)利要求1或2的一種機器方法，其中的非線性變換是攝象機變焦距。
4.根據(jù)權(quán)利要求1、2或3的一種機器方法，其中的非線性變換是攝象機旋轉(zhuǎn)。
5.根據(jù)前述任何一項權(quán)利要求的一種機器方法，包括提取一個矢量代表用于視頻圖象的一個均勻平移位移。
6.基本上如附圖所描述的那種一種機器方法，用于在視頻圖象運動補償系統(tǒng)中對非線性圖象變換的補償。
全文摘要
本發(fā)明為在視頻圖象運動補償系統(tǒng)中補償非線性畫面變換的方法，該補償系統(tǒng)從多個輸入圖象中對每一個圖象區(qū)域都提取一組嘗試運動矢量并將這些矢量中的一個賦予該視頻圖象的每個區(qū)域單元。該方法包括如下步驟估計出一個常數(shù)，利用每個區(qū)域的嘗試矢量組由該常數(shù)得出非線性變換，并把特定區(qū)域中確定非線性變換的矢量加到那個區(qū)域的嘗試矢量清單中的矢量上，然后再把這些矢量賦予該區(qū)域的各區(qū)域單元。
文檔編號G06T7/20GK1079094SQ9310337
公開日1993年12月1日 申請日期1993年3月24日 優(yōu)先權(quán)日1992年3月24日
發(fā)明者邁克爾·布爾, 羅德里克·托馬森 申請人:英國廣播公司