專利名稱：用于視頻穩(wěn)定的運(yùn)動(dòng)濾波的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一見頻穩(wěn)定，更具體地涉及纟見頻幀序列的運(yùn)動(dòng)濾波， 其考慮了針對(duì)可應(yīng)用到每個(gè)視頻幀的校正運(yùn)動(dòng)量的實(shí)際限制。
背景技術(shù)：
通過視頻相機(jī)捕捉的視頻幀序列可能包括期望的運(yùn)動(dòng)，但如在
搖攝全景(pan)的情況下，也同樣可能包括不期望的運(yùn)動(dòng)。在手持 視頻相機(jī)例如相機(jī)電話的情況中，該不希望的運(yùn)動(dòng)波動(dòng)通常是由視 頻捕捉期間不期望的手部抖動(dòng)造成的。特別是在高縮放率的情況下， 相對(duì)較小的運(yùn)動(dòng)波動(dòng)(其在當(dāng)處理例如小型相機(jī)電話時(shí)通常是不可 避免的)將導(dǎo)致所捕捉的視頻幀產(chǎn)生很大的位移。
視頻數(shù)據(jù)中不希望的運(yùn)動(dòng)波動(dòng)的影響可以借助視頻穩(wěn)定系統(tǒng)來 減輕。由于不經(jīng)意移動(dòng)的影響在高縮放率處上升，所以視頻穩(wěn)定對(duì) 于能夠進(jìn)行多于3x縮放的設(shè)備而言尤其重要。具有視頻獲取功能的 消費(fèi)設(shè)備的當(dāng)前開發(fā)和小型化提高了對(duì)可靠和高效的視頻穩(wěn)定解決 方案的需求。
通常，視頻穩(wěn)定是通過以下來實(shí)現(xiàn)的將一定量的校正運(yùn)動(dòng)位 移應(yīng)用到每個(gè)視頻幀，從而將其針對(duì)鄰近的幀對(duì)準(zhǔn)，使得消除不希 望的相機(jī)運(yùn)動(dòng)所引起的高頻波動(dòng)或抖動(dòng)的影響。
為此，視頻穩(wěn)定系統(tǒng)所應(yīng)用的視頻穩(wěn)定操作通常包括運(yùn)動(dòng)估計(jì)、 運(yùn)動(dòng)濾波和運(yùn)動(dòng)補(bǔ)償。
運(yùn)動(dòng)估計(jì)用于確定 一見頻序列連續(xù)幀之間的全局位移，該全局位 移也稱為原始運(yùn)動(dòng)，并且包括期望的和不期望的運(yùn)動(dòng)。
運(yùn)動(dòng)濾波負(fù)責(zé)在原始運(yùn)動(dòng)的期盼分量和不希望的分量之間進(jìn)行 區(qū)分。通常，期盼運(yùn)動(dòng)是平滑的。因此，可以通過對(duì)原始運(yùn)動(dòng)進(jìn)行
低通濾波而確定期望的運(yùn)動(dòng)軌跡。圖1是示出了視頻幀序列的幀0
至250的垂直位置的圖示。第一曲線11表示通過示例性的估計(jì)原始 運(yùn)動(dòng)而得到的視頻幀的垂直位置，第二曲線12表示通過對(duì)這些視頻 幀的原始運(yùn)動(dòng)進(jìn)行低通濾波而得到的視頻幀的垂直位置。
一旦已經(jīng)估計(jì)了期盼的運(yùn)動(dòng)，則可以計(jì)算校正位移，其必須應(yīng) 用到各視頻幀上以確保原始運(yùn)動(dòng)和期盼運(yùn)動(dòng)之間的差異被取消。必 須注意的是，對(duì)于實(shí)時(shí)實(shí)現(xiàn)，濾波過程必須是符合因果關(guān)系的。也 就是說，僅可以基于先前的運(yùn)動(dòng)數(shù)據(jù)來計(jì)算當(dāng)前幀經(jīng)過濾波的運(yùn)動(dòng) 采樣，因?yàn)闆]有未來信息可用。圖2是示出了視頻幀184的鄰近視 頻幀的垂直位置的視圖。再次，第一曲線11表示通過示例性的估計(jì) 原始運(yùn)動(dòng)而得到的視頻幀的垂直位置，而第二曲線12表示通過對(duì)原 始運(yùn)動(dòng)進(jìn)行低通濾波而得到的視頻幀的垂直位置。此外，對(duì)于視頻 頓184,給出校正垂直位移21,其必須被應(yīng)用到幀184以才交正垂直 位置。
校正位移來改變各視頻幀的位置?？紤]該校正的 一種途徑是在穩(wěn)定 系統(tǒng)的輸出處遞送比在系統(tǒng)的輸入處更小的幀尺寸，如圖3中所示 例。圖3表示較大的輸入幀31,其包括相機(jī)傳感器所捕捉的整個(gè)幀 數(shù)據(jù)，并且在該較大的輸入幀31的中心設(shè)置較小的輸出幀32。輸出 幀32通過校正位移34移位到輸出幀33。因此校正包括裁剪較大的 輸入幀31,以從由校正位移34所確定的較大輸入幀31內(nèi)的適當(dāng)位 置處獲取輸出幀33矩形。
例々口， 在S. ErtUrk的 "Digital image stabilization with sub-image phase correlation based global motion estimation" ， Consumer Electronics, IEEE Transactions on Volume 49， Issue 4， Nov. 2003 ，頁(yè) 1320-1325中描述了適當(dāng)?shù)倪\(yùn)動(dòng)估計(jì)。
現(xiàn)在將借助數(shù)學(xué)公式來更詳細(xì)地描述示例性運(yùn)動(dòng)濾波過程。為 了簡(jiǎn)化該表達(dá)，僅考慮了相鄰幀之間的平移。運(yùn)動(dòng)濾波操作進(jìn)一步 獨(dú)立地4十對(duì)水平和垂直運(yùn)動(dòng)來應(yīng)用，/人而下列方程式應(yīng)用于其中之
相對(duì)于視頻幀輸入序列的第一幀的第n個(gè)幀的水平或垂直方向 上的原始運(yùn)動(dòng)由z。來表示并纟皮定義為
zn 二 sn + un ( 1 )
其中，S。和Un分別表示全局幀位置中的期盼分量和不希望的分量。 對(duì)于每個(gè)幀n,為了穩(wěn)定視頻幀的序列，需要-Un個(gè)像素的校正位移。
如前所述，對(duì)于實(shí)時(shí)實(shí)現(xiàn)而言很重要的方面在于僅基于當(dāng)前和 先前的觀察來即時(shí)地對(duì)原始運(yùn)動(dòng)進(jìn)行濾波。通常，這意味著僅基于 采樣Zn， Zn-i，...， 來確定當(dāng)前濾波的運(yùn)動(dòng)Sn。
可以通過為濾波運(yùn)動(dòng)Sn的演進(jìn)假設(shè)特定模型來實(shí)現(xiàn)任務(wù)的簡(jiǎn)化。 例如，簡(jiǎn)單的模型假設(shè)期盼運(yùn)動(dòng)Sn具有恒定速度Vn。這可以表示為
如下等式
當(dāng)其表示為矩陣形式的時(shí)候，成為
x,廣Ax打一 (3)
這里，''L"'"」是處理在時(shí)間n處的狀態(tài)，以及a
l 1
0 1
是狀態(tài)轉(zhuǎn)
移矩陣。此外，觀察等式(1)還可以矩陣符號(hào)來如下表示
zH=cfxn+Mw, (4》 -0J是大小為2"的觀察矩陣(向量)。
更一般而言，幀位移的狀態(tài)空間表示可以表示為如下
其中
一〖 (5>
其中en和Un是處理和測(cè)量噪聲項(xiàng)，其被假設(shè)為分別具有方差^
和^的零均值高斯分布。處理矩陣A的大小為KxK，向量c和b的
大小為"！。狀態(tài)Xn是K"向量，從中可以通過運(yùn)算S"-C、提取出期 盼運(yùn)動(dòng)Sn。
卡爾曼濾波是 一 種針對(duì)此問題的優(yōu)化解決方案，其中假設(shè)了根
據(jù)模型(5)的狀態(tài)轉(zhuǎn)移和觀察等式?？蓱?yīng)用于穩(wěn)定視頻幀n的卡爾曼濾波過程由下列算法來表示 開始
1<formula>formula see original document page 9</formula>2<formula>formula see original document page 9</formula>3<formula>formula see original document page 9</formula>4<formula>formula see original document page 9</formula>5<formula>formula see original document page 9</formula>6<formula>formula see original document page 9</formula>
結(jié)束
該算法在幀n接收估計(jì)原始運(yùn)動(dòng)Zn作為輸入，并提供將應(yīng)用到 幀n的校正-Un的量作為輸出。除了下列進(jìn)一步定義的參數(shù)之外，該
算法使用內(nèi)部變量p和g。 p是給出當(dāng)前和過去的觀察的真實(shí)狀態(tài)的
《xK協(xié)方差矩陣，并且g是稱為卡爾曼增益的向量。
例如由S. Ertiirk在"Image sequence stabilization based on Kalman filtering of frame positions" , Electronics Letters, volume 37, Issue 20， 27 Sept. 2001,頁(yè)1217-1219中描述了相應(yīng)的卡爾曼濾波。
實(shí)際中，可應(yīng)用到每個(gè)視頻幀的校正運(yùn)動(dòng)位移(-un)的量受到 穩(wěn)定系統(tǒng)的輸入幀和輸出幀之間的大小差異的限制。較大的校正使 得將輸出幀的一部分置于輸入幀的區(qū)域之外，如圖4中所例示。圖4 再次示出了輸入幀31、初始輸出幀32和根據(jù)確定的位移向量44而 移位的輸出幀43。由于位移幀44太大，所以祐:穩(wěn)、定的輸出幀43包 括未定義的區(qū)域45。這種情況在使用大縮放比率時(shí)尤其頻繁。
為了防止出現(xiàn)這種情況，需要實(shí)現(xiàn)能夠提供濾波運(yùn)動(dòng)軌跡Sn的 運(yùn)動(dòng)濾波過程，其中該軌跡相對(duì)于原始運(yùn)動(dòng)Zn的偏移從不超過預(yù)定 的最大校正位移d。針對(duì)最大校正位移d的示例值可以是8個(gè)或16 個(gè)像素。
換言之，濾波問題可以被公式化為在針對(duì)任意幀n的下列限制
下，確定針對(duì)期盼運(yùn)動(dòng)分量Sn的平滑軌跡
<formula>formula see original document page 9</formula>(6)
在上述引用的文件 "Digital image stabilization with sub-image phase correlation based global motion estimation"中,已經(jīng)指出，在包 含故意(deliberate)移動(dòng)的序列中，系統(tǒng)4艮可能相當(dāng)快地達(dá)到所允 許的幀移位的極限值，在此情況下，穩(wěn)定性能降級(jí)，以保持可視幀 內(nèi)的圖像內(nèi)容。
校正運(yùn)動(dòng)量的系統(tǒng)限制。也就是說，無(wú)論何時(shí)校正位移量超過系統(tǒng) 最大允許值，當(dāng)前幀的位移量將不會(huì)超過指定的最大位移。以上面 給出的算法(I)中使用的項(xiàng)和符號(hào)，這可以通過向算法(I)添加如 下新的兩行來實(shí)現(xiàn) 開始
來自算法(I)的第1至第6行
<formula>formula see original document page 10</formula>《11) 結(jié)束
在算法(II)中，符號(hào)sign (*)表示符號(hào)函數(shù)。 實(shí)際上，該解決方案確保了視頻穩(wěn)定系統(tǒng)將不應(yīng)用可能將被穩(wěn) 定的幀移位到輸入幀范圍之外的任何校正。然而，如上所述，簡(jiǎn)單 的限制犧牲了所得到的濾波運(yùn)動(dòng)軌跡的平滑性，從而導(dǎo)致了跳躍性輸出。
大多數(shù)當(dāng)前的視頻穩(wěn)定系統(tǒng)僅針對(duì)不希望的平移運(yùn)動(dòng)進(jìn)行校 正。然而必須注意的是，由此系統(tǒng)所遞送的被穩(wěn)定的視頻數(shù)據(jù)仍然 經(jīng)常包含干擾旋轉(zhuǎn)抖動(dòng)。因此，視頻穩(wěn)定系統(tǒng)優(yōu)選地也去除視頻幀 中的旋轉(zhuǎn)抖動(dòng)，如圖5所示例。圖5提供了較大的輸入幀31,該幀 31包括相機(jī)傳感器所捕捉的整個(gè)幀數(shù)據(jù)；較小的輸出幀32設(shè)置在較 大輸入幀31的中心處。輸出幀32進(jìn)行校正位移54的移位，并且此 外進(jìn)行校正旋轉(zhuǎn)的旋轉(zhuǎn)，從而產(chǎn)生輸出幀53。校正因此再次包括裁 剪較大幀31以從由校正運(yùn)動(dòng)所確定的較大輸入幀31內(nèi)的適當(dāng)位置 獲得輸出幀53矩形。
例如由S, Erttirk在"Translation, rotation and scale stabilization of image sequences" , Electronics Letters, Volume 39, Issue 17， 21 Aug. 2003,頁(yè)1245-1246中給出了基于卡爾曼濾波的穩(wěn)定，其中通過相應(yīng) 參數(shù)對(duì)視頻幀進(jìn)行了移位和旋轉(zhuǎn)從而獲得穩(wěn)定的序列。
在此情況下，簡(jiǎn)單地通過以固定值來限制應(yīng)用到每個(gè)視頻幀上 的校正運(yùn)動(dòng)而可以處理對(duì)校正運(yùn)動(dòng)量的系統(tǒng)限制。然而，在此情況 下，如圖6所示，所得到的被濾波運(yùn)動(dòng)軌跡的平滑性被很快犧牲掉。 圖6還再次示出了輸入幀31、初始輸出幀32以及旋轉(zhuǎn)和移位后的輸 出幀63,對(duì)應(yīng)于位移向量64的位移。由于旋轉(zhuǎn)，比通過純才交正平移 更早地獲得未定義區(qū)域65。
必須注意的是，還必須考慮其他系統(tǒng)限制。
發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種針對(duì)系統(tǒng)限制變得相關(guān)的情況下 的改進(jìn)型視頻穩(wěn)定。
提議了 一種用于將視頻穩(wěn)定系統(tǒng)的運(yùn)動(dòng)濾波器應(yīng)用到視頻幀序 列的方法。該提議的方法包括針對(duì)當(dāng)前^L頻幀，接收相較于浮見頻 幀序列的第 一視頻幀的該當(dāng)前視頻幀中的運(yùn)動(dòng)估計(jì)。所提議的方法 進(jìn)一步包括，基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至少一個(gè)狀態(tài) 變量來計(jì)算針對(duì)當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中該至少 一個(gè)狀態(tài) 變量在計(jì)算中更新。該提議的方法進(jìn)一步包括，當(dāng)所計(jì)算的校正值 超過該視頻穩(wěn)定系統(tǒng)的系統(tǒng)限制時(shí)，根據(jù)該系統(tǒng)限制被超過的程度 來調(diào)節(jié)該至少一個(gè)狀態(tài)變量，并基于運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量 來重新計(jì)算該校正值。
此外，提議了一種包括運(yùn)動(dòng)濾波器的視頻穩(wěn)定系統(tǒng)。該運(yùn)動(dòng)濾 波器包括處理部分，適用于接收相較于視頻幀序列的第 一 視頻幀的 當(dāng)前一見頻幀中的運(yùn)動(dòng)估計(jì)，并基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器 的至少 一個(gè)狀態(tài)變量來計(jì)算針對(duì)當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中 該至少一個(gè)狀態(tài)變量在計(jì)算中更新。該運(yùn)動(dòng)濾波器進(jìn)一步包括處理
部分，適用于當(dāng)所計(jì)算的校正值超過該視頻穩(wěn)定系統(tǒng)的系統(tǒng)限制時(shí)， 根據(jù)該系統(tǒng)限制被超過的程度來調(diào)節(jié)該至少 一 個(gè)狀態(tài)變量，并基于 運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所計(jì)算的校正值。
該處理部分可以以硬件、軟件或二者的組合來實(shí)現(xiàn)。在后一情 況中，它們例如可以通過軟件代碼和執(zhí)行該軟件代碼的處理器來實(shí) 現(xiàn)。
視頻穩(wěn)定系統(tǒng)可以例如集成在包括至少 一 個(gè)芯片的視頻處理芯 片組中。而且，其可以是另外包括視頻記錄組件的相機(jī)模塊的一部 分。
此外，提議了 一種包括具有運(yùn)動(dòng)濾波器的視頻穩(wěn)定系統(tǒng)的電子 設(shè)備。該運(yùn)動(dòng)濾波器包括與所提議的視頻穩(wěn)定系統(tǒng)中的運(yùn)動(dòng)濾波器 相同的處理部分。
該電子設(shè)備例如可以是移動(dòng)電子設(shè)備，譬如移動(dòng)電話，其自身 包括視頻記錄組件用于捕捉視頻幀序列。然而，需要理解的是，電 子設(shè)備自身并不必須包括視頻記錄組件。其同樣可以是能夠接收和 處理另 一設(shè)備所捕捉的視頻幀序列的移動(dòng)電子設(shè)備或靜止電子設(shè) 備。
最后，提議了一種軟件程序產(chǎn)品，其中存儲(chǔ)有軟件代碼，用于 將視頻穩(wěn)定系統(tǒng)的運(yùn)動(dòng)濾波器應(yīng)用到視頻幀的序列。當(dāng)由電子設(shè)備 的處理器來執(zhí)行的時(shí)候，該軟件代碼實(shí)現(xiàn)所提議的方法。該軟件程
序產(chǎn)品例如可以是單獨(dú)的存儲(chǔ)設(shè)備，例如CD-ROM?？商鎿Q地，其 子設(shè)備中。
本發(fā)明開始于這樣的考慮如果由于系統(tǒng)限制所導(dǎo)致的針對(duì)當(dāng) 前視頻幀的穩(wěn)定校正值的限制被考慮在針對(duì)后續(xù)視頻幀的穩(wěn)定校正 值的計(jì)算中，則即使在存在系統(tǒng)限制的情況下，也可以實(shí)現(xiàn)視頻幀 序列中的平滑運(yùn)動(dòng)軌跡。因此提議，當(dāng)前幀的校正值的限制被反映 在運(yùn)動(dòng)濾波器的狀態(tài)變量中。這使得能夠考慮后續(xù)視頻幀的校正計(jì) 算中的限制。因此，只要針對(duì)一個(gè)視頻幀確定的運(yùn)動(dòng)校正量超過系 統(tǒng)所允許的最大值，則可以改變?yōu)V波器狀態(tài)，從而通過相應(yīng)地調(diào)節(jié) 校正的未來值來保持平滑的運(yùn)動(dòng)軌跡。
本發(fā)明的一個(gè)有益效果在于其允許獲取平滑的穩(wěn)定運(yùn)動(dòng)軌跡， 而不會(huì)在任何輸出視頻幀中引入未定義區(qū)域。
本發(fā)明對(duì)下列情況特別有益不希望的運(yùn)動(dòng)波動(dòng)的幅度可以與
視頻穩(wěn)定系統(tǒng)所允許的最大運(yùn)動(dòng)校正量相比。此種情況例如是如果 視頻幀序列是用高縮放率和/或大圖像分辨率來捕捉的。盡管常規(guī)方 法通過犧牲運(yùn)動(dòng)的穩(wěn)定性而考慮系統(tǒng)限制，但即使在此情況下本發(fā) 明仍然允許對(duì)運(yùn)動(dòng)進(jìn)行穩(wěn)定。
需要理解的是，所提議的視頻穩(wěn)定系統(tǒng)除了包括運(yùn)動(dòng)濾波器之 外，還可以包括用于確定運(yùn)動(dòng)估計(jì)的常規(guī)運(yùn)動(dòng)估計(jì)器，以及用于基 于運(yùn)動(dòng)濾波器所計(jì)算或重新計(jì)算的校正值來校正各視頻幀中的運(yùn)動(dòng) 的常規(guī)運(yùn)動(dòng)校正器。
系統(tǒng)限制限制了可以應(yīng)用到每個(gè)視頻幀的最大運(yùn)動(dòng)校正量。在 本發(fā)明的 一個(gè)實(shí)施方式中，該系統(tǒng)限制涉及輸入到— 見頻穩(wěn)定系統(tǒng)的 視頻幀的大小與由視頻穩(wěn)定系統(tǒng)輸出的視頻幀大小之間的差異。
在本發(fā)明進(jìn)一步的實(shí)施方式中，計(jì)算針對(duì)當(dāng)前視頻幀中運(yùn)動(dòng)的 校正值包括使用卡爾曼濾波器。則該至少 一 個(gè)狀態(tài)變量可以是卡爾 曼濾波器的狀態(tài)變量。因此，通過以優(yōu)化的方式來結(jié)合系統(tǒng)限制而
將常規(guī)的卡爾曼濾波過程延伸到"Constraint Kalman Filtering (限制 卡爾曼濾波)"，從而可以實(shí)現(xiàn)本發(fā)明。
根據(jù)本發(fā)明調(diào)節(jié)的該至少 一個(gè)狀態(tài)變量例如可以包括表示當(dāng)前 幀中期盼運(yùn)動(dòng)的變量和表示期盼運(yùn)動(dòng)的設(shè)想速度的變量。例如，在 限制卡爾曼濾波的情況下，該至少 一 個(gè)狀態(tài)變量可以包括卡爾曼濾 波器的狀態(tài)向量的所有元素。
本發(fā)明可用于校正各種類型的不期望運(yùn)動(dòng)。通常，將期望至少 針對(duì)水平和垂直平移進(jìn)行運(yùn)動(dòng)校正。然而，如上所述，對(duì)旋轉(zhuǎn)抖動(dòng) 的補(bǔ)償也是非常重要的。
當(dāng)僅考慮不期望的平移運(yùn)動(dòng)時(shí)，對(duì)校正運(yùn)動(dòng)的系統(tǒng)限制對(duì)于每 個(gè)視頻幀都是相同的。其因此可以由固定的最大校正值來表示?？?以單獨(dú)地對(duì)待水平和垂直平移，因?yàn)樗鼈兪潜舜霜?dú)立的。如果還考 慮旋轉(zhuǎn)抖動(dòng)，則確定使得旋轉(zhuǎn)和平移輸出幀保持在輸入幀區(qū)域中所 需的系統(tǒng)限制變得更加復(fù)雜。
因此，在本發(fā)明的一個(gè)實(shí)施方式中，將根據(jù)本發(fā)明的三個(gè)濾波 過程應(yīng)用到各視頻幀上，其中濾波過程根據(jù)平移和旋轉(zhuǎn)運(yùn)動(dòng)校正之
間的幾何互依賴性(interdependence )而互相相關(guān)。也就是說，計(jì)算 校正值，并且如果需要的話，以針對(duì)旋轉(zhuǎn)再針對(duì)水平和垂直方向中 的平移的順序來重新計(jì)算校正值，用于平移的系統(tǒng)限制被確定為針 對(duì)旋轉(zhuǎn)所得的校正值的函數(shù)。首先應(yīng)用的旋轉(zhuǎn)校正改變可以在此后 應(yīng)用的水平和垂直校正平移的最大量。通常，旋轉(zhuǎn)校正越高，可以 應(yīng)用的水平和垂直校正的剩余量越小。
因此，系統(tǒng)限制在該情況中甚至比在僅考慮水平運(yùn)動(dòng)的情況中 更為關(guān)鍵。該實(shí)施方式具有下列優(yōu)點(diǎn)，即使存在對(duì)每個(gè)幀而允許的 旋轉(zhuǎn)和平移校正運(yùn)動(dòng)量方面的系統(tǒng)限制，也能提供平滑的穩(wěn)定運(yùn)動(dòng) 軌跡。必須注意的是，可替換地，還可以首先確定平移校正值。然 后，對(duì)旋轉(zhuǎn)的系統(tǒng)限制可以被確定為平移校正值的函數(shù)。
從下列結(jié)合附圖考慮的詳細(xì)描述中，本發(fā)明的其他目的和特征 將變得很明顯。然而，需要理解的是，附圖的設(shè)計(jì)僅用于示意的目 的而不作為對(duì)本發(fā)明的限制，而對(duì)本發(fā)明的限制應(yīng)當(dāng)參考所附權(quán)利 要求書。需要進(jìn)一步理解的是，附圖并非按比例繪制，它們僅旨在 概念性地圖示這里所描述的結(jié)構(gòu)和過程。
圖1是表示一見頻幀序列中未濾波的原始運(yùn)動(dòng)和濾波的運(yùn)動(dòng)的示
圖2是表示選定視頻幀的校正垂直位移的示圖； 圖3是圖示了通過校正位移的視頻幀的穩(wěn)定的示圖； 圖4是圖示了通過太大校正位移的視頻幀的穩(wěn)定的示圖5是圖示了通過校正平移和旋轉(zhuǎn)的視頻幀的穩(wěn)定的示圖； 圖6是圖示了通過太大的校正平移和旋轉(zhuǎn)的幀的穩(wěn)定的示圖； 圖7是根據(jù)本發(fā)明實(shí)施方式的移動(dòng)設(shè)備的示意性框圖； 圖8是圖7的設(shè)備中的運(yùn)動(dòng)濾波器的第一實(shí)施方式的示意性框
圖9是圖示了圖8中的運(yùn)動(dòng)濾波器操作的流程圖； 圖10是圖示了由圖8的運(yùn)動(dòng)濾波器所確定的校正平移的示圖； 圖11是表示了未濾波原始運(yùn)動(dòng)、常規(guī)的濾波運(yùn)動(dòng)以及通過圖8
的運(yùn)動(dòng)濾波器得到的濾波運(yùn)動(dòng)的示圖12是圖7的設(shè)備中的運(yùn)動(dòng)濾波器的第二實(shí)施方式的示意圖13是圖示了圖12的運(yùn)動(dòng)濾波器操作的流程圖14是示出了對(duì)圖12的運(yùn)動(dòng)濾波器的校正旋轉(zhuǎn)的系統(tǒng)限制的
示圖；以及
圖15是示出了在應(yīng)用校正旋轉(zhuǎn)之后針對(duì)校正平移的系統(tǒng)限制的示圖。
具體實(shí)施例方式
圖7是根據(jù)本發(fā)明實(shí)現(xiàn)視頻穩(wěn)定的移動(dòng)設(shè)備的示意性框圖。舉 例而言，移動(dòng)設(shè)備是移動(dòng)電話70。
移動(dòng)電話70包括具有常規(guī)視頻記錄器72的相機(jī)模塊71。相機(jī) 模塊71進(jìn)一步包括適用于執(zhí)行各種實(shí)現(xiàn)的軟件程序組件的處理器 73。實(shí)現(xiàn)的軟件程序組件包括實(shí)現(xiàn)視頻穩(wěn)定系統(tǒng)的組件，即運(yùn)動(dòng)估 計(jì)器組件74、運(yùn)動(dòng)波器組件75以及運(yùn)動(dòng)校正器組件76。需要理解 的是，不需要數(shù)據(jù)處理器73形成相機(jī)模塊71的一部分。其可以等 同于例如移動(dòng)電話70的通用數(shù)據(jù)處理器，其能夠執(zhí)行針對(duì)各種應(yīng)用 的軟件程序組件。需要進(jìn)一步理解的是，該運(yùn)動(dòng)估計(jì)器組件74、運(yùn) 動(dòng)濾波器組件75以及運(yùn)動(dòng)校正器組件76所實(shí)現(xiàn)的功能還可以實(shí)現(xiàn) 在視頻處理芯片組中。移動(dòng)電話70進(jìn)一步包括存儲(chǔ)器、發(fā)射器和顯 示器，如圖7中的框77所概括。
移動(dòng)電話70還包括各種未示出的其他單元，它們可以以常^L方 式設(shè)計(jì)和設(shè)置在移動(dòng)電話70中。而且，視頻記錄器72、運(yùn)動(dòng)估計(jì)器 組件74、運(yùn)動(dòng)校正器組件76以及存儲(chǔ)器、發(fā)射器和顯示器77可以 常規(guī)方式來設(shè)計(jì)和設(shè)置。
然而，根據(jù)本發(fā)明來設(shè)置運(yùn)動(dòng)濾波器組件75。
圖8更詳細(xì)地圖示了運(yùn)動(dòng)濾波器組件75的第一種可能的實(shí)施方 式。在該實(shí)施方式中，運(yùn)動(dòng)濾波器組件75包括限制卡爾曼濾波器 810。該限制卡爾曼濾波器810包括規(guī)則卡爾曼濾波器部分811、狀 態(tài)向量調(diào)節(jié)部分812以及校正再計(jì)算部分813。
現(xiàn)在將參考圖9的流程圖來描述圖8中運(yùn)動(dòng)濾波器組件75的操 作。由運(yùn)動(dòng)濾波器組件75之外的其他組件所執(zhí)行的所有步驟由通過 虛線繪制的框來表示。
移動(dòng)電話70的用戶可以通過以常規(guī)方式使用相機(jī)模塊71中的 集成視頻記錄器72來捕捉視頻。捕捉期間除了移動(dòng)電話70期望的 運(yùn)動(dòng)以及因此的視頻記錄器72的期望的運(yùn)動(dòng)之外，某些不期望的運(yùn) 動(dòng)將會(huì)發(fā)生。因此，數(shù)據(jù)處理器73負(fù)責(zé)通過執(zhí)行運(yùn)動(dòng)估計(jì)器組件74、 運(yùn)動(dòng)濾波器組件75以及運(yùn)動(dòng)校正器組件76來去除不期望的運(yùn)動(dòng)。
運(yùn)動(dòng)估計(jì)器組件74以常規(guī)方式確定所記錄的視頻幀中的原始運(yùn) 動(dòng)，也就是期望的運(yùn)動(dòng)加上不期望的運(yùn)動(dòng)(步驟IOI)。然后，將針 對(duì)各視頻幀n估計(jì)的原始運(yùn)動(dòng)Zn提供給運(yùn)動(dòng)濾波器組件75。
限制卡爾曼濾波器810的規(guī)則卡爾曼濾波器部分811將規(guī)則卡 爾曼濾波應(yīng)用到所接收到的原始運(yùn)動(dòng)zn,以獲取校正值Un (步驟 102)。在卡爾曼濾波中，使用大小為Kxi的狀態(tài)向量Xn,其從狀態(tài) 向量x^開始進(jìn)行，從而導(dǎo)致對(duì)所估計(jì)的在先前的視頻幀n-l中的原 始運(yùn)動(dòng)進(jìn)4亍卡爾曼濾波。
限制卡爾曼濾波器810的狀態(tài)向量調(diào)節(jié)部分812在其上將確定 的校正值Un與所允許的校正值d進(jìn)行比較(步驟103)。
如果所確定的校正值Un的絕對(duì)值不超過所允許的校正值d,則 立刻將所確定的校正值Un提供給運(yùn)動(dòng)校正器組件76,該組件76通
過確定的校正值Un來校正當(dāng)前視頻幀中的原始運(yùn)動(dòng)。到目前為止， 該處理可以對(duì)應(yīng)于常規(guī)運(yùn)動(dòng)濾波。
然而，如果所確定的校正值Un的絕對(duì)值超過所允許的校正值d， 則處理與常規(guī)的運(yùn)動(dòng)濾波有所不同。在此情況下，對(duì)狀態(tài)向量Xn的 所有元素進(jìn)行調(diào)節(jié)，調(diào)節(jié)量與所確定的校正值Un的絕對(duì)值和所允許 的校正值d之間的差相關(guān)(步驟105)。然后基于新狀態(tài)向量Xn來 重新計(jì)算校正值Un (步驟106 )。
然后，將校正值Un提供給運(yùn)動(dòng)校正器組件76,該組件76通過 重新計(jì)算的校正值U。來校正當(dāng)前視頻幀n中的原始運(yùn)動(dòng)Zn (步驟
104)。隨后，針對(duì)后繼視頻幀n+l對(duì)估計(jì)的和提供的原始運(yùn)動(dòng)zn+1
進(jìn)行規(guī)則卡爾曼濾波(步驟102)中，所調(diào)節(jié)的狀態(tài)向量Xn用作針
對(duì)新狀態(tài)向量xn+1的基礎(chǔ)。所提出的限制卡爾曼濾波器810可以例 如提供用于水平運(yùn)動(dòng)，同時(shí)相同的限制卡爾曼濾波器810可以平行 地提供用于垂直運(yùn)動(dòng)。
對(duì)于每個(gè)方向，例如可以通過下列算法來實(shí)現(xiàn)用來穩(wěn)定幀n的
限制卡爾曼濾波 開始
<formula>formula see original document page 17</formula>
結(jié)束
該算法(III)接收所估計(jì)的第n個(gè)幀與第1個(gè)幀之間的全局位 移Zn以及對(duì)校正運(yùn)動(dòng)振幅的限制d作為輸入。其輸出將要應(yīng)用到當(dāng)
前幀n上用于穩(wěn)定的校正位移Un的量。采用的所有變量對(duì)應(yīng)于背景 技術(shù)部分中針對(duì)算法(I)的所介紹的各相同命名的變量。
可以看出，除了行8和9，算法(ni)對(duì)應(yīng)于上述的算法(i)。
行8中的新狀態(tài)更新等式具有下列效果每當(dāng)存在超過系統(tǒng)限制的
企圖時(shí)，則校正狀態(tài)向量Xn的所有元素。然后根據(jù)行9來使用校正 的狀態(tài)向量Xn，以確定最終的校正位移Un。狀態(tài)更新等式確保了就
當(dāng)前和先前的觀察而言，新狀態(tài)將是最可能的狀態(tài)，同時(shí)考慮所施 加的系統(tǒng)限制。
例如，當(dāng)狀態(tài)向量Xn具有KX1=2><1的大小并包括作為元素的平 滑運(yùn)動(dòng)Sn和速度Vn時(shí)，該系統(tǒng)限制僅作用于狀態(tài)的第一元素Sn，其 不具有間隔[z" - 之外的值。行8中的狀態(tài)更新等式不僅將改變
狀態(tài)向量Xn的第一元素Sn，而且還改變速度Vn以根據(jù)系統(tǒng)限制對(duì)其 進(jìn)行調(diào)節(jié)。速度Vn的改變將僅對(duì)后續(xù)幀的運(yùn)動(dòng)濾波產(chǎn)生效應(yīng)。 該方法的效應(yīng)圖示于圖10和11中。
圖IO是圖示了兩維狀態(tài)空間中算法(III)的行8中所提議的狀 態(tài)更新等式的效應(yīng)的示圖，x軸表示狀態(tài)Sn,而y軸表示狀態(tài)向量
Xn的速度Vn。在X軸上，表示了原始運(yùn)動(dòng)Zn, 并且在運(yùn)動(dòng)才交正Zn-d 和Zn+d上的限制。
導(dǎo)致規(guī)則卡爾曼濾波的濾波運(yùn)動(dòng)sn (并因此在算法(III)的行5
上)假設(shè)為超過系統(tǒng)限制。相關(guān)的狀態(tài)向量Xn位于點(diǎn)81處。在常規(guī) 方法中，僅調(diào)節(jié)校正值IV狀態(tài)向量Xn保持在點(diǎn)81處。相比之下，
在算法(III)的行8所獲得的狀態(tài)向量位于點(diǎn)82處。給出所有觀察 的真實(shí)狀態(tài)的概率是圖10中由恒定輪廓橢圓83所圖示的高斯貝爾。 所提議方法提供的點(diǎn)82處的解決方案在于線段AB的中點(diǎn)，其中A 和B是恒定輪廓橢圓和zn+d處的垂直線的交叉點(diǎn)。這就是狀態(tài)空間 中這樣的點(diǎn)，其在所施加的系統(tǒng)限制下實(shí)現(xiàn)了最大概率。
圖11的圖示示例了當(dāng)所提議的方法被用來穩(wěn)定假設(shè)具有d=16 個(gè)像素的系統(tǒng)限制的特定測(cè)試視頻序列中垂直位移時(shí)的效果。該圖 示再次給出了針對(duì)視頻幀序列的垂直位置。第一曲線91表示初始運(yùn) 動(dòng)軌跡，即原始運(yùn)動(dòng)軌跡。第二曲線92表示通過對(duì)系統(tǒng)限制進(jìn)行常 規(guī)調(diào)節(jié)而獲得的濾波后軌跡。最后，第三曲線93表示通過提議的運(yùn) 動(dòng)濾波而獲得的濾波后軌跡。無(wú)論是否達(dá)到系統(tǒng)限制，軌跡92和93 均互不相同。在此情況中，常規(guī)解決方案92降低了穩(wěn)定性能，從而 滿足了系統(tǒng)限制，而所提議的濾波93保持了平滑軌跡，同時(shí)還顧及 了系統(tǒng)限制。
需要理解的是，通過調(diào)節(jié)上述針對(duì)卡爾曼濾波的算法(III)中 的一個(gè)或多個(gè)參數(shù)，該算法可適用于各種情況。這些參數(shù)的各個(gè)值 可以提供為對(duì)該算法的進(jìn)一步的輸入數(shù)據(jù)。例如已經(jīng)由M. K. Giillii， E. Yamna和S. Ertiirk在 "Image sequence stabilization using fuzzy adaptive Kalman filtering" , Electronics Letters, Volume 39, Issue 5, 6 March 2003,頁(yè)429-431中提議將過程噪聲方差適應(yīng)于相機(jī)的運(yùn)動(dòng)特 征中，以確保針對(duì)低頻和高頻抖動(dòng)而實(shí)現(xiàn)良好的穩(wěn)定性能。通過修 改卡爾曼濾波器的參數(shù)，例如過程和觀察噪聲方差，可以實(shí)現(xiàn)平均 而言更近或更遠(yuǎn)離所估計(jì)的原始運(yùn)動(dòng)的濾波后運(yùn)動(dòng)軌跡，由此分別 需要更小或更大的校正位移。通常，平均校正位移越大，穩(wěn)定的運(yùn) 動(dòng)軌跡越平滑，但是超出系統(tǒng)限制的風(fēng)險(xiǎn)也越高。在常規(guī)方法中， 并不能確保在濾波期間不超過系統(tǒng)限制。如果這發(fā)生的話，則只要 運(yùn)動(dòng)濾波所確定的校正值簡(jiǎn)單地被系統(tǒng)截?cái)?，結(jié)果將會(huì)很差。相比 之下，在所提供的實(shí)施方式中，確實(shí)克服了這種情況。因此，只要 超過了系統(tǒng)限制，則改變?yōu)V波器狀態(tài)，從而將運(yùn)動(dòng)估計(jì)重新引導(dǎo)至 所允許的限制中的更平滑路徑。
在圖12中更詳細(xì)地圖示了圖7中移動(dòng)電話70的運(yùn)動(dòng)濾波器組 件75的第二可能的實(shí)施方式。在第二實(shí)施方式中，運(yùn)動(dòng)濾波組件75 包括用于進(jìn)行旋轉(zhuǎn)補(bǔ)償?shù)牡?一 限制卡爾曼濾波器910 、平移限制確定 部分920、用于水平平移補(bǔ)償?shù)牡诙拗瓶柭鼮V波器930以及用于 垂直平移補(bǔ)償?shù)牡谌拗瓶柭鼮V波器940。限制卡爾曼濾波器910、 930、 940中的每一個(gè)可以基本上像圖8中的限制卡爾曼濾波器810 那樣實(shí)現(xiàn)和操作。
現(xiàn)在將參考圖13的流程圖以及圖14和圖15的示圖來描述圖12 中運(yùn)動(dòng)濾波器組件75的操作。由運(yùn)動(dòng)濾波器組件75之外的其他組 件所執(zhí)行的所有步驟由通過虛線繪制的框來表示。
移動(dòng)電話70的用戶可以通過以常規(guī)方式使用相機(jī)模塊71中的 集成視頻記錄器72來捕捉視頻。捕捉期間除了移動(dòng)電話70期望的 運(yùn)動(dòng)以及因此的視頻記錄器72的期望的運(yùn)動(dòng)之外，某些不期望的運(yùn) 動(dòng)將會(huì)發(fā)生。因此，數(shù)據(jù)處理器73負(fù)責(zé)通過執(zhí)行運(yùn)動(dòng)估計(jì)器組件74、 運(yùn)動(dòng)濾波器組件75以及運(yùn)動(dòng)校正器組件76來去除不期望的運(yùn)動(dòng)。 然而，在此情況中，不但應(yīng)用校正平移，而且同樣應(yīng)用校正旋轉(zhuǎn)。
運(yùn)動(dòng)估計(jì)器組件74以常規(guī)方式確定所記錄的視頻幀中的原始運(yùn) 動(dòng)，也就是期望的運(yùn)動(dòng)加上不期望的運(yùn)動(dòng)(步驟201)。然后，將針 對(duì)各視頻幀n估計(jì)的原始運(yùn)動(dòng)，包括旋轉(zhuǎn)、水平平移和垂直平移， 提供給運(yùn)動(dòng)濾波器組件75。
限制卡爾曼濾波器910應(yīng)用如參考圖9所描述的限制卡爾曼濾
波(步驟202)。這里，估計(jì)的原始旋轉(zhuǎn)用作輸入Zn。輸出Un是校
正旋轉(zhuǎn)值"。圖9中的限制卡爾曼濾波的系統(tǒng)限制d由可以應(yīng)用到旋 轉(zhuǎn)校正中的預(yù)定最大旋轉(zhuǎn)0￡[ @'刮來給出。出于示意的目的，圖14給 出了輸入幀301和輸出幀302。而且，其還示出了可以應(yīng)用到輸入幀 301的最大旋轉(zhuǎn)0，同時(shí)還保持輸出幀302處于旋轉(zhuǎn)后輸入幀303所 定義的可視區(qū)域內(nèi)。最大旋轉(zhuǎn)角度0在所有幀處是相同的。其僅取決 于輸入幀301和輸出幀302之間的大小差，并且因此針對(duì)每個(gè)穩(wěn)定 系統(tǒng)而^f皮預(yù)先確定。
盡管旋轉(zhuǎn)限制是固定的并且獨(dú)立于平移校正，但該平移限制取 決于所確定的旋轉(zhuǎn)校正，如圖15所示。圖15再次示出了輸入幀301 和輸出幀302。而且，其示出了被旋轉(zhuǎn)了確定的旋轉(zhuǎn)校正8的輸入幀 304?？梢钥闯?，仍然可被應(yīng)用且不會(huì)4吏輸出幀乂人旋轉(zhuǎn)后輸入幀中移 出的最大水平平移是聘卜min{xi(e ^ &診》,而仍然可被應(yīng)用且不會(huì)使輸出
幀從旋轉(zhuǎn)后輸入幀中移出的最大垂直平移是y扭)-德wn&w。
平移限制確定部分920，因此將最大可接受平移限制計(jì)算為所確
定的旋轉(zhuǎn)校正G的函數(shù)(步驟230 ),并將該結(jié)果提供給第二限制卡 爾曼濾波器部分930和第三限制卡爾曼濾波器部分940。
第二限制卡爾曼濾波器部分930還執(zhí)行如參考圖9所描述的限 制卡爾曼濾波(步驟204)。這里，所估計(jì)的水平原始運(yùn)動(dòng)用作輸入 zn。圖9中限制卡爾曼濾波的系統(tǒng)限制d由所確定的仍然可以應(yīng)用的 最大水平平移x陶給出。輸出Un是校正水平平移值。而且，第三限 制卡爾曼濾波器部分940執(zhí)行如參考圖9所描述的限制卡爾曼濾波 (步驟205 )。這里，所估計(jì)的垂直原始運(yùn)動(dòng)用作輸入zn。圖9中限
制卡爾曼濾波的系統(tǒng)限制d由所確定的仍然可以應(yīng)用的最大水平平 移rw給出。輸出un是校正垂直平移值。
所確定的旋轉(zhuǎn)校正值e、所確定的校正水平平移值以及所確定的 校正垂直平移值提供給運(yùn)動(dòng)校正組件76，其通過每個(gè)所確定的校正 值來校正當(dāng)前視頻幀中的原始運(yùn)動(dòng)(步驟206)。根據(jù)圖13而應(yīng)用 到所估計(jì)的原始運(yùn)動(dòng)上的限制卡爾曼濾波過程的序列可以例如通過 下列算法來實(shí)現(xiàn)<formula>formula see original document page 21</formula>在該算法(IV)中，函數(shù)CKF1、 CKF2以及CKF3表示各自的 限制卡爾曼濾波算法，就像以上所給出的限制卡爾曼濾波算法(III) 一樣。算法(IV)接收三個(gè)運(yùn)動(dòng)參數(shù)作為輸入值，這三個(gè)參數(shù)估計(jì) 視頻序列中第n個(gè)視頻幀和第1個(gè)視頻幀之間的全局位移，這三個(gè) 參數(shù)即沿水平軸的所估計(jì)的原始平移《，沿垂直軸的所估計(jì)的原始 平移《，以及繞相機(jī)光學(xué)軸即圖像中心的所估計(jì)的原始旋轉(zhuǎn)e"e 。另夕卜， 其接收作為輸入值的最大旋轉(zhuǎn)校正 ,該最大旋轉(zhuǎn)校正G)相對(duì)于穩(wěn)定 系統(tǒng)的輸入幀大小和輸出幀大小是允許的。算法(IV)輸出旋轉(zhuǎn)和
平移的校正值，即，沿水平軸《的校正平移，沿垂直軸&的校正平 移，以及繞圖像中心的校正旋轉(zhuǎn)^。
盡管在應(yīng)用到本發(fā)明的優(yōu)選實(shí)施方式時(shí)示出、描述并指出了本 發(fā)明的基本新穎性特征，但需要理解的是，在對(duì)所描述的設(shè)備和方 法的細(xì)節(jié)和形式方面的各種省略、替代和改變都可以由本領(lǐng)域技術(shù) 人員在不偏離本發(fā)明的實(shí)質(zhì)的情況下做出。例如，很清楚，以基本 相同的方式執(zhí)行基本上相同功能從而實(shí)現(xiàn)相同結(jié)果的那些元素和/或 方法步驟的所有組合均落在本發(fā)明的范圍之內(nèi)。此外，需要意識(shí)到， 結(jié)合任何公開形式或本發(fā)明實(shí)施方式所描述和/或示出的結(jié)構(gòu)和/或 元素和/或方法步驟可以以任何其他公開的、描述的或建議的形式或 作為設(shè)計(jì)選擇的一般情況的實(shí)施方式來結(jié)合。因此，本發(fā)明的限制 僅由所附權(quán)利要求書的范圍來指示。
權(quán)利要求
1.一種用于將視頻穩(wěn)定系統(tǒng)的運(yùn)動(dòng)濾波器應(yīng)用到視頻幀序列的方法，所述方法包括，針對(duì)當(dāng)前視頻幀接收相較于所述視頻幀序列的第一視頻幀的所述當(dāng)前視頻幀中的運(yùn)動(dòng)估計(jì)；基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至少一個(gè)狀態(tài)變量來計(jì)算針對(duì)所述當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中所述至少一個(gè)狀態(tài)變量在所述計(jì)算中更新；當(dāng)所計(jì)算的校正值超過所述視頻穩(wěn)定系統(tǒng)的系統(tǒng)限制時(shí)，根據(jù)所述系統(tǒng)限制被超過的程度來調(diào)節(jié)所述至少一個(gè)狀態(tài)變量，并基于所述運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所述校正值。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所述系統(tǒng)限制涉及輸入 到所述視頻穩(wěn)定系統(tǒng)的視頻幀大小與由所述視頻穩(wěn)定系統(tǒng)輸出的牙見 頻幀大小之間的差異。
3. 根據(jù)權(quán)利要求1所述的方法，其中，所述計(jì)算針對(duì)所述當(dāng)前 視頻幀中運(yùn)動(dòng)的校正值包括使用卡爾曼濾波器，并且其中，所述至 少 一個(gè)狀態(tài)變量是所述卡爾曼濾波器的狀態(tài)變量。
4. 根據(jù)權(quán)利要求1所述的方法，其中，所述至少一個(gè)狀態(tài)變量 包括表示所述當(dāng)前視頻幀中期盼運(yùn)動(dòng)的變量，和表示所述期盼運(yùn)動(dòng) 的設(shè)想速度的變量。
5. 根據(jù)權(quán)利要求1所述的方法，其中，所述運(yùn)動(dòng)是水平平移、 垂直平移和旋轉(zhuǎn)中至少其一。
6. 根據(jù)權(quán)利要求5所述的方法，其中，計(jì)算所述校正值，并且 如果需要的話，以針對(duì)旋轉(zhuǎn)再針對(duì)水平和垂直方向中的平移的順序 來計(jì)算，并且其中，針對(duì)所述運(yùn)動(dòng)類型中至少其一的系統(tǒng)限制被確定為針對(duì)所述運(yùn)動(dòng)類型中至少另一個(gè)所得的校正值的函數(shù)。
7. —種視頻穩(wěn)定系統(tǒng)，包括運(yùn)動(dòng)濾波器，所述運(yùn)動(dòng)濾波器包括: 處理部分，適用于接收相較于 一見頻幀序列的第 一 一見頻幀的當(dāng)前視頻幀中的運(yùn)動(dòng)估計(jì)，并基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至 少 一 個(gè)狀態(tài)變量來計(jì)算針對(duì)所述當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中所述至少一個(gè)狀態(tài)變量在所述計(jì)算中更新；以及處理部分，適用于當(dāng)所計(jì)算的校正值超過所述視頻穩(wěn)定系統(tǒng)的 系統(tǒng)限制時(shí)，根據(jù)所述系統(tǒng)限制被超過的程度來調(diào)節(jié)所述至少 一 個(gè) 狀態(tài)變量，并基于所述運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所 計(jì)算的校正值。
8. 根據(jù)權(quán)利要求7所述的視頻穩(wěn)定系統(tǒng)，其中，適用于調(diào)節(jié)所 述至少一個(gè)狀態(tài)變量的所述處理部分適用于調(diào)節(jié)表示所述當(dāng)前視頻 幀中期盼運(yùn)動(dòng)的變量，以及表示所述期盼運(yùn)動(dòng)的設(shè)想速度的變量。
9. 根據(jù)權(quán)利要求7所述的視頻穩(wěn)定系統(tǒng)，其中，所述運(yùn)動(dòng)是水 平平移、垂直平移和旋轉(zhuǎn)中至少其一，其中，所述處理部分適用于 計(jì)算校正值，并且如果需要的話，以針對(duì)旋轉(zhuǎn)再針對(duì)水平和垂直方 向中的平移的順序來重新計(jì)算所述校正值，并且其中，適用于調(diào)節(jié)中至少其 一 的系統(tǒng)限制確定為針對(duì)所述運(yùn)動(dòng)類型中至少另 一 個(gè)所得的校正值的函數(shù)。
10. 根據(jù)權(quán)利要求7所述的視頻穩(wěn)定系統(tǒng)，進(jìn)一步包括運(yùn)動(dòng)估 計(jì)器，適用于確定所述運(yùn)動(dòng)估計(jì)；以及運(yùn)動(dòng)校正器，適用于基于由 所述運(yùn)動(dòng)濾波器計(jì)算或重新計(jì)算的校正值來校正各視頻幀中的運(yùn)動(dòng)。
11. 一種視頻處理芯片組，包括具有運(yùn)動(dòng)濾波器的視頻穩(wěn)定系 統(tǒng)，其中，所述運(yùn)動(dòng)濾波器包括處理部分，適用于接收相較于視頻幀序列的第 一 浮見頻幀的當(dāng)前 視頻幀中的運(yùn)動(dòng)估計(jì)，并基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至 少 一個(gè)狀態(tài)變量來計(jì)算針對(duì)當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中所述 至少一個(gè)狀態(tài)變量在所述計(jì)算中更新；以及處理部分，適用于當(dāng)所計(jì)算的校正值超過所述視頻穩(wěn)定系統(tǒng)的 系統(tǒng)限制時(shí)，根據(jù)所述系統(tǒng)限制被超過的程度來調(diào)節(jié)所述至少 一 個(gè)狀態(tài)變量，并基于所述運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所 計(jì)算的校正值。
12. —種相機(jī)模塊，包括視頻記錄組件和具有運(yùn)動(dòng)濾波器的視頻 穩(wěn)定系統(tǒng)，其中，所述運(yùn)動(dòng)濾波器包括處理部分，適用于接收相4交于—見頻幀序列的第 一碎見頻幀的當(dāng)前 視頻幀中的運(yùn)動(dòng)估計(jì)，并基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至 少 一個(gè)狀態(tài)變量來計(jì)算針對(duì)當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中所述 至少一個(gè)狀態(tài)變量在所述計(jì)算中更新；以及處理部分，適用于當(dāng)所計(jì)算的校正值超過所述視頻穩(wěn)定系統(tǒng)的 系統(tǒng)限制時(shí)，根據(jù)所述系統(tǒng)限制被超過的程度來調(diào)節(jié)所述至少 一 個(gè) 狀態(tài)變量，并基于所述運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所 計(jì)算的校正值。
13. —種電子設(shè)備，包括具有運(yùn)動(dòng)濾波器的視頻穩(wěn)定系統(tǒng)，其中， 所述運(yùn)動(dòng)濾波器包括處理部分，適用于接收相較于視頻幀序列的第一視頻幀的當(dāng)前 視頻幀中的運(yùn)動(dòng)估計(jì)，并基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至 少 一個(gè)狀態(tài)變量來計(jì)算針對(duì)當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中所述 至少一個(gè)狀態(tài)變量在所述計(jì)算中更新；以及處理部分，適用于當(dāng)所計(jì)算的校正值超過所述視頻穩(wěn)定系統(tǒng)的 系統(tǒng)限制時(shí)，根據(jù)所述系統(tǒng)限制被超過的程度來調(diào)節(jié)所述至少 一 個(gè) 狀態(tài)變量，并基于所述運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所 計(jì)算的校正值。
14. 根據(jù)權(quán)利要求13所述的電子設(shè)備，其中，所述電子設(shè)備包 括^L頻處理芯片組，其包括至少一個(gè)芯片，所述^L頻穩(wěn)定系統(tǒng)集成 在所述芯片組中。
15. 根據(jù)權(quán)利要求13所述的電子設(shè)備，其中，所述電子設(shè)備是 移動(dòng)電子設(shè)備。
16. 根據(jù)權(quán)利要求15所述的電子設(shè)備，進(jìn)一步包括用于捕捉視 頻幀序列的 一見頻記錄組件。
17. —種軟件程序產(chǎn)品，其中存儲(chǔ)有軟件代碼，用于將視頻穩(wěn)定 系統(tǒng)的運(yùn)動(dòng)濾波器應(yīng)用到視頻幀的序列，所述軟件代碼在被電子設(shè) 備的處理器執(zhí)行的時(shí)候?qū)崿F(xiàn)下列步驟接收相較于所述視頻幀序列的第 一視頻幀的所述當(dāng)前視頻幀中 的運(yùn)動(dòng)估計(jì)；基于所述運(yùn)動(dòng)估計(jì)和所述運(yùn)動(dòng)濾波器的至少一個(gè)狀態(tài)變量來計(jì) 算針對(duì)所述當(dāng)前視頻幀中運(yùn)動(dòng)的校正值，其中所述至少 一個(gè)狀態(tài)變 量在所述計(jì)算中更新；以及當(dāng)所計(jì)算的校正值超過所述視頻穩(wěn)定系統(tǒng)的系統(tǒng)限制時(shí)，根據(jù) 所述系統(tǒng)限制被超過的程度來調(diào)節(jié)所述至少 一個(gè)狀態(tài)變量，并基于 所述運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算所述校正值。
18. 根據(jù)權(quán)利要求17所述的軟件程序產(chǎn)品，其中，所述至少一 個(gè)狀態(tài)變量包括表示所述當(dāng)前視頻幀中期盼運(yùn)動(dòng)的變量，和表示所 述期盼運(yùn)動(dòng)的設(shè)想速度的變量。
19. 根據(jù)權(quán)利要求17所述的軟件程序產(chǎn)品，其中，所述運(yùn)動(dòng)是 水平平移、垂直平移和旋轉(zhuǎn)中至少其一，并且其中，計(jì)算所述校正 值，并且如果需要的話，以針對(duì)旋轉(zhuǎn)再針對(duì)水平和垂直方向中的平移的順序來重新計(jì)算所述校正值，并且其中，將針對(duì)所述運(yùn)動(dòng)類型 中至少其 一 的系統(tǒng)限制確定為針對(duì)所述運(yùn)動(dòng)類型中至少另 一 個(gè)所得的校正值的函數(shù)。
全文摘要
為了將視頻穩(wěn)定系統(tǒng)的運(yùn)動(dòng)濾波器應(yīng)用到視頻幀的序列，接收對(duì)相較于該視頻幀序列的第一視頻幀的當(dāng)前視頻幀中運(yùn)動(dòng)的估計(jì)?；谠摻邮盏降倪\(yùn)動(dòng)估計(jì)和該運(yùn)動(dòng)濾波器的至少一個(gè)狀態(tài)變量，計(jì)算當(dāng)前視頻幀中針對(duì)運(yùn)動(dòng)的校正值。該至少一個(gè)狀態(tài)變量在計(jì)算中更新。當(dāng)所計(jì)算的校正值超過視頻穩(wěn)定系統(tǒng)的系統(tǒng)限制時(shí)，根據(jù)系統(tǒng)限制被超過的程度來調(diào)節(jié)該至少一個(gè)狀態(tài)變量。基于該運(yùn)動(dòng)估計(jì)和所調(diào)節(jié)的狀態(tài)變量來重新計(jì)算該校正值。
文檔編號(hào)G06T7/20GK101208722SQ200680023084
公開日2008年6月25日 申請(qǐng)日期2006年6月6日 優(yōu)先權(quán)日2005年6月30日
發(fā)明者M·弗維萊南, M·蒂科 申請(qǐng)人:諾基亞公司