本說明書涉及使視頻穩(wěn)定，并且具體而言涉及檢測(cè)連續(xù)視頻幀中的運(yùn)動(dòng)以使沒有運(yùn)動(dòng)的視頻穩(wěn)定。

背景技術(shù)：

小數(shù)字相機(jī)變得如此廉價(jià)以便于在從手表、到頭盔、到計(jì)算平板電腦、到媒體播放器、到所有種類的蜂窩電話的各種各樣的便攜式和可穿戴式設(shè)備上被提供。這些相機(jī)對(duì)于拍攝高行動(dòng)場(chǎng)景的視頻特別方便，在這些場(chǎng)景中較大的相機(jī)是不實(shí)際的或侵入的。對(duì)于專業(yè)視頻，相機(jī)通常安裝到范圍從簡單的三腳架到有履帶的軌道小車、吊桿或機(jī)動(dòng)升降臺(tái)架的穩(wěn)定平臺(tái)。這些平臺(tái)中的一些具有穩(wěn)定器以當(dāng)相機(jī)移動(dòng)時(shí)保持相機(jī)水平和被瞄準(zhǔn)，并且甚至抵消快速運(yùn)動(dòng)和抖動(dòng)。然而當(dāng)相機(jī)是手持式時(shí)，攝影師可能不能夠提供穩(wěn)定的平臺(tái)。類似地，安裝到頭盔、車輛或其它移動(dòng)平臺(tái)的相機(jī)也將受到運(yùn)動(dòng)和抖動(dòng)，除非它被穩(wěn)定。

穩(wěn)定器一般是大的、重的和精密的，所以視頻穩(wěn)定化處理技術(shù)被開發(fā)。這些技術(shù)試圖去除在采集視頻之后的不需要的運(yùn)動(dòng)。技術(shù)還試圖避免去除需要的運(yùn)動(dòng)。在一方面，攝影師的手可能搖晃或騎自行車的人可能撞到障礙物。在另一方面，攝影師可以跨場(chǎng)景掃描相機(jī)，或移動(dòng)以觀看不同的主體。對(duì)于動(dòng)作序列，當(dāng)相機(jī)隨著攝影師經(jīng)歷動(dòng)作時(shí)，可能存在大量的運(yùn)動(dòng)。一種常見的視頻穩(wěn)定化技術(shù)是將低通濾波器(例如高斯濾波器)應(yīng)用于視頻序列的圖像。這個(gè)濾波器試圖將快速(或高頻)運(yùn)動(dòng)與緩慢運(yùn)動(dòng)隔離，并且然后只補(bǔ)償快速運(yùn)動(dòng)。原則上，去除來自搖晃的手的運(yùn)動(dòng)，而不去除來自跨場(chǎng)景移動(dòng)鏡頭或移動(dòng)到場(chǎng)景中的不同主體的運(yùn)動(dòng)。

附圖說明

通過示例的方式而非限制性方式示出了實(shí)施例，在附圖的圖中，相似的附圖標(biāo)記指代類似的元件。

圖1a是采集抖動(dòng)的零運(yùn)動(dòng)視頻主體的圖。

圖1b是視頻采集設(shè)備的圖。

圖2是根據(jù)實(shí)施例的零運(yùn)動(dòng)視頻和規(guī)劃軌跡的圖。

圖3是根據(jù)實(shí)施例的零運(yùn)動(dòng)視頻和到具有規(guī)劃軌跡的運(yùn)動(dòng)視頻的過渡的圖。

圖4是根據(jù)實(shí)施例的可以顯示為零運(yùn)動(dòng)視頻和規(guī)劃軌跡的運(yùn)動(dòng)視頻的圖。

圖5是根據(jù)實(shí)施例的利用零運(yùn)動(dòng)估計(jì)來使視頻序列平滑的框圖。

圖6是根據(jù)實(shí)施例的經(jīng)受箝入(clamping)的運(yùn)動(dòng)視頻和規(guī)劃軌跡的圖。

圖7是根據(jù)實(shí)施例的利用零運(yùn)動(dòng)估計(jì)來使視頻序列平滑的過程流程圖。

圖8是根據(jù)實(shí)施例的并入視頻穩(wěn)定化的視頻采集設(shè)備的框圖。

具體實(shí)施方式

視頻穩(wěn)定化(vs)的目的在于使所捕獲的視頻序列中的搖晃的相機(jī)軌跡平滑，從而使輸入視頻中的抖動(dòng)運(yùn)動(dòng)可以被有效地去除。用于平滑化的很多低通濾波器或高斯濾波器技術(shù)不會(huì)補(bǔ)償所有的運(yùn)動(dòng)并且被校正運(yùn)動(dòng)所需的缺失區(qū)域的尺寸限制。

按照設(shè)計(jì)，低通濾波器可以只減少一些抖動(dòng)的運(yùn)動(dòng)。它不能準(zhǔn)確且完全去除所有抖動(dòng)。在視頻中的一些量的抖動(dòng)容易被觀察者忽略，對(duì)于該視頻相機(jī)具有低頻運(yùn)動(dòng)，例如掃描或移動(dòng)鏡頭(pan)。然而，當(dāng)視頻沒有有意的相機(jī)運(yùn)動(dòng)時(shí)，小抖動(dòng)的運(yùn)動(dòng)更明顯。在零運(yùn)動(dòng)情形下，小抖動(dòng)的運(yùn)動(dòng)可以容易被觀察到。作為示例，如果場(chǎng)景的背景反映搖晃的手或搖晃的相機(jī)支架，則這將容易在觀看視頻時(shí)被看到。

在視頻序列中的場(chǎng)景的運(yùn)動(dòng)被稱為軌跡?？梢酝ㄟ^分析場(chǎng)景的運(yùn)動(dòng)來估計(jì)相機(jī)的運(yùn)動(dòng)。軌跡包括高頻和低頻運(yùn)動(dòng)。使視頻穩(wěn)定以減少快速或搖晃的運(yùn)動(dòng)(例如抖動(dòng))被稱為使軌跡平滑。因?yàn)樵趫?chǎng)景中的哪些元件移動(dòng)以及在場(chǎng)景中的哪些元件由于相機(jī)的運(yùn)動(dòng)而出現(xiàn)移動(dòng)并不總是已知的，軌跡平滑化是基于實(shí)際未知軌跡的估計(jì)?；诜治鲆曨l的連續(xù)幀之間的變化來估計(jì)所估計(jì)的軌跡。也可以通過考慮以前幀的估定軌跡并然后預(yù)測(cè)未來幀的軌跡來作出軌跡預(yù)測(cè)。這常常通過將估定的軌跡推測(cè)到以后的時(shí)間來完成，但可以用很多其它方式預(yù)測(cè)軌跡。

為了使軌跡平滑，調(diào)節(jié)視頻中的幀以補(bǔ)償不需要的相機(jī)運(yùn)動(dòng)。如果相機(jī)從一個(gè)幀到下一幀向上移動(dòng)例如四個(gè)像素，則在幀扭曲期間，下一幀向下移動(dòng)四個(gè)像素來進(jìn)行補(bǔ)償。當(dāng)幀被移動(dòng)時(shí)，則將有缺失的幀的區(qū)域。缺失區(qū)域限制幀扭曲的范圍。當(dāng)例如在兩個(gè)幀之間檢測(cè)到例如4個(gè)像素的向上垂直運(yùn)動(dòng)時(shí)，理想地，vs技術(shù)將整個(gè)幀向下移動(dòng)4個(gè)像素以補(bǔ)償抖動(dòng)運(yùn)動(dòng)。這些較低的4行像素從正常視頻序列缺失。

如果幀具有不被包括在視頻中的4個(gè)附加的底行像素信息，則可以容易添加缺失區(qū)域。由于這個(gè)原因，視頻幀通常在所有四側(cè)上被修剪，留下透明區(qū)，其為在修剪視頻周圍的邊緣。透明區(qū)提供額外的行和列，其可以用于在必須補(bǔ)償相機(jī)運(yùn)動(dòng)時(shí)填充缺失區(qū)域。缺失區(qū)域的尺寸與低通濾波器強(qiáng)度緊密有關(guān)。過濾后的軌跡越平滑，缺失區(qū)域就越大。然而，當(dāng)缺失區(qū)域的尺寸大時(shí)，基于修剪的方法將明顯減小用戶的可見區(qū)域，即在實(shí)際視頻中的像素的數(shù)量。一般，由制造商或按照標(biāo)準(zhǔn)充分提前預(yù)先確定缺失區(qū)域的尺寸。替代地，可以通過基于幀的邊緣處的像素產(chǎn)生新像素(例如通過在缺失像素中涂色)來填充缺失區(qū)域。然而，基于圖像修復(fù)的方法往往產(chǎn)生明顯的偽影(artifact)。

一般預(yù)先確定缺失區(qū)域的最大尺寸。這限制了可以為每個(gè)輸入視頻幀補(bǔ)償?shù)亩秳?dòng)的量。當(dāng)在原始相機(jī)軌跡與經(jīng)過濾的軌跡(即估定的抖動(dòng)值)之間的差異大于補(bǔ)償極限時(shí)，這個(gè)幀的抖動(dòng)將被約束到補(bǔ)償極限；這個(gè)幀被稱為箝入抖動(dòng)的幀。有箝入抖動(dòng)的幀常常導(dǎo)致在平滑軌跡中的中斷并最終通過創(chuàng)建所謂的“突跳”偽影而降低穩(wěn)定視頻的視覺質(zhì)量。可以通過適當(dāng)?shù)匾?guī)劃軌跡來處理這些跳躍的偽影。

圖1a是示出用于使用不穩(wěn)定的視頻相機(jī)來記錄視頻的示例性情形的圖。相機(jī)102被握在將相機(jī)瞄準(zhǔn)場(chǎng)景110的錄像師106的手104中。相機(jī)可能在錄像師的手中搖晃或抖動(dòng)，因?yàn)樗环€(wěn)定。如果錄像師將相機(jī)安裝到較大的平臺(tái)(未示出)，例如不穩(wěn)定的車輛，則這也有可能發(fā)生。錄像師將相機(jī)瞄準(zhǔn)具有固定的山脈背景112和移動(dòng)的前景物體114(例如滑板車手)的場(chǎng)景。場(chǎng)景還具有移動(dòng)的背景云116。這作為常見的示例被提供，但在場(chǎng)景中的元件可以變化以適合錄像師的要求。

視頻相機(jī)102在圖1b中的擴(kuò)展視圖中被示為具有透鏡120以使場(chǎng)景成像到圖像傳感器122上?？梢杂锌扉T、可控孔徑光闌、濾波器、遮光罩和在透鏡與圖像傳感器之間的其它元件(未示出)。圖像傳感器數(shù)據(jù)被提供到采樣和保持電路126以將數(shù)據(jù)轉(zhuǎn)換成一組像素值。然后在圖像處理器128中處理像素值。系統(tǒng)由通用處理器130控制，通用處理器130在觸摸屏顯示器124上顯現(xiàn)用戶界面和圖像視圖，并且可以顯現(xiàn)一個(gè)或多個(gè)附加的用戶界面和通信元件。相機(jī)可以具有比所示的多得多或少得多的組件，這取決于特定的實(shí)施方式。

為了更準(zhǔn)確地使視頻穩(wěn)定，可以將零運(yùn)動(dòng)視頻與具有預(yù)期運(yùn)動(dòng)的視頻區(qū)分開?？梢允褂脙蓚€(gè)或多個(gè)連續(xù)幀來確定差異。可以存在要區(qū)分的至少三種不同的情況。這些可以被稱為：1)真實(shí)零運(yùn)動(dòng)檢測(cè)；2)零運(yùn)動(dòng)過渡；以及3)錯(cuò)誤的零運(yùn)動(dòng)檢測(cè)。

真實(shí)零運(yùn)動(dòng)可以被描述為沒有在搖晃的視頻中的預(yù)期運(yùn)動(dòng)。這可以出現(xiàn)在拍攝風(fēng)景的視頻或拍攝固定物體(例如畫或雕像)時(shí)。在這樣的情況下，可以在高斯濾波之后的兩個(gè)連續(xù)幀中觀察到小隨機(jī)運(yùn)動(dòng)。

對(duì)于零運(yùn)動(dòng)檢測(cè)，低通濾波器應(yīng)用于在軌跡平滑臺(tái)中的原始相機(jī)軌跡，并且低通濾波器輸出經(jīng)過濾的軌跡。因?yàn)榈屯V波器去除大部分抖動(dòng)運(yùn)動(dòng)，經(jīng)過濾的軌跡主要顯示相機(jī)的真實(shí)預(yù)期運(yùn)動(dòng)。因此，可以通過分析經(jīng)過濾的軌跡的特征來將視頻序列確定為零運(yùn)動(dòng)視頻或非零運(yùn)動(dòng)。

在圖2中示出了零運(yùn)動(dòng)的示例。圖2是垂直軸上的軌跡坐標(biāo)與水平軸上的連續(xù)幀對(duì)比的圖表。每個(gè)點(diǎn)表示在幀的序列中的從左到右的不同幀。存在連續(xù)點(diǎn)的兩條線。一條線202示出了從在低通濾波之后的原始輸入視頻產(chǎn)生的軌跡坐標(biāo)。這將被稱為預(yù)測(cè)軌跡。點(diǎn)的第二條線204示出了如果沒有運(yùn)動(dòng)則軌跡坐標(biāo)將如何。這是基于沒有運(yùn)動(dòng)的假設(shè)從輸入視頻得到的平滑軌跡。這個(gè)平滑軌跡是細(xì)化或規(guī)劃的軌跡，并且當(dāng)應(yīng)用于預(yù)測(cè)軌跡時(shí)將使視頻變得更平滑且穩(wěn)定。

點(diǎn)可以用于顯示確定幀序列是否是零運(yùn)動(dòng)的方法。低通濾波器視頻202中的每個(gè)點(diǎn)顯示來自在線上的緊接著其之前的點(diǎn)和緊接著其之后的點(diǎn)的坐標(biāo)的小運(yùn)動(dòng)。在相鄰點(diǎn)的坐標(biāo)之間的間隙或距離可以用于確定運(yùn)動(dòng)是否僅是某些抖動(dòng)或其它無意效應(yīng)或某些有意運(yùn)動(dòng)。換句話說，一種方法是比較最后一個(gè)低通濾波器坐標(biāo)和當(dāng)前低通濾波器坐標(biāo)之間的間隙。如果位移或間隙(d)小于閾值(t)，則視頻的線被確定為零運(yùn)動(dòng)視頻。如果間隙大于閾值，則視頻被表明為運(yùn)動(dòng)視頻。規(guī)劃軌跡被強(qiáng)加在視頻上以使視頻穩(wěn)定并去除運(yùn)動(dòng)。換句話說，使用幀扭曲來調(diào)節(jié)在低通濾波之后的實(shí)際軌跡202，從而使其與規(guī)劃的筆直或零運(yùn)動(dòng)軌跡204匹配。

替代地，這兩條線可以相互比較。如所示的，規(guī)劃軌跡顯示在兩個(gè)連續(xù)幀之后的實(shí)際低通濾波的預(yù)測(cè)軌跡202與規(guī)劃軌跡204之間的間隙(d)。間隙小于閾值(t)?；陂撝当容^結(jié)果，由線202表示的視頻可以被確定為零運(yùn)動(dòng)視頻。當(dāng)在這兩個(gè)經(jīng)過濾的相鄰軌跡之間的間隙小于預(yù)定閾值時(shí)，將確定在這兩個(gè)幀之間不存在有意運(yùn)動(dòng)。因此，規(guī)劃軌跡204用于視頻穩(wěn)定化而不是低通濾波器輸出202。

可以用各種不同的方式執(zhí)行對(duì)坐標(biāo)的比較。首先，一個(gè)低通濾波幀的坐標(biāo)可以與如所示的對(duì)應(yīng)平滑軌跡幀的坐標(biāo)進(jìn)行對(duì)比。這可以對(duì)每個(gè)幀重復(fù)。然而，在執(zhí)行這樣的比較時(shí)，可以有為極值做出的限額。如果相機(jī)突然伸入一個(gè)或多個(gè)幀中并且接著返回到原始位置，則序列仍然可以是零運(yùn)動(dòng)序列。相應(yīng)地，平均值可以用于比較坐標(biāo)。在一個(gè)示例中，可以確定在幀的短集合(例如五個(gè)或十個(gè)低通濾波幀)和對(duì)應(yīng)的規(guī)劃軌跡幀之間的差異。然后差異的平均值可以被采用并與閾值進(jìn)行對(duì)比以確定它是否是零運(yùn)動(dòng)序列。方差(例如離算術(shù)平均值的偏差的平均平方根)也可以或替代地被采用以確定它是否是零運(yùn)動(dòng)序列。

作為另外的替代方案，可以確定幀的短集合(例如五個(gè)或十個(gè)低通濾波預(yù)測(cè)軌跡幀)的平均值或方差或這兩者和對(duì)應(yīng)的細(xì)化或規(guī)劃的軌跡幀的平均值。然后，在這兩個(gè)平均值之間的差異可以與閾值進(jìn)行對(duì)比以確定它是否是零運(yùn)動(dòng)序列。

作為另外的替代方案，幀的短集合(例如五個(gè)或十個(gè)低通濾波預(yù)測(cè)軌跡幀)的平均值或方差或這兩者可以與幀的短集合中的每個(gè)幀進(jìn)行對(duì)比。如果平均值與任何一個(gè)特定的幀之間的差異小于閾值，則序列可以被確定為那個(gè)幀的零運(yùn)動(dòng)序列。當(dāng)一個(gè)或兩個(gè)連續(xù)幀超過閾值時(shí)，則序列可以被確定為做出到具有那些幀的運(yùn)動(dòng)序列的過渡。這在圖3中示出。如果沒有幀在閾值到平均值內(nèi)，則幀的整個(gè)短集合是運(yùn)動(dòng)序列。

可以用各種不同的方式確定規(guī)劃軌跡坐標(biāo)值。平均坐標(biāo)值可以用作當(dāng)前幀的最后平滑軌跡?？梢杂玫谝坏屯V波幀或用預(yù)測(cè)軌跡的幀序列來初始化平均值。如所示的，視頻序列以第一幀206開始，其中預(yù)測(cè)軌跡的坐標(biāo)和規(guī)劃軌跡的坐標(biāo)是相同的。因?yàn)檫@是零運(yùn)動(dòng)情況，其中只有運(yùn)動(dòng)是由于無意相機(jī)運(yùn)動(dòng)產(chǎn)生的，零運(yùn)動(dòng)規(guī)劃軌跡用于從視頻序列完全去除抖動(dòng)。簡言之，在低通濾波之后，分析視頻，并且在這種情況下，執(zhí)行附加的抖動(dòng)去除。

圖3是類似于圖2但具有不同的視頻序列的圖表?？梢杂性谝粋€(gè)視頻序列中組合的多個(gè)相機(jī)運(yùn)動(dòng)。作為結(jié)果，當(dāng)零運(yùn)動(dòng)的標(biāo)準(zhǔn)不再被滿足時(shí)，系統(tǒng)自適應(yīng)地從零運(yùn)動(dòng)模式轉(zhuǎn)換成非零運(yùn)動(dòng)模式。

在這里有視頻序列的第一零運(yùn)動(dòng)部分310和視頻序列的第二非零運(yùn)動(dòng)部分312。在這兩個(gè)部分之間的是從零運(yùn)動(dòng)到非零或正運(yùn)動(dòng)的過渡。零運(yùn)動(dòng)部分310類似于圖2的零運(yùn)動(dòng)部分，因?yàn)樵趦蓚€(gè)連續(xù)幀之間的運(yùn)動(dòng)小于閾值(t)。

在第二部分312中，兩個(gè)連續(xù)幀的運(yùn)動(dòng)(d)大于閾值。這繼而對(duì)應(yīng)于除了抖動(dòng)以外的相機(jī)的一些運(yùn)動(dòng)。運(yùn)動(dòng)太大而不能利用抖動(dòng)抑制或穩(wěn)定化技術(shù)來盡心補(bǔ)償。作為結(jié)果，沒有對(duì)低通濾波結(jié)果的修改。繼而通過具有低通濾波結(jié)果的這個(gè)序列來更新平均值，從而使零運(yùn)動(dòng)檢測(cè)可以繼續(xù)。

以類似的方式，可以用在圖2的背景中的過渡檢測(cè)可以用于確定視頻是否是零運(yùn)動(dòng)視頻或運(yùn)動(dòng)視頻。以相同的方式，大于閾值(t)的間隙(d)確定過渡，相同的條件可以用于首先確定視頻是非零運(yùn)動(dòng)視頻。

圖4的示例對(duì)應(yīng)于零運(yùn)動(dòng)檢測(cè)是錯(cuò)誤警報(bào)的情況。當(dāng)相機(jī)在與如由點(diǎn)的低通濾波線402所示的相同的方向上一致地拍攝小運(yùn)動(dòng)時(shí)，在任兩個(gè)相鄰幀上的預(yù)測(cè)軌跡與估定規(guī)劃軌跡之間的間隙小。因?yàn)樵谌蝺蓚€(gè)幀之間的坐標(biāo)中的差異小且小于閾值，則系統(tǒng)可以將序列解釋為零運(yùn)動(dòng)視頻。然而，如果預(yù)測(cè)軌跡在相同的方向上繼續(xù)，則它不是抖動(dòng)或搖晃，而是相機(jī)的無意慢運(yùn)動(dòng)。這對(duì)于零運(yùn)動(dòng)檢測(cè)是假警報(bào)，如果被當(dāng)作零運(yùn)動(dòng)視頻，假警報(bào)將使穩(wěn)定視頻的視覺質(zhì)量惡化，。

也在視頻序列的多個(gè)幀上監(jiān)控在來自低通濾波器的規(guī)劃軌跡與預(yù)測(cè)軌跡之間的間隙。如果檢測(cè)到大累積間隙(d)，則可以調(diào)節(jié)規(guī)劃軌跡以跟隨相機(jī)的有意運(yùn)動(dòng)。大間隙檢測(cè)可以與零運(yùn)動(dòng)檢測(cè)和錯(cuò)誤警報(bào)檢測(cè)組合。

圖4是圖表，其中幀的低通濾波序列的預(yù)測(cè)軌跡坐標(biāo)對(duì)于每個(gè)幀被顯示為一行點(diǎn)402。基于零運(yùn)動(dòng)的規(guī)劃軌跡也被稱為點(diǎn)的第二序列404。實(shí)際視頻序列402顯示在很多幀之上的小均勻運(yùn)動(dòng)。為了防止錯(cuò)誤的零運(yùn)動(dòng)檢測(cè)，可以為每個(gè)幀檢查在平均值與預(yù)測(cè)軌跡之間的間隙。當(dāng)間隙(d)大于閾值(t)時(shí)，規(guī)劃軌跡404的平均值被更新。運(yùn)動(dòng)是非零的，并且平均值可以用作最終輸出。

通過比較軌跡，在低通濾波預(yù)測(cè)軌跡中的幀的序列與在規(guī)劃或估定軌跡中的幀的對(duì)應(yīng)序列進(jìn)行比較。對(duì)于有意運(yùn)動(dòng)，預(yù)測(cè)軌跡的幀將從規(guī)劃軌跡的幀偏離。圖4示出的不是將每個(gè)幀與每個(gè)其它幀進(jìn)行比較，可以對(duì)軌跡進(jìn)行比較。這可以使用如上所述的針對(duì)每個(gè)軌跡的坐標(biāo)的平均值來完成。替代地，如在圖4中的，對(duì)軌跡進(jìn)行比較。在所示示例中，預(yù)測(cè)軌跡的每個(gè)幀離規(guī)劃軌跡更遠(yuǎn)且在同一方向上更遠(yuǎn)。規(guī)劃軌跡基于零運(yùn)動(dòng)。當(dāng)預(yù)測(cè)軌跡更遠(yuǎn)離規(guī)劃軌跡移動(dòng)時(shí)，可以確定預(yù)測(cè)軌跡不是零運(yùn)動(dòng)。

圖4的規(guī)劃軌跡404最初作為直線開始，但當(dāng)預(yù)測(cè)軌跡402繼續(xù)遠(yuǎn)離規(guī)劃軌跡移動(dòng)時(shí)，對(duì)規(guī)劃軌跡進(jìn)行調(diào)節(jié)。實(shí)際或預(yù)測(cè)軌跡在所示示例中處于向下傾斜平滑曲線的粗略形式。規(guī)劃軌跡類似地被估計(jì)為平滑曲線，其以被估計(jì)為與預(yù)測(cè)軌跡的速率相同的速率向下傾斜。這個(gè)斜率可以在作出進(jìn)一步調(diào)節(jié)時(shí)隨著時(shí)間而變化。

圖5是使視頻幀的序列穩(wěn)定的框圖，如可以在采集視頻并將視頻繼續(xù)發(fā)送到單獨(dú)的處理引擎(例如視頻工作站或編輯系統(tǒng))之后在相機(jī)中或在以后的后處理中執(zhí)行的。視頻序列的輸入幀502應(yīng)用于全局運(yùn)動(dòng)估計(jì)塊504。全局運(yùn)動(dòng)估計(jì)用于找到在輸入視頻中的每對(duì)相鄰幀之間的主導(dǎo)運(yùn)動(dòng)。基于從一個(gè)幀到下一幀的這些全局運(yùn)動(dòng)，可以產(chǎn)生相機(jī)軌跡。如果相機(jī)的運(yùn)動(dòng)具有不希望的搖晃運(yùn)動(dòng)，則由全局運(yùn)動(dòng)估計(jì)產(chǎn)生的相機(jī)軌跡將被隨機(jī)抖動(dòng)(或任何其它噪聲)影響。所估計(jì)的全局軌跡將有一個(gè)量的誤差，其取決于抖動(dòng)和其它噪聲。

在確定軌跡之后，利用軌跡平滑化塊506來處理由抖動(dòng)和其它噪聲引起的擾動(dòng)。軌跡平滑化塊產(chǎn)生預(yù)測(cè)軌跡。這個(gè)軌跡平滑化可以通過應(yīng)用低通濾波器來完成。任何快速運(yùn)動(dòng)被濾出，從而主要地僅使有意運(yùn)動(dòng)保留在視頻幀的序列中。在執(zhí)行軌跡平滑化時(shí)，可以通過從原始軌跡減去經(jīng)過濾的軌跡來估計(jì)隨機(jī)抖動(dòng)。

來自平滑化塊506的經(jīng)過濾的預(yù)測(cè)軌跡被提供到以下更詳細(xì)描述的軌跡規(guī)劃塊508。這產(chǎn)生了規(guī)劃軌跡。最后，所計(jì)算的抖動(dòng)值用于通過將規(guī)劃軌跡應(yīng)用于輸入視頻幀來補(bǔ)償幀扭曲塊510中的相機(jī)的搖晃運(yùn)動(dòng)。

軌跡規(guī)劃塊508被放置在相機(jī)軌跡平滑化臺(tái)506之后。在軌跡規(guī)劃臺(tái)中，重新設(shè)計(jì)經(jīng)過濾的軌跡。沒有任何有意運(yùn)動(dòng)的搖晃視頻可以被完全補(bǔ)償。另外，在普通幀和箝入抖動(dòng)的幀之間的平滑軌跡的不連續(xù)性可以盡可能減小。

軌跡規(guī)劃臺(tái)被擴(kuò)展到幾個(gè)不同的塊522、524、526、628、530、532中，如在圖5中的軌跡規(guī)劃臺(tái)下方所示的。整個(gè)軌跡規(guī)劃臺(tái)可以被描述為具有兩個(gè)部分。第一部分540是零運(yùn)動(dòng)視頻的軌跡規(guī)劃，并且第二部分542用于消除由于抖動(dòng)運(yùn)動(dòng)箝入而引起的任何突跳偽影。

第一部分包括可以用各種不同的方式執(zhí)行的零運(yùn)動(dòng)檢測(cè)522。在圖2的示例中，低通濾波預(yù)測(cè)軌跡幀與穩(wěn)定的規(guī)劃軌跡進(jìn)行比較。如果在這兩個(gè)軌跡的坐標(biāo)之間的差異小且在閾值內(nèi)，則視頻序列可以被表明為具有零運(yùn)動(dòng)軌跡。這個(gè)確定可以與如在圖3的背景下描述的過渡檢測(cè)和如在圖4的背景下描述的錯(cuò)誤檢測(cè)組合。

在零運(yùn)動(dòng)檢測(cè)模塊522中的運(yùn)動(dòng)細(xì)化之后，視頻穩(wěn)定化可以為大部分情形提供質(zhì)量穩(wěn)定的視頻。然而，一些抖動(dòng)運(yùn)動(dòng)箝入仍然可能降低視覺質(zhì)量。然而可以預(yù)測(cè)運(yùn)動(dòng)箝入的可能。使用預(yù)測(cè)，可以提前調(diào)節(jié)補(bǔ)償運(yùn)動(dòng)以產(chǎn)生更加穩(wěn)定的視頻序列作為輸出。

圖6是與圖2、3和4的圖表類似的圖表以顯示軌跡規(guī)劃的示例。從低通濾波器506接收的預(yù)測(cè)軌跡被顯現(xiàn)為點(diǎn)602的第一線。每個(gè)點(diǎn)反映特定視頻幀的坐標(biāo)位置。線在時(shí)間上前進(jìn)到左邊，每個(gè)點(diǎn)代表穿過視頻序列的連續(xù)幀。在這個(gè)示例中，存在具有相對(duì)于箝入的不同特性的三個(gè)區(qū)。在第一區(qū)610中，檢測(cè)到箝入。視頻幀被固定到箝入的位置。在第二區(qū)612中，估計(jì)沒有未來的箝入。使用兩個(gè)間隔開的視頻幀的坐標(biāo)來繪制預(yù)測(cè)軌跡：前一幀和在這個(gè)示例中從前一幀向前5個(gè)幀的幀。在第三區(qū)中，沒有足夠的未來幀來預(yù)測(cè)軌跡，所以序列被固定到最后一個(gè)幀。在更多的幀被接收到之后，則規(guī)劃軌跡可以延伸并以與在第一區(qū)610和第二區(qū)612中相同的方式被使用。

首先，低通濾波器應(yīng)用于未來幀的原始預(yù)測(cè)軌跡以從低通濾波器模塊506得到它們的預(yù)測(cè)軌跡。這些幀被指示為幀的抖動(dòng)線602。未來幀524的原始軌跡被供應(yīng)到處理系統(tǒng)中。這個(gè)軌跡被過濾(526)，從而使未來軌跡可以被預(yù)測(cè)(528)。基于在來自522的原始軌跡和來自526的經(jīng)過濾的軌跡之間的差異，可以執(zhí)行箝入檢查530。箝入檢查預(yù)測(cè)是否有即將到來的箝入抖動(dòng)的幀。一旦檢測(cè)到任何箝入抖動(dòng)的幀，就可以規(guī)劃平滑軌跡以避免在箝入的幀出現(xiàn)時(shí)的任何突跳。軌跡規(guī)劃可以對(duì)每個(gè)幀進(jìn)行更新以極大地減小任何軌跡不連續(xù)性。

在箝入塊530預(yù)測(cè)到任何未來的箝入幀之后，則目標(biāo)錨532可以基于可能的箝入被調(diào)節(jié)。使用新目標(biāo)錨和前一軌跡534，可以更新(536)軌跡以適應(yīng)于檢測(cè)到的箝入。所更新的軌跡然后被輸出到幀扭曲510以產(chǎn)生穩(wěn)定的視頻幀512。

執(zhí)行軌跡規(guī)劃508的一個(gè)簡單的方式是使用一個(gè)先前位置和當(dāng)前軌跡錨作為輸入來繪制線。然而，如果從經(jīng)過濾的軌跡選擇一些其它幀，則也可以使用最新繪制的軌跡的形狀?？梢曰谇耙晃恢煤蛠碜晕磥韼暮笠晃恢靡愿鞣N方式預(yù)測(cè)軌跡。這樣的曲線可以作為最小二乘法擬合、貝塞爾曲線或以各種其它方式來產(chǎn)生。在將曲線擬合到坐標(biāo)之后，當(dāng)前幀的位置可以被計(jì)算并作為在箝入檢查之后的最終結(jié)果被再次輸出。

回到圖6，在第一區(qū)610中，利用緩慢的向上運(yùn)動(dòng)和一些無規(guī)律的抖動(dòng)來繪制來自低通濾波視頻幀的示例性預(yù)測(cè)軌跡602。細(xì)化或規(guī)劃的平滑軌跡604遵循相同的一般方向，但沒有先前匹配實(shí)際幀的坐標(biāo)位置。在第二區(qū)612中，視頻幀顯示緩慢的向下運(yùn)動(dòng)。作為結(jié)果，幀坐標(biāo)返回到在第一區(qū)的軌跡的中間附近的位置。由于這個(gè)原因，將沒有箝入?？梢曰谀承?shù)量n的未來幀來產(chǎn)生規(guī)劃軌跡。在第二區(qū)中，五個(gè)幀被用作預(yù)測(cè)任何運(yùn)動(dòng)箝入的示例。

規(guī)劃軌跡604爬升到最大點(diǎn)616，箝入可以在該點(diǎn)出現(xiàn)。然而，在第二區(qū)中，基于接下來的5個(gè)幀的規(guī)劃軌跡顯示這仍然是峰值，并且視頻坐標(biāo)移動(dòng)回到較早的位置。在第三區(qū)中，規(guī)劃軌跡未充分被估計(jì)，直到更多的幀被接收到為止。

圖7是示出本文中所述的很多操作的過程流程圖。在700，從存儲(chǔ)器或從視頻相機(jī)接收輸入幀。幀被緩存，從而使當(dāng)前和未來幀對(duì)于本文所述的各種過程是可用的。在701，基于分析所接收的幀來確定輸入軌跡。這可以使用如在圖2、3、4和6的示例軌跡中所示的坐標(biāo)來完成。高斯濾波器704應(yīng)用于軌跡以過濾出在幀之間的高速抖動(dòng)，但保留相機(jī)的低速有意運(yùn)動(dòng)。

經(jīng)過濾的視頻幀然后供應(yīng)于零運(yùn)動(dòng)檢測(cè)706。如果將視頻確定為零運(yùn)動(dòng)視頻，則基于選定錨點(diǎn)來進(jìn)一步使幀穩(wěn)定(708)。這甚至消除了高速濾波器不能去除的小運(yùn)動(dòng)。作為示例，來自零運(yùn)動(dòng)穩(wěn)定化的平滑軌跡被投影到未來幀上，例如接下來的5個(gè)幀。這與高斯濾波的接下來的5個(gè)幀進(jìn)行比較以將視頻特征描述為是否是零運(yùn)動(dòng)。

也可以在零運(yùn)動(dòng)補(bǔ)償期間執(zhí)行抖動(dòng)運(yùn)動(dòng)箝入。這可以出現(xiàn)在抖動(dòng)超過可以得到的補(bǔ)償?shù)姆秶鷷r(shí)。在那種情況下，當(dāng)平滑軌跡從一個(gè)錨點(diǎn)過渡到下一錨點(diǎn)時(shí)，在輸出視頻中可以觀察到突跳或小搖晃。

從零運(yùn)動(dòng)穩(wěn)定化(708)，視頻被饋送到箝入塊710。如果視頻不是零運(yùn)動(dòng)706，則零運(yùn)動(dòng)穩(wěn)定化708被跳過以繼續(xù)移動(dòng)到箝入塊710。利用箝入檢查，軌跡可以接著在712被調(diào)節(jié)以適應(yīng)任何箝入。跳躍被避免或規(guī)劃，從而使它們?cè)诜€(wěn)定的視頻中較不明顯。預(yù)測(cè)軌跡的高斯濾波幀與接下來可用的未來幀進(jìn)行比較。

在檢查箝入之后，軌跡規(guī)劃712進(jìn)一步使箝入的軌跡平滑。軌跡被規(guī)劃以避免在錨點(diǎn)之間的跳躍或使跳躍最小化?？梢允褂们耙粠慕?jīng)處理的位置來規(guī)劃軌跡以繪制新軌跡。經(jīng)處理的位置可以來自高斯濾波幀或來自零運(yùn)動(dòng)穩(wěn)定化幀，這取決于零運(yùn)動(dòng)是否在706被檢測(cè)到?？梢詮慕?jīng)處理的位置估計(jì)接下來的5個(gè)幀的平滑軌跡。如果在接下來的5個(gè)幀中找到箝入，則使用前一位置和箝入位置來重新計(jì)算當(dāng)前軌跡。如果在多于一個(gè)所投影的未來幀中找到箝入，則可以使用那些多個(gè)估計(jì)的箝入位置來計(jì)算錨。

在另一方面，如果在接下來的5個(gè)幀中沒有找到箝入，則使用前一位置和在第5個(gè)連續(xù)的幀處的未來位置來重新計(jì)算當(dāng)前軌跡。

如本文中所述的，幾種技術(shù)可以進(jìn)行組合以提高視頻穩(wěn)定化的所感知的質(zhì)量。運(yùn)動(dòng)軌跡規(guī)劃應(yīng)用于減小穩(wěn)定視頻的運(yùn)動(dòng)不連續(xù)性并提高視頻穩(wěn)定化的視覺質(zhì)量。零運(yùn)動(dòng)情形被檢測(cè)到。零運(yùn)動(dòng)檢測(cè)的錯(cuò)誤警報(bào)被檢測(cè)到。當(dāng)檢測(cè)到零運(yùn)動(dòng)時(shí)鎖定相機(jī)軌跡，并且當(dāng)不再檢測(cè)到零運(yùn)動(dòng)時(shí)，相機(jī)軌跡從鎖定模式逐漸消失。基于低通濾波框架來預(yù)測(cè)視頻的未來軌跡。在一個(gè)或幾個(gè)先前幀和一個(gè)或幾個(gè)未來幀的滑動(dòng)窗中執(zhí)行軌跡規(guī)劃。在未來幀中檢測(cè)到可能的抖動(dòng)箝入，并自適應(yīng)地為軌跡規(guī)劃計(jì)算目標(biāo)錨。軌跡規(guī)劃被執(zhí)行以在滑動(dòng)窗中輸出恒定的、線性或拋物線軌跡。

圖8示出根據(jù)一個(gè)實(shí)施方式的便攜式視頻設(shè)備100。視頻設(shè)備100容納系統(tǒng)母板12。板2可以包括多個(gè)組件，包括但不限于處理器4和至少一個(gè)通信封裝件6。通信封裝件耦合到一個(gè)或多個(gè)天線16。處理器4物理地和電氣地耦合到板2。

根據(jù)其應(yīng)用，視頻設(shè)備100可以包括可以或可以不物理地和電氣地耦合到板2的其它組件。這些其它組件可以包括但不限于易失性存儲(chǔ)器(例如dram)8、非易失性存儲(chǔ)器(例如rom)9、閃速存儲(chǔ)器(未示出)、圖形處理器12、數(shù)字信號(hào)處理器(未示出)、密碼處理器(未示出)、芯片組14、天線16、顯示器18(例如觸摸屏顯示器)、觸摸屏控制器20、電池22、音頻編碼解碼器(未示出)、視頻編碼解碼器(未示出)、功率放大器24、全球定位系統(tǒng)(gps)設(shè)備26、羅盤28、加速度計(jì)(未示出)、陀螺儀(未示出)、揚(yáng)聲器30、相機(jī)32、麥克風(fēng)陣列34和大容量存儲(chǔ)設(shè)備(例如硬盤驅(qū)動(dòng)器10、光盤(cd)(未示出)、數(shù)字通用盤(dvd)(未示出)等)。這些組件可以連接到系統(tǒng)板2、安裝到系統(tǒng)板或與其它組件中的任一個(gè)組合。

通信封裝件6實(shí)現(xiàn)了無線和/或有線通信以用于將數(shù)據(jù)轉(zhuǎn)移到視頻設(shè)備100和從視頻設(shè)備100轉(zhuǎn)移數(shù)據(jù)。術(shù)語“無線”及其派生詞可以用于描述可通過使用經(jīng)調(diào)制電磁輻射來經(jīng)由非固體介質(zhì)傳送數(shù)據(jù)的電路、設(shè)備、系統(tǒng)、方法、技術(shù)、通信通道等。該術(shù)語并不暗示相關(guān)聯(lián)的設(shè)備不包含任何電線，雖然在一些實(shí)施例中它們可以不包含電線。通信封裝件6可以實(shí)施多種無線標(biāo)準(zhǔn)或協(xié)議中的任一個(gè)，包括但不限于wi-fi(ieee802.11系列)、wimax(ieee802.16系列)、ieee802.20、長期演進(jìn)(lte)、ev-do、hspa+、hsdpa+、hsupa+、edge、gsm、gprs、cdma、tdma、dect、藍(lán)牙、以太網(wǎng)、其派生物以及被指定為3g、4g、5g和更高代的任何其它無線協(xié)議。視頻設(shè)備100可以包括多個(gè)通信封裝件6。例如，第一通信封裝件6可以專用于較短距離的無線通信(例如wi-fi和藍(lán)牙)，并且第二通信封裝件6可以專用于較長距離的無線通信(例如gps、edge、gprs、cdma、wimax、lte、ev-do等)。

相機(jī)32可以包括圖1的相機(jī)102的所有組件或共享資源，例如存儲(chǔ)器8、9、10、處理器4和具有其它視頻設(shè)備組件和功能的用戶界面12、20。處理器4耦合到相機(jī)和存儲(chǔ)器以接收視頻的幀并基于如所述的預(yù)測(cè)軌跡來使幀穩(wěn)定。

在各種實(shí)施方式中，視頻設(shè)備100可以以是視頻相機(jī)、數(shù)字單透鏡反射或無反射相機(jī)、蜂窩電話、媒體播放器、膝上型電腦、上網(wǎng)本、筆記本、超級(jí)本、智能電話、可穿戴式設(shè)備、平板電腦、個(gè)人數(shù)字助理(pda)、超移動(dòng)pc或數(shù)字視頻記錄器。視頻設(shè)備可以是固定的、便攜式的或可穿戴的。在另外的實(shí)施方式中，視頻設(shè)備100可以是記錄圖像幀的序列并處理數(shù)據(jù)的任何其它電子設(shè)備。

可以使用母板、專用集成電路(asic)和/或現(xiàn)場(chǎng)可編程門陣列(fpga)將實(shí)施例實(shí)施為一個(gè)或多個(gè)存儲(chǔ)器芯片、控制器、cpu(中央處理單元)、微芯片或集成電路互連件的一部分。

對(duì)“一個(gè)實(shí)施例”、“實(shí)施例”、“示例性實(shí)施例”、“各種實(shí)施例”等的引用指示這樣描述的(多個(gè))實(shí)施例可以包括特定特征、結(jié)構(gòu)或特性，但不是每個(gè)實(shí)施例都必須包括特定特征、結(jié)構(gòu)或特性。此外，一些實(shí)施例可以具有為其它實(shí)施例描述的特征中的一些、所有特征或沒有這些特征。

在以下描述和權(quán)利要求中，可以使用術(shù)語“耦合”連同其派生詞?！榜詈稀庇糜谥甘緝蓚€(gè)或多個(gè)元件彼此協(xié)作或交互作用，但它們可以或可以沒有介于它們之間的中間物理或電氣組件。

如權(quán)利要求中所使用的，除非另有規(guī)定，描述共同的元件的順序形容詞“第一”、“第二”、“第三”等的使用僅僅指示相似元件的不同實(shí)例被提到，且并不旨在暗示這樣描述的元件必須在時(shí)間上、在空間上、在等級(jí)上或以任何其它方式按給定順序。

附圖和前述描述給出實(shí)施例的示例。本領(lǐng)域中的技術(shù)人員將認(rèn)識(shí)到，一個(gè)或多個(gè)所述元件可以適當(dāng)?shù)亟M合成單個(gè)功能元件。替代地，某些元件可以分成多個(gè)功能元件。來自一個(gè)實(shí)施例的元件可以被添加到另一實(shí)施例。例如，本文所述的過程的順序可以改變且不限于本文所述的方式。而且，任何過程簡圖的行動(dòng)不需要以所示順序?qū)嵤?；所有行?dòng)也不一定需要被執(zhí)行。此外，不依賴于其它行動(dòng)的那些行動(dòng)可以與其它行動(dòng)并行地被執(zhí)行。實(shí)施例的范圍決不由這些特定的實(shí)例限制。很多變化——不管在說明書中是否明確地給出——例如在結(jié)構(gòu)、尺寸和材料使用方面的差異是可能的。實(shí)施例的范圍至少與下面的權(quán)利要求所給出的一樣寬。

以下的示例屬于另外的實(shí)施例。不同實(shí)施例的各種特征可以與被包括的一些特征和被排除的其它特征以不同的方式組合以適合各種不同的應(yīng)用。一些實(shí)施例屬于一種方法，其包括：接收視頻幀的序列，對(duì)視頻幀進(jìn)行低通濾波，確定低通濾波幀的子集是否是零運(yùn)動(dòng)幀，估計(jì)零運(yùn)動(dòng)幀的平滑軌跡，使用平滑軌跡從零運(yùn)動(dòng)幀去除抖動(dòng)，以及將幀扭曲應(yīng)用于已去除抖動(dòng)的零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，確定包括將視頻幀的序列中所選擇的低通濾波幀與相鄰的低通濾波幀的坐標(biāo)進(jìn)行比較。

在另外的實(shí)施例中，比較包括確定在所選擇的幀的坐標(biāo)與相鄰幀的坐標(biāo)之間的距離以及將該距離與閾值進(jìn)行比較，其中如果該距離小于閾值，則幀的子集被確定為零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，確定距離以及將該距離與閾值進(jìn)行比較針對(duì)子集的每個(gè)幀被執(zhí)行，并且如果距離大于閾值，則確定到運(yùn)動(dòng)視頻的過渡。

在另外的實(shí)施例中，確定包括確定低通濾波幀的子集的第一軌跡，確定第二零運(yùn)動(dòng)軌跡以及將第一軌跡與第二軌跡進(jìn)行比較。

在另外的實(shí)施例中，比較包括將第一軌跡的幀的坐標(biāo)與第二軌跡的對(duì)應(yīng)幀的坐標(biāo)進(jìn)行比較，并且如果坐標(biāo)在閾值距離內(nèi)，則確定低通濾波幀的子集是零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，比較坐標(biāo)包括將第一軌跡的幀的坐標(biāo)的短序列的平均值與第二軌跡的對(duì)應(yīng)幀的坐標(biāo)的平均值進(jìn)行比較，并且如果平均值在閾值距離內(nèi)，則確定低通濾波幀的子集是零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，比較坐標(biāo)包括將第一軌跡的幀的坐標(biāo)的短序列的方差與第二軌跡的對(duì)應(yīng)幀的坐標(biāo)的方差進(jìn)行比較，并且如果方差在閾值距離內(nèi)，則確定低通濾波幀的子集是零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，如果低通濾波幀的子集被確定為不是零運(yùn)動(dòng)幀，則將幀扭曲應(yīng)用于低通濾波幀。

在另外的實(shí)施例中，平滑軌跡基于被選擇為錨點(diǎn)的幀的坐標(biāo)，該方法還包括檢查未來箝入，以及基于箝入檢查來更新平滑軌跡。

在另外的實(shí)施例中，更新平滑軌跡包括選擇輸出幀中的過去的幀以及產(chǎn)生過去的幀與錨點(diǎn)之間的曲線。

一些實(shí)施例屬于一種裝置，其包括：用于接收視頻幀的序列并對(duì)視頻幀進(jìn)行低通濾波的濾波器、用于確定低通濾波幀的子集是否是零運(yùn)動(dòng)幀的零運(yùn)動(dòng)檢測(cè)器、用于估計(jì)零運(yùn)動(dòng)幀的平滑軌跡的軌跡平滑、以及使用平滑軌跡從零運(yùn)動(dòng)幀去除抖動(dòng)的幀扭曲。

在另外的實(shí)施例中，零運(yùn)動(dòng)檢測(cè)器將視頻幀的序列中所選擇的低通濾波幀與相鄰的低通濾波幀的坐標(biāo)進(jìn)行比較。

在另外的實(shí)施例中，零運(yùn)動(dòng)檢測(cè)器通過確定所選擇的幀的坐標(biāo)與相鄰幀的坐標(biāo)之間的距離并將該距離與閾值進(jìn)行比較來比較，其中如果該距離小于閾值，則幀的子集被確定為零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，零運(yùn)動(dòng)檢測(cè)器通過將幀軌跡的子集的幀的坐標(biāo)的短序列的平均值與所選擇的低通濾波幀進(jìn)行比較來比較。

一些實(shí)施例屬于具有指令的計(jì)算機(jī)可讀介質(zhì)，指令當(dāng)被操作時(shí)使計(jì)算機(jī)執(zhí)行操作，所述操作包括：接收視頻幀的序列，對(duì)視頻幀進(jìn)行低通濾波，確定低通濾波幀的子集是否是零運(yùn)動(dòng)幀，估計(jì)零運(yùn)動(dòng)幀的平滑軌跡，使用平滑軌跡從零運(yùn)動(dòng)幀去除抖動(dòng)，以及將幀扭曲應(yīng)用于已去除抖動(dòng)的零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，如果低通濾波幀的子集被確定為不是零運(yùn)動(dòng)幀，則操作還包括將幀扭曲應(yīng)用于低通濾波幀。

在另外的實(shí)施例中，平滑軌跡基于被選擇為錨點(diǎn)的幀的坐標(biāo)，操作還包括檢查未來箝入，以及基于箝入檢查來更新平滑軌跡。

在另外的實(shí)施例中，更新平滑軌跡包括選擇輸出幀中的過去的幀以及產(chǎn)生過去的幀和錨點(diǎn)之間的曲線。

一些實(shí)施例屬于計(jì)算設(shè)備，其包括：用于記錄視頻幀的序列的圖像傳感器、用于存儲(chǔ)視頻幀的序列的存儲(chǔ)器、用于對(duì)視頻幀的所存儲(chǔ)的序列進(jìn)行低通濾波的高斯濾波器、用于確定低通濾波幀的子集是否是零運(yùn)動(dòng)幀的零運(yùn)動(dòng)檢測(cè)器、用于估計(jì)與幀的子集對(duì)應(yīng)的平滑軌跡的軌跡估計(jì)器、以及在零運(yùn)動(dòng)被檢測(cè)到的情況下使用平滑軌跡從幀的子集去除抖動(dòng)的軌跡規(guī)劃器。

在另外的實(shí)施例中，零運(yùn)動(dòng)檢測(cè)器將視頻幀的序列中所選擇的低通濾波幀的坐標(biāo)與相鄰的低通濾波幀的坐標(biāo)進(jìn)行比較。

在另外的實(shí)施例中，零運(yùn)動(dòng)檢測(cè)器通過確定在所選擇的幀的坐標(biāo)與相鄰幀的坐標(biāo)之間的距離并將該距離與閾值進(jìn)行比較來比較，其中如果該距離小于閾值，則幀的子集被確定為零運(yùn)動(dòng)幀。

在另外的實(shí)施例中，零運(yùn)動(dòng)檢測(cè)器通過將幀軌跡的子集的幀的坐標(biāo)的短序列的平均值與所選擇的低通濾波幀進(jìn)行比較來比較。

在另外的實(shí)施例中，平滑軌跡基于被選擇為錨點(diǎn)的幀的坐標(biāo)，軌跡估計(jì)器還檢查未來箝入，以及基于箝入檢查來更新平滑軌跡。

在另外的實(shí)施例中，更新平滑軌跡包括選擇輸出幀中的過去的幀以及產(chǎn)生過去的幀和錨點(diǎn)之間的曲線。