專利名稱：利用自適應(yīng)濾波的數(shù)字圖像穩(wěn)定化方法
技術(shù)領(lǐng)域：
本發(fā)明構(gòu)思涉及數(shù)字圖像穩(wěn)定化(Digital Image Mabilization，DIS)，并且更具體地涉及一種降低所捕獲的視頻幀中補(bǔ)償窗口的過偏移(over-excursion)的方法。
背景技術(shù)：
在操作人員的手中操作數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)、以及具有這樣的相機(jī)或攝像機(jī)的手持設(shè)備的同時(shí)，經(jīng)常采用該相機(jī)或攝像機(jī)來捕獲圖像或視頻。因此，在捕獲圖像或視頻的同時(shí)，攝像機(jī)可能在操作員手中晃動(dòng)或抖動(dòng)。抖動(dòng)可能由于手晃動(dòng)或平臺(tái)振動(dòng)，并且可能包括水平分量、垂直分量、縮放分量和旋轉(zhuǎn)分量。抖動(dòng)可能使得手捕獲的視頻對(duì)于觀看者而言是嘈雜的或混亂的，因此希望使用數(shù)字電路來數(shù)字地估計(jì)相機(jī)軌跡(即，當(dāng)在每對(duì)連續(xù)幀之間檢測(cè)時(shí)的抖動(dòng))并且從相同場(chǎng)景的視頻幀序列中濾除抖動(dòng)。由穩(wěn)定的(固定的或移動(dòng)的)攝像機(jī)產(chǎn)生的視頻主要包含所捕獲的視頻中的平滑運(yùn)動(dòng)(平移、旋轉(zhuǎn))。另一方面，不穩(wěn)定的攝像機(jī)產(chǎn)生在視頻圖像中具有高頻抖動(dòng)(平移和 /或旋轉(zhuǎn))的視頻。由穩(wěn)定的(固定的或移動(dòng)的)攝像機(jī)產(chǎn)生的視頻主要包含所捕獲的視頻中的平滑運(yùn)動(dòng)。另一方面，不穩(wěn)定的攝像機(jī)產(chǎn)生在視頻圖像中具有高頻抖動(dòng)(平移和/ 或旋轉(zhuǎn))的視頻。數(shù)字圖像穩(wěn)定化(DIS)系統(tǒng)首先估計(jì)不希望(不想要)的運(yùn)動(dòng)，并且然后對(duì)圖像序列施加校正。對(duì)于任何視頻穩(wěn)定化算法而言，正確的全局運(yùn)動(dòng)估計(jì)(相機(jī)軌跡估計(jì))是關(guān)鍵的。穩(wěn)定化視頻的視覺效果高度依賴于相機(jī)軌跡估計(jì)的質(zhì)量。對(duì)相機(jī)/場(chǎng)景的全局運(yùn)動(dòng)進(jìn)行分析，以便區(qū)分想要的(例如，搖攝)和不想要的(抖動(dòng))全局運(yùn)動(dòng)，并且生成補(bǔ)償變換P(n)以便補(bǔ)償不想要的抖動(dòng)運(yùn)動(dòng)。視頻穩(wěn)定化算法減輕抖動(dòng)運(yùn)動(dòng)，同時(shí)保持用戶想要的相機(jī)運(yùn)動(dòng)。通常，抖動(dòng)是由手晃動(dòng)和平臺(tái)振動(dòng)引起的，所述手晃動(dòng)和平臺(tái)振動(dòng)將是更快的 (即，更高頻)和非線性的，而相機(jī)運(yùn)動(dòng)將是更慢的并且是線性的或單調(diào)的。全局運(yùn)動(dòng)(相機(jī)軌跡)向量被包括在補(bǔ)償變換P (η)的仿射變換參數(shù)中，所述補(bǔ)償變換P (η)的仿射變換參數(shù)是使用匹配的特定點(diǎn)對(duì)在相鄰幀之間估計(jì)的。補(bǔ)償變換Ρ(η)可以是仿射變換。在數(shù)學(xué)上，仿射幾何是對(duì)于通過仿射變換(即， 非奇異線性變換和平移)保持不變換的幾何屬性的研究。已經(jīng)開發(fā)了由數(shù)字系數(shù)(被稱為仿射矩陣)定義的數(shù)學(xué)方程組，以便特征化在每對(duì)連續(xù)幀或其部分(例如，幀中的運(yùn)動(dòng)對(duì)象)之間檢測(cè)到的橫向的(上/下)、旋轉(zhuǎn)的和縮放的(例如，放大或縮小)運(yùn)動(dòng)。因此，用于補(bǔ)償相機(jī)抖動(dòng)的補(bǔ)償變換P (η)可以被特征化為與場(chǎng)景中任何實(shí)際上固定的對(duì)象(例如， 石頭、桌子、停放的車輛、山或太陽)相關(guān)的第一仿射變換矩陣。在幾乎所有情況下，手晃動(dòng)和平臺(tái)振動(dòng)可能導(dǎo)致視頻幀的平移、旋轉(zhuǎn)和縮放。為了對(duì)這些進(jìn)行建模，需要六參數(shù)仿射變換。即使正確地生成了補(bǔ)償變換P(n)以便補(bǔ)償不想要的抖動(dòng)運(yùn)動(dòng)，作為結(jié)果的補(bǔ)償幀相對(duì)于所捕獲的輸入視頻幀仍可能具有顯著振蕩移動(dòng)，并且可能延伸超出了在所捕獲的輸入視頻幀中的一些視頻幀中可用的圖像數(shù)據(jù)。這導(dǎo)致補(bǔ)償窗口的過偏移。為了移除視頻中的急跳式運(yùn)動(dòng)，補(bǔ)償單元裁剪每個(gè)輸入視頻幀的一些邊界區(qū)域。 所移除的邊界區(qū)域的量可以被量化為裁剪率。大的裁剪率意味著邊界處的更多區(qū)域被移除。可以將輸出視頻幀建模為疊加在輸入視頻幀上的補(bǔ)償窗口(參見例如圖1)。補(bǔ)償窗口可以相對(duì)于輸入視頻幀被旋轉(zhuǎn)、偏移、縮放等。對(duì)于給定裁剪率，補(bǔ)償窗口的移動(dòng)量被稱為補(bǔ)償窗口偏移。補(bǔ)償窗口超出輸入視頻幀邊界的移動(dòng)被稱為補(bǔ)償窗口過偏移。如果沒有抖動(dòng)(無不想要的相機(jī)軌跡)，則(基于實(shí)際上固定的對(duì)象的特征點(diǎn)的)補(bǔ)償變換p(n)將被期望在兩個(gè)或多個(gè)連續(xù)幀的每個(gè)幀中處于相同位置(例如，一致 (UNITY))。如果存在高頻抖動(dòng)，則期望產(chǎn)生具有降低程度或降低頻率的補(bǔ)償窗口過偏移的空間上穩(wěn)定化的視頻。因此，需要一種濾波方法，其自適應(yīng)地在不足視頻穩(wěn)定化和過偏移之間進(jìn)行平衡。

發(fā)明內(nèi)容
本發(fā)明構(gòu)思的一方面提供了一種數(shù)字圖像穩(wěn)定化方法，包括基于補(bǔ)償窗口過偏移的歷史，自適應(yīng)地對(duì)表示視頻幀的場(chǎng)景中的固定/背景對(duì)象的基本/補(bǔ)償變換P(n)濾波。本發(fā)明構(gòu)思的一方面提供了一種使用強(qiáng)補(bǔ)償(SC)濾波器的高效且可預(yù)測(cè)的抖動(dòng)移除方法。該SC濾波器是高度頻率選擇的高階線性時(shí)不變數(shù)字濾波器。使用SC濾波器對(duì)非常急跳式的輸入視頻的有效濾波暗示補(bǔ)償窗口通過所捕獲的輸入視頻幀顯著移動(dòng)。對(duì)于給定裁剪率，補(bǔ)償窗口的移動(dòng)量被稱為補(bǔ)償窗口偏移。補(bǔ)償窗口超出所捕獲的輸入視頻幀邊界的移動(dòng)被稱為補(bǔ)償窗口過偏移。SC濾波器對(duì)于大移動(dòng)輸入視頻的嚴(yán)格應(yīng)用將以大量補(bǔ)償窗口過偏移為代價(jià)而產(chǎn)生非常穩(wěn)定的輸出視頻。另一方面，具有更低頻率選擇特性的弱補(bǔ)償(WC)濾波器將以更不穩(wěn)定的輸出視頻為代價(jià)而產(chǎn)生更少的補(bǔ)償窗口過偏移本發(fā)明構(gòu)思的一方面提供了一種自適應(yīng)補(bǔ)償(SC)濾波器，其被配置為對(duì)于大移動(dòng)輸入視頻防止過度過偏移，同時(shí)保持極好的視頻穩(wěn)定化特性。在本發(fā)明構(gòu)思的示例實(shí)施例中，包括WC濾波器的因果線性時(shí)變?yōu)V波器補(bǔ)充SC濾波器，以便產(chǎn)生可預(yù)測(cè)的特性。可以基于在多個(gè)K幀上的補(bǔ)償窗口偏移歷史來控制組合WC/ SC濾波器。歷史中的小偏移允許SC濾波器對(duì)當(dāng)前幀η的更大影響，而歷史中的大偏移保證 (warrant)WC濾波器對(duì)于當(dāng)前幀η的更大影響。歷史中的中度偏移分配SC濾波器和WC濾波器的成比例的影響。本發(fā)明的另一方面提供了一種數(shù)字圖像穩(wěn)定化電路，其被適配為執(zhí)行這里公開的 DIS方法。該電路可以被包括在攝像機(jī)本身中，并且被激活來在存儲(chǔ)所捕獲的視頻幀之前 (例如，如果攝像機(jī)包括實(shí)時(shí)MPEG編碼器，則在MPEG編碼之間或期間)實(shí)時(shí)地移除抖動(dòng)。替換地，被用來估計(jì)連續(xù)視頻幀之間的相機(jī)軌跡并從所存儲(chǔ)的視頻幀序列中濾除抖動(dòng)的DIS電路可以是由采用數(shù)字圖像穩(wěn)定化(DIQ方法的軟件控制的通用微計(jì)算機(jī)，或者可以是專用硬件，諸如在被優(yōu)化來執(zhí)行數(shù)字圖像穩(wěn)定化(DIQ方法的ASIC(專用集成電路)中體現(xiàn)的MPEG視頻編碼器。在同時(shí)待審查且于2011年12月7日美國(guó)同時(shí)提交的序列號(hào)為13/313，684、題為 "DIGITAL IMAGE STABILIZATION DEVICE AND METHOD”、代理人案號(hào)為 8729-357，以及序列號(hào)為 13/313，715、題為 ‘‘DIGITAL IMAGE STABILIZATION”、代理人案號(hào)為 87四_358 的申請(qǐng)中詳細(xì)描述了從所觀察到的場(chǎng)景中的特征點(diǎn)計(jì)算基本/補(bǔ)償P(n)變換的方法，在這里通過引用并入這兩個(gè)同時(shí)待審查申請(qǐng)的公開內(nèi)容。本發(fā)明構(gòu)思的示例實(shí)施例的特征是補(bǔ)償窗口過偏移歷史數(shù)據(jù)的連續(xù)存儲(chǔ)，所述補(bǔ)償窗口過偏移歷史數(shù)據(jù)用于評(píng)估所計(jì)算的基本/補(bǔ)償 P (η)變換并且選擇濾波強(qiáng)度以便輸出被優(yōu)化來降低過偏移的濾波后的基本/補(bǔ)償P’(η)。 該方法同時(shí)測(cè)量垂直-上、垂直-下、水平-右、和水平-左過偏移，并且檢測(cè)它們中的峰值以便選擇濾波系數(shù)E (η)。下面將參考附圖更詳細(xì)地描述本發(fā)明構(gòu)思的示例實(shí)施例。然而，本發(fā)明構(gòu)思可以以不同形式來體現(xiàn)，并且不應(yīng)被理解為限制于這里提出的實(shí)施例。相反，這些實(shí)施例被提供來使得本公開將是全面的和完整的，并且將本發(fā)明構(gòu)思的范圍完全傳達(dá)給本領(lǐng)域技術(shù)人員。貫穿附圖，相似數(shù)字指代相似元素。


附圖被包括來提供本發(fā)明構(gòu)思的進(jìn)一步理解，并且被并入和構(gòu)成本說明書的一部分。附示了本發(fā)明構(gòu)思的示例性實(shí)施例，并且與說明書一起用來解釋本發(fā)明構(gòu)思的原理。在附圖中圖1是依據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的執(zhí)行數(shù)字圖像穩(wěn)定化(DIS)方法的DIS電路的框圖；圖2是圖1的DIS電路中被適配來計(jì)算瓦片(tile)向量組的仿射變換的檢測(cè)單元的框圖；圖3是圖1的DIS電路中被適配來基于為瓦片組變換和特征組變換Ti (η)評(píng)分而選擇基本(穩(wěn)定/背景)變換P (η)的軌跡單元(TU)的框圖；圖4Α是被配置為執(zhí)行圖1的DIS電路的DIS方法中的步驟的組變換評(píng)分和選擇電路的示例實(shí)現(xiàn)的框圖；圖4Β是歷史分?jǐn)?shù)單元的示例實(shí)現(xiàn)的框圖；圖5是集合的變換評(píng)分和選擇電路的示例實(shí)現(xiàn)的框圖；圖6是圖示移動(dòng)對(duì)象排除電路的示例實(shí)施例的框圖；圖7是圖示根據(jù)本發(fā)明構(gòu)思的實(shí)施例的處理步驟的流程圖；圖8是所捕獲的視頻幀、以及在依據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的數(shù)字圖像穩(wěn)定化 (DIS)方法的步驟中在其中計(jì)算的補(bǔ)償窗口的視圖；圖9是執(zhí)行DIS的數(shù)字圖像穩(wěn)定化(DIS)模塊的框圖；圖10是依據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的自適應(yīng)補(bǔ)償濾波器模塊方法的框圖；以及圖11是依據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的自適應(yīng)補(bǔ)償濾波器模塊的示意性框圖。
具體實(shí)施例方式根據(jù)本發(fā)明構(gòu)思的實(shí)施例，為了在算法上選擇提供適合用于數(shù)字圖像穩(wěn)定化的良好特征點(diǎn)分布的特定點(diǎn)的目的，每個(gè)所捕獲的視頻幀被劃分為少量的非重疊瓦片(tile) (典型地，對(duì)于標(biāo)準(zhǔn)清晰度為4X4瓦片，而對(duì)于高清晰度為6X6瓦片)。圖像的不同區(qū)域可能具有不同密度的合適特征點(diǎn)。在極端情況下，例如在沒有任何云的藍(lán)天的情況下，幀的一個(gè)區(qū)域可能沒有任何合適特征點(diǎn)。在其它區(qū)域中，潛在的特征點(diǎn)可能非常密集。所獲得的特征點(diǎn)分布基于視頻幀的小區(qū)域(例如，非重疊的瓦片)，而每個(gè)瓦片中特征點(diǎn)的數(shù)量隨著該瓦片的亮度圖像數(shù)據(jù)的方差σ2而線性地增加。具有更感興趣的圖像數(shù)據(jù)并且因此需要更多特征點(diǎn)的瓦片被期望具有更高的方差ο2。參見同時(shí)待審查的申請(qǐng)No. 13/313，684，描述了以下處理設(shè)置每個(gè)瓦片中的特征點(diǎn)之間的最小距離(MIN_ DIST)，而同時(shí)僅要求很少的局部狀態(tài)信息，由此降低硬件實(shí)現(xiàn)成本。在這里通過引用并入 8729-357的公開內(nèi)容。如果場(chǎng)景是在低光照條件下捕獲的，則將具有相對(duì)更多的噪聲，并且噪聲對(duì)特征點(diǎn)的影響大于對(duì)瓦片的影響，這是因?yàn)樘卣鼽c(diǎn)的像素的數(shù)量遠(yuǎn)小于瓦片中像素的數(shù)量。瓦片中像素的更大數(shù)量提供了噪聲消除效果，并且下采樣的基于瓦片的運(yùn)動(dòng)向量在該情況下更為準(zhǔn)確。即使場(chǎng)景不是在低光照條件下捕獲的，如果場(chǎng)景過于平坦，則基于瓦片的運(yùn)動(dòng)向量也可能更為準(zhǔn)確。如果瓦片場(chǎng)景像有云的天或藍(lán)天那樣平坦，則可能有一些特征點(diǎn)，并且平坦瓦片中的這些特征點(diǎn)可能在下一幀的許多位置處找到相似級(jí)別的匹配點(diǎn)。但是，基于瓦片的匹配不僅僅依賴于小的特征點(diǎn)搜索區(qū)域，而是瓦片中的所有圖案可以對(duì)瓦片匹配處理作出貢獻(xiàn)。作為結(jié)果，在場(chǎng)景平坦時(shí)，基于瓦片的運(yùn)動(dòng)向量是更可靠的。當(dāng)特征點(diǎn)運(yùn)動(dòng)向量組的最佳分?jǐn)?shù)小于給定閾值時(shí)，我們決定使用基于瓦片的運(yùn)動(dòng)向量而不是基于特征點(diǎn)的運(yùn)動(dòng)向量，并且該策略對(duì)于高噪聲場(chǎng)景或平坦場(chǎng)景工作良好。根據(jù)本發(fā)明構(gòu)思的實(shí)施例，我們選擇表示背景和大對(duì)象的移動(dòng)的估計(jì)運(yùn)動(dòng)向量， 而更小對(duì)象不需要具有與其相關(guān)聯(lián)的精確運(yùn)動(dòng)向量?？梢栽贒IS算法的較后級(jí)處對(duì)用于更小對(duì)象的任何不精確向量進(jìn)行濾波。期望具有顯著性的大固定對(duì)象的特征點(diǎn)將由于全局移動(dòng)或相機(jī)移動(dòng)而以一致的方式移動(dòng)。我們認(rèn)識(shí)到，獨(dú)立移動(dòng)的顯著大對(duì)象覆蓋至少一個(gè)瓦片的大部分，使得它們的運(yùn)動(dòng)可以被估計(jì)為瓦片本身的支配運(yùn)動(dòng)(predominate motion)，而小對(duì)象的運(yùn)動(dòng)對(duì)瓦片本身的運(yùn)動(dòng)向量具有很少影響。我們使用最低分辨率的塊匹配來推導(dǎo)每個(gè)瓦片的一個(gè)運(yùn)動(dòng)向量?；谕咂倪\(yùn)動(dòng)向量可以在一些特定情況下(諸如高噪聲或平坦場(chǎng)景視頻)被用于相機(jī)軌跡決定。用于給定瓦片的運(yùn)動(dòng)向量是使絕對(duì)差之和(SAD)最小化的運(yùn)動(dòng)向量。而且，通過使用分層級(jí)的運(yùn)動(dòng)估計(jì)算法并且通過相對(duì)于局部運(yùn)動(dòng)更趨向于瓦片運(yùn)動(dòng)，使用瓦片的運(yùn)動(dòng)向量作為起始向量，可以修改計(jì)算每個(gè)瓦片中的特征點(diǎn)的運(yùn)動(dòng)向量的處理以減少計(jì)算。由于覆蓋至少一個(gè)瓦片的大部分的足夠大對(duì)象可能延伸至相鄰?fù)咂?，因此有可能每個(gè)瓦片中的一些特征點(diǎn)可能與相鄰?fù)咂倪\(yùn)動(dòng)向量、而不是與在其中找到這些特征點(diǎn)的瓦片的運(yùn)動(dòng)向量更強(qiáng)地相關(guān)聯(lián)。因此，在對(duì)于任何給定瓦片的特征點(diǎn)的運(yùn)動(dòng)向量的塊匹配搜索中，使用所有相鄰?fù)咂倪\(yùn)動(dòng)向量作為多個(gè)起始向量將是有效的。因此，被用來獲得所選特征點(diǎn)的運(yùn)動(dòng)向量的起始向量是該特征點(diǎn)所屬的瓦片的起始向量、以及屬于四個(gè)直接相鄰者(上瓦片、左瓦片、右瓦片、下瓦片)(假設(shè)其存在)的起始向量。對(duì)于所使用的每個(gè)起始向量， 我們僅將非常小的范圍用于特征點(diǎn)運(yùn)動(dòng)向量的局部搜索。這里的目標(biāo)不足以確定用于每個(gè)特征點(diǎn)的精確向量(在DIS處理鏈中稍后將排除差的運(yùn)動(dòng)向量)。相反，感興趣的特征點(diǎn)僅僅是屬于背景或大對(duì)象的特征點(diǎn)。對(duì)于那些特征點(diǎn)，瓦片運(yùn)動(dòng)向量之一應(yīng)對(duì)于感興趣的特征點(diǎn)的運(yùn)動(dòng)向量而言是良好的、或者應(yīng)接近于感興趣的特征點(diǎn)的運(yùn)動(dòng)向量，并且因此關(guān)于每個(gè)所選瓦片運(yùn)動(dòng)向量的小局部搜索是足夠的。對(duì)于瓦片中的每個(gè)所選特征點(diǎn)，圍繞一組起始向量中的每個(gè)起始向量，在更高分辨率域(這可能是原始視頻分辨率，或者可以由2或 4的因子fs3 二次采樣的)中執(zhí)行小局部塊匹配搜索。圖1是依據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的執(zhí)行數(shù)字圖像穩(wěn)定化(DIS)方法的DIS電路的框圖。該DIS電路包括檢測(cè)單元(DU)，其分析所接收的急跳視頻并且輸出幀間變換 Ti(Ii)；軌跡單元(TU)，其輸出從幀間變換Ti(Ii)中選擇的所選基本/補(bǔ)償變換P(η)；以及補(bǔ)償單元(CU)，其通過使用所選基本/補(bǔ)償變換P (η)修改急跳視頻而輸出穩(wěn)定化視頻。檢測(cè)單元(DU)估計(jì)所接收的視頻數(shù)據(jù)幀中的特征點(diǎn)(FP)的幀間運(yùn)動(dòng)向量、以及非重疊瓦片的幀間運(yùn)動(dòng)向量(瓦片向量)。檢測(cè)單元進(jìn)一步輸出FP運(yùn)動(dòng)向量組變換和瓦片組變換Ti (η)。軌跡單元(TU)選擇幀間變換Ti (η)之一(或者在大移動(dòng)對(duì)象覆蓋場(chǎng)景的情況下的單位變換)作為基本變換P (η)，因此排除小移動(dòng)對(duì)象的幀間變換和可能移動(dòng)到整個(gè)幀中并且覆蓋整個(gè)幀的大移動(dòng)對(duì)象的幀間變換。圖2是圖1的DIS電路中被適配來作為圖1的DIS電路的DIS方法的步驟計(jì)算瓦片向量組的仿射變換的檢測(cè)單元2000的框圖。檢測(cè)單元2000包括特征點(diǎn)電路3000、運(yùn)動(dòng)向量(MV)編組電路1300、以及運(yùn)動(dòng)向量(MV)組仿射變換計(jì)算器2010。特征點(diǎn)電路3000接收每個(gè)視頻數(shù)據(jù)幀，并且優(yōu)選地將每個(gè)視頻幀劃分為少量 jXk個(gè)非重疊瓦片。jXk個(gè)瓦片的范圍可以從用于SD視頻的4X4個(gè)到用于HD視頻的 6X6個(gè)；來自范圍中的其它數(shù)量也是可能的，并且可能是有益的。選擇瓦片尺寸使得獨(dú)立移動(dòng)的顯著大對(duì)象覆蓋至少一個(gè)瓦片的大部分，從而可以為了 DIS目的而捕獲它們的運(yùn)動(dòng)，同時(shí)可以忽略小對(duì)象的運(yùn)動(dòng)。特征點(diǎn)電路3000標(biāo)識(shí)并選擇所接收的視頻幀中的特征點(diǎn)(SFP)，并且輸出特征點(diǎn)的運(yùn)動(dòng)向量和瓦片的運(yùn)動(dòng)向量(SFP MV和瓦片MV)。特征點(diǎn)電路3000包括特征點(diǎn)選擇器和運(yùn)動(dòng)向量計(jì)算器、以及共享的RAM存儲(chǔ)器 350。特征點(diǎn)選擇器還可以包括哈里斯(Harris)角點(diǎn)特征點(diǎn)候選標(biāo)識(shí)器、以及特征點(diǎn)候選揀選器。為了節(jié)省計(jì)算能力并減少所需運(yùn)算的數(shù)量，特征點(diǎn)電路3000僅對(duì)亮度數(shù)據(jù)進(jìn)行操作，并且包括一個(gè)或多個(gè)下采樣器和分層級(jí)塊匹配搜索單元。特征點(diǎn)電路3000為每個(gè)瓦片估計(jì)運(yùn)動(dòng)向量。在覆蓋輸入圖像的中心的非重疊瓦片(例如，與可能用于特征點(diǎn)揀選算法的瓦片相同的瓦片)的基礎(chǔ)上，進(jìn)行瓦片運(yùn)動(dòng)向量 (瓦片MV)估計(jì)。對(duì)于每個(gè)瓦片，對(duì)深度下采樣的圖像執(zhí)行完全塊匹配搜索。對(duì)于每個(gè)瓦片進(jìn)行完全搜索塊匹配，并且瓦片運(yùn)動(dòng)向量(瓦片MV)被存儲(chǔ)(356)以供稍后使用，例如用作分層級(jí)塊匹配搜索單元中的起始向量，用于推導(dǎo)特征點(diǎn)的運(yùn)動(dòng)向量(在352處存儲(chǔ)的SFP MV)并且用于固定對(duì)象檢測(cè)。
特征點(diǎn)電路3000優(yōu)選地提供特征點(diǎn)列表352，其具有基于被稱為瓦片的視頻幀小區(qū)域(瓦片)的分布，其中，每個(gè)瓦片的特征點(diǎn)的最大數(shù)量隨著該瓦片的亮度圖像數(shù)據(jù)的方差σ 2而線性地增加。用于DIS方法的良好特征點(diǎn)是在應(yīng)用合適的運(yùn)動(dòng)估計(jì)算法時(shí)不產(chǎn)生模棱兩可的運(yùn)動(dòng)向量的特征點(diǎn)。為了標(biāo)識(shí)圖像中的特征點(diǎn)，對(duì)視頻幀的像素應(yīng)用Harris角點(diǎn)檢測(cè)算法，以便測(cè)量該像素有多么適合作為特征點(diǎn)。圖像的不同區(qū)域(瓦片)可能具有不同密度的所標(biāo)識(shí)的特征點(diǎn)候選。特征點(diǎn)電路3000優(yōu)選地包括運(yùn)動(dòng)向量計(jì)算器，其執(zhí)行用于計(jì)算每個(gè)瓦片的運(yùn)動(dòng)向量的瓦片向量計(jì)算器的功能；以及分層級(jí)塊匹配搜索單元，其用于確定并輸出每個(gè)所選特征點(diǎn)(SFP)的運(yùn)動(dòng)向量。瓦片向量計(jì)算器使用當(dāng)前幀F(xiàn)t的深度下采樣的亮度數(shù)據(jù)來計(jì)算每個(gè)瓦片的運(yùn)動(dòng)向量。分層級(jí)塊匹配搜索單元使用兩個(gè)連續(xù)幀的完全分辨率或下采樣的亮度數(shù)據(jù)來確定每個(gè)所選特征點(diǎn)的運(yùn)動(dòng)向量，并且可以使用瓦片運(yùn)動(dòng)向量作為起始向量。所有特征點(diǎn)和與瓦片相關(guān)的數(shù)據(jù)被傳遞給下一 DIS塊，具體地是運(yùn)動(dòng)向量編組電路 1300。運(yùn)動(dòng)向量編組電路1300被配置為對(duì)FP運(yùn)動(dòng)向量和瓦片運(yùn)動(dòng)向量執(zhí)行編組算法。 運(yùn)動(dòng)向量編組電路1300包括運(yùn)動(dòng)向量比較器1310，其被配置為通過將成對(duì)(pairing)算法控制器1302所選擇的每對(duì)向量進(jìn)行比較而執(zhí)行編組決定。運(yùn)動(dòng)向量編組電路1300基于連續(xù)視頻幀之間的對(duì)象的所察覺的相對(duì)移動(dòng)，將FP 運(yùn)動(dòng)向量編組以便將所選特征點(diǎn)(SFP)的運(yùn)動(dòng)向量與場(chǎng)景中的對(duì)象相關(guān)聯(lián)。運(yùn)動(dòng)向量編組電路1300還基于連續(xù)視頻幀之間的對(duì)象的所察覺的相對(duì)移動(dòng)，將瓦片運(yùn)動(dòng)向量編組以便將瓦片向量與場(chǎng)景中的對(duì)象相關(guān)聯(lián)。運(yùn)動(dòng)向量編組電路1300與特征點(diǎn)電路3000共享RAM存儲(chǔ)器350。存儲(chǔ)器350的 SPF MV列表部分352-FP包含所選特征點(diǎn)(SFP)的位置和運(yùn)動(dòng)向量的列表。存儲(chǔ)器350的瓦片MV列表部分352-TMV包含非重疊瓦片的位置和運(yùn)動(dòng)向量的列表。成對(duì)算法控制器1302保持跟蹤哪些特征點(diǎn)和瓦片(運(yùn)動(dòng)向量)已經(jīng)彼此配對(duì)而哪些保持未配對(duì)，以及哪些將完全從編組中被排除。成對(duì)算法重復(fù)地提供運(yùn)動(dòng)向量對(duì)(向量A和向量B)作為到MV比較器1310的輸入。運(yùn)動(dòng)向量編組電路1300中的成對(duì)算法控制器1302訪問SPF MV列表(352-MV)和瓦片MV列表(352-TMV)并選擇向量A和向量B以用于運(yùn)動(dòng)向量比較器1310中的比較。當(dāng)一系列向量A-向量B比較導(dǎo)致一個(gè)或多個(gè)向量組(例如，所選特征點(diǎn)的組和瓦片的組)時(shí)， 成對(duì)算法控制器1302將編組后的運(yùn)動(dòng)向量或其描述性列表寫入到存儲(chǔ)器350的FP MV組目錄部分3M和瓦片MV組目錄部分358中。運(yùn)動(dòng)向量(MV)組仿射變換計(jì)算器2010計(jì)算每組特征點(diǎn)運(yùn)動(dòng)向量的幀間變換，并計(jì)算每組瓦片運(yùn)動(dòng)向量的幀間變換，并將它們?nèi)枯敵鲎鳛門i (η)。圖3是圖1的DIS電路的軌跡單元(TU)4000的框圖，該軌跡單元4000被適配為依據(jù)圖1的DIS電路的DIS方法的步驟、基于為瓦片組變換和特征組變換Ti (η)評(píng)分的方法，來選擇基本(固定/背景)變換P (η)。軌跡單元(TU) 4000 (圖3)包括瓦片組變換評(píng)分和選擇電路4100-1 (圖4Α)、特征組變換評(píng)分和選擇電路4100-2(圖4A)、集合組選擇電路4200(圖幻、移動(dòng)對(duì)象排除電路 4400(圖6)和自適應(yīng)補(bǔ)償濾波器。
軌跡單元(TU) 4000標(biāo)識(shí)由不穩(wěn)定相機(jī)引起的基本運(yùn)動(dòng)P (η)而同時(shí)忽略在場(chǎng)景中的移動(dòng)對(duì)象，對(duì)所選基本變換P (η)進(jìn)行濾波，并且輸出補(bǔ)償變換C (η)。軌跡單元(TU) 4000 采用多個(gè)連續(xù)的評(píng)分函數(shù)來從所接收的幀間變換Ti (η)中選擇基本變換P (η)。圖4Α是圖1的DIS電路的軌跡單元(TU)4000的組變換評(píng)分和選擇電路4100的框圖，該組變換評(píng)分和選擇電路4100包括變換分?jǐn)?shù)計(jì)算器4150、變換質(zhì)量計(jì)算器4160以及被配置為執(zhí)行圖1的DIS電路的DIS方法中的步驟的組變換和質(zhì)量選擇器4170。組變換評(píng)分和選擇電路4100被適配為從瓦片組幀間變換Tmeii(Ii) (4100-1)中輸出瓦片組基本變換 GPme (η)，并且被適配為從FP幀間變換TFP, i (η) (4100-2)中輸出特征組基本變換GPfp(η)。圖4Β是在圖4的實(shí)現(xiàn)4100-1中示出的圖4Α的組變換評(píng)分和選擇電路4100中的歷史分?jǐn)?shù)計(jì)算單元4110-1的示例實(shí)現(xiàn)的框圖。參見圖4Α和圖4Β，組變換評(píng)分和選擇電路4100包括歷史分?jǐn)?shù)計(jì)算單元4110 (例如4110-1)、運(yùn)動(dòng)分?jǐn)?shù)計(jì)算單元4120、特征分?jǐn)?shù)計(jì)算單元4130和范圍分?jǐn)?shù)計(jì)算單元4140， 加上總變換分?jǐn)?shù)Si (η)計(jì)算器4150、變換質(zhì)量& (η)計(jì)算器4160、以及組變換和質(zhì)量選擇器 4170(例如 4170-1)。圖4A的組變換評(píng)分和選擇電路4100中的組變換和質(zhì)量選擇器4170基于從總變換分?jǐn)?shù)計(jì)算器4150接收的(每個(gè)幀間變換Ti (η)的)總變換分?jǐn)?shù)Si (n)(通過拒絕小移動(dòng)對(duì)象的幀間變換)而選擇幀間變換Ti(Ii)之一作為組基本變換GP(n)，并輸出組基本變換 GP (η)及其相關(guān)聯(lián)的質(zhì)量Q (η)。設(shè)1\(11)為從檢測(cè)單元(DU) 2000接收的所有所接收的變換候選中的第i變換，其中η指示幀和時(shí)序?qū)傩?。設(shè)GP(n)是在幀時(shí)間η所選擇的組基本變換，即，對(duì)于所選擇的i， GP (η) = Ti (η)。對(duì)于每個(gè)Ti (η)，總變換分?jǐn)?shù)Si (η)計(jì)算器4150從歷史分?jǐn)?shù)計(jì)算單元4110 (例如， 4110-1)接收歷史分?jǐn)?shù)Hi (η)，從運(yùn)動(dòng)分?jǐn)?shù)計(jì)算單元4120接收運(yùn)動(dòng)分?jǐn)?shù)Mi (η)，從特征分?jǐn)?shù)計(jì)算單元4130接收特征分?jǐn)?shù)Fi (η)，從范圍分?jǐn)?shù)計(jì)算單元4140接收范圍分?jǐn)?shù)Ei (η)，并且基于以下等式計(jì)算總變換分?jǐn)?shù)Si (η)Si (n) = Hi (η) ^Mi (η) ^Fi (η) ^Ei (η)對(duì)于每個(gè)Ti (η)，變換質(zhì)量& (η)計(jì)算器4160從特征分?jǐn)?shù)計(jì)算單元4130接收特征分?jǐn)?shù)Fi (η)，從范圍分?jǐn)?shù)計(jì)算單元4140接收范圍分?jǐn)?shù)Ei (η)，并基于以下等式計(jì)算變換質(zhì)量 Qi(η)Qi (n) = Fi (η) ^Ei (η).具有最大值Si (η)的Ti (η)應(yīng)當(dāng)被圖4Α的組變換評(píng)分和選擇電路4100的組變換選擇器4170選擇作為組基本變換GP (η)。因此，在該示例實(shí)施例中，具有最高分?jǐn)?shù)Si (η)的幀間變換候選Ti (η)被選擇作為組基本變換GP (η)，然后被自適應(yīng)地濾波以產(chǎn)生補(bǔ)償變換 C (η)，從而在圖1的DIS電路的DIS補(bǔ)償單元(⑶)6000中補(bǔ)償抖動(dòng)相機(jī)運(yùn)動(dòng)。歷史分?jǐn)?shù)計(jì)算單元4110(例如4110-1)存儲(chǔ)組基本變換GP(n)的歷史，并且例如在從檢測(cè)單元(DU) 2000接收到每個(gè)Ti (η)時(shí)，基于所存儲(chǔ)的預(yù)定長(zhǎng)度HL的組基本變換 GP (η)的歷史，為每個(gè)Ti (η)計(jì)算歷史分?jǐn)?shù)Hi (η)，其中HL是指示預(yù)定數(shù)量的之前幀的整數(shù)。 進(jìn)入的Ti (η)與所存儲(chǔ)的HL個(gè)先前選擇的組基本變換GP (n-1)... GP (n-k)中的每一個(gè)數(shù)學(xué)地進(jìn)行比較，其中k是整數(shù)的幀時(shí)間索引，其從1(指示緊接著的前一幀n-l)變化到HK(在時(shí)間上相距更遠(yuǎn)的幀n-HK)。Ti(Ii)中與所存儲(chǔ)的HL個(gè)先前選擇的組基本變換GP (n-1)到 GP (n-HL)具有更高相關(guān)性的變換具有更高的歷史分?jǐn)?shù)Hi (η)。Ti(Ii)和每個(gè)GP(n-k)之間的相關(guān)性Hi，k(n)是單位1 (unity)減去規(guī)格化范數(shù) (1-| Ti (n)-GP(n-k) |)并且在范圍
中，其中Hi，k(n)值等于1指示最高相關(guān)性。每個(gè)相關(guān)性Hi，k(n) (1-1 Ti (η)-GP (n-k))的貢獻(xiàn)被對(duì)應(yīng)的歷史-權(quán)重冊(cè)(k)加權(quán)。歷史分?jǐn)?shù)Hi (η)是總相關(guān)性，并且是冊(cè)(n-k)加權(quán)的Hi，k(n)的和，1 < k < HL， 其中HL是歷史的長(zhǎng)度(過去幀的數(shù)量)。因此，Hi (η) = Σ [1-1 Ti (η) -GP (n-k) | *HW(k) ]，1 < k < HL權(quán)重冊(cè)(n-HL)到HW(n-l)優(yōu)選地被選擇為使得它們的和等于1，并且使得歷史分?jǐn)?shù)氏(11)輸出是非線性規(guī)格化的并具有連續(xù)的范圍W，l]。圖4B中示出的歷史分?jǐn)?shù)計(jì)算單元4110的示例硬件實(shí)現(xiàn)4110-1包括FIFO (先進(jìn)先出)存儲(chǔ)器緩沖器，其用于存儲(chǔ)HL個(gè)先前選擇的組基本變換GP (n-1)到GP (n-HL)，并且其具有HL個(gè)抽頭(用于n-1到n-HL)以將它們存儲(chǔ)的內(nèi)容輸出到比較器4114。比較器 4114將當(dāng)前Ti(Ii)與HL個(gè)所存儲(chǔ)的先前選擇的組基本變換GP (n-1)到GP(n_HL)中的每個(gè)進(jìn)行比較，并將由歷史權(quán)重HW(n-1)到冊(cè)(n-HL)加權(quán)的每個(gè)比較輸出到總歷史分?jǐn)?shù)計(jì)算器 4116，總歷史分?jǐn)?shù)計(jì)算器4116輸出總相關(guān)性作為在連續(xù)范圍W，l]中的總歷史分?jǐn)?shù)Hi (η)。運(yùn)動(dòng)分?jǐn)?shù)計(jì)算單元4120接收每個(gè)Ti (η)，并僅基于Ti (η)計(jì)算其運(yùn)動(dòng)分?jǐn)?shù)Mi (η)。 在替換實(shí)施例中，為了計(jì)算運(yùn)動(dòng)分?jǐn)?shù)Mi (η)，運(yùn)動(dòng)分?jǐn)?shù)計(jì)算單元4120可以被配置為從檢測(cè)單元2000接收所存儲(chǔ)的信息。具有小運(yùn)動(dòng)的變換具有更高的運(yùn)動(dòng)分?jǐn)?shù)Mi (η)，并且更可能成為組基本變換GP(n)。對(duì)于Ti (η)中的每個(gè)幀間變換，運(yùn)動(dòng)分?jǐn)?shù)計(jì)算單元4120計(jì)算運(yùn)動(dòng)分?jǐn)?shù)虬(η)。具有大值的Mi(Ii)對(duì)應(yīng)于小運(yùn)動(dòng)，反之亦然。運(yùn)動(dòng)Mi(Ii)可以基于變換的水平的、 垂直的或總的線性位移。運(yùn)動(dòng)分?jǐn)?shù)Mi (η)與線性位移Mi (η)逆向相關(guān)，并且優(yōu)選地被非線性規(guī)格化為具有連續(xù)范圍W，l]。特征分?jǐn)?shù)計(jì)算單元4130接收每個(gè)Ti (η)，并僅基于Ti (η)計(jì)算其特征分?jǐn)?shù)Fi (η)。 在替換實(shí)施例中，為了計(jì)算特征分?jǐn)?shù)Fi (η)，特征分?jǐn)?shù)計(jì)算單元4130可以被配置為從檢測(cè)單元2000接收所存儲(chǔ)的信息。對(duì)于Ti (η)中的每個(gè)幀間變換，特征分?jǐn)?shù)計(jì)算單元4130計(jì)算特征分?jǐn)?shù)&(11)。特征分?jǐn)?shù)&(11)與被編組在一起的多個(gè)特征點(diǎn)相關(guān)，以組成由Ti(Il)中的每個(gè)幀間變換表示的特征點(diǎn)組。Ti(Ii)中每組具有更多特征點(diǎn)的變換具有更高的特征分?jǐn)?shù) Fi(Ii)0特征分?jǐn)?shù)Fi (η)優(yōu)選地被非線性規(guī)格化為具有連續(xù)范圍W，l]。范圍分?jǐn)?shù)計(jì)算單元4140接收每個(gè)Ti (η)，并僅基于Ti (η)計(jì)算其范圍分?jǐn)?shù)Ei (η)。 在替換實(shí)施例中，為了計(jì)算范圍分?jǐn)?shù)Ei(Ii),范圍分?jǐn)?shù)計(jì)算單元4140可以被配置為從檢測(cè)單元2000接收所存儲(chǔ)的信息。對(duì)于Ti (η)中的每個(gè)幀間變換，范圍分?jǐn)?shù)計(jì)算單元4140計(jì)算范圍分?jǐn)?shù)Ei (n)。Ti(Ii)中具有覆蓋(遍布)更大區(qū)域的特征點(diǎn)的變換被更高地評(píng)分。具有更大值的范圍分?jǐn)?shù)Ei (η)對(duì)應(yīng)于更大的覆蓋區(qū)域，反之亦然。范圍分?jǐn)?shù)Ei (η)與包含變換的組的所有特征點(diǎn)的長(zhǎng)方形區(qū)域的長(zhǎng)度乘以寬度相關(guān)。范圍分?jǐn)?shù)Ei (η)優(yōu)選地被非線性規(guī)格化以具有連續(xù)范圍
0本發(fā)明構(gòu)思的各個(gè)示例實(shí)施例使用場(chǎng)景歷史分析，以排除穿過整個(gè)場(chǎng)景移動(dòng)的大對(duì)象，否則其將在視頻穩(wěn)定化中造成不希望的結(jié)果。在沒有正確的場(chǎng)景歷史分析的情況下， 基本變換選擇器更可能選擇對(duì)應(yīng)于大移動(dòng)對(duì)象的變換候選，特別是當(dāng)其覆蓋整個(gè)場(chǎng)景時(shí)。 我們認(rèn)識(shí)到當(dāng)大對(duì)象穿過整個(gè)場(chǎng)景移動(dòng)并充滿整個(gè)場(chǎng)景時(shí)，變換候選Ti (η)不包括對(duì)應(yīng)于不穩(wěn)定相機(jī)的基本變換P (η)。圖5是圖1的DIS電路的軌跡單元(TU) 4000的集合變換評(píng)分和選擇電路4200的示例實(shí)現(xiàn)的框圖，所述集合變換評(píng)分和選擇電路4200包括集合決定計(jì)算器4250和集合變換選擇器4260，所述集合決定計(jì)算器4250被配置為計(jì)算集合決定CD (η)，所述集合變換選擇器4260被配置為作為圖1的DIS電路的DIS方法中的步驟而輸出集合基本變換CP (η)。圖5中的集合決定計(jì)算器4250依據(jù)自檢測(cè)單元(DU) 2000接收的特征組變換質(zhì)量 QFP(n)、瓦片組變換質(zhì)量Qme(Ii)和特征組變換候選Kre (η)的數(shù)量，來計(jì)算集合決定CD (η)。集合決定計(jì)算器4250的示例實(shí)現(xiàn)包括依據(jù)特征組Kre (η)的數(shù)量來計(jì)算被非線性規(guī)格化的片段度量 F(η)，從而當(dāng)Kre (η)小時(shí)，Θρ(η)為0，并且當(dāng)Kre(η)大時(shí)，Θρ(η)為 1。因此， F(n)值接近1指示視頻場(chǎng)景中的所有特征點(diǎn)被分段為許多特征組，反之亦然。集合決定計(jì)算器4250通過將與 F(n)*QT(n)進(jìn)行比較來輸出集合決定 ⑶(n)，并且如果％(11) > F(n)*QT(n)，則集合決定⑶(η)被設(shè)置為選擇特征組。而且，如果％(1!) <= F(n)*QT(n)，則集合決定⑶(η)被設(shè)置為選擇瓦片組。在該公式中，如果特征組未被分段，則Θρ(η)接近0，并且特征組更可能被選擇。否則，如果特征組被分段，則 ΘΡ(η)接近1，并且瓦片組變換質(zhì)量QTile(n)與特征組變換質(zhì)量Qfp(η)相比處于相同水平。集合變換選擇器4260在特征組基本變換GPfp(η)和瓦片組基本變換GPme(η)之間執(zhí)行選擇。集合變換選擇器4260被集合決定CD(η)控制，以使得在CD(η)被設(shè)置為特征組時(shí)，輸出集合基本變換CP (η)被設(shè)置為特征組基本變換GPFP(n)，否則被設(shè)置為瓦片組基本變換GP
Tile (η)。在該實(shí)施例中，集合變換評(píng)分和選擇電路4200基于特征組變換質(zhì)量Qfp (η)和瓦片組變換質(zhì)量Aile (η)執(zhí)行選擇。這些組變換質(zhì)量是由圖4Α的變換質(zhì)量計(jì)算器4160計(jì)算的， 所述變換質(zhì)量計(jì)算器4160從特征分?jǐn)?shù)計(jì)算單元4130和范圍分?jǐn)?shù)計(jì)算單元4140接收輸入。特征分?jǐn)?shù)計(jì)算單元4130計(jì)算基于特征和基于瓦片的變換Ti (η)的特征分?jǐn)?shù)Fi (η)。 在該實(shí)施例中，為了計(jì)算特征分?jǐn)?shù)Fi (η)，特征分?jǐn)?shù)計(jì)算單元4130被配置為從檢測(cè)單元 2000接收所存儲(chǔ)的信息。對(duì)于Ti(Ii)中的每個(gè)幀間變換，特征分?jǐn)?shù)計(jì)算單元4130計(jì)算特征分?jǐn)?shù)Fi (η)。組中具有更多特征點(diǎn)或組中具有更多瓦片的變換Ti(Ii)將具有更高的特征分?jǐn)?shù)Fi(Ii),并分別導(dǎo)致更高的特征組變換質(zhì)量Qfp (η)或瓦片組變換質(zhì)量Qme (η)。在一些實(shí)施例中，每個(gè)瓦片中特征點(diǎn)的數(shù)量可以支配基于特征的變換Ti(Ii)的特征分?jǐn)?shù)Fi(Ii)15在其他實(shí)施例中，瓦片的數(shù)量可以支配基于瓦片的變換Ti(Ii)的特征分?jǐn)?shù)Fi(Ii)15每個(gè)瓦片中特征點(diǎn)的數(shù)量和/或每個(gè)瓦片向量組中瓦片的數(shù)量可以從檢測(cè)單元2000直接獲得。范圍分?jǐn)?shù)計(jì)算單元4140計(jì)算基于特征和基于瓦片的變換Ti (η)的范圍分?jǐn)?shù)Ei (η)。 在該實(shí)施例中，為了計(jì)算范圍分?jǐn)?shù)Ei (η)，范圍分?jǐn)?shù)計(jì)算單元4140被配置為從檢測(cè)單元 2000接收所存儲(chǔ)的信息。具有覆蓋更大區(qū)域的特征點(diǎn)或瓦片的變換被更高地評(píng)分。特征點(diǎn)的數(shù)量和每個(gè)瓦片向量組中瓦片的尺寸可以從檢測(cè)單元2000直接獲得。類似地，每個(gè)基于特征的運(yùn)動(dòng)向量組的水平和垂直范圍可以從檢測(cè)單元2000直接獲得。覆蓋更大范圍的特征組或覆蓋更大范圍的瓦片組將具有更高的范圍分?jǐn)?shù)Ei (η)，并分別導(dǎo)致更高的特征組變換質(zhì)量Qfp (η)或瓦片組變換質(zhì)量Qt& (η)。在該實(shí)施例中，為了計(jì)算范圍分?jǐn)?shù)Ei (η)，范圍分?jǐn)?shù)計(jì)算單元4140被配置為從檢測(cè)單元2000接收所存儲(chǔ)的范圍信息。在已經(jīng)通過集合變換評(píng)分和選擇電路4200選擇了集合基本變換CP (η)之后，大對(duì)象排除硬件決定所選擇的集合基本變換CP(η)是或不是移動(dòng)到并覆蓋整個(gè)場(chǎng)景的大移動(dòng)對(duì)象。當(dāng)實(shí)行這樣的排除時(shí)，創(chuàng)建單位變換(UT)以代替并充當(dāng)用于DIS系統(tǒng)的補(bǔ)償電路的所選基本變換P (η)，從而穩(wěn)定化視頻不會(huì)不正確地或不必要地跟隨大移動(dòng)對(duì)象的變換。根據(jù)本發(fā)明構(gòu)思的一個(gè)實(shí)施例，移動(dòng)對(duì)象排除方法基于兩個(gè)觀察被激活預(yù)先存在的固定背景(由Ρ(η)的歷史指示)；以及固定背景和大移動(dòng)對(duì)象共存的時(shí)間段。移動(dòng)對(duì)象排除方法可以高效地處理下面的情形場(chǎng)景具有幾乎固定的背景，并且有或沒有移動(dòng)對(duì)象；大移動(dòng)對(duì)象進(jìn)入場(chǎng)景，并逐漸覆蓋更大區(qū)域；大移動(dòng)對(duì)象覆蓋整個(gè)場(chǎng)景；大移動(dòng)對(duì)象開始離開場(chǎng)景，并且背景開始重新出現(xiàn)；大移動(dòng)對(duì)象最終移開。移動(dòng)對(duì)象分析器檢測(cè)排除情形IF 連續(xù)的固定MV組存在指示具有幾乎固定的背景的現(xiàn)有場(chǎng)景；連續(xù)的相似速度的MV組的增加計(jì)數(shù)指示對(duì)象正移動(dòng)到場(chǎng)景中；趨勢(shì)繼續(xù)，并且在時(shí)間η連續(xù)的相似速度的MV組覆蓋整個(gè)景象并且固定MV組停止且存在，然后檢測(cè)到排除情形。排除決定ED(n)被發(fā)送到排除變換選擇器。排除變換選擇器選擇集合基本變換 CP (η)，除非ED (η)指示排除情形，在該情況下則基本變換P (η)被設(shè)置為單位變換。因此， 即使大移動(dòng)對(duì)象覆蓋整個(gè)場(chǎng)景，穩(wěn)定化視頻也將不會(huì)不正確地跟隨大移動(dòng)對(duì)象。圖6是圖1的DIS電路的軌跡單元(TU) 4000的移動(dòng)對(duì)象排除電路4400的示例實(shí)現(xiàn)的框圖，所述移動(dòng)對(duì)象排除電路4400包括被配置為執(zhí)行圖1的DIS電路的DIS方法中的步驟的移動(dòng)對(duì)象分析器4470和排除變換選擇器4480。移動(dòng)對(duì)象排除電路4400包括用于存儲(chǔ)場(chǎng)景歷史的多個(gè)組歷史電路4410、4420、 4430、4440，和移動(dòng)對(duì)象分析器4470。在任何時(shí)候，僅存在一個(gè)指定的固定組(^，但可以存在零個(gè)或多個(gè)現(xiàn)有的運(yùn)動(dòng)組(\，其中k > 0。還可以存在新的運(yùn)動(dòng)組&，其將在下一幀期間成為k個(gè)(例如，k(n+l) = k(n)+l)現(xiàn)有的運(yùn)動(dòng)組之一。固定組具有相關(guān)聯(lián)的組歷史GHy k個(gè)現(xiàn)有的運(yùn)動(dòng)組中的每一個(gè)具有相關(guān)聯(lián)的組歷史GHk、以及相關(guān)聯(lián)的運(yùn)動(dòng)向量Mko每個(gè)現(xiàn)有的運(yùn)動(dòng)組具有運(yùn)動(dòng)向量Mk，其基本上是對(duì)于在時(shí)間上直至幀η的每個(gè)相似速度的Ti(Ii)的低通濾波ITi(Ii) I。每個(gè)新的運(yùn)動(dòng)組&具有相關(guān)聯(lián)的組歷史GHN(n)，該組歷史GHN(n)在其創(chuàng)建的時(shí)候被初始化。移動(dòng)對(duì)象分析器4470接收由多個(gè)組歷史GHtl(Ii) ,GH1 (n),. . . GHj (η)和GHk (η)以及GHn (η)組成的場(chǎng)景歷史，并依據(jù)它們計(jì)算排除決定ED (η)。排除變換選擇器4480在單位變換(UT)和集合基本變換CP (η)之間執(zhí)行選擇。排除變換選擇器4480由排除決定ED (η)控制，使得在ED (η)被激活時(shí)，輸出基本變換P (η) 被設(shè)置為單位變換(UT)，否則被設(shè)置為集合基本變換CP (η)。單位變換(UT)將造成補(bǔ)償單元在補(bǔ)償期間什么都不做。因此，當(dāng)運(yùn)動(dòng)對(duì)象分析器4470檢測(cè)到“大移動(dòng)對(duì)象”情形并激活排除決定ED (η)時(shí)，排除大移動(dòng)對(duì)象的變換作為所選擇的基本變換P (η)，否則其可能被選擇為基本變換P (η)。在實(shí)行中，在檢測(cè)到大移動(dòng)對(duì)象時(shí)，該大移動(dòng)對(duì)象的變換從由補(bǔ)償單元6000執(zhí)行的補(bǔ)償中排除。
圖7是圖示在圖6的移動(dòng)對(duì)象排除電路4400的細(xì)節(jié)的混合框圖-流程圖，所述移動(dòng)對(duì)象排除電路4400被配置為執(zhí)行在圖1的DIS電路的DIS方法中的步驟。圖7圖示了分別對(duì)應(yīng)于固定組(V現(xiàn)有的運(yùn)動(dòng)組&和新創(chuàng)建的運(yùn)動(dòng)組Giw的代表性的組歷史電路4410、 4430和4440的細(xì)節(jié)。由圖6的移動(dòng)對(duì)象排除電路4400的移動(dòng)對(duì)象分析器4470從組歷史電路(例如 4410)接收的組歷史(例如H0(Ii))中的每個(gè)包括兩種歷史數(shù)據(jù)對(duì)應(yīng)于每組的選擇歷史 (例如SH0 (n))和存在歷史(例如EH0 (n))。移動(dòng)對(duì)象分析器4470如下地檢測(cè)排除情形在固定變換(^(η)的組歷史GHtl中指示的連續(xù)存在和選擇指示了對(duì)于許多幀已經(jīng)存在具有幾乎固定背景的場(chǎng)景；特定運(yùn)動(dòng)組 Gk的組歷史GHk中連續(xù)存在的逐漸增加的數(shù)量指示了對(duì)象正移動(dòng)進(jìn)入場(chǎng)景中；如果存在和運(yùn)動(dòng)的該趨勢(shì)繼續(xù)，并且如果在時(shí)間(η)沒有固定變換加入(V而是所選擇的變換P (η)加入(iK，則檢測(cè)到大移動(dòng)對(duì)象情形，并且被激活的排除決定ED (η)被發(fā)送到基本變換選擇器 4160-2。如果ED (η)指示大對(duì)象排除情形，則基本變換P (η)被設(shè)置為單位變換，否則根據(jù) Ti (η)的一些評(píng)分函數(shù)來選擇基本變換P (η)。組歷史電路4410、4420、4430、4440中的每一個(gè)對(duì)于用于與所接收的幀間變換 Ti(Ii)之一相關(guān)的每個(gè)組的三種歷史信息執(zhí)行存儲(chǔ)和處理。三種組歷史是選擇歷史、存在歷史和運(yùn)動(dòng)歷史。在視頻穩(wěn)定化啟動(dòng)時(shí)，創(chuàng)建具有空歷史的固定組(V固定組的運(yùn)動(dòng)歷史可以被省略，并且假定為空。在DIS視頻處理過程期間動(dòng)態(tài)創(chuàng)建或刪除運(yùn)動(dòng)組(G1,
Gk · · · ？ Gn) ο參考圖7，分別對(duì)應(yīng)于固定組(V第N現(xiàn)有的運(yùn)動(dòng)組(ik和新創(chuàng)建的運(yùn)動(dòng)組Gn+1的組歷史電路4410、4430和4440提供組歷史GHp GHk和GHN+1。運(yùn)動(dòng)組(；。的組歷史電路4410包括用于存儲(chǔ)選擇歷史SHtl和存在歷史EHtl的歷史Q 存儲(chǔ)器。存在歷史EHtl對(duì)于每個(gè)過去幀是一比特的值，其指示在先前的幀中幀間變換Ti (η) 是否已經(jīng)加入到運(yùn)動(dòng)組(V選擇歷史SHtl對(duì)于每個(gè)過去幀是一比特的值，其指示在先前的幀中加入到運(yùn)動(dòng)組的幀間變換Ti (η)是否被選擇為基本變換P (η)。固定組(；。的組歷史電路4410省略運(yùn)動(dòng)歷史M0,因?yàn)閷?duì)于包括所選擇的基本變換 P(η)的任何Ti(Ii)是否加入固定組(；。的決定(決定步驟dS4418)取決于將1\(11)與閾值讓屯而不是與可變的基于歷史的運(yùn)動(dòng)向量Mtl比較，因?yàn)榻M被認(rèn)為是固定的。在視頻穩(wěn)定化啟動(dòng)時(shí)，創(chuàng)建具有空歷史的固定組(V如果在幀η期間，Ti (η)滿足Τ“η) | < thdQ (決定步驟dS4418的“是”分支)，則該Ti (η)加入(；。；更新存在歷史EHtl以指示在幀η處存在固定變換；以及如果P (n)=該Ti (η)，則更新選擇歷史SHtl以指示選擇該Ti (η)。否則(決定步驟dS4418的“否”分支)，在幀期間，在現(xiàn)有的運(yùn)動(dòng)組G1到&中的每一個(gè)中，將不滿足Τ I < thd0的那些Ti(Ii)與組歷史進(jìn)行比較。運(yùn)動(dòng)組(}k的組歷史電路4430包括用于存儲(chǔ)選擇歷史SHk、存在歷史EHk和運(yùn)動(dòng)歷史Mk的歷史k存儲(chǔ)器。存在歷史EHk對(duì)于每個(gè)過去幀是一比特的值，其指示在先前的幀中幀間變換Ti(Ii)是否已經(jīng)加入到運(yùn)動(dòng)組(\。選擇歷史SHk對(duì)于每個(gè)過去幀是一比特的值，其指示在先前的幀中加入到運(yùn)動(dòng)組的幀間變換Ti (η)是否被選擇為基本變換P (η)。
運(yùn)動(dòng)歷史Mk存儲(chǔ)指示組(ik的整體運(yùn)動(dòng)的向量Mk的信息。每個(gè)Ti(Ii)還映射到運(yùn)動(dòng)向量M。每個(gè)運(yùn)動(dòng)組映射到運(yùn)動(dòng)向量Mk。設(shè)ITi(Ii)I是1\(11)的運(yùn)動(dòng)向量的大小，
Ti (n) -Mk I是Ti (η)從現(xiàn)有的運(yùn)動(dòng)組的運(yùn)動(dòng)向量Mk的偏離，1彡K彡N，其中N是當(dāng)前現(xiàn)有的運(yùn)動(dòng)組的數(shù)量。N個(gè)現(xiàn)有的運(yùn)動(dòng)組中具有最小| \(η)-Μτ|的運(yùn)動(dòng)組指示對(duì)于Ti (η) 的最佳匹配組(^。這一加入決定可以通過將ITi(Ii)-M^與預(yù)定的閾值thdi進(jìn)行比較來確定。因此，例如，在決定步驟dS4438中，如果對(duì)于特定的J以及在1和N之間的所有K， Ti(Ii)-MjI 彡 |Τ -ΜΚ|，并且 ITi(Ii)-M1I〈thdi，(決定步驟 dS4438 的“是”分支)，則該 Ti(Ii)加入現(xiàn)有的運(yùn)動(dòng)組(V如果對(duì)于所有K，Ti(Ii)-MjI ( Τ _ΜΚ|，并且 Ti (n)-MjI < ^d1,(決定步驟 dS4438的“是”分支)，則:Ti(Ii)加入調(diào)整運(yùn)動(dòng)歷史Mj以反映新加入的Ti (η)； 更新存在歷史E^以指示在幀η處存在運(yùn)動(dòng)組；如果P (η)=該Ti(Ii)，則更新選擇歷史3均，以指示選擇該Ti (η) =P (η)。另一方面，如果在對(duì)于Ti (η)并且對(duì)于所有現(xiàn)有的運(yùn)動(dòng)組(G1到(iN)重復(fù)了決定步驟dS4438之后，沒有一個(gè)Mk滿足I Ti (n) -Mk | < ^d1 (決定步驟dS4438的“否”分支)，則該 Ti (η)加入新創(chuàng)建的運(yùn)動(dòng)組Gn+1 (步驟S4449)。如果該Ti (η)加入新創(chuàng)建的運(yùn)動(dòng)組GN+1 (步驟 S4449)，則Ti (η)加入新創(chuàng)建的運(yùn)動(dòng)組Gn+1 ；將運(yùn)動(dòng)歷史Mn+1設(shè)置為該Ti (η)的運(yùn)動(dòng)向量；初始化存在歷史ΕΗν+1以指示在幀η處存在新的運(yùn)動(dòng)組Gn+1 ；和如果P(n)=該1\(11)，則更新選擇歷史SHN+1，以指示選擇該凡⑷=P(n)。在擴(kuò)展的時(shí)間段(幀)內(nèi)沒有任何Ti(Ii)加入其中的( 到中的)任何運(yùn)動(dòng)組將被刪除。圖8是在時(shí)間η所捕獲的視頻幀、以及與從基本變換Ρ(η)計(jì)算的補(bǔ)償變換C(n) 相對(duì)應(yīng)的補(bǔ)償窗口的視圖，圖示了要降低的垂直過偏移vl。在依據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的數(shù)字圖像穩(wěn)定化(DIQ方法的步驟中，補(bǔ)償窗口的垂直過偏移被測(cè)量為vl。如圖8所示，與所捕獲的視頻幀的補(bǔ)償變換C(n)相對(duì)應(yīng)的補(bǔ)償窗口可以具有垂直過偏移(v0或vl)、水平過偏移(uO或ul)、或者垂直過偏移(vO或vl)和水平過偏移(uO或 ul)兩者。潛在的過偏移(v0，vl，U0，和ul)中的每個(gè)可以由補(bǔ)償變換C(η)的平移分量、由補(bǔ)償變換C(n)的旋轉(zhuǎn)分量、或者由補(bǔ)償變換C(n)的平移分量和旋轉(zhuǎn)分量?jī)烧咭?。期望通過基于偏移歷史自適應(yīng)地對(duì)基本變換P(η)進(jìn)行濾波來輸出用于每個(gè)所捕獲的視頻幀的濾波后的補(bǔ)償變換C(n)，從而使(v0，vl，U0，和ul)的過偏移最小化。圖9是依據(jù)本發(fā)明構(gòu)思的另一示例實(shí)施例的執(zhí)行數(shù)字圖像穩(wěn)定化(DIS)方法的 DIS電路的框圖。該DIS電路包括檢測(cè)單元(DU) 2000，其分析所接收的急跳視頻并且輸出幀間變換Ti(Ii)；包括基本變換選擇電路0100，4200，4400)和自適應(yīng)補(bǔ)償濾波器8000的軌跡單元(TU) 4000，基本變換選擇電路0100，4200，4400)在Ti (η)中標(biāo)識(shí)基本變換P (η)，且自適應(yīng)補(bǔ)償濾波器8000將P(η)濾波為補(bǔ)償變換C(n)；以及補(bǔ)償單元(⑶)6000，其通過使用C(n)修改急跳視頻幀而輸出穩(wěn)定化視頻。
基本變換選擇電路0100，4200，4400)通過標(biāo)識(shí)由不穩(wěn)定相機(jī)引起的全局運(yùn)動(dòng)的幀間變換Ti (η)且同時(shí)忽略場(chǎng)景中移動(dòng)對(duì)象的幀間變換Ti (η)而選擇幀間變換Ti (η)之一作為基本變換P (η)，并且輸出其選擇作為所計(jì)算的基本變換P (η)。因此，DIS電路的基本變換選擇電路0100，4200，4400)選擇并輸出幀間變換Ti (η)之一作為所計(jì)算的基本變換 P (η)。通過自適應(yīng)地對(duì)基本變換P (η)進(jìn)行濾波而獲得補(bǔ)償變換C (η)。補(bǔ)償變換C (η)是對(duì)穩(wěn)定化視頻圖像(補(bǔ)償窗口)相對(duì)于對(duì)應(yīng)的輸入視頻圖像的幾何關(guān)系的描述。該描述可以包含位置、角度、比例尺(scale)等。一些常用補(bǔ)償變換是相似變換和仿射變換，然而本發(fā)明構(gòu)思不局限于這些變換，我們將使用仿射變換來例示根據(jù)本發(fā)明構(gòu)思的示例方法?；咀儞Q選擇電路0100，4200，4400)依序?qū)⑦B續(xù)幀序列的所選基本變換 P (η--), p(n-l), P (η)輸出到自適應(yīng)補(bǔ)償濾波器8000，其中，基本變換PP (η-⑴) 指示使用遞歸(無限沖擊響應(yīng)IIR)濾波器。自適應(yīng)補(bǔ)償濾波器8000從由基本變換序列 P(n--),...，P(n-1)，P(n)表示的抖動(dòng)運(yùn)動(dòng)中估計(jì)想要的相機(jī)軌跡，并且根據(jù)所估計(jì)的相機(jī)軌跡輸出補(bǔ)償變換C (η)。穩(wěn)定化視頻的視覺效果高度取決于自適應(yīng)補(bǔ)償濾波器8000的質(zhì)量。傳統(tǒng)的軌跡估計(jì)方法包括運(yùn)動(dòng)向量積分和卡爾曼濾波器等。然而，這些以及其它的傳統(tǒng)軌跡估計(jì)方法不能在寬范圍的急跳視頻特性中很好地執(zhí)行。在本發(fā)明構(gòu)思的示例實(shí)施例中，使用自適應(yīng)補(bǔ)償濾波器來濾除急跳運(yùn)動(dòng)，并且產(chǎn)生穩(wěn)定化視頻。圖10是圖9的DIS電路的軌跡單元(TU)4000中、被配置為基于補(bǔ)償窗口偏移歷史而自適應(yīng)地對(duì)基本變換P(η)進(jìn)行濾波的自適應(yīng)補(bǔ)償濾波器8000的框圖。自適應(yīng)補(bǔ)償濾波器8000基于連續(xù)幀序列的所接收的基本變換P (η-P(n-l)，P (η)，對(duì)基本變換 P (η)進(jìn)行濾波并輸出自適應(yīng)濾波后的補(bǔ)償變換C (η)。自適應(yīng)補(bǔ)償濾波器8000包括強(qiáng)補(bǔ)償濾波器(SC)8700、弱補(bǔ)償濾波器(WC)8600、用于輸出控制信號(hào)E(n)的自適應(yīng)濾波器控制電路8500、以及偏移調(diào)制的混合器8200。SC濾波器是高度頻率選擇的高階線性時(shí)不變數(shù)字濾波器，對(duì)于非常急跳的輸入視頻而言是有效的。另一方面，弱補(bǔ)償(WC)濾波器具有更低頻率選擇特性，其將以更不穩(wěn)定的輸出視頻為代價(jià)產(chǎn)生更少的補(bǔ)償窗口過偏移。自適應(yīng)補(bǔ)償濾波器8000有效地是SC濾波器和WC濾波器的組合。偏移調(diào)制的混合器8200基于由自適應(yīng)濾波器控制器8500在補(bǔ)償窗口偏移歷史的基礎(chǔ)上生成并輸出的控制信號(hào)E (η)，執(zhí)行SC濾波器和WC濾波器輸出的混合。圖11是圖9的DIS電路的軌跡單元(TU)4000的自適應(yīng)補(bǔ)償濾波器8000的第一示例實(shí)現(xiàn)8000-1的框圖。示例自適應(yīng)補(bǔ)償濾波器8000-1包括強(qiáng)補(bǔ)償濾波器8700和弱補(bǔ)償濾波器8600、以及到自適應(yīng)濾波器控制器8500-1的偏移計(jì)算器8510的反饋環(huán)。參考圖11，強(qiáng)補(bǔ)償濾波器(SC)8700是高階線性時(shí)不變遞歸數(shù)字濾波器，并且具有高度頻率選擇的輸出F(n)，所述SC 8700具有處于大約1. OHz的截止頻率以及銳滾降 (sharp rolloff)以獲得視覺良好的穩(wěn)定化視頻。弱補(bǔ)償濾波器(WC) 8600是高階或更低階線性時(shí)不變遞歸數(shù)字濾波器。WC 8600具有更低頻率選擇的輸出G(η)，其具有稍稍高于IHz的截止頻率(例如，處于1.2Hz)以及軟滾降以減少過偏移。自適應(yīng)補(bǔ)償濾波器8000-1的偏移調(diào)制的混合器8200-1執(zhí)行偏移調(diào)制的自適應(yīng)濾波，該偏移調(diào)制的自適應(yīng)濾波根據(jù)標(biāo)量控制信號(hào)E(n)組合F(n)和G(n)。SC濾波器的輸出 F(η)和WC濾波器的輸出G(η)兩者都是中間補(bǔ)償變換，并且偏移調(diào)制的混合器8200-1的輸出C(n)也是補(bǔ)償變換。偏移調(diào)制的混合器8200-1輸出C(n) = (1_E(η))*F(η)+E(η)*G(η)， 其中Ε(η)是在范圍W，l]中的非線性規(guī)格化標(biāo)量控制信號(hào)，“*”是在標(biāo)量和變換之間的乘法運(yùn)算，其映射到一個(gè)變換；而“ + ”是兩個(gè)變換之間的加法運(yùn)算，其映射到一個(gè)變換。因此， 在該示例實(shí)施例中的自適應(yīng)補(bǔ)償濾波器8000-1是SC濾波器和WC濾波器的線性組合。因此，自適應(yīng)補(bǔ)償濾波器8000-1有效地是依據(jù)線性疊加原理而具備已知的穩(wěn)定特性的高階線性時(shí)變遞歸數(shù)字濾波器。線性組合的補(bǔ)償變換C(n)由基于補(bǔ)償窗口偏移歷史的標(biāo)量控制信號(hào)E(n)來控制。歷史中的小偏移產(chǎn)生小的E(n)并且由此對(duì)于當(dāng)前幀η增加SC濾波器的影響，而歷史中的大偏移產(chǎn)生接近1的Ε(η)并且由此對(duì)于當(dāng)前幀η增加WC濾波器的影響。存儲(chǔ)歷史中的中度偏移分配SC濾波器和WC濾波器的成比例的影響。因此，SC濾波器在小偏移時(shí)提供主要貢獻(xiàn)，并且在濾除高頻抖動(dòng)時(shí)非常有效。由于WC濾波器在更大偏移時(shí)貢獻(xiàn)更多，因此大大減少了過偏移的出現(xiàn)。自適應(yīng)補(bǔ)償濾波器 8000-1對(duì)于大移動(dòng)輸入視頻防止過度過偏移，同時(shí)保持極好的視頻穩(wěn)定化特性。參考圖11，自適應(yīng)濾波器控制器8500-1包括偏移計(jì)算器8510、四個(gè)偏移歷史積分器8520、以及調(diào)制因子計(jì)算器8530-1。自適應(yīng)濾波器控制器8500-1是反饋環(huán)的一部分。從之前的自適應(yīng)補(bǔ)償濾波器輸出C (η-⑴)，...，C(n-2)，C(n-l)中推導(dǎo)偏移計(jì)算器8510的輸出E (η)，其中η代表其時(shí)間序列特征，從而E (η)和C(n)不形成不可實(shí)現(xiàn)的無延遲環(huán)。因此，示例實(shí)施例適合用于實(shí)時(shí)視頻穩(wěn)定化，并且包括具有可預(yù)測(cè)特性的因果線性時(shí)變?yōu)V波
ο偏移計(jì)算器8510接收由偏移調(diào)制的混合器8200-1輸出的補(bǔ)償變換C (η)的反饋。 偏移計(jì)算器8510包括uO計(jì)算器、ul計(jì)算器、ν0計(jì)算器和vl計(jì)算器，以便基于補(bǔ)償窗口的四個(gè)角點(diǎn)的位置(參見圖8)分離地計(jì)算每幀的左、右、底和頂側(cè)的偏移。自適應(yīng)補(bǔ)償濾波器8500-1保持在使用遞歸濾波器過程中的偏移歷史。偏移計(jì)算器8510的每側(cè)偏移計(jì)算器的輸出然后被偏移歷史積分器(其實(shí)質(zhì)上是低通遞歸濾波器) 單獨(dú)地時(shí)間積分。每個(gè)低通遞歸濾波器(HuO，Hul, HvO, Hvl)的輸出然后被饋送給調(diào)制因子計(jì)算器8530-1。調(diào)制因子計(jì)算器8530-1選擇四個(gè)時(shí)間積分的偏移幅度(HuO，Hul, HvO, Hvl)中的最大值，并且生成具有連續(xù)范圍W，l]的非線性規(guī)格化標(biāo)量控制信號(hào)E (η)。調(diào)制因子計(jì)算器8530-1輸出非線性規(guī)格化標(biāo)量控制信號(hào)E(η)以便調(diào)制F(n)和 G(η)的混合。Ε(η)的小值暗示小偏移歷史，E(η)的大值暗示大偏移歷史。因此，在標(biāo)量控制信號(hào)E(η)的控制下生成并輸出補(bǔ)償變換C(η)的F(n)和G(n)的混合是基于補(bǔ)償窗口偏移歷史的。該示例實(shí)施例提供了沒有頻率過偏移的良好的穩(wěn)定化， 并且具有已知的頻率響應(yīng)和可預(yù)測(cè)的穩(wěn)定化特性，適合用于實(shí)時(shí)視頻穩(wěn)定化。上面公開的主題被考慮為是例示性的而不是局限性的，所附權(quán)利要求想要覆蓋所有這種修改、改進(jìn)、以及落入本發(fā)明構(gòu)思的真正精神和范圍內(nèi)的其它實(shí)施例。因此，對(duì)于法律所允許的最大程度，本發(fā)明構(gòu)思的范圍應(yīng)由所附權(quán)利要求及其等同物的最廣可允許解釋來確定，而不應(yīng)被上面具體描述局限和限制。
權(quán)利要求
1.一種處理視頻數(shù)據(jù)的方法，包括從由相機(jī)捕獲的視頻幀中的運(yùn)動(dòng)向量的變換中，標(biāo)識(shí)表示要補(bǔ)償?shù)南鄼C(jī)移動(dòng)的補(bǔ)償變換；以及基于非線性規(guī)格化的時(shí)間積分的偏移，自適應(yīng)地對(duì)該補(bǔ)償變換進(jìn)行濾波以防止補(bǔ)償窗口的過度過偏移。
2.如權(quán)利要求1所述的方法，其中，自適應(yīng)濾波包括以下的標(biāo)量組合高度頻率選擇的高階線性時(shí)不變遞歸濾波器，其執(zhí)行對(duì)補(bǔ)償變換的強(qiáng)補(bǔ)償(SC)濾波；以及更低頻率選擇的高階或更低階線性時(shí)不變遞歸濾波器，其執(zhí)行對(duì)補(bǔ)償變換的弱補(bǔ)償 (WC)濾波。
3.如權(quán)利要求2所述的方法，其中，自適應(yīng)濾波包括基于小偏移歷史，為當(dāng)前幀分配SC濾波器的更大影響；以及對(duì)于大偏移歷史，為當(dāng)前幀分配WC濾波器的更大影響。
4.如權(quán)利要求3所述的方法，還包括為中度偏移的偏移歷史分配SC濾波器和WC濾波器的成比例的影響。
5.如權(quán)利要求1所述的方法，其中，非線性規(guī)格化的時(shí)間積分的偏移包括在偏移歷史的至少四個(gè)時(shí)間積分的偏移幅度中選擇最大幅度M(n)。
6.如權(quán)利要求5所述的方法，其中，從小偏移到大偏移的歷史中，E(η)是在范圍
RWM(Ii)的非線性規(guī)格化值。
7.如權(quán)利要求2所述的方法，其中，SC濾波被設(shè)置處于比為WC濾波所設(shè)置的截止頻率更低的截止頻率。
8.如權(quán)利要求7所述的方法，其中，SC濾波包括使用比WC濾波的滾降更尖銳的滾降。
9.如權(quán)利要求7所述的方法，其中，SC濾波具有處于大約IHz的截止頻率。
10.如權(quán)利要求3所述的方法，其中，為SC濾波和WC濾波分配影響是基于在從零到一的連續(xù)范圍內(nèi)的非線性規(guī)格化值。
11.一種圖像處理電路，包括接收器，被配置為接收?qǐng)D像數(shù)據(jù)幀；存儲(chǔ)器，被配置為存儲(chǔ)具有第一運(yùn)動(dòng)特性的第一組運(yùn)動(dòng)向量、以及具有第二運(yùn)動(dòng)特性的第二組運(yùn)動(dòng)向量；變換選擇器，被配置為從第一組運(yùn)動(dòng)向量和第二組運(yùn)動(dòng)向量中標(biāo)識(shí)表示要補(bǔ)償?shù)南鄼C(jī)移動(dòng)的補(bǔ)償變換；以及自適應(yīng)濾波器，被配置為基于非線性規(guī)格化的時(shí)間積分的偏移來防止補(bǔ)償窗口的過度過偏移。
12.如權(quán)利要求11所述的電路，還包括混合器，被配置為組合更高頻率選擇的高階線性時(shí)不變?yōu)V波器、以及更低頻率選擇的更低階線性時(shí)不變?yōu)V波器，所述更高頻率選擇的高階線性時(shí)不變?yōu)V波器執(zhí)行對(duì)補(bǔ)償變換的強(qiáng)補(bǔ)償(SC)濾波，而所述更低頻率選擇的更低階線性時(shí)不變?yōu)V波器執(zhí)行對(duì)補(bǔ)償變換的弱補(bǔ)償(WC)濾波。
13.如權(quán)利要求12所述的電路，其中，自適應(yīng)濾波器還被配置為基于小偏移的偏移歷史，為當(dāng)前幀分配SC濾波器的更大影響；以及對(duì)于大偏移的偏移歷史，為當(dāng)前幀分配WC濾波器的更大影響。
14.如權(quán)利要求13所述的電路，還包括為中度偏移的偏移歷史分配SC濾波器和WC濾波器的成比例的影響。
15.如權(quán)利要求12所述的電路，還包括調(diào)制因子計(jì)算器，其計(jì)算偏移歷史的四個(gè)時(shí)間積分的偏移幅度中的最大幅度以便輸出非線性規(guī)格化的信號(hào)。
16.如權(quán)利要求15所述的電路，其中，所述非線性規(guī)格化的信號(hào)被輸入到混合器中，以便利用在從零到一的范圍內(nèi)的標(biāo)量值來調(diào)制SC濾波器和WC濾波器的混合。
17.如權(quán)利要求13所述的電路，其中，SC濾波器被設(shè)置處于比為WC濾波器所設(shè)置的截止頻率更低的截止頻率。
18.如權(quán)利要求17所述的電路，其中，SC濾波器包括使用比WC濾波器的滾降更尖銳的滾降。
19.如權(quán)利要求11所述的電路，其中，自適應(yīng)濾波器被配置為通過使用遞歸濾波器來保持偏移歷史。
20.如權(quán)利要求11所述的電路，其中，第一組運(yùn)動(dòng)向量的變換表示所選特征點(diǎn)的運(yùn)動(dòng)， 而第二組運(yùn)動(dòng)向量的變換表示從視頻幀劃分出的非重疊瓦片的運(yùn)動(dòng)。
21.一種相機(jī)，包括圖像傳感器，被配置為捕獲圖像；圖像數(shù)據(jù)電路，被配置為將所捕獲的圖像轉(zhuǎn)換為圖像數(shù)據(jù)幀；圖像處理電路，包括接收器，被配置為接收?qǐng)D像數(shù)據(jù)幀；運(yùn)動(dòng)向量檢測(cè)器，被配置為檢測(cè)對(duì)象的運(yùn)動(dòng)并生成運(yùn)動(dòng)向量； 變換選擇器，被配置為從所述運(yùn)動(dòng)向量的變換中標(biāo)識(shí)表示要補(bǔ)償?shù)南鄼C(jī)移動(dòng)的補(bǔ)償變換；自適應(yīng)濾波器，被配置為對(duì)補(bǔ)償窗口的過偏移進(jìn)行濾波；以及補(bǔ)償單元，被配置為基于補(bǔ)償變換和自適應(yīng)濾波器的輸出而調(diào)節(jié)所捕獲的圖像。
22.如權(quán)利要求21所述的相機(jī)，還包括編組電路，被配置為將運(yùn)動(dòng)向量編組到至少兩組中的一組，所述至少兩組包括特征點(diǎn)組和瓦片組，所述瓦片組包括從視頻幀劃分出的非重疊瓦片。
23.如權(quán)利要求21所述的相機(jī)，其中，變換選擇器被配置為基于從歷史、運(yùn)動(dòng)、特征、和范圍分?jǐn)?shù)中選擇的多個(gè)評(píng)分函數(shù)來標(biāo)識(shí)所述補(bǔ)償變換。
24.如權(quán)利要求21所述的相機(jī)，其中所述自適應(yīng)濾波器被配置為基于非線性規(guī)格化的時(shí)間積分的偏移來防止補(bǔ)償窗口的過度過偏移。
25.如權(quán)利要求21所述的相機(jī)，其中，所述自適應(yīng)濾波器被配置為通過使用遞歸濾波器來保持偏移歷史。
全文摘要
一種數(shù)字圖像穩(wěn)定化方法，包括基于為瓦片運(yùn)動(dòng)向量(瓦片MV)組的多個(gè)變換和特征點(diǎn)運(yùn)動(dòng)向量(FP MV)組的多個(gè)變換中的每個(gè)變換評(píng)分，來選擇表示視頻幀的場(chǎng)景中的固定/背景對(duì)象的基本變換；以及基于固定(背景)組的歷史和多個(gè)運(yùn)動(dòng)向量組中每個(gè)的歷史，排除大移動(dòng)對(duì)象。
文檔編號(hào)H04N5/14GK102572278SQ20111043917
公開日2012年7月11日 申請(qǐng)日期2011年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者E.S.K.劉 申請(qǐng)人:三星電子株式會(huì)社