一種時(shí)序一致性約束的視頻全局運(yùn)動(dòng)估計(jì)方法
【專利摘要】本發(fā)明公開了一種時(shí)序一致性約束的視頻全局運(yùn)動(dòng)估計(jì)方法，屬于數(shù)字媒體【技術(shù)領(lǐng)域】。采用了基于軌跡的方法利用視頻幀間相對(duì)應(yīng)的特征點(diǎn)對(duì)數(shù)據(jù)，來求解攝像機(jī)的運(yùn)動(dòng)參數(shù)。本發(fā)明針對(duì)現(xiàn)有模型只能當(dāng)背景特征點(diǎn)對(duì)，即內(nèi)點(diǎn)多于前景特征點(diǎn)對(duì)，即外點(diǎn)時(shí)才能求解的局限性提出了解決方案，以視頻多幀時(shí)序一致性為約束，解決了現(xiàn)有技術(shù)的不足，該方法不僅能有效處理內(nèi)點(diǎn)數(shù)小于外點(diǎn)數(shù)的情況，也適用于內(nèi)點(diǎn)數(shù)多于外點(diǎn)數(shù)的情況。
【專利說明】一種時(shí)序一致性約束的視頻全局運(yùn)動(dòng)估計(jì)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)字媒體領(lǐng)域，涉及一種時(shí)序一致性約束的視頻全局運(yùn)動(dòng)估計(jì)方法。

【背景技術(shù)】
[0002]視頻全局運(yùn)動(dòng)估計(jì)是指根據(jù)圖像內(nèi)容估計(jì)視頻序列相對(duì)運(yùn)動(dòng)的方法，是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)關(guān)鍵性技術(shù)。全局運(yùn)動(dòng)估計(jì)的目的是要從視頻序列中找出造成幀間全局背景運(yùn)動(dòng)的攝像機(jī)的運(yùn)動(dòng)規(guī)律。無論是對(duì)造成場景變化的攝像機(jī)運(yùn)動(dòng)規(guī)律進(jìn)行分析，還是對(duì)前景物體的運(yùn)動(dòng)進(jìn)行分析，全局運(yùn)動(dòng)估計(jì)都是進(jìn)行這些處理的前提。因此全局運(yùn)動(dòng)估計(jì)在壓縮編碼、視頻穩(wěn)像、目標(biāo)跟蹤、全景圖合成等方面有著重要應(yīng)用。
[0003]視頻全局運(yùn)動(dòng)估計(jì)方法有基于微分的方法和基于特征點(diǎn)對(duì)應(yīng)的方法兩大類，本發(fā)明方法屬于后一類。后一類方法利用視頻幀間相對(duì)應(yīng)的特征點(diǎn)對(duì)數(shù)據(jù)，來求解攝像機(jī)的運(yùn)動(dòng)參數(shù)，其基本原理在于:首先從視頻幀中找出一些紋理顯著的特征點(diǎn)；然后在相鄰幀中通過搜索匹配得到他們的對(duì)應(yīng)特征點(diǎn)，形成點(diǎn)對(duì)；最后利用點(diǎn)對(duì)坐標(biāo)關(guān)系求解幀間全局運(yùn)動(dòng)模型參數(shù)。這里的關(guān)鍵問題在于，以上方法得到的對(duì)應(yīng)的特征點(diǎn)對(duì)可能屬于背景，也可能來自于前景運(yùn)動(dòng)物體。若前景特征點(diǎn)對(duì)參與了全局運(yùn)動(dòng)估計(jì)，必然帶來估計(jì)誤差。這是因?yàn)椋熬疤卣鼽c(diǎn)對(duì)屬于由前景運(yùn)動(dòng)物體引起的局部運(yùn)動(dòng)，而全局運(yùn)動(dòng)對(duì)應(yīng)著背景的運(yùn)動(dòng)。因此，基于特征點(diǎn)對(duì)應(yīng)的估計(jì)方法的挑戰(zhàn)在于如何去除前景點(diǎn)對(duì)帶來的不利影響。這里，背景特征點(diǎn)稱為內(nèi)點(diǎn)，前景特征點(diǎn)稱為噪聲點(diǎn)或外點(diǎn)。圍繞著如何過濾外點(diǎn)，國內(nèi)外學(xué)者進(jìn)行了深入研究，一些魯棒的估計(jì)方法，如RANSAC (參考Farin，Dirk Sven在2005于埃因霍溫理工大學(xué)完成的博士論文 “Automatic Video Segmentat1n Employing object/camera Modeling”)、Fisher 判定準(zhǔn)則(參考 2010年 Jinhui Tang, Si Wu, Yongdong Zhang,Shouxun Lin在IEEE Transact1ns on Circuits and Systems for Video Technology的第 20 卷 351-364 頁發(fā)表的文章 “Automatic Detect1n and Analysis of Player Act1nin Moving Background Sports Video Sequences，，)、Least Trimmed Squares (參考P.J.Rousseeuw 和 K.Van Driessen 在 Data Mining and Knowledge Discovery 2006 年第12 卷第 I 冊的 29-45 頁發(fā)表的文章“Computing LTS regress1n for large data sets”)等方法被應(yīng)用到全局運(yùn)動(dòng)估計(jì)中來。
[0004]以上所提到的魯棒估計(jì)方法的基本前提是內(nèi)點(diǎn)數(shù)目要大于外點(diǎn)數(shù)目，當(dāng)這一前提不滿足時(shí)估計(jì)就會(huì)失敗。現(xiàn)有的視頻全局運(yùn)動(dòng)方法都是基于前后兩幀間的對(duì)應(yīng)點(diǎn)對(duì)數(shù)據(jù)，判定出當(dāng)前幀的內(nèi)點(diǎn)和外點(diǎn)，進(jìn)一步利用內(nèi)點(diǎn)點(diǎn)對(duì)計(jì)算出運(yùn)動(dòng)參數(shù)。在多數(shù)情況下，兩幀間的特征點(diǎn)對(duì)多來自于背景，即滿足基本前提，因此能得到準(zhǔn)確的全局運(yùn)動(dòng)參數(shù)。然而，實(shí)際中很多視頻如體育視頻，經(jīng)常會(huì)存在多數(shù)幀中背景較復(fù)雜，而少量幀中背景較簡單且前景顯著的情況。此時(shí)，這些少數(shù)幀中的特征點(diǎn)多來自于前景，即屬于外點(diǎn)，僅僅依賴兩幀間數(shù)據(jù)通常會(huì)把外點(diǎn)判定為內(nèi)點(diǎn)，從而帶來估計(jì)誤差。
[0005]本發(fā)明利用了視頻的時(shí)序一致性特性來解決以上問題。這里的時(shí)序一致性是指若某特征點(diǎn)在當(dāng)如巾貞中已判定為內(nèi)點(diǎn)或外點(diǎn)，那么它在隨后的幾巾貞中判定為內(nèi)點(diǎn)或外點(diǎn)的概率也應(yīng)很大?；诖颂匦裕景l(fā)明首先利用兩幀間特征點(diǎn)對(duì)數(shù)據(jù)初步判定每一幀中內(nèi)外點(diǎn)，然后對(duì)特征點(diǎn)進(jìn)行跟蹤，得到特征點(diǎn)軌跡，若某特征點(diǎn)在該軌跡上大多數(shù)幀判為內(nèi)點(diǎn)或外點(diǎn)，則該點(diǎn)將以很大的可能性最終被最終判為內(nèi)點(diǎn)或外點(diǎn)。這里除了利用了兩幀間數(shù)據(jù)，還充分考慮了相鄰多幀間的相關(guān)性信息，所得結(jié)果更為可靠。


【發(fā)明內(nèi)容】

[0006]本文發(fā)明了一種時(shí)序一致性約束的視頻全局運(yùn)動(dòng)估計(jì)方法，在前景特征點(diǎn)較多情況下仍能可靠的估計(jì)出視頻的幀間全局運(yùn)動(dòng)參數(shù)。
[0007]本發(fā)明的技術(shù)方案包括以下步驟:
[0008]I)關(guān)鍵幀中特征點(diǎn)的提?。?)基于相鄰幀匹配的特征點(diǎn)對(duì)，使用魯棒估計(jì)方法擬合一個(gè)映射模型來求得幀間全局運(yùn)動(dòng)參數(shù)，以確定各特征點(diǎn)的內(nèi)外點(diǎn)屬性；3)建立各特征點(diǎn)在連續(xù)多幀間的對(duì)應(yīng)關(guān)系，即構(gòu)建包含各特征點(diǎn)的軌跡；4)通過軌跡更新特征點(diǎn)的外點(diǎn)或內(nèi)點(diǎn)屬性，即根據(jù)各特征點(diǎn)所在軌跡上點(diǎn)的屬性投票確定各特征點(diǎn)的內(nèi)點(diǎn)權(quán)重；5)基于特征點(diǎn)的權(quán)重計(jì)算每個(gè)特征點(diǎn)的采樣概率，并以此概率進(jìn)行非均勻隨機(jī)采樣，使用魯棒估計(jì)方法擬合一個(gè)映射模型來求得幀間最終的全局運(yùn)動(dòng)參數(shù)，同時(shí)最終判定各特征點(diǎn)的內(nèi)外點(diǎn)屬性。以下對(duì)各步驟進(jìn)行詳細(xì)闡述(流程圖見圖1)。
[0009]步驟I提取特征點(diǎn)
[0010]步驟1-1提取視頻的所有關(guān)鍵幀，并轉(zhuǎn)換為灰度圖，按照關(guān)鍵幀出現(xiàn)的先后順序，為每個(gè)灰度圖標(biāo)號(hào)Ii e [1，…，N]。
[0011]步驟1-2為關(guān)鍵幀建立等間隔的棋盤狀網(wǎng)格，網(wǎng)格之間的間隔為do。
[0012]步驟1-3在網(wǎng)格的每一個(gè)交點(diǎn)棋盤距離小于等于rO (滿足r0*2〈d0)的范圍內(nèi)選擇梯度方差最大的點(diǎn)。這里的梯度是指圖像中某一像素點(diǎn)水平和垂直方向梯度絕對(duì)值之和。求取一個(gè)像素點(diǎn)的梯度方差時(shí)，取距離該點(diǎn)棋盤距離小于等于rl的點(diǎn)，求這些點(diǎn)(包括中心像素點(diǎn))的梯度的方差。如果一個(gè)點(diǎn)距離圖像的任何一個(gè)邊緣小于rl那么就不考慮之。
[0013]步驟1-4如果找到的點(diǎn)對(duì)應(yīng)的梯度方差高于閾值thO，則將其選擇為特征點(diǎn)。
[0014]步驟1-5重復(fù)執(zhí)行步驟1-2到步驟1-4，分別對(duì)I1,…，In生成其最初的特征點(diǎn)集合F … F
口丄1>>丄N0
[0015]步驟2基于相鄰幀匹配的特征點(diǎn)對(duì)確定各個(gè)特征點(diǎn)的內(nèi)外點(diǎn)屬性
[0016]步驟2-1考慮相鄰的兩幀IbefOTe和IaftOT，他們對(duì)應(yīng)的最初的特征點(diǎn)集合分別是Fbefore和Fafte。在Fteftm中依次考慮每一個(gè)特征點(diǎn)A e Fbetoei，提取與&棋盤距離為r2的正方形區(qū)域內(nèi)的像素信息，構(gòu)造圖像模板patchp
[0017]步驟2-2在IaftOT中在與&棋盤距離為r3的范圍內(nèi)進(jìn)行模板匹配搜索，尋找使得模板匹配殘差和最小的點(diǎn)的坐標(biāo)f, i。所述的模板匹配是指兩個(gè)同樣大小的圖像區(qū)域，通過比對(duì)對(duì)應(yīng)位置的像素來判斷這兩個(gè)區(qū)域是否相似的方法。所述的殘差和是指兩個(gè)區(qū)域中，對(duì)應(yīng)位置的像素差絕對(duì)值的加和。
[0018]步驟2-3如果找到的點(diǎn)對(duì)應(yīng)的模板匹配的殘差和小于閾值thl，則將Iaftei中的P i選擇為Ibefore中的的匹配點(diǎn)。將找到的特征點(diǎn)對(duì)(f” f,,)加入特征點(diǎn)對(duì)集合
Mbefore 中。
[0019]步驟2-4重復(fù)執(zhí)行步驟2-1到步驟2-3，分別對(duì)相鄰的關(guān)鍵幀(I1, 12)，…，(In+ In)生成對(duì)應(yīng)的正向匹配特征點(diǎn)對(duì)集合M1，…，Mim。
[0020]步驟2-5估計(jì)幀間運(yùn)動(dòng)參數(shù)并初步判定內(nèi)外點(diǎn)屬性。使用仿射變換模型和最小二乘法建立匹配模型，用前面步驟得到的特征點(diǎn)對(duì)集合M作為輸入，用RANSAC算法計(jì)算出兩幀之間的幀間運(yùn)動(dòng)參數(shù)。所述的仿射變換模型是指一個(gè)3*3的仿射變換矩陣，包含了旋轉(zhuǎn)，平移，縮放變換。所述的最小二乘法是離散空間內(nèi)擬合非線性方程的一種方法，可以使得結(jié)果的誤差平方和最小。所述的RANSAC算法是指一種基于隨機(jī)化的搜索算法，可以大幅度減少搜索的時(shí)間。
[0021]步驟2-6對(duì)M中每一對(duì)匹配的特征點(diǎn)(fpf' J與上一步獲得的幀間運(yùn)動(dòng)參數(shù)計(jì)算。將^通過仿射變換模型計(jì)算出其在后一幀中的可能坐標(biāo)f" i。
[0022]步驟2-7計(jì)算f' i與f〃 1兩者之間的棋盤距離。如果距離小于閾值th2，則將這兩個(gè)點(diǎn)都設(shè)定為內(nèi)點(diǎn)。如果距離大于th2，則不改變點(diǎn)的屬性。如前所述，若當(dāng)前兩幀背景較簡單而前景較顯著，則提取的特征點(diǎn)多來自于背景，此時(shí)RANSAC算法會(huì)把外點(diǎn)誤判為內(nèi)點(diǎn)，造成估計(jì)錯(cuò)誤。
[0023]步驟2-8首先將F1,…，F(xiàn)n中所有的點(diǎn)的屬性為外點(diǎn)。然后重復(fù)執(zhí)行步驟2_5到2-7，分別對(duì)M1,…，Mn^1依次處理，更新每個(gè)點(diǎn)的內(nèi)外點(diǎn)屬性。
[0024]步驟3構(gòu)建包含各特征點(diǎn)的軌跡
[0025]步驟3-1考慮相鄰的兩幀Ibef_和IaftOT，他們對(duì)應(yīng)的最初的特征點(diǎn)集合分別是Fbefore和FaftOT。在Fafte中依次考慮每一個(gè)特征點(diǎn)A e Fafte，提取與fi棋盤距離為r2的正方形區(qū)域內(nèi)的像素信息，構(gòu)造圖像模板patclv
[0026]步驟3-2在IbefOTe中在與棋盤距離為r3的范圍內(nèi)進(jìn)行模板匹配搜索，尋找使得模板匹配殘差和最小的點(diǎn)的坐標(biāo)Γ it)
[0027]步驟3-3如果找到的點(diǎn)對(duì)應(yīng)的模板匹配的殘差和小于閾值thl，則將Ibrftm中的P i選擇為IaftOT中的A的匹配點(diǎn)。將找到的特征點(diǎn)對(duì)(f' i, 加入特征點(diǎn)對(duì)集合
M before 中。
[0028]步驟3-4重復(fù)執(zhí)行步驟3-1到3-3，分別對(duì)相鄰的關(guān)鍵幀(I1, I2)，…，(In+ In)生成對(duì)應(yīng)對(duì)的逆向匹配特征點(diǎn)對(duì)集合M' i，…，M' N_lt)
[0029]步驟3-5將對(duì)應(yīng)的正向和逆向匹配特征點(diǎn)對(duì)集合求交集，M1 Π M' i，…,Mn^1 n W η，得到精確匹配集合O1^-CV115首先將每個(gè)精確匹配集合中的每個(gè)匹配點(diǎn)對(duì)(fi, f' i) e Oj相互連接,生成多個(gè)軌跡片段A — f' i。
[0030]步驟3-6考慮相鄰的精確匹配集合0brf_和0aftOT，如果一組匹配點(diǎn)對(duì)(fi,廣i) e Obefore中的f' i在0aftCT中的某組匹配點(diǎn)對(duì)(f' i, f" i) e Oafter中出現(xiàn)，那么將兩個(gè)對(duì)應(yīng)的軌跡片段連接fi — f' 1- ?" it)
[0031]步驟3-7對(duì)所有相鄰的精確匹配集合O1, O2,…，(0N_2，(V1)重復(fù)執(zhí)行步驟3-6，將所有可以連接的軌跡都連接起來。定義軌跡的長度為，軌跡上面特征點(diǎn)的數(shù)量。過濾掉軌跡長度小于閾值th3的軌跡。
[0032]步驟4通過軌跡更新特征點(diǎn)的外點(diǎn)或內(nèi)點(diǎn)屬性，并設(shè)定每個(gè)特征點(diǎn)的權(quán)重。
[0033]步驟4-1對(duì)于一條軌跡上的特征點(diǎn)，若在比例閾值th4以上的幀中判定為外點(diǎn)，則將軌跡上所有點(diǎn)都判定為外點(diǎn)。
[0034]步驟4-2對(duì)于一條軌跡上的特征點(diǎn)，若在比例閾值th5以上的幀中判定為內(nèi)點(diǎn)，則將軌跡上所有點(diǎn)都判定為內(nèi)點(diǎn)。
[0035]步驟4-3對(duì)于一條軌跡上的特征點(diǎn)，若不滿足步驟4-1和4-2中條件，則定義該軌跡上所有特征點(diǎn)的權(quán)重值為內(nèi)點(diǎn)的比率，即軌跡中的內(nèi)點(diǎn)總數(shù)與特征點(diǎn)總數(shù)之比。判定為外點(diǎn)的特征點(diǎn)的權(quán)重為w0,判定為內(nèi)點(diǎn)的權(quán)重定義為wl。
[0036]步驟4-4不在任何軌跡上的內(nèi)點(diǎn)的權(quán)重設(shè)定為w2，不在任何軌跡上的外點(diǎn)的權(quán)重定義為wO。
[0037]步驟5計(jì)算特征點(diǎn)的采樣概率并估計(jì)幀間運(yùn)動(dòng)參數(shù)，最終判定各特征點(diǎn)的內(nèi)外點(diǎn)屬性。
[0038]步驟5-1對(duì)正向匹配特征點(diǎn)對(duì)集合M1,…，Mim中每一個(gè)Mi的每一組特征點(diǎn)對(duì)計(jì)算采樣權(quán)重。方法是對(duì)一組特征點(diǎn)對(duì)(fy P j)考慮4，計(jì)算其權(quán)重占Mi中所有同一幀中的特征點(diǎn)的權(quán)重的比例，這個(gè)比例作為特征點(diǎn)對(duì)(fy j)的采樣概率。
[0039]步驟5-2估計(jì)幀間運(yùn)動(dòng)參數(shù)并判定內(nèi)外點(diǎn)屬性。使用仿射變換模型和最小二乘法建立匹配模型，用步驟2-4得到的特征點(diǎn)對(duì)集合M作為輸入，用RANSAC算法和最小二乘法計(jì)算出兩幀之間的幀間運(yùn)動(dòng)參數(shù)A。這里RANSAC采樣方式為非均勻，每個(gè)特征點(diǎn)對(duì)的采樣概率用上一步確定的采樣概率。
[0040]步驟5-3對(duì)于對(duì)正向匹配特征點(diǎn)對(duì)集合M1, - ,Mn^1中每一個(gè)Mi依次進(jìn)行步驟5-2，得到對(duì)應(yīng)著關(guān)鍵幀(I1, I2),-, (ΙΝ-1； In)的最終的幀間全局運(yùn)動(dòng)估計(jì)參數(shù)A1,…，An_1;同時(shí)確定了每個(gè)特征點(diǎn)的內(nèi)點(diǎn)或者外點(diǎn)屬性。
[0041]本發(fā)明的有益效果是能有效提高視頻全局運(yùn)動(dòng)參數(shù)的準(zhǔn)確性，特別是對(duì)于前景較多的視頻的參數(shù)估計(jì)。

【專利附圖】

【附圖說明】
[0042]圖1是本發(fā)明視頻運(yùn)動(dòng)估計(jì)方法的流程圖。
[0043]圖2(a)和圖2(b)是內(nèi)點(diǎn)對(duì)比示意圖。黑色圓圈的圓心是當(dāng)前幀特征點(diǎn)的位置，線段的兩端點(diǎn)連接著當(dāng)前幀與下一幀中特征點(diǎn)的位置。圖中所示的特征點(diǎn)對(duì)在當(dāng)前步驟中被判斷為內(nèi)點(diǎn)。圖2(a)是通過軌跡計(jì)算得到的結(jié)果，圖2(b)是通過相鄰幀計(jì)算得到的結(jié)果O
[0044]圖3(a)和圖3(b)是外點(diǎn)對(duì)比示意圖。黑色方塊的中心點(diǎn)是當(dāng)前幀特征點(diǎn)的位置，線段的兩端點(diǎn)連接著當(dāng)前幀與下一幀中特征點(diǎn)的位置。圖中所示的特征點(diǎn)對(duì)在當(dāng)前步驟中被判斷為外點(diǎn)。圖3(a)是通過軌跡計(jì)算得到的結(jié)果，圖3(b)是通過相鄰幀計(jì)算得到的結(jié)果O
[0045]圖4是幀差對(duì)比示意圖。黑色區(qū)域表示兩幀的對(duì)應(yīng)區(qū)域經(jīng)過全局運(yùn)動(dòng)參數(shù)的映射之后，匹配成功，一般對(duì)應(yīng)著背景區(qū)域。白色的區(qū)域表示經(jīng)過全局運(yùn)動(dòng)參數(shù)的映射之后，匹配沒有成功，一般對(duì)應(yīng)著前景運(yùn)動(dòng)區(qū)域。左圖是通過軌跡計(jì)算得到的結(jié)果，右圖是通過相鄰幀計(jì)算得到的結(jié)果。

【具體實(shí)施方式】
[0046]以下結(jié)合技術(shù)方案和附圖詳細(xì)敘述本發(fā)明的具體實(shí)施例。
[0047]實(shí)施例1:包含較多前景的視頻全局運(yùn)動(dòng)參數(shù)估計(jì)情況。
[0048]1.提取所有關(guān)鍵幀。
[0049]2.將所有關(guān)鍵巾貞轉(zhuǎn)換為灰度圖,第i巾貞的標(biāo)識(shí)為Ii。
[0050](對(duì)所有的關(guān)鍵幀，執(zhí)行步驟3-5。)
[0051]3.對(duì)第i幀提取特征點(diǎn)。以20像素為間距，建立棋盤狀網(wǎng)格。以棋盤狀網(wǎng)格的每一個(gè)交點(diǎn)為中心，以7為最遠(yuǎn)距離，遍歷每一個(gè)像素點(diǎn)P，按下面第4條、第5條所述考察其是否可以作為特征點(diǎn)。
[0052]4.點(diǎn)P周圍的像素點(diǎn)設(shè)為P」，首先遍歷j求出maxP,滿足maxP =argmax Σ (Ii (p)-1i (ρ」))2,同時(shí)得到 maxPThre = maxX (Ii (p)-1i (ρ」))2 作為評(píng)判 maxP 點(diǎn)好壞的度量。其中Ii (P)是第i幀P點(diǎn)的像素值，Ii (Pj)是第i幀P點(diǎn)周圍的像素點(diǎn)P」的像素值。
[0053]5.如果maxPThre>50則將maxP加入該巾貞的特征點(diǎn)集合Fi中，否則這個(gè)像素點(diǎn)不可以作為特征點(diǎn)。
[0054]6.將所有幀上的特征點(diǎn)的屬性初始化為外點(diǎn)。
[0055](對(duì)所有相鄰兩幀進(jìn)行如下操作步驟6-16。假設(shè)當(dāng)前操作到第i與第i+Ι幀)
[0056]7.尋找每一個(gè)第i幀中的特征點(diǎn)在第i+Ι幀中的匹配點(diǎn)。設(shè)第i幀上的特征點(diǎn)為P= (X，y)，則在第i+Ι幀上以(X，y)為中心，以圖像長寬最大值的三分之一為半徑考察每一個(gè)像素點(diǎn)P'。
[0057]8.Pj是P在第i幀周圍的特征點(diǎn)，p' ^是]^在第i+Ι幀周圍的像素點(diǎn)。需要注意的是對(duì)每一個(gè)j來說，P」和P的相對(duì)位置關(guān)系與,^和,的相對(duì)位置關(guān)系相同。以L2范數(shù)求出以P和P'為中心的兩個(gè)色塊的差，遍歷P'，求出HIinP =argminp, (Σ (Ii (p)-1i+1 (p '」))2),同時(shí)得到 minPThre = minp, (Σ (Ii (p)-1i+1 (p ' j))2),作為評(píng)判minP點(diǎn)的度量。
[0058]9.如果minPThre〈10,則minP為第i巾貞中的特征點(diǎn)p在第i+Ι巾貞上的對(duì)應(yīng)特征點(diǎn)，否則該點(diǎn)不是特征點(diǎn)。
[0059]10.對(duì)i幀與i+Ι幀的對(duì)應(yīng)特征點(diǎn)對(duì)用仿射變換模型組成超線性方程組,使用最小二乘法求解該方程組，得到仿射變換模型。進(jìn)一步使用RANSAC算法中對(duì)外點(diǎn)進(jìn)行過濾。
[0060]11.如果某特征點(diǎn)對(duì)被過濾，則組成該特征點(diǎn)對(duì)的兩個(gè)特征點(diǎn)的屬性保持不變，否則兩個(gè)特征點(diǎn)都設(shè)定為內(nèi)點(diǎn)。最后得到兩幀各自的內(nèi)點(diǎn)集合。圖2(b)給出了某幀經(jīng)過這一步驟后的內(nèi)點(diǎn)示意圖，圖3(b)給出了某幀經(jīng)過這一步驟后的外點(diǎn)示意圖?？梢钥闯觯\(yùn)動(dòng)人體上的部分特征點(diǎn)被誤判為了內(nèi)點(diǎn)，而背景上的部分特征點(diǎn)被誤判為了外點(diǎn)。
[0061]12.用兩幀的內(nèi)點(diǎn)集合,通過最小二乘法獲取第i幀與第i+Ι幀的幀間運(yùn)動(dòng)參數(shù)Ai0除本專利以外的傳統(tǒng)的全局背景運(yùn)動(dòng)估計(jì)算法到此結(jié)束。為了與本專利的方法進(jìn)行直觀的比較，需要生成幀差圖像。
[0062]13.通過步驟11中求出的第i幀到第i+Ι幀的幀間運(yùn)動(dòng)參數(shù)Ai,可以將第i幀中的每一個(gè)像素點(diǎn)Ii (X，y)，映射到第i+Ι幀中尋找到Ii+1 (X’，y’)。幀差圖像首先賦值為第i+Ι幀圖像，然后遍歷第i幀中的每一個(gè)像素坐標(biāo)(X，y)，用Mi求出其映射后在第i+Ι幀的坐標(biāo)(X’，y’)，則幀差圖像中坐標(biāo)為U，，y，)的像素點(diǎn)修改為Ii+1x，，y，-1iUy) I。按照理論來說，如果Mi模型正確，那么當(dāng)?shù)趇幀中的背景像素點(diǎn)映射到第i+Ι幀時(shí)，兩處像素值應(yīng)當(dāng)相等。而實(shí)際中，Mi不可能完全正確，而且?guī)g相同位置的背景也不完全相同，所以如果兩處像素值差值較小，則表示兩處像素值正確映射。這一步生成的幀差圖像如圖4的右面所示(可看出，因?yàn)槿诌\(yùn)動(dòng)參數(shù)Ai不夠準(zhǔn)確，致使一些背景區(qū)域未完全對(duì)齊，而在幀差圖像中凸顯了出來)。
[0063]14.通過第5步中每一巾貞得到的特征點(diǎn)集合F,構(gòu)建軌跡。遍歷第i巾貞中特征點(diǎn)集合？1中的所有特征點(diǎn)，對(duì)每一個(gè)特征點(diǎn)p，在第i+Ι幀中的特征點(diǎn)集合Fi+1中尋找，與P距離不超過50像素的最佳匹配的特征點(diǎn)為p’，匹配度為t0，這個(gè)過程稱為正向搜索。
[0064]15.對(duì)每一個(gè)第i幀的特征點(diǎn)P，在第i+Ι幀中的特征點(diǎn)集合Fi+1中尋找到的最匹配的特征點(diǎn)對(duì)應(yīng)的正向最佳匹配度為T0。如果t0>0.8*T0，則進(jìn)行第16步，否則該點(diǎn)不屬于任何軌跡，可以跳過該點(diǎn)而處理其他特征點(diǎn)。
[0065]16.對(duì)p'進(jìn)行反向搜索。在第i幀尋找P'的對(duì)應(yīng)匹配點(diǎn)。即在Fi中尋找:與p’距離不超過50像素的，最佳匹配的特征點(diǎn)。該反向最佳匹配特征點(diǎn)為P’ ‘，對(duì)應(yīng)的匹配度為tl，這個(gè)過程稱為逆向搜索。如果p’ ‘與P相同則進(jìn)行步驟17，否則該點(diǎn)不屬于任何軌跡，可以跳過該點(diǎn)而處理其他特征點(diǎn)。
[0066]17.對(duì)i+Ι幀的p'進(jìn)行逆向搜索。在Fi中尋找到的最匹配的特征點(diǎn)對(duì)應(yīng)的匹配度為逆向最佳匹配度Tl。如果tl>0.8*T1,則這兩點(diǎn)屬于同一軌跡。如果P已經(jīng)屬于某軌跡，則P’加入該軌跡，否則以P和P’為初始元素，建立一個(gè)新的軌跡集合。
[0067]18.過濾軌跡集合中長度小于5的軌跡，將這些軌跡上的特征點(diǎn)都設(shè)定為外點(diǎn)。
[0068]19.對(duì)每一條軌跡S進(jìn)行過濾。I)如果S上特征點(diǎn)在70%以上的幀被判定為外點(diǎn)，則該軌跡所有點(diǎn)判定為外點(diǎn)，軌跡上所有點(diǎn)的權(quán)重為O ;2)如果S上特征點(diǎn)在70%以上的中貞被判定為內(nèi)點(diǎn)，則該軌跡所有點(diǎn)判定為內(nèi)點(diǎn)，軌跡上所有點(diǎn)的權(quán)重為I ;3)否則無法判定該軌跡屬于內(nèi)點(diǎn)軌跡或是外點(diǎn)軌跡，則該軌跡上所有點(diǎn)的權(quán)重為軌跡中的內(nèi)點(diǎn)總數(shù)與特征點(diǎn)總數(shù)之比。若某特征點(diǎn)在步驟10中判定為內(nèi)點(diǎn)但不屬于任何軌跡，其權(quán)重設(shè)定為0.5。若某特征點(diǎn)在步驟10中判定為外點(diǎn)但不屬于任何軌跡，其權(quán)重設(shè)定為O。
[0069]20.在每一幀中通過上一步確定的權(quán)重，計(jì)算每個(gè)特征點(diǎn)的采樣率。采樣概率=權(quán)重/所有點(diǎn)的權(quán)重和。
[0070]21.類似步驟9，重新計(jì)算任意相鄰兩幀之間的映射模型。但是這次在RANSAC采樣時(shí)，不是對(duì)所有特征點(diǎn)均勻采樣，而是按照特征點(diǎn)的采樣概率值進(jìn)行非均勻采樣。類似步驟10再次判定特征點(diǎn)的內(nèi)外點(diǎn)屬性。圖2(a)給出了某幀經(jīng)過這一步驟后的內(nèi)點(diǎn)示意圖，圖3(a)給出了某幀經(jīng)過這一步驟后的外點(diǎn)示意圖。觀察可看出本專利方法能更好的區(qū)分出內(nèi)點(diǎn)和外點(diǎn)。
[0071]22.如第12步方法得到最后的幀差圖像如圖4日的左面。通過圖4看出，本專利方法獲得的全局運(yùn)動(dòng)參數(shù)更加準(zhǔn)確，因此在幀差圖中背景部分被削弱、而不符合全局運(yùn)動(dòng)規(guī)律的前景部分(運(yùn)動(dòng)人體)被準(zhǔn)確凸顯了出來。
【權(quán)利要求】
1.一種時(shí)序一致性約束的視頻全局運(yùn)動(dòng)估計(jì)方法，其特征在于如下步驟: (1)提取每一幀圖像的特征點(diǎn) 提取視頻的所有關(guān)鍵幀，并轉(zhuǎn)換為灰度圖，按照關(guān)鍵幀出現(xiàn)的先后順序，為每個(gè)灰度圖標(biāo)號(hào)Ii ^ [I, **., N];關(guān)鍵巾貞建立等間隔的棋盤狀網(wǎng)格，網(wǎng)格之間的間隔為dO ;在網(wǎng)格的每一個(gè)交點(diǎn)棋盤距離小于等于rO，滿足r0*2〈d0的范圍內(nèi)選擇梯度方差最大的點(diǎn)；梯度是指圖像中某一像素點(diǎn)水平方向和垂直方向梯度絕對(duì)值之和；求取一個(gè)像素點(diǎn)的梯度方差時(shí)，取距離該點(diǎn)棋盤距離小于等于rl的點(diǎn)，求包括中心像素點(diǎn)的這些點(diǎn)梯度的方差；如果一個(gè)點(diǎn)距離圖像的任何一個(gè)邊緣小于rl就不考慮，如果找到的點(diǎn)對(duì)應(yīng)的梯度方差高于閾值thO，則將其選擇為特征點(diǎn)；重復(fù)執(zhí)行上述步驟(I)，分別對(duì)I1,…，^生成其最初的特征點(diǎn)集合 F1,...,Fn ； (2)根據(jù)相鄰幀對(duì)應(yīng)關(guān)系確定特征點(diǎn)的外點(diǎn)或內(nèi)點(diǎn)屬性 通過正向搜索，得到當(dāng)前幀中每一特征點(diǎn)在下一幀中最匹配的特征點(diǎn)；基于相鄰幀匹配的特征點(diǎn)對(duì)，使用魯棒估計(jì)方法擬合一個(gè)映射模型來求得幀間全局運(yùn)動(dòng)參數(shù)，確定各特征點(diǎn)的內(nèi)點(diǎn)或外點(diǎn)屬性； (3)構(gòu)建特征點(diǎn)軌跡 通過反向搜索，得到當(dāng)前幀中每一特征點(diǎn)在前一幀中最匹配的特征點(diǎn)；結(jié)合正向與反向匹配建立軌跡:若第i幀中特征點(diǎn)P在第i+Ι幀中的正向匹配點(diǎn)P’在第i幀中的反向匹配點(diǎn)正好是P，且正向、反向匹配度都很高，則認(rèn)為兩個(gè)特征點(diǎn)P，P’是匹配的，即在一個(gè)軌跡上； 通過以上步驟(1)-(3)，建立多幀間特征點(diǎn)的軌跡； (4)根據(jù)軌跡計(jì)算特征點(diǎn)的權(quán)重值 對(duì)于一條軌跡上的特征點(diǎn)，若在70%以上的幀中判定為外點(diǎn)，則將軌跡上所有點(diǎn)都判定為外點(diǎn)；判定為外點(diǎn)的特征點(diǎn)的權(quán)重定義為O ; 對(duì)于一條軌跡上的特征點(diǎn)，若在70%以上的幀中判定為內(nèi)點(diǎn)，則將軌跡上所有點(diǎn)都判定為內(nèi)點(diǎn)；判定為內(nèi)點(diǎn)的特征點(diǎn)的權(quán)重定義為I ; 對(duì)于一條軌跡上的特征點(diǎn)，若不滿足上訴兩條件，則定義該軌跡上所有特征點(diǎn)的權(quán)重值為該軌跡中的內(nèi)點(diǎn)總數(shù)與特征點(diǎn)總數(shù)之比； 不在任何軌跡上的權(quán)重定義為0.5，不在任何軌跡上的外點(diǎn)的權(quán)重定義為O ; (5)基于每一幀中特征點(diǎn)的權(quán)重計(jì)算每個(gè)特征點(diǎn)的采樣概率，并以此進(jìn)行非均勻隨機(jī)采樣，使用魯棒估計(jì)方法擬合一個(gè)映射模型來求得幀間最終的全局運(yùn)動(dòng)參數(shù)，同時(shí)最終判定各特征點(diǎn)的內(nèi)外點(diǎn)屬性。
2.根據(jù)權(quán)利要求1所述的視頻全局運(yùn)動(dòng)估計(jì)方法，其特征在于，所述的特征點(diǎn)提取方法為:對(duì)每一幀，建立縱橫間隔為20像素的棋盤形狀網(wǎng)格，在每一個(gè)網(wǎng)格交點(diǎn)處取其周圍15*15范圍內(nèi)梯度方差最大的點(diǎn)作為特征點(diǎn)，形成該幀的特征點(diǎn)集合。
3.根據(jù)權(quán)利要求1所述的視頻全局運(yùn)動(dòng)估計(jì)方法，其特征在于，所述的正向搜索采用局部搜索法。
4.根據(jù)權(quán)利要求1所述的視頻全局運(yùn)動(dòng)估計(jì)方法，其特征在于，采用最小二乘法和RANSAC擬合仿射映射模型。
5.根據(jù)權(quán)利要求1所述的視頻全局運(yùn)動(dòng)估計(jì)方法，其特征在于，所述的反向搜索采用局部搜索法。
【文檔編號(hào)】G06T7/20GK104408741SQ201410582560
【公開日】2015年3月11日 申請日期:2014年10月27日 優(yōu)先權(quán)日:2014年10月27日
【發(fā)明者】李豪杰, 關(guān)岳, 王領(lǐng) 申請人:大連理工大學(xué)