一種基于sift特征匹配的運(yùn)動目標(biāo)檢測方法
【專利摘要】本發(fā)明是一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法。本方法首先使用SIFT特征提取方法獲得圖像的特征點(diǎn)；然后再對圖像的SIFT特征點(diǎn)進(jìn)行快速準(zhǔn)確的匹配：根據(jù)動態(tài)場景的特點(diǎn)構(gòu)建全局運(yùn)動模型，并采用改進(jìn)的RANSAC方法排除外點(diǎn)的影響，運(yùn)用最小二乘法求解全局運(yùn)動參數(shù)，根據(jù)特征點(diǎn)變化及時更新運(yùn)動參數(shù)，再利用基于殘差圖像塊的更新策略對特征點(diǎn)進(jìn)行更新，通過限制次近鄰查找區(qū)域的方法保證特征匹配的準(zhǔn)確性；最后，通過差分目標(biāo)分割法實(shí)現(xiàn)對運(yùn)動目標(biāo)的檢測。實(shí)驗(yàn)證明，本發(fā)明與傳統(tǒng)的基于圖像塊匹配檢測方法相比，運(yùn)算速度提高了31.26％，而且能夠有效排除背景干擾，所檢測到的目標(biāo)圖像清晰，本發(fā)明非常適用于動態(tài)場景下對運(yùn)動目標(biāo)的實(shí)時檢測。
【專利說明】
一種基于SI FT特征匹配的運(yùn)動目標(biāo)檢測方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于SIFT(Scale Invariant Feature Transform，尺度不變特征變換)特征匹配的運(yùn)動目標(biāo)檢測方法。
【背景技術(shù)】
[0002] 運(yùn)動目標(biāo)檢測是判斷圖像中是否存在目標(biāo)，確定運(yùn)動目標(biāo)的位置，是計(jì)算機(jī)視覺 的基礎(chǔ)?？焖贉?zhǔn)確的目標(biāo)檢測可以為后續(xù)的目標(biāo)跟蹤和行為理解做很好的鋪墊。隨著攝像 技術(shù)的提高，固定攝像機(jī)被可旋轉(zhuǎn)的攝像機(jī)所取代。攝像機(jī)發(fā)生移動和旋轉(zhuǎn)，導(dǎo)致圖像中的 背景和物體同時運(yùn)動，同時光照變化、背景干擾等也增加了運(yùn)動目標(biāo)檢測的難度。傳統(tǒng)的目 標(biāo)檢測算法如幀間差分法、光流法和背景差分法不適合如此復(fù)雜場景的目標(biāo)檢測。因此，在 復(fù)雜場景下對運(yùn)動目標(biāo)進(jìn)行快速準(zhǔn)確的檢測具有重要意義。
[0003] SIFT是Lowe D G于1999年提出、并于2004年改進(jìn)的算法。（參考文件1:L(WE D G.Object recognition from local scale-invariant features[C]//ICCV'99: Proceedings of the International Conference on Computer Vision.Washington,DC: IEEE Computer Society, 1999,2:1150-1157·參考文件2:Lowe D G.Distinctive image features from scale-invariant keypoints,cascade filtering approach[J] ? International Journal of Computer Vision,2004,60(2).)該算法可以從圖像中提取 出物體的特征信息，對檢測目標(biāo)的旋轉(zhuǎn)、尺度縮放、視角變化及亮度變化具有良好的不變 性，并對遮擋和噪聲也有很好的魯棒性，是特征點(diǎn)選取和描述的一種有效方法，被廣泛應(yīng)用 于計(jì)算機(jī)視覺領(lǐng)域。但該算法仍存在不足，比如，高維數(shù)的特征描述符計(jì)算復(fù)雜；局部特征 發(fā)生變化時，正確匹配特征點(diǎn)數(shù)目減少，算法識別準(zhǔn)確率低等。（參考文件3: Ke Y， Sukthankar R.PCA-SIFT:a more distinctive representation for local image descriptors[C]Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Washington D C，2004)文獻(xiàn)3對31?1'的特征描述符用卩〇厶（卩1'；[11(^卩&1 components analysis，主成分分析)進(jìn)行降維的算法，取得了較好的效果。（參考文件4:紀(jì) 華，吳元昊，孫宏梅，等.結(jié)合全局信息SIFT特征匹配算法[J].光學(xué)精密工程，2009,17(2): 439-444)文獻(xiàn)4提出結(jié)合全局信息的特征描述符，降低了由于局部相似造成的誤匹配，但計(jì) 算量較大，而且不具有尺度不變性。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是為了解決在動態(tài)場景下，運(yùn)動目標(biāo)檢測時間復(fù)雜度高，不具有實(shí) 時性、穩(wěn)定性不高的缺點(diǎn)。本發(fā)明提出一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法，旨在減 少檢測算法時間復(fù)雜度，提高目標(biāo)檢測的實(shí)時性，增加目標(biāo)檢測的魯棒性。
[0005] 本發(fā)明提出的一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法，具體包括如下步驟：
[0006] 步驟一:SIFT特征提取。提取圖像序列中的SIFT特征點(diǎn)，建立初始特征點(diǎn)集，為以 后圖像的特征點(diǎn)匹配做準(zhǔn)備。
[0007] SIFT算法的本質(zhì)就是從圖像中提取局部特征，在尺度空間尋找極值點(diǎn)，提取位置、 尺度、旋轉(zhuǎn)不變量。s IF T特征提取包括:初步定位特征點(diǎn)、準(zhǔn)確定位特征點(diǎn)，確定特征點(diǎn)方 向，生成關(guān)鍵點(diǎn)描述算子。
[0008] 步驟二:SIFT特征快速準(zhǔn)確匹配。首先，利用步驟一得到的初始特征點(diǎn)集，使用圖 像全局運(yùn)動模型建立初始匹配點(diǎn)對;然后采用改進(jìn)的RANRAC(Random Sample Consensus， 隨機(jī)抽樣一致)方法去除誤匹配點(diǎn)，求出變換矩陣參數(shù)，對圖像補(bǔ)償處理，根據(jù)得到的特征 點(diǎn)集中特征點(diǎn)數(shù)目與最佳匹配值比較，判斷特征點(diǎn)是否需要更新，保存數(shù)據(jù)實(shí)時更新背景； 最后對得到特征點(diǎn)進(jìn)行快速準(zhǔn)確匹配。
[0009] 步驟2.1，根據(jù)動態(tài)場景的特點(diǎn)為圖像的全局運(yùn)動構(gòu)建旋轉(zhuǎn)參數(shù)模型，對圖像中相 鄰兩幀分別搜索特征點(diǎn)，再對特征點(diǎn)匹配得到特征點(diǎn)對集Ft，用最小二乘法求最優(yōu)解。
[0010 ]步驟2.2，利用改進(jìn)的RANRAC方法去除步驟2.1產(chǎn)生的匹配點(diǎn)對集Ft中存在的誤匹 配點(diǎn)，再用最小二乘法求出第t幀的參數(shù)矩陣It。對第t-Ι幀圖像做同樣處理，然后對圖像中 攝像機(jī)旋轉(zhuǎn)運(yùn)動進(jìn)行補(bǔ)償，得到殘差圖像Pb。
[0011] 步驟2.3,判斷從步驟2.1得到的特征點(diǎn)集中的特征點(diǎn)數(shù)目是否小于最佳匹配值0， 若小于匹配值0則進(jìn)行特征點(diǎn)更新，將得到的殘差圖像Pb、參數(shù)矩陣It和特征點(diǎn)對集Ft進(jìn)行 保存，同時更新背景。在動態(tài)場景中，由于隨著拍攝視角的不斷變化，圖像的特征也隨之變 化，因此，需要及時對特征點(diǎn)進(jìn)行更新。
[0012] 步驟2.4,根據(jù)得到當(dāng)前幀的特征點(diǎn)合理推測出下一幀的特征點(diǎn)，如此使特征點(diǎn)匹 配在限制的范圍內(nèi)進(jìn)行，縮小搜索范圍，達(dá)到快速匹配的目的。最后，利用最近鄰和次近鄰 特征點(diǎn)的比值關(guān)系驗(yàn)證匹配準(zhǔn)確性，完成圖像的配準(zhǔn)。
[0013] 步驟三:利用步驟二所配準(zhǔn)的圖像，通過差分目標(biāo)分割法實(shí)現(xiàn)對運(yùn)動目標(biāo)的檢測， 通過后期處理得到前景目標(biāo)輪廓，將前景目標(biāo)輪廓進(jìn)行填充得到完整的運(yùn)動目標(biāo)。
[0014] 本發(fā)明方法的優(yōu)點(diǎn)和積極效果在于:本發(fā)明在動態(tài)場景下，目標(biāo)在發(fā)生局部遮擋、 旋轉(zhuǎn)、尺度變化等情況下都具有較快的檢測速度，較少的時間復(fù)雜度;對于復(fù)雜的攝像機(jī)運(yùn) 動情況，傳統(tǒng)的目標(biāo)檢測方法已經(jīng)失效，而本發(fā)明依然能夠保證目標(biāo)檢測的實(shí)時性和魯棒 性。
【附圖說明】
[0015] 圖1是本發(fā)明基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法的整體步驟流程圖；
[0016] 圖2是本發(fā)明改進(jìn)的RANRAC方法與傳統(tǒng)的RANRAC方法計(jì)算時間對比圖；
[0017] 圖3是本發(fā)明改進(jìn)的RANRAC方法比傳統(tǒng)的RANRAC方法計(jì)算速度提高效果圖；
[0018] 圖4是本發(fā)明基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法與傳統(tǒng)的基于圖像塊匹配檢 測方法的實(shí)驗(yàn)效果對比圖。
【具體實(shí)施方式】
[0019] 下面將結(jié)合附圖和實(shí)施例對本發(fā)明的技術(shù)方案作進(jìn)一步的詳細(xì)說明。
[0020] 本發(fā)明提出一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法，旨在減少傳統(tǒng)的目標(biāo)檢 測算法時間復(fù)雜度，提高目標(biāo)檢測的實(shí)時性，增加目標(biāo)檢測的魯棒性。
[0021] 下面具體對實(shí)現(xiàn)步驟進(jìn)行說明。
[0022]步驟一:SIFT特征提取。獲得圖像序列初始幀特征點(diǎn)集。
[0023]步驟1.1，構(gòu)建尺度空間。
[0024]二維高斯函數(shù)定義如下：
[0025]
[0026]其中，σ表示高斯正態(tài)分布的方差，是尺度坐標(biāo)。
[0027] 輸入圖像用I(x，y)表示，在不同尺度空間的尺度空間表示可由圖像與高斯核的卷 積得到：
[0028] L(x,y,〇)=G(x,y,〇)*I(x,y) (2)
[0029] 采用DoG(Difference of Gaussian)算子來創(chuàng)建尺度空間。DoG算子由兩個不同尺 度的高斯核的差分與圖像卷積生成。
[0030] D(x,y,〇) = (G(x,y,k〇)-G(x,y,〇))*I(x,y)=L(x,y,k〇)-L(x,y,〇) (3)
[0031] 其中，常系數(shù)k用來區(qū)分相鄰的尺度。
[0032] 步驟1.2,在尺度空間尋找極值點(diǎn)。圖像多次使用DoG算子，該算子的泰勒展開式如 下：
[0033] (4)
[0034] 對其泰勒展開式求導(dǎo)，當(dāng)導(dǎo)數(shù)為零時，取這些高斯差分圖像中的局部極值點(diǎn)龍，得 到尺度空間域上的圖像特征點(diǎn)。
[0035]
(5)
[0036] 步驟1.3,計(jì)算特征點(diǎn)方向和生成特征點(diǎn)描述子。
[0037] 特征點(diǎn)方向0(1,7)及模值111(1,7)可以通過式(4)、（5)運(yùn)算確定：
[0038]
[0039]
[0040] 最后形成包括位置、尺度、方向等信息的128維特征向量。根據(jù)經(jīng)驗(yàn)值，實(shí)際計(jì)算中 取高斯內(nèi)核函數(shù)的尺度因子〇 = 0.5,每組高斯尺度圖像的尺度級數(shù)中s = 3,去除低對比度 的特征點(diǎn)的閾值設(shè)定為〇. 01，主曲率間的比值的閾值設(shè)定為15。
[0041] 步驟二:SIFT特征快速準(zhǔn)確匹配。根據(jù)動態(tài)場景的特點(diǎn)構(gòu)建全局運(yùn)動模型，基于特 征點(diǎn)變化及時更新運(yùn)動參數(shù)，保證特征點(diǎn)的快速匹配。
[0042] 步驟2.1，全局運(yùn)動模型實(shí)際應(yīng)用較多的是仿射參數(shù)模型和旋轉(zhuǎn)參數(shù)模型，其中， 仿射參數(shù)模型相對簡單，需要6個參數(shù)，只能描述線性的和平移的運(yùn)動，適合攝像機(jī)旋轉(zhuǎn)運(yùn) 動較少的時候;而旋轉(zhuǎn)參數(shù)模型不但可以描述平移還可以更好描述旋轉(zhuǎn)角度較大的運(yùn)動， 需要8個參數(shù)，因此本發(fā)明采用旋轉(zhuǎn)參數(shù)模型。已知H t-1;1為圖像第t-Ι幀的特征點(diǎn)集，1^為 圖像第t_l幀的旋轉(zhuǎn)參數(shù)矩陣。
[0043] 假設(shè)第1：-1幀圖像中有點(diǎn)1^-1，對應(yīng)的坐標(biāo)為乂^1=^-1，7^1)，而第1:幀圖像中有點(diǎn) Kt，對應(yīng)坐標(biāo)為Xt=(xt，yt)，U=(u，v) T為Kt-1的運(yùn)動矢量。U滿足下式：
[0044] Xt = Xt-i+U (8)
[0045] U = Q(Xt-i)I (9)
[0046] T = Γ. · · Pi7 Α??Τ(?η?
[0047]
(11)
[0048] 定義旋轉(zhuǎn)參數(shù)矩陣I = (ai，· · a7，a8)T，其中a3代表水平方向的位移，a6代表垂直 方向的位移，ai，a2，a4，as代表尺度和旋轉(zhuǎn)量，a7，as代表水平與垂直方向的變形量。這些參數(shù) 主要由攝像機(jī)的旋轉(zhuǎn)和平移參數(shù)決定，同坐標(biāo)參數(shù)無關(guān)。實(shí)際中無法得到旋轉(zhuǎn)和平移量，需 要通過其他方式求解矩陣I。
[0049] 運(yùn)用特征點(diǎn)求解全局運(yùn)動參數(shù)方法:在相鄰兩幀中分別搜索特征點(diǎn)，再對特征點(diǎn) 對進(jìn)行匹配，得到H= {hl，h2 · · hn · · Ιιν}，表示匹配點(diǎn)對的集合，其中hn=(Xt-l,n，Xt,n)為 第η對匹配點(diǎn)，并用最小二乘法求最優(yōu)解。
[0050] 用此方法可以求出第t幀所有特征點(diǎn)集Ht,n，保存在特征點(diǎn)集合Ht中，用UPHt進(jìn) 行匹配并建立匹配點(diǎn)對集合Ft。
[0051 ]步驟2.2，利用本發(fā)明提出的改進(jìn)的RANRAC方法去除步驟2.1產(chǎn)生的匹配點(diǎn)對集Ft 中存在的誤匹配點(diǎn)，得到第t幀旋轉(zhuǎn)參數(shù)矩陣It。由于運(yùn)用特征點(diǎn)進(jìn)行運(yùn)動補(bǔ)償，匹配的結(jié) 果存在失真的可能性，所以要剔除目標(biāo)上的異常點(diǎn)。
[0052]傳統(tǒng)的RANRAC方法的思想是:從集合S中隨機(jī)選取一個數(shù)據(jù)點(diǎn)樣本，并由它初始化 模型；按照閾值Td找出成為當(dāng)前模型的支撐點(diǎn)集Si，Si被稱為內(nèi)點(diǎn)（有效點(diǎn)）；如果Si集合大 小超過某個閾值Th，用3 1重新估計(jì)模型并結(jié)束；如果Si集合大小不超過閾值Th，選取一個新 的樣本重復(fù)上面的步驟;經(jīng)過η次嘗試，最大的一致集3 1被選中，用它來重新估計(jì)模型，得到 最終的結(jié)果。
[0053]本發(fā)明提出改進(jìn)的RANRAC方法，首先改進(jìn)RANRAC模型參數(shù)選取方式。傳統(tǒng)的 RANRAC模型參數(shù)選取是通過迭代計(jì)算內(nèi)外點(diǎn)并反復(fù)測試來實(shí)現(xiàn)的，初始模型參數(shù)是隨機(jī)抽 取樣本數(shù)據(jù)計(jì)算來選取，有很大的不確定性，初始參數(shù)選取不好會使迭代次數(shù)驟增，提高計(jì) 算成本。本發(fā)明采取的方法是通過選擇少數(shù)最優(yōu)匹配點(diǎn)作為觀察數(shù)據(jù)集代表，在其中隨機(jī) 抽取初始樣本數(shù)據(jù)得到初始模型參數(shù)更接近于真實(shí)值，并且實(shí)現(xiàn)了用較少的迭代次數(shù)得到 較真實(shí)的矩陣參數(shù)。用RANRAC剔除外點(diǎn)的過程就是通過樣本數(shù)據(jù)集擬合圖像變換矩陣，原 圖像與目標(biāo)圖像的變換關(guān)系：
[0054]
C12)
[0055] 這是8個參數(shù)的投影變換矩陣，其中h，12，14，15表示尺度和旋轉(zhuǎn)量，1 3表示水平方 向的位移，16表不垂直方向的位移，h，Is表不水平與垂直方向的變形量。求解該矩陣參數(shù)至 少需要4個匹配對，采用最小二乘法求解，令：
[0056] (13)
[0057] r 14)
[0058]
(15、
[0059] 公式變換如下：
[0060] L = -[CTC]^CTY (16)
[0061] 先令p初始值為1，得到L的一組值，再由此值計(jì)算P值，多次迭代后得到穩(wěn)定的L。
[0062] 確定隨機(jī)采用次數(shù)N，使得采樣的s對匹配點(diǎn)都是內(nèi)點(diǎn)概率足夠高，設(shè)計(jì)模型參數(shù) 所需匹配點(diǎn)對為s，任何一對匹配點(diǎn)是內(nèi)點(diǎn)的概率為Pi，任何一對匹配點(diǎn)外點(diǎn)的概率為α = 1-Pi。采樣到Ν次時有：
[0063] (l-Pis)N=l-P (17)
[0064] 需要采樣的次數(shù)為：
[0065] N=log(l-P)/log(l-(l-a)s) (18)
[0066] 本發(fā)明經(jīng)過多次實(shí)驗(yàn)，取s = 8，P = 0.99，a = 0.3。
[0067] -致集大小確定:在模型參數(shù)確定后，還要統(tǒng)計(jì)這個數(shù)據(jù)集中符合內(nèi)點(diǎn)的數(shù)目ν。 令數(shù)據(jù)點(diǎn)是錯誤模型內(nèi)點(diǎn)的概率為u，希望錯誤模型內(nèi)點(diǎn)數(shù)目ν越小越好，即ir s〈UQ，uo的值 越小越好，根據(jù)經(jīng)驗(yàn)值取〇. 05。
[0068] 然后改進(jìn)RANRAC模型選取方式。傳統(tǒng)的RANRAC方法，迭代次數(shù)過多造成效率低下， 初始值的不確定造成精度不高，穩(wěn)定性差，模型參數(shù)檢驗(yàn)中，抽樣數(shù)據(jù)受外點(diǎn)影響，全部參 與全數(shù)據(jù)檢驗(yàn)造成計(jì)算的浪費(fèi)。本發(fā)明增加臨時模型預(yù)檢測，對每個模型參數(shù)檢驗(yàn)之前，首 先隨機(jī)抽取少量的數(shù)據(jù)對模型參數(shù)預(yù)檢驗(yàn)，如果通過預(yù)檢驗(yàn)，則進(jìn)入后續(xù)的檢驗(yàn)，否則這個 模型不再參與后續(xù)的全數(shù)據(jù)檢驗(yàn)。該方法實(shí)現(xiàn)的過程采取迭代計(jì)算、數(shù)據(jù)比較的方式進(jìn)行。 首先，根據(jù)預(yù)檢驗(yàn)最小通過概率、數(shù)據(jù)錯誤率和參與樣本數(shù)計(jì)算正確模型數(shù)和通過概率;然 后再根據(jù)通過概率、置信率和估計(jì)錯誤率計(jì)算需要的抽樣數(shù)及抽樣對應(yīng)的模型參數(shù)，隨機(jī) 選取數(shù)據(jù)進(jìn)行預(yù)檢驗(yàn)，如此迭代下去;最后，用全部原始數(shù)據(jù)檢驗(yàn)通過的預(yù)檢驗(yàn)?zāi)Ｐ瞳@得符 合要求數(shù)據(jù)和誤差方差直至得出最優(yōu)模型。采用此臨時模型預(yù)檢測方式，雖然增加了抽樣 數(shù)量，但是由于大部分模型都受到錯誤數(shù)據(jù)影響，經(jīng)過預(yù)檢驗(yàn)過濾掉的數(shù)量遠(yuǎn)大于增加的 數(shù)量，可大大節(jié)約計(jì)算時間，提高計(jì)算的效率。方法改進(jìn)后效率提高的效果如圖2、圖3所示。
[0069] 對第t-Ι幀圖像中做同樣處理，然后對圖像中攝像機(jī)旋轉(zhuǎn)運(yùn)動進(jìn)行補(bǔ)償，再將補(bǔ)償 圖像和第t+Ι幀圖像做背景差處理得到殘差圖像P b。
[0070] 步驟2.3,判斷從步驟2.1得到的特征點(diǎn)集Ht中的特征點(diǎn)匹配數(shù)目是否小于最佳匹 配值0,如果小于匹配值0,將得到的殘差圖像p b、參數(shù)矩陣It和特征點(diǎn)對集Ft進(jìn)行保存，同時 更新背景。其中，匹配值〇的設(shè)定關(guān)系到最小二乘解的準(zhǔn)確性，如果匹配值〇設(shè)置偏大，會造 成程序計(jì)算量增大，影響算法的運(yùn)行效率;如果設(shè)置偏小，則會使圖像平均匹配點(diǎn)數(shù)降低， 造成無法得到最小二乘的最優(yōu)解。根據(jù)多次試驗(yàn)，選取最佳匹配值0 = 15。
[0071] 特征點(diǎn)的更新策略:采用基于殘差圖像的方法把圖像前景區(qū)域進(jìn)行快速標(biāo)記。將 殘差圖像分成若干個xXy大小的圖像塊，塊參數(shù)X和y分別代表前景區(qū)域長度上和寬度上塊 的個數(shù)，其取值為整數(shù)。計(jì)算每個塊的SAD(Sum of Absolute Difference，絕對殘差和)并 且把它們按照大小排€
，其中是（i，j)的殘差。如果鄰域8個圖像塊的 SAD值有一半排在總SAD值的前30%，那么將當(dāng)前預(yù)選前景塊標(biāo)記為前景塊，將每個預(yù)選前 景塊依次排查。塊參數(shù)X和y的取值決定計(jì)算量的大小，影響著標(biāo)記前景塊的準(zhǔn)確性。根據(jù)多 次實(shí)驗(yàn)選取x=y = 16。
[0072] 步驟2.4,本發(fā)明提出基于預(yù)測的特征點(diǎn)匹配方法。根據(jù)上一幀的特征點(diǎn)位置，小 范圍搜索特征點(diǎn)，能夠快速得到當(dāng)前幀的特征點(diǎn)。因?yàn)閺臄z像機(jī)得到的圖像序列中，每兩幀 之間的間隔時間很短，幀之間的變化很小，相差一般只有幾個像素，所以當(dāng)前幀中含有下一 幀的大量信息。具體操作如下：
[0073] 假設(shè)第t-Ι幀圖像的特征點(diǎn)集合為Pt-i= {pt-i,i，pt-i,2 · ·，pt-i,n};根據(jù)特征點(diǎn) pt-1>n和運(yùn)動參數(shù)，推測出第t幀的特征點(diǎn)/V,;以特征點(diǎn)成，"為圓心，在半徑為R個像素的圓 內(nèi)搜索特征點(diǎn)pt, n;將pt,n和pt-?,η進(jìn)行匹配，如果匹配成功，則建立匹配點(diǎn)對ht,n=(ht, n， ht-Ι,η)，即可得到匹配點(diǎn)對的集合Ht={ht,i，ht,2, · ·1?ι；,η· ·1ιι；,ν}和第t幀的特征點(diǎn)集Pt = {pt，l,pt，2,…，Pt，nH.Pt，N} Ο
[0074] 但此步驟存在一定數(shù)量的正確匹配被排除在匹配集外的情況，因此，本發(fā)明提出 通過減小最近鄰和次近鄰特征點(diǎn)歐式距離的比值，來有效恢復(fù)正確匹配點(diǎn)數(shù)目。將最近鄰 和次近鄰特征點(diǎn)的距離限定在一個特定范圍內(nèi)進(jìn)行查詢，以增加次小距離的方法減小這一 比值。假設(shè)原圖像特征點(diǎn)IV和目標(biāo)圖像的特征點(diǎn)7^為最近鄰特征點(diǎn)，同時$是特征點(diǎn)IV次 近鄰特征點(diǎn)，那么查詢一次近鄰特征點(diǎn)7J只在與$同一尺度的圖像內(nèi)進(jìn)行。由于 心㈨,7；: > 4㈨，使得最近鄰和次近鄰特征點(diǎn)歐式距離的比值保持如下關(guān)系：
[0075]
C 19)
[0076]因此，本發(fā)明通過限制次近鄰查找區(qū)域的方法，可以有效增加正確匹配特征點(diǎn)的 數(shù)量，達(dá)到特征匹配準(zhǔn)確的目的。通過以上步驟完成圖像的配準(zhǔn)。
[0077] 步驟三:利用步驟二所配準(zhǔn)的圖像，通過差分目標(biāo)分割法實(shí)現(xiàn)對運(yùn)動目標(biāo)的檢測； 然后采用形態(tài)學(xué)濾波優(yōu)化，通過膨脹、腐蝕等手段處理得到前景目標(biāo)輪廓;將前景目標(biāo)輪廓 進(jìn)行填充得到完整的運(yùn)動目標(biāo)。
[0078] 差分目標(biāo)分割法是將配準(zhǔn)后兩幅圖像進(jìn)行幀間差分，即對圖像初始幀和補(bǔ)償后的 圖像幀作差，檢測運(yùn)動目標(biāo)。假設(shè)，配準(zhǔn)后兩幀圖像分別用DcaUj)和D Q2(X，y)表示，通過閾 值T處理得到運(yùn)動目標(biāo)的二值圖像?。(1，7)。具體規(guī)則如下：
[0079]
C20)
[0080]經(jīng)過以上方法處理得到運(yùn)動目標(biāo)輪廓仍然殘缺不全，并且含有分布不均的噪聲， 由于噪聲的影響，檢測到的前景目標(biāo)邊緣會存在間斷。利用形態(tài)學(xué)中的閉運(yùn)算對斷裂處進(jìn) 行連接處理，具體做法為先對圖像進(jìn)行膨脹運(yùn)算，然后進(jìn)行腐蝕運(yùn)算。閉運(yùn)算可以填補(bǔ)前景 物體中存在的細(xì)小空洞，連接鄰近物體，并能夠平滑邊界，填補(bǔ)輪廓中存在的細(xì)小斷裂。通 過對前景目標(biāo)的邊緣連接和孔洞填充，提取出完整的前景運(yùn)動目標(biāo)。
[0081]表1展示了本發(fā)明提出的基于SIFT特征匹配的目標(biāo)檢測方法與傳統(tǒng)的基于圖像塊 匹配檢測方法的檢測運(yùn)行時間對比表。所使用的測試序列為標(biāo)準(zhǔn)序列1名稱Foreman，大小 36MB、標(biāo)準(zhǔn)序列2名稱Coastguard，大小40MB、標(biāo)準(zhǔn)序列3名稱Stefan，大小37MB。傳統(tǒng)的基于 圖像塊匹配檢測方法，是通過圖像塊匹配進(jìn)行補(bǔ)償處理，采用幀差法進(jìn)行目標(biāo)提取。對整個 圖像平面進(jìn)行劃分，得到互不相交的小塊(blocks)并同時假設(shè)塊內(nèi)具有相同的運(yùn)動矢量， 由于其復(fù)雜度小、計(jì)算簡單而得到廣泛應(yīng)用，但它不適合旋轉(zhuǎn)、縮放等圖像的非平移運(yùn)動。 通過對比可以看出，本發(fā)明提出的基于SIFT特征匹配的目標(biāo)檢測方法相對于傳統(tǒng)的基于圖 像塊匹配檢測方法平均提升檢測速度31.26%。
[0082]表1兩種檢測方法運(yùn)行時間比較
[0083]
[0084] 圖2展示了本發(fā)明改進(jìn)的RANRAC方法與傳統(tǒng)的RANRAC方法在相同實(shí)驗(yàn)條件下計(jì)算 所用時間的對比圖。其中，橫坐標(biāo)為數(shù)據(jù)的錯誤率(單位為百分比），縱坐標(biāo)為兩種方法所用 的計(jì)算時間（單位為秒），相同的實(shí)驗(yàn)條件是置信概率為99%，預(yù)檢樣本數(shù)為15,預(yù)檢通過率 80%，數(shù)據(jù)錯誤率為模擬數(shù)據(jù)的錯誤率。從圖中可以看出，隨著數(shù)據(jù)錯誤率百分比的增加， 本發(fā)明改進(jìn)的RANRAC方法所用計(jì)算時間比傳統(tǒng)的RANRAC方法顯著減少，從而節(jié)約了大量計(jì) 算時間。
[0085]圖3展示的是本發(fā)明改進(jìn)的RANRAC方法比傳統(tǒng)的RANRAC方法計(jì)算速度提高的程 度。其中，橫坐標(biāo)為數(shù)據(jù)錯誤率的百分比，縱坐標(biāo)為改進(jìn)的RANRAC方法計(jì)算速度提高的百分 比。在不同錯誤率下，改進(jìn)的RANRAC方法計(jì)算速度提高相對程度在25 %~40 %之間，從結(jié)果 顯示可以看出，本發(fā)明改進(jìn)的RANRAC方法比傳統(tǒng)的RANRAC方法在計(jì)算效率上有相當(dāng)程度的 提尚。
[0086]圖4展示了本發(fā)明基于SIFT特征匹配的目標(biāo)檢測方法與傳統(tǒng)的基于圖像塊匹配檢 測方法的實(shí)驗(yàn)檢測效果圖。采用三種不同環(huán)境、光照、背景的標(biāo)準(zhǔn)視頻測試序列，標(biāo)準(zhǔn)序列1 名稱Foreman，圖像分辨率352 X 288，大小36MB、標(biāo)準(zhǔn)序列2名稱Coastguard，圖像分辨率352 \288，大小401?、標(biāo)準(zhǔn)序列3名稱5七6€&11，圖像分辨率352\288，大小37]\?，圖（3)、（13)、（ 8) 和(h)是原始圖像幀，它們分別是原圖像序列的第25幀、第30幀、第38幀和第56幀，其中（g) 和(h)為同種標(biāo)準(zhǔn)序列的對比圖像幀；圖（c)、（d)、（i)和（j)為傳統(tǒng)的基于圖像塊匹配檢測 方法檢測效果圖；圖（e)、（f)、（k)和(m)為本發(fā)明基于SIFT特征匹配的目標(biāo)檢測方法的檢測 效果圖。通過對比可以明顯看到，傳統(tǒng)的基于圖像塊匹配目標(biāo)檢測方法檢測的目標(biāo)圖像較 為模糊，輪廓有殘缺，背景中的干擾沒有完全去除。這是因?yàn)閿z像機(jī)的運(yùn)動不只是平移，還 進(jìn)行了快速旋轉(zhuǎn)，在復(fù)雜的運(yùn)動情況下，傳統(tǒng)的方法已經(jīng)失效。而本發(fā)明基于SIFT特征匹配 的目標(biāo)檢測的方法檢測到的目標(biāo)圖像不但排除了背景干擾，而且圖像更清晰，從而證明了 本發(fā)明基于SIFT特征匹配的目標(biāo)檢測方法非常適合攝像機(jī)在做復(fù)雜運(yùn)動情況下的目標(biāo)檢 測。
[0087] 本發(fā)明所有測試是在PC機(jī)上完成，使用Visual Studio 2012，PC機(jī)配置：CHJ是 intel core i7@3.60G，顯卡型號是AMD Radeon(TM)R5 240〇
【主權(quán)項(xiàng)】
1. 一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測方法，其特征在于，實(shí)現(xiàn)步驟如下： 步驟一：對目標(biāo)圖像進(jìn)行SIFT(Scale Invariant Feature Transform,尺度不變特征 變換)特征提取，提取圖像序列中的SIFT特征點(diǎn)； SIFT特征提取包括:從圖像中提取局部特征，在尺度空間尋找極值點(diǎn)，初步定位特征 點(diǎn)，準(zhǔn)確定位特征點(diǎn)，確定特征點(diǎn)方向，生成關(guān)鍵點(diǎn)描述算子； 步驟二:對步驟一得到的圖像SIFT特征點(diǎn)進(jìn)行快速準(zhǔn)確匹配； 步驟2.1，根據(jù)動態(tài)場景的特點(diǎn)構(gòu)建全局運(yùn)動模型及運(yùn)動參數(shù)，參數(shù)模型采用8參數(shù)旋 轉(zhuǎn)模型，利用步驟一得出第t-1帖的特征點(diǎn)集合出-1，對圖像中相鄰兩帖分別捜索特征點(diǎn)，找 出第t帖所有特征點(diǎn)集Ht,n，保存在特征點(diǎn)集合Ht中，并用Ht-i和Ht進(jìn)行匹配并建立匹配點(diǎn)對 集合Ft; 模型變換矩陣的表達(dá)式為：步驟2.2,利用改進(jìn)的RANRAC(Random Sample Consensus,隨機(jī)抽樣一致）方法去除步 驟2.1產(chǎn)生的匹配點(diǎn)對集Ft中存在的誤匹配點(diǎn)，再用最小二乘法求出第t帖的參數(shù)矩陣It。對 第t-1帖圖像做同樣處理，然后對圖像中攝像機(jī)旋轉(zhuǎn)運(yùn)動進(jìn)行補(bǔ)償，得到殘差圖像Pb;通過 改進(jìn)RANRAC模型參數(shù)選取，選擇透視投影變換作為圖像變換模型，線性求解模型8個參數(shù)， 采用最小二乘法求解該矩陣參數(shù);通過選擇少數(shù)最優(yōu)匹配點(diǎn)作為觀察數(shù)據(jù)集代表，在其中 隨機(jī)抽取初始樣本數(shù)據(jù)得到初始模型參數(shù)更接近于真實(shí)值，并且實(shí)現(xiàn)了用較少的迭代次數(shù) 得到較真實(shí)的矩陣參數(shù)，估計(jì)模型參數(shù)的理想情況是捜索所有可能性，但計(jì)算量太大，實(shí)際 通過確定一個適當(dāng)采樣次數(shù)，使匹配點(diǎn)是內(nèi)點(diǎn)的概率足夠高即可； 模型變換矩陣的表達(dá)式為：模型選取方式改進(jìn)為增加臨時模型預(yù)檢測，對每個模型參數(shù)檢驗(yàn)之前，首先隨機(jī)抽取 少量的數(shù)據(jù)對模型參數(shù)預(yù)檢驗(yàn)，如果通過預(yù)檢驗(yàn)，則進(jìn)入后續(xù)的檢驗(yàn)，否則運(yùn)個模型不再參 與后續(xù)的全數(shù)據(jù)檢驗(yàn)。采用此臨時模型預(yù)檢測方式，節(jié)約運(yùn)行時間，提高計(jì)算的效率； 步驟2.3,判斷從步驟2.1得到的特征點(diǎn)集出中的特征點(diǎn)數(shù)目是否小于最佳匹配值0,若 小于則進(jìn)行特征點(diǎn)更新，將得到的殘差圖像Pb、參數(shù)矩陣It、特征點(diǎn)對集Ft進(jìn)行保存，同時更 新背景;在動態(tài)場景中，由于隨著拍攝視角的不斷變化，圖像的特征也隨之變化，匹配值0的 設(shè)定關(guān)系到最小二乘解的準(zhǔn)確性，如果匹配值0設(shè)置偏大，會造成程序計(jì)算量增大，影響算 法的運(yùn)行效率;如果設(shè)置偏小，則會使圖像平均匹配點(diǎn)數(shù)降低，造成無法得到最小二乘的最 優(yōu)解。根據(jù)多次試驗(yàn)選取最佳匹配值0 = 15; 利用基于殘差圖像的方法把圖像前景區(qū)域進(jìn)行快速標(biāo)記，通過對圖像塊的SAD(Sum of Absolute Difference,絕對殘差和)值排序方式，綜合考慮計(jì)算量和前景標(biāo)記的準(zhǔn)確性，找 到合理的塊參數(shù)大小，并對圖像進(jìn)行及時更新； SAD的計(jì)算方法：步驟2.4,本發(fā)明提出基于預(yù)測的特征點(diǎn)匹配方法，根據(jù)得到當(dāng)前帖的特征點(diǎn)合理推測 出下一帖的特征點(diǎn)，如此使匹配在限制的范圍內(nèi)進(jìn)行，縮小捜索范圍，達(dá)到快速匹配的目 的，最后，利用最近鄰和次近鄰特征點(diǎn)的比值關(guān)系驗(yàn)證匹配準(zhǔn)確性，完成圖像的配準(zhǔn)； 本發(fā)明將最近鄰和次近鄰特征點(diǎn)的距離限定在一個特定范圍內(nèi)進(jìn)行查詢，W增加次小 距離的方法減小運(yùn)一比值，有效增加正確匹配特征點(diǎn)的數(shù)量，達(dá)到特征匹配準(zhǔn)確的目的； 最近鄰和次近鄰特征點(diǎn)歐式距離的比值關(guān)系：步驟Ξ:利用步驟二所配準(zhǔn)的圖像，通過差分目標(biāo)分割法實(shí)現(xiàn)對運(yùn)動目標(biāo)的檢測，通過 后期處理得到前景目標(biāo)輪廓，將前景目標(biāo)輪廓進(jìn)行填充得到完整的運(yùn)動目標(biāo)。2. 根據(jù)權(quán)利要求1所述的一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測，其特征在于，步驟二 中所述的構(gòu)建全局運(yùn)動模型及運(yùn)動參數(shù)，具體是:首先為攝像機(jī)的運(yùn)動建立運(yùn)動模型，通過 模型的求解得到全局運(yùn)動參數(shù)，運(yùn)動目標(biāo)的檢測需要消除攝像機(jī)的移動的影響，旋轉(zhuǎn)模型 能夠很好描述旋轉(zhuǎn)角度較大的情況，故采用8參數(shù)旋轉(zhuǎn)模型。3. 根據(jù)權(quán)利要求1所述的一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測，其特征在于，步驟二 中所述的改進(jìn)RANRAC模型參數(shù)選取和模型選取方式，具體是:通過選擇少數(shù)最優(yōu)匹配點(diǎn)作 為觀察數(shù)據(jù)集代表，在隨機(jī)抽取初始樣本數(shù)據(jù)得到初始模型參數(shù)，使匹配點(diǎn)是內(nèi)點(diǎn)的概率 足夠高;增加臨時模型預(yù)檢測，隨機(jī)抽取少量的數(shù)據(jù)對模型參數(shù)預(yù)檢驗(yàn)，如果通過預(yù)檢驗(yàn)， 則進(jìn)入后續(xù)的檢驗(yàn)，如此迭代進(jìn)行，節(jié)約計(jì)算時間，提高計(jì)算的效率。4. 根據(jù)權(quán)利要求1所述的一種基于SIFT特征匹配的運(yùn)動目標(biāo)檢測，其特征在于，步驟二 中所述的利用最近鄰和次近鄰特征點(diǎn)的比值關(guān)系驗(yàn)證匹配準(zhǔn)確性，具體是:通過減小最近 鄰和次近鄰特征點(diǎn)歐式距離的比值，可W有效恢復(fù)正確匹配點(diǎn)數(shù)目，將最近鄰和次近鄰特 征點(diǎn)的距離限定在一個特定范圍內(nèi)進(jìn)行查詢，W增加次小距離的方法減小運(yùn)一比值，通過 限制次近鄰查找區(qū)域的方法可W有效增加正確匹配特征點(diǎn)的數(shù)量。
【文檔編號】G06K9/46GK105976399SQ201610283529
【公開日】2016年9月28日
【申請日】2016年4月29日
【發(fā)明人】艾明晶, 劉銳
【申請人】北京航空航天大學(xué)