專利名稱：基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種基于仿射不變點及光流計
算的目標(biāo)自動識別和跟蹤方法。
背景技術(shù)：
目標(biāo)識別與跟蹤技術(shù)廣泛應(yīng)用于各類系統(tǒng)，例如視頻監(jiān)控系統(tǒng)、圖像搜索系統(tǒng)、醫(yī)療圖像系統(tǒng)、計算機輔助駕駛系統(tǒng)、機器人、智能房間等。實時、穩(wěn)定地識別并跟蹤運動中的目標(biāo)是一件非常困難的任務(wù)，原因在于日益復(fù)雜的外界環(huán)境帶來的圖像噪聲、模糊、光照的變化等給目標(biāo)識別帶來了巨大困難，同時，跟蹤過程中目標(biāo)的姿態(tài)、尺度隨時會發(fā)生變化，這些都將影響著識別、跟蹤算法的穩(wěn)定性。 目標(biāo)識別的主要任務(wù)是通過圖像數(shù)據(jù)提取感興趣的目標(biāo)，并加以識別。目前目標(biāo)識別方法主要分為由下而上的數(shù)據(jù)驅(qū)動型和由上而下的知識驅(qū)動型。由上而下的知識型目標(biāo)識別方法針對圖像中具體類型的目標(biāo)而言，其缺點是代換性和兼容性差，識別目標(biāo)改變，知識要隨之改變。由下而上的數(shù)據(jù)驅(qū)動型目標(biāo)識別方法不考慮目標(biāo)的類型，對圖像進行低層處理，適用面廣，具有較強的代換性。本發(fā)明采用的就是一種由下而上的目標(biāo)識別方法。
在識別成功的基礎(chǔ)上跟蹤目標(biāo)會得到較好的跟蹤效果?？蓪⒛繕?biāo)跟蹤方法按照是否利用了幀間信息，分為基于運動分析的方法和基于圖像匹配的方法。基于運動分析的跟蹤方法完全依靠運動檢測來跟蹤運動的物體，比較典型的有幀差法和光流法。光流跟蹤運用目標(biāo)與背景之間的不同速度來檢測運動目標(biāo)，具有較好的抗噪能力。光流法可以分為連續(xù)光流法和特征光流法。特征光流法是通過序列圖像的特征匹配求得特征點處的光流，通過光流聚類實現(xiàn)目標(biāo)與背景的分離。特征光流法優(yōu)點在于可以處理大的幀間位移，對噪聲的敏感性降低，只處理圖像中很少數(shù)的特征點，計算量較小。本發(fā)明采用的就是一種基于特征光流法的目標(biāo)跟蹤方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種快速、準(zhǔn)確地識別目標(biāo)并進行實時目標(biāo)跟蹤的方法。
實現(xiàn)本發(fā)明目的的技術(shù)解決方案為， 一種基于仿射不變點及光流計算的目標(biāo)識別和跟蹤方法，其步驟為 第一步，目標(biāo)識別首先對目標(biāo)圖像和視頻幀進行圖像預(yù)處理，并提取仿射不變特征點，然后進行特征點匹配，并剔除掉誤匹配的點，當(dāng)特征點的匹配對達(dá)到一定數(shù)量，并且能生成仿射變換矩陣時，確認(rèn)目標(biāo)識別成功。 該步驟提取的特征點對圖像尺度和旋轉(zhuǎn)保持不變，對光線變化、噪聲、仿射變化都具有魯棒性。 第二步，目標(biāo)跟蹤利用上一步采集到的仿射不變點，進行特征光流計算，實現(xiàn)實時目標(biāo)跟蹤；如中間目標(biāo)跟丟，立刻返回第一步，重新進行目標(biāo)識別。 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點是1、本發(fā)明使用的特征點算子是一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子，其匹配精度高，在圖像具有較復(fù)雜的變形(包括幾何變形、分辨率變化和光照變化等)的情況下，仍然可以準(zhǔn)確地匹配到大量的穩(wěn)定點；2、本發(fā)明采用特征光流法進行目標(biāo)跟蹤，可以處理大的幀間位移，對噪聲的敏感性降低，只處理圖像中很少數(shù)的特征點，計算量較小。 圖1為本發(fā)明的基于仿射不變點及光流計算的目標(biāo)識別和跟蹤方法的流程框圖。
圖2為本發(fā)明的基于仿射不變點及光流計算的目標(biāo)識別和跟蹤方法的目標(biāo)圖像。
圖3為本發(fā)明的基于仿射不變點及光流計算的目標(biāo)識別和跟蹤方法的目標(biāo)識別并跟蹤成功的視頻截圖。
具體實施例方式
以下結(jié)合附圖對本發(fā)明的具體內(nèi)容做進一步描述。 本發(fā)明公開了一種基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，該方法包括如下步驟 第一步，目標(biāo)識別首先對目標(biāo)圖像和視頻第一幀進行圖像預(yù)處理，并提取仿射不變特征點，然后進行特征點匹配，并剔除掉誤匹配的點，當(dāng)特征點的匹配對達(dá)到一定數(shù)量，并且能生成仿射變換矩陣時，確認(rèn)目標(biāo)識別成功。若目標(biāo)識別不成功，依次取視頻的下一幀與目標(biāo)圖像進行匹配，直到目標(biāo)識別成功； 第二步，目標(biāo)跟蹤利用視頻本幀采集到的仿射不變點，進行特征光流計算，找到下幀中不變點的位置，實現(xiàn)實時目標(biāo)跟蹤；如中間目標(biāo)跟丟，立刻返回第一步，重新進行目
標(biāo)識別； 這種算法的思想是首先提取圖像和視頻幀中的仿射不變點進行匹配，從而將目標(biāo)識別出來并確定目標(biāo)在視頻幀中的位置，然后利用這些特征點進行光流計算，實現(xiàn)目標(biāo)實時跟蹤。 本發(fā)明基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，在目標(biāo)識別過程中提取仿射不變特征點的步驟如下 第一步，利用高斯巻積核對目標(biāo)圖像及視頻幀進行平滑處理，采用如下公式
"x， y， o ) = G(x， y， o )襯(x， y) 其中L(x， y，。)為平滑處理后尺度空間為。的圖像，G(x， y，。)是高斯函數(shù)，f(x，y)為原來圖像; 第二步，建立圖像尺度空間金字塔。先對原圖像放大一倍，并將此圖像作為高斯尺度空間金字塔第一階的圖像原型，以后每階的圖像原型都由前一階的圖像原型下采
樣得到，大小為前階原型的;。在高斯金字塔中每階相鄰兩個高斯圖像作差即得到高斯
差分(DoG)金字塔。取金字塔第一階第一層圖像尺度坐標(biāo)c7-^ 。金子塔的總階數(shù)為


G(X,)=log2(min(W， h))-2，其中w為原始圖像寬度，h為原始圖像高度； 第三步，將待檢測的圖像中每個像素點與同階上、下層兩幅圖像相鄰的2X9個像素點，以及自己周圍的8個像素點進行比較，找尋極值點，確定為候選特征點；
第四步，去除一些低對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點。采用擬合三維二次函數(shù)來精確特征點的DoG函數(shù)值并去除低對比度的特征點。若DoG圖像中像素點值歸一化
在[O，l]之間，可將所有l(wèi)"(^)|<0.03的點判定為低對比度的侯選極值點而過濾掉。利用圖
像邊緣處的特征點在高斯差分圖像的峰值處與邊緣交叉處有一較大的主曲率值，但在垂直方向曲率較小這個性質(zhì)將邊緣處的低對比度特征點過濾掉；第五步，確定特征點方向。對于一幅圖像f (x， y)，像素點(x， y)處梯度的模值和方向求取如下
<formula>formula see original document page 7</formula> 以特征點為中心的鄰域窗口 (鄰域窗口大小=3X1. 5X特征點尺度)內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個方向認(rèn)為是該特征點的輔方向； 第六步，生成特征點描述字。首先將坐標(biāo)軸旋轉(zhuǎn)為特征點的方向，接下來以特征點為中心取16X16的窗口，在每4X4的小塊上計算8個方向的梯度方向直方圖，得到每個梯度方向的累加值，形成一個種子點，這樣對于一個特征點就可以產(chǎn)生128維的特征向量。再繼續(xù)將特征向量的長度歸一化； 這樣得到的特征點算子是一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性、在圖像具有較復(fù)雜的變形的情況下，可以準(zhǔn)確地匹配到大量的穩(wěn)定點的圖像局部特征描述算子。 本發(fā)明基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，目標(biāo)識別過程中特征點匹配的步驟如下 第一步，如目標(biāo)圖像的特征點共有m個，描述字?jǐn)?shù)組為(A" A2， . . . ， AJ ，待匹配圖像的特征點共有n個，描述字?jǐn)?shù)組為(Bp B2， . . . ， Bn)，對(A， A2， . . . ， Am)建k_d樹，在k_d樹中使用BBF (Best-Bin-First)算法搜索B」(j = 1， . . . ， n)的近鄰特征點Aji = 1，...，m)。如兩個特征點描述字A(a。， ai，......， a127)和B(b。， ......， b127)歐式距離為 "、E(",-6,) 當(dāng)兩幅圖像的特征點描述字間歐式距離d最小時，這兩個特征點就是近鄰特征點，它們稱為一對匹配點； 第二步，利用RANSAC(RANdom SAmple Consensus)隨機抽樣一致性算法消除錯配特征點。步驟為 (1)隨機取4個特征匹配對(A" B》、(A2， B2) 、 (A3， B3) 、 (A4， B4)，計算對應(yīng)的單應(yīng)性矩陣H<formula>formula see original document page 8</formula> (2)特征點& (i = 1， . . . ， 4)用該矩陣對應(yīng)后的點為Ci，如果&和&間的歐式距 離d小于差錯閾值時轉(zhuǎn)第3步操作，否則轉(zhuǎn)第1步操作； (3)對所有可能的特征匹配對檢測是否滿足H，把所有數(shù)據(jù)分為"內(nèi)點"和"外點";
(4)重復(fù)上述1-3步操作N次； (5)找出滿足每次迭代計算出的對應(yīng)矩陣內(nèi)點最多的特征匹配對，這些點即是正 確匹配點，并計算出最終的單應(yīng)性矩陣H ; 正確匹配的特征點個數(shù)必須為4個以上，即能求出單應(yīng)性矩陣H，表明目標(biāo)識別成 功，否則依次取下一幀與目標(biāo)圖像進行目標(biāo)識別。 本發(fā)明基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，目標(biāo)跟蹤的步驟 如下 第一步，由目標(biāo)識別得到的仿射不變特征點建立待跟蹤窗口 W，計算視頻圖像幀間 的灰度差平方和SSD (Sum of Squared intensity Differences)，移動特征窗口 ，重復(fù)幾步， 直到s小于某個閾值，這時認(rèn)為兩幀的特征窗口匹配成功，即在下一幀中找到對應(yīng)特征點 的位置； 第二步，利用RANSAC(RANdom SAmple Consensus)隨機抽樣一致性算法，計算下一 幀圖像的單應(yīng)性矩陣H
^1 &2 ^3 如最后能得到H，則認(rèn)為目標(biāo)跟蹤成功，并消除那些不符合單應(yīng)性矩陣的特征點， 進入再下一幀的目標(biāo)跟蹤；若不能得到H，說明目標(biāo)跟丟，重新進行目標(biāo)識別。
結(jié)合圖1，本發(fā)明一種基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，步 驟如下


孖=
第一步，目標(biāo)識別
寬度為w，高度為h的目標(biāo)圖像f (x， y)，利用公式
L(
x， y，
o) =G(
x， y，
o )承f (x， y)
1
+少
2ct2 進行高斯平滑處理。然后將原圖像放大一倍，并將此圖像作為高斯尺度空間金字 塔第一階的圖像原型，以后每階的圖像原型都由前一階的圖像原型下采樣得到，大小為前
階原型的+。金子塔的總階數(shù)為log2(min(W，h))-2。將圖像中每個像素點與同階上、下層兩
幅圖像相鄰的2X9個像素點，以及自己周圍的8個像素點進行比較，找尋極值點，確定為候
選特征點。采用擬合三維二次函數(shù)來精確特征點的高斯差分函數(shù)值并去除低對比度的特征
點，同時去掉不穩(wěn)定的邊緣響應(yīng)點。 利用點(x， y)處梯度的模值和方向求取公式
8<formula>formula see original document page 9</formula> 求取特征點方向及模值。然后將坐標(biāo)軸旋轉(zhuǎn)為特征點的方向，以特征點為中心取 16X16的窗口，由每個梯度方向的累加值，產(chǎn)生128維的特征向量，并使特征向量的長度歸 一化。 對視頻第一幀進行相同處理，提取特征點，并得到每個特征點的128維特征向量。
以目標(biāo)圖像的特征點建k-d樹，使用BBF(Best-Bin-First)算法搜索視頻幀上的
特征點，要求兩點特征向量的歐式距離cz- a)2最小時，得到一對匹配點。搜索到
所有的匹配點后，利用RANSAC(RANdom SAmple Consensus)隨機抽樣一致性算法消除錯配 特征點，正確匹配的點對大于4個，并能計算出單應(yīng)性矩陣H，從而目標(biāo)在視頻幀中的位置 識別成功，否則識別失敗，在視頻下一幀中重復(fù)識別目標(biāo)。
第二步，目標(biāo)跟蹤 由本幀目標(biāo)識別得到的仿射不變特征點建立待跟蹤窗口 W，采用KLT (Kanade LucasTomasi)算法，計算本幀和下 一 幀視頻圖像間的灰度差平方和SSD (Sum of Squaredintensity Differences)，在下一幀圖像中移動特征窗口 ，與上一幀特征窗口進行 匹配，找到對應(yīng)特征點的位置，如找不到，則剔除那些丟失的特征點。 再采用隨機抽樣一致性算法(RANSAC Random Sample Consensus)對下一幀圖像 中找到的特征點剔除誤匹配的點，并生成單應(yīng)性矩陣。如剩余正確匹配的點個數(shù)大于4個， 并且單應(yīng)性矩陣能夠成功生成，說明目標(biāo)跟蹤成功，否則說明目標(biāo)跟丟，立刻返回第一步， 將下一幀圖像作為當(dāng)前幀，重新進行目標(biāo)識別。 圖2為本發(fā)明的基于仿射不變點及光流計算的目標(biāo)識別和跟蹤方法的目標(biāo)圖像， 圖3為目標(biāo)識別并跟蹤成功的視頻截圖。
9
權(quán)利要求
一種基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，該方法包括如下步驟第一步，目標(biāo)識別首先對目標(biāo)圖像和視頻第一幀進行圖像預(yù)處理，并提取仿射不變特征點，然后進行特征點匹配，并剔除掉誤匹配的點，當(dāng)特征點的匹配對達(dá)到一定數(shù)量，并且能生成仿射變換矩陣時，確認(rèn)目標(biāo)識別成功。若目標(biāo)識別不成功，依次取視頻的下一幀與目標(biāo)圖像進行匹配，直到目標(biāo)識別成功；第二步，目標(biāo)跟蹤利用視頻本幀采集到的仿射不變點，進行特征光流計算，找到下幀中不變點的位置，實現(xiàn)實時目標(biāo)跟蹤；如中間目標(biāo)跟丟，立刻返回第一步，重新進行目標(biāo)識別；這種算法的思想是首先提取圖像和視頻幀中的仿射不變點進行匹配，從而將目標(biāo)識別出來并確定目標(biāo)在視頻幀中的位置，然后利用這些特征點進行光流計算，實現(xiàn)目標(biāo)實時跟蹤。
2. 根據(jù)權(quán)利要求1所述的基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，其特征在于提取仿射不變特征點的步驟如下第一步，利用高斯巻積核對目標(biāo)圖像及視頻幀進行平滑處理，采用如下公式"x，y， 0) =G(X，y， o)承f(x，y)2ttct其中L(x，y， o)為平滑處理后尺度空間為o的圖像，G(x，y，。)是高斯函數(shù)，f(x，y)為原來圖像；第二步，建立圖像尺度空間金字塔。先對原圖像放大一倍，并將此圖像作為高斯尺度空間金字塔第一階的圖像原型，以后每階的圖像原型都由前一階的圖像原型下采樣得到，大小為前階原型的i。在高斯金字塔中每階相鄰兩個高斯圖像作差即得到高斯差分(DoG)金字塔。取金字塔第一階第一層圖像尺度坐標(biāo)o" = ^ 。金子塔的總階數(shù)為log2 (min (w，h)) -2，2其中w為原始圖像寬度，h為原始圖像高度；第三步，將待檢測的圖像中每個像素點與同階上、下層兩幅圖像相鄰的2X9個像素點，以及自己周圍的8個像素點進行比較，找尋極值點，確定為候選特征點；第四步，去除一些低對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點。采用擬合三維二次函數(shù)來精確特征點的DoG函數(shù)值并去除低對比度的特征點。若DoG圖像中像素點值歸一化在[O，l]之間，可將所有|"("|<0.03的點判定為低對比度的侯選極值點而過濾掉。利用圖像邊緣處的特征點在高斯差分圖像的峰值處與邊緣交叉處有一較大的主曲率值，但在垂直方向曲率較小這個性質(zhì)將邊緣處的低對比度特征點過濾掉；第五步，確定特征點方向。對于一幅圖像f(x， y)，像素點(x， y)處梯度的模值和方向求取如下<formula>formula see original document page 2</formula><formula>formula see original document page 3</formula>以特征點為中心的鄰域窗口 (鄰域窗口大小二3X1.5X特征點尺度)內(nèi)采樣，并用直方圖統(tǒng)計鄰域像素的梯度方向。在梯度方向直方圖中，當(dāng)存在另一個相當(dāng)于主峰值80%能量的峰值時，則將這個方向認(rèn)為是該特征點的輔方向；第六步，生成特征點描述字。首先將坐標(biāo)軸旋轉(zhuǎn)為特征點的方向，接下來以特征點為中心取16X16的窗口，在每4X4的小塊上計算8個方向的梯度方向直方圖，得到每個梯度方向的累加值，形成一個種子點，這樣對于一個特征點就可以產(chǎn)生128維的特征向量。再繼續(xù)將特征向量的長度歸一化；這樣得到的特征點算子是一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性、在圖像具有較復(fù)雜的變形的情況下，可以準(zhǔn)確地匹配到大量的穩(wěn)定點的圖像局部特征描述算子。
3.根據(jù)權(quán)利要求1所述的基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，其特征在于特征點匹配的步驟如下第一步，如目標(biāo)圖像的特征點共有m個，描述字?jǐn)?shù)組為(A" A2， . . . ， AJ，待匹配圖像的特征點共有n個，描述字?jǐn)?shù)組為(Bp B2， . . . ， Bn)，對(An A2， . . . ， Am)建k_d樹，在k_d樹中使用BBF (Best-Bin-First)算法搜索B」(j = 1， . . . ， n)的近鄰特征點At (i = 1， . . . ， m)。如兩個特征點描述字A(a。， ai，......， a127)和B(b。， bp......， b127)歐式距離為<formula>formula see original document page 3</formula>當(dāng)兩幅圖像的特征點描述字間歐式距離d最小時，這兩個特征點就是近鄰特征點，它們稱為一對匹配點；第二步，利用RANSAC(RANdom SAmple Consensus)隨機抽樣一致性算法消除錯配特征點，步驟為(1)隨機取4個特征匹配對(A" B》、(A2， B2) 、 (A3， B3) 、 (A4， B4)，計算對應(yīng)的單應(yīng)性矩陣<formula>formula see original document page 3</formula>.，4)用該矩陣對應(yīng)后的點為Ci，如果Ai和&間的歐式距離d小于差錯閾值時轉(zhuǎn)第3步操作，否則轉(zhuǎn)第1步操作；(3) 對所有可能的特征匹配對檢測是否滿足H，把所有數(shù)據(jù)分為"內(nèi)點"和"外點"；(4) 重復(fù)上述1-3步操作N次；(5) 找出滿足每次迭代計算出的對應(yīng)矩陣內(nèi)點最多的特征匹配對，這些點即是正確匹配點，并計算出最終的單應(yīng)性矩陣H ;正確匹配的特征點個數(shù)必須為4個以上，即能求出單應(yīng)性矩陣H，表明目標(biāo)識別成功，否則依次取下一幀與目標(biāo)圖像進行目標(biāo)識別。
4.根據(jù)權(quán)利要求1所述的基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法，其特征在于目標(biāo)跟蹤的步驟如下第一步，由目標(biāo)識別得到的仿射不變特征點建立待跟蹤窗口 w，計算視頻圖像幀間的灰度差平方和SSD(Sum of Squared intensity Differences)，移動特征窗口 ，重復(fù)幾步，直到s小于某個閾值，這時認(rèn)為兩幀的特征窗口匹配成功，即在下一幀中找到對應(yīng)特征點的位置；第二步，利用RANSAC(RANdom SAmple Consensus)隨機抽樣一致性算法，計算下一幀圖像的單應(yīng)性矩陣H//= &如最后能得到H，則認(rèn)為目標(biāo)跟蹤成功，并消除那些不符合單應(yīng)性矩陣的特征點，進入再下一幀的目標(biāo)跟蹤；若不能得到H，說明目標(biāo)跟丟，重新進行目標(biāo)識別。
全文摘要
本發(fā)明公開了一種基于仿射不變點及光流計算的目標(biāo)自動識別和跟蹤方法。首先對目標(biāo)圖像和視頻幀進行圖像預(yù)處理，并提取仿射不變特征點，然后進行特征點匹配，并剔除掉誤匹配的點，當(dāng)特征點的匹配對達(dá)到一定數(shù)量，且能生成仿射變換矩陣時，確認(rèn)目標(biāo)識別成功。然后利用上一步采集到的仿射不變點，進行特征光流計算，實現(xiàn)實時目標(biāo)跟蹤；如中間目標(biāo)跟丟，立刻返回第一步，重新進行目標(biāo)識別。本發(fā)明使用的特征點算子是一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子；而采用的特征光流計算方法法，計算量較小、準(zhǔn)確度高，能實現(xiàn)實時跟蹤。本發(fā)明廣泛應(yīng)用于視頻監(jiān)控、圖像搜索、計算機輔助駕駛系統(tǒng)、機器人等領(lǐng)域。
文檔編號G06K9/00GK101770568SQ20081024320
公開日2010年7月7日 申請日期2008年12月31日 優(yōu)先權(quán)日2008年12月31日
發(fā)明者戴躍偉, 曹騮, 茅耀斌, 項文波 申請人:南京理工大學(xué)