專利名稱：基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法
技術(shù)領(lǐng)域：
本發(fā)明屬于動(dòng)態(tài)圖像分析技術(shù)領(lǐng)域，涉及一種基于全方位視覺(jué)的目標(biāo)識(shí)別和定位
方法。
背景技術(shù)：
動(dòng)態(tài)圖像分析的基本任務(wù)是從圖像序列中檢測(cè)出運(yùn)動(dòng)信息，識(shí)別與跟蹤運(yùn)目標(biāo)。 它涉及到圖像處理、圖像分析、人工智能與模式識(shí)別、計(jì)算機(jī)視覺(jué)等究領(lǐng)域，是圖像處理與 計(jì)算機(jī)視覺(jué)鄰域中一個(gè)非常活躍的分支，在工業(yè)生產(chǎn)、療衛(wèi)生、國(guó)防建設(shè)等領(lǐng)域得到了廣泛 應(yīng)用，因此對(duì)它的研究具有十分重要的實(shí)意義。 為了識(shí)別運(yùn)動(dòng)目標(biāo)并實(shí)現(xiàn)對(duì)其跟蹤，人們通常采用光流場(chǎng)的方法，從實(shí)時(shí)采集的 含有運(yùn)動(dòng)目標(biāo)的圖像序列中抽取光流場(chǎng)，篩選出光流較大的運(yùn)動(dòng)目標(biāo)區(qū)域并計(jì)算出運(yùn)動(dòng)目 標(biāo)的速度矢量，從而實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的跟蹤。 以往的基于光流的目標(biāo)檢測(cè)方法主要分為兩類(1)利用微分光流技術(shù)即利用光 流的基本方程，附加一定的約束，得到致密的光流場(chǎng)，再提取運(yùn)動(dòng)目標(biāo)。此方法的不足在于 計(jì)算量較大，實(shí)時(shí)性不強(qiáng)。(2)用特征光流技術(shù)，在圖像中尋找特征點(diǎn)進(jìn)行匹配，得到稀疏 光流場(chǎng)，提取目標(biāo)這種方法的實(shí)時(shí)性得到了提高，但信息量不足，容易造成目標(biāo)的漏檢。而 在目標(biāo)跟蹤方面，以往的做法常常將其分離開(kāi)來(lái)，在實(shí)現(xiàn)檢測(cè)后，再基于目標(biāo)的特征進(jìn)行跟 蹤，這樣做便增加了算法處理的復(fù)雜度，在目標(biāo)的進(jìn)入和退出時(shí)帶來(lái)復(fù)雜的處理過(guò)程。
發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提出了一種在全方位視覺(jué)下 機(jī)動(dòng)目標(biāo)識(shí)別跟蹤的有效方法。該方法能夠提高識(shí)別和跟蹤的實(shí)時(shí)性及魯棒性，使移動(dòng)機(jī) 器人具有陸標(biāo)自主導(dǎo)航和機(jī)動(dòng)目標(biāo)跟蹤的綜合功能。
本發(fā)明采用的技術(shù)方案如下 —種基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，包括下列步驟 步驟1 :獲取全方位視覺(jué)序列圖像，對(duì)該序列圖像進(jìn)行預(yù)處理，得到把運(yùn)動(dòng)目標(biāo)和
背景區(qū)分開(kāi)來(lái)二值圖像； 步驟2 :用光流法進(jìn)行局部區(qū)域搜索，進(jìn)行圖像相鄰幀間特征點(diǎn)的匹配，檢測(cè)出圖 像序列的運(yùn)動(dòng)目標(biāo)； 步驟3 :通過(guò)粒子濾波算法對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在后續(xù)幀中 的參數(shù)，完成跟蹤過(guò)程。 作為優(yōu)選實(shí)施方式，上述的基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，其中的 步驟2按照下列方法執(zhí)行，設(shè)運(yùn)動(dòng)圖像函數(shù)f(x， y，)是關(guān)于變量x、y的連續(xù)函數(shù)，時(shí)刻t 時(shí)，圖像上一點(diǎn)a二 (x，y)處的灰度值為ft(x，y，)，在時(shí)刻t+At時(shí)，該點(diǎn)這一點(diǎn)運(yùn)動(dòng)到新 位置，其在圖像上的位置變?yōu)?x+ A x， y+ A y)，灰度值記為ft+At (x+ A x， y+ A y)，匹配的目的 就是尋求a的對(duì)應(yīng)點(diǎn)，使ft(x，y) = ft+At(x+Ax，y+Ay)，并使點(diǎn)a = (x，y)在設(shè)定的MXN的鄰域內(nèi)，最小均方誤差MSE(Ax， Ay)最小，能使MSE(Ax， Ay)最小的即為最優(yōu)匹配點(diǎn) opt = ( Ax， Ay)， 令f = ft(x，y)-ft+At(x，y)，V/ =[-,-]為像素點(diǎn)(Ax， Ay)的梯度，
<formula>formula see original document page 5</formula> 令"ZZVfT ，F(xiàn)二ZZ/，求得最優(yōu)匹配點(diǎn)opt = (Ax， Ay) = U— ，
m=l w=l m=l w=l
通過(guò)在圖像中尋找特征點(diǎn)進(jìn)行匹配，檢測(cè)出圖像序列的運(yùn)動(dòng)目標(biāo)；
其中的步驟3按照下列方法執(zhí)行 (1)根據(jù)第二步的結(jié)果，對(duì)初始目標(biāo)進(jìn)行定位，并獲取目標(biāo)的初始運(yùn)動(dòng)參數(shù) Pinit = (Pinitx，Pinity)，設(shè)每個(gè)粒子代表一種可能的運(yùn)動(dòng)狀態(tài)，取粒子數(shù)為N，粒子的
初始權(quán)值Wi = 1，則具有N個(gè)可能的運(yùn)動(dòng)狀態(tài)參數(shù)Pi = (PV PS) ， (i G 1， . . . N)。
(2)進(jìn)行粒子重采樣過(guò)程，淘汰權(quán)值較小的粒子，保留權(quán)值較大的粒子； (3)轉(zhuǎn)入粒子濾波算法的迭代過(guò)程從第二幀以后的每一幀中，對(duì)每個(gè)粒子進(jìn)行
系統(tǒng)狀態(tài)轉(zhuǎn)移以及系統(tǒng)觀測(cè)，計(jì)算粒子的權(quán)值，并將所有粒子進(jìn)行加權(quán)以輸出目標(biāo)狀態(tài)的
估計(jì)值，完成跟蹤過(guò)程； 按照下列公式進(jìn)行狀態(tài)轉(zhuǎn)移對(duì)粒子N、有= AP^—一B乂t—!和= Af;i+B^t—p其中，A15 A2， Bp B2為常數(shù)，A取1， B為粒子傳播半徑，W是[-1， 1]內(nèi)的隨機(jī)數(shù)；
按照下列方法進(jìn)行系統(tǒng)觀測(cè) (1)每個(gè)粒子狀態(tài)轉(zhuǎn)移后，利用新的坐標(biāo)和，計(jì)算一個(gè)最小平均絕對(duì)差值函數(shù)
MAD1 ; (2)設(shè)概率密度函數(shù)為p(^lxi)-expf ^yM4^4其中，0為常數(shù)，則各個(gè)粒子 的權(quán)值為<=w(—wOJx:); (3)對(duì)各個(gè)粒子的權(quán)值進(jìn)行歸一化處理w〖=W /1 < ;
,=1 (4)進(jìn)一步最優(yōu)估計(jì)，設(shè)t時(shí)刻的后驗(yàn)概率已知，則跟蹤參數(shù)P表示為 W =|>^,^竹=|>';^之后，可再令1 = t+l，然后返回重采樣。 本發(fā)明的實(shí)質(zhì)性特點(diǎn)是，首先對(duì)全方位視覺(jué)圖像進(jìn)行預(yù)處理，然后用光流法在圖 像中尋找特征點(diǎn)進(jìn)行匹配，得到稀疏光流場(chǎng)，最后通過(guò)粒子濾波預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在后續(xù)幀中 的參數(shù)，建立相鄰幀間的匹配矩陣，分析匹配矩陣判斷運(yùn)動(dòng)目標(biāo)狀態(tài)，從而有效地跟蹤運(yùn)動(dòng) 目標(biāo)。與現(xiàn)有的方法相比，采用本發(fā)明提出的方法，可以明顯地減少運(yùn)算量并提高準(zhǔn)確率。
圖1本發(fā)明的用于全方位視覺(jué)環(huán)境的光流_粒子復(fù)合識(shí)別跟蹤器的總流程圖。
具體實(shí)施例方式
參見(jiàn)圖l，本發(fā)明的基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，包括下列步驟
步驟1 :獲取全方位視覺(jué)序列圖像，對(duì)圖像進(jìn)行預(yù)處理，把目標(biāo)和背景分離開(kāi)來(lái)， 為后繼的光流場(chǎng)計(jì)算做準(zhǔn)備。通過(guò)高斯低通濾波器將圖像進(jìn)行預(yù)先平滑，然后進(jìn)行梯度銳 化，找到圖像物體的運(yùn)動(dòng)邊緣，為了分割目標(biāo)物體和背景，要進(jìn)行閾值分割。首先通過(guò)直方 圖直接選擇確定一個(gè)閾值，對(duì)于序列圖像采取動(dòng)態(tài)調(diào)整閾值，然后讓圖像各像素點(diǎn)的灰度 值與該閾值進(jìn)行比較，如果大于該閾值，就把該像素點(diǎn)的灰度值置為255 (表示背景)，否則 把該像素點(diǎn)的灰度值置為O(物體)，這樣就把運(yùn)動(dòng)目標(biāo)和背景區(qū)分開(kāi)來(lái)了。經(jīng)過(guò)閾值分割 的圖像就變成了二值圖像，只有0和255兩種灰度值。 步驟2 :用光流法進(jìn)行局部區(qū)域搜索，進(jìn)行圖像相鄰幀間特征點(diǎn)的匹配。 對(duì)序列圖像而言，相鄰幀時(shí)間間隔很小，空間點(diǎn)在相鄰兩幀圖像內(nèi)移動(dòng)不大，前后
幀物體位置相關(guān)性較大。 設(shè)運(yùn)動(dòng)圖像函數(shù)f(x，y)是關(guān)于變量x、y的連續(xù)函數(shù)。設(shè)時(shí)刻t時(shí)，圖像上一點(diǎn)a =(x， y)處的灰度值為ft(x， y)，在時(shí)刻t+At時(shí)，這一點(diǎn)運(yùn)動(dòng)到新位置，其在圖像上的位 置變?yōu)?x+ A x， y+ A y)，灰度值記為ft+At (x+ A x， y+ A y)，匹配的目的就是尋求a的對(duì)應(yīng)點(diǎn)，
讓它與ft(x，y，)相等，即
ft(x， y) = ft+At(x+AX， y+Ay) (1)
并使點(diǎn)a = (x， y)在設(shè)定的mXn的鄰域內(nèi)，最小均方誤差MSE ( A x， Ay)最小
TV 2
H/x^ 、；rl "f*../、7" A 、r t ■ At、 I
(2)
1 M TV 2
應(yīng)(Ax， A力=S [ft(x, y) -ft + At(x + Ax, y + Ay)〗
=1 =1
能使MSE(Ax， Ay)最小的即為最優(yōu)匹配點(diǎn)opt = (Ax， Ay)。 令MSE(Ax， Ay)對(duì)(Ax， Ay)的一階導(dǎo)數(shù)為零
~~^~~^^ I (Ax, A力=，二 (0,0)
由(2)，可得
2
3(Ax,Ay) 層一,用泰勒公式展開(kāi)
2] S [ft(x, y) -ft+At(x+Ax， y+Ay)]'
5ft + At 5ft + At
3Ax 3Ay
(4)
丄XZ
3( Ax， A力
(5) 令f = ft(X，y)-ft+At(X，y)
ft(x,y)-ft +At(x,y)陽(yáng)
3ft + At 3ft + At
3Ax ' 3Ay
3ft + At 5ft + At
3Ax 3Ay
6
Lt + At.
▽/ =[-,-]為像素點(diǎn)(Ax， Ay)的梯度，
3Ax 3Ay
又因?yàn)関y^v,二i
上式可化簡(jiǎn)為<formula>formula see original document page 7</formula>
(7)
<formula>formula see original document page 7</formula>
<formula>formula see original document page 7</formula>
可得最優(yōu)匹配點(diǎn)opt = ( Ax， Ay) = U—
通過(guò)在圖像中尋找特征點(diǎn)進(jìn)行匹配，檢測(cè)出圖像序列的運(yùn)動(dòng)目標(biāo)。 步驟3 :利用目標(biāo)的有效特征，通過(guò)粒子濾波算法對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，預(yù)測(cè) 運(yùn)動(dòng)目標(biāo)在后續(xù)幀中的參數(shù)，完成跟蹤過(guò)程。 首先進(jìn)行粒子初始化，對(duì)初始目標(biāo)塊進(jìn)行定位，得到粒子wk的模板，如手工初始 化，自動(dòng)初始化等等，之后再獲取目標(biāo)Wk的初始狀態(tài)，即它出現(xiàn)的初始時(shí)刻的狀態(tài)pin"=
(Pinitx， Pinity)，取粒子數(shù)為N (每個(gè)粒子代表一種可能的運(yùn)動(dòng)狀態(tài))，設(shè)粒子的初始權(quán)值Wi = l，則具有N個(gè)可能的運(yùn)動(dòng)狀態(tài)參數(shù)pi = (P、， Piy) (i G 1， ...N)，其中pi可選擇pin"周圍
一定范圍內(nèi)的點(diǎn)。 然后行粒子重采樣過(guò)程，淘汰權(quán)值較小的粒子，保留權(quán)值較大的粒子。 最后，預(yù)設(shè)迭代次數(shù)，轉(zhuǎn)入粒子濾波算法的迭代過(guò)程。從第二幀以后的每一幀中，
對(duì)每個(gè)粒子進(jìn)行系統(tǒng)狀態(tài)轉(zhuǎn)移以及系統(tǒng)觀測(cè)，計(jì)算粒子的權(quán)值，并將所有粒子進(jìn)行加權(quán)以
輸出目標(biāo)狀態(tài)的估計(jì)值。 狀態(tài)轉(zhuǎn)移對(duì)粒子N、有 P; = A^ixt—,B^V! (8) P; = A2pixt—^B^V! (9) 其中，A" A2， Bp B2為常數(shù)， 一般A取1 ， B為粒子傳播半徑(系統(tǒng)狀態(tài)轉(zhuǎn)移過(guò)程中， 粒子所能夠傳播的范圍)，w是[-l，l]內(nèi)的隨機(jī)數(shù)。 系統(tǒng)觀測(cè)每個(gè)粒子狀態(tài)轉(zhuǎn)移后，即可用對(duì)應(yīng)新坐標(biāo)計(jì)算一個(gè)MAD、設(shè)概率密度函
數(shù)為<formula>formula see original document page 7</formula> (10) 其中，o為常數(shù)，MAD為最小平均絕對(duì)差值函數(shù)。<formula>formula see original document page 7</formula> 則各個(gè)粒子的權(quán)值為<formula>formula see original document page 7</formula>
<formula>formula see original document page 8</formula>(12)
進(jìn)一步最優(yōu)估計(jì)，設(shè)t時(shí)刻的后驗(yàn)概率已知，則跟蹤參數(shù)p可表示為 <formula>formula see original document page 8</formula>之后，可再令t = t+l，然后返回重采樣。
權(quán)利要求
一種基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，包括下列步驟步驟1獲取全方位視覺(jué)序列圖像，對(duì)該序列圖像進(jìn)行預(yù)處理，得到把運(yùn)動(dòng)目標(biāo)和背景區(qū)分開(kāi)來(lái)二值圖像；步驟2用光流法進(jìn)行局部區(qū)域搜索，進(jìn)行圖像相鄰幀間特征點(diǎn)的匹配，檢測(cè)出圖像序列的運(yùn)動(dòng)目標(biāo)；步驟3通過(guò)粒子濾波算法對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在后續(xù)幀中的參數(shù)，完成跟蹤過(guò)程。
2. 根據(jù)權(quán)利要求1所述的基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，其中的步驟2按照下列方法執(zhí)行，設(shè)運(yùn)動(dòng)圖像函數(shù)f (x， y，)是關(guān)于變量x、y的連續(xù)函數(shù)，時(shí)刻t時(shí)，圖像上一點(diǎn)&= (x，y)處的灰度值為ft(x，y，)，在時(shí)刻t+At時(shí)，該點(diǎn)這一點(diǎn)運(yùn)動(dòng)到新位置，其在圖像上的位置變?yōu)?x+ A x， y+ A y)，灰度值記為ft+At (x+ A x， y+ A y)，匹配的目的就是尋求a的對(duì)應(yīng)點(diǎn)，使ft(x， y) =ft+At(x+Ax， y+Ay)，并使點(diǎn)a二 (x， y)在設(shè)定的MXN的鄰域內(nèi)，最小均方誤差MSE(Ax， Ay)最小，能使MSE(Ax， Ay)最小的即為最優(yōu)匹配點(diǎn)opt =(△x， Ay)，令f = ft(x， y)-ft+At(x， y)，V/ =[-,-]為像素點(diǎn)(Ax， Ay)的梯度，a/ tv 似 wW=l rt=l 附=1 w=l令"^Z2]VfT ,二SZ/，求得最優(yōu)匹配點(diǎn)opt = (Ax， Ay) =U— ，通過(guò)w=l w=l 附-l w=l在圖像中尋找特征點(diǎn)進(jìn)行匹配，檢測(cè)出圖像序列的運(yùn)動(dòng)目標(biāo)。
3. 根據(jù)權(quán)利要求1所述的基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，其中的步驟3按照下列方法執(zhí)行(1) 根據(jù)第二步的結(jié)果，對(duì)初始目標(biāo)進(jìn)行定位，并獲取目標(biāo)的初始運(yùn)動(dòng)參數(shù)Pinit =(Pinitx， Pin"y)，設(shè)每個(gè)粒子代表一種可能的運(yùn)動(dòng)狀態(tài)，取粒子數(shù)為N，粒子的初始權(quán)值Wi =l，則具有N個(gè)可能的運(yùn)動(dòng)狀態(tài)參數(shù)pi = (P^piy)， (i g l，...N)。(2) 進(jìn)行粒子重采樣過(guò)程，淘汰權(quán)值較小的粒子，保留權(quán)值較大的粒子；(3) 轉(zhuǎn)入粒子濾波算法的迭代過(guò)程從第二幀以后的每一幀中，對(duì)每個(gè)粒子進(jìn)行系統(tǒng)狀態(tài)轉(zhuǎn)移以及系統(tǒng)觀測(cè)，計(jì)算粒子的權(quán)值，并將所有粒子進(jìn)行加權(quán)以輸出目標(biāo)狀態(tài)的估計(jì)值，完成跟蹤過(guò)程。
4. 根據(jù)權(quán)利要求3所述的基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，按照下列公式進(jìn)行狀態(tài)轉(zhuǎn)移對(duì)粒子N、有= A^;—一BVV丄和= Af;—,B,Vp其中，A" A2，B2為常數(shù)，A取l，B為粒子傳播半徑，w是[-l，l]內(nèi)的隨機(jī)數(shù)。
5. 根據(jù)權(quán)利要求4所述的基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，按照下列方法進(jìn)行系統(tǒng)觀測(cè)(1)每個(gè)粒子狀態(tài)轉(zhuǎn)移后，利用新的坐標(biāo)和，計(jì)算一個(gè)最小平均絕對(duì)差值函數(shù)MADi ;(2) 設(shè)概率密度函數(shù)為<formula>formula see original document page 3</formula>其中，o為常數(shù)，則各個(gè)粒子的權(quán)值為，<formula>formula see original document page 3</formula>(3) 對(duì)各個(gè)粒子的權(quán)值進(jìn)行歸一化處理;<formula>formula see original document page 3</formula>(4) 進(jìn)一步最優(yōu)估計(jì)，設(shè)t時(shí)刻的后驗(yàn)概率已知，則跟蹤參數(shù)P表示為<formula>formula see original document page 3</formula>之后，可再令t = t+i，然后返回重采樣。
全文摘要
本發(fā)明屬于動(dòng)態(tài)圖像分析技術(shù)領(lǐng)域，涉及一種基于全方位視覺(jué)的動(dòng)態(tài)目標(biāo)識(shí)別和定位方法，包括步驟1獲取全方位視覺(jué)序列圖像，對(duì)該序列圖像進(jìn)行預(yù)處理，得到把運(yùn)動(dòng)目標(biāo)和背景區(qū)分開(kāi)來(lái)二值圖像；步驟2用光流法進(jìn)行局部區(qū)域搜索，進(jìn)行圖像相鄰幀間特征點(diǎn)的匹配，檢測(cè)出圖像序列的運(yùn)動(dòng)目標(biāo)；步驟3通過(guò)粒子濾波算法對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，預(yù)測(cè)運(yùn)動(dòng)目標(biāo)在后續(xù)幀中的參數(shù)，完成跟蹤過(guò)程。采用本發(fā)明提出的方法進(jìn)行動(dòng)態(tài)目標(biāo)識(shí)別和定位，可以明顯地減少運(yùn)算量并提高準(zhǔn)確率。
文檔編號(hào)G06T7/20GK101714256SQ200910228580
公開(kāi)日2010年5月26日 申請(qǐng)日期2009年11月13日 優(yōu)先權(quán)日2009年11月13日
發(fā)明者丁承君, 張明路, 段萍, 王南 申請(qǐng)人:河北工業(yè)大學(xué)