本發(fā)明屬于視頻圖像跟蹤技術(shù)領(lǐng)域，涉及一種多型視覺傳感協(xié)同目標(biāo)跟蹤方法。

背景技術(shù)：

隨著科技的發(fā)展和社會(huì)的進(jìn)步，人們對(duì)安全的要求也不斷提高，在國防軍事，交通管理，行為分析等方面各式各樣的視覺傳感監(jiān)控系統(tǒng)有著巨大的應(yīng)用前景，在這些應(yīng)用中需要觀測的場景的范圍非常大，單個(gè)視覺傳感器已經(jīng)無法覆蓋，這時(shí)就需要多個(gè)視覺傳感來實(shí)現(xiàn)大范圍的觀測工作。

對(duì)于多攝像機(jī)的目標(biāo)跟蹤來說，目標(biāo)匹配是其中的關(guān)鍵技術(shù)，目標(biāo)匹配的依據(jù)分為以下兩種：(1)自身特征的一致性，主要是根據(jù)目標(biāo)的顏色、形狀等信息進(jìn)行目標(biāo)匹配，但由于不同的攝像機(jī)的視角不同、場景光照的不同，觀測到的這類特征存在著較大的差異，雖然學(xué)者們提出亮度轉(zhuǎn)移函數(shù)能夠在一定程度上減小亮度帶來的影響，但是可靠性較低；(2)攝像機(jī)幾何約束，通過對(duì)單個(gè)攝像機(jī)的標(biāo)定或多個(gè)攝像機(jī)間關(guān)系的確定，來定位目標(biāo)的空間位置，它的匹配度比其他目標(biāo)匹配方法在有重疊區(qū)域的情況下要高。

幾何約束中常用的方法有單應(yīng)性和對(duì)極幾何，單應(yīng)性描述的是同一個(gè)平面上的點(diǎn)，在兩幅視圖上的像點(diǎn)之間存在一一對(duì)應(yīng)的映射關(guān)系，單應(yīng)性可以準(zhǔn)確的定位到目標(biāo)在圖像中的坐標(biāo)位置，但必須滿足目標(biāo)運(yùn)動(dòng)在同一個(gè)平面的這一假設(shè)條件，此外常會(huì)遇到計(jì)算量大，無法有效解決遮擋等問題。對(duì)極幾何描述的是兩幅視圖之間的幾何映射關(guān)系，本質(zhì)上就是對(duì)極平面與兩圖像平面相交的幾何對(duì)應(yīng)關(guān)系，對(duì)極幾何能夠表示不同視角下的相機(jī)圖像的對(duì)應(yīng)關(guān)系，由于這種關(guān)系是普遍存在的，通過對(duì)極幾何我們將一幅圖像上的點(diǎn)在另一張圖像上投影出來一條直線，能夠?qū)⑺阉鞣秶档椭烈痪S搜索。

上述協(xié)同跟蹤方法都是建立在傳統(tǒng)攝像機(jī)基礎(chǔ)上的，由于單個(gè)傳統(tǒng)攝像機(jī)視野范圍的限制，多個(gè)傳統(tǒng)攝像機(jī)間的重疊區(qū)域有限，有效協(xié)同區(qū)域狹小；目前還存在多個(gè)全景攝像機(jī)協(xié)同跟蹤，但同樣難解決協(xié)同跟蹤有效區(qū)域狹小，而且成本過高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種多型視覺傳感協(xié)同目標(biāo)跟蹤方法，解決了多攝像機(jī)之間協(xié)同跟蹤有效區(qū)域狹小的問題，實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)目標(biāo)的持續(xù)協(xié)同跟蹤。

本發(fā)明所采用的技術(shù)方案是，多型視覺傳感協(xié)同目標(biāo)跟蹤方法，具體包括以下步驟：

步驟1，利用傳統(tǒng)攝像機(jī)c1和全景攝像機(jī)c2跟蹤相同的目標(biāo)，在c1和c2中分別采用粒子濾波方法預(yù)估計(jì)下一時(shí)刻的目標(biāo)狀態(tài)。

步驟2，建立c1和c2之間的對(duì)極幾何關(guān)系；

步驟3，建立協(xié)同開關(guān)模型，根據(jù)目標(biāo)在c1和c2的視野中的位置，判斷是否啟動(dòng)協(xié)同跟蹤模式；

步驟4，在協(xié)同跟蹤模式中，啟動(dòng)協(xié)同機(jī)制，根據(jù)對(duì)極幾何關(guān)系對(duì)被遮擋目標(biāo)的狀態(tài)進(jìn)行校正與更新；

步驟5，將步驟4處理后的目標(biāo)狀態(tài)作為目標(biāo)當(dāng)前時(shí)刻狀態(tài)，返回步驟2，實(shí)現(xiàn)c1和c2之間運(yùn)動(dòng)目標(biāo)的持續(xù)協(xié)同跟蹤。

步驟1的具體步驟為：

選取同一時(shí)刻c1和c2對(duì)目標(biāo)拍攝出的兩個(gè)畫面，記為圖像a和圖像b；

在c1中，假設(shè)粒子在t時(shí)刻的狀態(tài)滿足：其中，為重要性密度函數(shù)；

粒子局部觀測似然權(quán)重初始化為：其中，為局部觀測似然概率；

預(yù)估計(jì)圖像a中下一時(shí)刻的目標(biāo)狀態(tài)為：

同理，中c2，預(yù)估計(jì)圖像b中下一時(shí)刻的目標(biāo)狀態(tài)為：

其中，i為目標(biāo)編號(hào)，i>1；n為目標(biāo)i中采樣粒子編號(hào)；np是圖像a中所有粒子數(shù)；x表示目標(biāo)的狀態(tài)；z表示目標(biāo)的觀測信息；表示圖像a中目標(biāo)i在t時(shí)刻的狀態(tài)；表示圖像a中目標(biāo)i到t-1時(shí)刻所有的狀態(tài)；表示圖像a中目標(biāo)i在t時(shí)刻的觀測信息；表示圖像a中目標(biāo)i到t時(shí)刻所有的觀測信息；表示圖像b中目標(biāo)i在t時(shí)刻的狀態(tài)；表示圖像b中目標(biāo)i到t時(shí)刻所有的觀測信息；表示圖像b中目標(biāo)i到t-1時(shí)刻所有的狀態(tài)。

步驟2的具體過程為：

在c2中存在雙曲面鏡坐標(biāo)系cm和全景攝像機(jī)坐標(biāo)系co，c1和c2構(gòu)成多型視覺對(duì)極幾何系統(tǒng)，其中增加了傳統(tǒng)攝像機(jī)坐標(biāo)系cp；

雙曲面鏡的方程為：

式中，a、b和c為雙曲面的參數(shù)，滿足a²+b²＝c²；

設(shè)全景攝像機(jī)坐標(biāo)系co內(nèi)一點(diǎn)xo的坐標(biāo)為[xo,yo,zo]^t,若在雙曲面鏡坐標(biāo)系cm中表示，則需要一個(gè)平移變化：

式中，[xm,ym,zm]^t為xo在雙曲面鏡坐標(biāo)系cm中的坐標(biāo)；

設(shè)[qu,qv]^t為xo在圖像b中的坐標(biāo)，則：

式中，q＝[qu,qv，1]^t表示[qu,qv]^t的齊次坐標(biāo)，ko為c2的內(nèi)部參數(shù)，通過標(biāo)定得到；

連接c1的投影中心op和c2的投影中心om得到基線，基線與圖像a交于極點(diǎn)ep，基線與雙曲面鏡交于em，em在圖像b中投影為極點(diǎn)eo，mp為目標(biāo)x在圖像a中的投影，mo為目標(biāo)x在圖像b中的投影，由x、op和om確定外極平面，mp、mm、op、om位于外極平面上；

設(shè)r和t分別為cp和cm之間的旋轉(zhuǎn)矩陣和平移矩陣，在多型視覺對(duì)極幾何系統(tǒng)中存在本質(zhì)矩陣e＝sr，其中：

s為t中平移向量的斜對(duì)稱矩陣，平移向量為[tx,ty,tz]^t；

目標(biāo)x在傳統(tǒng)攝像機(jī)坐標(biāo)系cp和雙曲面鏡坐標(biāo)系cm下的坐標(biāo)分別為xp和xm，則：

設(shè)[up,vp]^t為目標(biāo)x在圖像a上投影點(diǎn)的坐標(biāo)，那么：

kp為c1的內(nèi)部參數(shù)矩陣，[up,vp,1]^t為[up,vp]^t的齊次坐標(biāo)；

定義外極平面的法向量n＝[p,q,s]^t，在多型視覺對(duì)極幾何系統(tǒng)中有：

.n＝e×xp(9)

設(shè)pm＝[xm,ym,zm]^t為外極平面和雙曲面鏡的交線l上一點(diǎn)xl的坐標(biāo)，可得：

pxm+qym+szm＝0(10)

聯(lián)立式(3)和式(10)，得到交線l的方程：

交線l用矩陣乘法表示為：

將pm從雙曲面鏡坐標(biāo)系cm變換至全景攝像機(jī)坐標(biāo)系co上：

將點(diǎn)xl投影到圖像b上：

聯(lián)立(12)～(14)式，得到目標(biāo)在圖像b上的極線方程lo：

其中，

由x，mp，mm三點(diǎn)共面，點(diǎn)mp落在直線lp上，聯(lián)立式(7)和式(8)，得到目標(biāo)在圖像a上的極線為lp：

步驟3中，建立協(xié)同開關(guān)模型的具體過程為：

c1和c2的跟蹤區(qū)域能夠分為三個(gè)部分：區(qū)域1、區(qū)域2和區(qū)域3；

目標(biāo)位于區(qū)域2時(shí)，只有c1的觀測信息有效，c1單獨(dú)跟蹤目標(biāo)，目標(biāo)的后驗(yàn)概率為：

t時(shí)刻，采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重帶入式(1)，對(duì)圖像a中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

同理，目標(biāo)位于區(qū)域3時(shí)，只有c2的觀測信息有效，使c2單獨(dú)跟蹤目標(biāo)，t時(shí)刻，采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重帶入式(2)，對(duì)圖像b中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

目標(biāo)位于區(qū)域1時(shí)，c1和c2的觀測信息同時(shí)有效，目標(biāo)的后驗(yàn)概率為：

其中，表示局部觀測似然概率，表示狀態(tài)轉(zhuǎn)移概率，表示協(xié)同似然概率；kt表示常數(shù)，表示圖像a中目標(biāo)i到t時(shí)刻所有的狀態(tài)；表示圖像a中目標(biāo)i到t-1時(shí)刻所有的觀測信息；表示圖像b中目標(biāo)i到t-1時(shí)刻所有的觀測信息。

步驟3中，判斷是否啟動(dòng)協(xié)同跟蹤模式的具體過程為：

若直接啟動(dòng)協(xié)同跟蹤模式；若按下式判斷：

其中，υ是局部似然閾值，t是協(xié)同似然閾值；

對(duì)應(yīng)c1，選擇采樣的粒子滿足重要性密度函數(shù)則采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重帶入式(1)，對(duì)圖像a中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

同理，對(duì)于c2，采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重帶入式(2)，對(duì)圖像b中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新。

步驟4的具體步驟為：

步驟4.1，設(shè)跟蹤的目標(biāo)中包含目標(biāo)i和目標(biāo)j，目標(biāo)i和目標(biāo)j在c1中的觀測信息分別為目標(biāo)i和目標(biāo)j在c2中的觀測信息分別為和

在c1的視野中，當(dāng)目標(biāo)j遮擋目標(biāo)i時(shí)，根據(jù)目標(biāo)i在圖像b中的對(duì)極曲線校正圖像a中目標(biāo)i下一時(shí)刻的位置：

計(jì)算圖像a中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重：

式中，np是圖像a中的粒子數(shù)；為圖像a中目標(biāo)i的每個(gè)粒子與其對(duì)應(yīng)的圖像b中的對(duì)極曲線的最短距離，δ(·)是狄拉克函數(shù)：

為目標(biāo)i在c2中的觀測信息；為圖像a中的目標(biāo)i在c2中的對(duì)極曲線；是寬帶的方差；∑φb是寬帶的標(biāo)準(zhǔn)差；

將圖像a中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重帶入式(23)，對(duì)圖像a中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

在圖像b中，當(dāng)目標(biāo)j遮擋目標(biāo)i時(shí)，根據(jù)目標(biāo)i在圖像a中的對(duì)極曲線校正圖像b中目標(biāo)i下一時(shí)刻的位置：

計(jì)算圖像b中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重：

式中，np'是圖像b中的粒子數(shù)；為圖像b中目標(biāo)i的每個(gè)粒子與其對(duì)應(yīng)的圖像a中的對(duì)極曲線的最短距離，δ(·)是狄拉克函數(shù)：

為在目標(biāo)i在c1中的觀測信息；為圖像b中目標(biāo)i在c1中的對(duì)極曲線；是寬帶的方差；∑φa是寬帶的標(biāo)準(zhǔn)方差；

將圖像b中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重帶入式(24)，對(duì)圖像b中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新。

本發(fā)明的有益效果是：

1)采用傳統(tǒng)攝像機(jī)和中心折反射全景攝像機(jī)構(gòu)成多型視覺系統(tǒng)，一方面能夠擴(kuò)大攝像機(jī)視野范圍，克服了普通攝像機(jī)視野狹小的缺點(diǎn)，另一方面可以減少均采用全景攝像機(jī)所需要的成本；

2)采用粒子濾波方法預(yù)估目標(biāo)的狀態(tài)，用粒子分布狀態(tài)表示目標(biāo)可能的分布，提高目標(biāo)在面對(duì)非線性問題情況下的魯棒性；定義了一種新穎的后驗(yàn)概率計(jì)算，增加了粒子后驗(yàn)概率包含的信息內(nèi)容，使后驗(yàn)概率更加可信；

3)在貝葉斯理論框架下，構(gòu)建協(xié)同跟蹤機(jī)制，在每個(gè)攝像機(jī)視野中，如果目標(biāo)相互分離，不需要啟動(dòng)協(xié)同即可有效的跟蹤目標(biāo)；當(dāng)目標(biāo)相挨很近或存在遮擋時(shí)，判斷是否啟動(dòng)協(xié)同跟蹤，減少了計(jì)算量；

4)建立多型視覺對(duì)極幾何系統(tǒng)，采用對(duì)極幾何的方法建立目標(biāo)一致性判斷方法進(jìn)行目標(biāo)匹配，克服了目標(biāo)在不同攝像機(jī)下顏色、亮度、形狀變化而無法匹配的缺點(diǎn)，減少目標(biāo)匹配時(shí)的搜索范圍。

附圖說明

圖1是本發(fā)明的系統(tǒng)框圖；

圖2是全景攝像機(jī)的成像示意圖；

圖3是多型視覺對(duì)極幾何系統(tǒng)的示意圖；

圖4是多型視覺系統(tǒng)對(duì)極線驗(yàn)證圖；

圖5是協(xié)同跟蹤區(qū)域示意圖；

圖6是協(xié)同權(quán)重計(jì)算示意圖，(a)是c1視野中粒子權(quán)重計(jì)算示意圖,(b)是c2視野中粒子權(quán)重計(jì)算示意圖；

圖7，圖8是協(xié)同跟蹤結(jié)果。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明進(jìn)行詳細(xì)說明：

如圖1所示，多型視覺傳感協(xié)同目標(biāo)跟蹤方法，具體包括以下步驟：

步驟1，利用傳統(tǒng)攝像機(jī)c1和全景攝像機(jī)c2跟蹤相同的目標(biāo)，在c1和c2中分別采用粒子濾波方法預(yù)估計(jì)下一時(shí)刻的目標(biāo)狀態(tài)。

步驟2，建立c1和c2之間的對(duì)極幾何關(guān)系；

步驟3，建立協(xié)同開關(guān)模型，根據(jù)目標(biāo)在c1和c2的視野中的位置，判斷是否啟動(dòng)協(xié)同跟蹤模式；

步驟4，在協(xié)同跟蹤模式中，啟動(dòng)協(xié)同機(jī)制，根據(jù)對(duì)極幾何關(guān)系對(duì)被遮擋目標(biāo)的狀態(tài)進(jìn)行校正與更新；

步驟5，將步驟4處理后的目標(biāo)狀態(tài)作為目標(biāo)當(dāng)前時(shí)刻狀態(tài)，返回步驟2，實(shí)現(xiàn)c1和c2之間運(yùn)動(dòng)目標(biāo)的持續(xù)協(xié)同跟蹤。

步驟1的具體步驟為：

選取同一時(shí)刻c1和c2對(duì)目標(biāo)拍攝出的兩個(gè)畫面，記為圖像a和圖像b；

在c1中，假設(shè)粒子在t時(shí)刻的狀態(tài)滿足：其中，為重要性密度函數(shù)；

粒子局部觀測似然權(quán)重初始化為：其中，為局部觀測似然概率；

預(yù)估計(jì)圖像a中下一時(shí)刻的目標(biāo)狀態(tài)為：

同理，中c2，預(yù)估計(jì)圖像b中下一時(shí)刻的目標(biāo)狀態(tài)為：

其中，i為目標(biāo)編號(hào)，i>1；n為目標(biāo)i中采樣粒子編號(hào)；np是圖像a中所有粒子數(shù)；x表示目標(biāo)的狀態(tài)；z表示目標(biāo)的觀測信息；表示圖像a中目標(biāo)i在t時(shí)刻的狀態(tài)；表示圖像a中目標(biāo)i到t-1時(shí)刻所有的狀態(tài)；表示圖像a中目標(biāo)i在t時(shí)刻的觀測信息；表示圖像a中目標(biāo)i到t時(shí)刻所有的觀測信息；表示圖像b中目標(biāo)i在t時(shí)刻的狀態(tài)；表示圖像b中目標(biāo)i到t時(shí)刻所有的觀測信息；表示圖像b中目標(biāo)i到t-1時(shí)刻所有的狀態(tài)。

步驟3的具體過程為：

如圖2所示，在c2中存在雙曲面鏡坐標(biāo)系cm和全景攝像機(jī)坐標(biāo)系co，om是雙曲面鏡的上焦點(diǎn)，oo是雙曲面鏡的下焦點(diǎn)，根據(jù)雙曲面的光學(xué)特性，空間中射向om的光線講過雙曲面鏡反射后必將匯聚到oo，并在攝像機(jī)圖像平面上成像，攝像機(jī)可以采360°×θ的場景圖像，其中360°為水平方向視場角，θ為垂直方向視場角，它有反射鏡和攝像機(jī)的幾何尺寸和參數(shù)決定。c1為普通ccd攝像機(jī)，c2為雙曲面反射鏡和普通ccd攝像機(jī)組合而成，如圖3所示，c1和c2構(gòu)成多型視覺對(duì)極幾何系統(tǒng)，多型視覺對(duì)極幾何系統(tǒng)中增加了傳統(tǒng)攝像機(jī)坐標(biāo)系cp；

雙曲面鏡的方程為：

式中，a、b和c為雙曲面的參數(shù)，滿足a²+b²＝c²；

設(shè)全景攝像機(jī)坐標(biāo)系co內(nèi)一點(diǎn)xo的坐標(biāo)為[xo,yo,zo]^t,若在雙曲面鏡坐標(biāo)系cm中表示，則需要一個(gè)平移變化：

式中，[xm,ym,zm]^t為xo在雙曲面鏡坐標(biāo)系cm中的坐標(biāo)；

設(shè)[qu,qv]^t為xo在圖像b中的坐標(biāo)，則：

式中，q＝[qu,qv，1]^t表示[qu,qv]^t的齊次坐標(biāo)，ko為c2的內(nèi)部參數(shù)，通過標(biāo)定得到；

連接c1的投影中心op和c2的投影中心om得到基線，基線與圖像a交于極點(diǎn)ep，基線與雙曲面鏡交于em，em在圖像b中投影為極點(diǎn)eo，mp為目標(biāo)x在圖像a中的投影，mo為目標(biāo)x在圖像b中的投影，由x、op和om確定外極平面，mp、mm、op、om位于外極平面上；

設(shè)r和t分別為cp和cm之間的旋轉(zhuǎn)矩陣和平移矩陣，在多型視覺對(duì)極幾何系統(tǒng)中存在本質(zhì)矩陣e＝sr，其中：

s為t中平移向量的斜對(duì)稱矩陣，平移向量為[tx,ty,tz]^t；

目標(biāo)x在傳統(tǒng)攝像機(jī)坐標(biāo)系cp和雙曲面鏡坐標(biāo)系cm下的坐標(biāo)分別為xp和xm，則：

設(shè)[up,vp]^t為目標(biāo)x在圖像a上投影點(diǎn)的坐標(biāo)，那么：

kp為c1的內(nèi)部參數(shù)矩陣，[up,vp,1]^t為[up,vp]^t的齊次坐標(biāo)；

定義外極平面的法向量n＝[p,q,s]^t，在多型視覺對(duì)極幾何系統(tǒng)中有：

.n＝e×xp(9)

設(shè)pm＝[xm,ym,zm]^t為外極平面和雙曲面鏡的交線l上一點(diǎn)xl的坐標(biāo)，可得：

pxm+qym+szm＝0(10)

聯(lián)立式(3)和式(10)，得到交線l的方程：

交線l用矩陣乘法表示為：

將pm從雙曲面鏡坐標(biāo)系cm變換至全景攝像機(jī)坐標(biāo)系co上：

將點(diǎn)xl投影到圖像b上：

聯(lián)立(12)～(14)式，得到目標(biāo)在圖像b上的極線方程lo：

其中，

由x，mp，mm三點(diǎn)共面，點(diǎn)mp落在直線lp上，聯(lián)立式(7)和式(8)，得到目標(biāo)在圖像a上的極線為lp：

如圖4所示，使用多型視覺系統(tǒng)采集視頻進(jìn)行測試，在傳統(tǒng)圖像上選擇不同的點(diǎn)a、c、e，能夠找到在全景圖像中對(duì)應(yīng)的極線，在全景圖像上選擇不同的點(diǎn)b、d、f，找到在傳統(tǒng)圖像中的對(duì)應(yīng)極線，證明了本發(fā)明的有效性。

步驟4的具體過程為：

如圖5所示，c1和c2的跟蹤區(qū)域能夠分為區(qū)域1、區(qū)域2和區(qū)域3；

目標(biāo)位于區(qū)域2時(shí)，只有c1的觀測信息有效，c1單獨(dú)跟蹤目標(biāo)，目標(biāo)的后驗(yàn)概率為：

t時(shí)刻，采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重代替粒子局部觀測似然權(quán)重，帶入式(1)，對(duì)圖像a中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

同理，目標(biāo)位于區(qū)域3時(shí)，只有c2的觀測信息有效，使c2單獨(dú)跟蹤目標(biāo)，t時(shí)刻，采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重代理粒子局部觀測似然權(quán)重，帶入式(2)，對(duì)圖像b中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

目標(biāo)位于區(qū)域1時(shí)，c1和c2的觀測信息同時(shí)有效，目標(biāo)的后驗(yàn)概率為：

其中，表示局部觀測似然概率，表示狀態(tài)轉(zhuǎn)移概率，表示協(xié)同似然概率；kt表示常數(shù)，表示圖像a中目標(biāo)i到t時(shí)刻所有的狀態(tài)；表示圖像a中目標(biāo)i到t-1時(shí)刻所有的觀測信息；表示圖像b中目標(biāo)i到t-1時(shí)刻所有的觀測信息。

步驟3中，判斷是否啟動(dòng)協(xié)同跟蹤模式的具體過程為：

若直接啟動(dòng)協(xié)同跟蹤模式；若按下式判斷：

其中，υ是局部似然閾值，t是協(xié)同似然閾值；

對(duì)應(yīng)c1，選擇采樣的粒子滿足重要性密度函數(shù)則采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重帶入式(1)，對(duì)圖像a中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

同理，對(duì)于c2，采樣粒子的一致性權(quán)重表示為：

將采樣粒子的一致性權(quán)重帶入式(2)，對(duì)圖像b中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

步驟4的具體步驟為：

如圖6所示，步驟4.1，設(shè)跟蹤的目標(biāo)中包含目標(biāo)i和目標(biāo)j，目標(biāo)i和目標(biāo)j在c1中的觀測信息分別為目標(biāo)i和目標(biāo)j在c2中的觀測信息分別為和

在c1的視野中，當(dāng)目標(biāo)j遮擋目標(biāo)i時(shí)，根據(jù)目標(biāo)i在圖像b中的對(duì)極曲線校正圖像a中目標(biāo)i下一時(shí)刻的位置：

計(jì)算圖像a中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重：

式中，np是圖像a中的粒子數(shù)；為圖像a中目標(biāo)i的每個(gè)粒子與其對(duì)應(yīng)的圖像b中的對(duì)極曲線的最短距離，δ(·)是狄拉克函數(shù)：

為目標(biāo)i在c2中的觀測信息；為圖像a中的目標(biāo)i在c2中的對(duì)極曲線；是寬帶的方差；∑φb是寬帶的標(biāo)準(zhǔn)差；

將圖像a中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重帶入式(23)，對(duì)圖像a中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新；

在圖像b中，當(dāng)目標(biāo)j遮擋目標(biāo)i時(shí)，根據(jù)目標(biāo)i在圖像a中的對(duì)極曲線校正圖像b中目標(biāo)i下一時(shí)刻的位置：

計(jì)算圖像b中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重：

式中，np'是圖像b中的粒子數(shù)；為圖像b中目標(biāo)i的每個(gè)粒子與其對(duì)應(yīng)的圖像a中的對(duì)極曲線的最短距離，δ(·)是狄拉克函數(shù)：

為在目標(biāo)i在c1中的觀測信息；為圖像b中目標(biāo)i在c1中的對(duì)極曲線；是寬帶的方差；∑φa是寬帶的標(biāo)準(zhǔn)方差；

將圖像b中目標(biāo)i下一時(shí)刻的協(xié)同權(quán)重帶入式(24)，對(duì)圖像b中目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行更新。

為了驗(yàn)證本發(fā)明的正確性和有效性，采用不同的視頻場景進(jìn)行測試，測試視頻選用自行拍攝的、分辨率為1920*1080的視頻圖像。

如圖7所示，實(shí)驗(yàn)一的場景簡單，在第591、604、615幀中，矩形框?yàn)槟繕?biāo)跟蹤框，圖7中的直線為全景圖像中的目標(biāo)在傳統(tǒng)圖像中的對(duì)極線，圓弧為傳統(tǒng)圖像中的目標(biāo)在全景視圖中的對(duì)極線，我們看到目標(biāo)都經(jīng)過對(duì)極線，c1和c2均能夠準(zhǔn)確跟蹤目標(biāo)。

如圖8所示，實(shí)驗(yàn)二中存在目標(biāo)遮擋，在610幀之前，c1和c2都能夠準(zhǔn)確跟蹤，在625幀時(shí)，c1中因?yàn)檎趽鮼G失目標(biāo)，在631幀時(shí)，目標(biāo)出現(xiàn)，經(jīng)過校正和更新，能夠重新定位到目標(biāo)并進(jìn)行準(zhǔn)確跟蹤。

通過上述方式，本發(fā)明在貝葉斯理論框架下，構(gòu)建協(xié)同跟蹤機(jī)制，建立多型視覺對(duì)極幾何系統(tǒng)，采用對(duì)極幾何的方法建立目標(biāo)一致性判斷方法；定義了一種新穎的后驗(yàn)概率計(jì)算，增加了粒子后驗(yàn)概率包含的信息內(nèi)容，使后驗(yàn)概率更加可信，本發(fā)明解決了協(xié)同跟蹤有效區(qū)域狹小，成本過高等問題，能夠很好地實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的持續(xù)協(xié)同跟蹤。