本發(fā)明屬于智能視頻監(jiān)控領(lǐng)域，特別涉及一種基于高階圖跨時域關(guān)聯(lián)的多目標(biāo)跟蹤方法。

背景技術(shù)：

近年來，多目標(biāo)跟蹤算法越來越受到計算機視覺領(lǐng)域內(nèi)學(xué)者的重視，多目標(biāo)跟蹤算法主要目的是同時定位并標(biāo)記多個移動目標(biāo)的位置，按照時域順序連接各個標(biāo)記位，進而獲得多個目標(biāo)的運動長軌跡。換句話說，目標(biāo)跟蹤技術(shù)實際上是利用輸入的視頻序列獲得檢測信息，并對其進行一定的關(guān)聯(lián)處理，獲得目標(biāo)的跟蹤軌跡。目前主流的多目標(biāo)視頻跟蹤技術(shù)可以概括為兩個部分:目標(biāo)檢測與目標(biāo)跟蹤。其中，目標(biāo)檢測部分的主要任務(wù)是從視頻圖像中檢測出感興趣的目標(biāo)?？梢暬O(jiān)視和監(jiān)測系統(tǒng)通常采用靜態(tài)攝像頭，從所謂靜止的背景中分離出運動物體，實現(xiàn)目標(biāo)的檢測。這種系統(tǒng)通常采用構(gòu)建背景模型方式，利用閾值計算，檢測出前景目標(biāo)。目標(biāo)跟蹤部分主要任務(wù)是將檢測獲得的目標(biāo)進行關(guān)聯(lián)處理?；谲壽E關(guān)聯(lián)的多目標(biāo)跟蹤算法是國內(nèi)外學(xué)者研究的熱點算法。軌跡關(guān)聯(lián)算法的主要原理是將目標(biāo)檢測后獲得的多個短小的跟蹤片段進行多個層次的關(guān)聯(lián)，最終獲得目標(biāo)的連續(xù)、平滑的跟蹤軌跡。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提出一種基于高階圖跨時域關(guān)聯(lián)的多目標(biāo)跟蹤方法，首先根據(jù)當(dāng)前主流的多目標(biāo)檢測方法得到視頻中各幀的檢測結(jié)果，然后由這些檢測響應(yīng)和構(gòu)建高階邊的限制函數(shù)F(v_i,v_j)來構(gòu)建一個跨時域的普通高階圖；之后為了快速提取普通高階圖中包含高階子圖，使用RANSAC-style的優(yōu)化方法將普通高階圖先轉(zhuǎn)化成隨機一致性高階圖，再進一步轉(zhuǎn)化成普通的二階圖，最后對普通二階圖進行子圖搜索，再將最終得到的各個子圖中的多個軌跡段按照時域的先后順序連接起來，形成目標(biāo)長軌跡，該方法使對雜場景中的多目標(biāo)跟蹤具有很好的魯棒性，已有效地解決鄰近目標(biāo)表觀相似時出現(xiàn)身份交換或者局部關(guān)聯(lián)錯誤造成的跟蹤失敗等問題。

為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是運用了一種基于高階圖跨時域關(guān)聯(lián)的多目標(biāo)跟蹤方法，包括如下步驟：

步驟A、將長視頻序列劃分成N等份，在每個等分時間段中根據(jù)多目標(biāo)的離線檢測結(jié)果分別進行普通高階圖H的構(gòu)建；

步驟B、通過逐步采樣和建立多個候選連接樣本來完成隨機一致性高階圖到普通高階圖H的近似；

步驟C、為提高高階子圖搜素的效率進行隨機一致性高階圖到普通二階圖H的轉(zhuǎn)換；

步驟D、選擇合適的權(quán)值測度函數(shù)來對普通二階圖中的子圖進行搜索；

步驟E、根據(jù)貪婪算法解決以上搜索到的子圖不符合物理限制的情況，再根據(jù)局部軌跡段出現(xiàn)的時序順序進行連接，從而得到目標(biāo)長軌跡。

進一步地，所述步驟A中具體包含步驟如下：

由于對一個長視頻序列串行進行處理會非常耗時，不滿足實時性的要求，故采用分層次并行處理的方法，即將此長視頻序列分成N等份，每等份包含Ln幀，若最后一組時間段不足Ln幀，則并入前一組中。然后對每一組時間段分別根據(jù)高階邊的限制函數(shù)F(v_i,v_j)∈{0,1}構(gòu)建自己的跨時域高階圖H＝(V,E,α)，其中V代表高階圖中的頂點(跟蹤軌跡段)，E代表高階圖中的高階邊，α代表屬于頂點同一條高階邊的概率。

進一步地，所述步驟B中具體包含步驟如下：

步驟B-1，為了后面快速提取高階圖中的所有包含目標(biāo)軌跡段的高階子圖，需要先將普通高階圖進行近似處理，即將普通高階圖轉(zhuǎn)化為隨機一致性高階圖。首先通過逐步采樣的方法獲得多個候選連接樣本來建立隨機一致性高階圖RCH＝{S₁,...,S_i,...}，其中S_i為第i個連接樣本，每個連接樣本包含L個頂點，這個L個頂點是從包含V_i的同一條高階邊中隨機選取的，且滿足限制函數(shù)F(v_i,v_j)＝1,j＝1,...,L-1。

步驟B-2，由于B-1中是隨機選取的滿足限制函數(shù)的頂點，故存在不可靠的連接樣本。為了排除上述存在的壞連接樣本，可以通過兩種置信函數(shù)C_a(s)和C_m(s)結(jié)合考慮來獲得可靠的連接樣本，進而建立包含原高階圖H中所有重要高階子圖的RCH，其中C_a(s)用來度量目標(biāo)的表象相似性，C_m(s)用來度量目標(biāo)的運動相似性。

進一步地，所述步驟C中具體包含步驟如下：

利用步驟B-2中得到的可靠隨機一致性高階圖完成向普通二階圖H'＝(V',E',W')的轉(zhuǎn)換，其中W'為二階圖中兩個頂點同屬于一條邊的概率。為了確定二階圖中兩個頂點之間的概率W'，需要建立一個點集近鄰圖Ω＝(ν,ε)，在點集近鄰圖中，當(dāng)且僅當(dāng)限制函數(shù)F(v_i,v_j)＝1時，兩邊之間存在一條邊。然后使用Clique圖搜索算法完成RCH到普通二階圖H'的轉(zhuǎn)換。

進一步地，所述步驟D中具體包含步驟如下：

首先將步驟C得到的普通二階圖H'中的每個頂點v_p作為起始點，需要搜索個頂點，并且根據(jù)定義的權(quán)值測度函數(shù)Γ(v_pUN(v_p))，使得這些點組成的點集能夠獲得最大的權(quán)值測度函數(shù)值，這樣所搜索到的子圖具有個頂點。為了避免子圖中頂點數(shù)目出現(xiàn)退化問題，需要對搜索的子圖設(shè)置一個最小尺度且另外，令y_i＝1為子圖頂點集合U的指示變量，當(dāng)y_i＝1時，表示頂點v_i屬于這個搜索的子圖；當(dāng)y_i＝0則不屬于該子圖。

進一步地，所述步驟E中具體包含步驟如下：

由于步驟D中搜索的不同子圖之間可能存在不符合物理限制的情況，比如同一個頂點(跟蹤軌跡段)不可能同時屬于兩個或多個不同的目標(biāo)，這違反了物理事實。為了消除這種沖突情況，可采用貪婪算法進行處理，先將得到的子圖按照置信概率大小進行排序，得到排序后的子圖序列T。再令為后處理的子圖集合，根據(jù)貪婪算法把沖突的頂點v_i加入有重疊部分的子圖中，即v_i UT'→T'。最后把后處理子圖按照時序順序?qū)⒏鱾€頂點連接起來得到目標(biāo)長軌跡。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得以下有益效果：

1、本發(fā)明采用了步驟A和B，將一個耗時長且容量大的視頻序列分割成N等份，用并行的方式來代替串行進行處理，大大地提高了視頻的處理速度，達到了實時性的要求；對其中的每個時間片段都各自構(gòu)建一個高階圖，由于高階圖的邊是由大于2個的頂點構(gòu)成，所以可將時間片段中的多個軌跡段進行跨時域關(guān)聯(lián)，充分利用軌跡段之間的高階關(guān)系作為關(guān)聯(lián)條件，這樣可大大減小局部關(guān)聯(lián)出現(xiàn)錯誤的概率，對鄰近表觀相似的目標(biāo)有很好的魯棒性；

2、本發(fā)明采用了步驟C、步驟D和步驟E，為了快速提取步驟B得到的隨機一致性高階圖中包含的所有關(guān)聯(lián)高階子圖，將高階圖進一步轉(zhuǎn)化為普通二階圖，并采用Clique圖搜索算法和權(quán)值測度函數(shù)進行處理，這樣可使子圖搜索效率提升百倍以上，最后由貪婪算法處理得到的高階子圖集合可有效地去除不符合物理限制的情況，保證軌跡的唯一性和延續(xù)性。

附圖說明

圖1為本發(fā)明的基于高階圖跨時域關(guān)聯(lián)的多目標(biāo)跟蹤方法流程圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖和實施例對本發(fā)明作進一步的詳細(xì)說明。

本發(fā)明的實施示意圖如圖1所示，以下為一個具體的實施例，其具體步驟依次為：

步驟A、將長視頻序列劃分成N等份，在每個等分時間段中根據(jù)多目標(biāo)的離線檢測結(jié)果分別進行普通高階圖H的構(gòu)建；

由于對一個長視頻序列串行進行處理會非常耗時，不滿足實時性的要求，故采用分層次并行處理的方法，即將此長視頻序列分成N等份，每等份包含Ln幀，若最后一組時間段不足Ln幀，則并入前一組中。然后對每一組時間段分別根據(jù)高階邊的限制函數(shù)F(v_i,v_j)∈{0,1}構(gòu)建自己的跨時域高階圖H＝(V,E,α)，其中V代表高階圖中的頂點，E代表高階圖中的高階邊，α代表屬于頂點同一條高階邊的概率。

步驟B、通過逐步采樣和建立多個候選連接樣本來完成隨機一致性高階圖(RCH)到普通高階圖H的近似；

為了后面快速提取高階圖中的所有包含目標(biāo)軌跡段的高階子圖，需要先將普通高階圖進行近似處理，即將普通高階圖轉(zhuǎn)化為隨機一致性高階圖。首先通過逐步采樣的方法獲得多個候選連接樣本來建立隨機一致性高階圖RCH＝{S₁,...,S_i,...}，其中S_i為第i個連接樣本，每個連接樣本包含L個頂點，這個L個頂點是從包含V_i的同一條高階邊中隨機選取的，且滿足限制函數(shù)F(v_i,v_j)＝1,j＝1,...,L-1。

由于上述是隨機選取的滿足限制函數(shù)的頂點，故存在不可靠的連接樣本。為了排除上述存在的壞連接樣本，可以通過兩種置信函數(shù)：一種是目標(biāo)的表象相似性度量：

其中χ_a(v_i,v_i+1)代表顏色直方圖相似度，χ_w(v_i,v_i+1)代表紋理相似度，χ_s(v_i,v_i+1)代表空間相似度；另一種是目標(biāo)的運動相似性度量：

其中d_fp(v_i,v_i+1)和d_bp(v_i,v_i+1)分別代表前向預(yù)測和后向預(yù)測。將兩種置信函數(shù)結(jié)合考慮來獲得可靠的連接樣本，進而建立包含原高階圖H中所有重要高階子圖的隨機一致性高階圖RCH。

步驟C、為提高高階子圖搜素的效率進行隨機一致性高階圖到普通二階圖H的轉(zhuǎn)換；

利用步驟B中得到的可靠隨機一致性高階圖完成向普通二階圖H'＝(V',E',W')的轉(zhuǎn)換，其中W'為二階圖中兩個頂點同屬于一條邊的概率。為了確定二階圖中兩個頂點之間的概率W'，建立一個點集近鄰圖Ω＝(ν,ε)，其中ν為與連接樣本S之間置信度大于閾值λ的頂點集合，ε為兩個頂點之間是否滿足高階邊的限制函數(shù)F(v_i,v_j)＝1，即在點集近鄰圖中，當(dāng)且僅當(dāng)限制函數(shù)F(v_i,v_j)＝1時，兩邊之間存在一條邊。然后使用Clique圖搜索算法完成RCH到普通二階圖H'的轉(zhuǎn)換。

步驟D、選擇合適的權(quán)值測度函數(shù)來對普通二階圖中的子圖進行搜索；

首先將步驟C得到的普通二階圖H'中的每個頂點v_p作為起始點，需要搜索個頂點，并且根據(jù)定義的權(quán)值測度函數(shù)Γ(v_pUN(v_p))，使得這些點組成的點集能夠獲得最大的權(quán)值測度函數(shù)值，這樣所搜索到的子圖具有個頂點，特別地，為了能讓頂點數(shù)目相對較少的子圖也可以順利搜索到，可以采用集合的平均邊權(quán)重值來作為權(quán)值測度函數(shù)：

其中頂點集合U＝v_pUN(v_p)。為了避免子圖中頂點數(shù)目出現(xiàn)退化問題，對搜索的子圖設(shè)置一個最小尺度且另外，令y＝{y₁,...,y_n}∈Rⁿ為子圖頂點集合U的指示變量，當(dāng)y_i＝1時，表示頂點v_i屬于這個搜索的子圖；當(dāng)y_i＝0則不屬于該子圖。

步驟E、根據(jù)貪婪算法解決以上搜索到的子圖不符合物理限制的情況，再根據(jù)局部軌跡段出現(xiàn)的時序順序進行連接，從而得到目標(biāo)長軌跡。

由于步驟D中搜索的不同子圖之間可能存在不符合物理限制的情況，比如同一個頂點(跟蹤軌跡段)不可能同時屬于兩個或多個不同的目標(biāo)，這違反了物理事實。為了消除這種沖突情況，可采用貪婪算法進行處理，先將得到的子圖按照置信概率大小進行排序，得到排序后的子圖序列T＝{T₁,...,T_n}。再令為后處理的子圖集合，對于第i個搜索到的子圖那么直接把Τ_i放到集合Τ'中，否則根據(jù)貪婪算法把Τ_i加入有重疊部分的子圖中，即T_iUT'→T_j'中。最后把得到的后處理子圖按照時序順序?qū)⒏鱾€頂點連接起來得到目標(biāo)長軌跡。

以上所述并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。