本發(fā)明涉及監(jiān)控目標(biāo)跟蹤，特別涉及一種基于短軌跡拼接的多行人跟蹤方法和系統(tǒng)。

背景技術(shù)：

1、多目標(biāo)跟蹤作為計算機(jī)視覺領(lǐng)域中層任務(wù)，有著廣泛的應(yīng)用前景，如安防監(jiān)控、行為分析、無人駕駛和姿態(tài)估計等。多目標(biāo)跟蹤的任務(wù)是輸入一段視頻，要求輸出視頻中出現(xiàn)的目標(biāo)的軌跡。由于行人跟蹤有著廣泛的研究價值，多行人跟蹤成為多目標(biāo)跟蹤領(lǐng)域的研究主流。

2、近年來，隨著檢測算法的性能不斷提升，基于檢測跟蹤框架的多行人跟蹤已然成為多行人跟蹤的主流方法?；跈z測跟蹤框架的原理是首先對視頻每一幀中的行人進(jìn)行檢測，然后提取行人的外觀或運(yùn)動特征進(jìn)行數(shù)據(jù)關(guān)聯(lián)并形成最終的運(yùn)動軌跡?，F(xiàn)有的方法通常是學(xué)習(xí)可靠的運(yùn)動模式來匹配相鄰幀之間的相同目標(biāo)，以及學(xué)習(xí)判別性的外觀特征來重新識別長時間丟失的目標(biāo)。然而，在跟蹤過程中，密集的人群和極端的閉塞容易影響運(yùn)動預(yù)測的可靠性和外觀的可辨別性。因此設(shè)計一種學(xué)習(xí)魯棒的短期和長期運(yùn)動，以關(guān)聯(lián)從短距離到遠(yuǎn)距離的軌跡，從目標(biāo)的歷史軌跡中學(xué)習(xí)可靠的長期運(yùn)動對于多行人跟蹤準(zhǔn)確率來說具有十分重要作用。

技術(shù)實現(xiàn)思路

1、對以上問題，本發(fā)明提出了一種基于段短軌跡拼接的多行人跟蹤方法。該方法通過分段跟蹤和軌跡拼接，有效提升了在密集人群、遮擋和目標(biāo)丟失情況下的跟蹤魯棒性和準(zhǔn)確性。本發(fā)明的方法首先將輸入的視頻序列劃分為多個重疊的時間段，每個時間段包含一定數(shù)量的連續(xù)幀。在每個時間段內(nèi)生成短期軌跡，避免長時間遮擋和目標(biāo)丟失對跟蹤過程的干擾，生成短期軌跡后，通過度量軌跡之間的相似性。進(jìn)行拼接這些短期軌跡，形成更長的目標(biāo)軌跡。并在軌跡管理過程中，關(guān)聯(lián)到檢測框的軌跡會被持續(xù)更新。如果某個目標(biāo)在多個幀中無法與已有的軌跡匹配，該軌跡將被終止或刪除。同時，當(dāng)檢測到新的目標(biāo)并且無法與現(xiàn)有軌跡匹配時，將初始化新的軌跡。對于被遮擋后重新出現(xiàn)的目標(biāo)，本發(fā)明通過軌跡拼接模塊對其進(jìn)行重新識別，利用其短期軌跡與之前軌跡的相似性來確定其身份，從而有效適應(yīng)外觀模型的變化，并提升識別準(zhǔn)確度。在軌跡拼接后，本發(fā)明進(jìn)一步執(zhí)行軌跡平滑和誤差修正步驟。通過對軌跡進(jìn)行平滑處理，可以減少拼接過程中可能產(chǎn)生的誤差和不連續(xù)性，從而提高軌跡的整體連續(xù)性和準(zhǔn)確性。這一過程能夠有效修正由于遮擋、檢測誤差或其他干擾因素引起的軌跡不穩(wěn)定問題。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：一種基于短軌跡拼接的多行人跟蹤方法，包括以下步驟：

3、步驟s1，視頻幀處理與分段；

4、步驟s2，目標(biāo)檢測：在每個時間段內(nèi)，對每一幀中的行人進(jìn)行檢測，輸出多個檢測框；

5、步驟s3，短期跟蹤：為每個檢測到的行人分配唯一的id，以便在短時間段內(nèi)對其進(jìn)行跟蹤，并使用sort跟蹤器進(jìn)行短期初步跟蹤，得到短軌跡；

6、步驟s4，特征提?。涸讷@取到檢測框后，提取每個檢測框的特征，用于數(shù)據(jù)關(guān)聯(lián)，包括行人的外觀特征以及運(yùn)動特征；

7、步驟s5，數(shù)據(jù)關(guān)聯(lián)：根據(jù)外觀特征和運(yùn)動特征計算每對相鄰幀中的目標(biāo)檢測框之間的成本矩陣，使用hungarian算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，將相鄰幀中的目標(biāo)進(jìn)行匹配；

8、步驟s6，短軌跡拼接：計算相鄰時間段內(nèi)短軌跡的相似性，以進(jìn)行短軌跡拼接；

9、步驟s7，軌跡平滑與誤差修正：對最終的長軌跡進(jìn)行平滑處理，以提高軌跡的連續(xù)性和準(zhǔn)確性；

10、步驟s8，重復(fù)步驟s3-步驟s7，直至所有幀都處理完，輸出目標(biāo)軌跡。

11、進(jìn)一步的，步驟s1中采用公開數(shù)據(jù)集數(shù)據(jù)，獲取每一幀圖像，并對視頻幀進(jìn)行分段預(yù)處理，對數(shù)據(jù)集的視頻幀設(shè)定每個時間段的幀數(shù)，并定義重疊區(qū)域以確保軌跡的連續(xù)性，劃分方法：

12、t＝{ft,ft+1,…,ft+n-1}

13、其中，t表示時間段，ft表示時間段內(nèi)的幀，n為每個時間段的幀數(shù)。

14、進(jìn)一步的，步驟s2中使用yolox檢測器檢測每幀中的行人目標(biāo)，每個檢測框包括坐標(biāo)、尺寸和置信度。

15、進(jìn)一步的，步驟s3中sort跟蹤器的處理過程為：采用卡爾曼濾波對目標(biāo)下一時刻的位置狀態(tài)進(jìn)行預(yù)測，根據(jù)當(dāng)前檢測框與卡爾曼預(yù)測結(jié)果構(gòu)建全局代價矩陣，并使用匈牙利算法得到全局最優(yōu)解。

16、進(jìn)一步的，步驟s4中使用卷積神經(jīng)網(wǎng)絡(luò)cnn提取檢測框的外觀特征，運(yùn)動特征是計算檢測框在連續(xù)幀中的速度和方向；外觀特征和運(yùn)動特征的計算公式如下：

17、appearancei＝fcnn(bi)

18、

19、其中，appearancei為第i個檢測框的外觀特征，fcnn為特征提取函數(shù)，bi為檢測框坐標(biāo)，motioni為第i個目標(biāo)的運(yùn)動特征，其中第i個目標(biāo)和第i個檢測框?qū)?yīng)，δt為時間間隔，xi+1-xi和yi+1-yi表示前后兩幀目標(biāo)的運(yùn)動偏移量。

20、進(jìn)一步的，步驟s5成本矩陣中每個元素表示相鄰幀中目標(biāo)之間的匹配成本，成本公式如下：

21、costi,j＝α·distappearance(bi,bj)+β·distmotion(bi,bj)

22、其中costi,j為為第i個幀中的檢測框與第j個幀中的檢測框之間的成本，distappearance和distmotion分別表示外觀和運(yùn)動特征的距離度量，α和β為權(quán)重系數(shù)。

23、進(jìn)一步的，步驟s6中使用相似性度量對短軌跡進(jìn)行匹配，計算公式如下：

24、sim(ti,tj)＝α·simappearance(ti,tj)+β·simmotion(ti,tj)

25、其中sim(ti,tj)代表為短軌跡ti和tj的相似度，simappearance和simmotion分別為運(yùn)動和外觀特征的相似性，外觀相似度通過兩個特征向量之間的余弦相似度，運(yùn)動相似度使用歐幾里得距離度量兩個檢測框的運(yùn)動軌跡相似性，α和β為權(quán)重系數(shù)；

26、將相鄰時間段內(nèi)的短軌跡拼接成更長的目標(biāo)軌跡的公式為：

27、tlong＝concatenate(ti,tj)

28、其中，tlong為拼接后的長軌跡，concatenate(ti,tj)表示將短軌跡ti和tj拼接在一起。

29、進(jìn)一步的，在進(jìn)行段軌跡拼接之后還經(jīng)過了軌跡管理與重識別，即在軌跡拼接過程中，進(jìn)行軌跡更新、重新識別、軌跡終止和軌跡初始化操作，生成最終的長軌跡；

30、軌跡更新操作是指更新關(guān)聯(lián)到檢測框的短軌跡，根據(jù)最新的檢測信息更新現(xiàn)有軌跡，結(jié)合新的檢測框和現(xiàn)有軌跡進(jìn)行更新；

31、重新識別操作是指識別被遮擋后重新出現(xiàn)的目標(biāo)，使用之前生成的短軌跡對目標(biāo)進(jìn)行重新識別，比較當(dāng)前短軌跡與歷史長軌跡的相似性：

32、reid(tcurrent,thistory)＝sim(tcurrent,thistory)

33、其中，reid(tcurrent,thistory)表示當(dāng)前短軌跡與歷史長軌跡的重新識別度量；

34、軌跡終止操作是指處理無法匹配的目標(biāo)，如果目標(biāo)在多個時間段內(nèi)未能找到匹配的檢測框，則終止或刪除該軌跡，根據(jù)設(shè)定的閾值判斷是否終止軌跡；

35、軌跡初始化操作是指初始化新的目標(biāo)軌跡，當(dāng)檢測到新的目標(biāo)且無法與現(xiàn)有軌跡匹配時，初始化新的軌跡，為新目標(biāo)分配唯一id，并創(chuàng)建新的軌跡。

36、進(jìn)一步的，步驟s7中使用卡爾曼濾波器對最終的長軌跡進(jìn)行平滑處理，調(diào)整卡爾曼濾波器參數(shù)以適應(yīng)軌跡的動態(tài)特性：

37、

38、其中，為平滑后的軌跡位置，f為狀態(tài)轉(zhuǎn)移矩陣，b為控制矩陣，ut為控制輸入，wt為過程噪聲，zt為觀測值，h為觀測矩陣，vt為觀測噪聲。

39、本發(fā)明還提供一種基于短軌跡拼接的多行人跟蹤系統(tǒng)，其特征在于：包括處理器和存儲器，存儲器用于存儲程序指令，處理器用于調(diào)用存儲器中的存儲指令執(zhí)行如上述方案所述的一種基于短軌跡拼接的多行人跟蹤方法。

40、與現(xiàn)有多行人跟蹤技術(shù)相比，本發(fā)明具有以下優(yōu)點和有益效果：

41、1)與現(xiàn)有技術(shù)相比，本發(fā)明通過將視頻序列劃分為多個時間段進(jìn)行短期跟蹤，本發(fā)明能夠更有效地應(yīng)對短時間內(nèi)的目標(biāo)丟失和重新出現(xiàn)，避免了單一長軌跡跟蹤過程中因遮擋或目標(biāo)快速移動導(dǎo)致的錯誤關(guān)聯(lián)。本發(fā)明采用軌跡拼接策略，通過計算軌跡的運(yùn)動和外觀相似性，將短期軌跡拼接成更長的連續(xù)軌跡。這種方式能夠更好地處理長時間遮擋和復(fù)雜場景中的目標(biāo)跟蹤問題，確保跟蹤的連續(xù)性和準(zhǔn)確性。

42、2)本發(fā)明設(shè)計了靈活的軌跡管理機(jī)制，包括軌跡的更新、重新識別、終止和刪除等操作。這使得跟蹤系統(tǒng)能夠適應(yīng)目標(biāo)的動態(tài)變化和復(fù)雜的環(huán)境條件，例如突然出現(xiàn)的新目標(biāo)或已經(jīng)離開場景的目標(biāo)。通過結(jié)合短期和長期軌跡的關(guān)聯(lián)分析，本發(fā)明能夠在目標(biāo)重新出現(xiàn)后進(jìn)行有效的重新識別，從而顯著提高了遮擋情況下的跟蹤可靠性。本發(fā)明引入了卡爾曼濾波器等平滑技術(shù)，對生成的軌跡進(jìn)行處理，消除噪聲和異常數(shù)據(jù)，從而生成更平滑、連續(xù)的軌跡。這不僅提高了跟蹤精度，還使得最終輸出的軌跡更符合目標(biāo)的真實運(yùn)動模式。

43、3)本發(fā)明設(shè)計的方法不僅能夠處理密集人群、遮擋、復(fù)雜背景等挑戰(zhàn)，還適用于各種實際應(yīng)用，如安防監(jiān)控、無人駕駛、行為分析等。這種廣泛的適用性使得本發(fā)明在多個領(lǐng)域中具備強(qiáng)大的實用價值。通過將跟蹤任務(wù)分解為短期跟蹤與拼接，本發(fā)明減少了對計算資源的需求。與直接進(jìn)行長時間段的跟蹤相比，這種分段處理方式能夠更快地完成目標(biāo)跟蹤任務(wù)，并在保持高精度的同時降低計算復(fù)雜度。