本發(fā)明涉及信息技術(shù)領(lǐng)域，具體涉及一種多目標跟蹤的方法。

背景技術(shù)：

視頻中多目標(人)的追蹤效果由于受到多種因素的影響，如：復雜背景，光照，形變，運動方向，遮擋，合并，分離等，致使實現(xiàn)高效可靠的多目標(人)跟蹤成為一個較為困難的問題。目前實現(xiàn)多目標跟蹤方法之一是：利用穩(wěn)定的特征空間，如目標的顏色，對比度，方向梯度直方圖等特征，建立跟蹤隊列，以窗口滑動的方式進行跟蹤。但由于存在上述的諸多影響因素，目標穩(wěn)定的特征較難提取。

另一方面，一些基于“檢測的跟蹤”方法應用在單目標跟蹤中，其本質(zhì)是一個在線的二元判別分類器，通過跟蹤目標的當前位置，在目標的一定鄰域內(nèi)給出正負樣本，訓練分類器，預測下一幀目標可能出現(xiàn)的位置并用分類器進行判斷，在最大可能性出現(xiàn)的位置上如果判斷為正，則視為跟蹤到目標，如此遞進地對目標實現(xiàn)跟蹤。然而，樣本的選取并非總是非常精準，有時(甚至經(jīng)常)會產(chǎn)生一定的偏差，于是，由此偏差樣本訓練出的分類器在預測目標的下一位置時亦會產(chǎn)生一定的偏差，如果對此偏差不能很好地進行控制或修正，分類器的判別能力就會退化，經(jīng)過一段時間的累積，則會產(chǎn)生目標“漂移”的后果。所謂漂移，是指錯誤地成為物體模型一部分的像素將模型拉離正確的位置致使跟蹤目標失真的現(xiàn)象。

鑒于目標“漂移”這一現(xiàn)象，borisbabenko等人提出了利用“在線的多事例學習”(onlinemultipleinstancelearning)方法來加強目標跟蹤的穩(wěn)定性。在多事 例學習方法中，“事例”是指學習或訓練的樣本。一般算法中，樣本是以一個個的單體形式出現(xiàn)，而在多事例學習算法中，學習或訓練時樣本是以集合(即“包”)的形式出現(xiàn)，一個標記對應一個包而非一個樣本，若包中含有至少一個正樣本，則此包標記為“正包”，否則為“負包”。此算法的目標是通過訓練，學習得到正包中哪個目標是“最正確”。而包中的多個樣本也使得學習與訓練有更大的選擇性，訓練出的分類器具有更準確的判別性以解決目標“漂移”問題。

現(xiàn)有的跟蹤算法在多目標跟蹤方面的應用主要存在以下兩方面的問題：一是，存在多目標時，特別在目標模型密集場景下，目標之間的遮擋成為非常嚴重的一個問題，從而會導致“跟丟”；二是，如果目標具有相似性，在跟蹤中會出現(xiàn)將目標a跟蹤為b，將目標b跟蹤為c，即“跟錯”現(xiàn)象。而現(xiàn)有的多事例跟蹤算法是用貪婪算法對目標可能出現(xiàn)的下一幀位置進行預測，然后用事先訓練好的分類器對預測的位置進行判斷，但只應用于對單目標的跟蹤。

技術(shù)實現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種多目標跟蹤的方法，采用分類器和匹配度相結(jié)合的方法，可對多個目標進行跟蹤，并可實時在線地更新分類器，能夠改善多目標跟蹤中“跟丟”和/或“跟錯”的問題，提高多目標跟蹤的準確性。

根據(jù)本發(fā)明的一個方面，一種多目標跟蹤的方法包括下述步驟：利用預定目標檢測技術(shù)在第一幀視頻中檢測一個或多個跟蹤目標；從第一幀視頻提取特征；提取用于訓練分類器的樣本，并對分類器進行訓練；使用訓練的分類器從第一幀視頻之后的第二幀視頻檢測所述一個或多個跟蹤目標；從第二幀視頻提取特征；確定從第一幀視頻提取的特征與從第二幀視頻提取的特征之間的第一匹配度；基于所述分類器檢測的所述一個或多個跟蹤目標的結(jié)果和所述第一匹 配度，確定所述一個或多個跟蹤目標在第二幀視頻中的位置。

可選擇地，分別從第一幀視頻中的多個第一圖像塊提取特征；利用所述分類器判斷第二幀視頻中的與所述多個第一圖像塊對應的多個第二圖像塊中存在每個跟蹤目標的概率；分別從第二幀視頻中的與所述多個第一圖像塊對應的多個第二圖像塊提取特征；其中，對應的第一圖像塊和第二圖像塊的大小和位置相同；計算對應的第一圖像塊和第二圖像塊的特征之間的相似度作為第一匹配度；針對任意一個跟蹤目標，計算每個第二圖像塊存在所述任意一個跟蹤目標的概率與對應的第一匹配度的和，并確定所述和最大的第二圖像塊的位置作為所述任意一個跟蹤目標在第二幀視頻中的位置。

可選擇地，提取用于訓練分類器的樣本的步驟包括：分別以檢測的一個或多個跟蹤目標在第一幀視頻中的位置為中心，在小于第一半徑的范圍內(nèi)提取正樣本，在大于第一半徑和小于第二半徑的范圍內(nèi)提取負樣本。

可選擇地，所述多個第一圖像塊位于第一幀視頻中分別以檢測的各個跟蹤目標在第一幀視頻中的位置為中心，小于第三半徑的范圍內(nèi)。

可選擇地，若第二幀視頻之后還有第三幀視頻輸入，則多目標跟蹤的方法的步驟還包括：更新用于訓練所述分類器的樣本，并對所述分類器重新進行訓練；利用重新訓練的所述分類器從第二幀視頻之后的第三幀視頻中檢測所述一個或多個跟蹤目標；從第三幀視頻提取特征；確定從第三幀視頻提取的特征與從第二幀視頻提取的特征之間的第二匹配度；基于重新訓練的所述分類器檢測的所述一個或多個跟蹤目標的結(jié)果和所述第二匹配度，確定所述一個或多個跟蹤目標在第三幀視頻中的位置。

可選擇地，利用重新訓練的所述分類器判斷第三幀視頻中與所述多個第二圖像塊對應的多個第三圖像塊中存在每個跟蹤目標的概率；分別從第三幀視頻 中的與所述多個第二圖像塊對應的多個圖像塊提取特征；其中，對應的第三圖像塊和第二圖像塊的大小和位置相同；計算對應的第三圖像塊和第二圖像塊的特征之間的相似度作為第二匹配度；針對任意一個跟蹤目標，計算每個第三圖像塊存在所述任意一個跟蹤目標的概率與對應的第二匹配度的和，并確定每個第三圖像塊存在所述任意一個跟蹤目標的概率與對應的第二匹配度的和最大的第三圖像塊的位置作為所述任意一個跟蹤目標在第三幀視頻中的位置。

可選擇地，更新用于訓練所述分類器的樣本的步驟包括：分別以檢測的各個跟蹤目標在第二幀視頻中的位置為中心，在小于第一半徑范圍內(nèi)提取正樣本；在大于第一半徑和小于第二半徑的范圍內(nèi)提取負樣本。

可選擇地，第一半徑<第二半徑<第三半徑。

可選擇地，采用在線多事例學習的方法訓練所述分類器。

本發(fā)明將上一幀確定的跟蹤目標的位置作為的當前幀對跟蹤目標進行檢測跟蹤的起點，且需要基于跟蹤目標的當前位置選取正樣本和負樣本，更新用于下一幀的跟蹤目標檢測時訓練分類器的樣本，可有效改善目標(尤其是多目標)跟蹤中出現(xiàn)的“跟丟”的問題；并且時采用分類器與特征向量匹配概率相結(jié)合的方法確定每一幀中跟蹤目標的位置，可有效改善目標(尤其是多目標)跟蹤中出現(xiàn)的“跟錯”的問題。

附圖說明

從下面結(jié)合附圖進行的描述，本發(fā)明的特定實施例的以上和其他方面、特征和優(yōu)點將更加清楚，其中：

圖1a是根據(jù)本發(fā)明實施例的多目標跟蹤方法的流程圖；

圖1b是示出根據(jù)本發(fā)明的另一個實施例的在第三幀視頻中檢測一個或多個跟蹤目標的方法的流程圖；

圖2是根據(jù)本發(fā)明實施例的基于“在線多事例學習”訓練分類器的方法流程圖；

圖3是根據(jù)本發(fā)明實施例的對n個目標位置進行檢測的方法的流程圖。

具體實施方式

提供參照附圖的以下描述以幫助全面理解由權(quán)利要求及其等同物限定的本發(fā)明的各種實施例。以下描述包括用于幫助理解的各種具體細節(jié)，但是這些細節(jié)應被僅視為示例性的。相應地，本領(lǐng)域的普通技術(shù)人員將認識到，在不脫離本發(fā)明的范圍和精神的情況下，可對這里描述的各種實施例進行各種改變和修改。

以下，參照附圖來詳細說明本發(fā)明的實施例。

圖1a是根據(jù)本發(fā)明的一個實施例的多目標跟蹤方法的流程圖。

在步驟s101，利用預定目標檢測技術(shù)在第一幀視頻中檢測跟蹤目標。

在第一幀視頻中，檢測出n個待跟蹤的目標并標記n個目標的初始位置，其中，n表示目標的個數(shù)，n≥1。

預定目標檢測技術(shù)可以采用多種方法，例如：幀差法、背景減除法、光流法、方向梯度特征等，也可以通過手動方式標注待跟蹤的目標的初始位置。

雖然上文列舉了幾種可用于預定目標檢測的技術(shù)，但可采用的技術(shù)并不受限于此，可以采用任何其他合適的可用于預定目標檢測的技術(shù)。

在步驟s102，從第一幀視頻提取特征。

具體地說，從在第一幀視頻劃分的多個第一圖像塊提取特征。,

在一個優(yōu)選實施例中，僅從第一幀視頻的特定位置的第一圖像塊提取特征。具體地說，設(shè)置半徑s，在第一幀的視頻中，以檢測的每個跟蹤目標在第一幀視頻中的位置為中心，在小于半徑s的范圍內(nèi)提取多個第一圖像塊，并從所述多個 第一圖像塊提取特征。

在此情況下，對任意一個跟蹤目標，提取的多個第一圖像塊可表示為：其中，x¹表示多個第一圖像塊，l(x¹)表示在第一幀視頻中多個第一圖像塊x¹的位置，表示檢測的跟蹤目標在第一幀視頻中的位置；然后分別從多個第一圖像塊提取特征，用v¹表示。

在步驟s103，提取用于訓練分類器的樣本，并對分類器進行訓練。

可利用檢測的一個或多個跟蹤目標在第一幀視頻中的位置提取訓練分類器的正樣本和負樣本。例如，在所述位置處提取正樣本，在其他位置處提取負樣本。

在一個優(yōu)選的實施例中，可分別以檢測的一個或多個跟蹤目標在第一幀視頻中的位置為中心，在小于第一半徑的范圍內(nèi)提取正樣本，在大于第一半徑和小于第二半徑的范圍內(nèi)提取負樣本。

具體地說，預先設(shè)置滿足γ<β<s的半徑γ和β，以檢測的每個跟蹤目標在第一幀視頻中的位置為中心，在小于半徑γ的范圍內(nèi)提取正樣本；在大于半徑γ和小于半徑β的范圍內(nèi)提取負樣本。

然后，使用正樣本和負樣本分別對一個或者多個跟蹤目標的分類器進行訓練，并且可采用多種方法訓練分類器。在一個優(yōu)選的實施例中，可采用基于“在線多事例學習”的方法來訓練分類器。

圖2是基于“在線多事例學習”訓練分類器的方法流程圖。

參照圖2，根據(jù)本發(fā)明的實施例的訓練分類器的基本思路為：通過對特征池中的m個弱分類器訓練得到k個強分類器，然后利用k個強分類器確定分類器。

具體來說，針對n個跟蹤目標中的每一個均進行如下操作：

在步驟s201，輸入用于訓練任意一個跟蹤目標的分類器的樣本。

具體地說，用于訓練任意一個跟蹤目標的分類器的正樣本和負樣本可表示為數(shù)據(jù)集其中，1≤c≤c，c為數(shù)據(jù)集包含的樣本包的個數(shù)，xc表示數(shù)據(jù)集中的第c個樣本包，yc表示樣本包xc的標簽，yc＝1表示xc為正包，yc＝0表示xc為負包；每個樣本包內(nèi)包含足夠多的示例以實現(xiàn)對弱分類器的有效訓練，例如，第c個樣本包可表示為xc＝{xc1,xc2,…,xcd,…}，xcd表示第c個樣本包中的第d個示例。

在步驟s202，利用數(shù)據(jù)集更新特征池中的m個弱分類器。

在步驟s203，首先，設(shè)置hm為第m個弱分類器，1≤m≤m；hk為第k個強分類器，1≤k≤κ；h為最終所需要的分類器；然后，初始化分類器h＝0，并令k＝1。

在步驟s204使m＝1。

在步驟s205，首先，針對第m個弱分類器，利用所述的數(shù)據(jù)集訓練第m個弱分類器，得到每一個示例是正樣本的概率，進而得到第c個樣本包xc是正包的概率。例如，第c個樣本包中第d個示例是正樣本的概率為：則計算第c個樣本包xc是正包的概率為：

在步驟s206，利用公式(1)計算xc是正包的log相似度。

在步驟s207，判斷m是否等于m；若m不等于m，則令m+1，并重復步驟s205～s206繼續(xù)訓練弱分類器；若m＝m，則進行步驟s208；

在步驟s208，將得到的正包的log相似度最大的弱分類器作為第k個強分類器，即：由m^*＝argmaxml^m得到正包相似度最大的弱分類器的序號，進而得到 針對某一個特征的最合適的弱分類器然后，將賦給hk，即第k個強分類器

在步驟s209，利用h＝h+hk更新分類器。

在步驟s210，判斷k是否等于k，若k<k，則令k+1,然后按照s204～s209繼續(xù)訓練分類器；若k＝k，則停止訓練分類器，并輸出訓練的分類器h。

返回圖1a，在步驟s104，使用訓練的分類器從第一幀視頻之后的第二幀視頻檢測所述一個或多個跟蹤目標。這里，輸入第一幀視頻之后的第二幀視頻，第一幀視頻和第二幀視頻可以是相鄰的兩幀視頻，或者是存在一定時間間隔的兩幀視頻。

具體地說，利用所述分類器判斷第二幀視頻中的與所述多個第一圖像塊對應的多個第二圖像塊中存在每個跟蹤目標的概率。

在此情況下，可按照與提取多個第一圖像塊的方法相類似的方法，在第二幀視頻中提取與多個第一圖像塊對應的多個第二圖像塊；且對應的第一圖像塊和第二圖像塊在形狀和位置上相同。

具體地說，對任意一個跟蹤目標，提取的多個第二圖像塊可表示為：此處，x²表示多個第二圖像塊，l2(x²)表示在第二幀視頻中多個第二圖像塊x²的位置，表示第一幀的圖像中各個跟蹤目標的位置。

雖然上文描述了提取多個第二圖像塊的方法，但是本發(fā)明不局限于此，并且可以多種方法提取所述多個第二圖像塊。

然后，利用所述分類器判斷與多個第一圖像塊對應的多個第二圖像塊中存在所述跟蹤目標的概率，此概率可具體地表示為：p1＝p(y＝1|x²)。

在步驟s105，從第二幀視頻提取特征。

具體地說，分別從第二幀視頻中的與所述多個第一圖像塊對應的多個第二 圖像塊提取特征，用v²表示。

在步驟s106，確定從第一幀視頻提取的特征與從第二幀視頻提取的特征之間的第一匹配度。

具體地說，計算對應的第一圖像塊和第二圖像塊的特征之間的相似度作為第一匹配度。根據(jù)本發(fā)明的一個優(yōu)選的實施例，對應的第一圖像塊和第二圖像塊的特征之間的相似度可表示為：對應的第一圖像塊和第二圖像塊的特征之間的特征匹配概率p2＝p(v²|v¹)。

在步驟s107，基于所述分類器檢測的所述一個或多個跟蹤目標的結(jié)果和所述第一匹配度，確定所述一個或多個跟蹤目標在第二幀視頻中的位置。

具體地說，針對任意一個跟蹤目標，計算每個第二圖像塊存在所述任意一個跟蹤目標的概率與對應的第一匹配度的和，并確定所述和最大的第二圖像塊的位置作為所述任意一個跟蹤目標在第二幀視頻中的位置。

例如，可利用下面的公式(2)確定任意一個跟蹤目標在第二幀視頻中的位置

圖1b是示出根據(jù)本發(fā)明的另一個實施例的在第三幀視頻中檢測一個或多個跟蹤目標的方法的流程圖，若第二幀視頻之后還有第三幀視頻輸入，則按照下面的步驟繼續(xù)對一個或者多個跟蹤目標進行檢測跟蹤。

在步驟s108，更新用于訓練所述分類器的樣本，并對所述分類器重新進行訓練。

具體地說，可利用檢測的一個或多個跟蹤目標在第二幀視頻中的位置提取訓練分類器的樣本。在一個優(yōu)選的實施例中，分別以檢測的各個跟蹤目標在第二幀視頻中的位置為中心，在小于第一半徑范圍內(nèi)提取正樣本；在大于第一半 徑和小于第二半徑的范圍內(nèi)提取負樣本。

然后，利用更新的用于訓練所述分類器的樣本分別對一個或者多個跟蹤目標的分類器進行訓練，并且可采用多種方法重新訓練分類器。在一個優(yōu)選的實施例中，可采用與圖2示出的步驟s201～s210相同的方法重新訓練所述分類器。

在步驟s109，利用重新訓練的所述分類器從第二幀視頻之后的第三幀視頻中檢測所述一個或多個跟蹤目標。

具體地說，利用重新訓練的所述分類器判斷第三幀視頻中與所述多個第二圖像塊對應的多個第三圖像塊中存在每個跟蹤目標的概率。

這里，所述多個第三圖像塊分別與所述多個第二圖像塊相對應，且對應的第三圖像塊和第二圖像塊在形狀和位置上相同。

根據(jù)與從第一幀視頻的特定位置的第一圖像塊提取特征的一個優(yōu)選實施例的相類似的方法，在第三幀視頻中，可分別以檢測的各個跟蹤目標在第二幀視頻中的位置為中心，在小于第三半徑的范圍內(nèi)提取多個第三圖像塊。

在步驟s110，從第三幀視頻提取特征。

具體地說，從在在第三幀視頻劃分的多個第三圖像塊提取特征。

在步驟s111，確定從第三幀視頻提取的特征與從第二幀視頻提取的特征之間的第二匹配度。具體地說，計算對應的第三圖像塊和第二圖像塊的特征之間的相似度作為第二匹配度。根據(jù)本發(fā)明的一個優(yōu)選的實施例，對應的第三圖像塊和第二圖像塊的特征之間的相似度可用提取的特征之間的特征匹配概率來表示。

在步驟s112，基于重新訓練的所述分類器檢測的所述一個或多個跟蹤目標的結(jié)果和所述第二匹配度，確定所述一個或多個跟蹤目標在第三幀視頻中的位置。

具體地說，針對任意一個跟蹤目標，計算每個第三圖像塊存在所述任意一個跟蹤目標的概率與對應的第二匹配度的和，并確定每個第三圖像塊存在所述任意一個跟蹤目標的概率與對應的第二匹配度的和最大的第三圖像塊的位置作為所述任意一個跟蹤目標在第三幀視頻中的位置。

根據(jù)本發(fā)明的另一個示例性實施例，若第三幀視頻之后，還需要在第四幀視頻中對跟蹤目標進行檢測，則按照與步驟(s108)～步驟(s112)相類似的方法進行檢測，并輸出各幀的視頻中一個或多個跟蹤目標的跟蹤結(jié)果(例如，每幀中的一個或多個跟蹤目標的位置軌跡圖)，直至沒有下一幀視頻幀輸入。

圖3是根據(jù)本發(fā)明的一個實施例的對n個目標位置進行檢測的方法的流程圖。

這里的圖3示出的流程圖描述的是總結(jié)上述的對多個目標進行檢測跟蹤的方法，從整體上闡述對任意幀視頻(用第t幀視頻表示任意幀視頻，且t>1)中的一個或多個跟蹤目標進行檢測的步驟，下面參照圖3對此進行地詳細具體描述。

在步驟s301，設(shè)在第t幀的視頻中檢測的目標為第i個目標，并且使i＝1。

在步驟s302，以第t-1幀的視頻中第i個目標的位置為中心，s為半徑，在第t幀的視頻中提取圖像塊集合其中，x表示圖像塊，l(x)表示圖像塊x的位置，表示第t-1幀的圖像中第i個目標的位置。

然后，計算第i個目標在各個圖像塊中的特征向量這里，表示第i個目標在第j個圖像塊中的特征向量

在步驟s303，使用分類器估計x∈x^s的各個圖像塊中目標存在的概率p1＝p(y＝1|x)。這里，使用的分類器是經(jīng)過樣本訓練的分類器，并且訓練分類器所采用的方法與上文描述的相同，即可采用基于在線多事例學習或其他適合的 方法進行分類器的訓練。

在步驟s304，計算第t幀的視頻中第i個目標在第j個圖像塊中的特征向量與第t-1的視頻中第i個目標在第j個圖像塊中的特征向量之間的特征向量匹配概率

由于同一目標的特征向量即使在不同幀中也會有高度的相似性，因此，可基于特征向量計算當前幀檢測到的目標與上一幀檢測到的目標是同一目標的概率，即特征向量匹配概率并以此作為目標位置預測的依據(jù)，可而改善多目標跟蹤中易出現(xiàn)“跟錯”的問題，從而提高多目標跟蹤的準確率；

在步驟s305，將x^s中p1＝p(y＝1|x)和之和最大值處的圖像塊的位置標記為第t幀的視頻中第i個目標的位置即：

在步驟s306，提取的γ鄰域內(nèi)的一組圖像塊為正樣本包，的(γ,β)環(huán)域內(nèi)的一組圖像塊為負樣本包，且γ<β<s。

用提取的正樣本包和負樣本包更新在下一幀視頻中訓練分類器的樣本，由此，本發(fā)明可有效改善多目標跟蹤中出現(xiàn)的“跟丟”的問題。

在步驟s307，判斷i是否等于n；若i不等于n，則令i+1，并按照步驟s302～s306的對第i+1個目標的位置進行檢測；若i等于n，則輸出在第t幀的視頻中n個目標的檢測結(jié)果(例如，可輸出各個跟蹤目標的位置標記圖)。

在此情況下，多任務和并行處理是有用的。也就是說，本發(fā)明在對n個目標的位置進行預測跟蹤時，還可以同時開辟多個隊列，并行地對n個目標的進行檢測，提高整個跟蹤算法的效率。

雖然上文中的各個步驟是以特定的順序被示出，但所述各個步驟不應被解 釋為受限于特定的順序或者一系列連續(xù)的順序或者所有的步驟不應被理解為以獲取期望結(jié)果而被執(zhí)行。

綜上所述，本發(fā)明將上一幀確定的跟蹤目標的位置作為的當前幀對跟蹤目標進行檢測跟蹤的起點，且需要基于跟蹤目標的當前位置選取正樣本和負樣本，更新用于下一幀的跟蹤目標檢測時訓練分類器的樣本，可有效改善目標(尤其是多目標)跟蹤中出現(xiàn)的“跟丟”的問題；并且時采用分類器與特征向量匹配概率相結(jié)合的方法確定每一幀中跟蹤目標的位置，可有效改善目標(尤其是多目標)跟蹤中出現(xiàn)的“跟錯”的問題。

綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。