專利名稱：一種跟蹤視頻數(shù)據(jù)中的目標(biāo)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及跟蹤視頻數(shù)據(jù)中的目標(biāo)的方法。目標(biāo)可以是視頻中任何被跟蹤的對(duì)象。目標(biāo)的例子包括，但不局限于，CCTV (閉路電視)鏡頭中記錄的人，以及通過顯微鏡觀察在樣品液體里移動(dòng)的細(xì)胞。
背景技術(shù)：
本發(fā)明涉及跟蹤視頻或者可視數(shù)據(jù)中的目標(biāo)，例如跟蹤視頻中記錄的對(duì)象。例如，視頻數(shù)據(jù)可以是預(yù)先錄制的視頻片段，或者實(shí)時(shí)視頻傳送。視頻的每一幀是一個(gè)圖像，圖像中的一個(gè)或多個(gè)目標(biāo)可能是可視的。本發(fā)明涉及一種分析這種視頻中的幀的方法，從而當(dāng)目標(biāo)在視頻捕獲的區(qū)域內(nèi)移動(dòng)時(shí)，識(shí)別目標(biāo)并跟蹤它們。跟蹤視頻數(shù)據(jù)中的目標(biāo)的一個(gè)特別的特征是出現(xiàn)在視頻中的任何具體的幀的目 標(biāo)數(shù)是未知的，并且隨時(shí)間而改變(例如，像細(xì)胞在顯微鏡捕獲的液體區(qū)域內(nèi)進(jìn)進(jìn)出出)。在2003 年第 25 屆 IEEE EMBS 國際會(huì)議年刊上，Taboada, Poggio, Camarena 和Corkidi,在Automatic tracking and analysis system for free-swimming bacteria(用于自由游動(dòng)細(xì)菌的自動(dòng)跟蹤和分析系統(tǒng))一文中描述了一種跟蹤細(xì)胞的方法。該方法識(shí)別視頻的幀中的任何可能的細(xì)胞為色彩和/或亮度鮮明的區(qū)域，例如細(xì)胞可以識(shí)別為每一幀中的“亮斑”。然后細(xì)胞的軌跡可以利用幀與幀之間的那些區(qū)域交迭來識(shí)別。這個(gè)方法會(huì)伴隨一些問題。視頻幀會(huì)包含噪音，該噪音可能會(huì)導(dǎo)致某區(qū)域被錯(cuò)誤地識(shí)別為細(xì)胞，相反地，可能導(dǎo)致細(xì)胞未能被識(shí)別出。這樣會(huì)導(dǎo)致識(shí)別軌跡時(shí)產(chǎn)生誤差，一個(gè)具體的問題是破壞軌跡(也就是，單個(gè)細(xì)胞的軌跡可能會(huì)被識(shí)別為許多更短的，分離的軌跡)。另一個(gè)問題是，細(xì)胞可能移動(dòng)得非常快，例如快到每秒移動(dòng)它們身體長度的200倍。這意味著為了細(xì)胞在幀中交迭，需要一個(gè)非常高的幀頻，這樣導(dǎo)致的缺點(diǎn)是需要非常大的視頻文件而且大大地限制了可以分析視頻的持續(xù)時(shí)間。還有一個(gè)問題就是這種方法難以區(qū)分和正確跟蹤非?？拷蛴兄丿B軌跡的細(xì)胞，使得當(dāng)有大量細(xì)胞時(shí)，這種方法變得不可靠。已知其它各種跟蹤細(xì)胞的方法，但是這些方法普遍只能跟蹤單個(gè)或者非常少數(shù)的細(xì)胞。已知一種模擬隨機(jī)數(shù)量的移動(dòng)目標(biāo)的方法是概率假設(shè)密度(PHD)濾波，PHD濾波通常用于模擬從雷達(dá)或者聲波定位儀獲取的數(shù)據(jù)中的移動(dòng)目標(biāo)。但是，Wang，Wu,Kassim 和Huang,在Data-Driven Probability Hypothesis Density Filter for VisualTracking, IEEE Transactions on Circuits and Systems for Video Technology, 2008—文中，還有Maggio，Taj and Cavallaroj 在Efficient multi-target visual trackingusing Random Finite Sets, IEEE Transactions on Circuits and Systems for VideoTechnology, 2008 —文中描述了用PHD濾波在CCTV數(shù)據(jù)中跟蹤目標(biāo)的方法。這些文獻(xiàn)中描述的方法采用PHD濾波器，稱為“微?！睘V波器或連續(xù)的蒙特卡洛方法的算法。這些文獻(xiàn)中描述的方法有許多問題。當(dāng)數(shù)據(jù)是嘈雜的，導(dǎo)致破碎的和錯(cuò)誤地被宣告的軌跡時(shí)，這些方法可能不可靠。此外，它們不能考慮哪里可能出現(xiàn)新目標(biāo)的優(yōu)先信息。這些方法在計(jì)算上也是非常昂貴的。本發(fā)明尋求提供一種改進(jìn)的跟蹤目標(biāo)的方法，該方法避免或者減輕上述中的一些或者所有的問題。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供一種跟蹤視頻數(shù)據(jù)中的目標(biāo)的方法，其中，在每一系列的時(shí)間步中獲得一組加權(quán)概率分布要素，該方法在每個(gè)時(shí)間步中包括步驟
根據(jù)針對(duì)目標(biāo)的預(yù)定義的運(yùn)動(dòng)模型，由先前時(shí)間步的要素獲得一組新的要素；
分析當(dāng)前時(shí)間步的視頻從而獲得一組測量方法； 利用根據(jù)預(yù)定義的測量模型的測量結(jié)果更新一組新的要素；
分析每個(gè)時(shí)間步獲得的一組要素，從而獲得目標(biāo)的一組軌跡。此方法利用加權(quán)概率分布要素模擬潛在的目標(biāo)；要素的權(quán)重代表表明目標(biāo)確實(shí)存在于該要素指示的位置的證據(jù)的數(shù)量。在每個(gè)時(shí)間步，要素利用它們預(yù)期怎樣行動(dòng)的模型(預(yù)定義的運(yùn)動(dòng)模型)，以及根據(jù)從目標(biāo)的視頻數(shù)據(jù)中獲得的測量結(jié)果(利用預(yù)先確定的測量模型)來更新。分析每一時(shí)間步得到的要素從而獲得目標(biāo)軌跡，換句話說就是跟蹤目標(biāo)。采用該方法，多個(gè)目標(biāo)可以更可靠地識(shí)別和跟蹤，特別是在視頻中包含導(dǎo)致測量不可靠的噪音的情況下。該方法在跟蹤目標(biāo)整個(gè)軌跡上特別有效，換句話說，不會(huì)返回破碎的軌跡，也不會(huì)把截然不同的目標(biāo)錯(cuò)判為相同的目標(biāo)，例如，當(dāng)他們的軌跡交叉時(shí)。此外，該方法不要求視頻中的幀之間目標(biāo)交迭。此方法特別適合跟蹤微小對(duì)象的運(yùn)動(dòng)，比如液體樣品中的細(xì)胞。有利地，此概率分布要素為高斯分布。高斯分布提供一個(gè)有效的計(jì)算模型，因?yàn)樗鼈円子诿枋霾⒕哂泻唵蔚奶匦?，而且還提供有效的方法。優(yōu)選地，該預(yù)定義的運(yùn)動(dòng)模型包括
模擬在先前時(shí)間步殘留下來的目標(biāo)的預(yù)期行為的殘留模型；
模擬在先前時(shí)間步中沒有出現(xiàn)的目標(biāo)的預(yù)期行為的出現(xiàn)模型。這使得目標(biāo)的預(yù)期行為可以有效地被模擬。有利地，出現(xiàn)模型指示目標(biāo)預(yù)期出現(xiàn)在視頻捕獲的區(qū)域的邊緣。這提供一種更可靠的方法，避免在邊緣內(nèi)的測量結(jié)果(可能是噪聲或者是已經(jīng)存在的目標(biāo))被錯(cuò)判為新目標(biāo)。該預(yù)定義的運(yùn)動(dòng)模型可能進(jìn)一步包括分支模型，該分支模型模擬展現(xiàn)從先前時(shí)間步中產(chǎn)生另外的目標(biāo)的目標(biāo)的預(yù)期行為。這有助于有效地跟蹤產(chǎn)生新細(xì)胞的目標(biāo)，例如，分裂成兩個(gè)或者更多個(gè)細(xì)胞的細(xì)胞。優(yōu)選地，該方法進(jìn)一步包括在每個(gè)時(shí)間步中刪除任何權(quán)重低于預(yù)先確定的數(shù)值的要素的步驟。這有助于防止要素的數(shù)量變得大到難以處理，從而提供有效的計(jì)算模型。優(yōu)選地，該方法進(jìn)一步包括在每個(gè)時(shí)間步中合并任何在預(yù)先確定的閾值內(nèi)的要素的步驟。該方法可能進(jìn)一步包括在每個(gè)時(shí)間步中刪除除了預(yù)先確定數(shù)量的、由具有最高權(quán)重的要素組成的要素之外的要素的步驟。優(yōu)選地，該方法進(jìn)一步包括在每一個(gè)時(shí)間步中標(biāo)記在該時(shí)間步中獲得的該組要素。這能利用施加至要素的標(biāo)記來獲得軌跡。優(yōu)選地，從運(yùn)動(dòng)模型獲得的要素被標(biāo)上與它們的來源要素相同的標(biāo)記。有利地，該運(yùn)動(dòng)模型包括殘留模型，其中，從殘留模型中獲得的要素被標(biāo)上與它的來源要素相同的標(biāo)記。有利地，該運(yùn)動(dòng)模型包括出現(xiàn)模型，其中，從出現(xiàn)模型中獲得的要素被標(biāo)上新的唯一的標(biāo)記。該運(yùn)動(dòng)模型可能包括分支模型，從分支模型獲得的具有最高權(quán)重的要素被標(biāo)上與它的來源要素相同的標(biāo)記。有利地，從連續(xù)的時(shí)間步中具有相同標(biāo)記的一系列要素中獲得軌跡。這使得軌跡可通過識(shí)別在連續(xù)的連貫的時(shí)間步中保持同樣標(biāo)記的要素來獲得。有利地，如果獲得軌跡的要素的權(quán)重低于預(yù)先確定的閾值，那么該軌跡將被排除。這樣有助于防止在不大可能從真實(shí)目標(biāo)獲得的要素的基礎(chǔ)上識(shí)別軌跡。 有利地，如果第二軌跡的起點(diǎn)在第一軌跡的終點(diǎn)的預(yù)先確定的時(shí)間和距離內(nèi)，第一軌跡和第二軌跡連接形成單個(gè)的軌跡。這有助于減少該方法識(shí)別的破碎軌跡。有利地，該運(yùn)動(dòng)模型在目標(biāo)的軌跡的基礎(chǔ)上進(jìn)行更新。由于該運(yùn)動(dòng)模型更精確地預(yù)測被跟蹤的特定的目標(biāo)的運(yùn)動(dòng)，使得該方法能更精確地跟蹤目標(biāo)。根據(jù)本發(fā)明的第二方面，提供計(jì)算機(jī)編程產(chǎn)品，用于執(zhí)行上文所述的任何方法的步驟。


以下結(jié)合附圖，描述本發(fā)明的實(shí)施例，其中
圖I為展示了根據(jù)本發(fā)明的第一實(shí)施例，一種跟蹤細(xì)胞的方法的流程 圖2為更詳細(xì)地展示了以圖I的方法修正/合并要素的流程 圖3為展示了以圖I的方法標(biāo)記要素的流程 圖4為展示了以圖I的方法公布和連接軌跡的流程圖。
具體實(shí)施例方式參見圖I至4，描述本發(fā)明的一個(gè)實(shí)施例。如上文所述，PHD濾波是一種已知的模擬運(yùn)動(dòng)目標(biāo)的方法。PHD濾波的綜合概念如下所述。PHD是眾所周知的用于概率論的概率密度函數(shù)(PDF)的概括。連續(xù)隨機(jī)變量的HF是指隨機(jī)變量可能會(huì)出現(xiàn)在該函數(shù)的值域內(nèi)的一個(gè)給定點(diǎn)的函數(shù)。該隨機(jī)變量出現(xiàn)在一組特定的值內(nèi)的概率由那些值的PDF的積分確定。該概率函數(shù)的值域是該隨機(jī)變量的可能值的全部集合，因此其整個(gè)區(qū)域的概率密度函數(shù)的積分是I (反映的事實(shí)是隨機(jī)變量在實(shí)際中一定會(huì)在值域內(nèi)的某點(diǎn)出現(xiàn))。聯(lián)系本實(shí)施例的上下文，該隨機(jī)變量可能是圖像內(nèi)的細(xì)胞的位置。其次，該隨機(jī)變量的概率密度函數(shù)在其值域具有整個(gè)圖像，并且對(duì)圖像的特定區(qū)域的概率密度函數(shù)的積分表示細(xì)胞在該特定區(qū)域的概率。但是，如上所述，對(duì)整個(gè)圖像的概率密度函數(shù)的積分一定是1，因此這只適合正好包含一個(gè)細(xì)胞的圖像。PHD是可用于模擬隨機(jī)數(shù)量(可能是0，I或者多于I)的細(xì)胞的位置的概率密度函數(shù)的概括。更一般地，PHD表示出現(xiàn)在特定位置的隨機(jī)數(shù)量的目標(biāo)的可能性。PHD的一個(gè)特性是對(duì)特定區(qū)域的積分表示該區(qū)域中的目標(biāo)的預(yù)期數(shù)量，所以特別地，整個(gè)區(qū)域的積分不一定等于1，因?yàn)榭赡苌儆诨蛘叨嘤谝粋€(gè)目標(biāo)。如下所述，利用連續(xù)的PHD，PHD濾波表示一種模擬隨機(jī)數(shù)量的移動(dòng)目標(biāo)的運(yùn)動(dòng)的方法。PHD濾波的底層是一組目標(biāo)狀態(tài)Xi,目標(biāo)狀態(tài)Xi是一組表示時(shí)間t中每個(gè)目標(biāo)的狀態(tài)(例如它們的位置和速度)的向量。目標(biāo)隨著時(shí)間的預(yù)期行為通過底層運(yùn)動(dòng)模型表示，該模型可為如下所示
權(quán)利要求
1.一種跟蹤視頻數(shù)據(jù)中的目標(biāo)的方法，其特征在于在一系列時(shí)間步的每一個(gè)時(shí)間步處獲取一組加權(quán)概率分布要素，所述方法在每個(gè)時(shí)間步包括以下步驟 根據(jù)針對(duì)目標(biāo)的預(yù)定義的運(yùn)動(dòng)模型，從前一時(shí)間步的要素獲得一組新的要素； 分析當(dāng)前時(shí)間步的視頻，從而獲得一組測量結(jié)果； 根據(jù)預(yù)定義的測量模型，利用所述測量結(jié)果更新該組新的要素 分析每個(gè)時(shí)間步中獲得的一組要素，從而獲得目標(biāo)的一組軌跡。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述概率分布要素為高斯分布。
3.根據(jù)權(quán)利要求I或者權(quán)利要求2所述的方法，其特征在于，所述預(yù)定義的運(yùn)動(dòng)模型包括 模擬前一時(shí)間步殘留的目標(biāo)的預(yù)期行為的殘留模型； 模擬前一時(shí)間步中沒有出現(xiàn)的目標(biāo)的預(yù)期行為的出現(xiàn)模型。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述出現(xiàn)模型指示目標(biāo)預(yù)期出現(xiàn)在由視頻數(shù)據(jù)捕獲的區(qū)域的邊緣。
5.根據(jù)權(quán)利要求3或者權(quán)利要求4所述的方法，其特征在于，預(yù)定義的運(yùn)動(dòng)模型進(jìn)一步包括分支模型，所述分支模型模擬從前一時(shí)間步中產(chǎn)生另外的目標(biāo)的目標(biāo)預(yù)期行為。
6.根據(jù)前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述方法進(jìn)一步包括在每個(gè)時(shí)間步刪除任何權(quán)重低于預(yù)先確定的值的要素的步驟。
7.根據(jù)前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述方法進(jìn)一步包括在每個(gè)時(shí)間步合并任何在預(yù)先確定的閾值內(nèi)的要素的步驟。
8.根據(jù)前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述方法進(jìn)一步包括在每個(gè)時(shí)間步刪除除了由具有最高權(quán)重要素組成的預(yù)先確定數(shù)量的要素之外的要素的步驟。
9.根據(jù)前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述方法進(jìn)一步包括在每個(gè)時(shí)間步標(biāo)記在該時(shí)間步獲得的一組要素的步驟。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，從所述運(yùn)動(dòng)模型獲得的要素被標(biāo)上與其來源要素相同的標(biāo)記。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述運(yùn)動(dòng)模型包括殘留模型，并且其中從殘留模型獲得的要素被標(biāo)上與其來源要素相同的標(biāo)記。
12.根據(jù)權(quán)利要求10或者權(quán)利要求11所述的方法，其特征在于，所述運(yùn)動(dòng)模型包括出現(xiàn)模型，并且其中從出現(xiàn)模型獲得的要素被標(biāo)上新的唯一的標(biāo)記。
13.根據(jù)權(quán)利要求10至12中任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，所述運(yùn)動(dòng)模型包括分支模型，并且其中從分支模型獲得的具有最高權(quán)重的要素被標(biāo)上與其來源要素相同的標(biāo)記。
14.據(jù)權(quán)利要求10至13中任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，從連續(xù)的時(shí)間步中具有相同的標(biāo)記的一系列要素中獲得軌跡。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，如果獲得軌跡的要素的權(quán)重低于預(yù)先確定的閾值，那么所述軌跡將被排除。
16.根據(jù)前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，如果第二軌跡的起點(diǎn)在第一軌跡的終點(diǎn)的預(yù)先確定的時(shí)間和距離內(nèi)，第一軌跡和第二軌跡被連接形成單個(gè)的軌跡。
17.根據(jù)前面任何一項(xiàng)權(quán)利要求所述的方法，其特征在于，基于目標(biāo)的軌跡更新所述運(yùn)動(dòng)模型。
18.一種計(jì)算機(jī)程序產(chǎn)品，用于執(zhí)行權(quán)利要求1-17的任何方法的步驟。
全文摘要
一種跟蹤視頻數(shù)據(jù)中的目標(biāo)的方法。在每一系列時(shí)間步，獲得一組加權(quán)概率分布要素。在每個(gè)時(shí)間步執(zhí)行下列步驟。首先，根據(jù)針對(duì)目標(biāo)的預(yù)定義的運(yùn)動(dòng)模型，由前一的要素獲得一組新的要素。然后，分析當(dāng)前時(shí)間步的視頻從而獲得一組測量結(jié)果，并且根據(jù)預(yù)定義的測量模型，利用測量結(jié)果更新該組新的要素。最后，分析每個(gè)時(shí)間步獲得的一組要素從而獲得目標(biāo)的一組軌跡。
文檔編號(hào)G06T7/20GK102971767SQ201180014282
公開日2013年3月13日 申請(qǐng)日期2011年2月3日 優(yōu)先權(quán)日2010年3月17日
發(fā)明者特雷弗·邁克爾·沃德 申請(qǐng)人:Isis創(chuàng)新有限公司