專利名稱：解決多目標交匯遮擋的跟蹤裝置及方法
技術領域：
本發(fā)明涉及圖像處理和視頻監(jiān)控，特別涉及一種解決多目標交匯遮擋的跟蹤裝置 及方法。
背景技術：
運動目標檢測、跟蹤是智能視頻監(jiān)控技術的基礎，其檢測結果、跟蹤結果直接影響 著后期事件(諸如入侵、物品遺留、物品被盜、車輛逆向行駛等)檢測的誤警率和虛警率。 因此，運動目標檢測、跟蹤的方法得到了廣泛的關注。公開號為CN 1875379A的中國專利申請公開了一種考慮了各匹配特征的范圍和 方差的，對視頻圖像中的對象跟蹤方法和裝置。公開號為CN 101017572A的中國專利申請 公開了一種用在幀視頻序列中跟蹤非剛性物體的方法，從視頻中提取包括像素位置和屬性 的特征，用這些特征構建一個協方差矩陣，該協方差矩陣用于跟蹤的目的作為物體的描述 符，通過基于李代數平均的更新機制來管理物體變形和外表改變。上述目標跟蹤方法能夠 跟蹤簡單場景中的單個目標，但是一旦場景中出現目標被遮擋情況時，上述方法會出現目 標跟蹤丟失問題。公開號為CN 101283376A的中國專利申請公開了一種使用軌跡分段分析的雙向 跟蹤技術，首先通過在序列的每幀中生成本地二維模式的稀疏集來最小化序列的整體狀態(tài) 空間，二維模式被換成三維體中的三維點，使用譜聚技術來群集三維點，其中每個群集點對 應于目標的可能的軌跡分段，如果在序列中有遮擋，那么就生成遮擋分段，一定程度上處理 了部分或完全遮擋。美國專利申請us 2008/0166045A1公開了一種視頻序列中的跟蹤目標 方法，其包括對一定程度的復雜情節(jié)進行魯棒跟蹤的新的匹配處理，該匹配處理用于檢測 遮擋事件的開端，并對所得的組域執(zhí)行組分割，從而保持對被跟蹤的單個目標的識別。上述方法和裝置在檢測理想情況下或場景簡單時，可以解決目標遮擋問題，但是 當含有大量噪聲情況的場景中存在多目標交匯遮擋時，遮擋前的交匯點、遮擋后的分離點 觸發(fā)的可靠性將大大降低，從而導致跟蹤軌跡終斷，目標跟蹤丟失。綜上所述，目前迫切需要提出能解決大量噪聲情況下多目標交匯遮擋的問題，同 時具有較強魯棒性的目標跟蹤裝置和方法。

發(fā)明內容
有鑒于此，本發(fā)明的主要目的在于解決大量噪聲情況下多目標交匯遮擋的問題， 提高跟蹤的實用性、連續(xù)性和可靠性。為了實現這一目的，按照本發(fā)明的第一個方面，提供了一種解決多目標交匯遮擋 的跟蹤裝置，包括特征提取模塊，用于提取目標圖像中目標的特征，包括目標的位置、直方 圖和速度，并輸出所述特征；目標預測模塊，用于根據上一幀中目標的位置、速度，預測當前 幀中目標的位置；遮擋分離處理模塊，用于根據多個目標的位置，判斷多個目標之間是否發(fā) 生遮擋/分離，將相互發(fā)生遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；多目標分離匹配系數計算模塊，用于判別出孤目標，并計算每個孤目標與該孤目標前景的特征匹配系數，把匹配系數輸入到匹配系數矩陣，以便后期的匹配決策；多目標分離匹配決策模 塊，用于從匹配系數矩陣中選擇出最佳匹配對并輸出；多目標信息更新模塊，用于根據匹配 結果，更新目標的信息，所述信息包括尺寸、面積和直方圖；和跟蹤后處理模塊，用于完成目 標狀態(tài)轉換，丟失目標刪除，及新目標生成等處理。按照本發(fā)明的第二個方面，還提供了一種解決多目標交匯遮擋的方法，其特征在 于，該方法包括提取目標圖像中目標的特征，包括目標的位置、直方圖和速度，并輸出所述 特征；根據上一幀中目標的位置、速度，預測當前幀中目標的位置；根據各個目標的位置， 判斷目標之間是否發(fā)生遮擋/分離，將遮擋的目標編入遮擋組，將分離的目標從遮擋組內 剔除；判別出孤目標，并計算每個孤目標與該孤目標前景的特征匹配系數，把匹配系數輸入 到匹配系數矩陣，以便后期的匹配決策；從匹配系數矩陣中選擇出最佳匹配對并輸出；根 據匹配結果，更新目標的信息，所述信息包括尺寸、面積和直方圖；完成目標狀態(tài)轉換，丟失 目標刪除，及新目標生成等處理。本發(fā)明的優(yōu)點在于實現了復雜背景下多目標的準確跟蹤，解決了目標交匯過程中 因目標相互遮擋造成的目標跟蹤丟失問題，能夠確保目標在復雜場景下的連續(xù)跟蹤，同時 本發(fā)明的裝置和方法具有很強的魯棒性。此外，本發(fā)明還具有很強的實用性，可以用于智能 視頻監(jiān)控裝置中，用以實現目標分類識別、運動目標警戒、運動目標跟蹤、PTZ跟蹤、自動特 寫拍攝、目標行為檢測、流量檢測、擁擠檢測、遺留物檢測、被盜物檢測、煙霧檢測和火焰檢 測等功能。


下面將參照附圖對本發(fā)明的具體實施方式
進行詳細介紹，其中圖1示出了按照本發(fā)明的解決多目標交匯遮擋的跟蹤裝置；圖2示出了按照本發(fā)明的遮擋分離處理模塊；圖3示出了按照本發(fā)明的遮擋、分離、交匯的示意圖；圖4示出了按照本發(fā)明的遮擋穩(wěn)定模塊的時序示意圖；圖5示出了按照本發(fā)明的判別孤目標的前景建立的兩類模型的示意圖；圖6示出了按照本發(fā)明的目標信息更新模塊；圖7示出了按照本發(fā)明的一例遮擋過程的未修正軌跡以及修正后軌跡的示意圖。
具體實施例方式首先，給出本發(fā)明中使用的一些術語的定義。^X在描述本發(fā)明時，全部使用下列定義(包括上面的描述)。T :Tracks/Targets 跟蹤軌跡/跟蹤目標M =Measures檢測區(qū)域/前景檢測G Group組檢測檢測到的當前幀的前景團塊，例如通過檢測器檢測到的。檢測區(qū)域前景檢測的外接矩形區(qū)域。
目標連續(xù)多幀匹配形成的檢測序列，例如通過跟蹤器連續(xù)多幀匹配形成的。目標區(qū)域目標的外接矩形區(qū)域。目標位置目標質心在圖像中的坐標位置(U，ν)。有趨勢目標當目標生成后，連續(xù)跟蹤多幀(例如可以選為8幀)后且沿某一方向 移動一定距離(例如可以選為10個像素)的目標。交疊檢測區(qū)域與目標區(qū)域或目標區(qū)域與目標區(qū)域二者發(fā)生疊壓。即，二者在圖像 中面積交集不為空集μ η τ興φ或者τι η Τ2興φ。其中“交”為相互的含義，“疊”為疊 壓。表征兩個對象間的關系。遮擋判據模塊中的交疊判據用于判斷是否出現1個檢測區(qū)域疊壓2個目標的現象。分離判據模塊中的交疊判據用于判斷是否出現2個檢測區(qū)域疊壓1個目標的現象。交匯當兩個或多個跟蹤目標移動到某一相對較近的空間位置時，使目標在圖像 中表現為被其他目標遮擋的狀態(tài)，稱目標間發(fā)生交匯?！敖弧闭f明二者面積的交疊，“匯”為 二者路徑的聚攏。僅表征目標所處的過程狀態(tài)。遮擋特指目標間發(fā)生的交疊現象。僅表征目標的瞬時狀態(tài)。首次遮擋交匯目標首次發(fā)生交疊時的狀態(tài)。即當兩個或多個跟蹤目標的前景 檢測從非交匯狀態(tài)變?yōu)榻粎R狀態(tài)時刻的瞬時狀態(tài)。分離當兩個或多個跟蹤目標的前景檢測從交匯狀態(tài)變?yōu)榉墙粎R狀態(tài)時刻的瞬時 狀態(tài)。遮擋過程指兩個或多個跟蹤目標從首次遮擋到分離的全部交匯過程，持續(xù)狀態(tài)。組為遮擋在一起的目標編制一個組，組內可以共享組員(遮擋目標)的信息，如 Id、面積、直方圖等。組集管理幀內的全部遮擋組的集合。分離模型為了處理的簡化，把復雜的分離過程簡化成幾個典型模型。mT-nM 通用的分離模型，η個目標對m個檢測的分離模型的簡寫。2T-2M 最簡單的分離模型，2個目標對2個檢測的分離模型的簡寫。兩目標分離即2T-2M模型，發(fā)生分離時，遮擋組內僅存在2個目標。這是目標分 離模型中最簡單的模型。任何多目標分離最后都要經過這一模型。匹配T找到自己對應的M的過程。Ti-Mj 一個匹配對的簡寫，表示第i個T和第j個M相互匹配。最佳匹配對在匹配矩陣中，決策風險最小的一對組合Ti-Mj，即得分最高的匹配 對。優(yōu)選實施方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，下面結合實施例和附圖，對本 發(fā)明進一步詳細說明。圖1表示按照本發(fā)明的解決多目標交匯遮擋的跟蹤裝置。如圖1所示，按照本發(fā) 明的解決多目標交匯遮擋的跟蹤裝置可以包括特征提取模塊1，用于提取目標圖像中目標的特征，包括目標的位置、直方圖和速度，并輸出所述特征；目標預測模塊2，用于根據上一幀目標的位置、速度，預測當前幀目標的位置；遮擋分離處理模塊3，用于根據各個有趨勢的目標的位置，判斷目標之間是否發(fā)生 遮擋或分離，將遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；多目標分離匹配系數計算模塊4，用于判別出孤目標，并計算每個孤目標與該孤目 標前景的特征匹配系數，把匹配系數輸入到匹配系數矩陣，以便后期的匹配決策；
多目標分離匹配決策模塊5，用于從匹配系數矩陣中選擇出最佳匹配對并輸出；多目標信息更新模塊6，用于根據匹配結果，更新目標的尺寸、面積、直方圖等信 息；跟蹤后處理模塊7，用于完成目標狀態(tài)轉換，丟失目標刪除，及新目標生成等處理。特征提取模塊1中所述目標圖像可以是視頻序列經過目標檢測處理后的結果圖 像。視頻序列可以是視頻的一部分或全部。目標可以是根據用戶設定的運動目標。目 標檢測處理可以通過現有的任意一種目標檢測方法實現。例如可以采用專利申請?zhí)枮?CN200910077433. 6的專利中的運動目標檢測方法對視頻序列進行處理，以輸出目標圖像。 由于目標檢測不是本發(fā)明的重點，這里不再詳細描述。目標預測模塊2中根據目標運動的累加位移及其相應的累加時間，計算該目標運 動的平均速度，并根據該速度預測目標的下一次位移。其中，所述累加位移就是目標運動的 位移的累加和，累加時間就是目標運動的時間的累加和。所述累加位移、累加時間及平均運 動速度的關系為ν = s/t其中，s為目標質心穩(wěn)定運動多幀后的位移，t為目標運動多幀所需的時間，ν為該 目標穩(wěn)定運動的平均速度。通過上述公式便可計算得到平均速度。根據所述平均速度ν預測的下一次位移為s' =V-At其中，At為預測的目標時間，即兩幀之間的時間差，S'為目標質心穩(wěn)定運動At 時間后的位移。通過上述公式便可計算預測到下一次位移。根據位移和上一幀中目標的位 置，便可得到目標在當前幀中的位置。圖2示出了按照本發(fā)明的遮擋分離處理模塊3，可以對目標的遮擋/分 離狀態(tài)進行判決，同時還可以監(jiān)管組機制，可以包括編入組員、刪除組員、統計組信 息。(組的定義和原理，例如參見Yang Tao在2005年的IEEE Computer Vision and Pattern Recognition Conference.SanDiego :IEEE Computer Society Press 第 970-975 頁的"Real-timeMultiple Objects Tracking with Occlusion Handling in DynamicScenes，，。)需要注意的是，遮擋分離處理模塊3所涉及的目標都是指有趨勢目標，即當目標 生成后，連續(xù)跟蹤多幀(例如可以選為8幀)后且沿某一方向移動一定距離(例如可以選 為10個像素)的目標。該模塊3可以包括遮擋判據模塊31、分離判據模塊32、交匯判據模 塊33、面積合理性判據模塊34、組空間整理模塊35、組面積信息統計模塊36。為了使遮擋 分離處理更為穩(wěn)定，遮擋分離處理模塊3還可以包括遮擋穩(wěn)定模塊37。圖3示出了按照本發(fā)明的遮擋、分離、交疊的示意圖。
遮擋判據模塊31能夠判斷目標是否處于遮擋狀態(tài)(遮擋狀態(tài)的示意圖參見圖 3(a)) 0當第i幀目標T和第i+Ι幀檢測區(qū)域M滿足以下全部條件時，則視為遮擋，遮擋后 形成組并保存各目標編組前特征，該條件包括(1)檢測是存在的；(2)滿足交疊判據，即1 個M與多個T交疊；(3)滿足面積合理性判據。其中交疊判據由交疊判據模塊33實現；面積合理性判據由面積合理性判據模塊 34實現。交疊判據模塊33能夠判斷目標是否處于交疊狀態(tài)(真實的交疊狀態(tài)的示意圖參 見圖3 (c)，虛假的交疊狀態(tài)的示意圖參見圖3 (d))。為了提高遮擋分離觸發(fā)的可靠性，濾除 虛假的交疊狀態(tài)，判斷交疊狀態(tài)的方法如下計算檢測區(qū)域(實線矩形框)與目標區(qū)域(虛線矩形框)的交疊面積(灰色矩形 框)同目標區(qū)域自身面積(虛線矩形框)的比值R，其計算公式如下，參見圖3(a)、3(b)
<formula>formula see original document page 9</formula>其中，0Verlap_area為檢測區(qū)域(實線矩形框)與目標區(qū)域(虛線矩形框)的交 疊面積(灰色矩形框)，tgt_area為目標區(qū)域自身面積(虛線矩形框)。對于遮擋，當R >第一預定閾值時，則認為目標區(qū)域與檢測區(qū)域真實交疊，反之 則為虛假交疊；對于分離，當R >第二預定閾值，則認為目標區(qū)域與檢測區(qū)域分離，反之 則為虛假分離。按照本發(fā)明的優(yōu)選實施方式，第一預定閾值e W.3，0.5]，第二預定閾值 e
。這兩個閾值之間沒有大小關系，只是針對不同的情況(遮擋、分離)所取的 閾值。面積合理性判據模塊34可以對參與遮擋的檢測和目標的面積進行合理性判斷， 用于濾除細小、超大的噪聲目標和檢測。判斷條件如下遮擋觸發(fā)加入R'濾除極小目標的觸發(fā)，要求R' >第三預定閾值；加入面積關 系限制，要求Max (Tj. Area) < Μ. Area < Σ Tj. Area (注意，觸發(fā)指的是開啟/啟動的瞬間。 例如遮擋觸發(fā)是指當滿足R' >第三預定閾值和Max (Tj. Area) < Μ. Area < Σ Tj. Area條 件時，屬于遮擋觸發(fā))。按照本發(fā)明的優(yōu)選實施方式，第三預定閾值e
0分離觸發(fā)加入R'濾除極小區(qū)域的觸發(fā)，要求R' >第三預定閾值；加入組面 積限制，要求Max (Mi. Area) < G. Area < Σ Mi. Area ；加入組成員面積限制，要求Min (Τ j. sampIeArea)彡 Mi. Area 彡 Max (Tj. sampIeArea)。(即當滿足 R ' > 第三預定閾值、 Max (Mi. Area) < G. Area < Σ Mi. Area VX R Min (Tj. sampIeArea) ( Mi. Area ( Max (Tj. sampIeArea)條件時，屬于分離觸發(fā)。)其中，R'表示目標間的面積比，其公式如下<formula>formula see original document page 9</formula>通常目標因運動、自身形變、檢測誤差等問題都會造成面積變化。sampleArea是遮 擋時刻存儲的樣本面積。Tj. sampIeAre表示目標Tj在遮擋時刻存儲的樣本面積；M. Area、 Mi. Area分別表示檢測M、Mi的面積；Tj. Area為目標Tj的面積；G. Area為組G的面積。其 中i表示參與分離的檢測的標號；j表示已編組目標的標號。
分離判據模塊32能夠判斷目標是否處于分離狀態(tài)(分離狀態(tài)的示意圖參見圖3(b)) 0當第j幀目標T和第j+Ι幀檢測區(qū)域M滿足以下全部條件時，則視為分離，分離后組 解散，各目標匹配對應，該條件包括(1)目標是穩(wěn)定存在的，且具有一定的運動趨勢；(2) 檢測是存在的；⑶滿足交疊判據，即多個M與1個T交疊；(4)滿足面積合理性判據；(5) 檢測的組指針與目標的組指針一致。其中交疊判據由上述交疊判據模塊33實現；面積合理性判據由上述面積合理性 判據模塊34實現。組空間整理模塊35用于整理組空間，可以完成以下工作刪除組內已分離的組 員；整理空出的組員位和組位；清除空組的面積統計信息；統計新的組員數和組數；校驗是 否存在與注冊信息不一致的組員；清除多目標分離的檢測區(qū)域ID寄存器。組面積信息統計模塊36用于統計組面積信息，可以完成以下工作統計組員面積 的最大值、最小值；統計參與組分離的檢測區(qū)域的面積和。遮擋穩(wěn)定模塊37用于提高遮擋過程的連續(xù)性，其通過對短暫缺失的遮擋幀進行 糾錯來避免遮擋過程的中斷。遮擋幀缺失的原因有組對應的檢測區(qū)域超出合理范圍；組 對應的檢測區(qū)域突然消失。遮擋穩(wěn)定模塊37采用電容充放電思想，其處理方式如下(假設 5幀連續(xù)遮擋目標的視頻序列)若該5幀序列內目標在其中一幀出現檢測問題，形成“可 觸發(fā)_可觸發(fā)_不可觸發(fā)_可觸發(fā)_可觸發(fā)”的觸發(fā)情況，未開啟遮擋穩(wěn)定模塊37時，該5 幀序列內目標的實際輸出表現為“遮擋_遮擋_不遮擋_不遮擋_不遮擋”；而開啟遮擋穩(wěn) 定模塊37后，該5幀序列內目標的實際輸出表現為“遮擋-遮擋-遮擋-遮擋-遮擋”的 情況。遮擋穩(wěn)定模塊37解決了因一幀“遮擋不觸發(fā)”造成的交匯過程中斷問題。按照本發(fā) 明的實施方式，交疊判據模塊33先執(zhí)行處理，當目標處于交疊狀態(tài)時由面積合理性判據模 塊34繼續(xù)執(zhí)行處理；然后遮擋判據模塊31和分離判據模塊32 (模塊31和模塊32沒有先 后順序)分別執(zhí)行處理，如果目標處于遮擋狀態(tài)但未進入分離狀態(tài)，則組空間整理模塊35、 組面積信息統計模塊36以及遮擋穩(wěn)定模塊37相繼執(zhí)行處理。遮擋穩(wěn)定模塊37是一個可 選模塊，操作時也可以不執(zhí)行處理。圖4示出了按照本發(fā)明的遮擋穩(wěn)定模塊37的時序示意圖。如圖4所示，當組觸發(fā) 遮擋(組觸發(fā)遮擋指的是目標處于遮擋狀態(tài)時，與檢測構成了一個組，如果該組維持了一 段時間則處于組觸發(fā)遮擋狀態(tài))時(豎線矩形)，遮擋穩(wěn)定模塊37保持水平A高度，當沒 有遮擋觸發(fā)時(白色下降區(qū))遮擋穩(wěn)定模塊37工作，為組保持遮擋狀態(tài)，當遮擋間歇(丟 失遮擋幀)不大時，則可以保持T = A時間長度不銷毀遮擋組。舉例來說，當目標前一幀處 于遮擋狀態(tài)，以該目標與檢測構成遮擋組，隨后在一定時間內該遮擋組處于不明狀態(tài)(即 不處于遮擋狀態(tài)也不處于分離狀態(tài))后，接著該遮擋組又處于分離狀態(tài)，則由遮擋穩(wěn)定模 塊37對該遮擋組的不明狀態(tài)過程執(zhí)行處理。如果該遮擋組處于不明狀態(tài)的時間<第四預 定閾值，則認為該遮擋組處于穩(wěn)定的遮擋狀態(tài)，并保留該遮擋組信息；否則認為該遮擋組處 于不穩(wěn)定的遮擋狀態(tài)，并銷毀該遮擋組信息。其中第四預定閾值e [4，6]。多目標分離匹配系數計算模塊4用于處理兩個以上的目標遮擋時的匹配系數計 算，主要是判別孤目標的前景和孤目標的匹配。這里以3T-2M為例。對于兩個前景檢測、三 個目標來對應，必然會產生一個兩目標的組和一個單目標。這個單目標我們稱其為“孤目 標”。當3T-2M模型成功找出孤目標并且分離后，此模型就簡化成目前較為成熟的2T-2M模型了。2T-2M模型目標分離匹配的處理方法可以使用現有的解決兩目標交匯遮擋的跟蹤方 法，例如可以參考專利申請?zhí)枮镃N201010142813. 6的中國專利。為了判別孤目標的前景，建立了兩類模型以“人-人-人”模型為代表的 相近面積目標模型，主要解決3個面積相近目標的處理；以“人-人-車”模型為代 表的非相近面積目標模型，主要解決3個面積不相近的目標處理。依據以下方法來 區(qū)分這兩個模型計算3個目標各自的面積T_are (j = 1或2或3)、3個目標的面
積的均值=<formula>formula see original document page 11</formula>以及任一目標與該面積的均值的差值的絕對值<formula>formula see original document page 11</formula>若存在任一民大于第五預定閾值，則認為這3個目標屬于相近面積模型，即為“人-人-人”模型；否則認為這3個目標屬于面積非相近模型，即為 “人-人-車”模型。其中第五預定閾值e
。圖5示出了按照本發(fā)明的判別孤目標的前景建立的兩類模型的示意圖，其中五星 標出了孤目標。圖5(a)表示的是人-人-人模型與孤目標前景的示意圖，可以看出孤目標 前景的面積很小，由于無論另外兩個目標如何交匯，只要沒有完全重合就會比孤目標的前 景大，因此對于這類模型的孤目標識別就是在2M中找最小面積的前景。圖5(b)和圖5(c) 表示的是人-人-車模型與孤目標前景的示意圖，針對該類模型采用正反面積匹配法來識 別孤目標。正反面積匹配法識別孤目標的步驟是1)統計正反方面積匹配均值。以目標Tl為正方，剩余的兩個目標T2、T3為反方， 先計算正方目標與檢測Ml的面積匹配系數和反方目標與檢測Μ2的面積匹配系數，計算上 述兩個面積匹配系數的均值Cl，再計算正方目標與檢測Μ2的面積匹配系數和反方目標與 檢測Ml的面積匹配系數，計算上述兩個面積匹配系數的均值C2。同理，分別以目標Τ2、Τ3 為正方，可以計算得到面積匹配系數的均值C3、C4、C5、C6。2)尋找均值的最大值。比較Cl、C2、C3、C4、C5、C6的值，找到這6個值中的最大
值，則該最大值對應的正方就是孤目標。所述孤目標的匹配可以使用現有的直方圖特征進行匹配。為了提高匹配的魯棒 性，這里引入RGB三通道的一階矩、二階矩、三階矩來計算匹配系數histMomentsCoff，其計 算公式如下<formula>formula see original document page 11</formula>一階矩(期望)<formula>formula see original document page 11</formula>
二階矩(方差)=<formula>formula see original document page 11</formula><formula>formula see original document page 12</formula>三階矩(偏斜<formula>formula see original document page 12</formula>其中i為通道數(即R通道、G通道、B通道)，在此為RGB三通道，N為該目標對 應的總像素數，Pi, j為該目標第i通道第j個像素的像素值。對于一個RGB三通道的目標， 共計算生成9個系數。對2組(1組有9個系數)系數進行做差比較再加權平均，就可以以 一個標量來確定直方圖的匹配程度。k為階矩(即期望E、方差ο、偏斜S) ；Wf表示各分量 的權值，可以全都設置為1。多目標分離匹配決策模塊5用于對分離組內的目標進行匹配置信比較，決策出最 佳匹配對。匹配決策方法步驟如下最大值標號。對匹配矩陣，先橫向檢測每行的最大值，對初始化全0的標號矩陣其 對應位置加1，然后再縱向檢測每列的最大值，對標號矩陣其對應位置再加1。這時標號矩 陣每個位置就可能為三種情況的一種0、1和2?！?”表示M與T互相選擇；“1”表示M與T 互相只有1個選擇對方；“0”表示M與T相互沒有選擇。提取匹配對。找到標號矩陣有“2”的位置，其橫縱所對應的Ti和Mj就是最佳匹 配對，即Ti-Mj。例如3T-2M，在孤目標的匹配過程中，由于只需要孤目標的最佳匹配對，所 以只需要執(zhí)行一遍此算法。圖6示出了按照本發(fā)明的目標信息更新模塊。多目標信息更新模塊6可以包括遮 擋目標信息更新模塊61。遮擋目標信息更新模塊62按照匹配結果，用檢測區(qū)域信息更新遮擋目標信息，其 更新的內容包括遮擋目標質心、面積、外接尺寸，這些信息均使用組對應的前景檢測信息更 新。為了修正遮擋過程的軌跡，多目標信息更新模塊6還可以包括遮擋軌跡修正模塊 62。圖7示出了一例遮擋過程的未修正軌跡以及修正后軌跡的示意圖。由于遮擋目標信息 的更新使用的是組對應的前景區(qū)域信息，這就使遮擋兩目標在遮擋過程中產生了一個“X” 型的軌跡線，對目標的位置引入了誤差(參見圖7(a))。遮擋軌跡修正模塊62記錄遮擋時 刻兩目標所在位置以及分離時兩前景檢測所在位置，然后用直線連接(參見圖7(b))。跟蹤后處理模塊7可以包括組信息顯示模塊，用于為Debug顯示出詳盡的組內信 肩、ο本發(fā)明還提供了一種解決多目標交匯遮擋的跟蹤方法，可以包括提取目標圖像中目標的特征，包括目標的位置、直方圖和速度，并輸出所述特征；根據上一幀目標的位置、速度，預測當前幀目標的位置；根據各個目標的位置，判斷目標之間是否發(fā)生遮擋/分離，將遮擋的目標編入遮 擋組，將分離的目標從遮擋組內剔除；判別出孤目標，并計算每個孤目標與該孤目標前景的特征匹配系數，把匹配系數 輸入到匹配系數矩陣，以便后期的匹配決策；從匹配系數矩陣中選擇出最佳匹配對并輸出；
根據匹配結果，更新目標的尺寸、面積、直方圖等信息；完成目標狀態(tài)轉換，丟失目標刪除，及新目標生成等處理。按照本發(fā)明的解決目標交匯遮擋的跟蹤裝置的最大優(yōu)點在于實現了復雜背景下多目標的準確跟蹤，解決了目標交匯過程中因目標相互遮擋造成的目標跟蹤丟失問題，能 夠確保目標在復雜場景下的連續(xù)跟蹤，同時該裝置具有很強的魯棒性。本發(fā)明還具有很強的實用性，可以用于智能視頻監(jiān)控裝置中，用以實現目標分類 識別、運動目標警戒、運動目標跟蹤、PTZ跟蹤、自動特寫拍攝、目標行為檢測、流量檢測、擁 擠檢測、遺留物檢測、被盜物檢測、煙霧檢測和火焰檢測等功能。
以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍，應當 理解，本發(fā)明并不限于這里所描述的實現方案，這些實現方案描述的目的在于幫助本領域 中的技術人員實踐本發(fā)明。任何本領域中的技術人員很容易在不脫離本發(fā)明精神和范圍 的情況下進行進一步的改進和完善，因此本發(fā)明只受到本發(fā)明權利要求的內容和范圍的限 制，其意圖涵蓋所有包括在由所附權利要求所限定的本發(fā)明精神和范圍內的備選方案和等 同方案。
權利要求
一種解決多目標交匯遮擋的跟蹤裝置，其特征在于，該裝置包括特征提取模塊，用于提取目標圖像中目標的特征，包括目標的位置、直方圖和速度，并輸出所述特征；目標預測模塊，用于根據上一幀中目標的位置、速度，預測當前幀中目標的位置；遮擋分離處理模塊，用于根據多個目標的位置，判斷多個目標之間是否發(fā)生遮擋/分離，將相互發(fā)生遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；多目標分離匹配系數計算模塊，用于判別出孤目標，并計算每個孤目標與該孤目標前景的特征匹配系數，把匹配系數輸入到匹配系數矩陣，以便后期的匹配決策；多目標分離匹配決策模塊，用于從匹配系數矩陣中選擇出最佳匹配對并輸出；多目標信息更新模塊，用于根據匹配結果，更新目標的信息，所述信息包括尺寸、面積和直方圖；和跟蹤后處理模塊，用于完成目標狀態(tài)轉換，丟失目標刪除，及新目標生成等處理。
2.如權利要求1所述的裝置，其特征在于，遮擋分離處理模塊進一步包括 遮擋判據模塊，用于判斷目標是否處于遮擋狀態(tài)；分離判據模塊，用于判斷目標是否處于分離狀態(tài)； 交疊判據模塊，用于判斷目標是否發(fā)生交疊；面積合理性判據模塊，用于對參與遮擋的檢測和目標的面積進行合理性判斷，用于濾 除細小、超大的噪聲目標和檢測；組空間整理模塊，用于整理組空間； 組面積信息統計模塊，用于統計組面積信息。
3.如權利要求2所述的裝置，其特征在于，遮擋判據模塊用于判斷目標是否處于遮擋 狀態(tài)，其中，當第i幀目標T和第i+1幀檢測M滿足以下全部條件時，則視為遮擋，遮擋后形 成組并保存各目標編組前特征，所述條件包括(1)目標是穩(wěn)定存在的，且具有一定的運動 趨勢；(2)檢測是存在的；(3)滿足交疊判據，即1個檢測M與多個目標T交疊；(4)滿足面 積合理性判據；其中交疊判據由交疊判據模塊實現；面積合理性判據由面積合理性判據模塊實現。
4.如權利要求2所述的裝置，其特征在于，分離判據模塊能夠判斷目標是否處于分離 狀態(tài)，其中當第j幀目標T和第j+1幀檢測M滿足以下全部條件時，則視為分離，分離后組解 散，各目標匹配對應，所述條件包括(1)目標是穩(wěn)定存在的，且具有一定的運動趨勢；(2) 檢測是存在的；⑶滿足交疊判據，即多個M與1個T交疊；(4)滿足面積合理性判據；(5) 檢測的組指針與目標的組指針一致；其中交疊判據由所述交疊判據模塊實現；面積合理性判據由所述面積合理性判據模塊 實現。
5.如權利要求2所述的裝置，其特征在于，交疊判據模塊執(zhí)行以下操作計算檢測區(qū)域與目標區(qū)域的交疊面積同目標區(qū)域自身面積的比值R，其計算公式如下<formula>formula see original document page 2</formula>其中，0Verlap_area為檢測區(qū)域與目標區(qū)域的交疊面積，tgt_area為目標區(qū)域自身面積；對于遮擋，當R >第一預定閾值時，則認為目標區(qū)域與檢測區(qū)域真實交疊，反之則為虛 假交疊；對于分離，當R >第二預定閾值，則認為目標區(qū)域與檢測區(qū)域分離，反之則為虛假 分離。
6.如權利要求2所述的裝置，其特征在于，面積合理性判據模塊的判斷條件如下遮擋觸發(fā)加入R'濾除極小目標的觸發(fā)，要求R' >第三預定閾值；加入面積關系限 制，要求 Max (Tj. Area) < M. Area < E Tj. Area，其中，第三預定閾值G
分離觸發(fā)加入R'濾除極小區(qū)域的觸發(fā)，要求R' >第三預定閾值；加入組面積 限制，要求Max (Mi. Area) < G. Area < E Mi. Area ；加入組成員面積限制，要求Min (Tj. sampleArea) ^ Mi. Area ^ Max(Tj. sampleArea)，其中，R'表示目標間的面積比，其公式如下 R, = Min(Tj.Area) Max(Tj.Area)sampleArea是遮擋時刻存儲的樣本面積，Tj. sampleAre表示目標Tj在遮擋時刻存 儲的樣本面積；M. Area、Mi. Area分別表示檢測M、Mi的面積；Tj. Area為目標Tj的面積； G. Area為組G的面積，其中i表示參與分離的檢測的標號；j表示已編組目標的標號。
7.如權利要求2所述的裝置，其中，遮擋分離處理模塊此外還包括遮擋穩(wěn)定模塊，用于 提高遮擋過程的連續(xù)性，該遮擋穩(wěn)定模塊通過對短暫缺失的遮擋幀進行糾錯來避免遮擋過 程的中斷。
8.如權利要求1所述的裝置，其特征在于，多目標分離匹配系數計算模塊用于判別孤 目標的前景和孤目標的匹配，其中為了判別孤目標的前景，建立兩類模型以“人-人-人”模型為代表的相近面積目 標模型，用以解決3個面積相近目標的處理；以“人-人-車”模型為代表的非相近面積 目標模型，用以解決3個面積不相近的目標處理，并且所述多目標分離匹配系數計算模 塊執(zhí)行以下操作計算3個目標各自的面積T_are ，j = 1或2或3，計算3個目標的面積的均值T — = —are…并且計算任一目標與所述面積的均值的差值的絕對值<formula>formula see original document page 3</formula>，然后判斷所述絕對值民是否大于第五預定閾值，如果大 于，則認為這3個目標屬于相近面積模型，即為“人-人-人”模型；如果不大于，則認為這 3個目標屬于面積非相近模型，即為“人-人-車”模型；其中第五預定閾值e
； 其中，針對人_人_人模型的孤目標的前景的判別指的是在2M中找最小面積的前景； 針對人-人-車模型的孤目標的前景的判別執(zhí)行正反面積匹配處理。
9.如權利要求8所述的裝置，其特征在于，正反面積匹配處理包括1)統計正反方面積匹配均值，包括a)以目標T1為正方，剩余的兩個目標T2、T3為反 方，先計算正方目標與檢測Ml的面積匹配系數和反方目標與檢測M2的面積匹配系數，計算 上述兩個面積匹配系數的均值C1，再計算正方目標與檢測M2的面積匹配系數和反方目標與檢測Ml的面積匹配系數，計算上述兩個面積匹配系數的均值C2，b)以目標T2為正方，剩 余的兩個目標T1、T3為反方，先計算正方目標與檢測Ml的面積匹配系數和反方目標與檢測 M2的面積匹配系數，計算上述兩個面積匹配系數的均值C3，再計算正方目標與檢測M2的面 積匹配系數和反方目標與檢測Ml的面積匹配系數，計算上述兩個面積匹配系數的均值C4 ； c)以目標T3為正方，剩余的兩個目標Tl、T2為反方，先計算正方目標與檢測Ml的面積匹 配系數和反方目標與檢測M2的面積匹配系數，計算上述兩個面積匹配系數的均值C5，再計 算正方目標與檢測M2的面積匹配系數和反方目標與檢測Ml的面積匹配系數，計算上述兩 個面積匹配系數的均值C6 ；2)尋找均值的最大值，包括比較CI、C2、C3、C4、C5、C6的值，找到這6個值中的最大 值，則該最大值對應的正方就是孤目標。
10.如權利要求1所述的裝置，其特征在于，多目標分離匹配決策模塊執(zhí)行以下操作1)最大值標號，包括對匹配矩陣，先橫向檢測每行的最大值，在初始化為全0的標號 矩陣中將與所述最大值對應的位置上的值加1，然后再縱向檢測每列的最大值，在所述標號 矩陣中將與該最大值對應的位置上的值加1 ；2)提取匹配對，包括找到所述標號矩陣中值為“2”的位置，其橫坐標Ti和縱坐標所 Mj構成最佳匹配對，即Ti-Mj。
11.如權利要求1所述的裝置，其特征在于，多目標信息更新模塊包括遮擋目標信息更 新模塊，所述遮擋目標信息更新模塊用于按照匹配結果，用檢測區(qū)域信息更新遮擋目標信 息，其更新的內容包括遮擋目標質心、面積、外接尺寸，這些信息均使用組對應的前景檢測 信息更新。
12.如權利要求11所述的裝置，其特征在于，多目標信息更新模塊還包括遮擋軌跡修 正模塊，用于為遮擋過程的軌跡做修正處理。
13.一種解決多目標交匯遮擋的方法，其特征在于，該方法包括提取目標圖像中目標 的特征，包括目標的位置、直方圖和速度，并輸出所述特征；根據上一幀中目標的位置、速 度，預測當前幀中目標的位置；根據各個目標的位置，判斷目標之間是否發(fā)生遮擋/分離， 將遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；判別出孤目標，并計算每個孤目 標與該孤目標前景的特征匹配系數，把匹配系數輸入到匹配系數矩陣，以便后期的匹配決 策；從匹配系數矩陣中選擇出最佳匹配對并輸出；根據匹配結果，更新目標的信息，所述信 息包括尺寸、面積和直方圖；完成目標狀態(tài)轉換，丟失目標刪除，及新目標生成等處理。
全文摘要
本發(fā)明提供了一種目標跟蹤的裝置及方法，能夠解決多目標交匯遮擋的問題。所述方法包括提取目標圖像中目標的特征，包括目標的位置、直方圖和速度，并輸出所述特征；根據上一幀中目標的位置、速度，預測當前幀中目標的位置；根據各個目標的位置，判斷目標之間是否發(fā)生遮擋/分離，將遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；判別出孤目標，并計算每個孤目標與該孤目標前景的特征匹配系數，把匹配系數輸入到匹配系數矩陣，以便后期的匹配決策；從匹配系數矩陣中選擇出最佳匹配對并輸出；根據匹配結果，更新目標的信息，所述信息包括尺寸、面積和直方圖；完成目標狀態(tài)轉換，丟失目標刪除，及新目標生成等處理。
文檔編號G06K9/32GK101833771SQ201010190268
公開日2010年9月15日 申請日期2010年6月3日 優(yōu)先權日2010年6月3日
發(fā)明者黃建 申請人:北京智安邦科技有限公司