運動目標(biāo)跟蹤恢復(fù)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及目標(biāo)跟蹤領(lǐng)域,尤其涉及運動目標(biāo)跟蹤恢復(fù)方法及裝置。
【背景技術(shù)】
[0002] 現(xiàn)有技術(shù)進行目標(biāo)跟蹤的方法為,采用跟蹤算法對運動目標(biāo)進行跟蹤,跟蹤裝置 隨著跟蹤目標(biāo)的運動而運動,以保證跟蹤目標(biāo)始終位于圖像中的特定位置,在檢測到跟蹤 裝置停止運動后,判斷目標(biāo)丟失,則通過前景檢測獲取新的運動目標(biāo),并運用例如卡爾曼濾 波估算出跟蹤目標(biāo)應(yīng)當(dāng)存在的預(yù)估位置,對位于預(yù)估位置的前景目標(biāo)進行跟蹤。
[0003] 通過這種前景檢測獲取的運動目標(biāo)沒有比對原有的跟蹤目標(biāo)與重新檢測得到的 前景目標(biāo)之間特征,難以保證是原有的跟蹤目標(biāo),如果原有的跟蹤目標(biāo)在跟蹤丟失時發(fā)生 運動速度或方向上的改變,則在預(yù)估位置上得到的前景目標(biāo)就不是原有的跟蹤目標(biāo),因此 一旦發(fā)生跟蹤丟失,很難再將原有的目標(biāo)找到并進行繼續(xù)跟蹤。
[0004] 因此現(xiàn)有技術(shù)在跟蹤丟失時難以繼續(xù)進行跟蹤,容易丟失原有跟蹤目標(biāo)的問題。
【發(fā)明內(nèi)容】
[0005] 為解決現(xiàn)有技術(shù)存在的問題,本發(fā)明提供一種跟蹤恢復(fù)裝置,能夠在跟蹤目標(biāo)被 遮擋的情況下,快速準(zhǔn)確地找回跟蹤目標(biāo)恢復(fù)跟蹤。
[0006] -種運動目標(biāo)跟蹤恢復(fù)方法,用于跟蹤裝置進行目標(biāo)跟蹤,包括在跟蹤丟失時對 當(dāng)前圖像前景檢測得到前景目標(biāo),根據(jù)跟蹤目標(biāo)所處的丟失位置得到跟蹤目標(biāo)的預(yù)估位 置,還包括:
[0007] 在判斷跟蹤丟失時將候選目標(biāo)的特征與跟蹤目標(biāo)的特征進行匹配計算得到各候 選目標(biāo)的匹配值,所述候選目標(biāo)為前景目標(biāo);
[0008] 根據(jù)匹配值以及到預(yù)估位置的距離為各候選目標(biāo)賦予權(quán)重值,得到權(quán)重值最大的 候選目標(biāo)作為原有的跟蹤目標(biāo)繼續(xù)跟蹤,其中在距離相同時匹配值高的賦予權(quán)重值大,匹 配值相同時距離近的賦予權(quán)重值大。
[0009] 本發(fā)明的運動目標(biāo)在因遮擋造成跟蹤丟失的情況下,通過對圖像中檢測出的前景 目標(biāo)進行匹配和預(yù)估從而得到最有可能為原有跟蹤目標(biāo)的前景從而繼續(xù)進行跟蹤,避免了 一些因畫面中的物體遮擋導(dǎo)致跟蹤目標(biāo)丟失或因自適應(yīng)變倍跟蹤目標(biāo)短時間內(nèi)出畫面從 而造成的跟蹤丟失。跟蹤目標(biāo)帶有的特征例如顏色特征可以用來與其他的前景目標(biāo)進行區(qū) 另IJ,因此通過特征的匹配可以得到較大可能是跟蹤目標(biāo)的前景目標(biāo),同時跟蹤目標(biāo)在畫面 跟蹤時遵循一定的運動規(guī)律,很少會存在非常劇烈的運動速度及方向的改變,因此通過這 些相關(guān)的運動信息可以確定跟蹤目標(biāo)所在的大致位置,因此可以通過候選目標(biāo)與大致位置 的距離選取最有可能是原有跟蹤目標(biāo),從而繼續(xù)進行跟蹤。如果在一段預(yù)定時長內(nèi),都沒有 檢出符合條件的前景目標(biāo),則回預(yù)置位進行下一次跟蹤。
[0010] 進一步而言,還包括根據(jù)所述預(yù)估位置以及丟失位置建立搜索區(qū)域,獲取處于搜 索區(qū)域內(nèi)的前景目標(biāo)作為所述候選目標(biāo),所述搜索區(qū)域建立方法為:計算預(yù)估位置到丟失 位置的距離R,建立以丟失位置為圓心的扇形搜索區(qū)域,所述扇形搜索區(qū)域的半徑為SR,其中s辛0。
[0011] 由于跟蹤目標(biāo)的運動軌跡通常不會發(fā)生非常急劇的變化,但考慮在此過程中跟蹤 目標(biāo)仍然會發(fā)生速度和方向上的變化,因此得到跟蹤目標(biāo)所在位置的大致范圍,從而排除 一些不太可能是原先的跟蹤目標(biāo)的前景目標(biāo),提高重新獲取跟蹤目標(biāo)的速度。通過設(shè)定扇 形區(qū)域,將跟蹤目標(biāo)在運動過程中運動方向可能發(fā)生的變化加以考慮,將預(yù)估位置的半徑 乘以系數(shù)則考慮到運動速度變化所帶來的實際位置可能比預(yù)估位置要遠或近。這一搜索區(qū) 域的設(shè)定,可以大大減少需要匹配的前景目標(biāo)數(shù)目,從而提高效率。
[0012] 進一步而言,還包括在目標(biāo)跟蹤時記錄跟蹤目標(biāo)的運動信息,所述預(yù)估位置根據(jù) 所述運動信息結(jié)合丟失位置得到,所述運動信息包括:跟蹤目標(biāo)的平面運動方向、跟蹤目標(biāo) 的運動軌跡以及跟蹤目標(biāo)在水平和豎直方向上的空間運動速度。
[0013] 跟蹤目標(biāo)的平面運動方向及運動軌跡可以得到跟蹤目標(biāo)在跟蹤丟失后的運動趨 勢,跟蹤目標(biāo)在空間中的空間運動速度可以分解為水平和豎直方向上的速度,因此獲取這 些信息之后,將運動趨勢結(jié)合空間運動速度可以得到跟蹤目標(biāo)可能在的預(yù)估位置。運動信 息可以采用現(xiàn)有的技術(shù)記錄得到,例如通過運用金字塔LK跟蹤算法得到,金字塔LK跟蹤 算法對觸發(fā)規(guī)則的目標(biāo)進行跟蹤,并記錄LK跟蹤算法中光流方向作為跟蹤目標(biāo)的平面運 動方向,并利用空間坐標(biāo)系記錄跟蹤目標(biāo)的運動軌跡及在水平和豎直方向上的空間運動速 度。
[0014] 進一步而言,候選目標(biāo)與跟蹤目標(biāo)進行匹配所采用的特征為顏色特征,通過NCC 算法對顏色特征進行匹配計算得到候選目標(biāo)的所述匹配值。
[0015] 將候選目標(biāo)與跟蹤目標(biāo)進行匹配的特征有多種,但是由于在跟蹤恢復(fù)時在特征匹 配計算上要求計算速度較快,顏色特征能夠較為準(zhǔn)確地反映跟蹤目標(biāo)的特征,同時也能夠 在匹配計算時兼顧效率。
[0016] 進一步而言,為各候選目標(biāo)賦予所述權(quán)重值的方法包括:
[0017] 為候選目標(biāo)分配距離權(quán)重值Wln,η表示第η個候選目標(biāo),到預(yù)估位置距離最近的候 選目標(biāo)距離權(quán)重為1,其他候選目標(biāo)的距離權(quán)重值為所述最近距離除以各候選目標(biāo)到預(yù)估 位置距離所得的值;
[0018] 為候選目標(biāo)分配匹配權(quán)重W2n,η表示第η個候選目標(biāo),匹配值最大的候選目標(biāo)匹配 權(quán)重值為1,其他候選目標(biāo)匹配權(quán)重為各候選目標(biāo)匹配值除以所述最大匹配值;
[0019] 得到各候選目標(biāo)綜合的權(quán)重值^,表達式為:Wn=Wln+aW2n,其中α彡1。
[0020] 在進行候選目標(biāo)的權(quán)重值考慮時,主要考慮候選目標(biāo)與預(yù)估位置之間的差別,越 接近預(yù)估位置則越有可能是原有的跟蹤目標(biāo),同時兼顧考慮候選目標(biāo)的其他特征,例如紋 理特征。由于在考慮準(zhǔn)確性時,特征的精確匹配可信度比距離更高,因此對于特征的匹配權(quán) 重前增加系數(shù)a。
[0021] 進一步而言,判斷所述跟蹤丟失的方法包括:周期性地檢測跟蹤裝置是否停止運 動,在連續(xù)t個周期均檢測到跟蹤裝置停止運動時,利用NCC算法將當(dāng)前圖像幀中匹配區(qū)域 的特征與跟蹤目標(biāo)的特征進行匹配計算得到匹配值,當(dāng)匹配值低于預(yù)設(shè)的閾值β時判定 為跟蹤丟失,其中t為大于1的整數(shù)。
[0022] 本發(fā)明的跟蹤丟失判斷方法通過時間與空間的雙重規(guī)則進行判斷,以提高判斷跟 蹤丟失的準(zhǔn)確性。在時間上,在連續(xù)多個周期均未檢測到跟蹤裝置運動之后再初步判斷跟 蹤丟失,防止因運動目標(biāo)自身停止運動、較小物體遮擋導(dǎo)致跟蹤裝置停止運動而被誤判為 跟蹤丟失的情況,在初步判斷后,再通過NCC匹配進行比較精確的跟蹤丟失判斷,將時間與 空間結(jié)合,使得跟蹤丟失被誤判的可能性較低。由于自適應(yīng)放大后,紋理特征會發(fā)生變化, 因此,閾值β在每次模板更新時均通過大津法進行自適應(yīng)的更新計算,在設(shè)定閾值β初值 時,根據(jù)紋理特征豐富程度來設(shè)定,紋理特征越豐富則閾值β越大。
[0023] 進一步而言,在所述跟蹤丟失的判斷方法中采用的特征為紋理特征。在進行判斷 跟蹤丟失時紋理特征具有較高的準(zhǔn)確度,同時計算速度較快。
[0024] 進一步而言,其特征在于,NCC匹配算法將所述當(dāng)前圖像幀的匹配區(qū)域與作為模板 的匹配區(qū)域進行特征匹配,其中所述NCC匹配算法所匹配的特征為各個匹配區(qū)域中像素點 特征與各自匹配區(qū)域的特征平均值進行相減后所得差值;
[0025] 所述作為模板的匹配區(qū)域為第一次檢測到跟蹤裝置停止運動前的多幀圖像匹配 區(qū)域的平均值,且跟蹤目標(biāo)的特征為所述多幀圖像中跟蹤目標(biāo)的特征進行平均之后得到的 特征平均值。
[0026] NCC匹配算法為增強型的NCC匹配算法,所匹配的特征值為各個匹配區(qū)域中像素 點特征與各自匹配區(qū)域的特征平均值進行相減后所得差值,通過減去均值減小計算數(shù)值, 降低計算量。其中顏色特征平均值以及紋理特征平均值均為跟蹤目標(biāo)過程中得到,跟蹤過 程中,利用跟蹤裝置自適應(yīng)變倍使得跟蹤目標(biāo)始終處于中心區(qū)域,且每次自適應(yīng)變倍完成 后均進行顏色特征平均值以及紋理特征平均值的維護。
[0027] 本發(fā)明還提供了一種跟蹤恢復(fù)裝置,用于實施本發(fā)明的跟蹤恢復(fù)方法,從而具有 良好的抗遮擋性。
[0028] 一種運動目標(biāo)跟蹤恢復(fù)裝置,用于跟蹤裝置進行目標(biāo)跟蹤,包括前景檢測單元,在 跟蹤丟失時對當(dāng)前圖像前景檢測得到前景目標(biāo),位置預(yù)估單元,根據(jù)跟蹤目標(biāo)所處的丟失 位置得到跟蹤目標(biāo)的預(yù)估位置,還包括:
[0029] 候選目標(biāo)匹配單元,在判斷跟蹤丟失時將候選目標(biāo)的特征與跟蹤目標(biāo)的特征進行 匹配計算得到各候選目標(biāo)的匹配值,所述候選目標(biāo)為前景目標(biāo);
[0030] 跟蹤目標(biāo)選取單元,根據(jù)匹配值以及到預(yù)估位置的距離為各候選目標(biāo)賦予權(quán)重 值,得到權(quán)重值最大