專利名稱：用于在幀序列中跟蹤物體的計(jì)算機(jī)化的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及計(jì)算機(jī)視覺，尤其涉及在視頻中跟蹤物體。
背景技術(shù)：
在幀序列或視頻序列中，通過(guò)一幀幀地確定物體的特性的對(duì)應(yīng)關(guān)系，可以跟蹤物體。但是，精確地跟蹤一個(gè)變形的、非剛性的并且快速移動(dòng)的物體仍然是一個(gè)問(wèn)題。
可以通過(guò)均值移位操作可以執(zhí)行跟蹤，D.Comaniciu，V.Ramesh，和P.Meer的“Real-time tracking of non-rigid objects usingmean shift”，IEEE Conf.on Computer Vision and PatternRecognition，第1卷第142-149頁(yè)，2000年。使用一個(gè)非參數(shù)的密度梯度估計(jì)量來(lái)跟蹤與給定顏色直方圖最近似的物體。該方法提供了精確的定位。但是，該方法要求在連續(xù)幀中物體位置要有一些重疊，這不適用于快速移動(dòng)物體的情況。
跟蹤也可被看作是物體的狀態(tài)的估計(jì)，給定到一個(gè)瞬間為止的所有測(cè)量值。這等價(jià)于構(gòu)造所述物體位置的概率密度函數(shù)(pdf)。通過(guò)遞歸貝葉斯濾波器可以提供最優(yōu)解，其解決了連續(xù)預(yù)測(cè)和更新步驟中的問(wèn)題。
當(dāng)假定測(cè)量噪聲為高斯分布時(shí)，Kalman濾波器提供了一種解，它經(jīng)常用于跟蹤剛性物體，Y.Boykov和D.Huttenlocher的“AdaptiveBayesian recognition in tracking rigid objects”，IEEE Conf.onComputer Vision and Pattern Recognition，第2卷第697-704頁(yè)，2000年；以及R.Rosales和S.Sclarroff的“A framework for heading-guidedrecognition of human activity”，Computer Vision and ImageUnderstanding，第91卷第335-367頁(yè)，2003年。Kalman濾波器限于控制運(yùn)動(dòng)特性的“粘性”的預(yù)定狀態(tài)轉(zhuǎn)換參數(shù)。
當(dāng)狀態(tài)空間是離散的，并由有限數(shù)目的狀態(tài)構(gòu)成時(shí)，馬爾可夫?yàn)V波器可用于物體跟蹤。最通用的一類濾波器的代表是基于蒙特卡洛積分法的粒子濾波器。具有相關(guān)權(quán)重的一組隨機(jī)樣本表示特定狀態(tài)的當(dāng)前密度。然后新的密度基于這些權(quán)重樣本。
粒子濾波器可用于恢復(fù)條件密度傳播以用于視頻跟蹤和驗(yàn)證。一般說(shuō)來(lái)，粒子濾波器基于隨機(jī)取樣，這是一個(gè)由樣本退化和貧化引起的難題，尤其對(duì)于高維問(wèn)題?；趦?nèi)核的貝葉斯濾波器可用于更有效地對(duì)狀態(tài)空間進(jìn)行取樣。多假設(shè)濾波器估計(jì)移動(dòng)物體引起特定測(cè)量序列的概率。
作為一個(gè)問(wèn)題，所有上述基于濾波器的方法可很容易地被局部最優(yōu)所阻。作為另一個(gè)擔(dān)心，大部分現(xiàn)有技術(shù)都缺乏一個(gè)既表示統(tǒng)計(jì)又表示空間特性的令人滿意的類似性準(zhǔn)則。大部分現(xiàn)有技術(shù)或者僅依賴于顏色分布，或者僅依賴于結(jié)構(gòu)模型。
許多不同的表示(從積累統(tǒng)計(jì)到外表模型)被用于跟蹤物體。柱狀圖是非常普遍的，因?yàn)闃?biāo)準(zhǔn)化的柱狀圖非常類似于模型化數(shù)據(jù)的概率密度函數(shù)。但是，柱狀圖沒(méi)有考慮特征值的空間排列。例如，在觀察窗口中隨機(jī)重新排列像素產(chǎn)生相同的柱狀圖。此外，用小數(shù)量的像素構(gòu)建較高維數(shù)的柱狀圖是主要問(wèn)題。
外表模型映射圖像特征(如形狀和質(zhì)地)到統(tǒng)一尺寸的張量窗口上。因?yàn)橹笖?shù)的復(fù)雜性，僅可以使用相對(duì)較小數(shù)目的特征。因此，每個(gè)特征都必須是高階判別式。特征的可靠性嚴(yán)格依賴于物體類型。外表模型趨向于高敏感于比例變形，也是依賴于姿勢(shì)的。
因此，希望提供一種用于在視頻中跟蹤物體的更好的方法。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)實(shí)施方式提供了一種用于在視頻幀序列中跟蹤非剛性物體的方法。物體的特征從視頻中提取。這些特征包括像素的位置和像素的屬性。這些特征用于構(gòu)建一個(gè)協(xié)方差矩陣。該協(xié)方差矩陣用于物體的描述符以用于跟蹤的目的。
協(xié)方差矩陣表示了物體的空間和統(tǒng)計(jì)屬性，以及相同表示中的相關(guān)性。協(xié)方差矩陣使得不同類型的特征和模態(tài)可以有效地熔合在一起。與現(xiàn)有技術(shù)的直方圖相比，協(xié)方差矩陣的維數(shù)較小。
不同于現(xiàn)有技術(shù)的方法，不用做出對(duì)被跟蹤物體的運(yùn)動(dòng)或位置的任何假定。此外，該方法并不受限于對(duì)后驗(yàn)概率函數(shù)的估計(jì)。相反，該方法提供了一種全局最優(yōu)解，并顯著地簡(jiǎn)化了對(duì)應(yīng)關(guān)系問(wèn)題。
通過(guò)一種基于李代數(shù)平均(Lie algebra averaging)的更新機(jī)制來(lái)管理物體的變形和外表變化。
基于協(xié)方差的跟蹤能夠精確地在非靜態(tài)攝像序列中檢測(cè)非剛性的移動(dòng)物體，而平均來(lái)說(shuō)獲得近似完美的檢測(cè)率，即使對(duì)于快速移動(dòng)物體。


將基于下面的圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)描述，其中圖1是一種根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于在視頻中跟蹤移動(dòng)物體的方法的方框圖；圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的距離測(cè)定的方框圖；圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的候選窗口的選擇的方框圖；圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的物體模型的更新的方框圖；圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施方式向物體模型更新分配權(quán)重的方框圖；圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于將對(duì)應(yīng)于最小距離的矩陣與先前協(xié)方差矩陣的數(shù)據(jù)集相加的兩種方法的方框圖。
具體實(shí)施例方式
基于協(xié)方差的物體跟蹤圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于在攝像頭103所捕獲的幀102或視頻的序列中跟蹤移動(dòng)物體101的方法100的步驟。所示步驟對(duì)每一個(gè)幀102重復(fù)。我們假定我們具有物體101的模型104。該模型的形式為如本文所述而構(gòu)建的協(xié)方差矩陣。例如可以通過(guò)使用手動(dòng)或自動(dòng)物體定位方法而在第一個(gè)幀中定位物體而獲得初始模型。此后，對(duì)每一幀102該模型被更新160，如這里所要描述的。
對(duì)于視頻序列中的每一幀102，我們構(gòu)建110一個(gè)特征圖像111。對(duì)于特征圖像111中的各個(gè)區(qū)域或窗口W112，我們構(gòu)建120一組特征矢量121。對(duì)于該組特征矢量121確定130對(duì)應(yīng)的協(xié)方差矩陣131。我們比較140該協(xié)方差矩陣131與當(dāng)前模型104的協(xié)方差矩陣，以確定距離141。在當(dāng)前幀中，我們定位出具有與模型104的協(xié)方差矩陣有最小協(xié)方差距離201的區(qū)域(窗口)，并選擇150對(duì)應(yīng)的區(qū)域作為所述運(yùn)動(dòng)物體101的位置151。為了動(dòng)態(tài)適應(yīng)移動(dòng)物體的位置及外表的變化，我們保持一組先前的協(xié)方差矩陣161，并使用李代數(shù)提取出一個(gè)固有的“平均”協(xié)方差矩陣作為更新的模型。在下面的幀中，我們使用所述物體的先前位置151以確定180一組候選區(qū)域(窗口)以構(gòu)建特征矢量。
現(xiàn)在我們更詳細(xì)描述我們的發(fā)明的具體實(shí)施方式
。
特征提取我們以I表示一個(gè)兩維像素圖像或幀102。每個(gè)像素都具有位置(x，y)和強(qiáng)度。對(duì)于彩色像素，每個(gè)像素具有三個(gè)強(qiáng)度(RGB)。根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法可以被推廣為其它類型的圖像，例如多譜圖像。
從圖像I102中，我們根據(jù)下式得到一個(gè)M×N×d維的特征圖像111，F(xiàn)(x，y)＝Φ(I，x，y)其中，M和N是輸入圖像的維數(shù)，函數(shù)Φ可以是任何特征映射，如顏色、圖像梯度、邊的量值、邊的方位、濾波響應(yīng)等?？梢詳U(kuò)展這些特征以包括高階導(dǎo)數(shù)、質(zhì)地評(píng)價(jià)(texture score)、和時(shí)域幀差，例如運(yùn)動(dòng)矢量。
下面，我們檢查特征圖像111中的一組窗口112?？梢愿鶕?jù)物體的當(dāng)前位置的最佳估計(jì)來(lái)選擇該組窗口，考慮物體的外形、尺寸、方位、位置、速度和方向，這些由前面的幀中確定。
對(duì)于該組中的k個(gè)窗口Wk112或區(qū)域中的每一個(gè)，我們構(gòu)建120一個(gè)d維特征矢量{ξk}121，k＝1，...，n。我們使用兩種屬性映射空間和外形，來(lái)構(gòu)建120特征矢量{ξk}121?？臻g屬性從像素坐標(biāo)(x，y)中獲得，外形屬性可以包括顏色、梯度、邊、濾波響應(yīng)等。特征121可以被直接與像素坐標(biāo)相聯(lián)系，fk＝[x y I(x，y)Ix(x，y) ...]k。
或者，所述特征可以被認(rèn)為是對(duì)于軸的鏡像對(duì)稱fks=[|x′||y′|I(x,y)Ix(x,y)...]k,]]>其中(x′，y′)＝(x-x0，y-y0)是相對(duì)坐標(biāo)，(x0，y0)是窗口112的中心的坐標(biāo)。也可以用對(duì)稱徑向關(guān)系來(lái)指定特征矢量，fkr=[||(x′,y′)||I(x,y)Ix(x,y)...]k,]]>其中||(x′,y′)||=(x′2+y′2).]]>空間屬性和外表屬性間的不同關(guān)系使得可以施加不同的混合規(guī)則。例如，對(duì)于相對(duì)于窗口原點(diǎn)(x’，y’)的物體旋轉(zhuǎn)，特征矢量fk作為外形模型而占優(yōu)，而徑向特征矢量fkr提供了特征的姿態(tài)和旋轉(zhuǎn)不變的空間構(gòu)造。
協(xié)方差矩陣的構(gòu)建對(duì)于每個(gè)窗口112中的每個(gè)特征矢量121，我們確定130對(duì)應(yīng)的協(xié)方差矩陣CW131。協(xié)方差矩陣是對(duì)兩個(gè)變量怎樣一起變化的量度。對(duì)于沿相同方向不同于它們的均值的每對(duì)變量，協(xié)方差變成更大的正值，并且對(duì)于沿相反方向不同于它們的均值的每對(duì)變量，協(xié)方差變成更大的負(fù)值。
因此，我們將特征的每個(gè)窗口W112表示為像素特征的d×d的協(xié)方差矩陣CW131
CW=1MNΣk=1MN(fk-mμ)(fk-mμ)T,]]>其中mμ是區(qū)域或窗口W 112中的像素對(duì)應(yīng)的特征的均值矢量，M和N是輸入圖像維數(shù)，T是轉(zhuǎn)置運(yùn)算符。
根據(jù)上述定義，協(xié)方差矩陣是對(duì)稱陣。該矩陣的對(duì)角線元素表示每個(gè)特征的方差，非對(duì)角線元素表示特征的各個(gè)相關(guān)。矩陣CW131表示單窗口或區(qū)域內(nèi)的多個(gè)特在為協(xié)方差。
使用協(xié)方差矩陣作為物體的模型有多個(gè)好處。協(xié)方差矩陣提供了一種熔合多個(gè)特征的自然的方法，而不用標(biāo)準(zhǔn)化特征或使用混合權(quán)重。協(xié)方差矩陣包含了嵌入在現(xiàn)有直方圖中的相同信息，以及可以被從外表模型中得到的信息。
單個(gè)協(xié)方差矩陣與物體102的不同視圖和姿態(tài)下其它窗口121的協(xié)方差矩陣131的集合相比較140，通常已經(jīng)是足夠的。當(dāng)協(xié)方差矩陣的集合被確定130后，通過(guò)平均，惡化各個(gè)像素樣本的噪聲被大部分濾掉了。所有的協(xié)方差矩陣具有相同的大小(d×d)。
因此，不同大小的不同區(qū)域的矩陣可以被直接比較，而不用被限制為固定大小的區(qū)域。事實(shí)上，在特征(例如圖像梯度和方位)是在不同尺度下提取的情況下，在不同圖像的區(qū)域中，協(xié)方差矩陣具有一個(gè)固有的尺度恒定屬性。如上所述，協(xié)方差矩陣可以是旋轉(zhuǎn)不變的。然而，當(dāng)與像素的方位相關(guān)的信息被嵌入到特征矢量121中時(shí)，可以檢測(cè)到旋轉(zhuǎn)差異。
因此，我們認(rèn)為協(xié)方差矩陣是所述運(yùn)動(dòng)物體的很好的模型。
協(xié)方差矩陣的構(gòu)建的完整描述在下面的美國(guó)專利申請(qǐng)中給出，申請(qǐng)?zhí)枮?1/305,427，“Method for Constructing Covariance Matricesfrom Data Features”，由Porikli等在2005年12月14日申請(qǐng)。
除了協(xié)方差矩陣，我們還計(jì)算一個(gè)(d×l)的特征均值矢量μw175，參見圖3。該矢量μw的每一個(gè)元素是窗口中對(duì)應(yīng)特征的均值。
比較區(qū)域?yàn)榱嗽趲?02中跟蹤移動(dòng)物體101，我們將每一幀102中的各個(gè)窗口112的協(xié)方差矩陣集與物體102的‘當(dāng)前’模型104的協(xié)方差矩陣進(jìn)行比較140，以獲得距離141。我們選擇150一個(gè)最小距離作為物體101的當(dāng)前位置151。當(dāng)跟蹤物體時(shí)，對(duì)每一幀，模型的協(xié)方差矩陣104可被更新160，如下所述。
為了在當(dāng)前幀中為所述運(yùn)動(dòng)物體101獲得一個(gè)最近似的區(qū)域，我們度量140當(dāng)前幀的協(xié)方差矩陣集131與物體模型的協(xié)方差矩陣104間的‘距離’141。
但是，協(xié)方差矩陣并不位于歐幾里得空間。例如，該空間在與負(fù)定標(biāo)器(negative scaler)相乘的情況下是不閉合的。也即，兩個(gè)協(xié)方差矩陣的簡(jiǎn)單的算術(shù)減法并不能度量相應(yīng)區(qū)域內(nèi)的差異。
協(xié)方差矩陣或者是正定的或者是半正定的。如果特征矢量中的特征是精確相同的，也就是說(shuō)協(xié)方差矩陣是對(duì)稱正定的，那么就可以使用下面的文章中所述的距離度量，F(xiàn)orstner等的“A metric forcovariance matrices”，Technical report，Dept.of Geodesy andGeoinformatics，Stuttgart University，1999，在此引入作為參考。該矩陣使用特征值的平方對(duì)數(shù)之和來(lái)確定協(xié)方差矩陣間的差異或‘距離’141，公式為D(Ci,Cj)=Σk=1dln2λk(Ci,Cj)]]>其中{λk(Ci，Cj)}為矩陣Ci和Cj的歸一化的本征值(eigenvalue)，并由下式確定λkCixk-Cixk＝0k＝1...d，其中xk是歸一化本征矢量(eigenvector)。所述對(duì)數(shù)保證了將偏差度量為因子，所述平方保證了偏差因子被平等地求值。
對(duì)正定對(duì)稱矩陣Ci和Cj，該距離度量D 141滿足矩陣公理。另外，協(xié)方差對(duì)均值變化是不變的，例如顏色值的相同縮放。當(dāng)在變化照明的條件下跟蹤物體時(shí)，這成為一個(gè)優(yōu)勢(shì)屬性。由承載照明所引起的外表變化，除了協(xié)方差距離外，還可通過(guò)包括平均距離來(lái)檢測(cè)。
圖2示出了根據(jù)本方法的一個(gè)實(shí)施方式的用于比較140協(xié)方差矩陣以確定距離度量D的步驟。除了協(xié)方差矩陣比較外，我們還計(jì)算176模型的特征均值矢量與候選區(qū)域間的距離。該距離被定義為模型104和當(dāng)前窗口間的平均特征矢量差值‖μw-μ*‖的模。
所述模型和當(dāng)前窗口間的協(xié)方差距離177和平均距離176被用熔合權(quán)重來(lái)縮放，以在距離函數(shù)上施加應(yīng)用特定的限制。這些權(quán)重171和172調(diào)節(jié)協(xié)方差的重要性，以及距離函數(shù)對(duì)平均差值的敏感性，如顏色和照明變化。在我們用協(xié)方差熔合權(quán)重172乘以協(xié)方差距離，以及用均值熔合權(quán)重171乘以特征均值距離之后，我們將它們的和指定為所述模型和當(dāng)前窗口174之間的距離。該距離得分還考慮到當(dāng)前窗口與物體的先前位置的空間距離173。對(duì)于空間距離173，所述模型對(duì)當(dāng)前窗口距離得分174按比例增加。這使得我們可以在估計(jì)的位置上施加運(yùn)動(dòng)特定的限制。在例如要限制物體的運(yùn)動(dòng)的應(yīng)用中，在距離項(xiàng)174中不包含空間距離。
額外的基于運(yùn)動(dòng)的限制被集成在候選窗口選擇180中，如圖3中所示。使用物體的運(yùn)動(dòng)歷史181，也即物體的先前位置集，以及物體182的大小，限制搜索范圍。對(duì)于物體的運(yùn)動(dòng)被限制以適合線性或非線性運(yùn)動(dòng)模型的特定應(yīng)用，我們使用基于Kalman濾波的方法來(lái)預(yù)測(cè)183物體在當(dāng)前幀中的位置。我們根據(jù)物體的大小定義184在此預(yù)測(cè)位置附近的一個(gè)搜索區(qū)域。例如，該搜索區(qū)域可以是物體兩倍大的窗口。然后，對(duì)僅在該搜索區(qū)域內(nèi)的候選窗口112使用特征提取、協(xié)方差比較和距離計(jì)算。
對(duì)于運(yùn)動(dòng)不受限的應(yīng)用，搜索區(qū)域是整個(gè)圖像。
模型更新策略因?yàn)榉莿傂院鸵苿?dòng)的物體會(huì)在時(shí)間上經(jīng)受形狀、大小和外表的變形，所以可以動(dòng)態(tài)地適應(yīng)160這些變化。但是，應(yīng)該理解，如果物體(例如一個(gè)球或車輛)的外表保持相對(duì)穩(wěn)定，更新160步驟并不總是必須的。
我們構(gòu)建并更新與最近估計(jì)的物體區(qū)域W1，...，WT相對(duì)應(yīng)的協(xié)方差矩陣161的子集。我們保留T個(gè)先前的協(xié)方差矩陣[C1，...，CT]的子集，其中C1表示當(dāng)前的協(xié)方差矩陣。從這個(gè)子集，我們確定一個(gè)抽樣均值協(xié)方差矩陣。該抽樣均值協(xié)方差矩陣‘混合’所有的先前矩陣以便類似于所述物體101的屬性。
然后，所有先前檢測(cè)到的區(qū)域及對(duì)應(yīng)的特征測(cè)量都是可獲得的，可以通過(guò)下式獲得聚合的協(xié)方差矩陣104， 其中互協(xié)方差定義為σu,v2=1MNTΣt=1TΣk=1MN[fkt(u)-mμ(u)][fkt(v)-mμ(v)],]]>并且fkt∈WT.]]>在所有區(qū)域W1，...，WT內(nèi)確定均值mμ。此公式假定所有的窗口具有相同的大小并且有相同的影響。
但是，希望在不被限制于恒定窗口大小并保持所有先前測(cè)量的情況下獲得聚合協(xié)方差矩陣。
我們想要確定均值協(xié)方差矩陣，即固有平均。但是，協(xié)方差矩陣并不符合歐幾里得幾何，結(jié)果，取矩陣的平均是不準(zhǔn)確的。但是，我們可以使用黎曼幾何來(lái)確定多個(gè)協(xié)方差矩陣的均值，因?yàn)檎▍f(xié)方差矩陣具有李群結(jié)構(gòu)。
我們提供一個(gè)李群和代數(shù)學(xué)的簡(jiǎn)要介紹。群是一個(gè)非空集合G，其具有的群操作具有下列屬性，對(duì)于所有A，B，C∈G閉合性AB∈G結(jié)合性(AB)C＝A(BC)幺元 e∈G，使得Ae＝eA＝A逆元 A-1∈G，使得AA-1＝A-1A＝e。
李群是一個(gè)解析流形，其也是一個(gè)群，使得群操作的乘法(A，B)→ABG×G→G，并且逆運(yùn)算A→A-1G→G是可微映射。李群可以被局部看作拓?fù)涞葍r(jià)于矢量空間，Rd。因此，任意群元素G的局部鄰居關(guān)系可以被通過(guò)它的切空間充分描述。群的單位元素e處的切空間形成一個(gè)李代數(shù)g。李代數(shù)g是一個(gè)在李括號(hào)下閉合的矢量空間g×g→g，它是滿足下面的恒等式的雙線性操作反對(duì)稱性[a，b]＝-[b，a]Jacobi恒等式[a，[b，c]]+[b，[c，a]]+[c，[a，b]]＝0。
指數(shù)映射，expg→G，將李代數(shù)中的矢量映射為李群。為了我們的目的，我們注意力集中在矩陣?yán)钊骸＞仃嚨闹笖?shù)映射以及其逆被定義為exp(a)=Σn=0∞1n!an;]]>log(A)=Σn=1∞(-1)n-1n(A-e)n.]]>對(duì)于交換群，指數(shù)映射滿足恒等式exp(a)exp(b)＝exp(a+b)。該恒等式對(duì)非交換李群不成立，例如協(xié)方差矩陣。等價(jià)的映射被定義為μg×g→g，即exp(a)exp(b)＝exp(μ(a，b))。映射μ(...，...)由Baker-Campbell-Hausdorff公式定義為μ(a,b)=a+b+12[a,b]+O(|(a,b)|3).---(1)]]>我們使用李代數(shù)來(lái)獲得協(xié)方差矩陣161的集合的固有均值。令c為李代數(shù)中的一個(gè)元素，并且C＝exp(c)為元素到李群的映射，即，對(duì)應(yīng)的協(xié)方差矩陣。流形上的距離被定義為該流形上的點(diǎn)之間最小長(zhǎng)度的曲線。具有最小長(zhǎng)度的曲線被稱為最短連線，該曲線的長(zhǎng)度是固有距離。
點(diǎn)C到群的單位元e的固有距離為‖log(C)‖。由群元素的逆元C-1左乘將點(diǎn)C映射到e，以及C處的切空間到李代數(shù)。該映射是一個(gè)同構(gòu)(isomorphism)。使用此映射，我們可以度量任何兩個(gè)元素間的固有距離為ρ(Ci,Cj)=||log(Ci-1Cj)||.---(2)]]>給定協(xié)方差矩陣161，{Ct}t＝1...T，作為群上的數(shù)據(jù)點(diǎn)，映射ct＝log(C-1Ct)(3)將數(shù)據(jù)點(diǎn)轉(zhuǎn)換為李代數(shù)，以及C到零。
因?yàn)槔畲鷶?shù)是矢量空間，我們確定第一階近似值為真或該空間上的固有均值。開始于一個(gè)初始矩陣C1，迭代地確定第一階近似值至固有均值，我們收斂于該群上的一個(gè)固定點(diǎn)。此過(guò)程為初始化C＝C1重復(fù)for t＝1 to T計(jì)算ct=log(C^-1Ct)]]>計(jì)算ΔC^=exp(1TΣt=1Tct)]]>賦值C^=C^ΔC^]]>直到||log(ΔC^)||<ϵ]]>在迭代的最后，我們找到固有均值 我們使用固有價(jià)值協(xié)方差矩陣 作為當(dāng)前模型104。
當(dāng)我們估計(jì)物體在后面的幀中的位置時(shí)，我們比較各個(gè)區(qū)域的協(xié)方差矩陣131與模型104的協(xié)方差矩陣。
在上面的公式中，我們認(rèn)為先前矩陣C1，...，CT的子集對(duì)結(jié)果具有相同的影響，而不管結(jié)果正確不正確。
可以根據(jù)類似于先前模型的李群矩陣，按比例地為李代數(shù)的數(shù)據(jù)點(diǎn)加權(quán)重。然后，上述過(guò)程的第二個(gè)‘計(jì)算’步驟變成ΔC^=exp(1ρ*Σt=1Tρ(CtC*)ct)---(4)]]>其中ρ*=Σt-1Tρ(Ct,C*)]]>并且C*是從先前幀中確定的模型。
換言之，我們使用與最小距離Gm201相對(duì)應(yīng)的給定協(xié)方差矩陣來(lái)更新物體的模型C*104。參考圖4，我們首先將矩陣Cm201加入300到先前的協(xié)方差矩陣[C1，...，CT]161的數(shù)據(jù)集中。然后，我們指定301數(shù)據(jù)集中的第一個(gè)矩陣為臨時(shí)的固有均值協(xié)方差矩陣 我們計(jì)算它的逆302。我們通過(guò)被乘以矩陣的逆(如上述過(guò)程所示)的對(duì)應(yīng)的協(xié)方差矩陣的對(duì)數(shù)計(jì)算303映射ct，其中t＝1，...，T。我們使用權(quán)重系數(shù)400計(jì)算305這些映射的加權(quán)和。我們計(jì)算306一個(gè)誤差項(xiàng)，并將它與誤差閾值e進(jìn)行比較307。如果誤差項(xiàng)大于閾值，那么我們通過(guò)從臨時(shí)固有均值中指定逆元以繼續(xù)到302。如果誤差很小，我們將臨時(shí)固有均值協(xié)方差矩陣 指定為新的更新過(guò)的模型C*104。
為了如圖5中所示指定上述權(quán)重400，我們定義一個(gè)固有距離函數(shù)401，并計(jì)算各個(gè)距離項(xiàng)402和一個(gè)總距離403。然后我們根據(jù)404中所示的公式來(lái)指定權(quán)重。
如圖6中所示，有不同的方法來(lái)將對(duì)應(yīng)于最小距離的當(dāng)前矩陣加入300到先前協(xié)方差矩陣的數(shù)據(jù)集中。我們直接將當(dāng)前矩陣作為一個(gè)新矩陣加入到數(shù)據(jù)集311中，并增加矩陣312的數(shù)目?？商鎿Q地，我們移除321加入到數(shù)據(jù)集中的最老的矩陣。我們更新索引322。這些索引指示了矩陣被加入到數(shù)據(jù)集中的時(shí)間。然后作為最新的組分，我們加入當(dāng)前矩陣323。
本發(fā)明的效果根據(jù)本發(fā)明的具體實(shí)施方式
的用于在視頻中跟蹤物體的方法，既使用物體的空間屬性又使用物體的外表屬性，并提供了一種熔合多個(gè)物體特征的很好的解決方法。
該方法并不對(duì)物體的外表和運(yùn)動(dòng)做出假定。該方法并不限于最大速度。這意味著該方法可以跟蹤物體，即使它們的運(yùn)動(dòng)是無(wú)規(guī)律的并且快速的。與現(xiàn)有的均值移位方法相比，該方法并不假定連續(xù)幀間的物體區(qū)域間的重疊。
該方法找出一個(gè)全局最優(yōu)解，不像現(xiàn)有的局部取樣方法，例如粒子濾波。該方法可以有效地適應(yīng)于臨時(shí)模型變化，并且具有一個(gè)非常低的(d2+d)/2維數(shù)。該方法還可以比較不同大小的物體區(qū)域，如果物體的感覺到的大小是變化的，如由攝像頭所觀察到的那樣，該方法是有用的。
權(quán)利要求
1.一種用于在幀序列中跟蹤一個(gè)物體(101)的計(jì)算機(jī)化的方法，包括下列步驟從獲得的物體的幀序列中的每一幀中提取(101)一個(gè)特征圖像；對(duì)每個(gè)特征圖像構(gòu)建(120)一個(gè)特征矢量集，每個(gè)特征矢量對(duì)應(yīng)于所述特征圖像中的諸個(gè)特征的不同窗口；從所述特征矢量集中確定(130)一個(gè)對(duì)應(yīng)的協(xié)方差矩陣集合；度量(140)所述協(xié)方差矩陣集中的每個(gè)協(xié)方差矩陣和表示所述物體的一個(gè)模型協(xié)方差矩陣之間的距離；選擇(150)一個(gè)特定窗口作為所述物體在所述幀中的位置，該特定窗口具有到所述模型協(xié)方差矩陣有最小距離的對(duì)應(yīng)的協(xié)方差矩陣。
2.如權(quán)利要求1所述的方法，還包括對(duì)每一個(gè)幀，更新(160)所述模型協(xié)方差矩陣。
3.如權(quán)利要求1所述的方法，其中幀是多譜圖像。
4.如權(quán)利要求1所述的方法，其中根據(jù)所述物體在所述幀中的估計(jì)位置來(lái)選擇不同的窗口。
5.如權(quán)利要求1所述的方法，其中每個(gè)特征矢量都包括所述物體的空間屬性和外表屬性。
6.如權(quán)利要求5所述的方法，其中從所述特征圖像中的像素坐標(biāo)中獲得所述空間屬性，并且所述外表屬性包括像素強(qiáng)度。
7.如權(quán)利要求1所述的方法，其中對(duì)于特定窗口W的協(xié)方差矩陣CW為CW=1MNΣk=1MN(fk-mμ)(fk-mμ)T,]]>其中mμ是對(duì)應(yīng)的特征矢量fk的均值的矢量，M和N是窗口大小，T是轉(zhuǎn)置運(yùn)算符。
8.如權(quán)利要求1所述的方法，其中不同的窗口在所述特征圖像中具有不同的大小和位置。
9.如權(quán)利要求1所述的方法，其中兩個(gè)矩陣Ci和Cj間的距離為D(Ci,Cj)=Σk=1dln2λk(Ci,Cj)]]>其中{λk(Ci，Cj)}為矩陣Ci和Cj的歸一化的本征值，并由下式確定λkCixk-Cixk＝0k＝1...d，對(duì)于與d個(gè)特征相對(duì)應(yīng)的d個(gè)本征值。
10.如權(quán)利要求2所述的方法，其中所述更新(160)使用協(xié)方差矩陣集合的子集來(lái)確定一個(gè)固有均值協(xié)方差矩陣作為所述模型協(xié)方差矩陣。
11.如權(quán)利要求1所述的方法，其中使用李代數(shù)確定所述均值協(xié)方差矩陣。
12.如權(quán)利要求10所述的方法，還包括根據(jù)它們與所述模型協(xié)方差矩陣的距離，將每個(gè)協(xié)方差矩陣距離乘以(172)所述子集中的權(quán)重。
13.如權(quán)利要求10所述的方法，還包括為所述子集中的每個(gè)協(xié)方差矩陣指定恒定的權(quán)重值。
14.如權(quán)利要求10所述的方法，還包括為所述子集中的最新的協(xié)方差矩陣指定較高的權(quán)重值。
15.如權(quán)利要求10所述的方法，還包括將當(dāng)前模型協(xié)方差矩陣包括(311)在所述子集中；以及增加(312)所述子集中的協(xié)方差矩陣的數(shù)目。
16.如權(quán)利要求10所述的方法，還包括從所述子集中移除(321)最老的協(xié)方差矩陣；將當(dāng)前模型協(xié)方差矩陣包括(323)在所述子集中以保持矩陣的總數(shù)目不變。
17.如權(quán)利要求10所述的方法，還包括保持(161)先前物體位置的一個(gè)子集以及在所述窗口中的對(duì)應(yīng)特征；以及直接由所述特征計(jì)算(140)所述模型協(xié)方差矩陣。
18.如權(quán)利要求1所述的方法，還包括對(duì)于每一個(gè)幀，更新模型特征均值矢量。
19.如權(quán)利要求18所述的方法，還包括度量(176、177)所述模型特征均值矢量和窗口特征均值矢量之間的距離以計(jì)算一個(gè)特征均值距離；用協(xié)方差熔合權(quán)重乘以(172)所述協(xié)方差距離；用協(xié)方差熔合權(quán)重乘以(171)所述均值距離；計(jì)算所述協(xié)方差和特征均值距離的加權(quán)和；指定(174)該加權(quán)和為模型與當(dāng)前窗口之間的距離；選擇(150)一個(gè)特定窗口作為所述物體在搜索區(qū)域中的位置，該特定窗口具有最小加權(quán)和。
20.如權(quán)利要求6所述的方法，其中所述空間屬性是像素的空間坐標(biāo)值。
21.如權(quán)利要求6所述的方法，其中所述空間屬性是該像素距離所述窗口的原點(diǎn)的距離。
22.如權(quán)利要求6所述的方法，其中所述空間屬性是像素的空間坐標(biāo)值相對(duì)于窗口中的原點(diǎn)的絕對(duì)值。
23.如權(quán)利要求1所述的方法，還包括由所述物體位置的先前位置預(yù)測(cè)(180)在當(dāng)前圖像中的搜索區(qū)域；在所述搜索區(qū)域中構(gòu)建(120)一個(gè)特征矢量集；從所述搜索區(qū)域中的所述特征矢量集中確定(130)協(xié)方差矩陣的一個(gè)對(duì)應(yīng)集合；度量(140)該集合中的每個(gè)協(xié)方差矩陣與在所述搜索區(qū)域中表示所述物體的模型協(xié)方差矩陣之間的距離；選擇(150)一個(gè)特定窗口作為所述物體在所述搜索區(qū)域中的位置，該特定窗口具有到所述模型協(xié)方差矩陣有最小距離的對(duì)應(yīng)的協(xié)方差矩陣。
24.如權(quán)利要求1所述的方法，還包括通過(guò)它的協(xié)方差矩陣的本征值集合來(lái)表示每個(gè)窗口。
25.如權(quán)利要求24所述的方法，還包括從所述特征矢量集中確定對(duì)應(yīng)的本征值集合；度量該集合中的每個(gè)本征值集合與表示所述物體的模型本征值集合之間的距離；選擇一個(gè)特定窗口作為所述物體在所述幀中的位置，所述特定窗口具有到所述模型本征值集合有最小距離的對(duì)應(yīng)的本征值集合。
26.如權(quán)利要求25所述的方法，還包括對(duì)于每個(gè)幀，更新模型本征值集合。
全文摘要
提供了一種用于在視頻幀序列中跟蹤非剛性物體的方法。物體的特征從視頻中提取。這些特征包括像素的位置和像素的屬性。這些特征用于構(gòu)建一個(gè)協(xié)方差矩陣。該協(xié)方差矩陣用于跟蹤的目的作為物體的描述符。通過(guò)基于李代數(shù)平均的更新機(jī)制來(lái)管理物體變形和外表改變。
文檔編號(hào)H04N5/14GK101017572SQ200710008088
公開日2007年8月15日 申請(qǐng)日期2007年2月9日 優(yōu)先權(quán)日2006年2月9日
發(fā)明者法提赫·M·波里克里, 昂塞爾·圖塞爾 申請(qǐng)人:三菱電機(jī)株式會(huì)社