專(zhuān)利名稱(chēng)：：融合不同生存期的多個(gè)觀測(cè)模型的跟蹤方法和跟蹤裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及能夠?qū)Φ蛶室曨l中的物體或快速運(yùn)動(dòng)的物體進(jìn)行良好跟蹤的跟蹤方法和跟蹤裝置，更具體來(lái)說(shuō)，涉及采用瀑布型粒子濾波方式來(lái)融合各具有不同生存期的多個(gè)觀測(cè)模型以在大范圍的狀態(tài)空間中快速確定目標(biāo)狀態(tài)的跟蹤方法和跟蹤裝置。
背景技術(shù)：
：跟蹤快速運(yùn)動(dòng)的物體或者在低幀率視頻中跟蹤特定目標(biāo)，是一個(gè)非常有趣的問(wèn)題。為了降低硬件成本，或者由于視頻輸入源為低幀率的或在線(xiàn)處理速度低(對(duì)于在線(xiàn)實(shí)時(shí)系統(tǒng)，處理速度限制了輸入數(shù)據(jù)的幀率)等，很多實(shí)際應(yīng)用(如要求實(shí)時(shí)處理的微型嵌入式系統(tǒng)，以及某些監(jiān)控應(yīng)用等)，都要求對(duì)低幀率視頻進(jìn)行處理。低幀率視頻很常見(jiàn)，但在跟蹤中卻很難處理。低幀率視頻跟蹤問(wèn)題在本質(zhì)上和快速運(yùn)動(dòng)(abruptmotion)的跟蹤問(wèn)題是等價(jià)的。大部分跟蹤算法依賴(lài)于運(yùn)動(dòng)連續(xù)性。粒子濾波器(文獻(xiàn)[1])使用一個(gè)運(yùn)動(dòng)模型來(lái)預(yù)測(cè)物體運(yùn)動(dòng)并指導(dǎo)釆樣，從而將搜索范圍(粒子的分布范圍)局限在一個(gè)比較小的子空間內(nèi)。但是在目標(biāo)快速運(yùn)動(dòng)的情況下，很難準(zhǔn)確預(yù)測(cè)其位置變動(dòng)。其他一些基于迭代優(yōu)化的跟蹤算法，比如meanshift算法(文獻(xiàn)[2])和Lucas-Kanade特征點(diǎn)跟蹤算法(文獻(xiàn)[3])，基本上都要求跟蹤的特征區(qū)域在相鄰兩幀中有重疊的部分，或者非常接近。但是這些假設(shè)對(duì)于低幀率視頻或者目標(biāo)快速運(yùn)動(dòng)的情況都不成立。有一些研究者注意到了這個(gè)困難(雖然他們可能并非特意要處理低幀率視頻跟蹤的問(wèn)題)，他們采取的解決方法頗有些類(lèi)似，都使用了檢測(cè)器。K.0kuma等(文獻(xiàn)[4])使用Boosting訓(xùn)練的檢測(cè)器，將檢測(cè)結(jié)果和零階或一階的運(yùn)動(dòng)模型相結(jié)合，作為粒子濾波器的試驗(yàn)分布(trialdistribution),以彌補(bǔ)運(yùn)動(dòng)預(yù)測(cè)的不準(zhǔn)確性。這樣的混合試驗(yàn)分布在其他的文獻(xiàn)(例如，文獻(xiàn)[5])中也被采用，雖然不是專(zhuān)門(mén)用來(lái)解決低幀率視頻跟蹤問(wèn)題的。F.Porilkli和0.Tuzel(文獻(xiàn)[6])擴(kuò)展了基本的meanshift算法，對(duì)多個(gè)核區(qū)域(kernels)進(jìn)行優(yōu)化，而這些區(qū)域的確定，也依賴(lài)于一個(gè)背景差分運(yùn)動(dòng)區(qū)域檢測(cè)器。利用這樣的算法，他們實(shí)現(xiàn)了在l幀/秒(fps)的視頻中跟蹤行人，但是必須在攝像機(jī)固定的情況下。以上這些想法都可以歸結(jié)為在目標(biāo)運(yùn)動(dòng)難以預(yù)測(cè)的情況下，利用一個(gè)獨(dú)立的檢測(cè)器來(lái)指導(dǎo)某個(gè)已有的跟蹤器的搜索過(guò)程。另一類(lèi)方法則是"先檢測(cè)，再連接"(文獻(xiàn)[7]、[8])。這類(lèi)方法具有處理低幀率視頻跟蹤問(wèn)題的潛力，因?yàn)樗鼈兪紫葘?duì)視頻做全檢測(cè)(有時(shí)在短時(shí)間內(nèi)跟蹤)，然后根據(jù)運(yùn)動(dòng)平滑性或者外觀相似性把檢測(cè)到的物體或者跟蹤到的片斷連接成完整的運(yùn)動(dòng)軌跡。這樣就避免了運(yùn)動(dòng)預(yù)測(cè)和必須假設(shè)物體在相鄰幀位置很接近的問(wèn)題。但是這類(lèi)方法的不足在于第一，一般都是離線(xiàn)處理，因?yàn)樾枰C合考慮整個(gè)軌跡；第二，速度很難達(dá)到實(shí)時(shí)要求，因?yàn)樾枰龃罅亢臅r(shí)的檢測(cè)操作，所以速度較快的基本都采用背景差分檢測(cè)，因而也要求攝像機(jī)固定。以上兩類(lèi)方法有一個(gè)共同的特點(diǎn)，就是需要一個(gè)足夠快的檢測(cè)器應(yīng)用于一個(gè)很大的區(qū)域內(nèi)(在大多數(shù)情況下，應(yīng)用于整個(gè)圖像空間)。這也是由于在這些方法中，檢測(cè)器和跟蹤算法之間只是松散耦合的關(guān)系。還有些研究者采用了多尺度跟蹤算法。其基本思想是，依據(jù)輸入圖像構(gòu)造一個(gè)圖像金字塔，在不同的尺度空間進(jìn)行觀測(cè)(文獻(xiàn)[9]、[10])，這樣在尺度比較大的空間搜索時(shí)可以覆蓋到比較大的空間范圍，從而對(duì)運(yùn)動(dòng)速度快的目標(biāo)進(jìn)行處理。在處理這些不同尺度的觀測(cè)量之間的關(guān)系時(shí)，G.Hua等采用馬爾可夫網(wǎng)絡(luò)對(duì)不同尺度的狀態(tài)量進(jìn)行建模(文獻(xiàn)[9])，S.Birchfield直接采用前一尺度的結(jié)果作為后一尺度搜索的初始樣本(文獻(xiàn)[IO])，J.Sullivan等則設(shè)計(jì)了分層采樣的算法(layeredsampling)來(lái)綜合各個(gè)尺度的觀測(cè)結(jié)果(文獻(xiàn)[ll])。但是，實(shí)質(zhì)上這些多尺度跟蹤算法在每個(gè)尺度上使用的是相同的觀測(cè)方式。另外，最近在跟蹤研究方面出現(xiàn)的一個(gè)新趨勢(shì)是，研究者們?cè)絹?lái)越多地將學(xué)習(xí)方法引入到跟蹤算法中。一些研究者提出跟蹤問(wèn)題可以看作是一種分類(lèi)問(wèn)題(classificationproblem),分類(lèi)的目標(biāo)是把被跟蹤對(duì)象和背景或者其他對(duì)象區(qū)分開(kāi)來(lái)。這方面的代表性工作包括S.Avidan的EnsembleTracking(文獻(xiàn)[12])以及J.Wang的利用粒子濾波器在線(xiàn)構(gòu)造Haar特征分類(lèi)器(文獻(xiàn)[14])，等等。這些工作表明，學(xué)習(xí)方法大大提高了跟蹤器的區(qū)分能力，改善了跟蹤效果。如上所述，雖然研究跟蹤的文獻(xiàn)很多，但是大多數(shù)現(xiàn)有的方法不能夠很好地應(yīng)用于實(shí)時(shí)的低幀率跟蹤問(wèn)題，它們或者處理速度不夠快，或者無(wú)法處理低幀率引起的目標(biāo)位置和外觀變化的不連續(xù)性。跟蹤方法和檢測(cè)方法長(zhǎng)期以來(lái)構(gòu)成了兩個(gè)相對(duì)的極端——跟蹤方法建立在各種時(shí)序連續(xù)性假設(shè)之上(包括目標(biāo)位置和外觀等)，而檢測(cè)方法則是完全不考慮上下文，要在任何環(huán)境中都獨(dú)立地區(qū)分并定位出某種特定類(lèi)別的目標(biāo)。在低幀率視頻中，目標(biāo)的時(shí)序連續(xù)性可能較弱，因此傳統(tǒng)的跟蹤方法無(wú)法勝任。同時(shí)，在整個(gè)圖片空間內(nèi)進(jìn)行全檢測(cè)又太耗費(fèi)時(shí)間，而且檢測(cè)本身由于不考慮視頻的時(shí)序信息，也無(wú)法區(qū)分不同的目標(biāo)。圖1(a)和(b)分別示出了利用傳統(tǒng)的標(biāo)準(zhǔn)粒子濾波跟蹤方法和Lukas-Kanade光流場(chǎng)跟蹤方法對(duì)5fps視頻中的人臉進(jìn)行跟蹤的示例，其中示出了連續(xù)的4幀圖像。從圖1中可見(jiàn)，由于目標(biāo)人臉的時(shí)序連續(xù)性較弱，因此無(wú)論是標(biāo)準(zhǔn)粒子濾波跟蹤方法，還是Lukas-Kanade光流場(chǎng)跟蹤方法，都不能夠?qū)δ繕?biāo)人臉進(jìn)行很好的跟蹤。
發(fā)明內(nèi)容鑒于現(xiàn)有技術(shù)中的上述問(wèn)題而提出了本發(fā)明。本發(fā)明的目的在于提供一種融合不同生存期的多個(gè)觀測(cè)模型的跟蹤方法和跟蹤裝置，該跟蹤方法和跟蹤裝置采用瀑布型粒子濾波的方式來(lái)融合各具有不同生存期的多個(gè)觀測(cè)模型，以在大范圍的狀態(tài)空間中快速確定目標(biāo)狀態(tài)。具體來(lái)說(shuō)，本發(fā)明的核心原理是對(duì)傳統(tǒng)的檢測(cè)算法和跟蹤算法進(jìn)行組合，通過(guò)捕捉并利用視頻中的時(shí)序信息來(lái)縮小搜索范圍，進(jìn)而通過(guò)檢測(cè)算法來(lái)對(duì)目標(biāo)進(jìn)行精確的識(shí)別，從而提高了算法的區(qū)分能力和跟蹤速度。通過(guò)建立并融合一系列不同"生存期"的觀測(cè)模型來(lái)實(shí)現(xiàn)本發(fā)明的上述原理。"生存期"是指一個(gè)觀測(cè)模型的學(xué)習(xí)周期和使用周期。例如，一個(gè)每幀更新的模板匹配跟蹤器的學(xué)習(xí)周期和使用周期都是1幀，而一個(gè)離線(xiàn)訓(xùn)練的檢測(cè)器的學(xué)習(xí)周期和使用周期可以被認(rèn)為都是無(wú)限長(zhǎng)。對(duì)于離線(xiàn)訓(xùn)練的檢測(cè)器，在訓(xùn)練的時(shí)候，采用了盡可能多、盡可能包含各種情況的樣本，而一旦訓(xùn)練完，就期望這個(gè)檢測(cè)器在未來(lái)可以應(yīng)用于各種情況。使用不同長(zhǎng)度的"生存期"的觀測(cè)模型的好處在于使用生存期較短的觀測(cè)模型，可以通過(guò)刻畫(huà)目標(biāo)短期內(nèi)的特定特征來(lái)更快地排除掉非目標(biāo)，而且因?yàn)樾枰獙W(xué)習(xí)的知識(shí)不多，它的訓(xùn)練開(kāi)銷(xiāo)也比較小；而使用生存期較長(zhǎng)的觀測(cè)模型，可以更準(zhǔn)確地把握目標(biāo)的特征，并且有效防止因在線(xiàn)更新過(guò)度所導(dǎo)致的"漂移"(di"ift)。使用一個(gè)瀑布型粒子濾波器來(lái)將不同"生存期"的觀測(cè)模型整合起來(lái)。瀑布型檢測(cè)器是檢測(cè)領(lǐng)域中很受歡迎的一種模式，借鑒其思想，將其與跟蹤領(lǐng)域最常用的框架粒子濾波器結(jié)合起來(lái)，以解決低幀率視頻跟蹤這一特定技術(shù)問(wèn)題。根據(jù)本發(fā)明的一個(gè)方面，提供了一種適用于低幀率視頻的特定被攝體跟蹤方法，其利用生存期各不相同的m個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)，m為自然數(shù)，該特定被攝體跟蹤方法包括以下步驟-(a)在視頻序列中的第一幀圖像中檢測(cè)一特征部，通過(guò)在檢測(cè)到的特征部周?chē)M(jìn)行高斯隨機(jī)采樣而獲得包括多個(gè)特定被攝體樣本的初始樣本集；(b)利用輸入的第t幀圖像的前Dk幀圖像，對(duì)第k個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)或離線(xiàn)訓(xùn)練，t是表示幀圖像的序號(hào)的自然數(shù)，k是表示觀測(cè)模型序號(hào)的自然數(shù)，Dk是表示第k個(gè)觀測(cè)模型的生存期的自然數(shù)；(c)針對(duì)第t幀圖像，順序利用上述在線(xiàn)學(xué)習(xí)或離線(xiàn)訓(xùn)練的m個(gè)觀測(cè)模型，來(lái)更新特定被攝體樣本的樣本權(quán)重；(d)判斷在步驟(c)中由第m個(gè)觀測(cè)模型最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的第一閾值，若最終更新后的樣本權(quán)重超過(guò)第一閾值，則輸出特定被攝體樣本的樣本集的大小和位置的加權(quán)平均，作為特定被攝體在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)；以及(e)對(duì)第t+l幀圖像，重復(fù)上述步驟(b)到(d)。在上述特定被攝體跟蹤方法中，優(yōu)選的是，第k個(gè)觀測(cè)模型的生存期Dk隨著k的增大而增大。在上述特定被攝體跟蹤方法中，優(yōu)選的是，針對(duì)第k個(gè)觀測(cè)模型設(shè)定的樣本數(shù)為Nk個(gè)，Nk是自然數(shù)，其隨著k的增大而減小。在上述特定被攝體跟蹤方法中，優(yōu)選的是，在步驟(b)中，對(duì)前m-l個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，而對(duì)第m個(gè)觀測(cè)模型進(jìn)行離線(xiàn)訓(xùn)練。在上述特定被攝體跟蹤方法中，優(yōu)選的是，利用了3個(gè)觀測(cè)模型，對(duì)前2個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，而對(duì)第3個(gè)觀測(cè)模型進(jìn)行離線(xiàn)訓(xùn)練。在上述特定被攝體跟蹤方法中，對(duì)第1個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括以下步驟(f)從前Di幀圖像收集正例樣本和反例樣本；和(g)基于所收集到的正例樣本和反例樣本，來(lái)求出第l觀測(cè)模型中采用的各種參數(shù)。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第1觀測(cè)模型是Fishei"線(xiàn)性鑒別分類(lèi)器。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第1觀測(cè)模型的生存期Dx是l幀圖像。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第1觀測(cè)模型采用了離線(xiàn)選取的5個(gè)類(lèi)Haar特征。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述正例樣本選取自跟蹤的特定被攝體的臨近區(qū)域，而所述反例樣本選取自在跟蹤的特定被攝體周?chē)⒋笮樵撎囟ū粩z體的兩倍的區(qū)域中，與該特定被攝體距離較遠(yuǎn)的圖像。在上述特定被攝體跟蹤方法中，由Sigmoid函數(shù)平滑后的第1觀測(cè)模型的輸出為<formula>formulaseeoriginaldocumentpage14</formula>其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，A是第l觀測(cè)模型所采用的觀測(cè)量，w為Fisher線(xiàn)性鑒別分類(lèi)器的投影權(quán)向量，f(x)為輸入的5維特征向量，/7為分類(lèi)閾值。在上述特定被攝體跟蹤方法中，對(duì)第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括以下步驟(h)從前D2幀圖像收集正例樣本和反例樣本，利用第l觀測(cè)模型對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本；(i)從保留的反例樣本中，選擇第2觀測(cè)模型針對(duì)所保留的反例樣本的輸出似然度大于第二閾值的反例樣本；(j)基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止；(k)利用DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器；以及(1)從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被采用的弱分類(lèi)器。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第2觀測(cè)模型的生存期D2是5幀圖像。在上述特定被攝體跟蹤方法中，所述強(qiáng)分類(lèi)器的輸出為<formula>formulaseeoriginaldocumentpage14</formula>其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，Q表示所挑選的一組弱分類(lèi)器的集合，表示與Q內(nèi)的任何一個(gè)弱分類(lèi)器q對(duì)應(yīng)的權(quán)重，w,表示弱分類(lèi)器q的LDA投影向量，f,表示針對(duì)弱分類(lèi)器q所采用的特征，%表示針對(duì)弱分類(lèi)器q的分類(lèi)閾值。在上述特定被攝體跟蹤方法中，由Sigmoid函數(shù)平滑后的第2觀測(cè)模型的輸出為-<formula>formulaseeoriginaldocumentpage15</formula>其中，Z2為第二觀測(cè)模型的觀測(cè)量。在上述特定被攝體跟蹤方法中，優(yōu)選的是，第3觀測(cè)模型是由多個(gè)向量推進(jìn)算法學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。在上述特定被攝體跟蹤方法中，優(yōu)選的是，第3觀測(cè)模型是樹(shù)狀多視角人臉檢測(cè)器。在上述特定被攝體跟蹤方法中，第3觀測(cè)模型的輸出為其中，Z3為第3觀測(cè)模型的觀測(cè)量，h是輸入樣本X通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，A是與該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比，其隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例的概率就越大，c是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。根據(jù)本發(fā)明的另一方面，還提供了一種適于低幀率視頻的特定被攝體跟蹤裝置，其利用生存期各不相同的3個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)，該特定被攝體跟蹤裝置包括初始化部，其在視頻序列中的第一幀圖像中檢測(cè)一特征部，通過(guò)在檢測(cè)到的特征部周?chē)M(jìn)行高斯隨機(jī)采樣而獲得包括多個(gè)特定被攝體樣本的初始樣本集；跟蹤檢測(cè)部，其對(duì)于輸入的第t幀圖像，跟蹤檢測(cè)特定被攝體在圖像中的位置和大小，t是表示幀圖像的序號(hào)的自然數(shù)；判定輸出部，其判定跟蹤檢測(cè)部的檢測(cè)結(jié)果是否為所跟蹤的特定被攝體，若是，則輸出特定被攝體樣本的樣本集的大小和位置的加權(quán)平均，作為特定被攝體在當(dāng)前幀的大小和位置，若否，則丟棄該候選目標(biāo)；以及存儲(chǔ)部，其存儲(chǔ)判定輸出部的判定輸出結(jié)果，以用于對(duì)下一幀圖像的跟蹤檢測(cè)，其中，所述跟蹤檢測(cè)部包括第一跟蹤部，其利用輸入的第t幀圖像的前D,幀圖像對(duì)其中使用的第1觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的N,個(gè)樣本進(jìn)行權(quán)重更新，仏是表示第l觀測(cè)模型的生存期的自然數(shù)，N:是自然數(shù)；第二跟蹤部，其利用輸入的第t幀圖像的前D2幀圖像對(duì)其中使用的第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的基于第一跟蹤部更新后的樣本權(quán)重而重新采樣的N2個(gè)樣本進(jìn)行權(quán)重更新，D2是表示第2觀測(cè)模型的生存期的自然數(shù)，N2是自然數(shù)；第三跟蹤部，其經(jīng)過(guò)離線(xiàn)訓(xùn)練，然后對(duì)第t幀圖像中的基于第二跟蹤部更新后的樣本權(quán)重而重新采樣的N3個(gè)樣本進(jìn)行權(quán)重更新，N3是自然數(shù)，所述判定輸出部判斷第三跟蹤部最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的第一閾值，若最終更新后的樣本權(quán)重超過(guò)第一閾值，則輸出特定被攝體樣本的樣本集的大小和位置的加權(quán)平均，作為特定被攝體在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第1觀測(cè)模型的生存期Di小于第2觀測(cè)模型的生存期D2。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第1觀測(cè)模型的生存期Dt是1幀圖像。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第2觀測(cè)模型的生存期D2是5幀圖像。在上述特定被攝體跟蹤裝置，優(yōu)選的是，針對(duì)第一跟蹤部的樣本數(shù)N》針對(duì)第二跟蹤部的樣本數(shù)N2〉針對(duì)第三跟蹤部的樣本數(shù)N3。在上述特定被攝體跟蹤裝置，對(duì)第1個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括從前Dt幀圖像收集正例樣本和反例樣本；和基于所收集到的正例樣本和反例樣本，來(lái)求出第1觀測(cè)模型中采用的各種參數(shù)。在上述特定被攝體跟蹤裝置，優(yōu)選的是，所述第1觀測(cè)模型是Fisher線(xiàn)性鑒別分類(lèi)器。在上述特定被攝體跟蹤裝置，優(yōu)選的是，所述第1觀測(cè)模型采用了離線(xiàn)選取的5個(gè)類(lèi)Haar特征。在上述特定被攝體跟蹤裝置，優(yōu)選的是，所述正例樣本選取自跟蹤的特定被攝體的臨近區(qū)域，而所述反例樣本選取自在跟蹤的特定被攝體周?chē)?、大小為該特定被攝體的兩倍的區(qū)域中，與該特定被攝體距離較遠(yuǎn)的圖像。在上述特定被攝體跟蹤裝置，由Sigmoid函數(shù)平滑后的第1觀測(cè)模型的輸出為其中，X是表示跟蹤的特定被攝體的狀態(tài)的變量，Zi是第l觀測(cè)模型所采用的觀測(cè)量，w為Fisher線(xiàn)性鑒別分類(lèi)器的投影權(quán)向量，f(x)為輸入的5維特征向量，"為分類(lèi)閾值。在上述特定被攝體跟蹤裝置，對(duì)第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括從前D2幀圖像收集正例樣本和反例樣本，利用第一跟蹤部對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本；從保留的反例樣本中，選擇第2觀測(cè)模型針對(duì)所保留的反例樣本的輸出似然度大于第二閾值的反例樣本；基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止；利用DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器；以及從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被釆用的弱分類(lèi)器。在上述特定被攝體跟蹤裝置，所述強(qiáng)分類(lèi)器的輸出為Zasign(w:f(x)-77》其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，Q表示所挑選的一組弱分類(lèi)器的集合，表示與Q內(nèi)的任何一個(gè)弱分類(lèi)器q對(duì)應(yīng)的權(quán)重，w《表示弱分類(lèi)器q的LDA投影向量，f,表示針對(duì)弱分類(lèi)器q所采用的特征，^表示針對(duì)弱分類(lèi)器q的分類(lèi)閾值。在上述特定被攝體跟蹤裝置，由Sigmoid函數(shù)平滑后的第2觀測(cè)模型的輸出為-<formula>formulaseeoriginaldocumentpage18</formula>其中，22為第二觀測(cè)模型的觀測(cè)量。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第3量推進(jìn)算法學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第3角人臉檢測(cè)器。在上述特定被攝體跟蹤裝置，第3觀測(cè)模型的輸出為1漠型是由多個(gè)向莫型是樹(shù)狀多視其中，Z3為第3觀測(cè)模型的觀測(cè)量，h是輸入樣本X通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，^是與該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比，其隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例的概率就越大，c是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。本發(fā)明以統(tǒng)計(jì)學(xué)習(xí)作為基礎(chǔ)，構(gòu)造不同的分類(lèi)器作為觀測(cè)模型，并把在線(xiàn)的分類(lèi)器和離線(xiàn)的分類(lèi)器結(jié)合起來(lái)使用，從而增加了算法的穩(wěn)定性。在同一個(gè)圖像空間中使用多個(gè)互補(bǔ)的觀測(cè)模型，一方面可以增強(qiáng)觀測(cè)模型的區(qū)分能力，另一方面也可以避免下采樣圖像造成的誤差。因而，根據(jù)本發(fā)明的跟蹤方法和跟蹤裝置，對(duì)于低幀率視頻中的跟蹤目標(biāo)或者快速運(yùn)動(dòng)的物體，通過(guò)捕捉并利用視頻中的時(shí)序信息來(lái)縮小搜索范圍，進(jìn)而通過(guò)檢測(cè)算法來(lái)對(duì)目標(biāo)進(jìn)行精確的識(shí)別，從而可以實(shí)現(xiàn)快速而準(zhǔn)確的跟蹤。圖1(a)、(b)和(C)分別示出了采用標(biāo)準(zhǔn)粒子濾波跟蹤方法、Lukas-Kanade光流場(chǎng)跟蹤方法以及本發(fā)明的跟蹤方法對(duì)低幀率視頻中的目標(biāo)進(jìn)行跟蹤的效果；圖2是示出三個(gè)觀測(cè)模型的學(xué)習(xí)周期和使用周期的示意圖；圖3示出了三個(gè)觀測(cè)模型采用的特征集的重合狀況；圖4示出了瀑布型粒子濾波器和傳統(tǒng)瀑布型檢測(cè)器的比較；圖5示出了瀑布型粒子濾波器的工作過(guò)程，以及標(biāo)準(zhǔn)粒子濾波器和瀑布型粒子濾波器的跟蹤錯(cuò)誤率曲線(xiàn)和采樣效率，其中(a)示出在每一輪的釆樣過(guò)程中觀測(cè)似然度和權(quán)重更新后的粒子分布，(b)示出標(biāo)準(zhǔn)粒子濾波器和瀑布型粒子濾波器的跟蹤錯(cuò)誤率曲線(xiàn)和有效樣本數(shù)(ESS)曲線(xiàn)、瀑布型粒子濾波器的跟蹤結(jié)果(在標(biāo)準(zhǔn)粒子濾波器跟蹤偏差較大的幀。淺灰矩形框表示上一幀中的目標(biāo)位置，便于觀察運(yùn)動(dòng)劇烈程度)；圖6示出了跟蹤多個(gè)目標(biāo)時(shí)不同目標(biāo)的在線(xiàn)模型輸出的觀測(cè)似然度，其中淺灰色矩形框表示上一幀中的目標(biāo)位置；圖7是本發(fā)明的跟蹤方法與完全離線(xiàn)學(xué)習(xí)方法的比較，其中(a)示出了離線(xiàn)人臉檢測(cè)時(shí)因?yàn)檫\(yùn)動(dòng)模糊所以有時(shí)會(huì)漏檢，而且沒(méi)有辦法關(guān)聯(lián)同一個(gè)目標(biāo)，(b)示出了用本發(fā)明的方法跟蹤攝像機(jī)快速移動(dòng)、運(yùn)動(dòng)模糊的視頻(淺灰色矩形框表示上一幀中的目標(biāo)位置)；圖8是本發(fā)明的方法和完全在線(xiàn)學(xué)習(xí)方法的比較，其中(a)示出了用純?cè)诰€(xiàn)學(xué)習(xí)的跟蹤算法跟蹤，可以觀察到模型的"漂移"現(xiàn)象；(b)示出了用本發(fā)明的方法跟蹤目標(biāo)快速姿態(tài)變化(在5幀之內(nèi)從右全側(cè)面變化到左側(cè)面)；圖9示出了本發(fā)明的方法在不利光照條件、攝像機(jī)運(yùn)動(dòng)和鏡頭拉伸的情況下跟蹤目標(biāo)的情況；圖10示出了其他現(xiàn)有技術(shù)方法在各種條件下跟蹤5^)S的視頻的情況；圖11示出了不同跟蹤方法的跟蹤位置誤差曲線(xiàn)；圖12示出了本發(fā)明的跟蹤方法的總體流程圖；圖13示出了觀測(cè)模型I的在線(xiàn)學(xué)習(xí)過(guò)程的流程圖；圖14示出了觀測(cè)模型II的在線(xiàn)學(xué)習(xí)過(guò)程的流程圖；圖15示出了根據(jù)本發(fā)明的跟蹤方法中利用觀測(cè)模型更新樣本權(quán)重的流程圖；以及圖16示出了根據(jù)本發(fā)明的融合三個(gè)觀測(cè)模型的跟蹤裝置的示意框圖。具體實(shí)施方式下面，參照附圖，以人臉和頭部跟蹤為例，對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說(shuō)明。但需要說(shuō)明的是，本發(fā)明所提供的方法和裝置也可以應(yīng)用于其它類(lèi)型目標(biāo)的跟蹤。本發(fā)明的原理是，對(duì)傳統(tǒng)的檢測(cè)算法和跟蹤算法進(jìn)行組合，通過(guò)捕捉并利用視頻中的時(shí)序信息來(lái)縮小搜索范圍，進(jìn)而通過(guò)檢測(cè)算法來(lái)對(duì)目標(biāo)進(jìn)行精確的識(shí)別，來(lái)提高算法的區(qū)分能力和跟蹤速度。上述本發(fā)明的原理是通過(guò)建立并融合一系列不同"生存期"的觀測(cè)模型來(lái)實(shí)現(xiàn)的。優(yōu)選的是，采用三個(gè)不同的觀測(cè)模型。例如，在本發(fā)明中，觀測(cè)模型I釆用了生存期僅為1幀的Fisher線(xiàn)性鑒別分類(lèi)器；觀測(cè)模型II采用DiscreteAdaBoost算法，并以Fisher線(xiàn)性鑒別分類(lèi)器作為弱分類(lèi)器，其生存期例如為5幀；觀測(cè)模型III采用離線(xiàn)訓(xùn)練的檢測(cè)器，該檢測(cè)器是由多個(gè)向量推進(jìn)算法(VectorBoosting)(RealAdaBoost的變種)學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的，該模型的生存期可以看作是無(wú)限長(zhǎng)。觀測(cè)模型I利用從前一幀圖像獲得的訓(xùn)練樣本來(lái)對(duì)模型參數(shù)進(jìn)行訓(xùn)練，進(jìn)而來(lái)更新當(dāng)前幀的樣本權(quán)重。根據(jù)觀測(cè)模型I更新后的當(dāng)前幀的樣本權(quán)重，通過(guò)重采樣過(guò)程(在本發(fā)明中，采用的是重要性采樣(importancesampling),即，與更新后的樣本權(quán)重基本上成比例地來(lái)確定重采樣的樣本分布，使得重采樣后的每個(gè)樣本的權(quán)重基本上相等)，來(lái)選擇新的第一預(yù)定數(shù)量個(gè)樣本。觀測(cè)模型II利用從前5幀圖像獲得的訓(xùn)練樣本來(lái)對(duì)模型參數(shù)進(jìn)行訓(xùn)練，進(jìn)而針對(duì)根據(jù)觀測(cè)模型I的輸出結(jié)果通過(guò)重要性采樣而獲得的第一預(yù)定數(shù)量個(gè)樣本，來(lái)更新當(dāng)前幀的樣本權(quán)重。根據(jù)觀測(cè)模型II更新后的當(dāng)前幀的樣本權(quán)重，通過(guò)與上述類(lèi)似的重采樣過(guò)程，來(lái)選擇新的第二預(yù)定數(shù)量個(gè)樣本。觀測(cè)模型ni的模型參數(shù)是已離線(xiàn)訓(xùn)練好的，因而可以直接對(duì)根據(jù)觀測(cè)模型n的輸出結(jié)果通過(guò)重要性采樣而獲得的第二預(yù)定數(shù)量個(gè)樣本進(jìn)行檢測(cè)。圖2是示出三個(gè)觀測(cè)模型的學(xué)習(xí)周期和使用周期的示意圖。從中可以看到，觀測(cè)模型i的學(xué)習(xí)周期僅為前一幀圖像，其使用周期也僅為當(dāng)前幀圖像；觀測(cè)模型n的學(xué)習(xí)周前為前面數(shù)幀圖像，其使用周期對(duì)應(yīng)地為隨后的數(shù)幀圖像；觀測(cè)模型III是離線(xiàn)訓(xùn)練的，因此其使用周期對(duì)應(yīng)于整個(gè)在線(xiàn)采樣序列。上述方法的好處在于，使用生存期較短的觀測(cè)模型，可以通過(guò)刻畫(huà)目標(biāo)短期內(nèi)的特定特征來(lái)更快地排除掉非目標(biāo)，而且因?yàn)樾枰獙W(xué)習(xí)的知識(shí)不多，它的訓(xùn)練開(kāi)銷(xiāo)也比較小；而使用生存期較長(zhǎng)的觀測(cè)模型，可以更準(zhǔn)確地把握目標(biāo)的特征，并且有效防止因在線(xiàn)更新過(guò)度所導(dǎo)致的"漂移"。以上概述了本發(fā)明的融合了不同生存期的三個(gè)觀測(cè)模型的瀑布型粒子濾波器。需要說(shuō)明的是，觀測(cè)模型的數(shù)量、類(lèi)型以及其生存期并非必須限于上述示例，而可以根據(jù)情況進(jìn)行改變。下面對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行具體說(shuō)明。首先對(duì)本發(fā)明的算法所涉及的變量符號(hào)進(jìn)行說(shuō)明。定義t時(shí)刻目標(biāo)的狀態(tài)為隱變量x,，對(duì)應(yīng)的觀測(cè)量為z,。在此，在不引起歧義的前提下將省略下標(biāo)t。以人臉跟蹤為例，可以定義x-(x，j^)，即人臉的位置和大小。觀測(cè)模型的作用是對(duì)每個(gè)x輸出p(z卜)。在采用m個(gè)觀測(cè)模型的情況下，定義z-^,…,U，并將第k個(gè)觀測(cè)模型的輸出記為。每個(gè)觀測(cè)模型涉及以下要素學(xué)習(xí)算法L、訓(xùn)練樣本集合S、訓(xùn)練特征集合F，以及該觀測(cè)模型的幾個(gè)時(shí)間復(fù)雜度(離線(xiàn)訓(xùn)練復(fù)雜度^、在線(xiàn)訓(xùn)練復(fù)雜度、和分類(lèi)復(fù)雜度^,)。其中，分類(lèi)復(fù)雜度定義為對(duì)一個(gè)輸入的x計(jì)算;7(z卜)的時(shí)間復(fù)雜度?？梢园训趉個(gè)觀測(cè)模型表示為<formula>formulaseeoriginaldocumentpage22</formula>用于訓(xùn)練的總時(shí)間復(fù)雜度為(、。,其一般隨l&|和|&I的規(guī)模增長(zhǎng)。分類(lèi)復(fù)雜度、^則與分類(lèi)模型的復(fù)雜度以及分類(lèi)模型最終包含的用于分類(lèi)的特征集A的規(guī)模有關(guān)。為了盡量降低跟蹤算法的在線(xiàn)時(shí)間復(fù)雜度，優(yōu)選的是把不同的觀測(cè)模型按照生存期遞增的方式排列。這是因?yàn)椋?生存期"比較長(zhǎng)的觀測(cè)模型，其訓(xùn)練復(fù)雜度(、。,,+、。#)和分類(lèi)復(fù)雜度、,也會(huì)比較大。因?yàn)槿绻麑W(xué)習(xí)周期比較長(zhǎng)，訓(xùn)練樣本數(shù)量l&l就較大，從而也需要比較大的特征集合巧以及比較復(fù)雜的學(xué)習(xí)算法^來(lái)學(xué)習(xí)&所包含的信息，這樣最終觀測(cè)模型挑選出的用于分類(lèi)的特征集《也會(huì)比較大。根據(jù)以上分析，在本發(fā)明中，把不同的觀測(cè)模型按照生存期遞增的方式排列。同時(shí)，要降低在線(xiàn)學(xué)習(xí)復(fù)雜度，必須精心挑選《以限制其規(guī)模，同時(shí)盡量多使用離線(xiàn)訓(xùn)練。不同的觀測(cè)模型將采用不同的配置(包括分類(lèi)器形式、學(xué)習(xí)算法、特征集等等)，以綜合考慮分類(lèi)能力和分類(lèi)速度這兩大因素。換句話(huà)說(shuō)，就是每個(gè)學(xué)習(xí)算法^和備選特征集《應(yīng)該能確保觀測(cè)模型通過(guò)對(duì)訓(xùn)練樣本&的學(xué)習(xí)后達(dá)到一定的區(qū)分力，但是又不需要過(guò)于復(fù)雜，增加時(shí)間復(fù)雜度。表1列出了本發(fā)明優(yōu)選實(shí)施例所采用的三個(gè)觀測(cè)模型的基本配置。表1各個(gè)觀測(cè)模型的配置<table>tableseeoriginaldocumentpage22</column></row><table>樣本一個(gè)觀測(cè)模型)的樣本0可忽略可忽略數(shù)天、卿o(l《1)1)o(l巧1)在分別描述三個(gè)觀測(cè)模型的具體構(gòu)造方法之前，首先介紹一下各個(gè)觀測(cè)模型之間的特征共享，如圖3所示。本發(fā)明使用了類(lèi)Haar特征(文獻(xiàn)[13])的一個(gè)擴(kuò)展集合(文斷15])。計(jì)算類(lèi)Haar特征是非常高效的，但前提是對(duì)圖像金子塔的每個(gè)尺度都已經(jīng)計(jì)算出一階和二階的積分圖像。計(jì)算積分圖像的過(guò)程對(duì)于一個(gè)實(shí)時(shí)系統(tǒng)來(lái)說(shuō)是比較大的一部分開(kāi)銷(xiāo)，因此在本發(fā)明中，所有的觀測(cè)模型都采用類(lèi)Haar特征。每個(gè)觀測(cè)模型的訓(xùn)練特征集合《都是通過(guò)離線(xiàn)樣本預(yù)先挑選出來(lái)的。由于只使用類(lèi)Haar特征，所以觀測(cè)模型都只需要灰度圖像就可以工作。下面對(duì)各個(gè)觀測(cè)模型進(jìn)行詳細(xì)說(shuō)明。觀測(cè)模型I觀測(cè)模型I采用的是一個(gè)Fisher線(xiàn)性鑒別分類(lèi)器(即，LinearDiscriminantAnalysis)。它的生存期最短(1幀)，也就是說(shuō)訓(xùn)練樣本全部來(lái)自于前一幀的圖像。由于訓(xùn)練樣本的分布相對(duì)簡(jiǎn)單，所以我們只使用5個(gè)類(lèi)Haar特征進(jìn)行分類(lèi)，從而達(dá)到快速排斥非目標(biāo)的作用。Fisher線(xiàn)性鑒別分類(lèi)器通過(guò)把特征向量投影到最適合分類(lèi)的方向來(lái)區(qū)分正例樣本(即，是人臉的樣本)和反例樣本(即，不是人臉的樣本)。這里要把5維特征向量投影成一維。設(shè)Fisher分類(lèi)器的投影權(quán)向量為w，輸入的5維特征向量為f(x)，分類(lèi)閾值為;？(權(quán)向量和閾值的獲得方法可參見(jiàn)文獻(xiàn)[18])。分類(lèi)器的輸出為wTf(x)-T7。最后我們用Sigmoid函數(shù)來(lái)平滑觀測(cè)模型的輸出值觀測(cè)模型I的訓(xùn)練樣本來(lái)自前一幀，正例樣本取自跟蹤目標(biāo)臨近區(qū)域，反例樣本取自目標(biāo)周?chē)鷥杀赌繕?biāo)大小的區(qū)域中和目標(biāo)距離較遠(yuǎn)的圖像。觀測(cè)模型I沒(méi)有在線(xiàn)選擇特征的過(guò)程。原因一方面是特征選擇比較耗時(shí)，另一方面是由于訓(xùn)練樣本比較受局限(只來(lái)自于前一幀)，避免過(guò)擬合。因此采用的5個(gè)類(lèi)Haar特征都是離線(xiàn)選取的(參見(jiàn)圖3中的^)。選取的標(biāo)準(zhǔn)是特征在離線(xiàn)樣本集上的區(qū)分能力(FisherLinearDiscriminant)。觀測(cè)模型II為了獲得更強(qiáng)的區(qū)分能力，觀測(cè)模型II采用DiscreteAdaBoost算法(文斷16])，弱分類(lèi)器為Fisher線(xiàn)性鑒別分類(lèi)器。相比于觀測(cè)模型I，觀測(cè)模型II的生存期更長(zhǎng)，訓(xùn)練樣本來(lái)自最近5幀的輸入數(shù)據(jù)。按照前面所述的樣本收集標(biāo)準(zhǔn)，設(shè)5幀內(nèi)的正反例訓(xùn)練樣本為S2=(S2，^,S2^)。在跟蹤過(guò)程中，始終保存著一個(gè)弱分類(lèi)器的候選集込，一方面根據(jù)新樣本不斷加入新的弱分類(lèi)器，一方面用AdaBoost選取其中的一個(gè)子集經(jīng)加權(quán)后組成強(qiáng)分類(lèi)器。這個(gè)弱分類(lèi)器候選集的存在，使得觀測(cè)模型II包含的信息覆蓋了目標(biāo)在最近的一個(gè)時(shí)間段內(nèi)的變化。觀測(cè)模型II的在線(xiàn)訓(xùn)練過(guò)程主要包括以下步驟1、向弱分類(lèi)器候選集2。增加新的弱分類(lèi)器；2、用DiscreteAdaBoost算法從弱分類(lèi)器候選集2。中挑選弱分類(lèi)器，經(jīng)加權(quán)后組成強(qiáng)分類(lèi)器；3、從弱分類(lèi)器候選集込中刪除一段時(shí)間內(nèi)未被挑選的弱分類(lèi)器。以下對(duì)上述步驟做進(jìn)一步的說(shuō)明。在第一步驟，增加新的弱分類(lèi)器。采用不斷過(guò)濾反例樣本的方式，即，在產(chǎn)生新的弱分類(lèi)器的同時(shí)，從訓(xùn)練樣本集中去掉能被新弱分類(lèi)器排斥掉的反例樣本，然后繼續(xù)添加新的弱分類(lèi)器，直到反例樣本數(shù)量足夠少或者新弱分類(lèi)器的個(gè)數(shù)超過(guò)預(yù)先設(shè)定的最大個(gè)數(shù)為止。在第二步驟，挑選弱分類(lèi)器候選集中的弱分類(lèi)器并對(duì)它們進(jìn)行加權(quán)，以形成一個(gè)強(qiáng)分類(lèi)器。這里采用的就是標(biāo)準(zhǔn)的DiscreteAdaBoost算法。算法的結(jié)束條件是錯(cuò)誤率收斂到接近o，或者所有弱分類(lèi)器候選集a中的弱分類(lèi)器都已經(jīng)被選擇。在線(xiàn)學(xué)習(xí)的結(jié)果是由一組弱分類(lèi)器Q構(gòu)成的一個(gè)強(qiáng)分類(lèi)器，對(duì)其中任何一個(gè)弱分類(lèi)器《e^，存在相對(duì)應(yīng)的弱分類(lèi)器權(quán)重，以及該弱分類(lèi)器的LDA投影向量、所采用的特征以及分類(lèi)閾值(,,、，^)。強(qiáng)分類(lèi)器的輸出可以計(jì)算如下Z—gn(w:f;(x)-/7》同樣，用Sigmoid函數(shù)來(lái)平滑觀測(cè)模型II的輸出值，由此獲得下式:Ix)oc-^-21l+exp(-6(x))觀測(cè)模型m觀測(cè)模型ni采用離線(xiàn)訓(xùn)練的檢測(cè)器。它的結(jié)構(gòu)最為復(fù)雜，包含的信息也最多，用于與在跟蹤過(guò)程中通過(guò)在線(xiàn)學(xué)習(xí)而獲得的信息互為補(bǔ)充，約束在線(xiàn)觀測(cè)模型，以避免其偏離目標(biāo)實(shí)際分布。這里采用的離線(xiàn)檢測(cè)器是由多個(gè)向量推進(jìn)算法(VectorBoosting)(RealAdaBoost的變種)學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。從結(jié)構(gòu)上來(lái)說(shuō)，觀測(cè)模型I是一個(gè)弱分類(lèi)器，觀測(cè)模型II是一個(gè)Boosting得到的強(qiáng)分類(lèi)器,觀測(cè)模型III則是由多個(gè)強(qiáng)分類(lèi)器連接而成的。具體對(duì)于人臉跟蹤，觀測(cè)模型III直接采用樹(shù)狀多視角人臉檢測(cè)器(參見(jiàn)文獻(xiàn)[20p。關(guān)于如何獲得觀測(cè)似然度p(^x)，可以參見(jiàn)文獻(xiàn)[17]。這里不再贅述，僅將觀測(cè)模型III的輸出表示如下其中，h是輸入樣本x通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，^是該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比(訓(xùn)練過(guò)程中記錄)。它隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例(人臉)的概率就越大。c是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。以上所采用的學(xué)習(xí)方法(Fisherlineardiscriminant/LDA,DiscreteAdaBoost，RealAdaBoost等)都是經(jīng)典的算法。但是在給每個(gè)觀測(cè)模型選擇學(xué)習(xí)方法的時(shí)候，綜合考慮了學(xué)習(xí)目標(biāo)的復(fù)雜程度以及訓(xùn)練和分類(lèi)的時(shí)間消耗等，而且進(jìn)行了大量的實(shí)驗(yàn)。例如，觀測(cè)模型II和觀測(cè)模型m都采用了Boosting算法，但它們之間也存在顯著的差別觀測(cè)模型n中采用的弱分類(lèi)器待選集的規(guī)模遠(yuǎn)小于觀測(cè)模型m中采用的弱分類(lèi)器待選集的規(guī)模，前者僅包括幾十個(gè)弱分類(lèi)器，而后者則包括上萬(wàn)甚至上百萬(wàn)個(gè)弱分類(lèi)器；另外觀測(cè)模型II使用DiscreteAdaBoost，而觀測(cè)模型III使用RealAdaBoost。這一方面是為了減少在線(xiàn)訓(xùn)練的時(shí)間開(kāi)銷(xiāo)(因?yàn)镈iscreteAdaBoost的時(shí)間復(fù)雜度大約為0(|S||込I2)，ISI為訓(xùn)練樣本數(shù)，12。|為候選弱分類(lèi)器的個(gè)數(shù))，另一方面也是為了避免在相對(duì)少量的在線(xiàn)訓(xùn)練樣本上的過(guò)擬合。而且為了在限制弱分類(lèi)器個(gè)數(shù)的前提下增加觀測(cè)模型的區(qū)分能力，加速算法收斂，在弱分類(lèi)器的選擇上，觀測(cè)模型n選擇了10維Fisher線(xiàn)性鑒別分類(lèi)器作為弱分類(lèi)器，以提高單個(gè)弱分類(lèi)器的區(qū)分能力，從而提高算法效率；而觀測(cè)模型III則采用一個(gè)類(lèi)Haar特征構(gòu)成一個(gè)弱分類(lèi)器。瀑布型粒子濾波器在對(duì)根據(jù)本發(fā)明的瀑布型粒子濾波器進(jìn)行詳細(xì)描述之前，首先介紹一下標(biāo)準(zhǔn)粒子濾波器，并分析其在低幀率或者快速運(yùn)動(dòng)情況下的不足。仍然沿用之前對(duì)狀態(tài)量和觀測(cè)量的定義，粒子濾波器的目標(biāo)是計(jì)算/7(x」Z,)，其主要包括以下步驟(1)預(yù)測(cè)/7(x」Z,—J-fp(x」Xw)p(v"Z")血,—1;(2)更新p(x((Z,):Xy,|z>(X,|ZM)式中的積分項(xiàng)采用重要性采樣的方式來(lái)計(jì)算，也就是說(shuō)，需要從一個(gè)試驗(yàn)分布中產(chǎn)生隨機(jī)粒子。一般來(lái)說(shuō)，這個(gè)試驗(yàn)分布直接采用p(x」v,)。但是當(dāng)目標(biāo)運(yùn)動(dòng)劇烈、無(wú)規(guī)律時(shí)(例如在低幀率視頻中)，p(x,lvJ往往和目標(biāo)真實(shí)的運(yùn)動(dòng)相去甚遠(yuǎn)。采用這樣的試驗(yàn)分布就會(huì)導(dǎo)致粒子集逐步偏離真正的目標(biāo)狀態(tài)，最終致跟蹤失敗(如圖1中的(a)所示的例子)。彌補(bǔ)的方法可以是增大p(x(lxj的不確定性(例如，增大高斯模型的方差)，但是這同時(shí)必須增加粒子數(shù)量，從而會(huì)降低效率。另一個(gè)選擇是將觀測(cè)分布P(z(h)引入試驗(yàn)分布(文獻(xiàn)[4]、[5])，來(lái)輔助運(yùn)動(dòng)模型的預(yù)測(cè)。這樣就要求在很大范圍的狀態(tài)空間內(nèi)計(jì)算;Kz,k)。因此，不論采用以上哪種方法，最終都要在大面積上計(jì)算p(z」x,)。而這個(gè)觀測(cè)似然度的計(jì)算往往是系統(tǒng)中最耗時(shí)的部分。如果只使用單個(gè)觀測(cè)模型，那么這個(gè)問(wèn)題始終存在。而根據(jù)本發(fā)明，采用了瀑布型粒子濾波器，其中涉及多個(gè)觀測(cè)模型，從而可以一定程度上克服標(biāo)準(zhǔn)粒子濾波器的問(wèn)題。下面對(duì)根據(jù)本發(fā)明的瀑布型粒子濾波器的算法進(jìn)行說(shuō)明。記觀測(cè)量為z-h，...，^)，假設(shè)不同的觀測(cè)量互相獨(dú)立，可得P(z|x)=;(z,，…,zjx)=fl*|x)標(biāo)準(zhǔn)粒子濾波器可以直接用f^(&lx)來(lái)更新粒子權(quán)重。但是這樣不僅計(jì)算量大，而且最終可能有大量粒子的權(quán)重很小(接近于0)，導(dǎo)致采樣效率低。在后面將基于"有效樣本數(shù)"(EffectiveSampleSize)(文獻(xiàn)[19])做對(duì)比實(shí)驗(yàn)。正是由于類(lèi)似的問(wèn)題，在檢測(cè)問(wèn)題中廣泛使用了瀑布型檢測(cè)器。不過(guò)瀑布型檢測(cè)器在這里可以被看作一種極端的特例即P(z」x)的取值為0或者l，最后滿(mǎn)足p(zlx)〉0的x被瑜出為檢測(cè)結(jié)果，而不滿(mǎn)足p(z卜)〉0的x則被當(dāng)作反例排斥。而且檢測(cè)器采取窮舉的方式來(lái)搜索圖像中的目標(biāo)，如同在x的整個(gè)狀態(tài)空間內(nèi)均勻地散布粒子一樣。為了克服標(biāo)準(zhǔn)粒子濾波和瀑布型檢測(cè)器的不足，本發(fā)明將兩者的優(yōu)勢(shì)綜合起來(lái)，通過(guò)多次重要性采樣把多個(gè)不同的觀測(cè)模型聯(lián)系起來(lái)。設(shè)"o(X)"(x,IZ")，A(x,)=P(zJxXUA:=1』由此可推出7Tm(X,)"(X,|ZM)f[p(IX,)"(x,IZm)p(z,Ix,)"(x」Z,)這個(gè)分布就是跟蹤目標(biāo)。具體算法如下-在第k輪，通過(guò)重要性采樣來(lái)獲得模擬&00分布的加權(quán)粒子集合。使用&一,(X,)作為試驗(yàn)分布。而對(duì)于這個(gè)試驗(yàn)分布，已經(jīng)從k-l輪中獲得了符合它的加權(quán)粒子集合，即S—,，,={《,,")。因此從它采樣相當(dāng)于將這個(gè)粒子集合Pw,重采樣得到(x2，l/^&。而xg的權(quán)重應(yīng)該按如下公式更新-尺，=^),,《^可被認(rèn)為是;^")的近似。重復(fù)以上步驟m次就可以獲得尸w—x己，《^;r",(x,H;7(x,IZ,)。圖4示出了瀑布型粒子濾波器和傳統(tǒng)瀑布型檢測(cè)器的比較，其中假設(shè)它們各采用三個(gè)觀測(cè)模型/分類(lèi)器。表3示出了標(biāo)準(zhǔn)粒子濾波器、瀑布型檢測(cè)器和瀑布型粒子濾波器的進(jìn)一步的比較。表3標(biāo)準(zhǔn)粒子濾波器、瀑布型檢測(cè)器和瀑布型粒子濾波器的比較"一計(jì)算p(z」x()的時(shí)耗；W或A^:第k輪的粒子數(shù)或者通過(guò)檢測(cè)的樣本數(shù))方法時(shí)間復(fù)雜度備注標(biāo)準(zhǔn)粒子濾波器m當(dāng)AT足夠大時(shí)可以達(dá)到準(zhǔn)確跟蹤，但是此時(shí)時(shí)間復(fù)雜度比其他兩種方法大很多。瀑布型檢測(cè)器"iM、iV;>...>《，7V:的大小取決于每一層分類(lèi)器的固定通過(guò)閾值。待檢測(cè)對(duì)象一般在圖像空間中均勻選取(窮舉)。瀑布型粒子濾波器iV一W一.》i^，乂固定，控制了每一層保留的粒子數(shù)，實(shí)時(shí)上起到動(dòng)態(tài)閾值的作用。在每一層粒子都經(jīng)過(guò)更新權(quán)重、重采樣和隨機(jī)擾動(dòng)過(guò)程。在實(shí)現(xiàn)中，發(fā)現(xiàn)觀測(cè)模型A^lx)的輸出包含噪音，呈現(xiàn)多峰的分布(見(jiàn)圖5(a))，這種情況對(duì)于區(qū)分性模型是很正常的。而且?guī)讉€(gè)觀測(cè)模型輸出的峰值位置可能都不交疊。這樣的現(xiàn)象，對(duì)于一些用瀑布型檢測(cè)器或類(lèi)似方式來(lái)使用多個(gè)觀測(cè)模型的方法會(huì)造成困難(例如，C.Yang等采取每次直接丟棄一部分低權(quán)重的樣本，保留高權(quán)重樣本的方法，參見(jiàn)文獻(xiàn)[21])。但在本發(fā)明的算法中，這種不利因素可以很方便的解決，只需要在每次重要性采樣中加入小的高斯擾動(dòng)就可以了。下面參照?qǐng)D12、13、14以及15，對(duì)根據(jù)本發(fā)明的采用了瀑布型粒子濾波器的跟蹤方法進(jìn)行描述。圖12示出了本發(fā)明的跟蹤方法的總體流程圖。首先，在步驟S100，進(jìn)行初始化，對(duì)第一幀圖像進(jìn)行人臉檢測(cè)，在檢測(cè)到的人臉周?chē)鞲咚闺S機(jī)采樣，獲得Np個(gè)頭部樣本作為初始樣本集。本領(lǐng)域技術(shù)人員也應(yīng)當(dāng)理解，也可以采用除高斯隨機(jī)采樣之外的其它隨機(jī)采樣方式來(lái)獲得初始樣本集。在步驟S200，利用輸入的第t幀的前1幀圖像，對(duì)觀測(cè)模型I進(jìn)行在線(xiàn)學(xué)習(xí)，其具體過(guò)程示出在圖13中。在步驟S300，利用輸入的第t幀的前5幀圖像，對(duì)觀測(cè)模型II進(jìn)行在線(xiàn)學(xué)習(xí)，其具體過(guò)程示出在圖14中。在步驟S400，順序利用經(jīng)過(guò)在線(xiàn)學(xué)習(xí)的觀測(cè)模型I和II以及經(jīng)過(guò)離線(xiàn)訓(xùn)練的觀測(cè)模型III對(duì)指定的不同數(shù)量個(gè)樣本更新權(quán)重。圖15示出了更新權(quán)重的具體過(guò)程。在步驟S500,判斷在步驟S400處最終更新后的樣本權(quán)重是否大于指定閾值。若是，則進(jìn)行至步驟S600，在此，輸出目標(biāo)的樣本集的大小和位置的加權(quán)平均，作為目標(biāo)在當(dāng)前幀的大小和位置，接著繼續(xù)處理下一幀圖像；若否，則進(jìn)行至步驟S700，丟棄所述候選目標(biāo)。圖13示出了對(duì)觀測(cè)模型I進(jìn)行在線(xiàn)學(xué)習(xí)的具體過(guò)程。在步驟S210，從第t幀的前1幀圖像收集正例樣本(是人臉)和反例樣本(非人臉)。在步驟S220，基于在步驟S210收集到的正例樣本和反例樣本，求出29觀測(cè)模型I的模型參數(shù)。圖14示出了對(duì)觀測(cè)模型II進(jìn)行在線(xiàn)學(xué)習(xí)的具體過(guò)程。首先，在步驟S310，從第t幀的前5幀圖像收集正例樣本和反例樣本，利用觀測(cè)模型I對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本。在步驟S320，從保留的反例樣本中，選擇原先的觀測(cè)模型II針對(duì)所保留的反例樣本的輸出似然度大于指定閾值的反例樣本(這表明，這些反例樣本沒(méi)有被很好地排斥)。在步驟S330，基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止。在步驟S340，利用DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器，即，更新觀測(cè)模型n。在步驟S350,從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被采用的弱分類(lèi)器。圖15示出了利用觀測(cè)模型來(lái)順序更新樣本權(quán)重的具體過(guò)程。首先，在步驟S410，對(duì)第t-l幀圖像的樣本進(jìn)行重采樣，使各樣本具有相等權(quán)重，并將樣本數(shù)擴(kuò)充到&個(gè)，并設(shè)定參數(shù)k-l。接著，在步驟S420，基于上面對(duì)第t-l幀圖像重采樣的Ni個(gè)樣本，利用運(yùn)動(dòng)模型來(lái)預(yù)測(cè)第t幀圖像中的樣本位置，并對(duì)樣本進(jìn)行調(diào)整。在步驟S430，利用觀測(cè)模型I來(lái)更新第t幀圖像中的N,個(gè)樣本的權(quán)重，并使k遞增l。在步驟S440，判斷參數(shù)k是否大于指定的觀測(cè)模型數(shù)m。若是，則過(guò)程結(jié)束。若否，則進(jìn)行到步驟S450。在步驟S450，根據(jù)上一觀測(cè)模型更新后的樣本權(quán)重，基于新設(shè)定的樣本個(gè)數(shù)Nk，來(lái)上一觀測(cè)模型所針對(duì)的樣本進(jìn)行重采樣，使重采樣后的各樣本具有相等權(quán)重，并且樣本數(shù)變?yōu)镹k個(gè)。在步驟S460，利用高斯模型對(duì)在步驟S450重采樣的樣本進(jìn)行小的隨30機(jī)擾動(dòng)。在步驟S470，利用觀測(cè)模型k對(duì)經(jīng)過(guò)在步驟S460進(jìn)行隨機(jī)擾動(dòng)后的樣本進(jìn)行樣本權(quán)重更新，并使k遞增l，接著返回到步驟S440。下面介紹一下本發(fā)明的跟蹤方法的效果。作為示例，采用0++編程語(yǔ)言來(lái)實(shí)現(xiàn)上述根據(jù)本發(fā)明的跟蹤方法，運(yùn)行速度大約為30f^s(320x240像素大小的視頻幀，單個(gè)目標(biāo))，硬件配置包括Pentium2.8GHzCPU。每一輪的采樣釆用的粒子數(shù)分別為3000、600和200，當(dāng)然也可以采用其它粒子數(shù)。為了幫助闡明本發(fā)明的算法，圖5(a)例示了處理某一幀圖像時(shí)的采樣過(guò)程。如前所述，越是復(fù)雜的觀測(cè)模型，其觀測(cè)似然度函數(shù)的峰值就越"陡峭"，結(jié)果就是每經(jīng)過(guò)一輪重采樣，粒子就更加集中地分布在峰值附近。另外也可以注意到，觀測(cè)模型II和III的輸出即使在目標(biāo)的真實(shí)位置附近也很不平滑，因此在重采樣的時(shí)候加入小的擾動(dòng)是必要的。圖5(b)包含一個(gè)采樣效率的比較，比較對(duì)象是使用不同粒子數(shù)的標(biāo)準(zhǔn)粒子濾波器和瀑布型粒子濾波器。圖中示出了跟蹤誤差曲線(xiàn)和有效樣本數(shù)曲線(xiàn)。從跟蹤誤差曲線(xiàn)來(lái)看，增大標(biāo)準(zhǔn)粒子濾波器的粒子數(shù)能夠在一定程度上改善對(duì)于快速運(yùn)動(dòng)目標(biāo)的跟蹤效果，因?yàn)檩^多的粒子能夠覆蓋更大的范圍(比較使用800個(gè)粒子的曲線(xiàn)和200個(gè)粒子的曲線(xiàn))。不過(guò)本發(fā)明的方法達(dá)到了更低的跟蹤誤差。另一方面，本發(fā)明的方法采樣效率更高一些。對(duì)于與重要性采樣有關(guān)的算法，有一個(gè)常用的規(guī)則來(lái)衡量采樣效率(文獻(xiàn)[19])，就是有效樣本數(shù)ESS。它的計(jì)算方法如下孤(李iV/(l+cv20))其中，N是實(shí)際使用的粒子數(shù)，CV2(W)是樣本權(quán)重未規(guī)范化之前計(jì)算出的方差系數(shù)。有效樣本數(shù)的意義可以直觀地解釋為所述N個(gè)加權(quán)樣本的描述力相當(dāng)于ESS(N)個(gè)從目標(biāo)分布中采樣得到的樣本。由此可見(jiàn)ESS(N)越大，說(shuō)明樣本集描述力越強(qiáng)。從圖5(b)中來(lái)看，增大標(biāo)準(zhǔn)粒子濾波器的樣本數(shù)，并沒(méi)有增大它的釆樣效率(尤其是在跟蹤誤差較大的幀，對(duì)應(yīng)的ESS(N)也比較低)；而我們的算法則達(dá)到了比較高的采樣效率。用作對(duì)比實(shí)驗(yàn)的方法包括標(biāo)準(zhǔn)粒子濾波器、顏色直方圖meanshift(實(shí)驗(yàn)時(shí)采用OpenCV庫(kù)函數(shù)[22])、在線(xiàn)選擇類(lèi)Haar特征的跟蹤算法[14]以及本發(fā)明的算法。實(shí)驗(yàn)中使用的視頻，都手工標(biāo)定了groundtruth。它們都是用手持?jǐn)z像機(jī)拍攝，然后下采樣到5fj)s。其中baseball.mpg(圖7禾口圖8)禾口hopping.mpg的內(nèi)容是從事運(yùn)云力的人；excursionl.mpg禾口excursion2.mpg(圖1和圖6)則是若干人走過(guò)一條通道；boyl.mpg和boy2.mpg(圖9和圖10)是玩耍中的孩子。測(cè)試視頻一共包含2676幀。使用這些測(cè)試視頻的目的是測(cè)試算法在快速或者劇烈的目標(biāo)和攝像機(jī)運(yùn)動(dòng)以及低幀率情況下的效果。跟蹤誤差曲線(xiàn)見(jiàn)圖11，平均誤差和跟蹤率見(jiàn)表4。在低幀率的情況下，本發(fā)明的算法跟蹤效果優(yōu)于比較實(shí)驗(yàn)中的其他算法。表4是本發(fā)明的算法與其他方法的準(zhǔn)確率比較。跟蹤誤差都根據(jù)真實(shí)目標(biāo)大小歸一化，跟蹤成功的標(biāo)準(zhǔn)是位置誤差和尺度誤差都小于0.5。表4本發(fā)明算法與其他方法的準(zhǔn)確率比較<table>tableseeoriginaldocumentpage32</column></row><table>下面討論對(duì)比實(shí)驗(yàn)的結(jié)果。首先討論一下離線(xiàn)模型和在線(xiàn)模型結(jié)合使用的效果。在圖7和圖8中，我們選擇了兩個(gè)很有挑戰(zhàn)性的視頻片斷來(lái)做對(duì)比。第一個(gè)是快速的攝像機(jī)運(yùn)動(dòng)，導(dǎo)致了視頻中目標(biāo)的突然運(yùn)動(dòng)和外觀的運(yùn)動(dòng)模糊。使用離線(xiàn)訓(xùn)練的人臉檢測(cè)器(即我們的觀測(cè)模型m)，可以看到在運(yùn)動(dòng)模糊時(shí)有漏檢的現(xiàn)象。而且離線(xiàn)模型只能檢測(cè)，不能在序列中關(guān)聯(lián)屬于同一個(gè)目標(biāo)的人臉。但是用我們的算法就可以成功地跟蹤，在線(xiàn)的模型也能夠適應(yīng)目標(biāo)外觀的變化(模糊)。另一個(gè)例子是快速的姿態(tài)變化(在5幀之內(nèi)臉部轉(zhuǎn)動(dòng)了超過(guò)120度)。我們的算法能夠準(zhǔn)確跟蹤目標(biāo)位置。但是作為比較，純粹采用在線(xiàn)知識(shí)的跟蹤算法就產(chǎn)生了"漂移"(drift)現(xiàn)象，實(shí)質(zhì)上就是誤差累積無(wú)法被校正，因?yàn)闆](méi)有先驗(yàn)知識(shí)的約束。這些情況在我們的實(shí)驗(yàn)中很常見(jiàn)，也從一個(gè)側(cè)面說(shuō)明了在線(xiàn)模型和離線(xiàn)模型相結(jié)合的必要性。另一個(gè)問(wèn)題是多目標(biāo)跟蹤。我們并沒(méi)有實(shí)現(xiàn)多目標(biāo)跟蹤器，只是獨(dú)立的對(duì)若干個(gè)目標(biāo)使用了單目標(biāo)跟蹤。我們嘗試多目標(biāo)跟蹤的主要目的是觀察在線(xiàn)模型區(qū)分不同目標(biāo)的能力。在理想的狀況下，離線(xiàn)模型只能區(qū)分人臉和非人臉，但是在線(xiàn)模型應(yīng)該能夠逐漸學(xué)習(xí)到區(qū)分不同目標(biāo)的知識(shí)。從圖6中可以看出，在線(xiàn)觀測(cè)模型對(duì)自己的跟蹤目標(biāo)給出的似然度比對(duì)其他兩個(gè)相鄰的人臉給出的似然度要高；但是總體說(shuō)來(lái)在人臉位置的似然度都比較高，不論是否目標(biāo)人臉。也就是說(shuō)雖然具備了一定的區(qū)分不同目標(biāo)的能力，但是區(qū)分力不是很強(qiáng)。原因可能是首先，在線(xiàn)模型的特征集是離線(xiàn)選取的，選取時(shí)的標(biāo)準(zhǔn)是區(qū)分人臉和非人臉的能力，所以它們區(qū)分不同人臉的能力未必很強(qiáng)；其次，在線(xiàn)模型訓(xùn)練的時(shí)間有限，很難快速把握不同人臉的區(qū)別。上面描述了本發(fā)明的基于瀑布型粒子濾波器的跟蹤方法。本發(fā)明還可以實(shí)現(xiàn)為執(zhí)行上述跟蹤方法的跟蹤裝置，下面對(duì)其進(jìn)行簡(jiǎn)要描述。圖16示出了本發(fā)明的基于瀑布型粒子濾波器的適用于低幀率視頻的跟蹤裝置1600，該跟蹤裝置利用生存期各不相同的3個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)。跟蹤裝置1600包括初始化部1610，其在視頻序列中的第一幀圖像中檢測(cè)一特征部，通過(guò)在檢測(cè)到的特征部周?chē)M(jìn)行高斯隨機(jī)采樣而獲得包括多個(gè)目標(biāo)樣本的初始樣本集；跟蹤檢測(cè)部1620，其對(duì)于輸入的第t幀圖像，跟蹤檢測(cè)目標(biāo)在圖像中的位置和大小，t是表示幀圖像的序號(hào)的自然數(shù)；判定輸出部1630，其判定跟蹤檢測(cè)部的檢測(cè)結(jié)果是否為所跟蹤的目標(biāo)，若是，則輸出目標(biāo)樣本的樣本集的大小和位置的加權(quán)平均，作為目標(biāo)在當(dāng)前幀的大小和位置，若否，則丟棄該候選目標(biāo)；以及存儲(chǔ)部1640，其存儲(chǔ)判定輸出部的判定輸出結(jié)果，以用于對(duì)下一幀圖像的跟蹤'跟蹤檢測(cè)部1620包括第一跟蹤部1621，其利用輸入的第t幀圖像的前1幀圖像對(duì)其中使用的觀測(cè)模型I進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的N,個(gè)樣本進(jìn)行權(quán)重更新，隊(duì)是自然數(shù)；第二跟蹤部1622，其利用輸入的第t幀圖像的前5幀圖像對(duì)其中使用的觀測(cè)模型II進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的基于第一跟蹤部更新后的樣本權(quán)重而重新采樣的N2個(gè)樣本進(jìn)行權(quán)重更新，N2是自然數(shù)；第三跟蹤部1623，其經(jīng)過(guò)離線(xiàn)訓(xùn)練，然后對(duì)第t幀圖像中的基于第二跟蹤部更新后的樣本權(quán)重而重新采樣的N3個(gè)樣本進(jìn)行權(quán)重更新，N3是自然數(shù)。判定輸出部1630判斷第三跟蹤部1623最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的閾值，若最終更新后的樣本權(quán)重超過(guò)閾值，則輸出目標(biāo)樣本的樣本集的大小和位置的加權(quán)平均，作為目標(biāo)在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)。其中所采用的三個(gè)觀測(cè)模型的構(gòu)成及其學(xué)習(xí)訓(xùn)練過(guò)程的細(xì)節(jié)與前面所述的相同，這里不再贅述。上面參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行了詳細(xì)描述。但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，所選擇并描述的實(shí)施例僅是為了最佳地解釋本發(fā)明的原理及其實(shí)際應(yīng)用，而本發(fā)明并不限于上述實(shí)施例。在不脫離由權(quán)利要求及其等同物所限定的發(fā)明范圍的情況下，可以對(duì)本發(fā)明進(jìn)行各種修改和變型。在上面的示例中，本發(fā)明所提供的實(shí)施例是針對(duì)人臉和頭部進(jìn)行的，但本發(fā)明不限于人臉和頭部，而也可以應(yīng)用于其它物體(如人體的其它部位、汽車(chē)、行人等)。具體來(lái)說(shuō)，本發(fā)明可以按以下方式實(shí)現(xiàn)。本發(fā)明的一個(gè)方面可以實(shí)現(xiàn)為一種適用于低幀率視頻的特定被攝體跟蹤方法，其利用生存期各不相同的m個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀34圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)，m為自然數(shù)，該特定被攝體跟蹤方法包括以下步驟(a)在視頻序列中的第一幀圖像中檢測(cè)一特征部，通過(guò)在檢測(cè)到的特征部周?chē)M(jìn)行高斯隨機(jī)采樣而獲得包括多個(gè)特定被攝體樣本的初始樣本集；(b)利用輸入的第t幀圖像的前Dk幀圖像，對(duì)第k個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)或離線(xiàn)訓(xùn)練，t是表示幀圖像的序號(hào)的自然數(shù)，k是表示觀測(cè)模型序號(hào)的自然數(shù)，Dk是表示第k個(gè)觀測(cè)模型的生存期的自然數(shù)；(c)針對(duì)第t幀圖像，順序利用上述在線(xiàn)學(xué)習(xí)或離線(xiàn)訓(xùn)練的m個(gè)觀測(cè)模型，來(lái)更新特定被攝體樣本的樣本權(quán)重；(d)判斷在步驟(c)中由第m個(gè)觀測(cè)模型最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的第一閾值，若最終更新后的樣本權(quán)重超過(guò)第一閾值，則輸出特定被攝體樣本的樣本集的大小和位置的加權(quán)平均，作為特定被攝體在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)；以及(e)對(duì)第t+l幀圖像，重復(fù)上述步驟(b)到(d)。在上述特定被攝體跟蹤方法中，優(yōu)選的是，第k個(gè)觀測(cè)模型的生存期Dk隨著k的增大而增大。在上述特定被攝體跟蹤方法中，優(yōu)選的是，針對(duì)第k個(gè)觀測(cè)模型設(shè)定的樣本數(shù)為Nk個(gè)，Nk是自然數(shù)，其隨著k的增大而減小。在上述特定被攝體跟蹤方法中，優(yōu)選的是，在步驟(b)中，對(duì)前m-l個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，而對(duì)第m個(gè)觀測(cè)模型進(jìn)行離線(xiàn)訓(xùn)練。在上述特定被攝體跟蹤方法中，優(yōu)選的是，利用了3個(gè)觀測(cè)模型，對(duì)前2個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，而對(duì)第3個(gè)觀測(cè)模型進(jìn)行離線(xiàn)訓(xùn)練。在上述特定被攝體跟蹤方法中，對(duì)第1個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括以下步驟(f)從前"幀圖像收集正例樣本和反例樣本；和(g)基于所收集到的正例樣本和反例樣本，來(lái)求出第l觀測(cè)模型中采用的各種參數(shù)。35在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第1觀測(cè)模型是Fisher線(xiàn)性鑒別分類(lèi)器。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第1觀測(cè)模型的生存期Dt是l幀圖像。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第1觀測(cè)模型釆用了離線(xiàn)選取的5個(gè)類(lèi)Haar特征。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述正例樣本選取自跟蹤的特定被攝體的臨近區(qū)域，而所述反例樣本選取自在跟蹤的特定被攝體周?chē)?、大小為該特定被攝體的兩倍的區(qū)域中，與該特定被攝體距離較遠(yuǎn)的圖像。在上述特定被攝體跟蹤方法中，由Sigmoid函數(shù)平滑后的第1觀測(cè)模型的輸出為<formula>formulaseeoriginaldocumentpage36</formula>其中，X是表示跟蹤的特定被攝體的狀態(tài)的變量，^是第1觀測(cè)模型所采用的觀測(cè)量，w為Fisher線(xiàn)性鑒別分類(lèi)器的投影權(quán)向量，f(x)為輸入的5維特征向量，/7為分類(lèi)閾值。在上述特定被攝體跟蹤方法中，對(duì)第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括以下步驟(h)從前D2幀圖像收集正例樣本和反例樣本，利用第1觀測(cè)模型對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本；(i)從保留的反例樣本中，選擇第2觀測(cè)模型針對(duì)所保留的反例樣本的輸出似然度大于第二閾值的反例樣本；(j)基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止；(k)利用DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器；以及(1)從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被采用的弱分類(lèi)器。在上述特定被攝體跟蹤方法中，優(yōu)選的是，所述第2觀測(cè)模型的生存期D2是5幀圖像。在上述特定被攝體跟蹤方法中，所述強(qiáng)分類(lèi)器的輸出為gn(w:f(x)-77)其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，Q表示所挑選的一組弱分類(lèi)器的集合，表示與Q內(nèi)的任何一個(gè)弱分類(lèi)器q對(duì)應(yīng)的權(quán)重，表示弱分類(lèi)器q的LDA投影向量，fg表示針對(duì)弱分類(lèi)器q所采用的特征，;^表示針對(duì)弱分類(lèi)器q的分類(lèi)閾值。在上述特定被攝體跟蹤方法中，由Sigmoid函數(shù)平滑后的第2觀測(cè)模型的輸出為P(Z，IX)QC-^-，八21,l+exp(-柳其中，Z2為第二觀測(cè)模型的觀測(cè)量。在上述特定被攝體跟蹤方法中，優(yōu)選的是，第3觀測(cè)模型是由多個(gè)向量推進(jìn)算法學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。在上述特定被攝體跟蹤方法中，優(yōu)選的是，第3觀測(cè)模型是樹(shù)狀多視角人臉檢測(cè)器。在上述特定被攝體跟蹤方法中，第3觀測(cè)模型的輸出為p(zjx)cc-^-，其中，Z3為第3觀測(cè)模型的觀測(cè)量，h是輸入樣本X通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，A是與該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比，其隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例的概率就越大，c是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。本發(fā)明的另一方面可以實(shí)現(xiàn)為一種適于低幀率視頻的特定被攝體跟蹤裝置，其利用生存期各不相同的3個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)，該特定被攝體跟蹤裝置包括初始化部，其在視頻序列中的第一幀圖像中檢測(cè)一特征部，通過(guò)在檢測(cè)到的特征部周?chē)M(jìn)行高斯隨機(jī)采樣而獲得包括多個(gè)特定被攝體樣本的初始樣本集；跟蹤檢測(cè)部，其對(duì)于輸入的第t幀圖像，跟蹤檢測(cè)特定被攝體在圖像中的位置和大小，t是表示幀圖像的序號(hào)的自然數(shù)；判定輸出部，其判定跟蹤檢測(cè)部的檢測(cè)結(jié)果是否為所跟蹤的特定被攝體，若是，則輸出特定被攝體樣本的樣本集的大小和位置的加權(quán)平均，作為特定被攝體在當(dāng)前幀的大小和位置，若否，則丟棄該候選目標(biāo)；以及存儲(chǔ)部，其存儲(chǔ)判定輸出部的判定輸出結(jié)果，以用于對(duì)下一幀圖像的跟蹤檢測(cè)，其中，所述跟蹤檢測(cè)部包括-第一跟蹤部，其利用輸入的第t幀圖像的前D,幀圖像對(duì)其中使用的第1觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的N,個(gè)樣本進(jìn)行權(quán)重更新，Di是表示第l觀測(cè)模型的生存期的自然數(shù)，N,是自然數(shù)；第二跟蹤部，其利用輸入的第t幀圖像的前D2幀圖像對(duì)其中使用的第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的基于第一跟蹤部更新后的樣本權(quán)重而重新采樣的N2個(gè)樣本進(jìn)行權(quán)重更新，D2是表示第2觀測(cè)模型的生存期的自然數(shù)，N2是自然數(shù)；第三跟蹤部，其經(jīng)過(guò)離線(xiàn)訓(xùn)練，然后對(duì)第t幀圖像中的基于第二跟蹤部更新后的樣本權(quán)重而重新采樣的N3個(gè)樣本進(jìn)行權(quán)重更新，N3是自然數(shù)，所述判定輸出部判斷第三跟蹤部最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的第一閾值，若最終更新后的樣本權(quán)重超過(guò)第一閾值，則輸出特定被攝體樣本的樣本集的大小和位置的加權(quán)平均，作為特定被攝體在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第1觀測(cè)模型的生存期"小于第2觀測(cè)模型的生存期D2。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第1觀測(cè)模型的生存期D:是1幀圖像。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第2觀測(cè)模型的生存期D2是5幀圖像。在上述特定被攝體跟蹤裝置，優(yōu)選的是，針對(duì)第一跟蹤部的樣本數(shù)N》針對(duì)第二跟蹤部的樣本數(shù)N2〉針對(duì)第三跟蹤部的樣本數(shù)N3。在上述特定被攝體跟蹤裝置，對(duì)第1個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括-從前A幀圖像收集正例樣本和反例樣本；和基于所收集到的正例樣本和反例樣本，來(lái)求出第1觀測(cè)模型中采用的各種參數(shù)。在上述特定被攝體跟蹤裝置，優(yōu)選的是，所述第1觀測(cè)模型是Fisher線(xiàn)性鑒別分類(lèi)器。在上述特定被攝體跟蹤裝置，優(yōu)選的是，所述第1觀測(cè)模型采用了離線(xiàn)選取的5個(gè)類(lèi)Haar特征。在上述特定被攝體跟蹤裝置，優(yōu)選的是，所述正例樣本選取自跟蹤的特定被攝體的臨近區(qū)域，而所述反例樣本選取自在跟蹤的特定被攝體周?chē)?、大小為該特定被攝體的兩倍的區(qū)域中，與該特定被攝體距離較遠(yuǎn)的圖像。在上述特定被攝體跟蹤裝置，由Sigmoid函數(shù)平滑后的第1觀測(cè)模型的輸出為-IX)OC-^-，八11l+eXp(-(WTf(X)-7))其中，X是表示跟蹤的特定被攝體的狀態(tài)的變量，Zi是第1觀測(cè)模型所采用的觀測(cè)量，w為Fisher線(xiàn)性鑒別分類(lèi)器的投影權(quán)向量，f(x)為輸入的5維特征向量，；/為分類(lèi)閾值。在上述特定被攝體跟蹤裝置，對(duì)第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括從前D2幀圖像收集正例樣本和反例樣本，利用第一跟蹤部對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本；從保留的反例樣本中，選擇第2觀測(cè)模型針對(duì)所保留的反例樣本的輸出似然度大于第二閾值的反例樣本；基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止；禾擁DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器；以及從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被釆用的弱分類(lèi)器。在上述特定被攝體跟蹤裝置，所述強(qiáng)分類(lèi)器的輸出為<formula>formulaseeoriginaldocumentpage40</formula>其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，Q表示所挑選的一組弱分類(lèi)器的集合，^表示與Q內(nèi)的任何一個(gè)弱分類(lèi)器q對(duì)應(yīng)的權(quán)重，表示弱分類(lèi)器q的LDA投影向量，f,表示針對(duì)弱分類(lèi)器q所采用的特征，^表示針對(duì)弱分類(lèi)器q的分類(lèi)閾值。在上述特定被攝體跟蹤裝置，由Sigmoid函數(shù)平滑后的第2觀測(cè)模型的輸出為-<formula>formulaseeoriginaldocumentpage40</formula>其中，z2為第二觀測(cè)模型的觀測(cè)量。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第3量推進(jìn)算法學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。在上述特定被攝體跟蹤裝置，優(yōu)選的是，第3角人臉檢測(cè)器。在上述特定被攝體跟蹤裝置，第3觀測(cè)模型的輸出為:<formula>formulaseeoriginaldocumentpage40</formula>漠型是由多個(gè)向莫型是樹(shù)狀多視其中，z3為第3觀測(cè)模型的觀測(cè)量，h是輸入樣本X通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，A是與該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比，其隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例的概率就越大，C是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。此外，根據(jù)本發(fā)明的實(shí)施例，本發(fā)明的目的還可以通過(guò)使計(jì)算機(jī)或單片機(jī)等執(zhí)行上述操作的計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)。另外，應(yīng)當(dāng)明白，在各個(gè)實(shí)施例中，可以通過(guò)專(zhuān)門(mén)的電路或線(xiàn)路(例如，互連以執(zhí)行專(zhuān)門(mén)功能的離散邏輯門(mén))、通過(guò)由一個(gè)或更多個(gè)處理器執(zhí)行的程序指令，或者通過(guò)兩者的組合來(lái)執(zhí)行所述各個(gè)動(dòng)作。因此，可以通過(guò)多種不同的形式來(lái)實(shí)施上述多個(gè)方面，并且所有這些形式都被認(rèn)為處于所描述內(nèi)容的范圍內(nèi)。對(duì)于上述多個(gè)方面中的每一個(gè)，任何這種形式的實(shí)施例在此都可以指"被構(gòu)造用來(lái)執(zhí)行所述動(dòng)作的邏輯"，或者另選地，是指"執(zhí)行或者能夠執(zhí)行所述動(dòng)作的邏輯"。進(jìn)一步，根據(jù)本發(fā)明的實(shí)施例，本發(fā)明的目的還可以由計(jì)算機(jī)可讀介質(zhì)來(lái)實(shí)現(xiàn)，所述介質(zhì)存儲(chǔ)上述的程序。計(jì)算機(jī)可讀介質(zhì)可以是能夠包含、存儲(chǔ)、傳達(dá)、傳播或傳送程序，以由執(zhí)行系統(tǒng)、設(shè)備或裝置使用的或與指令執(zhí)行系統(tǒng)、設(shè)備或裝置相結(jié)合的任何裝置。該計(jì)算機(jī)可讀介質(zhì)例如可以是，但不限于，電子、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、設(shè)備、裝置或傳播介質(zhì)。該計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡列舉)可以包括具有一根或更多根導(dǎo)線(xiàn)的電連接、便攜式計(jì)算機(jī)磁盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPROM或閃存)、光纖，以及便攜式光盤(pán)只讀存儲(chǔ)器(CDROM)。本發(fā)明以統(tǒng)計(jì)學(xué)習(xí)作為基礎(chǔ)，構(gòu)造不同的分類(lèi)器作為觀測(cè)模型，并把在線(xiàn)的分類(lèi)器和離線(xiàn)的分類(lèi)器結(jié)合起來(lái)使用，從而增加了算法的穩(wěn)定性。在同一個(gè)圖像空間中使用多個(gè)互補(bǔ)的觀測(cè)模型，一方面可以增強(qiáng)觀測(cè)模型的區(qū)分能力，另一方面也可以避免下采樣圖像造成的誤差。因而，根據(jù)本發(fā)明的跟蹤方法和跟蹤裝置，對(duì)于低幀率視頻中的跟蹤目標(biāo)或者快速運(yùn)動(dòng)的物體，通過(guò)捕捉并利用視頻中的時(shí)序信息來(lái)縮小搜索范圍，進(jìn)而通過(guò)檢測(cè)算法來(lái)對(duì)目標(biāo)進(jìn)行精確的識(shí)別，從而可以實(shí)現(xiàn)快速而準(zhǔn)確的跟蹤。通過(guò)引用將前面提到的文獻(xiàn)并入于此，如同在此對(duì)它們進(jìn)行了全面描述一樣。[1]M,IsardandA.Blake.Condensation-conditionaldensitypropagationforvisualtracking.IntemationalJournalofComputerVision,4128(1):5-28，1998.[2]D.Comaniciu，V.Ramesh,andP.Meer.Real-timetrackingofnon-rigidobjectsusingmeanshift.InIEEEConferenceonComputerVisionandPatternRecognition,2000.[3]C.TomasiandT.Kanade.Detectionandtrackingofpointfeatures.TechnicalReportCMU-CS-91-132,CarnegieMellonUniversity,1991.[4]K.Okuma，A.Taleghani,D.Freitas，J.J.Little,andD.G.Lowe.Aboostedparticlefilter:Multitargetdetectionandtracking.InEuropeanConferenceonComputerVision,2004.[5]C.Liu，H.-Y.Shum，andC.Zhang.Hierarchicalshapemodelingforautomaticfaceocalization.InEuropeanConferenceonComputerVision,2002.[6]RPorikliandO.Tuzel.Objecttrackinginlow-fmme-ratevideo.SPIEImageandVideoCommunicationsandProcessing,5685:72—79,2005.[7]M.Han，A.Sethi,W.Hua，andY.Gong.Adetection-basedmultipleobjecttrackingmethod.InIEEEInternationalConferenceonImageProcessing,2004.[8]R.Kaucic,A.G.A.Perera,G.Brooksby，J.Kaufhold,andA.Hoogs.Aunifiedframeworkfortrackingthroughocclusionsandacrosssensorgaps.InIEEEConferenceonComputerVisionandPatternRecognition,2005.[9]G.HuaandY.Wu.Multi-scalevisualtrackingbysequentialbeliefpropagation.InIEEEConferenceonComputerVisionandPatternRecognition,2004.[10]S.Birchfield.Sourcecodeofthekitfeaturetracker.http:〃www.ces,clemson.edu/stb/klt/,2006.[11]J.Sullivan,A.Blake,M.Isard,andJ.MacCormick.Objectlocalizationbybayesiancorrelation.InInternationalConferenceonComputerVision,1999.[12]S.Avidan.Ensambletracking.IEEETransactionsonPatternAnalysisandMachineIntelligence,29(2):261—271，2007.[13]P.ViolaandM.Jones.Robustreal-timeobjectdetection.InIEEEWorkshoponStatisticalandTheoriesofComputerVision,2001.[14]J.Wang,X.Chen，andW.Gao.Onlineselectingdiscriminativetrackingfeaturesusingparticlefilter.InIEEEConferenceonComputerVisionandPatternRecognition,2005.[15]B.Wu，H.Ai，C.Huang,andS.Lao.Fastrotationinvariantmulti-viewfacedetectionbasedonrealadaboost.InIEEEInternationalConferenceonAutomaticFaceandGestureRecognition,2004.[16]Y.FreundandR.E.Schapire.Experimentswithanewboostingalgorithm.InInternationalConferenceonMachineLearning,1996.[17]YuanLi，HaizhouAi,ChangHuang,ShihongLao.RobustHeadTrackingBasedonaMulti-StateParticleFilter,IEEEInternationalConferenceonAutomaticFaceandGestureRecognition(FGR06),Southampton,UK,2006.[18]RichardO.Duda,PeterE.Hart，DavidG.Stork.PatternClassification,SecondEdition.JohnWiley&Sons,2001(ISBN:0-471-05669-3).[19]J.S.Liu.MonteCarloStrategiesinScientificComputing.Springer,NewYork,1994(ISBN:0-387-95230-6).[20]C.Huang,H.Ai，Y.Li，andS.Lao.Vectorboostingforrotationinvariantmulti-viewfacedetection.InInternationalConferenceonComputerVision,2005.[21]C.Yang,R.Duraiswami,andL.Davis.Fastmultipleobjecttrackingviaahierarchicalparticlefilter.InInternationalConferenceonComputerVision,2005.[22]Intelopencvlibrary,http:〃www.sourceforge,net/projects/opencvlibrary.4權(quán)利要求1、一種特定被攝體跟蹤方法，其利用m個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)，該特定被攝體跟蹤方法包括以下步驟(a)從視頻序列中的幀圖像中檢測(cè)一特征部；(b)利用從輸入的第t-1幀圖像起的前Dk幀圖像中的至少一幀圖像，對(duì)第k個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)或離線(xiàn)訓(xùn)練，t是表示幀圖像的序號(hào)的自然數(shù)，k是表示觀測(cè)模型序號(hào)的自然數(shù)，Dk是表示第k個(gè)觀測(cè)模型的生存期的自然數(shù)；(c)針對(duì)第t幀圖像，順序利用上述在線(xiàn)學(xué)習(xí)或離線(xiàn)訓(xùn)練的m個(gè)觀測(cè)模型，來(lái)更新特定被攝體樣本的樣本權(quán)重；(d)判斷在步驟(c)中由第m個(gè)觀測(cè)模型最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的第一閾值，若最終更新后的樣本權(quán)重超過(guò)第一閾值，則輸出基于特定被攝體樣本的樣本集的大小和位置而算出的特定被攝體在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)；以及(e)對(duì)第t+1幀圖像，重復(fù)上述步驟(b)到(d)。2、根據(jù)權(quán)利要求1所述的特定被攝體跟蹤方法，其中，第k個(gè)觀測(cè)模型的生存期Dk隨著k的增大而增大。3、根據(jù)權(quán)利要求2所述的特定被攝體跟蹤方法，其中，針對(duì)第k個(gè)觀測(cè)模型設(shè)定的樣本數(shù)為Nk個(gè)，Nk是自然數(shù)，其隨著k的增大而減小。4、根據(jù)權(quán)利要求3所述的特定被攝體跟蹤方法，其中，在步驟(b)中，對(duì)前m-1個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，而對(duì)第m個(gè)觀測(cè)模型進(jìn)行離線(xiàn)訓(xùn)練。5、根據(jù)權(quán)利要求4所述的特定被攝體跟蹤方法，其中，利用了3個(gè)觀測(cè)模型，對(duì)前2個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，而對(duì)第3個(gè)觀測(cè)模型進(jìn)行離線(xiàn)訓(xùn)練。6、根據(jù)權(quán)利要求5所述的特定被攝體跟蹤方法，其中，對(duì)第l個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括以下步驟(f)從前"幀圖像收集正例樣本和反例樣本；和(g)基于所收集到的正例樣本和反例樣本，來(lái)求出第1觀測(cè)模型中采用的各種參數(shù)。7、根據(jù)權(quán)利要求6所述的特定被攝體跟蹤方法，其中，所述第l觀測(cè)模型是Fisher線(xiàn)性鑒別分類(lèi)器。8、根據(jù)權(quán)利要求7所述的特定被攝體跟蹤方法，其中，所述第l觀測(cè)模型的生存期Di是l幀圖像。9、根據(jù)權(quán)利要求8所述的特定被攝體跟蹤方法，其中，所述第l觀測(cè)模型采用了離線(xiàn)選取的5個(gè)類(lèi)Haar特征。10、根據(jù)權(quán)利要求9所述的特定被攝體跟蹤方法，其中，所述正例樣本選取自跟蹤的特定被攝體的臨近區(qū)域，而所述反例樣本選取自在跟蹤的特定被攝體周?chē)?、大小為該特定被攝體的兩倍的區(qū)域中，與該特定被攝體距離較遠(yuǎn)的圖像。11、根據(jù)權(quán)利要求10所述的特定被攝體跟蹤方法，其中，由Sigmoid函數(shù)平滑后的第1觀測(cè)模型的輸出為其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，21是第1觀測(cè)模型所采用的觀測(cè)量，w為Fisher線(xiàn)性鑒別分類(lèi)器的投影權(quán)向量，f(x)為輸入的5維特征向量，7為分類(lèi)閾值。12、根據(jù)權(quán)利要求5所述的特定被攝體跟蹤方法，其中，對(duì)第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括以下步驟-(h)從前D2幀圖像收集正例樣本和反例樣本，利用第l觀測(cè)模型對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本；(i)從保留的反例樣本中，選擇第2觀測(cè)模型針對(duì)所保留的反例樣本的輸出似然度大于第二閾值的反例樣本；(j)基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止；(k)利用DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器；以及(1)從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被采用的弱分類(lèi)器。13、根據(jù)權(quán)利要求12所述的特定被攝體跟蹤方法，其中，所述第2觀測(cè)模型的生存期"是5幀圖像。14、根據(jù)權(quán)利要求3所述的特定被攝體跟蹤方法，其中，所述強(qiáng)分類(lèi)器的輸出為<formula>formulaseeoriginaldocumentpage4</formula>其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，Q表示所挑選的一組弱分類(lèi)器的集合，c^表示與Q內(nèi)的任何一個(gè)弱分類(lèi)器q對(duì)應(yīng)的權(quán)重，表示弱分類(lèi)器q的LDA投影向量，表示針對(duì)弱分類(lèi)器q所采用的特征，^表示針對(duì)弱分類(lèi)器q的分類(lèi)閾值。15、根據(jù)權(quán)利要求14所述的特定被攝體跟蹤方法，其中，由Sigmoid函數(shù)平滑后的第2觀測(cè)模型的輸出為<formula>formulaseeoriginaldocumentpage4</formula>其中，Z2為第二觀測(cè)模型的觀測(cè)量。16、根據(jù)權(quán)利要求5所述的特定被攝體跟蹤方法，其中，第3觀測(cè)模型是由多個(gè)向量推進(jìn)算法學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。17、根據(jù)權(quán)利要求16所述的特定被攝體跟蹤方法，其中，第3觀測(cè)模型是樹(shù)狀多視角人臉檢測(cè)器。18、根據(jù)權(quán)利要求17所述的特定被攝體跟蹤方法，其中，第3觀測(cè)模型的輸出為<formula>formulaseeoriginaldocumentpage4</formula>其中，Z3為第3觀測(cè)模型的觀測(cè)量，h是輸入樣本x通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，A是與該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比，其隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例的概率就越大，C是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。19、根據(jù)權(quán)利要求1所述的特定被攝體跟蹤方法，其中，所述特定被攝體在當(dāng)前幀的大小和位置是特定被攝體樣本的樣本集的大小和位置的加權(quán)平均。20、一種特定被攝體跟蹤裝置，其利用3個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)，該特定被攝體跟蹤裝置包括初始化部，其從視頻序列中的幀圖像中檢測(cè)一特征部；跟蹤檢測(cè)部，其對(duì)于輸入的第t幀圖像，跟蹤檢測(cè)特定被攝體在圖像中的位置和大小，t是表示幀圖像的序號(hào)的自然數(shù)；判定輸出部，其判定跟蹤檢測(cè)部的檢測(cè)結(jié)果是否為所跟蹤的特定被攝體，若是，則輸出基于特定被攝體樣本的樣本集的大小和位置而算出的特定被攝體在當(dāng)前幀的大小和位置，若否，則丟棄該候選目標(biāo)；以及存儲(chǔ)部，其存儲(chǔ)判定輸出部的判定輸出結(jié)果，以用于對(duì)下一幀圖像的跟蹤檢測(cè)，其中，所述跟蹤檢測(cè)部包括第一跟蹤部，其利用從輸入的第t-1幀圖像起的前Di幀圖像中的至少一幀圖像對(duì)其中使用的第1觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的^個(gè)樣本進(jìn)行權(quán)重更新，"是表示第1觀測(cè)模型的生存期的自然數(shù)，仏是自然數(shù)；第二跟蹤部，其利用從輸入的第t-1幀圖像起的前D2幀圖像中的至少一幀圖像對(duì)其中使用的第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)，然后對(duì)第t幀圖像中的基于第一跟蹤部更新后的樣本權(quán)重而重新采樣的N2個(gè)樣本進(jìn)行權(quán)重更新，D2是表示第2觀測(cè)模型的生存期的自然數(shù)，N2是自然數(shù)；第三跟蹤部，其經(jīng)過(guò)離線(xiàn)訓(xùn)練，然后對(duì)第t幀圖像中的基于第二跟蹤部更新后的樣本權(quán)重而重新采樣的N3個(gè)樣本進(jìn)行權(quán)重更新，&是自然數(shù)，所述判定輸出部判斷第三跟蹤部最終更新后的樣本權(quán)重是否超過(guò)預(yù)定的第一閾值，若最終更新后的樣本權(quán)重超過(guò)第一閾值，則輸出基于特定被攝體樣本的樣本集的大小和位置而算出的特定被攝體在當(dāng)前幀的大小和位置，若更新后的樣本權(quán)重未超過(guò)第一閾值，則丟棄該候選目標(biāo)。21、根據(jù)權(quán)利要求20所述的特定被攝體跟蹤裝置，其中，第l觀測(cè)模型的生存期D,小于第2觀測(cè)模型的生存期D2。22、根據(jù)權(quán)利要求21所述的特定被攝體跟蹤裝置，其中，第l觀測(cè)模型的生存期"是1幀圖像。23、根據(jù)權(quán)利要求22所述的特定被攝體跟蹤裝置，其中，第2觀測(cè)模型的生存期D2是5幀圖像。24、根據(jù)權(quán)利要求23所述的特定被攝體跟蹤裝置，其中，針對(duì)第一跟蹤部的樣本數(shù)N々針對(duì)第二跟蹤部的樣本數(shù)N2〉針對(duì)第三跟蹤部的樣本數(shù)Ns。25、根據(jù)權(quán)利要求24所述的特定被攝體跟蹤裝置，其中，對(duì)第l個(gè)觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括從前D,幀圖像收集正例樣本和反例樣本；和基于所收集到的正例樣本和反例樣本，來(lái)求出第1觀測(cè)模型中采用的各種參數(shù)。26、根據(jù)權(quán)利要求25所述的特定被攝體跟蹤裝置，其中，所述第l觀測(cè)模型是Fisher線(xiàn)性鑒別分類(lèi)器。27、根據(jù)權(quán)利要求26所述的特定被攝體跟蹤裝置，其中，所述第l觀測(cè)模型采用了離線(xiàn)選取的5個(gè)類(lèi)Haar特征。28、根據(jù)權(quán)利要求27所述的特定被攝體跟蹤裝置，其中，所述正例樣本選取自跟蹤的特定被攝體的臨近區(qū)域，而所述反例樣本選取自在跟蹤的特定被攝體周?chē)?、大小為該特定被攝體的兩倍的區(qū)域中，與該特定被攝體距離較遠(yuǎn)的圖像。29、根據(jù)權(quán)利要求28所述的特定被攝體跟蹤裝置，其中，由Sigmoid函數(shù)平滑后的第1觀測(cè)模型的輸出為值。30、根據(jù)權(quán)利要求20所述的特定被攝體跟蹤裝置，其中，對(duì)第2觀測(cè)模型進(jìn)行在線(xiàn)學(xué)習(xí)包括.-從前D2幀圖像收集正例樣本和反例樣本，利用第一跟蹤部對(duì)所收集的樣本進(jìn)行過(guò)濾，將保留下來(lái)的樣本作為訓(xùn)練樣本；從保留的反例樣本中，選擇第2觀測(cè)模型針對(duì)所保留的反例樣本的輸出似然度大于第二閾值的反例樣本；基于所選擇的反例樣本，以及所有保留的正例樣本，構(gòu)造新的Fisher線(xiàn)性鑒別分類(lèi)器，并將所構(gòu)造的新的Fisher線(xiàn)性鑒別分類(lèi)器添加到原先的弱分類(lèi)器集合中，直到弱分類(lèi)器的數(shù)量超過(guò)最大設(shè)定值，或者絕大多數(shù)反例樣本能夠被排斥為止；利用DiscreteAdaBoost算法從弱分類(lèi)器集合中挑選弱分類(lèi)器以構(gòu)成強(qiáng)分類(lèi)器；以及從弱分類(lèi)器集合中刪除在預(yù)定數(shù)幀內(nèi)未被采用的弱分類(lèi)器。31、根據(jù)權(quán)利要求30所述的特定被攝體跟蹤裝置，其中，所述強(qiáng)分類(lèi)器的輸出為其中，x是表示跟蹤的特定被攝體的狀態(tài)的變量，Q表示所挑選的一組弱分類(lèi)器的集合，表示與Q內(nèi)的任何一個(gè)弱分類(lèi)器q對(duì)應(yīng)的權(quán)重，w,表示弱分類(lèi)器q的LDA投影向量，f《表示針對(duì)弱分類(lèi)器Q所采用的特征，^表示針對(duì)弱分類(lèi)器q的分類(lèi)閾值。32、根據(jù)權(quán)利要求31所述的特定被攝體跟蹤裝置，其中，由Sigmoid函數(shù)平滑后的第2觀測(cè)模型的輸出為其中，Z2為第二觀測(cè)模型的觀測(cè)量。33、根據(jù)權(quán)利要求20所述的特定被攝體跟蹤裝置，其中，第3觀測(cè)模型是由多個(gè)向量推進(jìn)算法學(xué)習(xí)得到的強(qiáng)分類(lèi)器構(gòu)成的。頁(yè)34、根據(jù)權(quán)利要求33所述的特定被攝體跟蹤裝置，其中，第3觀測(cè)模型是樹(shù)狀多視角人臉檢測(cè)器。35、根據(jù)權(quán)利要求34所述的特定被攝體跟蹤裝置，其中，第3觀測(cè)模型的輸出為-其中，Z3為第3觀測(cè)模型的觀測(cè)量，h是輸入樣本x通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器的層數(shù)，&是與該強(qiáng)分類(lèi)器對(duì)應(yīng)的反例樣本相對(duì)于正例樣本的先驗(yàn)概率之比，其隨h增大而減小，表明x通過(guò)的分類(lèi)器的層數(shù)越多，它屬于正例的概率就越大，c是通過(guò)的最后一個(gè)強(qiáng)分類(lèi)器輸出的置信度。36、根據(jù)權(quán)利要求20所述的特定被攝體跟蹤裝置，其中，所述特定被攝體在當(dāng)前幀的大小和位置是特定被攝體樣本的樣本集的大小和位置的加權(quán)平均。全文摘要本發(fā)明涉及融合不同生存期的多個(gè)觀測(cè)模型的跟蹤方法和跟蹤裝置。所述跟蹤方法適用于低幀率視頻以及快速運(yùn)動(dòng)物體的跟蹤，其利用生存期各不相同的3個(gè)觀測(cè)模型，來(lái)對(duì)視頻序列的幀圖像中的特定被攝體進(jìn)行跟蹤檢測(cè)。第1觀測(cè)模型利用當(dāng)前圖像的前1幀圖像進(jìn)行在線(xiàn)學(xué)習(xí)，第2觀測(cè)模型利用前5幀圖像進(jìn)行在線(xiàn)學(xué)習(xí)，而第3觀測(cè)模型則是離線(xiàn)訓(xùn)練的。采用瀑布型粒子濾波器將所述3個(gè)觀測(cè)模型融合起來(lái)，從而可以對(duì)低幀率視頻中的特定被攝體或快速運(yùn)動(dòng)的物體進(jìn)行快速且準(zhǔn)確的跟蹤。文檔編號(hào)G06T7/20GK101325691SQ200710109159公開(kāi)日2008年12月17日申請(qǐng)日期2007年6月14日優(yōu)先權(quán)日2007年6月14日發(fā)明者勞世紅,山下隆義,源李,艾海舟申請(qǐng)人:清華大學(xué);歐姆龍株式會(huì)社