專利名稱：基于屬性關(guān)系圖外觀模型的多人體跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是固定監(jiān)控場(chǎng)景中多人體跟蹤方法，具體是一種基于屬性關(guān) 系圖外觀模型的多人體跟蹤方法。
背景技術(shù)：
在銀行、酒店、地鐵等安全要求較高的公共場(chǎng)所，需要及時(shí)發(fā)現(xiàn)具有異常行 為的可疑人。目前這些場(chǎng)所中大多采用攝像機(jī)固定的方式監(jiān)控場(chǎng)景，因此計(jì)算 機(jī)視覺監(jiān)控需要在固定場(chǎng)景下實(shí)現(xiàn)對(duì)多個(gè)人體復(fù)雜運(yùn)動(dòng)情況的準(zhǔn)確跟蹤，這也 是后續(xù)行為理解、異常行跡分析等高層視覺處理的基礎(chǔ)。由于跟蹤過程即是識(shí) 別監(jiān)控視頻連續(xù)幀中的不同人體，而人體外觀特征是大多數(shù)情況下區(qū)別不同人 體的重要依據(jù)，因此基于人體外觀模型的跟蹤方法受到廣泛關(guān)注。目前，基于 外觀模型跟蹤人體的方法主要有三種l)顏色直方圖方法在人體外觀特征中， 顏色是一個(gè)重要線索，傳統(tǒng)的建立外觀模型的方法是采用顏色直方圖。但是， 由于顏色直方圖僅得到顏色統(tǒng)計(jì)值而丟失了空間信息，容易引起錯(cuò)誤，如一身 著紅色上衣、綠色褲子的人和一身著綠色上衣、紅色褲子的人，對(duì)他們的外觀 建立的顏色直方圖是幾乎完全一致的，無法僅根據(jù)其顏色直方圖區(qū)別出兩人。2) 顏色直方圖與空間信息結(jié)合的方法在計(jì)算顏色直方圖時(shí)加入空間信息，如提 出將人體形狀分割為三個(gè)部分，對(duì)各部分用顏色直方圖描述其顏色特征，并用 Condensation (聚縮)算法實(shí)現(xiàn)人體跟蹤，但是，這種方法缺乏對(duì)人體各部分間 結(jié)構(gòu)關(guān)系的描述，跟蹤準(zhǔn)確性、可靠性低；3)顏色相關(guān)圖方法顏色相關(guān)圖用 共生矩陣計(jì)算兩像素之間相隔某距離的概率。顏色相關(guān)圖雖然能夠反映不同顏 色對(duì)之間的空間相關(guān)性，但是由于需要采用三維數(shù)組表征不同顏色對(duì)及其距離， 使得此方法計(jì)算復(fù)雜度很高，無法用于實(shí)時(shí)監(jiān)控跟蹤，并且文獻(xiàn)中缺乏對(duì)目標(biāo) 運(yùn)動(dòng)情況的分析，影響跟蹤準(zhǔn)確性。因此，基于外觀模型跟蹤人體的方法存在的主要問題有怎樣建立更準(zhǔn)確的 外觀模型描述人體、如何提高多人體跟蹤的準(zhǔn)確性。

發(fā)明內(nèi)容
發(fā)明所要解決的技術(shù)問題是提出一種基于屬性關(guān)系圖外觀模型的多人體跟 蹤方法，將人體外觀顏色、空間結(jié)構(gòu)等特征結(jié)合，建立更準(zhǔn)確有效的人體外觀 模型，在監(jiān)控場(chǎng)景固定的情況下，提高多人體跟蹤的準(zhǔn)確性、有效性。
為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為
一種基于屬性關(guān)系圖外觀模型的多人體跟蹤方法，其特征在于，包括以下步
驟
1) 連續(xù)獲取包含有被跟蹤人體的固定場(chǎng)景的圖像，對(duì)當(dāng)前幀圖像的人體檢 測(cè)區(qū)域建立屬性關(guān)系圖外觀模型將檢測(cè)的人體區(qū)域分為頭部、上身和下肢三 個(gè)身體部分；屬性關(guān)系圖外觀模型的每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)所述的身體部分，節(jié) 點(diǎn)屬性表征身體部分的特征，由以下三個(gè)量表示對(duì)應(yīng)身體部分的標(biāo)記、顏色 直方圖、外接矩形框中心點(diǎn)坐標(biāo)；屬性關(guān)系圖外觀模型的邊由連接人體任兩個(gè) 身體部分的中心點(diǎn)的直線段表示，邊屬性采用直線段的長(zhǎng)度和角度表示；
2) 計(jì)算當(dāng)前幀檢測(cè)人體的屬性關(guān)系圖外觀模型與上一幀跟蹤人體的屬性關(guān) 系圖外觀模型的相似度；
3) 根據(jù)計(jì)算所得的相似度跟蹤當(dāng)前幀人體。
所述的節(jié)點(diǎn)屬性定義為<formula>formula see original document page 6</formula>其中，^表示第i個(gè)被跟蹤對(duì)
象的身體部分的標(biāo)記頭、上身、下肢分別標(biāo)記為"head"、 "up"和"low"; a
表示第i個(gè)被跟蹤人體的身體部分外接矩形框的中心點(diǎn)坐標(biāo)；為第i個(gè)被跟
蹤人體的身體部分的顏色特征，WW,用歸一化的HSV空間一維顏色直方圖表
示為<formula>formula see original document page 6</formula>;其中，H、 S、 V表示像素點(diǎn)在HSV空間中三分量 H、 S、 V的取值；
邊屬性定義為<formula>formula see original document page 6</formula>其中。為長(zhǎng)度屬性，表示兩個(gè) 節(jié)點(diǎn)《和《間的直線段長(zhǎng)度，采用節(jié)點(diǎn)屬性中的中心點(diǎn)間的歐式距離表示。Ha-AI， a、巧分別表示節(jié)點(diǎn)《和《的屬性中的中心點(diǎn)坐標(biāo)；^為角度 屬性，表示這兩個(gè)節(jié)點(diǎn)《和《間的直線段角度，r^arcsin^^，其中乂、力。
是節(jié)點(diǎn)《、《的屬性中的中心點(diǎn)y方向坐標(biāo)， 的取值范圍為
;
所述的相似度定義如下
6) = 2 M (, )， 》Z義A (K《，& )，械，&》)
其中，4、 ^是權(quán)重系數(shù)，并且約束條件為^ + ^=1,使得相似度Z"在 區(qū)間
之內(nèi)，《(A(《),A(《)表示G和6中對(duì)應(yīng)同類身體部分的節(jié)點(diǎn)間的相似 度，《(KS，《)J(《，A)是G和6中連接兩個(gè)同類身體部分的邊的相似度，G和
6分別為當(dāng)前幀檢測(cè)人體的屬性關(guān)系圖外觀模型與上一幀跟蹤人體的屬性關(guān)系 圖外觀模型；
所述的根據(jù)相似度跟蹤當(dāng)前幀人體的步驟為建立匹配矩陣，列出各檢測(cè) 區(qū)域與上一幀跟蹤人體的相似度設(shè)匹配矩陣的行號(hào)代表當(dāng)前幀人體檢測(cè)區(qū)域,
列號(hào)代表上一幀跟蹤人體，將屬性關(guān)系圖外觀模型的匹配度r,作為矩陣元素值
記錄，n表示當(dāng)前幀檢測(cè)人體的序號(hào)，m表示前一幀跟蹤人體的標(biāo)記，然后根據(jù)
匹配閾值r。確定是否匹配，匹配結(jié)果為
通過匹配矩陣的情況，確定當(dāng)前幀中多人體的跟蹤狀態(tài)、獲取人體運(yùn)動(dòng)軌 跡，并更新其外觀模型；匹配情況歸納為四種
1) 新人體出現(xiàn)第n行中r^均為0:且持續(xù)連續(xù)三幀，則認(rèn)為是"新人
體"出現(xiàn)，檢測(cè)人體n為新出現(xiàn)人體，分配新標(biāo)記，建立其屬性關(guān)系圖外觀模 型，開始跟蹤該人體；
2) 正常跟蹤第n行有且僅有一個(gè)f^-l的元素則檢測(cè)人體n與跟蹤人
體m匹配，認(rèn)為是"正常跟蹤"，為檢測(cè)人體n分配標(biāo)記m,記錄其外接矩形框 中心點(diǎn)位置，并將檢測(cè)人體n的外觀模型作為跟蹤人體m更新的屬性關(guān)系圖外觀模型；
3) 遮擋跟蹤第n行出現(xiàn)多個(gè)元素r,-l:則認(rèn)為是"遮擋跟蹤"，檢測(cè)
人體n是由多個(gè)遮擋人體組成，被遮擋的人體為, = 1的元素所在列對(duì)應(yīng)的跟 蹤人體；
4) 人體消失第m列元素"m均為0:且該情況在連續(xù)三幀出現(xiàn)，則認(rèn)為
是"人體消失"，即跟蹤人體m消失，從跟蹤序列中刪除該人體。
作為改進(jìn)，在遮擋情況下，采用卡爾曼濾波器預(yù)測(cè)遮擋人體的位置，從而
確定各遮擋人體的屬性關(guān)系圖外觀模型，完成遮擋情況下的跟蹤。
本發(fā)明首先對(duì)當(dāng)前幀檢測(cè)出的人體連通區(qū)域建立屬性關(guān)系圖描述人體外觀
特征，再計(jì)算與上一幀跟蹤人體的屬性關(guān)系圖外觀模型的相似度，通過相似度
判定幀間人體匹配情況，根據(jù)不同匹配情況跟蹤人體，從而實(shí)現(xiàn)連續(xù)幀中的多
人體跟蹤。具體內(nèi)容如下
(1) 對(duì)檢測(cè)到的人體建立屬性關(guān)系圖外觀模型 本發(fā)明提出利用屬性關(guān)系圖建立人體外觀模型。首先將檢測(cè)到的人體區(qū)域
按身體比例劃分為頭部、上身、下肢三個(gè)部分，屬性關(guān)系圖外觀模型的節(jié)點(diǎn)表 示身體部分，節(jié)點(diǎn)屬性定義為身體部分的標(biāo)記、顏色直方圖、外接矩形框中心 點(diǎn)坐標(biāo)，屬性關(guān)系圖外觀模型的邊表示為連接人體任兩個(gè)身體部分的直線段， 邊屬性采用直線段的長(zhǎng)度、角度定義。
(2) 計(jì)算人體屬性關(guān)系圖外觀模型的相似度
為了度量幀間多人體外觀模型的相似度，需要計(jì)算屬性關(guān)系圖外觀模型相 似度。由于屬性關(guān)系圖相似度包括節(jié)點(diǎn)屬性相似度、邊屬性相似度，本發(fā)明根 據(jù)節(jié)點(diǎn)屬性、邊屬性的定義，分別分析、計(jì)算節(jié)點(diǎn)屬性、邊屬性中各屬性特征 的相似度，從而推導(dǎo)得出人體屬性關(guān)系圖外觀模型相似度。
(3) 根據(jù)不同匹配情況跟蹤多人體 依據(jù)幀間人體屬性關(guān)系圖外觀模型的相似度，建立匹配矩陣，分析得出幀
間人體的匹配情況包含四種新人體出現(xiàn)、人體消失、正常跟蹤、遮擋跟蹤。
分別根據(jù)不同的匹配情況跟蹤人體，如是"遮擋跟蹤"情況，由于無法檢測(cè)遮
擋人體的位置，采用Kalmaii濾波器預(yù)測(cè)遮擋人體在當(dāng)前幀的位置，從而建立遮擋人體的屬性關(guān)系圖外觀模型，實(shí)現(xiàn)遮擋情況下的多人體跟蹤。 有益效果
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)越性體現(xiàn)在
1、 提出用屬性關(guān)系圖建立人體外觀模型，不僅能表征人體各身體部分的顏 色及空間特征，而且描述了各身體部分間的結(jié)構(gòu)關(guān)系，能更準(zhǔn)確地描述人體外 觀特征，從而大大提高了后續(xù)多人體跟蹤的準(zhǔn)確性；
2、 根據(jù)人體屬性關(guān)系圖外觀模型的定義，通過分析屬性關(guān)系圖外觀模型的 節(jié)點(diǎn)屬性、邊屬性中各屬性特征的相似度，推導(dǎo)計(jì)算出屬性關(guān)系圖外觀模型的 相似度，使得相似度計(jì)算更為簡(jiǎn)便、有效；
3、 根據(jù)推導(dǎo)計(jì)算的屬性關(guān)系圖外觀模型相似度，建立匹配矩陣分析了連續(xù) 幀間多人體的四種匹配情況，并據(jù)此實(shí)現(xiàn)不同情況下的多人體跟蹤，獲取運(yùn)動(dòng) 軌跡，從而能更有效地實(shí)現(xiàn)復(fù)雜情況下多人體的跟蹤，并且匹配算法復(fù)雜度低, 提高了跟蹤系統(tǒng)的實(shí)時(shí)性。


圖1本發(fā)明方法總體流程圖
圖2構(gòu)建人體屬性關(guān)系圖外觀模型。a)外接矩形框標(biāo)識(shí)人體檢測(cè)區(qū)域；b) 每個(gè)檢測(cè)人體分為三個(gè)身體部分，并據(jù)此建立人體屬性關(guān)系圖外觀模型。
圖3構(gòu)建遮擋人體屬性關(guān)系圖外觀模型。a)各遮擋人體的預(yù)測(cè)區(qū)域；b)遮
擋人體屬性關(guān)系圖外觀模型。
圖4室內(nèi)監(jiān)控視頻序列的跟蹤結(jié)果。a) ~f)分別為第71幀、106幀、138 幀、176幀、206幀及241幀跟蹤結(jié)果。 圖5跟蹤誤差圖。
具體實(shí)施例方式
下面結(jié)合具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。 實(shí)施例l:本實(shí)施例的總流程圖如圖1。1、對(duì)檢測(cè)到的人體建立屬性關(guān)系圖外觀模型
在采用背景減除方法檢測(cè)出目標(biāo)前景連通區(qū)域后，用外接矩形框標(biāo)注檢測(cè) 區(qū)域(如圖2a))。接下來需要對(duì)檢測(cè)區(qū)域選取特征并建立人體外觀模型，將此 模型作為跟蹤依據(jù)在連續(xù)視頻幀中跟蹤人體。因此，檢測(cè)區(qū)域的特征選取及建 立的模型準(zhǔn)確與否，直接影響跟蹤結(jié)果。本發(fā)明將人體外觀的顏色、空間結(jié)構(gòu) 特征相結(jié)合，提出用屬性關(guān)系圖建立人體外觀模型。
由于只對(duì)人體進(jìn)行跟蹤，則前景連通區(qū)域的外接矩形框表示人體檢測(cè)區(qū)域。 根據(jù)人體身體的比例，如圖2b)所示，將矩形框內(nèi)連通區(qū)域分為三個(gè)部分對(duì)應(yīng)
表示頭部、上身、下肢，作為屬性關(guān)系圖的節(jié)點(diǎn)《(即!'e^flc/，甲,/owp;邊由
連接人體任兩個(gè)身體部分的直線段表示。則利用屬性關(guān)系圖建立人體外觀模型: G = ，其中SA = A(^J}表示節(jié)點(diǎn)屬性的集合，
Sj化的^&),K《p，D,Ww,D〉表示邊屬性的集合，節(jié)點(diǎn)屬性及邊屬性 的具體定義如下
1) 定義節(jié)點(diǎn)屬性A(《)={ ,，p,，/ 'WJ
* w,表示人體身體部分的標(biāo)記頭、上身、下肢分別標(biāo)記為"head"、 "up"
和"l0W";
* A表示身體部分外接矩形框的中心點(diǎn)
* WW,表示身體部分的顏色特征，釆用該身體部分的顏色直方圖表示。
選取具有人類視覺特性的HSV空間，將該身體部分中各像素的RGB值 轉(zhuǎn)化為HSV值，并為了降低計(jì)算復(fù)雜度，Zz賊采用歸一化的HSV空間
一維顏色直方圖
to,. =9// + 3S + K (1) 其中，H、 S、 V表示像素點(diǎn)在HSV空間中三分量H、 S、 V的取值。
2) 定義邊屬性K《，《)={。,~}
邊屬性反映邊的特征，用于表征兩個(gè)節(jié)點(diǎn)間的空間結(jié)構(gòu)關(guān)系。由于邊表示 為人體的任兩個(gè)身體部分間的直線段，則邊屬性采用該直線段的長(zhǎng)度、角度兩個(gè)屬性來表示
* 長(zhǎng)度屬性表示兩個(gè)節(jié)點(diǎn)《和《間的直線段長(zhǎng)度，采用節(jié)點(diǎn)屬性中的
中心點(diǎn)間的歐式距離表示。Hp,-aI (A、巧分別表示節(jié)點(diǎn)《和《
的屬性中的中心點(diǎn)坐標(biāo))；
* 角度屬性表示這兩個(gè)節(jié)點(diǎn)《和《間的直線段角度
=arCSin^^,其中^、力是節(jié)點(diǎn)《、《的屬性中的中心點(diǎn)y方向
巧
坐標(biāo)，則 的取值范圍為
。
圖2b)所示為人體的屬性關(guān)系圖外觀模型，其節(jié)點(diǎn)由圓圈表示，邊由帶箭 頭的線段表示，其中箭頭指向發(fā)生屬性關(guān)系的區(qū)域。圖中人體中的圓點(diǎn)對(duì)應(yīng)屬 性關(guān)系圖的節(jié)點(diǎn)，直線對(duì)應(yīng)屬性關(guān)系圖的邊。可見，屬性關(guān)系圖外觀模型形象 地描述了人體的身體部分的結(jié)構(gòu)及模式特征，則所有針對(duì)模式之間的計(jì)算也相 應(yīng)的轉(zhuǎn)換成為屬性關(guān)系圖外觀模型之間的計(jì)算。
2、計(jì)算人體屬性關(guān)系圖外觀模型的相似度
由于跟蹤多人體即是在監(jiān)控視頻連續(xù)幀中識(shí)別不同人體，當(dāng)對(duì)每個(gè)人體檢 測(cè)區(qū)域采用屬性關(guān)系圖建立外觀模型后，多人體跟蹤需要在連續(xù)幀中匹配不同 人體外觀模型，因此解決跟蹤問題是以獲得連續(xù)幀間人體屬性關(guān)系圖相似度為
基礎(chǔ)o
由于屬性關(guān)系圖包含多個(gè)節(jié)點(diǎn)、邊，則屬性關(guān)系圖的相似度計(jì)算需在節(jié)點(diǎn) 屬性、邊屬性的約束下，尋找兩個(gè)屬性關(guān)系圖之間的一種最優(yōu)對(duì)應(yīng)關(guān)系，這是 一個(gè)組合優(yōu)化問題，常用解決方法如判決樹搜索、模擬退火算法等。而本發(fā)明 提出的人體屬性關(guān)系圖中的節(jié)點(diǎn)、邊表示人體的不同身體部分，它們的屬性值 反映人體的不同身體部分的特征及結(jié)構(gòu)，因此人體屬性關(guān)系圖的相似度計(jì)算只 需在對(duì)應(yīng)同類身體部分的節(jié)點(diǎn)屬性、邊屬性之間進(jìn)行，而不是組合優(yōu)化問題。 下面結(jié)合本發(fā)明定義的人體屬性關(guān)系圖外觀模型，給出人體屬性關(guān)系圖外觀模 型相似度的計(jì)算
設(shè)當(dāng)前幀中某一人體檢測(cè)區(qū)域的屬性關(guān)系圖外觀模型為g ，前一幀中某一跟蹤人體的屬性關(guān)系圖外觀模型為6， d的定義與G相同，其節(jié)點(diǎn)屬性A《)及
邊屬性分別表示為A(《)—我,6/吒,/^U、 K《，A) = ^,^}。由于本發(fā)明中屬性 關(guān)系圖包含三個(gè)節(jié)點(diǎn)和三個(gè)邊，并且各個(gè)節(jié)點(diǎn)、邊對(duì)應(yīng)人體的身體部分及其相 互結(jié)構(gòu)關(guān)系，因此相似度只需要在表示同類人體身體部分的節(jié)點(diǎn)和邊之間進(jìn)行， 則定義相似度如下
<formula>formula see original document page 12</formula>
其中，第一項(xiàng)表示屬性關(guān)系圖外觀模型G和6中所有對(duì)應(yīng)同類身體部分的
節(jié)點(diǎn)間的節(jié)點(diǎn)屬性匹配度，第二項(xiàng)表示所有連接同類身體部分的邊之間的邊屬 性的匹配度。4, ^是權(quán)重系數(shù)，并且約束條件為SA2=1,使得相似度r在
區(qū)間0，1之內(nèi)，表示對(duì)應(yīng)同類身體部分的節(jié)點(diǎn)間的相似度， 《(K《,《)，^《，6)表示連接兩個(gè)同類身體部分的邊之間的相似度。
1)計(jì)算節(jié)點(diǎn)屬性相似度《(A(《),A")
在式(2)中，針對(duì)兩個(gè)人體的同類身體部分，節(jié)點(diǎn)屬性么(《)={ ,，;7,,/1^,}
中標(biāo)記化是相同的，如匹配兩人體的"頭部"，即標(biāo)記q均為"head"，則可重新
確定需要計(jì)算相似度的兩節(jié)點(diǎn)屬性A(《)、A(《)A(《)=,
A(《)=,因此節(jié)點(diǎn)屬性相似度定義為位置向量相似度及顏色直方圖相 似度的加權(quán)和
<formula>formula see original document page 12</formula>
其中權(quán)重;ip+A-i，使得《值在0-l內(nèi)。
①計(jì)算位置相似度^ O,, &):首先根據(jù)目標(biāo)運(yùn)動(dòng)狀態(tài)計(jì)算Mahalaiiobis (馬 氏)距離
"(A，》,)=(A -》,)x(P +》)x(a -A, (4) 其中，戶、,分別是位置向量A、》,的協(xié)方差矩陣，具體求法在下面說明。 本發(fā)明利用kalman (卡爾曼)估計(jì)器求Mahalanobis距離cr 。在監(jiān)控視頻中，通常相鄰幀間時(shí)間間隔Ad艮小，人體的運(yùn)動(dòng)可近似認(rèn)為是
勻速運(yùn)動(dòng)，該線性系統(tǒng)狀態(tài)方程和測(cè)量方程為
x(0 = Ax(") + w(0 (5)
y(0 = Cx(0 + v(0 (6) 式(5)中，w為系統(tǒng)噪聲，反映線性系統(tǒng)模型的精確程度，滿足均值為零 的高斯分布，其協(xié)方差矩陣為Q,設(shè)Q-0.01x/ (/為單位矩陣)；v為觀測(cè)噪
聲，是均值為零的白噪聲序列，和w互不相關(guān)，其協(xié)方差矩陣為及，可通過求 一段時(shí)間內(nèi)的背景圖象中某象素點(diǎn)觀測(cè)值的方差得到。同時(shí)，定義狀態(tài)向量 1(/) = [^，、『和觀測(cè)向量7(0 = ^,其中v,是位置為p,的點(diǎn)的速度，則根據(jù)勻速 運(yùn)動(dòng)動(dòng)力學(xué)方程得到系統(tǒng)狀態(tài)方程A及觀測(cè)方程C :
A =
1 Af 0 1
C-[l 0] (7)
根據(jù)kalmaii估計(jì)器及定義的線性系統(tǒng)方程，得到式(4)中的各項(xiàng)分別計(jì) 算為
A=y") (8)
(9)
戶=及 (10) 》=CP(*-l)Cr (11)
則得到當(dāng)前幀觀測(cè)向量及其前幀跟蹤值》的mahalanobis距離為
J = (y (0 - W - (CP(, I / - l)Cr + A)-1 (y W -外I, -1)) (12 )
其中，，W卜l)是前幀(第t-l幀)跟蹤值在當(dāng)前幀(第t幀)中的觀測(cè)量
預(yù)測(cè)值，PGp-l)是狀態(tài)向量協(xié)方差矩陣的預(yù)測(cè)矩陣，均由kalman估計(jì)器得到
》W-l) = Cx(/|M) = CxAxx(") (13)
P昨-l) = AP("|")Ar+Q(M) (14)
顯然，如(7小于某閾值，則可認(rèn)為兩位置代表同一特征即互相匹配。根據(jù)O"服從卡方分布，且在本線性系統(tǒng)中自由度為l，査卡方分布表(設(shè)真假設(shè)接受概 率為95%)，則閾值e為3.841。由此，根據(jù)mahalanobis距離測(cè)度o"得到位置 相似度
5P(A，》,)=
(15)
②計(jì)算顏色直方圖相似度，WW,):常用的度量直方圖相似度的是
Bhattacharyya (巴塔査里亞)距離，則兩顏色直方圖/ '對(duì),、Ww,.間的相似度表 示為
72
A (to, ， ;》、 ) = 如w,(岸L"/ ) (16)
式中WW,、 Ww,分別代表屬性關(guān)系圖G、 6的節(jié)點(diǎn)屬性中的顏色直方圖，由式
(1)計(jì)算得到，/ 表示顏色直方圖/z/^、 Ww,的位數(shù)。
將式(15)、 (16)代入式(3)則得到節(jié)點(diǎn)屬性相似度。
2)計(jì)算邊屬性相似度《(K《,^),^^,^)):求邊屬性的相似度，如圖2b)所示，
即求兩直線段的特征相似度。由于邊屬性的定義中包含直線段長(zhǎng)度、角度兩個(gè) 屬性，因此邊屬性相似度采用直線段長(zhǎng)度、角度的相似度來計(jì)算
《(,，《)，械，句》=M 0) ,6 ) + , 。 ( 17 )
其中，《、《分別是直線段長(zhǎng)度、角度匹配度，權(quán)重滿足義/+^=1。式中， 。,6分別為G和6中邊的長(zhǎng)度屬性值，^和&分別為G和d中邊的角度屬性值。 直線段長(zhǎng)度匹配度《度量直線段長(zhǎng)度差異
A =1 — 1^41 (18) 直線段角度匹配《度量直線段角度差異
<formula>formula see original document page 14</formula>將式(18)、 (19)代入到式(17)，得到邊屬性匹配度。
最后，將式(3)計(jì)算的節(jié)點(diǎn)屬性相似度、式(17)計(jì)算的邊屬性相似度代
入式(2)，得到屬性關(guān)系圖外觀模型G和6的相似度。
3、基于屬性關(guān)系圖匹配的跟蹤情況分析
在得到當(dāng)前幀中人體檢測(cè)區(qū)域的屬性關(guān)系圖與前一幀跟蹤人體的屬性關(guān)系 圖的相似度后，可據(jù)此將當(dāng)前幀檢測(cè)的人體和前一幀的跟蹤人體對(duì)應(yīng)匹配，以 完成對(duì)監(jiān)控場(chǎng)景中多人體的跟蹤。本發(fā)明首先建立匹配矩陣，列出各檢測(cè)區(qū)域 與上一幀跟蹤人體的相似度設(shè)匹配矩陣的行號(hào)代表當(dāng)前幀人體檢測(cè)區(qū)域，列
號(hào)代表上一幀跟蹤人體，將屬性關(guān)系圖外觀模型的匹配度r皿(n表示當(dāng)前幀檢測(cè)
人體的序號(hào)，m表示前一幀跟蹤人體的標(biāo)記)作為矩陣元素值記錄，然后根據(jù)匹 配閾值r。確定是否匹配
0，如r柳〉r。，匹配 1，如r,2r。，不匹配
表1第t幀匹配矩陣
(20)
第t-l幀第t幀跟蹤人體1跟蹤人體2…跟蹤人體m
檢測(cè)人體1八2…
檢測(cè)人體2&…
…...………
檢測(cè)人體n、…T"附
通過匹配矩陣的匹配情況，分析、確定當(dāng)前幀中多人體的跟蹤狀態(tài)、獲取 人體運(yùn)動(dòng)軌跡，并更新其外觀模型。匹配情況可歸納為四種，對(duì)應(yīng)四種跟蹤情
況
1)新人體出現(xiàn)第n行中r鵬均為0:且持續(xù)連續(xù)三幀，則認(rèn)為是"新人體"出
現(xiàn)，檢測(cè)人體n為新出現(xiàn)人體，分配新標(biāo)記，建立其屬性關(guān)系圖外觀模型，開 始跟蹤該人體；2) 正常跟蹤第n行有且僅有一個(gè)r'^-l的元素則檢測(cè)人體ii與跟蹤人體m
匹配，認(rèn)為是"正常跟蹤"，為檢測(cè)人體n分配標(biāo)記m,記錄其外接矩形框中心 點(diǎn)位置，并將檢測(cè)人體ii的外觀模型作為跟蹤人體m更新的屬性關(guān)系圖外觀模 型；
3) 遮擋跟蹤第n行有多個(gè)f,-l的元素則認(rèn)為是"遮擋跟蹤"，檢測(cè)人體n
是由多個(gè)遮擋人體組成，被遮擋的人體為r'^ =1的元素所在列對(duì)應(yīng)的跟蹤人體，
由于丟失各跟蹤人體在當(dāng)前幀的檢測(cè)值，無法通過匹配矩陣識(shí)別不同人體，此 跟蹤情況采用后述"遮擋情況下的跟蹤"處理；
4) 人體消失第m列元素r'柳均為0:且該情況在連續(xù)三幀出現(xiàn)，則認(rèn)為是"人
體消失"，即跟蹤人體m消失，從跟蹤序列中刪除該人體。 *遮擋情況下的跟蹤
在遮擋情況下由于只能檢測(cè)到遮擋人體組成的一個(gè)前景區(qū)域，而無法區(qū)分 各遮擋人體位置，本發(fā)明采用Kalmaii濾波器預(yù)測(cè)遮擋人體的位置，從而確定各 遮擋人體的屬性關(guān)系圖外觀模型，完成遮擋情況下的跟蹤，具體步驟如下
① 根據(jù)匹配矩陣獲取的遮擋人體標(biāo)號(hào)，由Kalman濾波器根據(jù)其在上一幀的位 置預(yù)測(cè)遮擋人體在當(dāng)前幀的位置，并依據(jù)該預(yù)測(cè)位置及遮擋人體在上一幀外接 矩形框的大小，確定該遮擋人體在當(dāng)前幀的外接矩形框區(qū)域。
人體外接矩形框中心點(diǎn)的運(yùn)動(dòng)過程建模為勻速運(yùn)動(dòng)模型，并采用Kalman濾 波器預(yù)測(cè)遮擋人體外接矩形框在當(dāng)前幀中的位置。狀態(tài)向量表示為
x(0 = [A,v/，觀測(cè)向量表示為y(O-A，其中A、 v,分別表示中心點(diǎn)x方向坐 標(biāo)、速度，則得到與式(7)相同的狀態(tài)轉(zhuǎn)移矩陣及觀測(cè)矩陣，采用式(13)得 到Kalman預(yù)測(cè)的測(cè)量值fW卜l)，作為遮擋人體在當(dāng)前幀的中心點(diǎn)x方向坐標(biāo)
值，中心點(diǎn)y方向坐標(biāo)也同理可得，并記錄預(yù)測(cè)的中心點(diǎn)坐標(biāo)以獲得跟蹤軌跡。 然后，遮擋人體的外接矩形框區(qū)域可根據(jù)中心點(diǎn)的預(yù)測(cè)位置及其在上一幀的外 接矩形框大小得到。如圖3a)所示，虛線框表示預(yù)測(cè)區(qū)域。
② 將遮擋人體外接矩形框內(nèi)的前景外觀建模為遮擋人體的屬性關(guān)系圖外觀模 型，用于與下一幀的檢測(cè)人體匹配，進(jìn)行連續(xù)跟蹤。采用與檢測(cè)人體屬性關(guān)系圖外觀模型G相同的定義，將每個(gè)預(yù)測(cè)區(qū)域的前景建模為遮擋人體的屬性關(guān)系 圖外觀模型，遮擋人體屬性關(guān)系圖外觀模型如圖3b)，其中圓點(diǎn)表示節(jié)點(diǎn)，虛線 表示邊。
本發(fā)明提出的方法與目前主要的通過人體外觀模型進(jìn)行跟蹤的方法(顏色 直方圖跟蹤方法、采用顏色和空間信息的跟蹤方法、顏色相關(guān)圖跟蹤方法)相 比，建立的人體屬性關(guān)系圖外觀模型不僅描述了人體外觀的顏色特征、空間信 息，還表征了人體的身體結(jié)構(gòu)特征，大大提高了人體外觀模型的準(zhǔn)確性，并且 本發(fā)明提出的外觀模型及匹配算法簡(jiǎn)便、有效，能實(shí)現(xiàn)多人體的實(shí)時(shí)跟蹤。圖4 所示為本發(fā)明提出的跟蹤方法在多人復(fù)雜運(yùn)動(dòng)監(jiān)控視頻中的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)采 用的計(jì)算機(jī)配置為奔四處理器、內(nèi)存1GB、主頻3.00GHz，在Matlab7.0的運(yùn) 行環(huán)境中，運(yùn)行速度達(dá)到約10-11幀/秒，跟蹤實(shí)時(shí)性高。該視頻中3個(gè)不同外 觀的人體在一大廳中從不同方向行走、相遇再分離，視頻序列分辨率為250x370， 幀速為每秒25幀，共有355幀，其中有120幀出現(xiàn)遮擋。圖4a)-f)所示分別為 第71幀、106幀、138幀、176幀、206幀及241幀跟蹤結(jié)果，其中c)、 d)中實(shí) 現(xiàn)了多人遮擋情況下的跟蹤，e)、 i)表明在遮擋后各個(gè)人體仍能正確跟蹤。圖5 比較了傳統(tǒng)的顏色直方圖建模人體外觀的跟蹤方法與本發(fā)明提出的跟蹤方法在 該視頻中的跟蹤誤差，跟蹤誤差由跟蹤結(jié)果中人體外接矩形框中心點(diǎn)坐標(biāo)與其 真實(shí)值之間的歐式距離計(jì)算得到，可見本發(fā)明提出的跟蹤方法的跟蹤誤差遠(yuǎn)低 于傳統(tǒng)的顏色直方圖跟蹤方法，大大提高了固定監(jiān)控場(chǎng)景中多人體跟蹤的準(zhǔn)確 性、有效性。
權(quán)利要求
1、一種基于屬性關(guān)系圖外觀模型的多人體跟蹤方法，其特征在于，包括以下步驟1)連續(xù)獲取包含有被跟蹤人體的固定場(chǎng)景的圖像，對(duì)當(dāng)前幀圖像的人體檢測(cè)區(qū)域建立屬性關(guān)系圖外觀模型將檢測(cè)的人體區(qū)域分為頭部、上身和下肢三個(gè)身體部分；屬性關(guān)系圖外觀模型的每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)所述的身體部分，節(jié)點(diǎn)屬性表征身體部分的特征，由以下三個(gè)量表示對(duì)應(yīng)身體部分的標(biāo)記、顏色直方圖、外接矩形框中心點(diǎn)坐標(biāo)；屬性關(guān)系圖外觀模型的邊由連接人體任兩個(gè)身體部分的中心點(diǎn)的直線段表示，邊屬性采用直線段的長(zhǎng)度和角度表示；2)計(jì)算當(dāng)前幀檢測(cè)人體的屬性關(guān)系圖外觀模型與上一幀跟蹤人體的屬性關(guān)系圖外觀模型的相似度；3)根據(jù)計(jì)算所得的相似度跟蹤當(dāng)前幀人體。
2、 根據(jù)權(quán)利要求1所述的基于屬性關(guān)系圖外觀模型的多人體跟蹤方 法，其特征在于，所述的節(jié)點(diǎn)屬性定義為a(《)-^,a，to^,其中，化表示第i個(gè)被跟蹤對(duì)象的身體部分的標(biāo)記頭、上身、下肢分別標(biāo)記為"head"、"叩" 和"10W"; a表示第i個(gè)被跟蹤人體的身體部分外接矩形框的中心點(diǎn)坐標(biāo)；為第i個(gè)被跟蹤人體的身體部分的顏色特征，用歸一化的HSV空間一維顏色直方圖表示為WW,++ 其中，H、 S、 V表示像素點(diǎn)在HSV空間中三分量H、 S、 V的取值；邊屬性定義為K《,《)={。, } 其中g(shù)為長(zhǎng)度屬性，表示兩個(gè)節(jié)點(diǎn)《和《間的直線段長(zhǎng)度，采用節(jié)點(diǎn)間的歐式距離表示。Hp,-a、^分別表示節(jié)點(diǎn)《、《的屬性中的中心點(diǎn)坐標(biāo)；^為角度屬性，表示這兩個(gè)節(jié)點(diǎn)《和《間的直線段角度，rs=arCSin^^，其中乂、力是節(jié)點(diǎn)《、《的屬性中的中心點(diǎn)y方向坐標(biāo)，^的取值范圍為[O，;r〗；所述的相似度定義如下其中，^、 ^是權(quán)重系數(shù)，并且約束條件為A + 使得相似度r在區(qū)間[0，1之內(nèi)，《(△(《)，△(》,)表示G和6中對(duì)應(yīng)同類身體部分的節(jié)點(diǎn)間的相似度，《(K《，《),M^，《)是G和6中連接兩個(gè)同類身體部分的邊的相似度，G和6分別為當(dāng)前幀檢測(cè)人體的屬性關(guān)系圖外觀模型與上一幀跟蹤人體的屬性關(guān)系 圖外觀模型；所述的根據(jù)相似度跟蹤當(dāng)前幀人體的步驟為建立匹配矩陣，列出各檢測(cè) 區(qū)域與上一幀跟蹤人體的相似度設(shè)匹配矩陣的行號(hào)代表當(dāng)前幀人體檢測(cè)區(qū)域，列號(hào)代表上一幀跟蹤人體，將屬性關(guān)系圖外觀模型的匹配度r，作為矩陣元素值記錄，n表示當(dāng)前幀檢測(cè)人體的序號(hào)，m表示前一幀跟蹤人體的標(biāo)記，然后根據(jù) 匹配閾值r。確定是否匹配，匹配結(jié)果為0，如r，〉v匹配 1，如r",o，不匹配通過匹配矩陣的匹配情況，可確定當(dāng)前幀中多人體的跟蹤狀態(tài)、獲取人體 運(yùn)動(dòng)軌跡，并更新其外觀模型；匹配情況歸納為四種1) 新人體出現(xiàn)第n行中T^均為0:且持續(xù)連續(xù)三幀，則認(rèn)為是"新人體"出現(xiàn)，檢測(cè)人體n為新出現(xiàn)人體，分配新標(biāo)記，建立其屬性關(guān)系圖外觀模 型，開始跟蹤該人體；2) 正常跟蹤第H行有且只有一個(gè)r柳-l的元素則檢測(cè)人體n與跟蹤人體m匹配，認(rèn)為是"正常跟蹤"，為檢測(cè)人體n分配標(biāo)記m,記錄其外接矩形框 中心點(diǎn)位置，并將檢測(cè)人體n的屬性關(guān)系圖外觀模型作為跟蹤人體m的更新的 屬性關(guān)系圖外觀模型；3) 遮擋跟蹤第n行出現(xiàn)多個(gè)r目"的元素則認(rèn)為是"遮擋跟蹤"，檢測(cè)人體n是由多個(gè)遮擋人體組成，被遮擋的人體為r， =1的元素所在列對(duì)應(yīng)的 跟蹤人體；4)人體消失第m列元素—皿均為0:且該情況在連續(xù)三幀出現(xiàn)，則認(rèn)為是"人體消失"，即跟蹤人體m消失，從跟蹤序列中刪除該人體。
3、根據(jù)權(quán)利要求2所述的基于屬性關(guān)系圖外觀模型的多人體跟蹤方法，其 特征在于，在遮擋情況下，采用卡爾曼濾波器預(yù)測(cè)遮擋人體的位置，從而確定 各遮擋人體的屬性關(guān)系圖外觀模型，完成遮擋情況下的跟蹤。
全文摘要
針對(duì)固定監(jiān)控場(chǎng)景中多人體跟蹤問題，本發(fā)明提出了一種基于屬性關(guān)系圖外觀模型的多人體跟蹤方法。首先對(duì)當(dāng)前幀人體檢測(cè)區(qū)域建立屬性關(guān)系圖外觀模型，計(jì)算與上一幀跟蹤人體的屬性關(guān)系圖外觀模型的相似度，根據(jù)相似度確定幀間人體的匹配，從而確定人體跟蹤情況及獲取運(yùn)動(dòng)軌跡。本發(fā)明提出的方法能大大提高固定監(jiān)控場(chǎng)景中多人體跟蹤的準(zhǔn)確性、可靠性、實(shí)時(shí)性。
文檔編號(hào)G06T7/00GK101561928SQ20091004353
公開日2009年10月21日 申請(qǐng)日期2009年5月27日 優(yōu)先權(quán)日2009年5月27日
發(fā)明者琴 萬, 余洪山, 江 朱, 王耀南 申請(qǐng)人:湖南大學(xué)