專利名稱：：基于橢圓傅立葉分解的行人時空輪廓表示方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及計算機圖像信號處理和統(tǒng)計分析領(lǐng)域，特別涉及一種基于elliptic-fourier(橢圓傅里葉)分解的行人時空輪廓表示方法。
背景技術(shù)：
：目前，視頻監(jiān)控正處在從模擬監(jiān)控向全IP網(wǎng)絡(luò)智能化數(shù)字監(jiān)控的方向發(fā)展。數(shù)字監(jiān)控中的一個重要方面是利用計算機對人的活動進行分析，這也是計算機視覺領(lǐng)域的一個重要研究方向。在面向行人的智能監(jiān)控系統(tǒng)中，除了判斷行人的位置，還需要對人的輪廓進行提取，從而進一步分析場景中行人的3D姿態(tài)。輪廓的抽取方法對于后續(xù)的步態(tài)識別和異常行為檢測致關(guān)重要。通過攝像機捕捉行人輪廓的方法具有無侵害性和遠(yuǎn)距離有效性，把行人從背景中分割出來后，所需要提取的一個重要的特征就是形狀信息。形狀的有效表達是智能視頻監(jiān)控中人的3D姿態(tài)重建的的核心問題之一。形狀可以定義為與位置、縮放和旋轉(zhuǎn)等幾何變換無關(guān)的描述物體的幾何信息，經(jīng)過歐幾里德變換，幾何信息的特征都會一直保持不變。最簡單和直接描述形狀的方法是在物體的輪廓上標(biāo)志一系列的點，這些點在同一物體不同的輪廓上都有唯一的對應(yīng)點。視頻監(jiān)控中行人的圖像會隨著時間變化有不同形式的變形，比如人行走、跳躍和奔跑等。這樣的物體都可以呈現(xiàn)出多種不同的可能發(fā)生的形狀，同時還會因為個體的不同而呈現(xiàn)出不同或者相似的形狀。對于監(jiān)控場景中的行人，我們建立的模型必須可以描述同一物體各種形狀的典型變化。為了收集關(guān)于形狀變化的信息，需要圖像中相應(yīng)點的位置信息。因此可以使用一系列的標(biāo)志點來完成，這些點可呈現(xiàn)圖像所代表的各個形狀。標(biāo)志點不但能夠呈現(xiàn)整個形狀的全貌，而且還能夠?qū)π枰憩F(xiàn)的細(xì)節(jié)給予全面的刻畫，標(biāo)志點的數(shù)量取決于對象的復(fù)雜程度和形狀細(xì)節(jié)需要表現(xiàn)的程度。用標(biāo)志點的笛卡爾坐標(biāo)值所表征的一維向量在數(shù)據(jù)的表示上與視覺所感知的形狀有某種程度上的差異，很難具有對二維整體形狀的描述力，它對隱含而且近乎抽象的形狀特征分析能力不足。此外由于標(biāo)志點數(shù)量過大，在特征提取和匹配方面將導(dǎo)致較大的計算量。因此國內(nèi)外的不少學(xué)者，針對不同的目的對輪廓的形狀分析做了深入的研究。1972年，美國斯坦福大學(xué)的CharlesΤ.Zahn首先使用傅立葉描述子來描述和識別物體的形狀特征。1995年芬蘭奧盧大學(xué)的HarmuKauppinen比較了各種典型形狀識別方法的能力，指出基于物體輪廓坐標(biāo)序列的傅立葉描述子簡單、高效，具備較好的形狀識別性能。因此，傅里葉描述子目前已經(jīng)發(fā)展成為識別物體形狀的重要方法之一。但是傳統(tǒng)的傅立葉在形狀的描述上采用以預(yù)估半徑和周期的方式來構(gòu)造相似形狀來逼近目標(biāo)輪廓，它的基函數(shù)為正弦和余弦函數(shù)，在形狀邊界的快速傅立葉變換，尋找保留模與相位特性具有旋轉(zhuǎn)、平移和尺度不變性并且魯棒的歸一化傅立葉描述子，以及去掉邊界起始點位置在傅立葉描述子中的相位影響和反應(yīng)局部形狀和灰度分布信息等方面仍存在一定的問題。
發(fā)明內(nèi)容基于以上現(xiàn)有技術(shù)存在的局限，本發(fā)明提出了一種基于橢圓傅立葉分解的行人時空輪廓表示方法，該方法能夠自動提取監(jiān)控視頻中行人的輪廓，并且解決輪廓上標(biāo)志點的自動對應(yīng)問題，并將高維的2D+time笛卡兒輪廓向量壓縮成低維的橢圓傅立葉向量，適用于步態(tài)分析和異常行人檢測等場合。上述本發(fā)明方法的主要核心是提出了使用橢圓傅立葉分析來把以笛卡爾坐標(biāo)表示的形狀表示轉(zhuǎn)換成基于橢圓傅立葉分析的形狀表示。具體方案步驟如下(1)輪廓壓縮前的預(yù)處理，預(yù)處理操作包括(a)建立多分布的背景分布模型；(b)二值化行人輪廓圖像；(c)形態(tài)學(xué)算子過濾噪聲；(d)8連通區(qū)域跟蹤法提取原始行人高維時空輪廓。(2)使用Procrustes分析的方法，計算各個形狀之間的Procrustes距離，通過最小化每個輪廓與平均形狀之間的誤差平方和來對齊各個輪廓。首先選取第一個形狀作為初始樣本，使其他所有的形狀都與之對齊；然后，對計算得到的對齊后的平均形狀進行規(guī)一化處理，并將規(guī)一化后的平均形狀作為初始樣本；最后，將其他在此之前對齊好的形狀與新的初始樣本對齊。重復(fù)這一對齊過程，直到相鄰兩次的平均形狀差別小于一閾值。(3)輪廓PCA處理通過主分量分析(PCA)把訓(xùn)練樣本從原始的笛卡爾坐標(biāo)空間轉(zhuǎn)換到特征空間，得到一系列相互正交的特征向量，這些特征向量張成一個(t-ι)維的形狀空間。(4)計算反映行人輪廓關(guān)鍵標(biāo)志點的曲率在行人行走過程中變化幅度不大特征的CurvatureCost值，并將其添加到原有的MDL目標(biāo)函數(shù)中；使得MDL目標(biāo)函數(shù)在收斂的過程中考慮到關(guān)鍵標(biāo)志點處曲率的變化特征，以增加點對應(yīng)關(guān)系的求解精度。(5)計算反映行人在行走過程中局部灰度分布特征保持一致性的⑶ICost值，通過對圖像的局部結(jié)構(gòu)信息進行分析，對每個標(biāo)志點建立反映圖像差分結(jié)構(gòu)的向量CDI，它表示標(biāo)志點在一定尺度下，在圖像旋轉(zhuǎn)和變換時保持不變的局部圖像結(jié)構(gòu)信息。通過在MDL目標(biāo)函數(shù)中增加反映各個標(biāo)志點的局部圖像結(jié)構(gòu)信息對應(yīng)關(guān)系的代價函數(shù)CDICostdig標(biāo)函數(shù)值更加收斂，得到更好的統(tǒng)計形狀模型。(6)根據(jù)(4)和(5)的結(jié)果及第i個輪廓Si在第m個方向Pm上投影得到的坐標(biāo)為bd計算總的MDL目標(biāo)函數(shù)值。(7)在輪廓上重新調(diào)整標(biāo)志點的位置，直到MDL目標(biāo)函數(shù)值達到收斂，從而得到優(yōu)化的點對應(yīng)關(guān)系。(8)在點對應(yīng)關(guān)系確定的基礎(chǔ)上，對于連續(xù)視頻中某幀行人輪廓的N階橢圓傅立葉分解，除去3個常橢圓傅立葉系數(shù)，剩下的橢圓傅立葉系數(shù)可組成一長度為4N-3的一維向量EFC(S，N)。再考慮所有幀的輪廓，從而得到行人時空輪廓的壓縮表示。根據(jù)上述技術(shù)方案，本發(fā)明的優(yōu)點在于利用傅立葉的正交分解和周期性的特點，把橢圓函數(shù)作為基函數(shù)來作周期性的運算。通過把行人的輪廓用一系列的橢圓族來進行表示。低階的橢圓代表形狀的低頻信息，主要表征的是形狀的全局和宏觀的信息；高階的橢圓代表形狀的高頻信息，主要表征的是形狀的局部特征和信息。通過橢圓傅立葉分解(EllipticFourierDecomposition:EFD)，不但能夠以比較直觀的方式來表示統(tǒng)計形狀模型訓(xùn)練集合中的樣本，而且使得形狀矢量的維數(shù)從2np(np為標(biāo)志點個數(shù))降到了4N-3(N為橢圓的階數(shù))。以下結(jié)合附圖和具體實施方式來進一步說明本發(fā)明。圖1是本發(fā)明方法的流程示意圖。圖2(a)、(b)和(C)是形狀Procrustealignment配準(zhǔn)例圖其中，圖2(a)為通過背景更新模型，使用背景減除法提取出來的場景中的行人目標(biāo)。圖2(b)為在得到二值化行人目標(biāo)圖像后，再使用形態(tài)學(xué)算子過濾噪聲，并采用8連通區(qū)域的輪廓跟蹤法提取出的行人原始輪廓。圖2(c)為使用形狀Procrustealignment配準(zhǔn)法得到的行人原始輪廓的時空表示。圖3是使用基于橢圓傅立葉變換的MDL統(tǒng)計形狀模型得到的行人輪廓點對應(yīng)結(jié)果圖。圖4是行人輪廓傅立葉重建效果示意圖。具體實施例方式為了使本發(fā)明實現(xiàn)的技術(shù)手段、創(chuàng)作特征、達成目的與功效易于明白了解，下面結(jié)合具體圖示，進一步闡述本發(fā)明。由上述技術(shù)方案結(jié)合圖1進一步展開，其主要包括一下3個方面的處理過程1.圖像預(yù)處理；先使用背景減除法提取場景中的行人目標(biāo)。為了克服場景中如光照和風(fēng)等因素的干擾，使用色度、亮度空間的多個分布模型來建立背景模型。在對背景模型更新時將均值、方差的更新速率和多個模型的更替速率分開。對像素值屬于多個分布模型的情況，用最小相似距離確定要更新的模型。在得到二值化行人目標(biāo)圖像后，再使用形態(tài)學(xué)算子過濾噪聲，并采用8連通區(qū)域的輪廓跟蹤法來提取出行人的原始輪廓。2.基于最小描述長度模型(MDL)確定點對應(yīng)關(guān)系(對于2D+time輪廓)；現(xiàn)有行人輪廓標(biāo)志點大都通過手工標(biāo)注或者沿著輪廓按等距離法確定，不但費時費力、主觀性強，而且精度也不高。為了有效地自動對行人輪廓特征進行提取，不同姿態(tài)下的輪廓不但要有相同的標(biāo)志點數(shù)目，而且相同序號的標(biāo)志點之間也要保持正確的點對應(yīng)關(guān)系。本發(fā)明中假設(shè)某個行人某一姿態(tài)的視頻包括t幀圖像，相對應(yīng)的輪廓集合S包含t個輪廓樣本，每個輪廓{Si:i=1,2,…，t}由一個維數(shù)為2np的形狀向量{Xi:i=1，2，…，t}表示，其中np為每個輪廓標(biāo)志點的個數(shù)。通過主分量分析(PCA)把訓(xùn)練樣本從原始的笛卡爾坐標(biāo)空間轉(zhuǎn)換到特征空間，得到(t-Ι)個相互正交的特征向量{Pm:m=1，2，···，(t-1)}，由這些特征向量張成一個(t-Ι)維的形狀空間，Sji應(yīng)的形狀向量Xi在這個特征空間可以被線性表示為平均形狀I(lǐng)和Xi在所有(t-Ι)個特征方向上的投影值bu和對應(yīng)的特征向量Pm乘積的總和。在此特征空間中，第i個輪廓Si在第m個方向Pm上投影得到的坐標(biāo)為！^,”平均形狀I(lǐng)和特征向量{Pm:m=1,2,…，(t-Ι)}的描述長度對于給定的輪廓集合是一個常量，因此只需要計算Ibnui:m=1，2，…，(t-1)；i=1,2,…，t}的描述長度。由于通過PCA得到的特征向量之間是相互正交的，所以可以分別計算形狀空間在(t-D個主方向上的描述長度，最后得到MDL目標(biāo)函數(shù)<formula>formulaseeoriginaldocumentpage6</formula>其中λ。ut為MDL模型精度閾值。在對標(biāo)志點參數(shù)進行初始化的時候，可以先均勻地沿著輪廓分配標(biāo)志點。在后續(xù)的PCA統(tǒng)計分析以及MDL目標(biāo)函數(shù)計算及優(yōu)化處理之前，需要將每個輪廓都對齊到統(tǒng)一的度量框架中，以去掉輪廓的縮放、旋轉(zhuǎn)和位移因素。本發(fā)明采用ProcrustesAlignment方法，通過最小化每個輪廓與平均形狀之間的誤差平方和來對齊輪廓。3.基于EFT的2D+time時空輪廓分解方法；本發(fā)明中通過MDL方法對齊同一行人t幀圖像對應(yīng)每個輪廓np個標(biāo)志點后，任意輪廓上的第P點的坐標(biāo)可以表示為(Xp+jyp)。定義輪廓上相鄰兩點第i-Ι點到第i點的輪廓長度為Ati,可以得到從起始點到第ρ點的輪廓弧長為tp，輪廓上的第ρ點可以表示為z(tp)=x(tp)+y(tp)j。如果讓此點沿著輪廓一直移動，由于人體輪廓是閉合的曲線，所有該點最后會回到起點的位置。如此反復(fù)循環(huán)的話，z(tp)就成了一個周期為T的周期函數(shù)。同樣x(tp)和y(tp)也為周期函數(shù)。對于周期函數(shù)可以利用Fourier函數(shù)表示為橢圓方程+凡…)+%2)="。由此可知，任何一個形狀的輪廓都可以通過一族橢圓來逼近，族內(nèi)橢圓的數(shù)目越多，就可以越精確地逼近原始輪廓。第η個橢圓的傅立葉系數(shù)為an、bn,cn^Pdn。由此可知，通過橢圓傅立葉分解，不同的形狀所得到的橢圓族序列是唯一的，并且通過橢圓重建可以唯一的重構(gòu)形狀輪廓。橢圓族序列與原始的形狀輪廓是一一對應(yīng)的關(guān)系。在本發(fā)明中，考慮到上面橢圓傅立葉分解對目標(biāo)形狀的位置、大小和方向非常敏感，需要對橢圓傅立葉系數(shù)進行規(guī)一化(normalization)處理，使得橢圓傅立葉系數(shù)an、bn、(^和《與輪廓的起始點、形狀的縮放比例和旋轉(zhuǎn)角度等因素?zé)o關(guān)。可以通過下面的矩陣變換來實現(xiàn)規(guī)一化<formula>formulaseeoriginaldocumentpage6</formula>其中，E為橢圓分解的第一層橢圓的長軸大小，Φ為其相位角的大小，θ為橢圓長軸與χ軸的旋轉(zhuǎn)角。通過對橢圓傅立葉系數(shù)的規(guī)一化處理，旋轉(zhuǎn)輪廓使得第一個分解出來的橢圓的長軸平行于X軸(即把第一個橢圓的相位角設(shè)為0)，輪廓的起始點設(shè)為第一階橢圓(the1stharmonics)的長軸的端點。第一階橢圓的橢圓傅立葉系數(shù)中有3個變成了常數(shù)=l,b]=Of1=0。每個橢圓的橢圓傅立葉系數(shù)為[an*，bn*,c；,dn*]，(1彡η彡N)。本發(fā)明基于以上分析，對N階橢圓傅立葉分解，除去3個為常數(shù)的橢圓傅立葉系數(shù)，剩下的橢圓傅立葉系數(shù)可以組成一個長度為4Ν-3的一維向量EFC(S，N)。其中，S為在笛卡爾坐標(biāo)空間中用χ和y的坐標(biāo)值來表示的形狀，N為橢圓傅立葉分解的階數(shù)。因為可以通過這個向量EFC來對形狀輪廓進行重建，故本發(fā)明把用橢圓傅立葉系數(shù)表示的輪廓稱為EFCshape=EFC(SAr)=Iy;a2,b],C2,d],...,aN,b"N,cN,d*Nf。本發(fā)明通過以上3個步驟將行人輪廓從視頻中提取出來并利用MDL模型得到各標(biāo)志點之間的對應(yīng)關(guān)系，然后利用橢圓傅立葉變換對高維的笛卡兒2D+time輪廓向量從物理意義上進行分解后舍棄高頻的橢圓系數(shù)，從而得到壓縮后的低維輪廓向量，有利于后續(xù)的步態(tài)識別或者異常行為檢測及報警?，F(xiàn)在通過具體實驗將上述本發(fā)明技術(shù)應(yīng)用于一75幀的行人步行視頻中，通過背景差等算法獲取原始輪廓后，使用8個控制節(jié)點來進行輪廓參數(shù)化，每個訓(xùn)練輪廓上最后選取的標(biāo)志點個數(shù)為64，輪廓數(shù)目t為75。對于2D+time輪廓，在MDL優(yōu)化過程中，入_的值設(shè)為0.003，循環(huán)的最大次數(shù)為40。參見圖3，圖中顯示了經(jīng)過80000次MDL目標(biāo)函數(shù)值的更新后，使用MDL統(tǒng)計形狀模型得到的主要8個控制節(jié)點的點對應(yīng)關(guān)系。確定輪廓上所有64個點在時間方向上的點對應(yīng)關(guān)系后，由(*)式可分別求出輪廓在不同階數(shù)的橢圓傅立葉分解后的2D+time輪廓向量。由橢圓傅立葉重建結(jié)果(參見圖4)可以看出，隨著橢圓分解階數(shù)N的增加，重建的精度也在增加，當(dāng)N為10時，就可以比較精確地重建原始的輪廓。<table>tableseeoriginaldocumentpage7</column></row><table>表1表1為使用10階橢圓表示輪廓所得簡化后的參數(shù)列表，所得到的表示一個64點的輪廓參數(shù)，輪廓向量的維數(shù)從原來的128降低到37。如果用傳統(tǒng)的χ和y坐標(biāo)值來表示行人時空輪廓，對應(yīng)的向量的維數(shù)為9600(2npXt)，通過橢圓傅立葉分解，高階橢圓代表形狀的高頻信息，即輪廓的局部特征信息。低階橢圓代表形狀的低頻信息，也就是重要的全局信息，這部分信息在重建過程中得到了保留。2D+time輪廓向量的維數(shù)從傳統(tǒng)方法的9600降到2775。以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會有各種變化和改進，這些變化和改進都落入要求保護的本發(fā)明范圍內(nèi)。本發(fā)明要求保護范圍由所附的權(quán)利要求書及其等效物界定。權(quán)利要求基于橢圓傅立葉分解的行人時空輪廓表示方法，其特征在于，包括以下步驟(1)進行輪廓壓縮前的預(yù)處理；(2)使用procrustes分析的方法，計算各個形狀之間的Procrustes距離，通過最小化每個輪廓與平均形狀之間的誤差平方和來對齊各個輪廓；首先選取第一個形狀作為初始樣本，使其他所有的形狀都與之對齊；然后，對計算得到的對齊后的平均形狀進行規(guī)一化處理，并將規(guī)一化后的平均形狀作為初始樣本；最后，將其他在此之前對齊好的形狀與新的初始樣本對齊；重復(fù)這一對齊過程，直到相鄰兩次的平均形狀差別小于一閾值；(3)輪廓PCA處理通過主分量分析，把訓(xùn)練樣本從原始的笛卡爾坐標(biāo)空間轉(zhuǎn)換到特征空間，得到一系列相互正交的特征向量，這些特征向量張成一個(t-1)維的形狀空間；(4)計算反映行人輪廓關(guān)鍵標(biāo)志點的曲率在行人行走過程中變化幅度不大特征的CurvatureCost值，并將其添加到原有的MDL目標(biāo)函數(shù)中；使得MDL目標(biāo)函數(shù)在收斂的過程中考慮到關(guān)鍵標(biāo)志點處曲率的變化特征，以增加點對應(yīng)關(guān)系的求解精度；(5)計算反映行人在行走過程中局部灰度分布特征保持一致性的CDICost值，通過對圖像的局部結(jié)構(gòu)信息進行分析，對每個標(biāo)志點建立反映圖像差分結(jié)構(gòu)的向量CDI，它表示標(biāo)志點在一定尺度下，在圖像旋轉(zhuǎn)和變換時保持不變的局部圖像結(jié)構(gòu)信息；通過在MDL目標(biāo)函數(shù)中增加反映各個標(biāo)志點的局部圖像結(jié)構(gòu)信息對應(yīng)關(guān)系的代價函數(shù)CDICost，使目標(biāo)函數(shù)值更加收斂，得到更好的統(tǒng)計形狀模型；(6)根據(jù)步驟(4)和(5)的結(jié)果及第i個輪廓Si在第m個方向Pm上投影得到的坐標(biāo)為bm，i計算總的MDL目標(biāo)函數(shù)值；(7)在輪廓上重新調(diào)整標(biāo)志點的位置，直到MDL目標(biāo)函數(shù)值達到收斂，從而得到優(yōu)化的點對應(yīng)關(guān)系；(8)在點對應(yīng)關(guān)系確定的基礎(chǔ)上，對于連續(xù)視頻中某幀行人輪廓的N階橢圓傅立葉分解，除去3個常橢圓傅立葉系數(shù)，剩下的橢圓傅立葉系數(shù)可組成一長度為4N-3的一維向量EFC(S，N)。再考慮所有幀的輪廓，從而得到行人時空輪廓的壓縮表示。2.根據(jù)權(quán)利要求1的基于橢圓傅立葉分解的行人時空輪廓表示方法，其特征在于，所述預(yù)處理操作包括(a)建立多分布的背景分布模型；(b)二值化行人輪廓圖像；(c)形態(tài)學(xué)算子過濾噪聲；(d)8連通區(qū)域跟蹤法提取原始行人高維時空輪廓。全文摘要本發(fā)明公開了一種基于橢圓傅立葉分解的行人時空輪廓表示方法。主要分三個步驟進行，首先使用多分布模型進行背景模型更新，然后利用二值化、形態(tài)學(xué)算子和8連通輪廓跟蹤法提取出待處理的原始行人的時空輪廓。接著基于MDL確定點對應(yīng)關(guān)系，對于目標(biāo)函數(shù)增加表示灰度分布特征的CDI特征，以得到準(zhǔn)確的點對應(yīng)關(guān)系。最后分析行人輪廓的閉合性，考慮到其上任意點沿輪廓移動最終會回到原來位置的周期性特點，利用橢圓傅立葉分解，忽略高頻形狀細(xì)節(jié)部分，保留低頻全局形狀信息，從而將高維的2D+time輪廓向量表示為低維的EFCShape向量。本發(fā)明在保留對輪廓分析的有效信息的同時，實現(xiàn)了輪廓數(shù)據(jù)的有效壓縮，為后續(xù)的步態(tài)識別等應(yīng)用提供了一個高效的輪廓表示方法。文檔編號G06K9/00GK101799865SQ201010113829公開日2010年8月11日申請日期2010年2月25日優(yōu)先權(quán)日2010年2月25日發(fā)明者廖小勇,張茵,楊松紹,王紹宇,盛秀梅,羅友軍申請人:上海復(fù)控華龍微系統(tǒng)技術(shù)有限公司