專利名稱：基于啟發(fā)信息的行人流量統(tǒng)計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于智能視頻監(jiān)控領(lǐng)域，具體涉及一種基于啟發(fā)信息的行人流量統(tǒng)計(jì)方法。
背景技術(shù)：
行人流量統(tǒng)計(jì)就是統(tǒng)計(jì)某個(gè)時(shí)間段內(nèi)進(jìn)出某一通道的人數(shù)。從不同的角度分類， 行人流量統(tǒng)計(jì)系統(tǒng)有多種類型。按照所選硬件平臺的不同，可分為接觸式(如旋轉(zhuǎn)門)，傳感器式(如激光束)，和基于視覺式(如攝像機(jī))系統(tǒng)。按照攝像機(jī)安放位置的不同，可分為基于垂直攝像和基于傾斜攝像的系統(tǒng)。按照攝像機(jī)是否被標(biāo)定，可分為相機(jī)標(biāo)定式和相機(jī)未標(biāo)定式系統(tǒng)。接觸式和傳感器式系統(tǒng)容易造成出入口的擁堵，且計(jì)數(shù)精度較差；基于垂直攝像的系統(tǒng)雖然計(jì)數(shù)精度高，算法簡單，但它只能從頂之下獲取行人的部分信息，出于安全監(jiān)控考慮，我們需要保留行人的其它信息(如面部特征，衣著特征等)，而且當(dāng)今監(jiān)控?cái)z像頭以傾斜攝像為主；相機(jī)標(biāo)定式系統(tǒng)需要尋求相機(jī)本身的標(biāo)定系數(shù)，不具有普適性。因此，綜合考慮各方面因素，當(dāng)今多數(shù)行人流量統(tǒng)計(jì)系統(tǒng)是相機(jī)未標(biāo)定、基于傾斜攝像的。近年來，已有一些研究工作在這方面開展，可參考Chan等人的文獻(xiàn)(A. B. Chan, Ζ. S. J. Liang, and N. Vasconcelos, “Privacy Preserving Crowd Monitoring: Counting People without People Models or Tracking, ，， In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, June 2008)?？偟膩碚f，可將所采用的算法大體分為三類。基于行人檢測跟蹤的方法。首先分割前景，然后采用匹配搜索的方法檢測行人或行人的一部分(人臉，人頭，頭肩，上身等)，最后對檢測的結(jié)果進(jìn)行跟蹤，一條有效的跟蹤軌跡代表一個(gè)行人。此類方法中的兩個(gè)核心技術(shù)——行人檢測和運(yùn)動目標(biāo)跟蹤，在視頻監(jiān)控領(lǐng)域本身就是兩類技術(shù)難題，算法的復(fù)雜度較高，這為計(jì)數(shù)系統(tǒng)的實(shí)時(shí)性能帶來了考驗(yàn)?；谔卣鼽c(diǎn)軌跡聚類的方法。首先提取某些利于跟蹤的特征點(diǎn)，例如角點(diǎn)，然后對這些特征點(diǎn)逐幀跟蹤，形成特征軌跡，最后將具有相似性特征的軌跡聚類，一個(gè)類代表一個(gè)行人。此類方法要求統(tǒng)計(jì)的運(yùn)動目標(biāo)需具同一性，且需要尋求一種較好的聚類方法?；诘蛯犹卣骰貧w的方法。首先分割前景，然后提取前景區(qū)域中的低層特征(面積，周長，邊緣，邊緣方向，紋理等)，形成一個(gè)若干維的特征向量，最后通過某種回歸函數(shù)來確定特征向量與人數(shù)之間的對應(yīng)關(guān)系。此類方法無需進(jìn)行行人檢測和跟蹤，但是對前景分割結(jié)果的依賴性較大，且一般情況下需要對大量特定場景的樣本進(jìn)行標(biāo)注訓(xùn)練，缺乏通用性。

發(fā)明內(nèi)容
本發(fā)明的目的主要是針對現(xiàn)有的行人流量統(tǒng)計(jì)系統(tǒng)很難在滿足計(jì)數(shù)精度的前提下，達(dá)到較好的實(shí)時(shí)性，而提供一種算法復(fù)雜度低、有較好精度的方法，實(shí)現(xiàn)對一般場景中的行人流量統(tǒng)計(jì)。
本發(fā)明方法步驟如下
步驟(1)獲取輸入視頻的第一幀圖像，在該圖像任意位置設(shè)定一個(gè)虛擬門。步驟( 采用混合高斯背景建模方法，將前景區(qū)域從背景中分割出來，并對得到的前景區(qū)域進(jìn)行后處理，后處理主要包括以下步驟
1)采用形態(tài)學(xué)腐蝕和膨脹方法去除噪聲；
2)分析前景點(diǎn)的連通性，去除小于某個(gè)閾值的連通區(qū)域。步驟(3)將原圖轉(zhuǎn)換到HSV空間后，去除前景區(qū)域的陰影部分。步驟學(xué)習(xí)階段。包括以下步驟
1)采用基于梯度方向直方圖的方法進(jìn)行行人檢測；
2)利用檢測出的行人的外接矩形中心的縱坐標(biāo)和矩形框內(nèi)的前景點(diǎn)象素總數(shù)來構(gòu)成行人模型，并將若干個(gè)行人模型通過最小二乘法擬合成直線，形成啟發(fā)信息；
3)通過啟發(fā)信息，確定虛擬門上各點(diǎn)與其所在位置行人模型中的前景點(diǎn)象素總數(shù)的比值，來為每個(gè)點(diǎn)賦予權(quán)重。步驟(5)計(jì)數(shù)階段。包括以下步驟
1)采用稀疏光流LK算法對門上的點(diǎn)進(jìn)行運(yùn)動補(bǔ)償。包括如下步驟 a由稀疏光流LK算法確定的相角與虛擬門方向之間的夾角確定運(yùn)動矢量方向； b由稀疏光流LK算法確定的幅值與運(yùn)動矢量方向的正弦值確定運(yùn)動矢量大小。2)統(tǒng)計(jì)門上各個(gè)前景點(diǎn)的個(gè)數(shù)并獲得其信息，包括權(quán)重、運(yùn)動矢量的大小和方向。 通過補(bǔ)償后的前景點(diǎn)的加權(quán)和來統(tǒng)計(jì)行人流量。本發(fā)明是基于低層特征回歸方法的一個(gè)變種，不同于傳統(tǒng)依賴檢測、跟蹤或是特征點(diǎn)聚類方法具有較高的算法復(fù)雜度，本發(fā)明主要復(fù)雜度集中在行人檢測，學(xué)習(xí)階段完成后，在計(jì)數(shù)階段即可達(dá)到實(shí)時(shí)計(jì)數(shù)的效果。對來自CAVIAR Test Case kenarios公開數(shù)據(jù)庫中的幾個(gè)視頻進(jìn)行測試，能夠達(dá)到85%以上的計(jì)數(shù)精度。


圖1是一幅流程框圖，表示了本發(fā)明的整個(gè)過程。圖2是虛擬門設(shè)置的一幅示例圖。圖3 (a)是一幀原始圖像。圖3(b)是利用混合高斯背景建模方法，并進(jìn)行后處理的前景分割示例圖。圖3(c)是在圖3(b)的基礎(chǔ)上去除陰影后的效果圖。圖4是利用梯度方向直方圖方法檢測出的行人。圖5是通過最小二乘法將6個(gè)行人模型擬合后得到的直線。
具體實(shí)施例方式以下將參考附圖詳細(xì)介紹本發(fā)明的實(shí)施例。圖1是一個(gè)流程框圖，表示了本發(fā)明基于啟發(fā)信息的行人流量統(tǒng)計(jì)系統(tǒng)方法的流程圖。本方法處理的視頻可以針對多種視頻編碼格式，例如MPG、FLV等，只要能將該格式的視頻轉(zhuǎn)換為XviD編碼的AVI格式視頻即可。在此實(shí)施例中假定輸入的視頻已經(jīng)是XviD編碼后的AVI格式了。虛擬門設(shè)置是計(jì)數(shù)系統(tǒng)運(yùn)行前必不可少的一步。首先獲取輸入視頻的第一幀圖像，在該圖像任意位置設(shè)定一個(gè)虛擬門。這里所謂的虛擬門實(shí)際上是人為確定的、處于圖像任意位置的一條直線。在畫虛擬門時(shí)，用戶只需要確定其兩個(gè)端點(diǎn)，系統(tǒng)將會自動采用 Bresenham算法繪制直線。虛擬門可以認(rèn)為是手工設(shè)置的一個(gè)感興趣區(qū)域，后續(xù)步驟都將圍繞它展開。虛擬門的長短和方向設(shè)定是任意的，但是在一般情況下，為了計(jì)數(shù)的準(zhǔn)確性，在設(shè)置虛擬門時(shí)，應(yīng)使其落在視覺的地平面上并且與行人大體運(yùn)動方向垂直。虛擬門示例圖如圖2。兩個(gè)端點(diǎn)坐標(biāo)值分別為(70，178)和(四0，178)。前景分割(即運(yùn)動區(qū)域檢測)結(jié)果的好壞直接影響到最終的統(tǒng)計(jì)結(jié)果，因?yàn)槿肆鞯臄?shù)量是通過累加虛擬門上的前景點(diǎn)而獲得的。本實(shí)施例采用Gauffer等人設(shè)計(jì)的混合高斯背景模型(C. Stauffer, W. E. L. Grimson. "Adaptive background mixture models for real-time tracking, 〃 Computer Vision and Pattern Recognition, IEEE Computer Society Conference on, Vol. 2 (06 August 1999)，pp. 246-252)來獲取前景。此方法用N個(gè)高斯分布模型來一同描述背景像素的分布規(guī)律。實(shí)施例中幾個(gè)關(guān)鍵變量設(shè)置為高斯分布個(gè)數(shù) N=4，背景比例 T=O. 7，學(xué)習(xí)速率 Alpha=max (0. 001, l/framelndex) (framelndex 為幀的索引值)，學(xué)習(xí)速率Beta=max (Alpha, l/framelndex)，匹配閾值Lambda=2. 5，初始權(quán)重^iitWfeight=O. 05，初始方差^ιΗ θ1 ει=320。為了使結(jié)果更精確，需要進(jìn)行后處理。首先利用形態(tài)學(xué)方法，先腐蝕后膨脹，去除前景及背景中的噪聲點(diǎn)，然后分析連通性(這里的連通性指的是某個(gè)象素點(diǎn)的8連通域)，去除面積小于某個(gè)閾值的噪聲塊。這個(gè)閾值初始化時(shí)被賦予較小值(實(shí)施例中取經(jīng)驗(yàn)值200)，在計(jì)數(shù)階段，可以根據(jù)學(xué)習(xí)階段獲取的行人模型的大小，將該閾值自適應(yīng)調(diào)整到一個(gè)合適的值。附圖3(b)是圖3(a)利用上述背景建模以及后處理方法后提取運(yùn)動區(qū)域的一幅示例圖。陰影去除部分是在運(yùn)動目標(biāo)檢測之后，對一些與運(yùn)動目標(biāo)有著相同運(yùn)動特征的陰影進(jìn)行消除的過程。在獲取前景時(shí)，由于光照的影響，行人運(yùn)動時(shí)產(chǎn)生的陰影也被當(dāng)成了運(yùn)動像素，這無疑會使最終的統(tǒng)計(jì)結(jié)果偏大。為此，去除陰影也是必不可少的一個(gè)步驟。本實(shí)施例米用文獻(xiàn)(R. Cucchiara, C. Grana, M. Piccardi, and A. Prati. "Detecting moving objects, ghosts, and shadows in video streams, 〃 IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003，Vol. 25(10) : 1337—1342.)的方法，將原圖轉(zhuǎn)換到HSV空間，檢測并去除陰影。可以根據(jù)式⑴的方法判斷HSV空間中的某個(gè)前景點(diǎn)是否為陰影。
權(quán)利要求
1.基于啟發(fā)信息的行人流量統(tǒng)計(jì)方法，其特征在于該方法包括以下步驟(1)獲取輸入視頻的第一幀圖像，在該圖像任意位置設(shè)定一個(gè)虛擬門；(2)采用混合高斯背景建模方法，將前景區(qū)域從背景中分割出來，并對前景進(jìn)行后處理；(3)將原圖轉(zhuǎn)換到HSV空間后，去除前景區(qū)域的陰影部分；(4)學(xué)習(xí)階段，包括以下步驟4-1采用基于梯度方向直方圖的方法進(jìn)行行人檢測； 4-2通過檢測結(jié)果形成啟發(fā)信息；4-3為虛擬門上的每個(gè)點(diǎn)賦予權(quán)重；(5)計(jì)數(shù)階段，包括以下步驟5-1采用稀疏光流LK算法對門上的點(diǎn)進(jìn)行運(yùn)動補(bǔ)償； 5-2通過補(bǔ)償后的前景點(diǎn)的加權(quán)和來統(tǒng)計(jì)行人流量。
2.如權(quán)利要求1所述的方法，其特征在于步驟4-2中所述的通過檢測結(jié)果形成啟發(fā)信息是采用最小二乘法將若干個(gè)行人模型擬合后形成一條直線。
3.如權(quán)利要求2所述的方法，其特征在于所述的行人模型是由檢測出的行人的外接矩形中心的縱坐標(biāo)和矩形框內(nèi)的前景點(diǎn)象素總數(shù)構(gòu)成。
4.如權(quán)利要求1所述的方法，其特征在于步驟4-3中所述的為虛擬門上的每個(gè)點(diǎn)賦予權(quán)重是由各點(diǎn)與其所在位置行人模型中的前景點(diǎn)象素總數(shù)的比值來確定。
5.如權(quán)利要求1所述的方法，其特征在于步驟O)中所述的前景后處理步驟包括A.采用形態(tài)學(xué)腐蝕和膨脹方法去除噪聲；B.分析前景點(diǎn)的連通性，去除小于某個(gè)閾值的連通區(qū)域。
6.如權(quán)利要求1所述的方法，其特征在于步驟5-1中所述的采用稀疏光流LK算法對門上的點(diǎn)進(jìn)行運(yùn)動補(bǔ)償步驟包括C.由稀疏光流LK算法確定的相角與虛擬門方向之間的夾角確定運(yùn)動矢量方向；D.由稀疏光流LK算法確定的幅值與運(yùn)動矢量方向的正弦值確定運(yùn)動矢量大小。
全文摘要
本發(fā)明涉及一種基于啟發(fā)信息的行人流量統(tǒng)計(jì)方法。本發(fā)明首先在輸入視頻的第一幀圖像中的任意位置設(shè)定一個(gè)虛擬門；然后采用混合高斯背景建模方法分割前景，并對結(jié)果后處理，去除噪聲；接著，將原圖轉(zhuǎn)換到HSV空間，去除前景中的陰影部分；在學(xué)習(xí)階段，采用基于梯度方向直方圖的方法進(jìn)行行人檢測，并將若干檢測結(jié)果通過最小二乘法擬合成直線后，作為啟發(fā)信息確定虛擬門上各點(diǎn)與其所在位置行人模型的前景點(diǎn)象素總數(shù)的比值，來為每個(gè)點(diǎn)賦予權(quán)重；在計(jì)數(shù)階段，采用稀疏光流LK算法對門上的點(diǎn)進(jìn)行運(yùn)動補(bǔ)償，確定運(yùn)動矢量的大小和方向，并通過累加這些具有權(quán)重的、經(jīng)過運(yùn)動補(bǔ)償了的前景點(diǎn)以達(dá)到行人流量統(tǒng)計(jì)的目的。本發(fā)明復(fù)雜度低、計(jì)數(shù)精度高。
文檔編號G07C9/00GK102194270SQ201110147358
公開日2011年9月21日 申請日期2011年6月2日 優(yōu)先權(quán)日2011年6月2日
發(fā)明者吳海虹, 姚金良, 汪澄, 王大全, 王小華, 王榮波, 諶志群, 陸蓓 申請人:杭州電子科技大學(xué)