本發(fā)明涉及安防監(jiān)控領域，更具體地，涉及一種基于邊緣約束的實時行人檢測方法。

背景技術：

現(xiàn)有技術中所提及的行人檢測技術，為給定一張輸入圖像自動地檢測出輸入圖像中行人的位置的技術。隨著社會的發(fā)展，公共場所的安防問題變得越來越重要，而行人檢測技術是行人跟蹤的基礎，會很大程度上輔助公共場所的安防監(jiān)控，因此越來越受到重視。行人檢測技術在視頻監(jiān)控、人機互動、公安偵查等領域都有廣泛的應用。譬如，在人機互動系統(tǒng)中，運動機器人通過攝像頭拍攝的畫面檢測出行人的位置并緊緊跟隨，然后協(xié)助人完成各種事情。在公安偵查方面，通過檢測公共場所中行人的位置，判斷出行人的數(shù)量；或者大致判斷出公共場所是否有異常事件發(fā)生。

現(xiàn)有的行人檢測技術主要有以下幾種：

1)基于前景輪廓的行人檢測方法。該方法首先對輸入圖像進行前景提取，將背景消去，提取出感興趣的前景部分，然后根據(jù)前景輪廓與行人輪廓的相似度判斷每個前景連通域是不是行人，從而檢測出行人的位置。

2)基于前后幀運動信息的行人檢測方法。該方法利用幀與幀之間的差異信息提取邊緣灰度圖進行行人檢測。其具體如下：對于t時刻的輸入圖像，計算t時刻灰度圖和t-1時刻灰度圖的絕對差值，得到絕對差灰度圖像gt，同理再計算t-1時刻灰度圖和t-2時刻灰度圖的絕對差值，得到第二張絕對差灰度圖像gt-1，總的運動區(qū)域邊緣灰度圖gt定義為gt和gt-1進行與操作的結果。得到前后幀運動區(qū)域的邊緣灰度圖gt后，根據(jù)邊緣符不符合人體對稱的特點，從而判斷出圖像中行人的位置。

3)基于特征分類器的行人檢測方法。該方法利用一個固定大小的模板在圖像上遍歷一遍，然后對圖像上的每一個位置都提取方向梯度直方圖特征(hog)和局部二值模式(lbp)作為圖像的邊緣信息，然后用支持向量機進行分類實現(xiàn)行人檢測。

4)基于神經(jīng)網(wǎng)絡的行人檢測方法。首先根據(jù)前景提取算法提取出人體輪廓信息，然后結合人體的頭肩寬高比建立頭肩輪廓模型并提取出頭肩輪廓特征向量，將提取的頭肩輪廓特征向量輸入至bp神經(jīng)網(wǎng)絡，聚類出多個人體頭肩模型，進行行人檢測。

現(xiàn)有的行人檢測技術尚有許多不足。比如，基于特征分類器和基于神經(jīng)網(wǎng)絡的行人檢測方法利用物體的邊緣、輪廓、顏色等信息，通過輸入到分類器或神經(jīng)網(wǎng)絡進行行人檢測，能夠具有較強的魯棒性，同時準確度較高。但這種方法需要事先用大量數(shù)據(jù)訓練分類器或神經(jīng)網(wǎng)絡，其訓練周期過長。且用這種方法進行行人檢測時需要耗費比較長的時間，無法做到實時快速檢測，難以滿足實際的需求。

基于前后幀運動信息的行人檢測方法把運動的邊緣圖提取了出來，并利用行人身體的對稱性作為判斷是否為行人的條件。方法有很強的實時性，但對于靜止不動的行人，由于方法無法提取出行人的邊緣信息，因此無法檢測出行人。

基于前景輪廓的行人檢測方法無論對于運動或靜止的行人都能提取出輪廓信息并檢測出來，并且算法快速。然而光照變化等外部因素容易造成偽前景，這種方法在這種情況下容易發(fā)生誤判，魯棒性較差。

為了實現(xiàn)行人檢測的實時快速性，往往只能采用邊緣、輪廓等比較簡單的特征，搭配上比較簡單的匹配算法，如基于前景輪廓的和基于前后幀運動信息的行人檢測方法。由于使用了較簡單的特征，這些方法的魯棒性較差。靜態(tài)圖像的邊緣紋理信息是一種魯棒的特征，然而由于這種特征較復雜，許多方法往往把它輸入到分類器中進行分類，這雖然提高了魯棒性，但是降低了算法的實時性。

技術實現(xiàn)要素：

本發(fā)明為解決以上現(xiàn)有技術提供的方法魯棒性和實時性不能兼容的缺陷，提供了一種基于邊緣約束的實時行人檢測方法。

為實現(xiàn)以上發(fā)明目的，采用的技術方案是：

一種基于邊緣約束的實時行人檢測方法，其特征在于：包括以下步驟：

s1.對輸入圖像進行初步的行人檢測，將初步檢測得到的候選目標從輸入圖像中截取出來；

s2.將步驟s1截取的圖像轉換成灰度圖像ig；

s3.對步驟s1截取的圖像進行混合高斯模型的背景建模，得到候選目標的背景圖，將背景圖轉換成灰度圖ibg；

s4.創(chuàng)建和兩個模板，令ig和ibg分別與p1和p2卷積，得到ig的垂直方向邊緣圖ef1、ig的水平方向邊緣圖ef2、ibg的垂直方向邊緣圖eb1、ibg的水平方向邊緣圖eb2：

ef1＝ig*p1

ef2＝ig*p2

eb1＝ibg*p1

eb2＝ibg*p2

s5.通過ef1，ef2，eb1和eb2求取ig綜合方向的邊緣圖ef和ibg綜合方向的邊緣圖eb：

s6.將ef與eb相減取絕對值后再二值化，得到邊緣差值圖et：

m的取值范圍為[10,30]；

s7.判斷et中像素值大于m的像素點數(shù)占總的像素點數(shù)的比例，若該比例超過設定的閾值te，則判斷候選目標為行人，并在輸入圖像中標記；否則判斷候選目標為非行人。

上述方案中，本發(fā)明提供的方法首先使用傳統(tǒng)的行人檢測方法進行初步的行人檢測，然后在初步的行人檢測的基礎上增加邊緣信息約束，使得行人檢測算法具有實時性和魯棒性。

優(yōu)選地，所述步驟s1使用基于輪廓信息和模板匹配的行人檢測方法對輸入圖像進行初步的行人檢測，其具體過程如下：

s11.設已有n張行人圖像ii，i＝1,…,n，對n張行人圖像用線性插值法重定成30*50像素尺寸后，進行混合高斯模型的背景建模，得到每張行人圖像的前景圖if,i；

s12.對于行人圖像ii的前景圖if,i，對其進行閉操作后，將其與[1,0,1]和[1,0,1]^t兩個模板進行卷積，得到兩張邊緣圖g1和g2；

s13.對g1和g2取平方和開根號后得到行人圖像ii的輪廓邊緣圖gi；

s14.對行人圖像ii的輪廓邊緣圖gi搜索其邊緣點的坐標信息，得到輪廓邊緣圖gi的輪廓形狀向量si；

s15.對各張行人圖像進行步驟s12～s14的處理，得到各張行人圖像的輪廓形狀向量；

s16.對所有行人圖像的輪廓形狀向量進行取平均處理，得到平均的輪廓形狀向量

s17.基于輪廓形狀向量構建行人輪廓模板t；

s18.對于輸入圖像i，通過混合高斯模型的背景建模得到其前景圖if，及背景圖ib；

s19.對前景圖if進行閉操作處理后，使用一個和行人輪廓模板t相同大小的像素全為255的模板t與前景圖if進行卷積；

s20.將模板t在if上每個位置卷積后所包含圖像裁剪出來，得到it，it表征物體的形狀輪廓信息；

s21.令it與行人輪廓模板t進行相與操作，得到令it和行人輪廓模板t分別與相減，得到d1和d2：

s22.分別統(tǒng)計d1和d2中灰度值非零的像素點的數(shù)量，然后進行取平均處理，得到d1和d2中灰度值非零像素點的平均數(shù)量

s23.求取平均數(shù)量占it中的像素點的比例：

其中h為it的高度，w為it的寬度；

s24.若r小于設定的閾值threshold，則認為it所表征的物體與行人輪廓模板t匹配，則將it確認為候選目標。

優(yōu)選地，所述threshold的值為0.1。

優(yōu)選地，所述輪廓形狀向量si是大小為2*n的矩陣，其中n為輪廓邊緣圖gi的邊緣點個數(shù)，輪廓形狀向量si第一行存放輪廓邊緣圖gi中邊緣點的x坐標信息，第二行存放輪廓邊緣圖gi中邊緣點的y坐標信息。

優(yōu)選地，所述步驟s16中，若各張行人圖像的輪廓形狀向量的長度不一致；設所有的輪廓形狀向量中長度最短的輪廓形狀向量的長度為n，則對各張行人圖像的輪廓形狀向量只取前n個元素參與平均值計算。

與現(xiàn)有技術相比，本發(fā)明的有益效果是：

本發(fā)明提供的方法首先使用傳統(tǒng)的行人檢測方法進行初步的行人檢測，然后在初步的行人檢測的基礎上增加邊緣信息約束，使得行人檢測算法具有實時性和魯棒性。

附圖說明

圖1為方法的流程圖。

圖2(a)為輸入圖像的示意圖。

圖2(b)為輸出的前景圖像的示意圖。

圖2(c)為背景建模得到的背景圖的示意圖。

圖3從左往右依次是行人裁剪圖像、背景建模后得到的前景圖行人的輪廓邊緣圖。圖4(a)為物體裁剪圖像。

圖4(b)為圖4(a)的前景圖像。

圖4(c)為行人輪廓模板。

圖4(d)為圖4(b)減去圖4(b)后和圖4(c)相與的結果。

圖4(e)為圖4(c)減去圖4(b)后與圖4(c)相與的結果。

圖5(a)為輸入圖像。

圖5(b)為提取得到的邊緣圖。

圖6(a)為實驗的結果示意圖一。

圖6(b)為實驗的結果示意圖二。

具體實施方式

附圖僅用于示例性說明，不能理解為對本專利的限制；

以下結合附圖和實施例對本發(fā)明做進一步的闡述。

實施例1

如圖1所示，本發(fā)明提供的方法的具體流程如下：

一、對輸入圖像進行初步的行人檢測，將初步檢測得到的候選目標從輸入圖像中截取出來。

其中，可以使用傳統(tǒng)的方法進行初步的行人檢測，比如，基于輪廓信息和模板匹配的行人檢測方法。這里所使用到的方法要求具有較快的算法速率。以保證整個檢測方法的實時快速性。

二、將步驟一截取的圖像轉換成灰度圖像ig。

三、對步驟一截取的圖像進行混合高斯模型的背景建模，得到候選目標的背景圖，將背景圖轉換成灰度圖ibg。

背景建模指的是對已有圖像的背景像素數(shù)值進行統(tǒng)計，建立起背景的概率密度模型，當候選目標輸入時，可以通過比較候選目標的每一個像素與背景概率密度模型的相似程度，從而判斷出該像素屬于前景還是屬于背景，然后把候選目標中的背景部分裁剪出來。本實施例采用的是混合高斯模型的背景建模方法，這種背景建模方法使用多個高斯模型來擬合背景的概率密度模型，具有較好的魯棒性和準確性，效果及過程如圖2所示。

四、創(chuàng)建和兩個模板，令ig和ibg分別與p1和p2卷積，得到邊緣圖ef1，ef2，eb1和eb2:

ef1＝ig*p1

ef2＝ig*p2

eb1＝ibg*p1

eb2＝ibg*p2。

ef1，ef2，eb1和eb2的求取過程如圖5所示。

五、通過ef1，ef2，eb1和eb2求取ef、et：

六、將ef與eb相減取絕對值后再二值化，得到邊緣差值圖et：

七、判斷et中像素值大于m的像素點數(shù)占總的像素點數(shù)的比例，若該比例超過設定的閾值te，則判斷候選目標為行人，并在輸入圖像中標記；否則判斷候選目標為非行人。

實施例2

本實施例對步驟一中使用到的檢測方法進行了具體的介紹，本實施例的步驟一中使用基于輪廓信息和模板匹配的行人檢測方法對輸入圖像進行初步的行人檢測，其具體過程如下：

s11.設已有n張行人圖像ii，i＝1,…,n，對n張行人圖像分別進行混合高斯模型的背景建模，得到每張行人圖像的前景圖if,i。

s12.對于行人圖像ii的前景圖if,i，對其進行閉操作后，將其與[1,0,1]和[1,0,1]^t兩個模板進行卷積，得到兩張邊緣圖g1和g2。

s13.對g1和g2取平方和開根號后得到行人圖像ii的輪廓邊緣圖gi。如圖3所示。

s14.對行人圖像ii的輪廓邊緣圖gi搜索其邊緣點的坐標信息，得到輪廓邊緣圖gi的輪廓形狀向量si。

s15.對各張行人圖像進行步驟s12～s14的處理，得到各張行人圖像的輪廓形狀向量。

s16.對所有行人圖像的輪廓形狀向量進行取平均處理，得到平均的輪廓形狀向量

s17.基于輪廓形狀向量構建行人輪廓模板t。

s18.對于輸入圖像i，通過混合高斯模型的背景建模得到其前景圖if，及背景圖ib。

s19.對前景圖if進行閉操作處理后，使用一個和行人輪廓模板t相同大小的模板t與前景圖if進行卷積。

s20.將卷積后模板t上包含的前景圖像裁剪出來，得到it，it表征物體的形狀輪廓信息。

s21.令it與行人輪廓模板t進行相與操作，得到令it和行人輪廓模板t分別與相減，得到d1和d2：

s22.分別統(tǒng)計d1和d2中灰度值非零的像素點的數(shù)量，然后進行取平均處理，得到d1和d2中灰度值非零像素點的平均數(shù)量

s23.求取平均數(shù)量占it中的像素點的比例：

其中h為it的高度，w為it的寬度。

s24.若r小于設定的閾值threshold，則認為it所表征的物體與行人輪廓模板t匹配，則將it確認為候選目標。如圖4所示。

實施例3

本實施例進行了具體的實驗，其具體的實驗過程如圖2(a)、圖2(b)、圖2(c)、圖3、圖4(a)、圖4(b)、圖4(c)、圖4(d)、圖4(e)、圖5(a)、圖5(b)所示。其具體的實驗結果如圖6(a)、圖6(b)所示。實驗表明，本發(fā)明提供的方法在不同光照下仍可以準確有效地檢測行人位置，對光照變化的魯棒性較強。

顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明權利要求的保護范圍之內。