本發(fā)明涉及一種基于colbp共生特征與gss特征的行人檢測方法，屬于計算機視覺與圖像處理的技術領域。

背景技術：

當前行人檢測的研究已經(jīng)取得巨大的進展。早期工作主要集中在利用haar小波變換實現(xiàn)行人檢測的特征提取。目前，hog特征廣泛應用于行人檢測領域，該方法將局部單元(cells)中的梯度信息整合到直方圖中，并通過局部歸一化增強該特征對光照、陰影和邊緣變化的魯棒性。雖然hog在單一特征表示方面具有很大的優(yōu)越性，但仍然具有一定的缺陷性，例如描述子生成過程冗長，很難處理遮擋，對噪點相當敏感等。因此，相繼出現(xiàn)其他特征實現(xiàn)行人檢測，例如基于hof的運動描述符，基于lbp的紋理描述符，以及基于顏色自相似特征的描述符。

另外，共生特征也廣泛應用于行人檢測領域，通過計算梯度幅值設計出一種用于檢測共生方向的共生colbp共生特征，基于多harr-like共生特征設計出一種人臉識別器。為了進一步提高行人檢測的性能，逐漸出現(xiàn)了一些組合多種低層次特征的方法。例如基于強度、深度和密集流數(shù)據(jù)計算的hog-lbp特征構建的多級混合專家模型；融合灰度，luv顏色和通過取向梯度幅值量化的行人檢測框架。

以及，在hog特征的基礎上，演變出許多更高層次的特征，例如全局姿態(tài)不變描述符。另外，形狀也是行人檢測的常用線索。另一種方法是基于輪廓來表示中間層邊緣特征，通過手繪輪廓的聚類補丁生成令牌標記以捕獲局部邊緣結構。每個像素令牌標記的表示與其他多圖像通道進行組合，作為增強型檢測器的特征。以上特征雖然種類較多，但由于特征相對單一，或者組合特征檢測效果不明顯，因此在一些遮擋，光照變化強烈的復雜的環(huán)境下，檢測效果不是很理想。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題在于克服現(xiàn)有技術的不足，提供一種基于colbp共生特征與gss特征的行人檢測方法，解決現(xiàn)有的行人檢測方法中特征相對單一，或者組合特征檢測效果不明顯，在一些遮擋及光照變化強烈的復雜的環(huán)境下，檢測效果不佳的問題，以提高行人檢測準確率。

本發(fā)明具體采用以下技術方案解決上述技術問題：

一種基于colbp共生特征與gss特征的行人檢測方法，包括以下步驟：

步驟a、提取視頻序列中每一幀圖像的hog特征及l(fā)bp特征，根據(jù)每一幀圖像中的hog特征計算出圖像局部梯度塊之間的成對梯度自相似性的gss特征，同時根據(jù)lbp特征得到colbp共生特征；

步驟b、采用特征生成器fgm移除不對稱的gss特征，得到判別梯度自相似性dgss特征；

步驟c、基于hog特征與colbp共生特征訓練的線性svm分類器移除圖像中的負樣本；對于剩余負樣本與正樣本，利用基于hog特征與dgss特征訓練的real-adaboost分類器再次檢測每一幀圖像中的行人，獲得檢測結果。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案，所述步驟a中計算成對梯度自相似性gss特征，具體包括：利用hog特征對局部梯度塊進行方向編碼，并通過計算每一個局部梯度塊與其水平翻轉局部梯度塊之間的距離得到距離矩陣，并根據(jù)距離矩陣計算出成對梯度自相似性的gss特征。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案，所述步驟a所得到的距離矩陣具體為：

dij＝min{d(hi,hj),d(hi',hj)}i,j＝1,2,.....m

其中，d表示距離，hi表示非翻轉局部梯度塊，hi’表示hi的水平翻轉局部梯度塊，d定義為歐氏距離。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案，所述步驟a中，根據(jù)距離矩陣計算出成對梯度自相似性的gss特征具體為：

根據(jù)距離矩陣，確定每一幀圖像中hog塊與其水平翻轉塊之間對稱的相似性矩陣：

其中，dmax與dmin分別表示一幀圖像中局部梯度塊之間的最大距離和最小距離，ε為接近于0的正數(shù)；dij表示距離矩陣；

采用sij矩陣的上三角矩陣sup獲得gss特征向量fgss，且采用冪次變換依次對每一對特征塊的gss特征進行增強處理，及通過范數(shù)歸一化獲得成對梯度自相似性的gss特征。

進一步地，作為本發(fā)明的一種優(yōu)選技術方案，所述步驟a根據(jù)圖像的lbp特征得到colbp共生特征，具體為：

定義每一對像素之間的共生模式{dx,dy,f1,f2}滿足以下約束：

其中{x1,y1}，{x2,y2}分別為像素a與b的坐標，dx與dy分別表示像素a與b在x方向與y方向的距離之差，f1，f2分別表示像素a與b經(jīng)過特征提取后得到的像素值；f1，f2∈特征空間f；

獲取每一個lbp特征的等價模式，并將等價模式后的每一個lbp特征分成9個聚類，用特征空間f表示；及在滿足共生模式{dx,dy,f1,f2}的基礎上，確定colbp共生特征向量為：

cij＝count(dx,dy,fi,fj)

f＝lbpn,r,h,1≤i,j≤9

其中fi，fj是lbp特征空間f的聚類數(shù)；當h＝0時，lbpn,r,h表示圖像的亮度值；當h＝1時，lbpn,r,h表示圖像在水平方向的亮度梯度值；當h＝2時，lbpn,r,h表示y方向的亮度梯度值，colbp(dx,dy,h)表示共生特征矩陣，cij表示所有滿足共生模式{dx,dy,f1,f2}的共生特征的數(shù)量。

本發(fā)明采用上述技術方案，能產(chǎn)生如下技術效果：

本發(fā)明主提供的基于colbp共生特征與gss特征的行人檢測方法，旨在改善因特征單一而造成的行人檢測不準確問題。現(xiàn)有方法通?；谝环N特征進行檢測，效果往往不理想；而對于多特征組合的行人檢測方法，往往又造成特征的計算成本較高等問題。

本發(fā)明的有益效果主要體現(xiàn)在以下幾個方面：第一、在lbp與hog特征的基礎上進一步得到更高層次的colbp共生特征與gss特征，增加了行人特征提取的可靠性；第二、本發(fā)明的colbp共生特征與梯度自相似gss特征分別來自于lbp與hog特征，本質上降低特征計算的成本；第三、為了縮短分類器的訓練時間，進一步對gss特征進行降維處理，得到具有更高判別能力的dgss判別特征；第四、采用兩級級聯(lián)的分類器實現(xiàn)對行人檢測的性能評估，第一級分類器采用基于hog特征與colbp共生特征訓練的線性svm分類器移除每一幀圖像中的絕大多數(shù)負樣本，進一步提高了第二級分類器的分類效率；第二級分類器采用基于hog特征與gss特征訓練的real-adaboost強分類器實現(xiàn)完整的行人檢測。最后的檢測結果也表明，本發(fā)明所提方法具有較好的檢測效果。

附圖說明

圖1為本發(fā)明的整體流程圖。

圖2為gss特征描述行人的正樣本的平均自相似性矩陣。

圖3為α取不同值時的冪次變換。

圖4為每一個黑色像素與中心像素之間構成一個共生特征，dx,dy<＝4。

圖5表示檢測窗口(共15x7個塊)，圖中直線表示經(jīng)過fgm降維后的成對判別dgss特征。

圖6(a)至圖6(d)表示本發(fā)明方法在部分場景圖像的檢測結果。

具體實施方式

下面結合說明書附圖對本發(fā)明的實施方式進行描述。

如圖1所示，本發(fā)明提出一種基于colbp共生特征與gss特征的行人檢測方法，其實現(xiàn)思路為：首先計算出每一幀圖像的hog特征，進一步計算出hog特征塊之間的成對梯度自相似性gss特征，同時根據(jù)lbp特征得到colbp共生特征；其次，為了降低特征計算的成本，本發(fā)明還采用fgm去除gss中的非信息分量，并產(chǎn)生dgss特征；最后采用兩級級聯(lián)的分類器對行人檢測的性能進行評估。

本發(fā)明的基于colbp共生特征與gss特征的行人檢測方法的一個優(yōu)選實施方式，具體包括以下步驟：

步驟a、提取視頻序列中每一幀圖像的hog特征及l(fā)bp特征，根據(jù)每一幀圖像中的hog特征計算出圖像局部梯度塊之間的成對梯度自相似性的gss特征，同時根據(jù)lbp特征得到colbp共生特征。

首先，提取gss特征。由于hog在表示圖像局部梯度分布方面表現(xiàn)出優(yōu)越的性能，在檢測窗口中，本發(fā)明使用hog特征對局部梯度塊進行方向編碼，并通過計算特征空間中的距離來測量塊之間的成對梯度自相似性gss特征。

設h＝{h1,h2,...,hm}表示檢測窗口內(nèi)的hog塊特征，其中hi表示第i個塊特征；并規(guī)定每一個塊特征有2*2個相鄰單元構成，因此hi＝{hi1,hi2,hi3,hi4}可以進一步表述為第i個塊的級聯(lián)直方圖。本發(fā)明通過計算hog塊之間的距離來衡量局部輪廓之間的相似性。設水平翻轉后的局部梯度塊特征hi’＝{hi3’,hi4’,hi1’,hi2’}表示塊特征hi的翻轉向量，定義距離矩陣dij如下：

dij＝min{d(hi,hj),d(hi',hj)}i,j＝1,2,.....m(1)

其中d表示距離，hi表示非翻轉局部梯度塊，hi’表示hi的水平翻轉局部梯度塊。d可以定義為歐氏距離。

為了確保相似性取值位于(0，1]范圍內(nèi)，本發(fā)明采用以下公式定義hog特征塊之間的相似性，確定每一幀圖像中hog塊與其水平翻轉塊之間對稱的相似性矩陣，所述相似性矩陣表示為：

其中dmax與dmin分別表示一幀圖像中局部梯度塊之間的最大距離和最小距離，ε為接近于0的正數(shù)。

由于相似性矩陣sij為對稱矩陣，因此只需要采用sij矩陣的上三角矩陣sup表征局部梯度塊之間的相似性。在hog特征空間中，sup中的每個元素表示翻轉和非翻轉塊與其對稱塊之間的相似性。梯度自相似特征fgss定義如下：

其中fgss的維度為n＝m*(m-1)/2。圖2給出了pets2009數(shù)據(jù)集中所有正訓練樣本的平均相似性矩陣。

為了進一步說明gss特征的判別能力，本發(fā)明采用冪次變換依次對每一對小塊的gss特征進行增強處理，公式定義如下：

其中ɑ>0，圖3給出了ɑ取不同值時的冪次變換效果圖。

由于相似性矩陣sij中每個元素的取值在(0,1]范圍內(nèi)，該變換主要對0<ɑ<1或ɑ>1進行對比度拉伸。因為置信度值相對較高的特征容易被區(qū)分，所以本發(fā)明設置ɑ的值對比拉伸在(0.5,1]范圍內(nèi)。從圖3可以看出，當ɑ>1時產(chǎn)生了預期的對比拉伸。最后，通過l2范數(shù)歸一化gss＝fgss/║fgss║2。由此，可確定成對梯度自相似性的gss特征。

其次，提取colbp共生特征。共生特征可以通過一些預定義的共生模式來構建。設a＝{x1,y1,f1}，b＝{x2,y2,f2}為兩個不同的像素點。則每一對像素之間的共生模式{dx,dy,f1,f2}滿足以下約束：

其中{x1,y1}，{x2,y2}分別為像素a與b的坐標，dx與dy分別表示像素a與b在x方向與y方向的距離之差，f1，f2分別表示像素a與b經(jīng)過特征提取后得到的像素值，f1，f2∈特征空間f。模型如圖4所示，中心像素與每一個黑色像素構成一個配對的共生特征。

給定中心像素cen，則lbp特征定義如下：

其中d表示鄰域像素的個數(shù)，r表示中心像素與鄰域像素之間的距離，i表示累加亮度值。

為了解決二進制模式過多的問題，提高統(tǒng)計性，本發(fā)明采用“等價模式”對lbp算子的模式種類進行降維。當某個lbp所對應的循環(huán)二進制編碼從0到1或從1到0最多有兩次跳變時，該lbp所對應的二進制就稱為一個等價模式類，非等價模式都歸為混合模式類。等價模式定義如下：

3x3鄰域的lbp轉換為等價模式之后，維度降到58維。本發(fā)明基于等價模式提出共生colbp共生特征。本發(fā)明從圖像的亮度和梯度域考慮lbp特征。由于lbp特征的旋轉不變性，本發(fā)明基于'1'的數(shù)量將58維等價的lbp模式分成8個聚類，所有非等價模式合并成另一類。結果，lbp特征空間f被劃分為9個bins，因此colbp直方圖由9×9＝81個維度組成。給定輸入窗口r和指示器h，則colbp共生特征向量通過以下方式生成：

其中fi，fj是lbp特征空間f的聚類數(shù)；當h＝0時，lbpn,r,h表示圖像的亮度值；當h＝1時，lbpn,r,h表示圖像在水平方向的亮度梯度值；當h＝2時，lbpn,r,h表示y方向的亮度梯度值，colbp(dx,dy,h)表示共生特征矩陣，cij表示所有滿足共生模式{dx,dy,f1,f2}的共生特征的數(shù)量，此處cij＝9x9＝81。

步驟b、采用特征生成器fgm移除判別能力較低的gss特征，即移除信息不對稱的gss特征，得到判別梯度自相似性dgss特征；

高維度的特征向量可能會給樣本的訓練和計算帶來很大的挑戰(zhàn)。為了縮短樣本的訓練時間，移除信息不對稱的gss特征，因此有必要對gss特征進行相應的降維處理。本發(fā)明采用fgm作為降維工具，使得訓練的分類器具有更好的預測能力。

給定一組經(jīng)過gss特征提取后的標記樣本(xl,yl)，l＝1,2,...,l，其中xl表示特征向量，yl∈{-1,1}，若該樣本屬于行人的某個部位，則yl＝1，否則yl＝-1。fgm旨在找到關于線性svm的輸入特征的稀疏解，可以通過最小化以下結構風險函數(shù)來學習：

其中ξ1>0，w表示權重向量，特征選擇向量t＝{t1,t2,...,tn}∈t,t＝{t|tn∈{0,1},n＝1,2,...,n}控制svm決策超平面的稀疏性，λ表示平衡模型復雜度和決策超平面擬合度的正則化參數(shù)，設置λ＝10。經(jīng)過凸松弛之后，采用平面切割算法來尋找稀疏特征解。

經(jīng)過以上fgm降維之后，得到一組具有高判別度的特征子集dgss。本發(fā)明定義判別性梯dgss特征fdgss如下：

其中j表示gss特征經(jīng)過fgm降維后的維數(shù)。{gp1,gp2,...,gpj}表示上三角矩陣sup中的元素{g1,g2,...,gn}經(jīng)過降維后得到的特征向量，用fdgss表示。圖5給出了圖2經(jīng)過fgm降維后的部分成對判別信息。

步驟c、基于hog特征與colbp共生特征訓練的線性svm分類器移除絕大部分負樣本，實現(xiàn)每一幀圖像中行人的初步檢測，然后針對剩余的少部分負樣本與絕大多數(shù)正樣本，基于hog特征與dgss特征訓real-adaboost分類器，進一步檢測出每一幀圖像中的行人，獲得檢測結果。

其中，第一級分類器，主要采用基于hog特征和colbp共生特征訓練的線性svm分類器，移除每一幀圖像中大部分不包含行人的區(qū)域，然后將檢測結果作為第二級分類器的輸入。

線性svm分類器學習最佳超平面，將行人作為正樣本和背景最為負樣本，且最大程度的分離開來，然后將第一級分類器的輸出結果輸入到第二級分類器。svm分類器的訓練過程如下：

step1：將視頻序列的若干幀圖像作為訓練樣本，且提取訓練樣本的hog特征。

step2：提取訓練樣本的lbp特征，并采用“等價模式”進行聚類處理，得到特征空間f，計算圖像局部區(qū)域之間的colbp共生特征。

step3：組合hog特征與colbp共生特征，得到訓練數(shù)據(jù)。

step4：確定視頻序列中若干幀的圖像為測試樣本，根據(jù)step3得到的訓練數(shù)據(jù)驗證測試樣本，獲得測試數(shù)據(jù)。

step5：采用svm算法對step3進行分類訓練，得到分類模型。

step6：在負樣本的訓練數(shù)據(jù)的基礎上，加入一些基于hog特征與colbp共生特征的新的負樣本，重新產(chǎn)生新的基于hog特征與colbp共生特征數(shù)據(jù)。

step7：在step6中分類負樣本數(shù)據(jù)，記錄被誤分類的難例(hardexamples)數(shù)據(jù)。

step8：將難例添加到step3的訓練數(shù)據(jù)中，重新采用svm分類，得到第一級分類模型。

step9：步驟step8中的第一級分類模型用于對step4中的測試數(shù)據(jù)進行分類，移除每一幀圖像中大部分不包含行人的區(qū)域，然后將檢測結果輸入第二級real-adabooat分類器中。

其中，所述colbp共生特征參數(shù)的獲取過程如下：

(1)將檢測窗口劃分為16x16的單元；

(2)對于每個單元中的每一個像素，采用3x3的形式將周圍的8個像素與中心像素進行計較，大于中心像素值的為1，否則為0；

(3)采用“等價模式”對lbp算子的模式種類進行降維，然后將lbp特征空間劃分為9個bins，生成9x9＝81維的colbp直方圖，并對直方圖進行歸一化處理；

(4)級聯(lián)生成colbp共生特征向量。

本發(fā)明選用的檢測圖片來自pets2009與tud-stadtmitte數(shù)據(jù)集，首先采用訓練好的線性svm分類器對原圖像進行逐區(qū)域檢測，初步檢測出每一幀圖像中的行人。

對于第二級分類器，主要用針對少部分負樣本與絕大多數(shù)正樣本，基于hog特征和gss特征訓練的real-adaboost強分類器再次對每一幀圖像中行人進行分類檢測，獲得圖像的檢測結果。

本發(fā)明基于real-adaboost算法進行訓練。所述算法對各參數(shù)先定義，具體為：

設{(x1,y1),(x2,y2),...,(xn,yn)}為通過第一級線性svm分類器的候選輸入數(shù)據(jù)，其中xi表示訓練樣本，yi＝{1,-1}表示分類標號。將訓練樣本x按照特征值的大小進行平均劃分，得到nb個子區(qū)間bj。因此弱分類器可以定義為以下分段函數(shù)：

為了防止產(chǎn)生極值，令式中ε為一個無窮小的正數(shù)。

對于同一個區(qū)間，分別計算正樣本的權重和與負樣本的權重w，具體形式如下：

其中w⁺與w^-分別表示正、負訓練樣本的特征響應的概率分布，

根據(jù)分段函數(shù)(12)的分類誤差e選擇最好的判別特征。判別特征越好，分類誤差e越低。

如果只考慮特征的判別能力，等式(13)是個不錯的選擇。本發(fā)明同時還考慮特征的計算成本。由于負樣本窗口的數(shù)目遠大于正樣本窗口，尤其是在開始階段，因此整個檢測過程的執(zhí)行時間主要取決于負樣本窗口的數(shù)量。

其中l(wèi)表示檢測階段編號，nneg表示負樣本窗口的數(shù)量，ti表示弱分類器的計算成本。

由于nneg依賴于當前階段的負樣本的數(shù)量，因此等式(14)與等式(15)近似相等。n表示全部的窗口數(shù)量，fpi表示第i個階段的負樣本點的比例。

為了平衡特征的判別能力和計算效率，對等式(13)增加另一項參數(shù)，得到以下等式：

其中β表示效率因子，本發(fā)明設為0.15。

為了提高特征選擇的速度和檢測器的效率，每次迭代的采樣窗口數(shù)為m＝60。在初期階段，當強分類器過濾掉50％的負樣本時，調用第一個bootstrap。然后對第一級線性svm分類后未被移除的負樣本采用bootstrap自舉方法生成新的負樣本代替被過濾掉的負樣本，并繼續(xù)訓練。每過濾掉一次50％的負樣本調用一次bootstrap。重復該過程，直到整體fp率(負樣本率)低于2*10^-7或弱分類器的數(shù)量超過t。基于上述參數(shù)的定義，real-adaboost分類器的訓練過程如下：

step1：確定訓練樣本總數(shù)n，每次迭代的采樣窗口數(shù)m，以及弱分類器的最大數(shù)目t。

step2：輸入候選訓練集{(xi，yi)}，標號集yi∈{-1，1}。

step3：分別初始化樣本權重wi＝1/n，h(xi)＝0。

step4：以第i個弱分類器的輸出結果更新樣本權重

step5：生成隨機窗口r，并利用hog特征生成gss特征；然后使用等式(12)計算w⁺與w^-；最后選擇最優(yōu)的特征最小化等式(16)；如果fp<2*10^-7，則停止，否則重復執(zhí)行step5，直到每次迭代的采樣窗口數(shù)大于m。

step6：使用等式(11)更新弱分類器hl(x)。

step7：更新強分類器hl+1(xi)；如果弱分類器的數(shù)量大于t，則輸出強分類器否則轉到step4繼續(xù)執(zhí)行。

對于所述gss特征參數(shù)，其由如下過程獲?。?/p>

(1)設置檢測窗口為64*128，每個單元的大小為8*8個像素，2*2個單元組成一個塊(block)。

(2)通過計算hog塊之間的歐氏距離得到自相似性gss特征。

(3)對gss特征進行冪次變換。

(4)采用fgm對gss特征降維，得到dgss特征。

(5)級聯(lián)生成特征向量。

為評估本發(fā)明所提算法的性能，本發(fā)明基于線性svm分類器的檢測結果，采用real-adaboost分類器對原圖像進行再次檢測，最終準確的檢測出每一幀圖像中的行人，圖6(a)至圖6(d)給出了部分圖像的檢測結果。

綜上，本發(fā)明在lbp與hog特征的基礎上進一步得到更高層次的colbp共生特征與gss特征，增加了行人特征提取的可靠性，最后的檢測結果也表明，本發(fā)明所提方法具有較好的檢測效果。

上面結合附圖對本發(fā)明的實施方式作了詳細說明，但是本發(fā)明并不限于上述實施方式，在本領域普通技術人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。