本發(fā)明涉及一種實時檢測行人的方法，特別是涉及一種適用于基于視頻的實時檢測行人的方法。

背景技術(shù)：

行人檢測就是檢測視頻或圖片中是否包含行人并標(biāo)出行人的正確位置，它是機器視覺領(lǐng)域的一個重要分支，在安防監(jiān)控、人工智能、智能交通等領(lǐng)域都有著重要的應(yīng)用。作為一項有著巨大應(yīng)用前景的技術(shù)，目前已經(jīng)有大量針對行人進行檢測的方法，但由于現(xiàn)實中行人所在的背景復(fù)雜、行人衣著外表和姿勢的巨大差異，以及遮擋等因素，復(fù)雜場景下高魯棒性行人檢測仍然面臨巨大挑戰(zhàn)。行人檢測的另一個難題在于如何在保證檢測結(jié)果準(zhǔn)確的情況下，快速甚至實時地進行檢測。在很多領(lǐng)域，如自動駕駛、監(jiān)控等領(lǐng)域，不僅要求檢測結(jié)果準(zhǔn)確，而且要求能夠?qū)崟r地進行檢測。

現(xiàn)有行人檢測的方法非常多，但主要使用兩種圖像特征：運動信息和形狀。前一種方法需要背景提取和圖像分割等預(yù)處理技術(shù)，而基于形狀特征的檢測方法不需要使用預(yù)處理算法，該種方法根據(jù)特征的提取方法劃分為全局特征法和局部特征法。全局特征和局部特征的區(qū)別在于全局特征從整個圖像上來提取特征，而局部特征是從圖像的局部區(qū)域來提取特征。全局特征的經(jīng)典例子便是獨立主成分法(PCA)，它的缺點在于對物體的外表、姿勢和光照敏感，而局部特征由于從圖像的局部提取特征，對物體的外表、姿勢和光照并不敏感。典型的局部特征有小波系數(shù)、梯度方向和局部協(xié)方差等。局部特征又可以進一步分為整體檢測和部位檢測，部位檢測的檢測結(jié)果是通過另外一個分類器將部位的檢測結(jié)果組合成最終的行人檢測結(jié)果。使用部位檢測方法的優(yōu)點是它能很好的應(yīng)對由于行人肢體移動導(dǎo)致行人外表變化帶來的問題，缺點是它令整個檢測過程變得更加復(fù)雜。基于統(tǒng)計學(xué)習(xí)的方法是目前行人檢測最常用且有效的方法，該方法通過大量訓(xùn)練樣本構(gòu)建行人檢測分類器。提取的特征一般有目標(biāo)的灰度、邊緣、紋理、形狀和梯度直方圖等信息，分類器包括神經(jīng)網(wǎng)絡(luò)、SVM和Adaboost等。該方法存在以下難點：行人的姿態(tài)、服飾各不相同、提取的特征在特征空間中的分布不夠緊湊、分類器的性能受訓(xùn)練樣本的影響較大、離線訓(xùn)練時的負(fù)樣本無法涵蓋所有真實應(yīng)用場景的情況。

傳統(tǒng)的方法主要通過計算HOG特征來檢測行人，但由于HOG的計算涉及三維線性插值等算法，計算復(fù)雜度較高，難以達到實時性要求。而最新的深度學(xué)習(xí)方法盡管可以達到很高的準(zhǔn)確率，但由于模型復(fù)雜、依賴并行運算等原因，對硬件性能有極高的要求，無法在實際場合中使用。另外，在進行行人檢測時，往往采用滑動窗口法，該方法由于需要檢測大量的窗口，非常耗時。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是提供一種快速有效，特征簡單魯棒，能很好地滿足不同場景下的實時性要求的基于視頻的實時檢測行人的方法。

本發(fā)明采用的技術(shù)方案如下：一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；其特征在于：在檢測階段，利用標(biāo)定過的雙目攝像頭采集視頻，計算每幀圖像的視差圖；利用視差圖將圖像分為背景區(qū)域和非背景區(qū)域；利用上一幀檢測結(jié)果來確定當(dāng)前幀需要檢測的候選區(qū)域，將同時滿足既為非背景區(qū)域又為候選區(qū)域這兩個條件的區(qū)域作為需要檢測區(qū)域，后續(xù)過程只檢測需要檢測區(qū)域。

在需要檢測區(qū)域用提前訓(xùn)練好的分類器系數(shù)來進行判定是否為行人。

所述方法還包括，在檢測階段，為了避免特征的重復(fù)計算，一開始先計算出圖像中需要檢測區(qū)域每個4x4窗口里的特征值，當(dāng)窗口滑動到特定位置時，只需提取并組和對應(yīng)窗口里的特征，而不需要再次計算，這樣成功地避免了窗口滑動過程中對交疊區(qū)域特征的重復(fù)計算，在不犧牲檢測準(zhǔn)確率情況下提升了檢測的速度。

所述方法還包括，提前判斷負(fù)樣本減少檢測時間，具體方法為：提取每一幀圖像需要檢測區(qū)域的組合特征，及利用Adaboost的級聯(lián)特性提前判斷負(fù)樣本減少檢測時間；所述組合特征由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，從而來達到實時檢測的目的。

所述組合特征中所有特征的計算均以一個4×4不重疊且相鄰的塊為基本單位。

所述方法還包括，為了提升檢測結(jié)果的魯棒性，將當(dāng)前幀檢測結(jié)果與上一幀檢測結(jié)果進行對比，對于兩幀中相差很小的檢測框，將當(dāng)前幀的檢測結(jié)果更新為上一幀對應(yīng)的檢測結(jié)果，從而減少需要檢測的區(qū)域。

所述方法還包括，對于已經(jīng)在前幾幀連續(xù)出現(xiàn)至少兩次的檢測框，如果當(dāng)前幀的檢測結(jié)果中沒有該檢測框，并且在當(dāng)前幀對應(yīng)該檢測框位置周圍不存在其它的檢測框，則在當(dāng)前幀檢測結(jié)果中添加該檢測框，這樣避免了噪聲對檢測框位置帶來的干擾，提升檢測結(jié)果的穩(wěn)定性并降低了漏檢率。

所述方法還包括，在訓(xùn)練階段，采集包含行人和不包含行人的圖片作為樣本，利用Adaboost分類器來進行訓(xùn)練；為了減少檢測階段特征的計算次數(shù)，訓(xùn)練多個不同尺度的分類器，使得檢測時只需要用不同尺度的窗口在圖像上滑動，而不需要將圖像縮放后重新計算特征，這樣通過將檢測階段的計算轉(zhuǎn)移到訓(xùn)練階段大大較少了特征的計算次數(shù)，加快了檢測速度。

所述方法還包括：訓(xùn)練過程中使用特征為由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征。

所述方法還包括，提取不重疊相鄰的4×4窗口里的由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，進行特征點的計算，從而簡化特征點的計算。

所述方法還包括，為了減少分類器判定時間，在Adaboost分類器的每個弱分類器處設(shè)定一個閾值，每個弱分類器和之前所有的弱分類器的判定結(jié)果之和都與該閾值進行比較，小于該閾值則認(rèn)為是負(fù)樣本并提前退出，這樣通過提前排除部分錯誤正樣本加快了檢測速度。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：能夠快速準(zhǔn)確檢測行人的特征，并且利用視差圖和幀間信息減少了待檢測區(qū)域；在Adaboost分類器每個弱分類器處設(shè)定閾值來減少判定閾值；利用幀間信息提升檢測結(jié)果的魯棒性。相比傳統(tǒng)的HOG等方法，方法復(fù)雜度更低、速度更快，能夠滿足實時準(zhǔn)確檢測要求。

進一步地，能夠?qū)崟r有效地檢測行人，且能達到一個較精確的檢測結(jié)果。使用由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征來作為特征；訓(xùn)練多個尺度分類器和提前計算出特征來減少特征的計算來加快檢測速度；利用Adaboost的級聯(lián)特性提前判斷負(fù)樣本減少檢測時間。該方法簡單有效，復(fù)雜度低，能夠滿足實時準(zhǔn)確檢測要求。

附圖說明

圖1為本發(fā)明其中一實施例訓(xùn)練階段的方法流程示意圖。

圖2為圖1所示實施例中檢測階段的方法流程示意圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本說明書(包括摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或者具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。

具體實施例1

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在檢測階段，利用標(biāo)定過的雙目攝像頭采集視頻，計算每幀圖像的視差圖；利用視差圖將圖像分為背景區(qū)域和非背景區(qū)域；利用上一幀檢測結(jié)果來確定當(dāng)前幀需要檢測的候選區(qū)域，將同時滿足既為非背景區(qū)域又為候選區(qū)域這兩個條件的區(qū)域作為需要檢測區(qū)域，后續(xù)過程只檢測需要檢測區(qū)域。

在需要檢測區(qū)域用提前訓(xùn)練好的分類器系數(shù)來進行判定是否為行人。

具體實施例2

在具體實施例1的基礎(chǔ)上，所述方法還包括，在檢測階段，為了避免特征的重復(fù)計算，一開始先計算出圖像中需要檢測區(qū)域每個4x4窗口里的特征值，當(dāng)窗口滑動到特定位置時，只需提取并組和對應(yīng)窗口里的特征，而不需要再次計算，這樣成功地避免了窗口滑動過程中對交疊區(qū)域特征的重復(fù)計算，在不犧牲檢測準(zhǔn)確率情況下提升了檢測的速度。

具體實施例3

在具體實施例1或2的基礎(chǔ)上，所述方法還包括，提前判斷負(fù)樣本減少檢測時間，具體方法為：提取每一幀圖像需要檢測區(qū)域的組合特征，及利用Adaboost的級聯(lián)特性提前判斷負(fù)樣本減少檢測時間；所述組合特征由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，從而來達到實時檢測的目的。

具體實施例4

在具體實施例1到3之一的基礎(chǔ)上，所述組合特征中所有特征的計算均以一個4×4不重疊且相鄰的塊為基本單位。

具體實施例5

在具體實施例1到4之一的基礎(chǔ)上，所述方法還包括，為了提升檢測結(jié)果的魯棒性，將當(dāng)前幀檢測結(jié)果與上一幀檢測結(jié)果進行對比，對于兩幀中相差很小的檢測框，將當(dāng)前幀的檢測結(jié)果更新為上一幀對應(yīng)的檢測結(jié)果，從而減少需要檢測的區(qū)域。

具體實施例6

在具體實施例1到5之一的基礎(chǔ)上，所述方法還包括，對于已經(jīng)在前幾幀連續(xù)出現(xiàn)至少兩次的檢測框，如果當(dāng)前幀的檢測結(jié)果中沒有該檢測框，并且在當(dāng)前幀對應(yīng)該檢測框位置周圍不存在其它的檢測框，則在當(dāng)前幀檢測結(jié)果中添加該檢測框，這樣避免了噪聲對檢測框位置帶來的干擾，提升檢測結(jié)果的穩(wěn)定性并降低了漏檢率。

具體實施例7

在具體實施例1到6之一的基礎(chǔ)上，所述方法還包括，在訓(xùn)練階段，采集包含行人和不包含行人的圖片作為樣本，利用Adaboost分類器來進行訓(xùn)練；為了減少檢測階段特征的計算次數(shù)，訓(xùn)練多個不同尺度的分類器，使得檢測時只需要用不同尺度的窗口在圖像上滑動，而不需要將圖像縮放后重新計算特征，這樣通過將檢測階段的計算轉(zhuǎn)移到訓(xùn)練階段大大較少了特征的計算次數(shù)，加快了檢測速度。

具體實施例8

在具體實施例1到7之一的基礎(chǔ)上，所述方法還包括：訓(xùn)練過程中使用特征為由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征。

具體實施例9

在具體實施例1到8之一的基礎(chǔ)上，所述方法還包括，提取不重疊相鄰的4×4窗口里的由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，進行特征點的計算，從而簡化特征點的計算。

具體實施例10

在具體實施例1到9之一的基礎(chǔ)上，所述方法還包括，為了減少分類器判定時間，在Adaboost分類器的每個弱分類器處設(shè)定一個閾值，每個弱分類器和之前所有的弱分類器的判定結(jié)果之和都與該閾值進行比較，小于該閾值則認(rèn)為是負(fù)樣本并提前退出，這樣通過提前排除部分錯誤正樣本加快了檢測速度。

具體實施例11

如圖1所示，在訓(xùn)練階段，分為以下四個步驟：

步驟一：采集包含行人和不包含行人的圖片作為樣本，利用Adaboost分類器來進行訓(xùn)練。在本具體實施例中，以INRIA行人數(shù)據(jù)庫為例，首先從不包含行人的圖片中隨機選取5000個尺寸為64×128的負(fù)樣本，和樣本庫中的2416個正樣本一起作為訓(xùn)練樣本。利用128個弱分類器對這些樣本進行訓(xùn)練來得到檢測參數(shù)；訓(xùn)練過程中所使用的特征為由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，所有特征的計算均以一個4×4不重疊且相鄰的塊為基本單位。一個4×4塊內(nèi)的特征值計算方法如下：

對于6個梯度方向特征，計算公式如下：

其中，θ_i為量化的梯度方向，其值為i，G(x,y)為梯度幅值，R(x,y)為梯度方向的弧度值，取值范圍為0到π，Θ(x,y)為梯度方向的量化值，為對應(yīng)梯度方向的值。梯度的計算采用[-1 0 1]和[-1 0 1]^T算子，分別在YUV三個通道上計算梯度，取梯度幅值最大的為最終的梯度幅值和梯度方向。統(tǒng)計4×4塊內(nèi)所有6個不同方向的值的和，并求均值來得到各個方向相應(yīng)的特征值，最后串聯(lián)即得到一個4×4塊內(nèi)6個梯度方向特征F_g。

梯度幅值特征F_m為4×4塊中梯度幅值的均值。

YUV顏色通道特征為分別統(tǒng)計4×4塊Y通道特征中像素值的均值，以及4×4塊中Y分量對應(yīng)的UV分量的均值，以YUV420格式(每四個Y共用一組UV分量)為例，一個4×4塊Y通道特征為塊中Y分量值的均值，U通道特征為塊中Y共用的4個U分量的均值，V通道特征為塊中Y共用的4個V分量的均值。YUV顏色通道的特征F_c為將三個通道上的特征串聯(lián)起來：

F_c＝[F_y F_u F_v] (4)

其中F_y為Y通道特征，F(xiàn)_u為U通道特征，F(xiàn)_v為V通道特征

Canny特征F_n為計算一副圖像的Canny邊緣，然后統(tǒng)計每個4×4塊所有值的和

最終一個4×4塊內(nèi)的特征F為：

F＝[F_g F_m F_c F_n] (5)

一個樣本的特征為將每個4×4不重疊且相鄰的塊的特征串聯(lián)起來。

步驟二：使用步驟一訓(xùn)練得到的檢測參數(shù)在500個不包含行人的圖片中提取難例(難例是錯檢的窗口，即將不是行人的窗口檢測為行人)，如果難例個數(shù)多于10000，則隨機選取10000個，如果不足，則從上一階段的負(fù)樣本中隨機選取不足的個數(shù)，最終所得10000個樣本作為負(fù)樣本和2416個正樣本一起作為訓(xùn)練樣本，利用512個弱分類器對訓(xùn)練樣本進行訓(xùn)練。

步驟三：使用步驟二訓(xùn)練得到的檢測參數(shù)在1218個不包含行人的圖片中提取難例，如果難例個數(shù)多于10000，則隨機選取10000個，如果不足，則從上一階段的負(fù)樣本中隨機選取不足的個數(shù)，最終所得10000個樣本作為負(fù)樣本和2416個正樣本一起作為訓(xùn)練樣本，利用2048個弱分類器對訓(xùn)練樣本進行訓(xùn)練。

步驟四：將樣本的尺寸縮放為72×144、76×152，再通過步驟一、二、三獲得針對樣本尺寸為72×144和76×152的檢測參數(shù)。

步驟五：在每個弱分類器處設(shè)定一個相同的閾值-1，后續(xù)檢測過程中只要該弱分類器和之前的弱分類器的判定結(jié)果之和小于該閾值，則直接判定為負(fù)樣本并提前退出，不進行后續(xù)弱分類器的判定。

如圖2所示，通過訓(xùn)練得到檢測參數(shù)后，就可進行行人檢測。檢測過程通過多尺度多窗口來進行檢測，檢測部分主要分為以下七個步驟：

步驟一：一開始先通過求對應(yīng)塊差值的平方和的塊匹配算法來計算圖像的視差信息，對計算得到的視差圖進行二值化處理，然后用64×128的窗口在二值化后的圖上以滑動，行列步進均為16，如果窗口里值為1的像素點所占比例大于1/2，則窗口對應(yīng)區(qū)域為非背景區(qū)域，取所有滿足上述條件的窗口對應(yīng)區(qū)域的并集即為整個圖片的非背景區(qū)域。

步驟二：如果當(dāng)前幀數(shù)不是3的倍數(shù)時，則利用上一幀檢測結(jié)果來確定當(dāng)前幀需要檢測的候選區(qū)域，候選區(qū)域的選擇方法為，選取上一幀包括檢測框和周圍一定范圍內(nèi)的區(qū)域來作為檢測候選區(qū)域。同時滿足為非背景區(qū)域和候選區(qū)域的區(qū)域作為需要檢測區(qū)域，后續(xù)過程只檢測需要檢測區(qū)域。如果當(dāng)前幀數(shù)是3的倍數(shù)，則非背景區(qū)域即為需要檢測區(qū)域，不利用上一幀信息來計算候選區(qū)域

步驟三：計算需要檢測區(qū)域的特征值，特征的計算方法和訓(xùn)練階段步驟一的計算方法一致。

步驟四：用尺寸為64×128的窗口在需要檢測區(qū)域滑動，且行列步進均為8，并利用對應(yīng)的檢測參數(shù)來判斷窗口中是否包含行人。

步驟五：將窗口尺寸改為72×144、76×152，重復(fù)步驟四。

步驟六：將圖像以1.33進行上采樣和下采樣多次，下采樣后的圖像尺寸必須大于76×152，上采樣后的圖像根據(jù)實際需要進行限定。每次得到采樣后的圖像后再重復(fù)步驟一、二、三、四、五。

步驟七：將得到的判定為行人的窗口進行非極大值抑制后得到初步的檢測結(jié)果，然后將當(dāng)前幀檢測結(jié)果與上一幀檢測結(jié)果進行對比，對于兩幀中相差很小的檢測框，將當(dāng)前幀的檢測結(jié)果更新為上一幀對應(yīng)的檢測結(jié)果；對于已經(jīng)在前幾幀連續(xù)出現(xiàn)多次的檢測框，如果當(dāng)前幀的檢測結(jié)果中沒有該檢測框并且在當(dāng)前幀對應(yīng)該檢測框位置周圍不存在其它的檢測框，則在該幀檢測結(jié)果中添加該檢測框。

具體實施例12

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在檢測階段，為了避免特征的重復(fù)計算，一開始先計算出圖像中需要檢測區(qū)域每個4x4窗口里的特征值，當(dāng)窗口滑動到特定位置時，只需提取并組和對應(yīng)窗口里的特征，而不需要再次計算，這樣成功地避免了窗口滑動過程中對交疊區(qū)域特征的重復(fù)計算，在不犧牲檢測準(zhǔn)確率情況下提升了檢測的速度。

具體實施例13

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在檢測階段，提前判斷負(fù)樣本減少檢測時間，具體方法為：提取每一幀圖像需要檢測區(qū)域的組合特征，及利用Adaboost的級聯(lián)特性提前判斷負(fù)樣本減少檢測時間；所述組合特征由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，從而來達到實時檢測的目的。

具體實施例14

在具體實施例13的基礎(chǔ)上，所述組合特征中所有特征的計算均以一個4×4不重疊且相鄰的塊為基本單位。

具體實施例15

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在檢測階段，為了提升檢測結(jié)果的魯棒性，將當(dāng)前幀檢測結(jié)果與上一幀檢測結(jié)果進行對比，對于兩幀中相差很小的檢測框，將當(dāng)前幀的檢測結(jié)果更新為上一幀對應(yīng)的檢測結(jié)果，從而減少需要檢測的區(qū)域。

具體實施例16

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在檢測階段，對于已經(jīng)在前幾幀連續(xù)出現(xiàn)至少兩次的檢測框，如果當(dāng)前幀的檢測結(jié)果中沒有該檢測框，并且在當(dāng)前幀對應(yīng)該檢測框位置周圍不存在其它的檢測框，則在當(dāng)前幀檢測結(jié)果中添加該檢測框，這樣避免了噪聲對檢測框位置帶來的干擾，提升檢測結(jié)果的穩(wěn)定性并降低了漏檢率。

具體實施例17

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在訓(xùn)練階段，采集包含行人和不包含行人的圖片作為樣本，利用Adaboost分類器來進行訓(xùn)練；為了減少檢測階段特征的計算次數(shù)，訓(xùn)練多個不同尺度的分類器，使得檢測時只需要用不同尺度的窗口在圖像上滑動，而不需要將圖像縮放后重新計算特征，這樣通過將檢測階段的計算轉(zhuǎn)移到訓(xùn)練階段大大較少了特征的計算次數(shù)，加快了檢測速度。

具體實施例18

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在訓(xùn)練階段，訓(xùn)練過程中使用特征為由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征。

具體實施例19

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在訓(xùn)練階段，提取不重疊相鄰的4×4窗口里的由YUV顏色通道特征、6個梯度方向特征、Canny特征和梯度幅值特征組成的組合特征，進行特征點的計算，從而簡化特征點的計算。

具體實施例20

一種基于視頻的實時檢測行人的方法，包括訓(xùn)練階段和檢測階段；在訓(xùn)練階段，為了減少分類器判定時間，在Adaboost分類器的每個弱分類器處設(shè)定一個閾值，每個弱分類器和之前所有的弱分類器的判定結(jié)果之和都與該閾值進行比較，小于該閾值則認(rèn)為是負(fù)樣本并提前退出，這樣通過提前排除部分錯誤正樣本加快了檢測速度。