本發(fā)明涉及行人檢測領域，尤其是涉及一種改進基于LDCF的行人檢測方法。

背景技術：

行人檢測是目標檢測中的一項熱點和重要內(nèi)容，目標是在灰度、彩色、深度等圖像或視頻中找到直立行走的行人，在汽車輔助駕駛、智能交通管理、智能視頻監(jiān)控等方面有著廣泛的應用。

目前，行人檢測算法大體上有三類：DPM類、決策森林類和深度學習類。其中決策森林類算法更具優(yōu)勢。LDCF算法可以從訓練集中提取顏色、梯度方向和梯度幅值三種特征信息，訓練成分類器。在檢測行人時，則采用縮放圖像構成尺度金字塔的策略，使用決策樹進行多尺度檢測。

經(jīng)過對現(xiàn)有技術的文獻檢索發(fā)現(xiàn)，現(xiàn)有的LDCF檢行人檢測方法中，在行人檢測的過程中的檢測不準確，而且對于采用Non-Maximal Suppression(非極大抑制)方法抑制檢測窗口的方法中，對于重合的檢測窗口的識別以及降低失效率上，效果不明顯，經(jīng)常出現(xiàn)誤檢。

技術實現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種檢測準確、消除姿態(tài)影響的改進基于LDCF的行人檢測方法。

本發(fā)明的目的可以通過以下技術方案來實現(xiàn)：

一種改進基于LDCF的行人檢測方法，用以準確檢測車載攝像頭圖像中的行人信息，包括以下步驟：

1)根據(jù)不同的訓練數(shù)據(jù)集獲取LDCF行人檢測算法中三個行人外形的幾何約束條件；

2)對待檢測圖像中的行人進行滑動窗口檢測，并根據(jù)約束條件剔除長寬比不符合行人特點以及位置不在合理區(qū)域內(nèi)的檢測窗口，獲取符合約束要求的初步行人檢測窗口；

3)對初步行人檢測窗口進行抑制，最終獲取合適大小的檢測窗口，并據(jù)此識別待檢測圖像中的行人。

所述的步驟1)中，三個行人外形的幾何約束條件包括行人底部到圖像底部的距離約束、行人的像素高度與行人到圖像底部距離的線形函數(shù)關系約束以及行人檢測窗口的寬高比約束。

所述的步驟1)中，訓練數(shù)據(jù)集包括Caltech-USA訓練數(shù)據(jù)集和ETH訓練數(shù)據(jù)集。

所述的步驟3)中通過改進的NMS算法對初步行人檢測窗口進行抑制。

所述的改進的NMS算法通過將NMS算法中的固定重合面積閾值改為動態(tài)重合面積閾值進行窗口抑制。

所述的動態(tài)重合面積閾值Threshold為：

其中，A為固定重合面積閾值，s_d為被抑制窗口的檢測分數(shù)，s_u為抑制窗口的檢測分數(shù)，h_d為被抑制窗口的高度，h_u為抑制窗口的高度，為檢測分數(shù)比，為檢測對象尺度比，α為檢測分數(shù)比的閾值，δ為檢測對象尺度比的閾值。

所述的窗口抑制的方法為：

1、被抑制窗口和抑制窗口存在重合，當檢測分數(shù)比且檢測對象尺度比時，則認定被抑制窗口為抑制窗口的子區(qū)域，并縮小動態(tài)重合面積閾值；

當檢測分數(shù)比且檢測對象尺度比時，則認定被抑制窗口為抑制窗口的附近的獨立窗口，不采用動態(tài)重合面積閾值抑制；

2、當抑制窗口完全被被抑制窗口包含，且其檢測分數(shù)差異極小，即時，則將抑制窗口作為誤檢窗口剔除，保留被抑制窗口，并將抑制窗口的檢測分數(shù)賦值給被抑制窗口。

與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點：

一、檢測準確：本發(fā)明在行人檢測時加入三個行人外形的幾何約束條件，有效的去除了檢測框位于地平線上、檢測框的寬度過窄或過寬以及檢測框的高度與行人距離攝像頭的距離不符合近大遠小的規(guī)律這三種誤檢，有效的提高了檢測準確度。

二、消除姿態(tài)影響：本發(fā)明還通過對NMS算法改進，將固定重合面積閾值改為動態(tài)重合面積閾值進行窗口抑制，有效的降低了行人的遮擋、姿態(tài)的影響，使得檢測分數(shù)稍低的檢測窗口可能與真實行人更匹配。

附圖說明

圖1是本發(fā)明的方法流程圖。

圖2是實施例一中幾種常見的幾何錯誤舉例，其中，圖(2a)為檢測窗口位于地平線上的情況，圖(2b)為檢測窗口的寬度過窄，圖(2c)為距離攝像頭較遠的行人高度過高的情況，圖(2d)為距離攝像頭較近的行人高度過矮。

圖3是實施例一中的成像模型圖，其中，圖(3a)為焦距、視角視角與屏幕高度的關系示意圖，圖(3b)為攝像機成像模型，圖(3c)為行人幾何成像關系圖。

圖4是實施例二的使用前后效果對比圖，其中，圖(4a)為LDCF原始NMS檢測效果，圖(4b)為引入尺度比信息后的NMS檢測效果，圖(4c)為原始NMS檢測效果，圖(4d)為引入保留外圍窗口和激活機制的NMS檢測效果。

具體實施方式

下面結合附圖和具體實施例對本發(fā)明進行詳細說明。

實施例1：

如圖1所示，本實施例包括以下步驟：

第一步、選擇一系列地平線上無遮擋的圖片，估算出地平線的高度。不同數(shù)據(jù)集的地平線高度不同，如Caltech-USA數(shù)據(jù)集的地平線高度約為190，ETH數(shù)據(jù)集的地平線高度約為235。

第二步、計算攝像頭參數(shù)，并根據(jù)訓練集數(shù)據(jù)獲得行人的高度與距離攝像頭的距離之間的關系。

針孔攝像機成像模型如圖3(a)所示。其中f為攝像機焦距，w為屏幕高度，θ為垂直視角。根據(jù)該模型，可以得到焦距、垂直視角與屏幕高度的關系：

其中，攝像機焦距為1000像素，屏幕高度為480像素。根據(jù)這些已知條件可以計算出垂直視角約為27°。

車載攝像機針孔成像模型如圖3(b)所示。其中H為行人實際高度，d為行人到車載攝像機的實際距離，f為攝像機的焦距，h為行人在圖像中的像素高度?？梢园l(fā)現(xiàn)，對于同一個行人而言，離攝像機越遠，其成像高度h越小。而行人距離攝像頭越遠，代表著行人距離圖像底部的距離也越遠，所以行人距圖像底部的距離和行人像素高度之間存在一定的幾何關系。

理想的非畸變的行人的成像關系如圖3(c)所示。其中f為焦距，h為圖像行人的像素高度，D為行人底部到圖像底部的距離，H為行人的真實高度，d為行人到車載攝像機的實際距離。根據(jù)該圖，可以得到：

由以上兩個公式可知：

由圖及以上公式可得：

所以，

即，當人的高度一定時，行人到圖像底部的距離和行人的像素高度存在正比關系。

通過對Caltech-USA訓練數(shù)據(jù)集的數(shù)據(jù)進行簡單的函數(shù)擬合，得到D和h的大致關系：

D＝-0.6927h+292.2

在實際應用中，由于人的高度H會變化，以及檢測框在檢測時也存在一定的誤差，將通過不等式來篩選數(shù)據(jù)：

-0.6936h+223.68＜D＜-0.6916h+352.95

通過對ETH訓練數(shù)據(jù)集的數(shù)據(jù)進行函數(shù)擬合，得到D和h的大致關系：

D＝-0.5675h+238.3

在實際應用中，通過不等式來篩選數(shù)據(jù)：

-0.8079h+212.31＜D＜-0.5261h+260.59

第三步、根據(jù)訓練集數(shù)據(jù)獲得行人的高度與寬度的關系。

行人的寬高比會隨著行人的動作變化而改變。因此可以通過不等式來篩選數(shù)據(jù)：

其中，w為檢測框的寬度，h為檢測框的高度，rmin、rmax分別為寬高比的最小值和最大值。

通過對訓練數(shù)據(jù)集的數(shù)據(jù)進行分析，可以發(fā)現(xiàn)行人寬高比的平均值約為0.41，行人寬高比的最小值為0.165，最大值為1，即不等式為：

第四步、將前三步推得的三個幾何約束條件運用到檢測中，提高檢測效率。

三個幾何約束條件是指：

對Caltech-USA訓練數(shù)據(jù)集來說，幾何約束條件為：

對ETH訓練數(shù)據(jù)集來說，幾何約束條件為：

其中，w為檢測框的寬度，h為檢測框的高度，D為檢測框距圖像底端的距離。

本實施例的工作原理為，現(xiàn)有的LDCF行人檢測算法是一個誤檢率較高、漏檢率較低的行人檢測算法。檢測框常見的幾何錯誤有三種：檢測框位于地平線上，因而這些檢測框大多是錯誤的(如圖2(a)所示)；檢測框的寬度過窄或過寬，不滿足行人的動作特點(如圖2(b)所示)；檢測框的高度與行人距離攝像頭的距離不符合近大遠小的規(guī)律，如距離攝像頭較遠的行人高度過高(如圖2(c)所示)，或者距離攝像頭較近的行人高度過矮(如圖2(d)所示)。通過幾何約束，可以去除掉這一部分不合理的檢測盒，從而降低該算法的誤檢率。

實施例2：

設抑制窗口BB_u檢測分數(shù)為s_u，高度為h_u，被抑制的窗口BB_d的檢測分數(shù)為s_d,高度為hd,則動態(tài)重合面積閾值threshold。

本實施例包括以下步驟：

第一步、我們目的是當被抑制窗口尺度小于抑制窗口時，應該進行更嚴格地抑制，降低重合面積閾值可以抑制這類誤檢窗口。重合面積的閾值應與尺度比成正相關關系，因此估算檢測分數(shù)比sd/su和檢測對象尺度比hd/hu的閾值α，δ。

第二步、總結出動態(tài)閾值的公式如下：

其中0.65為原算法設定的固定的重合面積閾值。δ＝0.75為高度比hd/hu的轉(zhuǎn)折點，α＝0.7為檢測分數(shù)比sd/su的轉(zhuǎn)折點。當sd/su<α且hd/hu<δ時，我們認為BBd可能是BBu的腿部、手臂等區(qū)域，應采用動態(tài)的更小的閾值抑制。當hd/hu<δ但sd/su>α時我們認為BBd可能是BBu附近小尺度的行人，不采用動態(tài)閾值抑制。

第三步、修改原NMS算法，引入保留外圍窗口的非極大抑制策略。當前抑制窗口BBu的區(qū)域完全被被抑制窗口BBd所包圍，且二者的檢測分數(shù)差異極小:sd/su>β(這里β取0.86)，則將BBu作為誤檢窗口剔除，而將BBd保留下來，且將BBu的檢測分數(shù)賦值給BBd。，不過BBu此時仍然一直其他未被抑制的低分窗口，知道本輪循環(huán)結束。

第四步、修改原NMS算法，引入激活機制的非極大抑制策略。第三步引入的保留外圍窗口的非極大抑制策略一定程度上具有激活功能，理論上能夠減少漏檢和誤檢窗口，因此，我們在這里進一步取消被抑制窗口是否已經(jīng)被抑制的檢查過程，使得所有分數(shù)比當前一直窗口低的初始檢測窗口都暻秀保留外圍窗口的非極大抑制，激活一些已經(jīng)被抑制過但是無法被當前抑制窗口抑制的檢測窗口。

第五步、分別將前面兩種改進(第三種需要和第二種配合使用)應用到實際檢測中，觀察效果。并將三種改進的組合改進算法應用到實際檢測中，觀察檢測效果，取效果最好的組合方案。

本創(chuàng)新工作的原理是，(1)LDCF原始的非極大抑制過程中容易抑制尺度相近的檢測窗口，而難以抑制尺度相差較大的窗口，一些主要來自行人腿、手臂等與行人類似地柱狀區(qū)域會被誤檢處理而無法被抑制(如圖4(a))，引入尺度比信息使原來的固定閾值變?yōu)閯討B(tài)閾值可以有效解決這個問題。(2)LDCF貪心保留檢測分數(shù)最高的檢測窗口，實際情況下由于行人的遮擋、姿態(tài)等影響，使得檢測分數(shù)稍低的檢測窗口可能與真實行人更匹配。因此，我們在抑制窗口完全包含于被抑制窗口且二者檢測分數(shù)相差不大的情況下保留外圍窗口。(3)原算法一個窗口被抑制就會被判定為誤檢窗口，就不會被再次被抑制，我們引進的保留外圍窗口策略具有一定的激活功能，因此，我們進一步的取消了被抑制窗口是否已經(jīng)被抑制的檢查，使得所有分數(shù)比當前抑制窗口低的初始檢測窗口，都能進行保留外圍窗口的非極大抑制。

實施效果

依據(jù)上述步驟，我們對Caltech-USA測試數(shù)據(jù)集進行了測試，該測試集包含66個視頻，不進行幾何約束時，得到了161731個檢測框。僅對地平線的高度進行約束后，保留下121362個檢測框，比例為75.04％；僅對行人的寬高比進行約束后，保留下159952個檢測框，比例為98.90％；僅對行人的高度和距攝像頭的距離進行約束后，保留下114406個檢測框，比例為70.74％；同時使用三個條件進行約束，保留下107141個檢測框，比例為66.25％，即約束掉了33.75％的檢測框。Miss rate(誤檢率)從31.0848％下降到22.6487％。

依據(jù)上述實驗步驟，我們將對原始非極大抑制的集中改進應用到toolbox中的非極大抑制函數(shù)中，在Caltech-USA部分數(shù)據(jù)集進行了測試，僅引入尺度比信息的非極大抑制算法比原始算法的miss rate能夠降低1.1918％，引入保留外圍窗口和激活機制的非極大抑制算法能夠比原來MR降低1.2913％，組合引入尺度比信息、保留外圍窗口和激活機制的非極大抑制算法能比原始的MR降低1.7768％。

這一實驗表明，本實施例的行人檢測優(yōu)化算法能有效地降低誤檢率，提高檢測準確度。