本發(fā)明主要涉及到道路交通智能輔助領(lǐng)域,特指一種道路交通輔助駕駛環(huán)境下的行人檢測(cè)特征提取方法。
背景技術(shù):
隨著經(jīng)濟(jì)的快速發(fā)展,汽車的數(shù)量越來越多,這給人們的生活帶來便捷的同時(shí),也帶來了頻發(fā)的交通事故。據(jù)統(tǒng)計(jì),每年世界范圍內(nèi)的公路交通事故中大約有1000萬人受傷,這些交通事故的發(fā)生不僅造成了嚴(yán)重的經(jīng)濟(jì)損失,而且給人們的生命安全帶來了嚴(yán)重的隱患。為了有效減少或者避免交通道路上的行人受到車輛碰撞的傷害,國(guó)內(nèi)外研究機(jī)構(gòu)和汽車研發(fā)生產(chǎn)廠商越來越關(guān)注行人檢測(cè)技術(shù)領(lǐng)域的研究。為此,行人檢測(cè)技術(shù)已經(jīng)成為道路交通智能輔助領(lǐng)域的關(guān)鍵技術(shù)。
目前,傳統(tǒng)的行人檢測(cè)技術(shù)方法主要有三種:一是模板匹配方法;二是基于統(tǒng)計(jì)分類的方法;三是基于模板和統(tǒng)計(jì)分類混合的方法。行人檢測(cè)系統(tǒng)一般采用第二種方法,通過機(jī)器學(xué)習(xí)從一系列行人特征數(shù)據(jù)中學(xué)習(xí)得到一個(gè)分類器,然后利用該分類器檢測(cè)行人。
模板匹配方法:分割出前景,提取其中的運(yùn)動(dòng)目標(biāo),然后進(jìn)一步提取特征,分類判別;在存在下雨、下雪、刮風(fēng)、樹葉晃動(dòng)、燈光忽明忽暗等場(chǎng)合,該方法的魯棒性不高,抗干擾能力較差。且背景建模方法的模型過于復(fù)雜,對(duì)參數(shù)較為敏感。
基于統(tǒng)計(jì)分類的方法:
(1)如Pepageorgios等人第一次提出了滑窗的方法用于行人檢測(cè),他們采用了SVM和多尺度Haar小波過完備基結(jié)合的方式。但該方法檢測(cè)速度和準(zhǔn)確度都無法保證。
(2)如Dalal等人基于行人整體輪廓特征,提出了方向梯度直方圖特征(HOG),HOG特征結(jié)合SVM分類器,檢測(cè)準(zhǔn)確率取得了革命性的進(jìn)步。其中HOG特征由于能對(duì)局部對(duì)象外觀和形狀進(jìn)行很好的表征,而且對(duì)光照不敏感等優(yōu)點(diǎn)成為目前行人檢測(cè)中較為主流的特征提取算法。同時(shí),由于HOG特征維數(shù)太高,導(dǎo)致檢測(cè)速度較慢,不能達(dá)到實(shí)時(shí)性的應(yīng)用需求。
(3)如Dollar等人利用積分直方圖技術(shù)來快速計(jì)算HOG特征,提出積分通道特征(ChnFtr),結(jié)合AdaBoost分類器,大幅度提升了檢測(cè)速度,但是其訓(xùn)練分類器的時(shí)間較長(zhǎng)。該方法雖然提高了行人檢測(cè)速度,但是丟失了圖像部分特征信息,相比Dalal的方法誤檢率高。
基于模板和統(tǒng)計(jì)分類混合的方法:該方法能提高檢測(cè)準(zhǔn)確率,但是特征唯獨(dú)增加,特征的計(jì)算和分類器是預(yù)測(cè)時(shí)間也增加,無法滿則實(shí)時(shí)性要求。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題就在于:針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問題,本發(fā)明提供一種原理簡(jiǎn)單、易實(shí)現(xiàn)、檢測(cè)速度快、精確度高的道路交通輔助駕駛環(huán)境下的行人檢測(cè)特征提取方法。
為解決上述技術(shù)問題,本發(fā)明采用以下技術(shù)方案:
一種道路交通輔助駕駛環(huán)境下的行人檢測(cè)特征提取方法,其步驟為:
S1:構(gòu)建用于訓(xùn)練的正、負(fù)樣本庫,并對(duì)樣本庫進(jìn)行歸一化處理;
S2:對(duì)步驟S1中的樣本庫圖像分別計(jì)算每幅圖像的兩層HOG特征向量,即分兩次計(jì)算出兩個(gè)不同的HOG特征向量v和w;
S3:對(duì)步驟S2中計(jì)算出來的第一層HOG特征向量v,將所有的正負(fù)樣本的特征向量組合成一個(gè)HOG特征矩陣V,利用投影矩陣P進(jìn)行降維處理,得到PCA降維后的HOG-PCA特征矩陣V':V'=V*P;
S4:對(duì)步驟S2中計(jì)算出來的第二層HOG特征向量w進(jìn)行對(duì)稱特征計(jì)算,提取出HOG對(duì)稱特征向量s,并且將所有樣本圖像的HOG對(duì)稱特征向量組合成一個(gè)對(duì)稱矩陣S;
S5:將步驟S3和步驟S4中計(jì)算得到的兩個(gè)特征矩陣V'和S進(jìn)行串接合并成一個(gè)新的特征矩陣Q;
S6:將步驟S5中得到的特征矩陣Q,用來訓(xùn)練支持向量機(jī)SVM分類器;
S7:使用訓(xùn)練得到的SVM線性分類器檢測(cè)交通道路圖像。
作為本發(fā)明的進(jìn)一步改進(jìn):所述步驟S1中用于訓(xùn)練的正、負(fù)樣本庫是將提取的道路圖像經(jīng)過裁剪制作而成的圖像庫。
作為本發(fā)明的進(jìn)一步改進(jìn):所述圖像庫包括兩類圖像,第一類為圖像中含有完整行人的圖像,即正樣本;第二類為圖像中不包含行人的圖像,即負(fù)樣本。
作為本發(fā)明的進(jìn)一步改進(jìn):在進(jìn)行步驟S2之前,對(duì)樣本庫的圖像進(jìn)行處理,包括:
(1):標(biāo)準(zhǔn)化gamma空間和顏色處理;采用gamma校正法對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化;
(2)圖像像素點(diǎn)梯度的計(jì)算;即計(jì)算圖像每個(gè)像素的梯度,包括大小和方向。
作為本發(fā)明的進(jìn)一步改進(jìn):所述步驟S7中,采用滑動(dòng)窗口法,按照步驟S2提取滑動(dòng)檢測(cè)窗口內(nèi)圖像第一層特征向量的方法得到y(tǒng),并利用步驟S3中得到的投影矩陣P進(jìn)行降維處理,得到y(tǒng)'=y(tǒng)*P;按照步驟S4的方法提取該樣本的對(duì)稱特征向量s';將s'和y'進(jìn)行串接,得到最終用于行人檢測(cè)的特征向量u,將u和步驟S6中訓(xùn)練得到的SVM分類器進(jìn)行對(duì)比檢測(cè)。
作為本發(fā)明的進(jìn)一步改進(jìn):所述步驟S2中兩層HOG特征向量的計(jì)算如下:
S201:計(jì)算樣本圖像每個(gè)像素點(diǎn)梯度;
圖像中像素點(diǎn)(x,y)的梯度為:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
式中的H(x,y)表示輸入圖像中像素點(diǎn)(x,y)處的像素值,Gx(x,y)、Gy(x,y)分別表示該像素點(diǎn)處的水平方向、垂直方向的梯度;
像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為:
S202:第一層HOG特征向量v的計(jì)算步驟如下:
步驟A:為每個(gè)細(xì)胞單元cell構(gòu)建梯度方向直方圖;
將圖像分成若干個(gè)大小相同的矩形“單元格cell”,將每個(gè)cell的360°([0°,180°]∪[-180°,0°])梯度方向劃分為9個(gè)bin,根據(jù)每個(gè)像素的梯度幅值和梯度方向在梯度方向直方圖進(jìn)行加權(quán)投影,即得到每個(gè)cell的梯度方向直方圖,也就形成每個(gè)cell的9維特征向量;
步驟B:把4個(gè)細(xì)胞單元組合成大的塊block,塊內(nèi)歸一化梯度直方圖;
步驟C:區(qū)域塊block的移動(dòng)步長(zhǎng)為一個(gè)單元,得到每個(gè)區(qū)域塊的梯度向量,將所有的區(qū)域塊向量串接成第一層HOG特征向量v;
S203:第二層HOG特征向量w的計(jì)算步驟如下:
步驟A:為每個(gè)細(xì)胞單元cell構(gòu)建梯度方向直方圖;
將圖像分成4個(gè)大小相同的矩形“單元格cell”,將每個(gè)cell的360°([0°,180°]∪[-180°,0°])梯度方向劃分為8個(gè)bin,根據(jù)每個(gè)像素的梯度幅值和梯度方向在梯度方向直方圖進(jìn)行加權(quán)投影,即得到每個(gè)cell的梯度方向直方圖,也就形成每個(gè)cell的8維特征向量;
步驟B:將細(xì)胞單元cell作為塊block將塊內(nèi)歸一化梯度直方圖;
步驟C:區(qū)域塊block的移動(dòng)步長(zhǎng)為一個(gè)單元,得到每個(gè)區(qū)域塊的梯度向量,將所有的區(qū)域塊向量串接成第二層HOG特征向量w。
作為本發(fā)明的進(jìn)一步改進(jìn):所述步驟S3中得到投影矩陣P的方法為:假設(shè)樣本庫中的正樣本個(gè)數(shù)為m個(gè),采用第一層HOG特征提取的方法提取正樣本的特征矩陣M,采用PCA算法,得到用于降低特征維數(shù)的投影矩陣P;步驟為:
S301:針對(duì)正樣本特征矩陣M中的每個(gè)用于訓(xùn)練的正樣本xi,其中i=1,2,...,m,計(jì)算平均向量:
S302:計(jì)算協(xié)方差矩陣:
S303:計(jì)算C的特征值和特征向量pi,選擇K個(gè)最大的特征向量作為特征子空間的基,由這些基組成投影矩陣P:P=[p1,p2,…,pk]T。
作為本發(fā)明的進(jìn)一步改進(jìn):所述步驟S4中對(duì)提取的第二層HOG特征向量w進(jìn)行對(duì)稱特征計(jì)算,提取出圖像的HOG對(duì)稱特征向量s的過程如下:
S401:按照以下公式計(jì)算樣本圖像上半部分的HOG對(duì)稱特征向量s1:
s1=[s11 s12 s13 s14 s15 s16 s17 s18]
其中的
其中HOG對(duì)稱向量s1的每個(gè)元素s1i表示了h1i和h'2i的相似性,其中0<s1i<1;h1i來自樣本圖像上半部分左邊block的8維HOG特征向量HOG1,h'2i來自樣本圖像上半部分右邊block的8維HOG特征向量HOG2調(diào)整元素順序之后的HOG2',其中:
HOG1=[h11 h12 h13 h14 h15 h16 h17 h18]T,
HOG2=[h21 h22 h23 h24 h25 h26 h27 h28]T,
HOG2'=[h25 h24 h23 h22 h21 h28 h27 h26]T
=[h'21 h'22 h'23 h'24 h'25 h'26 h'27 h'28]T
S402:同理,按照以下公式計(jì)算樣本圖像下半部分的HOG對(duì)稱特征向量s2:
s2=[s21 s22 s23 s24 s25 s26 s27 s28]
其中的
其中HOG對(duì)稱向量s2的每個(gè)元素s2i表示了h3i和h'4i的相似性,其中0<s2i<1;h3i來自樣本圖像下半部分左邊block的8維HOG特征向量HOG3,h'4i來自樣本圖像下半部分右邊block的8維HOG特征向量HOG4調(diào)整元素順序之后的HOG4',其中:
HOG3=[h31 h32 h33 h34 h35 h36 h37 h38]T,
HOG4=[h41 h42 h43 h44 h45 h46 h47 h48]T,
HOG2'=[h45 h44 h43 h42 h41 h48 h47 h46]T
=[h'41 h'42 h'43 h'44 h'45 h'46 h'47 h'48]T
S403:將樣本圖像上半部分HOG對(duì)稱特征向量s1和下半部分HOG對(duì)稱特征向量s2串接成對(duì)稱特征向量s,
s=[s11 s12 s13 s14 s15 s16 s17 s18 s21 s22 s23 s24 s25 s26 s27 s28]。
與現(xiàn)有技術(shù)相比,本發(fā)明的優(yōu)點(diǎn)在于:
本發(fā)明的道路交通輔助駕駛環(huán)境下的行人檢測(cè)特征提取方法,原理簡(jiǎn)單、易實(shí)現(xiàn)、檢測(cè)速度快,通過提取道路交通圖像中的雙層HOG特征,使用PCA降維方法提取第一層HOG特征的HOG-PCA特征,并且利用行人軀體具有對(duì)稱性的特點(diǎn)提取第二次HOG特征中的對(duì)稱性特征,最后將這兩種特征融合,組成訓(xùn)練分類器的特征以及檢測(cè)行人時(shí)的對(duì)比特征。本發(fā)明的特征描述方法與單層HOG特征相比,具有更強(qiáng)的行人描述能力,并且通過降維的方法,大大提高了算法的檢測(cè)速度,也就是說本發(fā)明的方法能夠提高行人的檢測(cè)準(zhǔn)確率和算法的檢測(cè)速度。
附圖說明
圖1是本發(fā)明方法的流程示意圖。
圖2是本發(fā)明在具體應(yīng)用實(shí)例中兩層HOG特征提取方法的流程示意圖。
具體實(shí)施方式
以下將結(jié)合說明書附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。
如圖1所示,本發(fā)明的道路交通輔助駕駛環(huán)境下的行人檢測(cè)特征提取方法,為基于統(tǒng)計(jì)分類的方法,在Dalal算法的基礎(chǔ)上進(jìn)行改進(jìn),解決了HOG特征維數(shù)高、檢測(cè)速度慢、不滿足實(shí)時(shí)性要求的問題,并保證了檢測(cè)準(zhǔn)確率。
本發(fā)明的具體步驟為:
S1:構(gòu)建用于訓(xùn)練的正、負(fù)樣本庫,并對(duì)樣本庫進(jìn)行歸一化處理。
用于訓(xùn)練的正、負(fù)樣本庫,是將提取的道路圖像經(jīng)過裁剪制作而成的圖像庫。在具體應(yīng)用中,可以選擇從車載前視攝像頭采集到的視頻中提取道路圖像。
根據(jù)實(shí)際需要,本實(shí)例中圖像庫包括兩類圖像,第一類為圖像中含有完整行人的圖像(即正樣本),第二類為圖像中不包含行人的圖像(即負(fù)樣本),正負(fù)樣本圖像統(tǒng)一歸一化為64*128像素大小。
S2:標(biāo)準(zhǔn)化gamma空間和顏色處理。
采用gamma校正法對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化(歸一化);目的是調(diào)節(jié)圖像的對(duì)比度,降低圖像局部的陰影和光照變化所造成的影響,同時(shí)可以抑制噪音的干擾;將圖像灰度化。
S3:圖像像素點(diǎn)梯度的計(jì)算。
即計(jì)算圖像每個(gè)像素的梯度(包括大小和方向),主要是為了捕獲輪廓信息,同時(shí)進(jìn)一步弱化光照的干擾。
S4:對(duì)步驟S1中的樣本庫圖像分別計(jì)算每幅圖像的兩層HOG特征向量。HOG(Histogram of Oriented Gradient方向梯度直方圖)是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測(cè)的特征描述子;它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。
計(jì)算每幅圖像兩層HOG特征向量是指對(duì)同一幅圖像按照block、cell和bin的大小不同,分兩次計(jì)算出兩個(gè)不同的HOG特征向量v和w;
S5:對(duì)步驟S4中計(jì)算出來的第一層HOG特征向量v,將所有的正負(fù)樣本的特征向量組合成一個(gè)HOG特征矩陣V,利用投影矩陣P進(jìn)行降維處理,得到PCA降維后的HOG-PCA特征矩陣V':V'=V*P;PCA(Principal Component Analysis主成分分析)是一種掌握事物主要矛盾的統(tǒng)計(jì)分析方法,它可以從多元事物中解析出主要影響因素,揭示事物的本質(zhì),簡(jiǎn)化復(fù)雜的問題。
S6:對(duì)步驟S4中計(jì)算出來的第二層HOG特征向量w進(jìn)行對(duì)稱特征計(jì)算,提取出HOG對(duì)稱特征向量s,并且將所有樣本圖像的HOG對(duì)稱特征向量組合成一個(gè)對(duì)稱矩陣S;
S7:將步驟S5和步驟S6中計(jì)算得到的兩個(gè)特征矩陣V'和S進(jìn)行串接合并成一個(gè)新的特征矩陣Q;
S8:將步驟S7中得到的特征矩陣Q,用來訓(xùn)練支持向量機(jī)SVM分類器。
S9:使用訓(xùn)練得到的SVM線性分類器檢測(cè)交通道路圖像。SVM(Support Vector Machine支持向量機(jī))是一個(gè)有監(jiān)督的學(xué)習(xí)模型,通常用來進(jìn)行模式識(shí)別、分類、以及回歸分析。
采用滑動(dòng)窗口法,按照步驟S4提取滑動(dòng)檢測(cè)窗口內(nèi)圖像第一層特征向量的方法得到y(tǒng),并利用步驟S5中得到的投影矩陣P進(jìn)行降維處理,得到y(tǒng)'=y(tǒng)*P;按照步驟S6的方法提取該樣本的對(duì)稱特征向量s′;將s′和y′進(jìn)行串接,得到最終用于行人檢測(cè)的特征向量u。將u和步驟S8中訓(xùn)練得到的SVM分類器進(jìn)行對(duì)比檢測(cè)。
作為較佳的實(shí)施例,如圖2所示,上述步驟S4中的兩層HOG特征向量的計(jì)算如下:
S401:計(jì)算樣本圖像每個(gè)像素點(diǎn)梯度;
圖像中像素點(diǎn)(x,y)的梯度為:
Gx(x,y)=H(x+1,y)-H(x-1,y)
Gy(x,y)=H(x,y+1)-H(x,y-1)
式中的H(x,y)表示輸入圖像中像素點(diǎn)(x,y)處的像素值,Gx(x,y)、Gy(x,y)分別表示該像素點(diǎn)處的水平方向、垂直方向的梯度。
像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為:
S402:第一層HOG特征向量v的計(jì)算步驟如下:
步驟A:為每個(gè)細(xì)胞單元cell構(gòu)建梯度方向直方圖;
將圖像分成若干個(gè)大小相同的矩形“單元格cell”,將每個(gè)cell的360°([0°,180°]∪[-180°,0°])梯度方向劃分為9個(gè)bin,根據(jù)每個(gè)像素的梯度幅值和梯度方向在梯度方向直方圖進(jìn)行加權(quán)投影,即可得到每個(gè)cell的梯度方向直方圖,也就形成每個(gè)cell的9維特征向量;
步驟B:把4個(gè)細(xì)胞單元組合成大的塊(block),塊內(nèi)歸一化梯度直方圖;
步驟C:區(qū)域塊block的移動(dòng)步長(zhǎng)為一個(gè)單元,得到每個(gè)區(qū)域塊的梯度向量,將所有的區(qū)域塊向量串接成第一層HOG特征向量v;
S403:第二層HOG特征向量w的計(jì)算步驟如下:
步驟A:為每個(gè)細(xì)胞單元cell構(gòu)建梯度方向直方圖;
將圖像分成4個(gè)大小相同的矩形“單元格cell”,將每個(gè)cell的360°([0°,180°]∪[-180°,0°])梯度方向劃分為8個(gè)bin,根據(jù)每個(gè)像素的梯度幅值和梯度方向在梯度方向直方圖進(jìn)行加權(quán)投影,即可得到每個(gè)cell的梯度方向直方圖,也就形成每個(gè)cell的8維特征向量;
步驟B:將細(xì)胞單元cell作為塊(block),將塊內(nèi)歸一化梯度直方圖;
步驟C:區(qū)域塊block的移動(dòng)步長(zhǎng)為一個(gè)單元,得到每個(gè)區(qū)域塊的梯度向量,將所有的區(qū)域塊向量串接成第二層HOG特征向量w。
作為較佳的實(shí)施例,上述步驟S5中投影矩陣P的計(jì)算方法如下:
假設(shè)樣本庫中的正樣本個(gè)數(shù)為m個(gè),采用第一層HOG特征提取的方法提取正樣本的特征矩陣M,采用PCA算法,得到用于降低特征維數(shù)的投影矩陣P,具體過程如下:
S501:針對(duì)正樣本特征矩陣M中的每個(gè)用于訓(xùn)練的正樣本xi(i=1,2,...,m),計(jì)算平均向量:
S502:計(jì)算協(xié)方差矩陣:
S503:計(jì)算C的特征值和特征向量pi,選擇K個(gè)最大的特征向量作為特征子空間的基,由這些基組成投影矩陣P:P=[p1,p2,…,pk]T。
作為較佳的實(shí)施例,上述步驟S6中關(guān)于對(duì)提取的第二層HOG特征向量w進(jìn)行對(duì)稱特征計(jì)算,提取出圖像的HOG對(duì)稱特征向量s的過程如下:
S601:按照以下公式計(jì)算樣本圖像上半部分的HOG對(duì)稱特征向量s1:
s1=[s11 s12 s13 s14 s15 s16 s17 s18]
其中的
其中HOG對(duì)稱向量s1的每個(gè)元素s1i表示了h1i和h'2i的相似性,其中0<s1i<1。h1i來自樣本圖像上半部分左邊block的8維HOG特征向量HOG1,h'2i來自樣本圖像上半部分右邊block的8維HOG特征向量HOG2調(diào)整元素順序之后的HOG2',其中:
HOG1=[h11 h12 h13 h14 h15 h16 h17 h18]T,
HOG2=[h21 h22 h23 h24 h25 h26 h27 h28]T,
HOG2'=[h25 h24 h23 h22 h21 h28 h27 h26]T
=[h'21 h'22 h'23 h'24 h'25 h'26 h'27 h'28]T
S602:同理,按照以下公式計(jì)算樣本圖像下半部分的HOG對(duì)稱特征向量s2:
s2=[s21 s22 s23 s24 s25 s26 s27 s28]
其中的其中HOG對(duì)稱向量s2的每個(gè)元素s2i表示了h3i和h'4i的相似性,其中0<s2i<1。h3i來自樣本圖像下半部分左邊block的8維HOG特征向量HOG3,h'4i來自樣本圖像下半部分右邊block的8維HOG特征向量HOG4調(diào)整元素順序之后的HOG4',其中:
HOG3=[h31 h32 h33 h34 h35 h36 h37 h38]T,
HOG4=[h41 h42 h43 h44 h45 h46 h47 h48]T,
HOG2'=[h45 h44 h43 h42 h41 h48 h47 h46]T
=[h'41 h'42 h'43 h'44 h'45 h'46 h'47 h'48]T
S603:將樣本圖像上半部分HOG對(duì)稱特征向量s1和下半部分HOG對(duì)稱特征向量s2串接成對(duì)稱特征向量s,
s=[s11 s12 s13 s14 s15 s16 s17 s18 s21 s22 s23 s24 s25 s26 s27 s28]。
以上僅是本發(fā)明的優(yōu)選實(shí)施方式,本發(fā)明的保護(hù)范圍并不僅局限于上述實(shí)施例,凡屬于本發(fā)明思路下的技術(shù)方案均屬于本發(fā)明的保護(hù)范圍。應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理前提下的若干改進(jìn)和潤(rùn)飾,應(yīng)視為本發(fā)明的保護(hù)范圍。