本發(fā)明涉及智能車輛技術(shù)領(lǐng)域，特別涉及一種行人距離檢測(cè)方法和裝置。

背景技術(shù)：

隨著智能車輛技術(shù)的發(fā)展，現(xiàn)代車輛的智能化程度不斷提高。在車輛的行駛過(guò)程中，車輛能夠通過(guò)機(jī)器視覺采集周圍的圖像信息，從而能夠根據(jù)圖像信息分析出對(duì)行車有幫助的信息。例如，能夠根據(jù)分析出的障礙物信息對(duì)用戶進(jìn)行提醒或直接進(jìn)行緊急制動(dòng)，以確保行車安全。

車輛大多通過(guò)單目攝像機(jī)來(lái)采集圖像信息，如果能夠從單目攝像機(jī)所采集的圖像信息中分析出車輛與行人之間的距離，無(wú)疑將會(huì)大大提高行車的安全性。

目前，相關(guān)技術(shù)中已能夠識(shí)別出圖像中的某個(gè)元素，因而能在一定程度上對(duì)行人的識(shí)別提供幫助。但是，對(duì)于單目攝像機(jī)所采集的行人圖像，受到周圍環(huán)境的影響，將會(huì)具有交通標(biāo)志、車牌和建筑物等其他元素，而相關(guān)技術(shù)中很難從這類圖像中準(zhǔn)確地區(qū)分出行人。并且，相關(guān)技術(shù)對(duì)圖像中行人的識(shí)別速度較慢，因此對(duì)行人距離檢測(cè)的魯棒性和實(shí)時(shí)性都較差，很難被應(yīng)用到實(shí)際的產(chǎn)品中。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。為此，本發(fā)明的一個(gè)目的在于提出一種行人距離檢測(cè)方法，能夠提高行人距離檢測(cè)的實(shí)時(shí)性和魯棒性。

本發(fā)明的第二個(gè)目的在于提出一種行人距離檢測(cè)裝置。

根據(jù)本發(fā)明第一方面實(shí)施例的行人距離檢測(cè)方法，包括以下步驟：計(jì)算單目攝像機(jī)拍攝的行人圖像的矩形特征，并對(duì)所述矩形特征進(jìn)行訓(xùn)練，以得到多個(gè)弱分類器；通過(guò)級(jí)聯(lián)算法將所述多個(gè)弱分類器組合，以構(gòu)成強(qiáng)分類器；通過(guò)所述強(qiáng)分類器獲取所述行人圖像中行人的像素坐標(biāo)；根據(jù)所述單目攝像機(jī)的參數(shù)和所述行人的像素坐標(biāo)計(jì)算所述單目攝像機(jī)與所述行人之間的距離。

根據(jù)本發(fā)明實(shí)施例的行人距離檢測(cè)方法，通過(guò)對(duì)行人圖像的矩形特征進(jìn)行訓(xùn)練，得到多個(gè)弱分類器，通過(guò)級(jí)聯(lián)算法使多個(gè)弱分類器構(gòu)成強(qiáng)分類器，然后通過(guò)強(qiáng)分類器獲取行人圖像中行人的像素坐標(biāo)，再根據(jù)單目攝像機(jī)的參數(shù)和行人的像素坐標(biāo)計(jì)算單目攝像機(jī)與行人之間的距離，由此，能夠快速且準(zhǔn)確地識(shí)別出行人圖像中的行人，從而能夠提高行人距離檢測(cè)的實(shí)時(shí)性和魯棒性，推動(dòng)了行人距離檢測(cè)技術(shù)的普及。

根據(jù)本發(fā)明第二方面實(shí)施例的行人距離檢測(cè)裝置，包括：訓(xùn)練模塊，用于計(jì)算單目攝像機(jī)拍攝的行人圖像的矩形特征，并對(duì)所述矩形特征進(jìn)行訓(xùn)練，以得到多個(gè)弱分類器；組合模塊，用于通過(guò)級(jí)聯(lián)算法將所述多個(gè)弱分類器組合，以構(gòu)成強(qiáng)分類器；第一獲取模塊，用于通過(guò)所述強(qiáng)分類器獲取所述行人圖像中行人的像素坐標(biāo)；計(jì)算模塊，用于根據(jù)所述單目攝像機(jī)的參數(shù)和所述行人的像素坐標(biāo)計(jì)算所述單目攝像機(jī)與所述行人之間的距離。

根據(jù)本發(fā)明實(shí)施例的行人距離檢測(cè)裝置，通過(guò)對(duì)行人圖像的矩形特征進(jìn)行訓(xùn)練，得到多個(gè)弱分類器，通過(guò)級(jí)聯(lián)算法使多個(gè)弱分類器構(gòu)成強(qiáng)分類器，然后通過(guò)強(qiáng)分類器獲取行人圖像中行人的像素坐標(biāo)，再根據(jù)單目攝像機(jī)的參數(shù)和行人的像素坐標(biāo)計(jì)算單目攝像機(jī)與行人之間的距離，由此，能夠快速且準(zhǔn)確地識(shí)別出行人圖像中的行人，從而能夠提高行人距離檢測(cè)的實(shí)時(shí)性和魯棒性，推動(dòng)了行人距離檢測(cè)技術(shù)的普及。

本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

附圖說(shuō)明

圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的行人距離檢測(cè)方法的流程圖；

圖2為根據(jù)本發(fā)明一個(gè)實(shí)施例的矩形特征模板的示意圖；

圖3為根據(jù)本發(fā)明一個(gè)實(shí)施例的矩形特征模板應(yīng)用于面部圖像的示意圖；

圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的積分圖與矩形中像素的關(guān)系示意圖；

圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的多個(gè)坐標(biāo)系的示意圖；

圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的單目攝像機(jī)的標(biāo)定過(guò)程中攝像機(jī)坐標(biāo)與世界坐標(biāo)系的位置關(guān)系示意圖；

圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的左右兩條車道線相交的示意圖；

圖8為根據(jù)本發(fā)明一個(gè)實(shí)施例的左右兩條車道線與世界坐標(biāo)的關(guān)系示意圖；

圖9為根據(jù)本發(fā)明一個(gè)實(shí)施例的表示單目攝像機(jī)與行人之間的距離的幾何關(guān)系圖；

圖10為根據(jù)本發(fā)明一個(gè)實(shí)施例的行人距離檢測(cè)裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。

下面結(jié)合附圖描述本發(fā)明實(shí)施例的行人距離檢測(cè)方法和裝置。

圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的行人距離檢測(cè)方法的流程圖。

如圖1所示，本發(fā)明實(shí)施例的行人距離檢測(cè)方法，包括以下步驟：

S101，計(jì)算單目攝像機(jī)拍攝的行人圖像的矩形特征，并對(duì)矩形特征進(jìn)行訓(xùn)練，以得到多個(gè)弱分類器。

圖2示出了a-d四個(gè)矩形特征模板，每個(gè)模板中均包含白色的矩形和黑色的矩形。在一幅圖像中，不同特征的區(qū)域可通過(guò)矩形特征模板的白色矩形和黑色矩形來(lái)表示。舉例而言，如圖3所示，面部圖像中，人眼部區(qū)域的顏色深于臉頰區(qū)域的顏色，因此，可用圖2中的矩形特征模板a來(lái)表示該兩個(gè)區(qū)域。

在本發(fā)明的一個(gè)實(shí)施例中，可定義矩形特征為矩形特征模板中白色矩形中像素的和減去黑色矩形中像素的和。其中，白色矩形中像素的和或黑色矩形中像素的和可分別通過(guò)積分圖來(lái)計(jì)算。舉例而言，在圖4所示的A-D四個(gè)矩形中，由于點(diǎn)1的積分圖i1等于矩形A中像素的和，點(diǎn)2的積分圖i2等于矩形A和B中像素的總和，點(diǎn)3的積分圖i3等于矩形A和C中像素的總和，點(diǎn)4的積分圖i4等于矩形A-D中像素的總和，因此，矩形D中像素的和為i4+i1-i2-i3。

通過(guò)上述方法計(jì)算出行人圖像的多個(gè)矩形特征后，可對(duì)矩形特征進(jìn)行訓(xùn)練，以選擇其中具有較強(qiáng)分類特性的矩形特征，從而得到多個(gè)弱分類器。在本發(fā)明的一個(gè)實(shí)施例中，可通過(guò)Adaboost.M1算法(Adaptive Boosting算法的改進(jìn)算法)對(duì)矩形特征進(jìn)行訓(xùn)練。

具體地，多個(gè)矩形特征作為訓(xùn)練樣本，可分別以對(duì)應(yīng)的類別標(biāo)簽進(jìn)行標(biāo)記。其中，可以x_i表示第i個(gè)訓(xùn)練樣本，以y_i表示第i個(gè)訓(xùn)練樣本的類別標(biāo)簽，由此，可構(gòu)成訓(xùn)練樣本集S＝{(x₁,y₁),(x₂,y₂),...(x_m,y_m)}，其中，i為正整數(shù)，x_i∈X，y_i∈Y，y_i＝{1,2,3…k}，表示共有k個(gè)類別的訓(xùn)練樣本。在本發(fā)明的一個(gè)實(shí)施例中，可通過(guò)弱學(xué)習(xí)算法計(jì)算每個(gè)訓(xùn)練樣本的加權(quán)誤差?？沙跏蓟瘷?quán)重：w_1.i＝D₁(i)＝1/m,i＝1,...,m，其中，每個(gè)訓(xùn)練樣本的分布D可為1/m，弱學(xué)習(xí)算法進(jìn)行的迭代次數(shù)可為T，即t＝1,2,...T。具體地，對(duì)于h_t＝L(D,w_t)，可假設(shè)h_t:X→Y，其中，L為弱學(xué)習(xí)算法，并計(jì)算每次迭代后每個(gè)訓(xùn)練樣本的加權(quán)誤差h_t為訓(xùn)練樣本x_i的函數(shù)，故也可表示為h_t(x_i)。如果則T＝t-1并退出迭代過(guò)程。然后令并將權(quán)重更新為其中，為歸一化常數(shù)。由此，最終能夠確定加權(quán)誤差較低的若干訓(xùn)練樣本，并將其作為訓(xùn)練得到的弱分類器。

Adaboost.M1算法中包含了多種類別標(biāo)簽，同時(shí)該算法中所涉及的誤差為加權(quán)誤差。在本發(fā)明的實(shí)施例中，通過(guò)Adaboost.M1算法對(duì)矩形特征進(jìn)行訓(xùn)練，能夠從圖像中的多種元素中區(qū)分出目標(biāo)元素，大大提高了行人距離檢測(cè)的準(zhǔn)確度。

S102，通過(guò)級(jí)聯(lián)算法將多個(gè)弱分類器組合，以構(gòu)成強(qiáng)分類器。

對(duì)于通過(guò)上述步驟得到的t個(gè)弱分類器h_j(x_i)，可通過(guò)級(jí)聯(lián)算法進(jìn)行組合，以構(gòu)成強(qiáng)分類器：

S103，通過(guò)強(qiáng)分類器獲取行人圖像中行人的像素坐標(biāo)。

在本發(fā)明的實(shí)施例中，所涉及的坐標(biāo)系可包括：圖像像素坐標(biāo)系、圖像物理坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系。圖5為上述各坐標(biāo)系的示意圖。

在圖5中，u_p、v_p軸表示圖像像素坐標(biāo)系，圖像像素坐標(biāo)系以圖像的左上角為原點(diǎn)，向右和向下分別為u_p軸和v_p軸的正方向，該坐標(biāo)系是以像素為單位，每個(gè)像素的坐標(biāo)(u_p，v_p)表示該像素在圖像上的行數(shù)和列數(shù)。

x、y軸表示圖像物理坐標(biāo)系，圖像物理坐標(biāo)系以光軸和圖像平面的交點(diǎn)o為原點(diǎn)，x軸和y軸分別與圖像像素坐標(biāo)系的u軸和v軸平行且方向一致，該坐標(biāo)系是以毫米為單位。

X_c、Y_c、Z_c軸表示攝像機(jī)坐標(biāo)系，攝像機(jī)坐標(biāo)系以鏡頭光心O_c為原點(diǎn)，其Z_c軸與光軸重合，與圖像平面垂直，且取攝影方向?yàn)檎?，X_c軸和Y_c軸分別與圖像物理坐標(biāo)系的x軸和y軸平行，應(yīng)當(dāng)理解，圖5中O_co可表示攝像機(jī)焦距。

X_w、Y_w、Z_w軸表示世界坐標(biāo)系，世界坐標(biāo)系為在測(cè)量環(huán)境中所選擇的一個(gè)參考坐標(biāo)系，用來(lái)描述攝像機(jī)和物體之間的關(guān)系。

行人的像素坐標(biāo)，即為行人的像素在圖像像素坐標(biāo)系中的坐標(biāo)。在本發(fā)明的一個(gè)實(shí)施例中，可逐層等比放大強(qiáng)分類器的檢測(cè)窗口，分別以多個(gè)尺度檢測(cè)行人圖像以生成多個(gè)尺度的檢測(cè)結(jié)果，并根據(jù)多個(gè)尺度的檢測(cè)結(jié)果確定行人圖像中行人的像素，以得到行人的像素坐標(biāo)(u,v)。

應(yīng)當(dāng)理解，對(duì)表征像素的矩形特征進(jìn)行訓(xùn)練，最終所得到的強(qiáng)分類器，能夠更好地區(qū)分出行人圖像中的行人的像素和其他元素的像素。通過(guò)多個(gè)尺度對(duì)該行人圖像進(jìn)行檢測(cè)得到多個(gè)檢測(cè)結(jié)果，綜合多個(gè)檢測(cè)結(jié)果，能夠更加精確地確定該行人圖像中行人的像素所在的位置，并進(jìn)一步得出行人的像素坐標(biāo)(u,v)。在本發(fā)明的一個(gè)實(shí)施例中，通過(guò)保持行人圖像的大小不變，而僅改變強(qiáng)分類器檢測(cè)窗口的大小，因此僅需進(jìn)行一次積分圖的計(jì)算，從而能夠大大減少計(jì)算時(shí)間，提高了獲取行人的像素坐標(biāo)的速度。

S104，根據(jù)單目攝像機(jī)的參數(shù)和行人的像素坐標(biāo)計(jì)算單目攝像機(jī)與行人之間的距離。

在本發(fā)明的一個(gè)實(shí)施例中，單目攝像機(jī)的參數(shù)可包括單目攝像機(jī)的內(nèi)部參數(shù)和單目攝像機(jī)的外部參數(shù)，其中，內(nèi)部參數(shù)可包括圖像物理坐標(biāo)系中，在表示像素列數(shù)的軸方向上，以像素為單位表示的等效焦距β，以及圖像像素坐標(biāo)系中，光軸與圖像平面的交點(diǎn)坐標(biāo)(u₀,v₀)，外部參數(shù)可包括單目攝像機(jī)的俯仰角φ和安裝高度h。

在單目攝像機(jī)安裝至車輛上時(shí)，便可對(duì)單目攝像機(jī)的參數(shù)進(jìn)行標(biāo)定。其中，內(nèi)部參數(shù)可采用Matlab(Matrix Laboratory，矩陣實(shí)驗(yàn)室)標(biāo)定工具箱進(jìn)行獲取。該工具箱采用黑白棋盤作為標(biāo)定參照物，在標(biāo)定時(shí)用單目攝像機(jī)從不同的距離與角度采集的多幅黑白棋盤的模板圖像，并抽取出其中的20幅對(duì)該攝像機(jī)進(jìn)行內(nèi)部參數(shù)的標(biāo)定實(shí)驗(yàn)，然后利用工具箱的優(yōu)化工具進(jìn)行優(yōu)化。

在本發(fā)明的一個(gè)實(shí)施例中，單目攝像機(jī)的外部參數(shù)可通過(guò)以下步驟獲?。韩@取單目攝像機(jī)拍攝的道路圖像中車輛的左右兩條車道線；根據(jù)車輛的左右兩條車道線獲取單目攝像機(jī)的外部參數(shù)。

具體地，可獲取車輛的左右兩條車道線的交點(diǎn)在圖像像素坐標(biāo)系中的坐標(biāo)，并獲取左右兩條車道線在圖像像素坐標(biāo)系中的斜率，并獲取左右兩條車道線之間的距離。

在本發(fā)明的一個(gè)實(shí)施例中，若點(diǎn)M在世界坐標(biāo)系中的坐標(biāo)為[X_w,Y_w,Z_w]^T，在圖像像素坐標(biāo)系中的坐標(biāo)為[u,v]^T，則該點(diǎn)的坐標(biāo)變換關(guān)系可表示為：

其中，Z_c為M點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。α和β為圖像物理坐標(biāo)系中，在分別表示像素行數(shù)和列數(shù)的軸方向上，以像素為單位表示的等效焦距。P為透視變換矩陣，A表示攝像機(jī)的內(nèi)部參數(shù)矩陣，t＝[t_x,t_y,t_z]^T表示世界坐標(biāo)系中原點(diǎn)在攝像機(jī)坐標(biāo)系中坐標(biāo)。旋轉(zhuǎn)矩陣R是攝像機(jī)光軸相對(duì)于世界坐標(biāo)系坐標(biāo)軸的方向余弦組合。如果空間點(diǎn)M按照繞X_w，Y_w，Z_w軸的次序分別旋轉(zhuǎn)ψ，θ，φ角度，則R可表示為：

如圖6所示，對(duì)于車載單目攝像機(jī)來(lái)說(shuō)，可將旋轉(zhuǎn)矩陣R的偏航角與側(cè)傾角設(shè)置為零，即ψ＝θ＝0，攝像機(jī)俯仰角為φ，攝像機(jī)的安裝高度為h。在該模型下，標(biāo)定需要求解的參數(shù)只有攝像機(jī)的俯仰角φ和安裝高度h。由幾何關(guān)系可得，世界坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系里的坐標(biāo)是(0,hcosφ,0)。根據(jù)式(1)的定義，式(1)中的參數(shù)R和t可分別為：

由于在實(shí)際標(biāo)定中，α和β的值較為接近，因此可定義f_r＝α＝β。綜合式(1)和式(3)，可得圖像像素坐標(biāo)系中的坐標(biāo)與世界坐標(biāo)系中坐標(biāo)的映射關(guān)系如下：

當(dāng)Z_w→∞時(shí)，道路圖像中兩條車道線相交于點(diǎn)(u_e,v_e)，其中，

同樣地，能夠得到u_ε。

圖7為左右兩條車道線相交的示意圖，圖8為左右兩條車道線與世界坐標(biāo)的關(guān)系示意圖。在圖8中，L表示左車道線，R表示右車道線。θ為L(zhǎng)與世界坐標(biāo)系Z_w軸夾角，d_L與d_R分別為世界坐標(biāo)系原點(diǎn)到L與R之間的距離，故左右兩條車道線的之間的距離W＝d_L+d_R。由圖8可知，直線L的斜率為cotθ，截距為d_L/sinθ，因此，L的直線方程如下：

在本發(fā)明的一個(gè)實(shí)施例中，在圖像像素坐標(biāo)系中，過(guò)單目攝像機(jī)所在的點(diǎn)的平面可與車輛的左右兩條車道線可分別相交于(u₁，v₁)和(u₂，v₂)。當(dāng)Z_w＝0時(shí)，X_w＝-d_L/cosθ，代入式(4)可得(u₁，v₁)坐標(biāo)為：

同樣地，能夠得到(u₂，v₂)的坐標(biāo)。

由(u₁，v₁)和(u₂，v₂)的坐標(biāo)可得左車道線L的斜率為：

同樣地，右車道線R的斜率為：

根據(jù)車輛的左右兩條車道線的交點(diǎn)在圖像像素坐標(biāo)系中的坐標(biāo)和內(nèi)部參數(shù)計(jì)算單目攝像機(jī)的俯仰角φ。

由式(5)可得，單目攝像機(jī)的俯仰角為：

根據(jù)左右兩條車道線在圖像像素坐標(biāo)系中的斜率、左右兩條車道線的之間的距離和內(nèi)部參數(shù)計(jì)算單目攝像機(jī)的安裝高度h。

由幾何關(guān)系可得：

因此，單目攝像機(jī)的安裝高度為：

由此，通過(guò)車輛的左右兩條車道線完成了單目攝像機(jī)外部參數(shù)的標(biāo)定，簡(jiǎn)單而又方便。

圖9示出了單目攝像機(jī)與行人之間的距離d與單目攝像機(jī)參數(shù)、行人的像素坐標(biāo)(u，v)之間的幾何關(guān)系。如圖9所示，由于僅計(jì)算單目攝像機(jī)與行人之間沿車輛行駛方向上的距離，因此僅能用到行人像素坐標(biāo)中v_p軸的坐標(biāo)v和光軸與圖像平面的交點(diǎn)坐標(biāo)中的v_p軸的坐標(biāo)v₀。圖9中的f為單目攝像機(jī)的焦距。圖像物理坐標(biāo)系中，在表示像素列數(shù)的軸方向上，以像素為單位表示的等效焦距β與單目攝像機(jī)的焦距f的關(guān)系為：β＝f/d_y，其中，d_y為每一個(gè)像素在圖像物理坐標(biāo)系中y軸方向上的物理尺寸。由圖9可知，能夠通過(guò)以下公式計(jì)算所述單目攝像機(jī)與所述行人之間的距離：

根據(jù)本發(fā)明實(shí)施例的行人距離檢測(cè)方法，通過(guò)對(duì)行人圖像的矩形特征進(jìn)行訓(xùn)練，得到多個(gè)弱分類器，通過(guò)級(jí)聯(lián)算法使多個(gè)弱分類器構(gòu)成強(qiáng)分類器，然后通過(guò)強(qiáng)分類器獲取行人圖像中行人的像素坐標(biāo)，再根據(jù)單目攝像機(jī)的參數(shù)和行人的像素坐標(biāo)計(jì)算單目攝像機(jī)與行人之間的距離，由此，能夠快速且準(zhǔn)確地識(shí)別出行人圖像中的行人，從而能夠提高行人距離檢測(cè)的實(shí)時(shí)性和魯棒性，推動(dòng)了行人距離檢測(cè)技術(shù)的普及。

為實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出一種行人距離檢測(cè)裝置。

圖10為根據(jù)本發(fā)明一個(gè)實(shí)施例的行人距離檢測(cè)裝置的結(jié)構(gòu)框圖。

如圖10所示，本發(fā)明實(shí)施例的行人距離檢測(cè)裝置，包括：訓(xùn)練模塊10、組合模塊20、第一獲取模塊30和計(jì)算模塊40。

其中，訓(xùn)練模塊10用于計(jì)算單目攝像機(jī)拍攝的行人圖像的矩形特征，并對(duì)矩形特征進(jìn)行訓(xùn)練，以得到多個(gè)弱分類器。

圖2示出了a-d四個(gè)矩形特征模板，每個(gè)模板中均包含白色的矩形和黑色的矩形。在一幅圖像中，不同特征的區(qū)域可通過(guò)矩形特征模板的白色矩形和黑色矩形來(lái)表示。舉例而言，如圖3所示，面部圖像中，人眼部區(qū)域的顏色深于臉頰區(qū)域的顏色，因此，可用圖2中的矩形特征模板a來(lái)表示該兩個(gè)區(qū)域。

在本發(fā)明的一個(gè)實(shí)施例中，可定義矩形特征為矩形特征模板中白色矩形中像素的和減去黑色矩形中像素的和。其中，白色矩形中像素的和或黑色矩形中像素的和可分別通過(guò)積分圖來(lái)計(jì)算。舉例而言，在圖4所示的A-D四個(gè)矩形中，由于點(diǎn)1的積分圖i1等于矩形A中像素的和，點(diǎn)2的積分圖i2等于矩形A和B中像素的總和，點(diǎn)3的積分圖i3等于矩形A和C中像素的總和，點(diǎn)4的積分圖i4等于矩形A-D中像素的總和，因此，矩形D中像素的和為i4+i1-i2-i3。

通過(guò)上述方法計(jì)算出行人圖像的多個(gè)矩形特征后，可對(duì)矩形特征進(jìn)行訓(xùn)練，以選擇其中具有較強(qiáng)分類特性的矩形特征，從而得到多個(gè)弱分類器。在本發(fā)明的一個(gè)實(shí)施例中，訓(xùn)練模塊10可通過(guò)Adaboost.M1算法對(duì)矩形特征進(jìn)行訓(xùn)練。

具體地，多個(gè)矩形特征作為訓(xùn)練樣本，可分別以對(duì)應(yīng)的類別標(biāo)簽進(jìn)行標(biāo)記。其中，可以x_i表示第i個(gè)訓(xùn)練樣本，以y_i表示第i個(gè)訓(xùn)練樣本的類別標(biāo)簽，由此，可構(gòu)成訓(xùn)練樣本集S＝{(x₁,y₁),(x₂,y₂),...(x_m,y_m)}，其中，i為正整數(shù)，x_i∈X，y_i∈Y，y_i＝{1,2,3…k}，表示共有k個(gè)類別的訓(xùn)練樣本。在本發(fā)明的一個(gè)實(shí)施例中，可通過(guò)弱學(xué)習(xí)算法計(jì)算每個(gè)訓(xùn)練樣本的加權(quán)誤差?？沙跏蓟瘷?quán)重：w_1.i＝D₁(i)＝1/m,i＝1,...,m，其中，每個(gè)訓(xùn)練樣本的分布D可為1/m，弱學(xué)習(xí)算法進(jìn)行的迭代次數(shù)可為T，即t＝1,2,...T。具體地，對(duì)于h_t＝L(D,w_t)，可假設(shè)h_t:X→Y，其中，L為弱學(xué)習(xí)算法，并計(jì)算每次迭代后每個(gè)訓(xùn)練樣本的加權(quán)誤差h_t為訓(xùn)練樣本x_i的函數(shù)，故也可表示為h_t(x_i)。如果則T＝t-1并退出迭代過(guò)程。然后令并將權(quán)重更新為其中，為歸一化常數(shù)。由此，最終能夠確定加權(quán)誤差較低的若干訓(xùn)練樣本，并將其作為訓(xùn)練得到的弱分類器。

Adaboost.M1算法中包含了多種類別標(biāo)簽，同時(shí)該算法中所涉及的誤差為加權(quán)誤差。在本發(fā)明的實(shí)施例中，通過(guò)Adaboost.M1算法對(duì)矩形特征進(jìn)行訓(xùn)練，能夠從圖像中的多種元素中區(qū)分出目標(biāo)元素，大大提高了行人距離檢測(cè)的準(zhǔn)確度。

組合模塊20用于通過(guò)級(jí)聯(lián)算法將多個(gè)弱分類器組合，以構(gòu)成強(qiáng)分類器。

對(duì)于訓(xùn)練模塊10所得到的t個(gè)弱分類器h_j(x_i)，組合模塊20可通過(guò)級(jí)聯(lián)算法進(jìn)行組合，以構(gòu)成強(qiáng)分類器：

第一獲取模塊30用于通過(guò)強(qiáng)分類器獲取行人圖像中行人的像素坐標(biāo)。

在本發(fā)明的實(shí)施例中，所涉及的坐標(biāo)系可包括：圖像像素坐標(biāo)系、圖像物理坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系。圖5為上述各坐標(biāo)系的示意圖。

在圖5中，u_p、v_p軸表示圖像像素坐標(biāo)系，圖像像素坐標(biāo)系以圖像的左上角為原點(diǎn)，向右和向下分別為u_p軸和v_p軸的正方向，該坐標(biāo)系是以像素為單位，每個(gè)像素的坐標(biāo)(u_p，v_p)表示該像素在圖像上的行數(shù)和列數(shù)。

x、y軸表示圖像物理坐標(biāo)系，圖像物理坐標(biāo)系以光軸和圖像平面的交點(diǎn)o為原點(diǎn)，x軸和y軸分別與圖像像素坐標(biāo)系的u軸和v軸平行且方向一致，該坐標(biāo)系是以毫米為單位。

X_c、Y_c、Z_c軸表示攝像機(jī)坐標(biāo)系，攝像機(jī)坐標(biāo)系以鏡頭光心O_c為原點(diǎn)，其Z_c軸與光軸重合，與圖像平面垂直，且取攝影方向?yàn)檎?，X_c軸和Y_c軸分別與圖像物理坐標(biāo)系的x軸和y軸平行，應(yīng)當(dāng)理解，圖5中O_co可表示攝像機(jī)焦距。

X_w、Y_w、Z_w軸表示世界坐標(biāo)系，世界坐標(biāo)系為在測(cè)量環(huán)境中所選擇的一個(gè)參考坐標(biāo)系，用來(lái)描述攝像機(jī)和物體之間的關(guān)系。

行人的像素坐標(biāo)，即為行人的像素在圖像像素坐標(biāo)系中的坐標(biāo)。在本發(fā)明的一個(gè)實(shí)施例中，第一獲取模塊30可逐層等比放大強(qiáng)分類器的檢測(cè)窗口，分別以多個(gè)尺度檢測(cè)行人圖像以生成多個(gè)尺度的檢測(cè)結(jié)果，并根據(jù)多個(gè)尺度的檢測(cè)結(jié)果確定行人圖像中行人的像素，以得到行人的像素坐標(biāo)(u,v)。

應(yīng)當(dāng)理解，對(duì)表征像素的矩形特征進(jìn)行訓(xùn)練，最終所得到的強(qiáng)分類器，能夠更好地區(qū)分出行人圖像中的行人的像素和其他元素的像素。通過(guò)多個(gè)尺度對(duì)該行人圖像進(jìn)行檢測(cè)得到多個(gè)檢測(cè)結(jié)果，綜合多個(gè)檢測(cè)結(jié)果，能夠更加精確地確定該行人圖像中行人的像素所在的位置，并進(jìn)一步得出行人的像素坐標(biāo)(u,v)。在本發(fā)明的一個(gè)實(shí)施例中，通過(guò)保持行人圖像的大小不變，而僅改變強(qiáng)分類器檢測(cè)窗口的大小，因此僅需進(jìn)行一次積分圖的計(jì)算，從而能夠大大減少計(jì)算時(shí)間，提高了獲取行人的像素坐標(biāo)的速度。

計(jì)算模塊40用于根據(jù)單目攝像機(jī)的參數(shù)和行人的像素坐標(biāo)計(jì)算單目攝像機(jī)與行人之間的距離。

在本發(fā)明的一個(gè)實(shí)施例中，單目攝像機(jī)的參數(shù)可包括單目攝像機(jī)的內(nèi)部參數(shù)和單目攝像機(jī)的外部參數(shù)，其中，內(nèi)部參數(shù)可包括圖像物理坐標(biāo)系中，在表示像素列數(shù)的軸方向上，以像素為單位表示的等效焦距β，以及圖像像素坐標(biāo)系中，光軸與圖像平面的交點(diǎn)坐標(biāo)(u₀,v₀)，外部參數(shù)可包括單目攝像機(jī)的俯仰角φ和安裝高度h。

在單目攝像機(jī)安裝至車輛上時(shí)，便可對(duì)單目攝像機(jī)的參數(shù)進(jìn)行標(biāo)定。其中，內(nèi)部參數(shù)可采用Matlab標(biāo)定工具箱進(jìn)行獲取。該工具箱采用黑白棋盤作為標(biāo)定參照物，在標(biāo)定時(shí)用單目攝像機(jī)從不同的距離與角度采集的多幅黑白棋盤的模板圖像，并抽取出其中的20幅對(duì)該攝像機(jī)進(jìn)行內(nèi)部參數(shù)的標(biāo)定實(shí)驗(yàn)，然后利用工具箱的優(yōu)化工具進(jìn)行優(yōu)化。

在本發(fā)明的一個(gè)實(shí)施例中，還可包括用于獲取單目攝像機(jī)的外部參數(shù)的第二獲取模塊，第二獲取模塊用于獲取單目攝像機(jī)拍攝的道路圖像中車輛的左右兩條車道線；根據(jù)車輛的左右兩條車道線獲取單目攝像機(jī)的外部參數(shù)。

具體地，第二獲取模塊可獲取車輛的左右兩條車道線的交點(diǎn)在圖像像素坐標(biāo)系中的坐標(biāo)，并獲取左右兩條車道線在圖像像素坐標(biāo)系中的斜率，并獲取左右兩條車道線之間的距離。

在本發(fā)明的一個(gè)實(shí)施例中，若點(diǎn)M在世界坐標(biāo)系中的坐標(biāo)為[X_w,Y_w,Z_w]^T，在圖像像素坐標(biāo)系中的坐標(biāo)為[u,v]^T，則該點(diǎn)的坐標(biāo)變換關(guān)系可表示為：

其中，Z_c為M點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。α和β為圖像物理坐標(biāo)系中，在分別表示像素行數(shù)和列數(shù)的軸方向上，以像素為單位表示的等效焦距。P為透視變換矩陣，A表示攝像機(jī)的內(nèi)部參數(shù)矩陣，t＝[t_x,t_y,t_z]^T表示世界坐標(biāo)系中原點(diǎn)在攝像機(jī)坐標(biāo)系中坐標(biāo)。旋轉(zhuǎn)矩陣R是攝像機(jī)光軸相對(duì)于世界坐標(biāo)系坐標(biāo)軸的方向余弦組合。如果空間點(diǎn)M按照繞X_w，Y_w，Z_w軸的次序分別旋轉(zhuǎn)ψ，θ，φ角度，則R可表示為：

如圖6所示，對(duì)于車載單目攝像機(jī)來(lái)說(shuō)，可將旋轉(zhuǎn)矩陣R的偏航角與側(cè)傾角設(shè)置為零，即ψ＝θ＝0，攝像機(jī)俯仰角為φ，攝像機(jī)的安裝高度為h。在該模型下，標(biāo)定需要求解的參數(shù)只有攝像機(jī)的俯仰角φ和安裝高度h。由幾何關(guān)系可得，世界坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系里的坐標(biāo)是(0,hcosφ,0)。根據(jù)式(1)的定義，式(1)中的參數(shù)R和t可分別為：

由于在實(shí)際標(biāo)定中，α和β的值較為接近，因此可定義f_r＝α＝β。綜合式(1)和式(3)，可得圖像像素坐標(biāo)系中的坐標(biāo)與世界坐標(biāo)系中坐標(biāo)的映射關(guān)系如下：

當(dāng)Z_w→∞時(shí)，道路圖像中兩條車道線相交于點(diǎn)(u_e,v_e)，其中，

同樣地，能夠得到u_ε。

圖7為左右兩條車道線相交的示意圖，圖8為左右兩條車道線與世界坐標(biāo)的關(guān)系示意圖。在圖8中，L表示左車道線，R表示右車道線。θ為L(zhǎng)與世界坐標(biāo)系Z_w軸夾角，d_L與d_R分別為世界坐標(biāo)系原點(diǎn)到L與R之間的距離，故左右兩條車道線的之間的距離W＝d_L+d_R。由圖8可知，直線L的斜率為cotθ，截距為d_L/sinθ，因此，L的直線方程如下：

在本發(fā)明的一個(gè)實(shí)施例中，在圖像像素坐標(biāo)系中，過(guò)單目攝像機(jī)所在的點(diǎn)的平面可與車輛的左右兩條車道線可分別相交于(u₁，v₁)和(u₂，v₂)。當(dāng)Z_w＝0時(shí)，X_w＝-d_L/cosθ，代入式(4)可得(u₁，v₁)坐標(biāo)為：

同樣地，能夠得到(u₂，v₂)的坐標(biāo)。

由(u₁，v₁)和(u₂，v₂)的坐標(biāo)可得左車道線L的斜率為：

同樣地，右車道線R的斜率為：

第二獲取模塊可根據(jù)車輛的左右兩條車道線的交點(diǎn)在圖像像素坐標(biāo)系中的坐標(biāo)和內(nèi)部參數(shù)計(jì)算單目攝像機(jī)的俯仰角φ。

由式(5)可得，單目攝像機(jī)的俯仰角為：

第二獲取模塊還可根據(jù)左右兩條車道線在圖像像素坐標(biāo)系中的斜率、左右兩條車道線的之間的距離和內(nèi)部參數(shù)計(jì)算單目攝像機(jī)的安裝高度h。

由幾何關(guān)系可得：

因此，單目攝像機(jī)的安裝高度為：

由此，通過(guò)車輛的左右兩條車道線完成了單目攝像機(jī)外部參數(shù)的標(biāo)定，簡(jiǎn)單而又方便。

圖9示出了單目攝像機(jī)與行人之間的距離d與單目攝像機(jī)參數(shù)、行人的像素坐標(biāo)之間的幾何關(guān)系。如圖9所示，由于僅計(jì)算單目攝像機(jī)與行人之間沿車輛行駛方向上的距離，因此僅用到了行人像素坐標(biāo)中v_p軸的坐標(biāo)v和光軸與圖像平面的交點(diǎn)坐標(biāo)中的v_p軸的坐標(biāo)v₀。圖9中的f為單目攝像機(jī)的焦距。圖像物理坐標(biāo)系中，在表示像素列數(shù)的軸方向上，以像素為單位表示的等效焦距β與單目攝像機(jī)的焦距f的關(guān)系為：β＝f/d_y，其中，d_y為每一個(gè)像素在圖像物理坐標(biāo)系中y軸方向上的物理尺寸。由圖9可知，能夠通過(guò)以下公式計(jì)算所述單目攝像機(jī)與所述行人之間的距離：

根據(jù)本發(fā)明實(shí)施例的行人距離檢測(cè)裝置，通過(guò)對(duì)行人圖像的矩形特征進(jìn)行訓(xùn)練，得到多個(gè)弱分類器，通過(guò)級(jí)聯(lián)算法使多個(gè)弱分類器構(gòu)成強(qiáng)分類器，然后通過(guò)強(qiáng)分類器獲取行人圖像中行人的像素坐標(biāo)，再根據(jù)單目攝像機(jī)的參數(shù)和行人的像素坐標(biāo)計(jì)算單目攝像機(jī)與行人之間的距離，由此，能夠快速且準(zhǔn)確地識(shí)別出行人圖像中的行人，從而能夠提高行人距離檢測(cè)的實(shí)時(shí)性和魯棒性，推動(dòng)了行人距離檢測(cè)技術(shù)的普及。

在本發(fā)明的描述中，需要理解的是，術(shù)語(yǔ)“中心”、“縱向”、“橫向”、“長(zhǎng)度”、“寬度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”、“順時(shí)針”、“逆時(shí)針”、“軸向”、“徑向”、“周向”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。

此外，術(shù)語(yǔ)“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括一個(gè)或者更多個(gè)該特征。在本發(fā)明的描述中，“多個(gè)”的含義是兩個(gè)或兩個(gè)以上，除非另有明確具體的限定。

在本發(fā)明中，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”、“固定”等術(shù)語(yǔ)應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通或兩個(gè)元件的相互作用關(guān)系。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

在本發(fā)明中，除非另有明確的規(guī)定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接觸，或第一和第二特征通過(guò)中間媒介間接接觸。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或僅僅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或僅僅表示第一特征水平高度小于第二特征。

在本說(shuō)明書的描述中，參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不必須針對(duì)的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說(shuō)明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。

盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對(duì)本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。