本發(fā)明涉及場景深度估計方法領(lǐng)域，具體是一種基于場景深度映射的道路目標(biāo)深度估計方法。

背景技術(shù)：

視覺中的深度度量的被測物體到成像平面的垂直距離，在計算機視覺中，深度估計有助于實現(xiàn)多種視覺任務(wù)，包括圖像分割、目標(biāo)識別和場景理解等等，同時在視頻監(jiān)控、機器人導(dǎo)航等領(lǐng)域也具有重要的應(yīng)用前景。然而，由于真實道路場景的復(fù)雜性，從單一圖像中恢復(fù)目標(biāo)的真實深度仍然存在很大問題。

利用遮擋、凸形、T連接、亮度、紋理、尺寸大小等低層線索能夠很好的恢復(fù)場景深度信息。給定一幅圖像，Hoiem等人于2011年發(fā)表的《Recovering Occlusion Boundaries from an Image》根據(jù)遮擋區(qū)域與被遮擋區(qū)域相比距觀測者更近的事實，從獲取的局部遮擋關(guān)系推斷出目標(biāo)間可能的深度關(guān)系。Palou等人于2013年發(fā)表的《Monocular depth ordering using T-junctions and convexity occlusion cues》根據(jù)T連接和凸形特性，來獲取局部區(qū)域間的遮擋關(guān)系。申請?zhí)枮?01410637107.7的中國專利《一種單幅靜態(tài)圖像深度估計方法及裝置》根據(jù)圖像的像素亮度和清晰度獲得單目深度估計。此外，運動低層線索同樣也被采用。例如Doron等人于2008年發(fā)表的《Motion segmentation and depth ordering using an occlusion detector》，利用運動引起場景中層區(qū)域增長，推斷不同層之間的深度關(guān)系。而Palou等人于2012年發(fā)表的《Depth ordering on image sequences using motion occlusions》，利用光流獲取指明遮擋關(guān)系的特殊點，并以點來確定局部區(qū)域間的深度關(guān)系。在實際的道路系統(tǒng)中，基于上述方法獲得的往往是圖像局部區(qū)域之間的深度關(guān)系，獲得的深度信息往往和實際不相同。

利用低層線索進行場景深度估計無法消除深度估計中的模棱兩可性，高層信息恢復(fù)深度信息的方法被提出。Liu等人于2010年發(fā)表的《Single image depth estimation from predicted semantic labels》，利用語義信息約束深度估計，如天空距離觀測者最遠(yuǎn)，垂直的區(qū)域具有相似的深度值等。Zhuo等人于2015年發(fā)表的《Indoor scene structure analysis for single image depth estimation》，介紹了場景深度的一種分層表達(dá)方式，結(jié)合低層深度線索與高層場景結(jié)構(gòu)，提高深度估計的準(zhǔn)確性。然而，利用幾何結(jié)構(gòu)和語義信息獲取的約束條件過于粗糙，不利于獲取更加準(zhǔn)確的深度信息。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種基于場景深度映射的道路目標(biāo)深度估計方法，以解決現(xiàn)有技術(shù)由于遮擋等原因，深度圖中目標(biāo)的深度值不連續(xù)，深度估計結(jié)果不理想的問題。

為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案為：

基于場景深度映射的道路目標(biāo)深度估計方法，其特征在于：包括以下步驟：

(1)、消失點估計：對輸入的場景彩色圖像，首先將彩色圖像轉(zhuǎn)換為灰度圖像，然后通過邊緣檢測得到邊緣圖，對邊緣圖進行霍夫變換檢測直線，使用最大期望算法算法，估計候選直線是消失線的可能性，完成消失線和消失點估計；

(2)、場景深度映射關(guān)系構(gòu)建：對攝像機幾何參數(shù)標(biāo)定，并獲取深度映射關(guān)系表。對不同高度的攝像頭都可以進行標(biāo)定，提高處理的魯棒性；

(3)、分割區(qū)域標(biāo)識：將需要進行深度估計的場景彩色圖像灰度化后進行運動目標(biāo)分割獲得候選集合圖像，對采集的道路場景分割獲得的候選集合圖像塊進行顏色、紋理、位置特征提取，訓(xùn)練多類區(qū)域識別的Adaboost分類器，實現(xiàn)天空、地面、垂直物體的多類標(biāo)記預(yù)測；

(4)、目標(biāo)截距和深度排序：獲取垂直區(qū)域與地面的地面接觸點，根據(jù)攝像機坐標(biāo)系獲取的深度映射關(guān)系表和垂直區(qū)域的地面接觸點，獲取該垂直區(qū)域的期望深度估計。

所述的基于場景深度映射的道路目標(biāo)深度估計方法，其特征在于：步驟(1)中消失點估計具體過程如下：

步驟S1-1：根據(jù)消失點特性對所有候選直線進行分組，獲得所有直線的方向統(tǒng)計直方圖函數(shù)f_θ，計算方向統(tǒng)計直方圖函數(shù)的窗口均值函數(shù)

步驟S1-2：計算方向統(tǒng)計均值差函數(shù)找出該函數(shù)的過0點方向，作為直線分組的判定條件；將方向在峰值區(qū)域外的直線去除，獲得初始的直線分組，并選取其中3個主要分組，計算各分組的候選消失點v_j；

步驟S1-3：計算消失線與消失點之間的估計余差，判定消失線與消失點的從屬關(guān)系，從屬關(guān)系越可靠，表示直線和消失點越相關(guān)，否則認(rèn)為該直線為與消失點無關(guān)的異常直線；

步驟S1-4：計算消失點估計的可靠性，本步驟對應(yīng)最大期望算法中的E步驟，即計算消失點的后驗概率的期望；由于已知消失線h_θ,i對于消失點v_j的相關(guān)性概率p(h_θ,i|v_j)，基于貝葉斯原理，可以計算消失點對于消失線的后驗概率，如公式(1)所示：

$p\left(v_j\right|h_{\mathrm{\θ},i})=\frac{p\left(h_{\mathrm{\θ},i}\right|v_j)\·p\left(v_j\right)}{p\left(h_{\mathrm{\θ},i}\right)}---\left(1\right),$

公式(1)中，分子中p(v_j)表示消失點的先驗概率，通過消失點對應(yīng)的分組直線數(shù)量估計獲得，分子p(h_θ,i)表示該直線的可靠性，通過對該直線與三個消失點的響應(yīng)求和獲得，j的取值可以是初始的候選消失點，通過p(h_θ,i)＝Σ_jp(v_j)p(h_θ,i|v_j)來計算分母；

步驟S1-5：通過似然估計完成候選消失點和最終的消失點位置偏差問題，利用圖譜理論估計快速的求解最大似然問題，消失點對于消失線的后驗概率中的低秩信息；

步驟S1-6：消失點的最大似然估計，本步驟對應(yīng)最大期望算法中的M步驟，即通過調(diào)整消失點參數(shù)提高系統(tǒng)估計的可靠性；在第一次優(yōu)化后，更新初始的候選消失點，重復(fù)步驟S1-4和步驟S1-5，此時，直線和新生成消失點的期望發(fā)生變化，重構(gòu)消失點和消失線對應(yīng)相關(guān)性矩陣，利用矩陣分解方法迭代完成多次消失點更新；如果更新過程中，消失點的變化小于給定的門限則認(rèn)為消失點收斂，獲得場景最終的消失點估計

步驟S1-7：分析三個消失點和場景空間位置的關(guān)系，找出在場景上方的消失點

所述的基于場景深度映射的道路目標(biāo)深度估計方法，其特征在于：步驟(2)中場景深度映射關(guān)系構(gòu)建具體過程如下：

步驟S2-1：針對消失點估計中的三個消失點，找出屬于場景成像區(qū)域內(nèi)部的消失點，作為深度標(biāo)定的中心消失點v_center；

步驟S2-2：假定攝像機拍攝狀態(tài)無傾斜，成像水平線與真實場景深度水平線平行，根據(jù)中心消失點的垂直位置uy_center，獲取圖像中與該垂直位置相同的直線為水平消失線line_ch；

步驟S2-3：確定確定中心視野消失線line_cv，該垂直線各像素為水平線集合的代表元素，計算該中心視野消失線line_cv、各像素的深度即獲得場景中地面區(qū)域的深度關(guān)系映射表；

步驟S2-4：在成像系統(tǒng)中設(shè)置標(biāo)定物體，已知該物體的真實距離D_i，單位為米，計算圖像中成像物體高度；

步驟S2-5：根據(jù)攝像機的凸透鏡成像原理，標(biāo)定物理系統(tǒng)的攝像機模型的深度參數(shù)；

步驟S2-6：對中心視野消失線line_cv的各像素，利用其垂直坐標(biāo)計算成像物體高度，利用深度估計線性模型D_i＝θ/h_i，計算各種垂直位置條件下的深度映射關(guān)系表，獲得場景中各水平線上的真實世界深度，單位為米。

所述的基于場景深度映射的道路目標(biāo)深度估計方法，其特征在于：步驟(3)中分割區(qū)域標(biāo)識具體過程如下：

步驟S3-1：提取區(qū)域特征包括顏色特征，紋理特征和位置特征；

步驟S3-2：對采集的街道場景分割獲得的候選集合圖像塊，訓(xùn)練Adaboost分類器，獲得Adaboost模型參數(shù)，實現(xiàn)天空、地面、垂直物體的多類標(biāo)記預(yù)測；

步驟S3-3：利用離線訓(xùn)練好的Adaboost模型M_train，對測試圖像塊區(qū)域進行類別預(yù)測，依次獲得各主要區(qū)域的類別標(biāo)記，包括天空、地面、垂直物體類別。

所述的基于場景深度映射的道路目標(biāo)深度估計方法，其特征在于：分割區(qū)域標(biāo)識中，訓(xùn)練Adaboost分類器具體過程如下：

(a)、將天空、地面、垂直物體三類的分類器模型，拆開為三個一對多的單類場景分類器，即天空與非天空、地面與非地面、垂直物體與非垂直物體，Adaboost訓(xùn)練單類場景分類器；

(b)、針對顏色、位置、紋理的多元素特征向量，對每個元素factor采用閾值弱分類器區(qū)分不同場景類別；

(c)、根據(jù)各元素特征弱分類器誤差計算弱分類器權(quán)重；

(d)、Adaboost更新樣本權(quán)重更新過程中，對于分類錯誤的樣本，加大其對應(yīng)的權(quán)重；而對于分類正確的樣本，降低其權(quán)重，從而生成更新后的訓(xùn)練樣本分布；

(e)、再次對新的樣本的其他特征元素進行訓(xùn)練，獲得其他特征的弱分類器，計算獲得弱分類器誤差、弱分類器權(quán)重，不斷循環(huán)，得到多個弱分類器，把這多個弱分類器按弱分類器權(quán)重疊加起來，獲得最終的強分類器。

所述的基于場景深度映射的道路目標(biāo)深度估計方法，其特征在于：步驟(4)中目標(biāo)截距和深度排序具體過程如下：

步驟S4-1：以垂直物體標(biāo)記的分割區(qū)域為對象，使用尺度為3x3的圓盤結(jié)構(gòu)算子，進行數(shù)學(xué)形態(tài)學(xué)腐蝕，利用數(shù)學(xué)形態(tài)學(xué)腐蝕前后區(qū)域的差異，獲取區(qū)域的邊界像素集合；

步驟S4-2：計算邊界像素的梯度方向，依次分析邊界像素兩側(cè)的標(biāo)記，將邊界下側(cè)為地面標(biāo)記區(qū)域的像素點保留，獲取地面接觸點像素集合；

步驟S4-3：按照垂直坐標(biāo)對地面接觸點進行排序，取垂直坐標(biāo)較大的10％像素，作為該垂直區(qū)域的深度估計的參考點集合；

步驟S4-4：對垂直區(qū)域的深度估計的參考點集合，進行深度映射關(guān)系表查找，獲取該垂直區(qū)域的最大深度位置和最小深度位置；

步驟S4-5：對垂直區(qū)域的深度估計的參考點集合，計算其平均值，作為該垂直區(qū)域的期望深度估計，不斷重復(fù)該步驟，完成場景中各個垂直區(qū)域的期望深度估計。

本發(fā)明提出來一種基于場景深度映射的道路目標(biāo)深度估計方法。利用最大期望算法迭代估計中心消失點的精確位置。利用中心視野消失線構(gòu)建場景深度映射關(guān)系。構(gòu)建Adaboost分類器，獲得分割區(qū)域類別的標(biāo)記，提高目標(biāo)定位和識別精度。分析垂直目標(biāo)的地面接觸線，查找深度映射關(guān)系表，獲得道路目標(biāo)的深度估計結(jié)果。

附圖說明

圖1為本發(fā)明提出的場景深度估計方法流程圖。

圖2為本發(fā)明實施例中場景邊緣提取和直線檢測，其中：

圖2a為道路場景圖像(灰度)，圖2b為場景邊緣檢測，圖2c為場景直線檢測。

圖3為本發(fā)明實施例中場景消失點與消失線檢測，其中：

圖3a為透視模型，圖3b為場景消失點，圖3c為場景消失線。

圖4為本發(fā)明實施例中場景深度映射關(guān)系生成過程示意圖，其中：

圖4a為中心視野消失點和中心視野消失線，圖4b為攝像機模型，圖4c為場景深入映射關(guān)系。

圖5為本發(fā)明實施例中場景區(qū)域分割，其中：

圖5a為道路場景圖像，圖5b為分水嶺初始區(qū)域分割，圖5c為基于圖模型的區(qū)域合并結(jié)果。

圖6為本發(fā)明實施例中場景目標(biāo)識別，其中：

圖6a為場景目標(biāo)分類器，圖6b為場景目標(biāo)識別的類別標(biāo)記。

圖7為本發(fā)明實施例中場景深度估計結(jié)果，其中：

圖7a為目標(biāo)輪廓與地面接觸線，圖7b為基于地面接觸線的場景目標(biāo)深度映射。

具體實施方式

下面結(jié)合附圖及具體實施方式詳細(xì)介紹本發(fā)明。本發(fā)明為基于場景深度映射的道路目標(biāo)深度估計方法，具體流程如圖1所示，本發(fā)明的實現(xiàn)方案分為以下步驟：

步驟S1：使用Canny邊緣檢測，提取場景圖像中的結(jié)構(gòu)信息，以便后續(xù)場景消失線提取，具體操作步驟包括：

步驟S1-1：圖像灰度化，對于輸入的彩色圖像，將RGB各個通道的采樣值進行平均處理，轉(zhuǎn)換成灰度圖像I，如圖2(a)所示。圖像高斯平滑處理，以便去除圖像中的噪聲點，避免對后續(xù)邊緣、直線檢測的干擾，獲得平滑后的場景圖像I_σ＝G_σ*I，其中σ是高斯函數(shù)G_σ的標(biāo)準(zhǔn)差。

步驟S1-2：圖像梯度參數(shù)計算，對平滑后的場景圖像I_σ，計算場景中各像素點的一階水平梯度I_x，一階垂直梯度I_y。計算場景中各像素點的一階梯度幅值I_M和方向I_θ。將初始的Canny邊緣響應(yīng)記做E＝I_M。

步驟S1-3：對場景中像素的3*3鄰域區(qū)域內(nèi)像素進行非極大抑制，如果該像素點(i,j)的幅值I_M(i,j)，比沿梯度方向線的兩個相鄰象素梯度幅值小，則將該像素點(i,j)處Canny邊緣響應(yīng)E(i,j)置0，獲得非極大抑制后的邊緣檢測響應(yīng)。

步驟S1-4：雙閾值檢測，設(shè)置高閾值，保留高可靠度的Canny角點，設(shè)置低閾值，獲得低可靠度的Canny角點。對高閾值角點進行8連通性檢測，添加與高閾值點鄰接的低閾值點，將圖像中的邊緣連接成輪廓。迭代執(zhí)行直至沒有沒有發(fā)現(xiàn)新的鄰接角點。將最終的連通角點Canny邊緣響應(yīng)保留，將非保留角點的其他像素(i,j)的Canny響應(yīng)E(i,j)置0，最終獲得Canny角點響應(yīng)。圖2(b)為場景邊緣檢測結(jié)果示意圖。

步驟S2：使用Hough直線檢測，為消失線估計，提供場景中的候選直線，具體操作步驟包括：

步驟S2-1：初始化直線檢測的Hough變換累加器H_B，其中各元素初始值為0。該矩陣橫坐標(biāo)容量為1-180，表示-89度到90度。矩陣縱坐標(biāo)為場景圖像對角線長度。

步驟S2-2：對Canny響應(yīng)E中的保留角點，根據(jù)該像素點坐標(biāo)，計算Hough變換的半徑參數(shù)h_r和方向參數(shù)h_θ。具體來說，對于過該像素的直線，依次調(diào)整直線方向h_θ，從-89度到90度，對于該直線，計算場景圖像坐標(biāo)原點對該直線的距離獲得半徑h_r。將Hough變換的半徑參數(shù)和方向參數(shù)取整后，放入Hough變換累加器H_B。

步驟S2-3：對所有Canny角點，完成Hough變換累加器H_B統(tǒng)計。設(shè)置指向響應(yīng)閾值，將閾值較高的直線取出，獲得候選直線集合H_s＝{h_s,i},，其中集合中每個元素h_s,i＝{h_b,i,h_r,i,h_θ,i}，記錄該直線共線點數(shù)量、半徑、方向。圖2(c)為中場景直線檢測的結(jié)果示意圖。

步驟S3：使用最大期望算法，估計候選直線是消失線的可能性，完成消失線和消失點估計，具體操作步驟包括：

步驟S3-1：三維空間中平行的直線映射到圖像中時，往往會相交于一點(有可能是無限遠(yuǎn)的)，這個點就稱為消失點(圖3(a)為消失點透視模型示意圖)，根據(jù)該特性對直線分組。對候選直線集合H_s＝{h_s,i},，獲得所有直線的方向統(tǒng)計直方圖函數(shù)f_θ。計算方向統(tǒng)計直方圖函數(shù)的窗口均值函數(shù)具體做法為：以當(dāng)前角度為中心點，以f_r/2為窗口半徑，計算方向統(tǒng)計直方圖函數(shù)f_θ窗口段內(nèi)的統(tǒng)計均值為窗口均值函數(shù)

步驟S3-2：計算方向統(tǒng)計均值差函數(shù)找出該函數(shù)的過0點方向，作為直線分組的判定條件。將方向在峰值區(qū)域外的直線去除，獲得初始的直線分組。并選取其中3個主要分組，計算各分組的候選消失點v_j。

步驟S3-3：消失線和消失點的相關(guān)性分析。初始的候選消失點較多，根據(jù)消失點的歸屬關(guān)系，消失線可以分為2種基本情況：一種情況是與三個主要的消失點對應(yīng)，另一種情況是與場景消失點都無關(guān)。在沒有噪聲干擾的情況下，一條消失線與消失點之間應(yīng)該存在強相關(guān)性，其估計余差為v_j·h_θ,i＝0，其中j的取值與初始候選消失點數(shù)量相同，i的取值范圍與場景中存在的直線數(shù)量一致。在噪聲存在的情況下，v_j·h_θ,i不等于0，但是近似服從一個正態(tài)分布因此，通過計算消失線與消失點之間的估計余差，可以判定消失線與消失點的從屬關(guān)系，其概率形式為：

$p\left(h_{\mathrm{\θ},i}\right|v_j)\∝\exp \left\{\frac{-{(v_j\·h_{\mathrm{\θ},i})}^2}{2{\mathrm{\σ}}_v^2}\right\}$

其中可以看出，v_j·h_θ,i取值越接近于0，則p(h_θ,i|v_j)從屬關(guān)系越可靠，如果直線對任何消失點的可靠性均較低，則認(rèn)為該直線為與場景消失點無關(guān)的異常直線。此時，可以計算出所有直線與消失點的對應(yīng)關(guān)系，便于后續(xù)消失點期望的計算。

步驟S3-4：計算消失點估計的可靠性，該步驟對應(yīng)最大期望算法中的E步驟，即計算消失點的后驗概率的期望。由于已知消失線h_θ,i對于消失點v_j的相關(guān)性概率p(h_θ,i|v_j)，基于貝葉斯原理，可以計算消失點對于消失線的后驗概率，有：

$p\left(v_j\right|h_{\mathrm{\θ},i})=\frac{p\left(h_{\mathrm{\θ},i}\right|v_j)\·p\left(v_j\right)}{p\left(h_{\mathrm{\θ},i}\right)}$

其中，分子中p(v_j)表示消失點的先驗概率，通過消失點對應(yīng)的分組直線數(shù)量估計獲得。分子p(h_θ,i)表示該直線的可靠性，通過對該直線與三個消失點的響應(yīng)求和獲得，j的取值可以是初始的候選消失點，其分母計算公式為：

p(h_θ,i)＝Σ_jp(v_j)p(h_θ,i|v_j)

步驟S3-5：消失點的似然優(yōu)化。候選消失點和最終的消失點存在位置偏差，通過似然估計完成一次優(yōu)化過程。場景中所有消失點的最大似然估計為：

$\underset{v_j}{max}\underset{j}{\Π}p\left(v_j\right|h_{\mathrm{\θ},i})$

為了快速的求解上述最大似然問題，利用圖譜理論估計，消失點對于消失線的后驗概率中的低秩信息。具體做法如下：計算各消失點和消失線對應(yīng)相關(guān)性矩陣w_vh＝p(v_j|h_θ,j)，顯然該矩陣的尺寸為W_vh＝{w_vh}_v,h∈R^3×n，其中3為主要消失點的個數(shù)，n為候選直線的數(shù)量。W_vh中的每一列是一條直線對各候選消失點的概率，其中最大值對應(yīng)該直線的歸屬消失點，可以獲得A_vh＝{a_vh}_v,h∈R^3×n，表示直線和消失點的歸屬關(guān)系，其中a_vh歸屬消失點數(shù)值為1，非歸屬關(guān)系消失點數(shù)值為0。

為了求解出三個主要消失點，同時滿足上述最大似然，需要做如下假設(shè)：消失點對應(yīng)分組內(nèi)直線較多；消失點對應(yīng)分組內(nèi)直線方向基本一致；消失點之間位置差異較大。上述目標(biāo)函數(shù)在線性似然估計的條件下，使用加權(quán)最小二乘問題的解決方法，所以消失點的估計就轉(zhuǎn)換成了最小二乘問題。

J(v_j)＝argmin_vj||W_vh·A_vh^T·v_j||²

其中，A_vh∈R^3×n是一個轉(zhuǎn)換矩陣，表示直線和消失點的歸屬關(guān)系，v_j∈R^3×1表示消失點的方向。為了求解最佳的v_j，其滿足A_vh·W_vh^T·W_vh·A_vh^T協(xié)方差矩陣的最小特征值對應(yīng)的特征向量，從而實現(xiàn)候選消失點的第一次優(yōu)化求解

步驟S3-6：消失點的最大似然估計，該步驟對應(yīng)最大期望算法中的M步驟，即通過調(diào)整消失點參數(shù)提高系統(tǒng)估計的可靠性。在第一次優(yōu)化后，更新初始的候選消失點，重復(fù)步驟S3-4和步驟S3-5，此時，直線和新生成消失點的期望發(fā)生變化，重構(gòu)消失點和消失線對應(yīng)相關(guān)性矩陣，利用矩陣分解方法迭代完成多次消失點更新。如果更新過程中，消失點的變化小于給定的門限則認(rèn)為消失點收斂，獲得場景最終的消失點估計如圖3(b)為消失點估計的結(jié)果示意圖。

步驟3-7：找出景深方向的消失線。分析三個消失點和場景空間位置的關(guān)系，找出在場景上方的消失點此時，可以通過消失線和消失點的相似性，獲得直線分組，生成對應(yīng)的場景消失線集合為后續(xù)景深估計提供參考坐標(biāo)系。圖3(c)為場景消失線檢測結(jié)果示意圖。

步驟S4：場景深度映射關(guān)系構(gòu)建。具體操作步驟包括：

步驟S4-1：場景內(nèi)部的中心消失點。在場景三個消失點中，找出屬于場景成像區(qū)域內(nèi)部的消失點，作為深度標(biāo)定的中心消失點v_center。確定屬于該消失點的場景世界坐標(biāo)系的參數(shù)(x_center,y_center,z_center)，屬于中心消失點的圖像坐標(biāo)系的參數(shù)(ux_center,uy_center)。

步驟S4-2：確定水平消失線。假定攝像機拍攝狀態(tài)無傾斜，成像水平線與真實場景深度水平線平行，根據(jù)中心消失點的垂直位置uy_center，獲取圖像中與該垂直位置相同的直線為水平消失線line_ch，該直線上場景深度相同。

步驟S4-3：確定中心視野消失線。假定地面區(qū)域平坦，在地面區(qū)域內(nèi)任意兩個成像垂直位置相同的像素具有相同的深度，場景中地面區(qū)域的深度信息，具有等深線，即圖像中的一系列水平線。在場景圖像中，確定通過消失點的垂直線line_cv，該垂直線各像素為水平線集合的代表元素，計算該中心視野消失線line_cv，各像素的深度即獲得場景中地面區(qū)域的深度映射表。圖4(a)為場景中心視野消失點和中心視野消失線檢測結(jié)果示意圖。

步驟S4-4：計算圖像中成像物體高度。在成像系統(tǒng)中設(shè)置標(biāo)定物體，已知該物體的真實距離D_i，單位為米。對于中心視野消失線上的物體成像像素(ux_center,vy_i)，該像素相對于中心點的圖像高度為：

h_i＝|vy_i-vy_center|

注意，只考慮地面區(qū)域的物體成像高度，因此，通常有vy_i>vy_center。

步驟S4-5：攝像機模型的深度標(biāo)定參數(shù)確定。根據(jù)攝像機的凸透鏡成像原理(具體如圖4(b)所示)，基于物理系統(tǒng)的凸透鏡焦距參數(shù)：f＝h_i·D_i/H，其中h_i為標(biāo)定物成像物體高度，D_i為標(biāo)定物物體與攝像機的距離，進一步假設(shè)存在一系列若干年定位高度的真實物體考慮其成像位置，H為真實世界的單位物體高度。此時，核心問題轉(zhuǎn)化為求解攝像機深度標(biāo)定參數(shù)θ＝f·H＝D_i/h_i，進而獲得攝像機模型的深度標(biāo)定參數(shù)θ。

步驟S4-6：場景深度映射關(guān)系表。對中心視野消失線line_cv的各像素，利用其垂直坐標(biāo)計算成像物體高度，利用深度估計線性模型D_i＝θ/h_i，計算各種垂直位置條件下的深度映射關(guān)系表，獲得場景中各水平線上的真實世界深度，單位為米。圖4(c)為場景深度映射關(guān)系示意圖。

步驟S5：區(qū)域分割，在初始邊緣檢測的基礎(chǔ)上，分析輪廓封閉的趨勢，獲得目標(biāo)的候選區(qū)域，具體操作步驟包括：

步驟S5-1：分水嶺變換。分水嶺是指具有區(qū)域劃分能力的圖像邊緣，獲得具有同質(zhì)極小值點的穩(wěn)定區(qū)域，即集水盆圖像，集水盆之間的邊界點，即為分水嶺。具體操作過程為，首先對每個像素的灰度級進行從低到高排序，然后在從低到高實現(xiàn)淹沒過程中，對每一個局部極小值在其對應(yīng)的灰度級別采用先進先出結(jié)構(gòu)進行判斷及標(biāo)注。通過分水嶺分割法，會產(chǎn)生許多的候選區(qū)域r,如圖5(b)為分水嶺分割后獲得的結(jié)果示意圖。

步驟S5-2：構(gòu)建圖模型。根據(jù)分水嶺分割后的候選區(qū)域建立圖模型，G_r＝＜V_r,E_r>，V_r為圖模型中所有節(jié)點集合，對應(yīng)每個分水嶺候選區(qū)域，E_r為連接節(jié)點的所有邊的集合，表示各個區(qū)域之間的關(guān)聯(lián)?；趨^(qū)域一致性假設(shè)，將分水嶺區(qū)域的RGB顏色信息作為節(jié)點屬性，將兩個區(qū)域間的平均顏色的相似性，作為邊關(guān)系強度，有:

W_r＝{w(r_p,r_q)}_p,q。

步驟S5-3：圖論最小割的計算，求解區(qū)域之間結(jié)構(gòu)表示。根據(jù)邊緣強度分析候選區(qū)域節(jié)點的聚類結(jié)果，尋找滿足最小容量的集合劃分方案。

argmin∑_s∑_tcut(s,t)＝argmin∑_s∑_t∑_p∈s,q∈tw(r_p,r_q)

其中，cut(s,t)是指一對區(qū)域之間的劃分方案，s和t分別是劃分方案中的兩個候選區(qū)域的集合，w(r_p,r_q)是指2個劃分之間的邊關(guān)系強度，其最小化過程即找出滿足相似性最小化的劃分方案。使用PCA方法，實現(xiàn)上述公式的求解過程。對W_r＝{w(r_p,r_q)}_p,q求解協(xié)方差矩陣，并計算協(xié)方差矩陣的特征值，其最小特征值對應(yīng)的特征向量，即是原有圖模型中的重要結(jié)構(gòu)，將原始的圖模型節(jié)點，映射到低維空間，來反映每個節(jié)點與其他節(jié)點的結(jié)構(gòu)關(guān)系。

步驟S5-4：根據(jù)分割區(qū)域個數(shù)，對節(jié)點映射后的低維空間，進行k-means聚類。聚類結(jié)果生成各個節(jié)點的聚類標(biāo)記l_r，即完成了圖論節(jié)點劃分的任務(wù)。

步驟S5-5：區(qū)域合并。根據(jù)各節(jié)點的聚類標(biāo)記l_r，將相同標(biāo)記的區(qū)域合并，生成新的分割區(qū)域r_fusion。解決了分水嶺嚴(yán)重過分割的問題，為后續(xù)目標(biāo)分析提供初始區(qū)域。如圖5(c)為基于圖模型的區(qū)域合并結(jié)果示意圖。

步驟S6：分割區(qū)域識別。獲得分割區(qū)域后，需要對其進行類別標(biāo)記，將其標(biāo)記為地面、天空、垂直物體，并針對垂直物體進行場景深度估計。通過構(gòu)造包含街道場景的圖像數(shù)據(jù)集，作為區(qū)域識別的訓(xùn)練集合，并對各圖像進行區(qū)域分割，獲得候選區(qū)域，分別針對地面、天空和垂直物體構(gòu)建獨立的圖像塊集合，提取其中的位置特征、顏色特征、紋理特征等。具體操作過程包括：

步驟S6-1:區(qū)域特征描述。區(qū)域特征的提取包括顏色特征，紋理特征和位置特征。

其中所述區(qū)域特征提取，進一步包括以下步驟：

步驟S6-1-1：顏色特征。采用兩種顏色空間代表顏色，即計算分割區(qū)域的平均RGB顏色空間及HSV顏色空間作為顏色特征向量f_color。

步驟S6-1-2：紋理特征。采用19×19窗口對分割區(qū)域進行濾波，使用6個方向的邊界濾波器，6個方向的條狀濾波器，2個尺寸的Laplace濾波器。將濾波后區(qū)域內(nèi)部的響應(yīng)進行直方圖統(tǒng)計，獲得紋理特征向量f_texture。

步驟S6-1-3：位置特征。首先對場景圖像的高、寬像素對，進行位置歸一化。并將各分割區(qū)域內(nèi)第10％和第90％像素的橫、縱坐標(biāo)在圖像中的位置，以及分割區(qū)域的歸一化面積百分比作為位置特征f_position。

步驟S6-2：訓(xùn)練多類區(qū)域識別的Adaboost分類器(具體如圖6(a)所示)。對采集的街道場景的圖像集合，進行區(qū)域分割獲得候選集合圖像塊，依次提取訓(xùn)練分割區(qū)域的顏色、紋理、位置特征feature＝＜f_color,f_texture，f_position>。采用人工標(biāo)注方式，獲得天空、地面、垂直物體的圖像塊標(biāo)記。在已知訓(xùn)練集特征和標(biāo)記的基礎(chǔ)上D_train＝＜feature,label>，訓(xùn)練Adaboost分類器，獲得Adaboost模型參數(shù)M_train:feature→label，實現(xiàn)天空、地面、垂直物體的多類標(biāo)記預(yù)測。

其中所述多類區(qū)域識別的Adaboost分類器訓(xùn)練，進一步包括以下步驟：

步驟S6-2-1：Adaboost訓(xùn)練單類場景分類器。將天空、地面、垂直物體三類的分類器模型，拆開為三個一對多的單類場景分類器，即天空與非天空、地面與非地面、垂直物體與非垂直物體M_train＝{M_sky,M_ground,M_vertical}。其中垂直物體與非垂直物體為關(guān)注的場景目標(biāo)分類器，其訓(xùn)練集中正例為垂直物體D_pos,vertical＝{d_vertical}，負(fù)例為天空、地面D_neg,vertical＝{d_sky,d_ground}。地面與非地面為輔助判定地面區(qū)域的分類器，其訓(xùn)練集中正例為地面，負(fù)例為天空、垂直物體。同理，天空與非天空用于判定天空區(qū)域。

步驟S6-2-2：Adaboost訓(xùn)練弱分類器，分割區(qū)域的弱分類器模型采用樁分類器形式，即針對顏色、位置、紋理的多元素特征向量，對每個元素factor采用閾值弱分類器區(qū)分不同場景類別。以垂直物體單類分類器M_vertical為例，根據(jù)初始化各樣本權(quán)重w_vertical,0，估計當(dāng)前弱分類器的最佳閾值th_{factor,vertical}，，計算各元素特征弱分類器h_{factor,vertical}中，垂直物體類別的誤差err_{factor,vertical}。

步驟S6-2-3：Adaboost計算弱分類器權(quán)重，根據(jù)各元素特征弱分類器誤差計算弱分類器權(quán)重，以垂直物體單類分類器M_vertical為例，弱分類器權(quán)重計算方式為：

a_{factor,vertical}＝ln((1-err_{factor,vertical})/err_{factor,vertical})。

步驟S6-2-4：Adaboost更新樣本權(quán)重，Adaboost弱分類器誤差計算，依賴于每個樣本對應(yīng)的權(quán)重，每次調(diào)整模型參數(shù)優(yōu)先考慮錯誤分類的樣本。初始時，每個樣本對應(yīng)的權(quán)重服從均勻分布1/n，即其中n為訓(xùn)練樣本數(shù)。每次樣本權(quán)重更新過程中，對于分類錯誤的樣本，加大其對應(yīng)的權(quán)重；而對于分類正確的樣本，降低其權(quán)重，以垂直物體單類分類器M_vertical為例，在每次弱分類器過程中，權(quán)值更新為

$w_{vertical,i+1}=w_{vertical,i}\·\frac{{\mathrm{err}}_{factor,vertical}}{1-{\mathrm{err}}_{factor,vertical}}$

從而生成更新后的訓(xùn)練樣本分布。

步驟S6-2-5：Adaboost構(gòu)建強分類器，在新的樣本分布下w_vertical,i+1，再次對其他特征元素進行訓(xùn)練，獲得其他特征的弱分類器，計算獲得弱分類器誤差、弱分類器權(quán)重。依次類推，經(jīng)過T次循環(huán)，得到T次訓(xùn)練樣本分布，T個弱分類器，把這T個弱分類器按弱分類器權(quán)重疊加起來，獲得最終的強分類器。以垂直物體單類分類器M_vertical為例，識別過程為：

M_vertical(feature)＝sign(∑_Ta_{factor,vertical}·h_{factor,vertical}(feature))

此時獲得各弱分類器權(quán)重、弱分類器中對應(yīng)的特征元素、以及最佳閾值。重復(fù)上述步驟，實現(xiàn)天空、地面單類Adaboost分類器。

步驟S6-3：利用訓(xùn)練好的Adaboost模型M_train，進行分割區(qū)域類別預(yù)測。對測試場景的圖像，利用圖像分割方法獲得圖像塊，對其中主要圖像區(qū)域進行特征提取，獲得顏色、紋理、位置特征feature_test。利用離線訓(xùn)練好的Adaboost模型M_train，對測試圖像塊區(qū)域進行類別預(yù)測，依次獲得各主要區(qū)域的類別標(biāo)記，包括天空、地面、垂直物體類別，有：

label_test＝M_train(feature_test)

此時不同分割區(qū)域都有對應(yīng)的場景類別標(biāo)簽。如圖6(b)為場景目標(biāo)識別的類別標(biāo)記示意圖。

步驟S7：目標(biāo)截距與深度估計。垂直目標(biāo)的地面接觸點是對應(yīng)真實世界中排序目標(biāo)與地面相接觸位置的像素集合，是判斷目標(biāo)在場景中相對位置的重要依據(jù)，在此基礎(chǔ)上估計垂直區(qū)域深度，具體操作步驟包括:

步驟S7-1：垂直區(qū)域邊界像素集合獲取。以垂直物體標(biāo)記的分割區(qū)域為對象r_vertical，使用尺度為3X3的圓盤結(jié)構(gòu)算子，進行數(shù)學(xué)形態(tài)學(xué)腐蝕，獲得腐蝕后的圖像erode(r_vertical)，利用數(shù)學(xué)形態(tài)學(xué)腐蝕前后區(qū)域的差異，獲取區(qū)域的邊界像素集合

Boundary＝r_vertical-erode(r_vertical)

步驟S7-2：垂直區(qū)域地面接觸點獲取。計算邊界像素的梯度方向，依次分析邊界像素兩側(cè)的標(biāo)記，將邊界下側(cè)為地面標(biāo)記區(qū)域的像素點保留，獲取地面接觸點像素集合

Boundary_g＝{b_i,j|label(b_i,j+1)＝ground,b_i,j∈Boundary}

如圖7(a)為目標(biāo)和地面的地面接觸線結(jié)果示意圖。

步驟S7-3：垂直區(qū)域地面接觸點篩選。按照垂直坐標(biāo)對地面接觸點進行排序，取垂直坐標(biāo)較大的10％像素，作為該垂直區(qū)域的深度估計的參考點集合Bound_g。

步驟S7-4：垂直區(qū)域的最大、最小深度估計。在攝像機坐標(biāo)系獲取的深度映射關(guān)系表DepthMap中，根據(jù)垂直坐標(biāo)位置，對地面區(qū)域各像素點深度均有估計。對垂直區(qū)域的深度估計的參考點集合，進行深度映射關(guān)系表查找，獲取該垂直區(qū)域的最大深度位置max_j(Bound_g)，計算最大深度估計Dmax＝DepthMap(max_j(Bound_g))，同理，根據(jù)垂直區(qū)域的最小深度位置min_j(Bound_g)，計算最小深度估計Dmin＝DepthMap(min_j(Bound_g))。

步驟S7-5：垂直區(qū)域的期望深度估計。對垂直區(qū)域的深度估計的參考點集合，獲得像素對應(yīng)的深度估計集合Dset＝DepthMap(Bound_g)，計算其平均值，作為該垂直區(qū)域的期望深度估計

$D\exp =\frac{1}{\left|{\mathrm{Dset}}_b\right|}{\mathrm{\Σ}}_b{\mathrm{Dset}}_b$

其中|Dset_b|為垂直區(qū)域的深度估計的參考點集合中像素數(shù)量。重復(fù)步驟S7，完成場景中各個垂直區(qū)域的期望深度估計，單位為米。如圖7(b)為場景深度估計結(jié)果示意圖。