專利名稱：車輛圖像分割方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于車底陰影的車輛圖像分割方法和車輛圖像分割裝置。
背景技術(shù)：
在智能交通系統(tǒng)(Intelligent Transport Systems，ITS)的各個領(lǐng)域中，基于機器視覺識別車輛圖像時，首先把圖像中可能存在車輛的區(qū)域從圖像中分割出來。通常根據(jù)要識別的車輛的某些特征或特征集合的相似性，來提取出圖像中可能存在車輛的區(qū)域，將所提取的可能存在車輛的區(qū)域簡稱為ROI(感興趣區(qū)域，Region Of Interest)。如圖1所示，附圖標記2表示車底陰影，附圖標記1表示ROI。
在陽光或其他光源的照射下，對于不同形狀的車輛來說，底部存在陰影是其共同特征，因此，車底陰影是在基于機器視覺的車輛圖像分割(Vehicle Candidate Generation)技術(shù)中分割車輛圖像時所依據(jù)的一個主要特征。在現(xiàn)有技術(shù)中，已經(jīng)公開有如下幾種基于車底陰影特征的車輛圖像分割方案。
現(xiàn)有的基于車底陰影的第一種車輛圖像分割方案，基于車底陰影區(qū)域的亮度比路面暗的特點來從圖像中分割出車輛圖像區(qū)域。該方法如圖2所示，在步驟S1，輸入由攝像機拍攝到的路況圖像；在步驟S2，對在步驟1輸入的路況圖像計算路面的亮度平均值，并將該平均值設(shè)為基準值；在步驟3，將圖像中的各像素的亮度值與上述基準值進行比較，并將亮度值比該基準值低的所有區(qū)域確定為可能的車底陰影區(qū)域即車底陰影候選區(qū)域；之后，在步驟S4，根據(jù)自車與候選區(qū)域之間的距離、以及該候選區(qū)域的大小和角度條件，對上述候選區(qū)域進行篩選；最后，在步驟S5，輸出在步驟S4篩選后的結(jié)果，即輸出ROI。
但是，在圖3和圖4所示的情況下，當車輛本身在其他立體物體(如圖示的建筑物)的投射陰影中時，由于投射陰影也比路面暗，這時，如果按照上述方法，把路面的平均亮度值作為判斷基準來進行車輛圖像分割，則將造成錯誤的判斷，將建筑物的投射陰影也錯當成車底陰影。如圖3所示，車輛圖像分割的ROI 3比實際車輛的區(qū)域1大很多，因此，沒有正確分割出該車輛。如圖4所示，將車輛所在的區(qū)域分割成各自包含不完整車輛圖像的ROI 4和ROI 5，也沒能正確分割出該車輛。
根據(jù)陰影的形成原理，我們知道車底陰影區(qū)域因為亮度疊加的關(guān)系總是相比其周圍的區(qū)域更暗。也就是說，即使是在投射陰影中或不同光照下，車底陰影區(qū)域始終具有比其周圍區(qū)域亮度更暗的特征。上述的根據(jù)平均灰度值確定車底陰影區(qū)域的現(xiàn)有方法，沒有考慮到車底陰影的這個特征，因而在車輛處于其他物體的投射投影中或處在不均勻的光照下時，無法正確分割車輛。
日本專利文獻特開2003-76987公開的車輛圖像分割技術(shù)，考慮到車底陰影區(qū)域始終具有比其周圍區(qū)域亮度更暗的特征，并為了解決車輛處于其他物體的投射陰影中時無法正確分割車輛的問題，給出了如下的技術(shù)方案。該技術(shù)方案，如圖5所示，首先在步驟S21，輸入由攝像機拍攝到的路況圖像；在步驟S22，檢測自車行駛車道的車道線；在步驟S23，根據(jù)所檢測到的車道線，在自車車道的特定區(qū)域內(nèi)計算路面的亮度值分布，并根據(jù)亮度值的分布得到一個亮度值分布函數(shù)，自車車道的特定區(qū)域是指由圖像的最低部至其上部的不包含任何陰影的區(qū)域；在步驟S24，將自車行駛車道內(nèi)的所有像素的亮度值與由上述亮度值分布函數(shù)得到的設(shè)定值進行比較，并將亮度值低于該設(shè)定值的所有區(qū)域設(shè)定為車底陰影候選區(qū)域；在步驟S25，基于處于其他物體投射陰影中的車輛的車底陰影比其他物體的投射陰影更暗的特征，根據(jù)車底陰影候選區(qū)域內(nèi)的亮度值分布，找出候選區(qū)域內(nèi)亮度更暗的區(qū)域，確定這些區(qū)域為車底陰影區(qū)域；最后，在步驟26，基于在步驟S25所確定的車底陰影區(qū)域，輸出ROI。
但是，在上述第二種方法中，由于必須先找出自車的車道線，然后基于該車道線來求出路面亮度值分布，因此，在路面上沒有車道線或所拍攝的圖像中沒有拍攝到車道線的情況下，無法確定用于求出亮度值分布的路面，進而無法進行其后續(xù)步驟，從而不能夠完成對車輛圖像的分割。
此外，如圖6所示，在自然條件下，由于路面的亮度會受到光照、其它建筑物投影和路面顏色變化的影響，路面的亮度分布是復(fù)雜且不規(guī)律的。由于上述第二種方法在自車行駛車道內(nèi)計算路面亮度值的分布，因此該亮度值分布不能代表多車道的路面復(fù)雜且不規(guī)律的亮度分布情況，所以其技術(shù)方案無法推廣到多車道情況下使用。
在上述第二種方法中，由于計算路面亮度值分布的區(qū)域為圖像的最底部(Y＝0)至其上部的不包含任何陰影的區(qū)域(Y＝Y(jié)0)，當在圖像最底部出現(xiàn)亮度較暗區(qū)域的情況下(如圖7所示)，若對包含最底部至其上部的不包含任何陰影的區(qū)域(該區(qū)域包含上述的最底部較暗區(qū)域)計算路面的亮度值分布，則根據(jù)上述的亮度值分布而得到的亮度值分布函數(shù)所計算出的設(shè)定值可能會過小(亮度低)，從而在以所述設(shè)定值作為基準值(閾值)來對圖像上的不同亮度像素進行比較，并將比該亮度均值小的亮度的像素設(shè)定為車底陰影候選區(qū)域的像素時，必然導(dǎo)致不能正確分割車輛。

發(fā)明內(nèi)容
本發(fā)明是充分考慮了上述的現(xiàn)有技術(shù)存在的問題，其目的在于，提供一種即使車輛處于其他物體的投射投影中，或處在不均勻的光照下，或者在沒有車道線等情況時，均能正確分割出圖像中所有車輛的車輛圖像分割方法和裝置。并且，本發(fā)明的車輛圖像分割方法和裝置能夠推廣到多車道的路況應(yīng)用中。
本發(fā)明的車輛圖像分割方法，包括如下步驟圖像輸入步驟，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測步驟，對由上述圖像輸入步驟輸入的圖像計算出梯度分布；車底陰影候選區(qū)域確定步驟，根據(jù)上述圖像中的梯度信息來確定車底陰影候選區(qū)域。
本發(fā)明車輛圖像分割方法的特征還在于，所述車底陰影候選區(qū)域確定步驟中，根據(jù)車底陰影區(qū)域具有相對于其周圍區(qū)域更暗的特征，來確定所述車底陰影候選區(qū)域。
本發(fā)明車輛圖像分割方法的特征還在于，所述車底陰影候選區(qū)域確定步驟中，包括如下步驟根據(jù)由圖像梯度分布檢測步驟檢測出的上述圖像的梯度分布信息，從上述圖像中提取出所有在垂直方向上的差分值為負值的像素點。
本發(fā)明車輛圖像分割方法的特征還在于，所述車底陰影候選區(qū)域確定步驟中，還包括如下步驟判斷上述提取的像素點是否滿足下述的兩個條件，并將滿足下面的兩個條件的像素點確定為車底陰影候選區(qū)域的邊緣點，所述預(yù)定的條件是(a)、當前像素點的梯度值大于在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小于45度的相鄰點。
本發(fā)明的車輛圖像分割裝置，包括圖像輸入單元，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測單元，對由上述圖像輸入單元輸入的圖像計算出梯度分布；車底陰影候選區(qū)域確定單元，根據(jù)上述圖像的梯度信息，來確定車底陰影候選區(qū)域。
發(fā)明效果根據(jù)本發(fā)明技術(shù)方案，即使車輛處于其他物體的投射投影中，或處在不均勻的光照下，或者在沒有車道線等情況時，均能夠正確分割出車輛圖像。并且，本發(fā)明的車輛圖像分割方法和裝置能夠推廣到多車道的路況應(yīng)用中。


圖1是ROI區(qū)域和車底陰影區(qū)域的示意圖。
圖2是現(xiàn)有技術(shù)中的一例車輛圖像分割方法的流程圖。
圖3是按照現(xiàn)有技術(shù)對車輛處于建筑物陰影下的情況進行車輛圖像分割的一例。
圖4是按照現(xiàn)有技術(shù)對車輛處于建筑物陰影下的情況進行車輛圖像分割的另一例。
圖5是現(xiàn)有技術(shù)中的另一例車輛圖像分割方法的流程圖。
圖6是通常情況下的路面亮度分布。
圖7是圖像最底部亮度較暗的情況。
圖8是本發(fā)明實施方式的圖像分割方法的流程圖。
圖9是本發(fā)明實施方式的基于像素梯度搜索局部相對較暗區(qū)域的流程圖。
圖10是本發(fā)明實施方式的圖像分割裝置結(jié)構(gòu)圖。
具體實施例方式
圖10是本發(fā)明實施方式的車輛圖像分割裝置的結(jié)構(gòu)圖。如該圖10所示，本實施方式的車輛圖像分割裝置包括圖像輸入單元11、梯度分布檢測單元12、車底陰影候選區(qū)域確定單元13、ROI確定單元14。
下面，根據(jù)圖8和圖9，說明本實施方式的車輛圖像分割方法。
圖像輸入單元11將電視攝像機、監(jiān)視攝像機等攝像裝置拍攝到的道路上的車輛行駛狀況圖像輸入到梯度分布檢測單元12(步驟S11)。
梯度分布檢測單元12利用下面的公式1～公式4，對由上述圖像輸入單元11輸入的圖像檢測出梯度分布(步驟S12)。
下面列出本實施例中所應(yīng)用的公式和有關(guān)梯度的概念。
G(x,y)=GxGy=∂f∂x∂f∂y]]>(公式1)其中，梯度由一階導(dǎo)數(shù)的二維等效式表示。圖像函數(shù)f(x，y)在點(x，y)的梯度(即一階微分)是一個具有方向和幅值(大小)的矢量。
梯度的方向是點(x，y)的最大變化率方向。由公式2表示。
a(x，y)＝arctan(Gy/Gx) (公式2)梯度的幅值(大小)是點(x，y)的梯度的方向上的變化強度。由下面的公式3表示。
|G(x,y)|=Gx2+Gy2]]>(公式3)在實際應(yīng)用梯度時，為了計算的方便性，往往采用差分值來近似計算Gx、Gy，如下面的公式4所示。
Gx＝f[i，j+1]-f[i，j]Gy＝f[i，j]-f[i+1，j](公式4)在步驟S12，使用公式4來計算圖像像素在水平方向和垂直方向的亮度差分之后，用公式1-3來計算各像素的梯度，從而算出整個圖像的梯度分布。
通過步驟S12的計算，得到整個圖像的梯度分布，該梯度分布包含整個圖像中所有的亮度相對變化的信息。即，不管圖像是否是包含多個車道的圖像，或者圖像中包含了不同的多種光照下的路況，或者是該圖像中包含了路邊建筑物的投影以及路面的各種顏色，該梯度分布均包含當前圖像中所有車輛的車底陰影的信息。
梯度分布檢測單元12在檢測出圖像的梯度分布之后，將其結(jié)果輸出給車底陰影候選區(qū)域確定單元13(步驟S12)。
車底陰影候選區(qū)域確定單元13根據(jù)梯度分布檢測單元12輸出的梯度信息，在圖像中提取出車底陰影候選區(qū)域(步驟S13)。具體來說，具有比周圍區(qū)域亮度更暗的車底陰影區(qū)域的邊緣像素的梯度信息，通過公式4的計算表現(xiàn)為在垂直方向上的差分值Gy為負值。車底陰影候選區(qū)域確定單元13根據(jù)這個特點，在圖13所示的步驟S131，對所有在垂直方向(Gy方向)上的梯度值為負值的像素點進行標記。在步驟S132，車底陰影候選區(qū)域確定單元13判斷所標記的像素點是否符合下面的兩個預(yù)定條件，并將所有符合下面兩個預(yù)定條件的邊緣像素點確定為車底陰影的邊緣點。
上述兩個預(yù)定條件如下(a)、當前像素點的梯度值大于在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小于45度的相鄰點。
之后，在步驟S133，車底陰影候選區(qū)域確定單元13將在步驟S132確定的車底陰影的邊緣點坐標，輸出給ROI確定單元14。
在步驟S14，ROI確定單元14根據(jù)自車與上述車底陰影候選區(qū)域的距離、大小和角度，來確定ROI，并輸出該所確定的ROI。即，通過前面的處理我們得到了可能的車底陰影候選區(qū)域，接下來通過攝像機標定的方法對所有候選的ROI的深度信息和寬度信息進行計算和判斷。排除寬度過大或過小的ROI，排除由于噪音的干擾而產(chǎn)生的錯誤分割，并最終得到正確的ROI。
最后，在步驟S15輸出所得到的ROI。
以上，對本發(fā)明的一個實施方式進行了說明，但是也可以對上述實施方式進行各種變形。如，梯度分布檢測單元12也可以對圖像的各像素亮度不使用公式4求出一階差分，來近似求出梯度分布?？梢韵仁褂胹obel算子(蘇貝爾算子)、prewitt算子(普雷威特算子)、canny算子等水平邊緣算子，對圖像中的像素亮度進行處理而得到Gx、Gy值之后，再利用公式1-3求出其梯度值。這樣，可以利用sobel算子、prewitt算子對噪聲的抑制功能，來提高邊緣提取的精度。
由于上述本發(fā)明的實施方式利用車底陰影區(qū)域的圖像亮度總是比其周圍的圖像亮度低的特點，根據(jù)檢測出的圖像的梯度分布信息來確定車底陰影候選區(qū)域，因此，與現(xiàn)有技術(shù)相比，能夠更加準確地分割出車底陰影區(qū)域。
并且，上述本發(fā)明的實施方式的由于根據(jù)檢測出的圖像的梯度分布信息來確定車底陰影候選區(qū)域，因此，不受車道線的限制，能夠適用于多車道的情況。并且，本發(fā)明不限于從包含車輛前方圖像的路況圖像中分割出ROI，還可從包含有車輛后方圖像的路況圖像中分割出ROI。
權(quán)利要求
1.一種車輛圖像分割方法，包括如下步驟圖像輸入步驟，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測步驟，對由上述圖像輸入步驟輸入的圖像計算出梯度分布；車底陰影候選區(qū)域確定步驟，根據(jù)上述圖像中的梯度信息來確定車底陰影候選區(qū)域。
2.如權(quán)利要求1所述的車輛圖像分割方法，其特征在于，所述車底陰影候選區(qū)域確定步驟中，根據(jù)車底陰影區(qū)域具有相對于其周圍區(qū)域更暗的特征，來確定所述車底陰影候選區(qū)域。
3.如權(quán)利要求1所述的車輛圖像分割方法，其特征在于，所述車底陰影候選區(qū)域確定步驟中，包括如下步驟根據(jù)由圖像梯度分布檢測步驟檢測出的上述圖像的梯度分布信息，從上述圖像中提取出所有在垂直方向上的差分值為負值的像素點。
4.如權(quán)利要求3所述的車輛圖像分割方法，其特征在于，所述車底陰影候選區(qū)域確定步驟中，還包括如下步驟判斷上述提取的像素點是否滿足下述的兩個條件，并將滿足下面的兩個條件的像素點確定為車底陰影候選區(qū)域的邊緣點，所述預(yù)定的條件是；(a)、當前像素點的梯度值大于在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小于45度的相鄰點。
5.如權(quán)利要求1所述的車輛圖像分割方法，其特征在于，所述梯度分布檢測步驟中，計算圖像中每一個像素在水平和垂直方向上的亮度差分，并根據(jù)該差分值計算各像素的梯度。
6.如權(quán)利要求1所述的車輛圖像分割方法，其特征在于，還包括ROI確定步驟，根據(jù)上述車底陰影候選區(qū)域來確定ROI。
7.如權(quán)利要求1所述的車輛圖像分割方法，其特征在于，在圖像輸入步驟所輸入的圖像是對多車道道路進行拍攝的圖像，該圖像中可包括車輛后方圖像和/或車輛前方圖像。
8.一種車輛圖像分割裝置，包括圖像輸入單元，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測單元，對由上述圖像輸入單元輸入的圖像計算出梯度分布；車底陰影候選區(qū)域確定單元，根據(jù)上述圖像的梯度信息，來確定車底陰影候選區(qū)域。
9.如權(quán)利要求8所述的車輛圖像分割裝置，其特征在于，所述車底陰影候選區(qū)域確定單元根據(jù)車底陰影區(qū)域具有相對于其周圍區(qū)域更暗的特征，來確定所述車底陰影候選區(qū)域。
10.如權(quán)利要求8所述的車輛圖像分割裝置，其特征在于，所述車底陰影候選區(qū)域確定單元根據(jù)圖像梯度分布檢測單元檢測出的上述圖像的梯度分布信息，從上述圖像中提取出所有在垂直方向上的差分值為負值的像素點。
11.如權(quán)利要求10所述的車輛圖像分割裝置，其特征在于，所述車底陰影候選區(qū)域確定單元判斷上述提取的像素點是否滿足下述的兩個條件，并將滿足下面的兩個條件的像素點確定為車底陰影候選區(qū)域的邊緣點，所述預(yù)定的條件是(a)、當前像素點的梯度值大于在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小于45度的相鄰點。
12.如權(quán)利要求8所述的車輛圖像分割裝置，其特征在于，所述梯度分布檢測單元計算圖像中每一個像素在水平和垂直方向上的亮度差分，并根據(jù)該差分值計算各像素的梯度。
13.如權(quán)利要求8所述的車輛圖像分割裝置，其特征在于，還包括ROI確定單元，根據(jù)上述車底陰影候選區(qū)域來確定ROI。
14.如權(quán)利要求8所述的車輛圖像分割裝置，其特征在于，圖像輸入單元所輸入的圖像是對多車道道路進行拍攝的圖像，該圖像中包括車輛后方圖像和/或車輛前方圖像。
全文摘要
本發(fā)明涉及基于車底陰影的車輛圖像分割方法和車輛圖像分割裝置。本發(fā)明的車輛圖像分割方法，包括如下步驟圖像輸入步驟，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測步驟，對由上述圖像輸入步驟輸入的圖像計算出梯度分布；車底陰影候選區(qū)域確定步驟，根據(jù)上述圖像中的梯度信息來確定車底陰影候選區(qū)域。根據(jù)本發(fā)明的車輛圖像分割方法和裝置，在車輛處于其他物體的投射投影中，或處在不均勻的光照下，或者在沒有車道線等情況時，均能正確分割出圖像中所有車輛。并且，本發(fā)明的車輛圖像分割方法和裝置能夠推廣到多車道的路況應(yīng)用中。
文檔編號G06K9/34GK101030256SQ200610009379
公開日2007年9月5日 申請日期2006年2月28日 優(yōu)先權(quán)日2006年2月28日
發(fā)明者鄒博, 傅鵬宇, 李福永 申請人:沈陽東軟軟件股份有限公司, 阿爾派株式會社