專利名稱：車輛周圍監(jiān)測(cè)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛周圍監(jiān)測(cè)裝置，其利用車載攝像頭來檢測(cè)出存在于車輛的外部的物體。
背景技術(shù)：
人們公知如下一種技術(shù)其目的是輔助車輛行駛，由車載攝像頭拍攝車輛周圍而獲取拍攝圖像，根據(jù)該拍攝圖像來監(jiān)測(cè)存在于車輛的外部的物體。例如在專利文獻(xiàn)I中公開有如下一種技術(shù)根據(jù)由2個(gè)車載攝像頭拍攝而獲取的·車輛前方的立體圖像，求出存在于車輛前方的物體的三維坐標(biāo)位置，再根據(jù)所述三維坐標(biāo)位置信息來檢測(cè)出正在行車的道路的白線(行車道)或側(cè)壁物的位置。另外，例如在專利文獻(xiàn)2中記載有如下一種技術(shù)根據(jù)由車載攝像頭拍攝而獲取的拍攝圖像中的物體的形狀，檢測(cè)出點(diǎn)狀 波茨(一種釘在道路上的小型圓形反光瓷球狀物)、貓眼石(一種裝在道路上用于在黑暗中指示交通的反光道釘)等圖釘狀行車道標(biāo)記。專利文獻(xiàn)I :日本發(fā)明專利公報(bào)特許第3324821號(hào)專利文獻(xiàn)2 日本發(fā)明專利公報(bào)特許第4358147號(hào)根據(jù)車輛周圍的拍攝圖像來監(jiān)測(cè)存在于車輛的外部的物體時(shí)，有時(shí)需要將某種特定的(規(guī)定種類的)設(shè)置物體區(qū)別于其他物體而進(jìn)行檢測(cè)。例如，在從拍攝圖像中檢測(cè)出白線等分道線時(shí)，為了防止將用于表示道路施工區(qū)域的塔式路標(biāo)檢測(cè)為分道線，需要確定在拍攝圖像中的物體是否包含塔式路標(biāo)。此時(shí)，在上述專利文獻(xiàn)I所述的技術(shù)中，根據(jù)物體的高度來區(qū)分路面上的白線、側(cè)壁物。但是，專利文獻(xiàn)I所述的技術(shù)無法確定以下事項(xiàng)側(cè)壁物是由何種設(shè)置物體所構(gòu)成。另外，在確定拍攝圖像中的物體的種類時(shí)，通常如專利文獻(xiàn)2所述的那樣，檢測(cè)出拍攝圖像中的物體的形狀，再根據(jù)該形狀確定物體的種類。像這樣在檢測(cè)物體的形狀時(shí)，人們公知如下一種方法根據(jù)拍攝圖像的灰度成分，將其灰度不連續(xù)的變化部作為灰度邊緣抽取，通過該灰度邊緣來確認(rèn)物體的形狀。但是，作為表示物體的外形線(物體與其周圍背景的分界線)的灰度邊緣，只有在拍攝圖像中的物體與其周圍背景的灰度差較為顯著時(shí)才能抽取。因此，根據(jù)物體的光照情況或物體與其背景的色差等，有時(shí)只能抽取到表示物體的外形線的一部分的灰度邊緣。例如，有光照在物體的一個(gè)側(cè)面而在相反一側(cè)的側(cè)面上形成影子時(shí)，難以抽取出對(duì)應(yīng)于相反一側(cè)的側(cè)面的外形線的灰度邊緣。另外，物體的顏色與其周圍背景顏色均為暗色調(diào)時(shí)，難以抽取出作為它們的顏色邊界的灰度邊緣。像這樣，只能抽取到表示物體的外形線的一部分的灰度邊緣時(shí)，無法正確確認(rèn)該物體的形狀。因此有時(shí)無法正確確定該物體的種類
發(fā)明內(nèi)容
鑒于上述情況，本發(fā)明的目的在于提供如下一種車輛周圍監(jiān)測(cè)裝置其能提高由車載攝像頭獲取的拍攝圖像中物體種類的確定精度。為了實(shí)現(xiàn)上述目的，本發(fā)明所述的車輛周圍監(jiān)測(cè)裝置根據(jù)由車載攝像頭拍到的車輛周圍的拍攝圖像，檢測(cè)出存在于車輛的外部的物體，其具有第I邊緣圖像生成機(jī)構(gòu)，由其根據(jù)上述拍攝圖像的灰度成分，從上述拍攝圖像中將上述灰度成分的數(shù)值不連續(xù)的變化部作為第I邊緣抽取，再生成第I邊緣圖像，該第I邊緣圖像是由所抽取的第I邊緣構(gòu)成的圖像；第2邊緣圖像生成機(jī)構(gòu)，由其根據(jù)上述拍攝圖像的色調(diào)成分或者色飽和度成分，將上述色調(diào)成分或者色飽和度成分的數(shù)值不連續(xù)的變化部作為第2邊緣抽取，再生成第2邊緣圖像，該第2邊緣圖像是由所抽取的第2邊緣構(gòu)成的圖像；合成邊緣圖像生成機(jī)構(gòu)，由其生成合成邊緣圖像，所述合成邊緣圖像是對(duì)所生成的上述第I邊緣圖像和第2邊緣圖像進(jìn)行合成而得；物體種類確定機(jī)構(gòu)，由其從所生成的上述合成邊緣圖像中，對(duì)構(gòu)成上述拍攝圖像中的物體的外形線的圖像、亦即物體外形圖像所示的該物體的外形是否與規(guī)定種類的設(shè)置物體的外形一致進(jìn)行判定，再至少根據(jù)該判定結(jié)果來確定該物體是否是上述規(guī)定種類的設(shè)置物體。本發(fā)明中，由上述第I邊緣圖像生成機(jī)構(gòu)從上述拍攝圖像中抽取的上述第I邊緣是這樣一種邊緣上述拍攝圖像的灰度成分的數(shù)值不連續(xù)的變化部(灰度成分的數(shù)值大小較為急劇變化的部分)。因此該第I邊緣是依據(jù)上述拍攝圖像的灰度成分的分布情況而抽取的邊緣。另外，由上述第2邊緣圖像生成機(jī)構(gòu)從上述拍攝圖像中抽取的上述第2邊緣是這樣一種邊緣上述拍攝圖像的色調(diào)成分或者色飽和度成分的數(shù)值不連續(xù)的變化部(色調(diào)成分或者色飽和度成分的數(shù)值大小較為急劇變化的部分)。因此該第2邊緣是依據(jù)上述拍攝圖像的色調(diào)成分或者色飽和度成分的分布情況而抽取的邊緣。此時(shí)，一般來講，上述拍攝圖像的色調(diào)成分或者色飽和度成分的分布情況不同于該拍攝圖像的灰度成分的分布情況。因此在拍攝圖像中的物體的外形線中，即使是未作為上述第I邊緣而抽取的部分，作為第2邊緣而抽取的概率也較高。另外，與之相反，在上述拍攝圖像中的物體的外形線中，未作為第2邊緣而抽取的部分，有時(shí)被作為第I邊緣而抽取。因此，在由上述合成邊緣圖像生成機(jī)構(gòu)對(duì)上述第I邊緣圖像和上述第2邊緣圖像進(jìn)行合成而得的合成邊緣圖像中，包含有含在上述拍攝圖像中的物體的全部或大部分作為第I邊緣或第2邊緣的外形線。還有，本發(fā)明中，由上述物體種類確定機(jī)構(gòu)從所生成的上述合成邊緣圖像中，對(duì)構(gòu)成包含在上述拍攝圖像中的物體的外形線的圖像、亦即物體外形圖像所示的該物體的外形是否與規(guī)定種類的設(shè)置物體的外形一致進(jìn)行判定，之后由物體種類確定機(jī)構(gòu)再至少根據(jù)該判定結(jié)果來確定該物體是否是上述規(guī)定種類的設(shè)置物體。此時(shí)，由物體外形圖像所示的物體的外形的可信性較大。因此，由物體外形圖像所示的該物體的外形是否與規(guī)定種類的設(shè)置物體的外形一致的判定結(jié)果的可信性變大。所以采用本發(fā)明時(shí)，能夠提高由車載攝像頭獲取的拍攝圖像中物體種類的確定精度。本發(fā)明中，上述規(guī)定種類的設(shè)置物體可例舉如下一種設(shè)置物體(例如為塔式路標(biāo))，即、其外表面結(jié)構(gòu)為該外表面既被位于其上并且相互平行的沿水平方向或傾斜方向延伸的多個(gè)邊界線劃分為多個(gè)著色區(qū)域，而且位于各分界線兩邊的相鄰的著色區(qū)域被互不相同的顏色所著色。此時(shí)，優(yōu)選上述物體種類確定機(jī)構(gòu)這樣確定物體是否是上述規(guī)定種類的設(shè)置物體的，即，上述物體外形圖像所示的物體的外形與上述規(guī)定種類的設(shè)置物體的外形一致，并且在該物體外形圖像的內(nèi)側(cè)存在相互平行的沿水平方向或傾斜方向延伸的多個(gè)上述第I邊緣或者第2邊緣，此時(shí)將該物體確定為是上述規(guī)定種類的設(shè)置物體。這樣，不僅上述物體外形圖像所示的物體的外形與上述規(guī)定種類的設(shè)置物體的外形一致，并且在該物體外形圖像的內(nèi)側(cè)存在相互平行的沿水平方向或傾斜方向延伸的多個(gè)上述第I邊緣或者第2邊緣時(shí)，將該物體確定為是上述規(guī)定種類的設(shè)置物體。因此，本發(fā)明能進(jìn)一步提高該物體是否是上述規(guī)定種類的設(shè)置物體的確定精度。


圖I是表示本發(fā)明實(shí)施方式中車輛周圍監(jiān)測(cè)裝置的主要部分構(gòu)成的框圖。圖2是表示包含規(guī)定種類的物體(塔式路標(biāo))的拍攝圖像的例子的圖。圖3是表示從圖2的拍攝圖像獲取第I邊緣圖像的例子的圖。圖4是表示從圖2的拍攝圖像獲取第2邊緣圖像的例子的圖。圖5是表示對(duì)圖3的第I邊緣圖像和圖4的第2邊緣圖像進(jìn)行合成而得的合成邊緣圖像的例子的圖。圖6是表示包含與圖2的物體不同種類的物體(塔式路標(biāo))的拍攝圖像的例子的圖。圖7是表示包含與圖2的物體不同種類的物體(塔式路標(biāo))的拍攝圖像的例子的圖。
具體實(shí)施例方式下面，參照?qǐng)DI 圖5說明本發(fā)明的一個(gè)實(shí)施方式。參照?qǐng)DI可知，本實(shí)施方式的車輛周圍監(jiān)測(cè)裝置I搭載在車輛(省略其圖示)上，具有車載攝像頭2和圖像處理單元3。車載攝像頭2搭載在車輛前部。由車載攝像頭2拍攝車輛前方情況并獲取圖像。該車載攝像頭2為CCD攝像頭等。此時(shí)，車載攝像頭2能獲取反映車輛前方情況的彩色圖像。因此，由車載攝像頭2生成并輸出彩色影像的圖像信號(hào)。還有，車載攝像頭2也可以是用于拍攝車輛的后方或側(cè)方的攝像頭。圖像處理單元3是包含省略了圖示的CPU、RAM、ROM、連接電路等的電子電路單元。另外，由車載攝像頭2生成的彩色影像的圖像信號(hào)輸出給圖像處理單元3。通過運(yùn)行所安裝的程序，上述圖像處理單元3能起到以下部件的作用圖像獲取部4、第I邊緣圖像生成部5、第2邊緣圖像生成部6、圖像合成部7、物體種類確定部8。包括圖像處理單元3的各功能部件所進(jìn)行的處理在內(nèi)，下面詳細(xì)說明該圖像處理單元3的整體處理情況。由車載攝像頭2生成的彩色影像的圖像信號(hào)，每隔規(guī)定的運(yùn)算處理周期輸出給圖像處理單元3的圖像獲取部4。由車載攝像頭2輸出的模擬信號(hào)形式的圖像信號(hào)(按每個(gè)像素的圖像信號(hào))被圖像獲取部4變換為數(shù)字信號(hào)后存儲(chǔ)到未圖示的圖像存儲(chǔ)器中。更詳細(xì)地講，由圖像獲取部4將以下圖像存儲(chǔ)到圖像存儲(chǔ)器中灰度成分圖像，其由所輸入的彩色影像的圖像信號(hào)中的灰度成分經(jīng)過數(shù)字化變換而得；色調(diào)成分圖像，其由圖像信號(hào)中的色調(diào)成分或者色飽和度成分、例如色調(diào)成分經(jīng)過數(shù)字化變換而得。這樣，由車載攝像頭2獲取的拍攝圖像中的作為灰度成分的灰度成分圖像(各像素的數(shù)值為灰度成分的數(shù)值的圖像)，以及作為色調(diào)成分的色調(diào)成分圖像(各像素的數(shù)值為色調(diào)成分的數(shù)值的圖像)被存儲(chǔ)到圖像存儲(chǔ)器中。上述灰度成分圖像和色調(diào)成分圖像分別輸入第I邊緣圖像生成部5、第2邊緣圖像生成部6。這樣，這些第I邊緣圖像生成部5、第2邊緣圖像生成部6的處理開始進(jìn)行。這些第I邊緣圖像生成部5、第2邊緣圖像生成部6作為本發(fā)明的第I邊緣圖像生成機(jī)構(gòu)、第2邊緣圖像生成機(jī)構(gòu)而具有其功能。輸入灰度成分圖像的第I邊緣圖像生成部5，采用微分濾波器等公知的邊緣抽取用濾波器對(duì)上述灰度成分圖像進(jìn)行處理。這樣能夠由第I邊緣圖像生成部5將拍攝圖像的灰度成分的數(shù)值不連續(xù)的變化部(灰度成分的數(shù)值大小較為急劇變化的部分)作為第I邊緣抽取。進(jìn)一步由第I邊緣圖像生成部5生成第I邊緣圖像，該第I邊緣圖像是由所述第I邊緣構(gòu)成的圖像(二值圖像)。之后，由第I邊緣圖像生成部5將上述第I邊緣圖像存儲(chǔ)到未圖示的圖像存儲(chǔ)器中。另外，輸入色調(diào)成分圖像的第2邊緣圖像生成部6，采用上述邊緣抽取用濾波器對(duì)上述色調(diào)成分圖像進(jìn)行同樣的處理。這樣能夠由第2邊緣圖像生成部6將拍攝圖像的色調(diào)成分的數(shù)值不連續(xù)的變化部(色調(diào)成分的數(shù)值大小較為急劇變化的部分)作為第2邊緣抽取。進(jìn)一步由第2邊緣圖像生成部6生成第2邊緣圖像，該第2邊緣圖像是由所述第2邊緣構(gòu)成的圖像(二值圖像)。之后，由第2邊緣圖像生成部6將上述第2邊緣圖像存儲(chǔ)到未圖示的圖像存儲(chǔ)器中。這里，圖2 圖4表示有由車載攝像頭2獲取的拍攝圖像的一個(gè)例子，以及由該拍攝圖像獲取的上述第I邊緣圖像和第2邊緣圖像的一個(gè)例子。圖2表示由車載攝像頭2獲取的拍攝圖像的一個(gè)例子。該例中，拍攝到設(shè)置在道路51上的塔式路標(biāo)52及其周圍的圖像。圖示的塔式路標(biāo)52為具有基座53、突出設(shè)置在該基座53上的呈圓錐狀的主體部54 (錐體部)的設(shè)置物體。還有，標(biāo)有附圖標(biāo)記51a、51b的部分為道路51上的白線。此時(shí)，塔式路標(biāo)52的主體部54的外表面被紅、白2種顏色所著色。更詳細(xì)地講，主體部54外表面結(jié)構(gòu)為該外表面被位于其上并且相互平行的沿水平方向延伸的多個(gè)(圖中為2個(gè))邊界線55a、55b，在上下方向上劃分為多個(gè)(圖中為3個(gè))著色區(qū)域56a、56b、56c。邊界線55a、55b為與主體部54同軸心的線。在圖2中，作為帶點(diǎn)著色區(qū)域的最靠上的著色區(qū)域56a和最靠下的著色區(qū)域56c被著色成紅色，而且位于這兩個(gè)著色區(qū)域56a、56c之間的中間的著色區(qū)域56b被著色成白色。因此，位于各分界線55a、55b兩邊的相鄰的著色區(qū)域(56a、56b)、(56b、56c)被互不相同的顏色所著色。還有，塔式路標(biāo)52的基座53的顏色為黑色或與之相近的顏色。圖3是由上述第I邊緣圖像生成部5從圖2所示的拍攝圖像生成的第I邊緣圖像的例子。該圖3中的空白部分表示所抽取的第I邊緣。該例中，圖2的拍攝圖像中的塔式路標(biāo)52的主體部54的外形線的一部分，作為附圖標(biāo)記57a、57b、57c、57d所示的第I邊緣抽取。還有，塔式路標(biāo)52的主體部54的分界線55a、55b，作為附圖標(biāo)記57e、57f所示的第I邊緣抽取。此時(shí)，塔式路標(biāo)52的主體部54的白色著色區(qū)域56b (尤其是有光照射的一側(cè))，很容易與道路51或者紅色著色區(qū)域56a、56c產(chǎn)生較為顯著的灰度差。因此，所述白色著色區(qū)域56b中的主體部54的外形線或分界線55a、55b的大部分作為第I邊緣57a 57f抽取。然而，塔式路標(biāo)52的主體部54的紅色著色區(qū)域56a、56c或者基座53難以與道路51產(chǎn)生灰度差。因此，紅色著色區(qū)域56a、56c中的主體部52的外形線或基座53的外形線難以作為第I邊緣抽取。還有，在圖3中，用附圖標(biāo)記57g、57h表示的第I邊緣為相當(dāng)于道路51的白線51a、51b的第I邊緣。另外，用附圖標(biāo)記57i表示的第I邊緣為從道路51的側(cè)方的草叢等圖像抽取的第I邊緣。圖4是由上述第2邊緣圖像生成部6從圖2所示的拍攝圖像生成的第2邊緣圖像的例子。該圖4中的空白部分表示所抽取的第2邊緣。該例中，圖2的拍攝圖像中的塔式 路標(biāo)52的主體部54的外形線的一部分，作為附圖標(biāo)記58a、58b、58c、58d、58e、58f所示的第2邊緣抽取。還有，塔式路標(biāo)52的主體部54的分界線55a、55b，作為附圖標(biāo)記58g、58h所示的第2邊緣抽取。此時(shí)，塔式路標(biāo)52的主體部54的紅色著色區(qū)域56a、56c很容易與道路51或者白色著色區(qū)域56b產(chǎn)生較為顯著的色調(diào)差。因此，所述紅色著色區(qū)域56b中的主體部54的外形線或分界線55a、55b的大部分作為第2邊緣57a 57f抽取。然而，塔式路標(biāo)52的主體部54的白色著色區(qū)域56b難以與道路51產(chǎn)生色調(diào)差。因此，白色著色區(qū)域56b中的主體部54的外形線難以作為第2邊緣抽取。還有，在圖4中，用附圖標(biāo)記58i表示的第2邊緣為相當(dāng)于塔式路標(biāo)52的基座53的第I邊緣。另外，用附圖標(biāo)記58j表示的第2邊緣為從道路51的側(cè)方的草叢等圖像抽取的第2邊緣。如上所述，生成 存儲(chǔ)的第I邊緣圖像和第2邊緣圖像輸入圖像合成部7。這樣，該圖像合成部7的處理開始進(jìn)行。該圖像合成部7作為本發(fā)明的合成圖像生成機(jī)構(gòu)而具有其功能。由圖像合成部7對(duì)第I邊緣圖像和第2邊緣圖像進(jìn)行合成(更詳細(xì)地講是對(duì)兩邊緣圖像的相互對(duì)應(yīng)的像素的數(shù)值進(jìn)行合成)而生成合成邊緣圖像(二值圖像)。之后，由圖像合成部7將上述合成邊緣圖像存儲(chǔ)到未圖示的圖像存儲(chǔ)器中。具體地講，由圖像合成部7這樣設(shè)定合成邊緣圖像的各像素的數(shù)值(表示是否存在邊緣的數(shù)值):根據(jù)對(duì)應(yīng)于該像素的第I邊緣圖像的像素的數(shù)值和第2邊緣圖像的像素的數(shù)值來設(shè)定。即，對(duì)于合成邊緣圖像的各像素，對(duì)應(yīng)于該像素的第I邊緣圖像的像素的數(shù)值是表示存在第I邊緣的數(shù)值，或者對(duì)應(yīng)于該像素的第2邊緣圖像的像素的數(shù)值是表示存在第2邊緣的數(shù)值時(shí)，由圖像合成部7將合成邊緣圖像的該像素的數(shù)值設(shè)定為表示在該像素的位置存在邊緣的數(shù)值。另外，對(duì)于合成邊緣圖像的各像素，對(duì)應(yīng)于該像素的第I邊緣圖像的像素的數(shù)值是表示不存在第I邊緣的數(shù)值，而且對(duì)應(yīng)于該像素的第2邊緣圖像的像素的數(shù)值是也表示不存在第2邊緣的數(shù)值時(shí)，由圖像合成部7將合成邊緣圖像的該像素的數(shù)值設(shè)定為表示在該像素的位置不存在邊緣的數(shù)值。
這樣對(duì)第I邊緣圖像和第2邊緣圖像進(jìn)行合成而生成合成邊緣圖像。因此，在該合成邊緣圖像中，成為邊緣的部分是第I邊緣和第2邊緣中至少能抽取其一的部分。另外，不成為邊緣的部分則是無法抽取第I邊緣和第2邊緣雙方的部分。下面將合成邊緣圖像中的邊緣稱為合成邊緣。圖5表示按照上述方法生成的合成邊緣圖像的一個(gè)例子。該例為對(duì)圖3和圖4分別所示的第I邊緣圖像和第2邊緣圖像進(jìn)行合成而生成合成邊緣圖像。此時(shí)，圖2的拍攝圖像中的塔式路標(biāo)52的主體部54的外形線的一部分，由附圖標(biāo)記59a、59b、59c、59d、59e、59f所示的合成邊緣來表示。另外,塔式路標(biāo)52的主體部54的分界線55a、55b，由附圖標(biāo)記59g、59h所示的合成邊緣來表示。還有，在圖5中，由附圖標(biāo)記59i所示的合成邊緣為相當(dāng)于塔式路標(biāo)52的基座53的外形線的合成邊緣。另外，由附圖標(biāo)記59j、59k所示的合成邊緣為相當(dāng)于道路51的白線51a、51b的合成邊緣。另外，由附圖標(biāo)記59m表示的合成邊緣為相當(dāng)于道路51的側(cè)方的草·叢等圖像的合成邊緣。如上所述，生成 存儲(chǔ)的合成邊緣圖像輸入物體種類確定部8。這樣，該物體種類確定部8的處理開始進(jìn)行。該物體種類確定部8作為本發(fā)明的物體種類確定機(jī)構(gòu)而具有其功能。由物體種類確定部8來確定包含在通過車載攝像頭2獲取的拍攝圖像中的物體，是否是規(guī)定種類的設(shè)置物體。此時(shí)，本實(shí)施方式中，將具有圖2所示結(jié)構(gòu)的塔式路標(biāo)52作為上述規(guī)定種類的設(shè)置物體一個(gè)例子。另外，物體種類確定部8還具有以下功能對(duì)包含在通過車載攝像頭2獲取的拍攝圖像中的物體確定是否與圖2所示結(jié)構(gòu)的塔式路標(biāo)52是同一種類的物體。上述物體種類確定部8的處理這樣進(jìn)行。即，由物體種類確定部8首先從輸入的合成邊緣圖像中抽取構(gòu)成同一物體的構(gòu)成要素的合成邊緣(以下稱為物體構(gòu)成合成邊緣)。此時(shí)，若能通過立體圖像或雷達(dá)等檢測(cè)出到由車載攝像頭2拍到的拍攝區(qū)域內(nèi)的物體的距離，在合成邊緣圖像內(nèi)抽取包含在與該距離大致相同的區(qū)域內(nèi)的合成邊緣。這樣就能夠抽取構(gòu)成同一物體的構(gòu)成要素的合成邊緣。在圖5所示的合成邊緣圖像的例子當(dāng)中，將合成邊緣59a 59i作為物體構(gòu)成合成邊緣抽取。接下來，由物體種類確定部8進(jìn)行下述判定判定所抽取的物體構(gòu)成合成邊緣中，相當(dāng)于物體的外形線的物體構(gòu)成合成邊緣所示的物體的外形(平面外形)是否與塔式路標(biāo)52的外形一致(以下稱為形狀判定)。在上述形狀判定中，由物體種類確定部8使物體構(gòu)成合成邊緣中相當(dāng)于物體的外形線的物體構(gòu)成合成邊緣(這個(gè)相當(dāng)于本發(fā)明的物體外形圖像)相連。這樣，由物體種類確定部8制成表示物體的外形的圖像。接著，由物體種類確定部8對(duì)比該圖像的形狀和預(yù)先設(shè)定的表示塔式路標(biāo)52的外形的形狀圖案，來判定該圖像的形狀和塔式路標(biāo)52的外形是
否一致。此時(shí)，表示物體的外形的圖像如果具有包含一定范圍內(nèi)的頂角的近似于等腰三角形形狀時(shí)，就判定為該圖像的形狀與塔式路標(biāo)52的外形一致。在圖5所示的合成邊緣圖像的例子當(dāng)中，物體構(gòu)成合成邊緣59a 59i中的合成邊緣59a 59f和合成邊緣59i的外周部為物體外形合成邊緣。這樣，使由這些物體外形合成邊緣相連而得的圖像的形狀，與預(yù)先設(shè)定的表示塔式路標(biāo)52的外形的形狀圖案相比。此時(shí)，判定為該圖像的形狀與塔式路標(biāo)52的外形一致。因此，上述形狀判定的判定結(jié)果為
“旦”
TH o還有，由物體種類確定部8進(jìn)行下述判定(以下稱為模樣判定):判定在物體構(gòu)成合成邊緣中的物體外形合成邊緣的內(nèi)側(cè)(被物體外形合成邊緣圍起的區(qū)域)，是否存在相互平行的沿水平方向延伸的多個(gè)物體構(gòu)成合成邊緣(以下稱為物體內(nèi)水平合成邊緣)。還有，物體內(nèi)水平合成邊緣不必嚴(yán)格地在水平方向上延伸。相對(duì)于水平方向，所述物體內(nèi)水平合成邊緣可以在0度左右的規(guī)定角度范圍內(nèi)在傾斜方向上延伸。在圖5所示的合成邊緣圖像的例子當(dāng)中，將物體構(gòu)成合成邊緣59a 59i中的合成邊緣59g、59h作為物體內(nèi)水平合成邊緣抽取。此時(shí),判定為在物體外形合成邊緣的內(nèi)側(cè)存在相互平行的沿水平方向延伸的多個(gè)物體內(nèi)水平合成邊緣。因此，上述模樣判定的判定結(jié)果為“是”。還有，上述形狀判定的判定結(jié)果為“否”時(shí)，也可省去上述模樣判定。如上所述，由物體種類確定部8進(jìn)行了上述形狀判定和模樣判定之后，根據(jù)這些判定結(jié)果就能夠確定拍攝圖像中的物體的種類是否與上述塔式路標(biāo)52相同。即，上述形狀判定和模樣判定雙方的判定結(jié)果均為“是”時(shí)，由物體種類確定部8將拍攝圖像中的物體的種類確定為與塔式路標(biāo)52相同。另外，上述形狀判定和模樣判定的某個(gè)判定結(jié)果為“否”時(shí)，由物體種類確定部8將拍攝圖像中的物體的種類確定為與塔式路標(biāo)52不同。在圖5所示的合成邊緣圖像的例子當(dāng)中，如上所述，形狀判定和模樣判定雙方的判定結(jié)果均為“是”。因此，如圖2所示，將由車載攝像頭2獲取的拍攝圖像中的物體的種類確定為與塔式路標(biāo)52相同。上面詳細(xì)說明了本實(shí)施方式中的圖像處理單元3所進(jìn)行的處理。采用本實(shí)施方式時(shí)，由拍攝攝像頭2獲取拍攝圖像，根據(jù)該拍攝圖像的灰度成分而生成第I邊緣圖像，根據(jù)該拍攝圖像的色調(diào)成分而生成第2邊緣圖像，對(duì)它們進(jìn)行合成而生成合成邊緣圖像，使用該合成邊緣圖像來確定該拍攝圖像中的物體的種類是否與塔式路標(biāo)52相同。此時(shí)，一般來講，拍攝圖像的灰度成分和色調(diào)成分之間具有不同的分布方式。因此作為不包含在第I邊緣圖像中的邊緣作為第2邊緣而包含在第2邊緣圖像中，或者作為不包含在第2邊緣圖像中的邊緣作為第I邊緣而包含在第I邊緣圖像中。所以通過合成這些第I邊緣圖像和第2邊緣圖像，能夠?qū)⒌贗邊緣圖像生成部5和第2邊緣圖像生成部6的各自的處理中無法抽取的邊緣，使它們相互補(bǔ)充而生成圖像，將該圖像作為合成邊緣圖像。即，所述合成邊緣圖像是這樣一種圖像將拍攝圖像中的物體的外形線或者著色區(qū)域的分界線的大部分作為合成邊緣并包含這些合成邊緣。接著，使用上述合成邊緣圖像，通過進(jìn)行上述形狀判定和模樣判定，可提高上述判定的判定結(jié)果的可靠性，繼而能提高拍攝圖像中的物體種類的確定可靠性。另外，本發(fā)明還能提高拍攝圖像中的物體的種類與塔式路標(biāo)52是否相同的確定可靠性。因此，能夠防止將塔式路標(biāo)52的圖像混同為其他物體或道路的白線等的情況出現(xiàn)。甚至區(qū)別于塔式路標(biāo)52，能從拍攝圖像中檢測(cè)出該塔式路標(biāo)52以外的物體或道路的白線。
下面對(duì)以上說明的實(shí)施方式的若干個(gè)變型實(shí)施方式進(jìn)行說明。上述實(shí)施方式中，由第2邊緣圖像生成部6根據(jù)由車載攝像頭2拍到的拍攝圖像中的作為色調(diào)成分的色調(diào)成分圖像生成上述第2邊緣圖像，但是也可以根據(jù)該拍攝圖像中的作為色飽和度成分的色飽和度成分圖像生成上述第2邊緣圖像。這里，與色調(diào)成分的情況一樣，一般來講，拍攝圖像的色飽和度成分和該拍攝圖像的灰度成分之間具有不同的分布方式。因此，即使根據(jù)色飽和度成分圖像來生成第2邊緣圖像，也能獲得同樣的效果。另外，上述實(shí)施方式中，對(duì)拍攝圖像中的物體確定是否與圖2所示結(jié)構(gòu)的塔式路標(biāo)52是同一種類的物體。但是也可以這樣做對(duì)該物體確定是否與其他種類的塔式路標(biāo)是同一種類的物體，該其他種類的塔式路標(biāo)的結(jié)構(gòu)不同于塔式路標(biāo)52的結(jié)構(gòu)。例如，想要確定其種類的塔式路標(biāo)也可以是具有圖6所示結(jié)構(gòu)的塔式路標(biāo)71，或者是具有圖7所示結(jié)構(gòu)的塔式路標(biāo)81。圖6所示的塔式路標(biāo)71為具有基座72、突出設(shè)置在該基座72上的呈圓柱狀的主體部73的設(shè)置物體。該塔式路標(biāo)71的主體部73的外表面被紅、白2種顏色所著色。更詳細(xì)地講，主體部73外表面結(jié)構(gòu)為該外表面被位于其上并且相互平行的沿傾斜方向(螺旋形)延伸的多個(gè)(圖中為2個(gè))邊界線75a、74b劃分為多個(gè)(圖中為2個(gè))著色區(qū)域75a、75b。在圖6中，作為帶點(diǎn)著色區(qū)域的著色區(qū)域75a被著色成紅色，而且該著色區(qū)域75a相鄰的著色區(qū)域76b被著色成白色。對(duì)由車載攝像頭2獲取的拍攝圖像中的物體，確定是否與圖6所示塔式路標(biāo)71是同一種類的物體時(shí)，與上述實(shí)施方式一樣，由圖像處理單元3進(jìn)行圖像獲取部4、第I邊緣圖像生成部5、第2邊緣圖像生成部6、圖像合成部7所進(jìn)行的處理。在由物體種類確定部8所進(jìn)行的處理中進(jìn)行形狀判定，即，使由圖像合成部7生成的合成邊緣圖像中的物體構(gòu)成合成邊緣中物體外形合成邊緣相連而形成圖像(表示物體的外形的圖像)。接著對(duì)比該圖像和預(yù)先設(shè)定的表示塔式路標(biāo)71的外形的形狀圖案.這樣由物體種類確定部8來判定該圖像的形狀和塔式路標(biāo)71的外形是否一致。另外，在由物體種類確定部8所進(jìn)行的處理中還進(jìn)行模樣判定，即，判定在物體構(gòu)成合成邊緣中的物體外形合成邊緣的內(nèi)側(cè)，是否存在相互平行的沿傾斜方向延伸的多個(gè)物體內(nèi)水平合成邊緣。接著，與上述實(shí)施方式一樣，形狀判定和模樣判定雙方的判定結(jié)果均為“是”時(shí)，將拍攝圖像中的物體的種類確定為與塔式路標(biāo)71相同。另外，形狀判定和模樣判定的某個(gè)判定結(jié)果為“否”時(shí)，將拍攝圖像中的物體的種類確定為與塔式路標(biāo)71不同。另外，圖6所示的塔式路標(biāo)81為具有基座82、突出設(shè)置在該基座72上的呈桶狀的主體部83的設(shè)置物體。該塔式路標(biāo)81的主體部83的外表面被著色成紅、白2種顏色。更詳細(xì)地講，主體部83外表面結(jié)構(gòu)為該外表面被位于其上并且相互平行的沿水平方向延伸的多個(gè)(圖中為4個(gè))邊界線(環(huán)形線)84a、84b、84c、84d劃分為多個(gè)(圖中為5個(gè))著色區(qū)域 85a、85b、85c、85d、85e。在圖6中，作為帶點(diǎn)著色區(qū)域的著色區(qū)域85a、85c、85e被著色成紅色,而且位于該紅色著色區(qū)域85a、85c之間的著色區(qū)域85b和位于紅色著色區(qū)域85c、85e之間的著色區(qū)域85d被著色成白色對(duì)由車載攝像頭2獲取的拍攝圖像中的物體，確定是否與圖7所示塔式路標(biāo)81是同一種類的物體時(shí)，與上述實(shí)施方式一樣，由圖像處理單元3進(jìn)行圖像獲取部4、第I邊緣圖像生成部5、第2邊緣圖像生成部6、圖像合成部7所進(jìn)行的處理。在由物體種類確定部8所進(jìn)行的處理中進(jìn)行形狀判定，即，使由圖像合成部7生成的合成邊緣圖像中的物體構(gòu)成合成邊緣中物體外形合成邊緣相連而形成圖像(表示物體的外形的圖像)。接著對(duì)比該圖像和預(yù)先設(shè)定的表示塔式路標(biāo)81的外形的形狀圖案.這樣由物體種類確定部8來判定該圖像的形狀和塔式路標(biāo)81的外形是否一致。另外，在由物體種類確定部8所進(jìn)行的處理中還進(jìn)行模樣判定，即，判定在物體構(gòu)成合成邊緣中的物體外形合成邊緣的內(nèi)側(cè)，是否存在相互平行的沿傾斜方向延伸的多個(gè)物體內(nèi)水平合成邊緣。
接著，與上述實(shí)施方式一樣，形狀判定和模樣判定雙方的判定結(jié)果均為“是”時(shí)，將拍攝圖像中的物體的種類確定為與塔式路標(biāo)81相同。另外，形狀判定和模樣判定的某個(gè)判定結(jié)果為否時(shí)，將拍攝圖像中的物體的種類確定為與塔式路標(biāo)81不同。另外，在上述實(shí)施方式中由物體種類確定部8所進(jìn)行的處理中，進(jìn)行形狀判定和模樣判定。相對(duì)于此，也可這樣做只進(jìn)行形狀判定，該形狀判定的判定結(jié)果為“是”時(shí)，將拍攝圖像中的物體的種類確定為與塔式路標(biāo)52 (或塔式路標(biāo)71或塔式路標(biāo)81)相同。但是，在確定如塔式路標(biāo)52、71、81這樣被多種顏色所著色的設(shè)置物體時(shí)，為提高其確定精度，優(yōu)選在進(jìn)行形狀判定的基礎(chǔ)上再進(jìn)行模樣判定。工業(yè)實(shí)用性本發(fā)明能根據(jù)由車載攝像頭拍到的拍攝圖像，精準(zhǔn)地確定存在于車輛的外部的物體，具有工業(yè)實(shí)用性。附圖標(biāo)記說明I車輛周圍監(jiān)測(cè)裝置；2車載攝像頭；5該I邊緣圖像生成部(第I邊緣圖像生成機(jī)構(gòu))；6第2邊緣圖像生成部(第2邊緣圖像生成機(jī)構(gòu))；7圖像合成部(合成邊緣圖像生成機(jī)構(gòu))；8物體種類確定部(物體種類確定機(jī)構(gòu))；52、71、81塔式路標(biāo)(規(guī)定種類的設(shè)置物體)。
權(quán)利要求
1.一種車輛周圍監(jiān)測(cè)裝置，根據(jù)由車載攝像頭拍到的車輛周圍的拍攝圖像，檢測(cè)出存在于車輛的外部的物體，其特征在于，具有 第I邊緣圖像生成機(jī)構(gòu)，由其根據(jù)上述拍攝圖像的灰度成分，從上述拍攝圖像中將上述灰度成分的數(shù)值不連續(xù)的變化部作為第I邊緣抽取，再生成第I邊緣圖像，該第I邊緣圖像是由所抽取的第I邊緣構(gòu)成的圖像； 第2邊緣圖像生成機(jī)構(gòu)，由其根據(jù)上述拍攝圖像的色調(diào)成分或者色飽和度成分，將上述色調(diào)成分或者色飽和度成分的數(shù)值不連續(xù)的變化部作為第2邊緣抽取，再生成第2邊緣圖像，該第2邊緣圖像是由所抽取的第2邊緣構(gòu)成的圖像； 合成邊緣圖像生成機(jī)構(gòu)，由其生成合成邊緣圖像，所述合成邊緣圖像是將所生成的上述第I邊緣圖像和第2邊緣圖像進(jìn)行合成而得； 物體種類確定機(jī)構(gòu)，由其從所生成的上述合成邊緣圖像中，對(duì)構(gòu)成上述拍攝圖像中的物體的外形線的圖像、亦即物體外形圖像所示的該物體的外形是否與規(guī)定種類的設(shè)置物體的外形一致進(jìn)行判定，再至少根據(jù)該判定結(jié)果來確定該物體是否是上述規(guī)定種類的設(shè)置物體。
2.根據(jù)權(quán)利要求I所述的車輛周圍監(jiān)測(cè)裝置，其特征在于， 上述規(guī)定種類的設(shè)置物體是如下一種設(shè)置物體，即、其外表面結(jié)構(gòu)為該外表面既被位于其上并且相互平行的沿水平方向或傾斜方向延伸的多個(gè)邊界線劃分為多個(gè)著色區(qū)域，而且位于各分界線兩邊的相鄰的著色區(qū)域被互不相同的顏色所著色； 上述物體種類確定機(jī)構(gòu)是這樣確定物體是否是上述規(guī)定種類的設(shè)置物體的，即，上述物體外形圖像所示的物體的外形與上述規(guī)定種類的設(shè)置物體的外形一致，并且在該物體外形圖像的內(nèi)側(cè)存在相互平行的沿水平方向或傾斜方向延伸的多個(gè)上述第I邊緣或者第2邊緣，此時(shí)將該物體確定為是上述規(guī)定種類的設(shè)置物體。
全文摘要
本發(fā)明提供一種車輛周圍監(jiān)測(cè)裝置，具有根據(jù)由車載攝像頭(2)獲取的拍攝圖像的灰度成分，生成第1邊緣圖像的第1邊緣圖像生成機(jī)構(gòu)(5)；根據(jù)拍攝圖像的色調(diào)成分或者色飽和度成分，生成第2邊緣圖像的第2邊緣圖像生成機(jī)構(gòu)(6)；對(duì)第1邊緣圖像和第2邊緣圖像進(jìn)行合成而生成合成邊緣圖像的合成邊緣圖像生成機(jī)構(gòu)(7)；根據(jù)合成邊緣圖像所示的物體的外形確定該物體是否是規(guī)定種類的設(shè)置物體的物體種類確定機(jī)構(gòu)(8)。
文檔編號(hào)G08G1/16GK102985947SQ20118003009
公開日2013年3月20日 申請(qǐng)日期2011年6月30日 優(yōu)先權(quán)日2010年7月29日
發(fā)明者坂本洋介 申請(qǐng)人:本田技研工業(yè)株式會(huì)社