對(duì)象地點(diǎn)到達(dá)檢知裝置和方法以及移動(dòng)設(shè)備控制系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明涉及對(duì)象地點(diǎn)到達(dá)檢知裝置、對(duì)象地點(diǎn)到達(dá)檢知方法以及移動(dòng)設(shè)備控制系統(tǒng)，其目的在于防止視界較差的道路坡度變化地點(diǎn)附近的事故發(fā)生。本發(fā)明的對(duì)象地點(diǎn)到達(dá)檢知裝置根據(jù)兩個(gè)攝像部(110A，110B)拍攝的在道路上移動(dòng)的車(chē)輛前方的攝像圖像，檢知該車(chē)輛是否到達(dá)對(duì)象地點(diǎn)，其特征在于，具備傾斜狀態(tài)認(rèn)知部(143)，用于根據(jù)上述攝像圖像，輸出表示該車(chē)輛到達(dá)對(duì)象地點(diǎn)的信號(hào)，該對(duì)象地點(diǎn)位于接近車(chē)輛前方的道路部分相對(duì)于該車(chē)輛正在行駛的道路部分的傾斜狀態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的下坡變化地點(diǎn)之前。
【專(zhuān)利說(shuō)明】對(duì)象地點(diǎn)到達(dá)檢知裝置和方法以及移動(dòng)設(shè)備控制系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對(duì)象地點(diǎn)到達(dá)檢知裝置，該對(duì)象地點(diǎn)到達(dá)檢測(cè)裝置利用在移動(dòng)表面移動(dòng)的車(chē)輛或機(jī)器人等移動(dòng)體的前方設(shè)置的多個(gè)攝像裝置拍攝的多張攝像圖像，檢知該移動(dòng)體是否到達(dá)對(duì)象地點(diǎn)。本發(fā)明還涉及對(duì)象地點(diǎn)到達(dá)檢知方法以及移動(dòng)設(shè)備控制系統(tǒng)。
【背景技術(shù)】
[0002]專(zhuān)利文獻(xiàn)I公開(kāi)了一種道路認(rèn)知裝置，該道路認(rèn)知裝置利用攝像裝置拍攝的車(chē)輛前方的灰度圖像和距離圖像(視差圖像信息)，計(jì)算道路上白線(xiàn)(車(chē)道分界線(xiàn))的立體形狀，進(jìn)而用該白線(xiàn)的立體形狀來(lái)確定車(chē)道的立體形狀(車(chē)輛行駛方向上的路面凹凸信息)。
[0003]當(dāng)車(chē)輛行駛到上坡道的頂點(diǎn)附近(道路從上坡轉(zhuǎn)變?yōu)樗交蛳缕?、即坡度發(fā)生變化的地點(diǎn)附近)時(shí)，駕駛員很難通過(guò)目視來(lái)觀(guān)察該地點(diǎn)前方的道路狀況(視界不佳)。同樣，車(chē)輛行駛的道路在即將從水平轉(zhuǎn)向下坡的道路坡度發(fā)生變化的地點(diǎn)附近，駕駛員的視界也很差。換言之，在車(chē)輛的前方道路相對(duì)于該車(chē)輛正在行使的道路(車(chē)輛正下方的道路)的傾斜狀態(tài)相對(duì)地向下坡傾斜轉(zhuǎn)變的地點(diǎn)附近，駕駛員的前方視界較差。為此，在這種視界較差的地點(diǎn)附近，難以發(fā)現(xiàn)車(chē)輛行駛方向上出現(xiàn)的其他車(chē)輛或行人等障礙物，容易造成駕駛前方急轉(zhuǎn)彎等道路變化認(rèn)知滯后，發(fā)生交通事故。
[0004]對(duì)此，如果能夠在到達(dá)上述視界較差地點(diǎn)之前，檢知車(chē)輛到達(dá)，便能夠?qū)嵭欣珩{駛員減速警告控制或降低車(chē)速等車(chē)速調(diào)整控制等，從而防止視界較差的上述道路坡度變化地點(diǎn)的交通事故于未然之中。然而，目前并沒(méi)有可用來(lái)檢知車(chē)輛是否到達(dá)道路坡度變化地點(diǎn)附近(對(duì)象地點(diǎn))的設(shè)備，因而無(wú)法在到達(dá)視界較差的道路坡度變化地點(diǎn)之前實(shí)行交通事故防范措施。不僅車(chē)輛，其他在移動(dòng)表面上移動(dòng)的移動(dòng)體也同樣不能在到達(dá)視界較差的移動(dòng)表面坡度變化地點(diǎn)之前實(shí)行事故防范措施。

【發(fā)明內(nèi)容】

[0005]鑒于上述背景，本發(fā)明完成了以下發(fā)明，該發(fā)明的目的在于提供一種對(duì)象地點(diǎn)到達(dá)檢知裝置和方法以及移動(dòng)設(shè)備控制系統(tǒng)，能夠防止在視界較差的移動(dòng)表面坡度變化地點(diǎn)附近發(fā)生事故。
[0006]為了達(dá)到上述目的，本發(fā)明提供一種對(duì)象地點(diǎn)到達(dá)檢知裝置，其根據(jù)攝像裝置拍攝在移動(dòng)表面移動(dòng)的移動(dòng)體的前方所得到的攝像圖像，檢知該移動(dòng)體是否到達(dá)對(duì)象地點(diǎn)，其特征在于，具備對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部，用于根據(jù)所述攝像圖像，輸出表示該移動(dòng)體到達(dá)所述對(duì)象地點(diǎn)的信號(hào)，該對(duì)象地點(diǎn)位于下坡變化地點(diǎn)之前，該下坡變化地點(diǎn)是指，該移動(dòng)體前方的移動(dòng)表面部分相對(duì)于所述移動(dòng)體正在移動(dòng)的移動(dòng)表面部分的傾斜狀態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的地點(diǎn)。
[0007]本發(fā)明效果如下，能夠檢知移動(dòng)體到達(dá)視界較差的移動(dòng)表面坡度變化地點(diǎn)附近，在移動(dòng)體到達(dá)該處時(shí)，實(shí)行駕駛員減速警告控制或降低車(chē)速等車(chē)速調(diào)整控制等，防止視界較差的移動(dòng)表面坡度變化地點(diǎn)附近的事故發(fā)生?！緦?zhuān)利附圖】

【附圖說(shuō)明】
[0008]圖1是本實(shí)施方式的車(chē)載設(shè)備控制系統(tǒng)的結(jié)構(gòu)模式圖。
[0009]圖2是構(gòu)成上述車(chē)載設(shè)備控制系統(tǒng)的攝像單元和圖像解析單元的結(jié)構(gòu)模塊圖。
[0010]圖3是用于說(shuō)明用位于左右的照相機(jī)拍攝時(shí)的視差的示意圖。
[0011]圖4是在垂直于光透射方向的方向上觀(guān)察到的上述攝像單元的攝像部中的濾光器和圖象傳感器的放大模式圖。
[0012]圖5是用于說(shuō)明上述濾光器區(qū)域分割形態(tài)的示意圖。
[0013]圖6是本實(shí)施方式的對(duì)象地點(diǎn)到達(dá)檢知處理的功能模塊圖。
[0014]圖7是本實(shí)施方式的對(duì)象地點(diǎn)到達(dá)檢知處理流程圖。
[0015]圖8中的(a)是一例用于說(shuō)明視差圖像的視差值分布的示意圖，(b)是用于說(shuō)明視差分布地圖(V地圖)的示意圖，視差分布地圖表示(a)的視差圖像中各行的視差值頻率分布。
[0016]圖9中的(a)和(b)分別是一例用攝像部拍攝的灰度圖像即基準(zhǔn)圖像和比較圖像的示意圖。
[0017]圖10是一例用圖9所示的基準(zhǔn)圖像和比較圖像計(jì)算得到的視差圖像的示意圖。
[0018]圖11是對(duì)從圖10所示視差圖像的數(shù)據(jù)所得到的行視差分布地圖上的像素分布進(jìn)行曲線(xiàn)近似而得到的曲線(xiàn)圖。
[0019]圖12中的(a)是在相對(duì)傾斜狀態(tài)為平坦的情況下從側(cè)面看到的車(chē)輛的示意圖，(b)顯示在(a)情況下一例攝像圖像(灰度圖像)上的道路區(qū)域，(C)是用于說(shuō)明與(b)對(duì)應(yīng)的行視差分布地圖的示意圖。
[0020]圖13中的(a)是在相對(duì)傾斜狀態(tài)為上坡的情況下從側(cè)面看到的車(chē)輛的示意圖，(b)顯示在(a)情況下一例攝像圖像(灰度圖像)上的道路區(qū)域，(C)是用于說(shuō)明與(b)對(duì)應(yīng)的行視差分布地圖(V地圖)的示意圖。
[0021]圖14中的(a)是在相對(duì)傾斜狀態(tài)為下坡的情況下從側(cè)面看到的車(chē)輛的示意圖，(b)顯示在(a)情況下一例攝像圖像(灰度圖像)上的道路區(qū)域，(C)是用于說(shuō)明與(b)對(duì)應(yīng)的行視差分布地圖(V地圖)的示意圖。
[0022]圖15是本實(shí)施方式的傾斜狀態(tài)認(rèn)知部的詳細(xì)功能模塊圖。
[0023]圖16是本實(shí)施方式中對(duì)利用機(jī)械學(xué)習(xí)方法得到的學(xué)習(xí)數(shù)據(jù)進(jìn)行分類(lèi)得到的分類(lèi)結(jié)果的示意圖。
[0024]圖17是本實(shí)施例涉及的一例車(chē)載設(shè)備控制系統(tǒng)主要部分的硬件結(jié)構(gòu)模塊圖?！揪唧w實(shí)施方式】
[0025]以下參考附圖，說(shuō)明一例以采用本發(fā)明涉及的對(duì)象地點(diǎn)到達(dá)檢知裝置的車(chē)載設(shè)備控制系統(tǒng)作為車(chē)輛系統(tǒng)的實(shí)施方式。
[0026]圖1是本實(shí)施方式的車(chē)載設(shè)備控制系統(tǒng)的結(jié)構(gòu)模式圖。本車(chē)載設(shè)備控制系統(tǒng)利用移動(dòng)體即汽車(chē)等車(chē)輛100上搭載的攝像裝置拍攝的該車(chē)輛行駛方向前方區(qū)域(攝像區(qū)域)的攝像圖像數(shù)據(jù)，來(lái)檢知該車(chē)輛前方道路(移動(dòng)表面)的相對(duì)傾斜狀態(tài)是否為下坡傾斜。而后根據(jù)該檢知結(jié)果實(shí)行各種車(chē)載設(shè)備的控制。[0027]本實(shí)施方式的車(chē)載設(shè)備控制系統(tǒng)中設(shè)有攝像單元101，該攝像單元101拍攝車(chē)輛100行使方向上的前方區(qū)域。該攝像單元101可以設(shè)置在如車(chē)輛100前窗105的后視鏡(未圖示)附近。通過(guò)攝像單元101的攝像所得到的各種數(shù)據(jù)，如攝像圖像的數(shù)據(jù)等，被輸入作為圖像處理裝置的圖像解析單元102。圖像解析單元102對(duì)攝像單元101發(fā)送的數(shù)據(jù)進(jìn)行解析，用于認(rèn)知道路區(qū)域(可行使區(qū)域)，或者認(rèn)知車(chē)輛100前方的行使道路部分相對(duì)于車(chē)輛100正在行使的道路部分(車(chē)輛正下方的道路部分)的傾斜狀態(tài)(相對(duì)傾斜狀態(tài))為下坡傾斜。
[0028]圖像解析單元102的認(rèn)知結(jié)果還被送往駕駛控制單元106。當(dāng)駕駛控制單元106根據(jù)圖像解析單元102得出的道路區(qū)域(可行使區(qū)域)的認(rèn)知結(jié)果，發(fā)現(xiàn)車(chē)輛100偏離可行駛區(qū)域等情況時(shí)，實(shí)行駕駛助理控制，如向車(chē)輛100的駕駛員發(fā)出警告，或者控制車(chē)輛100的剎車(chē)以降低車(chē)速等。
[0029]圖2是攝像單元101和圖像解析單元102的結(jié)構(gòu)模塊圖。攝像單元101作為攝像裝置采用立體照相機(jī)，該立體照相機(jī)具有兩個(gè)結(jié)構(gòu)相同的攝像部IlOA和110B，攝像部IlOA和IlOB分別具備以下部件:攝像透鏡IllA和IllB ;濾光器112A和112B ;傳感器基板114A和114B，其中包含攝像元件均呈二維設(shè)置的圖像傳感器113A和113B ;以及，信號(hào)處理部115A和115B，分別將傳感器基板114A和114B輸出的模擬電信號(hào)(圖像傳感器113A和113B上的受光元件的受光量)轉(zhuǎn)換為數(shù)字電信號(hào)，用以生成并輸出攝像圖像數(shù)據(jù)。本實(shí)施方式中，灰度圖像數(shù)據(jù)和視差圖像數(shù)據(jù)由攝像單元101輸出。
[0030]攝像單元101具備以FPGA (Field-Programmable Gate Array,現(xiàn)場(chǎng)可編程邏輯門(mén)陣列)等構(gòu)成的處理硬件部120。該處理硬件部120具有視差計(jì)算部121，該視差計(jì)算部121作為視差信息生成部，用于計(jì)算攝像部IlOA和IlOB各自拍攝的攝像圖像之間互相對(duì)應(yīng)的圖像部分的視差值，用以從攝像部IlOA和IlOB輸出的灰度圖像數(shù)據(jù)得到視差圖像。
[0031]在此，視差值是指以攝像部IlOA和IlOB各自拍攝的攝像圖像中的一方為基準(zhǔn)圖像，并以另一方為比較圖像，針對(duì)攝像區(qū)域內(nèi)的同一地點(diǎn)，計(jì)算對(duì)應(yīng)該地點(diǎn)在比較圖像上的圖像部分和在基準(zhǔn)圖像上的圖像部分之間的差值?；谠撘暡钪?，利用三角測(cè)量原理，可以計(jì)算(攝像元件101)到與該圖像部分相對(duì)應(yīng)的攝像區(qū)域內(nèi)同一地點(diǎn)的距離。參見(jiàn)圖3可知，左右圖像中被攝體301上O點(diǎn)的成像位置與各自的成像中心分別相距Λ I和Λ 2，此時(shí)設(shè)定視差值Λ為Λ = Al+Λ 2。
[0032]另一方面，圖像解析單元102具備存儲(chǔ)器130和MPU (Micro Processing Unit,微處理單元)140，存儲(chǔ)器130用于保存攝像單元101輸出的灰度圖像數(shù)據(jù)和視差圖像數(shù)據(jù)，MPU140內(nèi)藏實(shí)行認(rèn)知對(duì)象的認(rèn)知處理或視差計(jì)算控制等軟件。MPU140用保存在存儲(chǔ)器130中的灰度圖像數(shù)據(jù)和視差圖像數(shù)據(jù)來(lái)實(shí)行各種認(rèn)知處理。
[0033]圖4是在垂直于光透射方向的方向上觀(guān)察到的濾光器112A和112B以及圖像傳感器113A和113B的放大模式圖。圖像傳感器113A和113B采用CCD(Charge Couple Device,電荷稱(chēng)合器件)或CMOS (Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)等的圖像傳感器，其中的攝像元件(受光元件)使用光電二極管113a。光電二極管113a按照每個(gè)像素作二維陣列布置，而且，為了提高光電二極管113a的聚光效率，在入射光電二極管113a的一方分別設(shè)置微型透鏡113b。用絲焊等方法將圖像傳感器113A和113B焊在印刷電路板(Printed Wiring Board, PffB)上形成傳感器基板114A和114B。[0034]濾光器112A和112B位于圖像傳感器113A和113B的微型透鏡113b—側(cè)表面近旁。如圖4所示，本實(shí)施方式的濾光器112A和112B是在透明的濾光器基板112a上形成分光濾光層112b構(gòu)成的濾光器,關(guān)于分光濾光層112b的形成,除了分光濾鏡以外,還可以使用偏光濾鏡等其他濾光鏡。上述分光濾光層112b被分割為多個(gè)區(qū)域，各區(qū)域與圖像傳感器113A和113B上的光電二極管113a相對(duì)應(yīng)。
[0035]濾光器112A與圖像傳感器113A之間、以及濾光器112B與圖像傳感器113B之間雖然可以設(shè)有間隙，但是，將兩者緊貼在一起更加便于濾光器112A與圖像傳感器113A的邊界、以及濾光器112B與圖像傳感器113B的邊界保持一致。例如可以用UV粘結(jié)劑將濾光器112A和圖像傳感器113A以及濾光器112B和圖像傳感器113B粘結(jié)起來(lái)，還可以在攝像的有效像素范圍以外用隔離部件支持，在此狀態(tài)下用UV粘結(jié)或熱壓的方式將有效像素以外的四周區(qū)域連接起來(lái)。
[0036]圖5是用于說(shuō)明本實(shí)施方式涉及的濾光器112A和112B中區(qū)域分割形態(tài)的示意圖。在濾光器112A和112B中存在第一區(qū)域和第二區(qū)域兩種區(qū)域，該兩種區(qū)域均被設(shè)置為與圖像傳感器113A和113B上的某個(gè)光電二極管113a相對(duì)應(yīng)。這樣，圖像傳感器113A和113B上各光電二極管113a接受的光量隨著接受的光所通過(guò)的分光濾光層112b的區(qū)域種類(lèi)而變化，據(jù)此獲得分光信息。
[0037]在本實(shí)施方式的濾光器112A和112B中，例如以?xún)H選擇讓紅色波長(zhǎng)帶的光透射的紅色分光區(qū)域112r作為第一區(qū)域，并以不作波長(zhǎng)選擇地讓光透射的非分光區(qū)域112c作為第二區(qū)域。如圖5所示，濾光器112A和112B中的第一區(qū)域和第二區(qū)域以棋盤(pán)圖案(黑白方格縱橫交錯(cuò))分布。據(jù)此，可從對(duì)應(yīng)第一區(qū)域1121中的攝像像素的輸出信號(hào)中獲得紅色灰度圖像，并從對(duì)應(yīng)第二區(qū)域112的攝像像素的輸出信號(hào)中獲得非分光灰度圖像，這樣，便能夠用一次攝像動(dòng)作，獲得對(duì)應(yīng)紅色灰度圖像和非分光灰度圖像兩種攝像圖像數(shù)據(jù)。這些攝像圖像數(shù)據(jù)雖然少于其圖像像素的數(shù)量，而如果需要獲得更高分辨率的圖像，可以使用公知的圖像插值處理。
[0038]在本實(shí)施方式中，上述非分光的灰度圖像數(shù)據(jù)可用于如車(chē)道分界線(xiàn)即白線(xiàn)的檢測(cè)、車(chē)輛前方道路的相對(duì)傾斜狀態(tài)為下坡傾斜的檢知等。
[0039]在坡度發(fā)生變化的道路上，前方道路相對(duì)于正在行駛的道路，其坡度為進(jìn)一步下坡傾斜的道路的視界通常較差。以下以即將到達(dá)這類(lèi)視界較差的道路坡度變化地點(diǎn)之前的地點(diǎn)為對(duì)象地點(diǎn)，說(shuō)明該對(duì)象地點(diǎn)的到達(dá)檢知處理。在本實(shí)施方式中視界較差的道路坡度變化地點(diǎn)是指相對(duì)傾斜狀態(tài)為下坡傾斜的地點(diǎn)。
[0040]圖6是本實(shí)施方式的對(duì)象地點(diǎn)到達(dá)檢知處理的功能模塊圖。圖7是本實(shí)施方式的對(duì)象地點(diǎn)到達(dá)檢知處理流程圖。本實(shí)施方式的視差計(jì)算部121輸入兩個(gè)攝像部IlOA和IlOB拍攝的圖像數(shù)據(jù)，并以其中一方的圖像數(shù)據(jù)為基準(zhǔn)圖像數(shù)據(jù)，并以另一方的圖像數(shù)據(jù)為比較圖像數(shù)據(jù)(SI)，計(jì)算兩者間的視差(S2)，進(jìn)而生成并輸出視差圖像數(shù)據(jù)。該視差圖像數(shù)據(jù)用來(lái)表示視差圖像，用基準(zhǔn)圖像數(shù)據(jù)計(jì)算得到的各圖像部分的視差值Λ所對(duì)應(yīng)的像素值作為各圖像部分的像素值，構(gòu)成視差圖像。
[0041]具體如下。針對(duì)基準(zhǔn)圖像數(shù)據(jù)中的某一行，視差計(jì)算部121定義以一個(gè)注目像素為中心的多個(gè)像素(如16像素X 1像素)構(gòu)成的模塊。另一方面，在比較圖像數(shù)據(jù)的同一行中，將與上述定義的基準(zhǔn)圖像數(shù)據(jù)的模塊相同大小的模塊的每個(gè)像素向橫線(xiàn)方向(X方向)移動(dòng)，計(jì)算表示基準(zhǔn)圖像數(shù)據(jù)中經(jīng)過(guò)定義的各模塊的像素值特征的特征量、與表示比較圖像數(shù)據(jù)中各模塊的像素值特征的特征量?jī)烧咧g的相關(guān)值。而后，根據(jù)該相關(guān)值進(jìn)行匹配處理，選擇比較圖像數(shù)據(jù)的各模塊中與基準(zhǔn)圖像數(shù)據(jù)中的模塊最為相關(guān)的模塊。而后，計(jì)算基準(zhǔn)圖像數(shù)據(jù)的模塊中的注目像素、與匹配處理中選定的比較圖像數(shù)據(jù)的模塊的對(duì)應(yīng)像素之間的位置偏離量，并以該位置偏離量為視差值Λ。在基準(zhǔn)圖像數(shù)據(jù)的整個(gè)區(qū)域或者某一特定區(qū)域進(jìn)行上述視差值Λ計(jì)算處理，從而獲得視差圖像數(shù)據(jù)。該視差圖像數(shù)據(jù)被送往作為視差直方圖信息生成部的視差直方圖計(jì)算部141。
[0042]在匹配處理中，可以使用例如模塊內(nèi)各像素的值(灰度值)作為模塊特征量，并可以使用例如基準(zhǔn)圖像數(shù)據(jù)模塊內(nèi)的各像素的值(灰度值)與比較圖像數(shù)據(jù)模塊內(nèi)分別對(duì)應(yīng)這些像素的各像素的值(灰度值)之間的絕對(duì)差值之和作為相關(guān)值，此時(shí)，可以認(rèn)為該和的值為最小的模塊最為相關(guān)。
[0043]取得視差圖像數(shù)據(jù)的視差直方圖計(jì)算部141用于計(jì)算視差圖像數(shù)據(jù)各行的視差值頻率分布(S3)。以下舉例說(shuō)明。針對(duì)輸入的具有圖8中(a)所示的視差值分布的視差圖像數(shù)據(jù)，視差直方圖計(jì)算部141計(jì)算并輸出每一行視差值頻率分布。而后，根據(jù)如此得到的各行視差值頻率分布信息，獲得行視差分布地圖(V地圖)。行視差分布地圖例如如圖8的(b)所示的二維正交坐標(biāo)系，其縱向采用視差圖像上的縱向位置(攝像圖像的上下位置)y，橫向采用視差值Λ，視差圖像數(shù)據(jù)上的各像素分布在該二維正交坐標(biāo)系上。該視差圖像分布地圖也可以將持有隨著頻率而變化的像素值的像素分布在二維正交坐標(biāo)系上來(lái)表示。
[0044]圖9是一例用攝像部IlOA和IlOB拍攝的灰度圖像即基準(zhǔn)圖像(a)和比較圖像(b)的圖像例示意圖。圖10是一例用圖9所示的基準(zhǔn)圖像和比較圖像計(jì)算的視差圖像的示意圖。在圖10所示的視差圖像中，各像素值對(duì)應(yīng)于該像素位置上基準(zhǔn)圖像與比較圖像的視差值Λ。該圖中以標(biāo)記A、B、C表示的對(duì)象對(duì)應(yīng)于車(chē)輛前方的其他車(chē)輛的圖像部分的視差值Λ。此外，圖中的標(biāo)記RS表示的對(duì)象對(duì)應(yīng)于車(chē)輛前方的道路區(qū)域的視差值Λ。該道路區(qū)域RS是以中央分道帶或道路落差來(lái)劃分車(chē)道的可供車(chē)輛行駛的道路。
[0045]在本實(shí)施方式中，道路區(qū)域認(rèn)知部142根據(jù)視差直方圖計(jì)算部141輸出的各行視差值頻率分布信息來(lái)認(rèn)知道路區(qū)域RS。具體為，道路區(qū)域認(rèn)知部142首先從視差直方圖計(jì)算部141取得各行視差值頻率分布信息，根據(jù)該信息確定行視差分布地圖，并對(duì)行視差分布地圖上的像素分布進(jìn)行曲線(xiàn)近似處理。與此同時(shí)，還可以對(duì)行視差分布地圖實(shí)行孤立雜質(zhì)去除處理、平滑處理、以及二值化處理。
[0046]圖11是對(duì)在圖10所示視差圖像的數(shù)據(jù)所得到的行視差分布地圖(V地圖)上的像素分布進(jìn)行曲線(xiàn)近似得到的曲線(xiàn)圖。圖10所示的視差圖像是相對(duì)傾斜狀態(tài)較為平坦的道路的視差圖像。為此，對(duì)行視差分布地圖上的像素分布進(jìn)行近似得到接近直線(xiàn)的曲線(xiàn)圖。由此得到的圖11所示的近似曲線(xiàn)(近似直線(xiàn))中與視差圖像下部相對(duì)應(yīng)的行視差分布地圖下部中的直線(xiàn)呈現(xiàn)為越到圖像上部視差值Λ越小的斜線(xiàn)，換言之，分布于該近似曲線(xiàn)上或附近的像素(視差圖像上的像素)是一些在視差圖像上的各行之間保持大致相同距離且占有率最高、而且在攝像圖像中越往圖像上部距離就連續(xù)性地離得越遠(yuǎn)的對(duì)象的像素。
[0047]在此，由于用搭載于車(chē)輛內(nèi)部的攝像部IlOA拍攝車(chē)輛前方區(qū)域，因而該視差圖像的內(nèi)容如圖10所示，圖像下部的路面區(qū)域RS的占有率為最高，而且越到圖像上部，道路區(qū)域RS的視差值Λ便越小。在同一行(橫線(xiàn))內(nèi)，構(gòu)成道路區(qū)域RS的像素大致具有相同的視差值Λ。為此，在用視差直方圖計(jì)算部141輸出的各行視差值頻度分布信息來(lái)確定的、分布于上述行視差分布地圖(V地圖)上的近似曲線(xiàn)(近似直線(xiàn))上或近似曲線(xiàn)附近的像素便符合構(gòu)成道路區(qū)域RS的像素所具有的特征。據(jù)此，能夠高精度地推斷出，分布于圖11所示的近似曲線(xiàn)上或近似曲線(xiàn)附近的像素即為構(gòu)成道路區(qū)域RS的像素。
[0048]如上所述，本實(shí)施方式的道路區(qū)域認(rèn)知部142在基于視差直方圖計(jì)算部141得到的各行視差值頻率分布信息算出的行視差分布地圖(V地圖)上進(jìn)行曲線(xiàn)近似，并將分布于該近似曲線(xiàn)上或該近似曲線(xiàn)附近的像素作為表示道路的像素，進(jìn)而將該像素構(gòu)成的圖像區(qū)域認(rèn)作為道路區(qū)域RS。如圖9的(a)和(b)所示，雖然道路上還存在白線(xiàn)，但是道路區(qū)域認(rèn)知部142認(rèn)知的道路區(qū)域RS包含該白線(xiàn)的圖像部分。
[0049]道路區(qū)域認(rèn)知部142的認(rèn)知結(jié)果被送往其后的處理部供在各種處理中使用。例如在如車(chē)內(nèi)圖像顯示裝置即監(jiān)控顯示器103上顯示用攝像單元101拍攝的該車(chē)輛前方的攝像圖像時(shí)，利用道路區(qū)域認(rèn)知部142的認(rèn)知結(jié)果，實(shí)行方便識(shí)別道路區(qū)域RS的顯示處理，如在顯示圖像上強(qiáng)調(diào)顯示對(duì)應(yīng)的道路區(qū)域RS等。
[0050]另一方面，從視差直方圖計(jì)算部141輸出的各行視差值頻率分布信息還被送往作為對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部的傾斜狀態(tài)認(rèn)知部143。傾斜狀態(tài)認(rèn)知部143根據(jù)視差直方圖計(jì)算部141輸出的各行視差值頻率分布信息，首先選出一組符合道路區(qū)域RS的像素特征的視差值。具體為，從具有超過(guò)設(shè)定規(guī)定值的頻率的視差值Λ中，選出一組符合越到圖像上部值越小這一特征的視差值Λ。具有該特征的視差值便為對(duì)應(yīng)于圖11所示的近似曲線(xiàn)(近似值線(xiàn))的視差值。這樣，傾斜狀態(tài)認(rèn)知部143對(duì)行視差分布地圖(V地圖)上的像素分布進(jìn)行曲線(xiàn)近似(S4)，而后選定分布于該近似曲線(xiàn)上或該近似曲線(xiàn)附近的像素的視差值Δ (S5)。
[0051]而后，傾斜狀態(tài)認(rèn)知部143從選定的視差值(對(duì)應(yīng)道路區(qū)域RS的視差值)中抽取位于圖像最上部的最小視差值Λ O (S6)。該最小視差值Λ O所屬的行表示道路區(qū)域RS的頂部在攝像圖像上的縱向位置(在圖像上的高度)。
[0052]在如圖12的(a)所示的相對(duì)傾斜狀態(tài)為平坦的情況下，攝像圖像中的道路區(qū)域RS呈現(xiàn)為如圖12的(b)所示?；谠摂z像圖像的行視差分布地圖(V地圖)的近似曲線(xiàn)如圖12的(c)所示，呈直線(xiàn)形狀。而在如圖13的(a)所示的相對(duì)傾斜狀態(tài)為上坡的情況下，其攝像圖像中的道路區(qū)域RS呈現(xiàn)為如圖13的(b)所示?；谠摂z像圖像的行視差分布地圖(V地圖)的近似曲線(xiàn)如圖13的(c)所示的曲線(xiàn)。與此相反，在如圖14的(a)所示的相對(duì)傾斜狀態(tài)為下坡的情況下，其攝像圖像中的道路區(qū)域RS呈現(xiàn)為如圖14的(b)所示?；谠摂z像圖像的行視差分布地圖(V地圖)的近似曲線(xiàn)如圖14的(c)所示的曲線(xiàn)。
[0053]本實(shí)施方式在車(chē)輛100到達(dá)駕駛員視界變差的地點(diǎn)之前，檢知即將到達(dá)視界較差的地點(diǎn)，實(shí)行防止在該地點(diǎn)發(fā)生事故的預(yù)防措施。具體來(lái)說(shuō)，在車(chē)輛100到達(dá)相對(duì)傾斜狀態(tài)即將轉(zhuǎn)變?yōu)橄缕聝A斜的坡度變化地點(diǎn)(圖14(a)所示的地點(diǎn))之前，檢知即將到達(dá)該坡度變化地點(diǎn)，實(shí)行警告控制，警告駕駛員減速，或者實(shí)行車(chē)速調(diào)整控制，讓車(chē)輛100減速。
[0054]對(duì)應(yīng)于道路區(qū)域RS的視差值Λ具有越往攝像圖像上部其值便越小的特征，根據(jù)該特征，無(wú)論道路的相對(duì)傾斜狀態(tài)如何變化，其視差值Λ的近似曲線(xiàn)均會(huì)呈現(xiàn)如圖12(c)或圖13(c)或圖14(c)的左側(cè)所示的特征。該近似曲線(xiàn)的大致的形態(tài)根據(jù)道路的相對(duì)傾斜狀態(tài)不同而如圖12 (C)、圖13 (C)、圖14(c)所示互不相同。具體為，在相對(duì)傾斜形態(tài)為平坦的地點(diǎn)，近似曲線(xiàn)的特征為直線(xiàn)。在相對(duì)傾斜形態(tài)為轉(zhuǎn)變?yōu)樯掀聝A斜的地點(diǎn)，近似曲線(xiàn)的特征為斜率逐漸變大(曲率半徑逐漸變小)的曲線(xiàn)。在相對(duì)傾斜形態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的地點(diǎn)，近似曲線(xiàn)的特征為斜率逐漸變小(曲率半徑逐漸變大)的曲線(xiàn)。因而，可以根據(jù)上述不同的特征，來(lái)判斷近似曲線(xiàn)的大致形態(tài)，從而檢知是否到達(dá)相對(duì)傾斜狀態(tài)即將轉(zhuǎn)變?yōu)橄缕聝A斜的下坡變化地點(diǎn)，并輸出判斷結(jié)果(S7、S8)。
[0055]以下詳細(xì)說(shuō)明用于檢知車(chē)輛100是否即將到達(dá)相對(duì)傾斜形態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的下坡變化地點(diǎn)附近的(圖14(a)所示地點(diǎn))的處理內(nèi)容及控制內(nèi)容。
[0056]在檢知車(chē)輛100是否即將到達(dá)相對(duì)傾斜形態(tài)轉(zhuǎn)向下坡變化地點(diǎn)附近的(圖14(a)所示地點(diǎn))的檢知處理中，如圖15所示，可將傾斜狀態(tài)認(rèn)知部143的功能分割成道路對(duì)應(yīng)視差值選擇部151、對(duì)象地點(diǎn)特征量抽取部152、對(duì)象地點(diǎn)到達(dá)判斷部153、特征量學(xué)習(xí)數(shù)據(jù)輸入部154。
[0057]道路對(duì)應(yīng)視差值選擇部151用于根據(jù)視差直方圖計(jì)算部141輸出的各行視差值頻率分布信息，生成用來(lái)確定近似曲線(xiàn)的近似曲線(xiàn)信息，該近似曲線(xiàn)即為對(duì)上述行視差分布地圖(V地圖)上的像素分布進(jìn)行曲線(xiàn)近似得到的近似曲線(xiàn)，而后選擇分布于該近似曲線(xiàn)上或該近似曲線(xiàn)附近的像素的視差值。
[0058]關(guān)于近似曲線(xiàn)信息的生成可以使用各種公知的曲線(xiàn)近似方法，本實(shí)施方式采用多項(xiàng)式近似方法，用下式(I)所示的多項(xiàng)式來(lái)近似。在此，多項(xiàng)式的次方數(shù)η可以適當(dāng)?shù)卦谑孪鹊恼J(rèn)知實(shí)驗(yàn)中設(shè)定。
[0059]y = Ag+A1 Δ +A2 Δ 2+A3 Δ 3+...+An Δ n (I) [0060]對(duì)于上述多項(xiàng)式的各項(xiàng)系數(shù)ApApA2…、An，例如可以用最小二乘法來(lái)求得。即用多個(gè)地點(diǎn)(yi; Ai)的值，用下式(2)計(jì)算，用最小二乘法求出多項(xiàng)式的各項(xiàng)系數(shù)。
[0061 ] Yi = Ao+Ai Δ j+A2 Δ ^+A3 Δ \+...+An Δ ' (2)
[0062]對(duì)象地點(diǎn)特征量抽取部152抽取用來(lái)判斷車(chē)輛100是否到達(dá)相對(duì)傾斜形態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的下坡變化地點(diǎn)附近(對(duì)象地點(diǎn))的對(duì)象地點(diǎn)特征量。本實(shí)施方式抽取用多項(xiàng)式近似得到的多項(xiàng)式的系數(shù)WA2…、An以及上述最小視差值A(chǔ)ci作為該對(duì)象地點(diǎn)特征量。具體為抽取多項(xiàng)式中的系數(shù)A2和Atl作為對(duì)象地點(diǎn)特征量。
[0063]對(duì)象地點(diǎn)到達(dá)判斷部153用于判斷用對(duì)象地點(diǎn)特征量抽取部152抽取的對(duì)象地點(diǎn)特征量(α2，Δ0)是否滿(mǎn)足車(chē)輛100到達(dá)相對(duì)傾斜形態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的下坡變化地點(diǎn)附近(對(duì)象地點(diǎn))時(shí)的特征量條件。
[0064]具體為預(yù)先準(zhǔn)備在一或兩個(gè)以上對(duì)象地點(diǎn)拍攝的攝像圖像以及在一或兩個(gè)非對(duì)象地點(diǎn)拍攝的攝像圖像，分別抽取對(duì)這些攝像圖像進(jìn)行上述曲線(xiàn)近似時(shí)的多項(xiàng)式系數(shù)Α。、Ap A2…、An和最小視差值A(chǔ)tlt5本實(shí)施方式用如上述得到的學(xué)習(xí)數(shù)據(jù)，并通過(guò)SVM (SupportVector Machine,支持向量機(jī))的機(jī)械學(xué)習(xí)方法,用對(duì)應(yīng)對(duì)象地點(diǎn)的學(xué)習(xí)數(shù)據(jù)和不對(duì)應(yīng)對(duì)象地點(diǎn)的學(xué)習(xí)數(shù)據(jù)，來(lái)確定用來(lái)對(duì)對(duì)應(yīng)對(duì)象地點(diǎn)的學(xué)習(xí)數(shù)據(jù)和不對(duì)應(yīng)對(duì)象地點(diǎn)的學(xué)習(xí)數(shù)據(jù)進(jìn)行適當(dāng)分類(lèi)的評(píng)價(jià)函數(shù)。具體如下，用學(xué)習(xí)數(shù)據(jù)求出下式(3)表示的評(píng)價(jià)函數(shù)的各項(xiàng)系數(shù)k0、kl、k2...kn和最小視差值k Δ。
[0065]K = k0 X A0+kl X Ai+k2 X A2+k3 X A3+...+knX An+k Δ X Δ 0 (3)
[0066]圖16是本實(shí)施方式利用機(jī)械學(xué)習(xí)方法對(duì)學(xué)習(xí)數(shù)據(jù)進(jìn)行分類(lèi)的分類(lèi)結(jié)果的示意圖。該圖是以對(duì)象地點(diǎn)特征量的多項(xiàng)式系數(shù)A2為縱軸、且以最小視差值kA為橫軸的二維正交坐標(biāo)系，該坐標(biāo)系統(tǒng)顯示了學(xué)習(xí)數(shù)據(jù)的分布和適當(dāng)?shù)拈y值Kttoe。圖中，“〇”為在對(duì)象地點(diǎn)即在接近下坡變化地點(diǎn)之前拍攝的攝像圖像的特征量(α2，Δ0)的打點(diǎn)，“ X ”為在各種非對(duì)象地點(diǎn)拍攝的攝像圖像的特征量(α2，Δ0)的打點(diǎn)。在此，上述閥Kthre值被保存在傾斜基準(zhǔn)信息存儲(chǔ)部144中。
[0067]對(duì)象地點(diǎn)到達(dá)判斷部153用于在判斷對(duì)象地點(diǎn)特征量抽取部152抽取的對(duì)象地點(diǎn)特征量(Α2，Δ0)是否滿(mǎn)足特征量條件時(shí)，將該對(duì)象地點(diǎn)特征量(Α2，Δ0)代入上式(3)表示的評(píng)價(jià)函數(shù)，計(jì)算評(píng)價(jià)值K，而后，判斷該評(píng)價(jià)值K是否滿(mǎn)足所謂的特征量條件，即是否大于用SVM的機(jī)械學(xué)習(xí)獲得并保存在傾斜基準(zhǔn)信息存儲(chǔ)部144中的閥值KthM。如果評(píng)價(jià)值K大于閥值Kthre，判斷滿(mǎn)足對(duì)象地點(diǎn)到達(dá)條件，輸出表示到達(dá)對(duì)象地點(diǎn)的判斷結(jié)果。而如果評(píng)價(jià)值K為閥值Kthre以下，則判斷未滿(mǎn)足對(duì)象地點(diǎn)到達(dá)條件，并輸出表示未到達(dá)對(duì)象地點(diǎn)的判斷結(jié)果。
[0068]在判斷是否滿(mǎn)足特征量條件的過(guò)程中，本實(shí)施方式使用了上述多項(xiàng)式中的一個(gè)系數(shù)A2，但是本發(fā)明并不受此限制。例如，還可以用上述多項(xiàng)式中除A2以外的其他系數(shù)來(lái)判斷，判斷時(shí)使用的多項(xiàng)式中的系數(shù)既可以是一個(gè)系數(shù)，也可以是多個(gè)系數(shù)。用一個(gè)系數(shù)判斷有利于減少誤認(rèn)，而用多個(gè)系數(shù)判斷，則有利于對(duì)復(fù)雜形狀的認(rèn)知。因而可根據(jù)認(rèn)知對(duì)象來(lái)選擇用一個(gè)系數(shù)判斷還是用多個(gè)系數(shù)判斷。
[0069]如上所述，由傾斜狀態(tài)認(rèn)知部143的對(duì)象地點(diǎn)到達(dá)判斷部153輸出的表示到達(dá)對(duì)象地點(diǎn)(接近下坡變化地點(diǎn)之前)的判斷結(jié)果被送往之后的處理部，供在各種處理中使用。例如，將該判斷結(jié)果送往車(chē)輛駕駛控制單元106，用于各種駕駛助理控制，如車(chē)速控制，對(duì)車(chē)輛100進(jìn)行減速，或在監(jiān)控顯示器103上顯示警告，要求低速行駛。
[0070]攝像部IlOA拍攝的灰度圖像數(shù)據(jù)被送往灰度圖像邊緣抽取部145?；叶葓D像邊緣抽取部145抽取灰度圖像 中像素值(灰度)發(fā)生規(guī)定值以上變化的部位作為邊緣部分,并基于該抽取結(jié)果生成灰度邊緣圖像數(shù)據(jù)。該灰度圖像數(shù)據(jù)為用邊緣部分和非邊緣部分的二值表示的圖像數(shù)據(jù)。邊緣抽取方法可以廣泛利用公知方法?；叶葓D像邊緣抽取部145生成的灰度邊緣圖像數(shù)據(jù)被送往白線(xiàn)認(rèn)知處理部149。
[0071]白線(xiàn)認(rèn)知處理部149根據(jù)灰度邊緣圖像數(shù)據(jù)認(rèn)知呈現(xiàn)路面上白線(xiàn)的白線(xiàn)圖像部。通常白線(xiàn)形成在道路的接近黑色的路面上，因而，灰度圖像上的白線(xiàn)圖像部分的灰度大于道路上其他部分的灰度，為此，在灰度圖像上，灰度差在規(guī)定值以上的邊緣部為白線(xiàn)邊緣部的可能性較大。此外，攝像圖像中呈現(xiàn)道路上的白線(xiàn)的白線(xiàn)圖像部呈線(xiàn)形，為此，可通過(guò)確定以線(xiàn)形連接的邊緣部，來(lái)高精度地認(rèn)知白線(xiàn)的邊緣部。本實(shí)施方式的白線(xiàn)認(rèn)知處理部149對(duì)灰度圖像邊緣抽取部145抽取的灰度邊緣圖像數(shù)據(jù)實(shí)行最小二乘法或霍夫變換(Hough變換)等直線(xiàn)近似處理，將獲得的近似直線(xiàn)作為白線(xiàn)的邊緣部(白線(xiàn)圖像部)來(lái)認(rèn)知。
[0072]上述白線(xiàn)認(rèn)知結(jié)果被送往之后的處理部，供在各種處理中使用。例如可以在車(chē)輛100將要脫離正在行駛的車(chē)道等時(shí)，實(shí)行駕駛助理控制，如向駕駛員發(fā)出警告，或者控制方向盤(pán)或剎車(chē)等。
[0073]在白線(xiàn)認(rèn)知處理中，利用上述道路區(qū)域認(rèn)知部142認(rèn)知的道路區(qū)域RS的認(rèn)知結(jié)果，以道路區(qū)域RS內(nèi)的灰度邊緣部為對(duì)象進(jìn)行白線(xiàn)圖像部的認(rèn)知處理，有助于減輕認(rèn)知處理負(fù)擔(dān)并提聞?wù)J知精度。
[0074]以下說(shuō)明一例涉及上述車(chē)載設(shè)備控制系統(tǒng)的硬件結(jié)構(gòu)的實(shí)施例。圖17是本實(shí)施例涉及的一例車(chē)載設(shè)備控制系統(tǒng)的主要部分的硬件結(jié)構(gòu)模塊圖。被攝體光通過(guò)位于攝像單元101左右用于攝像的光學(xué)系統(tǒng)701和702，分別入射CM0S703和704。CM0S703和704將在攝像面上成像的光像轉(zhuǎn)換成電信號(hào)，并將該電信號(hào)作為模擬圖像數(shù)據(jù)輸出。CM0S703和704輸出的圖像信息通過(guò)⑶S(Correlated Double Sampling,相關(guān)雙米樣)電路705和706去除其中的雜質(zhì)成分，并通過(guò)A/D轉(zhuǎn)換器707和708轉(zhuǎn)換成數(shù)字信號(hào)，而后被輸出到圖像處理電路709和710。圖像處理電路709和710使用暫時(shí)保存圖像數(shù)據(jù)的SDRAM (SynchronousDRAM,同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)712。而后實(shí)行YCrCb轉(zhuǎn)換處理、以及白平衡控制處理、對(duì)比度補(bǔ)償處理、邊緣增強(qiáng)處理、色轉(zhuǎn)換處理等各種圖像處理。其中，白平衡控制處理用于調(diào)整圖像的色濃度，對(duì)比度補(bǔ)償處理用于調(diào)整圖像信息的對(duì)比度。邊緣強(qiáng)調(diào)處理用于調(diào)整圖像信息的清晰度，色轉(zhuǎn)換處理用于調(diào)整圖像信息的配色。
[0075]圖像信息經(jīng)過(guò)信號(hào)處理和圖像處理后，經(jīng)由縮放電路713保存到存儲(chǔ)卡714中?？s放電路713用于將圖像處理電路709和710輸出的圖像信息壓縮后送往存儲(chǔ)卡714，或者將從存儲(chǔ)卡714讀取的圖像信息擴(kuò)展后輸出到圖像處理電路709和710中。CPU711通過(guò)定時(shí)信號(hào)發(fā)生器718對(duì)CM0S703和704、CDS電路705和706、以及A/D轉(zhuǎn)換器707和708進(jìn)行定時(shí)控制。進(jìn)而，CPU711也通過(guò)主線(xiàn)連接并控制圖像處理電路709和710、縮放電路713、存儲(chǔ)卡714等。
[0076]CPU711執(zhí)行用于實(shí)行上述對(duì)象地點(diǎn)到達(dá)檢知處理的對(duì)象地點(diǎn)到達(dá)檢知用程序等各種程序進(jìn)行各種運(yùn)算處理。CPU711還通過(guò)主線(xiàn)連接R0M(Rea Only Memary,只讀存儲(chǔ)器)716和RAM (Random Access Memory,隨機(jī)訪(fǎng)問(wèn)存儲(chǔ)器)等。R0M716是用于存放程序等讀取專(zhuān)用存儲(chǔ)器。RAM717是具有在各種處理過(guò)程中利用的工作區(qū)域、以及各種數(shù)據(jù)存放區(qū)域等的隨機(jī)讀寫(xiě)存儲(chǔ)器。
[0077]CPU711執(zhí)行對(duì)象地點(diǎn)到達(dá)檢知用程序，起到上述視差計(jì)算部121、視差直方圖計(jì)算部141、道路區(qū)域認(rèn)知部142、傾斜狀態(tài)認(rèn)知部143、灰度圖像邊緣抽取部145、白線(xiàn)認(rèn)知處理部149等功能部的作用。也可以將這些功能部的一部分或全部形成為模塊結(jié)構(gòu)。
[0078]上述是本發(fā)明的一個(gè)實(shí)施例，本發(fā)明以下各形態(tài)具有各自獨(dú)特的效果。
[0079]< 形態(tài) A>
[0080]一種對(duì)象地點(diǎn)到達(dá)檢知裝置，其根據(jù)兩個(gè)攝像部110A和110B等攝像裝置拍攝的在道路(移動(dòng)表面)上移動(dòng)的車(chē)輛100(移動(dòng)體)前方的攝像圖像，檢知該車(chē)輛100是否到達(dá)對(duì)象地點(diǎn)，其特征在于，具備如對(duì)象地點(diǎn)到達(dá)判斷部153等對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部，用于根據(jù)上述攝像圖像，輸出表示該車(chē)輛到達(dá)上述對(duì)象地點(diǎn)的信號(hào)，該對(duì)象地點(diǎn)位于即將到達(dá)下坡變化地點(diǎn)之前，該下坡變化地點(diǎn)是指，車(chē)輛前方的道路部分相對(duì)于該車(chē)輛正在行駛的道路部分的傾斜狀態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的地點(diǎn)。
[0081]利用本形態(tài)，能夠檢知車(chē)輛100即將到達(dá)視界較差的下坡變化地點(diǎn)，從而在到達(dá)該下坡變化地點(diǎn)之前實(shí)行警告控制，向駕駛員發(fā)出減速警告，或?qū)嵭熊?chē)速調(diào)節(jié)控制，減小車(chē)速。其結(jié)果為，有助于防止視界較差的下坡變化地點(diǎn)附近的事故發(fā)生。
[0082]< 形態(tài) B〉
[0083]本形態(tài)基于上述形態(tài)A，其特征在于，進(jìn)一步具備以下各部:視差信息生成部，如視差計(jì)算部12等，用于根據(jù)兩個(gè)攝像部110A和110B等多個(gè)攝像裝置拍攝的多張攝像圖像，生成視差信息；視差直方圖信息生成部，如視差直方圖計(jì)算部141等，用于根據(jù)該視差信息，生成視差直方圖信息，該視差直方圖信息表示縱向分割所述攝像圖像而得到的多個(gè)行區(qū)域各自的視差值Λ的頻率分布；以及，近似曲線(xiàn)信息生成部，如道路對(duì)應(yīng)視差值選擇部151，根據(jù)該視差直方圖信息，從具有頻率大于預(yù)設(shè)的規(guī)定值的視差值Λ中選擇一組符合越到所述攝像圖像上部所述視差值越小之特征的視差值Λ，并生成該一組視差值Λ的近似曲線(xiàn)信息，當(dāng)所述近似曲線(xiàn)信息滿(mǎn)足預(yù)設(shè)的對(duì)象地點(diǎn)到達(dá)條件時(shí)，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部輸出表示車(chē)輛到達(dá)對(duì)象地點(diǎn)的信號(hào)。
[0084]本形態(tài)基于生成的視差直方圖信息，從具有超過(guò)規(guī)定值的頻率的視差值中選定一組符合越到所述攝像圖像上部視差值越小之特征的視差值。在此的視差值是指代表屬于該視差值附近一定范圍的視差值范圍的值。如以下將要敘述的，能夠以相當(dāng)高的精確度來(lái)推斷，與符合上述特征的一組視差值相對(duì)應(yīng)的攝像圖像上的像素即是攝像圖像中構(gòu)成車(chē)輛前方道路的道路圖像區(qū)域的像素。為此，可以認(rèn)為上述選定的一組視差值相當(dāng)于攝像圖像中與道路圖像區(qū)域相對(duì)應(yīng)的各行區(qū)域的視差值。
[0085]在此考慮車(chē)輛在即將達(dá)到下坡變化地點(diǎn)之前的情況，即車(chē)輛即將到達(dá)相對(duì)傾斜狀態(tài)、即該車(chē)輛前方道路的傾斜狀態(tài)相對(duì)于車(chē)輛正在行駛的道路部分的傾斜狀態(tài)將轉(zhuǎn)向下坡傾斜的地點(diǎn)附近時(shí)的情況，而此時(shí)駕駛員的視界較差。在這種情況下，攝像圖像上的行區(qū)域中呈現(xiàn)的道路部分比傾斜狀態(tài)為平坦(相對(duì)傾斜狀態(tài)沒(méi)有變化)時(shí)呈現(xiàn)的道路部分更加遙遠(yuǎn)。為此，對(duì)于與攝像圖像上的道路圖像區(qū)域相對(duì)應(yīng)的同一個(gè)行區(qū)域的視差值來(lái)說(shuō)，相對(duì)傾斜狀態(tài)為下坡時(shí)的視差值小于平坦時(shí)的視差值。在相對(duì)傾斜狀態(tài)為平坦時(shí)，與攝像圖像上的道路圖像區(qū)域相對(duì)應(yīng)的行區(qū)域的視差值隨著行區(qū)域向攝像圖像上方上升而直線(xiàn)性減小。而在相對(duì)傾斜狀態(tài)為下坡傾斜時(shí)，道路相對(duì)傾斜狀態(tài)變化緩慢，為此，各行區(qū)域的視差值隨著行區(qū)域向攝像圖像上方上升而曲線(xiàn)性減小。據(jù)此，能夠根據(jù)被選定的符合越到攝像圖像上部視差值越小之特征的一組視差值的近似曲線(xiàn)，來(lái)判斷車(chē)輛前方道路的相對(duì)傾斜狀態(tài)是否為下坡傾斜，從而在車(chē)輛即將到達(dá)視界較差的下坡變化地點(diǎn)之前檢知這一情況。其結(jié)果為，能夠在即將到達(dá)該下坡變化地點(diǎn)之前實(shí)行警告控制，向駕駛員發(fā)出減速警告，或?qū)嵭熊?chē)速調(diào)節(jié)控制，減小車(chē)速，有助于防止視界較差的下坡變化地點(diǎn)附近的事故發(fā)生。
[0086]在此，設(shè)與車(chē)輛正在行駛的道路部分平行的平面向車(chē)輛前方延長(zhǎng)而得到面為假想延長(zhǎng)面，上述相對(duì)傾斜狀態(tài)是指，如果與各行區(qū)域?qū)?yīng)的道路部分位于該假想延長(zhǎng)面上方，則該行區(qū)域所對(duì)應(yīng)的道路部分的相對(duì)傾斜狀態(tài)為上坡傾斜，而如果與各行區(qū)域?qū)?yīng)的道路部分位于該假想延長(zhǎng)面下方，則該行區(qū)域所對(duì)應(yīng)的道路部分的相對(duì)傾斜狀態(tài)為下坡傾斜。
[0087]< 形態(tài) C〉
[0088]本形態(tài)基于上述形態(tài)B，其特征在于，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部從所述近似曲線(xiàn)信息中抽取對(duì)象地點(diǎn)特征量(A2, Aci),并且在該被抽取的對(duì)象地點(diǎn)特征量滿(mǎn)足預(yù)設(shè)的特征量條件(K>KthJ時(shí)，判斷滿(mǎn)足所述對(duì)象地點(diǎn)到達(dá)條件，輸出表示車(chē)輛到達(dá)對(duì)象地點(diǎn)的信號(hào)。
[0089]利用本形態(tài)，能夠簡(jiǎn)化車(chē)輛到達(dá)視界較差的下坡變化地點(diǎn)之前進(jìn)行的判斷處理，并且迅速地作出判斷。
[0090]< 形態(tài) D>
[0091 ] 本形態(tài)基于上述形態(tài)B或C，其特征在于，所述近似曲線(xiàn)信息用于確定二維正交坐標(biāo)系中所述被選定的一組視差值Λ的近似曲線(xiàn)，該二維正交坐標(biāo)系以所述攝像圖像的縱向位置I和視差值為坐標(biāo)軸。
[0092]利用本形態(tài)，有助于方便生成近似曲線(xiàn)信息。
[0093]< 形態(tài) E>
[0094]本形態(tài)基于上述形態(tài)C，其特征在于，所述近似曲線(xiàn)信息是以多項(xiàng)式表示的近似曲線(xiàn)的信息，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部抽取所述近似曲線(xiàn)信息所對(duì)應(yīng)的多項(xiàng)式的系數(shù)A2以及所述被選定的一組視差值中最小視差值A(chǔ)tl作為所述對(duì)象地點(diǎn)特征量，當(dāng)該對(duì)象地點(diǎn)特征量(A2, Δ0)滿(mǎn)足規(guī)定的特征量條件(K > Kthre)時(shí)，判斷滿(mǎn)足所述規(guī)定的對(duì)象地點(diǎn)到達(dá)條件，輸出表示車(chē)輛到達(dá)對(duì)象地點(diǎn)的信號(hào)。
[0095]利用本形態(tài)，能夠簡(jiǎn)化車(chē)輛到達(dá)視界較差的下坡變化地點(diǎn)之前進(jìn)行的判斷處理，并且迅速地作出判斷。
[0096]< 形態(tài) F〉
[0097]本形態(tài)基于上述形態(tài)B~E中任意一形態(tài)，其特征在于，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部用預(yù)先拍攝的所述對(duì)象地點(diǎn)以及非對(duì)象地點(diǎn)的攝像圖像作為學(xué)習(xí)數(shù)據(jù)，判斷所述近似曲線(xiàn)信息是否滿(mǎn)足所述對(duì)象地點(diǎn)到達(dá)條件。
[0098]利用本形態(tài)，能夠合理地判斷近似曲線(xiàn)信息是否滿(mǎn)足規(guī)定的對(duì)象地點(diǎn)到達(dá)條件。
[0099]< 形態(tài) G>
[0100]一種對(duì)象 地點(diǎn)到達(dá)檢知方法，其根據(jù)設(shè)置于在道路(移動(dòng)表面)上移動(dòng)的車(chē)輛100(移動(dòng)體)前方的攝像裝置拍攝的攝像圖像，檢知該車(chē)輛100是否到達(dá)對(duì)象地點(diǎn)，其特征在于，具備以下各步驟:視差信息生成步驟，根據(jù)兩個(gè)攝像部IlOA和IlOB等多個(gè)攝像裝置拍攝的多張攝像圖像，生成視差信息；視差直方圖信息生成步驟，根據(jù)該視差信息，生成視差直方圖信息，該視差直方圖信息表示縱向分割所述攝像圖像形成的多個(gè)行區(qū)域各自的視差值Λ的頻率分布；近似曲線(xiàn)信息生成步驟，根據(jù)該視差直方圖信息，從具有頻率大于預(yù)設(shè)的規(guī)定值的視差值Λ中選定一組符合越往所述攝像圖像的上部視差值越小之特征的視差值△，并生成該一組視差值△的近似曲線(xiàn)信息；以及，對(duì)象地點(diǎn)到達(dá)信號(hào)輸出步驟，當(dāng)所述近似曲線(xiàn)信息滿(mǎn)足預(yù)設(shè)的對(duì)象地點(diǎn)到達(dá)條件時(shí)，輸出表示車(chē)輛到達(dá)對(duì)象地點(diǎn)的信號(hào)。
[0101]利用本形態(tài)，能夠檢知車(chē)輛100即將到達(dá)視界較差的下坡變化地點(diǎn)，從而在到達(dá)該下坡變化地點(diǎn)之前實(shí)行警告控制，向駕駛員發(fā)出減速警告，或?qū)嵭熊?chē)速調(diào)節(jié)控制，減小車(chē)速。其結(jié)果為，有助于防止視界較差的下坡變化地點(diǎn)的事故發(fā)生。
[0102]上述對(duì)象地點(diǎn)到達(dá)檢知方法可以編制成供計(jì)算機(jī)執(zhí)行的對(duì)象地點(diǎn)到達(dá)檢知用程序。該程序可以保存到CD-ROM等記錄媒體中，以記錄媒體等狀態(tài)來(lái)頒發(fā)銷(xiāo)售，或著購(gòu)買(mǎi)該記錄媒體。另外，還可以以規(guī)定的送信設(shè)備，通過(guò)公用電話(huà)線(xiàn)或?qū)Ｓ镁€(xiàn)以及其他通信網(wǎng)絡(luò)，發(fā)送附有該計(jì)算機(jī)應(yīng)用程序的信號(hào)，用以頒發(fā)或接收該程序。收發(fā)信時(shí)，只需要在傳送媒體中傳送計(jì)算機(jī)程序中至少一部分便可。換言之，并不需要構(gòu)成計(jì)算機(jī)程序的所有數(shù)據(jù)一時(shí)性地存在于傳送媒體之上。附有該程序的信號(hào)是指以包含計(jì)算機(jī)應(yīng)用程序的規(guī)定的傳送波來(lái)實(shí)現(xiàn)的計(jì)算機(jī)數(shù)據(jù)信號(hào)。利用規(guī)定的送信設(shè)備來(lái)發(fā)送計(jì)算機(jī)程序的送信方法中包含以連續(xù)發(fā)送和間歇發(fā)送兩種方式來(lái)發(fā)送構(gòu)成程序的數(shù)據(jù)。
[0103]〈形態(tài)H〉
[0104]一種移動(dòng)體設(shè)備控制系統(tǒng)，其中具備以下各部:信息檢知部，用于檢知道路(移動(dòng)表面)上移動(dòng)的車(chē)輛100(移動(dòng)體)周?chē)男畔?；以及，移?dòng)體設(shè)備控制部，如車(chē)輛駕駛控制單元106等，用于根據(jù)所述信息檢知部輸出的檢知信號(hào)，來(lái)控制車(chē)輛的方向盤(pán)、剎車(chē)或該車(chē)輛搭載的監(jiān)控顯示器103等規(guī)定的設(shè)備，該移動(dòng)體設(shè)備控制系統(tǒng)的特征在于，用上述形態(tài)A?F中任意一種形態(tài)涉及的對(duì)象地點(diǎn)到達(dá)檢知裝置作為所述信號(hào)檢知部。
[0105]利用本形態(tài)，能夠檢知車(chē)輛100即將到達(dá)視界較差的下坡變化地點(diǎn)，從而在到達(dá)該下坡變化地點(diǎn)之前實(shí)行警告控制，向駕駛員發(fā)出減速警告，或?qū)嵭熊?chē)速調(diào)節(jié)控制，減小車(chē)速。其結(jié)果為，有助于防止在視界較差的下坡變化地點(diǎn)周?chē)l(fā)生事故。
【權(quán)利要求】
1.一種對(duì)象地點(diǎn)到達(dá)檢知裝置，其根據(jù)攝像裝置拍攝在移動(dòng)表面移動(dòng)的移動(dòng)體的前方所得到的攝像圖像，檢知該移動(dòng)體是否到達(dá)對(duì)象地點(diǎn)，其特征在于，具備對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部，該對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部用于根據(jù)所述攝像圖像，輸出表示該移動(dòng)體到達(dá)所述對(duì)象地點(diǎn)的信號(hào)，該對(duì)象地點(diǎn)位于接近下坡變化地點(diǎn)之前，該下坡變化地點(diǎn)是指，該移動(dòng)體前方的移動(dòng)表面部分相對(duì)于所述移動(dòng)體正在移動(dòng)的移動(dòng)表面部分的傾斜狀態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的地點(diǎn)。
2.根據(jù)權(quán)利要求1所述的對(duì)象地點(diǎn)到達(dá)檢知裝置，其特征在于，進(jìn)一步具備以下各部: 視差信息生成部，用于根據(jù)多個(gè)所述攝像裝置拍攝的多張攝像圖像，生成視差信息； 視差直方圖信息生成部，用于根據(jù)該視差信息，生成視差直方圖信息，該視差直方圖信息表示縱向分割所述攝像圖像而得到的多個(gè)行區(qū)域各自的視差值的頻率分布；以及， 近似曲線(xiàn)信息生成部，用于根據(jù)該視差直方圖信息，從頻率大于預(yù)設(shè)的規(guī)定值的視差值中選擇一組符合越到所述攝像圖像上部所述視差值越小之特征的視差值，并生成該一組視差值的近似曲線(xiàn)信息， 當(dāng)所述近似曲線(xiàn)信息滿(mǎn)足預(yù)設(shè)的對(duì)象地點(diǎn)到達(dá)條件時(shí)，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部輸出表示所述移動(dòng)體到達(dá) 所述對(duì)象地點(diǎn)的信號(hào)。
3.根據(jù)權(quán)利要求2所述的對(duì)象地點(diǎn)到達(dá)檢知裝置，其特征在于，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部從所述近似曲線(xiàn)信息中抽取對(duì)象地點(diǎn)特征量，并且在該被抽取的對(duì)象地點(diǎn)特征量滿(mǎn)足預(yù)設(shè)的特征量條件時(shí)，判斷滿(mǎn)足所述對(duì)象地點(diǎn)到達(dá)條件，輸出表示所述移動(dòng)體到達(dá)所述對(duì)象地點(diǎn)的信號(hào)。
4.根據(jù)權(quán)利要求2或3所述的對(duì)象地點(diǎn)到達(dá)檢知裝置，其特征在于，所述近似曲線(xiàn)信息用于確定二維正交坐標(biāo)系中所述被選定的一組視差值的近似曲線(xiàn)，該二維正交坐標(biāo)系以所述攝像圖像的縱向位置和視差值為坐標(biāo)軸。
5.根據(jù)權(quán)利要求3所述的對(duì)象地點(diǎn)到達(dá)檢知裝置，其特征在于，所述近似曲線(xiàn)信息是以多項(xiàng)式表示的近似曲線(xiàn)的信息，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部抽取所述近似曲線(xiàn)信息所對(duì)應(yīng)的多項(xiàng)式的系數(shù)以及所述被選定的一組視差值中的最小視差值作為所述對(duì)象地點(diǎn)特征量，當(dāng)該對(duì)象地點(diǎn)特征量滿(mǎn)足預(yù)設(shè)的特征量條件時(shí)，判斷滿(mǎn)足所述對(duì)象地點(diǎn)到達(dá)條件，輸出表示所述移動(dòng)體到達(dá)所述對(duì)象地點(diǎn)的信號(hào)。
6.根據(jù)權(quán)利要求2~5中任意一項(xiàng)所述的對(duì)象地點(diǎn)到達(dá)檢知裝置，其特征在于，所述對(duì)象地點(diǎn)到達(dá)信號(hào)輸出部用預(yù)先拍攝的所述對(duì)象地點(diǎn)以及非對(duì)象地點(diǎn)的攝像圖像作為學(xué)習(xí)數(shù)據(jù)，判斷所述近似曲線(xiàn)信息是否滿(mǎn)足所述對(duì)象地點(diǎn)到達(dá)條件。
7.一種對(duì)象地點(diǎn)到達(dá)檢知方法，其根據(jù)攝像裝置拍攝在移動(dòng)表面移動(dòng)的移動(dòng)體的前方所得到的攝像圖像，檢知該移動(dòng)體是否到達(dá)對(duì)象地點(diǎn)，該對(duì)象地點(diǎn)到達(dá)檢知方法的特征在于，具備以下各步驟: 視差信息生成步驟，根據(jù)多個(gè)所述攝像裝置拍攝的多張攝像圖像，生成視差信息； 視差直方圖信息生成步驟，根據(jù)該視差信息，生成視差直方圖信息，該視差直方圖信息表示縱向分割所述攝像圖像而得到的多個(gè)行區(qū)域各自的視差值的頻率分布； 近似曲線(xiàn)信息生成步驟，根據(jù)該視差直方圖信息，從頻率大于預(yù)設(shè)的規(guī)定值的視差值中選擇一組符合越到所述攝像圖像上部所述視差值越小之特征的視差值，并生成該一組視差值的近似曲線(xiàn)信息；以及，對(duì)象地點(diǎn)到達(dá)信號(hào)輸出步驟，當(dāng)所述近似曲線(xiàn)信息滿(mǎn)足預(yù)設(shè)的對(duì)象地點(diǎn)到達(dá)條件時(shí)，輸出表示所述移動(dòng)體到達(dá)所述對(duì)象地點(diǎn)的信號(hào)，該對(duì)象地點(diǎn)位于接近下坡變化地點(diǎn)之前，該下坡變化地點(diǎn)是指，該移動(dòng)體前方的移動(dòng)表面部分相對(duì)于正在受到所述移動(dòng)體移動(dòng)接觸的移動(dòng)表面部分的傾斜狀態(tài)轉(zhuǎn)變?yōu)橄缕聝A斜的地點(diǎn)。
8.一種移動(dòng)體設(shè)備控制系統(tǒng)，其中具備以下各部: 信息檢知部，用于檢知移動(dòng)表面上移動(dòng)的移動(dòng)體周?chē)男畔?；以及? 移動(dòng)體設(shè)備控制部，用于根據(jù)所述信息檢知部輸出的檢知信號(hào)，來(lái)控制搭載于所述移動(dòng)體上的規(guī)定的設(shè)備， 該移動(dòng)體設(shè)備控制系統(tǒng) 的特征在于，用權(quán)利要求1~6中任意一項(xiàng)所述的對(duì)象地點(diǎn)到達(dá)檢知裝置作為所述信號(hào)檢知部。
【文檔編號(hào)】G06T7/20GK103810720SQ201310565722
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2013年11月13日 優(yōu)先權(quán)日:2012年11月13日
【發(fā)明者】關(guān)?？? 申請(qǐng)人:株式會(huì)社理光