車(chē)輛周?chē)O(jiān)視裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供一種能夠精確辨別2個(gè)并排行走中的步行者(PCX)與亮燈(燈70a、70b)中的車(chē)輛(Car)的車(chē)輛周?chē)O(jiān)視裝置(10)。標(biāo)準(zhǔn)圖像生成部(102)既生成以具有至少2個(gè)頭部候補(bǔ)(70a、70b)的步行者候補(bǔ)(PCY)中的一個(gè)頭部候補(bǔ)(70a)的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像(Mcr),且生成將標(biāo)準(zhǔn)圖像(Mcr)左右翻轉(zhuǎn)的翻轉(zhuǎn)圖像(Mci)。對(duì)象物判定部(103)將另一個(gè)頭部候補(bǔ)(70b)的周?chē)鷪D像作為比較圖像(Mcc),依照比較圖像(Mcc)分別與標(biāo)準(zhǔn)圖像(Mcr)以及翻轉(zhuǎn)圖像(Mci)的一致程度,對(duì)頭部候補(bǔ)(70a、70b)是步行者(PCX)群體還是車(chē)輛(Car)進(jìn)行判定。
【專(zhuān)利說(shuō)明】車(chē)輛周?chē)O(jiān)視裝置
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種利用由車(chē)輛所搭載的紅外線照相機(jī)獲取到的圖像對(duì)車(chē)輛周?chē)M(jìn) 行監(jiān)視的車(chē)輛周?chē)O(jiān)視裝置,尤其涉及一種適用于在夜間或暗處等行駛時(shí)使用的車(chē)輛周?chē)?監(jiān)視裝置。
【背景技術(shù)】
[0002] 在現(xiàn)有技術(shù)中,為公眾所公知的是日本發(fā)明專(zhuān)利公開(kāi)公報(bào)特開(kāi)2003-284057A號(hào) (以下稱(chēng)其為JP2003-284057A)所示車(chē)輛周?chē)O(jiān)視裝置,該車(chē)輛周?chē)O(jiān)視裝置由紅外線照 相機(jī)所捕捉到的自車(chē)輛周?chē)膱D像(灰度圖像以及2值化圖像)來(lái)檢測(cè)出有可能與自車(chē)輛 相撞的步行者等對(duì)象物,并將檢測(cè)出的對(duì)象物提供給自車(chē)輛的駕駛員。
[0003] 在JP2003-284057A所涉及的車(chē)輛周?chē)O(jiān)視裝置中,既檢測(cè)出上述對(duì)象物,S卩,在 由左右成對(duì)的紅外線照相機(jī)(立體照相機(jī))拍攝到的自車(chē)輛周?chē)膱D像中的高溫部分,且 由左右圖像中對(duì)象物的視差來(lái)計(jì)算出自車(chē)輛與該對(duì)象物之間的距離,由該對(duì)象物的移動(dòng)方 向以及該對(duì)象物的位置來(lái)檢測(cè)出可能對(duì)自車(chē)輛的行駛產(chǎn)生影響(可能相撞)的步行者等對(duì) 象物并且發(fā)出警報(bào)(JP2003-284057A中的[0014]、[0018])。
[0004] 但是,使用左右成對(duì)的紅外線照相機(jī)的車(chē)輛周?chē)O(jiān)視裝置價(jià)格高昂,其現(xiàn)狀是僅 被一部分1?級(jí)車(chē)所米用。
[0005] 為了降低成本,在日本發(fā)明專(zhuān)利特許JP4521642B號(hào)(以下稱(chēng)其為JP4521642B) 所涉及的車(chē)輛周?chē)O(jiān)視裝置中,利用車(chē)輛所搭載的單個(gè)紅外線照相機(jī),以規(guī)定的時(shí)間間隔 對(duì)車(chē)輛周?chē)膶?duì)象物至少進(jìn)行兩次(2幀)拍攝。對(duì)象物與搭載車(chē)輛周?chē)O(jiān)視裝置的車(chē)輛 的相對(duì)速度越高,與前一次所拍攝到的圖像的大小(尺寸)相比較,這一次所拍攝的圖像 中對(duì)象物的圖像的大小(尺寸)的變化越大。而且,存在于車(chē)輛前方的對(duì)象物與車(chē)輛的 相對(duì)速度越高,該對(duì)象物到達(dá)車(chē)輛的時(shí)間越短。如此,即便是單個(gè)的紅外線照相機(jī),也能夠 由規(guī)定時(shí)間間隔的同一對(duì)象物的圖像的大小的變化率推測(cè)出其到達(dá)車(chē)輛的到達(dá)時(shí)間,即 TTC(time to contact or time to collision,相撞富余時(shí)間),從而對(duì)車(chē)輛周?chē)M(jìn)行監(jiān)視 (JP4521642B 的[0019]、 [0020])。
[0006] 在JP4521642B所涉及的技術(shù)中,在對(duì)不同時(shí)間點(diǎn)所拍攝到的同一對(duì)象物是人還 是車(chē)輛進(jìn)行判定時(shí),預(yù)先分別以與對(duì)象物相對(duì)應(yīng)的局部區(qū)域來(lái)對(duì)對(duì)象物進(jìn)行分割,此種情 況下為,以分別與人以及車(chē)輛相對(duì)應(yīng)的局部區(qū)域來(lái)對(duì)上述對(duì)象物進(jìn)行分割,在將不同時(shí)間 所拍攝到的涉及同一對(duì)象物的圖像設(shè)為同樣大小的圖像的基礎(chǔ)之上,在上述局部區(qū)域的相 關(guān)程度大于閾值時(shí),判定其為上述人或上述車(chē)輛。
[0007] 搭載了上述JP2003-284057A以及JP4521642B的現(xiàn)有技術(shù)所涉及的車(chē)輛周?chē)O(jiān)視 裝置的車(chē)輛,在夜間行駛時(shí),能夠以影像來(lái)顯示被作為駕駛員用眼睛不容易看到的監(jiān)視對(duì) 象而由紅外線照相機(jī)所檢測(cè)出的前方的步行者。
[0008] 夜間等時(shí)候?qū)θ耍ú叫姓撸┻M(jìn)行判定時(shí),人的頭部因暴露在外面所以表面溫度高、 并且呈圓形,故能容易地在由紅外線照相機(jī)所獲取到的圖像中判定出上述頭部形狀。
[0009] 另一方面,由搭載著構(gòu)成車(chē)輛周?chē)O(jiān)視裝置的紅外線照相機(jī)的車(chē)輛,在夜間從其 他車(chē)輛前方對(duì)該其他車(chē)輛(對(duì)面車(chē))進(jìn)行拍攝時(shí),容易識(shí)別出車(chē)寬方向兩端的前大燈,此 夕卜,在夜間由其他車(chē)輛后方外對(duì)其他車(chē)輛(前行車(chē))進(jìn)行拍攝時(shí),容易識(shí)別出車(chē)寬方向兩端 的尾燈。
[0010] 但是,存在的課題是:在步行者并排行走的情況下,在由紅外線照相機(jī)所獲取到的 圖像中,辨別并排行走的步行者的頭部群體和其他車(chē)輛的前大燈(左右成對(duì)的前大燈)或 尾燈(左右成對(duì)的尾燈)是困難的。
【發(fā)明內(nèi)容】
[0011] 鑒于上述情況,本發(fā)明的目的在于,提供一種能夠精確辨別至少2個(gè)并排行走的 步行者與亮燈的車(chē)輛的車(chē)輛周?chē)O(jiān)視裝置。
[0012] 本發(fā)明所涉及的車(chē)輛周?chē)O(jiān)視裝置,利用由搭載于車(chē)輛上的紅外線照相機(jī)獲取到 的圖像對(duì)周?chē)牟叫姓哌M(jìn)行監(jiān)視,其特征在于,具有頭部候補(bǔ)提取部、標(biāo)準(zhǔn)圖像生成部、對(duì) 象物判定部。上述頭部候補(bǔ)提取部由上述圖像中提取出存在于大致水平方向的至少2個(gè)頭 部候補(bǔ);上述標(biāo)準(zhǔn)圖像生成部以包含被提取出的至少2個(gè)上述頭部候補(bǔ)中的一個(gè)頭部候補(bǔ) 在內(nèi)的周?chē)鷪D像作為標(biāo)準(zhǔn)圖像;上述對(duì)象物判定部以包含另一個(gè)頭部候補(bǔ)在內(nèi)的周?chē)鷪D像 作為比較圖像,依據(jù)上述比較圖像與上述標(biāo)準(zhǔn)圖像之間的對(duì)稱(chēng)性,對(duì)至少2個(gè)的上述頭部 候補(bǔ)是步行者群體還是車(chē)輛進(jìn)行判定。
[0013] 采用本發(fā)明,依據(jù)作為比較圖像的包含另一個(gè)頭部候補(bǔ)在內(nèi)的周?chē)鷪D像與作為標(biāo) 準(zhǔn)圖像的包含一個(gè)頭部候補(bǔ)在內(nèi)的周?chē)鷪D像之間的對(duì)稱(chēng)性,能夠精確辨別步行者群體與車(chē) 輛,如對(duì)稱(chēng)性高則為步行者,如對(duì)稱(chēng)性低則為車(chē)輛。
[0014] 其理由在于,步行者的頭部大體上呈左右對(duì)稱(chēng)的圓形,包含實(shí)際的頭部在內(nèi)的周 圍圖像的組(上述標(biāo)準(zhǔn)圖像以及上述比較圖像)中的各個(gè)圖像的對(duì)稱(chēng)性高;于此相對(duì)應(yīng), 具有容易被紅外線照相機(jī)誤認(rèn)作步行者頭部的燈的車(chē)輛的上述燈多呈非左右對(duì)稱(chēng)形狀,并 且,在包含實(shí)際的燈在內(nèi)的周?chē)鷪D像的組(上述標(biāo)準(zhǔn)圖像以及上述比較圖像)中,考慮到其 為車(chē)輛,由于擋泥板和車(chē)體柱等與燈相鄰的部位材料的存在,所以很多時(shí)候被捕捉為非對(duì) 稱(chēng)圖像。
[0015] 此外,也可以通過(guò)以下方式對(duì)至少2個(gè)的上述頭部候補(bǔ)是步行者群體還是車(chē)輛進(jìn) 行判定:上述標(biāo)準(zhǔn)圖像生成部以只由上述一個(gè)頭部候補(bǔ)構(gòu)成的圖像代替包含上述一個(gè)頭部 候補(bǔ)在內(nèi)的周?chē)鷪D像來(lái)生成上述標(biāo)準(zhǔn)圖像,上述對(duì)象物判定部以只由上述另一個(gè)頭部候補(bǔ) 構(gòu)成的圖像代替包含上述另一個(gè)頭部候補(bǔ)在內(nèi)的周?chē)鷪D像來(lái)生成上述比較圖像,上述對(duì)象 物判定部依據(jù)上述只由另一個(gè)頭部候補(bǔ)構(gòu)成的圖像與上述只由一個(gè)頭部候補(bǔ)構(gòu)成的圖像 之間的對(duì)稱(chēng)性,對(duì)至少2個(gè)的上述頭部候補(bǔ)是步行者群體還是車(chē)輛進(jìn)行判定。
[0016] 在此,只由實(shí)際上為頭部的頭部候補(bǔ)構(gòu)成的圖像,其意思為,頭部自身的圖像或頭 部的外接四角形圖像(由「1」值構(gòu)成的區(qū)域的頭部以外的部分為「〇」值,所以歸根到底其 為只由頭部構(gòu)成的圖像),只由實(shí)際上為燈的頭部候補(bǔ)構(gòu)成的圖像,其意思為,燈自身的圖 像或燈的外接四角形圖像(由「1」值構(gòu)成的區(qū)域的燈以外的部分為「〇」值,所以歸根到底 其為只由燈構(gòu)成的圖像)。
[0017] 如上所述,頭部呈接近于左右對(duì)稱(chēng)的圓形,燈多呈非左右對(duì)稱(chēng)的角形,所以在比較 這樣的形狀組時(shí),能夠精確辨別其是步行者群體還是車(chē)輛。
[0018] 此外,也可以通過(guò)以下方式對(duì)至少2個(gè)的上述頭部候補(bǔ)是步行者群體還是車(chē)輛進(jìn) 行判定:上述標(biāo)準(zhǔn)圖像生成部生成以包含被提取出的至少2個(gè)上述頭部候補(bǔ)中的一個(gè)頭 部候補(bǔ)在內(nèi)的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像,且生成將上述標(biāo)準(zhǔn)圖像進(jìn)行左右翻轉(zhuǎn)的翻轉(zhuǎn)圖 像;上述對(duì)象物判定部以包含另一個(gè)頭部候補(bǔ)在內(nèi)的周?chē)鷪D像作為比較圖像,依據(jù)上述比 較圖像分別與上述標(biāo)準(zhǔn)圖像以及翻轉(zhuǎn)圖像的一致程度,對(duì)至少2個(gè)的上述頭部候補(bǔ)是步行 者群體還是車(chē)輛進(jìn)行判定。
[0019] 采用本發(fā)明,依據(jù)涉及另一個(gè)頭部候補(bǔ)的比較圖像與涉及一個(gè)頭部候補(bǔ)的標(biāo)準(zhǔn)圖 像以及翻轉(zhuǎn)圖像的一致程度,能夠精確做出如下辨別:如一致程度高則為步行者群體,如一 致程度低則為車(chē)輛。
[0020] 其理由在于,如上所述,步行者呈以將頭部分為左右兩部分的垂直線為對(duì)稱(chēng)軸的 對(duì)稱(chēng)形狀,而具有容易被紅外線照相機(jī)誤認(rèn)為步行者頭部的燈的車(chē)輛,多呈以將上述燈分 為左右兩部分的垂直線為對(duì)稱(chēng)軸的非對(duì)稱(chēng)形狀。
[0021] 在此情況下,上述標(biāo)準(zhǔn)圖像生成部以包含上述頭部候補(bǔ)以及頭部候補(bǔ)之外的其他 特征部分在內(nèi)的周?chē)鷪D像作為上述標(biāo)準(zhǔn)圖像,能夠進(jìn)行更精確的辨別。
[0022] 在此情況下,上述其他特征部分為相對(duì)于上述頭部候補(bǔ)向以上述頭部候補(bǔ)左方或 右方偏移的大致垂直方向的邊緣部分,由此能夠更準(zhǔn)確地精確辨別步行者群體和車(chē)輛。
[0023] 此外,上述對(duì)象物判定部對(duì)至少2個(gè)的上述頭部候補(bǔ)是上述步行者群體還是安裝 于上述車(chē)輛的左右的燈進(jìn)行判定。
[0024] 采用本發(fā)明,能夠精確地辨別至少2個(gè)并排行走的步行者和亮燈的車(chē)輛。其結(jié)果 為,能夠降低將車(chē)輛錯(cuò)誤地檢測(cè)為步行者的頻率。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0025] 圖1是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的車(chē)輛周?chē)O(jiān)視裝置的模塊圖。
[0026] 圖2是搭載有圖1所示車(chē)輛周?chē)O(jiān)視裝置的車(chē)輛的模式圖。
[0027] 圖3是說(shuō)明車(chē)輛周?chē)O(jiān)視裝置的圖像處理單元的運(yùn)行流程圖。
[0028] 圖4是并排行走的步行者的2值圖像模式圖。
[0029] 圖5是車(chē)輛的2值圖像模式圖。
[0030] 圖6是說(shuō)明圖3所示流程圖中的對(duì)象物判定處理的詳細(xì)運(yùn)行的流程圖。
[0031] 圖7是說(shuō)明以一個(gè)步行者為標(biāo)準(zhǔn),計(jì)算出另一個(gè)步行者與其一致程度的圖。
[0032] 圖8是說(shuō)明以車(chē)輛的一側(cè)的燈為標(biāo)準(zhǔn),計(jì)算出另一側(cè)的燈與其一致程度的圖。
[0033] 圖9是搭載了變形例所涉及的車(chē)輛周邊監(jiān)視裝置的車(chē)輛的模式圖。
【具體實(shí)施方式】
[0034] 下面參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。
[0035] 圖1為表示本發(fā)明的一個(gè)實(shí)施方式所涉及的車(chē)輛周?chē)O(jiān)視裝置10的結(jié)構(gòu)模塊圖。 圖2為搭載有圖1所示車(chē)輛周?chē)O(jiān)視裝置10的車(chē)輛(也稱(chēng)作自車(chē)輛)12的模式圖。
[0036] 在圖1及圖2中,車(chē)輛周?chē)O(jiān)視裝置10具有以下裝置:控制該車(chē)輛周?chē)O(jiān)視裝置 10的圖像處理單元14,與該圖像處理單元相連接的單個(gè)(單眼反射)紅外線照相機(jī)16 (拍 攝裝置),檢測(cè)出車(chē)輛12車(chē)速Vs的車(chē)速傳感器18,檢測(cè)出駕駛員對(duì)制動(dòng)踏板所做操作量 (剎車(chē)操作量)Br的剎車(chē)傳感器20,檢測(cè)出車(chē)輛12的偏航率Yr的偏航傳感器22,用于發(fā) 出聲音警報(bào)等的揚(yáng)聲器24,以及圖像顯示裝置26,該圖像顯示裝置26包括HUD (平視顯示 器)26a等,其用于顯示由紅外線照相機(jī)所拍攝到的圖像,并且讓駕駛員意識(shí)到有相撞可能 的高危的步行者等對(duì)象物(移動(dòng)對(duì)象物,監(jiān)視對(duì)象物)。
[0037] 圖像顯示裝置26不僅限于HUD (平視顯示器)26a,也可以利用車(chē)輛12所搭載的 用于顯示導(dǎo)航系統(tǒng)地圖的顯示器以及設(shè)置在儀表單元內(nèi)部等用于顯示耗油量等的顯示器 (多功能信息顯示器)。
[0038] 圖像處理單元14由車(chē)輛12周?chē)募t外線圖像和表示車(chē)輛行駛狀態(tài)的信號(hào)(在此 為車(chē)速Vs、剎車(chē)操作量Br以及偏航率Yr)來(lái)檢測(cè)出車(chē)輛前方的步行者等監(jiān)視對(duì)象物,然后 在判定出與該監(jiān)視對(duì)象物發(fā)生相撞的可能性很高時(shí)由揚(yáng)聲器24發(fā)出警報(bào)(例如嘀、嘀、嘀 的聲音),并且將在拍攝圖像中以灰度顯示的監(jiān)視對(duì)象物用黃色或紅色等醒目顏色框圈起 來(lái)作強(qiáng)調(diào)顯示。如此,提醒駕駛員注意。
[0039] 在此,圖像處理單元14具有以下幾部分:將輸入的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的 A/D轉(zhuǎn)換回路等輸入回路,存儲(chǔ)數(shù)字化圖像信號(hào)的圖像存儲(chǔ)器(存儲(chǔ)部14m),進(jìn)行各種演 算處理的CPU (中央處理器)14c,存儲(chǔ)部14m,S卩,用于存儲(chǔ)CPU14c在演算過(guò)程中的數(shù)據(jù)的 RAM(隨機(jī)存取存儲(chǔ)器)以及用于存儲(chǔ)CPU14c所實(shí)施的程序、表格、地圖和模板{步行者(人 體)形狀模板等}等的ROM(只讀存儲(chǔ)器)等,時(shí)鐘(時(shí)鐘部)以及定時(shí)器(計(jì)時(shí)部),用于 輸出揚(yáng)聲器24的驅(qū)動(dòng)信號(hào)和圖像顯示裝置26的顯示信號(hào)等信號(hào)的輸出回路。上述圖像處 理單元14采用將紅外線照相機(jī)16、偏航傳感器22、車(chē)速傳感器18以及剎車(chē)傳感器20的各 輸出信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)后輸入CPU14c的結(jié)構(gòu)。
[0040] 圖像處理單元14的CPU14C讀取上述數(shù)字信號(hào)并且一邊參照表格、地圖以及模板 等一邊執(zhí)行程序,即,作為各種功能模塊(也稱(chēng)功能部),向揚(yáng)聲器24以及圖像顯示裝置26 發(fā)送驅(qū)動(dòng)信號(hào)(聲音信號(hào)或顯示信號(hào))。這些功能也能夠通過(guò)硬件來(lái)實(shí)現(xiàn)。
[0041] 在此實(shí)施方式中,圖像處理單元14具有頭部候補(bǔ)提取部101、標(biāo)準(zhǔn)圖像生成部 102、對(duì)象物判定部103、相撞可能性判定部106、以及提醒注意信號(hào)生成判定部108等上述 功能部。在后面將分別對(duì)這些功能部進(jìn)行詳細(xì)敘述。
[0042] 此外,基本上,圖像處理單元14將由紅外線照相機(jī)16所拍攝到的圖像與存放在存 儲(chǔ)部14m的人體形狀、動(dòng)物形狀、車(chē)輛形狀以及包含電線桿在內(nèi)的支柱等人工構(gòu)造物形狀 等的模式上的模板進(jìn)行比較,執(zhí)行識(shí)別(辨別)物體的物體識(shí)別(物體辨別)處理(物體 檢測(cè)處理)。
[0043] 如圖2所示,紅外線照相機(jī)16被設(shè)置在車(chē)輛12的前部保險(xiǎn)杠上,其光軸與車(chē)軸平 行,具有拍攝對(duì)象(物體)的溫度越高其輸出信號(hào)(拍攝信號(hào))越強(qiáng)(輝度增加)的特性。
[0044] 另外,HUD26a被設(shè)置在車(chē)輛12的前擋風(fēng)玻璃上,其顯示畫(huà)面將被顯示在不妨礙駕 駛員前方視野的位置。
[0045] 在此,圖像處理單元14具有以下功能:每隔數(shù)十毫秒[ms]、例如每秒30幀[ms]的 幀時(shí)鐘間隔或者說(shuō)每個(gè)周期將由紅外線照相機(jī)輸出的影像信號(hào)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)到存 儲(chǔ)部14m,對(duì)存儲(chǔ)在存儲(chǔ)部14m中的車(chē)輛前方的圖像進(jìn)行各種演算處理。
[0046] 頭部候補(bǔ)提取部101由存儲(chǔ)在存儲(chǔ)部14m的車(chē)輛前方的上述圖像中提取出步行者 以及車(chē)輛(其他車(chē)輛)等監(jiān)視對(duì)象物的圖像部分,依據(jù)提取出的圖像部分,提取出在大致水 平方向的至少兩個(gè)頭部候補(bǔ)。
[0047] 標(biāo)準(zhǔn)圖像生成部102生成以由頭部候補(bǔ)提取部101所提取出的至少2個(gè)上述頭部 候補(bǔ)中的一個(gè)頭部候補(bǔ)的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像,且生成將上述標(biāo)準(zhǔn)圖像進(jìn)行左右翻 轉(zhuǎn)的翻轉(zhuǎn)圖像。
[0048] 對(duì)象物判定部103以至少2個(gè)上述頭部候補(bǔ)中的另一個(gè)頭部候補(bǔ)的周?chē)鷪D像作為 比較圖像,依據(jù)由一個(gè)上述頭部候補(bǔ)所生成的上述標(biāo)準(zhǔn)圖像以及上述翻轉(zhuǎn)圖像分別與上述 比較圖像的一致程度,對(duì)至少2個(gè)上述頭部候補(bǔ)是步行者還是車(chē)輛做出判定。
[0049] 提醒注意信號(hào)生成判定部108計(jì)算出在以上述幀時(shí)鐘間隔或周期(規(guī)定時(shí)間間 隔)所拍攝的圖像中,同一監(jiān)視對(duì)象物的圖像部分的大小的變化率Rate,然后利用上述變 化率Rate推測(cè)出監(jiān)視對(duì)象物到達(dá)車(chē)輛12所需時(shí)間T,且計(jì)算出監(jiān)視對(duì)象物的實(shí)際空間位置 以及該監(jiān)視對(duì)象物在實(shí)際空間中的移動(dòng)向量。
[0050] 根據(jù)上述變化率Rate (由圖像中求得)和規(guī)定時(shí)間間隔的拍攝間隔(幀時(shí)鐘間 隔)dT (已知),監(jiān)視對(duì)象物到達(dá)車(chē)輛12所需時(shí)間(也稱(chēng)相撞富余時(shí)間)TTC,換言之,車(chē)輛 12與監(jiān)視對(duì)象物相撞所需的時(shí)間TTC,在公知領(lǐng)域中能夠利用以下公式求出。
[0051] TTC = dTX Rate/(1-Rate) (1)
[0052] 此外,利用監(jiān)視對(duì)象物前一次所被拍攝到的圖像中的監(jiān)視對(duì)象物的寬度或長(zhǎng)度 W0 (分別以像素?cái)?shù)存儲(chǔ))與這一次所被攝像到的圖像中的同一監(jiān)視物體的寬度或長(zhǎng)度 W1 (像素?cái)?shù))的比(Rate = W0/W1)可以求出變化率Rate。
[0053] 另外,通過(guò)在上述公式(1)的兩邊乘以車(chē)速Vs,S卩,由下面的公式(2)可以求出到 監(jiān)視對(duì)象物的距離Z。此外,車(chē)速Vs準(zhǔn)確來(lái)說(shuō)為監(jiān)視對(duì)象物與車(chē)輛12間的相對(duì)速度。監(jiān)視 對(duì)象物停止時(shí),相對(duì)速度與車(chē)速Vs相等。
[0054] Z = RateXVsXdT/ (1-Rate) (2)
[0055] 再者,依據(jù)所計(jì)算出的上述相撞富余時(shí)間TTC和所計(jì)算出的在以規(guī)定時(shí)間間隔所 拍攝的上述圖像中的同一監(jiān)視對(duì)象物的圖像部分的位置變化量(移動(dòng)向量)Λ Χ(水平方 向)、△ y (垂直方向),提醒注意信號(hào)生成判定部108對(duì)監(jiān)視對(duì)象物與車(chē)輛12相撞的可能 性進(jìn)行判定。
[0056] 基本上,涉及這個(gè)實(shí)施方式的車(chē)輛周?chē)O(jiān)視裝置10采取以上結(jié)構(gòu)并且運(yùn)行,下面 參照?qǐng)D3的流程圖對(duì)其詳細(xì)運(yùn)行進(jìn)行說(shuō)明。
[0057] 首先,在步驟S1中,圖像處理單元14由車(chē)速傳感器18所檢測(cè)出的車(chē)速Vs等來(lái)判 定車(chē)輛12的行駛狀態(tài)(行駛中還是停車(chē)中),停車(chē)中(步驟S1 :否)的情況下,停止處理。
[0058] 在行駛中(步驟S1 :是)的情況下,在步驟2中,圖像處理單元14獲取由紅外線 照相機(jī)16在每幀所拍攝的、車(chē)輛前方的規(guī)定圖像范圍內(nèi)每幀的作為輸出信號(hào)的紅外線圖 像,然后將其A/D轉(zhuǎn)換后的灰度圖像存儲(chǔ)到圖像存儲(chǔ)器(存儲(chǔ)部14),且對(duì)存儲(chǔ)的灰度圖像 進(jìn)行2值化處理。
[0059] 進(jìn)行2值化處理能夠檢測(cè)出(提?。┎叫姓叩念^部候補(bǔ)、包含步行者的胳膊在內(nèi) 的軀體候補(bǔ)、以及腿候補(bǔ)。于是,可以以連接腿候補(bǔ)下端的大致水平線作為步行者與路面的 接地點(diǎn)。此外,可以以不同閾值來(lái)進(jìn)行2值化處理,從而進(jìn)行將其分類(lèi)為頭部候補(bǔ)、軀體候 補(bǔ)等頭部候以外的人體部分、以及背景(環(huán)境溫度)的3值化處理。
[0060] 因人的頭部表面溫度高、呈圓形,故能容易地從由紅外線照相機(jī)16所獲取到的灰 度圖像的2值化圖像中提取出頭部候補(bǔ)。
[0061] 在此,作為例子,將比第1輝度閾值Thl大的高輝度區(qū)域R2(單純的稱(chēng)為區(qū)域R2) 作為「2」,將比第1輝度閾值Thl小且比第2輝度閾值Th2(Th2〈Thl)大的區(qū)域R1作為「1」 進(jìn)行2值化處理;進(jìn)一步將比第2輝度小的區(qū)域R0作為「0」進(jìn)行2值化處理,從而對(duì)灰度 圖像在整體上進(jìn)行3值化圖像的轉(zhuǎn)換處理,將轉(zhuǎn)換后的3值化圖像分別對(duì)應(yīng)上述各幀且按 幀存放到存儲(chǔ)部14m。
[0062] 圖4表示存儲(chǔ)于存儲(chǔ)部14m的圖像。這個(gè)依據(jù)2值化處理所做的3值化處理雖然 因輝度閾值的選擇方法而異,但在并排行走的步行者Pa、Pb (人體,人)的情況下,將輝度 最高的頭部50a、50b,即,畫(huà)陰影線區(qū)域作為R2,接下來(lái)包含輝度高的胳膊在內(nèi)的軀體52a、 52b和腿54a、54b,即,白色區(qū)域作為R1,對(duì)應(yīng)環(huán)境溫度的輝度最低的背景作為區(qū)域R0。此 夕卜,由腿54a、54b的下端能檢測(cè)出步行者Pa、Pb與路面56的接地點(diǎn)。即便是在步行者Pa、 Pb的接地點(diǎn)組分別上下錯(cuò)開(kāi)的情況下,也能夠?qū)嵤┍景l(fā)明。
[0063] 此外,在后面敘述的步驟S4中,在進(jìn)行判定(判定其是否為步行者)前,因步行者 Pa、Pb、頭部50a、50b、軀體52a、52b、以及腿54a、54b分別為候補(bǔ)者,故稱(chēng)為步行者候補(bǔ)Pa、 Pb、頭部候補(bǔ)50a、50b、軀體候補(bǔ)52a、52b、以及腿候補(bǔ)54a、54b。
[0064] 接下來(lái),在步驟S3中,因檢測(cè)到的步行者候補(bǔ)Pa、Pb的頭部候補(bǔ)50a、50b在路面 56之上的規(guī)定高度范圍內(nèi),并且頭部候補(bǔ)50a、50b之間的距離在規(guī)定距離范圍之內(nèi),故被 推測(cè)為并排行走的步行者PCX候補(bǔ),并分別作為行程長(zhǎng)度數(shù)據(jù)被貼上標(biāo)簽進(jìn)行存儲(chǔ)(進(jìn)行 標(biāo)簽處理)。此種情況下,包含步行者候補(bǔ)PCX(由步行者Pa和步行者Pb組成)的外接四 角形在內(nèi)的有富余的大四角形圖像作為處理對(duì)象圖像被存儲(chǔ)。而且,必要時(shí),為易于圖像 處理,將各幀的包含步行者候補(bǔ)PCX的外接四角形在內(nèi)的較大的四角形圖像轉(zhuǎn)換為同樣大 小。
[0065] 另一方面,如圖5所示,在步驟S2的2值化處理中,在車(chē)輛Car的情況下,畫(huà)陰影 線的高輝度區(qū)域R2為:分別亮燈的前大燈(對(duì)面車(chē))或尾燈(前行車(chē))等存在于左右兩端 的燈70a、70b,車(chē)輛Car的前格柵(對(duì)面車(chē))或排氣管部(前行車(chē))等的中下部72,左右輪 胎 74a、74b。
[0066] 其他車(chē)體部分雖因環(huán)境溫度而異,但環(huán)境溫度比車(chē)體部分溫度低的情況下,以白 色區(qū)域作為R1區(qū)域,背景為R0區(qū)域。
[0067] 實(shí)際上,在2值化處理中,在檢測(cè)到水平方向排列的高輝度區(qū)域的燈70a、70b時(shí), 在燈70a、70b的上方,將向規(guī)定面積的水平方向延伸的四角形的掩膜范圍進(jìn)行上下移動(dòng), 能夠從該掩膜內(nèi)的灰度圖像中檢測(cè)出作為車(chē)頂(以及車(chē)頂邊緣)的輝度值相同的連續(xù)部 分,在燈70a、70b的側(cè)方,能夠從向垂直方向延伸的四角形掩膜范圍內(nèi)的灰度圖像中檢測(cè) 出作為車(chē)體柱(柱邊緣)或擋泥板(板邊緣)的輝度值相同的連續(xù)部分。
[0068] 由于被檢測(cè)出來(lái)的燈70a、70b到路面56的距離在有可能被錯(cuò)誤檢測(cè)為上述頭部 50a、50b的規(guī)定高度范圍內(nèi),并且燈70a、70b之間的距離在規(guī)定距離范圍內(nèi),因此燈70a、 70b被認(rèn)為是頭部候補(bǔ)(在步驟S4中,燈70a、70b在被判定為燈70a、70b前,也稱(chēng)為頭部候 補(bǔ)70a、70b)、被推測(cè)為并排行走的步行者PCY,并作為行程長(zhǎng)度數(shù)據(jù)被貼上標(biāo)簽進(jìn)行存儲(chǔ) (進(jìn)行標(biāo)簽處理)。
[0069] S卩,實(shí)施步驟S3的標(biāo)簽處理。在此種情況下,包含步行者候補(bǔ)PCY的外接四角形 在內(nèi)的大四角形圖像被作為一張圖像存儲(chǔ)為被處理圖像。在這種情況下,同樣,為易于圖像 處理,將各幀的包含步行者候補(bǔ)PCX的外接四角形在內(nèi)的較大的四角形圖像轉(zhuǎn)換為同樣大 小。
[0070] 依照在步驟S2以及步驟S3中的頭部候補(bǔ)提取部101所做的處理,具有頭部候補(bǔ) 50a、50b的并排行走的步行者候補(bǔ)PCX (圖4)以及具有頭部候補(bǔ)70a、70b的并排行走中的 步行者候補(bǔ)PCY(圖5)被檢測(cè)出來(lái)。
[0071] 接下來(lái),在步驟S4中,對(duì)步行者候補(bǔ)PCX以及步行者候補(bǔ)PCY進(jìn)行對(duì)象物判定處 理,即,對(duì)步行者候補(bǔ)PCX以及步行者候補(bǔ)PCY是實(shí)際上并排行走中的步行者Pa、Pb,還是 具有燈70a、70b的車(chē)輛Car進(jìn)行判定。
[0072] 圖6是表示步驟S4的對(duì)象物判定處理的詳細(xì)流程圖。
[0073] 首先,在步驟S4a中,由標(biāo)準(zhǔn)圖像生成部102進(jìn)行標(biāo)準(zhǔn)圖像生成處理。
[0074] 如圖7所示,在這個(gè)標(biāo)準(zhǔn)圖像生成處理中,選擇構(gòu)成步行者候補(bǔ)PCX的步行者候補(bǔ) Pa、Pb中的任意一個(gè),在這個(gè)實(shí)施方式中,選擇左側(cè)步行者候補(bǔ)Pa,S卩,包含左側(cè)步行者候 補(bǔ)Pa的頭部候補(bǔ)50a、作為其他特征部分的軀體候補(bǔ)52a的垂直方向的一部分邊緣58在 內(nèi)的規(guī)定范圍的周?chē)鷪D像,來(lái)生成(截?。?biāo)準(zhǔn)圖像(標(biāo)準(zhǔn)掩膜)Mpr,同時(shí),生成翻轉(zhuǎn)圖像 (翻轉(zhuǎn)掩膜)Mpi,即,由頭部候補(bǔ)50a'和邊緣58'構(gòu)成的、將上述標(biāo)準(zhǔn)圖像Mpr左右翻轉(zhuǎn) 后的標(biāo)準(zhǔn)圖像。此外,標(biāo)準(zhǔn)圖像Mpr也可以由2值化圖像中生成。在該2值化圖像中,將步 行者候補(bǔ)Pa(50a、52a、54a)、Pb(50b、52b、54b)的整體作為高輝度區(qū)域「1」提取出來(lái),將背 景作為「〇」。
[0075] 接下來(lái),在步驟S4b中,對(duì)象物判定部103對(duì)步行者候補(bǔ)PCX是并排行走中的步行 者群體還是車(chē)輛進(jìn)行分辨{:判定處理,一致程度(類(lèi)似程度)算出處理}。
[0076] 在此步驟S4b中,如圖7所示,以包含另一個(gè)步行者候補(bǔ)Pb的頭部候補(bǔ)50b在內(nèi) 的周?chē)鷪D像為比較圖像Mpc。比較圖像Mpc的大小與標(biāo)準(zhǔn)圖像Mpr以及翻轉(zhuǎn)圖像Mpi的大 小一致。
[0077] 而且,以包含另一個(gè)步行者候補(bǔ)Pb的頭部候補(bǔ)50b在內(nèi)且比標(biāo)準(zhǔn)圖像Mpr更大 的區(qū)域作為搜索范圍(掃描范圍)60,在此搜索范圍60中,例如,由左上方開(kāi)始到左下方為 止,對(duì)標(biāo)準(zhǔn)圖像Mpr以及翻轉(zhuǎn)圖像Mpi-像素一像素的一邊移動(dòng)(邊掃描)一邊進(jìn)行比較 計(jì)算,在各個(gè)比較計(jì)算位置中,算出比較圖像Mpc與標(biāo)準(zhǔn)圖像Mpr的一致程度,且算出比較 圖像Mpc與翻轉(zhuǎn)圖像Mpi的一致程度。一致程度,例如,在各個(gè)掃描位置中,計(jì)算出比較圖 像Mpc與標(biāo)準(zhǔn)圖像Mpr (灰度圖像組,2值圖像組,或3值圖像組)相對(duì)應(yīng)的像素的像素值的 差的平方的總和、以及比較圖像Mpc與翻轉(zhuǎn)圖像Mpi (灰度圖像組,2值圖像組,或3值圖像 組)相對(duì)應(yīng)的像素的像素值的差的平方的總和,或者計(jì)算出上述總和的倒數(shù)。
[0078] 在圖7所示步行者候補(bǔ)PCX的情況下,步行者候補(bǔ)Pa與步行者Pb的頭部候補(bǔ)50a、 50b的形狀極其類(lèi)似,并且步行者候補(bǔ)Pa、Pb具有分別以將頭部候補(bǔ)50a、50b分為左右兩 部分的垂直線為對(duì)稱(chēng)軸左右對(duì)稱(chēng)的形狀,因此,存在以左側(cè)步行者候補(bǔ)Pa所生成的標(biāo)準(zhǔn)圖 像Mpr以及翻轉(zhuǎn)圖像Mpi與由右側(cè)步行者候補(bǔ)Pb中所截取的比較圖像Mpc的一致程度均 極其高的位置(比較位置或掃描位置)。
[0079] 在此種情況下,在步驟S4b的判定中,因?qū)τ跇?biāo)準(zhǔn)圖像Mpr以及翻轉(zhuǎn)圖像Mpi的兩 個(gè)圖像,在搜索范圍60內(nèi)都存在與其一致程度(類(lèi)似程度)比閾值變高(變大)的比較位 置(步驟S4b:是),故在步驟S4c中,步行者候補(bǔ)PCX被判定為并排行走中的步行者Pa、Pb。
[0080] 另一方面,在上述步驟S4a中,幾乎同時(shí),由標(biāo)準(zhǔn)圖像生成部102對(duì)實(shí)際上是車(chē)輛 Car的步行者候補(bǔ)PCY進(jìn)行判定。
[0081] 如圖8所示,在此標(biāo)準(zhǔn)圖像生成處理中,選擇構(gòu)成步行者候補(bǔ)PCY的頭部候補(bǔ)70a、 70b中的任意一個(gè),在這個(gè)實(shí)施方式中選擇左側(cè)的頭部候補(bǔ)70a,即,包含左側(cè)的頭部候補(bǔ) 70a、作為其他特征部分的車(chē)輛Car的后擋泥板(在此情況下,為左側(cè)的后擋泥板)的垂直 方向的一部分邊緣62在內(nèi)的規(guī)定范圍的周?chē)鷪D像,生成(截取)標(biāo)準(zhǔn)圖像(標(biāo)準(zhǔn)掩膜) Mcr,且生成翻轉(zhuǎn)圖像(翻轉(zhuǎn)掩膜)Mci,S卩,由頭部候補(bǔ)70a'和邊緣62'構(gòu)成的、將上述標(biāo) 準(zhǔn)圖像Mcr左右翻轉(zhuǎn)后的標(biāo)準(zhǔn)圖像。
[0082] 此外,在步行者候補(bǔ)PCY的情況下,由2值圖像生成標(biāo)準(zhǔn)圖像Mcr的情況下,如上 所述,例如,在檢測(cè)出頭部候補(bǔ)70a、70b時(shí),在該水平方向的左側(cè)或者右側(cè)的規(guī)定范圍內(nèi), 將向與柱相對(duì)應(yīng)的垂直方向延伸的呈長(zhǎng)的直線狀的部分作為灰度圖像提取出來(lái)生成標(biāo)準(zhǔn) 圖像Mcr。
[0083] 接下來(lái),在步驟S4b中,與對(duì)步行者候補(bǔ)PCX所做處理同樣,對(duì)象判定部103對(duì)步 行者候補(bǔ)PCY是并排行走中的2個(gè)并排的步行者還是車(chē)輛進(jìn)行分辨{:判定處理,一致程度 (類(lèi)似程度)算出處理}。
[0084] 在此步驟S4b中,如圖8所示,以包含另一個(gè)頭部候補(bǔ)70b在內(nèi)的周?chē)鷪D像作為比 較圖像Mcc。比較圖像Mcc的大小與上述標(biāo)準(zhǔn)圖像Mcr以及翻轉(zhuǎn)圖像Mci的大小相同。
[0085] 而且,以包含另一個(gè)頭部候補(bǔ)70b在內(nèi)且比標(biāo)準(zhǔn)圖像Mcr大的區(qū)域作為搜索區(qū)域 (掃描區(qū)域)66,在此搜索區(qū)域66中,例如,由左上方開(kāi)始到左下方為止,對(duì)標(biāo)準(zhǔn)圖像Mcr以 及翻轉(zhuǎn)圖像Mci-像素一像素的一邊移動(dòng)(邊掃描)一邊進(jìn)行比較計(jì)算,在各個(gè)比較計(jì)算 位置中,算出比較圖像Mcc與標(biāo)準(zhǔn)圖像Mcr的一致程度,且算出比較圖像Mcc與翻轉(zhuǎn)圖像 Mci的一致程度。一致程度,如上所述,例如,在各個(gè)掃描位置中,計(jì)算出比較圖像Mcc與標(biāo) 準(zhǔn)圖像Mcr (灰度圖像組,2值圖像組,或3值圖像組)相對(duì)應(yīng)的像素的像素值的差的平方的 總和、以及比較圖像Mcc與翻轉(zhuǎn)圖像Mci (灰度圖像組,2值圖像組,或3值圖像組)相對(duì)應(yīng) 的像素的像素值的差的平方的總和,或者計(jì)算出上述總和的倒數(shù)。
[0086] 在圖8所示步行者候補(bǔ)PCY的情況下,頭部候補(bǔ)70a與頭部候補(bǔ)70b的形狀沒(méi)有 那么類(lèi)似,并且,頭部候補(bǔ)70a與邊緣62在標(biāo)準(zhǔn)圖像中的關(guān)系在比較圖像Mcc中并不成立, 因此在搜索范圍66中,雖然在翻轉(zhuǎn)圖像Mci與比較圖像Mcc之間存在一致程度極其高的位 置(比較位置或掃描位置),但是在標(biāo)準(zhǔn)圖像Mcr與比較圖像Mcc之間,搜索范圍66的無(wú) 論哪個(gè)位置的一致程度都沒(méi)有那么高。
[0087] 因此,在步驟S4b的判定中,因?yàn)閮H僅相對(duì)于標(biāo)準(zhǔn)圖像Mcr以及翻轉(zhuǎn)圖像Mci中的 一方,在搜索范圍66中存在與其一致程度(類(lèi)似程度)比閾值變高(變大)的位置(步驟 S4b :否),所以在步驟S4c中能夠正確地判定步行者候補(bǔ)PCY為車(chē)輛Car。
[0088] 如此,由步驟S4a?S4d構(gòu)成的步驟S4的對(duì)象物判定處理結(jié)束后,圖3的步驟S5 中,依據(jù)步驟S4c、S4d的判定結(jié)果,被判定為車(chē)輛Car的步行者候補(bǔ)PCY被認(rèn)為不是并排行 走的步行者,被從以后的處理對(duì)象中排除(步驟S5 :否)。
[0089] 在步驟S6中,對(duì)于在步驟S5中被判定為步行者Pa、Pb (步驟S5:是)的步行者候 補(bǔ)PCX,由相撞可能性判定部106對(duì)在步驟S4中所檢測(cè)出的含有步行者候補(bǔ)者PCX的步行 者Pa、Pb與車(chē)輛12(自車(chē)輛)相撞的可能性進(jìn)行判定。
[0090] 即,如上所述,考慮到上述公式(1)中的針對(duì)步行者Pa、Pb的相撞富余時(shí)間TTC和 步行者Pa、Pb的各移動(dòng)向量(也可以考慮距離Z),并進(jìn)一步依據(jù)剎車(chē)操作量20、車(chē)速傳感 器18、以及偏航傳感器22所分別輸出的剎車(chē)操作量Br、車(chē)速Vs、偏航率Yr,判定出車(chē)輛12 與步行者Pa、Pb有沒(méi)有可能相撞,在判定出有可能相撞的情況下(步驟6 :是),在步驟S7 中,生成提醒注意信號(hào)并提醒駕駛員注意(為駕駛員提供信息)。具體來(lái)說(shuō),既在HUD26a上 將灰度圖像中的步行者以醒目顏色框圈出以強(qiáng)調(diào)顯示,且由揚(yáng)聲器24發(fā)出警報(bào),提醒車(chē)輛 12的駕駛員注意。
[0091] 在此,在HUD26a上顯示的基礎(chǔ)之上,提醒注意信號(hào)生成判定部108將步行者Pa、 Pb用紅色或黃色等上述醒目顏色框圈出來(lái),生成督促提醒注意的信號(hào)。
[0092] 實(shí)施方式的總結(jié)以及奪形例
[0093] 如上所述,上述實(shí)施方式所涉及的車(chē)輛周邊監(jiān)視裝置10利用由車(chē)輛12搭載的單 個(gè)紅外線照相機(jī)16所獲取到的灰度圖像對(duì)車(chē)輛12周?chē)牟叫姓逷a、Pb進(jìn)行監(jiān)視。
[0094] 頭部候補(bǔ)提取部101從灰度圖像中提取出存在于大致水平方向的至少2個(gè)頭部候 補(bǔ)50a、50b和2個(gè)的頭部候補(bǔ)70a、70b。
[0095] 接下來(lái),標(biāo)準(zhǔn)圖像生成部102生成以具有至少2個(gè)頭部候補(bǔ)50a、50b的步行者候 補(bǔ)PCX中的一個(gè)頭部候補(bǔ)50a的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像Mpr,且生成將標(biāo)準(zhǔn)圖像Mpr左 右翻轉(zhuǎn)的翻轉(zhuǎn)圖像Mpi。此外,標(biāo)準(zhǔn)圖像生成部102生成以具有至少2個(gè)的頭部候補(bǔ)70a、 70b的步行者候補(bǔ)PCY中的一個(gè)頭部候補(bǔ)70a的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像Mcr,且生成將 標(biāo)準(zhǔn)圖像Mcr左右翻轉(zhuǎn)的翻轉(zhuǎn)圖像Mei。
[0096] 而且,對(duì)象物判定部103將另一個(gè)頭部候補(bǔ)50b的周?chē)鷪D像作為比較圖像Mpe,依 照比較圖像Mpe分別與標(biāo)準(zhǔn)圖像Mpr以及翻轉(zhuǎn)圖像Mpi的一致程度,對(duì)至少兩個(gè)的頭部候 補(bǔ)50a、50b是步行者Pa、Pb還是車(chē)輛Car進(jìn)行判定。
[0097] 此外,對(duì)象物判定部103將另一個(gè)頭部候補(bǔ)70b的周?chē)鷪D像作為比較圖像Mcc,依 照比較圖像Mcc分別與標(biāo)準(zhǔn)圖像Mcr以及翻轉(zhuǎn)圖像Mci的一致程度,對(duì)至少兩個(gè)的頭部候 補(bǔ)70a、70b是步行者Pa、Pb還是車(chē)輛Car進(jìn)行判定。
[0098] 在此種情況下,依據(jù)涉及另一個(gè)頭部候補(bǔ)50b的比較圖像Mpe與涉及一個(gè)頭部候 補(bǔ)50a的標(biāo)準(zhǔn)圖像Mpr以及翻轉(zhuǎn)圖像Mpi的一致程度,能夠精確做出如下辨別:如一致程度 高于閾值,則為步行者Pa、Pb,如一致程度較低,則為車(chē)輛Car。
[0099] 同樣,依據(jù)涉及另一個(gè)頭部候補(bǔ)70b的比較圖像Mcc與涉及一個(gè)頭部候補(bǔ)70a的 標(biāo)準(zhǔn)圖像Mcr以及翻轉(zhuǎn)圖像Mci的一致程度,能夠精確做出如下辨別:如一致程度高于閾 值,則為步行者Pa、Pb,如一致程度較低,則為車(chē)輛Car。
[0100] 因此,能夠降低將車(chē)輛Car錯(cuò)誤檢測(cè)為步行中的步行者Pa、Pb的頻率。
[0101] 此外,上述實(shí)施方式中,雖然標(biāo)準(zhǔn)圖像生成部102既生成以由至少2個(gè)的頭部候 補(bǔ)50 &、5013(70&、7013)構(gòu)成的頭部候補(bǔ)?0乂(?0¥)中的一個(gè)頭部候補(bǔ)50 &(70&)的周?chē)鷪D像 為內(nèi)容的標(biāo)準(zhǔn)圖像Mpr (Mcr),也生成將標(biāo)準(zhǔn)圖像Mpr (Mcr)左右翻轉(zhuǎn)的翻轉(zhuǎn)圖像Mpi (Mci), 但并不局限于此,也可以像如下這樣:標(biāo)準(zhǔn)圖像生成部102止于生成以由至少2個(gè)的頭部候 補(bǔ)50&、5013(70 &、7013)構(gòu)成的頭部候補(bǔ)?0乂(?0¥)中的一個(gè)頭部候補(bǔ)50&(70&)的周?chē)鷪D像 為內(nèi)容的標(biāo)準(zhǔn)圖像Mpr(Mcr),對(duì)象物判定部103以包含另一個(gè)頭部候補(bǔ)50b(70b)在內(nèi)的 周?chē)鷪D像作為比較圖像Mpc (Mcc),依據(jù)上述比較圖像Mpc (Mcc)與上述標(biāo)準(zhǔn)圖像Mpr (Mcr) 之間的對(duì)稱(chēng)性,對(duì)至少2個(gè)步行者候補(bǔ)PCX (PCY)是步行者Pa、Pb群體還是車(chē)輛Car做出判 定。
[0102] 如此,即便是在不生成標(biāo)準(zhǔn)圖像Mpr (Mpc)的左右翻轉(zhuǎn)圖像Mpi(Mci)的情況下,因 為頭部呈接近于左右對(duì)稱(chēng)的圓形,而燈則多呈左右不對(duì)稱(chēng)的角形形狀,所以在比較這樣的 形狀組(一個(gè)的頭部候補(bǔ)為左右對(duì)稱(chēng),另一個(gè)的頭部候補(bǔ)為非左右對(duì)稱(chēng))的情況下,也能夠 由只判定其對(duì)稱(chēng)性來(lái)辨別其是步行者Pa、Pb還是車(chē)輛Car。
[0103] 從該層面上講,作為其他的變形例,標(biāo)準(zhǔn)圖像生成部102不以包含上述一個(gè)頭 部候補(bǔ)50a (70a)在內(nèi)的周?chē)鷪D像作為標(biāo)準(zhǔn)圖像Mpr (Mcr),而以只由上述一個(gè)頭部候補(bǔ) 50a (70a)構(gòu)成的圖像來(lái)生成標(biāo)準(zhǔn)圖像Mpr (Mcr),對(duì)象物判定部103不以包含上述另一個(gè)頭 部候補(bǔ)50b (70b)在內(nèi)的周?chē)鷪D像作為比較圖像Mpc (Mcc),而以只由上述另一個(gè)頭部候補(bǔ) 50b (70b)構(gòu)成的圖像來(lái)生成比較圖像Mpc (Mcc),依據(jù)只由另一個(gè)頭部候補(bǔ)50b (70b)構(gòu)成 的圖像與上述只由一個(gè)頭部候補(bǔ)50a(70a)構(gòu)成的圖像之間的對(duì)稱(chēng)性,也能夠?qū)ζ涫遣叫?者Pa、Pb群體還是車(chē)輛Car來(lái)做出一定的辨別。
[0104] 此外,只由頭部候補(bǔ)50a構(gòu)成的圖像,例如,在圖7中,其意思為,頭部50a自身的 圖像或頭部50a的外接四角形圖像(由「1」值構(gòu)成的區(qū)域的頭部50a以外的部分為「0」值, 所以歸根到底其為只由頭部50a構(gòu)成的圖像),在圖8中,只由頭部候補(bǔ)70a構(gòu)成的圖像其 意思為,燈70a自身的圖像或燈70a的外接四角形圖像(由「1」值構(gòu)成的區(qū)域的燈70a以 外的部分為「〇」值,所以歸根到底其為只由燈70a構(gòu)成的圖像)。
[0105] 在此種情況中,標(biāo)準(zhǔn)圖像生成部102將包含頭部候補(bǔ)50a (70a)和作為其他特征部 分的邊緣(輪廓)58(62)在內(nèi)的上述周?chē)鷪D像作為標(biāo)準(zhǔn)圖像Mpr(MCr),能夠更精確地辨別 出步行者Pa、Pb和車(chē)輛Car。相對(duì)于頭部候補(bǔ)50a (70a),邊緣58 (62)如為相對(duì)于頭部候補(bǔ) 50a(50b)向頭部候補(bǔ)50a(50b)的左方或右方偏移的大致垂直方向的邊緣部分,貝U可以選 擇步行者Pa的軀體52a的堅(jiān)邊緣、車(chē)輛的擋泥板板邊緣或車(chē)體柱邊緣。
[0106] 此外,本發(fā)明并不局限于上述實(shí)施方式,能夠依據(jù)本說(shuō)明書(shū)所記載的內(nèi)容采用各 種結(jié)構(gòu)。
[0107] 例如,如圖9所示,搭載于車(chē)輛12A的具有左右成對(duì)的紅外線照相機(jī)16R、16L的車(chē) 輛周?chē)O(jiān)視裝置。所謂立體照相機(jī)的紅外線攝像機(jī)16R、16L,被設(shè)置在車(chē)輛12A的前部保 險(xiǎn)杠的以車(chē)輛12A的車(chē)寬方向的中心為對(duì)稱(chēng)點(diǎn)的大致對(duì)稱(chēng)的位置,兩個(gè)紅外線照相機(jī)16R、 16L的光軸相互平行,并且兩者被固定于距路面高度相同的位置。在具有左右成對(duì)的紅外 線照相機(jī)16R、16L的此車(chē)輛周?chē)O(jiān)視裝置中,如公知,在由左右成對(duì)的紅外線照相機(jī)16R、 16L所獲取到的車(chē)輛12A周?chē)膱D像中,既把高溫部分作為對(duì)象物,且利用左右圖像中同一 對(duì)象物的視差、利用三角測(cè)量的原理算出到上述對(duì)象物的距離,由上述對(duì)象物的移動(dòng)方向 (移動(dòng)向量)以及上述對(duì)象物的位置來(lái)檢測(cè)出可能對(duì)車(chē)輛(自車(chē)輛)12的行駛產(chǎn)生影響的 對(duì)象物(有相撞可能的對(duì)象物),然后輸出提醒注意信息。
【權(quán)利要求】
1. 一種車(chē)輛周?chē)O(jiān)視裝置(10),其利用由安裝在車(chē)輛(12)上的紅外線照相機(jī)(16)所 獲取到的圖像對(duì)周?chē)牟叫姓撸≒a、Pb)進(jìn)行監(jiān)視,其特征在于, 具有頭部候補(bǔ)提取部(101)、標(biāo)準(zhǔn)圖像生成部(102)、對(duì)象物判定部(103),其中, 上述頭部候補(bǔ)提取部(101)由上述圖像中提取出存在于大致水平方向的至少2個(gè)頭部 候補(bǔ)((50a、50b)或(70a、70b)); 上述標(biāo)準(zhǔn)圖像生成部(102)生成以包含被提取出的至少2個(gè)上述頭部候補(bǔ)((50a、50b) 或(70a、70b))中的一個(gè)頭部候補(bǔ)(50a或70a)在內(nèi)的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像(Mpr或 Mcr); 上述對(duì)象物判定部(103)以包含另一個(gè)頭部候補(bǔ)(50b或70b)在內(nèi)的周?chē)鷪D像作為比 較圖像(Mpc或Mcc),依據(jù)上述比較圖像(Mpc或Mcc)與上述標(biāo)準(zhǔn)圖像(Mpr或Mcr)之間的 對(duì)稱(chēng)性,對(duì)至少2個(gè)的上述頭部候補(bǔ)((50a、50b)或(70a、70b))是步行者(Pa、Pb)群體還 是車(chē)輛(Car)進(jìn)行判定。
2. 根據(jù)權(quán)利要求1所述的車(chē)輛周?chē)O(jiān)視裝置(10),其特征在于, 上述標(biāo)準(zhǔn)圖像生成部(102)以只由上述一個(gè)頭部候補(bǔ)(50a或70a)構(gòu)成的圖像代替包 含上述一個(gè)頭部候補(bǔ)(50a或70a)在內(nèi)的周?chē)鷪D像來(lái)生成上述標(biāo)準(zhǔn)圖像(Mpr或Mcr); 以只由上述另一個(gè)頭部候補(bǔ)(50b或70b)構(gòu)成的圖像代替上述包含另一個(gè)頭部候補(bǔ) (50b或70b)在內(nèi)的周?chē)鷪D像來(lái)生成上述比較圖像(Mpc或Mcc),依據(jù)上述只由另一個(gè)頭部 候補(bǔ)(50b或70b)構(gòu)成的圖像與上述只由一個(gè)頭部候補(bǔ)(50a或70a)構(gòu)成的圖像之間的對(duì) 稱(chēng)性,上述對(duì)象物判定部(103)對(duì)至少2個(gè)的上述頭部候補(bǔ)((50a、50b)或(70a、70b))是 步行者(Pa、Pb)群體還是車(chē)輛(Car)進(jìn)行判定。
3. 根據(jù)權(quán)利要求1或權(quán)利要求2所述的車(chē)輛周?chē)O(jiān)視裝置(10),其特征在于, 上述標(biāo)準(zhǔn)圖像生成部(102),生成以包含被提取出的至少2個(gè)上述頭部候補(bǔ)((50a、 50b)或(70a、70b))中的一個(gè)頭部候補(bǔ)(50a或70a)在內(nèi)的周?chē)鷪D像為內(nèi)容的標(biāo)準(zhǔn)圖像 (Mpr或Mcr),且生成將上述標(biāo)準(zhǔn)圖像(Mpr或Mcr)進(jìn)行左右反轉(zhuǎn)的翻轉(zhuǎn)圖像(Mpi或Mci); 以包含另一個(gè)頭部候補(bǔ)(50b或70b)在內(nèi)的周?chē)鷪D像作為比較圖像(Mpc或Mcc),依 據(jù)上述比較圖像(Mpc或Mcc)分別與上述標(biāo)準(zhǔn)圖像(Mpr或Mcr)以及上述翻轉(zhuǎn)圖像(Mpi 或Mci)的一致程度,上述對(duì)象物判定部(103)對(duì)至少2個(gè)的上述頭部候補(bǔ)((50a、50b)或 (70a、70b))是步行者(Pa、Pb)群體還是車(chē)輛(Car)進(jìn)行判定。
4. 根據(jù)權(quán)利要求1或權(quán)利要求3所述的車(chē)輛周?chē)O(jiān)視裝置(10),其特征在于, 上述標(biāo)準(zhǔn)圖像生成部(102)以包含上述頭部候補(bǔ)((50a、50b)或(70a、70b))以及上 述頭部候補(bǔ)((50a、50b)或(70a、70b))以外的特征部分在內(nèi)的周?chē)鷪D像作為上述標(biāo)準(zhǔn)圖像 (Mpr 或 Mcr)。
5. 根據(jù)權(quán)利要求4所述的車(chē)輛周?chē)O(jiān)視裝置(10),其特征在于, 上述其他特征部分為,相對(duì)于上述頭部候補(bǔ)((50a、50b)或(70a、70b))向上述頭部候 補(bǔ)((50a、50b)或(70a、70b))的左方或右方偏移的大致垂直方向的邊緣(58或62)部分。
6. 根據(jù)權(quán)利要求1?5中任意一項(xiàng)所述的車(chē)輛周?chē)O(jiān)視裝置(10),其特征在于, 上述對(duì)象物判定部(103)對(duì)至少2個(gè)的上述頭部候補(bǔ)((50a、50b)或(70a、70b))是上 述步行者(Pa、Pb)群體還是安裝在上述車(chē)輛(Car)上的左右的燈(70a、70b)進(jìn)行判定。
【文檔編號(hào)】G08G1/16GK104160434SQ201380009353
【公開(kāi)日】2014年11月19日 申請(qǐng)日期:2013年1月10日 優(yōu)先權(quán)日:2012年3月12日
【發(fā)明者】長(zhǎng)岡伸治, 相村誠(chéng) 申請(qǐng)人:本田技研工業(yè)株式會(huì)社