本發(fā)明涉及車輛駕駛輔助裝置、車輛用顯示裝置以及車輛。
背景技術(shù):
車輛是用于將乘坐的用戶朝所需的方向移動(dòng)的裝置。作為代表性的可舉例有汽車。
車輛可具有一個(gè)以上的顯示裝置。通過設(shè)于車輛的顯示裝置可提供導(dǎo)航功能。
駕駛者可通過利用這樣的顯示裝置提供的導(dǎo)航功能,舒適又安全地駕駛至目的地。
但是,通過現(xiàn)有技術(shù)的顯示裝置提供的導(dǎo)航功能是基于利用存儲(chǔ)在存儲(chǔ)器的數(shù)據(jù)或通信接收的數(shù)據(jù)來提供信息。
由此,存在有未能清楚地反映當(dāng)前車輛行駛中的狀態(tài)的問題。
因此,為了解決這樣的問題,亟需研究、開發(fā)出一種包含有導(dǎo)航功能的車輛用顯示裝置,該導(dǎo)航功能在當(dāng)前車輛行駛中的狀態(tài)下,能夠?qū)崟r(shí)反映出通過設(shè)于車輛的各種傳感器獲取的信息。
技術(shù)實(shí)現(xiàn)要素:
為了解決如上所述的問題,本發(fā)明的目的在于提供一種車輛駕駛輔助裝置,其提供信息以能夠反映出基于影像獲取的車輛的正確的位置信息。
并且,為了解決如上所述的問題,本發(fā)明的目的在于提供一種車輛用顯示裝置,其通過反映出基于影像獲取的車輛的正確的位置信息來提供導(dǎo)航功能。
并且,為了解決如上所述的問題,本發(fā)明的目的在于提供一種包括所述車輛駕駛輔助裝置及所述車輛用顯示裝置中的至少一種的車輛。
本發(fā)明的目的并不限定于以上提及到的目的,本領(lǐng)域的技術(shù)人員能夠通過以下的記載明確理解未被提及到的其他目的。
為了實(shí)現(xiàn)所述目的,本發(fā)明的實(shí)施例提供一種車輛駕駛輔助裝置,其包括:相機(jī),獲取車輛前方影像或車輛周邊影像;接口部,接收基于GPS生成的第一信息;以及處理器,基于從所述車輛前方影像或所述車輛周邊影像中檢測出的對(duì)象檢測行駛道路或行駛狀況,當(dāng)所述行駛道路或所述行駛狀況與所述第一信息不一致時(shí),提供基于所述行駛道路或所述行駛狀況生成的第二信息。
為了實(shí)現(xiàn)所述目的,本發(fā)明的實(shí)施例提供一種車輛用顯示裝置,其包括:位置信息模塊,檢測車輛的位置;接口部,接收基于從影像中檢測出的行駛道路或行駛狀況生成的關(guān)于所述車輛的位置的第二信息;以及處理器,當(dāng)接收到所述第二信息時(shí),將所述第二信息反映在地圖并提供導(dǎo)航功能,當(dāng)未接收到所述第二信息時(shí),基于所述位置信息模塊中接收的GPS信息生成關(guān)于所述車輛的位置的第一信息,將所述第一信息反映在所述地圖并提供導(dǎo)航功能。
為了實(shí)現(xiàn)所述目的,本發(fā)明的實(shí)施例提供一種車輛,其包括以上所述的車輛駕駛輔助裝置及以上所述的車輛用顯示裝置中的至少一種。
其他實(shí)施例的具體事項(xiàng)包括于詳細(xì)的說明及附圖中。
本發(fā)明的實(shí)施例具有如下效果的一種或其以上。
第一、當(dāng)基于GPS的車輛位置信息和基于影像的車輛位置信息不一致時(shí),提供基于影像的車輛位置信息,從而能夠提供更加正確且精確的信息。
第二、當(dāng)車輛行駛在高速國道和一般國道相靠近的狀態(tài)的道路時(shí),能夠正確地確認(rèn)出車輛行駛在哪個(gè)道路。
第三、當(dāng)車輛行駛在高架道路和一般道路相靠近的狀態(tài)的道路時(shí),能夠正確地確認(rèn)出車輛行駛在哪個(gè)道路。
第四、當(dāng)車輛行駛在地下車道和一般車道相靠近的狀態(tài)的道路時(shí),能夠正確地確認(rèn)出車輛行駛在哪個(gè)道路。
第五、能夠在單向通行道路正確地確認(rèn)出逆向行駛與否。
第六、當(dāng)從室內(nèi)向室外駛出時(shí),能夠立即確認(rèn)出車輛的位置。
第七、通過顯示是否由反映GPS信息來提供導(dǎo)航功能,還是由反映影像信息來提供導(dǎo)航功能,能夠使駕駛者確認(rèn)出接收到的信息是基于哪個(gè)信息。
本發(fā)明的效果并不限定于以上提及到的效果,本領(lǐng)域的技術(shù)人員能夠從權(quán)利要求書的記載明確理解未被提及到的其他效果。
附圖說明
圖1是示出具有本發(fā)明的一實(shí)施例的車輛用顯示裝置的車輛的外觀的圖。
圖2A至圖2C是在說明本發(fā)明的實(shí)施例的包括于圖1的車輛的車輛駕駛輔助裝置時(shí)作為參照的圖。
圖3A至圖3C例示出本發(fā)明的多種實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的多種例。
圖4A至圖4B例示出圖3A至圖3C的處理器的內(nèi)部框圖的多種例。
圖5A和圖5B是在基于第一及第二幀區(qū)段分別獲取的立體圖像說明圖4A的處理器170的動(dòng)作方法時(shí)作為參照的圖。
圖6A至圖6B是在說明圖3A至圖3C的車輛駕駛輔助裝置的動(dòng)作時(shí)作為參照的圖。
圖7是圖1的車輛的內(nèi)部框圖的一例。
圖8是本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的處理器的詳細(xì)框圖。
圖9是在說明本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的動(dòng)作時(shí)作為參照的流程圖。
圖10是本發(fā)明的實(shí)施例的車輛用顯示裝置的內(nèi)部框圖。
圖11是本發(fā)明的實(shí)施例的車輛用顯示裝置的處理器的詳細(xì)框圖。
圖12是在說明本發(fā)明的實(shí)施例的車輛用顯示裝置的動(dòng)作時(shí)作為參照的流程圖。
圖13A至圖13B是在說明本發(fā)明的實(shí)施例的車輛行駛在高速國道或一般國道的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
圖14A至圖14B是在說明本發(fā)明的實(shí)施例的車輛行駛在高架道路或一般道路的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
圖15A至圖15B是在說明本發(fā)明的實(shí)施例的車輛行駛在地下車道或一般車道的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
圖16是在說明本發(fā)明的實(shí)施例的車輛逆向行駛在單向通行道路的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
圖17A至圖17B是在說明本發(fā)明的實(shí)施例的車輛行駛在室內(nèi)的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
圖18A至圖18D是在說明本發(fā)明的實(shí)施例的第一信息或第二信息反映在地圖的情況下的車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
圖19是在說明本發(fā)明的實(shí)施例的將TBT圖像匹配顯示在與行駛中的車線對(duì)應(yīng)的地點(diǎn)的動(dòng)作時(shí)作為參照的示意圖。
圖20A至圖20B是在說明本發(fā)明的實(shí)施例的呈現(xiàn)在風(fēng)擋的一區(qū)域的畫面時(shí)作為參照的示意圖。
圖21A至圖21B是在說明本發(fā)明的實(shí)施例的與車線變更對(duì)應(yīng)的TBT圖像顯示動(dòng)作時(shí)作為參照的示意圖。
圖22是在說明本發(fā)明的實(shí)施例的與多條岔路對(duì)應(yīng)的區(qū)域顯示動(dòng)作時(shí)作為參照的示意圖。
圖23A至圖23L是在說明本發(fā)明的實(shí)施例的還顯示與信息對(duì)應(yīng)的圖像的動(dòng)作時(shí)作為參照的示意圖。
圖24A至圖24B是在說明本發(fā)明的實(shí)施例的信息顯示動(dòng)作時(shí)作為參照的示意圖。
圖25A至圖25C是在說明本發(fā)明的實(shí)施例的目的地被預(yù)設(shè)定的情況下的圖像顯示動(dòng)作時(shí)作為參照的示意圖。
圖26是在說明本發(fā)明的實(shí)施例的將圖像顯示在與變更預(yù)定車線對(duì)應(yīng)的風(fēng)擋的區(qū)域的動(dòng)作時(shí)作為參照的示意圖。
圖27A至圖27C是在說明本發(fā)明的實(shí)施例的基于車輛駕駛輔助裝置中接收的交通信息變更路徑的動(dòng)作時(shí)作為參照的示意圖。
圖28A至圖28C是在說明本發(fā)明的實(shí)施例的基于從其他車輛中接收的交通信息變更路徑的動(dòng)作時(shí)作為參照的示意圖。
圖29A至圖29B是在說明本發(fā)明的實(shí)施例的顯示TBT圖像的動(dòng)作時(shí)作為參照的示意圖。
圖30A至圖30B是在說明本發(fā)明的實(shí)施例的顯示與巴士專用車線信息對(duì)應(yīng)的圖像的動(dòng)作時(shí)作為參照的示意圖。
附圖標(biāo)記
100:車輛駕駛輔助裝置 400:車輛用顯示裝置
700:車輛
具體實(shí)施方式
以下參照附圖對(duì)本說明書所揭示的實(shí)施例進(jìn)行詳細(xì)的說明,在此,與附圖標(biāo)記無關(guān)的對(duì)相同或類似的結(jié)構(gòu)元件賦予相同的參照標(biāo)記,并將省去對(duì)其重復(fù)的說明。在以下說明中使用的針對(duì)結(jié)構(gòu)元件的接尾詞“模塊”及“部”僅是考慮到便于說明書的撰寫而被賦予或混用,其自身并不帶有相互區(qū)分的含義或作用。并且,在對(duì)本發(fā)明揭示的實(shí)施例進(jìn)行說明的過程中,如果判斷為對(duì)于相關(guān)的公知技術(shù)的具體說明會(huì)導(dǎo)致混淆本說明書所揭示的實(shí)施例的技術(shù)思想,則將省去對(duì)其詳細(xì)的說明。并且,所附的附圖僅是為了容易理解本說明書所揭示的實(shí)施例,不應(yīng)由所附的附圖來限定本發(fā)明所揭示的技術(shù)思想,而是應(yīng)當(dāng)涵蓋了本發(fā)明的思想及技術(shù)范圍中所包括的所有變更、均等物乃至替代物。
第一、第二等包含序數(shù)的術(shù)語可用于說明多種結(jié)構(gòu)元件,但是所述結(jié)構(gòu)元件并不由所述術(shù)語所限定。所述術(shù)語僅是用于將一個(gè)結(jié)構(gòu)元件與其他結(jié)構(gòu)元件區(qū)分的目的來使用。
如果提及到某個(gè)結(jié)構(gòu)元件“連接”或“接觸”于另一結(jié)構(gòu)元件,其可能是直接連接于或接觸于另一結(jié)構(gòu)元件,但也可被理解為是他們中間存在有其他結(jié)構(gòu)元件。反之,如果提及到某個(gè)結(jié)構(gòu)元件“直接連接”或“直接接觸”于另一結(jié)構(gòu)元件,則應(yīng)當(dāng)被理解為是他們之間不存在有其他結(jié)構(gòu)元件。
除非在上下文明確表示有另行的含義,單數(shù)的表達(dá)方式應(yīng)包括復(fù)數(shù)的表達(dá)方式。
在本申請(qǐng)中,“包括”或“具有”等術(shù)語僅是為了指定說明書上記載的特征、數(shù)字、步驟、動(dòng)作、結(jié)構(gòu)元件、部件或其組合的存在,而并不意在排除一個(gè)或其以上的其他特征或數(shù)字、步驟、動(dòng)作、結(jié)構(gòu)元件、部件或其組合的存在或添加的可能性。
本說明書中說明的車輛可以是包括汽車、摩托車的概念。以下,對(duì)于車輛將以汽車為主進(jìn)行說明。
本說明書中所述的車輛可以是將作為動(dòng)力源具有引擎的內(nèi)燃機(jī)車輛、作為動(dòng)力源具有引擎和電動(dòng)馬達(dá)的混合動(dòng)力車輛、作為動(dòng)力源具有電動(dòng)馬達(dá)的電動(dòng)汽車等均涵蓋的概念。
在以下的說明中,車輛的左側(cè)表示車輛的行駛方向的左側(cè),車輛的右側(cè)表示車輛的行駛方向的右側(cè)。
在以下的說明中,除非有另行提及到的內(nèi)容,將以左座駕駛(Left Hand Drive,LHD)車輛為中心進(jìn)行說明。
圖1是示出具有本發(fā)明的一實(shí)施例的車輛用顯示裝置的車輛的外觀的圖。
參照附圖,車輛700可包括:利用動(dòng)力源進(jìn)行旋轉(zhuǎn)的車輪103FR、103FL、103RL..;用于調(diào)節(jié)車輛700的行駛方向的轉(zhuǎn)向輸入構(gòu)件721a;以及設(shè)于車輛700內(nèi)部的車輛駕駛輔助裝置100。
參照附圖,車輛700可包括:利用動(dòng)力源進(jìn)行旋轉(zhuǎn)的車輪103FR、103FL、103RR..;設(shè)于車輛700內(nèi)部的車輛駕駛輔助裝置100及車輛用輸入裝置200。
車輛駕駛輔助裝置100可設(shè)有至少一個(gè)相機(jī),利用至少一個(gè)相機(jī)獲取的圖像可在處理器內(nèi)被信號(hào)處理。
另外,附圖中例示出車輛駕駛輔助裝置100設(shè)有兩個(gè)相機(jī)。
另外,總長度(overall length)表示從車輛700的前部分至后部分的長度,總寬度(width)表示車輛700的寬度,總高度(height)表示從車輪下部至車頂?shù)拈L度。在以下的說明中,總長度方向L可表示作為車輛700的總長度測量的基準(zhǔn)的方向,總寬度方向W可表示作為車輛700的總寬度測量的基準(zhǔn)的方向,總高度方向H可表示作為車輛700的總高度測量的基準(zhǔn)的方向。
圖2A至圖2C是在說明本發(fā)明的實(shí)施例的包括于圖1的車輛的車輛駕駛輔助裝置時(shí)作為參照的圖。
參照?qǐng)D2A對(duì)包括用于獲取車輛前方的影像的相機(jī)195a、195b的車輛駕駛輔助裝置進(jìn)行說明。
圖2A示出車輛駕駛輔助裝置100中包括兩個(gè)相機(jī),但是,本發(fā)明并不限定相機(jī)的數(shù)目。
參照附圖,車輛駕駛輔助裝置100可包括:設(shè)有第一鏡頭193a的第一相機(jī)195a;設(shè)有第二鏡頭193b的第二相機(jī)195b。在此情況下,可將相機(jī)195稱為立體相機(jī)。
另外,車輛駕駛輔助裝置100可在第一鏡頭193a和第二鏡頭193b分別設(shè)有用于遮蔽入射的光的第一遮光部192a(light shield)、第二遮光部192b。
附圖中的車輛駕駛輔助裝置100可以是可裝卸于車輛700的車頂或風(fēng)擋的結(jié)構(gòu)。
這樣的車輛駕駛輔助裝置100可從第一及第二相機(jī)195a、195b獲取關(guān)于車輛前方的立體圖像,基于立體圖像執(zhí)行視差(disparity)檢測,基于視差信息執(zhí)行針對(duì)至少一個(gè)立體圖像的對(duì)象檢測,在對(duì)象檢測以后,持續(xù)地跟蹤對(duì)象的移動(dòng)。
參照?qǐng)D2B至圖2C對(duì)包括用于獲取車輛周邊影像的相機(jī)195d、195e、195f、195g的車輛駕駛輔助裝置進(jìn)行說明。
圖2B至圖2C示出車輛駕駛輔助裝置100中包括四個(gè)相機(jī),但是,本發(fā)明并不限定相機(jī)的數(shù)目。
參照附圖,車輛駕駛輔助裝置100可包括多個(gè)相機(jī)195d、195e、195f、195g。在此情況下,可將相機(jī)195稱為環(huán)視相機(jī)。
多個(gè)相機(jī)195d、195e、195f、195g可分別配置在車輛的左側(cè)、后方、右側(cè)及前方。
左側(cè)相機(jī)195d可配置在圍繞左側(cè)側(cè)鏡的殼體內(nèi)?;蛘?,左側(cè)相機(jī)195d可配置在圍繞左側(cè)側(cè)鏡的殼體外部?;蛘撸髠?cè)相機(jī)195d可配置在左側(cè)前門、左側(cè)后門或左側(cè)擋泥板(fender)外側(cè)一區(qū)域。
右側(cè)相機(jī)195f可配置在圍繞右側(cè)側(cè)鏡的殼體內(nèi)。或者,右側(cè)相機(jī)195f可配置在圍繞右側(cè)側(cè)鏡的殼體外部。或者,右側(cè)相機(jī)195f可配置在右側(cè)前門、右側(cè)后門或右側(cè)擋泥板(fender)外側(cè)一區(qū)域。
另外,后方相機(jī)195e可配置在后方車牌板或后備箱開關(guān)附近。
前方相機(jī)195g可配置在標(biāo)徽附近或散熱器格柵(radiator grill)附近。
多個(gè)相機(jī)195d、195e、195f、195g拍攝的各個(gè)圖像傳送給處理器170,處理器170可合成所述各個(gè)圖像,從而生成車輛周邊影像。
圖2C示出車輛周邊影像的一例。車輛周邊影像201可包括:左側(cè)相機(jī)195d拍攝的第一圖像區(qū)域195di;后方相機(jī)195e拍攝的第二圖像區(qū)域195ei;右側(cè)相機(jī)195f拍攝的第三圖像區(qū)域195fi;以及前方相機(jī)195g拍攝的第四圖像區(qū)域195gi。
車輛周邊影像201可以俯視圖像或鳥瞰圖像方式進(jìn)行顯示。
另外,當(dāng)多個(gè)相機(jī)中生成環(huán)視圖像時(shí),各圖像區(qū)域之間產(chǎn)生邊界部分。這樣的邊界部分可利用圖像融合(blending)處理來自然地進(jìn)行顯示。
另外,在多個(gè)影像各自的邊界上可顯示邊界線202a、202b、202c、202d。
另外,車輛周邊影像201中可包括車輛圖像700i。其中,車輛圖像700i可以是由處理器170生成的圖像。
另外,車輛周邊影像201可通過車輛的顯示部741或車輛駕駛輔助裝置的顯示部180顯示。
圖3A至圖3C例示出本發(fā)明的多種實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的多種例。
在圖3A至圖3B的車輛駕駛輔助裝置100中,可基于計(jì)算機(jī)視覺(computer vision)對(duì)從相機(jī)195接收的圖像進(jìn)行信號(hào)處理,從而生成車輛相關(guān)信息。其中,車輛相關(guān)信息可包含:用于針對(duì)車輛的直接控制的車輛控制信息、或者用于向車輛駕駛者提供駕駛向?qū)У能囕v駕駛輔助信息。
其中,相機(jī)195可以是單色相機(jī)。或者,相機(jī)195可以是用于拍攝車輛前方影像的立體相機(jī)195a、195b?;蛘?,相機(jī)195可以是用于拍攝車輛周邊影像的環(huán)視相機(jī)195d、195e、195f、195g。
圖3A是本發(fā)明的實(shí)施例的車輛駕駛輔助裝置100的內(nèi)部框圖。
參照?qǐng)D3A,圖3A的車輛駕駛輔助裝置100可包括:輸入部110、通信部120、接口部130、存儲(chǔ)器140、處理器170、供電部190、相機(jī)195、顯示部180及音頻輸出部185。
輸入部110可設(shè)有貼附于車輛駕駛輔助裝置100,特別是貼附于相機(jī)195的多個(gè)按鍵或觸摸屏。通過多個(gè)按鍵或觸摸屏可開啟車輛駕駛輔助裝置100的電源并使其進(jìn)行動(dòng)作。除此之外,可還執(zhí)行多種輸入動(dòng)作。
通信部120可通過無線(wireless)方式與移動(dòng)終端600、服務(wù)器510或其他車輛520進(jìn)行數(shù)據(jù)交換。特別是,通信部120可通過無線方式與車輛駕駛者的移動(dòng)終端進(jìn)行數(shù)據(jù)交換。作為無線數(shù)據(jù)通信方式可有藍(lán)牙(Bluetooth)、直通互聯(lián)(WiFi Direct)、WiFi、APiX或NFC等多種數(shù)據(jù)通信方式。
通信部120可從移動(dòng)終端600或服務(wù)器510接收天氣信息、道路的交通狀況信息,例如可接收傳輸協(xié)議專家組(Transport Protocol Expert Group,TPEG)信息。另外,可向移動(dòng)終端600或服務(wù)器510傳送車輛駕駛輔助裝置100中確認(rèn)的實(shí)時(shí)信息。
另外,在用戶乘坐車輛的情況下,用戶的移動(dòng)終端600和車輛駕駛輔助裝置100可自動(dòng)地或通過用戶執(zhí)行應(yīng)用程序來執(zhí)行彼此配對(duì)(pairing)。
通信部120可從外部服務(wù)器510接收信號(hào)燈變更信息。其中,外部服務(wù)器510可以是位于管制交通的交通管制所的服務(wù)器。
接口部130可接收車輛相關(guān)數(shù)據(jù)或向外部傳送處理器170中處理或生成的信號(hào)。為此,接口部130可通過有線通信或無線通信方式與車輛內(nèi)部的控制部770、車輛用顯示裝置400及檢測部760等執(zhí)行數(shù)據(jù)通信。
接口部130可通過與控制部770、車輛用顯示裝置400或額外的導(dǎo)航裝置的數(shù)據(jù)通信來接收基于GPS生成的第一信息。其中,第一信息可包含:設(shè)定的目的地信息、與所述目的地對(duì)應(yīng)的路徑信息、與車輛行駛相關(guān)的地圖(map)信息、車輛的當(dāng)前位置信息。另外,導(dǎo)航信息可包含道路上的車輛的位置信息。
另外,接口部130可從控制部770或檢測部760接收傳感器信息。
其中,傳感器信息可包含車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息中的至少一種。
這樣的傳感器信息可從航向傳感器(heading sensor)、橫擺傳感器(yaw sensor)、陀螺儀傳感器(gyro sensor)、定位模塊(position module)、車輛前進(jìn)/倒車傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車體傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器等中獲取。另外,定位模塊可包括用于接收GPS信息的GPS模塊。
另外,在傳感器信息中,可將與車輛行駛相關(guān)的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜率信息等稱為車輛行駛信息。
存儲(chǔ)器140可存儲(chǔ)用于處理器170的處理或控制的程序等、用于車輛駕駛輔助裝置100整體上的動(dòng)作的多種數(shù)據(jù)。
存儲(chǔ)器140中可存儲(chǔ)用于確認(rèn)對(duì)象的數(shù)據(jù)。例如,存儲(chǔ)器140中可存儲(chǔ)用于在通過相機(jī)195獲取的影像中檢測出規(guī)定對(duì)象時(shí),可利用規(guī)定算法確認(rèn)所述對(duì)象為何者的數(shù)據(jù)。
存儲(chǔ)器140中可存儲(chǔ)關(guān)于交通信息的數(shù)據(jù)。例如,存儲(chǔ)器140中可存儲(chǔ)用于在通過相機(jī)195獲取的影像中檢測出規(guī)定的交通信息時(shí),可利用規(guī)定算法確認(rèn)所述交通信息為何者的數(shù)據(jù)。
另外,存儲(chǔ)器140在硬件上可以是ROM、RAM、EPROM、閃存盤、硬盤等多種存儲(chǔ)裝置。
處理器170控制車輛駕駛輔助裝置100內(nèi)的各單元的整體上的動(dòng)作。
處理器170可對(duì)利用相機(jī)195獲取的車輛前方影像或車輛周邊影像進(jìn)行處理。特別是,處理器170執(zhí)行基于計(jì)算機(jī)視覺(computer vision)的信號(hào)處理。因此,處理器170可從相機(jī)195獲取關(guān)于車輛前方或車輛周邊的圖像,基于圖像執(zhí)行對(duì)象檢測及對(duì)象跟蹤。特別是,處理器170在進(jìn)行對(duì)象檢測時(shí),可執(zhí)行車線檢測(Lane Detection,LD)、周邊車輛檢測(Vehicle Detection、VD)、行人檢測(Pedestrian Detection,PD)、燈光檢測(Brightspot Detection,BD)、交通信號(hào)檢測(Traffic Sign Recognition,TSR)、道路面檢測等。
處理器可基于檢測出的對(duì)象來檢測行駛道路或行駛狀況。
其中,對(duì)象可以是交通信號(hào)提供構(gòu)件、路面標(biāo)識(shí)、配置于道路周邊的結(jié)構(gòu)物或移動(dòng)對(duì)象。
交通信號(hào)提供構(gòu)件可包括:信號(hào)燈、交通標(biāo)識(shí)牌以及交通電光板。
路面標(biāo)識(shí)可包括:標(biāo)示于路面的車線信息、速度信息、道路信息、方向信息、人行橫道、停止線以及方向轉(zhuǎn)換信息(例如,直行、左轉(zhuǎn)、右轉(zhuǎn)、掉頭等)。
配置于道路周邊的結(jié)構(gòu)物可包括:緣石、路燈、行道樹、立柱、防護(hù)欄、構(gòu)成地下車道的結(jié)構(gòu)物(例如,天花板或墻壁)以及配置于地下車道的照明。
移動(dòng)對(duì)象可以是行人、二輪車或其他車輛。
處理器170可基于檢測出的對(duì)象來檢測行駛道路。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為高速國道或一般國道。
當(dāng)車輛700行駛在位于高速國道周邊的一般國道,或者行駛在位于一般國道周邊的高速國道時(shí),處理器170可基于檢測出的對(duì)象來檢測高速國道或一般國道。
例如,當(dāng)從獲取的影像中檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石中的至少一種時(shí),處理器170可將行駛中的道路檢測為一般國道。這是因?yàn)?,在高速國道不?huì)檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石。
另一方面,當(dāng)從獲取的影像中未檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石時(shí),處理器170可將行駛中的道路檢測為高速國道。
例如,處理器170可基于里程碑、路面以及限速標(biāo)識(shí)牌中的至少一個(gè)上標(biāo)示的信息,從獲取的影像中檢測高速國道或一般國道。此時(shí),在里程碑、路面、限速標(biāo)識(shí)牌標(biāo)示有適合于高速國道或一般國道的信息。即,在高速國道的里程碑、路面、限速標(biāo)識(shí)牌可標(biāo)示有與一般國道的里程碑、路面、限速標(biāo)識(shí)牌相互不同的信息。
例如,處理器170可從獲取的影像中檢測用于劃分高速國道或一般國道的分歧地點(diǎn)的圖像。處理器170可跟蹤所述分歧地點(diǎn),并判斷車輛700在分歧地點(diǎn)朝向哪個(gè)方向,從而檢測高速國道或一般國道。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為高架道路或一般道路。
當(dāng)車輛700行駛在位于高架道路周邊的一般道路,或者行駛在位于一般道路周邊的高架道路時(shí),處理器170可基于檢測出的對(duì)象來檢測一般道路或高架道路。
例如,當(dāng)從獲取的影像中檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱以及基于高架道路的影子中的至少一種時(shí),處理器170可將行駛中的道路檢測為一般道路。這是因?yàn)?,在高架道路不?huì)檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱以及基于高架道路的影子。
另一方面,當(dāng)從獲取的影像中未檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱以及基于高架道路的影子時(shí),處理器170可將行駛中的道路檢測為高架道路。
例如,處理器170可基于里程碑、路面以及限速標(biāo)識(shí)牌中的至少一個(gè)上標(biāo)示的信息,從獲取的影像中檢測高架道路或一般道路。此時(shí),在里程碑、路面可標(biāo)示適合于高架道路或一般道路的信息。即,在高架道路的里程碑、路面可標(biāo)示與一般道路的里程碑、路面相互不同的信息。
例如,處理器170可從獲取的影像中檢測用于劃分高架道路或一般道路的分歧地點(diǎn)的圖像。處理器170可跟蹤所述分歧地點(diǎn),并判斷車輛700在分歧地點(diǎn)朝向哪個(gè)方向,從而檢測高架道路或一般道路。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為地下車道或一般車道。
當(dāng)車輛700行駛在位于地下車道周邊的一般車道,或者行駛在位于一般車道周邊的地下車道時(shí),處理器170可基于檢測出的對(duì)象來檢測地下車道或一般車道。
例如,當(dāng)從獲取的影像中檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石中的至少一種時(shí),處理器170可將行駛中的道路檢測為一般車道。這是因?yàn)?,在地下車道不?huì)檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石。
另一方面,當(dāng)從獲取的影像中未檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石時(shí),處理器170可將行駛中的道路檢測為地下車道。
或者,當(dāng)從獲取的影像中檢測出配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌時(shí),處理器170可將行駛中的道路檢測為地下車道。這是因?yàn)?,配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌只有在地下車道中行駛時(shí)才被檢測出。
例如,處理器170可基于里程碑以及路面中的至少一個(gè)上標(biāo)示的信息,從獲取的影像中檢測地下車道或一般車道。此時(shí),在里程碑、路面可標(biāo)示適合于地下車道或一般車道的信息。即,在地下車道的里程碑、路面可標(biāo)示與一般車道的里程碑、路面相互不同的信息。
例如,處理器170可從獲取的影像中檢測用于劃分地下車道或一般車道的分歧地點(diǎn)的圖像。處理器170可跟蹤所述分歧地點(diǎn),并判斷車輛700在分歧地點(diǎn)朝向哪個(gè)方向,從而檢測地下車道或一般車道。
另外,處理器170可利用是否通過接口部130接收到基于GPS生成的第一信息來判斷是否行駛在地下車道或一般車道。這是因?yàn)椋?dāng)行駛在地下車道時(shí)無法獲取GPS信息。
處理器170可基于檢測出的對(duì)象來檢測行駛狀況。
處理器170可基于檢測出的對(duì)象來檢測高速國道行駛狀況。
例如,處理器170可從獲取的影像中檢測匝道區(qū)間行駛狀況。當(dāng)從獲取的影像中檢測出用于表示駛?cè)朐训赖慕煌?biāo)識(shí)牌、匝道或主道交匯地點(diǎn)時(shí),處理器170可基于匝道區(qū)間行駛狀況來檢測高速國道行駛狀況。
處理器170可基于獲取的影像或從檢測部760接收的檢測信息來檢測上坡區(qū)間行駛狀況。處理器170可基于上坡區(qū)間行駛狀況來檢測高架道路行駛狀況。
例如,處理器170可基于預(yù)處理的立體影像來生成深度圖。處理器170可基于深度圖執(zhí)行對(duì)道路面(road surface)的輪廓化。處理器170可基于輪廓化的道路面來判斷道路前方的上坡或下坡。輪廓化的道路面可提供YZ平面上的高低,當(dāng)?shù)缆访娉痀軸的正的方向以具有規(guī)定的角度延伸規(guī)定距離以上時(shí),處理器170可將道路前方判斷為上坡?;蛘撸?dāng)?shù)缆访娉痀軸的負(fù)的方向以具有規(guī)定的角度延伸規(guī)定距離以上時(shí),處理器170可將道路前方判斷為下坡。另外,處理器170可基于道路面輪廓化的執(zhí)行來判斷上坡或下坡的斜率。即,處理器170可基于道路面的Z軸上的長度及Y軸上的長度來判斷斜率。
例如,處理器170可從立體影像中檢測車線(lane)。處理器170可基于檢測出的車線來判斷道路前方的上坡或下坡。當(dāng)車線朝Y軸的正的方向以具有規(guī)定的角度延伸時(shí),處理器170可將道路前方判斷為上坡?;蛘?,當(dāng)車線朝Y軸的負(fù)的方向以具有規(guī)定的角度延伸時(shí),處理器170可將道路前方判斷為下坡。另外,處理器170可基于車線判斷上坡或下坡的斜率。即,處理器170可基于車線的Z軸上的長度以及Y軸上的長度來判斷斜率。
例如,處理器170可從立體影像中檢測固定于道路周邊的多個(gè)對(duì)象。其中,多個(gè)對(duì)象可以是路燈、行道樹或電線桿。處理器170可跟蹤沿著道路連續(xù)地配置的對(duì)象的位置、相對(duì)移動(dòng)或大小,從而判斷道路前方的上坡或下坡。當(dāng)相同的大小的路燈沿著道路的一側(cè)面配置時(shí),處理器170可通過視差計(jì)算來算出與多個(gè)路燈的距離。此時(shí),可比較多個(gè)路燈中的第一路燈及第二路燈的Z軸上的距離和Y軸上的距離,從而判斷道路前方的上坡或下坡。另外,處理器170可基于所述多個(gè)對(duì)象來判斷上坡或下坡的斜率。即,處理器170可基于第一路燈及第二路燈的Z軸上的距離和Y軸上的距離來判斷斜率。
例如,處理器170可基于標(biāo)示于立體影像的消失點(diǎn)來判斷道路前方的上坡或下坡。當(dāng)在立體影像中消失點(diǎn)位于參考線的上方時(shí),可判斷為上坡?;蛘?,當(dāng)在影像中消失點(diǎn)位于參考線的下方時(shí),可判斷為下坡。
例如,處理器170可基于包括于檢測部760的傾斜傳感器中檢測出的數(shù)據(jù)來判斷上坡或下坡。
當(dāng)車輛700逆向行駛在單向通行道路時(shí),處理器170可基于檢測出的對(duì)象來檢測車輛700在單向通行道路的逆向行駛狀況。
有些情況下,在導(dǎo)航中提供的信息不是單向通行道路,而實(shí)際上是單向通行道路。當(dāng)按照導(dǎo)航信息逆向駛?cè)氩⑿旭傇趩蜗蛲ㄐ械缆窌r(shí),處理器170可基于檢測出的對(duì)象來檢測車輛700在單向通行道路的逆向行駛狀況。
例如,處理器170可基于信號(hào)燈、交通標(biāo)識(shí)牌、路面、已駐車于周邊的其他車輛中的至少一種,從獲取的影像中檢測逆向行駛狀況。
另外,當(dāng)檢測出逆向行駛狀況時(shí),處理器170可通過接口部130將用于輸出警報(bào)的信號(hào)提供給控制部770。在此情況下,控制部770可根據(jù)接收到的信號(hào)而通過輸出部740輸出警報(bào)。
當(dāng)檢測出逆向行駛狀況時(shí),處理器170可通過接口部130將用于制動(dòng)的信號(hào)提供給控制部770。在此情況下,控制部770可根據(jù)接收到的信號(hào)而控制通過車輛驅(qū)動(dòng)部750進(jìn)行制動(dòng)。
處理器170可通過接口部130從車輛用顯示裝置400接收第一信息。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)未接收到第一信息時(shí),處理器170可通過接口部130將第二信息提供給車輛用顯示裝置400。其中,第二信息可以是基于獲取的影像生成的車輛700的位置信息。
當(dāng)車輛700在室內(nèi)行駛中時(shí),可能會(huì)接收不到基于GPS的第一信息。在此情況下,處理器170可提供基于從獲取的影像中檢測出的方向標(biāo)識(shí)牌來生成的第二信息。
當(dāng)車輛700從室內(nèi)向室外駛出時(shí),需要在駛出到室外后經(jīng)過規(guī)定時(shí)間才能接收基于GPS的第一信息。在此情況下,當(dāng)未接收到所述第一信息時(shí),處理器170可提供基于從獲取的影像中檢測出的里程碑、建筑物、方向標(biāo)識(shí)牌來生成的第二信息。
處理器170可判斷檢測出的行駛道路或行駛狀況是否與第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。處理器170可通過接口部130從車輛用顯示裝置400接收所述第一信息。
當(dāng)檢測出的行駛道路或行駛狀況與第一信息不一致時(shí),處理器170可提供基于所述行駛道路或所述行駛狀況來生成的第二信息。其中,第二信息可以是基于獲取的影像生成的車輛700的位置信息。處理器170可通過接口部130將所述第二信息提供給車輛用顯示裝置400。
處理器170可將檢測出的信息與存儲(chǔ)器140中存儲(chǔ)的信息相比較,從而確認(rèn)出信息。
另外,處理器170可控制相機(jī)195的縮放(Zoom)。例如,處理器170可根據(jù)對(duì)象檢測結(jié)果來控制相機(jī)195的縮放。當(dāng)檢測出交通標(biāo)識(shí)牌但未檢測出標(biāo)示于通標(biāo)識(shí)牌的內(nèi)容時(shí),處理器170可控制相機(jī)195進(jìn)行放大(Zoom-in)。
另外,處理器170可通過通信部120接收天氣信息、道路的交通狀況信息,例如,可接收傳輸協(xié)議專家組(Transport Protocol Expert Group,TPEG)信息。
另外,處理器170也可對(duì)車輛駕駛輔助裝置100中基于圖像確認(rèn)的車輛周邊交通狀況信息實(shí)時(shí)進(jìn)行確認(rèn)。
另外,處理器170可通過接口部130從車輛用顯示裝置400或額外的導(dǎo)航裝置(未圖示)接收導(dǎo)航信息等。
另外,處理器170可通過接口部130從控制部770或檢測部760接收傳感器信息。其中,傳感器信息可包含車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息、方向盤旋轉(zhuǎn)信息中的至少一種。
另外,處理器170可通過接口部130從控制部770、車輛用顯示裝置400或額外的導(dǎo)航裝置(未圖示)接收基于GPS生成的第一信息。
另外,處理器170可利用專用集成電路(application specific integrated circuits,ASICs)、數(shù)字信號(hào)處理器(digital signal processors,DSPs)、數(shù)字信號(hào)處理設(shè)備(digital signal processing devices,DSPDs)、可編程邏輯設(shè)備(programmable logic devices,PLDs)、現(xiàn)場可編程門陣列(field programmable gate arrays,F(xiàn)PGAs)、處理器(processors)、控制器(controllers)、微控制器(micro-controllers),微處理器(microprocessors)、用于執(zhí)行其他功能的電性單元中的至少一種來實(shí)現(xiàn)。
處理器170可受到控制部770的控制。
顯示部180可顯示處理器170中處理的各種信息。顯示部180可顯示與車輛駕駛輔助裝置100的動(dòng)作相關(guān)的圖像。為了這樣的圖像顯示,顯示部180可包括車輛內(nèi)部前面的儀表盤(cluster)或平視顯示器(Head Up Display,HUD)。另外,在顯示部180為HUD的情況下,可包括用于向車輛700的前面玻璃投射圖像的投射模塊。另外,顯示部180可包括透明顯示器。在此情況下,透明顯示器可貼附于風(fēng)擋。
音頻輸出部185可基于處理器170中處理的音頻信號(hào)向外部輸出聲音。為此,音頻輸出部185可設(shè)有至少一個(gè)揚(yáng)聲器。
音頻輸入部(未圖示)中可輸入用戶語音。為此,可設(shè)有麥克風(fēng)。接收到的語音可被轉(zhuǎn)換為電信號(hào)并傳送給處理器170。
供電部190可基于處理器170的控制供給各結(jié)構(gòu)元件的動(dòng)作所需的電源。特別是,供電部190可從車輛內(nèi)部的電池等供給到電源。
相機(jī)195獲取車輛前方影像或車輛周邊影像。相機(jī)195可以是用于拍攝車輛前方影像的單色相機(jī)或立體相機(jī)195a、195b?;蛘?,相機(jī)195可以是用于拍攝車輛周邊影像的環(huán)視相機(jī)195d、195e、195f、195g。
相機(jī)195可包括圖像傳感器(例如,CMOS或CCD)和影像處理模塊。
相機(jī)195可對(duì)利用圖像傳感器獲取的靜態(tài)影像或動(dòng)態(tài)影像進(jìn)行處理。影像處理模塊可對(duì)利用圖像傳感器獲取的靜態(tài)影像或動(dòng)態(tài)影像進(jìn)行加工。另外,根據(jù)實(shí)施例,影像處理模塊可以與處理器170另外地構(gòu)成或與其一體化。
相機(jī)195可根據(jù)處理器170的控制來設(shè)定縮放(Zoom)。例如,根據(jù)處理器170的控制,相機(jī)195中包括的縮放鏡筒(未圖示)可進(jìn)行移動(dòng)并設(shè)定縮放。
相機(jī)195可根據(jù)處理器170的控制來設(shè)定對(duì)焦(Focus)。例如,根據(jù)處理器170的控制,相機(jī)195中包括的對(duì)焦鏡筒(未圖示)可進(jìn)行移動(dòng)并設(shè)定對(duì)焦。對(duì)焦可基于縮放設(shè)定而自動(dòng)進(jìn)行設(shè)定。
另外,處理器170可與相機(jī)195的縮放控制對(duì)應(yīng)地自動(dòng)控制對(duì)焦。
圖3B是本發(fā)明的另一實(shí)施例的車輛駕駛輔助裝置100的內(nèi)部框圖。
參照?qǐng)D3B,圖3B的車輛駕駛輔助裝置100與圖3A的車輛駕駛輔助裝置100相比,其區(qū)別在于包括立體相機(jī)195a、195b。以下,以區(qū)別點(diǎn)為中心進(jìn)行說明。
車輛駕駛輔助裝置100可包括第一及第二相機(jī)195a、195b。其中,可將第一及第二相機(jī)195a、195b稱為立體相機(jī)。
立體相機(jī)195a、195b可以以可裝卸的方式形成于車輛700的車頂或風(fēng)擋。立體相機(jī)195a、195b可包括第一鏡頭193a、第二鏡頭193b。
另外,立體相機(jī)195a、195b可在第一鏡頭193a和第二鏡頭193b分別包括用于遮蔽入射的光的第一遮光部192a(light shield)、第二遮光部192b。
第一相機(jī)195a獲取車輛前方的第一影像。第二相機(jī)195b獲取車輛前方的第二影像。第二相機(jī)195b與第一相機(jī)195a彼此分開規(guī)定距離配置。利用第一及第二相機(jī)195a、195b彼此分開規(guī)定距離配置,將產(chǎn)生視差(disparity),從而能夠?qū)崿F(xiàn)基于視差的與對(duì)象的距離檢測。
另外,在車輛駕駛輔助裝置100包括立體相機(jī)195a、195b的情況下,處理器170執(zhí)行基于計(jì)算機(jī)視覺(computer vision)的信號(hào)處理。因此,處理器170可從立體相機(jī)195a、195b獲取關(guān)于車輛前方的立體影像,基于立體影像執(zhí)行針對(duì)車輛前方的視差計(jì)算,基于計(jì)算出的視差信息執(zhí)行針對(duì)立體圖像中的至少一個(gè)的對(duì)象檢測,在對(duì)象檢測以后,持續(xù)地跟蹤對(duì)象的移動(dòng)。其中,立體影像以從第一相機(jī)195a接收的第一影像及從第二相機(jī)195b接收的第二影像作為基礎(chǔ)。
特別是,處理器170在進(jìn)行對(duì)象檢測時(shí),可執(zhí)行車線檢測(Lane Detection,LD)、周邊車輛檢測(Vehicle Detection,VD)、行人檢測(Pedestrian Detection,PD)、燈光檢測(Brightspot Detection,BD)、交通信號(hào)檢測(Traffic Sign Recognition,TSR)、道路面檢測等。
并且,處理器170可執(zhí)行針對(duì)檢測出的周邊車輛的距離計(jì)算、檢測出的周邊車輛的速度計(jì)算、檢測出的與周邊車輛的速度差計(jì)算等。
處理器170可單獨(dú)地控制第一及第二相機(jī)195a、195b的縮放。處理器170可在固定第一相機(jī)195a的縮放的狀態(tài)下,周期性地變更第二相機(jī)195b的縮放倍率。處理器170可在固定第二相機(jī)195b的縮放的狀態(tài)下,周期性地變更第一相機(jī)195a的縮放倍率。
處理器170可按規(guī)定周期控制第一或第二相機(jī)195a、195b進(jìn)行放大或縮小。
處理器170可將第一相機(jī)195a的縮放設(shè)定為高倍率,從而有利于以遠(yuǎn)距離進(jìn)行對(duì)象檢測。并且,處理器170可將第二相機(jī)195b的縮放設(shè)定為低倍率,從而有利于以近距離進(jìn)行對(duì)象檢測。此時(shí),處理器170可控制第一相機(jī)195a進(jìn)行放大,并控制第二相機(jī)195b進(jìn)行縮小。
相反的,處理器170可將第一相機(jī)195a的縮放設(shè)定為低倍率,從而有利于以近距離進(jìn)行對(duì)象檢測。并且,處理器170可將第二相機(jī)195b的縮放設(shè)定為高倍率,從而有利于以遠(yuǎn)距離進(jìn)行對(duì)象檢測。此時(shí),處理器170可控制第一相機(jī)195a進(jìn)行縮小,并控制第二相機(jī)195b進(jìn)行放大。
例如,處理器170可根據(jù)對(duì)象檢測結(jié)果控制第一相機(jī)195a或第二相機(jī)195b的縮放。假設(shè)雖然檢測出交通標(biāo)識(shí)牌但未檢測出交通標(biāo)識(shí)牌中標(biāo)示的內(nèi)容的情況下,處理器170可控制第一相機(jī)195a或第二相機(jī)195b進(jìn)行放大(Zoom-in)。
另外,處理器170可與相機(jī)195的縮放控制對(duì)應(yīng)地自動(dòng)控制對(duì)焦。
圖3C是本發(fā)明的另一實(shí)施例的車輛駕駛輔助裝置100的內(nèi)部框圖。
參照?qǐng)D3C,圖3C的車輛駕駛輔助裝置100與圖3A的車輛駕駛輔助裝置100相比,其區(qū)別在于包括環(huán)視相機(jī)195d、195e、195f、195g。以下,以區(qū)別點(diǎn)為中心進(jìn)行說明。
車輛駕駛輔助裝置100可包括環(huán)視相機(jī)195d、195e、195f、195g。
環(huán)視相機(jī)195d、195e、195f、195g可各包括:鏡頭;以及用于遮蔽所述鏡頭中入射的光的遮光部(light shield)。
環(huán)視相機(jī)可包括:左側(cè)相機(jī)195d、后方相機(jī)195e、右側(cè)相機(jī)195f及前方相機(jī)195g。
左側(cè)相機(jī)195d獲取車輛左側(cè)方影像。后方相機(jī)195e獲取車輛后方影像。右側(cè)相機(jī)195f獲取車輛右側(cè)方影像。前方相機(jī)195g獲取車輛前方影像。
環(huán)視相機(jī)195d、195e、195f、195g中獲取的各個(gè)影像傳送給處理器170。
處理器170可合成車輛的左側(cè)方影像、后方影像、右側(cè)方影像、前方影像來生成車輛周邊影像。此時(shí),車輛周邊影像可以是俯視或鳥瞰圖影像。處理器170可分別接收車輛的左側(cè)方影像、后方影像、右側(cè)方影像、前方影像,對(duì)接收的影像進(jìn)行合成并轉(zhuǎn)換為俯視影像,從而生成車輛周邊影像。
另外,處理器170可基于車輛周邊影像檢測出對(duì)象。特別是,處理器170在進(jìn)行對(duì)象檢測時(shí),可執(zhí)行車線檢測(Lane Detection,LD)、周邊車輛檢測(Vehicle Detection、VD)、行人檢測(Pedestrian Detection,PD)、燈光檢測(Brightspot Detection,BD)、交通信號(hào)檢測(Traffic Sign Recognition,TSR)、道路面檢測等。
另外,處理器170可單獨(dú)地控制環(huán)視相機(jī)195d、195e、195f、195g的縮放。處理器170的縮放控制可與參照?qǐng)D3B所述的立體相機(jī)的情況相同地進(jìn)行動(dòng)作。
圖4A至圖4B例示出圖3A至圖3C的處理器的內(nèi)部框圖的多種例,圖5A至圖5B是在說明圖4A至圖4B的處理器的動(dòng)作時(shí)作為參照的圖。
首先,參照?qǐng)D4A,圖4A是處理器170的內(nèi)部框圖的一例,車輛駕駛輔助裝置100內(nèi)的處理器170可包括:影像預(yù)處理部401、視差計(jì)算部402、分隔部403、對(duì)象檢測部404、對(duì)象確認(rèn)部405、對(duì)象跟蹤部406以及應(yīng)用部407。
影像預(yù)處理部401(image preprocessor)可接收來自相機(jī)195的圖像并執(zhí)行預(yù)處理(preprocessing)。
具體而言,影像預(yù)處理部401可執(zhí)行針對(duì)圖像的降噪(noise reduction)、糾正(rectification)、校準(zhǔn)(calibration)、色彩增強(qiáng)(color enhancement)、色彩空間轉(zhuǎn)換(color space conversion;CSC)、內(nèi)插(interpolation)、相機(jī)增益控制(camera gain control)等。由此,能夠獲取相比相機(jī)195中拍攝的立體圖像更加清晰的圖像。
視差計(jì)算部402(disparity calculator)接收影像預(yù)處理部401中進(jìn)行信號(hào)處理的圖像,針對(duì)接收的圖像執(zhí)行立體匹配(stereo matching),能夠獲取基于立體匹配的視差圖(disparity map)。即,能夠獲取關(guān)于車輛前方的立體圖像的視差信息。
此時(shí),可按立體圖像的像素單位或規(guī)定塊單位執(zhí)行立體匹配。另外,視差圖可表示用數(shù)值示出立體圖像,即,左、右圖像的視差(時(shí)差)信息(binocular parallax information)的地圖。
分割部403(segmentation unit)可基于來自視差計(jì)算部402的視差信息,對(duì)圖像中的至少一個(gè)執(zhí)行分割(segment)及群集(clustering)。
具體而言,分割部403可基于視差信息對(duì)立體圖像中的至少一個(gè)分離出背景(background)和前景(foreground)。
例如,可將視差圖內(nèi)的視差信息為規(guī)定值以下的區(qū)域計(jì)算為背景,并除去相應(yīng)部分。由此,能夠相對(duì)地分離出前景。
作為另一例,可將視差圖內(nèi)的視差信息為規(guī)定值以上的區(qū)域計(jì)算為前景,并提取出相應(yīng)部分。由此,能夠分離出前景。
如上所述,以基于立體圖像提取出的視差信息為基礎(chǔ)分離出前景和背景,從而在隨后的對(duì)象檢測時(shí),能夠縮短信號(hào)處理速度、信號(hào)處理量等。
接著,對(duì)象檢測部404(object detector)可基于來自分割部403的圖像分割而進(jìn)行對(duì)象檢測。
即,對(duì)象檢測部404可基于視差信息對(duì)圖像中的至少一個(gè)進(jìn)行對(duì)象檢測。
具體而言,對(duì)象檢測部404可對(duì)圖像中的至少一個(gè)進(jìn)行對(duì)象檢測。例如,可從基于圖像分割分離出的前景中檢測對(duì)象。
接著,對(duì)象確認(rèn)部405(object verification unit)可對(duì)分離出的對(duì)象進(jìn)行分類(classify)并確認(rèn)(verify)。
為此,對(duì)象確認(rèn)部405可使用基于神經(jīng)網(wǎng)絡(luò)(neural network)的識(shí)別法、支持向量機(jī)(Support Vector Machine,SVM)方法、基于利用Haar-like特征的AdaBoost的方法,或是梯度向量直方圖(Histograms of Oriented Gradients,HOG)方法等。
另外,對(duì)象確認(rèn)部405可將存儲(chǔ)器140中存儲(chǔ)的對(duì)象和檢測出的對(duì)象進(jìn)行比較,從而確認(rèn)出對(duì)象。
例如,對(duì)象確認(rèn)部405可確認(rèn)出位于車輛周邊的周邊車輛、車線、道路面、標(biāo)識(shí)牌、危險(xiǎn)區(qū)域、隧道等。
對(duì)象跟蹤部406(object tracking unit)可執(zhí)行針對(duì)確認(rèn)出的對(duì)象的跟蹤。例如,依次地確認(rèn)獲取的立體圖像內(nèi)的對(duì)象,對(duì)確認(rèn)出的對(duì)象的移動(dòng)或移動(dòng)向量進(jìn)行計(jì)算,并可基于計(jì)算出的移動(dòng)或移動(dòng)向量而跟蹤相應(yīng)對(duì)象的移動(dòng)等。由此,能夠?qū)ξ挥谲囕v周邊的周邊車輛、車線、道路面、標(biāo)識(shí)牌、危險(xiǎn)區(qū)域、隧道等進(jìn)行跟蹤。
接著,應(yīng)用部407可基于位于車輛周邊的多種對(duì)象,例如其他車輛、車線、道路面、標(biāo)識(shí)牌等,計(jì)算出車輛700的危險(xiǎn)度等。并且,可計(jì)算出與前車的撞車可能性、車輛打滑與否等。
此外,應(yīng)用部407可基于計(jì)算出的危險(xiǎn)度、撞車可能性或打滑與否等,向用戶輸出用于提示這樣的信息的作為車輛駕駛輔助信息的消息等?;蛘?,也可生成用于車輛700的姿勢(shì)控制或行駛控制的作為車輛控制信息的控制信號(hào)。
另外,影像預(yù)處理部401、視差計(jì)算部402、分割部403、對(duì)象檢測部404、對(duì)象確認(rèn)部405、對(duì)象跟蹤部406及應(yīng)用部407在圖7以下的附圖中可以是處理器170內(nèi)的影像處理部810的內(nèi)部結(jié)構(gòu)。
另外,根據(jù)實(shí)施例,處理器170可僅包括影像預(yù)處理部401、視差計(jì)算部402、分割部403、對(duì)象檢測部404、對(duì)象確認(rèn)部405、對(duì)象跟蹤部406及應(yīng)用部407中的一部分。假設(shè)相機(jī)195由單色相機(jī)或環(huán)視相機(jī)構(gòu)成的情況下,可以省去視差計(jì)算部402。并且,根據(jù)實(shí)施例,分割部403可被排除在外。
圖4B是影像處理部的內(nèi)部框圖的另一例。
參照附圖,圖4B的處理器170與圖4A的處理器170具有相同的內(nèi)部結(jié)構(gòu)單元,其區(qū)別在于信號(hào)處理順序不同。以下,僅對(duì)其區(qū)別進(jìn)行描述。
對(duì)象檢測部404可接收立體圖像,并基于立體圖像中的至少一個(gè)進(jìn)行對(duì)象檢測。與圖4A不同的,可直接從立體圖像中檢測對(duì)象,而不是基于視差信息對(duì)被分割的圖像進(jìn)行對(duì)象檢測。
接著,對(duì)象確認(rèn)部405(object verification unit)基于來自分割部403的圖像分割以及對(duì)象檢測部404中檢測出的對(duì)象,對(duì)被檢測及分離的對(duì)象進(jìn)行分類(classify)并確認(rèn)(verify)。
為此,對(duì)象確認(rèn)部405可使用基于神經(jīng)網(wǎng)絡(luò)(neural network)的識(shí)別法、支持向量機(jī)(Support Vector Machine,SVM)方法、基于利用Haar-like特征的AdaBoost的方法,或是梯度向量直方圖(Histograms of Oriented Gradients,HOG)方法等。
圖5A和圖5B是在基于第一及第二幀區(qū)段分別獲取的立體圖像說明圖4A的處理器170的動(dòng)作方法時(shí)作為參照的圖。
首先,參照?qǐng)D5A,在第一幀區(qū)間期間,立體相機(jī)195獲取立體圖像。
處理器170內(nèi)的視差計(jì)算部402接收影像預(yù)處理部401中被信號(hào)處理的立體圖像FR1a、FR1b,對(duì)接收的立體圖像FR1a、FR1b執(zhí)行立體匹配,從而獲取視差圖520(disparity map)。
視差圖520(disparity map)對(duì)立體圖像FR1a、FR1b之間的視差進(jìn)行了等級(jí)化,視差等級(jí)越高,可計(jì)算為與車輛的距離越近,而視差等級(jí)越小,則計(jì)算為與車輛的距離越遠(yuǎn)。
另外,當(dāng)顯示這樣的視差圖時(shí),可顯示為視差等級(jí)越大時(shí)具有越高的亮度,視差等級(jí)越小時(shí)具有越低的亮度。
在附圖中例示出,在視差圖520內(nèi),第一車線至第四車線528a、528b、528c、528d等分別具有相應(yīng)的視差等級(jí),施工區(qū)域522、第一前方車輛524、第二前方車輛526分別具有相應(yīng)的視差等級(jí)。
分割部403、對(duì)象檢測部404、對(duì)象確認(rèn)部405基于視差圖520執(zhí)行針對(duì)立體圖像FR1a、FR1b中的至少一個(gè)的分割、對(duì)象檢測及對(duì)象確認(rèn)。
在附圖中例示出,使用視差圖520執(zhí)行針對(duì)第二立體圖像FR1b的對(duì)象檢測及確認(rèn)。
即,在圖像530內(nèi),可執(zhí)行針對(duì)第一車線至第四車線538a、538b、538c、538d、施工區(qū)域532、第一前方車輛534、第二前方車輛536的對(duì)象檢測及確認(rèn)。
接著,參照?qǐng)D5B,在第二幀區(qū)間期間,立體相機(jī)195獲取立體圖像。
處理器170內(nèi)的視差計(jì)算部402接收影像預(yù)處理部401中被信號(hào)處理的立體圖像FR2a、FR2b,對(duì)接收的立體圖像FR2a、FR2b執(zhí)行立體匹配,從而獲取視差圖540(disparity map)。
在附圖中例示出,在視差圖540內(nèi),第一車線至第四車線548a、548b、548c、548d等分別具有相應(yīng)的視差等級(jí),施工區(qū)域542、第一前方車輛544、第二前方車輛546分別具有相應(yīng)的視差等級(jí)。
分割部403、對(duì)象檢測部404、對(duì)象確認(rèn)部405基于視差圖540執(zhí)行針對(duì)立體圖像FR2a、FR2b中的至少一個(gè)的分割、對(duì)象檢測及對(duì)象確認(rèn)。
在附圖中例示出,使用視差圖540執(zhí)行針對(duì)第二立體圖像FR2b的對(duì)象檢測及確認(rèn)。
即,在圖像550內(nèi),可執(zhí)行針對(duì)第一車線至第四車線558a、558b、558c、558d、施工區(qū)域552、第一前方車輛554、第二前方車輛556的對(duì)象檢測及確認(rèn)。
另外,對(duì)象跟蹤部406可執(zhí)行針對(duì)通過比較圖5A和圖5B確認(rèn)出的對(duì)象的跟蹤。
具體而言,對(duì)象跟蹤部406可基于圖5A和圖5B中確認(rèn)出的各對(duì)象的移動(dòng)或移動(dòng)向量,跟蹤相應(yīng)對(duì)象的移動(dòng)等。由此,可執(zhí)行針對(duì)位于車輛周邊的車線、施工區(qū)域、第一前方車輛、第二前方車輛等的跟蹤。
圖6A至圖6B是在說明圖3A至圖3C的車輛駕駛輔助裝置的動(dòng)作時(shí)作為參照的圖。
首先,圖6A是例示出設(shè)于車輛內(nèi)部的立體相機(jī)195拍攝的車輛前方狀況的圖。特別是以鳥瞰圖(bird eye view)方式示出車輛前方情況。
參照附圖,按從左到右的順序配置有第一車線642a、第二車線644a、第三車線646a、第四車線648a,在第一車線642a和第二車線644a之間配置有施工區(qū)域610a,在第二車線644a和第三車線646a之間配置有第一前方車輛620a,在第三車線646a和第四車線648a之間配置有第二前方車輛630a。
接著,圖6B例示出與各種信息一同顯示出基于車輛駕駛輔助裝置確認(rèn)出的車輛前方狀況。特別是,圖6B所示的圖像可還在車輛駕駛輔助裝置提供的顯示部180、車輛用顯示裝置400或顯示部741中進(jìn)行顯示。
與圖6A不同的,圖6B例示出基于立體相機(jī)195拍攝的圖像而進(jìn)行信息顯示。
參照附圖,按從左到右的順序配置有第一車線642b、第二車線644b、第三車線646b、第四車線648b,在第一車線642b和第二車線644b之間配置有施工區(qū)域610b,在第二車線644b和第三車線646b之間配置有第一前方車輛620b,在第三車線646b和第四車線648b之間配置有第二前方車輛630b。
車輛駕駛輔助裝置100可基于立體相機(jī)195a、195b拍攝的立體圖像而進(jìn)行信號(hào)處理,從而確認(rèn)關(guān)于施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的對(duì)象。并且,能夠確認(rèn)出第一車線642b、第二車線644b、第三車線646b、第四車線648b。
另外,在附圖中,為了呈現(xiàn)出針對(duì)施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的對(duì)象確認(rèn),例示出對(duì)各個(gè)邊框進(jìn)行了高亮顯示。
另外,車輛駕駛輔助裝置100可基于立體相機(jī)195拍攝的立體圖像計(jì)算出關(guān)于施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的距離信息。
在附圖中,例示了顯示出分別與施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b對(duì)應(yīng)的、計(jì)算出的第一距離信息611b、第二距離信息621b、第三距離信息631b。
另外,車輛駕駛輔助裝置100可從控制部770或檢測部760接收關(guān)于車輛的傳感器信息。特別是,可接收車輛速度信息、變速器信息、用于示出車輛的旋轉(zhuǎn)角(橫擺角)變化的速度的橫擺率信息(yaw rate)、車輛的角度信息,并能夠顯示這樣的信息。
附圖中例示出在車輛前方圖像上部670顯示出車輛速度信息672、變速器信息671、橫擺率信息673,在車輛前方圖像下部680顯示出車輛的角度信息682,但是也可由多種例實(shí)施。除此之外,可與車輛的角度信息682一同顯示車輛的寬度信息683、道路的曲率信息681。
另外,車輛駕駛輔助裝置100可通過通信部120或接口部130接收關(guān)于車輛行駛中的道路的限速信息等。在附圖中例示了顯示出限速信息640b。
車輛駕駛輔助裝置100可通過顯示部180等顯示圖6B所示的多種信息,但是與此不同的,也可存儲(chǔ)各種信息而無另外地進(jìn)行顯示。此外,也可將這樣的信息應(yīng)用于多種應(yīng)用程序。
圖7是圖1的車輛的內(nèi)部框圖的一例。
車輛700可包括:通信部710、輸入部720、檢測部760、輸出部740、車輛驅(qū)動(dòng)部750、存儲(chǔ)器730、接口部780、控制部770、電源部790、車輛駕駛輔助裝置100及車輛用顯示裝置400。
通信部710可包括能夠?qū)崿F(xiàn)車輛700和移動(dòng)終端600之間、車輛700和外部服務(wù)器510之間或車輛700和其他車輛520的無線通信的至少一個(gè)模塊。并且,通信部710可包括用于將車輛700與至少一個(gè)網(wǎng)絡(luò)(network)相連接的至少一個(gè)模塊。
通信部710可包括廣播接收模塊711、無線網(wǎng)絡(luò)模塊712、近距離通信模塊713、位置信息模塊714、光通信模塊715及V2X通信模塊716。
廣播接收模塊711通過廣播信道從外部的廣播管理服務(wù)器接收廣播信號(hào)或與廣播相關(guān)的信息。其中,廣播包括電臺(tái)廣播或TV廣播。
無線網(wǎng)絡(luò)模塊712指的是用于無線網(wǎng)絡(luò)連接的模塊,其可內(nèi)置或外置于車輛700。無線網(wǎng)絡(luò)模塊712在基于無線網(wǎng)絡(luò)技術(shù)的通信網(wǎng)中進(jìn)行無線信號(hào)收發(fā)。
無線網(wǎng)絡(luò)技術(shù)例如有:無線局域網(wǎng)(Wireless LAN,WLAN)、無線高保真(Wireless-Fidelity,Wi-Fi)、無線高保真直連(Wi-Fi(Wireless Fidelity)Direct)、數(shù)字生活網(wǎng)絡(luò)聯(lián)盟(Digital Living Network Alliance,DLNA)、無線寬帶(Wireless Broadband,WiBro)、全球微波接入互操作性(World Interoperability for Microwave Access,WiMAX)、高速下行鏈路分組接入(High Speed Downlink Packet Access,HSDPA)、高速上行鏈路分組接入(High Speed Uplink Packet Access,HSUPA)、長期演進(jìn)(Long Term Evolution,LTE)、先進(jìn)的長期演進(jìn)(Long Term Evolution-Advanced,LTE-A)等,所述無線網(wǎng)絡(luò)模塊712基于還包括有以上未被羅列的網(wǎng)絡(luò)技術(shù)的范圍的至少一種無線網(wǎng)絡(luò)技術(shù)進(jìn)行數(shù)據(jù)收發(fā)。例如,無線網(wǎng)絡(luò)模塊712可以無線方式與外部服務(wù)器510進(jìn)行數(shù)據(jù)交換。無線網(wǎng)絡(luò)模塊712可從外部服務(wù)器510接收天氣信息、道路的交通狀況信息(例如,傳輸協(xié)議專家組(Transport Protocol Expert Group,TPEG)信息)。
近距離通信模塊713用于進(jìn)行近距離通信(Short range communication),可利用藍(lán)牙(BluetoothTM)、無線射頻(Radio Frequency Identification,RFID)、紅外線通信(Infrared Data Association;IrDA)、超寬帶(Ultra Wideband,UWB)、無線個(gè)域網(wǎng)(ZigBee)、近場通信(Near Field Communication,NFC)、無線高保真(Wireless-Fidelity,Wi-Fi)、無線高保真直連(Wi-Fi Direct)、無線通用串行總線(Wireless Universal Serial Bus,Wireless USB)技術(shù)中的至少一種來支持近距離通信。
這樣的近距離通信模塊713可利用形成近距離無線通信網(wǎng)(Wireless Area Networks)來執(zhí)行車輛700和至少一個(gè)外部設(shè)備之間的近距離通信。例如,近距離通信模塊713可以無線方式與移動(dòng)終端600進(jìn)行數(shù)據(jù)交換。近距離通信模塊713可從移動(dòng)終端600接收天氣信息、道路的交通狀況信息(例如,傳輸協(xié)議專家組(Transport Protocol Expert Group,TPEG))。在用戶乘坐車輛700的情況下,用戶的移動(dòng)終端600和車輛700可自動(dòng)地或通過用戶執(zhí)行應(yīng)用程序來執(zhí)行彼此配對(duì)。
位置信息模塊714是用于獲取車輛700的位置的模塊,作為其代表性的例有全球定位系統(tǒng)(Global Positioning System,GPS)模塊。例如,當(dāng)在車輛中使用GPS模塊時(shí),能夠利用GPS衛(wèi)星傳送的信號(hào)獲取車輛的位置。
光通信模塊715可包括光發(fā)送部及光接收部。
光接收部可將光(light)信號(hào)轉(zhuǎn)換為電信號(hào)以接收信息。光接收部可包括用于接收光的光電二極管(PD,Photo Diode)。光電二極管可將光轉(zhuǎn)換為電信號(hào)。例如,光接收部可通過從前方車輛中包括的光源發(fā)出的光接收前方車輛的信息。
光發(fā)送部可包括至少一個(gè)用于將電信號(hào)轉(zhuǎn)換為光信號(hào)的發(fā)光元件。其中,發(fā)光元件優(yōu)選為發(fā)光二極管(Light Emitting Diode,LED)。光發(fā)送部將電信號(hào)轉(zhuǎn)換為光信號(hào)并向外部發(fā)送。例如,光發(fā)送部可通過與規(guī)定頻率對(duì)應(yīng)的發(fā)光元件的閃爍來向外部發(fā)送光信號(hào)。根據(jù)實(shí)施例,光發(fā)送部可包括多個(gè)發(fā)光元件陣列。根據(jù)實(shí)施例,光發(fā)送部可與設(shè)于車輛700的車燈一體化。例如,光發(fā)送部可以是前照燈、車尾燈、剎車燈、方向指示燈及側(cè)燈中的至少一種。例如,光通信模塊715可通過光通信與其他車輛520進(jìn)行數(shù)據(jù)交換。
V2X通信模塊716是用于與服務(wù)器510或其他車輛520執(zhí)行無線通信的模塊。V2X通信模塊716包括可實(shí)現(xiàn)車輛之間通信V2V或車輛和基礎(chǔ)設(shè)施(infra)之間通信V2I協(xié)議的模塊。車輛700可通過V2X通信模塊716與外部服務(wù)器510及其他車輛520執(zhí)行無線通信。
輸入部720可包括:駕駛操作構(gòu)件721、相機(jī)195、麥克風(fēng)723及用戶輸入部724。
駕駛操作構(gòu)件721接收用于駕駛車輛700的用戶輸入。駕駛操作構(gòu)件721可包括:轉(zhuǎn)向輸入構(gòu)件721a、檔位輸入構(gòu)件721b、加速輸入構(gòu)件721c、制動(dòng)輸入構(gòu)件721d。
轉(zhuǎn)向輸入構(gòu)件721a從用戶接收車輛700的行進(jìn)方向輸入。轉(zhuǎn)向輸入構(gòu)件721a優(yōu)選地以輪盤(wheel)形態(tài)形成,從而通過旋轉(zhuǎn)可進(jìn)行轉(zhuǎn)向輸入。根據(jù)實(shí)施例,轉(zhuǎn)向輸入構(gòu)件721a可形成為觸摸屏、觸摸板或按鍵。
檔位輸入構(gòu)件721b從用戶接收車輛700的駐車P、前進(jìn)D、空檔N、倒車R的輸入。檔位輸入構(gòu)件721b優(yōu)選地以控制桿(lever)形態(tài)形成。根據(jù)實(shí)施例,檔位輸入構(gòu)件721b可形成為觸摸屏、觸摸板或按鍵。
加速輸入構(gòu)件721c從用戶接收用于車輛700的加速的輸入。制動(dòng)輸入構(gòu)件721d從用戶接收用于車輛700的減速的輸入。加速輸入構(gòu)件721c及制動(dòng)輸入構(gòu)件721d優(yōu)選地以踏板形態(tài)形成。根據(jù)實(shí)施例,加速輸入構(gòu)件721c或制動(dòng)輸入構(gòu)件721d可形成為觸摸屏、觸摸板或按鍵。
相機(jī)195可包括圖像傳感器和影像處理模塊。相機(jī)195可對(duì)利用圖像傳感器(例如,CMOS或CCD)獲取的靜態(tài)影像或動(dòng)態(tài)影像進(jìn)行處理。影像處理模塊對(duì)通過圖像傳感器獲取的靜態(tài)影像或動(dòng)態(tài)影像進(jìn)行加工,提取出所需的信息,并可將提取出的信息傳送給控制部770。另外,車輛700可包括:相機(jī)195,用于拍攝車輛前方影像或車輛周邊影像;以及,內(nèi)部相機(jī)195c,用于拍攝車輛內(nèi)部影像。
內(nèi)部相機(jī)195c可獲取關(guān)于乘坐者的圖像。內(nèi)部相機(jī)195c可獲取用于乘坐者的生物特征識(shí)別的圖像。
內(nèi)部相機(jī)195c可獲取關(guān)于車輛700內(nèi)的乘坐者的圖像,從而檢測出乘坐人員的數(shù)目。
另外,圖7中示出相機(jī)195包括于輸入部720,但是也可如參照?qǐng)D2至圖6所述的以相機(jī)195包括于車輛駕駛輔助裝置100的結(jié)構(gòu)進(jìn)行說明。
麥克風(fēng)723可將外部的音響信號(hào)處理為電性數(shù)據(jù)。被處理的數(shù)據(jù)可根據(jù)車輛700上執(zhí)行中的功能以多種方式加以利用。麥克風(fēng)723可將用戶的語音指令轉(zhuǎn)換為電性數(shù)據(jù)。被轉(zhuǎn)換的電性數(shù)據(jù)可傳送給控制部770。
另外,根據(jù)實(shí)施例,相機(jī)195或麥克風(fēng)723可以是包括于檢測部760的結(jié)構(gòu)元件,而不是包括于輸入部720的結(jié)構(gòu)元件。
用戶輸入部724用于從用戶輸入信息。當(dāng)通過用戶輸入部724輸入信息時(shí),控制部770可與輸入的信息對(duì)應(yīng)地控制車輛700的動(dòng)作。用戶輸入部724可包括觸摸式輸入構(gòu)件或機(jī)械式輸入構(gòu)件。根據(jù)實(shí)施例,用戶輸入部724可配置在方向盤的一區(qū)域。在此情況下,駕駛者在把持方向盤的狀態(tài)下,可利用手指操作用戶輸入部724。
檢測部760用于檢測與車輛700的行駛等相關(guān)的信號(hào)。為此,檢測部760可包括沖撞傳感器、車輪傳感器(wheel sensor)、速度傳感器、斜率傳感器、重量檢測傳感器、航向傳感器(heading sensor)橫擺傳感器(yaw sensor)、陀螺儀傳感器(gyro sensor)、定位模塊(position module)、車輛前進(jìn)/倒車傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉(zhuǎn)的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器、超聲波傳感器、雷達(dá)、激光雷達(dá)等。
由此,檢測部760能夠獲取與車輛沖撞信息、車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息、方向盤旋轉(zhuǎn)角度等相關(guān)的檢測信號(hào)。
另外,檢測部760可還包括加速踏板傳感器、壓力傳感器、引擎轉(zhuǎn)速傳感器(engine speed sensor)、空氣流量傳感器(AFS)、吸氣溫度傳感器(ATS)、水溫傳感器(WTS)、節(jié)氣門位置傳感器(TPS)、TDC傳感器、曲軸轉(zhuǎn)角傳感器(CAS)等。
檢測部760可包括生物特征識(shí)別信息檢測部。生物特征識(shí)別信息檢測部檢測并獲取乘坐者的生物特征識(shí)別信息。生物特征識(shí)別信息可包含指紋識(shí)別(Fingerprint)信息、虹膜識(shí)別(Iris-scan)信息、網(wǎng)膜識(shí)別(Retina-scan)信息、手模樣(Hand geo-metry)信息、臉部識(shí)別(Facial recognition)信息、語音識(shí)別(Voice recognition)信息。生物特征識(shí)別信息檢測部可包括用于檢測乘坐者的生物特征識(shí)別信息的傳感器。其中,內(nèi)部相機(jī)195c及麥克風(fēng)723可作為傳感器進(jìn)行動(dòng)作。生物特征識(shí)別信息檢測部可通過內(nèi)部相機(jī)195c獲取手模樣信息、臉部識(shí)別信息。
輸出部740用于輸出控制部770中處理的信息,可包括:顯示部741、音響輸出部742及觸覺輸出部743。
顯示部741可顯示控制部770中處理的信息。例如,顯示部741可顯示車輛相關(guān)信息。其中,車輛相關(guān)信息可包含:用于對(duì)車輛的直接控制的車輛控制信息、或者用于向車輛駕駛者提供駕駛向?qū)У能囕v駕駛輔助信息。并且,車輛相關(guān)信息可包含:用于提示當(dāng)前車輛的狀態(tài)的車輛狀態(tài)信息或與車輛的運(yùn)行相關(guān)的車輛運(yùn)行信息。
顯示部741可包括液晶顯示器(liquid crystal display,LCD)、薄膜晶體管液晶顯示器(thin film transistor-liquid crystal display,TFT LCD)、有機(jī)發(fā)光二極管(organic light-emitting diode、OLED)、柔性顯示器(flexible display)、3D顯示器(3D display)、電子墨水顯示器(e-ink display)中的至少一種。
顯示部741可與觸摸傳感器構(gòu)成相互層次結(jié)構(gòu)或一體地形成,從而能夠?qū)崿F(xiàn)觸摸屏。這樣的觸摸屏用作為提供車輛700和用戶之間的輸入接口的用戶輸入部724的同時(shí),可還提供車輛700和用戶之間的輸出接口。在此情況下,顯示部741可包括用于檢測針對(duì)顯示部741的觸摸的觸摸傳感器,以能夠利用觸摸方式輸入控制指令。當(dāng)通過這樣的結(jié)構(gòu)實(shí)現(xiàn)針對(duì)顯示部741的觸摸時(shí),觸摸傳感器檢測出所述觸摸操作,控制部770據(jù)此產(chǎn)生與所述觸摸對(duì)應(yīng)的控制指令。通過觸摸方式輸入的內(nèi)容可以是文字或數(shù)字、或是各種模式下的指示或可指定的菜單項(xiàng)目等。
另外,顯示部741可包括儀表盤(cluster),以使駕駛者在進(jìn)行駕駛的同時(shí)能夠確認(rèn)車輛狀態(tài)信息或車輛運(yùn)行信息。儀表盤可位于前圍板(dash board)上方。在此情況下,駕駛者可在視線保持于車輛前方的狀態(tài)下,確認(rèn)儀表盤上顯示的信息。
另外,根據(jù)實(shí)施例,顯示部741可由平視顯示器(Head Up Display,HUD)實(shí)現(xiàn)。在顯示部741由HUD實(shí)現(xiàn)的情況下,可通過設(shè)于風(fēng)擋的透明顯示器輸出信息?;蛘?,顯示部741可設(shè)有投射模塊,以通過投射于風(fēng)擋的圖像來輸出信息。
音響輸出部742將來自控制部770的電信號(hào)轉(zhuǎn)換為音頻信號(hào)進(jìn)行輸出。為此,音響輸出部742可設(shè)有揚(yáng)聲器等。音響輸出部742可還輸出與用戶輸入部724動(dòng)作對(duì)應(yīng)的聲音。
觸覺輸出部743用于產(chǎn)生觸覺性的輸出。例如,觸覺輸出部743可通過震動(dòng)方向盤、安全帶、座墊,能夠使駕駛者感知到輸出。
車輛驅(qū)動(dòng)部750可控制車輛各種裝置的動(dòng)作。車輛驅(qū)動(dòng)部750可包括:動(dòng)力源驅(qū)動(dòng)部751、轉(zhuǎn)向驅(qū)動(dòng)部752、制動(dòng)驅(qū)動(dòng)部753、車燈驅(qū)動(dòng)部754、空調(diào)驅(qū)動(dòng)部755、車窗驅(qū)動(dòng)部756、氣囊驅(qū)動(dòng)部757、天窗驅(qū)動(dòng)部758及懸架驅(qū)動(dòng)部759。
動(dòng)力源驅(qū)動(dòng)部751可執(zhí)行針對(duì)車輛700內(nèi)的動(dòng)力源的電子式控制。
例如,在以基于化石燃料的引擎(未圖示)作為動(dòng)力源的情況下,動(dòng)力源驅(qū)動(dòng)部751可執(zhí)行針對(duì)引擎的電子式控制。由此,能夠控制引擎的輸出扭矩等。在動(dòng)力源驅(qū)動(dòng)部751為引擎的情況下,根據(jù)控制部770的控制,通過限制引擎輸出扭矩能夠限制車輛的速度。
作為另一例,在以基于電的馬達(dá)(未圖示)作為動(dòng)力源的情況下,動(dòng)力源驅(qū)動(dòng)部751可執(zhí)行針對(duì)馬達(dá)的控制。由此,能夠控制馬達(dá)的轉(zhuǎn)速、扭矩等。
轉(zhuǎn)向驅(qū)動(dòng)部752可執(zhí)行針對(duì)車輛700內(nèi)的轉(zhuǎn)向裝置(steering apparatus)的電子式控制。由此,能夠變更車輛的行進(jìn)方向。
制動(dòng)驅(qū)動(dòng)部753可執(zhí)行針對(duì)車輛700內(nèi)的制動(dòng)裝置(brake apparatus)(未圖示)的電子式控制。例如,通過控制車輪上配置的制動(dòng)器的動(dòng)作,能夠減小車輛700的速度。作為另一例,通過改變左輪和右輪上各配置的制動(dòng)器的動(dòng)作,可將車輛的行進(jìn)方向調(diào)整為左側(cè)或右側(cè)。
車燈驅(qū)動(dòng)部754可控制車輛內(nèi)、外部配置的車燈的開啟/關(guān)閉。并且,可控制車燈的亮度、方向等。例如,可執(zhí)行針對(duì)方向燈、剎車燈等的控制。
空調(diào)驅(qū)動(dòng)部755可執(zhí)行針對(duì)車輛700內(nèi)的空調(diào)裝置(air conditioner)(未圖示)的電子式控制。例如,在車輛內(nèi)部的溫度高的情況下,通過使空調(diào)裝置進(jìn)行動(dòng)作,能夠控制向車輛內(nèi)部供給冷氣。
車窗驅(qū)動(dòng)部756可執(zhí)行針對(duì)車輛700內(nèi)的車窗裝置(window apparatus)的電子式控制。例如,能夠控制車輛的側(cè)面的左、右車窗的開放或封閉。
氣囊驅(qū)動(dòng)部757可執(zhí)行針對(duì)車輛700內(nèi)的氣囊裝置(airbag apparatus)的電子式控制。例如,當(dāng)發(fā)生危險(xiǎn)時(shí),能夠控制氣囊被彈出。
天窗驅(qū)動(dòng)部758可執(zhí)行針對(duì)車輛700內(nèi)的天窗裝置(sunroof apparatus)(未圖示)的電子式控制。例如,能夠控制天窗的開放或封閉。
懸架驅(qū)動(dòng)部759可執(zhí)行針對(duì)車輛700內(nèi)的懸架裝置(suspension apparatus)(未圖示)的電子式控制。例如,在道路面曲折的情況下,通過控制懸架裝置能夠控制減小車輛700的震動(dòng)。
存儲(chǔ)器730與控制部770進(jìn)行電性連接。存儲(chǔ)器730可存儲(chǔ)與單元相關(guān)的基本數(shù)據(jù)、用于單元的動(dòng)作控制的控制數(shù)據(jù)、輸入輸出的數(shù)據(jù)。存儲(chǔ)器730在硬件上可以是ROM、RAM、EPROM、閃存盤、硬盤等多種存儲(chǔ)裝置。存儲(chǔ)器730可存儲(chǔ)用于控制部770的處理或控制的程序等、用于車輛700整體的動(dòng)作的多種數(shù)據(jù)。
接口部780可執(zhí)行與和車輛700相連接的多種外部裝置的通道作用。例如,接口部780可設(shè)有可與移動(dòng)終端600相連接的端口,通過所述端口能夠與移動(dòng)終端600進(jìn)行連接。在此情況下,接口部780可與移動(dòng)終端600進(jìn)行數(shù)據(jù)交換。
另外,接口部780可執(zhí)行向連接的移動(dòng)終端600供給電能的通道作用。在移動(dòng)終端600與接口部780進(jìn)行電性連接的情況下,根據(jù)控制部770的控制,接口部780將電源部790供給的電能提供給移動(dòng)終端600。
控制部770可控制車輛700內(nèi)的各單元的整體上的動(dòng)作??刂撇?70可命名為電子控制單元(Electronic Control Unit,ECU)。
控制部770在硬件上可利用專用集成電路(application specific integrated circuits,ASICs)、數(shù)字信號(hào)處理器(digital signal processors,DSPs)、數(shù)字信號(hào)處理設(shè)備(digital signal processing devices,DSPDs)、可編程邏輯設(shè)備(programmable logic devices,PLDs)、現(xiàn)場可編程門陣列(field programmable gate arrays,F(xiàn)PGAs)、處理器(processors)、控制器(controllers)、微控制器(micro-controllers),微處理器(microprocessors)、用于執(zhí)行其他功能的電性單元中的至少一種來實(shí)現(xiàn)。
電源部790可基于控制部770的控制而供給各結(jié)構(gòu)元件的動(dòng)作所需的電源。特別是,電源部790可接收從車輛內(nèi)部的電池(未圖示)等供給的電源。
車輛駕駛輔助裝置100可與控制部770進(jìn)行數(shù)據(jù)交換。車輛駕駛輔助裝置100中生成的控制信號(hào)可輸出給控制部770。車輛駕駛輔助裝置100可以是參照?qǐng)D1至圖6B所描述的車輛駕駛輔助裝置。
車輛用顯示裝置400可與控制部770進(jìn)行數(shù)據(jù)交換。控制部770可從車輛用顯示裝置400或額外的導(dǎo)航裝置(未圖示)接收第一信息。其中,第一信息可以是基于GPS的車輛位置信息。第一信息可包含所設(shè)定的目的地信息、與所述目的地對(duì)應(yīng)的路徑信息、與車輛行駛相關(guān)的地圖(map)信息或車輛位置信息。
圖8是本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的處理器的詳細(xì)框圖。
參照?qǐng)D8,處理器170可包括:影像處理部810、判斷部820、信息提供部830。
影像處理部810可接收相機(jī)195中獲取的影像。
影像處理部810可從獲取的影像中檢測對(duì)象及執(zhí)行對(duì)象跟蹤。影像處理部810可基于檢測出的對(duì)象來檢測行駛道路或行駛狀況。
其中,對(duì)象可以是交通信號(hào)提供構(gòu)件、路面標(biāo)識(shí)、配置于道路周邊的結(jié)構(gòu)物或移動(dòng)對(duì)象。
交通信號(hào)提供構(gòu)件可包括:信號(hào)燈、交通標(biāo)識(shí)牌以及交通電光板。
路面標(biāo)識(shí)可包括:標(biāo)示于路面的車線信息、速度信息、道路信息、方向信息、人行橫道、停止線以及方向轉(zhuǎn)換信息(例如,直行、左轉(zhuǎn)、右轉(zhuǎn)、掉頭等)。
配置于道路周邊的結(jié)構(gòu)物可包括:緣石、路燈、行道樹、立柱、防護(hù)欄、構(gòu)成地下車道的結(jié)構(gòu)物以及配置于地下車道的照明。
移動(dòng)對(duì)象可以是行人、二輪車或其他車輛。
影像處理部810可包括圖4A至圖4B所述的影像預(yù)處理部401、視差計(jì)算部402、分隔部403、對(duì)象檢測部404、對(duì)象確認(rèn)部405、對(duì)象跟蹤部406、應(yīng)用部407。
影像處理部810可基于檢測出的對(duì)象來檢測行駛道路。
影像處理部810可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為高速國道或一般國道。
當(dāng)車輛700行駛在位于高速國道周邊的一般國道,或者行駛在位于一般國道周邊的高速國道時(shí),影像處理部810可基于檢測出的對(duì)象來檢測高速國道或一般國道。
例如,當(dāng)從獲取的影像中檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石中的至少一種時(shí),影像處理部810可將行駛中的道路檢測為一般國道。這是因?yàn)椋诟咚賴乐胁粫?huì)檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石。
另一方面,當(dāng)從獲取的影像中未檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石時(shí),影像處理部810可將行駛中的道路檢測為高速國道。
例如,影像處理部810可基于里程碑、路面以及限速標(biāo)識(shí)牌中的至少一個(gè)上標(biāo)示的信息,從獲取的影像中檢測高速國道或一般國道。此時(shí),在里程碑、路面、限速標(biāo)識(shí)牌可標(biāo)示適合于高速國道或一般國道的信息。即,在高速國道的里程碑、路面、限速標(biāo)識(shí)牌可標(biāo)示與一般國道的里程碑、路面、限速標(biāo)識(shí)牌相互不同的信息。
影像處理部810可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為高架道路或一般道路。
當(dāng)車輛700行駛在位于高架道路周邊的一般道路,或者行駛在位于一般道路周邊的高架道路時(shí),影像處理部810可基于檢測出的對(duì)象來檢測一般道路或高架道路。
例如,當(dāng)從獲取的影像中檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱以及基于高架道路的影子中的至少一種時(shí),影像處理部810可將行駛中的道路檢測為一般道路。這是因?yàn)?,在高架道路不?huì)檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱及基于高架道路的影子。
另一方面,當(dāng)從獲取的影像中未檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱及基于高架道路的影子時(shí),影像處理部810可將行駛中的道路檢測為高架道路。
例如,影像處理部810可基于里程碑及路面中的至少一個(gè)上標(biāo)示的信息,從獲取的影像中檢測高架道路或一般道路。此時(shí),在里程碑、路面可標(biāo)示適合于高速國道或一般國道的信息。即,在高速國道的里程碑、路面可標(biāo)示與一般國道的里程碑、路面相互不同的信息。
影像處理部810可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為地下車道或一般道路。
當(dāng)車輛700行駛在位于地下車道周邊的一般車道,或者行駛在位于一般車道周邊的地下車道時(shí),影像處理部810可基于檢測出的對(duì)象來檢測地下車道或一般車道。
例如,當(dāng)從獲取的影像中檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石中的至少一種時(shí),影像處理部810可將行駛中的道路檢測為一般車道。這是因?yàn)?,在地下車道不?huì)檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石。
另一方面,當(dāng)從獲取的影像中未檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石時(shí),影像處理部810可將行駛中的道路檢測為地下車道。
或者,當(dāng)從獲取的影像中檢測出配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌、構(gòu)成地下車道的結(jié)構(gòu)物時(shí),影像處理部810可將行駛中的道路檢測為地下車道。這是因?yàn)椋渲糜诘叵萝嚨赖恼彰?、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌只有在地下車道中行駛時(shí)才被檢測出。
例如,影像處理部810可基于里程碑及路面中的至少一個(gè)上標(biāo)示的信息,從獲取的影像中檢測地下車道或一般車道。此時(shí),在里程碑、路面可標(biāo)示適合于地下車道或一般車道的信息。即,在地下車道的里程碑、路面可標(biāo)示與一般車道的里程碑、路面相互不同的信息。
影像處理部810可基于檢測出的對(duì)象來檢測行駛狀況。
影像處理部810可基于檢測出的對(duì)象來檢測高速國道行駛狀況。
例如,影像處理部810可從獲取的影像中檢測匝道區(qū)間行駛狀況。當(dāng)從獲取的影像中檢測出用于表示駛?cè)朐训赖慕煌?biāo)識(shí)牌、匝道或主道交匯地點(diǎn)時(shí),影像處理部810可基于匝道區(qū)間行駛狀況來檢測高速國道行駛狀況。
影像處理部810可基于獲取的影像來檢測上坡區(qū)間行駛狀況。影像處理部810可基于上坡區(qū)間行駛狀況來檢測高架道路行駛狀況。
當(dāng)車輛700逆向行駛在單向通行道路時(shí),影像處理部810可基于檢測出的對(duì)象來檢測車輛700在單向通行道路的逆向行駛狀況。
有些情況下,在導(dǎo)航中提供的信息不是單向通行道路,而實(shí)際上是單向通行道路。當(dāng)按照導(dǎo)航信息逆向駛?cè)氩⑿旭傇趩蜗蛲ㄐ械缆窌r(shí),影像處理部810可基于檢測出的對(duì)象來檢測車輛700在單向通行道路的逆向行駛狀況。
例如,影像處理部810可基于信號(hào)燈、交通標(biāo)識(shí)牌、路面、已駐車于周邊的其他車輛中的至少一種,從獲取的影像中檢測逆向行駛狀況。
影像處理部810可基于影像檢測車輛700是否位于室內(nèi)。影像處理部810可基于天花板、立柱、墻壁、已駐車的車輛、駐車區(qū)域標(biāo)識(shí)等,檢測車輛700是否位于室內(nèi)。
影像處理部810可基于影像檢測車輛700是否從室內(nèi)向室外駛出。影像處理部810在車輛位于室內(nèi)的狀態(tài)下,可通過跟蹤檢測出的出口來檢測車輛700是否從室內(nèi)向室外駛出。
判斷部820可判斷是否接收到第一信息。其中,第一信息可以是基于GPS生成的車輛700的位置信息。第一信息可通過接口部130從顯示裝置400接收。
判斷部820可判斷影像處理部810中檢測出的行駛道路或行駛狀況是否與第一信息一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700的位置為高速國道,而與第一信息對(duì)應(yīng)的車輛700的位置為高速國道周邊的一般國道時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700的位置為一般國道,而與第一信息對(duì)應(yīng)的車輛700的位置為一般國道周邊的高速國道時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700的位置為高架道路,而與第一信息對(duì)應(yīng)的車輛700的位置為高架道路周邊的一般道路時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700的位置為一般道路,而與第一信息對(duì)應(yīng)的車輛700的位置為一般道路周邊的高架道路時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700的位置為地下車道,而與第一信息對(duì)應(yīng)的車輛700的位置為地下車道周邊的一般車道時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700的位置為一般車道,而與第一信息對(duì)應(yīng)的車輛700的位置為一般車道周邊的地下車道時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700處于逆向行駛的狀況,而與第一信息對(duì)應(yīng)的車輛700的行駛狀況為正向行駛時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
例如,當(dāng)與檢測出的行駛道路或行駛狀況對(duì)應(yīng)的車輛700處于位于室內(nèi)的狀況,而與第一信息對(duì)應(yīng)的車輛700的行駛狀況為行駛在道路時(shí),判斷部820可判斷為檢測出的行駛道路或行駛狀況與第一信息不一致。
在判斷部820的判斷結(jié)果,當(dāng)未接收到第一信息時(shí),信息提供部830可生成并提供第二信息。其中,第二信息可以是基于利用相機(jī)195獲取的影像來生成的車輛700的位置信息。信息提供部830可通過接口部130將第二信息提供給顯示裝置400。
當(dāng)車輛700在室內(nèi)行駛中時(shí),可能會(huì)接收不到基于GPS的第一信息。在此情況下,信息提供部830可基于從利用相機(jī)195獲取的影像中檢測出的方向標(biāo)識(shí)牌來生成第二信息,并提供生成的第二信息。
當(dāng)車輛700從室內(nèi)向室外駛出時(shí),需要在駛出到室外后經(jīng)過規(guī)定時(shí)間才能接收基于GPS的第一信息。在此情況下,當(dāng)未接收到所述第一信息時(shí),信息提供部830可基于從獲取的影像中檢測出的里程碑、建筑物、方向標(biāo)識(shí)牌來生成的第二信息,并提供生成的第二信息。
在判斷部820的判斷結(jié)果,當(dāng)檢測出的行駛道路或行駛狀況與第一信息不一致時(shí),信息提供部830可生成并提供基于所述行駛道路或所述行駛狀況生成的第二信息。信息提供部830可通過接口部130將第二信息提供給顯示裝置400。
圖9是在說明本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的動(dòng)作時(shí)作為參照的流程圖。
參照?qǐng)D9,處理器170可接收相機(jī)195中獲取的影像(步驟S910)。其中,影像可以是車輛前方影像或車輛周邊影像。并且,影像可以是利用單色相機(jī)、立體相機(jī)195a、195b或環(huán)視相機(jī)195d、195e、195f、195g拍攝的影像。
處理器170可從接收的影像中檢測對(duì)象(步驟S920)。
對(duì)象檢測動(dòng)作可在處理器170的影像處理部810中執(zhí)行。
其中,對(duì)象可以是交通信號(hào)提供構(gòu)件、路面標(biāo)識(shí)、配置于道路周邊的結(jié)構(gòu)物或移動(dòng)對(duì)象。
交通信號(hào)提供構(gòu)件可包括:信號(hào)燈、交通標(biāo)識(shí)牌、里程碑以及交通電光板。
路面標(biāo)識(shí)可包括:標(biāo)示于路面的車線信息、速度信息、道路信息、方向信息、人行橫道、停止線以及方向轉(zhuǎn)換信息(例如,直行、左轉(zhuǎn)、右轉(zhuǎn)、掉頭等)。
配置于道路周邊的結(jié)構(gòu)物可包括:緣石、路燈、行道樹、立柱、防護(hù)欄、構(gòu)成地下車道的結(jié)構(gòu)物(例如,天花板或墻壁)以及配置于地下車道的照明。
移動(dòng)對(duì)象可以是行人、二輪車或其他車輛。
處理器170可基于檢測出的對(duì)象來檢測行駛道路或行駛狀況(步驟S930)。
行駛道路或行駛狀況檢測動(dòng)作可在處理器170的影像處理部810中執(zhí)行。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為高速國道或一般國道。
當(dāng)車輛700行駛在位于高速國道周邊的一般國道,或者行駛在位于一般國道周邊的高速國道時(shí),處理器170可基于檢測出的對(duì)象來檢測高速國道或一般國道。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為高架道路或一般道路。
當(dāng)車輛700行駛在位于高架道路周邊的一般道路,或者行駛在位于一般道路周邊的高架道路時(shí),處理器170可基于檢測出的對(duì)象來檢測一般道路或高架道路。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路為地下車道或一般車道。
當(dāng)車輛700行駛在位于地下車道周邊的一般道路,或者行駛在位于一般道路周邊的地下車道時(shí),處理器170可基于檢測出的對(duì)象來檢測地下車道或一般車道。
當(dāng)車輛700逆向行駛在單向通行道路時(shí),處理器170可基于檢測出的對(duì)象來檢測車輛700在單向通行道路的逆向行駛狀況。
處理器170可基于檢測出的對(duì)象來檢測車輛700是否位于室內(nèi)。
處理器170可基于檢測出的對(duì)象來檢測車輛700是否從室內(nèi)向室外駛出。
處理器170可判斷是否接收到第一信息(步驟S940)。
第一信息的接收與否判斷可在處理器170的判斷部820中執(zhí)行。
其中,第一信息可以是基于GPS生成的車輛700的位置信息。第一信息可通過接口部130從顯示裝置400接收。
當(dāng)接收到第一信息時(shí),處理器170可判斷檢測出的行駛道路或行駛狀況是否與第一信息一致(步驟S950)。
一致與否判斷可在處理器170的判斷部820中執(zhí)行。
當(dāng)檢測出的行駛道路或行駛狀況與第一信息不一致時(shí),處理器170可生成并提供基于所述行駛道路或所述行駛狀況生成的第二信息(步驟S960)。處理器170可通過接口部130將第二信息提供給顯示裝置400。
另外,在步驟S940中,當(dāng)未接收到第一信息時(shí),處理器170可生成并提供第二信息。其中,第二信息可以是基于利用相機(jī)195獲取的影像生成的車輛700的位置信息。處理器170可通過接口部130將第二信息提供給顯示裝置400(步驟S960)。
圖10是本發(fā)明的實(shí)施例的車輛用顯示裝置的內(nèi)部框圖。
車輛用顯示裝置400可被利用作為用戶和車輛700間的接口(HMI,Human Machine Interface)。
車輛用顯示裝置400可提供音頻、視頻輸出功能?;蛘?,車輛用顯示裝置400可提供導(dǎo)航功能。
車輛用顯示裝置400可接收用戶輸入。
車輛用顯示裝置可包括多個(gè)單元,以能夠執(zhí)行HMI功能。
參照?qǐng)D10,車輛用顯示裝置400可包括:通信部410、輸入部420、存儲(chǔ)器430、輸出部440、接口部480及供電部490。
通信部410可包括能夠?qū)崿F(xiàn)車輛700和移動(dòng)終端600之間、車輛700和外部服務(wù)器510之間或車輛700和其他車輛520的無線通信的至少一個(gè)模塊。并且,通信部410可包括用于將車輛700與至少一個(gè)網(wǎng)絡(luò)(network)相連接的至少一個(gè)模塊。
通信部410可包括:廣播接收模塊411、無線網(wǎng)絡(luò)模塊412、近距離通信模塊413、位置信息模塊414、光通信模塊715及V2X通信模塊416。
廣播接收模塊411通過廣播信道從外部的廣播管理服務(wù)器接收廣播信號(hào)或與廣播相關(guān)的信息。其中,廣播包括電臺(tái)廣播或TV廣播。
無線網(wǎng)絡(luò)模塊412指的是用于無線網(wǎng)絡(luò)連接的模塊,其可內(nèi)置或外置于車輛700。無線網(wǎng)絡(luò)模塊412在基于無線網(wǎng)絡(luò)技術(shù)的通信網(wǎng)中進(jìn)行無線信號(hào)收發(fā)。
無線網(wǎng)絡(luò)技術(shù)例如有:無線局域網(wǎng)(Wireless LAN,WLAN)、無線高保真(Wireless-Fidelity,Wi-Fi)、無線高保真直連(Wi-Fi(Wireless Fidelity)Direct)、數(shù)字生活網(wǎng)絡(luò)聯(lián)盟(Digital Living Network Alliance,DLNA)、無線寬帶(Wireless Broadband,WiBro)、全球微波接入互操作性(World Interoperability for Microwave Access,WiMAX)、高速下行鏈路分組接入(High Speed Downlink Packet Access,HSDPA)、高速上行鏈路分組接入(High Speed Uplink Packet Access,HSUPA)、長期演進(jìn)(Long Term Evolution,LTE)、先進(jìn)的長期演進(jìn)(Long Term Evolution-Advanced,LTE-A)等,所述無線網(wǎng)絡(luò)模塊412基于還包括有以上未被羅列的網(wǎng)絡(luò)技術(shù)的范圍的至少一種無線網(wǎng)絡(luò)技術(shù)進(jìn)行數(shù)據(jù)收發(fā)。例如,無線網(wǎng)絡(luò)模塊412可以無線方式與外部服務(wù)器510進(jìn)行數(shù)據(jù)交換。無線網(wǎng)絡(luò)模塊412可從外部服務(wù)器510接收天氣信息、道路的交通狀況信息(例如,傳輸協(xié)議專家組(Transport Protocol Expert Group,TPEG)信息)。
近距離通信模塊413用于進(jìn)行近距離通信(Short range communication),可利用藍(lán)牙(BluetoothTM)、無線射頻(Radio Frequency Identification,RFID)、紅外線通信(Infrared Data Association;IrDA)、超寬帶(Ultra Wideband,UWB)、無線個(gè)域網(wǎng)(ZigBee)、近場通信(Near Field Communication,NFC)、無線高保真(Wireless-Fidelity,Wi-Fi)、無線高保真直連(Wi-Fi Direct)、無線通用串行總線(Wireless Universal Serial Bus,Wireless USB)技術(shù)中的至少一種來支持近距離通信。
這樣的近距離通信模塊413可利用形成近距離無線通信網(wǎng)(Wireless Area Networks)來執(zhí)行車輛700和至少一個(gè)外部設(shè)備之間的近距離通信。例如,近距離通信模塊413可以無線方式與移動(dòng)終端600進(jìn)行數(shù)據(jù)交換。近距離通信模塊413可從移動(dòng)終端600接收天氣信息、道路的交通狀況信息(例如,傳輸協(xié)議專家組(Transport Protocol Expert Group,TPEG))。在用戶乘坐車輛700的情況下,用戶的移動(dòng)終端600和車輛700可自動(dòng)地或通過用戶執(zhí)行應(yīng)用程序來執(zhí)行彼此配對(duì)。
位置信息模塊414是用于獲取車輛700的位置的模塊,作為其代表性的例有全球定位系統(tǒng)(Global Positioning System,GPS)模塊。例如,當(dāng)在車輛中使用GPS模塊時(shí),能夠利用GPS衛(wèi)星傳送的信號(hào)獲取車輛的位置。
V2X通信模塊416是用于與服務(wù)器510或其他車輛520執(zhí)行無線通信的模塊。V2X通信模塊416包括可實(shí)現(xiàn)車輛之間通信V2V或車輛和基礎(chǔ)設(shè)施(infra)之間通信V2I協(xié)議的模塊。車輛700可通過V2X通信模塊416與外部服務(wù)器510及其他車輛520執(zhí)行無線通信。
輸入部420可包括用戶輸入部421及音響輸入部422。
用戶輸入部421是用于從用戶輸入信息。當(dāng)通過用戶輸入部421輸入信息時(shí),處理器470可與輸入的信息對(duì)應(yīng)地控制車輛用顯示裝置400的動(dòng)作。用戶輸入部421可包括觸摸式輸入構(gòu)件或機(jī)械式輸入構(gòu)件。
音響輸入部422可將外部的音響信號(hào)處理為電性數(shù)據(jù)。被處理的數(shù)據(jù)可根據(jù)在車輛用顯示裝置400執(zhí)行中的功能以多種方式使用。音響輸入部422可將用戶的語音指令轉(zhuǎn)換為電性數(shù)據(jù)。被轉(zhuǎn)換的電性數(shù)據(jù)可傳送給處理器470。
存儲(chǔ)器430與處理器470進(jìn)行電性連接。存儲(chǔ)器430可存儲(chǔ)與單元相關(guān)的基本數(shù)據(jù)、用于單元的動(dòng)作控制的控制數(shù)據(jù)、輸入輸出的數(shù)據(jù)。存儲(chǔ)器430在硬件上可以是ROM、RAM、EPROM、閃存盤、硬盤等多種存儲(chǔ)裝置。存儲(chǔ)器430可存儲(chǔ)用于處理器470的處理或控制的程序等、用于車輛用顯示裝置400整體的動(dòng)作的多種數(shù)據(jù)。
存儲(chǔ)器430可存儲(chǔ)用于實(shí)現(xiàn)導(dǎo)航功能的地圖數(shù)據(jù)。其中,地圖數(shù)據(jù)可在車輛出廠時(shí)作為默認(rèn)進(jìn)行存儲(chǔ)?;蛘?,地圖數(shù)據(jù)可通過通信部410或接口部480從外部設(shè)備接收。
輸出部440是用于輸出處理器470中被處理的信息,其可包括顯示部441及音響輸出部442。
顯示部441可顯示處理器470中處理的信息。例如,顯示部441可顯示車輛相關(guān)信息。其中,車輛相關(guān)信息可包含:用于對(duì)車輛的直接控制的車輛控制信息、或者用于向車輛駕駛者提供駕駛向?qū)У能囕v駕駛輔助信息。并且,車輛相關(guān)信息可包含:用于提示當(dāng)前車輛的狀態(tài)的車輛狀態(tài)信息或與車輛的運(yùn)行相關(guān)的車輛運(yùn)行信息。
顯示部441可包括液晶顯示器(liquid crystal display,LCD)、薄膜晶體管液晶顯示器(thin film transistor-liquid crystal display,TFT LCD)、有機(jī)發(fā)光二極管(organic light-emitting diode、OLED)、柔性顯示器(flexible display)、3D顯示器(3D display)、電子墨水顯示器(e-ink display)中的至少一種。
顯示部441可與觸摸傳感器構(gòu)成相互層次結(jié)構(gòu)或一體地形成,從而能夠?qū)崿F(xiàn)觸摸屏。這樣的觸摸屏用作為提供車輛用顯示裝置400和用戶之間的輸入接口的用戶輸入部424的同時(shí),可還提供車輛用顯示裝置400和用戶之間的輸出接口。在此情況下,顯示部441可包括用于檢測針對(duì)顯示部441的觸摸的觸摸傳感器,以能夠利用觸摸方式輸入控制指令。當(dāng)通過這樣的結(jié)構(gòu)實(shí)現(xiàn)針對(duì)顯示部441的觸摸時(shí),觸摸傳感器檢測出所述觸摸操作,處理器470據(jù)此產(chǎn)生與所述觸摸對(duì)應(yīng)的控制指令。通過觸摸方式輸入的內(nèi)容可以是文字或數(shù)字、或是各種模式下的指示或可指定的菜單項(xiàng)目等。
另外,顯示部441可被配置為在風(fēng)擋的一區(qū)域顯示畫面。
顯示部441可包括透明顯示器。在此情況下,透明顯示器可貼附于風(fēng)擋。在此情況下,車輛用顯示裝置400可通過透明顯示器輸出信息。
透明顯示器可具有規(guī)定的透明度并顯示規(guī)定的畫面。透明顯示器為了具有透明度,可包括透明薄膜電致發(fā)光(Thin Film Electroluminescent,TFEL)、透明有機(jī)發(fā)光二極管(Organic Light-Emitting Diode,OLED)、透明LCD(Liquid Crystal Display)、透射型透明顯示器、透明LED(Light Emitting Diode)顯示器中的至少一種。
另外,透明顯示器的透明度可根據(jù)處理器470的控制進(jìn)行調(diào)節(jié)。
顯示部441可包括投射模塊。在此情況下,顯示裝置400可通過投射于風(fēng)擋的圖像來輸出信息。
投射模塊向風(fēng)擋投射光束(beam)。投射模塊可包括光源及投射透鏡。投射模塊可實(shí)現(xiàn)與處理器170中處理的信息對(duì)應(yīng)的影像。即,投射模塊可利用光源中產(chǎn)生的光來呈現(xiàn)影像,并將呈現(xiàn)的影像投射于風(fēng)擋。此時(shí),光源優(yōu)選地利用LED、激光等。
音響輸出部442將來自處理器470的電信號(hào)轉(zhuǎn)換為音頻信號(hào)進(jìn)行輸出。為此,音響輸出部442可設(shè)有揚(yáng)聲器等。音響輸出部442可還輸出與用戶輸入部421動(dòng)作對(duì)應(yīng)的聲音。
接口部480可接收數(shù)據(jù)或向外部傳送處理器470中處理或生成的信號(hào)。為此,接口部130可利用有線通信或無線通信方式與車輛內(nèi)部的控制部770、車輛駕駛輔助裝置400、檢測部760等執(zhí)行數(shù)據(jù)通信。
接口部480可從控制部770或檢測部760接收傳感器信息。
其中,傳感器信息可包含車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息中的至少一種。
這樣的傳感器信息可從航向傳感器(heading sensor)、橫擺傳感器(yaw sensor)、陀螺儀傳感器(gyro sensor)、定位模塊(position module)、車輛前進(jìn)/倒車傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車體傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器等中獲取。另外,定位模塊可包括用于接收GPS信息的GPS模塊。
另外,在傳感器信息中,可將與車輛行駛相關(guān)的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜率信息等稱為車輛行駛信息。
另外,接口部480可從車輛駕駛輔助裝置100接收信息或數(shù)據(jù)。特別是,接口部480可從車輛駕駛輔助裝置接收第二信息。其中,第二信息可以是基于影像中檢測出的行駛道路或行駛狀況來生成的關(guān)于車輛的位置的信息。
接口部480可接收通過包括于車輛駕駛輔助裝置100的相機(jī)195獲取的車輛前方影像數(shù)據(jù)或車輛周邊影像數(shù)據(jù)。
接口部480可從車輛駕駛輔助裝置100的處理器170接收對(duì)車輛前方影像或車輛周邊影像進(jìn)行處理的信息或數(shù)據(jù)。
接口部480可接收利用內(nèi)部相機(jī)195c獲取的乘坐者信息。其中,乘坐者信息可包括乘坐人員信息。
處理器470控制車輛用顯示裝置400內(nèi)的各單元的整體上的動(dòng)作。
處理器470可控制輸出部440,從而輸出通過通信部410、輸入部420或接口部480接收的信息或數(shù)據(jù)。處理器470可控制輸出部440,從而輸出存儲(chǔ)器430中存儲(chǔ)的信息或數(shù)據(jù)。處理器470可將接收的信息或數(shù)據(jù)直接輸出或加工后輸出。處理器470可通過顯示部441以視覺方式輸出信息或數(shù)據(jù)。處理器470可通過音響輸出部442以聽覺方式輸出信息或數(shù)據(jù)。
另外,處理器470可基于通過接口部480接收的信息或數(shù)據(jù)來生成新的信息。處理器470可控制顯示部441,從而顯示生成的信息或與生成的信息對(duì)應(yīng)的畫面。
處理器470可從位置信息模塊414接收GPS信息。處理器470可基于接收的GPS信息生成關(guān)于車輛700位置的第一信息。
處理器470可將第一信息反映在地圖,并通過輸出部440提供導(dǎo)航功能。其中,地圖可存儲(chǔ)在存儲(chǔ)器430,或者通過通信部410或接口部480從外部設(shè)備600、510、520接收。
處理器470可接收第二信息。其中,第二信息可以是關(guān)于基于影像生成的車輛700的位置的信息。
當(dāng)接收到第二信息時(shí),處理器470可將第二信息反映在地圖,從而通過輸出部440提供導(dǎo)航功能。其中,地圖可存儲(chǔ)在存儲(chǔ)器430,或者通過通信部410或接口部480從外部設(shè)備600、510、520接收。
處理器470可將第二信息優(yōu)先于第一信息反映在地圖。即,當(dāng)接收到第二信息時(shí),處理器470可代替第一信息而將第二信息反映在地圖。當(dāng)未接收到第二信息時(shí),處理器470可將第一信息反映在地圖。
當(dāng)?shù)谝恍畔⒎从吃诘貓D時(shí),處理器470可將與第一信息對(duì)應(yīng)的第一圖像顯示在顯示部441的一區(qū)域。并且,當(dāng)?shù)诙畔⒎从吃诘貓D時(shí),處理器470可將與第二信息對(duì)應(yīng)的第二圖像顯示在顯示部441的一區(qū)域。
當(dāng)在地圖中反映的信息從第一信息變換為第二信息時(shí),處理器470可在顯示部441顯示第一圖像的狀態(tài)下,控制將第一圖像變換為第二圖像。在此情況下,處理器170可隨著時(shí)間的推移,處理第一圖像使其逐漸地模糊顯示,并處理第二圖像使其逐漸地清楚顯示。通過如上所述的顯示方式,駕駛者不會(huì)對(duì)顯示的信息感到異質(zhì)感,并且較少地轉(zhuǎn)移視線而有助于安全駕駛。
當(dāng)?shù)诙畔⒎从吃诘貓D時(shí),處理器470可將基于第二信息的車輛的位置匹配于地圖上,并通過顯示部441進(jìn)行顯示。例如,處理器470可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。在第一信息和第二信息不一致的情況下,當(dāng)從反映了第一信息的地圖變更為反映了第二信息的地圖時(shí),車輛圖像的位置可能會(huì)相對(duì)地發(fā)生變化。
處理器470可將從基于第二信息的車輛的位置中生成的路徑顯示在顯示部441。在第一信息和第二信息不一致的情況下,當(dāng)從反映了第一信息的地圖變更為反映了第二信息的地圖時(shí),關(guān)于預(yù)設(shè)定的目的地的路徑也會(huì)發(fā)生變更。在此情況下,處理器170可將變更的路徑顯示在顯示部441。
當(dāng)車輛700從室內(nèi)向室外駛出時(shí),基于第二信息的車輛的位置可以是室內(nèi)。在此情況下,處理器470可將從基于室內(nèi)的第二信息的車輛的位置到目的地的路徑顯示在顯示部441。
另外,處理器170可利用專用集成電路(application specific integrated circuits,ASICs)、數(shù)字信號(hào)處理器(digital signal processors,DSPs)、數(shù)字信號(hào)處理設(shè)備(digital signal processing devices,DSPDs)、可編程邏輯設(shè)備(programmable logic devices,PLDs)、現(xiàn)場可編程門陣列(field programmable gate arrays,F(xiàn)PGAs)、處理器(processors)、控制器(controllers)、微控制器(micro-controllers),微處理器(microprocessors)、用于執(zhí)行其他功能的電性單元中的至少一種來實(shí)現(xiàn)。
供電部490可基于處理器470的控制供給各結(jié)構(gòu)元件的動(dòng)作所需的電源。特別是,供電部490可從車輛內(nèi)部的電池等供給到電源。
圖11是本發(fā)明的實(shí)施例的車輛用顯示裝置的處理器的詳細(xì)框圖。
參照?qǐng)D11,處理器470可包括:信息生成部1110、信息反映部1120。
信息生成部1110可從位置信息模塊414接收GPS信息。信息生成部1110可基于接收到的GPS信息生成關(guān)于車輛700位置的第一信息。
信息反映部1120可在地圖反映第一信息或第二信息。第二信息可以是關(guān)于基于影像生成的車輛700的位置的信息。第二信息可通過接口部480從車輛駕駛輔助裝置100接收。
另外,地圖可存儲(chǔ)在存儲(chǔ)器430,或者通過通信部410或接口部480從外部設(shè)備600、510、520接收。
信息反映部1120可將第二信息優(yōu)先于第一信息反映在地圖。即,當(dāng)接收到第二信息時(shí),信息反映部1120可代替第一信息而將第二信息反映在地圖。當(dāng)未接收到第二信息時(shí),信息反映部1120可將第一信息反映在地圖。
當(dāng)?shù)谝恍畔⒎从吃诘貓D時(shí),信息反映部1120可將與第一信息對(duì)應(yīng)的第一圖像顯示在顯示部441的一區(qū)域。并且,當(dāng)?shù)诙畔⒎从吃诘貓D時(shí),信息反映部1120可將與第二信息對(duì)應(yīng)的第二圖像顯示在顯示部441的一區(qū)域。
當(dāng)?shù)诙畔⒎从吃诘貓D時(shí),信息反映部1120可將基于第二信息的車輛的位置匹配于地圖上,并通過顯示部441進(jìn)行顯示。
信息反映部1120可將從基于第二信息的車輛的位置中生成的路徑顯示在顯示部441。當(dāng)車輛700從室內(nèi)向室外駛出時(shí),基于第二信息的車輛的位置可以是室內(nèi)。
另外,雖未圖示,根據(jù)實(shí)施例,處理器470可還包括判斷部(未圖示)。處理器470可從車輛駕駛輔助裝置100接收影像數(shù)據(jù)。此時(shí),影像數(shù)據(jù)可以是相機(jī)195中獲取的影像數(shù)據(jù)或?qū)λ鲇跋駭?shù)據(jù)進(jìn)行處理的處理數(shù)據(jù)。
判斷部(未圖示)可判斷第一信息和基于影像數(shù)據(jù)的行駛道路或行駛狀況是否一致。當(dāng)一致時(shí),信息反映部1120可將第一信息反映在地圖。當(dāng)不一致時(shí),信息反映部1120可將基于影像數(shù)據(jù)的行駛道路或行駛狀況反映在地圖。
圖12是在說明本發(fā)明的實(shí)施例的車輛用顯示裝置的動(dòng)作時(shí)作為參照的流程圖。
參照?qǐng)D12,處理器470可從位置信息模塊414接收GPS信息(步驟S1210)。
在接收到GPS信息的狀態(tài)下,處理器470可基于GPS信息生成第一信息(步驟S1220)。第一信息生成動(dòng)作可在信息生成部1110中執(zhí)行。
另外,第一信息可以是基于GPS信息的車輛700位置信息。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收第二信息。第二信息可以是關(guān)于基于影像生成的車輛700的位置的信息。
當(dāng)接收到第二信息時(shí)(步驟S1230),處理器470可代替第一信息而將第二信息反映在地圖(步驟S1240)。處理器470可通過顯示部441顯示反映了第二信息的地圖。處理器470可將與第二信息對(duì)應(yīng)的圖像顯示在顯示部441的一區(qū)域。
當(dāng)未接收到第二信息時(shí)(步驟1230),處理器470可將第一信息反映在地圖(步驟S1250)。處理器470可通過顯示部441顯示反映了第一信息的地圖。處理器470可將與第一信息對(duì)應(yīng)的圖像顯示在顯示部441的一區(qū)域。
圖13A至圖13B是在說明本發(fā)明的實(shí)施例的車輛行駛在高速國道或一般國道的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
如圖13A所示,當(dāng)車輛700行駛在高速國道1310時(shí),在導(dǎo)航中可顯示為行駛在位于高速國道1310周邊的一般國道1320。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為高速國道1310的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、里程碑、路面以及限速標(biāo)識(shí)牌中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路是否為高速國道。
當(dāng)從獲取的影像中未以預(yù)設(shè)定次數(shù)以上檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石時(shí),處理器170可將行駛中的道路檢測為高速國道1310。
當(dāng)檢測出的里程碑或路面上標(biāo)示的方向?yàn)橹挥型ㄟ^高速國道1310才能駛?cè)サ姆较驎r(shí),處理器170可將行駛中的道路檢測為高速國道1310。
當(dāng)檢測出的限速標(biāo)識(shí)牌的限制速度為高速國道1310的限制速度時(shí),處理器170可將行駛中的道路檢測為高速國道1310。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)確認(rèn)出基于第一信息的車輛1390行駛在位于高速國道1310周邊的一般國道1320時(shí),處理器170可判斷為檢測出的行駛道路和第一信息不一致。
在此情況下,處理器170可基于車輛700行駛中的道路為高速國道1310,生成第二信息并將其提供給顯示裝置400。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
處理器470可基于通過位置信息模塊414獲取的GPS信息來生成關(guān)于車輛700位置的第一信息。處理器470可將第一位置信息提供給車輛駕駛輔助裝置100。在本實(shí)施例中,基于第一信息的車輛1390的位置位于一般國道1320上。
當(dāng)接收到表示車輛700在高速國道1310行駛中的第二信息時(shí),處理器470可反映第二信息,并在顯示部441顯示為,車輛700在地圖上行駛在高速國道1310。
在此情況下,處理器470可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
如圖13B所示,當(dāng)車輛700行駛在一般國道1320時(shí),在導(dǎo)航中可顯示為行駛在位于一般國道1320周邊的高速國道1310。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為一般國道1320的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、里程碑、路面以及限速標(biāo)識(shí)牌中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路是否為一般國道1320。
當(dāng)從獲取的影像中以預(yù)設(shè)定次數(shù)以上檢測出信號(hào)燈、行人、二輪車、人行橫道以及用于區(qū)分車道和行人道的緣石中的至少一種時(shí),處理器170可將行駛中的道路檢測為一般國道1320。
當(dāng)檢測出的里程碑或路面上標(biāo)示的方向?yàn)橹挥型ㄟ^一般國道1320才能駛?cè)サ姆较驎r(shí),處理器170可將行駛中的道路檢測為一般國道1320。
當(dāng)檢測出的限速標(biāo)識(shí)牌的限制速度為一般國道1320的限制速度時(shí),處理器170可將行駛中的道路檢測為一般國道1320。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)確認(rèn)出基于第一信息的車輛1390行駛在位于一般國道1320周邊的高速國道1310時(shí),處理器170可判斷為檢測出的行駛道路和第一信息不一致。
在此情況下,處理器170可基于車輛700行駛中的道路為一般國道1320,生成第二信息并將其提供給顯示裝置400。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
處理器470可基于通過位置信息模塊414獲取的GPS信息來生成關(guān)于車輛700位置的第一信息。處理器470可將第一位置信息提供給車輛駕駛輔助裝置100。在本實(shí)施例中,基于第一信息的車輛1390的位置位于高速國道1310上。
當(dāng)接收到表示車輛700在一般國道1320行駛中的第二信息時(shí),處理器470反映第二信息,并在顯示部441顯示為,車輛700在地圖上行駛在一般國道1320。
在此情況下,處理器470可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
圖14A至圖14B是在說明本發(fā)明的實(shí)施例的車輛行駛在高架道路或一般道路的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
如圖14A所示,當(dāng)車輛700行駛在高架道路1410時(shí),在導(dǎo)航中可顯示為行駛在位于高架道路1410周邊的一般道路1420。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為高架道路1410的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱、基于高架道路的影子、里程碑、路面以及限速標(biāo)識(shí)牌中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路是否為高架道路。
當(dāng)從獲取的影像中未以預(yù)設(shè)定次數(shù)以上檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱以及基于高架道路的影子時(shí),處理器170可將行駛中的道路檢測為高架道路1410。
當(dāng)檢測出的里程碑或路面上標(biāo)示的方向?yàn)橹挥型ㄟ^高架道路1410才能駛?cè)サ姆较驎r(shí),處理器170可將行駛中的道路檢測為高架道路1410。
當(dāng)檢測出的限速標(biāo)識(shí)牌的限制速度為高架道路1410的限制速度時(shí),處理器170可將行駛中的道路檢測為高架道路1410。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)確認(rèn)出基于第一信息的車輛行駛在位于高架道路1410周邊的一般道路1420時(shí),處理器170可判斷為檢測出的行駛信息和第一信息不一致。
在此情況下,處理器170可基于車輛700行駛中的道路為高架道路1410,生成第二信息并將其提供給顯示裝置400。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
處理器470可基于通過位置信息模塊414獲取的GPS信息來生成關(guān)于車輛700位置的第一信息。處理器470可將第一位置信息提供給車輛駕駛輔助裝置100。在本實(shí)施例中,基于第一信息的車輛的位置位于一般道路1420上。
當(dāng)接收到表示車輛700在高架道路1410行駛中的第二信息時(shí),處理器470反映第二信息,并在顯示部441顯示為,車輛700在地圖上行駛在高架道路1410。
在此情況下,處理器170可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
如圖14B所示,當(dāng)車輛700行駛在一般道路1420時(shí),在導(dǎo)航中可顯示為行駛在位于一般道路1420周邊的高架道路1410。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為一般道路1420的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱、基于高架道路的影子、里程碑、路面以及限速標(biāo)識(shí)牌中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路是否為一般道路1420。
當(dāng)從獲取的影像中以預(yù)設(shè)定次數(shù)以上檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、用于支撐高架道路的立柱以及基于高架道路的影子中的至少一種時(shí),處理器170可將行駛中的道路檢測為一般道路1420。
當(dāng)檢測出的里程碑或路面上標(biāo)示的方向只有通過一般道路1420才能駛?cè)サ姆较驎r(shí),處理器170可將行駛中的道路檢測為一般道路1420。
當(dāng)檢測出的限速標(biāo)識(shí)牌的限制速度為一般道路1420的限制速度時(shí),處理器170可將行駛中的道路檢測為一般道路1420。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)確認(rèn)出基于第一信息的車輛行駛在位于一般道路1420周邊的高架道路1410時(shí),處理器170可判斷為檢測出的行駛道路和第一信息不一致。
在此情況下,處理器170可基于車輛700行駛中的道路為一般道路1420,生成第二信息并將其提供給顯示裝置400。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
處理器470可基于通過位置信息模塊414獲取的GPS信息來生成關(guān)于車輛700位置的第一信息。處理器470可將第一位置信息提供給車輛駕駛輔助裝置100。在本實(shí)施例中,基于第一信息的車輛1390的位置位于高架道路1410上。
當(dāng)接收到表示車輛700在一般道路1420行駛中的第二信息時(shí),處理器470可反映第二信息,并在顯示部441顯示為,車輛700在地圖上行駛在一般道路1420。
在此情況下,處理器470可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
圖15A至圖15B是在說明本發(fā)明的實(shí)施例的車輛行駛在地下車道或一般車道的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
如圖15A所示,當(dāng)車輛700行駛在地下車道1510時(shí),在導(dǎo)航中可顯示為行駛在位于地下車道1510周邊的一般車道1520。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為地下車道1510的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌、構(gòu)成地下車道的結(jié)構(gòu)物(例如,天花板或墻壁)、里程碑、路面以及限速標(biāo)識(shí)牌中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路是否為地下車道1510。
當(dāng)從獲取的影像中未以預(yù)設(shè)定次數(shù)以上檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石時(shí),處理器170可將行駛中的道路檢測為地下車道1510。
當(dāng)從獲取的影像中以預(yù)設(shè)定次數(shù)以上檢測出配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌、構(gòu)成地下車道的結(jié)構(gòu)物(例如,天花板或墻壁)時(shí),處理器170可將行駛中的道路檢測為地下車道。
當(dāng)檢測出的里程碑或路面上標(biāo)示的方向?yàn)橹挥型ㄟ^地下車道1510才能駛?cè)サ姆较驎r(shí),處理器170可將行駛中的道路檢測為地下車道1510。
當(dāng)檢測出的限速標(biāo)識(shí)牌的限制速度為地下車道1510的限制速度時(shí),處理器170可將行駛中的道路檢測為地下車道1510。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)確認(rèn)出基于第一信息的車輛行駛在位于地下車道1510周邊的一般車道1520時(shí),處理器170可判斷為檢測出的行駛道路信息和第一信息不一致。
在此情況下,處理器170可基于車輛700行駛中的道路為地下車道1510,生成第二信息并將其提供給顯示裝置400。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
處理器470可基于通過位置信息模塊414獲取的GPS信息來生成關(guān)于車輛700位置的第一信息。處理器470可將第一信息提供給車輛駕駛輔助裝置100。在本實(shí)施例中,基于第一信息的車輛的位置位于一般車道1520上。
當(dāng)接收到表示車輛700在地下車道1510行駛中的第二信息時(shí),處理器470可反映第二信息,并在顯示部441顯示為,車輛700在地圖上行駛在地下車道1510。
在此情況下,處理器170可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
如圖15B所示,當(dāng)車輛700行駛在一般車道1520時(shí),在導(dǎo)航中可顯示為行駛在位于一般車道1520周邊的地下車道1510。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為一般車道1520的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石、配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌、構(gòu)成地下車道的結(jié)構(gòu)物(例如,天花板或墻壁)、里程碑、路面以及限速標(biāo)識(shí)牌中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700行駛中的道路是否為一般車道1520。
當(dāng)從獲取的影像中以預(yù)設(shè)定次數(shù)以上檢測出信號(hào)燈、行人、二輪車、人行橫道、用于區(qū)分車道和行人道的緣石時(shí),處理器170可將行駛中的道路檢測為一般車道1520。
當(dāng)從獲取的影像中未以預(yù)設(shè)定次數(shù)以上檢測出配置于地下車道的照明、用于提示駛?cè)氲叵萝嚨赖慕煌?biāo)識(shí)牌、限高標(biāo)識(shí)牌、構(gòu)成地下車道的結(jié)構(gòu)物(例如,天花板或墻壁)時(shí),處理器170可將行駛中的道路檢測為一般車道1520。
當(dāng)檢測出的程碑或路面上標(biāo)示的方向?yàn)橹挥型ㄟ^一般車道1520才能駛?cè)サ姆较驎r(shí),處理器170可將行駛中的道路檢測為一般車道1520。
當(dāng)檢測出的限速標(biāo)識(shí)牌的限制速度為一般車道1520的限制速度時(shí),處理器170可將行駛中的道路檢測為一般車道1520。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的位置信息。
當(dāng)確認(rèn)出基于第一信息的車輛行駛在位于一般車道1520周邊的地下車道1510時(shí),處理器170可判斷為檢測出的行駛道路和第一信息不一致。
在此情況下,處理器170可基于車輛700行駛中的道路為一般車道1520,生成第二信息并將其提供給顯示裝置400。
圖16是在說明本發(fā)明的實(shí)施例的車輛逆向行駛在單向通行道路的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D16,當(dāng)車輛700逆向行駛在單向通行道路1610時(shí),在導(dǎo)航中因未能識(shí)別出行駛道路為單向通行道路1610,而可顯示為正向行駛。在此情況下,可將導(dǎo)航更新為表示車輛700行駛中的道路為單向通行道路1630的信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是信號(hào)燈1615、交通標(biāo)識(shí)牌1620、路面1630、已駐車于周邊的其他車輛1640中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700在單向通行道路的逆向行駛狀況。
當(dāng)從獲取的影像中檢測出信號(hào)燈的后部分1615時(shí),處理器170可檢測出車輛700的逆向行駛狀況。
當(dāng)檢測出與交通標(biāo)識(shí)牌1620或路面1630上標(biāo)示的文本或行駛方向相反方向的箭頭時(shí),處理器170可檢測出車輛700的逆向行駛狀況。
當(dāng)檢測出以與行駛方向相反方向駐車的其他車輛1640時(shí),處理器170可檢測出車輛700的逆向行駛狀況。
處理器170可判斷檢測出的行駛道路是否與從顯示裝置400接收的第一信息一致。其中,第一信息可以是基于GPS生成的車輛700的行駛狀況信息。
當(dāng)基于第一信息確認(rèn)出車輛行駛在雙向通行道路,或者正向行駛在單向通行道路時(shí),處理器170可判斷為檢測出的行駛狀況信息和第一信息不一致。
在此情況下,處理器170可基于車輛700在單向通行道路1630的逆向行駛狀況,生成第二信息并將其提供給顯示裝置400。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
處理器470可基于通過位置信息模塊414獲取的GPS信息以及地圖信息來生成關(guān)于車輛700位置的第一信息。處理器470可將第一信息提供給車輛駕駛輔助裝置100。在本實(shí)施例中,基于第一信息的行駛狀況為車輛行駛在雙向通行道路,或者車輛正向行駛在單向通行道路的狀況。
當(dāng)接收到表示車輛700在單向通行道路1630逆向行駛中的第二信息時(shí),處理器470可反映第二信息。處理器470可在地圖上將車輛700行駛中的道路轉(zhuǎn)換為單向通行道路,并將其顯示在顯示部441。
在此情況下,處理器170可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
圖17A至圖17B是在說明本發(fā)明的實(shí)施例的車輛行駛在室內(nèi)的情況下的車輛駕駛輔助裝置或車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
如圖17A所示,當(dāng)車輛700行駛在室內(nèi)時(shí),在導(dǎo)航中可未能正確地顯示出車輛700的行駛信息。在此情況下,可將導(dǎo)航更新為車輛700在室內(nèi)的行駛狀況信息。
首先,對(duì)車輛駕駛輔助裝置100的動(dòng)作進(jìn)行說明。
處理器170可從利用相機(jī)195獲取的影像中檢測對(duì)象。其中,對(duì)象可以是已駐車的車輛、立柱、構(gòu)成室內(nèi)的結(jié)構(gòu)物、進(jìn)出口、設(shè)置于室內(nèi)的照明中的至少一種。
處理器170可基于檢測出的對(duì)象來檢測車輛700位于室內(nèi)。
另外,處理器170可從車輛用顯示裝置400接收第一信息。其中,第一信息可以是基于GPS生成的車輛700的位置信息。當(dāng)車輛700位于室內(nèi)時(shí),處理器170可從車輛用顯示裝置400接收第一信息。當(dāng)未接收到第一信息時(shí),處理器170可檢測為車輛700位于室內(nèi)。
當(dāng)車輛700位于室內(nèi)時(shí),處理器170可將基于從獲取的影像中檢測出的方向標(biāo)識(shí)牌1710、1720來生成的第二信息提供給車輛用顯示裝置400。
室內(nèi)停車場可設(shè)有用于給駕駛者指路的方向標(biāo)識(shí)牌1710、1720。在此情況下,處理器170可檢測方向標(biāo)識(shí)牌1710、1720。處理器170可基于方向標(biāo)識(shí)牌1710、1720,生成第二信息并將其提供給車輛用顯示裝置400。
另外,當(dāng)車輛700從室內(nèi)向室外駛出時(shí),可在駛出到室外后經(jīng)過規(guī)定時(shí)間才能接收基于GPS的第一信息。在此情況下,當(dāng)未接收到所述第一信息時(shí),處理器170可提供基于從獲取的影像中檢測出的里程碑、建筑物、方向標(biāo)識(shí)牌來生成的第二信息。例如,可在通過出口向室外駛出的時(shí)點(diǎn),處理器170從利用相機(jī)195獲取的影像中檢測出位于室外的里程碑、建筑物、方向標(biāo)識(shí)牌。處理器170可提供基于所述里程碑、建筑物、方向標(biāo)識(shí)牌來生成的第二信息。
接著,對(duì)提供導(dǎo)航功能的車輛用顯示裝置400的動(dòng)作進(jìn)行說明。
當(dāng)接收到表示車輛700在地下車道1510行駛中的第二信息時(shí),處理器470可反映第二信息,并在顯示部441顯示為,車輛700在地圖上位于規(guī)定建筑物的室內(nèi)。
當(dāng)行駛在室內(nèi)時(shí),處理器470可反映行駛狀況并將其顯示在顯示部441。
在此情況下,處理器170可將與車輛700對(duì)應(yīng)的車輛圖像顯示在反映了第二信息的地圖上。并且,當(dāng)預(yù)設(shè)定有目的地時(shí),處理器470可反映第二信息,生成并顯示至目的地的路徑。
另外,當(dāng)車輛700從室內(nèi)向室外駛出時(shí),處理器470可將接收到的第二信息反映在地圖并顯示在顯示部441。在此情況下,第二信息可以是基于從影像中檢測出的里程碑、建筑物、方向標(biāo)識(shí)牌來生成的車輛的位置信息。
如圖17B所示,處理器470可在反映了第二信息的地圖上將從車輛700所處的地點(diǎn)至預(yù)設(shè)定的目的地的路徑1730顯示在顯示部441。此時(shí),車輛700的位置可以是規(guī)定建筑物的室內(nèi)。
圖18A至圖18D是在說明本發(fā)明的實(shí)施例的第一信息或第二信息反映在地圖的情況下的車輛用顯示裝置的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D18A,當(dāng)以基于GPS信息的第一信息為基礎(chǔ)提供導(dǎo)航功能時(shí),車輛用顯示裝置的處理器470可將第一圖標(biāo)1810顯示在顯示部441的一區(qū)域。其中,第一圖標(biāo)1810可以是與第一信息對(duì)應(yīng)的圖標(biāo)。即,第一圖標(biāo)1810是向駕駛者表示基于第一信息提供導(dǎo)航功能的圖標(biāo)。
另外,處理器470可通過音響輸出部442輸出表示基于第一信息提供導(dǎo)航功能的信息。
參照?qǐng)D18B,當(dāng)以基于影像信息的第二信息為基礎(chǔ)提供導(dǎo)航功能時(shí),車輛用顯示裝置的處理器470可將第二圖標(biāo)1820顯示在顯示部441的一區(qū)域。其中,第二圖標(biāo)1820可以是與第二信息對(duì)應(yīng)的圖標(biāo)。即,第二圖標(biāo)1820是向駕駛者表示基于第二信息提供導(dǎo)航功能的圖標(biāo)。
另外,處理器470可通過音響輸出部442輸出表示基于第二信息提供導(dǎo)航功能的信息。
參照?qǐng)D18C,在基于第一信息提供導(dǎo)航功能的狀態(tài)下,車輛用顯示裝置的處理器470可將第一圖標(biāo)1810顯示在顯示部441的一區(qū)域。
在顯示第一圖標(biāo)1810的狀態(tài)下,當(dāng)導(dǎo)航中使用的信息從第一信息變更為第二信息時(shí),處理器470可將第一圖標(biāo)1810變更顯示為第二圖標(biāo)1820。此時(shí),處理器470可使第一圖標(biāo)1810逐漸地消失。處理器470可在原先配置第一圖標(biāo)1810的區(qū)域顯示第二圖標(biāo)1810。此時(shí),處理器470可處理第二圖標(biāo)1810使其逐漸地變得清楚。通過如上所述的顯示方式,駕駛者不會(huì)對(duì)顯示的信息感到異質(zhì)感,并且較少地轉(zhuǎn)移視線而有助于安全駕駛。
圖18D是在說明本發(fā)明的實(shí)施例的更新限速信息的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D18D,在車輛700行駛中,車輛駕駛輔助裝置100的處理器170可從獲取的影像中檢測限速交通標(biāo)識(shí)牌1830。
從限速交通標(biāo)識(shí)牌1830中檢測出的限制速度和從導(dǎo)航功能中提供的車輛用顯示裝置400提供的限制速度1840可能會(huì)不同。在此情況下,處理器170可將限速信息提供給車輛用顯示裝置400。
接收到限速信息的車輛用顯示裝置400的處理器470可將反映了接收的限速信息1850的畫面顯示在顯示部441。
另外,車輛用顯示裝置400的處理器470可通過通信部410向外部設(shè)備600、510、520傳送實(shí)際限速信息。
外部設(shè)備600、510、520可基于接收到的實(shí)際限速信息來更新數(shù)據(jù)庫。
圖19是在說明本發(fā)明的實(shí)施例的將建議路線規(guī)劃(Turn By Turn,TBT)圖像匹配顯示在與行駛中的車線對(duì)應(yīng)的地點(diǎn)的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D19,處理器470可控制顯示部441,從而顯示地圖1900。圖19中例示出以鳥瞰圖形式顯示地圖1900,但是本發(fā)明并不限定于此,處理器470可以多種形式顯示地圖。
顯示部441可實(shí)現(xiàn)為在風(fēng)擋的一區(qū)域顯示畫面。在此情況下,處理器470可控制顯示部441在風(fēng)擋的一區(qū)域顯示地圖1900。
處理器470可控制顯示部441在地圖1900上顯示車輛700的當(dāng)前位置。處理器470可基于GPS信息顯示車輛700的當(dāng)前位置。處理器470可使與車輛700對(duì)應(yīng)的圖像700i在地圖1900上顯示為位于與車輛700的位置對(duì)應(yīng)的地點(diǎn)1920。
另外,標(biāo)識(shí)符號(hào)1910、1920、1930、1940、1950、1960及1970表示與道路上的車輛的位置對(duì)應(yīng)的地圖1900上的地點(diǎn)。標(biāo)識(shí)符號(hào)1911、1921、1931、1941、1951、1961及1971表示當(dāng)車輛分別位于所述地圖1900上的地點(diǎn)1910、1920、1930、1940、1950、1960、1970時(shí)顯示的畫面。此時(shí),處理器470可控制顯示部441,從而將各畫面顯示在風(fēng)擋的一區(qū)域。
當(dāng)車輛700在道路上位于第一位置時(shí),處理器470可控制顯示部441,從而在與第一位置對(duì)應(yīng)的第一地點(diǎn)1910顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441,從而在風(fēng)擋顯示第一畫面1911。
處理器470可在第一畫面1911顯示TBT圖像1912、至變換地點(diǎn)的剩余距離1913、限制速度1914以及車輛行駛速度1915。
當(dāng)車輛700在道路上位于第二位置時(shí),處理器470可控制顯示部441,從而在與第二位置對(duì)應(yīng)的第二地點(diǎn)1920顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441在風(fēng)擋顯示第二畫面1921。
處理器470可將TBT圖像1922顯示在第二畫面1921。
處理器470可控制顯示部441,從而將TBT圖像1922顯示在與行駛中的車線對(duì)應(yīng)的第一區(qū)域1923。處理器470可控制顯示部441,從而使第一區(qū)域1923和第二區(qū)域1924以相互不同的顏色進(jìn)行顯示。其中,第一區(qū)域1923可以是與車輛700行駛中的車線對(duì)應(yīng)的區(qū)域。第二區(qū)域1924可以是與除去車輛700行駛中的車線以外的其他車線對(duì)應(yīng)的區(qū)域。例如,第二區(qū)域1924可以是與車輛700在路徑上需要駛?cè)氲能嚲€對(duì)應(yīng)的區(qū)域。
另外,處理器470可控制顯示部441,從而使TBT圖像1922反映出遠(yuǎn)近感進(jìn)行顯示。例如,處理器470可根據(jù)長度方向而不同地顯示TBT圖像1922的寬度,從而能夠反映出遠(yuǎn)近感。
當(dāng)車輛700在道路上位于第三位置時(shí),處理器470可控制顯示部441,從而在與三位置對(duì)應(yīng)的第三地點(diǎn)1930顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441,從而在風(fēng)擋顯示第三畫面1931。
當(dāng)車輛700在道路上位于第四位置時(shí),處理器470可控制顯示部441,從而在與第四位置對(duì)應(yīng)的第四地點(diǎn)1940顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441,從而在風(fēng)擋顯示第四畫面1941。
處理器470可控制顯示部441,從而在未與行駛中的車線對(duì)應(yīng)的區(qū)域顯示TBT圖像1943。
當(dāng)車輛700在道路上位于第五位置時(shí),處理器470可控制顯示部441,從而在與第五位置對(duì)應(yīng)的第五地點(diǎn)1950顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441,從而在風(fēng)擋顯示第五畫面1951。
當(dāng)車輛700在道路上位于第六位置時(shí),處理器470可控制顯示部441,從而在與第六位置對(duì)應(yīng)的第六地點(diǎn)1960顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441,從而在風(fēng)擋顯示第六畫面1961。
當(dāng)車輛700在道路上位于第七位置時(shí),處理器470可控制顯示部441,從而在在與第七位置對(duì)應(yīng)的第七地點(diǎn)1970顯示車輛圖像700i。此時(shí),處理器470可控制顯示部441,從而在風(fēng)擋顯示第七畫面1971。
圖20A至圖20B是在說明本發(fā)明的實(shí)施例的呈現(xiàn)在風(fēng)擋的一區(qū)域的畫面時(shí)作為參照的示意圖。
參照?qǐng)D20A,處理器470可通過接口部480從車輛駕駛輔助裝置100接收行駛中的車線信息。
處理器470可控制顯示部441,從而在風(fēng)擋的一區(qū)域顯示畫面2011。處理器470可將畫面2011顯示在第一區(qū)域。其中,第一區(qū)域可以是與行駛中的車線對(duì)應(yīng)的區(qū)域。例如,第一區(qū)域可以是在用戶看去行駛中的車線2020時(shí),用戶的視線和風(fēng)擋交匯的地點(diǎn)的一區(qū)域。
另外,處理器470可控制顯示部441,從而以半透明方式顯示畫面2011。顯示部441可包括透明顯示器或投射模塊,處理器470可控制所述透明顯示器或投射模塊并以半透明方式顯示畫面2011。根據(jù)實(shí)施例,處理器470可控制顯示部441,從而調(diào)節(jié)畫面2011的透明度。顯示部441可包括透明顯示器或投射模塊,處理器470可控制所述透明顯示器或投射模塊并調(diào)節(jié)透明度。
處理器470可控制顯示部441,從而顯示與行駛中的車線對(duì)應(yīng)的行駛車線圖像2030。在此情況下,處理器470可將與除去行駛車線以外的其他車線對(duì)應(yīng)的圖像2031、2032與行駛車線圖像2030一同進(jìn)行顯示。
處理器470可在行駛車線圖像2030上顯示TBT圖像2012。
處理器470可控制顯示部441,從而在畫面2011顯示TBT圖像。處理器470可控制顯示部441,從而使TBT圖像2012反映出遠(yuǎn)近感進(jìn)行顯示。例如,處理器470可根據(jù)TBT圖像2012的長度方向l而不同地顯示寬度w1、w2,從而反映出遠(yuǎn)近感進(jìn)行顯示。處理器470可在TBT圖像2012中使靠近用戶的部分的寬度w1比遠(yuǎn)離用戶的部分的寬度w2更大地進(jìn)行顯示,從而反映出遠(yuǎn)近感。
處理器470可控制顯示部441,從而在第一畫面2011顯示至變換地點(diǎn)的剩余距離2013信息。處理器470可控制顯示部441,從而在第一畫面2011顯示限速信息2014或車輛行駛速度信息2015。
參照?qǐng)D20B,處理器470可控制接口部480并從車輛駕駛輔助裝置100接收行駛中的車線信息。
處理器470可控制顯示部441,從而在風(fēng)擋的第一區(qū)域顯示TBT圖像2050。其中,第一區(qū)域2060可以是與行駛中的車線對(duì)應(yīng)的區(qū)域。即,第一區(qū)域2060可以是在用戶經(jīng)由風(fēng)擋看去路面時(shí),用戶的視線和風(fēng)擋交匯的風(fēng)擋的一區(qū)域。
另外,處理器470可控制顯示部441,從而使與行駛中的車線對(duì)應(yīng)的風(fēng)擋的第一區(qū)域2060和與不是行駛中的車線的其他車線對(duì)應(yīng)的風(fēng)擋的第二區(qū)域2070以相互不同的顏色進(jìn)行顯示。
如圖20B所示,處理器470可控制顯示部441,從而使TBT圖像2050反映出遠(yuǎn)近感進(jìn)行顯示。
圖21A至圖21B是在說明本發(fā)明的實(shí)施例的與車線變更對(duì)應(yīng)的TBT圖像顯示動(dòng)作時(shí)作為參照的示意圖。
處理器470可控制顯示部441,從而在需要從行駛中的車線向相鄰車線進(jìn)行車線變更時(shí),可顯示與車線變更對(duì)應(yīng)的TBT圖像。
參照?qǐng)D21A,處理器470可控制顯示部441,從而顯示與車線變更對(duì)應(yīng)的TBT圖像。其中,車線變更可因道路駛?cè)牖蝰偝?、行駛道路變更等,在路徑上根?jù)需要而被要求。
與車線變更對(duì)應(yīng)的TBT圖像可以與方向轉(zhuǎn)換對(duì)應(yīng)的TBT圖像不同的形態(tài)進(jìn)行顯示。與車線變更對(duì)應(yīng)的TBT圖像可以與方向轉(zhuǎn)換對(duì)應(yīng)的TBT圖像不同的形狀、不同的顏色、不同的透明度或不同的線形態(tài)進(jìn)行顯示。如圖21A所示,與車線變更對(duì)應(yīng)的TBT圖像可以虛線方式進(jìn)行顯示。
參照?qǐng)D21B,處理器470可控制顯示部441,從而在決定了車線變更地點(diǎn)時(shí),顯示用于提示車線變更地點(diǎn)的指示器2120。其中,車線變更地點(diǎn)2130可基于在相鄰車線行駛中的車輛、至變換地點(diǎn)的距離進(jìn)行決定。在相鄰車線行駛中的車輛可利用車輛駕駛輔助裝置100進(jìn)行檢測。至變換地點(diǎn)的距離可基于地圖及GPS信息進(jìn)行確認(rèn)。
處理器470可利用指示器2120在變更預(yù)定車線2130從車線變更地點(diǎn)開始以與其他區(qū)域相區(qū)別的顏色進(jìn)行顯示。
圖22是在說明本發(fā)明的實(shí)施例的與多條岔路對(duì)應(yīng)的區(qū)域顯示動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D22,處理器470可控制顯示部441,從而在行駛中的車線形成有多條岔路時(shí),使與第一岔路對(duì)應(yīng)的風(fēng)擋的第一區(qū)域2220及與第二岔路對(duì)應(yīng)的風(fēng)擋的第二區(qū)域2230以相互不同的顏色進(jìn)行顯示。其中,第一岔路是在多條岔路中與地圖上的路徑相匹配的長度,第二岔路是在多條岔路中除去第一岔路以外的其他岔路。
圖23A至圖23L是在說明本發(fā)明的實(shí)施例的還顯示與信息對(duì)應(yīng)的圖像的動(dòng)作時(shí)作為參照的示意圖。
處理器470可控制顯示部441,從而顯示與信息對(duì)應(yīng)的圖像。處理器470可通過通信部410或輸入部420接收信息?;蛘撸幚砥?70可通過接口部480從車輛駕駛輔助裝置100、檢測部760或控制部770接收信息。
如圖23A所示,處理器470可控制顯示部441,從而顯示與道路的限速信息對(duì)應(yīng)的圖像2301、2302、2303。
車輛駕駛輔助裝置100可通過識(shí)別交通標(biāo)識(shí)牌來檢測道路的限速信息。處理器470可通過接口部480從車輛駕駛輔助裝置100接收限速信息。
當(dāng)?shù)缆钒ǘ鄠€(gè)車線時(shí),可使各車線的限制速度相互不同。例如,第一車線的限制速度可以是80km、第二車線的限制速度可以是60km、第三車線的限制速度可以是40km。在此情況下,處理器470可在與各車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域顯示與各車線的限制速度對(duì)應(yīng)的圖像2301、2302、2303。此時(shí),處理器470可控制顯示部441,從而使各圖像2301、2302、2303顯示為與道路的路面形成的平面相同的平面。通過如上所述的圖像2301、2302、2303顯示方式,用戶能夠直觀地識(shí)別出各車線的限制速度。
如圖23B所示,處理器470可控制顯示部441,從而顯示與車輛700朝向的方向信息對(duì)應(yīng)的圖像2305。此時(shí),圖像2305可以是指南針圖像。
處理器470可通過接口部480從檢測部760接收車輛方向信息。其中,車輛方向信息可以是從航向傳感器檢測出的信息。
處理器470可使車輛方向顯示為朝東西南北中的哪個(gè)方向行駛中。
另外,處理器470在車輛方向變更時(shí),可根據(jù)方向變更而動(dòng)畫處理圖像2305來自然地進(jìn)行變更。
如23C所示,處理器470可控制顯示部441,從而顯示與車線信息對(duì)應(yīng)的圖像2311、2312、2313。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收車線信息。
車輛駕駛輔助裝置100可基于交通標(biāo)識(shí)牌圖像或路面圖像來檢測車線信息。其中,車線信息可以是關(guān)于在變換地點(diǎn)中屬于直行、左轉(zhuǎn)、右轉(zhuǎn)、掉頭中的哪個(gè)車線的信息。
處理器470可顯示與各個(gè)車線信息對(duì)應(yīng)的直行、左轉(zhuǎn)、右轉(zhuǎn)、掉頭圖像中的一個(gè)圖像。在此情況下,處理器470可將各個(gè)圖像顯示在與各個(gè)車線對(duì)應(yīng)的風(fēng)擋的區(qū)域。
如圖23D所示,處理器470可控制顯示部441,從而顯示與車線信息對(duì)應(yīng)的圖像2315。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收車線信息。
車輛駕駛輔助裝置100可基于交通標(biāo)識(shí)牌圖像或路面圖像來檢測車線信息。其中,車線信息可以是兒童保護(hù)車線或巴士專用車線信息。
處理器470可控制顯示部441,從而在與車線對(duì)應(yīng)的風(fēng)擋的區(qū)域顯示與兒童保護(hù)車線或巴士專用車線信息對(duì)應(yīng)的圖像2315。
如圖23E所示,處理器470可控制顯示部441,從而顯示與對(duì)象2321、2325的距離或速度信息對(duì)應(yīng)的圖像2322、2326。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收對(duì)象信息。
車輛駕駛輔助裝置100可檢測對(duì)象并生成對(duì)象信息。其中,對(duì)象信息可包含對(duì)象的存在與否、與對(duì)象的距離、對(duì)象的速度。另外,車輛駕駛輔助裝置100可基于立體相機(jī)的視差計(jì)算或單色相機(jī)中的與時(shí)間對(duì)應(yīng)的對(duì)象大小的變化來算出與對(duì)象的距離及速度。
處理器470可控制顯示部441,從而顯示對(duì)象信息。處理器470可控制顯示部441,從而根據(jù)與對(duì)象的距離來不同地顯示對(duì)象信息。
例如,處理器470可控制顯示部441,從而根據(jù)與對(duì)象的距離改變透明度、顏色、大小并顯示與對(duì)象的信息對(duì)應(yīng)的圖像2322、2326。
如圖23F所示,處理器470可控制顯示部441,從而顯示與車線變更信息對(duì)應(yīng)的圖像。
當(dāng)在行駛中由用戶輸入用于車線變更的轉(zhuǎn)向燈信息時(shí),處理器470可通過接口部480從控制部770接收轉(zhuǎn)向燈信息。處理器470可通過轉(zhuǎn)向燈信息確認(rèn)用戶的車線變更意圖。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收變更預(yù)定車線的對(duì)象信息。
車輛駕駛輔助裝置100可基于環(huán)視影像在變更預(yù)定車線檢測對(duì)象。
處理器470可控制顯示部441,從而顯示與車線變更信息對(duì)應(yīng)的圖像。
如標(biāo)識(shí)符號(hào)2330a所示,在輸入有轉(zhuǎn)向燈的狀態(tài)下,當(dāng)在規(guī)定距離內(nèi)的變更預(yù)定車線未檢測出對(duì)象時(shí),處理器470可控制顯示部441,從而以第一顏色顯示與變更預(yù)定車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域2331。其中,第一顏色可以是用戶能夠直觀地認(rèn)知可進(jìn)行車線變更的顏色。例如,第一顏色可以是綠色。
在輸入有轉(zhuǎn)向燈的狀態(tài)下,當(dāng)在規(guī)定距離內(nèi)的變更預(yù)定車線未檢測出對(duì)象時(shí),處理器470可控制顯示部441,從而顯示第一顏色的箭頭圖像2332。其中,第一顏色可以是用戶能夠直觀地認(rèn)知可進(jìn)行車線變更的顏色。例如,第一顏色可以是綠色。
如標(biāo)識(shí)符號(hào)2330b所示,在輸入有轉(zhuǎn)向燈的狀態(tài)下,當(dāng)在規(guī)定距離內(nèi)的變更預(yù)定車線檢測出對(duì)象時(shí),處理器470可控制顯示部441,從而以第二顏色顯示與變更預(yù)定車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域2333。其中,第二顏色可以是用戶能夠直觀地認(rèn)知在進(jìn)行車線變更時(shí)存在事故隱患的顏色。例如,第二顏色可以是紅色。
在輸入有轉(zhuǎn)向燈的狀態(tài)下,當(dāng)在規(guī)定距離內(nèi)的變更預(yù)定車線檢測出對(duì)象時(shí),處理器470可控制顯示部441,從而顯示第二顏色的箭頭圖像2334。其中,第二顏色可以是用戶能夠直觀地認(rèn)知在進(jìn)行車線變更時(shí)存在事故隱患的顏色。例如,第二顏色可以是紅色。
另外,當(dāng)在規(guī)定距離內(nèi)的變更預(yù)定車線檢測出對(duì)象時(shí),處理器470可控制顯示部441,從而顯示用于提示需要加速的圖標(biāo)2335。其中,圖標(biāo)可以是加速踏板圖像。處理器470可顯示圍繞加速踏板圖像的圓圈(rim),并根據(jù)所需加速的程度來不同地顯示標(biāo)示在圓圈的顏色。
如圖23G所示,處理器470可控制顯示部441,從而顯示與車線信息對(duì)應(yīng)的圖像2341、2342。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收車線信息。
車輛駕駛輔助裝置100可檢測車線。特別是,在夜間可調(diào)節(jié)相機(jī)的曝光程度,從而在較暗環(huán)境下也能夠檢測出車線并生成車線信息。
處理器470可控制顯示部441,從而在與實(shí)際車線對(duì)應(yīng)的區(qū)域顯示車線圖像2341、2342。
另外,處理器470可通過存儲(chǔ)在存儲(chǔ)器430的地圖數(shù)據(jù)來確認(rèn)前方道路的上坡或下坡與否。在此情況下,處理器470可反映上坡或下坡與否,從而立體地顯示車線圖像2342。
如圖23H所示,處理器470可控制顯示部441,從而顯示與對(duì)象信息對(duì)應(yīng)的圖像2345、2346。
另外,車輛700可還包括夜視裝置(未圖示)。夜視裝置(未圖示)可利用熱紅外線相機(jī)檢測對(duì)象。其中,對(duì)象可以是釋放出熱量的人或動(dòng)物。
處理器470可通過接口部480從夜視裝置(未圖示)接收對(duì)象信息。
處理器470在夜間行駛時(shí),可在與對(duì)象所處的區(qū)域?qū)?yīng)的風(fēng)擋的一區(qū)域顯示與接收的對(duì)象信息對(duì)應(yīng)的圖像2345。
另外,車輛700可還包括雷達(dá)裝置(未圖示)或激光雷達(dá)裝置(未圖示)。雷達(dá)裝置(未圖示)可利用電波檢測對(duì)象。激光雷達(dá)裝置(未圖示)可利用紅外線激光檢測對(duì)象。
處理器470可通過接口部480從雷達(dá)裝置(未圖示)或激光雷達(dá)裝置(未圖示)接收對(duì)象信息。
處理器470在壞天氣行駛時(shí),可在與對(duì)象所處的區(qū)域?qū)?yīng)的風(fēng)擋的一區(qū)域顯示與接收的對(duì)象信息對(duì)應(yīng)的圖像2346。
如圖23I所示,處理器470可控制顯示部441,從而顯示與對(duì)象信息對(duì)應(yīng)的圖像。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收對(duì)象信息。
車輛駕駛輔助裝置100可基于車輛前方影像或車輛周邊影像來檢測對(duì)象。其中,對(duì)象可以是行人、其他車輛或車線。
當(dāng)接收到行人2351檢測信息時(shí),處理器470可在風(fēng)擋的一區(qū)域顯示與信息對(duì)應(yīng)的注意行人圖像2352。
當(dāng)接收到靠近的其他車輛2353的向行駛車線的車線變更信息時(shí),處理器470可在風(fēng)擋的一區(qū)域顯示與信息對(duì)應(yīng)的注意碰撞圖像2356。
當(dāng)接收到車輛700脫離行駛車線的信息時(shí),處理器470可在風(fēng)擋的一區(qū)域顯示與信息對(duì)應(yīng)的注意脫離車線的圖像2355。
如圖23J所示,處理器470可控制顯示部441,從而在駐車時(shí)顯示與方向盤旋轉(zhuǎn)信息對(duì)應(yīng)的圖像2360。
處理器470可通過接口部480從檢測部760接收方向盤旋轉(zhuǎn)信息。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收周邊對(duì)象信息。
處理器470可基于周邊對(duì)象信息及方向盤旋轉(zhuǎn)信息來顯示與駐車中車輛700位置及方向盤旋轉(zhuǎn)信息對(duì)應(yīng)的圖像2360。具體而言,可根據(jù)方向盤旋轉(zhuǎn)程度、根據(jù)與周邊車輛的碰撞可能性的程度來改變方向盤圖像2360的顏色并進(jìn)行顯示。
當(dāng)根據(jù)方向盤旋轉(zhuǎn)程度而預(yù)計(jì)出與周邊車輛的碰撞可能性時(shí),處理器470可以第一顏色顯示方向盤圖像的顏色。
當(dāng)根據(jù)方向盤旋轉(zhuǎn)程度而未預(yù)計(jì)出與周邊車輛的碰撞可能性時(shí),處理器470可以第二顏色顯示方向盤圖像的顏色。
當(dāng)根據(jù)方向盤旋轉(zhuǎn)程度而預(yù)計(jì)出與周邊車輛的碰撞可能性處于規(guī)定范圍內(nèi)時(shí),處理器470可以第三顏色顯示方向盤圖像的顏色。
如圖23K所示,處理器470可控制顯示部441,從而顯示與車頭燈的動(dòng)作信息對(duì)應(yīng)的圖像2370。
處理器470可通過接口部480從控制部770接收車頭燈的動(dòng)作信息。其中,當(dāng)車頭燈由多個(gè)車燈模塊構(gòu)成時(shí),車頭燈的動(dòng)作信息可根據(jù)對(duì)向車或前行車的位置而是多個(gè)車燈模塊各個(gè)的開啟/關(guān)閉信息。
處理器470可在風(fēng)擋的一區(qū)域顯示與多個(gè)車燈模塊中開啟的車燈模塊及關(guān)閉的車燈模塊信息對(duì)應(yīng)的圖像2370。
如圖23L所示,處理器470可控制顯示部441,從而顯示與至目的地的剩余距離信息對(duì)應(yīng)的圖像2380。
處理器470可顯示與從出發(fā)地至目的地的路徑對(duì)應(yīng)的第一顏色的條(bar)形態(tài),并且越是靠近目的地,使所述條的內(nèi)部區(qū)域變更顯示為第二顏色。在此情況下,用第一顏色顯示的區(qū)域可對(duì)應(yīng)于剩余距離信息,用第二顏色顯示的區(qū)域?qū)?yīng)于行駛距離信息。
圖24A至圖24B是在說明本發(fā)明的實(shí)施例的信息顯示動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D24A,處理器470可控制顯示部441,從而在與行駛中的車線對(duì)應(yīng)的風(fēng)擋的第一區(qū)域顯示第一圖像2410。處理器470可控制顯示部441,從而在與除去行駛中的車線以外的其他車線對(duì)應(yīng)的風(fēng)擋的第二區(qū)域顯示第二圖像2420。處理器470可使第一圖像和第二圖像以相互不同的形狀或相互不同的顏色進(jìn)行顯示。
例如,處理器470可控制顯示部441,從而使第一圖像2410顯示為與行駛中的車線形成的平面2415形成規(guī)定角度。在此情況下,處理器470可控制顯示部441,從而使第二圖像2420顯示為與其他車線形成的平面2425處于相同的平面上。
如上所述,通過使顯示在行駛中的車線的圖像和顯示在除去行駛中的車線以外的其他車線的圖像不同地進(jìn)行顯示,能夠使用戶加深認(rèn)知顯示在行駛中的車線的圖像。
另外,第一圖像可對(duì)應(yīng)于第一信息,第二圖像可對(duì)應(yīng)于與第一信息不同的第二信息。即,處理器470可在第一區(qū)域和第二區(qū)域顯示相互不同的信息。例如,處理器470可在第一區(qū)域顯示限速信息,在第二區(qū)域顯示巴士專用車線運(yùn)行時(shí)間信息。
參照?qǐng)D24B,處理器470可控制顯示部441,從而在與行駛中的車線對(duì)應(yīng)的風(fēng)擋的第一區(qū)域顯示第一圖像2430。
處理器470可控制顯示部441,從而使第一圖像2410顯示為與行駛中的車線形成的平面2415形成規(guī)定角度。
處理器470可通過動(dòng)畫處理來變更所述規(guī)定角度進(jìn)行顯示。
處理器470可隨著時(shí)間的推移,變更所述規(guī)定角度的大小進(jìn)行顯示。例如,隨著時(shí)間的推移,處理器470可使所述規(guī)定角度顯示為其大小逐漸地變大。
處理器470可根據(jù)與規(guī)定地點(diǎn)的距離,變更所述規(guī)定角度的大小進(jìn)行顯示。例如,當(dāng)車輛700在設(shè)置有測速探頭的道路行駛中時(shí),與測速探頭的距離越靠近,處理器470可使所述規(guī)定角度顯示為其逐漸地變大。
如上所述,通過變更顯示第一圖像2410和平面2415的規(guī)定角度,能夠提高用戶對(duì)第一圖像2410的集中力,從而將重要的信息較好地傳遞給用戶。
另外,處理器470可控制顯示部441,從而根據(jù)重要度使第一圖像或第二圖像與行駛中的車線或其他車線形成的平面形成規(guī)定角度進(jìn)行顯示。
重要度可被預(yù)先設(shè)定。當(dāng)車輛700在高速道路行駛中時(shí),可使限速信息的重要度被設(shè)定為最高。當(dāng)車輛700在城市中心道路行駛中時(shí),可使兒童保護(hù)區(qū)間信息的重要度被設(shè)定為最高。當(dāng)車輛700在國道行駛中時(shí),可使人行橫道信息的重要度被設(shè)定為最高。
圖25A至圖25C是在說明本發(fā)明的實(shí)施例的目的地被預(yù)設(shè)定的情況下的圖像顯示動(dòng)作時(shí)作為參照的示意圖。
圖25A及圖25B例示出設(shè)定有目的地的情況,圖25C例示出未設(shè)定有目的地的情況。
在實(shí)現(xiàn)有導(dǎo)航功能的狀態(tài)下,可由用戶輸入來設(shè)定目的地。當(dāng)設(shè)定有目的地時(shí),處理器470可控制顯示部441,從而使顯示在風(fēng)擋的第一區(qū)域的第一圖像和顯示在風(fēng)擋的第二區(qū)域的第二圖像以相互不同的形狀或相互不同的顏色進(jìn)行顯示。其中,第一區(qū)域可以是與行駛中的車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域,第二區(qū)域可以是與除去行駛中的車線以外的其他車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域。
如圖25A所示,處理器470可控制顯示部441,從而在第一區(qū)域顯示TBT圖像2510、與限速信息對(duì)應(yīng)的圖像2520、與目的地信息對(duì)應(yīng)的圖像2530。在此情況下,處理器470可不在第二區(qū)域顯示額外的圖像。
如上所述,通過僅在與行駛中的車線對(duì)應(yīng)的第一區(qū)域顯示與信息對(duì)應(yīng)的圖像,使用戶的集中力不被分散,從而促使安全駕駛。
另外,處理器470可控制顯示部441,從而在屬于目的地的地點(diǎn)顯示與目的地對(duì)應(yīng)的圖像2540。
如圖25B所示,處理器470可控制顯示部441,從而在第一區(qū)域顯示TBT圖像2550、與限速信息對(duì)應(yīng)的圖像2560、與目的地信息對(duì)應(yīng)的圖像2570。此時(shí),處理器470可控制顯示部441,從而在第二區(qū)域顯示與車線信息對(duì)應(yīng)的圖像2572、2574。
處理器470可控制顯示部441,從而在第一區(qū)域和第二區(qū)域分別顯示與相互不同的信息對(duì)應(yīng)的圖像。
當(dāng)未設(shè)定有目的地時(shí),如圖25C所示,處理器470可在第一區(qū)域及第二區(qū)域以相同的形態(tài)顯示與相同的信息對(duì)應(yīng)的圖像。
圖26是在說明本發(fā)明的實(shí)施例的將圖像顯示在與變更預(yù)定車線對(duì)應(yīng)的風(fēng)擋的區(qū)域的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D26,處理器470可控制顯示部441,從而顯示與信息對(duì)應(yīng)的圖像2610、2620、2630。
處理器470可使顯示在風(fēng)擋的第一區(qū)域的第一圖像和顯示在風(fēng)擋的第二區(qū)域的第二圖像以相互不同的形狀或相互不同的顏色進(jìn)行顯示。其中,第一區(qū)域可以是與變更預(yù)定車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域。例如,第一區(qū)域可以是在連接用戶的眼部和變更預(yù)定車線時(shí)交匯的風(fēng)擋的一區(qū)域。其中,第二區(qū)域可以是與除去變更預(yù)定車線以外的其他車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域。例如,第二區(qū)域可以是在連接用戶的眼部和其他車線時(shí)交匯的風(fēng)擋的一區(qū)域。
例如,處理器470可控制顯示部441,從而使第一圖像2610顯示為與行駛中的車線形成的平面形成規(guī)定角度。在此情況下,處理器470可控制顯示部441,從而使第二圖像2620顯示在與其他車線形成的平面相同的平面上。
圖27A至圖27C是在說明本發(fā)明的實(shí)施例的基于車輛駕駛輔助裝置中接收的交通信息變更路徑的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D27A,車輛駕駛輔助裝置100可獲取車輛前方影像或車輛周邊影像。車輛前方影像或車輛周邊影像可包含:信號(hào)燈、交通標(biāo)識(shí)牌、交通電光板或路面圖像。
車輛駕駛輔助裝置100可從信號(hào)燈、交通標(biāo)識(shí)牌、交通電光板或路面圖像中檢測交通信息。其中,交通信息可包含:交通事故信息、施工信息、道路停滯信息以及可改變車線行駛與否信息。
處理器470可通過接口部480從車輛駕駛輔助裝置100接收交通信息。
圖27A中例示出在交通電光板2710顯示施工信息。在此情況下,車輛駕駛輔助裝置100從交通電光板圖像中檢測出施工信息,處理器470接收施工信息。
參照?qǐng)D27B,處理器470可基于接收的交通信息來變更路徑。例如,處理器470可基于交通事故信息、施工信息、道路停滯信息或可改變車線行駛與否信息,將之前路徑變更為花費(fèi)最小時(shí)間的路徑。
在圖27B中,當(dāng)在之前路徑2720上進(jìn)行施工中時(shí),處理器470將運(yùn)行路徑變更為未進(jìn)行有施工的路徑2730。
另外,處理器470可控制顯示部441,從而在變更的路徑的與行駛中的車線對(duì)應(yīng)的地點(diǎn)匹配顯示TBT圖像。
當(dāng)基于從車輛駕駛輔助裝置100接收的交通信息而路徑被變更時(shí),如圖27C所示,處理器470可控制顯示部441,從而顯示路徑變更事件2740。
圖28A至圖28C是在說明本發(fā)明的實(shí)施例的基于從其他車輛中接收的交通信息變更路徑的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D28A,處理器470可通過通信部410從其他車輛520接收交通信息。其中,交通信息可包含:交通事故信息、施工信息、道路停滯信息以及可改變車線行駛與否信息。
其中,其他車輛520可以是前行車輛。其他車輛520可在行駛的過程中,通過各種傳感器(例如,相機(jī))獲取交通信息。
圖28A中例示出其他車輛520獲取道路停滯信息。處理器470接收道路停滯信息。
參照?qǐng)D28B,處理器470可基于接收的交通信息來變更路徑。例如,處理器470可基于交通事故信息、施工信息、道路停滯信息或可改變車線行駛與否信息,將之前路徑變更為花費(fèi)最小時(shí)間的路徑。
在圖28B中,當(dāng)在之前路徑2810上存在有交通停滯時(shí),處理器470將運(yùn)行路徑變更為沒有交通停滯的路徑2820。
另外,處理器470可控制顯示部441,從而在變更的路徑的與行駛中的車線對(duì)應(yīng)的地點(diǎn)匹配顯示TBT圖像。
當(dāng)基于從其他車輛520接收的交通信息來變更路徑時(shí),如圖28C所示,處理器470可控制顯示部441,從而顯示路徑變更事件2830。
圖29A至圖29B是在說明本發(fā)明的實(shí)施例的顯示TBT圖像的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D29A,處理器470可控制顯示部441,從而顯示多個(gè)TBT圖像。
處理器470可控制顯示部441,從而立體地顯示多個(gè)TBT圖像。
例如,處理器470可在風(fēng)擋的一區(qū)域顯示第一TBT圖像2910。其中,第一TBT圖像2910可標(biāo)示出在路徑上最靠近當(dāng)前車輛700的位置的第一變換地點(diǎn)的方向信息。
在顯示有第一TBT圖像2910的狀態(tài)下,處理器470可在第一TBT圖像2910的周邊顯示第二TBT圖像2920。此時(shí),處理器470可使第二TBT圖像2920以比第一TBT圖像2910更小的大小進(jìn)行顯示。在此情況下,第二TBT圖像2920中應(yīng)用了仿如比第一TBT圖像2910處于更遠(yuǎn)的位置的遠(yuǎn)近感,從而立體地進(jìn)行顯示。第二TBT圖像2920可標(biāo)示出在路徑上第二個(gè)靠近當(dāng)前車輛700的位置的第二變換地點(diǎn)的方向信息。
另外,隨著車輛700的移動(dòng),車輛700逐漸地靠近第一及第二變換地點(diǎn)。在此情況下,處理器470可控制顯示部441,從而使第一及第二TBT圖像2910、2920的大小、顏色或透明度逐漸地變更進(jìn)行顯示。
如上所述,通過顯示TBT圖像,能夠向用戶更加直觀地提供指路,并在未識(shí)別數(shù)值信息的情況下,也能夠自然地確認(rèn)車輛方向轉(zhuǎn)換位置。
另外,處理器470可控制顯示部441,當(dāng)在風(fēng)擋的一區(qū)域設(shè)定有目的地時(shí),可顯示與從出發(fā)地至目的地的總距離信息、從當(dāng)前位置至目的地的距離信息、預(yù)計(jì)花費(fèi)時(shí)間信息對(duì)應(yīng)的圖像2925。在此情況下,處理器470可在與行駛中的車線對(duì)應(yīng)的風(fēng)擋的區(qū)域顯示圖表圖像。圖表圖像可匹配顯示在與行駛車線對(duì)應(yīng)的風(fēng)擋的區(qū)域。處理器470可控制顯示部441,從而使圖表的高度h與至目的地的剩余距離對(duì)應(yīng)地進(jìn)行變更。例如,隨著至目的地的剩余距離變小,處理器470可變更圖表的高度h使其變小。
參照?qǐng)D29B,處理器470可控制顯示部441,從而變更TBT圖像的大小2930、2950。
處理器470可顯示用于標(biāo)示變換地點(diǎn)的方向信息的TBT圖像2930。當(dāng)車輛700從變換地點(diǎn)相距第一距離時(shí),處理器470可以第一大小顯示TBT圖像2930。
隨著車輛700的移動(dòng),當(dāng)車輛700從變換地點(diǎn)相距第二距離時(shí),處理器470可以第二大小顯示TBT圖像2950。
第二大小可大于第一大小。如上所述,根據(jù)距離的變化而改變TBT圖像的大小進(jìn)行顯示,從而使用戶能夠直觀地認(rèn)知靠近變換地點(diǎn)。
另外,在圖29B的下端例示的畫面是在圖29B的上端畫面的車輛700位于標(biāo)識(shí)符號(hào)2940地點(diǎn)時(shí)的畫面。
圖30A至圖30B是在說明本發(fā)明的實(shí)施例的顯示與巴士專用車線信息對(duì)應(yīng)的圖像的動(dòng)作時(shí)作為參照的示意圖。
參照?qǐng)D30A,處理器470可將與巴士專用車線信息對(duì)應(yīng)的圖像3010顯示在與巴士專用車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域。其中,所述風(fēng)擋的一區(qū)域可以是在連接用戶的眼部和巴士專用車線時(shí)交匯的風(fēng)擋的一部分。
巴士專用車線信息可基于存儲(chǔ)在存儲(chǔ)器430的地圖數(shù)據(jù)來獲取?;蛘?,處理器470可通過接口部480從車輛駕駛輔助裝置100接收巴士專用車線信息。車輛駕駛輔助裝置100可從包含于車輛前方影像或車輛周邊影像的路面、交通標(biāo)識(shí)牌圖像中檢測巴士專用車線信息。
巴士專用車線信息可包含巴士專用車線運(yùn)行時(shí)間信息。
處理器470可控制顯示部441,從而基于巴士專用車線運(yùn)行時(shí)間信息來顯示出可駛?cè)氚褪繉S密嚲€與否。在此情況下,處理器470可用TBT圖像3020顯示可駛?cè)肱c否。
當(dāng)可駛?cè)氚褪繉S密嚲€時(shí),處理器470可用第一顏色顯示與巴士專用車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域。其中,第一顏色是向用戶提示可駛?cè)氚褪繉S密嚲€的顏色,其優(yōu)選為綠色。
參照?qǐng)D30B,處理器470可通過接口部480從內(nèi)部相機(jī)195c接收乘坐者信息。其中,乘坐者信息可以是乘坐人員信息。
處理器470可控制顯示部441,從而基于接收的乘坐者信息來顯示可駛?cè)氚褪繉S密嚲€與否。在此情況下,處理器470可用TBT圖像3040顯示可駛?cè)肱c否。
當(dāng)因乘坐人員較少而無法駛?cè)氚褪繉S密嚲€時(shí),處理器470可用第二顏色顯示與巴士專用車線對(duì)應(yīng)的風(fēng)擋的一區(qū)域。其中,第二顏色是向用戶提示不能駛?cè)氚褪繉S密嚲€的顏色,其優(yōu)選為紅色。
巴士專用車線信息可包含用于巴士專用車線運(yùn)行的最少乘坐人員信息。
另外,處理器470可控制顯示部441,從而使與巴士專用車線信息對(duì)應(yīng)的圖像3030顯示為與巴士專用車線形成的平面形成規(guī)定角度。此時(shí),處理器470可使巴士專用車線形成的平面和所述圖像3030構(gòu)成的規(guī)定角度的大小隨著時(shí)間的推移而變更3030a、3030b、3030c、3030d進(jìn)行顯示。
前述的本發(fā)明可由在記錄有程序的介質(zhì)中計(jì)算機(jī)可讀取的代碼來實(shí)現(xiàn)。計(jì)算機(jī)可讀取的介質(zhì)包括存儲(chǔ)有可由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的所有種類的記錄裝置。計(jì)算機(jī)可讀取的介質(zhì)的例有硬盤驅(qū)動(dòng)器(Hard Disk Drive,HDD)、固態(tài)盤(Solid State Disk,SSD)、硅盤驅(qū)動(dòng)器(Silicon Disk Drive,SDD)、ROM、RAM、CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲(chǔ)裝置等,并且也可以載波(例如,基于因特網(wǎng)的傳輸)的形態(tài)實(shí)現(xiàn)。并且,所述計(jì)算機(jī)也可包括處理器170、470或控制部770。因此,以上所述的詳細(xì)的說明在所有方面上不應(yīng)被理解為限制性的,而是應(yīng)當(dāng)被理解為時(shí)例示性的。本發(fā)明的范圍應(yīng)當(dāng)由對(duì)所附的權(quán)利要求書的合理的解釋而定,本發(fā)明的等價(jià)范圍內(nèi)的所有變更應(yīng)當(dāng)落入本發(fā)明的范圍。