車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛的制作方法
【專利摘要】本發(fā)明提供一種車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛，本發(fā)明的車輛駕駛輔助裝置包括：立體相機(jī)；接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換；處理器，基于從所述立體相機(jī)中接收的立體圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。根據(jù)本發(fā)明，能夠基于拍攝的圖像來(lái)確認(rèn)關(guān)于車輛前方的車線。
【專利說(shuō)明】
車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛，更詳細(xì)說(shuō)是基于拍攝的圖像能夠確認(rèn)關(guān)于車輛前方的車線的車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛。
【背景技術(shù)】
[0002]車輛是用于將乘坐的用戶朝所需的方向移動(dòng)的裝置。作為代表性的可舉例有汽車。
[0003]另外，為了給利用車輛的用戶提供便利，車輛中配備各種傳感器和電子設(shè)備漸成為一種趨勢(shì)。特別是，開(kāi)發(fā)出用于用戶的駕駛便利的多種裝置等。

【發(fā)明內(nèi)容】

[0004]技術(shù)問(wèn)題
[0005]本發(fā)明的目的在于提供一種車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛，基于拍攝的圖像能夠確認(rèn)關(guān)于車輛前方的車線。
[0006]技術(shù)方案
[0007]為了實(shí)現(xiàn)所述目的，本發(fā)明的實(shí)施例的車輛駕駛輔助裝置，其包括:立體相機(jī);接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換;處理器，基于從所述立體相機(jī)中接收的立體圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。
[0008]另外，為了實(shí)現(xiàn)所述目的，本發(fā)明的實(shí)施例的車輛駕駛輔助裝置，其包括:單色相機(jī);雷達(dá);接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換;處理器，基于從所述單色相機(jī)中接收的單色圖像和來(lái)自所述雷達(dá)的距離信息執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。
[0009]另外，為了實(shí)現(xiàn)所述目的，本發(fā)明的實(shí)施例的車輛駕駛輔助裝置，其包括:激光雷達(dá)，執(zhí)行針對(duì)外部對(duì)象物的掃描;接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換;處理器，基于從所述激光雷達(dá)中接收的掃描圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，基于來(lái)自所述接口部的地圖信息推定關(guān)于所述車輛前方的第二區(qū)域的車線。
[0010]另外，為了實(shí)現(xiàn)所述目的，本發(fā)明的實(shí)施例的車輛，其包括:檢測(cè)部，檢測(cè)車輛狀態(tài);轉(zhuǎn)向驅(qū)動(dòng)部，驅(qū)動(dòng)轉(zhuǎn)向裝置;制動(dòng)驅(qū)動(dòng)部，驅(qū)動(dòng)制動(dòng)裝置;動(dòng)力源驅(qū)動(dòng)部，驅(qū)動(dòng)動(dòng)力源;懸架驅(qū)動(dòng)部，驅(qū)動(dòng)懸架裝置;控制部，控制所述轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部；以及，車輛駕駛輔助裝置，包括:立體相機(jī);接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換;處理器，基于從所述立體相機(jī)中接收的立體圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。
[0011]技術(shù)效果
[0012]根據(jù)本發(fā)明的一實(shí)施例的車輛駕駛輔助裝置，基于從立體相機(jī)中接收的立體圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自接口部的地圖信息推定關(guān)于車輛前方的第二區(qū)域的車線。由此，能夠基于拍攝的圖像來(lái)確認(rèn)關(guān)于車輛前方的車線。特別是，能夠推定關(guān)于通過(guò)用戶肉眼或立體相機(jī)不易進(jìn)行確認(rèn)的區(qū)域的車線。
[0013]另外，生成與推定的車線對(duì)應(yīng)的車線圖像并通過(guò)顯示器進(jìn)行顯示，從而使用戶能夠直觀地確認(rèn)關(guān)于第二區(qū)域的車線。
[0014]另外，根據(jù)車輛速度來(lái)改變車線圖像的大小、厚度、長(zhǎng)度、顏色中的至少一種，從而使用戶能夠間接地識(shí)別出危險(xiǎn)程度。
[0015]另外，基于檢測(cè)出的車線以及推定的車線來(lái)執(zhí)行車線偏離預(yù)測(cè)，并在預(yù)測(cè)出偏離車線時(shí)，生成用于控制設(shè)于車輛內(nèi)的轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部中的至少一種的防偏離車線控制信號(hào)，從而能夠提高車輛駕駛時(shí)的安全性。
[0016]另外，在基于立體圖像進(jìn)行對(duì)象檢測(cè)時(shí)，可利用立體圖像計(jì)算視差，并基于視差信息檢測(cè)對(duì)象，從而能夠縮短數(shù)據(jù)處理速度等。
【附圖說(shuō)明】
[0017]圖1是不出設(shè)有本發(fā)明的一實(shí)施例的立體相機(jī)的車輛的外觀的圖。
[0018]圖2是示出圖1的車輛上貼附的立體相機(jī)的外觀的圖。
[0019]圖3a至圖3b例示出本發(fā)明的一實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的多種例。
[0020]圖4a至圖4b例示出圖3a至圖3b的處理器的內(nèi)部框圖的多種例。
[0021]圖5a至圖5b是在說(shuō)明圖4a至圖4b的處理器的動(dòng)作時(shí)作為參照的圖。
[0022]圖6a至圖6b是在說(shuō)明圖3a至圖3b的車輛駕駛輔助裝置的動(dòng)作時(shí)作為參照的圖。
[0023]圖7是圖1的車輛內(nèi)部的電子控制裝置的內(nèi)部框圖的一例。
[0024]圖8a是示出本發(fā)明的一實(shí)施例的車輛駕駛輔助裝置的動(dòng)作方法的流程圖。
[0025]圖Sb是示出本發(fā)明的另一實(shí)施例的車輛駕駛輔助裝置的動(dòng)作方法的流程圖。
[0026]圖9至圖16b是在說(shuō)明圖8a或圖8b的動(dòng)作方法時(shí)作為參照的圖。
[0027]圖17是示出本發(fā)明的另一實(shí)施例的設(shè)有單色相機(jī)的車輛的外觀的圖。
[0028]圖18a例示出本發(fā)明的另一實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的一例。
[0029]圖18b例示出本發(fā)明的又一實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的一例。
[0030]圖19a至圖19b例示出圖18a的處理器的內(nèi)部框圖的多種例。
[0031]圖20a至圖20b是在說(shuō)明圖19a的處理器的動(dòng)作時(shí)作為參照的圖。
【具體實(shí)施方式】
[0032]以下參照附圖對(duì)本發(fā)明進(jìn)行更加詳細(xì)的說(shuō)明。
[0033]在以下說(shuō)明中使用的針對(duì)結(jié)構(gòu)元件的接尾詞“模塊”及“部”僅是考慮到便于說(shuō)明書(shū)的撰寫(xiě)而被賦予或混用，其自身并不帶有相互區(qū)分的含義或作用。因此，所述“模塊”及“部”可相互混用。
[0034]本說(shuō)明書(shū)中說(shuō)明的車輛可以是包括汽車、摩托車的概念。以下，對(duì)于車輛將以汽車為主進(jìn)行說(shuō)明。
[0035]另外，本說(shuō)明書(shū)中說(shuō)明的車輛可以是將具有引擎的車輛、具有引擎和電動(dòng)馬達(dá)的混合動(dòng)力車輛、具有電動(dòng)馬達(dá)的電動(dòng)車輛等均涵蓋的概念。以下，以具有引擎的車輛為主進(jìn)行說(shuō)明。
[0036]另外，本說(shuō)明書(shū)中說(shuō)明的車輛駕駛輔助裝置可稱為先進(jìn)車輛駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems，ADAS)或先進(jìn)車輛駕駛輔助裝置(AdvancedDriver Assistance Apparatus，ADAA)。以下，對(duì)本發(fā)明的多種實(shí)施例的車輛的車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛進(jìn)行說(shuō)明。
[0037]圖1是不出本發(fā)明的一實(shí)施例的立體相機(jī)的車輛的外觀的圖。
[0038]參照附圖，車輛200可包括:利用動(dòng)力源進(jìn)行旋轉(zhuǎn)的車輪103FR、103FL、103RL..;用于調(diào)節(jié)車輛200的行進(jìn)方向的方向盤(pán)150;以及設(shè)于車輛200內(nèi)部的立體相機(jī)195。
[0039]立體相機(jī)195可設(shè)有多個(gè)相機(jī)，多個(gè)相機(jī)中獲取的立體圖像可在車輛駕駛輔助裝置(圖3的100)內(nèi)被信號(hào)處理。
[0040]另外，附圖中例示出立體相機(jī)195具有兩個(gè)相機(jī)。
[0041]圖2是示出圖1的車輛上貼附的立體相機(jī)的外觀的圖。
[0042]參照附圖，立體相機(jī)模塊195可包括:設(shè)有第一鏡頭193a的第一相機(jī)195a;設(shè)有第二鏡頭193b的第二相機(jī)195b。
[0043]另外，立體相機(jī)模塊195可在第一鏡頭193a和第二鏡頭193b分別設(shè)有用于遮蔽入射的光的第一遮光部192a(light shield)、第二遮光部192b。
[0044]附圖中的立體相機(jī)模塊195可以是可裝卸于車輛200的車頂或前擋玻璃的結(jié)構(gòu)。
[0045]設(shè)有這樣的立體相機(jī)模塊195的車輛駕駛輔助裝置(圖3的100)可從立體相機(jī)模塊195接收關(guān)于車輛前方的立體圖像，基于立體圖像執(zhí)行視差(disparity)檢測(cè)，基于視差信息執(zhí)行針對(duì)至少一個(gè)立體圖像的對(duì)象檢測(cè)，在對(duì)象檢測(cè)以后，持續(xù)地跟蹤對(duì)象的移動(dòng)。
[0046]圖3a至圖3b例示出本發(fā)明的一實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的多種例。
[0047]在圖3a至圖3b的車輛駕駛輔助裝置100中，可基于計(jì)算機(jī)視覺(jué)(computer vis1n)對(duì)從立體相機(jī)195接收的立體圖像進(jìn)行信號(hào)處理，從而生成車輛相關(guān)信息。其中，車輛相關(guān)信息可包含:用于針對(duì)車輛的直接控制的車輛控制信息、或者用于向車輛駕駛者提供駕駛向?qū)У能囕v駕駛輔助信息。
[0048]首先，參照?qǐng)D3a，圖3a的車輛駕駛輔助裝置100可包括:通信部120、接口部130、存儲(chǔ)器140、處理器170、供電部190以及立體相機(jī)195。除此之外，也可包括音頻輸入部(未圖示)、音頻輸出部(未圖示)。
[0049]通信部120可通過(guò)無(wú)線(wireless)方式與移動(dòng)終端600或服務(wù)器500進(jìn)行數(shù)據(jù)交換。特別是，通信部120可通過(guò)無(wú)線方式與車輛駕駛者的移動(dòng)終端進(jìn)行數(shù)據(jù)交換。作為無(wú)線數(shù)據(jù)通信方式可有藍(lán)牙(Bluetooth)、直通互聯(lián)(WiFi Direct)、WiF1、APiX或NFC等多種數(shù)據(jù)通信方式。
[0050]通信部120可從移動(dòng)終端600或服務(wù)器500接收天氣信息、道路交通狀況信息，例如可接收傳輸協(xié)議專家組(Transport Protocol Expert Group，TPEG)信息。另外，可向移動(dòng)終端600或服務(wù)器500傳送車輛駕駛輔助裝置100中基于立體圖像確認(rèn)的實(shí)時(shí)交通信息。[0051 ]另外，在用戶乘坐車輛的情況下，用戶的移動(dòng)終端600和車輛駕駛輔助裝置100可自動(dòng)地或通過(guò)用戶執(zhí)行應(yīng)用程序來(lái)執(zhí)行彼此配對(duì)(pairing)。
[0052]接口部130可接收車輛相關(guān)數(shù)據(jù)或向外部傳送處理器170中處理或生成的信號(hào)。為此，接口部130可通過(guò)有線通信或無(wú)線通信方式與車輛內(nèi)部的ECU 770、影音導(dǎo)航(Aud1Video Navigat1n，AVN)裝置400及傳感器部760等執(zhí)行數(shù)據(jù)通信。
[0053]接口部130可通過(guò)與AVN裝置400的數(shù)據(jù)通信來(lái)接收與車輛行駛相關(guān)的地圖(map)
?目息O
[0054]另外，接口部130可從E⑶770或傳感器部760接收傳感器信息。
[0055]其中，傳感器信息可包含車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息中的至少一種。
[0056]這樣的傳感器信息可從航向傳感器(heading sensor )、橫擺傳感器(yawsensor)、陀螺儀傳感器(gyro sensor)、定位模塊(posit1n module)、車輛前進(jìn)/倒車傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車體傾斜檢測(cè)傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤(pán)的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器等中獲取。另外，定位模塊可包括用于接收GPS信息的GPS模塊。
[0057]另外，在傳感器信息中，可將與車輛行駛相關(guān)的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜率信息等稱為車輛行駛信息。
[0058]存儲(chǔ)器140可存儲(chǔ)用于處理器170的處理或控制的程序等、用于車輛駕駛輔助裝置100整體的動(dòng)作的多種數(shù)據(jù)。
[0059]音頻輸出部(未圖示)將來(lái)自處理器170的電信號(hào)變換為音頻信號(hào)并輸出。為此，可設(shè)有揚(yáng)聲器等。音頻輸出部(未圖示)可輸出與輸入部110，即按鍵的動(dòng)作對(duì)應(yīng)的聲音。
[0060]音頻輸入部(未圖示)中可輸入用戶語(yǔ)音。為此，可設(shè)有麥克風(fēng)。接收到的語(yǔ)音可被轉(zhuǎn)換為電信號(hào)并傳送給處理器170。
[0061]處理器170控制車輛駕駛輔助裝置100內(nèi)的各單元的整體上的動(dòng)作。
[0062]特別是，處理器170執(zhí)行基于計(jì)算機(jī)視覺(jué)(computer vis1n)的信號(hào)處理。由此，處理器170可從立體相機(jī)195獲取關(guān)于車輛前方的立體影像，基于立體影像執(zhí)行針對(duì)車輛前方的視差計(jì)算，基于計(jì)算出的視差信息執(zhí)行針對(duì)立體圖像中的至少一個(gè)的對(duì)象檢測(cè)，在對(duì)象檢測(cè)以后，持續(xù)地跟蹤對(duì)象的移動(dòng)。
[0063]特別是，處理器170在進(jìn)行對(duì)象檢測(cè)時(shí)，可執(zhí)行車線檢測(cè)(Lane Detect1n)、周邊車輛檢測(cè)(Vehicle Detect1n)、行人檢測(cè)(Pedestrian Detect1n)、交通標(biāo)識(shí)牌檢測(cè)(Traffic Sign Detect1n)、道路面檢測(cè)等。
[0064]此外，處理器170可執(zhí)行針對(duì)檢測(cè)出的周邊車輛的距離計(jì)算、檢測(cè)出的周邊車輛的速度計(jì)算、檢測(cè)出的與周邊車輛的速度差計(jì)算等。
[0065]另外，處理器170可通過(guò)通信部120接收天氣信息、道路的交通狀況信息，例如，可接收傳輸協(xié)議專家組(Transport Protocol Expert Group，TPEG)信息。
[0066]另外，處理器170也可對(duì)車輛駕駛輔助裝置100中基于立體圖像確認(rèn)的車輛周邊交通狀況信息實(shí)時(shí)進(jìn)行確認(rèn)。
[0067]另外，處理器170可通過(guò)接口部130從AVN裝置400接收地圖信息等。
[0068]另外，處理器170可通過(guò)接口部130從ECU770或傳感器部760接收傳感器信息。其中，傳感器信息可包含車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息中的至少一種。
[0069]供電部190可基于處理器170的控制供給各結(jié)構(gòu)元件的動(dòng)作所需的電源。特別是，供電部190可從車輛內(nèi)部的電池等供給到電源。
[0070]立體相機(jī)195可設(shè)有多個(gè)相機(jī)。以下以如圖2等中所述的設(shè)有兩個(gè)相機(jī)為例進(jìn)行說(shuō)明。
[0071]立體相機(jī)195可以以可裝卸的方式設(shè)于車輛200的車頂或前擋玻璃，可包括設(shè)有第一鏡頭193a的第一相機(jī)195a、設(shè)有第二鏡頭193b的第二相機(jī)195b。
[0072]另外，立體相機(jī)195可包括分別用于遮蔽第一鏡頭193a和第二鏡頭193b中入射的光的第一遮光部192a(light shield)、第二遮光部192b。
[0073]接著，參照?qǐng)D3b，圖3b的車輛駕駛輔助裝置100與圖3a的車輛駕駛輔助裝置100相比可還設(shè)有輸入部110以及顯示器180。以下僅對(duì)輸入部110以及顯示器180的說(shuō)明進(jìn)行描述。
[0074]輸入部110可設(shè)有貼附于車輛駕駛輔助裝置100，特別是貼附于立體相機(jī)195的多個(gè)按鍵或觸摸屏。通過(guò)多個(gè)按鍵或觸摸屏可開(kāi)啟車輛駕駛輔助裝置100的電源并使其進(jìn)行動(dòng)作。除此之外，可還執(zhí)行多種輸入動(dòng)作。
[0075]顯示部180可顯示與車輛駕駛輔助裝置的動(dòng)作相關(guān)的圖像。為了這樣的圖像顯示，顯示部180可包括車輛內(nèi)部前面的儀表盤(pán)(cluster)或平視顯示器(Head Up Display ,HUD)。另外，在顯示部180為HUD的情況下，可包括用于向車輛200的前擋玻璃投射圖像的投射模塊。
[0076]圖4a至圖4b例示出圖3a至圖3b的處理器的內(nèi)部框圖的多種例，圖5a至圖5b是在說(shuō)明圖4a至圖4b的處理器的動(dòng)作時(shí)作為參照的圖。
[0077]首先，參照?qǐng)D4a，圖4a為處理器170的內(nèi)部框圖的一例，車輛駕駛輔助裝置100內(nèi)的處理器170可包括:影像預(yù)處理部410、視差計(jì)算部420、對(duì)象檢測(cè)部434、對(duì)象跟蹤部440以及應(yīng)用部450。
[0078]影像預(yù)處理部410(image preprocessor)可接收來(lái)自立體相機(jī)195的圖像并執(zhí)行預(yù)處理(preprocessing)。
[0079]具體而言，影像預(yù)處理部410可執(zhí)行針對(duì)圖像的降噪(noise reduct1n)、糾正(rectificat1n)、校準(zhǔn)(calibrat1n)、色彩增強(qiáng)(color enhancement)、色彩空間轉(zhuǎn)換(color space convers1n;CSC)、內(nèi)插(interpolat1n)、相機(jī)增益控制(camera gaincontroI)等。由此，能夠獲取相比立體相機(jī)195中拍攝的立體圖像更加清晰的圖像。
[0080]視差計(jì)算部420(disparity calculator)接收影像預(yù)處理部410中進(jìn)行信號(hào)處理的圖像，針對(duì)接收的圖像執(zhí)行立體匹配(stereo matching)，能夠獲取基于立體匹配的視差圖(disparity map)。即，能夠獲取關(guān)于車輛前方的立體圖像的視差信息。
[0081]此時(shí)，可按立體圖像的像素單位或規(guī)定塊單位執(zhí)行立體匹配。另外，視差圖可表示用數(shù)值示出立體圖像，即，左、右圖像的視差(時(shí)差)信息(b inocular parallaxinformat1n)的地圖。
[0082]分割部432(segmentat1n unit)可基于來(lái)自視差計(jì)算部420的視差信息，對(duì)圖像中的至少一個(gè)執(zhí)行分割(segment)及群集(clustering)。
[0083]具體而言，分割部432可基于視差信息對(duì)立體圖像中的至少一個(gè)分離出背景(background)和前景(foreground)。
[0084]例如，可將視差圖內(nèi)的視差信息為規(guī)定值以下的區(qū)域計(jì)算為背景，并除去相應(yīng)部分。由此，能夠相對(duì)地分離出前景。
[0085]作為另一例，可將視差圖內(nèi)的視差信息為規(guī)定值以上的區(qū)域計(jì)算為前景，并提取出相應(yīng)部分。由此，能夠分離出前景。
[0086]如上所述，以基于立體圖像提取出的視差信息為基礎(chǔ)分離出前景和背景，從而在隨后的對(duì)象檢測(cè)時(shí)，能夠縮短信號(hào)處理速度、信號(hào)處理量等。
[0087]接著，對(duì)象檢測(cè)部434(objectdetector)可基于來(lái)自分割部432的圖像分割而進(jìn)行對(duì)象檢測(cè)。
[0088]即，對(duì)象檢測(cè)部434可基于視差信息對(duì)圖像中的至少一個(gè)進(jìn)行對(duì)象檢測(cè)。
[0089]具體而言，對(duì)象檢測(cè)部434可對(duì)圖像中的至少一個(gè)進(jìn)行對(duì)象檢測(cè)。例如，可從基于圖像分割分離出的前景中檢測(cè)對(duì)象。
[0090]接著，對(duì)象確認(rèn)部436(object verificat1n unit)可對(duì)分離出的對(duì)象進(jìn)行分類(classify)并確認(rèn)(verify)。
[0091 ] 為此，對(duì)象確認(rèn)部436可使用基于神經(jīng)網(wǎng)絡(luò)(neural network)的識(shí)別法、支持向量機(jī)(Support Vector Machine，SVM)方法、基于利用Haar-1 ike特征的AdaBoost的方法，或是梯度向量直方圖(Histograms of Oriented Gradients，H0G)方法等。
[0092]另外，對(duì)象確認(rèn)部436可將存儲(chǔ)器140中存儲(chǔ)的對(duì)象和檢測(cè)出的對(duì)象進(jìn)行比較，從而確認(rèn)出對(duì)象。
[0093]例如，對(duì)象確認(rèn)部436可確認(rèn)出位于車輛周邊的周邊車輛、車線、道路面、標(biāo)識(shí)牌、危險(xiǎn)區(qū)域、隧道等。
[0094]對(duì)象跟蹤部440(object tracking unit)可執(zhí)行針對(duì)確認(rèn)出的對(duì)象的跟蹤。例如，依次地確認(rèn)獲取的立體圖像內(nèi)的對(duì)象，對(duì)確認(rèn)出的對(duì)象的移動(dòng)或移動(dòng)向量進(jìn)行計(jì)算，并可基于計(jì)算出的移動(dòng)或移動(dòng)向量而跟蹤相應(yīng)對(duì)象的移動(dòng)等。由此，能夠?qū)ξ挥谲囕v周邊的周邊車輛、車線、道路面、標(biāo)識(shí)牌、危險(xiǎn)區(qū)域、隧道等進(jìn)行跟蹤。
[0095]接著，應(yīng)用部450可基于位于車輛周邊的多種對(duì)象，例如其他車輛、車線、道路面、標(biāo)識(shí)牌等，計(jì)算出車輛200的危險(xiǎn)度等。并且，可計(jì)算出與前車的撞車可能性、車輛打滑與否等。
[0096]此外，應(yīng)用部450可基于計(jì)算出的危險(xiǎn)度、撞車可能性或打滑與否等，向用戶輸出用于提示這樣的信息的作為車輛駕駛輔助信息的消息等?；蛘?，也可生成用于車輛200的姿勢(shì)控制或行駛控制的作為車輛控制信息的控制信號(hào)。
[0097]圖4b是處理器的內(nèi)部框圖的另一例。
[0098]參照附圖，圖4b的處理器170與圖4a的處理器170具有相同的內(nèi)部結(jié)構(gòu)單元，其區(qū)別在于信號(hào)處理順序不同。以下，僅對(duì)其區(qū)別進(jìn)行描述。
[0099]對(duì)象檢測(cè)部434可接收立體圖像，并基于立體圖像中的至少一個(gè)進(jìn)行對(duì)象檢測(cè)。與圖4a不同的，可直接從立體圖像中檢測(cè)對(duì)象，而不是基于視差信息對(duì)被分割的圖像進(jìn)行對(duì)象檢測(cè)。
[0?00] 接著，對(duì)象確認(rèn)部436(object verificat1n unit)基于來(lái)自分割部432的圖像分割以及對(duì)象檢測(cè)部434中檢測(cè)出的對(duì)象，對(duì)被檢測(cè)及分離的對(duì)象進(jìn)行分類(c lass i f y)并確認(rèn)(verify)。
[Ο?Ο? ] 為此，對(duì)象確認(rèn)部436可使用基于神經(jīng)網(wǎng)絡(luò)(neural network)的識(shí)別法、支持向量機(jī)(Support Vector Machine，SVM)方法、基于利用Haar-1 ike特征的AdaBoost的方法，或是梯度向量直方圖(Histograms of Oriented Gradients，H0G)方法等。
[0102]圖5a和圖5b是基于在第一及第二幀區(qū)間分別獲取的立體圖像并為了說(shuō)明圖4a的處理器170的動(dòng)作方法而作為參照的圖。
[0103]首先，參照?qǐng)D5a，在第一幀區(qū)間期間，立體相機(jī)195獲取立體圖像。
[0104]處理器170內(nèi)的視差計(jì)算部420接收影像預(yù)處理部410中被信號(hào)處理的立體圖像卩尺1&小1?113，對(duì)接收的立體圖像?1?13小1?113執(zhí)行立體匹配，從而獲取視差圖520(乜8?34七7map) ο
[0105]視差圖520(disparity map)對(duì)立體圖像FRla、FRlb之間的視差進(jìn)行了等級(jí)化，視差等級(jí)越高，可計(jì)算為與車輛的距離越近，而視差等級(jí)越小，則計(jì)算為與車輛的距離越遠(yuǎn)。[Ο?Ο?]另外，當(dāng)顯不這樣的視差圖時(shí)，可顯不為視差等級(jí)越大時(shí)具有越尚的殼度，視差等級(jí)越小時(shí)具有越低的亮度。
[0107]在附圖中例示出，在視差圖520內(nèi)，第一車線至第四車線528a、528b、528c、528d等分別具有相應(yīng)的視差等級(jí)，施工區(qū)域522、第一前方車輛524、第二前方車輛526分別具有相應(yīng)的視差等級(jí)。
[0108]分割部432、對(duì)象檢測(cè)部434、對(duì)象確認(rèn)部436基于視差圖520執(zhí)行針對(duì)立體圖像FRla、FRlb中的至少一個(gè)的分割、對(duì)象檢測(cè)及對(duì)象確認(rèn)。
[0109]在附圖中例示出，使用視差圖520執(zhí)行針對(duì)第二立體圖像FRlb的對(duì)象檢測(cè)及確認(rèn)。
[0110]S卩，在圖像530內(nèi)，可執(zhí)行針對(duì)第一車線至第四車線538a、538b、538c、538d、施工區(qū)域532、第一前方車輛534、第二前方車輛536的對(duì)象檢測(cè)及確認(rèn)。
[0111]接著，參照?qǐng)D5b，在第二幀區(qū)間期間，立體相機(jī)195獲取立體圖像。
[0112]處理器170內(nèi)的視差計(jì)算部420接收影像預(yù)處理部410中被信號(hào)處理的立體圖像卩尺2&小1?213，對(duì)接收的立體圖像?1?23小1?213執(zhí)行立體匹配，從而獲取視差圖540(乜8?34七7map) ο
[0113]在附圖中例示出，在視差圖540內(nèi)，第一車線至第四車線548a、548b、548c、548d等分別具有相應(yīng)的視差等級(jí)，施工區(qū)域542、第一前方車輛544、第二前方車輛546分別具有相應(yīng)的視差等級(jí)。
[0114]分割部432、對(duì)象檢測(cè)部434、對(duì)象確認(rèn)部436基于視差圖520執(zhí)行針對(duì)立體圖像FR2a、FR2b中的至少一個(gè)的分割、對(duì)象檢測(cè)及對(duì)象確認(rèn)。
[0115]在附圖中例示出，使用視差圖540執(zhí)行針對(duì)第二立體圖像FR2b的對(duì)象檢測(cè)及確認(rèn)。
[0116]S卩，在圖像550內(nèi)，可執(zhí)行針對(duì)第一車線至第四車線558a、558b、558c、558d、施工區(qū)域552、第一前方車輛554、第二前方車輛556的對(duì)象檢測(cè)及確認(rèn)。
[0117]另外，對(duì)象跟蹤部440可執(zhí)行針對(duì)通過(guò)比較圖5a和圖5b確認(rèn)出的對(duì)象的跟蹤。
[0118]具體而言，對(duì)象跟蹤部440可基于圖5a和圖5b中確認(rèn)出的各對(duì)象的移動(dòng)或移動(dòng)向量，跟蹤相應(yīng)對(duì)象的移動(dòng)等。由此，可執(zhí)行針對(duì)位于車輛周邊的車線、施工區(qū)域、第一前方車輛、第二前方車輛等的跟蹤。
[0119]圖6a至圖6b是在說(shuō)明圖3的車輛駕駛輔助裝置的動(dòng)作時(shí)作為參照的圖。
[0120]首先，圖6a是例示出設(shè)于車輛內(nèi)部的立體相機(jī)195拍攝的車輛前方狀況的圖。特別是以鳥(niǎo)瞰圖(bird eye view)方式示出車輛前方情況。
[0121]參照附圖，按從左到右的順序配置有第一車線642a、第二車線644a、第三車線646a、第四車線648a，在第一車線642a和第二車線644a之間配置有施工區(qū)域610a，在第二車線644a和第三車線646a之間配置有第一前方車輛620a，在第三車線646a和第四車線648a之間配置有第二前方車輛630a。
[0122]接著，圖6b例示出與各種信息一同顯示出基于車輛駕駛輔助裝置確認(rèn)出的車輛前方狀況。特別是，圖6b所示的圖像可還在車輛駕駛輔助裝置提供的顯示部180或AVN裝置400中進(jìn)行顯示。
[0123]與圖6a不同的，圖6b例示出基于立體相機(jī)195拍攝的圖像而進(jìn)行信息顯示。
[0124]參照附圖，按從左到右的順序配置有第一車線、642b、第二車線644b、第三車線646b、第四車線648b，在第一車線642b和第二車線644b之間配置有施工區(qū)域610b，在第二車線644b和第三車線646b之間配置有第一前方車輛620b，在第三車線646b和第四車線648b之間配置有第二前方車輛630b。
[0125]車輛駕駛輔助裝置100可基于立體相機(jī)195拍攝的立體圖像而進(jìn)行信號(hào)處理，從而確認(rèn)關(guān)于施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的對(duì)象。并且，能夠確認(rèn)出第一車線642b、第二車線644b、第三車線646b、第四車線648b。
[0126]另外，在附圖中，為了呈現(xiàn)出針對(duì)施工區(qū)域61b、第一前方車輛620b、第二前方車輛630b的對(duì)象確認(rèn)，例示出對(duì)各個(gè)邊框進(jìn)行了高亮顯示。
[0127]另外，車輛駕駛輔助裝置100可基于立體相機(jī)195拍攝的立體圖像計(jì)算出關(guān)于施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的距離信息。
[0128]在附圖中，例示了顯示出分別與施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b對(duì)應(yīng)的、計(jì)算出的第一距離信息611b、第二距離信息621b、第三距離信息631b。
[0129]另外，車輛駕駛輔助裝置100可從ECU770或傳感器部760接收關(guān)于車輛的傳感器信息。特別是，可接收車輛速度信息、變速器信息、用于示出車輛的旋轉(zhuǎn)角(橫擺角)變化的速度的橫擺率信息(yaw rate)、車輛的角度信息，并能夠顯示這樣的信息。
[0130]附圖中例示出在車輛前方圖像上部670顯示出車輛速度信息672、變速器信息671、橫擺率信息673，在車輛前方圖像下部680顯示出車輛的角度信息682，但是也可由多種例實(shí)施。除此之外，可與車輛的角度信息682—同顯示車輛的寬度信息683、道路的曲率信息681。
[0131]另外，車輛駕駛輔助裝置100可通過(guò)通信部120或接口部130接收關(guān)于車輛行駛中的道路的限速信息等。在附圖中例示了顯示出限速信息640b。
[0132]車輛駕駛輔助裝置100可通過(guò)顯示部180等顯示圖6b所示的多種信息，但是與此不同的，也可存儲(chǔ)各種信息而無(wú)另外地進(jìn)行顯示。此外，也可將這樣的信息應(yīng)用于多種應(yīng)用程序。
[0133]圖7是圖1的車輛內(nèi)部的電子控制裝置的內(nèi)部框圖的一例。
[0134]參照附圖，車輛200可包括用于車輛控制的電子控制裝置700。電子控制裝置700可與以上所述的車輛駕駛輔助裝置100以及AVN裝置400進(jìn)行數(shù)據(jù)交換。
[0135]電子控制裝置700可包括:輸入部710、通信部720、存儲(chǔ)器740、車燈驅(qū)動(dòng)部751、轉(zhuǎn)向驅(qū)動(dòng)部752、制動(dòng)驅(qū)動(dòng)部753、動(dòng)力源驅(qū)動(dòng)部754、天窗驅(qū)動(dòng)部755、懸架驅(qū)動(dòng)部756、空調(diào)驅(qū)動(dòng)部757、車窗驅(qū)動(dòng)部758、氣囊驅(qū)動(dòng)部759、傳感器部760、ECU 770、顯示部780、音頻輸出部785、供電部790。
[0136]輸入部710可設(shè)有配置于車輛200內(nèi)部的多個(gè)按鍵或觸摸屏。通過(guò)多個(gè)按鍵或觸摸屏可執(zhí)行多種輸入動(dòng)作。
[0137]通信部720可通過(guò)無(wú)線(wireless)方式與移動(dòng)終端600或服務(wù)器500進(jìn)行數(shù)據(jù)交換。特別是，通信部120可通過(guò)無(wú)線方式與車輛駕駛者的移動(dòng)終端進(jìn)行數(shù)據(jù)交換。作為無(wú)線數(shù)據(jù)通信方式可有藍(lán)牙(Bluetooth)、直通互聯(lián)(WiFi Direct)、WiF1、APiX等多種數(shù)據(jù)通信方式。
[0138]通信部720可從移動(dòng)終端600或服務(wù)器500接收天氣信息、道路的交通狀況信息，例如可接收傳輸協(xié)議專家組(Transport Protocol Expert Group，TPEG)信息。
[0139]另外，在用戶乘坐車輛的情況下，用戶的移動(dòng)終端600和電子控制裝置700可自動(dòng)地或通過(guò)用戶執(zhí)行應(yīng)用程序來(lái)執(zhí)行彼此配對(duì)(pairing)。
[0140]存儲(chǔ)器740可存儲(chǔ)用于ECU 770的處理或控制的程序等、用于電子控制裝置700整體上的動(dòng)作的多種數(shù)據(jù)。
[0141]車燈驅(qū)動(dòng)部751可控制車輛內(nèi)、外部配置的車燈的開(kāi)啟/關(guān)閉。并且，可控制車燈的亮度、方向等。例如，可執(zhí)行針對(duì)方向燈、剎車燈等的控制。
[ΟΙ42] 轉(zhuǎn)向驅(qū)動(dòng)部752可執(zhí)行針對(duì)車輛200內(nèi)的轉(zhuǎn)向裝置(steering apparatus)的電子式控制。由此，能夠變更車輛的行進(jìn)方向。
[OH3] 制動(dòng)驅(qū)動(dòng)部753可執(zhí)行針對(duì)車輛200內(nèi)的制動(dòng)裝置(brake apparatus)(未圖示)的電子式控制。例如，通過(guò)控制車輪上配置的制動(dòng)器的動(dòng)作，能夠減小車輛200的速度。作為另一例，通過(guò)改變左輪和右輪上各配置的制動(dòng)器的動(dòng)作，可將車輛200的行進(jìn)方向調(diào)整為左側(cè)或右側(cè)。
[0144]動(dòng)力源驅(qū)動(dòng)部754可執(zhí)行針對(duì)車輛200內(nèi)的動(dòng)力源的電子式控制。
[0145]例如，在以基于化石燃料的引擎(未圖示)作為動(dòng)力源的情況下，動(dòng)力源驅(qū)動(dòng)部754可執(zhí)行針對(duì)引擎的電子式控制。由此，能夠控制引擎的輸出扭矩等。
[0146]作為另一例，在以基于電的馬達(dá)(未圖示)作為動(dòng)力源的情況下，動(dòng)力源驅(qū)動(dòng)部754可執(zhí)行針對(duì)馬達(dá)的控制。由此，能夠控制馬達(dá)的轉(zhuǎn)速、扭矩等。
[0147]天窗驅(qū)動(dòng)部755可執(zhí)行針對(duì)車輛200內(nèi)的天窗裝置(sunroof apparatus)的電子式控制。例如，能夠控制天窗的開(kāi)放或封閉。
[ΟΙ48] 懸架驅(qū)動(dòng)部756可執(zhí)行針對(duì)車輛200內(nèi)的懸架裝置(suspens1n apparatus)的電子式控制。例如，在道路面曲折的情況下，通過(guò)控制懸架裝置能夠控制減小車輛200的震動(dòng)。
[0149]空調(diào)驅(qū)動(dòng)部757可執(zhí)行針對(duì)車輛200內(nèi)的空調(diào)裝置(air condit1ner)的電子式控制。例如，在車輛內(nèi)部的溫度高的情況下，通過(guò)使空調(diào)裝置進(jìn)行動(dòng)作，能夠控制向車輛內(nèi)部供給冷氣。
[0150]車窗驅(qū)動(dòng)部758可執(zhí)行針對(duì)車輛200內(nèi)的車窗裝置(window apparatus)的電子式控制。例如，能夠控制車輛的側(cè)面的左、右車窗的開(kāi)放或封閉。
[0151]氣囊驅(qū)動(dòng)部759可執(zhí)行針對(duì)車輛200內(nèi)的氣囊裝置(airbag apparatus)的電子式控制。例如，當(dāng)發(fā)生危險(xiǎn)時(shí)，能夠控制氣囊被彈出。
[0152]傳感器部760用于檢測(cè)與車輛10的行駛等相關(guān)的信號(hào)。為此，檢測(cè)部760可包括航向傳感器(heading sensor)、擺傳感器(yaw sensor)、陀螺儀傳感器(gyro sensor)、定位模塊(posit1n module)、車輛前進(jìn)/倒車傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車體傾斜檢測(cè)傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤(pán)旋轉(zhuǎn)的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器等。
[0153]由此，傳感器部760能夠獲取與車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進(jìn)/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息等相關(guān)的檢測(cè)信號(hào)。
[0154]另外，傳感器部760可還包括加速踏板傳感器、壓力傳感器、引擎轉(zhuǎn)速傳感器(engine speed sensor)、空氣流量傳感器(AFS)、吸氣溫度傳感器(ATS)、水溫傳感器(WTS)、節(jié)氣門位置傳感器(TPS)、TDC傳感器、曲軸轉(zhuǎn)角傳感器(CAS)等。
[0155]E⑶770可控制電子控制裝置700內(nèi)的各單元的整體上的動(dòng)作。
[0156]可利用基于輸入部710的輸入來(lái)執(zhí)行特定動(dòng)作，或者接收傳感器部760中檢測(cè)出的信號(hào)并傳送給車輛駕駛輔助裝置100，可從AVN裝置400接收地圖信息并對(duì)各種驅(qū)動(dòng)部751、752、753、754、756的動(dòng)作進(jìn)行控制。
[0157]并且，E⑶770可通過(guò)通信部120接收天氣信息、道路的交通狀況信息，例如，可接收傳輸協(xié)議專家組(Transport Protocol Expert Group，TPEG)信息。
[0158]顯示部780可顯示與車輛駕駛輔助裝置的動(dòng)作相關(guān)的圖像。為了這樣的圖像顯示，顯示部780可包括車輛內(nèi)部前面的儀表盤(pán)(cluster)或平視顯示器(Head Up Display ,HUD)。另外，在顯示部780為HUD的情況下，可包括用于向車輛200的前面玻璃投射圖像的投射模塊。另外，顯示部780可包括可進(jìn)行輸入的觸摸屏。
[0159]音頻輸出部785將來(lái)自ECU770的電信號(hào)變換為音頻信號(hào)并輸出。為此，可設(shè)有揚(yáng)聲器等。音頻輸出部785可輸出與輸入部710，即按鍵的動(dòng)作對(duì)應(yīng)的聲音。
[0160]供電部790可基于ECU770的控制供給各結(jié)構(gòu)元件的動(dòng)作所需的電源。特別是，供電部790可從車輛內(nèi)部的電池(未圖示)等供給到電源。
[0161]圖8a是示出本發(fā)明的一實(shí)施例的車輛駕駛輔助裝置的動(dòng)作方法流程圖。
[0162]參照附圖，車輛駕駛輔助裝置100的處理器170從立體相機(jī)接收立體圖像(步驟S810)。此外，車輛駕駛輔助裝置100的處理器170從接口部接收地圖信息(步驟S820)。此外，車輛駕駛輔助裝置100的處理器170基于接收到的立體圖像來(lái)檢測(cè)關(guān)于車輛前方的第一區(qū)域的車線(步驟S823)。
[0163]如圖2中所述，利用配置于車輛內(nèi)部的立體相機(jī)195，車輛駕駛輔助裝置100的處理器170通過(guò)第一相機(jī)195a接收第一圖像，通過(guò)第二相機(jī)195b接收第二圖像。
[0164]由于第一相機(jī)195a和第二相機(jī)195b之間存在距離，第一圖像和第二圖像將產(chǎn)生視差(disparity)。
[0165]車輛駕駛輔助裝置100的處理器170計(jì)算第一圖像和第二圖像之間的視差，并利用計(jì)算出的視差信息對(duì)第一圖像和第二圖像中的至少一個(gè)執(zhí)行分割、對(duì)象檢測(cè)以及對(duì)象確認(rèn)。
[0166]此外，車輛駕駛輔助裝置100的處理器170對(duì)確認(rèn)出的對(duì)象，例如前方車輛、車線、道路面等執(zhí)行跟蹤。此外，車輛駕駛輔助裝置100的處理器170可獲取關(guān)于位于車輛前方的前方車輛的距離信息。
[0167]如果因霧氣或夜間等因素而僅能夠識(shí)別車輛的近距離區(qū)域時(shí)，車輛駕駛輔助裝置100的處理器170可對(duì)除了無(wú)法進(jìn)行車線檢測(cè)的區(qū)域以外的第一區(qū)域，基于立體圖像執(zhí)行車線檢測(cè)。
[0168]另外，對(duì)于無(wú)法基于立體圖像進(jìn)行車線檢測(cè)的區(qū)域，將使用以下的車線推定法。
[0169]接著，車輛駕駛輔助裝置100的處理器170基于地圖信息推定關(guān)于車輛前方的第二區(qū)域的車線(步驟S826)。
[0170]車輛駕駛輔助裝置100的處理器170可基于從接口部130接收的地圖信息Smp推定關(guān)于車輛前方的第二區(qū)域的車線，其中，所述第二區(qū)域是因霧氣或夜間等因素而無(wú)法進(jìn)行車線檢測(cè)的區(qū)域。
[0171]為此，車輛駕駛輔助裝置100的處理器170可比較基于立體圖像檢測(cè)出的車線信息和從接口部130接收的地圖信息Smp，并區(qū)分出第一區(qū)域以外的第二區(qū)域。此外，可從地圖信息中獲取關(guān)于第二區(qū)域的車線信息。此外，可基于獲取的車線信息來(lái)推定關(guān)于第二區(qū)域的車線。
[0172]接著，車輛駕駛輔助裝置100的處理器170生成包含有推定的車線的車線圖像并向外部輸出(步驟S829)。
[0173]車輛駕駛輔助裝置100的處理器170在進(jìn)行關(guān)于第二區(qū)域的車線推定后，可向外部輸出與車線推定對(duì)應(yīng)的第一車線圖像Slim。并且，車輛駕駛輔助裝置100的處理器170可還向外部輸出與第一區(qū)域，即車線檢測(cè)對(duì)應(yīng)的第二車線圖像Slim。這樣的車線圖像可顯示在車輛100內(nèi)部的顯示器180。
[0174]接著，車輛駕駛輔助裝置100的處理器170基于檢測(cè)出的車線以及推定的車線，生成用于控制轉(zhuǎn)向驅(qū)動(dòng)部752、制動(dòng)驅(qū)動(dòng)部753、動(dòng)力源驅(qū)動(dòng)部754、懸架驅(qū)動(dòng)部756中的至少一種的防偏離車線控制信號(hào)(步驟S840)。
[0175]車輛駕駛輔助裝置100的處理器170在進(jìn)行關(guān)于第二區(qū)域的車線推定后，比較當(dāng)前車輛的行進(jìn)方向信息和推定的車線并計(jì)算偏離車線與否，當(dāng)偏離車線時(shí)，可生成用于防止偏離車線的防偏離車線控制信號(hào)Sned。
[0176]例如，當(dāng)計(jì)算為實(shí)際車輛朝左側(cè)車線方向偏離車線時(shí)，車輛駕駛輔助裝置100的處理器170可生成用于使車輛朝向右側(cè)移動(dòng)的轉(zhuǎn)向驅(qū)動(dòng)控制信號(hào)或制動(dòng)驅(qū)動(dòng)控制信號(hào)中的至少一種。
[0177]E⑶770可通過(guò)接口部130接收轉(zhuǎn)向驅(qū)動(dòng)控制信號(hào)或制動(dòng)驅(qū)動(dòng)控制信號(hào)中的至少一種，轉(zhuǎn)向驅(qū)動(dòng)部752可控制轉(zhuǎn)向裝置執(zhí)行右側(cè)轉(zhuǎn)向，或者，制動(dòng)驅(qū)動(dòng)部753可使左側(cè)制動(dòng)器進(jìn)行動(dòng)作。
[0178]由此，可通過(guò)基于立體圖像的車輛駕駛輔助裝置100來(lái)執(zhí)行車輛的防偏離車線控制。
[0179]作為另一例，當(dāng)計(jì)算為雖然實(shí)際車輛處于直行中的狀態(tài)，但是相對(duì)于右側(cè)方向的曲線道路朝左側(cè)車線方向偏離車線時(shí)，車輛駕駛輔助裝置100的處理器170可生成用于使車輛朝向右側(cè)移動(dòng)的轉(zhuǎn)向驅(qū)動(dòng)控制信號(hào)或制動(dòng)驅(qū)動(dòng)控制信號(hào)中的至少一種。
[0180]圖Sb是示出本發(fā)明的另一實(shí)施例的車輛駕駛輔助裝置的動(dòng)作方法的流程圖。
[0181 ]圖8b的動(dòng)作方法與圖8a類似，其區(qū)別在于，執(zhí)行與步驟S820類似的步驟S821，并執(zhí)行與步驟S826類似的步驟S827。
[0182]以下，僅對(duì)存在區(qū)別的步驟S821和步驟S827進(jìn)行說(shuō)明。
[0183]根據(jù)步驟S821，車輛駕駛輔助裝置100的處理器170通過(guò)接口部接收傳感器信息和地圖信息(步驟S821)。
[0184]在通過(guò)接口部接收的傳感器信息內(nèi)可包含有車輛行駛信息Scar。其中，車輛行駛信息Scar可包含與車輛行駛相關(guān)的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜率信息等。
[0185]根據(jù)步驟S827，車輛駕駛輔助裝置100的處理器170基于車輛的位置信息和地圖信息推定關(guān)于車輛前方的第二區(qū)域的車線(步驟S827)。
[0186]另外，車輛駕駛輔助裝置100的處理器170可從ECU770或傳感器部760接收車輛行駛信息Scar，基于從接口部130中接收的地圖信息SmpJAECU 770或傳感器部760中接收的車輛行駛信息Scar中的車輛位置信息，在地圖上匹配當(dāng)前車輛的位置。
[0187]此外，車輛駕駛輔助裝置100的處理器170可考慮到基于立體圖像檢測(cè)出的車線信息，從地圖信息中獲取關(guān)于第二區(qū)域的車線信息。此外，可基于獲取的車線信息來(lái)推定關(guān)于第二區(qū)域的車線。
[0188]圖9例示出用于車線推定的處理器的內(nèi)部框圖的一例。
[0189]參照附圖，車輛駕駛輔助裝置100的處理器170可包括:車線檢測(cè)部910、車線推定部920、防偏離車線控制信號(hào)生成部930。
[0190]車輛駕駛輔助裝置100的處理器170可從立體相機(jī)195中接收立體圖像Simg，通過(guò)接口部130從AVN裝置400中接收地圖信息Smp JAEOT 770或傳感器部760中接收車輛行駛信息Scarο
[0191]其中，車輛行駛信息可包含車輛行進(jìn)方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛斜率信息、側(cè)面交匯信息、倒車信息等。另外，車輛行駛信息可以是傳感器信息的一部分。
[0192]車線檢測(cè)部910可基于從前方立體相機(jī)195中接收的立體圖像Simg來(lái)執(zhí)行車線檢測(cè)。具體而言，可基于立體圖像Simg的視差檢測(cè)關(guān)于前方的車線。
[0193]特別是，車線檢測(cè)部910可僅對(duì)作為能夠從前方立體相機(jī)195中確認(rèn)的區(qū)域的第一區(qū)域檢測(cè)車線。
[0194]特別是，當(dāng)因霧氣或夜間等因素而僅能夠識(shí)別車輛的近距離區(qū)域時(shí)，可基于立體圖像僅能夠?qū)Φ谝粎^(qū)域進(jìn)行車線檢測(cè)。
[0195]另外，對(duì)于無(wú)法基于立體圖像進(jìn)行車線檢測(cè)的區(qū)域，將使用以下的車線推定法。
[0196]車線推定部920可基于從接口部130中接收的地圖信息Smp來(lái)推定關(guān)于車輛前方的第二區(qū)域的車線。
[0197]特別是，車線推定部920可推定關(guān)于車輛前方的第二區(qū)域的車線，其中，所述第二區(qū)域是因霧氣或夜間等因素而無(wú)法進(jìn)行車線檢測(cè)的區(qū)域。
[0198]為此，車線推定部920可比較基于立體圖像檢測(cè)出的車線信息和從接口部130中接收的地圖信息Smp，并區(qū)分出第一區(qū)域以外的第二區(qū)域。此外，可從地圖信息獲取關(guān)于第二區(qū)域的車線信息。此外，可基于獲取的車線信息來(lái)推定關(guān)于第二區(qū)域的車線。
[0199]另外，車線推定部920可從E⑶770或傳感器部760接收車輛行駛信息Scar，基于從接口部130中接收的地圖信息Smp、從E⑶770或傳感器部760中接收的車輛行駛信息Scar中的車輛位置信息，在地圖上匹配當(dāng)前車輛的位置。
[0200]此外，車線推定部920可考慮到基于立體圖像檢測(cè)出的車線信息，從地圖信息中獲取關(guān)于第二區(qū)域的車線信息。此外，可基于獲取的車線信息來(lái)推定關(guān)于第二區(qū)域的車線。
[0201]另外，車線推定部920在推定關(guān)于第二區(qū)域的車線后，可向外部輸出與車線推定對(duì)應(yīng)的第一車線圖像Slim。并且，車線推定部920可還向外部輸出與第一區(qū)域，即車線檢測(cè)對(duì)應(yīng)的第二車線圖像Simg。這樣的車線圖像可顯示在車輛100內(nèi)部的顯示器180。
[0202]防偏離車線控制信號(hào)生成部930在車線推定部920的關(guān)于第二區(qū)域的車線推定后，比較當(dāng)前車輛的行進(jìn)方向信息和推定的車線并計(jì)算車線偏離與否，當(dāng)偏離車線時(shí)，可生成用于防止偏離車線的防偏離車線控制信號(hào)Sned。
[0203]這樣的防偏離車線控制信號(hào)Sned可傳送給ECU770，E⑶770可基于防偏離車線控制信號(hào)Sned控制轉(zhuǎn)向驅(qū)動(dòng)部752、制動(dòng)驅(qū)動(dòng)部753、動(dòng)力源驅(qū)動(dòng)部754、懸架驅(qū)動(dòng)部756中的至少一種。
[Ο2。4]圖10不出圖9的處理器的內(nèi)部框圖的另一例。
[0205]參照附圖，車輛駕駛輔助裝置100的處理器170可基于從前方立體相機(jī)195中接收的立體圖像，檢測(cè)基于圖像的車輛周邊信息。其中，基于圖像的車輛周邊信息可包含距離信息、周邊車輛距離信息、速度信息、車線信息及道路面信息、標(biāo)識(shí)牌信息等。
[0206]如上所述，可基于從前方立體相機(jī)195中接收的立體圖像來(lái)計(jì)算視差信息，并基于計(jì)算出的視差信息執(zhí)行分割、對(duì)象檢測(cè)以及對(duì)象確認(rèn)。
[0207]基于這樣的操作，車輛駕駛輔助裝置100的處理器170可執(zhí)行針對(duì)車輛前方的車輛檢測(cè)1010、距離檢測(cè)1011、車線檢測(cè)1012、道路面檢測(cè)1014、視覺(jué)測(cè)程1016( visualodometry)。
[0208]另外，車輛駕駛輔助裝置100的處理器170可接收來(lái)自AVN裝置400的地圖信息，并從E⑶770或傳感器部760中接收傳感器信息。
[0209]車輛駕駛輔助裝置100的處理器170基于來(lái)自ECU 770或傳感器部760的傳感器信息中的車輛行駛信息、來(lái)自AVN裝置400的地圖信息執(zhí)行地圖匹配1020。具體而言，車輛駕駛輔助裝置100的處理器170可基于車輛行駛信息中的作為車輛位置信息的GPS信息和來(lái)自AVN裝置400的地圖信息，將當(dāng)前車輛在地圖上進(jìn)行地圖匹配1020。
[0210]車輛駕駛輔助裝置100的處理器170基于來(lái)自ECU 770或傳感器部760的車輛行駛信息執(zhí)行航位推測(cè)1030(dead reckoning)。
[0211]此外，車輛駕駛輔助裝置100的處理器170基于航位推測(cè)(dead reckoning)執(zhí)行車輛移動(dòng)(egomot1n)跟蹤1040。此時(shí)，除了航位推測(cè)(dead reckoning)以外，也可基于視覺(jué)測(cè)程(visual odometry)執(zhí)行車輛移動(dòng)(egomot1n)跟蹤 1040。
[0212]另外，車輛駕駛輔助裝置100的處理器170可基于車輛移動(dòng)(egomot1n)跟蹤1040以及地圖匹配1020執(zhí)行行駛道路的曲率計(jì)算1050。
[0213]另外，車輛駕駛輔助裝置100的處理器170基于曲率計(jì)算1050、車線檢測(cè)1010以及道路面檢測(cè)1014執(zhí)行車輛的行進(jìn)方向跟蹤1060。
[0214]此外，車輛駕駛輔助裝置100的處理器170基于車輛的行進(jìn)方向跟蹤1060、車輛檢測(cè)1010、距離檢測(cè)1011、道路面檢測(cè)1014執(zhí)行車輛的碰撞、追尾危險(xiǎn)性等危險(xiǎn)度計(jì)算1065。
[0215]車輛駕駛輔助裝置I 00的處理器I 70基于危險(xiǎn)度計(jì)算I 065以及車輛移動(dòng)(egomot1n)跟蹤1040執(zhí)行車輛路徑預(yù)測(cè)1070(path predict1n)。即，車輛駕駛輔助裝置100的處理器170基于推定的車輛移動(dòng)1040以及跟蹤的行進(jìn)方向1060來(lái)進(jìn)行車輛路徑預(yù)測(cè)(predict1n)。
[0216]接著，車輛駕駛輔助裝置100的處理器170基于推定的車輛移動(dòng)和預(yù)測(cè)的車輛路徑計(jì)算車線偏離預(yù)測(cè)與否(步驟S1080)，如果是，則執(zhí)行防偏離車線控制信號(hào)Sned生成1090。另外，如果車線未發(fā)生偏離，則可控制執(zhí)行正常行駛1085。
[0217]此外，生成的防偏離車線控制信號(hào)Sn e d輸出給外部，特別是輸出給車輛的E C U770，E⑶770為了防止偏離車線而可控制轉(zhuǎn)向驅(qū)動(dòng)部752、制動(dòng)驅(qū)動(dòng)部753、動(dòng)力源驅(qū)動(dòng)部754、懸架驅(qū)動(dòng)部756中的至少一種。
[0218]圖11例示出關(guān)于第一曲線道路的車線檢測(cè)以及車線推定方法的一例。
[0219]參照附圖，車輛駕駛輔助裝置100的處理器170可通過(guò)立體相機(jī)195獲取關(guān)于車輛前方的立體圖像1110。立體圖像1110內(nèi)可包含曲線的第一車線至第三車線1122a、1124a、II26aο
[0220]另外，在車輛行駛狀況時(shí)，在有霧氣或夜間的情況下，通過(guò)車輛前方的立體圖像1110也僅顯示出關(guān)于車輛附近的車線，關(guān)于除此之外的其余區(qū)域的車線則不易進(jìn)行確認(rèn)。
[0221]因此，在立體圖像1110內(nèi)，可區(qū)分為能夠基于圖像進(jìn)行車線檢測(cè)的第一區(qū)域Al和無(wú)法進(jìn)行車線檢測(cè)的第二區(qū)域A2。
[0222]車輛駕駛輔助裝置100的處理器170可利用以上所述的對(duì)象檢測(cè)以及確認(rèn)法來(lái)執(zhí)行車線檢測(cè)以及確認(rèn)。此外，可生成關(guān)于檢測(cè)出的車線的車線圖像。
[0223]附圖內(nèi)的圖像1112例示出，在基于立體圖像執(zhí)行針對(duì)第一區(qū)域Al的車線檢測(cè)后，顯示關(guān)于檢測(cè)出的車線的圖像。因此，圖像1112例示出所生成的第一車線至第三車線圖像1122b、1124b、1126b重疊在實(shí)際拍攝的第一至第三車線1122a、1124a、1126a上。
[0224]另外，車輛駕駛輔助裝置100的處理器170可通過(guò)接口部130從AVN裝置400中接收地圖信息。除此之外，可接收傳感器信息中的車輛位置信息。
[0225]車輛駕駛輔助裝置100的處理器170基于接收到的地圖信息或基于地圖信息以及車輛位置信息執(zhí)行關(guān)于立體圖像內(nèi)的第二區(qū)域A2的車線推定。
[0226]車輛駕駛輔助裝置100的處理器170可比較基于立體圖像檢測(cè)出的車線信息和從接口部130中接收的地圖信息Smp，從而區(qū)分出第一區(qū)域以外的第二區(qū)域。此外，可從地圖信息中獲取關(guān)于第二區(qū)域的車線信息。此外，可基于獲取的車線信息來(lái)推定關(guān)于第二區(qū)域的車線。此外，可生成關(guān)于推定的車線的車線圖像。
[0227]附圖內(nèi)的圖像1114例示出，在基于從接口部130中接收的地圖信息Smp來(lái)執(zhí)行針對(duì)第二區(qū)域A2的車線推定后，顯示關(guān)于推定的車線的圖像。因此，圖像1114例示出所生成的第一車線至第三車線圖像1122c、1124c、1126c重疊在第二區(qū)域A2上。
[0228]車輛駕駛輔助裝置100的處理器170可向外部輸出圖像1114，從而利用顯示器180進(jìn)行顯示。由此，用戶能夠直觀地確認(rèn)關(guān)于第二區(qū)域的車線。
[0229]或者，車輛駕駛輔助裝置100的處理器170可合并圖像1112和圖像1114并生成圖像1116。圖像1116例示出，基于檢測(cè)出的車線的第一車線至第三車線圖像1122b、1124b、1126b重疊在第一區(qū)域Al，基于推定的車線的第一至第三車線圖像1122c、1124c、1126c重疊在第二區(qū)域A2。
[0230]附圖中例示出第一至第三車線圖像1122c、1124c、1126c具有與檢測(cè)出的車線的第一彎道(curve)相同的方向的彎道。即，例示出第一曲線道路為C字形曲線道路。
[0231]另外，車輛駕駛輔助裝置100的處理器170可向外部輸出圖像1116，從而利用顯示器180進(jìn)行顯示。由此，用戶能夠直觀地確認(rèn)關(guān)于第一區(qū)域以及第二區(qū)域的車線。
[0232]圖12例示出關(guān)于第二曲線道路的車線檢測(cè)以及車線推定方法的一例。
[0233]利用與圖11類似的方法，車輛駕駛輔助裝置100的處理器170通過(guò)立體相機(jī)195獲取關(guān)于車輛前方的立體圖像1210。立體圖像1210內(nèi)可包含曲線的第一車線至第三車線1122a、1124a、1126a。
[0234]另外，在車輛行駛狀況時(shí)，在有霧氣或夜間的情況下，通過(guò)車輛前方的立體圖像1210也僅顯示出關(guān)于車輛附近的車線，關(guān)于除此之外的其余區(qū)域的車線則不易進(jìn)行確認(rèn)。
[0235]因此，在010立體圖像1210內(nèi)，可區(qū)分為能夠基于圖像進(jìn)行車線檢測(cè)的第一區(qū)域Aa和和無(wú)法進(jìn)行車線檢測(cè)的第二區(qū)域Ab。
[0236]車輛駕駛輔助裝置100的處理器170可利用以上所述的對(duì)象檢測(cè)以及確認(rèn)法來(lái)執(zhí)行車線檢測(cè)以及確認(rèn)。此外，可生成關(guān)于檢測(cè)出的車線的車線圖像。
[0237]附圖內(nèi)的圖像1212例示出，在基于立體圖像執(zhí)行針對(duì)第一區(qū)域Aa的車線檢測(cè)后，顯示關(guān)于檢測(cè)出的車線的圖像。因此，圖像1212例示出所生成的第一車線至第三車線圖像1122b、1124b、1126b重疊在實(shí)際拍攝的第一至第三車線1122a、1124a、1126a上。
[0238]另外，車輛駕駛輔助裝置100的處理器170可通過(guò)接口部130從AVN裝置400中接收地圖信息。除此之外，可接收傳感器信息中的車輛位置信息。
[0239]車輛駕駛輔助裝置100的處理器170基于接收到的地圖信息或基于地圖信息以及車輛位置信息執(zhí)行關(guān)于立體圖像內(nèi)的第二區(qū)域Ab的車線推定。
[0240]車輛駕駛輔助裝置100的處理器170可比較基于立體圖像檢測(cè)出的車線信息和從接口部130中接收的地圖信息Smp，從而區(qū)分出第一區(qū)域以外的第二區(qū)域。此外，可從地圖信息中獲取關(guān)于第二區(qū)域的車線信息。此外，可基于獲取的車線信息來(lái)推定關(guān)于第二區(qū)域的車線。此外，可生成關(guān)于推定的車線的車線圖像。
[0241 ]圖內(nèi)的圖像1214例示出，在基于從接口部130中接收的地圖信息Smp來(lái)執(zhí)行針對(duì)第二區(qū)域Ab的車線推定后，顯示關(guān)于推定的車線的圖像。因此，圖像1214例示出所生成的第一車線至第三車線圖像1222c、1224c、1226c重疊在第二區(qū)域Ab上。
[0242]車輛駕駛輔助裝置100的處理器170可向外部輸出圖像1214，從而利用顯示器180進(jìn)行顯示。由此，用戶能夠直觀地確認(rèn)關(guān)于第二區(qū)域的車線。
[0243]或者，車輛駕駛輔助裝置100的處理器170可合并圖像1212和圖像1214并生成圖像1216。圖像1216例示出，基于檢測(cè)出的車線的第一車線至第三車線圖像1122b、1124b、1126b重疊在第一區(qū)域Aa，基于推定的車線的第一至第三車線圖像1222c、1224c、1226c重疊在第二區(qū)域A2。
[0244]附圖中例示出第一至第三車線圖像1222c、1224c、1226c具有與檢測(cè)出的車線的第一彎道(curve)相反的方向的彎道。即，例示出第二曲線道路為S字形曲線道路。
[0245]另外，車輛駕駛輔助裝置100的處理器170可向外部輸出圖像1216，從而利用顯示器180進(jìn)行顯示。由此，用戶能夠直觀地確認(rèn)關(guān)于第一區(qū)域以及第二區(qū)域的車線。
[0246]另外，車輛駕駛輔助裝置100的處理器170在圖11及圖12中示出的曲線道路的情況下，特別是，在第一區(qū)域包括具有第一彎道的第一曲線車線的情況下，在進(jìn)行針對(duì)第二區(qū)域的第二曲線車線推定時(shí)，可基于地圖信息推定是否為與第一彎道相同的方向的彎道，還是為與第一彎道相反的方向的彎道。
[0247]圖11中例示出第一曲線道路為C字形曲線道路，而圖12中例示出第二曲線道路為S字形曲線道路。特別是，即使在第一區(qū)域中檢測(cè)出的車線具有幾乎類似的彎道，車輛駕駛輔助裝置100的處理器170也可基于地圖上獲取的地圖信息來(lái)計(jì)算關(guān)于第二區(qū)域的車線是否為具有與第一彎道相同的方向的彎道的曲線車線，還是為具有與第一彎道相反的方向的彎道的曲線車線。
[0248]以下的數(shù)學(xué)式I例示出，在C字形曲線道路或S字形曲線道路狀況下均可適用的車線推定公式。
[0249]數(shù)學(xué)式I
[0250]y = (dx3) +ax2+bx+c
[0251]其中，d為決定C字形曲線道路或S字形曲線道路的比例常數(shù)。當(dāng)d為O時(shí)，表示C字形曲線道路，當(dāng)不是O時(shí)，表示S字形曲線道路。
[0252]并且，a表示彎道系數(shù)(curve coefficient)，b表示斜率系數(shù)(slopecoefficient)，c表不偏移系數(shù)(offset coefficient)。
[0253]另外，在向顯示器輸出的圖像1116或圖像1126中，相比于與檢測(cè)出的車線對(duì)應(yīng)的圖像1122b、1124b、1126b，優(yōu)選地使推定的車線的圖像(I 122c、1124c、1126c或1222c、1224c、1226c)更加高亮顯示。例如，推定的車線的圖像(I 122c、1124c、1126c或1222c、1224c、1226c)的車線厚度、大小、長(zhǎng)度可以更大。
[0254]圖13a例示出顯示關(guān)于圖11的第一曲線道路的車線圖像。
[0255]參照附圖，其例示出與圖11的圖像1116對(duì)應(yīng)的圖像1416顯示在車輛前擋玻璃上的輸出區(qū)域800 ο此時(shí)的顯示器180可以是HUD。
[0256]圖像1416可具有與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1422c、1424c、1426c。
[0257]另外，在車輛前擋玻璃上顯示車線圖像的情況下，可在實(shí)際前方狀況顯示基于增強(qiáng)現(xiàn)實(shí)(augmented reality)的圖像1416，用戶能夠直觀地識(shí)別前方道路的車線。特別是，能夠識(shí)別出無(wú)法進(jìn)行識(shí)別的關(guān)于第二區(qū)域的車線。
[0258]圖13b例示出顯示關(guān)于圖12的第二曲線道路的車線圖像。
[0259]參照附圖，其例示出與圖12的圖像1216對(duì)應(yīng)的圖像1426顯示在車輛前擋玻璃上的輸出區(qū)域800 ο此時(shí)的顯示器180可以是HUD。
[0260]圖像1426可具有與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1432c、1434c、1436c。
[0261]另外，車輛駕駛輔助裝置100的處理器170可與車輛的速度對(duì)應(yīng)地改變第一車線圖像的大小、厚度、長(zhǎng)度、顏色中的至少一種。
[0262]具體而言，車輛駕駛輔助裝置100的處理器170可與車輛的速度成比地設(shè)定為，使第一車線圖像的變化率變得更大，或使車線圖像內(nèi)的曲率變得更大，或使車線圖像的厚度或長(zhǎng)度變得更大。
[0263]圖14a至圖15b例示出在顯示關(guān)于曲線道路的車線圖像時(shí)，與車輛速度對(duì)應(yīng)地改變車線圖像的大小等并進(jìn)行顯示。
[0264]圖14a例示出，在車輛以第一速度Vl行駛的情況下，包含與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1432c、1434c、1436c以及車輛速度信息1442的圖像1426顯示在車輛前擋玻璃上的輸出區(qū)域800。
[0265]圖14b例示出，在車輛以比第一速度Vl更快的第二速度V2行駛的情況下，包含與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1522b、1524b、1526b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1532c、1534c、1536c以及車輛速度信息1452的圖像1526顯示在車輛前擋玻璃上的輸出區(qū)域800。
[0266]將圖14a和圖14b進(jìn)行比較可知，在速度更快的圖14b的情況下，與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1522b、1524b、1526b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1532c、1534c、1536c的厚度，其分別與圖14a的與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1432c、1434c、1436c相比更厚。
[0267]如上所述，通過(guò)與車輛速度成比地使車線圖像更厚地進(jìn)行顯示，能夠更加提高車線圖像識(shí)別度。進(jìn)一步，能夠通過(guò)車線圖像間接地識(shí)別出車輛速度。
[0268]接著，與圖14a相同的，圖15a例示出，在車輛以第一速度Vl行駛的情況下，包含與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1432c、1434c、1436c以及車輛速度信息1442的圖像1426顯示在車輛前擋玻璃上的輸出區(qū)域800。
[0269]接著，圖15b例示出，在車輛以第二速度V2行駛的情況下，包含與檢測(cè)車線對(duì)應(yīng)的第一車線至第三車線圖像1522b、1524b、1526b和與推定的車線對(duì)應(yīng)的第一至第三車線圖像1632c、1634c、1636c以及車輛速度信息1452的圖像1626顯示在車輛前擋玻璃上的輸出區(qū)域800。
[0270]將圖15a和圖15b進(jìn)行比較可知，在速度更快的圖15b的情況下，與推定的車線對(duì)應(yīng)的第一至第三車線圖像1532c、1534c、1536c的長(zhǎng)度，其與圖14a的與推定的車線對(duì)應(yīng)的第一至第三車線圖像1432c、1434c、1436c相比更長(zhǎng)。
[0271]如上所述，通過(guò)與車輛速度成比地使車線圖像更長(zhǎng)地進(jìn)行顯示，能夠更加提高車線圖像識(shí)別度。進(jìn)一步，能夠通過(guò)車線圖像間接地識(shí)別出車輛速度。
[0272]另外，車輛駕駛輔助裝置100的處理器170在進(jìn)行車線檢測(cè)以及推定后，考慮到車輛的行進(jìn)方向而可生成車線偏離警告信號(hào)，或者生成防偏離車線控制信號(hào)。
[0273]圖16a至圖16b例示出防止偏離車線的多種例。
[0274]圖16a例示出，車輛駕駛輔助裝置100的處理器170在進(jìn)行車線檢測(cè)以及推定后，考慮到車輛的行進(jìn)方向而生成車線偏離警告信號(hào)。
[0275]具體而言，車輛駕駛輔助裝置100的處理器170可以音頻信號(hào)方式生成車線偏離警告信號(hào)并輸出。此外，車輛內(nèi)部的音頻輸出部785可輸出如圖所示的聲音1710。由此，用戶能夠識(shí)別出車線偏離，并即刻通過(guò)方向盤(pán)150操作以手動(dòng)方式操作車線偏離。
[0276]另外，附圖中例示出在前擋玻璃上的輸出區(qū)域800顯示包含與檢測(cè)出的車線對(duì)應(yīng)的車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的車線圖像1432c、1434c、1436c的圖像1426，但是，也可追加地顯示車線偏離警告消息。
[0277]圖16b例示出，車輛駕駛輔助裝置100的處理器170在進(jìn)行車線檢測(cè)以及推定后，考慮到車輛的行進(jìn)方向而生成防偏離車線控制信號(hào)。
[0278]具體而言，車輛駕駛輔助裝置100的處理器170可一同生成防偏離車線控制信號(hào)和用于表示該防偏離車線控制信號(hào)的音頻信號(hào)并輸出。此外，車輛內(nèi)部的音頻輸出部785可輸入如圖所示的聲音1720。由此，用戶能夠即刻識(shí)別出將執(zhí)行防偏離車線控制。
[0279]另外，附圖中例示出在前擋玻璃上的輸出區(qū)域800顯示包含與檢測(cè)出的車線對(duì)應(yīng)的車線圖像1422b、1424b、1426b和與推定的車線對(duì)應(yīng)的車線圖像1432c、1434c、1436c的圖像1426，但是，也可追加地顯示與防偏離車線控制相關(guān)的消息。
[0280]圖17是示出本發(fā)明的另一實(shí)施例的單色相機(jī)的車輛的外觀的圖。
[0281]參照附圖，本發(fā)明的另一實(shí)施例的車輛200可包括:利用動(dòng)力源進(jìn)行旋轉(zhuǎn)的車輪135FR、135FL、135RL..；用于調(diào)節(jié)車輛200的行進(jìn)方向的方向盤(pán)150 ；以及設(shè)于車輛200內(nèi)部的單色相機(jī)193和雷達(dá)194。
[0282]通過(guò)單色相機(jī)193獲取的單色圖像和通過(guò)雷達(dá)194獲取的距離信息可在車輛駕駛輔助裝置(圖18a的2100)內(nèi)被信號(hào)處理。
[0283]圖18a例示出本發(fā)明的另一實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的一例。
[0284]參照附圖，圖18a的車輛駕駛輔助裝置2100的內(nèi)部框圖與圖3的車輛駕駛輔助裝置100的內(nèi)部框圖類似，其區(qū)別在于，基于通過(guò)單色相機(jī)193獲取的單色圖像和通過(guò)雷達(dá)194獲取的距離信息來(lái)執(zhí)行信號(hào)處理，而不是基于通過(guò)立體相機(jī)195獲取的立體圖像來(lái)執(zhí)行信號(hào)處理。即，可生成車輛姿勢(shì)控制信號(hào)。以下，僅對(duì)其區(qū)別點(diǎn)進(jìn)行描述。
[0285]單色相機(jī)193可以可裝卸于車輛200的車頂或前擋玻璃，并可包括具有鏡頭的單個(gè)相機(jī)。
[0286]雷達(dá)194可以可裝卸于車輛200的車頂或前擋玻璃，向車輛前方傳送規(guī)定頻率的電波，并接收從車輛前方的物體反射的電波。
[0287]處理器2170可基于雷達(dá)194中的發(fā)送電波和接收電波的差異來(lái)計(jì)算距離信息。并且，可通過(guò)匹配通過(guò)單色相機(jī)193獲取的單色圖像和距離信息來(lái)執(zhí)行對(duì)象分離、檢測(cè)、識(shí)別等。
[0288]接著，圖18b例示出本發(fā)明的又一實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的一例。
[0289]參照附圖，圖18b的車輛駕駛輔助裝置2150的內(nèi)部框圖與圖18a的車輛駕駛輔助裝置2100的內(nèi)部框圖類似，其區(qū)別在于，具有對(duì)外部對(duì)象物執(zhí)行掃描的激光雷達(dá)2101(Lidar)，而不是具有單色相機(jī)193和雷達(dá)194。
[0290]以下對(duì)區(qū)別點(diǎn)進(jìn)行描述，激光雷達(dá)2101可利用激光掃描方式獲取關(guān)于前方狀況的掃描圖像，處理器2270基于從激光雷達(dá)中接收的掃描圖像來(lái)執(zhí)行信號(hào)處理。即，可生成車輛姿勢(shì)控制信號(hào)。
[0291]圖19a至圖19b例示出圖18a的處理器的內(nèi)部框圖的多種例，圖20a至圖20b是在說(shuō)明圖19a的處理器的動(dòng)作時(shí)作為參照的圖。
[0292]圖19a至圖19b的處理器內(nèi)部框圖與圖4a至圖4b的處理器類似，其區(qū)別在于，不具有視差計(jì)算部。
[0293]取而代之，其區(qū)別在于，從外部的雷達(dá)194中接收與視差信息對(duì)應(yīng)的距離信息Sd。這樣的距離信息Sd輸入于分割部432，并可在圖像的分割時(shí)使用。
[0294]圖20a至圖20b是在基于分別從第一及第二幀區(qū)間中獲取的單色圖像來(lái)說(shuō)明圖19a的處理器170的動(dòng)作方法時(shí)作為參照的圖。
[0295]參照?qǐng)D20a至圖20b，其與圖5a至圖5b類似，但是其利用基于單色圖像和雷達(dá)的距離信息，因此，其區(qū)別在于，無(wú)需生成視差圖(distance map)。
[0296]首先，參照?qǐng)D20a，在第一幀區(qū)間期間，單色相機(jī)193獲取單色圖像FRl，雷達(dá)獲取距離信息Sdl。
[0297]由此，處理器2170內(nèi)的分割部432和對(duì)象檢測(cè)部434、對(duì)象確認(rèn)部436可以基于雷達(dá)的距離信息Sdl為基礎(chǔ)，對(duì)單色圖像FRl內(nèi)的第一車線至第四車線538a、538b、538c、538d、施工區(qū)域532、第一前方車輛534、第二前方車輛536進(jìn)行檢測(cè)及確認(rèn)。
[0298]接著，參照?qǐng)D20b，在第二幀區(qū)間期間，單色相機(jī)193獲取單色圖像FR2，雷達(dá)獲取距離信息Sd2。
[0299]由此，處理器2170內(nèi)的分割部432和對(duì)象檢測(cè)部434、對(duì)象確認(rèn)部436可以基于雷達(dá)的距離信息Sd2為基礎(chǔ)，對(duì)單色圖像FR2內(nèi)的第一車線至第四車線558a、558b、558c、558d、施工區(qū)域552、第一前方車輛554、第二前方車輛556進(jìn)行檢測(cè)及確認(rèn)。
[0300]另外，對(duì)象跟蹤部440可比較圖20a和圖20b，并執(zhí)行針對(duì)確認(rèn)出的對(duì)象的跟蹤。
[0301]具體而言，對(duì)象跟蹤部440可基于圖20a和圖20b中確認(rèn)出的各對(duì)象的移動(dòng)或移動(dòng)向量，對(duì)相應(yīng)對(duì)象的移動(dòng)等進(jìn)行跟蹤。由此，可執(zhí)行針對(duì)位于車輛周邊的車線、施工區(qū)域、第一前方車輛、第二前方車輛等的跟蹤。
[0302]另外，圖17至圖20b中描述的具有單色相機(jī)193和雷達(dá)194的車輛駕駛輔助裝置2100可與圖8a至圖16b中的描述類似地，基于單色圖像和距離信息執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自接口部的地圖信息推定關(guān)于車輛前方的第二區(qū)域的車線。
[0303]此外，車輛駕駛輔助裝置2100的處理器2170可生成與推定的車線對(duì)應(yīng)的車線圖像，并向外部進(jìn)行輸出。
[0304]另外，車輛駕駛輔助裝置2100的處理器2170可基于檢測(cè)出的車線以及推定的車線來(lái)執(zhí)行車線偏離預(yù)測(cè)，并在預(yù)測(cè)出偏離車線時(shí)，生成用于控制設(shè)于車輛內(nèi)的轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部中的至少一種的防偏離車線控制信號(hào)。
[0305]另外，具有圖18b中描述的激光雷達(dá)2101的車輛駕駛輔助裝置2150與圖8a至圖16b中的描述類似地，可基于掃描圖像執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自接口部的地圖信息推定關(guān)于車輛前方的第二區(qū)域的車線。
[0306]此外，車輛駕駛輔助裝置2150的處理器2270可生成與推定的車線對(duì)應(yīng)的車線圖像，并向外部進(jìn)行輸出。
[0307]另外，車輛駕駛輔助裝置2150的處理器2270可基于檢測(cè)出的車線以及推定的車線來(lái)執(zhí)行車線偏離預(yù)測(cè)，并在預(yù)測(cè)出偏離車線時(shí)，生成用于控制設(shè)于車輛內(nèi)的轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部中的至少一種的防偏離車線控制信號(hào)。
[0308]本發(fā)明的實(shí)施例的車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛并不限定于以上所描述的實(shí)施例的結(jié)構(gòu)和方法來(lái)實(shí)施，而是為使所述實(shí)施例可實(shí)現(xiàn)多種變形，各實(shí)施例的全部或一部分可選擇性地組合構(gòu)成。
[0309]另外，本發(fā)明的車輛駕駛輔助裝置或車輛的動(dòng)作方法可在設(shè)于車輛駕駛輔助裝置或車輛的處理器可讀取的記錄介質(zhì)中由處理器可讀取的代碼來(lái)實(shí)現(xiàn)。處理器可讀取的記錄介質(zhì)包括存儲(chǔ)有可由處理器讀取的數(shù)據(jù)的所有種類的記錄裝置。處理器可讀取的記錄介質(zhì)的例有ROM、RAMXD-ROM、磁帶、軟盤(pán)、光數(shù)據(jù)存儲(chǔ)裝置等，并且也可以諸如通過(guò)網(wǎng)絡(luò)的傳送的載波的形態(tài)實(shí)現(xiàn)。并且，處理器可讀取的記錄介質(zhì)可分散于用網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)，存儲(chǔ)有處理器可以離散方式讀取的代碼并執(zhí)行。
[0310]并且，以上對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行了圖示并說(shuō)明，但是本發(fā)明并不限定于以上所述的特定實(shí)施例，在不背離權(quán)利要求書(shū)中請(qǐng)求的本發(fā)明的技術(shù)思想的范圍的情況下，本領(lǐng)域的技術(shù)人員能夠?qū)Ρ景l(fā)明進(jìn)行多種變形實(shí)施，這樣的變形實(shí)施不應(yīng)背離本發(fā)明的技術(shù)思想或前景而單獨(dú)地加以理解。
[0311]工業(yè)利用性
[0312]本發(fā)明可適用于車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛，特別是，可適用于能夠基于拍攝的圖像來(lái)確認(rèn)關(guān)于車輛前方的車線的車輛駕駛輔助裝置及設(shè)有該車輛駕駛輔助裝置的車輛。
【主權(quán)項(xiàng)】
1.一種車輛駕駛輔助裝置，其特征在于，包括: 立體相機(jī)； 接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換； 處理器，基于從所述立體相機(jī)中接收的立體圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。2.根據(jù)權(quán)利要求1所述的車輛駕駛輔助裝置，其特征在于，所述處理器在進(jìn)行所述車線推定時(shí)，除了所述地圖信息以外，還基于來(lái)自所述接口部的車輛位置信息推定關(guān)于所述第二區(qū)域的車線。3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的車輛駕駛輔助裝置，其特征在于，所述處理器在進(jìn)行所述車線推定時(shí)，還基于針對(duì)所述第一區(qū)域的檢測(cè)車線來(lái)執(zhí)行關(guān)于所述第二區(qū)域的車線推定。4.根據(jù)權(quán)利要求1所述的車輛駕駛輔助裝置，其特征在于，所述處理器生成與所述推定的車線對(duì)應(yīng)的第一車線圖像，并向外部輸出所述生成的第一車線圖像。5.根據(jù)權(quán)利要求4所述的車輛駕駛輔助裝置，其特征在于，所述處理器還生成與所述檢測(cè)出的車線對(duì)應(yīng)的第二車線圖像，并向外部輸出所述生成的第二車線圖像。6.根據(jù)權(quán)利要求1所述的車輛駕駛輔助裝置，其特征在于，所述處理器在所述第一區(qū)域包括具有第一彎道的第一曲線車線的情況下，當(dāng)執(zhí)行針對(duì)所述第二區(qū)域的第二曲線車線推定時(shí)，基于所述地圖信息推定是否為與所述第一彎道相同的方向的彎道，還是為與所述第一彎道相反的方向的彎道。7.根據(jù)權(quán)利要求4所述的車輛駕駛輔助裝置，其特征在于，所述處理器與所述車輛的速度對(duì)應(yīng)地改變所述第一車線圖像的大小、厚度、長(zhǎng)度、顏色中的至少一種。8.根據(jù)權(quán)利要求4所述的車輛駕駛輔助裝置，其特征在于，所述處理器與所述車輛的速度成比地設(shè)定為，使所述第一車線圖像的變化率變得更大，或使所述車線圖像內(nèi)的曲率變得更大，或使車線圖像的厚度或長(zhǎng)度變得更大。9.根據(jù)權(quán)利要求1所述的車輛駕駛輔助裝置，其特征在于，所述處理器包括: 視差計(jì)算部，執(zhí)行所述立體圖像的視差計(jì)算； 對(duì)象檢測(cè)部，基于所述立體圖像的視差信息執(zhí)行針對(duì)所述立體圖像中的至少一個(gè)的對(duì)象檢測(cè)； 對(duì)象跟蹤部，執(zhí)行針對(duì)所述檢測(cè)出的對(duì)象的跟蹤。10.根據(jù)權(quán)利要求9所述的車輛駕駛輔助裝置，其特征在于，所述處理器還包括: 分割部，基于所述立體圖像的視差信息分割所述立體圖像內(nèi)的對(duì)象，以及 對(duì)象確認(rèn)部，分類所述檢測(cè)出的對(duì)象； 所述對(duì)象檢測(cè)部基于所述分割的對(duì)象來(lái)執(zhí)行針對(duì)所述立體圖像中的至少一個(gè)的對(duì)象檢測(cè)。11.根據(jù)權(quán)利要求1所述的車輛駕駛輔助裝置，其特征在于，基于所述檢測(cè)出的車線以及推定的車線來(lái)執(zhí)行車線偏離預(yù)測(cè)，并在預(yù)測(cè)出偏離車線時(shí)，生成用于控制設(shè)于車輛內(nèi)的轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部中的至少一種的防偏離車線控制信號(hào)。12.根據(jù)權(quán)利要求11所述的車輛駕駛輔助裝置，其特征在于， 所述接口部接收所述車輛的傳感器信息， 所述處理器基于所述立體圖像來(lái)檢測(cè)包含所述車線、道路面、與周邊車輛的距離信息、所述周邊車輛的速度信息的基于圖像的車輛周邊信息， 基于所述傳感器信息執(zhí)行車輛移動(dòng)推定， 以所述基于圖像的車輛周邊信息為基礎(chǔ)執(zhí)行所述車輛的行進(jìn)方向跟蹤， 基于所述推定的車輛移動(dòng)以及所述跟蹤的行進(jìn)方向來(lái)執(zhí)行車輛路徑預(yù)測(cè)， 基于所述推定的車輛移動(dòng)和預(yù)測(cè)的車輛路徑來(lái)計(jì)算車線偏離與否，并生成所述防偏離車線控制信號(hào)。13.根據(jù)權(quán)利要求12所述的車輛駕駛輔助裝置，其特征在于， 所述接口部還接收地圖信息， 所述處理器基于所述地圖信息和所述車輛行駛信息執(zhí)行地圖匹配， 以所述地圖信息和所述基于圖像的車輛周邊信息為基礎(chǔ)執(zhí)行所述車輛的行進(jìn)方向跟蹤， 基于所述推定的車輛移動(dòng)以及跟蹤的所述行進(jìn)方向執(zhí)行所述車輛路徑預(yù)測(cè)， 基于所述推定的車輛移動(dòng)和預(yù)測(cè)的車輛路徑計(jì)算車線偏離與否，并生成所述防偏離車線控制信號(hào)。14.一種車輛駕駛輔助裝置，其特征在于，包括: 單色相機(jī)； 雷達(dá)； 接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換； 處理器，基于從所述單色相機(jī)中接收的單色圖像和來(lái)自所述雷達(dá)的距離信息執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。15.一種車輛駕駛輔助裝置，其特征在于，包括: 激光雷達(dá)，執(zhí)行針對(duì)外部對(duì)象物的掃描； 接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換； 處理器，基于從所述激光雷達(dá)中接收的掃描圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，基于來(lái)自所述接口部的地圖信息推定關(guān)于所述車輛前方的第二區(qū)域的車線。16.一種車輛，其特征在于，包括: 檢測(cè)部，檢測(cè)車輛狀態(tài)； 轉(zhuǎn)向驅(qū)動(dòng)部，驅(qū)動(dòng)轉(zhuǎn)向裝置； 制動(dòng)驅(qū)動(dòng)部，驅(qū)動(dòng)制動(dòng)裝置； 動(dòng)力源驅(qū)動(dòng)部，驅(qū)動(dòng)動(dòng)力源； 懸架驅(qū)動(dòng)部，驅(qū)動(dòng)懸架裝置； 控制部，控制所述轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部；以及車輛駕駛輔助裝置，包括:立體相機(jī);接口部，與至少一個(gè)車輛內(nèi)部裝置進(jìn)行數(shù)據(jù)交換；處理器，基于從所述立體相機(jī)中接收的立體圖像來(lái)執(zhí)行針對(duì)車輛前方的第一區(qū)域的車線檢測(cè)，并基于來(lái)自所述接口部的地圖信息執(zhí)行關(guān)于所述車輛前方的第二區(qū)域的車線推定。17.根據(jù)權(quán)利要求16所述的車輛，其特征在于，所述處理器生成與所述推定的車線對(duì)應(yīng)的第一車線圖像，并向外部輸出所述生成的第一車線圖像。18.根據(jù)權(quán)利要求17所述的車輛，其特征在于，所述處理器在所述第一區(qū)域包括具有第一彎道的第一曲線車線的情況下，在執(zhí)行針對(duì)所述第二區(qū)域的第二曲線車線推定時(shí)，基于所述地圖信息推定是否為與所述第一彎道相同的方向的彎道，還是為與所述第一彎道相反的方向的彎道。19.根據(jù)權(quán)利要求17所述的車輛，其特征在于，所述處理器與所述車輛的速度對(duì)應(yīng)地改變所述第一車線圖像的大小、厚度、長(zhǎng)度、顏色中的至少一種。20.根據(jù)權(quán)利要求16所述的車輛，其特征在于，基于所述檢測(cè)出的車線以及推定的車線來(lái)執(zhí)行車線偏離預(yù)測(cè)，在預(yù)測(cè)出偏離車線時(shí)，生成用于控制設(shè)于車輛內(nèi)的轉(zhuǎn)向驅(qū)動(dòng)部、制動(dòng)驅(qū)動(dòng)部、動(dòng)力源驅(qū)動(dòng)部、懸架驅(qū)動(dòng)部中的至少一種的防偏離車線控制信號(hào)。
【文檔編號(hào)】B60W30/12GK105916750SQ201480073626
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2014年12月24日
【發(fā)明人】李柱虎, 樸永經(jīng), M·桑吉維, R·維賈伊, R·Y·納雷什
【申請(qǐng)人】Lg電子株式會(huì)社