專利名稱：嵌入式集成視覺輔助行車安全系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及視覺輔助行車安全系統(tǒng)，更具體地說是一種主要用于防止車輛撞車或偏 離車道的安全行車系統(tǒng)。
背景技術(shù)：
日益增長的汽車產(chǎn)量以及日益增長的安全擔(dān)憂，正推動主動和被動安全系統(tǒng)市場的發(fā) 展。根據(jù)德國保險協(xié)會(German Insurance Association)的研究，有25%的交通事故的原 因是駕駛員注意力不集中、反應(yīng)延遲，甚至在車內(nèi)打瞌睡。使得研究輔助行車安全系統(tǒng)這一 課題變得尤為重要。
目前，作為車輛的常規(guī)配置，輔助行車安全系統(tǒng)主要有如下兩種形式，但卻各自存在有 問題.
1、 使用雷達(dá)進(jìn)行被動探測，以便探測警戒區(qū)域內(nèi)的事故物體，但沒有為駕駛?cè)藛T直觀 地標(biāo)識出事故物體所在的具體位置。
2、 將雷達(dá)應(yīng)用于車道變換輔助系統(tǒng)LCA，但只在車輛變道時探測到事故物體的存在， 才會發(fā)出警報，不能避免駕駛?cè)藛T因注意力不集中所造成的非自主變道行為。
3、 存在視覺盲區(qū)。機(jī)動車輛左右兩側(cè)3米、后方3米以內(nèi)的區(qū)域極易形成車外后視鏡 上的視覺盲區(qū)。

實用新型內(nèi)容
本實用新型是為避免上述現(xiàn)有技術(shù)所存在的不足之處，利用計算機(jī)視覺和信息融合技 術(shù)，提供一種嵌入式集成視覺輔助行車安全系統(tǒng)， 一方面，當(dāng)鄰近車道有從后部高速接近的 車輛或其它可能引起事故的物體時，系統(tǒng)能夠提前告知駕駛員潛在的危險； 一旦駕駛員變換 車道，系統(tǒng)將觸發(fā)警告，使駕駛員能夠及時反應(yīng)，避免碰撞；另一方面，若車輛沒有在受控 的情況下偏離車道，系統(tǒng)能夠發(fā)出警告，以保證行駛安全。
本實用新型解決技術(shù)問題釆用如下技術(shù)方案
本實用新型嵌入式集成視覺輔助駕駛安全系統(tǒng)的特點是其系統(tǒng)構(gòu)成包括 一個由視頻圖像采集器和測距雷達(dá)共同組成的采集模塊，實時采集車身四周的環(huán)境狀
況；
一個基于總線形式的傳輸模塊，在系統(tǒng)各模塊之間進(jìn)行通信和在系統(tǒng)與車內(nèi)其它車載電 子設(shè)備之間進(jìn)行通信；
一個由信息處理模塊和存儲模塊共同組成的主控模塊，接受來自所述采集模塊的關(guān)于車身四周的環(huán)境狀況的采集信息，通過圖像縫合、信息融合和同步圖像識別實現(xiàn)行車車道的識 別和跟蹤，以及捕獲和跟蹤行車過程中防范區(qū)域內(nèi)潛在事故物體，配合檢測駕駛者是否有主 動變換行車方向的動作，輸出執(zhí)行信號至人機(jī)接口模塊；
一個由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成的人機(jī)接口模塊，接受所 述主控模塊的輸出信號，執(zhí)行相應(yīng)的顯示或預(yù)警。
本實用新型系統(tǒng)的結(jié)構(gòu)特點也在于
所述防范區(qū)域是機(jī)動車輛左右兩側(cè)3米和后方3米以內(nèi)的區(qū)域。
所述視頻圖像采集器是可紅外夜視、視角為105° 120 。的CM0S攝像頭，至少為四只，
分別安裝于車前、車左側(cè)、車右側(cè)和車尾。
所述測距雷達(dá)采,用微米波雷達(dá)，至少三只，分別安裝于車身左側(cè)、車身右側(cè)和車身尾部。 所述安裝于車身左側(cè)和車身右側(cè)的測距雷達(dá)的探測距離不少于50米，安裝在車身尾部
的測距雷達(dá)的探測距離不少于100米。
所述人機(jī)接口模塊中的視屏顯示器是安裝于車內(nèi)前部面板上的彩色LCD顯示器。 所述人機(jī)接口模塊中的振動報警器是安裝于汽車方向盤內(nèi)的振動器。 所述基于總線形式的數(shù)據(jù)傳輸模塊是采用汽車通用CAN總線協(xié)議接口。 本實用新型系統(tǒng)中由所述人機(jī)接口模塊執(zhí)行的預(yù)警包括
a、 在駕駛員非主動變換行車方向而車身偏離車道時，系統(tǒng)以聲音警報器發(fā)聲預(yù)警；
b、 在駕駛員不主動變換車道正常行使中，視頻顯示器顯示車身四周融合的視頻圖像， 且閃爍圈定視頻圖像內(nèi)的潛在事故物體；
c、 在駕駛員主動變換車道，視頻圖像內(nèi)存在潛在事故物體且雷達(dá)探測到該事故物體時， 振動警報器振動預(yù)警。
與已有技術(shù)相比，本實用新型的有益效果體現(xiàn)在-
1、 本實用新型利用視頻圖像采集器的采集信號，經(jīng)過視頻縫合和信息融合后輸出探測 區(qū)域內(nèi)的"合成"視頻；同時應(yīng)用圖像識別技術(shù)同步識別鄰近車輛和行人，克服了雷達(dá)探測 的被動性和非可視性；通過閃爍圈定視頻中潛在的事故物體，來提醒駕駛員注意，實現(xiàn)主動 安全行車，為安全駕駛提供有力保障。
2、 本實用新型通過視頻圖像采集器實時監(jiān)測車身相對車道標(biāo)志線的位置，同時進(jìn)行車 道標(biāo)志線識別和安全規(guī)則匹配，可以有效識別駕駛員是否為非主動變道。在駕駛者非主動變 換行車方向而車身偏離車道時，系統(tǒng)以聲音警報器發(fā)聲預(yù)警，可以有效避免事故發(fā)生。
3、 本實用新型人機(jī)接口模塊中的操作按鈕可以用于設(shè)定設(shè)定系統(tǒng)運行參數(shù)和系統(tǒng)運行時的主動預(yù)警等級。將主動預(yù)警等級和危險程度關(guān)聯(lián)起來，根據(jù)危險程度來確定三個危險等 級，分別為高、中和低三級。駕駛者根據(jù)開車習(xí)慣，可以對系統(tǒng)運行狀態(tài)設(shè)置成高安全性、 中安全性和低安全性三個運行狀態(tài)，三個運行狀態(tài)決定從危險程度確定危險等級的閥值，運 行狀態(tài)安全性越高，危險等級的閥值越小，從而安全行車系數(shù)越高。根據(jù)運行狀態(tài)決定的閥 值，視頻圖像中被閃爍圈定的事故物體被動態(tài)賦予高、中、低三個危險等級。


圖l為本實用新型系統(tǒng)結(jié)構(gòu)圖。 圖2為本實用新型設(shè)備結(jié)構(gòu)框圖。
圖3為雷達(dá)安裝位置及探測范圍示意圖。
圖4為本實用新型盲區(qū)探測BSD與車道變換輔助系統(tǒng)LCA原理示意圖。
圖5為本實用新型BSD與LCA功能框圖。
圖6為本實用新型離開車道警告系統(tǒng)LDW的原理示意圖。
圖7為本實用新型LDW功能框圖。
以下通過具體實施方式
，結(jié)合附圖對本實用新型作進(jìn)一步描述。
具體實施方式
參見圖1，本實施例基于高性能的嵌入式控制平臺，采用C0MS攝像頭和測距雷達(dá)，包 括車左側(cè)雷達(dá)和攝像頭、車右側(cè)雷達(dá)和攝像頭、車尾雷達(dá)和攝像頭，以及車前攝像頭實時監(jiān) 測視覺防范區(qū)域和車輛相對于車道的位置。將其中信號采集、存儲、傳輸、MCU、信息處理 模塊封裝為控制盒?；诳偩€形式的傳輸模塊，在系統(tǒng)各模塊之間進(jìn)行通信和在系統(tǒng)與車內(nèi) 其它車在電子設(shè)備之間進(jìn)行通信。信息處理模塊和存儲模塊組成的主控模塊，接受來自采集 模塊的關(guān)于車身四周環(huán)境狀況的采集信息，經(jīng)過圖像縫合、信息融合和同步圖像識別實現(xiàn)行 車車道的識別和跟蹤，以及捕捉和跟蹤行車過程中防范區(qū)域內(nèi)潛在的事故物體。人機(jī)接口模 塊式由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成。
按照本領(lǐng)域內(nèi)的常規(guī)技術(shù)，圖像縫合是基于0pencv的自適應(yīng)模板匹配算法，通過Harris 算子提取圖像角點，利用角點數(shù)量和位置信息，自適應(yīng)地調(diào)整匹配模板大小和位置。這一 模板匹配方式不僅能自適應(yīng)地改變模板大小和位置，而且能解決彩色圖像光照變化所造成的 誤匹配問題。信息融合是為保證縫合后的圖像能保持流暢的視覺效果，首先利用方差和均值 這兩個統(tǒng)計參數(shù)對待縫合圖像進(jìn)行調(diào)整，將一幅圖像的統(tǒng)計特征賦給待縫合的另外一幅，使 得待縫合的圖像亮度達(dá)到基本一致。接著通過引入最優(yōu)化融合因子。同步圖像識別算法是基 于特征的識別算法，利用基元提取、特征聚類和匹配來進(jìn)行車道和運動車輛、行人的跟蹤，使用的特征是線段、角點的局部特征。算法運算速度快，實現(xiàn)了同步圖像識別。且適用于復(fù) 雜交通環(huán)境，尤其是當(dāng)多個目標(biāo)相連或相互遮擋時，能夠利用少數(shù)幾個特征點進(jìn)行識別，充 分利用局部特征信噪比高的特點。
圖2中所示的四個攝像頭分別安裝于車前、車左側(cè)、車右側(cè)和車尾。采用COMS攝像頭， 具有較高圖像動態(tài)捕獲范圍、較高分辨率、有夜視功能且滿足行車環(huán)境的需要。圖2所示的 三只雷達(dá)是分別安裝于車身左側(cè)、車身右側(cè)及車身尾部的微米波雷達(dá)，其探測距離應(yīng)覆蓋圖 3定義的范圍；數(shù)字信號處理器8是集成CAN總線接口和視頻接口等外圍接口的高性能數(shù)字 信號處理器，其處理能力要能滿足多任務(wù)的實時處理要求；存儲器9是SDRAM和FLASH RAM 共同組成的存儲部件，SDRAM采用雙向接口類型，且容量滿足視頻釆集量的需要，F(xiàn)LASH RAM 存儲軟件、系統(tǒng)參數(shù)和其它固件；LCD顯示器11采用彩色液晶顯示器，安裝于車內(nèi)儀表盤 位置處，用于實現(xiàn)決策后的預(yù)警與顯示盲區(qū)視頻的功能。振動器12安裝于汽車方向盤內(nèi)， 當(dāng)駕駛者主動變換車道時且存在潛在引發(fā)事故的物體時，產(chǎn)生振動預(yù)警；車內(nèi)電子設(shè)備10 包括車內(nèi)方向盤轉(zhuǎn)動傳感器和指示燈控制器，用來接受駕駛者主動變換行車方向的信號。
參見圖3，采用微米波雷達(dá)，分別安裝于車身左側(cè)和車身右側(cè)的兩個側(cè)部雷達(dá)31和安 裝于車身尾部的一個尾部雷達(dá)32，提供了車身兩側(cè)至少分別為50米、車身尾部至少為IOO 米的探測距離，如圖3所示的區(qū)域A;根據(jù)雷達(dá)波發(fā)射與接受信號，精確測算該區(qū)域內(nèi)一定 體積大小范圍的物體與車身的相對速度和距離，此相對速度與距離作為物體危險程度計算的 依據(jù)。
參見圖4，按已有技術(shù)，車輛左右兩側(cè)3米和后方3米的區(qū)域內(nèi)為車外后視鏡上的視覺 盲點。圖中e為車后視鏡視角范圍。目前，奧迪、奔馳和TRW等，均采用中程雷達(dá)或短程雷 達(dá)作為探測盲區(qū)的傳感器，但只能給出探測區(qū)域是否存在行人或鄰近車輛這種"是與否"的 結(jié)果。
本實施例中，采用大視角視頻監(jiān)測盲區(qū)方式彌補(bǔ)雷達(dá)探測的不足。為了不僅為駕駛員提 供盲區(qū)是否存在危險的單一信息，而且讓駕駛員更直觀清楚地了解盲區(qū)中行人及鄰近車輛的 情況。采用視角a為105° 120 °、小型彩色紅外CMOS攝像頭，分別設(shè)置在車身左側(cè)、車 身右側(cè)和車身尾部，即兩個側(cè)部攝像頭41和一個尾部攝像頭42，根據(jù)車身大小，同步調(diào)整 三個CMOS攝像頭的角度，使得視頻畫面重疊區(qū)域大于單幅視頻的20%，且小于單幅視頻的 50%。三個CMOS攝像頭實時探測后視鏡遺留的全部盲區(qū)。
參見圖5， BSD與LCA由三個CMOS攝像頭、測距雷達(dá)、信號采集存儲模塊、信息擬合模 塊、圖像擬合模塊、警報器、視頻顯示器構(gòu)成，其中CMOS攝像頭為小型彩色紅外攝像頭，攝像頭角度可以調(diào)整。
測距雷達(dá)，采用微米波雷達(dá)。為了減低成本，提高性價比，因此必須要提高雷達(dá)的性能， 降低雷達(dá)的成本，并減少系統(tǒng)中雷達(dá)的用量。
信號采集存儲模塊用于采集盲區(qū)信息及存儲各種驅(qū)動、應(yīng)用軟件和采集到的視頻信息。 BSD和LCA共享信號采集模塊。
信息擬合模塊是基于圖像的測量。利用圖像處理和圖像擬合技術(shù)將三個CMOS攝像頭監(jiān) 測的盲區(qū)信息縫合成一幅更完整的圖像，真正實現(xiàn)無盲區(qū)駕駛。
圖像擬合模塊是基于圖像識別和與分割。應(yīng)用圖像識別技術(shù)，更直觀地標(biāo)識盲區(qū)中潛在 的事故物體所在位置。即對信息擬合模塊輸出的多傳感器"合成"影像，同步識別、估算臨 近(最短距離)事故物體，通過閃爍圈定被識別出的潛在事故物體來提醒駕駛員注意。
警報器在駕駛員主動變換車道，視頻圖像內(nèi)存在潛在事故物體且雷達(dá)探測到該事故物 體時，振動警報器振動預(yù)警。該振動報警器安裝于汽車方向盤內(nèi)的振動器。BSD和LCA共享 報警器。
視頻顯示器是用來顯示3個CMOS攝像頭獲取的探測區(qū)域的"合成"視頻。該視頻顯示 器是安裝于車內(nèi)前部面板上的彩色LCD顯示器。
參見圖6，離開車道警告LDW，通過安裝在車前端保險杠的一個CM0S前端攝像頭61， 實施監(jiān)測車身相對車道標(biāo)志線的位置，該前端攝像頭61的視角范圍Y為105° 120 °。當(dāng) 駕駛員在注意力不集中的情況下發(fā)生非主動變道時，報警器將發(fā)出報警，提醒駕駛員注意。
參見圖7， LDW由一個攝像頭、信號采集模塊、存儲、車道標(biāo)志線識別安全規(guī)則匹配模 塊和警報器構(gòu)成，其中
信號采集模塊用于采集車身相對車道標(biāo)志線的位置信息；
存儲模塊用于存儲各種驅(qū)動、應(yīng)用軟件和采集到的視頻信息；
車道標(biāo)志線識別安全規(guī)則匹配模塊包括并行開展車道標(biāo)志線識別算法、圖像擬合算法、 臨近車輛/行人識別提取算法、基于圖像測量算法；
警報器，在駕駛員非主動變換行車方向而車身偏離車道時，系統(tǒng)以聲音警報器發(fā)聲預(yù)警， 以避免交通事故的發(fā)生。
權(quán)利要求1、一種嵌入式集成視覺輔助行車安全系統(tǒng)，其特征在于系統(tǒng)構(gòu)成包括一個由視頻圖像采集器和測距雷達(dá)共同組成的采集模塊，實時采集車身四周的環(huán)境狀況；一個基于總線形式的傳輸模塊，在系統(tǒng)各模塊之間進(jìn)行通信和在系統(tǒng)與車內(nèi)其它車載電子設(shè)備之間進(jìn)行通信；一個由信息處理模塊和存儲模塊共同組成的主控模塊，接受來自所述采集模塊的關(guān)于車身四周的環(huán)境狀況的采集信息，通過圖像縫合、信息融合和同步圖像識別實現(xiàn)行車車道的識別和跟蹤，以及捕獲和跟蹤行車過程中防范區(qū)域內(nèi)潛在事故物體，配合檢測駕駛者是否有主動變換行車方向的動作，輸出執(zhí)行信號至人機(jī)接口模塊；一個由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成的人機(jī)接口模塊，接受所述主控模塊的輸出信號，執(zhí)行相應(yīng)的顯示或預(yù)警。
2、 根據(jù)權(quán)利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述視頻圖像 采集器是可紅外夜視、視角為105° 120 °的CMOS攝像頭，至少為四只，分別安裝于車前、 車左側(cè)、車右側(cè)和車尾。
3、 根據(jù)權(quán)利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述測距雷達(dá) 采用微米波雷達(dá)，至少三只，分別安裝于車身左側(cè)、車身右側(cè)和車身尾部。
4、 根據(jù)權(quán)利要求3所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述安裝于車 身左側(cè)和車身右側(cè)的測距雷達(dá)的探測距離不少于50米，安裝在車身尾部的測距雷達(dá)的探測 距離不少于100米。
5、 根據(jù)權(quán)利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述人機(jī)接口 模塊中的視屏顯示器是安裝于車內(nèi)前部面板上的彩色LCD顯示器。
6、 根據(jù)權(quán)利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述人機(jī)接口 模塊中的振動報警器是安裝于汽車方向盤內(nèi)的振動器。
7、 根據(jù)權(quán)利要求1所述的嵌入式集成視覺輔助行車安全系統(tǒng)，其特征是所述基于總線 形式的數(shù)據(jù)傳輸模塊是采用汽車通用CAN總線協(xié)議接口 。
專利摘要一種嵌入式集成視覺輔助駕駛安全系統(tǒng)，其特征在于系統(tǒng)構(gòu)成包括一個由視頻圖像采集器和測距雷達(dá)共同組成的采集模塊；一個基于總線形式的傳輸模塊；一個由信息處理模塊和存儲模塊共同組成的主控模塊和一個由聲音警報器、振動警報器、視頻顯示器和操作按鈕組成的人機(jī)接口模塊。本實用新型利用計算機(jī)視覺和信息融合技術(shù)，一方面，當(dāng)鄰近車道有從后部高速接近的車輛或其它可能引起事故的物體時，系統(tǒng)能夠提前告知駕駛員潛在的危險；一旦駕駛員變換車道，系統(tǒng)將觸發(fā)警告，使駕駛員能夠及時反應(yīng)，避免碰撞；另一方面，若車輛沒有在受控的情況下偏離車道，系統(tǒng)能夠發(fā)出警告，以保證行駛安全。
文檔編號G01S13/93GK201240344SQ20082011173
公開日2009年5月20日 申請日期2008年5月14日 優(yōu)先權(quán)日2008年5月14日
發(fā)明者吳燎原, 張仁斌, 鋼 李, 艷 薛, 雋 高 申請人:合肥工業(yè)大學(xué)