專利名稱：駕駛輔助裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及駕駛輔助裝置，例如涉及拍攝車輛周圍并顯示于車內(nèi)的顯示裝置的駕駛輔助裝置。
背景技術(shù)：
現(xiàn)有技術(shù)為彌補(bǔ)車輛的后方、后側(cè)方或左前側(cè)方等的駕駛者的盲區(qū)，采用擋泥板鏡(fender mirrors)、后視鏡等的鏡子，近些年來，出于相同目的有將攝像頭設(shè)置于車輛上的設(shè)想。這是利用設(shè)置于車輛上的攝像頭拍攝車輛周圍并將得到的圖像顯示于監(jiān)視器畫面上以輔助駕駛員的車輛駕駛操作。
例如，專利文獻(xiàn)1公開的技術(shù)中，采用監(jiān)視車輛后方的車輛用攝像頭以輔助車輛后退時(shí)的駕駛員的操作。這樣的車用攝像頭根據(jù)其用途可設(shè)置于車輛的各種位置。
另外，在專利文獻(xiàn)2公開的技術(shù)中，在桿狀的前端設(shè)置鏡頭和攝像元件，可以從自由度更高的視點(diǎn)監(jiān)視車輛周圍，可進(jìn)一步提高安全性。
但是，由于專利文獻(xiàn)2所示的裝置將鏡頭和攝像元件設(shè)置于桿狀前端，所以存在會(huì)發(fā)生由桿的抖動(dòng)而產(chǎn)生攝像圖像紊亂的問題。
作為克服所述攝像圖像紊亂的技術(shù)，專利文獻(xiàn)3公開了并不是應(yīng)用于車輛的技術(shù)。專利文獻(xiàn)3揭示的技術(shù)包括將監(jiān)視攝像頭安裝于可伸縮軸并設(shè)置于觀察對(duì)象處的位置設(shè)定裝置、和設(shè)定作為觀察對(duì)象監(jiān)視基準(zhǔn)的基準(zhǔn)圖像的基準(zhǔn)圖像設(shè)定裝置，監(jiān)視攝像頭包括存儲(chǔ)由鏡頭輸入的觀察對(duì)象的監(jiān)視圖像的幀存儲(chǔ)單元、在觀察對(duì)象的監(jiān)視圖像中設(shè)定檢測區(qū)域的檢測區(qū)域指定單元、根據(jù)檢測區(qū)域的圖像判定監(jiān)視圖像和基準(zhǔn)圖像的相關(guān)關(guān)系，在判定有相關(guān)關(guān)系的情況下更新幀存儲(chǔ)單元內(nèi)容的相互關(guān)系控制裝置，以此防止因桿的抖動(dòng)造成的監(jiān)視圖像紊亂，使監(jiān)視作業(yè)效率提高。
專利文獻(xiàn)1特開平第2-36417號(hào)公報(bào)專利文獻(xiàn)2特開第2003-63310號(hào)公報(bào)專利文獻(xiàn)3特開平第09-312836號(hào)公報(bào)
發(fā)明內(nèi)容
然而，在將專利文獻(xiàn)3所示裝置應(yīng)用于車輛的情況下，會(huì)產(chǎn)生以下問題，即監(jiān)視對(duì)象的車輛周圍的路面、其他車輛或障礙物因自身車輛的駕駛的動(dòng)作而動(dòng)，所以不能防止因桿的抖動(dòng)而造成的監(jiān)視圖像的紊亂。
這里，如圖22所示，使用于移動(dòng)攝像頭等的抖動(dòng)補(bǔ)償，對(duì)于視點(diǎn)位置一定且只有視線旋轉(zhuǎn)的抖動(dòng)4，一般通過攝像裝置1的光學(xué)系統(tǒng)或圖像處理進(jìn)行抖動(dòng)補(bǔ)償，這是因?yàn)橄鄬?duì)于抖動(dòng)4，距離不同的對(duì)象物2和3在圖像上的變化相同所以有效。但是，桿的抖動(dòng)中還包括圖23所示的視點(diǎn)位置的抖動(dòng)，因此這種情況下距離不同的目標(biāo)物體6和7在圖像上的影響(抖動(dòng)量)因距離而不同，所以在一般情況下，現(xiàn)有技術(shù)的抖動(dòng)補(bǔ)償無效。
本發(fā)明為了解決這樣的問題而完成，其目的在于，提供可防止因桿狀固定裝置的抖動(dòng)而造成的圖像紊亂以獲得良好圖像的駕駛輔助裝置。
本發(fā)明的駕駛輔助裝置構(gòu)成為包括包括固定裝置，呈桿狀且從車輛突出；攝像裝置，設(shè)置于所述固定裝置上并對(duì)所述車輛的周圍進(jìn)行拍攝；以及抖動(dòng)補(bǔ)償圖像處理裝置，將距所述攝像裝置的特定距離面上的抖動(dòng)作為補(bǔ)償量來處理并輸出由所述攝像裝置拍攝的圖像。
根據(jù)這樣的構(gòu)成，即使因?yàn)闂U狀固定裝置的抖動(dòng)而產(chǎn)生了攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)，也可以極大抑制在假設(shè)距離攝像裝置的特定距離面的、例如路面上的監(jiān)視對(duì)象的圖像抖動(dòng)，可以獲得質(zhì)量良好的圖像。
另外，根據(jù)本發(fā)明的駕駛輔助裝置構(gòu)成為所述抖動(dòng)補(bǔ)償圖像處理裝置通過跟蹤被設(shè)置于自身車輛的多個(gè)特定點(diǎn)，從而檢測被安裝于所述固定裝置上的所述攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)，并進(jìn)行補(bǔ)償，以抵消由檢測出的所述攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)所造成的對(duì)從攝像裝置到特定距離面的圖像的影響。
根據(jù)這樣的構(gòu)成，可以通過跟蹤設(shè)置于車輛上的多個(gè)特定點(diǎn)來檢測被安裝于固定裝置上的攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)，可以極大抑制假設(shè)距離攝像裝置的特定距離面上、例如路面上的監(jiān)視對(duì)象的圖像抖動(dòng)，可以得到良好的圖像。
另外，本發(fā)明的駕駛輔助裝置構(gòu)成為所述駕駛輔助裝置包括用于檢測所述攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)的檢測裝置，所述抖動(dòng)補(bǔ)償圖像處理裝置根據(jù)由所述檢測裝置檢測出的攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)而進(jìn)行抖動(dòng)補(bǔ)償，以抵消距所述攝像裝置的特定距離面上產(chǎn)生的圖像上的抖動(dòng)。
根據(jù)這樣的構(gòu)成，可以由檢測裝置直接檢測出攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)，并可以極大抑制假設(shè)距離攝像裝置的特定距離面上、例如路面上的監(jiān)視對(duì)象的圖像抖動(dòng)，可以得到良好的圖像。
另外，本發(fā)明的駕駛輔助裝置構(gòu)成為所述抖動(dòng)補(bǔ)償圖像處理裝置在對(duì)距所述攝像裝置的特定距離面進(jìn)行拍攝圖像的投影變換后，對(duì)未產(chǎn)生抖動(dòng)的虛擬攝像裝置進(jìn)行逆投影變換的圖像合成。
根據(jù)這樣的構(gòu)成，通過假設(shè)距離攝像裝置的某特定距離面比如地面而將攝像圖像進(jìn)行投影變換后進(jìn)行逆投影變換，并在投影變換與逆投影變換之間對(duì)攝像裝置的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)的所產(chǎn)生的影響進(jìn)行補(bǔ)償，可以獲得容易看清楚的監(jiān)視圖像。
另外，本發(fā)明的駕駛輔助裝置構(gòu)成為所述駕駛輔助裝置包括針對(duì)所述攝像裝置的攝像范圍，測量距所述攝像裝置的距離的測距裝置，所述抖動(dòng)補(bǔ)償圖像處理裝置根據(jù)所述測距裝置的檢測信息，可改變所述特定距離面。
根據(jù)這樣的構(gòu)成，當(dāng)例如其他車輛的保險(xiǎn)桿等障礙物進(jìn)入監(jiān)視畫面內(nèi)的時(shí)候，通過將特定距離面由路面變更為保險(xiǎn)杠的高度，可以使得作為待監(jiān)視目標(biāo)而比路面更重要的障礙物的保險(xiǎn)桿部分能抖動(dòng)較少，而藉此獲得容易看清楚的圖像。
另外，本發(fā)明的駕駛輔助裝置構(gòu)成為所述抖動(dòng)補(bǔ)償圖像處理裝置假設(shè)多個(gè)距離面，對(duì)于各個(gè)距離面，判定了將所述攝像裝置的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)的影響補(bǔ)償后的補(bǔ)償圖像與利用過去的圖像從自身車輛的移動(dòng)預(yù)測得到的預(yù)測圖像的一致后，選擇在所述攝像裝置的畫面的各部分中最一致的距離面的補(bǔ)償圖像并合成補(bǔ)償圖像。
根據(jù)這樣的構(gòu)成，通過假設(shè)多個(gè)距離平面，對(duì)于各個(gè)距離平面，判斷已經(jīng)補(bǔ)償所述攝像裝置的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)的影響后的補(bǔ)償圖像與利用過去的圖像根據(jù)自身車輛的移動(dòng)預(yù)測得到預(yù)測圖像相一致，即使障礙物進(jìn)入攝像畫面范圍內(nèi)，無論障礙物的部分還是路面的部分都可以獲得抖動(dòng)的影響被抑制的容易看清楚的監(jiān)視圖像。
另外，本發(fā)明的駕駛輔助裝置構(gòu)成為所述駕駛輔助裝置包括使所述固定裝置振動(dòng)的振動(dòng)裝置，所述抖動(dòng)補(bǔ)償圖像處理裝置在由所述振動(dòng)裝置使所述固定裝置振動(dòng)時(shí)，根據(jù)相對(duì)所述振動(dòng)的攝像圖像的抖動(dòng)量來檢測所述特定距離面。
根據(jù)這樣的構(gòu)成，因?yàn)檎駝?dòng)裝置使桿狀固定裝置發(fā)生振動(dòng)，所以使得攝像裝置產(chǎn)生位置抖動(dòng)，而根據(jù)由此產(chǎn)生的圖像抖動(dòng)量可以測得從攝像裝置的距離，從而可以檢測出特定距離面是路面還是障礙物。
另外，本發(fā)明的駕駛輔助裝置構(gòu)成為所述駕駛輔助裝置包括用于顯示所述攝像裝置拍攝的圖像的顯示裝置。
根據(jù)這樣的構(gòu)成，可以容易地監(jiān)視車輛的周圍情況，以更好地確保駕駛的安全性。
從前文描述中將了解到，根據(jù)本發(fā)明，可以提供能夠防止因桿狀固定裝置抖動(dòng)而產(chǎn)生的圖像抖動(dòng)，從而具有良好圖像的駕駛輔助裝置。
圖1是表示本發(fā)明第一實(shí)施例的駕駛輔助裝置的圖，圖1(a)是桿部伸長狀態(tài)下的車輛的示意正面圖，圖1(b)是桿部伸長狀態(tài)下的車輛的示意側(cè)視圖。
圖2是表示本發(fā)明第一實(shí)施例的駕駛輔助裝置的圖，其中圖2(a)是桿部收縮狀態(tài)下的車輛的示意正面圖，圖2(b)是桿部收縮狀態(tài)下的車輛的示意側(cè)視圖。
圖3是表示本發(fā)明第一實(shí)施例的駕駛輔助裝置的攝像頭拍攝的圖像的圖。
圖4是說明本發(fā)明的駕駛輔助裝置通過跟蹤圖像中的兩個(gè)特定點(diǎn)以估計(jì)路面上的抖動(dòng)的方法的圖。
圖5是表示在本發(fā)明的第一實(shí)施例的駕駛輔助裝置的桿部分上安裝攝像頭時(shí)另外安裝了平衡錘的例子的圖。
圖6是表示本發(fā)明第二實(shí)施例的駕駛輔助裝置的圖，其中圖6(a)表示具有駕駛輔助裝置的車輛的示意正面圖，圖6(b)表示具有駕駛輔助裝置的車輛的示意側(cè)視圖。
圖7是本發(fā)明第二實(shí)施例的駕駛輔助裝置的方框圖。
圖8是說明本發(fā)明第二實(shí)施例的駕駛輔助裝置的抖動(dòng)補(bǔ)償處理的工作的圖。
圖9是本發(fā)明第二實(shí)施例的駕駛輔助裝置的其他結(jié)構(gòu)的方框圖。
圖10是表示本發(fā)明第二實(shí)施例的駕駛輔助裝置的抖動(dòng)補(bǔ)償處理的其他順序的圖。
圖11是表示本發(fā)明第三實(shí)施例的駕駛輔助裝置的圖，圖11(a)表示具有駕駛輔助裝置的車輛的示意正面圖，圖11(b)表示具有駕駛輔助裝置的車輛的示意側(cè)視圖。
圖12是說明本發(fā)明第三實(shí)施例的駕駛輔助裝置的測距傳感器和抖動(dòng)補(bǔ)償圖像處理單元的工作的示意圖。
圖13是本發(fā)明第三實(shí)施例的駕駛輔助裝置的輸出圖像，圖13(a)表示無障礙物時(shí)的輸出圖像，圖13(b)表示檢測到障礙物時(shí)的輸出圖像。
圖14是根據(jù)本發(fā)明的駕駛輔助裝置的第四實(shí)施例的示意圖，其中圖13(a)表示具有駕駛輔助裝置的車輛的示意正面圖，圖13(b)表示具有駕駛輔助裝置的車輛的示意側(cè)視圖。
圖15是本發(fā)明第四實(shí)施例的駕駛輔助裝置的方框圖。
圖16是表示本發(fā)明第四實(shí)施例的駕駛輔助裝置的抖動(dòng)補(bǔ)償處理的圖，圖16(a)是表示將攝像畫面投影變換時(shí)的攝像頭和投影范圍的圖，圖16(b)是表示將攝像圖像進(jìn)行逆投影變換時(shí)的虛擬攝像頭和逆投影范圍的圖。
圖17是表示本發(fā)明第四實(shí)施例的駕駛輔助裝置的輸出的圖像的圖，圖17(a)表示無障礙物時(shí)的輸出圖像，圖17(b)表示檢測到障礙物時(shí)的輸出圖像。
圖18是本發(fā)明的第四實(shí)施例的駕駛輔助裝置的另一結(jié)構(gòu)的方框圖。
圖19是表示本發(fā)明第五實(shí)施例的駕駛輔助裝置的圖，圖19(a)表示具有駕駛輔助裝置的車輛的示意正面圖，圖19(b)表示具有駕駛輔助裝置的車輛的示意側(cè)視圖。
圖20是本發(fā)明第五實(shí)施例的駕駛輔助裝置的方框圖。
圖21是說明對(duì)本發(fā)明第五實(shí)施例的駕駛輔助裝置進(jìn)行抖動(dòng)補(bǔ)償處理的圖，圖21(a)是表示振動(dòng)攝像頭時(shí)的障礙物與攝像頭的位置關(guān)系的圖，圖21(b)是表示振動(dòng)攝像頭時(shí)的振幅與時(shí)間的關(guān)系的圖。
圖22是說明用于電影攝影機(jī)等的一般的抖動(dòng)補(bǔ)償?shù)膱D。
圖23是說明本發(fā)明的桿部抖動(dòng)的攝像頭的觀察點(diǎn)的抖動(dòng)的圖。
標(biāo)號(hào)說明11車輛
12桿部(桿狀固定裝置)13攝像頭(攝像裝置)14抖動(dòng)補(bǔ)償圖像處理單元(抖動(dòng)補(bǔ)償圖像處理裝置，距離檢測裝置)15顯示器(顯示裝置)31，81加速傳感器(檢測裝置)42虛擬攝像頭(虛擬攝像裝置)71測距傳感器(測距裝置)121振動(dòng)裝置具體實(shí)施方式
以下參照
本發(fā)明的駕駛輔助裝置的實(shí)施例。
圖1至圖5是表示本發(fā)明第一實(shí)施例的駕駛輔助裝置的圖。
首先說明結(jié)構(gòu)。如圖1和圖2所示，駕駛輔助裝置的構(gòu)成包括從車輛11的保險(xiǎn)杠11a突出而設(shè)置的可自由伸縮的桿部(桿狀固定裝置)12；作為攝像裝置設(shè)置于桿部12前端且拍攝車輛11周圍的攝像頭13；輸入由攝像頭13拍攝的圖像，以距離攝像頭的特定距離面的抖動(dòng)為補(bǔ)償量而將攝像圖像平行移動(dòng)并輸出的抖動(dòng)補(bǔ)償圖像處理單元(抖動(dòng)補(bǔ)償圖像處理單元)14；以及作為顯示裝置安裝于車內(nèi)并顯示抖動(dòng)補(bǔ)償后的圖像的顯示器15。
在本實(shí)施例中，抖動(dòng)補(bǔ)償圖像處理單元14通過跟蹤設(shè)置于車輛11的兩個(gè)特定點(diǎn)，來檢測設(shè)置于桿部12的攝像頭13的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)，并進(jìn)行補(bǔ)償以抵消由檢測出的攝像頭的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)所造成的對(duì)距離攝像頭的特定距離面的圖像的影響。
另外，保險(xiǎn)杠11a設(shè)有桿收容固定裝置16，桿部12由該桿收容固定裝置16支持，且在長度方向上收縮時(shí)與攝像頭共同容納于桿收容固定裝置16。
更具體地說，桿部12設(shè)置于車輛11左前方角的保險(xiǎn)杠11a的內(nèi)部，如圖1所示，攝像時(shí)從車輛11的左前方角的保險(xiǎn)杠11a的上方突出，由此，攝像頭13由該位置拍攝圖像以在停車和穿過狹窄空間等時(shí)向駕駛者提供左前方盲區(qū)的圖像。另外，在不用時(shí)，如圖2所示，通過收容于桿收容固定裝置16內(nèi)，攝像頭13收容于保險(xiǎn)杠11a內(nèi)。
圖3和圖4是表示抖動(dòng)補(bǔ)償圖像處理單元14的抖動(dòng)補(bǔ)償處理的圖。如圖1所示，處于伸長狀態(tài)的桿部12的下方的車輛上設(shè)置有上下隔開的標(biāo)志17和18，桿部12伸長時(shí)攝像頭13拍攝圖3所示的圖像。圖3表示此時(shí)的攝像畫面，攝像頭13拍攝標(biāo)志17和18、路面19、路面19上的白線20、桿部12和自身車輛11的保險(xiǎn)杠11a。
抖動(dòng)補(bǔ)償圖像處理單元14跟蹤標(biāo)志17和18的移動(dòng)并檢測攝像頭13的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)，并由該結(jié)果預(yù)測圖1所示路面19的高度的畫面上的抖動(dòng)的影響并對(duì)該抖動(dòng)進(jìn)行補(bǔ)償。
所以，由桿部12的抖動(dòng)造成的圖3所示路面19及白線20的圖像抖動(dòng)被補(bǔ)償，只剩下與駕駛操作所造成的自身車輛11的動(dòng)作協(xié)調(diào)一致的畫面，從而提高了駕駛者的視覺辨認(rèn)性。
以下參照?qǐng)D4具體說明抖動(dòng)補(bǔ)償處理。
圖4顯示了通過跟蹤車輛11上的兩個(gè)特定點(diǎn)標(biāo)志17和18來推測路面19上的抖動(dòng)的方法。在圖4中，標(biāo)志17和18在車輛11的上下方向上隔開而設(shè)，以“Z1”、“Z2”和“Z0”分別表示從攝像頭13到標(biāo)志17、標(biāo)志18、和路面19的距離。
攝像頭13的鏡頭向正下方，作為攝像頭13的抖動(dòng)，設(shè)攝像頭13的水平方向的位置抖動(dòng)為“Dx”，旋轉(zhuǎn)抖動(dòng)為“Ax”，設(shè)圖像的抖動(dòng)為這些抖動(dòng)的線性和。
因位置抖動(dòng)“Dx”而造成的的圖像抖動(dòng)(dx0、dx1、dx2)與距攝像頭13的距離“Z”有關(guān)，可以用Dx0＝Dx·f/Z0、Dx1＝Dx·f/Z1、Dx2＝Dx·f/Z2表示(f為焦點(diǎn)距離)，另外，由旋轉(zhuǎn)抖動(dòng)Ax造成的抖動(dòng)與距攝像頭13的距離無關(guān)，可用ax0＝ax1＝ax2表示。
由于實(shí)際可觀測的車輛11的兩個(gè)特定點(diǎn)的抖動(dòng)(x1、x2)分別是線性和，即x1＝dx1+ax1、x2＝dx2+ax2，所以，路面19上的抖動(dòng)X0＝dx0+ax0被推測為X0＝(X2-X1)·Z2·Z1/(Z0(Z1-Z2))+(Z1·X1-Z2·X2)/(Z1-Z2)。
抖動(dòng)補(bǔ)償圖像處理單元14可以將該推測得來的路面19上的抖動(dòng)“X0”作為補(bǔ)償量，通過輸入畫面的平行移動(dòng)來補(bǔ)償抖動(dòng)并輸出圖像。實(shí)際上，圖像為二維(X，Y)信息，設(shè)X”方向?yàn)闄M向時(shí)也對(duì)縱向的“Y”方向進(jìn)行同樣的操作，則可補(bǔ)償“X”和“Y”方向上各自的抖動(dòng)。
另外，該方法主要對(duì)靠近攝像頭13的光軸的圖像有效，雖然隨著攝像對(duì)象遠(yuǎn)離光軸會(huì)產(chǎn)生補(bǔ)償量的誤差，但是只要能將輸入的圖像抖動(dòng)減少到1/2至1/4以下，就可以獲得看得更加清楚的效果。
如上所述本實(shí)施例包括由車輛11突出的棒狀桿部12；設(shè)置于桿部12的用來拍攝車輛11周圍的攝像頭13；抖動(dòng)補(bǔ)償圖像處理單元14，其輸入由攝像頭13拍攝的圖像，以相對(duì)于攝像頭13的路面19(特定距離面)的抖動(dòng)為補(bǔ)償量“X0”將攝像畫面從平行移動(dòng)并輸出。所以即使在由桿部12抖動(dòng)造成攝像頭13產(chǎn)生旋轉(zhuǎn)抖動(dòng)Ax和位置抖動(dòng)Dx的情況下，也可以最大可能地抑止在假設(shè)路面19為監(jiān)視對(duì)象的圖像的抖動(dòng)，從而獲得良好的圖像。
特別是，本實(shí)施例中，抖動(dòng)補(bǔ)償圖像處理單元14通過跟蹤設(shè)置于車輛11的標(biāo)志17和18來檢測設(shè)置于桿部12的攝像頭13的旋轉(zhuǎn)抖動(dòng)“Ax”和位置抖動(dòng)“Dx”，進(jìn)行補(bǔ)償以抵消檢測出的由攝像頭13的旋轉(zhuǎn)抖動(dòng)“Ax”和位置抖動(dòng)“Dx”而造成的對(duì)從攝像頭13到路面19的圖像的影響，所以可以最大可能地抑止假設(shè)路面19為監(jiān)視對(duì)象的圖像的抖動(dòng)從而獲得良好的圖像。
另外，在本實(shí)施例中，攝像頭13的拍攝的圖像顯示于顯示器15，易于辨識(shí)車輛11周圍的狀況，從而進(jìn)一步提高行車的安全性。
還有，本實(shí)施例的抖動(dòng)補(bǔ)償圖像處理單元14以相對(duì)與攝像頭13的路面19的抖動(dòng)為補(bǔ)償量“X0”而將攝像圖像平行移動(dòng)并輸出，所以不能應(yīng)對(duì)攝像頭13以光軸方向?yàn)橹行漠a(chǎn)生旋轉(zhuǎn)抖動(dòng)的情況，但在這種情況下，如圖5所示，將攝像頭13設(shè)置為在光軸方向上不產(chǎn)生旋轉(zhuǎn)抖動(dòng)即可。
在圖5中，在將攝像頭12安裝于桿部12時(shí)，只要在桿部12的前端攝像頭13的相反側(cè)安裝配重21即可。
也就是說，所述抖動(dòng)補(bǔ)償?shù)姆椒ㄊ峭ㄟ^使圖像在X方向和Y方向上獨(dú)立平行移動(dòng)從而補(bǔ)償抖動(dòng)，除此之外，攝像頭13的抖動(dòng)還有以攝像頭13的光軸方向?yàn)橹行牡男D(zhuǎn)抖動(dòng)R。在該旋轉(zhuǎn)抖動(dòng)R產(chǎn)生的情況下，攝像圖像產(chǎn)生以畫面中心點(diǎn)為中心的旋轉(zhuǎn)抖動(dòng)，所以不能由平行移動(dòng)補(bǔ)償。
如圖5所示，在攝像頭13的重心位置22從桿部12的中心軸12a偏離的情況下，車輛的加速減速23會(huì)造成攝像頭13的重心位置22和桿部12的中心軸12a之間產(chǎn)生轉(zhuǎn)矩25，這樣容易產(chǎn)生旋轉(zhuǎn)抖動(dòng)R。
如圖5(b)所示，為抑止該旋轉(zhuǎn)抖動(dòng)R，通過將配重21的重心位置26設(shè)置在與攝像頭13的重心位置22相對(duì)稱的位置上，使兩個(gè)合成的重心位置27與桿部12的中心相一致。由此，因車輛11的加速減速23而造成的攝像頭13和配重21的各自產(chǎn)生的轉(zhuǎn)矩25和28相互抵消，由此攝像頭13幾乎不產(chǎn)生以光軸方向?yàn)橹行牡男D(zhuǎn)抖動(dòng)R。這樣，通過該配重21可抑止攝像頭13的以光軸方向?yàn)橹行牡男D(zhuǎn)抖動(dòng)，可獲得補(bǔ)償效果更好的補(bǔ)償圖像。
圖6至圖10是表示本發(fā)明的駕駛輔助裝置的第二實(shí)施例。與第一實(shí)施例相同的結(jié)構(gòu)付以相同的標(biāo)號(hào)并省略說明。
在圖6中，在桿部12的前端與攝像頭13相同的位置上，設(shè)有加速度傳感器(檢測裝置)31，該加速度傳感器31檢測出攝像頭13的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)，并將該檢測信息向抖動(dòng)補(bǔ)償圖像處理單元14輸出。
如圖7所示，本實(shí)施例的抖動(dòng)補(bǔ)償圖像處理單元14包括投影變換單元32和逆投影變換單元33，從攝像頭13向特定距離面，例如路面19將攝像畫面通過投影變換單元32投影后，通過逆投影變換單元33進(jìn)行向不產(chǎn)生抖動(dòng)的虛擬攝像裝置進(jìn)行逆投影的圖像合成，以補(bǔ)償抖動(dòng)。
以下參照?qǐng)D7和圖8具體說明抖動(dòng)補(bǔ)償處理。
圖7是表示抖動(dòng)補(bǔ)償圖像處理單元14的模塊圖。圖8是說明抖動(dòng)補(bǔ)償圖像處理單元14的抖動(dòng)補(bǔ)償?shù)母拍顖D。還有，在圖8中，攝像頭13的光軸從大致正下方向大致左前方傾斜設(shè)置。
在駕駛中，攝像頭13產(chǎn)生位置抖動(dòng)Dx和旋轉(zhuǎn)抖動(dòng)Ax，該抖動(dòng)信息34由加速度傳感器31檢測后被輸入到抖動(dòng)補(bǔ)償圖像處理單元14。
抖動(dòng)補(bǔ)償圖像處理單元14使用攝像頭13攝制的攝像圖像35和從加速度傳感器31輸入的表示位置抖動(dòng)Dx和旋轉(zhuǎn)抖動(dòng)Ax抖動(dòng)量的抖動(dòng)信息34，根據(jù)圖7所示的算法補(bǔ)償抖動(dòng)并輸出補(bǔ)償圖像。
在本實(shí)施例中，攝像頭13是采用水平視角為110度至140度的廣角鏡頭，在使用該種廣角鏡的情況下，鏡頭失真是不可避免的，所以將該鏡頭固有的鏡頭失真或視角等的鏡頭數(shù)據(jù)36存儲(chǔ)于抖動(dòng)補(bǔ)償圖像處理單元14的內(nèi)部。
進(jìn)而，以攝像頭初始位置數(shù)據(jù)38為基準(zhǔn)，采用由加速度傳感器31輸入的位置抖動(dòng)Dx和旋轉(zhuǎn)抖動(dòng)Ax的抖動(dòng)信息34，計(jì)算出拍攝攝像圖像35時(shí)攝像頭13所在的位置和角度，根據(jù)這些數(shù)據(jù)來補(bǔ)償鏡頭失真、位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)，并通過投影變換單元32向以車輛11為基準(zhǔn)的路面19投影變換輸入畫面。
參照?qǐng)D8說明該過程，即，在沒有抖動(dòng)的情況下位于初始位置13a的攝像頭13由于位置抖動(dòng)Dx和旋轉(zhuǎn)抖動(dòng)Ax而變?yōu)閿z像頭位置13b或攝像頭位置13c。根據(jù)該位置將攝像畫面向以車輛11的基準(zhǔn)點(diǎn)39為原點(diǎn)的路面19上進(jìn)行如“W”所示的投影變換。
通過逆投影變換單元33，將該投影變換后的圖像與用位于攝像頭虛擬視點(diǎn)數(shù)據(jù)40(位置和方向)且作為帶有鏡頭數(shù)據(jù)37的虛擬攝像裝置的虛擬攝像頭42攝像的圖像進(jìn)行合成并輸出。
參照?qǐng)D8進(jìn)行說明，將以車體的基準(zhǔn)點(diǎn)39為原點(diǎn)的路面19上如“W”所示投影變換后的圖像，進(jìn)而通過逆投影變換單元33，與設(shè)置于虛擬視點(diǎn)41的帶有鏡頭數(shù)據(jù)37的虛擬攝像頭42所可能拍攝的圖像相合成。
通過該處理，將輸入畫面投影變換到路面19上的時(shí)刻進(jìn)行了抖動(dòng)補(bǔ)償，進(jìn)而，在以虛擬攝像頭42攝像的圖像通過逆投影變換合成輸出的圖像上也可獲得抖動(dòng)補(bǔ)償后的良好圖像。
該實(shí)施例中，通過采用攝像頭13的鏡頭數(shù)據(jù)36，不僅如第一實(shí)施例那樣可獲得中心附近抖動(dòng)少的圖像，而且可獲得圖像整體抖動(dòng)少的良好圖像。
另外，通過一次將投影變換到路面19后，進(jìn)而將從虛擬視點(diǎn)41看到的圖像通過逆投影變換單元33合成的方法，即使不采用第一實(shí)施例的將攝像頭13設(shè)置于正下方，而是設(shè)置為朝向斜左前方的情況，也可將路面19作為特定平面進(jìn)行抖動(dòng)補(bǔ)償。因此，可將攝像頭13朝向斜左前方，所以可進(jìn)行更廣的范圍的監(jiān)視。
還有，攝像頭虛擬視點(diǎn)數(shù)據(jù)40(位置和方向)可以如圖8的“W”所示，與在沒有抖動(dòng)的情況下的攝像頭13的初始位置的視點(diǎn)相同，也可以是如虛擬視點(diǎn)41所示的與攝像頭13的初始位置不同。
另外，鏡頭數(shù)據(jù)37可以與實(shí)際攝像頭13的鏡頭數(shù)據(jù)36相同，也可以不同。例如，如圖8(b)所示，與實(shí)際攝像頭13的廣角鏡頭的視角43相比，采用假設(shè)視角44稍窄的鏡頭的鏡頭數(shù)據(jù)37，可以防止因?yàn)槎秳?dòng)補(bǔ)償而造成的輸出圖像的周邊部分的丟失。
另外，本實(shí)施例采用加速度傳感器31檢測攝像頭13的位置抖動(dòng)Dx和旋轉(zhuǎn)抖動(dòng)Ax，也可以是如第一實(shí)施例所示，通過跟蹤圖像上的自身車輛11上的特征點(diǎn)標(biāo)志17和18來檢測攝像頭13的位置抖動(dòng)Dx和旋轉(zhuǎn)抖動(dòng)Ax。
另外，在本實(shí)施例的圖7所示中，輸入的攝像畫面由投影變換部32和逆投影變換部33進(jìn)行了兩次變換，如圖9所示的結(jié)構(gòu)，也可以是只進(jìn)行一次圖像變換處理。
以下具體說明該方法。首先，如圖10所示，將輸入攝像圖像分割為豎6列橫8列的長方形，將各長方形的頂點(diǎn)作為多邊形頂點(diǎn)取樣。
這里，各多邊形為三角形，例如，圖10(a)的長方形61被分割為兩個(gè)三角形61a和61b。圖10(a)的攝像畫面被采樣為豎7列橫9列的多邊形頂點(diǎn)。
在圖9中，對(duì)于該攝像畫面的多邊形頂點(diǎn)數(shù)據(jù)51，采用抖動(dòng)信息34、鏡頭數(shù)據(jù)36和攝像頭初始位置數(shù)據(jù)38由多邊形頂點(diǎn)坐標(biāo)投影變換單元52計(jì)算投影于路面19上的多邊形頂點(diǎn)位置。
圖10(b)是表示投影于路面19上的多邊形頂點(diǎn)位置的圖，例如在圖10(a)所示的攝像畫面中的一個(gè)多邊形頂點(diǎn)62變換為圖10(b)所示的路面19上的多邊形頂點(diǎn)63的位置。在圖10(b)中，自身車輛11的保險(xiǎn)杠11a的位置64投影于路面19上，該位置64與固定于自身車輛11位置上的路面19的基準(zhǔn)點(diǎn)39相連續(xù)。
另外，在圖9中，多邊形頂點(diǎn)坐標(biāo)逆投影變換單元53采用鏡頭數(shù)據(jù)37與攝像頭虛擬視點(diǎn)數(shù)據(jù)40，如圖10(c)所示，將投影于圖10(b)所示的路面19上的多邊形頂點(diǎn)數(shù)據(jù)逆投影變換到如圖8所示的由虛擬攝像頭42可能拍攝的圖像畫面上。
此時(shí)，例如如圖10(b)所示的路面19上的一個(gè)多邊形頂點(diǎn)63變換為圖10(c)所示的虛擬攝像頭攝像圖像中的多邊形頂點(diǎn)65的位置。在此，由圖10(c)所示的虛擬攝像頭42可能拍攝的圖像畫面的框66的外側(cè)的多邊形頂點(diǎn)數(shù)據(jù)也被計(jì)算。
另外，如圖9所示的多邊形圖像合成單元54采用圖10(c)所示的虛擬攝像頭42畫面上的多邊形頂點(diǎn)數(shù)據(jù)和攝像畫面的多邊形頂點(diǎn)51，變換攝像圖像并輸出抖動(dòng)補(bǔ)償圖像45。
例如，攝像圖像的一個(gè)長方形61的兩個(gè)三角形61a和61b變換為圖10(c)上的兩個(gè)三角形67a和67b，所以其內(nèi)部的各象素的圖像數(shù)據(jù)通過仿射變換68變?yōu)榫€形。
另外，此時(shí)鏡頭數(shù)據(jù)36還包括鏡頭的明暗數(shù)據(jù)(shading data)55，即畫面中央亮周圍暗的現(xiàn)象數(shù)據(jù)，將對(duì)其補(bǔ)償?shù)脑鲆鏀?shù)據(jù)附加到多邊形頂點(diǎn)數(shù)據(jù)中，在多邊形圖像合成單元54進(jìn)行變換時(shí)，通過乘以該增益進(jìn)行變換，而使由攝像機(jī)的抖動(dòng)而造成的抖動(dòng)補(bǔ)償圖像上有明暗分布時(shí)，其亮度抖動(dòng)也得到補(bǔ)償，可得到更易于觀看的圖像。
另外，虛擬攝像頭42的鏡頭數(shù)據(jù)37內(nèi)還含有虛擬攝像頭的明暗數(shù)據(jù)56，所以補(bǔ)償圖像上可合成更有自然明暗亮度的圖像。
圖11至圖13是表示本發(fā)明的駕駛輔助裝置的第三實(shí)施例的圖，與第一和第二實(shí)施例相同的結(jié)構(gòu)付加相同的標(biāo)號(hào)并省略說明。
在圖11中，在桿部12的前端處與攝像頭13相同的位置，設(shè)有測距傳感器(測距裝置)71，該測距裝置71相對(duì)于攝像頭13的攝像范圍，測量其距攝像頭13的距離，并將該檢測信息向抖動(dòng)補(bǔ)償圖像處理單元14輸出。
另外，抖動(dòng)補(bǔ)償圖像處理單元14根據(jù)測距傳感器71的檢測信息可以改變特定距離面，在該抖動(dòng)補(bǔ)償圖像處理單元14的輸出圖像上合成測距傳感器71檢測出的路面、保險(xiǎn)杠等的障礙物(特定距離面)警告并顯示在顯示器15上。
下面，參照?qǐng)D12和圖13具體說明抖動(dòng)補(bǔ)償方法。
首先，測距傳感器71在攝像頭13的攝像范圍72內(nèi)沒有障礙物的情況下，在攝像范圍內(nèi)將到除自身車輛11之外的最近的物體即路面19距離“Zo”作為測距數(shù)據(jù)輸出。還有，事先在攝像范圍內(nèi)將自身車輛11的部分通過遮蔽而從測距范圍刪除。
此時(shí)，抖動(dòng)補(bǔ)償圖像處理單元14與第一實(shí)施例相同地根據(jù)特征點(diǎn)即標(biāo)志17和18的抖動(dòng)量“X1”和“X2”，通過下式估計(jì)路面上的抖動(dòng)“X0”，并通過平行移動(dòng)圖像以抵消該抖動(dòng)進(jìn)行補(bǔ)償。
X0＝(X2-X1)·Z2·Z1/(Z0(Z1-Z2))+(Z1·X1-Z2·X2)/(Z1-Z2)下面，如圖12所示，攝像范圍內(nèi)有其他車輛73進(jìn)入的情況下，測距傳感器71將在攝像范圍內(nèi)的除自身車輛以外的最近的物體即其他車輛73的保險(xiǎn)杠的距離“Z3”作為測距數(shù)據(jù)輸出。
此時(shí)，抖動(dòng)補(bǔ)償圖像處理單元14與第一實(shí)施例相同地，根據(jù)特征點(diǎn)即標(biāo)志17和18的抖動(dòng)量“X1”和“X2”，通過下式估計(jì)圖12中距攝像頭13有“Z3”的距離的面74的抖動(dòng)“X3”，并通過將圖像平行移動(dòng)而補(bǔ)償抖動(dòng)，以抵消該抖動(dòng)。
X3＝(X2-X1)·Z2·Z1/(Z3(Z1-Z2))+(Z1·X1-Z2·X2)/(Z1-Z2)如上所述，在本實(shí)施例中，設(shè)置測量攝像頭13的攝像范圍距攝像頭13的距離的測距傳感器71，抖動(dòng)補(bǔ)償圖像處理單元14根據(jù)測距傳感器71的檢測信息使特定距離面成為可變，所以在沒有障礙物的情況下可獲得路面19的抖動(dòng)少而易于觀察的圖像。另外，在圖像內(nèi)有其他車輛73的保險(xiǎn)杠等的障礙物進(jìn)入的情況下，可獲得比路面19抖動(dòng)更小的障礙物的圖像，使得駕駛者易于確認(rèn)障礙物與自身車輛接近至何種程度，可更安全地進(jìn)行駕駛。
另一方面，圖13是表示此時(shí)顯示于顯示器15的圖像的圖。圖13(a)是在沒有障礙物的情況下，路面19及路面19上的白線20抖動(dòng)少而易于觀察的圖像。
另外，圖13(b)是表示圖像內(nèi)有其他車輛73的保險(xiǎn)杠等的障礙物75進(jìn)入的圖，因?yàn)槟塬@得障礙物19的抖動(dòng)比路面19及路面19上的白線20少的圖像，所以駕駛者能容易確認(rèn)障礙物75和自身車輛11之間的距離76，可更安全地進(jìn)行駕駛。另外，其他車輛74的保險(xiǎn)杠等的障礙物進(jìn)入圖像內(nèi)的時(shí)候，如果在顯示器15上使障礙物警告77閃亮，即可以促使駕駛者注意。
特別是，駕駛者并不只是注意車內(nèi)的顯示器15，也有必要經(jīng)常注視周圍進(jìn)行確認(rèn)，所以通過使該障礙物警告77閃亮可以減少漏看障礙物的機(jī)會(huì)，更可以提高目視確認(rèn)性。
圖14至圖18是表示本發(fā)明的駕駛輔助裝置的第四實(shí)施例的形態(tài)的圖，對(duì)與第一和第二實(shí)施例相同的結(jié)構(gòu)付加相同的標(biāo)號(hào)并省略說明。
在圖14中，包括檢測由桿部12的抖動(dòng)造成的攝像頭的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)的加速度傳感器(檢測裝置)81、檢測轉(zhuǎn)向角的轉(zhuǎn)向角傳感器82和檢測車輪轉(zhuǎn)動(dòng)的車輪傳感器83。
另外，抖動(dòng)補(bǔ)償圖像處理單元14包括圖15所示的多邊形頂點(diǎn)坐標(biāo)投影變換單元88、多邊形頂點(diǎn)坐標(biāo)逆投影變換單元89、多邊形圖像合成單元90、流程解析單元91、一致判定圖像合成單元92、車輛移動(dòng)估計(jì)單元95和預(yù)測圖像形成單元98。
在本實(shí)施例中，如圖16所示，假設(shè)在路面19以外被設(shè)定了路面19上的多個(gè)高度的面84、85和86，并將此作為圖15的多個(gè)距離平面87，由多邊形頂點(diǎn)坐標(biāo)投影變換單元88及多邊形頂點(diǎn)坐標(biāo)逆投影變換單元89進(jìn)行多邊形坐標(biāo)的變換計(jì)算，由此補(bǔ)償各自的面的抖動(dòng)，多邊形圖像合成單元90輸出調(diào)整后的多個(gè)抖動(dòng)補(bǔ)償圖像120以補(bǔ)償84、85、86各個(gè)面的抖動(dòng)。
該多個(gè)抖動(dòng)補(bǔ)償圖像120被輸出到存儲(chǔ)器94、流程解析單元91和一致判定圖像合成單元92。存儲(chǔ)器94中存儲(chǔ)有過去的多個(gè)抖動(dòng)補(bǔ)償圖像120，流程解析單元91通過與當(dāng)前的多個(gè)抖動(dòng)補(bǔ)償圖像120比較來獲得解析圖像各部分變化的流程解析結(jié)果，并將向車輛移動(dòng)估計(jì)單元95輸出。
車輛移動(dòng)估計(jì)單元95利用來自轉(zhuǎn)向角傳感器82的轉(zhuǎn)向角信息96、來自車輛傳感器83的車輪信息97估計(jì)車輛11的移動(dòng)情況，同時(shí)使用流程解析單元91的解析結(jié)果對(duì)其進(jìn)行調(diào)整，并向預(yù)測圖像形成單元98輸出。
預(yù)測圖像形成單元98根據(jù)車輛移動(dòng)估計(jì)單元95的輸出結(jié)果，輸出與各多個(gè)距離平面87對(duì)應(yīng)的移動(dòng)估計(jì)預(yù)測圖像。另外，一致判定圖像合成單元92在實(shí)際的多個(gè)抖動(dòng)補(bǔ)償圖像120的圖像各部位，判定選擇與各多個(gè)距離平面87對(duì)應(yīng)的預(yù)測圖像最一致的距離平面的抖動(dòng)補(bǔ)償圖像93從而合成為一個(gè)畫面的圖像。
圖17是說明該過程的示意圖。圖17(a)表示路面19的補(bǔ)償圖像。此時(shí)，在自身車輛向箭頭99a或99b的方向移動(dòng)的情況下，補(bǔ)償圖像中的路面19的部分如箭頭100所示向大致相反的方向流動(dòng)。
該流程通過在流程解析91階段對(duì)過去的補(bǔ)償圖像和當(dāng)前的補(bǔ)償圖像進(jìn)行比較而被檢測。另一方面，從轉(zhuǎn)向角信息96及車輪信息97也可以估計(jì)車輛的移動(dòng)。
在圖17(a)表示由轉(zhuǎn)向角信息96及車輪信息97估計(jì)的車輛的移動(dòng)99a。但是，這樣估計(jì)得來的車輛的移動(dòng)99a有時(shí)會(huì)包括車輪打滑等造成的誤差。為減少該誤差，通過添加考慮流程解析結(jié)果100，可得到更正確的車輛的移動(dòng)99b的估計(jì)結(jié)果，并向預(yù)測圖像形成單元98輸出。
在預(yù)測圖像形成單元98，相對(duì)該車輛的移動(dòng)99b的估計(jì)結(jié)果，輸出與多個(gè)距離平面87對(duì)應(yīng)的移動(dòng)估計(jì)預(yù)測圖像。例如，相對(duì)車輛移動(dòng)99b，在路面19上，如圖17(a)中的符號(hào)101所示一樣圖像發(fā)生變化，或距路面19高H1的面上，如符號(hào)102所示一樣圖像發(fā)生變化，即，接近攝像頭13越高的面變化越大，通過使各自過去的補(bǔ)償圖像如符號(hào)103和104所示那樣變化，即可獲得當(dāng)前的補(bǔ)償圖像的預(yù)測圖像。
一致判定圖像合成單元92對(duì)多個(gè)距離平面87的補(bǔ)償圖像和預(yù)測圖像的畫面各部分進(jìn)行比較，判定選擇最一致的距離平面的補(bǔ)償圖像，并合成一個(gè)畫面的圖像。此時(shí)，圖像中沒有邊緣完全一致的情況下，選擇離路面近的更低的面。
圖17(b)是表示該情況的圖。在圖17(b)中，路面19及路面19上的白線20的部分與路面19上的補(bǔ)償圖像和預(yù)測圖像最一致，所以路面19上的補(bǔ)償圖像被選擇。
另一方面，其他車輛的保險(xiǎn)杠等的障礙物105進(jìn)入畫面時(shí)，例如距路面19為高度H1的面的補(bǔ)償圖像和預(yù)測圖像最一致，所以高度H1的面的補(bǔ)償圖像被選擇。
合成如此選擇的各部的圖像而輸出一張抖動(dòng)補(bǔ)償圖像93。還有，此時(shí)，在高度H1的面和路面的補(bǔ)償圖像分別被選擇的部分的界線107處，因?yàn)閳D像的不連續(xù)性很醒目，所以設(shè)置緩沖區(qū)域108以使從高位置的H1上某個(gè)面的選擇部分向低位置的某個(gè)路面19的選擇部分逐漸擴(kuò)展，通過在此間一邊改變加權(quán)一邊合成兩個(gè)補(bǔ)償圖像而抑制圖像的不連續(xù)性。
該一致判定圖像合成單元92判定圖像中的哪個(gè)部分距離多個(gè)距離面87中的哪個(gè)接近，該判定結(jié)果向車輛移動(dòng)估計(jì)單元95反饋，在下一時(shí)刻利用流程解析結(jié)果進(jìn)行車輛移動(dòng)估計(jì)的調(diào)整中利用。
另外，因?yàn)橐恢屡卸▓D像合成單元92判定圖像中哪個(gè)部分與多個(gè)距離面87中的哪個(gè)接近，所以也可以實(shí)現(xiàn)障礙物判定。因此，該判定結(jié)果也可用于其他障礙物檢測警告。在檢測到障礙物的情況下，如圖17(b)所示，可通過障礙物警告單元109使障礙物檢測警告110閃亮，或在障礙物105和路面19的界線的緩沖區(qū)域108整體上重疊警告并閃亮。
另外，這里，一致判定圖像合成單元92在實(shí)際的多個(gè)抖動(dòng)補(bǔ)償圖像120的畫面的各部分中，判定選擇與多個(gè)距離平面87對(duì)應(yīng)的預(yù)測圖像最一致的距離平面的補(bǔ)償圖像，并合成一個(gè)畫面的圖像，但是作為其他的形式如圖18所示的結(jié)構(gòu)也是可以的。
在本實(shí)施例中，設(shè)定多個(gè)距離面87并針對(duì)其進(jìn)行如下判定，即，補(bǔ)償了攝像頭13的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)影響的補(bǔ)償圖像和從自身車輛11的移動(dòng)利用過去的圖像預(yù)測得到的預(yù)測圖像的一致判定，由此，障礙物105進(jìn)入畫面的時(shí)候，在障礙物的部分和路面19的部分均可抑制抖動(dòng)的影響以得到易于觀察的監(jiān)視圖像。
還有，在圖18中，設(shè)有一致判定單元111、多邊形頂點(diǎn)合成單元112和多邊形圖像合成單元113以取代圖15所示的一致判定圖像合成單元92。一致判定單元111在多個(gè)補(bǔ)償圖像120的畫面的各部分只進(jìn)行與多個(gè)距離面87對(duì)應(yīng)的預(yù)測畫面最一致的距離面的判定，并將其結(jié)果向多邊形頂點(diǎn)合成單元112輸出。
多邊形頂點(diǎn)合成單元112根據(jù)多邊形頂點(diǎn)坐標(biāo)逆投影變換單元89的輸出即多個(gè)距離面87上抖動(dòng)補(bǔ)償?shù)亩噙呅雾旤c(diǎn)數(shù)據(jù)和一致判定單元111的輸出，合成圖像的各部處與預(yù)測圖像最一致的距離面的抖動(dòng)補(bǔ)償?shù)亩噙呅雾旤c(diǎn)數(shù)據(jù)并輸出。多邊形圖像合成單元113根據(jù)該多邊形頂點(diǎn)數(shù)據(jù)利用攝像畫面35合成圖像，以輸出抖動(dòng)補(bǔ)償圖像93。
由此，即使在高度不同的面被選擇的部分的界線，也可以用多邊形頂點(diǎn)數(shù)據(jù)線性地插補(bǔ)位置數(shù)據(jù)，所以可防止圖像的不連續(xù)性過于醒目。因此，可以不需要如圖17(b)所示那樣通過設(shè)置緩沖區(qū)域108，在其間邊改變權(quán)重邊合成兩個(gè)補(bǔ)償圖像來抑止圖像的不連續(xù)性。
圖19至圖21是表示本發(fā)明的駕駛輔助裝置的第五實(shí)施例的形態(tài)的圖。與第一和第四實(shí)施例的形態(tài)相同的結(jié)構(gòu)付以相同的標(biāo)號(hào)并省略說明。
在第四實(shí)施例中，在輸出抖動(dòng)補(bǔ)償圖像93的同時(shí)可以一并輸出障礙物檢測警告110，自身車輛的移動(dòng)少，攝像頭13的抖動(dòng)變小的情況下，攝像頭13的位置幾乎不動(dòng)，所以在各個(gè)距離面上預(yù)測圖像和補(bǔ)償圖像都一致。此時(shí)，即使在圖像中有障礙物，在一致判定圖像合成單元92中也是路面被選擇，所以障礙物的檢測精度變差。
在本實(shí)施例中，為了更好的發(fā)揮第四實(shí)施例的效果，將如圖19所示的振動(dòng)裝置121安裝于桿部12的前端的攝像頭13的位置，其特點(diǎn)是主動(dòng)使攝像頭13振動(dòng)，如圖20所示，由振動(dòng)裝置121輸出振動(dòng)的定時(shí)信號(hào)(timing signal)。
也就是說，在本實(shí)施例中包括使桿部12振動(dòng)的振動(dòng)裝置121、輸入由攝像頭13得到的圖像，根據(jù)源于振動(dòng)的圖像抖動(dòng)量來檢測出路面等特定距離面的抖動(dòng)補(bǔ)償圖像處理單元(距離檢測裝置)14、抖動(dòng)補(bǔ)償圖像處理單元14除了第四實(shí)施例的結(jié)構(gòu)以外，如圖20所示，根據(jù)來自振動(dòng)裝置121的振動(dòng)的定時(shí)信號(hào)的輸出只選擇在振幅的一方的端點(diǎn)拍攝的圖像，使多邊形頂點(diǎn)合成單元112和多邊形圖像合成單元113工作合成抖動(dòng)補(bǔ)償圖像93的開關(guān)122。
圖21(b)表示了振動(dòng)的振幅的時(shí)間變化141。攝像頭13根據(jù)來自振動(dòng)裝置121的振動(dòng)時(shí)機(jī)信號(hào)，在振幅的兩端的時(shí)間，具體地說是在時(shí)間142至147的時(shí)機(jī)打開快門拍攝圖像。因此，振動(dòng)裝置121以30MHz使攝像頭位置振動(dòng)時(shí)，攝像頭13在其振幅的兩端以每秒60張攝制動(dòng)態(tài)圖像。
如上所述，如圖21(a)所示，通過主動(dòng)地移動(dòng)攝像頭位置，當(dāng)障礙物132進(jìn)入圖像內(nèi)時(shí)，該部分的圖像與路面19相比，在距離面84等處預(yù)測圖像和補(bǔ)償圖像一致，所以可通過對(duì)此判定而可以檢測障礙物。
因此，自身車輛11的移動(dòng)停止的狀態(tài)下，當(dāng)桿部12不抖動(dòng)時(shí)，通過主動(dòng)抖動(dòng)攝像頭位置可獲得穩(wěn)定的障礙物檢測精度。
另外，如圖20所示，根據(jù)來自振動(dòng)裝置121的振動(dòng)時(shí)機(jī)信號(hào)的輸出，通過開關(guān)122只選擇在振幅的一方的端點(diǎn)拍攝的圖像，使多邊形頂點(diǎn)合成單元112和多邊形圖像合成單元113工作并合成抖動(dòng)補(bǔ)償圖像93。
另外，在振幅的一方的端點(diǎn)拍攝的圖像如圖21(b)所示，選擇在時(shí)間142、144、146拍攝的圖像，合成抖動(dòng)補(bǔ)償圖像93后輸出。在這種情況下輸出每秒30張的動(dòng)態(tài)圖像。
如上所述，在本實(shí)施例中，由振動(dòng)裝置121使桿部12振動(dòng)，從而造成攝像頭13發(fā)生位置抖動(dòng)，所以通過由此造成的圖像抖動(dòng)量可以檢測出距攝像頭13的距離，可檢測特定距離面是路面還是障礙物。
這樣，抖動(dòng)補(bǔ)償圖像93的由振動(dòng)裝置121造成的攝像頭位置的振幅的影響基本上可以抵消，盡管有振動(dòng)裝置121造成的攝像頭位置的振幅，仍可輸出與第四實(shí)施例大致相等的抖動(dòng)補(bǔ)償圖像。
工業(yè)應(yīng)用性如上所述，本發(fā)明的駕駛輔助裝置具有防止棒狀的固定裝置的抖動(dòng)而造成圖像紊亂且可獲得良好圖像的效果，作為對(duì)拍攝車輛周圍并顯示于車內(nèi)的顯示裝置的駕駛輔助裝置等是有用的。
權(quán)利要求
1.一種駕駛輔助裝置，其特征在于包括固定裝置，呈桿狀且從車輛突出；攝像裝置，設(shè)置于所述固定裝置上并對(duì)所述車輛的周圍進(jìn)行拍攝；以及抖動(dòng)補(bǔ)償圖像處理裝置，將距所述攝像裝置的特定距離面上的抖動(dòng)作為補(bǔ)償量來處理并輸出由所述攝像裝置拍攝的圖像。
2.根據(jù)權(quán)利要求1所述的駕駛輔助裝置，其特征在于，所述抖動(dòng)補(bǔ)償圖像處理裝置通過跟蹤被設(shè)置于所述車輛的多個(gè)特定點(diǎn)，從而檢測被安裝于所述固定裝置上的所述攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)，并進(jìn)行補(bǔ)償，以抵消由檢測出的所述攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)所造成的對(duì)從攝像裝置到特定距離面的圖像的影響。
3.根據(jù)權(quán)利要求1所述的駕駛輔助裝置，其特征在于，所述駕駛輔助裝置包括用于檢測所述攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)的檢測裝置，所述抖動(dòng)補(bǔ)償圖像處理裝置根據(jù)由所述檢測裝置檢測出的攝像裝置的旋轉(zhuǎn)抖動(dòng)和位置抖動(dòng)而進(jìn)行抖動(dòng)補(bǔ)償，以抵消距所述攝像裝置的特定距離面上產(chǎn)生的圖像上的抖動(dòng)。
4.根據(jù)權(quán)利要求1所述的駕駛輔助裝置，其特征在于，所述抖動(dòng)補(bǔ)償圖像處理裝置在對(duì)距所述攝像裝置的特定距離面進(jìn)行拍攝圖像的投影變換后，對(duì)未產(chǎn)生抖動(dòng)的虛擬攝像裝置進(jìn)行逆投影變換的圖像合成。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的駕駛輔助裝置，其特征在于，所述駕駛輔助裝置包括針對(duì)所述攝像裝置的攝像范圍，測量距所述攝像裝置的距離的測距裝置，所述抖動(dòng)補(bǔ)償圖像處理裝置根據(jù)所述測距裝置的檢測信息，可改變所述特定距離面。
6.根據(jù)權(quán)利要求1所述的駕駛輔助裝置，其特征在于，所述抖動(dòng)補(bǔ)償圖像處理裝置假設(shè)多個(gè)距離面，對(duì)于各個(gè)距離面，判定了將所述攝像裝置的位置抖動(dòng)和旋轉(zhuǎn)抖動(dòng)的影響補(bǔ)償后的補(bǔ)償圖像與利用過去的圖像從自身車輛的移動(dòng)預(yù)測得到的預(yù)測圖像的一致后，選擇在所述攝像裝置的畫面的各部分中最一致的距離面的補(bǔ)償圖像并合成補(bǔ)償圖像。
7.根據(jù)權(quán)利要求1所述的駕駛輔助裝置，其特征在于，所述駕駛輔助裝置包括使所述固定裝置振動(dòng)的振動(dòng)裝置，所述抖動(dòng)補(bǔ)償圖像處理裝置在由所述振動(dòng)裝置使所述固定裝置振動(dòng)時(shí)，根據(jù)相對(duì)所述振動(dòng)的攝像圖像的抖動(dòng)量來檢測所述特定距離面。
8.根據(jù)權(quán)利要求1所述的駕駛輔助裝置，其特征在于，所述駕駛輔助裝置包括用于顯示所述攝像裝置拍攝的圖像的顯示裝置。
全文摘要
本發(fā)明提供一種駕駛輔助裝置，可防止桿狀的固定裝置的抖動(dòng)造成的圖像的紊亂，從而獲得良好圖像。所述駕駛輔助裝置包括從車輛(11)突出的桿狀的桿部(12)；設(shè)置于桿部(12)并拍攝車輛(11)周圍的攝像頭(13)；以及輸入由攝像頭(13)拍攝的攝像圖像，將距攝像頭(13)的路面(特定距離面)(19)的抖動(dòng)作為補(bǔ)償量X0而將攝像圖像平行移動(dòng)并輸出的抖動(dòng)補(bǔ)償圖像處理單元(14)。
文檔編號(hào)H04N7/18GK1918901SQ20058000444
公開日2007年2月21日 申請(qǐng)日期2005年2月16日 優(yōu)先權(quán)日2004年2月16日
發(fā)明者石井浩史, 水澤和史, 岡田毅 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社