一種車載全景成像輔助方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種車載全景成像輔助方法，包括預(yù)設(shè)常態(tài)拼接模型與近景拼接模型，并存儲于存儲模塊中；采集車體外部距離信息與圖像信息；判斷是否有物體，如果有，局部使用近景拼接模型對車體外部環(huán)境進行圖像拼接，否則，使用常態(tài)拼接模型對車體外部環(huán)境進行圖像拼接；在圖像顯示模塊上顯示所得車載全景。本發(fā)明還提出了一種車載全景成像輔助系統(tǒng)。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點：設(shè)計了一種有測距裝置輔助系統(tǒng)，可以根據(jù)由測距裝置獲得的車體周圍物體情況改變拼接模型，解決了在視域重疊區(qū)域若物體靠近車體會導(dǎo)致拼接嚴重失真的問題，提高了全景圖像拼接的效果。碰撞預(yù)警，可顯示在顯示模塊上和/或通過語音系統(tǒng)報警，提高了駕駛安全性。
【專利說明】一種車載全景成像輔助方法及其系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及汽車電子領(lǐng)域，具體地說是一種車載全景成像輔助方法及其系統(tǒng)。
【背景技術(shù)】
[0002]隨著汽車電子及計算機視覺的發(fā)展，輔助駕駛員進行車輛控制的設(shè)備也越來越發(fā)達，各類傳感器不斷地增加到汽車電子中去。倒車雷達作為一種常見的汽車電子，它利用超聲波測距的原理，采集車尾附近物體距離車體的距離，并利用顯示設(shè)備或聲音設(shè)備提示駕駛員。而車載全景成像系統(tǒng)利用在車體周圍的攝像頭采集車體各個方向的圖像，再根據(jù)攝像頭自身參數(shù)及安裝參數(shù)進行拼接，得到車體周圍360度全景圖像。以上應(yīng)用都能在一定程度上簡化機動車駕駛難度并提高駕駛安全性。
[0003]但現(xiàn)有的汽車周圍情況檢測裝置卻有著很多缺陷。倒車雷達雖然可以捕捉到車尾處物體的情況但是卻無法獲得車尾處的圖像，使駕駛員在倒車時，很容易由于車內(nèi)物體甚至車體的遮擋無法完全觀察到車尾處的具體情況導(dǎo)致事故。而現(xiàn)有的車載全景成像系統(tǒng)由于鏡頭等原因無法做到各個攝像頭之間的完美融合，各個攝像頭圖像融合之后會有較明顯的圖像未對準的缺點。而靠近車體附近的物體又由于需要顧及遠區(qū)的拼接效果，導(dǎo)致無法正確拼接。
[0004]另一方面，由于現(xiàn)有的車載全景拼接技術(shù)攝像頭清晰度及人工智能發(fā)展程度的限制，僅靠圖像無法自動識別車體周圍物體情況。

【發(fā)明內(nèi)容】

[0005]針對上述現(xiàn)有技術(shù)，本發(fā)明要解決的技術(shù)問題是:提供一種車載全景成像輔助方法及其系統(tǒng)，解決了在重疊區(qū)域若物體靠近車體會導(dǎo)致拼接嚴重失真的問題，提高了全景圖像拼接的效果，以及駕駛的安全性。。
[0006]為了解決上述問題，本發(fā)明提供一種車載全景成像輔助方法，該方法包括如下步驟:
51.預(yù)設(shè)常態(tài)拼接模型與一個及以上近景拼接模型，并將其存儲于存儲模塊中；
52.利用測距模塊與圖像采集模塊，采集車體外部距離信息與圖像信息；
53.利用距離信息，判斷車體附近是否有物體，如果有，執(zhí)行下一步操作，如果沒有，跳至步驟S5 ；
54.在有近物的區(qū)域使用近景拼接模型對車體外部環(huán)境進行圖像拼接；
55.在無近物的區(qū)域使用常態(tài)拼接模型對車體外部環(huán)境進行圖像拼接；
56.在圖像顯示模塊上顯示所得車載全景。
[0007]優(yōu)選的，該方法還包括如下步驟:
設(shè)置預(yù)警閾值，根據(jù)所得距離信息與該預(yù)警閾值的關(guān)系，輸出預(yù)警信號，具體為:
當超過該閾值時，通過預(yù)警模塊輸出預(yù)警信號；
當沒有超過該閾值時，預(yù)警模塊無預(yù)警信號輸出。[0008]優(yōu)選的，所述預(yù)警信號的輸出形式可在圖像顯示模塊中以突出顏色表現(xiàn)，或者使用語音報警系統(tǒng)輸出。
[0009]優(yōu)選的，所述的距離信息和所述的多個拼接模型的存在一一對應(yīng)關(guān)系，可將距離信息做平滑變化或分段設(shè)置。
[0010]優(yōu)選的，所述的預(yù)警閾值為預(yù)先設(shè)置并存儲在存儲模塊中。
[0011]為了解決上述問題，本發(fā)明還提供一種車載全景成像輔助系統(tǒng)，包括置于車體前后左右四個方向上的多個超廣角攝像頭的圖像采集模塊，用于圖像顯示的顯示模塊，用于存儲各類數(shù)據(jù)信息的存儲模塊，置于車體四周的多個傳感器，用于采集距離信息的測距模塊，放置于各攝像頭重疊區(qū)域的輔助標定模塊，用于控制處理的數(shù)據(jù)處理模塊；
所述圖像采集模塊、測距模塊均輸入至數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊將處理得到的車載全景圖像通過顯示模塊輸出，且數(shù)據(jù)處理模塊與存儲模塊互聯(lián)。
[0012]優(yōu)選的，還包括用于輸出預(yù)警信息的預(yù)警模塊；所述預(yù)警模塊與數(shù)據(jù)處理模塊相連。
[0013]優(yōu)選的，所述的預(yù)警模塊可以是通過顯示模塊將預(yù)警信息輸出，或者是語音系統(tǒng)，或者連接至車體方向盤以控制車體方向盤達到預(yù)警效果。
[0014]優(yōu)選的，所述的測距裝置為超聲測距裝置或激光測距裝置或紅外測距裝置。
[0015]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點:
一、利用多傳感器結(jié)合的方法，設(shè)計了一種有測距裝置輔助系統(tǒng)，相對于傳統(tǒng)的車載全景成像系統(tǒng)，可以根據(jù)由測距裝置獲得的車體周圍物體情況改變拼接模型，解決了在視域重疊區(qū)域若物體靠近車體會導(dǎo)致拼接嚴重失真的問題，提高了全景圖像拼接的效果。
[0016]二、利用測距裝置進行碰撞預(yù)警，可顯示在顯示模塊上和/或通過語音系統(tǒng)報警，提高了駕駛安全性。
【專利附圖】

【附圖說明】
[0017]圖1為本發(fā)明實施的車載全景成像輔助方法流程圖。
[0018]圖2用于預(yù)設(shè)常態(tài)拼接模型的輔助標定模塊擺放示意圖。
[0019]圖3為無近物時使用常態(tài)拼接模型的車右側(cè)攝像頭可能采集到的圖像示意圖。
[0020]圖4為無近物時使用常態(tài)拼接模型的車前側(cè)攝像頭可能采集到的圖像示意圖。
[0021]圖5常態(tài)拼接模型的模型拼接示意圖。
[0022]圖6用于預(yù)設(shè)近景拼接模型的輔助標定模塊擺放示意圖。
[0023]圖7為有近物時使用近景拼接模型的車前側(cè)攝像頭可能采集到的圖像示意圖。
[0024]圖8為有近物時使用常態(tài)拼接模型的車右側(cè)攝像頭可能采集到的圖像示意圖。
[0025]圖9近景拼接模型的模型拼接示意圖。
[0026]圖10為本發(fā)明實施的攝像頭與檢測裝置的安裝示意圖。
[0027]圖11為本發(fā)明實施的車載全景成像輔助系統(tǒng)框圖。
【具體實施方式】
[0028]為了讓本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖對本發(fā)明作進一步闡述。[0029]【具體實施方式】如圖1?圖10所示，一種車載全景成像輔助方法，其特征在于，該方法包括如下步驟:
S1.預(yù)設(shè)常態(tài)拼接模型與一個及以上近景拼接模型，并將其存儲于存儲模塊中。
[0030]預(yù)設(shè)常態(tài)拼接模型的步驟如下:
S101.在車身周圍放置四個六面體標志物。
[0031]在實際場景中，將四個容易識別的標志物El?E4分別放置到車的左前、左后、右前和右后位置上。如圖2所示，圖中給出了各個攝像頭的有效視域。其中LI為安裝在車頭處的攝像頭的有效視域邊界線，其圖中視域為LI向左。L2為安裝在車尾處的攝像頭的有效視域邊界線，其圖中視域為L2向右。L3為安裝在車身右側(cè)后視鏡處的攝像頭的有效視域邊界線，其圖中視域為L3向上。L4為安裝在車身左側(cè)后視鏡處的攝像頭的有效視域邊界線，其圖中視域為L4向下。標志物El?E4所處位置為各個攝像頭彼此相鄰的重疊視域。
[0032]S102.識別出在相鄰攝像頭重疊視域中的標志物的指定特征。
[0033]其中，指定特征為四邊形的四個頂點Ql?Q4，如圖3?圖4所示。
[0034]S103.通過獲得頂點Ql?Q4在攝像頭中的位置，與在常態(tài)拼接模型中預(yù)設(shè)的位置進行對準，并依據(jù)此對準結(jié)果，將攝像頭采集到的圖像的其他部分進行合理形變及相應(yīng)的插值處理，最后獲得攝像機坐標系與該常態(tài)拼接模型坐標系的一一對應(yīng)關(guān)系，將此一一對應(yīng)關(guān)系存儲在存儲設(shè)備中，并做好編號。
[0035]其中，圖5所示為常態(tài)拼接模型的其中一種模型拼接示意圖。根據(jù)圖2中所示的標志物El?E4的擺放位置，把圖5中的對應(yīng)點進行配準，即對于車體右前側(cè)的標志物E1，將圖3和圖4中的四個頂點Ql?Q4分別對準圖5中的01?04 ;對于車體右后側(cè)、左前側(cè)、左后側(cè)的對準與右前側(cè)作類似處理。在將這些指定特征頂點對準之后，將攝像頭采集到的圖像進行平滑的拉伸和象素點插值，使對應(yīng)部分填充到圖5所示模型拼接示意圖中，如:車頭部分攝像頭采集到的圖像填充到A陰影區(qū)，而車右側(cè)攝像頭采集到的圖像則填充到B陰影區(qū)，平滑填充的方法可以選用樣條曲面的算法實現(xiàn)。
[0036]預(yù)設(shè)近景拼接模型的步驟如下: sin.在車身周圍放置多個六面體標志物。
[0037]在實際場景中，在車的左前、左后、右前和右后，且與車體各方位等距離的位置上分別放置標志物，不同的區(qū)間范圍用不同的標志物標識。不同標志物的擺放是為了模擬車體附近檢測到的物體。如圖6所示，圖中給出了各個攝像頭的有效視域。其中LI為安裝在車頭處的攝像頭的有效視域邊界線，其圖中視域為LI向左。L2為安裝在車尾處的攝像頭的有效視域邊界線，其圖中視域為L2向右。L3為安裝在車身右側(cè)后視鏡處的攝像頭的有效視域邊界線，其圖中視域為L3向上。L4為安裝在車身左側(cè)后視鏡處的攝像頭的有效視域邊界線，其圖中視域為L4向下。其中，標志物Fl?F3是物體距離車體距離從近到遠的多種距離區(qū)間所對應(yīng)模型為用于標定所設(shè)置標志物的擺放位置示意標識。
[0038]本實施例中，近景拼接模型的數(shù)量為3個，即設(shè)置了 3個距離區(qū)間范圍。所以近景拼接模型的預(yù)設(shè)應(yīng)經(jīng)過從近到遠或從遠到近進行多次標定，形成近景拼接模型1、近景拼接模型2和近景拼接模型3，標志物的位置也隨所設(shè)置的距離遠近而作相應(yīng)變化，三個模型分別對應(yīng)標志物Fl?F3。
[0039]需要說明的是，F(xiàn)l?F3僅僅是遠近不同的標志物的示例，實際中標志物距離車體的距離以及標志物與標志物之間的相對距離可能根據(jù)需求不同而變化。下面的描述中以其中一個距離區(qū)間為例。
[0040]S112.識別出在相鄰攝像頭重疊視域中的標志物的指定特征。
[0041]指定的特征可以為模板的形狀的特點或模板中圖案的特點，在本步驟中為俯視六面體標志物Gl所得的四邊形的四個頂點Pl?P4，如圖7?圖8所示。
[0042]S113.在固定其他位置攝像機坐標系與近景拼接模型I坐標系一一對應(yīng)關(guān)系的前提下，拉伸或壓縮攝像頭采集到的靠近本側(cè)標志物的1/4?1/6處的圖像，使圖像中標志物Gl的特征與相對應(yīng)的近景拼接模型I的特征重疊，且對靠近本側(cè)模板的1/4?1/6處的圖像進行平滑過渡處理，最后獲得攝像機坐標系與該近景拼接模型I坐標系的一一對應(yīng)關(guān)系，將此一一對應(yīng)關(guān)系存儲在存儲設(shè)備中，并做好編號。
[0043]其中，圖9所示為近景拼接模型的模型拼接示意圖。根據(jù)圖6中所示的標志物Fl的擺放位置，把圖9中的對應(yīng)點進行配準，即對于車體右前側(cè)的標志物Fl中的一個，將圖7和圖8中的四個頂點Pl?P4分別對準圖9中的Rl?R4。對于車體右后側(cè)、左前側(cè)、左后側(cè)的對準與右前側(cè)作類似處理。在將這些指定特征頂點對準之后，將攝像頭采集到的圖像中靠近相鄰攝像頭重疊視域的一小部分，即有近物的部分分割出來，進行平滑的拉伸和象素點插值，使對應(yīng)部分填充到圖9所示模型拼接示意圖中，如:圖9中A、B區(qū)域中的圖像使用常態(tài)拼接模型進行拼接處理，而對C、D區(qū)域進行拉伸或壓縮及插值處理，獲得此時標志物距離車體在該距離區(qū)間范圍時，攝像機坐標系與近景拼接模型I坐標系的一一對應(yīng)關(guān)系。
[0044]S2.利用測距模塊與圖像采集模塊，采集車體外部距離信息與圖像信息。
[0045]圖像采集模塊利用安裝在車體周圍的多個攝像頭，采集車體周圍的圖像信息，然后送到數(shù)據(jù)處理模塊中。
[0046]測距模塊利用安裝在車體周圍的多個傳感器，采集車體周圍物體距離車體的情況，然后送到數(shù)據(jù)處理模塊中，對距離信息進行整合。
[0047]圖10所示為一種使用4個攝像頭進行圖像采集的安裝示意圖，其中圖中的圓形
I1、12、13、14為攝像頭的標識，分別安裝在車頭、車右側(cè)的后視鏡、車左側(cè)的后視鏡和車尾處，鏡頭采用180度廣角鏡頭。
[0048]另外，圖中還包括了使用8個超聲波測距裝置進行距離采集的安裝示意圖，其中圖中的三角形Hl、H2、H3、H4、H5、H6、H7、H8為安裝在車體車頭、車頭兩側(cè)、車尾、車尾兩側(cè)、車體左側(cè)及車體右側(cè)的8個測距裝置，用于采集車體8個方向距離車體附近物體的信息。
[0049]測距裝置可以為超聲測距或激光測距或紅外測距，在本實施例中選擇超聲測距，應(yīng)該理解，超聲測距為優(yōu)選實施例，而不是對本發(fā)明的限制。
[0050]S3.根據(jù)檢測獲得的距離信息，判斷車體附近是否有物體。
[0051]當車體附近有物體時，判斷最接近的物體的方位及其距離車體的距離落入哪個區(qū)間范圍，在該方向上使用相應(yīng)區(qū)間范圍所對應(yīng)的近景拼接模型，進行局部拼接處理。其他無近物的方位使用常態(tài)拼接模型進行拼接處理。
[0052]當車體附近沒有物體時，使用常態(tài)拼接模型對車體外部環(huán)境進行全景拼接。
[0053]S4.比較車體附近的物體與車體之間的距離是否超過所設(shè)置的閾值，該閾值預(yù)先設(shè)置并存儲于存儲模塊中。[0054]當超過該閾值時，通過預(yù)警模塊輸出預(yù)警信號。
[0055]當沒有超過該閾值時，預(yù)警模塊無預(yù)警信號輸出。
[0056]S5.在圖像顯示模塊上顯示所得車載全景圖像。
[0057]當預(yù)警模塊有預(yù)警信號輸出時，預(yù)警模塊的預(yù)警信號通過顯示模塊將車載全景圖像中的該物體用紅色閃爍輪廓線圈起，提醒車輛使用者。
[0058]在本實施例中預(yù)警信號的輸出采用顯示模塊輸出，應(yīng)該理解，該種輸出形式為優(yōu)選實施例，而不是對本發(fā)明的限制。預(yù)警信號的輸出形式還可以采用語音報警系統(tǒng)或者通過控制車體方向盤以達到預(yù)警效果，也可以是兩者或兩者以上的結(jié)合。
[0059]如圖11所示，一種應(yīng)用上述方法的車載全景成像輔助系統(tǒng)，包括置于車體前后左右四個方向上的多個超廣角攝像頭(視角范圍為80度?180度，其焦距可以是10mm-20mm)的圖像采集模塊1，用于圖像顯示的顯示模塊2，用于存儲各類數(shù)據(jù)信息的存儲模塊3，置于車體四周的多個傳感器，用于采集距離信息的測距模塊4，放置于各攝像頭重疊區(qū)域的輔助標定模塊5，用于控制處理的數(shù)據(jù)處理模塊6。
[0060]其中，圖像采集模塊1、測距模塊4均輸入至數(shù)據(jù)處理模塊6，所述數(shù)據(jù)處理模塊6將處理得到的車載全景圖像通過顯示模塊2輸出，將預(yù)警信息通過預(yù)警模塊7輸出，且數(shù)據(jù)處理模塊6與存儲模塊3互聯(lián)，可將處理的中間數(shù)據(jù)存儲于存儲模塊3，同時也可在數(shù)據(jù)處理過程中隨時調(diào)用存儲于存儲模塊3中的數(shù)據(jù)。
[0061]預(yù)警模塊7可以是通過顯示模塊2將預(yù)警信息輸出，或者是語音系統(tǒng)，或者連接至車體方向盤以控制車體方向盤達到預(yù)警效果。本實施例中，選擇通過顯示模塊2將預(yù)警信息輸出，即將與車體間存在碰撞預(yù)警的物體，在顯示模塊2中以紅色輪廓線標出。
[0062]以上所述為本發(fā)明的較佳實施方式，并非對本發(fā)明作任何形式上的限制。需要說明的是，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍。
【權(quán)利要求】
1.一種車載全景成像輔助方法，其特征在于，該方法包括如下步驟: 51.預(yù)設(shè)常態(tài)拼接模型與一個及以上近景拼接模型，并將其存儲于存儲模塊中； 52.采集車體外部距離信息與圖像信息； 53.利用距離信息，判斷車體附近是否有物體，如果有，執(zhí)行下一步操作，如果沒有，跳至步驟S5 ； 54.在有近物的區(qū)域使用近景拼接模型對車體外部環(huán)境進行圖像拼接； 55.在無近物的區(qū)域使用常態(tài)拼接模型對車體外部環(huán)境進行圖像拼接； 56.在圖像顯示模塊上顯示所得車載全景。
2.根據(jù)權(quán)利要求1所述的車載全景成像輔助方法，其特征在于，該方法還包括如下步驟: 設(shè)置預(yù)警閾值，根據(jù)所得距離信息與該預(yù)警閾值的關(guān)系，輸出預(yù)警信號，具體為: 當超過該閾值時，通過預(yù)警模塊輸出預(yù)警信號； 當沒有超過該閾值時，預(yù)警模塊無預(yù)警信號輸出。
3.根據(jù)權(quán)利要求2所述的車載全景成像輔助方法，其特征在于，所述預(yù)警信號的輸出形式可在圖像顯示模塊中以突出顏色表現(xiàn)，或者使用語音報警系統(tǒng)輸出。
4.根據(jù)權(quán)利要求1所述的車載全景成像輔助方法，其特征在于，所述的距離信息和所述的多個拼接模型的存在一一對應(yīng)關(guān)系，可將距離信息做平滑變化或分段設(shè)置。
5.根據(jù)權(quán)利要求3所述的車載全景成像輔助方法，其特征在于，所述的預(yù)警閾值為預(yù)先設(shè)置并存儲在存儲模塊中。
6.一種車載全景成像輔助系統(tǒng)，包括置于車體前后左右四個方向上的多個超廣角攝像頭的圖像采集模塊(1)，用于圖像顯示的顯示模塊(2)，用于存儲各類數(shù)據(jù)信息的存儲模塊(3)，其特征在于，還包括 置于車體四周的多個傳感器，用于采集距離信息的測距模塊(4); 放置于各攝像頭重疊區(qū)域的輔助標定模塊(5)； 用于控制處理的數(shù)據(jù)處理模塊(6)； 所述圖像采集模塊、測距模塊均輸入至數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊將處理得到的車載全景圖像通過顯示模塊輸出，且數(shù)據(jù)處理模塊與存儲模塊互聯(lián)。
7.根據(jù)權(quán)利要求6所述的車載全景成像輔助系統(tǒng)，其特征在于，還包括用于輸出預(yù)警信息的預(yù)警模塊(7);所述預(yù)警模塊與數(shù)據(jù)處理模塊相連。
8.根據(jù)權(quán)利要求7所述的車載全景成像輔助系統(tǒng)，其特征在于，所述的預(yù)警模塊可以是通過顯示模塊將預(yù)警信息輸出，或者是語音系統(tǒng)，或者連接至車體方向盤以控制車體方向盤達到預(yù)警效果。
9.根據(jù)權(quán)利要求8所述的車載全景成像輔助系統(tǒng)，其特征在于，所述的測距裝置為超聲測距裝置或激光測距裝置或紅外測距裝置。
【文檔編號】B60Q9/00GK103863192SQ201410132684
【公開日】2014年6月18日 申請日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】張荃, 劉偉恒, 劉建, 陳杰, 鐘晨 申請人:深圳市德賽微電子技術(shù)有限公司