無縫拼接全景輔助駕駛系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種無縫拼接全景輔助駕駛系統(tǒng)及方法，該方法包括：S1、畸變校正，對(duì)廣角攝像頭進(jìn)行畸變校正，獲取車輛四周的圖像；S2、圖像配準(zhǔn)，對(duì)相鄰圖像進(jìn)行特征提取，實(shí)現(xiàn)多幅圖像的配準(zhǔn)；S3、鳥瞰變換，將不同視點(diǎn)圖像變換至同一視點(diǎn)；S4、圖像融合，采用對(duì)感興趣區(qū)域加權(quán)融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實(shí)現(xiàn)高清無縫拼接；S5、虛擬車實(shí)現(xiàn)，實(shí)現(xiàn)360度全景虛擬車顯示。本發(fā)明為駕駛者提供了一種全新的駕駛模式，是一種無盲區(qū)、無縫隙的全景系統(tǒng)，為駕駛者提供了一種實(shí)景360度全景系統(tǒng)，使駕駛員能直觀、全面了解車身周邊情況。
【專利說明】無縫拼接全景輔助駕駛系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及汽車電子【技術(shù)領(lǐng)域】，特別是涉及一種無縫拼接全景輔助駕駛系統(tǒng)及方法。
【背景技術(shù)】
[0002]汽車的主動(dòng)安全主要以操控的安全性為前提，目前主動(dòng)安全的技術(shù)主要包括了防抱死制動(dòng)系統(tǒng)(ABS)、防碰撞預(yù)警系統(tǒng)(AWS)、變道輔助系統(tǒng)(LCA)、電子制動(dòng)力分配系統(tǒng)(EBD)、牽引力控制系統(tǒng)(TCS)、電子穩(wěn)定裝置(ESP)、高級(jí)駕駛輔助系統(tǒng)(ADAS)等多項(xiàng)能夠讓汽車駕駛者能夠在多種環(huán)境和路況下盡可能的自由操縱控制汽車的技術(shù)。
[0003]而汽車的被動(dòng)安全主要以汽車發(fā)生交通事故后的防護(hù)性安全為主，目前其主要技術(shù)突破都出現(xiàn)安全氣囊、頸部防護(hù)系統(tǒng)、兒童安全座椅以及安全帶等多個(gè)項(xiàng)目中。
[0004]隨著汽車技術(shù)的快速發(fā)展和不斷革新，汽車作為人們工作生活中的常用交通工具，已經(jīng)對(duì)整個(gè)社會(huì)的發(fā)展產(chǎn)生了重要的影響。而伴隨頻繁發(fā)生的交通事故，人們對(duì)汽車安全的關(guān)注和要求也越來越高。一方面人們開始逐步提高安全駕駛意識(shí)，另一方面汽車相關(guān)企業(yè)也從主動(dòng)安全和被動(dòng)安全兩個(gè)方面進(jìn)行技術(shù)研發(fā)，不斷推出增加汽車駕駛安全系數(shù)的產(chǎn)品和應(yīng)用。
[0005]隨著社會(huì)的發(fā)展，交通安全問題越來越凸顯，傳統(tǒng)的汽車安全理念也在逐漸發(fā)生變化，傳統(tǒng)的安全理念很被動(dòng)比如安全帶、安全氣囊、保險(xiǎn)杠等多是些被動(dòng)的方法并不能有效解決交通事故的發(fā)生，隨著科技的進(jìn)步，汽車的安全被細(xì)化，主動(dòng)安全的概念慢慢的行成并不斷的完善。
[0006]倒車警告/倒車影像/車外攝像頭、芯片防盜系統(tǒng)、自動(dòng)感應(yīng)大燈和/或夜視輔助系統(tǒng)等都是常見的汽車主動(dòng)安全技術(shù)。
[0007]Bird View(360度環(huán)視系統(tǒng))，這一系統(tǒng)安裝在儀表臺(tái)上的顯示屏顯示了車輛四周的俯視情況，可以徹底消滅車輛的盲點(diǎn)。尤其是在停車時(shí)會(huì)給出很大幫助。通過安裝在車身前后左右的攝像頭對(duì)周圍路面情況進(jìn)行拍攝，然后利用圖像處理技術(shù)將其合成為一個(gè)完整的畫面在顯示屏上。
[0008]目前一些專利或文獻(xiàn)中提出了一系列相似技術(shù)方案，如申請(qǐng)?zhí)?01010590428.8(一種全景泊車輔助系統(tǒng))的專利中提出了一種包含攝像頭輸入模塊、圖像校正模塊、鳥瞰透視模塊、圖像拼接模塊、直方圖均衡模塊和圖像顯示模塊，在攝像頭輸入模塊，支持PAL制式相機(jī)，在圖像校正模塊采用多項(xiàng)式擬合方法標(biāo)定攝像頭，采用通用鳥瞰透視變換實(shí)現(xiàn)圖像鳥瞰變換，并按照各透視變換圖在三維坐標(biāo)系中的尺寸關(guān)系實(shí)現(xiàn)全景拼接。上述實(shí)現(xiàn)全景圖像拼接的方法實(shí)現(xiàn)的是一種有縫的全景圖像拼接。申請(qǐng)?zhí)?00910119475.1 (全景可視泊車系統(tǒng))的專利提出了一種采用4個(gè)攝像頭的全景可視泊車系統(tǒng)，該系統(tǒng)只是單純的將4個(gè)攝像頭數(shù)據(jù)簡(jiǎn)單放置于儀器，并沒有對(duì)圖像進(jìn)行處理形成自然直觀的全景圖。
[0009]申請(qǐng)?zhí)?01010590428.8的專利中實(shí)現(xiàn)全景圖像拼接的方式是采用世界坐標(biāo)拼接，勢(shì)必會(huì)造成圖像拼接中出現(xiàn)縫隙，且在圖像拼接過程中可能會(huì)造成拼接區(qū)域死點(diǎn)的存在。申請(qǐng)?zhí)?00910119475.1專利中只是簡(jiǎn)單的圖像堆積，并沒有有效融合，形成一種有縫隙全景拼接；該專利的后續(xù)補(bǔ)充專利申請(qǐng)?zhí)?01110382366.6提出了一種用于全景泊車系統(tǒng)的圖像融合方法，采用的是將重合區(qū)域圖像點(diǎn)坐標(biāo)與重疊區(qū)邊界的位置關(guān)系，從而將信息融合，這種融合方法單純利用數(shù)據(jù)本身在坐標(biāo)系中的位置關(guān)系，而忽略了融合部分的內(nèi)容信息。目前一些融合方法由于拼接過程中采用圖像簡(jiǎn)單的疊加以及圖像在標(biāo)定或鳥瞰變換過程中造成的圖像缺失在拼接過程中會(huì)造成拼接區(qū)域出現(xiàn)死角等問題。
[0010]因此，針對(duì)上述技術(shù)問題，有必要提供一種無縫拼接全景輔助駕駛系統(tǒng)及方法。

【發(fā)明內(nèi)容】

[0011]有鑒于此，本發(fā)明針對(duì)上述問題，提出了一種無縫拼接全景輔助駕駛系統(tǒng)及方法。
[0012]為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供的技術(shù)方案如下:
[0013]一種無縫拼接全景輔助駕駛方法，所述方法包括:
[0014]S1、畸變校正，對(duì)廣角攝像頭進(jìn)行畸變校正，獲取車輛四周的圖像；
[0015]S2、圖像配準(zhǔn)，對(duì)相鄰圖像進(jìn)行特征提取，實(shí)現(xiàn)多幅圖像的配準(zhǔn)；
[0016]S3、鳥瞰變換，將不同視點(diǎn)圖像變換至同一視點(diǎn)；
[0017]S4、圖像融合，采用對(duì)感興趣區(qū)域加權(quán)融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實(shí)現(xiàn)高清無縫拼接；
[0018]S5、虛擬車實(shí)現(xiàn)，實(shí)現(xiàn)360度全景虛擬車顯示。
[0019]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S2具體包括:
[0020]S21、根據(jù)相鄰圖像中重疊部分的位置，確定兩張圖像的變換關(guān)系，找出待拼接圖像之間映射關(guān)系的變換模型；
[0021]S22、利用一種或多種配準(zhǔn)方式實(shí)現(xiàn)多幅圖像的配準(zhǔn)。
[0022]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S21中的變換關(guān)系包括平移變換、剛性變換、仿射變換、投影變換。
[0023]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S22中配準(zhǔn)方法包括基于坐標(biāo)系位置的圖像配準(zhǔn)方法、基于像素灰度的圖像配準(zhǔn)方法。
[0024]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S4中圖像融合采用像素級(jí)的特征融合算法實(shí)現(xiàn)，具體為:
[0025]采用線性亮度補(bǔ)償方法進(jìn)行融合處理，根據(jù)待拼接區(qū)域亮度差按照亮度線性分布方式調(diào)整，實(shí)現(xiàn)亮度融合。
[0026]相應(yīng)地，一種無縫拼接全景輔助駕駛系統(tǒng)，所述系統(tǒng)包括若干安裝于車輛四周的廣角攝像頭、與廣角攝像頭相連的圖像處理模塊、以及與圖像處理模塊相連的顯示器和蜂鳴器。
[0027]作為本發(fā)明的進(jìn)一步改進(jìn)，所述廣角攝像頭數(shù)量為4個(gè)，包括分別位于車輛前后左右位置的前置廣角攝像頭、后置廣角攝像頭、左置廣角攝像頭、右置廣角攝像頭。
[0028]作為本發(fā)明的進(jìn)一步改進(jìn)，所述前置廣角攝像頭采用螺栓與螺母固定安裝于車頭中部，前置廣角攝像頭為斜向下傾斜安裝；
[0029]所述后置廣角攝像頭采用彈片式卡扣固定安裝于車尾中部，后置廣角攝像頭為斜向下傾斜安裝；[0030]所述左置廣角攝像頭采用嵌入式安裝于左后視鏡底部，左置廣角攝像頭為垂直向下安裝或向外傾斜安裝；
[0031]所述右置廣角攝像頭采用嵌入式安裝于右后視鏡底部，右置廣角攝像頭為垂直向下安裝或向外傾斜安裝。
[0032]作為本發(fā)明的進(jìn)一步改進(jìn)，所述廣角攝像頭上墊設(shè)有硅膠墊。
[0033]作為本發(fā)明的進(jìn)一步改進(jìn)，所述廣角攝像頭為180°廣角攝像頭。
[0034]本發(fā)明不僅為駕駛者提供了一種全新的駕駛模式，其作為主動(dòng)安全系統(tǒng)，是一種無盲區(qū)、無縫隙的全景系統(tǒng)，該系統(tǒng)為駕駛者提供了一種實(shí)景360°全景系統(tǒng)；安全線的設(shè)置與蜂鳴器提醒更是增強(qiáng)了該系統(tǒng)的安全性；能使駕駛員能直觀、全面了解車身周邊情況，高速模式下為增強(qiáng)安全性，系統(tǒng)自動(dòng)關(guān)閉。
【專利附圖】

【附圖說明】
[0035]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0036]圖1為本發(fā)明無縫拼接全景輔助駕駛系統(tǒng)的模塊示意圖；
[0037]圖2為本發(fā)明無縫拼接全景輔助駕駛系統(tǒng)中廣角攝像頭的安裝示意圖；
[0038]圖3為本發(fā)明無縫拼接全景輔助駕駛方法的具體流程圖；
[0039]圖4為本發(fā)明廣角攝像頭的畸變校正原理圖；
[0040]圖5為本發(fā)明視點(diǎn)變換的原理圖；
[0041]圖6為本發(fā)明圖像融合時(shí)的光線補(bǔ)償示意圖；
[0042]圖7為本發(fā)明一具體實(shí)施例中廣角攝像頭的標(biāo)定示意圖。
【具體實(shí)施方式】
[0043]為了使本【技術(shù)領(lǐng)域】的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
[0044]參圖1所示，本發(fā)明的一種無縫拼接全景輔助駕駛系統(tǒng)，包括若干安裝于車輛四周的廣角攝像頭、與廣角攝像頭相連的圖像處理模塊20、以及與圖像處理模塊20相連的顯示器(未圖示)和蜂鳴器30。
[0045]結(jié)合圖2所示，廣角攝像頭數(shù)量為4個(gè)，前置廣角攝像頭11、后置廣角攝像頭12、左置廣角攝像頭13、右置廣角攝像頭14，其中:
[0046]前置廣角攝像頭11采用螺栓與螺母固定安裝于車頭中部，前格柵附近，高度大于70cm，斜向下傾斜安裝，使攝像頭的光軸在車輛前方I?2米處；
[0047]后置廣角攝像頭12采用彈片式卡扣固定安裝于車尾中部，牌照燈下方，高度大于70cm，斜向下傾斜安裝，使攝像頭的光軸在車輛后方I?2米處；[0048]左置廣角攝像頭13采用嵌入式安裝于左后視鏡底部，左置廣角攝像頭為垂直向下安裝或向外傾斜安裝；
[0049]右置廣角攝像頭14采用嵌入式安裝于右后視鏡底部，右置廣角攝像頭為垂直向下安裝或向外傾斜安裝。
[0050]廣角攝像頭在安裝時(shí)還可以加裝硅膠墊起到加緊固定和防震的作用。
[0051]本發(fā)明所采用的攝像頭均為視野大于或等于180°的廣角攝像頭，因此，上述安裝方法可以確保攝像頭采集到的場(chǎng)景能夠有效覆蓋車身周圍360°的視場(chǎng)區(qū)域，為后續(xù)的全景拼接提供了保障。當(dāng)然，在其他實(shí)施方式中攝像頭數(shù)量及安裝位置也可以改變，只要滿足攝像頭覆蓋車身周圍360°的視場(chǎng)區(qū)域即可。
[0052]布線步驟如下:
[0053]布線時(shí)應(yīng)按照攝像頭位置向主機(jī)方向穿線；線路最后匯集到主機(jī)方向進(jìn)行集中。布線時(shí)要參照相應(yīng)的線路連接圖；連接線路要注意攝像頭延長(zhǎng)線的匹配。其中:
[0054]前面:1.卸下工具柜；2.從前柵格板車標(biāo)位置，通過駕駛室穿線孔，將前攝像頭延長(zhǎng)線穿到工具柜位置；
[0055]后面:1.卸下車門內(nèi)板或后行李箱蓋板；2.從尾部牌照燈位置，沿底棚或地板將后攝像頭延長(zhǎng)線穿到工具柜位置；
[0056]左右兩側(cè):1.卸下左右后視鏡及左右駕駛室側(cè)門內(nèi)裝飾板；2.卸下后視鏡鏡片，從后視鏡鏡片后面位置，經(jīng)后視鏡穿線孔將側(cè)攝像頭延長(zhǎng)線穿到車門夾層；3.從車門夾層經(jīng)門側(cè)穿線孔穿到工具柜。
[0057]布線注意:非主機(jī)廠原配時(shí)，倒車后視鏡折卸注意點(diǎn)后視鏡鏡片通常采用塑料卡扣的結(jié)構(gòu)設(shè)計(jì)，內(nèi)部上邊上L型卡扣，下邊是凹形卡扣，折卸時(shí)通常從下部將平口改錐插入白色構(gòu)件與底部塑膠件之間，輕輕轉(zhuǎn)動(dòng)或撬動(dòng)就能分離鏡片，切不可用力在鏡片上以免損壞。也有一些車型采用球頭卡扣設(shè)計(jì)，折卸容易，安裝時(shí)球頭受力會(huì)向內(nèi)收縮，可以考慮對(duì)塑料卡扣進(jìn)行適當(dāng)加熱或加潤(rùn)滑劑。
[0058]安裝注意:左右攝像頭根據(jù)后視鏡的規(guī)格可選擇內(nèi)藏式或外掛式。非主機(jī)廠原配時(shí)，拆卸時(shí)注意保護(hù)后視鏡鏡片，打孔時(shí)注意保護(hù)底漆。
[0059]參圖3所示，本發(fā)明的一種無縫拼接全景輔助駕駛方法，具體包括:
[0060]S1、畸變校正，對(duì)廣角攝像頭進(jìn)行畸變校正，獲取車輛四周的圖像；
[0061]S2、圖像配準(zhǔn)，對(duì)相鄰圖像進(jìn)行特征提取，實(shí)現(xiàn)多幅圖像的配準(zhǔn)；
[0062]S3、鳥瞰變換，將不同視點(diǎn)圖像變換至同一視點(diǎn)；
[0063]S4、圖像融合，采用對(duì)感興趣區(qū)域加權(quán)融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實(shí)現(xiàn)高清無縫拼接；
[0064]S5、虛擬車實(shí)現(xiàn)，實(shí)現(xiàn)360度全景虛擬車顯示。
[0065]具體算法實(shí)現(xiàn)如下:
[0066]S1、畸變校正
[0067]180度廣角鏡頭不同于傳統(tǒng)真空模型攝像頭，真空模型攝像頭為小孔成像原理攝像頭，而180度廣角鏡頭為等距離模型，180度廣角鏡頭模型如圖4所示。
[0068]廣角鏡頭畸變校正是360°全景圖像顯示的第一步,采用基于擴(kuò)展kalman濾波的攝像機(jī)標(biāo)定方法具有速度快、精度高的優(yōu)點(diǎn)，畸變模型如圖4所示，采用多項(xiàng)式擬合方法即可求解攝像機(jī)參數(shù)。
[0069]參圖4所示，在成像系統(tǒng)中的世界坐標(biāo)點(diǎn)投影至球面，公式如下:
【權(quán)利要求】
1.一種無縫拼接全景輔助駕駛方法，其特征在于，所述方法包括: 51、畸變校正，對(duì)廣角攝像頭進(jìn)行畸變校正，獲取車輛四周的圖像； 52、圖像配準(zhǔn)，對(duì)相鄰圖像進(jìn)行特征提取，實(shí)現(xiàn)多幅圖像的配準(zhǔn)； 53、鳥瞰變換，將不同視點(diǎn)圖像變換至同一視點(diǎn)； 54、圖像融合，采用對(duì)感興趣區(qū)域加權(quán)融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實(shí)現(xiàn)高清無縫拼接； 55、虛擬車實(shí)現(xiàn)，實(shí)現(xiàn)360度全景虛擬車顯示。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2具體包括: 521、根據(jù)相鄰圖像中重疊部分的位置，確定兩張圖像的變換關(guān)系，找出待拼接圖像之間映射關(guān)系的變換模型； 522、利用一種或多種配準(zhǔn)方式實(shí)現(xiàn)多幅圖像的配準(zhǔn)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟S21中的變換關(guān)系包括平移變換、剛性變換、仿射變換、投影變換。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步驟S22中配準(zhǔn)方法包括基于坐標(biāo)系位置的圖像配準(zhǔn)方法、基于像素灰度的圖像配準(zhǔn)方法。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4中圖像融合采用像素級(jí)的特征融合算法實(shí)現(xiàn)，具體為: 采用線性亮度補(bǔ)償方法進(jìn)行融合處理，根據(jù)待拼接區(qū)域亮度差按照亮度線性分布方式調(diào)整，實(shí)現(xiàn)亮度融合。
6.一種應(yīng)用權(quán)利要求1所述的無縫拼接全景輔助駕駛方法的駕駛系統(tǒng)，其特征在于，所述系統(tǒng)包括若干安裝于車輛四周的廣角攝像頭、與廣角攝像頭相連的圖像處理模塊、以及與圖像處理模塊相連的顯示器和蜂鳴器。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述廣角攝像頭數(shù)量為4個(gè)，包括分別位于車輛前后左右位置的前置廣角攝像頭、后置廣角攝像頭、左置廣角攝像頭、右置廣角攝像頭。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述前置廣角攝像頭采用螺栓與螺母固定安裝于車頭中部，前置廣角攝像頭為斜向下傾斜安裝； 所述后置廣角攝像頭采用彈片式卡扣固定安裝于車尾中部，后置廣角攝像頭為斜向下傾斜安裝； 所述左置廣角攝像頭采用嵌入式安裝于左后視鏡底部，左置廣角攝像頭為垂直向下安裝或向外傾斜安裝； 所述右置廣角攝像頭采用嵌入式安裝于右后視鏡底部，右置廣角攝像頭為垂直向下安裝或向外傾斜安裝。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述廣角攝像頭上墊設(shè)有硅膠墊。
10.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述廣角攝像頭為180°廣角攝像頭。
【文檔編號(hào)】B60R1/00GK103810686SQ201410070044
【公開日】2014年5月21日 申請(qǐng)日期:2014年2月27日 優(yōu)先權(quán)日:2014年2月27日
【發(fā)明者】王正, 陳國(guó)棟 申請(qǐng)人:蘇州大學(xué)