一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法
【專利摘要】一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法，搭載GPS模塊、無線傳輸模塊和機(jī)載攝像機(jī)，采用雙目測距和三維重建技術(shù)結(jié)合GPS定位技術(shù)實現(xiàn)測距和測速以及車輛的危險預(yù)警。本系統(tǒng)采用基于雙目測距和三維重建技術(shù)結(jié)合GPS定位技術(shù)實現(xiàn)對車輛的測距和測速，具體步驟如下：攝像機(jī)的標(biāo)定、目標(biāo)圖像的獲取、特征提取、立體校正、立體匹配、距離和速度測量。在判斷兩車處在危險距離后通過無線傳輸模塊把攝像頭捕捉到的視頻實時傳輸給交通管理部門。本發(fā)明在高效精準(zhǔn)的作業(yè)同時大大提高了交通智能化程度，降低了交通管理部門的工作強度。
【專利說明】
-種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及危險車距識別領(lǐng)域，具體設(shè)及一種基于雙目視覺的無人機(jī)危險車距識 別系統(tǒng)及方法。
【背景技術(shù)】
[0002] 隨著社會經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，車輛的數(shù)量急劇增加，隨之而來的 是越來越多的追尾等交通事故的發(fā)生，由于信息傳輸?shù)臏?、交通事故造成的擁堵等情況 常常使執(zhí)法部口無詳細(xì)的憑據(jù)去了解事故發(fā)生的整個過程。
[0003] 目前，已有各種有關(guān)測量安全車距方法、裝置及系統(tǒng)等，但運些大都用于輔助駕 駛，且不能實時進(jìn)行兩車間距預(yù)警并反饋給執(zhí)法部口。因此急需一種系統(tǒng)來輔助執(zhí)法部口 執(zhí)法，提高執(zhí)法效率，并確保執(zhí)法部口準(zhǔn)確無誤的掌握交通事故的整個過程，有利于做出公 平、公正的判斷。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)的上述不足，本發(fā)明旨在提供一種可動態(tài)實時監(jiān)測車距、車速，當(dāng)出 現(xiàn)危險車距時，把視頻實時傳輸給交警部口并進(jìn)行提醒，輔助執(zhí)法部口快速、有效執(zhí)法的一 種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法。
[0005] 本發(fā)明所采用的技術(shù)方案是:一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方 法，結(jié)合無人機(jī)機(jī)載GPS和機(jī)載攝像機(jī)，采用雙目測距和S維重建技術(shù)結(jié)合GPS定位技術(shù)實 現(xiàn)距離和速度測量W及車輛的危險距離預(yù)警。
[0006] 所述雙目測距和=維重建的步驟包括攝像機(jī)的標(biāo)定、目標(biāo)圖像的獲取、特征提取、 立體校正、立體匹配、距離和速度測量。
[0007] 所述速度測量是通過解析無人機(jī)機(jī)載GPS模塊所接收到的數(shù)據(jù)包獲得無人機(jī)所飛 行的相對于地面靜止物體的速度加上所測車輛相對于無人機(jī)的相對速度即為車輛相對于 地面的絕對速度。
[000引所述危險距離預(yù)警是本發(fā)明利用機(jī)載GPS沿指定路段巡航時對路段進(jìn)行監(jiān)測，采 用雙目測距和S維重建技術(shù)結(jié)合GI^定位技術(shù)實現(xiàn)距離和速度測量W及車輛的危險距離預(yù) 警，在判斷存在危險距離后通過無線傳輸模塊把攝像頭捕捉到的視頻實時傳輸給交通管理 部口。
[0009]本發(fā)明與現(xiàn)有技術(shù)相比，有益效果在于： 1. 在監(jiān)測成本及準(zhǔn)確性W及操作便利性方面具有明顯的優(yōu)勢； 2. 可W動態(tài)地實時檢測車距、車速，當(dāng)出現(xiàn)危險車距時，把視頻實時傳輸給交警部口 并進(jìn)行提醒，輔助交警快速、有效的執(zhí)法； 3. 由于本發(fā)明具有自動檢測并提醒的功能，大大提高了交通智能化程度，降低了交通 管理部口的工作強度。
【附圖說明】
[0010] 圖1是本發(fā)明系統(tǒng)總體結(jié)構(gòu)簡圖。
[0011] 圖2是本發(fā)明所采用雙目定位技術(shù)中極線約束原理示意圖。
[0012] 圖3是本發(fā)明所采用雙攝像頭模型的俯視圖。
[0013] 圖4是本發(fā)明所采用雙攝像頭模型的立體視圖。
【具體實施方式】
[0014] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，W下結(jié)合附圖，對本發(fā)明進(jìn) 行進(jìn)一步詳細(xì)說明。
[0015] 本發(fā)明為一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法，搭載GI^模塊、無 線傳輸模塊和機(jī)載攝像機(jī)，采用雙目測距和S維重建技術(shù)結(jié)合GPS定位技術(shù)實現(xiàn)測距和測 速W及車輛的危險預(yù)警。
[0016] 如圖1所示，一種基于雙目視覺的無人機(jī)危險車距預(yù)警系統(tǒng)，包括嵌入式平臺A、無 人機(jī)41、6口5模塊42、無線傳輸模塊43、雙目攝像頭44。其中嵌入式平臺4應(yīng)采用11111111〇巧6〇曰'(1 turbot高性能運算平臺進(jìn)行無人機(jī)Al飛行姿態(tài)的控制及巡航路線規(guī)劃、解析GPS模塊A2所 接收的數(shù)據(jù)包、分析雙目攝像頭A4所采集到的數(shù)據(jù)并將處理后的數(shù)據(jù)通過無線傳輸模塊A3 發(fā)送回地面;無人機(jī)Al搭載所需要的模塊進(jìn)行巡航監(jiān)測;GPS模塊A2接收相關(guān)地理信息的數(shù) 據(jù)包并傳輸給嵌入式平臺A進(jìn)行解析;無線傳輸模塊A3應(yīng)采用4G通信模塊或5.8G化的無線 傳輸模塊將處理后的數(shù)據(jù)傳輸給地面接收端;雙目攝像頭A4用來進(jìn)行車輛坐標(biāo)的定位和目 標(biāo)車輛距離的測量。
[0017] 本系統(tǒng)采用基于雙目測距和S維重建技術(shù)結(jié)合GI^定位技術(shù)實現(xiàn)對車輛的測距和 測速，具體步驟如下:攝像機(jī)的標(biāo)定、目標(biāo)圖像的獲取、特征提取、立體校正、立體匹配、距離 和速度測量。
[0018] 首先在地面對嵌入式平臺A設(shè)定巡航路線對指定路段進(jìn)行巡航，利用雙目視覺定 位技術(shù)對車輛進(jìn)行測距和測速，如發(fā)現(xiàn)車輛超速或兩車處于危險車距則啟動攝像頭進(jìn)行視 頻捕捉，并將捕捉到的視頻通過無線傳輸模塊A3傳輸給地面接收端。
[0019] 下面對基于雙目視覺的測距和測速的實現(xiàn)方法進(jìn)行詳細(xì)闡述。
[0020] 首先進(jìn)行攝像機(jī)標(biāo)定，具體實現(xiàn)方法如下： 在實際使用的攝像機(jī)中，因為制造工藝的限制主點不能保證在成像設(shè)備的正中屯、位 置，所W引入兩個參數(shù)嫁和轉(zhuǎn)表示真實主點與理想主點間的偏移。因為像素點在一個普通攝 像機(jī)上不能保證是正方形，所W使用兩個不同的焦距起和在。假設(shè)成像平面上的點為g =Cx 7評，目標(biāo)物體點為0 =[乂 r之。，引入?yún)?shù)S(比例因子)和單應(yīng)性矩陣H，其定義如下g二 S佩其中H由兩個矩陣表示：W二#T
(1) 1陣 (2) W用于目標(biāo)物體平面與攝像機(jī)平面的旋轉(zhuǎn)平移變換，即攝像機(jī)外參數(shù)矩陣。
[0021] 考慮到透鏡崎變，假設(shè)QiXXp, Jp)為校正后的點，gyUAJoO為崎變后的點，則有
(3) 其中投V%乾?乾，構(gòu)成一個5x1的矩陣，該矩陣就是攝像機(jī)的崎變矩陣。
[0022] 標(biāo)定是為得到攝像機(jī)的上述參數(shù)。OpenCV使用平面物體（例如平面黑白棋盤） 標(biāo)定攝像機(jī)。使用立體相機(jī)從不同角度不同距離拍攝左右棋盤圖像進(jìn)行標(biāo)定。在化enCV中 調(diào)用f indChessboardCornersO函數(shù)可找到棋盤角點信息的近似值，再使用cornerSubPix O函數(shù)得到棋盤角點的亞像素坐標(biāo)。使用化aw化essboardCornersO函數(shù)繪制出檢測到的 棋盤角點，W便在實驗中觀察結(jié)果，然后使用stereo化librate()函數(shù)完成雙目標(biāo)定。
[0023] 目標(biāo)圖像由機(jī)載攝像機(jī)采集并傳輸至嵌入式平臺，并在嵌入式平臺中使用化enCV 庫函數(shù)進(jìn)行特征提取。
[0024] 接著進(jìn)行立體校正，具體實現(xiàn)方法如下： 有了旋轉(zhuǎn)矩陣7?和平移向量r，立體校正Bouguet算法就能簡單地使左右圖像中的每 幅重投影次數(shù)最小且重投影崎變最大，所W使立體匹配更加準(zhǔn)確和快速，并使左右圖像的 觀測面積最大。
[00巧]通過投影矩陣P把=維點變換成可W在平面上顯示的二維點。
(4) 同理，二維點也可通過重投影矩陣0重投影為=維 點 (6) 其中位點)為主點在左圖像上的坐標(biāo)，《為焦距冷為雙目間距，為主點在右圖 像的X坐標(biāo)。根據(jù)式（5)得到S維坐標(biāo)為：（乂 /r J /r)。在OpenCV中可通過 StereoRectifyO函數(shù)完成W上校正功能，該函數(shù)輸入?yún)?shù)是前面標(biāo)定返回的結(jié)果:攝像機(jī) 矩陣，崎變向量，左右旋轉(zhuǎn)矩陣R和平移向量r。輸出參數(shù)有式(4)中投影矩陣P，分別為 AeZY和Ai加，W及重投影矩陣0?？烧{(diào)用函數(shù)InitUndisto;rtRectifyMap()生成圖像校正 所需的映射矩陣。
[00%]然后進(jìn)行立體匹配，具體實現(xiàn)方法如下： 立體匹配是尋求同一空間景物在不同視點下投影圖像的像間的一一對應(yīng)關(guān)系。立體匹 配可義用BM算法,SGBM算法,GC算法等。
[0027]要計算目標(biāo)點在左右兩個視圖上形成的視差，首先要把該點在左右視圖上兩個對 應(yīng)的像點匹配起來。然而，在二維空間上匹配對應(yīng)點是非常耗時的，為了減少匹配捜索范 圍，我們可W利用極線約束使得對應(yīng)點的匹配由二維捜索降為一維捜索。極線約束原理如 圖2所示，空間中任意一點在圖像平面上的投影點，必然處于由該點和兩個攝像頭中屯、組成 的對極平面上。對于圖像上的某一特征點，其在另一視圖上的匹配點必處于對應(yīng)的對極線 上，運稱為極線約束。極線約束使得特征匹配由二維捜索降低為一維捜索，從而大大加快計 算速度，并且減少誤匹配。
[00%]最后進(jìn)行距離和速度測量，具體實現(xiàn)方法如下： 雙攝像頭測距的原理如圖3及圖4所示，其中，圖4中Z是目標(biāo)點到成像平面的距離，f是 攝像頭焦距，T具兩攝像車并屯、的距離。目標(biāo)點在左右兩幅視圖上成像的橫向坐標(biāo)直接存在 的差異（即視差
，與目標(biāo)點到成像平面的距離Z存在著反比例的關(guān)系：Z=fT/d。 在化enCV中，f的量綱是像素點，T的量綱由定標(biāo)板棋盤格的實際尺寸和用戶輸入值確定，一 般是W毫米為單位（當(dāng)然為了精度提高也可W設(shè)置為0.1毫米量級）
3量綱也 是像素點。因此分子分母約去，Z的量綱與T相同。
[0029] 假設(shè)Sl為圖像平面上兩輛車之間的距離，S2為兩輛車之間的實際距離，則： (7) S像平面上在時間t里行駛的路程，枉為車輛相對于無人機(jī)的實際速度， 則 :) I絕對運動速度恥可由機(jī)載GI^得出，假設(shè)X為無人機(jī)機(jī)載GPS所獲得數(shù)據(jù) 包； t內(nèi)所經(jīng)過的位移，則： (9) I速度V可由車輛相對于無人機(jī)的相對運動速度和無人機(jī)的絕對運動速度 得 (10) 在得出車輛的絕對運動速度后與設(shè)定的車道限速進(jìn)行對比，若車輛速度大于限速則進(jìn) 行違章抓拍;若得出兩車間實際距離小于所設(shè)定的安全距離則啟動攝像頭將畫面通過無線 傳輸模塊A3傳輸回地面接收端進(jìn)行預(yù)警，并調(diào)整無人機(jī)飛行速度使之與車輛速度接近并繼 續(xù)進(jìn)行判斷和預(yù)警。
【主權(quán)項】
1. 一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法，具有危險車距識別及預(yù)警功 能，其特征在于無人機(jī)上搭載攝像頭并利用GPS定位技術(shù)沿路段巡航，使用機(jī)載嵌入式平臺 對采集到的視頻進(jìn)行實時分析處理，得出相鄰兩車距離以及每輛車的車速，對危險車距進(jìn) 行實時報警和追蹤，并利用無線傳輸技術(shù)將視頻實時傳輸給交通管理部門。2. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法，其特 征在于所述無人機(jī)搭載攝像頭為雙目攝像頭。3. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法，其特 征在于所述測距方法采用基于雙目定位和三維重建技術(shù)結(jié)合GPS定位技術(shù)的測距。4. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的無人機(jī)危險車距識別系統(tǒng)及方法，其特 征在于所述雙目測距和三維重建的步驟如下:攝像機(jī)標(biāo)定、目標(biāo)圖像獲取、特征提取、立體 校正、立體匹配、距離和速度測量。
【文檔編號】G01S11/12GK106019264SQ201610337852
【公開日】2016年10月12日
【申請日】2016年5月22日
【發(fā)明人】李彥瑋, 江志奇, 劉怡萱, 谷亞茹, 廖羽喬
【申請人】江志奇