基于Ladybug全景相機圖像的360度全方位測距算法
【專利摘要】本發(fā)明公開了一種基于Ladybug全景相機圖像的360度全方位測距算法，它涉及計算機視覺領域中的圖像測距【技術領域】。其方法步驟：讀入Ladybug相機采集的各鏡頭圖像序列；各相機分別進行姿態(tài)估計；在相鄰兩幀中分別選擇兩次待測距離起點和終點；計算起點和終點分別所屬相機索引號；計算起點和終點的局部三維坐標；局部三維坐標轉(zhuǎn)為統(tǒng)一坐標系下三維坐標；計算統(tǒng)一坐標系下起點和終點間虛擬距離；Xsense獲取車載相機速度和加速度；擬合兩幀間車載相機間距；計算比例因子；計算起點和終點間實際三維空間距離。本發(fā)明能夠?qū)崿F(xiàn)起點和終點落入不同相機下的距離測量，進而實現(xiàn)360度測量任意一段距離。
【專利說明】基于Ladybug全景相機圖像的360度全方位測距算法
【技術領域】
[0001]本發(fā)明涉及計算機視覺領域中的圖像測距【技術領域】,具體涉及一種基于Ladybug全景相機圖像的360度全方位測距算法。
【背景技術】
[0002]圖像測距技術涉及特征點檢測與匹配、攝像機標定和姿態(tài)估計、將虛擬距離轉(zhuǎn)換為空間實際距離等技術。
[0003]其中“將虛擬距離轉(zhuǎn)換為空間實際距離”技術一般利用地面控制點實現(xiàn)，本發(fā)明在未知地面控制點的情況下，利用Xsense數(shù)據(jù)計算出空間實際距離與虛擬距離間的比例因子，實現(xiàn)實際距離測量。
[0004]傳統(tǒng)的圖像測量一般利用某個方向上的相機圖像，只能測量該方位上的實際距離。

【發(fā)明內(nèi)容】

[0005]有鑒于現(xiàn)有技術的上述缺陷，本發(fā)明提供一種基于Ladybug全景相機圖像的360度全方位測距算法，利用Ladybug全景相機360度全方位拍攝空間景物，將各鏡頭的局部坐標統(tǒng)一到Ladybug全局坐標系下，實現(xiàn)起點和終點落入不同相機下的距離測量，進而實現(xiàn)360度測量任意一段距離。
[0006]為實現(xiàn)上述目的，本發(fā)明提供了一種基于Ladybug全景相機圖像的360度全方位測距算法，其特征在于，其方法步驟為:
[0007](I)、讀入Ladybug相機采集的各鏡頭圖像序列:在Ladybug相機采集過程中，每個鏡頭都會采集一系列序列圖像；
[0008](2)、各相機分別進行姿態(tài)估計:在各相機的內(nèi)參矩陣K已知的前提下，利用Bundle對各鏡頭序列圖像進行相機姿態(tài)估計；
[0009](3)、在相鄰兩幀中分別選擇兩次待測距尚起點和終點:在起始幀選擇一次起點Pd和終點qo，在下一幀選擇一次相同的起點P1和相同的終點Q1 ;
[0010](4)、計算起點和終點分別所屬相機索引號:根據(jù)Ladybug提供的API函數(shù)獲取兩次起點所屬的相機索引號CamIdStart和兩次終點所屬的相機索引號CamIdEnd ；
[0011](5)、計算起點和終點的局部三維坐標--第2步獲取了相機的內(nèi)外參數(shù)，根據(jù)三角測量理論和CamIdStart號相機的內(nèi)外參數(shù)計算Pci和P1兩圖像點所對應的三維空間點坐標Pstart ;同理計算出qo和Q1兩圖像點所對應的三維空間點坐標Qmd ;
[0012](6)、局部三維坐標轉(zhuǎn)為統(tǒng)一坐標系下三維坐標:將第5步中的不同的坐標系下的三維坐標Pstart和Qend轉(zhuǎn)換到同一坐標系下；
[0013](7)、計算統(tǒng)一坐標系下起點和終點間虛擬距離:利用向量間歐式距離計算起點和終點在統(tǒng)一坐標系下的間距DisVir ；
[0014](8)、Xsense獲取車載相機速度和加速度:在車載Ladybug采集圖像的同時,硬件Xsense會實時記錄車輛在采樣點上的速度和加速度，分別獲取相鄰兩幀采樣點的速度和加速度:v0，a0, Vi, Ei1 ；
[0015](9)、擬合兩幀間車載相機間距:已知兩點的速度和加速度:vQ，a0, v2, a2，利用四階多項式擬合相鄰兩幀采樣點間的距離DisGap ；
[0016](10)、計算比例因子 :根據(jù)車輛在兩采樣點間實際間距DisGap和兩點相機間變換關系，計算實際距離與虛擬三維距離間的比例因子；
[0017](11)、計算起點和終點間實際三維空間距離:根據(jù)比例因子Scale計算出起點和終點間虛擬距離DisVir對應的實際空間距離DisAct。
[0018]所述的步驟(6)的局部坐標系下坐標轉(zhuǎn)為統(tǒng)一坐標系下坐標的具備步驟為:在Ladybug全景相機里，每個鏡頭相機定義了一個統(tǒng)一的全局坐標系，每個局部相機坐標系與Ladybug全局坐標系間存在一個唯一的變換關系，即矩陣H,該變換關系通過Ladybug提供的 API 函數(shù) IadybugGetCameraUnitExtrinsics O 獲得；
[0019]設世界坐標系下某空間點Q在某局部相機坐標下坐標為Qf1,該局部相機坐標系與Ladybug全局坐標系間變換矩陣為H，該點在Ladybug全局坐標系下坐標為QLadybug,則它們滿足如下關系:
[0020]Ql^dybug-H.Qlocal 公式 1
[0021]選定的世界坐標系與鏡頭相機坐標系間的關系通過相機的旋轉(zhuǎn)矩陣R和平移向量T獲得，設點Q是世界坐標系下某空間點，R和T是某相機在世界坐標系下的位置姿態(tài)，Qloc31為該點Q在該相機坐標系下的坐標，則關系如下:
【權利要求】
1.基于Ladybug全景相機圖像的360度全方位測距算法，其特征在于，其方法步驟為: (1)、讀入Ladybug相機采集的各鏡頭圖像序列:在Ladybug相機采集過程中，每個鏡頭都會采集一系列序列圖像； (2)、各相機分別進行姿態(tài)估計:在各相機的內(nèi)參矩陣K已知的前提下，利用Bundle對各鏡頭序列圖像進行相機姿態(tài)估計； (3)、在相鄰兩幀中分別選擇兩次待測距離起點和終點:在起始幀選擇一次起點Ptl和終點qo，在下一幀選擇一次相同的起點P1和相同的終點Q1: (4)、計算起點和終點分別所屬相機索引號:根據(jù)Ladybug提供的API函數(shù)獲取兩次起點所屬的相機索引號CamIdStart和兩次終點所屬的相機索引號CamIdEnd ； (5)、計算起點和終點的局部三維坐標:第2步獲取了相機的內(nèi)外參數(shù)，根據(jù)三角測量理論和CamIdStart號相機的內(nèi)外參數(shù)計算Pci和P1兩圖像點所對應的三維空間點坐標Pstart ;同理計算出qo和Q1兩圖像點所對應的三維空間點坐標Qmd ; (6)、局部三維坐標轉(zhuǎn)為統(tǒng)一坐標系下三維坐標:將第5步中的不同的坐標系下的三維坐標Pstart和Qmd轉(zhuǎn)換到同一坐標系下； (7)、計算統(tǒng)一坐標系下起點和終點間虛擬距離:利用向量間歐式距離計算起點和終點在統(tǒng)一坐標系下的間距DisVir ； (8)、Xsense獲取車載相機速度和加速度:在車載Ladybug采集圖像的同時，硬件Xsense會實時記錄車輛在采 樣點上的速度和加速度，分別獲取相鄰兩幀采樣點的速度和加速度:v0，a0, V1, Ei1 ； (9)、擬合兩幀間車載相機間距:已知兩點的速度和加速度:V(I，a0,v2, a2，利用四階多項式擬合相鄰兩幀采樣點間的距離DisGap ； (10)、計算比例因子:根據(jù)車輛在兩采樣點間實際間距DisGap和兩點相機間變換關系，計算實際距離與虛擬三維距離間的比例因子； (11)、計算起點和終點間實際三維空間距離:根據(jù)比例因子Scale計算出起點和終點間虛擬距離DisVir對應的實際空間距離DisAct。
2.根據(jù)權利要求1所述的基于Ladybug全景相機圖像的360度全方位測距算法,其特征在于，所述的步驟(6)的局部坐標系下坐標轉(zhuǎn)為統(tǒng)一坐標系下坐標的具備步驟為:在Ladybug全景相機里，每個鏡頭相機定義了一個統(tǒng)一的全局坐標系，每個局部相機坐標系與Ladybug全局坐標系間存在一個唯一的變換關系，即矩陣H,該變換關系通過Ladybug提供的 API 函數(shù) IadybugGetCameraUnitExtrinsics O 獲得； 設世界坐標系下某空間點Q在某局部相機坐標下坐標為Q^1，該局部相機坐標系與Ladybug全局坐標系間變換矩陣為H，該點在Ladybug全局坐標系下坐標為Q^lybug,則它們滿足如下關系:
^Ladybug H ^Local
公式I 選定的世界坐標系與鏡頭相機坐標系間的關系通過相機的旋轉(zhuǎn)矩陣R和平移向量T獲得，設點Q是世界坐標系下某空間點，R和T是某相機在世界坐標系下的位置姿態(tài)，Qloc31,為該點Q在該相機坐標系下的坐標，則關系如下:
{P T? T、
Jx ~ Iv I QLocal = ηχ.Q公式 2
Vu 1 J根據(jù)公式I和公式2H 口可將不同世界坐標系下的不同空間點表示到統(tǒng)一 Ladybug全局坐標系下。
3.根據(jù)權利要求1所述的基于Ladybug全景相機圖像的360度全方位測距算法，其特征在于，所述步驟(10)中，計算比例因子的公式為: Scale=DisGap' / DisGap 公式 3 其中，在所述第2步的相機姿態(tài)估計中，可計算同一索引號相機在相鄰兩幀中各自相對世界坐標系的位置姿態(tài)，則相鄰兩幀相機的平移向量間的歐式距離即為該索引號相機在兩幀處的虛擬間距DisGap'。
【文檔編號】G06T7/00GK103903263SQ201410114919
【公開日】2014年7月2日 申請日期:2014年3月26日 優(yōu)先權日:2014年3月26日
【發(fā)明者】胡伏原, 吳宏杰, 嚴蔚嵐, 翟金鑫 申請人:蘇州科技學院