本發(fā)明涉及圖像處理，尤其涉及一種激光雷達與相機外在參數校準方法。

背景技術：

1、激光雷達和視覺相機是智能車輛和各種機器人系統(tǒng)中廣泛使用的環(huán)境感知傳感器。激光雷達可以測量距離，但不能感知紋理和顏色，而視覺相機可以捕捉豐富的紋理，但缺乏深度。激光雷達和視覺相機的數據融合促進和增強了各種機器人應用，例如同時定位和建圖、3d?物體檢測和跟蹤、語義分割、基于鳥瞰圖的感知等。而外在參數校準是有效數據融合的至關重要的先決條件，旨在準確估計激光雷達和相機坐標系之間的六自由度剛體變換。

2、到目前為止，激光雷達和視覺相機之間的標定方法已經得到了廣泛的研究，并在準確性和便捷性方面不斷提高。然而，現有的大多數魯棒且著名的方法都是基于目標的，需要定制高精度的精心設計的標定板、目標或房間，這非常耗時且成本比較高。相反，無目標方法非常方便、高效且成本低，但由于缺乏板、目標或房間提供的強約束在魯棒性、準確性和對各種場景的適用性方面面臨挑戰(zhàn)。此外，隨著深度學習技術的快速發(fā)展，端到端標定方法在特定數據集上已經顯示出驚人的效果。然而，上述這些方法的泛化性能均較差，難以直接應用于模型尚未學習到的不同傳感器組合和場景。

3、總體而言，無目標方法由于其便捷性和低成本仍然是最實用和最有吸引力的研究課題。這類方法主要分為基于運動和基于特征的方法?；谶\動的方法對各種場景都具有魯棒性，但需要足夠的運動激勵，傳感器自運動估計中的誤差和時間偏移限制了標定精度?；谔卣鞯姆椒ㄒ蕾囉?d-2d對應線、邊、面或點等幾何特征的跨模態(tài)估計，或基于統(tǒng)計特征的相似性度量，如互信息，歸一化信息距離?；谶吘?、線、面的方法由于依賴于顯著且穩(wěn)定的幾何特征，因此場景適應性較差。由于跨模態(tài)邊緣匹配具有挑戰(zhàn)性，因此只有優(yōu)化初值接近地面實況時外在參數才能收斂?；诨バ畔⒌姆椒ê苋菀资艿焦庹蘸臀矬w材質的影響，并且由于局部凸的成本函數而依賴于良好的初始猜測來收斂。相比之下，基于點的方法由于點特征的豐富性、普遍性和易于檢測性，對場景的魯棒性更強。此外，先進的圖像點特征提取和匹配網絡由于其在各種復雜場景中的強大泛化能力而引起了廣泛關注，這推動了在圖像空間進行3d-2d對應點的估計的研究，但缺乏一個完善的基于3d-3d對應點對估計的高精度的激光相機標定框架。

4、綜上所述，現有的激光雷達與視覺相機標定方法大多依賴定制的人工目標，而無需人工目標的方法標定精度不高且不夠魯棒。如何在沒有人工目標的情況下，隨時隨地準確魯棒地完成激光雷達和視覺相機之間的外在參數標定是一個具有實用價值的研究課題。

技術實現思路

1、本發(fā)明所要解決的技術問題是提供一種激光雷達與相機外在參數校準方法，僅需單次采集數據，并通過數據積累評估確保獲得一個足夠致密的激光點云，并生成高質量的激光強度圖像、激光深度圖像、視覺強度圖像及視覺深度圖像，估計對應點對，最后通過逐步修剪對應點對并最小化重投影誤差來由粗到細地優(yōu)化外在參數，每次迭代后通過移除相機視點不可見的激光點云校正激光強度圖像和激光深度圖像，從而得到適應各種視場的激光雷達圖像。

2、本發(fā)明是通過以下技術方案予以實現：

3、一種激光雷達與相機外在參數校準方法，其包括如下步驟：

4、s1：利用數據積累評估準則判斷激光雷達單次采集的激光點云致密性，直至激光點云致密性滿足要求；

5、s2：將激光點云投影到圖像中，生成激光強度圖像、激光深度圖像及激光索引圖像，并對激光強度圖像、激光深度圖像及激光索引圖像進行圖像增強處理，得到增強激光強度圖像、增強激光深度圖像及增強激光索引圖像；

6、s3：將相機拍攝的視覺圖像處理為視覺強度圖像，并將視覺圖像通過單目深度估計網絡生成視覺深度圖像；

7、s4：采用圖像匹配網絡來跨模態(tài)估計增強激光深度圖像與視覺深度圖像之間的2d到2d對應點對以及增強激光強度圖像和視覺強度圖像之間的2d到2d對應點對,再通過增強激光索引圖像得到增強激光深度圖像與視覺深度圖像之間的3d到2d對應點對以及增強激光強度圖像和視覺強度圖像之間的3d到2d對應點對；

8、s5：逐步修剪增強激光深度圖像與視覺深度圖像之間的3d到2d對應點對以及增強激光強度圖像和視覺強度圖像之間的3d到2d對應點對，并最小化重投影誤差來優(yōu)化外在參數；

9、s6：利用優(yōu)化的外在參數刪除原始激光點云中在相機視角下不可見的激光點云，投影保留的激光點云，生成校正后激光強度圖像、校正后激光深度圖像及校正后激光索引圖像；

10、s7：設定迭代次數，迭代執(zhí)行步驟s2中對激光強度圖像、激光深度圖像及激光索引圖像進行圖像增強處理以及步驟s4、步驟s5、步驟s6，對外在參數由粗到細優(yōu)化求解，得到最終優(yōu)化的外在參數。

11、進一步，步驟s1中數據積累評估準則為式（1）：

12、（1）；

13、其中：為激光雷達的水平視場,為近場半徑的球體內積累的點云數量，為評估閾值，為近場半徑。

14、進一步，步驟s1中對于非重復掃描式的激光雷達，通過保持靜止并積累每幀激光點云來獲得致密激光點云，對于重復掃描式的激光雷達，采用以下方法獲得致密激光點云：

15、根據式（2）計算相鄰兩幀激光點云之間激光雷達的平移距離以及相鄰兩幀激光點云之間激光雷達的旋轉角度，并將平移距離及旋轉角度分別與相應的閾值進行比較，若平移距離或旋轉角度大于相應的閾值，則將該幀激光點云累積到第一次掃描的坐標系中，否則丟棄該幀激光點云：

16、（2）；

17、其中：表示相鄰兩幀激光點云之間激光雷達的平移距離，表示相鄰兩幀激光點云之間激光雷達的旋轉角度，表示平移增量，表示旋轉增量，表示矩陣的跡，表示二范數。

18、進一步，步驟s2中將激光點云投影到圖像中，生成激光強度圖像、激光深度圖像及激光索引圖像的方法如下：

19、s21：通過虛擬相機將激光點云投影到圖像中，第一次投影時虛擬相機的姿態(tài)為式（3）：

20、（3）；

21、s22：在外在參數每次迭代優(yōu)化中更新虛擬相機的姿態(tài)為當前外在參數的旋轉矩陣；

22、s23：將激光點云的反射強度賦值給投影后像素值，生成激光強度圖像，將激光點云的深度信息賦值給投影后像素值，生成激光深度圖像，激光點云對應的索引賦值給投影后的像素值，得到激光索引圖像。

23、進一步，步驟s2中采用如下方法對激光強度圖像、激光深度圖像及激光索引圖像進行圖像增強處理，得到增強激光強度圖像、增強激光深度圖像及增強激光索引圖像：

24、s24：多級膨脹核填充：先提取激光強度圖像或激光深度圖像無效像素區(qū)域掩碼，然后對激光強度圖像及激光深度圖像采用矩形膨脹核進行填充，將無效像素區(qū)域掩碼位置對應的像素復制到膨脹前的激光強度圖像或激光深度圖像中，有效像素區(qū)域像素值保持不變；

25、s25：噪聲消除及對比度增強：采用全局直方圖均衡化的方法對激光強度圖像增強對比度并突出顯示圖像細節(jié)，并用中值濾波法去除噪聲，同時保留邊緣細節(jié)，得到增強激光強度圖像，采用高斯濾波法來平滑激光深度圖像，并用伽馬校正法來增強激光深度圖像的平均亮度，得到增強激光深度圖像；

26、s26：索引圖像增強：在激光索引圖像中找到無效像素點，并以無效像素點為中心在半徑為設定像素的鄰域內由近而遠搜索，若搜索到有效像素點，則以有效像素點的索引來填充該無效像素點的索引，若搜索不到有效像素點，則該無效像素點仍為無效像素點，從而得到增強激光索引圖像。

27、進一步，步驟s3中采用如下方法將相機拍攝的視覺圖像處理為視覺強度圖像：先將視覺圖像灰度化，再將灰度化的視覺圖像進行直方圖均衡化，得到視覺強度圖像。

28、進一步，步驟s4中得到增強激光深度圖像與視覺深度圖像之間的3d到2d對應點對以及增強激光強度圖像和視覺強度圖像之間的3d到2d對應點對的過程如下：

29、s41：首先利用半密集匹配網絡進行匹配，跨模態(tài)迭代估計增強激光深度圖像與視覺深度圖像之間的2d到2d對應點對及增強激光強度圖像與視覺強度圖像之間的2d到2d對應點對，再通過增強激光索引圖像得到增強激光深度圖像與視覺深度圖像之間的3d到2d對應點對以及增強激光強度圖像和視覺強度圖像之間的3d到2d對應點對，并將相應的3d到2d對應點對分別保存至相應的增強激光深度圖像與視覺深度圖像匹配的深度對應點對集合及增強激光強度圖像與視覺強度圖像匹配的強度對應點對集合；

30、s42：在最后一次迭代中，先利用半密集匹配網絡進行匹配，再通過兩階段匹配網絡進行匹配，并將兩種匹配的輸出分別累積到增強激光深度圖像與視覺深度圖像匹配的深度對應點對集合及增強激光強度圖像與視覺強度圖像匹配的強度對應點對集合中。

31、進一步，步驟s5中采用如下方法逐步修剪增強激光深度圖像與視覺深度圖像之間的3d到2d對應點對以及增強激光強度圖像和視覺強度圖像之間的3d到2d對應點對，并最小化重投影誤差來優(yōu)化外在參數：

32、s51：使用基于?ransac?的算法從增強激光深度圖像與視覺深度圖像匹配的深度對應點對集合及增強激光強度圖像與視覺強度圖像匹配的強度對應點對集合中估計初始的外在參數；

33、s52：利用最小化重投影誤差式（4）對外在參數求解優(yōu)化：

34、(4)；

35、其中：表示增強激光深度圖像與視覺深度圖像匹配的深度對應點對集合，表示增強激光強度圖像與視覺強度圖像匹配的強度對應點對集合，表示深度對應點對集合中的深度對應點對的權重，表示柯西魯棒核函數，表示優(yōu)化后的外部旋轉參數，表示深度對應點對集合中的第個激光點云，，表示深度對應點對集合中激光點云的總個數，表示強度對應點對集合中的第個激光點云，，表示強度對應點對集合中激光點云的總個數，表示優(yōu)化后的外部平移參數，表示深度對應點對集合中的第個視覺像素點，，表示強度對應點對集合中的強度對應點對的權重，表示強度對應點對集合中第個視覺像素點，，表示二范數的平方；

36、s53：遍歷深度對應點對集合中的所有深度對應點對和強度對應點對集合中的所有強度對應點對，根據式（5）對深度對應點對及強度對應點對進行修剪，將滿足式（5）的深度對應點對及強度對應點刪除；

37、(5)；

38、其中：表示第次遞進優(yōu)化后的外部旋轉參數，表示深度對應點對集合或強度對應點對集合中的激光點云，表示第次遞進優(yōu)化后的外部平移參數，表示深度對應點對集合或強度對應點對集合中的視覺像素點，表示每一次修剪的計算重投影誤差閾值，表示最大重投影誤差的設定閾值，表示遞進優(yōu)化次數；

39、s54：將修剪后的深度對應點對及強度對應點對利用最小化重投影誤差式（4）對外在參數求解優(yōu)化；

40、s55：循環(huán)執(zhí)行步驟s53、步驟s54，直至達到設定遞進優(yōu)化次數。

41、進一步，步驟s6中利用優(yōu)化的外在參數刪除原始激光點云中相機視角下不可見的激光點云，投影保留的激光點云，生成校正后激光強度圖像、校正后激光深度圖像及校正后激光索引圖像的方法如下：

42、s61：使用當前優(yōu)化的外在參數根據式（6）將所有激光點云轉換到相機坐標系下：

43、（6）；

44、其中：為第個激光點云的在相機坐標系下的表示；

45、s62：刪除滿足下列條件之一的激光點云：刪除視場之外的激光點云；刪除投影后像素坐標超出相機視覺圖像范圍的激光點云；刪除遠場激光點云及不符合深度測試的激光點云，投影保留的激光點云，生成校正后激光強度圖像、校正后激光深度圖像及校正后激光索引圖像。

46、進一步，根據式（7）刪除視場之外的激光點云，根據式（8）刪除投影后像素坐標超出相機視覺圖像范圍的激光點云：

47、（7）；

48、（8）；

49、其中：表示第個激光點云的的坐標，表示相機視場內的激光點云與相機光心的連線和相機光軸之間的最大角度，表示二范數，表示第個激光點云投影后的像素，表示相機視覺圖像的高度，表示相機視覺圖像的寬度。

50、發(fā)明的有益效果：

51、1.本發(fā)明提供的一種激光雷達與相機外在參數校準方法，利用設計的數據積累評估準則判斷激光雷達單次采集的激光點云致密性是否滿足要求，從而僅需單次采集數據即可進行激光雷達與相機外在參數校準。

52、2.通過數據積累評估確保獲得一個足夠致密的激光點云，并致力于從一個致密點云和一幀視覺圖像中估計激光雷達和視覺相機之間的外在參數，通過對致密點云投影并進行圖像增強以獲得高質量的激光點云圖像，視覺圖像被灰度化為強度圖像并通過單目深度估計網絡生成對應的視覺深度圖像，從而在2d的視覺圖像空間中估計3d激光點云與2d視覺圖像對應點對，最后通過逐步修剪點對并最小化重投影誤差來由粗到細地優(yōu)化外在參數，每次迭代后通過刪除相機視點不可見的激光點云來校正激光強度圖像和激光深度圖像，從而得到能夠適應各種視場的激光雷達圖像。