本發(fā)明屬于傳感器設備標定，尤其設計一種三維激光雷達與相機聯(lián)合標定的動態(tài)標定方法、裝置及存儲介質。

背景技術：

1、融合使用三維激光雷達和相機兩類傳感器采集數(shù)據(jù)，能夠克服單一傳感器對三維環(huán)境探測能力不足的問題，在機載或車載設備的三維環(huán)境感知領域具有廣泛的應用前景，能夠解決避障、定位和識別跟蹤等環(huán)境感知問題。

2、同時使用三維激光雷達和相機兩類傳感器的前提條件是對兩類傳感器的外部參數(shù)進行精確的聯(lián)合標定，獲得三維激光雷達和相機的相對位置姿態(tài)參數(shù)。目前，絕大多數(shù)的聯(lián)合標定方法需要借助校準靶標物和人工選點的方式處理，導致其無法在動態(tài)的應用場景中使用。另外，由于惡劣的天氣條件、傳感器硬件老化、傳感器由于振動產生偏移等原因，三維激光雷達和相機在使用一段時間后，原有的聯(lián)合標定的相對位置姿態(tài)會發(fā)生改變，需再次標定，以此來保證高精度和高性能的異源數(shù)據(jù)融合。

3、因此亟需設計一種三維激光雷達與相機聯(lián)合標定的動態(tài)標定方法，使作業(yè)人員能夠在飛機或汽車載體運動的過程中，能夠實時的根據(jù)動態(tài)采集的數(shù)據(jù)，進行兩類傳感器的聯(lián)合標定，對于標定參數(shù)的校正具有重要意義。

技術實現(xiàn)思路

1、針對上述現(xiàn)有技術中存在的問題，本發(fā)明提出一種三維激光雷達與相機聯(lián)合標定的動態(tài)標定方法、裝置及存儲介質，以實現(xiàn)在不需要傳感器靜止采集數(shù)據(jù)和依賴外部的標定板的情況下，基于同步采集的三維點云數(shù)據(jù)和二維圖像數(shù)據(jù)，利用深度神經網(wǎng)絡模型計算標定參數(shù)的校正參數(shù)，完成對聯(lián)合標定參數(shù)的優(yōu)化校正。

2、為了實現(xiàn)上述技術目的，本發(fā)明提供如下的技術方案：

3、一種三維激光雷達與相機聯(lián)合標定的動態(tài)標定方法，其具體包括以下步驟：

4、s1、點云和圖像數(shù)據(jù)采集；使用三維激光雷達和相機同步采集數(shù)據(jù)，獲得共同觀測區(qū)域得三維點云數(shù)據(jù)和可見光二維圖像數(shù)據(jù)；

5、s2、根據(jù)三維激光雷達和相機的初始安裝矩陣參數(shù)，將三維激光雷達掃描得到的三維點云數(shù)據(jù)的坐標從在激光雷達坐標系下轉換到在相機坐標系下；

6、所述初始安裝矩陣參數(shù)由預先加工的工裝的設計圖提供，其參數(shù)包括：激光雷達坐標系到相機坐標系的相對位置姿態(tài)參數(shù)，即兩個坐標系之間的平移向量和旋轉矩陣；

7、s3、根據(jù)相機的內參數(shù)和三維點云數(shù)據(jù)在相機坐標系下的坐標，把點云投影到相平面坐標系，獲得深度圖數(shù)據(jù)；

8、s4、對步驟s3獲得的深度圖數(shù)據(jù)添加標定參數(shù)擾動數(shù)據(jù)，并與步驟s1同步采集得到的可見光二維圖像數(shù)據(jù)組成數(shù)據(jù)集；將數(shù)據(jù)集分為訓練集和測試集，訓練集用于訓練聯(lián)合標定深度神經網(wǎng)絡模型；

9、s5、步驟s4訓練好聯(lián)合標定深度神經網(wǎng)絡模型后，向其輸入測試集中的數(shù)據(jù)，通過模型得到三維激光雷達和相機的相對位置姿態(tài)的預測校正參數(shù)；所述預測校正參數(shù)包括旋轉參數(shù)校正向量和平移參數(shù)校正向量；

10、s6、使用旋轉參數(shù)校正向量和平移參數(shù)校正向量，對初始安裝矩陣參數(shù)進行校正，獲得最終的三維激光雷達和相機的相對位置姿態(tài)的校正參數(shù)，即測試過程得到的預測轉換矩陣。

11、進一步地，步驟s1中所述使用三維激光雷達和相機同步采集數(shù)據(jù)具體為：

12、將三維激光雷達和相機安裝固定在預先加工的工裝上；所述工裝根據(jù)設計圖設計，滿足兩類傳感器對相同的觀測區(qū)域進行數(shù)據(jù)采集，得到具有重疊觀測區(qū)域的三維點云數(shù)據(jù)和二維圖像數(shù)據(jù)。

13、進一步地，步驟s3具體包括：

14、s31、根據(jù)初始安裝矩陣參數(shù)得到激光雷達坐標系到相機坐標系的平移向量和旋轉矩陣；

15、s32、以三維點云數(shù)據(jù)為輸入，通過坐標轉換計算式將三維點云數(shù)據(jù)中的每個點在激光雷達坐標系下的坐標，轉換為在相機坐標系下的坐標；所述坐標轉換計算式為：

16、；

17、s33、將轉換后的坐標與相機內參數(shù)矩陣相乘，計算得到深度圖數(shù)據(jù)中的投影像素坐標；所述相機內參數(shù)矩陣包括相機的焦距、主點像素坐標；具體計算過程的公式表達為：

18、；

19、其中，代表三維點云距離相機的深度距離。

20、進一步地，步驟s4具體包括：

21、s41、使用經過高精度的聯(lián)合標定的樣本庫數(shù)據(jù)，其本身包含有準確的標定參數(shù)原始數(shù)據(jù)；對標定參數(shù)原始數(shù)據(jù)添加噪聲，即一定的旋轉和平移擾動，構建標定參數(shù)擾動數(shù)據(jù)，并分別保留標定參數(shù)原始數(shù)據(jù)和標定參數(shù)擾動數(shù)據(jù)；所述標定參數(shù)原始數(shù)據(jù)作為網(wǎng)絡模型的標定參數(shù)真值，所述標定參數(shù)擾動數(shù)據(jù)作為網(wǎng)絡模型的輸入；

22、s42、為對步驟s3獲得的深度圖數(shù)據(jù)添加標定參數(shù)擾動數(shù)據(jù)，將其與同步采集的可見光二維圖像數(shù)據(jù)組成數(shù)據(jù)集，并分為訓練集和測試集，將訓練集作為聯(lián)合標定深度神經網(wǎng)絡模型的輸入，實現(xiàn)多模態(tài)信息融合；

23、s43、利用adam優(yōu)化器，通過反向梯度算法不斷迭代優(yōu)化網(wǎng)絡參數(shù)，最小化損失函數(shù)，提高模型的準確性和魯棒性；

24、s44、在訓練過程中，持續(xù)監(jiān)控損失函數(shù)值，并在其達到最低值時，自動保存相應的網(wǎng)絡參數(shù)，以保障模型訓練的有效性與穩(wěn)定性，最終完成整個訓練過程。

25、進一步地，步驟s42中所述聯(lián)合標定深度神經網(wǎng)絡模型包括特征提取層、連接層以及全局聚合層，具體為：

26、所述特征提取層由兩個不對稱分支組成，包括rgb圖分支和深度圖分支，用于對三維激光雷達和相機采集到的數(shù)據(jù)進行處理以獲得其特征；對于rgb圖像分支，為加深網(wǎng)絡提取特征的更深層信息，采用resnet-18網(wǎng)絡的卷積層再結合四層額外的卷積層，以此實現(xiàn)輸出通道為?1024?維；對于深度圖分支，使用與?rgb?分支類似的網(wǎng)絡結構，但在每個級的過濾器數(shù)量都是上一級的一半；

27、所述連接層將rgb圖分支和深度圖分支的輸出通道數(shù)進行合并，用以整合rgb圖和深度圖信息；

28、所述全局聚合層，包括一系列額外的卷積層和全連接層，用以實現(xiàn)全局特征的聚合；整個網(wǎng)絡中的每個卷積模塊之后都有一個batchnorm層，用于加快收斂速度；最終全局聚合層解耦出6個維度的參數(shù)，包括旋轉和平移的輸出分支。

29、進一步地，步驟s43中所述損失函數(shù)由像素損失、點云距離損失、直接監(jiān)督損失三部分構成，分別具體為：

30、所述像素損失指：利用訓練過程中得到的預測轉換矩陣對點云數(shù)據(jù)進行投影，得到預測的深度圖，將其與標定參數(shù)原始數(shù)據(jù)投影得到的真實深度圖進行比較，得到的誤差；公式表示為：

31、；

32、其中，是真實深度圖，是帶有標定錯誤的預測的深度圖，k是相機內參矩陣，是預測轉換矩陣，是深度圖到點云的映射；

33、所述點云距離損失指：通過比較沒有擾動和加入擾動的點云數(shù)據(jù)，并將chamfer?distance倒角距離作為點云距離損失的距離度量；兩組點云和之間的chamfer?distance定義為兩組點云之間最近點的距離的平方和，公式表達為：

34、；

35、其中，x，y為兩組點云之間的一對最近點；

36、所述直接監(jiān)督損失指：通過使用自監(jiān)督學習的訓練方法，用于訓練的標定參數(shù)擾動數(shù)據(jù)包含有對標定參數(shù)原始數(shù)據(jù)添加的旋轉和平移擾動誤差向量，且聯(lián)合標定深度神經網(wǎng)絡的輸出為旋轉參數(shù)校正向量和平移參數(shù)校正向量；將校正向量與擾動誤差向量相比較，可得到公式表達為：

37、；

38、其中，和表示網(wǎng)絡訓練過程中得到的預測旋轉參數(shù)校正向量和平移參數(shù)校正向量，和表示人工加入的旋轉參數(shù)擾動向量和平移參數(shù)擾動向量。

39、進一步地，步驟s6具體為：

40、使用經步驟s5網(wǎng)絡模型測試過程得到的旋轉參數(shù)校正向量和平移參數(shù)校正向量，對初始安裝矩陣參數(shù)進行校正，將旋轉參數(shù)校正向量和平移參數(shù)校正向量通過se(3)層轉換為校正矩陣參數(shù)；所述se(3)層轉換的過程為：旋轉參數(shù)校正向量通過指數(shù)映射的方法轉換為旋轉矩陣，再結合平移參數(shù)校正向量，得到校正矩陣參數(shù)，其公式表達如下：

41、；

42、將校正矩陣參數(shù)與初始安裝矩陣參數(shù)相乘，獲得最終的三維激光雷達和相機的相對位置姿態(tài)的校正參數(shù)，即有預測轉換矩陣。

43、本發(fā)明還提供一種裝置設備，包括存儲器和處理器，其中：

44、存儲器，用于存儲能夠在處理器上運行的計算機程序；

45、處理器，用于在運行所述計算機程序時，執(zhí)行如上所述的三維激光雷達與相機聯(lián)合標定的動態(tài)標定方法。

46、此外，根據(jù)上述裝置設備，本發(fā)明還提供一種計算機可讀存儲介質，其存儲有計算機指令，所述計算機指令用于使處理器執(zhí)行時實現(xiàn)如上述的三維激光雷達與相機聯(lián)合標定的動態(tài)標定方法。

47、基于上述的技術方案，本發(fā)明具有以下有益效果：

48、與現(xiàn)有技術相比，本發(fā)明選擇基于聯(lián)合標定深度神經網(wǎng)絡的方式來進行聯(lián)合標定，具有成本低、速度快、無需人工干預的特點；同時，所設計的方法與傳統(tǒng)聯(lián)合標定方法不同，不依賴于場景中的靶標物等特殊目標，從而可以實現(xiàn)真正的動態(tài)聯(lián)合標定。