本發(fā)明涉及感知數據處理，尤其涉及一種雷視數據動態(tài)融合方法、裝置、雷視一體機及存儲介質。

背景技術：

1、雷達和視頻數據的融合是一個過程復雜的任務，需要確保融合的精確性和有效性。由于雷達和視覺傳感器的探測范圍存在差異，為保證數據融合效果，雷視探測系統中通常在每個方向設置一組雷達，每組雷達包括一個主雷達和一個補盲雷達，以實現無盲區(qū)探測。在增設補盲雷達后，還需要先對主雷達和補盲雷達探測數據融合，再進行雷視數據融合。

2、然而，雷達設備的工作位置和探測角度可能會因為實際應用場景進行調整，或是在使用過程中發(fā)生變化。一旦雷達的位置或角度發(fā)生變化，原有的融合參數就不再適用，需要人工進行參數調整和標定，才可準確檢測出目標，導致雷視數據融合效果不穩(wěn)定。

技術實現思路

1、本發(fā)明實施例提供了一種雷視數據動態(tài)融合方法、裝置、雷視一體機及存儲介質，以解決雷視數據融合效果不穩(wěn)定的問題。

2、第一方面，本發(fā)明實施例提供了一種雷視數據動態(tài)融合方法，應用于雷視感知系統，該系統包括視覺設備和至少一組探測雷達，每組探測雷達包括主雷達、補盲雷達；該方法包括：

3、基于每個主雷達的位姿變化信息確定該主雷達的坐標轉換矩陣；

4、基于每個主雷達的坐標轉換矩陣，將該主雷達采集的點云數據的坐標轉換至該主雷達對應的補盲雷達所在的雷達坐標系，得到坐標轉換后的點云數據；

5、針對每組探測雷達，對坐標轉換后的點云數據和補盲雷達采集的點云數據進行聚類，得到該組探測雷達的雷達目標信息；

6、對各組探測雷達的雷達目標信息和視覺設備采集的視覺目標信息進行雷視數據融合，以進行目標跟蹤。

7、在一種可能的實現方式中，位姿變化信息包括俯仰角度變化量、水平角度變化量和位置變化量；

8、基于每個主雷達的位姿變化信息確定該主雷達的坐標轉換矩陣，包括：

9、獲取第一主雷達的初始位姿對應的初始坐標轉換矩陣；其中，第一主雷達為任一主雷達；

10、基于第一主雷達的俯仰角度變化量和水平角度變化量對初始坐標轉換矩陣的旋轉角度進行調節(jié)，基于位置變化量對初始坐標轉換矩陣的平移量進行調節(jié)，得到第一主雷達的坐標轉換矩陣。

11、在一種可能的實現方式中，在針對每組探測雷達，對坐標轉換后的點云數據和補盲雷達采集的點云數據進行聚類之前，還包括：

12、針對每組探測雷達，基于該組探測雷達中主雷達的位姿變化信息，確定該組探測雷達中主雷達與補盲雷達的探測區(qū)域的重疊部分，并作為該組探測雷達的重疊區(qū)域；

13、對每組探測雷達的重疊區(qū)域內的點云數據進行去重，以對去重后的點云數據進行聚類。

14、在一種可能的實現方式中，針對每組探測雷達，基于該組探測雷達中主雷達的位姿變化信息，確定該組探測雷達中主雷達與補盲雷達的探測區(qū)域的重疊部分，并作為該組探測雷達的重疊區(qū)域，包括：

15、獲取第一主雷達的初始位姿對應的探測區(qū)域；

16、基于第一主雷達的位姿變化信息確定第一主雷達在位姿變化后的探測區(qū)域；

17、基于第一主雷達在位姿變化后的探測區(qū)域和第一補盲雷達的探測區(qū)域，確定第一組探測雷達中主雷達與補盲雷達的探測區(qū)域的重疊部分；其中，第一主雷達和第一補盲雷達分別為第一組探測雷達中的主雷達和補盲雷達，第一組探測雷達為任一組探測雷達。

18、在一種可能的實現方式中，對每組探測雷達的重疊區(qū)域內的點云數據進行去重，包括：

19、去除每組探測雷達的重疊區(qū)域內補盲雷達采集的點云數據。

20、在一種可能的實現方式中，對各組探測雷達的雷達目標信息和視覺設備采集的視覺目標信息進行雷視數據融合，包括：

21、基于各組探測雷達的雷達坐標系和視覺設備的視覺坐標系，對各組探測雷達的雷達目標信息和視覺設備采集的視覺目標信息進行坐標轉換、區(qū)域拼接和身份合并，得到融合目標信息。

22、在一種可能的實現方式中，在針對每組探測雷達，對坐標轉換后的點云數據和補盲雷達采集的點云數據進行聚類，得到該組探測雷達的雷達目標信息之前，還包括：

23、對各點云數據進行野值剔除，以基于剔除野值后的點云數據進行坐標轉換和聚類。

24、第二方面，本發(fā)明實施例提供了一種雷視數據動態(tài)融合裝置，應用于雷視感知系統，該系統包括視覺設備和至少一組探測雷達，每組探測雷達包括主雷達、補盲雷達；該裝置包括：

25、矩陣構建模塊，用于基于每個主雷達的位姿變化信息確定該主雷達的坐標轉換矩陣；

26、坐標轉換模塊，用于基于每個主雷達的坐標轉換矩陣，將該主雷達采集的點云數據的坐標轉換至該主雷達對應的補盲雷達所在的雷達坐標系，得到坐標轉換后的點云數據；

27、第一融合模塊，用于針對每組探測雷達，對坐標轉換后的點云數據和補盲雷達采集的點云數據進行聚類，得到該組探測雷達的雷達目標信息；

28、第二融合模塊，用于對各組探測雷達的雷達目標信息和視覺設備采集的視覺目標信息進行雷視數據融合，以進行目標跟蹤。

29、第三方面，本發(fā)明實施例提供了一種雷視一體機，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現如上第一方面或第一方面的任一種可能的實現方式所述方法的步驟。

30、第四方面，本發(fā)明實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現如上第一方面或第一方面的任一種可能的實現方式所述方法的步驟。

31、本發(fā)明實施例提供一種雷視數據動態(tài)融合方法、裝置、雷視一體機及存儲介質，在只有主雷達的位姿可調節(jié)的基礎上，通過主雷達的位姿變化信息確定主雷達的坐標轉換矩陣，并將主雷達的點云數據轉換至補盲雷達所在的雷達坐標系，實現主雷達和補盲雷達探測區(qū)域的拼接，實現原始數據層面的數據融合，然后將各組主雷達和補盲雷達采集的點云數據進行聚類以得到雷達目標的結構化信息，聚類結果不受到主雷達位姿變化的影響，具有更好的準確性，從而提高后續(xù)雷視數據融合的效果。相比于分別對主雷達和補盲雷達的點云數據聚類得到各自雷達目標的結構化信息后，再進行融合，具有更簡單快捷的處理效果。

技術特征：

1.一種雷視數據動態(tài)融合方法，其特征在于，應用于雷視感知系統，所述系統包括視覺設備和至少一組探測雷達，每組探測雷達包括主雷達、補盲雷達；所述方法包括：

2.根據權利要求1所述的雷視數據動態(tài)融合方法，其特征在于，位姿變化信息包括俯仰角度變化量、水平角度變化量和位置變化量；

3.根據權利要求1所述的雷視數據動態(tài)融合方法，其特征在于，在所述針對每組探測雷達，對坐標轉換后的點云數據和所述補盲雷達采集的點云數據進行聚類之前，還包括：

4.根據權利要求3所述的雷視數據動態(tài)融合方法，其特征在于，所述針對每組探測雷達，基于該組探測雷達中主雷達的位姿變化信息，確定該組探測雷達中主雷達與補盲雷達的探測區(qū)域的重疊部分，并作為該組探測雷達的重疊區(qū)域，包括：

5.根據權利要求3所述的雷視數據動態(tài)融合方法，其特征在于，所述對每組探測雷達的重疊區(qū)域內的點云數據進行去重，包括：

6.根據權利要求1所述的雷視數據動態(tài)融合方法，其特征在于，所述對各組探測雷達的雷達目標信息和所述視覺設備采集的視覺目標信息進行雷視數據融合，包括：

7.根據權利要求1所述的雷視數據動態(tài)融合方法，其特征在于，在所述針對每組探測雷達，對坐標轉換后的點云數據和所述補盲雷達采集的點云數據進行聚類，得到該組探測雷達的雷達目標信息之前，還包括：

8.一種雷視數據動態(tài)融合裝置，其特征在于，應用于雷視感知系統，所述系統包括視覺設備和至少一組探測雷達，每組探測雷達包括主雷達、補盲雷達；所述裝置包括：

9.一種雷視一體機，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現如上的權利要求1至7中任一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現如上的權利要求1至7中任一項所述方法的步驟。

技術總結
本發(fā)明提供一種雷視數據動態(tài)融合方法、裝置、雷視一體機及存儲介質。應用于雷視感知系統，該系統包括視覺設備和至少一組探測雷達，每組探測雷達包括主雷達、補盲雷達；該方法包括：基于每個主雷達的位姿變化信息確定該主雷達的坐標轉換矩陣；基于每個主雷達的坐標轉換矩陣，將該主雷達采集的點云數據的坐標轉換至該主雷達對應的補盲雷達所在的雷達坐標系，得到坐標轉換后的點云數據；針對每組探測雷達，對坐標轉換后的點云數據和補盲雷達采集的點云數據進行聚類，得到該組探測雷達的雷達目標信息；對各組探測雷達的雷達目標信息和視覺設備采集的視覺目標信息進行雷視數據融合，以進行目標跟蹤。本發(fā)明能夠使雷視數據融合結果具有更好的準確性。

技術研發(fā)人員：馮保國
受保護的技術使用者：河北德冠隆電子科技有限公司
技術研發(fā)日：
技術公布日：2025/1/6