本公開一個或多個實施例涉及數(shù)據(jù)處理，尤其涉及一種點云與圖像像素的時空對齊方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、點云與圖像像素的時空對齊技術(shù)可以確保激光雷達采集的點云數(shù)據(jù)和相機拍攝的圖像數(shù)據(jù)在空間和時間上精確匹配，這種技術(shù)能充分利用點云數(shù)據(jù)提供的精確三維幾何信息和圖像數(shù)據(jù)提供的豐富紋理與顏色信息，增強傳感器數(shù)據(jù)的互補性，提高場景理解、激光與圖像聯(lián)合使用的準(zhǔn)確性和魯棒性。

2、傳統(tǒng)上，時空對齊依賴于硬件時鐘同步，通過觸發(fā)式同時采集點云和圖像，以確保兩傳感器的采集時間一致。但由于點云和圖像的采集頻率可能不同，研究者又開發(fā)了后處理的軟同步方法，該方法利用軟件算法，基于點云的時間戳找到最接近的圖像幀，使用插幀等方式實現(xiàn)幀對齊等，從而實現(xiàn)時空對齊。

3、然而，軟同步方法借助第三方芯片供應(yīng)商提供的估算數(shù)據(jù)，如相機快門觸發(fā)時刻和曝光時長。當(dāng)?shù)谌叫酒?yīng)商提供的數(shù)據(jù)為估算而非精確測量值時，會導(dǎo)致實際應(yīng)用中存在時間偏差，加上不同類型的激光雷達具有不同的激光掃描特性，掃描點云的時間戳不同，會造成最終時空對齊精確度上存在局限，難以完全滿足高精度應(yīng)用的需求。

技術(shù)實現(xiàn)思路

1、本公開提供一種點云與圖像像素的時空對齊方法，所述方法包括：

2、采集激光雷達掃描周圍環(huán)境得到的點云的時間戳；

3、調(diào)用控制相機拍攝圖像的底層軟件接口，以抓取相機快門觸發(fā)開始采集圖像至最終生成圖像這個過程中，相機快門觸發(fā)時刻和實際曝光時長；其中，在所述曝光時長結(jié)束后，相機采集到原始圖像數(shù)據(jù)；

4、根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置；

5、將插值計算后的點云與圖像像素進行融合，得到時空對齊后的點云與圖像像素。

6、可選的，所述方法還包括：

7、將所述激光雷達完成一次完整掃描的時間周期分為多個子時間段，每個子時間段對應(yīng)激光雷達掃描時序不同的相鄰兩束點云之間的時間間隔；

8、所述根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置，包括：

9、根據(jù)所述相機快門觸發(fā)時刻和所述曝光時長，確定相機曝光完成時刻；

10、在覆蓋所述相機曝光完成時刻的子時間段內(nèi)，根據(jù)該子時間段內(nèi)對應(yīng)相鄰兩束點云的時間戳和所述相機曝光完成時刻，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置。

11、可選的，所述激光雷達為機械旋轉(zhuǎn)激光雷達，其掃描方向為縱向陣列掃描，所述將激光雷達完成一次完整掃描的時間周期分為多個子時間段，每個子時間段對應(yīng)激光雷達掃描時序不同的相鄰兩束點云之間的時間間隔，包括：

12、將機械旋轉(zhuǎn)激光雷達完成一次周圍環(huán)境的完整掃描，得到完成掃描的時間周期和掃描得到的多條縱向陣列，每條縱向陣列上包含若干個所述機械旋轉(zhuǎn)激光雷達采集到的點云；

13、根據(jù)得到的所述多條縱向陣列，將所述完成掃描的時間周期分為多個子時間段，每個子時間段對應(yīng)機械旋轉(zhuǎn)激光雷達掃描時序不同的相鄰兩條縱向陣列中，兩條縱向陣列各自采集到的點云之間的時間間隔；

14、其中，不同縱向陣列上包含的點云具有不同的掃描時序，一條縱向陣列上包含的全部點云具有相同的掃描時序。

15、可選的，所述激光雷達為混合固態(tài)激光雷達，其掃描方向為橫向陣列掃描，所述將激光雷達完成一次完整掃描的時間周期分為多個子時間段，每個子時間段對應(yīng)激光雷達掃描時序不同的相鄰兩束點云之間的時間間隔，包括：

16、將混合固態(tài)激光雷達進行一次周圍環(huán)境的完整掃描，得到完成掃描的時間周期和掃描得到的多條橫向陣列，每條橫向陣列上包含若干個所述混合固態(tài)激光雷達采集到的點云；

17、根據(jù)得到的所述多條橫向陣列，將所述完成掃描的時間周期分為多個子時間段，每個子時間段對應(yīng)混合固態(tài)激光雷達掃描時序不同的相鄰兩條橫向陣列中，兩條橫向陣列各自采集到的點云之間的時間間隔；

18、其中，不同橫向陣列上包含的點云具有不同的掃描時序，一條橫向陣列上包含的全部點云具有相同的掃描時序。

19、可選的，所述方法還包括：

20、根據(jù)激光雷達和相機的設(shè)置位置、設(shè)置角度、視場角和相機快門觸發(fā)開始采集圖像的時刻，篩選出激光雷達掃描周圍環(huán)境得到的點云中，位于相機采集圖像所覆蓋范圍內(nèi)，且時間戳不早于所述相機快門觸發(fā)開始采集圖像時刻的點云；

21、所述根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置，包括：

22、根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將篩選出的點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置。

23、可選的，所述方法還包括：

24、在相機采集到的原始圖像中檢測出感興趣的目標(biāo)區(qū)域，并在所述目標(biāo)區(qū)域中確定中心線；

25、采集所述激光雷達掃描至所述中心線對應(yīng)物理位置時的時間戳；

26、根據(jù)所述激光雷達的掃描頻率、掃描線束和所述激光雷達掃描至所述中心線對應(yīng)物理位置時的時間戳，確定所述激光雷達掃描至所述目標(biāo)區(qū)域內(nèi)的點云的時間戳；

27、根據(jù)所述激光雷達掃描至所述目標(biāo)區(qū)域內(nèi)的點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將所述目標(biāo)區(qū)域內(nèi)的點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的所述目標(biāo)區(qū)域內(nèi)的點云的位置。

28、可選的，所述方法還包括：

29、通過大模型分析相機采集的圖像，以得到圖像中感興趣的目標(biāo)以及所述目標(biāo)的運動屬性，所述運動屬性包括尺寸、運動速度、運動加速度和運動方向；

30、根據(jù)所述目標(biāo)的運動屬性，計算速度插值補償參數(shù)，以調(diào)整激光雷達掃描周圍環(huán)境得到的點云位置；

31、所述根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置，包括：

32、根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將調(diào)整后的點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置。

33、本公開還提供一種點云與圖像像素的時空對齊裝置，所述裝置包括：

34、采集單元，用于采集激光雷達掃描周圍環(huán)境得到的點云的時間戳；

35、抓取單元，用于調(diào)用控制相機拍攝圖像的底層軟件接口，以抓取相機快門觸發(fā)開始采集圖像至最終生成圖像這個過程中，相機快門觸發(fā)時刻和實際曝光時長；其中，在所述曝光時長結(jié)束后，相機采集到原始圖像數(shù)據(jù)；

36、插值單元，用于根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和所述曝光時長，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置；

37、融合單元，用于將插值計算后的點云與圖像像素進行融合，得到時空對齊后的點云與圖像像素。

38、本公開還提供一種電子設(shè)備，包括通信接口、處理器、存儲器和總線，所述通信接口、所述處理器和所述存儲器之間通過總線相互連接；

39、所述存儲器中存儲機器可讀指令，所述處理器通過調(diào)用所述機器可讀指令，執(zhí)行上述方法。

40、本公開還提供一種機器可讀存儲介質(zhì)，所述機器可讀存儲介質(zhì)存儲有機器可讀指令，所述機器可讀指令在被處理器調(diào)用和執(zhí)行時，實現(xiàn)上述方法。

41、通過本公開的實施例，首先采集激光雷達掃描周圍環(huán)境得到的點云的時間戳；調(diào)用控制相機拍攝圖像的底層軟件接口，以抓取相機快門觸發(fā)開始采集圖像至最終生成圖像這個過程中，相機快門觸發(fā)時刻和實際曝光時長；其中，在所述曝光時長結(jié)束后，相機采集到原始圖像數(shù)據(jù)；進一步地，根據(jù)所述點云的時間戳、所述相機快門觸發(fā)時刻和實際曝光時長，將所述點云與圖像像素進行插值計算，以估計相機曝光完成時刻對應(yīng)的點云位置；最后，將插值計算后的點云與圖像像素進行融合，得到時空對齊后的點云與圖像像素。

42、通過以上方式，本公開的技術(shù)方案通過直接訪問底層軟件接口，能夠精確采集相機快門觸發(fā)的確切時刻和曝光過程的實際持續(xù)時長，從而打破了過去由第三方芯片供應(yīng)商主導(dǎo)的局面。這些供應(yīng)商出于商業(yè)機密的考慮，通常只提供基于估算的快門啟動時間和曝光周期信息。采用本公開的技術(shù)方案后，可以獲得更準(zhǔn)確的時間數(shù)據(jù)，這對于需要高精度時間同步的應(yīng)用場景，如自動駕駛、三維重建或增強現(xiàn)實等高級圖像處理領(lǐng)域尤為重要。尤其是在點云與二維圖像像素融合時，確保兩者間時間戳的高度一致性是實現(xiàn)高質(zhì)量結(jié)果的關(guān)鍵因素之一。利用真實且精準(zhǔn)的快門觸發(fā)時刻和曝光時長數(shù)據(jù)進行點云和圖像像素的時空對齊，可以顯著提升最終輸出成果的質(zhì)量，相比于依賴于估計值的傳統(tǒng)做法，這種方法精確度更高，能夠顯著減小甚至消除因時間偏差所引起的各種誤差，從而讓生成的三維模型或增強現(xiàn)實畫面看起來更加自然流暢，并且在細(xì)節(jié)表現(xiàn)上也更為豐富細(xì)膩。