本公開涉及計(jì)算機(jī)，尤其涉及自動(dòng)駕駛、自動(dòng)駕駛仿真、激光雷達(dá)。

背景技術(shù)：

1、自動(dòng)駕駛仿真在自動(dòng)駕駛技術(shù)的發(fā)展中至關(guān)重要，它允許工程師在安全、可控的虛擬環(huán)境中測(cè)試和驗(yàn)證自動(dòng)駕駛系統(tǒng)，從而識(shí)別和修正潛在問題，優(yōu)化算法，并大幅降低實(shí)際道路測(cè)試的風(fēng)險(xiǎn)和成本，加速技術(shù)研發(fā)進(jìn)程，提高自動(dòng)駕駛系統(tǒng)的安全性和可靠性。其中，激光雷達(dá)仿真是自動(dòng)駕駛仿真系統(tǒng)中的一個(gè)重要組成部分，目前大部分激光雷達(dá)仿真算法都無(wú)法模擬真實(shí)雷達(dá)的反射強(qiáng)度和光線回落(raydrop)現(xiàn)象，極大地影響激光雷達(dá)仿真的真實(shí)度。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了激光雷達(dá)仿真方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)。

2、根據(jù)本公開的一方面，提供了一種激光雷達(dá)仿真方法，包括：

3、獲取場(chǎng)景圖像、以及該場(chǎng)景圖像對(duì)應(yīng)的仿真點(diǎn)云的位置信息和物體標(biāo)注信息；

4、基于該場(chǎng)景圖像，對(duì)該仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度和光線回落現(xiàn)象進(jìn)行第一預(yù)測(cè)；并且，基于該位置信息和物體標(biāo)注信息，對(duì)該仿真點(diǎn)云中對(duì)應(yīng)第一物體的各個(gè)點(diǎn)的反射強(qiáng)度進(jìn)行第二預(yù)測(cè)；

5、根據(jù)第一預(yù)測(cè)的結(jié)果和第二預(yù)測(cè)的結(jié)果，確定該仿真點(diǎn)云的強(qiáng)度信息和光線回落現(xiàn)象。

6、根據(jù)本公開的另一方面，提供了一種激光雷達(dá)仿真方法，包括：

7、將場(chǎng)景圖像輸入預(yù)先訓(xùn)練的預(yù)測(cè)模型，由該預(yù)測(cè)模型輸出仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果；

8、其中，該光線回落現(xiàn)象的預(yù)測(cè)結(jié)果包括，點(diǎn)存在光線回落現(xiàn)象或不存在光線回落現(xiàn)象。

9、根據(jù)本公開的另一方面，提供了一種預(yù)測(cè)模型的訓(xùn)練方法，包括：

10、確定場(chǎng)景圖像樣本和點(diǎn)云樣本；

11、將該場(chǎng)景圖像樣本輸入待訓(xùn)練的預(yù)測(cè)模型，由該待訓(xùn)練的預(yù)測(cè)模型輸出仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果；其中，該光線回落現(xiàn)象的預(yù)測(cè)結(jié)果包括，點(diǎn)存在光線回落現(xiàn)象或不存在光線回落現(xiàn)象；

12、利用各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果、以及點(diǎn)云樣本計(jì)算損失函數(shù)；

13、基于該損失函數(shù)對(duì)待訓(xùn)練的預(yù)測(cè)模型的參數(shù)進(jìn)行調(diào)整。

14、根據(jù)本公開的另一方面，提供了一種激光雷達(dá)仿真方法，包括：

15、獲取仿真點(diǎn)云的位置信息和物體標(biāo)注信息；該物體標(biāo)注信息包括仿真點(diǎn)云中的點(diǎn)對(duì)應(yīng)的物體及物體材質(zhì)；該物體對(duì)應(yīng)至少一種物體材質(zhì)；

16、基于該物體標(biāo)注信息，確定仿真點(diǎn)云中對(duì)應(yīng)第一物體的點(diǎn)，并確定該點(diǎn)對(duì)應(yīng)的第一物體的物體材質(zhì)；

17、查找第一物體和物體材質(zhì)對(duì)應(yīng)的表達(dá)式；

18、根據(jù)對(duì)應(yīng)第一物體的點(diǎn)的位置信息和表達(dá)式，預(yù)測(cè)對(duì)應(yīng)第一物體的點(diǎn)的反射強(qiáng)度。

19、根據(jù)本公開的另一方面，提供了一種激光雷達(dá)仿真裝置，包括：

20、第一獲取模塊，用于獲取場(chǎng)景圖像、以及該場(chǎng)景圖像對(duì)應(yīng)的仿真點(diǎn)云的位置信息和物體標(biāo)注信息；

21、第一預(yù)測(cè)模塊，用于基于該場(chǎng)景圖像，對(duì)該仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度和光線回落現(xiàn)象進(jìn)行第一預(yù)測(cè)；

22、第二預(yù)測(cè)模塊，用于基于該位置信息和物體標(biāo)注信息，對(duì)該仿真點(diǎn)云中對(duì)應(yīng)第一物體的各個(gè)點(diǎn)的反射強(qiáng)度進(jìn)行第二預(yù)測(cè)；

23、第一確定模塊，用于根據(jù)第一預(yù)測(cè)的結(jié)果和第二預(yù)測(cè)的結(jié)果，確定該仿真點(diǎn)云的強(qiáng)度信息和光線回落現(xiàn)象。

24、根據(jù)本公開的另一方面，提供了一種激光雷達(dá)仿真裝置，包括：

25、第一輸入模塊，用于將場(chǎng)景圖像輸入預(yù)先訓(xùn)練的預(yù)測(cè)模型，由該預(yù)測(cè)模型輸出仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果；

26、其中，該光線回落現(xiàn)象的預(yù)測(cè)結(jié)果包括，點(diǎn)存在光線回落現(xiàn)象或不存在光線回落現(xiàn)象。

27、根據(jù)本公開的另一方面，提供了一種預(yù)測(cè)模型的訓(xùn)練裝置，包括：

28、第三確定模塊，用于確定場(chǎng)景圖像樣本和點(diǎn)云樣本；

29、第二輸入模塊，用于將該場(chǎng)景圖像樣本輸入待訓(xùn)練的預(yù)測(cè)模型，由該待訓(xùn)練的預(yù)測(cè)模型輸出仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果；其中，該光線回落現(xiàn)象的預(yù)測(cè)結(jié)果包括，點(diǎn)存在光線回落現(xiàn)象或不存在光線回落現(xiàn)象；

30、調(diào)整模塊，用于利用各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果、以及點(diǎn)云樣本計(jì)算損失函數(shù)；并基于該損失函數(shù)對(duì)待訓(xùn)練的預(yù)測(cè)模型的參數(shù)進(jìn)行調(diào)整。

31、根據(jù)本公開的另一方面，提供了一種激光雷達(dá)仿真裝置，包括：

32、第二獲取模塊，用于獲取仿真點(diǎn)云的位置信息和物體標(biāo)注信息；該物體標(biāo)注信息包括仿真點(diǎn)云中的點(diǎn)對(duì)應(yīng)的物體及物體材質(zhì)；該物體對(duì)應(yīng)至少一種物體材質(zhì)；

33、第四確定模塊，用于基于該物體標(biāo)注信息，確定仿真點(diǎn)云中對(duì)應(yīng)第一物體的點(diǎn)，并確定該點(diǎn)對(duì)應(yīng)的第一物體的物體材質(zhì)；

34、第三預(yù)測(cè)模塊，用于查找該第一物體和物體材質(zhì)對(duì)應(yīng)的表達(dá)式；并根據(jù)對(duì)應(yīng)第一物體的點(diǎn)的位置信息和表達(dá)式，預(yù)測(cè)對(duì)應(yīng)第一物體的點(diǎn)的反射強(qiáng)度。

35、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：

36、至少一個(gè)處理器；以及

37、與該至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

38、該存儲(chǔ)器存儲(chǔ)有可被該至少一個(gè)處理器執(zhí)行的指令，該指令被該至少一個(gè)處理器執(zhí)行，以使該至少一個(gè)處理器能夠執(zhí)行本公開實(shí)施例中任一的方法。

39、根據(jù)本公開的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，該計(jì)算機(jī)指令用于使該計(jì)算機(jī)執(zhí)行根據(jù)本公開實(shí)施例中任一的方法。

40、根據(jù)本公開的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開實(shí)施例中任一的方法。

41、本公開提出的激光雷達(dá)仿真方法，能夠利用場(chǎng)景數(shù)據(jù)和對(duì)應(yīng)的仿真點(diǎn)云，進(jìn)行仿真點(diǎn)云的反射強(qiáng)度及光線回落現(xiàn)象的模擬和仿真，提高仿真的真實(shí)度。

42、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說(shuō)明書而變得容易理解。

技術(shù)特征：

1.一種激光雷達(dá)仿真方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述場(chǎng)景圖像，對(duì)所述仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度和光線回落現(xiàn)象進(jìn)行第一預(yù)測(cè)，包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，

4.根據(jù)權(quán)利要求3所述的方法，其中，在所述預(yù)先訓(xùn)練的預(yù)測(cè)模型的單個(gè)所述層中：

5.根據(jù)權(quán)利要求1所述的方法，其中，所述物體標(biāo)注信息包括所述仿真點(diǎn)云中的點(diǎn)對(duì)應(yīng)的物體及物體材質(zhì)；所述物體對(duì)應(yīng)至少一種物體材質(zhì)；

6.根據(jù)權(quán)利要求5所述的方法，還包括：

7.根據(jù)權(quán)利要求6所述的方法，其中，確定所述表達(dá)式的方式包括：

8.根據(jù)權(quán)利要求7所述的方法，其中，所述基于所述多個(gè)類簇，確定所述表達(dá)式，包括：

9.根據(jù)權(quán)利要求1-8中任一所述的方法，其中，所述根據(jù)所述第一預(yù)測(cè)的結(jié)果和所述第二預(yù)測(cè)的結(jié)果，確定所述仿真點(diǎn)云的強(qiáng)度信息和光線回落現(xiàn)象，包括：

10.一種激光雷達(dá)仿真方法，包括：

11.根據(jù)權(quán)利要求10所述的方法，其中，

12.根據(jù)權(quán)利要求11所述的方法，其中，在所述預(yù)先訓(xùn)練的預(yù)測(cè)模型的單個(gè)所述層中：

13.一種預(yù)測(cè)模型的訓(xùn)練方法，包括：

14.根據(jù)權(quán)利要求13所述的方法，其中，所述點(diǎn)云樣本中包含點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的實(shí)際結(jié)果和光線回落現(xiàn)象的估計(jì)結(jié)果。

15.根據(jù)權(quán)利要求14所述的方法，其中，確定所述點(diǎn)云樣本中各個(gè)點(diǎn)的光線回落現(xiàn)象的估計(jì)結(jié)果的方式包括：

16.根據(jù)權(quán)利要求13-15中任一所述的方法，其中，所述待訓(xùn)練的預(yù)測(cè)模型包括多個(gè)依次連接的層，每個(gè)所述層包括編碼模塊、門控模塊、轉(zhuǎn)換模塊和解碼模塊；其中，

17.根據(jù)權(quán)利要求16所述的方法，其中，在所述待訓(xùn)練的預(yù)測(cè)模型的單個(gè)所述層中：

18.一種激光雷達(dá)仿真方法，包括：

19.根據(jù)權(quán)利要求18所述的方法，還包括：

20.根據(jù)權(quán)利要求19所述的方法，其中，確定所述表達(dá)式包括：

21.根據(jù)權(quán)利要求20所述的方法，其中，所述基于所述多個(gè)類簇，確定所述表達(dá)式，包括：

22.一種激光雷達(dá)仿真裝置，包括：

23.根據(jù)權(quán)利要求22所述的裝置，其中，所述第一預(yù)測(cè)模塊，用于將所述場(chǎng)景圖像輸入預(yù)先訓(xùn)練的預(yù)測(cè)模型，由所述預(yù)測(cè)模型輸出所述仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的預(yù)測(cè)結(jié)果和光線回落現(xiàn)象的預(yù)測(cè)結(jié)果；

24.根據(jù)權(quán)利要求23所述的裝置，其中，

25.根據(jù)權(quán)利要求24所述的裝置，其中，在所述預(yù)先訓(xùn)練的預(yù)測(cè)模型的單個(gè)所述層中：

26.根據(jù)權(quán)利要求22所述的裝置，其中，所述物體標(biāo)注信息包括所述仿真點(diǎn)云中的點(diǎn)對(duì)應(yīng)的物體及物體材質(zhì)；所述物體對(duì)應(yīng)至少一種物體材質(zhì)；

27.根據(jù)權(quán)利要求26所述的裝置，還包括：

28.根據(jù)權(quán)利要求27所述的裝置，其中，所述第二確定模塊用于：

29.根據(jù)權(quán)利要求28所述的裝置，其中，所述第二確定模塊用于：

30.根據(jù)權(quán)利要求22-29中任一所述的裝置，其中，所述第一確定模塊用于：

31.一種激光雷達(dá)仿真裝置，包括：

32.根據(jù)權(quán)利要求31所述的裝置，其中，所述預(yù)先訓(xùn)練的預(yù)測(cè)模型包括多個(gè)依次連接的層，每個(gè)所述層包括編碼模塊、門控模塊、轉(zhuǎn)換模塊和解碼模塊；其中，

33.根據(jù)權(quán)利要求32所述的裝置，其中，在所述預(yù)先訓(xùn)練的預(yù)測(cè)模型的單個(gè)所述層中：

34.一種預(yù)測(cè)模型的訓(xùn)練裝置，包括：

35.根據(jù)權(quán)利要求34所述的裝置，其中，所述點(diǎn)云樣本中包含點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度的實(shí)際結(jié)果和光線回落現(xiàn)象的估計(jì)結(jié)果。

36.根據(jù)權(quán)利要求35所述的裝置，其中，所述第三確定模塊確定所述點(diǎn)云樣本中各個(gè)點(diǎn)的光線回落現(xiàn)象的估計(jì)結(jié)果的方式包括：

37.根據(jù)權(quán)利要求34-36中任一所述的裝置，其中，所述待訓(xùn)練的預(yù)測(cè)模型包括多個(gè)依次連接的層，每個(gè)所述層包括編碼模塊、門控模塊、轉(zhuǎn)換模塊和解碼模塊；其中，

38.根據(jù)權(quán)利要求37所述的裝置，其中，在所述待訓(xùn)練的預(yù)測(cè)模型的單個(gè)所述層中：

39.一種激光雷達(dá)仿真裝置，包括：

40.根據(jù)權(quán)利要求39所述的裝置，還包括：

41.根據(jù)權(quán)利要求40所述的裝置，其中，所述第五確定模塊用于：

42.根據(jù)權(quán)利要求41所述的裝置，其中，所述第五確定模塊用于：

43.一種電子設(shè)備，包括：

44.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1-21中任一項(xiàng)所述的方法。

45.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-21中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供了激光雷達(dá)仿真方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及自動(dòng)駕駛、自動(dòng)駕駛仿真、激光雷達(dá)技術(shù)領(lǐng)域。其中方法包括：獲取場(chǎng)景圖像、以及該場(chǎng)景圖像對(duì)應(yīng)的仿真點(diǎn)云的位置信息和物體標(biāo)注信息；基于該場(chǎng)景圖像，對(duì)該仿真點(diǎn)云中各個(gè)點(diǎn)的反射強(qiáng)度和光線回落現(xiàn)象進(jìn)行第一預(yù)測(cè)；并且，基于該位置信息和物體標(biāo)注信息，對(duì)該仿真點(diǎn)云中對(duì)應(yīng)第一物體的各個(gè)點(diǎn)的反射強(qiáng)度進(jìn)行第二預(yù)測(cè)；根據(jù)第一預(yù)測(cè)的結(jié)果和第二預(yù)測(cè)的結(jié)果，確定該仿真點(diǎn)云的強(qiáng)度信息和光線回落現(xiàn)象。本公開能夠提高激光雷達(dá)仿真的真實(shí)度。

技術(shù)研發(fā)人員：沈哲倫,卓安,李開運(yùn),張映
受保護(hù)的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6