本技術(shù)涉及數(shù)據(jù)集構(gòu)建領(lǐng)域，具體而言，涉及一種用于自動(dòng)駕駛的數(shù)據(jù)集構(gòu)建方法、系統(tǒng)和計(jì)算機(jī)裝置。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，智能駕駛算法和自動(dòng)駕駛系統(tǒng)也在不斷進(jìn)步，例如bevformer、bevfusion、bevdet、flashocc等自動(dòng)駕駛感知算法不斷地刷新準(zhǔn)確率榜單和提升效果的魯棒性。但是這些算法都是在nuscenes等大型公開(kāi)數(shù)據(jù)集上來(lái)訓(xùn)練和驗(yàn)證的，同時(shí)nuscenes的數(shù)據(jù)結(jié)構(gòu)非常復(fù)雜，又沒(méi)有開(kāi)源數(shù)據(jù)結(jié)構(gòu)的生成方法。因此，如何能把我們的自采集數(shù)據(jù)構(gòu)建成感知算法能直接調(diào)用進(jìn)行訓(xùn)練和驗(yàn)證的數(shù)據(jù)格式是一個(gè)急需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本技術(shù)提供一種用于自動(dòng)駕駛的數(shù)據(jù)集構(gòu)建方法、系統(tǒng)和計(jì)算機(jī)裝置，通過(guò)特定的數(shù)據(jù)集構(gòu)建的方法的步驟實(shí)現(xiàn)將標(biāo)定得到的用于自動(dòng)駕駛的傳感器內(nèi)參、外參及自動(dòng)駕駛路徑周邊的實(shí)例信息整理并生成可由自動(dòng)駕駛算法直接調(diào)用進(jìn)行訓(xùn)練及驗(yàn)證的數(shù)據(jù)集。

2、具體的，本技術(shù)的技術(shù)方案如下：

3、第一方面，本技術(shù)公開(kāi)一種用于自動(dòng)駕駛的數(shù)據(jù)集構(gòu)建方法，包括：

4、通過(guò)安裝在數(shù)據(jù)采集車(chē)上的多個(gè)相機(jī)采集駕駛路徑上的環(huán)視視頻數(shù)據(jù)，通過(guò)安裝在所述數(shù)據(jù)采集車(chē)上的激光雷達(dá)采集所述駕駛路徑上的點(diǎn)云數(shù)據(jù)；

5、對(duì)多個(gè)所述相機(jī)之間進(jìn)行內(nèi)參標(biāo)定，獲取相機(jī)內(nèi)參；對(duì)多個(gè)所述相機(jī)與所述激光雷達(dá)之間進(jìn)行外參標(biāo)定，獲取多個(gè)所述相機(jī)到所述激光雷達(dá)的外參；

6、使用3d標(biāo)注工具對(duì)所述點(diǎn)云數(shù)據(jù)中的實(shí)例進(jìn)行標(biāo)注，獲取實(shí)例標(biāo)注信息并生成目標(biāo)框；

7、基于所述環(huán)視視頻數(shù)據(jù)、所述點(diǎn)云數(shù)據(jù)、所述相機(jī)內(nèi)參、所述相機(jī)到所述激光雷達(dá)的外參、所述實(shí)例標(biāo)注信息以及所述目標(biāo)框，整合并生成用于自動(dòng)駕駛算法訓(xùn)練及驗(yàn)證的數(shù)據(jù)集。

8、在一些實(shí)施方式中，所述的基于所述環(huán)視視頻數(shù)據(jù)、所述點(diǎn)云數(shù)據(jù)、所述相機(jī)內(nèi)參、所述相機(jī)到所述激光雷達(dá)的外參、所述實(shí)例標(biāo)注信息以及所述目標(biāo)框，整合并生成用于自動(dòng)駕駛算法訓(xùn)練及驗(yàn)證的數(shù)據(jù)集，包括如下步驟：

9、用于自動(dòng)駕駛算法訓(xùn)練及驗(yàn)證的所述數(shù)據(jù)集為nuscenes數(shù)據(jù)集；

10、獲取每一幀所述點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)的所述實(shí)例標(biāo)注信息，整合所有所述實(shí)例標(biāo)注信息，構(gòu)建實(shí)例信息文件；

11、基于所述實(shí)例信息文件和所述實(shí)例標(biāo)注信息，整合所有所述目標(biāo)框的信息，生成目標(biāo)框信息文件；

12、基于所述目標(biāo)框信息文件，整合所述環(huán)視視頻數(shù)據(jù)和所述點(diǎn)云數(shù)據(jù)的幀數(shù)信息，生成幀數(shù)信息文件；

13、整合所述相機(jī)和所述激光雷達(dá)的內(nèi)參及外參，構(gòu)建內(nèi)外參信息文件；

14、基于所述目標(biāo)框信息文件，整合所述環(huán)視視頻數(shù)據(jù)和所述點(diǎn)云數(shù)據(jù)的細(xì)節(jié)信息，構(gòu)建采樣數(shù)據(jù)文件；

15、整合所述幀數(shù)信息文件，構(gòu)建場(chǎng)景信息文件；

16、基于所述內(nèi)外參信息文件，整合所述相機(jī)和所述激光雷達(dá)的傳感器信息，構(gòu)建傳感器信息文件；

17、基于所述實(shí)例信息文件、所述目標(biāo)框信息文件、所述幀數(shù)信息文件、所述內(nèi)外參信息文件、所述采樣數(shù)據(jù)文件、所述場(chǎng)景信息文件、所述傳感器信息文件構(gòu)建所述nuscenes數(shù)據(jù)集。

18、在一些實(shí)施方式中，所述的使用3d標(biāo)注工具對(duì)所述點(diǎn)云數(shù)據(jù)中的實(shí)例進(jìn)行標(biāo)注，獲取實(shí)例標(biāo)注信息并生成目標(biāo)框，包括如下步驟：

19、使用sustechpoints?3d標(biāo)注工具對(duì)所述點(diǎn)云數(shù)據(jù)中的實(shí)例進(jìn)行標(biāo)注，獲取所述實(shí)例標(biāo)注信息，其中，所述實(shí)例標(biāo)注信息包括每幀所述點(diǎn)云數(shù)據(jù)中，出現(xiàn)的所述實(shí)例的名稱(chēng)、所述實(shí)例出現(xiàn)次數(shù)、所述實(shí)例的位置、所述實(shí)例的方向、所述實(shí)例的尺寸大小；

20、在每幀所述點(diǎn)云數(shù)據(jù)中錨框所述實(shí)例，逐一生成所述目標(biāo)框。

21、在一些實(shí)施方式中，所述實(shí)例信息文件包括所述實(shí)例的索引、所述實(shí)例的類(lèi)別、所述實(shí)例的名稱(chēng)、所述實(shí)例在前后幀中出現(xiàn)次數(shù)、所述實(shí)例的編號(hào)；

22、所述目標(biāo)框信息文件包括所述目標(biāo)框的索引、所述目標(biāo)框?qū)?yīng)的所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、對(duì)應(yīng)的所述點(diǎn)云數(shù)據(jù)的文件名、對(duì)應(yīng)的所述點(diǎn)云數(shù)據(jù)幀的索引、所述目標(biāo)框?qū)?yīng)的所述實(shí)例的索引、所述實(shí)例的位置、所述實(shí)例的尺寸大小、由所述實(shí)例的方向轉(zhuǎn)換得到的四元數(shù)、所述實(shí)例的被遮擋程度、前后所述目標(biāo)框的索引；

23、所述幀數(shù)信息文件包括：所述點(diǎn)云數(shù)據(jù)的數(shù)據(jù)幀的索引、所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、對(duì)應(yīng)場(chǎng)景的索引、前后所述時(shí)間戳的索引；

24、所述內(nèi)外參信息文件包括：內(nèi)外參信息的索引、所述傳感器信息的索引、內(nèi)參矩陣、外參平移矩陣、外參旋轉(zhuǎn)矩陣；

25、所述采樣數(shù)據(jù)文件包括：所述環(huán)視視頻數(shù)據(jù)或所述點(diǎn)云數(shù)據(jù)的索引、所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、所述環(huán)視視頻數(shù)據(jù)或所述點(diǎn)云數(shù)據(jù)的數(shù)據(jù)幀的索引、所述數(shù)據(jù)幀是否為關(guān)鍵幀、數(shù)據(jù)格式的后綴、所述環(huán)視視頻數(shù)據(jù)的高、所述環(huán)視視頻數(shù)據(jù)的寬、所述環(huán)視視頻數(shù)據(jù)或所述點(diǎn)云數(shù)據(jù)的文件路徑、所述數(shù)據(jù)采集車(chē)的位姿；

26、所述場(chǎng)景信息文件包括：所述場(chǎng)景的索引、第一次出現(xiàn)所述場(chǎng)景的所述數(shù)據(jù)幀的索引，最后一次出現(xiàn)所述場(chǎng)景的所述數(shù)據(jù)幀的索引；

27、所述傳感器信息文件包括：所述內(nèi)外參信息的索引、所述傳感器的模態(tài)、所述傳感器的安裝位置。

28、在一些實(shí)施方式中，所述的對(duì)多個(gè)所述相機(jī)之間進(jìn)行內(nèi)參標(biāo)定，包括如下步驟：

29、通過(guò)張正友標(biāo)定方法對(duì)多個(gè)所述相機(jī)之間進(jìn)行內(nèi)參標(biāo)定。

30、在一些實(shí)施方式中，所述的對(duì)多個(gè)所述相機(jī)與所述激光雷達(dá)之間進(jìn)行外參標(biāo)定，包括如下步驟：

31、使用lidar2camera工具對(duì)多個(gè)所述相機(jī)與所述激光雷達(dá)之間進(jìn)行外參標(biāo)定。

32、第二方面，本技術(shù)提供一種用于自動(dòng)駕駛的數(shù)據(jù)集構(gòu)建系統(tǒng)，包括：

33、多個(gè)相機(jī)，分散安裝在數(shù)據(jù)采集車(chē)上，用于采集駕駛路徑上的環(huán)視視頻數(shù)據(jù)；

34、激光雷達(dá)，安裝在所述數(shù)據(jù)采集車(chē)上，用于采集所述駕駛路徑上的點(diǎn)云數(shù)據(jù)；

35、內(nèi)參標(biāo)定模塊，用于對(duì)多個(gè)所述相機(jī)之間進(jìn)行內(nèi)參標(biāo)定，獲取相機(jī)內(nèi)參；

36、外參標(biāo)定模塊，用于對(duì)多個(gè)所述相機(jī)與所述激光雷達(dá)之間進(jìn)行外參標(biāo)定，獲取多個(gè)所述相機(jī)到所述激光雷達(dá)的外參；

37、點(diǎn)云標(biāo)注模塊，用于使用3d標(biāo)注工具對(duì)所述點(diǎn)云數(shù)據(jù)中的實(shí)例進(jìn)行標(biāo)注，獲取實(shí)例標(biāo)注信息并生成目標(biāo)框；

38、數(shù)據(jù)集整合模塊，用于基于所述環(huán)視視頻數(shù)據(jù)、所述點(diǎn)云數(shù)據(jù)、所述相機(jī)內(nèi)參、所述相機(jī)到所述激光雷達(dá)的外參、所述實(shí)例標(biāo)注信息以及所述目標(biāo)框，整合并生成用于自動(dòng)駕駛算法訓(xùn)練及驗(yàn)證的數(shù)據(jù)集。

39、在一些實(shí)施方式中，所述數(shù)據(jù)集整合模塊，具體用于：獲取每一幀所述點(diǎn)云數(shù)據(jù)中對(duì)應(yīng)的所述實(shí)例標(biāo)注信息，整合所有所述實(shí)例標(biāo)注信息，構(gòu)建實(shí)例信息文件；

40、基于所述實(shí)例信息文件和所述實(shí)例標(biāo)注信息，整合所有所述目標(biāo)框的信息，生成目標(biāo)框信息文件；

41、基于所述目標(biāo)框信息文件，整合所述環(huán)視視頻數(shù)據(jù)和所述點(diǎn)云數(shù)據(jù)的幀數(shù)信息，生成幀數(shù)信息文件；

42、整合所述相機(jī)和所述激光雷達(dá)的內(nèi)參及外參，構(gòu)建內(nèi)外參信息文件；

43、基于所述目標(biāo)框信息文件，整合所述環(huán)視視頻數(shù)據(jù)和所述點(diǎn)云數(shù)據(jù)的細(xì)節(jié)信息，構(gòu)建采樣數(shù)據(jù)文件；

44、整合所述幀數(shù)信息文件，構(gòu)建場(chǎng)景信息文件；

45、基于所述內(nèi)外參信息文件，整合所述相機(jī)和所述激光雷達(dá)的傳感器信息，構(gòu)建傳感器信息文件；

46、基于所述實(shí)例信息文件、所述目標(biāo)框信息文件、所述幀數(shù)信息文件、所述內(nèi)外參信息文件、所述采樣數(shù)據(jù)文件、所述場(chǎng)景信息文件、所述傳感器信息文件構(gòu)建用于自動(dòng)駕駛算法訓(xùn)練及驗(yàn)證的數(shù)據(jù)集。

47、在一些實(shí)施方式中，所述實(shí)例標(biāo)注信息包括每幀所述點(diǎn)云數(shù)據(jù)中，出現(xiàn)的所述實(shí)例的名稱(chēng)、所述實(shí)例出現(xiàn)次數(shù)、所述實(shí)例的位置、所述實(shí)例的方向、所述實(shí)例的尺寸大??；

48、所述實(shí)例信息文件包括所述實(shí)例的索引、所述實(shí)例的類(lèi)別、所述實(shí)例的名稱(chēng)、所述實(shí)例在前后幀中出現(xiàn)次數(shù)、所述實(shí)例的編號(hào)；

49、所述目標(biāo)框信息文件包括所述目標(biāo)框的索引、所述目標(biāo)框?qū)?yīng)的所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、對(duì)應(yīng)的所述點(diǎn)云數(shù)據(jù)的文件名、對(duì)應(yīng)的所述點(diǎn)云數(shù)據(jù)幀的索引、所述目標(biāo)框?qū)?yīng)的所述實(shí)例的索引、所述實(shí)例的位置、所述實(shí)例的尺寸大小、由所述實(shí)例的方向轉(zhuǎn)換得到的四元數(shù)、所述實(shí)例的被遮擋程度、前后所述目標(biāo)框的索引；

50、所述幀數(shù)信息文件包括：所述點(diǎn)云數(shù)據(jù)的數(shù)據(jù)幀的索引、所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、對(duì)應(yīng)場(chǎng)景的索引、前后所述時(shí)間戳的索引；

51、所述內(nèi)外參信息文件包括：內(nèi)外參信息的索引、所述傳感器信息的索引、內(nèi)參矩陣、外參平移矩陣、外參旋轉(zhuǎn)矩陣；

52、所述采樣數(shù)據(jù)文件包括：所述環(huán)視視頻數(shù)據(jù)或所述點(diǎn)云數(shù)據(jù)的索引、所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、所述環(huán)視視頻數(shù)據(jù)或所述點(diǎn)云數(shù)據(jù)的數(shù)據(jù)幀的索引、所述數(shù)據(jù)幀是否為關(guān)鍵幀、數(shù)據(jù)格式的后綴、所述環(huán)視視頻數(shù)據(jù)的高、所述環(huán)視視頻數(shù)據(jù)的寬、所述環(huán)視視頻數(shù)據(jù)或所述點(diǎn)云數(shù)據(jù)的文件路徑、所述數(shù)據(jù)采集車(chē)的位姿；

53、所述場(chǎng)景信息文件包括：所述場(chǎng)景的索引、第一次出現(xiàn)所述場(chǎng)景的所述數(shù)據(jù)幀的索引，最后一次出現(xiàn)所述場(chǎng)景的所述數(shù)據(jù)幀的索引；

54、所述傳感器信息文件包括：所述內(nèi)外參信息的索引、所述傳感器的模態(tài)、所述傳感器的安裝位置。

55、第三方面，本技術(shù)還公開(kāi)一種計(jì)算機(jī)裝置，所述計(jì)算機(jī)裝置至少包括上述任一項(xiàng)實(shí)施方式中所述的一種用于自動(dòng)駕駛的數(shù)據(jù)集構(gòu)建系統(tǒng)。

56、與現(xiàn)有技術(shù)相比，本技術(shù)至少具有以下一項(xiàng)有益效果：

57、通過(guò)本技術(shù)中描述的用于自動(dòng)駕駛的數(shù)據(jù)集的構(gòu)建方法和系統(tǒng)，可以將自己采集的數(shù)據(jù)集轉(zhuǎn)換成類(lèi)似nuscenes格式的數(shù)據(jù)，使得研究人員和開(kāi)發(fā)者能夠直接地使用這些數(shù)據(jù)來(lái)訓(xùn)練和驗(yàn)證各種自動(dòng)駕駛感知算法。不僅能夠充分利用自己采集的數(shù)據(jù)，提高數(shù)據(jù)的可用性和價(jià)值，還能夠促進(jìn)自動(dòng)駕駛技術(shù)的研究和開(kāi)發(fā)。此外，這種轉(zhuǎn)換方法還有助于推動(dòng)數(shù)據(jù)集的標(biāo)準(zhǔn)化，為自動(dòng)駕駛領(lǐng)域的數(shù)據(jù)共享和協(xié)作提供便利。