本技術(shù)涉及智慧礦山、自動(dòng)駕駛、無(wú)人車領(lǐng)域，具體涉及一種目標(biāo)識(shí)別模型的訓(xùn)練方法及裝置、點(diǎn)云處理方法及裝置。

背景技術(shù)：

1、激光雷達(dá)點(diǎn)云檢測(cè)技術(shù)不僅能夠識(shí)別交通參與者的位置、尺寸和類別，還能對(duì)實(shí)時(shí)點(diǎn)云數(shù)據(jù)中的每個(gè)點(diǎn)進(jìn)行標(biāo)注，因此，該技術(shù)在無(wú)人駕駛領(lǐng)域，尤其是礦山無(wú)人駕駛中扮演著至關(guān)重要的角色。

2、然而，上述技術(shù)在礦山無(wú)人駕駛場(chǎng)景中的應(yīng)用面臨一些挑戰(zhàn)。具體而言，在礦區(qū)存在一些會(huì)影響車輛安全和行駛效率的對(duì)象。但是由于該類對(duì)象在礦區(qū)的分布特性以及該類對(duì)象自身特征信息的不足，導(dǎo)致其檢測(cè)精度較低，這成為礦山無(wú)人駕駛領(lǐng)域亟待解決的技術(shù)難題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供了一種目標(biāo)識(shí)別模型的訓(xùn)練方法及裝置、點(diǎn)云處理方法及裝置。

2、第一方面，本技術(shù)一實(shí)施例提供了一種目標(biāo)識(shí)別模型的訓(xùn)練方法，包括：構(gòu)建訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集包括關(guān)于目標(biāo)對(duì)象的點(diǎn)云數(shù)據(jù)以及點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)，標(biāo)簽數(shù)據(jù)用于標(biāo)注和識(shí)別目標(biāo)對(duì)象；構(gòu)建初始網(wǎng)絡(luò)模型，初始網(wǎng)絡(luò)模型包括特征提取模塊和多個(gè)任務(wù)執(zhí)行模塊，其中，每個(gè)任務(wù)執(zhí)行模塊的輸入端與特征提取模塊的輸出端連接，多個(gè)任務(wù)執(zhí)行模塊中的至少部分任務(wù)執(zhí)行模塊之間相互獨(dú)立；基于訓(xùn)練數(shù)據(jù)集，對(duì)初始網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直至達(dá)到預(yù)定的性能指標(biāo)，得到目標(biāo)識(shí)別模型。

3、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，基于訓(xùn)練數(shù)據(jù)集，對(duì)初始網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：在第一階段，基于訓(xùn)練數(shù)據(jù)集，對(duì)初始網(wǎng)絡(luò)模型的全鏈路進(jìn)行訓(xùn)練；在第二階段，鎖定特征提取模塊的權(quán)重值、以及多個(gè)任務(wù)執(zhí)行模塊中除目標(biāo)任務(wù)執(zhí)行模塊之外的其他任務(wù)執(zhí)行模塊的權(quán)重值；基于訓(xùn)練數(shù)據(jù)集，對(duì)目標(biāo)任務(wù)執(zhí)行模塊進(jìn)行訓(xùn)練；按照特定順序?qū)ζ渌蝿?wù)執(zhí)行模塊重復(fù)第二階段的訓(xùn)練流程，直至所有的任務(wù)執(zhí)行模塊均已作為目標(biāo)任務(wù)模塊被單獨(dú)訓(xùn)練。

4、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，特征提取模塊包括共享模塊，多個(gè)任務(wù)執(zhí)行模塊包括第一任務(wù)模塊和第二任務(wù)模塊，第一任務(wù)模塊和第二任務(wù)模塊為相互關(guān)聯(lián)的兩模塊，共享模塊至少用于提取第一任務(wù)模塊和第二任務(wù)模塊共有的特征數(shù)據(jù)。

5、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，第一任務(wù)模塊至少用于執(zhí)行邊界框檢測(cè)任務(wù)，第二任務(wù)模塊至少用于執(zhí)行語(yǔ)義分割任務(wù)，在對(duì)初始網(wǎng)絡(luò)模型的全鏈路進(jìn)行訓(xùn)練的過(guò)程中，第一任務(wù)模塊和第二任務(wù)模塊共同參與訓(xùn)練，以實(shí)現(xiàn)第一任務(wù)模塊和第二任務(wù)模塊各自對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)的互相學(xué)習(xí)。

6、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，構(gòu)建訓(xùn)練數(shù)據(jù)集，包括：獲取針對(duì)目標(biāo)對(duì)象采集的原始點(diǎn)云數(shù)據(jù)和原始點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)簽數(shù)據(jù)；按照預(yù)設(shè)比例對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行下采樣，得到下采樣點(diǎn)云數(shù)據(jù)；調(diào)整第一標(biāo)簽數(shù)據(jù)，得到下采樣點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)簽數(shù)據(jù)；將原始點(diǎn)云數(shù)據(jù)和原始點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)簽數(shù)據(jù)、下采樣點(diǎn)云數(shù)據(jù)和下采樣點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)簽數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集。

7、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，第一標(biāo)簽數(shù)據(jù)包括目標(biāo)對(duì)象對(duì)應(yīng)的邊界框標(biāo)簽和語(yǔ)義分割標(biāo)簽；調(diào)整第一標(biāo)簽數(shù)據(jù)，得到下采樣點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)簽數(shù)據(jù)，包括：調(diào)整第一標(biāo)簽數(shù)據(jù)中的語(yǔ)義分割標(biāo)簽，得到與下采樣點(diǎn)云數(shù)據(jù)匹配的語(yǔ)義分割標(biāo)簽；將與下采樣點(diǎn)云數(shù)據(jù)匹配的語(yǔ)義分割標(biāo)簽以及第一標(biāo)簽數(shù)據(jù)中的邊界框標(biāo)簽作為下采樣點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)簽數(shù)據(jù)。

8、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，調(diào)整第一標(biāo)簽數(shù)據(jù)中的語(yǔ)義分割標(biāo)簽，得到與下采樣點(diǎn)云數(shù)據(jù)匹配的語(yǔ)義分割標(biāo)簽，包括：獲取下采樣點(diǎn)云數(shù)據(jù)中的點(diǎn)在原始點(diǎn)云數(shù)據(jù)中的位置索引；利用位置索引從第一標(biāo)簽數(shù)據(jù)中的語(yǔ)義分割標(biāo)簽中檢索與下采樣點(diǎn)云數(shù)據(jù)中的點(diǎn)對(duì)應(yīng)的語(yǔ)義分割標(biāo)簽，保留檢索到的該語(yǔ)義分割標(biāo)簽，并刪除在下采樣過(guò)程中被移除的點(diǎn)的語(yǔ)義分割標(biāo)簽，得到與下采樣點(diǎn)云數(shù)據(jù)匹配的語(yǔ)義分割標(biāo)簽。

9、結(jié)合第一方面，在第一方面的某些實(shí)現(xiàn)方式中，目標(biāo)對(duì)象包括礦區(qū)的行人和/或目標(biāo)障礙物，目標(biāo)障礙物包括體積小于預(yù)設(shè)閾值的障礙物。

10、第二方面，本技術(shù)一實(shí)施例提供了一種點(diǎn)云處理方法，包括：獲取待檢測(cè)點(diǎn)云數(shù)據(jù)；利用目標(biāo)識(shí)別模型分析待檢測(cè)點(diǎn)云數(shù)據(jù)，得到待檢測(cè)點(diǎn)云數(shù)據(jù)包含的目標(biāo)對(duì)象，其中，目標(biāo)識(shí)別模型基于第一方面所述的訓(xùn)練方法得到。

11、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，利用目標(biāo)識(shí)別模型分析待檢測(cè)點(diǎn)云數(shù)據(jù)，得到待檢測(cè)點(diǎn)云數(shù)據(jù)包含的目標(biāo)對(duì)象，包括：利用目標(biāo)識(shí)別模型分析待檢測(cè)點(diǎn)云數(shù)據(jù)，得到初步界定目標(biāo)對(duì)象空間位置的候選邊界框；確定候選邊界框內(nèi)的各個(gè)點(diǎn)云對(duì)應(yīng)的語(yǔ)義分割結(jié)果；若語(yǔ)義分割結(jié)果為目標(biāo)對(duì)象的點(diǎn)云的數(shù)量大于預(yù)設(shè)數(shù)量閾值，則候選邊界框?yàn)橛行н吔缈?，輸出有效邊界框以及有效邊界框?nèi)的點(diǎn)云的語(yǔ)義分割結(jié)果為目標(biāo)對(duì)象；和/或，若語(yǔ)義分割結(jié)果為目標(biāo)對(duì)象的點(diǎn)云的數(shù)量小于或等于預(yù)設(shè)數(shù)量閾值，則從待檢測(cè)點(diǎn)云數(shù)據(jù)中刪除候選邊界框內(nèi)的點(diǎn)云。

12、結(jié)合第二方面，在第二方面的某些實(shí)現(xiàn)方式中，利用目標(biāo)識(shí)別模型分析待檢測(cè)點(diǎn)云數(shù)據(jù)，得到待檢測(cè)點(diǎn)云數(shù)據(jù)包含的目標(biāo)對(duì)象，還包括：若在有效邊界框外的目標(biāo)范圍內(nèi)，存在目標(biāo)數(shù)量的語(yǔ)義分割結(jié)果為目標(biāo)對(duì)象的點(diǎn)云，則基于該語(yǔ)義分割結(jié)果為目標(biāo)對(duì)象的點(diǎn)云的位置數(shù)據(jù)，重新確定有效邊界框，并輸出重新確定的有效邊界框。

13、第三方面，本技術(shù)一實(shí)施例提供了一種目標(biāo)識(shí)別模型的訓(xùn)練裝置，包括：第一構(gòu)建模塊，用于構(gòu)建訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集包括關(guān)于目標(biāo)對(duì)象的點(diǎn)云數(shù)據(jù)以及點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)，標(biāo)簽數(shù)據(jù)用于標(biāo)注和識(shí)別目標(biāo)對(duì)象；第二構(gòu)建模塊，用于構(gòu)建初始網(wǎng)絡(luò)模型，初始網(wǎng)絡(luò)模型包括特征提取模塊和多個(gè)任務(wù)執(zhí)行模塊，其中，每個(gè)任務(wù)執(zhí)行模塊的輸入端與特征提取模塊的輸出端連接，多個(gè)任務(wù)執(zhí)行模塊中的至少部分任務(wù)執(zhí)行模塊之間相互獨(dú)立；訓(xùn)練模塊，用于基于訓(xùn)練數(shù)據(jù)集，對(duì)初始網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直至達(dá)到預(yù)定的性能指標(biāo)，得到目標(biāo)識(shí)別模型。

14、第四方面，本技術(shù)一實(shí)施例提供了一種點(diǎn)云處理裝置，包括：獲取模塊，用于獲取待檢測(cè)點(diǎn)云數(shù)據(jù)；分析模塊，用于利用目標(biāo)識(shí)別模型分析待檢測(cè)點(diǎn)云數(shù)據(jù)，得到待檢測(cè)點(diǎn)云數(shù)據(jù)包含的目標(biāo)對(duì)象，其中，目標(biāo)識(shí)別模型基于第一方面所述的訓(xùn)練方法得到。

15、第五方面，本技術(shù)一實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序用于執(zhí)行第一方面和/或第二方面所述的方法。

16、第六方面，本技術(shù)一實(shí)施例提供了一種電子設(shè)備，該電子設(shè)備包括：處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；該處理器用于執(zhí)行第一方面和/或第二方面所述的方法。

17、在本技術(shù)中，通過(guò)收集和標(biāo)注目標(biāo)對(duì)象的點(diǎn)云數(shù)據(jù)，訓(xùn)練數(shù)據(jù)集能夠提供豐富的、與實(shí)際礦山環(huán)境相符合的數(shù)據(jù)，有助于目標(biāo)識(shí)別模型更好地理解和識(shí)別礦區(qū)中的目標(biāo)對(duì)象。其次，初始網(wǎng)絡(luò)模型的設(shè)計(jì)，特別是特征提取模塊和多個(gè)任務(wù)執(zhí)行模塊的結(jié)合，使得訓(xùn)練好的目標(biāo)識(shí)別模型能夠從點(diǎn)云數(shù)據(jù)中提取關(guān)鍵特征，并獨(dú)立處理不同的任務(wù)，提高了目標(biāo)識(shí)別模型的靈活性和效率。此外，任務(wù)執(zhí)行模塊之間相互獨(dú)立，這種結(jié)構(gòu)的網(wǎng)絡(luò)模型能夠處理復(fù)雜的點(diǎn)云數(shù)據(jù)，通過(guò)特征提取和多任務(wù)并行處理，實(shí)現(xiàn)對(duì)礦山無(wú)人駕駛作業(yè)環(huán)境中的目標(biāo)對(duì)象的有效識(shí)別。