本技術涉及智能駕駛，具體而言，涉及一種評測數(shù)據(jù)的確定方法和裝置、存儲介質及電子設備。

背景技術：

1、在智能駕駛系統(tǒng)中，自動駕駛中的數(shù)據(jù)閉環(huán)一直是提升各種算法，尤其是感知算法的關鍵所在。在提升感知性能的過程中，一方面需要各種高價值場景數(shù)據(jù)生成真值，支持模型的訓練迭代，另一方面需要完善的評測體系，進行感知算法的評測和結果分析，以此發(fā)現(xiàn)感知算法當前存在的不足之處，同時基于評測結果分析支撐后續(xù)高價值場景數(shù)據(jù)的篩選。

2、然而，相關技術在對感知算法進行評測時主要輸出算法模型的召回率，精確率，少有從多個維度輸出更為全面的評測指標，核心在于通過人工標注的真值很難獲取目標具體的速度、深度信息，并且當前許多感知算法模型評測分析結果，主要用于評價感知算法模型優(yōu)劣，沒有顯示直接的支持到后續(xù)的數(shù)據(jù)集篩選切片，也沒有閉環(huán)支持到感知算法模型的迭代優(yōu)化。換言之，相關技術對評測數(shù)據(jù)的確定方法存在數(shù)據(jù)確定不準確、效率低的問題。

3、針對上述的問題，目前尚未提出有效的解決方案。

技術實現(xiàn)思路

1、本技術實施例提供了一種評測數(shù)據(jù)的確定方法和裝置、存儲介質及電子設備，以至少解決相關技術提供的評測數(shù)據(jù)的確定方法存在數(shù)據(jù)確定不準確、效率低的技術問題。

2、根據(jù)本技術實施例的一個方面，提供了一種評測數(shù)據(jù)的確定方法，包括：獲取按照多個數(shù)據(jù)采集條件下各自采集的道路數(shù)據(jù)集，其中，道路數(shù)據(jù)集中包括對目標道路場景進行圖像采集得到的至少一個道路圖像，以及對目標道路場景進行點云采集得到至少一個點云圖像；根據(jù)多個數(shù)據(jù)采集條件各自對應的第一道路對象集合和第二道路對象集合之間的對象匹配結果，確定目標道路對象集合，其中，第一道路對象集合為對至少一個道路圖像進行對象識別得到的，第二道路對象集合為對至少一個點云圖像進行對象識別得到的；根據(jù)多個目標道路對象集合，對待評測感知模型分別進行模型評測，得到與多個目標道路對象集合分別匹配的模型評測結果；根據(jù)多個模型評測結果，從多個數(shù)據(jù)采集條件中確定出至少一個關鍵數(shù)據(jù)采集條件，其中，關鍵數(shù)據(jù)采集條件指示用于對待評測感知模型進行后續(xù)評測的評測道路數(shù)據(jù)集的采集條件。

3、根據(jù)本技術實施例的另一方面，還提供了一種評測數(shù)據(jù)的確定裝置，包括：獲取單元，獲取按照多個數(shù)據(jù)采集條件下各自采集的道路數(shù)據(jù)集，其中，道路數(shù)據(jù)集中包括對目標道路場景進行圖像采集得到的至少一個道路圖像，以及對目標道路場景進行點云采集得到至少一個點云圖像；第一確定單元，根據(jù)多個數(shù)據(jù)采集條件各自對應的第一道路對象集合和第二道路對象集合之間的對象匹配結果，確定目標道路對象集合，其中，第一道路對象集合為對至少一個道路圖像進行對象識別得到的，第二道路對象集合為對至少一個點云圖像進行對象識別得到的；評測單元，根據(jù)多個目標道路對象集合，對待評測感知模型分別進行模型評測，得到與多個目標道路對象集合分別匹配的模型評測結果；第二確定單元，根據(jù)多個模型評測結果，從多個數(shù)據(jù)采集條件中確定出至少一個關鍵數(shù)據(jù)采集條件，其中，關鍵數(shù)據(jù)采集條件指示用于對待評測感知模型進行后續(xù)評測的評測道路數(shù)據(jù)集的采集條件。

4、可選地，上述獲取單元，包括：訓練模塊，用于根據(jù)關鍵數(shù)據(jù)采集條件更新數(shù)據(jù)采集條件，得到多個目標數(shù)據(jù)采集條件；獲取按照多個目標數(shù)據(jù)采集條件下各自采集的目標道路數(shù)據(jù)集；根據(jù)目標道路數(shù)據(jù)集對待評測感知模型進行訓練。

5、可選地，上述訓練模塊還用于確定與每個關鍵數(shù)據(jù)采集條件匹配的目標采集描述信息；根據(jù)目標采集描述信息所指示的目標采集時間間隔，目標采集道路場景標簽以及目標采集道路環(huán)境標簽，確定與每個關鍵數(shù)據(jù)采集條件匹配的目標數(shù)據(jù)采集條件；獲取按照多個目標數(shù)據(jù)采集條件下各自采集的目標道路數(shù)據(jù)集；根據(jù)目標道路數(shù)據(jù)集對待評測感知模型進行訓練。

6、可選地，上述第一確定單元，還包括：數(shù)據(jù)選擇模塊，用于從包含目標場景標簽的道路數(shù)據(jù)中選擇單幀采集的目標道路數(shù)據(jù)；單幀評測模塊，用于確定目標道路數(shù)據(jù)對應的模型感知結果和真值數(shù)據(jù)，并將目標道路數(shù)據(jù)對應的模型感知結果和真值數(shù)據(jù)進行匹配，得到單幀評測結果。

7、可選地，上述模型評測單元，還包括：匹配模塊，用于在與第一道路對象集合中第一候選對象對應的第一標注框，與第二道路對象集合中的第二候選對象對應的第二標注框滿足目標位置條件的情況下，確定第一候選對象和第二候選對象之間的對象匹配關系，其中，具有對象匹配關系的第一候選對象和第二候選對象用于指示目標道路場景中的同一個目標道路對象，目標位置條件包括以下至少之一：第一標注框和第二標注框之間的重疊區(qū)域的區(qū)域面積大于或等于面積閾值；第一標注框和第二標注框之間的標注框距離的小于或等于距離閾值；在與第一候選對象對應的第一標注框，與第二道路對象集合中的任意一個候選對象對應的第二標注框均不滿足目標位置條件的情況下，根據(jù)第一候選對象的歷史匹配信息，從第二道路對象集合中確定出滿足歷史匹配條件的第二候選對象，其中，歷史匹配信息包括至少一個歷史道路場景各自對應的歷史對象匹配結果，歷史道路場景對應的采集時間戳早于目標道路場景的采集時間戳；其中，第一標注框用于指示第一候選對象在道路圖像中的第一圖像區(qū)域，第二標注框用于指示第二候選對象在道路圖像中的第二圖像區(qū)域，第二圖像區(qū)域為基于第二候選對象匹配的點云信息在道路圖像的投影結果。

8、可選地，上述匹配模塊，還用于在第一標注框，與第二道路對象集合中的任意一個候選對象各自的候選標注框之間的重疊區(qū)域，均小于面積閾值的情況下，從與第二道路對象集合匹配的第二參考標注框集合中，獲取與第一標注框匹配的第二參考標注框子集，其中，第二參考標注框子集中的第二參考標注框與第一標注框之間的重疊區(qū)域的區(qū)域面積大于0，且小于面積閾值；從第二參考標注框子集中確定出目標標注框，其中，第一標注框與目標標注框之間的重疊區(qū)域的區(qū)域面積，大于第二參考標注框子集中其他標注框各自對應的重疊區(qū)域的區(qū)域面積；在目標標注框與第一標注框之間的標注框距離，均小于第一參考標注框集合中其他標注框各自對應的標注框距離的情況下，確定目標標注框與第一標注框之間的標注框距離，滿足目標距離條件，確定目標標注框指示的第三候選對象與第一道路對象之間具有對象匹配關系，其中，第一參考標注框用于指示第一道路對象集合中的候選對象在與目標道路場景匹配的目標道路圖像中的圖像區(qū)域，多個第一參考標注框包括第一標注框。

9、可選地，上述數(shù)據(jù)獲取單元，還包括：數(shù)據(jù)確定模塊，用于確定目標類別和目標距離閾值區(qū)間；數(shù)據(jù)獲取模塊，用于獲取包含目標場景標簽且目標類別在目標距離閾值區(qū)間內的目標道路數(shù)據(jù)，并將目標道路數(shù)據(jù)確定為訓練數(shù)據(jù)；模型訓練模塊，用于利用訓練數(shù)據(jù)對待評測感知模型進行訓練。

10、可選地，上述匹配模塊還用于獲取歷史匹配信息，其中，歷史匹配信息包括第一候選對象在多個歷史道路場景中的歷史對象匹配結果，多個歷史道路場景和目標道路場景為多個信息采集操作分別對應的道路場景，多個信息采集操作為多個連續(xù)時間戳分別對應的信息采集操作，信息采集操作包括圖像數(shù)據(jù)采集操作和點云數(shù)據(jù)采集操作，歷史對象匹配結果用于指示在當前道路場景中與第一候選對象匹配的第二參考對象；將匹配次數(shù)最多的第二參考對象，確定為滿足歷史匹配條件的第二候選對象；或獲取匹配次數(shù)最多的第二參考對象的歷史匹配信息；在第二參考對象的歷史匹配信息指示，與第二參考對象匹配次數(shù)最多的候選對象并非第一候選對象的情況下，根據(jù)至少一個第二參考對象各自對應的匹配次數(shù)，確定對象獲取次序；根據(jù)對象獲取次序，從至少一個第二參考對象依次獲取一個第二參考對象作為當前參考對象；在當前參考對象的歷史匹配信息指示，第一候選對象為與當前參考對象匹配次數(shù)最多的候選對象的情況下，將當前參考對象確定為滿足歷史匹配條件的第二候選對象。

11、可選地，上述匹配模塊，還包括：校驗模塊，用于獲取與滿足歷史匹配條件的第二候選對象對應的第二標注框，以及根據(jù)關鍵幀匹配信息確定的與第一候選對象匹配的第二驗證候選對象對應的第二驗證標注框；在第二驗證標注框與第二標注框之間重疊區(qū)域的區(qū)域面積大于或等于面積閾值的情況下，確定匹配結果正確；在第二驗證標注框與第二標注框之間重疊區(qū)域的區(qū)域面積小于面積閾值的情況下，確定第二驗證標注框為第二待校正候選對象；根據(jù)與第二待校正候選對象所在關鍵幀對應的關鍵幀匹配信息，將與第一候選對象匹配的第二待校正候選對象修改為第二校正對象。

12、可選地，上述評測單元，還用于：將多個目標道路對象集合輸入待評測感知模型得到與多個目標道路對象集合分別匹配的模型預測結果；根據(jù)與每個目標道路對象集合分別匹配的模型預測結果和真值數(shù)據(jù)對待評測感知模型進行模型評測，得到類別評測結果，其中，類別評測結果用于指示多個類別的感知目標對應的評測結果；基于類別評測結果確定待評測感知目標類別，利用多個連續(xù)幀片段采集的道路數(shù)據(jù)對待評測感知模型在待評測感知目標類別的維度上進行評測，得到模型評測結果。

13、可選地，上述評測單元，還包括：第四確定單元，用于對多個連續(xù)幀片段采集的道路數(shù)據(jù)集各自對應的模型預測結果和真值數(shù)據(jù)對待評測感知模型進行模型評測，得到與多個連續(xù)幀片段各自對應的模型評測結果；在與多個連續(xù)幀片段各自對應的模型評測結果中確定滿足預設條件的模型評測結果為待確定評測結果；將與待確定評測結果對應的至少一個目標道路對象集合所匹配的場景標簽中的重復場景標簽確定為目標場景標簽；從與目標場景標簽匹配的目標道路對象集合中選擇單幀采集的目標道路數(shù)據(jù)；確定目標道路數(shù)據(jù)對應的模型預測結果和真值數(shù)據(jù)，并將目標道路數(shù)據(jù)對應的模型預測結果和真值數(shù)據(jù)進行匹配，得到單幀評測結果。

14、可選地，上述評測單元，還包括：第五確定單元，用于根據(jù)與至少一個目標道路對象集合對應的真值數(shù)據(jù)確定出至少一個目標道路對象集合中的至少一個參考障礙物與自車間的距離，其中，參考障礙物用于指示自車的周圍的靜態(tài)障礙物和動態(tài)障礙物；根據(jù)至少一個參考障礙物與自車間的距離和預設的距離閾值將至少一個參考障礙物區(qū)分為至少一個參考障礙物集合；根據(jù)至少一個參考障礙物集合對應的目標道路對象集合依次對待評測感知模型進行模型評測，得到模型評測結果，包括以下至少之一：計算模型預測結果和真值數(shù)據(jù)中的距離間的差值得到絕對距離誤差；計算絕對距離誤差與真值數(shù)據(jù)中的距離之間的比值得到相對距離誤差；計算模型預測結果和真值數(shù)據(jù)中的速度間的差值得到絕對速度誤差。

15、可選地，上述評測單元，還用于：確定待評測感知目標類別和目標距離閾值區(qū)間；獲取屬于目標場景標簽且待評測感知目標類別在目標距離閾值區(qū)間內的目標道路數(shù)據(jù)，并將目標道路數(shù)據(jù)確定為更新訓練數(shù)據(jù)；利用更新訓練數(shù)據(jù)對待評測感知模型進行訓練。

16、根據(jù)本技術實施例的又一方面，還提供了一種計算機可讀的存儲介質，該計算機可讀的存儲介質中存儲有計算機程序，其中，該計算機程序被設置為運行時執(zhí)行上述評測數(shù)據(jù)的確定方法。

17、根據(jù)本技術實施例的又一個方面，提供一種計算機程序產品，該計算機程序產品包括計算機程序/指令，該計算機指令存儲在計算機可讀存儲介質中。計算機設備的處理器從計算機可讀存儲介質讀取該計算機程序/指令，處理器執(zhí)行該計算機程序/指令，使得該計算機設備執(zhí)行如以上評測數(shù)據(jù)的確定方法。

18、根據(jù)本技術實施例的又一方面，還提供了一種電子設備，包括存儲器和處理器，上述存儲器中存儲有計算機程序，上述處理器被設置為通過上述計算機程序執(zhí)行上述的評測數(shù)據(jù)的確定方法。

19、在本技術實施例中，獲取按照多個數(shù)據(jù)采集條件下各自采集的道路數(shù)據(jù)集；然后根據(jù)多個數(shù)據(jù)采集條件各自對應的第一道路對象集合和第二道路對象集合之間的對象匹配結果，確定目標道路對象集合，其中，第一道路對象集合為對至少一個道路圖像進行對象識別得到的，第二道路對象集合為對至少一個點云圖像進行對象識別得到的；根據(jù)多個目標道路對象集合，對待評測感知模型分別進行模型評測，得到與多個目標道路對象集合分別匹配的模型評測結果；從而根據(jù)多個模型評測結果，從多個數(shù)據(jù)采集條件中確定出至少一個關鍵數(shù)據(jù)采集條件，其中，關鍵數(shù)據(jù)采集條件指示用于對待評測感知模型進行后續(xù)評測的評測道路數(shù)據(jù)集的采集條件。通過確定關鍵數(shù)據(jù)采集條件有指向性地獲取提升感知模型輸出的結果較差部分的訓練數(shù)據(jù)。解決了相關技術提供的評測數(shù)據(jù)的確定方法存在數(shù)據(jù)確定不準確、效率低的技術問題。提高了感知模型的優(yōu)化效率。