本技術(shù)涉及自動駕駛領(lǐng)域,具體而言,涉及一種道路對象的匹配方法、裝置和存儲介質(zhì)及電子設(shè)備。
背景技術(shù):
1、在大規(guī)模視覺定位領(lǐng)域,直接2d-3d匹配技術(shù)被提出以提高定位精度。這種技術(shù)旨在通過直接匹配2d圖像中的像素與3d模型中的點來實現(xiàn)精確定位;現(xiàn)有技術(shù)通?;趦?yōu)化的方法從初始姿態(tài)估計開始,通過迭代方法進行匹配,但這些方法通常需要大量的優(yōu)化步驟,計算成本高,并且對初始值較為敏感;并且當前的深度學(xué)習(xí)模型主要依賴于全監(jiān)督學(xué)習(xí)策略,這對標記數(shù)據(jù)的需求很高。在實際應(yīng)用中,獲取大量的精確標記數(shù)據(jù)是昂貴且耗時的。
2、此外,現(xiàn)有技術(shù)對3d信息檢測容易受到關(guān)鍵視覺線索(例如,眩光或模糊、黑暗中不可見的車道或嚴重陰影)的喪失影響,這可以在某些情況下導(dǎo)致檢測失??;也就是說,現(xiàn)有技術(shù)中存在道路對象2d信息和3d信息匹配不準確的技術(shù)問題。
技術(shù)實現(xiàn)思路
1、本技術(shù)實施例提供了一種道路對象的匹配方法、裝置和存儲介質(zhì)及電子設(shè)備,以至少解決相關(guān)技術(shù)中在道路對象的匹配不準確的技術(shù)問題。
2、根據(jù)本技術(shù)實施例的一個方面,提供了一種道路對象的匹配方法,包括:獲取與目標道路場景匹配的第一道路對象集合和第二道路對象集合,其中,第一道路對象集合為對目標道路場景對應(yīng)的目標道路圖像進行圖像識別得到的,第二道路對象集合為對目標道路場景對應(yīng)的點云圖像進行點云識別得到的;獲取第一道路對象集合與第二道路對象集合中的多個候選對象之間的對象位置關(guān)系;在第一道路對象集合的第一候選對象與第二道路對象集合中的第二候選對象之間的對象位置關(guān)系滿足目標位置條件的情況下,確定第一候選對象和第二候選對象之間的對象匹配關(guān)系,其中,具有對象匹配關(guān)系的第一候選對象和第二候選對象用于指示目標道路場景中的同一個目標道路對象;在第一道路對象集合的第一候選對象,與第二道路對象集合中的任意一個候選對象之間的對象位置關(guān)系均不滿足目標位置條件的情況下,根據(jù)第一候選對象的歷史匹配信息,從第二道路對象集合中確定出滿足歷史匹配條件的第二候選對象,其中,歷史匹配信息包括至少一個歷史道路場景各自對應(yīng)的對象匹配結(jié)果,歷史道路場景對應(yīng)的采集時間戳早于目標道路場景的采集時間戳。
3、根據(jù)本技術(shù)實施例的另一方面,還提供了一種道路對象的匹配裝置,包括:第一獲取單元,獲取與目標道路場景匹配的第一道路對象集合和第二道路對象集合,其中,第一道路對象集合為對目標道路場景對應(yīng)的目標道路圖像進行圖像識別得到的,第二道路對象集合為對目標道路場景對應(yīng)的點云圖像進行點云識別得到的;第二獲取單元,獲取第一道路對象集合與第二道路對象集合中的多個候選對象之間的對象位置關(guān)系;第一確定單元,在第一道路對象集合的第一候選對象與第二道路對象集合中的第二候選對象之間的對象位置關(guān)系滿足目標位置條件的情況下,確定第一候選對象和第二候選對象之間的對象匹配關(guān)系,其中,具有對象匹配關(guān)系的第一候選對象和第二候選對象用于指示目標道路場景中的同一個目標道路對象;第二確定單元,在第一道路對象集合的第一候選對象,與第二道路對象集合中的任意一個候選對象之間的對象位置關(guān)系均不滿足目標位置條件的情況下,根據(jù)第一候選對象的歷史匹配信息,從第二道路對象集合中確定出滿足歷史匹配條件的第二候選對象,其中,歷史匹配信息包括至少一個歷史道路場景各自對應(yīng)的對象匹配結(jié)果,歷史道路場景對應(yīng)的采集時間戳早于目標道路場景的采集時間戳。
4、作為一種可選的方案,上述道路對象的匹配裝置,還包括:第三確定單元,用于在第一候選對象對應(yīng)的第一標注框與第二候選對象的第二標注框之間的重疊區(qū)域的區(qū)域面積大于或等于面積閾值的情況下,確定第一候選對象和第二候選對象之間的對象匹配關(guān)系;在第一候選對象對應(yīng)的第一標注框與第二候選對象的第二標注框之間的標注框距離的小于或等于距離閾值的情況下,確定第一候選對象和第二候選對象之間的對象匹配關(guān)系;其中,第一標注框用于指示第一候選對象在目標道路圖像中的第一圖像區(qū)域,第二標注框用于指示第二候選對象在目標道路圖像中的第二圖像區(qū)域,第二圖像區(qū)域為基于第二候選對象匹配的點云信息在目標道路圖像的投影結(jié)果。
5、作為一種可選的方案,上述第三確定單元,包括:第三獲取模塊,用于獲取對目標道路場景采集得到的點云圖像;對點云圖像進行點云識別,得到第二參考道路對象集合,其中,第二參考道路對象集合中包括多個參考對象;基于第二參考道路對象集合各自匹配的點云信息,確定多個參考對象在目標道路圖像中分別投影得到的參考標注框;根據(jù)多個參考標注框在目標道路圖像中的遮擋關(guān)系,從多個參考標注框中篩選出未被遮擋的多個參考標注框;根據(jù)未被遮擋的多個參考標注框各自指示的候選對象,確定第二道路對象集合。
6、作為一種可選的方案,上述第三確定單元,包括:第四獲取模塊,用于在第一標注框,與第二道路對象集合中的任意一個候選對象各自的候選標注框之間的重疊區(qū)域,均小于面積閾值的情況下,從與第二道路對象集合匹配的第二參考標注框集合中,獲取與第一標注框匹配的第二參考標注框子集,其中,第二參考標注框子集中的第二參考標注框與第一標注框之間的重疊區(qū)域的區(qū)域面積大于0,且小于面積閾值;從第二參考標注框子集中確定出目標標注框,其中,第一標注框與目標標注框之間的重疊區(qū)域的區(qū)域面積,大于第二參考標注框子集中其他標注框各自對應(yīng)的重疊區(qū)域的區(qū)域面積;在目標標注框與第一標注框之間的標注框距離,滿足目標距離條件的情況下,確定目標標注框指示的第三候選對象確定與第一道路對象之間具有對象匹配關(guān)系。
7、作為一種可選的方案,上述第四獲取模塊包括:第五獲取模塊,用于獲取目標標注框,與第一參考標注框集合中多個第一參考標注框之間的標注框距離,其中,第一參考標注框用于指示第一道路對象集合中的候選對象在目標道路圖像中的圖像區(qū)域,多個第一參考標注框包括第一標注框;在目標標注框與第一標注框之間的標注框距離,均小于第一參考標注框集合中其他標注框各自對應(yīng)的標注框距離的情況下,確定目標標注框與第一標注框之間的標注框距離,滿足目標距離條件。
8、作為一種可選的方案,上述第二確定單元,還包括第六獲取模塊,用于獲取歷史匹配信息,其中,歷史匹配信息包括第一候選對象在多個歷史道路場景中的對象匹配結(jié)果,多個歷史道路場景和目標道路場景為多個信息采集操作分別對應(yīng)的道路場景,多個信息采集操作為多個連續(xù)時間戳分別對應(yīng)的信息采集操作,信息采集操作包括圖像數(shù)據(jù)采集操作和點云數(shù)據(jù)采集操作,對象匹配結(jié)果用于指示在當前道路場景中與第一候選對象匹配的第二參考對象;根據(jù)多個歷史道路場景各自對應(yīng)的對象匹配結(jié)果,從至少一個第二參考對象中確定出滿足歷史匹配條件的第二候選對象。
9、作為一種可選的方案,上述第六獲取模塊包括:第四確定模塊,用于將匹配次數(shù)最多的第二參考對象,確定為滿足歷史匹配條件的第二候選對象;獲取匹配次數(shù)最多的第二參考對象的歷史匹配信息;根據(jù)第二參考對象的歷史匹配信息,確定第二參考對象為滿足歷史匹配條件的第二候選對象。
10、作為一種可選的方案,上述第四確定模塊還用于在第二參考對象的歷史匹配信息指示,與第二參考對象匹配次數(shù)最多的候選對象并非第一候選對象的情況下,確定第二參考對象不滿足歷史匹配條件;根據(jù)至少一個第二參考對象各自對應(yīng)的匹配次數(shù),確定對象獲取次序;根據(jù)對象獲取次序,從至少一個第二參考對象依次獲取一個第二參考對象作為當前參考對象;在當前參考對象的歷史匹配信息指示,第一候選對象為與當前參考對象匹配次數(shù)最多的候選對象的情況下,將當前參考對象確定為滿足歷史匹配條件的第二候選對象。
11、作為一種可選的方案,上述第四確定模塊還用于在獲取與滿足歷史匹配條件的第二候選對象對應(yīng)的第二標注框,以及根據(jù)關(guān)鍵幀匹配信息確定的與第一候選對象匹配的第二驗證候選對象對應(yīng)的第二驗證標注框;在第二驗證標注框與第二標注框之間重疊區(qū)域的區(qū)域面積大于或等于面積閾值的情況下,確定匹配結(jié)果正確。
12、作為一種可選的方案,上述第四確定模塊還用于將匹配結(jié)果中與第一候選對象匹配次數(shù)最少的第二候選對象,確定為滿足校驗條件的第二待校正候選對象,其中,匹配結(jié)果中包括多個具有匹配關(guān)系的第一候選對象和第二候選對象;獲取與第二待校正候選對象匹配的關(guān)鍵幀,以及與關(guān)鍵幀對應(yīng)的關(guān)鍵幀匹配信息;根據(jù)關(guān)鍵幀匹配信息將與第一候選對象匹配的第二待校正候選對象修改為第二校正對象。
13、根據(jù)本技術(shù)實施例的又一個方面,提供一種計算機程序產(chǎn)品或計算機程序,該計算機程序產(chǎn)品或計算機程序包括計算機指令,該計算機指令存儲在計算機可讀存儲介質(zhì)中。計算機設(shè)備的處理器從計算機可讀存儲介質(zhì)讀取該計算機指令,處理器執(zhí)行該計算機指令,使得該計算機設(shè)備執(zhí)行如以上道路對象的匹配方法。
14、根據(jù)本技術(shù)實施例的又一方面,還提供了一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,其中,上述處理器通過計算機程序執(zhí)行上述的道路對象的匹配方法。
15、在本技術(shù)的上述實施例中,獲取與目標道路場景匹配的第一道路對象集合和第二道路對象集合,其中,第一道路對象集合為對目標道路場景對應(yīng)的目標道路圖像進行圖像識別得到的,第二道路對象集合為對目標道路場景對應(yīng)的點云圖像進行點云識別得到的;獲取第一道路對象集合與第二道路對象集合中的多個候選對象之間的對象位置關(guān)系;在第一道路對象集合的第一候選對象與第二道路對象集合中的第二候選對象之間的對象位置關(guān)系滿足目標位置條件的情況下,確定第一候選對象和第二候選對象之間的對象匹配關(guān)系,其中,具有對象匹配關(guān)系的第一候選對象和第二候選對象用于指示目標道路場景中的同一個目標道路對象;在第一道路對象集合的第一候選對象,與第二道路對象集合中的任意一個候選對象之間的對象位置關(guān)系均不滿足目標位置條件的情況下,根據(jù)第一候選對象的歷史匹配信息,從第二道路對象集合中確定出滿足歷史匹配條件的第二候選對象,其中,歷史匹配信息包括至少一個歷史道路場景各自對應(yīng)的對象匹配結(jié)果,歷史道路場景對應(yīng)的采集時間戳早于目標道路場景的采集時間戳。
16、通過本技術(shù)的上述實施方式,獲取與目標道路場景匹配的第一道路對象集合和第二道路對象集合;進而獲取第一道路對象集合與第二道路對象集合中的多個候選對象之間的對象位置關(guān)系;實現(xiàn)了在第一道路對象集合的第一候選對象與第二道路對象集合中的第二候選對象之間的對象位置關(guān)系滿足目標位置條件的情況下,確定第一候選對象和第二候選對象之間的對象匹配關(guān)系,其中,具有對象匹配關(guān)系的第一候選對象和第二候選對象用于指示目標道路場景中的同一個目標道路對象;在第一道路對象集合的第一候選對象,與第二道路對象集合中的任意一個候選對象之間的對象位置關(guān)系均不滿足目標位置條件的情況下,根據(jù)第一候選對象的歷史匹配信息,從第二道路對象集合中確定出滿足歷史匹配條件的第二候選對象,從而解決了現(xiàn)有技術(shù)中存在道路對象2d信息和3d信息匹配不準確的技術(shù)問題。