本技術(shù)涉及智慧交通，尤其涉及一種基于4d雷達(dá)與相機(jī)融合的目標(biāo)跟蹤方法。

背景技術(shù)：

1、隨著城市化進(jìn)程的加速和新能源汽車市場的蓬勃發(fā)展，交通的安全與效率成為了亟待解決的重大問題。智慧交通系統(tǒng)通過收集、處理和應(yīng)用交通信息，有效改善了交通狀況，提升了交通安全水平。其中，車輛檢測與跟蹤技術(shù)作為智慧交通系統(tǒng)前端感知功能的關(guān)鍵組成部分，在交通流量監(jiān)測等方面發(fā)揮著至關(guān)重要的作用。近年來，隨著深度學(xué)習(xí)研究的推進(jìn)和計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于相機(jī)的檢測與跟蹤技術(shù)取得了顯著進(jìn)步。攝像頭能夠提供豐富的視覺信息，對(duì)于識(shí)別車輛的位置、尺寸等細(xì)節(jié)具有天然優(yōu)勢(shì)。然而，其性能受光線條件、天氣變化等因素的影響較大。與此相對(duì)，4d毫米波雷達(dá)作為一種新興的傳感技術(shù)，近年來嶄露頭角。相較于傳統(tǒng)3d雷達(dá)，4d雷達(dá)增大了在豎直方向上的觀測范圍，不僅能夠測量距離、速度和方位角，還能提供俯仰角信息，極大地提高了探測精度。雷達(dá)的特性使其能夠在各種惡劣天氣條件下穩(wěn)定工作，并且不受夜間光照條件的影響，因此在全天候運(yùn)行的智慧交通系統(tǒng)中展現(xiàn)出巨大的應(yīng)用潛力。

2、由于雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)的不同特性，傳統(tǒng)目標(biāo)檢測方法對(duì)其有不同的處理方式。傳統(tǒng)的雷達(dá)跟蹤通常直接對(duì)雷達(dá)數(shù)據(jù)使用諸如恒虛警率(cfar)等信號(hào)處理算法獲取點(diǎn)云數(shù)據(jù)，并進(jìn)行目標(biāo)聚類檢測和跟蹤。相機(jī)跟蹤則通常使用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行檢測，再將檢測結(jié)果用于跟蹤算法中。盡管4d雷達(dá)和攝像頭在跟蹤方面各有優(yōu)勢(shì)，但單一傳感器的使用往往無法滿足復(fù)雜交通環(huán)境下對(duì)高精度、高魯棒性的需求。具體而言，雷達(dá)數(shù)據(jù)具有較高的噪聲水平，難以獲得非常精確的目標(biāo)尺寸信息；此外，當(dāng)雷達(dá)遇到靜止或頻繁停頓的目標(biāo)時(shí)，由于其算法無法區(qū)分相似的靜止目標(biāo)和背景噪聲目標(biāo)，使其容易丟失靜態(tài)跟蹤目標(biāo)。而攝像頭由于其平面成像的特性，無法直接檢測目標(biāo)的深度信息，且先驗(yàn)假設(shè)往往不準(zhǔn)確，從而有著較差的目標(biāo)方位和速度估計(jì)；在近距離下由于視野導(dǎo)致的目標(biāo)像素位置劇烈變動(dòng)也可能導(dǎo)致丟失目標(biāo)。相比之下，4d雷達(dá)對(duì)于目標(biāo)方位和速度的檢測有著更高的可信度，而相機(jī)則可以直觀準(zhǔn)確地估計(jì)目標(biāo)的尺寸大小。

3、為了更有效地利用兩種傳感器的優(yōu)勢(shì)，可以采用融合方法結(jié)合4d雷達(dá)和相機(jī)，以有效應(yīng)對(duì)各種環(huán)境挑戰(zhàn)，特別是在復(fù)雜交通場景下的車輛跟蹤任務(wù)，例如停車檢測等。最常見的做法是直接將兩種模態(tài)的檢測結(jié)果進(jìn)行簡單匹配并用于跟蹤，一些現(xiàn)有的研究則往往將兩種數(shù)據(jù)同時(shí)輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行融合，但這種深度學(xué)習(xí)方法通常有更慢的檢測速度而無法滿足實(shí)時(shí)需求。而這些做法都沒有考慮到當(dāng)其中的某一單一來源觀測數(shù)據(jù)是不可靠的情況下，簡單的融合往往會(huì)導(dǎo)致原本單一傳感器時(shí)更準(zhǔn)確的估計(jì)受到干擾和污染，從而損害跟蹤的精度。這些方法也無法應(yīng)對(duì)在某些狀況下導(dǎo)致的單個(gè)傳感器缺位的狀況，如相機(jī)過曝或處于大霧環(huán)境下無法檢測。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供一種基于4d雷達(dá)與相機(jī)融合的目標(biāo)跟蹤方法，用于道路環(huán)境下的多目標(biāo)車輛跟蹤，在利用4d雷達(dá)特性進(jìn)行全天候運(yùn)行的同時(shí)提高系統(tǒng)的魯棒性，至少部分解決現(xiàn)有技術(shù)中單一來源觀測數(shù)據(jù)不可靠的局限性，提高車輛跟蹤的準(zhǔn)確性和穩(wěn)定性。

2、本技術(shù)實(shí)施例提供一種基于4d雷達(dá)與相機(jī)融合的目標(biāo)跟蹤方法，包括：

3、將實(shí)時(shí)獲取的4d雷達(dá)數(shù)據(jù)和相機(jī)數(shù)據(jù)分別進(jìn)行目標(biāo)檢測，獲得目標(biāo)檢測結(jié)果，所述目標(biāo)檢測結(jié)果包括雷達(dá)目標(biāo)檢測結(jié)果和相機(jī)目標(biāo)檢測結(jié)果；

4、將所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果分別與當(dāng)前軌跡進(jìn)行匹配；

5、當(dāng)所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果中的至少一個(gè)與當(dāng)前軌跡不匹配時(shí)，基于所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果分別進(jìn)行目標(biāo)初始化，獲得標(biāo)記為雷達(dá)的初始化軌跡和標(biāo)記為相機(jī)的初始化軌跡；

6、當(dāng)所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果分別與當(dāng)前軌跡匹配時(shí)，利用所述目標(biāo)檢測結(jié)果對(duì)當(dāng)前軌跡進(jìn)行更新；

7、更新后，判斷所述標(biāo)記為雷達(dá)的初始化軌跡和所述標(biāo)記為相機(jī)的初始化軌跡是否符合軌跡融合規(guī)則，當(dāng)符合軌跡融合規(guī)則時(shí)，對(duì)所述標(biāo)記為雷達(dá)的初始化軌跡和所述標(biāo)記為相機(jī)的初始化軌跡進(jìn)行融合，生成融合軌跡，并將所述標(biāo)記為雷達(dá)的初始化軌跡和所述標(biāo)記為相機(jī)的初始化軌跡刪除；

8、在更新過程中，當(dāng)所述當(dāng)前軌跡為所述標(biāo)記為雷達(dá)的初始化軌跡時(shí)，利用所述雷達(dá)目標(biāo)檢測結(jié)果對(duì)所述標(biāo)記為雷達(dá)的初始化軌跡進(jìn)行更新；當(dāng)所述當(dāng)前軌跡為所述標(biāo)記為相機(jī)的初始化軌跡時(shí)，利用所述相機(jī)目標(biāo)檢測結(jié)果對(duì)所述標(biāo)記為相機(jī)的初始化軌跡進(jìn)行更新；當(dāng)所述當(dāng)前軌跡為所述融合軌跡時(shí)，利用所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果中的至少一個(gè)對(duì)所述融合軌跡進(jìn)行更新。

9、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述將實(shí)時(shí)獲取的4d雷達(dá)數(shù)據(jù)和相機(jī)數(shù)據(jù)分別進(jìn)行目標(biāo)檢測，獲得目標(biāo)檢測結(jié)果，包括：

10、對(duì)實(shí)時(shí)獲取的所述4d雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，獲得雷達(dá)點(diǎn)云數(shù)據(jù)；

11、對(duì)所述雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行聚類處理后進(jìn)行目標(biāo)檢測，獲得所述雷達(dá)目標(biāo)檢測結(jié)果，所述雷達(dá)目標(biāo)檢測結(jié)果包括雷達(dá)目標(biāo)的位置信息、速度信息和尺寸信息；

12、將實(shí)時(shí)獲取的所述相機(jī)數(shù)據(jù)通過圖像目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測，獲得在圖像平面上的所述相機(jī)目標(biāo)檢測結(jié)果，所述相機(jī)目標(biāo)檢測結(jié)果包括相機(jī)目標(biāo)的位置信息和尺寸信息。

13、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述基于所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果分別進(jìn)行目標(biāo)初始化，獲得標(biāo)記為雷達(dá)的初始化軌跡和標(biāo)記為相機(jī)的初始化軌跡，包括：

14、基于所述雷達(dá)目標(biāo)檢測結(jié)果進(jìn)行ekf建模，獲得雷達(dá)ekf模型；

15、根據(jù)第一初始化參數(shù)對(duì)所述雷達(dá)ekf模型進(jìn)行初始化，獲得所述標(biāo)記為雷達(dá)的初始化軌跡；

16、基于所述相機(jī)目標(biāo)檢測結(jié)果進(jìn)行ekf建模，獲得相機(jī)ekf模型；

17、根據(jù)第二初始化參數(shù)對(duì)所述相機(jī)ekf模型進(jìn)行初始化，獲得所述標(biāo)記為相機(jī)的初始化軌跡。

18、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述根據(jù)第一初始化參數(shù)對(duì)所述雷達(dá)ekf模型進(jìn)行初始化，獲得所述標(biāo)記為雷達(dá)的初始化軌跡，包括：

19、對(duì)所述雷達(dá)目標(biāo)的位置信息設(shè)置第一方差，對(duì)所述雷達(dá)目標(biāo)的速度信息設(shè)置第二方差，對(duì)所述雷達(dá)目標(biāo)的尺寸信息設(shè)置第三方差，所述第三方差大于所述第一方差和所述第二方差；

20、將所述雷達(dá)目標(biāo)的位置信息、所述雷達(dá)目標(biāo)的速度信息、所述雷達(dá)目標(biāo)的尺寸信息、所述第一方差、所述第二方差、所述第三方差以及第一噪聲參數(shù)作為所述第一初始化參數(shù)，根據(jù)所述第一初始化參數(shù)對(duì)所述雷達(dá)ekf模型進(jìn)行初始化，獲得所述標(biāo)記為雷達(dá)的初始化軌跡。

21、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述根據(jù)第二初始化參數(shù)對(duì)所述相機(jī)ekf模型進(jìn)行初始化，獲得所述標(biāo)記為相機(jī)的初始化軌跡，包括：

22、基于當(dāng)前幀的所述相機(jī)目標(biāo)檢測結(jié)果與前一幀的所述相機(jī)目標(biāo)檢測結(jié)果，獲得相機(jī)目標(biāo)的初始化速度；

23、根據(jù)所述相機(jī)目標(biāo)的初始化速度預(yù)估相機(jī)目標(biāo)的初始化位置和初始化尺寸；

24、對(duì)所述初始化速度設(shè)置第四方差，對(duì)所述初始化位置設(shè)置第五方差，對(duì)所述初始化尺寸設(shè)置第六方差；

25、將所述初始化速度、所述初始化位置、所述初始化尺寸、所述第四方差、所述第五方差、所述第六方差以及第二噪聲參數(shù)作為所述第二初始化參數(shù)，根據(jù)所述第二初始化參數(shù)對(duì)所述相機(jī)ekf模型進(jìn)行初始化，獲得所述標(biāo)記為相機(jī)的初始化軌跡。

26、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述軌跡融合規(guī)則包括：

27、計(jì)算當(dāng)前幀以及與當(dāng)前幀相鄰的連續(xù)多幀的所述標(biāo)記為雷達(dá)的初始化軌跡與所述標(biāo)記為相機(jī)的初始化軌跡的3d檢測框的iou值；

28、當(dāng)當(dāng)前幀以及與當(dāng)前幀相鄰的連續(xù)多幀的所述iou值均大于第一閾值時(shí)，將所述標(biāo)記為雷達(dá)的初始化軌跡和所述標(biāo)記為相機(jī)的初始化軌跡進(jìn)行融合。

29、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述利用所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果中的至少一個(gè)對(duì)所述融合軌跡進(jìn)行更新，包括：

30、當(dāng)所述4d雷達(dá)數(shù)據(jù)缺失時(shí)，利用所述相機(jī)目標(biāo)檢測結(jié)果對(duì)所述融合軌跡進(jìn)行更新；

31、當(dāng)所述相機(jī)數(shù)據(jù)缺失時(shí)，利用所述雷達(dá)目標(biāo)檢測結(jié)果對(duì)所述融合軌跡進(jìn)行更新；

32、當(dāng)所述4d雷達(dá)數(shù)據(jù)和所述相機(jī)數(shù)據(jù)均存在，且所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果與所述融合軌跡均匹配時(shí)，利用所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果共同對(duì)所述融合軌跡進(jìn)行更新。

33、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述利用所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果共同對(duì)所述融合軌跡進(jìn)行更新，包括：

34、對(duì)所述雷達(dá)目標(biāo)檢測結(jié)果中的所述雷達(dá)目標(biāo)的位置信息、速度信息和尺寸信息分別設(shè)置不同的權(quán)重系數(shù)，獲得第一組權(quán)重系數(shù)；

35、對(duì)所述相機(jī)目標(biāo)檢測結(jié)果中的所述相機(jī)目標(biāo)的位置信息、所述相機(jī)目標(biāo)的尺寸信息以及根據(jù)所述相機(jī)目標(biāo)的位置信息計(jì)算獲得的速度信息分別設(shè)置不同的權(quán)重系數(shù)，獲得第二組權(quán)重系數(shù)；

36、基于所述第一組權(quán)重系數(shù)和所述第二組權(quán)重系數(shù)，利用所述雷達(dá)目標(biāo)檢測結(jié)果和所述相機(jī)目標(biāo)檢測結(jié)果共同對(duì)所述融合軌跡進(jìn)行更新。

37、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述方法還包括：

38、對(duì)所述標(biāo)記為雷達(dá)的初始化軌跡或所述標(biāo)記為相機(jī)的初始化軌跡的連續(xù)匹配次數(shù)進(jìn)行計(jì)數(shù)；

39、當(dāng)連續(xù)匹配的次數(shù)超過第二閾值時(shí)，則該軌跡為可置信目標(biāo)；

40、當(dāng)連續(xù)匹配的次數(shù)低于第二閾值時(shí)，則該軌跡為不可置信目標(biāo)，并對(duì)該軌跡進(jìn)行刪除。

41、根據(jù)本技術(shù)實(shí)施例的一種具體實(shí)現(xiàn)方式，所述方法還包括：

42、對(duì)所述融合軌跡、所述標(biāo)記為雷達(dá)的初始化軌跡或所述標(biāo)記為相機(jī)的初始化軌跡的連續(xù)未匹配次數(shù)進(jìn)行計(jì)數(shù)；

43、當(dāng)4d雷達(dá)數(shù)據(jù)和相機(jī)數(shù)據(jù)都缺失時(shí)，利用連續(xù)未匹配次數(shù)計(jì)算上一幀計(jì)算與下一幀計(jì)算的時(shí)間間隔；

44、當(dāng)連續(xù)未匹配次數(shù)超過第三閾值時(shí)，對(duì)該軌跡進(jìn)行刪除。

45、有益效果：

46、本技術(shù)實(shí)施例中的基于4d雷達(dá)與相機(jī)融合的目標(biāo)跟蹤方法，將實(shí)時(shí)獲取的4d雷達(dá)數(shù)據(jù)和相機(jī)數(shù)據(jù)分別進(jìn)行目標(biāo)檢測，根據(jù)目標(biāo)檢測結(jié)果，雷達(dá)和相機(jī)各自進(jìn)行目標(biāo)初始化，獲得各自對(duì)應(yīng)的初始化軌跡；在跟蹤過程中將符合一定匹配條件的雷達(dá)和相機(jī)的跟蹤軌跡融合，結(jié)合各自的優(yōu)勢(shì)觀測得到新的融合軌跡；軌跡在觀測過程中使用雷達(dá)和相機(jī)的觀測量進(jìn)行更新，當(dāng)與兩種傳感器觀測都匹配時(shí)則進(jìn)行聯(lián)合更新，當(dāng)某個(gè)傳感器缺位時(shí)也可以獨(dú)立更新；維護(hù)跟蹤目標(biāo)獲得最終的跟蹤結(jié)果。因此，本技術(shù)的軌跡融合方法的設(shè)計(jì)提高了目標(biāo)跟蹤的精度、連續(xù)性和穩(wěn)定性，能夠更好地利用傳感器的特點(diǎn)從而有效避免了多模態(tài)干擾問題。