本發(fā)明涉及目標(biāo)檢測(cè)和模型輕量化領(lǐng)域，針對(duì)真實(shí)的駕駛場景中，由于場景的復(fù)雜，包含了很多遮擋以及較小的目標(biāo)，導(dǎo)致了在檢測(cè)過程中出現(xiàn)漏檢、誤檢等現(xiàn)象的出現(xiàn)。提出了一種基于多尺度輕量級(jí)模型的自動(dòng)駕駛目標(biāo)檢測(cè)方法，適用于復(fù)雜的交通場景下的目標(biāo)檢測(cè)任務(wù)。

背景技術(shù)：

1、隨著城市化的加速發(fā)展，道路上的車輛越來越多。一方面，車輛給人們的出行帶來了方便，尤其是在自駕旅行中。另一方面，它也引發(fā)了交通擁堵和交通事故等諸多社會(huì)問題。自動(dòng)駕駛技術(shù)就可以通過優(yōu)化交通流量和避免交通事故來解決這些問題，同時(shí)也可以為駕駛者提供休息，減少長時(shí)間駕駛造成的疲勞。其中目標(biāo)檢測(cè)在自動(dòng)駕駛中是一個(gè)很重要的環(huán)節(jié)，可以通過深度學(xué)習(xí)在車輛行駛過程中識(shí)別和檢測(cè)周圍環(huán)境中的各種物體和障礙物，以幫助車輛做出適當(dāng)?shù)臎Q策和行駛規(guī)劃。利用深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可以在實(shí)際交通情況下檢測(cè)出道路上的車輛、行人、交通信號(hào)等物體。然而一些研究人員為了獲得更高的目標(biāo)檢測(cè)性能，采用了復(fù)雜的模型，由于車輛的計(jì)算資源有限，這些復(fù)雜的模型難以部署在嵌入式設(shè)備上，也無法在自動(dòng)駕駛過程中實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。因此在車載計(jì)算單元上部署，并提升這些模型的檢測(cè)精度依然具有挑戰(zhàn)性。

2、近年來，隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，許多基于深度學(xué)習(xí)的算法在目標(biāo)檢測(cè)方面表現(xiàn)突出。一方面是girshick等人提出的的r-cnn[2]、fast?r-cnn[3]、faster?r-cnn[4]和mask?r-cnn[5]等兩階段目標(biāo)檢測(cè)算法，這些算法雖然具有較高的檢測(cè)精度，但是由于計(jì)算量太大，檢測(cè)所需的時(shí)間太多，影響目標(biāo)檢測(cè)的效率。另一方面是joseph?redmon等人提出的yolo[6-8]、ssd[9]等單階段目標(biāo)檢測(cè)算法。目前單階段的檢測(cè)算法的準(zhǔn)確率也有了很大的提高，這使得近些年單階段的算法被應(yīng)用在對(duì)實(shí)時(shí)性有較高要求的任務(wù)中，于是很多研究者就將單階段的算法應(yīng)用在駕駛場景中的目標(biāo)檢測(cè)中。在駕駛場景中的目標(biāo)檢測(cè)任務(wù)中，提升檢測(cè)精度往往就需要增加網(wǎng)絡(luò)的深度，這也將導(dǎo)致模型參數(shù)量和計(jì)算量的增加。因此，如何在保持檢測(cè)精度的同時(shí)，有效的較少模型的參數(shù)量和計(jì)算量，成為一個(gè)需要解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種基于跨空間學(xué)習(xí)的多尺度自動(dòng)駕駛目標(biāo)檢測(cè)方法，為解決自動(dòng)駕駛場景中傳統(tǒng)目標(biāo)檢測(cè)存在的對(duì)復(fù)雜背景漏檢、誤檢等現(xiàn)象的出現(xiàn)，以及遮擋、小目標(biāo)檢測(cè)精度低的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)解決方案：一種基于跨空間學(xué)習(xí)的多尺度自動(dòng)駕駛目標(biāo)檢測(cè)方法，步驟如下：

3、步驟1：將kitti和bdd100k數(shù)據(jù)集的標(biāo)簽類別進(jìn)行重新分類，并將分類后的數(shù)據(jù)集以8：1：1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

4、步驟2：在主干網(wǎng)絡(luò)中，通過多尺度線性注意力模塊來實(shí)現(xiàn)全局感受野和多尺度學(xué)習(xí)。

5、步驟3：利用一種新的跨空間學(xué)習(xí)方法聚合多個(gè)并行子網(wǎng)絡(luò)的輸出特征圖，同時(shí)在頸部的c2f中結(jié)合新的pconv卷積來有效的減少冗余計(jì)算和內(nèi)存訪問。

6、步驟4：改進(jìn)了一種siou結(jié)合歸一化高斯wasserstein距離的回歸損失算法來更準(zhǔn)確地定位目標(biāo)。

7、步驟5：對(duì)網(wǎng)絡(luò)分別在kitti和bdd100k數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。

8、進(jìn)一步地，所述步驟一中kitti數(shù)據(jù)集和bdd100k是用于自動(dòng)駕駛和車輛行人檢測(cè)性能評(píng)估的一個(gè)非常重要的數(shù)據(jù)集。對(duì)kitti數(shù)據(jù)集進(jìn)行處理后，類別主要分為八類：car，truck，person，van，cyclis，misc，tram，person_sitting。對(duì)bdd100k數(shù)據(jù)集進(jìn)行處理后，類別主要分為七類：car，truck，bicycle，pedestrian，bus，rider，motorcycle。其中kitti數(shù)據(jù)集7481張，bdd100k數(shù)據(jù)集15800張。將兩個(gè)數(shù)據(jù)集按訓(xùn)練集、驗(yàn)證集、測(cè)試集隨機(jī)分為8：1：1的比例。

9、進(jìn)一步地，所述步驟二中采用了計(jì)算量和內(nèi)存訪問更小的網(wǎng)絡(luò)efficientvit_m0替換原本的主干網(wǎng)絡(luò)。efficientvit-b0是一種基于cnn(convolutional?neural?network)和transformer的輕量型混合架構(gòu)，同時(shí)具有cnn結(jié)構(gòu)和transformer結(jié)構(gòu)的優(yōu)點(diǎn)。efficientvit-b0保留了卷積神經(jīng)網(wǎng)絡(luò)的歸納偏置能力，加速網(wǎng)絡(luò)收斂，使模型更加穩(wěn)定。efficientvit-b0的transformer結(jié)構(gòu)使模型建立全局圖像的長距離連接，具有更強(qiáng)的全局感受野與魯棒性，提高了模型的泛化能力。

10、進(jìn)一步地，所述步驟三中為了改善輕量化骨干帶來的精度損失，增強(qiáng)骨干網(wǎng)絡(luò)的特征表示和注意力分配能力，在骨干網(wǎng)絡(luò)中添加ema(efficient?multi-scale?attentionmodule?with?cross-spatial?learning)跨空間學(xué)習(xí)高效多尺度注意力機(jī)制，該模塊對(duì)部分通道進(jìn)行重組，將通道維度劃分為多個(gè)子特征組，實(shí)現(xiàn)空間語義特征的均勻分布。

11、進(jìn)一步地，在前端使用兩個(gè)并行分支來提取特征圖的注意力權(quán)重，具有更好地捕捉跨通道之間關(guān)系的優(yōu)點(diǎn)。在模塊后端，采用跨維度交互方式對(duì)兩個(gè)分支輸出的特征進(jìn)行處理。這樣，網(wǎng)絡(luò)可以更好地利用不同分支的信息，從而提高模型的性能和泛化能力。

12、進(jìn)一步地，為了確保模型尺寸要求，實(shí)現(xiàn)自動(dòng)駕駛車輛的實(shí)時(shí)檢測(cè)，引入了輕量級(jí)網(wǎng)絡(luò)fasternet，fasternet是用于目標(biāo)檢測(cè)的輕量級(jí)高效神經(jīng)網(wǎng)絡(luò)。提出了一種新的卷積模塊部分卷積(partial?convolution,pconv)，pconv通過同時(shí)減少計(jì)算冗余和內(nèi)存訪問次數(shù)能更有效地提取空間特征。

13、進(jìn)一步地，所述步驟四中為了進(jìn)一步提高模型檢測(cè)小目標(biāo)的性能，本文將ciou損失替換為siou損失函數(shù)結(jié)合nwd損失形成新的損失函數(shù)siou-nwd。siou損失通過添加角度懲罰項(xiàng)來提升定位精度和收斂速度，優(yōu)化了模型的訓(xùn)練和推理過程，提高了車輛檢測(cè)網(wǎng)絡(luò)的檢測(cè)速度和精度。而nwd損失通過wasserstein距離的框相似度度量方法來提高小目標(biāo)的檢測(cè)能力。計(jì)算公式如下：

14、

15、lnwd＝1-nwd(na,nb)

16、ls_nwd＝0.5lsiou+0.5lnwd

17、ls_nwd損失是將siou損失與nwd損失相融合，既保持了siou損失的高速度，又增強(qiáng)了對(duì)小目標(biāo)的檢測(cè)性能。

18、進(jìn)一步地，所述步驟五中將原始的yolov8網(wǎng)絡(luò)模型和改進(jìn)后的網(wǎng)絡(luò)模型在處理后的數(shù)據(jù)集上進(jìn)行訓(xùn)練。為了證明改進(jìn)模型的有效性，設(shè)置多組模塊對(duì)比實(shí)驗(yàn)。

19、進(jìn)一步地，深度學(xué)習(xí)的框架為torch-1.13.1+cu117，每次實(shí)驗(yàn)迭代次數(shù)150次，批量大小batchsize為16，初始學(xué)習(xí)率為0.01，權(quán)重衰減系數(shù)為0.0005。

20、本發(fā)明的有益效果：本發(fā)明提出一種基于跨空間學(xué)習(xí)的多尺度自動(dòng)駕駛目標(biāo)檢測(cè)方法，針對(duì)傳統(tǒng)自動(dòng)駕駛中目標(biāo)檢測(cè)算法對(duì)遮擋以及小目標(biāo)檢測(cè)精度低的問題，在主干部分通過引入efficientvit基于級(jí)聯(lián)組注意力的記憶高效視覺transformer，它能夠很好的在速度和準(zhǔn)確性之間取得良好的平衡，比現(xiàn)有的高效模型表現(xiàn)的更好。然而我們?yōu)榱诉M(jìn)一步減少模型的大小，可以使模型更好的應(yīng)用于實(shí)際場景中，我們對(duì)頸部的c2f模塊進(jìn)行了修改，融合了一重基于pconv卷積的輕量、快速的神經(jīng)網(wǎng)絡(luò)，使其在真實(shí)場景中獲得更快的運(yùn)行速度，同時(shí)又不影響目標(biāo)檢測(cè)精度，此外，我們還在骨干網(wǎng)絡(luò)中以及c2f中融入了跨空間學(xué)習(xí)的高效多尺度注意力模塊ema，進(jìn)一步提升檢測(cè)性能。最后為了提升檢測(cè)中小目標(biāo)的檢測(cè)精度，融合siou損失函數(shù)和nwd損失函數(shù)改進(jìn)了新的損失siou-nwd來替換ciou。