本發(fā)明涉及自動駕駛環(huán)境感知領(lǐng)域。具體為一種多任務聯(lián)合圖像識別方法。

背景技術(shù)：

1、在自動駕駛車輛運行場景中，需要同步進行車輛、行人、紅綠燈、交通標志牌、障礙物信息的檢測以及路面上車道線和可行駛區(qū)域的識別?，F(xiàn)有技術(shù)中通過使用多個模型解決同一應用場景下多類檢測任務的需求，但是現(xiàn)有的各個檢測任務獨立執(zhí)行，存在一定的內(nèi)存帶寬浪費，且無法利用不同檢測任務之間的相關(guān)語義特征，導致模型推理過程中硬件資源消耗較高且識別精度較低。

技術(shù)實現(xiàn)思路

1、本發(fā)明為了解決背景技術(shù)中存在的問題，目的在于提供了一種多任務聯(lián)合圖像識別方法，可同時進行車道線識別、可行駛區(qū)域與道路目標檢測。

2、用于解決問題的方案

3、一種多任務聯(lián)合圖像識別方法，所述方法包括：

4、獲取回傳圖像數(shù)據(jù)并標注，構(gòu)建訓練數(shù)據(jù)集；

5、構(gòu)建多任務聯(lián)合圖像識別模型，所述多任務聯(lián)合圖像識別模型的深度網(wǎng)絡模型，包括依次連接的特征提取骨干網(wǎng)絡、neck特征融合網(wǎng)絡和多任務聯(lián)合識別網(wǎng)絡檢測分支；

6、加載訓練數(shù)據(jù)，設置超參數(shù)，模型訓練優(yōu)化并保存相應權(quán)重，其中，所述超參數(shù)包括學習率、優(yōu)化器、迭代輪數(shù)、iou閾值和anchor閾值；

7、加載模型權(quán)重，評估精度，所述評估精度指標分割任務為像素準確率、平均交并比，目標檢測任務為交并比為0.5下的平均準確率；

8、輸出結(jié)果后處理，所述后處理包括目標檢測任務后處理、可行駛區(qū)域分割任務后處理和車道線檢測分割任務后處理。

9、進一步，所述構(gòu)建訓練數(shù)據(jù)集具體包括：獲取車輛運行道路場景的圖像信息，同步標注圖像中的目標檢測信息和道路結(jié)構(gòu)語義分割信息，得到訓練數(shù)據(jù)集；所述目標檢測信息包括圖像中待標注物體的2d框坐標以及待標注物體類別，所述道路結(jié)構(gòu)語義分割信息包括車道線與可行駛區(qū)域所在像素點。

10、進一步，所述共享特征提取骨干網(wǎng)絡以圖像數(shù)據(jù)作為輸入，處理得到不同尺度的全局特征信息與局部特征信息，用于后續(xù)檢測任務處理；

11、所述neck特征融合網(wǎng)絡對骨干網(wǎng)絡提取的特征進行加工，輸出至多任務聯(lián)合識別網(wǎng)絡檢測分支進行具體的任務學習；

12、所述多任務聯(lián)合識別網(wǎng)絡檢測分支包括目標檢測、可行駛區(qū)域分割和車道線分割三個任務的解碼器，目標檢測任務解碼器使用基于錨框的多尺度檢測技術(shù)，路徑聚合panet層自下而上傳輸圖像特征，由此獲得的多尺度融合特征圖用于檢測；可行駛區(qū)域分割與車道線分割任務使用相同的網(wǎng)絡結(jié)構(gòu)，通過三次上采樣處理輸出特征尺寸為輸入圖像尺寸大小。

13、進一步，所述特征提取骨干網(wǎng)絡使用cspdarknet，neck層使用空間金字塔spp，spp模型用于生成并融合不同尺度的特征。

14、進一步，所述模型訓練優(yōu)化包括：基于構(gòu)建數(shù)據(jù)集以8:2比例劃分訓練集與測試集；對于訓練數(shù)據(jù)集中目標檢測任務的標簽，使用k-means聚類方法得到與訓練數(shù)據(jù)檢測框相匹配的anchor設置；加載訓練數(shù)據(jù)集，初始化超參數(shù)，所述超參數(shù)包括學習率、優(yōu)化器、迭代輪數(shù)、iou閾值、anchor閾值；迭代優(yōu)化模型，采用圖像翻轉(zhuǎn)、hsv色域變換、mosaic方法進行圖像增廣，以增廣后的圖像數(shù)據(jù)作為輸入，計算模型預測結(jié)果與標簽誤差值，誤差值為目標檢測損失與可行駛區(qū)域、車道線分割任務的損失加權(quán)和；

15、整體損失計算公式為：

16、lall＝γ1ldet+γ2lda-seg+γ3lll-seg

17、目標檢測損失為分類損失、置信度損失、位置損失的加權(quán)和，計算公式為：

18、

19、可行駛區(qū)域損失采用交叉熵損失，計算公式為：

20、lda-seg＝lce

21、車道線損失采用交叉熵損失和交并比損失，計算公式為：

22、

23、lll-seg＝lce+liou

24、模型訓練過程中使用adam優(yōu)化損失函數(shù)誤差。

25、進一步，所述輸出結(jié)果后處理，具體包括：目標檢測結(jié)果、可行駛區(qū)域分割掩碼圖和車道線分割掩碼圖；目標檢測結(jié)果采用非極大抑制方法進行后處理，輸出結(jié)果包括目標物類別、置信度和檢測框坐標點；可行駛區(qū)域與車道線分割任務輸出結(jié)果做進一步后處理，可行駛區(qū)域分割掩碼圖通過二值化后采用閉運算填充間斷和小孔；車道線分割任務檢測結(jié)果二值化后再通過dbscan聚類和滑動窗口進行聚類搜索，剔除孤立特征點簇，得到若干車道線點集。

26、進一步，所述方法還包括：模型部署推理，將迭代優(yōu)化完成后的模型權(quán)重文件剪枝壓縮，并進行int8量化，將模型部署至邊緣端控制器推理。

27、有益效果：

28、上述技術(shù)方案的有益效果在于：

29、該多任務聯(lián)合圖像識別檢測模型可同時進行車道線、可行駛區(qū)域的道路結(jié)構(gòu)識別以及車輛、行人、紅綠燈、交通標志牌等道路目標檢測。實現(xiàn)自動駕駛感知任務中多個類別的同步識別，可以一次性得到待測圖像中的所有目標信息，節(jié)省了硬件資源和顯存資源，并且本發(fā)明檢測尺度多樣化，魯棒性較強，在復雜場景下的檢測精度高、速度快。

技術(shù)特征：

1.一種多任務聯(lián)合圖像識別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種多任務聯(lián)合圖像識別方法，其特征在于，所述構(gòu)建訓練數(shù)據(jù)集具體包括：獲取車輛運行道路場景的圖像信息，同步標注圖像中的目標檢測信息和道路結(jié)構(gòu)語義分割信息，得到訓練數(shù)據(jù)集；所述目標檢測信息包括圖像中待標注物體的2d框坐標以及待標注物體類別，所述道路結(jié)構(gòu)語義分割信息包括車道線與可行駛區(qū)域所在像素點。

3.根據(jù)權(quán)利要求1所述的一種多任務聯(lián)合圖像識別方法，其特征在于，所述共享特征提取骨干網(wǎng)絡以圖像數(shù)據(jù)作為輸入，處理得到不同尺度的全局特征信息與局部特征信息，用于后續(xù)檢測任務處理；

4.根據(jù)權(quán)利要求1所述的一種多任務聯(lián)合圖像識別方法，其特征在于，所述特征提取骨干網(wǎng)絡使用cspdarknet，neck層使用空間金字塔spp，spp模型用于生成并融合不同尺度的特征。

5.根據(jù)權(quán)利要求1所述的一種多任務聯(lián)合圖像識別方法，其特征在于，所述模型訓練優(yōu)化包括：基于構(gòu)建數(shù)據(jù)集以8:2比例劃分訓練集與測試集；對于訓練數(shù)據(jù)集中目標檢測任務的標簽，使用k-means聚類方法得到與訓練數(shù)據(jù)檢測框相匹配的anchor設置；加載訓練數(shù)據(jù)集，初始化超參數(shù)，所述超參數(shù)包括學習率、優(yōu)化器、迭代輪數(shù)、iou閾值、anchor閾值；迭代優(yōu)化模型，采用圖像翻轉(zhuǎn)、hsv色域變換、mosaic方法進行圖像增廣，以增廣后的圖像數(shù)據(jù)作為輸入，計算模型預測結(jié)果與標簽誤差值，誤差值為目標檢測損失與可行駛區(qū)域、車道線分割任務的損失加權(quán)和；

6.根據(jù)權(quán)利要求1所述的一種多任務聯(lián)合圖像識別方法，其特征在于，所述輸出結(jié)果后處理，具體包括：目標檢測結(jié)果、可行駛區(qū)域分割掩碼圖和車道線分割掩碼圖；目標檢測結(jié)果采用非極大抑制方法進行后處理，輸出結(jié)果包括目標物類別、置信度和檢測框坐標點；可行駛區(qū)域與車道線分割任務輸出結(jié)果做進一步后處理，可行駛區(qū)域分割掩碼圖通過二值化后采用閉運算填充間斷和小孔；車道線分割任務檢測結(jié)果二值化后再通過dbscan聚類和滑動窗口進行聚類搜索，剔除孤立特征點簇，得到若干車道線點集。

7.根據(jù)權(quán)利要求1所述的一種多任務聯(lián)合圖像識別方法，其特征在于，所述方法還包括：模型部署推理，將迭代優(yōu)化完成后的模型權(quán)重文件剪枝壓縮，并進行int8量化，將模型部署至邊緣端控制器推理。

技術(shù)總結(jié)
本發(fā)明涉及一種多任務聯(lián)合圖像識別方法，涉及計算機視覺和深度學習技術(shù)領(lǐng)域；包括：構(gòu)建訓練樣本；構(gòu)建多任務聯(lián)合圖像識別模型，設置模型訓練超參數(shù)，將訓練數(shù)據(jù)輸入特征提取骨干網(wǎng)絡，獲得骨干網(wǎng)絡輸出特征圖；將特征圖輸入至neck網(wǎng)絡，輸出多尺度特征圖；將多尺度特征圖輸入多任務檢測分支，得到多個任務預測結(jié)果；將結(jié)果與數(shù)據(jù)集標簽計算評估損失值，通過優(yōu)化器迭代訓練優(yōu)化；得到模型權(quán)重后加載測試數(shù)據(jù)評估；目標檢測結(jié)果采用非極大抑制進行后處理，可行駛區(qū)域分割結(jié)果采用形態(tài)學操作方法填充間斷和小孔提取邊界點，車道線分割結(jié)果采用聚類和滑動窗口搜索，剔除孤立特征點簇后進行車道線擬合；最后將模型部署控制器推理。

技術(shù)研發(fā)人員：陳喆,馮凱,樊楨珍,吉星,李維晉,許丹,張文博
受保護的技術(shù)使用者：陜西重型汽車有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9