本發(fā)明涉及缺陷圖像處理，更具體地說，涉及基于改進yolov10網(wǎng)絡(luò)的道路缺陷檢測方法。

背景技術(shù)：

1、在20世紀中期，一些機械設(shè)備開始應(yīng)用于道路檢測。例如，路面平整度測量儀和表面摩擦系數(shù)測量儀等設(shè)備被用于檢測道路表面的狀況。這些機械檢測方法比人工檢測更高效，但仍存在一定的局限性，如覆蓋范圍有限，檢測速度較慢等。進入21世紀后，圖像處理和計算機視覺技術(shù)迅速發(fā)展，為道路缺陷檢測提供了新的手段。通過安裝在車輛或無人機上的高分辨率攝像頭，實時捕捉道路圖像和視頻，結(jié)合圖像處理算法，可以自動檢測并分類道路缺陷，圖像預處理技術(shù)如灰度化、濾波、邊緣檢測和形態(tài)學處理等，被廣泛應(yīng)用于提高圖像質(zhì)量和突出道路缺陷特征。這些技術(shù)幫助解決了圖像中的噪聲和光照變化問題，使得后續(xù)的檢測算法能夠更準確地識別缺陷。

2、近年來，機器學習和深度學習算法在圖像分類和目標檢測中的成功應(yīng)用，極大地推動了道路缺陷檢測技術(shù)的發(fā)展。傳統(tǒng)的機器學習方法如支持向量機(svm)和隨機森林等，被用于從預處理后的圖像中提取特征并進行分類。而深度學習方法如卷積神經(jīng)網(wǎng)絡(luò)(cnn)，則能夠在大量數(shù)據(jù)訓練下自動學習和提取特征，提高檢測精度。隨著計算能力的提升和大規(guī)模數(shù)據(jù)的產(chǎn)生，基于數(shù)據(jù)驅(qū)動的學習算法在道路缺陷檢測中表現(xiàn)出優(yōu)異的性能，實時檢測和處理技術(shù)通過開發(fā)高效的算法和硬件加速技術(shù)，實現(xiàn)了實時的道路缺陷檢測。例如，基于深度學習的cnn可以在gpu等硬件加速設(shè)備上運行，顯著提高檢測速度，滿足實時應(yīng)用的需求，深度學習技術(shù)，尤其是生成對抗網(wǎng)絡(luò)(gan)，在道路缺陷檢測中表現(xiàn)出了巨大的潛力。gan可以用于數(shù)據(jù)增強和圖像生成，提高模型的魯棒性和泛化能力。此外，遷移學習技術(shù)也被廣泛應(yīng)用，通過利用預訓練的模型，在小樣本數(shù)據(jù)集上進行微調(diào)，提高檢測效果，而且道路缺陷檢測技術(shù)可以與自動駕駛和智能交通系統(tǒng)的結(jié)合，進一步提高了交通系統(tǒng)的安全性和效率。自動駕駛車輛配備的高精度傳感器和先進的檢測算法，可以實時監(jiān)控道路狀況，及時避讓或減速，減少交通事故的發(fā)生。

3、在眾多的深度學習目標檢測算法中，yolo系列網(wǎng)絡(luò)因其獨特的設(shè)計和優(yōu)異的性能在道路缺陷檢測中表現(xiàn)出眾，yolo的一個顯著優(yōu)點是其檢測速度非?？?，與傳統(tǒng)的區(qū)域提取后再進行分類的方法不同，yolo直接在整個圖像上進行檢測和分類，避免了多次冗余的計算。yolo采用端到端的訓練方式，即從輸入圖像到輸出檢測結(jié)果的整個過程由一個神經(jīng)網(wǎng)絡(luò)完成，由于yolo的模型結(jié)構(gòu)相對簡單，參數(shù)量較少，計算效率高，因此在實際部署中非常方便。但在道路缺陷檢測任務(wù)中，由于缺陷目標小、道路背景復雜、光線復雜、類別不均衡等因素，直接使用基礎(chǔ)版本的yolo網(wǎng)絡(luò)會導致檢測精度低、漏檢誤檢率高、泛化能力欠佳等問題。

4、經(jīng)檢索，中國專利申請?zhí)枮?02410617362.9的申請案公開了一種結(jié)合yolov8和rtdetr的道路缺陷檢測方法，該方法采用yolov8特征提取網(wǎng)絡(luò)實現(xiàn)對道路雷達圖像的多尺度特征提取，采用rtdetr缺陷檢測網(wǎng)絡(luò)對提取出的特征進行缺陷區(qū)域的識別與分割，并在yolov8特征提取網(wǎng)絡(luò)的backbone網(wǎng)絡(luò)中，利用cagm模塊對conv層以及gfnet層獲取的特征信息進行多次交互從而豐富梯度流信息，從而提升了準確率和召回率。但是由于激光雷達設(shè)備昂貴，相對于純圖像檢測，成本較高，并且激光雷達生成的數(shù)據(jù)量大，處理數(shù)據(jù)困難，但可以避免天氣對檢測精度的影響和視角的限制。中國專利申請?zhí)枮?02410279380.0的申請案公開了一種基于無監(jiān)督全注意力識別的道路缺陷檢測技術(shù)，添加了全注意力網(wǎng)絡(luò)和引入了無監(jiān)督學習網(wǎng)絡(luò)，正確直觀的體現(xiàn)道路裂紋缺陷部位，不需要人為的標注數(shù)據(jù)，大大節(jié)省了人力和時間成本，但是如果數(shù)據(jù)集過大，需要很高要求的計算和存儲資源。

5、公開于該背景技術(shù)部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解，而不應(yīng)當被視為承認或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域一般技術(shù)人員所公知的現(xiàn)有技術(shù)。

技術(shù)實現(xiàn)思路

1、1.發(fā)明要解決的技術(shù)問題

2、為克服道路缺陷檢測任務(wù)中檢測精度不高、漏檢誤檢率高、泛化能力欠佳的問題，本發(fā)明在現(xiàn)有的yolov10網(wǎng)絡(luò)基礎(chǔ)上加以改進，并提供一種專用于道路缺陷檢測的方法，稱之為基于改進yolov10網(wǎng)絡(luò)的道路缺陷檢測方法。本發(fā)明網(wǎng)絡(luò)是在原結(jié)構(gòu)的基礎(chǔ)上，在主干網(wǎng)絡(luò)的c2f模塊添加mca注意力機制，使用sdi結(jié)合雙向特征融合的思想代替原先的特征鏈接concat層，加入了slideloss損失函數(shù)，在提升性能的同時幾乎沒有額外的計算負擔，更有效地結(jié)合不同尺度的特征，改善樣品不平衡的問題，提高了圖像的檢測精度。

3、2.技術(shù)方案

4、為達到上述目的，本發(fā)明提供的技術(shù)方案為：

5、本發(fā)明的基于改進yolov10網(wǎng)絡(luò)的道路缺陷檢測方法，包括以下步驟：

6、步驟1、收集高質(zhì)量道路缺陷圖像數(shù)據(jù)，對收集到的數(shù)據(jù)進行缺陷標記，并隨機抽取部分作為測試集，然后將剩余的圖像按照道路缺陷的數(shù)據(jù)類別劃分訓練集和驗證集；

7、步驟2、在yolov10網(wǎng)絡(luò)主干部分使用c2f-mca模塊替換c2f模塊，c2f-mca模塊是在原有的c2f模塊中的bottleneck層中添加mca自注意力機制得到，以實現(xiàn)多維度協(xié)同注意力；

8、步驟3、在yolov10網(wǎng)絡(luò)主干部分引入bdi模塊，以替換原網(wǎng)絡(luò)中的concat層，bdi模塊為多層次特征融合模塊，以增強圖像中的語義信息和細節(jié)信息；

9、步驟4、構(gòu)造slideloss損失函數(shù)，使用slideloss損失函數(shù)，來改善樣本不平衡的困難樣本關(guān)注度，提高邊界框回歸更加準確；

10、步驟5、使用訓練集和驗證集對改進后的網(wǎng)絡(luò)進行訓練，獲得優(yōu)化后的模型參數(shù)，以確保模型在道路缺陷檢測中的有效性和實用性；

11、步驟6、使用訓練好的模型對測試集進行預測，輸出檢測后的道路圖像。

12、作為本發(fā)明更進一步的改進，所述步驟2中，c2f-mca模塊中首先包括第一個卷積層cv1，以接收數(shù)據(jù)；隨后將cv1的輸出按照通道維度分成相等的兩部分，其中一個部分直接傳遞給concat層，另一個部分傳給split，split的輸出也按照通道維度分成相等的兩部分，一部分直接傳遞給concat層，另一部分經(jīng)過2個bottleneck模塊的處理；c2f-mca在網(wǎng)絡(luò)中每重復3次，使用1個bottleneck模塊，共重復6次使用c2f-mca模塊；bottleneck模塊接收數(shù)據(jù)后，按照通道維度分成相等的兩部分，一部分直接傳遞給concat層，另一部分經(jīng)過兩個卷積層的卷積后，將數(shù)據(jù)傳給mca模塊進行計算，后傳遞給concat層；接下來，concat層將接收到的結(jié)果進行通道維度上的拼接；最后再經(jīng)過第二個卷積層cv2得到輸出。此部分改進可使拼接后的特征來自不同分支的信息，以豐富并提高特征的表達能力。

13、作為本發(fā)明更進一步的改進，所述步驟2中，mca模塊包括：首先對輸入數(shù)據(jù)進行殘差提??；然后對殘差提取數(shù)據(jù)進行三分支處理，三分支分別對高度、寬度和通道數(shù)三個維度的注意力進行建模，建模過程先后包括維度變換操作，擠壓變換，平均池化和標準差池化、卷積、激勵變換、卷積、維度變換、權(quán)重相乘操作；接下來，對不同分支數(shù)據(jù)進行維度變換，使得維度統(tǒng)一；最后，對分支輸出的數(shù)據(jù)進行加權(quán)求和并獲得最終mca模塊的輸出。

14、作為本發(fā)明更進一步的改進，所述步驟3中，bdi模塊是使用多層次特征融合模塊sdi替代原模型的concat層，并在其中加入雙向特征融合；具體地：首先，接收一個包含各層通道的列表channels，根據(jù)channels的元素個數(shù)確定卷積層個數(shù)，并初始化融合權(quán)重、swish激活函數(shù)和卷積層convs；然后，接收一個特征圖列表xs，計算權(quán)重，并進行前向特征融合和后向特征融合，將前向特征融合得到的特征圖序列進行逐元素相乘及后向特征融合處理后的特征圖系列進行逐元素相乘；最后，將兩個相乘后的特征圖進行加權(quán)累計，得到最終的特征圖。

15、作為本發(fā)明更進一步的改進，所述步驟3中，前向特征融合的過程包括：前向特征融合是從低層到高層的過程，即從第二個特征圖開始逐層處理，首先將每個特征圖調(diào)整為目標尺寸；如果當前特征圖的尺寸大于目標尺寸，使用自適應(yīng)平均池化層將其下采樣到目標尺寸；如果當前特征圖的尺寸小于目標尺寸，使用雙線性插值方法將其上采樣到目標尺寸；然后將每個特征圖與對應(yīng)的權(quán)重相乘，最后將乘積結(jié)果輸入到對應(yīng)的卷積層中，得到最終的高層特征圖；這樣做的目的是將不同層次的特征圖進行融合，獲得更豐富的特征表示。

16、作為本發(fā)明更進一步的改進，所述步驟3中，后向特征融合的過程包括：后向特征融合是從高層到低層的過程，即從倒數(shù)第二個特征圖開始，逐層處理；首先對特征圖大小進行調(diào)整，并與對應(yīng)的權(quán)重相乘；然后通過卷積層進行轉(zhuǎn)換，可在整個特征圖金字塔中進一步融合高層信息；最后對所有經(jīng)過卷積操作的特征圖進行逐元素相乘的累計操作，得到最終的低層特征圖。

17、作為本發(fā)明更進一步的改進，所述步驟4中，針對困難的樣本的稀疏性，設(shè)計了slideloss損失函數(shù)，以提高困難樣本分配的權(quán)重，slideloss損失函數(shù)計算包括：首先使用bcewithlogitsloss計算二元交叉熵損失，然后將計算的損失結(jié)果傳給slideloss損失函數(shù)中，slideloss損失函數(shù)通過加權(quán)機制，調(diào)整每個樣本的損失值，最后輸出聚合后的損失值。

18、作為本發(fā)明更進一步的改進，所述步驟5中，網(wǎng)絡(luò)訓練時采用adam算法來迭代更新網(wǎng)絡(luò)模型參數(shù)，訓練周期為300個epoch。

19、作為本發(fā)明更進一步的改進，所述步驟6中，測試數(shù)據(jù)輸出的圖像中包括數(shù)據(jù)的類別、邊界框和預測的精確度。

20、3.有益效果

21、采用本發(fā)明提供的技術(shù)方案，與現(xiàn)有技術(shù)相比，具有如下有益效果：

22、(1)本發(fā)明的基于改進yolov10網(wǎng)絡(luò)的道路缺陷檢測方法，在主干網(wǎng)絡(luò)的c2f模塊引入了mca多維協(xié)作注意力機制，使用三分支架構(gòu)同時推斷通道、高度和寬度維度注意力的新方法，幾乎沒有額外的開銷，在提升性能的同時幾乎沒有額外的計算負擔，相較于原模型map50提升了0.6％。

23、(2)本發(fā)明的基于改進yolov10網(wǎng)絡(luò)的道路缺陷檢測方法，使用多層次特征融合模塊sdi替代原模型的concat層來增強圖像中的語義信息和細節(jié)信息，并在其中加入了雙向特征融合，通過雙向特征融合來更有效地結(jié)合不同尺度的特征從而提高精度，相較于原模型map50提升了2.5％，精度提升了1.7％。

24、(3)本發(fā)明的基于改進yolov10網(wǎng)絡(luò)的道路缺陷檢測方法，在原有的分類損失基礎(chǔ)上添加了slideloss損失函數(shù)，嘗試為困難樣本分配更高的權(quán)重來改善樣本不平衡的問題，使分類更加準確。