本發(fā)明涉及集裝箱信息檢測(cè)，具體涉及到一種基于yolov9與deepsort的集裝箱殘損信息檢測(cè)計(jì)數(shù)方法。

背景技術(shù)：

1、集裝箱運(yùn)輸是國(guó)際貿(mào)易中常見(jiàn)的貨物運(yùn)輸方式，但在運(yùn)輸過(guò)程中，集裝箱可能會(huì)受到各種因素的損壞，如碰撞、擠壓、震動(dòng)等。及早發(fā)現(xiàn)并修復(fù)集裝箱的殘損對(duì)于貨物的安全運(yùn)輸和貿(mào)易雙方的利益都至關(guān)重要。現(xiàn)有的情況主要是依靠人工進(jìn)行篩查，檢測(cè)的效率低，浪費(fèi)了大量的人力物力，還增加了檢測(cè)人員的危險(xiǎn)程度，造成社會(huì)資源不必要的損耗。與此同時(shí)，現(xiàn)有的技術(shù)還存在著一些不足之處，例如檢測(cè)的精度不夠或者只能檢測(cè)到受否殘損而無(wú)法提供一個(gè)精確的殘損信息。因此，開(kāi)發(fā)一種高效準(zhǔn)確的集裝箱殘損檢測(cè)系統(tǒng)具有重要的意義。

2、針對(duì)上述問(wèn)題，本發(fā)明提供了一種能高效準(zhǔn)確的集裝箱殘損檢測(cè)的一種基于yolov9與deepsort的集裝箱殘損信息檢測(cè)計(jì)數(shù)方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種能高效準(zhǔn)確的集裝箱殘損檢測(cè)的一種基于yolov9與deepsort的集裝箱殘損信息檢測(cè)計(jì)數(shù)方法。

2、本發(fā)明的目的是提供的一種基于yolov9與deepsort的集裝箱殘損信息檢測(cè)計(jì)數(shù)方法，方法包括以下步驟：

3、步驟一、采集運(yùn)送集裝箱的數(shù)據(jù)，包括集裝箱的信息，對(duì)集裝箱的整體感知；

4、步驟二、對(duì)已經(jīng)采集的集裝箱數(shù)據(jù)使用esrgan網(wǎng)絡(luò)進(jìn)行超分辨率預(yù)處理，增大圖像的分辨率，提高輸入圖片的質(zhì)量；

5、步驟三、將步驟二中的預(yù)處理后的圖像數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的目標(biāo)檢測(cè)rt-detr神經(jīng)網(wǎng)絡(luò)之中，同時(shí)也輸入到訓(xùn)練好的yolov9語(yǔ)義分割網(wǎng)絡(luò)中，目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行提取特征得到檢測(cè)的類別、邊界框、語(yǔ)義分割網(wǎng)絡(luò)輸出殘損類別以及殘損區(qū)域信息；

6、步驟四、將步驟三得到的檢測(cè)信息繼續(xù)交給deepsort跟蹤算法來(lái)進(jìn)行處理并實(shí)現(xiàn)計(jì)數(shù)；

7、步驟五、將步驟四中得到的跟蹤信息結(jié)合對(duì)步驟三中集裝箱殘損信息進(jìn)行神經(jīng)網(wǎng)絡(luò)分割處理信息進(jìn)行繪制，獲取最終的結(jié)果；

8、步驟六、在步驟五中的信息是不符合預(yù)期進(jìn)行相應(yīng)的報(bào)警，所有信息以及集裝箱計(jì)數(shù)信息存儲(chǔ)到數(shù)據(jù)庫(kù)；

9、進(jìn)一步的，步驟三中的rt-detr神經(jīng)網(wǎng)絡(luò)，包括backbone、混合特征增強(qiáng)編碼器、高效特征融合模塊、decoder以及預(yù)測(cè)頭，其中backbone使用resnet-50對(duì)圖片信息進(jìn)行特征提取，縮小特征圖的尺寸，在backbone最后的倒數(shù)第三層加入兼具空間注意力以及通道注意力的coordattention模塊，在backbone最后的倒數(shù)第二層加入空間注意力eca模塊，這兩個(gè)注意力模塊的輸出部分與對(duì)應(yīng)注意力機(jī)制的輸入進(jìn)行殘差連接，backbone最后一層交由aifi自注意力機(jī)制模塊進(jìn)行計(jì)算相關(guān)性，獲取高層語(yǔ)義信息，并且將結(jié)果一維向量reshape為二維矩陣，三種數(shù)據(jù)一起交由高效特征融合模塊進(jìn)行處理。

10、進(jìn)一步的，backbone中的采樣模塊替換為adown模塊，在輸入的初始階段使用最大池化將特征圖尺寸減半，使用split將特征圖通道數(shù)c分為兩個(gè)通道數(shù)為c//2的特征圖，一部分使用cbs模塊使用卷積核為3*3，步長(zhǎng)為2的特征提取，另一部分先進(jìn)行最大池化，隨后使用1*1卷積核，步長(zhǎng)為1?的特征提取模塊，最后將兩個(gè)特征圖使用concat操作拼接。

11、進(jìn)一步的，高效特征融合模塊中原有的cspreplayer模塊替換為repncspelan4模塊，將repncspelan4的內(nèi)部的repncsp的輸入通道數(shù)與repncspelan4的通道數(shù)相同，輸出通道數(shù)與repncspelan4的輸出通道數(shù)相同，repncsp內(nèi)部的repnbottleneck的數(shù)量由1增加到2，高效特征融合模塊總體結(jié)構(gòu)采用gelan+panet結(jié)構(gòu)。

12、進(jìn)一步的，預(yù)測(cè)頭的損失為：

13、

14、其中，為預(yù)測(cè)值，為真實(shí)框，為預(yù)測(cè)的類別，為真實(shí)類別，iou為giou，使用giou來(lái)約束類別的的學(xué)習(xí)。

15、進(jìn)一步的，對(duì)圖像的分割算法采用yolov9算法，其主要分為使用了可編程梯度信息以及廣義elan的backbone和head，可編程梯度信息主要包括三個(gè)組件：分別是主分支、輔助可逆分支和多級(jí)輔助信息，其中的panet結(jié)構(gòu)改為bifpn結(jié)構(gòu)，不同特征層融合模塊依舊使用廣義elan，上采樣以及下采樣模塊維持原樣。

16、進(jìn)一步的，對(duì)圖像的跟蹤算法采用deepsort算法，算法主要分為目標(biāo)檢測(cè)器，特征提取器，運(yùn)動(dòng)模型，數(shù)據(jù)關(guān)聯(lián)器四個(gè)部分，其中目標(biāo)檢測(cè)器接收自于rt-detr檢測(cè)結(jié)果；運(yùn)動(dòng)模型由原來(lái)的運(yùn)動(dòng)模型kalman?filter算法改為短期預(yù)測(cè)網(wǎng)絡(luò)lstm；數(shù)據(jù)關(guān)聯(lián)器部分為每一個(gè)tracker增加大小為3的緩存信息池，用來(lái)存儲(chǔ)先前已匹配的目標(biāo)信息，當(dāng)數(shù)據(jù)關(guān)聯(lián)器的matching?cascade中匈牙利算法選取某一個(gè)當(dāng)前目標(biāo)信息進(jìn)行匹配時(shí)，若與tracker中當(dāng)前信息的特征不匹配時(shí)，則選擇緩存信息池中的下一個(gè)信息進(jìn)行匹配，在信息池中的信息如果匹配成功則進(jìn)行下一個(gè)目標(biāo)的匹配并把當(dāng)前匹配成功的信息加入到緩存信息池，若在信息池中的全部信息不匹配時(shí)，則放棄該tracker的匹配進(jìn)行下一個(gè)目標(biāo)的匹配；若與當(dāng)前信息的特征匹配時(shí)，加入當(dāng)前已匹配的目標(biāo)信息，舍棄信息池中的最后一個(gè)信息，其關(guān)聯(lián)損失為歐氏距離，計(jì)算公式為：

17、

18、其中，b和a是兩個(gè)特征向量，n是特征向量的維度。

19、進(jìn)一步的，步驟五中的對(duì)圖像的分割算法采用yolov9算法，其主要分為使用了可編程梯度信息以及廣義elan的backbone和head，可編程梯度信息主要包括三個(gè)組件：分別是主分支、輔助可逆分支和多級(jí)輔助信息，其中的panet結(jié)構(gòu)改為bifpn結(jié)構(gòu)，不同特征層融合模塊依舊使用廣義elan，上采樣以及下采樣模塊維持原樣，損失函數(shù)計(jì)算步驟為：

20、分類損失：

21、

22、其中，是目標(biāo)類別的預(yù)測(cè)概率，和是調(diào)節(jié)難分類樣本權(quán)重的超參數(shù)，

23、回歸損失，ciou?損失公式如下：

24、

25、其中，表示預(yù)測(cè)框和真實(shí)框中心點(diǎn)之間的距離，表示預(yù)測(cè)框和真實(shí)框的最小邊界框的對(duì)角線距離，和用于調(diào)整寬高比的影響，

26、總損失函數(shù)為二者的加權(quán)和：

27、

28、其中為焦點(diǎn)損失的權(quán)重，為回歸損失的權(quán)重。

29、本發(fā)明具有以下優(yōu)勢(shì)：本發(fā)明采用了最先進(jìn)的transformer結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)，由于注意力機(jī)制，當(dāng)物體發(fā)生重疊的情況也能很好的區(qū)分不同的物體，完美的解決了兩輛車輛并行所產(chǎn)生的重疊現(xiàn)象問(wèn)題，并且相較于傳統(tǒng)的算法，基于detr模型能夠更好的捕捉大目標(biāo)，尤其是集裝箱這種體積的檢測(cè)目標(biāo)。

30、本發(fā)明通過(guò)深度學(xué)習(xí)算法對(duì)殘損進(jìn)行自動(dòng)檢測(cè)并預(yù)測(cè)相關(guān)的位置用于提醒相關(guān)人員。

31、本發(fā)明相較于傳統(tǒng)圖片在情況復(fù)雜噪點(diǎn)較高的情況下，采用了esrgan網(wǎng)絡(luò)進(jìn)行超分辨預(yù)處理，增加檢測(cè)器的魯棒性，提高檢測(cè)速度，使得網(wǎng)絡(luò)的性能更加地突出。

32、本發(fā)明對(duì)于目標(biāo)跟蹤的模塊，以深度學(xué)習(xí)來(lái)代替人工計(jì)數(shù)，不僅節(jié)省了人力，提高了效率，也有效的計(jì)算了集裝箱的吞吐量。