本發(fā)明涉及高速鐵路圖像智能檢測(cè)，具體是一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法。

背景技術(shù)：

1、受電弓與接觸網(wǎng)系統(tǒng)的直接機(jī)械接觸在交互過程中常引發(fā)接觸網(wǎng)支撐和懸掛裝置的劇烈振動(dòng)，可能導(dǎo)致接觸網(wǎng)支撐部件松動(dòng)、損壞或斷裂等多種機(jī)械故障。這些隱患若未及時(shí)處理，極易威脅整個(gè)鐵路系統(tǒng)的安全運(yùn)營(yíng)；一個(gè)有效的監(jiān)控和檢測(cè)系統(tǒng)能夠?qū)Ξ惓５慕佑|網(wǎng)支撐部件發(fā)出預(yù)警，為鐵路管理人員提供在故障發(fā)生前進(jìn)行修復(fù)的機(jī)會(huì)；然而，由于接觸網(wǎng)的特殊機(jī)械結(jié)構(gòu)和拍攝條件的限制，接觸網(wǎng)支撐構(gòu)件的檢測(cè)面臨諸多挑戰(zhàn)：1、支撐部件類別多樣；2、支撐部件(如螺釘、絕緣體)之間的尺寸差異顯著；3、一些部件體積較小(如螺釘和螺母)；這些因素使得現(xiàn)有的檢測(cè)系統(tǒng)難以有效地識(shí)別接觸網(wǎng)支撐部件；因此，迫切需要開發(fā)一種有效的接觸網(wǎng)支撐部件檢測(cè)方法以應(yīng)對(duì)這些挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為了解決現(xiàn)有的檢測(cè)系統(tǒng)難以有效地識(shí)別接觸網(wǎng)支撐部件的問題，提供了一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法。

2、本發(fā)明是采用如下技術(shù)方案實(shí)現(xiàn)的：

3、一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，包括：

4、步驟a：在高速鐵路懸線檢測(cè)車中采集接觸網(wǎng)支撐部件數(shù)據(jù)集；并訓(xùn)練和測(cè)試接觸網(wǎng)支撐部件的rgb圖像；

5、步驟b：對(duì)輸入的rgb圖像進(jìn)行歸一化處理，得到歸一化后的圖像；

6、步驟c：將所述歸一化后的圖像的短邊隨機(jī)拉伸到800至1333之間，并將長(zhǎng)邊設(shè)置為短邊的1.5倍，得到調(diào)整后的預(yù)處理圖像；

7、步驟d：將所述調(diào)整后的預(yù)處理圖像輸入多尺度特征提取主干網(wǎng)絡(luò)(rmt)中，從骨干網(wǎng)絡(luò)的不同特征層計(jì)算多尺度特征{s3,s4,s5}；將所述多尺度特征{s3,s4,s5}輸入基于架構(gòu)搜索的分層平衡特征金字塔網(wǎng)絡(luò)(nas-bfpn)中計(jì)算得到融合特征{c3,c4,c5,c6}，以幫助dcn-head預(yù)測(cè)結(jié)果；

8、步驟e：將所述融合特征{c3,c4,c5,c6}輸入到dcn-head中計(jì)算分類得分定位得分，用于預(yù)測(cè)最終的邊界框和物體的類別；

9、步驟f：基于所述分類分?jǐn)?shù)和回歸分?jǐn)?shù)，計(jì)算得到變焦損失和回歸損失；

10、步驟g：通過最小化損失函數(shù)訓(xùn)練mvfnet，并保存最優(yōu)模型參數(shù)，將測(cè)試圖像輸入檢測(cè)器，得到最終的檢測(cè)結(jié)果。

11、進(jìn)一步地，所述對(duì)輸入的rgb圖像進(jìn)行歸一化處理包括：

12、步驟b1：讀取輸入的rgb圖像，假設(shè)圖像的大小為(h,w,3)，其中h為高度，w為寬度，其中3表示rgb三個(gè)通道，得到其特征圖；

13、步驟b2：轉(zhuǎn)換數(shù)據(jù)類型，確保圖像數(shù)據(jù)的類型為浮點(diǎn)數(shù)；

14、步驟b3：分別對(duì)圖像的每個(gè)通道減去對(duì)應(yīng)的均值；均值(mean)為[123.675,116.28,103.53]；

15、步驟b4：除以標(biāo)準(zhǔn)差，分別對(duì)圖像的每個(gè)通道除以對(duì)應(yīng)的標(biāo)準(zhǔn)差；標(biāo)準(zhǔn)差(std)[58.395,57.12,57.375]；

16、步驟b5：輸出歸一化后的圖像，歸一化處理后的圖像可以直接用于后續(xù)的圖像處理或模型輸入。

17、進(jìn)一步地，將所述歸一化后的圖像的短邊隨機(jī)拉伸到800至1333之間，并將長(zhǎng)邊設(shè)置為短邊的1.5倍包括：

18、步驟c1：通過image.shap獲取圖像尺寸并確定圖像的短邊和長(zhǎng)邊；

19、步驟c2：使用random.randint(800,1333)函數(shù)生成一個(gè)800到1333之間的隨機(jī)整數(shù)，所述整數(shù)將作為短邊的新長(zhǎng)度，根據(jù)短邊的新長(zhǎng)度，計(jì)算長(zhǎng)邊的新長(zhǎng)度，長(zhǎng)邊的新長(zhǎng)度是短邊的新長(zhǎng)度的1.5倍；

20、步驟c3：調(diào)整圖像尺寸；使用cv2.resize()函數(shù)按照短邊的新長(zhǎng)度和長(zhǎng)邊的新長(zhǎng)度調(diào)整圖像大小。

21、步驟c4：保存或顯示調(diào)整后的圖像。

22、進(jìn)一步地，所述步驟d包括：

23、步驟d1：將預(yù)處理圖像輸入多尺度特征提取主干網(wǎng)絡(luò)(rmt)中；通過曼哈頓自注意力(masa)分別計(jì)算圖像中水平和垂直方向的注意力分?jǐn)?shù)；將一維雙向衰減矩陣應(yīng)用于這些注意力權(quán)重；輸出特征層計(jì)算多尺度特征{s3,s4,s5}；

24、步驟d2：通過nas-bfpn來整合主干網(wǎng)絡(luò)中的多層特征{c3,c4,c5,c6}，以便從跨層特征中獲取信息。

25、進(jìn)一步地，所述將所述融合特征{c3,c4,c5,c6}輸入到dcn-head中計(jì)算分類得分定位得分包括：

26、步驟e1：加載dcn-head；將nas-bfpn的輸出特征{c3,c4,c5,c6}輸入到dcn-head模型中；

27、步驟e2：dcn-head對(duì)輸入的融合特征進(jìn)行處理，計(jì)算每個(gè)特征點(diǎn)的分類得分(物體類別)和定位得分(邊界框位置)；

28、步驟e3：使用非極大值抑制(nms)算法處理分類得分和定位得分，過濾冗余的檢測(cè)結(jié)果；

29、步驟e4：得到最終的邊界框和物體類別，生成預(yù)測(cè)結(jié)果。

30、進(jìn)一步地，所述基于所述分類分?jǐn)?shù)和回歸分?jǐn)?shù)，計(jì)算得到變焦損失和回歸損失包括；

31、步驟f1：計(jì)算變焦損失時(shí)，

32、對(duì)于前景點(diǎn)，其與真實(shí)類別的目標(biāo)分?jǐn)?shù)被設(shè)置為生成的邊界框與其真實(shí)邊界框的iou(交并比)，否則設(shè)置0；

33、對(duì)于背景點(diǎn)，所有類別的目標(biāo)分?jǐn)?shù)均為0；

34、步驟f2：計(jì)算giou損失時(shí)，預(yù)測(cè)框和真實(shí)框的面積，計(jì)算坐標(biāo)交集與并集，在iou基礎(chǔ)上，減去閉包區(qū)域減去并集區(qū)域與閉包區(qū)域的比值。

35、本發(fā)明結(jié)構(gòu)設(shè)計(jì)合理可靠，首先，在vfnet中引入了特征金字塔網(wǎng)絡(luò)(fpn)和可變形卷積(dcn)來構(gòu)建多尺度融合模塊，增強(qiáng)模型對(duì)不同尺度目標(biāo)的處理能力。其次，通過全維度動(dòng)態(tài)卷積模塊(odconv)，進(jìn)一步提升了模型對(duì)細(xì)節(jié)的關(guān)注力和目標(biāo)檢測(cè)性能。此外，我們還利用變焦損失(varifocal?loss)來訓(xùn)練該檢測(cè)器，從而更精確地預(yù)測(cè)分類得分向量的標(biāo)量元素；多尺度特征提取主干網(wǎng)絡(luò)(rmt)，優(yōu)化了模型的多尺度特征提取能力?；诩軜?gòu)搜索的分層平衡特征金字塔網(wǎng)絡(luò)(nas-bfpn)，顯著提升了檢測(cè)器的多層特征融合效率及小物體檢測(cè)性能。同時(shí)加入了全維度動(dòng)態(tài)卷積模塊(odconv)，進(jìn)一步提升了檢測(cè)器在復(fù)雜場(chǎng)景下的表現(xiàn)。

技術(shù)特征：

1.一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，其特征在于：包括：

2.根據(jù)權(quán)利要求1所述的一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，其特征在于：所述對(duì)輸入的rgb圖像進(jìn)行歸一化處理包括：

3.根據(jù)權(quán)利要求2所述的一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，其特征在于：將所述歸一化后的圖像的短邊隨機(jī)拉伸到800至1333之間，并將長(zhǎng)邊設(shè)置為短邊的1.5倍包括：

4.根據(jù)權(quán)利要求3所述的一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，其特征在于：所述步驟d包括：

5.根據(jù)權(quán)利要求4所述的一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，其特征在于：所述將所述融合特征{c3,c4,c5,c6}輸入到dcn-head中計(jì)算分類得分定位得分包括：

6.根據(jù)權(quán)利要求5所述的一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，其特征在于：所述基于所述分類分?jǐn)?shù)和回歸分?jǐn)?shù)，計(jì)算得到變焦損失和回歸損失包括；

技術(shù)總結(jié)
本發(fā)明涉及高速鐵路圖像智能檢測(cè)技術(shù)領(lǐng)域，具體是一種基于跨尺度注意變焦網(wǎng)絡(luò)的接觸網(wǎng)支撐部件檢測(cè)方法，在VFNet中引入了特征金字塔網(wǎng)絡(luò)和可變形卷積來構(gòu)建多尺度融合模塊，增強(qiáng)模型對(duì)不同尺度目標(biāo)的處理能力，其次，通過全維度動(dòng)態(tài)卷積模塊，進(jìn)一步提升了模型對(duì)細(xì)節(jié)的關(guān)注力和目標(biāo)檢測(cè)性能。還利用變焦損失來訓(xùn)練該檢測(cè)器，從而更精確地預(yù)測(cè)分類得分向量的標(biāo)量元素；多尺度特征提取主干網(wǎng)絡(luò)，優(yōu)化了模型的多尺度特征提取能力；基于架構(gòu)搜索的分層平衡特征金字塔網(wǎng)絡(luò)，顯著提升了檢測(cè)器的多層特征融合效率及小物體檢測(cè)性能；同時(shí)加入了全維度動(dòng)態(tài)卷積模塊，進(jìn)一步提升了檢測(cè)器在復(fù)雜場(chǎng)景下的表現(xiàn)。

技術(shù)研發(fā)人員：袁珺,徐元成,張亮,李春盛,郭文宇,武寧,陳軍,賴馨,劉濤,王惠,王續(xù)凡,唐德勇
受保護(hù)的技術(shù)使用者：中國(guó)鐵建電氣化局集團(tuán)北方工程有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23