本發(fā)明涉及圖像處理與目標(biāo)檢測，尤其涉及一種基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法。

背景技術(shù)：

1、目前，橋梁結(jié)構(gòu)的維護(hù)和安全保障問題逐漸凸顯，尤其是在惡劣天氣條件下如凍雨和低溫環(huán)境中，橋梁拉索結(jié)冰問題尤為嚴(yán)峻。懸索橋和斜拉橋的拉索是關(guān)鍵受力構(gòu)件，結(jié)冰狀況不僅增加了拉索的荷載，還可能引發(fā)振動及疲勞損傷，同時融冰時冰塊的墜落對行車安全構(gòu)成重大隱患。因此，如何高效、實(shí)時地檢測橋梁拉索結(jié)冰情況，成為確保橋梁安全運(yùn)營的重要技術(shù)挑戰(zhàn)。

2、傳統(tǒng)拉索結(jié)冰檢測使用的外觀調(diào)查評定法、檢算評定法和荷載試驗(yàn)法都存在準(zhǔn)確性較差、時效性較差、試驗(yàn)時間較長、檢測費(fèi)用較大等缺點(diǎn)。而現(xiàn)有拉索結(jié)冰檢測技術(shù)需要在橋梁上安裝大量的傳感器或攝像設(shè)備，這不僅增加了安裝和維護(hù)的成本，還可能在惡劣環(huán)境中容易損壞，需要頻繁維護(hù)。并且在實(shí)時監(jiān)測和預(yù)警方面表現(xiàn)欠佳，難以在第一時間檢測和處理橋梁拉索上的結(jié)冰問題，影響橋梁的安全性和運(yùn)營效率。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明的目的是提供一種基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，實(shí)現(xiàn)橋梁拉索結(jié)構(gòu)在在多種復(fù)雜環(huán)境條件下保持高效、準(zhǔn)確的實(shí)時結(jié)冰檢測，提升橋梁的安全性。

2、技術(shù)方案：一種基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，包括步驟如下：

3、s1，利用數(shù)據(jù)增強(qiáng)技術(shù)和神經(jīng)風(fēng)格遷移技術(shù)，結(jié)合真實(shí)拉索結(jié)冰圖像和實(shí)驗(yàn)?zāi)M拉索結(jié)冰圖像構(gòu)建多源多尺度拉索結(jié)冰圖像訓(xùn)練集；

4、s2，構(gòu)建改進(jìn)后yolov5s網(wǎng)絡(luò)；

5、s3，使用多源多尺度拉索結(jié)冰圖像集訓(xùn)練改進(jìn)后yolov5s網(wǎng)絡(luò)，得到最優(yōu)權(quán)重文件，并驗(yàn)證模型的檢測效果；

6、s4，將得到的最優(yōu)模型用于真實(shí)場景下的橋梁拉索結(jié)冰檢測任務(wù)。

7、進(jìn)一步，拉索結(jié)冰的模態(tài)包括：新月形、橢圓形和針形；所述數(shù)據(jù)增強(qiáng)技術(shù)是將凍雨災(zāi)害的實(shí)拍圖像作為深度學(xué)習(xí)訓(xùn)練集中的負(fù)樣本，結(jié)合模擬真實(shí)拉索結(jié)冰實(shí)驗(yàn)圖像，整合成拉索結(jié)冰圖像訓(xùn)練集；所述神經(jīng)風(fēng)格遷移技術(shù)是利用photoshop軟件將未結(jié)冰拉索圖像的風(fēng)格轉(zhuǎn)化為表面覆薄冰的風(fēng)格，并加入拉索結(jié)冰圖像訓(xùn)練集中，形成一個多源多尺度結(jié)冰圖像集。

8、進(jìn)一步，改進(jìn)后yolov5s網(wǎng)絡(luò)中，在bottleneck層中的csp1_x模塊和csp2_x和sppf模塊中分別添加一個dropout層；在bottleneck層中的cbs模塊后和上采樣模塊前加入simam機(jī)制；使用1d卷積操作代替全連接操作生成通道間的注意力權(quán)重，在卷積操作之后插入eca-net模塊；改進(jìn)后的yolov5s網(wǎng)絡(luò)如下：

9、輸入層：具有輸入特征數(shù)為10，輸出特征數(shù)為64的線性層；

10、隱藏層：由兩個線性層和兩個dropout層組成，每個線性層的輸入特征數(shù)為64，輸出特征數(shù)為64；

11、輸出層：具有輸入特征數(shù)為64，輸出特征數(shù)為1的線性層。

12、進(jìn)一步，所述simam機(jī)制中，輸入序列x，其中x＝{1,2,…,n}，每個xi是輸入序列中的一個元素，采用余弦相似度來度量查詢序列和鍵序列之間的相似度來確定輸入序列中每個元素的重要性，表達(dá)式如下：

13、

14、其中，f(xi,xj)是一個衡量元素xi和xj之間相似度的函數(shù)；

15、然后，通過對所有的元素xi進(jìn)行加權(quán)求和，得到對應(yīng)于每個元素xi的加權(quán)向量表示zi，計(jì)算公式如下:

16、

17、其中，g(xj)是輸入序列中元素xj的表示向量；

18、最終，得到的加權(quán)向量zi作為模型的輸出。

19、進(jìn)一步，所述eca-net模塊通過使用一個波段矩陣wk來學(xué)習(xí)通道注意力：

20、

21、ω＝σ(c1dk(y))

22、其中，w1,k表示卷積核在不同通道上的權(quán)重，每一行對應(yīng)一個通道的卷積核權(quán)重，非零元素列的個數(shù)k代表了卷積核的大??；c1dk()表示卷積核大小為k的一維卷積，σ()是激活函數(shù)，ω表示經(jīng)過激活函數(shù)σ()處理后的輸出，y是特征圖。

23、進(jìn)一步，步驟s3中，使用多源多尺度結(jié)冰圖像集訓(xùn)練改進(jìn)后yolov5s網(wǎng)絡(luò)的具體步驟如下：

24、s31，設(shè)定輸入網(wǎng)絡(luò)的圖片尺寸并賦值；

25、s32，創(chuàng)建初始模型；

26、s33，設(shè)置批訓(xùn)練數(shù)量epoch、初始學(xué)習(xí)率lr，使用自適應(yīng)策略來調(diào)整學(xué)習(xí)率；

27、s34，加載yolov5s網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重；

28、s35，對yolov5s網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練并更新網(wǎng)絡(luò)參數(shù)，保留best權(quán)重文件；

29、s36，當(dāng)達(dá)到批訓(xùn)練數(shù)量時，保存最優(yōu)模型權(quán)重文件，模型訓(xùn)練結(jié)束。

30、進(jìn)一步，步驟s4中，用于真實(shí)場景下的橋梁拉索結(jié)冰檢測任務(wù)的實(shí)現(xiàn)步驟如下：

31、s41，采用圖像采集裝置采集拉索結(jié)冰處的圖像；

32、s42，將現(xiàn)場采集到的拉索結(jié)冰處圖像定時傳回本地服務(wù)器；

33、s43，利用圖像分割算法將結(jié)冰區(qū)域從其他區(qū)域中分離出來；

34、s44，利用保存的改進(jìn)后yolov5s網(wǎng)絡(luò)模型檢測出結(jié)冰物體的位置和結(jié)冰類型。

35、本發(fā)明與現(xiàn)有技術(shù)相比，其顯著效果如下：

36、1、通過利用數(shù)據(jù)增強(qiáng)技術(shù)和神經(jīng)風(fēng)格遷移技術(shù)，結(jié)合真實(shí)的拉索結(jié)冰圖像，構(gòu)建了一個多源、多尺度的拉索結(jié)冰圖像訓(xùn)練集，該多樣化的訓(xùn)練集解決了傳統(tǒng)數(shù)據(jù)集單一的問題，提升了檢測模型的魯棒性和準(zhǔn)確性；

37、2、在現(xiàn)有的yolov5s網(wǎng)絡(luò)中bottleneck層的csp模塊和sppf模塊中加入一個dropout層以0.5概率隨機(jī)忽略神經(jīng)元的輸出，迫使模型學(xué)習(xí)更通用的特征而非特定訓(xùn)練樣本的細(xì)節(jié)，顯著提升了模型在新數(shù)據(jù)上的表現(xiàn)，即提高模型的泛化能力；

38、3、在網(wǎng)絡(luò)中集成simam模塊和eca-net模塊，在不增加模型復(fù)雜度和尺寸的前提下，顯著提高了對橋梁拉索結(jié)冰的檢測能力；改進(jìn)后的模型能夠在多種復(fù)雜環(huán)境條件下保持高效、準(zhǔn)確的檢測，具有很強(qiáng)的適應(yīng)性，能夠應(yīng)對不同的氣候變化、拉索形態(tài)和結(jié)冰模式；

39、4、本發(fā)明結(jié)合球形網(wǎng)絡(luò)相機(jī)和強(qiáng)泛化能力機(jī)器視覺檢測網(wǎng)絡(luò)，實(shí)現(xiàn)了橋梁拉索結(jié)冰的實(shí)時監(jiān)測和預(yù)警；在實(shí)際應(yīng)用中，這種實(shí)時檢測能力有助于迅速發(fā)現(xiàn)和應(yīng)對拉索上的結(jié)冰問題，提升了橋梁的安全性和運(yùn)營效率并且具有非接觸、低成本、快速的優(yōu)點(diǎn)。

技術(shù)特征：

1.一種基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，包括步驟如下：

2.根據(jù)權(quán)利要求1所述基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，拉索結(jié)冰的模態(tài)包括：新月形、橢圓形和針形；所述數(shù)據(jù)增強(qiáng)技術(shù)是將凍雨災(zāi)害的實(shí)拍圖像作為深度學(xué)習(xí)訓(xùn)練集中的負(fù)樣本，結(jié)合模擬真實(shí)拉索結(jié)冰實(shí)驗(yàn)圖像，整合成拉索結(jié)冰圖像訓(xùn)練集；所述神經(jīng)風(fēng)格遷移技術(shù)是利用photoshop軟件將未結(jié)冰拉索圖像的風(fēng)格轉(zhuǎn)化為表面覆薄冰的風(fēng)格，并加入拉索結(jié)冰圖像訓(xùn)練集中，形成一個多源多尺度結(jié)冰圖像集。

3.根據(jù)權(quán)利要求1所述基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，改進(jìn)后yolov5s網(wǎng)絡(luò)中，在bottleneck層中的csp1_x模塊和csp2_x和sppf模塊中分別添加一個dropout層；在bottleneck層中的cbs模塊后和上采樣模塊前加入simam機(jī)制；使用1d卷積操作代替全連接操作生成通道間的注意力權(quán)重，在卷積操作之后插入eca-net模塊；改進(jìn)后的yolov5s網(wǎng)絡(luò)如下：

4.根據(jù)權(quán)利要求3所述基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，所述simam機(jī)制中，輸入序列x，其中x＝{1,2,…,n}，每個xi是輸入序列中的一個元素，采用余弦相似度來度量查詢序列和鍵序列之間的相似度來確定輸入序列中每個元素的重要性，表達(dá)式如下：

5.根據(jù)權(quán)利要求3所述基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，所述eca-net模塊通過使用一個波段矩陣wk來學(xué)習(xí)通道注意力：

6.根據(jù)權(quán)利要求1所述基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，步驟s3中，使用多源多尺度結(jié)冰圖像集訓(xùn)練改進(jìn)后yolov5s網(wǎng)絡(luò)的具體步驟如下：

7.根據(jù)權(quán)利要求1所述基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，其特征在于，步驟s4中，用于真實(shí)場景下的橋梁拉索結(jié)冰檢測任務(wù)的實(shí)現(xiàn)步驟如下：

技術(shù)總結(jié)
本發(fā)明公開了一種基于強(qiáng)泛化能力機(jī)器視覺的橋梁拉索結(jié)冰檢測方法，包括步驟如下：S1，利用數(shù)據(jù)增強(qiáng)技術(shù)和神經(jīng)風(fēng)格遷移技術(shù)，結(jié)合真實(shí)拉索結(jié)冰圖像和實(shí)驗(yàn)?zāi)M拉索結(jié)冰圖像構(gòu)建多源多尺度拉索結(jié)冰圖像訓(xùn)練集；S2，構(gòu)建改進(jìn)后Yolov5s網(wǎng)絡(luò)；S3，使用多源多尺度拉索結(jié)冰圖像集訓(xùn)練改進(jìn)后Yolov5s網(wǎng)絡(luò)，得到最優(yōu)權(quán)重文件，并驗(yàn)證模型的檢測效果；S4，將得到的最優(yōu)模型用于真實(shí)場景下的橋梁拉索結(jié)冰檢測任務(wù)。本發(fā)明具有更強(qiáng)的泛化能力，能夠在多種環(huán)境條件下實(shí)現(xiàn)橋梁拉索結(jié)冰的高效檢測。

技術(shù)研發(fā)人員：張建,郭孝賢
受保護(hù)的技術(shù)使用者：東南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6