本發(fā)明屬于目標(biāo)檢測，具體為一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法。

背景技術(shù)：

1、橋式起重機通常在大型倉庫、工廠、港口等環(huán)境中運行，這些環(huán)境通常非常擁擠，有許多障礙物和人員活動。由于橋式起重機的重量和體積巨大，一旦發(fā)生碰撞，可能會造成嚴(yán)重的財產(chǎn)損失甚至人員傷亡。操作員可能因為視線不佳而難以準(zhǔn)確判斷周圍環(huán)境。傳統(tǒng)防碰撞系統(tǒng)通常依賴于超聲波傳感器、激光雷達(dá)或雷達(dá)系統(tǒng)等傳感器技術(shù)，這些技術(shù)雖然能夠提供一定的碰撞預(yù)警，但在復(fù)雜環(huán)境中準(zhǔn)確度有限。使用閉路電視進(jìn)行監(jiān)控，但由于缺乏智能分析能力，操作員需要長時間關(guān)注屏幕，容易產(chǎn)生疲勞和疏忽。

2、相關(guān)參考文獻(xiàn)cn115180522a公開的一種起吊裝置施工現(xiàn)場的安全監(jiān)測方法，實時跟蹤特定人體對象，通過主干網(wǎng)絡(luò)，提取當(dāng)前圖像中的特征，其主干網(wǎng)絡(luò)為ghostnet結(jié)構(gòu)，通過neck層融合特征,不能結(jié)合通道和空間注意力。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是提供一種可以基于實時數(shù)據(jù)的處理能力允許系統(tǒng)根據(jù)當(dāng)前環(huán)境的變化快速調(diào)整預(yù)警策略，更好地結(jié)合通道和空間注意力的基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法。

2、為了解決以上技術(shù)問題，本發(fā)明提供一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，包括如下步驟：

3、（1）使用兩臺雙目攝像機獲取以吊鉤為中心360°監(jiān)控視頻；

4、（2）提取圖像數(shù)據(jù)進(jìn)行預(yù)處理；

5、（3）將預(yù)處理完成的圖像輸入small-mobilenetv3主干網(wǎng)絡(luò)的算法中；

6、在主干網(wǎng)絡(luò)中構(gòu)建交換注意力機制shuffle?attention模塊；

7、（4）判斷左右圖像的檢測結(jié)果是否存在對應(yīng)關(guān)系，若存在則判斷目標(biāo)距離，否則繼續(xù)檢測；

8、（5）判斷3米范圍內(nèi)是否存在人形活體，若存在則進(jìn)行主動防碰撞即緊急停止，否則繼續(xù)檢測；

9、（6）判斷4米范圍內(nèi)是否存在人形活體，若存在則進(jìn)行危險狀態(tài)預(yù)警，否則繼續(xù)檢測。

10、優(yōu)選的，步驟（1）包括如下子步驟：

11、（1.1）在橋式起重機的吊鉤頂部兩側(cè)安裝兩部雙目攝像機，用來獲取以吊鉤為中心360°監(jiān)控視頻；

12、（1.2）使用張正友標(biāo)定法對雙目攝像機進(jìn)行標(biāo)定以及bouguet算法對雙目攝像機進(jìn)行立體校正，獲取雙目攝像機的畸變參數(shù)、內(nèi)參矩陣和左右攝像機的旋轉(zhuǎn)、平移矩陣以及去畸變處理。

13、優(yōu)選的，步驟（2）包括如下子步驟：

14、（2.1）首先對獲取的橋式起重機實時畫面視頻抽幀，然后對每一幀圖像進(jìn)行縮放，使原始圖像尺寸與模型匹配；

15、（2.2）圖像再經(jīng)過歸一化處理，將像素值縮放到模型所需的范圍內(nèi)；

16、（2.3）使用數(shù)據(jù)增強策略，對圖像進(jìn)行隨機翻轉(zhuǎn)、裁剪和旋轉(zhuǎn)等操作，以增加模型的泛化能力。

17、優(yōu)選的，步驟（3）包括如下子步驟：

18、（3.1）為了更好的結(jié)合通道和空間注意力在主干網(wǎng)絡(luò)中構(gòu)建交換注意力機制（shuffle?attention，sa）模塊。

19、（3.2）主干網(wǎng)絡(luò)輸出的特征圖會經(jīng)過spp（spatial?pyramid?pooling）模塊。為解決金字塔特征表示不一致，提高對多尺度目標(biāo)的檢測能力，構(gòu)建多尺度特征融合方法自適應(yīng)空間特征融合（adaptively?spatial?feature?fusion，asff）。spp模塊的輸出會通過asff模塊。

20、（3.3）特征圖會進(jìn)入主干網(wǎng)路的head部分，模型輸出的邊界框、類別置信度和對象置信度會經(jīng)過后處理步驟：spp模塊、asff模塊。使用非極大值抑制（nms）來消除重疊的邊界框，經(jīng)過后處理后的邊界框、類別和置信度得分就構(gòu)成了最終的檢測結(jié)果。

21、優(yōu)選的，步驟（4）包括如下子步驟：

22、（4.1）根據(jù)左右視圖輸出的檢測結(jié)果，判斷是否存在對應(yīng)關(guān)系。

23、（4.2）若存在對應(yīng)關(guān)系，基于視差圖和相機參數(shù)計算目標(biāo)距離信息。

24、優(yōu)選的，步驟（5）包括如下子步驟：

25、（5.1）根據(jù)輸出的目標(biāo)距離信息，判斷以吊鉤為中心3米范圍內(nèi)是否存在人形活體。

26、（5.2）若存在則進(jìn)行主動防碰撞操作；若沒有則繼續(xù)進(jìn)行檢測。

27、優(yōu)選的，步驟（6）包括如下子步驟：

28、（6.1）根據(jù)輸出的目標(biāo)距離信息，判斷以吊鉤為中心4米范圍內(nèi)是否存在人形活體。

29、（6.2）若存在則進(jìn)行危險狀態(tài)預(yù)警；若沒有則繼續(xù)進(jìn)行檢測。

30、優(yōu)選的，spp模塊通過concat和asff模塊融合。

31、相比于現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

32、1.本發(fā)明采用六個步驟的基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法獲取實時目標(biāo)距離，實時監(jiān)測周圍環(huán)境中的物體，操作員無需長時間關(guān)注屏幕就可以及早發(fā)現(xiàn)潛在的碰撞風(fēng)險并發(fā)出預(yù)警，并主動防碰撞，更好地結(jié)合通道和空間注意力,為操作員提供基于數(shù)據(jù)分析的決策支持，幫助他們在復(fù)雜情況下做出更好的判斷，提高橋式起重機操作的安全性和效率。通過輕量化目標(biāo)檢測主干網(wǎng)絡(luò)，大大降低了主干網(wǎng)絡(luò)的深度和復(fù)雜度，在保證檢測精度的同時提高推理速度。

33、2.本發(fā)明提供的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，通過數(shù)據(jù)增強策略，提高了模型對不同姿態(tài)、角度和光照條件下的人形檢測能力。通過實時監(jiān)控和檢測，系統(tǒng)能夠在人員接近危險區(qū)域時提前預(yù)警，為操作員提供足夠的時間采取預(yù)防措施。

34、3.自適應(yīng)融合：使用concat連接，通過拼接的方式將spp、asff模塊融合，能夠根據(jù)需要調(diào)整各個檢測分支的通道數(shù)量，進(jìn)一步提升對多尺度目標(biāo)的檢測能力。

35、4.通過spp和asff模塊的結(jié)合，系統(tǒng)能夠有效地處理不同大小的目標(biāo)，提高檢測精度和速度。

技術(shù)特征：

1.一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，其特征在于：包括如下步驟：

2.如權(quán)利要求1所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述步驟（1）包括如下子步驟：

3.如權(quán)利要求1所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述步驟（2）包括如下子步驟：

4.如權(quán)利要求1所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述步驟（3）包括如下子步驟：

5.如權(quán)利要求1所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述步驟（4）包括如下子步驟：

6.如權(quán)利要求1所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述步驟（5）包括如下子步驟：

7.如權(quán)利要求1所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述步驟（6）包括如下子步驟：

8.如權(quán)利要求4所述的一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，所述spp模塊通過concat和asff模塊融合。

技術(shù)總結(jié)
本發(fā)明屬于目標(biāo)檢測技術(shù)領(lǐng)域，公開了一種基于雙目視覺系統(tǒng)的橋式起重機防碰撞預(yù)警方法，包括如下步驟：（1）使用兩臺雙目攝像機獲取以吊鉤為中心360°監(jiān)控視頻；（2）提取圖像數(shù)據(jù)進(jìn)行預(yù)處理；（3）將預(yù)處理完成的圖像輸入small?MobileNetv3主干網(wǎng)絡(luò)的算法中；在主干網(wǎng)絡(luò)中構(gòu)建交換注意力機制Shuffle?Attention模塊；（4）判斷左右圖像的檢測結(jié)果是否存在對應(yīng)關(guān)系，若存在則判斷目標(biāo)距離，否則繼續(xù)檢測；（5）判斷3米范圍內(nèi)是否存在人形活體，若存在則進(jìn)行主動防碰撞即緊急停止，否則繼續(xù)檢測；（6）判斷4米范圍內(nèi)是否存在人形活體，若存在則進(jìn)行危險狀態(tài)預(yù)警，否則繼續(xù)檢測。

技術(shù)研發(fā)人員：陳鑫祎,林明,陳力,劉仁來,韓鵬
受保護(hù)的技術(shù)使用者：南通中遠(yuǎn)海運重工裝備有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2