本發(fā)明實施例涉及交通檢測，尤其涉及一種交通異常檢測方法、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、隨著交通運(yùn)輸?shù)陌l(fā)展，交通事故、擁堵和夜間環(huán)境等交通異常情況對道路安全和交通效率的影響越來顯著。如何利用交通視頻實現(xiàn)交通異常的精準(zhǔn)檢測，是亟待解決的問題。

2、現(xiàn)有技術(shù)中也存在一些利用視頻數(shù)據(jù)進(jìn)行交通異常自動檢測的方法，例如專利cn105405297b提供了一種基于監(jiān)控視頻的交通事故自動檢測方法，專利cn113221716a提供了一種基于前景目標(biāo)檢測的無監(jiān)督交通異常行為檢測方法，但檢測的精準(zhǔn)性仍有待提高。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種交通異常檢測方法、電子設(shè)備和存儲介質(zhì)，以提高交通異常檢測的準(zhǔn)確性。

2、第一方面，本發(fā)明實施例提供了一種交通異常檢測方法，包括：

3、s110、獲取待檢測的連續(xù)多幀交通視頻；

4、s120、通過兩編碼器分別對前幾幀視頻的rgb圖像和光流圖像進(jìn)行編碼，由各編碼器的各層分別輸出多層rgb特征和多層光流特征；其中，在對rgb圖像編碼時，將rgb編碼器各層輸出的rgb特征與光流編碼器對應(yīng)層輸出的光流特征相加后輸入所述rgb編碼器的下一層，實現(xiàn)rgb與光流的淺層信息交互；

5、s130、將所述兩編碼器最后一層輸出的全局rgb特征和全局光流特征進(jìn)行多尺度注意力融合，得到rgb與光流的深度融合特征；

6、s140、根據(jù)兩記憶模塊中記錄的正常特征，分別對所述深度融合特征和全局光流特征進(jìn)行重構(gòu)，其中，所述兩記憶模塊中的正常特征分別代表了正常交通視頻的深度融合特征和全局光流特征的特性；

7、s150、通過兩解碼器分別對兩重構(gòu)特征進(jìn)行解碼，分別還原最后一幀視頻的rgb圖像和光流圖像；

8、s160、根據(jù)各還原圖像與原圖像的差異，以及各被重構(gòu)特征與正常特征的差異，判斷所述最后一幀視頻是否具有交通異常風(fēng)險。

9、第二方面，本發(fā)明實施例提供了一種電子設(shè)備，所述電子設(shè)備包括：

10、一個或多個處理器；

11、存儲器，用于存儲一個或多個程序，

12、當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)任一實施例所述的交通異常檢測方法。

13、第三方面，本發(fā)明實施例提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該程序被處理器執(zhí)行時實現(xiàn)任一實施例所述的交通異常檢測方法。

14、綜上所述，本發(fā)明實施例提供了一種交通異常檢測方法、電子設(shè)備和存儲介質(zhì)，引入光流數(shù)據(jù)，利用流間信息交互將rgb和光流數(shù)據(jù)全面融合，以更精確地捕獲異常特征，并將捕獲的雙流特征進(jìn)行多尺度注意力融合，更好的反映上下文信息和多尺度信息；隨后，通過與雙流框架匹配的記憶模塊完成特征重構(gòu)，進(jìn)一步降低正常情況的誤檢概率。本實施例采用雙流網(wǎng)絡(luò)的端到端的結(jié)構(gòu)來訓(xùn)練模型，大大提高了模型訓(xùn)練和預(yù)測的效率；并使用了基于深度的預(yù)測損失函數(shù)，以適應(yīng)車輛的規(guī)則形狀和監(jiān)控攝像頭下不同距離處的事件，增強(qiáng)模型檢測異常的準(zhǔn)確性和魯棒性。同時，考慮到專用于交通異常檢測的數(shù)據(jù)集通常僅包括單一類型異常（即交通事故）的問題，本實施例引入了用于全類異常檢測模型驗證的交通監(jiān)控數(shù)據(jù)集，通過一個模型即可實現(xiàn)交通場景下的全類異常檢測，進(jìn)一步提高檢測效率和準(zhǔn)確性。

技術(shù)特征：

1.一種交通異常檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述兩編碼器最后一層輸出的全局rgb特征和全局光流特征進(jìn)行多尺度注意力融合，得到rgb和光流的深度融合特征，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)兩記憶模塊中的正常特征，分別對所述深度融合特征和全局光流特征進(jìn)行重構(gòu)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)各還原圖像與原圖像的差異，以及各被重構(gòu)特征與正常特征的差異，判斷所述最后一幀視頻是否具有交通異常風(fēng)險，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述通過兩編碼器分別對前幾幀視頻的rgb圖像和光流圖像進(jìn)行編碼之前，還包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述通過各還原圖像與原圖像的差異最小化，以及各被重構(gòu)特征與正常特征的差異最小化構(gòu)建損失函數(shù)，包括：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述通過各還原圖像與原圖像的差異最小化，以及各被重構(gòu)特征與正常特征的差異最小化構(gòu)建損失函數(shù)，包括：

8.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述訓(xùn)練過程中分別對各樣本執(zhí)行s120-s150的操作之后，還包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，其上存儲有計算機(jī)程序，該程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-8任一所述的交通異常檢測方法。

技術(shù)總結(jié)
本發(fā)明實施例公開了一種交通異常檢測方法、電子設(shè)備和存儲介質(zhì)。其中，方法包括：獲取待檢測的連續(xù)多幀交通視頻；通過兩編碼器分別對前幾幀視頻的RGB圖像和光流圖像進(jìn)行編碼；將所述兩編碼器最后一層輸出的全局RGB特征和全局光流特征進(jìn)行多尺度注意力融合，得到RGB與光流的深度融合特征；根據(jù)兩記憶模塊中記錄的正常特征，分別對所述深度融合特征和全局光流特征進(jìn)行重構(gòu)；通過兩解碼器分別對兩重構(gòu)特征進(jìn)行解碼，分別還原最后一幀視頻的RGB圖像和光流圖像；根據(jù)各還原圖像與原圖像的差異，以及各被重構(gòu)特征與正常特征的差異，判斷所述最后一幀視頻是否具有交通異常風(fēng)險。本實施例提高交通異常檢測的準(zhǔn)確性。

技術(shù)研發(fā)人員：季澤華,黃堅
受保護(hù)的技術(shù)使用者：北京航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23