本發(fā)明涉及火災(zāi)檢測，具體為一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法。

背景技術(shù)：

1、火災(zāi)是一種常見的自然災(zāi)害，嚴(yán)重威脅人類的生命財產(chǎn)安全?；馂?zāi)受可燃物種類、地形和天氣等因素的影響，能迅速蔓延到鄰近地區(qū)，難以控制。同時，火災(zāi)與其他自然災(zāi)害不同，偶發(fā)性很高，引發(fā)火災(zāi)的原因有很多，多數(shù)情況與人為因素有關(guān)?；馂?zāi)越早被發(fā)現(xiàn)，造成的損失就越小，因此在火災(zāi)發(fā)生早期及時檢測預(yù)警，減少或避免人員和財產(chǎn)損失十分必要；

2、隨著計算機視覺技術(shù)和深度學(xué)習(xí)的發(fā)展，利用監(jiān)控攝像頭進行火災(zāi)檢測應(yīng)用逐漸廣泛，基于視覺的火災(zāi)檢測方法能夠應(yīng)對不同的場景，具有較強的魯棒性和較高的準(zhǔn)確性。近年來，深度學(xué)習(xí)方法在目標(biāo)檢測領(lǐng)域取得了重大突破，利用深度學(xué)習(xí)的火災(zāi)檢測方法具有更高的準(zhǔn)確性、更強的適應(yīng)性和魯棒性。

3、現(xiàn)有基于深度學(xué)習(xí)的火災(zāi)檢測方法大多只學(xué)習(xí)靜態(tài)圖像的外觀特征，而忽略了火焰運動狀態(tài)下的外觀特征，無法滿足對不同運動狀態(tài)火焰的外觀特征進行識別；因此，不滿足現(xiàn)有的需求，對此我們提出了一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，以解決上述背景技術(shù)中提出的現(xiàn)有基于深度學(xué)習(xí)的火災(zāi)檢測方法大多只學(xué)習(xí)靜態(tài)圖像的外觀特征，而忽略了火焰運動狀態(tài)下的外觀特征，無法滿足對不同運動狀態(tài)火焰的外觀特征進行識別等問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，包括以下步驟：

3、(a)：收集火災(zāi)視頻，利用labelimg工具標(biāo)記，構(gòu)建火災(zāi)檢測視頻數(shù)據(jù)集；

4、(b)：基于時空雙流網(wǎng)絡(luò)的技術(shù)構(gòu)建用于火災(zāi)檢測的時空雙流網(wǎng)絡(luò)模型；

5、(c)：利用構(gòu)建的火災(zāi)檢測視頻數(shù)據(jù)集訓(xùn)練時空雙流網(wǎng)絡(luò)模型，獲得最優(yōu)權(quán)重；

6、(d)：將待檢測的火災(zāi)視頻輸入到訓(xùn)練好的時空雙流網(wǎng)絡(luò)模型獲得火災(zāi)檢測結(jié)果。

7、優(yōu)選的，所述(a)中火災(zāi)檢測視頻數(shù)據(jù)集包括數(shù)據(jù)集1和數(shù)據(jù)集2，所述數(shù)據(jù)集1應(yīng)用于訓(xùn)練時空雙流網(wǎng)絡(luò)模型，所述數(shù)據(jù)集1劃分為訓(xùn)練集和驗證集，所述訓(xùn)練集包含71個視頻場景，每個訓(xùn)練集的視頻場景中有50到100個連續(xù)視頻幀，50到100個連續(xù)視頻幀總計5139張圖像，所述驗證集包含16個視頻場景，每個驗證集的視頻場景有50個視頻幀，50個視頻幀總計800張圖像；

8、數(shù)據(jù)集2為數(shù)據(jù)集furg?fire?dataset，所述furg?fire?dataset中選擇8個具有代表性的火災(zāi)視頻，所述數(shù)據(jù)集2中增設(shè)4個包含干擾實例的火災(zāi)視頻。

9、優(yōu)選的，所述時空雙流網(wǎng)絡(luò)模型由預(yù)訓(xùn)練的流估計網(wǎng)絡(luò)、空間流、時間流和檢測層組成，所述流估計網(wǎng)絡(luò)使用liteflownet3提取當(dāng)前視頻幀和上一幀的光流圖像作為火焰的運動信息，所述空間流以當(dāng)前視頻幀的rgb圖像為輸入獲取火的外觀和紋理特征，所述時間流以光流圖像為輸入獲取火的運動特征，所述空間流和時間流都使用shufflenetv2作為特征提取網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)對時間流的網(wǎng)絡(luò)進行修剪并融合成時空特征輸入基于yolov5s的檢測層檢測火災(zāi)。

10、優(yōu)選的，所述時空特征通過額外的自適應(yīng)特征融合模塊進行通道加權(quán)。

11、優(yōu)選的，所述時空雙流網(wǎng)絡(luò)模型通過多任務(wù)處理流程進行訓(xùn)練并使用預(yù)訓(xùn)練的權(quán)重對liteflownet3光流網(wǎng)絡(luò)初始化，所述liteflownet3光流網(wǎng)絡(luò)初始化后對訓(xùn)練中將其凍結(jié)，然后分別訓(xùn)練空間流和時間流，最后對時空雙流網(wǎng)絡(luò)進行微調(diào)，這樣的訓(xùn)練策略有助于充分利用網(wǎng)絡(luò)的特性，提高火災(zāi)檢測性能。

12、優(yōu)選的，所述shufflenetv2網(wǎng)絡(luò)由基本單元和空間下采樣單元兩個模塊組成，所述基本單元不改變輸出通道和空間大小，所述空間下采樣單元將輸出特征圖的空間尺寸縮小一半并將通道數(shù)量增加一倍。

13、優(yōu)選的，所述光流圖像的相鄰像素點應(yīng)該具有平滑性或連續(xù)性，所述光流圖像并不包含像rgb圖像那樣多的高級語義和復(fù)雜紋理，所述時間流將網(wǎng)絡(luò)深層中的stage3的基本單元數(shù)量從7個修剪到3個并將stage4的基本單元數(shù)量從3個修剪到1個，所述空間下采樣單元保持不變。

14、優(yōu)選的，所述檢測層由neck和head兩個部分組成，所述neck將多尺度特征進行融合，所述head檢測火焰目標(biāo)，所述檢測層從分辨率為原始尺寸的1/8、1/16和1/32的網(wǎng)絡(luò)層提取特征并將特征輸入檢測層進行多尺度檢測。

15、優(yōu)選的，所述neck包括cbs模塊和c3模塊，所述cbs模塊為卷積層，所述卷積層包括一個3×3的卷積、批標(biāo)準(zhǔn)化和silu激活函數(shù)，所述c3模塊為網(wǎng)絡(luò)中特征提取的主要單元，所述c3模塊包含了3個卷積層和多個bottleneck。

16、優(yōu)選的，所述自適應(yīng)特征融合模塊包括以下步驟：

17、s1：使用像素級加法將時間特征和空間特征初步融合

18、

19、s∈rc×h×w表示空間特征，t∈rc×h×w表示時間特征，表示像素級加法，f為初步融合的特征；

20、s2：使用全局平均池化聚合每個通道的信息：

21、

22、其中，mg∈rc×1×1為聚合后的通道信息；

23、s3：使用一個維度縮減層和一個維度增加層捕獲跨通道信息交互：

24、mc＝β(w2δ(β(w1(mg))))

25、其中，是一個維度縮減層，是一個維度增加層，r是通道縮減率，δ表示relu激活函數(shù)，β表示批標(biāo)準(zhǔn)化；

26、s4：使用sigmoid激活函數(shù)獲得0-1之間的權(quán)重：

27、m＝sigmoid(mc)；

28、s5：將權(quán)重分配給時間特征和空間特征：

29、

30、其中，表示元素級乘法，z∈rc×h×w表示自適應(yīng)融合后的特征。

31、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

32、1、本發(fā)明構(gòu)建了一個時空雙流網(wǎng)絡(luò)，空間流提取當(dāng)前幀的外觀特征，時間流提取幀間的運動特征，利用時空特征進行火災(zāi)檢測，以提高火災(zāi)檢測的準(zhǔn)確率；

33、2、本發(fā)明使用輕量級shufflenetv2作為時空特征提取網(wǎng)絡(luò)，以降低兩個并行分支的計算成本，同時對時間流的深度進行了修剪，以防止過擬合；

34、3、本發(fā)明為有效整合時空特征，使用自適應(yīng)特征融合模塊，通過網(wǎng)絡(luò)自適應(yīng)地調(diào)整時空流的權(quán)重，進一步提高火災(zāi)檢測準(zhǔn)確率。

技術(shù)特征：

1.一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述(a)中火災(zāi)檢測視頻數(shù)據(jù)集包括數(shù)據(jù)集1和數(shù)據(jù)集2，所述數(shù)據(jù)集1應(yīng)用于訓(xùn)練時空雙流網(wǎng)絡(luò)模型，所述數(shù)據(jù)集1劃分為訓(xùn)練集和驗證集，所述訓(xùn)練集包含71個視頻場景，每個訓(xùn)練集的視頻場景中有50到100個連續(xù)視頻幀，50到100個連續(xù)視頻幀總計5139張圖像，所述驗證集包含16個視頻場景，每個驗證集的視頻場景有50個視頻幀，50個視頻幀總計800張圖像；

3.根據(jù)權(quán)利要求2所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述時空雙流網(wǎng)絡(luò)模型由預(yù)訓(xùn)練的流估計網(wǎng)絡(luò)、空間流、時間流和檢測層組成，所述流估計網(wǎng)絡(luò)使用liteflownet3提取當(dāng)前視頻幀和上一幀的光流圖像作為火焰的運動信息，所述空間流以當(dāng)前視頻幀的rgb圖像為輸入獲取火的外觀和紋理特征，所述時間流以光流圖像為輸入獲取火的運動特征，所述空間流和時間流都使用shufflenetv2作為特征提取網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)對時間流的網(wǎng)絡(luò)進行修剪并融合成時空特征輸入基于yolov5s的檢測層檢測火災(zāi)。

4.根據(jù)權(quán)利要求3所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述時空特征通過額外的自適應(yīng)特征融合模塊進行通道加權(quán)。

5.根據(jù)權(quán)利要求3所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述時空雙流網(wǎng)絡(luò)模型通過多任務(wù)處理流程進行訓(xùn)練并使用預(yù)訓(xùn)練的權(quán)重對liteflownet3光流網(wǎng)絡(luò)初始化，所述liteflownet3光流網(wǎng)絡(luò)初始化后對訓(xùn)練中將其凍結(jié)，然后分別訓(xùn)練空間流和時間流，最后對時空雙流網(wǎng)絡(luò)進行微調(diào)，這樣的訓(xùn)練策略有助于充分利用網(wǎng)絡(luò)的特性，提高火災(zāi)檢測性能。

6.根據(jù)權(quán)利要求3所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述shufflenetv2網(wǎng)絡(luò)由基本單元和空間下采樣單元兩個模塊組成，所述基本單元不改變輸出通道和空間大小，所述空間下采樣單元將輸出特征圖的空間尺寸縮小一半并將通道數(shù)量增加一倍。

7.根據(jù)權(quán)利要求6所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述光流圖像的相鄰像素點應(yīng)該具有平滑性或連續(xù)性，所述光流圖像并不包含像rgb圖像那樣多的高級語義和復(fù)雜紋理，所述時間流將網(wǎng)絡(luò)深層中的stage3的基本單元數(shù)量從7個修剪到3個并將stage4的基本單元數(shù)量從3個修剪到1個，所述空間下采樣單元保持不變。

8.根據(jù)權(quán)利要求4所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述檢測層由neck和head兩個部分組成，所述neck將多尺度特征進行融合，所述head檢測火焰目標(biāo)，所述檢測層從分辨率為原始尺寸的1/8、1/16和1/32的網(wǎng)絡(luò)層提取特征并將特征輸入檢測層進行多尺度檢測。

9.根據(jù)權(quán)利要求8所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述neck包括cbs模塊和c3模塊，所述cbs模塊為卷積層，所述卷積層包括一個3×3的卷積、批標(biāo)準(zhǔn)化和silu激活函數(shù)，所述c3模塊為網(wǎng)絡(luò)中特征提取的主要單元，所述c3模塊包含了3個卷積層和多個bottleneck。

10.根據(jù)權(quán)利要求9所述的一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，其特征在于：所述自適應(yīng)特征融合模塊包括以下步驟：

技術(shù)總結(jié)
本發(fā)明涉及火災(zāi)檢測技術(shù)領(lǐng)域，具體為一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，解決了現(xiàn)有基于深度學(xué)習(xí)的火災(zāi)檢測方法大多只學(xué)習(xí)靜態(tài)圖像的外觀特征，而忽略了火焰運動狀態(tài)下的外觀特征，無法滿足對不同運動狀態(tài)火焰的外觀特征進行識別等問題。一種基于時空雙流網(wǎng)絡(luò)的火災(zāi)檢測方法，包括以下步驟：(A)：收集火災(zāi)視頻，利用LabelImg工具標(biāo)記，構(gòu)建火災(zāi)檢測視頻數(shù)據(jù)集；(B)：基于時空雙流網(wǎng)絡(luò)的技術(shù)構(gòu)建用于火災(zāi)檢測的時空雙流網(wǎng)絡(luò)模型；(C)：利用構(gòu)建的火災(zāi)檢測視頻數(shù)據(jù)集訓(xùn)練時空雙流網(wǎng)絡(luò)模型，獲得最優(yōu)權(quán)重。本發(fā)明通過有效結(jié)合火焰的靜態(tài)和動態(tài)特征，提高火災(zāi)檢測準(zhǔn)確率。

技術(shù)研發(fā)人員：顏普,徐朝陽,張家齊,阮康,張亮
受保護的技術(shù)使用者：安徽建筑大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6