本發(fā)明涉及視頻分析，更具體的說是涉及一種基于視頻分析的河湖四亂檢測(cè)方法、系統(tǒng)、裝置及介質(zhì)。

背景技術(shù)：

1、當(dāng)前，隨著經(jīng)濟(jì)的迅猛發(fā)展和城市化進(jìn)程的加速推進(jìn)，河湖作為地球?qū)氋F的自然資源和生態(tài)環(huán)境的重要基石，其保護(hù)與管理任務(wù)日益艱巨。河湖不僅承載著調(diào)節(jié)氣候、涵養(yǎng)水源、防洪排澇等多重生態(tài)功能，還是人類生產(chǎn)生活不可或缺的水資源來源。然而，面對(duì)日益增長(zhǎng)的開發(fā)利用需求，河湖沿岸區(qū)域的管理問題日益凸顯，特別是“四亂”現(xiàn)象的頻發(fā)，成為了制約河湖健康發(fā)展的頑疾。

2、“四亂”現(xiàn)象，即亂建違建建筑、亂占河湖資源、亂采河湖泥沙及亂堆垃圾，這些行為如同毒瘤般侵蝕著河湖的生態(tài)環(huán)境。違建建筑不僅破壞了河湖的自然景觀，還可能導(dǎo)致河道變窄、水流受阻，影響防洪安全；亂占資源則使得寶貴的河湖資源被不合理利用，甚至枯竭；亂采泥沙則加劇了河湖底質(zhì)的破壞，影響水質(zhì)和生物多樣性；而亂堆垃圾更是直接污染了水體，威脅到人民群眾的生活用水安全。

3、面對(duì)這一嚴(yán)峻形勢(shì)，傳統(tǒng)的人工巡查方式顯得捉襟見肘。受限于人力、物力及時(shí)間成本，人工巡查難以實(shí)現(xiàn)對(duì)河湖區(qū)域的全天候、無死角監(jiān)控，導(dǎo)致“四亂”問題屢禁不止，管理效率低下。此外，人工巡查還存在主觀性強(qiáng)、容易遺漏等問題，難以保證監(jiān)管的公正性和準(zhǔn)確性。

4、因此，探索一種高效、智能的河湖監(jiān)管技術(shù)，成為當(dāng)前河湖保護(hù)與管理領(lǐng)域亟待解決的重要課題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)以上問題，本發(fā)明的目的在于提供一種基于視頻分析的河湖四亂檢測(cè)方法、系統(tǒng)、裝置及介質(zhì)，利用無人機(jī)并結(jié)合先進(jìn)的視頻算法模型，能夠自動(dòng)識(shí)別并捕捉河湖及沿線的違規(guī)、違法行為，為管理人員提供實(shí)時(shí)、準(zhǔn)確的監(jiān)測(cè)數(shù)據(jù)，從而大大提升河湖監(jiān)管的效率和精準(zhǔn)度。

2、本發(fā)明為實(shí)現(xiàn)上述目的，通過以下技術(shù)方案實(shí)現(xiàn)：

3、第一方面，本發(fā)明公開了一種基于視頻分析的河湖四亂檢測(cè)方法，包括：采用無人機(jī)搭載視頻攝像頭，通過無線圖傳技術(shù)獲取視頻攝像頭實(shí)時(shí)拍攝河湖及沿線的視頻圖像；

4、利用多目標(biāo)跟蹤模型對(duì)視頻圖像進(jìn)行目標(biāo)識(shí)別，識(shí)別出河湖及沿線的目標(biāo)物體，所述目標(biāo)物體包括建筑、采砂船只、工程車輛、養(yǎng)殖網(wǎng)箱；

5、將目標(biāo)物體對(duì)應(yīng)的視頻圖像轉(zhuǎn)換為圖像序列，輸入視頻分類模型對(duì)目標(biāo)物體進(jìn)行分類，將目標(biāo)物體歸類為違建建筑、違規(guī)采砂船只、違建工程車輛和違占養(yǎng)殖網(wǎng)箱，并生成歸類結(jié)果；

6、根據(jù)歸類結(jié)果生成違規(guī)記錄，提取相關(guān)的視頻片段和圖片，并進(jìn)行展示。

7、進(jìn)一步，所述采用無人機(jī)搭載視頻攝像頭，通過無線圖傳技術(shù)獲取視頻攝像頭實(shí)時(shí)拍攝河湖及沿線的視頻圖像，包括；

8、通過物聯(lián)網(wǎng)與無人機(jī)連接，根據(jù)河湖及沿線的區(qū)域信息設(shè)定無人機(jī)的自動(dòng)飛行巡檢路線，控制無人機(jī)在自動(dòng)飛行巡檢路線上利用無人機(jī)上搭載的視頻攝像頭采集視頻圖像，并通過無線圖傳技術(shù)回傳視頻圖像。

9、進(jìn)一步，所述多目標(biāo)跟蹤模型的生成過程包括：

10、使用fairmot算法、jde算法、sort算法中的任一種算法構(gòu)建基礎(chǔ)多目標(biāo)跟蹤模型；

11、采集歷史的四亂實(shí)景圖片，根據(jù)四亂類型對(duì)四亂實(shí)景圖片進(jìn)行分類，并為四亂實(shí)景圖片標(biāo)注di，以生成跟蹤訓(xùn)練集；

12、將跟蹤訓(xùn)練集輸入基礎(chǔ)多目標(biāo)跟蹤模型進(jìn)行模型訓(xùn)練，并采用多任務(wù)損失函數(shù)對(duì)模型參數(shù)進(jìn)行優(yōu)化，訓(xùn)練完成后，生成多目標(biāo)跟蹤模型。

13、進(jìn)一步，所述多任務(wù)損失函數(shù)具體如下：

14、

15、其中，為第i個(gè)可學(xué)習(xí)的模型參數(shù)，為第i個(gè)分類損失函數(shù)lf，為第i個(gè)位置偏移損失函數(shù)lw，為第i個(gè)身份嵌入損失函數(shù)ls。

16、進(jìn)一步，所述分類損失函數(shù)具體如下：

17、

18、其中，nf是所有錨框的數(shù)量，是真實(shí)概率，pi是第i個(gè)錨框是前景框的概率；所述位置偏移損失函數(shù)具體如下：

19、

20、其中，nw是所有候選框的數(shù)量，ti＝{tx,ty,tw,th}是預(yù)測(cè)的坐標(biāo)偏移量，

21、是真實(shí)值的偏移量；

22、所述身份嵌入損失函數(shù)具體如下：

23、

24、其中，ft是錨框，g+是正例的權(quán)重，是負(fù)例的權(quán)重。

25、進(jìn)一步，所述視頻分類模型為使用i3d算法、slowfast算法構(gòu)建的視頻分類模型；所述視頻分類模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)中，在3d卷積之后接入non-local模塊；視頻分類模型的神經(jīng)網(wǎng)絡(luò)最后一層輸出兩個(gè)概率值，分別代表算法對(duì)輸入的圖像序列判斷為正常行為和違規(guī)行為的概率值，選擇概率值大的判斷結(jié)果作為輸出結(jié)果。

26、進(jìn)一步，所述根據(jù)歸類結(jié)果生成違規(guī)記錄，提取相關(guān)的視頻片段和圖片，并進(jìn)行展示，包括：

27、根據(jù)歸類結(jié)果生成違規(guī)記錄，根據(jù)違規(guī)記錄，利用視頻處理工具adobe?premierepro和內(nèi)容審核工具tencent?cloud?content?security，從視頻圖像中提取相關(guān)的違規(guī)片段和圖片；

28、將違規(guī)記錄、違規(guī)片段和圖片發(fā)送至預(yù)設(shè)用戶界面上。

29、第二方面，本發(fā)明還公開了一種基于視頻分析的河湖四亂檢測(cè)系統(tǒng)，包括：視頻采集模塊，用于采用無人機(jī)搭載視頻攝像頭，通過無線圖傳技術(shù)獲取視頻攝像頭實(shí)時(shí)拍攝河湖及沿線的視頻圖像；

30、目標(biāo)檢測(cè)模塊，用于利用多目標(biāo)跟蹤模型對(duì)視頻圖像進(jìn)行目標(biāo)識(shí)別，識(shí)別出河湖及沿線的目標(biāo)物體，所述目標(biāo)物體包括建筑、采砂船只、工程車輛、養(yǎng)殖網(wǎng)箱；

31、目標(biāo)分類模塊，用于將目標(biāo)物體對(duì)應(yīng)的視頻圖像轉(zhuǎn)換為圖像序列，輸入視頻分類模型對(duì)目標(biāo)物體進(jìn)行分類，將目標(biāo)物體歸類為違建建筑、違規(guī)采砂船只、違建工程車輛和違占養(yǎng)殖網(wǎng)箱，并生成歸類結(jié)果；

32、展示模塊，用于根據(jù)歸類結(jié)果生成違規(guī)記錄，提取相關(guān)的視頻片段和圖片，并進(jìn)行展示。

33、第三方面，本發(fā)明還公開了一種基于視頻分析的河湖四亂檢測(cè)裝置，包括：

34、存儲(chǔ)器，用于存儲(chǔ)基于視頻分析的河湖四亂檢測(cè)程序；

35、處理器，用于執(zhí)行所述基于視頻分析的河湖四亂檢測(cè)程序時(shí)實(shí)現(xiàn)如上文任一項(xiàng)所述基于視頻分析的河湖四亂檢測(cè)方法的步驟。

36、第四方面，本發(fā)明還公開了一種可讀存儲(chǔ)介質(zhì)，所述可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有基于視頻分析的河湖四亂檢測(cè)程序，所述基于視頻分析的河湖四亂檢測(cè)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文任一項(xiàng)所述基于視頻分析的河湖四亂檢測(cè)方法的步驟。

37、對(duì)比現(xiàn)有技術(shù)，本發(fā)明有益效果在于：本發(fā)明公開了一種基于視頻分析的河湖四亂檢測(cè)方法、系統(tǒng)、裝置及介質(zhì)，采用無人機(jī)搭載視頻攝像頭，通過無線圖傳技術(shù)方法獲取無人機(jī)攝像頭實(shí)時(shí)拍攝的河湖及沿線的視頻圖像，實(shí)時(shí)識(shí)別畫面中的違建建筑、采砂船只、違建工程車輛、違占網(wǎng)箱等目標(biāo)物體，篩選出河湖及沿線附近的違法、違規(guī)目標(biāo)，并將識(shí)別到的不同目標(biāo)物體的種類進(jìn)行分類，并將識(shí)別的結(jié)果到展示層進(jìn)行二次研判分類，實(shí)現(xiàn)了將識(shí)別到的不同目標(biāo)種類歸類于亂采、亂占、亂建、亂堆等四亂違法行為。

38、本發(fā)明能夠在復(fù)雜環(huán)境及面積巨大的區(qū)域通過無人機(jī)設(shè)定的自動(dòng)飛行巡檢路線，對(duì)特定巡檢區(qū)域內(nèi)的四亂違法行為進(jìn)行識(shí)別、取證，從而大大減輕巡檢執(zhí)法人員的工作強(qiáng)度、提高工作效率有效的提升巡檢執(zhí)法管理能力和節(jié)省單位人力、車輛、油耗等人、財(cái)、物投入成本。

39、由此可見，本發(fā)明與現(xiàn)有技術(shù)相比，具有突出的實(shí)質(zhì)性特點(diǎn)和顯著的進(jìn)步，其實(shí)施的有益效果也是顯而易見的。