本技術(shù)涉及視頻監(jiān)控的，尤其涉及一種基于深度學(xué)習(xí)的實(shí)時(shí)視頻監(jiān)控異常檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、視頻異常檢測(cè)是一種利用計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)技術(shù)，通過(guò)對(duì)監(jiān)控?cái)z像頭拍攝的視頻進(jìn)行分析，以識(shí)別和報(bào)告其中的異常行為或事件的過(guò)程。異常通常指一些與正常情況或預(yù)期不符的事件，可以被認(rèn)為是出現(xiàn)了不尋常的外觀或運(yùn)動(dòng)屬性，具有不確定性、不規(guī)律性等特點(diǎn)。

2、隨著攝像機(jī)和井下煤礦安全監(jiān)測(cè)系統(tǒng)的普及，視頻監(jiān)測(cè)在井下得到廣泛應(yīng)用，目前，現(xiàn)有技術(shù)中在對(duì)煤礦開(kāi)采過(guò)程中進(jìn)行監(jiān)測(cè)時(shí)，通過(guò)捕捉、定位開(kāi)采出的煤塊在輸送帶上的運(yùn)輸狀態(tài)，實(shí)現(xiàn)對(duì)煤塊運(yùn)輸時(shí)發(fā)生異常情況的監(jiān)測(cè)。

3、但是，煤塊在運(yùn)輸?shù)倪^(guò)程中可能會(huì)由于輸送帶的震動(dòng)等原因，出現(xiàn)煤塊在輸送帶上垮塌的情況，當(dāng)攝像頭捕捉到煤塊垮塌時(shí)，在對(duì)垮塌后的煤塊圖像進(jìn)行處理時(shí)，會(huì)與原圖像不一致，進(jìn)而發(fā)出煤塊異常警報(bào)，但是有時(shí)候，煤塊在輸送帶上垮塌，依然被輸送帶進(jìn)行輸送，并未發(fā)生異常，進(jìn)而提高了對(duì)煤塊輸送過(guò)程中異常監(jiān)測(cè)的誤報(bào)概率。

技術(shù)實(shí)現(xiàn)思路

1、為了能夠降低對(duì)煤塊輸送過(guò)程中異常監(jiān)測(cè)的誤報(bào)概率，本發(fā)明提供一種基于深度學(xué)習(xí)的實(shí)時(shí)視頻監(jiān)控異常檢測(cè)方法及系統(tǒng)。

2、第一方面，本發(fā)明提供的一種基于深度學(xué)習(xí)的實(shí)時(shí)視頻監(jiān)控異常檢測(cè)方法，采用如下的技術(shù)方案：

3、一種基于深度學(xué)習(xí)的實(shí)時(shí)視頻監(jiān)控異常檢測(cè)方法，包括以下步驟：

4、建立儲(chǔ)存數(shù)據(jù)庫(kù)：用于儲(chǔ)存信息獲取步驟中獲取的信息；

5、信息獲取：獲取m個(gè)輸送機(jī)的圖像信息、n個(gè)煤塊圖像信息以及i個(gè)輸送帶圖像信息，并對(duì)m個(gè)輸送機(jī)的圖像信息、n個(gè)煤塊圖像信息以及i個(gè)輸送帶圖像信息進(jìn)行圖像降噪、圖像增強(qiáng)處理，進(jìn)而獲取輸送機(jī)圖像對(duì)照模型a、煤塊圖像對(duì)照模型b以及輸送帶圖像對(duì)照模型c；

6、建立煤塊運(yùn)輸監(jiān)測(cè)模型：對(duì)運(yùn)輸中的煤塊進(jìn)行實(shí)時(shí)視頻監(jiān)測(cè)，并獲取監(jiān)測(cè)過(guò)程中的輸送機(jī)輪廓圖像信息mx、輸送帶輪廓圖像信息ix以及煤塊輪廓圖像信息nx，對(duì)輸送機(jī)輪廓圖像上的輸送帶輪廓圖像進(jìn)行分割，進(jìn)而獲取輸送帶在輸送機(jī)上的位置信息，對(duì)輸送帶輪廓圖像上的煤塊圖像信息進(jìn)行分割，進(jìn)而獲取煤塊在輸送帶上的位置信息，并執(zhí)行異常判斷步驟；

7、異常判斷：包括初次判斷步驟、二次判斷步驟：

8、初次判斷：若輸送帶的輪廓圖像信息ix中存在煤塊輪廓圖像信息nx，則執(zhí)行二次判斷步驟，若輸送帶的輪廓圖像信息ix中不存在煤塊輪廓圖像信息nx，則執(zhí)行輸送異常輸出步驟；

9、二次判斷：當(dāng)輸送帶的輪廓圖像信息ix中存在煤塊輪廓圖像信息nx時(shí)，對(duì)煤塊輪廓信息nx進(jìn)行連續(xù)性判斷，若煤塊輪廓圖像信息nx在輸送帶輪廓圖像信息ix上連續(xù)存在，則執(zhí)行輸送正常步驟，若煤塊輪廓圖像信息nx在輪廓圖像信息ix上不連續(xù)存在，則執(zhí)行輸送異常步驟；

10、輸送異常輸出：輸送帶的輪廓圖像信息ix中不存在煤塊輪廓圖像信息nx時(shí)輸出“煤塊未開(kāi)采，輸送帶空轉(zhuǎn)”的警示；

11、煤塊輪廓圖像信息nx在輪廓圖像信息ix上不連續(xù)存在時(shí)，輸出“煤塊開(kāi)采，開(kāi)采速度時(shí)快時(shí)慢”的警示；

12、輸送正常輸出：煤塊經(jīng)輸送帶輸送正常，且連續(xù)輸送。

13、通過(guò)采用上述計(jì)算方案，通過(guò)深度學(xué)習(xí)的方法先對(duì)輸送機(jī)圖像、輸送帶圖像以及煤塊圖像進(jìn)行訓(xùn)練，進(jìn)而得到對(duì)照模型，通過(guò)對(duì)拍攝的輸送帶上的煤塊信息判斷煤塊在輸送中的異常狀態(tài)，并獲取煤塊異常狀態(tài)的原因，由于煤塊在輸送的過(guò)程會(huì)收到輸送帶震動(dòng)的影響，可能造成煤塊垮塌，通過(guò)實(shí)時(shí)監(jiān)測(cè)煤塊垮塌時(shí)，是否出現(xiàn)煤塊在輸送帶上發(fā)生異常狀況，進(jìn)而提高對(duì)煤塊輸送異常監(jiān)測(cè)的精度。

14、可選的，所述異常判斷步驟還包括三次判斷步驟，所述異常判斷步驟后還設(shè)置有輸送帶輸送速度計(jì)算步驟以及初次輸送帶異常判斷步驟；

15、三次判斷：當(dāng)煤塊輪廓圖像信息nx在輸送帶輪廓圖像信息ix上連續(xù)存在時(shí)，對(duì)輸送帶輪廓圖像信息ix的邊緣進(jìn)行判斷，若輸送帶輪廓圖像信息ix的邊緣存在煤塊輪廓圖像信息nx，則執(zhí)行輸送異常輸出步驟，同時(shí)，輸送異常步驟輸出“煤塊裝載過(guò)量”；

16、若輸送帶輪廓圖像信息ix的邊緣不存在煤塊輪廓圖像信息nx，則執(zhí)行輸送帶輸送速度計(jì)算：

17、輸送帶輸送速度計(jì)算：計(jì)算輸送帶的輸送速度v0：

18、輸送帶輸送速度v0的計(jì)算模型如下：

19、；式中，t0為初次監(jiān)測(cè)到煤塊的時(shí)刻，t1為二次監(jiān)測(cè)到煤塊的時(shí)刻，l為t0時(shí)刻至t1時(shí)刻之間煤塊運(yùn)動(dòng)的距離；

20、初次輸送帶異常判斷：獲取輸送機(jī)的滾輪轉(zhuǎn)速v1，若v0=v1，則執(zhí)行輸送正常步驟，若v0≠v1，則執(zhí)行輸送異常步驟，且輸送異常步驟中還輸出“輸送帶轉(zhuǎn)速與滾輪轉(zhuǎn)速不一致，輸送帶打滑”的警示。

21、可選的，所述三次判斷步驟后還設(shè)置有二次輸送帶異常判斷步驟；

22、二次輸送帶異常判斷：對(duì)輸送帶的位置進(jìn)行判斷，判斷輸送機(jī)輪廓圖像中輸送帶輪廓圖像的位置是否改變，若輸送帶輪廓圖像在輸送機(jī)輪廓圖像中的位置改變，則執(zhí)行輸送異常輸出步驟，同時(shí)輸送異常輸出步驟輸出“輸送帶跑偏”的警示；

23、若輸送帶輪廓圖像在輸送機(jī)輪廓圖像中的位置未改變，則執(zhí)行輸送正常步驟。

24、可選的，所述輸送正常輸出步驟后還設(shè)置有緩存清理步驟；

25、緩存清理：當(dāng)輸送帶上的煤塊經(jīng)輸送帶輸送正常，且連續(xù)輸送時(shí)，對(duì)已拍攝的正常煤塊輸送信息進(jìn)行刪除。

26、第二方面，本發(fā)明提供的一種實(shí)時(shí)視頻監(jiān)控異常檢測(cè)系統(tǒng)，采用如下的技術(shù)方案：

27、一種實(shí)時(shí)視頻監(jiān)控異常檢測(cè)系統(tǒng)，包括攝像頭、獲取模塊、儲(chǔ)存模塊、判斷模塊i、判斷模塊ii、輸出模塊i以及輸出模塊ii；

28、儲(chǔ)存模塊：輸入端與獲取模塊的輸出端以及攝像頭的輸出端電信號(hào)連接，用于儲(chǔ)存獲取模塊以及攝像頭獲取的信息；

29、獲取模塊：輸出端與儲(chǔ)存模塊的輸入端電信號(hào)連接，用于獲取m個(gè)輸送機(jī)的圖像信息、n個(gè)煤塊圖像信息以及i個(gè)輸送帶圖像信息，并對(duì)m個(gè)輸送機(jī)的圖像信息、n個(gè)煤塊圖像信息以及i個(gè)輸送帶圖像信息進(jìn)行圖像降噪、圖像增強(qiáng)處理，進(jìn)而獲取輸送機(jī)圖像對(duì)照模型a、煤塊圖像對(duì)照模型b以及輸送帶圖像對(duì)照模型c，并將獲取的信息儲(chǔ)存至儲(chǔ)存模塊中；

30、攝像頭：輸出端與儲(chǔ)存模塊的輸入端電信號(hào)連接，用于對(duì)運(yùn)輸中的煤塊進(jìn)行實(shí)時(shí)視頻監(jiān)測(cè)，并獲取監(jiān)測(cè)過(guò)程中的輸送機(jī)輪廓圖像信息mx、輸送帶輪廓圖像信息ix以及煤塊輪廓圖像信息nx，對(duì)輸送機(jī)輪廓圖像上的輸送帶輪廓圖像進(jìn)行分割，進(jìn)而獲取輸送帶在輸送機(jī)上的位置信息，對(duì)輸送帶輪廓圖像上的煤塊圖像信息進(jìn)行分割，進(jìn)而獲取煤塊在輸送帶上的位置信息，并執(zhí)行判斷模塊i；

31、判斷模塊i：輸入端與儲(chǔ)存模塊的輸出端電信號(hào)連接，輸出端與判斷模塊ii的輸入端以及輸出模塊i的輸入端電信號(hào)連接，調(diào)用儲(chǔ)存模塊中儲(chǔ)存的信息，并對(duì)煤塊的輸送狀態(tài)進(jìn)行判斷：

32、若輸送帶的輪廓圖像信息ix中存在煤塊輪廓圖像信息nx，則執(zhí)行判斷模塊ii，若輸送帶的輪廓圖像信息ix中不存在煤塊輪廓圖像信息nx，則執(zhí)行輸出模塊i；

33、判斷模塊ii：輸出端與輸出模塊i的輸入端以及輸出模塊ii的輸入端電信號(hào)連接，當(dāng)輸送帶的輪廓圖像信息ix中存在煤塊輪廓圖像信息nx時(shí)，對(duì)煤塊輪廓信息nx進(jìn)行連續(xù)性判斷，若煤塊輪廓圖像信息nx在輸送帶輪廓圖像信息ix上連續(xù)存在，則執(zhí)行輸出模塊ii，若煤塊輪廓圖像信息nx在輪廓圖像信息ix上不連續(xù)存在，則執(zhí)行輸出模塊i；

34、輸出模塊i：輸送帶的輪廓圖像信息ix中不存在煤塊輪廓圖像信息nx時(shí)輸出“煤塊未開(kāi)采，輸送帶空轉(zhuǎn)”的警示；

35、煤塊輪廓圖像信息nx在輪廓圖像信息ix上不連續(xù)存在時(shí)，輸出“煤塊開(kāi)采，開(kāi)采速度時(shí)快時(shí)慢”的警示；

36、輸出模塊ii：煤塊經(jīng)輸送帶輸送正常，且連續(xù)輸送。

37、可選的，所述判斷模塊ii后還設(shè)置有判斷模塊iii、計(jì)算模塊以及判斷模塊iv：

38、判斷模塊iii：輸出端與計(jì)算模塊的輸入端電信號(hào)連接，當(dāng)煤塊輪廓圖像信息nx在輸送帶輪廓圖像信息ix上連續(xù)存在時(shí)，對(duì)輸送帶輪廓圖像信息ix的邊緣進(jìn)行判斷，若輸送帶輪廓圖像信息ix的邊緣存在煤塊輪廓圖像信息nx，則執(zhí)行輸出模塊i，同時(shí)，輸出模塊i輸出“煤塊裝載過(guò)量”；

39、若輸送帶輪廓圖像信息ix的邊緣不存在煤塊輪廓圖像信息nx，則執(zhí)行計(jì)算模塊；

40、計(jì)算模塊：輸出端與判斷模塊iv的輸入端電信號(hào)連接，用于計(jì)算輸送帶的輸送速度v0：

41、輸送帶輸送速度v0的計(jì)算模型如下：

42、；式中，t0為初次監(jiān)測(cè)到煤塊的時(shí)刻，t1為二次監(jiān)測(cè)到煤塊的時(shí)刻，l為t0時(shí)刻至t1時(shí)刻之間煤塊運(yùn)動(dòng)的距離；

43、判斷模塊iv：用于對(duì)輸送帶的轉(zhuǎn)速進(jìn)行判斷，獲取輸送機(jī)的滾輪轉(zhuǎn)速v1，若v0=v1，則執(zhí)行輸出模塊ii，若v0≠v1，則執(zhí)行輸出模塊i，且輸出模塊i中還輸出“輸送帶轉(zhuǎn)速與滾輪轉(zhuǎn)速不一致，輸送帶打滑”的警示。

44、可選的，所述判斷模塊iii后還設(shè)置有判斷模塊v：

45、判斷模塊v：對(duì)輸送帶的位置進(jìn)行判斷，判斷輸送機(jī)輪廓圖像中輸送帶輪廓圖像的位置是否改變，若輸送帶輪廓圖像在輸送機(jī)輪廓圖像中的位置改變，則執(zhí)行輸出模塊i，同時(shí)輸出模塊i輸送異常輸出步驟輸出“輸送帶跑偏”的警示；

46、若輸送帶輪廓圖像在輸送機(jī)輪廓圖像中的位置未改變，則執(zhí)行輸出模塊ii。

47、可選的，所述輸出模塊ii后還設(shè)置有清理模塊；

48、清理模塊：輸入端與輸出模塊ii的輸出端電信號(hào)連接，當(dāng)輸送帶上的煤塊經(jīng)輸送帶輸送正常，且連續(xù)輸送時(shí)，對(duì)已拍攝的正常煤塊輸送信息進(jìn)行刪除。

49、綜上所述，本發(fā)明包括以下至少一種有益技術(shù)效果：

50、1、通過(guò)深度學(xué)習(xí)的方法先對(duì)輸送機(jī)圖像、輸送帶圖像以及煤塊圖像進(jìn)行訓(xùn)練，進(jìn)而得到對(duì)照模型，通過(guò)對(duì)拍攝的輸送帶上的煤塊信息判斷煤塊在輸送中的異常狀態(tài)，并獲取煤塊異常狀態(tài)的原因，由于煤塊在輸送的過(guò)程會(huì)收到輸送帶震動(dòng)的影響，可能造成煤塊垮塌，通過(guò)實(shí)時(shí)監(jiān)測(cè)煤塊垮塌時(shí)，是否出現(xiàn)煤塊在輸送帶上發(fā)生異常狀況，進(jìn)而提高對(duì)煤塊輸送異常監(jiān)測(cè)的精度。

51、2、通過(guò)對(duì)輸送帶進(jìn)行實(shí)時(shí)監(jiān)測(cè)，對(duì)運(yùn)行中的輸送帶進(jìn)行圖像對(duì)照，進(jìn)而能夠獲取輸送帶的跑偏信息，并對(duì)跑偏輸送帶進(jìn)行修正，進(jìn)而提高煤塊輸送效率。

52、3、通過(guò)對(duì)輸送及滾輪的轉(zhuǎn)速與輸送帶輸送煤塊的速度進(jìn)行對(duì)比進(jìn)而監(jiān)測(cè)出輸送帶是否打滑的現(xiàn)象發(fā)生，并通過(guò)警報(bào)發(fā)出異常指令。