本發(fā)明涉及視頻異常檢測(cè)，尤其涉及一種融合關(guān)鍵幀和多任務(wù)混合模型的視頻異常檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、視頻異常檢測(cè)是指通過(guò)算法檢測(cè)出視頻中不符合人們預(yù)期的行為或事件，例如人群聚集、縱火、搶劫、逆向行駛、橫穿馬路等。隨著社會(huì)的快速發(fā)展與大量高清攝像機(jī)的部署，視頻異常檢測(cè)已經(jīng)成為國(guó)內(nèi)外研究的熱點(diǎn)領(lǐng)域。隨著數(shù)據(jù)量的增加，傳統(tǒng)機(jī)器學(xué)習(xí)算法無(wú)法捕獲數(shù)據(jù)樣本之間的復(fù)雜結(jié)構(gòu)，在檢測(cè)異常值時(shí)出現(xiàn)大幅度的性能下降。而基于深度學(xué)習(xí)的方法在視頻異常檢測(cè)中具有巨大的優(yōu)勢(shì)，不僅可以利用構(gòu)建好的深層次卷積神經(jīng)網(wǎng)絡(luò)模型自主學(xué)習(xí)數(shù)據(jù)樣本之間的分層判別特征，而且有著優(yōu)異的自適應(yīng)能力和數(shù)據(jù)處理能力。

2、視頻可以看作許多連續(xù)圖像按照時(shí)間順序疊加而成，由于監(jiān)控視頻中不僅包含了行為動(dòng)作信息，而且包含了大量重復(fù)幀，這導(dǎo)致了大量的內(nèi)存消耗以及信息冗余，增加了模型的計(jì)算量，降低了視頻異常檢測(cè)效率和識(shí)別率。

3、目前，視頻異常檢測(cè)主要采用基于重構(gòu)和預(yù)測(cè)的方法，其中重構(gòu)方法中主要使用自編碼器來(lái)完成編碼和解碼，但其強(qiáng)大的編碼和解碼能力導(dǎo)致異常數(shù)據(jù)樣本被很好地重構(gòu)，使得異常數(shù)據(jù)的誤判率較高。而基于預(yù)測(cè)的方法主要通過(guò)學(xué)習(xí)歷史幀來(lái)預(yù)測(cè)未來(lái)幀，并與真實(shí)的未來(lái)幀進(jìn)行對(duì)比，但是該方法容易受到數(shù)據(jù)變化和環(huán)境噪聲的影響，尤其是對(duì)于實(shí)時(shí)視頻流的處理，這會(huì)導(dǎo)致模型的不穩(wěn)定和誤差增加，影響檢測(cè)性能。

4、另一方面，當(dāng)前主流的基于重構(gòu)和預(yù)測(cè)的視頻異常檢測(cè)方法大多是通過(guò)學(xué)習(xí)歷史幀來(lái)重構(gòu)和預(yù)測(cè)未來(lái)幀，但場(chǎng)景變化和遮擋等會(huì)導(dǎo)致預(yù)測(cè)不準(zhǔn)確，并且該方法會(huì)導(dǎo)致過(guò)去時(shí)間段異常行為的漏檢，因此基于未來(lái)幀重構(gòu)和預(yù)測(cè)的方法仍存在一定缺陷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)上述問(wèn)題，提出一種融合關(guān)鍵幀和多任務(wù)混合模型的視頻異常檢測(cè)方法及系統(tǒng)。該方法首先使用分段聚類(lèi)的幀間差分關(guān)鍵幀提取技術(shù)，將提取的關(guān)鍵幀作為模型輸入，節(jié)省了存儲(chǔ)空間，提升檢測(cè)效率。然后，在人體骨骼特征提取的基礎(chǔ)上，融合了基于重構(gòu)的方法和基于預(yù)測(cè)的方法，構(gòu)建一個(gè)混合模型。并且在多任務(wù)學(xué)習(xí)方面，綜合利用歷史幀重構(gòu)和預(yù)測(cè)未來(lái)幀(ftr)、利用未來(lái)幀重構(gòu)和預(yù)測(cè)歷史幀(pst)、利用歷史幀和未來(lái)幀重構(gòu)和預(yù)測(cè)當(dāng)前幀(prs)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明一方面提出一種融合關(guān)鍵幀和多任務(wù)混合模型的視頻異常檢測(cè)方法，包括：

4、步驟1：獲取視頻數(shù)據(jù)集；

5、步驟2：構(gòu)建融合關(guān)鍵幀和多任務(wù)學(xué)習(xí)的混合模型；所述混合模型包括關(guān)鍵幀提取模塊和基于骨骼的雙分支混合模型；所述關(guān)鍵幀提取模塊用于提取視頻的關(guān)鍵幀；所述基于骨骼的雙分支混合模型包括重構(gòu)和預(yù)測(cè)兩個(gè)分支，每個(gè)分支均包括人體骨骼提取模塊、編碼器、記憶模塊、記憶增強(qiáng)模塊、解碼器和卷積注意模塊；

6、步驟3：將提取到的關(guān)鍵幀分為歷史幀、當(dāng)前幀和未來(lái)幀，以進(jìn)行多任務(wù)學(xué)習(xí)；

7、步驟4：基于構(gòu)建的所述雙分支混合模型，利用歷史幀重構(gòu)和預(yù)測(cè)未來(lái)幀、利用未來(lái)幀重構(gòu)和預(yù)測(cè)歷史幀、利用歷史幀和未來(lái)幀重構(gòu)和預(yù)測(cè)當(dāng)前幀；

8、步驟5：基于獲取的視頻數(shù)據(jù)集對(duì)各任務(wù)的雙分支混合模型進(jìn)行訓(xùn)練，從而獲得訓(xùn)練好的融合關(guān)鍵幀和多任務(wù)學(xué)習(xí)的混合模型；

9、步驟6：基于訓(xùn)練好的融合關(guān)鍵幀和多任務(wù)學(xué)習(xí)的混合模型，進(jìn)行視頻異常檢測(cè)。

10、進(jìn)一步地，所述關(guān)鍵幀提取模塊具體用于根據(jù)需求對(duì)原始視頻進(jìn)行分段和特征提取，然后使用k-means聚類(lèi)方法進(jìn)行聚類(lèi)，將特征向量分成k個(gè)簇，其中每個(gè)簇都由一個(gè)代表性的中心點(diǎn)表示，之后差分圖像，計(jì)算幀像素強(qiáng)度絕對(duì)差值，并根據(jù)閾值選擇關(guān)鍵幀。

11、進(jìn)一步地，所述人體骨骼提取模塊具體用于利用人體姿態(tài)估計(jì)算法從輸入的視頻幀中提取出人體骨骼數(shù)據(jù)。

12、進(jìn)一步地，所述編碼器的梯度損失為：

13、

14、其中l(wèi)b是編碼器的梯度損失，ti、表示時(shí)間位置，z、i分別表示重建位置、真實(shí)位置和時(shí)間序列，是正類(lèi)樣本對(duì)，是軟負(fù)類(lèi)樣本對(duì)，是硬負(fù)類(lèi)樣本對(duì)，γ是一個(gè)邊界超參數(shù)。

15、進(jìn)一步地，所述記憶模塊中，使用softmax函數(shù)計(jì)算記憶尋址權(quán)重：

16、

17、其中ri表示第i行記憶矩陣的記憶尋址權(quán)重，si為第i行記憶矩陣的記憶存儲(chǔ)，n為記憶矩陣的行數(shù)，y為編碼特征向量，d(·)是一種近似值度量的方法。

18、進(jìn)一步地，所述記憶增強(qiáng)模塊包括自注意力模塊和特征投影模塊，所述特征投影模塊用于將輸入數(shù)據(jù)映射到另一個(gè)空間的操作。

19、進(jìn)一步地，當(dāng)輸入為歷史幀時(shí)，所述解碼器的損失為：

20、

21、其中l(wèi)d表示解碼器的損失，t表示時(shí)間步數(shù)，ti、t表示時(shí)間位置，和分別表示預(yù)測(cè)的未來(lái)幀和真實(shí)的未來(lái)幀。

22、進(jìn)一步地，所述多任務(wù)學(xué)習(xí)的最終損失為：

23、l＝lb+λld

24、其中，l是多任務(wù)學(xué)習(xí)的最終損失，lb是編碼器的梯度損失，ld是解碼器的損失，λ是一個(gè)超參數(shù)，根據(jù)骨骼關(guān)節(jié)點(diǎn)和邊界框角軌跡進(jìn)行調(diào)整。

25、本發(fā)明另一方面提出一種融合關(guān)鍵幀和多任務(wù)混合模型的視頻異常檢測(cè)系統(tǒng)，包括：

26、視頻數(shù)據(jù)集獲取單元，用于獲取視頻數(shù)據(jù)集；

27、混合模型構(gòu)建單元，用于構(gòu)建融合關(guān)鍵幀和多任務(wù)學(xué)習(xí)的混合模型；所述混合模型包括關(guān)鍵幀提取模塊和基于骨骼的雙分支混合模型；所述關(guān)鍵幀提取模塊用于提取視頻的關(guān)鍵幀；所述基于骨骼的雙分支混合模型包括重構(gòu)和預(yù)測(cè)兩個(gè)分支，每個(gè)分支均包括人體骨骼提取模塊、編碼器、記憶模塊、記憶增強(qiáng)模塊、解碼器和卷積注意模塊；

28、關(guān)鍵幀劃分單元，用于將提取到的關(guān)鍵幀分為歷史幀、當(dāng)前幀和未來(lái)幀，以進(jìn)行多任務(wù)學(xué)習(xí)；

29、多任務(wù)學(xué)習(xí)單元，用于基于構(gòu)建的所述雙分支混合模型，利用歷史幀重構(gòu)和預(yù)測(cè)未來(lái)幀、利用未來(lái)幀重構(gòu)和預(yù)測(cè)歷史幀、利用歷史幀和未來(lái)幀重構(gòu)和預(yù)測(cè)當(dāng)前幀；

30、混合模型訓(xùn)練單元，用于基于獲取的視頻數(shù)據(jù)集對(duì)各任務(wù)的雙分支混合模型進(jìn)行訓(xùn)練，從而獲得訓(xùn)練好的融合關(guān)鍵幀和多任務(wù)學(xué)習(xí)的混合模型；

31、視頻異常檢測(cè)單元，用于基于訓(xùn)練好的融合關(guān)鍵幀和多任務(wù)學(xué)習(xí)的混合模型，進(jìn)行視頻異常檢測(cè)。

32、與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果：

33、1.使用基于k-means分段聚類(lèi)的幀間差分關(guān)鍵幀提取技術(shù)，該方法通過(guò)分段聚類(lèi)和差分圖像計(jì)算幀像素強(qiáng)度絕對(duì)差值來(lái)提取關(guān)鍵幀，在人體識(shí)別中具有較少冗余信息，更好的表征和泛化，提高魯棒性，計(jì)算效率高等優(yōu)勢(shì)。因此使用此方法對(duì)原始視頻幀進(jìn)行關(guān)鍵幀提取，并作為模型的輸入，可以降低實(shí)際應(yīng)用中的內(nèi)存消耗并提高視頻異常檢測(cè)的效率。

34、2.在關(guān)鍵幀提取的基礎(chǔ)上，提取人體骨骼數(shù)據(jù)，并構(gòu)建基于重構(gòu)方法和預(yù)測(cè)方法的混合模型，有效解決了重構(gòu)方法和預(yù)測(cè)方法異常數(shù)據(jù)誤判率較高和有易受環(huán)境噪聲影響的問(wèn)題，通過(guò)混合模型綜合利用多源信息，結(jié)合兩種方法的優(yōu)勢(shì)，提高模型的實(shí)用性、準(zhǔn)確率。

35、3.基于混合模型的多任務(wù)異常檢測(cè)方法，即綜合利用歷史幀重構(gòu)和預(yù)測(cè)未來(lái)幀、利用未來(lái)幀重構(gòu)和預(yù)測(cè)歷史幀、利用歷史幀和未來(lái)幀重構(gòu)和預(yù)測(cè)當(dāng)前幀。采用多任務(wù)學(xué)習(xí)的方法，挖掘豐富的時(shí)序信息，彌補(bǔ)以往采用單一時(shí)序片段檢測(cè)方式漏檢和準(zhǔn)確率低的問(wèn)題，全面捕捉異常信號(hào)，增強(qiáng)異常檢測(cè)的預(yù)測(cè)能力。