本發(fā)明涉及安防管理,更具體地說(shuō),本發(fā)明涉及一種基于人工智能的安防決策平臺(tái)。
背景技術(shù):
1、安防決策指的是在安全防護(hù)和監(jiān)控領(lǐng)域,通過(guò)數(shù)據(jù)分析、風(fēng)險(xiǎn)評(píng)估、預(yù)警和響應(yīng)措施的綜合判斷,確定最佳的安全處理方案或行動(dòng)。安防決策的目標(biāo)是及時(shí)、有效地應(yīng)對(duì)潛在的安全威脅或突發(fā)事件,確保人身、財(cái)產(chǎn)和信息的安全。
2、但是,大部分的安防決策往往都是相關(guān)人員人工對(duì)監(jiān)控視頻內(nèi)行人是否存在危險(xiǎn)行為進(jìn)行識(shí)別,當(dāng)監(jiān)控區(qū)域較大且監(jiān)控視頻較多時(shí),相關(guān)人員不便及時(shí)監(jiān)測(cè)到危險(xiǎn)并給出相應(yīng)的安防決策,容易漏缺一些行人的危險(xiǎn)行為,當(dāng)然,也有一部分安防決策是通過(guò)人工智能對(duì)行人的行為姿態(tài)進(jìn)行識(shí)別并給出的,這些人工智能給出的安防決策很多時(shí)候并未考慮一些屬于安全類型的行為在特定的環(huán)境下可能會(huì)變成危險(xiǎn)行為,容易忽略這些危險(xiǎn)行為,從而導(dǎo)致危險(xiǎn)事故的發(fā)生。
3、鑒于此,本發(fā)明提出一種基于人工智能的安防決策平臺(tái)以解決上述問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、為了克服現(xiàn)有技術(shù)的上述缺陷,為實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:一種基于人工智能的安防決策平臺(tái),包括:
2、數(shù)據(jù)采集處理模塊,用于采集監(jiān)控區(qū)域內(nèi)行人的實(shí)時(shí)行為姿態(tài)數(shù)據(jù),預(yù)處理實(shí)時(shí)行為姿態(tài)數(shù)據(jù)得到實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù);
3、數(shù)據(jù)識(shí)別模塊,用于將實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù)輸入訓(xùn)練完成的識(shí)別模型內(nèi),得到實(shí)時(shí)行為類別;
4、匹配模塊,用于預(yù)設(shè)安全類型集和危險(xiǎn)類型集,若實(shí)時(shí)行為類別屬于危險(xiǎn)類型集,則為實(shí)時(shí)行為類別匹配相應(yīng)的模擬場(chǎng)景,若實(shí)時(shí)行為類別屬于安全類型集,則為實(shí)時(shí)行為類別匹配相應(yīng)的組合特征路徑;
5、決策輸出模塊,用于通過(guò)模擬場(chǎng)景或組合特征路徑輸出相應(yīng)的安防決策,并將輸出的安防決策發(fā)送給相關(guān)人員。
6、進(jìn)一步地,所述采集監(jiān)控區(qū)域內(nèi)行人的實(shí)時(shí)行為姿態(tài)數(shù)據(jù)的方式,包括:
7、通過(guò)監(jiān)控設(shè)備對(duì)監(jiān)控區(qū)域進(jìn)行實(shí)時(shí)采集,得到監(jiān)控視頻;
8、通過(guò)目標(biāo)檢測(cè)算法從監(jiān)控視頻中識(shí)別并提取包含行人的視頻片段,生成相應(yīng)的視頻流;
9、按照時(shí)間順序?qū)⒁曨l流分解為連續(xù)v幀的幀圖像,應(yīng)用姿態(tài)估計(jì)算法對(duì)連續(xù)v幀的幀圖像中每一幀圖像的行人進(jìn)行關(guān)鍵點(diǎn)標(biāo)注并提??;
10、將提取到的每一幀圖像的關(guān)鍵點(diǎn)按照時(shí)間順序排列,得到行人的實(shí)時(shí)行為姿態(tài)數(shù)據(jù)。
11、進(jìn)一步地,所述預(yù)處理實(shí)時(shí)行為姿態(tài)數(shù)據(jù)得到實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù)的方式,包括:
12、對(duì)于實(shí)時(shí)行為姿態(tài)數(shù)據(jù)中連續(xù)的幀圖像,選擇一個(gè)固定的參考點(diǎn)作為基準(zhǔn)中心點(diǎn),計(jì)算每一幀圖像中的所有關(guān)鍵點(diǎn)相對(duì)于參考點(diǎn)的相對(duì)坐標(biāo);
13、使用min-max標(biāo)準(zhǔn)化將連續(xù)的幀圖像中所有關(guān)鍵點(diǎn)的相對(duì)坐標(biāo)歸一化到[0,1]的范圍,得到連續(xù)的幀圖像的位置信息;
14、基于位置信息計(jì)算關(guān)鍵點(diǎn)在連續(xù)的幀圖像之間的速度和加速度,得到速度特征;
15、計(jì)算連續(xù)的幀圖像中關(guān)鍵點(diǎn)之間的角度變化,得到角度特征;
16、將連續(xù)的幀圖像中的速度特征和角度特征按照時(shí)間順序進(jìn)行對(duì)齊,進(jìn)而得到實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù)。
17、進(jìn)一步地,所述識(shí)別模型的訓(xùn)練過(guò)程為;
18、收集若干個(gè)已標(biāo)注行為類別的視頻流及其對(duì)應(yīng)的實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù),構(gòu)建行為樣本集,將行為樣本集劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集;
19、以長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)作為識(shí)別模型的基礎(chǔ)框架,基礎(chǔ)框架包括輸入層、lstm層、全連接層、隱藏層和輸出層;
20、其中,輸入層用于接收實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù),并將其轉(zhuǎn)換為特征向量p作為輸入,lstm層用于捕捉實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù)的時(shí)間依賴性和動(dòng)態(tài)變化,隱藏層用于進(jìn)一步處理lstm層輸出的特征向量,全連接層用于將隱藏層輸出的特征向量映射到分類任務(wù)的特征空間,并連接輸入特征與分類輸出,輸出層通過(guò)softmax函數(shù)生成每個(gè)行為類別的預(yù)測(cè)概率,并最終輸出行為類別;
21、定義識(shí)別模型的損失函數(shù)為
22、式中,l為損失值,n為行為樣本數(shù)量,c為行為類別數(shù)量,yij為第i個(gè)行為樣本在第j個(gè)行為類別上的真實(shí)標(biāo)簽值,pij為識(shí)別模型預(yù)測(cè)第i個(gè)行為樣本屬于第j個(gè)行為類別的概率。
23、進(jìn)一步地,所述得到實(shí)時(shí)行為類別的過(guò)程,包括:
24、將實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù)輸入訓(xùn)練完成的識(shí)別模型內(nèi);
25、識(shí)別模型的輸出層輸出相應(yīng)的行為類別,輸出的行為類別即為實(shí)時(shí)行為類別。
26、進(jìn)一步地,所述預(yù)設(shè)安全類型集和危險(xiǎn)類型集,若實(shí)時(shí)行為類別屬于危險(xiǎn)類型集,則為實(shí)時(shí)行為類別匹配相應(yīng)的模擬場(chǎng)景的方式,包括:
27、預(yù)設(shè)一個(gè)包含d個(gè)行為類別的行為類別集,定義分類標(biāo)準(zhǔn),按照分類標(biāo)準(zhǔn)將行為類別集中的行為類別劃分至安全類型集或危險(xiǎn)類型集內(nèi);
28、預(yù)設(shè)k個(gè)模擬場(chǎng)景,每個(gè)模擬場(chǎng)景均對(duì)應(yīng)有危險(xiǎn)類型集內(nèi)的一個(gè)行為類別,其中,每個(gè)模擬場(chǎng)景內(nèi)均預(yù)設(shè)有若干個(gè)演變路徑,每個(gè)演變路徑均預(yù)設(shè)有一個(gè)決策,若干個(gè)演變路徑由同一行為類別對(duì)應(yīng)的不同歷史行為姿態(tài)特征數(shù)據(jù)構(gòu)成;
29、將實(shí)時(shí)行為類別分別與安全類型集、危險(xiǎn)類型集內(nèi)的行為類別進(jìn)行比對(duì);
30、若實(shí)時(shí)行為類別屬于危險(xiǎn)類型集,則為實(shí)時(shí)行為類別匹配相應(yīng)的模擬場(chǎng)景。
31、進(jìn)一步地,所述若實(shí)時(shí)行為類別屬于安全類型集,則為實(shí)時(shí)行為類別匹配相應(yīng)的組合特征路徑的方式,包括:
32、預(yù)設(shè)一個(gè)組合特征路徑集,組合特征路徑集包含s個(gè)組合特征路徑;
33、提取連續(xù)的幀圖像中的實(shí)時(shí)環(huán)境元素,將提取的實(shí)時(shí)環(huán)境元素與屬于安全類型集的實(shí)時(shí)行為類別進(jìn)行排列組合,得到實(shí)時(shí)組合特征路徑:
34、獲取組合特征路徑集內(nèi)與實(shí)時(shí)組合特征路徑相同且包含最多環(huán)境元素的組合特征路徑,然后將相同且包含最多環(huán)境元素的組合特征路徑與實(shí)時(shí)行為類別進(jìn)行匹配;
35、其中,提取連續(xù)的幀圖像中的實(shí)時(shí)環(huán)境元素的方式,包括:
36、對(duì)連續(xù)的幀圖像進(jìn)行特征提取,得到每一幀圖像的特征向量;
37、預(yù)設(shè)相似度閾值,將每一幀圖像的特征向量與預(yù)先構(gòu)建的環(huán)境元素?cái)?shù)據(jù)庫(kù)中的特征向量進(jìn)行相似度比對(duì),所述環(huán)境元素?cái)?shù)據(jù)庫(kù)包含q個(gè)環(huán)境元素以及q個(gè)環(huán)境元素對(duì)應(yīng)的特征向量;
38、篩選出環(huán)境元素?cái)?shù)據(jù)庫(kù)中大于等于相似度閾值的特征向量,并將其對(duì)應(yīng)的環(huán)境元素進(jìn)行輸出,即得到連續(xù)的幀圖像中所有的實(shí)時(shí)環(huán)境元素。
39、進(jìn)一步地,所述組合特征路徑的獲取方式,包括:
40、按照時(shí)間順序收集r個(gè)屬于安全類型集的行為類別對(duì)應(yīng)的歷史視頻流,將每個(gè)歷史視頻流分為低風(fēng)險(xiǎn)或潛在危險(xiǎn);
41、將屬于潛在危險(xiǎn)的每個(gè)歷史視頻流中的行為類別和環(huán)境元素進(jìn)行提取,將提取到的行為類別和環(huán)境元素作為初始組合特征路徑;
42、獲取初始組合特征路徑在r個(gè)歷史視頻流中出現(xiàn)的概率,預(yù)設(shè)概率閾值,將大于等于概率閾值的初始組合特征路徑作為組合特征路徑:
43、其中,每個(gè)屬于潛在危險(xiǎn)的歷史視頻流均預(yù)設(shè)有一個(gè)決策,將決策與歷史視頻流對(duì)應(yīng)的組合特征路徑進(jìn)行關(guān)聯(lián)。
44、進(jìn)一步地,所述通過(guò)模擬場(chǎng)景或組合特征路徑輸出相應(yīng)的安防決策的方式,包括:
45、當(dāng)實(shí)時(shí)行為類別屬于危險(xiǎn)類型集,則按照時(shí)間順序?qū)⑿袨樽藨B(tài)數(shù)據(jù)的每一幀圖像的關(guān)鍵點(diǎn)作為演變路徑的節(jié)點(diǎn),并將每個(gè)節(jié)點(diǎn)以演變路徑的序號(hào)-幀數(shù)的進(jìn)行名稱標(biāo)注;
46、按照時(shí)間順序?qū)?shí)時(shí)行為姿態(tài)數(shù)據(jù)對(duì)應(yīng)的每一幀圖像的關(guān)鍵點(diǎn)作為一個(gè)節(jié)點(diǎn),即得到v個(gè)節(jié)點(diǎn);
47、以v個(gè)節(jié)點(diǎn)構(gòu)建一個(gè)滑動(dòng)窗口,對(duì)于每個(gè)預(yù)設(shè)的演變路徑,逐個(gè)計(jì)算滑動(dòng)窗口中v個(gè)節(jié)點(diǎn)與若干個(gè)演變路徑中對(duì)應(yīng)節(jié)點(diǎn)的相似度,得到若干個(gè)相似度集;
48、將若干個(gè)相似度集中每個(gè)相似度集的所有相似度進(jìn)行求和,按照求和的結(jié)果對(duì)若干個(gè)相似度集進(jìn)行降序排序;
49、將排序第一位的相似度集對(duì)應(yīng)的演變路徑作為實(shí)時(shí)行為姿態(tài)數(shù)據(jù)的演變路徑,將這個(gè)演變路徑對(duì)應(yīng)的決策作為安防決策進(jìn)行輸出;
50、當(dāng)實(shí)時(shí)行為類別屬于安全類型集,則將組合特征路徑集內(nèi)與實(shí)時(shí)組合特征路徑相同的組合特征路徑所對(duì)應(yīng)的決策作為安防決策進(jìn)行輸出。
51、進(jìn)一步地,所述將輸出的安防決策發(fā)送給相關(guān)人員的方式,包括:
52、獲取監(jiān)控設(shè)備的坐標(biāo),得到第一坐標(biāo),獲取f個(gè)相關(guān)人員的坐標(biāo),得到f個(gè)第二坐標(biāo);
53、獲取第一坐標(biāo)與f個(gè)第二坐標(biāo)之間的距離,得到f個(gè)距離;
54、對(duì)f個(gè)距離進(jìn)行升序排序,將安防決策與第一坐標(biāo)發(fā)送給排序第一位距離對(duì)應(yīng)的相關(guān)人員,相關(guān)人員即在第一坐標(biāo)對(duì)應(yīng)的監(jiān)控區(qū)域內(nèi)執(zhí)行安防決策
55、本發(fā)明一種基于人工智能的安防決策平臺(tái)的技術(shù)效果和優(yōu)點(diǎn):
56、通過(guò)將實(shí)時(shí)行為姿態(tài)特征數(shù)據(jù)輸入訓(xùn)練完成的識(shí)別模型內(nèi),能夠識(shí)別出行人的行為類別,從而便于后續(xù)的安防決策平臺(tái)根據(jù)行人的行為類別輸出相應(yīng)的安防決策;能夠根據(jù)實(shí)時(shí)行為類別是否屬于安全類型集或危險(xiǎn)類型集以及實(shí)時(shí)環(huán)境元素及時(shí)地輸出相應(yīng)的安防決策,提升了監(jiān)控區(qū)域內(nèi)的安全性,能夠避免一些危險(xiǎn)事故的發(fā)生。