本發(fā)明涉及音視頻，特別是涉及一種公共場所異常事件的預警方法、系統(tǒng)、產(chǎn)品及攝像頭。

背景技術：

1、公共場所異常事件的發(fā)生常常伴隨著爆炸聲、槍聲及尖叫聲等異常聲音，這些異常事件往往具有突發(fā)性和不確定性，所以為了對公共場所的異常事件進行實時監(jiān)測，市面上廣泛采用了一種聲音溯源抓拍系統(tǒng)，但是，這種聲音溯源抓拍系統(tǒng)僅適用于噪音超標監(jiān)測，不具備對公共場所異常聲音實時分析的能力。

技術實現(xiàn)思路

1、本發(fā)明的實施例提供了一種公共場所異常事件的預警方法、系統(tǒng)、產(chǎn)品及攝像頭，在監(jiān)測到高于環(huán)境底噪的聲音時，分析該聲音的類別信息并對異常聲音告警。

2、為了實現(xiàn)上述目的，一方面，提供一種公共場所異常事件的預警方法，包括：

3、監(jiān)測公共場所的音頻，當所述音頻的分貝值高于預定的噪聲指標時，確定所述音頻對應的聲源位置；

4、調整預置攝像頭的水平轉動角度和垂直轉動角度，使所述攝像頭轉向所述聲源位置，通過所述攝像頭采集所述聲源位置處的圖像信息，通過預置的拾音器模塊采集所述聲源位置處的聲音信息，并將采集的所述圖像信息和所述聲音信息傳輸至第一處理器；

5、所述第一處理器使用transformer模塊提取所述聲音信息的深度特征信息，并將所述深度特征信息輸入預先經(jīng)過訓練的公共場所異常聲音判別網(wǎng)絡，確定所述聲音信息是否是公共場所異常聲音，并當所述聲音信息是公共場所異常聲音時，判斷所述公共場所異常聲音的類別；其中，所述公共場所異常聲音的類別包括：爆炸聲、槍聲和尖叫聲；

6、當所述聲音信息是公共場所異常聲音時，所述第一處理器提取所述圖像信息的關鍵視頻幀數(shù)據(jù)，并將所述公共場所異常聲音的類別、所述聲音信息和所述關鍵視頻幀數(shù)據(jù)上傳至云平臺，以發(fā)出警告提示和推送警情。

7、優(yōu)選地，所述的方法，在提取所述聲音信息的深度特征信息之前，還包括所述第一處理器對所述聲音信息進行的如下預處理步驟：

8、對所述聲音信息通過高通濾波器進行預加重處理；

9、將經(jīng)過預加重處理后的信號分成預定長度的多段短時幀，且每次幀移長度為幀長的1/2到1/3；

10、將每段所述短時幀乘以一個預定的窗函數(shù)；

11、對每一幀信號進行快速傅里葉變換，得到所述聲音信息的頻譜和時相譜圖，再對所述頻譜取模的平方，得到所述聲音信息的功率譜；

12、使用預定的一組等高梅爾刻度的三角濾波器來提取所述功率譜的頻帶，得到梅爾譜圖；其中，所述一組三角濾波器的中心頻率按照梅爾刻度等間隔分布，所述一組三角濾波器覆蓋所述聲音信息的整個音頻頻率范圍，且所述一組三角濾波器的帶寬隨著頻率的增加而增加；

13、對所述梅爾譜圖的每個頻率分量取對數(shù)，得到對數(shù)梅爾譜圖。

14、優(yōu)選地，所述的方法，通過預先設置的聲音朔源模塊來確定所述聲源位置，所述聲音朔源模塊內(nèi)設麥克風陣列。

15、優(yōu)選地，所述的方法，所述攝像頭為與所述聲音朔源模塊連接的轉動云臺攝像頭；所述轉動云臺攝像頭與所述聲音朔源模塊對應聯(lián)動；所述攝像頭和所述聲音朔源模塊預先進行了參考坐標標定。

16、優(yōu)選地，所述的方法，所述轉動云臺攝像頭的橫滾角為0至360度，俯仰角為-15至105度，波束角小于5度。

17、優(yōu)選地，所述的方法，所述聲音朔源模塊的位置固定，所述調整預置攝像頭的水平轉動角度和垂直轉動角度，使所述攝像頭轉向所述聲源位置的步驟包括：

18、設定所述聲音溯源模塊的坐標為(0,0,0),所述攝像頭相對于所述聲音溯源模塊的坐標為(x,y,z),所述攝像頭的初始朝向為水平正北,所述聲源相對于所述固定聲音溯源模塊的坐標為(1,m,n)；

19、根據(jù)幾何關系,所述攝像頭水平轉動角度的計算方式如下:將正北方向表示為單位向量,設為n＝(0，1，0),水平轉動角度μ為向量與單位向量n的夾角,即μ＝arccos((m·n)/m|)*(180/π)；

20、根據(jù)幾何關系,所述攝像頭垂直轉動角度的計算方式如下:將垂直向上方向表示為單位向量,設為c＝(0，0，1),垂直轉動角度ε為向量與單位向量c的夾角,即ε＝arccos((m·c)/m)*(180/π)。

21、另一方面，還提供一種用于實現(xiàn)如上文任一所述的預警方法進行預警的公共場所異常事件的預警系統(tǒng)，包括：

22、聲音分貝采集分析模塊，用于監(jiān)測公共場所的音頻，判斷所述音頻的分貝值是否高于預定的環(huán)境底噪；

23、聲音朔源模塊，用于當所述音頻的分貝值高于預定的環(huán)境底噪時，確定所述音頻對應的聲源位置；

24、攝像頭，用于采集公共場所的圖像，并當所述音頻的分貝值高于預定的環(huán)境底噪時，調整自身的水平轉動角度和垂直轉動角度，使所述攝像頭轉向所述聲源位置，并將通過所述攝像頭采集所述聲源位置處的圖像信息和通過預置的拾音器模塊采集所述聲源位置處的聲音信息傳輸至第一處理器；

25、第一處理器，用于使用transformer模塊提取所述聲音信息的深度特征信息，并將所述深度特征信息輸入預先經(jīng)過訓練的公共場所異常聲音判別網(wǎng)絡，確定所述聲音信息是否是公共場所異常聲音，并當所述聲音信息是公共場所異常聲音時，判斷所述公共場所異常聲音的類別；其中，所述公共場所異常聲音的類別包括：爆炸聲、槍聲和尖叫聲；當所述聲音信息是公共場所異常聲音時，提取所述圖像信息的關鍵視頻幀數(shù)據(jù)，并將所述公共場所異常聲音的類別、所述聲音信息和所述關鍵視頻幀數(shù)據(jù)上傳至云平臺，以發(fā)出警告提示和推送警情。

26、又一方面，還提供一種計算機可讀存儲介質，所述存儲介質中存儲有至少一段程序，所述至少一段程序由處理器執(zhí)行以實現(xiàn)如上文任一所述的預警方法中第一處理器執(zhí)行的步驟。

27、又一方面，還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文任一所述的預警方法中第一處理器執(zhí)行的步驟。

28、又一方面，還提供一種用于實現(xiàn)如上文任一所述的公共場所異常事件的預警方法的攝像頭，所述攝像頭包括：

29、圖像采集模塊，用于采集公共場所的圖像；

30、控制模塊，用于當公共場所音頻的分貝值高于預定的環(huán)境底噪時，調整所述智能攝像頭的水平轉動角度和垂直轉動角度，使所述智能攝像頭轉向所述聲源位置，并將通過所述攝像頭采集所述聲源位置處的圖像信息和通過預置的拾音器模塊采集所述聲源位置處的聲音信息傳輸至第一處理器。

31、上述技術方案具有如下技術效果：

32、本發(fā)明實施例的技術方案對于公共場所出現(xiàn)的異常聲音，可以確定異常聲音的聲源位置，調整預置攝像頭的水平轉動角度和垂直轉動角度，使所述攝像頭轉向所述聲源位置，通過攝像頭采集聲源處的圖像信息及通過拾音器模塊采集聲源處的聲音信息，并將采集的圖像信息和聲音信息傳輸至處理器；處理器對聲音信息進行預處理后提取聲音信息的深度特征信息，并將深度特征信息輸入預先經(jīng)過訓練的公共場所異常聲音判別網(wǎng)絡，確定聲音信息是否是公共場所異常聲音，如是否是零星且孤立的異常聲音，如爆炸聲、槍聲及尖叫聲等；如是，判斷公共場所異常聲音的類別，并將該異常聲音的類別信息和采集的音視頻信息傳輸至云平臺，同時發(fā)出告警，實現(xiàn)將公共安全聲音事件及時推送到后端告警，提高公共場所異常事件監(jiān)控的準確性、實時性和便捷性，同時利于警方通過告警信息了解現(xiàn)場的情況，做出合理的警力安排。