本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種智能化應(yīng)急指揮調(diào)度系統(tǒng)及方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的飛速發(fā)展，特別是自然語言處理(nlp)、計(jì)算機(jī)視覺和多模態(tài)技術(shù)的成熟，各行業(yè)開始廣泛應(yīng)用智能化手段來提升資源管理和調(diào)度的效率。在應(yīng)急管理領(lǐng)域，視頻監(jiān)控和調(diào)度成為關(guān)鍵環(huán)節(jié)，通過實(shí)時(shí)獲取和分析現(xiàn)場(chǎng)信息，迅速做出決策顯得尤為重要。然而，現(xiàn)有的技術(shù)手段在應(yīng)對(duì)復(fù)雜和突發(fā)事件時(shí)，仍然存在較大的局限性。

2、現(xiàn)有技術(shù)主要依賴人工操作進(jìn)行視頻調(diào)度和指揮。這些系統(tǒng)要求操作人員手動(dòng)選擇監(jiān)控源，并手動(dòng)執(zhí)行指令來完成畫面切換和資源調(diào)用。雖然這些系統(tǒng)能夠滿足日常的基本需求，但在突發(fā)應(yīng)急事件中，手動(dòng)操作往往導(dǎo)致響應(yīng)速度滯后，進(jìn)而影響事件處理的效率。這種高度依賴人工的操作模式限制了其在高效、快速響應(yīng)場(chǎng)景中的應(yīng)用。

3、在語音控制領(lǐng)域，現(xiàn)有系統(tǒng)一般通過關(guān)鍵詞匹配技術(shù)來識(shí)別用戶命令。當(dāng)用戶發(fā)出指令時(shí)，系統(tǒng)提取語音中的關(guān)鍵詞，并與預(yù)設(shè)的命令詞進(jìn)行匹配，進(jìn)而觸發(fā)相應(yīng)的操作。這類系統(tǒng)對(duì)用戶表達(dá)的準(zhǔn)確性要求較高，用戶必須嚴(yán)格遵循預(yù)設(shè)的命令格式才能保證操作執(zhí)行。這樣不僅限制了操作的靈活性，也增加了出錯(cuò)的幾率，特別是在應(yīng)急情況下，靈活、精準(zhǔn)的操作需求難以得到滿足。

4、另外，視頻內(nèi)容理解方面，現(xiàn)有的技術(shù)多基于物體檢測(cè)或特定場(chǎng)景識(shí)別。這些算法雖然在單一目標(biāo)的識(shí)別上表現(xiàn)出色，但其應(yīng)用范圍有限，通常只能識(shí)別預(yù)設(shè)的目標(biāo)類型。如果需要識(shí)別更多種類的目標(biāo)或復(fù)雜場(chǎng)景，通常需要針對(duì)每個(gè)目標(biāo)進(jìn)行額外的訓(xùn)練，這不僅成本高昂，且識(shí)別效果在多目標(biāo)場(chǎng)景中不理想。現(xiàn)有的技術(shù)難以在應(yīng)急場(chǎng)景下實(shí)現(xiàn)對(duì)多目標(biāo)、多情節(jié)的智能分析和實(shí)時(shí)預(yù)警。

5、因此，盡管現(xiàn)有技術(shù)在某些方面能夠滿足基本需求，但在靈活性、智能化和快速響應(yīng)方面的不足，使其在復(fù)雜的應(yīng)急管理和資源調(diào)度中難以發(fā)揮最大效用。為了應(yīng)對(duì)這些挑戰(zhàn)，現(xiàn)有的系統(tǒng)亟需引入更加智能的技術(shù)手段，以提高處理效率和應(yīng)急響應(yīng)能力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種智能化應(yīng)急指揮調(diào)度系統(tǒng)及方法，用于解決現(xiàn)有技術(shù)中傳統(tǒng)技術(shù)在靈活性、智能化和快速響應(yīng)方面的不足，無法在復(fù)雜的應(yīng)急管理和資源調(diào)度中發(fā)揮最大效用的問題。

2、本發(fā)明中的一種智能化應(yīng)急指揮調(diào)度系統(tǒng)，所述系統(tǒng)包括：

3、語音輸入設(shè)備，用于向所述系統(tǒng)輸入待分析語音數(shù)據(jù)；

4、數(shù)據(jù)轉(zhuǎn)換設(shè)備，用于將所述待分析語音數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)并傳遞至大語言模型進(jìn)行分析；

5、大語言模型，用于對(duì)所述文本數(shù)據(jù)進(jìn)行分析并生成指令；

6、控制設(shè)備，用于將所述大語言模型生成的指令轉(zhuǎn)化為實(shí)際操作指令以進(jìn)行應(yīng)急指揮調(diào)度。

7、可選的，所述大語言模型還包括：

8、分詞模塊，用于對(duì)所述文本數(shù)據(jù)進(jìn)行分詞處理以生成多個(gè)單詞；

9、編碼模塊，用于對(duì)所述單詞進(jìn)行編碼以生成所述單詞的特性信息；

10、計(jì)算模塊，用于在多個(gè)并行的子空間中分別計(jì)算所述單詞的注意力以獲得所述單詞在多個(gè)子空間的語義輸出，拼接多個(gè)語義輸出并轉(zhuǎn)化為最終表達(dá)；

11、意圖理解模塊，用于基于所述最終表達(dá)生成所述單詞在所述文本數(shù)據(jù)中的關(guān)系表達(dá)以獲取意圖信息；

12、指令生成模塊，用于基于所述單詞的特征信息，將所述意圖信息轉(zhuǎn)換為所述指令。

13、可選的，所述控制設(shè)備還包括：語義相似度計(jì)算模塊，用于根據(jù)所述大語言模型生成的指令確定操作方案以生成實(shí)際操作指令。

14、可選的，所述系統(tǒng)還包括：

15、視頻采集設(shè)備，用于采集圖像數(shù)據(jù)；

16、多模態(tài)大模型，用于接收所述圖像數(shù)據(jù)并分析所述圖像數(shù)據(jù)中的多個(gè)目標(biāo)以生成分析結(jié)果；

17、預(yù)警設(shè)備，用于根據(jù)所述分析結(jié)果生成預(yù)警信息。

18、可選的，所述多模態(tài)大模型包括：

19、視頻分割單元，用于將所述圖像數(shù)據(jù)進(jìn)行分割以獲取多個(gè)幀數(shù)據(jù)；

20、特征提取單元，用于對(duì)多個(gè)所述幀數(shù)據(jù)進(jìn)行特征提取，以獲取第一高維特征數(shù)據(jù)；

21、目標(biāo)檢測(cè)單元，用于檢測(cè)所述第一高維特征數(shù)據(jù)中的目標(biāo)并標(biāo)注所述目標(biāo)的關(guān)鍵信息；

22、目標(biāo)轉(zhuǎn)化單元，用于將所述目標(biāo)的第一高維特征數(shù)據(jù)轉(zhuǎn)化為第二高維特征數(shù)據(jù)；所述第二高維特征數(shù)據(jù)表征目標(biāo)的關(guān)鍵信息；

23、多模態(tài)融合單元，用于將所述第二高維特征數(shù)據(jù)與第三高維特征數(shù)據(jù)進(jìn)行融合，并獲取融合后的特征表示以生成分析結(jié)果；所述第三高維特征數(shù)據(jù)包括：視覺特征、文本標(biāo)注信息。

24、本發(fā)明中的一種智能化應(yīng)急指揮調(diào)度方法，所述方法包括：

25、接收待分析語音數(shù)據(jù)；

26、將所述待分析語音數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)并傳遞至大語言模型進(jìn)行分析；

27、由所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行分析并生成指令；

28、將所述指令轉(zhuǎn)化為實(shí)際操作指令以進(jìn)行應(yīng)急指揮調(diào)度。

29、可選的，由所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行分析并生成指令包括：

30、對(duì)所述文本數(shù)據(jù)進(jìn)行分詞處理以生成多個(gè)單詞；

31、對(duì)所述單詞進(jìn)行編碼以生成所述單詞的特性信息；

32、在多個(gè)并行的子空間中分別計(jì)算所述單詞的注意力以獲得所述單詞在多個(gè)子空間的語義輸出，拼接多個(gè)語義輸出并轉(zhuǎn)化為最終表達(dá)；

33、基于所述最終表達(dá)生成所述單詞在所述文本數(shù)據(jù)中的關(guān)系表達(dá)以獲取意圖信息；

34、基于所述單詞的特征信息，將所述意圖信息轉(zhuǎn)換為所述指令。

35、可選的，所述方法還包括：

36、采集圖像數(shù)據(jù)并分析所述圖像數(shù)據(jù)中的多個(gè)目標(biāo)以生成分析結(jié)果；

37、根據(jù)所述分析結(jié)果生成預(yù)警信息。

38、可選的，分析所述圖像數(shù)據(jù)中的多個(gè)目標(biāo)以生成分析結(jié)果包括：

39、將所述圖像數(shù)據(jù)進(jìn)行分割以獲取多個(gè)幀數(shù)據(jù)；

40、對(duì)多個(gè)所述幀數(shù)據(jù)進(jìn)行特征提取，以獲取第一高維特征數(shù)據(jù)；

41、檢測(cè)所述第一高維特征數(shù)據(jù)中的目標(biāo)并標(biāo)注所述目標(biāo)的關(guān)鍵信息；

42、將所述目標(biāo)的第一高維特征數(shù)據(jù)轉(zhuǎn)化為第二高維特征數(shù)據(jù)；所述第二高維特征數(shù)據(jù)表征目標(biāo)的關(guān)鍵信息；

43、將所述第二高維特征數(shù)據(jù)與第三高維特征數(shù)據(jù)進(jìn)行融合，并獲取融合后的特征表示以生成分析結(jié)果；所述第三高維特征數(shù)據(jù)包括：視覺特征、文本標(biāo)注信息。

44、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行，以實(shí)現(xiàn)如上任意一項(xiàng)所述方法的步驟。

45、本發(fā)明的智能化應(yīng)急指揮調(diào)度系統(tǒng)及方法提供一種更為智能化和高效的技術(shù)解決方案，以提升應(yīng)急管理和調(diào)度的自動(dòng)化水平，確保在復(fù)雜、動(dòng)態(tài)的應(yīng)急場(chǎng)景中實(shí)現(xiàn)快速響應(yīng)和精準(zhǔn)指揮。

技術(shù)特征：

1.一種智能化應(yīng)急指揮調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的智能化應(yīng)急指揮調(diào)度系統(tǒng)，其特征在于，所述大語言模型還包括：

3.根據(jù)權(quán)利要求1所述的智能化應(yīng)急指揮調(diào)度系統(tǒng)，其特征在于，所述控制設(shè)備還包括：語義相似度計(jì)算模塊，用于根據(jù)所述大語言模型生成的指令確定操作方案以生成實(shí)際操作指令。

4.根據(jù)權(quán)利要求1所述的智能化應(yīng)急指揮調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

5.根據(jù)權(quán)利要求4所述的智能化應(yīng)急指揮調(diào)度系統(tǒng)，其特征在于，所述多模態(tài)大模型包括：

6.一種智能化應(yīng)急指揮調(diào)度方法，其特征在于，所述方法包括：

7.根據(jù)權(quán)利要求6所述的智能化應(yīng)急指揮調(diào)度方法，其特征在于，由所述大語言模型對(duì)所述文本數(shù)據(jù)進(jìn)行分析并生成指令包括：

8.根據(jù)權(quán)利要求6所述的智能化應(yīng)急指揮調(diào)度方法，其特征在于，所述方法還包括：

9.根據(jù)權(quán)利要求8所述的智能化應(yīng)急指揮調(diào)度方法，其特征在于，分析所述圖像數(shù)據(jù)中的多個(gè)目標(biāo)以生成分析結(jié)果包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器執(zhí)行，以實(shí)現(xiàn)權(quán)利要求6至9任意一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開一種智能化應(yīng)急指揮調(diào)度系統(tǒng)，所述系統(tǒng)包括：語音輸入設(shè)備，用于向所述系統(tǒng)輸入待分析語音數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換設(shè)備，用于將所述待分析語音數(shù)據(jù)轉(zhuǎn)換為文本數(shù)據(jù)并傳遞至大語言模型進(jìn)行分析；大語言模型，用于對(duì)所述文本數(shù)據(jù)進(jìn)行分析并生成指令；控制設(shè)備，用于將所述大語言模型生成的指令轉(zhuǎn)化為實(shí)際操作指令以進(jìn)行應(yīng)急指揮調(diào)度。本發(fā)明的智能化應(yīng)急指揮調(diào)度系統(tǒng)及方法提供一種更為智能化和高效的技術(shù)解決方案，以提升應(yīng)急管理和調(diào)度的自動(dòng)化水平，確保在復(fù)雜、動(dòng)態(tài)的應(yīng)急場(chǎng)景中實(shí)現(xiàn)快速響應(yīng)和精準(zhǔn)指揮。

技術(shù)研發(fā)人員：張宇,由天宇,張雪,范聰梅,張帆,綦松銳,蔡學(xué)龍
受保護(hù)的技術(shù)使用者：應(yīng)急管理部大數(shù)據(jù)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/28