本發(fā)明涉及執(zhí)法智能告警，尤其涉及一種基于執(zhí)法督察用的多模態(tài)智能分析方法及系統(tǒng)。

背景技術：

1、在現(xiàn)代執(zhí)法領域，多模態(tài)智能分析技術的應用正變得越來越重要，通過集成視頻、音頻和數(shù)據日志等多種信息源，并利用先進的機器學習和深度學習算法，對采集集成的數(shù)據集進行實時處理和融合分析，以提取出有用的信息和模式，同時通過智能分析模型識別其中的異常行為、違規(guī)操作或其他需要關注的情況，并生成詳細的分析報告，根據分析結果，提供實時反饋和改進建議，從而幫助執(zhí)法人員提升執(zhí)法效率和規(guī)范性。然而，傳統(tǒng)的執(zhí)法督察數(shù)據分析方法在覆蓋面和時效性上均顯不足，往往無法及時反應并全面覆蓋所有的執(zhí)法現(xiàn)場行為關鍵監(jiān)控點。

技術實現(xiàn)思路

1、基于此，本發(fā)明有必要提供一種基于執(zhí)法督察用的多模態(tài)智能分析方法及系統(tǒng)，以解決至少一個上述技術問題。

2、為實現(xiàn)上述目的，一種基于執(zhí)法督察用的多模態(tài)智能分析方法，包括以下步驟：

3、步驟s1：通過從執(zhí)法督察記錄儀平臺中獲取執(zhí)法現(xiàn)場視頻文件，并對執(zhí)法現(xiàn)場視頻文件進行音視頻切分處理，以得到執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段；分別對執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法行為信息識別分析，得到執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據；

4、步驟s2：對執(zhí)法現(xiàn)場視頻文件進行時間戳及空間位置抽取處理，以得到執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息；基于執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息對執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據進行多模態(tài)時空同步關聯(lián)分析，得到多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據；

5、步驟s3：對多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據進行執(zhí)法行為序列連接處理，以生成執(zhí)法現(xiàn)場事件行為序列連接圖；對執(zhí)法現(xiàn)場事件行為序列連接圖進行事件行為意圖識別分析，得到執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據；

6、步驟s4：獲取預設的執(zhí)法事件行為知識圖譜，并基于執(zhí)法事件行為知識圖譜對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據進行行為規(guī)范性評分計算，以得到執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值；基于執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據中相對應的執(zhí)法現(xiàn)場事件進行不規(guī)范行為智能告警優(yōu)化分析，以生成執(zhí)法現(xiàn)場事件不規(guī)范行為優(yōu)化建議報告。

7、進一步的，步驟s1包括以下步驟：

8、步驟s11：通過從執(zhí)法督察記錄儀平臺中獲取執(zhí)法現(xiàn)場視頻文件；

9、步驟s12：對執(zhí)法現(xiàn)場視頻文件進行音畫同步處理，得到執(zhí)法現(xiàn)場音畫同步視頻；

10、步驟s13：對執(zhí)法現(xiàn)場音畫同步視頻進行視頻內容提取處理，得到執(zhí)法現(xiàn)場視頻內容信息數(shù)據；基于執(zhí)法現(xiàn)場視頻內容信息數(shù)據對執(zhí)法現(xiàn)場音畫同步視頻進行不同執(zhí)法事件開始及結束時間識別分析，以得到執(zhí)法現(xiàn)場視頻內不同執(zhí)法事件的開始時間以及結束時間；

11、步驟s14：根據執(zhí)法現(xiàn)場視頻內不同執(zhí)法事件的開始時間以及結束時間對執(zhí)法現(xiàn)場音畫同步視頻進行音視頻切分處理，以得到執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段；

12、步驟s15：分別對執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法行為信息識別分析，得到執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據。

13、進一步的，步驟s15包括以下步驟：

14、步驟s151：利用speechbrain技術對執(zhí)法現(xiàn)場音頻片段進行執(zhí)法音頻聲紋特征分析，得到執(zhí)法現(xiàn)場音頻聲紋特征數(shù)據；

15、步驟s152：基于執(zhí)法現(xiàn)場音頻聲紋特征數(shù)據對執(zhí)法現(xiàn)場音頻片段內的不同說話者進行音頻語音信號通道解構處理，得到執(zhí)法現(xiàn)場音頻內不同說話者的音頻語音信號子通道；

16、步驟s153：對執(zhí)法現(xiàn)場音頻內不同說話者的音頻語音信號子通道進行執(zhí)法行為事件觸發(fā)識別分析，得到執(zhí)法現(xiàn)場音頻執(zhí)法行為事件觸發(fā)點；

17、步驟s154：基于執(zhí)法現(xiàn)場音頻執(zhí)法行為事件觸發(fā)點對執(zhí)法現(xiàn)場音頻片段進行執(zhí)法音頻行為信息識別分析，得到執(zhí)法現(xiàn)場音頻行為信息數(shù)據；

18、步驟s155：利用物體檢測算法yolov8以及跟蹤技術bytetrack對執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法圖像行為信息識別分析，得到執(zhí)法現(xiàn)場圖像行為信息數(shù)據。

19、進一步的，步驟s155包括以下步驟：

20、利用物體檢測算法yolov8對執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法現(xiàn)場物體目標識別分析，得到執(zhí)法現(xiàn)場圖像幀物體檢測目標；

21、對執(zhí)法現(xiàn)場圖像幀物體檢測目標進行物體邊界區(qū)域標記處理，得到執(zhí)法現(xiàn)場物體邊界區(qū)域標記目標；

22、利用跟蹤技術bytetrack對執(zhí)法現(xiàn)場物體邊界區(qū)域標記目標在執(zhí)法現(xiàn)場圖像視頻幀片段內的運動軌跡進行跟蹤識別分析，以生成執(zhí)法現(xiàn)場物體標記目標運動軌跡；

23、對執(zhí)法現(xiàn)場物體標記目標運動軌跡進行物體目標行為模式分析，得到不同執(zhí)法現(xiàn)場物體目標的執(zhí)法行為模式；基于不同執(zhí)法現(xiàn)場物體目標的執(zhí)法行為模式對相對應的執(zhí)法現(xiàn)場物體邊界區(qū)域標記目標進行執(zhí)法行為動作分類處理，以得到不同執(zhí)法現(xiàn)場物體目標的執(zhí)法行為動作；

24、基于不同執(zhí)法現(xiàn)場物體目標的執(zhí)法行為模式以及執(zhí)法行為動作對執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法圖像行為信息識別分析，得到執(zhí)法現(xiàn)場圖像行為信息數(shù)據。

25、進一步的，步驟s2包括以下步驟：

26、步驟s21：對執(zhí)法現(xiàn)場視頻文件進行時間戳抽取處理，以得到執(zhí)法現(xiàn)場過程時間戳；

27、步驟s22：對執(zhí)法現(xiàn)場視頻文件中的每一幀視頻圖像進行三維空間坐標系轉換，得到執(zhí)法現(xiàn)場視頻中每一幀圖像的三維空間坐標系；

28、步驟s23：對執(zhí)法現(xiàn)場視頻中每一幀圖像的三維空間坐標系進行執(zhí)法現(xiàn)場空間坐標提取處理，以得到執(zhí)法現(xiàn)場視頻中每一幀圖像的執(zhí)法現(xiàn)場空間坐標；

29、步驟s24：對執(zhí)法現(xiàn)場視頻中每一幀圖像的執(zhí)法現(xiàn)場空間坐標進行空間位置標記處理，以得到執(zhí)法現(xiàn)場過程空間位置信息；

30、步驟s25：基于執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息對執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據進行多模態(tài)時空同步關聯(lián)分析，得到多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據。

31、進一步的，步驟s25包括以下步驟：

32、步驟s251：對執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息進行時空同步基準構建，以得到執(zhí)法現(xiàn)場過程時空數(shù)據同步基準框架；

33、步驟s252：基于執(zhí)法現(xiàn)場過程時空數(shù)據同步基準框架對執(zhí)法現(xiàn)場音頻行為信息數(shù)據進行音頻事件時序同步排列處理，得到執(zhí)法現(xiàn)場音頻事件時序同步序列數(shù)據；

34、步驟s253：基于執(zhí)法現(xiàn)場過程時空數(shù)據同步基準框架對執(zhí)法現(xiàn)場圖像行為信息數(shù)據進行圖像行為空間映射處理，得到執(zhí)法現(xiàn)場圖像行為空間位置映射數(shù)據；

35、步驟s254：對執(zhí)法現(xiàn)場音頻事件時序同步序列數(shù)據以及執(zhí)法現(xiàn)場圖像行為空間位置映射數(shù)據進行多模態(tài)事件行為交互關聯(lián)分析，得到執(zhí)法現(xiàn)場音頻事件與圖像行為之間的多模態(tài)事件行為交互關聯(lián)關系；

36、步驟s255：基于執(zhí)法現(xiàn)場音頻事件與圖像行為之間的多模態(tài)事件行為交互關聯(lián)關系對執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據進行執(zhí)法行為關聯(lián)事件提取處理，得到多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據。

37、進一步的，步驟s3包括以下步驟：

38、步驟s31：對多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據進行執(zhí)法人員及當事人行為序列抽取處理，得到執(zhí)法行為事件執(zhí)法人員行為序列以及執(zhí)法行為事件當事人行為序列；

39、步驟s32：對執(zhí)法行為事件執(zhí)法人員行為序列內的行為描述節(jié)點以及執(zhí)法行為事件當事人行為序列內的行為描述節(jié)點之間進行行為描述匹配分析，以得到執(zhí)法人員行為描述節(jié)點與當事人行為描述節(jié)點之間的執(zhí)法事件匹配關系；

40、步驟s33：基于執(zhí)法人員行為描述節(jié)點與當事人行為描述節(jié)點之間的執(zhí)法事件匹配關系對執(zhí)法行為事件執(zhí)法人員行為序列內的行為描述節(jié)點以及執(zhí)法行為事件當事人行為序列內的行為描述節(jié)點之間進行執(zhí)法行為序列連接處理，以生成執(zhí)法現(xiàn)場事件行為序列連接圖；

41、步驟s34：對執(zhí)法現(xiàn)場事件行為序列連接圖進行事件行為意圖識別分析，得到執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據。

42、進一步的，步驟s4包括以下步驟：

43、步驟s41：獲取預設的執(zhí)法事件行為知識圖譜；

44、步驟s42：對執(zhí)法事件行為知識圖譜進行行為規(guī)范性規(guī)則檢索抽取處理，以得到執(zhí)法事件行為規(guī)范性規(guī)則標準；

45、步驟s43：對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據進行行為意圖語義特征分析，得到執(zhí)法現(xiàn)場事件行為意圖語義特征數(shù)據；

46、步驟s44：基于執(zhí)法事件行為規(guī)范性規(guī)則標準對執(zhí)法現(xiàn)場事件行為意圖語義特征數(shù)據進行規(guī)范性規(guī)則適配及行為規(guī)范性評分計算，以得到執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值；

47、步驟s45：基于執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據中相對應的執(zhí)法現(xiàn)場事件進行不規(guī)范行為智能告警優(yōu)化分析，以生成執(zhí)法現(xiàn)場事件不規(guī)范行為優(yōu)化建議報告。

48、進一步的，步驟s45包括以下步驟：

49、步驟s451：根據預設的規(guī)范性評分閾值對執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值進行比較判斷，當執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值大于或等于預設的規(guī)范性評分閾值時，則將其執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據中相對應的執(zhí)法現(xiàn)場事件判定為規(guī)范行為事件；當執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值小于預設的規(guī)范性評分閾值時，則將其執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據中相對應的執(zhí)法現(xiàn)場事件判定為不規(guī)范行為事件；

50、步驟s452：根據預設的執(zhí)法行為不規(guī)范告警規(guī)則對被判定為不規(guī)范行為事件進行不規(guī)范行為智能告警處理，以生成本次監(jiān)督不規(guī)范行為事件告警信息；

51、步驟s453：對本次監(jiān)督不規(guī)范行為事件告警信息進行執(zhí)法行為問題識別分析，得到本次監(jiān)督不規(guī)范執(zhí)法行為問題報告；

52、步驟s454：對本次監(jiān)督不規(guī)范執(zhí)法行為問題報告進行執(zhí)法行為優(yōu)化建議處理，以生成執(zhí)法現(xiàn)場事件不規(guī)范行為優(yōu)化建議報告。

53、進一步的，本發(fā)明還提供了一種基于執(zhí)法督察用的多模態(tài)智能分析系統(tǒng)，用于執(zhí)行如上所述的基于執(zhí)法督察用的多模態(tài)智能分析方法，該基于執(zhí)法督察用的多模態(tài)智能分析系統(tǒng)包括：

54、執(zhí)法音視頻行為識別分析模塊，用于通過從執(zhí)法督察記錄儀平臺中獲取執(zhí)法現(xiàn)場視頻文件，并對執(zhí)法現(xiàn)場視頻文件進行音視頻切分處理，以得到執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段；分別對執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法行為信息識別分析，從而得到執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據；

55、執(zhí)法行為多模態(tài)時空關聯(lián)分析模塊，用于對執(zhí)法現(xiàn)場視頻文件進行時間戳及空間位置抽取處理，以得到執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息；基于執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息對執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據進行多模態(tài)時空同步關聯(lián)分析，從而得到多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據；

56、執(zhí)法事件行為意圖識別分析模塊，用于對多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據進行執(zhí)法行為序列連接處理，以生成執(zhí)法現(xiàn)場事件行為序列連接圖；對執(zhí)法現(xiàn)場事件行為序列連接圖進行事件行為意圖識別分析，從而得到執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據；

57、執(zhí)法事件不規(guī)范行為智能告警模塊，用于獲取預設的執(zhí)法事件行為知識圖譜，并基于執(zhí)法事件行為知識圖譜對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據進行行為規(guī)范性評分計算，以得到執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值；基于執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據中相對應的執(zhí)法現(xiàn)場事件進行不規(guī)范行為智能告警優(yōu)化分析，以生成執(zhí)法現(xiàn)場事件不規(guī)范行為優(yōu)化建議報告。

58、本發(fā)明的有益效果：

59、1、本發(fā)明所提出的基于執(zhí)法督察用的多模態(tài)智能分析方法，與現(xiàn)有技術相比，本技術的有益效果在于通過從執(zhí)法督察記錄儀平臺獲取執(zhí)法現(xiàn)場的視頻文件，可以確保對執(zhí)法活動有全面的記錄和審查，這些視頻文件為執(zhí)法過程提供了真實、全面的視覺證據，獲取這些視頻文件使得執(zhí)法過程的每一個細節(jié)都能被記錄下來，無論是執(zhí)法人員的行為，還是執(zhí)法對象的反應，都能夠被完整捕捉，這種詳細的記錄不僅有助于后續(xù)的審查和調查，增強執(zhí)法活動的可信度和合法性，從而能夠幫助識別執(zhí)法過程中的潛在問題，確保執(zhí)法操作符合規(guī)范和標準。通過對執(zhí)法現(xiàn)場視頻文件進行音視頻切分處理，可以將視頻數(shù)據分解為更小的音頻片段和圖像視頻幀片段，這種切分處理可以將整個視頻內容劃分為具有獨立意義的部分，每一部分對應一個具體的執(zhí)法事件，這樣可以更方便地進行針對性的分析和審查。通過將音頻和圖像數(shù)據分開處理，可以更清晰地了解每個事件中的具體情況，例如，音頻片段可以用于分析對話內容和語音情感，而視頻幀片段則可以用于觀察視覺細節(jié)和行為表現(xiàn)，這種方法提高了數(shù)據分析的精確度和效率，使得每個執(zhí)法事件能夠被獨立審查和評估，從而更全面地了解執(zhí)法過程。同時，通過分別對執(zhí)法現(xiàn)場音頻片段以及執(zhí)法現(xiàn)場圖像視頻幀片段進行執(zhí)法行為信息識別分析，可以提取出具體的執(zhí)法行為信息數(shù)據，其中對音頻片段的分析能夠識別出其中的語言、聲音特征和對話內容，幫助理解執(zhí)法過程中的溝通交流和行為動機，而圖像視頻幀片段的分析則能夠識別出視覺上的行為特征，例如執(zhí)法動作、現(xiàn)場環(huán)境和人員位置等，這種行為信息識別可以為執(zhí)法活動提供詳細的實證數(shù)據，有助于支持對執(zhí)法過程的全面評估。通過綜合音頻和圖像數(shù)據的分析，能夠更準確地理解執(zhí)法人員的行為和執(zhí)法效果，確保執(zhí)法過程的透明性和合規(guī)性，這種多角度的行為信息識別不僅提升了執(zhí)法過程的審查能力，還加強了對執(zhí)法質量的控制和優(yōu)化。其次，通過對執(zhí)法現(xiàn)場視頻文件進行時間戳抽取處理，能夠準確地記錄和追蹤視頻中執(zhí)法事件的時間節(jié)點，其中時間戳為執(zhí)法過程的事件提供了準確的時間記錄，使得后續(xù)的事件分析可以根據時間序列進行，還原事件的發(fā)生順序，還可以幫助將視頻中的執(zhí)法行為與其他數(shù)據源(如音頻、傳感器數(shù)據)進行同步，對比分析不同模態(tài)數(shù)據的時間一致性，確保多模態(tài)數(shù)據之間的精確對齊，從而為后續(xù)處理過程的透明度和可靠性提供了基礎數(shù)據保障。還通過對執(zhí)法現(xiàn)場視頻文件中的每一幀視頻圖像進行空間坐標位置的標記處理，能夠為每一幀圖像中的空間坐標添加詳細的標記和注釋，提供關于執(zhí)法現(xiàn)場的直觀信息，通過空間位置標記，執(zhí)法人員和分析人員可以清晰地了解圖像中各個物體和事件的位置及其在現(xiàn)場的具體意義，這種處理可以幫助識別重要位置，如犯罪現(xiàn)場、證據位置或相關人員的位置，使得事件分析和調查變得更加系統(tǒng)化和高效，空間位置標記還支持生成可視化的空間布局圖，便于直觀展示現(xiàn)場的空間結構和物體分布。并且，還通過基于執(zhí)法現(xiàn)場過程時間戳以及執(zhí)法現(xiàn)場過程空間位置信息對執(zhí)法現(xiàn)場音頻行為信息數(shù)據以及執(zhí)法現(xiàn)場圖像行為信息數(shù)據進行多模態(tài)時空同步關聯(lián)分析，能夠結合了時間戳和空間位置信息，將音頻、圖像等多種數(shù)據源進行時空同步，可以提供全面的執(zhí)法事件視圖，從而能夠將視頻圖像中的視覺信息與音頻中的聲音信息進行有效對齊，使得分析人員能夠在時間和空間上綜合考慮不同數(shù)據源，從而更準確地理解事件的發(fā)生和發(fā)展。通過時空同步，能夠實現(xiàn)不同模態(tài)數(shù)據之間的關聯(lián)，識別出事件中的關鍵行為和互動，支持對復雜執(zhí)法事件的深入分析和理解，通過多模態(tài)數(shù)據的綜合利用可以提升了執(zhí)法行為信息的全面性和準確性，有助于從不同角度分析執(zhí)法行為事件，為后續(xù)的處理過程提供更為豐富的依據，能夠提高了執(zhí)法行為事件分析的覆蓋面和時效性，從而可以及時反應并全面覆蓋所有的執(zhí)法現(xiàn)場行為狀況。然后，通過對多模態(tài)時空同步執(zhí)法行為關聯(lián)事件數(shù)據進行執(zhí)法行為序列連接處理，從而連接生成事件行為序列連接圖，這一過程的主要優(yōu)點在于通過可視化的方式將行為序列中的匹配關系呈現(xiàn)出來，幫助更好地理解事件的動態(tài)過程，該行為序列連接圖能夠直觀地展示事件中各方行為的時間順序、交互關系和關鍵節(jié)點，使得事件的整個過程變得更加清晰。通過連接圖，可以識別出行為的關聯(lián)性和因果關系，發(fā)現(xiàn)事件中的關鍵事件點和重要行為鏈條，這種圖形化的展示不僅有助于分析人員快速掌握事件全貌，從而為后續(xù)的處理過程提供直觀的數(shù)據支持。還通過對執(zhí)法現(xiàn)場事件行為序列連接圖進行事件行為意圖識別分析，旨在解讀執(zhí)法現(xiàn)場事件行為序列連接圖中各行為的潛在意圖和目的，這一分析的主要優(yōu)點在于能夠深入挖掘和理解行為背后的動機和意圖，提供對事件發(fā)生原因和背景的深刻見解。通過對行為序列的意圖識別，可以揭示執(zhí)法人員和當事人在事件中的真實目的，判斷行為是否符合既定的規(guī)范和法律要求。例如，識別執(zhí)法人員的意圖是否是為了合法執(zhí)行任務，還是存在過度行為；同時，也可以分析當事人是否有防御、逃避或其他意圖，這種分析不僅提升了對事件的理解深度，還能幫助評估執(zhí)法過程中的合規(guī)性和合法性，為改進執(zhí)法行為策略和培訓提供數(shù)據支持。最后，通過獲取預設的執(zhí)法事件行為知識圖譜，這一過程涉及整合和建立一個包含各種執(zhí)法事件及其行為的系統(tǒng)化知識庫，其中包括歷史執(zhí)法行為案例數(shù)據、行為規(guī)范規(guī)則、執(zhí)法程序等信息，通過構建這樣一個知識圖譜，可以實現(xiàn)對相應的執(zhí)法行為事件的深度分析，并為執(zhí)法人員提供直觀的參考模型，這不僅有助于識別和理解各種執(zhí)法行為的規(guī)范性和趨勢，從而能夠為后續(xù)制定更加科學的執(zhí)法標準和優(yōu)化執(zhí)法策略提供依據。通過基于執(zhí)法事件行為知識圖譜對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據進行行為規(guī)范性評分計算，能夠實現(xiàn)對執(zhí)法行為的標準化評估，通過將行為意圖的語義特征與知識圖譜內的規(guī)范性規(guī)則標準進行匹配，可以客觀地評估行為的規(guī)范程度，并計算出相應的規(guī)范性評分值，這一評分能夠幫助快速識別出不符合規(guī)范的行為，并為執(zhí)法人員提供明確的改進方向。此外，還通過基于執(zhí)法現(xiàn)場行為意圖規(guī)范性評分值對執(zhí)法現(xiàn)場事件行為意圖信息數(shù)據中相對應的執(zhí)法現(xiàn)場事件進行不規(guī)范行為智能告警優(yōu)化分析，可以自動檢測和識別出不符合規(guī)范的行為，并生成針對性的優(yōu)化建議報告，這一過程不僅能夠實時地提醒執(zhí)法人員注意存在的問題，還能夠提供改進的具體措施和建議，優(yōu)化分析報告將幫助執(zhí)法人員調整和改進執(zhí)法行為，確保其符合既定的規(guī)范標準，這樣將顯著提高執(zhí)法過程的規(guī)范性和效率，減少錯誤和不規(guī)范執(zhí)法行為的發(fā)生。

60、2、本發(fā)明所提出的基于執(zhí)法督察用的多模態(tài)智能分析系統(tǒng)，整體上由執(zhí)法音視頻行為識別分析模塊、執(zhí)法行為多模態(tài)時空關聯(lián)分析模塊、執(zhí)法事件行為意圖識別分析模塊以及執(zhí)法事件不規(guī)范行為智能告警模塊組成，能夠實現(xiàn)本發(fā)明所述任意基于執(zhí)法督察用的多模態(tài)智能分析方法，用于聯(lián)合各個模塊上運行的計算機程序之間的操作實現(xiàn)基于執(zhí)法督察用的多模態(tài)智能分析方法，系統(tǒng)內部結構互相協(xié)作，這樣能夠大大減少重復工作和人力投入，能夠快速有效地提供更為準確、更高效的基于執(zhí)法督察用的多模態(tài)智能分析過程，從而簡化了基于執(zhí)法督察用的多模態(tài)智能分析系統(tǒng)的操作流程。