本發(fā)明屬于監(jiān)控，涉及監(jiān)控?cái)?shù)據(jù)還原方法，特別是一種無感知的rtp音視頻流解析還原方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、監(jiān)控系統(tǒng)是安防系統(tǒng)中應(yīng)用最多的系統(tǒng)之一。主流的工地監(jiān)控是利用手持式視頻通信設(shè)備實(shí)現(xiàn)視頻監(jiān)控。從最早的模擬監(jiān)控，到近年的數(shù)字監(jiān)控，再到現(xiàn)在的網(wǎng)絡(luò)視頻監(jiān)控，監(jiān)控技術(shù)變化較大。在ip技術(shù)逐步統(tǒng)一全球今天，重新認(rèn)識視頻監(jiān)控系統(tǒng)發(fā)展歷史有必要。從技術(shù)角度出發(fā)，視頻監(jiān)控系統(tǒng)發(fā)展劃分為第一代模擬視頻監(jiān)控系統(tǒng)(cctv)，到第二代基于“pc+多媒體卡”數(shù)字視頻監(jiān)控系統(tǒng)(dvr)，到第三代完全基于ip網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)(ipvs)。

2、在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中，外部設(shè)備需要實(shí)時(shí)獲取網(wǎng)絡(luò)監(jiān)控傳輸?shù)臄?shù)據(jù)。但是，現(xiàn)有技術(shù)中，由于缺乏對視頻流的精準(zhǔn)識別，視頻流容易在獲取監(jiān)控視頻數(shù)據(jù)的時(shí)候?qū)ΡO(jiān)控系統(tǒng)產(chǎn)生干擾，尤其是一些需要高度隱蔽的信息獲取場景，影響更大，無法滿足使用要求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種無感知的rtp音視頻流解析還原方法、系統(tǒng)及介質(zhì)，用于解決上述背景技術(shù)中的問題。

2、第一方面，本發(fā)明提供一種無感知的rtp音視頻流解析還原方法，所述方法包括：將一個(gè)接入模塊接入監(jiān)控系統(tǒng)，并鏡像所述監(jiān)控系統(tǒng)內(nèi)的流量數(shù)據(jù)至與所述的接入模塊連接的網(wǎng)卡，以識別并過濾出目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)包括信令協(xié)議數(shù)據(jù)和視頻流協(xié)議數(shù)據(jù)，所述監(jiān)控系統(tǒng)包括監(jiān)控設(shè)備和存儲設(shè)備；解析所述信令協(xié)議數(shù)據(jù)，以對應(yīng)獲取視頻流的配置信息、會話控制信息和視頻編碼參數(shù)集；根據(jù)所述配置信息解析所述視頻流協(xié)議數(shù)據(jù)并提取字段信息，并根據(jù)所述字段信息將所述視頻流協(xié)議數(shù)據(jù)劃分為視頻數(shù)據(jù)和音頻數(shù)據(jù)；對所述音頻數(shù)據(jù)進(jìn)行還原，對所述視頻數(shù)據(jù)進(jìn)行還原，對還原之后的所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)進(jìn)行合成同步，得到目標(biāo)視頻文件。

3、在第一方面的一種實(shí)現(xiàn)方式中，所述以識別并過濾出目標(biāo)數(shù)據(jù)，包括：分離所述流量數(shù)據(jù)中的數(shù)據(jù)鏈路層以得到ip網(wǎng)絡(luò)層數(shù)據(jù)包；根據(jù)所述ip網(wǎng)絡(luò)層數(shù)據(jù)包提取源ip、目的ip和協(xié)議號后將ip網(wǎng)絡(luò)層分離以得到傳輸層數(shù)據(jù)；根據(jù)所述傳輸層數(shù)據(jù)提取出tcp協(xié)議和udp協(xié)議的源端口和目的端口后分離傳輸層以得到應(yīng)用層負(fù)載。

4、在第一方面的一種實(shí)現(xiàn)方式中，所述解析所述信令協(xié)議數(shù)據(jù)，以對應(yīng)獲取視頻流的配置信息、會話控制信息和視頻編碼參數(shù)集，包括：解析rtsp協(xié)議和sip協(xié)議以獲得sdp信息；根據(jù)所述sdp信息提取視頻流的配置信息、會話控制信息和視頻編碼參數(shù)集。

5、在第一方面的一種實(shí)現(xiàn)方式中，所述根據(jù)所述配置信息解析所述視頻流協(xié)議數(shù)據(jù)并提取字段信息，并根據(jù)所述字段信息將所述視頻流協(xié)議數(shù)據(jù)劃分為視頻數(shù)據(jù)和音頻數(shù)據(jù)，包括：根據(jù)所述配置信息對所述視頻流協(xié)議數(shù)據(jù)進(jìn)行解析，以提取序列號、時(shí)間戳和負(fù)載類型信息；根據(jù)所述序列號對所述視頻流協(xié)議數(shù)據(jù)進(jìn)行排序；根據(jù)所述視頻編碼參數(shù)集對排序后的所述視頻流協(xié)議數(shù)據(jù)進(jìn)行劃分，以分別得到對應(yīng)的所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)。

6、在第一方面的一種實(shí)現(xiàn)方式中，當(dāng)所述視頻流協(xié)議數(shù)據(jù)中沒有信令信息時(shí)，根據(jù)所述負(fù)載類型信息標(biāo)準(zhǔn)定義排序后的所述視頻流協(xié)議數(shù)據(jù)進(jìn)行區(qū)分，以分別得到視頻數(shù)據(jù)和音頻數(shù)據(jù)。

7、在第一方面的一種實(shí)現(xiàn)方式中，所述對所述音頻數(shù)據(jù)進(jìn)行還原，包括：獲取所述音頻數(shù)據(jù)的rtp負(fù)載類型信息，根據(jù)所述rtp負(fù)載類型值識別音頻格式；按照識別的所述音頻格式對應(yīng)的解碼方式將所述音頻數(shù)據(jù)還原為音頻流；其中，對于非標(biāo)準(zhǔn)格式的所述音頻數(shù)據(jù)停止解析。

8、在第一方面的一種實(shí)現(xiàn)方式中，所述對所述視頻數(shù)據(jù)進(jìn)行還原，包括：識別所述視頻流數(shù)據(jù)中帶有編碼參數(shù)的nal單元，并根據(jù)所述nal單元中的首個(gè)字節(jié)來識別是否為參數(shù)集；在確定所述nal單元為參數(shù)集之后，提取所述nal單元中的編碼參數(shù)；根據(jù)所述視頻編碼參數(shù)集或者所述編碼參數(shù)識別所述視頻數(shù)據(jù)的視頻編碼格式；對所述視頻編碼參數(shù)集依次添加起始碼后與所述視頻數(shù)據(jù)按順序拼接，還原并解碼得到完整的視頻裸流。

9、在第一方面的一種實(shí)現(xiàn)方式中，所述對還原之后的所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)進(jìn)行合成同步，包括：在流媒體會話中，發(fā)送端設(shè)備定期發(fā)送rtcp控制包，所述rtcp包括sr和rr；對所述rtcp控制包進(jìn)行解析以提取rtcp時(shí)間戳字段；將所述rtcp時(shí)間戳字段轉(zhuǎn)換為ntp時(shí)間戳字段；通過所述ntp時(shí)間戳字段調(diào)節(jié)所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)的播放時(shí)間，以將所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)同步合成。

10、在第一方面的一種實(shí)現(xiàn)方式中，所述對所述視頻數(shù)據(jù)進(jìn)行還原，還包括：在確定所述視頻流數(shù)據(jù)缺乏編碼參數(shù)時(shí)，使用多個(gè)通用的視頻編碼參數(shù)組合以對所述視頻數(shù)據(jù)進(jìn)行還原并解碼，直至成功解碼或者無法解碼。

11、第二方面，本發(fā)明提供了一種無感知的rtp音視頻流解析還原系統(tǒng)，包括：接入模塊，用于接入監(jiān)控系統(tǒng)，并鏡像所述監(jiān)控系統(tǒng)內(nèi)的流量數(shù)據(jù)至系統(tǒng)網(wǎng)卡，以識別并過濾出目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)包括信令協(xié)議數(shù)據(jù)和視頻流協(xié)議數(shù)據(jù)，所述監(jiān)控系統(tǒng)包括監(jiān)控設(shè)備和存儲設(shè)備；解析模塊，用于解析所述信令協(xié)議數(shù)據(jù)，以對應(yīng)獲取視頻流的配置信息、會話控制信息和視頻編碼參數(shù)集；劃分模塊，用于根據(jù)所述配置信息解析所述視頻流協(xié)議數(shù)據(jù)并提取字段信息，并根據(jù)所述字段信息將所述視頻流協(xié)議數(shù)據(jù)劃分為視頻數(shù)據(jù)和音頻數(shù)據(jù)；還原模塊，用于對所述音頻數(shù)據(jù)進(jìn)行還原，對所述視頻數(shù)據(jù)進(jìn)行還原，對還原之后的所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)進(jìn)行合成同步，得到目標(biāo)視頻文件。

12、第三方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被執(zhí)行時(shí)實(shí)現(xiàn)上述的無感知的rtp音視頻流解析還原系統(tǒng)。

13、如上所述，本發(fā)明所述的無感知的rtp音視頻流解析還原方法、系統(tǒng)及介質(zhì)，具有以下

14、有益效果：

15、與現(xiàn)有技術(shù)相比，本發(fā)明通過接入交換機(jī)的網(wǎng)絡(luò)流量鏡像，可在不依賴初始會話中傳輸?shù)木幋a信息的情況下，自動識別視頻編碼格式(如h264、h265等)，提取目標(biāo)場所內(nèi)網(wǎng)中的視頻流，在無需主動發(fā)送sip協(xié)議請求或其他探測性操作的前提下，通過深度解析rtp數(shù)據(jù)，實(shí)現(xiàn)了對視頻流的精準(zhǔn)格式識別與音視頻實(shí)體文件還原，而且此無感知特性確保系統(tǒng)對監(jiān)控方完全透明，避免對現(xiàn)有監(jiān)控系統(tǒng)的任何干擾，特別適用于需要高度隱蔽的信息獲取場景。

技術(shù)特征：

1.一種無感知的rtp音視頻流解析還原方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述以識別并過濾出目標(biāo)數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述解析所述信令協(xié)議數(shù)據(jù)，以對應(yīng)獲取視頻流的配置信息、會話控制信息和視頻編碼參數(shù)集，包括：

4.根據(jù)權(quán)利要求3所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述根據(jù)所述配置信息解析所述視頻流協(xié)議數(shù)據(jù)并提取字段信息，并根據(jù)所述字段信息將所述視頻流協(xié)議數(shù)據(jù)劃分為視頻數(shù)據(jù)和音頻數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求4所述的無感知的rtp音視頻流解析還原方法，其特征在于，當(dāng)所述視頻流協(xié)議數(shù)據(jù)中沒有信令信息時(shí)，根據(jù)所述負(fù)載類型信息標(biāo)準(zhǔn)定義排序后的所述視頻流協(xié)議數(shù)據(jù)進(jìn)行區(qū)分，以分別得到視頻數(shù)據(jù)和音頻數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述對所述音頻數(shù)據(jù)進(jìn)行還原，包括：

7.根據(jù)權(quán)利要求3所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述對所述視頻數(shù)據(jù)進(jìn)行還原，包括：

8.根據(jù)權(quán)利要求7所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述對還原之后的所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)進(jìn)行合成同步，包括：

9.根據(jù)權(quán)利要求7所述的無感知的rtp音視頻流解析還原方法，其特征在于，所述對所述視頻數(shù)據(jù)進(jìn)行還原，還包括：

10.一種無感知的rtp音視頻流解析還原系統(tǒng)，其特征在于，包括：

11.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該程序被執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至9中任一項(xiàng)所述的無感知的rtp音視頻流解析還原系統(tǒng)。

技術(shù)總結(jié)
本發(fā)明提供一種無感知的RTP音視頻流解析還原方法、系統(tǒng)及介質(zhì)，所述方法包括：接入監(jiān)控系統(tǒng)，并鏡像監(jiān)控系統(tǒng)內(nèi)的流量數(shù)據(jù)至系統(tǒng)網(wǎng)卡，以識別并過濾出目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)包括信令協(xié)議數(shù)據(jù)和視頻流協(xié)議數(shù)據(jù)，監(jiān)控系統(tǒng)包括監(jiān)控設(shè)備和存儲設(shè)備；解析信令協(xié)議數(shù)據(jù)，以對應(yīng)獲取視頻流的配置信息、會話控制信息和視頻編碼參數(shù)集；根據(jù)配置信息解析視頻流協(xié)議數(shù)據(jù)并提取字段信息，并根據(jù)字段信息將視頻流協(xié)議數(shù)據(jù)劃分為視頻數(shù)據(jù)和音頻數(shù)據(jù)；對音頻數(shù)據(jù)進(jìn)行還原，對視頻數(shù)據(jù)進(jìn)行還原，對還原之后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行合成同步，得到目標(biāo)視頻文件；本發(fā)明實(shí)現(xiàn)了對視頻流的精準(zhǔn)格式識別與音視頻實(shí)體文件還原，避免對現(xiàn)有監(jiān)控系統(tǒng)的任何干擾。

技術(shù)研發(fā)人員：徐明翰,鄭宇宏,鄭思文,李亞鵬,武柄屹
受保護(hù)的技術(shù)使用者：上海閱維科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2