本發(fā)明涉及無線通信?，尤其涉及一種識別視頻通話過程中音視頻不同步的方法、裝置及設(shè)備。

背景技術(shù)：

1、音視頻不同步現(xiàn)象是視頻通話中最典型的異常場景之一，視頻通話過程中音視頻不同步問題會嚴(yán)重影響用戶感知，尤其是在5g新通話這種對實時性要求比較高的業(yè)務(wù)中，影響尤其明顯。但是，目前業(yè)界并沒有能夠有效而準(zhǔn)確地識別視頻通話過程中音視頻不同步的方法，導(dǎo)致用戶感知無法獲取，網(wǎng)絡(luò)側(cè)更無法保障，用戶體驗較差。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種識別視頻通話過程中音視頻不同步的方法、裝置及設(shè)備，用以解決現(xiàn)有技術(shù)無法有效而準(zhǔn)確地識別視頻通話過程中音視頻不同步的問題。

2、第一方面，本技術(shù)提供一種識別視頻通話過程中音視頻不同步的方法，包括：

3、獲取視頻通話過程中的音頻rtp報文、音頻rtcp報文、視頻rtp報文和視頻rtcp報文；

4、基于音視頻相鄰rtcp報文組中音頻rtcp報文的ntp時間戳和視頻rtcp報文的ntp時間戳，確定發(fā)送端發(fā)送所述音頻rtcp報文和所述視頻rtcp報文的第一時間差；

5、針對所述音視頻相鄰rtcp報文組之后的至少一個音視頻相鄰rtp報文組，基于所述第一時間差，確定所述發(fā)送端發(fā)送所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第二時間差；

6、基于所述第二時間差以及采集點(diǎn)收到所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第三時間差，確定所述音視頻相鄰rtp報文組的音視頻不同步時長；

7、基于各所述音視頻相鄰rtp報文組的音視頻不同步時長以及音視頻不同步門限，確定所述視頻通話過程中音視頻不同步的識別結(jié)果。

8、在一些實施例中，所述基于所述第一時間差，確定所述發(fā)送端發(fā)送所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第二時間差，包括：

9、基于所述第一時間差、所述音頻rtcp報文的rtp時間戳、所述視頻rtcp報文的rtp時間戳、所述音頻rtp報文的rtp時間戳、所述視頻rtp報文的rtp時間戳、音頻流采樣頻率和視頻流采樣頻率，確定所述發(fā)送端發(fā)送所述音頻rtp報文和所述視頻rtp報文的第二時間差。

10、在一些實施例中，所述基于所述第一時間差、所述音頻rtcp報文的rtp時間戳、所述視頻rtcp報文的rtp時間戳、所述音頻rtp報文的rtp時間戳、所述視頻rtp報文的rtp時間戳、音頻流采樣頻率和視頻流采樣頻率，確定所述發(fā)送端發(fā)送所述音頻rtp報文和所述視頻rtp報文的第二時間差，包括：

11、基于所述音頻rtcp報文的rtp時間戳、所述音頻rtp報文的rtp時間戳和音頻流采樣頻率，確定所述發(fā)送端發(fā)送所述音頻rtp報文與所述音頻rtcp報文的第四時間差；并且，基于所述視頻rtcp報文的rtp時間戳、所述視頻rtp報文的rtp時間戳和視頻流采樣頻率，確定所述發(fā)送端發(fā)送所述視頻rtp報文與所述視頻rtcp報文的第五時間差；

12、基于所述第一時間差、所述第四時間差和所述第五時間差，確定所述發(fā)送端發(fā)送所述音頻rtp報文和所述視頻rtp報文的第二時間差。

13、在一些實施例中，所述第四時間差的計算公式為：

14、t1=(rtp.timestamp_a?-?rtcp.timestamp_a)?/?samplerate_a

15、式中，t1表示所述第四時間差，rtp.timestamp_a表示所述音頻rtp報文的rtp時間戳，rtcp.timestamp_a表示所述音頻rtcp報文的rtp時間戳，samplerate_a表示所述音頻流采樣頻率。

16、在一些實施例中，所述第五時間差的計算公式為：

17、t2=(rtp.timestamp_v?-?rtcp.timestamp_v)?/?samplerate_v

18、式中，t2表示所述第五時間差，rtp.timestamp_v表示所述視頻rtp報文的rtp時間戳，rtcp.timestamp_v表示所述視頻rtcp報文的rtp時間戳，samplerate_v表示所述視頻流采樣頻率。

19、在一些實施例中，所述第二時間差的計算公式為：

20、tav1=?t2+tdiff-?t1

21、式中，tav1表示所述第二時間差，t2表示所述第五時間差，tdiff表示所述第一時間差，t1表示所述第四時間差。

22、在一些實施例中，所述基于所述第二時間差以及采集點(diǎn)收到所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第三時間差，確定所述音視頻相鄰rtp報文組的音視頻不同步時長，包括：

23、將所述第二時間差與所述第三時間差之間的差值，確定為所述音視頻相鄰rtp報文組的音視頻不同步時長。

24、在一些實施例中，所述基于各所述音視頻相鄰rtp報文組的音視頻不同步時長以及音視頻不同步門限，確定所述視頻通話過程中音視頻不同步的識別結(jié)果，包括：

25、確定各所述音視頻相鄰rtp報文組的音視頻不同步時長中的最大值；

26、若所述最大值大于所述音視頻不同步門限，則確定所述視頻通話過程中存在音視頻不同步問題，并確定所述最大值為所述音視頻不同步問題的不同步時長。

27、在一些實施例中，所述方法還包括：

28、若所述最大值小于或等于所述音視頻不同步門限，則確定所述視頻通話過程中不存在音視頻不同步問題。

29、在一些實施例中，所述音視頻相鄰rtcp報文組滿足以下條件：

30、一個所述音視頻相鄰rtcp報文組包括一個音頻rtcp報文和一個視頻rtcp報文，并且，在所述一個音頻rtcp報文與所述一個視頻rtcp報文之間沒有其他rtcp報文和rtp報文；

31、在首個所述音視頻相鄰rtcp報文組之前的rtcp報文，只能全部是音頻rtcp報文或者視頻rtcp報文；

32、一個rtcp報文不能屬于兩個所述音視頻相鄰rtcp報文組；

33、在相鄰的兩個所述音視頻相鄰rtcp報文組之間的rtcp報文，只能全部是音頻rtcp報文或者視頻rtcp報文。

34、在一些實施例中，所述音視頻相鄰rtp報文組滿足以下條件：

35、一個所述音視頻相鄰rtp報文組包括一個音頻rtp報文和一個視頻rtp報文，并且，在所述一個音頻rtp報文與所述一個視頻rtp報文之間沒有其他rtp報文和rtcp報文；

36、在首個所述音視頻相鄰rtp報文組之前的rtp報文，只能全部是音頻rtp報文或者視頻rtp報文；

37、一個rtp報文不能屬于兩個所述音視頻相鄰rtp報文組；

38、在相鄰的兩個所述音視頻相鄰rtp報文組之間的rtp報文，只能全部是音頻rtp報文或者視頻rtp報文。

39、第二方面，本技術(shù)還提供一種識別視頻通話過程中音視頻不同步的裝置，包括：

40、獲取模塊，用于獲取視頻通話過程中的音頻rtp報文、音頻rtcp報文、視頻rtp報文和視頻rtcp報文；

41、第一確定模塊，用于基于音視頻相鄰rtcp報文組中音頻rtcp報文的ntp時間戳和視頻rtcp報文的ntp時間戳，確定發(fā)送端發(fā)送所述音頻rtcp報文和所述視頻rtcp報文的第一時間差；

42、第二確定模塊，用于針對所述音視頻相鄰rtcp報文組之后的至少一個音視頻相鄰rtp報文組，基于所述第一時間差，確定所述發(fā)送端發(fā)送所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第二時間差；

43、第三確定模塊，用于基于所述第二時間差以及采集點(diǎn)收到所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第三時間差，確定所述音視頻相鄰rtp報文組的音視頻不同步時長；

44、第四確定模塊，用于基于各所述音視頻相鄰rtp報文組的音視頻不同步時長以及音視頻不同步門限，確定所述視頻通話過程中音視頻不同步的識別結(jié)果。

45、第三方面，本技術(shù)還提供一種采集設(shè)備，包括存儲器，收發(fā)機(jī)，處理器；

46、存儲器，用于存儲計算機(jī)程序；收發(fā)機(jī)，用于在所述處理器的控制下收發(fā)數(shù)據(jù)；處理器，用于讀取所述存儲器中的計算機(jī)程序并執(zhí)行以下操作：

47、獲取視頻通話過程中的音頻rtp報文、音頻rtcp報文、視頻rtp報文和視頻rtcp報文；

48、基于音視頻相鄰rtcp報文組中音頻rtcp報文的ntp時間戳和視頻rtcp報文的ntp時間戳，確定發(fā)送端發(fā)送所述音頻rtcp報文和所述視頻rtcp報文的第一時間差；

49、針對所述音視頻相鄰rtcp報文組之后的至少一個音視頻相鄰rtp報文組，基于所述第一時間差，確定所述發(fā)送端發(fā)送所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第二時間差；

50、基于所述第二時間差以及采集點(diǎn)收到所述音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第三時間差，確定所述音視頻相鄰rtp報文組的音視頻不同步時長；

51、基于各所述音視頻相鄰rtp報文組的音視頻不同步時長以及音視頻不同步門限，確定所述視頻通話過程中音視頻不同步的識別結(jié)果。

52、第四方面，本技術(shù)還提供一種電子設(shè)備，包括處理器和存儲有計算機(jī)程序的存儲器，所述處理器執(zhí)行所述程序時實現(xiàn)第一方面所述的識別視頻通話過程中音視頻不同步的方法。

53、第五方面，本技術(shù)還提供一種處理器可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)第一方面所述的識別視頻通話過程中音視頻不同步的方法。

54、第六方面，本技術(shù)還提供一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)第一方面所述的識別視頻通話過程中音視頻不同步的方法。

55、本技術(shù)提供的識別視頻通話過程中音視頻不同步的方法、裝置及設(shè)備，通過獲取視頻通話過程中的音頻rtp報文、音頻rtcp報文、視頻rtp報文和視頻rtcp報文，基于音視頻相鄰rtcp報文組中音頻rtcp報文的ntp時間戳和視頻rtcp報文的ntp時間戳，確定發(fā)送端發(fā)送音頻rtcp報文和視頻rtcp報文的第一時間差，然后針對音視頻相鄰rtcp報文組之后的至少一個音視頻相鄰rtp報文組，基于該第一時間差，確定發(fā)送端發(fā)送音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第二時間差，再基于該第二時間差以及采集點(diǎn)收到音視頻相鄰rtp報文組中音頻rtp報文和視頻rtp報文的第三時間差，確定音視頻相鄰rtp報文組的音視頻不同步時長，最后基于各音視頻相鄰rtp報文組的音視頻不同步時長以及音視頻不同步門限，確定視頻通話過程中音視頻不同步的識別結(jié)果，從而解決了現(xiàn)有技術(shù)無法有效而準(zhǔn)確地識別視頻通話過程中音視頻不同步的問題，使得網(wǎng)絡(luò)側(cè)可以有針對性地對用戶的視頻通話體驗進(jìn)行保障，有利于提升用戶體驗。