本發(fā)明屬于視頻通信和網(wǎng)絡(luò)優(yōu)化，涉及一種用于大規(guī)模多方交互實(shí)時視頻流的傳輸方法。

背景技術(shù)：

1、隨著數(shù)字化時代的到來，多方交互實(shí)時視頻流媒體(mpi-rtvs)在協(xié)作會議、聯(lián)合表演和直播pk等場景中得到了廣泛應(yīng)用。這些應(yīng)用場景需要多個發(fā)送方同時共享視頻內(nèi)容，并滿足眾多觀看者的不同體驗(yàn)質(zhì)量(qoe)。然而，現(xiàn)有技術(shù)在處理這些場景時仍然面臨著一些關(guān)鍵挑戰(zhàn)：

2、復(fù)雜性問題：隨著觀看者數(shù)量的增加，特別是在涉及數(shù)百個觀看者的大規(guī)模場景中，現(xiàn)有方法難以有效處理上傳下載帶寬分配和自適應(yīng)比特率控制的優(yōu)化問題。例如，深度強(qiáng)化學(xué)習(xí)(drl)和一些基于可分級視頻編碼(svc)的小規(guī)模優(yōu)化方法，雖然在一對一場景中表現(xiàn)較好，但在面對mpi-rtvs的大規(guī)模交互場景時，往往難以提供可擴(kuò)展的解決方案。此外，當(dāng)前的自適應(yīng)比特率(abr)算法大多集中在單一視頻流的傳輸，通過固定控制規(guī)則(通?；诰W(wǎng)絡(luò)狀態(tài)指數(shù)，如吞吐量和緩存占用率等做出決策)或強(qiáng)化學(xué)習(xí)(rl)方法來實(shí)現(xiàn)帶寬分配和比特率調(diào)整。然而，這些方法在應(yīng)對大規(guī)模mpi-rtvs場景，面對復(fù)雜且動態(tài)變化的網(wǎng)絡(luò)環(huán)境時，表現(xiàn)出明顯的局限性，難以提供最佳的服務(wù)性能。

3、qoe耦合影響：在多方互動的場景中，發(fā)送方之間的競爭不僅會影響其自身的qoe，還會對所有觀看者的qoe產(chǎn)生顯著影響?，F(xiàn)有的傳輸方案通常假設(shè)所有參與者在資源分配中是平等的，忽略了發(fā)送方之間的耦合效應(yīng)，這導(dǎo)致了在大規(guī)模應(yīng)用場景中服務(wù)性能的次優(yōu)表現(xiàn)。特別是現(xiàn)有的大多數(shù)研究僅針對小規(guī)模網(wǎng)絡(luò)的優(yōu)化問題，往往忽視了在大規(guī)模mpi-rtvs應(yīng)用中的復(fù)雜性和擴(kuò)展性需求。

4、局部決策導(dǎo)致次優(yōu)全局qoe：現(xiàn)有的方法通常側(cè)重于基于用戶網(wǎng)絡(luò)帶寬和其他局部約束的比特率自適應(yīng)調(diào)整，忽視了全局qoe的優(yōu)化。這種局部優(yōu)化策略在小規(guī)模應(yīng)用中可能表現(xiàn)良好，但在大規(guī)模網(wǎng)絡(luò)中常常導(dǎo)致次優(yōu)的全局qoe分布，無法滿足多方互動需求的高效性和一致性。

5、同時，增強(qiáng)現(xiàn)實(shí)(ar)和虛擬現(xiàn)實(shí)(vr)技術(shù)的飛速發(fā)展顯著推動了對高帶寬、低延遲的實(shí)時視頻傳輸?shù)男枨?。這些技術(shù)應(yīng)用場景通常涉及多方用戶的實(shí)時互動，例如多人在線游戲、虛擬會議、沉浸式社交媒體等。這類應(yīng)用通常需要在不同的網(wǎng)絡(luò)環(huán)境中傳輸大量數(shù)據(jù)，包括多視角視頻流、多通道音頻流，以及可能的傳感器數(shù)據(jù)，這對傳統(tǒng)的視頻流傳輸方案提出了巨大挑戰(zhàn)，特別是在高并發(fā)用戶的場景下，傳統(tǒng)的視頻流媒體技術(shù)已無法滿足這種需求。為此，需要開發(fā)更高效的大規(guī)模多方互動實(shí)時視頻流傳輸?shù)木W(wǎng)絡(luò)資源分配和自適應(yīng)比特率控制機(jī)制，以確保在各種復(fù)雜的網(wǎng)絡(luò)環(huán)境下都能提供一致且高質(zhì)量的用戶體驗(yàn)。

6、因此，亟需一種能夠在大規(guī)模mpi-rtvs應(yīng)用中優(yōu)化帶寬和比特率分配的新傳輸方案，以應(yīng)對上述挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：針對現(xiàn)有技術(shù)在大規(guī)模多方交互實(shí)時視頻流媒體場景下存在的帶寬分配復(fù)雜性、qoe耦合影響及局部決策導(dǎo)致的次優(yōu)全局qoe等問題，本發(fā)明提供一種大規(guī)模多方互動實(shí)時視頻流傳輸方法。

2、技術(shù)方案：一種大規(guī)模多方互動實(shí)時視頻流傳輸方法，該方法包括構(gòu)建雙層stackelberg博弈模型，分別針對發(fā)送方和接收方進(jìn)行策略優(yōu)化，且結(jié)合優(yōu)化嵌入策略，在考慮到全局qoe的基礎(chǔ)上，動態(tài)調(diào)整上傳下載帶寬及視頻比特率，確保各方利益的均衡最大化；

3、所述的雙層stackelberg博弈模型將大規(guī)模mpi-rtvs應(yīng)用中多樣化的qoe問題從服務(wù)器的角度劃分為如下兩個子問題：

4、第一層stackelberg博弈用于發(fā)送方的上行帶寬分配，將上行帶寬分配視為帶寬交易問題，其中服務(wù)器是上行帶寬提供者，每個發(fā)送方?jīng)Q定購買的帶寬量以確保高質(zhì)量的視頻流和流暢的交互；

5、第二層stackelberg博弈用于接收方的下行帶寬分配和比特率選擇，在此層中，服務(wù)器出售下行帶寬，發(fā)送方根據(jù)不同的觀看偏好選擇自己的下行帶寬以及接收的每個視頻流的比特率；

6、雙層stackelberg博弈模型將mpi-rtvs的聯(lián)合上傳-下載帶寬分配與自適應(yīng)比特率控制相結(jié)合，實(shí)現(xiàn)管理大規(guī)模mpi-rtvs場景的復(fù)雜性，且通過最大化三方的效用，優(yōu)化接收方的qoe的效用函數(shù)；

7、所述的雙層stackelberg博弈模型構(gòu)建如下：

8、第一層博弈中的發(fā)送方的效用函數(shù)定義為發(fā)送方的收入減去成本，其收入函數(shù)為發(fā)送方上傳的高質(zhì)量視頻內(nèi)容帶來的收益，且上傳比特率對收益呈現(xiàn)遞減邊際效應(yīng)；成本函數(shù)包括帶寬購買成本和視頻編碼成本，其計算公式如下：

9、

10、

11、ui表示發(fā)送方i的效用函數(shù)，ai表示與發(fā)送方i的視頻質(zhì)量相關(guān)的收益系數(shù)，bi表示發(fā)送方i的收入增長率系數(shù)，ri↑表示發(fā)送方i的上傳帶寬/比特率，pu表示上行帶寬的單位價格，表示固定編碼成本，表示可變編碼成本系數(shù)，i為所有發(fā)送方的集合，約束保證了所有發(fā)送方購買的帶寬總量不超過服務(wù)器的上行帶寬容量w↑，且發(fā)送比特率ri↑必須為非負(fù)值；

12、所述的第二層stackelberg博弈構(gòu)建包括：

13、第二層博弈中的接收方效用函數(shù)定義為qoe減去購買帶寬的成本，接收方的qoe由視頻質(zhì)量、視頻質(zhì)量穩(wěn)定性和延遲容忍度在內(nèi)的影響因素共同決定，其表達(dá)式為：

14、

15、

16、約束條件分別表示所有接收方的下行帶寬和不能超過下行總帶寬；每個接收方接收的視頻流比特率和不能超過其下行帶寬，并且每個視頻流的下行比特率不能超過上行比特率；

17、上式中，qoeij代表接收方j(luò)接收的來自發(fā)送方i的視頻流，其計算公式為：

18、

19、其中k是常數(shù)，是前k個時隙的比特率，rmin是要求的最小比特率，是通過實(shí)際比特率與最小比特率之比的對數(shù)函數(shù)來降低邊際質(zhì)量改進(jìn)，xij是相關(guān)的權(quán)重系數(shù)；yij是影響接收方靈敏度的權(quán)重系數(shù)，zij是權(quán)重系數(shù)，lij表示接收方j(luò)從發(fā)送方i接收視頻流的延遲，包括編碼時間、上傳時間、轉(zhuǎn)碼時間、下載時間和解碼時間，其計算公式如下所示：

20、

21、其中，為發(fā)送方i的編碼速度，1為上傳時間，stv為標(biāo)準(zhǔn)轉(zhuǎn)碼速度因子，ppt為每時隙的處理時間，是接收方j(luò)的解碼速度；

22、對于雙層stackelberg博弈和嵌套優(yōu)化問題，該方法基于動態(tài)調(diào)整的優(yōu)化求解方法進(jìn)行求解。

23、進(jìn)一步地，所述方法對于全局qoe的考慮包括：

24、發(fā)送方的qoe，所有發(fā)送方之間的實(shí)時高質(zhì)量通信；

25、接收方的qoe，所有源流的高穩(wěn)定視頻質(zhì)量和低延遲；

26、對此，所述的雙層stackelberg博弈模型還包括如下的實(shí)現(xiàn)過程：

27、(1)服務(wù)器在上行帶寬單價pu動態(tài)調(diào)整的基礎(chǔ)上，建立與發(fā)送方之間的第一層stackelberg博弈；

28、(2)發(fā)送方在服務(wù)器設(shè)定的上行帶寬單價下，選擇最優(yōu)的發(fā)送比特率ri↑以最大化其效用ui；

29、(3)在第一層stackelberg博弈的基礎(chǔ)上，服務(wù)器動態(tài)調(diào)整下行帶寬單價pd，建立與接收方之間的第二層stackelberg博弈；

30、(4)每個接收方求解各自嵌套的優(yōu)化問題得到最優(yōu)比特率分配比例ηij；

31、(5)接收方在服務(wù)器設(shè)定的下行帶寬單價和第一層博弈結(jié)果下，并根據(jù)每個接收方求解各自嵌套的優(yōu)化問題得到的最優(yōu)比特率分配比例結(jié)果，決策每個接收方接收的每個視頻流的比特率rij。

32、進(jìn)一步地，該方法基于動態(tài)調(diào)整的優(yōu)化解決雙層stackelberg博弈和嵌套優(yōu)化問題，對于第一層stackelberg博弈模型定義為：

33、s1＝{i∪{server},r↑,pu,us,f},，其中,us＝[u1,…,um]；

34、i表示發(fā)送方集合，server表示服務(wù)器，ri↑表示各個發(fā)送方的上傳帶寬，pu表示上行帶寬單價，us表示發(fā)送方的效用函數(shù)集合，f表示服務(wù)器的上行效用函數(shù)；

35、第二層stackelberg博弈模型定義為：

36、

37、其中和w↓＝[w1↓,…,wm+n↓]；

38、式中，表示接收方集合，server表示服務(wù)器，wi↓表示各個接收方的下載帶寬，pd表示下行帶寬單價，v*表示接收方的效用函數(shù)集合，g表示服務(wù)器的下行效用函數(shù)；

39、對于雙層stackelberg博弈中第二層的嵌套問題，數(shù)學(xué)表達(dá)如下：

40、

41、式中，是第k個時間片的分配比率，ri↑是第一層游戲s1中計算出的發(fā)送方i的上傳比特率，是接收方在過去的底k個時間片購買的總下載帶寬；

42、為求解該優(yōu)化問題，引入拉格朗日乘子法，構(gòu)造出對應(yīng)的拉格朗日函數(shù)：

43、

44、設(shè)定有如下的拉格朗日函數(shù)與kkt條件：

45、1)穩(wěn)定性條件：

46、2)原始可行性條件：

47、

48、3)互補(bǔ)松弛條件：

49、

50、βij(-ηij)＝0,for?i∈i

51、4)對偶可行性條件：αij≥0,βij≥0,for?i∈i；

52、綜上條件，推導(dǎo)出該優(yōu)化問題的最優(yōu)解ηij，ηij的取值分為以下三種情況：

53、如果且αij＝0，則

54、如果且αij＝0，則

55、否則，

56、更進(jìn)一步地，所述的雙層stackelberg博弈模型的求解如下：

57、對于第一層stackelberg博弈的求解步驟包括：

58、(1.1)輸入?yún)?shù)：包括發(fā)送方的參數(shù)集以及最大上行帶寬單價上行帶寬總量w↑、發(fā)送方數(shù)量m和收斂閾值∈；

59、(1.2)初始化：服務(wù)器初始設(shè)置上行帶寬單價為并將收斂標(biāo)志設(shè)為flase，迭代計數(shù)器t設(shè)為1，同時，將初始化比特率向量初始化為零向量；

60、(1.3)迭代過程：

61、對每個發(fā)送方i，計算其最優(yōu)比特率，該值基于發(fā)送方的參數(shù)和當(dāng)前帶寬單價計算得出，公式為：

62、檢查所有發(fā)送方的比特率總和是否超過了可用的上行帶寬w↑，如果超過，則按比例縮放各發(fā)送方的比特率以滿足帶寬約束，即

63、檢查比特率的收斂性，即當(dāng)前迭代和上一次迭代的比特率向量差值是否小于閾值∈；若滿足條件，則標(biāo)記收斂；否則，更新迭代計數(shù)器并繼續(xù)計算；

64、服務(wù)器在每次迭代結(jié)束后，基于當(dāng)前的比特率分配更新上行帶寬單價pu為以最大化其自身效用f；

65、(1.4)輸出結(jié)果：最終收斂后的最優(yōu)上行比特率和最優(yōu)單價作為算法的輸出；

66、對于第二層stackelberg博弈的求解步驟包括：

67、(2.1)輸入?yún)?shù)：包括接收方的參數(shù)集{xij},{yij},{zij}，接收方數(shù)量n、發(fā)送方數(shù)量m、系統(tǒng)總帶寬stv、最大價格限制ppt、和收斂閾值∈；

68、(2.2)初始化：服務(wù)器初始設(shè)置下行帶寬單價為并將收斂標(biāo)志設(shè)為false，迭代計數(shù)器t設(shè)為1，同時將上行比特率向量初始化為從算法s1得到的(2.3)迭代過程：

69、對每個接收方j(luò)，依據(jù)當(dāng)前的上行比特率和帶寬分配情況，計算其最優(yōu)帶寬分配；

70、檢查所有接收方的帶寬分配總和是否在允許的下行帶寬范圍內(nèi)，如果超過，則按比例調(diào)整帶寬分配以滿足約束條件，即，

71、檢查帶寬分配的收斂性，即當(dāng)前迭代和上一次迭代的帶寬分配向量差值是否小于閾值∈，若滿足條件，則標(biāo)記收斂；否則，更新迭代計數(shù)器并繼續(xù)計算；

72、服務(wù)器在每次迭代結(jié)束后，基于當(dāng)前的帶寬分配更新下行帶寬單價pd，以最大化其自身效用；

73、(2.4)輸出結(jié)果：最終收斂后的最優(yōu)下行帶寬分配w↓和最優(yōu)單價pd作為算法的輸出。

74、更進(jìn)一步地，雙層stackelberg博弈中服務(wù)器效用函數(shù)分別為出售上下行帶寬獲得的收益，定義如下：

75、對于上行帶寬效用函數(shù)：

76、對于上行帶寬效用函數(shù)：其中，pu表示上行帶寬的單位價格，pd表示下行帶寬的單位價格，ri↑表示發(fā)送方i的上傳帶寬/比特率，wj↓表示接收方j(luò)的下行帶寬，r↑是所有發(fā)送方的上傳比特率的集合，w↓是所有接收方的下行帶寬的集合，j為所有接收方的集合，包括所有發(fā)送方和接收方所包含的觀眾。

77、有益效果：本發(fā)明所提供的大規(guī)模多方互動實(shí)時視頻流傳輸方法，該方法解決了現(xiàn)有多方互動實(shí)時視頻流媒體傳輸方案在大規(guī)模場景中難以有效優(yōu)化上傳下載帶寬分配和自適應(yīng)碼率控制的問題，尤其是無法同時兼顧發(fā)送端和接收端的耦合的多樣化體驗(yàn)質(zhì)量(qoe)。本發(fā)明提出的傳輸方法通過嵌入優(yōu)化機(jī)制的雙層stackelberg博弈，有效地管理大規(guī)模多方互動實(shí)時視頻流媒體場景中的復(fù)雜性。該傳輸方案包括在第一層中，服務(wù)器作為上行帶寬提供方，發(fā)送方通過博弈決策購買帶寬以確保視頻流的高質(zhì)量和互動的流暢性；在第二層中，服務(wù)器根據(jù)接收方的觀看偏好分配下行帶寬和視頻流的碼率。通過這種雙層架構(gòu)，本發(fā)明實(shí)現(xiàn)了多方互動實(shí)時視頻流媒體傳輸中的上傳下載帶寬的聯(lián)合分配與自適應(yīng)碼率控制，顯著優(yōu)化了整體系統(tǒng)效用，提升了用戶體驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方案相比現(xiàn)有方法具有更高的可擴(kuò)展性和較低的計算開銷，顯著改善了服務(wù)質(zhì)量，特別是在大規(guī)模應(yīng)用場景下表現(xiàn)出色。