本申請(qǐng)涉及擴(kuò)展現(xiàn)實(shí)，具體涉及一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法及相關(guān)設(shè)備。

背景技術(shù)：

1、擴(kuò)展現(xiàn)實(shí)(extended?reality，簡稱xr)是虛擬現(xiàn)實(shí)(virtual?reality，vr)、增強(qiáng)現(xiàn)實(shí)(augmented?reality，ar)和混合現(xiàn)實(shí)(mixed?reality，mr)的總稱，其通過可穿戴設(shè)備和計(jì)算機(jī)技術(shù)為體驗(yàn)者帶來真實(shí)與虛擬結(jié)合、人機(jī)交互的環(huán)境，實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界之間無縫轉(zhuǎn)換的“沉浸感”體驗(yàn)。在擴(kuò)展現(xiàn)實(shí)的實(shí)際應(yīng)用中，用戶體驗(yàn)是非常值得關(guān)注的方面，目前仍存在因體驗(yàn)者移動(dòng)軌跡突發(fā)變化或者是其它因素導(dǎo)致視頻畫面預(yù)測不準(zhǔn)確的問題，進(jìn)而引起用戶體驗(yàn)不佳。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的實(shí)施例分別提供了一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法、一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法，該方法包括：接收客戶端節(jié)點(diǎn)發(fā)送的包含體驗(yàn)者移動(dòng)信息的視頻獲取請(qǐng)求；通過預(yù)設(shè)的多個(gè)視圖預(yù)測模型分別預(yù)測與所述體驗(yàn)者移動(dòng)信息相匹配的候選視圖，其中，不同的視圖預(yù)測模型在預(yù)測候選視圖時(shí)基于所述體驗(yàn)者移動(dòng)信息所確定的移動(dòng)后視口位置不同，以使得預(yù)測得到的各個(gè)候選視圖的畫面內(nèi)容相應(yīng)不同；獲取針對(duì)各個(gè)候選視圖所預(yù)測得到的體驗(yàn)質(zhì)量值，并基于各個(gè)候選視圖對(duì)應(yīng)的體驗(yàn)質(zhì)量值進(jìn)行候選視圖的融合處理，得到待傳輸視圖；將所述待傳輸視圖傳輸至所述客戶端節(jié)點(diǎn)。

3、第二方面，本申請(qǐng)實(shí)施例提供了一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制裝置，該裝置包括：接收模塊，配置為接收客戶端節(jié)點(diǎn)發(fā)送的包含體驗(yàn)者移動(dòng)信息的視頻獲取請(qǐng)求；預(yù)測模塊，配置為通過預(yù)設(shè)的多個(gè)視圖預(yù)測模型分別預(yù)測與所述體驗(yàn)者移動(dòng)信息相匹配的候選視圖，其中，不同的視圖預(yù)測模型在預(yù)測候選視圖時(shí)基于所述體驗(yàn)者移動(dòng)信息所確定的移動(dòng)后視口位置不同，以使得預(yù)測得到的各個(gè)候選視圖的畫面內(nèi)容相應(yīng)不同；獲取模塊，配置為獲取針對(duì)各個(gè)候選視圖所預(yù)測得到的體驗(yàn)質(zhì)量值，并基于各個(gè)候選視圖對(duì)應(yīng)的體驗(yàn)質(zhì)量值進(jìn)行候選視圖的融合處理，得到待傳輸視圖；傳輸模塊，配置為將所述待傳輸視圖傳輸至所述客戶端節(jié)點(diǎn)。

4、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述電子設(shè)備實(shí)現(xiàn)如前所述的應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法中的步驟。

5、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可讀指令，當(dāng)所述計(jì)算機(jī)可讀指令被計(jì)算機(jī)的處理器執(zhí)行時(shí)，使計(jì)算機(jī)執(zhí)行如上所述的應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法中的步驟。

6、第五方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法中的步驟。

7、在本申請(qǐng)的實(shí)施例所提供的技術(shù)方案中，擴(kuò)展現(xiàn)實(shí)的服務(wù)端節(jié)點(diǎn)在接收到客戶端發(fā)送視頻獲取請(qǐng)求后，通過預(yù)設(shè)的多個(gè)視圖預(yù)測模型來分別預(yù)測候選視圖，由于不同的視圖預(yù)測模型進(jìn)行候選視圖預(yù)測所考慮的移動(dòng)后視口位置有所不同，這使得不同的視圖預(yù)測模型預(yù)測得到的候選視圖的畫面內(nèi)容也相應(yīng)不同，基于此，后續(xù)通過預(yù)測各個(gè)候選視圖對(duì)應(yīng)的體驗(yàn)質(zhì)量值，并基于各個(gè)候選視圖的體驗(yàn)質(zhì)量值對(duì)各個(gè)候選視圖進(jìn)行融合處理來得到待傳輸視圖，這相當(dāng)于待傳輸視圖所對(duì)應(yīng)的視口位置是針對(duì)預(yù)測的多個(gè)視口位置融合得到的更加精確的視口位置所匹配的視頻畫面，即使出現(xiàn)體驗(yàn)者移動(dòng)軌跡突發(fā)變化或者其它因素，也能夠預(yù)測得到精確視口對(duì)應(yīng)的視頻畫面，由此使得將此待傳輸視頻傳輸給客戶端節(jié)點(diǎn)進(jìn)行擴(kuò)展現(xiàn)實(shí)相關(guān)的顯示，能夠使體驗(yàn)者獲得更高的用戶體驗(yàn)。

8、應(yīng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)。

技術(shù)特征：

1.一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取針對(duì)各個(gè)候選視圖所預(yù)測得到的體驗(yàn)質(zhì)量值，并基于各個(gè)候選視圖對(duì)應(yīng)的體驗(yàn)質(zhì)量值進(jìn)行候選視圖的融合處理，得到待傳輸視圖，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于各個(gè)候選視圖的排序順序?qū)ο鄳?yīng)候選視圖進(jìn)行下采樣處理，得到各個(gè)候選視圖對(duì)應(yīng)的下采樣圖像，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過預(yù)設(shè)的多個(gè)視圖預(yù)測模型分別預(yù)測與所述體驗(yàn)者移動(dòng)信息相匹配的候選視圖，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述融合各個(gè)候選視圖對(duì)應(yīng)的下采樣圖像以得到所述待傳輸視圖，包括：

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過預(yù)設(shè)的多個(gè)視圖預(yù)測模型分別預(yù)測與所述體驗(yàn)者移動(dòng)信息相匹配的候選視圖，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述融合各個(gè)候選視圖對(duì)應(yīng)的下采樣圖像以得到所述待傳輸視圖，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取針對(duì)各個(gè)候選視圖所預(yù)測得到的體驗(yàn)質(zhì)量值，并基于各個(gè)候選視圖對(duì)應(yīng)的體驗(yàn)質(zhì)量值生成待傳輸視圖，包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括：

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述待傳輸視圖傳輸至所述客戶端節(jié)點(diǎn)，包括：

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述對(duì)各個(gè)視圖分片進(jìn)行預(yù)編碼處理，并基于得到的編碼圖像與相應(yīng)視圖分片之間的畫面差異，確定所述待傳輸視圖對(duì)應(yīng)的視頻質(zhì)量指標(biāo)，包括：

12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述基于確定得到的碼率將所述待傳輸視圖傳輸至所述客戶端節(jié)點(diǎn)，包括：

13.一種應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制裝置，其特征在于，包括：

14.一種電子設(shè)備，其特征在于，包括：

15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)可讀指令，當(dāng)所述計(jì)算機(jī)可讀指令被計(jì)算機(jī)的處理器執(zhí)行時(shí)，使計(jì)算機(jī)執(zhí)行權(quán)利要求1至12中任一項(xiàng)所述的應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法。

技術(shù)總結(jié)
本申請(qǐng)的實(shí)施例揭示了應(yīng)用于擴(kuò)展現(xiàn)實(shí)的視頻傳輸控制方法及相關(guān)設(shè)備。該方法包括：接收客戶端發(fā)送的包含體驗(yàn)者移動(dòng)信息的視頻獲取請(qǐng)求；通過預(yù)設(shè)的多個(gè)視圖預(yù)測模型分別預(yù)測與所述體驗(yàn)者移動(dòng)信息相匹配的候選視圖，其中，不同的視圖預(yù)測模型在預(yù)測候選視圖時(shí)基于所述體驗(yàn)者移動(dòng)信息所確定的移動(dòng)后視口位置不同，以使得預(yù)測得到的各個(gè)候選視圖的畫面內(nèi)容相應(yīng)不同；獲取針對(duì)各個(gè)候選視圖所預(yù)測得到的體驗(yàn)質(zhì)量值，并基于各個(gè)候選視圖對(duì)應(yīng)的體驗(yàn)質(zhì)量值進(jìn)行候選視圖的融合處理，得到待傳輸視圖；將所述待傳輸視圖傳輸至所述客戶端。即使出現(xiàn)體驗(yàn)者移動(dòng)軌跡突發(fā)變化或者其它因素，本申請(qǐng)仍能夠提升擴(kuò)展現(xiàn)實(shí)場景下的用戶體驗(yàn)。

技術(shù)研發(fā)人員：彭俊坤
受保護(hù)的技術(shù)使用者：騰訊科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9