背景技術(shù)：

1、近年來(lái)，使用計(jì)算設(shè)備(例如，移動(dòng)設(shè)備、個(gè)人計(jì)算機(jī))來(lái)接收、存儲(chǔ)、編輯、流傳輸或以其他方式顯示數(shù)字媒體的使用急劇增加。事實(shí)上，現(xiàn)在消費(fèi)者電子設(shè)備顯示來(lái)自多個(gè)不同遠(yuǎn)程源的實(shí)時(shí)視頻已經(jīng)很普遍。此外，隨著個(gè)人計(jì)算機(jī)、移動(dòng)設(shè)備、游戲控制臺(tái)和其他消費(fèi)者電子設(shè)備變得更加流行，具有不同計(jì)算和顯示能力的更多種類的電子設(shè)備正被用于各種數(shù)字媒體應(yīng)用中。此外，隨著計(jì)算設(shè)備變得更加復(fù)雜，計(jì)算設(shè)備的顯示能力也得到了類似的改進(jìn)。

2、雖然計(jì)算設(shè)備在顯示數(shù)字媒體方面提供了有用的工具，但是用于傳送和顯示數(shù)字媒體的常規(guī)系統(tǒng)包括各種問(wèn)題和缺點(diǎn)。例如，隨著數(shù)字媒體質(zhì)量的提高，連接資源(例如帶寬)通常不足以使內(nèi)容提供商能夠流傳輸或以其他方式提供高質(zhì)量的媒體。此外，即使在連接資源充足且可用于提供高質(zhì)量媒體內(nèi)容的情況下，消費(fèi)者也經(jīng)常因與下載和處理大量數(shù)字內(nèi)容相關(guān)聯(lián)的各種成本而感到沮喪。此外，用于生成和傳送媒體內(nèi)容的常規(guī)加密和解密技術(shù)經(jīng)常導(dǎo)致低質(zhì)量的內(nèi)容顯示。

3、在傳送和顯示數(shù)字視頻內(nèi)容方面存在這些和其他問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種方法，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述去噪模型是基于訓(xùn)練圖像對(duì)來(lái)訓(xùn)練的，所述訓(xùn)練圖像對(duì)包括第一多個(gè)非經(jīng)壓縮的圖像和基于壓縮后的所述第一多個(gè)非經(jīng)壓縮的圖像的第二多個(gè)經(jīng)解壓縮的數(shù)字圖像。

3.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括將超分辨率模型應(yīng)用于所述經(jīng)去噪的視頻幀以生成具有與所述經(jīng)解碼的視頻幀相比更高分辨率的輸出視頻幀，其中所述超分辨率模型包括第二機(jī)器學(xué)習(xí)模型，所述第二機(jī)器學(xué)習(xí)模型被訓(xùn)練成接收具有輸入分辨率的輸入數(shù)字圖像以基于輸入數(shù)字圖像來(lái)生成具有與所述輸入分辨率相比更高分辨率的輸出數(shù)字圖像。

4.如權(quán)利要求1所述的方法，其特征在于，所述第一顏色通道包括來(lái)自包括亮度通道、第一色度通道和第二色度通道的顏色通道族的亮度通道。

5.如權(quán)利要求1所述的方法，其特征在于，所述多個(gè)顏色通道包括紅綠藍(lán)(rgb)圖像的紅色通道、綠色通道和藍(lán)色通道。

6.如權(quán)利要求1所述的方法，進(jìn)一步包括：

7.如權(quán)利要求1所述的方法，其特征在于，選擇性地應(yīng)用所述去噪模型包括將所述去噪模型應(yīng)用于所述經(jīng)解碼的視頻幀的所述第一顏色通道，而不將所述去噪模型應(yīng)用于共同構(gòu)成所述經(jīng)解碼的視頻幀的一個(gè)或多個(gè)附加顏色通道。

8.如權(quán)利要求1所述的方法，進(jìn)一步包括：接收所述經(jīng)解碼的視頻幀的分段掩碼，所述分段掩碼包括指示所述經(jīng)解碼的視頻幀內(nèi)的高優(yōu)先級(jí)內(nèi)容區(qū)的經(jīng)標(biāo)識(shí)的感興趣區(qū)域，其中，選擇性地應(yīng)用所述去噪模型包括將所述去噪模型應(yīng)用于所述經(jīng)解碼的視頻幀的所述第一部分的所述經(jīng)標(biāo)識(shí)的興趣區(qū)域。

9.如權(quán)利要求8所述的方法，其特征在于，所述感興趣區(qū)域是基于所述經(jīng)解碼的視頻幀內(nèi)的一個(gè)或多個(gè)平視顯示器(hud)元素來(lái)標(biāo)識(shí)的，所述一個(gè)或多個(gè)平視顯示器(hud)元素包括作為實(shí)況視頻流的圖形用戶界面的一部分顯示的信息。

10.如權(quán)利要求8所述的方法，其特征在于，結(jié)合從服務(wù)器設(shè)備接收經(jīng)壓縮的數(shù)字視頻來(lái)從所述服務(wù)器設(shè)備接收所述分段掩碼。

11.一種方法，包括：

12.如權(quán)利要求11所述的方法，其特征在于，結(jié)合從服務(wù)器設(shè)備接收經(jīng)壓縮的數(shù)字視頻來(lái)從所述服務(wù)器設(shè)備接收所述可變速率著色緩沖器。

13.如權(quán)利要求11所述的方法，其特征在于，所述可變速率著色緩沖器基于所述一個(gè)或多個(gè)感興趣區(qū)域具有比預(yù)定著色精度率閾值高的著色精度率來(lái)指示所述一個(gè)或多個(gè)感興趣區(qū)域。

14.如權(quán)利要求11所述的方法，其特征在于，所述去噪模型是基于訓(xùn)練圖像對(duì)來(lái)訓(xùn)練的，所述訓(xùn)練圖像對(duì)包括第一多個(gè)非經(jīng)壓縮的圖像和基于壓縮后的所述第一多個(gè)非經(jīng)壓縮的圖像的第二多個(gè)經(jīng)解壓縮的數(shù)字圖像。

15.如權(quán)利要求11所述的方法，其特征在于，進(jìn)一步包括將超分辨率模型應(yīng)用于所述經(jīng)去噪的視頻幀以生成具有與所述經(jīng)解碼的視頻幀相比更高分辨率的輸出視頻幀，其中所述超分辨率模型包括第二機(jī)器學(xué)習(xí)模型，所述第二機(jī)器學(xué)習(xí)模型被訓(xùn)練成接收具有輸入分辨率的輸入數(shù)字圖像以基于輸入數(shù)字圖像來(lái)生成具有與所述輸入分辨率相比更高分辨率的輸出數(shù)字圖像。

16.如權(quán)利要求11所述的方法，其特征在于，選擇性地應(yīng)用所述去噪模型包括將所述去噪模型應(yīng)用于所述經(jīng)解碼的視頻幀的所述一個(gè)或多個(gè)興趣區(qū)域，而不將所述去噪模型應(yīng)用于所述經(jīng)解碼的視頻幀的其他部分。

17.一種系統(tǒng)，包括：

18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述第一顏色通道包括來(lái)自包括亮度通道、第一色度通道和第二色度通道的顏色通道族的亮度通道。

19.如權(quán)利要求17所述的系統(tǒng)，其特征在于，選擇性地應(yīng)用所述去噪模型包括將所述去噪模型應(yīng)用于所述經(jīng)解碼的視頻幀的所述第一顏色通道，而不將所述去噪模型應(yīng)用于共同構(gòu)成所述經(jīng)解碼的視頻幀的一個(gè)或多個(gè)附加顏色通道。

20.如權(quán)利要求17所述的系統(tǒng)，進(jìn)一步包括指令，所述指令可由所述一個(gè)或多個(gè)處理器執(zhí)行以：

技術(shù)總結(jié)
本公開(kāi)涉及選擇性地增強(qiáng)數(shù)字圖像和視頻內(nèi)容的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。例如，本文公開(kāi)的系統(tǒng)可對(duì)原始視頻內(nèi)容進(jìn)行編碼以壓縮和解壓縮原始視頻內(nèi)容。本文描述的系統(tǒng)可進(jìn)一步標(biāo)識(shí)感興趣區(qū)域的信息以用于標(biāo)識(shí)經(jīng)解壓縮的視頻內(nèi)容的各部分以分析和移除其中發(fā)現(xiàn)的一個(gè)或多個(gè)壓縮偽影。本文描述的系統(tǒng)可以通過(guò)增加顯示分辨率來(lái)進(jìn)一步增強(qiáng)經(jīng)解壓縮的視頻內(nèi)容。通過(guò)標(biāo)識(shí)感興趣區(qū)域和選擇性地增強(qiáng)數(shù)字視頻內(nèi)容，本文描述的系統(tǒng)可以減少帶寬和處理資源的消耗，同時(shí)保持?jǐn)?shù)字內(nèi)容的高視覺(jué)質(zhì)量。

技術(shù)研發(fā)人員：D·G·肯奈特,E·C·沃爾斯頓,M·高登
受保護(hù)的技術(shù)使用者：微軟技術(shù)許可有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2