專(zhuān)利名稱(chēng)：使用壓縮抽樣度量的任意分辨率視頻編碼的方法和設(shè)備的制作方法
使用壓縮抽樣度量的任意分辨率視頻編碼的方法和設(shè)備
背景技術(shù)：
在視頻網(wǎng)絡(luò)中，視頻源可以被發(fā)送到多個(gè)具有不同特征的客戶(hù)端設(shè)備。視頻網(wǎng)絡(luò)中的客戶(hù)端設(shè)備可以具有不同的信道容量、不同的顯示器分辨率以及不同的計(jì)算資源。例如，視頻源可以通過(guò)視頻網(wǎng)絡(luò)被發(fā)送到居民家中具有高分辨率監(jiān)視器的高性能計(jì)算機(jī)，以及同時(shí)被發(fā)送到具有低分辨率屏幕和具有電池供電的CPU的移動(dòng)設(shè)備。因此，期望以這樣的方式對(duì)視頻源進(jìn)行編碼，使得同一已編碼視頻流可以被發(fā)送到和可用于網(wǎng)絡(luò)中具有不同特征的全部客戶(hù)端。換句話說(shuō)，期望對(duì)視頻源進(jìn)行一次編碼，但以不同信道速率發(fā)送同一已編碼視頻，并且以不同分辨率和不同復(fù)雜度對(duì)其進(jìn)行解碼。例如MPEG2的傳統(tǒng)視頻編碼不提供如上面所描述的、現(xiàn)今的視頻網(wǎng)絡(luò)所需的可伸縮性?？缮炜s性的缺乏以至少兩種方式展示其自身。首先，MPEG2編碼的視頻不隨傳輸信道容量可伸縮。由于其固定比特率，已編碼的MPEG2流在支持較低比特率的信道中不能用，并且同時(shí)在具有較高比特率的信道中欠優(yōu)化。這是在視頻廣播或組播中遇到的陡壁效應(yīng)的原因。第二，MPEG2視頻不隨解碼器分辨率或解碼復(fù)雜度可伸縮。MPEG2視頻可以?xún)H以一個(gè)分辨率、使用固定的復(fù)雜度(不考慮解碼之后的例如調(diào)整大小或增強(qiáng)的后處理)被解碼。這產(chǎn)生了對(duì)去往具有不同分辨率的目標(biāo)解碼器的、同一視頻內(nèi)容的多個(gè)已編碼流的需求。已努力向視頻編碼引入可伸縮性。然而，這些常規(guī)努力將視頻數(shù)據(jù)編碼為已排序的層、級(jí)的流，并且已解碼視頻的分辨率或質(zhì)量隨著更高的層、級(jí)被添加到解碼器而逐步提高。分層調(diào)制可以結(jié)合這些可伸縮視頻代碼而被使用，以便達(dá)到更高的帶寬效率。例如，可以將分層調(diào)制的高優(yōu)先級(jí)用于傳送視頻流的較低層，以及，可以將分層調(diào)制的低優(yōu)先級(jí)用于傳送視頻流的較高層。這些努力已提供了對(duì)例如使用傳統(tǒng)視頻編碼的視頻傳輸中的陡壁效應(yīng)問(wèn)題的某種緩解，但移動(dòng)視頻廣播的挑戰(zhàn)仍然不變。

發(fā)明內(nèi)容
本發(fā)明涉及用于使用壓縮度量的任意分辨率視頻編碼的方法和設(shè)備。所述方法包括，接收在編碼器處生成的一組度量中的至少一個(gè)度量。所述一組度量代表已編碼的視頻數(shù)據(jù)。所述方法進(jìn)一步包括確定顯示器分辨率，其中，所述顯示器分辨率與原始顯示器分辨率相同或不同。所述方法進(jìn)一步包括:基于確定的顯示器分辨率的至少一些像素確定擴(kuò)展矩陣；以及，使用確定的擴(kuò)展矩陣重構(gòu)所述視頻數(shù)據(jù)，使得，如果所述確定的顯示器分辨率不同于原始顯示器分辨率，則原始顯示器分辨率的大小被調(diào)整為所述確定的顯示器分辨率。所述擴(kuò)展矩陣包括值的模式。所述顯示器分辨率可以根據(jù)視頻顯示器屏幕的需求來(lái)確定。同樣，所述顯示器分辨率可以根據(jù)一些所述接收的度量來(lái)確定。所述方法可以進(jìn)一步包括:獲取在編碼器處被應(yīng)用于所述視頻數(shù)據(jù)的度量矩陣，所述度量矩陣包括像素值的指派的模式；以及，根據(jù)候選視頻數(shù)據(jù)的離散余弦變換(DCT)系數(shù)的總偏差(TV)計(jì)算用于確定的顯示器分辨率的像素值。所述候選視頻數(shù)據(jù)是基于所述度量矩陣、所述擴(kuò)展矩陣和接收的度量。所述擴(kuò)展矩陣的值的模式可以代表低通濾波器。同樣，所述擴(kuò)展矩陣的值的模式可以使用所述視頻數(shù)據(jù)的DCT變換來(lái)計(jì)算。此外，所述擴(kuò)展矩陣的值的模式可以使用所述視頻數(shù)據(jù)的小波變換來(lái)計(jì)算。所述TV是各向異性TV和各向同性TV中的一個(gè)。所述計(jì)算步驟可以進(jìn)一步包括:確定所述候選數(shù)據(jù)的時(shí)間方向上的DCT系數(shù)；以及，逐幀地確定所述DCT系數(shù)的TV，其中，所述計(jì)算步驟根據(jù)所述DCT系數(shù)的TV的最小化計(jì)算一組值。所述度量矩陣的像素值的所述指派的模式可以基于所述解碼器可以從所述接收的度量中重構(gòu)的最低顯示器分辨率來(lái)構(gòu)造。所述設(shè)備包括解碼器，所述解碼器被配置為，接收在編碼器處生成的一組度量中的至少一個(gè)度量，以及，確定顯示器分辨率，其中，所述顯示器分辨率與原始顯示器分辨率相同或不同。同樣，所述解碼器被配置為，基于所述確定的顯示器分辨率的至少一些像素確定擴(kuò)展矩陣，以及，使用確定的擴(kuò)展矩陣重構(gòu)所述視頻數(shù)據(jù)，使得，如果所述確定的顯示器分辨率與所述原始顯示器分辨率不同，則將原始顯示器分辨率的大小調(diào)整為所述確定的顯不器分辨率。同樣，所述解碼器可以，根據(jù)視頻顯示器屏幕的需求確定所述顯示器分辨率，和/或根據(jù)一些所述接收的度量確定所述顯示器分辨率。所述解碼器可以被配置為:獲取在編碼器處被應(yīng)用于所述視頻數(shù)據(jù)的度量矩陣，以及，根據(jù)候選視頻數(shù)據(jù)的離散余弦變換(DCT)系數(shù)的總偏差(TV)計(jì)算用于所述確定的顯示器分辨率的像素值。所述候選視頻數(shù)據(jù)是基于所述度量矩陣、所述擴(kuò)展矩陣和接收的度量。所述擴(kuò)展矩陣的值的模式可以代表低通濾波器。同樣，所述擴(kuò)展矩陣的值的模式可以使用所述視頻數(shù)據(jù)的DCT變換來(lái)計(jì)算。此外，所述擴(kuò)展矩陣的值的模式可以使用所述視頻數(shù)據(jù)的小波變換來(lái)計(jì)算。所述TV是各向異性TV和各向同性TV中的一個(gè)。同樣，所述解碼器可以被配置為，確定所述候選視頻數(shù)據(jù)的時(shí)間方向上的DCT系數(shù)，以及，逐幀地確定所述DCT系數(shù)的TV，其中，所述解碼器根據(jù)所述DCT系數(shù)的TV的最小化計(jì)算一組值。


從本文下面給出的詳細(xì)描述和附圖中，將更充分地理解示例性實(shí)施例，其中，類(lèi)似單元由類(lèi)似標(biāo)號(hào)代表，其僅作為示例被給出，并且由此不是對(duì)本發(fā)明的限制，以及其中:圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的通信網(wǎng)絡(luò)；圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的源設(shè)備和目的設(shè)備的部件；圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的、將一組度量基應(yīng)用于原始視頻數(shù)據(jù)的編碼過(guò)程；圖4示出了由根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻解碼器205進(jìn)行的重構(gòu)過(guò)程；圖5示出了由根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻解碼器進(jìn)行的、用于對(duì)所接收的度量進(jìn)行解碼的方法；圖6示出了這樣的圖解，其示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的、根據(jù)不同類(lèi)型分辨率的被重構(gòu)視頻；圖7示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的、時(shí)間方向上的像素級(jí)離散余弦變換(DCT);以及圖8示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的各向異性總偏差和各向同性總偏差。
具體實(shí)施例方式現(xiàn)在將參考附圖更充分地描述本發(fā)明的各種實(shí)施例。附圖中的類(lèi)似單元用類(lèi)似標(biāo)號(hào)標(biāo)記。當(dāng)用在此處時(shí)，除非上下文明確指出，否則單數(shù)形式“一個(gè)(a)”、“一個(gè)”和“那個(gè)”旨在也包括復(fù)數(shù)形式。應(yīng)當(dāng)進(jìn)一步理解，術(shù)語(yǔ)“包含和/或“包括”，當(dāng)用在此處時(shí)，指定所陳述特征、整數(shù)、步驟、操作、單元和/或部件的出現(xiàn)，但并不排除一個(gè)或更多其它特征、整數(shù)、步驟、操作、單元、部件或其組合的出現(xiàn)或添加?，F(xiàn)在將結(jié)合附圖描述本發(fā)明。為了僅說(shuō)明目的，并且為了不因本領(lǐng)域的技術(shù)人員已熟知的細(xì)節(jié)而使本發(fā)明晦澀難懂，各種結(jié)構(gòu)、系統(tǒng)和設(shè)備在附圖中被示意地示出。然而，包括了附圖以描述和說(shuō)明本發(fā)明的說(shuō)明性示例。此處使用的術(shù)語(yǔ)和短語(yǔ)應(yīng)當(dāng)被理解和解釋為具有與相關(guān)領(lǐng)域的技術(shù)人員對(duì)那些術(shù)語(yǔ)和短語(yǔ)的理解一致的意義。就術(shù)語(yǔ)或短語(yǔ)旨在具有特殊意義即除本領(lǐng)域的技術(shù)人員理解的之外的意義來(lái)說(shuō)，所述特殊定義將在說(shuō)明書(shū)中明確闡述，所述說(shuō)明書(shū)直接并明確地提供對(duì)該術(shù)語(yǔ)或短語(yǔ)的該特殊定義。本發(fā)明的實(shí)施例提供一種基于壓縮抽樣的任意分辨率視頻編碼方法。例如，使用壓縮度量對(duì)視頻數(shù)據(jù)進(jìn)行編碼。所述壓縮度量是對(duì)例如高清電視(HDTV)的高分辨率視頻數(shù)據(jù)進(jìn)行。在有線或無(wú)線的網(wǎng)絡(luò)中發(fā)送來(lái)自高分辨率視頻數(shù)據(jù)的度量。當(dāng)被目的設(shè)備接收時(shí)，度量可以用于以與原始視頻數(shù)據(jù)相同的分辨率重構(gòu)視頻數(shù)據(jù)，以及，度量的任意子集可以用于以伴隨較低復(fù)雜度的較低分辨率重構(gòu)視頻數(shù)據(jù)。例如，良好信道中的目的設(shè)備可以正確接收用于重構(gòu)原始分辨率的視頻數(shù)據(jù)的足夠數(shù)量的度量。然而，惡劣信道中的目的設(shè)備可以?xún)H正確接收比以高分辨率重構(gòu)可接受視頻所需的少的度量的子集，但目的設(shè)備可以仍然使用已正確接收的度量來(lái)重構(gòu)具有較低分辨率的可接受視頻。例如，所接收度量的數(shù)量可以對(duì)以可接受的質(zhì)量重構(gòu)原始分辨率的視頻數(shù)據(jù)來(lái)說(shuō)太少。同樣，任意分辨率重構(gòu)的能力使本發(fā)明的實(shí)施例適于全部信道中的傳輸。此外，盡管本公開(kāi)將顯示器分辨率作為降低的顯示器分辨率來(lái)討論，但本發(fā)明的實(shí)施例還覆蓋這樣的情形，其中，被重構(gòu)的顯示器分辨率高于原始顯示器分辨率。此外，任意分辨率重構(gòu)的能力使本發(fā)明的實(shí)施例適于以不同復(fù)雜度和不同顯示器分辨率進(jìn)行解碼。使用本發(fā)明的視頻編碼隨信道容量、解碼復(fù)雜度和顯示器分辨率可伸縮。由本發(fā)明提供的可伸縮性不像當(dāng)前技術(shù)的其它方法那樣需要比特率或帶寬上的任何開(kāi)銷(xiāo)。本公開(kāi)的第一部分描述使用壓縮度量對(duì)視頻數(shù)據(jù)進(jìn)行編碼，以及然后發(fā)送代表原始視頻數(shù)據(jù)的一組度量。本公開(kāi)的第二部分描述對(duì)已編碼的視頻數(shù)據(jù)進(jìn)行解碼，其經(jīng)由根據(jù)降低的顯示器分辨率重構(gòu)視頻數(shù)據(jù)，所述降低的顯示器分辨率已根據(jù)目標(biāo)設(shè)備的視頻顯示器的需求和/或一些已正確接收的度量而被確定。圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的通信網(wǎng)絡(luò)。該通信網(wǎng)絡(luò)包括:至少一個(gè)用于獲取、對(duì)視頻數(shù)據(jù)進(jìn)行編碼和/或發(fā)送的源設(shè)備101，支持視頻傳輸應(yīng)用的網(wǎng)絡(luò)102，以及至少一個(gè)用于接收、對(duì)接收的視頻數(shù)據(jù)進(jìn)行解碼和/或顯示的目的設(shè)備103。網(wǎng)絡(luò)102可以是任意已知的傳輸，無(wú)線或有線網(wǎng)絡(luò)。例如，網(wǎng)絡(luò)102可以是無(wú)線網(wǎng)絡(luò)，其包括無(wú)線電網(wǎng)絡(luò)控制器(RNC)、基站(BS)或任何其它對(duì)于視頻數(shù)據(jù)在網(wǎng)絡(luò)102上從一個(gè)設(shè)備向另一設(shè)備的傳輸必要的部件。網(wǎng)絡(luò)102的視頻傳輸應(yīng)用部分可以包括例如數(shù)字視頻廣播——手持(DVB-Η)、數(shù)字視頻廣播——衛(wèi)星服務(wù)到手持(DVB-SH)、長(zhǎng)期演進(jìn)(LTE)或演進(jìn)的多媒體廣播和組播服務(wù)(eMBMS )。一個(gè)設(shè)備可以經(jīng)由專(zhuān)用或共享通信信道向另一設(shè)備發(fā)送視頻信息。源設(shè)備101可以是任意類(lèi)型的能夠獲取視頻數(shù)據(jù)并對(duì)視頻數(shù)據(jù)進(jìn)行編碼以便經(jīng)由網(wǎng)絡(luò)102進(jìn)行傳輸?shù)脑O(shè)備，例如個(gè)人計(jì)算機(jī)系統(tǒng)、相機(jī)系統(tǒng)、移動(dòng)視頻電話、智能電話或任意類(lèi)型的可以連接到網(wǎng)絡(luò)102的計(jì)算設(shè)備。每個(gè)源設(shè)備101包括至少一個(gè)處理器、存儲(chǔ)器和將被處理器實(shí)現(xiàn)的應(yīng)用存儲(chǔ)指令。源設(shè)備101的獲取、編碼、發(fā)送或任何其它功能可以由至少一個(gè)處理器控制。然而，可以提供一些單獨(dú)的處理器來(lái)控制源設(shè)備101的特定類(lèi)型的功能或一些功能。用于實(shí)施下面所描述功能的控制器的實(shí)現(xiàn)是在本領(lǐng)域的技術(shù)人員的技能范圍內(nèi)的。目的設(shè)備103可以是任意類(lèi)型的能夠接收、解碼和顯示視頻數(shù)據(jù)的設(shè)備，例如個(gè)人計(jì)算機(jī)系統(tǒng)、移動(dòng)視頻電話、智能電話或任意類(lèi)型的可以從網(wǎng)絡(luò)102接收視頻信息的計(jì)算設(shè)備。目的設(shè)備103的接收、解碼和顯示或任何其它功能可以由至少一個(gè)處理器控制。然而，可以提供一些單獨(dú)的處理器來(lái)控制目的設(shè)備103的特定類(lèi)型的功能或一些功能。用于實(shí)施下面所描述功能的控制器的實(shí)現(xiàn)是在本領(lǐng)域的技術(shù)人員的技能范圍內(nèi)的。圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的源設(shè)備101和目的設(shè)備103的部件。例如，源設(shè)備101包括獲取部分201、視頻編碼器202和信道編碼器203。另外，源設(shè)備101可以包括本領(lǐng)域的技術(shù)人員熟知的其它部件。參考圖2，獲取部分201從包括在源設(shè)備101中或連接到源設(shè)備101的視頻相機(jī)部件獲取視頻數(shù)據(jù)。同樣，源設(shè)備101可以從諸如光盤(pán)和/或任意類(lèi)型的存儲(chǔ)器存儲(chǔ)單元的任意類(lèi)型計(jì)算機(jī)可讀介質(zhì)中獲取視頻數(shù)據(jù)。視頻數(shù)據(jù)的獲取可以根據(jù)任何眾所周知的方法來(lái)完成。根據(jù)本發(fā)明的實(shí)施例，視頻編碼器202使用壓縮度量對(duì)獲取的視頻數(shù)據(jù)進(jìn)行編碼以生成一組度量，該組度量代表已編碼的視頻數(shù)據(jù)。例如，視頻編碼器202可以以其原始形式或諸如視頻立方體、管或任意類(lèi)型視頻結(jié)構(gòu)的已修改臨時(shí)結(jié)構(gòu)對(duì)原始視頻數(shù)據(jù)應(yīng)用一組度量基，以便生成將被存儲(chǔ)到諸如光盤(pán)或存儲(chǔ)單元的計(jì)算機(jī)可讀介質(zhì)中或?qū)⒈话l(fā)送到目的設(shè)備103的一組度量。參考本發(fā)明的圖3進(jìn)一步闡述了視頻編碼器202。通過(guò)使用該組度量，信道編碼器203對(duì)度量進(jìn)行編碼以便在通信信道上進(jìn)行發(fā)送。例如，度量被量化為整數(shù)。已量化的度量被打包進(jìn)傳輸分組。額外的奇偶位被添加到分組以便于錯(cuò)誤檢測(cè)和/或錯(cuò)誤糾正。本領(lǐng)域中眾所周知，由此進(jìn)行了編碼的度量可以在網(wǎng)絡(luò)102中被發(fā)送。接下來(lái)，源設(shè)備101可以經(jīng)由網(wǎng)絡(luò)102的通信信道將已編碼的視頻數(shù)據(jù)發(fā)送到目的設(shè)備。目的設(shè)備103包括信道解碼器204、視頻解碼器205和視頻顯示器206。目的設(shè)備103可以包括本領(lǐng)域的技術(shù)人員熟知的其它部件。信道解碼器204對(duì)接收自通信信道的數(shù)據(jù)進(jìn)行解碼。例如，通過(guò)使用數(shù)據(jù)的奇偶位對(duì)來(lái)自通信信道的數(shù)據(jù)進(jìn)行處理以便檢測(cè)和/或糾正來(lái)自傳輸?shù)腻e(cuò)誤。已正確接收的分組被去分組化，以便產(chǎn)生在視頻編碼器202中產(chǎn)生的已量化度量。本領(lǐng)域中眾所周知，可以以這樣的方式對(duì)數(shù)據(jù)進(jìn)行分組和編碼，使得在信道解碼器204處接收的分組可以被解碼，并且在解碼之后，可以對(duì)分組進(jìn)行糾錯(cuò)使沒(méi)有傳輸錯(cuò)誤，或者可以發(fā)現(xiàn)分組包含不能被糾正的傳輸錯(cuò)誤，在此情況下，認(rèn)為分組被丟失。換句話說(shuō)，信道解碼器204能夠?qū)邮盏姆纸M進(jìn)行處理以嘗試糾正分組中的錯(cuò)誤，以及確定所處理分組中是否有錯(cuò)誤，并且僅將來(lái)自無(wú)錯(cuò)誤分組的正確度量轉(zhuǎn)發(fā)給視頻解碼器205。視頻解碼器205根據(jù)目的設(shè)備103的顯示器需求和/或一些已正確接收的度量確定顯示器分辨率。例如，目的設(shè)備103可以具有小型顯示器屏幕，并且因此，其僅需要視頻以降低的顯示器分辨率被重構(gòu)，即使足以以可接受質(zhì)量以較高分辨率重構(gòu)視頻的度量已被接收。另外，視頻解碼器205可以位于惡劣的接收區(qū)域中。因此，視頻解碼器205可以接收到所發(fā)送度量的僅一個(gè)子集，該子集不足以以其原始顯示器分辨率重構(gòu)視頻數(shù)據(jù)。同樣，視頻解碼器205確定根據(jù)一些已正確接收的度量確定降低的顯示器分辨率。參考圖4-8進(jìn)一步闡述了解碼過(guò)程。視頻顯示器206可以是具有特定尺寸的視頻顯示器屏幕。視頻顯示器206可以被包括在目的設(shè)備103中，或者可以連接到(無(wú)線、有線地)目的設(shè)備103。目的設(shè)備103根據(jù)已確定的顯示器分辨率尺寸將已解碼的視頻數(shù)據(jù)顯示在目的設(shè)備103的視頻顯示器206上。圖3示出了由根據(jù)本發(fā) 明的一個(gè)實(shí)施例的視頻編碼器202進(jìn)行的、使用壓縮度量對(duì)已獲取的視頻數(shù)據(jù)進(jìn)行編碼的方法。原始視頻數(shù)據(jù)包括一些連續(xù)的巾貞301-1到301-r,其中，r可以是任意整數(shù)。視頻數(shù)據(jù)的每個(gè)幀301具有尺寸PxQ，其中P和Q是每個(gè)幀中水平和豎直像素的數(shù)量。同樣，視頻編碼器202可以將原始視頻幀301轉(zhuǎn)換為與視頻幀301的結(jié)構(gòu)不同的結(jié)構(gòu)。例如，視頻編碼器202可以將原始視頻幀301形成為不同的時(shí)間結(jié)構(gòu)。例如，該時(shí)間結(jié)構(gòu)可以包括從一些連續(xù)幀中的每個(gè)幀提取的視頻數(shù)據(jù)的子塊。該時(shí)間結(jié)構(gòu)可以是如下面進(jìn)一步闡述的視頻立方體或視頻管中的一個(gè)。在視頻立方體的情況下，視頻編碼器202從一些連續(xù)幀301-1到301_r中的每個(gè)視頻幀301的視頻數(shù)據(jù)提取2D非重疊塊。2D非重疊塊代表每個(gè)視頻幀的子區(qū)域。用于每個(gè)幀301的每個(gè)塊可以具有相同數(shù)量的像素，該塊可以從連續(xù)幀301的每個(gè)中的相同位置處提取。視頻編碼器202通過(guò)將每個(gè)已提取的塊入棧以形成三維(3-D)視頻結(jié)構(gòu)來(lái)形成視頻立方體。逐立方體地對(duì)包括已接收視頻數(shù)據(jù)的全部視頻立方體實(shí)施編碼。在視頻管的情況下，視頻編碼器202從圖片組(GOP)中的至少一個(gè)視頻幀301提取非重疊的2D塊。例如，視頻管包括從視頻幀301提取的非重疊2D塊，其可以遵循GOP中特定物體的運(yùn)動(dòng)軌跡。該物體可以是視頻圖像中的有意義物體，例如當(dāng)人移動(dòng)通過(guò)GOP的視頻幀301時(shí)的圖像。每個(gè)視頻管可以包括具有不同形狀和尺寸的已提取塊，并且可以在其各自的幀中具有不同的位置。同樣，不同視頻管可以包括不同數(shù)量的幀。視頻編碼器202經(jīng)由將每個(gè)已提取塊入站已形成3D視頻結(jié)構(gòu)來(lái)形成視頻管。逐管地對(duì)包括已接收視頻數(shù)據(jù)的全部視頻管實(shí)施編碼。視頻編碼器202對(duì)視頻數(shù)據(jù)的時(shí)間結(jié)構(gòu)應(yīng)用一組度量基。例如，視頻編碼器202對(duì)視頻幀301 (例如其原始結(jié)構(gòu)中的幀)應(yīng)用一組度量基501-1到501-N，以便獲得一組度量^到卩^變量N可以是任意大于或等于I的整數(shù)。y的每個(gè)值代表壓縮度量。被應(yīng)用于視頻幀301的一定數(shù)量的度量基N對(duì)應(yīng)于一定數(shù)量的度量N?，F(xiàn)在闡述對(duì)壓縮度量如何被計(jì)算的描述。
首先，視頻編碼器202掃描視頻幀301的像素以獲得向量x e 9Γ，該向量是包括視頻數(shù)據(jù)的視頻巾貞301的1-D表示,其中,m = pXqXr是向量x的長(zhǎng)度。向量x包括視頻中貞301的像素值，被排列為[X1X2…X1J15如圖3中所示，1-D表示向量X可以被度量矩陣A乘，以便獲得該組度量71到71<。度量矩陣A包括像素值的已指派模式。度量矩陣A的每一列代表單獨(dú)的度量基。例如，度量矩陣A由一組度量基501-1到501-N圖形化地表示。度量矩陣A可以與一組度量501-1到501-N互換使用。向量X的長(zhǎng)度為m，其也是視頻幀301中像素的數(shù)量。度量矩陣A的值可以使用隨機(jī)排列的沃爾什阿達(dá)瑪?shù)戮仃噥?lái)構(gòu)造。然而，本發(fā)明的實(shí)施例包含任意類(lèi)型的矩陣用作度量矩陣A。同樣，向量X的N個(gè)壓縮度量是由y=Ax定義的向量J e 9T。度量矩陣A具有維度Nxm，其中，N是度量的數(shù)量，以及m是向量x的長(zhǎng)度，即，m是視頻幀301中像素的數(shù)量。此外，度量矩陣A可以使用克羅內(nèi)克積來(lái)構(gòu)造，如下面進(jìn)一步闡述的。視頻編碼器202將一組度量yi到y(tǒng)N輸出到信道編碼器203。信道編碼器203以之前描述的方式對(duì)該組度量Y1到71<進(jìn)行編碼以便傳輸?shù)侥康脑O(shè)備103。接下來(lái)，源設(shè)備101經(jīng)由網(wǎng)絡(luò)102的通信信道將該組度量71到71<發(fā)送到目的設(shè)備103。目的設(shè)備101的信道解碼器204以上面描述的方式對(duì)傳輸進(jìn)行解碼，并將已正確接收的度量轉(zhuǎn)發(fā)到視頻解碼器205。視頻解碼器205根據(jù)目的設(shè)備的顯示器區(qū)域的類(lèi)型和/或已正確接收的度量的數(shù)量來(lái)確定視頻顯示器分辨率。視頻解碼器205以所確定的顯示器分辨率重構(gòu)視頻數(shù)據(jù)。圖4示出了由根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻解碼器進(jìn)行的重構(gòu)過(guò)程。視頻解碼器205接收一組度量yi到y(tǒng)N中的至少一個(gè)已正確接收的度量。視頻解碼器205確定用于重構(gòu)視頻數(shù)據(jù)的顯示器分辨率。下面進(jìn)一步描述該特征。視頻解碼器205根據(jù)解碼過(guò)程501計(jì)算用于所確定顯示器分辨率中被重構(gòu)視頻數(shù)據(jù)的像素值[I^ivup],其中，解碼過(guò)程501使用擴(kuò)展矩陣E。擴(kuò)展矩陣包括值的模式。例如，擴(kuò)展矩陣被構(gòu)造為MxP，其中，M是原始視頻數(shù)據(jù)中像素的數(shù)量，并且P是被重構(gòu)視頻數(shù)據(jù)中像素的數(shù)量。P可以小于或等于M。如下面進(jìn)一步描述的，視頻解碼器205然后基于至少擴(kuò)展矩陣E重構(gòu)視頻幀401，使得，如果已確定的顯示器分辨率與原始顯示器分辨率不同，則將原始顯示器分辨率的大小調(diào)整為已確定的顯示器分辨率。
圖5示出了由根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻解碼器進(jìn)行的、用于對(duì)所接收的度量進(jìn)行解碼的方法。在S601中，視頻解碼器205根據(jù)視頻顯示器206的類(lèi)型和/或已正確接收的度量的數(shù)量來(lái)確定用于重構(gòu)已編碼視頻數(shù)據(jù)的視頻顯示器分辨率。例如，視頻解碼器205可以確定視頻顯示器206的尺寸，并且然后降低原始視頻顯示器分辨率以適合視頻顯示器206的尺寸。另外，視頻解碼器205可以根據(jù)已正確接收的度量的數(shù)量來(lái)確定顯示器分辨率。例如，降低的顯示器分辨率中的至少一個(gè)可以根據(jù)N彡c.k.1g(M)來(lái)確定，其中，N是可用度量的數(shù)量，c是固定常數(shù)，k是稀疏變量，以及M是原始視頻數(shù)據(jù)中的像素?cái)?shù)量。例如，固定常數(shù)c和稀疏變量k可以是由設(shè)計(jì)者選取的任意類(lèi)型的值。本發(fā)明的實(shí)施例可以使用上面標(biāo)識(shí)的方程來(lái)確定降低的顯示器分辨率。然而，本發(fā)明的實(shí)施例還包含任何類(lèi)型的用于確定降低的顯示器分辨率的方法。圖6示出了這樣的圖，其示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的、根據(jù)不同類(lèi)型分辨率的已重構(gòu)視頻。例如，視頻解碼器205可以根據(jù)已確定的顯示器分辨率401-1或402-2(例如第一或第二顯示器分辨率)重構(gòu)視頻數(shù)據(jù)，其中，已確定的顯示器分辨率401-1或402-2不同于原始顯示器分辨率401-3。例如，圖4中所示的N個(gè)壓縮度量包括在視頻編碼器202處生成的總數(shù)量的度量。然而，取決于信道的質(zhì)量，視頻解碼器205可以接收N個(gè)壓縮度量的基本全部或N個(gè)壓縮度量的僅子集(例如子集I和子集2)。如果視頻解碼器205接收到N個(gè)壓縮度量的子集，則目的設(shè)備103不可以能夠根據(jù)其原始分辨率顯示視頻數(shù)據(jù)。同樣，如果已正確接收的度量的數(shù)量少于度量N的集合，則視頻解碼器205可以根據(jù)第一降低的顯示器分辨率401-1或第二降低的顯示器分辨率401-2重構(gòu)視頻數(shù)據(jù)。還有，本發(fā)明的實(shí)施例包含任意數(shù)量和類(lèi)型的顯示器分辨率?；仡^參考圖5，在S602中，視頻解碼器205確定將在步驟S603的優(yōu)化過(guò)程中使用的擴(kuò)展矩陣E。擴(kuò)展矩陣E是基于用于已確定的顯示器分辨率的至少一些像素。例如，如上面指出的，擴(kuò)展矩陣E是MxMy其中，M是原始視頻數(shù)據(jù)中的像素?cái)?shù)量，以及Ml是具有已確定的顯示器分辨率的所重構(gòu)視頻數(shù)據(jù)中的像素?cái)?shù)量。擴(kuò)展矩陣包括值的模式，其可以通過(guò)使用任何已知的調(diào)整大小的方法來(lái)確定。例如，在一個(gè)示例中，擴(kuò)展矩陣E的值的模式從代表低通濾波器的降低矩陣R中計(jì)算出。R可以矩陣MxMy代表低通濾波和向下抽樣的過(guò)程，例如經(jīng)由取像素平均或使用多相濾波。降低矩陣R可以還經(jīng)由使用僅低頻部件從原始視頻幀的二維(2D)空間離散余弦變換(DCT)或小波變換來(lái)構(gòu)造。降低矩陣R可以具有滿(mǎn)秩，并且因此，擴(kuò)展矩陣E可以從降低矩陣R的一側(cè)逆中獲得，如E = Rt (RRt)
擴(kuò)展矩陣E可以還經(jīng)由使用DCT變換來(lái)明確構(gòu)造。使Tm是代表尺寸N的DCT變換的MxM矩陣，以及，是經(jīng)由插入M-M^行零從單位矩陣獲得的矩陣MxMp然后，擴(kuò)展矩陣由以下給出E = TIiImxmTml還有，擴(kuò)展矩陣E可以從類(lèi)似于上面討論的擴(kuò)展矩陣的小波變換來(lái)構(gòu)造。在S603中，如下面進(jìn)一步闡述的，視頻解碼器205根據(jù)最小化方程計(jì)算用于降低的顯示器分辨率的像素值[U1, tv..uMJ，所述最小化方程使用已確定的擴(kuò)展矩陣和已接收的度量。例如，視頻解碼器205解出以下最小化方程中的一個(gè)，其經(jīng)由時(shí)域中一維(ID)DCT系數(shù)的二維(2D)總偏差(例如TV函數(shù))的最小化來(lái)實(shí)施。方程1: mhi TV1 (DCT;(、")),受約束于 y = AEu，或方程2 ^inTV^DCT.0O)+^!^-^
Λ*L在所述兩個(gè)方程中，y是用于度量集合yl到y(tǒng)N的可用度量，以及，A是度量矩陣，即，501-1，501-N，u是向量[U1IVUmJ,其是用于所重構(gòu)的視頻幀的像素值，E是如前面所描述的擴(kuò)展矩陣E。解碼器205獲取在編碼器202處被應(yīng)用于視頻數(shù)據(jù)的度量矩陣A。例如，度量矩陣A可以基于從源設(shè)備101發(fā)送的信息來(lái)獲取，或者可能從存儲(chǔ)度量矩陣A的存儲(chǔ)單元來(lái)獲取。變量μ是懲罰參數(shù)。懲罰參數(shù)的值是設(shè)計(jì)選擇。DCTt(X)是時(shí)域中的1-DDCT變換，以及，TV2 (ζ)是2D總偏差函數(shù)，其中，ζ代表1-D DCT函數(shù)的結(jié)果。解碼器205使用方程I或方程2解出X的值。方程2是方程I的可替換方式。然而，視頻解碼器205可以根據(jù)眾所周知的方式實(shí)現(xiàn)方程I或方程2。例如，例如可替換方向增強(qiáng)拉格朗日方法的合適求解器可以被用于實(shí)現(xiàn)上面標(biāo)識(shí)的最小化方程。拉格朗日方法提供用于找到受約束的函數(shù)的最大值和最小值的策略。因此，視頻解碼器205根據(jù)上面描述的最小化方程中的一個(gè)計(jì)算用于降低的顯示器分辨率的像素值，其使用已確定的擴(kuò)展矩陣Ε、已接收的度量和度量矩陣Α。例如，視頻解碼器205根據(jù)候選視頻數(shù)據(jù)的離散余弦變換(DCT)系數(shù)的總偏差(TV)重構(gòu)視頻數(shù)據(jù)。候選視頻數(shù)據(jù)是基于度量矩陣Α、擴(kuò)展矩陣E和已接收度量。例如，在y=AEx中，已接收度量y和度量矩陣A已知。擴(kuò)展矩陣E之前已被確定。方程I和方程2的創(chuàng)建在下面進(jìn)一步描述。例如，最小化問(wèn)題的特征可以還被描述為:方程1:η_φ(〃)受約束于y = AEu，或方程 2:
權(quán)利要求
1.一種由視頻解碼器(205)用于對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括: 由所述視頻解碼器(205)接收在編碼器(202)處生成的一組度量中的至少一個(gè)度量，所述一組度量代表已編碼的視頻數(shù)據(jù)； 由所述視頻解碼器(205)確定顯示器分辨率(S601)，所述顯示器分辨率與原始顯示器分辨率相同或不同； 由所述視頻解碼器(205)基于已確定的顯示器分辨率的至少一些像素確定擴(kuò)展矩陣(S602)，所述擴(kuò)展矩陣包括值的模式；以及 由所述視頻解碼器(205)使用確定的擴(kuò)展矩陣重構(gòu)所述視頻數(shù)據(jù)，使得，如果確定的顯示器分辨率不同于原始顯示器分辨率，則將原始顯示器分辨率的大小調(diào)整為確定的顯示器分辨率(S603)。
2.根據(jù)權(quán)利要求1的方法，其中，所述確定顯示器分辨率步驟根據(jù)視頻顯示器屏幕的需求確定所述顯示器分辨率。
3.根據(jù)權(quán)利要求1的方法，其中，所述確定顯示器分辨率步驟根據(jù)一些確定的度量來(lái)確定所述顯示器分辨率。
4.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括: 由所述解碼器(205 )獲取在編碼器處被應(yīng)用于所述視頻數(shù)據(jù)的度量矩陣，所述度量矩陣包括像素值的已指派模式； 由所述視頻解碼器(205)根據(jù)候選視頻數(shù)據(jù)的離散余弦變換(DCT)系數(shù)的總偏差(TV)計(jì)算所述確定的顯示器分辨率的像素值，所述候選視頻數(shù)據(jù)基于所述度量矩陣、所述擴(kuò)展矩陣和接收的度量。
5.根據(jù)權(quán)利要求4的方法，其中，所述計(jì)算步驟進(jìn)一步包括: 由所述解碼器(205)確定所述候選視頻數(shù)據(jù)的時(shí)間方向上的DCT系數(shù)； 由所述解碼器(205)逐幀地確定所述DCT系數(shù)的TV，其中，所述計(jì)算步驟根據(jù)所述DCT系數(shù)的TV的最小化計(jì)算一組值。
6.一種用于對(duì)視頻數(shù)據(jù)進(jìn)行解碼的設(shè)備，所述設(shè)備包括: 解碼器(205)，被配置為，接收在編碼器(202)處生成的一組度量中的至少一個(gè)度量，所述一組度量代表已編碼的視頻數(shù)據(jù)， 所述解碼器(205)被配置為確定顯示器分辨率(S601)，所述顯示器分辨率與原始顯示器分辨率相同或不同， 所述解碼器(205)被配置為，基于確定的顯示器分辨率的至少一些像素確定擴(kuò)展矩陣(S602)，所述擴(kuò)展矩陣包括值的模式， 所述解碼器(205)被配置為，使用確定的擴(kuò)展矩陣重構(gòu)所述視頻數(shù)據(jù)，使得，如果所述確定的顯示器分辨率不同于原始顯示器分辨率，則將原始顯示器分辨率的大小調(diào)整為確定的顯示器分辨率(S603)。
7.根據(jù)權(quán)利要求6的設(shè)備，其中，所述解碼器(205)根據(jù)視頻顯示器屏幕的需求確定所述顯示器分辨率。
8.根據(jù)權(quán)利要求6的設(shè)備，其中，所述解碼器(205)根據(jù)一些接收的度量確定所述顯示器分辨率。
9.根據(jù)權(quán)利要求6的設(shè)備，進(jìn)一步包括:所述解碼器(205 )被配置為，獲取在編碼器處被應(yīng)用于所述視頻數(shù)據(jù)的度量矩陣，所述度量矩陣包括像素值的已指派模式， 所述解碼器(205)被配置為，根據(jù)候選視頻數(shù)據(jù)的離散余弦變換(DCT)系數(shù)的總偏差(TV)計(jì)算所述確定的顯示器分辨率的像素值，所述候選視頻數(shù)據(jù)基于所述度量矩陣、所述擴(kuò)展矩陣和接收的度量。
10.根據(jù)權(quán)利要求9的設(shè)備，進(jìn)一步包括: 所述解碼器(205)被配置為，確定所述候選視頻數(shù)據(jù)的時(shí)間方向上的DCT系數(shù)， 所述解碼器(205)被配置為，逐幀地確定所述DCT系數(shù)的TV，其中，所述解碼器根據(jù)所述DCT系數(shù)的TV的最小化計(jì)算 一組值。
全文摘要
本發(fā)明涉及使用壓縮度量的用于任意分辨率視頻的方法和設(shè)備。所述方法包括，接收在編碼器(202)處生成的一組度量中的至少一個(gè)度量。所述一組度量代表已編碼的視頻數(shù)據(jù)。所述方法進(jìn)一步包括確定顯示器分辨率，其中，所述顯示器分辨率與原始顯示器分辨率相同或不同。所述方法進(jìn)一步包括基于確定的顯示器分辨率的至少一些像素確定擴(kuò)展矩陣；以及，使用確定的擴(kuò)展矩陣重構(gòu)視頻數(shù)據(jù)，使得，如果所述確定的顯示器分辨率不同于所述原始顯示器分辨率，則將所述原始顯示器分辨率的大小調(diào)整為所述確定的顯示器分辨率。所述擴(kuò)展矩陣包括值的模式。
文檔編號(hào)H04N7/26GK103168468SQ201180047658
公開(kāi)日2013年6月19日 申請(qǐng)日期2011年10月13日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者H·蔣, C·李, P·威爾福特 申請(qǐng)人:阿爾卡特朗訊公司