用于對多視點視頻進行統(tǒng)一可分級視頻編碼的方法和設(shè)備以及對多視點視頻進行統(tǒng)一可 ...的制作方法
【專利摘要】本發(fā)明提供用于多視點視頻的可分級視頻編碼和解碼的方法以及用于實現(xiàn)所述方法的可分級視頻編碼和解碼的設(shè)備。將視頻的圖像序列的至少一個根圖像和其它剩余圖像分類為多個層?；诳煞旨夘A測編碼的參考圖像轉(zhuǎn)換技術(shù)，通過使用當前圖像的母圖像來產(chǎn)生與圖像序列的當前圖像相關(guān)的至少一個參考圖像?？赏ㄟ^使用所述至少一個參考圖像針對當前圖像執(zhí)行預測編碼。
【專利說明】用于對多視點視頻進行統(tǒng)一可分級視頻編碼的方法和設(shè)備
以及對多視點視頻進行統(tǒng)一可分級視頻解碼的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本公開涉及用于對多視點視頻進行可分級(scalable)視頻編碼和解碼的方法，以及實現(xiàn)相應(yīng)方法的用于可分級視頻編碼和解碼的設(shè)備。
【背景技術(shù)】
[0002]用于視頻內(nèi)容的應(yīng)用的通信技術(shù)(諸如，端到端(P2P)、近場通信(NFC)等)，已結(jié)合使用3D視頻內(nèi)容的三維(3D)多媒體領(lǐng)域的活躍而被推廣。
[0003]為了具有各種分辨率的3D多媒體裝置共享3D視頻內(nèi)容，需要傳輸各種格式的3D視頻內(nèi)容。然而，作為3D視頻傳輸?shù)漠斍巴ㄐ艠藴实亩嘁朁c視頻編碼(MVC)標準目前僅支持一個立體視頻流，因此，基于MVC標準的3D視頻服務(wù)無法提供支持各種格式的3D視頻服務(wù)的結(jié)構(gòu)。

【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]提供能夠在對構(gòu)成多視點視頻的各種格式的視頻進行分層編碼的同時實現(xiàn)幀內(nèi)層編碼和幀間層編碼的有效的統(tǒng) 一可分級編碼的方法和設(shè)備，以及用于可分級解碼的方法和設(shè)備。
[0006]技術(shù)方案
[0007]根據(jù)一個或多個示例性實施例的一方面，一種用于可分級視頻編碼的方法包括:將視頻的圖像序列的至少一個根圖像和其它剩余圖像分類為多個層；通過應(yīng)用可分級預測編碼的參考圖像轉(zhuǎn)換技術(shù)來針對圖像序列的當前圖像產(chǎn)生至少一個參考圖像，其中，可分級預測編碼包括對當前圖像的母圖像進行幀內(nèi)層預測和幀間層預測；通過使用至少一個參考圖像針對當前圖像執(zhí)行預測編碼。
[0008]有益效果
[0009]根據(jù)示例性實施例的可分級視頻編碼和解碼可分別將多視點視頻以及2D視頻和3D視頻編碼和解碼為每個視點的單獨層。即使雖然視頻可具有相同視點，但是根據(jù)示例性實施例的可分級視頻編碼和解碼也可分別將不同分辨率的視頻編碼和解碼為單獨層。另外，根據(jù)示例性實施例的可分級視頻編碼和解碼可支持不同層的幀間層預測以及相同層的幀內(nèi)層預測，因此有效地減少傳輸比特率。
【專利附圖】

【附圖說明】
[0010]圖1是根據(jù)示例性實施例的可分級視頻編碼的設(shè)備的示意性框圖。
[0011]圖2是根據(jù)示例性實施例的可分級視頻解碼的設(shè)備的示意性框圖。
[0012]圖3示出根據(jù)一個或多個示例性實施例的用在可分級視頻編碼和解碼中的示例性幀間層預測結(jié)構(gòu)。[0013]圖4示出根據(jù)示例性實施例的視頻的圖像序列的示例性圖像矩陣。
[0014]圖5示出根據(jù)示例性實施例的根據(jù)與圖像序列相關(guān)的參考關(guān)系的示例性樹結(jié)構(gòu)。
[0015]圖6示出根據(jù)示例性實施例的用于針對圖像序列執(zhí)行幀間層預測的參考圖像轉(zhuǎn)換技術(shù)。
[0016]圖7示出根據(jù)示例性實施例的參考圖像列表的示例性配置。
[0017]圖8示出根據(jù)示例性實施例的配置用于結(jié)合可分級視頻編碼的設(shè)備而使用的立體視頻的層結(jié)構(gòu)。
[0018]圖9示出根據(jù)示例性實施例的配置用于結(jié)合可分級視頻編碼的設(shè)備而使用的多視點視頻的層結(jié)構(gòu)。
[0019]圖10示出根據(jù)示例性實施例的由可分級視頻編碼和解碼的設(shè)備的多視點視頻編碼(MVC)方案和MPEG幀兼容(MFC)方案的合并。
[0020]圖11是示出根據(jù)示例性實施例的通過使用可分級視頻編碼的設(shè)備執(zhí)行的處理的流程圖。
[0021]圖12是示出根據(jù)示例性實施例的通過使用可分級視頻解碼的設(shè)備執(zhí)行的處理的流程圖。
【具體實施方式】
[0022]最佳模式
[0023]提供能夠?qū)崿F(xiàn)幀內(nèi)層編碼和幀間層編碼的有效的統(tǒng)一的可分級視頻編碼，同時對構(gòu)成多視點視頻的各種格式的視頻進行分層地編碼的方法和設(shè)備，以及可分級解碼的方法和設(shè)備。
[0024]附加方面的一部分將在下面的描述中被闡明，并且一部分從描述中是清楚的或通過這里公開的示例性實施例的實施可被理解。
[0025]根據(jù)一個或多個示例性實施例的一方面，一種可分級視頻編碼的方法包括:將視頻的圖像序列的至少一個根圖像和其它剩余圖像分類為多個層；通過對當前圖像的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測編碼的參考圖像轉(zhuǎn)換技術(shù)來產(chǎn)生關(guān)于圖像序列的當前圖像的至少一個參考圖像；通過使用所述至少一個參考圖像針對當前圖像執(zhí)行預測編碼。
[0026]用于視頻層編碼的方法可還包括:基于根據(jù)與圖像序列相關(guān)的參考關(guān)系的樹結(jié)構(gòu)對指示圖像序列的每個圖像參考的各個母圖像的母圖像索引信息進行編碼。
[0027]根據(jù)一個或多個示例性實施例的另一方面，一種可分級視頻解碼的方法包括:從視頻的比特流提取數(shù)據(jù)，在所述視頻中，視頻的圖像序列的至少一個根圖像和其它剩余圖像的數(shù)據(jù)被分類為多個層并被編碼；通過對圖像序列的恢復圖像之中的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測解碼的參考圖像轉(zhuǎn)換技術(shù)，將所述母圖像轉(zhuǎn)換為關(guān)于當前圖像的至少一個參考圖像；通過使用所述至少一個參考圖像針對當前圖像執(zhí)行預測解碼。
[0028]在可分級視頻解碼的方法中，可從比特流提取母圖像索引信息，其中，所述母圖像索引信息指示圖像序列的圖像中的每各一個參考的相應(yīng)母圖像。
[0029]根據(jù)一個或多個示例性實施例的另一方面，一種可分級視頻編碼的設(shè)備包括:層分類單元，將視頻的圖像序列的至少一個根圖像和其它剩余圖像分類為多個層；參考圖像產(chǎn)生單元，通過對當前圖像的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測編碼的參考圖像轉(zhuǎn)換技術(shù)，來產(chǎn)生關(guān)于圖像序列的當前圖像的至少一個參考圖像；預測編碼單元，通過使用所述至少一個參考圖像，針對當前圖像執(zhí)行預測編碼；輸出單元，對與編碼的當前圖像相關(guān)的數(shù)據(jù)執(zhí)行變換、量化和熵編碼，輸出編碼比特流和指示當前圖像的母圖像的母圖像索引信息。
[0030]根據(jù)一個或多個示例性實施例的另一方面，一種可分級視頻解碼的設(shè)備包括:提取單元，從視頻的比特流提取數(shù)據(jù)，在所述視頻中，視頻的圖像序列的至少一個根圖像和其它剩余圖像的數(shù)據(jù)被分類為多個層并被編碼；解碼單元，對提取出的編碼數(shù)據(jù)進行解碼，并輸出與圖像序列相關(guān)的殘差信息和參考信息；參考圖像轉(zhuǎn)換單元，通過對圖像序列的恢復圖像之中的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測解碼的參考圖像轉(zhuǎn)換技術(shù)，將所述母圖像轉(zhuǎn)換為關(guān)于當前圖像的至少一個參考圖像；恢復單元，通過使用所述至少一個參考圖像以及輸出的參考信息和輸出的殘差信息針對當前圖像執(zhí)行預測解碼。
[0031]一個或多個示例性實施例包括非暫時計算機可讀記錄介質(zhì)，所述非暫時計算機可讀記錄介質(zhì)包括用于通過計算機實現(xiàn)根據(jù)一個或多個示例性實施例的可分級視頻編碼的方法的程序。一個或多個示例性實施例可包括非暫時計算機可讀記錄介質(zhì)，所述非暫時計算機可讀記錄介質(zhì)包括用于通過計算機實現(xiàn)根據(jù)一個或多個示例性實施例的可分級視頻解碼的方法的程序。
[0032]發(fā)明模式
[0033]現(xiàn)在將詳細描述示例性實施例，其示例在附圖中示出，其中，相同的標號始終表示相同的元件。在這方面，本示例性實施例可具有不同的形式，并不應(yīng)被解釋為限制本文闡述的描述。因此，下面僅通過參照附圖描述示例性實施例，以描述本說明書的各個方面。
[0034]下文中，將參照圖1到圖12詳細描述實現(xiàn)根據(jù)本發(fā)明構(gòu)思的技術(shù)特征的可分級視頻編碼的方法和設(shè)備和可分級視頻解碼的方法和設(shè)備的各種示例性實施例。
[0035]圖1是根據(jù)示例性實施例的可分級視頻編碼的設(shè)備(或可分級視頻編碼設(shè)備)的示意性框圖。
[0036]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100包括層分級單元110、參考圖像產(chǎn)生單元120、預測編碼單元130和輸出單元140。二維(2D)視頻、三維(3D)視頻、多視點視頻等的圖像序列可被用作可分級視頻編碼設(shè)備100的輸入。
[0037]根據(jù)示例性實施例的層分級單元110將視頻的圖像序列的圖像分類為多個層。針對輸入到可分級視頻編碼設(shè)備100的包括至少一個根圖像的圖像序列的圖像，層分類單元110可基于至少一個圖像特征按照層對至少一個根圖像和其它剩余圖像進行分類。例如，當輸入視頻是多視點視頻時，層分類單元110可基于視點對圖像進行分類。
[0038]另外，層分類單元110可設(shè)置用于對圖像進行分級的兩個或更多分類條件，即，層分類單元可基于兩個或更多個圖像特征對圖像進行分類。因此，例如，當輸入圖像是多視點視頻時，層分類單元110可基于視點和分辨率對輸入圖像進行分類。
[0039]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可通過使用幀內(nèi)層預測和幀間層預測中的一個或兩者執(zhí)行可分級預測編碼。根據(jù)示例性實施例的參考圖像產(chǎn)生單元120可通過應(yīng)用可伸縮預測編碼的參考圖像轉(zhuǎn)換技術(shù)來轉(zhuǎn)換圖像序列的當前圖像的母圖像，以產(chǎn)生與當前圖像相關(guān)的至少一個參考圖像。也作為與當前圖像相關(guān)的參考圖像的單個母圖像可結(jié)合參考圖像轉(zhuǎn)換技術(shù)而被用于產(chǎn)生多個參考圖像。母圖像可以是關(guān)于當前圖像的不同層的圖像，或可以是與當前圖像相同的層的不同圖像。
[0040]根據(jù)示例性實施例的參考圖像轉(zhuǎn)換技術(shù)可包括旁路技術(shù)、縮放技術(shù)、隔行逐行轉(zhuǎn)換技術(shù)、顏色轉(zhuǎn)換技術(shù)、濾波技術(shù)、扭曲技術(shù)、權(quán)重增加技術(shù)和幀間層插值技術(shù)中的至少一個。因此，參考圖像產(chǎn)生單元120可對母圖像應(yīng)用一個或多個參考圖像轉(zhuǎn)換技術(shù)，以產(chǎn)生當前圖像的一個或多個參考圖像。
[0041]根據(jù)示例性實施例的預測編碼單元130通過使用已由參考圖像產(chǎn)生單元120產(chǎn)生的至少一個參考圖像對當前圖像執(zhí)行預測編碼。
[0042]當針對當前圖像執(zhí)行預測編碼時，預測編碼單元130可預先確定是否參考母圖像的恢復圖像和參考信息中的任意一個來預測當前圖像。參考信息可包括例如根據(jù)預測的運動信息、預測模式信息、參考索引信息等中的一個或多個。因此，預測編碼單元130可參考母圖像的恢復圖像和參考信息中的一個來針對當前圖像執(zhí)行預測編碼。
[0043]針對當前圖像，參考圖像產(chǎn)生單元120可產(chǎn)生包括已通過使用參考圖像轉(zhuǎn)換技術(shù)產(chǎn)生的至少一個參考圖像的參考圖像列表。具體地，預測編碼單元130可參考存儲在參考圖像列表中的至少一個圖像來針對當前圖像執(zhí)行預測編碼。因為將被包括在參考圖像列表中的參考圖像可基于與當前圖像、相應(yīng)母圖像和選擇的參考轉(zhuǎn)換技術(shù)的當前選擇有關(guān)的改變而變化，所以可分級視頻編碼設(shè)備100可包括更新和管理參考圖像列表的參考圖像列表更新單元。
[0044]根據(jù)示例性實施例的輸出單元140可對預測編碼單元130輸出的數(shù)據(jù)執(zhí)行變換、量化和熵編碼以輸出編碼的比特流。另外，輸出單元140可基于根據(jù)與圖像序列相關(guān)的參考關(guān)系的樹結(jié)構(gòu)結(jié)合圖像序列的編碼的比特流，來輸出指示圖像序列的圖像中的每一個的相應(yīng)母圖像的母圖像索引信息。
[0045]另外，輸出單元140可對指示關(guān)于當前圖像的相應(yīng)母圖像的信息和基于根據(jù)在當前圖像和母圖像之間存在的參考預測關(guān)系的樹結(jié)構(gòu)指示是否參考母圖像的恢復圖像和參考圖像中的任意一個的信息進行編碼，并結(jié)合圖像序列的編碼的比特流輸出編碼信息。
[0046]另外，輸出單元140可對指示用于預測編碼的參考圖像轉(zhuǎn)換技術(shù)的信息進行編碼，并結(jié)合圖像序列的編碼的比特流輸出編碼信息。根據(jù)示例性實施例，已用于產(chǎn)生當前圖像的相應(yīng)參考圖像的與參考圖像轉(zhuǎn)換技術(shù)相關(guān)的信息可被編碼和發(fā)送。
[0047]根據(jù)示例性實施例，與當前圖像相關(guān)的母圖像索引信息、指示當前圖像參考母圖像的恢復圖像和參考圖像中的哪一個的信息和指示使用的參考圖像轉(zhuǎn)換技術(shù)的信息可由輸出單元140插入到傳輸比特流的報頭。
[0048]圖2是根據(jù)示例性實施例的可分級視頻解碼的設(shè)備(或可分級視頻解碼設(shè)備)的示意性框圖。
[0049]根據(jù)示例性實施例的可分級視頻解碼設(shè)備200包括接收和提取單元210、解碼單元220、參考圖像轉(zhuǎn)換單元230和恢復單元240。
[0050]根據(jù)示例性實施例的接收和提取單元210可接收視頻(包括2D視頻、3D視頻或多視點視頻)的編碼比特流。接收和提取單元210接收到的比特流可包括數(shù)據(jù)，在所述數(shù)據(jù)中，包括視頻的圖像序列的至少一個根圖像的圖像已被分類為多個層并被編碼。[0051]接收和提取單元210可解析接收到的比特流來提取已按照層對圖像進行編碼的數(shù)據(jù)。例如，接收和提取單元210可基于視點和分辨率從多視點視頻的比特流提取已按照層被編碼的比特流。
[0052]根據(jù)示例性實施例的解碼單元220可對已由接收和提取單元210從比特流提取出的圖像序列的編碼數(shù)據(jù)進行解碼，并輸出與圖像序列相關(guān)的殘差信息和參考信息。解碼單元220可對從比特流提取出的編碼數(shù)據(jù)執(zhí)行熵解碼、反量化和逆變換，以恢復與圖像相關(guān)的殘差信息和參考信息。
[0053]根據(jù)示例性實施例的參考圖像轉(zhuǎn)換單元230可將圖像序列的恢復圖像之中的母圖像轉(zhuǎn)換為針對當前圖像的至少一個參考圖像。根據(jù)示例性實施例的恢復單元240可通過使用已由參考圖像轉(zhuǎn)換單元230產(chǎn)生的至少一個參考圖像和已由解碼單元220輸出的與當前圖像相關(guān)的預測信息和殘差信息來針對當前圖像執(zhí)行預測解碼，以產(chǎn)生當前圖像的恢復圖像。
[0054]恢復單元240可針對圖像序列執(zhí)行預測解碼以產(chǎn)生視頻的恢復圖像。參考圖像轉(zhuǎn)換單元230可在已由恢復單元240恢復的先前圖像的恢復圖像之中搜索各個當前圖像中的每一個的相應(yīng)母圖像，隨后對所述母圖像應(yīng)用參考圖像轉(zhuǎn)換技術(shù)，以產(chǎn)生當前圖像的參考圖像。
[0055]根據(jù)示例性實施例的接收和提取單元210可從解析的比特流提取母圖像索引信息。在這種情況下，參考圖像轉(zhuǎn)換單元230可基于提取出的母圖像索引信息分析根據(jù)與圖像序列相關(guān)的參考關(guān)系的樹結(jié)構(gòu)，并在圖像序列的已經(jīng)恢復的恢復圖像之中搜索當前圖像可參考的母圖像。
[0056]根據(jù)示例性實施例的接收和提取單元210可提取指示針對當前圖像的預測解碼是否參考母圖像的恢復圖像和參考信息中的任意一個的參考主體信息。在這種情況下，根據(jù)示例性實施例的恢復單元240可基于參考主體信息確定是否參考母圖像的恢復圖像和參考圖像中的一個，并參考確定的將參考的圖像針對當前圖像執(zhí)行預測解碼，并隨后相應(yīng)地產(chǎn)生恢復圖像。
[0057]參考圖像轉(zhuǎn)換單元230可通過使用參考圖像轉(zhuǎn)換技術(shù)將一個母圖像轉(zhuǎn)換為與當前圖像相關(guān)的至少一個參考圖像，其中，所述參考圖像轉(zhuǎn)換技術(shù)包括旁路技術(shù)、縮放技術(shù)、隔行逐行轉(zhuǎn)換技術(shù)、顏色轉(zhuǎn)換技術(shù)、濾波技術(shù)、扭曲技術(shù)、權(quán)重增加技術(shù)和幀間層插值技術(shù)中的至少一個。
[0058]參考圖像轉(zhuǎn)換單元230可產(chǎn)生包括通過針對當前圖像使用參考圖像轉(zhuǎn)換技術(shù)而產(chǎn)生的至少一個參考圖像的參考圖像列表。在這種情況下，恢復單元240可參考存儲在參考圖像列表中的至少一個圖像針對當前圖像執(zhí)行預測解碼，并輸出恢復圖像。
[0059]參考圖像轉(zhuǎn)換單元230可基于新當前圖像的選擇、針對選擇的新當前圖像的相應(yīng)新母圖像的確定、對相應(yīng)新母圖像的參考圖像轉(zhuǎn)換技術(shù)的應(yīng)用來更新和管理參考圖像列表。
[0060]根據(jù)示例性實施例的接收和提取單元210可從解析的比特流提取參考圖像轉(zhuǎn)換技術(shù)信息。在這種情況下，參考圖像轉(zhuǎn)換單元230可基于參考圖像轉(zhuǎn)換技術(shù)信息從當前圖像的一個母圖像產(chǎn)生當前圖像的至少一個參考圖像。
[0061]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可將多視點視頻以及2D視頻和3D視頻編碼和解碼為每個視點中的單獨層。另外，雖然視頻可具有相同視點，但是根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可分別將不同分辨率的視頻編碼和解碼為單獨層。另外，根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可支持不同層的幀間層預測以及相同層的幀內(nèi)層預測，因此有效降低傳輸比特率。
[0062]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可同時實現(xiàn)符合MVC標準的多視點視頻編碼和解碼以及符合SVC通信標準的分層視頻編碼和解碼，因此提供根據(jù)統(tǒng)一的視頻編碼和解碼方案發(fā)送和接收各種格式的多視點視頻的視頻通信服務(wù)。
[0063]圖3示出根據(jù)一個或多個示例性實施例的用在可分級視頻編碼和解碼中的示例性幀間層預測結(jié)構(gòu)。
[0064]根據(jù)可分級視頻編碼和解碼方案，視頻的畫面組(GOP)被分配為單獨層，并且?guī)g層預測可被執(zhí)行，使得可參考相互不同的GOP執(zhí)行預測編碼和預測解碼。
[0065]具體地，在包括在輸入視頻中的一些畫面350之中，第零GOP的畫面300、畫面301、畫面302、畫面303和畫面304、第一 GOP的畫面310、畫面311、畫面312、畫面313和畫面314以及第二 GOP的畫面320、畫面321、畫面322、畫面323和畫面324可被分別分配為層O、層I和層2。
[0066]幀內(nèi)編碼的畫面300 (下文中稱為“I畫面”300)是根畫面或即時解碼刷新(IDR)畫面，根據(jù)預測編碼，所述“I畫面”300成為不同層的雙向預測的(下文中稱為“b”或“B”)b畫面301和預測的(下文中稱為“P”)P畫面320之間的幀間層預測的參考圖像，以及相同層的B畫面302、b畫面301和P畫面304的參考圖像。另外，一般地，在前向預測中，在單個層預測中僅按照畫面序列號(POC)順序參考先前畫面，而可對P畫面304、P畫面320和P畫面324執(zhí)行前向預測，其中，所述P畫面304、P畫面320和P畫面324可用于參考按照相同層和相同順序的POC順序的先前畫面或按照POC順序但在不同層中的先前畫面的幀間層預測。對B畫面302、B畫面312、B畫面322和B畫面314以及b畫面301、b畫面311、b畫面321、b畫面303、b畫面313和b畫面323執(zhí)行參考按照相同層的POC順序的先前畫面或下一畫面的雙向預測，還可執(zhí)行參考按照不同層的相同POC順序的畫面的預測編碼。
[0067]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻編碼設(shè)備200可基于一個或多個具體圖像特征將2D視頻、3D視頻或多視點視頻分類為多個層，并通過采用與可分級視頻編碼和解碼方案相關(guān)的預測結(jié)構(gòu)(諸如，在圖3中示出的示例性預測結(jié)構(gòu))來使用幀間層預測以及幀內(nèi)層預測。
[0068]圖4示出根據(jù)示例性實施例的視頻的圖像序列的示例性圖像矩陣。
[0069]首先，根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可被用于提供指示視頻的圖像序列的圖像中的每一個的圖像索引，以在沒有限制執(zhí)行可分級編碼和解碼基于的層分類條件的情況下對層進行分類，并管理與層無關(guān)的圖像之間的自由參考關(guān)系。
[0070]根據(jù)示例性實施例的圖像索引遵守2D索引方案。為了簡明，參照圖4描述的示例性實施例與2D索引相關(guān)，但是可能執(zhí)行3D索引，并且本發(fā)明構(gòu)思的原理可廣泛地應(yīng)用于各種類型的索引，以管理圖像之間的參考關(guān)系。
[0071]在根據(jù)示例性實施例的圖像索引結(jié)構(gòu)中，各個2D索引被分配到圖像矩陣450的圖像400、圖像401、圖像402、…、圖像415中的每一個。例如，索引(0,0)被分配到根圖像400、即時解碼刷新(IDR)圖像，(i，j)類型索引被分配到其它剩余圖像401、402、403、…、415。對于給定索引(i，j)，在圖像矩陣450中，i可指定行號，j可指定列號。
[0072]包括在根據(jù)示例性實施例的圖像矩陣450中的各個圖像400、401、402、…、415可自由地參考當前圖像矩陣450中的已解碼的其它圖像。另外，可預先定義包括畫面的索引的參考索引列表，其中，可根據(jù)各個圖像400、401、402、…、415的I/P/B(b)預測模式來參考所述畫面。另外，也可定義包括畫面的索引的參考索引列表，其中，可根據(jù)用戶任意設(shè)置的預測模式來參考所述畫面。
[0073]圖5示出根據(jù)示例性實施例的根據(jù)與圖像序列相關(guān)的參考關(guān)系的示例性樹結(jié)構(gòu)500。
[0074]可根據(jù)圖像矩陣450中的幀間圖像預測的參考關(guān)系配置樹結(jié)構(gòu)500。例如，樹結(jié)構(gòu)500中的深度O (最高級)可被分配到圖像矩陣450中被首先編碼和解碼的根圖像400。每個直接參考深度O的根圖像400的圖像410、圖像405和圖像404可被確定為深度I。另外，每個參考深度I的圖像410、405和404中的至少一個的圖像412、圖像415、圖像409和圖像402可被確定為深度2。以這種方式，可針對圖像矩陣450根據(jù)幀間圖像預測的參考關(guān)系來配置深度0、1、2、…的樹結(jié)構(gòu)500。
[0075]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可對指示當前圖像參考的母圖像的母圖像索引信息進行編碼，并可與編碼的圖像數(shù)據(jù)一起發(fā)送編碼的母圖像索引信息。另外，根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可通過使用母圖像索引信息分析根據(jù)接收到的圖像的參考關(guān)系的樹結(jié)構(gòu)500。
[0076]例如，根據(jù)示例性實施例的母圖像索引信息針對每個圖像被設(shè)置，從而指示當前圖像的母圖像的索引。例如，可如下設(shè)置關(guān)于構(gòu)成樹結(jié)構(gòu)500的圖像的母圖像索引信息。
[0077]R (O, 0)400:N/A
[0078]e (2，O) 410:母圖像是(O, O) 400
[0079]e (1,0)405:母圖像是(0,0)400
[0080]e (0,4)404:母圖像是(0,0)400
[0081]e(2，2)412:母圖像是(2,0)410
[0082]e (2，4) 415:母圖像是(2,0)410、(I, 0)405
[0083]e (1,4) 409:母圖像是(1,0)405、(0,4)404
[0084]e (O, 2) 402:母圖像是(O, 4) 404
[0085]具體地，索引(0，0)的圖像400是不參考不同圖像的深度O的根圖像，所以不針對
圖像400設(shè)置母圖像索引信息。
[0086]另外，深度I的索引(2，O)的圖像410、索引(1，O)的圖像405和索引(0，4)的圖像404中的每一個僅參考根圖像400，從而，可將針對每一個的相應(yīng)母圖像索引信息設(shè)置為根圖像400的索引(0，0)。
[0087]另外，因為索引(2，2)的圖像412、索引(2，4)的圖像415、索引(1，4)的圖像409和索引(0，2)的圖像402中的每一個參考深度I的圖像，可將參考的母圖像的各個索引設(shè)置為相應(yīng)的母圖像索引信息。具體地，因為索引(2，2)的圖像412參考深度I的圖像410，所以相應(yīng)的母圖像索引可被設(shè)置為(2，0)。因為索引(2，4)的圖像415參考深度I的圖像410和圖像405，所以相應(yīng)的母圖像索引信息可被設(shè)置為(2，0)(1，0)。因為索引(1，4)的圖像409參考深度I的圖像405和圖像404，所以相應(yīng)的母圖像索引信息可被設(shè)置為(1，O)(O, 4)。因為索引(0，2)的圖像402參考深度I的圖像404，所以相應(yīng)的母圖像索引信息可被設(shè)置為(O, 4) ο
[0088]對于幀間圖像預測，根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可分別使用母圖像的解碼圖像作為參考圖像，或可通過僅使用與母圖像相關(guān)的參考信息分別針對當前圖像執(zhí)行預測編碼和解碼。
[0089]另外，根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可確定當前圖像是否通過使用母圖像的解碼的恢復圖像和參考信息中的哪一個被預測編碼或解碼，相應(yīng)地預測并對圖像序列進行編碼。
[0090]另外，根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可對參考方案信息進行編碼，并與編碼的圖像數(shù)據(jù)一起發(fā)送編碼的參考方案信息，其中，所述參考方案信息指示當前圖像是否通過使用母圖像的解碼的恢復圖像和參考信息中的哪一個被預測編碼或解碼。
[0091]根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可從接收到的比特流提取參考方案信息，并基于提取出的參考方案信息，通過使用母圖像的解碼的恢復圖像和參考信息中的一個針對當前圖像執(zhí)行預測解碼。
[0092]可根據(jù)樹結(jié)構(gòu)500參考原始圖像、母圖像的母圖像和/或當前圖像直接參考的母圖像來執(zhí)行預測編碼或預測解碼。
[0093]圖6示出根據(jù)示例性實施例的用于針對圖像序列執(zhí)行幀間層預測的參考圖像轉(zhuǎn)換技術(shù)。
[0094]圖6示出根據(jù)示例性實施例的可分級視頻編碼設(shè)備100的層分類單元110將圖像矩陣650分類為三層的示例性實施例，其中，所述三層包括第O層的圖像組640、第一層的圖像組641和第二層的圖像組642。因此，第O層的圖像組640包括圖像矩陣650的圖像600、圖像601、圖像602、圖像603和圖像604，第一層的圖像組641包括圖像矩陣650的圖像610、圖像611、圖像612、圖像613和圖像614，第二層的圖像組642包括圖像矩陣650的圖像620、圖像621、圖像622、圖像623和圖像624。
[0095]關(guān)于根據(jù)示例性實施例的圖像矩陣650的索弓丨，圖像的索引(i，j)的i和j分別與圖像組640、圖像組641和圖像組642的每一個的層號以及圖像組640、圖像組641和圖像組642中的相應(yīng)的一個的圖像順序內(nèi)的各個級別(rank)相應(yīng)。然而，這僅是圖像索引的示例，本公開的圖像索引不必須限于圖6中示出的層號和圖像順序的組合。
[0096]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100支持幀間層預測編碼，使得可針對第O層的圖像組640、第一層的圖像組641和第二層的圖像組642的圖像執(zhí)行幀間層預測。
[0097]另外，在針對根據(jù)示例性實施例的圖像矩陣650的幀內(nèi)預測編碼和幀間層預測編碼中，定義I/B/P畫面的方向預測模式，使得B畫面或P畫面基于雙向預測或前向預測之間的預測方向來參考不同畫面。具體地，與上面關(guān)于圖3中示出的可分級視頻編碼方案的描述相似，在不同層的畫面的情況下，不限于參考相同POC的畫面。因此，當執(zhí)行根據(jù)示例性實施例的幀間層預測編碼時，在參考不同層的圖像中，可基于I/B/P畫面的方向預測模式來確定母圖像而不論POC如何。
[0098]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可對根據(jù)與可分級預測編碼相關(guān)的參考關(guān)系設(shè)置的母圖像索引信息進行編碼，并發(fā)送編碼的母圖像索引信息。因此，可針對第O層的圖像組640、第一層的圖像組641和第二層的圖像組642的圖像中的每一個來設(shè)置指示索引的母圖像索引信息，所述索引指示用于預測的母圖像。因為幀內(nèi)預測功能以及幀間預測功能在可分級視頻編碼設(shè)備100中可用，所以母圖像索引信息可包括相同層的母圖像的索引。
[0099]根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可基于通過解析接收到的比特流提取出的母圖像索引信息來分析圖像矩陣650的樹結(jié)構(gòu)，并搜索在執(zhí)行針對當前圖像的預測解碼中使用的母圖像。
[0100]根據(jù)示例性實施例的參考圖像產(chǎn)生單元120可將當前圖像的母圖像轉(zhuǎn)換為參考圖像，以產(chǎn)生在預測當前圖像中使用的參考圖像。通過應(yīng)用根據(jù)示例性實施例的參考圖像轉(zhuǎn)換技術(shù)630，可從單個母圖像產(chǎn)生多個參考圖像。例如，參考圖像轉(zhuǎn)換技術(shù)630可包括旁路技術(shù)、縮放技術(shù)、隔行逐行轉(zhuǎn)換技術(shù)、顏色轉(zhuǎn)換技術(shù)、濾波技術(shù)、扭曲技術(shù)、權(quán)重增加技術(shù)和幀間層插值技術(shù)等。
[0101]具體地，通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的旁路技術(shù)，可產(chǎn)生與母圖像相同的參考圖像，以參考母圖像本身。相反地，通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的縮放技術(shù)，可產(chǎn)生通過減小或放大母圖像而獲得的參考圖像。
[0102]通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的隔行逐行轉(zhuǎn)換技術(shù)，可產(chǎn)生將基于隔行方案的母圖像轉(zhuǎn)換為基于逐行方案的母圖像而獲得的參考圖像，或可產(chǎn)生并輸出通過將基于逐行方案的母圖像轉(zhuǎn)換為基于隔行方案的母圖像而獲得的參考圖像。
[0103]通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的顏色轉(zhuǎn)換技術(shù)，可產(chǎn)生通過變形母圖像的顏色分量而獲得的參考圖像。通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的濾波技術(shù)，通過對母圖像應(yīng)用預定濾波器可產(chǎn)生參考圖像。通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的扭曲技術(shù)，可產(chǎn)生并輸出通過扭曲母圖像而獲得的參考圖像。另外，通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的權(quán)重增加技術(shù)，可產(chǎn)生通過將預定權(quán)重添加到母圖像而獲得的參考圖像。
[0104]另外，通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630之中的幀間層插值技術(shù)，通過對不同層的母圖像進行插值可產(chǎn)生參考圖像。
[0105]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可對與各個圖像使用的參考圖像轉(zhuǎn)換技術(shù)630相關(guān)的信息進行編碼，并發(fā)送因此編碼的信息。
[0106]根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可解析接收到的比特流來提取與參考圖像轉(zhuǎn)換技術(shù)630相關(guān)的信息。參考圖像轉(zhuǎn)換單元230可基于提取出的參考圖像轉(zhuǎn)換技術(shù)信息確定針對當前圖像使用的參考圖像轉(zhuǎn)換方案630，并通過對其應(yīng)用參考圖像轉(zhuǎn)換技術(shù)630來轉(zhuǎn)換從圖像矩陣650中的首先恢復的恢復圖像找到的母圖像，從而產(chǎn)生當前圖像的參考圖像?；謴蛦卧?40可通過使用參考圖像來針對當前圖像執(zhí)行幀內(nèi)層預測/補償或幀間層預測/補償，來產(chǎn)生當前圖像的恢復圖像。
[0107]圖7示出根據(jù)示例性實施例的參考圖像列表的示例性配置。
[0108]根據(jù)示例性實施例的參考圖像產(chǎn)生單元120和根據(jù)示例性實施例的參考圖像轉(zhuǎn)換單元230可產(chǎn)生并管理參考圖像列表，其中，所述參考圖像列表包括從當前圖像的母圖像產(chǎn)生的各種參考圖像。
[0109]圖7中示出的圖像矩陣的圖像的層按照視點被分類。具體地，第O視點的圖像700、圖像701、圖像702、圖像703、圖像704、圖像705、圖像706和圖像707構(gòu)成第O層的圖像組731 ;第一視點的圖像710、圖像711、圖像712、圖像713、圖像714、圖像715、圖像716和圖像717構(gòu)成第一層的圖像組732。當當前圖像的母圖像包括圖像700、圖像701、…、圖像706、圖像707、圖像710、圖像711、…、圖像716和圖像717中的至少一個時，可通過使用母圖像來產(chǎn)生當前圖像的參考圖像并將其包括在參考圖像列表中。
[0110]根據(jù)示例性實施例的參考圖像列表可被存儲在根據(jù)示例性實施例的參考圖像產(chǎn)生單元120和根據(jù)示例性實施例的參考圖像轉(zhuǎn)換單元230的存儲器中的至少一個中。包括在參考圖像列表中的參考圖像可被周期性地循環(huán)存儲在存儲器中。
[0111]例如，當存儲器被劃分為第一部分750、第二部分751和第三部分752時，第O層的圖像組731的一些圖像700、圖像701和圖像702可被存儲在第一部分750中；第一層的圖像組732的一些圖像710、圖像711和圖像712可被存儲在第二部分751中；不同層的圖像組的一些圖像720、圖像721和圖像722可被存儲在第三部分752中。
[0112]第O層的圖像組731、第一層的圖像組732和不同層的圖像組的圖像可基于每個組中的各個圖像順序被存儲在存儲器中。第O層的圖像組731、第一層的圖像組732和不同層的圖像組的下一個圖像中的一些可分別被更新并基于存儲器的刷新周期被存儲在第一部分750、第二部分751和第三部分752中。
[0113]當?shù)贠層的圖像組731、第一層的圖像組732和不同層的圖像組的圖像被存儲在存儲器中時，基于應(yīng)用根據(jù)示例性實施例的各種參考圖像轉(zhuǎn)換技術(shù)來轉(zhuǎn)換而產(chǎn)生的參考圖像可也被存儲。因此，可通過使用存儲在參考圖像列表中的各種參考圖像來執(zhí)行可分級預測編碼或解碼。
[0114]圖8示出根據(jù)示例性實施例的配置用于結(jié)合可分級視頻編碼的設(shè)備而使用的立體視頻的層結(jié)構(gòu)820。
[0115]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可按照基于視點對層進行分類的形式實現(xiàn)可分級視頻編碼，從而產(chǎn)生立體視頻簡檔。
[0116]立體視頻的第O視點的畫面800、畫面801、畫面802、畫面803和畫面804可被分類為屬于第O層，第一視點的畫面810、畫面811、畫面812、畫面813和畫面814可被分類為
屬于第一層。
[0117]根據(jù)圖8的層預測結(jié)構(gòu)820，可執(zhí)行幀間層預測以及相同視點中的畫面之間的預測，使得可參考不同視點的畫面對第O視點的畫面800、畫面801、畫面802、畫面803和畫面804以及第一視點的畫面810、畫面811、畫面812、畫面813和畫面814執(zhí)行預測編碼。
[0118]可參考參考圖像針對當前圖像執(zhí)行預測編碼，其中，通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)將不同視點的圖像轉(zhuǎn)換為參考主體而獲得所述參考圖像。
[0119]根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可將相同視點或不同視點的母圖像確定為各個當前圖像的相應(yīng)的母圖像，設(shè)備200可還基于母圖像索引信息和參考圖像轉(zhuǎn)換技術(shù)信息選擇參考圖像轉(zhuǎn)換技術(shù)。
[0120]因此，可針對當前圖像確定相同視點或不同視點的參考圖像，可針對當前圖像執(zhí)行幀內(nèi)層預測解碼或幀間層預測解碼，來產(chǎn)生當前圖像的恢復圖像。[0121]圖9示出根據(jù)示例性實施例的配置用于結(jié)合可分級視頻編碼的設(shè)備而使用的多視點視頻的層結(jié)構(gòu)950。
[0122]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可按照基于每個視點的分辨率對層進行分類的形式實現(xiàn)可分級視頻編碼，從而產(chǎn)生多視角視頻簡檔。
[0123]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可將多視點視頻的左視點畫面和右視點畫面分類為屬于VGA級分辨率的畫面和720P分辨率的畫面中的一個，并基于相應(yīng)的分類構(gòu)成各個層。
[0124]具體地，左視點的VGA級畫面900、901、902、903和904被分類為屬于第O層，左視點的720P級畫面910、911、912、913和914可被分類為屬于第一層。另外，右視點的VGA級畫面920、921、922、923和924可被分類為屬于第二層，右視點的720P級畫面930、931、932、933和934可被分類為屬于第三層。
[0125]根據(jù)圖9的層預測結(jié)構(gòu)950，因為可執(zhí)行相同視點和相同分辨率的圖像之間的幀間層預測以及預測編碼，所以可參考不同視點的畫面或不同分辨率的畫面對左視點的VGA級畫面900、901、902、903和904、左視點的720P級畫面910、911、912、913和914、右視點的VGA級畫面920、921、922、923和924以及右視點的720P級畫面930、931、932、933和934進
行預測編碼。
[0126]因為可通過應(yīng)用參考圖像轉(zhuǎn)換技術(shù)將不同視點或不同分辨率的畫面轉(zhuǎn)換為參考圖像，所以可通過使用通過轉(zhuǎn)換不同視點的畫面或不同分辨率的畫面而獲得的參考圖像針對當前圖像執(zhí)行預測編碼。
[0127]如箭頭所指示，圖9的層預測結(jié)構(gòu)950包括畫面參考不同視點的相同分辨率的圖像或參考相同視點的不同分辨率的圖像的參考關(guān)系，但不包括畫面參考不同視點的不同分辨率的圖像的任何參考關(guān)系。然而，因為可基于參考圖像轉(zhuǎn)換技術(shù)之中的縮放技術(shù)的選擇將母圖像的分辨率轉(zhuǎn)換為與各個當前圖像的分辨率相同，所以根據(jù)示例性實施例的多視點視頻的可分級視頻編碼的預測結(jié)構(gòu)950可包括畫面參考不同分辨率的圖像和不同視點的圖像的參考關(guān)系。
[0128]根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可將相同視點或不同視點的母圖像確定為各個當前圖像的母圖像，或?qū)⑾嗤直媛驶虿煌直媛实哪笀D像確定為各個當前圖像的母圖像，并還可基于相應(yīng)的母圖像索引信息和參考圖像轉(zhuǎn)換技術(shù)信息確定參考圖像轉(zhuǎn)換技術(shù)。
[0129]因此，可確定當前圖像的相同視點或不同視點或者相同分辨率或不同分辨率的參考圖像，可基于確定的參考圖像針對當前圖像執(zhí)行幀間層或幀內(nèi)層預測解碼，以產(chǎn)生當前圖像的恢復圖像。
[0130]圖10示出根據(jù)示例性實施例的由可分級視頻編碼和解碼的設(shè)備的MVC方案和MPEG幀兼容(MFC)方案的合并。
[0131]通過基于視點對立體視頻進行編碼，根據(jù)MVC方案編碼的MVC比特流1010包括左視點視頻已被編碼的比特流1011和右視點視頻已被編碼的比特流1012。
[0132]根據(jù)MFC方案編碼的MFC比特流1020包括通過將左視點視頻和右視點視頻合成為單個視頻而已被編碼的基本層比特流1021和增強層比特流1022。MFC方案可基于分辨率執(zhí)行分層編碼。[0133]根據(jù)示例性實施例的可分級視頻編碼設(shè)備100的層分類單元110不限于或限制執(zhí)行層分類的條件的選擇，因此層分類單元110可自由地確定分類條件。因此，根據(jù)示例性實施例的可分級視頻編碼設(shè)備100可發(fā)送通過基于分辨率對層進行分類而已被編碼的基本層的比特流1021和增強層的比特流1022，而同時發(fā)送通過基于視點對層進行分類而已被編碼的編碼的左視點視頻的比特流1011和右視點視頻的比特流1012。
[0134]因此，根據(jù)示例性實施例的可分級視頻解碼設(shè)備200可對從根據(jù)示例性實施例的可分級視頻編碼設(shè)備100接收到的各種層的比特流進行解碼，來恢復各種格式的視頻，并恢復具有與原始視頻相同分辨率的視頻。在這一方面，可基于用戶請求或系統(tǒng)請求選擇性地提供特定格式的3D廣播服務(wù)，同時也提供全分辨率的3D廣播服務(wù)。
[0135]因此，可由根據(jù)示例性實施例的可分級視頻編碼設(shè)備100和根據(jù)示例性實施例的可分級視頻解碼設(shè)備200統(tǒng)一分別與現(xiàn)有標準中的每一個相應(yīng)的按照不同格式提供的視頻服務(wù)，借此各種格式的多視點視頻服務(wù)可被整合在一起并被提供，并且可按照全分辨率提供3D視頻服務(wù)。另外，可自由地選擇和接收具有用戶期望的格式的視頻服務(wù)，并且還可自由地選擇和接收全分辨率的視頻。
[0136]圖11是示出根據(jù)示例性實施例的通過可分級視頻編碼的設(shè)備執(zhí)行的處理的流程圖。
[0137]在操作1110，輸入視頻的圖像序列的至少一個根圖像和其它剩余圖像被分類為多個層。包括2D視頻或3D視頻的多視點視頻的圖像序列可被輸入到根據(jù)示例性實施例的可分級視頻編碼的設(shè)備?；谔囟▍⒖紝斍皥D像序列分類為多個層，并按照層對當前圖像進行編碼。例如，可按照視點和分辨率對包括多個視點和多個分辨率的圖像的圖像序列的層進行分類。
[0138]在操作1120，可通過對當前圖像的母圖像應(yīng)用可分級預測編碼的參考圖像轉(zhuǎn)換技術(shù)來產(chǎn)生關(guān)于當前圖像的至少一個參考圖像。根據(jù)示例性實施例的參考圖像轉(zhuǎn)換技術(shù)可包括一個或多個轉(zhuǎn)換技術(shù)。因此，各種參考圖像轉(zhuǎn)換技術(shù)可被應(yīng)用于當前圖像的單個母圖像，以產(chǎn)生當前圖像的至少一個參考圖像。多個參考圖像可被存儲為參考圖像列表并相應(yīng)地被管理。
[0139]在操作1130，可通過使用至少一個參考圖像針對當前圖像執(zhí)行預測編碼?；诟鶕?jù)與圖像序列相關(guān)的參考關(guān)系的樹結(jié)構(gòu)，可針對圖像序列的各個圖像，對指示相應(yīng)的母圖像的母圖像索引信息進行編碼。另外，可對與應(yīng)用以產(chǎn)生當前圖像的參考圖像的參考圖像轉(zhuǎn)換技術(shù)相關(guān)的信息進行編碼。
[0140]通過針對圖像序列執(zhí)行的幀間層預測和幀內(nèi)層預測，圖像的編碼比特流可與母圖像索引信息和參考圖像轉(zhuǎn)換技術(shù)信息一起被發(fā)送。
[0141]圖12是示出根據(jù)示例性實施例的通過使用可分級視頻解碼的設(shè)備執(zhí)行的處理的流程圖。
[0142]在操作1210，視頻的比特流被接收并被解析來提取數(shù)據(jù)，在所述數(shù)據(jù)中，視頻的圖像序列的至少一個根圖像和其它其余圖像被分類為多個層并被編碼。可從比特流連同圖像的編碼比特流提取母圖像索引信息和參考圖像轉(zhuǎn)換技術(shù)信息。從視頻的比特流提取出的圖像序列的編碼數(shù)據(jù)可被解碼，以恢復與圖像序列相關(guān)的殘差信息和參考信息。
[0143]在操作1220，通過應(yīng)用可分級預測解碼的參考圖像轉(zhuǎn)換技術(shù)，圖像序列的恢復圖像之中的母圖像可被轉(zhuǎn)換為關(guān)于當前圖像的至少一個參考圖像。相同層的參考圖像可被用于幀內(nèi)層預測解碼，不同層的參考圖像可被用于幀間層預測解碼。
[0144]基于在操作1210提取出的母圖像索引信息識別根據(jù)圖像序列的參考關(guān)系的樹結(jié)構(gòu)，使得可從包括在圖像序列中的恢復圖像搜索并確定與各個當前圖像相應(yīng)的母圖像。另夕卜，基于在操作1210提取出的參考圖像轉(zhuǎn)換技術(shù)信息，可通過對母圖像應(yīng)用參考圖像轉(zhuǎn)換技術(shù)來產(chǎn)生當前圖像的參考圖像?？赏ㄟ^應(yīng)用多個參考圖像轉(zhuǎn)換技術(shù)來產(chǎn)生多個參考圖像。所述多個參考圖像可被存儲在參考圖像列表中，并被更新和管理。
[0145]在操作1230，通過使用至少一個參考圖像針對當前圖像執(zhí)行預測解碼。例如，基于根據(jù)示例性實施例的可分級視頻解碼方法，按照層恢復包括2D視頻或3D視頻的多視點視頻，并且在這種情況下，可恢復每個視點中的不同分辨率的圖像序列，同時按照視點恢復各個圖像序列。
[0146]因此，根據(jù)根據(jù)至少一個示例性實施例的可分級視頻編碼方法和根據(jù)至少一個示例性實施例的可分級視頻解碼方法，根據(jù)各種格式按照層對2D視頻或3D視頻進行編碼并發(fā)送，因此實現(xiàn)提供按照各種格式的2D視頻內(nèi)容或3D視頻內(nèi)容的多視點視頻服務(wù)。另外，因為可執(zhí)行幀間層預測和幀內(nèi)層預測，所以可提高壓縮效率來允許2D視頻內(nèi)容或3D視頻內(nèi)容的多視點視頻的有效壓縮。
[0147]本領(lǐng)域技術(shù)人員可將上述框圖解釋為公開了用于實現(xiàn)與本發(fā)明構(gòu)思相關(guān)的原理的形式概念上表示的電路。相似地，本領(lǐng)域技術(shù)人員將理解，特定流程圖、流程圖、狀態(tài)轉(zhuǎn)變圖、偽碼等可基本上被表示為一組指令，其中，所述指令被存儲在計算機可讀介質(zhì)中以表示可由計算機或處理器執(zhí)行的各種處理，不論是否具體指定所述計算機或處理器。因此，前述示例性實施例可被創(chuàng)建為可由計算機執(zhí)行的程序，并可實現(xiàn)在通過使用計算機可讀記錄介質(zhì)操作所述程序的一般數(shù)字計算機中。計算機可讀記錄介質(zhì)可包括，例如，存儲介質(zhì)(諸如，磁存儲介質(zhì)(例如，ROM、軟盤、硬盤等)、光學讀取介質(zhì)(例如，⑶-ROM、DVD等)。
[0148]可通過使用專用硬件以及與適當軟件相關(guān)并可執(zhí)行所述軟件的硬件提供附圖中示出的各種元件的功能。當由處理器提供時，可由單個專用處理器、單個共享處理器或多個可共享一些功能的單獨處理器提供這樣的功能。另外，所述術(shù)語“處理器”或“控制器”的使用不應(yīng)被解釋為可執(zhí)行軟件的專門指定的硬件，并可默認地包括例如數(shù)字信號處理器(DSP)硬件、用于存儲軟件的ROM、RAM和非易失性存儲裝置，而沒有任何限制。
[0149]在權(quán)利要求中，表示為用于執(zhí)行特定功能的單元的元件可包括執(zhí)行特定功能的特定方法，這樣的元件可包括執(zhí)行特定功能的電路元件的組合，或以特定形式包括與適當電路結(jié)合來執(zhí)行用于執(zhí)行特定功能的軟件的固件、微碼等的軟件。
[0150]本發(fā)明構(gòu)思的原理的“示例性實施例”的指定和這樣的描述的各種修改可表示與包括在本發(fā)明構(gòu)思的原理的至少一個示例性實施例中的這個示例性實施例相關(guān)的特定特征、結(jié)構(gòu)、特性等。因此，表達“示例性實施例”和貫穿全部本公開的任何其它修改可不必須指定相同的示例性實施例。
[0151]在本說明書中，在“A和B中至少一個”的情況下，“?之中的至少一個”的表達用于包括僅第一選項(A)的選擇、僅第二選項(B)的選擇或兩個選項(A和B)的選擇。作為另一示例,在“A、B和C中的至少一個”的情況下，“?之中的至少一個”的表達用于包括僅第一選項(A)的選擇、僅第二選項(B)的選擇、僅第三選項(C)的選擇、僅第一選項和第二選項的選擇(A和B)、僅第二選項和第三選項(B和C)的選擇或所有三個選項(A、B和C)的選擇。即使當列舉更多的項時，本領(lǐng)域技術(shù)人員也將理解可能的選項的選擇可被清楚廣泛地解釋。
[0152]應(yīng)理解，這里描述的示例性實施例應(yīng)被認為僅是描述性的意義，而不是為了限制的目的。每個示例性實施例中的特征或方面的描述通常應(yīng)被認為可用于其它示例性實施例的其它相似特征或方面。
【權(quán)利要求】
1.一種可分級視頻編碼的方法，所述方法包括: 將視頻的圖像序列的至少一個根圖像和其它剩余圖像分類為多個層； 通過對當前圖像的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測編碼的參考圖像轉(zhuǎn)換技術(shù)來產(chǎn)生與圖像序列的當前圖像相關(guān)的至少一個參考圖像； 通過使用所述至少一個參考圖像針對當前圖像執(zhí)行預測編碼。
2.如權(quán)利要求1所述的方法，還包括: 基于根據(jù)與圖像序列相關(guān)的參考關(guān)系的樹結(jié)構(gòu)對指不圖像序列的每個圖像參考的各個母圖像的母圖像索引信息進行編碼。
3.如權(quán)利要求1所述的方法，其中，所述視頻包括二維視頻和三維視頻中的至少一個，將圖像序列的所述至少一個根圖像和其它剩余圖像分類為多個層的步驟包括基于至少一個圖像特征對圖像序列進行分類， 其中，所述至少一個圖像特征包括多視點圖像的視點和分辨率。
4.如權(quán)利要求1所述的方法，其中，針對當前圖像執(zhí)行預測編碼的步驟包括: 確定預測編碼將參考母圖像的恢復圖像和參考信息中的哪一個； 基于所述確定參考 母圖像的恢復圖像和參考信息中的一個來預測當前圖像， 其中，基于根據(jù)當前圖像和相應(yīng)母圖像之間的參考預測關(guān)系的樹結(jié)構(gòu)，對指示是否參考指示關(guān)于當前圖像的相應(yīng)母圖像的信息、母圖像的恢復圖像和參考信息中的任意一個的信息進行編碼。
5.如權(quán)利要求1所述的方法，還包括: 對指示參考圖像轉(zhuǎn)換技術(shù)的信息進行編碼， 其中，參考圖像轉(zhuǎn)換技術(shù)包括:旁路技術(shù)、縮放技術(shù)、隔行逐行轉(zhuǎn)換技術(shù)、顏色轉(zhuǎn)換技術(shù)、濾波技術(shù)、扭曲技術(shù)、權(quán)重增加技術(shù)和幀間層插值技術(shù)中的至少一個， 產(chǎn)生至少一個參考圖像的步驟包括:對單個母圖像應(yīng)用參考圖像轉(zhuǎn)換技術(shù)。
6.如權(quán)利要求5所述的方法，其中，產(chǎn)生至少一個參考圖像的步驟包括:產(chǎn)生包括通過針對當前圖像使用參考圖像轉(zhuǎn)換技術(shù)而產(chǎn)生的至少一個參考圖像的參考圖像列表，執(zhí)行預測編碼的步驟包括:參考存儲在參考圖像列表中的至少一個圖像針對當前圖像執(zhí)行預測編碼。
7.一種可分級視頻解碼的方法，所述方法包括: 從視頻的比特流提取數(shù)據(jù)，在所述視頻中，視頻的圖像序列的至少一個根圖像和其它剩余圖像的數(shù)據(jù)被分類為多個層并被編碼； 通過對圖像序列的恢復圖像之中的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測解碼的參考圖像轉(zhuǎn)換技術(shù)，將所述母圖像轉(zhuǎn)換為關(guān)于當前圖像的至少一個參考圖像； 通過使用所述至少一個參考圖像針對當前圖像執(zhí)行預測解碼。
8.如權(quán)利要求7所述的方法，其中，提取數(shù)據(jù)的步驟包括:從比特流提取母圖像索引信息，其中，所述母圖像索引信息指示圖像序列的圖像中的每各一個參考的相應(yīng)母圖像， 將母圖像轉(zhuǎn)換為所述至少一個參考圖像的步驟包括:基于提取出的母圖像索引信息分析根據(jù)與圖像序列相關(guān)的參考關(guān)系的樹結(jié)構(gòu)，并使用分析的結(jié)果確定與當前圖像相應(yīng)的母圖像。
9. 如權(quán)利要求7所述的方法，其中，視頻包括二維視頻和三維視頻中的至少一個，圖像序列的層基于至少一個圖像特征被分類， 其中，所述至少一個圖像特征包括多視點圖像的視點和分辨率。
10.如權(quán)利要求8所述的方法，其中，提取數(shù)據(jù)的步驟包括:提取參考主體信息，所述參考主體信息指示針對當前圖像的預測解碼是否參考與母圖像相關(guān)的恢復圖像和參考信息中的任意一個， 其中，針對當前圖像執(zhí)行預測解碼的步驟包括:提取參考主體信息，其中，所述參考主體信息指示針對當前圖像的預測解碼是否參考與母圖像相關(guān)的恢復圖像和參考信息中的任意一個。
11.如權(quán)利要求7所述的方法，其中，將母圖像轉(zhuǎn)換為所述至少一個參考圖像的步驟包括: 提取指示參考圖像轉(zhuǎn)換技術(shù)的信息； 基于提取出的指示參考圖像轉(zhuǎn)換技術(shù)的信息，從單個母圖像產(chǎn)生所述至少一個參考圖像， 其中，參考圖像轉(zhuǎn)換技術(shù)包括:旁路技術(shù)、縮放技術(shù)、隔行逐行轉(zhuǎn)換技術(shù)、顏色轉(zhuǎn)換技術(shù)、濾波技術(shù)、扭曲技術(shù)、權(quán)重增加技術(shù)和幀間層插值技術(shù)中的至少一個， 將母圖像轉(zhuǎn)換為所述至少一個參考圖像的步驟包括:對單個母圖像應(yīng)用參考圖像轉(zhuǎn)換技術(shù)。
12.如權(quán)利要求11所述的方法，其中，將母圖像轉(zhuǎn)換為所述至少一個參考圖像的步驟包括:產(chǎn)生包括針對當前圖像使用參考圖像轉(zhuǎn)換技術(shù)而產(chǎn)生的至少一個參考圖像的參考圖像列表， 針對當前圖像執(zhí)行預測解碼的步驟包括:參考存儲在參考圖像列表中的至少一個圖像針對當前圖像執(zhí)行預測解碼。
13.一種可分級視頻編碼的設(shè)備，所述設(shè)備包括: 層分類單元，將視頻的圖像序列的至少一個根圖像和其它剩余圖像分類為多個層；參考圖像產(chǎn)生單元，通過對當前圖像的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測編碼的參考圖像轉(zhuǎn)換技術(shù)，來產(chǎn)生關(guān)于圖像序列的當前圖像的至少一個參考圖像； 預測編碼單元，通過使用所述至少一個參考圖像，針對當前圖像執(zhí)行預測編碼； 輸出單元，對與編碼的當前圖像相關(guān)的數(shù)據(jù)執(zhí)行變換、量化和熵編碼，輸出編碼比特流和指示當前圖像的母圖像的母圖像索引信息。
14.一種可分級視頻解碼的設(shè)備，所述設(shè)備包括: 提取單元，從視頻的比特流提取數(shù)據(jù)，在所述視頻中，視頻的圖像序列的至少一個根圖像和其它剩余圖像的數(shù)據(jù)被分類為多個層并被編碼； 解碼單元，對提取出的編碼數(shù)據(jù)進行解碼，并輸出與圖像序列相關(guān)的殘差信息和參考信息； 參考圖像轉(zhuǎn)換單元，通過對圖像序列的恢復圖像之中的母圖像應(yīng)用包括幀內(nèi)層預測和幀間層預測的可分級預測解碼的參考圖像轉(zhuǎn)換技術(shù)，將所述母圖像轉(zhuǎn)換為關(guān)于當前圖像的至少一個參考圖像；恢復單元，通過使用所述至少一個參考圖像以及輸出的參考信息和輸出的殘差信息針對當前圖像執(zhí)行預測解碼。
15.一種非瞬時性計算機可讀記錄介質(zhì)，包括用于實現(xiàn)如權(quán)利要求1和權(quán)利要求6中的一個的方法的程序。
【文檔編號】H04N19/597GK103636222SQ201280030135
【公開日】2014年3月12日 申請日期:2012年4月19日 優(yōu)先權(quán)日:2011年4月19日
【發(fā)明者】崔秉斗, 鄭丞洙, 趙大星, 崔雄一 申請人:三星電子株式會社