用于3d視頻的經(jīng)視圖間預測運動向量的制作方法
【專利說明】
[0001] 本申請案主張2012年10月4日申請的第61/709, 912號美國臨時申請案的權益， 其全部內容以引用的方式并入本文中。
技術領域
[0002] 本發(fā)明涉及視頻譯碼。
【背景技術】
[0003] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼 相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線 電電話、所謂的"智能電話"、視頻電話會議裝置、視頻流式發(fā)射裝置及其類似者。數(shù)字視頻 裝置實施視頻壓縮技術，例如，由MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H. 264/MPEG-4第 10部分高級視頻譯碼（AVC)所定義的標準、目前正在開發(fā)的高效率視頻譯碼（HEVC)標準及 這些標準的擴展中所描述的視頻壓縮技術。視頻裝置可通過實施此類視頻壓縮技術來更有 效率地發(fā)射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0004] 視頻壓縮技術執(zhí)行空間（圖片內）預測和/或時間（圖片間）預測來減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，視頻幀或視頻幀的一 部分）可分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元（CU)及/或譯碼節(jié)點。使用相 對于同一圖片中的相鄰塊中的參考樣本的空間預測對圖片的經(jīng)幀內譯碼（I)切片中的視 頻塊進行編碼。圖片的經(jīng)幀間編碼（P或B)切片中的視頻塊可使用相對于同一圖片中的相 鄰塊中的參考樣本的空間預測或相對于其它參考圖片中的參考樣本的時間預測。圖片可被 稱作幀，且參考圖片可被稱作參考幀。
[0005] 空間或時間預測導致對塊的預測性塊進行譯碼。殘余數(shù)據(jù)表示待譯碼的原始塊與 預測塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預測塊的參考樣本塊的運動向量及指 示經(jīng)譯碼塊與預測塊之間的差的殘余數(shù)據(jù)編碼的。經(jīng)幀內譯碼塊是根據(jù)幀內譯碼模式和殘 余數(shù)據(jù)來編碼的。為了實現(xiàn)進一步壓縮，可以將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生 殘余變換系數(shù)，接著可以對殘余變換系數(shù)進行量化?？蓲呙枳畛醪贾脼槎S陣列的經(jīng)量化 變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應用熵譯碼以實現(xiàn)更多壓縮。

【發(fā)明內容】

[0006] 一般來說，本發(fā)明描述用于改進多視圖及3D視頻譯碼中的運動預測的譯碼效率 的技術。
[0007] 在一個實例中，一種對3D視頻數(shù)據(jù)進行解碼的方法包含：針對深度視圖分量中的 深度塊導出運動信息候選，其中所述運動信息候選包括經(jīng)解碼紋理視圖分量中的對應紋理 塊的運動信息；將所述運動信息候選添加到候選列表以供在運動向量預測操作中使用，其 中候選列表中的每一候選具有相關聯(lián)索引；以及基于所述候選列表中的候選對當前塊進行 解碼。
[0008] 在另一實例中，一種對3D視頻數(shù)據(jù)進行編碼的方法包含：針對深度視圖分量中的 深度塊導出運動信息候選，其中所述運動信息候選包括經(jīng)解碼紋理視圖分量中的對應紋理 塊的運動信息；將所述運動信息候選添加到候選列表以供在運動向量預測操作中使用；以 及基于所述候選列表中的候選對當前塊進行編碼。
[0009] 在另一實例中，一種用于對視頻數(shù)據(jù)進行譯碼的裝置包含視頻解碼器，其經(jīng)配置 以針對深度視圖分量中的深度塊導出運動信息候選，其中所述運動信息候選包括經(jīng)解碼紋 理視圖分量中的對應紋理塊的運動信息；將所述運動信息候選添加到候選列表以供在運動 向量預測操作中使用；以及基于所述候選列表中的候選對當前塊進行解碼。
[0010] 在另一實例中，一種用于對視頻數(shù)據(jù)進行譯碼的裝置包含視頻編碼器，其經(jīng)配置 以針對深度視圖分量中的深度塊導出運動信息候選，其中所述運動信息候選包括經(jīng)解碼紋 理視圖分量中的對應紋理塊的運動信息；將所述運動信息候選添加到候選列表以供在運動 向量預測操作中使用；以及基于所述候選列表中的候選對當前塊進行編碼。
[0011] 在另一實例中，一種存儲指令的計算機可讀存儲媒體，所述指令在由一或多個處 理器執(zhí)行時致使所述一或多個處理器：針對深度視圖分量中的深度塊導出運動信息候選， 其中所述運動信息候選包括經(jīng)解碼紋理視圖分量中的對應紋理塊的運動信息；將所述運動 信息候選添加到候選列表以供在運動向量預測操作中使用；以及基于所述候選列表中的候 選對當前塊進行解碼。
[0012] 在另一實例中，一種用于對3D視頻數(shù)據(jù)進行編碼的設備包含：用于針對深度視圖 分量中的深度塊導出運動信息候選的裝置，其中所述運動信息候選包括經(jīng)解碼紋理視圖分 量中的對應紋理塊的運動信息；用于將所述運動信息候選添加到候選列表以供在運動向量 預測操作中使用的裝置；以及用于基于所述候選列表中的候選對當前塊進行編碼的裝置。
[0013] 一或多個實例的細節(jié)陳述于附圖及以下描述中。其它特征、目標及優(yōu)勢將從所述 描述及所述圖式以及從權利要求書顯而易見。
【附圖說明】
[0014] 圖1是說明可利用本發(fā)明的幀間預測技術的實例視頻編碼及解碼系統(tǒng)的框圖。
[0015] 圖2展示可用于合并模式及AMVP模式兩者的候選塊的實例集合。
[0016] 圖3是說明可實施本發(fā)明的幀間預測技術的視頻編碼器的實例的框圖。
[0017] 圖4是說明可實施本發(fā)明的幀間預測技術的視頻解碼器的實例的框圖。
[0018] 圖5是展示根據(jù)本發(fā)明的技術的實例編碼過程的流程圖。
[0019] 圖6是展示根據(jù)本發(fā)明的技術的實例解碼過程的流程圖。
【具體實施方式】
[0020] 本發(fā)明描述涉及在多視圖視頻譯碼中、包含在新的新興三維高效率視頻譯碼 (3D-HEVC)標準中用信號表示運動參數(shù)的技術。所述新的新興3D-HEVC標準是3D視頻譯碼 標準，其將許多基本ffiVC譯碼技術延伸到3D視頻數(shù)據(jù)。雖然本發(fā)明的技術可有時特定參 考HEVC和3D-HEVC而描述且可有時使用HEVC和3D-HEVC術語，但應理解本發(fā)明的技術不 限于任何特定譯碼標準。本發(fā)明的技術可潛在地適用于任何多視圖或3D視頻譯碼標準。
[0021] 用于2D視頻和3D視頻兩者的視頻壓縮技術可包含基于已經(jīng)譯碼視頻數(shù)據(jù)塊預測 當前視頻數(shù)據(jù)塊。在本發(fā)明中，與已經(jīng)譯碼的視頻塊或尚待譯碼的視頻塊相比，術語當前塊 大體上指代當前正譯碼（例如經(jīng)編碼或經(jīng)解碼）的視頻數(shù)據(jù)塊。在幀內預測模式中，當前 塊是基于與當前塊在同一圖片中的已經(jīng)譯碼塊而預測，而在幀間預測模式中當前塊是基于 不同圖片中的已經(jīng)譯碼塊而預測。所述不同圖片可為來自與當前塊的同一視圖的不同時間 實例的圖片或可為來自同一時間實例但來自不同視圖或視圖分量的圖片。
[0022] 當視頻解碼器執(zhí)行用于給定視頻塊的幀間預測時，在經(jīng)編碼視頻位流用信號表示 運動參數(shù)。運動參數(shù)包含（例如）一或多個運動向量、一或多個參考圖片索引和預測方向以 使得視頻解碼器可確定將哪一圖片中的哪一塊用作用于當前塊的預測性塊。視頻譯碼器可 使用用于在經(jīng)編碼位流中用信號表示運動參數(shù)的各種模式。為了減少實施幀間預測性譯碼 所需的位數(shù)，那些模式中的一些可利用運動參數(shù)的預測而不是明確用信號表示運動參數(shù)。
[0023] 在開發(fā)HEVC標準時，存在用于運動參數(shù)的預測的各種模式，其中的一者被稱作合 并模式。在合并模式中，視頻譯碼器使用來自相鄰塊的候選構造運動參數(shù)的候選列表（例 如，參考圖片和運動向量），所述相鄰塊包含空間相鄰塊和時間相鄰塊且在3D-HEVC的情況 下還包含視圖間相鄰塊。選擇的運動參數(shù)是通過發(fā)射從候選列表選擇的候選的索引而從視 頻編碼器用信號表示給視頻解碼器。在視頻解碼器處，一旦索引經(jīng)解碼，那么所選候選的對 應塊的所有運動參數(shù)便從所述索引對應的合并候選繼承。視頻編碼器和視頻解碼器經(jīng)配置 以基于已經(jīng)譯碼塊構造相同候選列表。因此，基于索引，視頻解碼器可識別由視頻編碼器選 擇的候選的運動參數(shù)。對于ffiVC中的跳過模式，針對合并模式產(chǎn)生同一合并候選列表。然 而在跳過模式中，沒有殘余數(shù)據(jù)從視頻編碼器用信號表示給視頻解碼器。在本發(fā)明中，相對 于合并模式描述的所有技術也可以應用于跳過模式。
[0024] 高級運動向量預測（AMVP)模式類似于合并模式在于視頻編碼器和視頻解碼器實 施共同預定義過程來評估相鄰候選塊的運動信息（例如，參考索引和運動向量）且基于所 評估運動信息構造當前視頻塊的候選列表。然而，用于AMVP的預定義列表構造過程可不同 于合并模式的列表構造過程。另外，對于AMVP，當前視頻塊不繼承所有候選運動信息。而 是，在AMVP中，視頻解碼器在必要時的按比例縮放之后使用來自所選候選塊的運動向量作 為運動向量預測符。視頻解碼器還接收參考圖片索引、運動向量差信息以及預測方向（如 果需要），且因此，使用運動向量預測符和運動向量差，視頻解碼器確定將用于對當前視頻 塊進行譯碼的新運動向量。因此，AMVP可通過顯式地用信號發(fā)送視頻塊的更多運動信息以 相對于合并模式的降低的位流效率為代價來提供視頻塊的更大的視頻譯碼保真度。
[0025] 運動參數(shù)繼承（MPI)是3D-HEVC中可結合合并模式使用的用于深度視圖分量的譯 碼工具。MPI可（例如）使用旗標（例如，use_mvi_flag[i]，其中i識別特定深度視圖）在 視頻參數(shù)集（VPS)層級經(jīng)啟用用于特定深度視圖分量。當MPI經(jīng)啟用時（例如，"Use_mvi_ flag[i] "旗標設定成1)，相關聯(lián)紋理視圖分量中位于同一地點的塊的運動信息可用以對深 度視圖的序列中的至少一個當前塊進行譯碼，其中序列大體上指代一或多個圖片且可對應 于圖片群組。為了用信號表示MPI是否用于深度視圖中的塊（例如，預測單元（PU))，針對 序列的每一塊在經(jīng)編碼位流中包含旗標（由"bMPIUsed"指示）。
[0026] 當MPI針對當前深度塊經(jīng)啟用時（S卩，bMPIUsed設定成等于1)，所述當前深度塊 繼承紋理視圖分量中位于同一地點的塊的運動向量、參考索引和相關聯(lián)譯碼結構（例如， 分裂信息和/或分割信息）。因此，此旗標基本上視為具有設定成等于0的索引的特殊合并 候選。本發(fā)明將大體上使用術語MPI候選來指代包含紋理視圖分量中的對應塊的運動信息 的候選，例如合并候選或AMVP候選。在用于MPI的一些提議中，當MPI候選選定時，當前塊 繼承運動信息（例如，運動向量，參考索引）以及譯碼結構。對于其它合并模式和AMVP候 選，通常不繼承譯碼結構。當MPI候選包含在列表中時，其它合并候選（例如，空間/時間 /組合雙向預測/零運動向量合并候選）的索引增加1，且合并列表的最大大小增加1 (例 如，從5到6)。在本發(fā)明中，組合雙向預測候選、零候選和其它人工產(chǎn)生的候選可共同地稱 為虛擬候選。由于當MPI候選選定時當前塊再使用來自紋理的CU/PU結構和運動數(shù)據(jù)，因 此對于MPI候選可需要用于CU/PU譯碼結構的額外緩沖器。
[0027] 3D-HEVC中的MPI的一些實施方案始終假定MPI候選與所有其它合并候選相比具 有較高優(yōu)先權，其由于針對一些視頻序列，其它合并候選可比MPI候選更經(jīng)常使用的事實 而可降低總譯碼效率。此外，MPI直接再使用基礎視圖中位于同一地點的塊的運動信息，而 在一些情況下可為有益的是改為使用位于同一地點的塊的運動信息作為當前運動信息的 預測符，作為例如AMVP模式的部分。
[0028] 本發(fā)明提出涉及供用于3D-HEVC的MPI的技術。根據(jù)本發(fā)明的技術，替代于發(fā)射指 示使用MPI的旗標且導出MPI候選（包含譯碼結構信息）為具有等于0的索引，視頻譯碼 器可將紋理視圖中位于同一地點的塊的運動信息處理為具有類似于合并列表中的其它候 選用信號表示的合并索引且僅繼承運動信息的合并候選。因此，根據(jù)本發(fā)明的技術，MPI候 選可包含在合并列表中的任何地方。另外，根據(jù)本發(fā)明的技術，MPI候選可僅包含運動信息 而不是運動信息和譯碼結構信息兩者。在其中深度視圖塊和對應紋理視圖塊具有不同譯碼 結構的實例中，可（例如）基于位于同一地點的像素識別將使用的紋理塊