針對(duì)可伸縮視頻編碼的增強(qiáng)型時(shí)間運(yùn)動(dòng)向量預(yù)測的制作方法
【專利說明】針對(duì)可伸縮視頻編碼的增強(qiáng)型時(shí)間運(yùn)動(dòng)向量預(yù)測
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年4月2日提交的美國臨時(shí)專利申請(qǐng)No. 61/807,639的權(quán)益，所 述申請(qǐng)的內(nèi)容作為引用結(jié)合于此。
【背景技術(shù)】
[0003] 視頻編碼系統(tǒng)通常被用來壓縮數(shù)字視頻信號(hào)從而例如減少消耗的存儲(chǔ)空間和/ 或減少與這些信號(hào)關(guān)聯(lián)的傳輸帶寬消耗。例如，基于塊的混合視頻編碼系統(tǒng)被廣泛部署并 頻繁使用。
[0004] 可伸縮性可以在可伸縮視頻編碼系統(tǒng)中實(shí)現(xiàn)，諸如高效視頻編碼（HEVC)?？缮炜s 性可以啟用一個(gè)或多個(gè)部分比特流的傳輸和/或解碼并且可以提供具有較低的時(shí)間和/或 空間分辨率，和/或具有降低的逼真度的視頻服務(wù)，同時(shí)保持相對(duì)于部分比特流的速率很 高的重構(gòu)質(zhì)量。
[0005] 然而，已知可伸縮視頻編碼系統(tǒng)的進(jìn)程性能，諸如時(shí)間運(yùn)動(dòng)向量預(yù)測器和/或參 考列表選擇的生成表現(xiàn)出低效率。

【發(fā)明內(nèi)容】

[0006] 在增強(qiáng)層（EL)編碼中，時(shí)間候選可以從合并模式和非合并模式中得到。當(dāng)構(gòu)造 EL 的時(shí)間候選時(shí)，可以同時(shí)考慮選擇當(dāng)前預(yù)測單元（PU)的參考索引以及共存HJ的參考列表。 所述選擇可以做出從而運(yùn)動(dòng)向量（MV)調(diào)整（scaling)操作可以被避免。如此所使用的，編 碼可以包括編碼（encoding)和解碼。所選擇的運(yùn)動(dòng)向量預(yù)測候選可以被添加到合并候選 列表中在空間MV預(yù)測候選的位置之前的位置。所選擇的MV預(yù)測候選可以被添加到合并候 選列表以替代空間運(yùn)動(dòng)向量預(yù)測候選。時(shí)間候選可以被放置在EL視頻編碼的候選列表中。 在EL合并模式中，時(shí)間候選可以被放置在空間候選之前。在EL非合并模式中，時(shí)間候選可 以被包括在EL視頻編碼的候選列表中。
[0007] 共存HJ的參考列表可以基于運(yùn)動(dòng)向量調(diào)整操作是否與使用特定候選參考圖片列 表作為關(guān)聯(lián)于所述共存PU的運(yùn)動(dòng)向量預(yù)測參考圖片列表相關(guān)聯(lián)來選擇。例如，與共存HJ 相關(guān)聯(lián)的候選參考圖片列表和與當(dāng)前PU相關(guān)聯(lián)的參考圖片列表可以被獲得。候選參考圖 片列表可以被檢查以確定運(yùn)動(dòng)向量調(diào)整操作是否與使用特定候選參考圖片列表作為關(guān)聯(lián) 于所述共存PU的運(yùn)動(dòng)向量預(yù)測參考圖片列表相關(guān)聯(lián)，并且運(yùn)動(dòng)向量預(yù)測參考圖片列表可 以基于所述檢查從所述候選參考圖片列表中被選擇。
[0008] 給定候選參考圖片列表，在與所述當(dāng)前HJ相關(guān)聯(lián)的參考圖片列表中的參考圖片 與關(guān)聯(lián)于所述共存PU的候選參考圖片列表中的參考圖片具有相同圖片順序計(jì)數(shù)（POC)值 的條件下，可以確定運(yùn)動(dòng)向量調(diào)整操作不與使用候選參考圖片列表作為關(guān)聯(lián)于所述共存PU 的運(yùn)動(dòng)向量預(yù)測參考圖片列表相關(guān)聯(lián)。在所述候選參考圖片列表與關(guān)聯(lián)于當(dāng)前PU的參考 圖片列表具有相同參考列表索引的條件下，可以確定運(yùn)動(dòng)向量調(diào)整操作不與使用候選參考 圖片列表作為關(guān)聯(lián)于所述共存PU的運(yùn)動(dòng)向量預(yù)測參考圖片列表相關(guān)聯(lián)。在所述候選參考 圖片列表包括離關(guān)聯(lián)于所述共存PU的圖片的POC距離與在關(guān)聯(lián)于所述當(dāng)前PU的圖片和關(guān) 聯(lián)于所述當(dāng)前PU的參考圖片列表中的參考圖片之間的POC距離相同的參考圖片時(shí)，可以確 定運(yùn)動(dòng)向量調(diào)整操作不與使用候選參考圖片列表作為關(guān)聯(lián)于所述共存PU的運(yùn)動(dòng)向量預(yù)測 參考圖片列表相關(guān)聯(lián)?；诖_定運(yùn)動(dòng)向量調(diào)整操作與使用候選參考圖片列表作為關(guān)聯(lián)于所 述共存PU的運(yùn)動(dòng)向量預(yù)測參考圖片列表相關(guān)聯(lián)，另一候選參考圖片列表可以被考慮。
[0009] 當(dāng)前HJ的參考索引可以基于運(yùn)動(dòng)向量調(diào)整操作是否與使用參考圖片列表中的特 定參考圖片作為用于所述共存PU的運(yùn)動(dòng)向量預(yù)測候選相關(guān)聯(lián)來選擇。例如在與當(dāng)前HJ相 關(guān)聯(lián)的參考圖片列表中的參考圖片可以被檢查以確定運(yùn)動(dòng)向量調(diào)整操作是否與使用特定 參考圖片作為用于執(zhí)行運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量預(yù)測候選相關(guān)聯(lián)。運(yùn)動(dòng)向量預(yù)測候選可以 基于所述檢查從所述參考圖片列表中的參考圖片中選擇。例如基于確定運(yùn)動(dòng)向量調(diào)整操作 可以不與使用所述參考圖片作為用于執(zhí)行運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量預(yù)測候選相關(guān)聯(lián)，參考 圖片可以被選擇作為向量預(yù)測候選。
[0010] 對(duì)于在當(dāng)前HJ的參考圖片列表中的給定參考圖片，如果所述參考圖片與所述共 存PU的參考圖片具有相同POC值，則可以確定運(yùn)動(dòng)向量調(diào)整操作不與使用所述參考圖片作 為用于執(zhí)行運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量預(yù)測候選相關(guān)聯(lián)。如果所述參考圖片離關(guān)聯(lián)于所述當(dāng) 前HJ的圖片的POC距離與在關(guān)聯(lián)于所述共存PU的圖片和所述共存PU的參考圖片之間的 POC距離相同的條件下，可以確定運(yùn)動(dòng)向量調(diào)整操作不與使用所述參考圖片作為用于執(zhí)行 運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量預(yù)測候選相關(guān)聯(lián)?；谶\(yùn)動(dòng)向量調(diào)整操作與使用所述參考圖片作 為用于執(zhí)行運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量預(yù)測候選相關(guān)聯(lián)，來自與所述當(dāng)前PU相關(guān)聯(lián)的參考 圖片列表的另一參考圖片被考量用于所述運(yùn)動(dòng)向量預(yù)測候選。
[0011] 一種用于視頻編碼的方法包括獲取與當(dāng)前PU相關(guān)聯(lián)的參考圖片列表，所述參考 圖片列表包括目標(biāo)參考圖片；獲取與共存PU相關(guān)聯(lián)的多個(gè)候選參考圖片列表，所述共存HJ 與所述當(dāng)前PU共存；以及基于與目標(biāo)參考圖片相關(guān)聯(lián)的圖片順序計(jì)數(shù)（POC)從多個(gè)候選參 考圖片列表中選擇與共存PU相關(guān)聯(lián)的運(yùn)動(dòng)向量預(yù)測參考圖片列表。例如，包括與目標(biāo)參考 圖片具有相同POC值的參考圖片的候選參考圖片列表可以被選擇作為運(yùn)動(dòng)向量預(yù)測參考 圖片列表。例如，包括離關(guān)聯(lián)于所述共存PU的圖片的POC距離與在目標(biāo)參考圖片和關(guān)聯(lián)于 所述當(dāng)前PU的圖片之間的POC距離相同的參考圖片的候選參考圖片列表可以被選擇作為 運(yùn)動(dòng)向量預(yù)測參考圖片列表。
[0012] 候選參考圖片列表可以包括第一候選參考圖片列表和第二候選參考圖片列表。例 如，可以確定第一候選參考圖片列表是否包括與目標(biāo)參考圖片具有相同POC值的參考圖 片。運(yùn)動(dòng)向量預(yù)測參考圖片列表可以基于所述確定而被選擇。第一候選參考圖片列表可以 在第一候選參考圖片列表包括與目標(biāo)參考圖片具有相同POC值的參考圖片的條件下被選 擇，并且第二候選參考圖片列表可以在第一候選參考圖片列表不包括與目標(biāo)參考圖片具有 相同POC值的參考圖片的條件下被考慮用于選擇。例如可以確定第一候選參考圖片列表是 否包括離關(guān)聯(lián)于所述共存PU的圖片的POC距離與在目標(biāo)參考圖片和關(guān)聯(lián)于所述當(dāng)前PU的 圖片之間的POC距離相同的參考圖片。運(yùn)動(dòng)向量預(yù)測參考圖片列表可以基于所述確定而被 選擇。第一候選參考圖片列表可以在第一候選參考圖片列表包括離關(guān)聯(lián)于所述共存PU的 圖片的POC距離與在目標(biāo)參考圖片和關(guān)聯(lián)于所述當(dāng)前PU的圖片之間的POC距離相同的參 考圖片的條件下被選擇，并且第二候選參考圖片列表可以在第一候選參考圖片列表不包括 離關(guān)聯(lián)于所述共存PU的圖片的POC距離與在目標(biāo)參考圖片和關(guān)聯(lián)于所述當(dāng)前PU的圖片之 間的POC距離相同的參考圖片的條件下被考慮用于選擇。默認(rèn)候選參考圖片列表可以在候 選參考圖片列表不包括離關(guān)聯(lián)于所述共存PU的圖片的POC距離與在目標(biāo)參考圖片和關(guān)聯(lián) 于所述當(dāng)前PU的圖片之間的POC距離相同的參考圖片的條件下被選擇。
[0013] 與當(dāng)前PU相關(guān)聯(lián)的參考圖片列表可以包括多個(gè)參考圖片。用于視頻編碼的方法 可以包括基于與共存PU的參考圖片相關(guān)聯(lián)的POC從與當(dāng)如RJ相關(guān)聯(lián)的參考圖片列表中選 擇運(yùn)動(dòng)向量預(yù)測候選；以及基于選擇的運(yùn)動(dòng)向量預(yù)測候選執(zhí)行運(yùn)動(dòng)向量預(yù)測。例如，與共存 PU的參考圖片具有相同POC值的參考圖片圖片被選擇作為運(yùn)動(dòng)向量預(yù)測候選。例如，離關(guān) 聯(lián)于所述當(dāng)前PU的圖片的POC距離與在共存PU的參考圖片和關(guān)聯(lián)于所述共存PU的參考 圖片列表中的圖片之間的POC距離相同的參考圖片可以被選擇作為運(yùn)動(dòng)向量預(yù)測候選。
[0014] 第一參考圖片可以從與當(dāng)前PU相關(guān)聯(lián)的參考圖片列表中提取。參考圖片和與當(dāng) 前HJ相關(guān)聯(lián)的參考圖片之間的第一 POC距離以及共存PU的參考圖片和與共存PU相關(guān)聯(lián) 的圖片之間的第二POC距離可以被計(jì)算。用于運(yùn)動(dòng)向量預(yù)測的運(yùn)動(dòng)向量預(yù)測候選可以基于 對(duì)第一和第二POC距離的計(jì)算來選擇。例如，在第一 POC距離等于第二POC距離的條件下， 第一參考圖片可以被選擇作為運(yùn)動(dòng)向量預(yù)測候選。第一參考圖片和當(dāng)前PU之間的第一 POC 距離可以包括在與參考圖片相關(guān)聯(lián)的POC值和與關(guān)聯(lián)于當(dāng)前PU的當(dāng)前圖片相關(guān)聯(lián)的POC 值之間的差。
[0015] -種用于視頻編碼的方法可以包括：獲取與當(dāng)前HJ相關(guān)聯(lián)的參考圖片列表，所述 參考圖片列表包括多個(gè)參考圖片；基于與共存PU的參考圖片相關(guān)聯(lián)的圖片順序計(jì)數(shù)（POC) 從參考圖片列表中選擇運(yùn)動(dòng)向量預(yù)測候選，所述共存PU與所述當(dāng)前HJ共存；以及基于選擇 的運(yùn)動(dòng)向量預(yù)測候選執(zhí)行運(yùn)動(dòng)向量預(yù)測。例如，與共存PU的參考圖片具有相同POC值的參 考圖片可以被選擇作為運(yùn)動(dòng)向量候選。
【附圖說明】
[0016] 圖1描述了示例可伸縮視頻編碼層間預(yù)測機(jī)制。
[0017] 圖2描述了示例可伸縮視頻編碼層間預(yù)測機(jī)制。
[0018] 圖3描述了示例混合單層視頻編碼器的操作。
[0019] 圖4描述了示例混合單層視頻解碼器的操作。
[0020] 圖5描述了運(yùn)動(dòng)信息的示例空間候選的示例位置。
[0021] 圖6為描述時(shí)間運(yùn)動(dòng)向量預(yù)測的示例進(jìn)程的流程圖。
[0022] 圖7為描述共存塊的參考圖片列表選擇的示例進(jìn)程的流程圖。
[0023] 圖8描述了示例時(shí)間運(yùn)動(dòng)向量預(yù)測器（TVMP)導(dǎo)出進(jìn)程。
[0024] 圖9為描述共存塊的參考列表選擇的示例進(jìn)程的流程圖。
[0025] 圖10描述了示例TVMP導(dǎo)出進(jìn)程。
[0026] 圖11為描述當(dāng)前預(yù)測單元的參考索引選擇的示例進(jìn)程的流程圖。
[0027] 圖12描述了針對(duì)增強(qiáng)層合并候選列表的示例構(gòu)造進(jìn)程。
[0028] 圖13為描述提前運(yùn)動(dòng)向量預(yù)測（AVMP)候選列表構(gòu)造的示例進(jìn)程的流程圖。
[0029] 圖14為描述運(yùn)動(dòng)向量預(yù)測候選列表構(gòu)造的示例進(jìn)程的流程圖。
[0030]圖15為描述示例序列參數(shù)集語法的表格。
[0031] 圖16為描述示例片頭語法的表格。
[0032] 圖17A描述了可以在其中實(shí)現(xiàn)一個(gè)或多個(gè)所公開的實(shí)施方式的示例通信系統(tǒng)的 系統(tǒng)圖。
[0033] 圖17B描述了示例無線發(fā)射/接收單元（WTRU)的系統(tǒng)圖，其中所述WTRU可以在 如圖17A所示的通信系統(tǒng)中使用。
[0034] 圖17C描述了示例無線電接入網(wǎng)絡(luò)和示例核心網(wǎng)絡(luò)的系統(tǒng)圖，其中所述示例核心 網(wǎng)絡(luò)可以在如圖17A所示的通信系統(tǒng)中使用。
[0035] 圖17D描述了示例無線電接入網(wǎng)絡(luò)和示例核心網(wǎng)絡(luò)的系統(tǒng)圖，其中所述示例核心 網(wǎng)絡(luò)可以在如圖17A所示的通信系統(tǒng)中使用。
[0036] 圖17E描述了示例無線電接入網(wǎng)絡(luò)和示例核心網(wǎng)絡(luò)的系統(tǒng)圖，其中所述示例核心 網(wǎng)絡(luò)可以在如圖17A所示的通信系統(tǒng)中使用。
【具體實(shí)施方式】
[0037] 圖1描述了具有包括基層（BL)和增強(qiáng)層（EL)的示例可伸縮視頻編碼層間預(yù)測 (ILP)機(jī)制。如此處使用，BL可以包括視頻流的最低層，比增強(qiáng)層更低的層和/或類似的。 基層和增強(qiáng)層可以代表具有不同分辨率的兩個(gè)相鄰空間可伸縮層。基層可以包括具有比增 強(qiáng)層中的圖片具有更低分辨率的圖片。這種層間預(yù)測機(jī)制可以改善可伸縮視頻編碼系統(tǒng)的 效率。這種機(jī)制可以被應(yīng)用到可伸縮視頻編碼結(jié)構(gòu)的多個(gè)層。在基層或增強(qiáng)層的一者或兩 者中，運(yùn)動(dòng)補(bǔ)償預(yù)測和/或幀內(nèi)預(yù)測（intra-prediction)可以被利用（由圖1中的虛線代 表），例如如在標(biāo)準(zhǔn)H. 264編碼器中。層間預(yù)測可以利用基層信息，諸如空間紋理、運(yùn)動(dòng)向 量預(yù)測、參考圖片索引和/或剩余信號(hào)，例如從而改善增強(qiáng)層的編碼效率。當(dāng)解碼給定增強(qiáng) 層時(shí)，可伸縮視頻編碼系統(tǒng)可能不會(huì)完全重構(gòu)來自一個(gè)或多個(gè)較低層（例如當(dāng)前層的附屬 層）的參考圖片。
[0038] 圖2描述了示例可伸縮視頻編碼層間預(yù)測機(jī)制。如圖2所示，BL圖片可以被上采 樣以匹配EL的視頻空間分辨率。一個(gè)或多個(gè)上采樣后的層間參考（ILR)圖片可以被用作 參考圖片，例如以預(yù)測EL視頻。對(duì)EL視頻的預(yù)測可以例如通過從上采樣后的BL信號(hào)的運(yùn) 動(dòng)補(bǔ)償預(yù)測、通過EL信號(hào)（例如當(dāng)前EL信號(hào)）內(nèi)的時(shí)間預(yù)測和/或通過將這種上采樣后 的BL信號(hào)與事件EL預(yù)測信號(hào)平均來形成。根據(jù)這一方法，一個(gè)或多個(gè)較低層圖片可以被 重構(gòu)（例如完全重構(gòu)）。這種機(jī)制可以被部署用于利用多于兩層的視頻編碼可伸縮編碼。
[0039] 圖3為描述基于塊的視頻編碼器諸如混合視頻編碼系統(tǒng)的示例框圖。編碼器可以 為單層編碼器。編碼器可以利用空間預(yù)測（可以被稱作幀內(nèi)預(yù)測）和/或時(shí)間預(yù)測（可以 被稱作幀間預(yù)測和/或運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測）來預(yù)測輸入視頻信號(hào)。編碼器可以包括模式?jīng)Q策 邏輯，所述模式?jīng)Q策邏輯可以基于諸如速率和/或失真考慮的組合的標(biāo)準(zhǔn)選擇預(yù)測形式。 編碼器可以轉(zhuǎn)換和/或量化預(yù)測剩余（例如，輸入信號(hào)和預(yù)測信號(hào)之間的差異信號(hào)）。量 化后的剩余以及模式信息（例如，幀內(nèi)或幀間預(yù)測、運(yùn)動(dòng)信息、預(yù)測模式等）可以被進(jìn)一步 在熵編碼器處壓縮并且被打包成輸出比特流。對(duì)于EL視頻，EL編碼器可以以大致類似于 BL編碼器的方式進(jìn)行操作。提供針對(duì)EL視頻的預(yù)測的參考圖片的EL解碼后圖片緩存（EL DPB)可以包括EL參考圖片和/或包括從獨(dú)立層的DPB中產(chǎn)生的ILR圖片（例如，BL DPB 中的圖片）。
[0040] 如所示，輸入視頻信號(hào)302可以逐塊處理。視頻塊單元可以包括16x16像素。這 種塊單元可以被稱作宏塊（MB)。在高效視頻編碼（HEVC)、擴(kuò)展塊大?。ɡ绶Q作"編碼單 元"或CU)可以被用于高效壓縮高分辨率（例如1080p及以上）視頻信號(hào)。在HEVC中，CU 可以多達(dá)64x64像素。CU可以被劃分成預(yù)測單元（PU)，針對(duì)該P(yáng)U可以被應(yīng)用單獨(dú)的預(yù)測 方法。
[0041] 對(duì)于輸入視頻塊（例如MB或⑶)，空間預(yù)測360和/或時(shí)間預(yù)測362可以被執(zhí)行。 空間預(yù)測（例如幀內(nèi)預(yù)測）可以使用來自相同視頻圖片/片段中的已經(jīng)編碼的相鄰塊中的 像素來預(yù)測當(dāng)前視頻塊。空間預(yù)測可以降低視頻信號(hào)中的空間冗余。時(shí)間預(yù)測（例如，"幀 間預(yù)測"或"運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測"）可以使用從已經(jīng)編碼的視頻圖片中的像素（例如，可以被 稱作"參考圖片"）來預(yù)測當(dāng)前視頻塊。時(shí)間預(yù)測可以降低存在視頻信號(hào)中的時(shí)間冗余。針 對(duì)視頻塊的時(shí)間預(yù)測信號(hào)可以由一個(gè)或多個(gè)運(yùn)動(dòng)向量用信號(hào)發(fā)送，所述運(yùn)動(dòng)向量可以指示 參考圖片中的當(dāng)前塊與其預(yù)測塊之間的運(yùn)動(dòng)量和/或方向。如果支持多種參考圖片（例如 如針對(duì)H. 264/AVC和/或HEVC中的情況），則對(duì)于每個(gè)視頻塊，其參考圖片索引可以被附 加地發(fā)送。參考索引可以被用于標(biāo)識(shí)時(shí)間預(yù)測信號(hào)來自參考圖片庫364(例如可以被稱作 "解碼圖片緩存"或DPB)中的哪個(gè)參考圖片。
[0042] 在空間和/或時(shí)間預(yù)測之后，編碼器中的模式?jīng)Q策塊380可以選擇預(yù)測模式。預(yù) 測塊可以從當(dāng)前視頻塊316中被減去。預(yù)測剩余可以在304處被轉(zhuǎn)換和/或在306處被量 化。量化后的剩余系數(shù)可以在310處被反向量化和/或在112處被反向轉(zhuǎn)換以形成重構(gòu)的 剩余，所述重構(gòu)的剩余可以被添加回至預(yù)測塊326以形成重構(gòu)的視頻塊。
[0043] 環(huán)路濾波，諸如但不限于解塊濾波器、采樣自適應(yīng)偏移和/或自適應(yīng)環(huán)路濾波器， 可以在其被輸入到參考圖片庫364和/或被用于解碼未來的視頻塊之前由環(huán)路濾波器366 應(yīng)用到重構(gòu)的視頻塊上。為了形成輸出視頻比特流320,編碼模式（例如幀間模式或幀內(nèi)預(yù) 測模式），預(yù)測模式信息，運(yùn)動(dòng)信息和/或量化后的剩余系數(shù)可以被發(fā)送到熵編碼單元308 以被壓縮和封裝從而形成比特流。
[0044] 圖4是描述基于塊的視頻解碼器的示例框圖。所述解碼器可以接收諸如由圖3中 描述的編碼器所生成的比特流并且重構(gòu)將被顯示的視頻信號(hào)。在視頻解碼器處，比特流可 以被加密解碼器解析。一個(gè)或多個(gè)剩余系數(shù)可以被逆量化和/或逆轉(zhuǎn)換諸如以為了獲得重 構(gòu)后的剩余部分。編碼模式和/或預(yù)測信息可以被用來使用諸如空間預(yù)測和/或時(shí)間預(yù)測 獲得預(yù)測信號(hào)。預(yù)測信號(hào)和重構(gòu)后的剩余可以被一起相加以獲得重構(gòu)后的視頻。重構(gòu)后的 視頻可以在諸如存儲(chǔ)將被顯示的DPB中之前和/或被用來預(yù)測一個(gè)或多個(gè)未來視頻信號(hào)之 前通過在環(huán)過濾來處理。
[0045] 視頻比特流402可以在熵解碼單元408處進(jìn)行解封裝和熵解碼。編碼模式和/ 或預(yù)測信息可以被發(fā)送到空間預(yù)測單元460 (例如如果是幀內(nèi)編碼）和/或時(shí)間預(yù)測單元 462 (例如如果是幀間編碼）以形成預(yù)測塊。如果被幀間編碼，則預(yù)測信息可以包括預(yù)測塊 大小、一個(gè)或多個(gè)運(yùn)動(dòng)向量（例如其可以指示運(yùn)動(dòng)方向和運(yùn)動(dòng)量）和/或一個(gè)或多個(gè)參考 索引（例如其可以指示預(yù)測信號(hào)從哪個(gè)參考圖片獲?。?。
[0046] 運(yùn)動(dòng)補(bǔ)償預(yù)測可以由時(shí)間HJ 462應(yīng)用以形成時(shí)間預(yù)測塊。剩余轉(zhuǎn)換系數(shù)被發(fā)送 到逆量化單元410和逆轉(zhuǎn)換單元412以重構(gòu)剩余塊。預(yù)測塊和剩余塊可以在426處被相加。 重構(gòu)的塊可以在其存儲(chǔ)在參考圖片庫464之前進(jìn)行環(huán)內(nèi)濾波。參考圖片庫中的重構(gòu)的視頻 464可以被用來驅(qū)動(dòng)顯示設(shè)備和/或被用來預(yù)測未來的視頻塊。解碼后的視頻420可以在 顯示器上顯示。
[0047] 單層視頻編碼器可以采用單個(gè)視頻序列輸入并生成被傳送到單層解碼器的單個(gè) 壓縮比特流。視頻編解碼器可以為數(shù)字視頻服務(wù)（例如諸如但不限于通過衛(wèi)星、電纜和陸 地傳輸信道發(fā)送TV信號(hào)）設(shè)計(jì)。利用部署在異構(gòu)環(huán)境中的視頻中心應(yīng)用，多層視頻編碼技 術(shù)可以作為視頻編碼標(biāo)準(zhǔn)的擴(kuò)展來開發(fā)以啟用各種應(yīng)用。例如可伸縮視頻編碼技術(shù)可以被 設(shè)計(jì)成處理多于一個(gè)視頻層，其中每層可以被解碼以重構(gòu)特定空間分辨率、時(shí)間分辨率、保 真度和/或視圖的視頻信號(hào)。盡管參考圖3和圖4描述單層編碼器和解碼器，但此處描述的 概念可以利用多層編碼器和解碼器諸如針對(duì)多層或可伸縮編碼技術(shù)。圖3和圖4的編碼器 和/或解碼器可以執(zhí)行此處描述的任何功能。例如，圖3和圖4的編碼器和/或解碼器可 以使用增強(qiáng)層PU的MV在增強(qiáng)層（例如，增強(qiáng)層圖片）上執(zhí)行時(shí)間的運(yùn)動(dòng)向量預(yù)測（TMVP)。
[0048] 如圖3和圖4中所示，例如，運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測可以利用圖片間的冗余。在運(yùn)動(dòng)補(bǔ)償 的預(yù)測中，對(duì)于幀間編碼塊，運(yùn)動(dòng)信息可以被用來跟蹤針對(duì)每個(gè)幀間編碼塊的一個(gè)或多個(gè) 參考圖片中對(duì)應(yīng)的匹配塊。在實(shí)施方式中，運(yùn)動(dòng)信息可以被用來跟蹤針對(duì)每個(gè)幀間編碼塊 的一個(gè)或多個(gè)參考圖片中對(duì)應(yīng)的匹配塊。幀間編碼塊可以被稱作預(yù)測單元（PU)。運(yùn)動(dòng)信息 可以包括一個(gè)或多個(gè)運(yùn)動(dòng)向量（MV)，所述運(yùn)動(dòng)向量描述當(dāng)前PU和其匹配塊之間的水平和/ 或垂直位移。MV對(duì)應(yīng)于一個(gè)參考圖片索引。運(yùn)動(dòng)信息包括一個(gè)或兩個(gè)參考圖片索引。在B 片的情況中，運(yùn)動(dòng)信息可以包括哪個(gè)參考圖片列表的標(biāo)識(shí)與每個(gè)參考索引相關(guān)聯(lián)。
[0049] 可伸縮視頻編碼系統(tǒng)（例如HEVC兼容的系統(tǒng)）可以包括兩種模式來編碼PU(例 如，每個(gè)PU)的運(yùn)動(dòng)信息，諸如合并模式和非合并模式。兩種模式的使用可以減少用于表示 比特流中的運(yùn)動(dòng)信息的開銷。在合并模式中，PU的運(yùn)動(dòng)信息可以（諸如直接地或間接地） 從空間和時(shí)間的相鄰塊中推導(dǎo)?；诟偁幍姆桨缚梢员粦?yīng)用從可用候選中選擇最佳相鄰 塊。最佳候選的索引可以被發(fā)送用于重新建立在解碼器處的PU的運(yùn)動(dòng)信息。如果幀間編 碼的PU以非合并模式編碼，MV可以被不同地編碼，例如使用利用先進(jìn)運(yùn)動(dòng)向量預(yù)測（AMVP) 技術(shù)推導(dǎo)的MV預(yù)測器。AMVP技術(shù)的使用可以允許編碼器從空間和時(shí)間相鄰候選中選擇MV 預(yù)測器。MV預(yù)測器和實(shí)際MV和/或預(yù)測器的索引之間的差異可以被傳送給解碼器。
[0050] 針對(duì)合并和非合并模式的可伸縮視頻編碼的效率可以通過改進(jìn)形成時(shí)間候選的 方法來增強(qiáng)。例如，形成時(shí)間候選的方法可以被改進(jìn)用于潛在單層編碼標(biāo)準(zhǔn)（例如，已知的 HEVC)和具有兩個(gè)空間層的可伸縮系統(tǒng)。改進(jìn)的時(shí)間候選信息可以被應(yīng)用到其它可伸縮編 碼系統(tǒng)，所述其它可伸縮編碼系統(tǒng)可以使用其它類型的潛在單層編解碼器，可以具有多于 兩個(gè)層和/或支持其它類型的可伸縮性。
[0051] 在示例視頻編碼系統(tǒng)中，在合并模式中的一組可能候選可以包括一個(gè)或多個(gè)空間 相鄰候選、一個(gè)或多個(gè)時(shí)間相鄰候選和/或一個(gè)或多個(gè)生成的首選。圖5描述了運(yùn)動(dòng)信息 的五個(gè)空間候選的示例的位置。為了構(gòu)造合并候選的列表，五個(gè)空間候選可以例如根據(jù)次 序Al，Bl，B0, AO和B2被檢查和被添加到列表。如果位于空間位置的塊被內(nèi)部編碼或在當(dāng) 前片的邊界之外，其可以被視為不可用。冗余項(xiàng)，例如其中候選具有相同運(yùn)動(dòng)信息可以被排 除在列表之外。
[0052] 在將有效空間候選插入到合并候選列表中之后，時(shí)間候選可以例如使用TMVP技 術(shù)從共存參考圖片中的共存塊的運(yùn)動(dòng)信息中生成。共存參考圖片可以例如通過發(fā)送其參考 圖片列表和列表中的其參考圖片索引在比特流中被用信號(hào)發(fā)送（例如顯式或隱式）。合并 候選的最大數(shù)目N(例如默認(rèn)N= 5)可以例如在片頭中被用信號(hào)發(fā)送。如果合并候選（例 如空間和/或時(shí)間候選）的數(shù)目大于N，列表可以被限制到前N-I個(gè)空間候選和時(shí)間候選。 如果合并候選的數(shù)目小于N，則一個(gè)或多個(gè)組合的候選和/或零運(yùn)動(dòng)候選可以被添加到候 選列表，例如直到數(shù)目達(dá)到N。組合的候選可以通過組合空間候選和時(shí)間候選的運(yùn)動(dòng)信息來 生成。
[0053] 對(duì)于非合并模式，示例視頻編碼系統(tǒng)可以執(zhí)行提前運(yùn)動(dòng)向量預(yù)測（AMVP)，其允許 目前（例如當(dāng)前）PU從空間和時(shí)間候選中選擇其MV預(yù)測器。在實(shí)施方式中，選擇空間運(yùn)動(dòng) 候選可以例如根據(jù)其可用性被限制到圖5所示的五個(gè)空間候選中的最大的兩個(gè)空間運(yùn)動(dòng) 候選。舉例說明，第一空間候選可以從左邊位置Al和AO的集合中選擇。第二空間候選可 以從最上面位置Bl，BO和B2的集合