三維視頻編碼中紋理合并候選導(dǎo)出的方法
【專利說明】三維視頻編碼中紋理合并候選導(dǎo)出的方法
[0001]【相關(guān)申請的交叉引用】
[0002] 本發(fā)明主張申請于2013年7月1日，序列號為PCT/CN2013/078579,標(biāo)題為"An improved texture merging candidate in 3DVC" 的 PCT 專利申請的優(yōu)先權(quán)。將此 PCT 專 利申請以參考的方式并入本文中。 【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及三維視頻編碼。特別地，本發(fā)明涉及三維（three-dimensional，3D)編 碼系統(tǒng)中深度圖編碼的紋理合并候選導(dǎo)出（texture merging candidate derivation)。 【【背景技術(shù)】】
[0004] 三維（three-dimensional，3D)電視是近年來的技術(shù)發(fā)展趨勢，其試圖給觀看者 帶來轟動的觀看體驗（viewing experience)。各種技術(shù)都被開發(fā)出來以使三維觀看成為可 能，且多視圖視頻是三維電視應(yīng)用中的一個關(guān)鍵技術(shù)。對于3D編碼，深度圖也隨著紋理數(shù) 據(jù)被一起編碼。在典型的場景中，通常情況下，紋理圖片以及深度圖之間的相關(guān)度是非常高 的。為了提高用于深度圖的編碼效率，對應(yīng)紋理圖片（collocated texture picture)的編 碼參數(shù)可被用于深度圖編碼。
[0005] 于當(dāng)前的3D-HEVC中，紋理合并候選也被用于深度合并模式（depth Merge mode)。 于紋理合并模式，運(yùn)動參數(shù)（例如運(yùn)動向量（motion vector，MV)以及參考索引）直接從紋 理圖片的對應(yīng)塊中繼承（inherited)。圖1所示為對應(yīng)紋理塊導(dǎo)出的示例。深度圖片110 中的深度塊112對應(yīng)于當(dāng)前深度預(yù)測單元（prediction unit，附圖中標(biāo)示為PU)。對應(yīng)紋 理圖片120中的紋理塊122對應(yīng)于對應(yīng)紋理塊（collocated texture block)。對應(yīng)紋理塊 122可被進(jìn)一步分為子塊（sub-block) 124。如果當(dāng)前深度預(yù)測單元112與被當(dāng)做紋理合并 候選的紋理塊122合并，則當(dāng)前深度預(yù)測單元將從對應(yīng)紋理塊中繼承運(yùn)動信息。于當(dāng)前的 3D-HEVC草案中，用于深度圖編碼的紋理合并候選推導(dǎo)如下：
[0006] mvLXT[0] = (textMvLX[xRef] [yRef] [0]+2>>2,
[0007] mvLXT[l] = (textMvLX[xRef] [yRef] [1]+2>>2,以及
[0008] refldxLX = textRefIdxLX[xRef][yRef]〇
[0009] 于以上等式中，mvLXT[0]以及mvLXT[l]對應(yīng)于深度預(yù)測單元在x以及y方向的 運(yùn)動向量候選。運(yùn)動向量候選是從對應(yīng)紋理塊的運(yùn)動向量中被確定。此外，因為當(dāng)深度分 量（depth component)具有整數(shù)分辨率時，用于紋理分量（texture component)的運(yùn)動向 量具有四分之一像素分辨率，所以紋理運(yùn)動向量通過因子4進(jìn)行按比例縮小以匹配深度圖 片的空間分辨率。如果紋理分量以及深度分量具有相同的分辨率，則不需要進(jìn)行縮放操作。
[0010] 于編碼系統(tǒng)中，可能會為編碼器配置紋理分量以及深度分量不同的參考列表。如 果參考索引表示紋理分量以及深度分量中的參考圖片具有不同圖片順序計數(shù)（picture order count，P0C)或視圖識別碼（view identifier，Viewld)，則所繼承的（Inherited)運(yùn) 動向量將是不正確或不準(zhǔn)確的。此外，這樣的系統(tǒng)也可能導(dǎo)致用于紋理分量的參考索引對 于深度分量是無效的。如果這種情況不能得到適當(dāng)?shù)淖⒁?，則可能導(dǎo)致系統(tǒng)崩潰。
[0011] 因此，希望能開發(fā)出一種方法及系統(tǒng)，其可形成用于深度圖編碼的可靠的紋理合 并候選。同時，希望所開發(fā)出的系統(tǒng)能夠保持性能而沒有明顯的性能降低。 【
【發(fā)明內(nèi)容】
】
[0012] 本發(fā)明揭露了一種用于結(jié)合了 一致的紋理合并候選（consistent texture merging candidate)的三維編碼系統(tǒng)的深度圖編碼的方法。根據(jù)第一實施例，如果參考深 度圖片具有與對應(yīng)紋理塊的參考紋理圖片相同的圖片順序計數(shù)（picture order count， P0C)以及視圖識別碼（view identifier，Viewld)，則當(dāng)前深度塊將僅繼承對應(yīng)紋理塊的運(yùn) 動信息。換句話說，如果作為對應(yīng)紋理塊的參考紋理圖片的參考深度圖片具有相同的P0C 以及Viewld，則紋理合并候選是根據(jù)對應(yīng)紋理塊來選擇。如果參考列表中沒有參考深度 圖片滿足此條件，則紋理合并候選將不會被選擇以用于編碼深度塊。與所述相同P0C以及 Viewld相關(guān)聯(lián)的參考紋理圖片具有參考紋理索引，且此參考紋理索引不同于參考深度索 弓丨。如果參考列表〇或參考列表1中沒有參考深度圖片具有與參考紋理圖片相同的P0C以 及Viewld，則所述參考列表0或所述參考列表1將不被使用。
[0013] 如果當(dāng)前深度圖片為P圖片（P-picture)且列表0不被使用，則沒有有效的紋理 合并候選將被選擇。而且，如果當(dāng)前深度圖片為B圖片（B-picture)且列表0或列表1不 被使用，則沒有有效的紋理合并候選將被選擇。如果參考列表0或參考列表1中沒有參考 深度圖片具有與參考紋理圖片相同的P0C以及Viewld，紋理合并候選的運(yùn)動向量被縮放， 其中，運(yùn)動向量是與所述參考列表0或所述參考列表1中的一個參考紋理圖片相關(guān)聯(lián)。
[0014] 在另一實施例中，編碼器限制了參考圖片處理，以產(chǎn)生一致的紋理合并候選。對于 從列表0到列表1的參考列表，每個參考列表中用于深度圖像單元以及與深度圖像單元相 配的紋理圖像單元的參考圖片的總數(shù)被配置為相同的。此外，用于深度圖像單元以及紋理 圖像單元的相同P0C以及相同Viewld對每個參考列表以及對每個參考圖片被配置為相同 的。深度圖像單元對應(yīng)于深度條帶（depth slice)，且紋理圖像單元對應(yīng)于紋理條帶。 【【附圖說明】】
[0015] 圖1所示為三維編碼系統(tǒng)中用于深度圖編碼的紋理合并候選導(dǎo)出的示例。
[0016] 圖2所示為用于實現(xiàn)本發(fā)明一個實施例的示范性偽代碼，其中，參考圖片被配置 為對于紋理分量以及深度分量都具有相同的結(jié)構(gòu)。
[0017] 圖3所示為根據(jù)本發(fā)明一個實施例的結(jié)合了紋理合并候選導(dǎo)出的三維編碼系統(tǒng) 的示范性流程圖。
[0018] 圖4所示為根據(jù)本發(fā)明另一實施例的結(jié)合了紋理合并候選導(dǎo)出的三維編碼系統(tǒng) 的示范性流程圖。 【【具體實施方式】】
[0019] 如上所述，根據(jù)當(dāng)前的3D-HEVC的深度圖編碼可能會出現(xiàn)從紋理合并候選繼承不 正確或不準(zhǔn)確的運(yùn)動向量的情形。因此，本發(fā)明修改了紋理合并候選的導(dǎo)出，以確保由對應(yīng) 深度預(yù)測單元繼承的運(yùn)動信息是一致的，以使所繼承的運(yùn)動信息總是正確及準(zhǔn)確的。
[0020] 在一個實施例中，紋理合并模式的所繼承的參考圖片總是使用與紋理圖片中對應(yīng) 塊的參考圖片相同的圖片順序計數(shù)（picture order count，P0C)以及視圖識別碼（view identifier，Viewld)。如果參考列表中沒有參考圖片能滿足此條件，則用于此塊的紋理合 并候選將被當(dāng)做是無效的。因此，如果紋理合并候選被選擇，則所繼承的運(yùn)動信息將是正確 及準(zhǔn)確的。圖2所示為用于實現(xiàn)本發(fā)明實施例的示范性偽代碼。
[0021] 如圖2所示，根據(jù)本發(fā)明實施例執(zhí)行紋理合并候選的導(dǎo)出。步驟210a以及210b 之間的步驟被執(zhí)行以用于列表〇 (即，X = 〇)以及列表1 (即，X = 1)。因為只有B條帶將 涉及兩個列表0以及列表1，于步驟220a，執(zhí)行一個測試（X = = 0 I I IsBSlice)。如果X = 1且條帶不是B條帶，從步驟220a到步驟220b的步驟將不會被執(zhí)行。步驟230a以及230b 之間的步驟將被執(zhí)行于每個深度參考圖。對于X = 〇,執(zhí)行步驟240以及250,對于X = 1， 執(zhí)行步驟260以及270。于步驟240中，檢查深度圖是否具有與對應(yīng)的紋理參考圖片（即， textColPOCLX)相同的P0C(即，RefPOCLX(i))以及深度圖是否具有與對應(yīng)的紋理參考圖片 (即，textColViewIdLX)相同的 Viewld(即，RefViewIdLX(i))。如果步驟 240 中的條件被 確定，貝U用于列表〇的預(yù)測旗標(biāo)（prediction flag)被設(shè)定（即，PredFlagLX = 1)，參考深 度圖索引被指向此參考深度圖（即，RefIdxLX = i)且對應(yīng)紋理運(yùn)動向量被繼承以作為深度 圖的運(yùn)動向量（即，MxLXT = textColMVLX)。步驟260以及270類似于步驟240以及250， 且當(dāng)X= 1以及條帶為B條帶時被執(zhí)行。圖2中的偽代碼旨在說明句法設(shè)計的一個示例， 以支持本發(fā)明的一個實施例。本領(lǐng)域技術(shù)人員可使用其它句法設(shè)計來實現(xiàn)本發(fā)明。例如， 圖2中紋理合并候選的導(dǎo)出被執(zhí)行以用于每個深度條帶。紋理合并候選的導(dǎo)出還可被執(zhí)行 以用于任何深度圖像單元。除條帶外，圖像單元還可對應(yīng)于圖片、區(qū)域、或區(qū)塊（tile)。
[0022] 在另一實施例中，用于深度塊以及紋理塊的參考圖片被限制具有相同P0C以及 Viewld，如下所示。首先，紋理條帶以及深度條帶中用于列表0以及列表1的參考圖片的數(shù) 量被限制為相同的。此外，對于每個參考圖片，用于紋理條帶以及深度條帶的相關(guān)聯(lián)的索引 以及P0C被限制為相同的。例如，對于當(dāng)前深度條帶，列表X中具有參考索引等于idx的參 考圖片被表示為DMRefPOCLX(idx)，其中，X = 0到1。對于對應(yīng)的紋理條帶，列表X中具有 參考索引等于idx的參考圖片被表示為TxtRefP0CLX(idX)。根據(jù)本實施例，列表X中被表 示為numRefLX的參考圖片的數(shù)量被限制為與用于X = 0到1的深度條帶以及對應(yīng)紋理條 帶相同。也對于從0到numRefLX-1的每個參考索引idx，DMRefPOCLX(idx)的P0C被限制 為與TxtRefPOCLX(idx)的P0C相同，且DMRefPOCLX(idx)的Viewld被限制為與用于X從 0 到 1 的 TxtRefPOCLX(idx)的 Viewld 相同。
[0023] 正如前面所提到的，本發(fā)明旨在克服由紋理合并候選引起的運(yùn)動信息的潛在問 題。本發(fā)明的實施例對于紋理分量以及深度分量總是會得到一致的參考圖片。因此，從紋 理合并候選繼承的運(yùn)動信息將是正確的以及準(zhǔn)確的。本發(fā)明的設(shè)計目標(biāo)在于能夠保持性能 又