對與多視圖再現(xiàn)設(shè)備一起使用的視頻數(shù)據(jù)信號進(jìn)行編碼的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對與多視圖再現(xiàn)設(shè)備一起使用的視頻數(shù)據(jù)信號進(jìn)行編碼的方法、解碼 視頻數(shù)據(jù)信號的方法、視頻數(shù)據(jù)信號、與多視圖再現(xiàn)設(shè)備一起使用的視頻數(shù)據(jù)信號的編碼 器、視頻數(shù)據(jù)信號的解碼器、包括用于編碼視頻數(shù)據(jù)信號的指令的計(jì)算機(jī)程序產(chǎn)品以及包 括用于解碼視頻數(shù)據(jù)信號的指令的計(jì)算機(jī)程序產(chǎn)品。
【背景技術(shù)】
[0002] 在過去的二十年間，三維顯示技術(shù)已經(jīng)成熟。三維（3D)顯示設(shè)備通過為觀看者的 每一只眼睛提供正被觀看的場景的不同視圖來向觀看體驗(yàn)添加第三維度(深度)。
[0003] 作為結(jié)果，我們現(xiàn)在具有各種方式來觀看三維圖像/視頻信號。一方面，我們具有 基于眼鏡的三維顯示系統(tǒng)，其中向用戶呈現(xiàn)針對她/他的左眼和右眼的不同圖像。另一方 面，我們具有自動立體三維顯示系統(tǒng)，其為觀看者的肉眼提供場景的三維視圖。
[0004] 在基于眼鏡的系統(tǒng)中，主動/被動眼鏡提供過濾器，該過濾器用于分離如在場景 上針對觀看者的相應(yīng)眼睛呈現(xiàn)的不同圖像。在免戴眼鏡或自動立體系統(tǒng)中，設(shè)備常常是多 視圖顯示器，其使用（例如障礙物或透鏡的形式的）光引導(dǎo)構(gòu)件來將左圖像引導(dǎo)到左眼并且 將右圖像引導(dǎo)到右眼。
[0005] 為了提供用于與立體多視圖顯示設(shè)備一起使用的內(nèi)容，一段時(shí)間以來已經(jīng)設(shè)計(jì)了 各種輸入格式，特別地還用于一方面諸如機(jī)頂盒、藍(lán)光播放器之類的內(nèi)容遞送設(shè)備與另一 方面諸如電視之類的顯示/再現(xiàn)設(shè)備之間的設(shè)備接口。
[0006] -段時(shí)間以來，已經(jīng)定義了各種各樣的格式以用于通過諸如HDMI，DVI或 DisplayPort之類的設(shè)備接口傳送視頻數(shù)據(jù)。隨著立體圖像再現(xiàn)和自動立體顯示器的引入， 出現(xiàn)了對于提供用在立體圖像再現(xiàn)中的內(nèi)容的進(jìn)一步需要。一種這樣的格式公開在PCT申 請W02006/137000 (Al)中，其涉及描述圖像和深度信息以及可選地遮擋圖像和遮擋深度可 以如何以矩陣形式通過諸如HDMI之類的現(xiàn)有設(shè)備接口傳送的格式。該方案背后的總體思 路是再用現(xiàn)有標(biāo)準(zhǔn)化設(shè)備接口以便向新的自動立體顯示設(shè)備遞送內(nèi)容。
[0007] 最近，HDMI設(shè)備接口格式已經(jīng)適于還處置在立體圖像生成中的使用的視頻數(shù)據(jù)， 如在使用以下鏈接：http://www.hdmi.org/manufacturer/specification.aspxAAHDMI網(wǎng) 站下載可得到的文獻(xiàn)"High-DefinitionMultimediaInterfaceSpecificationVersion I. 4aExtractionof3DSignalingPortion" 中所公開的那樣。
[0008] 發(fā)明目的 發(fā)明人觀察到，像HDMI那樣的現(xiàn)有音頻/視頻接口格式對于需要圖像和深度信息的用 于基于圖像的再現(xiàn)的格式僅具有有限支持。例如，在HDMI1.4b中，僅存在對于傳送左圖像 和相關(guān)聯(lián)的深度圖的基本支持。因此，看起來存在進(jìn)一步改進(jìn)的空間。

【發(fā)明內(nèi)容】

[0009] 發(fā)明人認(rèn)識到，對人們而言，有利的是，添加例如也提供對于立體圖像和相關(guān)聯(lián)的 深度信息的傳輸?shù)闹С值牧硗獾母袷?。而且，如稍后將更加詳?xì)討論的，將會進(jìn)一步有益的 是，還提供對于補(bǔ)充信息（比如SEI)從源設(shè)備到接收設(shè)備（sinkdevice)的傳輸?shù)母?xì) 的支持。
[0010] 根據(jù)本發(fā)明的第一方面，提供了一種根據(jù)權(quán)利要求1的對與多視圖再現(xiàn)設(shè)備一起 使用的視頻數(shù)據(jù)信號進(jìn)行編碼的方法。
[0011] 可選地，視頻信號可以具有基于具有相應(yīng)視點(diǎn)(例如左視點(diǎn)和右視點(diǎn)）的相應(yīng)圖像 (例如稱為第一圖像和第二圖像)的兩個(gè)(或更多)子圖像。這些子圖像中的一個(gè)或二者可以 具有相應(yīng)深度子圖像。元數(shù)據(jù)可以編碼在一個(gè)或兩個(gè)相應(yīng)深度子圖像中?？蛇x地，在權(quán)利 要求限定元數(shù)據(jù)編碼在顏色分量中的情況下，元數(shù)據(jù)可以編碼在兩個(gè)或更多顏色分量中。
[0012] 優(yōu)選地，來自深度圖的信息編碼在一個(gè)或兩個(gè)另外的子圖像的亮度值中并且來自 元數(shù)據(jù)的信息編碼在一個(gè)或兩個(gè)另外的子圖像的色度值中，從而導(dǎo)致輸送視頻數(shù)據(jù)信號的 向后兼容的方式。
[0013] 優(yōu)選地，包括在視頻數(shù)據(jù)信號中的信息包括基本上未經(jīng)壓縮的二維數(shù)據(jù)陣列。
[0014] 優(yōu)選地，該方法進(jìn)一步包括使用一個(gè)或多個(gè)位串行數(shù)據(jù)線通過接口向多視圖再現(xiàn) 設(shè)備傳輸視頻數(shù)據(jù)信號。
[0015] 優(yōu)選地，元數(shù)據(jù)插入在用于每一個(gè)字段、用于每一幀、用于每一圖片組和/或用于 每一個(gè)場景的視頻數(shù)據(jù)信號中。
[0016] 優(yōu)選地，元數(shù)據(jù)提供有校驗(yàn)和，元數(shù)據(jù)將被解碼器側(cè)處的視圖再現(xiàn)或深度圖處理 所使用。元數(shù)據(jù)中的錯誤的影響可能是顯著的。在傳送諸如RGB像素之類的未經(jīng)壓縮的圖 像數(shù)據(jù)的數(shù)據(jù)接口中，像素值中的錯誤將不會導(dǎo)致過度感知錯誤。然而，元數(shù)據(jù)中的錯誤可 能導(dǎo)致針對幀的再現(xiàn)視圖基于錯誤的深度信息進(jìn)行計(jì)算和/或使用錯誤的再現(xiàn)設(shè)置。這一 點(diǎn)的影響可能相當(dāng)顯著并且作為結(jié)果，這樣的錯誤的檢測是需要的并且冗余和/或糾錯碼 的使用是優(yōu)選的。
[0017] 優(yōu)選地，元數(shù)據(jù)包括指示所提供的元數(shù)據(jù)是否為新的新鮮度信息，以便幫助創(chuàng)建 用于在解碼側(cè)處置元數(shù)據(jù)處理的更高效的控制過程。
[0018] 優(yōu)選地，元數(shù)據(jù)包括指示元數(shù)據(jù)自從前一幀以來是否改變的信息。而且，這允許控 制過程變得更加高效，因?yàn)椴恍枰⑿?更新未改變的設(shè)置(即使它們被傳輸)。
[0019] 優(yōu)選地，該方法進(jìn)一步包括處置編碼和傳送具有立體深度信息的立體視頻數(shù)據(jù)。
[0020] 根據(jù)本發(fā)明的第二方面，提供了一種視頻數(shù)據(jù)信號，如權(quán)利要求10中所要求保護(hù) 的與多視圖再現(xiàn)設(shè)備一起使用的視頻數(shù)據(jù)信號（50)。
[0021] 根據(jù)本發(fā)明的第三方面，提供了一種數(shù)據(jù)載體，包括非暫時(shí)性形式的權(quán)利要求10 或11中任一項(xiàng)的視頻數(shù)據(jù)信號。該數(shù)據(jù)載體可以是諸如硬盤驅(qū)動器或固態(tài)驅(qū)動器之類的 存儲設(shè)備的形式，或者光盤形式的數(shù)據(jù)載體。
[0022] 根據(jù)本發(fā)明的第四方面，提供了一種根據(jù)權(quán)利要求13的對與多視圖再現(xiàn)設(shè)備一 起使用的視頻數(shù)據(jù)信號進(jìn)行解碼的方法。
[0023] 根據(jù)本發(fā)明的第五方面，提供了一種根據(jù)權(quán)利要求15的用于對與多視圖再現(xiàn)設(shè) 備一起使用的視頻數(shù)據(jù)信號進(jìn)行解碼的解碼器。
[0024] 根據(jù)本發(fā)明的第六方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括用于使處理器系統(tǒng)執(zhí) 行根據(jù)權(quán)利要求1-9中任一項(xiàng)的方法的指令。
[0025] 根據(jù)本發(fā)明的第七方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括用于使處理器系統(tǒng)執(zhí) 行根據(jù)權(quán)利要求13-14中任一項(xiàng)的方法的指令。
[0026] 根據(jù)本發(fā)明的第八方面，提供了一種根據(jù)權(quán)利要求22的與多視圖再現(xiàn)設(shè)備一起 使用的視頻數(shù)據(jù)信號的編碼器。
[0027] 本發(fā)明的這些和其它方面根據(jù)以下描述的實(shí)施例顯而易見并且將參照這些實(shí)施 例進(jìn)行闡述。
【附圖說明】
[0028] 在圖中： 圖1示出通過HDMI的2D+深度格式的傳送的示意性表示， 圖2示出通過HDMI的立體+深度格式的傳送的示意性表示， 圖3示出3D再現(xiàn)鏈中的根據(jù)本發(fā)明的編碼器和根據(jù)本發(fā)明的解碼器的框圖， 圖4示出根據(jù)本發(fā)明的解碼方法的流程圖， 圖5A示出根據(jù)本發(fā)明的編碼方法的流程圖， 圖5B示出根據(jù)本發(fā)明的可替換的編碼方法的流程圖，以及 圖5C示出根據(jù)本發(fā)明的更加可替換的編碼方法的流程圖。
[0029] 應(yīng)當(dāng)注意的是，在不同圖中具有相同參考標(biāo)號的項(xiàng)具有相同的結(jié)構(gòu)特征和相同的 功能，或者是相同的信號。在已經(jīng)解釋了這樣的項(xiàng)的功能和/或結(jié)構(gòu)的情況下，沒有必要在 詳細(xì)描述中重復(fù)其解釋。
【具體實(shí)施方式】
[0030] 發(fā)明人觀察到，旨在用于多視圖3D呈現(xiàn)的視頻和相關(guān)聯(lián)的深度信息可以通過將 可用視頻幀劃分成用于視頻和深度的子圖像來使用像HDMI、DVI和/或DisplayPort那樣 的標(biāo)準(zhǔn)互連/設(shè)備接口格式而被傳輸?shù)阶詣恿Ⅲw顯示器。
[0031] 由于典型地用在設(shè)備接口上的圖像信息被設(shè)計(jì)成能夠承載R，G和B信息的至少8 位樣本(即每像素25位)，并且與像素相關(guān)聯(lián)的深度典型地不要求每像素滿24位，因此子圖 像中的傳輸帶寬未被最優(yōu)地使用。
[0032]出于此原因，發(fā)明人寧愿以使得深度信息編碼在這些子圖像的亮度樣本中的這樣