三維視頻編碼的攝像機(jī)參數(shù)發(fā)信的方法和裝置的制造方法
【專利說明】H維視頻編碼的攝像機(jī)參數(shù)發(fā)信的方法和裝置 巧001]相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求下列申請(qǐng)的優(yōu)先權(quán):2013年7月19日遞交的申請(qǐng)?zhí)枮?1/856，321，名稱 為維視頻編碼的攝像機(jī)參數(shù)發(fā)信"的美國(guó)臨時(shí)案；2013年7月30日遞交的申請(qǐng)?zhí)枮?1/ 859，797，名稱為維視頻編碼的自適應(yīng)攝像機(jī)參數(shù)發(fā)信"的美國(guó)臨時(shí)案;2013年7月31日 遞交的申請(qǐng)?zhí)枮? 1/860, 707,名稱為維視頻編碼的攝像機(jī)參數(shù)發(fā)信的限制 (Restriction)"的美國(guó)臨時(shí)案;2013年10月14日遞交的申請(qǐng)?zhí)枮?1/890,366,名稱為"立維 視頻編碼的攝像機(jī)參數(shù)發(fā)信的約束(Constraints)"的美國(guó)臨時(shí)案;2013年10月15日遞交的 申請(qǐng)?zhí)枮?1/891，201，名稱為維視頻編碼的攝像機(jī)參數(shù)發(fā)信"的美國(guó)臨時(shí)案;2013年10 月30日遞交的申請(qǐng)?zhí)枮?1/897,364,名稱為維視頻編碼的基于視角順序索引的攝像機(jī) 參數(shù)發(fā)信"的美國(guó)臨時(shí)案。在此合并參考運(yùn)些申請(qǐng)案的申請(qǐng)標(biāo)的。
技術(shù)領(lǐng)域
[0003] 本發(fā)明有關(guān)于S維（three-dimensional，3D)視頻編碼。特別是，本發(fā)明有關(guān)于S 維視頻編碼中的=維編碼工具的攝像機(jī)參數(shù)發(fā)信。
【背景技術(shù)】
[0004] =維電視一直是近幾年的技術(shù)趨勢(shì)，意圖給觀眾帶來非常好的觀看體驗(yàn)。目前已 經(jīng)開發(fā)出了多種支持=維觀看的技術(shù)。其中，對(duì)于=維電視應(yīng)用程序而言，多視角視頻 (multi-view video)是關(guān)鍵技術(shù)之一。傳統(tǒng)的視頻是二維(2D)媒體，僅為觀眾提供從攝像 機(jī)的角度看到的單一視角（single view)。然而，多視角視頻能夠提供動(dòng)態(tài)場(chǎng)景的任意視點(diǎn) (arbitraiy viewpoints)，并提供給觀眾W真實(shí)感。
[000引多視角視頻通常是通過使用多個(gè)攝像機(jī)同時(shí)捕獲一個(gè)場(chǎng)景而產(chǎn)生的，其中多個(gè)攝 像機(jī)都被設(shè)置在適當(dāng)?shù)奈恢?，W使每個(gè)攝像機(jī)從一個(gè)視點(diǎn)捕捉場(chǎng)景。因此，多個(gè)攝像頭捕捉 到相應(yīng)于多個(gè)視角的多個(gè)視頻序列。為了提供更多的視角，更多的攝像頭已被用來產(chǎn)生與 多個(gè)視角相關(guān)的大量的視頻序列。因此，多視角視頻將需要很大的存儲(chǔ)空間W存儲(chǔ)和/或需 要高帶寬W傳輸。因此，在該領(lǐng)域中多視角視頻編碼技術(shù)已經(jīng)已被開發(fā)出來，W減少所需的 存儲(chǔ)空間或傳輸帶寬。
[0006] -個(gè)簡(jiǎn)單的方法是，簡(jiǎn)單地將傳統(tǒng)的視頻編碼技術(shù)分別適用于每個(gè)單一視角視頻 序列，并忽略多個(gè)不同視角之間的任何相關(guān)。運(yùn)樣的編碼系統(tǒng)將是非常低效的。為了提高多 視角視頻編碼的效率，多視角視頻編碼利用視角間冗余（inter-view redundancy)。多種3D 編碼工具正在W擴(kuò)展現(xiàn)有視頻編碼標(biāo)準(zhǔn)的方式來開發(fā)中。例如，標(biāo)準(zhǔn)開發(fā)活動(dòng)已擴(kuò)展 H. 264/先進(jìn)視頻編碼（advanced video coding,AVC)和高效視頻編碼化igh efficien巧 video coding,肥VC)至多視角視頻編碼(multi-view video coding,MVC)和3D編碼。
[0007] 用于3D-HEVC和3D-AVC的各種已開發(fā)或正在開發(fā)的3D編碼工具如下。
[0008] 分享相鄰視角的先前編碼的紋理信息（previously coded texture information)，被稱為視差補(bǔ)償預(yù)測(cè)化 i spar ity-Compensated Predict ion, DCP)的技術(shù)已 被列入3D-HTM，作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)（motion-compensated prediction，MCP)的另一種編碼 工具。MCP是指利用相同視角的先前編碼圖像的圖像間預(yù)測(cè)（inter-pic化re prediction)， 而DCP指使用相同存取單元中其他視角的先前編碼圖像的圖像間預(yù)測(cè)。圖I為合并MCP和DCP 的3D視頻編碼系統(tǒng)的示意圖。用于DCP的矢量（110)被稱為視差矢量(disparity vector, DV)，運(yùn)是模擬MCP中使用的運(yùn)動(dòng)矢量(motion vector,MV)。圖I說明了與MCP相關(guān)的S個(gè)運(yùn) 動(dòng)矢量（120、130和140)。此外，DCP塊的視差矢量也可W由來自于相鄰塊或時(shí)間軸上同位塊 (temporal collocated blocks)有利用視角間參考圖像的視差矢量預(yù)測(cè)器（disparity vector predicto;r，DVP)候選來預(yù)測(cè)。在當(dāng)前的3D-HTM中，當(dāng)為合并/跳躍模式(Merge/Skip modes)獲得視角間合并模式候選（inter-view Merge candidate)時(shí)，如果相應(yīng)的塊的運(yùn)動(dòng) 信息不可用或無效，視角間合并模式候選被視差矢量所取代。
[0009] 視角間殘差預(yù)測(cè)（Inter-view residual prediction)是另一個(gè)用于3D-HTM的編 碼工具。如圖2所示，為了分享相鄰視角的先前編碼的殘差信息，當(dāng)前預(yù)測(cè)塊（即，預(yù)測(cè)單元 (prediction unit, PU))的殘差信號(hào)，可W通過視角間圖像中的相應(yīng)的塊的殘差信號(hào)來預(yù) 。相應(yīng)的塊可W通過各自的視差矢量來定位。相應(yīng)于特定攝像機(jī)位置的視頻圖像和深度 圖（depth map)是由視角標(biāo)識(shí)符（view identifier)來指出（indicate)的（例如，圖2中的 V0、V1和V2)。屬于相同攝像機(jī)位置的所有視頻圖像和深度圖，都與相同的視角索引（view index)(即，視角順序索引）相關(guān)。視角順序索引用于指定存取單元內(nèi)的編碼順序，W及在易 于出錯(cuò)的環(huán)境（error-prone environment)中檢測(cè)丟失的視角。存取單元包括相應(yīng)于相同 時(shí)刻（same time instant)的所有視頻圖像和深度圖。在存取單元中，視角索引等于0的視 頻圖像和存在的相關(guān)深度圖會(huì)最先編碼，接下來是視角索引等于1的視頻圖像和深度圖，W 此類推。視角索引等于0的視角（即，圖2中的VO)也被稱為基本視角或獨(dú)立視角?；疽暯且?頻圖像可W不依賴其他視角而使用常規(guī)的肥VC視頻編碼器來進(jìn)行編碼。
[0010] 在圖2中可W看到，對(duì)于當(dāng)前塊，運(yùn)動(dòng)矢量預(yù)測(cè)器(MVP)/視差矢量預(yù)測(cè)器(DVP)可 W從視角間圖像中的視角間塊（inter-view block)來得到。在下面，視角間圖像中的視角 間塊可W簡(jiǎn)寫為視角間塊。得到的候選被稱為視角間候選（inter-view candidate),可作 為視角間MVP和DVP?；谄渌暯侵邢惹熬幋a的運(yùn)動(dòng)信息，編碼工具編碼當(dāng)前塊(例如，當(dāng) 前的預(yù)測(cè)單元）的運(yùn)動(dòng)信息，被稱為視角間運(yùn)動(dòng)參數(shù)預(yù)測(cè)。此外，在相鄰視角中的相應(yīng)的塊 被稱為視角間塊，視角間塊使用從當(dāng)前圖像的當(dāng)前塊的深度信息得到的視差矢量來定位。
[0011] 圖2所示的實(shí)施例相應(yīng)的視角編碼順序?yàn)閺腣O(即，基礎(chǔ)視角巧IjVl,再到V2。在當(dāng) 前圖像中被編碼的當(dāng)前塊是V2。根據(jù)HTM3.1，在先前編碼視角中的參考?jí)K的所有運(yùn)動(dòng)矢量 可W被視為視角間候選，即使視角間圖像不在當(dāng)前圖像的參考圖像列表中。在圖2中，帖 210、220和230分別相應(yīng)于在時(shí)間tl來自于視角V0、V1和V2的視頻圖像或深度圖。塊232是當(dāng) 前視角中的當(dāng)前塊，塊212和塊222分別為視角VO和Vl中的同位當(dāng)前塊（col located current block)。對(duì)于視角VO中的同位當(dāng)前塊212,視差矢量216用于定位視角間同位塊 214。同樣，對(duì)于視角Vl中的同位當(dāng)前塊222,視差矢量226用于定位視角間同位塊224。
[0012] 在3D系統(tǒng)中，在參考視角中的深度圖可W在相依視角（dependent view)中的紋理 圖像之前被編碼。因此，對(duì)于后續(xù)的紋理和深度編碼，編碼的深度信息變得有用。例如，對(duì)于 具有視角V〇、Vl和V2的系統(tǒng)，紋理和深度成分的處理順序可W是1'0、00、1'1^2、01和02，其中 "T"代表紋理，"護(hù)代表深度。在視角VO中的深度圖之后，基本視角（即，VO)中的紋理圖像第 一個(gè)被編碼。對(duì)于相依視角，在深度圖之后，紋理圖像第一個(gè)被編碼。因此，在視角O中的編 碼深度圖可用來推導(dǎo)在視角1中將被編碼的紋理帖的視差矢量。圖3為使用虛擬深度將深度 轉(zhuǎn)換為視差的技術(shù)的實(shí)施例。當(dāng)前塊(current block,CB)310的預(yù)測(cè)視差矢量340被確定。 參考視角中的視角間參考紋理塊350可使用預(yù)測(cè)視差矢量340通過當(dāng)前塊310的同位位置 310'來定位。當(dāng)前塊310相應(yīng)的深度塊330是從與視角間參考紋理塊350同位的編碼DO中取 得的。為獲得當(dāng)前塊的視差矢量，檢索到的塊330被用作虛擬深度塊330'。與虛擬深度塊 330'相關(guān)的深度值，然后被使用并被轉(zhuǎn)換成視差。例如，在虛擬深度塊330'中的最大值可W 用來轉(zhuǎn)換為各種視角間編碼工具的視差矢量。
[0013] 在當(dāng)前的3D-HEVC中，用于視差補(bǔ)償預(yù)測(cè)(DCP)的視差矢量明確傳輸?shù)姆绞交螂[式 推導(dǎo)的方式，與關(guān)于先進(jìn)運(yùn)動(dòng)矢量預(yù)測(cè)（advanced motion vector prediction,AMVP)和合 并模式步驟中的運(yùn)動(dòng)矢量推導(dǎo)相類似。目前，除了用于視差補(bǔ)償預(yù)測(cè)的視差矢量，用于其它 的編碼工具的視差矢量可使用如下所述的相鄰塊視差矢量（neighboring block disparity vector,NBDV)處理或深度導(dǎo)向的相鄰塊視差（depth oriented neigliboring block disparity,DoNBDV)處理來導(dǎo)出。
[0014] 在當(dāng)前的3D-皿VC中，視差矢量可W作為帖間模式（Inter mode)的DVP候選或合 并/跳躍模式的合并模式候選。得到的視差矢量也可W被用來作為視角間運(yùn)動(dòng)預(yù)測(cè)和視角 間殘差預(yù)測(cè)的偏移矢量(off set vector)。當(dāng)作為偏移矢量，視差矢量是從如圖4所不的至 間和時(shí)間上的相鄰塊獲得的。多個(gè)空間和時(shí)間上的相鄰塊被確定，W及時(shí)間和空間上的相 鄰塊的視差矢量的可用性根據(jù)預(yù)定順序被檢查?；谙噜?空間和時(shí)間上)塊的視差矢量推 導(dǎo)的運(yùn)種編碼工具稱為相鄰塊視差矢量(Nei曲boring Block DV，NBDV)。如圖4A所示，空間 上的相鄰塊集合包括當(dāng)前塊的左下角的斜對(duì)角位置(即A0)、相鄰于當(dāng)前塊的左底部的位置 (即A1)、當(dāng)前塊的左上角的斜對(duì)角位置（即B2)、當(dāng)前塊的右上角的斜對(duì)角位置（即B0)、W及 相鄰于當(dāng)前塊的右頂部的位置（即B1)。如圖4B所示，時(shí)間上的相鄰塊集合包括在時(shí)間參考 圖像中的當(dāng)前塊的中屯、位置（即Bctr)和當(dāng)前塊的右下角的斜對(duì)角位置（即RB)。代替中屯、位 置，在時(shí)間參考圖像中，當(dāng)前塊中的其他位置(例如，右邊較低的塊)也可W使用。換句話說， 與當(dāng)前塊同位的任何塊都可W包含在時(shí)間上的相鄰塊集合中。一但塊被確定為具有視差矢 量，檢查過程將被終止。對(duì)于如圖4A所示的空間上的相鄰塊的范例捜索順序是A1、B1、B0、 A0、B2。對(duì)于如圖4B所示的時(shí)間上的相鄰塊的范例捜索順序是BR、Bctr。在目前的實(shí)踐中，兩 個(gè)同位的圖像將被檢查。
[0015] 如果在相鄰塊集合（即如圖4A和圖4B所示的空間和時(shí)間上的相鄰塊）中沒有DCP編 碼塊，視差信息可W從另一個(gè)名為DV-MCP的編碼工具得到。在運(yùn)種情況下，當(dāng)空間上的相鄰 塊是MCP編碼塊、W及通過視角