用于可縮放視頻譯碼及3d視頻譯碼的多假設(shè)運動補償?shù)闹谱鞣椒?br>【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼 相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線 電電話、所謂的"智能電話"、視頻電話會議裝置、視頻流式傳輸裝置及其類似者。數(shù)字視頻 裝置實施視頻譯碼技術(shù)，例如由MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H. 264/MPEG-4第 10部分高級視頻譯碼（AVC)所界定的標(biāo)準、目前正在開發(fā)的高效率視頻譯碼（HEVC)標(biāo)準及 這些標(biāo)準的擴展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實施此類視頻譯碼技術(shù)而更有 效率地傳輸、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測及/或時間（圖片間）預(yù)測以減少或移除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，視頻幀或視頻幀的一 部分）可以分割成視頻塊，視頻塊還可被稱作樹塊、譯碼單元（CU)及/或譯碼節(jié)點。使用 相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測對圖片的經(jīng)幀內(nèi)譯碼（I)切片中的 視頻塊進行編碼。圖片的經(jīng)幀間編碼（P或B)切片中的視頻塊可使用相對于同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可 被稱為幀，且參考圖片可涉及參考幀。
[0004] 空間或時間預(yù)測導(dǎo)致對塊的預(yù)測塊進行譯碼。殘差數(shù)據(jù)表示待譯碼的原始塊與預(yù) 測塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測塊的參考樣本塊的運動向量及指示 經(jīng)譯碼塊與預(yù)測塊之間的差的殘差數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及殘差 數(shù)據(jù)來編碼。為了實現(xiàn)進一步壓縮，可以將殘差數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘差 變換系數(shù)，接著可以對殘差變換系數(shù)進行量化?？蓲呙枳畛醪贾脼槎S陣列的經(jīng)量化變換 系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0005] -般來說，本發(fā)明描述與可縮放視頻譯碼（SVC)相關(guān)的技術(shù)。在一些實施例中，使 用采用顯式地編碼的假設(shè)及隱式地導(dǎo)出的假設(shè)兩者的多假設(shè)運動補償以便減輕歸因于視 頻壓縮而引起的圖像失真。舉例來說，在譯碼增強層中的視頻單元時，視頻譯碼器可使用來 自參考層的信息以獲得可用于識別額外假設(shè)的額外運動補償數(shù)據(jù)。在從視頻位流中的已經(jīng) 存在的數(shù)據(jù)隱式地導(dǎo)出這些額外假設(shè)時，可以極少或沒有位流大小上的額外成本而獲得視 頻譯碼中的額外性能。在另一實例中，來自在空間上相鄰的視頻單元的運動信息可用于定 位額外假設(shè)。所導(dǎo)出的假設(shè)可隨后被平均或另外與顯式地編碼的假設(shè)組合以產(chǎn)生對視頻單 元的值的更好預(yù)測。
[0006] 附圖和以下描述中陳述一或多個實例的細節(jié)。其它特征、目標(biāo)及優(yōu)勢將從所述描 述及所述圖式以及從權(quán)利要求書而顯而易見。
【附圖說明】
[0007] 在整個圖式中，參考數(shù)字可再使用以指示參考元件之間的對應(yīng)關(guān)系。提供圖式以 說明本文中描述的實例實施例，并且無意限制本發(fā)明的范圍。
[0008] 圖1為說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼及解碼系統(tǒng) 的框圖。
[0009] 圖2是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0010] 圖3是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0011] 圖4是說明根據(jù)本發(fā)明的方面的實例候選運動向量的框圖。
[0012] 圖5是說明根據(jù)本發(fā)明的方面的空間候選掃描的框圖。
[0013] 圖6是說明根據(jù)本發(fā)明的方面的導(dǎo)出用于B切片的空間MVP候選者的實例的框 圖。
[0014] 圖7是說明根據(jù)本發(fā)明的方面的三個不同維度上的可縮放性的框圖。
[0015] 圖8是說明根據(jù)本發(fā)明的方面的SVC位流的實例結(jié)構(gòu)的框圖。
[0016] 圖9是說明根據(jù)本發(fā)明的方面的位流中的實例SVC存取單元的框圖。
[0017] 圖10是說明根據(jù)本發(fā)明的方面的用于隱式多假設(shè)運動補償（IMMC)的實例方法的 框圖。
[0018] 圖11為說明根據(jù)本發(fā)明的方面的用于編碼例程的方法的實施例的流程圖。
[0019] 圖12是說明根據(jù)本發(fā)明的方面的用于解碼例程的方法的一個實施例的流程圖。
【具體實施方式】
[0020] 本發(fā)明中描述的技術(shù)通常涉及可縮放視頻譯碼（SVC)及3D視頻譯碼。舉例來說， 所述技術(shù)可與高效率視頻譯碼01EVC)可縮放視頻譯碼（SVC)擴展相關(guān)，及供該HEVCSVC擴 展使用或在該ffiVC SVC擴展內(nèi)使用。在SVC擴展中，可存在多個視頻信息層。在極底層級 處的層可充當(dāng)基層（BL)，且在極頂部的層可充當(dāng)增強層（EL)。"增強型層"有時被稱作"增 強層"，且這些術(shù)語可互換地使用。所有在中間的層可充當(dāng)EL或參考層（RL)，或EL及參考 層兩者。舉例來說，在中間的層可為在其下方的層（例如基層或任何介入增強層）的EL，且 同時充當(dāng)在其上方的增強層的RL。
[0021] 僅出于說明的目的，使用僅包含兩個層（例如，較低層級層（例如基礎(chǔ)層）及較高 層級層（例如增強型層））的實例來描述本發(fā)明中描述的技術(shù)。應(yīng)理解，本發(fā)明中描述的實 例也可擴展到具有多個基礎(chǔ)層及增強層的實例。另外，為便于說明，以下揭示內(nèi)容主要使用 術(shù)語"幀"或"塊"。然而，這些術(shù)語不打算是限制性的。舉例來說，下文描述的技術(shù)可與不 同視頻單元（例如塊（例如，CU、PU、TU、宏塊等）、切片、幀等）一起使用。
[0022] 視頻譯碼標(biāo)準
[0023]視頻譯碼標(biāo)準包含 ITU-T H. 261、ISO/IEC MPEG-1 Visual、ITU-T H. 262 或 ISO/ IEC MPEG-2 Visual、ITU-T H. 263、ISO/IEC MPEG-4 Visual 及 ITU-T H.264(也被稱為 ISO/IEC MPEG-4 AVC)，包含其可縮放視頻譯碼（SVC)及多視圖視頻譯碼（MVC)擴展。此 夕卜，存在一種新的視頻譯碼標(biāo)準，即高效率視頻譯碼01EVC)，其正由ITU-T視頻譯碼專家 組（VCEG)及ISO/IEC運動圖片專家組（MPEG)的視頻譯碼聯(lián)合合作小組（JCT-VC)進行 開發(fā)。截至 2012年6 月 7 日，可從 http://wgll.sc29.Org/jct/doc_end_user/cu:rrent_ document.php? id = 5885/JCTVC-I1003-v2 獲得 HEVC 的最近草案。截至 2012年6 月 7 日， 可從 http ://phenix. it_sudparis.eu/jct/doc_end_user/documents/9_Geneva/wgll/ JCTVC-11003-v3. zip下載被稱作"HEVC工作草案7 "的HEVC標(biāo)準的另一最近草案。對HEVC 工作草案7的完全引用是布洛斯等人的文獻HCTVC-I1003 "高效率視頻譯碼（HEVC)文本 規(guī)范草案 7 (High Efficiency Video Coding (HEVC) Text Specification Draft7)"，ITU_T SG16WP3及ISO/IEC JTC1/SC29/WG11的視頻譯碼聯(lián)合合作小組（JCT-VC)，第9次會議：瑞 士日內(nèi)瓦，2012年4月27日到2012年5月7日。這些參考文獻中的每一者以全文引用的 方式并入本文中。
[0024] 可縮放視頻譯碼（SVC)可用于提供質(zhì)量（還被稱作信噪比（SNR))可縮放性、空間 可縮放性及/或時間可縮放性。舉例來說，在一個實施例中，參考層（例如，基礎(chǔ)層）包含 足以在第一質(zhì)量水平下顯示視頻的視頻信息，且增強層包含相對于所述參考層的額外視頻 信息，以使得所述參考層及所述增強層一起包含足以在高于所述第一水平的第二質(zhì)量水平 (例如，更少的噪聲、更大的分辨率、更好的幀速率等）下顯示視頻的視頻信息。增強型層可 具有與基礎(chǔ)層不同的空間分辨率。舉例來說，EL與BL之間的空間縱橫比可為1. 0、1. 5、2. 0 或其它不同比率。換句話說，EL的空間方面可等于BL的空間方面的1. 0、1. 5或2. 0倍。在 一些實例中，EL的縮放因數(shù)可大于BL。舉例來說，EL中的圖片的大小可大于BL中的圖片 的大小。以此方式，可有可能（但不限制）EL的空間分辨率大于BL的空間分辨率。
[0025] 在H. 264的SVC擴展中，可使用針對SVC提供的不同層來執(zhí)行對當(dāng)前塊的預(yù)測。此 預(yù)測可被稱作層間預(yù)測。在SVC中可利用層間預(yù)測方法以便減少層間冗余。層間預(yù)測的一 些實例可包含層間幀內(nèi)預(yù)測、層間運動預(yù)測及層間殘差預(yù)測。層間幀內(nèi)預(yù)測使用基礎(chǔ)層中 的位于同一地點的塊的重構(gòu)來預(yù)測增強層中的當(dāng)前塊。層間運動預(yù)測使用基礎(chǔ)層的運動來 預(yù)測增強層中的運動。層間殘差預(yù)測使用基礎(chǔ)層的殘差來預(yù)測增強層的殘差。
[0026] 在層間運動預(yù)測的一些實施例中，基礎(chǔ)層（例如，位于同一地點的塊）的運動數(shù)據(jù) 可用于預(yù)測增強層中的當(dāng)前塊。舉例來說，在譯碼增強層中的視頻單元時，視頻譯碼器可使 用來自參考層的信息以獲得可用于識別額外假設(shè)的額外運動補償數(shù)據(jù)。在從視頻位流中的 已經(jīng)存在的數(shù)據(jù)隱式地導(dǎo)出這些額外假設(shè)時，可以極少或沒有位流大小上的額外成本而獲 得視頻譯碼中的額外性能。在另一實例中，來自在空間上相鄰的視頻單元的運動信息可用 于定位額外假設(shè)。所導(dǎo)出的假設(shè)可隨后被平均或另外與顯式地編碼的假設(shè)組合以產(chǎn)生對視 頻單元的值的更好預(yù)測。
[0027] 下文參考附圖更充分地描述新穎系統(tǒng)、設(shè)備及方法的各種方面。然而，本發(fā)明可以 許多不同形式來體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 而是，提供這些方面以使得本發(fā)明將為透徹且完整的，并且將向所屬領(lǐng)域的技術(shù)人員充分 傳達本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定涵 蓋無論是獨立于本發(fā)明的任何其它方面而實施還是與之組合而實施的本文中所揭示的新 穎系統(tǒng)、設(shè)備及方法的任何方面。舉例來說，可使用本文中所闡述的任何數(shù)目個方面來實施 設(shè)備或?qū)嵺`方法。另外，本發(fā)明的范圍既定涵蓋使用除本文中所闡述的本發(fā)明的各種方面 之外的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來 實踐的此設(shè)備或方法。應(yīng)理解，可通過技術(shù)方案的一或多個要素來體現(xiàn)本文中所揭示的任 何方面。
[0028] 盡管本文描述了特定方面，但這些方面的許多變化和排列屬于本發(fā)明的范圍。盡 管提及優(yōu)選方面的一些益處及優(yōu)點，但本發(fā)明的范圍無意限于特定益處、用途或目標(biāo)。而 是，本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和傳輸協(xié)議，其中的一 些是作為實例而在圖中以及在優(yōu)選實施例的以下描述中得以說明。詳細描述和圖式僅說明 本發(fā)明，而不是限制由所附權(quán)利要求書及其等效者界定的本發(fā)明的范圍。
[0029] 圖1為說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼及解碼系統(tǒng) 的框圖。如圖1中所示，系統(tǒng)10包含源裝置12,所述源裝置12提供經(jīng)編碼視頻數(shù)據(jù)以在稍 后時間由目的地裝置14解碼。具體來說，源裝置12經(jīng)由計算機可讀媒體16將視頻數(shù)據(jù)提 供給目的地裝置14。源裝置12及目的地裝置14可包括廣泛范圍的裝置中的任一者，包含 桌上型計算機、筆記型（例如，膝上型）計算機、平板計算機、機頂盒、例如所謂的"智能"電 話等電話手持機、所謂的"智能"板、電視、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制 臺、視頻流式傳輸裝置或其類似者。在一些情況下，源裝置12和目的地裝置14可能經(jīng)裝備 以用于無線通信。
[0030] 目的地裝置14可經(jīng)由計算機可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計算機 可讀媒體16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型 的媒體或裝置。在一個實例中，計算機可讀媒體16可包括使得源裝置12能夠?qū)崟r將經(jīng)編 碼視頻數(shù)據(jù)直接傳輸?shù)侥康牡匮b置14的通信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)通信標(biāo)準（例 如，無線通信協(xié)議）來調(diào)制，且被傳輸?shù)侥康牡匮b置14。通信媒體可包括任何無線或有線通 信媒體，例如射頻（RF)頻譜或一或多個物理傳輸線路。通信媒體可形成基于包的網(wǎng)絡(luò)（例 如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng)）的部分。通信媒體可包含路由器、交換器、基 站或可用于促進從源裝置12到目的地裝置14的通信的任何其它裝備。
[0031] 在一些實例中，經(jīng)編碼數(shù)據(jù)可以從輸出接口 22輸出到存儲裝置。類似地，可以通 過輸入接口從存儲裝置存取經(jīng)編碼數(shù)據(jù)。存儲裝置可包含多種分布式或本地存取的數(shù)據(jù)存 儲媒體中的任一者，例如硬盤驅(qū)動器、藍光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失 性存儲器或任何其它用于存儲經(jīng)編碼視頻數(shù)據(jù)的合適的數(shù)字存儲媒體。在另一實例中，存 儲裝置可以對應(yīng)于文件服務(wù)器或可存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲裝 置。目的地裝置14可經(jīng)由流式傳輸或下載從存儲裝置存取經(jīng)存儲的視頻數(shù)據(jù)。文件服務(wù) 器可以是能夠存儲經(jīng)編碼視頻數(shù)據(jù)并且將所述經(jīng)編碼視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14的任 何類型的服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器（例如，用于網(wǎng)站）、FTP服務(wù)器、網(wǎng)絡(luò)附 接存儲（NAS)裝置或本地磁盤驅(qū)動器。目的地裝置14可以通過任何標(biāo)準數(shù)據(jù)連接（包含 因特網(wǎng)連接）來存取經(jīng)編碼視頻數(shù)據(jù)。此可包含無線通道（例如，Wi-Fi連接）、有線連接 (例如，DSL、纜線調(diào)制解調(diào)器，等等），或適合于存取存儲于文件服務(wù)器上的經(jīng)編碼視頻數(shù) 據(jù)的以上兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的傳輸可能是流式傳輸、下載傳輸或兩 者的組合。
[0032] 本發(fā)明的技術(shù)不必限于無線應(yīng)用或環(huán)境。所述技術(shù)可以應(yīng)用于支持多種多媒體應(yīng) 用中的任一者的視頻譯碼，例如空中協(xié)議電視廣播、有線電視傳輸、衛(wèi)星電視傳輸、因特網(wǎng) 流式視頻傳輸（例如，動態(tài)自適應(yīng)HTTP流式傳輸（DASH))、經(jīng)編碼到數(shù)據(jù)存儲媒體上的數(shù)字 視頻，存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實例中，系統(tǒng)10可經(jīng) 配置以支持單向或雙向視頻傳輸，以支持例如視頻流式傳輸、視頻回放、視頻廣播和/或視 頻電話等應(yīng)用。
[0033] 在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。目的 地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻 編碼器20可經(jīng)配置以應(yīng)用用于對包含符合多個標(biāo)準或標(biāo)準擴展的視頻數(shù)據(jù)的位流進行譯 碼的技術(shù)。在其它實例中，源裝置和目的地裝置可包含其它組件或布置。舉例來說，源裝置 12可從外部視頻源18 (例如外部相機）接收視頻數(shù)據(jù)。同樣，目的地裝置14可以與外部顯 示裝置介接，而非包含集成顯示裝置。
[0034]圖1的所說明的系統(tǒng)10只是一個實例。用于確定當(dāng)前塊的運動向量預(yù)測符的候 選列表的候選者的技術(shù)可由任何數(shù)字視頻編碼和/或解碼裝置執(zhí)行。盡管本發(fā)明的技術(shù)一 般通過視頻編碼裝置來執(zhí)行，但是所述技術(shù)還可通過視頻編碼器/解碼器（通常被稱作"編 碼解碼器"）來執(zhí)行。此外，本發(fā)明的