再取樣過程中的中間數(shù)據(jù)的動態(tài)范圍控制的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼和壓縮的領(lǐng)域。具體來說，其涉及可縮放視頻譯碼（SVC)， 包含用于高級視頻譯碼（AVC)的SVC以及用于高效視頻譯碼（HEVC)的SVC(其也稱為可 縮放HEVC(SHVC))。其還涉及3D視頻譯碼，例如HEVC的多視圖擴展（被稱作MV-HEVC和 3D-HEVC)。各種實施例涉及用于再取樣過程中的中間數(shù)據(jù)的動態(tài)范圍控制的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼 相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線 電電話（所謂的"智能電話"）、視頻電話會議裝置、視頻串流裝置等等。數(shù)字視頻裝置實施 視頻譯碼技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部分高級 視頻譯碼（AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效視頻譯碼（HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴 展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實施此些視頻譯碼技術(shù)而更有效地發(fā)射、接 收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測和/或時間（圖片間）預(yù)測以減少或移除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，視頻幀或視頻幀的一 部分）可以分割成視頻塊，視頻塊也可被稱作樹塊、譯碼單元（CU)和/或譯碼節(jié)點。使用 相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測對圖片的經(jīng)幀內(nèi)譯碼（I)切片中的 視頻塊進行編碼。圖片的經(jīng)幀間編碼（P或B)切片中的視頻塊可使用相對于同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可 稱為幀，且參考圖片可稱為參考幀。
[0004] 空間或時間預(yù)測產(chǎn)生用于待譯碼塊的預(yù)測塊。殘差數(shù)據(jù)表示待譯碼原始塊與預(yù)測 塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測塊的參考樣本塊的運動向量和指示經(jīng) 譯碼塊與預(yù)測塊之間的差的殘差數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式和殘差數(shù) 據(jù)來編碼的。為了進一步壓縮，可將殘差數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘差變換系 數(shù)，接著可以對殘差變換系數(shù)進行量化?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化變換系數(shù)，以 便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0005] -般來說，本發(fā)明描述與可縮放視頻譯碼（SVC)有關(guān)的技術(shù)。下文描述的各種技 術(shù)提供用于再取樣過程中的中間數(shù)據(jù)的動態(tài)范圍控制的所描述方法和裝置。
[0006] 根據(jù)某些方面的用于對視頻信息進行譯碼的設(shè)備包含存儲器和處理器。存儲器單 元經(jīng)配置以存儲視頻信息。處理器經(jīng)配置以：獲得參考層視頻信息；在第一維度中對參考 層視頻信息上取樣以產(chǎn)生中間輸出；將所述中間輸出約束到預(yù)定位深度；以及在第二維度 中對所述受約束中間輸出上取樣，其中所述第二維度正交于所述第一維度。
[0007] 在附圖和以下描述中陳述一或多個實例的細(xì)節(jié)，其并不希望限制本文中所描述的 發(fā)明性概念的完整范圍。其它特征、目標(biāo)和優(yōu)勢將從所述描述和圖式以及從權(quán)利要求書顯 而易見。
【附圖說明】
[0008] 在整個圖式中，參考數(shù)字可再使用以指示參考元件之間的對應(yīng)關(guān)系。提供圖式以 說明本文中描述的實例實施例，且并不希望限制本發(fā)明的范圍。
[0009] 圖1是說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼和解碼系統(tǒng) 的框圖。
[0010] 圖2A為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框 圖。
[0011] 圖2B是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框 圖。
[0012] 圖3A是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框 圖。
[0013] 圖3B是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框 圖。
[0014] 圖4為說明根據(jù)本發(fā)明的方面用于再取樣過程中的中間數(shù)據(jù)的動態(tài)范圍控制的 實例方法的流程圖。
[0015] 圖5為說明根據(jù)本發(fā)明的方面用于再取樣過程中的中間數(shù)據(jù)的動態(tài)范圍控制的 另一實例方法的流程圖。
【具體實施方式】
[0016] 本發(fā)明中描述的技術(shù)一般涉及可縮放視頻譯碼（SHVC，SVC)和多視圖/3D視頻譯 碼（例如，多視圖譯碼加上深度，MVC+D)。舉例來說，所述技術(shù)可與高效視頻譯碼（HEVC)可 縮放視頻譯碼（SVC，有時稱為SHVC)擴展相關(guān)，且與其一起或在其內(nèi)使用。在SHVC、SVC擴 展中，可存在多個視頻信息層。視頻信息的最低層級處的層可充當(dāng)基礎(chǔ)層（BL)或參考層 (RL)，且視頻信息的最頂部（或最高層）處的層可充當(dāng)增強層（EL)。"增強型層"有時被稱 作"增強層"，且這些術(shù)語可互換地使用。"基礎(chǔ)層"有時被稱作"參考層"，且這些術(shù)語也可 互換地使用。基礎(chǔ)層與頂層之間的所有層可充當(dāng)額外EL和/或參考層。舉例來說，給定層 可為用于所述給定層下方（例如，在前面）的層（例如基礎(chǔ)層或任何介入增強層）的EL。 此外，給定層還可充當(dāng)用于給定層上方（例如，在其之后）的一或多個增強層的RL。基礎(chǔ)層 (例如，具有例如設(shè)定為或等于"1"的層識別（ID)的最低層）與頂層（或最高層）之間的 任何層可用作用于比給定層高的層的層間預(yù)測的參考，且可使用比給定層低的層作為用于 層間預(yù)測的參考。舉例來說，可使用比給定層低的層作為用于層間預(yù)測的參考來確定給定 層。
[0017] 為簡單起見，根據(jù)僅兩個層來呈現(xiàn)實例：BL及EL ;然而，應(yīng)很好地理解，下文描述 的構(gòu)想和實施例也適用于具有多個層的情況。此外，為了易于解釋，常常使用術(shù)語"幀"或 "塊"。然而，這些術(shù)語不希望是限制性的。舉例來說，下文描述的技術(shù)可與多種視頻單元中 的任一者一起使用，所述視頻單元包含但不限于像素、塊（例如，〇]、？1]、11]、宏塊等）、切片、 幀、圖片等。
[0018] 視頻譯碼
[0019] 視頻譯碼標(biāo)準(zhǔn)包含 ITU-T H. 261、IS0/ffiC MPEG-lVisual、ITU-T H. 262 或 IS0/IEC MPEG-2Visual、ITU-T Η· 263、IS0/IEC MPEG-4Visual 及 ITU-T Η· 264(也被稱作 IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼（SVC)和多視圖視頻譯碼（MVC)及多視圖譯碼加上深 度（MVC+D)擴展。最新的HEVC草案規(guī)格（且下文中被稱作HEVC WD10)可從http://phenix. int-evry. fr/jet/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34. zip 獲 得。對HEVC的多視圖擴展（即，MV-HEVC)也正由JCT-3V開發(fā)。下文的MV-HEVC WD3的最近 工作草案（WD)可從 http://phenix. it_sudparis.eu/jct2/doc_end_user/documents/3_ Geneva/wgll/JCT3V-C1004-v4. zip獲得。被稱為SHVC的對HEVC的可縮放擴展也是由 JCT-VC開發(fā)的。SHVC的最近工作草案（WD)(且在下文被稱作SHVC WD1)可從http:// phenix. int-evry. fr/jet/doc_end_user/documents/12_Geneva/wgl1/JCTVC-L1008-vl. zip獲得。
[0020] 在SVC和SHVC中，視頻信息可作為多個層提供。在最底部層級處的層可僅充當(dāng)基 礎(chǔ)層（BL)，且在最頂部層級處的層可充當(dāng)增強層（EL)。頂部層與底部層之間的所有層可充 當(dāng)增強層和參考層兩者。舉例來說，在中間的層可為用于其下方的層的EL，且同時作為用于 其上方的層的RL。出于描述的簡單性起見，在說明下文描述的技術(shù)時，可假設(shè)存在兩個層： BL和EL。然而，本文中描述的所有技術(shù)還適用于具有多個（兩個以上）層的情況。
[0021] 可縮放視頻譯碼（SVC)可用于提供質(zhì)量（也稱為信噪比（SNR))可縮放性、空間 可縮放性和/或時間可縮放性。舉例來說，在一個實施例中，參考層（例如，基礎(chǔ)層）包含 足以在第一質(zhì)量水平下顯示視頻的視頻信息，且增強層包含相對于所述參考層的額外視頻 信息，以使得所述參考層和所述增強層一起包含足以在高于所述第一水平的第二質(zhì)量水平 (例如，更少的噪聲、更大的分辨率、更好的幀速率等）下顯示視頻的視頻信息。增強型層 可具有與基礎(chǔ)層不同的空間分辨率。舉例來說，EL與BL之間的空間縱橫比可為1. 0、1. 5、 2. 0或其它不同比率。換句話說，EL的空間縱橫尺寸可等于BL的空間縱橫尺寸的1. 0、1. 5 或2.0倍。在一些實例中，EL的縮放因子可大于BL。舉例來說，EL中的圖片的大小可大于 BL中的圖片的大小。以此方式，可有可能（但非限制）EL的空間分辨率大于BL的空間分辨 率。
[0022] 在涉及用于H. 264的SVC擴展或用于H. 265的SHVC擴展（如上文所論述）的SVC 中，當(dāng)前塊的預(yù)測可使用為SVC提供的不同層來執(zhí)行。此預(yù)測可被稱為層間預(yù)測。在SVC 中可利用層間預(yù)測方法以便減少層間冗余。層間預(yù)測的一些實例可包含層間幀內(nèi)預(yù)測、層 間運動預(yù)測和層間殘差預(yù)測。層間幀內(nèi)預(yù)測使用基礎(chǔ)層中的協(xié)同定位塊的重建來預(yù)測增強 層中的當(dāng)前塊。層間運動預(yù)測使用基礎(chǔ)層的運動信息（包含運動向量）來預(yù)測增強層中的 運動。層間殘差預(yù)測使用基礎(chǔ)層的殘差來預(yù)測增強層的殘差。
[0023] 歷
[0024] 在SHVC中，參考層圖片可需要經(jīng)再取樣（例如）用于增強層中的層間預(yù)測?？赏?過對來自參考層圖片的明度樣本應(yīng)用再取樣濾波器而執(zhí)行再取樣。舉例來說，可應(yīng)用η-分 接頭濾波器。所述再取樣過程可在用于二維再取樣的兩個步驟中發(fā)生。首先，可執(zhí)行水平 再取樣，且隨后可執(zhí)行垂直再取樣。舉例來說，可對從水平再取樣過程輸出的視頻信息執(zhí)行 垂直再取樣。再取樣濾波器可接收明度樣本作為輸入，且水平再取樣過程可基于所輸入的 明度樣本產(chǎn)生中間輸出。中間輸出可隨后用作針對垂直再取樣步驟的輸入。在一些情形 中，水平再取樣過程可將額外位添加到所輸入的明度樣本使得中間輸出與所輸入明度樣本 相比具有較多位（例如，具有較大位深度）。額外位可使數(shù)據(jù)范圍相當(dāng)大，且可對垂直再取 樣步驟的計算復(fù)雜性具有顯著影響。舉例來說，用于中間數(shù)據(jù)的緩沖器可隨著數(shù)據(jù)范圍變 高而成比例地增加。并且，內(nèi)插過程（尤其乘法運算）的復(fù)雜性可很大程度取決于輸入數(shù) 據(jù)的位深度。此外，存在需要具有不超過特定預(yù)定最大值的位深度的輸入的特定計算指令 集。舉例來說，可僅在具有16位（例如，具有16位位深度）的輸入上使用特定16位指令 集。因此，約束（例如，減小或限制）多階段再取樣過程的第一階段的中間輸出的位深度將 是有利的。
[0025] 為了解決這些和其它問題，本發(fā)明中描述的技術(shù)可將來自初始再取樣過程（例 如，水平再取樣）的中間輸出的位深度約束到指定位數(shù)。在一些實施例中，可通過將中間輸 出右移（例如，應(yīng)用右移操作">>"）特定位數(shù)而實現(xiàn)將位深度約束到指定位數(shù)。可基于輸 入到再取樣濾波器的所輸入明度樣本的位深度確定將中間輸出右移的位數(shù)。舉例來說，中 間輸出可被約束到16位，且可通過從所輸入明度樣本的位深度減去8位而計算將中間輸出 右移的位數(shù)?？苫谒斎朊鞫葮颖镜奈粩?shù)動態(tài)地確定移位的位數(shù)。如上文所提及，添加 到來自初始再取樣過程（例如，水平再取樣）的中間輸出的額外位可使數(shù)據(jù)范圍較大且對 接下來再取樣過程（例如，垂直再取樣）的計算復(fù)雜性具有顯著影響。以此方式約束中間 輸出可緩解這些問題和/或難題。此外，以此方式約束中間輸出可產(chǎn)生更精確結(jié)果且減小 四舍五入誤差，且可允許譯碼裝置和過程利用特定更有效譯碼指令集。
[0026] 在一些實施例中，來自垂直再取樣過程的輸出也可以類似方式受約束。在某些實 施例中，可在水平再取樣過程之前執(zhí)行垂直再取樣過程。所述技術(shù)還可應(yīng)用于三維譯碼。舉 例來說，來自X軸中的再取樣的中間輸出可被約束到預(yù)定位深度，且來自y軸中的再取樣的 中間輸出也可被約束到預(yù)定位深度。待移位的位數(shù)可基于所輸入明度樣本的位深度和/或 來自再取樣中的先前步驟的中間輸出的位深度。通常，參考層圖片通常經(jīng)上取樣，但在一些 實施例中，增強層圖片可經(jīng)下取樣。
[0027] 下文參看附圖更充分地描述新穎系統(tǒng)、設(shè)備和方法的各個方面。然而，本發(fā)明可以 許多不同形式來體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 實際上，提供這些方面以使得本發(fā)明將為透徹且完整的，并且將向所屬領(lǐng)域的技術(shù)人員充 分傳達本發(fā)明的范圍?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定 涵蓋無論是獨立于本發(fā)明的任何其它方面而實施還是與之組合而實施的本文中所揭示的 新穎系統(tǒng)、設(shè)備和方法的任何方面。舉例來說，可使用本文中所陳述的任何數(shù)目個方面來實 施設(shè)備或?qū)嵺`方法。此外，本發(fā)明的范圍既定涵蓋使用作為本文中所陳述的本發(fā)明的各種 方面的補充或替代的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來實踐的此設(shè)備或方法。應(yīng)理解，可 通過權(quán)利要求的一或多個要素來體現(xiàn)本文中所揭示的任何方面。
[0028] 盡管本文描述了特定方面，但這些方面的許多變化和排列屬于本發(fā)明的范圍。盡 管提到了優(yōu)選方面的一些益處和優(yōu)點，但本發(fā)明的范圍不希望限于特定益處、用途或目標(biāo)。 實際上，本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和發(fā)射協(xié)議，其中 的一些是借助于實例而在圖中以及在優(yōu)選方面的以下描述中說明。詳細(xì)描述和圖式僅說明 本發(fā)明，而不具有限制性，本發(fā)明的范圍由所附權(quán)利要求書及其等效物界定。
[0029] 視頻譯碼系統(tǒng)
[0030] 圖1為說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實例視頻譯碼系統(tǒng)10的 框圖。如本文中所描述地使用，術(shù)語"視頻譯碼器"一般指代視頻編碼器和視頻解碼器兩者。 在本發(fā)明中，術(shù)語"視頻譯碼"或"譯碼"可一般地指代視頻編碼和視頻解碼。
[0031] 如圖1中所示，視頻譯碼系統(tǒng)10包含源裝置12和目的地裝置14。源裝置12產(chǎn)生 經(jīng)編碼視頻數(shù)據(jù)。目的地裝置14可解碼由源裝置12產(chǎn)生的經(jīng)編碼視頻數(shù)據(jù)。源裝置12 可經(jīng)由通信信道16將視頻數(shù)據(jù)提供到目的地裝置14,通信信道16可包含計算機可讀存儲 媒體或其它通信信道。源裝置12和目的地裝置14可包含廣泛范圍的裝置，包含臺式計算 機、筆記型（例如，膝上型）計算機、平板計算機、機頂盒、電話手持機（例如所謂的"智能" 電話、所謂的"智能"板）、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、車載 計算機、視頻串流裝置，等等。源裝置12和目的地裝置14可經(jīng)裝備以用于無線通信。
[0032] 目的地裝置14可經(jīng)由通信信道16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。通信信道16 可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的一類型的媒體或裝置。 舉例來說，通信信道16可包括使得源裝置12能夠?qū)崟r地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目 的地裝置14的通信媒體。經(jīng)編碼的視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)（例如無線通信協(xié)議）而調(diào) 制，且被發(fā)射到目的地裝置14。通信媒體可包括無線或有線通信媒體，例如射頻（RF)頻譜 或一或多個物理發(fā)射線路。通信媒體可形成分組網(wǎng)絡(luò)（例如局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例 如因特網(wǎng)）的部分。通信媒體可包含路由器、交換器、基站或可用于促進從源裝置12到目 的地裝置14的通信的其它設(shè)備。
[0033] 在一些實施例中，經(jīng)編碼數(shù)據(jù)可從輸出接口 22輸出到存儲裝置。在此些實例中， 信道16可對應(yīng)于存