專利名稱：視頻壓縮和傳送技術(shù)的制作方法
技術(shù)領(lǐng)域：
本公開涉及視頻數(shù)據(jù)(諸如用于視頻壓縮、存儲(chǔ)和/或傳送系統(tǒng)的視頻數(shù)據(jù))的 速率分配、速率控制和/或復(fù)雜性。
背景技術(shù)：
速率分配和速率控制是現(xiàn)代視頻壓縮系統(tǒng)的完整的成分。速率分配是對于圖片編 碼分配位目標(biāo)(bit target)的功能。速率控制是在圖片編碼中實(shí)現(xiàn)位目標(biāo)的機(jī)制。壓縮的位流能夠通過速率控制滿足由傳送或目標(biāo)介質(zhì)施加的特定的帶寬約束。速 率控制算法可嘗試改變對于各圖片分配的位的數(shù)量，使得在通常維持良好的視覺質(zhì)量的同 時(shí)實(shí)現(xiàn)目標(biāo)位速率。可以在各種配置中對壓縮的視頻位流中的圖片進(jìn)行編碼。例如，編碼類型可包含預(yù)測內(nèi)、預(yù)測間和雙預(yù)測片斷。

發(fā)明內(nèi)容
這些和其它實(shí)施例可任選地包含以下的特征中的一個(gè)或更多個(gè)。一般地，在本公 開中描述的主題的實(shí)現(xiàn)以一種用于估計(jì)圖片的復(fù)雜性的方法為特征，該方法包括接收從運(yùn) 動(dòng)補(bǔ)償處理器或分析器、運(yùn)動(dòng)補(bǔ)償器、空間處理器、濾波器或從由先前的編碼道次(pass) 產(chǎn)生的結(jié)果產(chǎn)生的圖片的復(fù)雜性的量度。復(fù)雜性包含時(shí)間、空間或亮度特性。該方法包括 通過確定圖片是否與將來的或過去的圖片相關(guān)并確定圖片或圖片的區(qū)域是否比不遮掩偽 像的將來的或過去的圖片或圖片的區(qū)域更有效地遮掩(mask)偽像、估計(jì)圖片的復(fù)雜性的 量度。該方法的一些實(shí)現(xiàn)可使用編碼統(tǒng)計(jì)(和/或圖片的其它特性)以將圖片的區(qū)域中的 偽像的遮掩與圖片的至少一個(gè)其它的區(qū)域、過去的圖片的至少一個(gè)其它的區(qū)域或?qū)淼膱D 片的至少一個(gè)其它的區(qū)域相比較，或者，使用編碼統(tǒng)計(jì)以將圖片中的遮掩偽像與過去的圖 片或?qū)淼膱D片相比較；然后通過使用編碼統(tǒng)計(jì)估計(jì)復(fù)雜性的量度。這些特征的這些和其 它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行用于估計(jì)圖片的復(fù)雜性的操作的相應(yīng)的裝置、 系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含一種用于產(chǎn)生高質(zhì)量編碼視頻的 方法的實(shí)現(xiàn)。該方法包括評(píng)定視頻圖片之間的復(fù)雜性信息，這里，復(fù)雜性信息包含時(shí)間、 空間或亮度信息，并且，視頻圖片包含視頻幀。該方法包括使用復(fù)雜性信息以確定幀類型并 分析參數(shù)。參數(shù)包含用于場景變化、淡入、淡出、交叉衰落、局部照明變化、照相機(jī)搖攝或照 相機(jī)變焦的參數(shù)。該方法還包括通過使用分析的參數(shù)過濾視頻幀之間的統(tǒng)計(jì)量和/或復(fù)雜 性，以去除界外值(outlier)并且/或者避免視頻幀之間的編碼參數(shù)和/或視頻質(zhì)量的突然波動(dòng)。這些特征的這些和其它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行用于產(chǎn)生高質(zhì)量 編碼視頻的操作的相應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品 中。一般地，在本公開中描述的主題的其它方面包含一種估計(jì)圖片的復(fù)雜性的方法的 實(shí)現(xiàn)。該方法包括確定圖片是否在分層(hierarchical)結(jié)構(gòu)中被編碼。分層結(jié)構(gòu)包含多個(gè) 圖片級(jí)別和不同的圖片級(jí)別上的位或編碼參數(shù)。當(dāng)確定圖片被分配給一定的分層級(jí)別時(shí)， 該方法包括基于圖片的重要性將圖片編碼。編碼包含控制圖片的質(zhì)量水平并且基于重要性 改變圖片的編碼參數(shù)中的至少一個(gè)。這些特征的這些和其它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處 理裝置執(zhí)行用于估計(jì)圖片的復(fù)雜性的操作的相應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀 介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含一種用于將視頻數(shù)據(jù)編碼的方法 的實(shí)現(xiàn)。該方法包括在宏塊的基礎(chǔ)上將視頻數(shù)據(jù)的參數(shù)編碼，這里，編碼包含慮及(account for)空間和時(shí)間統(tǒng)計(jì)的變化。該方法包括產(chǎn)生復(fù)雜性量度；確定復(fù)雜性量度的重要性；將 復(fù)雜性量度映射到編碼參數(shù)組；和使用復(fù)雜性量度以調(diào)整編碼參數(shù)組，以通過使得視頻數(shù) 據(jù)中的圖像區(qū)域在視頻數(shù)據(jù)中較重要或較不重要來提高/增加視頻數(shù)據(jù)的質(zhì)量水平。這些 特征的這些和其它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行與視頻處理相關(guān)的操作的相 應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含一種用于將圖片編碼的實(shí)現(xiàn)。該 方法包括接收當(dāng)前的幀；對于當(dāng)前的幀設(shè)定位速率目標(biāo)和位的數(shù)量；和確定圖片的復(fù)雜 性。復(fù)雜性的確定包含并行地確定各復(fù)雜性的編碼參數(shù)。復(fù)雜性的確定還包含在對于各復(fù) 雜性確定編碼參數(shù)之后，通過使用各復(fù)雜性將各圖片編碼，從編碼的各圖片選擇最終編碼 圖片，和通過使用最終編碼圖片選擇更新復(fù)雜性。這些特征的這些和其它的實(shí)現(xiàn)在可操作 為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行與視頻處理相關(guān)的操作的相應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算 機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含一種用于視頻的速率分配的方法 的實(shí)現(xiàn)。該方法包括接收用于圖片預(yù)見(look-ahead)緩沖器的信息；和在第一編碼道次 中，執(zhí)行速率分配，以設(shè)定圖片的位目標(biāo)。該速率分配包含利用圖片預(yù)見緩沖器以確定圖片 的復(fù)雜性，并且，通過使用速率控制模型選擇對于位目標(biāo)的編碼參數(shù)組。這些特征的這些和 其它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行與視頻處理相關(guān)的操作的相應(yīng)的裝置、系統(tǒng) 和/或被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含一種用于視頻編碼的速率分配的 方法的實(shí)現(xiàn)。該方法包括對于圖片初始化量子化(quantization)參數(shù)和剩余的位的數(shù) 量；以及對于圖片預(yù)見幀確定總復(fù)雜性。該方法還包括對于包含I編碼圖片、P編碼圖片或 周期性I編碼圖片的圖片確定片斷類型。片斷類型的確定包括對于I編碼圖片，確定分配 到交互編碼的圖片的位的數(shù)量，并且采用第一速率控制模型以使用量子化參數(shù)來將圖片編 碼；對于P編碼幀，確定對于預(yù)測性編碼圖片分配的位的數(shù)量，并且，通過使用量子化參數(shù) 采用第二速率控制模型來將圖片編碼；和對于周期性I編碼圖片，使用先前的量子化參數(shù) 以將圖片編碼。在片斷類型被確定之后，方法包括對于所確定的片斷類型將圖片編碼。這 些特征的這些和其它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行與視頻處理相關(guān)的操作的相應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含用于視頻編碼的方法的實(shí)現(xiàn)。該 方法包括在視頻系統(tǒng)中接收對于先前的圖片的編碼統(tǒng)計(jì)；和接收對于將來的圖片的預(yù)見信 息。該方法包括使用編碼參數(shù)組以將當(dāng)前的圖片編碼，這里，編碼參數(shù)組包含編碼參數(shù)。編 碼參數(shù)包含基本編碼參數(shù)組和用于對于先前的圖片和當(dāng)前的圖片實(shí)現(xiàn)目標(biāo)位速率的修改 量(modifier)。當(dāng)前的和先前的圖片包含用于調(diào)整圖片質(zhì)量和位速率分配的權(quán)重。該方法 還包括調(diào)整權(quán)重以修改當(dāng)前的和先前的圖片的圖片質(zhì)量。圖片質(zhì)量依賴于量子化參數(shù)的速 率因子，并且，權(quán)重的調(diào)整修改位速率分配。這些特征的這些和其它的實(shí)現(xiàn)在可操作為導(dǎo)致 數(shù)據(jù)處理裝置執(zhí)行與視頻處理相關(guān)的操作的相應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀 介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品中。一般地，在本公開中描述的主題的其它方面包含一種用于速率控制的方法的實(shí) 現(xiàn)。該方法包括初始化一組編碼參數(shù)和速率因子的值、確定位目標(biāo)、所使用的位的數(shù)量和編 碼參數(shù)修改量并確定對于位目標(biāo)的速率因子。該方法還包括從零級(jí)以上的幀、零級(jí)處的預(yù) 測編碼幀、零級(jí)處的內(nèi)編碼幀和零級(jí)處的周期性內(nèi)編碼幀之中確定片斷類型。該方法還包 括選擇所確定的片斷類型。這些特征的這些和其它的實(shí)現(xiàn)在可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí) 行與視頻處理相關(guān)的操作的相應(yīng)的裝置、系統(tǒng)和/或被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī) 程序產(chǎn)品中。本公開描述用于速率控制和速率分配的技術(shù)和系統(tǒng)。在一個(gè)方面，本公開給出用 于視頻編碼的速率分配和速率控制的新穎的單道次和多道次算法。提出的速率控制算法可 被設(shè)計(jì)為利用預(yù)見信息和/或過去的信息以執(zhí)行速率分配和速率控制。通過編碼器的一些 輕量或低級(jí)的版本、先前的編碼道次、通過將原始信號(hào)向下采樣并以較低的分辨率處理它、 或通過使用計(jì)算涉及輸入信號(hào)的各種統(tǒng)計(jì)的運(yùn)動(dòng)補(bǔ)償分析器或它們的組合，該信息可被道 次到速率控制算法?？赏ㄟ^場景和圖片統(tǒng)計(jì)的先進(jìn)的估計(jì)和過濾進(jìn)一步增強(qiáng)所述的速率控 制算法。統(tǒng)計(jì)的估計(jì)和過濾可使用來自將來和過去的圖片的信息。如這里使用的那樣，術(shù)語“片斷”、“圖片”和“幀”可被互換使用。圖片可以例如處 于幀或段區(qū)(field)編碼模式，并且可通過使用可以為任意類型的多個(gè)片斷或作為單一的 片斷將圖片編碼。一般地，即使在用不同類型的多個(gè)片斷將圖片編碼的情況下，這里討論的 所有技術(shù)和方法也可被應(yīng)用于各單個(gè)的片斷。在大多數(shù)的方面中，圖片可以是可限定幀或 段區(qū)的一般的術(shù)語。段區(qū)可指的是“交錯(cuò)型”圖片，而兩個(gè)相對的奇偶段區(qū)(例如，頂部和 底部段區(qū))可構(gòu)成幀(雖然，在該方案中，幀具有來自不同的時(shí)間間隔的奇數(shù)和偶數(shù)的線)。 即使本公開主要討論幀或幀圖片，相同的技術(shù)也適用于段區(qū)(例如，頂部或底部)圖片。術(shù)語“算法”可指的是步驟、方法、工藝、方案、過程、操作、程序、指南 (guidelines)、技術(shù)、次序和/或一組規(guī)則或指令。例如，算法可以是用于硬件和/或軟件視 頻處理器的一組視頻處理指令?？赏ㄟ^一個(gè)或更多個(gè)計(jì)算設(shè)備和/或機(jī)器(例如，在沒有 人交互作用的情況下)存儲(chǔ)、產(chǎn)生和處理這些算法。公開的算法可與視頻有關(guān)，并且，可在 視頻相關(guān)的系統(tǒng)和/或用于以任意的組合對于視頻數(shù)據(jù)進(jìn)行處理、壓縮、存儲(chǔ)、傳送、接收、 測試、校準(zhǔn)、顯示和/或任意的改善的任何裝置、機(jī)器、硬件和/或制造物品中產(chǎn)生、實(shí)現(xiàn)、關(guān) 聯(lián)和/或采用這些公開的算法。在一些方面中，本公開解決如何有效地對于特定的視頻序列分配位?？赏ㄟ^針對如何計(jì)算對于各圖片所需要的位的數(shù)量以及確信該圖片將以將實(shí)現(xiàn)其位目標(biāo)的方式被編 碼，完成這一點(diǎn)。在一些實(shí)現(xiàn)中，算法可通過利用一些預(yù)見特征使得(such)它具有將來的圖片的 復(fù)雜性的一些事先的信息產(chǎn)生位目標(biāo)，并且使用該信息以最終在包含整個(gè)圖片的圖片內(nèi)分 配位。當(dāng)沒有延遲約束時(shí)，可存在可在圖片前面移動(dòng)的預(yù)見窗口，并且，可以關(guān)于N個(gè)將來 的圖片獲得信息。并且，為了實(shí)現(xiàn)目標(biāo)位數(shù)，所公開的方案可以通過從先前的編碼段中取得 結(jié)果以迭代的方式使用位目標(biāo)。預(yù)見窗口可使用來自運(yùn)動(dòng)補(bǔ)償預(yù)先濾波器或先前的編碼會(huì) 話(session)的輸入。在用于譯碼(transcode)的方面的不同的實(shí)施例中，通過使用各種 可能的編碼方案，視頻輸入可具有事先編碼的視頻，并且，預(yù)見窗口可直接從該位流使用輸 入。本公開的多個(gè)部分描述可從過去和將來的幀/段區(qū)圖片統(tǒng)計(jì)的事先處理受益并 可被設(shè)計(jì)為用單一或多個(gè)編碼道次操作的速率分配和速率控制算法的一個(gè)或更多個(gè)族。這 些方案還可考慮可將一些編碼延遲強(qiáng)行加入系統(tǒng)中的圖片預(yù)見并從中受益。一般地，至少兩個(gè)算法族被引入和描述(a)用于具有預(yù)見的速率分配的算法/處 理的族；和(b)用于平均位速率(ABR)控制算法的算法/處理的族，該族也從預(yù)見受益但不 像(a)中的算法那樣依賴它。這里描述各算法族中的至少兩個(gè)算法。對于算法的第一族， 公開的兩個(gè)算法至少在內(nèi)速率控制上不同。對于算法的第二族，分別對于高復(fù)雜性ABR控 制和低復(fù)雜性ABR控制，公開兩種算法。后面的這兩種算法至少關(guān)于速率因子確定不同。描述算法可依賴于圖片復(fù)雜性的一些量度的幾種算法。然后，與用于復(fù)雜性處理 和過濾的先進(jìn)方法一起描述圖片復(fù)雜性估計(jì)。并且，可通過次序統(tǒng)計(jì)的綜合考慮，進(jìn)一步增 強(qiáng)諸如量子化器(QP)、拉格朗日乘數(shù)、閾值處理(thresholding)和量子化舍入(rounding) 偏移和用于分層圖片的速率分配的編碼參數(shù)。并且，描述可為了增加的壓縮增益在圖片內(nèi) 改變視覺質(zhì)量/分配位速率的算法。第一族中的第一算法是可依賴于可使用將來圖片的統(tǒng)計(jì)和復(fù)雜性量度的新穎的 速率分配算法。第一族中的第一算法(例如，參見采用預(yù)見的速率分配部分-算法1)可 產(chǎn)生用于各圖片的位目標(biāo)。該算法不必選擇用于將圖片編碼的編碼參數(shù)(例如，QP、拉格 朗日乘數(shù))。該選擇可以是下層任意速率控制模式的任務(wù)，其以位目標(biāo)為輸入并且產(chǎn)生 編碼參數(shù)?？捎糜谠撊我獾乃俾士刂颇Ｐ偷乃惴砂?quadratic)模型和P域 (rho-domain)速率控制模型等。一般地，只要速率控制將位目標(biāo)轉(zhuǎn)變成相應(yīng)的一組編碼參 數(shù)，該算法就可使用任意的速度控制。在一些實(shí)現(xiàn)中，第一族中的算法可以不使用速率控制，但是可確定每個(gè)圖片的位 數(shù)，然后，任意的速率控制算法可被用于將位映射到諸如QP值的編碼參數(shù)。編碼參數(shù)可被 擬合(fit)以實(shí)現(xiàn)希望的位速率目標(biāo)。該算法的各方面可使用預(yù)見窗口和/或過去的窗口 的復(fù)雜性以確定應(yīng)向各圖片分配多少的位。并且，可基于其它的圖片如何被編碼或可望被 編碼(例如，可以考慮當(dāng)選擇如何將圖片編碼時(shí)對圖片的將來影響)調(diào)整用于圖片的位的 數(shù)量。該族中的第二算法與第一個(gè)的不同之處主要在于對內(nèi)編碼圖片的考慮。與第一算法相比，第二族的算法(例如，參見具有預(yù)見的高復(fù)雜性和低復(fù)雜性ABR 速率控制的部分)可以較少依賴于將來圖片(例如，預(yù)見)，并且可以在先前的圖片統(tǒng)計(jì)上 采用復(fù)雜處理。這些算法可同時(shí)執(zhí)行速率分配和速率控制。對于各圖片不設(shè)定位目標(biāo)。事實(shí)上，這些算法嘗試實(shí)現(xiàn)對于至今被編碼的所有圖片(包含當(dāng)前的圖片)的平均目標(biāo)位速 率。它們可使用包含來自將來的信息的復(fù)雜性估計(jì)。這些算法的各方面可考慮沒有從其它 的幀預(yù)測的幀。這些算法可被表征為平均位速率(ABR)速率控制算法。第二族的第二算法(例如，參見具有預(yù)見的高復(fù)雜性和低復(fù)雜性ABR速率控制的 部分)可共享與該族的第一算法的類似性中的許多，并且，在一些實(shí)現(xiàn)中，可具有非常低的 計(jì)算復(fù)雜性的優(yōu)點(diǎn)。兩種算法可執(zhí)行速率分配和速率控制兩者，并且，可從將來和先前的圖 片信息受益。雖然第一族算法中的算法可通過局部調(diào)整分配多少位實(shí)現(xiàn)全局目標(biāo)，但第二族的 算法可以在不必對于圖片明確規(guī)定位數(shù)的情況下實(shí)現(xiàn)全局目標(biāo)。這些算法可用于將圖片之 間的質(zhì)量“平滑化”，以避免圖片中的不希望的偽像。這些算法可分配編碼參數(shù)以在不必對 于每個(gè)圖片實(shí)現(xiàn)確切的位目標(biāo)的情況下實(shí)現(xiàn)總位速率目標(biāo)。由此，與第一族的算法相比，第 二族的算法在位域中比較不呈粒狀。換句話說，第一族的算法可在位域中操作更多(例如， 與位速率相關(guān))，而第二族的算法可在質(zhì)量域中操作更多(例如，與畸變相關(guān))。第二族的算法可通過使用來自先前的編碼圖片的統(tǒng)計(jì)獲得目標(biāo)位速率，但是，第 二族的一些算法在一些實(shí)現(xiàn)中可具有更高的復(fù)雜性(例如，參見具有預(yù)見的高復(fù)雜性ABR 速率控制的部分)。在一些實(shí)現(xiàn)中，第二族的算法可具有一些類似性，諸如如何使用QP值。 這些算法中的一些的預(yù)見可降為零，并且，來自過去的統(tǒng)計(jì)可被用于預(yù)測將來。過去的信息 可來自序列的開始或來自使用來自序列的大量的圖像的受約束窗口。第二族的一些算法還可具有可用于分割當(dāng)前的圖片的復(fù)雜性以產(chǎn)生量子化參數(shù) 的速率因子f。UCT。用于確定復(fù)雜性及其與速率因子的關(guān)系的方法可提供壓縮效率方面的附 加的增強(qiáng)。并且，可對于圖像序列的不同的部分分配不同的量的質(zhì)量(quality)。還描述可通過加入時(shí)間、空間和亮度信息改善估計(jì)的新穎的復(fù)雜性估計(jì)算法(例 如，參見復(fù)雜性估計(jì)的部分)。并且，對于分層圖片的情況下的復(fù)雜性估計(jì)描述新穎的算法(例如，參見用于分 層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配的部分)。這些復(fù)雜性估計(jì)算法可有利于所有描述的速率控制 算法以及其它的現(xiàn)有的和將來的速率控制算法。在一個(gè)例子中，給出用于對于分層圖片的 情況有效編碼參數(shù)分配的算法。關(guān)于如何在分層級(jí)別之間分配位或調(diào)整編碼參數(shù)(例如， QP)以及如何確定依賴性進(jìn)行討論。在這一方面，可以基于圖片的重要性確定如何確定圖片 的編碼。這可提供保存(conserve)位數(shù)或提高質(zhì)量的益處。質(zhì)量和/或位速率的控制不 僅可通過改變量子化量(quantizer)，而且可通過改變其它的參數(shù)，諸如使用和優(yōu)先化特定 的編碼模式和/或工具，諸如加權(quán)預(yù)測和直接模式類型，用于移動(dòng)估計(jì)和模式?jīng)Q定的拉格 朗日參數(shù)、轉(zhuǎn)變/量子化閾值處理和自適應(yīng)舍入?yún)?shù)和幀跳躍等?？梢栽诓煌募?jí)別上執(zhí)行分配。例如，可對于不同和/或更小的單位改變編碼參 數(shù)(例如，QP)。例如，可以考慮將場景分成不同的區(qū)域的分段處理。這些區(qū)域可以如大多 數(shù)現(xiàn)有的編解碼器的情況那樣是非重疊的，但也可以是重疊的，如果考慮重疊的塊移動(dòng)補(bǔ) 償技術(shù)，那么這會(huì)是有用的。一些區(qū)域?qū)τ诰幋a是更簡單的，而其它的區(qū)域會(huì)更復(fù)雜并且會(huì) 需要更多的位。同時(shí)，不同的區(qū)域在主觀上或者在它們對于將來的區(qū)域和/或圖片的編碼 影響方面會(huì)是更重要的。以上估計(jì)的復(fù)雜性量度可被過濾并被配置為源內(nèi)容統(tǒng)計(jì)。過濾可包含過去和將來
14的圖片，并且還可被設(shè)計(jì)為與在本公開中給出的所有其它的算法協(xié)同地起作用。在一些實(shí)現(xiàn)中，可以用多個(gè)或并行的方案確定復(fù)雜性。可通過使用諸如總絕對差 (SAD)、均方誤差(MSE)、視頻質(zhì)量指數(shù)(VQI)等的各種客觀或主觀畸變量度確定復(fù)雜性。作 為例子，這些不同的畸變量度可被確定并被并行使用，以提供不同的位分配和/或速率控 制，并且可導(dǎo)致用于選擇適當(dāng)?shù)挠糜趯D片或區(qū)域編碼的編碼參數(shù)的額外的自由度，或增 強(qiáng)給定的參數(shù)或一組參數(shù)的置信度。更具體而言，如果所有或大多數(shù)的復(fù)雜性量度導(dǎo)致相 同的編碼參數(shù)，那么我們使用該組參數(shù)的置信度可增加。這些復(fù)雜性量度也可被并行考慮， 以用各明顯不同的編碼參數(shù)組將圖片或區(qū)域編碼多次?？梢宰裱_定應(yīng)對于該圖片/區(qū)域 的最終編碼選擇哪個(gè)編碼參數(shù)組的過程。作為例子，考慮還以最高的質(zhì)量最佳地實(shí)現(xiàn)目標(biāo) 位速率的編碼參數(shù)。在不同的例子中，作為替代選擇導(dǎo)致最佳的接合速率畸變性能的編碼 參數(shù)組。也可對于隨后的編碼道次存儲(chǔ)該信息。在一些實(shí)現(xiàn)中，壓縮性能可依賴于對于各圖片選擇最合適的編碼參數(shù)，例如，量子 化參數(shù)?？赏ㄟ^有效地在圖片自身內(nèi)分布這些編碼參數(shù)進(jìn)一步提高該性能。圖片的某些區(qū) 域可對于壓縮偽像更敏感，反之亦然。因此，在本公開的多個(gè)部分中針對該問題。在一些實(shí)現(xiàn)中，可以在圖片中和沿著圖片的序列濾除和消除(smooth out)噪聲。 關(guān)于復(fù)雜性，可通過觀察其它的幀的信息以減少可見的編碼差異在幀之間提高編碼質(zhì)量。 分析不同的幀類型，并且，對于諸如場景變化、對于全局照明變化的淡入/淡出、對于連接 兩個(gè)連續(xù)場景的衰落過渡的交叉衰落、對于圖片的多個(gè)部分的局部照明變化和對于全局照 相機(jī)運(yùn)動(dòng)的照相機(jī)搖攝/變焦等的某些場景類型提供參數(shù)(例如，參見復(fù)雜性過濾和質(zhì)量 位速率考慮的部分)。還在宏塊(MB)的基礎(chǔ)上提供編碼參數(shù)的討論，以慮及空間和時(shí)間統(tǒng)計(jì)的變化(例 如，參見空間編碼參數(shù)調(diào)整的部分)。可以產(chǎn)生包含時(shí)間復(fù)雜性量度(例如，SAD、運(yùn)動(dòng)矢量、 權(quán)重等)、空間量度(例如，邊緣信息、亮度和色度特性、和質(zhì)地信息)的不同的復(fù)雜性量度。 這些然后可被用于確定量度的重要性并產(chǎn)生復(fù)雜性和將其映射到特定的編碼參數(shù)(例如， 量子化參數(shù)值)的過程，該特定的編碼參數(shù)然后被用于根據(jù)希望的圖像質(zhì)量或目標(biāo)位速率 將圖像區(qū)域編碼。特別地，結(jié)果可用作附加的參數(shù)以向特定的區(qū)域增加更多的質(zhì)量以使得 該區(qū)域較重要或較不重要。該結(jié)果可基于什么被覺察為重要提供局部化的調(diào)整。這里公開示例性速率控制算法的各個(gè)步驟。在一些實(shí)現(xiàn)中，用于該速率控制的系 統(tǒng)可包含視頻編碼器、任選的運(yùn)動(dòng)估計(jì)和補(bǔ)償預(yù)分析器、任選的空間統(tǒng)計(jì)分析模塊、選擇編 碼參數(shù)的一個(gè)或多個(gè)速率控制模塊、從編碼過程收集有用的統(tǒng)計(jì)的多個(gè)統(tǒng)計(jì)模塊、從運(yùn)動(dòng) 估計(jì)和補(bǔ)償(MEMC)預(yù)分析器收集統(tǒng)計(jì)的任選的統(tǒng)計(jì)模塊、以及結(jié)合(fuse)來自任選的 MEMC預(yù)分析器的統(tǒng)計(jì)的決定模塊、以及視頻編碼器，并且控制速率分配和控制模塊。在用于 譯碼器的實(shí)現(xiàn)中，可直接從可通過使用公開的技術(shù)被重新編碼的位流得到統(tǒng)計(jì)。這些算法和復(fù)雜性估計(jì)不限于特定的編碼標(biāo)準(zhǔn)，而是可以在一種編碼標(biāo)準(zhǔn)之外或 除了一種編碼標(biāo)準(zhǔn)以外被使用。并且，可以在視頻編碼系統(tǒng)中的編碼方案之間研究編碼依 賴性以提高編碼性能。在本專利申請中描述的技術(shù)不僅適用于這里描述的速率控制算法的兩個(gè)族，而且 適用于其它的現(xiàn)有的速率控制算法以及它們在將來的變更方式。在譯碼的一些實(shí)現(xiàn)中，例 如，由于可以使用“原樣”來自所公開的方法的已在位流中可用的統(tǒng)計(jì)以導(dǎo)致精確的位分配和/或增強(qiáng)質(zhì)量，因此可通過使用所公開的技術(shù)提供復(fù)雜性增強(qiáng)。術(shù)語“圖像特征”可指的是場內(nèi)的一個(gè)或更多個(gè)圖片元素(例如，一個(gè)或更多個(gè)像 素)。術(shù)語“源場”可指的是可從中確定或得到涉及圖像特征的信息的場。術(shù)語“中間場” 可指的是可在時(shí)間上跟隨或引導(dǎo)可參照源場描述涉及圖像特征的信息的視頻序列中的源 場的場。術(shù)語“不均衡(disparity)估計(jì)”可指的是用于計(jì)算運(yùn)動(dòng)矢量或其它的參數(shù)值的 技術(shù)，通過該技術(shù)，可有效預(yù)測、模型化或描述例如視頻序列的兩個(gè)或更多個(gè)場之間的運(yùn)動(dòng) 或者圖像、圖像的區(qū)域、塊或像素和預(yù)測信號(hào)之間的其它差異。不均勻估計(jì)的例子可以是運(yùn) 動(dòng)估計(jì)。術(shù)語“不均衡估算”可指的是運(yùn)動(dòng)矢量或另一估計(jì)的參數(shù)預(yù)測相關(guān)值。術(shù)語“不均 衡補(bǔ)償”可指的是可以使用運(yùn)動(dòng)估計(jì)或另一參數(shù)以計(jì)算源場中的圖像特征的位置的空間偏 移的技術(shù)，以描述視頻序列的一個(gè)或更多個(gè)中間場中的圖像特征的運(yùn)動(dòng)或一些參數(shù)。不均 衡補(bǔ)償?shù)睦涌梢允沁\(yùn)動(dòng)補(bǔ)償?？梢越Y(jié)合其它的視頻編碼概念使用以上的術(shù)語(例如，內(nèi) 預(yù)測和照明補(bǔ)償)。也可在具有一個(gè)或更多個(gè)部件的系統(tǒng)、裝置或設(shè)備、機(jī)器、計(jì)算機(jī)程序產(chǎn)品中、在 軟件中、在硬件中或在它們的任何組合中實(shí)現(xiàn)這里描述的方法和技術(shù)中的任一個(gè)。例如， 計(jì)算機(jī)程序產(chǎn)品可被有形地編碼到計(jì)算機(jī)可讀介質(zhì)上，并且可包含導(dǎo)致數(shù)據(jù)處理裝置(例 如，數(shù)據(jù)處理器)執(zhí)行這里描述的方法中的任一個(gè)的一個(gè)或更多個(gè)操作的指令。在這里的附圖和描述中闡述一個(gè)或更多個(gè)實(shí)現(xiàn)的細(xì)節(jié)。從描述、附圖和權(quán)利要求， 其它的特征、方面和增強(qiáng)將變得清晰。


圖1示出視頻編碼器內(nèi)的速率控制方案的例子的實(shí)現(xiàn)。圖2 5示出預(yù)測編碼結(jié)構(gòu)的例子。圖6示出視頻編碼系統(tǒng)的例子。圖7示出從在預(yù)分析器上預(yù)計(jì)算的值的估計(jì)SAD的例子。圖8示出多個(gè)速率控制模型的組合的例子的流程圖。圖9示出通過使用N個(gè)編碼參數(shù)集對圖片編碼的例子的示圖。圖10示出不同的場景類型的幀的例子。圖11示出采用預(yù)見技術(shù)的速率分配的算法1的主環(huán)的流程圖的例子。圖12示出采用預(yù)見技術(shù)的速率分配的算法1的總復(fù)雜性ct。tal的例子的流程圖。圖13示出采用預(yù)見技術(shù)的速率分配的算法2的主環(huán)的例子的流程圖。圖14示出采用預(yù)見技術(shù)的速率分配的算法2的總復(fù)雜性ct。tal和bitsintea的例子 的流程圖。圖15示出采用預(yù)見的高復(fù)雜性ABR速率控制的算法的例子的流程圖。圖16示出采用預(yù)見的低復(fù)雜性ABR速率控制的算法的例子的流程圖。圖17示出提出的速率控制算法的各步驟中的一些的例子的示圖。圖18示出系統(tǒng)的例子。各附圖中的類似的附圖標(biāo)記和表示可表示類似的要素。
具體實(shí)施例方式這里描述一般的結(jié)構(gòu)和技術(shù)和可用于實(shí)現(xiàn)實(shí)施更一般的目標(biāo)的不同方式的更特 定的實(shí)施例。如這里使用的那樣，術(shù)語I_SLICE、P_SLICE和B_SLICE可分別表示I編碼、P編碼和 B編碼圖片。對于通過使用相同或不同的類型的多個(gè)片斷編碼的圖片，也可擴(kuò)展這里的相同 的概念(concepts)。周期性內(nèi)圖片(I_SLICE)可指的是為了改善圖像次序中的隨機(jī)訪問和誤 差回彈(resilience)被強(qiáng)制編碼為I_SLICE的圖片。對于H. 264/AVC的情況，I編碼圖片可 作為IDR(瞬時(shí)的解碼刷新)圖片被傳達(dá)，以使得能夠?qū)崿F(xiàn)真正的隨機(jī)訪問。作為替代方案， 圖片可作為非IDR被傳達(dá)，并且可以采取措施以避免參照在來自編碼次序上的將來圖片的I 編碼圖片之前編碼的圖片。所公開的速率控制算法可慮及周期性的內(nèi)編碼圖片。實(shí)現(xiàn)目標(biāo)位速率、諸如維持良好的視頻質(zhì)量并滿足由傳送或目標(biāo)介質(zhì)強(qiáng)加的特定 的帶寬約束的目標(biāo)可以是導(dǎo)致挑戰(zhàn)性的優(yōu)化問題的競爭性的目標(biāo)。視頻壓縮系統(tǒng)的一些目 標(biāo)包含實(shí)現(xiàn)高壓縮性能以例如以在給定壓縮位流的固定目標(biāo)位數(shù)的情況下實(shí)現(xiàn)最低的可 能的主觀和/或客觀畸變(例如，峰值信號(hào)噪聲比、均方誤差等)和/或在給定一定的目標(biāo) 質(zhì)量的情況下實(shí)現(xiàn)最高的壓縮。視頻編碼器產(chǎn)生壓縮位流，該壓縮位流一旦通過適應(yīng)的解 碼器被解碼就可產(chǎn)生可被顯示、任選地被處理并且在觀察者側(cè)觀察的重建的視頻序列。存儲(chǔ)器和/或傳送介質(zhì)可將該位流發(fā)送到接收器，以通過各種方式將其解碼。這 些傳輸模式中的每一個(gè)可具有不同的延遲和諸如以下的要求的帶寬要求。 可以在光學(xué)或磁盤上或在非易失性計(jì)算機(jī)存儲(chǔ)器上存儲(chǔ)和傳輸位流，這里，各類 的存儲(chǔ)器具有其自身的帶寬限制。帶寬限制可考慮一定的延遲量。 用戶可從因特網(wǎng)上的一些遠(yuǎn)程服務(wù)器下載位流，并且通過位流在存儲(chǔ)器上的存 儲(chǔ)和傳送以與上述的情況類似的延遲在后面的時(shí)間離線觀看重建的視頻。 用戶可從遠(yuǎn)程因特網(wǎng)服務(wù)器流注位流，這里，網(wǎng)絡(luò)限制帶寬。用戶可在客戶計(jì)算 機(jī)或設(shè)備上以小的時(shí)間延遲觀看視頻流。 位流可以是諸如視頻會(huì)議的實(shí)時(shí)交互視頻通信或諸如用于體育或新聞的實(shí)況視 頻流的結(jié)果。在一些實(shí)現(xiàn)中，為了提供滿意的服務(wù)質(zhì)量，實(shí)時(shí)通信會(huì)需要非常低的端對端延遲。 實(shí)況流注可包含比實(shí)時(shí)通信稍高的端對端延遲。由于計(jì)算機(jī)上的解碼和顯示可從大量的緩 沖空間受益，因此，光學(xué)和磁盤存儲(chǔ)器和電影下載可容忍大得多的延遲。當(dāng)與實(shí)況流注相比 時(shí)，電影或TV秀的因特網(wǎng)流注可允許附加的延遲。端對端延遲可以為通信信道和視頻編碼 處理的函數(shù)?，F(xiàn)代的視頻編碼器可在將當(dāng)前的圖片編碼之前緩沖將來的圖片以提高壓縮性 能。緩沖可包含增加的傳送和重放延遲。數(shù)據(jù)管(pipe)的容量也可對于各傳輸介質(zhì)改變。光學(xué)和磁盤存儲(chǔ)器的帶寬可以 是非常充分的。諸如Blu-Ray或HD-DVD盤的高容量存儲(chǔ)介質(zhì)可在位容量和解碼器緩沖尺 寸方面具有上限。由于位流可被離線觀看，因此不能在帶寬方面約束離線重放；但是，可存 在涉及硬件限制、緩沖延遲和硬件驅(qū)動(dòng)存儲(chǔ)空間的實(shí)際限制。可通過用于傳輸位流的網(wǎng)絡(luò) 的帶寬約束因特網(wǎng)流注和實(shí)時(shí)交互視頻通信。在一些情況下，對于一個(gè)傳輸介質(zhì)產(chǎn)生的位 流可能不適于通過不同的傳輸介質(zhì)的傳送。例如，可能已以諸如5Mbp的高的位速率壓縮存 儲(chǔ)于光盤(例如，DVD)上的位流。如果以不足夠的帶寬在網(wǎng)絡(luò)上在線流注該位流，那么最終用戶體驗(yàn)會(huì)劣化。圖1表示視頻編碼器內(nèi)的速率控制方案100的示例性實(shí)現(xiàn)。速率控制的機(jī)構(gòu)可產(chǎn) 生滿足視頻系統(tǒng)的帶寬、延遲和質(zhì)量約束的壓縮位流。速率控制可保證滿足位速率目標(biāo)以 及解碼器輸入緩沖不會(huì)溢出或饑餓(starved)。任選地，速率控制還可嘗試對于給定的位速 率目標(biāo)和延遲/緩沖約束實(shí)現(xiàn)最低的可能的畸變。在圖1中，輸入視頻102被發(fā)送到加法器116，該加法器116將輸入視頻102與內(nèi) 預(yù)測塊160和運(yùn)動(dòng)補(bǔ)償?shù)妮敵鱿嗉?。來自加法?16的輸出與轉(zhuǎn)變塊104耦合，轉(zhuǎn)變塊104 后跟著量子化塊106。量子化塊106和轉(zhuǎn)變塊104還從速率控制150接收輸入。轉(zhuǎn)變塊104 可由速率控制塊150指示為執(zhí)行以下的任務(wù)中的一種(a)調(diào)整轉(zhuǎn)變量度；(b)調(diào)整或選擇 性清零(zero out)(閾值處理)某些轉(zhuǎn)變的系數(shù)采樣，等等。量子化塊106的輸出與VLC 塊108和逆量子化塊110耦合。位流120源自VLC塊108，并且，諸如將塊、區(qū)域或圖像編碼 所需要的位數(shù)的關(guān)于編碼處理的信息、以及由這種決定引入的畸變被發(fā)送到速率控制150。速率控制還從運(yùn)動(dòng)補(bǔ)償和內(nèi)預(yù)測塊160接收輸入，并且具有到運(yùn)動(dòng)補(bǔ)償和內(nèi)預(yù)測 塊160、運(yùn)動(dòng)估計(jì)塊162、轉(zhuǎn)變塊104、環(huán)路濾波器166和量子化塊106的輸出。運(yùn)動(dòng)補(bǔ)償和 內(nèi)預(yù)測塊160可由速率控制塊150指示為執(zhí)行以下的任務(wù)中的一種(a)選擇性啟用和禁 用內(nèi)預(yù)測模式；(b)選擇特定的編碼模式(例如，跳躍模式)，等等。運(yùn)動(dòng)估計(jì)塊162可由 速率控制塊150指示為執(zhí)行以下的任務(wù)中的一種(a)選擇性啟用和禁用運(yùn)動(dòng)補(bǔ)償塊尺寸； (b)使用某些幀作為運(yùn)動(dòng)補(bǔ)償基準(zhǔn)；(c)調(diào)整運(yùn)動(dòng)估計(jì)搜索范圍和接合雙預(yù)測運(yùn)動(dòng)估計(jì)中 的迭代次數(shù)，等等。環(huán)路濾波器塊166可由速率控制塊150指示為執(zhí)行以下的任務(wù)中的一 種(a)調(diào)整環(huán)內(nèi)解塊(deblocking)濾波器的參數(shù)；(b)關(guān)閉解塊濾波器，等等。逆轉(zhuǎn)變塊112從逆量子化塊110接收輸入，并且向加法器126發(fā)送輸出。加法器 126從逆轉(zhuǎn)變塊112和運(yùn)動(dòng)補(bǔ)償和內(nèi)預(yù)測塊160接收信號(hào)，并且向環(huán)路濾波器166發(fā)送總信 號(hào)。圖片基準(zhǔn)存儲(chǔ)164從環(huán)路濾波器166接收輸入，并且向運(yùn)動(dòng)補(bǔ)償和內(nèi)預(yù)測塊160和運(yùn) 動(dòng)估計(jì)塊162發(fā)送輸出。運(yùn)動(dòng)估計(jì)塊162還從速率控制150接收輸入。環(huán)路濾波器166還 從速率控制150接收輸入。輸入視頻102也被發(fā)送到運(yùn)動(dòng)補(bǔ)償和內(nèi)預(yù)測塊160和運(yùn)動(dòng)估計(jì) 塊162的輸入。符合的(compliant)位流可被配置為關(guān)于解碼器緩沖器滿足至少兩個(gè)約束接收 的圖片位可適合緩沖器(否則，存在緩沖器溢出)；并且，當(dāng)解碼器從緩沖器去除圖片使得 解碼器可將圖片解碼時(shí)，圖片可被整體接收(否則，這會(huì)導(dǎo)致緩沖器下溢_饑餓)?？纱嬖?許多的可影響分配到圖片的位數(shù)的方式?？赏ㄟ^改變編碼參數(shù)控制消耗的位的數(shù)量。更具 體而言，可通過改變用于將塊的殘余(residual)轉(zhuǎn)變系數(shù)量子化的量子化參數(shù)，或者通過 選擇諸如整個(gè)塊應(yīng)被跳過并且前一個(gè)應(yīng)在其位置上被復(fù)制和顯示的信令(signaling)的 用于傳送更少的位的權(quán)衡視頻質(zhì)量的編碼模式，施加速率控制。也可通過改變在運(yùn)動(dòng)估計(jì) 和編碼模式?jīng)Q定的拉格朗日速率畸變優(yōu)化中使用的拉格朗日、(lambda)參數(shù)，施加速率 控制。也可通過閾值處理(清零)離散的正弦轉(zhuǎn)變系數(shù)(DCT)等，或通過選擇不將某些圖 片編碼，而是將這些圖片應(yīng)被跳過而使得先前編碼的圖片在它們的位置上被顯示(例如， 幀跳過)的信號(hào)編碼，實(shí)現(xiàn)速率控制?？赏ㄟ^改變量子化參數(shù)值實(shí)現(xiàn)速率分配和速率控制，原因在于，與其它的方法相 比，該值可同時(shí)與質(zhì)量/畸變和位使用具有更直接的關(guān)系。速率控制的一些目標(biāo)可以是實(shí)現(xiàn)位速率目標(biāo)，滿足編碼器和解碼器緩沖器約束，以及，任選地，對于壓縮圖像序列實(shí)現(xiàn)低 視頻畸變。并且，可能必須用計(jì)算和存儲(chǔ)器復(fù)雜性的固定預(yù)算實(shí)現(xiàn)這些目標(biāo)。量子化參數(shù) 的選擇可使用簡單或更復(fù)雜的算法。例如，簡單的速率控制算法可包含以下的過程?？梢杂靡恍╊A(yù)定的量子化參數(shù)值 將視頻序列中的第一圖片編碼。編碼器然后可將得到的位數(shù)與初始的位目標(biāo)相比較。如果 得到的位數(shù)超過位目標(biāo)，那么下一圖片的量子化參數(shù)可被增大，以減少位使用。另一方面， 如果得到的位比位目標(biāo)少，那么下一圖片的量子化參數(shù)可被減小，以增加位使用。在極限 上，上述的啟發(fā)式算法可或多或少地獲得目標(biāo)位速率。但是，部分地由于算法的簡化，視頻 質(zhì)量會(huì)大大受損。速率控制算法可通過各種編碼工具獲得它們的性能?？蓮南惹敖獯a的圖片預(yù)測當(dāng) 前的圖片中的塊(交互預(yù)測)作為運(yùn)動(dòng)補(bǔ)償塊。在一些其它的編碼配置中，可通過使用來 自同一圖片的信息預(yù)測當(dāng)前的圖片中的像素(內(nèi)預(yù)測)。這些技術(shù)可被稱為編碼模式?？?通過使用不同的畸變量度確定當(dāng)前的圖片和預(yù)測(交互或內(nèi)部)之間的誤差。一般地，可 以使用(交互或內(nèi)部)預(yù)測誤差的均方誤差(MSE)、或相當(dāng)?shù)目偡秸`差(SSE)和平均絕對差 (MAD)、或相當(dāng)?shù)目偨^對差(SAD)。由于高的SAD誤差可以是壓縮成本高的具有高熵的預(yù)測 誤差殘數(shù)的結(jié)果，因此SAD誤差可以是將塊編碼的難度的指示。因此，預(yù)測誤差的知識(shí)可有 助于對于量子化參數(shù)的值進(jìn)行更好的選擇，或者，一般地，可幫助調(diào)整控制位速率的技術(shù)?！獋€(gè)速率控制范例可包含向各圖片分配位的速率分配算法和可對于同一圖片將 位目標(biāo)轉(zhuǎn)變成一組編碼參數(shù)的速率控制算法(或“模型”)。在一些實(shí)際的情況下，為了實(shí) 現(xiàn)目標(biāo)位速率而改變的編碼參數(shù)是量子化參數(shù)QP。二次模型是可將位目標(biāo)轉(zhuǎn)變成QP的這 樣一種技術(shù)。其它的速率控制技術(shù)可包含在計(jì)算上比二次模式更復(fù)雜的P域速率控制。在諸如H. 264/AVC、VC-1和MPEG-2的視頻編解碼器中，圖像可被編碼為預(yù)測圖片 (P圖片)、內(nèi)圖片(I圖片)或雙預(yù)測圖片(B圖片)。一些編解碼器可支持附加的片斷/ 圖片類型(例如，H. 264/AVC內(nèi)的SP和SI片斷、多假設(shè)(multi-hypothesis)圖片等)，并 且還可考慮幀和場編碼圖片結(jié)構(gòu)。相同類型的場和幀編碼圖片趨于具有非常不同的編碼特 性。I編碼圖片可從相同的圖片的像素使用內(nèi)預(yù)測。還可通過從先前編碼的基準(zhǔn)圖片使用 運(yùn)動(dòng)補(bǔ)償預(yù)測P編碼圖片中的塊。注意，這不必是顯示次序中的過去的圖片(如在MPEG-2 或MPEG-4部分2中那樣)，而不是解碼次序中的過去的圖片。該基準(zhǔn)圖片對于圖片中的各 塊未必相同并且可選自候選基準(zhǔn)圖片池。B編碼圖片可對于預(yù)測考慮選自多個(gè)基準(zhǔn)圖片的 兩個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測塊的線性組合。我們的速率控制還可支持將來的編碼模型和圖片類型。例如，它們可包含(a)通 過使用全局運(yùn)動(dòng)補(bǔ)償或仿射運(yùn)動(dòng)模型預(yù)測當(dāng)前的塊；(b)通過使用通過從大量的輸入幀使 用全局運(yùn)動(dòng)補(bǔ)償產(chǎn)生的全景幀預(yù)測當(dāng)前的塊；(c)兩個(gè)或更多個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測的非線性組 合；(d)重疊的塊運(yùn)動(dòng)補(bǔ)償，等等。在H. 264/AVC內(nèi)，組合的預(yù)測可源自相同的圖片或者甚至相同的預(yù)測方向(均來 自過去或均來自將來)。在可用于將圖片編碼的編碼工具(例如，諸如內(nèi)部或交互預(yù)測的編 碼模型)方面，I編碼圖片基本上是P編碼圖片的特殊情況，并且P編碼圖片是B編碼圖片 的特殊情況。一般地，I編碼圖片、P編碼圖片和B編碼圖片可具有非常不同的編碼統(tǒng)計(jì)。 對于相同的量子化參數(shù)和內(nèi)容，I編碼圖片一般可需要比P編碼圖片多的位，而對于具有實(shí)質(zhì)的時(shí)間相關(guān)性的圖片序列，B編碼圖片可平均需要比P編碼圖片少的位。并且，圖片可被 編碼為漸進(jìn)的幀或一對交錯(cuò)的場。如果使用場編碼或宏塊自適應(yīng)幀/場編碼，那么可以更 有效地壓縮在電視生產(chǎn)中使用的通過使用交錯(cuò)的照相機(jī)產(chǎn)生的視頻內(nèi)容。視頻編解碼器可在可適于序列的統(tǒng)計(jì)的編碼中使用靈活的預(yù)測結(jié)構(gòu)，以使壓縮的 位流的質(zhì)量最大化。在H. 264/AVC的上下文(context)中，諸如圖2 5所示，能夠構(gòu)建稱 為分層編碼圖片的復(fù)雜的預(yù)測結(jié)構(gòu)。由于可從其在編碼結(jié)構(gòu)中的位置實(shí)現(xiàn)各片斷類型的速 率畸變性能，因此這些結(jié)構(gòu)的速率控制的隱含意義可以是重要的。例如，如圖2的結(jié)構(gòu)200 所示，當(dāng)與級(jí)別1 (220)上的B編碼圖片相比時(shí)，級(jí)別2(230)上的B編碼圖片可具有非常不 同的質(zhì)量/位速率權(quán)衡。圖2 5共享一些類似性。在每個(gè)分層結(jié)構(gòu)中存在不同的級(jí)別，并且，大多數(shù)基本 級(jí)別是級(jí)別0(210)。屬于級(jí)別0(210)的圖片具有最高的優(yōu)先權(quán)，并且，為了將屬于比級(jí)別 0(210)大的級(jí)別的任何圖片編碼，需要這些屬于級(jí)別0(210)的圖片。一般地，為了將級(jí)別 1上的圖片解碼，必須首先將屬于級(jí)別0到1-1的圖片解碼。在諸如MPEG-2和MPEG-4的 先前的編碼標(biāo)準(zhǔn)中，在將圖片n編碼之后，存在兩個(gè)選項(xiàng)預(yù)測和編碼圖片n+1、或者預(yù)測和 編碼圖片n+m，這里，m > 1，然后使用圖片n和n+m作為圖片n+1到n+m-1的雙向預(yù)測性基 準(zhǔn)圖片。除非圖片n和n+m首先被解碼，否則圖片n+1到n+m-1不能被解碼。并且，可以與 圖片n+1到n+m-1無關(guān)地將圖片n和n+m解碼。由此，圖片n和n+m具有更高的優(yōu)先級(jí)別 (級(jí)別0)，而圖片n+1到n+m-1處于級(jí)別1。圖片n+1到n+m-1中的每一個(gè)可以相互無關(guān)地 被解碼。但是，在H. 264/AVC中，可在這m-1個(gè)內(nèi)部分層結(jié)構(gòu)圖片內(nèi)存在更復(fù)雜的依賴性。 還能夠是一個(gè)首先將圖片n+m編碼并然后將圖片n編碼。m的值也可從編碼的序列的一部 分到另一部分改變。級(jí)別0(210)上的圖片可被稱為“錨定”圖片。圖3表示另一示例性的預(yù)測結(jié)構(gòu)。在圖片幀0被編碼之后，編碼器預(yù)測和編碼圖 片幀8?？赏ㄟ^以先前編碼圖片作為基準(zhǔn)使用I編碼圖片、P編碼圖片(如圖所示)或B編 碼圖片執(zhí)行預(yù)測和編碼。然后，可通過使用圖片0和8為基準(zhǔn)將圖片4編碼為B編碼圖片。 圖片4具有比圖片0和8低的優(yōu)先權(quán)，并因此屬于不同的級(jí)別級(jí)別1 (220)?，F(xiàn)在可通過 使用在時(shí)間上最近的圖片0和4作為基準(zhǔn)圖片將圖片2編碼為B編碼圖片。這里，時(shí)間預(yù) 測距離對于壓縮性能具有直接的影響通常，基準(zhǔn)越接近預(yù)測的圖片，則相關(guān)性越高，這會(huì) 導(dǎo)致更小的預(yù)測殘數(shù)。圖片2具有比圖片4和0低的優(yōu)先權(quán)，并且，它屬于不同的級(jí)別級(jí) 別2(230)。在常規(guī)的視頻編碼(例如，MPEG-2)的另一背離中，任何編碼圖片仍可保持用作 基準(zhǔn)，并且，這包含B編碼圖片。在一些實(shí)現(xiàn)中，圖片4必須被緩沖為基準(zhǔn)圖片。否則，如圖4所示，必須從遠(yuǎn)距離 的圖片8預(yù)測圖片2，這會(huì)使壓縮性能劣化。因此，如圖5所示，圖片2也可被緩沖為基準(zhǔn)圖 片，并且與圖片0結(jié)合用于圖片1的雙預(yù)測。然后，可通過使用圖片2和4作為基準(zhǔn)將圖片 3編碼。圖片1和3具有比圖片0、2和4低的優(yōu)先權(quán)，并因此屬于較低的級(jí)別(例如，圖3 中的級(jí)別3240、圖4 5中的級(jí)別2230)。例如，如圖3所示，可以對于圖片5、6和7重復(fù) 相同的過程。即使以上的描述討論B編碼圖片，也可在編解碼器內(nèi)、包括使用I、P或B類型的 多個(gè)片斷用任何可用的編碼類型將圖片1 7編碼。并且，圖片1、3、5、7可作為一次性的 (disposable)圖片被傳達(dá)，這意味著它們不用于運(yùn)動(dòng)補(bǔ)償預(yù)測。圖片類型的這種用途可節(jié)省存儲(chǔ)器資源，并且具有引入時(shí)間可量測性的能力。使用的分層結(jié)構(gòu)可以是任意的，并且不 需要遵循二重分解。在圖4 5中示出這種結(jié)構(gòu)。例如，可通過使用圖片4 8作為預(yù)測 基準(zhǔn)以不同的方式在圖3中將圖片5 7編碼，使得圖片7可被編碼為B編碼圖片。圖片 7可被緩沖為基準(zhǔn)以屬于級(jí)別2。然后，可通過使用圖片4和7作為基準(zhǔn)將圖片6編碼為B 編碼圖片。最后，可通過使用圖片4和7作為基準(zhǔn)將圖片5編碼為B編碼圖片。在本例子 中，圖片5和6將屬于級(jí)別3，并且可作為一次圖片被傳達(dá)?？赏ㄟ^使用多個(gè)可適于特定的場景統(tǒng)計(jì)的編碼圖片類型的組合產(chǎn)生實(shí)際的視頻 位流。一般地，序列越固定(static)，那么分層結(jié)構(gòu)可變得越長。具有不同的長度和不同的 預(yù)測配置的分層結(jié)構(gòu)可具有不同的速率畸變性能。并且，視頻內(nèi)容可隨時(shí)間改變，并且，可 具有變化的位速率需求以保證可接受的質(zhì)量水平。即使在單一的場景內(nèi)，也可很容易地壓 縮一些圖片，而其它的可對于相同的壓縮比產(chǎn)生可見的壓縮偽像。在本公開中給出的算法可針對可考慮有限的圖片預(yù)見(幾秒的持續(xù)時(shí)間)的視頻 編碼器的速率分配和速率控制。由于多道次算法可從整個(gè)序列的編碼統(tǒng)計(jì)的知識(shí)受益，因 此這些算法可實(shí)現(xiàn)非常高的性能，因此，可以為了使視頻質(zhì)量最大化而預(yù)算并消耗位。為 了對于當(dāng)前的圖片選擇量子化參數(shù)，現(xiàn)有的高性能單道次速率控制算法可使用過去的編碼 統(tǒng)計(jì)。這些算法可對于用于調(diào)制QP的當(dāng)前的圖片使用一些復(fù)雜性量度，使得實(shí)現(xiàn)目標(biāo)位速 率。作為例子，x264開放源H. 264/AVC編碼器可通過使用視頻的向下采樣版本作為該復(fù)雜 性量度而采用絕對轉(zhuǎn)變運(yùn)動(dòng)補(bǔ)償差異的和。在本公開中描述的方案還可考慮圖片預(yù)見并從中受益，這可將一些編碼延遲強(qiáng)加 到系統(tǒng)中。在圖6的例子中示出這種視頻編碼系統(tǒng)。圖6表示可與公開的速率分配和速率控制算法一起使用的示例性的視頻編碼系 統(tǒng)600。在圖6中，輸入視頻610被發(fā)送到預(yù)分析塊625，并且，如果需要向下采樣，被發(fā)送 任選的向下采樣塊620。在執(zhí)行視頻的預(yù)分析之后，延遲塊630、視頻編碼器640和任選的 預(yù)濾波器635接收預(yù)分析的輸出。延遲塊630可從任選的預(yù)濾波器635和/或視頻編碼器 640延遲預(yù)分析塊625的輸出。在視頻編碼器640的輸出上取得輸出位流690。復(fù)雜性估計(jì)公開的速率分配和速率控制算法可使它們的決定基于表示為Ci的當(dāng)前圖片i的 復(fù)雜性的一些量度。當(dāng)前圖片的復(fù)雜性可表示該圖片是否應(yīng)在一定的保真度(fidelity) 水平上被編碼。圖片的復(fù)雜性一般可以是時(shí)間、空間和亮度特性的函數(shù)，并且可被表達(dá)如 下Ci 一 g (ci temporal' Ci, spatial' Ci, luminance) °函數(shù)g()可以是時(shí)間、空間和亮度復(fù)雜性的線性或非線性組合。例如，如果圖片屬 于非?；顒?dòng)的場景，那么，由于由人視覺系統(tǒng)(HVS)導(dǎo)致的時(shí)間遮蔽，因此細(xì)節(jié)將是不可見 的。因此，對該圖片進(jìn)行編碼使得對于更需要位的場景保存這些位會(huì)是有益的。例如，如果 復(fù)雜性量度表示當(dāng)前圖片屬于相對靜止的場景，那么，由于壓縮偽像對于一般的人類觀察 者將是可見的，因此細(xì)節(jié)可被保留。與其它圖片相比，可以用更大的保真度對這些圖片進(jìn)行 編碼。這里的描述可包含大多數(shù)的時(shí)間掩蔽；但是，復(fù)雜性也可以是空間掩蔽的函數(shù)。由于 圖片的空間結(jié)構(gòu)(例如，邊緣、質(zhì)地)，因此具有高的空間變化和質(zhì)地的場景可更好地掩蔽 壓縮偽像?？捎绊懜鲌D片的可壓縮性的第三種因素可以是亮度掩蔽。一般地，具有高的平均亮度(明亮的場景)的圖片可掩蔽壓縮偽像。對于具有低的平均亮度的圖片則相反，這 里，壓縮偽像對于相同的壓縮比是高度可見的。由此，與明亮的場景相比，一般應(yīng)用更高的 保真度壓縮暗的場景。圖片的復(fù)雜性也可以是將來或過去圖片的復(fù)雜性的函數(shù)。由于編碼器可使用運(yùn)動(dòng) 補(bǔ)償預(yù)測，因此，如果圖片在一定的保真度水平上被編碼，以及如果將來的圖片在編碼次序 方面與其充分相關(guān)，那么該初始的質(zhì)量可傳播到這些圖片。在這些情況下，估計(jì)是否足夠的 將來圖片與當(dāng)前圖片相關(guān)會(huì)是有用的。如果滿足一定的條件，那么給定速率控制需求，與鄰 近的圖片相比，該圖片可以在更高的質(zhì)量水平上被編碼。在以下的復(fù)雜性過濾和QP/位速 率考慮的部分中描述關(guān)于復(fù)雜性過濾的更多的信息。時(shí)間復(fù)雜性還可以是產(chǎn)生當(dāng)前圖片的 運(yùn)動(dòng)補(bǔ)償預(yù)測的運(yùn)動(dòng)矢量的變化和平均值的函數(shù)?？梢栽诰幋a器上確定諸如平均亮度、空間變化和邊緣信息的復(fù)雜性度量。但是，時(shí) 間復(fù)雜性/掩蔽度量可需要執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償，這在計(jì)算復(fù)雜性方面成本較高。一種替 代方案是使用零運(yùn)動(dòng)矢量以執(zhí)行運(yùn)動(dòng)補(bǔ)償，但這樣做會(huì)大大降低復(fù)雜性估算的可靠性并因 此大大降低性能。在不同的實(shí)施例中，運(yùn)動(dòng)估算和補(bǔ)償可考慮較低的空間和/或時(shí)間分辨 率版本的序列，以產(chǎn)生這些量度。可以用諸如基于塊或區(qū)域或像素回歸技術(shù)的各種視頻處 理算法和包含平移、仿射和拋物線等的運(yùn)動(dòng)模型在編碼器內(nèi)執(zhí)行運(yùn)動(dòng)估計(jì)。還可通過已通 過包含運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)膯为?dú)的預(yù)分析器執(zhí)行該分析的外部機(jī)構(gòu)提供該信息。預(yù)分析器可 確定運(yùn)動(dòng)補(bǔ)償?shù)腟AD和/或?qū)τ诋?dāng)前圖片和/或給定的將來和過去基準(zhǔn)圖片測量時(shí)間相關(guān) 性的一些其它的客觀或主觀量度。在另一實(shí)施例中，預(yù)分析器可被視頻解碼器代替。解碼器可以是例如以下的解碼 器類型中的任一種MPEG-2、MPEG-4部分2、VC_1、H. 263或者甚至AVC解碼器。該解碼器可 以將支持的格式的位流解碼并且向系統(tǒng)提供來自位流的各種信息，這些信息可包含運(yùn)動(dòng)矢 量、DCT系數(shù)、內(nèi)部或交互編碼模式等。該信息可被用作復(fù)雜性量度以替代預(yù)分析器復(fù)雜性量度。在另一實(shí)施例中，預(yù)分析器可被視頻編碼器的在前的或多個(gè)在前的編碼道次替 代，在其它的編碼統(tǒng)計(jì)中，該視頻編碼器除了可提供運(yùn)動(dòng)補(bǔ)償預(yù)測誤差以外還可提供所有 以上的統(tǒng)計(jì)。該編碼道次可對于當(dāng)前圖片被約束，或者可以是整個(gè)視頻序列的全編碼道次。 它可以是多道次視頻編碼器內(nèi)的多個(gè)編碼道次中的一個(gè)。來自例如預(yù)分析器、譯碼器和先 前的編碼道次的不同的來源的統(tǒng)計(jì)也可被結(jié)合使用以進(jìn)一步改善性能。由預(yù)分析器確定的畸變量度(例如SAD)可能與不使用與在編碼過程中使用的那 些相同的基準(zhǔn)圖片的運(yùn)動(dòng)估計(jì)和補(bǔ)償過程對應(yīng)。在編碼中，對于編碼使用的基準(zhǔn)圖片和時(shí) 間預(yù)測距離可改變以對于源統(tǒng)計(jì)更好地調(diào)整。例如，對于由非常高的運(yùn)動(dòng)表征的場景，時(shí)間 預(yù)測距離可以很小，而對于低運(yùn)動(dòng)，時(shí)間預(yù)測距離可增加。由此，可以存在例如SAD的預(yù)計(jì) 算復(fù)雜性量度的轉(zhuǎn)換，以預(yù)測將與將對于實(shí)際的編碼過程使用的圖片/基準(zhǔn)對應(yīng)的量度。 該轉(zhuǎn)換可提高時(shí)間復(fù)雜性估算，并因此提高壓縮性能，而使得計(jì)算復(fù)雜性有少量的增加。在接近實(shí)際編碼情況的例子中，預(yù)分析器可對于各圖片產(chǎn)生四個(gè)不同的運(yùn)動(dòng)補(bǔ)償 畸變量度(例如，SAD)。各量度可與來自單一基準(zhǔn)圖片i-l、i-2、i+l和i+2的單預(yù)測運(yùn)動(dòng) 補(bǔ)償預(yù)測對應(yīng)。用于將視頻序列編碼的預(yù)測結(jié)構(gòu)可改變。SAD統(tǒng)計(jì)以以下的方式適于特定 的編碼結(jié)構(gòu)。
(a)IPPPPP編碼結(jié)構(gòu)。時(shí)間預(yù)測距離可以是一個(gè)圖片。給定統(tǒng)計(jì)SADifc)，這里，n 是i-1、i-2、i+1和i+2中的一個(gè)，那么時(shí)間復(fù)雜性Ci,temp。ral可被設(shè)為等于SADjn-l)。(b)IBPBPBP編碼結(jié)構(gòu)。時(shí)間預(yù)測距離可以包含從一個(gè)P編碼圖片到下一個(gè)的兩個(gè) 圖片。時(shí)間復(fù)雜性可被設(shè)為等于SAD, (n-2)。(c)IBBPBBP編碼結(jié)構(gòu)。時(shí)間預(yù)測距離可以等于3。但是，在特定的例子中，可從預(yù) 分析器得到的畸變量度值可被約束以僅參照先前的圖片(i_l)和其前面的圖片(i_2)。由 此，可存在可通過在時(shí)間上外推(extrapolate)值執(zhí)行的時(shí)間復(fù)雜性(例如，SAD)的估算。 例如，在該方案中，可以使用以下的復(fù)雜性估計(jì)量中的一個(gè)(i)cijtemporal = SADi(i-l)+2X (SADji^-SADji-l))，(i i) Ci, temporal = SADi (i-2) + (SADi (i-2) SAd, (i-1)),(iii)ci,tefflporal = 3XSADi(i-l),(iv)cijtemporal = a XSADi(i_l) + 3 XSAD^i^ + y 這里，可以用與(i)和(ii)中 的模型類似的值將線性模型的三個(gè)參數(shù)(a、0和Y)初始化，并然后可通過使用例如線性 回歸從編碼統(tǒng)計(jì)更新它。(v) Ci, temporal = a X SADj (i_l) + 3 X SADj (i-2)+ 8 X SAD/ (i_l) + G X SAD/ (i_2) + Y，這里，可通過使用例如線性回歸算法用編碼統(tǒng)計(jì)更新二次模型的參數(shù)(a、0、Y、S和 O。但是，可通過使用鄰近圖片i-1、i-2、i+1和i+2的SAD進(jìn)一步改善以上的估算。 例如，通過使用這些SAD值，時(shí)間復(fù)雜性可被估計(jì)如下Ci,t p。Ml = SAD^i^+SAD^^i-S)。 一般的復(fù)雜性估計(jì)量可以如下
(i+W +W\"Y bN n+W,A
m-Nm^n-U) \ni'-N m^n-UJ參數(shù)n可以是依賴于諸如位速率和緩沖約束等的各種因素的變量，并且，權(quán)重^』 和vn,m可以以各種方式被初始化。還可通過使用過去編碼統(tǒng)計(jì)、以及通過使用諸如線性回 歸等的技術(shù)適應(yīng)性地更新這些變量。參數(shù)N和M可由在預(yù)分析器上的運(yùn)動(dòng)估計(jì)中使用的大 量的基準(zhǔn)圖片約束。如果使用過去的兩個(gè)圖片和將來的兩個(gè)圖片，那么M = 2，而N依賴于 M和預(yù)測距離d。在一些實(shí)施例中，d可被設(shè)為3。參數(shù)N還可被設(shè)為N = max(d，M)，這里， 加權(quán)參數(shù)沒有通過回歸算法被盲目地更新，而是被原樣使用。作為替代，可以基于場景表征 (characterization)修改該參數(shù)，例如，如果圖片被指定為場景變化，那么權(quán)重被設(shè)為零。 作為替代方案，如果被預(yù)測的圖片和基準(zhǔn)圖片屬于不同的場景，例如，在兩個(gè)圖片之間出現(xiàn) 場景變化，那么我們還可將權(quán)重約束為零。如果估計(jì)的圖片或基準(zhǔn)圖片不屬于與圖片i相 同的場景，那么可以施加相同的約束。(d)IBBBPBBBP編碼結(jié)構(gòu)。時(shí)間預(yù)測距離可以等于4。該情況可與(c)的情況類似， 這里，可用的畸變量度考慮具有小于等于2的距離的參照圖片?？捎糜诠烙?jì)時(shí)間復(fù)雜性的 一種方案是以上的(c)(v)中所示的使用五參數(shù)二次模型的一般的復(fù)雜性估計(jì)量?？墒褂?的一些其它的估計(jì)量包含以下Ci,tefflporal = 2 X SAD, (i-1)+3 X SAD, (i-2),ci,tefflporal = 2XSADi(i-2),Ci, tefflporal = 3 X SAD, (i-2) -2 X SAD, (i_l)，
23
Ci, tefflporal = SAD, (i-2) +SADi_2 (i_4) 雖然大量的組合是可能的，但是它們均可以是在(c) (v)中處理的一般的復(fù)雜性 估計(jì)量方案的特殊情況。(e)IBBBBBP編碼結(jié)構(gòu)。時(shí)間預(yù)測距離可以等于6。該情況也可與(c)的情況類似， 這里，可用的SAD使用具有小于等于2的距離的基準(zhǔn)圖片?？捎糜诠烙?jì)時(shí)間復(fù)雜性的一種 方案是(c) (v)所示的一般的估計(jì)量?？墒褂玫囊恍┢渌墓烙?jì)量包含以下⑴Ci, temporal = 4 X SADi (i-1) +5 X SAd, (i-2) (ii)Ci,tefflporal = 2XSADi(i-2)+SADi(i-l).(iii)cijtemporal = SXSAD^i^^XSAD^i-l).(iv) Ci, temporal = SADi (i-2) +SADi_2 (i_4) +SADi_4 (i_6) 雖然大量的組合是可能的，但是它們均可以是前面在(c) (v)中提到的一般方案 的特殊情況。以上的時(shí)間復(fù)雜性確定可主要對于壓縮的位流中的屬于最高優(yōu)先級(jí)別(級(jí)別0) 的圖片(例如，它們不會(huì)是一次性的并且會(huì)要求在其全長上將序列解碼)是有效的。也可 對于一次性的或具有低的優(yōu)先權(quán)的P或B編碼圖片進(jìn)行相同的確定。當(dāng)具有較低的優(yōu)先權(quán) 的圖片被舍棄時(shí)，圖像次序仍可在其全長上、但以較低的幀速率被解碼。如果只有單一預(yù)測 SAD統(tǒng)計(jì)是可用的，那么，通過執(zhí)行以下的替換，以上的復(fù)雜性估計(jì)可對于最高優(yōu)先級(jí)別B 編碼圖片是有效的{reference) minOSAD, (/ 0(i)) SAI^i (及1(/)))術(shù)語RO⑴和R1⑴代表對于圖片i的雙預(yù)測使用的兩個(gè)基準(zhǔn)的指數(shù)。該情形中 的SAD量度可僅基于單一預(yù)測運(yùn)動(dòng)估計(jì)。但是，如果存在對于雙預(yù)測統(tǒng)計(jì)的訪問，那么作為 以上的替換可以使用雙預(yù)測SAD。復(fù)雜性估計(jì)方案對于兩種情況是相同的。但是，對于I編碼圖片，復(fù)雜性不再能基于時(shí)間相關(guān)性。I編碼圖片的復(fù)雜性可依 賴于諸如變化、邊緣和質(zhì)地信息的空間特性。復(fù)雜性可被確定為^X by個(gè)塊(例如，bx = by =8)的變化的加權(quán)平均、使用Gradient濾波器(例如，Sobel或Prewitt)的邊緣取向和大 小、以及質(zhì)地特性。例如，可通過考慮塊的轉(zhuǎn)變系數(shù)的全部或一些(例如，高頻率)的平方 和得到質(zhì)地信息。在一些實(shí)施例中，轉(zhuǎn)變可以是離散的余弦轉(zhuǎn)變或例如hadamard、整數(shù)DCT 近似、Karhimen水平轉(zhuǎn)變(KLT)等的一些其它的類似的轉(zhuǎn)變或者甚至一些微波轉(zhuǎn)變。對于 一些低復(fù)雜性應(yīng)用，I編碼圖片的復(fù)雜性可僅依賴于變化和邊緣信息。復(fù)雜性可被估計(jì)，并且可影響當(dāng)前圖片的編碼參數(shù)分配。在圖片被編碼之后，編碼 統(tǒng)計(jì)可被收集以允許校正初始的復(fù)雜性估算，該初始的復(fù)雜性估算也可基于在編碼之后分 析估計(jì)的復(fù)雜性和實(shí)際的復(fù)雜性之間的關(guān)系的一些回歸模型?？梢栽趶?fù)雜性的過濾過程中 由編碼次序上的隨后的圖片使用校正的復(fù)雜性。在以下的部分中詳細(xì)討論復(fù)雜性過濾。任 選地，當(dāng)使用多個(gè)編碼道次以將圖像序列編碼時(shí)，校正的復(fù)雜性可被用作隨后的編碼道次 的復(fù)雜性度量。圖7表示用于編碼復(fù)雜性估計(jì)的例子，這里，時(shí)間預(yù)測距離等于4。在圖7中，頂 部三行序列720、740、760的是已知的統(tǒng)計(jì)(例如，圖片之間的畸變或復(fù)雜性)，但是，可能 不存在某些圖片如何相互涉及的信息(例如，沒有圖片n如何涉及圖片n+3的明確知識(shí))。 但是，可存在其它的圖片之間的信息。例如，可存在關(guān)于n+1與n+3的依賴性和n與n+1之間的一些信息。通過使用該信息，可存在外推，以確定例如n與n+3之間的統(tǒng)計(jì)。最后的行 的序列760可表示如何在n與n+3之間確定信息(例如，復(fù)雜性或畸變)。換句話說，可通 過考慮相鄰的圖片的信息(例如，從n到n+1到n+2)確定未知的復(fù)雜性(例如，與n相比 較的n+3的復(fù)雜性)。在圖7中，可對于值、特別是已在預(yù)分析器上預(yù)先計(jì)算的值提取(extract)復(fù)雜 性(如圖6所示)。圖7表示具有SAD值(序列720的值SADn(n_2) 722、值SADn(n_l) 724、 值 SADn(n+l)726、值 SADn(n+2)728 ；序列 740 的值 SADn+1 (n_l) 742、值 SADn+1 (n) 744、值 SADn+1(n+2)746、值 SADn+1 (n+3) 748 ；序列 760 的值 SADn+2 (n) 762、值 SADn+2 (n+1) 764、值 SADn+2 (n+3) 766、值 SADn+2 (n+4) 768 ；序列 780 的值 SADn+1 (n_l) +SADn+1 (n+3) 782、值 SADn+3 (n+ 2) +3 (SADn+3(n+1)-SADn+3(n+2)) 784)的圖片的幾個(gè)序列 720,740,760 和 780。在圖 7 中，可 對于序列720中的幀n725的有關(guān)信息的SAD估計(jì)使用過去的信息(例如，SADn(n_2) 722、 SADn(n-l)724)和將來的信息(例如，SADn(n+l) 726、SADn(n+2) 728)。在一些實(shí)現(xiàn)中，當(dāng)將 幀n725編碼時(shí)，過去的統(tǒng)計(jì)(例如，SADn(n-2)722、SADn(n-l) 724)和將來的統(tǒng)計(jì)(例如， SADn(n+l)726、SADn(n+2)728)是已知的。統(tǒng)計(jì)可被用于估計(jì)諸如畸變的誤差。在一些實(shí)現(xiàn) 中，諸如一個(gè)圖片如何涉及另一圖片的一些復(fù)雜性可能不是已知的。但是，可基于其它已知 的復(fù)雜性估計(jì)這些未知的復(fù)雜性。序列780表示如何通過使用其它已知的統(tǒng)計(jì)的依賴性形 成與n+3(例如，SADmOi+3))相比較的圖片n-1的復(fù)雜性的估算。例如，SADn在序列720 中，SADn+1在序列740中，SADn+2在序列760中，并且，SADn+2，并且，序列780是序列720、740 和760與SADn+3的組合。在序列720、740和760中，在接近估計(jì)值的范圍內(nèi)，各幀n725、745、765是已知的。 例如，相鄰的圖片可相互類似。該類似性可涉及將來將這些圖片編碼有多復(fù)雜。這可提供 速率分配的信息。編碼越復(fù)雜，則速率控制和速率分配需要越多的位?？赏ㄟ^來自其它的 序列的畸變值(例如，次序 780 的值 SADn+1 (n-1) +SADn+1 (n+3) 782、值 SADn+3 (n+2) +3 (SADn+3 (n +l)-SADn+3(n+2))784)的數(shù)學(xué)運(yùn)算估計(jì)與圖片n相比更遠(yuǎn)的圖片的信息。盡管以上使用運(yùn)動(dòng)補(bǔ)償?shù)腟AD以估計(jì)時(shí)間復(fù)雜性，但以上的方法還可適于測量空 間和時(shí)間相關(guān)性的各種客觀和主觀量度。作為SAD的替代，可以使用測量預(yù)測誤差的知覺 影響的量度。例如，高亮度像素值上的誤差不能如低亮度像素值上的誤差那樣可見。并且， 常規(guī)的SAD量度是基于塊的，并且測量預(yù)測的塊內(nèi)的畸變。新技術(shù)可使用測量沿塊邊界的 畸變的量度，使得不僅塊內(nèi)畸變可被最小化，而且塊間畸變也可被最小化。后者會(huì)是重要 的，原因在于它導(dǎo)致塊化(blocking)偽像。并且，以上的方法可以與沿時(shí)間方向擴(kuò)展的畸 變量度一起使用，使得時(shí)間閃爍偽像也可減少。例如，就還使當(dāng)前塊的預(yù)測誤差和最與預(yù)測 的塊相關(guān)的先前的圖片中的塊的預(yù)測誤差之間的差異最小化而言，使當(dāng)前的塊的誤差最小 化可能是不夠的。除了替代估計(jì)當(dāng)前圖片的復(fù)雜性的量度以外，可以使用多個(gè)量度以得到多個(gè)候選 編碼參數(shù)組?？赏ㄟ^使一些其它的量度最小化從中選擇最佳的組。這可需要維持利用不同 的復(fù)雜性量度的單獨(dú)的速率控制模型。例如，一種速率控制模型可通過使用SAD得到編碼 參數(shù)，而另一速率控制模型可通過使用MSE或使時(shí)間閃爍最小化的量度得到編碼參數(shù)。在 一些約束下操作(例如，使另一綜合量度最小化)的決定模塊可從兩個(gè)候選組選擇適當(dāng)?shù)?一組編碼參數(shù)?？梢砸跃€性或非線性的方式組合編碼參數(shù)。例如，如果兩個(gè)量度導(dǎo)致相同的編碼參數(shù)，例如，用于量子化參數(shù)QP的相同的值，那么可能不需要其它的操作。否則，可 以選擇兩者的平均值、最小值(樂觀分配)或最大值(悲觀分配)。在替代性的實(shí)現(xiàn)中，如 果兩個(gè)量度導(dǎo)致不同的參數(shù)，那么可考慮附加的量度或多個(gè)附加的量度以確定最合適的編 碼參數(shù)。在另一實(shí)現(xiàn)中，假定N個(gè)量度的使用導(dǎo)致N個(gè)可能的編碼參數(shù)，那么可以選擇這N 個(gè)中的出現(xiàn)最多的參數(shù)。在圖8中表示該方法的一般示圖。圖8表示組合基于不同的復(fù)雜性量度的多個(gè)速率控制模型以得到最終的編碼參 數(shù)組的流程圖800。開始當(dāng)前幀的編碼810，并且，設(shè)定緩沖狀態(tài)、剩余的位和位速率目標(biāo)
820。從1、2.....n確定復(fù)雜性830，并且，確定復(fù)雜性1的編碼參數(shù)832、復(fù)雜性2的編碼
參數(shù)834和復(fù)雜性n的編碼參數(shù)836。然后，選擇最終的編碼參數(shù)840，并且產(chǎn)生編碼的圖 片850。然后，更新模型1、2.....n 860，并且終止編碼870?？赏ㄟ^使用所有的N個(gè)參數(shù)將圖片編碼。然后，可對于滿足一些其它的準(zhǔn)則的最 終編碼的參數(shù)組進(jìn)行選擇，例如，選擇具有最佳的速率畸變性能的一個(gè)或更好地滿足緩沖 約束的一個(gè)。在圖9中示出該方法的示圖。圖9表示使用N個(gè)參數(shù)將圖片編碼的示圖。開始當(dāng)前幀的編碼905，并且，設(shè)定緩
沖狀態(tài)、剩余的位和位速率目標(biāo)910。從1、2.....n確定復(fù)雜性920，并且，找到復(fù)雜性1的
編碼參數(shù)922、復(fù)雜性2的編碼參數(shù)924和復(fù)雜性n的編碼參數(shù)926。然后，產(chǎn)生編碼的圖
片932、934和936，并且選擇最終的編碼參數(shù)940。然后，更新模型1、2.....n950，并且終
止編碼960。另一可能的例子可包含兩個(gè)模型，這里，一個(gè)確定使SAD最小化的編碼參數(shù)，而另 一個(gè)確定嚴(yán)格滿足緩沖約束的編碼參數(shù)。如果緩沖約束可被放寬，那么兩組的編碼參數(shù)的 組合可以是兩種約束的良好的折衷。該方法可被應(yīng)用于任意的數(shù)量的復(fù)雜性類型。復(fù)雜性過濾和質(zhì)量/位速率考慮雖然照明和空間遮掩的效果可被量化為圖片的平均亮度、變化和邊緣內(nèi)容，但是 對于時(shí)間掩蔽可能不是如此。在前面的部分中，對于單一圖片的時(shí)間復(fù)雜性的估計(jì)進(jìn)行了 描述。時(shí)間掩蔽可以是當(dāng)前圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測誤差的簡單函數(shù)(總絕對差-SAD)。在例如內(nèi)容還由高空間活動(dòng)性/質(zhì)地表征并且/或者畸變高的一些情況下，由于 時(shí)間掩蔽，偽像可能不是可覺察的。由于非常高的運(yùn)動(dòng)(包含運(yùn)動(dòng)模糊)或最佳地捕獲實(shí) 際運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)過程的不足，畸變會(huì)是高的。在這種情況下，由于因較高的壓縮另外引入 的壓縮偽像可能是不容易覺察的，因此該區(qū)域的分配位可被降低。在某種意義上，這可為在 主觀上被視為更重要的其它區(qū)域節(jié)省位。但是，當(dāng)復(fù)雜性在時(shí)間上改變時(shí)，這種方案會(huì)是有 問題的。這些變化可導(dǎo)致可對于壓縮視頻位流的主觀視頻質(zhì)量有害的視覺質(zhì)量波動(dòng)?？捎糜跍p輕該問題的技術(shù)是用先前的圖片的復(fù)雜性過濾當(dāng)前圖片的復(fù)雜性。如果 復(fù)雜性對于當(dāng)前圖片大大改變，那么編碼質(zhì)量/位速率變化應(yīng)被控制，使得它更平滑并且 不能被一般的人類觀察者覺察。在提出的速率控制算法中，復(fù)雜性的過濾從先前的圖片擴(kuò)展，以還包含將來的圖 片的復(fù)雜性。并且，還提供幾個(gè)例子以證實(shí)為什么該技術(shù)對于壓縮視頻的主觀質(zhì)量是有益 的。如果發(fā)現(xiàn)依賴于當(dāng)前圖片的將來圖片與當(dāng)前圖片相比具有高的編碼復(fù)雜性，并 且，如果認(rèn)為時(shí)間遮掩可有助于減少任何壓縮偽像的視覺影響，那么可以認(rèn)為最好以較低的位速率或者等同地以比初始選擇的低的視覺質(zhì)量將當(dāng)前圖片編碼。作為益處，由于壓縮 偽像將在時(shí)間上被遮掩，因此這可有助于避免在可能不那么重要的圖片上消耗位以用高的 保真度進(jìn)行編碼。這還可有助于使用節(jié)省的位以在視覺上將其它的更重要的圖片進(jìn)行編 碼。類似地，如果即將到來的圖片與到來的圖片相比表現(xiàn)高的時(shí)間相關(guān)性或者等同地 表現(xiàn)低的編碼復(fù)雜性/畸變，那么，由于增加的質(zhì)量將是可見的并且將傳播到這些圖片，因 此當(dāng)前圖片可以以較高的保真度水平被編碼。當(dāng)前的圖片i的過濾的復(fù)雜性現(xiàn)在可被寫為以下的形式 以上的方法的新穎性不僅在于將來圖片復(fù)雜性的考慮，而且在于基于圖片和系列 表征調(diào)整加權(quán)系數(shù)Wj。參數(shù)N可依賴于許多的因素，諸如編碼系統(tǒng)可用的預(yù)見(延遲)的 程度、計(jì)算和存儲(chǔ)預(yù)算、以及源內(nèi)容的幀速率等。隨著N增加，將最終達(dá)到減少返回的點(diǎn)?？勺鳛楸贿x擇以類似任何分布的初始加權(quán)參數(shù)Vj的函數(shù)確定加權(quán)系數(shù)Wj。在一 些實(shí)施例中，分布可以是中心偏置的一些曲線(j = 0)，這里，其最大值在零上。在其它的實(shí) 施例中，曲線可以是高斯、指數(shù)或一些線性或二次函數(shù)。在該算法的一些實(shí)現(xiàn)中，可通過仔 細(xì)地考慮場景表征信息修改這些參數(shù)。在任選的實(shí)現(xiàn)中，可通過使用嘗試使估計(jì)的復(fù)雜性 和觀察的復(fù)雜性之間的差異最小化的一些回歸算法更新初始參數(shù)\的值(例如，給定用于 將其編碼的編碼參數(shù)，它可以是對于圖片消耗的位數(shù))。各場景類型對于加權(quán)參數(shù)的影響可 根據(jù)是j = 0還是j興0而不同。以下給出各場景類型對于最終的加權(quán)參數(shù)的偏離的影響 的討論。場景變化場景轉(zhuǎn)變可約束過去和將來方向的過濾的時(shí)間范圍。過去的圖片的過濾可從最接 近當(dāng)前圖片的這些圖片開始，并且可在遇到場景變化時(shí)終止。對于過濾將來圖片同樣如此， 這里，過濾可從當(dāng)前圖片的最近的圖片開始，并且可在遇到場景變化時(shí)終止。在后一種情況 下，場景變化的復(fù)雜性不會(huì)被考慮。假定& < i < k2并且在圖片&和k2處出現(xiàn)當(dāng)前前后 的最近的場景變化?？捎糜谶^濾圖片i的復(fù)雜性的加權(quán)參數(shù)將被確定如下 (注otherwise 表示“其他”。)當(dāng)當(dāng)前圖片被指定為場景變化時(shí)，由于它僅基于運(yùn)動(dòng)補(bǔ)償?shù)腟AD，因此圖片的時(shí)間 復(fù)雜性會(huì)是不可靠的。場景變化可導(dǎo)致人為地高的SAD值，該SAD值如果被用于分配當(dāng)前 圖片的位，那么會(huì)導(dǎo)致嚴(yán)重的壓縮偽像或使速率控制不穩(wěn)定。但是，如上面討論的那樣，這 里的內(nèi)編碼圖片的復(fù)雜性被描述為它們的空間統(tǒng)計(jì)的函數(shù)，因此，可在復(fù)雜性確定中包含 圖片。并且，公開的場景變化的復(fù)雜性估計(jì)的算法可使用屬于該新場景的將來圖片的復(fù)雜 性。如果新場景變化被檢測，那么過濾可重新終止，并且，不會(huì)在以下示出的關(guān)系中使用屬 于該圖片的復(fù)雜性 在需要緊密緩沖速率控制的情況下，通過早期的檢測，場景變化的考慮還可對于 預(yù)先預(yù)算位有用。如果編碼器接近已檢測的場景變化，那么可從當(dāng)前場景的最后的幾個(gè)圖 片節(jié)省位，并且可為即將到來的新的場景保存這些位。可通過使用稍差的QP或通過使用編 碼模式和/或與由場景變化之前的圖片的速率控制得到的編碼參數(shù)相比會(huì)導(dǎo)致使用較少 的位的參數(shù)實(shí)現(xiàn)這一點(diǎn)。與更高的位速率相比，QP或一些其它的編碼參數(shù)的變化可潛在地 在較低的位速率上更重要，以保證存在足以向新場景分配的位。淡入/淡出衰落(fade)轉(zhuǎn)變可由全局照明變化表征。在衰落中，與具有類似的內(nèi)容和運(yùn)動(dòng)但 不是衰落的一部分的先前的圖片的SAD值相比，運(yùn)動(dòng)補(bǔ)償?shù)腟AD可增加。當(dāng)不使用加權(quán)預(yù) 測時(shí)，一般會(huì)如此。但是，即使在加權(quán)預(yù)測的情況下，SAD也可能增加。最終效果可以是圖 片可被視為具有高的復(fù)雜性，由此會(huì)難以挑出(spot)壓縮偽像。不幸的是，由于衰落為了 在可接受的質(zhì)量水平上被壓縮會(huì)需要位的數(shù)量，因此對于衰落可能不是如此。作為結(jié)果，在 一些公開的算法中的一些中，時(shí)間復(fù)雜性可被確定為鄰近圖片的復(fù)雜性的平均值，這里，根 據(jù)是否使用加權(quán)預(yù)測，不屬于衰落場景轉(zhuǎn)變的圖片可接收比屬于衰落場景轉(zhuǎn)變的圖片大的 權(quán)重。與前面類似，屬于場景變化的圖片的復(fù)雜性可被排除。例如，假定淡入從圖片“開 始并在圖片12處完成并且圖片i屬于淡入，那么加權(quán)參數(shù)可被修改如下 當(dāng)存在淡出時(shí)，情況可改變，這里，關(guān)注的內(nèi)容(例如，要被過濾的內(nèi)容)位于淡出 的開始之前。例如，假定淡出從圖片h開始并在圖片12處完成并且圖片i屬于淡出，那么 加權(quán)參數(shù)可被修改如下 參數(shù)a應(yīng)被設(shè)為小于1的值，并在許多的情況下可等于零。對于諸如H. 264/AVC 視頻編碼標(biāo)準(zhǔn)的基線輪廓的編碼器，該值應(yīng)接近零。在一些實(shí)施例中，如果使用支持加權(quán)預(yù) 測的編碼器，那么該值可以為非零。參數(shù)a仍可被約束如下0 < a < 1。參數(shù)0可被約 束如下0 并且可用于重要的目的如果參數(shù)0小于1，那么可保證衰落將以比場 景的結(jié)束(淡出)或開始(淡入)高的保真度被編碼。從以上關(guān)于衰落中的偽像的增加的 可見性的討論得出這種結(jié)論。在另一約束中，參數(shù)0 > a?？捎糜趯⑺ヂ渚幋a的替代性的技術(shù)可包含 使用相同的固定編碼參數(shù)以將在衰落之前從圖片的平均復(fù)雜性確定的整個(gè)衰落 場景轉(zhuǎn)變編碼； 增加可改善用于將屬于衰落的圖片編碼的編碼參數(shù)的修改量(例如，QP修改 量)；和 如在前面的段落中討論的那樣，通過使用參數(shù)0，約束將衰落編碼的編碼參數(shù)， 以總是導(dǎo)致比用于將衰落前后的圖片編碼的編碼參數(shù)好的質(zhì)量。一般地，根據(jù)衰落類型，公開的算法可具有至少兩種模式， 對于淡入，用于將衰落編碼的編碼參數(shù)可導(dǎo)致比將用于將跟隨衰落結(jié)束的圖片
28編碼的編碼參數(shù)好的質(zhì)量；和 對于淡出，用于將衰落編碼的編碼參數(shù)可比用于將衰落開始之前的圖片編碼的 編碼參數(shù)好。當(dāng)使用加權(quán)預(yù)測時(shí)，由于加權(quán)預(yù)測可慮及全局照明變化，因此以上的兩個(gè)條件可 被放寬(通過使用參數(shù)a)。以上的衰落討論涉及當(dāng)前圖片i屬于衰落的情況。但是，當(dāng)對于不是衰落的圖片 施加過濾時(shí)，由于過濾操作的長度，因此作為衰落的圖片的復(fù)雜性也可能可被考慮。在這種 情況下，可以使用在使用它們的過濾的復(fù)雜性值的確定中包含已施加過濾的圖片的方法。 否則，使用的復(fù)雜性值可等于其初始值乘以(time)不大于1的參數(shù)。與場景變化的情況類似，如果視頻編解碼器的加權(quán)預(yù)測支持是不夠的，那么可通 過速率控制使用衰落的早期檢測，以預(yù)先預(yù)算位或避免使用會(huì)用掉衰落之前的位的數(shù)量的 編碼參數(shù)。交叉衰落交叉衰落是連接兩個(gè)連續(xù)的場景的衰落轉(zhuǎn)變。對于這些場景轉(zhuǎn)變，方法是首先確 定轉(zhuǎn)變前后的場景的平均復(fù)雜性。在例子中，可假定交叉衰落從圖片^開始并在圖片12處 完成并且圖片i屬于交叉衰落。加權(quán)參數(shù)可被修改如下參數(shù)a和0可被選擇，使得場景的復(fù)雜性具有比衰落自身的復(fù)雜性多的權(quán)重。屬 于交叉衰落的任一側(cè)的場景的圖片通過0被加權(quán)，而屬于衰落的圖片對于當(dāng)前圖片i的復(fù) 雜性確定有少得多的貢獻(xiàn)。當(dāng)被指定為交叉衰落的圖片對于鄰近的圖片的復(fù)雜性確定有貢獻(xiàn)時(shí)，可被采用的 方法可反映(mirror)淡入和淡出的方法，這里，已過濾的圖片可對于過濾的復(fù)雜性值有貢 獻(xiàn)，而還沒有被過濾的圖片可對于它們的原始復(fù)雜性值有貢獻(xiàn)。因此，可以用與用于將兩個(gè)場景的圖片編碼的編碼參數(shù)相比得到至少更好或相當(dāng) 的質(zhì)量(由于0 > a)的編碼參數(shù)對衰落轉(zhuǎn)變進(jìn)行編碼。如以上對于淡入/淡出描述的 那樣，編碼參數(shù)可固定為恒定值，或者可改變，但仍被約束為比用于將場景自身編碼的編碼 參數(shù)好。假定濾波器長度對于兩個(gè)預(yù)測方向都足夠長，那么交叉衰落中的當(dāng)前圖片的復(fù)雜 性可以是先前和下一場景的函數(shù)。閃光閃光包含對于壓縮性能有害并且可主要通過加權(quán)預(yù)測或內(nèi)編碼方法的使用應(yīng)對 (address)的大的和瞬時(shí)的照明變化。作為結(jié)果，它們的過濾的復(fù)雜性應(yīng)保持接近它們的原 始(高)值。如上所述，慮及場景變化和衰落的一般的濾波器可足夠好以產(chǎn)生閃光圖片的 過濾的復(fù)雜性。作為替代方案，中心(j = 0)的權(quán)重可增加。但是，當(dāng)閃光圖片在鄰近圖片 的過濾范圍內(nèi)時(shí)，該圖片的異常高的復(fù)雜性可減少分配給鄰近的非閃光類型圖片的位。該 問題的一種方案是，如果圖片j是閃光，那么減小過濾系數(shù)％。該系數(shù)可乘以不為負(fù)但總小 于1的參數(shù)。
因此，被檢測為閃光的圖片與它們的鄰近圖片相比可以以較低的質(zhì)量被編碼(未 必使用較少的位)。這種編碼的原因在于，閃光的短暫持續(xù)時(shí)間可遮掩壓縮偽像。另一原因 在于，消耗在這些圖片上的位將很少對于任何將來圖片有益。但是，可出現(xiàn)這一點(diǎn)的一種情 況是當(dāng)存在相互接近的多個(gè)閃光圖片時(shí)。在該方案中，它們看似屬于相同的場景并且高度 相關(guān)。因此，閃光可作為基準(zhǔn)圖片被緩沖。否則，如果閃光是隔離的，那么，它們不作為基準(zhǔn) 被緩沖是有益的。局部照明變化該場景類型類似于閃光，但可在照明變化的空間范圍中不同。照明變化可僅包含 整個(gè)圖片的一部分，未必包含整個(gè)圖片。由于圖片的一些部分將保持與過去和將來的圖片 類似的照明特性，并且，根據(jù)解編碼器對于加權(quán)預(yù)測的支持或不支持，這些圖片可作為預(yù)測 基準(zhǔn)被保持。如上面對于閃光場景類型討論的那樣，如果閃光非常相互接近地出現(xiàn)，那么它 們可僅作為預(yù)測基準(zhǔn)被保持。對于具有局部照明變化的圖片的復(fù)雜性過濾可跟隨對于具有 閃光的圖片的過濾。但是，在圖片內(nèi)，應(yīng)主要向與過去和將來圖片保持相同的亮度特性的區(qū) 域分配較好的質(zhì)量。如果圖片j是局部照明變化并且用于得到鄰近圖片的過濾的復(fù)雜性， 那么，與閃光的情況類似，過濾系數(shù)％減小。在一些實(shí)現(xiàn)中，系數(shù)可乘以不為負(fù)但總小于1 的參數(shù)。照相機(jī)搖攝/變焦用于包含照相機(jī)搖攝和變焦的全局照相機(jī)運(yùn)動(dòng)的復(fù)雜性過濾方法與交叉衰落的 討論高度類似。對于全局照相機(jī)運(yùn)動(dòng)，確定照相機(jī)運(yùn)動(dòng)前后的場景的平均復(fù)雜性。例如，假 定照相機(jī)運(yùn)動(dòng)從圖片h開始并在圖片12處完成并且圖片i屬于具有照相機(jī)運(yùn)動(dòng)的場景。 加權(quán)參數(shù)從而被修改如下 參數(shù)a和3可被選擇，使得照相機(jī)運(yùn)動(dòng)的復(fù)雜性可具有比場景轉(zhuǎn)變前后的兩個(gè) 場景的復(fù)雜性多的權(quán)重。屬于照相機(jī)運(yùn)動(dòng)的任一側(cè)的場景的圖片可通過0被加權(quán)，而屬于 照相機(jī)運(yùn)動(dòng)的圖片可對于當(dāng)前圖片i的復(fù)雜性確定有更多的貢獻(xiàn)。當(dāng)被指定為屬于照相機(jī) 運(yùn)動(dòng)的圖片對于鄰近的圖片的復(fù)雜性確定有貢獻(xiàn)時(shí)，還沒有過濾它們的復(fù)雜性的圖片對它 們的原始復(fù)雜性值有貢獻(xiàn)，而已復(fù)雜性過濾的圖片對于它們的過濾的復(fù)雜性值有貢獻(xiàn)。與給予開始和結(jié)束場景而不是轉(zhuǎn)變圖片更多的權(quán)重的衰落轉(zhuǎn)變的復(fù)雜性的過濾 相比，這里，可以采用轉(zhuǎn)變(照相機(jī)運(yùn)動(dòng))圖片可對復(fù)雜性的確定有更大的貢獻(xiàn)的相反的方 案(a > 0)。在圖10中示出復(fù)雜性過濾的一些例子。圖10表示不同的場景類型的圖片的例子。特別地，圖10表示過濾的復(fù)雜性依賴 于場景類型的圖片的例子。表示的圖片的場景類型是場景變化1010、交叉衰落類型1020、 淡入類型1030和淡出類型1040。對于各場景類型1010、1020、1030、1040，較暗的圖片可對 于衰落轉(zhuǎn)變的復(fù)雜性過濾中的復(fù)雜性確定有最大的貢獻(xiàn)。例如，對于僅包含場景變化類型 1010的情況，當(dāng)前圖片1015對復(fù)雜性的確定有最大的貢獻(xiàn)。具有預(yù)見的速率分配
為了良好的壓縮性能，開發(fā)可依賴于預(yù)見的程度的方案。一般地，預(yù)見越大，則壓 縮性能越好。方案可對于各圖片執(zhí)行速率估計(jì)和分配(例如，設(shè)定位目標(biāo))，并可然后使用 一些任意的下層速率控制模型以實(shí)現(xiàn)位目標(biāo)。可以使用附加的編碼道次以保證滿足這些目 標(biāo)。對于給定的位目標(biāo)選擇量子化參數(shù)(QP)值的下層速率控制算法可以是該族的任意算 法，這些算法可包含二次模型和p域速率控制模型等。這里討論可對于各圖片確定位目標(biāo)的新穎的算法。預(yù)見信息可來自初始的編碼道 次、來自可執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)念A(yù)分析器或它們的組合。該信息可包含預(yù)見可用的各圖 片和已編碼的圖片的復(fù)雜性Ci。各圖片的復(fù)雜性(^可包含運(yùn)動(dòng)補(bǔ)償總絕對差(SAD)、或使 用加權(quán)預(yù)測時(shí)的SAD、或時(shí)間和空間圖片統(tǒng)計(jì)的一些組合。在一些實(shí)現(xiàn)中，SAD可與加權(quán)預(yù) 測一起或不一起使用。運(yùn)動(dòng)估計(jì)可利用任何算法，包括基于塊的和基于區(qū)域的運(yùn)動(dòng)估計(jì)、相位相關(guān)、像素 回歸(pel-recursive)技術(shù)等，并且，可以使用包含平移、仿射、拋物線等的各種運(yùn)動(dòng)模型。 如上所述，完整的復(fù)雜性確定可提供更多的信息。以下設(shè)計(jì)并描述兩種替代性的速率控制算法。注意，在本部分中，術(shù)語“預(yù)測圖片”可始終指的是單一預(yù)測和雙假設(shè)和多假設(shè)預(yù) 測圖片。采用預(yù)見的速率分配算法1該算法/方案是可依賴于訪問將來圖片的統(tǒng)計(jì)和復(fù)雜性度量的新穎的速率分配 算法。算法可對于各圖片產(chǎn)生位目標(biāo)。該算法不必選擇將用于將圖片編碼的編碼參數(shù)(例 如，QP)。該選擇可以是下層的任意的速率控制模型的任務(wù)，該任務(wù)以位目標(biāo)為輸入并產(chǎn)生 編碼參數(shù)。可用于該任意的速率控制模型的算法可包含二次模型和P域速率控制模型等。 一般地，只要速率控制將位目標(biāo)轉(zhuǎn)變成相應(yīng)的編碼參數(shù)組，該算法就可使用任何速率控制。在一些實(shí)現(xiàn)中，該算法不能使用速率控制，但可確定每個(gè)圖片的位數(shù)，然后，任何 速率控制算法可被用于將位映射到諸如QP值的編碼參數(shù)。編碼參數(shù)可被擬合以實(shí)現(xiàn)希望 的位速率目標(biāo)。該算法的各方面可使用預(yù)見窗口和過去圖片的復(fù)雜性以確定應(yīng)向圖片分配 多少位。并且，可基于多少其它的圖片被編碼或?qū)⒈痪幋a調(diào)整用于圖片的位數(shù)。在該算法中，nref > 0可表示預(yù)見可用的圖片的數(shù)量，并且，curr可表示要被編碼 的當(dāng)前圖片的指數(shù)。預(yù)見的緩沖中的圖片的總復(fù)雜性可被確定如下 如果圖片通過使用例如P或B的先前編碼圖片被交互編碼，那么可在求和過程中 使用其復(fù)雜性的初始值。但是，如果它被編碼為內(nèi)部圖片，那么使用下一圖片的復(fù)雜性，并 將其乘以因子K，該因子K在一個(gè)可能的實(shí)施例中可被設(shè)為等于5。因此，術(shù)語被給出如 下 通過下式給出分配給交互編碼圖片的位bitSi
這里，Be是來自總初始位預(yù)算的剩余位的數(shù)量，Ne是還必須被編碼的圖片的數(shù)量， sn是被設(shè)計(jì)為避免接近圖片序列的端部的位速率過餓的“安全網(wǎng)(safety net)”。在一些 實(shí)施例中，安全網(wǎng)的值可被設(shè)為30。由此，向圖片分配的位可與其復(fù)雜性和總復(fù)雜性的比值 乘以可向預(yù)見圖片分配的剩余位預(yù)算成比例。最后，可由下式給出分配給內(nèi)部編碼圖片的 位 bitSj 值得注意的例外可以是周期性插入的內(nèi)部編碼圖片，在這種情況下，用于將圖片 編碼的QP被選擇為接近用于將先前圖片編碼的QP。如果周期性插入的內(nèi)部編碼圖片與場 景變化一致，那么場景變化分類可優(yōu)先于周期性分類，并且，圖片可被編碼為規(guī)則的內(nèi)部圖 片。在其它的情況下，位目標(biāo)可被送入速率控制模型以產(chǎn)生QP值?？捎迷換P值將圖片編 碼，并且，編碼器然后可檢查用于將圖片編碼的位(例如，bits_old)的數(shù)量。如果它們與 初始目標(biāo)的差大于閾值，那么稱為bit_new = normBits (bits_o 1 d, QP_0LD, QP_NEff)的函數(shù) 被迭代使用以產(chǎn)生會(huì)導(dǎo)致更接近初始目標(biāo)的位使用的QP_NEW。然后可通過使用新的QP值 將圖片重新編碼。如果使用PSNR約束，那么圖片可被重新編碼，使得它滿足PSNR最小值和 最大值約束。在圖11中示出該算法的主環(huán)路的示例性示圖，而在圖12中表示示出總復(fù)雜 性ct。tal的確定的示例性示圖。圖11表示采用預(yù)見技術(shù)的速率分配的算法1的主環(huán)路的示例性流程圖1100。在 圖11中，視頻編碼開始1110，并且，用i = 0對QP、BK、N!^n Sn執(zhí)行初始化1115。對于預(yù)見 圖片確定總復(fù)雜性ct。tal 1120。然后，確定可以是I編碼圖片、P編碼圖片或周期性I編碼 圖片的片斷類型1125。如果片斷類型是I編碼圖片，那么確定bitsu 1135并且位的RC模 型產(chǎn)生QP 1150。如果片斷類型是P編碼圖片，那么確定bitSi,P1140并且位的RC模型產(chǎn) 生QP 1155。如果片斷類型是周期性I編碼類型，那么使用先前的QP即PrevQP加上一些 偏移1160。與標(biāo)題為“對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配”的部分的因素(c) (f)類似 地確定偏移。然后，將圖片編碼1170。如果接近目標(biāo)1175，那么確定是否存在更多的用于 處理的圖片1185。如果不接近目標(biāo)，那么修改QP 1165并將圖片重新編碼1170。如果不存 在更多的用于編碼的圖片，那么編碼可終止1190。但是，如果存在更多的圖片，那么在確定 預(yù)見圖片的總復(fù)雜性ctotal之前增量i (例如，i++) 1180、更新RC模型1145并更新Bk、Nk和 PrevQP 1130。圖12表示用于確定采用預(yù)見技術(shù)的速率分配的算法1的總復(fù)雜性ct。tal的示例性 流程圖1200。在圖12中，過程可開始1200并且對于j = 1和ct。tal = 0設(shè)定參數(shù)1210。然 后，對于P編碼圖片和I編碼圖片確定片斷類型1215。如果存在P編碼圖片，那么ct。tal+ = cj 1225。如果存在I編碼圖片，那么ct。tal+ = 5Xcj+I 1220。在確定ct。tal之后，參數(shù)j增大 1230。如果存在更多的圖片1235，那么對于下一圖片確定片斷類型1215。如果不存在更多 的圖片1235，那么過程終止1240。采用預(yù)見的速率分配-算法2該算法與采用預(yù)見的速率分配的算法1具有類似性。用于采用預(yù)見的速率分配的 算法2可使用包含來自將來的信息的復(fù)雜性估算。該第二算法的各方面可考慮不是從其它 圖片預(yù)測的圖片。
32
雖然與前面的部分中的方案十分類似，但是該方案具有幾點(diǎn)不同，現(xiàn)在描述這些 不同。不被編碼為內(nèi)部編碼圖片的預(yù)見緩沖中的圖片的復(fù)雜性的總和可被確定如下 總復(fù)雜性在這里可包含不被編碼為內(nèi)部編碼圖片的所有圖片的復(fù)雜性值。需要該 算法與上述的算法1的主要差別以估計(jì)將被分配以將內(nèi)部編碼圖片編碼的位的數(shù)量?？蓪?于所有的內(nèi)部編碼圖片將該估算確定如下。 前面已描述了函數(shù)normBitsO。參數(shù)w可表示圖片的寬度，h可表示圖片的高度。 QPnoem可表示固定的QP值，例如，該固定QP值在一個(gè)可能的實(shí)施例中為24，對于該值，可通 過通過線性回歸使用來自先前內(nèi)編碼圖片的統(tǒng)計(jì)確定線性模型的系數(shù)a和0。根據(jù)圖片 索引系數(shù)的原因在于，這些系數(shù)被更新，由此它們可改變。為了慮及場景之間的不同的統(tǒng) 計(jì)，可對于場景變化使用不同的組的系數(shù)，并且可對于周期性內(nèi)編碼圖片使用不同的組。對于內(nèi)編碼圖片分配的位bitSi可由下式給出 由此，對于內(nèi)編碼圖片分配的位與其在總復(fù)雜性上的比值乘以可對于預(yù)見圖片分 配的剩余位預(yù)算減去將對于內(nèi)編碼圖片分配的位的估算成比例。與前面的算法相反，現(xiàn)在借助于線性模型確定被分配以將內(nèi)編碼圖片編碼的位， 并由下式給出它bitsj = normBits(wXhX (a jXyar^^ j)，QPN0EM, QPAVE) 與以上的算法1類似地處理周期性插入的內(nèi)編碼圖片。在圖13中示出該算法的 主環(huán)路的示例性流程圖，而在圖14中表示示出總復(fù)雜性ct。tal的確定的示例性流程圖。圖13表示采用預(yù)見技術(shù)的速率分配的算法2的主環(huán)路的示例性流程圖1300。在 圖13中，視頻編碼開始1310，并且，用內(nèi)部線性模型用i = 0對QPjp^* Sn執(zhí)行初始化 1315。對于預(yù)見圖片確定總復(fù)雜性ct。tal和bitsintea1320。然后，確定可以是I編碼圖片、P 編碼圖片或周期性I編碼圖片的片斷類型1325。如果片斷類型是I編碼圖片，那么用內(nèi)部 線性模型確定= 并且位的RC模型產(chǎn)生QP 1350。如果片斷類型是P編碼圖片，那 么確定bitSi,P1340并且位的RC模型產(chǎn)生QP 1355。如果片斷類型是周期性I編碼類型，那 么使用先前的QP即PrevQP加上一些偏移1360。與標(biāo)題為“對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù) 分配”的部分的因素(c) (f)類似地確定偏移。然后，將圖片編碼1370。如果接近目標(biāo) 1375，那么確定是否存在更多的用于處理的圖片1385。如果不接近目標(biāo)，那么修改QP 1365 并將圖片重新編碼1370。如果不存在更多的用于編碼的圖片，那么編碼可終止1390。但是， 如果存在更多的圖片，那么i增大(例如，i++) 1380，RC模型被更新1345，并且，參數(shù)BK為、 PrevQP 1330、確定預(yù)見圖片的bitsintea和總復(fù)雜性ct。tal之前的線性內(nèi)部模型1395也被更 新。圖14表示確定采用預(yù)見技術(shù)的速率分配的算法2的bitsintea和總復(fù)雜性ct。tal 的過程的示例性流程圖1400。在圖14中，過程可開始1400并且對于j = 1、ctotal = 0和bitsintea = 0設(shè)定參數(shù)1410。然后，對于P編碼圖片和I編碼圖片確定片斷類型1415。如 果存在P編碼圖片，那么ct。tal+= Cj 1425。如果存在I編碼圖片，那么bitsintea+ = bit_ estimate 1420。如上描述的那樣通過使用normBits函數(shù)確定術(shù)語bit_estimate。在確定 么砧他^或。。…之后，參數(shù)j增大1430。如果存在更多的圖片1435，那么對于I編碼圖 片，bitsintra+ = bit_estimate 1420。如果不存在更多的圖片1435，那么過程終止1440。平均位速率控制算法(例如，參見關(guān)于采用預(yù)見的高復(fù)雜性和低復(fù)雜性ABR速率 控制的部分)可執(zhí)行速率分配和速率控制，并且可從將來和先前圖片信息受益。雖然采用預(yù)見的速率分配的算法1和2可通過局部調(diào)整將分配多少位實(shí)現(xiàn)全局目 標(biāo)，但是，這些屬于算法的第二族的附加的算法可在不必明確規(guī)定圖片的位的數(shù)量的情況 下具有并實(shí)現(xiàn)全局目標(biāo)。如下所述，這些算法可用于將圖片之間的質(zhì)量“平滑化”，以避免 不希望的視覺偽像和圖片之間的視覺質(zhì)量波動(dòng)。這些算法可分配編碼參數(shù)以在不必對于每 個(gè)圖片實(shí)現(xiàn)位目標(biāo)的情況下實(shí)現(xiàn)總位速率目標(biāo)。由此，與第一族的算法相比，以下描述的算 法的位域較不呈粒狀(lessgranular)。換句話說，算法的第一族的算法1和2可在位域中 操作更多(例如，與位速率相關(guān))，而下述的算法可在質(zhì)量域中操作更多(例如，與畸變相 關(guān))。一般地，在本公開中描述的所有算法均從圖片復(fù)雜性的估計(jì)和過濾量度受益。與第一族的算法類似，以下的算法可通過使用來自先前的編碼圖片的統(tǒng)計(jì)獲得目 標(biāo)位速率，但是，在以下的算法的一些實(shí)現(xiàn)中，可存在更高的復(fù)雜性(例如，參見采用預(yù)見 的高復(fù)雜性ABR速率控制的部分)。在一些實(shí)現(xiàn)中，平均位速率算法一般可具有一些類似 性，諸如如何使用QP值。這些算法的預(yù)見可降為零(例如，僅使用過去圖片統(tǒng)計(jì))。如果僅 使用過去統(tǒng)計(jì)，那么這些統(tǒng)計(jì)可被用于執(zhí)行估計(jì)和預(yù)測將來統(tǒng)計(jì)。過去的信息可來自序列 的開始，或者僅考慮僅從相對接近當(dāng)前圖片的序列內(nèi)使用一定的數(shù)量的圖片的受約束的移 動(dòng)的窗口。并且，在一些實(shí)現(xiàn)中，可對于圖像序列的不同部分分配不同的量的質(zhì)量。采用預(yù)見的高復(fù)雜性ABR速率控制采用預(yù)見速率控制算法的高復(fù)雜性ABR速率控制可從兩道次速率控制算法以 及從可與包含于許多開放源視頻編碼器中的算法(例如，x264H. 264/AVC、Xvid MPEG-4、 FFMPEG MPEG-4等)類似的平均位速率(ABR)速率控制算法獲得思想。該算法可對于當(dāng)前 圖片進(jìn)行速率分配并且可選擇諸如量子參數(shù)QP的編碼參數(shù)。該算法的一個(gè)基本前提是，它 可收集所有先前的圖片的編碼統(tǒng)計(jì)并然后可對于當(dāng)前圖片選擇諸如QP值的一個(gè)或多個(gè)編 碼參數(shù)。假定編碼參數(shù)是QP，那么該編碼參數(shù)被設(shè)為基本QP值加上修改量。對于所有先前 編碼的圖片，包括當(dāng)前的一個(gè)，選擇QP值加上修改量，以實(shí)現(xiàn)目標(biāo)位速率?；綫P值可等 于目前如果被應(yīng)用于所有圖片則可望實(shí)現(xiàn)目標(biāo)位速率的QP值?？蓪τ谥T如拉格朗日參數(shù)、 編碼模式、閾值處理和量子化舍入等的所有其它可能的編碼參數(shù)應(yīng)用該過程。以下是算法 的詳細(xì)描述。參數(shù)curr可表示要被編碼的圖片的指數(shù)。目前編碼的所有圖片的位目標(biāo)bitstogrt 被確定如下 權(quán)重i可對于各圖片改變，使得可向特定的圖片提供更好的質(zhì)量/更高的位速 率。并且，權(quán)重可隨時(shí)間改變；由此存在權(quán)重的雙重指數(shù)。例如，檢測為閃光的圖片可接收較低的權(quán)重。例如，這些變化的權(quán)重可被用于完成以下的過程 向諸如開始的圖片序列的更敏感部分提供更好的質(zhì)量； 根據(jù)復(fù)雜性量度改變位速率分配； 對被使用的特定的編碼工具和分層結(jié)構(gòu)調(diào)整位速率。兩種約束在于，平均而言，curr應(yīng)比一些閾值大，并且這些系數(shù)之和應(yīng)合計(jì)達(dá)到
。通過該技術(shù)，可以增強(qiáng)位速率目標(biāo)。如上所述，系數(shù)可隨時(shí) 間改變。在一些實(shí)現(xiàn)中，當(dāng)圖片N被編碼時(shí)，可存在從0到N-M計(jì)算的系數(shù)的和，這里， M > 0等于K。同時(shí)，當(dāng)圖片N+P被編碼時(shí)，這里，P > 0，系數(shù)0 N-M能夠總計(jì)達(dá)到L興K。 在該算法中，在一些實(shí)施例中，該特征可允許對于圖片的某些場景精細(xì)地注入附加的位速 率，同時(shí)，實(shí)現(xiàn)位目標(biāo)，并且，其它區(qū)域不可見地存在位饑餓。在各圖片被編碼之后，該技術(shù) 可確定速率因子f，該速率因子f被用于分割當(dāng)前圖片的復(fù)雜性，以產(chǎn)生量子化參數(shù)。可對 于和f d之間的速率因子估計(jì)各值。在一些實(shí)施例中，如果已使用因子f 以獲得各QP， 那么可通過將位目標(biāo)和目前已消耗的位bits (f)之間的絕對值差最小化找到速率因子f。 以下的表達(dá)式可示出該最小化。 通過用該因子分割可能任選地被設(shè)為一些預(yù)定參數(shù)的冪的圖片的復(fù)雜性值，可產(chǎn) 生量子化步幅尺寸，該量子化步幅尺寸通過使用附加的函數(shù)轉(zhuǎn)變成量子化參數(shù)。通過現(xiàn)在描述的綜合過程確定術(shù)語位bits (f)。目前已編碼的圖片被分割成屬于 最高優(yōu)先級(jí)別的圖片，并且，不屬于該級(jí)別的圖片被視為低優(yōu)先權(quán)圖片。對于各編碼圖片， 存在許多可用的編碼統(tǒng)計(jì)，諸如運(yùn)動(dòng)補(bǔ)償復(fù)雜性、用于將片斷標(biāo)題和質(zhì)地編碼的位、用于將 圖片編碼的QP等。如果作為實(shí)際用于將該圖片編碼的QP的替代使用通過將復(fù)雜性除以因 子f 獲得的新QP，那么該過去編碼信息連同新QP現(xiàn)在可被用于估計(jì)將該圖片編碼所消耗的 位。該位估計(jì)的確定可包含求和，并且可對于屬于當(dāng)前被編碼的級(jí)別的每個(gè)編碼圖片進(jìn)行 這種確定(例如，在最高優(yōu)先級(jí)別的情況下)。然后，可對于先前編碼的較低優(yōu)先權(quán)圖片的 位估計(jì)施加類似的過程。與用于最高級(jí)別圖片的過程相比較的一個(gè)主要差別在于新QP的推導(dǎo)。例如，新的 QP可依賴于將用于將相鄰錨定圖片編碼的QP，并且可通過可依賴于各種因素的參數(shù)偏移 (例如，在以下的對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配的部分中描述這些因素)。在一些實(shí)施例中，術(shù)語bits(f)可被寫為以下的形式 這里，、是對于圖片i使用的質(zhì)地位的數(shù)量，并且比是對于圖片i使用的標(biāo)題位 的數(shù)量。QP2QStep()是將QP(對數(shù)刻度)值轉(zhuǎn)變成量子化步幅(線性刻度)值的函數(shù)。 QSt印2QP0完成逆轉(zhuǎn)，QPi是用于將圖片i編碼的QP值，并且，Ci是圖片i的復(fù)雜性。
當(dāng)圖片i是較低優(yōu)先權(quán)圖片時(shí)，L0(i)可表示屬于最高優(yōu)先級(jí)別的在時(shí)間上最接 近i的圖片，L1⑴可表示屬于最高優(yōu)先級(jí)別的第二最接近圖片。術(shù)語⑴和cu⑴表示 這些圖片的復(fù)雜性值。參數(shù)B。ffsrt,i表示對于依賴于圖片是否被用作基準(zhǔn)以及其它因素的B 編碼圖片施加的QP偏移。在以下的對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配的部分中詳細(xì)描述 參數(shù)禮—“的推導(dǎo)。術(shù)語Si表示編碼圖片i的跳過的宏塊的數(shù)量。最后，術(shù)語e表示用于 避免大的QP波動(dòng)的指數(shù)。在一些實(shí)施例中，e被設(shè)為0.4，并且，強(qiáng)加約束1。函數(shù) NBQ0可以是使用編碼統(tǒng)計(jì)和先前編碼圖片的參數(shù)的任意函數(shù)，并且，如果這些編碼參數(shù)改 變，那么計(jì)算位使用的估計(jì)。在一些實(shí)施例中，函數(shù)NBQ0可以具有以下的輸出
erwise對于本實(shí)施例，參數(shù)a可被設(shè)為稍大于1的值，而參數(shù)0可被設(shè)為小于1的值。 參數(shù)block_piXelS與構(gòu)成運(yùn)動(dòng)補(bǔ)償?shù)膲K的像素的數(shù)量對應(yīng)。可以以這種方式設(shè)定這些參 數(shù)的值，使得，雖然質(zhì)地位(a)可隨著QP的減小大大增加，但標(biāo)題位(b)可以較慢的速率增 加。參數(shù)、可比0大并且比1小，并且應(yīng)被設(shè)為大的值。在對于當(dāng)前圖片確定速率因子f 之后，可對于用于保證速率控制實(shí)現(xiàn)初始位目標(biāo)的術(shù)語QPm。d進(jìn)行確定?？勺鳛橥ㄟ^并包含 圖片的結(jié)束對于圖片的開始使用的位之和計(jì)算使用的位的數(shù)量bitS_d。即使在一些實(shí)現(xiàn) 中開始可被設(shè)為0并且結(jié)束被設(shè)為作為當(dāng)前圖片的指數(shù)的curr，這些設(shè)置也是任選的。能 夠確定一些窗口上的位使用。這可有助于在圖像序列的不同部分中分配不同的位速率。這 可被表達(dá)如下 在該表達(dá)式中，術(shù)語bi可指的是用于將圖片i編碼的位的數(shù)量。在因子f被估計(jì)之后，可以確定針對位預(yù)算的過利用(over-utilization)或欠利 用(under-utilization)的附加的參數(shù)?？杀环Q為QP修改量的該參數(shù)當(dāng)位被過利用時(shí)可增 加，并且當(dāng)位被欠利用時(shí)可減小，并且，一般地，當(dāng)位目標(biāo)被滿足時(shí)，可保持接近零的值?？?向通過將復(fù)雜性的冪除以因子獲得的初始QP估計(jì)添加QP修改量參數(shù)。在一些實(shí)施例中， QP修改量QPm。d由下式給出這里，Z是可在序列的開始和結(jié)束取不同的值的指數(shù)(以分別保證較慢和較快地 會(huì)聚到位目標(biāo))。對于圖像序列的大部分，Z可具有比1稍大的值。該方法包含必須對于屬 于最高優(yōu)先級(jí)別的各圖片執(zhí)行的速率因子f的高成本計(jì)算。以下給出用于將當(dāng)前圖片編碼 的最終QP (注devel表示“級(jí)別”)向級(jí)別0上的圖片分配的QP可以是它們的復(fù)雜性量度和因子f的函數(shù)，為了實(shí)現(xiàn)
目標(biāo)位速率，該函數(shù)然后通過QP修改量被縮放。向低優(yōu)先級(jí)別的圖片分配的QP可以是向級(jí) 別0圖片分配的QP的函數(shù)，從該函數(shù)，低優(yōu)先權(quán)圖片被預(yù)測并且是從屬的。可以用在以下 的對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配的部分中詳細(xì)描述的參數(shù)B。ff6t,i進(jìn)一步修改這些QP。當(dāng)先前沒有通過使用一些算法分類為場景變化的周期性內(nèi)部編碼圖片被插入時(shí)， 可通過向用于將最接近級(jí)別0圖片編碼的量化器參數(shù)q添加正或負(fù)的修改量獲得圖片的 QP。該修改量可依賴于q自身的值、編碼器和解碼器緩沖充滿度、以及被編碼的內(nèi)容的復(fù)雜 性。如果位速率約束可放寬，那么，由于非常差或太好地編碼相同的內(nèi)容，因此會(huì)希望避免 視覺質(zhì)量劣化。在圖15中示出該算法的示圖。圖15表示采用預(yù)見的高復(fù)雜性ABR速率控制的算法的示例性流程圖1500。在圖 15中，視頻編碼在1510處開始，并且，在1515處通過QP、f和i = 0將參數(shù)初始化。然后， 對于 bitstoget、bitsused 和 Qpmod 執(zhí)行確定步驟 1520。然后，通過使 abs (bitstarget-bits (f)) 最小化對f進(jìn)行確定步驟1525。然后，可確定片斷類型1530。如果級(jí)別>0，那么確定 prevQP+Bij0ffset 1535。否則，如果片斷類型是P或B編碼圖片，那么QP = func (f，Ci) 1540。 如果片斷類型是I編碼圖片，那么QP = func(f,ci) 1545。如果片斷類型是周期性I編碼圖 片，那么使用PrevQP加一些偏移1550。與標(biāo)題為“對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配”的 部分的因素(c) (f)類似地確定偏移。在對于給定的片斷類型確定它們之后，將圖片編 碼1560。如果不存在更多的圖片1565，那么編碼終止1570。如果存在更多的圖片1565，那 么在對于bitstmget、bitsused和Qpmod執(zhí)行確定步驟1520之前i增大(例如，i++) 1575并 且更新 prevQP 1580。采用預(yù)見的高復(fù)雜性ABR速率控制的以上描述的各方面可假定對于約束位速率 (CRB)或可變位速率(VBR)應(yīng)用實(shí)際上不存在編碼器或解碼器緩沖約束。對于緩沖約束是 關(guān)鍵的那些應(yīng)用，可在給定編碼器和解碼器處的緩沖充滿度的條件下修改速率因子f。小的 f可偏向大的QP和較少的編碼位，而較大的f可導(dǎo)致更多的編碼位。如果位使用導(dǎo)致緩沖 溢出或下溢，那么，可為了以希望的狀態(tài)補(bǔ)償并保持緩沖充滿度調(diào)整因子f。并且，選擇的編 碼參數(shù)可以與一些速率控制模型結(jié)合使用，以估計(jì)得到的位的數(shù)量，并且調(diào)整這些編碼參 數(shù)，使得滿足編碼器和解碼器緩沖約束。采用預(yù)見的低復(fù)雜性ABR速率控制采用預(yù)見的低復(fù)雜性ABR速率控制的速率控制算法可與上述的高復(fù)雜性單道次 速率控制算法共享相同的方面中的一些，而使得其實(shí)現(xiàn)更加簡化。bitSusw^nbitStawt的討 論和推導(dǎo)可與上述的高復(fù)雜性單道次速率控制算法相同或類似。該算法的一個(gè)差別是因子 f 的推導(dǎo)。這里借助于稱為復(fù)雜性之和SUm。mplx的變量確定因子f。該量可被初始化為接近零 的值，并且，sumCfflplx可依賴于圖像的尺寸。在一些實(shí)施例中，sumCfflplx可被初始化如下 在一些實(shí)施例中，參數(shù)5可取比1小的值，參數(shù)￡可與向各圖片分配的平均位的 4 5倍成比例，并且，參數(shù)(可比1稍大。參數(shù)w和h可指的是圖片的寬度和高度，而數(shù) 量block_piXelS可代表塊中的像素的數(shù)量。為了確定復(fù)雜性之和，最后的編碼圖片的復(fù)雜性度量被存儲(chǔ)在級(jí)別0上，該復(fù)雜性度量被設(shè)定如下 除了更新以上的量以外，在各圖片被編碼之后，(加權(quán))復(fù)雜性之和可被更新如 下 權(quán)重可對于各圖片改變，使得可對于特定的圖片分配更多的位。并且，權(quán)重可 隨時(shí)間改變；由此使用雙重指數(shù)。被檢測為閃光的圖片可接收較低的權(quán)重。當(dāng)使用具有任意的編碼次序的分層編碼 結(jié)構(gòu)時(shí)，這些改變的權(quán)重也可是有用的。當(dāng)前圖片的復(fù)雜性參數(shù)cmplXi可與用于將圖片編 碼的位數(shù)乘以用于將圖片編碼的量了化步幅尺寸并除以級(jí)別0處的最后的編碼圖片的復(fù) 雜性成比例。級(jí)別0處的最后的編碼圖片的復(fù)雜性可通過因子F被加權(quán)以慮及當(dāng)前優(yōu)先級(jí) 別。在一些實(shí)施例中，當(dāng)前圖片的復(fù)雜性參數(shù)cmplXi可由下式表達(dá)
這里，因子F依賴于圖片是否屬于最高優(yōu)先級(jí)別，并且，如果不是，那么依賴于被 施加以確定其量子化參數(shù)的修改量。在一些實(shí)施例中，F(xiàn)可被選擇如下 如指出的那樣，該算法和高復(fù)雜性ABR速率控制算法的先前算法的主要差別包含 速率因子f的確定，對于該算法該確定大大簡化 并且，與高復(fù)雜性ABR速率控制算法的算法類似，為了實(shí)現(xiàn)位速率目標(biāo)，還存在可 修改QP分配的附加的機(jī)制?？梢源_定稱為“溢出”的因子，該因子可在位被欠利用時(shí)可取 小于1的值并在位被過利用時(shí)取大于1的值。在一些實(shí)施例中，用以下的方法確定該因子。 緩沖參數(shù)的值可被表達(dá)如下buffer = tXbi_rateX v”這里，bit_rate是圖像序列的當(dāng)前段的目標(biāo)位速率。參照t指的是可導(dǎo)致編碼效 率和速率控制精度之間的權(quán)衡的控制參數(shù)。如果t大，那么更高的優(yōu)先權(quán)被放于質(zhì)量上(例 如，質(zhì)量增加)，而位目標(biāo)不會(huì)被精確地實(shí)現(xiàn)。另一方面，如果t小，那么，與質(zhì)量相比，較高 的優(yōu)先權(quán)被放于位速率上。當(dāng)t小時(shí)，這可使得在可能損失編碼效率的情況下實(shí)現(xiàn)高的速 率控制精度。參數(shù)\被用于控制QP分配，使得滿足緩沖或質(zhì)量約束。這些操作可產(chǎn)生以 下的因子 溢出參數(shù)可被約束到分別可小于1并且為正的omin和大于1的之間。最后，可以與高復(fù)雜性ABR速率控制的部分類似地獲得用于將當(dāng)前圖片編碼的QP如下 周期性插入的內(nèi)編碼圖片的處理可與高復(fù)雜性ABR速率控制的部分的相關(guān)討論 相同。與一些算法相比，當(dāng)在圖像序列的敏感部分上分配更多的位時(shí)，在該部分中描述 的算法可被更多地偏置。并且，該部分中的算法還可加入速率調(diào)整以在被視為對于隨后的 圖像重要的圖片上分配附加的位。所有以上的特征還適用于本公開的所有先前的算法。在 圖16中示出該算法的示例性的示圖。圖16表示采用預(yù)見的低復(fù)雜性ABR速率控制算法的示例性流程圖1600。在圖16 中，視頻編碼在1610上開始，并且，在1615上通過QP、f、i = 0和sum。mplJ#參數(shù)初始化。對 于bitstoget、bitsused和溢出參數(shù)執(zhí)行確定步驟1620。然后在1625中將f確定為bitstoget/ sum。mplx。然后，確定片斷類型1630。如果級(jí)別> 0，那么prevQP+Bi.fM 1635。否則，如果 P或B編碼片斷被確定為片斷類型1630，那么QP = fimc(f，Ci) 1640。如果確定I編碼片 斷，那么QP = func(f，Ci) 1645。如果確定周期性I編碼圖片，那么使用PrevQP加一些偏 移1650。與標(biāo)題為“對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配”的部分的因素(c) (f)類似地 確定偏移。在這些操作1635、1640、1645、1650中的至少一個(gè)之后，將圖片編碼1660。如果 不存在更多的圖片1665，那么編碼終止1670。但是，如果存在更多的圖片1665，那么在對 于bitstoget、bitsused和溢出參數(shù)執(zhí)行確定步驟1620之前i增大(例如，i++) 1675并且更 新 prevQP 禾口 sumcmplx 1685。以上的描述可假定對于約束位速率(CRB)或可變位速率(VBR)應(yīng)用實(shí)際上不存在 編碼器或解碼器緩沖約束。對于緩沖約束十分關(guān)鍵的那些應(yīng)用，可在給定編碼器和解碼器 處的緩沖充滿度的條件下修改速率因子f。小的f可偏向大的QP和較少的編碼位，而較大 的f 可導(dǎo)致更多的編碼位。如果位使用導(dǎo)致緩沖溢出或下溢，那么，可為了以希望的狀態(tài)補(bǔ) 償并保持緩沖充滿度相應(yīng)地調(diào)整因子f。并且，選擇的編碼參數(shù)可以與一些速率控制模型結(jié) 合使用，以估計(jì)得到的位的數(shù)量，并且調(diào)整這些編碼參數(shù)，使得滿足編碼器和解碼器緩沖約 束o分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配當(dāng)使用一次性圖片(例如，不被緩沖為被用作運(yùn)動(dòng)補(bǔ)償基準(zhǔn)的圖片)或具有較低 的優(yōu)先權(quán)的圖片時(shí)，為了有效地選擇編碼參數(shù)，會(huì)需要格外仔細(xì)。一般地，應(yīng)在一次性圖片 上消耗較少的位，原因在于它們的質(zhì)量不對將來圖片有益。并且，平均而言，與P編碼圖片 相比B編碼圖片產(chǎn)生更少的SAD。作為結(jié)果，也可向它們分配更少的位。在公開的速率控 制算法中，用于這些圖片的編碼參數(shù)可以是用于將不是一次性并且屬于最高優(yōu)先級(jí)別的圖 片(例如，“錨定”圖片)編碼的編碼參數(shù)的函數(shù)。后一種編碼參數(shù)可被稱為基準(zhǔn)編碼參 數(shù)。在一些實(shí)施例中，該組編碼參數(shù)可僅包含QP值，這里，基本QP值可被表達(dá)為baseQP = maHQPu⑴，QPu(i))。如本公開的前面的部分指示的那樣，改變分層結(jié)構(gòu)中的圖片的基本QP 值的修改量被稱為B。ffsrt,i?？勺鳛樵S多因素的函數(shù)確定編碼參數(shù)的修改量，以下列出和描述其中的一些
(a)圖片屬于的分層級(jí)別，該分層級(jí)別還可受時(shí)間預(yù)測距離影響。(b)預(yù)測類型(內(nèi)部、預(yù)測和雙預(yù)測等)(c)使用圖片作為其它圖片的預(yù)測基準(zhǔn)。(d)基本編碼參數(shù)。(e)場景類型場景變化、淡入、淡出、交叉衰落、閃光等。(f)當(dāng)前圖片的復(fù)雜性量度(主要在時(shí)間上)。在一些實(shí)現(xiàn)中，以上的因素對于B。ffset,i的推導(dǎo)的影響可以是線性的(相加的)，并 且，在另一實(shí)現(xiàn)中，它可以是相乘的。例如，在可轉(zhuǎn)變成量子化參數(shù)(QP)域的一些其它的域 (量子化步幅)中，它可能是相乘的。在線性模型中，B。ffsrt,i被表達(dá)如下B杯t = Bj"^ + Bf,ice + B產(chǎn)十 BfaseQP + B;rJ!ne 十 B^'1編碼圖片的編碼參數(shù)可受各因素的影響。因素中的每一個(gè)的影響可與其余的因素 以及位速率和緩沖約束組合，以產(chǎn)生該圖片的最終的編碼參數(shù)。因素(a)當(dāng)分層結(jié)構(gòu)中的所有圖片具有相同的優(yōu)先級(jí)別(例如，它們的解碼可僅依賴于錨 定圖片)時(shí)，可使用類似的編碼參數(shù)以將它們編碼。例如，根據(jù)幀的空間復(fù)雜性或者它們在 分層結(jié)構(gòu)中的位置，與baseQP相比，參數(shù)可被輕微地調(diào)整。編碼參數(shù)可被選擇，使得與使用 基本編碼參數(shù)相比分配更少的位。在一些實(shí)施例中，該因素可被表達(dá)如下BtleVel = C,這里，c是在一些實(shí)現(xiàn)中可被設(shè)為等于2的變量。否則，如果分層結(jié)構(gòu)的圖片具有改變的優(yōu)先權(quán)(例如，除非相同的分層結(jié)構(gòu)中的 其它圖片首先被解碼，否則分層結(jié)構(gòu)中的某些圖片不能被解碼)，那么可以用產(chǎn)生比屬于更 低優(yōu)先級(jí)別的圖片好的質(zhì)量和比屬于更高優(yōu)先級(jí)別的圖片差的質(zhì)量的編碼參數(shù)將圖片編 碼。在一些實(shí)施例中，該因素可被推導(dǎo)如下 因素(b)片斷類型可影響編碼參數(shù)的選擇。假定圖片可被編碼為I編碼、P編碼或B編碼 圖片或者一些其它類型的預(yù)測，那么可以強(qiáng)加以下的約束內(nèi)部編碼圖片可使用分配與對 于預(yù)測編碼圖片使用的那些不同的位數(shù)的編碼參數(shù)；并且，預(yù)測編碼圖片可使用可分配與 對于雙預(yù)測編碼圖片使用的那些不同的位數(shù)的編碼參數(shù)。在一些實(shí)施例中，基本QP的修改 量可取以下的值 (注:intra 表示“內(nèi)部”，predictive 表示“預(yù)測性”，bi-predictive 表示“雙向 預(yù)測性”。)這里，&和sP是變量，兩者均是非負(fù)值，并在一些實(shí)施例中被約束為Sl > sP。因素(c) 當(dāng)圖片被用作基準(zhǔn)時(shí)，以比將不用作預(yù)測基準(zhǔn)并且將不被丟掉(dispose)的圖片 高的質(zhì)量將該圖片編碼會(huì)是重要的。當(dāng)分層結(jié)構(gòu)中的所有圖片具有相同的優(yōu)先級(jí)別(例
如，它們的解碼僅依賴于錨定圖片)時(shí)，與用于非基準(zhǔn)圖片的編碼參數(shù)相比，基準(zhǔn)圖片可使 用產(chǎn)生更好的質(zhì)量的編碼參數(shù)。在一些實(shí)施例中，該因素可被表達(dá)如下 —c, reference
(注reference 表示“基準(zhǔn)”，otherwise 表示“其他”)這里，c是可被設(shè)為1的非負(fù)變量。否則，如果分層結(jié)構(gòu)的圖片具有改變的優(yōu)先權(quán)(例如，除非相同的分層結(jié)構(gòu)中的 其它圖片首先被解碼，否則分層結(jié)構(gòu)中的某些圖片不會(huì)被解碼)，那么可以如上段描述的那 樣調(diào)整編碼參數(shù)，或者可使其保持相同。由此，在一些實(shí)施例中，該因素被設(shè)為零 任選地，還可不僅考慮當(dāng)前圖片是否被用作基準(zhǔn)，而且考慮將對于運(yùn)動(dòng)補(bǔ)償預(yù)測 使用哪些基準(zhǔn)。與通過顯示次序更遠(yuǎn)離的低質(zhì)量圖片預(yù)測的圖片相比，可通過選擇適當(dāng)?shù)?編碼參數(shù)用更少的位將一般直接從顯示次序接近的較高質(zhì)量錨定圖片預(yù)測的圖片進(jìn)行編 碼。這種考慮可不僅是級(jí)別的函數(shù)，而且是位置的函數(shù)。例如，在圖4中，考慮屬于相同的級(jí)別的圖片2和4。在一些實(shí)施例中，即使它們屬 于相同的分層級(jí)別，與圖片4相比，圖片2也可訪問更高的質(zhì)量基準(zhǔn)。在一些其它的實(shí)施例 中，也可考慮這些圖片的復(fù)雜性，并且，可給予可分別顯著地或多或少地影響主觀或客觀質(zhì) 量的圖片更多或更少的位數(shù)和隨后的質(zhì)量。因素(d)如果基本編碼參數(shù)產(chǎn)生良好的質(zhì)量，那么，由于質(zhì)量的下降將不明顯，因此，用于 分層圖像的編碼參數(shù)可或多或少地劣化。但是，如果基本編碼參數(shù)產(chǎn)生低的質(zhì)量，那么劣化 即使有也應(yīng)是可忽略不計(jì)的。在一些實(shí)施例中，該修改量可以是隨baesQP參數(shù)的值減小的 函數(shù)。它可以具有線性、非線性、指數(shù)、高斯、二次或一些其它的形式。該參數(shù)的一種可能的 推導(dǎo)可包含以下的形式 因素(e)在確定分層結(jié)構(gòu)中的圖片的編碼參數(shù)時(shí)，場景類型會(huì)是重要的。即使在一些編碼 配置中它可能不是所希望的，也能夠?qū)⒎謱咏Y(jié)構(gòu)內(nèi)的場景變化編碼。即使兩個(gè)錨定圖片中 的一個(gè)很可能包含新場景的第一圖片中的一個(gè)，避免由于不均勻的質(zhì)量導(dǎo)致的差的視覺性 能也會(huì)是重要的。由于新場景的第一新圖片會(huì)具有比編碼為錨定圖片的質(zhì)量低的質(zhì)量，因 此可在一些情況下出現(xiàn)不均勻的質(zhì)量。為了避免這種主觀質(zhì)量問題，屬于新場景的圖片的 質(zhì)量應(yīng)增加。在一些實(shí)施例中，可通過設(shè)定方-C/實(shí)現(xiàn)這一點(diǎn)，這里，Cl是非負(fù)變量。如果圖片屬于衰落并且使用加權(quán)預(yù)測，那么編碼參數(shù)應(yīng)被調(diào)整，使得消耗更少的
位。在一些實(shí)施例中，該因素應(yīng)被設(shè)為零，例如 當(dāng)閃光被編碼時(shí)，由于它很少是顯著的，因此會(huì)消耗較少的位。在一些實(shí)施例中， 可通過設(shè)定
實(shí)現(xiàn)這一點(diǎn)，這里，c2是非負(fù)變量。在一些實(shí)現(xiàn)中，以上在因素(a) (e)中描述的變量還可依賴于各種其它的因素， 諸如編碼器和解碼器處的緩沖約束、平均值、最小和最大位速率約束、使用的基本QP和序 列統(tǒng)計(jì)等。圖片的復(fù)雜性量度可主要被用于導(dǎo)出錨定圖片的編碼參數(shù)(例如，QP)，baseQP是 該編碼參數(shù)的函數(shù)。但是，在分層結(jié)構(gòu)的圖片內(nèi)還可存在重要的復(fù)雜性波動(dòng)。該復(fù)雜性波 動(dòng)可保證根據(jù)當(dāng)前圖片的復(fù)雜性改變編碼參數(shù)。如果圖片太復(fù)雜，那么編碼參數(shù)應(yīng)被調(diào)整， 使得不浪費(fèi)許多的位。如上所述，圖片復(fù)雜性可被估計(jì)并然后被用于調(diào)制諸如QP的編碼參數(shù)。該討論涉 及錨定圖片。雖然能夠非常好地使用錨定圖片的復(fù)雜性以修改用于將分層結(jié)構(gòu)中的圖片編 碼的編碼參數(shù)，但在一些情況下這是次優(yōu)的。這些情況下的更好的方案可包含關(guān)于基準(zhǔn)圖 片或用于將其編碼的圖片使用所討論的圖片(例如，圖片i)的時(shí)間復(fù)雜性(例如SAD)。例如，在具有編碼次序I0-P4-B2-B1-B3的分層編碼結(jié)構(gòu)IBBBP中，圖片0將是內(nèi) 部編碼圖片，并且圖片4將被編碼為P編碼圖片。然后，圖片2被編碼為保持作為基準(zhǔn)的B 編碼圖片。最后，圖片1和3被編碼為一次性的B編碼圖片。與從圖片0和2預(yù)測的圖片 1的復(fù)雜性估算相比，對于從圖片0預(yù)測的圖片4(例如，“錨定”圖片)的復(fù)雜性估算可以 不同。如果可用的SAD預(yù)測誤差僅包含單一預(yù)測運(yùn)動(dòng)估計(jì)，那么圖片1的復(fù)雜性估算可被 模型化為A.t，^ = min(SAD1(0), SAD1(2))。一般地，分層結(jié)構(gòu)內(nèi)的雙預(yù)測圖片的時(shí)間復(fù)雜 性可被表達(dá)為(^,一。 1 = 1^11(54010 (^丨))，54010 1(1)))。術(shù)語R0⑴和Rl(i)是用于圖 片i的雙預(yù)測的兩個(gè)基準(zhǔn)的指數(shù)。如果可訪問雙預(yù)測SAD統(tǒng)計(jì)，那么應(yīng)使用它們以替代以 上的確定。在其它的實(shí)施例中，如果可用的SAD預(yù)測誤差僅包含單一預(yù)測運(yùn)動(dòng)估計(jì)，那么可 通過在塊級(jí)別上施加最小化獲得雙預(yù)測SAD的更精確的估計(jì)。在例子中，B可表示圖片中 的塊的總數(shù)，并且，SADmb(n)可表示圖片m中的塊b的預(yù)測從圖片n中的一些塊的單一預(yù)測 SAD誤差。在圖片中的所有塊上，復(fù)雜性估算可以是來自兩個(gè)基準(zhǔn)中的每一個(gè)的基于塊的 SAD的最小值的和。該復(fù)雜性估算可被表達(dá)為 編碼參數(shù)修改規(guī)則可基于以下的前提如果分層結(jié)構(gòu)中的圖片的復(fù)雜性超過錨定 圖片的復(fù)雜性的分?jǐn)?shù)或從錨定圖片的復(fù)雜性導(dǎo)出的一些閾值，那么編碼參數(shù)應(yīng)被修改以減 少位使用。該算法的一個(gè)可能的實(shí)施例可具有以下的表達(dá)式 這里，5是大于零的浮點(diǎn)數(shù)并且可取小于1的值。閾值Q取正值并且可被設(shè)為例 如2的小的整數(shù)值。即使以上術(shù)語圖片被稱為最小的編碼單元，在本公開中給出的所有算法和實(shí)施例也適用于場/交錯(cuò)編碼、每個(gè)圖片的多個(gè)片斷以及塊或塊區(qū)域的使用。該方法還慮及任意 的基于區(qū)域的編碼?？臻g編碼參數(shù)調(diào)整前面對于分層預(yù)測結(jié)構(gòu)的編碼參數(shù)分配的討論趨于涉及選擇用于將圖片編碼的 編碼參數(shù)。為了進(jìn)一步提高壓縮性能，可以在宏塊的基礎(chǔ)上改變編碼參數(shù)以慮及空間統(tǒng)計(jì) 的變化。與以上的復(fù)雜性估計(jì)的部分的公開類似，可通過使用一些宏塊復(fù)雜性量度調(diào)制宏 塊(例如，16X16像素的塊)的編碼參數(shù)，該宏塊復(fù)雜性量度又是幾種類型的復(fù)雜性的函 數(shù)。在諸如H. 264/AVC的現(xiàn)代的視頻編解碼器中，編碼參數(shù)可向下調(diào)整到4X4像素塊的粒 度。這些類型的復(fù)雜性的函數(shù)可以是相加或相乘的，并且，該函數(shù)的值越高，則越多的壓縮 偽像可被遮掩。在例子中，m和n可分別表示圖片中的宏塊的級(jí)別和垂直坐標(biāo)。并且，M和N可分 別表示用宏塊單位測量的圖片的級(jí)別和垂直長度。以下的測量是函數(shù)的參數(shù)，這里，參數(shù)包 含空間變化Cv 、邊緣信息、質(zhì)地信息ctexture、亮度信息clmi和時(shí)間復(fù)雜性信息ct p。ral。(a)空間變化 cvar該復(fù)雜性量度可以是宏塊基礎(chǔ)上的空間變化確定的一些形式。首先，可以確定塊 中的亮度和/或色度像素值的平均值。其次，作為空間變化，可以算出各單個(gè)像素之間的差 值的平方的平均值和事先確定的平均值。作為替代方案，可以使用諸如像素值的塊內(nèi)交叉 相關(guān)的可捕獲空間可變性的另一量度。(b)邊緣信息 cedge可通過應(yīng)用諸如Sobel或Prewitt濾波器的邊緣檢測濾波器收集邊緣信息。檢測 的邊緣信息的大小和取向可以是宏塊中的邊緣內(nèi)容的指示?？赏ㄟ^應(yīng)用一些空間轉(zhuǎn)變并評(píng) 價(jià)代表某些水平和垂直頻率的系數(shù)收集類似的信息。(c)質(zhì)地信息 ctexture可通過諸如將代表某些空間頻率的某些轉(zhuǎn)變系數(shù)的平方值求和的各種方法收 集質(zhì)地信息。適用于該應(yīng)用的轉(zhuǎn)變可包含離散余弦轉(zhuǎn)變、離散小波轉(zhuǎn)變以及細(xì)帶和細(xì)緣 (edge-let)轉(zhuǎn)變等。(d)亮度信息 cluffl該參數(shù)可代表宏塊的平均亮度和/或色度值。(e)時(shí)間復(fù)雜性信息
temporal°如上面討論的那樣，該時(shí)間復(fù)雜性可反映圖片級(jí)別的時(shí)間復(fù)雜性的估計(jì)和過濾。 該時(shí)間復(fù)雜性還可以是運(yùn)動(dòng)矢量大小的函數(shù)。差異在于，例如SAD的值是各單個(gè)塊或宏塊 的值。使用這種類型的復(fù)雜性的原因之一是，如果某些塊與同一圖片中的其它塊相比由更 明顯的運(yùn)動(dòng)表征，那么，由于運(yùn)動(dòng)將遮掩壓縮偽像，因此，它們可以以較低的質(zhì)量被編碼。從以上的參數(shù)(a) (e)，各塊的最終空間復(fù)雜性可被表達(dá)如下cspatial (m, n) = f (cvar (m, n)，cadge (m, n)，ctexture (m, n)，clum (m, n)，ctemporal (m, n)) 在一些實(shí)施例中，用于將各塊編碼的QP修改量的第一表達(dá)式可被寫為 參數(shù)d和b可被用于約束和集中QP偏移，而參數(shù)a、0和Y可在模擬之后被選 擇。在一個(gè)可能的實(shí)施例中，參數(shù)b和d可被設(shè)為1和2。選擇的QP然后可被過濾以減少 鄰近塊中的QP的大的變化。例如，與所有鄰居不同的塊的QP值可被設(shè)為鄰居的平均值。該 過濾操作產(chǎn)生QPm。d,f(m,n)。用于將塊編碼的最終的QP可偏移以保證整個(gè)圖片的平均QP值 將等于通過當(dāng)前圖片QP的速率分配/控制選擇的QP 可進(jìn)一步修改QP，使得滿足編碼器和解碼器緩沖約束。如果編碼器預(yù)測緩沖溢出 (overflow)或下溢(underflow)即將到來，那么編碼器可因此增加或減小QP，使得滿足約 束。對于實(shí)現(xiàn)目標(biāo)位速率同樣如此。如果位消耗太多，那么，給定來自先前圖片的編碼統(tǒng)計(jì)， 編碼器可通過增加它們的QP值對于某些區(qū)域或塊分配更少的位。類似地，如果利用不足夠 的位，那么某些塊的QP值可減小。在一些實(shí)現(xiàn)中，參數(shù)分配可以隨確定圖片的位置(例如，它們的當(dāng)前級(jí)別和它們 在時(shí)間中的位置)而變。級(jí)別0可代表最高的優(yōu)先級(jí)別。特別地，一旦相同級(jí)別內(nèi)的已編 碼的圖片已被首先解碼，級(jí)別0就可具有可被解碼的圖片。這些圖片可具有比其它的較低 級(jí)別的圖片好的質(zhì)量。QP或速率分配還可參照相同塊或其它塊內(nèi)的其它圖片依賴于片斷類型或預(yù)測類 型。另一因素可包含是否可使用圖片以預(yù)測其它的圖片。例如，一些圖片可被舍棄并且不 對質(zhì)量或位速率貢獻(xiàn)很多。圖17表示提出的速率控制算法的各步驟中的一些的示例圖。幀編碼開始1710，并 且，對于剩余的位、目標(biāo)位速率和緩沖器執(zhí)行初始化1715。如以上的復(fù)雜性估計(jì)的部分所 述，對于當(dāng)前幀確定復(fù)雜性估計(jì)1720。如復(fù)雜性過濾和質(zhì)量/位速率考慮的部分公開的那 樣，對于當(dāng)前幀確定濾波器復(fù)雜性1725。該確定1725考慮場景類型和其它的考慮。如以上 的采用預(yù)見的速率分配和/或采用預(yù)見的高復(fù)雜性和低復(fù)雜性單一道次速率控制的部分 公開和教導(dǎo)的那樣，對于當(dāng)前幀選擇初始的編碼參數(shù)1730。如以上的對于分層預(yù)測結(jié)構(gòu)的 編碼參數(shù)分配的部分公開和教導(dǎo)的那樣，調(diào)整分層幀的編碼參數(shù)1735。然后，如以上的空間 編碼參數(shù)分配的部分公開的那樣，在幀內(nèi)調(diào)整編碼參數(shù)1740。然后，幀編碼終止1750。其 它的流程圖或?qū)崿F(xiàn)可與圖17所示的次序、步驟和/或步驟的類型不同。示例性系統(tǒng)圖18示出可使用這里描述的技術(shù)中的任一種(或任意組合)的系統(tǒng)的例子?？?以在一個(gè)或更多個(gè)計(jì)算機(jī)1805A、1805B上使用這些技術(shù)?？梢杂糜?jì)算機(jī)和/或視頻顯示 器1820、傳送、處理和重放系統(tǒng)實(shí)現(xiàn)或在其中使用這里的一種或更多方法(例如，算法/過 程)。這里描述的計(jì)算機(jī)可以是任意類型的計(jì)算機(jī)，包括通用型或諸如工作站的一些特定 用途計(jì)算機(jī)。計(jì)算機(jī)1805B可以為例如運(yùn)行Windows XP ,Vista 或Linux 的基于Intel 或AMD的計(jì)算機(jī)，或者可以是Macintoch計(jì)算機(jī)。例如，實(shí)施例可涉及諸如PDA 1815、手機(jī) 1815的手持計(jì)算機(jī)或膝上型計(jì)算機(jī)1805A。計(jì)算機(jī)還可指的是用于圖像記錄或接收1825、 1830、1835、處理、存儲(chǔ)1840和數(shù)據(jù)、特別是視頻數(shù)據(jù)的分配的機(jī)器或機(jī)器的多個(gè)部分。這里描述的實(shí)施例的任何組合可以是視頻系統(tǒng)及其部件的一部分。如圖1的示例
性視頻編碼器和/或其它部件那樣，實(shí)施例的任意組合可以是視頻編碼器的一部分?？梢栽谟布?或軟件中實(shí)現(xiàn)實(shí)施例的任意組合。例如，可以用計(jì)算機(jī)程序?qū)崿F(xiàn)實(shí)施例中的任一個(gè)?？梢砸訡或Python或Java、Brew或任何其它的編程語言書寫計(jì)算機(jī)和/或圖形 程序。程序可駐留于例如計(jì)算機(jī)硬盤驅(qū)動(dòng)器、諸如記憶棒或SD介質(zhì)的可去除盤或介質(zhì)的例 如磁學(xué)或光學(xué)的存儲(chǔ)介質(zhì)、基于有線或無線網(wǎng)絡(luò)或基于藍(lán)牙(或其它)的網(wǎng)絡(luò)固定存儲(chǔ)器 (NAS)或其它的固定或可去除介質(zhì)上。例如，程序還可在網(wǎng)絡(luò)1850上運(yùn)行，使得服務(wù)器或其 它的機(jī)器向本地機(jī)器發(fā)送允許本地機(jī)器實(shí)施這里描述的的操作的通信。網(wǎng)絡(luò)可包含存儲(chǔ)區(qū) 域網(wǎng)絡(luò)(SAN)。雖然以上僅詳細(xì)描述幾個(gè)實(shí)施例，但其它的實(shí)施例是可能的。應(yīng)當(dāng)理解，本發(fā)明的 實(shí)施例可包含這里描述的示例性技術(shù)的一個(gè)或更多個(gè)的等同物或替代。本說明書說明特定 的例子以以另一方式實(shí)現(xiàn)更一般的目標(biāo)。該描述應(yīng)被理解為代表示例性實(shí)施例，并且，后面 的權(quán)利要求意圖在于包含任何的等同物、修改或替代方式?？梢栽跀?shù)字電子電路中或在包含在本說明書中公開的結(jié)構(gòu)和它們的結(jié)構(gòu)等同物 的計(jì)算機(jī)軟件、固件或軟件中或在它們中的一個(gè)或更多個(gè)的組合中實(shí)現(xiàn)在本說明書中描述 的主題和功能操作的實(shí)施例?？梢宰鳛橐粋€(gè)或更多個(gè)計(jì)算機(jī)程序產(chǎn)品實(shí)現(xiàn)在本說明書中描 述的主題的實(shí)施例，例如，一個(gè)或更多個(gè)計(jì)算機(jī)程序產(chǎn)品為被編碼在計(jì)算機(jī)可讀介質(zhì)上的 由數(shù)據(jù)處理裝置執(zhí)行或控制其操作的計(jì)算機(jī)程序指令的一個(gè)或更多個(gè)模塊。計(jì)算機(jī)可讀介 質(zhì)可以是機(jī)器可讀存儲(chǔ)裝置1840、機(jī)器可讀存儲(chǔ)基板、存儲(chǔ)裝置、實(shí)現(xiàn)機(jī)器可讀傳播、處理 通信的物質(zhì)成分或它們中的一個(gè)或更多個(gè)的組合。術(shù)語“數(shù)據(jù)處理裝置”包含所有的用于 處理數(shù)據(jù)的裝置、設(shè)備和機(jī)器，包括借助于示例性的可編程處理器、計(jì)算機(jī)或多個(gè)處理器或 計(jì)算機(jī)。除了硬件以外，裝置可包含產(chǎn)生討論的計(jì)算機(jī)程序的執(zhí)行環(huán)境的代碼，例如，構(gòu)成 處理器固件、協(xié)議棧、圖形系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)或它們中的一個(gè)或更多個(gè)的組 合的代碼?？梢砸匀我庑问降木幊陶Z言書寫計(jì)算機(jī)程序(也稱為程序、軟件、軟件應(yīng)用、腳本 或代碼)，包括編譯或解釋語言，并且可以以任何形式被展開，包括展開為用于計(jì)算環(huán)境中 的單機(jī)程序或模塊、部件、子程序或其它的單元。計(jì)算機(jī)程序未必與文件系統(tǒng)中的文件對 應(yīng)。程序可被存儲(chǔ)于保持其它的程序或數(shù)據(jù)的文件(例如，存儲(chǔ)于標(biāo)記語言文檔中的一個(gè) 或更多個(gè)腳本)的一部分中、存儲(chǔ)于專用于討論中的程序的單一文件中、或存儲(chǔ)于多個(gè)協(xié) 同文件(例如，存儲(chǔ)一個(gè)或更多個(gè)模塊、子程序或代碼的多個(gè)部分的文件)中。計(jì)算機(jī)程序 可被展開以在一個(gè)計(jì)算機(jī)上或在位于一個(gè)地點(diǎn)或位于分布的多個(gè)地點(diǎn)并且通過通信網(wǎng)絡(luò) 互連的多個(gè)計(jì)算機(jī)上被執(zhí)行?？梢杂赏ㄟ^在輸入數(shù)據(jù)上操作并且產(chǎn)生輸出執(zhí)行一個(gè)或更多個(gè)計(jì)算機(jī)程序以執(zhí) 行功能的一個(gè)或更多個(gè)可編程處理器執(zhí)行在本說明書中說明和描述的處理器和邏輯流程 和示圖。還可通過例如FPGA(場可編程門陣列)或諸如微控制器的另一可編程邏輯器件 (PLD)或ASIC(應(yīng)用特定集成電路)的特定用途邏輯電路執(zhí)行處理和邏輯流程，并且，也可 作為該特定用途邏輯電路實(shí)現(xiàn)裝置。作為例子，適用執(zhí)行計(jì)算機(jī)程序的處理器包含通用或特定用途微處理器以及任何 類型的數(shù)字計(jì)算機(jī)的任意一個(gè)或更多個(gè)處理器。一般地，處理器可從只讀存儲(chǔ)器或隨機(jī)存 取存儲(chǔ)器或兩者接收指令和數(shù)據(jù)。計(jì)算機(jī)的基本要素是用于執(zhí)行指令的處理器和用于存儲(chǔ)
45指令和數(shù)據(jù)的一個(gè)或更多個(gè)存儲(chǔ)器裝置。一般地，計(jì)算機(jī)還可包含一個(gè)或更多個(gè)用于存儲(chǔ) 數(shù)據(jù)的例如磁盤、磁光盤或光盤的大規(guī)模存儲(chǔ)裝置，或者可操作地與其耦合以從和/或向 其接收和/或傳送數(shù)據(jù)。但是，計(jì)算機(jī)不需要具有這種裝置。并且，計(jì)算機(jī)可被嵌入另一裝 置中，作為該裝置的例子，可以舉出移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、移動(dòng)音頻播放器、全球 定位系統(tǒng)(GPS)接收器。適于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)包含所有形 式的非易失性存儲(chǔ)器、介質(zhì)和存儲(chǔ)裝置，作為例子包含半導(dǎo)體存儲(chǔ)裝置，例如EPR0M、EEPR0M 和閃存裝置；磁盤，例如，內(nèi)部硬盤或可去除盤；磁光盤；和⑶ROM和DVD-ROM盤。處理器 和存儲(chǔ)器可由特定用途邏輯電路補(bǔ)充或被加入其中。為了提供與用戶的交互作用，可以在具有用于向用戶顯示信息的例如CRT(陰極 射線管)、LCD (液晶顯示器)或等離子顯示監(jiān)視器的顯示裝置1820和用戶可借由向計(jì)算機(jī) 提供輸入的鍵盤和例如指示裝置、鼠標(biāo)或跟蹤球的選擇器的計(jì)算機(jī)上實(shí)現(xiàn)在本說明書中描 述的主題的一些實(shí)施例。也可以使用其它的類型的裝置，以提供與用戶的交互作用例如， 向用戶提供的反饋可以是任何形式的傳感器反饋，例如，視覺反饋、聽覺反饋或觸覺反饋； 并且，來自用戶的輸入可以以任何形式被接收，包括聲學(xué)、語音或觸覺輸入?？梢栽诎缱鳛閿?shù)據(jù)服務(wù)器的后端部件、或包含例如應(yīng)用服務(wù)器的中端部件 或包含例如具有用戶可借由與在本說明書中描述的主題的實(shí)施例交互作用的圖形用戶界 面或網(wǎng)絡(luò)瀏覽器的客戶計(jì)算機(jī)的前端部件或一個(gè)或更多個(gè)這種后端、中端或前端部件的任 意組合的計(jì)算系統(tǒng)中實(shí)現(xiàn)在本說明書中描述的主題的一些實(shí)施例。系統(tǒng)的部件可以通過例 如通信網(wǎng)絡(luò)的數(shù)字?jǐn)?shù)據(jù)通信的任意形式或介質(zhì)互連。通信網(wǎng)絡(luò)的例子包含局域網(wǎng)(“LAN”) 和例如因特網(wǎng)的廣域網(wǎng)(“WAN”)。計(jì)算系統(tǒng)可包含客戶機(jī)和服務(wù)器。客戶機(jī)和服務(wù)器一般相互遠(yuǎn)離并且一般通過通 信網(wǎng)絡(luò)交互作用?？蛻魴C(jī)和服務(wù)器借由在各計(jì)算機(jī)上運(yùn)行并且相互具有客戶機(jī)-服務(wù)器關(guān) 系的計(jì)算機(jī)程序發(fā)生關(guān)系。雖然本公開包含許多的細(xì)節(jié)，但是它們不應(yīng)被解釋為限制可要求保護(hù)的內(nèi)容，而 應(yīng)被解釋為本發(fā)明的具體實(shí)施例的具體特征的描述。還可在單個(gè)實(shí)施例中組合實(shí)現(xiàn)在各單 獨(dú)的實(shí)施例的上下文中在本說明書中描述的某些特征。相反，還可單獨(dú)地或在任何適當(dāng)?shù)?再組合中在多個(gè)實(shí)施例中實(shí)現(xiàn)在單個(gè)實(shí)施例的上下文中描述的各種特征。并且，雖然以上 特征可被描述為在某些組合中起作用并且甚至因而被初始地要求保護(hù)，但是，在一些情況 下可以從組合去除來自要求權(quán)利的組合的一個(gè)或更多個(gè)特征，并且，要求保護(hù)的組合可針 對再組合或再組合的變更方式。類似地，雖然以特定的次序在附圖中示出操作，但這不應(yīng)被理解為要求以示出的 特定次序或依次執(zhí)行這些操作或者執(zhí)行所有示出的操作以實(shí)現(xiàn)希望的結(jié)果。在某些情況 下，多任務(wù)和并行的處理會(huì)是有利的。并且，以上描述的實(shí)施例中的各種系統(tǒng)部件的分開不 應(yīng)被理解為在所有的實(shí)施例中需要這種分開，并且，應(yīng)當(dāng)理解，描述的程序部件和系統(tǒng)一般 可在單一的軟件或硬件產(chǎn)品中被集成在一起，或者被封裝到多個(gè)軟件或硬件產(chǎn)品中。在一些實(shí)現(xiàn)中，利用方法/算法中的一個(gè)或更多個(gè)的系統(tǒng)可包含視頻編碼器、任 選的運(yùn)動(dòng)估計(jì)和補(bǔ)償預(yù)分析器、任選的空間統(tǒng)計(jì)分析模塊、選擇編碼參數(shù)的一個(gè)或多個(gè)速 率控制模塊、從編碼過程收集有用的統(tǒng)計(jì)的多個(gè)統(tǒng)計(jì)模塊、從運(yùn)動(dòng)估計(jì)和補(bǔ)償預(yù)分析器收 集統(tǒng)計(jì)的任選的統(tǒng)計(jì)模塊、包括可融合來自任選的MEMC預(yù)分析器的統(tǒng)計(jì)的決定模塊和/或
46視頻編碼器、速率分配的控制器、各種控制模塊和/或譯碼器。 運(yùn)動(dòng)估計(jì)可利用任意算法，包括基于塊和基于區(qū)域的運(yùn)動(dòng)估計(jì)、相位相關(guān)和像素 回歸技術(shù)等，并且，可以使用各種運(yùn)動(dòng)模型，包括平移、仿射和拋物線等。因此，已描述了本 公開的特定的實(shí)施例/實(shí)現(xiàn)。其它的實(shí)施例在以下的權(quán)利要求的范圍內(nèi)。
權(quán)利要求
一種用于估計(jì)圖片的復(fù)雜性的方法，該方法包括接收從運(yùn)動(dòng)補(bǔ)償處理器或分析器、運(yùn)動(dòng)補(bǔ)償器、空間處理器、濾波器或從由先前的編碼道次產(chǎn)生的結(jié)果產(chǎn)生的圖片的復(fù)雜性的量度，其中，所述復(fù)雜性包含時(shí)間、空間或亮度特性；并且，估計(jì)圖片的復(fù)雜性的量度包含確定圖片是否與將來的或過去的圖片相關(guān)；和確定圖片或圖片的區(qū)域是否比不遮掩偽像的將來的或過去的圖片或圖片的區(qū)域更有效地遮掩偽像。
2.根據(jù)權(quán)利要求1的方法，還包括通過對于被孤立地考慮的塊發(fā)送信息來提供圖片的 局部復(fù)雜性信息。
3.根據(jù)權(quán)利要求1的方法，還包括通過為對于圖片累積的塊發(fā)送信息來提供圖片的全局復(fù)雜性信息。
4.根據(jù)權(quán)利要求1的方法，還包括用編碼器對圖片進(jìn)行編碼，這里，編碼器被配置為通 過使用邊緣信息或時(shí)間、空間或亮度特性的任意組合確定復(fù)雜性度量。
5.根據(jù)權(quán)利要求1的方法，還包括確定圖片的一個(gè)或更多個(gè)區(qū)域?qū)τ趬嚎s偽像的敏感 度；并且，如果確定較低的質(zhì)量，那么將圖片或圖片的區(qū)域編碼，以提高圖片質(zhì)量。
6.根據(jù)權(quán)利要求1的方法，還包括對于圖片選擇一個(gè)或更多個(gè)編碼參數(shù)；和 在圖片內(nèi)分配編碼參數(shù)。
7.根據(jù)權(quán)利要求1的方法，其中，編碼參數(shù)包含量子化參數(shù)，其中，該方法還估計(jì)片斷 或幀中的任一個(gè)的復(fù)雜性。
8.根據(jù)權(quán)利要求1的方法，其中，確定圖片或圖片的區(qū)域是否比不遮掩偽像的將來的 或過去的圖片或圖片的區(qū)域更有效地遮掩偽像包含使用編碼統(tǒng)計(jì)以將圖片的區(qū)域中的遮掩偽像與圖片的至少一個(gè)其它的區(qū)域、過去的圖 片的至少一個(gè)其它的區(qū)域或?qū)淼膱D片的至少一個(gè)其它的區(qū)域相比較，或者， 使用編碼統(tǒng)計(jì)以將圖片中的遮掩偽像與過去的圖片或?qū)淼膱D片相比較；和 通過使用編碼統(tǒng)計(jì)估計(jì)復(fù)雜性的量度。
9.一種用于產(chǎn)生高質(zhì)量編碼視頻的方法，該方法包括評(píng)定視頻圖片之間的復(fù)雜性信息，其中，所述復(fù)雜性信息包含時(shí)間或空間信息，其中， 視頻圖片包含視頻幀，使用復(fù)雜性信息以確定幀類型并分析參數(shù)，其中，所述參數(shù)包含用于場景變化、淡入、 淡出、交叉衰落、局部照明變化、照相機(jī)搖攝或照相機(jī)變焦的參數(shù)；和通過使用分析的參數(shù)過濾視頻幀之間的統(tǒng)計(jì)量或復(fù)雜性信息，以去除界外值并避免視 頻幀之間的參數(shù)或視頻質(zhì)量的突然波動(dòng)。
10.根據(jù)權(quán)利要求9的方法，還包括對于視頻的譯碼使用具有編碼視頻的預(yù)見窗口。
11.根據(jù)權(quán)利要求9的方法，還包括通過空間或時(shí)間向下采樣減少復(fù)雜性信息，其中， 統(tǒng)計(jì)或復(fù)雜性的任意組合被用于確定編碼參數(shù)或視頻質(zhì)量的波動(dòng)的突然性。
12.—種估計(jì)圖片的復(fù)雜性的方法，該方法包括確定圖片是否要在分層結(jié)構(gòu)中被編碼，其中，分層結(jié)構(gòu)包含多個(gè)圖片級(jí)別，并且其中，分層結(jié)構(gòu)還包含不同的圖片級(jí)別處的位或編碼參數(shù)；和一旦確定圖片被分配給一定的分層級(jí)別，就基于圖片的重要性將圖片編碼，其中，編碼 包含控制圖片的質(zhì)量水平，并且其中，編碼包含基于所述重要性改變圖片的編碼參數(shù)中的 至少一個(gè)。
13.根據(jù)權(quán)利要求12的方法，其中，編碼參數(shù)包含量子化參數(shù)，該方法還包括通過分割 圖片中的場景的區(qū)域來分配圖片的位或量子化參數(shù)，其中，所述區(qū)域包含簡單區(qū)域、復(fù)雜區(qū) 域或包含對于將其它圖片編碼重要的信息的區(qū)域，并且其中，該方法還估計(jì)片斷或幀的復(fù) 雜性。
14.根據(jù)權(quán)利要求13的方法，還包括通過使用多個(gè)量度或平行的量度估計(jì)復(fù)雜性，其 中，量度包含均方誤差MSE、總方誤差SSE、平均絕對差MAD或總絕對差SAD。
15.一種用于將視頻數(shù)據(jù)編碼的方法，該方法包括在宏塊的基礎(chǔ)上將視頻數(shù)據(jù)的參數(shù)編碼，其中，編碼包含慮及空間和時(shí)間統(tǒng)計(jì)的變化；產(chǎn)生復(fù)雜性量度；確定復(fù)雜性量度的重要性；將復(fù)雜性量度映射到編碼參數(shù)組；和使用復(fù)雜性量度以調(diào)整編碼參數(shù)組，以通過使得視頻數(shù)據(jù)中的圖像區(qū)域在視頻數(shù)據(jù)中 較重要或較不重要來提高視頻數(shù)據(jù)的質(zhì)量水平。
16.根據(jù)權(quán)利要求15的方法，其中，復(fù)雜性量度包含空間量度、時(shí)間量度、邊緣量度、亮 度量度、色度量度或質(zhì)地量度中的任何量度。
17.一種用于將圖片編碼的方法，該方法包括 接收當(dāng)前的幀；對于當(dāng)前的幀設(shè)定位速率目標(biāo)和位的數(shù)量； 確定圖片的多個(gè)復(fù)雜性，其中，確定復(fù)雜性包含 并行地確定各復(fù)雜性的編碼參數(shù)；和在對于各復(fù)雜性確定編碼參數(shù)之后，通過使用各復(fù)雜性將各圖片編碼； 從編碼的各圖片選擇最終編碼圖片；和 通過使用最終編碼圖片選擇來更新所述多個(gè)復(fù)雜性。
18.根據(jù)權(quán)利要求17的方法，其中，所述多個(gè)復(fù)雜性包含N個(gè)復(fù)雜性，其中，對于所述N 個(gè)復(fù)雜性中的每一個(gè)確定編碼參數(shù)組。
19.根據(jù)權(quán)利要求17的方法，還包括通過與圖片預(yù)見信息一起使用各復(fù)雜性來提高圖 片質(zhì)量水平。
20.一種對于視頻的速率分配方法，該方法包括 接收用于圖片預(yù)見緩沖器的信息；在第一編碼道次中，執(zhí)行速率分配，以設(shè)定圖片的位目標(biāo)，該速率分配包含利用圖片預(yù) 見緩沖器以確定圖片的復(fù)雜性；和通過使用速率控制模型來選擇對于位目標(biāo)的編碼參數(shù)組。
21.根據(jù)權(quán)利要求20的方法，其中，所述復(fù)雜性包含運(yùn)動(dòng)補(bǔ)償總絕對差SAD、具有加權(quán) 預(yù)測的SAD、或者時(shí)間和空間圖片統(tǒng)計(jì)的組合。
22.根據(jù)權(quán)利要求20的方法，還包括用大量的圖片的復(fù)雜性的求和、或者大量的圖片 的線性或非線性復(fù)雜性的組合確定總復(fù)雜性，其中，所述求和包含加權(quán)求和。
23.根據(jù)權(quán)利要求20的方法，還包括通過確定圖片是預(yù)測性的圖片還是非預(yù)測性的圖 片確定復(fù)雜性。
24.根據(jù)權(quán)利要求20的方法，還包括用考慮在總的位預(yù)算中剩余的位的數(shù)量的函數(shù)確 定對于圖片分配的位的數(shù)量。
25.根據(jù)權(quán)利要求20的方法，還包括用大量的圖片的復(fù)雜性的加權(quán)求和確定總復(fù)雜 性，或者，通過確定圖片是圖片內(nèi)預(yù)測還是圖片間預(yù)測來確定復(fù)雜性，其中，編碼參數(shù)組包 含量子化參數(shù)。
26.一種用于視頻編碼的速率分配的方法，該方法包括 對于圖片初始化量子化參數(shù)和剩余的位的數(shù)量；對于圖片預(yù)見幀確定總復(fù)雜性；對于包含I編碼圖片、P編碼圖片或周期性I編碼圖案的圖片確定片斷類型，其中，該 確定包含對于I編碼圖片，確定分配到交互編碼圖片的位的數(shù)量，并且使用第一速率控制模型 以使用量子化參數(shù)來將圖片編碼；對于P編碼幀，確定對于預(yù)測性編碼圖片分配的位的數(shù)量，并且，通過使用量子化參數(shù) 采用第二速率控制模型來將圖片編碼；和對于周期性I編碼圖片，使用先前的量子化參數(shù)以將圖片編碼；和 在片斷類型被確定之后，對于所確定的片斷類型將圖片編碼。
27.根據(jù)權(quán)利要求26的方法，還包括對于編碼圖片位，評(píng)定對于圖片位目標(biāo)的接近度；和 如果編碼圖片位未接近圖片位目標(biāo)的附近，那么修改量子化參數(shù)。
28.根據(jù)權(quán)利要求26的方法，還包括在對于圖片確定片斷類型之前對于編碼的內(nèi)編碼 圖片確定位的數(shù)量。
29.根據(jù)權(quán)利要求26的方法，還包括 確定是否存在要編碼的其它圖片；和 如果存在要編碼的其它圖片，那么，基于選擇的片斷類型更新速率控制模型；和 更新先前的量子化參數(shù)和剩余的位的數(shù)量。
30.一種用于視頻編碼的速率控制方法，該速率控制方法包括 在視頻系統(tǒng)中接收對于先前的圖片的編碼統(tǒng)計(jì)；接收對于將來的圖片的預(yù)見信息；使用編碼參數(shù)組以將當(dāng)前的圖片編碼，其中，編碼參數(shù)組包含編碼參數(shù)，其中編碼參數(shù) 包含基本編碼參數(shù)組以及用于對于先前的圖片和當(dāng)前的圖片實(shí)現(xiàn)目標(biāo)位速率的修改量，其 中，當(dāng)前的和先前的圖片包含用于調(diào)整圖片質(zhì)量和位速率分配的權(quán)重；和調(diào)整權(quán)重以修改當(dāng)前的和先前的圖片的圖片質(zhì)量，其中，圖片質(zhì)量依賴于量子化參數(shù) 的速率因子，并且其中，權(quán)重的調(diào)整修改位速率分配。
31.根據(jù)權(quán)利要求30的方法，還包括使用具有復(fù)雜性量度的視頻編碼器，其中，復(fù)雜性量度對于將來的圖片使用預(yù)見信息并對于先前的圖片使用過去的編碼統(tǒng)計(jì)以調(diào)整圖片質(zhì) 量，還包括通過使用過去的編碼統(tǒng)計(jì)采用視頻編碼器來調(diào)整圖片質(zhì)量，其中，編碼參數(shù)組包 含量子化參數(shù)QP。
32.一種用于速率控制的方法，包括初始化一組編碼參數(shù)和速率因子的值，其中，該組編碼參數(shù)包含量子化參數(shù)； 確定位目標(biāo)、使用的位的數(shù)量和編碼參數(shù)修改量； 用位目標(biāo)確定速率因子；確定包含零級(jí)以上的幀、零級(jí)處的預(yù)測編碼幀、零級(jí)處的內(nèi)編碼幀和零級(jí)處的周期性 內(nèi)編碼幀的片斷類型；和 選擇所確定的片斷類型。
33.根據(jù)權(quán)利要求32的方法，還包括對于零級(jí)以上的幀，在將幀編碼之前確定先前的量子化參數(shù)值和編碼參數(shù)的修改量； 對于零級(jí)處的預(yù)測編碼幀或零級(jí)處的內(nèi)編碼幀，作為將幀編碼之前的復(fù)雜性和速率因 子的函數(shù)確定量子化參數(shù)；和對于零級(jí)處的周期性內(nèi)編碼幀，在將幀編碼之前使用先前的量子化參數(shù)。
34.一種用于速率控制的方法，包括 初始化編碼參數(shù)和速率因子的值； 確定位目標(biāo)、使用的位的數(shù)量和溢出參數(shù)； 用位目標(biāo)以及復(fù)雜性之和的函數(shù)確定速率因子；確定包含零級(jí)以上的幀、零級(jí)處的預(yù)測編碼幀、零級(jí)處的內(nèi)編碼幀和零級(jí)處的周期性 內(nèi)編碼幀的片斷類型；和 選擇所確定的片斷類型。
35.根據(jù)權(quán)利要求34的方法，還包括對于零級(jí)以上的幀，在將幀編碼之前確定先前的量子化參數(shù)值和編碼參數(shù)的修改量； 對于零級(jí)處的預(yù)測編碼幀或零級(jí)處的內(nèi)編碼幀，作為將幀編碼之前的復(fù)雜性和速率因 子的函數(shù)確定量子化參數(shù)；和對于零級(jí)處的周期性內(nèi)編碼幀，在將幀編碼之前使用先前的量子化參數(shù)。
36.根據(jù)權(quán)利要求34的方法，其中，編碼參數(shù)包含量子化參數(shù)。
37.根據(jù)權(quán)利要求35的方法，其中，該方法還包括復(fù)雜性的估計(jì)。
38.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于估計(jì)圖片的復(fù)雜性的操作，包括接收從運(yùn)動(dòng)補(bǔ)償處理器或分析器、運(yùn)動(dòng)補(bǔ)償器、空間處理器、濾波器或從由先前的編 碼道次產(chǎn)生的結(jié)果產(chǎn)生的圖片的復(fù)雜性的量度，其中，所述復(fù)雜性包含時(shí)間、空間或亮度特 性；并且，估計(jì)圖片的復(fù)雜性的量度包含確定圖片是否與將來的或過去的圖片相關(guān)；和確定圖片或圖片的區(qū)域是否比不遮掩偽像的將來的或過去的圖片或圖片的區(qū)域更有 效地遮掩偽像。
39.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行用于產(chǎn)生高質(zhì)量編碼視頻的操作，包括評(píng)定視頻圖片之間的復(fù)雜性信息，其中，復(fù)雜性信息包含時(shí)間、空間或亮度信息，其中， 視頻圖片包含視頻幀，使用復(fù)雜性信息以確定幀類型并分析參數(shù)，其中，所述參數(shù)包含用于場景變化、淡入、 淡出、交叉衰落、局部照明變化、照相機(jī)搖攝或照相機(jī)變焦的參數(shù)；和通過使用分析的參數(shù)過濾視頻幀之間的統(tǒng)計(jì)量或復(fù)雜性信息，以去除界外值并避免視 頻幀之間的參數(shù)或視頻質(zhì)量的突然波動(dòng)。
40.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于估計(jì)圖片的復(fù)雜性的操作，包括確定圖片是否要在分層結(jié)構(gòu)中被編碼，其中，分層結(jié)構(gòu)包含多個(gè)圖片級(jí)別，并且，其中 分層結(jié)構(gòu)還包含不同的圖片級(jí)別處的位或編碼參數(shù)；和一旦確定圖片被分配給一定的分層級(jí)別，就基于圖片的重要性將圖片編碼，其中，編碼 包含控制圖片的質(zhì)量水平，并且其中，編碼包含基于重要性改變圖片的編碼參數(shù)中的至少 一個(gè)。
41.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于將視頻數(shù)據(jù)編碼的操作，包括在宏塊的基礎(chǔ)上將視頻數(shù)據(jù)的參數(shù)編碼，其中，編碼包含慮及空間和時(shí)間統(tǒng)計(jì)的變化；產(chǎn)生復(fù)雜性量度；確定復(fù)雜性量度的重要性；將復(fù)雜性量度映射到編碼參數(shù)組；和使用復(fù)雜性量度以調(diào)整編碼參數(shù)組，以通過使得視頻數(shù)據(jù)中的圖像區(qū)域在視頻數(shù)據(jù)中 較重要或較不重要來提高視頻數(shù)據(jù)的質(zhì)量水平。
42.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于將圖片編碼的操作，包括接收當(dāng)前的幀；對于當(dāng)前的幀設(shè)定位速率目標(biāo)和位的數(shù)量； 確定圖片的多個(gè)復(fù)雜性，其中，確定復(fù)雜性包含 并行地確定對于各復(fù)雜性的編碼參數(shù)；和在對于各復(fù)雜性確定編碼參數(shù)之后，通過使用各復(fù)雜性將各圖片編碼； 從編碼的各圖片選擇最終編碼圖片；和 通過使用最終編碼圖片選擇來更新所述多個(gè)復(fù)雜性。
43.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于視頻的速率分配的操作，包括接收用于圖片預(yù)見緩沖器的信息；在第一編碼道次中，執(zhí)行速率分配，以設(shè)定圖片的位目標(biāo)，該速率分配包含利用圖片預(yù) 見緩沖器以確定圖片的復(fù)雜性；和通過使用速率控制模型選擇對于位目標(biāo)的編碼參數(shù)組。
44.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置執(zhí)行用于視頻編碼的速率分配的操作，包括對于圖片初始化量子化參數(shù)和剩余的位的數(shù)量； 對于圖片預(yù)見幀確定總復(fù)雜性；確定包含I編碼圖片、P編碼圖片或周期性I編碼圖案的圖片的片斷類型，其中，確定 包含對于I編碼圖片，確定分配到交互編碼圖片的位的數(shù)量，并且采用第一速率控制模型 以使用量子化參數(shù)來將圖片編碼；對于P編碼幀，確定對于預(yù)測性編碼圖片分配的位的數(shù)量，并且，通過使用量子化參數(shù) 采用第二速率控制模型來將圖片編碼；和對于周期性I編碼圖片，使用先前的量子化參數(shù)以將圖片編碼；和 在片斷類型被確定之后，對于所確定的片斷類型將圖片編碼。
45.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于視頻編碼的速率分配的操作，包括在視頻系統(tǒng)中接收對于先前的圖片的編碼統(tǒng)計(jì)； 接收對于將來的圖片的預(yù)見信息；使用編碼參數(shù)組以將當(dāng)前的圖片編碼，其中，編碼參數(shù)組包含編碼參數(shù)，其中編碼參 數(shù)包含基本編碼參數(shù)組和用于對于先前的圖片和當(dāng)前的圖片實(shí)現(xiàn)目標(biāo)位速率的修改量，其 中，當(dāng)前的和先前的圖片包含用于調(diào)整圖片質(zhì)量和位速率分配的權(quán)重；和調(diào)整權(quán)重以修改當(dāng)前的和先前的圖片的圖片質(zhì)量，其中，圖片質(zhì)量依賴于對于量子化 參數(shù)的速率因子，并且其中，權(quán)重的調(diào)整修改位速率分配。
46.一種被編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，可操作為導(dǎo)致數(shù)據(jù)處理裝置 執(zhí)行用于速率控制的操作，包括初始化一組編碼參數(shù)和速率因子的值，其中，該組編碼參數(shù)包含量子化參數(shù)； 確定位目標(biāo)、使用的位的數(shù)量和編碼參數(shù)修改量； 用位目標(biāo)確定速率因子；確定包含零級(jí)以上的幀、零級(jí)處的預(yù)測編碼幀、零級(jí)處的內(nèi)編碼幀和零級(jí)處的周期性 內(nèi)編碼幀的片斷類型；和對于所確定的片斷類型，選擇幀進(jìn)行編碼。
47.一種包括用于視頻處理的一個(gè)或更多個(gè)裝置的系統(tǒng)，用于接收從運(yùn)動(dòng)補(bǔ)償處理器或分析器、運(yùn)動(dòng)補(bǔ)償器、空間處理器、濾波器或從由先前的編 碼道次產(chǎn)生的結(jié)果產(chǎn)生的圖片的復(fù)雜性的量度，其中，所述復(fù)雜性包含時(shí)間、空間或亮度特 性；并且，估計(jì)圖片的復(fù)雜性的量度包含確定圖片是否與將來的或過去的圖片相關(guān)；以及，確定圖片或圖片的區(qū)域是否比不遮 掩偽像的將來的或過去的圖片或圖片的區(qū)域更有效地遮掩偽像。
48.一種包括一個(gè)或更多個(gè)裝置的系統(tǒng)，用于評(píng)定視頻圖片之間的復(fù)雜性信息，其中，復(fù)雜性信息包含時(shí)間、空間或亮度信息，其中， 視頻圖片包含視頻幀，使用復(fù)雜性信息以確定幀類型并分析參數(shù)，其中，所述參數(shù)包含用于場景變化、淡入、淡出、交叉衰落、局部照明變化、照相機(jī)搖攝或照相機(jī)變焦的參數(shù)；和通過使用分析的參數(shù)過濾視頻幀之間的統(tǒng)計(jì)量或復(fù)雜性信息，以去除界外值并避免視 頻幀之間的參數(shù)或視頻質(zhì)量的突然波動(dòng)。
49.一種包括一個(gè)或更多個(gè)裝置的系統(tǒng)，用于確定圖片是否要在分層結(jié)構(gòu)中被編碼，其中，分層結(jié)構(gòu)包含多個(gè)圖片級(jí)別，并且，分層 結(jié)構(gòu)還包含不同的圖片級(jí)別處的位或編碼參數(shù)；和一旦確定圖片被分配給一定的分層級(jí)別，就基于圖片的重要性將圖片編碼，其中，編碼 包含控制圖片的質(zhì)量水平，并且，編碼包含基于重要性改變圖片的編碼參數(shù)中的至少一個(gè)。
50.一種包括用于圖片的視頻處理的一個(gè)或更多個(gè)裝置的系統(tǒng)，可操作為在宏塊的基礎(chǔ)上將視頻數(shù)據(jù)的參數(shù)編碼，其中，編碼包含慮及空間和時(shí)間統(tǒng)計(jì)的變化；產(chǎn)生復(fù)雜性量度；確定復(fù)雜性量度的重要性；將復(fù)雜性量度映射到編碼參數(shù)組；和使用復(fù)雜性量度以調(diào)整編碼參數(shù)組，以通過使得視頻數(shù)據(jù)中的圖像區(qū)域在視頻數(shù)據(jù)中 較重要或較不重要來提高視頻數(shù)據(jù)的質(zhì)量水平。
51.一種包括一個(gè)或更多個(gè)裝置的系統(tǒng)，用于 接收當(dāng)前的幀；對于當(dāng)前的幀設(shè)定位速率目標(biāo)和位的數(shù)量； 確定圖片的多個(gè)復(fù)雜性，其中，確定復(fù)雜性包含 并行地確定對于各復(fù)雜性的編碼參數(shù)；和在對于各復(fù)雜性確定編碼參數(shù)之后，通過使用各復(fù)雜性將各圖片編碼； 從編碼的各圖片選擇最終編碼圖片；和 通過使用最終編碼圖片選擇來更新所述多個(gè)復(fù)雜性。
52.一種包括一個(gè)或更多個(gè)裝置的系統(tǒng)，用于 接收用于圖片預(yù)見緩沖器的信息；在第一編碼道次中，執(zhí)行速率分配，以設(shè)定圖片的位目標(biāo)，該速率分配包含利用圖片預(yù) 見緩沖器以確定圖片的復(fù)雜性；和通過使用速率控制模型選擇對于位目標(biāo)的編碼參數(shù)組。
53.一種包括一個(gè)或更多個(gè)裝置的系統(tǒng)，用于 對于圖片初始化量子化參數(shù)和剩余的位的數(shù)量； 對于圖片預(yù)見幀確定總復(fù)雜性；確定包含I編碼圖片、P編碼圖片或周期性I編碼圖案的圖片的片斷類型，其中，確定 包含對于I編碼圖片，確定分配到交互編碼圖片的位的數(shù)量，并且采用第一速率控制模型 以使用量子化參數(shù)來將圖片編碼；對于P編碼幀，確定對于預(yù)測性編碼圖片分配的位的數(shù)量，并且，通過使用量子化參數(shù) 采用第二速率控制模型來將圖片編碼；和對于周期性I編碼圖片，使用先前的量子化參數(shù)以將圖片編碼；和在片斷類型被確定之后，對于所確定的片斷類型將圖片編碼。
54.一種包括能夠執(zhí)行視頻數(shù)據(jù)的速率控制的一個(gè)或更多個(gè)裝置的系統(tǒng)，所述一個(gè)或 更多個(gè)裝置被配置成在視頻系統(tǒng)中接收對于先前的圖片的編碼統(tǒng)計(jì)； 接收對于將來的圖片的預(yù)見信息；使用編碼參數(shù)組以將當(dāng)前的圖片編碼，其中，編碼參數(shù)組包含編碼參數(shù)，其中編碼參數(shù) 包含基本編碼參數(shù)組以及用于對于先前的圖片和當(dāng)前的圖片實(shí)現(xiàn)目標(biāo)位速率的修改量，其 中，當(dāng)前的和先前的圖片包含用于調(diào)整圖片質(zhì)量和位速率分配的權(quán)重；和調(diào)整權(quán)重以修改當(dāng)前的和先前的圖片的圖片質(zhì)量，其中，圖片質(zhì)量依賴于量子化參數(shù) 的速率因子，并且其中，權(quán)重的調(diào)整修改位速率分配。
55.一種包括用于視頻的速率控制的一個(gè)或更多個(gè)裝置的系統(tǒng)，所述一個(gè)或更多個(gè)裝 置被配置成初始化一組編碼參數(shù)和速率因子的值；確定位目標(biāo)、使用的位的數(shù)量和編碼參數(shù)修改量，其中，該組編碼參數(shù)包含量子化參數(shù)；用位目標(biāo)確定速率因子；確定包含零級(jí)以上的幀、零級(jí)處的預(yù)測編碼幀、零級(jí)處的內(nèi)編碼幀和零級(jí)處的周期性 內(nèi)編碼幀的片斷類型；和對于所確定的片斷類型，選擇幀進(jìn)行編碼。
全文摘要
實(shí)施例的特征是利用過去和將來幀/場圖片統(tǒng)計(jì)的提前處理并且被設(shè)計(jì)為用一個(gè)或更多個(gè)編碼道次操作的速率分配和速率控制方法的多個(gè)族。至少兩個(gè)方法族包括采用圖片預(yù)見的速率分配的一族方法和用于平均位速率(ABR)控制方法的一族方法。各方法族的至少兩個(gè)其它的方法被描述。對于第一族的方法，一些方法可包含內(nèi)速率控制。對于第二族的方法，一些方法可包含高復(fù)雜性ABR控制和/或低復(fù)雜性ABR控制。這些和其它的實(shí)施例可包含以下方面中的任一個(gè)空間編碼參數(shù)調(diào)整、編碼預(yù)測、復(fù)雜性處理、復(fù)雜性估計(jì)、復(fù)雜性過濾、位速率考慮、質(zhì)量考慮、編碼參數(shù)分配和/或分層預(yù)測結(jié)構(gòu)等。
文檔編號(hào)H04N7/26GK101855910SQ200880115861
公開日2010年10月6日 申請日期2008年9月8日 優(yōu)先權(quán)日2007年9月28日
發(fā)明者A·多拉佩斯, A·萊昂塔瑞斯 申請人:杜比實(shí)驗(yàn)室特許公司