專利名稱：用于視頻編碼器中的幀內(nèi)預測的方法和設備的制作方法
技術領域：
本發(fā)明一般地涉及視頻編碼。更具體而言，本發(fā)明涉及用于視頻編碼器中的幀內(nèi) 預測(intra-prediction)的方法和設備。
背景技術：
視頻壓縮被用在許多當前的和正在出現(xiàn)的產(chǎn)品中，例如，數(shù)字電視機頂盒(STB)、 高清晰電視(HDTV)解碼器、數(shù)字通用盤(DVD)播放器、藍光盤播放器、數(shù)字攝像機、個人計 算機等等。如果沒有視頻壓縮，則數(shù)字視頻內(nèi)容可能極大，使得數(shù)字視頻內(nèi)容難以或甚至 不可能被有效地存儲、傳輸或觀看。存在壓縮數(shù)字視頻內(nèi)容的各種視頻編碼方法。因此， 已經(jīng)開發(fā)了視頻壓縮標準來使各種視頻編碼方法標準化，使得壓縮的數(shù)字視頻內(nèi)容能以 大多數(shù)視頻編碼器能夠識別的格式提交。例如，運動畫面專家組(MPEG)和國際電信聯(lián)盟 (ITU-T)已經(jīng)開發(fā)了廣泛使用的視頻編碼標準。這些標準的示例包括MPEG-l、MPEG-2 (ITU-T H. 262)、MPEG-4、ITU-T H. 261、ITU-T H. 263 和 ITU-T H. 264 標準。諸如MPEG標準之類的視頻編碼標準通常通過利用諸如時間和空間預測、變換和 量化、熵編碼之類的各種編碼技術來實現(xiàn)數(shù)據(jù)壓縮。視頻編碼器中的壓縮通常包括幀間預 測和幀內(nèi)預測兩者，以用于提高編碼效率。幀間預測利用視頻的圖像之間的時間相關性，而 幀內(nèi)預測利用視頻的圖像內(nèi)的像素的空間相關性。這兩種類型的預測通常都是對像素塊來 執(zhí)行的。對于幀內(nèi)預測，塊的預測是通過從之前已編碼和重構的塊的相鄰樣本中進行外推 來形成的，并且之后塊與其預測之間的差被編碼。然而，這樣的技術對于具有復雜紋理的圖 像并不是很有效。此外，被預測的像素離周圍的像素越遠，預測中的誤差越大。因此，本領域需要克服上述缺陷的用于視頻編碼器中的幀內(nèi)預測的方法和設備。

發(fā)明內(nèi)容
本發(fā)明的一個方面涉及一種用于正被編碼的圖像中的樣本組的幀內(nèi)預測的方 法。在某些實施例中，該方法包括定義該樣本組的目標模板；將目標模板與圖像的搜索 區(qū)域內(nèi)的候選模板的仿射變換相比較；識別候選模板中的至少一個與目標模板相匹配的 匹配模板；基于這至少一個匹配模板來確定候選樣本組；以及使用候選樣本組作為預測值 (predictor)來對樣本組進行編碼。本發(fā)明的另一個方面涉及一種用于正被編碼的圖像中的樣本組的幀內(nèi)預測的設 備。在某些實施例中，該設備包括編碼器和時間/空間預測模塊，該編碼器被配置為使用候 選樣本組作為預測值來對所述樣本組進行編碼，該時間/空間預測模塊在編碼器內(nèi)并被配 置為定義該樣本組的目標模板；將目標模板與圖像的搜索區(qū)域內(nèi)的候選模板的仿射變換 相比較；識別候選模板中的至少一個與目標模板相匹配的匹配模板；基于這至少一個匹配 模板來確定候選樣本組。本發(fā)明的另一個方面涉及一種用于正被編碼的圖像中的樣本組的幀內(nèi)預測的設備。在某些實施例中，該設備包括用于定義所述樣本組的目標模板的裝置；用于將所述目 標模板與所述圖像的搜索區(qū)域內(nèi)的候選模板的仿射變換相比較的裝置；用于識別所述候選 模板中的至少一個與目標模板相匹配的匹配模板的裝置；用于基于所述至少一個匹配模板 來確定候選樣本組的裝置；以及用于使用所述候選樣本組作為預測值來對所述樣本組進行 編碼的裝置。


需要參考實施例來對以上簡要概述的本發(fā)明進行更詳細的描述，以使得使本發(fā)明 的上述特征可以被更詳細地理解，這些參考實施例中的某些實施例在附圖中被示出。然而， 應當注意，附圖僅僅圖示出本發(fā)明的典型實施例，因此不應被認為是其范圍的限制，因為本 發(fā)明承認其他等效的實施例。圖1是描述根據(jù)本發(fā)明一個或多個方面的示例性視頻編碼器的框圖；圖2是描述根據(jù)本發(fā)明一個或多個方面的視頻編碼器中的幀內(nèi)預測的方法的示 例性實施例的流程圖；圖3是描述根據(jù)本發(fā)明一個或多個方面的圖像中的幀內(nèi)預測的示例性說明的框 圖。圖4是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的圖像中的目標塊的幀 內(nèi)預測的方法的示例性實施例的流程圖；圖5是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的圖像中的樣本組的幀 內(nèi)預測的方法的示例性實施例的流程圖；圖6是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的圖像中的樣本組的幀 內(nèi)預測的方法的另一示例性實施例的流程圖；圖7描述根據(jù)本發(fā)明一個或多個方面的可以在這里所描述的幀內(nèi)預測方法中使 用的示例性摸板；以及圖8是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的圖像中的樣本組的幀 內(nèi)預測的方法的另一示例性實施例的流程圖。
具體實施例方式應當注意，盡管是在H. 264/MPEG-4 AVC的上下文中描述本發(fā)明的各個方面，但是 本發(fā)明不限于此。即，視頻編碼器可以是與H. 264/MPEG-4AVC兼容的編碼器或與能夠利用 幀內(nèi)預測方案的任何其他壓縮標準相兼容的編碼器。注意，以下所描述的本發(fā)明的方面不 是當前已知的任何壓縮標準的一部分。圖1是描述根據(jù)本發(fā)明一個或多個方面的示例性視頻編碼器100的框圖。視頻 編碼器100包括時間/空間預測模塊140、速率控制模塊130、變換模塊160、量化(Q)模塊 170、熵編碼器180、緩沖器(BUF)190、逆量化(Q—1)模塊175、逆DCT變換(T—1)模塊165、減 法器115、加法器155、去塊(deblocking)模塊151和參考緩沖器150。盡管視頻編碼器100 包括多個模塊，但是，本領域技術人員將了解，不要求由各種模塊執(zhí)行的功能被分離到如圖 1最后所示的分離的模塊中。輸入的視頻數(shù)據(jù)包括一連串圖片，其中，每個圖片是具有一個亮度(luma)樣本陣
6列和兩個色度(chroma)樣本陣列的一場或一幀(兩個隔行掃描場)。每個圖片還可以被劃 分成片(slice)，片可以被劃分成宏塊，宏塊可以被劃分成不同大小的塊。輸入視頻數(shù)據(jù)經(jīng) 由路徑110被耦合到時間/空間預測模塊140。時間/空間預測模塊140可以包括可變塊 運動估計(ME)模塊142和運動補償(MC)模塊144。來自ME模塊142的運動向量被MC模 塊144接收到以用于提高樣本值預測的效率。運動補償涉及使用運動向量來將偏移提供到 過去的和/或?qū)淼膮⒖紙D片中的預測，所述參考圖片包含用來形成預測誤差的之前解碼 的樣本值。即，時間/空間預測模塊140使用(一個或多個)之前解碼的圖片以及運動向 量來構建正被編碼的當前圖片的估計。 時間/空間預測模塊140也可以執(zhí)行空間預測處理，例如，定向空間預測 (Directional Spatial Prediction, DSP)。定向空間預測可被實現(xiàn)以用于幀內(nèi)編碼，以用 于外推出當前圖片中的之前解碼出的部分的邊緣并且將其應用于圖片中被幀內(nèi)編碼的區(qū) 域中。這提高預測信號的質(zhì)量，并且也允許從尚未使用幀內(nèi)編碼被編碼的相鄰區(qū)域來進行 預測。此外，在針對給定的塊執(zhí)行運動補償預測之前，必需選擇編碼方式。在編碼方式確 定中，MPEG提供多種不同的編碼方式。一般，這些編碼方式被分組為兩個大類，幀間編碼和 幀內(nèi)編碼。幀內(nèi)編碼涉及使用幀內(nèi)預測來對圖片中的塊、宏塊或片進行編碼，幀內(nèi)預測是僅 從同一解碼后的圖片中得出的預測。反之，幀間編碼涉及使用幀間預測來對圖片中的塊、宏 塊或片進行編碼，幀間預測是從除了當前圖片之外的(一個或多個)解碼出的圖片中得出 的預測。以下描述由時間/空間預測模塊140執(zhí)行的幀內(nèi)預測處理的實施例。在編碼方式被選擇之后，時間/空間預測模塊140基于過去的和/或?qū)淼膮⒖?圖片生成在塊的內(nèi)容的路徑152上的經(jīng)運動補償?shù)念A測(預測圖像)。經(jīng)由減法器115從 當前塊中路徑110上的視頻圖像中減去路徑152上的經(jīng)運動補償?shù)念A測來形成路徑153上 的誤差信號或可預測殘留信號。路徑53上的可預測殘留信號被傳遞給變換模塊160以用 于編碼。變換模塊160隨后應用基于離散余弦變換的(基于DCT的)變換。具體而言，在 H. 264/MPEG-4 AVC中，對4x4塊應用該變換，其中可分離的整數(shù)變換被應用。對每個色度分 量的4個DC系數(shù)應用另外的2x2變換。所產(chǎn)生的變換后的系數(shù)被量化模塊170接收到，量 化系數(shù)在量化模塊170中被量化。H. 264/MPEG-4 AVC使用標量量化。所產(chǎn)生的經(jīng)量化的變換后的系數(shù)之后在逆量化模塊175和逆DCT模塊165中被解 碼來恢復將被存儲在參考緩沖器150中的(一個或多個)參考圖片。在H. 264/MPEG-4 AVC 中，還采用環(huán)內(nèi)去塊濾波器151來最小化塊效應(blockiness)。來自量化模塊170的所產(chǎn)生的經(jīng)量化的變換后的系數(shù)還經(jīng)由信號連接171被熵編 碼器180接收到。熵編碼器180可以執(zhí)行上下文自適應變長編碼(CAVLC)或上下文自適應 二進制算術編碼(CABAC)，其中，經(jīng)量化的系數(shù)的二維塊被使用具體的掃描方式(例如，“鋸 齒狀”次序)掃描以將其變換成經(jīng)量化的變換后的系數(shù)的一維字符串。該數(shù)據(jù)流被接收到緩沖器190中，緩沖器190是先進先出(FIFO)存儲器。使用 不同圖片類型和變長編碼的結果是進入緩沖器190的總比特率是可變的。即，用來對每幀 進行編碼的比特數(shù)可以不同。在涉及固定速率信道的應用中，可以使用緩沖器190來將編 碼器輸出與信道相匹配以用于對比特率進行平滑。因此，緩沖器190的輸出是輸入視頻圖像110的壓縮表示，其經(jīng)由路徑195輸出。速率控制模塊130用來監(jiān)控和調(diào)節(jié)進入緩沖器 190的數(shù)據(jù)流的比特率以用于防止在數(shù)據(jù)流的傳輸之后編碼器側(cè)(在目標存儲裝置的接收 機內(nèi)，未示出)的上溢和下溢。在某些實施例中，視頻編碼器100的模塊可以使用硬件來實現(xiàn)，硬件例如是一個 或多個集成電路(IC)、離散組件、電路板等等。在某些實施例中，視頻編碼器100的模塊中 的一個或多個模塊可以經(jīng)由軟件(例如，執(zhí)行軟件來執(zhí)行(一個或多個)模塊的功能的處 理器)來實現(xiàn)。在某些實施例中，視頻編碼器100的模塊可以使用硬件和軟件的組合來實 現(xiàn)。圖2是描述根據(jù)本發(fā)明一個或多個方面的視頻編碼器中的幀內(nèi)預測的方法200的 示例性實施例的流程圖。如上所述，視頻編碼器100逐塊地處理輸入圖像，其中這些塊可以 具有各種大小的輸入樣本。方法200可以針對正被編碼的圖像中的樣本組來執(zhí)行。方法 200開始于步驟202，其中用于該樣本組的目標模板被定義。在步驟204，將目標模板與該圖 像的搜索區(qū)域內(nèi)的候選模板的仿射變換(affine transformation)相比較。在步驟206，將 候選模板中的至少一個匹配模板定義為與該目標模板相匹配。在步驟208，基于這至少一個 匹配模板來確定候選樣本組。在步驟210，使用該候選樣本組作為預測值來對該組樣本進行 編碼。方法200的步驟202直到208可以由時間/控件預測模塊140來執(zhí)行。步驟210可 以由編碼器100來執(zhí)行，如上所述。編碼器100可以重復方法200來對正被編碼的圖像和 正被編碼的任何其他圖像中的各種其它樣本組進行幀內(nèi)預測。參考以下所描述的具體實施 例可以理解方法200的方面。圖3是描述本發(fā)明一個或多個方面的圖像300中的幀內(nèi)預測的示例性說明的框 圖。圖像300可以是正被視頻編碼器100編碼的特定圖片。圖像300包括之前已被編碼和 重構的部分302以及還有待編碼的部分303。塊304是正被編碼的當前塊，因此是要被預測 的目標塊。在本示例中，塊304包括4x4樣本陣列。搜索區(qū)域306被建立在塊304的鄰近， 其包括具有y樣本高x樣本寬的尺寸的之前已編碼和重構的樣本，但不包括右下方還未編 碼的樣本。塊304進一步被劃分成4個2x2子塊。模板308被建立在目標2x2子塊305 (本 示例中右上方的子塊)的鄰近。在本示例中，模板308包括5個之前編碼和重構的樣本，它 們占據(jù)目標2x2子塊的左邊和上邊的位置。幀內(nèi)預測通過針對模板308來執(zhí)行搜索區(qū)域 306中的匹配來進行。搜索區(qū)域306中的候選模板310定義候選的2x2子塊312。最佳的 候選2x2子塊是相鄰的模板最接近地匹配模板308的一個子塊。圖4是描述根據(jù)本發(fā)明的一個或多個方面的用于對正被編碼的圖像中的目標塊 的幀內(nèi)預測的方法400的示例性實施例的流程圖。方法400可以由視頻編碼器100中的時 間/控件預測模塊140來執(zhí)行。為了舉例清楚，假定目標塊是圖像300中的塊304。方法 400開始于步驟402，限定搜索區(qū)域(例如，搜索區(qū)域306)。在步驟404，選擇目標塊中的目 標子塊(例如，塊304中的2x2子塊305)。然后，假定該目標塊為樣本組，執(zhí)行用于正被編 碼的圖像中的樣本組的幀內(nèi)預測的方法401。方法401開始于步驟406，針對目標子塊定義目標模板(例如塊304中右上的2x2 子塊305的模板308)。在步驟408，在搜索區(qū)域內(nèi)選擇候選模板(例如候選模板310)。在 步驟410，計算目標模板與候選模板之間的匹配的標記(indicium)。MPEG中通常使用的一種標記是絕對差的加和(SAD)。在某些實施例中，不是使用SAD來直接測量模板之間的差，而是尋找使關于目標模板的均方根誤差(MSE)最小的候選 模板的最佳仿射變換。使用仿射變換相對于不使用仿射變換可以導致更小的預測誤差，這 有利地使得較少的變換系數(shù)要被編碼并被發(fā)送給編碼器(即，提高編碼效率)。值得注意的是，目標模板可以用具有N個樣本的向量來表示(例如，模板308具有 N = 5個樣本)，即，x= [Xi....Xn]。類似地，候選模板可以用具有N個樣本的向量來表示， 即，y= [y. yj o可以通過尋找到使下式最小的y的最佳仿射變換x_hat來計算目標模 板的匹配標記| |X-(ay+3) | |2(1)其中，x_hat= ay+3是y的仿射變換。在該問題中，系數(shù)a和日是未知量。用于 使具有兩個未知量(a和的等式最小的技術在本領域中是公知的。等式(1)表示候選 模板的仿射變換關于目標模板的均方根誤差(MSE)。最佳仿射變換是提供最小MSE(MMSE) 的那個仿射變換。在步驟412，進行在搜索區(qū)域中是否存在多個候選模板的判斷。如果存在多個，則 方法400返回步驟408，選擇另一候選模板。否則，方法400繼續(xù)進行到步驟414。在步驟 414，分析所有候選模板與該模板之間的匹配的標記來識別最佳標記。如果使用仿射變換， 則最佳的候選模板是等式(1)最接近0的那個。在步驟416，與該候選模板相對應的候選子 塊被定義并被用作目標子塊的預測值(例如，候選子塊312)。如果仿射變換被用作匹配的 標記，則通過根據(jù)針對最 好的候選模板找到的最佳仿射變換的系數(shù)a和0來對與最好的 候選模板相鄰的子塊進行仿射變換來定義候選子塊。注意，幀內(nèi)預測的方法401可以對圖 像中的任何樣本組來執(zhí)行，其中當前2x2子塊是一個示例。在步驟418，進行在目標塊中是否存在多個子塊的判斷。如果存在，則方法400返 回步驟404，選擇模板塊中的另一子塊。否則，方法400繼續(xù)進行到步驟420。在步驟420， 每個目標子塊的預測值被組合來產(chǎn)生目標塊的預測值。圖5是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的樣本組的幀內(nèi)預測的 方法500的另一示例性實施例的流程圖。方法500可以被用作上述方法400中的方法401 的替換。為了清楚，假定該樣本組是塊304中的目標2x2子塊305。方法500開始于步驟 502，定義目標子塊的目標模板。該目標模板可以用具有N個樣本的向量來表示(例如，模 板308具有N = 5個樣本)。在步驟504，在搜索區(qū)域中識別M個匹配最好的候選模板，其 中M<N(僅大于1的整數(shù))。M可以是預先定義的值。在某些實施例中，“匹配最好的”的 標記是以上在方法401中闡述的MMSE。例如，M個最好的候選模板是具有產(chǎn)生M個最小的 均方根誤差(例如，等式(1)最接近0)的最佳仿射變換的那些候選模板。這M個最好的候選模板的仿射變換(“變換后的候選模板”)和目標模板可以被視 作N維空間中的向量。從而，變換后的候選模板跨越(span)該N維向量空間中的子空間。 在步驟506，計算目標模板在候選模板所跨越的子空間上的投影。用于計算向量在子空間上 的線性投影的數(shù)學技術在本領域中是公知的。該投影產(chǎn)生與候選模板分別相關聯(lián)的系數(shù)， 這些系數(shù)將目標模板與候選模板關聯(lián)。在步驟508，從投影中找出這M個最好的候選模板的 系數(shù)。在步驟510，使用這M個最好的候選模板的各自的系數(shù)作為各自的權重來計算與這M 個最好的候選模板相關聯(lián)的加權平均。在步驟512，平均子塊的值被舍入和/或截取(clip) 來產(chǎn)生在有效范圍中的值。在步驟514，平均子塊被用作目標子塊的預測值。
圖6是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的圖像中的樣本組的幀 內(nèi)預測的方法600的另一示例性實施例的流程圖。方法600可被用作上述方法400中的方 法401的替換。為了清楚，假定該樣本組是塊304中的目標2x2子塊305。方法600開始于 步驟602，目標子塊定義目標子塊的目標模板，該目標模板可以用具有N個樣本的向量來表 示(例如，模板308具有N = 5個樣本)。在步驟604，識別產(chǎn)生小于閾值的最小均方根誤 差(MMSE)的M個候選模板，其中M < N(僅大于1的整數(shù))。在某些實施例中，匹配的標記 是使用以上在方法401中闡述的仿射變換來計算的。例如，這M個候選模板是其最佳仿射 變換產(chǎn)生低于閾值的MSE (例如，其中等式(1)低于閾值)的那些候選模板。在某些實施例 中，可以使用匹配追蹤來找到這M個候選模板。如本領域中公知的，匹配追蹤是一種用于找 到多維數(shù)據(jù)在向量空間上的“匹配最好的”投影的數(shù)字分析技術。使用匹配追蹤，目標模板 可以被投影到搜索區(qū)域中的不同候選模板上，來找到滿足上述準則(例如，MMSE低于閾值) 的所有候選模板。目標模板和這M個候選模板(“變換后的候選模板”)可以被視作N維空間中的向 量。從而，變換后的候選模板跨越該N維向量空間中的子空間。在步驟606，計算目標模板 在候選模板所跨越的子空間上的投影。用于計算向量在子空間上的線性投影的數(shù)學技術在 本領域中是公知的。該投影產(chǎn)生與這M個候選模板分別相關聯(lián)的系數(shù)，這些系數(shù)將目標模 板與這M個候選模板關聯(lián)。在步驟608，從投影中找出這M個候選模板的系數(shù)。在步驟610， 使用這M個候選模板各自的系數(shù)作為各自的權重來計算與這M個候選模板相關聯(lián)的加權平 均。在步驟612，平均子塊的值被舍入和/或截取來產(chǎn)生在有效范圍中的值。在步驟614， 平均子塊被用作目標子塊的預測值。在圖3的示例中，模板308被定義為附接到塊304中的目標子塊305的具有固定 寬度的L形樣本組。在某些實施例中，上述方法中的目標模板(以及其相對應的候選模板) 可以被一般化為具有任意厚度的任意形狀。圖7描述可被用作上述固定寬度的L形模板的 替換的4種示例性模板702至708。在本示例中，模板702至708的每一個對應于4x4樣本 塊710。模板702是L形的，但是在塊710上邊的比在塊710左邊的厚。S卩，模板702包括 在塊710上邊的2x4樣本陣列712和在塊710左邊的4x1樣本陣列714。模板704是L形 的，但是在塊710左邊的比在塊710上邊的厚。S卩，模板704包括在塊710上邊的1x4樣本 陣列716和在塊710左邊的4x2樣本陣列718。模板706包括在塊710上邊和左邊的空間 金字塔。即，模板506包括在塊710的上邊、左上角和與其相鄰的5個樣本以及中心在樣 本720上的3個樣本；和在塊70的左邊和與其相鄰的4個樣本724以及中心在樣本724的 左邊的3個樣本726。模板708包括在塊710上邊和左邊的三角形樣本組。例如，模板708 包括在塊710上邊和與其相鄰的三角形樣本組728和在塊710左邊和與其相鄰的三角形樣 本組730。三角形組728和730中的每一個包括4個樣本、再3個樣本、再2個樣本，最后一 個樣本。以上模板形狀的任何一種都可以用在使用上述模板匹配的幀內(nèi)編碼的實施例中。在上述實施例中，可以在具有單個像素精度的搜索窗中來搜索候選模板?？商鎿Q 地，在某些實施例中，可以以多像素精度針對上述實施例中任何實施例來執(zhí)行搜索區(qū)域內(nèi) 的候選模板搜索。圖8是描述根據(jù)本發(fā)明一個或多個方面的用于正被編碼的樣本組的幀內(nèi)預測的 方法800的另一示例性實施例的流程圖。方法800可被用作上述方法400中的方法401的替換。為了清楚，假定該樣本組是塊304中的目標2x2子塊305。方法800開始于步驟802， 使用模板匹配來確定目標子塊的搜索區(qū)域中的預測值子塊。可以使用上述實施例中的任何 實施例(包括方法401、方法500或方法600)來確定預測值子塊。在步驟804，獲得預測值 子塊的(一個或多個)候選模板與目標模板之間的誤差。在步驟806，響應于誤差來選擇低 通濾波強度。在步驟808，使用具有所選擇的強度的低通濾波器來該對預測值子塊進行濾 波。例如，低通濾波器的強度可被選作(一個或多個)候選模板與目標模板之間的誤差的 增函數(shù)(在多個候選模板的情況中，可以使用平均誤差、最大誤差或最小誤差)。因此，如果 找到非常好(低誤差)的模板，則進行小的變動來使用預測值子塊(例如，弱低通濾波器或 不用任何低通濾波器(零強度))。相反，如果模板匹配誤差高，則較強的低通濾波器可以被 應用于這樣的預測值子塊。已經(jīng)描述了用于視頻編碼器中的幀內(nèi)預測的方法和設備。在某些實施例中，幀內(nèi) 預測是使用模板匹配技術來執(zhí)行的，值得注意的是，候選模板與目標模板之間的匹配的標 記是使用仿射變換來計算的。在某些實施例中，這里所描述的幀內(nèi)預測處理的實施例可以 用在與MPEG標準兼容的視頻編碼器中。值得注意的是，該模板匹配處理除了用作由該標準 定義的方式以外，還可以用作兼容H. 264的視頻編碼器中的另一幀內(nèi)預測方式。盡管以上已經(jīng)描述了各種實施例，但是應當理解，它們僅僅是以舉例而非限制的 方式來表示的。因此，優(yōu)選實施例的寬度和范圍不由上述示例性實施例中的任何實施例限 定，而是應當僅根據(jù)權利要求及其等同物來限定。
權利要求
一種用于正被編碼的圖像中的樣本組的幀內(nèi)預測的方法，包括定義所述樣本組的目標模板；將所述目標模板與所述圖像的搜索區(qū)域內(nèi)的候選模板的仿射變換相比較；識別所述候選模板中的至少一個與所述目標模板相匹配的匹配模板；基于所述至少一個匹配模板來確定候選樣本組；以及使用所述候選樣本組作為預測值來對所述樣本組進行編碼。
2.根據(jù)權利要求1所述的方法，其中，所述至少一個匹配模板是匹配最好的模板，并且 其中所述比較步驟和識別步驟包括針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對于所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產(chǎn)生最小的MSE的相應一個候選模板作為所 述匹配最好的模板。
3.根據(jù)權利要求2所述的方法，其中，所述確定步驟包括對與所述匹配最好的模板相關聯(lián)的樣本組應用所述匹配最好的模板的最佳仿射變換 的系數(shù)，來產(chǎn)生所述候選樣本組。
4.根據(jù)權利要求1所述的方法，其中，所述至少一個匹配模板是M個匹配最好的模板， 其中，M大于1并且小于所述目標模板中的樣本數(shù)，并且其中所述比較步驟和識別步驟包 括針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對于所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產(chǎn)生M個最小均方根誤差的各個候選模板作 為所述M個匹配最好的模板。
5.根據(jù)權利要求4所述的方法，其中，所述確定步驟包括計算所述目標模板在由所述M個匹配最好的模板所限定的子空間上的線性投影； 使用所述線性投影的系數(shù)作為各自的權重來計算與所述M個匹配最好的模板相關聯(lián) 的樣本組的加權平均；對所述加權平均的樣本執(zhí)行舍入或截取中的至少一者來產(chǎn)生所述候選樣本組。
6.根據(jù)權利要求1所述的方法，其中，所述至少一個匹配模板是M個匹配模板，其中M 大于1并且小于所述目標模板中的樣本數(shù)，并且其中所述比較步驟和識別步驟包括針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對于所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產(chǎn)生小于閾值誤差的均方根誤差的各個候選 模板作為所述M個匹配模板。
7.根據(jù)權利要求6所述的方法，其中所述M個匹配模板是使用匹配追蹤來識別的。
8.根據(jù)權利要求6所述的方法，其中所述確定步驟包括計算所述目標模板在由所述M個匹配模板所限定的子空間上的線性投影； 使用所述線性投影的系數(shù)作為各自的權重來計算與所述M個匹配模板相關聯(lián)的樣本 組的加權平均；對所述加權平均的樣本執(zhí)行舍入或截取中的至少一者來產(chǎn)生所述候選樣本組。
9.一種用于正被編碼的圖像中的樣本組的幀內(nèi)預測的設備，包括編碼器，所述編碼器被配置為使用候選樣本組作為預測值來對所述樣本組進行編碼； 時間/空間預測模塊，所述時間/空間預測模塊在所述編碼器內(nèi)，被配置為 定義所述樣本組的目標模板，將所述目標模板與所述圖像的搜索區(qū)域內(nèi)的候選模板的仿射變換相比較， 識別所述候選模板中的至少一個與所述目標模板相匹配的匹配模板， 基于所述至少一個匹配模板來確定所述候選樣本組。
10.根據(jù)權利要求9所述的設備，其中，所述至少一個匹配模板是匹配最好的模板，并 且其中所述時間/空間預測模塊被配置為針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對于所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產(chǎn)生最小的MSE的相應一個候選模板作為所 述匹配最好的模板。
11.根據(jù)權利要求10所述的設備，其中所述時間/空間預測模塊還被配置為 對與所述匹配最好的模板相關聯(lián)的樣本組應用所述匹配最好的模板的最佳仿射變換的系數(shù)，來產(chǎn)生所述候選樣本組。
12.根據(jù)權利要求9所述的設備，其中，所述至少一個匹配模板是M個匹配最好的模板， 其中，M大于1并且小于所述目標模板中的樣本數(shù)，并且其中所述時間/空間預測模塊還被 配置為針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對于所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產(chǎn)生M個最小均方根誤差的各個候選模板作 為所述M個匹配最好的模板。
13.根據(jù)權利要求12所述的設備，其中所述時間/空間預測模塊還被配置為 計算所述目標模板在由所述M個匹配最好的模板所限定的子空間上的線性投影； 使用所述線性投影的系數(shù)作為各自的權重來計算與這M個匹配最好的模板相關聯(lián)的樣本組的加權平均；對所述加權平均的樣本執(zhí)行舍入或截取中的至少一者來產(chǎn)生所述候選樣本組。
14.根據(jù)權利要求9所述的設備，其中，所述至少一個匹配模板是M個匹配模板，其中， M大于1并且小于所述目標模板中的樣本數(shù)，并且其中所述時間/空間預測模塊還被配置 為針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對于所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產(chǎn)生小于閾值誤差的均方根誤差的各個候選 模板作為所述M個匹配模板。
15.根據(jù)權利要求14所述的設備，其中所述時間/空間預測模塊還被配置為 計算所述目標模板在由所述M個匹配模板所限定的子空間上的線性投影；使用所述線性投影的系數(shù)作為各自的權重來計算與所述M個匹配模板相關聯(lián)的樣本 組的加權平均；對所述加權平均的樣本執(zhí)行舍入或截取中的至少一者 來產(chǎn)生所述候選樣本組。
全文摘要
本發(fā)明公開了用于視頻編碼器中的幀內(nèi)預測的方法和設備。一個方面涉及一種用于正被編碼的圖像中的樣本組的幀內(nèi)預測的方法。在某些實施例中，該方法包括定義該樣本組的目標模板；將目標模板與圖像的搜索區(qū)域內(nèi)的候選模板的仿射變換相比較；識別候選模板中的至少一個與目標模板相匹配的匹配模板；基于這至少一個匹配模板來確定候選樣本組；以及使用候選樣本組作為預測值來對樣本組進行編碼。
文檔編號H04N7/26GK101854545SQ20101014189
公開日2010年10月6日 申請日期2010年3月30日 優(yōu)先權日2009年3月30日
發(fā)明者伊拉加·蘇達噶爾, 穆罕默德·格哈拉維-阿爾克漢薩利, 穆罕默德·祖拜爾·維沙拉姆, 艾利·塔巴塔拜 申請人:索尼公司;索尼電子有限公司