專利名稱：使用基于塊的混合分辨率數(shù)據(jù)修剪的視頻解碼的制作方法
使用基于塊的混合分辨率數(shù)據(jù)修剪的視頻解碼
相關(guān)申請的交叉引用
本申請要求提交于2010年9月10日的美國臨時(shí)專利申請序列號第61/403087號(Technicolor 公司案卷號第 roi00194 號)標(biāo)題為《BLOCK-BASED MIXED-RESOLUTION DATAPRUNING FOR IMPROVING VIDEO COMPRESSION EFFICIENCY))的權(quán)益。
本申請涉及下列共同未決、共同擁有的專利申請:
(I)提交于 2011 年 I 月 20 日標(biāo)題為《A SAMPLING-BASED SUPER-RESOLUTIONAPPROACH FOR EFFICIENT VIDEO COMPRESSION》的國際(PCT)專利申請序列號第 PCT/US11/000107 號(Technicolor 公司案卷號第 PU100004 號)；
(2)提交于 2011 年 I 月 21 日標(biāo)題為《DATA PRUNING FOR VIDEO COMPRESSIONUSING EXAMPLE-BASED SUPERRE-S0LUT10N))的國際(PCT)專利申請序列號第 PCT/US11/000117 號(Technicolor 公司案卷號第 PU100014 號)；
(3)提交于 2011 年 9 月 XX 日標(biāo)題為《METHODS AND APPARATUS FOR ENCODINGVIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FORVIDEO COMPRESSION》的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第PU100190 號)；
(4)提交于 2011 年 9 月 XX 日標(biāo)題為《METHODS AND APPARATUS FOR DECODINGVIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FORVIDEO COMPRESSION》的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第PU100266 號)；
(5)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR ENCODINGVIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第PU100193 號)；
(6)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR DECODINGVIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSIONEFFICIENCY”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第PU100267 號)；
(7)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR ENCODINGVIDEO SIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第roi00194號)；
(8)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHODS AND APPARATUS FOR EFFICIENTREFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH ANDRANKING”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第roi00195號);
(9)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHOD AND APPARATUS FOR EFFICIENTREFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH ANDRANKING”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第roil0106號);
(10)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHOD AND APPARATUS FOR ENCODINGVIDEO SIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCHSIMILARITY”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第PU100196 號)；
(11)提交于 2011 年 9 月 XX 日標(biāo)題為 “METHOD AND APPARATUS FOR DECODINGVIDEO SIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCHSIMILARITY”的國際(PCT)專利申請序列號第XXXX號(Technicolor公司案卷號第PU100269 號)；以及
(12)提交于 2011 年 9 月 XX 日標(biāo)題為 “PRUNING DECISION OPTIMIZATION INEXAMPLE-BASED DATA PRUNING COMPRESSION” 的國際(PCT)專利申請序列號第 XXXX 號(Technicolor公司案卷號第PU10197號)。技術(shù)領(lǐng)域
本發(fā)明的原理一般地涉及視頻編碼和解碼，更具體地涉及用于提升視頻壓縮效率的基于塊的混合分辨率數(shù)據(jù)修剪(pruning)的方法和裝置。
背景技術(shù)：
目前已經(jīng)存在若干種不同的用于數(shù)據(jù)修剪以提升視頻編碼效率的方法。例如，第一種方法是垂直和水平線去除。第一種方法在編碼之如除去視頻巾貞中的垂直和水平線，并在解碼之后通過非線性內(nèi)插恢復(fù)這些線。除去哪條線通過該條線是否包括高頻信號確定。第一種方法的問題在于第一種方法缺乏選擇性地除去像素的靈活性。也就是說，第一種方法可能除去包括不容易恢復(fù)的重要像素的線，盡管整體上該線包括少量的高頻信號。
相對于上述第一種方法的另一類方法是基于塊去除，這種方法除去并恢復(fù)塊而不是線。然而，這些其他類的方法使用環(huán)內(nèi)(in-loop)方法，意味著必須對編碼器結(jié)構(gòu)進(jìn)行修改以適應(yīng)塊去除。因此，由于必須對編碼器進(jìn)行修改，其他類的方法并不是嚴(yán)格基于預(yù)處理的方法。發(fā)明內(nèi)容
本發(fā)明的原理針對這些方法的這些和其他的缺陷和不利因素，提出了用于提升視頻壓縮效率的基于塊的混合分辨率數(shù)據(jù)修剪的方法和裝置。
根據(jù)本發(fā)明的原理的一個(gè)方面，提供了一種用于對視頻序列中的畫面進(jìn)行編碼的裝置。所述裝置包括用于識別畫面的原始版本中待修剪的一個(gè)或多個(gè)原始塊的待修剪塊識別器。所述裝置還包括用于通過分別生成一個(gè)或多個(gè)待修剪的原始塊的一個(gè)或多個(gè)替換塊來生成畫面的修剪版本的塊替換器。所述裝置還包括用于生成用于對畫面的修剪版本進(jìn)行恢復(fù)的元數(shù)據(jù)的元數(shù)據(jù)生成器。所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。所述裝置附加地包括用于對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼的編碼器。
根據(jù)本發(fā)明的原理的另一個(gè)方面，提供了一種用于對視頻序列中的畫面進(jìn)行編碼的方法。所述方法包括識別畫面的原始版本中待修剪的一個(gè)或多個(gè)原始塊。所述方法還包括通過分別生成一個(gè)或多個(gè)待修剪的原始塊的一個(gè)或多個(gè)替換塊來生成畫面的修剪版本。所述方法還包括生成用于對畫面的修剪版本進(jìn)行恢復(fù)的元數(shù)據(jù)。所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。所述方法附加地包括使用至少一個(gè)編碼器對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼。
根據(jù)本發(fā)明的原理的另一個(gè)方面，提供了一種用于恢復(fù)視頻序列中畫面的修剪版本的裝置。所述裝置包括用于識別畫面的修剪版本中一個(gè)或多個(gè)被修剪的塊的被修剪塊識別器。所述裝置還包括用于對用來恢復(fù)畫面的修剪版本的元數(shù)據(jù)進(jìn)行解碼的元數(shù)據(jù)解碼器。所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。所述裝置還包括用于分別生成一個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊的塊恢復(fù)器。
根據(jù)本發(fā)明的原理的另一個(gè)方面，提供了一種用于對視頻序列中畫面的修剪版本進(jìn)行恢復(fù)的方法。所述方法包括識別畫面的修剪版本中一個(gè)或多個(gè)被修剪的塊。所述方法還包括使用解碼器對用于對畫面的修剪版本進(jìn)行恢復(fù)的元數(shù)據(jù)進(jìn)行解碼。所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。所述方法還包括分別生成一個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊。
根據(jù)本發(fā)明的原理的另一個(gè)方面，提供了一種用于對視頻序列中的畫面進(jìn)行編碼的裝置。所述裝置包括用于識別畫面的原始版本中待修剪的一個(gè)或多個(gè)原始塊的部件。所述裝置還包括用于通過分別生成一個(gè)或多個(gè)待修剪的原始塊的一個(gè)或多個(gè)替換塊來生成畫面的修剪版本的部件。所述裝置還包括用于生成用于對畫面的修剪版本進(jìn)行恢復(fù)的元數(shù)據(jù)的部件。所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。所述裝置附加地包括用于對畫面的修剪版本和元數(shù)據(jù)進(jìn)行編碼的部件。
根據(jù)本發(fā)明的原理的另一個(gè)方面，提供了一種用于對視頻序列中畫面的修剪版本進(jìn)行恢復(fù)的裝置。所述裝置包括用于識別畫面的修剪版本中一個(gè)或多個(gè)被修剪的塊的部件。所述裝置還包括用于對用來恢復(fù)畫面的修剪版本的元數(shù)據(jù)進(jìn)行解碼的部件。所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。所述裝置還包括用于分別生成一個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊的部件。


結(jié)合附圖閱讀以下示例性實(shí)施例的詳細(xì)說明，本發(fā)明的原理的這些和其他方面、特征和優(yōu)點(diǎn)將變得明顯。
參照以下示例性附圖可以更好地理解本發(fā)明的原理，附圖中:
圖1是示出根據(jù)本發(fā)明的原理的實(shí)施例的基于塊的混合分辨率的數(shù)據(jù)修剪系統(tǒng)/方法的高級框圖的框圖2是示出根據(jù)本發(fā)明的原理的實(shí)施例的可以應(yīng)用本發(fā)明的原理的示例性視頻編碼器的框圖3是示出根據(jù)本發(fā)明的原理的實(shí)施例的可以應(yīng)用本發(fā)明的原理的示例性視頻解碼器的框圖4是示出根據(jù)本發(fā)明的原理的實(shí)施例的用于基于塊的混合分辨率數(shù)據(jù)修剪的示例性系統(tǒng)的框圖5是示出根據(jù)本發(fā)明的原理的實(shí)施例的用于進(jìn)行基于塊的混合分辨率數(shù)據(jù)修剪以壓縮視頻的示例性方法的流程圖6是示出根據(jù)本發(fā)明的原理的實(shí)施例的用于基于塊的混合分辨率數(shù)據(jù)修剪的數(shù)據(jù)恢復(fù)示例性系統(tǒng)的框圖7是示出根據(jù)本發(fā)明的原理的實(shí)施例的用于基于塊的混合分辨率數(shù)據(jù)修剪以壓縮視頻的數(shù)據(jù)恢復(fù)示例性方法的流程圖8是示出根據(jù)本發(fā)明的原理的實(shí)施例的示例性混合分辨率幀的圖9是示出在空間頻率空間中示出的根據(jù)本發(fā)明的原理的實(shí)施例的基于塊的混合分辨率數(shù)據(jù)修剪過程的實(shí)例的圖10是示出根據(jù)本發(fā)明的原理的實(shí)施例的用于元數(shù)據(jù)編碼的示例性方法的流程圖11是示出根據(jù)本發(fā)明的原理的實(shí)施例的用于元數(shù)據(jù)解碼的示例性方法的流程圖；以及
圖12是示出根據(jù)本發(fā)明的原理的實(shí)施例的示例性塊ID的圖。
具體實(shí)施方式
本發(fā)明的原理主要涉及用于基于塊的混合分辨率數(shù)據(jù)修剪以提升視頻壓縮效率的方法和裝置。
本說明書對本發(fā)明的原理進(jìn)行了說明。因此，應(yīng)該理解的是，本領(lǐng)域的技術(shù)人員能夠設(shè)計(jì)出雖然沒有在本說明書中明確描述或示出但是體現(xiàn)了本發(fā)明的原理并被包括在本發(fā)明的精神和范圍之內(nèi)的各種布置。
本說明書中詳述的所有的示例和條件性語言都旨在用作幫助讀者理解本發(fā)明的原理以及發(fā)明人所貢獻(xiàn)的促進(jìn)本技術(shù)領(lǐng)域發(fā)展的想法的教導(dǎo)目的，并應(yīng)該被解釋為不限于這些具體陳述的示例和條件。
此外，本說明書中所有詳述的本發(fā)明的原理、方面和實(shí)施例以及其特定例子的陳述都旨在同時(shí)包括其結(jié)構(gòu)和功能的等價(jià)物。并且，這些等價(jià)物旨在包括當(dāng)前已知的等價(jià)物和將在未來開發(fā)的等價(jià)物，即任何被開發(fā)出來執(zhí)行相同功能而不論其結(jié)構(gòu)如何的元件。
因此，例如，本領(lǐng)域的技術(shù)人員應(yīng)該理解的是，本說明書中出現(xiàn)的框圖表示實(shí)施本發(fā)明原理的示例性電路系統(tǒng)的概念圖。類似地，應(yīng)該理解的是，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽碼等表示可在計(jì)算機(jī)可讀介質(zhì)中被實(shí)質(zhì)性表示并由計(jì)算機(jī)或處理器執(zhí)行的各種過程，不論這些計(jì)算機(jī)或處理器是否明確地顯示出來。
圖中所示的各種元件的功能可以通過使用專用硬件和能夠聯(lián)合合適的軟件執(zhí)行軟件的硬件提供。當(dāng)由處理器提供時(shí)，該功能可以由單個(gè)專用的處理器或單個(gè)共用的處理器或其中有一些可以共用的多個(gè)獨(dú)立的處理器提供。并且，明確的使用術(shù)語“處理器”或“控制器”不應(yīng)該被解讀為排他性地專指能夠執(zhí)行軟件的硬件，而應(yīng)該被解讀為沒有限制地、隱含地包括數(shù)字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機(jī)存儲器(RAM)和非易失性存儲器。
還可以包括其他常規(guī)和/或定制的硬件。相似地，圖中示出的任何開關(guān)都只是概念性的。它們的功能可以通過執(zhí)行程序邏輯、專用邏輯、程序控制和專用邏輯交互或者甚至手動進(jìn)行，實(shí)施者可以根據(jù)對上下文更加詳細(xì)的理解來選擇特定的技術(shù)。
在本說明書的權(quán)利要求中，任何被表達(dá)為執(zhí)行特定功能的部件的元件都旨在包括執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的組合或b)包括與合適的用于執(zhí)行軟件以完成該功能的電路組合在一起的固件、微碼等的任何形式的軟件。這些權(quán)利要求所限定的本發(fā)明的原理在于各列舉部件所提供的功能以權(quán)利要求要求保護(hù)的方式組合并放置在一起的事實(shí)。因此，人們認(rèn)為任何能夠提供這些功能的部件與那些在本說明書中示出的部件都是等效的。
本說明書中提及本發(fā)明的原理的“一個(gè)實(shí)施例”或“實(shí)施例”以及其他變型的意思是指與實(shí)施例聯(lián)系在一起描述的特定特征、結(jié)構(gòu)或特性等被包括在本發(fā)明原理的至少一個(gè)實(shí)施例內(nèi)。因此，出現(xiàn)在整篇說明書的各個(gè)地方的用語“在一個(gè)實(shí)施例中”或“在實(shí)施例中”以及其他變型不一定都是指同一個(gè)實(shí)施例。
應(yīng)該理解的是，使用和/或”以及“之中的至少一個(gè)”中的任何一個(gè)或多個(gè)，例如，在“A/B”、“A和/或B”以及“A和B中的至少一個(gè)”的情形中，旨在包括只選擇列出的第一選項(xiàng)(A)，或只選擇列出的第二選項(xiàng)(B)，或同時(shí)選擇這兩個(gè)選項(xiàng)(A和B)。作為進(jìn)一步的例子，在“A、B和/或C”以及“A、B和C中的至少一個(gè)”的情形中，這種用語旨在包括只選擇列出的第一選項(xiàng)(A)，或只選擇列出的第二選項(xiàng)(B)，或只選擇列出的第三選項(xiàng)(C)，或只選擇列出的第一和第二選項(xiàng)(A和B)，或只選擇列出的第一和第三選項(xiàng)(A和C)，或只選擇列出的第二和第三選項(xiàng)(B和C)，或選擇全部的三個(gè)選項(xiàng)(A、B和C)。本技術(shù)領(lǐng)域和相關(guān)技術(shù)領(lǐng)域中的一個(gè)普通技術(shù)人員可以非常輕易地將其推廣至列出更多項(xiàng)目。
并且，詞語“畫面”和“圖像”在本說明書中可以可交換地使用，是指靜態(tài)的圖像或視頻序列中的畫面。眾所周知，畫面可以是一幀或半幀。
此外，應(yīng)該理解的是，詞語“恢復(fù)”和“復(fù)原”在本說明書中可以可交換地使用。
如以上所提到的，本發(fā)明的原理主要涉及用于提升視頻壓縮效率的基于塊的混合分辨率數(shù)據(jù)修剪。數(shù)據(jù)修剪是通過在對輸入視頻數(shù)據(jù)進(jìn)行編碼之前除去輸入視頻數(shù)據(jù)中的一部分以獲得更佳的視頻編碼效率的視頻預(yù)處理技術(shù)。被除去的視頻數(shù)據(jù)通過在解碼器側(cè)根據(jù)已解碼數(shù)據(jù)推算來恢復(fù)。數(shù)據(jù)修剪的一個(gè)實(shí)例是圖像線去除，它除去輸入視頻中的某些水平和垂直掃描線。
根據(jù)本發(fā)明的原理公開了一種用于對視頻進(jìn)行修剪的混合分辨率數(shù)據(jù)修剪方案的框架,其中使用低分辨率(low-res)塊或平坦塊(flat block)替代視頻中的高分辨率(high-res)塊。根據(jù)本發(fā)明的原理還公開了一種對被修剪的塊的位置進(jìn)行編碼的元數(shù)據(jù)編碼方案，它使用圖像處理技術(shù)和熵編碼的組合。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，一個(gè)視頻幀被劃分成若干個(gè)不重疊的塊，并使用低分辨率塊或簡單平坦塊替代這些塊中的某一些塊。然后將修剪后的視頻發(fā)送到視頻編碼器以供壓縮。修剪處理有望實(shí)現(xiàn)更加高效的視頻編碼，因?yàn)橐曨l幀中的某些塊被具有更少高頻信號的低分辨率或平坦塊替代。被替代的塊可以通過各種現(xiàn)有算法(如，圖像修補(bǔ)(inpainting)、紋理合成等)恢復(fù)。根據(jù)本發(fā)明的原理，我們公開了如何編碼和發(fā)送恢復(fù)處理所需的元數(shù)據(jù)。
與先前提及的其它類的用來改善視頻壓縮的數(shù)據(jù)修剪方法不同，本發(fā)明的原理提供了一種嚴(yán)格的環(huán)外(out-of-loop)方法，其中編碼器和解碼器保持完整(intact)，并被視為黑箱，可以用任何編碼(或解碼)標(biāo)準(zhǔn)或?qū)嵤┓绞教娲?。這種環(huán)外方法的優(yōu)點(diǎn)在于，用戶不需要改變編碼或解碼工作流程，而改變編碼或解碼工作流程在某些情況下可能是不可行的。
轉(zhuǎn)到圖1，標(biāo)號100整體表示基于塊的混合分辨率數(shù)據(jù)修剪系統(tǒng)/方法的高級框圖。提供輸入視頻，并在步驟110 (通過編碼器側(cè)預(yù)處理器151)進(jìn)行編碼器側(cè)預(yù)處理以獲得預(yù)處理過的幀。在步驟115，(通過編碼器152)對預(yù)處理過的幀進(jìn)行編碼。在步驟120，(通過解碼器153)對已編碼幀進(jìn)行解碼。在步驟125，(通過解碼器側(cè)后處理器154)對已解碼幀進(jìn)行后處理以提供輸出視頻。
數(shù)據(jù)修剪處理在編碼器側(cè)預(yù)處理器151中進(jìn)行。隨后將修剪過的視頻發(fā)送到編碼器152。然后將已編碼視頻連同恢復(fù)所需的元數(shù)據(jù)發(fā)送到解碼器153。解碼器153對修剪后的視頻進(jìn)行解壓縮，解碼器側(cè)后處理器154在有或沒有接收到的元數(shù)據(jù)的情況下從被修剪的視頻中恢復(fù)原始視頻(因?yàn)樵谀承┣闆r下，恢復(fù)可能不需要，并因此不使用元數(shù)據(jù))。
轉(zhuǎn)到圖2，標(biāo)號200整體表示可以應(yīng)用本發(fā)明的原理的示例性視頻編碼器。視頻編碼器200可以用作例如圖1中所示的視頻編碼器152。視頻編碼器200包括具有與組合器285的非反相輸入端信號通信的輸出端的巾貞排序緩沖器210。組合器285的輸出端與變換器和量化器225的第一輸入端信號通信連接。變換器和量化器225的輸出端與熵編碼器245的第一輸入端和逆變換器和逆量化器250的第一輸入端信號通信連接。熵編碼器245的輸出端與組合器290的第一非反相輸入端信號通信連接。組合器290的輸出端與輸出緩沖器235的第一輸入端信號通信連接。
編碼器控制器205的第一輸出端與幀排序緩沖器210的第二輸入端、逆變換器和逆量化器250的第二輸入端、畫面類型判定模塊215的輸入端、宏塊類型(MB類型)判定模塊220的第一輸入端、巾貞內(nèi)預(yù)測模塊260的第二輸入端、去塊濾波器265的第二輸入端、運(yùn)動補(bǔ)償器270的第一輸入端、運(yùn)動估計(jì)器275的第一輸入端以及參考畫面緩沖器280的第二輸入端信號通信連接。
編碼器控制器205的第二輸出端與輔助增強(qiáng)信息(SEI)插入器230的第一輸入端、變換器和量化器225的第二輸入端、熵編碼器245的第二輸入端、輸出緩沖器235的第二輸入端以及序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器240的輸入端信號通信連接。
SEI插入器230的輸出端與組合器290的第二非反相輸入端信號通信連接。
畫面類型判定模塊215的第一輸出端與幀排序緩沖器210的第三輸入端信號通信連接。畫面類型判定模塊215的第二輸出端與宏塊類型判定模塊220的第二輸入端信號通信連接。
序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器240的輸出端與組合器290的第三非反相輸入端信號通信連接。
逆量化器和逆變換器250的輸出端與組合器219的第一非反相輸入端信號通信連接。組合器219的輸出端與巾貞內(nèi)預(yù)測模塊260的第一輸入端和去塊濾波器265的第一輸入端信號通信連接。去塊濾波器265的輸出端與參考畫面緩沖器280的第一輸入端信號通信連接。參考畫面緩沖器280的輸出端與運(yùn)動估計(jì)器275的第二輸入端和運(yùn)動補(bǔ)償器270的第三輸入端信號通信連接。運(yùn)動估計(jì)器275的第一輸出端與運(yùn)動補(bǔ)償器270的第二輸入端信號通信連接。運(yùn)動估計(jì)器275的第二輸出端與熵編碼器245的第三輸入端信號通信連接。
運(yùn)動補(bǔ)償器270的輸出端與開關(guān)297的第一輸入端信號通信連接。幀內(nèi)預(yù)測模塊260的輸出端與開關(guān)297的第二輸入端信號通信連接。宏塊類型判定模塊220的輸出端與開關(guān)297的第三輸入端信號通信連接。開關(guān)297的第三輸入端確定開關(guān)的“數(shù)據(jù)”輸入(與控制輸入相對，即第三輸入端)是由運(yùn)動補(bǔ)償器270提供，還是由幀內(nèi)預(yù)測模塊260提供。開關(guān)297的輸出端與組合器219的第二非反相輸入端和組合器285的反相輸入端信號通信連接。
幀排序緩沖器210的第一輸入端和編碼器控制器205的輸入端可用作編碼器200的輸入端，用于接收輸入畫面。此外，輔助增強(qiáng)信息(SEI)插入器230的第二輸入端可以用作編碼器200的輸入端，用于接收元數(shù)據(jù)。輸出緩沖器235的輸出端可以用作編碼器200的輸出端，用于輸出比特流。
轉(zhuǎn)到圖3，標(biāo)號300整體表示可以應(yīng)用本原理的示例性視頻解碼器。視頻解碼器300可以被用作例如圖1中所示的視頻解碼器153。視頻解碼器300包括具有與熵解碼器345的第一輸入端信號通信連接的輸出端的輸入緩沖器310。熵解碼器345的第一輸出端與逆變換器和逆量化器350的第一輸入端信號通信連接。逆變換器和逆量化器350的輸出端與組合器325的第二非反相輸入端信號通信連接。組合器325的輸出端與去塊濾波器365的第二輸入端和巾貞內(nèi)預(yù)測模塊360的第一輸入端信號通信連接。去塊濾波器365的第二輸出端與參考畫面緩沖器380的第一輸入端信號通信連接。參考畫面緩沖器380的輸出端與運(yùn)動補(bǔ)償器370的第二輸入端信號通信連接。
熵解碼器345的第二輸出端與運(yùn)動補(bǔ)償器370的第三輸入端、去塊濾波器365的第一輸入端和幀內(nèi)預(yù)測器360的第三輸入端信號通信連接。熵解碼器345的第三輸出端與解碼器控制器305的輸入端信號通信連接。解碼器控制器305的第一輸出端與熵解碼器345的第二輸入端信號通信連接。解碼器控制器305的第二輸出端與逆變換器和逆量化器350的第二輸入端信號通信連接。解碼器控制器305的第三輸出端與去塊濾波器365的第三輸入端信號通信連接。解碼器控制器305的第四輸出端與幀內(nèi)預(yù)測模塊360的第二輸入端、運(yùn)動補(bǔ)償器370的第一輸入端和參考畫面緩沖器380的第二輸入端信號通信連接。
運(yùn)動補(bǔ)償器370的輸出端與開關(guān)397的第一輸入端信號通信連接。幀內(nèi)預(yù)測模塊360的輸出端與開關(guān)397的第二輸入端信號通信連接。開關(guān)397的輸出端與組合器325的第一非反相輸入端信號通信連接。
輸入緩沖器310的輸入端可用作解碼器300的輸入端，用于接收輸入比特流。去塊濾波器365的第一輸出端可用作解碼器300的輸出端,用于輸出輸出畫面。
轉(zhuǎn)到圖4，標(biāo)號400整體表示基于塊的混合分辨率數(shù)據(jù)修剪的示例性系統(tǒng)。系統(tǒng)400包括具有與待修剪塊識別器410的輸入端信號通信連接的輸出端的劃分器405。待修剪塊識別器410的第一輸出端與塊替換器415的輸入端信號通信連接。待修剪塊識別器410的第二輸出端與元數(shù)據(jù)編碼器420的輸入端信號通信連接。劃分器405的輸入端可用作系統(tǒng)400的輸入端，用于接收要劃分成若干非重疊塊的原始視頻。塊替換器415的輸出端可用作系統(tǒng)400的輸出端，用于輸出混合分辨率視頻。元數(shù)據(jù)編碼器的輸出端可用作系統(tǒng)400的輸出端，用于輸出已編碼元數(shù)據(jù)。
轉(zhuǎn)到圖5，標(biāo)號500整體表示用于視頻壓縮的基于塊的混合分辨率數(shù)據(jù)修剪的示例性方法。在步驟505，輸入視頻幀。在步驟510，將視頻幀劃分成若干非重疊塊。在步驟515，對每個(gè)塊執(zhí)行循環(huán)。在步驟520，確定是否修剪當(dāng)前塊。如果是，那么方法前進(jìn)到步驟525。否則，方法返回步驟515。在步驟525，對塊進(jìn)行修剪，并保存對應(yīng)的元數(shù)據(jù)。在步驟530，確定是否已經(jīng)完成(正在被處理的)所有塊。如果是，那么將控制權(quán)傳遞到功能塊535。否則，方法返回到步驟515。在步驟530，輸出已修剪幀和對應(yīng)的元數(shù)據(jù)。
參照圖4和圖5，在修剪處理期間，首先將輸入幀劃分成若干非重疊塊。然后進(jìn)行待修剪塊識別處理以識別可以修剪的、可恢復(fù)的塊。將被修剪的塊的坐標(biāo)保存為元數(shù)據(jù)，將元數(shù)據(jù)編碼并發(fā)送到解碼器側(cè)。使用低分辨率塊或簡單平坦塊來替代準(zhǔn)備被修剪的塊。結(jié)果是視頻幀的某些塊具有高分辨率，某些塊具有低分辨率(即，混合分辨率幀)。
轉(zhuǎn)到圖6，標(biāo)號600整體表示用于基于塊的混合分辨率數(shù)據(jù)修剪的數(shù)據(jù)恢復(fù)的示例性系統(tǒng)。系統(tǒng)600包括具有與被修剪塊識別器610的第一輸入端信號通信連接的輸出端的劃分器605。兀數(shù)據(jù)解碼器615的輸出端與被修剪塊識別器610的第二輸入端和塊還原器620的第二輸入端信號通信連接。被修剪塊識別器610的輸出端與塊還原器620的第一輸入端信號通信連接。劃分器605的輸入端可用作系統(tǒng)600的輸入端，用于接收要劃分成若干非重疊塊的被修剪混合分辨率視頻。元數(shù)據(jù)編碼器615的輸入端也可用作系統(tǒng)600的輸入端，用于接收已編碼元數(shù)據(jù)。塊還原器620的輸出端可用作系統(tǒng)600的輸出端，用于輸出恢復(fù)的視頻。
轉(zhuǎn)到圖7，標(biāo)號700整體表示用于用來視頻壓縮的基于塊的混合分辨率數(shù)據(jù)修剪的數(shù)據(jù)恢復(fù)的示例性方法。在步驟705，輸入已修剪的混合分辨率幀。在步驟710，將幀劃分成若干非重疊塊。在步驟715，對每個(gè)塊執(zhí)行循環(huán)。在步驟720，確定當(dāng)前塊是否是被修剪的塊。如果是，那么方法前進(jìn)到步驟725。否則，方法返回到步驟715。在步驟725，對塊進(jìn)行還原。在步驟730，確定是否已經(jīng)完成(正在被處理的)所有塊。如果是，那么方法前進(jìn)到步驟735。否則，方法返回到步驟715。在步驟715，輸出恢復(fù)的幀。
參照圖6和圖7，在恢復(fù)處理期間，借助于元數(shù)據(jù)識別被修剪的塊。并且，使用各種算法(如，修補(bǔ))借助于或不借助于元數(shù)據(jù)使用塊還原處理恢復(fù)被修剪的塊。塊還原和識別可以用不同的插入(plug-1n)方法替換，而這些方法并非本發(fā)明的原理的焦點(diǎn)所在。也就是說，本發(fā)明的原理不以任何特定的塊還原和識別處理為基礎(chǔ)，因此，根據(jù)本發(fā)明的原理的教導(dǎo)，在保持本發(fā)明的原理的精神的同時(shí)，可以使用任何合適的塊還原和識別處理。
修剪處理
首先將輸入視頻幀劃分成若干非重疊塊。塊大小可以變化，例如16乘16像素或8乘8像素。然而，人們希望此處的塊劃分與編碼器所使用的塊劃分相同，從而可以獲得最高壓縮效率。例如，在根據(jù)國際標(biāo)準(zhǔn)化組織/國際電工委員會(IS0/IEC)移動畫面專家組4 (MPEG-4)第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門(ITU-T)H.264建議書(下文中“MPEG-4AVC標(biāo)準(zhǔn)”)的編碼中，宏塊為16乘16像素。因此，在涉及MPEG-4AVC標(biāo)準(zhǔn)的實(shí)施例中，用于數(shù)據(jù)修剪的塊大小優(yōu)選地選擇為16乘16像素。
對于每個(gè)塊，塊識別處理將確定該塊是否應(yīng)該被修剪。雖然這可以基于各種標(biāo)準(zhǔn)，但應(yīng)該根據(jù)還原處理確定該標(biāo)準(zhǔn)。例如，如果使用修補(bǔ)方法來還原塊，那么該準(zhǔn)則應(yīng)該是該塊是否可以使用特定的修補(bǔ)處理來還原。如果該塊可以通過修補(bǔ)處理恢復(fù)，那么將該塊標(biāo)記為待修剪塊。
在待修剪塊被識別出來之后，待修剪塊將會用低分辨率塊或平坦塊來替代，得到混合分辨率幀。轉(zhuǎn)到圖8，標(biāo)號800整體表示示例性混合分辨率幀。從圖8中可以看出，幀的某些部分具有高分辨率，而幀的某些部分以平坦塊替代。低分辨率或平坦塊中的高頻信號在修剪過程中被除去。因此，可以更加高效地對低分辨率或平坦塊進(jìn)行編碼。轉(zhuǎn)到圖9，標(biāo)號900整體表示在空間頻率空間中示出的基于塊的混合分辨率數(shù)據(jù)修剪處理的實(shí)例。平坦塊基本上是僅保留其DC分量的塊，而低分辨率塊是除去了某些AC分量的塊。在實(shí)踐中，如果決定以平坦塊替代被修剪的塊，那么首先可以計(jì)算輸入塊的平均顏色，然后將塊內(nèi)的所有像素的顏色設(shè)置成平均顏色。此處理相當(dāng)于僅保留塊的DC分量。如果決定以低分辨率塊替代被修剪的塊，那么對輸入塊應(yīng)用低通濾波器，并用經(jīng)過低通濾波后的版本替代該塊。無論使用平坦塊還是低分辨率塊，低通濾波器的參數(shù)都應(yīng)該根據(jù)使用的還原算法的類型來確定。
元數(shù)據(jù)編碼和解碼
為了在恢復(fù)處理中正確地還原被修剪的塊，必須將塊的位置(用元數(shù)據(jù)表示)發(fā)送到解碼器側(cè)。一種簡單方法是使用通用無損數(shù)據(jù)壓縮算法來壓縮位置數(shù)據(jù)。然而，對于本系統(tǒng)，由于以下事實(shí)，可以獲得更佳的壓縮效率，即:被修剪的塊為低分辨率或平坦塊，并且可以通過檢測被修剪的塊是否包括高頻信號來識別這些低分辨率和平坦塊。
假設(shè)被修剪的塊的最高頻率是Fm，該頻率通過修剪和還原算法預(yù)先確定，然后可以計(jì)算出高于最高頻率Fm的信號分量的能量。如果該能量小于閾值，那么該塊是潛在的被修剪的塊。這可以通過首先對塊圖像應(yīng)用低通濾波器，然后從輸入塊圖像中減去濾波過的塊圖像，接著計(jì)算高頻信號的能量實(shí)現(xiàn)。在數(shù)學(xué)上，存在下式:
E= IB-HB |(I)
其中，E是高頻信號的能量，B是輸入塊圖像，H是具有帶寬Fm的低通濾波器，HB是B經(jīng)過低通濾波后的版本。1.1是計(jì)算圖像的能量的函數(shù)。
然而，上述過程并不是百分之百可靠的，因?yàn)槲幢恍藜舻膲K也可能是平坦或平滑的。因此，還有必要向解碼器發(fā)送“殘差”，即假陽性(false positive)塊的坐標(biāo)和識別處理遺漏的塊的坐標(biāo)。
理論上，可以向解碼器側(cè)發(fā)送3個(gè)分量，即閾值、假陽性塊的坐標(biāo)和遺漏的塊的坐標(biāo)。然而，為了簡化處理，在編碼器側(cè)，閾值可以變化以識別出所有被修剪的塊。因此，不存在遺漏的塊。這種處理可能會導(dǎo)致一些假陽性塊，它們是具有較低的高頻能量的未被修剪的塊。因此，如果假陽性塊的數(shù)量大于被修剪的塊的數(shù)量，那么只發(fā)送所有被修剪的塊的坐標(biāo)，并將信令標(biāo)志設(shè)置為O。否則，發(fā)送假陽性塊的坐標(biāo)，并將信令標(biāo)志設(shè)置為I。
轉(zhuǎn)到圖10，標(biāo)號1000整體表示用于對元數(shù)據(jù)進(jìn)行編碼的示例性方法。在步驟1005，輸入已經(jīng)修剪過的幀。在步驟1010，進(jìn)行低分辨率塊識別。在步驟1015，確定在低分辨率塊識別中是否存在任何遺漏。如果是，那么方法前進(jìn)到步驟1020。否則，方法前進(jìn)到步驟1050。在步驟1020，確定假陽性是否比修剪過的塊多。如果是，那么方法前進(jìn)到步驟1040。否則，方法前進(jìn)到步驟1045。在步驟1040，使用被修剪的塊的序列，并將標(biāo)志設(shè)置為零。在步驟1025，進(jìn)行差分計(jì)算。在步驟1030，進(jìn)行無損編碼。在步驟1035，輸出已編碼元數(shù)據(jù)。在步驟1045，使用假陽性序列，并將標(biāo)志設(shè)置為一。在步驟1050，調(diào)整閾值。
因此，提供了下列示例性的元數(shù)據(jù)序列:
I標(biāo)是I I閾值I已編碼坐標(biāo)序列
“標(biāo)志”分段是指示接下來的序列是假陽性塊還是被修剪過的塊的坐標(biāo)的二進(jìn)制數(shù)。數(shù)值“閾值”用于使用等式(I)進(jìn)行的低分辨率或平坦塊識別。
轉(zhuǎn)到圖11，標(biāo)號1100整體表示用于對元數(shù)據(jù)進(jìn)行解碼的示例性方法。在步驟1105，輸入已編碼元數(shù)據(jù)。在步驟1110，進(jìn)行無損解碼。在步驟1115，進(jìn)行逆差分。在步驟1120，確定標(biāo)志是否等于O。如果是，那么方法前進(jìn)到步驟1125。否則，方法前進(jìn)到步驟1130。在步驟1125，輸出坐標(biāo)序列。在步驟1130，進(jìn)行低分辨率塊識別。在步驟1135，除去假陽性。在步驟1140，輸出坐標(biāo)序列。
繼續(xù)參照圖11，使用塊坐標(biāo)而非像素坐標(biāo)以發(fā)送塊坐標(biāo)到解碼器側(cè)。如果幀中有M個(gè)塊，那么坐標(biāo)序號的范圍應(yīng)該從I到M。此外，如果塊在還原處理過程中不存在相關(guān)性，那么可以對塊的坐標(biāo)序號進(jìn)行排序以使得其成為序號遞增序列，使用差分編碼方案首先計(jì)算某個(gè)坐標(biāo)序號與其前一個(gè)序號之間的差，并對該差序列進(jìn)行編碼。例如，假設(shè)坐標(biāo)序列是3、4、5、8、13、14，差分序列變成3、1、1、3、5、1。差分處理使得數(shù)值更接近I，從而使得數(shù)值分布具有更小的熵。如果數(shù)據(jù)具有更小的熵，那么根據(jù)信息論，該數(shù)據(jù)可以被編碼具有更短的碼長。得到的差分序列可以進(jìn)一步使用無損壓縮方案(如，霍夫曼編碼)編碼。如果塊在還原處理過程中存在相關(guān)性，那么可以簡單地跳過差分處理。是否存在塊相關(guān)性實(shí)際由還原算法的性質(zhì)確定。
在元數(shù)據(jù)解碼處理過程中，解碼器側(cè)處理器將首先使用接收到的閾值進(jìn)行低分辨率塊識別處理。根據(jù)接收到的“標(biāo)志”分段，元數(shù)據(jù)解碼處理確定接下來的序列是假陽性塊序列還是被修剪的塊的序列。如果塊在還原處理過程中不存在相關(guān)性，那么接下來的序列將首先進(jìn)行逆差分以生成坐標(biāo)序列。如果(根據(jù)“標(biāo)志”)序列是被修剪的塊的序列的坐標(biāo)，那么處理將該序列作為結(jié)果直接輸出。如果是假陽性序列，那么解碼器側(cè)的處理將首先處理(take)由低分辨率塊識別處理識別得到的塊序列，然后除去假陽性序列中包括的所有坐標(biāo)。
應(yīng)該理解的是，可以使用不同的元數(shù)據(jù)編碼方案，例如，直接發(fā)送塊ID到解碼器偵U。本領(lǐng)域一般技術(shù)人員在給予在本說明書中提供的本發(fā)明的原理的教導(dǎo)的情況下可以容易地設(shè)想出這些和其他的變型。
還原處理
在對被修剪的視頻解碼之后進(jìn)行還原處理。在還原之前，如在本說明書中描所述的，通過解碼元數(shù)據(jù)來獲得被修剪的塊的位置。
對于每個(gè)塊，還原處理被用來恢復(fù)被修剪的塊中的內(nèi)容。還原可以使用各種算法。還原的一個(gè)示例是圖像修補(bǔ)，它通過根據(jù)相鄰像素內(nèi)插來還原缺失的像素。在我們提出的方法中，由于每個(gè)被修剪的塊都被低分辨率塊或平坦塊替代，并且低分辨率塊或平坦塊傳遞的信息可以用作邊信息以方便恢復(fù)處理，因此可以獲得更高的恢復(fù)精度。塊恢復(fù)模塊可以用任何恢復(fù)方案替代，如，基于傳統(tǒng)修補(bǔ)和紋理合成的方法。轉(zhuǎn)到圖12，標(biāo)號1200整體表示一個(gè)示例性的塊ID。
基于本說明書中的教導(dǎo)，相關(guān)領(lǐng)域中的一個(gè)普通的技術(shù)人員可以容易地確定本發(fā)明的原理的這些和其他特征及優(yōu)點(diǎn)。應(yīng)該理解的是，本發(fā)明的原理的教導(dǎo)可以實(shí)施在各種形式的硬件、軟件、固件、專用處理器或其組合中。
最優(yōu)選地，本發(fā)明的原理的教導(dǎo)實(shí)施為硬件和軟件的組合。并且，軟件可以實(shí)施為有形地實(shí)施在程序存儲單元上的應(yīng)用程序。應(yīng)用程序可以被上載到包括任何合適的架構(gòu)的機(jī)器上，并由其執(zhí)行。優(yōu)選地，機(jī)器實(shí)施在具有如一個(gè)或多個(gè)中央處理單元(“CPU”)、隨機(jī)存取存儲器(“RAM”)和輸入/輸出(“I/O”)接口的硬件的計(jì)算機(jī)平臺上。計(jì)算機(jī)平臺還可以包括操作系統(tǒng)和微指令代碼。在本說明書中描述的各種處理和功能可以是可由CPU執(zhí)行的微指令代碼的一部分或應(yīng)用程序一部分或其任何組合。此外，各種其他的外圍單元可以連接到該計(jì)算機(jī)平臺，如附加的數(shù)據(jù)存儲單元和打印單元。
還應(yīng)該理解的是，由于附圖中示出的某些組成系統(tǒng)的組件和方法優(yōu)選地實(shí)施為軟件，因此這些系統(tǒng)組件或處理功能塊之間的實(shí)際連接可能隨著本發(fā)明的原理被編程的方式的不同而有所不同。給出本說明書中的教導(dǎo)，相關(guān)領(lǐng)域中的一個(gè)普通技術(shù)人員將能夠設(shè)想本發(fā)明的原理的這些和類似的實(shí)現(xiàn)或配置。
盡管在本說明書中已經(jīng)參照附圖對示例性實(shí)施例進(jìn)行了說明，但是應(yīng)該理解的是，本發(fā)明的原理不限于這些精確的實(shí)施例，相關(guān)領(lǐng)域的一個(gè)普通技術(shù)人員在不背離本發(fā)明的原理的范圍或精神的情況下可以對其進(jìn)行各種改變和修改。所有這些改變和修改都旨在被包括在如所附權(quán)利要求陳述的本發(fā)明的原理的范圍之內(nèi)。
權(quán)利要求
1.一種用于恢復(fù)視頻序列中畫面的修剪版本的裝置，包括: 用于識別所述畫面的所述修剪版本中一個(gè)或多個(gè)被修剪的塊的被修剪塊識別器(610)； 用于對用來恢復(fù)所述畫面的所述修剪版本的元數(shù)據(jù)進(jìn)行解碼的元數(shù)據(jù)解碼器(615)，所述元數(shù)據(jù)包括所述一個(gè)或多個(gè)替換塊的位置信息；以及 用于分別生成所述一個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊的塊還原器(620)。
2.如權(quán)利要求1所述的裝置，其中通過將所述畫面的所述原始版本劃分成多個(gè)塊，并分別用所述一個(gè)或多個(gè)替換塊替換所述一個(gè)或多個(gè)被修剪的塊來生成所述畫面的所述修剪版本，其中所述一個(gè)或多個(gè)被修剪的塊中至少一個(gè)給定的塊的所有像素都具有相同的顏色值或較低的分辨率中的一種，所述較低的分辨率相對于所述一個(gè)或多個(gè)替換塊確定。
3.如權(quán)利要求2所述的裝置，其中所述相同的顏色值等于所述至少一個(gè)所述多個(gè)塊內(nèi)的所述像素的顏色值的平均值。
4.如權(quán)利要求2所述的裝置，其中所述畫面的所述修剪版本是混合分辨率畫面。
5.如權(quán)利要求2所述的裝置，其中所述一個(gè)或多個(gè)被修剪的塊在特定頻率之上包括比所述一個(gè)或多個(gè)替換塊中的各個(gè)塊更少的信息。
6.如權(quán)利要求1所述的裝置，其中所述位置信息包括所述一個(gè)或多個(gè)替換塊的坐標(biāo)信肩、O
7.如權(quán)利要求1所述的裝置，其中所述被修剪塊識別器(610)進(jìn)行識別處理以識別出所述畫面的所述修剪版本中的所述一個(gè)或多個(gè)被修剪的塊，其中所述識別處理基于所述一個(gè)或多個(gè)被修剪的塊中給定的一個(gè)塊的大于特定頻率的信號分量的能量的量來識別所述一個(gè)或多個(gè)被修剪的塊中所述給定的一個(gè)塊。
8.如權(quán)利要求7所述的裝置，其中所述元數(shù)據(jù)還包括涉及所述識別處理的假陽性塊和遺漏塊的位置信息。
9.如權(quán)利要求1所述的裝置，其中當(dāng)在恢復(fù)所述畫面的所述修剪版本時(shí)未使用所述元數(shù)據(jù)時(shí)，使用修補(bǔ)和紋理合成中的至少一種來恢復(fù)所述畫面的所述修剪版本。
10.一種用于對視頻序列中畫面的修剪版本進(jìn)行恢復(fù)的方法，包括: 識別(720)所述畫面的所述修剪版本中一個(gè)或多個(gè)被修剪的塊； 使用解碼器對用來恢復(fù)所述畫面的所述修剪版本的元數(shù)據(jù)進(jìn)行解碼(1100)，所述元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息；以及 分別生成(725)—個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊。
11.如權(quán)利要求10所述的方法，其中通過將所述畫面的所述原始版本劃分(710)成多個(gè)塊，并分別用所述一個(gè)或多個(gè)替換塊替換(725)所述一個(gè)或多個(gè)被修剪的塊來生成所述畫面的所述修剪版本，其中所述一個(gè)或多個(gè)被修剪的塊中的至少一個(gè)給定的塊的所有像素都具有相同的顏色值或較低的分辨率中的一種，所述較低的分辨率相對于所述一個(gè)或多個(gè)替換塊確定。
12.如權(quán)利要求11所述的方法，其中所述相同的顏色值等于所述至少一個(gè)所述多個(gè)塊內(nèi)的所述像素的顏色值的平均值。
13.如權(quán)利要求11所述的方法，其中所述畫面的所述修剪版本是混合分辨率畫面(800)。
14.如權(quán)利要求11所述的方法，其中所述一個(gè)或多個(gè)被修剪的塊在特定頻率之上包括比所述一個(gè)或多個(gè)替換塊(900)中的各個(gè)塊更少的信息。
15.如權(quán)利要求10所述的方法，其中所述位置信息包括所述一個(gè)或多個(gè)替換塊的坐標(biāo)信息。
16.如權(quán)利要求10所述的方法，其中所述識別步驟進(jìn)行識別處理以識別出所述畫面的所述修剪版本中的所述一個(gè)或多個(gè)被修剪的塊，其中所述識別處理基于所述一個(gè)或多個(gè)被修剪的塊中給定的一個(gè)塊的大于特定頻率的信號分量的能量的量來識別所述一個(gè)或多個(gè)被修剪的塊中所述給定的一個(gè)塊。
17.如權(quán)利要求16所述的方法，其中所述元數(shù)據(jù)還包括涉及所述識別處理(1135)的假陽性塊和遺漏塊的位置信息。
18.如權(quán)利要求10所述的方法，其中當(dāng)在恢復(fù)所述畫面的所述修剪版本時(shí)未使用所述元數(shù)據(jù)時(shí)，使用修補(bǔ)和紋理合成中的至少一種來恢復(fù)所述畫面的所述修剪版本。
19.一種用于對視頻序列中畫面的修剪版本進(jìn)行恢復(fù)的裝置，包括: 識別部件(610)，用于識別所述畫面的所述修剪版本中一個(gè)或多個(gè)被修剪的塊； 解碼部件(615)，用于對用來恢復(fù)所述畫面的所述修剪版本的元數(shù)據(jù)進(jìn)行解碼，所述元數(shù)據(jù)包括所述一個(gè)或多個(gè)替換塊的位置信息；以及 生成部件(620)，用于分別生成所述一個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊。
20.如權(quán)利要求19所述的裝置，其中通過將所述畫面的所述原始版本劃分成多個(gè)塊，并分別用所述一個(gè)或多個(gè)替換塊替換所述一個(gè)或多個(gè)被修剪的塊來生成所述畫面的所述修剪版本，其中所述一個(gè)或多個(gè)被修剪的塊中至少一個(gè)給定的塊的所有像素都具有相同的顏色值或較低的分辨率中的一種，所述較低的分辨率相對于所述一個(gè)或多個(gè)替換塊確定。
21.如權(quán)利要求20所述的裝置，其中所述相同的顏色值等于所述至少一個(gè)所述多個(gè)塊內(nèi)的所述像素的顏色值的平均值。
22.如權(quán)利要求20所述的裝置，其中所述畫面的所述修剪版本是混合分辨率畫面。
23.如權(quán)利要求20所述的裝置，其中所述一個(gè)或多個(gè)被修剪的塊在特定頻率之上包括比所述一個(gè)或多個(gè)替換塊中的各個(gè)塊更少的信息。
24.如權(quán)利要求19所述的裝置，其中所述位置信息包括所述一個(gè)或多個(gè)替換塊的坐標(biāo)信息。
25.如權(quán)利要求19所 述的裝置，其中所述識別部件(610)進(jìn)行識別處理以識別出所述畫面的所述修剪版本中的所述一個(gè)或多個(gè)被修剪的塊，其中所述識別處理基于所述一個(gè)或多個(gè)被修剪的塊中給定的一個(gè)塊的大于特定頻率的信號分量的能量的量來識別所述一個(gè)或多個(gè)被修剪的塊中所述給定的一個(gè)塊。
26.如權(quán)利要求25所述的裝置，其中所述元數(shù)據(jù)還包括涉及所述識別處理的假陽性塊和遺漏塊的位置信息。
27.如權(quán)利要求19所述的裝置，其中當(dāng)在恢復(fù)所述畫面的所述修剪版本時(shí)未使用所述元數(shù)據(jù)時(shí)，使用修補(bǔ)和紋理合成中的至少一種來恢復(fù)所述畫面的所述修剪版本。
全文摘要
公開了一種用于恢復(fù)視頻序列中畫面的修剪版本的方法和裝置。一種裝置包括用于識別畫面的修剪版本中一個(gè)或多個(gè)被修剪的塊的被修剪塊識別器(610)。該裝置還包括用于對用來恢復(fù)畫面的修剪版本的元數(shù)據(jù)進(jìn)行解碼的元數(shù)據(jù)解碼器(615)。元數(shù)據(jù)包括一個(gè)或多個(gè)替換塊的位置信息。該裝置還包括用于分別生成一個(gè)或多個(gè)被修剪的塊的一個(gè)或多個(gè)替換塊的塊還原器(620)。
文檔編號H04N7/50GK103210648SQ201180053976
公開日2013年7月17日 申請日期2011年9月9日 優(yōu)先權(quán)日2010年9月10日
發(fā)明者張冬青 申請人:湯姆遜許可公司