本公開(kāi)涉及對(duì)視頻圖像進(jìn)行降噪的方法和裝置，更具體地，涉及使用基于源視頻圖像的視頻縮影對(duì)視頻圖像進(jìn)行降噪的方法和裝置。

背景技術(shù)：

本部分旨在向讀者介紹技術(shù)的各個(gè)方面，這可能與在下面描述和/或要求保護(hù)的本發(fā)明的各個(gè)方面有關(guān)。相信該討論有助于向讀者提供背景信息以便更好地理解本發(fā)明的各個(gè)方面。因此，應(yīng)當(dāng)理解到，這些陳述從這個(gè)角度來(lái)閱讀，而不是作為對(duì)現(xiàn)有技術(shù)的承認(rèn)。

基于碎片(patch-based)的方法已經(jīng)顯著地提高了降噪方法的性能。具體地，由buades等人的標(biāo)題為“anon-localalgorithmforimagedenoising”的文章(發(fā)表于cvpr2005會(huì)議記錄)中所提出的非局部均值(nonlocalmean，nlm)以及由dabov等人在標(biāo)題為“imagedenoisingbysparse3dtransform-domaincollaborativefiltering”的文章(發(fā)表于transactiononimageprocessing，第16卷，第8號(hào)，第2080-2095頁(yè)，2007年8月)中提出的塊匹配3d(blockmatching3d，bm3d)是現(xiàn)在的參考方法。

關(guān)于這兩種方法，通過(guò)首先在有噪聲的圖像/視頻之中找到碎片(patch)的k個(gè)最近近鄰(k-nn)碎片，對(duì)該碎片進(jìn)行降噪。nlm方法使用取決于k-nn與當(dāng)前碎片之間的距離的權(quán)重來(lái)組合k-nn。bm3d是兩步驟方法。在第一步驟中，bm3d將k-nn堆疊在3d分組中，然后對(duì)分組應(yīng)用3d變換。然后，使用硬閾值處理(hardthresholding)對(duì)該分組中的碎片進(jìn)行濾波，并且在逆變換之后獲得經(jīng)降噪的估計(jì)。對(duì)于每個(gè)像素，能夠獲得若干估計(jì)，所述若干估計(jì)最終被平均。在第二步驟中，在從第一步驟獲得的經(jīng)降噪的估計(jì)中找出新的k-nn。形成兩個(gè)3d分組，分別包含來(lái)自第一經(jīng)降噪估計(jì)的k-nn以及有噪聲的圖像/視頻中的對(duì)應(yīng)碎片。然后，對(duì)兩個(gè)分組應(yīng)用3d變換。使用維納(wiener)濾波器對(duì)包含有噪聲的碎片的、經(jīng)3d變換的分組進(jìn)行濾波，其中使用包含第一經(jīng)降噪估計(jì)的、經(jīng)3d變換的分組作為諭示(oracle)。在逆變換之后獲得最終的估計(jì)。這些方法是“盲目的(blind)”算法，因?yàn)樗鼈儜?yīng)用于有噪聲的圖像/視頻而不使用來(lái)自源信號(hào)的任何先驗(yàn)知識(shí)。如本文中所應(yīng)用的術(shù)語(yǔ)“源信號(hào)”指在編碼/解碼操作(例如hevc編碼)之前、在傳送以及由電視接收器解碼之前的原始視頻圖像信號(hào)。

替代地，設(shè)計(jì)有基于縮影表示的基于碎片的降噪方法。圖像的縮影是包含圖像的紋理和結(jié)構(gòu)性質(zhì)的本質(zhì)的緊縮表示。縮影法針對(duì)通過(guò)利用圖像內(nèi)的重復(fù)內(nèi)容來(lái)減少圖像中的冗余信息(紋理)?？s影原理最先由hoppe等人在發(fā)表于acmsiggraph2008會(huì)議記錄的標(biāo)題為“factoringrepeatedcontentwithinandamongimages”的文章(acmtransactionongraphics，第27卷，第3號(hào)，第1-10頁(yè)，2008年)中公開(kāi)。圖1例示hoppe的方法。從圖像y，確定紋理縮影e和變換映射ф，使得y的所有圖像塊能夠從e的匹配碎片來(lái)重構(gòu)。匹配碎片也稱作經(jīng)變換的碎片。與塊相反，碎片屬于像素網(wǎng)格。一旦在圖像y中確定自相似性，hoppe的方法就確定冗余的紋理碎片以構(gòu)造縮影圖，所有縮影圖的聯(lián)合構(gòu)成紋理縮影e。每個(gè)縮影圖表示圖像中的重復(fù)區(qū)域?？s影圖的構(gòu)造由圖初始化步驟繼之以若干圖擴(kuò)展步驟來(lái)構(gòu)成。變換映射ф是保持跟蹤圖像y的每個(gè)塊與紋理縮影e的紋理碎片之間的對(duì)應(yīng)的分配映射。在本文獻(xiàn)中，變換映射也稱作矢量映射或者分配映射。通過(guò)紋理縮影e和變換映射ф，能夠重構(gòu)圖像y’，其內(nèi)容與圖像y的內(nèi)容非常相似。在下文中，術(shù)語(yǔ)視頻縮影可以指紋理縮影e和變換映射ф，或者在適當(dāng)?shù)那闆r下僅僅指紋理縮影e。

當(dāng)前的基于碎片的降噪方法如在cheung等人的標(biāo)題為“videoepitomes”的文章(發(fā)表于internationaljournalofcomputervision，第76卷，第141-152頁(yè)，2008年)中那樣地對(duì)來(lái)自縮影的碎片進(jìn)行平均，或者如在aharon等人的標(biāo)題為“sparseandredundantmodelingofimagecontentusingimage-signaturedictionary”的文章(發(fā)表于siamjournalonimagingsciences，第228-247頁(yè)，2008年7月)中那樣地使用稀疏表示來(lái)組合碎片。在這些方法中，縮影是直接從有噪聲的圖像/視頻中提取出的。期望提高使用視頻縮影的降噪方法的性能。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本原理，描述對(duì)圖像進(jìn)行降噪的方法和裝置，具體地，使用基于源視頻圖像的視頻縮影對(duì)圖像進(jìn)行降噪的方法和裝置。從圖像的較高質(zhì)量版本即源版本提取視頻縮影得到較高質(zhì)量的視頻縮影，這改進(jìn)降噪處理。如在本文中所使用的術(shù)語(yǔ)“高質(zhì)量視頻”或者“較高質(zhì)量視頻”指比已經(jīng)經(jīng)過(guò)編碼或壓縮處理的隨后的或者另外的版本的視頻包含更少的視頻偽像和失真的視頻圖像。

根據(jù)本原理，提供處理視頻中的圖像的方法，其包括：對(duì)圖像的編碼版本進(jìn)行解碼，以產(chǎn)生圖像的解碼版本；以及使用圖像的解碼版本和作為與圖像相關(guān)聯(lián)的紋理縮影的視頻圖像縮影，來(lái)生成圖像的降噪版本，其中，視頻圖像縮影是從圖像的源版本提取出的，其中，所述生成包括：使用位于視頻圖像縮影中與多個(gè)最近近鄰碎片中的至少一個(gè)相對(duì)應(yīng)的對(duì)應(yīng)碎片，對(duì)當(dāng)前碎片進(jìn)行降噪。

根據(jù)本原理，提供處理視頻的圖像的裝置，其包括：通信接口，被配置為存取圖像的編碼版本，并且生成圖像的解碼版本以及作為與圖像相關(guān)聯(lián)的紋理縮影的視頻圖像縮影，其中，視頻圖像縮影是從圖像的源版本提取出的；處理器，耦合到通信接口，并且被配置為使用視頻的解碼版本和視頻圖像縮影來(lái)生成包括經(jīng)解碼的圖像的降噪版本的用于顯示的輸出，并且其中，圖像縮影和處理器被配置為通過(guò)使用位于視頻圖像縮影中與多個(gè)最近近鄰碎片中的至少一個(gè)相對(duì)應(yīng)的對(duì)應(yīng)碎片對(duì)當(dāng)前碎片進(jìn)行降噪，來(lái)生成經(jīng)解碼的圖像的降噪版本。

根據(jù)本原理，提供處理視頻的圖像的裝置，其包括：通信接口，被配置為存取圖像；以及處理器，耦合到通信接口，并且被配置為生成圖像的編碼版本，并且在編碼之前從圖像的源版本提取視頻縮影，并且生成包括圖像的編碼版本、視頻縮影以及指示在比特流中存在視頻縮影的標(biāo)記的比特流。在實(shí)施例中，還使用與經(jīng)編碼的圖像相同或者不同的編碼方法對(duì)視頻縮影進(jìn)行編碼。

在實(shí)施例中，縮影是紋理縮影，并且所述生成步驟包括：確定要在對(duì)經(jīng)解碼的圖像中的當(dāng)前碎片進(jìn)行降噪時(shí)所使用的k個(gè)最近近鄰碎片；存取位于視頻縮影中對(duì)應(yīng)于所確定的k個(gè)最近近鄰碎片的對(duì)應(yīng)碎片；以及使用位于視頻縮影中的對(duì)應(yīng)碎片，對(duì)當(dāng)前碎片進(jìn)行降噪。

在實(shí)施例中，所述降噪包括：使用視頻圖像縮影來(lái)執(zhí)行降噪的非局部均值方法。

在實(shí)施例中，所述降噪包括：通過(guò)估計(jì)噪聲級(jí)別作為圖像縮影碎片與對(duì)應(yīng)的有噪聲的碎片之間的均方誤差，來(lái)設(shè)置濾波參數(shù)，其中將濾波參數(shù)設(shè)置為所估計(jì)的噪聲級(jí)別與預(yù)先定義的用戶參數(shù)的乘積。

在實(shí)施例中，所述降噪包括：使用硬閾值處理步驟和維納濾波步驟。在實(shí)施例中，硬閾值處理包括：通過(guò)對(duì)有噪聲的碎片和它們的對(duì)應(yīng)的圖像縮影碎片的分組執(zhí)行3d變換、確定經(jīng)變換的碎片之間的閾值處理規(guī)則、用當(dāng)前碎片替代有噪聲的碎片的分組中的碎片、將閾值處理規(guī)則應(yīng)用于包括當(dāng)前碎片的有噪聲的碎片的分組并且執(zhí)行逆變換以生成當(dāng)前碎片的第一降噪版本，來(lái)自適應(yīng)地選取閾值。在實(shí)施例中，使用當(dāng)前碎片的第一降噪版本作為維納濾波步驟的諭示。

在實(shí)施例中，經(jīng)由在通信信道上所接收的比特流來(lái)存取視頻圖像縮影和圖像的編碼版本，并且其中，對(duì)視頻圖像縮影進(jìn)行編碼，并且比特流包括指示視頻圖像縮影與圖像的編碼版本一起被包括的標(biāo)記。

附圖說(shuō)明

通過(guò)參考結(jié)合附圖進(jìn)行的對(duì)示例性實(shí)施例的以下描述，本原理的上述特征和其他特征以及獲得它們的方式將變得更加明顯，并且將更好地理解本原理，附圖中：

圖1是從圖像y構(gòu)造縮影以及使用包括變換映射ф和縮影e的因子化表示(factoredrepresentation)來(lái)重構(gòu)圖像y’的圖示示例；

圖2是根據(jù)本原理的降噪的圖示示例；

圖3是根據(jù)本原理的使用經(jīng)適配的nlm的基于縮影的降噪的圖示示例；

圖4是根據(jù)本原理的使用bm3d的基于縮影的降噪的硬閾值處理的圖示示例；

圖5是根據(jù)本原理的使用bm3d的基于縮影的降噪的維納濾波的圖示示例；

圖6是從視頻的關(guān)鍵幀提取的縮影的圖示示例；

圖7是例示可縮放壓縮方案中的縮影的編碼的圖示示例；

圖8例示描繪示例性系統(tǒng)的框圖，其中可以實(shí)現(xiàn)本原理的示例性實(shí)施例的各個(gè)方面；

圖9例示描繪可以與一種或多種實(shí)現(xiàn)方式一起使用的視頻處理系統(tǒng)的示例的框圖；以及

圖10例示描繪可以與一種或多種實(shí)現(xiàn)方式一起使用的視頻處理系統(tǒng)的另一個(gè)示例的框圖。

在本文中所闡述的描述例示實(shí)現(xiàn)本原理的各個(gè)方面的示例性實(shí)施例。這樣的示例不應(yīng)以任何方式被解釋為限制權(quán)利要求的范圍。

具體實(shí)施方式

本原理涉及使用視頻縮影進(jìn)行降噪的方法和裝置。具體地，根據(jù)本原理的實(shí)施例在降噪處理期間使用從源視頻圖像提取的視頻縮影，以提高解碼器處的降噪性能。提取視頻縮影能夠是在編碼之前對(duì)視頻中的圖像的預(yù)處理的一部分。源視頻圖像是執(zhí)行任何編碼或者壓縮之前并且通常在例如傳送給接收器設(shè)備之前的圖像，因此，源視頻圖像通常比圖像的經(jīng)編碼并且隨后解碼的版本具有更高的質(zhì)量，并且因此，所提取的視頻縮影也將比從先前已經(jīng)被編碼和解碼的圖像中提取的視頻縮影具有更高的質(zhì)量級(jí)別。根據(jù)本原理的實(shí)施例與現(xiàn)有技術(shù)的方法相反，在現(xiàn)有技術(shù)方法中，將從有噪聲的經(jīng)解碼的圖像所提取的縮影用于降噪。

在圖2中示出根據(jù)本原理的降噪的圖示例示。傳統(tǒng)的編碼/解碼方案在下方的方框202中示出，其中視頻圖像x使用諸如hevc或者vp9這樣的特定編碼方案進(jìn)行編碼206，然后經(jīng)由傳送信道傳送到接收器。編碼通常去除圖像信號(hào)中的冗余，并且涉及三個(gè)主要步驟：預(yù)測(cè)、變換和編碼。解碼器接收經(jīng)編碼的信號(hào)，并且執(zhí)行通常對(duì)應(yīng)于編碼步驟的逆的各種解碼操作208，以生成輸出圖像y。根據(jù)本原理的實(shí)施例如由所提出的改進(jìn)所指示的那樣地將降噪方案添加到傳統(tǒng)的編碼/解碼方案204。根據(jù)本原理，縮影e從高質(zhì)量源圖像x中提取210，并且隨后被編碼212，以便與經(jīng)編碼的圖像一起傳送。在解碼器側(cè)，經(jīng)編碼的縮影e被解碼214，并且應(yīng)用于經(jīng)解碼的圖像y，以提供經(jīng)降噪的圖像如在所述實(shí)施例中從源圖像所提取的高質(zhì)量縮影的內(nèi)含物可以通過(guò)比特流中的標(biāo)記或者高級(jí)語(yǔ)法元素用信號(hào)通知，例如，使用經(jīng)壓縮的視頻比特流的首部字段中的一比特標(biāo)記。這檔的信號(hào)通知向解碼器通知這樣的縮影可用于降噪操作。

用于從圖像構(gòu)造縮影的先前方法是已知的并且可以結(jié)合所述實(shí)施例使用。例如，一種適合的方法在alain等人的“methodandapparatusforconstructinganepitomefromanimage”(us2015/0215629，公開(kāi)于2015年7月30日，通過(guò)引用將其并入本文)中描述。如在本文中所描述的那樣，該方法生成紋理縮影e和變換映射ф。如果想要從縮影中重構(gòu)圖像，則變換映射是必要的。本原理針對(duì)使用視頻縮影進(jìn)行降噪，而未必定用于重構(gòu)圖像，因此，即使在比特流中包括變換映射，本原理也僅需要使用紋理縮影e。

在圖6中示出從視頻的關(guān)鍵幀提取縮影。這里，將關(guān)鍵幀定義為圖片組(gop)的第一幀。在定義關(guān)鍵幀時(shí)，可以使用其他準(zhǔn)則，例如，關(guān)鍵幀可以由用戶在配置文件中定義。該示例中的gop包括8個(gè)幀，并且根據(jù)本原理，可以使用來(lái)自周圍幀的縮影對(duì)該gop內(nèi)的任何幀進(jìn)行降噪。例如，縮影ei從gopi的i幀生成，然后連同縮影ei+1一起被用于對(duì)gopi的b幀進(jìn)行降噪。然而，顯然，從不同幀所提取的縮影的其他布置或組合可以應(yīng)用于不同的幀或者幀的組合以提供降噪。

為了執(zhí)行降噪，考慮n×n個(gè)重疊碎片。為了限制復(fù)雜性，并非所有的重疊碎片均被處理，但是替代地定義兩個(gè)被處理的碎片之間的在行和列兩者中的步進(jìn)s。重疊區(qū)域中的像素屬于若干碎片，并且因此在降噪處理結(jié)束時(shí)具有若干經(jīng)降噪的估計(jì)。對(duì)這些估計(jì)進(jìn)行平均，以便獲得最終的經(jīng)降噪的值。該方法包括下面的步驟：1)在與縮影碎片并置(co-locate)的有噪聲的碎片之中搜索當(dāng)前碎片的k-nn；2)學(xué)習(xí)有噪聲的k-nn碎片與縮影中的對(duì)應(yīng)高質(zhì)量碎片之間的降噪規(guī)則；以及3)對(duì)當(dāng)前碎片應(yīng)用先前所學(xué)習(xí)到的降噪規(guī)則，以獲得經(jīng)降噪的碎片。下面進(jìn)一步描述若干“降噪規(guī)則”。

基于縮影的nlm

現(xiàn)在描述使用nlm的降噪方法。假設(shè)y是將要降噪的當(dāng)前碎片。將y的k-nn標(biāo)注為yi，i＝1…k。來(lái)自縮影的對(duì)應(yīng)高質(zhì)量碎片標(biāo)記為xi，i＝1…k。根據(jù)y以及它的k-nn，計(jì)算一組權(quán)重wi，i＝1…k。經(jīng)降噪的估計(jì)碎片作為k個(gè)高質(zhì)量碎片的線性組合而獲得：

在圖3中例示對(duì)當(dāng)前碎片318進(jìn)行降噪的方法。當(dāng)前碎片318是位于有噪聲的圖像中并且希望進(jìn)行降噪的任意碎片。在步驟320中，例如使用全搜索塊匹配(blockmatching，bm)算法，在與縮影并置的有噪聲的碎片之中找到k-nn。替代地，可以使用近似最近近鄰(approximatenearestneighbors，ann)搜索算法，諸如在barnes等人的標(biāo)題為“thegeneralizedpatchmatchcorrespondencealgorithm”的文章(發(fā)表于lecturenotesincomputerscience，卷6313lncs，頁(yè)29-4.，2010年)中提出的廣義碎片匹配算法。這里，有噪聲的圖像302對(duì)應(yīng)于降噪操作之前的經(jīng)解碼的圖像。有噪聲的圖像302中與從中提取縮影的高質(zhì)量圖像306的位置相對(duì)應(yīng)的位置由標(biāo)號(hào)308和310指定并且對(duì)應(yīng)于區(qū)域332和334。碎片312、314和316位于有噪聲的圖像的縮影位置308和310內(nèi)，并且它們的位置對(duì)應(yīng)于高質(zhì)量縮影332和334的碎片336、338和340。在步驟330中，學(xué)習(xí)權(quán)重以根據(jù)有噪聲的k-nn碎片322、324和326來(lái)近似當(dāng)前碎片328。為了計(jì)算權(quán)重，適配nlm算法并且使用取決于y與其k-nn(即碎片322、324和326)之間的距離的指數(shù)權(quán)重。標(biāo)記其中，di代表y與其nnyi之間的距離，并且n²代表碎片中的像素的數(shù)量，然后，權(quán)重計(jì)算為：

其中，σnlm是用作濾波的程度的參數(shù)。在原始的nlm算法中，σnlm取決于噪聲級(jí)別σn、根據(jù)經(jīng)驗(yàn)來(lái)設(shè)置。在本實(shí)施例中，提出自動(dòng)地適配該參數(shù)的方法。噪聲級(jí)別σn被估計(jì)為高質(zhì)量縮影碎片與對(duì)應(yīng)的有噪聲的碎片之間的均方誤差。然后能夠設(shè)置σnlm＝α*σn，其中α是預(yù)先定義的用戶參數(shù)。在步驟344中，使用等式1來(lái)組合對(duì)應(yīng)的k-nn高質(zhì)量碎片(336、338和340)以得出經(jīng)降噪的碎片342。

基于縮影的bm3d

在另一個(gè)實(shí)施例中，提出使用基于bm3d的方法，如在原始bm3d中那樣，其包括兩個(gè)步驟：對(duì)經(jīng)3d變換的碎片分組所執(zhí)行的硬閾值處理步驟和維納濾波步驟。然而，本原理能夠一般性地應(yīng)用于基于變換系數(shù)的硬閾值處理或維納濾波的任何方法。

硬閾值處理

該步驟的一方面是選取閾值。在原始的方法中并且對(duì)于相似的算法，通常手動(dòng)地和/或根據(jù)經(jīng)驗(yàn)來(lái)設(shè)置閾值。該參數(shù)通常根據(jù)噪聲級(jí)別來(lái)設(shè)置。如果閾值太大，則許多系數(shù)被去除并且太多信息可能丟失。這里提出用以選取閾值的自適應(yīng)算法。

選取閾值的步驟在圖4中例示。在步驟400中，對(duì)于當(dāng)前碎片440，例如使用bm算法，在與高質(zhì)量縮影416和424中的碎片420、422和424并置的有噪聲的圖像碎片之中找到k-nn碎片432、434和436。該步驟與先前的實(shí)施例的步驟320相似。在步驟402中，k-nn以及來(lái)自縮影的它們的對(duì)應(yīng)的高質(zhì)量碎片420、422和424堆疊在3d分組中，分別表示為gx和在步驟404中，然后對(duì)兩個(gè)分組應(yīng)用3d變換tht。從兩個(gè)經(jīng)變換的分組，能夠在步驟406中獲得二元3d掩碼mτ形式的降噪規(guī)則，計(jì)算如下：

其中，ξ指3d矩陣中的索引。為了對(duì)與元素440相對(duì)應(yīng)的當(dāng)前碎片y進(jìn)行降噪，在步驟408中，用碎片y自身替換gy中y的最近nn，以獲得3d分組，標(biāo)記為gy′。然后在步驟410中，能夠?qū)⒆儞Qtht應(yīng)用于gy′，繼之以閾值處理規(guī)則mτ，并且最終在步驟412中，應(yīng)用逆變換以獲得經(jīng)降噪的分組

其中，“·”表示元素與元素(element-by-element)的乘法。然后，在gy′中y的相同位置處，從提取第一步驟經(jīng)降噪的碎片

維納濾波

bm3d算法的第二步驟在于3d變換分組的維納濾波，其中，將硬閾值處理的前一步驟時(shí)所獲得的第一經(jīng)降噪的估計(jì)用作諭示。最佳的維納濾波依賴于源信號(hào)的知識(shí)，因此，在原始的bm3d算法中，源信號(hào)替換為在硬閾值處理步驟之后所獲得的第一經(jīng)降噪的估計(jì)，并且表示為諭示。在本實(shí)施例中，提出通過(guò)使用來(lái)自縮影的高質(zhì)量碎片作為維納濾波的諭示，來(lái)適合該步驟。該步驟針對(duì)在前一步驟時(shí)所獲得的經(jīng)降噪的估計(jì)來(lái)執(zhí)行，而不直接針對(duì)有噪幀來(lái)執(zhí)行。該實(shí)施例的步驟在圖5中例示。

在步驟502中，首先，例如使用bm算法，在來(lái)自兩個(gè)最近的關(guān)鍵幀的、與縮影碎片522、524和526并置的第一估計(jì)碎片之中搜索當(dāng)前碎片的k-nn碎片536、538和540。在步驟504中，k-nn碎片536、538和540以及來(lái)自縮影518和520的它們的對(duì)應(yīng)的高質(zhì)量碎片522、524和526堆疊在3d分組中，標(biāo)記為和這些分組分別不同于前一步驟的分組和因?yàn)閗-nn不同。還計(jì)算包含對(duì)應(yīng)的噪聲碎片的第三3d分組：

然后在步驟506中，對(duì)兩個(gè)分組應(yīng)用3d變換twien。然后在步驟508中，能夠計(jì)算維納濾波器系數(shù)：

為了對(duì)與元素542相對(duì)應(yīng)的當(dāng)前碎片進(jìn)行降噪，在步驟510中，用碎片自身替換中的最近nn，以獲得3d分組，標(biāo)記為在步驟512中，然后能夠?qū)⒆儞Qtwien應(yīng)用到繼之以維納濾波，并且最終在步驟514中，應(yīng)用逆變換以獲得經(jīng)降噪的分組

然后，在中的相同位置處，從提取最終的經(jīng)降的噪碎片

根據(jù)本原理，可以使用從高質(zhì)量源圖像生成的一個(gè)或多個(gè)縮影來(lái)執(zhí)行降噪，其中縮影的數(shù)量和形狀可以根據(jù)提取方法和圖像本身而不同。另外，可以使用已知的編碼方法對(duì)所提取的縮影進(jìn)行編碼，以便連同經(jīng)編碼的視頻圖像一起傳送。編碼方法可以與用于視頻圖像自身的編碼方法相同或者不同。例如，圖7示出使用可縮放壓縮方案(例如，shvc)對(duì)縮影進(jìn)行編碼。在圖7中，原始圖像的編碼視為基礎(chǔ)層，而所提取的縮影視為增強(qiáng)層，其中，例如，縮影ei是從gopi的i幀提取出的，縮影ei+1是從gopi+1的第一個(gè)b幀提取出的，以此類推。以此方式對(duì)源圖像以及所提取的縮影進(jìn)行編碼允許本原理容易結(jié)合現(xiàn)有壓縮標(biāo)準(zhǔn)中的可縮放視頻擴(kuò)展一起使用。

圖8例示示例性系統(tǒng)的框圖，其中可以實(shí)現(xiàn)本原理的示例性實(shí)施例的各個(gè)方面。系統(tǒng)800可以實(shí)施為包括在下面描述各個(gè)組件的設(shè)備，并且被配置為執(zhí)行上面描述的處理。這樣的設(shè)備的示例包括但不局限于個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、智能電話、平板計(jì)算機(jī)、數(shù)字多媒體機(jī)頂盒、數(shù)字電視接收器、個(gè)人視頻記錄系統(tǒng)、連接的家用電器以及服務(wù)器。如圖8中所示，并且如由本領(lǐng)域那些技術(shù)人員所知道的那樣，系統(tǒng)800可以通信地耦合到其他類似的系統(tǒng)，并且經(jīng)由通信信道耦合到顯示器，以實(shí)現(xiàn)上面描述的示例性視頻系統(tǒng)。

系統(tǒng)800可以包括：至少一個(gè)處理器810，被配置為執(zhí)行加載到其中用于實(shí)現(xiàn)如上面所討論的各種處理的指令。處理器810可以包括嵌入式存儲(chǔ)器、輸入輸出接口以及如本領(lǐng)域中已知的各種其他電路。系統(tǒng)800還可以包括至少一個(gè)存儲(chǔ)器820(例如，易失性存儲(chǔ)設(shè)備、非易失性存儲(chǔ)設(shè)備)。系統(tǒng)800還可以包括：存儲(chǔ)設(shè)備840，其可以包括非易失儲(chǔ)存器，包括但不局限于eeprom、rom、prom、ram、dram、sram、閃速存儲(chǔ)器、磁盤驅(qū)動(dòng)器和/或光盤驅(qū)動(dòng)器。作為非限制性示例，存儲(chǔ)設(shè)備840可以包括內(nèi)部存儲(chǔ)設(shè)備、附加存儲(chǔ)設(shè)備和/或網(wǎng)絡(luò)可存取的存儲(chǔ)設(shè)備。系統(tǒng)800還可以包括：編碼器/解碼器模塊830，被配置為處理數(shù)據(jù)以提供經(jīng)編碼的視頻或者經(jīng)解碼的視頻。

編碼器/解碼器模塊830表示可以包括在設(shè)備中以執(zhí)行編碼和/或解碼功能的模塊。如已知的那樣，設(shè)備可以包括編碼和解碼模塊中的一個(gè)或二者。另外，如本領(lǐng)域那些技術(shù)人員已知的那樣，編碼器/解碼器模塊830可以實(shí)現(xiàn)為系統(tǒng)800的單獨(dú)元件，或者可以合并在處理器810中，作為硬件和軟件的組合。編碼器/解碼器模塊830可以例如從通信信道接收數(shù)據(jù)，或者從布置在設(shè)備800上的攝相機(jī)接收將要壓縮的原始視頻數(shù)據(jù)。本原理的方面(包括從高質(zhì)量源圖像提取縮影以及對(duì)所接收的縮影進(jìn)行解碼)可以作為編碼器/解碼器830之前或者之內(nèi)的預(yù)處理操作來(lái)實(shí)現(xiàn)。

要加載到處理器810上以執(zhí)行在上文所描述的各種處理的程序代碼可以存儲(chǔ)在存儲(chǔ)設(shè)備840中，并且隨后被加載到存儲(chǔ)器820上以便由處理器810執(zhí)行。根據(jù)本原理的示例性實(shí)施例，處理器810、存儲(chǔ)器820、存儲(chǔ)設(shè)備840以及編碼器/解碼器模塊830中的一個(gè)或多個(gè)可以在上文所討論的處理的執(zhí)行期間存儲(chǔ)各種項(xiàng)目中的一個(gè)或多個(gè)，包括但不局限于hdr視頻、比特流、等式、公式、矩陣、變量、操作和操作邏輯。

系統(tǒng)800還可以包括使得能夠經(jīng)由通信信道860與其他設(shè)備通信的通信接口850。通信接口850可以包括但不局限于：收發(fā)器，被配置為從通信信道860傳送和接收數(shù)據(jù)。通信接口可以包括但不局限于調(diào)制解調(diào)器或者網(wǎng)卡，并且通信信道可以以有線和/或無(wú)線介質(zhì)來(lái)實(shí)現(xiàn)。系統(tǒng)800的各種組件可以使用各種適當(dāng)?shù)倪B接方式來(lái)連接或者通信地耦合在一起，連接方式包括但不局限于內(nèi)部總線、電線以及印刷電路板。

根據(jù)本原理的示例性實(shí)施例可以由處理器810實(shí)現(xiàn)的計(jì)算機(jī)軟件或者由硬件或者由硬件和軟件的組合來(lái)執(zhí)行。作為非限制性示例，根據(jù)本原理的示例性實(shí)施例可以由一個(gè)或多個(gè)集成電路來(lái)實(shí)現(xiàn)。存儲(chǔ)器820可以是適合于技術(shù)環(huán)境的任何類型，并且作為非限制性示例，可以使用諸如光學(xué)存儲(chǔ)設(shè)備、磁性存儲(chǔ)設(shè)備、基于半導(dǎo)體的存儲(chǔ)設(shè)備、固定儲(chǔ)存器以及可移動(dòng)儲(chǔ)存器這樣的任何適當(dāng)?shù)臄?shù)據(jù)存儲(chǔ)技術(shù)來(lái)實(shí)現(xiàn)。處理器810可以是適合于技術(shù)環(huán)境的任何類型，并且作為非限制性示例，可以包括微處理器、通用計(jì)算機(jī)、專用計(jì)算機(jī)以及基于多核架構(gòu)的處理器中的一個(gè)或多個(gè)。

參考圖9，示出數(shù)據(jù)傳送系統(tǒng)900，可以對(duì)其應(yīng)用上面所描述的特征和原理。數(shù)據(jù)傳送系統(tǒng)900可以是例如頭端或者傳送系統(tǒng)，用于使用諸如衛(wèi)星、纜線、電話線或者地面廣播等各種介質(zhì)中的任何一種來(lái)傳送信號(hào)。數(shù)據(jù)傳送系統(tǒng)900也可以用來(lái)提供用于存儲(chǔ)的信號(hào)。傳送可以通過(guò)因特網(wǎng)或者某個(gè)其他網(wǎng)絡(luò)提供。數(shù)據(jù)傳送系統(tǒng)900能夠生成并且傳遞例如視頻內(nèi)容和其他內(nèi)容。

數(shù)據(jù)傳送系統(tǒng)900從處理器901接收經(jīng)處理的數(shù)據(jù)以及其他信息。在一種實(shí)現(xiàn)方式中，處理器901執(zhí)行前向變換。處理器901還可以將指示例如視頻的格式的元數(shù)據(jù)提供給900。根據(jù)本原理，處理器901還可以在編碼器902之前執(zhí)行預(yù)處理。預(yù)處理可以包括如在上文所討論的視頻縮影的提取。

根據(jù)各種實(shí)施例，數(shù)據(jù)傳送系統(tǒng)或者裝置900包括編碼器902和傳送器904，傳送器904能夠傳送經(jīng)編碼的信號(hào)和視頻縮影。編碼器902從處理器901接收數(shù)據(jù)信息。編碼器902生成經(jīng)編碼的信號(hào)。

編碼器902可以包括子模塊，包括例如用于接收各種信息片段并且將它們裝配成結(jié)構(gòu)化的格式以便存儲(chǔ)或傳送的裝配單元。各種信息片段可以包括例如已編碼或未編碼的視頻以及已編碼和未編碼的元素。如上所述，編碼器902可以使用相同或者不同的編碼技術(shù)對(duì)視頻縮影和視頻圖像進(jìn)行編碼以用于隨后的傳送。替代地，視頻縮影可以由處理器從視頻中提取并且可以在編碼器902之前被編碼。在一些實(shí)現(xiàn)方式中，編碼器902包括處理器901并且因此執(zhí)行處理器901的操作。

傳送器904從編碼器902接收經(jīng)編碼的信號(hào)，并且在一個(gè)或多個(gè)輸出信號(hào)中傳送經(jīng)編碼的信號(hào)。傳送器904可以例如被適配為傳送具有表示經(jīng)編碼的圖片和/或其有關(guān)信息的一個(gè)或多個(gè)比特流的程序信號(hào)。典型的傳送器執(zhí)行諸如例如提供誤差校正編碼、交錯(cuò)信號(hào)中的數(shù)據(jù)、使信號(hào)中的能量隨機(jī)化以及使用調(diào)制器906將信號(hào)調(diào)制到一個(gè)或多個(gè)載波上中的一個(gè)或多個(gè)這樣的功能。傳送器904可以包括天線(未示出)，或者與天線對(duì)接。另外，傳送器904的實(shí)現(xiàn)方式可以被限制到調(diào)制器906。

數(shù)據(jù)傳送系統(tǒng)900也通信地耦合到存儲(chǔ)單元908。在一種實(shí)現(xiàn)方式中，存儲(chǔ)單元908耦合到編碼器902，并且存儲(chǔ)來(lái)自編碼器902的、包括視頻縮影、經(jīng)編碼的比特流。在另一種實(shí)現(xiàn)方式中，存儲(chǔ)單元908耦合到傳送器904，并且存儲(chǔ)來(lái)自傳送器904的比特流。來(lái)自傳送器904的比特流可以包括例如已經(jīng)由傳送器904進(jìn)一步處理的包括視頻縮影的一個(gè)或多個(gè)經(jīng)編碼的比特流。在不同的實(shí)現(xiàn)方式中，存儲(chǔ)單元908是標(biāo)準(zhǔn)dvd、藍(lán)光盤、硬盤驅(qū)動(dòng)器或者某個(gè)其他存儲(chǔ)設(shè)備中的一個(gè)或多個(gè)。

參照?qǐng)D10，示出數(shù)據(jù)接收系統(tǒng)1000，可以對(duì)其應(yīng)用上面描述的特征和原理。數(shù)據(jù)接收系統(tǒng)1000可以被配置為通過(guò)諸如存儲(chǔ)設(shè)備、衛(wèi)星、纜線、電話線或者地面廣播這樣的各種介質(zhì)來(lái)接收信號(hào)。信號(hào)可以通過(guò)因特網(wǎng)或者某個(gè)其他網(wǎng)絡(luò)來(lái)接收。

數(shù)據(jù)接收系統(tǒng)1000可以是例如蜂窩式電話、計(jì)算機(jī)、機(jī)頂盒、電視機(jī)或者接收經(jīng)編碼的視頻并且提供例如經(jīng)解碼的視頻信號(hào)以便顯示(例如顯示給用戶)、用于處理或者用于存儲(chǔ)的其他設(shè)備。因此，數(shù)據(jù)接收系統(tǒng)1000可以將其輸出提供給例如電視機(jī)的屏幕、計(jì)算機(jī)監(jiān)視器、計(jì)算機(jī)(用于存儲(chǔ)、處理或者顯示)或者某個(gè)其他存儲(chǔ)、處理或顯示設(shè)備。

數(shù)據(jù)接收系統(tǒng)1000能夠接收并且處理數(shù)據(jù)信息。數(shù)據(jù)接收系統(tǒng)或者裝置1000包括：接收器1002，用于接收經(jīng)編碼的信號(hào)，諸如例如在本申請(qǐng)的實(shí)現(xiàn)方式中所描述的信號(hào)。接收器1002可以接收例如提供比特流的信號(hào)或者從圖9的數(shù)據(jù)傳送系統(tǒng)1000輸出的信號(hào)。

接收器1002可以例如被適配為接收具有表示經(jīng)編碼圖片的包括視頻縮影的多個(gè)比特流的程序信號(hào)。典型的接收器執(zhí)行諸如例如接收經(jīng)調(diào)制和經(jīng)編碼的數(shù)據(jù)信號(hào)、使用解調(diào)器1004對(duì)來(lái)自一個(gè)或多個(gè)載波的數(shù)據(jù)信號(hào)進(jìn)行解調(diào)、對(duì)信號(hào)中的能量去隨機(jī)化、對(duì)信號(hào)中的數(shù)據(jù)進(jìn)行去交錯(cuò)以及對(duì)信號(hào)進(jìn)行誤差校正解碼中的一個(gè)或多個(gè)這樣的功能。接收器1002可以包括天線(未示出)，或者與天線對(duì)接。接收器1002的實(shí)現(xiàn)方式可以被限制到解調(diào)器1004。

數(shù)據(jù)接收系統(tǒng)1000包括解碼器1006。接收器1002將所接收的信號(hào)提供給解碼器1006。由接收器1002提供給解碼器1006的信號(hào)可以包括一個(gè)或多個(gè)經(jīng)編碼的比特流。解碼器1006輸出經(jīng)解碼的信號(hào)，諸如例如包括視頻信息的經(jīng)解碼的視頻信號(hào)。根據(jù)本原理，解碼器1006可以包括：預(yù)處理器，其分離并且處理比特流中的經(jīng)編碼的視頻縮影和經(jīng)編碼的視頻圖像?？梢允褂门c經(jīng)編碼的視頻圖像相同或者不同的解碼處理，對(duì)經(jīng)編碼的視頻縮影進(jìn)行解碼。

數(shù)據(jù)接收系統(tǒng)或者裝置1000還通信地耦合到存儲(chǔ)單元1007。在一種實(shí)現(xiàn)方式中，存儲(chǔ)單元1007耦合到接收器1002，并且接收器1002存取來(lái)自存儲(chǔ)單元1007的比特流。在另一種實(shí)現(xiàn)方式中，存儲(chǔ)單元1007耦合到解碼器1006，并且解碼器1006存取來(lái)自存儲(chǔ)單元1007的比特流。在不同的實(shí)現(xiàn)方式中，從存儲(chǔ)設(shè)備1007存取的比特流包括一個(gè)或多個(gè)經(jīng)編碼的比特流。在不同的實(shí)現(xiàn)方式中，存儲(chǔ)單元1007是標(biāo)準(zhǔn)dvd、藍(lán)光盤、硬盤驅(qū)動(dòng)器或者某個(gè)其他存儲(chǔ)設(shè)備中的一個(gè)或多個(gè)。

在一種實(shí)現(xiàn)方式中，來(lái)自解碼器1006的輸出數(shù)據(jù)提供給處理器1008。在一種實(shí)現(xiàn)方式中，處理器1008是被配置用于執(zhí)行后處理的處理器。后處理器可以包括例如在上文中所討論的降噪操作。在一些實(shí)現(xiàn)方式中，解碼器1006包括處理器1008并且因此執(zhí)行處理器1008的操作。在其他實(shí)現(xiàn)方式中，處理器1008是諸如例如機(jī)頂盒或者電視機(jī)這樣的下游設(shè)備的一部分。

在本文中所描述的實(shí)現(xiàn)方式可以實(shí)現(xiàn)為例如方法或處理、裝置、軟件程序、數(shù)據(jù)流或者信號(hào)。即使僅在單一形式的實(shí)現(xiàn)方式的背景下進(jìn)行了討論(例如，僅作為方法進(jìn)行了討論)，所討論的特征的實(shí)現(xiàn)方式也可以以其他形式(例如，裝置或程序)來(lái)實(shí)現(xiàn)。裝置可以實(shí)現(xiàn)為例如適當(dāng)?shù)挠布?、軟件和固件。例如，方法可以在諸如例如處理器這樣的裝置中實(shí)現(xiàn)，處理器一般指處理設(shè)備，包括例如計(jì)算機(jī)、微處理器、集成電路或者可編程邏輯設(shè)備。處理器也包括通信設(shè)備，諸如例如計(jì)算機(jī)、蜂窩式電話、便攜式/個(gè)人數(shù)字助理(“pda”)以及便于終端用戶之間的信息通信的其他設(shè)備。

所提及的本原理的“一個(gè)實(shí)施例”或者“實(shí)施例”或者“一種實(shí)現(xiàn)方式”或者“實(shí)現(xiàn)方式”以及它們的其他變型是指結(jié)合實(shí)施例所描述的具體特征、結(jié)構(gòu)、特性等包括在本原理的至少一個(gè)實(shí)施例中。因此，在說(shuō)明書各處出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”或者“在實(shí)施例中”或者“在一種實(shí)現(xiàn)方式中”或者“在實(shí)現(xiàn)方式中”以及任何其他變型未必全部指相同的實(shí)施例。

另外，本申請(qǐng)或者其權(quán)利要求書可能涉及“確定”各條信息。確定信息可以包括例如估計(jì)信息、計(jì)算信息、預(yù)測(cè)信息或者從存儲(chǔ)器檢索信息中的一個(gè)或多個(gè)。

而且，本申請(qǐng)或者其權(quán)利要求書可能涉及“存取”各條信息。存取信息可以包括例如接收信息、檢索信息(例如，從存儲(chǔ)器)、存儲(chǔ)信息、處理信息、傳送信息、移動(dòng)信息、復(fù)制信息、擦除信息、計(jì)算信息、確定信息、預(yù)測(cè)信息或者估計(jì)信息中的一個(gè)或多個(gè)。

另外，本申請(qǐng)或者其權(quán)利要求書可能涉及“接收”各條信息。接收與“存取”一樣，目的在于作為廣泛的術(shù)語(yǔ)。接收信息可以包括例如存取信息或者檢索信息(例如，從存儲(chǔ)器)中的一個(gè)或多個(gè)。而且，“接收”通過(guò)以各種方式包含在諸如例如存儲(chǔ)信息、處理信息、傳送信息、移動(dòng)信息、復(fù)制信息、擦除信息、計(jì)算信息、確定信息、預(yù)測(cè)信息或者估計(jì)信息這樣的操作期間。

對(duì)于本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，實(shí)現(xiàn)方式可以產(chǎn)生各種信號(hào)，信號(hào)被格式化以攜帶可以例如被存儲(chǔ)或傳送的信息。信息可以包括例如用于執(zhí)行方法的指令或者由所描述的實(shí)現(xiàn)方式之一所產(chǎn)生的數(shù)據(jù)。例如，信號(hào)可以被格式化以攜帶所描述的實(shí)施例的比特流。這樣的信號(hào)可以被格式化成例如電磁波(例如，使用頻譜的射頻部分)或者基帶信號(hào)。格式化可以包括例如對(duì)數(shù)據(jù)流進(jìn)行編碼以及使用經(jīng)編碼的數(shù)據(jù)流來(lái)調(diào)制載波。信號(hào)所攜帶的信息可以是例如模擬或者數(shù)字信息。如已知的那樣，信號(hào)可以通過(guò)各種不同的有線或者無(wú)線鏈路來(lái)傳送。信號(hào)可以存儲(chǔ)在處理器可讀介質(zhì)上。