專利名稱：：可重新配置的自校準(zhǔn)視頻降噪器的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明一般地涉及信號(hào)處理應(yīng)用。更具體地，本發(fā)明涉及用于可重新配置并自校準(zhǔn)以降低視頻信號(hào)中的噪聲的視頻降噪器的系統(tǒng)和方法。
背景技術(shù)：
：實(shí)時(shí)視頻因多種形式的噪聲而毀壞。加性高斯白噪聲(AWGN)是擾亂視頻數(shù)據(jù)的最常見的噪聲形式之一。高斯白噪聲或?qū)拵Ц咚乖肼晛碓从谠S多諸如天線中原子的熱振動(dòng)、來自大地和其他暖物體的黑體輻射之類的自然源以及來自諸如太陽之類的天體源。取決于視頻信號(hào)使用的格式或壓縮類型，其他類型的噪聲也可以與視頻信號(hào)相關(guān)。附加噪聲可以歸因于視頻信號(hào)的壓縮。壓縮失真是丟棄被算法確定為對(duì)整體內(nèi)容不那么重要然而對(duì)用戶而言可辨別且令人討厭的數(shù)據(jù)的、施加到圖像、音頻或視頻上的激進(jìn)(aggressive)數(shù)據(jù)壓縮方案的結(jié)果。視音頻之類的依賴于時(shí)間的數(shù)據(jù)中的失真常常是有損數(shù)據(jù)壓縮中的潛在誤差的結(jié)果。視頻信號(hào)的壓縮導(dǎo)致作為數(shù)據(jù)損失結(jié)果的特定類型的失真。已采用各種技術(shù)來嘗試解決出現(xiàn)在視頻信號(hào)中的噪聲。隨著數(shù)字顯示器的變大，移除噪聲變得更加重要。更大的顯示屏使得噪聲對(duì)視頻觀眾而言更容易辨別。應(yīng)用的很多技術(shù)是不完善的，導(dǎo)致其噪聲影響僅被有限地改善的視頻信號(hào)。參考以下附圖來描述非限制性和非窮盡性實(shí)施例。圖l例示其中視頻降噪器可以操作的示例性系統(tǒng)；圖2例示用于輸入到視頻降噪器的視頻的示例性幀；圖3例示包含來自視頻信號(hào)的傳輸?shù)脑肼暤囊曨l的示例性幀；圖4例示被視頻降噪器處理后的視頻的示例性幀；圖5例示包含來自視頻信號(hào)壓縮的噪聲的視頻的示例性幀；圖6例示被視頻降噪器處理后的視頻的示例性幀；圖7例示視頻降噪器結(jié)構(gòu)的操作框圖8例示與空間降噪器的操作相對(duì)應(yīng)的核(kernel)像素的示例;圖9例示示例性時(shí)間降噪器結(jié)構(gòu)；圖IO例示具有變化的反饋因子的時(shí)間降噪器的幅度響應(yīng)；圖ll例示用于空間噪聲估計(jì)器的示例性框圖；并且圖12例示用于時(shí)間噪聲估計(jì)器的示例性框圖。具體實(shí)施例方式將參考附圖來描述本發(fā)明的各種實(shí)施例，其中幾個(gè)視圖各處相似的參考標(biāo)號(hào)表示相似的部分和裝配。對(duì)各種實(shí)施例的引用不限制本發(fā)明的范圍，該發(fā)明僅由所附權(quán)利要求的范圍來限制。另外，本說明書中所述的任何示例不打算成為限制性的，僅僅提出用于所要求的發(fā)明的許多可能的實(shí)施例中的一些。在整個(gè)說明書及權(quán)利要求書中，以下術(shù)語至少采用此處明確相關(guān)的含義，除非上下文在其他情況下清楚地指出。下文標(biāo)識(shí)的含義不打算限制這些術(shù)語，而僅僅提供用于這些術(shù)語的示意性示例。"a"、"an"(不定冠詞)和"the"(定冠詞)的含義包括復(fù)數(shù)引用，"in"(在...中/內(nèi)/里)的含義包括"in"和"on"(在…上)。術(shù)語"connected"(被/已連接的)指被連接項(xiàng)之間不帶任何中間設(shè)備的直接電連接。術(shù)語"coupled"(被耦合的)指被連接項(xiàng)之間的直接電連接，或者通過一個(gè)或多個(gè)無源或有源中間設(shè)備的間接連接。術(shù)語"circuit"(電路)指耦合在一起以提供所需功能的有源和/或無源的單一組件或多個(gè)組件。術(shù)語"signal"(信號(hào))指至少一個(gè)電流、電壓、電荷、溫度、數(shù)據(jù)或其他信號(hào)。簡(jiǎn)言之，提供視頻降噪器來處理視頻信號(hào)以減少加性高斯白噪聲(AWGN)和其他和噪聲有關(guān)的失真的出現(xiàn)。降噪器可以被重新配置來以并聯(lián)或級(jí)聯(lián)結(jié)構(gòu)工作。并聯(lián)結(jié)構(gòu)提供更好的AWGN減少，但是當(dāng)視頻被激進(jìn)壓縮(例如，MPEG)時(shí)可能導(dǎo)致較少的噪聲減少。當(dāng)視頻被激進(jìn)壓縮時(shí)，視頻降噪器可被重新配置成級(jí)聯(lián)結(jié)構(gòu)，損失一定量的圖像細(xì)節(jié)但同時(shí)在降低與壓縮有關(guān)的噪聲方面更有效。另外，視頻降噪器還是自配置的(self-configurable)。噪聲注入器和噪聲測(cè)量模塊被包含在視頻降噪器中。噪聲注入器允許視頻降噪器被校準(zhǔn)以從已注入的可預(yù)測(cè)的噪聲級(jí)別操作。噪聲測(cè)量模塊提供噪聲的測(cè)量和視頻降噪器參數(shù)的調(diào)整，以便基于測(cè)量的噪聲級(jí)別來降低噪聲。下面完整地描述這些方面以及此處描述的視頻降噪器的另外的優(yōu)點(diǎn)和方面。圖1例示根據(jù)本發(fā)明視頻降噪器可以在其中操作的示例性系統(tǒng)。在所示的示例性系統(tǒng)(系統(tǒng)100)中，視頻信號(hào)的處理具有如下數(shù)據(jù)路徑，所述數(shù)據(jù)路徑包括輸入信道選擇復(fù)用器(102)、色彩空間轉(zhuǎn)換模塊(104)、視頻降噪器(106)、圖像放縮和幀速降低模塊(108)、邊緣增強(qiáng)和上采樣模塊(110)、膠片顆粒(filmgrain)添加模塊(112)、色彩管理單元(114)、抖動(dòng)和幀速轉(zhuǎn)換模塊(116)以及交錯(cuò)器(interlacer)(118)。系統(tǒng)100可被包含在駐留于各種媒體設(shè)備和顯示設(shè)備之間的視音頻(A/V)模塊中。在該實(shí)例中，噪聲清除在A/V模塊中完成。該A/V模塊可以是例如DVD播放器或HD錄放器之類的輸入源的一部分，或者可以是終端顯示器的一部分，或者可能作為獨(dú)立單元存在。獨(dú)立A/V模塊可以容納如所示出的那些功能一樣的視音頻功能以及亮色分離、解交錯(cuò)、附加噪聲減少、放縮、附加色彩處理、音頻延遲和附加處理模塊。圖2例示根據(jù)本發(fā)明用于輸入到視頻降噪器的視頻的示例性幀。幀(200)用建筑背景來圖示美國國旗，并且由于視頻幀尚未通過可能將AWGN引入到信號(hào)中的通信連接來傳送，因此不顯示任何噪聲或壓縮失真。另外，由于視頻信號(hào)未被壓縮以供傳送，也未通過使得幀(200)中失真變明顯的其他方式被處理，因此幀(200)也不包含任何壓縮失真。圖3例示根據(jù)本發(fā)明包含來自視頻信號(hào)的傳輸?shù)脑肼暤囊曨l的示例性幀。幀(300)圖示相同的圖2所示輸入視頻信號(hào)的幀。在該幀中，AWGN噪聲己被引入視頻信號(hào)。該噪聲可能通過自然出現(xiàn)被引入或者可能由噪聲注入器模塊(見圖7)引入。AWGN導(dǎo)致較粗糙的圖像，其中色彩和目標(biāo)之間的過渡在較高分辨率的顯示器上呈現(xiàn)有噪(noisy)外觀。圖4例示根據(jù)本發(fā)明被視頻降噪器處理后的視頻的示例性幀。視頻幀(400)對(duì)應(yīng)于圖2和圖3所示的視頻幀。幀(400)被以并聯(lián)體系結(jié)構(gòu)配置的視頻降噪器(見下面的圖7)處理。該結(jié)構(gòu)導(dǎo)致AWGN的去除同時(shí)保留圖像細(xì)節(jié)。在并聯(lián)體系結(jié)構(gòu)中，當(dāng)視頻圖像保持相對(duì)靜止時(shí)，視頻降噪器中包含的時(shí)間降噪器(TNR)被用來提供輸出。當(dāng)視頻圖像包含運(yùn)動(dòng)目標(biāo)時(shí)，視頻降噪器中包含的空間降噪器(SNR)被用來提供輸出。對(duì)于中間的運(yùn)動(dòng)情況，基于運(yùn)動(dòng)比特的SNR和TNR輸出的加權(quán)平均變?yōu)樽罱K的輸出。從幀(400)中可見，視頻降噪器的使用可以明顯改善圖像質(zhì)量。圖5例示根據(jù)本發(fā)明包含來自視頻信號(hào)壓縮的噪聲的視頻的示例性幀。在該幀(500)中，純凈的圖像已通過品質(zhì)因子等于20的JPEG壓縮被壓縮。因此，壓縮的圖像具有大量塊狀噪聲和一定量的蚊狀噪聲(對(duì)角邊緣振蕩)(diagonaledgeringing)。圖6例示根據(jù)本發(fā)明被視頻降噪器處理后的視頻的示例性幀。所示幀(600)對(duì)應(yīng)于圖5所示的幀。由于圖像中引入的主要噪聲量歸因于壓縮，因此視頻降噪器以級(jí)聯(lián)操作模式(見下面的圖7)配置以降低噪聲的影響。在諸如來自模擬電纜或網(wǎng)上視頻("IP視頻")的高度壓縮的視頻及其他采用高壓縮率的應(yīng)用之類的情況下，存在嚴(yán)重的壓縮失真，這些失真最好通過采用大量空間濾波的級(jí)聯(lián)結(jié)構(gòu)來處理。如幀(600)所示，源于壓縮的噪聲影響已被明顯降低。圖7例示根據(jù)本發(fā)明的視頻降噪器體系結(jié)構(gòu)的操作框圖。視頻降噪器(700)包括高斯噪聲注入器(702)、空間降噪器(SNR)(704)、復(fù)用器(706、712)、時(shí)間降噪器(TNR)(708)、空-時(shí)混合器(710)、膚色檢測(cè)(FTD)模塊(714)、膚色檢測(cè)(FTD)混合器(716)、場(chǎng)存儲(chǔ)器A和B(718、720)、3D解交錯(cuò)模塊(722)、亮色運(yùn)動(dòng)引擎(ME)(724)、空間噪聲估計(jì)器(726)、時(shí)間噪聲估計(jì)器(728)、噪聲組合器(730)、噪聲-閾值映射模塊(732)以及噪聲-beta映射模塊(734)。視頻降噪器(700)的操作包括允許視頻降噪器(700)同時(shí)可重新配置并自校準(zhǔn)的方面。首先，取決于視頻信號(hào)中包含的噪聲的類型和數(shù)量，視頻降噪器(700)可以被配置成級(jí)聯(lián)體系結(jié)構(gòu)或并聯(lián)體系結(jié)構(gòu)。其次，視頻降噪器是自校準(zhǔn)的。如下面所進(jìn)一步解釋的，用于檢測(cè)視頻信號(hào)的噪聲量以及將噪聲注入到視頻信號(hào)中以便針對(duì)最優(yōu)操作來校準(zhǔn)視頻降噪器(700)的模塊被包含。一旦輸入視頻信號(hào)(In)被提供給視頻降噪器(700)，該信號(hào)便通過高斯噪聲注入器(702)來傳送，其中確定是否將AWGN添加到視頻信號(hào)(In)上。噪聲可以根據(jù)被選sigma(高斯噪聲分布的標(biāo)準(zhǔn)差)級(jí)別來設(shè)置。新信號(hào)(in—noise)可被高斯噪聲注入器(702)注入噪聲或不被注入噪聲。新信號(hào)(in—noise)隨后被傳送到空間降噪器(SNR)(704)。SNR(704)在空間域降低視頻信號(hào)中的噪聲。空間域的噪聲降低最常通過使用邊緣自適應(yīng)視頻濾波器來完成。通過使用邊緣自適應(yīng)視頻低通濾波器，圖像邊緣被保留，噪聲降低發(fā)生在較少細(xì)節(jié)的區(qū)域。一種這樣的常見邊緣自適應(yīng)視頻濾波器在題為"AMethodforEstimationandFilteringofGaussianNoiseinImages"(FabrizioRusso，IEEETransactionsonInstrumentationandMeasurement,vol.52,no.4,August2003)的參考文獻(xiàn)中被描述。在Russo的參考文獻(xiàn)中，3X3個(gè)像素的核尺寸被選擇用于估計(jì)并過濾單個(gè)像素的噪聲。根據(jù)本發(fā)明的一個(gè)實(shí)施例，3行乘5個(gè)像素的核尺寸被用來與在交錯(cuò)域中操作的視頻信號(hào)相對(duì)應(yīng)。根據(jù)SNR(704)的一個(gè)實(shí)用方面，3X5的核可以通過使用大小為720X16(對(duì)于SDTV)和1920X16(對(duì)于HDTV)的2個(gè)行緩沖器來實(shí)現(xiàn)。在一個(gè)實(shí)施例中，行緩沖器是使用片上單端口靜態(tài)RAM來實(shí)現(xiàn)的。噪聲降低針對(duì)像素的亮度及色度值在逐像素的基礎(chǔ)上發(fā)生。暫轉(zhuǎn)向圖8，根據(jù)本發(fā)明示出對(duì)應(yīng)于空間降噪器的核像素的示例。窗口(800)中的每個(gè)相鄰的核像素(例如，802)用于生成位置對(duì)應(yīng)于核的中心像素X15的輸出像素(804)。這意味著對(duì)于任何輸出像素的生成，左側(cè)2個(gè)像素、右側(cè)2個(gè)像素、上邊一行以及下邊一行被考慮以供生成。例如，假設(shè)試圖生成輸出像素Y15。用于輸出像素的公式按下式給出(公式l)<table>tableseeoriginaldocumentpage10</column></row><table>閾值參數(shù)"Th"控制噪聲降低量。若閾值被設(shè)為0，則沒有噪聲降低發(fā)生，相當(dāng)于繞開SNR(704)。上述公式中的閾值參數(shù)對(duì)應(yīng)于下面將進(jìn)一步描述的從噪聲-閾值映射模塊(732)接收的閾值信號(hào)(snr—th)。在一個(gè)實(shí)施例中，范圍從10到32的閾值被發(fā)現(xiàn)對(duì)于視頻應(yīng)用是最優(yōu)的。從公式1可以推斷出，若相鄰像素和中心像素之間偏差過大，則相鄰像素與中心像素大不相同，因此這類像素應(yīng)被排除。排除相鄰像素導(dǎo)致較少的邊緣模糊?？臻g域的邊緣自適應(yīng)視頻濾波是去除高斯噪聲的常用方法。在空間域中難以區(qū)分真正的視頻數(shù)據(jù)和噪聲，因?yàn)樗鼈児蚕硗活l譜。因此空域技術(shù)可能在高斯噪聲去除方面不那么有效，因?yàn)樗鼈兛赡芴焐阅：吘壎娼K。轉(zhuǎn)回圖7，除了在空間域降低視頻信號(hào)中的噪聲，視頻信號(hào)還可以由時(shí)間降噪器(TNR)(708)處理。視頻數(shù)據(jù)中的高斯噪聲被假設(shè)具有零均值。該假設(shè)是非常合理的因?yàn)橐曨l數(shù)據(jù)中的任何直流偏移都可以被校正。因此，對(duì)大量相似采樣進(jìn)行平均會(huì)導(dǎo)致純凈的信號(hào)產(chǎn)生。噪聲分量的均值將歸于零。在實(shí)時(shí)處理中，多幀(multipleframes)的使用對(duì)硬件實(shí)現(xiàn)方面提出很多挑戰(zhàn)。將多幀用于時(shí)間噪聲降低通常要求在某種形式的存儲(chǔ)器中存儲(chǔ)這些幀，所述形式通常是"片外"(off-chip)的。這類片外存儲(chǔ)器可以SDRAM/DDRAM集成電路的形式存在。由于這些存儲(chǔ)器外置并在板上存在，會(huì)增添系統(tǒng)成本。一個(gè)SDTV尺寸的幀通常要求大約691K字節(jié)的存儲(chǔ)空間。對(duì)于高分辨率情況，該要求變?yōu)?M字節(jié)。用于平均采樣的幀數(shù)目更大，實(shí)際上意味著片外存儲(chǔ)器的增加。從信號(hào)處理理論可知，反饋結(jié)構(gòu)與前饋結(jié)構(gòu)相比給出更好的幅度響應(yīng)。因此，在一個(gè)實(shí)施例中，TNR(708)被設(shè)計(jì)為一階IIR反饋遞歸結(jié)構(gòu)。暫轉(zhuǎn)向圖9，根據(jù)本發(fā)明圖示了示例性時(shí)間降噪器體系結(jié)構(gòu)。所示示例性TNR(900)被設(shè)計(jì)為一階IIR反饋遞歸結(jié)構(gòu)。用于所示TNR的時(shí)域差分公式可以寫成-—6ete)+6eto'—1](公式5)并且，Z域傳遞函數(shù)可以寫成,(公式6)I一te:利用公式5，幅度響應(yīng)可隨變化的反饋因子(beta)值一起被繪制。反饋因子可以取范圍從O到1(不包括l)的值。在beta:l處，環(huán)變得不穩(wěn)定，S卩，輸入斷開，幀緩沖器中無論是什么都繼續(xù)重復(fù)循環(huán)。在一個(gè)實(shí)施例中，beta由下述噪聲-beta映射模塊(734)確定。再轉(zhuǎn)向圖10，根據(jù)本發(fā)明圖示了具有變化的反饋因子"beta"的TNR(708)的幅度響應(yīng)。檢査響應(yīng)(1000)，在"beta=0"處，沒有遞歸發(fā)生，并且無論輸入到TNR的是什么都按原樣被傳遞到輸出處。這與全通濾波器類似。隨著beta以1/8的步長(zhǎng)從0/8增加到7/8，高頻區(qū)域衰減得更多。當(dāng)圖像是靜止的時(shí)候，大多數(shù)圖像信息位于幀頻等于0Hz的點(diǎn)。反饋因子"beta"控制TNR濾波器的性質(zhì)。當(dāng)?shù)絹淼囊曨l數(shù)據(jù)不包含噪聲時(shí)，反饋因子可被設(shè)為"beta=0"。隨著到來的視頻中噪聲量的增加，反饋因子適當(dāng)?shù)卦黾?，來以接近恒定的質(zhì)量創(chuàng)建輸出視頻效果。表1例示了隨著變化的反饋因子beta的值而獲得的信噪比(SNR)增益量。<table>tableseeoriginaldocumentpage11</column></row><table>表1:SNR增益和反饋因子"beta"對(duì)照從表1可以明顯看出，通過增加反饋因子獲得更高的增益。然而，增加反饋因子beta可能帶來問題。當(dāng)物體在圖像中靜止時(shí)，大部分能量集中于直流頻率；而當(dāng)物體開始移動(dòng)(運(yùn)動(dòng)的情況)，頻譜變成動(dòng)態(tài)的且具有從直流到15Hz的所有頻率。增加反饋因子可以使得系統(tǒng)特性越來越遲鈍，因而無法適應(yīng)高運(yùn)動(dòng)級(jí)別的視頻信號(hào)。若存在場(chǎng)景改變，環(huán)要花費(fèi)不止幾個(gè)幀才能穩(wěn)定。這可能導(dǎo)致類似"重影"的可見失真。IIR濾波器的非線性群延遲響應(yīng)在運(yùn)動(dòng)區(qū)域添加可見失真方面的二階復(fù)雜度。視頻降噪器(700)的體系結(jié)構(gòu)使得該體系結(jié)構(gòu)是可重新配置的，以便空間和時(shí)間噪聲降低可以選擇性地混合來產(chǎn)生最優(yōu)的輸出視頻信號(hào)。轉(zhuǎn)回圖7，亮色運(yùn)動(dòng)引擎(ME)(724)用于確定到來的視頻信號(hào)中的場(chǎng)的每個(gè)像素的混合級(jí)別。眾所周知對(duì)于場(chǎng)景的靜止區(qū)域，高斯噪聲可以在時(shí)域去除，但時(shí)間噪聲降低在場(chǎng)景的運(yùn)動(dòng)區(qū)域引起重影失真。亮色ME(724)提供每像素機(jī)制來將所涉及的像素歸入靜止區(qū)域或運(yùn)動(dòng)區(qū)域。若像素的亮度和色度值在幀與幀之間很不一樣，則像素具有高運(yùn)動(dòng)級(jí)別。然而，若亮度和色度值改變很小，則運(yùn)動(dòng)級(jí)別低?；谶\(yùn)動(dòng)級(jí)別，降噪器的最終輸出可以是SNR輸出和TNR輸出的混合函數(shù)。在一個(gè)實(shí)施例中，運(yùn)動(dòng)比特計(jì)算在3行乘以5個(gè)像素大小的滑動(dòng)窗上操作。它要求時(shí)間拍(temporaltap)，即，從到來的場(chǎng)中取出15個(gè)數(shù)據(jù)值并從前一場(chǎng)(相隔一幀)中取出15個(gè)數(shù)據(jù)值。計(jì)算15個(gè)值的平均絕對(duì)偏差(MAD)。MAD值隨后與7個(gè)寄存器可編程閾值作比較來量化運(yùn)動(dòng)級(jí)別。這給我們3比特的運(yùn)動(dòng)信息，其中"000"表示像素是靜止的，"111"表示像素處于高度運(yùn)動(dòng)中，平衡值表示中間的運(yùn)動(dòng)級(jí)別。這些運(yùn)動(dòng)比特隨后可被提供到空-時(shí)(ST)混合器(710)。ST混合器(710)基于運(yùn)動(dòng)比特來給SNR(704)的輸出及TNR(708)的輸出分配權(quán)重?；旌掀鬏敵龅墓桨聪率浇o出We/irfot^-加J柳卯/+(，—nt)-JMowf(公式7)這里，"m"表示運(yùn)動(dòng)量。在一個(gè)實(shí)施例中，m的值以1/8的步長(zhǎng)位于0/8到7/8的范圍內(nèi)。表2總結(jié)了運(yùn)動(dòng)比特和混合因子之間的關(guān)系。運(yùn)動(dòng)比特SNR權(quán)重因子(m)TNR權(quán)重因子(l_m)0000/88/80011/87/80102/86/80113/85/81004/84/81015/83/81106/82/81117/81/8表2:運(yùn)動(dòng)比特和混合因子之間的關(guān)系超越混合SNR(704)和TNR(708)的輸出的能力的是重新配置視頻降噪器(700)的體系結(jié)構(gòu)來優(yōu)化噪聲降低的能力。通過對(duì)寄存器位(algo_sel)進(jìn)行編程，該體系結(jié)構(gòu)可以令SNR(704)禾nTNR(708)處于級(jí)聯(lián)或并聯(lián)操作模式。例如，當(dāng)"algo—sd=0"時(shí)，使用復(fù)用器(706、712)選擇級(jí)聯(lián)操作模式，當(dāng)"algo—sel=1"時(shí)，選擇并聯(lián)操作模式。級(jí)聯(lián)體系結(jié)構(gòu)的z域輸出公式可以寫成r(g》"，，,，、(公式8)在公式8中，"beta"為受運(yùn)動(dòng)比特控制的遞歸系數(shù)，I,(z)為SNR(704)的輸出。運(yùn)動(dòng)比特遞歸系數(shù)("beta")000(靜止像素)7/80016/8<table>tableseeoriginaldocumentpage14</column></row><table>表3:運(yùn)動(dòng)比特-"beta"映射示例性運(yùn)動(dòng)比特-"beta"映射示于表3。從表3中可以看出，若像素屬于視頻幀的靜止區(qū)域，則遞歸值被設(shè)為最大從而在靜止區(qū)域給予最大量的噪聲降低。但是當(dāng)像素最大限度地運(yùn)動(dòng)時(shí)，遞歸系數(shù)"beta"被設(shè)為"0/8"從而造成繞開TNR的效果。這是希望得到的效果，因?yàn)楫?dāng)物體運(yùn)動(dòng)時(shí)，任何數(shù)量的時(shí)間遞歸都可能引入重影失真。級(jí)聯(lián)體系結(jié)構(gòu)存在兩種可能的缺點(diǎn)。級(jí)聯(lián)體系結(jié)構(gòu)可能在靜止區(qū)域?qū)е虏槐匾哪：?，并且由于運(yùn)動(dòng)比特控制反饋遞歸系數(shù)，因此遞歸引擎即使在到來的視頻本質(zhì)上純凈(不含高斯噪聲)時(shí)也工作，并可能在場(chǎng)景的中度運(yùn)動(dòng)區(qū)域?qū)е露嘤嗟闹赜笆д妗＜?jí)聯(lián)體系結(jié)構(gòu)導(dǎo)致大量的噪聲降低，因?yàn)閳D像首先被SNR(704)過濾然后過濾后的圖像通過TNR(708)。當(dāng)處理類似蚊狀噪聲的壓縮失真以及塊狀失真的移除(見圖5和圖6)時(shí)或者當(dāng)?shù)絹淼囊曨l中噪聲級(jí)別高時(shí)，這種大量平滑有時(shí)是令人滿意的。在并聯(lián)體系結(jié)構(gòu)中，SNR(704)和TNR(708)并列設(shè)置。其輸出隨后使用上述ST混合器(710)來混合。該結(jié)構(gòu)導(dǎo)致高斯噪聲的去除同時(shí)保留圖像細(xì)節(jié)。在并聯(lián)體系結(jié)構(gòu)中，當(dāng)圖像是靜止的時(shí)，TNR(708)的輸出變?yōu)樽罱K輸出，當(dāng)圖像是運(yùn)動(dòng)的時(shí)，SNR(704)的輸出變?yōu)樽罱K輸出。對(duì)于中間的運(yùn)動(dòng)情況，基于運(yùn)動(dòng)比特的SNR和TNR輸出的加權(quán)平均變?yōu)樽罱K輸出。并聯(lián)結(jié)構(gòu)的輸出公式(z域)可以寫成y(g)=附'+(i-柳)',""~^.(公式s)在公式9中，根據(jù)一個(gè)實(shí)施例，"m"表示運(yùn)動(dòng)比特且其值以1/8的步長(zhǎng)位于從0/8到7/8的范圍內(nèi)。"beta"表示反饋因子?！?z)為SNR塊的輸出。如上所述，并聯(lián)結(jié)構(gòu)可以是用于降低AWGN而不退化圖像質(zhì)量的方法。然而，在諸如來自模擬電纜或網(wǎng)上視頻("IP視頻")的高度壓縮的視頻及其他采用高壓縮率的應(yīng)用之類的情況下，存在嚴(yán)重的壓縮失真，這些失真最好通過采用大量空間濾波的級(jí)聯(lián)結(jié)構(gòu)來處理。該體系結(jié)構(gòu)的可重新配置性允許軟件或另一電路針對(duì)每個(gè)輸入源選項(xiàng)或者甚至針對(duì)每一幀來動(dòng)態(tài)地選擇最佳的結(jié)構(gòu)。一旦視頻信號(hào)被SNR(704)和TNR(708)處理并被ST混合器(714)混合，視頻信號(hào)便由膚色檢測(cè)(FTD)模塊(714)處理。若噪聲降低己在皮膚區(qū)域中完成，則這些區(qū)域本質(zhì)上顯得稍微柔和一些。在視頻領(lǐng)域，膚色的外觀是最重要的目視校準(zhǔn)標(biāo)準(zhǔn)之一。通常，人們希望盡可能地保留皮膚區(qū)域的外觀。在這些區(qū)域中，一定量噪聲的存在比令這些區(qū)域不含噪聲而損失類似皮膚的毛孔或弄臟的胡須之類的微小細(xì)節(jié)更理想。因此，視頻降噪器(700)在圖像中檢測(cè)屬于皮膚或肌肉區(qū)域的像素并允許它們不經(jīng)歷噪聲降低而直接傳遞到輸出處。由于皮膚和非皮膚區(qū)域之間的二進(jìn)制切換可能在皮膚邊界附近產(chǎn)生可見失真，因此FTD混合器(716)操作以基于膚色度(degreeofskintone)來平滑這些區(qū)域?；谀w色量用于己過濾和未過濾像素的示例性混合因子在表4中給出。<table>tableseeoriginaldocumentpage15</column></row><table>表4:基于檢測(cè)到的膚色量的己過濾和未過濾像素的混合因子使用類似于表4所示的那些混合因子的混合因子在降低視頻信號(hào)中出現(xiàn)的噪聲的同時(shí)允許圖像的膚色被保留。FTD混合器(716)的輸出被提供給場(chǎng)存儲(chǔ)器(718、720)并被提供到輸出處用于進(jìn)一步處理。在圖7的示例中，該輸出被提供給3D解交錯(cuò)模塊(722)以便可以采用3D解交錯(cuò)。遞歸數(shù)據(jù)從場(chǎng)存儲(chǔ)器(718、720)提供，以供在時(shí)域處理視頻信號(hào)、確定運(yùn)動(dòng)比特以及在時(shí)域估計(jì)噪聲?？沼蚝蜁r(shí)域兩者中的噪聲估計(jì)由空間噪聲估計(jì)器(726)和時(shí)間噪聲估計(jì)器(728)執(zhí)行。可以使用兩種用于噪聲估計(jì)的方法中的任一種，而另一種方法使用這兩種噪聲估計(jì)方法并基于適當(dāng)標(biāo)準(zhǔn)來組合結(jié)果。一種有效的標(biāo)準(zhǔn)是將兩個(gè)噪聲估計(jì)的較大者用作對(duì)實(shí)際噪聲方差(variance)的保守估計(jì)?？臻g噪聲估計(jì)器(726)接收有噪輸入視頻信號(hào)(in—noise)作為輸入。暫轉(zhuǎn)向圖11，根據(jù)本發(fā)明示出用于空間噪聲估計(jì)器的示例性框圖。信號(hào)加噪聲數(shù)據(jù)隨后被供應(yīng)到邊緣自適應(yīng)視頻空間濾波器(如上所述)。在濾波器的輸出處，獲得降低了噪聲的信號(hào)。輸入的有噪信號(hào)(in—noise)被減去邊緣自適應(yīng)視頻濾波器的輸出，導(dǎo)致噪聲分量的計(jì)算和一定量的圖像泄漏。差值信號(hào)的絕對(duì)值隨后被供應(yīng)到塊處理單元。塊處理單元的輸出給出空間噪聲估計(jì)值(sigma—spat或cjs)。在塊處理模塊中，場(chǎng)數(shù)據(jù)被子劃分成32X16大小的塊。每塊的平均絕對(duì)偏差值被計(jì)算并存儲(chǔ)。在場(chǎng)的末尾，所有平均絕對(duì)偏差的最小值被當(dāng)作高斯噪聲的空間估計(jì)。時(shí)間噪聲估計(jì)器(728)與空間噪聲估計(jì)器(726)類似。時(shí)間噪聲估計(jì)器(728)從即時(shí)到來(liveincoming)的場(chǎng)及一幀延遲版本的數(shù)據(jù)的輸入中估計(jì)時(shí)間噪聲。該一幀延遲版本的數(shù)據(jù)來自場(chǎng)存儲(chǔ)器(720)。由于視頻降噪器(700)的輸出被存儲(chǔ)在場(chǎng)存儲(chǔ)器中，因此回送到時(shí)間噪聲估計(jì)器的數(shù)據(jù)是過濾了噪聲且延遲了幀的視頻數(shù)據(jù)。即時(shí)到來的場(chǎng)數(shù)據(jù)和延遲了一幀的數(shù)據(jù)被供應(yīng)到時(shí)間噪聲估計(jì)器(728)。暫轉(zhuǎn)向圖12，根據(jù)本發(fā)明示出用于時(shí)間噪聲估計(jì)器的示例性框圖。絕對(duì)差值被計(jì)算，然后被供應(yīng)到塊處理單元。該塊處理單元與為空間噪聲估計(jì)器(726)描述的塊處理單元相同。塊處理單元的最終輸出是時(shí)間噪聲估計(jì)值(Sigma—Temporal或cit)。一旦噪聲估計(jì)(cjs，cjt)被空間噪聲估計(jì)器(726)和時(shí)間噪聲估計(jì)器(728)確定，所述估計(jì)便可被噪聲組合器(730)組合。噪聲組合器(730)將兩個(gè)噪聲估計(jì)組合為組合的噪聲估計(jì)(crest)。組合的噪聲估計(jì)(crest)隨后可被輸入到噪聲-閾值映射模塊(732)和噪聲-beta映射模塊(734)。這些模塊針對(duì)視頻信號(hào)中可能遇到的各種噪聲級(jí)別來確定需要分別被提供給SNR(704)和TNR(708)的snr—th和beta的級(jí)別。除了噪聲估計(jì)器(726,728)，視頻降噪器(700)還包括高斯噪聲注入器(702)。高斯噪聲注入器(702)的目的是評(píng)價(jià)視頻降噪器(700)的性能，具體而言是評(píng)價(jià)噪聲估計(jì)器(726，728)的性能。片上噪聲注入器對(duì)于將視頻降噪器的性能有效地演示給客戶而無需額外的噪聲注入器也是有幫助的。片上噪聲注入器本質(zhì)上是可編程的，意味著可以精確地控制應(yīng)該給到來的視頻數(shù)據(jù)進(jìn)行多大量的噪聲注入(就sigma而言)。在一個(gè)實(shí)施例中，支持的注入噪聲值的范圍以1的步長(zhǎng)從"sigma=0"到"sigma=31"。在另一實(shí)施例中，高斯噪聲注入器是基于Box-Muller的噪聲生成方法的。偽隨機(jī)數(shù)易于使用基于我們想要生成的位數(shù)的線性反饋移位寄存器(LFSR)和多項(xiàng)式公式以硬件形式生成。為了最大化生成的偽隨機(jī)數(shù)的重復(fù)，要求正確的多項(xiàng)式公式的實(shí)現(xiàn)。生成的偽隨機(jī)數(shù)隨后被供應(yīng)到"sqrt-log(開方-對(duì)數(shù))"査找表和"sin(正弦)""cos(余弦)"查找表。查找表的值隨后被乘以所需的標(biāo)準(zhǔn)偏差值以得到最終的偽隨機(jī)數(shù)。最終的數(shù)"XI"和"X2"具有高斯性質(zhì)。通過包含高斯噪聲注入器(702)，空間和時(shí)間噪聲估計(jì)器二者的性能可以被測(cè)量。這種設(shè)置的另一個(gè)優(yōu)點(diǎn)是無需片外噪聲注入器來校準(zhǔn)。通過為到來的純凈視頻數(shù)據(jù)提供已知量的噪聲，由空間和時(shí)間噪聲注入器提供的測(cè)量可以被確認(rèn)。在圖7示出的實(shí)施例中，視頻降噪器(700)的輸出被示為包含3D解交錯(cuò)模塊(722)。敘述3D解交錯(cuò)模塊(722)(不是視頻降噪器的操作所必需的)的原因是為了說明因?yàn)橐曨l降噪器(700)設(shè)計(jì)的原因而可用的硬件優(yōu)化。解交錯(cuò)是將交錯(cuò)的場(chǎng)數(shù)據(jù)轉(zhuǎn)換成逐行幀數(shù)據(jù)的處理。因?yàn)楫?dāng)今的數(shù)字電視具有顯示逐行圖像的能力，解交錯(cuò)模塊是十分常見的視頻處理塊之一。3D解交錯(cuò)模塊(722)還可以在空-時(shí)域操作。3D解交錯(cuò)模塊(722)從相鄰場(chǎng)和中心場(chǎng)尋找數(shù)據(jù)來創(chuàng)建遺漏行(missingline)的像素的信息。由于3D解交錯(cuò)模塊(722)作用于3場(chǎng)數(shù)據(jù)，因此其也需要場(chǎng)存儲(chǔ)器。通過視頻降噪器(700)在3D解交錯(cuò)模塊(722)之前的有效放置，相同的場(chǎng)存儲(chǔ)器可用于獲取高斯噪聲降低及解交錯(cuò)功能。通過這種共享，SDRAM空間要求和數(shù)據(jù)傳送帶寬二者被有效地減半。雖然已描述了解交錯(cuò)的輸入流結(jié)構(gòu)，但是視頻降噪器(700)既能支持交錯(cuò)的輸入流，也能支持逐行的輸入流。在另一實(shí)施例中，可以提供以硬件形式或者通過固件來控制噪聲降低環(huán)參數(shù)的選擇，允許視頻降噪器為"自適應(yīng)的"。如上所述，SNR閾值和TNRbeta可以是到來的視頻中存在的噪聲量的函數(shù)。同樣，噪聲估計(jì)器的值可以反映在狀態(tài)寄存器上，進(jìn)而狀態(tài)寄存器可以被固件讀取。由于SNR閾值(snr—th)禾BTNRbeta還是(經(jīng)由主機(jī)接口)可以通過寄存器來編程的，因此可以通過固件形式關(guān)閉環(huán)。然而，這可能讓CPU忙個(gè)不停。作為替代，可以通過硬件形式在估計(jì)的噪聲值和環(huán)參數(shù)(SNR閾值和TNRbeta)之間關(guān)閉環(huán)。以硬件形式或者通過固件來關(guān)閉環(huán)的選擇可以通過對(duì)寄存器的位進(jìn)行編程來控制。因此，板子設(shè)計(jì)者具有以硬件形式或以軟件形式關(guān)閉環(huán)的選擇。上述說明、示例和時(shí)間提供了對(duì)本發(fā)明的組成的制造和使用的完整描述。由于可以在不脫離本發(fā)明的精神和范圍的前提下做出本發(fā)明的很多實(shí)施例，因此本發(fā)明的權(quán)利歸于后面所附的權(quán)利要求。權(quán)利要求1.一種裝置，包括空間降噪器，被設(shè)置成在空間域降低視頻信號(hào)中的噪聲失真；時(shí)間降噪器，被設(shè)置成在時(shí)間域降低視頻信號(hào)中的噪聲失真，其中所述空間降噪器和所述時(shí)間降噪器在被選擇為并聯(lián)結(jié)構(gòu)時(shí)以并聯(lián)結(jié)構(gòu)設(shè)置，并在被選擇為級(jí)聯(lián)結(jié)構(gòu)時(shí)以級(jí)聯(lián)結(jié)構(gòu)設(shè)置；噪聲估計(jì)器，被設(shè)置成估計(jì)與所述視頻信號(hào)相關(guān)的噪聲級(jí)別，并提供對(duì)應(yīng)于所述噪聲級(jí)別估計(jì)的輸出，其中從所述噪聲級(jí)別估計(jì)中確定的參數(shù)被提供到所述空間降噪器和所述時(shí)間降噪器以優(yōu)化所述噪聲失真的降低。2.如權(quán)利要求1所述的裝置，還包括噪聲注入器，所述噪聲注入器被設(shè)置成將預(yù)定級(jí)別的噪聲注入到所述視頻信號(hào)中，使得所述噪聲級(jí)別估計(jì)從所述預(yù)定級(jí)別的噪聲被校準(zhǔn)。3.如權(quán)利要求1所述的裝置，還包括至少一個(gè)場(chǎng)存儲(chǔ)器，所述場(chǎng)存儲(chǔ)器被設(shè)置成為所述時(shí)間降噪器和所述噪聲估計(jì)器提供遞歸數(shù)據(jù)。4.如權(quán)利要求3所述的裝置，其中所述場(chǎng)存儲(chǔ)器被解交錯(cuò)模塊共享。5.如權(quán)利要求l所述的裝置，還包括亮色運(yùn)動(dòng)引擎，所述亮色運(yùn)動(dòng)引擎被配置成根據(jù)幀之間出現(xiàn)的亮度和色度值的差別來確定所述視頻信號(hào)中像素的運(yùn)動(dòng)級(jí)別。6.如權(quán)利要求5所述的裝置，還包括向空-時(shí)混合器提供像素的所述運(yùn)動(dòng)級(jí)別，使得來自所述空間降噪器和所述時(shí)間降噪器的輸出依據(jù)每個(gè)像素的所述運(yùn)動(dòng)級(jí)別在每像素的基礎(chǔ)上被混合。7.如權(quán)利要求l所述的裝置，還包括膚色確定模塊，其中像素中的膚色量被確定，以便當(dāng)一個(gè)像素被確定與膚色相對(duì)應(yīng)時(shí)，所述空間降噪器和所述時(shí)間降噪器有效地跳過該像素。8.如權(quán)利要求7所述的裝置，還包括膚色確定混合器，其中由所述膚色確定模塊提供的信號(hào)被用于在所述空間降噪器和所述時(shí)間降噪器的輸出的混合及所述視頻信號(hào)之間進(jìn)行混合，以便膚色保留與噪聲降低相平衡。9.如權(quán)利要求l所述的裝置，其中當(dāng)所述視頻信號(hào)中所述噪聲級(jí)別的主要部分歸因于高斯噪聲時(shí)選擇所述并聯(lián)結(jié)構(gòu)。10.如權(quán)利要求1所述的裝置，其中當(dāng)所述視頻信號(hào)中所述噪聲級(jí)別的一部分歸因于壓縮失真時(shí)選擇所述級(jí)聯(lián)結(jié)構(gòu)。11.如權(quán)利要求1所述的裝置，其中所述噪聲估計(jì)器還包括空間噪聲估計(jì)器和時(shí)間噪聲估計(jì)器。12.如權(quán)利要求1所述的裝置，其中所述空間降噪器、所述時(shí)間降噪器和所述噪聲估計(jì)器被包含在適合于以硬件和硬件及固件的組合中的至少一種形式來實(shí)現(xiàn)的視頻降噪器中。13.—種用于降低視頻信號(hào)中的噪聲的方法，所述方法包括接收視頻信號(hào)；選擇性地通過級(jí)聯(lián)結(jié)構(gòu)和并聯(lián)結(jié)構(gòu)之一來設(shè)置空間降噪器和時(shí)間降噪器以處理所述視頻信號(hào)；估計(jì)與所述視頻信號(hào)相關(guān)的噪聲級(jí)別；為所述視頻信號(hào)中的每個(gè)像素確定運(yùn)動(dòng)級(jí)別；當(dāng)選擇了所述并聯(lián)結(jié)構(gòu)時(shí)，用所述空間降噪器和所述時(shí)間降噪器兩者處理所述視頻信號(hào)以降低所述視頻信號(hào)中的噪聲失真；基于針對(duì)每個(gè)像素檢測(cè)到的所述運(yùn)動(dòng)級(jí)別來混合所述空間降噪器和所述時(shí)間降噪器的輸出；以及當(dāng)選擇了所述級(jí)聯(lián)結(jié)構(gòu)時(shí)，用所述空間降噪器然后用所述時(shí)間降噪器來處理所述視頻信號(hào)以降低所述視頻信號(hào)中的噪聲失真。14.如權(quán)利要求13所述的方法，其中由所述空間降噪器和所述時(shí)間降噪器進(jìn)行的噪聲降低的程度各與所述噪聲級(jí)別估計(jì)有關(guān)。15.如權(quán)利要求13所述的方法，還包括將噪聲注入到所述視頻信號(hào)中以校準(zhǔn)所述噪聲級(jí)別的估計(jì)和測(cè)試視頻降噪器的性能。16.如權(quán)利要求13所述的方法，還包括確定所述視頻信號(hào)中的像素是否與膚色相關(guān)和避免對(duì)那些像素的噪聲降低。17.如權(quán)利要求13所述的方法，還包括根據(jù)所述對(duì)視頻信號(hào)中的像素是否與膚色相關(guān)的確定，在所述空間降噪器和所述時(shí)間降噪器的輸出的混合及所述視頻信號(hào)之間進(jìn)行混合，以便膚色保留與噪聲降低相平衡。18.如權(quán)利要求13所述的方法，還包括在場(chǎng)存儲(chǔ)器中存儲(chǔ)所述視頻信號(hào)的初始幀，使得來自所述視頻信號(hào)的初始幀的數(shù)據(jù)可用于與所述視頻信號(hào)的下一幀進(jìn)行比較。19.如權(quán)利要求18所述的方法，還包括設(shè)置所述場(chǎng)存儲(chǔ)器使得所述場(chǎng)存儲(chǔ)器可用于降低所述視頻信號(hào)中的噪聲以及解交錯(cuò)所述視頻信號(hào)。20.—種視頻降噪器，包括噪聲注入裝置，被設(shè)置成當(dāng)做出校準(zhǔn)所述視頻降噪器的選擇時(shí)，將噪聲注入到接收的視頻信號(hào)中；噪聲估計(jì)裝置，被設(shè)置成估計(jì)與所述視頻信號(hào)相關(guān)的噪聲級(jí)別；空間噪聲降低裝置，被設(shè)置成依據(jù)所述噪聲估計(jì)裝置的輸出在空間域降低所述視頻信號(hào)中的噪聲失真；時(shí)間噪聲降低裝置，被設(shè)置成依據(jù)所述噪聲估計(jì)裝置的輸出在時(shí)間域降低所述視頻信號(hào)中的噪聲失真；配置裝置，被設(shè)置成選擇性地以級(jí)聯(lián)結(jié)構(gòu)或并聯(lián)結(jié)構(gòu)之一配置所述空間噪聲降低裝置和所述時(shí)間噪聲降低裝置；運(yùn)動(dòng)級(jí)別確定裝置，被設(shè)置成為所述視頻信號(hào)中的每個(gè)像素確定運(yùn)動(dòng)級(jí)別；以及混合裝置，被設(shè)置成根據(jù)所述運(yùn)動(dòng)級(jí)別確定裝置的輸出來混合所述空間噪聲降低裝置和所述時(shí)間噪聲降低裝置的輸出。全文摘要一種視頻降噪器降低視頻信號(hào)中的噪聲失真(artifacts)。視頻降噪器可重新配置以通過并聯(lián)或串聯(lián)結(jié)構(gòu)提供空間噪聲降低和時(shí)間噪聲降低。通過提供估計(jì)視頻信號(hào)中的噪聲量的估計(jì)模塊和對(duì)照已知噪聲量確認(rèn)測(cè)量的噪聲注入器，視頻降噪器是自校準(zhǔn)的。視頻降噪器適用于硬件或硬件和固件的組合形式的解決方案。視頻降噪器還針對(duì)交錯(cuò)的(interlaced)視頻信號(hào)處理應(yīng)用中的有效內(nèi)存使用進(jìn)行了優(yōu)化。文檔編號(hào)H04N17/00GK101427560SQ200780012641公開日2009年5月6日申請(qǐng)日期2007年4月5日優(yōu)先權(quán)日2006年4月7日發(fā)明者尼克希爾·巴拉姆,巴拉特·帕薩克申請(qǐng)人:馬維爾國際貿(mào)易有限公司