專利名稱：一種噪聲強(qiáng)度自適應(yīng)的視頻去噪方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理領(lǐng)域，特別涉及一種能嵌入于視頻編碼器、噪聲強(qiáng)度自適應(yīng)的視頻圖像噪聲抑制方法。
背景技術(shù)：
視頻監(jiān)控系統(tǒng)要求攝像機(jī)不間斷地采集視頻圖像。在視頻圖像的獲取過程中，由于成像設(shè)備的缺陷或成像過程中一些難以預(yù)測的因素，不可避免地會(huì)引入各種類型的噪聲。噪聲的存在，不僅會(huì)降低視覺意義上的圖像質(zhì)量，更重要的，對后續(xù)的處理過程產(chǎn)生影響。由(XD、CMOS攝像機(jī)等成像設(shè)備所獲取的視頻信號可以建模成理想視頻疊加了噪聲信號，即=ik(x,y) =&0^，7) + 111;0^7)，其中&0^7)是理想視頻信號，nk(x,y)是噪聲項(xiàng)，通常假設(shè)為獨(dú)立于信號、均值為零、方差為Q2的Gaussian白噪聲。噪聲方差是反映噪聲強(qiáng)度的一個(gè)重要參數(shù)，噪聲強(qiáng)度越大，則噪聲信號的方差越大。對H. 264, MPEG等視頻編碼應(yīng)用而言，不僅希望能盡可能地去除噪聲信號，避免把碼流分配給不產(chǎn)生真實(shí)視覺信息的噪聲信號，而且要求降噪處理不會(huì)引入諸如邊緣模糊、 運(yùn)動(dòng)模糊等圖像質(zhì)量下降的副作用。進(jìn)一步地，視頻監(jiān)控等大量的應(yīng)用具有實(shí)時(shí)處理的要求，所采用的降噪技術(shù)應(yīng)該具有較好的時(shí)間效率。按支撐域的不同，現(xiàn)有的濾波去噪技術(shù)可以分為兩大類1_D時(shí)間域?yàn)V波和3-D時(shí)空濾波。由于綜合利用了幀內(nèi)和幀間的相關(guān)信息，時(shí)空濾波器具有比I-D濾波器更好的性能。按是否采用運(yùn)動(dòng)補(bǔ)償技術(shù)，可以將時(shí)空濾波器分為無運(yùn)動(dòng)補(bǔ)償濾波和運(yùn)動(dòng)補(bǔ)償濾波。由于無需作費(fèi)時(shí)且耗費(fèi)存儲資源的運(yùn)動(dòng)估計(jì)，無運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)空濾波具有比運(yùn)動(dòng)補(bǔ)償濾波更好的時(shí)間效率和存儲效率。無運(yùn)動(dòng)補(bǔ)償?shù)臑V波器，通過運(yùn)動(dòng)檢測將整個(gè)圖像區(qū)分為運(yùn)動(dòng)區(qū)域和靜止區(qū)域，在不同的區(qū)域采用不同的濾波方案?，F(xiàn)有的運(yùn)動(dòng)檢測技術(shù)可以分成兩大類基于像素的算法和基于區(qū)域的算法。前者在像素的層面上作靜止或運(yùn)動(dòng)的判斷，所需的計(jì)算量較少。缺陷是這類算法對噪聲、光強(qiáng)的變化、以及攝像機(jī)的抖動(dòng)很敏感?；趨^(qū)域的算法在區(qū)域的層面上作灰度分布差異的判斷。這類算法具有較好的抗噪聲能力，但由于只考慮灰度，所以它們對光照的瞬時(shí)變化很敏感，也無法區(qū)分由于投射陰影引起的虛假移動(dòng)對象。文獻(xiàn)“Image Change Detection Algorithms :A Systematic Survey" (Radke R. J.等，IEEE Trans. Image Processing, 2005)作了綜述。感知噪聲信號的強(qiáng)弱，以自適應(yīng)的形式對不同強(qiáng)度的噪聲設(shè)置合適的濾波支撐域和濾波系數(shù)是一個(gè)好的降噪系統(tǒng)需要具備的能力。由于噪聲是一種隨機(jī)信號，所以只能通過包含噪聲的觀察視頻來估計(jì)噪聲信號的數(shù)字特征(如噪聲方差、標(biāo)準(zhǔn)差等)?，F(xiàn)有的噪聲方差估計(jì)算法可以分成兩大類圖像內(nèi)方法和圖像間方法?？紤]到對于大部分圖像，或多或少存在一些灰度均勻的區(qū)域。文獻(xiàn)“Fast and Reliable Structure-Oriented Video Noise Estimation，，(Amer A. , Dubois E. IEEETrans. Circuits Syst. Video Technol. ,2005)提出了一種基于分塊、可靠的噪聲強(qiáng)度估計(jì)算法。他們的算法使用對應(yīng)二階差分的模板檢測線型結(jié)構(gòu)，選擇那些具有均勻灰度的圖像塊計(jì)算方差，以這些方差值的平均值作為圖像噪聲方差。顯然，這種估計(jì)方法無法利用編碼器產(chǎn)生的信息，需要以獨(dú)立模塊的形式存在，需要引入較多的額外計(jì)算代價(jià)。美國專利(^91842將圖像劃分成固定尺寸的子塊。由當(dāng)前幀和參考幀計(jì)算每個(gè)塊的幀差圖像，且在塊的層面上計(jì)算幀差數(shù)據(jù)的方差值。在所有塊的方差數(shù)據(jù)中，選擇若干個(gè)較小的值作為樣本來估計(jì)噪聲方差。這種估計(jì)方法需要有先驗(yàn)知識來指導(dǎo)怎樣的塊能被選擇參與估計(jì)運(yùn)算，而且這種選擇將很大程度上決定最后的估計(jì)是否準(zhǔn)確。以濾波器的形式對視頻圖像進(jìn)行噪聲抑制，通常需要對圖像中的每個(gè)像素定義一個(gè)時(shí)空支撐域，利用支撐域內(nèi)的像素觀察值來估計(jì)該像素的理想信號值。對于濾波器而言， 有兩個(gè)關(guān)鍵因素支撐域的定義和對應(yīng)各個(gè)像素的濾波系數(shù)設(shè)定?？刹捎枚喾N不同的技術(shù)來自適應(yīng)地確定濾波系數(shù)，如時(shí)空自適應(yīng)線性最小均方差濾波器(LMMSE，Linear Minimum Mean Square Error)、自適應(yīng)力口權(quán)平均濾波器(AWA, Adaptive Weighted Averaging)等。

發(fā)明內(nèi)容
本發(fā)明提供一種以視頻監(jiān)控為應(yīng)用背景，嵌入在編碼器的視頻噪聲估計(jì)和抑制技術(shù)。所提供的技術(shù)以宏塊的DCT系數(shù)的分布為依據(jù)判斷是否為靜態(tài)區(qū)域，選用位于靜態(tài)區(qū)域的圖像子塊估計(jì)噪聲的強(qiáng)度。在此基礎(chǔ)上實(shí)現(xiàn)基于運(yùn)動(dòng)檢測、噪聲強(qiáng)度自適應(yīng)的去噪濾波。本發(fā)明以機(jī)器學(xué)習(xí)的方式建立用來判斷圖像子塊是否位于靜態(tài)區(qū)域的分類器，在學(xué)習(xí)階段，計(jì)算幀差圖像，且劃分成8X8的圖像塊；對這些子塊作DCT變換，向量形式的變換系數(shù)和相應(yīng)的對應(yīng)靜止或運(yùn)動(dòng)的標(biāo)號作訓(xùn)練樣本；利用AdaBoost技術(shù)選取有效的特征， 作為弱分類器；將若干個(gè)弱分類器組合成強(qiáng)分類器，且以級聯(lián)結(jié)構(gòu)的形式組織這些強(qiáng)分類器；在級聯(lián)結(jié)構(gòu)前端的分類器，由較少的弱分類器構(gòu)成，能排除較為明顯的動(dòng)態(tài)塊，保留所有的靜態(tài)塊；后續(xù)的分類器，其復(fù)雜程度逐個(gè)增加，以逐步排除那些與靜態(tài)塊區(qū)別不那么明顯的動(dòng)態(tài)塊；在降噪模塊中用學(xué)習(xí)所得的級聯(lián)形式的分類器判斷一個(gè)圖像子塊是否屬于靜態(tài)區(qū)域。本發(fā)明利用位于靜態(tài)區(qū)域的宏塊的各個(gè)DCT系數(shù)的分布參數(shù)估計(jì)噪聲強(qiáng)度，8X8 的圖像塊作DCT變換后有64個(gè)系數(shù)，這些系數(shù)被看作是隨機(jī)信號；對所有被選擇參與噪聲估計(jì)模型訓(xùn)練的子塊作如下的統(tǒng)計(jì)以經(jīng)過量化、離散形式的區(qū)間值為橫坐標(biāo)，某個(gè)指定位置的DCT系數(shù)落在該區(qū)間內(nèi)的頻度為縱坐標(biāo)，從而得到直方圖形式表示的DCT系數(shù)的分布 (對于8X8的塊大小設(shè)定，這樣的直方圖共64個(gè))；統(tǒng)計(jì)每個(gè)位置的系數(shù)分布參數(shù)，將噪聲信號的標(biāo)準(zhǔn)差值建模成以這些分布的特征為自變量的函數(shù)，以最小二乘法解得該函數(shù)模型的最優(yōu)解；這種噪聲強(qiáng)度估計(jì)算法嵌入在視頻編碼器內(nèi)，能避免估計(jì)視頻噪聲所引入的額外計(jì)算。針對視頻監(jiān)控等應(yīng)用，本發(fā)明作“視頻圖像中存在較多的靜態(tài)像素”的假設(shè)，以鄰域內(nèi)正則化幀差值之和Ak(p)作為判斷的依據(jù)，若像素ρ滿足靜態(tài)假設(shè)，則Ak(p)服從度為Nw的X2分布，根據(jù)不同的去噪等級設(shè)定可接受的虛警率，以顯著性檢測的方式確定閾值，若Ak(p)小于該閾值，則像素ρ被判定為靜態(tài)像素，否則被判定為動(dòng)態(tài)像素。
4
本發(fā)明所采用的噪聲抑制技術(shù)是基于運(yùn)動(dòng)檢測、噪聲強(qiáng)度自適應(yīng)的時(shí)空線性濾波；對于靜態(tài)像素和動(dòng)態(tài)像素，分別采用時(shí)間域?yàn)V波和時(shí)-空自適應(yīng)線性最小均方差濾波， 濾波系數(shù)根據(jù)噪聲強(qiáng)度和圖像局部特征自適應(yīng)地確定。本發(fā)明的有益技術(shù)效果是判定圖像子塊是否位于靜態(tài)區(qū)域、噪聲強(qiáng)度估計(jì)、像素點(diǎn)的分類等都嵌入在視頻編碼器內(nèi)，避免額外的計(jì)算代價(jià)，從而能有效地提高降噪系統(tǒng)的時(shí)間效率；考慮監(jiān)控視頻圖像存在大量靜態(tài)像素的特點(diǎn)，以魯棒的、基于像素局部鄰域特征的技術(shù)區(qū)分靜態(tài)像素和動(dòng)態(tài)像素，采用不同的濾波器對它們作降噪濾波。能在有效抑制噪聲的同時(shí)，很好地保持圖像的邊緣清晰度，避免運(yùn)動(dòng)模糊。


圖1為以Z字形掃描組織DCT系數(shù)的示意圖；圖2為本發(fā)明以級聯(lián)形式組織的分類器的示意圖；圖3為本發(fā)明以學(xué)習(xí)方式獲得DCT系數(shù)分布參數(shù)和視頻噪聲標(biāo)準(zhǔn)差的函數(shù)模型的流程框圖；圖4為視頻噪聲抑制具體實(shí)施方式
的框圖。
具體實(shí)施例方式8X8的幀差數(shù)據(jù)經(jīng)過DCT變換，得到如下的8X8DCT系數(shù)。
權(quán)利要求
1.一種基于運(yùn)動(dòng)檢測，噪聲強(qiáng)度自適應(yīng)的視頻數(shù)據(jù)去噪方法，其特征包括由DCT系數(shù)的分布估計(jì)噪聲強(qiáng)度，作為噪聲濾波的參數(shù)，且這種估計(jì)嵌入在視頻編碼器中進(jìn)行；針對視頻監(jiān)控的實(shí)際應(yīng)用，作“視頻圖像中存在較多的靜態(tài)像素”的假設(shè)，根據(jù)像素是否滿足靜態(tài)假設(shè)，選擇不同的濾波器作濾波處理，具體實(shí)現(xiàn)方法如下(1)以鄰域內(nèi)正則化幀差值之和Ak(P)作為判斷的依據(jù)，若像素P滿足靜態(tài)假設(shè)，則 Ak(P)服從度為Nw(等于窗口內(nèi)的像素?cái)?shù)目)的X2分布，根據(jù)不同的去噪等級設(shè)定可接受的虛警率，以顯著性檢測的方式確定閾值，若Ak(p)小于該閾值，則像素ρ被判定為靜態(tài)像素，否則被判定為動(dòng)態(tài)像素；(2)應(yīng)用于靜態(tài)像素的濾波器是一種時(shí)間域?yàn)V波器，濾波信號按下式計(jì)算 眾) = 眾)+(i—r)友(P，眾一 ι)其中g(shù)(P，k)為第k幀圖像，可為亮度分量或色度分量，γ為鄰域內(nèi)正則化幀差值之和與用于判定像素是否滿足靜態(tài)假設(shè)的閾值之比；(3)應(yīng)用于動(dòng)態(tài)像素的濾波器是一種時(shí)-空自適應(yīng)濾波器，濾波信號按下式計(jì)算其中σν2是視頻信號的噪聲方差，yg(p，k)為輸入信號的鄰域均值，σ〗(ρ,A:)為鄰域范圍內(nèi)的信號方差與視頻信號的噪聲方差之間的差值。
2.如權(quán)利要求1所述的嵌入在編碼器中的噪聲強(qiáng)度估計(jì)方法，其特征在于這種估計(jì)是基于DCT系數(shù)的分布的，在學(xué)習(xí)階段，選取那些處于靜態(tài)區(qū)域的圖像子塊計(jì)算DCT變換， 得到8X8的系數(shù)矩陣；對每個(gè)給定的位置，以經(jīng)過量化、離散形式的區(qū)間值為橫坐標(biāo)，所有訓(xùn)練樣本的DCT系數(shù)落在該區(qū)間內(nèi)的頻度為縱坐標(biāo)，得到直方圖形式表示的DCT系數(shù)的分布，且以拉普拉斯分布來近似描述；對于8 X 8的塊大小設(shè)定，共有64個(gè)這樣的直方圖，通過學(xué)習(xí)，建立噪聲信號的標(biāo)準(zhǔn)差和這些分布參數(shù)之間對應(yīng)關(guān)系的函數(shù)模型；在視頻去噪的應(yīng)用中，以DCT系數(shù)的分布參數(shù)作為輸入，使用訓(xùn)練所得的模型估計(jì)視頻噪聲強(qiáng)度。
3.如權(quán)利要求2所述的靜態(tài)區(qū)域圖像子塊的選取方法，其特征在于在學(xué)習(xí)階段，采集大量不同噪聲強(qiáng)度、不同場景的視頻，以人工的方式作是否是靜態(tài)塊的標(biāo)記；幀差圖像被劃分成8X8子塊作DCT變換，變換系數(shù)按Z字形掃描的方式排列，以這個(gè)排列中的單個(gè)元素值、近鄰的若干個(gè)元素之和為特征，產(chǎn)生用于分類的特征向量；選擇合適數(shù)量的靜態(tài)塊和動(dòng)態(tài)塊，組織成觀察向量，以AdaBoost算法選取特征且構(gòu)造級聯(lián)形式的強(qiáng)分類器；在后續(xù)降噪的應(yīng)用中，以相應(yīng)的特征作為輸入，級聯(lián)形式的分類器輸出對應(yīng)的類別標(biāo)記。
全文摘要
本發(fā)明公開了一種嵌入于編碼器、基于運(yùn)動(dòng)檢測、噪聲強(qiáng)度自適應(yīng)的視頻數(shù)據(jù)去噪方法，包括(1)以鄰域內(nèi)正則化幀差值之和為觀察值，將輸入像素分為靜態(tài)像素和動(dòng)態(tài)像素，對于兩類不同的像素，采用不同支撐域的濾波器，濾波系數(shù)根據(jù)噪聲強(qiáng)度和圖像局部特征自適應(yīng)地確定；(2)以單個(gè)DCT系數(shù)或多個(gè)DCT系數(shù)之和為特征，以AdaBoost為工具構(gòu)造級聯(lián)形式的分類器，應(yīng)用該分類器選取靜態(tài)塊；(3)建立視頻噪聲強(qiáng)度與靜態(tài)塊的DCT系數(shù)分布參數(shù)之間聯(lián)系的函數(shù)模型，利用該模型估計(jì)噪聲信號標(biāo)準(zhǔn)差。本發(fā)明所提供的嵌入在視頻編碼器中的噪聲強(qiáng)度估計(jì)和降噪技術(shù)，能以很少的計(jì)算代價(jià)獲得噪聲濾波所需的參數(shù)和信息，具有很好的時(shí)間效率；由于采用可靠的線索判斷像素是否符合靜態(tài)假設(shè)，本發(fā)明的濾波器能在有效地濾除噪聲的同時(shí)保持靜態(tài)圖像的邊緣清晰度，并避免在運(yùn)動(dòng)區(qū)域由于濾波引入的運(yùn)動(dòng)模糊。
文檔編號H04N7/26GK102368821SQ20111032083
公開日2012年3月7日 申請日期2011年10月20日 優(yōu)先權(quán)日2011年10月20日
發(fā)明者歐陽毅, 王勛, 陳衛(wèi)剛 申請人:浙江工商大學(xué)