一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻去噪方法
【專利摘要】本發(fā)明提供了一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，包括以下步驟：獲取當(dāng)前時(shí)刻待處理圖像幀，以及保存的已完成去噪處理的當(dāng)前幀之前的n幀圖像；對當(dāng)前時(shí)刻待處理圖像幀采用均值濾波器進(jìn)行預(yù)濾波處理；基于結(jié)構(gòu)張量，充分利用當(dāng)前時(shí)刻待處理圖像幀與前面相鄰圖像幀之間緊密的時(shí)空聯(lián)系，對當(dāng)前圖像幀進(jìn)行運(yùn)動估計(jì)；基于運(yùn)動估計(jì)結(jié)果，采用卡爾曼濾波方法在時(shí)域進(jìn)行降噪處理；采用維納濾波在空域進(jìn)行降噪處理；綜合兩個(gè)去噪圖像，加權(quán)獲得最終的去噪圖像。本發(fā)明通過上述方法能夠?qū)崿F(xiàn)大噪聲視頻的去噪處理，具有較好的去噪效果，而且由于沒有復(fù)雜的迭代計(jì)算，易于FPGA等硬件實(shí)現(xiàn)，進(jìn)而能夠?qū)崿F(xiàn)大噪聲視頻的實(shí)時(shí)去噪。
【專利說明】一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻去噪方法
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明屬于視頻處理領(lǐng)域，主要涉及視頻去噪，特指一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，可用于自然大噪聲視頻的實(shí)時(shí)去噪。
【背景技術(shù)】:
[0002]隨著數(shù)字光電成像技術(shù)的快速發(fā)展，數(shù)字光電成像設(shè)備已廣泛應(yīng)用于計(jì)算攝影、安防監(jiān)控、機(jī)器人導(dǎo)航以及軍事偵察等領(lǐng)域。通常，數(shù)字光電成像設(shè)備的傳感器都是由CCD或者CMOS構(gòu)成，在成像過程中，受光學(xué)噪聲、電阻和電容等元器件噪聲、傳感器噪聲、電路噪聲等影響，輸出的圖像會不可避免的包含有許多噪聲，這些噪聲不僅破壞了圖像的真實(shí)信息，還嚴(yán)重影響了圖像的視覺效果。隨著實(shí)際應(yīng)用要求的提高，數(shù)字光電成像設(shè)備也大量應(yīng)用于低照度環(huán)境，典型的應(yīng)用如安防監(jiān)控領(lǐng)域，在夜間等低照度環(huán)境下進(jìn)行監(jiān)控。然而，受低照度環(huán)境的影響，獲取的視頻受到嚴(yán)重的噪聲污染，視頻圖像如圖1所示，這極大地影響了實(shí)際的應(yīng)用。因此，對于這些包含噪聲的視頻圖像，需要進(jìn)行降噪處理，還原得到清晰的視頻圖像，以便進(jìn)行更高層次的處理操作。
[0003]目前，視頻的去噪方法主要按空域、時(shí)域以及變換域來進(jìn)行劃分。空域去噪方法只針對視頻的各幀圖像進(jìn)行去噪處理，較好的空域?yàn)V波方法有雙邊濾波方法[I]、非局部均值濾波方法[2]、稀疏表示下的去噪方法[3]等，對各幀圖像均能得到較好的去噪效果。其中，雙邊濾波是一種非線性的濾波方法，是結(jié)合圖像的空間鄰近度和像素值相似度的一種折中處理，同時(shí)考慮空域信息和灰度相似性，達(dá)到保邊去噪的目的。雙邊濾波方法具有簡單、迭代、局部的特點(diǎn)，能很好地保存圖像邊緣，但是由于保存了過多的高頻信息，對于彩色圖像里的高頻噪聲，雙邊濾波器不能夠干凈的濾掉，只能夠?qū)τ诘皖l信息進(jìn)行較好的濾波。非局部均值濾波方法是一種利用自然圖像自身存在大量的重復(fù)冗余信息特點(diǎn)，用非局部自相似性來抑制圖像噪聲的方法。計(jì)算圖像塊之間相似性的匹配過程是非局部均值方法的關(guān)鍵技術(shù)。雖然非局部均值濾波有優(yōu)異的去噪性能，但是過高的計(jì)算復(fù)雜度極大的限制了它的發(fā)展和應(yīng)用。由于信號稀疏表示的優(yōu)良特性，基于稀疏分解的圖像去噪也越來越受到人們的重視。由于稀疏分解可以保留最匹配原始圖像的有用信息而去除與信息無關(guān)的噪聲，因而可以用此方法來去除圖像中的隨機(jī)噪聲。雖然稀疏分解的理論研究很成功，但在實(shí)際應(yīng)用中很難推廣，影響其發(fā)展的最重要因素為稀疏分解的計(jì)算量十分巨大。
[0004]上述空域?yàn)V波方法除了自身存在的缺點(diǎn)外，共有的缺點(diǎn)是沒有充分利用時(shí)域信息，所以不能得到理想的濾波效果。但是傳統(tǒng)的時(shí)域?yàn)V波雖然考慮了視頻幀間的相關(guān)性，但只適用于靜止的環(huán)境，對于運(yùn)動物體會產(chǎn)生偽影、拖影等現(xiàn)象，新的時(shí)域?yàn)V波在原有算法的基礎(chǔ)上加入了運(yùn)動估計(jì)，基于視頻各巾貞圖像的運(yùn)動相關(guān)性，可以有效解決這些現(xiàn)象。
[0005]在變換域去噪方法中，較好的濾波方法有小波去噪方法[4]、三維塊匹配方法BM3D[5]等。從信號學(xué)的角度看，小波去噪是一個(gè)信號濾波的問題，而且盡管在很大程度上小波去噪可以看成是低通濾波，但是由于在去噪后還能成功地保留信號特征，所以又優(yōu)于傳統(tǒng)的低通濾波器。小波去噪實(shí)際上是特征提取和低通濾波功能的綜合。小波去噪方法包括三個(gè)基本的步驟:對含噪信號進(jìn)行小波變換；對變換得到的小波系數(shù)進(jìn)行某種處理，以去除其中包含的噪聲；對處理后的小波系數(shù)進(jìn)行小波逆變換，得到去噪后的信號。BM3D算法是基于塊匹配的三維變換域?yàn)V波方法。將圖像分成若干塊，然后對每個(gè)參考塊進(jìn)行搜索，在整幅圖像中搜索其相似塊。并根據(jù)塊的相似程度將匹配塊進(jìn)行組合形成一個(gè)三維矩陣。該矩陣的數(shù)據(jù)具有很高的相關(guān)性，通過三維酉變換可以有效地降低其相關(guān)性。同時(shí)，通過對變換域系數(shù)的濾波，可以大幅降低噪聲。
[0006]此外，根據(jù)視頻的時(shí)空特性，一些時(shí)空結(jié)合的濾波方法被提了出來，如時(shí)空雙邊濾波方法、視頻三維塊匹配方法VBM3D等，在一定程度上取得了較好的效果。
[0007]然而，受算法復(fù)雜度的影響，上述的這些濾波方法大部分都無法進(jìn)行實(shí)時(shí)應(yīng)用，如非局部均值濾波方法、稀疏表示下的去噪方法、BM3D以及VBM3D等。其他能滿足實(shí)時(shí)應(yīng)用的濾波方法，如時(shí)空雙邊濾波等，受去噪效果的限制，無法滿足大噪聲視頻的去噪要求。因此，針對安防監(jiān)控等領(lǐng)域的應(yīng)用需求，對低照度環(huán)境下的大噪聲進(jìn)行實(shí)時(shí)的降噪處理，已成為急需解決的問題。

【發(fā)明內(nèi)容】
:
[0008]針對上述現(xiàn)有技術(shù)存在的不能既實(shí)時(shí)又有效地對大噪聲視頻進(jìn)行降噪處理的問題，本發(fā)明提出一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，能夠?qū)σ曨l進(jìn)行實(shí)時(shí)地降噪處理，并且具有較好的去噪效果。
[0009]為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是:
[0010]一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，包括如下步驟:
[0011]步驟一:獲取當(dāng)前時(shí)刻待處理圖像幀，以及保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像，η為預(yù)先設(shè)置的整數(shù)值；
[0012]步驟二:采用均值濾波器對當(dāng)前時(shí)刻待處理圖像幀進(jìn)行預(yù)濾波處理；
[0013]步驟三:針對步驟二預(yù)濾波處理后的圖像和保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像，計(jì)算每幀圖像的結(jié)構(gòu)張量，然后分別計(jì)算當(dāng)前幀圖像與之前η幀圖像中每一幀圖像之間的結(jié)構(gòu)張量距離，再將這η個(gè)結(jié)構(gòu)張量的距離求平均值，這個(gè)平均值可作為當(dāng)前時(shí)刻待處理圖像幀的運(yùn)動估計(jì)值；
[0014]步驟四:根據(jù)步驟三得到的當(dāng)前時(shí)刻待處理圖像幀的運(yùn)動估計(jì)值建立卡爾曼濾波的運(yùn)動方差矩陣，在時(shí)間域上采用卡爾曼濾波方法對當(dāng)前時(shí)刻待處理圖像幀進(jìn)行降噪處理，得到卡爾曼濾波后的去噪圖像；
[0015]步驟五:在空間域上采用維納濾波器對當(dāng)前時(shí)刻待處理圖像幀進(jìn)行降噪處理，得到維納濾波后的去噪圖像；
[0016]步驟六:根據(jù)步驟三得到的當(dāng)前時(shí)刻待處理圖像幀中各像素點(diǎn)的運(yùn)動估計(jì)值計(jì)算其高斯權(quán)重值，結(jié)合步驟四得到的卡爾曼濾波后的去噪圖像以及步驟五得到的維納濾波后的去噪圖像，通過加權(quán)獲得最終的去噪圖像，并保存為當(dāng)前幀已完成去噪處理的圖像。
[0017]進(jìn)一步地，所述步驟一中保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像的初始值，即對于視頻圖像的第I幀至第η幀，將每一幀圖像的原始含噪圖像保存為其對應(yīng)的已完成去噪處理的圖像，其對應(yīng)的已完成去噪處理的圖像采用如下方式確定:
[0018](I)對于視頻圖像的第I幀，將該第I幀圖像的原始含噪圖像保存為其對應(yīng)的已完成去噪處理的圖像；
[0019](2)對于視頻圖像的第k幀，k為整數(shù)且l〈k ( η,將第I幀至第k_l幀已完成去噪處理的圖像作為所述步驟三中保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像，依次執(zhí)行步驟二至步驟六，得到第k幀對應(yīng)的已完成去噪處理的圖像。
[0020]進(jìn)一步地，所述步驟二中采用均值濾波器進(jìn)行濾波處理的具體方法為:對于當(dāng)前時(shí)刻待處理圖像幀中的每一個(gè)像素點(diǎn)(x，y)，選擇以該像素點(diǎn)為中心的大小為NXN的模板，求模板中所有像素的均值，再把該均值賦予當(dāng)前像素點(diǎn)(x，y)，作為處理后圖像在該點(diǎn)上的像素值V1U, y)，即:
【權(quán)利要求】
1.一種基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，包括如下步驟: 步驟一:獲取當(dāng)前時(shí)刻待處理圖像幀，以及保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像，η為預(yù)先設(shè)置的整數(shù)值； 步驟二:采用均值濾波器對當(dāng)前時(shí)刻待處理圖像幀進(jìn)行預(yù)濾波處理； 步驟三:針對步驟二預(yù)濾波處理后的圖像和步驟一保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像，計(jì)算每幀圖像的結(jié)構(gòu)張量，然后分別計(jì)算當(dāng)前幀圖像與之前η幀圖像中每一幀圖像之間的結(jié)構(gòu)張量距離，再將這η個(gè)結(jié)構(gòu)張量距離求平均值，該平均值作為當(dāng)前時(shí)刻待處理圖像幀的運(yùn)動估計(jì)值； 步驟四:根據(jù)步驟三得到的當(dāng)前時(shí)刻待處理圖像幀的運(yùn)動估計(jì)值建立卡爾曼濾波的運(yùn)動方差矩陣，在時(shí)間域上采用卡爾曼濾波方法對當(dāng)前時(shí)刻待處理圖像幀進(jìn)行降噪處理，得到卡爾曼濾波后的去噪圖像； 步驟五:在空間域上采用維納濾波器對當(dāng)前時(shí)刻待處理圖像幀進(jìn)行降噪處理，得到維納濾波后的去噪圖像； 步驟六:根據(jù)步驟三得到的當(dāng)前時(shí)刻待處理圖像幀中各像素點(diǎn)的運(yùn)動估計(jì)值計(jì)算其高斯權(quán)重值，結(jié)合步驟四得到的卡爾曼濾波后的去噪圖像以及步驟五得到的維納濾波后的去噪圖像，通過加權(quán)獲得最終的去噪圖像，并保存為當(dāng)前幀已完成去噪處理的圖像。
2.根據(jù)權(quán)利要求1所述基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，所述步驟一中保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像的初始值，即對于視頻圖像的第I幀至第η幀，將`每一幀圖像的原始含噪圖像保存為其對應(yīng)的已完成去噪處理的圖像，其對應(yīng)的已完成去噪處理的圖像采用如下方式確定: (1)對于視頻圖像的第I幀，將該第I幀圖像的原始含噪圖像保存為其對應(yīng)的已完成去噪處理的圖像； (2)對于視頻圖像的第k幀，k為整數(shù)且l〈k( n，將第I幀至第k-Ι幀已完成去噪處理的圖像作為所述步驟三中保存的已完成去噪處理的當(dāng)前幀之前的η幀圖像，依次執(zhí)行步驟二至步驟六，得到第k幀對應(yīng)的已完成去噪處理的圖像。
3.根據(jù)權(quán)利要求1所述基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，所述步驟二中采用均值濾波器進(jìn)行預(yù)濾波處理的具體方法為:對于當(dāng)前時(shí)刻待處理圖像幀中的每一個(gè)像素點(diǎn)(x，y)，選擇以該像素點(diǎn)為中心的大小為NXN的模板，求模板中所有像素的均值，再把該均值賦予當(dāng)前像素點(diǎn)(X，y)，作為處理后圖像在該點(diǎn)上的像素值V1 (X，y),即:

Ar-1 N-1
ΣΣμ，./)
N— 其中VciUy)為待處理圖像在該模板中處的像素值。
4.根據(jù)權(quán)利要求1所述基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，所述步驟三中的每幀圖像的結(jié)構(gòu)張量采用的是黎曼空間(Riemannian space),黎曼空間中線性結(jié)構(gòu)張量的表達(dá)式為
5.根據(jù)權(quán)利要求1所述基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，所述步驟四中采用的卡爾曼濾波方法包括以下五個(gè)步驟: (1)假設(shè)當(dāng)前待處理圖像幀處于k時(shí)刻，基于k-Ι時(shí)刻采用卡爾曼濾波后的圖像，初步估計(jì)當(dāng)前待處理圖像的去噪圖像: X(k|k-l)=AX(k-l|k-l)(5) 其中，X(k|k-1)為對當(dāng)前待處理圖像進(jìn)行去噪估計(jì)后的圖像，X(k-1 |k-l) Sk-1時(shí)刻采用卡爾曼濾波后的圖像，A為狀態(tài)轉(zhuǎn)移參數(shù)矩陣； (2)基于待處理圖像幀中各像素點(diǎn)的運(yùn)動估計(jì)值，計(jì)算誤差協(xié)方差矩陣:
P (k I k-1) =AP (k-11 k-1) AT+Q (k)(6) 其中，P(k|k-1)為進(jìn)行降噪估計(jì)后的圖像的協(xié)方差矩陣，P(k-l|k-l)為k-1時(shí)刻采用卡爾曼濾波后的圖像的協(xié)方差矩陣，Q(k)為當(dāng)前待處理圖像中運(yùn)動方差矩陣； 視頻中的運(yùn)動會產(chǎn)生噪聲，所以對當(dāng)前待處理圖像幀中任意像素點(diǎn)(X，y)，定義 Qk-1 U，y) =dST (X，y) 根據(jù)上述設(shè)定，使得運(yùn)動區(qū)域的方差值相對靜止區(qū)域而言更大； (3)計(jì)算卡爾曼增益:
Kg(k) =P (k I k-1)/P (k I k-1)+R(k) (7) 其中，Kg(k)即為當(dāng)前k時(shí)刻的卡爾曼增益矩陣，R(k)為當(dāng)前待處理圖像的噪聲協(xié)方差矩陣，視頻中的噪聲協(xié)方差為一恒定不變的值；(4)結(jié)合當(dāng)前待處理圖像及其初步估計(jì)的降噪圖像，計(jì)算當(dāng)前k時(shí)刻的最優(yōu)化降噪估計(jì)圖像: X(kIk)=X(kIk-1)+Kg(k)Z(k)-X(k|k-l) (8) 其中，X(k|k)即為對當(dāng)前待處理圖像的最優(yōu)化降噪估計(jì)圖像，Z(k)為當(dāng)前k時(shí)刻包含噪聲的待處理圖像； (5)更新當(dāng)前k時(shí)刻的協(xié)方差矩陣，為下一幀圖像進(jìn)行卡爾曼濾波做準(zhǔn)備: P(k|k) = (1-Kg(k))P(k|k-l) (9)
6.根據(jù)權(quán)利要求1所述基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，所述步驟六的具體實(shí)現(xiàn)步驟為: 561.根據(jù)步驟三得到的當(dāng)前時(shí)刻待處理圖像幀中各像素點(diǎn)的運(yùn)動估計(jì)值計(jì)算其高斯權(quán)重值:
7.根據(jù)權(quán)利要求1-6之一所述基于結(jié)構(gòu)張量和卡爾曼濾波的視頻實(shí)時(shí)去噪方法，其特征在于，所述步驟一中η的值為3-6。
【文檔編號】H04N19/117GK103873743SQ201410110966
【公開日】2014年6月18日 申請日期:2014年3月24日 優(yōu)先權(quán)日:2014年3月24日
【發(fā)明者】劉煜, 張茂軍, 王煒, 熊志輝, 左承林, 李衛(wèi)麗 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)