專利名稱:使用頻帶內(nèi)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波的視頻去噪聲算法的制作方法
技術(shù)領(lǐng)域:
本發(fā)明總體上涉及從視頻流中消除噪聲(去噪聲)的技術(shù),并且更加具體地講,涉及使用頻帶內(nèi)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(IBMCTF)對視頻流進(jìn)行去噪聲的技術(shù)。
視頻流總是包含少許噪聲,噪聲降低了視頻信號的質(zhì)量。從視頻信號和其它信號中消除噪聲的一種方法是使用波形變換。小波變換包括將包含在信號中的信息分解成不同等級的特征。當(dāng)在小波域中看該信號時(shí),由較大的系數(shù)將其明顯地表示出來,而不希望有的信號(噪聲)將會由小得多的系數(shù)表示,并且通常會同樣地分布在所有小波分解等級上。
為了將噪聲與想得到的信號分離并且消除噪聲,我們知道可以在小波域中使用小波閾值處理(thresholding)。小波閾值處理的基本原理是識別很可能主要包含噪聲的信號的小波系數(shù)并且將其清零,從而保存了最有意義的系數(shù)。通過保存最有意義的系數(shù),小波閾值處理保存了信號的高通特征,比如不連續(xù)性。這個(gè)特性在例如用來保持圖像中的邊緣的銳度的圖像去噪聲處理中是很有用的。
已經(jīng)對用于去噪聲的小波閾值處理的方法進(jìn)行了廣泛的研究,因?yàn)樗哂泻芨叩目尚行圆⑶宜芎唵巍R呀?jīng)得到證明,小波閾值處理估計(jì)器對諸如靜止圖像之類的分段平滑信號實(shí)現(xiàn)接近極小極大最佳風(fēng)險(xiǎn)。
雖然已經(jīng)對靜止圖像的情況廣泛研究了小波去噪聲技術(shù),但是僅對它對視頻去噪聲的應(yīng)用進(jìn)行了有限的探索。用于數(shù)字視頻信號的噪聲降低要比傳統(tǒng)模擬顯示中的噪聲降低重要得多,因?yàn)榻裉斓南M(fèi)者已經(jīng)開始轉(zhuǎn)向要求通過完全數(shù)字的手段獲得高質(zhì)量。
用于視頻去噪聲的傳統(tǒng)技術(shù)建立在下述三步法的基礎(chǔ)上(1)獲得空間去噪聲估計(jì)結(jié)果;(2)獲得時(shí)間去噪聲估計(jì)結(jié)果;和(3)將這兩個(gè)估計(jì)結(jié)果組合起來獲得最終的去噪聲估計(jì)結(jié)果。為了進(jìn)行空間去噪聲估計(jì),使用了小波閾值處理和/或小波域維納(wiener)濾波器技術(shù)。為了進(jìn)行時(shí)間去噪聲估計(jì),可以采用使用卡爾曼(Kalman)濾波器的線性濾波法。在產(chǎn)生了這兩個(gè)獨(dú)立獲得的去噪聲估計(jì)結(jié)果之后,數(shù)種組合方案進(jìn)行了研究。
傳統(tǒng)視頻去噪聲技術(shù)的缺點(diǎn)是,將噪聲方差假設(shè)為是已知的,限制了它在實(shí)踐中的可應(yīng)用性。
本發(fā)明的目的是提供新的并且經(jīng)過改進(jìn)的視頻去噪聲方法和設(shè)備。
本發(fā)明的另一個(gè)目的是提供新的并且經(jīng)過改進(jìn)的使用頻帶內(nèi)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(IBMCTF)對視頻信號進(jìn)行去噪聲的技術(shù)和設(shè)備。
為了實(shí)現(xiàn)這些目的和其它的目的,按照本發(fā)明的對視頻信號進(jìn)行去噪聲的方法包括步驟在空間上將視頻序列的各個(gè)幀變換成二維頻帶;在時(shí)間方向上對二維頻帶進(jìn)行分解,以形成空間-時(shí)間子頻帶,分解二維子頻帶的步驟包括應(yīng)用低頻帶平移方法來產(chǎn)生平移不變運(yùn)動(dòng)參考幀的步驟;和從各個(gè)空間-時(shí)間子頻帶中消除添加性噪聲。二維頻帶的分解可以包括使用一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波技術(shù)。從各個(gè)空間-時(shí)間子頻帶中消除添加性噪聲需要使用小波去噪聲技術(shù),比如軟閾值處理、硬閾值處理和小波維納濾波器。
按照某些實(shí)施例,應(yīng)用低頻帶平移方法來產(chǎn)生平移不變運(yùn)動(dòng)參考幀包括對低-低子頻帶的所有可能平移產(chǎn)生完整的小波系數(shù)組,并且根據(jù)需要通過對這些小波系數(shù)進(jìn)行交織來存儲這些小波系數(shù),以致過完全域中新的坐標(biāo)相當(dāng)于原始空間域中的相關(guān)平移。這些小波系數(shù)可以在各個(gè)分解層次上加以交織。
作為應(yīng)用去噪聲算法的設(shè)備的例子,按照本發(fā)明的視頻編碼器應(yīng)該包括小波變換器,用于從未壓縮視頻幀的源接收未壓縮視頻幀并且將這些幀從空間域變換到小波域,在小波域中,由一組小波系數(shù)代表二維頻帶;將這些頻帶劃分成幀組的軟件或硬件;運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器,這些濾波器各自接收這些頻帶中相應(yīng)頻帶的幀組并且對該頻帶進(jìn)行時(shí)間濾波,以消除這些幀之間的時(shí)間相關(guān)性;和用于對經(jīng)過時(shí)間濾波的頻帶進(jìn)行紋理編碼的軟件或硬件,該軟件或硬件將這些經(jīng)過紋理編碼的、經(jīng)過時(shí)間濾波的頻帶組合成位流。
更加具體地講,所述小波變換器將各個(gè)幀分解成多個(gè)分解層次。例如,分解層次中的第一個(gè)分解層次包括低-低(LL)頻帶、低-高(LH)頻帶、高-低(HL)頻帶和高-高(HH)頻帶,而分解層次中的第二個(gè)分解層次包括將LL頻帶分解成LLLL(低-低,低-低)、LLLH(低-低,低-高)、LLHL(低-低,高-低)和LLHH(低-低,高-高)子頻帶。
所述分解可以按照低頻帶平移方法進(jìn)行,按照該方法,對輸入頻帶中的一個(gè)或多個(gè)頻帶的所有可能的平移產(chǎn)生完整的小波系數(shù)組,從而精確地傳達(dá)空間域中的任何平移。在這種情況下,小波變換器可以通過平移下一更為精細(xì)層次LL頻帶的小波系數(shù)并且應(yīng)用一個(gè)層次的小波分解、然后將分解期間產(chǎn)生的小波系數(shù)組合起來產(chǎn)生完整的小波系數(shù)組,來產(chǎn)生完整的小波系數(shù)組。為了提高消除噪聲的能力,可以將小波變換器設(shè)計(jì)成對分解期間產(chǎn)生的小波系數(shù)進(jìn)行交織,以產(chǎn)生完整的小波系數(shù)組。
將運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器設(shè)置成對頻帶進(jìn)行濾波并且對于各個(gè)頻帶產(chǎn)生高通幀和低通幀。各個(gè)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器包括用于產(chǎn)生至少一個(gè)運(yùn)動(dòng)向量的運(yùn)動(dòng)估計(jì)器和用于接收該(多個(gè))運(yùn)動(dòng)向量并且基于該運(yùn)動(dòng)向量在運(yùn)動(dòng)方向上對幀組進(jìn)行時(shí)間濾波的時(shí)間濾波器。
通過結(jié)合附圖參考下面的說明,本發(fā)明及其其它目的和優(yōu)點(diǎn)可以得到最佳理解,其中相同的附圖標(biāo)記標(biāo)示相同的單元,其中附
圖1是應(yīng)用按照本發(fā)明的頻帶內(nèi)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波的編碼器的框圖。
附圖2表示按照本發(fā)明的對兩個(gè)層次的分解使用低頻帶平移法算法的過完全小波展開。
附圖3表示對一維分解進(jìn)行過完全小波系數(shù)交織的一個(gè)例子。
附圖4A表示用于可拆分三維小波的三維分解結(jié)構(gòu)。
附圖4B表示用于本發(fā)明的三維分解結(jié)構(gòu)。
附圖5A和5B表示相連和不相連像素的例子。
下面介紹的去噪聲技術(shù)可以與任何類型的視頻傳輸、接收和處理系統(tǒng)和設(shè)備結(jié)合起來使用。僅僅為了舉例,將參照包括流式視頻發(fā)射機(jī)、流式視頻接收機(jī)和數(shù)據(jù)網(wǎng)絡(luò)的視頻傳輸系統(tǒng)對本發(fā)明進(jìn)行介紹。流式視頻發(fā)射機(jī)通過所述網(wǎng)絡(luò)將視頻信息流送到流式視頻接收機(jī)并且包括多種多樣的視頻幀源中的任何一種,包括數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器、電視臺發(fā)射機(jī)、有線網(wǎng)絡(luò)或臺式個(gè)人計(jì)算機(jī)。
一般來說,流式視頻發(fā)射機(jī)包括視頻幀源、視頻編碼器、編碼器緩沖器和存儲器。視頻幀源代表能夠產(chǎn)生或換句話說提供未壓縮視頻幀序列的裝置或結(jié)構(gòu),比如電視天線和接收機(jī)單元、磁帶放像機(jī)、攝像機(jī)或能夠存儲“素材”視頻短片的盤存儲裝置。未壓縮視頻幀以給定的畫面速率(或“流式速率”)進(jìn)入視頻編碼器并且由視頻編碼器進(jìn)行壓縮。然后視頻編碼器將經(jīng)過壓縮的視頻幀傳送到編碼器緩沖器。視頻編碼器最好采用下面介紹的去噪聲算法。
編碼器緩沖器從視頻編碼器接收經(jīng)過壓縮的視頻幀并且對視頻幀進(jìn)行緩存,以準(zhǔn)備通過數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行傳輸。編碼器緩沖器代表用于存儲壓縮視頻幀的任何適當(dāng)?shù)木彌_器。流式視頻接收機(jī)接收由流式視頻發(fā)射機(jī)通過數(shù)據(jù)網(wǎng)絡(luò)流送的壓縮視頻幀,并且一般來說該流式視頻接收機(jī)包括解碼器緩沖器、視頻解碼器、視頻顯示器和存儲器。取決于應(yīng)用,流式視頻接收機(jī)可以是多種多樣的視頻幀接收機(jī)中的任何一種,包括電視接收機(jī)、臺式個(gè)人計(jì)算機(jī)或磁帶錄像機(jī)。解碼器緩沖器存儲通過數(shù)據(jù)網(wǎng)絡(luò)接收的壓縮視頻幀,并且然后按照需要將這些壓縮視頻幀發(fā)送到視頻解碼器。
視頻解碼器對由視頻編碼器進(jìn)行了壓縮的視頻幀進(jìn)行解壓縮,然后將經(jīng)過解壓縮的幀發(fā)送給視頻顯示器,以進(jìn)行顯示。視頻解碼器最好采用下面介紹的去噪聲算法。
可以將視頻編碼器和解碼器實(shí)現(xiàn)為由傳統(tǒng)數(shù)據(jù)處理器運(yùn)行的軟件程序,比如標(biāo)準(zhǔn)MPEG編碼器或解碼器。如果是這樣,視頻編碼器和解碼器應(yīng)該包括計(jì)算機(jī)可執(zhí)行的指令,比如存儲在(多個(gè))易失性或非易失性存儲和取回裝置(比如固定磁盤、可移動(dòng)磁盤、CD、DVD、磁帶或視盤)中的指令。也可以用硬件、軟件、固件或它們的任意組合來實(shí)現(xiàn)視頻編碼器和解碼器。
在本發(fā)明的發(fā)明人和Mihaela Banderschar于2003年2月25日提交的美國臨時(shí)專利申請序列號第60/449696號和2003年6月27日提交的美國臨時(shí)專利申請序列號第60/482954號(名稱分別為《3-DLifting Structure For Sub-Pixel Accuracy…》和《Video CodingUsing Three Dimensional lifting》)中給出了關(guān)于可應(yīng)用本發(fā)明的視頻編碼器和解碼器的其它詳細(xì)內(nèi)容,這些申請以引用的方式整體并入本文。
下面將參照附圖1介紹按照本發(fā)明的去噪聲算法,附圖1表示按照本發(fā)明的一種實(shí)施例的視頻編碼器10。視頻編碼器10包括小波變換器12,該小波變換器12從視頻幀的源(未示出)接收未壓縮視頻幀,并且將視頻幀從空間域變換到小波域。這一變換使用小波濾波在空間上將視頻幀分解為多個(gè)二維頻帶(頻帶1到頻帶N),并且對應(yīng)于該視頻幀的各個(gè)頻帶1,2,…,N是由一組小波系數(shù)代表的。下面針對編碼器10介紹的技術(shù)同樣也可用來與解碼器結(jié)合起來使用。
小波變換器12使用任何適當(dāng)?shù)淖儞Q來將視頻幀分解成多個(gè)視頻或小波頻帶。按照某些實(shí)施例,將幀分解為第一分解層次,該第一分解層次包括低-低(LL)頻帶、低-高(LH)頻帶、高-低(HL)頻帶和高-高(HH)頻帶。這些頻帶中的一個(gè)或多個(gè)可以進(jìn)一步分解為LLLL、LLLH、LLHL和LLHH子頻帶。
通過適當(dāng)?shù)能浖?或硬件14將小波頻帶和/或子頻帶劃分成幀組(GOF),然后將它們提供給多個(gè)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器(MCTF)161,…,16N。MCTF 16對視頻頻帶進(jìn)行時(shí)間濾波,并且除掉幀之間的時(shí)間相關(guān)性,以形成空間-時(shí)間子頻帶。例如,MCTF 16可以對視頻頻帶進(jìn)行濾波并且對各個(gè)視頻頻帶產(chǎn)生高通幀和低通幀。各個(gè)MCTF 16包括運(yùn)動(dòng)估計(jì)器18和時(shí)間濾波器20。MCTF 16中的運(yùn)動(dòng)估計(jì)器18產(chǎn)生一個(gè)或多個(gè)運(yùn)動(dòng)向量,運(yùn)動(dòng)估計(jì)器18估計(jì)當(dāng)前視頻幀與參考幀之間的運(yùn)動(dòng)量并且產(chǎn)生一個(gè)或多個(gè)運(yùn)動(dòng)向量(簡稱MV)。MCTF 16中的時(shí)間濾波器20使用這一信息在運(yùn)動(dòng)方向上對一組視頻幀進(jìn)行時(shí)間濾波。給出經(jīng)過時(shí)間濾波的幀加以紋理編碼22,然后合成為位流。
此外,分組在一起并且由MCTF 16進(jìn)行處理的幀的數(shù)量可以對各個(gè)頻帶適應(yīng)性地加以確定。按照某些實(shí)施例,較低的頻帶具有較多數(shù)量的分組在一起的幀,并且較高頻帶具有較少數(shù)量的分組在一起的幀。這使得例如每頻帶分組在一起的幀的數(shù)量能夠根據(jù)幀序列的特點(diǎn)或者復(fù)雜性或彈性要求而得到改變。而且,較高的空間頻帶可以從長時(shí)間時(shí)間濾波中忽略。作為特定的例子,可以將LL、LH及HL和HH頻帶中的幀分別放到八幀組、四幀組和兩幀組中。這分別允許三、二和一的最大分解層次。時(shí)間分解層次對于各個(gè)頻帶的數(shù)量可以使用任何適當(dāng)?shù)臉?biāo)準(zhǔn)來確定,比如幀內(nèi)容、目標(biāo)失真規(guī)格或時(shí)間可調(diào)整性對各個(gè)頻帶的期望程度。作為另一個(gè)特定的例子,可以將LL、LH及HL和HH頻帶中的每一個(gè)頻帶內(nèi)的幀放在八幀組中。
從附圖1可以看出,視頻編碼器處理視頻信號的順序是,首先,由小波變換器12進(jìn)行空間域小波變換,隨后,由時(shí)間濾波器16對各個(gè)小波頻帶應(yīng)用MCTF。這不同于傳統(tǒng)的幀間小波視頻技術(shù),傳統(tǒng)的幀件小波視頻技術(shù)對空間域視頻數(shù)據(jù)應(yīng)用MCTF,然后使用臨界小波采樣小波變換對結(jié)果得到的經(jīng)過時(shí)間濾波的幀進(jìn)行編碼。
不過它的缺點(diǎn)是,由于臨界采樣小波分解僅僅是周期性平移不變的,因此小波域內(nèi)的運(yùn)動(dòng)估計(jì)和補(bǔ)償是不夠的并且觀察到了編碼損失。
為了避免小波域中的運(yùn)動(dòng)估計(jì)和補(bǔ)償無效和編碼效率的隨之降低,按照本發(fā)明,使用了低頻帶平移方法(LBS),最好在任何情況下都應(yīng)用(在視頻編碼器和解碼器上都應(yīng)用)去噪聲算法,以產(chǎn)生平移不變運(yùn)動(dòng)參考幀。此外,與低頻帶平移算法相結(jié)合地使用了交織算法,將在下面進(jìn)行完整地討論。
更加具體地講,在低頻帶平移(LBS)方法中,小波變換器12包括或具體實(shí)現(xiàn)為低頻帶移位器,該低頻帶移位器處理輸入視頻幀并且對輸入頻帶中的一個(gè)或多個(gè)的所有可能的平移產(chǎn)生完整的小波系數(shù)組,即,過完全小波展開或表達(dá)。這種過完全表達(dá)精確地傳達(dá)了空間域中的任何平移。
在附圖2中給出了通過用于低-低(LL)頻帶的低頻帶移位器產(chǎn)生標(biāo)注為30的原始圖像的過完全小波展開的過程。最初,如附圖2所示,將幀30分解為第一分解層次,該層次包括LL、LH及HL和HH頻帶,可以將各個(gè)頻帶提供給專用的MCTF 16。在這個(gè)例子中,與特定空間位置上的同一分解層次相對應(yīng)的不同的經(jīng)過平移的小波系數(shù)稱為“跨相小波系數(shù)”。
過完全小波展開24的各相是通過平移下一更細(xì)層次LL頻帶的小波系數(shù)并且應(yīng)用一個(gè)層次的小波分解來產(chǎn)生的。例如,小波系數(shù)32代表LL頻帶沒有平移的系數(shù)。小波系數(shù)34代表LL頻帶經(jīng)過(1,0)平移之后的系數(shù),或者右移一個(gè)位置之后的系數(shù)。小波系數(shù)36代表LL頻帶在經(jīng)過(0,1)平移之后的系數(shù),或者下移一個(gè)位置之后的系數(shù)。小波系數(shù)38代表LL頻帶在經(jīng)過(1,1)平移之后的系數(shù),或者右移一個(gè)位置并且下移一個(gè)位置之后的系數(shù)。
小波系數(shù)40代表HL頻帶沒有平移的系數(shù)。小波系數(shù)42代表LH頻帶沒有平移的系數(shù),而小波系數(shù)44代表HH頻帶沒有平移的系數(shù)。
可以將這些頻帶中的一個(gè)或多個(gè)進(jìn)一步分解成附加分解層次,比如當(dāng)將LL頻帶進(jìn)一步分解成如附圖2所示的包括LLLL、LLLH、LLHL和LLHH子頻帶的第二分解層次時(shí)。在這種情況下,小波系數(shù)46代表沒有平移的LLLL頻帶的系數(shù),小波系數(shù)48代表沒有平移的LLHL頻帶的系數(shù),小波系數(shù)50代表沒有平移的LLLH頻帶的系數(shù),小波系數(shù)52代表沒有平移的LLHH頻帶的系數(shù)。
在單層次分解中,應(yīng)該對附圖2中的四組小波系數(shù)進(jìn)行擴(kuò)充或組合,以產(chǎn)生過完全小波展開24。不過,鑒于低-低頻帶的附加分解,應(yīng)該對附圖2中的七組小波系數(shù)40、42、44、46、48、50和52進(jìn)行擴(kuò)充或組合,以產(chǎn)生過完全小波展開24的未平移小波系數(shù)。
附圖3表示如何對小波系數(shù)進(jìn)行擴(kuò)充或組合以產(chǎn)生過完全小波展開24的一個(gè)實(shí)例(對于小波系數(shù)的一維組)。將兩個(gè)示范性小波系數(shù)組54、56交織起來,以產(chǎn)生一組過完全小波系數(shù)58。過完全小波系數(shù)58代表附圖2中所示的過完全小波展開24。這一交織是這樣進(jìn)行的使得過完全小波展開24中的新系數(shù)相當(dāng)于在原始空間域中的相關(guān)平移。這種交織技術(shù)也可以遞歸地在各個(gè)分解層次上使用,并且可以針對2-D信號對其進(jìn)行直接擴(kuò)展。使用交織來產(chǎn)生過完全小波系數(shù)58能夠在視頻編碼器和解碼器中實(shí)現(xiàn)較佳或最佳子像素精確運(yùn)動(dòng)估計(jì)和補(bǔ)償,因?yàn)樗峁┝丝紤]相鄰小波系數(shù)之間的跨相相關(guān)性的可能性。而且,交織技術(shù)允許使用對其它類型的時(shí)間濾波公知的自適應(yīng)運(yùn)動(dòng)估計(jì)技術(shù),比如分級可變大小塊匹配、后向運(yùn)動(dòng)補(bǔ)償和幀內(nèi)塊的自適應(yīng)插入。
雖然附圖3表示對兩組小波系數(shù)54、56進(jìn)行交織,但是可以將任何數(shù)量的系數(shù)組交織在一起,以形成過完全小波系數(shù)58,比如七組小波系數(shù)。
就存儲要求而言,對于輸入視頻幀的n層次分解,過完全小波表達(dá)需要比原始圖像的存儲空間大3n+1倍的存儲空間。
附圖4A表示傳統(tǒng)MCTF的3-D分解結(jié)構(gòu),而附圖4B表示按照本發(fā)明的IBMCTF的3-D分解結(jié)構(gòu)。本領(lǐng)域的技術(shù)人員能夠理解這些分解結(jié)構(gòu)的含義。通過附圖4A和4B的比較可以看出,與傳統(tǒng)MCTF(附圖4A)的3-D分解結(jié)構(gòu)相比,按照本發(fā)明的分解結(jié)構(gòu)(附圖4B)看起來是不可拆分的,因此,它能夠更加容易地捕獲視頻序列的結(jié)構(gòu)。這部分地因?yàn)榭梢匀Q于跨越幀的時(shí)間相關(guān)性對各個(gè)空間子頻帶應(yīng)用不同層次的時(shí)間分解。這種不可拆分結(jié)構(gòu)是按照本發(fā)明的去噪聲技術(shù)的一個(gè)非常重要的方面,因?yàn)橐獙?shí)現(xiàn)較好的去噪聲性能,應(yīng)當(dāng)考慮小波系數(shù)取決于頻率響應(yīng)的自適應(yīng)處理。
現(xiàn)在對附圖5A和5B進(jìn)行參照,其中A和B分別指的是之前和當(dāng)前幀,a1-a12和b1-b12分別是這些幀的像素。作為運(yùn)動(dòng)估計(jì)過程的結(jié)果,總是存在沒有在時(shí)間方向上得到濾波的不相連像素,例如,如附圖5A所示的像素a7、a8。由于不相連像素相當(dāng)于不包含新信息的未覆蓋區(qū)域,因此應(yīng)當(dāng)僅對相連小波系數(shù)(a1-a6和a9-a12)應(yīng)用基于小波系數(shù)處理的去噪聲算法。類似地,噪聲方差應(yīng)當(dāng)也是從排除了不相連像素的時(shí)間H頻帶子頻帶的空間HH頻帶中估計(jì)出來的。
可以使用基于IBMCTF的去噪聲算法以類似的方式實(shí)現(xiàn)更加先進(jìn)的基于平移不變小波處理的去噪聲技術(shù)。
一種簡單的基于IBMCTF的去噪聲算法可以是硬閾值處理,該處理可以表達(dá)為下述公式 其中, 代表第i個(gè)分解層次的第j個(gè)子頻帶上的t幀的(m,n)位置上的去噪聲小波系數(shù),而Aij(m,n,t)是原始的小波系數(shù),而T代表可由噪聲方差和子頻帶大小計(jì)算出來的閾值。例如,SURE閾值或Donobo’s閾值可以用作接近極小極大最佳閾值處理值。對于小波域維納濾波器方法,可以獲得如下的小波系數(shù)去噪聲估計(jì)結(jié)果 其中σ2表示噪聲方差。也可以使用其它小波去噪聲算法(比如Bayesian法、MDL或HMT模型)來處理由IBMCTF分解產(chǎn)生的小波系數(shù)。
雖然本文參照附圖介紹了本發(fā)明的示例性實(shí)施例,但是應(yīng)當(dāng)理解,本發(fā)明并不局限于這些明確的實(shí)施例,并且本領(lǐng)域技術(shù)人員可以實(shí)現(xiàn)各種不同的其它改變和修改,而不會超出本發(fā)明的范圍或精神。
權(quán)利要求
1.一種對視頻信號進(jìn)行去噪聲的方法,包括步驟在空間上將視頻序列的各個(gè)幀變換成二維頻帶;在時(shí)間方向上對二維頻帶進(jìn)行分解,以形成空間-時(shí)間子頻帶,分解二維子頻帶的步驟包括應(yīng)用低頻帶平移方法來產(chǎn)生平移不變運(yùn)動(dòng)參考幀的步驟;和從各個(gè)空間-時(shí)間子頻帶中消除添加性噪聲。
2.按照權(quán)利要求1所述的方法,其中分解二維頻帶的步驟包括對各個(gè)二維頻帶使用運(yùn)動(dòng)補(bǔ)償時(shí)間濾波技術(shù)分解二維頻帶的步驟。
3.按照權(quán)利要求1所述的方法,其中從各個(gè)空間-時(shí)間子頻帶中消除添加性噪聲的步驟包括使用從由軟閾值處理、硬閾值處理和小波維納濾波器構(gòu)成的組中選取的小波去噪聲技術(shù)的步驟。
4.按照權(quán)利要求1所述的方法,其中對各個(gè)幀進(jìn)行空間變換的步驟包括應(yīng)用小波濾波的步驟。
5.按照權(quán)利要求1所述的方法,其中應(yīng)用低頻帶平移方法來產(chǎn)生平移不變運(yùn)動(dòng)參考幀的步驟包括對低-低子頻帶的所有可能平移產(chǎn)生完整的小波系數(shù)組的步驟。
6.按照權(quán)利要求5所述的方法,此外還包括通過對小波系數(shù)進(jìn)行交織來存儲小波系數(shù)以致過完全域中的新坐標(biāo)相當(dāng)于原始空間域中的相關(guān)平移的步驟。
7.按照權(quán)利要求6所述的方法,其中小波系數(shù)是在各個(gè)分解層次上加以交織的。
8.一種視頻編碼器(10),包括小波變換器(12),用于從未壓縮視頻幀的源接收未壓縮視頻幀并且將這些幀從空間域變換到小波域,在小波域中,由一組小波系數(shù)代表二維頻帶;用于將這些頻帶劃分成幀組的裝置(14);運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器(16),這些濾波器各自接收這些頻帶中相應(yīng)頻帶的幀組并且對該頻帶進(jìn)行時(shí)間濾波,以消除這些幀之間的時(shí)間相關(guān)性;和用于對經(jīng)過時(shí)間濾波的頻帶進(jìn)行紋理編碼的裝置(18),這些經(jīng)過紋理編碼的、經(jīng)過時(shí)間濾波的頻帶被組合成位流。
9.按照權(quán)利要求8所述的視頻編碼器(10),其中將所述小波變換器(12)設(shè)置成將這些幀中的每一個(gè)分解成多個(gè)分解層次。
10.按照權(quán)利要求9所述的視頻編碼器(10),其中所述分解層次中的第一個(gè)分解層次包括低-低(LL)頻帶、低-高(LH)頻帶、高-低(HL)頻帶和高-高(HH)頻帶,并且所述分解層次中的第二個(gè)分解層次包括將LL頻帶分解成LLLL(低-低,低-低)、LLLH(低-低,低-高)、LLHL(低-低,高-低)和LLHH(低-低,高-高)子頻帶。
11.按照權(quán)利要求8所述的視頻編碼器(10),其中將所述運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器(16)設(shè)置成對所述頻帶進(jìn)行濾波并且對于各個(gè)頻帶產(chǎn)生高通幀和低通幀。
12.按照權(quán)利要求8所述的視頻編碼器(10),其中所述運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器(16)中的每一個(gè)包括用于產(chǎn)生至少一個(gè)運(yùn)動(dòng)向量的運(yùn)動(dòng)估計(jì)器(18)和用于接收該至少一個(gè)運(yùn)動(dòng)向量并且基于該運(yùn)動(dòng)向量在運(yùn)動(dòng)方向上對幀組進(jìn)行時(shí)間濾波的時(shí)間濾波器(20)。
13.按照權(quán)利要求8所述的視頻編碼器(10),其中將所述小波變換器(12)設(shè)置成應(yīng)用低頻帶平移方法,按照該方法,對輸入頻帶中的一個(gè)或多個(gè)頻帶的所有可能的平移產(chǎn)生完整的小波系數(shù)組,從而精確地傳達(dá)空間域中的任何平移。
14.按照權(quán)利要求13所述的視頻編碼器(10),其中將所述小波變換器(12)設(shè)置成,通過平移下一更為精細(xì)層次LL頻帶的小波系數(shù)并且應(yīng)用一個(gè)層次的小波分解、然后將分解期間產(chǎn)生的小波系數(shù)組合起來產(chǎn)生完整的小波系數(shù)組,來產(chǎn)生完整的小波系數(shù)組。
15.按照權(quán)利要求14所述的視頻編碼器(10),其中將所述小波變換器(12)設(shè)置成對分解期間產(chǎn)生的小波系數(shù)進(jìn)行交織,以產(chǎn)生完整的小波系數(shù)組。
全文摘要
對視頻信號進(jìn)行去噪聲的方法,按照該方法,小波變換器(12)在空間上將視頻序列的各個(gè)幀變換成二維頻帶,隨后在時(shí)間方向上對這些二維頻帶進(jìn)行分解,以形成空間-時(shí)間子頻帶。空間變換可以包括應(yīng)用低頻帶平移方法來產(chǎn)生平移不變運(yùn)動(dòng)參考幀。二維頻帶的分解可以包括對各個(gè)二維頻帶使用一個(gè)運(yùn)動(dòng)補(bǔ)償時(shí)間濾波器(16)。然后例如使用諸如軟閾值處理、硬閾值處理和小波維納濾波器之類的小波去噪聲技術(shù)從各個(gè)空間-時(shí)間子頻帶中消除添加性噪聲。
文檔編號H04N7/26GK1856990SQ200480027380
公開日2006年11月1日 申請日期2004年9月21日 優(yōu)先權(quán)日2003年9月23日
發(fā)明者J·C·葉 申請人:皇家飛利浦電子股份有限公司