專利名稱:基于壓縮感知的圖像解碼方法
技術領域:
本發(fā)明涉及一種圖像解碼方法,特別涉及一種基于壓縮感知的圖像解碼方法。
背景技術:
近幾年有幾個被廣泛應用的圖像壓縮編碼標準,如JPEG和JPEG2000,它們是利用 像素的冗余來減少比特率,所以JPEG和JPEG2000用了變換和量化。相應地,它們的解碼器 用了反量化和反變換來保持編碼端和解碼端的一致性。變換是信號實現(xiàn)時域和變換域映射關系的運算,變換的本質就是將信號在一組基 函數(shù)上投影,得到一組投影值,即信號的變換域表達。變換的目的是分析原信號中哪些信息 是有用的,并研究如何提取這些有用的信息。變換也是對信號改造和加工的過程,它有助于 去除信號中冗余(相關性)和實現(xiàn)信號能量集中。變換方法有個共同特點是,對信號的處 理是正變換和反變換聯(lián)合處理。換言之,只要正變換給定,反變換也就確定了,反變換依賴 正變換存在,正變換決定反變換。當信號在變換域無損或近似無損時,反變換方法是信號重建的最優(yōu)方法,然而,當 信號在變換域存在較大的噪聲時,反變換方法不一定是最優(yōu)的重建方法。同時,像JPEG和 JPEG2000都用了量化與反量化,所以也會引起量化噪聲和反量化噪聲。近年來出現(xiàn)的壓縮 感知(Compressive Sensing, CS)理論表明通過對k_Sparse稀疏信號較少的采樣可以獲 得至少與k項逼近相同精度的重建結果。實驗結果表明在有些條件下,CS方法可以獲得 比反變換更好的重建效果。壓縮感知與傳統(tǒng)的奈奎斯特采樣定理不同,它指出,只要信號是可壓縮的或在某 個變換域是稀疏的,那么就可以用一個與變換基不相關的觀測矩陣將變換所得的高維信號 投影到一個低維空間上,然后通過求解一個優(yōu)化問題就可以從這些少量的投影中以高概率 重構出原信號。
發(fā)明內容
本發(fā)明的技術解決問題是克服現(xiàn)有技術的不足,提供一種基于壓縮感知的圖像 解碼方法。本發(fā)明的技術解決方案是本發(fā)明提供的基于壓縮感知的圖像解碼方法,是在解 碼端對反量化得到的圖像信號進行壓縮感知的重構。具體地,通過求解下式范數(shù)的優(yōu)化問題對圖像信號進行壓縮感知的重構jc^argminH^^llp s.t. || Ox-^||2<上式表示在滿足|| Ox-y| e條件下jf取使II ||工最小的x值;式中,x表 示圖像塊矩陣InXn經過列掃描后得到的NX 1維向量,jf表示x的重構,叫表示信號x的稀 疏基,使II屯、“稀疏,e表示由量化噪聲引起的誤差,y表示觀測值,①表示標準觀測矩 陣;然后將解出的列向量jf轉化成矩陣/ ,實現(xiàn)圖像的解碼。
進一步地,圖像信號x采用梯度稀疏基使TV(x)稀疏,通過求解x = argminr^(x),1y.r.||^x->,|2 < s實現(xiàn)圖像信號x的重構;上式表示在滿足||AX-y||2< e條件下jf取使TV(x)最小的x值,其中,x表示圖 像塊矩陣InXn經過列掃描后得到的NX 1維向量,jf表示x的重構,TV(x)表示x在梯度意義 下稀疏,£表示由量化噪聲引起的誤差,y表示觀測值,A表示觀測矩陣;式中,全變分 其中Dh;ijx為水平算子,DV;iJx為垂直算子;以n X n的圖像塊矩陣I表示,全變分 定義i < n時水平算子Dh;ijI = Ii+1,廠j < n時垂直算子Dv;ijI =工…-工⑴I。 表示圖像塊矩陣InXn第i行、第j列的值;相應地,以NX 1維的向量x表示i < n時水平
Dh;ijx = x(j—1)n+i+1-x(j—1)n+i,j < n豸〒 DV;ijx = xnj+i-x(j_1)n+io觀測值y的獲取方法是在解碼端將反量化得到的帶有噪聲的圖像塊變換系數(shù)矩 陣bnXn進行列掃描,獲得觀測值y,它是NX 1維的列向量;觀測矩陣A中每一元素A。d的求取方法是 其中c = n(j-l)+i, d = n(k-l)+l, x表示圖像塊矩陣InXn經過列掃描后得到的 NX 1維向量,C為nXn的列變換矩陣,R為nXn的行變換矩陣,Ca表示C在第i行第1列 位置上的元素,RkJ表示R在第k行第j列位置上的元素。作為上述基于壓縮感知的圖像解碼方法的一種改進,在對圖像信號進行壓縮感知 的重構前,先減少位于圖像塊邊緣區(qū)域的像素,使重構圖像塊的尺寸變大,這是為了減少TV 算子無效的區(qū)域。采用對圖像進行塊合并的方式來減少位于圖像塊邊緣區(qū)域的像素,使重構圖像塊 的尺寸變大;所述塊合并是指將pXp個圖像塊合并成一個圖像塊,合并后圖像塊的行數(shù)/ 列數(shù)是合并前圖像塊的行數(shù)/列數(shù)的P倍。作為上述基于壓縮感知的圖像解碼方法的另一種改進,進一步地,定義圖像塊矩 陣InXn在i = n時的水平算子為I".」-、,在j = n時的垂直算子為Ii.j-fli」,Iij表示圖像 塊矩陣InXn第i行、第j列的值;相應地,以NX 1維向量x表示的水平算子為Aj-m+H-Xb) n+i, 垂直算子為通過求解 實現(xiàn)圖像信號x的重構。作為上述基于壓縮感知的圖像解碼方法的優(yōu)選改進,在對圖像信號進行壓縮感知的重構前,先減少位于圖像塊邊緣區(qū)域的像素,使重 構圖像塊的尺寸變大。采用對圖像進行塊合并的方式來減少位于圖像塊邊緣區(qū)域的像素,使重構圖像塊的尺寸變大;所述塊合并是指將pXp個圖像塊合并成一個圖像塊,合并后圖 像塊的行數(shù)/列數(shù)是合并前圖像塊的行數(shù)/列數(shù)的P倍。進一步地,定義合并后的圖像塊矩陣1_>^在i = pn時的水平算子為Ih.j-Iij,在 j = pn時的垂直算子為Ii,表示圖像塊矩陣IpnXpn第i行、第j列的值;相應地, 以Np2X 1維向量x表示的水平算子為x (j-l)np+i-l 入(j_l)np+i, 垂直算子為xnp(j_2)+i-x通過求解 實現(xiàn)圖像信號x的重構。本發(fā)明優(yōu)選采用二階錐規(guī)劃(S0CP Second-Order Cone Programming)法對優(yōu)化 問題進行求解。本發(fā)明與現(xiàn)有技術相比具有如下優(yōu)點(1)目前常用的圖像壓縮編碼標準,像JPEG和JPEG2000都用了變換、量化和反量 化、反變換,所以不可避免的會具有變換的某些限制,并且會引入量化與反量化噪聲。本發(fā) 明將壓縮感知(CS)應用在圖像解碼上,編碼端不需要作任何改動,只是在解碼端用CS重構 部分替代了反變換,通過CS重構來提高圖像的解碼性能,從而提升圖像的重構質量。(2)為了提升CS重構的質量,本發(fā)明在獲得觀測值和觀測矩陣前,采用對圖像進 行塊合并的方式來減少位于圖像塊邊緣區(qū)域的像素,使重構圖像塊的尺寸變大。(3)為了提升CS重構的質量,本發(fā)明還改進TV算子在塊邊緣的值,定義圖像塊矩 陣InXn在i = n時的水平算子為I".」-、,在j = n時的垂直算子為Ii.j-rlij。(4)在本發(fā)明的優(yōu)選實施例中,將壓縮感知(CS)應用在圖像解碼上,并且采用對 圖像進行塊合并的方式減少塊邊緣,改進TV算子在塊邊緣的值。本發(fā)明所有的改進都集中 在解碼端,編碼端不需要作任何改動。它在應用上有很大的優(yōu)勢,相比現(xiàn)有的圖像壓縮標 準,本發(fā)明可以獲得更好的效果。
以下將結合附圖對本發(fā)明的具體實施方式
進行說明。圖1為根據(jù)本發(fā)明的圖像編解碼機制框圖。圖2為四個8X8的塊拼接成一個16X16的塊。
具體實施例方式圖1是根據(jù)本發(fā)明的圖像編解碼機制框圖,編碼端與現(xiàn)有技術一樣,沒有作任何 改動,只是在解碼端用壓縮感知(CS)重構部分替代了反變換,將壓縮感知(CS)應用在圖像 解碼上。通過以下實施例詳細說明基于壓縮感知的圖像解碼方法。實施例一根據(jù)本發(fā)明的基于壓縮感知的圖像解碼方法,通過求解下式范數(shù)的優(yōu)化問題對圖 像信號進行壓縮感知的重構 式中,x表示NX 1維的向量,它是nXn的圖像信號I通過列乘列的掃描后的列 向量,這里N = nXn,jf表示x的重構,W表示信號x的稀疏基,使|| II工稀疏,e表示由量化噪聲引起的誤差,y表示觀測值,①表示標準觀測矩陣,arg min表示取最小值, s.t. || Ox-y |2彡e表示約束條件是II Ox-y |2彡e,上式表示在滿足II Ox-y |2彡e 條件下i取使II屯、“最小的x值。上式是個凸優(yōu)化問題,可以通過基追蹤等多種方法來求解。求解中,需要在解碼端事先獲取觀測值y和觀測矩陣A。觀測值y的獲取方法是在解碼端將反量化得到的帶有噪聲的圖像塊變換系數(shù)矩 陣bnXn進行列掃描,即nXn的矩陣bnXn通過列乘列掃描變?yōu)閥NX1向量,獲得觀測值y。壓縮感知理論要求用觀測矩陣①對原始信號進行觀測,在傳統(tǒng)編解碼體系中,編 碼端的正變換過程可以視作觀測過程,但是編碼端正變換過程形式是bnXn — CnXn InXn RnXn這里bnXn是變換系數(shù)矩陣,CnXn和RnXn是列和行的變換矩陣,I是nXn的單位矩 陣,故要用等效的一維變換形式替代二維變換形式,一維變換形式為Ynx 1 — Anxn xNX1,Anxn和(CnXn,RnXn)等價于信號InXn的變換矩陣。所以可以將矩陣A視作觀測矩陣①。觀測矩陣A中每個元素A。d的求取方法是在編碼端,因為yNX1 = ANXN xNX1,又因為 所以解碼端=Z(C"A)’其中 式中,x表示圖像塊矩陣InXn經過列掃描后得到的NX 1維向量,b.j表示b在第i 行第j列位置上的元素,C為nXn的列變換矩陣,R為nXn的行變換矩陣,I為nXn的單 位矩陣,表示C在第i行第1列位置上的元素,RW表示R在第k行第j列位置上的元素, Ilk表示I在第1行第k列位置上的元素。進一步地,圖像信號x采用梯度稀疏基使TV(x)稀疏,通過求解 實現(xiàn)圖像信號x的重構;
0071]上式表示在滿足||AX-y||2< e條件下jf取使TV(x)最小的x值,其中,x表示圖 像塊矩陣InXn經過列掃描后得到的NX1維向量,jf表示x的重構,TV(x)表示x在梯度意義 下稀疏,£表示由量化噪聲引起的誤差,y表示觀測值,A表示觀測矩陣。式中,全變分 其中Dh;ijx為水平算子,DV;iJx為垂直算子;
以n X n的圖像塊矩陣I表示,全變分 表示圖像塊矩陣InXn第i行、第j列的值,定義水平算子為 Dh I =
0
/" i < n i — n 垂直算子為
I,
’川J<n
D J = V''J+' u V',J \ 0 j = n
相應地,以向量x表示
D_xz=
_ J X(J-l)n+l+l _ X(j-\)n+i 1 < n
0
=n Dv ijx ■
I Xnj +
0j = n
在這種情況下,圖像的重構可以作為一個二階錐規(guī)劃S0CP(S0CP :Second-0rder Cone Programming)問題。本發(fā)明優(yōu)選采用二階錐規(guī)劃(S0CP)法對上述優(yōu)化問題求解。(3)將解出的列向量jf轉化成nXn的矩陣/ ,實現(xiàn)圖像的解碼。實施例二 為了提高重構質量,作為對實施例一的改進,本實施例的基于壓縮感知的圖像解 碼方法,首先對圖像塊進行合并,塊合并是指將pXp個圖像塊合并成一個圖像塊,合并后 圖像塊的行數(shù)/列數(shù)是合并前圖像塊的行數(shù)/列數(shù)的P倍。對pXp個圖像塊合并為重構塊p2的變換被定義成
/J
X X
X X
b b
,nxn n
C 0
nxn
0 C x,
x X
K,
‘pnxpn
0、 0
Cnxn j
pnxpn
w
X X / /
c
X X
/ 7
^nx
Inx
pnx pn
8
還可被定義成
Np2xNp2 Np2x\如圖2所示,將四個8X8的塊拼接成一個16X 16的塊;也可以將更多個圖像塊拼 接成一個圖像塊。這樣塊的邊緣區(qū)域將明顯減少,因此圖像I的全變分可以更稀疏。由于 一個16X16的邊緣區(qū)域比四個8X8塊的少,所以圖像的重構質量將比沒有合并時提高很 多。合并后向量x的維數(shù)變成了 256XI,變換矩陣A被一個256X256的矩陣取代。進行圖像塊合并是為了減少TV算子無效的區(qū)域,減少位于圖像塊邊緣區(qū)域的像 素,使重構圖像塊的尺寸變大;當然,只要能使位于圖像塊邊緣區(qū)域的像素減少,其它方式 均可。
0097]然后通過求解
0099]實現(xiàn)圖像信號x的重構。
0100]實施例三
0101]為了提高重構質量,作為對實施例一的另一改進,本實施例的基于壓縮感知的圖 象解碼方法在i = n,j = n時改進TV算子,
0102]
0103]χ = arg min TVopt (x), s.t.\Ax - y\\2 < ε實現(xiàn)圖像信號χ的重構。實施例四本實施例將壓縮感知(CS)應用在圖像解碼上,采用對圖像進行塊合并的方式減 少塊邊緣,并且改進TV算子在塊邊緣的值。本實施例的基于壓縮感知的圖像解碼方法,包括以下步驟(1)在解碼端,將ρΧρ個圖像塊合并成一個重構塊ρ2,合并后圖像塊的行數(shù)/列 數(shù)是合并前圖像塊的行數(shù)例數(shù)的P倍;(2)在解碼端,將反量化得到的帶有噪聲的圖像塊變換系數(shù)矩陣bpnXpn進行列掃 描,獲得觀測值y,它是Np2Xl維的列向量;求取觀測矩陣A中的每個元素A。d,其求取方法 是在編碼端,因=· Vxi,又因為bij = T,Cu(IR)ij
ι 所以解碼端=,其中 c = np (j-1) +i, d = np (k_l) +1,
Ik式中,χ表示圖像塊矩陣Ipnxpn經過列掃描后得到的Np2Xl維向量,表示b在 第i行第j列位置上的元素,C為pnXpn的列變換矩陣,R為ρηΧρη的行變換矩陣,I為 PnXpn的單位矩陣,Cil表示C在第i行第1列位置上的元素,Rkj表示R在第k行第j列位 置上的元素,Ilk表示I在第1行第k列位置上的元素;(3)通過求解優(yōu)化問題 實現(xiàn)圖像信號χ的重構;上式表示在滿足||AX-y||2< ε條件下無取使Tv。pt (χ)最小的χ值,其中,χ表示 圖像塊矩陣Ipnxpn經過列掃描后得到的Np2X 1維向量,Jf表示χ的重構,TVopt(X)表示χ在 梯度意義下稀疏,ε表示由量化噪聲引起的誤差;式中,最優(yōu)全變分 其中Dh。pt ;iJx為最優(yōu)化的水平算子,Dvopt ;iJx為最優(yōu)化的垂直算子;以pnXpn的圖像塊矩陣I表示,最優(yōu)全變分 定義最優(yōu)化的水平算子為[OHO] 最優(yōu)化的垂直算子為 Iij表示pnXpn圖像塊矩陣I第i行、第j列的值;相應地,以Np2Xl維的向量χ表示最優(yōu)化的水平算子 最優(yōu)化的垂直算子 (4)將解出的列向量jf轉化成pnXpn的矩陣,實現(xiàn)圖像的解碼。采用二階錐規(guī)劃SOCP法對優(yōu)化問題進行求解。通過對整幅圖像所有圖像塊的壓縮感知重構,實現(xiàn)整幅圖像的解碼。只要正確估計出ε值,重構質量Jf將得到明顯的提升。在此我們估計了一個通用 的ε預設值,每次求解都使用這個ε值。在JPEG中塊的大小是8X8,本發(fā)明可以用16個8X8的塊去聯(lián)合解決并輸出一個 32X32的塊,或者四塊去聯(lián)合解決輸出一個16X16的塊。將實施例四應用于barche、camera、Iena和ρ印pers四幅256X256的圖像中,這 四幅圖像是圖像處理領域的典型圖例。表1是不同圖像用不同重構方法得到的PSNR的對 比表1.不同圖像用不同重構方法得到的PSNR 很明顯,通過CS重構可以獲得明顯的PSNR的提升,通過CS重構并且輸出是 32X32的塊的平均的PSNR可以提升0. 5dB。同時,主觀質量也有明顯的提升,尤其是在物體的邊緣部分,因為CS的重構標準是基于像素值的絕對值最小和的標準,包含簡單邊緣的 物體可以通過這種方法更好的重構。本發(fā)明說明書中未作詳細描述的內容屬于本領域專業(yè)技術人員公知技術。本發(fā)明不局限于權利要求和上述實施例所述及的內容,只要是根據(jù)本發(fā)明的構思 所創(chuàng)作出來的任何發(fā)明,都應歸屬于本發(fā)明的保護范圍之內。
權利要求
基于壓縮感知的圖像解碼方法,其特征在于,在解碼端對反量化得到的圖像信號進行壓縮感知的重構。
2.根據(jù)權利要求1所述的基于壓縮感知的圖像解碼方法,其特征在于,通過求解下式 范數(shù)的優(yōu)化問題對圖像信號進行壓縮感知的重構 上式表示在滿足||①x-y||2< e條件下jf取使II WTx| L最小的x值;式中,x表示圖 像塊矩陣InXn經過列掃描后得到的NX 1維向量,無表示x的重構,^表示信號x的稀疏基, 使II ||工稀疏,£表示由量化噪聲引起的誤差,y表示觀測值,O表示標準觀測矩陣;然后將解出的列向量jf轉化成矩陣/ ,實現(xiàn)圖像的解碼。
3.根據(jù)權利要求2所述的基于壓縮感知的圖像解碼方法,其特征在于,圖像信號x采用 梯度稀疏基使TV (x)稀疏,通過求解 實現(xiàn)圖像信號x的重構;上式表示在滿足llAX-y||2< e條件下jf取使TV (x)最小的x值,其中,x表示圖像塊 矩陣InXn經過列掃描后得到的NX 1維向量,jf表示x的重構,TV (x)表示x在梯度意義下稀 疏,£表示由量化噪聲引起的誤差,y表示觀測值,A表示觀測矩陣;式中,全變分 其中Dh;ux為水平算子,DV;iJx為垂直算子;以nXn的圖像塊矩陣I表示,全變分 定義i < n時水平算子Dh;iJI = Ii+1,廠、,j < n時垂直算子Dv;iJI =表示圖像塊矩陣InXn第i行、第j列的值;相應地,以NX 1維的向量x表示i < n時水平算 “? Dh;ijx = x(j_1)n+i+1-x(j_1)n+i, j < n豸〒 DV;ijx = xnj+i-x(j_1)n+io
4.根據(jù)權利要求3所述的基于壓縮感知的圖像解碼方法,其特征在于,觀測值y的獲取 方法是在解碼端將反量化得到的帶有噪聲的圖像塊變換系數(shù)矩陣bnXn進行列掃描,獲得 觀測值y,它是NX 1維的列向量;觀測矩陣A中每一元素A。d的求取方法是 其中c = n(j-l)+i, d = n(k-l)+l,X表示圖像塊矩陣InXn經過列掃描后得到的NX1 維向量,C為nXn的列變換矩陣,R為nXn的行變換矩陣,Ca表示C在第i行第1列位置 上的元素,RkJ表示R在第k行第j列位置上的元素。
5.根據(jù)權利要求1所述的基于壓縮感知的圖像解碼方法,其特征在于,在對圖像信號 進行壓縮感知的重構前,先減少位于圖像塊邊緣區(qū)域的像素,使重構圖像塊的尺寸變大。
6.根據(jù)權利要求5所述的基于壓縮感知的圖像解碼方法,其特征在于,采用對圖像進 行塊合并的方式來減少位于圖像塊邊緣區(qū)域的像素,使重構圖像塊的尺寸變大;所述塊合并是指將P X p個圖像塊合并成一個圖像塊,合并后圖像塊的行數(shù)/列數(shù)是合并前圖像塊的 行數(shù)/列數(shù)的P倍。
7.根據(jù)權利要求3所述的基于壓縮感知的圖像解碼方法,其特征在于,進一步地,定義 圖像塊矩陣InXn在i = n時的水平算子為Iuj-Ii」,在j = n時的垂直算子為Ii.j-rlij,、 表示圖像塊矩陣InXn第i行、第j列的值;相應地,以NX 1維向量x表示的水平算子為x&dn+i-l_X(j-l)n+i' 豸〒力 Xn(j-2)+i_X (j-l)n+i°
8.根據(jù)權利要求3所述的基于壓縮感知的圖像解碼方法,其特征在于,采用二階錐規(guī) 劃S0CP法對所述優(yōu)化問題進行求解。
全文摘要
基于壓縮感知的圖像解碼方法,是在解碼端對反量化得到的圖像信號進行壓縮感知的重構,可以通過求解下式范數(shù)的優(yōu)化問題對圖像信號進行壓縮感知的重構然后將解出的列向量轉化成矩陣實現(xiàn)圖像的解碼。為了提升CS重構的質量,在對圖像信號進行壓縮感知的重構前,先對圖像進行塊合并,即將p×p個圖像塊合并成一個圖像塊,合并后圖像塊的行數(shù)/列數(shù)是合并前圖像塊的行數(shù)/列數(shù)的p倍。本發(fā)明還進一步改進TV算子在塊邊緣的值,定義圖像塊矩陣In×n在i=n時的水平算子為Ii-1,j-Iij,在j=n時的垂直算子為Ii,j-1-Iij。本發(fā)明所有的改進都集中在解碼端,編碼端不需要作任何改動,相比現(xiàn)有的圖像壓縮標準,能夠獲得更好的效果。
文檔編號H04N7/26GK101931814SQ20101027176
公開日2010年12月29日 申請日期2010年9月3日 優(yōu)先權日2010年9月3日
發(fā)明者尹寶才, 張臻, 施云惠, 李倩 申請人:北京工業(yè)大學