超分辨率方法和裝置制造方法
【專利摘要】本發(fā)明提供了一種超分辨率方法和裝置，該方法包括：獲取低分辨率圖像序列；依次提取所述低分辨率圖像序列當前幀中的目標塊及所述目標塊的候選塊；計算各候選塊與所述目標塊的灰度相似度和結構相似度；根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值；對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。利用本發(fā)明，可以避免光照影響，獲得效果較好的高分辨率圖像。
【專利說明】超分辨率方法和裝置

【技術領域】
[0001]本發(fā)明涉及圖像處理【技術領域】，具體而言，涉及一種超分辨率方法和裝置。

【背景技術】
[0002]超分辨率即通過硬件或軟件的方法提高原有圖像的分辨率，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率，實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。
[0003]獲得準確的運動估計對于傳統(tǒng)多幀融合超分辨率方法非常重要，但是，因為很多自然圖像中包含局部運動，有些時候很難獲得準確的運動估計，所以多幀融合的超分辨率方法的應用場景受到了較大的限制。
[0004]為了解決這個問題，以非局部性均值去噪方法為基礎，業(yè)界提出了非局部性均值超分辨方法，通過賦予相鄰塊合理的權值從而恢復參考塊的中心點，非局部性均值超分辨方法可以不需要進行運動估計即獲得較高品質(zhì)的高分辨圖像。
[0005]非局部性均值超分辨方法的核心在于找到盡可能多的相似塊，并且使相似塊具有較高的權值。為此，界業(yè)提出了一種超分辨率重建方法。所述超分辨率重建就是通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程，其核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率，實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。
[0006]現(xiàn)有的超分辨率重建方法通過使用動態(tài)的搜索機制，合理地選擇塊和搜索窗口的大小，更精確地衡量塊之間的相似性，并且利用了搜索窗口重定位和具有旋轉(zhuǎn)不變性的相似性度量的方法，使得該方法可以找到更多的相似塊，相比于傳統(tǒng)的非局部性均值超分辨方法有更好的恢復效果。
[0007]無論是傳統(tǒng)的非局部性均值超分辨方法還是現(xiàn)有的超分辨率重建方法，都使用了候選塊和參考塊的灰度差異作為衡量相似性的重要指標，而事實上，圖像的灰度非常容易被光照影響，在復雜的光照條件下，臨近幀的同一景物的灰度差異也可能非常大，在這種情況下，由于不能找到相似的塊或者塊的權值度量不準確，上述方法的性能都會受到很大的影響。


【發(fā)明內(nèi)容】

[0008]本發(fā)明提供一種超分辨率方法和裝置，以避免光照影響，在復雜的光照條件下相對準確地衡量塊之間的相似性，進而獲得效果較好的高分辨率圖像。
[0009]為此，本發(fā)明實施例提供如下技術方案:
[0010]一種超分辨率方法，包括:
[0011]獲取低分辨率圖像序列；
[0012]依次提取所述低分辨率圖像序列當前幀中的目標塊及所述目標塊的候選塊；
[0013]計算各候選塊與所述目標塊的灰度相似度和結構相似度；
[0014]根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值；
[0015]對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。
[0016]優(yōu)選地，所述提取當前幀中的目標塊包括:以所述當前幀中每個點為中心提取目標塊；
[0017]所述提取所述目標塊的候選塊包括:以當前幀及其前一幀和后一幀中的每個點為中心提取所述目標塊的候選塊。
[0018]優(yōu)選地，所述計算各候選塊與所述目標塊的灰度相似度包括:
_9]樣,，u)=^fXPp-(2t)}5其中，
[0020]dmt(k,Uj) = mm(\\ Rk1Yt-R1JfW1J RtjY-RfjFustw(YM)，
[0021]QikJ)= Σ exp{-^4^1
(Lj)GNiJU) I^I
[0022]其中:
[0023](k, I)為目標塊的中心點坐標，Rtl為目標塊；
[0024](i, j)是候選塊的中心點坐標，Ri；J為候選塊；
[0025]wint (k, I, i, j)是候選塊與目標塊的灰度相似度；
[0026]Yt表示經(jīng)過插值后得到的序列中的第t幀；
[0027]σ i是預設的平滑系數(shù)。
[0028]優(yōu)選地，所述計算各候選塊與所述目標塊的結構相似度包括:

I ? WDkl-Dl Ilf
[0029]\Vxh.(k, /.，/, j) =,、C\p\--1.2 \，其中，
C2(KJ) L Iu1
?▽ ? Il A； - '1}
[0030]? 2 (々，/.)= Σ expj--? 2 I
(LmmJ) 丨上°\ I
V^ 9
[0031]其中:
[0032]wstr (k, I, i, j)是候選塊與目標塊的結構相似度；
[0033]Dk；1是以(k，I)為中心點的目標塊的結構信息描述子；
[0034]Di；J是以(i，j)為中心點的候選塊的結構信息描述子；
[0035]Q2是預設的平滑系數(shù)。
[0036]優(yōu)選地，所述方法還包括:
[0037]按以下方式確定所述候選塊或目標塊的結構信息描述子:
[0038]以所述候選塊或目標塊的中心點為中心建立一個方形區(qū)域；
[0039]將此方形區(qū)域分為4*4個子區(qū)域；
[0040]確定每個子區(qū)域的水平方向Haar小波dx，垂直方向的Haar小波dy ；
[0041]統(tǒng)計每個子區(qū)域的Σ dx, Σ dy, Σ dx | , Σ I dy | ,得到一個4*4*4維的向量；
[0042]將所述4*4*4維的向量轉(zhuǎn)化為單位向量,獲得所述候選塊或目標塊的局部信息描述子。
[0043]優(yōu)選地，所述根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值包括:
[0044]所述候選塊的權值為:MkJJJ)=c:k ^ (Wstr(k,I,i, j) + {k,I,i, j))，其中，
[0045]Ciik，1)= Σ (witr(k,I,i, j) + Pwmi(k,I,i, j)),
[0046]β為灰度權重系數(shù)。
[0047]優(yōu)選地，所述方法還包括:
[0048]在依次提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊之前，基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度。
[0049]優(yōu)選地，所述方法還包括:
[0050]在基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度之前，對所述圖像序列進行插值處理。
[0051]一種超分辨率裝置，包括:
[0052]圖像序列獲取單元，用于獲取低分辨率圖像序列；
[0053]提取單元，用于依次提取所述低分辨率圖像序列當前幀中的目標塊及所述目標塊的候選塊；
[0054]計算單元，用于計算各候選塊與所述目標塊的灰度相似度和結構相似度；
[0055]權值確定單元，用于根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值；
[0056]圖像恢復單元，用于對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。
[0057]優(yōu)選地，所述提取單元，具體用于以所述當前幀中每個點為中心提取目標塊，以當前幀及其前一幀和后一幀中的每個點為中心提取所述目標塊的候選塊。
[0058]優(yōu)選地，所述權值確定單元，具體用于按以下公式確定所述候選塊的權值:

I
[0059]Mk,Lhj)=(Wstr(k,/,/:, j) + fiwmt(k,I,i,j))，其中，


(3 (/(，/)
[0060]wstr (k, I, i, j)是候選塊與目標塊的灰度相似度；
[0061]wint (k, I, i, j)是候選塊與目標塊的灰度相似度；
[0062]cAkJ)= Σ+ WJk,1, L J))，
[0063]β為灰度權重系數(shù)。
[0064]優(yōu)選地，所述裝置還包括:
[0065]對比度調(diào)整單元，用于在所述提取單元依次提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊之前，基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度。
[0066]優(yōu)選地，所述裝置還包括:
[0067]插值處理單元，用于在所述對比度調(diào)整單元基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度之前，對所述圖像序列進行插值處理。
[0068]本發(fā)明提供的超分辨率方法和裝置，通過調(diào)整幀與幀之間的對比度，并且合理地選擇候選幀，可以找到更多的相似塊。因為圖像局部結構信息即使在復雜的光照條件下仍然比較穩(wěn)定，所以本發(fā)明考慮了塊之間的結構相似性，通過將灰度相似性和結構相似性合理地結合，并賦予每項合理的權重，能夠在復雜的光照條件下相對準確地衡量塊之間的相似性，進而獲得效果較好的高分辨率圖像。

【專利附圖】

【附圖說明】
[0069]圖1是本發(fā)明實施例超分辨率方法的流程圖；
[0070]圖2是本發(fā)明實施例超分辨率裝置的一種結構示意圖；
[0071]圖3是本發(fā)明實施例超分辨率裝置的另一種結構示意圖；
[0072]圖4是本發(fā)明實施例超分辨率裝置的另一種結構示意圖。

【具體實施方式】
[0073]下面將參考附圖并結合實施例，來詳細說明本發(fā)明。
[0074]由于現(xiàn)有技術中基于非局部性均值的相關方法不適用于復雜光照環(huán)境的原因是因為直接使用了圖像的灰度信息衡量塊的相似性，為此，本發(fā)明實施例提供一種超分辨率方法和裝置，不直接使用灰度信息，而是使用進行過修正后的灰度信息和圖像的結構信息來衡量塊的相似性，從而可以適用于復雜的光照環(huán)境，能夠在復雜的光照條件下相對準確地衡量塊之間的相似性，進而獲得效果較好的高分辨率圖像。
[0075]如圖1所示，是本發(fā)明實施例超分辨率方法的流程圖，包括以下步驟:
[0076]步驟101，獲取圖像序列。
[0077]步驟102，依次提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊。
[0078]需要說明的是，在提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊之前，還可以首先對所述圖像序列進行插值處理，以得到高分辨率的圖像。具體地，可以采用雙線性插值方法等。
[0079]另外，為了更好地度量塊的相似度，在實際應用中，還可以在步驟101和步驟102之間包括以下步驟:基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度，以使幀與幀之間的灰度值相似。
[0080]由于NLM (高噪聲改進)算法必須依賴準確的相似性度才能產(chǎn)生比較好的恢復結果，因此，在本發(fā)明實施例中，調(diào)整幀與幀之間的對比度，從而使幀之間的灰度值相似，以便更好地度量塊的相似性。
[0081]在本發(fā)明實施例中，可以在當前幀中，以每個點為中心提取目標塊。相應地，以當前幀及其前一幀和后一幀中的每個點為中心提取所述目標塊的候選塊。
[0082]步驟103，計算各候選塊與所述目標塊的灰度相似度和結構相似度。
[0083]在本發(fā)明實施例中，可以按以下公式計算候選塊與目標塊的灰度相似度Wint:
[0084]W；,? (kJ.Lj)= 1 exp 1- ^
C1(M) [ 2σ丨 J，⑴
[0085]其中，(k，I)是目標塊的中心點坐標，(i，j)是候選塊的中心點坐標。
[0086]dint的計算如下:
[0087]d.Jk,IJ, j)=勝:《(|| RklYt-Ri jYfWlW RkjYt-RijFhistw{Yf)\?2)(2 )
[0088]其中，F(xiàn)histw表示對圖像做基于搜索窗口的直方圖均衡化，Yt表示序列中第t幀圖像，Riu表示從圖像中提取出以(k，I)為中心點的目標塊，Yt表示經(jīng)過插值后得到的序列中的第t幀。
[0089]C1 (k, I)的計算如下:
[0090](\{U)= Σ(3)
[0091]其中，σ i為平滑系數(shù)，負責調(diào)整參數(shù)權重，使其在0-1之間盡量均勻分布。
[0092]本發(fā)明對經(jīng)典的SURF (Speeded-Up Robust Feature)局部特征描述子進行了簡化，從而獲得圖像的局部結構信息描述子，主要過程如下:
[0093]以塊的中心點為中心建立一個方形區(qū)域；
[0094]將此方形區(qū)域分為4*4個子區(qū)域；
[0095]計算每個子區(qū)域的水平方向Haar小波dx,垂直方向的Haar小波dy ；
[0096]統(tǒng)計每個子區(qū)域的Σ dx, Σ dy, Σ dx | , Σ dy ；
[0097]得到一個4*4*4維的向量，并把它轉(zhuǎn)化為單位向量從而獲得圖像的局部信息描述子。
[0098]不同方向的Haar小波包含了重要的圖像局部的結構信息，同時，將向量轉(zhuǎn)換為單位向量可以避免序列光照變化帶來的影響。
[0099]為此，本發(fā)明實施例中可以如下定義候選塊與目標塊的結構相似度Wsfe:

I ? I !),.,-!): !；1
[0100]?Κι」、=r n.exp]--'.2: ?
( “々,/) [ 2A j，(4)
[0101]其中，Diu表示以(k，l)為中心點的目標塊的結構信息描述子，Di;j是以(i，j)為中心點的候選塊的結構信息描述子，σ 2為一個平滑系數(shù)，負責調(diào)整參數(shù)權重，使其在0-1之間盡量均勻分布；
?I) ,-1).,!!；]
[0102](20U)= Yj expJ--' 2 '.'丨 ~ [
(j,j)€N(kJ) [J(5)
[0103]步驟104，根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值。
[0104]選取合適的參數(shù)將結構相似度和灰度相似度結合，獲得目標塊和候選塊之間的光照不變性的相似度度量，即候選塊的權值。
[0105]具體地，本發(fā)明實施例將具有光照不變性的相似度度量即所述候選塊的權值定義如下:
[0106]、'.(k，Z，./) = r \ ,, (K,, (k,!/) + (kJ-1- J))




^6)
[0107]其中參數(shù)β用來平衡結構相似度和灰度相似度的權重，wint，Wsta如公式(I) (4)所述，C3 (k，I)定義如下:
[0108]C3(M)= Σ (Hk,iJJ) + fiwint(kJJJ))(7)

HJ)eN(kJ)
[0109]正如上文所提及的，當搜索窗口中包含前景和背景的物體時，光照調(diào)整很可能帶來誤差，在這種情況下，應該增大結構相似度的權重，減小灰度相似度的權重。經(jīng)過實驗發(fā)現(xiàn)，dint很小的塊大多數(shù)屬于上述情況，所以本發(fā)明實施例根據(jù)dint決定參數(shù)β的值，如下所示:
^ Ω [A> if swn(dM)<0
[0110]^ = I?(8)

if sum{dM)>0
[0111]其中dint的定義如上述公式(2)所示。
[0112]步驟105，對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。
[0113]對于任意點(k，l)，有:
「? 滅 A=Σ啡…，Γ]Σ(講雄，U./，徹(U)
[0114]IvSSi^K^ Ij ~，



(9)
[0115]其中，Res(k，l)為該點最終復原結果，t為參考幀，N(k，I)為圖像中(k.1)點的鄰域(實際應用中取值為以(k，I)為中心21*21像素的鄰域)，[1....T]為輸入的經(jīng)過插值的圖像序列。
[0116]經(jīng)過上述過程，便可以得到圖像中任意一點的復原結果，從而復原了超分辨率的原始圖像。
[0117]在實際應用中，以圖像中每幀圖像上每個點為中心取目標塊，按照上述過程恢復目標塊中心點的圖像值，即可獲得高分辨率圖像；將視頻序列中每幀圖像按照上述方法處理，即可獲得高分辨率的視頻序列。
[0118]下面以視頻序列中某一幀進行3倍放大的超分辨率重建問題為例，對本發(fā)明實施例的方法作進一步地詳細描述。
[0119]步驟一:預處理
[0120]對于輸入的視頻序列，采用雙線性插值方法，將每一幀的兩個方向上分別插到原先的三倍大小。
[0121]步驟二:對候選塊和目標塊進行灰度相似度的度量
[0122]本發(fā)明實施例的超分辨率方法，通過調(diào)整幀與幀之間的對比度，使得幀與幀之間有相似的視覺效果，從而解決光照帶來的影響，充分利用了灰度信息。進一步地，本發(fā)明實施例的超分辨率方法，采用直方圖均衡化調(diào)整幀間的對比度。本發(fā)明采用基于搜索窗口尺度的調(diào)整，它可以適應局部的光照變化，同時也包含足夠多的像素點。
[0123]因為圖像的前景和背景即使在相同的光照條件下也會有不同的反射效果，所以當搜索窗口包含前景和背景物體時，直方圖均衡化調(diào)整很可能帶來較大的誤差。在這種情況下，本發(fā)明實施例的方法并不是簡單地選取經(jīng)過調(diào)整的塊作為候選塊，而是經(jīng)過如上述公式(2 )的處理，從而可以使本發(fā)明實施例的方法適用于穩(wěn)定光照條件下的視頻序列。
[0124]候選塊與目標塊之間的灰度相似度Wint的計算參照上述公式(I)。
[0125]步驟三:對候選塊和目標塊進行結構相似度的度量
[0126]候選塊與目標塊之間的結構相似度Wsfe的計算可參照上述公式(4)。
[0127]步驟四:對候選塊和目標塊具有光照不變性的相似度度量
[0128]本發(fā)明實施例通過將灰度相似度和結構相似度結合從而獲得具有光照不變性的相似度度量。具體計算公式可參照上述公式(6)。
[0129]步驟五:超分辨圖像恢復
[0130]得到候選塊的權值后，將每一個候選塊的中心像素值加權平均，得到目標塊的中心像素值。
[0131]通過上述過程，可以得到圖像任意一點的復原結果，從而復原了超分辨率的原始圖像。
[0132]通過實驗表明，利用本發(fā)明實施例的超分辨率方法，得到的圖像相比于現(xiàn)有技術中非局部均值超分辨率方法得到的圖像不僅更為平滑，而且保留了較多細節(jié)。
[0133]相應地，本發(fā)明實施例還提供一種超分辨率裝置，如圖2所示，是該裝置的一種結構示意圖。
[0134]在該實施例中，所述裝置包括:
[0135]圖像序列獲取單元201，用于獲取低分辨率圖像序列；
[0136]提取單元202，用于依次提取所述低分辨率圖像序列當前幀中的目標塊及所述目標塊的候選塊；
[0137]計算單元203，用于計算各候選塊與所述目標塊的灰度相似度和結構相似度；
[0138]權值確定單元204，用于根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值；
[0139]圖像恢復單元205，用于對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。具體加權平均的計算過程可參照前面本發(fā)明實施例的方法中的描述。
[0140]在該實施例中，提取單元202具體可以以所述當前幀中每個點為中心提取目標塊，以當前幀及其前一幀和后一幀中的每個點為中心提取所述目標塊的候選塊。
[0141]另外，計算單元203計算各候選塊與所述目標塊的灰度相似度和結構相似度同，以及權值確定單元204確定所述候選塊的權值的過程可以參照前面本發(fā)明實施例的方法中的描述，在此不再贅述。
[0142]如圖3所示，是本發(fā)明實施例超分辨率裝置的另一種結構示意圖。
[0143]與圖2所示實施例不同的是，在該實施例中，所述裝置還進一步包括:
[0144]對比度調(diào)整單元401，用于在所述提取單元202依次提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊之前，基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度。
[0145]如圖4所示，是本發(fā)明實施例超分辨率裝置的另一種結構示意圖。
[0146]與圖3所示實施例不同的是，在該實施例中，所述裝置還進一步包括:
[0147]插值處理單元501，用于在所述對比度調(diào)整單元401基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度之前，對所述圖像序列進行插值處理。
[0148]利用本發(fā)明實施例的超分辨率裝置，得到的圖像相比于現(xiàn)有技術中非局部均值超分辨率方法得到的圖像不僅更為平滑，而且保留了較多細節(jié)。
[0149]顯然，本領域的技術人員應該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結合。
[0150]以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權利要求】
1.一種超分辨率方法，其特征在于，包括: 獲取低分辨率圖像序列； 依次提取所述低分辨率圖像序列當前幀中的目標塊及所述目標塊的候選塊； 計算各候選塊與所述目標塊的灰度相似度和結構相似度； 根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值； 對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。
2.根據(jù)權利要求1所述的方法，其特征在于， 所述提取當前幀中的目標塊包括:以所述當前幀中每個點為中心提取目標塊； 所述提取所述目標塊的候選塊包括:以當前幀及其前一幀和后一幀中的每個點為中心提取所述目標塊的候選塊。
3.根據(jù)權利要求1所述的方法，其特征在于，所述計算各候選塊與所述目標塊的灰度相似度包括:樣’其中，dmt{kJJ,j) = min(\\ RkjYt-RljYrM12M RkjYt-RtjFusm(YX)， C#，/)= Σ 其中: (k, I)為目標塊的中心點坐標，Riu為目標塊； (i, j)是候選塊的中心點坐標，Riij為候選塊； wint (k，I, i, j)是候選塊與目標塊的灰度相似度； Yt表示經(jīng)過插值后得到的序列中的第t幀； O!是預設的平滑系數(shù)。
4.根據(jù)權利要求3所述的方法，其特征在于，所述計算各候選塊與所述目標塊的結構相似度包括:
,,,、 I ? II Α/-??；Ι?Γ
(k，/, 1.j) =exp\--2 卜其中， ?，^ ? I (2(免，/)= Z1 exP1--^—2-f
iij)eN(kJ)[ΙστJ， 其中: Wstr (k, I, i, j)是候選塊與目標塊的結構相似度； Diu是以(k，I)為中心點的目標塊的結構信息描述子； Diij是以(i，j)為中心點的候選塊的結構信息描述子； σ2是預設的平滑系數(shù)。
5.根據(jù)權利要求4所述的方法，其特征在于，所述方法還包括: 按以下方式確定所述候選塊或目標塊的結構信息描述子: 以所述候選塊或目標塊的中心點為中心建立一個方形區(qū)域； 將此方形區(qū)域分為4*4個子區(qū)域； 確定每個子區(qū)域的水平方向Haar小波dx,垂直方向的Haar小波dy ； 統(tǒng)計每個子區(qū)域的Σ dx, Σ dy, Σ dx I , Σ I dy | ,得到一個4*4*4維的向量； 將所述4*4*4維的向量轉(zhuǎn)化為單位向量,獲得所述候選塊或目標塊的局部信息描述子。
6.根據(jù)權利要求4所述的方法，其特征在于，所述根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值包括: 所述候選塊的權值為:?認/) = ^^(^0:，/，/，/)+鄭^認,/，0))，其中， C3(kJ)= Σ (WsnXkJJJ) +Pw1JkJJJ))，

(i,f)eN(k,n β為灰度權重系數(shù)。
7.根據(jù)權利要求1至6任一項所述的方法，其特征在于，所述方法還包括: 在依次提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊之前，基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度。
8.根據(jù)權利要求7所述的方法，其特征在于，所述方法還包括: 在基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度之前，對所述圖像序列進行插值處理。
9.一種超分辨率裝置，其特征在于，包括: 圖像序列獲取單元，用于獲取低分辨率圖像序列； 提取單元，用于依次提取所述低分辨率圖像序列當前幀中的目標塊及所述目標塊的候選塊； 計算單元，用于計算各候選塊與所述目標塊的灰度相似度和結構相似度； 權值確定單元，用于根據(jù)所述灰度相似度和結構相似度，確定所述候選塊的權值；圖像恢復單元，用于對各候選塊中心點的像素值進行加權平均，并將得到的加權平均值作為所述目標塊的中心點的圖像值。
10.根據(jù)權利要求9所述的裝置，其特征在于， 所述提取單元，具體用于以所述當前幀中每個點為中心提取目標塊，以當前幀及其前一中貞和后一巾貞中的每個點為中心提取所述目標塊的候選塊。
11.根據(jù)權利要求9所述的裝置，其特征在于， 所述權值確定單元，具體用于按以下公式確定所述候選塊的權值:
Hk, /，K j) = -_____j,______.r (Wsfr (k, /，i, j) + (k, I, i, j))，其中，

1,3 Wstr (k, I, i, j)是候選塊與目標塊的灰度相似度； wint (k，I, i, j)是候選塊與目標塊的灰度相似度； Ci(Ki)= σ β為灰度權重系數(shù)。
12.根據(jù)權利要求9至11任一項所述的裝置，其特征在于，所述裝置還包括: 對比度調(diào)整單元，用于在所述提取單元依次提取所述圖像序列各幀中的目標塊及所述目標塊的候選塊之前，基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度。
13.根據(jù)權利要求12所述的裝置，其特征在于，所述裝置還包括: 插值處理單元，用于在所述對比度調(diào)整單元基于搜索窗口調(diào)整所述圖像序列中幀與幀之間的對比度之前，對所述圖像序列進行插值處理。
【文檔編號】G06T5/00GK104182931SQ201310190494
【公開日】2014年12月3日 申請日期:2013年5月21日 優(yōu)先權日:2013年5月21日
【發(fā)明者】王夢巖, 劉家瑛, 白蔚, 郭宗明 申請人:北京大學, 北大方正集團有限公司, 北京北大方正電子有限公司