專利名稱：基于子空間投影和鄰域嵌入的圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理的方法，尤其涉及一種基于子空間投影和鄰域嵌入的圖像超分辨率重建方法。
背景技術(shù)：
圖像超分辨率(Super Resolution, SR)重建技術(shù)是指利用在同一場(chǎng)景不同觀測(cè)角度、不同觀測(cè)時(shí)間或不同傳感器情況下捕獲到的一幅或多幅低分辨率(Low Resolution,LR)圖像中的相互信息，采用數(shù)字圖像處理的方法來(lái)重建出一幅高分辨率(HighResolution,HR)圖像。這種重建技術(shù)能夠在電荷I禹合器件(Charge Coupled Device,CO))等硬件設(shè)備限定的條件下，通過(guò)一幅或多幅低分辨率圖像來(lái)估計(jì)出其丟失的高頻信息。在遙感衛(wèi)星、軍事偵察、醫(yī)學(xué)成像、安全監(jiān)控以及交通管理等領(lǐng)域，圖像超分辨率重建技術(shù)不 僅具有重要的研究?jī)r(jià)值，也具有廣泛的應(yīng)用前景。圖像超分辨率重建的實(shí)質(zhì)是如何解決丟失高頻信息的精確估計(jì)問(wèn)題，這是ー個(gè)經(jīng)典的ー對(duì)多病態(tài)問(wèn)題，對(duì)這ー問(wèn)題的理論和應(yīng)用研究仍處于探索階段，圖像超分辨率重建方法的時(shí)間效率和超分辨率重建圖像的質(zhì)量等方面都有待進(jìn)ー步的提高?，F(xiàn)有的圖像超分辨率重建方法主要分為插值、重構(gòu)和學(xué)習(xí)三大類。插值法是ー種利用已知的近鄰點(diǎn)值來(lái)估計(jì)出待插值點(diǎn)值的方法，這類方法很難估計(jì)出丟失的高頻信息。重構(gòu)法是利用多幅低分辨率圖像之間的相互信息綜合估計(jì)出高頻信息，其重建效果比插值法的要好。不過(guò)，重構(gòu)法需要多幅精確配準(zhǔn)后的低分辨率圖像，目前多數(shù)圖像配準(zhǔn)算法的精度都不是很高，會(huì)影響超分辨率重建圖像的質(zhì)量。學(xué)習(xí)法是先學(xué)習(xí)訓(xùn)練庫(kù)中低分辨率圖像塊與高分辨率圖像塊之間的對(duì)應(yīng)關(guān)系，并依據(jù)這種關(guān)系來(lái)估計(jì)出與待重建低分辨率圖像塊相對(duì)應(yīng)的高分辨率圖像塊。學(xué)習(xí)法能夠?qū)崿F(xiàn)單幅圖像超分辨率重建，不需對(duì)圖像進(jìn)行配準(zhǔn)，且能從訓(xùn)練庫(kù)中獲取到更多的高頻信息，從而得到更好的重建效果。因此，學(xué)習(xí)法是目前圖像超分辨率重建技術(shù)的研究熱點(diǎn)。基于鄰域嵌入的圖像超分辨率重建是學(xué)習(xí)法中的ー個(gè)重要分支，近年來(lái)取得良好的研究成果。Chang 等(文獻(xiàn) I :H. Chang, D. -Y. Yeung, and Y. Xiong, ^Super-resolutionthrough neighbor embedding”， IEEE Conference on Computer Vision PatternRecognition, pp. 275-282，2004)首先提出利用鄰域嵌入的思想來(lái)實(shí)現(xiàn)圖像超分辨率重建，這種方法是在低分辨率圖像塊和對(duì)應(yīng)的高分辨率圖像塊具有相似局部幾何特征假設(shè)的前提下，針對(duì)姆個(gè)待重建低分辨率圖像塊，利用局部線性嵌入(Locally Linear Embedding,LLE)算法來(lái)計(jì)算出若干個(gè)與待重建低分辨率圖像塊相似的訓(xùn)練低分辨率圖像塊的嵌入權(quán)重系數(shù)，每個(gè)相似的訓(xùn)練低分辨率圖像塊作為ー個(gè)鄰域塊，進(jìn)而用這些嵌入權(quán)重系數(shù)和相應(yīng)的鄰域塊來(lái)綜合估計(jì)出重建后的高分辨率圖像塊。不過(guò)，該方法沒(méi)有考慮圖像塊類型和鄰域塊數(shù)目對(duì)超分辨率重建效果的影響。隨后，Chan等(文獻(xiàn)2 T. -M. Chan, J. Zhang,j. Pu, and H. Huang, “Neighbor embedding based super-resolution algorithm throughedge detection and feature selection，，，Pattern Recognition Letters, vol. 30,pp. 494-502,2009)提出一種基于邊緣檢測(cè)和特征選取的鄰域嵌入算法，這種方法能夠根據(jù)圖像塊的類型(邊緣和非邊緣)來(lái)確定要選取鄰域塊的數(shù)目，然而，當(dāng)輸入待重建低分辨率圖像存在嚴(yán)重的模糊效應(yīng)吋，該算法會(huì)很難判斷出圖像塊的類型，使得超分辨率重建效果不佳。Zhang 等(文獻(xiàn) 3 K. Zhang, X. Gao, X. Li, and D. Tao, “Partially supervisedneighbor embedding for example-based image super-resolution，，，IEEE Journal ofSelected Topics in Signal Processing, vol. 5, no. 2, pp. 230-239,2011)利用類別標(biāo)簽信息來(lái)構(gòu)造出ー個(gè)半監(jiān)瞀的距離函數(shù)，根據(jù)這個(gè)半監(jiān)瞀的距離函數(shù)能從訓(xùn)練庫(kù)中選取出更多與待重建低分辨率圖像塊匹配的鄰域塊，該方法的超分辨率重建效果在一定程度上依賴于分類器的識(shí)別精度。文獻(xiàn)I 3中所述的算法都是在原始高維特征空間上尋找若干個(gè)鄰域塊，由于原始特征向量的維數(shù)很大，只依靠某種距離函數(shù)來(lái)尋找鄰域塊，尋找到的鄰域塊與待重建低分辨率圖像塊之間的相似度不高。特征降維是解決上述問(wèn)題的ー種可行方法，基于這一思路，Gao 等(文獻(xiàn) 4 X. Gao, K. Zhang, D. Tao, and X. Li, “Joint learningfor single image super-resolution via coupled constraint，，，IEEE Transactions onImage Processing, 2011)提出用聯(lián)合學(xué)習(xí)法來(lái)將訓(xùn)練低、高分辨率特征向量同時(shí)投影到一個(gè)低維特征子空間上，進(jìn)而在這個(gè)低維特征子空間上尋找出若干個(gè)與待重建低分辨率圖像塊匹配的鄰域塊。雖然文獻(xiàn)4用到了特征降維的方法，但當(dāng)原始低、高分辨率特征向量同時(shí)投影到統(tǒng)ー的低維特征子空間上時(shí)，由于原始高分辨率特征向量的維數(shù)要比原始低分辨率特征向量的大，不可避免地會(huì)損傷原始高分辨率特征向量中的有用信息，對(duì)尋找匹配的鄰域塊也會(huì)產(chǎn)生不良影響。另外，文獻(xiàn)I 4的算法在計(jì)算嵌入權(quán)重系數(shù)時(shí)都是采用局部線性嵌入算法，計(jì)算出來(lái)的嵌入權(quán)重系數(shù)有可能為負(fù)值，這會(huì)影響近鄰訓(xùn)練高分辨率圖像塊所能提供高頻信息的程度，且該算法的計(jì)算復(fù)雜度高，運(yùn)算速度慢。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于子空間投影和鄰域嵌入的圖像超分辨率重建方法，該方法實(shí)現(xiàn)更有效的特征降維，更準(zhǔn)確地估計(jì)出重建后高分辨率圖像塊，重建圖像與真實(shí)物體之間的相似度更高，超分辨率重建效果更好。本發(fā)明解決其技術(shù)問(wèn)題，所采用的技術(shù)方案為A、訓(xùn)練將L幅分辨率相同、大小相同的高分辨率圖像作為訓(xùn)練高分辨率圖像,1 = 1,2，…，L，L = 3 80 ;對(duì)每幅訓(xùn)練高分辨率圖像進(jìn)行重疊分塊后得到N1個(gè)大小為z*z的訓(xùn)練高分辨率圖像塊，N1 = 1000 7000，z = 6,9,12，15，共得到N = L^N1個(gè)訓(xùn)練高分辨率圖像塊，提取每個(gè)訓(xùn)練高分辨率圖像塊的標(biāo)準(zhǔn)化亮度特征后作為ー個(gè)訓(xùn)練高分辨率標(biāo)準(zhǔn)化亮度特征圖像塊，將第i個(gè)訓(xùn)練高分辨率標(biāo)準(zhǔn)化亮度特征圖像塊按一列一列的順序轉(zhuǎn)換為第i個(gè)訓(xùn)練高分辨率特征向量，i = 1,2,…，N，每個(gè)訓(xùn)練高分辨率特征向量的維數(shù)均為Cl1 = z2，所有訓(xùn)練高分辨率特征向量(I ^ i ^ N)組成ー個(gè)訓(xùn)練高分辨率特征矩陣
Ys=[y；,ys2,-,ysN]；對(duì)第1(1 < I < L)幅訓(xùn)練高分辨率圖像做a倍下采樣處理，a = 2，3，4，5，得到對(duì)應(yīng)的第I幅訓(xùn)練低分辨率圖像，再對(duì)每幅訓(xùn)練低分辨率圖像做a倍上采樣處理后得到對(duì)應(yīng)的訓(xùn)練插值圖像，提取每幅訓(xùn)練插值圖像的ー階水平、ー階垂直和ニ階水平、ニ階垂直梯度特征，同時(shí)對(duì)這四幅梯度特征圖像進(jìn)行重疊分塊，每幅訓(xùn)練插值圖像重疊分塊后得到4*Ni個(gè)大小為z*z的訓(xùn)練低分辨率梯度特征圖像塊，共得到4*N個(gè)訓(xùn)練低分辨率梯度特征圖像塊，每四個(gè)訓(xùn)練低分辨率梯度特征圖像塊作為一個(gè)訓(xùn)練低分辨率梯度特征圖像塊組，將第i個(gè)訓(xùn)練低分辨率梯度特征圖像塊組按一列一列的順序轉(zhuǎn)換為第i個(gè)訓(xùn)練低分辨率特征向量<，姆個(gè)訓(xùn)練低分辨率特征向量<的維數(shù)均為d2 = 4*z2，所有訓(xùn)練低分辨率特征向量(I彡i彡N)組成ー個(gè)訓(xùn)練低分辨率特征矩陣Is， ，<];B、預(yù)處理輸入待重建低分辨率圖像Rd，其分辨率與所有訓(xùn)練低分辨率圖像(I ^ I ^ L)的分辨率相同，將待重建低分辨率圖像Rd進(jìn)行a倍上采樣處理后得到待重建插值圖像R%提取待重建插值圖像K的ー階水平、ー階垂直和ニ階水平、ニ階垂直梯度特征，同時(shí)對(duì)這四幅梯度特征圖像進(jìn)行重疊分塊后共得到4*N2個(gè)大小為z*z的待重建低分辨率梯度特征圖像塊，N2 = 1000 7000，每四個(gè)待重建低分辨率梯度特征圖像塊作為一個(gè)待重建低分辨率梯度特征圖像塊組，將第j個(gè)待重建低分辨率梯度特征圖像塊組按一列一列的順序轉(zhuǎn)換為第j個(gè)待重建低分辨率特征向量ズ)，j = 1,2,…,隊(duì),姆個(gè)待重建低分辨率特征向量ぶ)的維數(shù)與所有訓(xùn)練低分辨率特征向量(I ^N)的維數(shù)相同，均為d2 = 4*z2，所有待重建低分辨率特征向量ズ)(I彡j彡N2)組成ー個(gè)待重建低分辨率特征矩陣ズz =[x[,Xt2,■■■,C、超分辨率重建Cl、子特征矩陣生成對(duì)步驟B中得到的每個(gè)待重建低分辨率特征向量<(I ^ j ^ N2)，依次在步驟A得到的訓(xùn)練低分辨率特征矩陣JTs =中尋找出與第j個(gè)待重建低分辨率特征向量<之間歐氏距離最小的n-1 = 100 300個(gè)訓(xùn)練低分辨率特征向量，將第j個(gè)待重建低分辨率特征向量*^.作為子特征向量Xlj,并將尋找到的n-1個(gè)訓(xùn)練低分辨率特征向量按與第j個(gè)待重建低分辨率特征向量*^之間歐氏距離從小到大依次作為子特征向量％，X3j,…，Xnj.,由此組成第j個(gè)子特征矩陣Iy = {x^=l;C2、降維特征矩陣生成采用一、ニ級(jí)子空間投影方法，將第j個(gè)子特征矩陣Xj Kl1進(jìn)行特征降維，每個(gè)子特征向量V J(I彡i' ^n)投影到一個(gè)低維子空間上，共得到n個(gè)降維特征向量{，每個(gè)降維特征向量*^^的維數(shù)為m < d2 ;每個(gè)子特征向量Xi, j與對(duì)應(yīng)的降維特征向量形成一一映射關(guān)系，經(jīng)一、ニ級(jí)子空間投影后，維數(shù)為d2的子特征向量Xi, j轉(zhuǎn)換成維數(shù)為m的降維特征向量，實(shí)現(xiàn)特征降維，所有降維特征向量4 (I彡i'彡n)組成第j個(gè)降維特征矩陣又
權(quán)利要求
1.一種基于子空間投影和鄰域嵌入的圖像超分辨率重建方法，包括以下步驟 A、訓(xùn)練 將L幅分辨率相同、大小相同的高分辨率圖像作為訓(xùn)練高分辨率圖像，1 = 1,2,-,L，L = 3 80 ;對(duì)每幅訓(xùn)練高分辨率圖像進(jìn)行重疊分塊后得到N1個(gè)大小為z*z的訓(xùn)練高分辨率圖像塊，N1 = 1000 7000，z = 6,9,12，15，共得到N = L^N1個(gè)訓(xùn)練高分辨率圖像塊，提取每個(gè)訓(xùn)練高分辨率圖像塊的標(biāo)準(zhǔn)化亮度特征作為一個(gè)訓(xùn)練高分辨率標(biāo)準(zhǔn)化亮度特征圖像塊，將第i個(gè)訓(xùn)練高分辨率標(biāo)準(zhǔn)化亮度特征圖像塊按一列一列的順序轉(zhuǎn)換為第i個(gè)訓(xùn)練高分辨率特征向量，i = 1,2,…，N，每個(gè)訓(xùn)練高分辨率特征向量的維數(shù)均為(I1 = Z2,所有訓(xùn)練高分辨率特征向量(I < i < N)組成一個(gè)訓(xùn)練高分辨率特征矩陣
2.根據(jù)權(quán)利要求I所述的圖像超分辨率重建方法，其特征在于，所述的步驟C2中采用一、二級(jí)子空間投影方法，將第j個(gè)子特征矩陣Xy 巧=1進(jìn)行特征降維后得到第j個(gè)降維特征矩陣X；的具體做法為 一級(jí)子空間投影 計(jì)算出第j個(gè)子特征矩陣Xy = {Xfj巧=1對(duì)應(yīng)的第j個(gè)徑向基核函數(shù)矩陣Kj = {Kw}lM = {exp(-|| xiy — xfj H21H’q，其中第j個(gè)徑向基核函數(shù)的參數(shù)為
3.根據(jù)權(quán)利要求I所述的圖像超分辨率重建方法，其特征在于，所述的步驟C3中聯(lián)合 第j個(gè)相似度組{
全文摘要
一種基于子空間投影和鄰域嵌入的圖像超分辨率重建方法，它先采用一、二級(jí)子空間投影方法將原始高維數(shù)據(jù)投影到低維空間，用降維特征向量表示低分辨率圖像塊的特征，既保留原始數(shù)據(jù)的全局結(jié)構(gòu)信息，又保留局部結(jié)構(gòu)信息；再在低維空間比較降維特征向量之間的歐氏距離，找出與待重建低分辨率圖像塊最為匹配的鄰域塊，并由特征向量之間的相似度和比例因子來(lái)構(gòu)造出更準(zhǔn)確的嵌入權(quán)重系數(shù)，提高了搜索速度和匹配精度；接著構(gòu)造出特征向量間的相似度和比例因子，計(jì)算出更精確的權(quán)重系數(shù)，從訓(xùn)練庫(kù)中獲取到更多的高頻信息；最后，根據(jù)權(quán)重系數(shù)和鄰域塊估計(jì)出精度更高的高分辨率圖像塊，重建出與真實(shí)物體的相似度更高的圖像，有利于后期真實(shí)物體識(shí)別處理。
文檔編號(hào)G06T5/40GK102629374SQ20121004980
公開(kāi)日2012年8月8日 申請(qǐng)日期2012年2月29日 優(yōu)先權(quán)日2012年2月29日
發(fā)明者和紅杰, 尹忠科, 李小燕, 陳帆 申請(qǐng)人:西南交通大學(xué)