一種圖像超分辨方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，特別是涉及一種圖像超分辨方法。
【背景技術(shù)】
[0002] 圖像超分辨屬于計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域，是一個(gè)經(jīng)典的圖像處理問(wèn)題，有著 重要的學(xué)術(shù)和工業(yè)研宄價(jià)值。圖像超分辨的目標(biāo)就是，由給定的低分辨率圖像，重構(gòu)出它相 應(yīng)的高分辨率圖像，使得在重構(gòu)誤差盡可能小的情況下，視覺(jué)效果盡可能的好。目前主流的 圖像超分辨方法可以分為三大類：基于插值的方法；基于重構(gòu)的方法；基于學(xué)習(xí)的方法。
[0003] 基于插值的方法，是一類基本的超分辨方法，其處理過(guò)程通常會(huì)使用局部協(xié)方差 系數(shù)，固定功能核或者自適應(yīng)結(jié)構(gòu)核，因其簡(jiǎn)單快速的特點(diǎn)而被廣泛使用。但是，很多情況 下，這類方法產(chǎn)生的結(jié)果會(huì)隨著放大倍數(shù)的增大而產(chǎn)生視覺(jué)偽影，比如：鋸齒效應(yīng)和模糊效 應(yīng)?；谥貥?gòu)的方法，假設(shè)低分辨圖像是由高分辨率圖像經(jīng)過(guò)幾種退化因素得到的，比如： 降采樣和模糊化。這類方法在超分辨過(guò)程中強(qiáng)調(diào)重構(gòu)約束的重要性，因而，其得到的高分辨 率圖像往往有著過(guò)于平滑和不自然的邊緣以及在圖像邊緣附近產(chǎn)生振鈴效應(yīng)?；趯W(xué)習(xí)的 方法，因?yàn)槔脵C(jī)器學(xué)習(xí)技術(shù)從訓(xùn)練集中學(xué)習(xí)到了大量先驗(yàn)知識(shí)，因而獲得了更好的結(jié)果。 但是，這類方法通常需要求解基于U范數(shù)或者Li范數(shù)的最優(yōu)化問(wèn)題，其處理速度是很慢的。
[0004] 以上【背景技術(shù)】?jī)?nèi)容的公開(kāi)僅用于輔助理解本發(fā)明的發(fā)明構(gòu)思及技術(shù)方案，其并不 必然屬于本專利申請(qǐng)的現(xiàn)有技術(shù)，在沒(méi)有明確的證據(jù)表明上述內(nèi)容在本專利申請(qǐng)的申請(qǐng)日 已經(jīng)公開(kāi)的情況下，上述【背景技術(shù)】不應(yīng)當(dāng)用于評(píng)價(jià)本申請(qǐng)的新穎性和創(chuàng)造性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明（主要）目的在于提出一種圖像超分辨方法，以解決上述現(xiàn)有技術(shù)存在的 處理速度慢的技術(shù)問(wèn)題。
[0006] 為此，本發(fā)明提出一種圖像超分辨方法，包括如下步驟：第一步：從圖像數(shù)據(jù)集中 得到高分辨率圖像，通過(guò)縮小倍數(shù)下采樣得低分辨率圖像，從高分辨率與低分辨率的圖像 對(duì)中提取高、低分辨率特征對(duì)，在低分辨率特征空間進(jìn)行聚類，得到多個(gè)低分辨率聚類中 心；第二步：利用所述高、低分辨率特征對(duì)，以及所述低分辨率聚類中心，計(jì)算高、低分辨率 近鄰集合，以及映射矩陣集合；第三步：對(duì)于每一個(gè)低分辨率特征，選擇所述低分辨率聚類 中心里面與其最接近的聚類中心，再用相應(yīng)的映射矩陣恢復(fù)出高分辨率特征；將所有重構(gòu) 的高分辨特征加上包含低分辨率圖像的圖像塊得到相應(yīng)的高分辨率圖像塊，將所有高分辨 圖像塊融合成一張高分辨圖像。
[0007] 第三步中：利用所述第一步中聚類時(shí)得到的統(tǒng)計(jì)特性，對(duì)所有聚類中心，按照其元 素個(gè)數(shù)降序排列；超分辨的時(shí)候，只取前面多個(gè)聚類中心。
[0008] 所述第一步中的在低分辨率特征空間聚類包括如下步驟：使用插值算法，從所述 高分辨率圖像中得到低分辨率圖像，再將所述低分辨率圖像集合利用插值算法上采樣至與 對(duì)應(yīng)高分辨率圖像的尺寸一樣；從所述高分辨率圖像中提取高分辨率圖像塊集合與特征集 合，在所述所述高分辨率圖像中的相應(yīng)位置提取出低分辨率圖像塊集合與特征集合；提取 所述低分辨率特征集合后，對(duì)其進(jìn)行聚類。
[0009] 所述第二步具體包括：利用所述高、低分辨率特征對(duì)，將所述低分辨率特征對(duì)聚 類，得到多個(gè)低聚類中心，對(duì)于任意低分辨率聚類中心，先找到多個(gè)最近鄰的中心，進(jìn)而得 到該多個(gè)中心對(duì)應(yīng)的元素所組成的低分辨率特征集合，再尋找其近鄰集合；得到低分辨率 聚類中心和高、低分辨率近鄰集合后利用這些變量進(jìn)一步求得從低分辨率特征映射到高分 辨率特征的映射矩陣。
[0010] 所述第三步中選擇所述低分辨率聚類中心里面與其最接近的聚類中心通過(guò)計(jì)算 低分辨率特征與聚類中心的歐式距離獲得。
[0011] 本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果包括：本專利申請(qǐng)?zhí)岢隽艘环N基于聚類和協(xié)同 表示的圖像超分辨方法；利用本專利申請(qǐng)能夠在聚類時(shí)不僅能夠確定聚類中心，而且能夠 得到各個(gè)聚類中心的統(tǒng)計(jì)特性，為進(jìn)一步加快超分辨速度提供可能。
【附圖說(shuō)明】
[0012] 圖1是本發(fā)明實(shí)施例的流程圖。
【具體實(shí)施方式】
[0013] 下面結(jié)合【具體實(shí)施方式】并對(duì)照附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。應(yīng)該強(qiáng)調(diào)的是， 下述說(shuō)明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應(yīng)用。
[0014] 參照以下附圖，將描述非限制性和非排他性的實(shí)施例，其中相同的附圖標(biāo)記表示 相同的部件，除非另外特別說(shuō)明。
[0015] 本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，對(duì)以上描述做出眾多變通是可能的，所以實(shí)施例僅是 用來(lái)描述一個(gè)或多個(gè)特定實(shí)施方式。
[0016] 本專利申請(qǐng)針對(duì)單張低分辨率的圖像，提出了一種基于聚類和協(xié)同表示的圖像超 分辨方法。從已有的高質(zhì)量圖像中提取訓(xùn)練樣本集合，在此訓(xùn)練樣本上進(jìn)行聚類，得到低分 辨率聚類中心。由低分辨率聚類中心，以及高、低分辨率樣本，考慮數(shù)據(jù)的局部幾何特性，得 到每一個(gè)低分辨率聚類中心對(duì)應(yīng)的高、低分辨率近鄰集合，再利用協(xié)同表示理論，計(jì)算出從 低分辨率特征到高分辨率特征的映射矩陣，此為訓(xùn)練階段；對(duì)于輸入的低分辨率圖像，提取 相互重疊的圖像塊與特征，求與低分辨率特征最近的低分辨率聚類中心，從而得到其相應(yīng) 的映射矩陣，映射矩陣與低分辨率特征相乘就可重構(gòu)出高分辨特征，高分辨圖像特征加上 低分辨率圖像塊，就得到高分辨率圖像塊。最后，將重構(gòu)后的圖像塊融合到一起，得到高分 辨率深度圖，此為超分辨率階段。利用在低分辨率特征空間聚類時(shí)得到的統(tǒng)計(jì)特性，選取部 分出現(xiàn)概率最大的聚類中心，作為超分辨率時(shí)的搜索空間，從而進(jìn)一步加快速度，此為超分 辨加速過(guò)程。該方法在低分辨率特征聚類的過(guò)程中不僅得到聚類中心，也得到了相應(yīng)的統(tǒng) 計(jì)特性，為后面的加速提供依據(jù)。同時(shí)，在組織近鄰的時(shí)候，考慮數(shù)據(jù)的局部幾何特性，恢復(fù) 效果更好。從而更準(zhǔn)確地恢復(fù)高分辨率圖像的高頻信息，得到更高質(zhì)量的高分辨率圖像。
[0017] 如圖1所示，本專利申請(qǐng)?zhí)岢鲆环N基于聚類和協(xié)同表示的圖像超分辨方法，包括 如下步驟：
[0018] A1 :從自然圖像公共數(shù)據(jù)集（如Image Net數(shù)據(jù)集）中得到高分辨率圖像，將 其下采樣得低分辨率圖像，縮小倍數(shù)為s，從高分辨率與低分辨率的圖像對(duì)中提取高、 低分辨率特征對(duì)和'[乂卜在低分辨率特征空間進(jìn)行聚類，得到I個(gè)聚類中心{Ci};
[0019] A2:通過(guò)增大圖像塊之間的重疊區(qū)域以及對(duì)圖像進(jìn)行多尺度變換，提取數(shù)量更多 的高、低分辨率特征對(duì)pk pRpLj，以及A1中的低分辨率聚類中心{cj，計(jì)算高、低分辨 率近鄰集合和以及映射矩陣集合{FJ ;
[0020] A3 :輸入一張低分辨率圖像Iy從中提取低分辨率圖像塊和特征{X卜每一 個(gè)低分辨率特征X，選擇低分辨率聚類中心里面與其最接近的聚類中心ck，再用相應(yīng)的映 射矩陣Fk恢復(fù)出高分辨率特征>4。將所有重構(gòu)的高分辨特征加上包含低頻信息的圖 像塊得到相應(yīng)的高分辨率圖像塊{義}，將所有高分辨圖像塊融合成一張高分辨圖像 IH〇
[0021] A4 :利用A1中聚類時(shí)得到的統(tǒng)計(jì)特性，對(duì)所有聚類中心，按照其元素個(gè)數(shù)降序排 列。超分辨的時(shí)候，只取前K'個(gè)聚類中心。從而，節(jié)省搜索時(shí)間以及存儲(chǔ)空間，進(jìn)一步加快 速度。
[0022] 在具體的實(shí)施方案中，可按下面方式操作。
[0023] A1 :對(duì)于訓(xùn)練階段低分辨率特征空間聚類，具體指a)先使用插值算法，從高分 辨率圖像集合中得到低分辨率圖像集合，再將這些低分辨率圖像集合利用插值 算法上采樣至于對(duì)應(yīng)高分辨率圖像的尺寸一樣；b)從中提取高分辨率圖像塊集合 {/4丨與特征集合丨34丨，在丨忍1中的相應(yīng)位置提取出低分辨率圖像塊集合ipil與特征集合 {乂丨，其中，高分辨率特征yH為：
[0024] yH= p H-pL, (1)
[0025] 低分辨率特征^為：