專利名稱：超分辨率方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及ー種超分辨率方法和裝置。
背景技術(shù)：
隨著多媒體技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展，圖像信息在人們工作、學(xué)習(xí)和生活中發(fā)揮越來越重要的作用。圖像分辨率是圖像質(zhì)量的關(guān)鍵指標(biāo)，分辨率越高意味著提供的信息也越豐富。然而，由于成像儀器本身性能的限制以及外界環(huán)境條件的干擾，圖像分辨率往往不能滿足某些應(yīng)用的要求，需要采用超分辨率(Super-Resolution,簡(jiǎn)稱SR)還原圖像高頻信息，該SR指的是通過信息處理方法提高原有圖像的分辨率，例如，視頻通話時(shí)使用的攝像頭分辨率不高時(shí)，可以使用超分辨率方法將低清圖像轉(zhuǎn)換成高清圖像。其中ー種SR是基于學(xué)習(xí)的超分辨率方法，其包括訓(xùn)練集生成步驟和超分辨率重建步驟；訓(xùn)練集生成步驟是根據(jù)高分辨率(High Resolution，簡(jiǎn)稱HR)訓(xùn)練圖像構(gòu)造訓(xùn)練集，該訓(xùn)練集中存放低分辨率(Low Resolution，簡(jiǎn)稱LR)的圖像塊(patch)及其對(duì)應(yīng)的HRpatch的對(duì)應(yīng)關(guān)系信息。而超分辨率重建步驟則是將待處理的LR圖像分割成多個(gè)patch，姆個(gè)LR patch在訓(xùn)練集中搜索與該LR patch相似的patch (通常不會(huì)具有完全相同的patch),再根據(jù)該相似的LR patch得到對(duì)應(yīng)的HR patch,然后，再將各HR patch組合成LR圖像對(duì)應(yīng)的HR圖像，即完成了從LR圖像到HR圖像的轉(zhuǎn)換，實(shí)現(xiàn)了分辨率的提高。但是，在上述的SR過程中，對(duì)于LR圖像分割得到的每個(gè)LR patch，均會(huì)在整個(gè)訓(xùn)練集中進(jìn)行對(duì)應(yīng)的HR patch的捜索，這需要花費(fèi)大量的時(shí)間，效率很低，無法滿足在某些情況下例如視頻播放時(shí)快速進(jìn)行超分辨率的要求。

發(fā)明內(nèi)容
本發(fā)明提供ー種超分辨率方法和裝置，以提高超分辨率的效率。本發(fā)明提供ー種超分辨率方法，包括根據(jù)待處理的低分辨率LR圖像，分別生成對(duì)應(yīng)的LR高頻圖像以及初始高分辨率HR圖像；將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；檢測(cè)所述LR高頻圖像切割成的每個(gè)圖像塊高頻LR patch是否含有高頻分量；若否，則將與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR圖像切割成的圖像塊初始HR patch作為最終HR patch ；若是,則計(jì)算與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述LR圖像切割成的圖像塊LRpatch的離散余弦變換DCT交流系數(shù)；并根據(jù)所述DCT交流系數(shù)，得到訓(xùn)練集中的與所述高頻LR patch對(duì)應(yīng)的類,在所述類中獲取與所述高頻LR patch對(duì)應(yīng)的HR patch ;將所述HRpatch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上,將所述疊加后的初始HR patch 作為最終 HR patch ；將分別與姆個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合,構(gòu)成與所述待處理的LR圖像對(duì)應(yīng)的最終HR圖像。本發(fā)明還提供ー種超分辨率方法，包括根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；并將所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到DCT交流系數(shù)，并在所述訓(xùn)練集中建立(N2-1)M個(gè)類；根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。本發(fā)明提供ー種超分辨率裝置，包括超分辨率重建模塊；所述超分辨率重建模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待處理的低分辨率LR圖像，分別生成對(duì)應(yīng)的LR高頻圖像以及初始高分辨率HR圖像；圖像切割単元，用于將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像檢測(cè)單元，用于檢測(cè)所述LR高頻圖像切割成的每個(gè)圖像塊高頻LRpatch是否含有高頻分量；圖像處理單元，用于在所述圖像檢測(cè)單元的檢測(cè)結(jié)果為否時(shí)，則將與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR圖像切割成的圖像塊初始HR patch作為最終HR patch ;以及，用于在所述圖像檢測(cè)單元的檢測(cè)結(jié)果為是時(shí)，則計(jì)算與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述LR圖像切割成的圖像塊LR patch的離散余弦變換DCT交流系數(shù)；圖像搜索単元，用于根據(jù)所述DCT交流系數(shù)，得到訓(xùn)練集中的與所述高頻LRpatch對(duì)應(yīng)的類,在所述類中獲取與所述高頻LR patch對(duì)應(yīng)的HR patch;將所述HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將所述疊加后的初始HRpatch 作為最終 HR patch ；圖像合成單元，用于將分別與姆個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合，構(gòu)成與所述待處理的LR圖像對(duì)應(yīng)的最終HR圖像。本發(fā)明還提供ー種超分辨率裝置，包括訓(xùn)練集生成模塊；所述訓(xùn)練集生成模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；并將所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；圖像切割単元，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像處理單元，用于對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到DCT交流系數(shù)；訓(xùn)練集管理単元，用于在所述訓(xùn)練集中建立(N2-1)M個(gè)類，所述類用于存儲(chǔ)HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch以及所述HR patch和高頻LRpatch的對(duì)應(yīng)關(guān)系信息；訓(xùn)練集生成単元，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。本發(fā)明提供的超分辨率方法和裝置，通過根據(jù)LR圖像切割成的patch做DCT變換得到的DCT交流系數(shù)將訓(xùn)練集中的各patch進(jìn)行分類，使得在超分辨重建時(shí)，可以根據(jù)該DCT交流系數(shù)，在訓(xùn)練集中找到待處理的LR圖像的高頻LR patch對(duì)應(yīng)的HR patch所在的分類，并僅在該類中搜索對(duì)應(yīng)的HR patch，相對(duì)于現(xiàn)有技術(shù)中的在整個(gè)訓(xùn)練集中搜索的方式，大大縮小了搜索范圍，因此有效減少了搜索時(shí)間，提高了超分辨率的效率。


圖I為本發(fā)明超分辨率方法一實(shí)施例的流程示意圖；圖2為本發(fā)明超分辨率方法另ー實(shí)施例的流程示意圖；圖3為本發(fā)明超分辨率方法實(shí)施例的ー應(yīng)用示意圖；圖4為本發(fā)明超分辨率方法實(shí)施例的另ー應(yīng)用示意圖；圖5為本發(fā)明超分辨率方法實(shí)施例的又ー應(yīng)用不意圖；圖6為本發(fā)明超分辨率方法實(shí)施例的再ー應(yīng)用示意圖；圖7為本發(fā)明超分辨率裝置一實(shí)施例的結(jié)構(gòu)示意圖；圖8為本發(fā)明超分辨率裝置另ー實(shí)施例的結(jié)構(gòu)示意圖；圖9為本發(fā)明超分辨率裝置又一實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施例方式本發(fā)明實(shí)施例的超分辨率方法包括訓(xùn)練集生成、以及超分辨率重建兩個(gè)部分；其中，訓(xùn)練集生成部分主要是根據(jù)待訓(xùn)練的HR圖像構(gòu)造訓(xùn)練集，該訓(xùn)練集中存儲(chǔ)高頻LRpatch、HR patch及其對(duì)應(yīng)關(guān)系；超分辨率重建部分主要是將待處理的LR圖像切割為多個(gè)patch,并根據(jù)上述的訓(xùn)練集生成部分中構(gòu)造的訓(xùn)練集，獲取到對(duì)應(yīng)的HR patch，然后再將HR patch組合成HR圖像。具體實(shí)施中，上述的訓(xùn)練集生成、以及超分辨率重建可以是獨(dú)立的兩個(gè)部分，例如，某功能模塊只負(fù)責(zé)訓(xùn)練集生成，另ー個(gè)功能模塊只負(fù)責(zé)超分辨率重建，只是在重建時(shí)根據(jù)訓(xùn)練集進(jìn)行重建。下面的實(shí)施例中，為了對(duì)超分辨率方法的說明更清楚，將訓(xùn)練集生成和超分辨率重建兩個(gè)部分合在一個(gè)實(shí)施例中進(jìn)行描述，以清楚表明兩者之間的關(guān)系及如何實(shí)施；在另一個(gè)實(shí)施例中再詳細(xì)描述訓(xùn)練集生成和超分辨率重建兩個(gè)部分在具體實(shí)施中是如何部署的。實(shí)施例一本實(shí)施例將首先說明訓(xùn)練集生成的流程，在此基礎(chǔ)上，接著說明是如何根據(jù)訓(xùn)練集生成流程中構(gòu)造的訓(xùn)練集進(jìn)行超分辨率重建的。圖I為本發(fā)明超分辨率方法一實(shí)施例的流程示意圖，如圖I所示，本實(shí)施例主要說明的是訓(xùn)練集生成的流程，包括101、根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；其中，所述的待訓(xùn)練的HR圖像指的是，用于構(gòu)造訓(xùn)練集的HR圖像。可以對(duì)HR圖 像進(jìn)行降質(zhì)和下采樣處理后，獲得對(duì)應(yīng)的LR圖像。102、將HR圖像和LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；可選的，采用如下方法生成對(duì)應(yīng)的高頻圖像根據(jù)LR圖像生成對(duì)應(yīng)的HR結(jié)果圖像，例如，可以對(duì)LR圖像進(jìn)行雙立方差值算法處理后得到HR結(jié)果圖像，再由101中的待訓(xùn)練的HR圖像減去所述HR結(jié)果圖像得到差值圖像，該差值圖像即為HR高頻圖像。對(duì)所述LR圖像進(jìn)行濾波處理例如高斯濾波處理后得到LR結(jié)果圖像，再由所述LR圖像減去LR結(jié)果圖像得到差值圖像，即為所述LR高頻圖像；103、將HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊 patch ；其中，所述的內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch指的是，在切割上述的HR高頻圖像、LR高頻圖像和所述LR圖像時(shí)，要使得這三種圖像所切割到的圖像內(nèi)容對(duì)應(yīng)；例如，HR高頻圖像的某個(gè)圖像塊al、LR高頻圖像的某個(gè)圖像塊a2、LR圖像的某個(gè)圖像塊a3對(duì)應(yīng)的圖像內(nèi)容都是該圖像中的內(nèi)容A。所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目，例如，圖像塊都是正方形的，邊長(zhǎng)為3個(gè)像素。HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)。104、對(duì)所述LR圖像切割得到的姆個(gè)圖像塊進(jìn)行離散余弦變換(Discrete CosineTransform,簡(jiǎn)稱DCT)得到DCT交流系數(shù)；其中，LR圖像切割后可以得到多個(gè)圖像塊即patch，對(duì)于每ー個(gè)patch都要進(jìn)行DCT變換，DCT變換后可以得到N2-I個(gè)DCT交流系數(shù)；并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = I，2，...，M，M為預(yù)設(shè)值，例如，可以設(shè)定M為N2的I % 50 %，優(yōu)選可以為20%，該20 %的設(shè)定值可以使得后續(xù)的根據(jù)patch的DCT系數(shù)分類效果更好，即相似的高頻LR patch能夠盡可能分到同一個(gè)類中，使得后續(xù)超分辨率搜索時(shí)準(zhǔn)確度更高，并且搜索速度也較快。105、在訓(xùn)練集中建立(N2-1)M個(gè)類，所述類用于存儲(chǔ)HR高頻圖像的圖像塊HRpatch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息；該105和上述的104執(zhí)行的先后順序不做限制。其中，所述的類是ー個(gè)抽象的劃分，相當(dāng)于ー個(gè)類別的概念。例如，具體實(shí)施中，可以把不同類的圖像塊放入不同的存儲(chǔ)實(shí)體(該存儲(chǔ)實(shí)體例如是文件)，也可以放入同一個(gè)存儲(chǔ)實(shí)體，即圖像塊的放置不嚴(yán)格限制，可以任意存儲(chǔ)，只要通過索引文件記錄下存儲(chǔ)實(shí)體中的圖像塊屬于哪個(gè)類就可以了。舉例說明，可以將所有的高頻LR patch放入一個(gè)文件L，所有的HR patch放入一個(gè)文件H,然后通過索引文件記錄上述的高頻LR patch和HR patch所屬的類就可以，例如，文件L中的某個(gè)高頻LR patch和文件H中的某個(gè)HR patch對(duì)應(yīng)，且兩者屬于類F1。106、根據(jù)104中生成的DCT交流系數(shù)，將103中切割生成的HR高頻圖像的圖像塊HR patch、以及LR高頻圖像的圖像塊高頻LR patch進(jìn)行分類，并對(duì)應(yīng)存入105中在訓(xùn)練集建立的類中；
本步驟中，是根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中?？蛇x的，具體可以按照如下方式根據(jù)DCT交流系數(shù)進(jìn)行分類若在104中按照DCT交流系數(shù)的數(shù)值從大到小排序之后，其中的前M個(gè)DCT交流系數(shù)均不為0，則將與LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至訓(xùn)練集中的第(I1-I)X(N-I)M_1+(I2-I) X (N-I)M_2+. . . +Im 個(gè)類中。若所述前M個(gè)DCT交流系數(shù)均為0，則不再將與LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、以及HR patch存儲(chǔ)至訓(xùn)練集。若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，該T小于M，則將與LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、以及HR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至訓(xùn)練集中的第(I「l) X (N-I)m^(I2-I) X (N-1)m_2+. . .+(It-I) X (N-I)m^t+(It-I) X (N-1)m_h+.+It 個(gè)類中。對(duì)于103中切割得到的所有的HR高頻圖像的圖像塊HR patch、以及LR高頻圖像的圖像塊高頻LR patch,均按照與該HR patch和高頻LR patch內(nèi)容對(duì)應(yīng)的LR圖像的圖像塊的DCT交流系數(shù)進(jìn)行分類，分類方法即上述的106中的方法。例如，HR patch (編號(hào)bl)、高頻LR patch(編號(hào)b2)和LR圖像的圖像塊(編號(hào)b3)是內(nèi)容對(duì)應(yīng)的一組，HR patch(編號(hào)Cl)、高頻LR patch(編號(hào)c2)和LR圖像的圖像塊(編號(hào)c3)是內(nèi)容對(duì)應(yīng)的另ー組，則根據(jù)b3的DCT交流系數(shù)可以將bl、b2及其對(duì)應(yīng)關(guān)系存儲(chǔ)至訓(xùn)練集中的類B中，根據(jù)c3的DCT交流系數(shù)可以將Cl、c2及其對(duì)應(yīng)關(guān)系存儲(chǔ)至訓(xùn)練集中的類C中；直至將所有的圖像塊都存儲(chǔ)至訓(xùn)練集中對(duì)應(yīng)的類。通過上述的訓(xùn)練集生成的流程可以得到，在訓(xùn)練集的生成過程中，不是像現(xiàn)有技術(shù)那樣將所有的HR patch、高頻LR patch混合放在一起,而是在訓(xùn)練集中建立了多個(gè)類,上述的HR patch、高頻LR patch是按照一定的規(guī)則分別存儲(chǔ)至不同的類中的，這樣就使得在對(duì)待處理的LR圖像進(jìn)行超分辨率吋，也能夠按照所述的一定的規(guī)則找到HR patch、高頻LRpatch是存儲(chǔ)在哪個(gè)類中的，所以就可以僅在該類中捜索對(duì)應(yīng)的HR patch，而不用如現(xiàn)有技術(shù)那樣需要在整個(gè)訓(xùn)練集中捜索，減少了捜索時(shí)間，提高了超分辨率的效率。下面描述如何根據(jù)上面生成的訓(xùn)練集進(jìn)行超分辨率的流程圖2為本發(fā)明超分辨率方法另ー實(shí)施例的流程示意圖，如圖2所示，本實(shí)施例主要說明的是超分辨率重建的流程，包括201、根據(jù)待處理的低分辨率LR圖像，生成對(duì)應(yīng)的LR高頻圖像以及初始高分辨率HR圖像；其中，所述的待處理的LR圖像指的是，需要轉(zhuǎn)換為高分辨率HR圖像的LR圖像。可選的，根據(jù)LR圖像生成LR高頻圖像的方法可以采用與102中相同的方法；而初始HR圖像可以由待處理的LR圖像采用雙立方差值算法生成。202、將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch ；其中，LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)。203、判斷LR高頻圖像切割成圖像塊高頻LR patch是否全部已經(jīng)檢測(cè)完畢，若是，則繼續(xù)執(zhí)行207 ;否則，則在該步驟中檢測(cè)某個(gè)高頻LR patch是否含有高頻分量；若是，則繼續(xù)執(zhí)行205 206 ;若否，則繼續(xù)執(zhí)行204。204、將與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR圖像切割成的圖像塊初始HRpatch作為最終HR patch ;返回203，檢測(cè)下ー個(gè)圖像塊LR patch是否含有高頻分量；205、計(jì)算與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述LR圖像切割成的圖像塊的離散余弦變換DCT交流系數(shù)；206、根據(jù)DCT交流系數(shù)，得到訓(xùn)練集中的與所述高頻LR patch對(duì)應(yīng)的類，在所述類中獲取與所述高頻LR patch對(duì)應(yīng)的HR patch ;返回203 ；具體的，所述DCT交流系數(shù)的個(gè)數(shù)為N2-I ;并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Id = 1，2，...，M。M為預(yù)設(shè)值，例如可以選擇M為N2的20%。若DCT交流系數(shù)中的前M個(gè)DCT交流系數(shù)均不為0，則在訓(xùn)練集中的第(I1-I) X (N-I)m^1+(I2-I) X (N-I).2+. +Im個(gè)類中，獲取與高頻 LR patch對(duì)應(yīng)的 HR patch,并將所述HR patch疊加在與該高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將疊加后的初始HR patch作為高頻LR patch的最終HR patch ；若DCT交流系數(shù)中的前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則在訓(xùn)練集中的第(I「l) X (N-Dsh+(I2-I) x (n—dm-2+. +(J^1) X (N-I).T+(It-I) X (N-I)m^t-I+. . . +It 個(gè)類中，獲取與所述高頻LR patch對(duì)應(yīng)的HR patch,并將所述HR patch疊加在與該高頻LRpatch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將疊加后的初始HRpatch作為該高頻LR patch的最終HR patch。可選的，上述的在類中獲取與高頻LR patch對(duì)應(yīng)的HR patch的具體步驟為根據(jù)所述LR高頻圖像切割成圖像塊高頻LR patch，在所述的對(duì)應(yīng)類中搜索與所述的高頻LR patch較為相似的K個(gè)圖像塊(通常不會(huì)有完全相同的，所以就搜索最相似的圖像塊)，該圖像塊指的是類中包括的高頻LR patch，所述的K是超分辨率的放大倍數(shù)。然后，可以按照臨近嵌入算法求出對(duì)應(yīng)的HR patch,即對(duì)姆個(gè)相似圖像塊對(duì)應(yīng)的HR patch做加權(quán) 平均后得到的HR patch作為所述與高頻LR patch對(duì)應(yīng)的HR patch ;或者,從所述K個(gè)圖像塊中找出ー個(gè)最相似的圖像塊，以該圖像塊對(duì)應(yīng)的HR patch作為所述與高頻LR patch對(duì)應(yīng)的HR patch。最后，將各HR patch分別疊加在對(duì)應(yīng)的初始HR圖像切割成的圖像塊上作為最終HR patch。207、將分別與每個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合，構(gòu)成與所述待處理的LR圖像對(duì)應(yīng)的最終HR圖像。在對(duì)LR高頻圖像切割成圖像塊高頻LR patch全部找到訓(xùn)練集中對(duì)應(yīng)的HRpatch,并形成最終HR patch之后,本步驟將各最終HR patch組合，即構(gòu)成最終HR圖像,該最終HR圖像是與待處理的LR圖像對(duì)應(yīng)的，是將LR圖像經(jīng)過超分辨率重建后形成的分辨率提聞了的HR圖像。本實(shí)施例的超分辨率方法，通過根 據(jù)LR圖像切割成的patch做DCT變換得到的DCT交流系數(shù)將訓(xùn)練集中的各patch進(jìn)行分類，使得在超分辨重建時(shí)，可以根據(jù)該DCT交流系數(shù)，在訓(xùn)練集中找到待處理的LR圖像的高頻LRpatch對(duì)應(yīng)的HR patch所在的分類，并僅在該類中搜索對(duì)應(yīng)的HR patch，相對(duì)于現(xiàn)有技術(shù)中的在整個(gè)訓(xùn)練集中搜索的方式，大大縮小了搜索范圍，因此有效減少了搜索時(shí)間，提高了超分辨率的效率。實(shí)施例ニ本實(shí)施例將描述訓(xùn)練集生成和超分辨率重建兩個(gè)部分在具體實(shí)施中是如何部署的。這兩個(gè)部分可以采取分開部署的方式或者合并部署的方式。其中，分開部署是將訓(xùn)練集生成部分和超分辨率重建部分分開部署在兩個(gè)設(shè)備上，例如，訓(xùn)練集生成部分部署在服務(wù)器端，將超分辨率重建部分部署在終端，服務(wù)器端將生成的訓(xùn)練集傳遞給終端，由終端進(jìn)行超分辨率重建；合并部署是將訓(xùn)練集生成部分和超分辨率重建部分合并部署在一個(gè)設(shè)備上，例如，將兩者都部署在服務(wù)器端，由服務(wù)器端完成訓(xùn)練集生成和超分辨率重建。下面以四個(gè)應(yīng)用示例說明上述的部署方式以及數(shù)據(jù)的交互流程圖3為本發(fā)明超分辨率方法實(shí)施例的ー應(yīng)用示意圖，如圖3所示，本實(shí)施例是采用分開部署的方式，訓(xùn)練集生成部分部署在服務(wù)器，超分辨率重建部署在終端；并且是由終端獲取待處理的LR圖像。具體的，例如，服務(wù)器按照實(shí)施例一所述的方法生成訓(xùn)練集；終端可以為手機(jī)或者電腦等，且終端可以與服務(wù)器交互，檢查訓(xùn)練集是否更新，當(dāng)服務(wù)器的訓(xùn)練集更新時(shí)，終端可以從服務(wù)器下載最新的訓(xùn)練集。終端可以獲取待處理的LR圖像，該LR圖像例如可以為存儲(chǔ)在手機(jī)或電腦中的攝像頭文件、視頻文件等。終端在獲取到圖像后，將按照實(shí)施例一所述的方法根據(jù)訓(xùn)練集對(duì)圖像進(jìn)行超分辨率處理，并將處理后的圖像在終端顯示、或者存儲(chǔ)、或者將處理結(jié)果返回給需要的設(shè)備。圖4為本發(fā)明超分辨率方法實(shí)施例的另ー應(yīng)用示意圖，如圖4所示，本實(shí)施例是采用分開部署的方式，訓(xùn)練集生成部分部署在服務(wù)器，超分辨率重建部署在終端；并且是由服務(wù)器獲取待處理的LR圖像。具體的，例如，服務(wù)器按照實(shí)施例一所述的方法生成訓(xùn)練集；終端可以為機(jī)頂盒，且終端可以與服務(wù)器交互，檢查訓(xùn)練集是否更新，當(dāng)服務(wù)器的訓(xùn)練集更新時(shí)，終端可以從服務(wù)器下載最新的訓(xùn)練集。服務(wù)器可以獲取待處理的LR圖像例如低清電視信號(hào)，并將該低清電視信號(hào)傳送到終端，由終端按照實(shí)施例一所述的方法根據(jù)訓(xùn)練集對(duì)圖像進(jìn)行超分辨率處理，將其轉(zhuǎn)換為高清電視信號(hào)，并將處理結(jié)果返回給服務(wù)器。圖5為本發(fā)明超分辨率方法實(shí)施例的又ー應(yīng)用示意圖,如圖5所示,本實(shí)施例是采用合并部署的方式，訓(xùn)練集生成部分和超分辨率重建部分均部署在服務(wù)器；并且是由終端獲取待處理的LR圖像。具體的，例如，服務(wù)器是一個(gè)超分辨率平臺(tái)，其既可以按照實(shí)施例一所述的方法執(zhí)行訓(xùn)練集生成，也可以執(zhí)行超分辨率重建。終端在獲取到待處理的LR圖像后，將圖像傳送到該服務(wù)器，由服務(wù)器進(jìn)行超分辨率處理，服務(wù)器會(huì)將處理結(jié)果返回給終端。圖6為本發(fā)明超分辨率方法實(shí)施例的再ー應(yīng)用示意圖,如圖6所示,本實(shí)施例是采用合并部署的方式，訓(xùn)練集生成部分和超分辨率重建部分均部署在服務(wù)器；并且是由服務(wù)器獲取待處理的LR圖像。具體的，例如，服務(wù)器按照 實(shí)施例一所述的方法生成訓(xùn)練集；服務(wù)器是ー個(gè)視頻網(wǎng)站，其可以獲取待處理的LR圖像，該圖像例如為普通視頻，或者該普通視頻可以是存儲(chǔ)在服務(wù)器中的。當(dāng)客戶需要看高清視頻時(shí)，服務(wù)器可以使用超分辨率方法進(jìn)行處理，將其轉(zhuǎn)換為高清視頻，并將轉(zhuǎn)換后的結(jié)果傳送給終端進(jìn)行顯示。實(shí)施例三圖7為本發(fā)明超分辨率裝置一實(shí)施例的結(jié)構(gòu)示意圖，該裝置可以執(zhí)行本發(fā)明任意實(shí)施例的超分辨率方法，本實(shí)施例只對(duì)該裝置的結(jié)構(gòu)做簡(jiǎn)單說明，其具體的工作原理可以結(jié)合參見方法實(shí)施例所述。如圖7所示，本實(shí)施例的超分辨率裝置可以包括超分辨率重建模塊78 ;所述超分辨率重建模塊78包括圖像轉(zhuǎn)換單元71、圖像切割単元72、圖像檢測(cè)單元73、圖像處理單元74、圖像搜索單元75和圖像合成單元76 ;其中，圖像轉(zhuǎn)換單元71，用于根據(jù)待處理的低分辨率LR圖像，分別生成對(duì)應(yīng)的LR高頻圖像以及初始高分辨率HR圖像；圖像切割單元72，用于將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像檢測(cè)單元73，用于檢測(cè)所述LR高頻圖像切割成的每個(gè)圖像塊高頻LR patch是否含有高頻分量；圖像處理單元74，用于在所述圖像檢測(cè)單元的檢測(cè)結(jié)果為否時(shí)，則將與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR圖像切割成的圖像塊初始HRpatch作為最終HR patch ；以及，用于在所述圖像檢測(cè)單元的檢測(cè)結(jié)果為是時(shí)，則計(jì)算與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述LR圖像切割成的圖像塊LRpatch的離散余弦變換DCT交流系數(shù)；圖像搜索単元75，用于根據(jù)所述DCT交流系數(shù)，得到訓(xùn)練集中的與所述高頻LRpatch對(duì)應(yīng)的類,在所述類中獲取與所述高頻LR patch對(duì)應(yīng)的HR patch;將所述HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將所述疊加后的初始HRpatch 作為最終 HR patch ；圖像合成單元76,用于將分別與姆個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合，構(gòu)成與所述待處理的LR圖像對(duì)應(yīng)的最終HR圖像。進(jìn)ー步的，所述DCT交流系數(shù)的個(gè)數(shù)為N2-I ;所述圖像處理單元74，還用于將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i =1，2，...，M;M為預(yù)設(shè)值；
相應(yīng)的，圖像搜索單元75，具體用于在所述前M個(gè)DCT交流系數(shù)均不為0時(shí)，則在訓(xùn)練集中的第(I1-D X (N-I)か1+(I2-I) X (N-I).2+. +Im個(gè)類中，獲取與所述高頻LRpatch對(duì)應(yīng)的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述HR圖像切割成的圖像塊初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch ；或者，在所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0吋，則在訓(xùn)練集中的第(I1-I) X (N-I)M_1+(I2-I) X (N-I)M_2+. . .+(It-I) X (N-I)m^t+(It-I) X (N-I)m+. . . +It 個(gè)類中，獲取與所述高頻LR patch對(duì)應(yīng)的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述HR圖像切割成的圖像塊初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch。 上述結(jié)構(gòu)的超分辨率裝置例如相當(dāng)于圖3和圖4中采用分開部署方式時(shí)的終端，該終端上可以只包括超分辨率重建模塊，負(fù)責(zé)圖像的超分辨率處理?？蛇x的，所述超分辨率重建模塊還包括訓(xùn)練集獲取單元77，用于在所述根據(jù)待處理的LR圖像，生成對(duì)應(yīng)的LR高頻圖像以及HR圖像之前，獲取所述訓(xùn)練集；所述訓(xùn)練集中包括(N2-I)m個(gè)類，所述類中包括HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息。該結(jié)構(gòu)的超分辨率裝置例如相當(dāng)于圖3和圖4中采用分開部署方式時(shí)的終端，該終端上可以通過訓(xùn)練集獲取單元77從服務(wù)器獲取更新的訓(xùn)練集。進(jìn)ー步的，圖8為本發(fā)明超分辨率裝置另ー實(shí)施例的結(jié)構(gòu)示意圖，如圖8所示，可選的，本實(shí)施例的超分辨率裝置在圖7所示結(jié)構(gòu)的基礎(chǔ)上還可以包括訓(xùn)練集生成模塊79，用于在所述根據(jù)待處理的LR圖像，生成對(duì)應(yīng)的LR高頻圖像和HR圖像之前，生成所述訓(xùn)練集。所述訓(xùn)練集生成模塊的具體結(jié)構(gòu)詳細(xì)參見圖9中的訓(xùn)練集生成模塊的結(jié)構(gòu)，在此不再贅述。該結(jié)構(gòu)的超分辨率裝置例如相當(dāng)于圖5和圖6中采用合并部署方式時(shí)的服務(wù)器，該服務(wù)器可以既執(zhí)行訓(xùn)練集生成，也可以執(zhí)行超分辨率重建處理。圖9為本發(fā)明超分辨率裝置又一實(shí)施例的結(jié)構(gòu)示意圖，如圖9所示，該裝置包括訓(xùn)練集生成模塊79，可選的，可以是只包括該訓(xùn)練集生成模塊79，即不包括超分辨率重建模塊；則此時(shí)的超分辨率裝置相當(dāng)于圖3和圖4中采用分開部署方式時(shí)的服務(wù)器，該服務(wù)器只負(fù)責(zé)生成訓(xùn)練集，而由終端執(zhí)行超分辨率重建。所述訓(xùn)練集生成模塊79包括圖像轉(zhuǎn)換單元81、圖像切割単元82、圖像處理單元83、訓(xùn)練集管理單元84和訓(xùn)練集生成單元85 ;其中，圖像轉(zhuǎn)換單元81，用于根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；并將所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；圖像切割単元82，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2, K為超分辨率放大倍數(shù)；圖像處理單元83，用于對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到DCT交流系數(shù)，所述DCT交流系數(shù)的個(gè)數(shù)為N2-I ;并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1,2, , M;M為預(yù)設(shè)值；訓(xùn)練集管理単元84，用于在所述訓(xùn)練集中建立(N2-1)M個(gè)類，所述類用于存儲(chǔ)HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息；訓(xùn)練集生成単元85，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HRpatch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。進(jìn)ー步的，所述的訓(xùn)練集生成単元85，具體用于若所述前M個(gè)DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn) 練集中的第(I1-D X (N-I)か1+(I2-I) X (N-I).2+. +Im 個(gè)類中；若所述前M個(gè)DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、以及HR patch存儲(chǔ)至所述訓(xùn)練集；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的第(I「l) X (N-I)m^(I2-I) X (N-I) m_2+. . .+(It-I) X (N-I)m^t+(It-I) X (N-1)m_h+.+It 個(gè)類中。本實(shí)施例的超分辨率裝置，通過根據(jù)LR圖像切割成的patch做DCT變換得到的DCT交流系數(shù)將訓(xùn)練集中的各patch進(jìn)行分類，使得在超分辨重建時(shí)，可以根據(jù)該DCT交流系數(shù)，在訓(xùn)練集中找到待處理的LR圖像的高頻LR patch對(duì)應(yīng)的HR patch所在的分類，并僅在該類中搜索對(duì)應(yīng)的HR patch，相對(duì)于現(xiàn)有技術(shù)中的在整個(gè)訓(xùn)練集中搜索的方式，大大縮小了搜索范圍，因此有效減少了搜索時(shí)間，提高了超分辨率的效率。本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)硬件來完成。前述程序可以存儲(chǔ)于ー計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟；而前述存儲(chǔ)介質(zhì)包括R0M、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。最后應(yīng)說明的是以上各實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
權(quán)利要求
1.一種超分辨率方法，其特征在于，包括根據(jù)待處理的低分辨率LR圖像，分別生成對(duì)應(yīng)的LR高頻圖像以及初始高分辨率HR圖將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè) 圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊的尺寸為N2，N為所 述圖像塊的邊長(zhǎng)的像素單元數(shù)目；所述初始HR圖像切割的圖像塊的尺寸為(KXN)2，K為超 分辨率放大倍數(shù)；檢測(cè)所述LR高頻圖像切割成的每個(gè)圖像塊高頻LR patch是否含有高頻分量；若否，則將與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR圖像切割成的圖像塊初始HR patch 作為最終 HR patch ；若是，則計(jì)算與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述LR圖像切割成的圖像塊LR patch 的離散余弦變換DCT交流系數(shù)；并根據(jù)所述DCT交流系數(shù)，得到訓(xùn)練集中的與所述高頻LR patch對(duì)應(yīng)的類,在所述類中獲取與所述高頻LR patch對(duì)應(yīng)的HR patch;將所述HR patch 疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將所述疊加后的初始HR patch 作為最終 HR patch ；將分別與每個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合，構(gòu)成與所述待處理的LR 圖像對(duì)應(yīng)的最終HR圖像。
2.根據(jù)權(quán)利要求1所述的超分辨率方法，其特征在于，所述根據(jù)所述DCT交流系數(shù)，得 到訓(xùn)練集中的與所述高頻LR patch對(duì)應(yīng)的類,在所述類中獲取與所述高頻LR patch對(duì)應(yīng) 的HR patch,包括所述DCT交流系數(shù)的個(gè)數(shù)為N2-l ;并將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M 個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1,2,... ,M…為預(yù)設(shè)值；若所述前M個(gè)DCT交流系數(shù)均不為0，則在訓(xùn)練集中的第(L-l) X (N-1) M_1+(I2-1) X (N_1)m_2+. +IM個(gè)類中，獲取與所述高頻LR patch對(duì)應(yīng)的HR patch，并將所述 HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將所述疊加后的 初始HR patch作為最終HR patch ；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則在訓(xùn)練集中的第(1「1) X (N-1) m_1+(i2-D X (N-1)m_2+. . .+(IT-1) X (N-1)m_t+(It-1) X (N-l)m+. . . +IT 個(gè)類中，獲取與所述 高頻LR patch對(duì)應(yīng)的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng) 的所述初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch。
3.根據(jù)權(quán)利要求1所述的超分辨率方法，其特征在于，在所述根據(jù)待處理的LR圖像，分 別生成對(duì)應(yīng)的LR高頻圖像以及初始HR圖像之前，還包括獲取所述訓(xùn)練集；所述訓(xùn)練集中包括(N2_1)M個(gè)類，所述類中包括HR高頻圖像的圖像塊HR patch、LR高 頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息。
4.根據(jù)權(quán)利要求1所述的超分辨率方法，其特征在于，在所述根據(jù)待處理的LR圖像，分 別生成對(duì)應(yīng)的LR高頻圖像和初始HR圖像之前，還包括根據(jù)待訓(xùn)練的高分辨率HR圖像，生成對(duì)應(yīng)的低分辨率LR圖像；并將所述HR圖像和所 述LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊 patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的 像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到DCT交流系數(shù)，所述 DCT交流系數(shù)的個(gè)數(shù)為N2-I ;將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交流 系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1，2，. . .，M ”為預(yù)設(shè)值；并在所述訓(xùn)練集中建立(N2-I) M個(gè)類；根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊 HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì) 應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。
5.根據(jù)權(quán)利要求4所述的超分辨率方法，其特征在于，所述根據(jù)所述DCT交流系數(shù)，將 與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊 高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中 的對(duì)應(yīng)的類中，包括若所述前M個(gè)DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集 中的第(I1-D X (N-I)ゎ1+(I2-I) X (N-I).2+. +Im 個(gè)類中；若所述前M個(gè)DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻 LR patch、以及HR patch存儲(chǔ)至所述訓(xùn)練集；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的 高頻LR patch、以及HR patch以及所述HR patch和高頻LRpatch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所 述訓(xùn)練集中的第(I1-D X (N-I)m^1+(I2-I) X (N-I).2+. .+(It-I) X (N-I).t+(It-I) X (N-I) m_h+. +It 個(gè)類中。
6.ー種超分辨率方法，其特征在于，包括根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；并將所述HR圖像和所述 LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊 patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的 像素単元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為超分辨率放大倍數(shù)；對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到DCT交流系數(shù)，所述 DCT交流系數(shù)的個(gè)數(shù)為N2-I ;將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交流 系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1，2，. . .，M ”為預(yù)設(shè)值；并在所述訓(xùn)練集中建立(N2-I) M個(gè)類；根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊 HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì) 應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。
7.根據(jù)權(quán)利要求6所述的超分辨率方法，其特征在于，所述根據(jù)所述DCT交流系數(shù)，將 與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊 高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中，包括若所述前M個(gè)DCT交流系數(shù)均不為O，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn) 練集中的第(I「l) X (N-I)m^1+(I2-I) X (N-1)m_2+. . . +Im個(gè)類中，以使得在確定待處理的LR 圖像切割成的圖像塊的離散余弦變換DCT交流系數(shù)中，所述前M個(gè)DCT交流系數(shù)均不為O 時(shí)，從所述第(I「l) X (N-I)m^(I2-I) X (N-Dm-2+. . . +Im個(gè)類中獲取與待處理的LR圖像對(duì) 應(yīng)的LR高頻圖像的圖像塊高頻LR patch對(duì)應(yīng)的HR patch ；若所述前M個(gè)DCT交流系數(shù)均為O，則不再將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻 LR patch、以及HR patch存儲(chǔ)至所述訓(xùn)練集；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為O，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的 高頻LR patch、以及HR patch以及所述HR patch和高頻LRpatch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所 述訓(xùn)練集中的第(I1-D X (N-I)m^1+(I2-I) X (N-1)m_2+. · .+(It-I) X (N-I)m^(It-I) X (N-I) μ_η+...+ΙτΑ類中，以使得在確定待處理的LR圖像切割成的圖像塊的離散余弦變換 DCT交流系數(shù)中，所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為O時(shí)，從所述第(I1-I) X (N-I) M_1+(I2-I) X (N-I)M_2+· . . +(It-I) X (N-I)m_t+(It-I) X (N-I)m+. . . +It 個(gè)類中獲取與待處 理的LR圖像對(duì)應(yīng)的LR高頻圖像的圖像塊高頻LR patch對(duì)應(yīng)的HR patch。
8.根據(jù)權(quán)利要求6所述的超分辨率方法，其特征在于，所述將所述HR圖像和所述LR圖 像均分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像，包括根據(jù)所述LR圖像生成對(duì)應(yīng)的HR結(jié)果圖像，確定由所述HR圖像減去所述HR結(jié)果圖像 得到的差值圖像為所述HR高頻圖像；對(duì)所述LR圖像進(jìn)行濾波處理后得到LR結(jié)果圖像，確定由所述LR圖像減去所述LR結(jié) 果圖像得到的差值圖像為所述LR高頻圖像。
9.一種超分辨率裝置，其特征在于，包括超分辨率重建模塊；所述超分辨率重建模塊 包括圖像轉(zhuǎn)換單元，用于根據(jù)待處理的低分辨率LR圖像，分別生成對(duì)應(yīng)的LR高頻圖像以及 初始高分辨率HR圖像；圖像切割單元，用于將所述待處理的LR圖像、LR高頻圖像和所述初始HR圖像分別切 割成內(nèi)容對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述待處理的LR圖像切割的圖像塊 的尺寸為N2，N為所述圖像塊的邊長(zhǎng)的像素單元數(shù)目；所述初始HR圖像切割的圖像塊的尺 寸為(KXN)2，K為超分辨率放大倍數(shù)；圖像檢測(cè)單元，用于檢測(cè)所述LR高頻圖像切割成的每個(gè)圖像塊高頻LR patch是否含 有高頻分量；圖像處理單元，用于在所述圖像檢測(cè)單元的檢測(cè)結(jié)果為否時(shí)，則將與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR圖像切割成的圖像塊初始HR patch作為最終HR patch ;以 及，用于在所述圖像檢測(cè)單元的檢測(cè)結(jié)果為是時(shí)，則計(jì)算與所述高頻LR patch內(nèi)容對(duì)應(yīng)的 所述LR圖像切割成的圖像塊LR patch的離散余弦變換DCT交流系數(shù)；圖像搜索單元，用于根據(jù)所述DCT交流系數(shù)，得到訓(xùn)練集中的與所述高頻LR patch對(duì) 應(yīng)的類，在所述類中獲取與所述高頻LR patch對(duì)應(yīng)的HR patch ;將所述HR patch疊加在 與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上,將所述疊加后的初始HR patch作為最終HR patch ；圖像合成單元，用于將分別與每個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合，構(gòu)成 與所述待處理的LR圖像對(duì)應(yīng)的最終HR圖像。
10.根據(jù)權(quán)利要求9所述的超分辨率裝置，其特征在于，所述DCT交流系數(shù)的個(gè)數(shù)為 n2-i ；所述圖像處理單元，還用于將所述DCT交流系數(shù)按數(shù)值從大到小排序，將前M個(gè)DCT交 流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1，2，...，M;M為預(yù)設(shè)值；所述圖像搜索單元，具體用于若所述前M個(gè)DCT交流系數(shù)均不為0，則在訓(xùn)練集中的第(L-l) X (N-1) M_1+(I2-1) X (N_1)m_2+. . . +IM個(gè)類中，獲取與所述高頻LR patch對(duì)應(yīng)的HR patch，并將所述 HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng)的所述初始HR patch上，將所述疊加后的 初始HR patch作為最終HR patch ；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則在訓(xùn)練集中的第(1「1) X (N-1) m_1+(i2-D X (N-1)m_2+. . .+(IT-1) X (N-1)m_t+(It-1) X (N-l)m+. . . +IT 個(gè)類中，獲取與所述 高頻LR patch對(duì)應(yīng)的HR patch,并將所述HR patch疊加在與所述高頻LR patch內(nèi)容對(duì)應(yīng) 的所述初始HR patch上，將所述疊加后的初始HR patch作為最終HR patch。
11.根據(jù)權(quán)利要求9所述的超分辨率裝置，其特征在于，所述超分辨率重建模塊還包括訓(xùn)練集獲取單元，用于在所述根據(jù)待處理的LR圖像，生成對(duì)應(yīng)的LR高頻圖像以及HR 圖像之前，獲取所述訓(xùn)練集；所述訓(xùn)練集中包括(N2_1)M個(gè)類，所述類中包括HR高頻圖像的 圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch 的對(duì)應(yīng)關(guān)系信息。
12.根據(jù)權(quán)利要求9所述的超分辨率裝置，其特征在于，還包括訓(xùn)練集生成模塊，用于 在所述根據(jù)待處理的LR圖像，生成對(duì)應(yīng)的LR高頻圖像和HR圖像之前，生成所述訓(xùn)練集；所述訓(xùn)練集生成模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；并將 所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；圖像切割單元，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容 對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為 所述圖像塊的邊長(zhǎng)的像素單元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為 超分辨率放大倍數(shù)；圖像處理單元，用于對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到 DCT交流系數(shù)，所述DCT交流系數(shù)的個(gè)數(shù)為N2-l ;并將所述DCT交流系數(shù)按數(shù)值從大到小排 序，將前M個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1，2，...，M;M為預(yù)設(shè)值；訓(xùn)練集管理單元，用于在所述訓(xùn)練集中建立(N2_1)M個(gè)類，所述類用于存儲(chǔ)HR高頻圖 像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息；訓(xùn)練集生成單元，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的 HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。
13.根據(jù)權(quán)利要求12所述的超分辨率裝置，其特征在于，所述訓(xùn)練集生成單元，具體用于若所述前M個(gè)DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集 中的第(I「l) X 0-1廣+(12-1) X (N_1)m_2+. +IM 個(gè)類中；若所述前M個(gè)DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻 LR patch、以及HR patch存儲(chǔ)至所述訓(xùn)練集；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高 頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所 述訓(xùn)練集中的第(1「1) X (N-1)m^+(I2-1) X (N-1)m_2+. . . +(IT_1) X (N-1)m_t+(It-1) X (N-l) m—h+.-.+ItA類中。
14.一種超分辨率裝置，其特征在于，包括訓(xùn)練集生成模塊；所述訓(xùn)練集生成模塊包括圖像轉(zhuǎn)換單元，用于根據(jù)待訓(xùn)練的高分辨率HR圖像生成對(duì)應(yīng)的低分辨率LR圖像；并將 所述HR圖像和所述LR圖像分別轉(zhuǎn)換為對(duì)應(yīng)的HR高頻圖像和LR高頻圖像；圖像切割單元，用于將所述HR高頻圖像、LR高頻圖像和所述LR圖像分別切割成內(nèi)容 對(duì)應(yīng)的多個(gè)圖像塊patch，所述LR高頻圖像和所述LR圖像切割的圖像塊的尺寸為N2，N為 所述圖像塊的邊長(zhǎng)的像素單元數(shù)目；所述HR高頻圖像切割的圖像塊的尺寸為(KXN)2，K為 超分辨率放大倍數(shù)；圖像處理單元，用于對(duì)所述LR圖像切割得到的每個(gè)圖像塊進(jìn)行離散余弦變換DCT得到 DCT交流系數(shù)，所述DCT交流系數(shù)的個(gè)數(shù)為N2-l ;并將所述DCT交流系數(shù)按數(shù)值從大到小排 序，將前M個(gè)DCT交流系數(shù)對(duì)應(yīng)的系數(shù)編號(hào)設(shè)定為Ii i = 1，2，...，M;M為預(yù)設(shè)值；訓(xùn)練集管理單元，用于在所述訓(xùn)練集中建立(N2_1)M個(gè)類，所述類用于存儲(chǔ)HR高頻圖 像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息；訓(xùn)練集生成單元，用于根據(jù)所述DCT交流系數(shù)，將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的 HR高頻圖像的圖像塊HR patch、LR高頻圖像的圖像塊高頻LR patch、以及所述HR patch 和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集中的對(duì)應(yīng)的類中。
15.根據(jù)權(quán)利要求14所述的超分辨率裝置，其特征在于，所述訓(xùn)練集生成單元，具體用于若所述前M個(gè)DCT交流系數(shù)均不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻LR patch、HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所述訓(xùn)練集 中的第(I「l) X 0-1廣+(12-1) X (N_1)m_2+. +IM 個(gè)類中；若所述前M個(gè)DCT交流系數(shù)均為0，則不再將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高頻 LR patch、以及HR patch存儲(chǔ)至所述訓(xùn)練集；若所述前M個(gè)DCT交流系數(shù)中有T個(gè)不為0，則將與所述LR圖像的圖像塊內(nèi)容對(duì)應(yīng)的高 頻LR patch、以及HR patch以及所述HR patch和高頻LR patch的對(duì)應(yīng)關(guān)系信息存儲(chǔ)至所 述訓(xùn)練集中的第(1「1) X (N-1)m^+(I2-1) X (N-1)m_2+. . . +(IT_1) X (N-1)m_t+(It-1) X (N-l)m—h+.-.+ItA類中。
全文摘要
本發(fā)明提供一種超分辨率方法和裝置，方法包括根據(jù)待處理LR圖像生成對(duì)應(yīng)的LR高頻圖像以及HR圖像；將上述三個(gè)圖像分別切割成內(nèi)容對(duì)應(yīng)的多個(gè)patch；若LR高頻圖像切割成的高頻LR patch含有高頻分量，則計(jì)算對(duì)應(yīng)的LR圖像切割成的圖像塊的DCT交流系數(shù)；并根據(jù)DCT交流系數(shù)，得到訓(xùn)練集中的對(duì)應(yīng)類，在類中獲取對(duì)應(yīng)的HR patch；將HR patch疊加在與初始HR patch上作為最終HR patch；將分別與每個(gè)高頻LR patch對(duì)應(yīng)的多個(gè)最終HR patch組合構(gòu)成最終HR圖像。本發(fā)明僅在對(duì)應(yīng)類中搜索對(duì)應(yīng)的HR patch，大大縮小了搜索范圍，有效減少了搜索時(shí)間，提高了超分辨率的效率。
文檔編號(hào)H04N21/44GK102663715SQ20121005317
公開日2012年9月12日 申請(qǐng)日期2012年3月2日 優(yōu)先權(quán)日2012年3月2日
發(fā)明者夏青, 干宗良, 張園園, 朱秀昌, 石騰 申請(qǐng)人:華為軟件技術(shù)有限公司