本發(fā)明涉及一種用于對圖像進(jìn)行分辨率上調(diào)(upscaling)的方法和一種用于對圖像進(jìn)行分辨率上調(diào)的裝置。
背景技術(shù)：
：圖像超分辨率是根據(jù)低分辨率(lr)圖像生成放大的高分辨率(hr)圖像的任務(wù)。該放大的圖像應(yīng)當(dāng)保留lr圖像的高頻(hf)內(nèi)容。通常，通過首先去噪然后分辨率上調(diào)來根據(jù)有噪lr圖像獲得hr圖像。wo2015121422a公開了一種噪聲感知單圖像超分辨率(si-sr)算法，其在添加從較低分辨率學(xué)習(xí)的細(xì)節(jié)的同時自動地消除加性噪聲。與常規(guī)的si-sr技術(shù)相反，該方法不假設(shè)輸入圖像是清楚的示例源。相反，該方法利用最近且有效的就地跨分比率自相似性先知(prior)，用于學(xué)習(xí)精細(xì)細(xì)節(jié)示例以補(bǔ)充基于內(nèi)插的經(jīng)分辨率上調(diào)的圖像分塊并減少圖像噪聲。在ep3086280中，首先通過內(nèi)插獲得超分辨圖像的粗略估計。然后，對經(jīng)分辨率上調(diào)的圖像的每個分塊進(jìn)行平均減法和歸一化，以自上而下遍歷在離線訓(xùn)練期間獲得的若干獨立的分級非線性映射函數(shù)。在每個自上而下遍歷期間，映射中的分層模式與歸一化分塊之間的相似性被組合，并且選擇具有最佳相似性的映射，從而提高通過利用單一映射的替代解決方案實現(xiàn)的質(zhì)量。然后，通過對應(yīng)于所選擇的映射中的所得到的線性化的局部線性映射來處理經(jīng)平均減法的分塊，并將其添加到粗略分塊。[dabov2007]公開了通過兩步法的圖像去噪，其中每個步驟包括通過塊匹配對相似分塊的分組、3d變換、協(xié)同濾波級、以及對重構(gòu)圖像的逆3d變換和構(gòu)圖。在第一級期間，協(xié)同濾波器使用硬閾值設(shè)定，而在第二級期間，使用更精細(xì)的維納(wiener)去噪濾波器。閾值和濾波器系數(shù)的選擇需要知道噪聲水平。[dong2014]使用基于具有多個層的卷積神經(jīng)網(wǎng)絡(luò)(cnn)的方法來對圖像進(jìn)行分辨率上調(diào)的方案。技術(shù)實現(xiàn)要素：已知的圖像分辨率上調(diào)方法的問題是當(dāng)輸入圖像有噪時，在去噪期間丟失重要的細(xì)節(jié)信息，這在分辨率上調(diào)期間難以恢復(fù)。本發(fā)明提供了一種用于改善有噪圖像的分辨率上調(diào)的解決方案。在一個實施例中，一種用于對有噪輸入圖像進(jìn)行分辨率上調(diào)的方法包括：對有噪輸入圖像進(jìn)行分辨率上調(diào)以獲得有噪高分辨率(hr)圖像；對有噪輸入圖像進(jìn)行去噪以獲得去噪低分辨率(lr)圖像；對去噪lr圖像進(jìn)行分辨率上調(diào)以獲得經(jīng)分辨率上調(diào)的去噪lr圖像，以及對有噪hr圖像和經(jīng)分辨率上調(diào)的去噪lr圖像進(jìn)行組合，以生成去噪hr圖像。在權(quán)利要求14中公開了利用該方法的裝置。在一個實施例中，在權(quán)利要求15中公開了一種裝置。根據(jù)一個實施例，計算機(jī)可讀介質(zhì)具有使計算機(jī)執(zhí)行如權(quán)利要求中所公開的方法的可執(zhí)行指令。根據(jù)一個實施例，一種用于分辨率上調(diào)的裝置包括至少一個硬件組件和非瞬時性有形計算機(jī)可讀存儲介質(zhì)，該非瞬時性有形計算機(jī)可讀存儲介質(zhì)有形地具體實現(xiàn)至少一個軟件組件，當(dāng)該至少一個軟件組件在所述至少一個硬件組件上執(zhí)行時，使該至少一個硬件組件執(zhí)行如權(quán)利要求中所公開的方法。在一個實施例中，至少一個硬件組件包括至少一個硬件處理器。當(dāng)結(jié)合附圖考慮以下描述和所附權(quán)利要求時，本發(fā)明的其他目的、特征和優(yōu)點將變得顯而易見。附圖說明參考附圖描述了本發(fā)明的示例性實施例，在附圖中示出了：圖1：圖像分辨率上調(diào)方法的流程圖；圖2：用于圖像分辨率上調(diào)的裝置的框圖；圖3：圖像去噪子系統(tǒng)的結(jié)構(gòu)。具體實施方式通常，通過首先去噪然后分辨率上調(diào)來根據(jù)有噪lr圖像獲得hr圖像。在本方法中，在一個實施例中，對有噪lr圖像進(jìn)行分辨率上調(diào)以獲得“有噪hr”圖像。該圖像具有經(jīng)分辨率上調(diào)的噪聲，但是hf結(jié)構(gòu)也被保留。首先對lr圖像進(jìn)行去噪然后分辨率上調(diào)以獲得“去噪hr”圖像。該圖像沒有噪聲，但是它也具有較少的hf信息。為了根據(jù)有噪lr圖像實現(xiàn)視覺上良好的hr圖像，本發(fā)明將“有噪hr”與“去噪hr”進(jìn)行非線性組合以產(chǎn)生更好的hr圖像。在一個實施例中，通過閾值設(shè)定來獲得非線性。通過這種組合獲得的圖像具有更好的psnr，并且在視覺上也比使用常規(guī)方法獲得的那些圖像效果更合意。圖1在一個實施例中示出了圖像分辨率上調(diào)方法的流程圖。用于對有噪輸入圖像進(jìn)行分辨率上調(diào)的方法100包括：對有噪輸入圖像11進(jìn)行分辨率上調(diào)20以獲得有噪hr圖像，對有噪輸入圖像11進(jìn)行去噪30以獲得去噪lr圖像，以及對去噪lr圖像進(jìn)行分辨率上調(diào)40以獲得經(jīng)分辨率上調(diào)的去噪lr圖像。將有噪hr圖像與經(jīng)分辨率上調(diào)的去噪lr圖像進(jìn)行組合50以生成去噪hr圖像51。在分辨率上調(diào)20中，使用用于單圖像超分辨率的方法對有噪lr輸入圖像進(jìn)行分辨率上調(diào)。該操作產(chǎn)生“有噪hr”圖像。還使用去噪算法對有噪lr輸入圖像進(jìn)行去噪30以產(chǎn)生去噪lr圖像，然后對去噪lr圖像進(jìn)行分辨率上調(diào)40。在一個實施例中，兩個分辨率上調(diào)級20、40使用相同的sr算法。在一個實施例中，兩個分辨率上調(diào)級20、40使用不同的sr算法。在一個實施例中，在分辨率上調(diào)20之后執(zhí)行附加的去噪25，如圖1b所示。附加的去噪25可以非常簡單。使用非線性濾波器的網(wǎng)絡(luò)對去噪hr圖像和有噪hr圖像進(jìn)行組合以生成和輸出hr圖像，該hr圖像是lr輸入圖像的經(jīng)放大的高分辨率版本。圖2在一個實施例中示出了用于對有噪輸入圖像進(jìn)行分辨率上調(diào)的裝置。裝置200包括第一圖像分辨率上調(diào)器220，適于對有噪輸入圖像11進(jìn)行分辨率上調(diào)20以獲得有噪hr圖像；圖像去噪器230，適于對有噪輸入圖像11進(jìn)行去噪30以獲得去噪lr圖像；第二圖像分辨率上調(diào)器240，適于對去噪lr圖像進(jìn)行分辨率上調(diào)40以獲得經(jīng)分辨率上調(diào)的去噪lr圖像，以及圖像組合器250，適于將有噪hr圖像與經(jīng)分辨率上調(diào)的去噪lr圖像進(jìn)行組合以生成去噪hr圖像51。在實施例中，組合器250將例如有噪hr圖像的像素或分塊與經(jīng)分辨率上調(diào)的去噪lr圖像的像素或分塊進(jìn)行組合。在一個實施例中，輸入圖像11被劃分為重疊的分塊，并且方法和/或裝置的所有級被應(yīng)用于這些分塊。在最后級50、250中，對經(jīng)處理的分塊進(jìn)行重疊以獲得hr圖像51。在各種實施例中，第一圖像分辨率上調(diào)器220、圖像去噪器230和第二圖像分辨率上調(diào)器240以及分辨率上調(diào)20、40和去噪30中的一個或多個分別包括如下所述的各種濾波器。原則上，可以使用任何fir濾波器類型。然而，在一個實施例中，訓(xùn)練可以優(yōu)化(即，修改)濾波器類型、濾波器大小和濾波系數(shù)。在其他實施例中，訓(xùn)練僅優(yōu)化濾波器大小和/或濾波器系數(shù)，而濾波器類型是給定的。原則上，使用三個子系統(tǒng)：圖像去噪子系統(tǒng)、圖像超分辨率子系統(tǒng)和圖像組合子系統(tǒng)。圖像去噪子系統(tǒng)執(zhí)行圖像去噪。圖像去噪的目的是在保持圖像中的高頻細(xì)節(jié)(即，邊緣、紋理等)的同時去除噪聲。圖像去噪子系統(tǒng)基于濾波器組。在圖3所示的一個實施例中，去噪子系統(tǒng)300的五級架構(gòu)使用第一去噪濾波310、第一閾值設(shè)定320、第二去噪濾波330、第二閾值設(shè)定340和第三去噪濾波350。原則上，第一去噪濾波310和第一閾值設(shè)定320一起可以被理解為非線性濾波器。這同樣適用于第二去噪濾波330和第二閾值設(shè)定340。另一方面，第一閾值設(shè)定320和第二去噪濾波330一起也可以被認(rèn)為是非線性濾波器，并且這同樣適用于第二閾值設(shè)定340和第三去噪濾波350。因此，去噪子系統(tǒng)300是非線性濾波器的網(wǎng)絡(luò)。在一個實施例中，第一濾波級310具有64個空間大小為9x9個像素的濾波器。為了對有噪輸入與去噪輸出之間的非線性進(jìn)行建模，在每個濾波級之后使用閾值設(shè)定單元320、340。這種閾值設(shè)定允許正輸入值通過，而使負(fù)值等于零。使用具有不同數(shù)目的濾波器和不同的空間濾波器支持(即，使用的像素)的這兩個級的級聯(lián)。架構(gòu)300的最后一級350再次是濾波操作。示例性整體配置如表1所示。級濾波器的數(shù)目/操作類型空間支持164/濾波9x921/閾值設(shè)定1x1364/濾波7x741/閾值設(shè)定1x151/濾波5x5表1：示例性圖像去噪子系統(tǒng)的配置在一個實施例中，濾波器中的一些或全部的系數(shù)被隨機(jī)初始化，然后使用被稱為反向傳播的機(jī)器學(xué)習(xí)算法被學(xué)習(xí)。機(jī)器學(xué)習(xí)算法的結(jié)果取決于使用的訓(xùn)練圖像，但是通常類似于表1所示的結(jié)果。圖像去噪子系統(tǒng)的一個效果是具有例如高斯噪聲的有噪lr輸入圖像在應(yīng)用圖像去噪之后具有較少的噪聲，但是它也比輸入更平滑。圖像超分辨率子系統(tǒng)對lr圖像執(zhí)行分辨率上調(diào)以提供具有保留的高頻內(nèi)容的放大圖像。在一個實施例中，同樣基于濾波的方法用于該子系統(tǒng)，但是具有不同的濾波器布置。在一個實施例中，濾波器的示例性配置如表2所示。它也使用具有濾波和閾值設(shè)定操作的級聯(lián)布置的五級架構(gòu)。圖3所示的結(jié)構(gòu)類似地適用于去噪子系統(tǒng)。表2：示例性圖像超分辨率子系統(tǒng)的配置可以使用各種分辨率上調(diào)因子。例如，分辨率上調(diào)因數(shù)2(每維)給出了在兩個空間維度中具有輸入圖像的雙倍大小的輸出圖像。有噪hr圖像保留hf內(nèi)容(這是有益的)，但是也包含噪聲。另一方面，去噪hr圖像具有較少的噪聲，但是圖像更平滑。本發(fā)明將這兩個圖像進(jìn)行組合以產(chǎn)生具有降低的噪聲以及hf內(nèi)容的最終圖像。圖像組合子系統(tǒng)將有噪hr與去噪hr圖像進(jìn)行組合以產(chǎn)生最終輸出hr圖像。該網(wǎng)絡(luò)確定輸入圖像和相應(yīng)的輸出hr圖像之間的非線性映射。在一個實施例中，使用基于濾波器的網(wǎng)絡(luò)來找到非線性映射。它使用與用于圖像去噪和圖像超分辨率的濾波網(wǎng)絡(luò)類似的架構(gòu)。在一個實施例中，圖3示出了等效于用于對輸入圖像進(jìn)行組合的網(wǎng)絡(luò)架構(gòu)的網(wǎng)絡(luò)架構(gòu)。在一個實施例中，組合50使用包括第一組合濾波、第一閾值設(shè)定、第二組合濾波、第二閾值設(shè)定和第三組合濾波的五級濾波序列。表3示出了組合子系統(tǒng)的示例性配置參數(shù)。級濾波器的數(shù)目/操作類型空間支持164/濾波7x721/閾值設(shè)定1x1332/濾波3x341/閾值設(shè)定1x151/濾波5x5表3組合子系統(tǒng)的配置由這種非線性網(wǎng)絡(luò)產(chǎn)生的輸出圖像具有比常規(guī)去噪的hr圖像更好的psnr(即，更少的噪聲)，例如，對于具有方差為5的高斯噪聲的圖像，psnr增加約2db，并且在視覺上更合意。在一個實施例中，可以通過使用三個子系統(tǒng)的所謂反向傳播來執(zhí)行訓(xùn)練。該算法計算誤差關(guān)于系統(tǒng)中的權(quán)重(即，濾波系數(shù))的導(dǎo)數(shù)。誤差是期望的輸出圖像與系統(tǒng)產(chǎn)生的輸出之差。在一個實施例中，將地面真值與系統(tǒng)的輸出圖像之間的平方差用作誤差度量。然后，可以計算誤差關(guān)于權(quán)重的導(dǎo)數(shù)?？梢酝ㄟ^使誤差的導(dǎo)數(shù)等于零來計算針對權(quán)重的權(quán)重更新。通過使用導(dǎo)數(shù)的鏈規(guī)則，誤差的梯度從輸出級中的權(quán)重向后傳播到輸入級中的權(quán)重。在一個實施例中，例如在輸出級中或在訓(xùn)練級中進(jìn)行這種權(quán)重調(diào)節(jié)。少量的訓(xùn)練圖像(例如91個訓(xùn)練圖像)足以訓(xùn)練網(wǎng)絡(luò)。對于該訓(xùn)練，從圖像中提取更小的分塊。例如，對于所有三個子系統(tǒng)，合理的訓(xùn)練分塊大小是32×32個像素。本發(fā)明的一個優(yōu)點是其適于有效地對lr圖像進(jìn)行分辨率上調(diào)和去噪，所述lr圖像包括各種噪聲類型，例如，高斯、膠片噪點、編碼偽像等。也就是說，相同的網(wǎng)絡(luò)架構(gòu)可以用于所有類型的噪聲，對于傳統(tǒng)技術(shù)而言并非如此。所公開的方法的一個優(yōu)點是其在客觀評估(psnr)和主觀評估(視覺外觀)方面實現(xiàn)了更好質(zhì)量的hr圖像。根據(jù)所使用的訓(xùn)練策略，如果輸入圖像的噪聲水平是已知的，則訓(xùn)練結(jié)果可能更好。動詞“包括”及其變形的使用不排除存在除了權(quán)利要求中所述的元件或步驟之外的元件或步驟。此外，元件之前的冠詞“一”或“一個”的使用不排除存在多個這樣的元件。幾個“裝置”可以由相同的硬件項來表示。此外，本發(fā)明在于每個新穎特征或特征組合。如本文所使用的，“分辨率上調(diào)”或“去噪”不描述單純的數(shù)學(xué)抽象，而是表示具體實現(xiàn)在能夠由機(jī)器或裝置檢測的物理介質(zhì)中或由其承載的信息。該術(shù)語包括記錄或傳輸?shù)男盘枺⑶覒?yīng)當(dāng)被理解為包括通過任何形式的編碼(包括脈沖編碼調(diào)制(pcm)，但不限于pcm)的傳輸。雖然已經(jīng)示出、描述和指出了應(yīng)用于本發(fā)明的優(yōu)選實施例的本發(fā)明的基本新穎特征，但是將理解的是，所描述的裝置和方法中的各種省略、替換和改變在所公開的設(shè)備的形式和細(xì)節(jié)方面可以由本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神的情況下做出。雖然已經(jīng)關(guān)于......公開了本發(fā)明，但是本領(lǐng)域技術(shù)人員將認(rèn)識到，本文描述的方法和設(shè)備可以應(yīng)用于任何......。明確地期望以實質(zhì)上相同的方式執(zhí)行實質(zhì)上相同的功能以實現(xiàn)相同結(jié)果的那些元件的所有組合落入本發(fā)明的范圍內(nèi)。將元件從一個描述的實施例替換到另一個實施例也是完全預(yù)期和設(shè)想的。應(yīng)當(dāng)理解，僅通過舉例說明的方式描述了本發(fā)明，并且在不脫離本發(fā)明的范圍的情況下可以對細(xì)節(jié)進(jìn)行修改?？梢元毩⒌鼗蛞匀魏芜m當(dāng)?shù)慕M合提供說明書以及(在適當(dāng)?shù)那闆r下)權(quán)利要求和附圖中公開的每個特征。可以在適當(dāng)?shù)那闆r下以硬件、軟件或兩者的組合來實現(xiàn)特征。在適當(dāng)?shù)那闆r下，連接可以被實現(xiàn)為無線連接或有線(不一定是直接或?qū)Ｓ?連接。權(quán)利要求中出現(xiàn)的附圖標(biāo)記僅僅是說明性的，并且對權(quán)利要求的范圍沒有限制作用。引用文獻(xiàn)wo2015121422aep3086280[dabov2007]dabov等的“imagedenoisingbysparse3dtransform-domaincollaborativefiltering”，transactiononimageprocessing2007[dong2014]dong等的“l(fā)earningadeepconvolutionalnetworkforimagesuper-resolution”，proceedingsofeuropeanconferenceoncomputervision(eccv)，2014當(dāng)前第1頁12