專利名稱：學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序、以及記錄介質(zhì)，尤其涉及能夠高速進(jìn)行高精度分辨率插值的學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序、以及記錄介質(zhì)。
背景技術(shù)：
過去，高質(zhì)量圖像處理已經(jīng)投入實(shí)際使用。例如，當(dāng)輸入信號(hào)的分辨率不滿足屏幕的分辨率，已知用作用于補(bǔ)償分辨率的分辨率插值技術(shù)的超分辨率技術(shù)。如果使用超分辨率技術(shù)，當(dāng)使用全高清(full-HD)寬屏電視觀看具有標(biāo)準(zhǔn)分辨率的視頻軟件時(shí)，可以對(duì)不足的像素進(jìn)行插入(interpose)并且能夠享受到更真實(shí)的視頻。
·
現(xiàn)有技術(shù)的超分辨率技術(shù)通過反復(fù)的運(yùn)算根據(jù)低分辨率圖像來估計(jì)高分辨率圖像的像素，并通常執(zhí)行以下的處理。首先，預(yù)先估計(jì)相機(jī)模型(劣化模型)和相機(jī)運(yùn)動(dòng)(對(duì)準(zhǔn))。另外，通過反復(fù)運(yùn)算逐漸校正高分辨率圖像，從而使得通過估計(jì)模型根據(jù)高分辨率圖像獲得的估計(jì)的低分辨率圖像與實(shí)際觀測(cè)的低分辨率圖像的誤差(差分)減小，以使所述高分辨率圖像變得與理想圖像近似。例如，在相機(jī)模型(劣化模型)中，考慮模糊(光模糊、移動(dòng)模糊和PSF)、像素?cái)?shù)目變換(下變換(down conversion)和逐行-隔行變換)、以及噪聲。在對(duì)準(zhǔn)中，使用具有子像素精度的對(duì)相機(jī)運(yùn)動(dòng)或物體運(yùn)動(dòng)的估計(jì)。當(dāng)確切知道相機(jī)模型和對(duì)準(zhǔn)時(shí)，能夠恢復(fù)沒有混疊(aliasing)的高分辨率圖像。另外，提出了這樣的技術(shù)(例如，參考日本專利申請(qǐng)公開No2008-140012)，其中將通過超分辨率處理器計(jì)算的反饋值加上存儲(chǔ)在緩沖器中的高分辨率圖像，將通過第一次加法處理獲得的高分辨率圖像加上通過以下的超分辨率處理器獲得的反饋值，并且通過利用Gauss-Seidel法的超分辨率處理來生成高分辨率圖像。

發(fā)明內(nèi)容
然而，在現(xiàn)有技術(shù)中，未能完全指定相機(jī)模型或?qū)?zhǔn)，并且未能利用均一的模型來描述屏幕的內(nèi)部。如果在相機(jī)模型或?qū)?zhǔn)中產(chǎn)生估計(jì)誤差，并且未能進(jìn)行適當(dāng)?shù)母叻直媛蕡D像校正，貝1J會(huì)產(chǎn)生不良影響，諸如邊緣或細(xì)節(jié)部分的過分加強(qiáng)、過調(diào)節(jié)(overshoot)、以及對(duì)噪聲的加強(qiáng)，并且這導(dǎo)致圖像質(zhì)量的劣化?？紤]了用于根據(jù)圖像的預(yù)先(advance)信息而防止圖像質(zhì)量的劣化或加強(qiáng)噪聲的技術(shù)以防止不良影響(稱為重構(gòu)建型(reconstruction-type)超分辨率MAP法)。然而，該技術(shù)不足以防止不良影響，因?yàn)樾阅芎艽蟪潭壬弦蕾囉趫D像的預(yù)先信息，并且難以對(duì)混疊性能、分辨率感、抑制過調(diào)節(jié)、以及抑制噪聲全部滿足。在現(xiàn)有技術(shù)中，因?yàn)橛煞磸?fù)運(yùn)算造成的處理負(fù)荷較大，所以難以實(shí)現(xiàn)高速處理。考慮上述情況而完成本發(fā)明，并且本發(fā)明使得能夠以高速進(jìn)行高精度的分辨率插值。根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理裝置，其包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及預(yù)測(cè)運(yùn)算單元，該預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。預(yù)測(cè)運(yùn)算單元可以讀取通過預(yù)先學(xué)習(xí)生成的存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中的所述參數(shù)，并 進(jìn)行所述預(yù)測(cè)運(yùn)算?；谀Ｐ偷奶幚韱卧梢园ㄟ\(yùn)動(dòng)補(bǔ)償單元，該運(yùn)動(dòng)補(bǔ)償單元對(duì)前一幀輸出的高分辨率圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償；下采樣器，該下采樣器根據(jù)所述相機(jī)模型限制前一幀輸出的運(yùn)動(dòng)補(bǔ)償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計(jì)的低分辨率圖像；差分計(jì)算單元，該差分計(jì)算單元計(jì)算作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像與估計(jì)的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，該上采樣器對(duì)差分圖像數(shù)據(jù)的像素進(jìn)行插值，從而生成高分辨率圖像?；谀Ｐ偷奶幚韱卧梢园：砑訂卧撃：砑訂卧獙?duì)前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。還可以包括類型分類單元，該類型分類單元基于在基于模型的處理過程中計(jì)算的特征量對(duì)每種類型的關(guān)注像素進(jìn)行分類。預(yù)測(cè)運(yùn)算單元還可以進(jìn)行使用預(yù)先存儲(chǔ)的系數(shù)作為與分類的類型相對(duì)應(yīng)的參數(shù)的預(yù)定運(yùn)算，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。還可以包括抽頭(tap)提取單元，該抽頭提取單元提取作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭。預(yù)測(cè)運(yùn)算單元可以基于預(yù)先存儲(chǔ)的參數(shù)進(jìn)行關(guān)于抽頭的預(yù)定運(yùn)算，并對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理方法，其包括由基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及由預(yù)測(cè)運(yùn)算模型基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。根據(jù)本發(fā)明的實(shí)施例，提供了一種用于使得計(jì)算機(jī)用作圖像處理裝置的程序。該圖像處理裝置包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及預(yù)測(cè)運(yùn)算單元，該預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。根據(jù)本發(fā)明的實(shí)施例，提供了一種記錄介質(zhì)，其中記錄根據(jù)權(quán)利要求8的程序。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種學(xué)習(xí)裝置，其包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及參數(shù)計(jì)算單元，該參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。還可以包括數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)存儲(chǔ)所計(jì)算的參數(shù)?？梢栽趫D像處理裝置的圖像處理中使用數(shù)據(jù)庫(kù)，該圖像處理用于將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像?；谀Ｐ偷奶幚韱卧梢园ㄟ\(yùn)動(dòng)補(bǔ)償單元，該運(yùn)動(dòng)補(bǔ)償單元對(duì)前一幀輸出的高分辨率圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償；下采樣器，該下采樣器根據(jù)相機(jī)模型限制前一幀輸出的運(yùn)動(dòng)補(bǔ)償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計(jì)的低分辨率圖像；差分計(jì)算單元，該差分計(jì)算單元計(jì)算學(xué)生圖像與估計(jì)的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，該上采樣器對(duì)差分圖像數(shù)據(jù)的像素進(jìn)行插值，而生成高分辨率圖像?！せ谀Ｐ偷奶幚韱卧梢园：砑訂卧?，該模糊添加單元對(duì)前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，該模糊去除單元去除由模糊添加單元添加的模糊。還可以包括類型分類單元，該類型分類單元基于在基于模型的處理過程中所計(jì)算的特征量將關(guān)注像素分類為各個(gè)類型。參數(shù)計(jì)算單元可以計(jì)算對(duì)要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算時(shí)與所述抽頭相乘的系數(shù)，作為對(duì)應(yīng)于分類的類型的參數(shù)。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種學(xué)習(xí)方法，其包括通過基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；通過抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；通過樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及通過參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。根據(jù)本發(fā)明的實(shí)施例，提供了一種用于使得計(jì)算機(jī)用作學(xué)習(xí)裝置的程序。該學(xué)習(xí)裝置包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及參數(shù)計(jì)算單元，該參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。根據(jù)本發(fā)明的實(shí)施例，執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。根據(jù)上述本發(fā)明的實(shí)施例，能夠以高速進(jìn)行高精度分辨率插值。


圖I為說明通過使用一幀的屏幕內(nèi)的像素的現(xiàn)有的上轉(zhuǎn)換(up conversion)技術(shù)獲得的圖像實(shí)例的示圖；圖2為說明SDi信號(hào)的像素和HDp信號(hào)的像素的位置的示圖；·圖3為說明通過使用過去生成的多個(gè)圖像的像素的現(xiàn)有的超分辨率技術(shù)獲得的圖像的實(shí)例的示圖；圖4為說明SDi信號(hào)的像素和HDp信號(hào)的像素的位置的示圖；圖5A至5C為說明通過使用一幀的屏幕內(nèi)的像素時(shí)和使用過去生成的多個(gè)圖像的像素時(shí)的超分辨率技術(shù)獲得的圖像的實(shí)例的示圖；圖6A至6C為說明與圖5A至5C的實(shí)例不同的圖像的實(shí)例的示圖；圖7為說明現(xiàn)有的超分辨率技術(shù)的概念圖；圖8為說明采用現(xiàn)有的超分辨率技術(shù)的圖像處理裝置的構(gòu)造實(shí)例的框圖；圖9為說明由現(xiàn)有的圖像處理裝置執(zhí)行的處理被簡(jiǎn)化的情況的示圖；圖10說明由應(yīng)用本發(fā)明的圖像處理裝置的執(zhí)行的處理被簡(jiǎn)化的情況的示圖；圖11為說明在本發(fā)明中系數(shù)的學(xué)習(xí)的概念圖；圖12為說明在本發(fā)明中高分辨率圖像的生成的概念圖；圖13為說明根據(jù)本發(fā)明實(shí)施例的學(xué)習(xí)裝置的構(gòu)造實(shí)例的框圖；圖14為說明根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的構(gòu)造實(shí)例的框圖；圖15為說明系數(shù)學(xué)習(xí)處理的實(shí)例的流程圖；圖16為說明基于模型的處理的實(shí)例的流程圖；圖17為說明樣本積蓄處理的實(shí)例的流程圖；圖18為說明超分辨率處理的實(shí)例的流程圖；圖19為說明預(yù)測(cè)處理的實(shí)例的流程圖；以及圖20為說明個(gè)人計(jì)算機(jī)的構(gòu)造實(shí)例的框圖。
具體實(shí)施例方式下面將參考附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。應(yīng)注意，在該說明書和附圖中，以相同的附圖標(biāo)記表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說明。首先，將對(duì)現(xiàn)有技術(shù)的超分辨率技術(shù)進(jìn)行說明。圖I示出圖像的實(shí)例，在所述圖像上使用現(xiàn)有的上轉(zhuǎn)換技術(shù)執(zhí)行高質(zhì)量圖像處理。在該實(shí)例中，將標(biāo)準(zhǔn)清晰度(SD)隔行(i )信號(hào)的圖像轉(zhuǎn)換為高清晰度(HD)逐行(p )信號(hào)的圖像。圖I所示的圖像是運(yùn)動(dòng)圖片。在該實(shí)例中，顯示了在時(shí)刻t至t+4的各個(gè)幀的圖像。在該實(shí)例中，基于在一幀的屏幕內(nèi)的像素執(zhí)行高質(zhì)量圖像處理。例如，基于多個(gè)SDi信號(hào)的像素生成一個(gè)HDp信號(hào)的像素。即，示出了對(duì)圖像進(jìn)行上轉(zhuǎn)換的情況的實(shí)例。在圖I中，在最上面的部分示出了要最初生成的作為理想圖像的HDp信號(hào)的圖像。在圖I中，從上往下順序排列和顯示時(shí)刻t至t+4的各個(gè)幀的圖像，這些圖像是通過對(duì)SDi信號(hào)執(zhí)行高質(zhì)量圖像處理獲得的圖像。在圖2中，縱軸示出垂直方向的像素位置，橫軸示出時(shí)刻，并且由圓形圖形示出SDi信號(hào)的像素和通過利用超分辨率技術(shù)執(zhí)行高質(zhì)量圖像處理生成的(插值的)HDp信號(hào)的像素。SDi信號(hào)的像素由較大的細(xì)線條(hatched)的圓形示出，并且HDp信號(hào)的像素由較小的黑色圓形示出。由于執(zhí)行高質(zhì)量圖像處理的圖像是具有運(yùn)動(dòng)的圖像，所以在圖I中以X標(biāo)記示出 的像素在垂直方向移動(dòng)。也就是說，圖2中以圓圈圍繞的黑色圓形對(duì)應(yīng)于圖I中以X標(biāo)記示出的像素。如上所述，由于基于一幀的屏幕內(nèi)的像素執(zhí)行高質(zhì)量圖像處理，所以由位于遠(yuǎn)離SDi信號(hào)的像素的位置的位置處的HDp信號(hào)的像素構(gòu)成的圖像的像素的插值精度通常變得較低。例如，如圖2所示，在時(shí)刻t+2的幀中的以圓圈圍繞的HDp信號(hào)的像素遠(yuǎn)離SDi信號(hào)的像素的位置。因此，在圖I的時(shí)刻t+2的幀的圖像中，以X標(biāo)記示出的位置附近的圖像的像素的插值精度較低。同時(shí)，當(dāng)利用之前存在(過去)的多個(gè)時(shí)刻的幀的圖像的像素執(zhí)行高質(zhì)量圖像處理時(shí)，能夠提高由位于遠(yuǎn)離SDi信號(hào)的像素的位置的位置處的HDp信號(hào)的像素構(gòu)成的圖像的像素的插值精度。圖3示出利用現(xiàn)有的超分辨率技術(shù)執(zhí)行高質(zhì)量圖像處理的圖像的實(shí)例。在該實(shí)例中，示出將SDi信號(hào)的圖像轉(zhuǎn)換為HDp信號(hào)的圖像的情況。圖3所示的圖像是運(yùn)動(dòng)圖片。在該實(shí)例中，顯示時(shí)刻t至t+4的時(shí)刻的各個(gè)幀的圖像。在該實(shí)例中，基于在過去生成的多個(gè)圖像的像素執(zhí)行高質(zhì)量圖像處理。例如，基于多個(gè)SDi信號(hào)的像素生成I個(gè)HDp信號(hào)的像素。在圖3中，在最上面的部分示出了要最初生成的作為理想圖像的HDp信號(hào)的圖像。在圖3中，從上往下順序排列和顯示時(shí)刻t至t+4的各個(gè)幀的圖像，這些圖像是通過對(duì)SDi信號(hào)執(zhí)行使用現(xiàn)有的超分辨率技術(shù)的高質(zhì)量圖像處理獲得的圖像。在圖4中，縱軸示出垂直方向的像素位置，橫軸示出時(shí)刻，并且由圓圈圖形示出SDi信號(hào)的像素和通過利用超分辨率技術(shù)執(zhí)行高質(zhì)量圖像處理生成的(插值的)HDp信號(hào)的像素。SDi信號(hào)的像素由較大的細(xì)線條(hatched)的圓形示出，并且HDp信號(hào)的像素由較小的黑色圓形示出。與圖I的情況不同，在圖3所示的圖像的情況下，隨著時(shí)刻經(jīng)過清楚地顯示圖像。例如，在時(shí)刻t+4處示出的圖像中，與圖I的情況不同，遠(yuǎn)離SDi信號(hào)的像素的位置的位置處的像素被清楚地顯示，而諸如圖像的邊緣的細(xì)節(jié)部分也被清楚地顯示。圖5A至6C示出通過利用一幀的屏幕內(nèi)的像素的超分辨率技術(shù)獲得的圖像和通過利用在過去生成的多個(gè)圖像的像素的超分辨率技術(shù)獲得的圖像的另一個(gè)實(shí)例。
圖5C和6C分別示出與實(shí)際被攝體的圖像近似的理想圖像。在圖5C的情況下，顯示包括多個(gè)邊緣的圖像，并且在圖6C的情況下，顯示包括多個(gè)字符的圖像。圖5A示出通過基于一幀的屏幕內(nèi)的像素執(zhí)行高質(zhì)量圖像處理獲得的圖像的實(shí)例，并且圖5B示出通過利用在過去生成的多個(gè)圖像的像素執(zhí)行高質(zhì)量圖像處理獲得的圖像的實(shí)例。例如，在圖5A的情況下，在成為屏幕內(nèi)的邊緣的圖像的附近發(fā)生混疊畸變 (aliasing distortion)。同時(shí),在圖5B的情況下,獲得更近似于理想圖像(參考圖5C)的圖像。在圖5B的情況下，使用多個(gè)圖像的像素，圖像質(zhì)量能夠接近理想圖像的質(zhì)量。圖6A示出通過基于一幀的屏幕內(nèi)的像素執(zhí)行的高質(zhì)量圖像處理獲得圖像的實(shí)例，并且圖6B示出通過利用在過去生成的多個(gè)圖像的像素執(zhí)行的高質(zhì)量圖像處理獲得的圖像的實(shí)例。例如，在圖6A的情況下，屏幕內(nèi)的字符的圖像未被清楚地顯示。同時(shí)，在圖6B的情況下，獲得與理想圖像(參考圖6C)更近似的圖像。在圖6B的情況下，利用將在下文說明的反復(fù)運(yùn)算(repeated operation),圖像質(zhì)量能夠接近理想圖像的質(zhì)量。從而，在圖5A至6C的情況下，通過利用在過去生成的多個(gè)圖像的像素執(zhí)行高質(zhì)量圖像處理，能夠獲得與理想圖像近似的圖像。圖7和8不出現(xiàn)有的超分辨率技術(shù)。在這些實(shí)例中，聞質(zhì)量圖像處理將低分辨率圖像轉(zhuǎn)換為高分辨率圖像、并且通過利用在過去生成的多個(gè)圖像的像素而執(zhí)行。在現(xiàn)有的超分辨率技術(shù)中，如圖7所示，通過相機(jī)對(duì)被攝體拍照，并且獲得觀測(cè)的低分辨率圖像(例如，SDi信號(hào)的圖像)。同時(shí)，在通過相機(jī)拍攝被攝體時(shí)的相機(jī)模型(劣化模型)和相機(jī)運(yùn)動(dòng)(對(duì)準(zhǔn))被添加到前一幀的高分辨率圖像(例如，HDp信號(hào)的圖像)。例如，對(duì)前一幀的高分辨率圖像有意添加模糊并且對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。之后，將圖像下采樣，并且將圖像轉(zhuǎn)換為低分辨率圖像。從而，獲得估計(jì)的低分辨率圖像(例如SDi信號(hào)的圖像)。計(jì)算估計(jì)的低分辨率圖像的每個(gè)像素與觀測(cè)的低分辨率圖像的每個(gè)像素的差分(誤差)并更新高分辨率圖像以減少誤差。通過對(duì)于一幀若干次地反復(fù)上述處理而更新高分辨率圖像。高分辨率圖像的質(zhì)量逐漸接近理想圖像的質(zhì)量。從而，可以將用于反復(fù)更新高分辨率圖像的像素值的處理稱為反復(fù)運(yùn)算。例如，當(dāng)將反復(fù)運(yùn)算進(jìn)行三次時(shí)，相比于將反復(fù)運(yùn)算進(jìn)行兩次，圖像的質(zhì)量能夠進(jìn)一步接近理想圖像。從而，如果通過反復(fù)運(yùn)算更新通過最近的運(yùn)算處理更新的高分辨率圖像的像素，高分辨率圖像的質(zhì)量逐漸接近理想圖像的質(zhì)量。圖8是示出采用現(xiàn)有的超分辨率技術(shù)的圖像處理裝置的構(gòu)造實(shí)例的框圖。圖8所示的圖像處理裝置10包括運(yùn)動(dòng)補(bǔ)償單元(MC) 21、模糊添加單元(模糊)22、下采樣器23、力口法器24、上采樣器25、模糊去除單元(逆模糊(InvBlur)) 26、乘法器27以及加法器28。運(yùn)動(dòng)補(bǔ)償單元21接收在最近之前的更新的高分辨率圖像，計(jì)算運(yùn)動(dòng)矢量，并對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。從運(yùn)動(dòng)補(bǔ)償單元21輸出的圖像被稱為運(yùn)動(dòng)補(bǔ)償后的最近之前的更新的高分辨率圖像。該運(yùn)動(dòng)補(bǔ)償后的最近之前的更新的高分辨率圖像被提供給模糊添加單元22。模糊添加單元22對(duì)運(yùn)動(dòng)補(bǔ)償后的最近之前的更新的高分辨率圖像添加由相機(jī)拍攝被攝體時(shí)產(chǎn)生的模糊。也就是說，估計(jì)(模擬)相機(jī)的PSF或光模糊并生成圖像。在該情況下，將基于預(yù)定圖像估計(jì)(模擬)相機(jī)的PSF或光模糊并生成圖像稱為添加模糊。添加了模糊的運(yùn)動(dòng)補(bǔ)償后的最近之前的更新的高分辨率圖像被提供給下采樣器23。下采樣器23間隔剔除(thin out)添加了模糊的運(yùn)動(dòng)補(bǔ)償后的最近之前的更新的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計(jì)的低分辨率圖像。加法器24計(jì)算估計(jì)的低分辨率圖像的每個(gè)像素與觀測(cè)的低分辨率圖像的每個(gè)像素的差分(誤差)。該計(jì)算結(jié)果被提供給上采樣器25。上采樣器25對(duì)于加法器24的計(jì)算結(jié)果的數(shù)據(jù)對(duì)像素進(jìn)行插值以生成高分辨率圖像，并將高分辨率圖像提供給模糊去除單元(逆模糊(InvBlur)) 26。模糊去除單元26去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元22添加的模糊的處理。模糊添加單元22和模糊去除單元26可以不設(shè)置?！こ朔ㄆ?7將從模糊去除單元26輸出的高分辨率圖像的每個(gè)像素的像素值與預(yù)定增益相乘并將相乘的結(jié)果輸出給加法器28。加法器28將運(yùn)動(dòng)補(bǔ)償后的最近之前的更新的高分辨率圖像的每個(gè)像素與乘法器27的計(jì)算結(jié)果相加，并將相加的結(jié)果輸出作為高分辨率圖像。S卩，如果如圖9所示簡(jiǎn)單地說明現(xiàn)有技術(shù)的圖像處理裝置10，現(xiàn)有技術(shù)的圖像處理裝置10以模型基礎(chǔ)轉(zhuǎn)換低分辨率圖像和反饋的高分辨率圖像，并生成高分辨率圖像。即，運(yùn)動(dòng)補(bǔ)償或模糊添加或去除可以考慮基于作為相機(jī)模型提供的圖像轉(zhuǎn)換模型和作為對(duì)準(zhǔn)提供的圖像轉(zhuǎn)換模型的處理，并且該圖像轉(zhuǎn)換被稱為基于模型的處理。對(duì)于在上述實(shí)例中的反饋，最近之前的高分辨率圖像被反饋。另外，最近之前的更新的高分辨率圖像被反饋并更新。通過對(duì)于一幀若干次地反復(fù)反饋而更新高分辨率的圖像。圖9中的模型基礎(chǔ)示出處理的概念，并且對(duì)應(yīng)于圖8的運(yùn)動(dòng)補(bǔ)償單元21、模糊添加單元22和下采樣器23的處理、以及它們的逆轉(zhuǎn)換處理。然而，相機(jī)模型或?qū)?zhǔn)無法被完全指定，并且屏幕的內(nèi)部無法以均一的模型描述。即，難以適當(dāng)?shù)貥?gòu)建圖9所示的模型基礎(chǔ)。如果相機(jī)模型或者對(duì)準(zhǔn)發(fā)生估計(jì)誤差，并且無法進(jìn)行適當(dāng)?shù)母叻直媛蕡D像校正，將產(chǎn)生不良影響，諸如對(duì)邊緣或細(xì)節(jié)部分的過分加強(qiáng)、過調(diào)節(jié)以及對(duì)噪聲的加強(qiáng)，這導(dǎo)致圖像質(zhì)量的劣化?？紤]了用于根據(jù)圖像的預(yù)先信息防止對(duì)圖像質(zhì)量的劣化或?qū)υ肼暤募訌?qiáng)的技術(shù)，以防止不良影響(稱為重構(gòu)建型超分辨率MAP法)。然而，該技術(shù)不足以防止不良影響，因?yàn)樾阅芎艽蟪潭壬弦蕾囉趫D像的預(yù)先信息，而難以對(duì)混疊性能、分辨率感、抑制過調(diào)節(jié)、以及抑制噪聲全部滿足。在現(xiàn)有技術(shù)中，如上所述，通過對(duì)于一幀反復(fù)若干次的反復(fù)運(yùn)算的處理負(fù)荷較大，從而難以實(shí)現(xiàn)高速處理。從而，在本發(fā)明中，如圖10所示，對(duì)基于模型的處理添加使用學(xué)習(xí)數(shù)據(jù)庫(kù)的處理。即，將高分辨率圖像設(shè)置為教師圖像(teacher image)，并將通過劣化教師圖像而生成的低分辨率圖像設(shè)置為學(xué)生圖像(student image)，將高分辨率圖像和低分辨率圖像輸入圖像處理裝置，并且根據(jù)學(xué)生圖像生成高分辨率圖像。將生成的高分辨率圖像和教師圖像相互比較，計(jì)算(學(xué)習(xí))用于估計(jì)高分辨率圖像的像素值的參數(shù)，并將該參數(shù)存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中。
例如，如圖11所示，將作為學(xué)生圖像輸入的低分辨率圖像(例如，SDi信號(hào)的圖像)作為觀測(cè)的低分辨率圖像來處理。同時(shí)，將由相機(jī)拍攝被攝體時(shí)的相機(jī)模型(劣化模型)和相機(jī)運(yùn)動(dòng)(對(duì)準(zhǔn))添加到前一幀的高分辨率圖像(例如，HDp信號(hào)的圖像)。例如，有意地將模糊添加到前一幀的高分辨率圖像，并在對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。從而，獲得估計(jì)的低分辨率圖像(例如，SDi信號(hào)的圖像)。在該情況下，將基于預(yù)定圖像估計(jì)(模擬)相機(jī)的PSF或光模糊并生成圖像稱為添加模糊。計(jì)算估計(jì)的低分辨率圖像的每個(gè)像素與觀測(cè)的低分辨率圖像的每個(gè)像素的差分(誤差)，并通過學(xué)習(xí)用于生成高分辨率圖像所需的信息而更新高分辨率圖像。在該情況下，基于觀測(cè)的低分辨率圖像的像素和運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素來學(xué)習(xí)用于估計(jì)高分辨率圖像的像素的預(yù)定系數(shù)。例如，將教師圖像的像素值設(shè)置為yt，將學(xué)生圖像的像素值設(shè)置為xi，將運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素值設(shè)置為xj，并且假設(shè)通過公式I表示的線性公式。·
NI
yt=IwiXi + IwjXjjj
(I)在該情況下，公式I中的系數(shù)Wi示出與觀測(cè)的低分辨率圖像的像素值相乘的系數(shù)，并且系數(shù)Wj示出與運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素值相乘的系數(shù)。在公式I中，N示出用于計(jì)算教師圖像的像素值的學(xué)生圖像的像素?cái)?shù)目，并且M示出用于計(jì)算教師圖像的像素?cái)?shù)目的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素?cái)?shù)目。例如，使用學(xué)生圖像的像素值與估計(jì)的低分辨率圖像的像素值的差分作為特征量將關(guān)注像素分類為各個(gè)類型。在該情況下，關(guān)注像素成為要在高分辨率圖像中獲得的像素。從而，根據(jù)在對(duì)于學(xué)生圖像的像素值與估計(jì)的低分辨率圖像的像素值的差分的數(shù)據(jù)進(jìn)行通過上采樣器的像素插值之后，通過模糊去除單元去除模糊的數(shù)據(jù)的像素值來獲得對(duì)應(yīng)于實(shí)際關(guān)注像素值的特征量。可以使用其它方法將關(guān)注像素分類為各個(gè)類型。例如，可以使用自適應(yīng)動(dòng)態(tài)范圍編碼(ADRC)將關(guān)注像素分類為各個(gè)類型。如上所述，在將關(guān)注像素分類為各個(gè)類型之后，對(duì)每個(gè)類型積蓄公式I的多個(gè)樣本。另外，使用最小二乘法對(duì)每個(gè)類型計(jì)算系數(shù)Wi和wj。如上所述所計(jì)算的系數(shù)Wi和Wj被存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中。當(dāng)對(duì)于實(shí)際輸入的圖像執(zhí)行高質(zhì)量圖像處理時(shí)，使用被存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中的系數(shù)wi和w j。S卩，如圖12所示，執(zhí)行下面的處理以將觀測(cè)的低分辨率圖像轉(zhuǎn)換為高分辨率圖像。由相機(jī)拍攝被攝體，并且獲得低分辨率圖像(例如，SDi信號(hào)的圖像)。同時(shí)，將在由相機(jī)拍攝被攝體時(shí)的相機(jī)模型(劣化模型)和相機(jī)運(yùn)動(dòng)(對(duì)準(zhǔn))添加到前一幀的高分辨率圖像(例如，HDp信號(hào)的圖像)。例如，有意地將模糊添加到前一幀的高分辨率圖像，并且對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。之后對(duì)圖像進(jìn)行下采樣，并且將圖像轉(zhuǎn)換為低分辨率圖像。從而，獲得估計(jì)的低分辨率圖像(例如，SDi信號(hào)的圖像)。在該情況下，將基于預(yù)定圖像估計(jì)(模擬)相機(jī)的PSF或光模糊并生成圖像稱為添加模糊。
將關(guān)注像素分類為各個(gè)類型，并使用對(duì)應(yīng)于分類的類型的系數(shù)預(yù)測(cè)(運(yùn)算)高分辨率圖像的像素值。在該情況下，與在進(jìn)行學(xué)習(xí)時(shí)類似，使用學(xué)生圖像的像素值和估計(jì)的低分辨率圖像的像素值的差分作為特征量而將關(guān)注像素分類為各個(gè)類型。讀取與分類的類型相關(guān)聯(lián)并被存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中的系數(shù)Wi和Wj。例如，將要預(yù)測(cè)的高分辨率圖像的像素值設(shè)置為y，將觀測(cè)的低分辨率圖像的像素
值設(shè)置為xi，將運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素值設(shè)置為xj，并且通過公式2
的運(yùn)算預(yù)測(cè)(運(yùn)算)高分辨率圖像的像素值。。
NI
y— > Hf - Y ， -4- > UU * V ·^ / W|A| ~ / W IA Ij j
(2)在該情況下，公式2中的系數(shù)wi示出與觀測(cè)的低分辨率圖像的像素值相乘的系數(shù)，并且系數(shù)wj示出與運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素值相乘的系數(shù)，并且根據(jù)關(guān)注像素的類型從學(xué)習(xí)數(shù)據(jù)庫(kù)讀取系數(shù)。在公式2中，N示出用于計(jì)算高分辨率圖像的像素值的觀測(cè)的低分辨率圖像的像素?cái)?shù)目，并且M示出用于計(jì)算高分辨率圖像的像素值的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素?cái)?shù)目，并且各個(gè)像素?cái)?shù)目等于在進(jìn)行學(xué)習(xí)時(shí)的像素?cái)?shù)目。通過以由公式2運(yùn)算的像素值替換高分辨率圖像的每個(gè)像素值而更新高分辨率圖像。根據(jù)本發(fā)明，與上述參考圖7的現(xiàn)有的超分辨率技術(shù)的情況不同，將公式2的運(yùn)算對(duì)于一幀進(jìn)行一次，生成與理想圖像近似的高分辨率圖像的像素。從而，解除了通過反復(fù)運(yùn)算導(dǎo)致的處理負(fù)荷，并容易地實(shí)現(xiàn)了高速處理。根據(jù)本發(fā)明，預(yù)先學(xué)習(xí)并存儲(chǔ)在公式2的運(yùn)算中使用的系數(shù)。從而，即使在相機(jī)模型或?qū)?zhǔn)中產(chǎn)生估計(jì)誤差，仍能夠抑制產(chǎn)生不良影響，諸如對(duì)邊緣或細(xì)節(jié)部分的過分加強(qiáng)、過調(diào)節(jié)、以及對(duì)噪聲的加強(qiáng)。這是因?yàn)?，即使在相機(jī)模型或?qū)?zhǔn)中產(chǎn)生估計(jì)誤差，也能夠從包括該估計(jì)誤差的狀態(tài)學(xué)習(xí)用于生成與理想圖像近似的圖像的系數(shù)。從而，根據(jù)本發(fā)明，因?yàn)椴恍枰昝赖卣{(diào)節(jié)相機(jī)模型或?qū)?zhǔn)，從而能夠在不復(fù)雜化裝置的結(jié)構(gòu)的情況下提高處理精度。圖13為示出根據(jù)本發(fā)明實(shí)施例的學(xué)習(xí)裝置的構(gòu)造實(shí)例的框圖。在學(xué)習(xí)裝置100中，輸入高分辨率圖像作為教師圖像，并輸入通過劣化教師圖像而生成的低分辨率圖像作為學(xué)生圖像，并且根據(jù)學(xué)生圖像生成高分辨率圖像。將生成的高分辨率圖像與教師圖像相互比較，并計(jì)算(學(xué)習(xí))用于估計(jì)高分辨率圖像的像素值的參數(shù)，并將該參數(shù)存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中。圖13所示的學(xué)習(xí)裝置100包括基于模型的處理單元111、學(xué)習(xí)處理單元112、學(xué)習(xí)數(shù)據(jù)庫(kù)113、加法器124、上采樣器125以及模糊去除單元(逆模糊(InvBlur))126?；谀Ｐ偷奶幚韱卧?11包括運(yùn)動(dòng)補(bǔ)償單元(MC)121、模糊添加單元(模糊)122以及下采樣器123。S卩，學(xué)習(xí)裝置100學(xué)習(xí)用于執(zhí)行現(xiàn)有的超分辨率技術(shù)中的基于模型的處理、并生成高分辨率圖像的預(yù)定系數(shù)。在圖13中，運(yùn)動(dòng)補(bǔ)償單元121接收前一幀的高分辨率圖像，計(jì)算運(yùn)動(dòng)矢量，并對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像被提供給模糊添加單元122。
模糊添加單元122將由相機(jī)拍攝被攝體時(shí)產(chǎn)生的模糊添加到運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像。添加有模糊的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像被提供給下采樣器123。下采樣器123間隔剔除添加有模糊的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計(jì)的低分辨率圖像。加法器124計(jì)算估計(jì)的低分辨率圖像的每個(gè)像素與觀測(cè)的低分辨率圖像的每個(gè)像素的差分(誤差)。計(jì)算結(jié)果的數(shù)據(jù)被提供給上采樣器125。上采樣器125對(duì)于加法器124的計(jì)算結(jié)果對(duì)像素進(jìn)行插值以生成高分辨率圖像，并將高分辨率圖像提供給模糊去除單元(逆模糊(InvBlur)) 126。

模糊去除單元126去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元122添加的模糊的處理?？梢圆惶峁┠：砑訂卧?22和模糊去除單元126。學(xué)生圖像、教師圖像以及從模糊去除單元126輸出的數(shù)據(jù)被提供給學(xué)習(xí)處理單元112。學(xué)習(xí)處理單元112如下學(xué)習(xí)系數(shù)，該系數(shù)用于基于學(xué)生圖像的像素和運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素估計(jì)高分辨率圖像的像素。例如，學(xué)習(xí)處理單元112如上所述將關(guān)注像素分類為各個(gè)類型，并對(duì)每個(gè)類型積蓄公式I的多個(gè)樣本。另外，使用最小二乘法對(duì)每個(gè)類型計(jì)算系數(shù)wi和wj。如上所述地所計(jì)算的系數(shù)wi和Wj被針對(duì)每個(gè)類型存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)113中作為通過學(xué)習(xí)處理單元112的處理結(jié)果。圖14是示出根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的構(gòu)造實(shí)例的框圖。圖像處理裝置200對(duì)應(yīng)于圖13的學(xué)習(xí)裝置100。圖像處理裝置200利用通過學(xué)習(xí)裝置100獲得的學(xué)習(xí)結(jié)果將低分辨率輸入圖像轉(zhuǎn)換為高分辨率輸出圖像。圖14所示的圖像處理裝置200包括基于模型的處理單元211、預(yù)測(cè)處理單元212、學(xué)習(xí)數(shù)據(jù)庫(kù)213、加法器224、上采樣器225以及模糊去除單元(逆模糊(InvBlur)) 226。基于模型的處理單元211包括運(yùn)動(dòng)補(bǔ)償單元(MC) 221、模糊添加單元(模糊)222以及下采樣器 223。S卩，圖像處理裝置200除了執(zhí)行現(xiàn)有的超分辨率技術(shù)中的基于模型的處理，還執(zhí)行利用學(xué)習(xí)數(shù)據(jù)庫(kù)的預(yù)測(cè)處理。通過復(fù)制存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)113中的信息來生成圖像處理裝置200中的學(xué)習(xí)數(shù)據(jù)庫(kù)213。在圖14中，運(yùn)動(dòng)補(bǔ)償單元221接收前一幀的高分辨率圖像、計(jì)算運(yùn)動(dòng)矢量，并對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像被提供給模糊添加單元222。模糊添加單元222將由相機(jī)拍攝被攝體時(shí)產(chǎn)生的模糊添加到運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像。添加有模糊的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像被提供給下采樣器223。下采樣器123間隔剔除添加有模糊的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計(jì)的低分辨率圖像。加法器224計(jì)算估計(jì)的低分辨率圖像的每個(gè)像素與觀測(cè)的低分辨率圖像的每個(gè)像素的差分(誤差)。計(jì)算結(jié)果被提供給上采樣器225。上采樣器225對(duì)于加法器224的計(jì)算結(jié)果將像素插值以生成高分辨率圖像，并將高分辨率圖像提供給模糊去除單元(逆模糊(InvBlur)) 226.模糊去除單元226去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元222添加的模糊的處理。作為輸入圖像的低分辨率圖像、運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像以及從模糊去除單元226輸出的數(shù)據(jù)被提供給預(yù)測(cè)處理單元212。預(yù)測(cè)處理單元212將關(guān)注像素分類為各個(gè)類型，并從學(xué)習(xí)數(shù)據(jù)庫(kù)213讀取對(duì)應(yīng)于所述類型的系數(shù)wi和系數(shù)wj。另外，預(yù)測(cè)處理單元212利用讀取的系數(shù)wi和wj進(jìn)行公式2的運(yùn)算，并預(yù)測(cè)高分辨率圖像的像素值。通過以由公式2運(yùn)算的像素值替換高分辨率圖像的每個(gè)像素值而更新高分辨率圖像。下面將參考圖15的流程圖說明由圖13的學(xué)習(xí)裝置100執(zhí)行的系數(shù)學(xué)習(xí)處理的實(shí)例?！ぴ诓襟ES21，由用戶輸入教師圖像和學(xué)生圖像。在步驟S22，設(shè)置關(guān)注像素。關(guān)注像素成為作為像素值的運(yùn)算對(duì)象的高分辨率圖像的像素。在步驟S23，基于模型的處理單元111執(zhí)行下面參考圖16說明的基于模型的處理。下面將參考圖16的流程圖說明圖15的步驟S23的基于模型的處理的具體實(shí)例。在步驟S41，運(yùn)動(dòng)補(bǔ)償單元121接收前一幀的高分辨率圖像，計(jì)算運(yùn)動(dòng)矢量，并對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償。在步驟S42，模糊添加單元122對(duì)運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像添加由相機(jī)拍攝被攝體時(shí)產(chǎn)生的模糊。在該情況下，將基于預(yù)定圖像估計(jì)(模擬)相機(jī)的PSF或光模糊并生成圖像稱為添加模糊。在步驟S43中，下采樣器123間隔剔除(下采樣)添加有模糊的運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計(jì)的低分辨率圖像。在步驟S44，加法器124計(jì)算估計(jì)的低分辨率圖像的每個(gè)像素與觀測(cè)的低分辨率圖像(在該情況下，為學(xué)生圖像)的每個(gè)像素的差分(誤差)。在步驟S45，上采樣器125對(duì)于加法器124在步驟S44中的計(jì)算結(jié)果將像素插值(上采樣)以生成高分辨率圖像。在步驟S46，模糊去除單元126去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元22在步驟S42的處理中添加的模糊的處理。以這樣的方式，執(zhí)行基于模型的處理。返回到圖15，在步驟S23的處理之后，在步驟S24中，學(xué)習(xí)處理單元112執(zhí)行下面將參考圖17說明的樣本積蓄處理。將參考圖17的流程圖說明圖15的步驟S24的樣本積蓄處理的詳細(xì)實(shí)例。在步驟S61中，學(xué)習(xí)處理單元112對(duì)于關(guān)注像素獲取學(xué)生圖像的像素值與估計(jì)的低分辨率圖像的像素值的差分作為特征量。在對(duì)學(xué)生圖像的像素值與估計(jì)的低分辨率圖像的像素值的差分的數(shù)據(jù)進(jìn)行通過上采樣器的像素插值之后，根據(jù)通過模糊去除單元去除模糊的數(shù)據(jù)的像素值獲得對(duì)應(yīng)于實(shí)際關(guān)注像素的特征量。可以獲取其他特征量。在步驟S62中，學(xué)習(xí)處理單元112基于在步驟S61中獲取的特征量將關(guān)注像素分類為各個(gè)類型。在步驟S63中，學(xué)習(xí)處理單元112提取抽頭。此時(shí)，學(xué)生圖像的N個(gè)像素和運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的M個(gè)像素被提取作為抽頭。在步驟S64，學(xué)習(xí)處理單元112生成公式I的樣本以與通過步驟S62的處理分類的類型相關(guān)聯(lián)。即，通過以教師圖像的像素值替換公式I的yt和以在步驟S63的處理中提取的抽頭的值分別替換xi和xj而生成樣本。在步驟S65，學(xué)習(xí)處理單元112針對(duì)每個(gè)類型積蓄樣本。以這樣的方式，執(zhí)行樣本積蓄處理。返回到圖15，在步驟S24的處理之后，處理進(jìn)行到步驟S25，判斷是否有下一個(gè)關(guān)注像素。在步驟S25中，當(dāng)判定有下一個(gè)關(guān)注像素時(shí)，處理返回到步驟S22并反復(fù)執(zhí)行下面的處理。·在步驟S25中，當(dāng)判定沒有下一個(gè)關(guān)注像素時(shí)，處理進(jìn)行到步驟S26。在步驟S26中，學(xué)習(xí)處理單元112基于在步驟S65的處理中積蓄的樣本對(duì)于每個(gè)類型利用最小二乘法計(jì)算系數(shù)wi和系數(shù)wj。在步驟S27中，學(xué)習(xí)處理單元112學(xué)習(xí)數(shù)據(jù)庫(kù)113，其中將通過步驟S26的處理所計(jì)算的系數(shù)wi和wj與類型相關(guān)聯(lián),并存儲(chǔ)所述系數(shù)wi和wj。以這樣的方式，執(zhí)行系數(shù)學(xué)習(xí)處理。下面，將參考圖18的流程圖說明由圖14的圖像處理裝置200執(zhí)行的超分辨率處理的實(shí)例。在超分辨率處理之前，將存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)113中的信息復(fù)制到圖像處理裝置200的學(xué)習(xí)數(shù)據(jù)庫(kù)213中。在步驟SlOl中，由用戶輸入觀測(cè)的低分辨率圖像。在步驟S102中，生成最初的高分辨率圖像(進(jìn)行初始設(shè)定)。例如，通過對(duì)觀測(cè)的低分辨率圖像的第一幀的圖像進(jìn)行上采樣獲得的圖像被生成為最初的高分辨率圖像。在步驟S103中，設(shè)置關(guān)注像素。關(guān)注像素成為作為像素值的運(yùn)算對(duì)象的高分辨率圖像的像素。在步驟S104，基于模型的處理單元211執(zhí)行基于模型的處理。由于在步驟S104中執(zhí)行的基于模型的處理與上述參考圖16的處理相同，從而省略對(duì)其的詳細(xì)說明。在步驟S105中，預(yù)測(cè)處理單元212執(zhí)行將在下面參考圖19說明的預(yù)測(cè)處理。將參考圖19的流程圖說明圖18的步驟S105的預(yù)測(cè)處理的詳細(xì)實(shí)例。在步驟S121中，預(yù)測(cè)處理單元212對(duì)于關(guān)注像素獲取觀測(cè)的低分辨率圖像的像素值與估計(jì)的低分辨率圖像的差分作為特征量。在對(duì)于觀測(cè)的低分辨率圖像的像素值與估計(jì)的低分辨率圖像的差分的數(shù)據(jù)進(jìn)行通過上采樣器的像素插值之后，根據(jù)由模糊去除單元去除模糊的數(shù)據(jù)的像素值獲得對(duì)應(yīng)于實(shí)際關(guān)注像素的特征量?？梢垣@取其他特征量。在步驟S122中，預(yù)測(cè)處理單元212基于在步驟S121中獲取的特征量將關(guān)注像素分類為各個(gè)類型。在步驟S123中，預(yù)測(cè)處理單元212提取抽頭。此時(shí)，觀測(cè)的低分辨率圖像的N個(gè)像素和運(yùn)動(dòng)補(bǔ)償后的前一幀的高分辨率圖像的M個(gè)像素被提取作為抽頭。在步驟S124，預(yù)測(cè)處理單元212從學(xué)習(xí)數(shù)據(jù)庫(kù)213讀取與在步驟S122的處理中分類的類型對(duì)應(yīng)的系數(shù)wi和wj。在步驟S125中，預(yù)測(cè)處理單元212進(jìn)行預(yù)測(cè)運(yùn)算。即，預(yù)測(cè)處理單元利用在步驟S123的處理中提取的抽頭和在步驟S124的處理中讀取的系數(shù)wi和wj進(jìn)行公式2的運(yùn)算，并預(yù)測(cè)高分辨率圖像的像素值。在步驟S126中，預(yù)測(cè)處理單元212用作為步驟S124的處理的結(jié)果而獲得的像素值替換高分辨率圖像的每個(gè)像素值。以這樣的方式，執(zhí)行預(yù)測(cè)處理。返回到圖18，在步驟S105的處理之后，處理進(jìn)行到步驟S106，判斷是否有下一個(gè)關(guān)注像素。在步驟S106中，當(dāng)判定有下一個(gè)關(guān)注像素時(shí)，處理返回到步驟S103，并且反復(fù)執(zhí)行下面的處理。同時(shí)，在步驟S106中，當(dāng)判定沒有下一個(gè)關(guān)注像素時(shí)，處理進(jìn)行到步驟S107。·在步驟S107中，將高分辨率圖像顯示為輸出圖像。以這樣的方式，執(zhí)行超分辨率處理。在上述構(gòu)造中，學(xué)習(xí)裝置100采用這樣的學(xué)習(xí)算法，其中將關(guān)注像素分類為各個(gè)類型，并且通過最小二乘法對(duì)每個(gè)類型計(jì)算用于生成高分辨率圖像的像素所需的系數(shù)。然而，學(xué)習(xí)裝置100可以采用與上述學(xué)習(xí)算法不同的學(xué)習(xí)算法。例如，可以采用神經(jīng)網(wǎng)絡(luò)或支持向量機(jī)(SVM)作為學(xué)習(xí)算法?？赏ㄟ^硬件或軟件實(shí)行上述一系列處理。在通過軟件實(shí)行所述一系列處理的情況下，從網(wǎng)絡(luò)或記錄介質(zhì)在組裝在專用硬件中的計(jì)算機(jī)、如圖20所示的通用個(gè)人計(jì)算機(jī)等上安裝構(gòu)成軟件的程序，所述個(gè)人計(jì)算機(jī)例如能夠通過安裝各種程序而進(jìn)行各中功能。在圖20中，CPU (中央處理單元)701根據(jù)存儲(chǔ)在ROM (只讀存儲(chǔ)器)702中的程序或從存儲(chǔ)單元708裝載到RAM (隨機(jī)存取存儲(chǔ)器)703上的的程序而執(zhí)行各種處理。在需要時(shí)，CPU701執(zhí)行各種處理所需的數(shù)據(jù)也被存儲(chǔ)在RAM703中。CPU701、R0M702和RAM703通過總線704相互連接。輸入/輸出接口 705也被連接到該總線704。以下單元被連接到輸入/輸出接口 705 :輸入單元706，其由鍵盤、鼠標(biāo)等構(gòu)成；輸出單元707，其由諸如IXD (液晶顯示器)等的顯示器、揚(yáng)聲器等構(gòu)成；存儲(chǔ)單元708，其由硬盤等構(gòu)成；以及通信單元709，其由諸如調(diào)制解調(diào)器或LAN卡等網(wǎng)絡(luò)接口等構(gòu)成。通信單元709通過包括因特網(wǎng)的網(wǎng)絡(luò)進(jìn)行通信處理。驅(qū)動(dòng)器710也根據(jù)需要連接到輸入/輸出接口 705，根據(jù)需要，將可移動(dòng)介質(zhì)711(諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器)安裝到輸入/輸出接口 705上，并且根據(jù)需要將從其讀取的計(jì)算機(jī)程序安裝在存儲(chǔ)單元708上。在使軟件執(zhí)行上述一系列處理的情況下，從諸如因特網(wǎng)的網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成軟件的程序，所述記錄介質(zhì)由可移動(dòng)介質(zhì)711等構(gòu)成。另外，該記錄介質(zhì)可以是如圖20所示的可移動(dòng)介質(zhì)711，其包括以下部件磁盤(包括軟盤(注冊(cè)商標(biāo))、光盤(包括⑶-ROM (高密度盤只讀存儲(chǔ)器))、以及DVD (數(shù)字多用途盤))、磁光盤(包括MD (小型盤)(注冊(cè)商標(biāo)))、半導(dǎo)體存儲(chǔ)器等，其上記錄有程序以用于與裝置分離地將程序提供給用戶而發(fā)布程序，然而，該記錄介質(zhì)也可以是記錄有程序的ROM 702或者存儲(chǔ)單元708中所包括的硬盤，其通過預(yù)先組裝在裝置中而被提供給用戶。
另外，本發(fā)明上述一系列處理顯然可以根據(jù)所述的順序按時(shí)間執(zhí)行，并且也可以不按時(shí)間地并行或單獨(dú)進(jìn)行。本領(lǐng)域技術(shù)人員可以理解，根據(jù)設(shè)計(jì)要求和其它因素，可以進(jìn)行各種修改、組合、子組合以及改變，只要其落入所附權(quán)利要求及其等同物的范圍中。另外，本發(fā)明技術(shù)可以如下構(gòu)成。(I) 一種圖像處理裝置，包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；以及

預(yù)測(cè)運(yùn)算模型，其基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行基于模型的處理獲得的圖像對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。(2)根據(jù)(I)的圖像處理裝置，其中所述預(yù)測(cè)運(yùn)算單元通過學(xué)習(xí)讀取存儲(chǔ)在預(yù)先生成的學(xué)習(xí)數(shù)據(jù)庫(kù)中的參數(shù)，并進(jìn)行預(yù)測(cè)運(yùn)算。(3)根據(jù)(I)或(2)的圖像處理裝置，其中所述基于模型的處理單元包括運(yùn)動(dòng)補(bǔ)償單元，其對(duì)在前一幀輸出的高分辨率圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償；下采樣器，其根據(jù)相機(jī)模型限制運(yùn)動(dòng)補(bǔ)償后的在前一幀輸出的高分辨率圖像的頻帶、減少像素、并且生成估計(jì)的低分辨率圖像；差分計(jì)算單元，其計(jì)算作為輸入低分辨率圖像的觀測(cè)的低分辨率圖像與估計(jì)的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，其對(duì)差分圖像數(shù)據(jù)的像素進(jìn)行插值，從而生成高分辨率圖像。(4)根據(jù)(I)至(3)中任一項(xiàng)的圖像處理裝置，其中所述基于模型的處理單元包括模糊添加單元，其對(duì)在前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，其去除通過所述模糊添加單元添加的模糊。(5)根據(jù)(I)至(4)中任一項(xiàng)的圖像處理裝置，還包括分類單元，其基于在基于模型的處理過程中計(jì)算的特征量將關(guān)注像素分類為各個(gè)類型，其中所述預(yù)測(cè)運(yùn)算單元使用預(yù)先存儲(chǔ)的系數(shù)作為對(duì)應(yīng)于分類的類型的參數(shù)進(jìn)行預(yù)定運(yùn)算，并對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。(6)根據(jù)(I)至(5)中任一項(xiàng)的圖像處理裝置，還包括抽頭提取單元，其提取作為輸入低分辨率圖像的觀測(cè)的低分辨率圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭，其中所述預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)進(jìn)行關(guān)于抽頭的預(yù)定運(yùn)算，并對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。(7) 一種圖像處理方法，包括通過基于模型的處理單元執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；以及基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行基于模型的處理獲得的圖像，通過預(yù)測(cè)運(yùn)算單元對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。(8) 一種用于使得計(jì)算機(jī)用作圖像處理裝置的程序，其中所述圖像處理裝置包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；以及預(yù)測(cè)運(yùn)算單元，其基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行基于模型的處理獲得的圖像對(duì)將要輸出的高分辨率圖像的像素值進(jìn)·行預(yù)測(cè)運(yùn)算。(9)—種記錄介質(zhì),其中記錄根據(jù)(8)的程序。(10)—種學(xué)習(xí)裝置，包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；抽頭提取單元，其提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，其積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及參數(shù)計(jì)算單元，其基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。(11)根據(jù)(10)的學(xué)習(xí)裝置，還包括數(shù)據(jù)庫(kù)，其存儲(chǔ)計(jì)算的參數(shù)，其中數(shù)據(jù)庫(kù)被用于圖像處理裝置的圖像處理中，用于將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像。(12)根據(jù)(10)或(11)的學(xué)習(xí)裝置，其中所述基于模型的處理單元包括運(yùn)動(dòng)補(bǔ)償單元，其對(duì)在前一幀輸出的高分辨率圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償；下采樣器，其根據(jù)相機(jī)模型限制運(yùn)動(dòng)補(bǔ)償后的在前一幀輸出的高分辨率圖像的頻帶、減少像素、并且生成估計(jì)的低分辨率圖像；差分計(jì)算單元，其計(jì)算學(xué)生圖像與估計(jì)的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，其對(duì)差分圖像數(shù)據(jù)的像素進(jìn)行插值，并生成高分辨率圖像。(13)根據(jù)(10)至(12)中任一項(xiàng)的學(xué)習(xí)裝置，其中所述基于模型的處理單元包括模糊添加單元，其對(duì)在前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，其去除通過所述模糊添加單元添加的模糊。(14)根據(jù)(10)至(13)中任一項(xiàng)的學(xué)習(xí)裝置，還包括
分類單元，其基于在基于模型的處理過程中計(jì)算的特征量將關(guān)注像素分類為各個(gè)類型，其中所述參數(shù)計(jì)算單元計(jì)算系數(shù)，當(dāng)對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算時(shí)，將所述系數(shù)與所述抽頭相乘作為對(duì)應(yīng)于分類的類型的參數(shù)。(15) 一種學(xué)習(xí)方法，包括通過基于模型的處理單元執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；通過抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；通過樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣·本；以及通過參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。(16) 一種用于使得計(jì)算機(jī)用作學(xué)習(xí)裝置的程序，其中所述學(xué)習(xí)裝置包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；抽頭提取單元，其提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，其積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及參數(shù)計(jì)算單元，其基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。(17)—種記錄介質(zhì),其中記錄根據(jù)(16)的程序。本申請(qǐng)包含與在日本優(yōu)先權(quán)專利申請(qǐng)JP 2011-112311 (2011年5月19日在日本專利局提交)的公開相關(guān)的主題內(nèi)容，其整體內(nèi)容在此引入作為參考。
權(quán)利要求
1.一種圖像處理裝置，包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及 預(yù)測(cè)運(yùn)算單元，該預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。
2.根據(jù)權(quán)利要求I的圖像處理裝置， 其中所述預(yù)測(cè)運(yùn)算單元讀取通過預(yù)先學(xué)習(xí)生成的存儲(chǔ)在學(xué)習(xí)數(shù)據(jù)庫(kù)中的所述參數(shù)，并進(jìn)行所述預(yù)測(cè)運(yùn)算。
3.根據(jù)權(quán)利要求I的圖像處理裝置， 其中所述基于模型的處理單元包括 運(yùn)動(dòng)補(bǔ)償單元，該運(yùn)動(dòng)補(bǔ)償單元對(duì)前一幀輸出的高分辨率圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償； 下采樣器，該下采樣器根據(jù)所述相機(jī)模型限制前一幀輸出的運(yùn)動(dòng)補(bǔ)償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計(jì)的低分辨率圖像； 差分計(jì)算單元，該差分計(jì)算單元計(jì)算作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像與估計(jì)的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及 上采樣器，該上采樣器對(duì)差分圖像數(shù)據(jù)的像素進(jìn)行插值，從而生成高分辨率圖像。
4.根據(jù)權(quán)利要求I的圖像處理裝置， 其中所述基于模型的處理單元包括 模糊添加單元，該模糊添加單元對(duì)前一幀輸出的高分辨率圖像添加模糊；以及 模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。
5.根據(jù)權(quán)利要求I的圖像處理裝置，還包括 類型分類單元，該類型分類單元基于在基于模型的處理過程中所計(jì)算的特征量將關(guān)注像素分類為各個(gè)類型， 其中所述預(yù)測(cè)運(yùn)算單元進(jìn)行使用預(yù)先存儲(chǔ)的系數(shù)作為與分類的類型相對(duì)應(yīng)的參數(shù)的預(yù)定運(yùn)算，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。
6.根據(jù)權(quán)利要求I的圖像處理裝置，還包括 抽頭提取單元，該抽頭提取單元提取作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭， 其中所述預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)進(jìn)行關(guān)于抽頭的預(yù)定運(yùn)算，并對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。
7.一種圖像處理方法，包括 由基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及 由預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。
8.一種用于使得計(jì)算機(jī)用作圖像處理裝置的程序， 其中所述圖像處理裝置包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及 預(yù)測(cè)運(yùn)算單元，該預(yù)測(cè)運(yùn)算單元基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。
9.一種記錄介質(zhì)，其中記錄了根據(jù)權(quán)利要求8的程序。
10.一種學(xué)習(xí)裝置，包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像； 抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭； 樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及 參數(shù)計(jì)算單元，該參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。
11.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置，還包括 數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)存儲(chǔ)所計(jì)算的參數(shù)， 其中數(shù)據(jù)庫(kù)被用于圖像處理裝置的圖像處理中，該圖像處理用于將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像。
12.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置， 其中所述基于模型的處理單元包括 運(yùn)動(dòng)補(bǔ)償單元，該運(yùn)動(dòng)補(bǔ)償單元對(duì)前一幀輸出的高分辨率圖像的運(yùn)動(dòng)進(jìn)行補(bǔ)償； 下采樣器，該下采樣器根據(jù)相機(jī)模型限制前一幀輸出的運(yùn)動(dòng)補(bǔ)償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計(jì)的低分辨率圖像； 差分計(jì)算單元，該差分計(jì)算單元計(jì)算學(xué)生圖像與估計(jì)的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及 上采樣器，該上采樣器對(duì)差分圖像數(shù)據(jù)的像素進(jìn)行插值，而生成高分辨率圖像。
13.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置， 其中所述基于模型的處理單元包括 模糊添加單元，該模糊添加單元對(duì)前一幀輸出的高分辨率圖像添加模糊；以及 模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。
14.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置，還包括 類型分類單元，該類型分類單元基于在基于模型的處理過程中所計(jì)算的特征量將關(guān)注像素分類為各個(gè)類型，其中所述參數(shù)計(jì)算單元計(jì)算對(duì)要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算時(shí)與所述抽頭相乘的系數(shù)，作為對(duì)應(yīng)于分類的類型的參數(shù)。
15.—種學(xué)習(xí)方法,包括 通過基于模型的處理單兀執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像； 通過抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭； 通過樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及 通過參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。
16.一種用于使得計(jì)算機(jī)用作學(xué)習(xí)裝置的程序， 其中所述學(xué)習(xí)裝置包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像； 抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對(duì)于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭； 樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及 參數(shù)計(jì)算單元，該參數(shù)計(jì)算單元基于積蓄的樣本計(jì)算在對(duì)將要輸出的高分辨率圖像的像素值的預(yù)測(cè)運(yùn)算中使用的預(yù)定參數(shù)。
17.—種記錄介質(zhì)，其中記錄根據(jù)權(quán)利要求16的程序。
全文摘要
本發(fā)明提供了一種學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序和記錄介質(zhì)，其中圖像處理裝置包括基于模型的處理單元，其執(zhí)行基于模型的處理，該基于模型的處理對(duì)于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機(jī)模型和具有對(duì)準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及預(yù)測(cè)運(yùn)算單元，其基于預(yù)先存儲(chǔ)的參數(shù)、作為輸入的低分辨率圖像的觀測(cè)的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對(duì)將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測(cè)運(yùn)算。
文檔編號(hào)G06T3/40GK102789632SQ20121014544
公開日2012年11月21日 申請(qǐng)日期2012年5月11日 優(yōu)先權(quán)日2011年5月19日
發(fā)明者內(nèi)田真史, 松田康宏, 永野隆浩 申請(qǐng)人:索尼公司