[0043] 在此使用的術(shù)語僅用于描述特定的實(shí)施例的目的而不意圖限制本發(fā)明。如在此使 用的，單數(shù)形式"一"、"一個(gè)"和"該"意圖也包括復(fù)數(shù)形式，除非上下文清楚地指示例外。進(jìn) 一步將理解的是，術(shù)語"包括"、"包含"、"含有"和/或"具有"當(dāng)被用于該說明書中時(shí)，指定所 述的特征、整體、步驟、操作、元件和/或組件的存在，而不排除一個(gè)或多個(gè)其它特征、整體、 步驟、操作、元件、組件和/或其群組的存在或添加。此外，當(dāng)元件被稱為"響應(yīng)于"或"連接 至Γ另一元件時(shí)，其可以直接響應(yīng)于或連接到另一元件，或者可以存在介于其間的元件。相 反地，當(dāng)元件被稱為"直接響應(yīng)于"或者"直接連接到"另一元件時(shí)，不存在介于其間的元件。 如在此使用的，術(shù)語"和/或"包括一個(gè)或多個(gè)關(guān)聯(lián)的列出的項(xiàng)目的任意和全部組合且可以 縮寫為7"。
[0044] 將理解的是，雖然術(shù)語第一、第二等在此可以用于描述各種元件，這些元件不應(yīng)當(dāng) 由這些術(shù)語限制。這些術(shù)語僅用于區(qū)分一個(gè)元件與另一元件。例如，在不脫離本公開的教導(dǎo) 的情況下，第一元件可以被稱為第二元件，且類似地，第二元件可以被稱為第一元件。
[0045] 雖然一些圖包括通信路徑上的箭頭以示出通信的主要方向，將要理解的是，通信 可以以與所繪的箭頭相反的方向進(jìn)行。
[0046] 參考框圖和操作流程圖描述一些實(shí)施例，在框圖和操作流程圖中，每個(gè)方框表示 電路元件、模塊或者包括用于實(shí)現(xiàn)一個(gè)或多個(gè)指定的邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令的 代碼的部分。還應(yīng)當(dāng)注意，在其它實(shí)現(xiàn)中，方框中標(biāo)注的一個(gè)或多個(gè)功能可以不以標(biāo)注的次 序發(fā)生。例如，取決于涉及的功能，連續(xù)示出的兩個(gè)方框可以事實(shí)上本質(zhì)上同時(shí)地執(zhí)行，或 者多個(gè)方框有時(shí)可以以相反次序執(zhí)行。
[0047] 在此對"一個(gè)實(shí)施例"或者"一實(shí)施例"的引用指的是關(guān)于該實(shí)施例描述的特定的 特征、結(jié)構(gòu)或者特性可以包括在本發(fā)明的至少一個(gè)實(shí)現(xiàn)中。在說明書的各種位置中短語"在 一個(gè)實(shí)施例中"的出現(xiàn)不必全部引用相同實(shí)施例，也不必全部引用必須與其它實(shí)施例互斥 的單獨(dú)的或者可選的實(shí)施例。
[0048] 在權(quán)利要求中出現(xiàn)的附圖標(biāo)記僅是以說明的方式且不應(yīng)當(dāng)對權(quán)利要求的范圍具 有限制效果。
[0049] 雖然未明確地描述，可以以任意組合或者子組合采用本實(shí)施例和變型。
[0050] 圖1示出了用于從原始圖像Y的低質(zhì)量版本Y1以及根據(jù)圖像所計(jì)算的摘要Eh構(gòu)建該 原始圖像Y的估計(jì)f的方法的步驟的圖。該方法具有以下的附圖標(biāo)記10。
[0051 ]摘要Eh包括被表示為YiE( i = l· · ·Ν)的N個(gè)補(bǔ)片。
[0052] 在下面，補(bǔ)片是圖像的相鄰像素的一部分。
[0053] 在步驟11，如下獲得至少一個(gè)補(bǔ)片對(ΥΛ#)的字典:對于摘要Eh的每個(gè)補(bǔ)片ΥΛ 提取位于低質(zhì)量圖像Υ1中的相同位置的補(bǔ)片Υ^，即，通過原地（in-place)匹配來自摘要Eh 的補(bǔ)片與來自低質(zhì)量圖像Y1的補(bǔ)片，來對每個(gè)補(bǔ)片W提取一個(gè)補(bǔ)片對(YJ，#)。
[0054] 在下面，一個(gè)補(bǔ)片對(ΥΛΥ?1)的補(bǔ)片YiE被稱為第一補(bǔ)片，且另一補(bǔ)片Yd被稱為第 二補(bǔ)片。
[0055] 在步驟12,對于低質(zhì)量圖像Y1的每個(gè)補(bǔ)片4 ,在字典內(nèi)選擇K個(gè)補(bǔ)片對，k = 1···Κ，根據(jù)涉及低質(zhì)量圖像Y1的補(bǔ)片< 和所述補(bǔ)片對的第二補(bǔ)片F(xiàn)/的準(zhǔn)則來選擇每一 個(gè)補(bǔ)片對。
[0056] 注意到K是可以等于1的整數(shù)值。
[0057] 根據(jù)實(shí)施例，K個(gè)所選擇的第二補(bǔ)片對是低質(zhì)量圖像Y1的補(bǔ)片Χ?的K個(gè)最近鄰(K-NN，K nearest neighbors)。
[0058] 在步驟13,根據(jù)所述K個(gè)所選擇的補(bǔ)片對(if, Γ/)獲得映射函數(shù)。
[0059]根據(jù)實(shí)施例，通過從這Κ個(gè)補(bǔ)片對進(jìn)行學(xué)習(xí)來獲得映射函數(shù)。這種學(xué)習(xí)例如可以使 用線性或內(nèi)核回歸。
[0060]應(yīng)當(dāng)注意，回歸已經(jīng)被Κ · Kim等（"Single-image super-resolution using sparse regression and natural image prior"，IEEE模式分析與機(jī)器智能學(xué)報(bào)，第32卷， 第6期，第1127-1133頁，2010)考慮用于從訓(xùn)練圖像的外部集合取得示例對的單一圖像超分 辨率，這需要大集合的訓(xùn)練示例 DZ.L.J.yang等（"Fast image super-resolution based on in-place example regression"，IEEE國際計(jì)算機(jī)視覺與模式識別會(huì)議(CVPR)，2013， 第1059-1066頁）在低質(zhì)量圖像的低頻版本（用高斯內(nèi)核卷積輸入圖像）和雙三次（bicubic) 內(nèi)插版本之間提取示例對。就考慮超分辨率算法而言 ，這里的主要差異在于以下事 實(shí)：由摘要給出匹配對。更確切地，利用摘要是原始圖像的因式分解(factorized)表示的這 一事實(shí)，可以僅使用小集合的補(bǔ)片對來執(zhí)行映射函數(shù)的局部學(xué)習(xí)。
[0061] 根據(jù)實(shí)施例，通過最小化K個(gè)所選擇的補(bǔ)片對(if, Γ/)的第一補(bǔ)片和第二補(bǔ)片之間 的最小平方誤差，學(xué)習(xí)映射函數(shù)被定義如下：
[0062] 使Μι是在其列中包含K個(gè)所選擇的補(bǔ)片對的第二補(bǔ)片 < 的矩陣。
[0063] 使Mh是在其列中包括K個(gè)所選擇的補(bǔ)片對的第一補(bǔ)片F(xiàn)/的矩陣。
[0064] 考慮多元線性回歸，問題是搜索使下式最小化的映射函數(shù)F:
[0065] E= | | (Mh)T-(Mi)TFT| |2
[0066] 該等式對應(yīng)于線性回歸模型Y=XB+E，并且其最小化給出以下最小平方估計(jì)器：
[0067] F=MhMiT(MiMiT)-1
[0068] 根據(jù)變型，低質(zhì)量圖像Y1中的補(bǔ)片X;與低質(zhì)量圖像Y1的至少一個(gè)其它補(bǔ)片重疊。 例如，重疊因子是可以調(diào)諧的參數(shù)，并且對于8x8補(bǔ)片設(shè)置為7。
[0069] 在步驟14,如下使用映射函數(shù)F將低質(zhì)量圖像Y1的每個(gè)補(bǔ)片X;投影為補(bǔ)片足：
[0071] 在步驟15,當(dāng)一個(gè)像素中的補(bǔ)片尤,一個(gè)重疊另一個(gè)時(shí)，則將一個(gè)像素中的重疊補(bǔ) 片筆^進(jìn)行平均，以給出原始圖像的估計(jì)f的像素值。
[0072] 根據(jù)該方法的實(shí)施例，如圖2所示，原始圖像的低質(zhì)量版本Y1是具有原始圖像的分 辨率的圖像。
[0073]根據(jù)該實(shí)施例的實(shí)施例，如下獲得原始圖像的低質(zhì)量版本：
[0074] 在步驟20,使用低通濾波和下采樣來生成原始圖像的低分辨率版本。典型地，使用 下采樣因子2。
[0075] 在步驟21，編碼原始圖像的低分辨率版本。
[0076] 在步驟22,解碼已編碼的原始圖像的低分辨率版本。
[0077] 本發(fā)明不限于任何特定編碼器/解碼器。例如，可以使用在文檔IS0/IEC14496-10 中描述的MPEG-4 AVC/H. 264中定義的H. 264,或者在文檔（B.Bross，W. J.Han， G.J. Sul1ivan,J.R. Ohm,T.ffiegand JCTVC-K1003,uHigh Efficiency Video Coding (HEVC)text specification draft 9"，2012 年 10 月）中描述的 HEVC HEVC(高效率視頻編 碼)編碼器/解碼器。
[0078]在步驟23,例如使用簡單的雙三次內(nèi)插來內(nèi)插已解碼的低分辨率Yd。由此獲得的 原始圖像的低質(zhì)量版本Y1具有與原始圖像的分辨率相同的分辨率。
[0079] 圖2_(2)示出了關(guān)于圖1所描述的方法的實(shí)施例的變型的步驟的圖。
[0080] 根據(jù)該變型，根據(jù)步驟10(圖1)構(gòu)建的原始圖像Y的估計(jì)#在低分辨率圖像空間中 迭代地進(jìn)行反投影(back-projected)，并且在迭代t處的估計(jì)f的反投影版本玲與原始圖 像的低分辨率版本相比較。
[0081] 在編碼/解碼上下文中，原始圖像的低分辨率版本是步驟22的輸出，即已解碼的低 分辨率版本Yd。
[0082] 該變型保證最終估計(jì)與低分辨率版本Yd2間的一致性。
[0083] 在迭代t處，考慮原始圖像Y的估計(jì)。
[0084] 圖2_(2)中示出的開關(guān)SW指示在首次迭代處考慮根據(jù)步驟10(圖1)構(gòu)建的估計(jì)J, 并且在迭代(t+2)處考慮在迭代(t+Ι)處計(jì)算的估計(jì)然后在低分辨率圖像空間（其中 原始圖像的低分辨率版本Y d是根據(jù)下采樣因子(步驟20)來定義的空間）中將估計(jì)進(jìn)行反投 影。
[0085] 實(shí)踐中，使用與步驟20相同的下采樣因子生成所考慮的估計(jì)的反投影版本禮。
[0086] 接下來，在原始圖像的反投影版本f和低分辨率版本^之間計(jì)算誤差Erf。
[0087] 然后，將誤差Erf進(jìn)行上采樣（步驟23)，并且將上采樣后的誤差添加到所考慮的