從原始圖像的低質量版本和摘要構建原始圖像的估計的方法和裝置的制造方法
【技術領域】
[0001] 本發(fā)明一般地涉及借助于原始圖像的低質量版本和摘要(epitome)進行圖像的構 建。
【背景技術】
[0002] 該部分意在向讀者介紹可能與以下描述和/或要求的本發(fā)明的各個方面有關的現(xiàn) 有技術的各個方面。該討論被認為有助于向讀者提供背景信息以促進對本發(fā)明的各個方面 的更好理解。因此，應當理解，要從這個角度來閱讀這些陳述，而不是作為對現(xiàn)有技術的承 認。
[0003] 摘要是包含圖像的紋理特性的本質的圖像(或視頻)信號的濃縮(因式分解)表示。
[0004] 圖像由其摘要和賦值(assignation)映射進行描述。摘要包括來源于該圖像的一 組圖表(chart)。賦值映射對于圖像的每個塊指示紋理摘要中的哪個補片(patch)用于該塊 的構建。在編碼上下文中，摘要需要與賦值映射一起存儲和/或傳送（S. Cher igui， C.Guillemot，D.Thoreau，P.Guillotel和P.Perez，"Epitome-based image compression using translational sub-pixel mapping"，IEEE MMSP 2011)〇
[0005] 已經(jīng)提出了不同形式的摘要，諸如高"完整性"的圖像概要(D.Simak〇v，Y.Caspi， Ε· Shechtman，M. Irani，"Summarizing visual data using bidirectional similarity'，， 計算機視覺與模式識別，CVPR 2008)或者從靜止圖像補片學習的基于補片的概率模型 (N. Jojic等，"Epitomic analysis of appearance and shape"，IEEE國際計算機視覺大會 (ICCV'03)，第34-41頁，2003)或者從取自輸入視頻的時空紋理立方體學習的基于補片的概 率模型(V. Cheung，B，J.Frey和N. Jojic，"Video Epitomes"，國際計算機視覺雜志，第76卷， 第2期，2008年2月）。這些概率模型連同適當?shù)耐茢嗨惴?，對于繪畫中或者超分辨率內(nèi)容分 析是有用的。
[0006] 另一族方法是利用計算機視覺技術，諸如KLT跟蹤算法，以便恢復圖像內(nèi)和跨圖像 的自相似性（H.Wang，Y.Wexler，E.Ofek，H.Hoppe，"Factoringrepeatedcontentwithin and among images"，美國計算機學會圖形學報，SIGGRAPH 2008)〇
[0007] 并行地，另一類型的方法已經(jīng)在（M.Aharon和M.Elad，"Sparse and Redundant Modeling of Image Content Using an Image-Signature-Dictionary"，SIAM J.成像科 學，第1卷，第3期，第228-247頁，2008年7月）中進行介紹，其目的在于使用稀疏編碼和字典 學習從圖像提取類似摘要的簽名。
[0008] 基于圖像摘要的幀內(nèi)預測方法已經(jīng)在(A.Efros，T.Leung，"Texture synthesis by non-parametrie sampling"，國際計算機視覺大會，第1033-1038頁，1999)中進行介紹， 其中通過模板匹配從圖像摘要生成對于每個塊的預測?；谝曨l摘要分析的幀內(nèi)編碼方法 也在（Q.Wang，R.Hu，Z.Wang，"IntracodinginH.264/AVCbyimageepitome"，PCM 2009)中提出，其中使用由圖像摘要的長度和寬度所決定的固定長度碼來編碼變換映射(匹 配矢量）。這兩個方法所使用的摘要圖像是基于具有金字塔方法的EM(期望最大化)算法。
[0009] 這種摘要圖像保留了原始圖像的全局紋理和形狀特征，但是引入了不期望的視覺 偽像(例如，輸入圖像中不存在的附加補片）。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明以一種用于從原始圖像的低質量版本和摘要構建原始圖像的估計的方法 來糾正現(xiàn)有技術的某些缺點，該方法限制原始圖像的構建的估計中不期望的偽像。
[0011] 更確切地，該方法獲得包括至少一個補片對的字典，每一個補片對包括被稱為第 一補片的摘要的補片和被稱為第二補片的原始圖像的低質量版本的補片。通過原地匹配來 自摘要的補片和來自低質量圖像的補片來對于摘要的每一補片提取補片對。
[0012] 接下來，對于原始圖像的低質量版本的每一補片，該方法在補片對的字典內(nèi)選擇 至少一個補片對，根據(jù)涉及原始圖像的低質量版本的補片和所選擇的補片對的第二補片的 準則來選擇每一個補片對。
[0013] 然后，該方法根據(jù)所述至少一個所選擇的補片對獲得映射函數(shù)，使用該映射函數(shù) 將原始圖像的低質量版本的補片投影為最終補片。
[0014] 根據(jù)變型，當最終補片在一個像素中彼此重疊時，該方法進一步將一個像素中的 最終補片進行平均，以給出原始圖像的估計的像素值。
[0015] 根據(jù)實施例，所述至少一個所選擇的補片對是原始圖像的低質量版本的補片的最 近鄰。
[0016] 根據(jù)實施例，通過從所述至少一個所選擇的補片對進行學習來獲得映射函數(shù)。
[0017] 根據(jù)實施例，學習映射函數(shù)被定義為使得所述至少一個所選擇的補片對的第一補 片與第二補片之間的最小平方誤差最小化。
[0018] 根據(jù)實施例，原始圖像的低質量版本是具有原始圖像的分辨率的圖像。
[0019] 根據(jù)實施例，如下獲得原始圖像的低質量版本：
[0020] -生成原始圖像的低分辨率版本，
[0021 ]-編碼圖像的低分辨率版本，
[0022] -解碼圖像的低分辨率版本，以及
[0023] -對已解碼的圖像的低分辨率版本進行內(nèi)插，以便得到具有與原始圖像的分辨率 相同的分辨率的原始圖像的低質量版本。
[0024] 根據(jù)實施例，從原始圖像獲得摘要。
[0025] 根據(jù)實施例，從原始圖像的低分辨率版本獲得摘要。
[0026] 根據(jù)其各方面之一，本發(fā)明涉及一種用于從原始圖像的低質量版本和根據(jù)圖像計 算的摘要構建原始圖像的估計的裝置。該裝置的特征在于其包括用于以下的部件：
[0027] -獲得包括至少一個補片對的字典，每一個補片對包括被稱為第一補片的摘要的 補片和被稱為第二補片的原始圖像的低質量版本的補片，通過原地匹配來自摘要的補片和 來自低質量圖像的補片來對于摘要的每一補片提取補片對，
[0028] -對于原始圖像的低質量版本的每一補片，在補片對的字典內(nèi)選擇至少一個補片 對，根據(jù)涉及原始圖像的低質量版本的補片和所選擇的補片對的第二補片的準則來選擇每 一個補片對，
[0029] -根據(jù)至少一個所選擇的補片對獲得映射函數(shù)，
[0030] -使用該映射函數(shù)將原始圖像的低質量版本的補片投影為最終補片。
[0031] 本發(fā)明的特定性質以及本發(fā)明的其它目的、優(yōu)點、特征和使用，將從結合附圖做出 的優(yōu)選實施例的以下描述中變得明顯。
【附圖說明】
[0032] 將參考以下附圖描述實施例：
[0033]-圖1示出了用于從原始圖像的低質量版本和根據(jù)圖像計算的摘要構建原始圖像 的估計的方法的步驟的圖；
[0034] -圖2示出了關于圖1所描述的方法的實施例的步驟的圖；
[0035] -圖2_(2)示出了關于圖1所描述的方法的實施例的變型的步驟的圖；
[0036] -圖2_(3)示出了關于圖1所描述的方法的實施例的另一變型的步驟的圖；
[0037] -圖3圖示用于從圖像獲得摘要的步驟的實施例；
[0038] -圖4示出了在傳輸上下文中的編碼/解碼方案的示例；
[0039] -圖5示出了實現(xiàn)用于構建原始圖像的估計的方法的實施例的編碼/解碼方案的示 例的步驟的圖；
[0040] -圖6示出了圖5的編碼/解碼方案的變型的步驟的圖；
[0041] -圖7示出了設備的架構的示例。
【具體實施方式】
[0042] 將在參考其中示出了本發(fā)明的實施例的附圖之后在此更完全地描述本發(fā)明。然 而，本發(fā)明可以體現(xiàn)在許多替換形式中并且不應當被看作為限于在此提出的實施例。因此， 雖然本發(fā)明易經(jīng)歷各種修改和替代形式，在圖中通過示例的方式示出具體實施例，并且在 此將詳細描述這些具體實施例。然而應當理解的是，不意圖將本發(fā)明限于公開的特定形式， 而是相反地，本發(fā)明意圖覆蓋落入如權利要求所限定的本發(fā)明的精神和保護范圍內(nèi)的所有 修改、等效和替換。相同的附圖標記涉及貫穿【附圖說明】的相同的元件。