一種基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?br> 【專利摘要】本發(fā)明涉及一種基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，根?jù)運動估計的圖像區(qū)域劃分算法和計算圖像不同區(qū)域的尺度差異的算法，同時采用一種新的可以補償尺度差異的方式，最終提升基于多幀融合的超分辨率重建方法的性能。本發(fā)明充分考慮了由于鏡頭縮放、物體運動后圖像整體或其中的一部分的尺度發(fā)生了變化而導致相似信息不能很好地匹配的問題。
【專利說明】一種基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?br>
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像超分辨率重建領(lǐng)域，具體涉及一種基于不同區(qū)域的多尺度變化的 放縮尺度補償?shù)姆蔷植科骄直媛手亟ǚ椒ā？梢造`活應用于高端多媒體系統(tǒng)的視頻信 號格式轉(zhuǎn)換、視頻監(jiān)控感興趣區(qū)域放大以及衛(wèi)星、遙感等領(lǐng)域。

【背景技術(shù)】
[0002] 圖像的超分辨率重建就是克服成像設備或技術(shù)的限制，從單幀低分辨率圖像或低 分辨率圖像序列重建一個高分辨率圖像?；谥亟ǖ某直媛手荚趶亩鄠€低分辨率圖像重 建一個高分辨率圖像。觀察到這些低分辨率圖像是模糊且有噪聲的，因此超分辨率重建不 僅僅需要提高圖片的分辨率，還需要恢復圖片的質(zhì)量。
[0003] 基于多幀的超分辨率重建的關(guān)鍵是把一系列的低分辨率圖像融合成一幅高分辨 率圖像。其有效性基于多個相鄰幀的低分辨率圖像中包含相互補充的信息的假設。利用這 些信息，我們可以生成一副較高分辨率的圖像。多幀融合技術(shù)的關(guān)鍵在于從鄰域內(nèi)得到的 互補信息的精確度與質(zhì)量。傳統(tǒng)的多幀融合算法往往追求更精確的運動估計以提高獲取信 息的位置精確度。但存在一些不可避免區(qū)域的無法進行精確估計(如因遮擋而使得部分區(qū) 域在某一幀中不存在)，這將會大大損害復原圖像的質(zhì)量。
[0004] 許多研究人員專注于提高運動估計，以得到更準確的位置的冗余信息。正確的運 動估計直接保證了精度，但因為場景的復雜性，也有不可避免的運動估計錯誤。Potter提 出了一個NLMSR方法（M.Potter,M.Elad,H.Takeda,andP.Milanfar,"Generalizingthe nonlocal-meanstosuper-resolutionreconstruction,，'IEEETransactionsonImage Processing,vol. 19,no. 1，pp. 36 - 51，January2009.)，這種算法估計鄰域內(nèi)圖像塊的相似 性反映可能的運動估計的結(jié)果，最終的運動估計結(jié)果則通過許多可能的運動結(jié)果加權(quán)平均 得到從而避免嚴重的錯誤。之后基于這種方法也有了很多的相關(guān)的延伸跟拓展，但是并沒 有考慮到由于鏡頭縮放、物體運動后圖像整體或其中的一部分的尺度發(fā)生了變化而導致相 似信息不能很好地匹配的問題。
[0005] 針對上述問題和相關(guān)方法的缺陷，我們提出了一個基于多區(qū)域尺度放縮補償?shù)姆?局部超分辨率重建方法。


【發(fā)明內(nèi)容】

[0006] 基于上述分析，本發(fā)明的目的在于提出一種基于多區(qū)域尺度放縮補償?shù)姆蔷植砍?分辨率重建方法，根據(jù)運動估計的圖像區(qū)域劃分算法和計算圖像不同區(qū)域的尺度差異的算 法，同時采用一種新的可以補償尺度差異的方式，最終提升基于多幀融合的超分辨率重建 方法的性能。
[0007] 為實現(xiàn)以上目的，本發(fā)明采用的技術(shù)方案包括以下步驟：
[0008] -種基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒ǎ洳襟E包括 ：
[0009] 1)對輸入序列中的每一幀采用空域差值法，把原始低分辨率圖像上插到設定分辨 率的高分辨率圖像，得到高分辨率圖像；
[0010] 2)對輸入序列中的每一幀對應的高分辨率圖像根據(jù)SIFT算法在參考幀和待修復 幀提取得到特征點以及對應的相鄰幀的特征點，得到特征對應對；
[0011] 3)采用加權(quán)盧卡斯金算法對所述特征對應對進行計算得到局部參數(shù)模型；
[0012] 4)根據(jù)所述局部參數(shù)模型的邊緣信息為每個局部參數(shù)模型提取支持區(qū)域，得到每 張圖像的支持區(qū)域劃分圖；
[0013] 5)對于輸入序列的任意幀中根據(jù)所述支持區(qū)域劃分圖劃分的不同區(qū)域，根據(jù)SIFT 算法計算得到待修復幀和參考幀中每個域中相鄰幀的對應區(qū)域的尺度差異；
[0014] 6)對于輸入序列中的所述參考幀圖像以及對應高分辨率圖像的每一個像素塊，根 據(jù)所述尺度差異將參考幀的塊調(diào)整至待修復幀的塊的尺度；
[0015] 7)計算所述參考幀圖像中的每個像素點所對應的塊與相鄰幀或同幀周圍參考塊 的相似度；根據(jù)該相似度把每一個塊的中心像素值加權(quán)平均，得到所述參考塊的中心像素 值，所述中心像素值即為該幀的對應像素點的像素值；根據(jù)該幀所有像素點的像素值得到 該幀對應的高分辨率圖像。
[0016] 更進一步，還包括：對每一幀圖像重復所述步驟4) -6)，得到連續(xù)幀的像素值，根 據(jù)每幀圖像的像素值得到整個視頻串的高分辨率圖像。
[0017] 更進一步，所述空域差值法采用如下的任意一種：雙線性插值或者雙三次線性插 值或者最臨近像素插值。
[0018] 更進一步，用顏色進行區(qū)分所述每張圖像的的支持區(qū)域劃分圖，其中相同顏色代 表所述區(qū)域內(nèi)所有像素點共享相同仿射參數(shù)，不相同顏色則表示在該兩個區(qū)域內(nèi)的像素點 的放射參數(shù)不同。
[0019] 更進一步，所述邊緣信息采用Canny探測器檢測。
[0020] 更進一步，根據(jù)邊緣信息和置信圖為每一對特征點提取所述支持區(qū)域。
[0021 ] 更進一步，使用一個球形而不是單個像素來執(zhí)行置信圖中的運動區(qū)域搜索同時對 于提取的運動區(qū)域以一個結(jié)構(gòu)元素對象為參數(shù)先腐蝕后膨脹，在不破壞運動邊界的條件下 填補運動領(lǐng)域的洞得到最終的劃分圖。
[0022] 更進一步，將所述每一幀按照X，Y兩個方向分別上插到原先的設定大小的放大倍 數(shù)。
[0023] 更進一步，對所述特征對應對使用非局部方法生產(chǎn)掩膜，根據(jù)窗口內(nèi)的每個像素 與中心像素的相似性得到權(quán)重。
[0024] 更進一步，采用加權(quán)的仿射模型描述所述局部參數(shù)模型中的局部光流得到局部仿 射參數(shù)。
[0025] 本發(fā)明的有益效果：
[0026] 本發(fā)明根據(jù)運動估計的圖像區(qū)域劃分算法和計算圖像不同區(qū)域的尺度差異的算 法，同時采用一種新的可以補償尺度差異的方式，最終提升基于多幀融合的超分辨率重建 方法的性能。本發(fā)明考慮到了由于鏡頭縮放、物體運動后圖像整體或其中的一部分的尺 度發(fā)生了變化而導致相似信息的情況，計算尺度差異時采用Scale-InvariantFeature Transform(SIFT)算子來提取特征點并加以利用來提取尺度信息。在度量塊相似度時，根據(jù) 尺度信息先對塊進行下采上插的插值調(diào)整，從而進一步提升了相似度計算的準確性。

【專利附圖】

【附圖說明】
[0027] 圖1為本發(fā)明的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒鞒淌疽?圖。

【具體實施方式】
[0028] 下面以視頻序列中某一幀進行2倍放大的超分辨率重建問題為例，對本發(fā)明的詳 細方法流程作進一步地描述：
[0029] 在本發(fā)明的【具體實施方式】中，可以按照如下方案實現(xiàn)本發(fā)明：
[0030] (1)對于輸入序列中的每一幀，用空域插值方法，把原始的低分辨率圖像上插到需 要的高分辨率圖像；
[0031] (2)對于每一幀高分辨率圖像檢測特征點及其對應的相鄰幀的高分辨率圖像的特 征點，對每一對特征點利用加權(quán)盧卡斯金算法計算出局部參數(shù)模型；
[0032] (3)基于參數(shù)模型的邊緣信息為每個局部參數(shù)模型提取支持區(qū)域，得到每張圖像 的支持區(qū)域圖并用顏色進行區(qū)分，其中相同顏色代表該區(qū)域內(nèi)所有像素點共享相同的仿射 參數(shù)，不相同顏色表示在這兩個區(qū)域內(nèi)的像素點的放射參數(shù)不同；
[0033] (4)對于輸入序列中的某一幀的不同區(qū)域，通過加權(quán)平均的算法，計算其與相鄰幀 的對應區(qū)域的尺度差異；
[0034] (5)對于輸入序列中該幀圖像的每個像素塊，將來自于相鄰幀一定相鄰區(qū)域的塊 調(diào)整至待復原幀塊的尺度；
[0035] (6)然后，計算該幀圖像中的每個像素點所對應的塊與相臨幀或同幀周圍參考塊 的相似度；根據(jù)相似度，把每一個塊的中心像素值加權(quán)平均，得到參考塊的中心像素值；得 到的參考塊的中心像素值就是超分辨率之后得到的這個點的像素值。
[0036] (7)對于每一幀圖像的重復（4)到（6)步驟，從而最終實現(xiàn)了基于多幀融合的超分 辨率重建方案。
[0037] 以下結(jié)合結(jié)合附圖對本發(fā)明的技術(shù)方案進行詳細的說明，如圖1所示是本發(fā)明的 基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒鞒淌疽鈭D。
[0038] 步驟（1)對于輸入的視頻序列，采用雙線性插值或者雙三次線性插值或者最臨近 像素插值，把每一幀的X，Y兩個方向分別上插到原先的兩倍大小。
[0039] 步驟（2)使用SIFT在參考幀和待修復幀對應的高分辨率圖像提取特征點，然后根 據(jù)SIFT匹配這些點，參考幀是其他相鄰提供信息的幀。
[0040]步驟⑶使用非局部方法（EPotter,EElad,RTakeda,andP.Milanfar，"Generalizing thenonlocal-meanstosuper-resolutionreconstruction,，'IEEETransactionson ImageProcessing,vol. 19,no. 1，pp. 36 - 51，January2009.)生產(chǎn)掩膜，對于窗口內(nèi)的每個 像素（i，j)，它的權(quán)重weight(i，j，k，l)由其與中心像素（k，l)的相似性來衡量。

【權(quán)利要求】
1. 一種基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒ǎ洳襟E包括： 1) 對輸入序列中的每一幀采用空域差值法，把原始低分辨率圖像上插到設定分辨率的 高分辨率圖像，得到高分辨率圖像； 2) 對輸入序列中的每一幀對應的高分辨率圖像根據(jù)SIFT算法在參考幀和待修復幀提 取得到特征點以及對應的相鄰幀的特征點，得到特征對應對； 3) 采用加權(quán)盧卡斯金算法對所述特征對應對進行計算得到局部參數(shù)模型； 4) 根據(jù)所述局部參數(shù)模型的邊緣信息為每個局部參數(shù)模型提取支持區(qū)域，得到每張圖 像的支持區(qū)域劃分圖； 5) 對于輸入序列的任意幀中根據(jù)所述支持區(qū)域劃分圖劃分的不同區(qū)域，根據(jù)SIFT算 法計算得到待修復幀和參考幀中每個區(qū)域和相鄰幀的對應區(qū)域的尺度差異； 6) 對于輸入序列中的所述參考幀圖像以及對應高分辨率圖像的每一個像素塊，根據(jù)所 述尺度差異將參考幀的塊調(diào)整至待修復幀的塊的尺度； 7) 計算所述參考幀圖像中的每個像素點所對應的塊與相鄰幀或同幀周圍參考塊的相 似度；根據(jù)該相似度把每一個塊的中心像素值加權(quán)平均，得到所述參考塊的中心像素值，所 述中心像素值即為該幀的對應像素點的像素值；根據(jù)該幀所有像素點的像素值得到該幀對 應的高分辨率圖像。
2. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，其特?在于，還包括：對每一幀圖像重復所述步驟4)-6)，得到連續(xù)幀的像素值，根據(jù)每幀圖像的 像素值得到整個視頻串的高分辨率圖像。
3. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，其特?在于，所述空域差值法采用如下的任意一種：雙線性插值或者雙三次線性插值或者最臨近 像素插值。
4. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，其?征在于，用顏色進行區(qū)分所述每張圖像的支持區(qū)域劃分圖，其中相同顏色代表所述區(qū)域內(nèi) 所有像素點共享相同仿射參數(shù)，不相同顏色則表示在該兩個區(qū)域內(nèi)的像素點的放射參數(shù)不 同。
5. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒ǎ涮卣?在于，所述邊緣信息采用Canny探測器檢測。
6. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，其特?在于，根據(jù)邊緣信息和置信圖為每一對特征點提取所述支持區(qū)域。
7. 如權(quán)利要求6所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，其特?在于，使用一個球形而不是單個像素來執(zhí)行置信圖中的運動區(qū)域搜索，同時對于提取的運 動區(qū)域以一個結(jié)構(gòu)元素對象為參數(shù)先腐蝕后膨脹，在不破壞運動邊界的條件下填補運動領(lǐng) 域的洞得到最終的劃分圖。
8. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒?，其特?在于，將所述每一幀按照X，Y兩個方向分別上插到原先的設定大小的放大倍數(shù)。
9. 如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒ǎ涮卣?在于，對所述特征對應對使用非局部方法生產(chǎn)掩膜，根據(jù)窗口內(nèi)的每個像素與中心像素的 相似性得到權(quán)重。
10.如權(quán)利要求1所述的基于多區(qū)域尺度放縮補償?shù)姆蔷植砍直媛手亟ǚ椒ǎ涮?征在于，采用加權(quán)的仿射模型描述所述局部參數(shù)模型中的局部光流得到局部仿射參數(shù)。
【文檔編號】G06T5/50GK104376544SQ201310356709
【公開日】2015年2月25日 申請日期:2013年8月15日 優(yōu)先權(quán)日:2013年8月15日
【發(fā)明者】楊撒博雅, 郭琦琨, 白蔚, 劉家瑛 申請人:北京大學