基于關(guān)鍵幀和非局部約束的視頻超分辨方法
【專利摘要】本發(fā)明公開了一種基于關(guān)鍵幀和非局部約束的視頻超分辨方法，主要解決了超分辨時(shí)對(duì)匹配準(zhǔn)則依賴性高的難題。其實(shí)現(xiàn)步驟為：(1)輸入視頻X；（2）對(duì)視頻X中的一幀低分辨率圖像作雙三次插值放大獲得放大圖像；對(duì)距離放大圖像最近的高分辨率圖像作高通濾波，獲得低、高頻分量；(3)分別在放大圖像和低頻分量中提取圖像塊，并對(duì)低頻圖像塊作K聚類；（4）將放大圖像塊與聚類中心作比較，找到最相似的類，在最相似類中找到相似的低頻圖像塊；(5)由相似的低頻圖像塊找到相對(duì)應(yīng)的高頻圖像塊，再對(duì)高頻圖像塊作非局部加權(quán)，得到重構(gòu)的高分辨率圖像；(6)對(duì)視頻每一幀低分辨率圖像，重復(fù)步驟(2)～步驟(5)，獲得高分辨率視頻。本發(fā)明可用于視頻的增強(qiáng)或恢復(fù)。
【專利說明】基于關(guān)鍵幀和非局部約束的視頻超分辨方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻圖像處理【技術(shù)領(lǐng)域】，具體的說是一種對(duì)低分辨率的視頻進(jìn)行超分辨的方法，可用視頻圖像的增強(qiáng)或恢復(fù)。
【背景技術(shù)】
[0002]視頻超分辨技術(shù)是為了獲得更準(zhǔn)確的視頻信息，通過多種技術(shù)手段提高視頻的清晰度，抑制噪聲的一門學(xué)科。它是視頻圖像處理中重要而又富有挑戰(zhàn)性的研究?jī)?nèi)容。對(duì)于視頻超分辨問題，研究者已經(jīng)提出了很多方法。
[0003]2008年Brandi et al.等人提出了一個(gè)有效的視頻超分辨的方法，在傳輸壓縮視頻的時(shí)候傳輸幾幀原始未壓縮的圖像作為關(guān)鍵幀，將這幾幀關(guān)鍵幀作為數(shù)據(jù)庫，因?yàn)榕c非關(guān)鍵幀有很大的相似度。因此非關(guān)鍵幀在這幾個(gè)關(guān)鍵幀中配對(duì)時(shí),配對(duì)出錯(cuò)率會(huì)大大降低，從而提高超分辨率算法的魯棒性。見F.Brandi, R.De Queiroz and D.Mukher jee, SuperResolution of Video Using Key Frames”，in IEEE ISCAS, May2008, pp.1608-1611.。輸入的視頻序列中包含高分辨率幀和低分辨率幀，其中定義包含高頻信息的幾幀為關(guān)鍵幀，其余幀僅包含低頻信息為非關(guān)鍵幀，將關(guān)鍵幀與非關(guān)鍵幀獨(dú)立編碼。對(duì)關(guān)鍵幀進(jìn)行處理，得到相應(yīng)的高頻信息和低頻信息，找到關(guān)鍵幀與非關(guān)鍵幀的低頻信息的對(duì)應(yīng)關(guān)系，直接將關(guān)鍵幀的高頻信息加到非關(guān)鍵幀中，實(shí)現(xiàn)直接運(yùn)動(dòng)補(bǔ)償。但是，這個(gè)方法由于是傳統(tǒng)的基于全局運(yùn)動(dòng)估計(jì)搜索方式，很難找到真實(shí)的運(yùn)動(dòng)向量，因此在運(yùn)動(dòng)補(bǔ)償后會(huì)引起塊效應(yīng)而降低視頻圖像效果。
[0004]2010 年，C.S.Byung 在 Brandi 的方法上進(jìn)行了改進(jìn)，見 C.S.Byung, J.Shin-Cheoland C.Yanglim,，，Key frame-based video super-resolution using b1-directionaloverlapped block motion compensation and trained dictionary，，，in IEEEIPTA, July2010, pp.181-186.在視頻中傳輸幾幀包含高頻信息的關(guān)鍵幀，通過相鄰的關(guān)鍵幀，經(jīng)過雙向運(yùn)動(dòng)估計(jì)及運(yùn)動(dòng)補(bǔ)償，從而實(shí)現(xiàn)非關(guān)鍵幀的超分辨。其中所采用的運(yùn)動(dòng)補(bǔ)償方法是重疊塊的運(yùn)動(dòng)補(bǔ)償，來尋找匹配的高頻信息。相對(duì)于Brandi的直接運(yùn)動(dòng)補(bǔ)償，效果更好點(diǎn)，高頻信息的添加也精確一些，但是在運(yùn)動(dòng)補(bǔ)償時(shí)，對(duì)匹配準(zhǔn)則的要求很高，且添加的高頻信息有限，造成視覺效果質(zhì)量下降。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于針對(duì)已有技術(shù)的不足，提出一種基于關(guān)鍵幀和非局部約束的視頻超分辨方法，以對(duì)視頻中每一幀低分辨率圖像，在不需要精確地匹配準(zhǔn)則下能夠獲取更多的高頻信息，更好的恢復(fù)低分辨率圖像的高頻信息，進(jìn)而獲得邊緣清晰，視覺效果好的高分辨率視頻。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)步驟包括如下:
[0007](I)輸入視頻X，提取其中的每一幀圖像，得到高分辨率圖像幀Xh，h= 1，...，M，和低分辨率圖像幀xt，t= 1，...，N，并定義這些高分辨率圖像為關(guān)鍵幀，定義這些低分辨率圖像為非關(guān)鍵幀，其中M為視頻中高分辨率圖像的幀數(shù)，N為視頻中低分辨率圖像的幀數(shù)；
[0008](2)利用視頻中高分辨率圖像幀與低分辨率圖像幀的關(guān)系，對(duì)低分辨率圖像幀Xt中的任意一幀圖像進(jìn)行超分辨重建:
[0009]2a)對(duì)任意一幀低分辨率圖像S進(jìn)行雙三次插值放大，放大因子λ = 2，獲得低分辨率放大圖像Y。；
[0010]2b)通過高通濾波器對(duì)距離低分辨率圖像S最近的一幀高分辨率圖像進(jìn)行濾波，將該高分辨率圖像分解為高頻分量Xp和低頻分量X。；
[0011]2c)在低頻分量X。中提取低頻圖像塊<:'，./ = I,..., U，U為低頻圖像塊的數(shù)目，在低
分辨率放大圖像Y。中提取放大圖像塊K為放大圖像塊的數(shù)目；
[0012]2d)對(duì)提取的低頻圖像塊X?進(jìn)行k-means聚類，將其分成50類，得到每一類的聚類中心；
[0013]2e)用放大圖像塊Y。1與上步獲得的聚類中心作比較，找到與其最為相似的那一類，并在這一類中找到與放大圖像塊Y。1最相似的3個(gè)近鄰低頻圖像塊.0 = 1,...,3，q為最相似的近鄰塊的數(shù)目；
[0014]2f)利用上步得到的最相似的低頻圖像塊^在高頻分量Xp中找到與其相對(duì)應(yīng)的高頻圖像塊)f，并對(duì)這些高頻圖像塊進(jìn)行非局部加權(quán)，得到合成的高頻圖像塊Y/:
[0015]
【權(quán)利要求】
1.一種基于關(guān)鍵幀和非局部約束的視頻超分辨方法，包括如下步驟: (1)輸入視頻X，提取其中的每一幀圖像，得到高分辨率圖像幀xh，h=I,...,Μ,和低分辨率圖像幀Xt，t = 1，...，N，并定義這些高分辨率圖像為關(guān)鍵幀，定義這些低分辨率圖像為非關(guān)鍵幀，其中M為視頻中高分辨率圖像的幀數(shù)，N為視頻中低分辨率圖像的幀數(shù)； (2)利用視頻中高分辨率圖像幀與低分辨率圖像幀的關(guān)系，對(duì)低分辨率圖像幀Xt中的任意一幀圖像進(jìn)行超分辨重建: 2a)對(duì)任意一幀低分辨率圖像S進(jìn)行雙三次插值放大，放大因子λ =2，獲得低分辨率放大圖像Y。； 2b)通過高通濾波器對(duì)距離低分辨率圖像S最近的一幀高分辨率圖像進(jìn)行濾波，將該高分辨率圖像分解為高頻分量Xp和低頻分量X。；
2c)在低頻分量\中提取低頻圖像塊夂￡:'，_/ = 1，...,11，U為低頻圖像塊的數(shù)目，在低分辨率放大圖像Y。中提取放大圖像塊U = I,...,K，K為放大圖像塊的數(shù)目； 2d)對(duì)提取的低頻圖像塊X?進(jìn)行k-means聚類，將其分成50類，得到每一類的聚類中心； 2e)用放大圖像塊Y。1與上步獲得的聚類中心作比較，找到與其最為相似的那一類，并在這一類中找到與放大圖像塊Y。1最相似的3個(gè)近鄰低頻圖像塊4 = K…，3，q為最相似的近鄰塊的數(shù)目； 2f)利用上步得到的最相似的低頻圖像塊<，在高頻分量Xp中找到與其相對(duì)應(yīng)的高頻圖像塊?,并對(duì)這些高頻圖像塊進(jìn)行非局部加權(quán)，得到合成的高頻圖像塊Y/:
2.根據(jù)權(quán)利要求1所述的非局部約束的視頻超分辨方法，其中所述步驟(1)中的視頻X，包括高分辨率圖像和低分辨率圖像，其圖像分布為:首尾兩幀為高分辨率圖像，且從首幀高分辨率圖像開始每隔八幀低分辨率圖像就會(huì)出現(xiàn)一幀高分辨率圖像，直到尾幀為止。
3.根據(jù)權(quán)利要求1所述的基于關(guān)鍵幀和非局部約束的視頻超分辨方法，其中所述步驟(2c)中的低頻圖像塊XJ和低分辨率放大圖像塊ΥΛ其大小均為5X5，重疊塊的大小均為4X4。
4.根據(jù)權(quán)利要求1所述的基于關(guān)鍵幀和非局部約束的視頻超分辨方法，其中所述步驟(2e)所述的用放大圖像塊Y。1與上步獲得的聚類中心作比較，找到與其最為相似的那一類，是先計(jì)算放大圖像塊V與每個(gè)聚類中心的均方差，并找出其最小值，此最小值所對(duì)應(yīng)的聚類中心就是與放大圖像塊Y。1`最相似的塊，包含這個(gè)最相似塊的類即為最相似的那一類；
【文檔編號(hào)】G06T7/00GK103606136SQ201310647623
【公開日】2014年2月26日 申請(qǐng)日期:2013年12月4日 優(yōu)先權(quán)日:2013年12月4日
【發(fā)明者】王爽, 焦李成, 張陽, 馬文萍, 馬晶晶, 楊淑媛, 侯彪 申請(qǐng)人:西安電子科技大學(xué)