專利名稱：分辨率增強(qiáng)設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及分辨率增強(qiáng)設(shè)備和方法，其將由拍攝設(shè)備獲取或由電視機(jī)接收到的圖像數(shù) 據(jù)轉(zhuǎn)換為具有更高分辨率的圖像數(shù)據(jù)。
背景技術(shù)：
具有大量像素，B卩，高分辨率的電視機(jī)和顯示器，是非常流行的。當(dāng)顯示圖像時(shí)，電 視機(jī)或顯示器將圖像數(shù)據(jù)的像素?cái)?shù)轉(zhuǎn)換為面板的像素?cái)?shù)。尤其，在增加像素?cái)?shù)的分辨率增 強(qiáng)轉(zhuǎn)換中，多幀劣化逆轉(zhuǎn)換方法(multi-frame degradation inverse conversion)是獲 得比線性內(nèi)插法更清晰的圖像的方法(例如，見JP-A 2000-188680 (K0KAI)(第3-7頁， 圖 22)， 禾口 S. Park 等"Super-Resolution Image Reconstruction: A technical Overview, " IEEE Signal Processing Magazine, USA， IEEE， 2003年5月，第21-36頁)。
多幀退化逆轉(zhuǎn)換方法注意到出現(xiàn)在基準(zhǔn)幀中的對象也出現(xiàn)在另一幀中的事實(shí)，以像素 間隔以下的高精度檢測對象的運(yùn)動(dòng)，這樣通過計(jì)算其位置從對象的同一局部部分偏離微小 的多個(gè)樣本值提高分辨率。
多幀退化逆轉(zhuǎn)換方法將在下面更詳細(xì)地說明。此方法順序地將低分辨率幀的時(shí)間序列 轉(zhuǎn)換為高分辨率的幀。例如，通過獲取移動(dòng)的汽車獲得的運(yùn)動(dòng)圖像的三個(gè)時(shí)序幀被用作低 分辨率圖像，并且使用這三個(gè)幀中的一個(gè)幀作為基準(zhǔn)幀而實(shí)現(xiàn)分辨率增強(qiáng)。例如，此幀的 分辨率在垂直方向上被增強(qiáng)至X2并且在水平方向上被增強(qiáng)至X2。相對于未知的高分辨率 圖像的像素，低分辨率圖像的像素，SP，已知的樣本值是稀疏的。在此狀態(tài)，可以估計(jì)高分辨率圖像的像素值。然而，當(dāng)已知的樣本值數(shù)預(yù)先增加時(shí)，可以獲得更精確的高分辨率 圖像。為了此目的，多幀退化逆轉(zhuǎn)換方法檢測在基準(zhǔn)幀之外的低分辨率圖像的給定像素位 置出現(xiàn)的對象在基準(zhǔn)幀的圖像面中的位置，并且使用那個(gè)像素值作為在基準(zhǔn)幀中的對應(yīng)點(diǎn) 的樣本值。
更具體地說，例如，從低分辨率圖像提取包括作為中心的給定像素并且其一側(cè)由多個(gè) 像素限定的正方形塊，并且對于具有與此塊同樣的尺寸并包括與提取的塊的像素值接近的 像素值的部分搜索基準(zhǔn)幀。此搜索以子像素精度被進(jìn)行(例如，見Shimizu和Okutomi， "Significance and Attributes of Sub-Pixel Estimation on Area-Based Matching", The transactions of the Institute of Electronics, Information and Communication Engineers, D-II, the Institute of Electronics, Information and Communication Engineers, 2002年12月，85巻，第12期，第1791-1800頁)。找到的對應(yīng)塊的中心被 定義為對應(yīng)點(diǎn)。用這樣的方式，對應(yīng)于另一幀的圖像面的點(diǎn)A與對應(yīng)于基準(zhǔn)幀的圖像面的 點(diǎn)B作為同一對象的同一位置相聯(lián)系。此聯(lián)系用具有作為起點(diǎn)的點(diǎn)A和作為終點(diǎn)的點(diǎn)B的 運(yùn)動(dòng)矢量表示。因?yàn)樵撍阉饕宰酉袼鼐缺粓?zhí)行，通常運(yùn)動(dòng)矢量的起點(diǎn)在像素位置上，而 終點(diǎn)在不存在像素的位置上。對于所有的低分辨率圖像的像素計(jì)算這樣的運(yùn)動(dòng)矢量，并且 對于其它的低分辨率圖像類似地檢測向具有每一個(gè)像素作為起點(diǎn)的基準(zhǔn)幀的運(yùn)動(dòng)矢量。接 下來，起點(diǎn)的像素值被分配作為在各運(yùn)動(dòng)矢量的終點(diǎn)的樣本值。最后，從非均勻地分配的 樣本值計(jì)算均勻地分配的高分辨率圖像的像素值。作為此方案，已知非均勻的內(nèi)插法 (nonuniform interpolation) ， P0CS方法，等等(例如，見JP-A 2000-188680 (KOKAI) (第3-7頁，圖22)，禾口S. Park等"Super-Resolution Image Reconstruction: A technical Overview, " IEEE Signal Processing Magazine, USA， IEEE, 2003年5月，第21-36 頁)。
如上所述，多幀退化逆轉(zhuǎn)換方法可以在用拍攝設(shè)備獲取的圖像沒有任何改變被輸入的 時(shí)候可以產(chǎn)生清晰的高分辨率圖像。然而，在由拍攝設(shè)備采樣然后經(jīng)過圖像壓縮，噪聲去 除濾波，等如接收的電視圖像的圖像被輸入的時(shí)候，因?yàn)橄袼刂狄呀?jīng)從樣本值改變，因此 該方法不能產(chǎn)生足夠清晰的圖像
發(fā)明內(nèi)容
按照本發(fā)明的一個(gè)方面，提供有分辨率增強(qiáng)設(shè)備，其包含獲取單元，其被配置為從 圖像源獲取第一低分辨率圖像，其中包括在所述第一低分辨率圖像的圖像面內(nèi)的第一像素 的位置處的輝度值被表示為第一像素值；加強(qiáng)單元，其被配置為對所述第一低分辨率圖像 進(jìn)行邊緣加強(qiáng)處理以獲得第二低分辨率圖像；低檢測單元，其被配置為使用第一低分辨率 圖像和第二低分辨率圖像中的一個(gè)，以作為小于相鄰像素之間的間隔的單位的子像素單位 的精度，檢測每一個(gè)與最接近于包括在所述第一低分辨率圖像中的關(guān)注圖像區(qū)域內(nèi)的像素 值圖案的多個(gè)圖像區(qū)域相對應(yīng)的多個(gè)對應(yīng)點(diǎn)，所述關(guān)注圖像區(qū)域被設(shè)置為以所述第一像素 中的每一個(gè)作為關(guān)注的像素；設(shè)置單元，其被配置為當(dāng)?shù)诙袼刂械囊粋€(gè)被作為關(guān)注的像
素時(shí)，將所述第二低分辨率圖像的多個(gè)第二像素值中的每一個(gè)設(shè)置為各個(gè)對應(yīng)點(diǎn)處的輝度 值的樣本值，以獲得多個(gè)樣本值；擴(kuò)大單元，其被配置為將所述第一低分辨率圖像擴(kuò)大為 包括比所述第一低分辨率圖像更大數(shù)目的第三像素的高分辨率圖像；以及轉(zhuǎn)換單元，其被 配置為執(zhí)行像素值轉(zhuǎn)換，其中在減小在所述對應(yīng)點(diǎn)采樣的輝度值和所述樣本值之間的誤差 的方向上，在使用所述第三像素的所述高分辨率圖像中加上或減去多個(gè)第三像素值。


圖1是顯示根據(jù)第一實(shí)施例的分辨率增強(qiáng)設(shè)備的方框圖； 圖2顯示在低分辨率圖像的圖像面上像素的配置；
圖3顯示通過在垂直與水平方向兩倍圖2中的圖像的分辨率獲得的圖像；
圖4顯示圖2和3所示的像素之間的位置關(guān)系；
圖5是顯示高分辨率圖像數(shù)據(jù)的傅里葉變換頻譜圖6是顯示當(dāng)由于圖5中圖像的低分辨率轉(zhuǎn)換已經(jīng)發(fā)生混疊時(shí)的頻譜圖； 圖7是顯示當(dāng)高頻成分在低分辨率圖像中衰減時(shí)的頻譜圖8是顯示當(dāng)圖1中的邊緣加強(qiáng)單元加強(qiáng)低分辨率圖像的高頻成分時(shí)獲得的頻譜圖9顯示低分辨率圖像的像素，關(guān)注的像素，模板塊，和基準(zhǔn)塊；
圖10顯示代表基準(zhǔn)塊位置的矢量的實(shí)例；
圖11顯示基準(zhǔn)塊的搜索范圍的實(shí)例；
圖12顯示基準(zhǔn)塊的搜索范圍的實(shí)例；
圖13顯示基準(zhǔn)塊的搜索范圍的實(shí)例；
圖14顯示基準(zhǔn)塊的搜索范圍的實(shí)例；圖15顯示由圖1所示的對應(yīng)點(diǎn)檢測單元檢測的對應(yīng)點(diǎn)的實(shí)例； 圖16顯示用于在垂直方向上檢測輪廓的Sobel過濾器； 圖17顯示用于在水平方向上檢測輪廓的Sobel過濾器；
圖18顯示高分辨率圖像的像素和低分辨率圖像的像素的對應(yīng)點(diǎn)之間的位置關(guān)系；
圖19顯示對應(yīng)點(diǎn)和用于在那個(gè)位置采樣的范圍的實(shí)例；
圖20是顯示圖1所示的分辨率增強(qiáng)設(shè)備的操作的實(shí)例的流程圖21是顯示根據(jù)第二實(shí)施例的分辨率增強(qiáng)設(shè)備的方框圖22是顯示圖21所示的分辨率增強(qiáng)設(shè)備的操作的實(shí)例的流程圖23顯示在處理以前作為高分辨率圖像的原始圖像；
圖24顯示通過用傳統(tǒng)的分辨率增強(qiáng)方法將分辨率增強(qiáng)應(yīng)用至圖23所示的圖像所獲得 的圖像；以及
圖25顯示通過用本實(shí)施例的分辨率增強(qiáng)方法將分辨率增強(qiáng)應(yīng)用至圖23所示的圖像所 獲得的圖像。
具體實(shí)施例方式
以下將參考附圖詳細(xì)地說明如本發(fā)明的實(shí)施例所述的分辨率增強(qiáng)設(shè)備和方法。注意用 同樣的參考標(biāo)號表示的部分執(zhí)行同樣的操作，并且將在以下將要說明的實(shí)施例中避免其重 復(fù)的描述。
根據(jù)本實(shí)施例的分辨率增強(qiáng)設(shè)備和方法，即使當(dāng)輸入劣質(zhì)圖像時(shí)，也可以獲得清晰的 高分辨率圖像。
(第一實(shí)施例)
根據(jù)第一實(shí)施例的分辨率增強(qiáng)設(shè)備將參考圖1描述如下。此實(shí)施例的分辨率增強(qiáng)設(shè)備 包括臨時(shí)擴(kuò)大單元102，邊緣加強(qiáng)單元103，對應(yīng)點(diǎn)檢測單元104，和像素值轉(zhuǎn)換單元106。 注意分辨率增強(qiáng)設(shè)備從圖像源獲得低分辨率圖像數(shù)據(jù)101。在這種情況下，低分辨率圖像 數(shù)據(jù)對應(yīng)于分配在圖像面上的各像素的輝度或色值(color vaule)，并且可以是運(yùn)動(dòng)圖 像或者靜止圖像。例如，低分辨率圖像數(shù)據(jù)包括通過接收電視廣播數(shù)據(jù)獲得的圖像數(shù)據(jù)， 由攝像機(jī)獲取的圖像數(shù)據(jù)或照片數(shù)據(jù)等。在靜止圖像情況下，分辨率增強(qiáng)處理被用于諸如一個(gè)靜止圖像本身，漸近格式的運(yùn)動(dòng)圖像的一個(gè)幀，或隔行掃描格式的運(yùn)動(dòng)圖像的一個(gè)掃 描場的每個(gè)圖像面或通過劃分一個(gè)圖像面獲得的每個(gè)部分圖像面。
臨時(shí)擴(kuò)大單元102獲得低分辨率圖像數(shù)據(jù)101，并且將通過由增加像素?cái)?shù)擴(kuò)大圖像數(shù) 據(jù)101獲得的臨時(shí)擴(kuò)大的圖像數(shù)據(jù)105傳遞至像素值轉(zhuǎn)換單元106。隨后將參考圖2至4 說明臨時(shí)擴(kuò)大單元102的細(xì)節(jié)。
邊緣加強(qiáng)單元103獲得低分辨率圖像數(shù)據(jù)101，并且將其高頻成分被加強(qiáng)的圖像數(shù)據(jù) 107傳遞至像素值轉(zhuǎn)換單元106。邊緣加強(qiáng)單元103檢測低分辨率圖像的高頻成分，并且 將更強(qiáng)的邊緣加強(qiáng)應(yīng)用至具有較少的高頻成分的圖像。后面將參考圖5至8說明邊緣加強(qiáng) 單元103的細(xì)節(jié)。
對應(yīng)點(diǎn)檢測單元104獲得低分辨率圖像數(shù)據(jù)101，對于每一個(gè)像素檢測對應(yīng)點(diǎn)的位置， 并且將對應(yīng)點(diǎn)的位置信息108傳遞至像素值轉(zhuǎn)換單元106。通常， 一個(gè)像素具有多個(gè)對應(yīng) 點(diǎn)。注意對應(yīng)點(diǎn)意思指具有給定像素作為中心的周圍像素值圖案與具有其對應(yīng)點(diǎn)作為中心 的像素值圖案相同的點(diǎn)(位置)。后面將參考圖9至17說明對應(yīng)點(diǎn)檢測單元104的細(xì)節(jié)。
像素值轉(zhuǎn)換單元106使用高頻成分被加強(qiáng)的低分辨率圖像數(shù)據(jù)107以及低分辨率圖像 的每一個(gè)像素的位置信息108，順序地轉(zhuǎn)換臨時(shí)擴(kuò)大的圖像數(shù)據(jù)105的各像素的像素值， 這樣逐漸地清晰化圖像。后面將參考圖4， 18，和19說明像素值轉(zhuǎn)換單元106的細(xì)節(jié)。
以下將參考圖2至4說明臨時(shí)擴(kuò)大單元102。
臨時(shí)擴(kuò)大單元102使用例如三次巻積插值法(ternary convolution interpolation method)(參見Takagi禾口 Shimoda主編的"Handbook of Image Analysis" , University of Tokyo Press，第443頁)，將低分辨率圖像數(shù)據(jù)101轉(zhuǎn)換為要求的輸出分辨率。也就 是說，圖像數(shù)據(jù)101通過增加像素?cái)?shù)被擴(kuò)大，并且作為臨時(shí)擴(kuò)大的圖像數(shù)據(jù)105被發(fā)送至 像素值轉(zhuǎn)換單元106。
圖2顯示在低分辨率圖像的圖像面201上像素202的配置。圖3顯示通過獲取與圖2 中的一樣的圖像所獲得的圖像并且具有在垂直與水平方向兩倍的分辨率。通過獲取與圖2 的圖像面201 —樣的范圍獲得圖像面301，并且像素302被分配在此圖像面301中比圖2 中的更稠密。圖4顯示低分辨率圖像的像素(圖2)和高分辨率圖像的像素(圖3)之間的相對的位置關(guān)系。臨時(shí)擴(kuò)大單元102接收低分辨率圖像的像素(黑點(diǎn))的像素值并且基 于接收的像素值計(jì)算高分辨率圖像的像素(白點(diǎn))的像素值。例如，對于高分辨率圖像的 像素401，三次巻積插值法計(jì)算像素401周圍的16個(gè)低分辨率像素值的加權(quán)平均作為像素 401的像素值。根據(jù)像素401和那些像素之間的距離判定加權(quán)平均的權(quán)重。類似地計(jì)算其 它像素的加權(quán)平均。注意此臨時(shí)擴(kuò)大的圖像數(shù)據(jù)105還不是清晰的。
圖1所示的邊緣加強(qiáng)單元103將參考圖5至8描述如下。
邊緣加強(qiáng)單元103將例如反銳化的掩模(unsharp masking)應(yīng)用至低分辨率圖像數(shù) 據(jù)IOI以加強(qiáng)其高頻成分。反銳化的掩模是通過計(jì)算輸入圖像和由模糊輸入圖像獲得的圖 像之間的差，并將該差加到原始圖像來加強(qiáng)邊緣部分的處理(見Takagi和Shimoda主編 的"Handbook of Image Analysis" ， University of Tokyo Press,第549頁)。其高 頻成分被加強(qiáng)的圖像數(shù)據(jù)107被發(fā)送至像素值轉(zhuǎn)換單元106。
下面將描述此邊緣加強(qiáng)的效果。圖5顯示高分辨率圖像數(shù)據(jù)的傅里葉變換頻譜?？v軸 標(biāo)繪空間頻率，橫軸標(biāo)繪傅里葉變換系數(shù)的振幅。假定某一高頻圖像具有圖5所示的頻譜。 同樣，將此圖像縮小為低分辨率圖像，即，減少像素?cái)?shù)所需的尼奎斯特頻率位于圖5至8 中的虛線的位置。尼奎斯特頻率是低分辨率圖像可以表示的上限頻率。
圖6中的實(shí)線曲線顯示縮小后的低分辨率圖像的頻譜。用這樣的方式，如果原始的高 頻圖像包括高于尼奎斯特頻率的頻率成分，則在低分辨率圖像中在尼奎斯特頻率附近發(fā)生 混疊(見Suematsu禾口 Yamada， "Image Processing Engineering" ， Corona出版有限公 司，第60-65頁)。即使當(dāng)這樣的低分辨率圖像使用例如前面提到的三次巻積插值法經(jīng)過 分辨率增強(qiáng)時(shí)，這些混疊成分保留，并且發(fā)生未在原始的高分辨率圖像中看到的圖像質(zhì)量 劣化例如波紋或鋸齒狀。相反，通過使用退化逆轉(zhuǎn)換應(yīng)用分辨率增強(qiáng)，高于尼奎斯特頻率 的頻率成分基于混疊成分被重構(gòu)，如此恢復(fù)圖5所示的狀態(tài)。
然而，由例如電視機(jī)接收的一些圖像包括由高保真拍攝設(shè)備獲取的圖像，被縮小成標(biāo) 準(zhǔn)尺寸，并且在壓縮之后被傳輸。這些圖像的高頻成分由于壓縮而被衰減。或者如果混疊 成分在圖像獲取之后被立即觀察到，即使由拍攝設(shè)備獲取的圖像的高頻成分也經(jīng)常被用于 除去噪音的平滑濾波器等等衰減。圖7顯示此狀態(tài)。由虛線曲線指示的頻譜的高頻成分被衰減，如實(shí)線曲線所指示。即使當(dāng)分辨率增強(qiáng)使用退化逆轉(zhuǎn)換被用于這樣的圖像數(shù)據(jù)，高 頻成分也不能被充分地重構(gòu)，并且接近于原始圖像的清晰圖像不能被獲得。相反，通過應(yīng) 用邊緣加強(qiáng)，即，通過加強(qiáng)低分辨率圖像中的高頻成分，高頻成分被重構(gòu)為接近它們被衰 減以前的狀態(tài)，如圖8中的實(shí)線曲線所指示，并且可以由后續(xù)處理獲得清晰圖像。
圖1中的對應(yīng)點(diǎn)檢測單元104將參考圖9至17描述如下。
獲得對應(yīng)點(diǎn)的方法將描述如下。圖9中的黑點(diǎn)是低分辨率圖像的像素，其被分配在圖 像面上。這些點(diǎn)將在各位置的輝度值作為像素值。假定像素901被選為關(guān)注的像素，3X3 像素的模板塊902被設(shè)置為具有關(guān)注的像素901作為中心以獲得該關(guān)注的像素901的對應(yīng) 點(diǎn)。設(shè)置將要與模板塊比較的基準(zhǔn)塊903，并且計(jì)算模板塊902和基準(zhǔn)塊903的像素值圖 案之間的誤差。
作為像素值圖案之間的誤差，使用所謂的絕對值誤差或所謂的平方誤差，絕對值誤差 是通過計(jì)算像素在對應(yīng)位置的像素值之間的差的絕對值，并且對于九個(gè)像素總計(jì)這些絕對 值而獲得的，平方誤差使用像素值之間的差的平方代替像素值之間的差的絕對值而獲得 的。接下來，計(jì)算此模板塊902和另一基準(zhǔn)塊904之間的誤差。用這樣的方式，當(dāng)在圖像 面中的預(yù)定范圍內(nèi)一個(gè)像素接一個(gè)像素地移動(dòng)基準(zhǔn)塊的位置時(shí)計(jì)算誤差，以搜索使誤差最 小化的基準(zhǔn)塊的位置。
基準(zhǔn)塊的位置用例如從關(guān)注的像素到基準(zhǔn)塊的中心的相對矢量905表示。圖10通過 將其水平和垂直分量標(biāo)繪為水平坐標(biāo)x和垂直坐標(biāo)y來顯示那個(gè)矢量。圖10顯示代表基 準(zhǔn)塊903的位置的矢量(-3， 2)作為一個(gè)例子。圖11至14顯示使用此矢量坐標(biāo)空間的 基準(zhǔn)塊搜索范圍的實(shí)例。在這些圖的每一個(gè)中，黑點(diǎn)的位置表示搜索范圍。在圖11中， 基準(zhǔn)塊被順序地設(shè)置在緊挨關(guān)注的像素(0， 0)上面的線上，以從此實(shí)例中的這七個(gè)基準(zhǔn) 塊中找到誤差最小的基準(zhǔn)塊。然后，通過使用在最小誤差位置的誤差和在兩個(gè)相鄰位置的 誤差應(yīng)用拋物線擬合或等角擬合(例如，見Shimizu和Okutomi， "Significance and Attributes of Sub-Pixel Estimation on Area-Based Matching" ， The transactions of the Institute of Electronics, Information and Communication Engineers, D_II， the Institute of Electronics, Information and Communication Engineers, 2002年 12月，85巻，12期，第1791-1800頁)，此線上對應(yīng)點(diǎn)的位置在子像素單元中被計(jì)算。注意子像素單元意思指當(dāng)像素被分配在假定作為二維平面上的水平和垂直坐標(biāo)值的整數(shù) 位置時(shí)的十進(jìn)制數(shù)的單元，即，小于相鄰像素之間的間隔的單元。
同樣地，使用由黑點(diǎn)指示的線作為圖12中的搜索范圍計(jì)算另一對應(yīng)點(diǎn)。同樣從圖13 和14所示的搜索范圍計(jì)算對應(yīng)點(diǎn)。以這種方法，對于一個(gè)關(guān)注的像素設(shè)置四個(gè)對應(yīng)點(diǎn)(見 圖15)。在此實(shí)例中，各搜索范圍由水平線限定。替代地，可以通過一個(gè)接一個(gè)地轉(zhuǎn)移垂 直線切換搜索范圍以找到對應(yīng)點(diǎn)。特別是，關(guān)注的像素周圍的對象的輪廓線的方向可以使 用圖16和17所示的Sobel過濾器預(yù)先檢測。如果過濾值和像素值的巻積的絕對值使用圖 16的過濾器獲得的絕對值大于使用圖17的過濾器獲得的絕對值，則判定輪廓線接近于垂 直方向，并且使用圖11至14中的搜索范圍計(jì)算對應(yīng)點(diǎn)。如果使用圖17的過濾器獲得的 絕對值大于使用圖16的過濾器獲得的絕對值，則判定輪廓線接近于水平方向，并且使用 由垂直線限定的搜索范圍計(jì)算對應(yīng)點(diǎn)。因此，可以沿輪廓線設(shè)置多個(gè)對應(yīng)點(diǎn)，并且可以獲 得更高的清晰化效果。
下面將參考圖4， 18，和19說明圖1中的像素值轉(zhuǎn)換單元106。 當(dāng)像素值轉(zhuǎn)換單元106順序地轉(zhuǎn)換臨時(shí)擴(kuò)大的圖像數(shù)據(jù)105的像素的像素值以逐漸地 清晰化該圖像時(shí)，它將在低分辨率圖像中的位置被計(jì)算的對應(yīng)點(diǎn)轉(zhuǎn)換為在高分辨率圖像中 的位置。如上所述，低分辨率圖像和高分辨率圖像的像素之間的位置關(guān)系如圖4所示。圖 18顯示關(guān)注的像素作為低分辨率圖像的一個(gè)像素及其四個(gè)對應(yīng)點(diǎn)。通過在低分辨率圖像的 像素的位置采樣高分辨率圖像獲得的輝度值是低分辨率圖像的各像素值。另外，利用本實(shí) 施例的分辨率增強(qiáng)方法，假定通過在各對應(yīng)點(diǎn)的位置采樣高分辨率圖像獲得的輝度值等于 關(guān)注的像素的像素值。
圖19顯示從圖18提取的高分辨率圖像的像素和一個(gè)對應(yīng)點(diǎn)。作為高分辨率圖像的像 素值，臨時(shí)擴(kuò)大的圖像數(shù)據(jù)105的像素值被初始設(shè)置。使用此像素值，計(jì)算在對應(yīng)點(diǎn)位置 的樣本值z。使用叫做點(diǎn)擴(kuò)展函數(shù)的預(yù)定函數(shù)采樣，計(jì)算由例如虛線界定的高分辨率圖像 的像素值的加權(quán)平均。根據(jù)從對應(yīng)點(diǎn)到各像素的距離判定加權(quán)系數(shù)。接下來，計(jì)算樣本值 z和關(guān)注的像素的像素值y之間的差。當(dāng)設(shè)置那個(gè)對應(yīng)點(diǎn)時(shí)使用此關(guān)注的像素。如果z和 y之間的差為零，則不進(jìn)行任何處理就開始下一對應(yīng)點(diǎn)的處理。如果z和y之間的差是除 了零之外的值，則由虛線界定的高分辨率圖像的像素值被加上或減去以最小化該差。
例如，如果z-y假定為正值，則通過將那個(gè)差值乘以預(yù)定系數(shù)，并且從像素值中減去 將該乘積乘以用于采樣的加權(quán)系數(shù)獲得的值?；蛘呷绻鹺-y假定為負(fù)值，類似計(jì)算的值被 增加給像素值。如果對于所有的關(guān)注像素的每一個(gè)執(zhí)行此加法或者減法的處理被叫做圖像 變換，則此圖像變換被遞歸地執(zhí)行若干次。以這種方法，清晰度差并最初經(jīng)歷混疊的臨時(shí) 擴(kuò)大的圖像被逐漸地清晰化，并且混疊成分被減縮少。已經(jīng)經(jīng)過若干次圖像變換的高分辨 率圖像作為輸出高分辨率圖像數(shù)據(jù)109被輸出。
此實(shí)施例的分辨率增強(qiáng)設(shè)備的操作實(shí)例將參考圖20描述如下。
臨時(shí)擴(kuò)大單元102用三次巻積插值法，雙三次插值法，雙線性插值法，最近鄰插值法 等任何一種方法將輸入的低分辨率圖像轉(zhuǎn)換為臨時(shí)擴(kuò)大的圖像(步驟S2001)。
對應(yīng)點(diǎn)檢測單元104對于來自單個(gè)低分辨率圖像的圖像面的每一個(gè)像素檢測對應(yīng)點(diǎn) (步驟S2002)。
邊緣加強(qiáng)單元103使用反銳化的掩模等執(zhí)行低分辨率圖像的邊緣加強(qiáng)處理(步驟 S2003)。
像素值轉(zhuǎn)換單元106對于在步驟S2001中產(chǎn)生的高分辨率圖像使用邊緣加強(qiáng)的低分辨 率圖像的像素值以及對應(yīng)點(diǎn)的位置信息重復(fù)圖像轉(zhuǎn)換，以清晰化高分辨率圖像，并輸出結(jié) 果(步驟S2004)。
根據(jù)如上所述的第一實(shí)施例，使用高頻成分被加強(qiáng)的低分辨率圖像數(shù)據(jù)，以及低分辨 率圖像的各像素的對應(yīng)點(diǎn)位置順序地轉(zhuǎn)換臨時(shí)擴(kuò)大的圖像的各像素的像素值，以逐漸地清 晰化該圖像。因此，即使當(dāng)在采樣之后質(zhì)量進(jìn)一步劣化的圖像被輸入，也可以獲得清晰的 高分辨率圖像。
(第二實(shí)施例)
此實(shí)施例與第一實(shí)施例不同之處在于對應(yīng)點(diǎn)檢測單元接收高頻成分被加強(qiáng)的圖像數(shù) 據(jù)。其它各點(diǎn)與第一實(shí)施例中的相同。
此實(shí)施例的分辨率增強(qiáng)設(shè)備將參考圖21描述如下。邊緣加強(qiáng)單元2101獲得低分辨率圖像數(shù)據(jù)101，并將高頻成分通過加強(qiáng)圖像數(shù)據(jù)101 的邊緣部分加強(qiáng)的圖像數(shù)據(jù)107傳遞至對應(yīng)點(diǎn)檢測單元2102以及像素值轉(zhuǎn)換單元2103。 邊緣加強(qiáng)單元2101和103除它們輸入不同的數(shù)據(jù)以外具有同樣的處理內(nèi)容。
對應(yīng)點(diǎn)檢測單元2102對于高頻成分被加強(qiáng)的圖像數(shù)據(jù)107的各像素檢測對應(yīng)點(diǎn)的位 置，并且將對應(yīng)點(diǎn)的位置傳遞至像素值轉(zhuǎn)換單元2103。對應(yīng)點(diǎn)檢測單元2102和104除它 們輸入不同的數(shù)據(jù)以外具有同樣的處理內(nèi)容。
像素值轉(zhuǎn)換單元2103和106除它們從對應(yīng)點(diǎn)檢測單元輸入不同的數(shù)據(jù)以外具有同樣 的處理內(nèi)容。
圖21所示的分辨率增強(qiáng)設(shè)備的操作實(shí)例將參考圖22描述如下。 在步驟S2001之后，邊緣加強(qiáng)單元2101用反銳化的掩模等等執(zhí)行低分辨率圖像的邊 緣加強(qiáng)處理(步驟S2201)。
對應(yīng)點(diǎn)檢測單元2102對于來自已經(jīng)經(jīng)過邊緣加強(qiáng)處理的低分辨率圖像的圖像面的各 個(gè)像素檢測對應(yīng)點(diǎn)(步驟S2202)。
像素值轉(zhuǎn)換單元2103對于在步驟S2001中產(chǎn)生的高分辨率圖像使用邊緣加強(qiáng)的低分 辨率圖像的像素值以及對應(yīng)點(diǎn)的位置信息重復(fù)圖像變換，以清晰化高分辨率圖像，并輸出 結(jié)果(步驟S2203)。
根據(jù)如上所述的第二實(shí)施例，因?yàn)橄袼刂缔D(zhuǎn)換單元2103使用高頻成分被加強(qiáng)的低分 辨率圖像，因此即使當(dāng)輸入圖像的高頻成分被衰減時(shí)，也可以獲得清晰圖像。 (比較例)
原始圖像，作為先有技術(shù)用三重巻積內(nèi)插法產(chǎn)生的圖像，以及根據(jù)此實(shí)施例的圖像將 被比較。圖23， 24，和25分別顯示原始圖像，用三重巻積內(nèi)插法產(chǎn)生的圖像，以及根據(jù) 此實(shí)施例的圖像。
通過暫時(shí)縮小原始圖像為低分辨率圖像，然后用三重巻積內(nèi)插法擴(kuò)大那個(gè)作為輸入的 低分辨率圖像至原始分辨率，而獲得用三重巻積內(nèi)插法產(chǎn)生的圖像。在垂直方向上邊緣模 糊并產(chǎn)生細(xì)的線(混疊)。相反，從圖25可以看出，根據(jù)此實(shí)施例的圖像比用三重巻積內(nèi)插法產(chǎn)生的圖像更清
晰，并接近于原始圖像。
如果邊緣加強(qiáng)太弱，則清晰化效果小，而如果它太強(qiáng)，則混疊保留在輸出圖像中，這 樣使圖像質(zhì)量惡化。因此，低分辨率圖像的頻率成分被計(jì)算，更強(qiáng)的邊緣加強(qiáng)以減少的高 頻成分被應(yīng)用，并且，較弱的邊緣加強(qiáng)以增加的高頻成分被應(yīng)用，這樣獲得高圖像質(zhì)量。 例如，反銳化的掩模可以通過增加輸入圖像和模糊圖像之間的差的增加量的比率加強(qiáng)邊緣 加強(qiáng)，并且可以通過減少該比率減弱它。
如果混疊量在圖像面的垂直與水平方向是不同的，則邊緣加強(qiáng)的強(qiáng)度最好在垂直與水 平方向被切換。例如，電視視頻圖片的視場像對于各線被分成頂和底場，并且許多混疊成 分在垂直方向出現(xiàn)。因此，最好在垂直方向上應(yīng)用弱于水平方向的邊緣加強(qiáng)，或者在垂直 方向上的邊緣加強(qiáng)最好被跳過。
[0039〗
在不包括輪廓線的平坦部分中，因?yàn)闆]有高頻成分，如果臨時(shí)擴(kuò)大的圖像的像素值被 原封不動(dòng)地使用，則圖像質(zhì)量是足夠高的。因此，使用圖16或17所示的Sobel過濾器等 從低分辨率圖像檢測輪廓線，并且對于其輸出小于預(yù)定值的像素跳過對應(yīng)點(diǎn)檢測。用這樣 的方式，對應(yīng)點(diǎn)的總數(shù)被減少，并且像素值的加上或減去被相應(yīng)地跳過，因而減少總的處 理量。
本領(lǐng)域技術(shù)人員將容易地想起附加的優(yōu)點(diǎn)和變化。因此，本發(fā)明以其更寬的方式不局 限于在本文中顯示和說明的細(xì)節(jié)和代表性的實(shí)施例。相應(yīng)地，在沒有背離如所附的權(quán)利要 求及其等價(jià)物所限定的總的發(fā)明構(gòu)思的精祌或范圍的情況下可以作出各種變化。
權(quán)利要求
1. 一種分辨率增強(qiáng)設(shè)備，其特征在于，包含獲取單元，其被配置為從圖像源獲取第一低分辨率圖像，其中包括在所述第一低分辨率圖像的圖像面內(nèi)的第一像素的位置處的輝度值被表示為第一像素值；加強(qiáng)單元，其被配置為對所述第一低分辨率圖像進(jìn)行邊緣加強(qiáng)處理以獲得第二低分辨率圖像；低檢測單元，其被配置為使用所述第一低分辨率圖像和所述第二低分辨率圖像中的一個(gè)，以作為小于相鄰像素之間的間隔的單位的子像素單位的精度，檢測每一個(gè)與最接近于包括在所述第一低分辨率圖像中的關(guān)注圖像區(qū)域內(nèi)的像素值圖案的多個(gè)圖像區(qū)域相對應(yīng)的多個(gè)對應(yīng)點(diǎn)，所述關(guān)注圖像區(qū)域被設(shè)置為以所述第一像素中的每一個(gè)作為關(guān)注的像素；設(shè)置單元，其被配置為當(dāng)?shù)诙袼刂械囊粋€(gè)被作為關(guān)注的像素時(shí)，將所述第二低分辨率圖像的多個(gè)第二像素值中的每一個(gè)設(shè)置為各個(gè)對應(yīng)點(diǎn)處的輝度值的樣本值，以獲得多個(gè)樣本值；擴(kuò)大單元，其被配置為將所述第一低分辨率圖像擴(kuò)大為包括比所述第一低分辨率圖像更大數(shù)目的第三像素的高分辨率圖像；以及轉(zhuǎn)換單元，其被配置為執(zhí)行像素值轉(zhuǎn)換，其中在減小在所述對應(yīng)點(diǎn)采樣的輝度值和所述樣本值之間的誤差的方向上，在使用所述第三像素的所述高分辨率圖像中加上或減去多個(gè)第三像素值。
2. 如權(quán)利要求1所述的設(shè)備，其特征在于，進(jìn)一步地包含高檢測單元，其被配置為 檢測所述第一低分辨率圖像的高頻成分，其中所述加強(qiáng)單元在所述第一低分辨率圖像的高頻成分被減少時(shí)增強(qiáng)邊緣加強(qiáng)。
3. 如權(quán)利要求2所述的設(shè)備，其特征在于，所述加強(qiáng)單元改變所述邊緣加強(qiáng)在所述 圖像面的垂直方向和水平方向上的強(qiáng)度。
4. 如權(quán)利要求2所述的設(shè)備，其特征在于，進(jìn)一步包含輪廓檢測單元，其被配置為 檢測所述第一低分辨率圖像中的對象的輪廓線，其中所述轉(zhuǎn)換單元在所述輪廓線周圍加上或減去所述第三像素值。
5. 如權(quán)利要求1所述的設(shè)備，其特征在于，所述加強(qiáng)單元改變所述邊緣加強(qiáng)在所述 圖像面的垂直方向和水平方向上的強(qiáng)度。
6. 如權(quán)利要求5所述的設(shè)備，其特征在于，進(jìn)一步包含輪廓檢測單元，其被配置為 檢測所述第一低分辨率圖像中的對象的輪廓線，其中所述轉(zhuǎn)換單元在所述輪廓線周圍加上或減去所述第三像素值。
7. 如權(quán)利要求1所述的設(shè)備，其特征在于，進(jìn)一步包含輪廓檢測單元，其被配置為 檢測所述第一低分辨率圖像中的對象的輪廓線，其中所述轉(zhuǎn)換單元在所述輪廓線周圍加上或減去所述第三像素值。
8. —種分辨率增強(qiáng)方法，其特征在于，包含-從圖像源獲取第一低分辨率圖像，其中包括在所述第一低分辨率圖像的圖像面內(nèi)的第 一像素的位置處的輝度值被表示為第一像素值；對所述第一低分辨率圖像進(jìn)行邊緣加強(qiáng)處理以獲得第二低分辨率圖像；使用所述第一低分辨率圖像和所述第二低分辨率圖像中的一個(gè)，以作為小于相鄰像素 之間的間隔的單位的子像素單位的精度，檢測每一個(gè)與最接近于包括在所述第一低分辨率 圖像中的關(guān)注圖像區(qū)域內(nèi)的像素值圖案的多個(gè)圖像區(qū)域相對應(yīng)的多個(gè)對應(yīng)點(diǎn)，所述關(guān)注圖 像區(qū)域被設(shè)置為以所述第一像素中的每一個(gè)作為關(guān)注的像素；當(dāng)?shù)诙袼刂械囊粋€(gè)被作為關(guān)注的像素時(shí)，將所述第二低分辨率圖像的多個(gè)第二像素 值中的每一個(gè)設(shè)置為各個(gè)對應(yīng)點(diǎn)處的輝度值的樣本值，以獲得多個(gè)樣本值；將所述第一低分辨率圖像擴(kuò)大為包括比所述第一低分辨率圖像更大數(shù)目的第三像素 的高分辨率圖像；以及執(zhí)行像素值轉(zhuǎn)換，其中在減小在所述對應(yīng)點(diǎn)采樣的輝度值和所述樣本值之間的誤差的 方向上，在使用所述第三像素的所述高分辨率圖像中加上或減去多個(gè)第三像素值。
9. 如權(quán)利要求8所述的方法，其特征在于，進(jìn)一步包含檢測所述第一低分辨率圖像 的高頻成分，其中進(jìn)行所述邊緣加強(qiáng)處理的步驟在所述第一低分辨率圖像的高頻成分被減少時(shí)增 強(qiáng)邊緣加強(qiáng)。
10. 如權(quán)利要求9所述的方法，其特征在于，進(jìn)行所述邊緣加強(qiáng)處理的步驟改變所述 邊緣加強(qiáng)在所述圖像面的垂直方向和水平方向上的強(qiáng)度。
11. 如權(quán)利要求9所述的方法，其特征在于，進(jìn)一步包含檢測所述第一低分辨率圖像 中的對象的輪廓線，其中執(zhí)行所述像素值轉(zhuǎn)換的步驟在所述輪廓線周圍加上或減去所述第三像素值。
12. 如權(quán)利要求8所述的方法，其特征在于，進(jìn)行所述邊緣加強(qiáng)處理的步驟改變所述邊緣加強(qiáng)在所述圖像面的垂直方向和水平方向上的強(qiáng)度。
13. 如權(quán)利要求12所述的方法，其特征在于，進(jìn)一步包含檢測所述第一低分辨率圖 像中的對象的輪廓線，其中執(zhí)行所述像素值轉(zhuǎn)換的步驟在所述輪廓線周圍加上或減去所述第三像素值。
14. 如權(quán)利要求8所述的方法，其特征在于，進(jìn)一步包含檢測所述第一低分辨率圖像 中的對象的輪廓線，其中執(zhí)行所述像素值轉(zhuǎn)換的步驟在所述輪廓線周圍加上或減去所述第三像素值。
全文摘要
一種分辨率增強(qiáng)設(shè)備包括獲取第一圖像的單元；對所述第一圖像進(jìn)行邊緣加強(qiáng)以獲得第二圖像的單元；使用所述第一圖像和所述第二圖像中的一個(gè)，以作為小于相鄰像素之間的間隔的單位的子像素單位的精度，檢測對應(yīng)于圖像區(qū)域的點(diǎn)的單元；當(dāng)所述第二像素中的一個(gè)被作為關(guān)注的像素時(shí)，將所述第二圖像的第二值的每一個(gè)設(shè)置為在各點(diǎn)的輝度值的樣本值的單元；將所述第一圖像擴(kuò)大為包括比所述第一圖像更大數(shù)目的第三像素的高分辨率圖像的單元；以及在減小在所述點(diǎn)采樣的輝度值和所述樣本值之間的誤差的方向上加上或減去所述高分辨率圖像中的第三值執(zhí)行值轉(zhuǎn)換的單元。
文檔編號G06T5/50GK101295399SQ20081009603
公開日2008年10月29日 申請日期2008年4月24日 優(yōu)先權(quán)日2007年4月26日
發(fā)明者井田孝, 松本信幸 申請人:株式會(huì)社東芝