專利名稱：圖像處理設(shè)備,圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，圖像處理方法和程序，尤其涉及適合于校正其中產(chǎn)生 模糊的圖像的圖像處理設(shè)備，圖像處理方法和程序。
背景技術(shù)：
在現(xiàn)有技術(shù)中，存在一種校正歸因于拍攝時(shí)手抖動(dòng)的圖像模糊的校正技術(shù)。L. B. Lucy 禾口 William Hardley Richardson 提出的 Richardson—Lucy 法是這種技 術(shù)的一個(gè)例子。不過，在該方法中，當(dāng)通過利用落入點(diǎn)擴(kuò)散函數(shù)(PSF)的頻率軸上的零點(diǎn)的 頻譜來解決逆問題時(shí)，在所述零點(diǎn)出現(xiàn)放大的噪聲和振鈴。此外，當(dāng)未正確求解點(diǎn)擴(kuò)散函數(shù) 時(shí)，例如在零點(diǎn)出現(xiàn)進(jìn)一步放大的噪聲和振鈴。為了避免該問題，可以使用當(dāng)通過引入增益圖來正確得到點(diǎn)擴(kuò)散函數(shù)時(shí)，能夠抑 制振鈴的殘差去卷積技術(shù)(例如，參見“Image deblurring with blurred/noisy image pairs，，，Lu Yuan, Jian Sun, Long Quan 禾口 Heung-Yeung Shum, ACM Transactions on Graphics(TOG)，v.26n. 3，2007 年 7 月)。不過，在現(xiàn)有技術(shù)的殘差去卷積技術(shù)中，當(dāng)在點(diǎn)擴(kuò)散函數(shù)中存在誤差時(shí)，難以成功 地重構(gòu)圖像的結(jié)構(gòu)分量和殘差部分，從而不利地導(dǎo)致更多的振鈴。為了避免該問題，能夠應(yīng)用一種技術(shù)(下面稱為結(jié)構(gòu)去卷積技術(shù))，其中在基于 Richardson-Lucy法的靜止畫面圖像穩(wěn)定化算法中，結(jié)合分離圖像的結(jié)構(gòu)分量和紋理分量 的結(jié)構(gòu)/紋理分離濾波器。在結(jié)構(gòu)去卷積技術(shù)中，借助全變差濾波器(它是一種結(jié)構(gòu)/紋理分離濾波器)，其 中出現(xiàn)模糊的圖像(下面稱為模糊圖像)的結(jié)構(gòu)分量和紋理分量被相互分離，只對結(jié)構(gòu)分 量進(jìn)行模糊校正，從而抑制了噪聲和振鈴的發(fā)生。這里，結(jié)構(gòu)分量代表構(gòu)成圖像的外形的那些分量，比如圖像幾乎不變化的平坦部 分，圖像緩慢變化的傾斜部分，及被攝物體的輪廓和邊緣。紋理分量代表構(gòu)成圖像的細(xì)節(jié)的 那些分量，比如被攝物體的精細(xì)圖案。于是，多數(shù)結(jié)構(gòu)分量包含在具有低空間頻率的低頻分 量中，多數(shù)紋理分量包含在具有高空間頻率的高頻分量中。

發(fā)明內(nèi)容
不過，在結(jié)構(gòu)去卷積技術(shù)中，關(guān)于紋理分量的部分信息可能丟失，從而失去圖像的 細(xì)節(jié)。例如，當(dāng)結(jié)構(gòu)去卷積技術(shù)被用于對圖1中所示的其中由于手抖動(dòng)而出現(xiàn)模糊的模糊 圖像進(jìn)行模糊校正時(shí)，被攝物體的諸如精細(xì)圖案之類的細(xì)節(jié)丟失，如圖2中所示。因此，圖 像看起來單調(diào)，僅僅具有輪廓，比如供著色的畫面，圖像分辨率的感覺被降低。通過調(diào)整結(jié)構(gòu)/紋理分離濾波器的參數(shù)，能夠一定程度地抑制圖像分辨率的感覺 的降低。不過，由于抑制所述降低與抑制噪聲和振鈴的出現(xiàn)之間的折衷關(guān)系，難以充分抑制 所述降低。理想的是提高因模糊校正而降低的圖像分辨率的感覺。
按照本發(fā)明的一個(gè)實(shí)施例，圖像處理設(shè)備包括紋理提取單元，用于提取其中出現(xiàn) 模糊的模糊圖像的紋理分量，和組合單元，用于組合由紋理提取單元提取的模糊圖像的紋 理分量和通過校正模糊圖像的模糊而獲得的模糊校正圖像。還提供掩碼產(chǎn)生單元，用于提取模糊校正圖像的邊緣，沿模糊圖像的模糊的出現(xiàn) 方向擴(kuò)展提取的模糊校正圖像的邊緣，并產(chǎn)生用于從組合單元的組合范圍中除去包括在擴(kuò) 展邊緣中的像素的二值掩碼圖像。組合單元能夠利用掩碼圖像來組合模糊圖像的紋理分量 和模糊校正圖像。掩碼產(chǎn)生單元還能夠衰減掩碼圖像的高于預(yù)定閾值的頻率分量。組合單元能夠利 用高頻分量被衰減的掩碼圖像，組合模糊圖像的紋理分量和模糊校正圖像。按照本發(fā)明的又一個(gè)實(shí)施例，圖像處理方法包括下述步驟借助圖像處理設(shè)備，提 取其中出現(xiàn)模糊的模糊圖像的紋理分量，及組合提取的模糊圖像的紋理分量和通過校正模 糊圖像的模糊而獲得的模糊校正圖像。按照本發(fā)明的再一個(gè)實(shí)施例，程序使計(jì)算機(jī)執(zhí)行包括下述步驟的處理提取其中 出現(xiàn)模糊的模糊圖像的紋理分量，及組合提取的模糊圖像的紋理分量和通過校正模糊圖像 的模糊而獲得的模糊校正圖像。按照本發(fā)明的實(shí)施例，提取其中出現(xiàn)模糊的模糊圖像的紋理分量，并組合提取的 模糊圖像的紋理分量和通過校正模糊圖像的模糊而獲得的模糊校正圖像。按照本發(fā)明的實(shí)施例，能夠提高因模糊校正而降低的圖像分辨率的感覺。


圖1圖解說明模糊圖像的一個(gè)例子；圖2圖解說明通過應(yīng)用結(jié)構(gòu)去卷積技術(shù)校正圖1的模糊圖像而獲得的圖像；圖3是應(yīng)用本發(fā)明的實(shí)施例的圖像處理設(shè)備的方框圖；圖4是模糊校正單元的功能結(jié)構(gòu)的例子的方框圖；圖5是紋理重構(gòu)單元的功能結(jié)構(gòu)的例子的方框圖；圖6是描述由應(yīng)用本發(fā)明的實(shí)施例的圖像處理設(shè)備執(zhí)行的圖像校正的流程圖；圖7圖解說明模糊圖像的例子；圖8圖解說明通過校正圖7的模糊圖像的模糊而獲得的模糊校正圖像；圖9圖解說明通過衰減圖7的模糊圖像的高頻分量而獲得的圖像；圖10圖解說明通過提取圖7的模糊圖像的高頻分量而獲得的高頻模糊圖像；圖11圖解說明通過提取圖8的模糊校正圖像的邊緣而獲得的邊緣圖像；圖12圖解說明用于圖8的模糊校正圖像的掩碼圖像；圖13圖解說明通過重構(gòu)圖8的模糊校正圖像的紋理分量而獲得的輸出圖像；圖14圖解說明在不利用圖12的掩碼圖像的情況下，通過組合圖8的模糊校正圖 像和圖10的高頻模糊圖像而獲得的圖像；圖15圖解說明通過校正圖1的模糊圖像的模糊而獲得的模糊校正圖像；圖16圖解說明通過提取圖1的模糊圖像的高頻分量而獲得的高頻模糊圖像；圖17圖解說明通過重構(gòu)圖2的模糊校正圖像的紋理分量而獲得的輸出圖像；和圖18是計(jì)算機(jī)的結(jié)構(gòu)例子的方框圖。
具體實(shí)施例方式下面按照下述順序說明實(shí)現(xiàn)本發(fā)明的模式(下面稱為實(shí)施例)。1.實(shí)施例2.改進(jìn)例1.實(shí)施例圖像處理設(shè)備的結(jié)構(gòu)例子圖3是應(yīng)用本發(fā)明的實(shí)施例的圖像處理設(shè)備的方框圖。圖3的圖像處理設(shè)備101接收其中由于手抖動(dòng)等而出現(xiàn)模糊的模糊圖像的輸入， 校正輸入的模糊圖像的模糊，并輸出校正后的圖像(下面稱為輸出圖像)。圖像處理設(shè)備 101被配置成包括模糊校正單元111和紋理重構(gòu)單元112。模糊校正單元111找出指示模糊圖像的模糊的方向和大小的點(diǎn)擴(kuò)散函數(shù)(PSF)， 利用找出的PSF，校正模糊圖像的模糊。模糊校正單元111把通過校正模糊而獲得的圖像 (下面稱為模糊校正圖像)和模糊圖像的PSF提供給紋理重構(gòu)單元112。紋理重構(gòu)單元112使用模糊校正圖像，模糊圖像，PSF和從外部輸入的增強(qiáng)效果調(diào) 整參數(shù)重構(gòu)模糊校正圖像的紋理分量，并提高分辨率的感覺。紋理重構(gòu)單元112把通過重 構(gòu)紋理分量而獲得的圖像作為輸出圖像輸出給下一級的設(shè)備。模糊校正單元的結(jié)構(gòu)例子圖4是模糊校正單元111的功能結(jié)構(gòu)的例子的方框圖。模糊校正單元111包括 PSF計(jì)算單元151，初始模糊校正單元152，卷積計(jì)算單元153，殘差計(jì)算單元154，相關(guān)計(jì)算 單元155，乘法單元156，和全變差濾波器157(下面稱為TV濾波器157)。輸入到模糊校正單元111的模糊圖像被提供給PSF計(jì)算單元151，初始模糊校正單 元152和殘差計(jì)算單元154。PSF計(jì)算單元151利用預(yù)定技術(shù)求出模糊圖像的PSF，隨后把PSF提供給卷積計(jì)算 單元153，相關(guān)計(jì)算單元155和紋理重構(gòu)單元112。初始模糊校正單元152根據(jù)模糊圖像的PSF，利用預(yù)定技術(shù)校正模糊圖像的模糊。 初始模糊校正單元152隨后把通過校正模糊而獲得的圖像(下面稱為初始模糊校正圖像) 提供給卷積計(jì)算單元153和乘法單元156。卷積計(jì)算單元153進(jìn)行初始模糊校正圖像和模糊圖像的PSF之間的卷積運(yùn)算。卷 積計(jì)算單元153還進(jìn)行從TV濾波器15供給的模糊校正圖像和模糊圖像的PSF之間的卷積 運(yùn)算。即，卷積計(jì)算單元153進(jìn)行初始模糊校正圖像或模糊校正圖像和由PSF代表的模糊 圖像的模糊分量之間的卷積運(yùn)算，以再現(xiàn)模糊圖像。卷積計(jì)算單元153隨后把通過卷積運(yùn) 算獲得的圖像(下面稱為再現(xiàn)的模糊圖像)提供給殘差計(jì)算單元154。殘差計(jì)算單元IM求出再現(xiàn)的模糊圖像和原始模糊圖像之間的差異，以求出這兩 個(gè)圖像之間的殘差。殘差計(jì)算單元154隨后把運(yùn)算結(jié)果提供給相關(guān)計(jì)算單元155。相關(guān)計(jì)算單元155進(jìn)行模糊圖像的PSF和來自殘差計(jì)算單元154的運(yùn)算結(jié)果之 間的相關(guān)運(yùn)算，并從再現(xiàn)的模糊圖像和原始模糊圖像之間的殘差中除去模糊圖像的模糊分 量。即，相關(guān)計(jì)算單元巧5估計(jì)初始模糊校正圖像或模糊校正圖像和未出現(xiàn)模糊的圖像之 間的殘差。相關(guān)計(jì)算單元155隨后把運(yùn)算結(jié)果提供給乘法單元156。
乘法單元156把從初始模糊校正單元152供給的初始模糊校正圖像，或者從TV濾 波器157供給的模糊校正圖像乘以來自相關(guān)計(jì)算單元155的運(yùn)算結(jié)果，隨后把所得到的圖 像提供給TV濾波器157。TV濾波器157分離由乘法單元156產(chǎn)生的圖像的結(jié)構(gòu)分量和紋理分量。TV濾波 器157隨后把由通過分離獲得的結(jié)構(gòu)分量形成的圖像，作為模糊校正圖像提供給卷積計(jì)算 單元153和乘法單元156。另外，當(dāng)滿足預(yù)定條件時(shí)，TV濾波器157把模糊校正圖像提供給 紋理重構(gòu)單元112。紋理重構(gòu)單元的結(jié)構(gòu)例子圖5是紋理重構(gòu)單元112的功能結(jié)構(gòu)的例子的方框圖。紋理重構(gòu)單元112被配置 成包括紋理提取單元171，掩碼產(chǎn)生單元172和組合單元173。紋理提取單元171提取模糊圖像的紋理分量，隨后把提取的紋理分量提供給組合 單元173。紋理提取單元171被配置成包括低通濾波器(LPF) 181，減法單元182和乘法單 元 183。LPF 181衰減模糊圖像的高頻分量，隨后把通過衰減高頻分量而獲得的模糊圖像 提供給減法單元182。減法單元182求出原始模糊圖像和通過衰減高頻分量而獲得的模糊圖像之間的 差異，從而提取模糊圖像的高頻分量。減法單元182隨后把表示提取的高頻分量的圖像(下 面稱為高頻模糊圖像)提供給乘法單元183。乘法單元183把高頻模糊圖像的每個(gè)像素值乘以從外部輸入的增強(qiáng)效果調(diào)整參 數(shù)，從而增強(qiáng)高頻模糊圖像的高頻分量。乘法單元183隨后把通過增強(qiáng)高頻分量而獲得的 高頻模糊圖像提供給組合單元173。掩碼產(chǎn)生單元172產(chǎn)生供在組合單元173組合模糊校正圖像和高頻模糊圖像時(shí)使 用的掩碼圖像。掩碼產(chǎn)生單元172被配置成包括邊緣提取單元191，擴(kuò)展單元192和低通濾 波器(LPF) 193。邊緣提取單元191提取模糊校正圖像的邊緣，產(chǎn)生包括在所提取邊緣中的像素的 像素值被取為0、未包括在所述邊緣中的像素的像素值被取為1的圖像(下面稱為邊緣圖 像)，隨后把邊緣圖像提供給擴(kuò)展單元192。根據(jù)從模糊校正單元111的PSF計(jì)算單元151提供的模糊圖像的PSF，擴(kuò)展單元 192沿出現(xiàn)模糊圖像的模糊的方向擴(kuò)展邊緣圖像的邊緣區(qū)(像素值為0的區(qū)域)。擴(kuò)展單 元192隨后把所得到的圖像(下面稱為邊緣擴(kuò)展圖像)提供給LPF 193。LPF 193衰減邊緣擴(kuò)展圖像的高頻分量，隨后把得到的圖像作為掩碼圖像提供給 組合單元173。組合單元173使用由掩碼產(chǎn)生單元172產(chǎn)生的掩碼圖像來組合高頻模糊圖像和從 模糊校正單元111的TV濾波器157供給的模糊校正圖像。組合單元173隨后把所得到的 圖像作為輸出圖像輸出給下一級的設(shè)備。圖像校正的例子下面參考圖6的流程圖，說明由圖像處理設(shè)備101執(zhí)行的圖像校正。這里，通過酌 情以其中處理在圖7中描述的模糊圖像的情況作為具體例子進(jìn)行說明。在圖7的模糊圖像 中，在拍攝時(shí)沿箭頭所示的方向發(fā)生了手抖動(dòng)，從而在圖像中造成模糊。
例如，當(dāng)待校正的模糊圖像被輸入圖像處理設(shè)備101中，并且經(jīng)未示出的操作單 元提供進(jìn)行圖像處理的指令時(shí)，開始該處理。另外，輸入圖像處理設(shè)備101中的模糊圖像被 提供給模糊校正單元111的PSF計(jì)算單元151，初始模糊校正單元152和殘差計(jì)算單元154， 以及紋理重構(gòu)單元112的紋理提取單元171的LPF 181和減法單元182。在步驟Si，PSF計(jì)算單元151利用預(yù)定技術(shù)求出模糊圖像的PSF。例如，PSF計(jì)算 單元151檢測構(gòu)成模糊圖像的像素的亮度值(Y分量)的倒譜上的特征點(diǎn)，以進(jìn)行PSF的線 性估計(jì)，從而求出模糊圖像的PSF。PSF計(jì)算單元151隨后把求出的PSF提供給卷積計(jì)算單 元153，相關(guān)計(jì)算單元155，和紋理重構(gòu)單元112的掩碼產(chǎn)生單元172的擴(kuò)展單元192。這里，PSF計(jì)算單元151可以采用求出模糊圖像的PSF的任何技術(shù)。在步驟S2，模糊校正單元111校正模糊圖像的模糊。具體地說，根據(jù)PSF計(jì)算單元 151求出的PSF，初始模糊校正單元152通過利用預(yù)定技術(shù)校正模糊圖像的模糊，隨后把所 得到的初始模糊校正圖像提供給卷積計(jì)算單元153和乘法單元156。這里，初始模糊校正單元152可以采用校正模糊圖像的任何技術(shù)。卷積計(jì)算單元153進(jìn)行初始模糊校正圖像和模糊圖像的PSF之間的卷積運(yùn)算，以 產(chǎn)生再現(xiàn)的模糊圖像。卷積計(jì)算單元153隨后把產(chǎn)生的再現(xiàn)模糊圖像提供給殘差計(jì)算單元 154。殘差計(jì)算單元巧4計(jì)算由卷積計(jì)算單元153產(chǎn)生的再現(xiàn)模糊圖像和原始模糊圖像 之間的殘差。殘差計(jì)算單元154隨后把運(yùn)算結(jié)果提供給相關(guān)計(jì)算單元155。相關(guān)計(jì)算單元155進(jìn)行模糊圖像的PSF和來自殘差計(jì)算單元IM的運(yùn)算結(jié)果之間 的相關(guān)運(yùn)算，從再現(xiàn)模糊圖像和原始模糊圖像之間的殘差中除去模糊圖像的模糊分量。相 關(guān)計(jì)算單元155隨后把運(yùn)算結(jié)果提供給乘法單元156。乘法單元156把初始模糊校正圖像乘以來自相關(guān)計(jì)算單元155的運(yùn)算結(jié)果，隨后 把所得到的圖像提供給TV濾波器157。TV濾波器157分離由乘法單元156產(chǎn)生的圖像的結(jié)構(gòu)分量和紋理分量，隨后把 所得到的由結(jié)構(gòu)分量構(gòu)成的圖像作為模糊校正圖像，提供給卷積計(jì)算單元153和乘法單元 156。卷積計(jì)算單元153進(jìn)行由TV濾波器157產(chǎn)生的模糊校正圖像和模糊圖像的PSF 之間的卷積運(yùn)算，從而產(chǎn)生再現(xiàn)的模糊圖像。卷積計(jì)算單元153隨后把產(chǎn)生的再現(xiàn)模糊圖 像提供給殘差計(jì)算單元154。殘差計(jì)算單元IM計(jì)算由卷積計(jì)算單元153產(chǎn)生的再現(xiàn)模糊圖像和原始模糊圖像 之間的殘差。殘差計(jì)算單元154隨后把運(yùn)算結(jié)果提供給相關(guān)計(jì)算單元155。相關(guān)計(jì)算單元155進(jìn)行模糊圖像的PSF和來自殘差計(jì)算單元IM的運(yùn)算結(jié)果之間 的相關(guān)運(yùn)算，從再現(xiàn)模糊圖像和原始模糊圖像之間的殘差中除去模糊分量。相關(guān)計(jì)算單元 155隨后把運(yùn)算結(jié)果提供給乘法單元156。乘法單元156把TV濾波器157產(chǎn)生的模糊校正圖像乘以來自相關(guān)計(jì)算單元155 的運(yùn)算結(jié)果，隨后把所得到的圖像提供給TV濾波器157。TV濾波器157分離由乘法單元156產(chǎn)生的圖像的結(jié)構(gòu)分量和紋理分量，隨后把 所得到的由結(jié)構(gòu)分量構(gòu)成的圖像作為模糊校正圖像，提供給卷積計(jì)算單元153和乘法單元 156。
隨后，例如，在再現(xiàn)模糊圖像和原始模糊圖像之間的殘差具有等于或小于預(yù)定閾 值的值之前，或者在運(yùn)算次數(shù)達(dá)到預(yù)定次數(shù)之前，根據(jù)再現(xiàn)模糊圖像和原始模糊圖像之間 的殘差，重復(fù)更新模糊更新圖像的處理，以便降低殘差。當(dāng)再現(xiàn)模糊圖像和原始模糊圖像 之間的殘差具有等于或小于預(yù)定閾值的值時(shí)，或者在運(yùn)算次數(shù)達(dá)到預(yù)定次數(shù)時(shí)，TV濾波器 157把產(chǎn)生的模糊校正圖像提供給紋理重構(gòu)單元112中的掩碼產(chǎn)生單元172中的邊緣提取 單元191，以及提供給紋理重構(gòu)單元112中的組合單元173。這里，也可根據(jù)再現(xiàn)模糊圖像和原始模糊圖像之間的殘差，順序更新模糊圖像的 PSF。圖8圖解說明通過用步驟Sl和S2的處理，校正圖7的模糊圖像的模糊而獲得的 模糊校正圖像。在步驟S3，紋理重構(gòu)單元112的紋理提取單元171提取模糊圖像的紋理分量。具 體地說，紋理提取單元171的LPF 181衰減模糊圖像的高于預(yù)定閾值的頻率分量，隨后把通 過衰減高頻分量獲得的模糊圖像提供給減法單元182。圖9圖解說明在LPF 181，通過衰減圖7的模糊圖像的高頻分量而獲得的圖像。減法單元182求出模糊圖像和在LPF 181通過衰減高頻分量而獲得的模糊圖像之 間的差異，并提取模糊圖像的高頻分量。減法單元182隨后把表示提取的高頻分量的高頻 模糊圖像提供給乘法單元183。圖10圖解說明通過求出圖7的模糊圖像和通過衰減高頻分量而獲得的圖9的模 糊圖像之間的差異，得到的高頻模糊圖像。在圖10的高頻模糊圖像中，表示了位于中央的 被攝物體的邊緣和所述邊緣的模糊，以及圖7的模糊圖像的紋理分量。乘法單元183把高頻模糊圖像的每個(gè)像素值乘以用戶設(shè)置的增強(qiáng)效果參數(shù)，從而 增強(qiáng)高頻模糊圖像的高頻分量。乘法單元183隨后把通過增強(qiáng)高頻分量而獲得的高頻模糊 圖像提供給組合單元173。在步驟S4，紋理重構(gòu)單元112的掩碼產(chǎn)生單元172產(chǎn)生掩碼圖像。具體地說，掩碼 產(chǎn)生單元172的邊緣提取單元191提取模糊校正圖像的邊緣。邊緣提取單元191通過把包 括在所提取的邊緣中的像素的像素值設(shè)為0(它是指示由組合單元173從組合范圍中進(jìn)行 去除的值)，和把未包括在該邊緣中的像素的像素值設(shè)為1，產(chǎn)生二值邊緣圖像。邊緣提取 單元191把產(chǎn)生的邊緣圖像提供給擴(kuò)展單元192。圖11圖解說明根據(jù)圖8的模糊校正圖像產(chǎn)生的邊緣圖像。根據(jù)模糊圖像的PSF，擴(kuò)展單元192沿出現(xiàn)模糊圖像的模糊的方向，擴(kuò)展邊緣圖像 的邊緣區(qū)(其中像素值為0的區(qū)域)，隨后把所得到的邊緣擴(kuò)展圖像提供給LPF 193。LPF 193衰減邊緣擴(kuò)展圖像的高于預(yù)定閾值的頻率分量，隨后把所得到的圖像， 即，掩碼圖像提供給組合單元173。圖12圖解說明通過對于圖11的邊緣圖像，由擴(kuò)展單元192擴(kuò)展邊緣區(qū)，隨后由 LPF 193衰減高頻分量得到的掩碼圖像。盡管未示出，不過由于在用LPF 193衰減高頻分 量之前的邊緣擴(kuò)展圖像是其像素值任意之一為0或1的二值圖像，因此在掩碼的邊界(邊 緣部分和非邊緣部分之間的邊界)附近的像素值突然從0變成1。另一方面，在用LPF193 衰減高頻分量之后獲得的掩碼圖像具有在0 1的范圍中小數(shù)點(diǎn)之下的像素值。從而，與 衰減高頻分量之前的像素值相比，像素值在掩碼的邊界附近逐漸變化。
在步驟S5，組合單元173使用掩碼圖像來組合模糊圖像的紋理分量和模糊校正圖 像。具體地說，借助下述等式(1)，組合單元173使用掩碼圖像組合模糊校正圖像和高頻模 糊圖像，從而產(chǎn)生輸出圖像。Po = α XPc+(1-α ) XPh (1)這里，Po代表輸出圖像的像素值，Pc代表模糊校正圖像的像素值，Wi代表高頻模 糊圖像的像素值，α代表掩碼圖像的像素值。組合單元173隨后把產(chǎn)生的輸出圖像輸出給下一級的設(shè)備。隨后，結(jié)束圖像校正。效果的總結(jié)圖13圖解說明通過利用圖12的掩碼圖像，組合圖8的模糊校正圖像和圖10的高 頻模糊圖像而獲得的輸出圖像。比較圖8的模糊校正圖像和圖13的輸出圖像，可發(fā)現(xiàn)圖13 的輸出圖像表現(xiàn)更細(xì)致，尤其是位于中央的被攝物體內(nèi)的陰影的變化，從而提高分辨率的 感覺。圖14圖解說明在不利用圖12的掩碼圖像的情況下，通過組合圖8的模糊校正圖 像和圖10的高頻模糊圖像而獲得的圖像。如上所述，圖10的高頻模糊圖像不僅包括模糊 圖像的紋理分量，而且包括位于中央的被攝物體的邊緣以及邊緣的模糊。于是，當(dāng)在不利用 掩碼圖像的情況下組合圖8的模糊校正圖像和圖10的高頻模糊圖像時(shí)，如圖14中所示，盡 管圖像的分辨率的感覺被提高，不過不僅模糊圖像的紋理分量、而且模糊圖像的邊緣及邊 緣的模糊都被相互重疊，從而不利地造成偽像。另一方面，在圖13的輸出圖像中，通過利用掩碼圖像組合高頻模糊圖像和模糊校 正圖像，從而衰減或去除模糊圖像的存在邊緣且出現(xiàn)邊緣的模糊的區(qū)域中的高頻模糊圖 像的一部分。于是，不會(huì)出現(xiàn)由于模糊圖像的邊緣或者邊緣的模糊引起的偽像。另外，通過利用經(jīng)衰減邊緣擴(kuò)展圖像的高頻分量而獲得的圖像作為掩碼圖像，能 夠抑制圖像在掩碼的邊界附近的變化的不連續(xù)性和不自然的外觀。圖15-圖17圖解說明在對上面說明的圖2的模糊校正圖像進(jìn)行圖6的圖像校正 后的結(jié)果。具體地說，圖15圖解說明通過在LPF 181衰減圖1的模糊圖像的高頻分量而獲 得的圖像。圖16圖解說明通過求出圖1的模糊圖像與經(jīng)衰減高頻分量而獲得的圖15的模 糊圖像之間的差異，得到的高頻模糊圖像。圖17圖解說明通過使用未示出的掩碼圖像，組 合圖2的模糊校正圖像和圖16的高頻模糊圖像而獲得的輸出圖像。比較圖2的模糊校正圖像和圖17的輸出圖像，可以發(fā)現(xiàn)圖17的輸出圖像表現(xiàn)更 細(xì)致，尤其是在位于中央的被攝物體的圖案的變化方面，從而提高分辨率的感覺。按照如上所述的這種方式，能夠容易并且恰當(dāng)?shù)刂貥?gòu)圖像的其中歸因于模糊校 正、分辨率的感覺被降低的紋理分量，從而提高圖像的分辨率的感覺。特別地，當(dāng)在模糊校 正圖像中失去多數(shù)紋理分量時(shí)，即使通過使用非銳化掩碼等進(jìn)行后處理，也幾乎不能提高 分辨率的感覺。不過，即使在這種情況下，在本發(fā)明的實(shí)施例中，也能夠重構(gòu)紋理分量，從而 提高分辨率的感覺。2.改進(jìn)例這里，在本發(fā)明的實(shí)施例中，即使對于其中因通過使用除上述方法之外的方法進(jìn) 行模糊校正，從而降低分辨率的感覺的圖像來說，也能夠重構(gòu)紋理分量，從而提高分辨率的 感覺。
另外，在本發(fā)明的實(shí)施例中，即使當(dāng)不使用掩碼圖像時(shí)，或者即使當(dāng)在不衰減掩碼 圖像的高頻分量的情況下原樣使用二值掩碼圖像時(shí)，也能夠提高模糊校正圖像的分辨率的 感覺。不過如上所述，通過使用經(jīng)衰減高頻分量而獲得的掩碼圖像，能夠進(jìn)一步提高輸出圖 像的圖像質(zhì)量。此外，例如，模糊校正單元111和紋理重構(gòu)單元112可被提供給不同的設(shè)備。此外，本發(fā)明的實(shí)施例可應(yīng)用于拍攝并記錄圖像的照相機(jī)，記錄拍攝的圖像的記 錄設(shè)備，和再現(xiàn)拍攝的圖像的再現(xiàn)設(shè)備。同時(shí)，可用專用硬件或軟件執(zhí)行上面說明的一系列處理。當(dāng)用軟件執(zhí)行所述一系 列處理時(shí)，從程序存儲(chǔ)介質(zhì)把構(gòu)成該軟件的程序安裝在計(jì)算機(jī)，比如所謂的內(nèi)置型計(jì)算機(jī)， 或者通過安裝各種程序，能夠執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)中。圖18圖解說明借助程序執(zhí)行上述一系列處理的計(jì)算機(jī)的結(jié)構(gòu)例子。中央處理器(CPU) 301按照保存在只讀存儲(chǔ)器(ROM) 302或存儲(chǔ)單元308中的程序 執(zhí)行各種處理。在隨機(jī)存取存儲(chǔ)器(RAM) 303中，酌情保存將由CPU 301執(zhí)行的程序，以及 數(shù)據(jù)。CPU 301、ROM 302和RAM 303由總線304相互連接。輸入/輸出接口 305也通過總線304與CPU 301連接。由鍵盤、鼠標(biāo)和麥克風(fēng)等 形成的輸入單元306，和由顯示器、揚(yáng)聲器等形成的輸出單元307與輸入/輸出接口 305連 接。CPU 301響應(yīng)從輸入單元306輸入的指令，執(zhí)行各種處理。CPU 301隨后把處理結(jié)果輸 出給輸出單元307。與輸入/輸出接口 305連接的存儲(chǔ)單元308由保存將由CPU 301執(zhí)行的程序，以 及各種數(shù)據(jù)的硬盤實(shí)現(xiàn)。通信單元309通過諸如因特網(wǎng)或局域網(wǎng)之類的網(wǎng)絡(luò)與外部設(shè)備通另外，可通過通信單元309獲得程序，隨后將其保存在存儲(chǔ)單元308中。當(dāng)插入諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器之類的可拆卸介質(zhì)311時(shí)，與輸入 /輸出接口 305連接的驅(qū)動(dòng)器310驅(qū)動(dòng)可拆卸介質(zhì)311，從而獲得記錄在可拆卸介質(zhì)311上 的程序、數(shù)據(jù)等等。獲得的程序和數(shù)據(jù)被酌情傳送給存儲(chǔ)單元308并被保存。如圖18中所示，保存將安裝在計(jì)算機(jī)上，從而能夠被計(jì)算機(jī)執(zhí)行的程序的程序存 儲(chǔ)介質(zhì)的例子是可拆卸介質(zhì)311，臨時(shí)或永久保存程序的ROM 302，和構(gòu)成存儲(chǔ)單元308的 硬盤，可拆卸介質(zhì)311是由磁盤(包括軟盤)、光盤(包括光盤-只讀存儲(chǔ)器(⑶-ROM)和數(shù) 字通用光盤(DVD))、磁光盤(包括微型光盤(MD))或者半導(dǎo)體存儲(chǔ)器構(gòu)成的套裝介質(zhì)。酌 情借助通信單元309(它是諸如路由器或調(diào)制解調(diào)器之類的接口)，或者利用諸如局域網(wǎng)、 因特網(wǎng)或數(shù)字衛(wèi)星廣播之類的有線或無線通信介質(zhì)，把程序保存在程序存儲(chǔ)介質(zhì)中。這里，在說明書中，描述保存在程序存儲(chǔ)介質(zhì)中的程序的步驟不僅包括沿著所述 順序，按時(shí)序執(zhí)行的處理，而且包括不必按時(shí)序，而是同時(shí)或者單獨(dú)執(zhí)行的處理。本申請包含與在2009年10月21日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2009-242242中公開的主題相關(guān)的主題，該專利申請的整個(gè)內(nèi)容在此引為參考應(yīng)明白本發(fā)明的實(shí)施例并不局限于上面提及的實(shí)施例，可以產(chǎn)生各種變更，因?yàn)?所述各種變更在本發(fā)明的范圍之內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括紋理提取單元，用于提取出現(xiàn)模糊的模糊圖像的紋理分量；和組合單元，用于組合由紋理提取單元提取的模糊圖像的紋理分量和通過校正模糊圖像 的模糊而獲得的模糊校正圖像。
2.按照權(quán)利要求1所述的圖像處理設(shè)備，還包括掩碼產(chǎn)生單元，用于提取模糊校正圖 像的邊緣，沿模糊圖像的模糊的出現(xiàn)方向擴(kuò)展提取的模糊校正圖像的邊緣，并產(chǎn)生用于從 組合單元的組合范圍中除去包括在擴(kuò)展邊緣中的像素的二值掩碼圖像，其中組合單元利用 掩碼圖像來組合模糊圖像的紋理分量和模糊校正圖像。
3.按照權(quán)利要求2所述的圖像處理設(shè)備，其中掩碼產(chǎn)生單元還衰減掩碼圖像的高于預(yù)定閾值的頻率分量；和組合單元利用高頻分量被衰減的掩碼圖像，組合模糊圖像的紋理分量和模糊校正圖像。
4.一種使圖像處理設(shè)備執(zhí)行包括下述步驟的處理的圖像處理方法 提取出現(xiàn)模糊的模糊圖像的紋理分量；和組合提取的模糊圖像的紋理分量和通過校正模糊圖像的模糊而獲得的模糊校正圖像。
5.一種使計(jì)算機(jī)執(zhí)行包括下述步驟的處理的程序 提取出現(xiàn)模糊的模糊圖像的紋理分量；和組合提取的模糊圖像的紋理分量和通過校正模糊圖像的模糊而獲得的模糊校正圖像。
全文摘要
本發(fā)明公開了圖像處理設(shè)備，圖像處理方法和程序。所述圖像處理設(shè)備包括紋理提取單元，用于提取其中出現(xiàn)模糊的模糊圖像的紋理分量，和組合單元，用于組合由紋理提取單元提取的模糊圖像的紋理分量和通過校正模糊圖像的模糊而獲得的模糊校正圖像。
文檔編號G06T1/00GK102044066SQ20101028293
公開日2011年5月4日 申請日期2010年9月15日 優(yōu)先權(quán)日2009年10月21日
發(fā)明者市橋英之, 德永陽, 江山碧輝, 玉山研 申請人:索尼公司