欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

糢糊校正裝置以及糢糊校正方法

文檔序號:6359096閱讀:169來源:國知局
專利名稱:糢糊校正裝置以及糢糊校正方法
技術(shù)領(lǐng)域
本發(fā)明涉及對拍攝靜止圖像的相機(jī)的拍攝圖像中出現(xiàn)的模糊(blur)進(jìn)行校正的糢糊校正裝置以及糢糊校正方法。
背景技術(shù)
糢糊校正技術(shù)是一種檢測在靜止圖像的拍攝時(shí)出現(xiàn)的糢糊并根據(jù)該檢測量進(jìn)行校正從而減輕圖像中出現(xiàn)的糢糊的技術(shù)。作為檢測糢糊的方法有利用裝配于相機(jī)的運(yùn)動(dòng)檢測傳感器(例如陀螺儀等角速度傳感器或加速度傳感器等)的方法或者分析拍攝圖像來檢測的方法。并且,作為校正糢糊的方法有在拍攝時(shí)控制透鏡或攝像元件的位置來校正糢糊的光學(xué)式校正或傳感器移動(dòng) (sensor shift)式校正以及在拍攝后通過圖像處理來電子式校正糢糊的電子式校正。光學(xué)式校正或者傳感器移動(dòng)式校正,多通過利用角速度傳感器在拍攝時(shí)檢測糢糊的軌跡并控制透鏡或攝像元件的位置以消除檢測出的軌跡,從而減輕拍攝圖像中的糢糊的出現(xiàn)。也有提出這樣的方法,即分析拍攝圖像來推定糢糊的軌跡,并通過基于推定出的糢糊的軌跡的圖像處理來校正為無糢糊的圖像(例如,參照非專利文獻(xiàn)1)。該非專利文獻(xiàn) 1所公開的技術(shù)中,通過利用無糢糊的自然圖像具有的性質(zhì)或者平坦區(qū)域應(yīng)滿足的性質(zhì)這樣的統(tǒng)計(jì)性信息,來反復(fù)執(zhí)行與糢糊的軌跡有關(guān)的推定以及校正為無糢糊的圖像的校正處理,從而漸漸地使糢糊的軌跡以及校正后的圖像這雙方接近所期待的結(jié)果。參照圖11,說明拍攝圖像中出現(xiàn)糢糊的原理以及通過圖像處理在拍攝后校正糢糊的方法的原理。拍攝圖像中出現(xiàn)糢糊的原因是在不產(chǎn)生糢糊時(shí)應(yīng)以1個(gè)像素來被拍攝的光線,也分布到周邊像素而被拍攝而引起。在此,以i(X,y)表示在未出現(xiàn)糢糊時(shí)被拍攝的清晰的圖像(以下,稱為“清晰圖像”)。并且,以j(x,y)表示出現(xiàn)了糢糊的拍攝圖像。并且,以p(x,y)表示在未出現(xiàn)模糊時(shí)應(yīng)以1個(gè)像素來被拍攝的光線因?yàn)榧U糊也擴(kuò)散到周邊像素而被拍攝時(shí)的點(diǎn)像(point image)的分布函數(shù)(點(diǎn)擴(kuò)散函數(shù)PSF(PointSpread Function))。此時(shí),這樣的i(x,y)、 j(x,y)以及P(x,y)之間成立以下的公式(1)的關(guān)系。[算式1]在此,[算式2]0 表示卷積運(yùn)算,(x,y)表示像素位置。而且,如果以I (m,n)、J(m,η)以及P(m,n) 來表示分別對i (X,y)、j (χ, y)以及ρ (χ, y)進(jìn)行傅立葉變換而得到的頻率成分的值,則這些之間成立以下的公式O)的關(guān)系。頁[算式3]J(u, ν) = I (u, ν) XP(u, ν)(2)在此,(u,ν)表示頻率成分的階數(shù)。這樣,在頻域上,拍攝圖像以清晰圖像與PSF 之乘積來表示。相反,如果能夠分析拍攝圖像來推定出PSF,則能夠通過在頻域上使拍攝圖像除以PSF來算出推定清晰圖像的結(jié)果(以下稱為“校正圖像”)。并且,專利文獻(xiàn)1公開了利用角速度傳感器來取得糢糊信息并進(jìn)行校正處理的方法。通過該方法,即使不從拍攝圖像來推定PSF也能夠取得PSF。而且,專利文獻(xiàn)2公開了這樣一種方法,即從由角速度傳感器取得的角速度數(shù)據(jù)算出PSF之后,從PSF生成一般的逆濾波器來對拍攝圖像適用校正處理。該方法中,因?yàn)榫邆鋵SF進(jìn)行平滑化處理的平滑化處理單元以及按照合焦?fàn)顟B(tài)控制平滑化處理單元的平滑化強(qiáng)度的控制單元,因此不僅能夠校正糢糊而且能夠校正與離焦(defocus)有關(guān)的畫質(zhì)退化。先行技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 (日本)特開平11-24122號公報(bào)專利文獻(xiàn)2 (日本)特開2006-279807號公報(bào)非專利文獻(xiàn)非專利文獻(xiàn) 1 :“High-quality Motion Deblurring from a single image,,,Qi Shan, Jiaya Jia and Aseem Agarwala, SIGGRAPH 2008發(fā)明概要發(fā)明要解決的問題作為上述的專利文獻(xiàn)1、2的課題可舉出原封不動(dòng)地利用從角速度傳感器得到的糢糊信息來進(jìn)行校正處理這一點(diǎn)。存在的問題是因?yàn)榻撬俣葌鞲衅鞯妮敵鲋邪ㄑb配誤差、標(biāo)度因數(shù)(scale factor)誤差、漂移、線性誤差、分辨能力的限制、溫度特性誤差等各種各樣的誤差,所以通過上述專利文獻(xiàn)1、2的方法不能得到正確的校正圖像。并且,非專利文獻(xiàn)1所公開的技術(shù)中,因?yàn)閺呐臄z圖像推定PSF,所以存在PSF的精確度變低的情況。

發(fā)明內(nèi)容
本發(fā)明用于解決上述課題,目的在于提供能夠?qū)ε臄z圖像中出現(xiàn)的模糊高精確度地進(jìn)行校正的糢糊校正裝置。用于解決問題的手段為了達(dá)到上述目的,本發(fā)明的一個(gè)方面所涉及的糢糊校正裝置,通過對由相機(jī)拍攝的拍攝圖像中出現(xiàn)的模糊進(jìn)行電子式校正,從而從所述拍攝圖像生成校正圖像,該糢糊校正裝置具備糢糊信息生成部,根據(jù)傳感數(shù)據(jù),生成用于校正所述拍攝圖像中出現(xiàn)的糢糊的糢糊信息,所述傳感數(shù)據(jù)示出拍攝圖像被拍攝時(shí)由運(yùn)動(dòng)檢測傳感器檢測出的相機(jī)的運(yùn)動(dòng);糢糊校正部,通過根據(jù)由所述糢糊信息生成部生成的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出部,算出由所述糢糊校正部生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊的校正程度;結(jié)束判定部,根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新部,在由所述結(jié)束判定部判定為不結(jié)束糢糊的校正的情況下,更新由所述糢糊信息生成部生成的糢糊信息,所述糢糊校正部,在糢糊信息被所述糢糊信息更新部更新了的情況下,通過根據(jù)被更新后的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,所述結(jié)束判定部,在判定為結(jié)束糢糊的校正的情況下,根據(jù)由所述評價(jià)值算出部算出的評價(jià)值,從由所述糢糊校正部生成的至少一個(gè)候選校正圖像中決定校正圖像。根據(jù)本構(gòu)成,通過更新基于由運(yùn)動(dòng)檢測傳感器檢測出的傳感數(shù)據(jù)的糢糊信息,從而能夠生成糢糊校正程度高的校正圖像。也就是說,能夠高精確度地校正在拍攝圖像中出現(xiàn)的糢糊。并且,優(yōu)選為,所述糢糊信息以至少由一個(gè)線段來構(gòu)成的線段群來表不。根據(jù)本構(gòu)成,能夠以少的信息量來表現(xiàn)糢糊信息,能夠容易地使其與由運(yùn)動(dòng)檢測傳感器檢測出的傳感數(shù)據(jù)對應(yīng)。并且,優(yōu)選為,所述糢糊信息更新部,通過使構(gòu)成表示所述糢糊信息的線段群的至少一個(gè)線段的至少一個(gè)端點(diǎn)的位置變化,從而更新所述糢糊信息。根據(jù)本構(gòu)成,通過使構(gòu)成線段群的線段的端點(diǎn)的位置變化,從而能夠容易地更新
糢糊信息。并且,優(yōu)選為,所述糢糊信息更新部,在以示出從所述傳感數(shù)據(jù)得到的拍攝方向的位置為中心的區(qū)域內(nèi),使所述端點(diǎn)的位置變化,所述區(qū)域的大小與所述運(yùn)動(dòng)檢測傳感器的檢測性能對應(yīng)。根據(jù)本構(gòu)成,能夠抑制不需要的范圍的糢糊信息的更新,從而能夠有效地更新糢
糊信息。并且,優(yōu)選為,所述糢糊信息生成部,通過將按照時(shí)刻順序以直線連接了多個(gè)位置而得到的線段群作為糢糊的軌跡來算出,并針對構(gòu)成所算出的線段群的各個(gè)點(diǎn),將與示出所述拍攝方向的位置的移動(dòng)速度成反比的值作為光量來算出,從而生成以所述線段群來表示的糢糊信息,所述多個(gè)位置是從所述傳感數(shù)據(jù)得到的且示出多個(gè)時(shí)刻的拍攝方向的多個(gè)位置。根據(jù)本構(gòu)成,能夠基于傳感數(shù)據(jù)生成精確度更高的糢糊信息。并且,優(yōu)選為,所述相機(jī)具備曝光控制單元,所述曝光控制單元在拍攝所述拍攝圖像時(shí)能夠進(jìn)行多次快門的開閉控制,所述糢糊信息生成部,進(jìn)一步,從所述線段群提取示出所述快門開放期間的位置的變化的部分,并生成以所提取的部分表示的糢糊信息。根據(jù)本構(gòu)成,能夠高精確度地對曝光編碼的拍攝圖像的糢糊進(jìn)行校正。并且,優(yōu)選為,所述結(jié)束判定部,根據(jù)由所述評價(jià)值算出部算出的評價(jià)值是否滿足所述預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正。根據(jù)本構(gòu)成,能夠在生成了糢糊校正程度高的候選校正圖像時(shí)結(jié)束糢糊校正,從而能夠有效地進(jìn)行糢糊的校正。并且,優(yōu)選為,所述評價(jià)值算出部,算出所述評價(jià)值,以使相鄰的像素間的像素值的差分值之和越大則糢糊校正程度越高。根據(jù)本構(gòu)成,能夠?qū)⑦吘夣r明的候選校正圖像決定為校正圖像,因此能夠高精確度地進(jìn)行糢糊的校正。并且,優(yōu)選為,所述評價(jià)值算出部,算出所述評價(jià)值,以使在拍攝圖像中像素值平坦的區(qū)域,即使在候選校正圖像中也是像素值越是維持平坦則糢糊校正程度就越高。根據(jù)本構(gòu)成,能夠?qū)⒄疋?ringing)被抑制的候選校正圖像決定為校正圖像,從而能夠高精確度地進(jìn)行糢糊的校正。并且,優(yōu)選為,所述運(yùn)動(dòng)檢測傳感器是角速度傳感器。根據(jù)本構(gòu)成,能夠簡便地進(jìn)行糢糊的運(yùn)動(dòng)檢測。并且,優(yōu)選為,所述糢糊信息示出點(diǎn)擴(kuò)散函數(shù)。根據(jù)本構(gòu)成,能夠容易地進(jìn)行糢糊的校正。并且,優(yōu)選為,所述糢糊校正部,通過將所述拍攝圖像和所述糢糊信息示出的點(diǎn)擴(kuò)散函數(shù)從空域變換到頻域,在變換后使拍攝圖像除以點(diǎn)擴(kuò)散函數(shù),并將除法運(yùn)算結(jié)果從頻域變換到空域,從而生成所述候選校正圖像。根據(jù)本構(gòu)成,能夠容易地進(jìn)行糢糊的校正。并且,本發(fā)明的一個(gè)方面所涉及的集成電路,通過對由相機(jī)拍攝的拍攝圖像中出現(xiàn)的模糊進(jìn)行電子式校正,從而從所述拍攝圖像生成校正圖像,該集成電路具備糢糊信息生成部,根據(jù)傳感數(shù)據(jù),生成用于校正所述拍攝圖像中出現(xiàn)的糢糊的糢糊信息,所述傳感數(shù)據(jù)示出拍攝圖像被拍攝時(shí)由運(yùn)動(dòng)檢測傳感器檢測出的相機(jī)的運(yùn)動(dòng);糢糊校正部,通過根據(jù)由所述糢糊信息生成部生成的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出部,算出由所述糢糊校正部生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊的校正程度;結(jié)束判定部,根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新部,在由所述結(jié)束判定部判定為不結(jié)束糢糊的校正的情況下,更新由所述糢糊信息生成部生成的糢糊信息,所述糢糊校正部,在糢糊信息被所述糢糊信息更新部更新了的情況下,通過根據(jù)被更新后的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,所述結(jié)束判定部,在判定為結(jié)束糢糊的校正的情況下,根據(jù)由所述評價(jià)值算出部算出的評價(jià)值,從由所述糢糊校正部生成的至少一個(gè)候選校正圖像中決定校正圖像。根據(jù)本構(gòu)成,能夠達(dá)到與上述糢糊校正裝置同樣的效果。并且,本發(fā)明的一個(gè)方面所涉及的糢糊校正方法,通過對由相機(jī)拍攝的拍攝圖像中出現(xiàn)的模糊進(jìn)行電子式校正,從而從所述拍攝圖像生成校正圖像,該糢糊校正方法包括 糢糊信息生成步驟,根據(jù)傳感數(shù)據(jù),生成用于校正所述拍攝圖像中出現(xiàn)的糢糊的糢糊信息, 所述傳感數(shù)據(jù)示出拍攝圖像被拍攝時(shí)由運(yùn)動(dòng)檢測傳感器檢測出的相機(jī)的運(yùn)動(dòng);糢糊校正步驟,通過根據(jù)在所述糢糊信息生成步驟中生成的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出步驟,算出在所述糢糊校正步驟中生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊的校正程度;結(jié)束判定步驟,根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新步驟,在所述結(jié)束判定步驟中判定為不結(jié)束糢糊的校正的情況下,更新在所述糢糊信息生成步驟中生成的糢糊信息,在所述糢糊校正步驟中,在糢糊信息在所述糢糊信息更新步驟中被更新了的情況下,通過根據(jù)被更新后的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,在所述結(jié)束判定步驟中,在判定為結(jié)束糢糊的校正的情況下,根據(jù)在所述評價(jià)值算出步驟中算出的評價(jià)值,從在所述糢糊校正步驟中生成的至少一個(gè)候選校正圖像中決定校正圖像。根據(jù)本構(gòu)成,能夠達(dá)到與上述糢糊校正裝置同樣的效果。并且,本發(fā)明能夠作為使計(jì)算機(jī)執(zhí)行糢糊校正方法中包括的各步驟的程序來實(shí)現(xiàn)。并且,不言而喻,這樣的程序能夠通過CD-ROM等記錄介質(zhì)或者互聯(lián)網(wǎng)等傳輸介質(zhì)來分發(fā)。發(fā)明效果從上述說明很清楚,根據(jù)本發(fā)明的一個(gè)方面所涉及的糢糊校正裝置,能夠通過更新基于由運(yùn)動(dòng)檢測傳感器檢測出的傳感器數(shù)據(jù)的糢糊信息來生成糢糊校正程度高的校正圖像。也就是說,能夠高精確度地校正拍攝圖像中出現(xiàn)的糢糊。


圖1是本發(fā)明的實(shí)施例1的糢糊校正裝置的硬件構(gòu)成圖。圖2是示出本發(fā)明的實(shí)施例1的糢糊校正裝置的功能構(gòu)成的框圖。圖3是示出本發(fā)明的實(shí)施例1的糢糊校正處理的流程的流程圖。圖4是用于說明本發(fā)明的實(shí)施例1的糢糊信息生成處理的圖。圖5是表示評價(jià)函數(shù)的第二項(xiàng)的函數(shù)的特性的說明圖。圖6是用于說明本發(fā)明的實(shí)施例1的糢糊信息更新處理的圖。圖7是用于說明本發(fā)明的實(shí)施例1的糢糊信息更新處理的變形例的圖。圖8是本發(fā)明的實(shí)施例2的糢糊校正裝置的硬件構(gòu)成圖。圖9是示出本發(fā)明的實(shí)施例2的糢糊校正裝置的功能構(gòu)成的框圖。圖10是用于說明本發(fā)明的實(shí)施例2的糢糊信息生成處理的圖。圖11是用于說明拍攝圖像中出現(xiàn)糢糊的原理以及在拍攝后通過圖像處理來校正糢糊的方法的原理的圖。
具體實(shí)施例方式以下,參照附圖來說明本發(fā)明的實(shí)施例。(實(shí)施例1)首先,利用圖1來說明本實(shí)施例的糢糊校正裝置的硬件構(gòu)成。圖1是本發(fā)明的實(shí)施例1的糢糊校正裝置的硬件構(gòu)成圖。如圖1所示,糢糊校正裝置100具備CPU(中央運(yùn)算處理裝置Central ProcessingUnit) 101、R0M(只讀存儲器Read Only Memory) 102、總線 103、RAM(隨機(jī)存取存儲器Random Access Memory) 104、 HDD(硬盤驅(qū)動(dòng)器Hard DiskDrive) 105 以及 I/F(接口)106。CPU101,經(jīng)由總線103,將R0M102中保存的程序加載到RAM104,并執(zhí)行加載的程序。RAM104以及HDD105作為暫時(shí)保存被拍攝的拍攝圖像的圖像記憶區(qū)域等來使用。 并且,RAM104以及HDD105也作為以CPU101執(zhí)行的各處理所需要的暫時(shí)記憶區(qū)域來使用。I/F106從相機(jī)107接受拍攝圖像以及傳感數(shù)據(jù)的輸入。相機(jī)107除了具備圖中未示出的透鏡、攝像元件以及定時(shí)器等之外,還具備運(yùn)動(dòng)檢測傳感器108。運(yùn)動(dòng)檢測傳感器108檢測相機(jī)107的運(yùn)動(dòng)。具體而言,運(yùn)動(dòng)檢測傳感器108,例如是陀螺儀等角速度傳感器或者加速度傳感器等。并且,相機(jī)107將對拍攝圖像進(jìn)行拍攝時(shí)由運(yùn)動(dòng)檢測傳感器108檢測出的、示出相機(jī)107的運(yùn)動(dòng)的傳感數(shù)據(jù)連同拍攝圖像輸出到糢糊校正裝置100。接著,利用圖2來說明本實(shí)施例的糢糊校正裝置的功能構(gòu)成。圖2是示出本發(fā)明的實(shí)施例1的糢糊校正裝置的功能構(gòu)成的框圖。具體而言,圖 2是示出通過在圖1示出的硬件構(gòu)成來發(fā)揮的、糢糊校正裝置的功能構(gòu)成的框圖。糢糊校正裝置100,通過對由相機(jī)107拍攝的拍攝圖像中出現(xiàn)的糢糊進(jìn)行電子式校正,從而從拍攝圖像生成校正圖像。如圖2所示,糢糊校正裝置100具備圖像記憶部201、傳感數(shù)據(jù)記憶部202、糢糊信息生成部203、糢糊校正部204、評價(jià)值算出部205、結(jié)束判定部206以及糢糊信息更新部 207。圖像記憶部201與RAM104或HDD105對應(yīng),用于記憶由相機(jī)107拍攝的拍攝圖像。傳感數(shù)據(jù)記憶部202與RAM104或HDD105對應(yīng),用于記憶示出相機(jī)107的運(yùn)動(dòng)的傳感數(shù)據(jù)。具體而言,傳感數(shù)據(jù)示出由圖像記憶部201記憶的拍攝圖像在被拍攝期間(曝光期間中)的拍攝方向的變化。更具體而言,例如,傳感數(shù)據(jù)是在曝光期間中按一定的時(shí)間間隔檢測出的角速度數(shù)據(jù)。糢糊信息生成部203是由CPUlOl以及RAM104等來實(shí)現(xiàn)的處理部。糢糊信息生成部203,根據(jù)傳感數(shù)據(jù),生成用于校正拍攝圖像中出現(xiàn)的糢糊的糢糊信息。具體而言,例如, 糢糊信息生成部203,根據(jù)傳感數(shù)據(jù),來生成示出糢糊的軌跡和該糢糊的軌跡上的光量的分布的糢糊信息。糢糊校正部204是由CPUlOl以及RAM104等來實(shí)現(xiàn)的處理部。糢糊校正部204, 根據(jù)被生成的糢糊信息,對拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像。也就是說,糢糊校正部204,利用糢糊信息,降低拍攝圖像中出現(xiàn)的糢糊。具體而言,糢糊校正部 204,利用糢糊信息對拍攝圖像即模糊圖像進(jìn)行電子式校正,以使糢糊圖像成為清晰圖像。并且,糢糊校正部204,在模糊信息被糢糊信息更新部207更新了的情況下,根據(jù)更新后的糢糊信息,對拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像。評價(jià)值算出部205是由CPUlOl以及RAM104等來實(shí)現(xiàn)的處理部。評價(jià)值算出部 205算出被生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊校正程度。在此,糢糊校正程度示出拍攝圖像中出現(xiàn)的糢糊的降低程度。換而言之,糢糊校正程度示出與無模糊的圖像有多近似。結(jié)束判定部206是由CPUlOl以及RAM104等來實(shí)現(xiàn)的處理部。結(jié)束判定部206根據(jù)預(yù)先規(guī)定的條件來判定是否結(jié)束糢糊的校正。具體而言,例如,結(jié)束判定部206,根據(jù)被算出的評價(jià)值是否滿足預(yù)先規(guī)定的條件,來判定是否結(jié)束糢糊的校正。并且,也可以是,例如, 結(jié)束判定部206,根據(jù)糢糊信息的更新次數(shù)是否在預(yù)先規(guī)定的次數(shù)以上,來判定是否結(jié)束糢糊的校正。而且,結(jié)束判定部206,在判定為結(jié)束糢糊的校正的情況下,根據(jù)被算出的評價(jià)值, 從被生成的至少一個(gè)候選校正圖像中決定校正圖像。具體而言,例如,結(jié)束判定部206將被算出的評價(jià)值最高的候選校正圖像決定為校正圖像。糢糊信息更新部207是由CPUlOl以及RAM104等來實(shí)現(xiàn)的處理部。糢糊信息更新部207,在由結(jié)束判定部206判定為不結(jié)束糢糊的校正的情況下,更新由糢糊信息生成部 203生成的糢糊信息。具體而言,例如,糢糊信息更新部207,通過變更由糢糊信息生成部 203生成的糢糊信息所示出的糢糊的軌跡,從而更新糢糊信息。接著,詳細(xì)地說明按上述說明來構(gòu)成的糢糊校正裝置100的各種工作。另外,在以下的說明中,說明傳感數(shù)據(jù)是角速度數(shù)據(jù)的情況。圖3是示出本發(fā)明的實(shí)施例1的糢糊校正處理的流程的流程圖。在以下的狀態(tài)下,執(zhí)行在圖3示出的糢糊校正處理。首先,由圖1的相機(jī)107拍攝的拍攝圖像被保存在圖像記憶部201。并且,由角速度傳感器檢測出的拍攝時(shí)的相機(jī)107的角速度數(shù)據(jù)也被保存在傳感數(shù)據(jù)記憶部202。在此,例如,檢測出的角速度數(shù)據(jù)表示按照一定的時(shí)間間隔T采樣的、與相機(jī)的拍攝方向有關(guān)的移動(dòng)矢量。在這樣的狀態(tài)下,首先,糢糊信息生成部203,讀出傳感數(shù)據(jù)記憶部202中記憶的角速度數(shù)據(jù),并從讀出的角速度數(shù)據(jù)生成糢糊信息(S201)。以下,利用圖4來說明步驟S201 的糢糊信息生成處理的詳細(xì)情況。圖4是用于說明本發(fā)明的實(shí)施例1的糢糊信息生成處理的圖。具體而言,圖4是將作為移動(dòng)矢量來被示出的角速度數(shù)據(jù)連續(xù)地接起來在二維空間上表示的圖。在圖4中,分別作為線段來表示按照每個(gè)時(shí)間間隔T的拍攝方向的變化。因此,能夠通過分別連接各線段的端點(diǎn),來表示曝光期間中的拍攝方向的變化。在此,表示為各線段的粗細(xì)與移動(dòng)速度成反比。也就是說,各線段表示為時(shí)間間隔T之中的移動(dòng)量大的情況下,線段的粗細(xì)細(xì),而在移動(dòng)量小的情況下,線段的粗細(xì)粗。這樣來表示的線段群表示糢糊的軌跡,該糢糊的軌跡示出未出現(xiàn)糢糊時(shí)應(yīng)在1 點(diǎn)(1個(gè)像素)受光的光,因?yàn)槌霈F(xiàn)糢糊而擴(kuò)散到多個(gè)像素受光時(shí)的、該多個(gè)像素的位置。并且,各線段的粗細(xì)表示由各線段上的位置的像素受光的光量。因此,示出在圖4示出的線段群的軌跡上的位置中的與線段的粗細(xì)成正比的值的分布信息相當(dāng)于示出糢糊的PSF。于是,糢糊信息生成部203將相當(dāng)于在圖4示出的線段群的信息作為糢糊信息來生成。具體而言,糢糊信息生成部203將線段群作為模糊的軌跡來算出,該線段群是將從傳感數(shù)據(jù)得到的多個(gè)位置按照時(shí)刻順序以直線來連接而得到的,該多個(gè)位置示出多個(gè)時(shí)刻的拍攝方向。而且,糢糊信息生成部203,針對構(gòu)成所算出的線段群的各個(gè)點(diǎn),將示出拍攝方向的位置的與移動(dòng)速度成反比的值作為光量來算出。并且,糢糊信息生成部203,將由這樣算出的糢糊的軌跡和該糢糊的軌跡上的光量的分布來表示的PSF作為糢糊信息來生成。但是,糢糊信息生成部203,在生成糢糊信息時(shí),需要將示出各點(diǎn)的光量的值進(jìn)行歸一化,以使構(gòu)成線段群的各點(diǎn)的值的合計(jì)為1。具體而言,將與第K個(gè)時(shí)間間隔T對應(yīng)的線段設(shè)定為linek,并將該線段的長度設(shè)定為Iength(Iinek),則示出該第k個(gè)線段上的點(diǎn)所具有的光量的值P可由以下的公式C3)來求出。在此,設(shè)定N表示線段的總數(shù)。[算式4]
權(quán)利要求
1.一種糢糊校正裝置,通過對由相機(jī)拍攝的拍攝圖像中出現(xiàn)的模糊進(jìn)行電子式校正, 從而從所述拍攝圖像生成校正圖像,該糢糊校正裝置具備糢糊信息生成部,根據(jù)傳感數(shù)據(jù),生成用于校正所述拍攝圖像中出現(xiàn)的糢糊的糢糊信息,所述傳感數(shù)據(jù)示出拍攝圖像被拍攝時(shí)由運(yùn)動(dòng)檢測傳感器檢測出的相機(jī)的運(yùn)動(dòng);糢糊校正部,通過根據(jù)由所述糢糊信息生成部生成的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出部,算出由所述糢糊校正部生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊的校正程度;結(jié)束判定部,根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新部,在由所述結(jié)束判定部判定為不結(jié)束糢糊的校正的情況下,更新由所述糢糊信息生成部生成的糢糊信息,所述糢糊校正部,在糢糊信息被所述糢糊信息更新部更新了的情況下,通過根據(jù)被更新后的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,所述結(jié)束判定部,在判定為結(jié)束糢糊的校正的情況下,根據(jù)由所述評價(jià)值算出部算出的評價(jià)值,從由所述糢糊校正部生成的至少一個(gè)候選校正圖像中決定校正圖像。
2.如權(quán)利要求1所述的糢糊校正裝置,所述糢糊信息以至少由一個(gè)線段來構(gòu)成的線段群來表示。
3.如權(quán)利要求2所述的模糊校正裝置,所述糢糊信息更新部,通過使構(gòu)成表示所述糢糊信息的線段群的至少一個(gè)線段的至少一個(gè)端點(diǎn)的位置變化,從而更新所述糢糊信息。
4.如權(quán)利要求3所述的模糊校正裝置,所述糢糊信息更新部,在以示出從所述傳感數(shù)據(jù)得到的拍攝方向的位置為中心的區(qū)域內(nèi),使所述端點(diǎn)的位置變化,所述區(qū)域的大小與所述運(yùn)動(dòng)檢測傳感器的檢測性能對應(yīng)。
5.如權(quán)利要求2所述的模糊校正裝置,所述糢糊信息生成部,通過將按照時(shí)刻順序以直線連接了多個(gè)位置而得到的線段群作為糢糊的軌跡來算出,并針對構(gòu)成所算出的線段群的各個(gè)點(diǎn),將與示出所述拍攝方向的位置的移動(dòng)速度成反比的值作為光量來算出,從而生成以所述線段群來表示的糢糊信息,所述多個(gè)位置是從所述傳感數(shù)據(jù)得到的且示出多個(gè)時(shí)刻的拍攝方向的多個(gè)位置。
6.如權(quán)利要求5所述的模糊校正裝置,所述相機(jī)具備曝光控制單元,所述曝光控制單元在拍攝所述拍攝圖像時(shí)能夠進(jìn)行多次快門的開閉控制,所述糢糊信息生成部,進(jìn)一步,從所述線段群提取示出所述快門開放期間的位置的變化的部分,并生成以所提取的部分表示的糢糊信息。
7.如權(quán)利要求1所述的模糊校正裝置,所述結(jié)束判定部,根據(jù)由所述評價(jià)值算出部算出的評價(jià)值是否滿足所述預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正。
8.如權(quán)利要求1所述的模糊校正裝置,所述評價(jià)值算出部,算出所述評價(jià)值,以使相鄰的像素間的像素值的差分值之和越大則糢糊校正程度越高。
9.如權(quán)利要求1所述的模糊校正裝置,所述評價(jià)值算出部,算出所述評價(jià)值,以使在拍攝圖像中像素值平坦的區(qū)域,即使在候選校正圖像中也是像素值越是維持平坦則糢糊校正程度就越高。
10.如權(quán)利要求1所述的模糊校正裝置, 所述運(yùn)動(dòng)檢測傳感器是角速度傳感器。
11.如權(quán)利要求1所述的模糊校正裝置, 所述糢糊信息示出點(diǎn)擴(kuò)散函數(shù)。
12.如權(quán)利要求11所述的模糊校正裝置,所述糢糊校正部,通過將所述拍攝圖像和所述糢糊信息示出的點(diǎn)擴(kuò)散函數(shù)從空域變換到頻域,在變換后使拍攝圖像除以點(diǎn)擴(kuò)散函數(shù),并將除法運(yùn)算結(jié)果從頻域變換到空域,從而生成所述候選校正圖像。
13.一種集成電路,通過對由相機(jī)拍攝的拍攝圖像中出現(xiàn)的模糊進(jìn)行電子式校正,從而從所述拍攝圖像生成校正圖像,該集成電路具備糢糊信息生成部,根據(jù)傳感數(shù)據(jù),生成用于校正所述拍攝圖像中出現(xiàn)的糢糊的糢糊信息,所述傳感數(shù)據(jù)示出拍攝圖像被拍攝時(shí)由運(yùn)動(dòng)檢測傳感器檢測出的相機(jī)的運(yùn)動(dòng);糢糊校正部,通過根據(jù)由所述糢糊信息生成部生成的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出部,算出由所述糢糊校正部生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊的校正程度;結(jié)束判定部,根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新部,在由所述結(jié)束判定部判定為不結(jié)束糢糊的校正的情況下,更新由所述糢糊信息生成部生成的糢糊信息,所述糢糊校正部,在糢糊信息被所述糢糊信息更新部更新了的情況下,通過根據(jù)被更新后的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,所述結(jié)束判定部,在判定為結(jié)束糢糊的校正的情況下,根據(jù)由所述評價(jià)值算出部算出的評價(jià)值,從由所述糢糊校正部生成的至少一個(gè)候選校正圖像中決定校正圖像。
14.一種糢糊校正方法,通過對由相機(jī)拍攝的拍攝圖像中出現(xiàn)的模糊進(jìn)行電子式校正, 從而從所述拍攝圖像生成校正圖像,該糢糊校正方法包括糢糊信息生成步驟,根據(jù)傳感數(shù)據(jù),生成用于校正所述拍攝圖像中出現(xiàn)的糢糊的糢糊信息,所述傳感數(shù)據(jù)示出拍攝圖像被拍攝時(shí)由運(yùn)動(dòng)檢測傳感器檢測出的相機(jī)的運(yùn)動(dòng);糢糊校正步驟,通過根據(jù)在所述糢糊信息生成步驟中生成的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出步驟,算出在所述糢糊校正步驟中生成的候選校正圖像的評價(jià)值,該評價(jià)值示出模糊的校正程度;結(jié)束判定步驟,根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新步驟,在所述結(jié)束判定步驟中判定為不結(jié)束糢糊的校正的情況下,更新在所述糢糊信息生成步驟中生成的糢糊信息,在所述糢糊校正步驟中,在糢糊信息在所述糢糊信息更新步驟中被更新了的情況下, 通過根據(jù)被更新后的糢糊信息來對所述拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,在所述結(jié)束判定步驟中,在判定為結(jié)束糢糊的校正的情況下,根據(jù)在所述評價(jià)值算出步驟中算出的評價(jià)值,從在所述糢糊校正步驟中生成的至少一個(gè)候選校正圖像中決定校正圖像。
15. 一種程序,該程序使計(jì)算機(jī)執(zhí)行如權(quán)利要求14所述的糢糊校正方法。
全文摘要
糢糊校正裝置(100)具備糢糊信息生成部(203),根據(jù)示出相機(jī)的運(yùn)動(dòng)的傳感數(shù)據(jù)來生成糢糊信息;糢糊校正部(204),通過根據(jù)糢糊信息來對拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而生成候選校正圖像;評價(jià)值算出部(205),算出示出候選校正圖像的模糊的校正程度的評價(jià)值;結(jié)束判定部(206),根據(jù)預(yù)先規(guī)定的條件,判定是否結(jié)束糢糊的校正;以及糢糊信息更新部(207),在判定為不結(jié)束糢糊的校正的情況下,更新糢糊信息,糢糊校正部(204),在糢糊信息被更新了的情況下,通過根據(jù)被更新后的糢糊信息來對拍攝圖像中出現(xiàn)的糢糊進(jìn)行校正,從而重新生成候選校正圖像,結(jié)束判定部(206),在判定為結(jié)束糢糊的校正的情況下,根據(jù)評價(jià)值,從候選校正圖像中決定校正圖像。
文檔編號G06T5/20GK102474572SQ20118000237
公開日2012年5月23日 申請日期2011年3月17日 優(yōu)先權(quán)日2010年4月13日
發(fā)明者八木康史, 向川康博, 物部祐亮, 石井育規(guī) 申請人:松下電器產(chǎn)業(yè)株式會社
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1
吉木萨尔县| 名山县| 东乌珠穆沁旗| 环江| 元江| 博客| 侯马市| 东至县| 商都县| 嘉义县| 石阡县| 泗洪县| 陇西县| 嵊泗县| 县级市| 临武县| 资中县| 惠州市| 青神县| 奉节县| 富顺县| 马鞍山市| 蒙阴县| 富阳市| 若尔盖县| 江口县| 仪征市| 靖州| 连江县| 雅安市| 夏河县| 称多县| 兰州市| 乐安县| 康乐县| 柳江县| 丽水市| 敦煌市| 邳州市| 鄯善县| 鹿泉市|