專利名稱：進(jìn)行圖像處理的圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法以及記錄介質(zhì)。
背景技術(shù)：
在數(shù)字照相機(jī)或具有攝像功能的便攜電話等中，通過CMOS (Complementary MetalOxide Semiconductor)、CCD (Charge Coupled Device)型攝像兀件將從透鏡入射的光轉(zhuǎn)換成電信號(hào)，并將該電信號(hào)作為圖像數(shù)據(jù)進(jìn)行輸出。上述的攝像元件具有多個(gè)像素，該多個(gè)像素分別對(duì)入射光進(jìn)行光電轉(zhuǎn)換來(lái)蓄積電荷，并基于所蓄積的電荷的量來(lái)決定亮度。在這些的多個(gè)像素中，當(dāng)電荷蓄積到與入射光相應(yīng)的量以上時(shí)會(huì)產(chǎn)生白色缺陷(white defect)。 在專利文獻(xiàn)I中公開了下述方法，即在采用了 CCD的攝像元件中，預(yù)先確定產(chǎn)生白色缺陷的像素，在攝像之時(shí)基于與前后像素對(duì)應(yīng)的像素值(圖像信號(hào))來(lái)修正與該像素對(duì)應(yīng)的像素值(圖像信號(hào))。專利文獻(xiàn)1:日本特開2000-101925號(hào)公報(bào)然而，CMOS型的攝像元件相對(duì)于在產(chǎn)生了白色缺陷的像素的周圍的區(qū)域所配置的像素，可能會(huì)產(chǎn)生白色缺陷放大的光暈現(xiàn)象(blooming)。圖6A F是說明光暈現(xiàn)象的圖。在圖6A F中，I個(gè)正方形的塊表示I個(gè)像素。各像素的顏色表示電荷的量，越是接近白色的像素則意味著越是蓄積了電荷。首先，在圖6A中，在I個(gè)像素(該圖的中央的像素)中產(chǎn)生白色缺陷。在產(chǎn)生的當(dāng)初，蓄積至必要以上的電荷的量少，白色缺陷程度低。但是，若隨著溫度、濕度等環(huán)境變化或時(shí)效變化而蓄積至必要以上的電荷的量增加且達(dá)到容許值(圖6B)，則電荷泄漏到相鄰的像素中，相鄰的像素中的電荷也蓄積到必要以上(圖6C)。然后，由此連鎖產(chǎn)生電荷從電荷積蓄到必要以上的像素泄漏向相鄰的像素，從而白色缺陷會(huì)增加(圖6D F)。為了修正由光暈現(xiàn)象產(chǎn)生的白色缺陷，例如數(shù)字照相機(jī)等反復(fù)進(jìn)行連續(xù)2次的攝像動(dòng)作。即、數(shù)字照相機(jī)等在第I次攝像動(dòng)作中拍攝通常的被攝體，在第2次攝像動(dòng)作中以遮光的狀態(tài)進(jìn)行拍攝。數(shù)字照相機(jī)等在這樣的第2次攝像動(dòng)作的結(jié)果中，將蓄積了電荷的像素確定為產(chǎn)生了白色缺陷的像素。并且，數(shù)字照相機(jī)等在第I次攝像動(dòng)作拍攝到的圖像數(shù)據(jù)之中、修正由此確定出的像素的像素值(圖像信號(hào))。然而，專利文獻(xiàn)I公開的方法中，由于基于前后像素的像素值來(lái)修正產(chǎn)生了白色缺陷的像素的像素值，因而修正結(jié)果有可能會(huì)變得不自然。另外，為了提高確定產(chǎn)生了白色缺陷的像素的精度，若通過反復(fù)進(jìn)行兩次攝像動(dòng)作等而確定出在攝像時(shí)產(chǎn)生了白色缺陷的像素，則存在整個(gè)攝像過程會(huì)花費(fèi)時(shí)間的顧慮。因而，期望能高精度且有效地修正圖像數(shù)據(jù)的像素值(圖像信號(hào))的圖像處理裝置以及圖像處理方法
發(fā)明內(nèi)容
本發(fā)明的一個(gè)方式是進(jìn)行圖像處理的圖像處理裝置，其特征在于，具備攝像部，其具有構(gòu)成為包括多個(gè)像素的攝像元件，并作為圖像數(shù)據(jù)生成所述多個(gè)像素的各自的像素值；位置確定部，其在由所述攝像部生成的圖像數(shù)據(jù)之中確定所述多個(gè)像素中的缺陷像素的位置；區(qū)域確定部，其基于由所述位置確定部確定的位置，在所述圖像數(shù)據(jù)之中確定因所述缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和修正部，其針對(duì)在由所述區(qū)域確定部確定的所述圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素各自的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。另外，本發(fā)明的其他方式是具有構(gòu)成為包括多個(gè)像素的攝像元件的攝像處理裝置所執(zhí)行的圖像處理方法，所述圖像處理方法的特征在于包括攝像步驟，作為圖像數(shù)據(jù)生成所述多個(gè)像素的各自的像素值；位置確定步驟，在所述攝像步驟中生成的圖像數(shù)據(jù)之中確定所述多個(gè)像素中的缺陷像素的位置；區(qū)域確定步驟，基于在所述位置確定步驟中所確定的位置，在所述圖像數(shù)據(jù)之中確定因所述缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和修正步驟，針對(duì)在由所述區(qū)域確定步驟確定的所述圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素各自的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。另外，本發(fā)明的其他方式是計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄了使具有構(gòu)成為包括多個(gè)像素的攝像元件的圖像處理裝置的計(jì)算機(jī)執(zhí)行下述步驟的程序，其特征在于所述步驟包括攝像步驟，作為圖像數(shù)據(jù)生成所述多個(gè)像素的各自的像素值；位置確定步驟，在所述攝像步驟中生成的圖像數(shù)據(jù)之中確定所述多個(gè)像素中的缺陷像素的位置；區(qū)域確定步驟，基于在所述位置確定步驟中所確定的位置，在所述圖像數(shù)據(jù)之中確定因所述缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和修正步驟，針對(duì)在由所述區(qū)域確定步驟確定的所述圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素各自的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。


圖1是表示作為本發(fā)明涉及的攝像裝置的一實(shí)施方式的數(shù)字照相機(jī)的硬件構(gòu)成的框圖。圖2是表示圖1的數(shù)字照相機(jī)用于執(zhí)行攝像處理的功能性構(gòu)成的功能框圖。圖3是說明在圖像數(shù)據(jù)之中因缺陷像素而產(chǎn)生圖像噪聲的區(qū)域的修正的圖。圖4是表示圖2的數(shù)字照相機(jī)所執(zhí)行的攝像處理流程的一例的流程圖。圖5是表示圖2的數(shù)字照相機(jī)所執(zhí)行的攝像處理流程的其他例子的流程圖。圖6A-F是說明光暈現(xiàn)象(blooming)的圖。
具體實(shí)施例方式以下，參照附圖來(lái)說明本發(fā)明涉及的實(shí)施方式。圖1表示作為本發(fā)明涉及的圖像信號(hào)處理裝置的一實(shí)施方式的數(shù)字照相機(jī)I的硬件構(gòu)成圖。參照?qǐng)D1，數(shù)字照相機(jī) I 具備CPU (Central Processing Unit) 11、R0M(Read OnlyMemory) 12、RAM (Random Access Memory) 13、總線 14、光學(xué)系統(tǒng) 15、攝像部 16、圖像處理部17、存儲(chǔ)部18、顯示部19、操作部20、通信部21、傳感器部22以及驅(qū)動(dòng)器23。CPUll按照存儲(chǔ)于R0M12的程序、或者從存儲(chǔ)部18下載到RAM13中的程序來(lái)執(zhí)行各種處理。R0M12除了存儲(chǔ)CPUll用于執(zhí)行各種處理的程序之外，還適當(dāng)?shù)卮鎯?chǔ)CPUll執(zhí)行各種處理時(shí)所需的數(shù)據(jù)等。
例如，在本實(shí)施方式中，用于實(shí)現(xiàn)后述的圖2的圖像控制部51至修正部55的各功能的程序被存儲(chǔ)于R0M12、存儲(chǔ)部18。因此，CPUll通過執(zhí)行基于這些程序的處理，并與后述的圖像處理部17適當(dāng)協(xié)作，從而能夠?qū)崿F(xiàn)后述的圖2的圖像控制部51至修正部55的各功能。CPU1UR0M12以及RAM13經(jīng)由總線14相互連接。該總線14還連接著光學(xué)系統(tǒng)15、攝像部16、圖像處理部17、存儲(chǔ)部18、顯示部19、操作部20、通信部21、傳感器部22以及驅(qū)動(dòng)器23。光學(xué)系統(tǒng)15為了拍攝被攝體而構(gòu)成為包括聚光的透鏡例如聚焦透鏡、變焦透鏡等。聚焦透鏡是使被攝體像成像于攝像部16的攝像元件的受光面的透鏡。變焦透鏡是使焦點(diǎn)距離在一定的范圍內(nèi)自由變化的透鏡。光學(xué)系統(tǒng)15根據(jù)需要還可以設(shè)置用于調(diào)整焦點(diǎn)、曝光等的外圍裝置。攝像部16由多個(gè)攝像元件、AFE (Analog Front End)等構(gòu)成,生成包括由多個(gè)攝像元件獲得的像素在內(nèi)的圖像數(shù)據(jù)。攝像元件在本實(shí)施方式中由CMOS (Complementary MetalOxide Semiconductor)傳感器型的光電轉(zhuǎn)換元件構(gòu)成。攝像元件安裝了 Bayer排列等的濾色器。攝像元件每隔一定時(shí)間，對(duì)在該期間內(nèi)入射并蓄積的被攝體像的光信號(hào)進(jìn)行光電轉(zhuǎn)換(攝像)，并將其結(jié)果得到的模擬的電信號(hào)依次供給至AFE。AFE對(duì)該模擬的電信號(hào)實(shí)施A/D (Analog/Digital)變換處理等各種信號(hào)處理，將其結(jié)果得到的數(shù)字信號(hào)作為攝像部16的輸出信號(hào)進(jìn)行輸出。此外，以下將攝像部16的輸出信號(hào)稱作“圖像數(shù)據(jù)”。因此，從攝像部16輸出圖像數(shù)據(jù)，并適當(dāng)?shù)毓┙o至圖像處理部17等。在本實(shí)施方式中，從攝像部16輸出的圖像數(shù)據(jù)的單位是構(gòu)成攝像元件的各像素的像素值(圖像信號(hào))的集合體、即構(gòu)成I幅靜止圖像或運(yùn)動(dòng)圖像的幀等圖像數(shù)據(jù)。圖像處理部 17 由 DSP(Digital Signal Processor)、VRAM(Video Random AccessMemory)等構(gòu)成。圖像處理部17與CPUll協(xié)作，對(duì)從攝像部16輸入的圖像數(shù)據(jù)除了實(shí)施噪聲降低、白平衡等圖像處理之外，還實(shí)施發(fā)揮后述的圖像取得部52至修正部55的各功能所需的各種圖像處理。圖像處理部17使存儲(chǔ)部18或可移動(dòng)介質(zhì)31存儲(chǔ)被實(shí)施過各種圖像處理的圖像數(shù)據(jù)。存儲(chǔ)部18由DRAM (Dynamic Random Access Memory)等構(gòu)成，暫時(shí)存儲(chǔ)從圖像處理部17輸出的圖像數(shù)據(jù)。另外，存儲(chǔ)部18還存儲(chǔ)各種圖像處理所需的各種數(shù)據(jù)等。顯示部19構(gòu)成為例如由IXD (Liquid Crystal Device :液晶顯示裝置)、IXD驅(qū)動(dòng)部構(gòu)成的平板顯示器面板。顯示部19顯示通過由存儲(chǔ)部18等供給的圖像數(shù)據(jù)來(lái)進(jìn)行表現(xiàn)的圖像。操作部20除了快門開關(guān)41之外，雖然沒有圖示，但是還具有電源開關(guān)、攝像模式開關(guān)、再生開關(guān)等多個(gè)開關(guān)。若多個(gè)開關(guān)之中的規(guī)定開關(guān)被按壓操作，則操作部20將分配給該規(guī)定開關(guān)的指令供給至CPUlI。通信部21對(duì)經(jīng)由包括因特網(wǎng)在內(nèi)的網(wǎng)絡(luò)而與未圖示的其他裝置之間的通信進(jìn)行控制。傳感器部22測(cè)量攝像部16的攝像元件的周圍溫度，并將測(cè)量結(jié)果供給至CPU11。·驅(qū)動(dòng)器23適當(dāng)?shù)匕惭b了由磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器等構(gòu)成的可移動(dòng)介質(zhì)31。并且，從可移動(dòng)介質(zhì)31讀出的程序根據(jù)需要被安裝于存儲(chǔ)部18。另外，可移動(dòng)介質(zhì)31能夠與存儲(chǔ)部18地存儲(chǔ)在存儲(chǔ)部18中存儲(chǔ)的圖像數(shù)據(jù)等各種數(shù)據(jù)。圖2是表示圖1的數(shù)字照相機(jī)I所執(zhí)行的處理之中的、用于執(zhí)行拍攝被攝體并將其得到的攝像圖像的圖像數(shù)據(jù)記錄至可移動(dòng)介質(zhì)31之前的一連串的處理(以下稱作“攝像處理”)的功能性構(gòu)成的功能框圖。如圖2所示，在執(zhí)行了攝像處理的情況下，在CPUll中圖像控制部51發(fā)揮功能，在圖像處理部17中圖像取得部52、位置確定部53、區(qū)域確定部54以及修正部55發(fā)揮功能。此外，圖像控制部51的功能未必如本實(shí)施方式那樣搭載于CPU11，也可以使該功能搭載于圖像處理部17。相反地，圖像取得部52至修正部55的各功能也未必如本實(shí)施方式那樣搭載于圖像處理部17，也可以使這些功能之中的至少一部分搭載于CPU11。圖像控制部51控制攝像處理的執(zhí)行整體。在這里，攝像部16的攝像元件有時(shí)例如在制造時(shí)的階段由于損傷等會(huì)產(chǎn)生缺陷像素。并且，由于在與缺陷像素對(duì)應(yīng)的位置處電荷會(huì)蓄積到必要以上，所以在圖像數(shù)據(jù)中產(chǎn)生與缺陷像素對(duì)應(yīng)的位置會(huì)被顯示得較白的圖像噪聲(白色缺陷)。而且，在由CMOS型的光電轉(zhuǎn)換元件構(gòu)成的攝像元件中，由于溫度、濕度等環(huán)境變化或時(shí)效變化，可能產(chǎn)生相對(duì)于與缺陷像素相鄰的像素而言圖像噪聲放大的光暈現(xiàn)象(參照?qǐng)D6A F)。因而，在本實(shí)施方式涉及的數(shù)字照相機(jī)I中，圖像取得部52至修正部55在圖像控制部51的控制之下執(zhí)行如下處理。圖3是說明在圖像數(shù)據(jù)之中由缺陷像素產(chǎn)生圖像噪聲的區(qū)域的修正的圖。此外，在圖3中設(shè)多個(gè)像素被配置成格子狀。以下，參照?qǐng)D3來(lái)說明圖像取得部52至修正部55的處理。圖像取得部52接受從圖像控制部51發(fā)出的取得指令，取得在攝像部16中生成并被輸出的圖像數(shù)據(jù)，將取得的圖像數(shù)據(jù)存儲(chǔ)于VRAM。位置確定部53在由攝像部16生成并被存儲(chǔ)于VRAM的圖像數(shù)據(jù)之中，確定在攝像元件中所包含的I個(gè)以上的缺陷像素的位置。缺陷像素的位置作為缺陷像素位置列表而以列表形式存儲(chǔ)于存儲(chǔ)部18。S卩、在存儲(chǔ)部18中預(yù)先存儲(chǔ)了圖像數(shù)據(jù)中的缺陷像素的位置信息。例如，在圖3中，設(shè)由位置確定部53確定出缺陷像素的位置為位置E。區(qū)域確定部54基于由位置確定部53確定的位置,在圖像數(shù)據(jù)之中確定由缺陷像素產(chǎn)生圖像噪聲的區(qū)域。具體而言，區(qū)域確定部54經(jīng)由圖像控制部51取得在傳感器部22中測(cè)量到的攝像部16的攝像元件的周圍溫度和在攝像部16中進(jìn)行拍攝時(shí)的曝光時(shí)間。之后，區(qū)域確定部54將取得的攝像元件的周圍溫度和曝光時(shí)間作為攝像部16生成圖像數(shù)據(jù)時(shí)的狀態(tài)。之后，區(qū)域確定部54基于由位置確定部53確定的位置和由攝像部16生成圖像數(shù)據(jù)時(shí)的狀態(tài)，來(lái)確定產(chǎn)生圖像噪聲的區(qū)域的大小。例如，在圖3中，區(qū)域確定部54以缺陷像素的位置E作為中心，將位置A 位置I確定為產(chǎn)生圖像噪聲的區(qū)域。此外，也可將與攝像元件的周圍溫度、曝光時(shí)間對(duì)應(yīng)的區(qū)域的大小作為對(duì)應(yīng)表而預(yù)先存儲(chǔ)于存儲(chǔ)部18，區(qū)域確定部54基于該對(duì)應(yīng)表來(lái)確定與攝像元件的周圍溫度和曝光時(shí)間的組合對(duì)應(yīng)的區(qū)域的大小。另外，區(qū)域確定部54也可將產(chǎn)生圖像噪聲的區(qū)域的大小預(yù)先固定為一定大小。此外，以下將由區(qū)域確定部54確定的區(qū)域稱為修正對(duì)象區(qū)域。 修正部55基于位于修正對(duì)象區(qū)域的周圍的多個(gè)像素的像素值，來(lái)修正在修正對(duì)象區(qū)域中所包含的多個(gè)像素的像素值。具體而言，修正部55通過從由位置確定部53確定的位置之中選擇位于規(guī)定范圍的像素，來(lái)確定位于修正對(duì)象區(qū)域的周圍的多個(gè)像素。接下來(lái)，修正部55針對(duì)在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素，根據(jù)成為修正對(duì)象的各個(gè)像素的位置，從位于修正對(duì)象區(qū)域的周圍的多個(gè)像素之中選擇用于修正像素值的像素。在這里，優(yōu)選修正部55從位于修正對(duì)象區(qū)域的周圍的多個(gè)像素之中均等地選擇用于修正像素值的像素。另外，優(yōu)選修正部55從位于區(qū)域的周圍的多個(gè)像素之中選擇與修正對(duì)象的像素相同色系的像素。例如，在圖3中，在與位置A、位置Al 位置A8對(duì)應(yīng)的像素為紅色系的顏色的情況下，作為在位置A的像素修正中使用的像素而選擇與位置Al 位置A8對(duì)應(yīng)的像素。接下來(lái)，修正部55將在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素依次設(shè)定成作為處理對(duì)象應(yīng)該關(guān)注的像素(以下稱作“關(guān)注像素”)，基于從位于修正對(duì)象區(qū)域的周圍的多個(gè)像素之中選擇出的像素的像素值的加權(quán)平均，對(duì)關(guān)注像素的像素值進(jìn)行修正。在這里，優(yōu)選修正部55根據(jù)在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素的位置而使用于修正的多個(gè)像素的各個(gè)像素值的加權(quán)平均中的權(quán)重發(fā)生變化。例如，在圖3中，在作為位置A的像素被設(shè)定為關(guān)注像素時(shí)用于修正的像素而選擇了位置Al 位置AS的像素之時(shí)，修正部55按照相對(duì)于位置A的距離越近則越提高權(quán)重值的方式算出加權(quán)平均。具體而言，例如，修正部55按照下式(I)來(lái)修正位置A的關(guān)注像素的像素值。VA= (VAl X 6+VA2 X 12 + VA3 X 4+VA4 X 12 + VA5 X 6+VA6 X 4+VA7 X 6 + VA8 X 3) + (6+12+4+12+6+4+6+3)…(I)在式(I)中，VA表示位置A的關(guān)注像素的修正后的像素值，VAl VA8分別表示位置Al 位置AS的各個(gè)位置的像素值。另外，與像素值VAl VA8分別對(duì)應(yīng)的加權(quán)是基于相距關(guān)注像素的位置A在水平方向上的距離和垂直方向上的距離的相加值的倒數(shù)而設(shè)定的。若將式(I) 一般化，貝1J成為下式(2)。VPO = IVal+(Lt+Ll)+Va2 + Lt+Va3+(Lt+Lr)+VA4 + Ll+VA5 + Lr+Va6+(Lb+Ll)+VA7 + Lb+VA8+ (Lb+Lr)}+Lall (2)式⑵是以位于坐標(biāo)(x，y)的像素P為中心，求出在周圍N像素中產(chǎn)生了光暈現(xiàn)象時(shí)、即在修正對(duì)象區(qū)域?yàn)?2N+1) X (2N+1)的大小時(shí)的、位于坐標(biāo)(x+i，y+j)的關(guān)注像素PO的修正后的像素值VPO的式子。在式⑵中，Vn (n表示位置Al A8之中的其中一個(gè))表示位置n處的像素值。在這里，位置Al較之關(guān)注像素PO的位置，在垂直上方向間隔距離Lt，在水平左方向間隔距離LI。位置A2較之關(guān)注像素PO的位置，在垂直上方向間隔距離Lt。位置A3較之關(guān)注像素PO的位置，在垂直上方向間隔距離Lt，在水平右方向間隔距離Lr。
位置A4較之關(guān)注像素PO的位置，在水平左方向間隔距離LI。位置A5較之關(guān)注像素PO的位置，在水平右方向間隔距離Lr。位置A6較之關(guān)注像素PO的位置，在垂直下方向間隔距離Lb，在水平左方向間隔距離LI。位置A7較之關(guān)注像素PO的位置，在垂直下方向間隔距離Lb。 位置A8較之關(guān)注像素PO的位置，在垂直下方向間隔距離Lb，在水平右方向間隔距離Lr。在這里,在攝像元件為Bayer排列的情況下設(shè)a = 2,在不是Bayer排列的情況下例如設(shè) a = I,則距離 Lt = Nt+j+a,距離 Lb = N_j+a,距離 LI = N+i+a,距離 Lr = N_i+a。另外，式⑵中的Lall如下式(3)所示。La 11 = {I/(Lt+LI) +1/Lt +1 / (Lt+Lr) +1/L1 + 1/ Lr +1 / (Lb+Ll) +1/Lb + l/(Lb+Lr)}…(3)此外，加權(quán)平均中的加權(quán)并不特別限定于上述的例子，只要是基于相距關(guān)注像素的距離的加權(quán)即可。例如，在圖3的狀態(tài)時(shí)，將I塊的邊的長(zhǎng)度設(shè)為1，則關(guān)于相對(duì)于關(guān)注像素的位置A的距離而言，位置A2以及位置A4相對(duì)于關(guān)注像素的位置A的距離為2,位置Al相對(duì)于關(guān)注像素的位置A的距離為2. 8,位置A5以及A7相對(duì)于關(guān)注像素的位置A的距離為4,位置A3以及位置A6相對(duì)于關(guān)注像素的位置A的距離為4. 5，位置AS相對(duì)于關(guān)注像素的位置A的距離為5. 7。因此,修正部55針對(duì)相對(duì)于位置A的距離最近的位置A2以及位置A4而增大加權(quán)，針對(duì)相對(duì)于位置A的距離最遠(yuǎn)的位置AS而減小加權(quán)。另外，在上述的例子中，僅僅是修正對(duì)象區(qū)域的周圍的像素之中的、存在于位置Al 位置AS的一部分的像素采用為用于修正的像素。然而，這只是例示，能夠?qū)⑿拚龑?duì)象區(qū)域的周圍的像素之中的、任意個(gè)數(shù)的任意位置的像素作為用于修正的像素。當(dāng)然，也能將修正對(duì)象區(qū)域的周圍的全部像素作為用于修正的像素。另外，雖然修正部55基于多個(gè)像素值的加權(quán)平均來(lái)進(jìn)行修正對(duì)象區(qū)域的像素值的修正，但是并不限定于此，也可將成為用于修正的多個(gè)像素的中間值的像素值作為關(guān)注像素的像素值來(lái)進(jìn)行修正。這種情況下，修正部55進(jìn)行修正對(duì)象區(qū)域中所包含的多個(gè)像素的像素值的傅里葉變換，算出修正對(duì)象區(qū)域的空間頻率。之后，修正部55在算出的空間頻率低于規(guī)定值的情況下，將修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素值依次設(shè)定為關(guān)注像素，按照將用于修正的多個(gè)像素(在圖3的例子中是指位置Al AS的各像素)的像素值之中的中間值作為關(guān)注像素的像素值的方式進(jìn)行修正。在空間頻率較低的情況下，通過中值濾波器進(jìn)行修正，從而能夠進(jìn)行更適當(dāng)?shù)男拚Ｒ簿褪钦f，一般而言，在缺陷像素的周圍存在多個(gè)具有與該缺陷像素的正確的像素值接近的像素值的像素的情況下，通過中值濾波器采用中間值，從而能夠以圖像不模糊的狀態(tài)(保持圖像邊緣的狀態(tài))將缺陷像素的像素值修正成與正確的像素值接近的像素值。然而，若修正對(duì)象區(qū)域較寬則用于修正的周圍像素的范圍也寬，尤其在空間頻率高的情況下，具有與缺陷像素的正確的像素值接近的像素值的像素存在于周圍的概率變低，中值濾波器無(wú)法有效地發(fā)揮作用，所以限于空間頻率低的情況，使用中值濾波器是有效的。
另外，修正部55也可以經(jīng)由圖像控制部51取得在傳感器部22中測(cè)量到的攝像部16的攝像兀件的周圍溫度和在攝像部16中拍攝時(shí)的曝光時(shí)間，并基于所取到的攝像兀件的周圍溫度和曝光時(shí)間來(lái)控制是否進(jìn)行修正。以上，參照?qǐng)D2以及圖3，對(duì)適用本發(fā)明的數(shù)字照相機(jī)I的功能性構(gòu)成進(jìn)行了說明。其次，參照?qǐng)D4以及圖5，對(duì)具有這種功能性構(gòu)成的數(shù)字照相機(jī)I所執(zhí)行的攝像處理進(jìn)行說明。圖4是表示攝像處理流程的一例的流程圖。在本流程圖中，修正部55僅進(jìn)行基于加權(quán)平均的修正。另外，在本實(shí)施方式中，在數(shù)字照相機(jī)I的未圖示的電源處于接通狀態(tài)下，若滿足了規(guī)定條件，則開始攝像處理。在步驟SI中，圖2的圖像取得部52執(zhí)行圖像數(shù)據(jù)取得處理。S卩、圖像取得部52在圖像控制部51的控制之下，取得從攝像部16輸出的圖像數(shù)據(jù)并存儲(chǔ)于VRAM。在步驟S2中，圖2的位置確定部53執(zhí)行缺陷像素對(duì)應(yīng)位置確定處理。S卩、位置確定部53在圖像控制部51的控制之下，針對(duì)在步驟SI中存儲(chǔ)于VRAM的圖像數(shù)據(jù)，基于存儲(chǔ)于存儲(chǔ)部18的缺陷像素位置列表來(lái)確定缺陷像素的位置。在這里，圖2的位置確定部53按照從上往下的順序依次一個(gè)一個(gè)地讀入缺陷像素位置列表，并將新讀入的位置確定為缺陷像素的位置。在步驟S3中，圖2的區(qū)域確定部54執(zhí)行修正對(duì)象區(qū)域確定處理。S卩、區(qū)域確定部54基于在步驟S2中確定的位置，在圖像數(shù)據(jù)之中確定由缺陷像素產(chǎn)生圖像噪聲的區(qū)域。在步驟S4中，圖2的修正部55判定在修正對(duì)象區(qū)域之中是否存在通過后述的像素值取得處理而沒有取得的像素值。修正部55在存在通過像素值取得處理而沒有取得的像素值的情況下，將處理轉(zhuǎn)移至步驟S5。另外，修正部55在不存在通過像素值取得處理而沒有取得的像素值的情況下、即取得了在修正對(duì)象區(qū)域中所包含的所有像素的像素值的情況下，將處理轉(zhuǎn)移至步驟S7。在步驟S5中，修正部55執(zhí)行像素值取得處理。S卩、修正部55從在步驟S3中確定的修正對(duì)象區(qū)域之中取得仍未取得的一個(gè)像素值，將其作為關(guān)注像素的像素值。
在步驟S6中，修正部55執(zhí)行像素值修正處理。S卩、修正部55根據(jù)在步驟S2中確定的位置來(lái)選擇位于規(guī)定范圍的像素，從而確定位于在步驟S3中確定的修正對(duì)象區(qū)域的周圍的多個(gè)像素。之后，修正部55從位于修正對(duì)象區(qū)域的周圍的多個(gè)像素之中選擇用于修正在步驟S5中取得的像素值的像素。之后，修正部55針對(duì)在步驟S5中取得到的關(guān)注像素的像素值，基于所選擇的像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。若該處理結(jié)束，則處理返回到步驟S4。在步驟S7中，圖像控制部51執(zhí)行各種圖像處理。S卩、圖像控制部51控制圖像處理部17，對(duì)所有缺陷像素的位置涉及的修正對(duì)象區(qū)域中所包含的像素值被修正后的圖像數(shù)據(jù)執(zhí)行各種圖像處理。 在步驟S8中，圖像控制部51執(zhí)行圖像數(shù)據(jù)存儲(chǔ)處理。S卩、圖像控制部51在步驟S8中使可移動(dòng)介質(zhì)31存儲(chǔ)執(zhí)行過各種圖像處理的圖像數(shù)據(jù)。若該處理結(jié)束，則攝像處理整體結(jié)束。圖5是表示攝像處理流程的其他例子的流程圖。在本流程圖中，修正部55僅進(jìn)行基于加權(quán)平均以及中值濾波器的修正。另外，在本實(shí)施方式中，在數(shù)字照相機(jī)I的未圖示的電源處于接通狀態(tài)下，若滿足了規(guī)定條件，則開始攝像處理。步驟Sll至步驟S15的處理與圖4所示的流程圖的步驟SI至步驟S5的處理是同一處理，所以省略其說明。在步驟S16中，修正部55執(zhí)行空間頻率算出處理。S卩、修正部55進(jìn)行在修正對(duì)象區(qū)域中所包含的多個(gè)像素的像素值的傅里葉變換，算出修正對(duì)象區(qū)域的空間頻率。在步驟S17中，修正部55判定在步驟S16中算出的空間頻率是否高于規(guī)定值。修正部55在該判定為“否”的情況下，將處理轉(zhuǎn)移至步驟S19，在該判定為“是”的情況下，將處理轉(zhuǎn)移至步驟S18。在步驟S18中，修正部55執(zhí)行加權(quán)平均像素值修正處理。因?yàn)樵撎幚砼c圖4所示的流程圖的步驟S6的處理是同一處理，所以省略其說明。若該處理結(jié)束，則處理返回到步驟 S14。在步驟S19中，修正部55執(zhí)行中值濾波器像素值修正處理。S卩、修正部55針對(duì)在步驟S15中取得到的關(guān)注像素的像素值，按照使用于修正的多個(gè)像素的像素值之中的中間值成為修正后的值的方式進(jìn)行修正。若該處理結(jié)束，則處理返回到步驟S14。步驟S20以及步驟S21的處理與圖4所示的流程圖的步驟S7以及步驟S8的處理是同一處理，所以省略其說明。根據(jù)以上的這種本實(shí)施方式的數(shù)字照相機(jī)1，通過位置確定部53在由攝像部16生成的圖像數(shù)據(jù)之中確定多個(gè)像素中的缺陷像素的位置，通過區(qū)域確定部54基于由位置確定部53確定的位置而在圖像數(shù)據(jù)之中確定由缺陷像素產(chǎn)生圖像噪聲的區(qū)域，通過修正部55針對(duì)由區(qū)域確定部54確定的圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素的像素值而基于位于該區(qū)域的周圍的多個(gè)像素的像素值來(lái)進(jìn)行修正。由此，即便在相對(duì)于缺陷像素的周圍的攝像元件而產(chǎn)生了光暈現(xiàn)象的情況下，也能夠修正這些產(chǎn)生了光暈現(xiàn)象的區(qū)域涉及的像素值。由此，數(shù)字照相機(jī)I能夠高精度且有效地修正圖像信號(hào)。此時(shí)，修正部55針對(duì)在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素值，基于位于修正對(duì)象區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。由此，例如能夠針對(duì)與修正對(duì)象的像素接近的像素而將影響程度設(shè)定得較大，并且針對(duì)與修正對(duì)象的像素遠(yuǎn)離的像素而將影響程度設(shè)定得較小。此時(shí)，修正部55根據(jù)在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)位置，來(lái)改變用于修正的多個(gè)像素的像素值各自的加權(quán)平均中的權(quán)重。由此，能夠根據(jù)在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素的位置而適當(dāng)?shù)刈兏糜谛拚南袼刂档臋?quán)重。此時(shí)，修正部55將距離由位置確定部53確定的位置而位于規(guī)定范圍的像素作為位于修正對(duì)象區(qū)域的周圍的多個(gè)像素。由此，能夠以由位置確定部53確定的位置、即缺陷 像素的位置作為中心，來(lái)設(shè)定修正對(duì)象區(qū)域的周圍的區(qū)域。此時(shí)，修正部55針對(duì)在修正對(duì)象區(qū)域中所包含的多個(gè)像素的各個(gè)像素，根據(jù)成為修正對(duì)象的像素各自的位置，從該修正對(duì)象區(qū)域的周圍的多個(gè)像素之中選擇用于修正像素值的像素。由此，能夠選擇同系顏色的像素作為用于修正的像素。此時(shí)，區(qū)域確定部54基于由位置確定部53確定的位置和由攝像部16生成圖像數(shù)據(jù)時(shí)的狀態(tài)，來(lái)確定修正對(duì)象區(qū)域的大小。具體而言，區(qū)域確定部54將攝像元件的周圍溫度和曝光時(shí)間作為生成圖像數(shù)據(jù)時(shí)的狀態(tài)，基于由位置確定部53確定的位置和生成該圖像數(shù)據(jù)時(shí)的狀態(tài)來(lái)確定修正對(duì)象區(qū)域的大小。由此，能夠基于攝像元件的周圍的溫度、曝光時(shí)間這種的生成圖像數(shù)據(jù)時(shí)的狀態(tài)而推測(cè)出引起光暈現(xiàn)象的區(qū)域，并能夠確定修正對(duì)象區(qū)域的大小。此時(shí)，攝像元件是修正對(duì)象區(qū)域根據(jù)該攝像元件的周圍溫度和曝光時(shí)間而變化的CMOS傳感器。由此，在將引起光暈現(xiàn)象的CMOS傳感器用作攝像元件的情況下，也能夠進(jìn)行適當(dāng)修正。此時(shí)，修正部55根據(jù)攝像元件的周圍溫度和曝光時(shí)間來(lái)控制是否進(jìn)行修正。由此，能夠基于攝像元件的周圍溫度和曝光時(shí)間來(lái)判定是否引起光暈現(xiàn)象，并進(jìn)行修正。此時(shí)，區(qū)域確定部54將攝像元件的周圍溫度和曝光時(shí)間作為生成圖像數(shù)據(jù)時(shí)的狀態(tài)，并基于由位置確定部53確定的位置和生成該圖像數(shù)據(jù)時(shí)的狀態(tài)來(lái)確定修正對(duì)象區(qū)域。此外，本發(fā)明并不限于上述的實(shí)施方式，在能達(dá)成本發(fā)明目的的范圍內(nèi)的變形、改良等也包含在本發(fā)明中。另外，在上述的實(shí)施方式中，雖然適用本發(fā)明的圖像處理裝置以數(shù)字照相機(jī)I為例進(jìn)行了說明，但是并不特別限定于此。本發(fā)明能夠適用于具有CMOS型攝像元件的一般電子設(shè)備，例如可廣泛適用于便攜型個(gè)人計(jì)算機(jī)、便攜型導(dǎo)航裝置、便攜式游戲機(jī)等。上述的一連串的處理既能通過硬件來(lái)執(zhí)行，也能通過軟件來(lái)執(zhí)行。在通過軟件來(lái)執(zhí)行一連串的處理的情況下，從網(wǎng)絡(luò)、記錄介質(zhì)向圖像處理裝置或控制該圖像處理裝置的計(jì)算機(jī)等安裝構(gòu)成該軟件的程序。在這里，計(jì)算機(jī)也可以是組合到專用硬件中的計(jì)算機(jī)。又或者，計(jì)算機(jī)也可以是能夠通過安裝各種程序來(lái)執(zhí)行各種功能的計(jì)算機(jī)例如通用個(gè)人計(jì)算機(jī)。
包括這種程序的記錄介質(zhì)不僅由為了向用戶提供程序而與裝置主體單獨(dú)地分布的可移動(dòng)介質(zhì)31構(gòu)成，還由以預(yù)先組合到裝置主體中的狀態(tài)向用戶提供的記錄介質(zhì)等構(gòu)成?？梢苿?dòng)介質(zhì)31例如由磁盤(包括簡(jiǎn)易式盒式磁盤)、光盤、磁光盤等構(gòu)成。另外，以預(yù)先組合到裝置主體中的狀態(tài)向用戶提供的記錄介質(zhì)例如由記錄了程序的R0M12、存儲(chǔ)部18所包含的硬盤等構(gòu)成。此外，在本說明書中，描述在記錄介質(zhì)中記錄的程序的步驟是沿著其順序在時(shí)間序列上進(jìn)行的處理，當(dāng)然也未必在時(shí)間序列上進(jìn)行處理，也包括被并行或單獨(dú)地執(zhí)行的處 理。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備 攝像部，其具有構(gòu)成為包括多個(gè)像素的攝像元件，并作為圖像數(shù)據(jù)生成所述多個(gè)像素的各自的像素值； 位置確定部，其在由所述攝像部生成的圖像數(shù)據(jù)之中確定所述多個(gè)像素中的缺陷像素的位置； 區(qū)域確定部，其基于由所述位置確定部確定的位置，在所述圖像數(shù)據(jù)之中確定因所述缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和 修正部，其針對(duì)在由所述區(qū)域確定部確定的所述圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素各自的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述修正部根據(jù)在由所述區(qū)域確定部確定的所述區(qū)域中所包含的多個(gè)像素各自的位置，來(lái)改變被用于修正的多個(gè)像素的像素值各自的加權(quán)平均中的權(quán)重。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述修正部將距離由所述位置確定部所確定的位置而位于規(guī)定范圍的像素作為位于所述周圍的多個(gè)像素。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述修正部針對(duì)在由所述區(qū)域確定部確定的所述區(qū)域中所包含的多個(gè)像素的各個(gè)像素，根據(jù)成為修正對(duì)象的像素各自的位置，從該區(qū)域的周圍的多個(gè)像素之中選擇用于修正像素值的像素。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述區(qū)域確定部基于由所述位置確定部確定的位置、和由所述攝像部生成圖像數(shù)據(jù)時(shí)的狀態(tài)，來(lái)確定所述區(qū)域的大小。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述修正部根據(jù)所述攝像元件的周圍溫度和曝光時(shí)間來(lái)控制是否進(jìn)行修正。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述攝像元件是所述區(qū)域根據(jù)該攝像元件的周圍溫度和曝光時(shí)間而變化的CMOS傳感器。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 所述區(qū)域確定部將所述攝像元件的周圍溫度和曝光時(shí)間作為生成所述圖像數(shù)據(jù)時(shí)的狀態(tài)，并基于由所述位置確定部確定的位置和生成該圖像數(shù)據(jù)時(shí)的狀態(tài)來(lái)確定所述區(qū)域。
9.一種圖像處理方法，是具有構(gòu)成為包括多個(gè)像素的攝像元件的攝像處理裝置所執(zhí)行的圖像處理方法，所述圖像處理方法的特征在于包括 攝像步驟，作為圖像數(shù)據(jù)生成所述多個(gè)像素的各自的像素值； 位置確定步驟，在所述攝像步驟中生成的圖像數(shù)據(jù)之中確定所述多個(gè)像素中的缺陷像素的位置； 區(qū)域確定步驟，基于在所述位置確定步驟中所確定的位置，在所述圖像數(shù)據(jù)之中確定因所述缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和 修正步驟，針對(duì)在由所述區(qū)域確定步驟確定的所述圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素各自的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。
10.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄了使具有構(gòu)成為包括多個(gè)像素的攝像元件的圖像處理裝置的計(jì)算機(jī)執(zhí)行下述步驟的程序，其特征在于所述步驟包括 攝像步驟，作為圖像數(shù)據(jù)生成所述多個(gè)像素的各自的像素值； 位置確定步驟，在所述攝像步驟中生成的圖像數(shù)據(jù)之中確定所述多個(gè)像素中的缺陷像素的位置； 區(qū)域確定步驟，基于在所述位置確定步驟中所確定的位置，在所述圖像數(shù)據(jù)之中確定因所述缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和 修正步驟，針對(duì)在由所述區(qū)域確定步驟確定的所述圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素各自的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值的加權(quán)平均來(lái)進(jìn)行修正。
全文摘要
本發(fā)明提供一種進(jìn)行圖像處理的圖像處理裝置。數(shù)字照相機(jī)(1)具備攝像部(16)，其具有構(gòu)成為包括多個(gè)像素的攝像元件，并將多個(gè)像素的各個(gè)像素值作為圖像數(shù)據(jù)來(lái)生成；位置確定部(53)，其在由攝像部(16)生成的圖像數(shù)據(jù)之中確定多個(gè)像素中的缺陷像素的位置；區(qū)域確定部(54)，其基于由位置確定部(53)確定的位置，在圖像數(shù)據(jù)之中確定因缺陷像素而產(chǎn)生圖像噪聲的區(qū)域；和修正部(55)，其針對(duì)由區(qū)域確定部(54)確定的圖像數(shù)據(jù)的區(qū)域中所包含的多個(gè)像素的像素值，基于位于該區(qū)域的周圍的多個(gè)像素的像素值來(lái)進(jìn)行修正。
文檔編號(hào)H04N5/367GK103024302SQ20121034735
公開日2013年4月3日 申請(qǐng)日期2012年9月18日 優(yōu)先權(quán)日2011年9月20日
發(fā)明者鈴木宗士, 柏木基志 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社