專(zhuān)利名稱(chēng)：具有合成圖像的功能的圖像處理裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用原圖像及其二值化圖像的各數(shù)據(jù)從原圖像中切取被攝體將其并合成在其他圖像上的技術(shù)。
背景技術(shù)：
在現(xiàn)有技術(shù)中，例如根據(jù)日本特開(kāi)平11-331693號(hào)公報(bào)、日本特開(kāi)2005-6191號(hào)公報(bào)可知將含有規(guī)定被攝體的圖像的數(shù)據(jù)作為原圖像的數(shù)據(jù)進(jìn)行使用，從原圖像中切取被攝體并將該被攝體合成在其他圖像上的技術(shù)。該技術(shù)也被稱(chēng)為“動(dòng)態(tài)成像(Dynamic Photo) (注冊(cè)商標(biāo))”。在動(dòng)態(tài)成像中，當(dāng)從原圖像中檢測(cè)出包括被攝體的區(qū)域作為關(guān)注區(qū)域時(shí)，生成按照以該關(guān)注區(qū)域作為白色、除此之外的區(qū)域作為黑色的方式被二值標(biāo)簽化的圖像的數(shù)據(jù)。以下，將這樣的數(shù)據(jù)，即由白色的像素值“0”或黑色的像素值“ 1，，構(gòu)成的數(shù)據(jù)稱(chēng)為 "α圖的數(shù)據(jù)”。另外，以下，將構(gòu)成α圖的各像素值適當(dāng)?shù)胤Q(chēng)為“α值”。在動(dòng)態(tài)成像中，基于該α圖的數(shù)據(jù)從原圖像中切取被判斷為是被攝體的區(qū)域(以下，將這樣的區(qū)域稱(chēng)為“切取區(qū)域”)，并將該切取區(qū)域合成在其他圖像上?？墒牵绻瓨邮褂迷摝翀D的數(shù)據(jù)，則有時(shí)會(huì)在切取區(qū)域的邊緣混入原圖像的背景，相反地有時(shí)會(huì)缺少被攝體的一部分。如果這樣的切取區(qū)域被合成在其他圖像上，則被攝體實(shí)際上會(huì)成為粘貼的不自然且沒(méi)有真實(shí)感的合成圖像。因此，作為以緩和這樣的不自然度為目的的現(xiàn)有方法，存在對(duì)α圖的數(shù)據(jù)施加平均化濾波器的方法。這里，所謂平均化濾波器是指高斯濾波器(Gaussian Filter^' ^ ν y yy λ ^9)及與其近似的單純的低通濾波器?？墒?，如果僅僅單獨(dú)地應(yīng)用這樣的現(xiàn)有方法，則會(huì)成為被攝體邊緣模糊的合成圖像。結(jié)果，這樣的合成圖像也是不自然且沒(méi)有真實(shí)感的圖像。另外，作為以緩和在原樣使用α圖的數(shù)據(jù)的情況下所得到的合成圖像的不自然度為目的的現(xiàn)有的其他方法，存在被稱(chēng)為“摳圖”(摳圖matting)的方法。即，作為在原樣使用α圖的數(shù)據(jù)的情況下所得到的合成圖像變得不自然且沒(méi)有真實(shí)感的理由，除了存在因檢測(cè)關(guān)注區(qū)域時(shí)的檢測(cè)誤差而導(dǎo)致邊界及被攝體(物體)的判定錯(cuò)誤的像素這一理由之外，也存在著在邊緣中包含混合像素的理由。這里，所謂混合像素是指背景和被攝體(物體)雙方的顏色混合在一起的像素。所謂摳圖是指，用于將這樣的邊緣中的混合像素的區(qū)域及其像素值分離成背景分量和物體分量(被攝體分量)的邊緣精細(xì)化的方法?？墒?，在應(yīng)用摳圖的情況下，卻存在著如下的第1問(wèn)題點(diǎn)和第2問(wèn)題點(diǎn)。第1問(wèn)題點(diǎn)是由于摳圖伴隨著復(fù)雜的處理，因此計(jì)算量、作業(yè)存儲(chǔ)器量及電路規(guī)模變大。第2問(wèn)題點(diǎn)是如果沒(méi)有給出正確的三分圖(trimap)，則不能得到美麗的圖像。所謂三分圖是指輔助性的三值數(shù)據(jù)，即通過(guò)對(duì)每個(gè)像素位置(像素的坐標(biāo))分配物體(被攝體)、背景、未定的中間區(qū)域這三值標(biāo)簽而得到的數(shù)據(jù)。這樣的三值標(biāo)簽化一般由人工作業(yè)進(jìn)行。雖然三值標(biāo)簽化的自動(dòng)處理也不是不可能，但此時(shí)給出正確的三分圖是非常困難的。因此，期望以簡(jiǎn)單的處理來(lái)實(shí)現(xiàn)使用原圖像和α圖的各數(shù)據(jù)從原圖像中切取被攝體并合成在其他圖像上的合成處理，作為該合成處理的結(jié)果，提供更自然且具有真實(shí)感的合成圖像。可是，可充分實(shí)現(xiàn)這樣的期望的方法處于一種不常見(jiàn)的狀況。

發(fā)明內(nèi)容
基于本發(fā)明的一方式，提供一種如下的圖像處理裝置，該圖像處理裝置具備加工單元，其對(duì)由原圖像的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)進(jìn)行加工，并將由該結(jié)果得到的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)作為加工圖像的數(shù)據(jù)來(lái)生成；和濾波單元，其將由所述加工單元作為數(shù)據(jù)來(lái)生成的所述加工圖像的各坐標(biāo)的每一個(gè)坐標(biāo)設(shè)為作為處理對(duì)象應(yīng)關(guān)注的關(guān)注坐標(biāo)，將包括所述關(guān)注坐標(biāo)在內(nèi)的多個(gè)坐標(biāo)的范圍設(shè)為濾波器窗口，通過(guò)對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波，來(lái)變換所述關(guān)注坐標(biāo)的像素值，所述濾波單元具備濾波器系數(shù)運(yùn)算單元，其使用與所述濾波器窗口內(nèi)的所述關(guān)注坐標(biāo)對(duì)應(yīng)的所述原圖像的坐標(biāo)的第1像素值、和與所述濾波器窗口內(nèi)的規(guī)定坐標(biāo)對(duì)應(yīng)的所述原圖像的坐標(biāo)的第2像素值，并按所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)，來(lái)執(zhí)行計(jì)算所述規(guī)定坐標(biāo)中的濾波器系數(shù)的處理；和加權(quán)平均濾波單元，其使用由所述濾波器系數(shù)運(yùn)算單元計(jì)算出的所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)的所述濾波器系數(shù)，對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波?；诒景l(fā)明的另一方式，提供一種如下的圖像處理方法，該圖像處理方法是對(duì)原圖像的數(shù)據(jù)實(shí)施圖像處理的圖像處理裝置的圖像處理方法，具備加工步驟，對(duì)由原圖像的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)進(jìn)行加工，并將由該結(jié)果得到的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)作為加工圖像的數(shù)據(jù)來(lái)生成；和濾波步驟，將通過(guò)所述加工步驟的處理作為數(shù)據(jù)來(lái)生成的所述加工圖像的各坐標(biāo)的每一個(gè)坐標(biāo)設(shè)為作為處理對(duì)象應(yīng)關(guān)注的關(guān)注坐標(biāo)，將包括所述關(guān)注坐標(biāo)在內(nèi)的多個(gè)坐標(biāo)的范圍設(shè)為濾波器窗口，通過(guò)對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波，來(lái)變換所述關(guān)注坐標(biāo)的像素值，所述濾波步驟具備濾波器系數(shù)運(yùn)算步驟，使用與所述濾波器窗口內(nèi)的所述關(guān)注坐標(biāo)對(duì)應(yīng)的所述原圖像的坐標(biāo)的像素值、和與所述濾波器窗口內(nèi)的規(guī)定坐標(biāo)對(duì)應(yīng)的所述原圖像的坐標(biāo)的像素值，按所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)，來(lái)執(zhí)行計(jì)算所述規(guī)定坐標(biāo)中的濾波器系數(shù)的處理； 和加權(quán)平均濾波步驟，使用通過(guò)所述濾波器系數(shù)運(yùn)算步驟的處理計(jì)算出的所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)的所述濾波器系數(shù)，對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波。


結(jié)合以下附圖考慮下面的詳細(xì)敘述，可得到對(duì)本申請(qǐng)的更深一層的理解。圖1是表示本發(fā)明的圖像處理裝置的一實(shí)施方式所涉及的數(shù)碼相機(jī)的硬件結(jié)構(gòu)的框圖。圖2是表示圖1的數(shù)碼相機(jī)的數(shù)據(jù)處理部的功能性結(jié)構(gòu)的框圖。圖3是表示圖2的數(shù)據(jù)處理部執(zhí)行的合成處理流程的一例的流程圖。圖4A 圖4D示出在執(zhí)行圖3的合成處理時(shí)用到的圖像的數(shù)據(jù)的一例。圖4A示出原圖像的數(shù)據(jù)的一例。圖4B示出相對(duì)于原圖像除去成為合成圖像的前景物體的被攝體之后的圖像，即原圖像的背景圖像的數(shù)據(jù)的一例。圖4C示出合成用背景圖像的數(shù)據(jù)的一例。 圖4D示出初始α圖的數(shù)據(jù)的一例。圖5是說(shuō)明在圖2的數(shù)據(jù)處理部的自適應(yīng)濾波部中采用的加權(quán)平均濾波器的概略的圖。圖6是說(shuō)明在圖2的數(shù)據(jù)處理部的自適應(yīng)濾波部中采用的加權(quán)平均濾波器的運(yùn)算方法的圖。圖7是具體說(shuō)明圖2的數(shù)據(jù)處理部的自適應(yīng)濾波部進(jìn)行的自適應(yīng)濾波處理，即圖 3的步驟S4的處理的圖。圖8Α 圖8C示出在原樣使用初始α圖的數(shù)據(jù)的情況下的、合成處理的執(zhí)行結(jié)果的一例。圖8Α示出由原圖像的數(shù)據(jù)生成的初始α圖的數(shù)據(jù)的一例。圖8Β示出使用初始 α圖的數(shù)據(jù)生成的合成用前景圖像的數(shù)據(jù)的一例。圖8C示出將圖8Β的合成用前景圖像的數(shù)據(jù)和圖4C的合成用背景圖像的數(shù)據(jù)合成之后的結(jié)果所得到的合成圖像的數(shù)據(jù)的一例。圖9Α 圖9C示出在使用對(duì)初始α圖的數(shù)據(jù)施加現(xiàn)有的平均化濾波器之后的結(jié)果所得到的α圖的數(shù)據(jù)的情況下的、合成處理的執(zhí)行結(jié)果的一例。圖9Α示出對(duì)圖8Α的初始α圖的數(shù)據(jù)施加現(xiàn)有的平均化濾波器之后的結(jié)果所得到的α圖的一例。圖9Β示出使用圖9Α的α圖的數(shù)據(jù)生成的合成用前景圖像的數(shù)據(jù)的一例。圖9C示出將圖9Β的合成用前景圖像的數(shù)據(jù)和圖4C的合成用背景圖像的數(shù)據(jù)合成之后的結(jié)果所得到的合成圖像的數(shù)據(jù)的一例。圖IOA 圖IOC示出在使用了執(zhí)行自適應(yīng)濾波處理之后的結(jié)果所得到的濾波后α 圖的情況下的、合成處理的執(zhí)行結(jié)果的一例。圖IOA示出對(duì)圖8Α的初始α圖的數(shù)據(jù)實(shí)施了自適應(yīng)濾波處理之后的結(jié)果所得到的濾波后α圖的一例。圖IOB示出利用圖IOA的濾波后α圖的數(shù)據(jù)生成的合成用前景圖像的數(shù)據(jù)的一例。圖IOC示出將圖IOB的合成用前景圖像的數(shù)據(jù)和圖4C的合成用背景圖像的數(shù)據(jù)合成之后的結(jié)果所得到的合成圖像的數(shù)據(jù)的一例。圖IlA 圖IlC是表示在使用了執(zhí)行自適應(yīng)濾波處理之后的結(jié)果所得到的濾波后 α圖的情況下的、合成處理的執(zhí)行結(jié)果的一例，即與圖IOA 圖IOC的例子不同的例子的圖。圖IlA示出對(duì)圖8Α的初始α圖的數(shù)據(jù)實(shí)施了自適應(yīng)濾波處理之后的結(jié)果所得到的濾波后α圖的一例。圖IlB示出使用圖IlA的濾波后α圖的數(shù)據(jù)生成的合成用前景圖像的數(shù)據(jù)的一例。圖IlC示出將圖IlB的合成用前景圖像的數(shù)據(jù)和圖4C的合成用背景圖像的數(shù)據(jù)合成之后的結(jié)果所得到的合成圖像的數(shù)據(jù)的一例。圖12A 圖12C示出在使用了對(duì)縮小尺寸的初始α圖的數(shù)據(jù)施加了現(xiàn)有的平均化濾波器之后的結(jié)果所得到的α圖的數(shù)據(jù)的情況下的、合成處理的執(zhí)行結(jié)果的一例。圖 12Α示出對(duì)從縮小了與圖8Α 圖8C例子相同的原圖像后的圖像中得到的縮小尺寸的初始 α圖的數(shù)據(jù)進(jìn)行上采樣(upsample)后的原尺寸的α圖，施加了現(xiàn)有的平均化濾波器之后的結(jié)果所得到的α圖的一例。圖12Β示出使用圖12Α的α圖的數(shù)據(jù)生成的合成用前景圖像的數(shù)據(jù)的一例。圖12C示出將圖12Β的合成用前景圖像的數(shù)據(jù)和圖4C的合成用背景圖像的數(shù)據(jù)合成之后的結(jié)果所得到的合成圖像的數(shù)據(jù)的一例。圖13Α 圖13C是表示在使用了對(duì)縮小尺寸的初始α圖的數(shù)據(jù)執(zhí)行自適應(yīng)濾波處理之后的結(jié)果所得到的濾波后α圖的情況下的、合成處理的執(zhí)行結(jié)果的一例，即與圖 IOA 圖10C、圖IlA 圖IlC例子不同的例子的圖。圖13Α示出對(duì)從縮小了與圖8Α 圖 8C例子相同的原圖像后的圖像中得到的縮小尺寸的初始α圖的數(shù)據(jù)進(jìn)行上采樣后的原尺寸的α圖，實(shí)施了符合上述式(10)的自適應(yīng)濾波處理之后的結(jié)果所得到的濾波后α圖的一例。圖13Β示出使用圖13Α的濾波后α圖的數(shù)據(jù)生成的合成用前景圖像的數(shù)據(jù)的一例。 圖13C示出將圖1 的合成用前景圖像的數(shù)據(jù)和圖4C的合成用背景圖像102的數(shù)據(jù)合成之后的結(jié)果所得到的合成圖像的數(shù)據(jù)的一例。
具體實(shí)施例方式以下，基于附圖，對(duì)本發(fā)明的一實(shí)施方式進(jìn)行說(shuō)明。圖1是表示本發(fā)明的圖像處理裝置的一實(shí)施方式所涉及的數(shù)碼相機(jī)1的硬件結(jié)構(gòu)的圖。數(shù)碼相機(jī)1具備攝像部11、數(shù)據(jù)處理部12、用戶(hù)接口部13。攝像部11具備光學(xué)透鏡部21和圖像傳感器22。光學(xué)透鏡部21是為了拍攝在規(guī)定的視角(以下，稱(chēng)為“正規(guī)視角”)內(nèi)包含的被攝體而聚焦光的透鏡，例如由聚焦透鏡、變焦透鏡等構(gòu)成。聚焦透鏡是使被攝體像成像于圖像傳感器22的受光面的透鏡。變焦透鏡是使焦點(diǎn)距離在一定范圍內(nèi)自由變化的透鏡。光學(xué)透鏡部21另外還根據(jù)需要設(shè)置對(duì)焦點(diǎn)、曝光、白平衡等設(shè)定參數(shù)進(jìn)行調(diào)整的外圍電路。圖像傳感器22由光電變換元件、AFE(Analog Front End)等構(gòu)成。光電變換元件例如由 CMOS (Complementary Metal Oxide Semiconductor)型的光電變換元件等構(gòu)成。在光電變換元件中，從光學(xué)透鏡部21經(jīng)由快門(mén)部(未圖示)入射被攝體像。因此， 光電變換元件按每固定時(shí)間對(duì)被攝體像進(jìn)行光電變換(拍攝)來(lái)蓄積圖像信號(hào)，并將所蓄積的圖像信號(hào)作為模擬信號(hào)依次提供給AFE。AFE對(duì)該模擬的圖像信號(hào)執(zhí)行A/D (Analog/Digital)變換處理等的各種信號(hào)處理。根據(jù)各種信號(hào)處理生成數(shù)字信號(hào)，并作為圖像傳感器22的輸出信號(hào)輸出。此外，下面將圖像信號(hào)的數(shù)字信號(hào)稱(chēng)為“圖像的數(shù)據(jù)”。數(shù)據(jù)處理部12 具備CPU(Central Processing Unit) 31、ROM (Read OnlyMemory) 32、RAM (Random Access Memory) 33、存儲(chǔ)器 34、輸出控制部；35、圖像處理部 36。CPU31根據(jù)在R0M32中存儲(chǔ)的程序執(zhí)行各種處理。在RAM33中適當(dāng)?shù)卮鎯?chǔ)了 CPU31 執(zhí)行各種處理所需的數(shù)據(jù)等。在本實(shí)施方式中，實(shí)現(xiàn)后述的圖2的圖像獲取部61及合成處理部63的各功能的程序被存儲(chǔ)在R0M32中。因此，CPU31根據(jù)該程序執(zhí)行處理，由此能夠?qū)崿F(xiàn)圖像獲取部61及合成處理部63的各功能。存儲(chǔ)器；34由DRAM (Dynamic Random Access Memory)等構(gòu)成，暫時(shí)存儲(chǔ)從圖像傳感器22輸出的圖像的數(shù)據(jù)。在本實(shí)施方式中，作為存儲(chǔ)器34的一個(gè)區(qū)域而構(gòu)成后述的圖 2的圖像存儲(chǔ)部62，后述的各種圖像的數(shù)據(jù)被存儲(chǔ)到圖像存儲(chǔ)部62中。另外，存儲(chǔ)器34也存儲(chǔ)各種圖像處理所需的各種數(shù)據(jù)，例如圖像的數(shù)據(jù)、各種標(biāo)記(flag)的值、閾值等數(shù)據(jù)。另外，存儲(chǔ)器34中也包括用于保存和讀出圖像顯示用的數(shù)據(jù)(以下，稱(chēng)為“顯示圖像數(shù)據(jù)”)的顯示存儲(chǔ)器區(qū)域。輸出控制部35讀出在存儲(chǔ)器34的顯示存儲(chǔ)器區(qū)域中所保存的顯示圖像數(shù)據(jù)，并使用戶(hù)接口部13的顯示部41顯示由該顯示圖像數(shù)據(jù)所表現(xiàn)的圖像(以下，稱(chēng)為“顯示圖像”)。圖像處理部36由DSP (Digital Signal ftOcessor)等構(gòu)成，對(duì)在存儲(chǔ)器；34中存儲(chǔ)的圖像數(shù)據(jù)執(zhí)行白平衡修正處理、Y修正處理等各種圖像處理。在本實(shí)施方式中，后述的圖2的圖像獲取部61及合成處理部63執(zhí)行的各種圖像處理之中的至少一部分在圖像處理部36中執(zhí)行，剩余的一部分在CPU31中執(zhí)行。S卩，在本實(shí)施方式中，后述的圖2的圖像獲取部61及合成處理部63作為CPU31及圖像處理部36這樣的硬件、和在R0M32中存儲(chǔ)的程序(軟件)的組合而構(gòu)成。用戶(hù)接口部13具備由液晶顯示器等構(gòu)成的顯示部41、受理用戶(hù)的指示操作的操作部42、控制與外部設(shè)備之間的通信的通信部43、對(duì)可移動(dòng)記錄介質(zhì)51進(jìn)行數(shù)據(jù)讀寫(xiě)的驅(qū)動(dòng)器44。具有這樣結(jié)構(gòu)的數(shù)碼相機(jī)1具備上述動(dòng)態(tài)成像的功能。因此，數(shù)碼相機(jī)1通過(guò)對(duì)包含從原圖像切取出的被攝體作為前景物體的圖像(以下，稱(chēng)為“合成用前景圖像”)的數(shù)據(jù)、和成為粘貼有該前景物體的背景的圖像(以下，稱(chēng)為 “合成用背景圖像”)的數(shù)據(jù)進(jìn)行合成，從而能夠生成合成圖像的數(shù)據(jù)。此外，將這樣的數(shù)碼相機(jī)1的一連串的處理稱(chēng)為“合成處理”。圖2是表示用于執(zhí)行這種合成處理的數(shù)據(jù)處理部12的功能性結(jié)構(gòu)的框圖。數(shù)據(jù)處理部12具備圖像獲取部61、圖像存儲(chǔ)部62、合成處理部63。圖像獲取部61獲取成為合成用前景圖像的基礎(chǔ)的原圖像的數(shù)據(jù)、或者合成用背景圖像的數(shù)據(jù)，并存儲(chǔ)到圖像存儲(chǔ)部62中。圖像存儲(chǔ)部62具備原圖像存儲(chǔ)部91、α圖存儲(chǔ)部92、合成用前景圖像存儲(chǔ)部 93、合成用背景圖像存儲(chǔ)部94、合成圖像存儲(chǔ)部95。此外，針對(duì)圖像存儲(chǔ)部62的各構(gòu)成要素的存儲(chǔ)內(nèi)容的具體例，在參照后述的圖3 的流程圖的合成處理流程的說(shuō)明時(shí)適當(dāng)?shù)剡M(jìn)行說(shuō)明。合成處理部63執(zhí)行合成處理的主要處理，即，從原圖像的數(shù)據(jù)中生成合成用前景圖像的數(shù)據(jù)，并通過(guò)對(duì)合成用前景圖像和合成用背景圖像的兩數(shù)據(jù)進(jìn)行合成來(lái)生成合成圖像的數(shù)據(jù)的一連串的處理。合成處理部63為了執(zhí)行這樣的一連串的處理，而具備初始α圖生成部71、自適應(yīng)濾波部72、合成用前景圖像生成部73、合成圖像生成部74。自適應(yīng)濾波部72具備濾波器系數(shù)運(yùn)算部81、濾波器系數(shù)存儲(chǔ)部82、加權(quán)平均濾波化部83。此外，針對(duì)合成處理部63的各要素的功能等，在參照后述的圖3的流程圖的合成處理流程的說(shuō)明時(shí)適當(dāng)?shù)剡M(jìn)行說(shuō)明。下面，參照?qǐng)D3的流程圖，說(shuō)明具有這樣功能性結(jié)構(gòu)的圖2的數(shù)據(jù)處理部12執(zhí)行的合成處理。圖3是表示合成處理流程的一例的流程圖。在步驟Sl中，圖像獲取部61獲取合成用背景圖像的數(shù)據(jù)，并存儲(chǔ)到合成用背景圖像存儲(chǔ)部94中。例如，獲取后述的圖4C的合成用背景圖像102等數(shù)據(jù)，并存儲(chǔ)到合成用背景圖像存儲(chǔ)部94中。在步驟S2中，圖像獲取部61獲取成為合成用前景圖像的基礎(chǔ)的原圖像的數(shù)據(jù)，并存儲(chǔ)到原圖像存儲(chǔ)部91中。例如，獲取后述的圖4Α的原圖像100等數(shù)據(jù)，并存儲(chǔ)到原圖像存儲(chǔ)部91中。此外，在該步驟S2的處理中所獲取的原圖像的數(shù)據(jù)、及在上述的步驟Sl的處理中所獲取的合成用背景圖像的數(shù)據(jù)的種類(lèi)，并不特別限定。例如，在圖1中，來(lái)自攝像部11的攝像圖像的數(shù)據(jù)、從未圖示的外部裝置發(fā)送并被通信部43接收到的圖像的數(shù)據(jù)、以及由驅(qū)動(dòng)器44從可移動(dòng)記錄介質(zhì)51讀出的圖像的數(shù)據(jù)，都可由圖像獲取部61獲取來(lái)作為原圖像的數(shù)據(jù)或者合成用背景圖像的數(shù)據(jù)。在步驟S3中，初始α圖生成部71基于原圖像的數(shù)據(jù)生成α圖的數(shù)據(jù)，存儲(chǔ)到α 圖存儲(chǔ)部92中。這里，為了與由后述的自適應(yīng)濾波部72實(shí)施了自適應(yīng)濾波處理之后的α圖的數(shù)據(jù)相區(qū)別，將實(shí)施自適應(yīng)濾波處理之前的α圖的數(shù)據(jù)合并到圖3的記載中，稱(chēng)為“初始α 圖的數(shù)據(jù)”。例如，生成后述的圖4D的初始α圖103等的數(shù)據(jù)，并存儲(chǔ)到α圖存儲(chǔ)部92中。具體地說(shuō)，例如作為用于生成初始α圖的數(shù)據(jù)的二值化的最簡(jiǎn)單的方法，存在使用背景圖像的數(shù)據(jù)的方法。所謂背景圖像是指，原圖像(后述的圖4Α的原圖像101等)之中的、除去成為合成圖像的前景物體的被攝體(在后述的圖4Α的例子中為甲蟲(chóng))之后的圖像，例如后述的圖 4Β的圖像101等。這里，需要注意背景圖像和合成圖像用背景圖像不同。另外，如后述，需要注意 背景圖像的數(shù)據(jù)對(duì)于合成處理而言不是必需的數(shù)據(jù)。這種情況下，初始α圖生成部71通過(guò)對(duì)在原圖像存儲(chǔ)部91中存儲(chǔ)的原圖像的數(shù)據(jù)、和背景圖像的數(shù)據(jù)的差分進(jìn)行二值化，從而能夠生成初始α圖。此外，用于生成初始α圖的二值化的方法并不特別限定，只要是可二值化原圖像的各坐標(biāo)的像素值的方法即可，作為其他的方法例如可以采用如下的方法。S卩，初始α圖生成部71從原圖像存儲(chǔ)部91中讀出原圖像的數(shù)據(jù)，并從該原圖像中檢測(cè)包含被攝體在內(nèi)的區(qū)域作為關(guān)注區(qū)域。這里，原圖像中包含的被攝體，例如在后述的圖4D的初始α圖103中為甲蟲(chóng)，成為后述的合成圖像的前景物體。并且，初始α圖生成部71將以該關(guān)注區(qū)域作為白色、除此之外的區(qū)域作為黑色的二值化圖像的數(shù)據(jù)，即由白色的像素值“0”或黑色的像素值“1”構(gòu)成的數(shù)據(jù)，作為初始α 圖的數(shù)據(jù)而生成，并存儲(chǔ)到α圖存儲(chǔ)部92中。此外，關(guān)注區(qū)域的檢測(cè)方法并不特別限定，能夠采用公知或今后開(kāi)發(fā)的任意方法。在步驟S4中，自適應(yīng)濾波部72從α圖存儲(chǔ)部92中讀出初始α圖的數(shù)據(jù)，并對(duì)該初始α圖的數(shù)據(jù)實(shí)施自適應(yīng)濾波處理。所謂自適應(yīng)濾波處理是指，施加加權(quán)平均濾波器的處理，根據(jù)原圖像的特性自適應(yīng)地改變?cè)摷訖?quán)平均濾波器中用到的系數(shù)(以下，稱(chēng)為“濾波器系數(shù)”)的處理。另外，下面將對(duì)初始α圖的數(shù)據(jù)實(shí)施了自適應(yīng)濾波處理之后的數(shù)據(jù)稱(chēng)為“濾波后 α圖的數(shù)據(jù)”。此外，濾波后α圖的數(shù)據(jù)不僅具有“0”和“1”的像素值(α值)，還具有0至1之間的中間值的像素值(α值)。即，在濾波后α圖中，意味著像素值(α值)為“1”的像素完全包含在成為被攝體(合成圖像的前景物體)的區(qū)域中。另外，意味著像素值(α值)為 “0”的像素完全包含在背景區(qū)域中。另一方面，邊緣區(qū)域中包含的各像素的像素值(α值) 為被攝體(合成圖像的前景物體)的分量占有的量越多就越接近“1”這樣的0至1之間的多值。這里，自適應(yīng)濾波部72將構(gòu)成初始α圖的各像素的每一個(gè)像素依次設(shè)定成作為處理對(duì)象應(yīng)關(guān)注的像素(以下，稱(chēng)為“關(guān)注像素”)，并按每一個(gè)關(guān)注像素依次執(zhí)行自適應(yīng)濾波處理。具體而言，濾波器系數(shù)運(yùn)算部81計(jì)算對(duì)初始α圖的關(guān)注像素適用的濾波器系數(shù) (以下，稱(chēng)為“關(guān)注像素用濾波器系數(shù)”)。這種情況下，濾波器系數(shù)運(yùn)算部81使用在原圖像存儲(chǔ)部91中存儲(chǔ)的原圖像的數(shù)據(jù)(各像素值)之中的、與關(guān)注像素同一坐標(biāo)的像素(以下，稱(chēng)為“對(duì)應(yīng)像素”)的數(shù)據(jù)(對(duì)應(yīng)像素的像素值)，來(lái)計(jì)算濾波器系數(shù)。這里，這樣計(jì)算出的關(guān)注像素用濾波器系數(shù)是僅對(duì)作為關(guān)注像素被設(shè)定的像素適用的濾波器系數(shù)。換言之，由于關(guān)注像素被依次變更，所以按構(gòu)成初始α圖的每一個(gè)像素， 依次計(jì)算基于原圖像的對(duì)應(yīng)像素的特性而自適應(yīng)地變化的濾波器系數(shù)。濾波器系數(shù)存儲(chǔ)部82存儲(chǔ)由濾波器系數(shù)運(yùn)算部81計(jì)算出的關(guān)注像素用濾波器系數(shù)。換言之，因?yàn)殛P(guān)注像素被依次變更，所以構(gòu)成初始α圖的每一個(gè)像素的濾波器系數(shù)的每一個(gè)被存儲(chǔ)到濾波器系數(shù)存儲(chǔ)部82中。加權(quán)平均濾波化部83使用在濾波器系數(shù)存儲(chǔ)部82中存儲(chǔ)的關(guān)注像素用濾波器系數(shù)，對(duì)由包含初始α圖的關(guān)注像素在內(nèi)的多個(gè)像素構(gòu)成的塊(以下，稱(chēng)為“濾波器窗口”) 的數(shù)據(jù)施加加權(quán)平均濾波器。由此，關(guān)注像素的像素值(α值)被更新。S卩，構(gòu)成初始α圖的各像素的每一個(gè)被依次設(shè)定成關(guān)注像素，反復(fù)進(jìn)行加權(quán)平均濾波化部83的處理，由此初始α圖的各像素值(α值)的每一個(gè)被更新。其結(jié)果，更新后CN 102316270 A
說(shuō)明書(shū)
8/18 頁(yè)
的各像素值(α值)的集合體作為濾波后α圖的數(shù)據(jù)而獲得。換言之，因?yàn)殛P(guān)注像素被依次變更，所以按構(gòu)成初始α圖的每一個(gè)像素，使用基于原圖像的對(duì)應(yīng)像素的特性自適應(yīng)地變化的濾波器系數(shù)，施加加權(quán)平均濾波器。這樣，由步驟S4的處理生成的濾波后α圖的數(shù)據(jù)被存儲(chǔ)到α圖存儲(chǔ)部92中。于是，合成用前景圖像生成部73從α圖存儲(chǔ)部92中讀出該濾波后α圖的數(shù)據(jù)，并且從原圖像存儲(chǔ)部91中讀出原圖像的數(shù)據(jù)。由此，處理進(jìn)入步驟S5。在步驟S5中，合成用前景圖像生成部73使用原圖像、濾波后α圖等各數(shù)據(jù)生成合成用前景圖像的數(shù)據(jù)，并存儲(chǔ)到合成用前景圖像存儲(chǔ)部93中。這樣，由步驟S5的處理生成合成用前景圖像的數(shù)據(jù)并存儲(chǔ)到合成用前景圖像存儲(chǔ)部93中之后，合成圖像生成部74從合成用前景圖像存儲(chǔ)部93中讀出該合成用前景圖像的數(shù)據(jù)，并且從合成用背景圖像存儲(chǔ)部94中讀出合成用背景圖像的數(shù)據(jù)。由此，處理進(jìn)入步驟S6。在步驟S6中，合成圖像生成部74根據(jù)濾波后α圖對(duì)合成用背景圖像的數(shù)據(jù)和合成用前景圖像的數(shù)據(jù)進(jìn)行合成，來(lái)生成合成圖像的數(shù)據(jù)并存儲(chǔ)到合成圖像存儲(chǔ)部95中。由此，合成處理結(jié)束。在之后的合成圖像再生時(shí)，在合成圖像存儲(chǔ)部95中存儲(chǔ)的合成圖像的數(shù)據(jù)被作為顯示圖像數(shù)據(jù)而存儲(chǔ)在圖1的存儲(chǔ)器34的顯示存儲(chǔ)器區(qū)域中。于是，輸出控制部35讀出該顯示圖像數(shù)據(jù)，并使顯示部41顯示由該顯示圖像數(shù)據(jù)所表現(xiàn)的圖像，即合成圖像。下面，說(shuō)明自適應(yīng)濾波部72進(jìn)行的自適應(yīng)濾波處理(圖3的步驟S4的處理)的詳細(xì)。圖4Α 圖4D示出執(zhí)行合成處理時(shí)用到的圖像的數(shù)據(jù)的一例。圖4Α示出原圖像100的數(shù)據(jù)的一例。圖4Β示出對(duì)原圖像100除去成為合成圖像的前景物體的被攝體(甲蟲(chóng))之后的圖像101，即原圖像100的背景圖像101的數(shù)據(jù)的一例。圖4C示出合成用背景圖像102的數(shù)據(jù)的一例。圖4D示出初始α圖103的數(shù)據(jù)的一例。如圖4D所示，包含成為合成圖像的前景物體的被攝體(甲蟲(chóng))在內(nèi)的區(qū)域(關(guān)注區(qū)域)被作為白色、除此之外的區(qū)域被作為黑色的二值化圖像的數(shù)據(jù)是初始α圖103的數(shù)據(jù)。圖5是說(shuō)明在自適應(yīng)濾波部72中采用的加權(quán)平均濾波器的概略的圖。圖5左方所示的圖像104的數(shù)據(jù)是施加加權(quán)平均濾波器之前的數(shù)據(jù)，圖5右方所示的圖像105的數(shù)據(jù)是施加加權(quán)平均濾波器之后的數(shù)據(jù)。因此，下面將施加加權(quán)平均濾波器之前的圖像104稱(chēng)為“濾波前圖像104”。對(duì)于圖2的自適應(yīng)濾波部72而言，圖4D的初始α圖103等為濾波前圖像104。另一方面，下面將施加加權(quán)平均濾波器之后的圖像105稱(chēng)為“濾波后圖像105”。對(duì)于圖2的自適應(yīng)濾波部72而言，濾波后α圖為濾波后圖像105。這里，下面，將在水平方向配置N像素(N為任意的整數(shù)值)、在垂直方向配置M像素(Μ為與N獨(dú)立的任意的整數(shù)值)而構(gòu)成的圖像表現(xiàn)為“ΝΧΜ圖像”。另外，在圖5的例子中，一個(gè)正方形表示一個(gè)像素，該正方形內(nèi)的值表示像素值(如果為初始α圖，則為α值)。這種情況下，在圖5的例子中，濾波前圖像104及濾波后圖像105采用同一分辨率的6X6圖像。此外，當(dāng)然施加加權(quán)平均濾波器的對(duì)象圖像的總像素?cái)?shù)也并不限定于圖5的例子，也可是任意數(shù)。在圖5的例子中，使用3X3的加權(quán)平均濾波器，具有像素值P5的像素111被設(shè)定為關(guān)注像素。這種情況下，如圖5所示，包含關(guān)注像素111在內(nèi)的3X3的塊112作為濾波器窗
口被設(shè)定。通過(guò)對(duì)這樣的濾波器窗口 112的數(shù)據(jù)實(shí)施加權(quán)平均濾波，由此在關(guān)注像素111中， 像素值P5被變換成像素值PN。圖6是說(shuō)明在自適應(yīng)濾波部72中采用的加權(quán)平均濾波器的運(yùn)算方法的圖。在圖6中，記載有像素值(如果為初始α圖，則為α值)的一個(gè)正方形表示一個(gè)像素。作為這樣的像素的集合體，僅僅圖示出圖5的濾波前圖像104之中的包含關(guān)注像素 111的濾波器窗口 112。另外，三角表示對(duì)輸入值乘上規(guī)定權(quán)重值的加權(quán)部，三角內(nèi)示出的權(quán)重值是濾波器系數(shù)。這樣，在加權(quán)平均濾波器中，對(duì)濾波器窗口 112的像素值Pl至Ρ9各個(gè)像素值，設(shè)定作為權(quán)重值的濾波器系數(shù)Kl至Κ9各個(gè)系數(shù)。另外，記載有Σ的塊表示總加法部。在圖6的例子中，對(duì)濾波器窗口 112的像素值Pl至Ρ9各個(gè)像素值乘上濾波器系數(shù)Kl至Κ9各個(gè)系數(shù)，對(duì)這些乘法值進(jìn)行總相加運(yùn)算后的值為關(guān)注像素111更新后的像素值ΡΝ。S卩，在圖5的例子中，下式(1)的運(yùn)算等效于對(duì)包含關(guān)注像素111在內(nèi)的濾波器窗口 112施加加權(quán)平均濾波器。PN = Kl ΧΡ1+Κ2 X Ρ2+..· +Κ5 X Ρ5+..· Κ8 X Ρ8+Κ9 X Ρ9…(1)_更一般地表現(xiàn)，下式O)的運(yùn)算等效于對(duì)包含關(guān)注像素在內(nèi)的濾波器窗口施加加權(quán)平均濾波器。A' ρ=Σ qe￡2KqXAq - (2)_在式O)中，關(guān)注像素的坐標(biāo)，即濾波器窗口的中央的坐標(biāo)為ρ，ρ的附近區(qū)域 Ω (Ω在這里為濾波器窗口內(nèi)的區(qū)域)的坐標(biāo)為q。具體而言，坐標(biāo)q也包括關(guān)注像素的坐標(biāo)P，為濾波器窗口內(nèi)的各像素之中的任一坐標(biāo)。M表示濾波器窗口之中的坐標(biāo)q中的像素值(如果為初始α圖，則為α值)。例如，Ap表示施加加權(quán)平均濾波器之前的關(guān)注像素的像素值。另一方面，右邊的Αρ’表示施加加權(quán)平均濾波器之后的關(guān)注像素的像素值(如果為濾波后α圖，則為α值)。另外，Kq表示對(duì)于坐標(biāo)q的像素的濾波器系數(shù)。在現(xiàn)有技術(shù)中，作為濾波器系數(shù)Kq采用固定值。與此相對(duì)，本實(shí)施方式的圖2所示的自適應(yīng)濾波部72的加權(quán)平均濾波化部83用到的濾波器系數(shù)Kq是按初始α圖的每一個(gè)像素基于原圖像內(nèi)的對(duì)應(yīng)像素的特性而自適應(yīng)變化的。換言之，自適應(yīng)濾波部72的濾波器系數(shù)運(yùn)算部81如這樣自適應(yīng)地變化那樣，按初始α圖的每一個(gè)像素計(jì)算濾波器系數(shù)Kq。圖7是具體說(shuō)明該自適應(yīng)濾波部72進(jìn)行的自適應(yīng)濾波處理(圖3的步驟S4的處理)的圖。在圖7中，記載有像素值的一個(gè)正方形表示一個(gè)像素。作為這樣的像素的集合體， 在濾波器系數(shù)運(yùn)算部81內(nèi)，示出原圖像內(nèi)的塊122。該塊122是在中心包含與初始α圖的關(guān)注像素111同一坐標(biāo)的原圖像內(nèi)的像素121即對(duì)應(yīng)像素121在內(nèi)的3X3塊。S卩，塊122 存在于與濾波器窗口 112的配置位置對(duì)應(yīng)的原圖像內(nèi)的位置。因此，下面將該塊122稱(chēng)為 “原圖像對(duì)應(yīng)塊122”。另外，記載有f的塊是使用規(guī)定函數(shù)f進(jìn)行運(yùn)算的運(yùn)算部，在濾波器系數(shù)運(yùn)算部81 內(nèi)示出。濾波器系數(shù)運(yùn)算部81將原圖像對(duì)應(yīng)塊122的各像素值Il至19的各個(gè)像素值作為輸入值使用，分別利用函數(shù)f進(jìn)行規(guī)定運(yùn)算，由此計(jì)算濾波器系數(shù)Kl至K9各個(gè)系數(shù)。這樣，在本實(shí)施方式中，使用在中心包含與初始α圖的關(guān)注像素111同一坐標(biāo)的原圖像內(nèi)的像素121即對(duì)應(yīng)像素121在內(nèi)的原圖像對(duì)應(yīng)塊122，來(lái)計(jì)算濾波器系數(shù)Kl至Κ9 各個(gè)系數(shù)。這里，由于構(gòu)成圖5的濾波前圖像104即圖4D的初始α圖103等的各像素的每一個(gè)被依次設(shè)定成關(guān)注像素111，故在中心包含該對(duì)應(yīng)像素121在內(nèi)的原圖像對(duì)應(yīng)塊122也依次被變更。即，用于求取濾波器系數(shù)Kl至Κ9各個(gè)系數(shù)的原圖像的像素值Il至19各個(gè)像素值，也按構(gòu)成圖5的初始α圖103等的每一個(gè)像素不同。因此，濾波器系數(shù)Kl至Κ9各個(gè)系數(shù)也按構(gòu)成圖5的初始α圖103等的每一個(gè)像素而自適應(yīng)地變化。這里，以下，如濾波器系數(shù)Kl至Κ9那樣，將加權(quán)平均濾波器中用到的濾波器系數(shù)的集合體稱(chēng)為“濾波器系數(shù)組”。即，在圖7的例子中，由濾波器系數(shù)Kl至Κ9構(gòu)成的濾波器系數(shù)組131，按構(gòu)成初始α圖103等的每一個(gè)像素分別由濾波器系數(shù)運(yùn)算部81生成，并分別存儲(chǔ)到濾波器系數(shù)存儲(chǔ)部82中。即，在濾波器系數(shù)存儲(chǔ)部82中存儲(chǔ)有一個(gè)濾波器系數(shù)組131，如圖7所示，但實(shí)際上是按構(gòu)成圖4D的初始α圖103等的每一個(gè)像素分別存儲(chǔ)各個(gè)濾波器系數(shù)組131。在加權(quán)平均濾波化部83內(nèi)，示出與圖6同樣的圖。即，加權(quán)平均濾波化部83通過(guò)執(zhí)行與利用圖5說(shuō)明過(guò)的處理相同的處理，對(duì)包含關(guān)注像素111在內(nèi)的濾波器窗口 112實(shí)施加權(quán)平均濾波。由此，關(guān)注像素111的像素值(α值)(在全部像素位置的濾波處理結(jié)束之后)從值Ρ5變更成值ΡΝ。其中，濾波器系數(shù)Kl至Κ9并不是如以往那樣利用固定的值，而利用按構(gòu)成圖4D 的初始α圖103等的每一個(gè)像素而自適應(yīng)地變化的濾波器系數(shù)組131。由此，關(guān)注像素111 變更后的像素值(α值)即值ΡΝ，與如以往那樣利用了固定的濾波器系數(shù)Kl至Κ9的情況相比，為更適當(dāng)?shù)闹怠４送?，圖7僅僅是為了容易理解本實(shí)施方式，并不限定于符合圖5、圖6的例子的例示，濾波器窗口的尺寸(像素的總數(shù))等也不特別限定于圖7的例子，也可以是任意的。
這種情況下，加權(quán)平均濾波化部83按照上式O)，作為坐標(biāo)ρ中的關(guān)注像素變更后的像素值(α值)來(lái)計(jì)算值A(chǔ)p ’。其中，濾波器系數(shù)Kq并不如以往那樣固定，而按構(gòu)成圖4D的初始α圖103等的每一個(gè)像素而自適應(yīng)地變化。由此，作為坐標(biāo)P中的關(guān)注像素變更后的像素值(α值)被計(jì)算出的值Αρ’，與如以往那樣使用固定的濾波器系數(shù)Kq的情況相比，為更適當(dāng)?shù)闹怠＿@里，坐標(biāo)q中的濾波器系數(shù)Kq的運(yùn)算方法為使用原圖像的坐標(biāo)ρ(與初始α圖的關(guān)注像素的坐標(biāo)P同一坐標(biāo))的像素值Ιρ、和原圖像的坐標(biāo)P (與初始α圖的關(guān)注像素的坐標(biāo)P同一坐標(biāo))的像素值Iq的方法即可，并不特別限定。其中，考慮原圖像的邊緣，優(yōu)選采用可進(jìn)行考慮跨越邊緣的像素彼此不太均勻的運(yùn)算的運(yùn)算方法。這里，所謂跨越邊緣的像素彼此，在原圖像內(nèi)的第1區(qū)域(例如，可成為前景物體的物體的區(qū)域)和第2區(qū)域(例如與背景圖像對(duì)應(yīng)的區(qū)域)之間的邊緣存在的情況下，是指位于第1區(qū)域內(nèi)的坐標(biāo)P的像素(初始α圖的關(guān)注像素的對(duì)應(yīng)像素)和位于第2區(qū)域內(nèi)的坐標(biāo)q的像素。因此，考慮跨越邊緣的像素彼此不太均勻的運(yùn)算是指，按照削弱原圖像的第2區(qū)域內(nèi)的坐標(biāo)q的像素值Iq的影響、減小該坐標(biāo)q中的濾波器系數(shù)Kq的值的方式進(jìn)行運(yùn)算。這是由于，通過(guò)應(yīng)用這樣的方法，能夠考慮原圖像的邊緣，以跨越邊緣的像素彼此不太均勻的方式，對(duì)初始α圖的數(shù)據(jù)實(shí)施加權(quán)平均濾波。即，這是由于，由此，既能確保清晰的邊緣，又能得到抗混疊(anti-alias)效果，與初始α圖相比能夠得到對(duì)原圖像的邊緣調(diào)整性地訂正了的濾波后α圖。并且，這是由于，使用該濾波后α圖的結(jié)果，在原圖像的背景的混入不顯著的基礎(chǔ)上，可得到清晰的合成圖像的數(shù)據(jù)。在本實(shí)施方式中，作為考慮原圖像的邊緣而進(jìn)行考慮跨越邊緣的像素彼此不太均勻的運(yùn)算的濾波器系數(shù)Kq的運(yùn)算方法，采用如下的運(yùn)算方法。S卩，采用求取原圖像中的坐標(biāo)ρ的像素值Ip和坐標(biāo)q的像素值Iq之間的差分，該差分越小就使坐標(biāo)q中的濾波器系數(shù)Kq成為越大的值這樣的運(yùn)算方法。此外，原圖像中的坐標(biāo)ρ意味著與濾波器窗口的中央的坐標(biāo)ρ即圖4D的初始α 圖103等中的關(guān)注像素的坐標(biāo)ρ同一坐標(biāo)。利用上述例子，對(duì)該運(yùn)算方法進(jìn)行具體說(shuō)明。即，使用如下情況的例子說(shuō)明該運(yùn)算方法原圖像內(nèi)的第1區(qū)域(例如，可成為前景物體的物體的區(qū)域)和第2區(qū)域(例如，與背景圖像對(duì)應(yīng)的區(qū)域)之間的邊緣存在，初始α圖的關(guān)注像素的原圖像內(nèi)的對(duì)應(yīng)像素的坐標(biāo)P存在于第1區(qū)域內(nèi)的情況。這種情況下，在成為濾波器系數(shù)Kq的運(yùn)算對(duì)象的像素的坐標(biāo)q存在于第1區(qū)域內(nèi)時(shí)，原圖像中的坐標(biāo)P的像素值Ip和坐標(biāo)q的像素值Iq都是第1區(qū)域內(nèi)的像素值，所以大多為相近的值。因此，此時(shí)，原圖像中的坐標(biāo)P的像素值Ip和坐標(biāo)q的像素值Iq之間的差分變小。并且，此時(shí)，為了提高原圖像中的坐標(biāo)P的像素值Ip的影響，坐標(biāo)q中的濾波器系數(shù)Kq以變?yōu)檩^大值的方式進(jìn)行運(yùn)算。與此相對(duì)，在成為濾波器系數(shù)Kq的運(yùn)算對(duì)象的像素的坐標(biāo)q存在于第2區(qū)域內(nèi)時(shí)，原圖像中的坐標(biāo)P的像素值Ip為第1區(qū)域的像素值，而原圖像中的坐標(biāo)q的像素值Iq 為第2區(qū)域內(nèi)的像素值，所以大多為遠(yuǎn)離的值。因此，此時(shí)，原圖像中的坐標(biāo)P的像素值Ip和坐標(biāo)q的像素值Iq之間的差分變大。并且，此時(shí)，為了降低原圖像中的坐標(biāo)P的像素值 Ip的影響，坐標(biāo)q中的濾波器系數(shù)Kq以變?yōu)檩^小值的方式進(jìn)行運(yùn)算。此外，即便在成為濾波器系數(shù)Kq的運(yùn)算對(duì)象的像素的坐標(biāo)q存在于第2區(qū)域內(nèi)時(shí)，有時(shí)原圖像中的坐標(biāo)P的像素值Ip和坐標(biāo)q的像素值Iq之間的差分也變小。此時(shí)，雖然確實(shí)為跨越邊緣的像素彼此，但卻意味著具有相同亮度值、顏色風(fēng)格的像素彼此。因此， 此時(shí)，即便坐標(biāo)q中的濾波器系數(shù)Kq為較大值，也不會(huì)有任何問(wèn)題。具體而言，例如如下的濾波器系數(shù)Kq的第1運(yùn)算方法或第2運(yùn)算方法適用于圖2 的濾波器系數(shù)運(yùn)算部81。所謂濾波器系數(shù)Kq的第1運(yùn)算方法是指，可執(zhí)行如下的一連串處理的方法。即，濾波器系數(shù)運(yùn)算部81，作為原圖像中的坐標(biāo)ρ的像素值Ip和坐標(biāo)q的像素值 Iq之間的差分，計(jì)算Y、Cb、Cr分量的向量差。濾波器系數(shù)運(yùn)算部81執(zhí)行求取這些向量差的范數(shù)(norm)、范數(shù)平方的運(yùn)算(以下，稱(chēng)為“范數(shù)運(yùn)算”)。這種情況下，濾波器系數(shù)運(yùn)算部81也可對(duì)向量分量加權(quán)之后執(zhí)行范數(shù)運(yùn)算。其次，濾波器系數(shù)運(yùn)算部81對(duì)范數(shù)運(yùn)算的執(zhí)行結(jié)果和規(guī)定閾值進(jìn)行比較，如果大則將為“0”的臨時(shí)權(quán)重值作為濾波器系數(shù)Kq給出，如果小則將為“ 1”的臨時(shí)權(quán)重值作為濾波器系數(shù)Kq給出。濾波器系數(shù)運(yùn)算部81按與濾波器窗口對(duì)應(yīng)的原圖像對(duì)應(yīng)塊內(nèi)的每一個(gè)像素，執(zhí)行該一連串的處理。濾波器系數(shù)運(yùn)算部81在原圖像對(duì)應(yīng)塊整體的處理結(jié)束的階段，以權(quán)重值的總和為1的方式，對(duì)臨時(shí)權(quán)重值給出用原圖像對(duì)應(yīng)塊內(nèi)的臨時(shí)權(quán)重值的總和進(jìn)行除法運(yùn)算后的值，作為坐標(biāo)q中的濾波器系數(shù)Kq?；蛘撸谶@里，濾波器系數(shù)運(yùn)算部81針對(duì)為“0”的臨時(shí)權(quán)重值，將該部分相加到坐標(biāo)P的中央像素(關(guān)注像素的對(duì)應(yīng)像素)的臨時(shí)權(quán)重值上，由此使得權(quán)重值的總和為一定， 也可省略最后的自適應(yīng)除法運(yùn)算。此外，這種運(yùn)算是與ε-濾波器相同的考慮方法。ε-濾波器是公知技術(shù)，所以這里省略其說(shuō)明。相對(duì)于這樣的濾波器系數(shù)Kq的第1運(yùn)算方法，所謂濾波器系數(shù)Kq的第2運(yùn)算方法是指，可執(zhí)行如下的一連串處理的方法。即，如果使用聯(lián)合(交叉:cross)雙邊濾波器(joint bilateral filter)的基本構(gòu)成，則上述O)能夠如下式(3)進(jìn)行變更。A' p= (l/kp) Σ qe ^d(P-Q)gr(I Ip-Iq I) XAq ...(3)_在式(3)中，gd表示與空間坐標(biāo)相關(guān)的高斯函數(shù)，gr表示與顏色分量相關(guān)的高斯函數(shù)，各個(gè)高斯函數(shù)具有高斯函數(shù)參數(shù)(正態(tài)分布的方差)，且被設(shè)定成規(guī)定值。這里，所謂高斯分布是指如式(4)所示那樣忽視標(biāo)量倍常數(shù)的形式，將ο設(shè)為方差參數(shù)。
權(quán)利要求
1.一種圖像處理裝置，具備加工單元，其對(duì)由原圖像的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)進(jìn)行加工，并將由該結(jié)果得到的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)作為加工圖像的數(shù)據(jù)來(lái)生成；和濾波單元，其將由所述加工單元作為數(shù)據(jù)來(lái)生成的所述加工圖像的各坐標(biāo)的每一個(gè)坐標(biāo)設(shè)為作為處理對(duì)象應(yīng)關(guān)注的關(guān)注坐標(biāo)，將包括所述關(guān)注坐標(biāo)在內(nèi)的多個(gè)坐標(biāo)的范圍設(shè)為濾波器窗口，通過(guò)對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波，來(lái)變換所述關(guān)注坐標(biāo)的像素值， 其中，所述濾波單元具備濾波器系數(shù)運(yùn)算單元，其使用與所述濾波器窗口內(nèi)的所述關(guān)注坐標(biāo)對(duì)應(yīng)的所述原圖像的第1坐標(biāo)的第1像素值、和與所述濾波器窗口內(nèi)的規(guī)定坐標(biāo)對(duì)應(yīng)的所述原圖像的第2坐標(biāo)的第2像素值，并按所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)，來(lái)執(zhí)行計(jì)算所述規(guī)定坐標(biāo)中的濾波器系數(shù)的處理；和加權(quán)平均濾波單元，其使用由所述濾波器系數(shù)運(yùn)算單元計(jì)算出的所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)的所述濾波器系數(shù)，對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述濾波器系數(shù)運(yùn)算單元求取所述原圖像的所述第1像素值和所述第2像素值之間的差分，按照該差分越小則使所述規(guī)定坐標(biāo)中的所述濾波器系數(shù)成為越大的值的方式，來(lái)計(jì)算所述濾波器系數(shù)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述濾波器系數(shù)運(yùn)算單元，計(jì)算Y、Cb、Cr分量的向量差，以作為所述原圖像的所述第1像素值和所述第2像素值之間的所述差分，執(zhí)行求取所述向量差的范數(shù)或范數(shù)平方的范數(shù)運(yùn)算，對(duì)所述范數(shù)運(yùn)算的執(zhí)行結(jié)果和規(guī)定的閾值進(jìn)行比較，在比較結(jié)果大的情況下給出為 “0”的臨時(shí)權(quán)重值，在比較結(jié)果小的情況下給出為“1”的臨時(shí)權(quán)重值，以作為所述規(guī)定坐標(biāo)中的所述濾波器系數(shù)，基于所述臨時(shí)權(quán)重值來(lái)計(jì)算所述規(guī)定坐標(biāo)中的所述濾波器系數(shù)。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述濾波器系數(shù)運(yùn)算單元，對(duì)與空間坐標(biāo)相關(guān)的高斯函數(shù)的輸出值、和與顏色分量相關(guān)的高斯函數(shù)的輸出值進(jìn)行乘法運(yùn)算，其中，所述與空間坐標(biāo)相關(guān)的高斯函數(shù)的輸出值以所述原圖像的所述第1坐標(biāo)和所述第2坐標(biāo)之間的差分作為輸入?yún)?shù)，所述與顏色分量相關(guān)的高斯函數(shù)的輸出值以所述原圖像的所述第1像素值和所述第2像素值之間的所述差分作為輸入?yún)?shù)， 基于該乘法運(yùn)算的結(jié)果來(lái)計(jì)算所述規(guī)定坐標(biāo)中的所述濾波器系數(shù)。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述濾波器系數(shù)運(yùn)算單元，按照所述濾波器窗口內(nèi)的數(shù)據(jù)中、在所述原圖像內(nèi)的被攝體的區(qū)域和所述原圖像內(nèi)的背景的區(qū)域中為非對(duì)稱(chēng)的方式，來(lái)計(jì)算所述濾波器系數(shù)。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述加工單元通過(guò)進(jìn)行將所述原圖像的各坐標(biāo)的像素值二值化的加工，來(lái)生成初始α 圖，以作為所述加工圖像的數(shù)據(jù)，所述加權(quán)平均濾波單元對(duì)所述初始α圖的數(shù)據(jù)實(shí)施所述加權(quán)平均濾波，將該結(jié)果所得到的數(shù)據(jù)作為濾波后α圖的數(shù)據(jù)來(lái)生成。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，該圖像處理裝置具備圖像獲取單元，其將包含被攝體在內(nèi)的圖像的數(shù)據(jù)作為所述原圖像的數(shù)據(jù)來(lái)獲取， 將所述被攝體作為前景物體被粘貼的對(duì)象的圖像的數(shù)據(jù)作為合成用背景圖像的數(shù)據(jù)來(lái)獲?。缓铣捎们熬皥D像生成單元，其使用由所述圖像獲取單元獲取到的所述原圖像的數(shù)據(jù)、 和由所述加權(quán)平均濾波單元生成的所述濾波后α圖的數(shù)據(jù)，來(lái)生成包含所述被攝體在內(nèi)的合成用前景圖像的數(shù)據(jù)；和合成單元，其對(duì)由所述合成用前景圖像生成單元生成的所述合成用前景圖像的數(shù)據(jù)、 和由所述圖像獲取單元獲取到的所述合成用背景圖像的數(shù)據(jù)進(jìn)行合成。
8.一種圖像處理方法，是對(duì)原圖像的數(shù)據(jù)實(shí)施圖像處理的圖像處理裝置的圖像處理方法，該圖像處理方法具備加工步驟，對(duì)由原圖像的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)進(jìn)行加工，并將由該結(jié)果得到的各坐標(biāo)的像素值構(gòu)成的數(shù)據(jù)作為加工圖像的數(shù)據(jù)來(lái)生成；和濾波步驟，將通過(guò)所述加工步驟的處理作為數(shù)據(jù)來(lái)生成的所述加工圖像的各坐標(biāo)的每一個(gè)坐標(biāo)設(shè)為作為處理對(duì)象應(yīng)關(guān)注的關(guān)注坐標(biāo)，將包括所述關(guān)注坐標(biāo)在內(nèi)的多個(gè)坐標(biāo)的范圍設(shè)為濾波器窗口，通過(guò)對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波，來(lái)變換所述關(guān)注坐標(biāo)的像素值，其中，所述濾波步驟具備濾波器系數(shù)運(yùn)算步驟，使用與所述濾波器窗口內(nèi)的所述關(guān)注坐標(biāo)對(duì)應(yīng)的所述原圖像的坐標(biāo)的像素值、和與所述濾波器窗口內(nèi)的規(guī)定坐標(biāo)對(duì)應(yīng)的所述原圖像的坐標(biāo)的像素值，按所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)，來(lái)執(zhí)行計(jì)算所述規(guī)定坐標(biāo)中的濾波器系數(shù)的處理；和加權(quán)平均濾波步驟，使用通過(guò)所述濾波器系數(shù)運(yùn)算步驟的處理計(jì)算出的所述濾波器窗口內(nèi)的每一個(gè)坐標(biāo)的所述濾波器系數(shù)，對(duì)所述濾波器窗口的數(shù)據(jù)實(shí)施加權(quán)平均濾波。
全文摘要
本發(fā)明提供一種具有合成圖像的功能的圖像處理裝置及方法。濾波器系數(shù)運(yùn)算部(81)將包含初始α圖內(nèi)的關(guān)注坐標(biāo)(p)在內(nèi)的多個(gè)坐標(biāo)的范圍設(shè)為濾波器窗口，使用與濾波器窗口內(nèi)的關(guān)注坐標(biāo)(p)對(duì)應(yīng)的原圖像的坐標(biāo)的像素值(Ip)、和與濾波器窗口內(nèi)的坐標(biāo)(q)對(duì)應(yīng)的原圖像的坐標(biāo)的像素值(Iq)，按濾波器窗口內(nèi)的每一個(gè)坐標(biāo)來(lái)計(jì)算坐標(biāo)(q)中的濾波器系數(shù)(Kq)。即，生成由濾波器窗口內(nèi)的每一個(gè)坐標(biāo)的濾波器系數(shù)構(gòu)成的濾波器系數(shù)組。加權(quán)平均濾波化部(83)使用濾波器系數(shù)組，對(duì)濾波器窗口內(nèi)的各像素值實(shí)施加權(quán)平均濾波。
文檔編號(hào)G06T1/60GK102316270SQ20111018540
公開(kāi)日2012年1月11日 申請(qǐng)日期2011年7月4日 優(yōu)先權(quán)日2010年7月5日
發(fā)明者浜田玲 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社