專利名稱：圖像合成處理裝置及圖像合成處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像合成處理裝置及圖像合成處理方法。
背景技術(shù)：
已知一種圖像合成處理，該圖像合成處理將圖像進(jìn)行放大/縮小，并(通過用放大 /縮小后的圖像替換另一圖像的一部分)將放大/縮小后的圖像與另一圖像合成。在這種圖像合成處理中，如果背景圖像和前景圖像都采用YUV格式，則有時將包含替換顏色像素的前景圖像旋轉(zhuǎn)，并將旋轉(zhuǎn)后的前景圖像與背景圖像合成。在作為由亮度信號Y、藍(lán)色色差信號U和紅色色差信號V表示顏色的YUV系統(tǒng)之一的YUV422中，在相鄰的兩個水平像素之間共享色差信號U、V的信息，以降低數(shù)據(jù)量，同時防止圖像質(zhì)量的劣化。在作為另一 YUV系統(tǒng)的YUV444中，從每4個水平像素中抽樣亮度信號 Y和色差信號U、V。為了旋轉(zhuǎn)前景圖像并將旋轉(zhuǎn)后的前景圖像與背景圖像合成，將前景圖像從YUV422 格式轉(zhuǎn)換成YUV444格式，將經(jīng)過格式轉(zhuǎn)換的前景圖像旋轉(zhuǎn)，并將旋轉(zhuǎn)后的前景圖像從 YUV444格式轉(zhuǎn)換成YUV422格式。這時，由于像素插值處理，有時在前景圖像中的某些替換顏色像素與其他圖像數(shù)據(jù)像素之間會發(fā)生混色(color mix)。結(jié)果，在前景圖像與背景圖像之間的邊界處出現(xiàn)混色像素，使得前景圖像與背景圖像之間的邊界變得不清晰。通常，如果圖像數(shù)據(jù)像素與替換顏色像素之間的混色的程度小于閾值，則將混色像素分別視為替換顏色像素。迄今為止，已經(jīng)提出了一種方法，該方法通過使用算法等將混色像素轉(zhuǎn)換成替換顏色像素。還提出了一種圖像合成方法，其中，當(dāng)將具有透明部分的圖像放大/縮小并且將放大/縮小后的圖像與另一圖像合成時，執(zhí)行補(bǔ)充處理以防止合成的圖像變得不自然(例如，參見日本特開2009-94902號公報)。還提出了另一種圖像合成方法，其中在前景圖像中的替換顏色像素與圖像數(shù)據(jù)像素之間執(zhí)行插值，從而使前景圖像與背景圖像之間的邊界變得自然(例如參見日本特開平 5-120417 號公報)。在該方法中，從彩色圖像中提取要經(jīng)受調(diào)整或修改(以下稱為“調(diào)整”)的調(diào)整對象區(qū)域，指定調(diào)整中的目標(biāo)顏色，并將整個調(diào)整對象區(qū)域的顏色改變?yōu)槟繕?biāo)顏色。這時，除了用于調(diào)整對象區(qū)域的顏色調(diào)整以外，還對背景部分與調(diào)整對象區(qū)域之間的邊界執(zhí)行加法混色處理。結(jié)果，實(shí)現(xiàn)了自然的顏色調(diào)整或圖像合成，同時保持了原始圖像中的數(shù)據(jù)連續(xù)性，由此能夠防止在調(diào)整對象區(qū)域與其他區(qū)域之間的邊界處生成偽輪廓，使得圖像的特性不受到破壞。當(dāng)合成兩個圖像時，在兩個圖像的邊界處執(zhí)行顏色調(diào)整，使得合成的圖像變得自然。由于普通的數(shù)字相機(jī)等受到處理速度和存儲器容量方面的制約，因此以YUV422 格式執(zhí)行圖像處理。在YUV422格式下，色差信號U、V的信息在相鄰的兩個像素之間共享，因此，在從YUV422格式轉(zhuǎn)換成YUV444格式時執(zhí)行插值處理以生成各像素的UV數(shù)據(jù)。結(jié)果，在每兩個像素中出現(xiàn)混色。換言之，與以YUV444格式執(zhí)行圖像處理的情況相比，在以YUV422 格式執(zhí)行圖像處理的情況下，混色傾向于出現(xiàn)在前景圖像中的圖像數(shù)據(jù)像素與替換顏色像素之間的邊界處，從而無法生成清晰的合成圖像。

發(fā)明內(nèi)容
本發(fā)明提供一種圖像合成處理裝置和圖像合成處理方法，其能夠利用不需要特定硬件結(jié)構(gòu)和特定運(yùn)算處理的簡單的系統(tǒng)結(jié)構(gòu)，將前景圖像和背景圖像合成為顏色鮮明且自然的圖像，而不在前景圖像中的替換顏色像素與其他像素之間的邊界處產(chǎn)生混色。根據(jù)本發(fā)明的一個方面，提供了一種圖像合成處理裝置，其旋轉(zhuǎn)背景圖像和前景圖像中的至少一個，然后將前景圖像與背景圖像合成，所述圖像合成處理裝置包括第一圖像旋轉(zhuǎn)處理單元，其被構(gòu)造成將所述背景圖像，按與指示的旋轉(zhuǎn)方向相反的相反方向旋轉(zhuǎn)指示的旋轉(zhuǎn)角；合成處理單元，其被構(gòu)造成將旋轉(zhuǎn)后的背景圖像與原始的前景圖像合成，從而生成合成圖像；以及第二圖像旋轉(zhuǎn)處理單元，其被構(gòu)造成，將所述合成圖像按所述指示的旋轉(zhuǎn)方向旋轉(zhuǎn)所述指示的旋轉(zhuǎn)角。根據(jù)本發(fā)明，利用不需要特定硬件結(jié)構(gòu)和特定運(yùn)算處理的簡單的系統(tǒng)結(jié)構(gòu)，即使以YUV422格式執(zhí)行圖像處理，也能夠?qū)⑶熬皥D像和背景圖像合成為顏色鮮明且自然的圖像，而不在前景圖像中的替換顏色像素與其他像素之間的邊界處產(chǎn)生混色。通過下面參照附圖對示例性實(shí)施例的詳細(xì)說明，本發(fā)明的其他特征將變得清楚。


圖I是示出根據(jù)本發(fā)明一個實(shí)施例的數(shù)字相機(jī)的結(jié)構(gòu)的框圖；圖2A和圖2B是示出根據(jù)用于旋轉(zhuǎn)前景圖像并將旋轉(zhuǎn)后的前景圖像與背景圖像合成的指令而執(zhí)行的圖像合成處理的過程的流程圖；圖3是示出根據(jù)圖2A和圖2B的圖像合成處理而合成前景圖像和背景圖像的處理的圖；圖4是示出執(zhí)行圖2A和圖2B的圖像合成處理的數(shù)字相機(jī)的圖像處理器的結(jié)構(gòu)的框圖；圖5A和圖5B是示出根據(jù)用于縮放前景圖像并將縮放后的前景圖像與背景圖像合成的指令而執(zhí)行圖像合成處理的過程的流程圖；圖6是示出根據(jù)圖5A和圖5B的圖像合成處理而合成前景圖像和背景圖像的處理的圖；圖7是示出執(zhí)行圖5A和圖5B的圖像合成處理的圖像處理器的結(jié)構(gòu)的框圖。
具體實(shí)施例方式現(xiàn)在，參照示出了本發(fā)明優(yōu)選實(shí)施例的附圖，在下文中詳細(xì)說明本發(fā)明。圖I示出了根據(jù)本發(fā)明的一個實(shí)施例的用作圖像合成處理裝置的數(shù)字相機(jī)的結(jié)構(gòu)的框圖。在圖I中，數(shù)字相機(jī)100包括包含聚焦鏡頭的攝像鏡頭(taking lens) 103、具有光圈作用的快門101以及由例如將光學(xué)圖像轉(zhuǎn)換成電子信號的CCD或CMOS實(shí)現(xiàn)的圖像拍
5攝(pickup)設(shè)備22。防止包括攝像鏡頭103、快門101以及圖像拍攝設(shè)備22的圖像拍攝系統(tǒng)被污染或者損壞的遮擋器102布置在攝像鏡頭103的自由端。標(biāo)號23表示將從圖像拍攝設(shè)備22輸出的模擬信號轉(zhuǎn)換成數(shù)字信號的A/D轉(zhuǎn)換器，而標(biāo)號24表示對來自A/D轉(zhuǎn)換器23或者來自存儲器控制器15的數(shù)據(jù)進(jìn)行顏色轉(zhuǎn)換處理和光柵化處理(例如像素插值和縮小)的圖像處理器。圖像處理器24執(zhí)行基于拍攝的圖像數(shù)據(jù)的計算。基于該計算的結(jié)果，系統(tǒng)控制器50執(zhí)行例如曝光控制和距離測量控制，以進(jìn)行TTL-AF(through-the-lens auto-focus,經(jīng)由鏡頭的自動對焦)處理、 AE(automatic exposure,自動曝光)處理、EF(electronic flash,電子閃光)處理以及 TTL-AffB (through-the-lens auto-white balance,經(jīng)由鏡頭的自動白平衡)處理。將來自A/D轉(zhuǎn)換器23的輸出數(shù)據(jù)經(jīng)由圖像處理器24和存儲器控制器15或者經(jīng)由存儲器控制器15寫入(作為工作存儲器的)存儲器32。存儲器32存儲通過圖像拍攝設(shè)備22獲得、然后由A/D轉(zhuǎn)換器23轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)。存儲器32還用作存儲要在顯示單元28上顯示的圖像數(shù)據(jù)的視頻存儲器，并且具有足以存儲期望數(shù)量的靜態(tài)圖像和/ 或預(yù)定時間長度的動態(tài)圖像和/或預(yù)定時間長度的音頻數(shù)據(jù)的存儲容量。標(biāo)號13表示D/A轉(zhuǎn)換器，其將存儲在存儲器32中的用于顯示的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號，并將模擬信號提供給顯示單元28?；趤碜訢/A轉(zhuǎn)換器13的模擬信號，在顯示單元28的顯示設(shè)備(例如IXD)上進(jìn)行顯示。標(biāo)號56表示由非易失性存儲器(例如EEPR0M)實(shí)現(xiàn)的電可擦除可記錄的存儲器， 其存儲由系統(tǒng)控制器50為進(jìn)行操作而使用的常數(shù)、程序等。系統(tǒng)控制器50控制整個數(shù)字相機(jī)100，并執(zhí)行存儲在非易失性存儲器56中的程序，以實(shí)現(xiàn)稍后將描述的圖像合成處理。標(biāo)號52表示由例如RAM實(shí)現(xiàn)的系統(tǒng)存儲器，其用于展開系統(tǒng)控制器50為進(jìn)行操作而使用的常數(shù)和變量，以及展開從非易失性存儲器56讀取的程序等。系統(tǒng)控制器50還通過控制存儲器32、D/A轉(zhuǎn)換器13以及顯示單元28等來執(zhí)行顯示控制。數(shù)字相機(jī)100具有模式切換開關(guān)60、第一快門開關(guān)62、第二快門開關(guān)64以及操作單元70，用戶利用這些部件向系統(tǒng)控制器50輸入操作指令。模式切換開關(guān)60由用戶操作，來發(fā)出用于在靜態(tài)圖像記錄模式、動態(tài)圖像記錄模式、再現(xiàn)模式等之間改變系統(tǒng)控制器50的操作模式的指令。當(dāng)中途操作或者半按下數(shù)字相機(jī)100的快門按鈕(未示出)以發(fā)出拍照(photographing)準(zhǔn)備指令時,第一,決門開關(guān)62 被接通，以生成第一1決門開關(guān)信號SWl。當(dāng)輸入第一1決門開關(guān)信號SWl時,系統(tǒng)控制器50開始AF處理、AE處理、AffB處理、EF處理等。當(dāng)完全操作或者全按下快門按鈕以發(fā)出拍照指令時，第二快門開關(guān)64被接通，以生成第二快門開關(guān)信號SW2。當(dāng)輸入第二快門開關(guān)信號SW2時，系統(tǒng)控制器50開始從自圖像拍攝設(shè)備22的信號讀取到向記錄介質(zhì)200的圖像數(shù)據(jù)寫入的一系列拍照處理。操作單元70用作功能按鈕，各功能按鈕分配有適合于在用戶選擇了顯示單元28 上顯示的任一功能圖標(biāo)時的場合(scene)的功能。該功能按鈕包括結(jié)束按鈕、返回按鈕、 圖像轉(zhuǎn)變(shift)按鈕、跳躍(jump)按鈕、光圈步降(step-down)按鈕、屬性改變按鈕等。操作單元70具有由用戶用來向系統(tǒng)控制器50輸入指令的控制器輪(可以稱為所謂的觸摸輪)。
數(shù)字相機(jī)100具有電源開關(guān)72、電源控制器80以及電源單元30。電源控制器80 包括電池檢測電路、DC-DC轉(zhuǎn)換器、用于選擇相機(jī)100的要供應(yīng)電力的塊的開關(guān)電路等，并且檢測電池的裝/卸、電池類型以及電池余量。電源單元30由諸如堿性電池或鋰電池的原電池(一次電池)實(shí)現(xiàn)，或者由諸如鎳鎘(NiCd)電池、鎳氫(NiMH)電池或者鋰電池的可充電電池(二次電池)實(shí)現(xiàn)，或者由AC適配器實(shí)現(xiàn)。標(biāo)號18表示與記錄介質(zhì)200的接口。記錄介質(zhì)200是由例如半導(dǎo)體存儲器或者磁盤實(shí)現(xiàn)的存儲器卡等。接下來，將描述由數(shù)字相機(jī)100執(zhí)行的圖像合成處理。首先，對根據(jù)用于旋轉(zhuǎn)前景圖像并將旋轉(zhuǎn)后的前景圖像與背景圖像合成的指令來執(zhí)行的圖像合成處理進(jìn)行描述。圖2A 和圖2B是示出圖像合成處理的流程圖，圖3示出了將前景圖像與背景圖像合成的處理，而圖4以框圖的形式示出了圖像處理器24的結(jié)構(gòu)。當(dāng)用戶輸入用于將前景圖像旋轉(zhuǎn)指示的旋轉(zhuǎn)角(例如X度的角)并將旋轉(zhuǎn)后的前景圖像與背景圖像合成的指令時，圖像合成處理開始。在圖像合成處理中，存儲器控制器15根據(jù)用戶的指令識別背景圖像和前景圖像 (在圖3中分別示出為Rl和R4)，并在存儲器32中展開背景圖像Rl和前景圖像R4(步驟 SI)。接下來，存儲器控制器15讀取在存儲器32中展開的背景圖像Rl當(dāng)中的位于讀取區(qū)域(合成對象區(qū)域)中的背景圖像R2的像素中的一個像素，并將所讀取的像素提供給圖像處理器24的(圖4中示出的)第一旋轉(zhuǎn)單元G5 (步驟S2)。第一旋轉(zhuǎn)單元G5將輸入的背景圖像R2的像素從YUV422格式轉(zhuǎn)換為YUV444格式 (步驟S3)，將經(jīng)過格式轉(zhuǎn)換的像素旋轉(zhuǎn)負(fù)X度的角度(即，將所述像素按與所指示的旋轉(zhuǎn)方向相反的方向旋轉(zhuǎn)所指示的X度的旋轉(zhuǎn)角)，并且計算旋轉(zhuǎn)后的背景圖像像素的位置和像素值(步驟S4)。接下來，第一旋轉(zhuǎn)單元G5將旋轉(zhuǎn)后的背景圖像像素從YUV444格式轉(zhuǎn)換成YUV422格式，并輸出經(jīng)過格式轉(zhuǎn)換的像素(步驟S5)。存儲器控制器15將經(jīng)過格式轉(zhuǎn)換的背景圖像像素寫入到存儲器32中(步驟S6)， 并確定是否針對背景圖像R2的所有像素執(zhí)行了旋轉(zhuǎn)處理(步驟S7)。如果步驟S7的確定結(jié)果是“否”，則處理返回步驟S2，在步驟S2中將背景圖像R2的下一像素輸入第一旋轉(zhuǎn)單元G5。如果步驟S7的確定結(jié)果為“是”，則處理進(jìn)行到步驟S8。在步驟S8中，存儲器控制器15從存儲器32中讀取前景圖像R4的像素中的一個像素以及旋轉(zhuǎn)后的背景圖像R3的像素中的對應(yīng)像素，并將這些像素提供給圖4中示出的合成單元G6。合成單元G6將輸入的背景圖像R3的像素和輸入的前景圖像R4的像素，從YUV422 格式轉(zhuǎn)換成YUV444格式(步驟S9)，并確定前景圖像R4的像素是否是替換顏色像素R8中的任一個(步驟S10)。如果步驟SlO的確定結(jié)果為“否”，則處理進(jìn)行到步驟S12。如果步驟SlO的確定結(jié)果為“是”，則處理進(jìn)行到步驟SI I。在步驟Sll中，合成單元G6將背景圖像R3的像素從YUV444格式轉(zhuǎn)換成YUV422 格式。在步驟S12中，合成單元G6將前景圖像R4的像素從YUV444格式轉(zhuǎn)換成YUV422格式。在步驟S13中，合成單元G6將在步驟Sll中轉(zhuǎn)換成YUV422格式的背景圖像R3的像素，或者在步驟S12中轉(zhuǎn)換成YUV422的前景圖像R4的像素，寫入存儲器32中，作為合成圖像R5的像素。接下來，合成單元G6確定是否針對前景圖像R4的所有像素和背景圖像R3的所有對應(yīng)像素執(zhí)行了合成處理(步驟S14)。如果步驟S14的確定結(jié)果是“否”，則處理返回到步驟S8，在步驟S8中，將前景圖像R4的下一像素和旋轉(zhuǎn)后的背景圖像R3的下一對應(yīng)像素輸入合成單元G6。如果步驟S14的確定結(jié)果為“是”，則處理進(jìn)行到步驟S15。在步驟S15中，存儲器控制器15從存儲器32中讀取合成圖像R5的像素中的一個像素，并將所讀取的像素提供給圖4中示出的第二旋轉(zhuǎn)單元G8。第二旋轉(zhuǎn)單元G8將輸入的合成圖像R5的像素從YUV422格式轉(zhuǎn)換成YUV444格式 (步驟S16)，將該像素按所指示的旋轉(zhuǎn)方向旋轉(zhuǎn)所指示的X度的旋轉(zhuǎn)角，并計算旋轉(zhuǎn)后的合成圖像像素的位置和像素值(步驟S17)。接下來，第二旋轉(zhuǎn)單元G8將計算出的旋轉(zhuǎn)后的合成圖像R6的像素的像素值從 YUV444格式轉(zhuǎn)換成YUV422格式(步驟S18)，并且存儲器控制器15將經(jīng)過格式轉(zhuǎn)換的旋轉(zhuǎn)后的合成圖像R6的像素的像素值寫入存儲器32(步驟S19)。接下來，存儲器控制器15確定是否針對合成圖像R5的所有像素執(zhí)行了旋轉(zhuǎn)處理 (步驟S20)。如果步驟S20的確定結(jié)果是“否”，則處理返回到步驟S15，在步驟S15中，將合成圖像R5的下一像素提供給第二旋轉(zhuǎn)單元G8。如果步驟S20的確定結(jié)果為“是”，則處理進(jìn)行到步驟S21。在步驟S21中，存儲器控制器15從存儲器32讀取位于寫回(write-back)區(qū)域的背景圖像R2，并且將所讀取的背景圖像R2提供給圖4中示出的高頻檢測單元G3。高頻檢測單元G3對輸入的背景圖像R2執(zhí)行利用系統(tǒng)控制器50指定的截止頻率的HPF(High Pass Filter，高通濾波)處理，并將表示有無超過截止頻率的高頻分量的檢測結(jié)果輸出給系統(tǒng)控制器50 (步驟S22)。系統(tǒng)控制器50基于從高頻檢測單元G3輸入的檢測結(jié)果，確定背景圖像R2是否包括超過截止頻率的高頻分量(邊緣)(步驟S23)。如果步驟S23的確定結(jié)果為“否”，則系統(tǒng)控制器50將合成圖像R6寫在背景圖像Rl上，由此生成最終合成圖像R7 (步驟S29)，并完成圖像合成處理。另一方面，當(dāng)確定背景圖像R2包括高頻分量(即，如果步驟S23的確定結(jié)果為 “是”)時，存儲器控制器15讀取背景圖像Rl的像素中的一個像素，并將所讀取的像素提供給圖4中示出的濾波處理單元G2 (步驟S24)。濾波處理單元G2將輸入的像素從YUV422格式轉(zhuǎn)換為YUV444格式，并對經(jīng)過格式轉(zhuǎn)換的像素執(zhí)行利用系統(tǒng)控制器50指定的截止頻率的LPF(低通濾波)處理，并輸出經(jīng)過LPF處理的像素(步驟S25)。接下來，存儲器控制器15將經(jīng)過LPF處理的像素寫入存儲器32 (步驟S26)，并確定是否針對背景圖像Rl的所有像素執(zhí)行了 LPF處理(步驟S27)。如果步驟S27的確定結(jié)果為“否”，則處理返回步驟S24，在步驟S24中，將背景圖像Rl的下一像素提供給濾波處理單元G2。如果步驟S27的確定結(jié)果為“是”，則處理進(jìn)行到步驟S28。在步驟S28中，存儲器控制器15將合成圖像R6寫在經(jīng)過LPF處理的背景圖像Rl 上，由此生成最終合成圖像R7，從而完成圖像合成處理。如上所述，在圖2A和圖2B中的圖像合成處理中，不對前景圖像R4中的替換顏色像素R8執(zhí)行圖像處理。結(jié)果，防止了替換顏色像素R8混入合成圖像中，使得能夠生成具有明確邊界(sharp boundary)的合成圖像。此外，由于將從背景圖像Rl中提取的背景圖像 Rl的一部分(即，與前景圖像R4具有相同大小的背景圖像R2)與前景圖像R4合成，因此與將整個背景圖像Rl與前景圖像R4合成的情況相比，能夠提高圖像合成處理的速度。由于在通過旋轉(zhuǎn)從背景圖像Rl中提取的背景圖像R2、然后將旋轉(zhuǎn)后的背景圖像 R3與前景圖像R4合成而生成合成圖像R6時執(zhí)行的插值處理，降低了高頻分量對合成圖像 R6的貢獻(xiàn)。因此，如果在背景圖像Rl的圍繞背景圖像R2的部分中存在大量的高頻分量，則最終合成圖像R7中的背景圖像Rl與合成圖像R6之間的頻率分量差變大。結(jié)果，在最終合成圖像R7中的寫入了合成圖像R6的矩形區(qū)域的周邊變得可視性很高，導(dǎo)致圖像質(zhì)量的劣化。為了避免這一問題，在圖像合成處理中，如圖2B中的步驟S21至S26中所述，如果確定背景圖像R2包括超過HPF截止頻率的高頻分量(邊緣)，則對背景圖像Rl執(zhí)行LPF處理，從而降低背景圖像Rl的圍繞背景圖像R2的部分與合成圖像R6之間的頻率分量差。接下來，將對根據(jù)對前景圖像進(jìn)行縮放并將縮放后的前景圖像與背景圖像進(jìn)行合成的指令來執(zhí)行的圖像合成處理進(jìn)行描述。圖5A和圖5B是示出圖像合成處理的流程圖， 圖6示出了將前景圖像與背景圖像合成的處理，而圖7以框圖的形式示出了圖像處理器24 的結(jié)構(gòu)。該圖像合成處理是由系統(tǒng)控制器50，通過在系統(tǒng)存儲器52中展開存儲在非易失性存儲器56中的程序并通過執(zhí)行所展開的程序而實(shí)現(xiàn)的。當(dāng)用戶輸入了用于以預(yù)定倍率(例如，1/N倍縮小)縮放前景圖像并將縮放后的前景圖像與背景圖像合成的指令時，開始圖像合成處理。在圖像合成處理中，存儲器控制器15根據(jù)用戶的指令識別背景圖像和前景圖像 (在圖6中分別示出為Ql和Q4)，并在存儲器32中展開背景圖像Ql和前景圖像Q4(步驟 S50)。接下來，存儲器控制器15讀取在存儲器32中展開的背景圖像Ql之中的位于讀取區(qū)域(合成對象區(qū)域)中的背景圖像Q2的像素中的一個像素，并將所讀取的像素提供給圖像處理器24的第一縮放單元H5 (圖7中示出)(步驟S51)。第一縮放單元H5將輸入的背景圖像Q2的像素從YUV422格式轉(zhuǎn)換成YUV444格式 (步驟S52)，將經(jīng)過格式轉(zhuǎn)換的像素放大N倍，并計算放大后的背景圖像像素的像素值(步驟S53)。接下來，第一縮放單元H5將放大后的背景圖像像素從YUV444格式轉(zhuǎn)換成YUV422 格式，并輸出經(jīng)過格式轉(zhuǎn)換的像素(步驟S54)。存儲器控制器15將經(jīng)過格式轉(zhuǎn)換的背景圖像像素寫入存儲器32 (步驟S55)，并確定是否對背景圖像Q2的所有像素執(zhí)行了放大處理(步驟S56)。如果步驟S56的確定結(jié)果是“否”，則處理返回步驟S51，在步驟S51中，將背景圖像Q2的下一像素輸入第一縮放單元 H5。如果步驟S56的確定結(jié)果為“是”，則處理進(jìn)行到步驟S57。在步驟S57中，存儲器控制器15從存儲器32中讀取前景圖像Q4的像素中的一個像素和放大后的背景圖像Q3的像素中的對應(yīng)像素，并將這些像素提供給圖7中示出的合成單元H6。合成單元H6將輸入的背景圖像Q3的像素和輸入的前景圖像Q4的像素從YUV422 格式轉(zhuǎn)換成YUV444格式(步驟S58)。接下來，合成單元H6確定前景圖像Q4的像素是否是替換顏色像素Q8中的任一像素(步驟S59)。如果步驟S59的確定結(jié)果為“是”，則處理進(jìn)行到步驟S60，在步驟S60中將背景圖像Q3的像素從YUV444格式轉(zhuǎn)換成YUV422格式。另一方面，如果確定前景圖像Q4 的像素不是替換顏色像素Q8中的任一像素(即，如果步驟S59為“否”)，則處理進(jìn)行到步驟S61，在步驟S61中將前景圖像Q4的像素從YUV444格式轉(zhuǎn)換為YUV422格式。接下來，存儲器控制器15將在步驟S60中轉(zhuǎn)換成YUV422格式的背景圖像Q3的像素或者在步驟S61中轉(zhuǎn)換成YUV422格式的前景圖像Q4的像素寫入存儲器32中，作為合成圖像Q5的像素(步驟S62)。接下來，存儲器控制器15確定是否針對前景圖像Q4的所有像素和背景圖像Q3的所有像素執(zhí)行了合成處理(步驟S63)。如果步驟S63的確定結(jié)果為 “否”，則處理返回步驟S57，在步驟S57中將前景圖像Q4的下一像素和放大后的背景圖像 Q3的相應(yīng)下一像素輸入合成單元H6。如果步驟S63的確定結(jié)果為“是”，則處理進(jìn)行到步驟 S64，在步驟S64中存儲器控制器15從存儲器32中讀取合成圖像Q5的像素中的一個像素， 并將所讀取的像素提供給圖7中示出的第二縮放單元HS。第二縮放單元H8將輸入的合成圖像Q5的像素從YUV422格式轉(zhuǎn)換成YUV444格式 (步驟S65)，將像素縮小到1/N倍，并計算縮小后的合成圖像像素的像素值(步驟S66)。接下來，第二縮放單元H8將計算出的縮小后的合成圖像Q6的像素的像素值，從YUV444格式轉(zhuǎn)換成YUV422格式(步驟S67)。存儲器控制器15將經(jīng)過格式轉(zhuǎn)換的縮小后的合成圖像Q6的像素的像素值寫入存儲器32中(步驟S68)，并確定是否針對合成圖像Q5的所有像素執(zhí)行了縮小處理(步驟 S69)。如果步驟S69的確定結(jié)果為“否”，則處理返回步驟S64，在步驟S64中將合成圖像Q5 的下一像素提供給第二縮放單元HS。如果步驟S69的確定結(jié)果為“是”，則處理進(jìn)行到步驟 S70。在步驟S70中，存儲器控制器15從存儲器32中讀取位于寫回區(qū)域的背景圖像Q2， 并將所讀取的背景圖像Q2提供給高頻檢測單元H3。高頻檢測單元H3對輸入的背景圖像 Q2執(zhí)行利用系統(tǒng)控制器50指定的截止頻率的HPF處理，并向系統(tǒng)控制器50輸出表示有無超過截止頻率的高頻分量的檢測結(jié)果(步驟S71)。接下來，系統(tǒng)控制器50基于從高頻檢測單元H3輸入的檢測結(jié)果，確定背景圖像Q2 是否包括超過截止頻率的高頻分量(邊緣)(步驟S72)。如果步驟S72的確定結(jié)果為“否”， 則系統(tǒng)控制器50將合成圖像Q6寫在背景圖像Ql上(步驟S78)，并完成圖像合成處理。另一方面，當(dāng)確定背景圖像Q2包括高頻分量(即，如果步驟S72的確定結(jié)果為 “是”)時，存儲器控制器15讀取背景圖像Ql的像素中的一個像素，并將所讀取的像素提供給濾波處理單元H2 (步驟S73)。濾波處理單元H2將輸入的像素從YUV422格式轉(zhuǎn)換成 YUV444格式，對經(jīng)過格式轉(zhuǎn)換的像素執(zhí)行利用系統(tǒng)控制器50指定的截止頻率的LPF處理， 并輸出經(jīng)過LPF處理的像素(步驟S74)。接下來，存儲器控制器15將經(jīng)過LPF處理的像素寫入存儲器中(步驟S75)，并確定是否針對背景圖像Ql的所有像素執(zhí)行了 LPF處理(步驟S76)。如果步驟S76的確定結(jié)果為“否”，則處理返回步驟S73，在步驟S73中將背景圖像Ql的下一像素提供給濾波處理單元H2。如果步驟S76的確定結(jié)果為“是”，則處理進(jìn)行到步驟S77。在步驟S77中，存儲器控制器15將合成圖像Q6寫在經(jīng)過LPF處理的背景圖像Ql 上，由此生成最終合成圖像Q7，并完成圖像合成處理。如上所述，在圖5A和圖5B的圖像合成處理中，不對前景圖像Q4中的替換顏色像素Q8執(zhí)行圖像處理。因此，防止了替換顏色像素Q8混入合成圖像中，從而能夠生成具有明確邊界的合成圖像。以下是上述實(shí)施例的要點(diǎn)。在通過旋轉(zhuǎn)或放大/縮小前景圖像并通過用旋轉(zhuǎn)后的或放大后/縮小后的前景圖像替換背景圖像的一部分來將前景圖像與背景圖像合成的情況下，通常對前景圖像像素執(zhí)行插值處理。結(jié)果，在前景圖像中的替換顏色像素與其他像素 (圖像數(shù)據(jù)像素)之間的邊界處發(fā)生混色。在此情況下，在背景圖像與前景圖像之間的邊界處出現(xiàn)混色像素，使得邊界變得不清晰。為了避免這一問題，在本實(shí)施例的圖像合成處理裝置中，按與指示的旋轉(zhuǎn)方向相反的方向旋轉(zhuǎn)背景圖像，而不是按指示的旋轉(zhuǎn)方向旋轉(zhuǎn)前景圖像，或者，以指示的倍率縮小 /放大背景圖像，而不是以指示的倍率放大/縮小前景圖像。由于不對前景圖像執(zhí)行旋轉(zhuǎn)處理或放大/縮小處理，因此在前景圖像中的替換顏色像素與其他像素之間的邊界處不會產(chǎn)生由于插值處理而導(dǎo)致的混色，由此防止了在前景圖像與背景圖像之間的邊界處出現(xiàn)混色像素，從而防止邊界變得不清晰。接下來，按與指示的旋轉(zhuǎn)方向相反的方向旋轉(zhuǎn)背景圖像，或者以指示的倍率縮小/ 放大背景圖像，將所得到的背景圖像與原始前景圖像(即，未經(jīng)過旋轉(zhuǎn)處理或放大/縮小處理的前景圖像)合成以生成合成圖像，然后將該合成圖像按所示的方向旋轉(zhuǎn)或以指示的倍率放大/縮小，從而生成最終合成圖像。最終合成圖像等效于通過將背景圖像與按指示的方向旋轉(zhuǎn)后或者按指示的倍率放大/縮小后的前景圖像合成而生成的普通合成圖像。此外，與普通合成圖像不同的是，在前景圖像中的替換顏色像素和圖像數(shù)據(jù)像素之間不產(chǎn)生混色。因此，在最終合成圖像中前景圖像與背景圖像之間的邊界處不發(fā)生混色，使得最終合成圖像變得清晰。更具體地說，如果發(fā)出按預(yù)定的旋轉(zhuǎn)角旋轉(zhuǎn)前景圖像并將所得到的圖像與背景圖像合成的指令，則由第一圖像旋轉(zhuǎn)處理單元(第一旋轉(zhuǎn)單元G5)將背景圖像按與指示的旋轉(zhuǎn)方向相反的方向，旋轉(zhuǎn)所指示的旋轉(zhuǎn)角。如果發(fā)出按預(yù)定的倍率放大前景圖像并將所得到的圖像與背景圖像合成的指令，則由第一圖像縮放處理單元(第一縮放單元H5)以指示的縮放倍率縮小背景圖像。如果發(fā)出按預(yù)定的倍率縮小前景圖像并將所得到的圖像與背景圖像合成的指令，則由第一圖像縮放處理單元(第一縮放單元H5)以指示的倍率放大背景圖像。接下來，由合成處理單元(合成單元G6或H6)將旋轉(zhuǎn)后或放大后或縮小后的背景圖像與原始前景圖像合成，由此生成合成圖像。接下來，由第二圖像旋轉(zhuǎn)處理單元(第二旋轉(zhuǎn)單元G8)將合成圖像按指示的旋轉(zhuǎn)方向旋轉(zhuǎn)指示的旋轉(zhuǎn)角，或者由第二圖像縮放處理單元(第二縮放單元HS)將合成圖像以指示的倍率放大或縮小，從而生成最終合成圖像。為了提高圖像合成處理速度，不將整個背景圖像Rl或Ql與前景圖像R4或Q4合成，而僅將背景圖像Rl或Ql的與前景圖像尺寸相同的區(qū)域(即，僅將背景圖像R2或Q2) 與前景圖像R4或Q4合成。為此，由提取單元(存儲器控制器15和系統(tǒng)控制器50)從背景圖像Rl或Ql中提取背景圖像R2或Q2。如果在背景圖像R2或Q2中包含有圖像輪廓或邊界，則在通過將背景圖像R2或Q2 與前景圖像R4或Q4合成以生成合成圖像R6或Q6的過程中，降低與圖像輪廓或邊界對應(yīng)的高頻分量對合成圖像R6或Q6的貢獻(xiàn)。結(jié)果，在最終合成圖像R7或Q7中背景圖像Rl或
11Ql與合成圖像R6或Q6之間的邊界變得可視性非常高，導(dǎo)致圖像質(zhì)量的劣化。為了避免這一問題，通過高頻檢測單元(高頻檢測單元G3或H3)檢測在背景圖像 R2或Q2中有無高頻分量，如果確定存在高頻分量，則通過濾波處理單元對背景圖像Rl或 Ql執(zhí)行LPF(低通濾波)處理，并由寫回單元將合成圖像R6或Q6寫在經(jīng)過LPF處理的背景圖像Rl或Ql上，從而生成最終合成圖像R7或Q7，同時抑制了圖像質(zhì)量劣化。根據(jù)上述實(shí)施例，利用不需要特定硬件結(jié)構(gòu)和特定運(yùn)算處理的簡單的系統(tǒng)結(jié)構(gòu)， 能夠?qū)⑶熬皥D像和背景圖像合成為顏色鮮明且自然的最終合成圖像，而即使以YUV422格式執(zhí)行圖像處理，也不在前景圖像中的替換顏色像素與其他像素之間的邊界處產(chǎn)生混色。本發(fā)明可應(yīng)用于圖像合成(例如幻燈片放映、圖像再現(xiàn)以及印戳合成)用的各種圖像合成處理裝置。雖然參照示例性實(shí)施例對本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不局限于所公開的示例性實(shí)施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬泛解釋，以使所述范圍涵蓋所有的此類變型例以及等同結(jié)構(gòu)和功能。本申請要求于2010年10月7日提交的日本專利申請2010-227606號公報的優(yōu)先權(quán)，該申請的全部內(nèi)容通過引用并入本文。
權(quán)利要求
1.一種圖像合成處理裝置，其旋轉(zhuǎn)背景圖像和前景圖像中的至少一個，然后將前景圖像與背景圖像合成，所述圖像合成處理裝置包括第一圖像旋轉(zhuǎn)處理單元，其被構(gòu)造成將所述背景圖像，按與指示的旋轉(zhuǎn)方向相反的相反方向，旋轉(zhuǎn)指示的旋轉(zhuǎn)角；合成處理單元，其被構(gòu)造成將旋轉(zhuǎn)后的背景圖像與原始的前景圖像合成，從而生成合成圖像；以及第二圖像旋轉(zhuǎn)處理單元，其被構(gòu)造成將所述合成圖像按所述指示的旋轉(zhuǎn)方向旋轉(zhuǎn)所述指示的旋轉(zhuǎn)角。
2.根據(jù)權(quán)利要求1所述的圖像合成處理裝置，該圖像合成處理裝置還包括提取單元，其被構(gòu)造成從所述背景圖像中提取位于合成對象區(qū)域中的背景圖像部分；以及寫回單元，其被構(gòu)造成寫回由所述第二圖像旋轉(zhuǎn)處理單元旋轉(zhuǎn)的合成圖像， 其中，由所述第一圖像旋轉(zhuǎn)處理單元將所述提取單元提取的背景圖像部分按所述相反方向旋轉(zhuǎn)所述指示的旋轉(zhuǎn)角，由所述合成處理單元將旋轉(zhuǎn)后的背景圖像部分與原始的前景圖像合成，并且由所述寫回單元將通過由所述第二圖像旋轉(zhuǎn)處理單元將合成圖像按所述指示的旋轉(zhuǎn)方向旋轉(zhuǎn)所述指示的旋轉(zhuǎn)角而生成的圖像，寫回到整個背景圖像上。
3.根據(jù)權(quán)利要求1所述的圖像合成處理裝置，該圖像合成處理裝置還包括 高頻檢測單元，其被構(gòu)造成檢測所述背景圖像中有無高頻分量；以及濾波處理單元，其被構(gòu)造成在所述高頻檢測單元檢測到高頻分量的情況下，對所述背景圖像執(zhí)行低通濾波處理，其中，所述合成處理單元將原始的前景圖像與經(jīng)過了低通濾波處理的背景圖像合成。
4.根據(jù)權(quán)利要求1所述的圖像合成處理裝置，其中所述背景圖像和所述前景圖像中的至少一個是YUV422格式圖像。
5.一種圖像合成處理裝置，其對背景圖像和前景圖像中的至少一個執(zhí)行用于放大或縮小的縮放，然后將前景圖像與背景圖像合成，所述圖像合成處理裝置包括第一圖像縮放處理單元，其被構(gòu)造成按指示的倍率對所述背景圖像執(zhí)行逆縮放，其中， 在發(fā)出了用于放大前景圖像的指令的情況下，對背景圖像執(zhí)行縮小，而在發(fā)出了用于縮小前景圖像的指令的情況下，對背景圖像執(zhí)行放大；合成處理單元，其被構(gòu)造成將原始的前景圖像與經(jīng)過了所述逆縮放的背景圖像合成， 從而生成合成圖像；以及第二圖像縮放處理單元，其被構(gòu)造成按所述指示的倍率縮放所述合成圖像。
6.根據(jù)權(quán)利要求5所述的圖像合成處理裝置，該圖像合成處理裝置還包括提取單元，其被構(gòu)造成從所述背景圖像中提取位于合成對象區(qū)域中的背景圖像部分；以及寫回單元，其被構(gòu)造成寫回由所述第二圖像縮放處理單元縮放的合成圖像， 其中，由所述第一圖像縮放處理單元對所述提取單元提取的背景圖像部分進(jìn)行按所述指示的倍率執(zhí)行的所述逆縮放，由所述合成處理單元將經(jīng)過所述逆縮放的背景圖像部分與原始的前景圖像合成，并且由所述寫回單元將通過由所述第二圖像縮放處理單元對合成圖像按所述指示的倍率進(jìn)行縮放而生成的圖像，寫回到整個背景圖像上。
7.根據(jù)權(quán)利要求5所述的圖像合成處理裝置，該圖像合成處理裝置還包括 高頻檢測單元，其被構(gòu)造成檢測所述背景圖像中有無高頻分量；以及濾波處理單元，其被構(gòu)造成在所述高頻檢測單元檢測到高頻分量的情況下，對所述背景圖像執(zhí)行低通濾波處理，其中，所述合成處理單元將原始的前景圖像與經(jīng)過了低通濾波處理的背景圖像合成。
8.根據(jù)權(quán)利要求5所述的圖像合成處理裝置，其中所述背景圖像和所述前景圖像中的至少一個是YUV422格式圖像。
9.一種圖像合成處理方法，其旋轉(zhuǎn)背景圖像和前景圖像中的至少一個，然后將前景圖像與背景圖像合成，所述圖像合成處理方法包括以下步驟第一圖像旋轉(zhuǎn)處理步驟，將所述背景圖像，按與指示的旋轉(zhuǎn)方向相反的相反方向，旋轉(zhuǎn)指示的旋轉(zhuǎn)角；合成處理步驟，將旋轉(zhuǎn)后的背景圖像與原始的前景圖像合成，從而生成合成圖像；以及第二圖像旋轉(zhuǎn)處理步驟，將所述合成圖像按所述指示的旋轉(zhuǎn)方向旋轉(zhuǎn)所述指示的旋轉(zhuǎn)
10. 一種圖像合成處理方法，其對背景圖像和前景圖像中的至少一個執(zhí)行用于放大或縮小的縮放，然后將前景圖像與背景圖像合成，所述圖像合成處理方法包括以下步驟第一圖像縮放處理步驟，按與指示的倍率對所述背景圖像執(zhí)行逆縮放，其中，在發(fā)出了用于放大前景圖像的指令的情況下，對背景圖像執(zhí)行縮小，而在發(fā)出了用于縮小前景圖像的指令的情況下，對背景圖像執(zhí)行放大；合成處理步驟，將原始的前景圖像與經(jīng)過了所述逆縮放的背景圖像合成，從而生成合成圖像；以及第二圖像縮放處理步驟，按所述指示的倍率縮放所述合成圖像。
全文摘要
本發(fā)明提供圖像合成處理裝置及圖像合成處理方法。該圖像合成處理裝置能夠利用不需要特定的硬件結(jié)構(gòu)和特定的運(yùn)算處理的簡單的系統(tǒng)結(jié)構(gòu)，將前景圖像和背景圖像合成為顏色鮮明且自然的圖像，而不在前景圖像中的替換顏色像素與其他像素之間的邊界處產(chǎn)生混色。該圖像合成處理裝置的第一旋轉(zhuǎn)處理單元將所述背景圖像，按與指示的旋轉(zhuǎn)方向相反的方向旋轉(zhuǎn)預(yù)定的旋轉(zhuǎn)角，合成單元將在相反方向上旋轉(zhuǎn)后的背景圖像與原始的前景圖像合成為合成圖像，而旋轉(zhuǎn)單元將所述合成圖像按所述指示的旋轉(zhuǎn)方向旋轉(zhuǎn)預(yù)定的旋轉(zhuǎn)角，從而生成期望的圖像。
文檔編號G06T5/50GK102542546SQ20111030332
公開日2012年7月4日 申請日期2011年9月29日 優(yōu)先權(quán)日2010年10月7日
發(fā)明者佐藤佳宣, 森千里 申請人:佳能株式會社