專利名稱：圖像處理裝置以及電子設備的制作方法
技術領域：
本發(fā)明涉及進行圖像處理的圖像處理裝置以及具有圖像處理功能的電子設備。
背景技術：
在通過使用數(shù)碼相機的照片拍攝等得到的任意數(shù)字圖像中，有時包含不想要的傷痕(如傷痕似的模樣)或不想拍攝的不需要的物體。若使用圖像編輯軟件來編輯(修正)數(shù)字圖像，則能夠從數(shù)字圖像中去除這些不需要的目標(object)(不要的物體或模樣等)。圖18(a)的符號910表示出成為修正對象的數(shù)字圖像。在輸入圖像910中出現(xiàn)兩個人物911以及912。人物911是用戶的關注人物，人物912是對用戶而言不需要的目標。在圖像編輯軟件中，以使輸入圖像910在液晶顯示器等的顯示畫面中進行顯示的狀態(tài)，接收由用戶進行的編輯操作。用戶將輸入圖像910上人物912的圖像區(qū)域看作不要區(qū)域，使用適當?shù)奶畛渖珌磉M行對該不要區(qū)域進行填充的編輯操作。由此，用戶能夠得到去除不要 目標的所希望的圖像。圖18(b)表示編輯操作中的顯示圖像的樣子，符號913表示填充用的圖標(模擬筆的圖標)。在基于現(xiàn)有的圖像編輯軟件的方法中，需要全部通過手動進行上述編輯工作，非常麻煩。特別是在數(shù)碼相機等便攜型電子設備中，使用小型監(jiān)視器以及十字光標來進行上述細微的編輯工作是非常困難的。此外，在下述專利文獻I以及2中，雖然提出有去除圖像上的臉的斑點或皺紋的方法，但在該方法中，無法應對斑點或皺紋以外的不需要的目標去除。此外，也開發(fā)有如下所示的圖像處理軟件(參照下述非專利文獻I以及2)。包含圖33所示的人物921 923的圖像的輸入圖像920提供給該圖像處理軟件，當用戶捕獲到人物923作為不要目標時，用戶通過用戶界面來指定輸入圖像920中的不要區(qū)域(不要目標存在的區(qū)域)AA。如此，該圖像處理軟件，如圖34(a)所示，自動地選擇小區(qū)域BB，并使用小區(qū)域BB內(nèi)的信號來生成結果圖像930 (參照圖34(b))。在結果圖像930中，去除在不要區(qū)域AA內(nèi)存在的不要目標。然而，對基于圖像處理軟件的小區(qū)域BB的選擇方法而言，有時會生成與用戶的意圖相異的結果圖像。例如，若選擇如圖35(a)所示的包含人物922的小區(qū)域BB'作為小區(qū)域BB，則得到如人物922的圖像數(shù)據(jù)被反映到小區(qū)域AA的結果圖像930'(參照圖35(b))，即，得到如將同一人物922重復放映出似的結果圖像930'。應極力避免輸出這樣與用戶的意圖相異的結果圖像?，F(xiàn)有技術文獻專利文獻專利文獻I JP特開2009-20834號公報專利文獻2 JP特開2009-182423號公報非專利文獻I 'Photoshop CS5 :與內(nèi)容相應的涂抹(コンテンッに応じた塗り)”，[online]，平成22年5月，Adva-Soft，[平成22年12月14日檢索]，互聯(lián)網(wǎng)くURLhttp://www. adobe, com/ip/ioc/photoshop/photoshop/whatsnew/whatsnew 05.html>非專利文獻2 :“Touch Retouch”，“online”，平成 22 年，Adva-Soft，“檢索平成 22年 12 月 14 日，，，互聯(lián)網(wǎng)〈URL http: //iphotomania. com/applications. html>

發(fā)明內(nèi)容
發(fā)明的概要
發(fā)明所要解決的技術問題因此，本發(fā)明的目的在于，提供一種能夠容易地修正輸入圖像的對象區(qū)域內(nèi)的圖像的圖像處理裝置以及電子設備。此外，本發(fā)明的目的在于，提供ー種有助于生成按照用戶的意圖的修正結果的圖像處理裝置以及電子設備。本發(fā)明的圖像處理裝置，具有對第一輸入圖像中所包含的對象區(qū)域內(nèi)的圖像進行修正的修正部，所述修正部具有修正處理部，其使用與所述第一輸入圖像相同或不同的第ニ輸入圖像中所包含的修正用區(qū)域內(nèi)的圖像來修正所述對象區(qū)域內(nèi)的圖像；和修正用區(qū)域提取部，其根據(jù)所述對象區(qū)域的圖像數(shù)據(jù)，從所述第二輸入圖像中提取所述修正用區(qū)域。若根據(jù)圖像數(shù)據(jù)自動地提取用于修正對象區(qū)域內(nèi)的圖像的修正用區(qū)域，則會減輕用戶的作業(yè)負擔，使對象區(qū)域內(nèi)的圖像的修正變得容易。具體而言，例如，所述修正部還具有提取禁止區(qū)域設定部，其根據(jù)所賦予的操作，在所述第二輸入圖像內(nèi)設定提取禁止區(qū)域，所述修正用區(qū)域提取部從所述第二輸入圖像中的所述提取禁止區(qū)域以外的圖像區(qū)域提取所述修正用區(qū)域。若根據(jù)圖像數(shù)據(jù)自動地提取用于修正對象區(qū)域內(nèi)的圖像的修正用區(qū)域，則會減輕用戶的作業(yè)負擔，使對象區(qū)域內(nèi)的圖像的修正變得容易。而且，通過設置提取禁止區(qū)域的設定功能，可避免提取與用戶的意圖相反的修正用區(qū)域，其結果是，能夠得到按照用戶的意圖的修正結果。更具體而言，例如，所述修正部還具有對象區(qū)域設定部，其指定所述第一輸入圖像中所包含的不要區(qū)域，并將包含該不要區(qū)域的圖像區(qū)域設定為所述對象區(qū)域，所述修正用區(qū)域提取部通過將所述對象區(qū)域內(nèi)的所述不要區(qū)域以外的圖像區(qū)域即剩余部分區(qū)域的圖像數(shù)據(jù)與所述第二輸入圖像的圖像數(shù)據(jù)進行對比，從所述第二輸入圖像中檢測并提取所述修正用區(qū)域。更具體而言，例如，所述修正用區(qū)域提取部從所述第二輸入圖像內(nèi)捜索具有與所述剩余部分區(qū)域的圖像特征相似的圖像特征的圖像區(qū)域，并從所述第二輸入圖像中提取包含所捜索到的圖像區(qū)域的圖像區(qū)域作為所述修正用區(qū)域。若通過搜索不包含不要區(qū)域的剰余部分區(qū)域的相似區(qū)域來設定修正用區(qū)域，則能夠不受不要目標的影響地提取適合去除不要目標的修正用區(qū)域。此外，例如，可以使用與該圖像處理裝置連接的顯示部，明示所述修正用區(qū)域。此外，例如，在基于所述修正處理部進行的修正的執(zhí)行過程中或執(zhí)行后指示了重新執(zhí)行所述修正時，所述修正用區(qū)域提取部從所述第二輸入圖像中提取與已經(jīng)提取出的修正用區(qū)域不同的圖像區(qū)域作為新的修正用區(qū)域，所述修正處理部使用新提取的修正用區(qū)域內(nèi)的圖像，來修正所述對象區(qū)域內(nèi)的圖像。此外，例如，上述圖像處理裝置，當在所述第二輸入圖像內(nèi)存在多個具有與所述剩余區(qū)域的圖像特征相似的圖像特征的圖像區(qū)域時，可以從該多個圖像區(qū)域中，按照外部操作來選擇所述修正用區(qū)域所應包含的圖像區(qū)域。此外，例如，所述修正用區(qū)域提取部，在所述對象區(qū)域內(nèi)不包含人物的臉的圖像時，可以利用從所述第二輸入圖像中檢測人物的臉的圖像的臉檢測處理的結果，來檢測所述修正用區(qū)域。此外，例如，所述修正處理部，可以通過以所設定的混合比率混合所述對象區(qū)域的圖像數(shù)據(jù)與所述修正用區(qū)域的圖像數(shù)據(jù)，對所述對象區(qū)域內(nèi)的圖像進行修正。此外，例如，所述修正處理部，可以通過由所設定的混合比率混合所述對象區(qū)域的圖像數(shù)據(jù)與所述修正用區(qū)域的圖像數(shù)據(jù)來修正所述對象區(qū)域內(nèi)的圖像，并根據(jù)所述剩余部區(qū)域的圖像特征與所述修正用區(qū)域所包含的圖像區(qū)域的圖像特征的相似度來設定所述混合比率。
此外，例如，上述圖像處理裝置，可以按照用于調(diào)整所述混合比率的調(diào)整操作來調(diào)整所述混合比率。此外，例如，所述修正處理部，可以通過個別執(zhí)行以彼此不同的多個混合比率混合所述對象區(qū)域的圖像數(shù)據(jù)與所述修正用區(qū)域的圖像數(shù)據(jù)的處理，來生成多個修正候補圖像，并使顯示部顯示所述多個修正候補圖像，根據(jù)來自外部的選擇操作來選擇所述多個修正候補圖像中的ー個，且使用與所選擇的修正候補圖像對應的混合比率來修正所述對象區(qū)域內(nèi)的圖像。此外，例如，所述修正部，除了作為第一修正處理部的所述修正處理部以外，還具有第二修正處理部，其使用用于縮小所述不要區(qū)域的膨脹處理來修正所述對象區(qū)域內(nèi)的圖像，所述修正部根據(jù)所述不要區(qū)域的形狀，選擇性地使用所述第一及第ニ修正處理部，來修正所述對象區(qū)域內(nèi)的圖像。由此，能夠進行與不要區(qū)域的形狀相應的適合的修正。此外，例如，所述修正部還具有不要區(qū)域設定部，其接收指定位置的輸入，以所述指定位置被包含于所述不要區(qū)域的方式，基于所述指定位置和所述第一輸入圖像的圖像數(shù)據(jù)來設定所述不要區(qū)域。由此，可謀求減輕用戶的操作負擔。此外，例如，所述修正處理部可以分多次階段性地執(zhí)行針對所述對象區(qū)域內(nèi)的圖像的修正，且向顯示部依次輸出通過執(zhí)行階段性修正而得到的多個修正結果圖像。此外，例如，所述修正處理部可以分多次階段性地執(zhí)行針對所述對象區(qū)域內(nèi)的圖像的修正，且向顯示部同時輸出通過執(zhí)行階段性修正而得到的多個修正結果圖像。本發(fā)明的電子設備，具有上述圖像處理裝置。本發(fā)明的其它電子設備，具有圖像處理裝置，其具有對第一輸入圖像中所包含的對象區(qū)域內(nèi)的圖像進行修正的修正部；顯示部，其顯示所述第一輸入圖像的全部或一部分；和操作部，其接收指定所述第一輸入圖像中所包含的不要區(qū)域的不要區(qū)域指定操作，并接收指示所述不要區(qū)域內(nèi)的圖像的修正的修正指示操作，所述修正部具有對象區(qū)域設定部，其將包含所述不要區(qū)域的圖像區(qū)域設定為所述對象區(qū)域；修正處理部，其使用與所述第一輸入圖像相同或不同的第二輸入圖像中所包含的修正用區(qū)域內(nèi)的圖像來修正所述對象區(qū)域內(nèi)的圖像；和修正用區(qū)域提取部，其根據(jù)所述對象區(qū)域的圖像數(shù)據(jù)從所述第二輸入圖像提取所述修正用區(qū)域，所述修正部根據(jù)所述修正指示操作來修正所述對象區(qū)域內(nèi)的圖像，在進行了該修正時，所述顯示部顯示修正后的對象區(qū)域內(nèi)的圖像。若根據(jù)圖像數(shù)據(jù)自動地提取用于修正對象區(qū)域內(nèi)的圖像的修正用區(qū)域，則會減輕用戶的作業(yè)負擔，使對象區(qū)域內(nèi)的圖像的修正變得容易。具體而言，例如，所述修正部還具有提取禁止區(qū)域設定部，其根據(jù)對所述操作部進行的提取禁止區(qū)域指定操作，在所述第二輸入圖像內(nèi)設定提取禁止區(qū)域，所述修正部根據(jù)所述修正指示操作來修正所述對象區(qū)域內(nèi)的圖像，在進行了該修正時，所述顯示部顯示修正后的對象區(qū)域內(nèi)的圖像，所述修正用區(qū)域提取部從所述第二輸入圖像中的所述提取禁止區(qū)域以外的圖像區(qū)域提取所述修正用區(qū)域。若根據(jù)圖像數(shù)據(jù)自動地提取用于修正對象區(qū)域內(nèi)的圖像的修正用區(qū)域，則會減輕用戶的作業(yè)負擔，使對象區(qū)域內(nèi)的圖像的修正變得容易。而且，通過設置提取禁止區(qū)域的設定功能，可避免提取與用戶的意圖相反的修正用區(qū)域，其結果是，能夠得到按照用戶的意圖 的修正結果。此外，在上述其它電子設備中，所述修正部除了作為第一修正處理部的所述修正處理部以外，還具有第二修正處理部，其使用用于縮小所述不要區(qū)域的膨脹處理來修正所述對象區(qū)域內(nèi)的圖像，當進行了所述修正指示操作時，可以根據(jù)所述不要區(qū)域的形狀，選擇性地使用所述第一及第ニ修正處理部來修正所述對象區(qū)域內(nèi)的圖像。發(fā)明效果根據(jù)本發(fā)明，提供一種能夠容易地修正輸入圖像的對象區(qū)域內(nèi)的圖像的圖像處理裝置以及電子設備。本發(fā)明的意義、效果，通過以下所示的實施方式的說明會更加明確。然而，以下的實施方式，也只是本發(fā)明的一個實施方式，本發(fā)明、各結構要件的用語的意義，不局限于以下實施方式所記載的內(nèi)容。


圖I是表示本發(fā)明的實施方式的攝像裝置的整體結構的方框圖。圖2是表示本發(fā)明的實施方式的由輸入圖像生成輸出圖像的圖像修正部的圖。圖3是表示ニ維圖像與ニ維坐標系XY的關系的圖。圖4是表示針對圖2的圖像修正部的輸入圖像的示例的圖。圖5是表示圖4的輸入圖像的一部分即修正對象區(qū)域內(nèi)的圖像的圖(a)、與表示由該圖像生成的掩蔽圖像的圖(b)。圖6是表示上述掩蔽圖像的相似區(qū)域的圖(a)、與表示包含該相似區(qū)域的修正補丁區(qū)域的圖(b)。圖7是表示基于圖4的輸入圖像的輸出圖像的示例的圖。圖8是在輸入圖像上表示出檢測出多個上述掩蔽圖像的相似區(qū)域時所設定的多個修正補丁區(qū)域候補的圖(a)，與表示在顯示圖像上強調(diào)該多個修正補丁區(qū)域候補的樣子的圖(b)。圖9是表示使圖像數(shù)據(jù)混合的系數(shù)(kMIX)變化時的修正對象圖像的修正結果變化的圖。
圖10是表示放大顯示修正對象區(qū)域內(nèi)的圖像時的顯示畫面的樣子的圖。圖11是表示放大顯示修正對象區(qū)域內(nèi)的圖像時，通過用戶進行觸摸面板調(diào)整操作的樣子的圖。圖12是不要目標去除模式中的圖I的攝像裝置的動作流程圖。圖13是表示不要區(qū)域與修正對象區(qū)域的關系的圖。圖14是用于說明修正對象區(qū)域內(nèi)的關注像素位置與修正對象區(qū)域的外周之間的距離的圖。圖15是表示上述距離與圖像數(shù)據(jù)混合的系數(shù)的關系示例的圖。圖16是圖12所示的調(diào)整處理的詳細流程圖。
圖17是圖I所示的圖像修正部的內(nèi)部方框圖。圖18是用于說明基于現(xiàn)有的圖像編輯軟件的不要目標去除方法的圖。圖19是用于說明本發(fā)明的第二實施方式的不要區(qū)域指定操作的圖。圖20是表示本發(fā)明的第三實施方式的輸入圖像內(nèi)的指定位置的圖。圖21是用于說明本發(fā)明的第三實施方式的后頭部檢測處理的圖。圖22是用于說明本發(fā)明的第三實施方式的線檢測處理的圖。圖23是用于說明本發(fā)明的第三實施方式的移動物體檢測處理的圖。圖24是用于說明本發(fā)明的第三實施方式的告示牌檢測處理的圖。圖25是用于說明本發(fā)明的第三實施方式的黒痣檢測方法的圖。圖26是本發(fā)明的第三實施方式的不要區(qū)域的設定動作流程圖。圖27是本發(fā)明的第四實施方式的不要目標去除狀態(tài)中的攝像裝置的動作流程圖。圖28是表示本發(fā)明的第四實施方式的依次顯示多個修正結果圖像的樣子的圖。圖29是表示本發(fā)明的第四實施方式的同時顯示多個修正結果圖像的樣子的圖。圖30是表示本發(fā)明的第四實施方式的顯示畫面的顯示內(nèi)容示例的圖。圖31是表示本發(fā)明的第四實施方式的顯示畫面的顯示內(nèi)容例的圖。圖32是用于說明本發(fā)明的第四實施方式的修正的再試行的圖。圖33是表示針對現(xiàn)有的其它圖像編輯軟件的輸入圖像的圖。圖34是用于說明基于現(xiàn)有的其它圖像編輯軟件的不要目標去除方法的圖。圖35是用于說明基于現(xiàn)有的其它圖像編輯軟件的不要目標去除方法的圖。圖36是用于說明本發(fā)明的第二十五實施方式的不要目標去除方法的圖。圖37是表示本發(fā)明的第二十五實施方式的提取禁止區(qū)域設定部的圖。圖38是本發(fā)明的第二十五實施方式的圖像修正部的內(nèi)部方框圖。圖39是本發(fā)明的第二十五實施方式的攝像裝置的動作流程圖。
具體實施例方式以下，參照附圖對本發(fā)明的每個實施方式具體地進行說明。在所參照的各圖中，對相同部分賦予相同符號，作為原則而省略與相同部分相關的重復說明?！兜谝粚嵤┓绞健穼Ρ景l(fā)明的第一實施方式進行說明。圖I是表示本發(fā)明的第一實施方式的攝像裝置I的整體結構的方框圖。攝像裝置I具有由符號11 18所參照的各部位。攝像裝置I是能夠拍攝靜止圖像以及動態(tài)圖像的數(shù)碼攝像機。然而，攝像裝置I也可以是只能拍攝靜止圖像的數(shù)碼照相機。此外，顯示部16也可以解釋為是在與攝像裝置I不同的顯示裝置等中所設置的顯示部。攝像部11通過使用攝像元件進行被攝體的拍攝，來獲取被攝體的圖像的圖像數(shù)據(jù)。具體而言，攝像部11具有攝像元件，該攝像元件由未圖示的光學系統(tǒng)、光圈、以及 CCD (Charge Coupled Device :電荷稱合兀件)或 CMOS (Complementary Metal OxideSemiconductor :互補金屬氧化物半導體)圖像傳感器等構成。該攝像元件對經(jīng)由光學系統(tǒng)以及光圈入射的表示被攝體的光學像進行光電轉換，輸出由該光電轉換得到的模擬電信號。未圖示的AFE (Analog Front End :模擬前端)放大從攝像元件輸出的模擬信號并轉換為數(shù)字信號。所得到的數(shù)字信號，作為被攝體的圖像的圖像數(shù)據(jù)，被記錄在由SDRAM (Synchronous Dynamic Random Access Memory :同步動態(tài)隨機存儲器)等形成的圖像存儲器12中。將由記錄在圖像存儲器12中的ー幀周期的圖像數(shù)據(jù)所表示的一張圖像稱為幀圖 像。此外，在本說明書中，有時將圖像數(shù)據(jù)簡稱為圖像。此外，有時將針對某像素的圖像數(shù)據(jù)稱為像素信號。像素信號，例如，由表示像素的明亮度的亮度信號以及表示像素顔色的色差信號構成。攝像控制部13，根據(jù)用戶的指示或幀圖像的圖像數(shù)據(jù)，來調(diào)節(jié)攝像部11的視角(焦距)以及焦點位置和對攝像元件的入射光量。圖像處理部14，對幀圖像進行規(guī)定的圖像處理(解拼處理、降噪處理、邊緣強調(diào)處理等)。記錄介質(zhì)15，由非易失性的半導體存儲器或磁盤等構成，且記錄上述圖像處理后的幀圖像的圖像數(shù)據(jù)或上述圖像處理前的幀圖像的圖像數(shù)據(jù)等。顯示部16是由液晶顯示面板等構成的顯示裝置，進行幀圖像等的顯示。操作部(操作接收部)17，接受由用戶進行的操作。對操作部17的操作內(nèi)容被傳輸給主控制部18。主控制部18按照對操作部17進行的操作內(nèi)容，統(tǒng)ー控制攝像裝置I內(nèi)的各部位的動作。在顯示部16中設置有所謂觸摸面板功能，用戶能夠通過由操作體觸碰顯示部16的顯示畫面，來完成觸摸面板操作。所謂操作體，是指手指或規(guī)定的觸摸筆。觸摸面板功能的實現(xiàn)與操作部17有關，在本實施方式中，認為觸摸面板操作也是ー種對操作部17的操作(在后述的其它實施方式中也同樣)。操作部17通過依次檢測出顯示畫面上被操作體觸碰的位置，來確認由用戶進行的觸摸面板操作的內(nèi)容。此外，以下說明中的顯示以及顯示畫面，若無特別說明，則是指顯示部16中的顯示以及顯示畫面，以下的說明中的所謂操作，若無特別說明，則是指操作部17的操作。在圖像處理部14中，設置有圖像修正部(修正部)30。如圖2所示，圖像修正部30具有修正輸入圖像的功能，將已修正的輸入圖像生成為輸出圖像。輸入圖像可以是被記錄在記錄介質(zhì)15中的圖像(由攝像部11的拍攝所得到的圖像)，也可以是由攝像裝置I以外的裝置提供的圖像(例如，位于遠處的文件服務器的記錄圖像)。本說明書所述的圖像，若無特別說明，則為ニ維圖像。此外，如圖3所示,定義配置任意ニ維圖像300的空間區(qū)域(spatial domain)的ニ維坐標系XY。ニ維圖像300，例如，是上述輸入圖像、輸出圖像。X軸以及Y軸是沿著ニ維圖像300的水平方向以及垂直方向的軸。ニ維圖像300，分別在水平方向以及垂直方向上以矩陣狀排列而形成多個像素，且以(X，y)表示ニ維圖像300上的某個像素即像素301的位置。在本說明書中，將像素的位置簡稱為像素位置。X以及y分別是像素301的X軸以及Y軸方向的坐標值。此外，在本說明書中，有時也以U，y)參照在像素位置U，y)所配置的像素。在ニ維坐標系XY中，若某像素的位置向右側偏移I像素，則該像素的X軸方向上的坐標值増大1，若某像素的位置向下側偏移I像素，則該像素的Y軸方向上的坐標值増大I。因此，當像素301的位置為(x，y)時，與像素301的右側、左側、下側以及上側相鄰的像素的位置，分別以(x+1，y)、(x-1，y)、(x，y+1)以及(x，y-1)表示。[輸入圖像的修正方法]若從開始說明，則在圖像修正部30中，自動地檢測出與在輸入圖像中存在的不要目標的圖像區(qū)域相似、且不包含不要目標的圖像區(qū)域，通過使用檢測區(qū)域作為修正補丁區(qū)域來修正不要目標的圖像區(qū)域(單純而言，通過以修正補丁區(qū)域置換不要目標的圖像區(qū)域)生成輸出圖像。由圖像修正部30進行的修正處理，通過在顯示部再現(xiàn)顯示記錄介質(zhì)15 所記錄的圖像等的再現(xiàn)模式來執(zhí)行。以下的說明，若無特別說明，則是再現(xiàn)模式中的攝像裝置I的動作說明。詳細說明輸入圖像的修正方法。圖4的符號310表示出成為修正對象的輸入圖像。輸入圖像310在顯示部16中顯示。假設對用戶而言，不要的物體或模樣等在輸入圖像310中已存在，且用戶希望從輸入圖像310中排除該不要的物體或模樣等。將不要的物體或模樣等稱為不要目標。將存在有不要目標的圖像數(shù)據(jù)的圖像區(qū)域稱為不要區(qū)域。不要區(qū)域是輸入圖像的整個圖像區(qū)域的一部分，是包含不要目標的封閉的區(qū)域。如圖4所示，在輸入圖像310中出現(xiàn)兩個人物311以及312。人物311是用戶的關注人物，人物312對用戶而言成為不要目標。此時，用戶對操作部17進行指定不要區(qū)域的不要區(qū)域指定操作。在進行不要區(qū)域指定操作時，在顯示畫面上顯示輸入圖像310的整體?；蛘?，在顯示畫面上以放大顯示不要目標的方式顯示輸入圖像310的一部分。用戶為了易于指定不要區(qū)域，能夠借助操作部17對攝像裝置I指示應該進行該放大顯示。能夠通過觸摸面板操作來實現(xiàn)不要區(qū)域指定操作。例如，能夠通過使用操作體指定顯示作為不要目標的人物312的位置來指定不要區(qū)域。圖像修正部30在指定了人物312的顯示位置時，能夠使用基于輸入圖像310的圖像數(shù)據(jù)的公知的輪廓跟蹤等來提取人物312的輪廓，并設定由人物312的輪廓包圍的圖像區(qū)域作為不要區(qū)域。然而，也能夠由用戶直接指定不要區(qū)域的輪廓。此外，也能夠通過觸摸面板操作以外的操作(例如，對操作部17所設置的十字鍵進行的操作)，進行不要區(qū)域指定操作。圖像修正部30，若進行不要區(qū)域指定操作，則設定包含不要區(qū)域的圖像區(qū)域作為修正對象區(qū)域。不要區(qū)域是修正對象區(qū)域的一部分。修正對象區(qū)域的設定，不取決于用戶的操作而自動進行。然而，用戶也可以指定修正對象區(qū)域的位置以及大小。在圖4中，以虛線包圍的區(qū)域是修正對象區(qū)域320，在圖5 (a)中，表示修正對象區(qū)域320內(nèi)的圖像即修正對象圖像321。當前，不要區(qū)域的輪廓就是人物312的輪廓。在設定修正對象區(qū)域320之后，圖像修正部30，生成僅遮蔽了修正對象區(qū)域320內(nèi)的不要區(qū)域的部分的圖像作為掩蔽圖像322。圖5(b)是掩蔽圖像322示意圖。在圖5(b)中斜線區(qū)域表示進行了遮蔽的區(qū)域。雖然能夠將修正對象區(qū)域320分解為不要區(qū)域和其以外的圖像區(qū)域(剰余區(qū)域)，但僅由后者的圖像區(qū)域的圖像數(shù)據(jù)形成的圖像(開孔ニ維圖像)是掩蔽圖像322。在設定掩蔽圖像322之后，圖像修正部30，使用基于掩蔽圖像322的圖像數(shù)據(jù)與輸入圖像310的圖像數(shù)據(jù)(其中，修正對象區(qū)域320以外的圖像數(shù)據(jù))的對比的圖像匹配等，從輸入圖像310內(nèi)捜索具有與掩蔽圖像322相似的圖像的圖像區(qū)域(以下，稱為與掩蔽圖像322的相似區(qū)域)。即例如，使用掩蔽圖像322作為模板，從輸入圖像310內(nèi)捜索具有與掩蔽圖像322的圖像特征相似的圖像特征的圖像區(qū)域。然后，從輸入圖像310提取搜索到的包含相似區(qū)域的圖像區(qū)域作為修正補丁區(qū)域(修正用區(qū)域)。例如，在輸入圖像310上設定與掩蔽圖像322的圖像區(qū)域具有相同大小以及形狀的評價區(qū)域，并求出掩蔽圖像322內(nèi)的圖像信號與評價區(qū)域內(nèi)的像素信號的SSD(Sum ofSquared Difference)或 SAD (Sum of Absolute Difference),根據(jù) SSD 或 SAD,確定掩蔽圖像322和評價區(qū)域間的相似度(若換言之，掩蔽圖像322與評價區(qū)域內(nèi)的圖像的相似度)。 相似度隨著SSD或SAD增加而減少，隨著SSD或SAD減少而增加。當在掩蔽圖像322和評價區(qū)域的對應像素間求出掩蔽圖像322內(nèi)的像素信號(例如亮度值)與評價區(qū)域內(nèi)的像素信號(例如亮度值)之差的平方時，針對掩蔽圖像322的全體像素所求出的平方的合計值為SSD。當在掩蔽圖像322和評價區(qū)域的對應像素值間求出掩蔽圖像322內(nèi)的像素信號(例如亮度值)與評價區(qū)域內(nèi)的像素信號(例如亮度值)之差的絕對值時，針對掩蔽圖像322的全體像素所求出的絕對值的合計值為SAD。圖像修正部30，在輸入圖像310上，ー邊使評價區(qū)域在水平或垂直方向上每次移動ー個像素，一邊按每次的移動，求出SSD或SAD和相似度。然后，檢測出所求出的相似度為規(guī)定的基準相似度以上的評價區(qū)域作為掩蔽圖像322的相似區(qū)域。即，某關注圖像區(qū)域為掩蔽圖像322的相似區(qū)域，是指該關注圖像區(qū)域內(nèi)的圖像與掩蔽圖像322之間的相似度為規(guī)定基準相似度以上。當前，設為將圖6 (a)所示的圖像區(qū)域331作為掩蔽圖像322的相似區(qū)域進行了搜索。此時，圖像修正部30設定包含圖像區(qū)域331的圖6(b)所示的修正補丁區(qū)域340。圖像區(qū)域331是圖6(a)中以斜線填滿的區(qū)域，修正補丁區(qū)域340是圖6(b)中以斜線填滿的區(qū)域。圖像區(qū)域331的形狀以及大小與掩蔽圖像322的形狀以及大小相同，修正補丁區(qū)域340的形狀以及大小與修正對象區(qū)域320的形狀以及大小相同。圖像區(qū)域331，雖然是欠缺了矩形區(qū)域的一部分的區(qū)域，但在修正補丁區(qū)域340中沒有該欠缺。修正補丁區(qū)域340，是將該欠缺的區(qū)域與圖像區(qū)域331進行了合成的區(qū)域。圖像修正部30，在設定修正補丁區(qū)域340之后，通過將修正對象區(qū)域320內(nèi)的圖像數(shù)據(jù)與修正補丁區(qū)域340內(nèi)的圖像數(shù)據(jù)進行混合(換言之，通過加權相加)，對修正對象區(qū)域320內(nèi)的圖像進行修正。通過該混合得到的圖像數(shù)據(jù)，被當為輸出圖像中的修正對象區(qū)域320內(nèi)的圖像數(shù)據(jù)來處理。即，基于輸入圖像310的輸出圖像，是針對輸入圖像310實施上述混合而得到的圖像。圖7表示作為基于輸入圖像310的輸出圖像的示例的輸出圖像350。除了修正對象區(qū)域320內(nèi)的圖像數(shù)據(jù)在輸入圖像310和輸出圖像350之間不同以外，輸入圖像310和輸出圖像350相同。輸出圖像350是在將修正補丁區(qū)域340內(nèi)的圖像數(shù)據(jù)的混合比率設定得相當高時所得到的，且在輸出圖像350中，人物312完全或幾乎看不到。修正補丁區(qū)域340內(nèi)的圖像數(shù)據(jù)的混合比率(后述的系數(shù)kMIX的值)也可以是1，在其混合比率為I時，成為由修正補丁區(qū)域340內(nèi)的圖像數(shù)據(jù)其本身來置換修正對象區(qū)域320內(nèi)的圖像數(shù)據(jù)。如此，通過對輸入圖像310實施使用修正補丁區(qū)域340內(nèi)的圖像來修正修正對象區(qū)域320內(nèi)的圖像的處理，從而得到輸出圖像350。修正對象區(qū)域320內(nèi)的某像素位置為(Xl，yi)，并且與在像素位置(Xl，Y1)所配置的像素對應的修正補丁區(qū)域340內(nèi)的像素的像素位置為(x2，y2)時，輸出圖像350的像素位置(Xl，yi)處的像素信號Ptm(Xpy1),根據(jù)下述式⑴算出。P0UT (χι Yi) — (l_kMIX) Pin (X1, Yi)+kMIX · ΡΙΝ(χ2 12)…(I)其中，PIN(Xl，yi)以及PIN(x2，y2)分別表示輸入圖像310的像素位置(X1,れ)以及(x2, I2)處的像素信號。在輸入圖像310上，若將修正對象區(qū)域320的中心位置向右側移 動了 ΛΧ像素并且向下側移動了 Ay像素的位置為修正補丁區(qū)域340的中心位置，則X2 =χ!+Δχ且y2 = yi+Ay(Ax以及Ay是整數(shù))。像素信號PinU1, y)以及Pin (x2，y2)，是表示輸入圖像310的像素位置(Xl，Yl)以及(x2，y2)處的像素的亮度以及顔色的信號，例如，以RGB形式或YUV形式表現(xiàn)。同樣地，像素信號PtotU1, Y1)是表示輸出圖像350的像素位置(X1, Y1)處的像素的亮度以及顏色的信號，例如，以RGB形式或YUV形式表現(xiàn)。在各像素信號由R、G以及B信號構成吋，只要按照每個R、G以及B信號分別通過混合像素信號PIN(Xl，Y1)和PIN(x2，y2)來得到像素信號Pqut(X1J1)即可。在像素信號PinUpy1)等由Y、U以及V信號構成時也同樣。圖像修正部30，在滿足“O < kMIX< I”的范圍內(nèi)確定系數(shù)kMIX的值。系數(shù)kMIX相當于修正補丁區(qū)域340相對于輸出圖像350的混合比率(加權相加比率)，系數(shù)(l_kMIX)相當于修正對象區(qū)域320相對于輸出圖像350的混合比率(加權相加比率)。假設，若使用修正對象區(qū)域320內(nèi)的圖像321(參照圖5(a))其本身作為模板來搜索修正補丁區(qū)域，則設定包括人物311的圖像區(qū)域作為修正補丁區(qū)域的可能性變大。若設定包括人物311的圖像區(qū)域作為修正補丁區(qū)域，則會因混合(加權相加)上述圖像數(shù)據(jù)，而在修正后的修正補丁區(qū)域中出現(xiàn)人物311的像。并不希望出現(xiàn)這樣的像?？紤]到它，在圖像修正部30中，使用遮蔽了不要區(qū)域的掩蔽圖像322來捜索設定修正補丁區(qū)域。因此，能夠檢測出適合于去除不要目標的修正補丁區(qū)域，而不受不要目標的影響。此外，當檢測出多個掩蔽圖像322的相似區(qū)域時，可以讓用戶從該檢測出的多個相似區(qū)域之中選擇修正補丁區(qū)域中應包含的相似區(qū)域。例如，當捜索到五個相似區(qū)域作為掩蔽圖像322的相似區(qū)域吋，使用與根據(jù)圖像區(qū)域331設定修正補丁區(qū)域340同樣的方法(參照圖6 (a)及(b)),設定與各相似區(qū)域對應的修正補丁候補。圖8 (a)的符號361 365表示出在此設定的五個修正補丁區(qū)域候補。設定各修正補丁區(qū)域候補之后，圖像修正部30明示了修正對象區(qū)域320以及修正補丁區(qū)域候補361 365，使顯示部16顯示如圖8 (b)所示的顯示圖像360。顯示圖像360是在輸入圖像310上疊加了用于視覺辨認修正對象區(qū)域320以及修正補丁區(qū)域候補361 365的框的圖像。在顯示了顯示圖像360的狀態(tài)下，操作部17接受選擇修正補丁區(qū)域候補361 365之中的ー個的選擇操作(包括觸碰面板操作)，在進行該選擇操作吋，圖像修正部30設定所選擇的修正補丁區(qū)域候補作為修正補丁區(qū)域。由于能夠設定這樣的選擇操作，用戶不會承擔過大的操作負擔，能夠通過去除不要目標來設定合適的修正補丁區(qū)域。此外，在上述的示例中，雖然設為在輸入圖像310內(nèi)搜索掩蔽圖像322的相似區(qū)域，但也可以設為在與輸入圖像310不同的輸入圖像370 (未圖示)內(nèi)搜索掩蔽圖像322的相似區(qū)域，并從輸入圖像370中提取修正補丁區(qū)域。由此，即使在輸入圖像310中不包含掩蔽圖像322的相似區(qū)域，也能夠很好地去除不要目標。然而，在以下的各說明中，除了特別說明以外，都假設在共同的輸入圖像內(nèi)設定修正對象區(qū)域以及修正補丁區(qū)域。輸入圖像370與輸入圖像310相同，可以是記錄介質(zhì)15所記錄的圖像(由攝像部11的拍攝得到的圖像)，也可以是由攝像裝置I以外的裝置提供的圖像(例如，位于遠處的文件服務器的記錄圖像)。此外，在上述的說明中，雖然僅使用修正對象區(qū)域320內(nèi)的圖像數(shù)據(jù)來形成了掩蔽圖像322，但在掩蔽圖像322中也包含修正對象區(qū)域320的周邊像素的圖像數(shù)據(jù)的基礎上，還可以進行掩蔽圖像322的相似區(qū)域的搜索以及基于搜索結果的修正補丁區(qū)域的設定。也就是說，例如，關注包含修正對象區(qū)域320的比修正對象區(qū)域還大的圖像區(qū)域，并將由從該關注圖像區(qū)域中除不要區(qū)域以外的剰余區(qū)域形成的圖像作為掩蔽圖像322。 此外，也可以在對人的皮膚或頭發(fā)等進行修正吋，利用人身體的各部位(臉、眼睛、鼻、腕等)的位置信息(表示輸入圖像上的位置的信息)來設定修正補丁區(qū)域。例如，在輸入圖像上包含第一以及第二人物的臉的情況下，當?shù)谝蝗宋锏耐庋劢堑陌櫦y是不要目標吋，首先，圖像修正部30通過基于輸入圖像的圖像數(shù)據(jù)的臉檢測處理，從輸入圖像中檢測出包含第一人物的臉的臉區(qū)域和包含第二人物的臉的臉區(qū)域，并在臉區(qū)域中，對外眼角所存在的部分的圖像區(qū)域進行確定。然后，可以在修正對象區(qū)域中設定第一人物的外眼角所存在的部分的圖像區(qū)域，另ー方面，在修正補丁區(qū)域中設定第二人物的外眼角所存在的部分的圖像區(qū)域，并通過將修正對象區(qū)域的圖像數(shù)據(jù)與修正補丁區(qū)域的圖像數(shù)據(jù)進行混合，或者，通過簡單地由修正補丁區(qū)域置換修正對象區(qū)域，來修正輸入圖像。若第二人物的外眼角處不存在皺紋，則在通過該修正得到的輸出圖像上，第一人物的外眼角的皺紋會變得不明顯或者第一人物的外眼角處會不存在皺紋。若使用這種方法，即使在使用模板的匹配中無法檢測出相似區(qū)域時，也能夠去除所希望的不要目標。[修正強度的調(diào)整功能]圖像修正部30，具有通過調(diào)整上述系數(shù)kMIX的值來調(diào)整修正對象區(qū)域320的修正強度(修正量)的功能。例如，根據(jù)掩蔽圖像322的圖像特征與修正補丁區(qū)域340所包含的圖像區(qū)域331(參照圖6(a)以及(b))的圖像特征的相似度DS(相似的程度)，圖像修正部30能夠決定系數(shù)kMIX的值。相似度DS低時，若過高地設定修正補丁區(qū)域340對輸出圖像的貢獻度(kMIX)，則有時會得到修正部分的邊界明顯的不自然的輸出圖像?？紤]這點，圖像修正部30根據(jù)相似度來調(diào)整系數(shù)kMIX的值，以使相似度DS越大、系數(shù)kMIX的值越大，并且相似度越小、系數(shù)kMIX的值越小。由此，使修正部分的邊界變得不明顯。此外，基于對修正對象區(qū)域內(nèi)的圖像數(shù)據(jù)與修正補丁區(qū)域內(nèi)的圖像數(shù)據(jù)進行混合的修正，可以說是將修正補丁區(qū)域內(nèi)的圖像數(shù)據(jù)移植到修正對象區(qū)域的方法(當kMIX = I時，完全移植修正補丁區(qū)域內(nèi)的圖像數(shù)據(jù)，當kMIX < I時，進行不完全的移植)。此外，以下，特別將基于對修正對象區(qū)域內(nèi)的圖像數(shù)據(jù)和修正補丁區(qū)域內(nèi)的圖像數(shù)據(jù)進行混合的修正稱為混合修正，將混合修正后的修正對象區(qū)域內(nèi)的圖像稱為混合結果圖像。
圖9表示使系數(shù)kMIX變化時的修正對象圖像的修正結果變化。在圖9中，圖像381 384分別表示出基于修正對象區(qū)域320以及修正補丁區(qū)域340的混合結果圖像。然而，圖像382、383以及384，分別表示出系數(shù)kMIX為O. 3,0. 7以及I. O時的混合結果圖像，圖像381表示出系數(shù)kMIX幾乎為零時的混合結果圖像。如此，隨著使系數(shù)kMIX增加而使修正對象區(qū)域320的修正強度増大，從而使不要目標的去除程度變大。此外，用戶能夠通過對操作部17實施規(guī)定的調(diào)整操作來調(diào)整系數(shù)kMIX。通過利用如下所示的調(diào)整操作，能夠通過簡單的作業(yè)而使不要目標的像變淡，并使修正部分的邊界難以明顯。作為調(diào)整操作，能夠采用利用觸摸面板功能的觸摸面板調(diào)整操作。在執(zhí)行包括觸摸面板調(diào)整操作的調(diào)整操作吋，圖像修正部30能夠使修正前或修正后的修正對象區(qū)域320內(nèi)的圖像在顯示畫面中放大顯示。用戶能夠對攝像裝置I指示應進行該放大顯示。圖10表示放大顯示了修正對象區(qū)域320內(nèi)的圖像時的顯示畫面的樣子。在圖10以及后述的圖11中，斜線區(qū)域表示了顯示部16的殼體，位于斜線區(qū)域的內(nèi)側的部分表示了顯示畫面。若由調(diào)整操作來變更系數(shù)kMIX，則立即使用變更后的系數(shù)kMIX來進行針對修正對象區(qū)域320的混合修正，在顯示畫面顯示使用變更后的系數(shù)kMIX而生成的混合結 果圖像。使用觸摸面板調(diào)整操作吋，能夠根據(jù)在顯示部16的顯示畫面上使操作體振動運動時的操作體的振動次數(shù)、上述振動運動中的操作體的振動的頻率、上述振動運動中的操作體的移動的速度、上述振動運動中的操作體的振幅、顯示畫面上的操作體的移動方向、顯示畫面所觸碰的操作體的個數(shù)(例如手指個數(shù))以及操作體針對顯示畫面賦予的壓カ的大小之中至少ー個來調(diào)整系數(shù)kMIX。當然，進行觸摸面板調(diào)整操作時的操作體，設為在顯示部16的顯示畫面上觸碰著的操作體。圖11表示操作體為手指時的上述振動運動的示意圖。上述所謂振動運動是指使顯示畫面與操作體的接觸位置在顯示畫面上的第一以及第二位置間往返的運動。其中，第ー以及第二位置為彼此不同的位置。第一以及第二位置應被解釋為具有某種程度的寬度的位置，也可以將第一以及第二位置分別換稱為第一以及第二顯示區(qū)域。例如，可以設為將系數(shù)kMIX的值為某個基準值的狀態(tài)作為起點，且隨著上述振動次數(shù)增加而使系數(shù)kMIX增大或減小。此時，上述振動次數(shù)每增加一次，系數(shù)kMIX每增加或減小Ak(Ak>0)。此外，隨著上述振動次數(shù)而使系數(shù)kMIX增大或減小時，可以隨著上述頻率、速度或振幅的增加而使系數(shù)kMIX的單位變化量即△ k増大。典型而言，可以設為隨著上述振動次數(shù)的增加而使系數(shù)kMIX増大。此時，在顯示畫面上可見隨著每次使操作體在顯示畫面上往返運動而不要目標逐漸變淡的樣子。此外，若還執(zhí)行伴隨上述速度等増加的Ak的増大，則在顯示畫面上可見隨著每次使操作體在顯示畫面上更快地往返運動而不要目標更快地變淡的樣子。即，能夠實現(xiàn)如用橡皮刪除紙面上的不要記載那樣的直觀的用戶界面。此外，由于若kMIX = 0，則完全不修正修正對象區(qū)域內(nèi)的圖像，因此，雖然原則上在滿足“O < kMIX< I”的范圍內(nèi)調(diào)整系數(shù)kMIX，但為了修正的效果確認等，僅限于執(zhí)行調(diào)整操作時，可能將kMIX設為零。若通過調(diào)整操作而將kMIX設定得大于零，則根據(jù)kMIX的值來修正修正對象區(qū)域內(nèi)的圖像。因此，調(diào)整操作也可以認為是指示修正對象區(qū)域內(nèi)的圖像(不要區(qū)域內(nèi)的圖像)的修正的操作。此外，例如，也可以根據(jù)顯示畫面上的操作體的移動方向來決定系數(shù)kMIX的增減方向。即例如，若上述移動方向與顯示畫面的水平方向平行，則可以在増加方向上調(diào)整系數(shù)kMIX，若上述移動方向與顯示畫面的垂直方向平行，則可以在減小方向上調(diào)整系數(shù)kMIX(當然，相反也可以)。能夠組合基于操作體的移動方向進行的系數(shù)kMIX的增減方向決定與基于操作體的振動運動進行的系數(shù)kMIX的調(diào)整，在進行了這種組合時，可以根據(jù)操作體的振動運動中的操作體的移動方向來決定在增加方向上變更系數(shù)kMIX、還是在減小方向上變更系數(shù)
^MIX ο此外，例如，也可以根據(jù)接觸顯示畫面的操作體的個數(shù)，來決定系數(shù)kMIX的變化量或系數(shù)kMIX的增減方向。能夠組合基于上述個數(shù)的系數(shù)kMIX進行的變化量決定與基于操作體的振動運動進行的系數(shù)kMIX的調(diào)整，在進行了這種組合時，例如，可以隨著上述個數(shù)的增 加而增大Ak。此時，與在顯示畫面上使ー個操作體振動運動時相比，在顯示畫面上使兩個操作體振動運動吋，系數(shù)kMIX變化得更快。此外，能夠組合基于上述個數(shù)進行的系數(shù)kMIX的增減方向決定與基于操作體的振動運動進行的系數(shù)kMIX的調(diào)整，在進行了該組合時，可以根據(jù)在顯示畫面上進行振動運動的操作體的個數(shù)來決定在增加方向上變更系數(shù)kMIX、還是在減小方向上變更系數(shù)kMIX。此外，例如，可以設為操作體對顯示畫面賦予的壓カ的大小越大，越増加系數(shù)kMIX(相反也可以)。此外，也可以組合壓カ的大小與振動運動來進行系數(shù)kMIX的調(diào)整。此時，例如，可以在隨著壓カ大小的増加而增加Ak的基礎上，進行基于操作體的振動運動進行的系數(shù)kMIX的調(diào)整。此外，也可以通過觸摸面板調(diào)整操作以外的調(diào)整操作來進行系數(shù)kMIX的增減方向決定以及系數(shù)kMIX的變更。例如，在操作部17設置有滑動式開關或撥盤式開關時，可以使用針對這些開關的操作作為調(diào)整操作，來進行系數(shù)kMIX的增減方向決定以及系數(shù)kMIX的變更。當在操作部17中設置有撥鈕開關時，可以根據(jù)針對撥鈕開關的操作來進行系數(shù)kMIX的增減方向決定以及系數(shù)kMIX的變更。此外，可以在顯示畫面上顯示調(diào)整用菜單(例如，選擇修正強度的強/中/弱)，井根據(jù)與調(diào)整用菜單對應的用戶的操作，來進行系數(shù)kMIX的增減方向決定以及系數(shù)kMIX的變更。此外，在由觸摸面板調(diào)整操作調(diào)整了修正強度時，由于混合結果圖像的顯示位置，混合結果圖像會被操作體所遮掩而難以確認。因此，在由觸摸面板調(diào)整操作進行的修正強度的調(diào)整時(調(diào)整系數(shù)kMIX吋)，可以在操作位置以外的顯示位置顯示混合結果圖像。由此，修正強度的調(diào)整會變得容易。所謂操作位置，包括顯示畫面與操作體的接觸位置，而且，也包括預想操作體要接觸顯示畫面的位置(例如，上述振動運動中的顯示畫面和操作體間的接觸位置的軌跡上的位置)。除此以外，由于假設在顯示畫面的下側存在用戶的手背等，因此可以在顯示畫面的上側顯示混合結果圖像。此外，也可以在圖像修正部30中進行如以下的處理。準備應代入系數(shù)kMIX的彼此不同的第I 第η的系數(shù)值，并通過在將第i系數(shù)值代入系數(shù)kMIX的狀態(tài)下進行混合修正來生成第i混合結果圖像(η是2以上的整數(shù)，i是I以上η以下的整數(shù))。通過針對i分別為1、2、…(n-l)、n時執(zhí)行該生成處理，來生成第I 第η混合結果圖像，并在顯示畫面中顯示所得到的第I 第η混合結果圖像(修正候補圖像)。在進行該顯示的狀態(tài)下，操作部17接受對第I 第η混合結果圖像中的ー個進行選擇的選擇操作。圖像修正部30使用由該選擇操作所選擇的混合結果圖像來生成輸出圖像。例如，當η = 3時，生成作為第I 第3混合結果圖像的混合結果圖像382 384(參照圖9)，并在顯示畫面中顯示結果圖像382 384。然后，例如，若通過上述選擇操作選擇了圖像383，則使用圖像383生成輸出圖像。S卩，由使用了與圖像383對應的系數(shù)kMIX( = O. 7)的混合修正來對輸入圖像310的修正對象區(qū)域320進行修正，并生成包含由該修正所得到的混合結果圖像383的輸出圖像。通過使這樣的處理成為可能，用戶能夠通過簡單的作業(yè)得到所希望的修正結果(輸出圖像)。[基于膨脹處理的修正]通過圖像處理去除不要目標的方法，移植法與膨脹法有很大區(qū)別。移植法是如上述那樣使用與修正對象區(qū)域不同的圖像區(qū)域內(nèi)的圖像去除修正對象區(qū)域內(nèi)的不要目標。膨脹法是通過采用使不要區(qū)域的周邊區(qū)域膨脹的膨脹處理來縮減(shrinking)或完全刪除不要區(qū)域的方法。在移植法中，有以下問題當從輸入圖像中找不到相似區(qū)域時，無法修正。另ー方面，在膨脹法中，有以下缺點當不要目標為細的線狀的物體(文字或電線等)時，里然能夠無不適感地去除不要目標，但當不要目標具有某種程度的厚度時，得到以單色填充 的修正結果，會使修正部分的邊界過于明顯?？紤]到這些特性，當不要區(qū)域的形狀為細線狀時，通過膨脹法對修正對象區(qū)域進行修正，當除此以外的情況時，可以通過移植法對修正對象區(qū)域進行修正。由此，進行與不要區(qū)域的形狀相應的最佳修正。在使用膨脹法吋，圖像修正部30僅根據(jù)輸入圖像的修正對象區(qū)域的圖像數(shù)據(jù)使用膨脹處理對修正對象區(qū)域內(nèi)的圖像進行修正。修正方法的具體切換方法以及使用膨脹處理的修正對象區(qū)域的具體修正方法將后述。[動作流程圖]接著，特別關注于圖像修正部30的動作來說明攝像裝置I的動作的流程。圖12是表示該動作流程的流程圖。在再現(xiàn)模式下，用戶能夠在顯示部16中顯示記錄介質(zhì)15等中所記錄的所希望的圖像。當所顯示的圖像中映入有不要目標時，用戶通過對操作部17進行規(guī)定操作，使攝像裝置I的動作模式轉移到作為再現(xiàn)模式的ー種的不要目標去除模式。圖12所示的各步驟的處理，是由不要目標去除模式所執(zhí)行的處理。分別通過記號Iin以及Iott參照該不要目標去除模式中的輸入圖像以及輸出圖像。在不要目標去除模式中，首先，根據(jù)用戶的指示對輸入圖像Iin的不要區(qū)域周邊進行放大顯示，用戶在該狀態(tài)下進行不要區(qū)域指定操作。圖像修正部30在步驟Sll中根據(jù)用戶的不要區(qū)域指定了操作設定不要區(qū)域之后，在步驟S12中設定包含該不要區(qū)域的矩形區(qū)域作為修正對象區(qū)域A。如圖13所示，該矩形區(qū)域，是例如將與不要區(qū)域外切的長方形(換言之，能夠包圍不要區(qū)域的最小的長方形)作為基準，將該長方形的大小沿上下左右分別放大了 Λ像素的區(qū)域(Λ是正整數(shù))。修正對象區(qū)域A的中心位置與不要區(qū)域的中心位置設為相同。能夠將△的值設為預先確定的固定值。然而，當從修正對象區(qū)域A去除不要區(qū)域而剩余的區(qū)域的面積小于規(guī)定的基準面積(例如，相當于1024像素的面積)時，也可以調(diào)整△的值，以使該面積成為基準面積以上。設定修正對象區(qū)域A之后，在步驟S13中，圖像修正部30，通過與從修正對象區(qū)域320生成掩蔽圖像322相同的方法，生成基于修正對象區(qū)域A的掩蔽圖像Amsk。修正對象區(qū)域A以及掩蔽圖像Amsk，分別與上述修正對象區(qū)域320以及掩蔽圖像322對應。接著，在步驟S14中，圖像修正部30判定不要區(qū)域的形狀是否為細線狀。具體而言，首先，將修正對象區(qū)域A內(nèi)的圖像轉換為ニ值化圖像。在該ニ值化圖像中，將屬于不要區(qū)域的像素的像素值設為“0”，并且將除此以外的像素的像素值設為“I”。然后，在該ニ值化圖像中的使不要區(qū)域縮減的方向上，對該ニ值化圖像實施膨脹處理(被稱為形態(tài)學膨脹處理)。在像素(X，y)或像素(X，y)的8個附近像素的至少ー個中存在“I”的像素值時，通過膨脹處理將像素(x，y)的像素值設定為“I”。在通過對上述ニ值化圖像執(zhí)行規(guī)定次數(shù)(例如五次)這樣的膨脹處理而得到的圖像上，不要區(qū)域的面積為零時(即，具有“O”的像素值的區(qū)域不存在吋)，判斷為不要區(qū)域的形狀為細線狀，除此以外的情況時，判斷為不要區(qū)域的形狀為非細線狀。當判斷為不要區(qū)域的形狀為非細線狀時(步驟S14 “否”)，從步驟S14轉移到步驟S15。圖像修正部30在步驟S15中，進行使用掩蔽圖像Amsk作為模板的模板匹配，從輸入圖像Iin中捜索掩蔽圖像Amsk的相似區(qū)域。然后，在步驟S16中，強調(diào)顯示所捜索到的多個 相似區(qū)域。即，如上所述，對顯示畫面的輸入圖像Iin上的各修正補丁區(qū)域候補進行強調(diào)顯示(即，顯示如圖8(b)所示的顯示圖像360)，以使能夠識別與各相似區(qū)域對應的修正補丁區(qū)域候補，在步驟S17中，使用操作部17接受來自用戶的選擇操作的對多個修正補丁區(qū)域候補的ー個的選擇。然后，若進行選擇操作，則在步驟S18中，在修正補丁區(qū)域B中設定所選擇的修正補丁區(qū)域候補。此外，當存在多個掩蔽圖像Amsk的相似區(qū)域時，可以在對該多個相似區(qū)域求出的多個相似度之中，確定最大的相似度，且自動地在修正補丁區(qū)域B中設定針對與最大相似度對應的相似區(qū)域的修正補丁區(qū)域候補，而與上述選擇操作無關。此外，當掩蔽圖像Amsk的相似區(qū)域只存在ー個時，省略執(zhí)行步驟S16以及S17的處理，在步驟S18中，在修正補丁區(qū)域B中設定包含該ー個相似區(qū)域的圖像區(qū)域。此外，當從輸入圖像Iin中未檢測出掩蔽圖像Amsk的相似區(qū)域時(即，從輸入圖像Iin中未檢測出具有基準相似度以上的相似度的圖像區(qū)域時)，向用戶通知該意思，可以讓用戶手動設定修正補丁區(qū)域B，也可以停止執(zhí)行輸入圖像Iin的修正。在步驟S18中設定的修正補丁區(qū)域B，與上述修正補丁區(qū)域340對應，修正補丁區(qū)域B的圖像數(shù)據(jù)被存儲在攝像裝置I的存儲器上。另ー方面，當判斷為不要區(qū)域的形狀為細線狀時(步驟S14 “是”)，從步驟S14轉移到步驟S19。在轉移到步驟S19時，圖像修正部30，通過膨脹處理去除修正對象區(qū)域A內(nèi)的不要區(qū)域。即，考慮到暫時刪除修正對象區(qū)域A的不要區(qū)域內(nèi)的像素，使用是修正對象區(qū)域A內(nèi)的像素且位于不要區(qū)域的周邊的像素以及像素信號，對修正對象區(qū)域A的不要區(qū)域內(nèi)的各像素以及各像素信號進行插值。該插值通過公知的膨脹處理(被稱為“形態(tài)學膨脹處理”)來實現(xiàn)。作為簡單的示例，例如，若位于不要區(qū)域的周邊的像素全部具有共同像素信號，則通過膨脹處理，在修正對象區(qū)域A的不要區(qū)域內(nèi)的各像素的像素信號中設定該共同像素信號(即，不要區(qū)域內(nèi)以單色填充)。當判斷為不要區(qū)域的形狀為細線狀時，在修正補丁區(qū)域B設定步驟S19的膨脹處理后的修正對象區(qū)域A，且作為修正補丁區(qū)域B的圖像數(shù)據(jù)而在攝像裝置I的存儲器上存儲膨脹處理后的修正對象區(qū)域A的圖像數(shù)據(jù)。在步驟S18或步驟S19的處理之后，執(zhí)行步驟S20的處理。在步驟S20中，圖像修正部30，通過混合修正對象區(qū)域A的圖像數(shù)據(jù)和修正補丁區(qū)域B的圖像數(shù)據(jù)來生成混合結果圖像。該混合方法，與針對上述修正對象區(qū)域320和修正補丁區(qū)域340的混合方法相同。即，當修正對象區(qū)域A內(nèi)某個像素位置為(Xl，yi)，并且與在像素位置(Xl，yi)所配置的像素對應的修正補丁區(qū)域B內(nèi)的像素的像素位置為(x2，y2)吋，混合結果圖像的像素位置(Xl，Y1)處的像素信號Pc(Xl，yi)，根據(jù)下式⑵計算。Pc(Xpy1) = (l-kMIX) · ΡΑ(χι yi)+kMIX · Pb(χ2, y2)…(2)其中，Pa(X1, Y1)以及PB(x2，y2)分別表示輸入圖像Iin的像素位置(X^y1)以及(χ2，I2)處的像素信號。如果在輸入圖像Iin上，將修正對象區(qū)域A的中心位置向右側移動了 Λχ像素并且向下側移動了 Λ y像素的位置，為修正補丁區(qū)域B的中心位置，則X2 = X1+ Λ X井-S-Υ2 = Υι+Δγ(Δχ以及Ay是整數(shù))。像素信號ΡΑ(χι，Yi)以及pb(x2，y2)是表示輸入圖像Iin的像素位置(Xl，Y1)以及(χ2，ι2)處的像素的亮度以及顔色的信號。同樣地，像素信號PcUpy1)是表示輸出圖像Iqut的像素位置(Xl，yi)處的像素的亮度以及顔色的信號。然而，在執(zhí)行了后述的步驟S26的調(diào)整處理時，像素信號PJx1, Y1)的具體的信號值可能被變更。當各像素信號由R、G以及B信號構成吋，只要通過按照每個R、G以及B信號個別地混合像素信號Pa(X1J1)以及PB(x2，y2)來得到像素信號PcUpy1)即可。像素信號PaU1, Y1)等由Y、U以及V信號構成時也同樣。式(2)中的系數(shù)kMIX的設定方法以及意義如上所述。即，只要根據(jù)掩蔽圖像Amsk的圖像特征與修正補丁區(qū)域B所包含的相似區(qū)域的圖像特征(修正補丁區(qū)域B所包含的掩蔽圖像Amsk的相似區(qū)域的圖像特征)的相似度DS1，來設定式(2)中的系數(shù)kMIX的值即可。這里的相似度DS1，相當于上述相似度DS，圖像修正部30根據(jù)相似度DS1來調(diào)整系數(shù)kMIX的值，以使相似度DS1越大，系數(shù)kMIX的值越大，并且相似度DS1越小，系數(shù)kMIX的值越小。然而，若在步驟S19中設定了修正補丁區(qū)域B，則能夠將式(2)中的系數(shù)kMIX設為預定的固定值1^1)(。當對修正對象區(qū)域A以及修正補丁區(qū)域B的圖像數(shù)據(jù)進行混合時，雖然可以與混合對象的像素位置無關地使用共同的值作為系數(shù)kMIX的值，但為了使修正部分與非修正部分之間的邊界難以變得明顯，也可以設為越接近修正對象區(qū)域A的周邊的像素，越減小系數(shù) kHX。針對此進ー步說明。當前，由kMIX(x, y)表示計算Pc(x，y)時的系數(shù)kMIX,并且,如圖14所示，由d(x，y)表示修正對象區(qū)域A內(nèi)的像素位置(X，y)與修正對象區(qū)域A的外周的最短距離。d(x，y)是連接像素位置(X，y)與修正對象區(qū)域A的外周的線段之中具有最小長度的線段的長度。此時，可以設為距離d(x, y)越小,越減小kMIX (X, y)。由此,越接近修正對象區(qū)域A的周邊的像素，越減小系數(shù)kMIX，這是因為修正對象區(qū)域A對混合結果圖像的圖像數(shù)據(jù)的貢獻率増大。具體而言，例如，如圖15所示，可以設為當d(x，y) =0吋，kMIX(x, y) = O,并且,當 O く d(x, y) < Δ 時,隨著 d(x, y)從零向 Δ 增大,使 kMIX(x, y)從零向k。線形或非線性増大，當Δ彡d(x, y)吋，kMIX(x, y) = k。。其中，k。是根據(jù)上述相似度DS1所設定的系數(shù)kMIX的值，或是固定值kFIX。在步驟S20中生成的混合結果圖像，在步驟S21中被顯示在顯示部16中。此時， 可以在顯示部16中并列顯示混合結果圖像與未進行混合修正的修正對象區(qū)域A內(nèi)的圖像。這是因為通過觀察并列顯示，用戶能夠確認有無修正效果以及因修正導致的危害發(fā)生。進行混合結果圖像的顯示的同時，在步驟S22中，攝像裝置I使用消息顯示等瞀促用戶確定修正內(nèi)容。在步驟S22中，操作部17進行了規(guī)定的確定操作時，執(zhí)行步驟S23以及S24的處理，來結束輸出圖像Iqut的生成處理。在步驟S23中，圖像修正部30通過將在步驟S20或后述的步驟S34(參照圖16)得到的最新的混合結果圖像嵌入輸入圖像Iin的修正對象區(qū)域A中，來生成輸出圖像IQUT。即，通過由步驟S20或S34得到的最新的混合結果圖像置換輸入圖像Iin的修正對象區(qū)域A的圖像，來生成輸出圖像ITOT。在步驟S24中，在記錄介質(zhì)15中記錄所得到的輸出圖像Itm的圖像數(shù)據(jù)。此時，根據(jù)用戶的指示，可以在輸入圖像Iin的圖像數(shù)據(jù)上覆寫并保存輸出圖像Iott的圖像數(shù)據(jù)，也可以將輸入圖像Iin的圖像數(shù)據(jù)保留在記錄介質(zhì)15中，而另外在記錄介質(zhì)15中記錄輸出圖像Imjt的圖像數(shù)據(jù)。
另ー方面，在步驟S22中，操作部17未進行規(guī)定的確定操作吋，從步驟S22轉移到步驟S25。在步驟S25中，攝像裝置I使用信息顯示等詢問是否從最初重新進行輸入圖像Iin的修正或是否進行修正強度的調(diào)整。在步驟S25中，進行了指示從最初重新修正的操作時，返回步驟Sll再次重新執(zhí)行步驟Sll以后的處理。在步驟S25中，進行了指示進行修正強度的調(diào)整的操作時，執(zhí)行步驟S26中的調(diào)整處理，調(diào)整處理結束后，返回步驟S22再次執(zhí)行步驟S22以后的處理。此外，在包括步驟S26的調(diào)整處理的執(zhí)行過程中的任何時刻都進行了規(guī)定的結束指示操作時，結束不要目標去除模式中的動作。圖16是步驟S26的調(diào)整處理的詳細流程圖。調(diào)整處理由步驟S31 S35的處理構成。若開始步驟S26的調(diào)整處理，則首先，執(zhí)行步驟S31的處理。在步驟S31中，圖像修正部30確認是否對操作部17進行了指示調(diào)整處理結束的調(diào)整結束操作，并在進行了調(diào)整結束操作時結束調(diào)整處理而返回步驟S22。另ー方面，在未進行調(diào)整結束操作時，繼續(xù)在步驟S32中，確認是否對操作部17進行了調(diào)整操作。在未進行調(diào)整操作時，雖然從步驟S32返回步驟S31，但在進行了調(diào)整操作時，從步驟S32轉移到步驟S33，圖像修正部30，在步驟S33中，根據(jù)調(diào)整操作來調(diào)整針對修正對象區(qū)域A的修正強度。即，根據(jù)調(diào)整操作來變更系數(shù)kMIX。其中的調(diào)整操作，與上述的調(diào)整操作相同，基于調(diào)整操作的系數(shù)kMIX的變更方法也如上所述。特別地，若能夠通過觸摸面板調(diào)整操作來變更系數(shù)kMIX，則使用非常方便。在步驟S33至步驟S34中，按照使用了變更后的系數(shù)kMIX的式(2)，通過混合修正對象區(qū)域A的圖像數(shù)據(jù)與修正補丁區(qū)域B的圖像數(shù)據(jù)來生成混合結果圖像。該生成方法與圖12的步驟S20相同。在步驟S34所生成的混合結果圖像在步驟S35中被顯示在顯示部16中，之后，返回步驟S31而反復執(zhí)行步驟S31以后的處理。因此，在未進行調(diào)整結束操作而再次進行了調(diào)整操作時，繼續(xù)修正強度(系數(shù)kMIX)的調(diào)整。此外，雖然與上述說明不同，但也可以在步驟S18或S19中設定了修正補丁區(qū)域B之后，不進行步驟S20 S22的處理，而直接轉移到步驟S26進行步驟S26的調(diào)整處理。此時，設定了修正補丁區(qū)域B之后，攝像裝置1，在顯示畫面顯示輸入圖像Iin的整體，或在顯示畫面中放大顯示修正對象區(qū)域A內(nèi)的圖像的同時(S卩，在顯示畫面中顯示輸入圖像Iin的一部分的同吋)，等待進行調(diào)整結束操作或調(diào)整操作。在該狀態(tài)下，例如，若用戶在顯示畫面上使操作體進行上述振動運動(參照圖11)，則該振動運動被處理為指示修正對象區(qū)域A內(nèi)的圖像(不要區(qū)域內(nèi)的圖像)的修正的操作，系數(shù)kMIX將初始值(例如零)作為起點在增大方向上變更(步驟S33)。其結果是，在步驟S34中進行混合修正，用戶能夠通過步驟S35的混合結果圖像的顯示，在顯示畫面上確認不要目標的去除效果。此時，如果通過反復執(zhí)行操作體的振動運動來階段性地増大了系數(shù)kMIX，則如用橡皮慢慢使紙面上的不要記載變淡那樣，可確認在顯示畫面上慢慢變淡的樣子。[圖像修正部的內(nèi)部塊]接著，對圖像修正部30的內(nèi)部結構進行說明。圖17是圖像修正部30的內(nèi)部方框圖。圖像修正部30具有由符號31 38所參照的各部位。不要區(qū)域設定部31根據(jù)上述不要區(qū)域指定操作來設定不要區(qū)域。修正對象區(qū)域設定部32，設定包含所設定的不要區(qū)域的修正對象區(qū)域(上述修正對象區(qū)域320或修正對象區(qū)域A)。掩蔽圖像生成部33，根據(jù)不要區(qū)域設定部31以及修正對象區(qū)域設定部32的設定內(nèi)容，由輸入圖像生成掩蔽圖像(上述掩蔽圖像322或掩蔽圖像Amsk)。修正方法選擇部34，通過判定不要區(qū)域的形狀是否為細線狀，從而使用移植法以及膨脹法的任ー個來選擇是否對修正對象區(qū)域進行修正(即，修正方法選擇部34執(zhí)行圖12 的步驟S14的處理)。修正方法選擇部34的判定結果以及選擇結果，被傳輸給修正補丁區(qū)域提取部35、第一修正處理部36以及第二修正處理部37。修正補丁區(qū)域提取部(修正補丁區(qū)域檢測部)35，當判定為不要區(qū)域的形狀為非細線狀時，通過使用了掩蔽圖像的模板，從輸入圖像中檢測并提取修正補丁區(qū)域(上述修正補丁區(qū)域340或步驟S18中的修正補丁區(qū)域B)。當判定為不要區(qū)域的形狀為非細線狀時，例如，修正補丁區(qū)域提取部35，通過執(zhí)行圖12的步驟S15至S18的處理來提前并設定修正補丁區(qū)域。另ー方面，當判定為不要區(qū)域的形狀為細線狀時，修正補丁區(qū)域提取部35，通過針對修正對象區(qū)域的膨脹處理來生成修正補丁區(qū)域。即例如，當判定為不要區(qū)域的形狀為細線狀時，修正補丁區(qū)域提取部35，通過執(zhí)行圖12的步驟S19的處理來生成修正補丁區(qū)域。第一修正處理部36以及第二修正處理部37，分別通過混合修正對象區(qū)域的圖像數(shù)據(jù)與修正補丁區(qū)域的圖像數(shù)據(jù)，來生成混合結果圖像。然而，第一修正處理部36，僅在由修正方法選擇部34判定為不要區(qū)域的形狀為非細線狀而選擇了移植法時進行動作，第二修正處理部37，僅在由修正方法選擇部34判定為不要區(qū)域的形狀為細線狀而選擇了膨脹法時進行動作。在圖17中，為了方便，雖然將第一修正處理部36與第二修正處理部37表示為不同的部位，但由于由它們進行的處理包括共同處理，因此，能夠將第一修正處理部36與第二修正處理部37統(tǒng)ー為ー個部位。此外，當判定為不要區(qū)域的形狀為細線狀時，用于生成修正補丁區(qū)域的圖像數(shù)據(jù)的膨脹處理可以由第二修正處理部37進行。圖像合成部38，通過將來自第一修正處理部36或第二修正處理部37的混合結果圖像嵌入輸入圖像的修正對象區(qū)域來生成輸出圖像。[相似區(qū)域的其它檢測方法]雖然與上述的說明內(nèi)容不同，但在圖像修正部30中，可以如下搜索修正對象區(qū)域320的相似區(qū)域。首先，在設定了修正對象區(qū)域320之后，執(zhí)行使輸入圖像310的整個圖像區(qū)域模糊的暈映處理。在暈映處理中，例如，通過將輸入圖像310的整個像素作為對象執(zhí)行使用了平均化濾波器等的空間濾波，從而使輸入圖像310的整體模糊。之后，通過使用暈映處理后的修正對象區(qū)域320內(nèi)的圖像Q1作為模板的模板匹配，從暈映處理后的輸入圖像310中檢測以及提取具有與圖像Q1的圖像特征相似的圖像特征的圖像Q2。圖像Q1以及Q2的形狀以及大小設為彼此相同。當圖像Q1與關注圖像之間的相似度在規(guī)定的基準相似度以上時，該關注圖像，被判斷為具有與圖像Q1的圖像特征相似的圖像特征。對比圖像間或對比圖像區(qū)域間的相似度，如上所述，根據(jù)對比圖像間或對比圖像區(qū)域間的圖像信號的SSD或SAD求出。圖像Q2位于的圖像區(qū)域，被處理為修正對象區(qū)域320的相似區(qū)域。圖像修正部30從暈映處理前的輸入圖像310中提取圖像Q2位于的圖像區(qū)域作為修正補丁區(qū)域。即，從暈映處理前的輸入圖像310中提取圖像Q2位于的圖像區(qū)域內(nèi)的圖像數(shù)據(jù)，并設定提取出的圖像數(shù)據(jù)作為修正補丁區(qū)域的圖像數(shù)據(jù)。然后，通過混合暈映處理前的修正對象區(qū)域320的圖像數(shù)據(jù)與修正補丁區(qū)域的圖像數(shù)據(jù)來生成混合結果圖像，并通過將所生成的混合結果圖像嵌入暈映處理前的輸入圖像310的修正對象區(qū)域320，來生成輸出圖像。S卩，通過以混合結果圖像置換輸入圖像310的修正對象區(qū)域320內(nèi)的圖像，來生成輸出圖像。采用這樣的暈映處理來捜索修正對象區(qū)域的相似區(qū)域，能夠省去遮蔽不要區(qū)域的處理。
《第二實施方式》對本發(fā)明的第二實施方式進行說明。第二實施方式以及后述的其它實施方式，是以第一實施方式為基礎的實施方式，只要不矛盾，就能夠將第二實施方式以及后述的其它實施方式記載的技術與第一實施方式記載的技術相組合來實施。除此之外，對于在第二實施方式以及后述的其它實施方式中無特別說明的事項，只要不矛盾，就能夠將第一實施方式的記載應用于第二實施方式以及后述的其它實施方式中。在第一實施方式中，雖然描述了對用于指定不要區(qū)域(不要目標的圖像數(shù)據(jù)存在的圖像區(qū)域)的不要區(qū)域指定操作可以使用觸摸面板操作，但在第二實施方式中，對使用了觸摸面板操作的不要區(qū)域指定操作的進ー步的具體示例進行說明?？梢允褂玫诙嵤┓绞街械牟灰獏^(qū)域指定操作，來設定其它任意實施方式中的不要區(qū)域。在不要區(qū)域的設定中，包括輸入圖像中的不要區(qū)域的位置、大小、形狀以及輪廓的設定(在其它任意實施方式中也同樣)。在第二實施方式以及后述的其它實施方式中，為了說明的具體化，假設觸摸面板操作中的操作體是用戶的手指。攝像裝置I，在顯示部16的顯示畫面中顯示了對圖2的圖像修正部30的輸入圖像的狀態(tài)下，接收不要區(qū)域指定操作。圖17的不要區(qū)域設定部31，能夠根據(jù)指示并表示不要區(qū)域指定操作的內(nèi)容的不要區(qū)域指導信息來設定不要區(qū)域。希望去除不要目標的用戶，例如，能夠通過以下第一 第五操作方法的任一方法來進行不要區(qū)域指定操作。圖19表示基于第一 第五操作方法的不要區(qū)域指定操作的概要。在接收不要區(qū)域指定操作的輸入?yún)?，輸入圖像Iin在顯示畫面中顯示?？梢栽陲@示畫面中顯示輸入圖像Iin的整體，也可以根據(jù)用戶的指示來放大顯示輸入圖像Iin的一部分。在圖19中，賦予符號UR1 UR5的虛線內(nèi)區(qū)域，分別表示通過第一 第五操作方法在輸入圖像Iin內(nèi)所設定的矩形的不要區(qū)域。對第一操作方法進行說明。基于第一操作方法的觸摸面板操作，是用手指以需要的時間持續(xù)按壓顯示畫面上的輸入圖像Iin內(nèi)的所希望位置411的操作。不要區(qū)域設定部31，能夠在不要區(qū)域UR1的中心位置處設定位置411，并且根據(jù)用手指按壓位置411的時間來設定不要區(qū)域UR1的大小。例如，能夠隨著該時間的增加而使不要區(qū)域UR1的大小増大。在第一操作方法中，能夠預定不要區(qū)域UR1的縱橫比。
對第二操作方法進行說明?；诘诙僮鞣椒ǖ挠|摸面板操作，是用手指按壓顯示畫面上的輸入圖像Iin內(nèi)的所希望位置421以及422的操作。位置421以及422是相互不同的位置?？梢园错樞蛴檬种赴磯何恢?21以及422，也可用兩個手指同時按壓位置421以及422。不要區(qū)域設定部31，能夠將在對角線的兩端配置了位置421以及422的矩形區(qū)域設定為不要區(qū)域UR2。對第三操作方法進行說明?；诘谌僮鞣椒ǖ挠|摸面板操作，是ー邊使手指觸摸顯示畫面，ー邊用手指圈圍顯示畫面上的輸入圖像Iin內(nèi)的所希望區(qū)域(用戶希望的區(qū)域)的操作。此時，描畫圈圍所希望區(qū)域的圖形的手指，不離開顯示畫面。即，用戶的手指以ー筆畫出圈圍所希望區(qū)域的圖形。不要區(qū)域設定部31，能夠將用手指圈圍的所希望區(qū)域其本身或包含該希望區(qū)域的矩形區(qū)域設定為不要區(qū)域UR3。對第四操作方法進行說明?；诘谒牟僮鞣椒ǖ挠|摸面板操作，是ー邊使手指觸 摸顯示畫面，ー邊用手指描畫應成為不要區(qū)域UR4的區(qū)域的對角線的操作。具體而言，例如，用戶用手指觸碰顯示畫面上的輸入圖像Iin內(nèi)的所希望位置441之后，在保持手指與顯示畫面的接觸狀態(tài)的狀態(tài)下，使手指從輸入圖像Iin內(nèi)的位置441移動到位置442，之后，將手指從顯示畫面離開。此時，不要區(qū)域設定部31能夠將在對角線的兩端配置了位置441以及442的矩形區(qū)域設定為不要區(qū)域UR4。對第五操作方法進行說明?；诘谖宀僮鞣椒ǖ挠|摸面板操作，是ー邊使手指觸碰顯示畫面，ー邊用手指描畫應成為不要區(qū)域UR5的區(qū)域的對角線的一半的操作。具體而言，例如，用戶在用手指觸碰顯示畫面上的輸入圖像Iin內(nèi)的所希望位置451之后，以保持手指與顯示畫面的接觸狀態(tài)的狀態(tài)下，使手指從輸入圖像Iin內(nèi)的位置451移動到位置452，之后，將手指從顯示畫面離開。此時，不要區(qū)域設定部31，能夠將不要區(qū)域UR5的中心位置設定為位置451，并且，將作為矩形區(qū)域的不要區(qū)域UR5的一個頂點配置在位置452。此外，在上述說明中，雖然假設了不要區(qū)域URi為矩形區(qū)域，但不要區(qū)域URi也可以是具有矩形以外的形狀的區(qū)域，只要是封閉區(qū)域，什么樣的區(qū)域均可α是整數(shù))。例如，不要區(qū)域URi的形狀可以是圓或多邊形，以任意曲線包圍的封閉區(qū)域也可以是不要區(qū)域URitl此外，上述第一 第五操作方法僅是示例，通過其它各種觸摸面板操作，用戶也能夠指定不要區(qū)域?！兜谌龑嵤┓绞健穼Ρ景l(fā)明的第三實施方式進行說明。在第三實施方式中，例示采用了圖像解析的不要區(qū)域的設定方法?？梢允褂玫谌龑嵤┓绞街械牟灰獏^(qū)域的設定方法，來設定其它任意實施方式中的不要區(qū)域。此外，在以下的說明中，為了方便，將針對圖I的操作部17所設置的按鈕(未圖示)等的操作稱為按鈕操作。在顯示畫面顯示有針對圖2的圖像修正部30的輸入圖像Iin的狀態(tài)下，用戶能夠由觸摸面板操作或按鈕操作來指定輸入圖像Iin內(nèi)的所希望的位置SP(參照圖20)。以下，將位置SP稱為指定位置SP。指定位置SP是輸入圖像Iin上的不要目標的一部分的位置。表示指定位置SP的信息作為不要區(qū)域指定信息而被輸入到不要區(qū)域設定部31 (參照圖17)。不要區(qū)域設定部31，將包含指定位置SP的目標看作不要目標，設定輸入圖像Iin中的包含指定位置SP的圖像區(qū)域作為不要區(qū)域(即，指定位置SP成為不要區(qū)域的一部分的位置)。此時，不要區(qū)域設定部31，能夠利用基于輸入圖像Iin的圖像數(shù)據(jù)的圖像解析，來推定包含指定位置SP的不要目標的輪廓(外框)，并將所推定的不要目標的輪廓的內(nèi)側區(qū)域設定為不要區(qū)域。在說明這樣的不要區(qū)域的設定動作步驟(參照圖26)之前，對上述圖像解析的要素技術例進行說明。能夠在上述圖像解析中包含檢測出在輸入圖像Iin內(nèi)存在的人體的人體檢測處理。在輸入圖像Iin上的人體的內(nèi)側區(qū)域存在指定位置SP吋，不要區(qū)域設定部31能夠通過基于輸入圖像Iin的圖像數(shù)據(jù)的人體檢測處理，從輸入圖像Iin中檢測出人體區(qū)域，并將包含指定位置SP的人體區(qū)域設定為不要區(qū)域。人體區(qū)域的檢測包括輸入圖像Iin上的人體的位置、大小、形狀以及輪廓等的檢測。人體區(qū)域是人體的圖像數(shù)據(jù)存在的圖像區(qū)域，能夠將人體的輪廓的內(nèi)側區(qū)域作為人體區(qū)域。人體檢測處理的方法由于眾所周知，因此省略其處理方法的說明。能夠在上述圖像解析中包含檢測出輸入圖像Iin內(nèi)存在的后頭部(人體的后頭部)的后頭部檢測處理。在輸入圖像Iin上的后頭部的內(nèi)側區(qū)域存在指定位置SP時，不要區(qū)域設定部31能夠通過基于輸入圖像Iin的圖像數(shù)據(jù)的后頭部檢測處理從輸入圖像Iin中檢測出后頭部區(qū)域，并將包含指定位置SP的后頭部區(qū)域設定為不要區(qū)域。后頭部區(qū)域的檢測包 括輸入圖像Iin上的后頭部的位置、大小、形狀以及輪廓等的檢測。后頭部區(qū)域是后頭部的圖像數(shù)據(jù)存在的圖像區(qū)域，能夠將后頭部的輪廓的內(nèi)側區(qū)域作為后頭部區(qū)域。作為后頭部的檢測方法能夠利用公知的方法。參照圖21對后頭部檢測處理的ー個示例進行說明。圖21表示作為輸入圖像Iin的一個示例的輸入圖像500。假設輸入圖像500是通過在人群中拍攝名人501得到的圖像。在圖21中，輸入圖像500的下側所示的半圓弧狀的點部分，表示在拍攝輸入圖像500時，攝像裝置I和名人501之間站立的其他人物的后頭部。在后頭部檢測處理中，首先，通過將輸入圖像500的各像素信號進行ニ值化，從而將輸入圖像500轉換為ニ值化圖像502，并通過從ニ值化圖像502中提取邊緣(各目標的輪廓)來生成邊緣提取圖像504。通過對ニ值化圖像502實施使用邊緣提取濾波器(微分濾波器等)的空間濾波，從而得到邊緣提取圖像504。不要區(qū)域設定部31能夠提取在邊緣提取圖像504的下側區(qū)域存在的圓弧狀的輪廓505，并檢測出輪廓505內(nèi)的圖像區(qū)域(即，圖21的斜線區(qū)域506)作為后頭部區(qū)域。在圖像中，上下方向與重力方向對應，所謂邊緣提取圖像504的下側區(qū)域，是指邊緣提取圖像504中的地面?zhèn)鹊膮^(qū)域(例如，沿水平方向將邊提取圖像504等分割為多個圖像區(qū)域，所得到的多個圖像區(qū)域之中最靠地面?zhèn)鹊膮^(qū)域)。能夠在上述圖像解析中包含檢測出輸入圖像Iin內(nèi)存在的線狀目標的線檢測處理。所謂線狀目標，是具有線狀(特別例如直線狀)的形態(tài)的物體，例如，網(wǎng)、電線。在輸入圖像Iin上的線狀目標的內(nèi)側區(qū)域存在指定位置SP時，不要區(qū)域設定部31能夠通過基于輸入圖像Iin的圖像數(shù)據(jù)的線檢測處理，從輸入圖像Iin中檢測出線區(qū)域，并將包含指定位置SP的線區(qū)域設定為不要區(qū)域。線區(qū)域的檢測包括輸入圖像Iin上的線狀目標的位置、大小、形狀以及輪廓等的檢測。線區(qū)域是線狀目標的圖像數(shù)據(jù)存在的圖像區(qū)域，能夠將線狀目標的輪廓的內(nèi)側區(qū)域作為線區(qū)域。作為線狀目標的檢測方法，能夠利用公知的方法。例如，能夠通過使用HOUGH變換的直線檢測，從輸入圖像Iin中檢測出線狀目標。這里的直線也包含線段。在輸入圖像Iin中存在多個線狀目標時，可以將多個線狀目標匯總看作ー個不要目標，將針對多個線狀目標的多個線區(qū)域的合成區(qū)域設定為不要區(qū)域。
參照圖22來說明線檢測處理的ー個示例。圖22表示作為輸入圖像Iin的ー個示例的輸入圖像510。輸入圖像510是通過隔著金屬絲網(wǎng)拍攝長頸鹿511得到的圖像。在圖22的輸入圖像510中，以格子狀所示的多個線段表示出金屬絲網(wǎng)。在線檢測處理中，通過對輸入圖像510的各像素信號進行ニ值化，從而將輸入圖像510轉換為ニ值化圖像512，并通過對ニ值化圖像512實施HOUGH變換得到直線檢測結果514。能夠合成由針對ニ值化圖像512的HOUGH變換所檢測出的各直線的線區(qū)域，并將合成區(qū)域設定為不要區(qū)域。此外，也可以按照用戶能夠指定在不要區(qū)域中應包含的直線(線狀目標)的方向的方式形成攝像裝置I。例如，在顯示畫面顯示輸入圖像510的狀態(tài)下，用戶在用手指觸碰了輸入圖像510上的金屬絲網(wǎng)的一部分作為指定位置SP之后，保持手指與顯示畫面的接觸狀態(tài)，使該手指在輸入圖像510的水平方向(顯示畫面的水平方向)上移動時，可以在不要區(qū)域中僅包含在水平方向上延伸的線狀不要目標(換言之，可以從不要區(qū)域中去除在垂直方向上延伸的線狀目標)。能夠在上述圖像解析中包含檢測出在輸入圖像Iin內(nèi)存在的移動物體的移動物體 檢測處理。在輸入圖像Iin上的移動物體的內(nèi)側區(qū)域存在指定位置SP時，不要區(qū)域設定部31能夠通過基于輸入圖像Iin的圖像數(shù)據(jù)的移動物體檢測處理，從輸入圖像Iin中檢測出移動物體區(qū)域，并將包含指定位置SP的移動物體區(qū)域設定為不要區(qū)域。移動物體區(qū)域的檢測，包括輸入圖像Iin上的移動物體的位置、大小、形狀以及輪廓等的檢測。移動物體區(qū)域是移動物體的圖像數(shù)據(jù)存在的圖像區(qū)域，能夠將移動物體的輪廓的內(nèi)側區(qū)域作為移動物體區(qū)域。能夠使用包括輸入圖像Iin的沿時序排列的多個幀圖像進行移動物體檢測處理。參照圖23(a)以及(b)，來說明移動物體檢測處理的ー個示例。攝像裝置I能夠通過在規(guī)定的幀周期的依次拍攝來對幀圖像依次進行拍攝，能夠在記錄介質(zhì)15 (參照圖I)中記錄規(guī)定的快門操作后的幀圖像作為輸入圖像IIN。當前，假設圖23(a)以及(b)所示的幀圖像524作為輸入圖像Iin被記錄在記錄介質(zhì)15中，并假設幀圖像521、522、523以及524以該順序依次被拍攝。圖像處理部14 (例如，不要區(qū)域設定部31)，在幀圖像524的拍攝前或拍攝后，求出幀圖像521和524間的差分、幀圖像522和524間的差分以及幀圖像523和524間的差分。然后，根據(jù)求出的差分，檢測出由幀圖像521 524構成的動態(tài)圖像上的移動物體，并檢測出幀圖像524上的移動物體以及移動物體區(qū)域525 (參照圖23 (b))。所謂移動物體，是指在包含幀圖像524的動態(tài)圖像上進行移動的物體。攝像裝置I，在記錄介質(zhì)15中記錄幀圖像524時，對幀圖像524上的移動物體區(qū)域525進行確定的移動物體區(qū)域信息也與幀圖像524的圖像數(shù)據(jù)建立關聯(lián)而記錄在記錄介質(zhì)15中。幀圖像524作為輸入圖像Iin被輸入圖像修正部30 (參照圖2)時，通過向不要區(qū)域設定部31賦予從記錄介質(zhì)15讀出的移動物體區(qū)域信息，不要區(qū)域設定部31能夠識別輸入圖像Iin上的移動物體區(qū)域525，若指定位置SP在移動物體區(qū)域525內(nèi)存在，則能夠將移動物體區(qū)域525設定為不要區(qū)域。此外，在上述的示例中，雖然使用幀圖像524和在幀圖像524之前所拍攝的三張幀圖像來進行了移動物體檢測，但也能夠使用幀圖像524和在幀圖像524之前所拍攝的ー張以上的幀圖像，或使用幀圖像524和在幀圖像524之后所拍攝的ー張以上的幀圖像來進行移動物體檢測。此外，在幀圖像524是記錄介質(zhì)15所記錄的動態(tài)圖像的一部分的情況下，在幀圖像524的前后所拍攝的幀圖像的圖像數(shù)據(jù)也記錄在記錄介質(zhì)15中時，也可以在幀圖像524作為輸入圖像Iin而被輸入圖像修正部30之際，也使用記錄介質(zhì)15的記錄數(shù)據(jù)來進行移動物體區(qū)域525的檢測。在上述圖像解析中能夠包含檢測出輸入圖像Iin內(nèi)存在的告示牌的告示牌檢測處理。在輸入圖像Iin上的告示牌的內(nèi)側區(qū)域存在指定位置SP吋，不要區(qū)域設定部31能夠通過基于輸入圖像Iin的圖像數(shù)據(jù)的告示牌檢測處理，從輸入圖像Iin中檢測出告示牌區(qū)域，并將包含指定位置SP的告示牌區(qū)域設定為不要區(qū)域。告示牌區(qū)域的檢測包括輸入圖像Iin上的告示牌的位置、大小、形狀以及輪廓等的檢測。告示牌區(qū)域是告示牌的圖像數(shù)據(jù)存在的圖像區(qū)域，能夠將告示牌的輪廓的內(nèi)側區(qū)域作為告示牌區(qū)域。參照圖24對告示牌檢測處理的ー個示例進行說明。圖24表示出作為輸入圖像Iin的一個示例的輸入圖像530。輸入圖像530是通過拍攝樹林以及樹林前所設置的告示牌531所得到的圖像。在告示牌檢測處理中，使用公知的文字提取處理來提取輸入圖像530上描寫的文字，提取包圍所提取到的文字組的輪廓作為告示牌的輪廓。更具體而言，例如，通過 將輸入圖像530的各像素信號進行ニ值化，將輸入圖像530轉換為ニ值化圖像532。然后，從ニ值化圖像532中提取文字，另ー方面，基于針對ニ值化圖像532的邊緣提取處理(輪廓提取處理)的結果來提取包圍提取文字的輪廓作為告示牌531的輪廓(告示牌531的外框)，檢測出所提取到的輪廓內(nèi)的圖像區(qū)域(圖24的斜線區(qū)域533)作為告示牌區(qū)域。在上述圖像解析中能夠包含檢測出在輸入圖像Iin內(nèi)存在的臉的臉檢測處理以及檢測出在臉上存在的黒痣的臉特定部檢測處理。在輸入圖像Iin上的臉的內(nèi)側區(qū)域存在指定位置SP時，不要區(qū)域設定部31通過基于輸入圖像Iin的圖像數(shù)據(jù)的臉檢測處理，從輸入圖像Iin中檢測出包含指定位置SP的臉區(qū)域。臉區(qū)域的檢測包括輸入圖像Iin上的臉的位置、大小、形狀以及輪廓等的檢測。臉區(qū)域是臉的圖像數(shù)據(jù)存在的圖像區(qū)域，能夠將臉的輪廓的內(nèi)側區(qū)域作為臉區(qū)域。將包含指定位置SP的臉區(qū)域稱為指定臉區(qū)域。若檢測出指定臉區(qū)域，則不要區(qū)域設定部31通過基于輸入圖像Iin的圖像數(shù)據(jù)的臉特定部檢測處理，從指定臉區(qū)域內(nèi)檢測出黒痣。通過臉特定部檢測處理，不僅可以檢測出黑疲，也可以檢測出例如斑、皺紋、印跡、傷等。并且，能夠將黑痣、斑、皺紋、印跡、傷等圖像數(shù)據(jù)存在的圖像區(qū)域設定為不要區(qū)域。參照圖25對黑痣的檢測方法的一個示例進行說明。圖25表示出作為輸入圖像Iin的一個示例的輸入圖像540。輸入圖像540上的人物的臉上存在黒痣541。不要區(qū)域設定部31，在提取了輸入圖像540上的膚色區(qū)域之后，在膚色區(qū)域的內(nèi)側存在的膚色區(qū)域以外的區(qū)域(包含黒痣541的區(qū)域)進行縮減的方向上實施膨脹處理(換言之，使膚色區(qū)域的內(nèi)側存在的膚色區(qū)域以外的區(qū)域縮減)。另ー方面，通過邊緣提取處理從輸入圖像540中提取脈沖狀的邊緣，并檢測出脈沖狀的邊緣的存在區(qū)域與膨脹處理后的膚色區(qū)域的共同區(qū)域作為黑痣541的圖像數(shù)據(jù)存在的圖像區(qū)域。此外，可以將指定臉區(qū)域的各像素的亮度值與規(guī)定的閾值進行比較，并檢測出具有該閾值以下的亮度值的像素聚集了規(guī)定數(shù)以上的部分作為黑疲。參照圖26的流程圖來說明不要區(qū)域的設定動作步驟。首先，用戶使用觸摸面板操作或按鈕操作將上述的指定位置SP輸入攝像裝置I (步驟S51)。若輸入了指定位置SP，則不要區(qū)域設定部31使用人體檢測處理來判斷輸入圖像Iin中包含指定位置SP的目標是否為人體(步驟S52)。然后，當判斷為包含指定位置SP的目標是人體吋，將使用人體檢測處理檢測出的包含指定位置SP的人體區(qū)域設定為不要區(qū)域(步驟S59)。當判斷為包含指定位置SP的目標不是人體時，不要區(qū)域設定部31使用后頭部檢測處理來判斷在輸入圖像Iin中包含指定位置SP的目標是否為后頭部(步驟S53)。然后，當判斷為包含指定位置SP的目標為后頭部時，將使用后頭部檢測處理檢測出的包含指定位置SP的后頭部區(qū)域設定為不要區(qū)域(步驟S59)。當判斷為包含指定位置SP的目標不是后頭部時，不要區(qū)域設定部31使用線檢測處理來判斷在輸入圖像Iin中包含指定位置SP的目標是否為線狀目標(步驟S54)。然后，當判斷為包含指定位置SP的目標為線狀目標時，將使用線檢測處理檢測出的包含指定位置SP的線區(qū)域設定為不要區(qū)域(步驟S59)。當判斷為包含指定位置SP的目標不是線狀目標時，不要區(qū)域設定部31使用上述移動物體區(qū)域信息或移動物體檢測處理來判斷在輸入圖像Iin中包含指定位置SP的目標是否為移動物體(步驟S55)。然后，當判斷為包含指定位置SP的目標為移動物體時，將使用 對移動物體區(qū)域信息的指示或移動物體檢測處理檢測出的包含指定位置SP的移動物體區(qū)域設定為不要區(qū)域(步驟S59)。當判斷為包含指定位置SP的目標不是移動物體時，不要區(qū)域設定部31使用告示牌檢測處理來判斷在輸入圖像Iin中包含指定位置SP的目標是否為告示牌(步驟S56)。然后，當判斷為包含指定位置SP的目標為告示牌時，將使用告示牌檢測處理檢測出的包含指定位置SP的告示牌區(qū)域設定為不要區(qū)域(步驟S59)。當判斷為包含指定位置SP的目標不是告示牌時，不要區(qū)域設定部31使用臉檢測處理來判斷在輸入圖像Iin中包含指定位置SP的目標是否為臉(步驟S57)。然后，當判斷為包含指定位置SP的目標為臉時，提取使用臉檢測處理檢測出的包含指示位置SP的臉區(qū)域作為指定臉區(qū)域，并使用上述臉特定部檢測處理(步驟S58)將黑痣等圖像數(shù)據(jù)存在的圖像區(qū)域設定為不要區(qū)域(步驟S59)。當判斷為包含指定位置SP的目標不是人體、后頭部、線狀目標、移動物體、告示牌以及臉的任何ー個時，不要區(qū)域設定部31通過基于輸入圖像Iin的圖像數(shù)據(jù)(顔色信息或邊緣信息)的公知的區(qū)域分割處理，將輸入圖像Iin的整個圖像區(qū)域分割為多個圖像區(qū)域，并將所得到的多個圖像區(qū)域內(nèi)的包含指定位置SP的圖像區(qū)域設定為不要區(qū)域(步驟S60)。此外，在輸入圖像Iin中存在人的臉時，可以考慮臉的大小來判斷是將人體區(qū)域還是將黑痣?yún)^(qū)域設定為不要區(qū)域。例如，在輸入圖像Iin中存在人的臉的情況下，在該臉中包含指定位置SP時，檢測出輸入圖像Iin上的該臉的臉區(qū)域的大小Fsize。然后，若大小Fsize小于規(guī)定的基準值，則可以將包含指定位置SP的人體區(qū)域設定為不要區(qū)域。另ー方面，若大小Fsize在規(guī)定基準值以上，則對包含指定位置SP的指定臉區(qū)域使用臉特定部檢測處理，并在指定臉區(qū)域內(nèi)，將黑痣等圖像數(shù)據(jù)存在的圖像區(qū)域設定為不要區(qū)域。此外，在圖26的動作例中，雖然步驟S52 S57的處理按照該順序被執(zhí)行，但也能夠任意地變更步驟S52 S57的處理的執(zhí)行順序。在第三實施方式中，用戶應進行的不要區(qū)域指定操作通過輸入指定位置SP的操作而結束。即例如，由于僅通過手指接觸顯示畫面上的不要目標的一部分就自動地設定不要區(qū)域，因此會減輕用戶的操作負擔。
《第四實施方式》對本發(fā)明的第四實施方式進行說明。圖27是第四實施方式的攝像裝置I的動作流程圖。攝像裝置I能夠在不要目標去除模式中依次執(zhí)行步驟S81 S88的處理。首先，在步驟S81中，根據(jù)由用戶進行的不要區(qū)域指定操作，在輸入圖像Iin內(nèi)設定不要區(qū)域。能夠使用其它任意實施方式所述的方法來設定不要區(qū)域。接著在步驟S82中，顯示部16進行被設定的不要區(qū)域的確認顯示。S卩，以用戶能夠視覺識別被設定的不要區(qū)域的方式，進行輸入圖像Iin的整體顯示或部分顯示，并在顯示畫面上明示不要區(qū)域(例如，進行不要區(qū)域的閃爍顯示或輪廓強調(diào)顯示)。在步驟S83中，用戶能夠根據(jù)需要，指示暫時所設定的不要區(qū)域的修正。該修正，例如，通過用戶的手動操作或不要區(qū)域指定操作的再執(zhí)行來實現(xiàn)。在由用戶進行不要區(qū)域的確認后，用戶若進行了規(guī)定操作，則在步驟S84中，圖像修正部30開始執(zhí)行不要區(qū)域去除用的圖像處理。不要區(qū)域去除用的圖像處理，與第一實施方式所述相同。即，例如，作為不要區(qū)域去除用的圖像處理，能夠使用圖12的步驟S12 S20的處理。不要區(qū)域去除用的圖像處理開始后，在步驟S85中，顯示部16依次顯示修正過程中的結果。參照圖28(a)以及(b)來說明該顯示的樣子。當前，為了具體說明，假設圖4的輸入圖像310為輸入圖像IIN，并且，由人物312的輪廓包圍的圖像區(qū)域為不要區(qū)域，并且，區(qū)域320為修正對象區(qū)域。此外，導入h作為表示時刻的記號(i是整數(shù))。時刻ti+1是比時刻も滯后的時刻。圖28(a)的圖像600 [tj，是在時刻h在顯示畫面所顯示的圖像。在步驟S85中，顯示部16依次顯示圖像600[tJ、600[t2]、…600[tm_J以及600[tm]。m是3以上的整數(shù)。圖像600[tJ是不要區(qū)域去除用的圖像處理前的輸入圖像Iin，即輸入圖像310其本身。假設變量i為2以上吋，圖像600 [tj相當于在將值VALi代入系數(shù)kMIX(參照圖9)的狀態(tài)下，實施圖12的步驟S12 S23的處理而得到的輸出圖像IQUT。其中，對于任意的整數(shù)i，值VALi+1大于值VALi。然而，值VALi大于O，并且值VALm為I。此夕卜，在時刻ti;也可以代替圖28(a)的圖像600[も]而顯示圖28(b)的600; [tj。即，在步驟S85中，可以進行圖像60(V [t1],600/ [t2]、…60(V [U以及600' [tj的依次顯示。圖像600' [tj是不要區(qū)域去除用的圖像處理前的修正對象區(qū)域內(nèi)的圖像，即輸入圖像310中的修正對象區(qū)域內(nèi)的圖像其本身。假設變量i為2以上吋，圖像600' [tj相當于在將值VALi代入系數(shù)kMIX(參照圖9)的狀態(tài)下，實施圖12的步驟S12 S20的處理而得到的混合結果圖像。如此，在圖像修正部30中(在圖17的第一修正處理部36或第二修正處理部37中)，對修正對象區(qū)域內(nèi)的圖像分多次階段性地執(zhí)行修正(使系數(shù)kMIX的值漸漸増加的同時，階段性地執(zhí)行)。通過階段性地執(zhí)行修正而得到的修正結果圖像600 [t2] 600 [tm](或600' [t2] 600' [tm])，依次在顯示部16輸出顯示。由于VALi < VALi+1，因此，隨著時間經(jīng)過，得到在顯示畫面上的不要目標漸漸變淡的映像效果。此外，用戶能夠在時刻tm之前，通過在攝像裝置I進行規(guī)定的強制結束操作，使步驟S85中的顯示強制結束。在接著步驟S85的步驟S86中，攝像裝置I接收由用戶進行的修正強度(修正量)的調(diào)整指示，根據(jù)調(diào)整指示來調(diào)整修正強度。作為修正強度的調(diào)整方法，例示第一以及第二調(diào)整方法。對第一調(diào)整方法進行說明。若未進行上述強制結束操作，則在從步驟S85轉移到步驟S86的時刻，顯示出圖像600 [tm]或600' [tm](參照圖28(a)或(b))。在該狀態(tài)下，用戶能夠進行第一實施方式所述的觸摸面板調(diào)整操作，圖像修正部30能夠按照觸摸面板調(diào)整操作的內(nèi)容來調(diào)整修正強度。更具體而言，例如，在進行了觸摸面板調(diào)整操作時，根據(jù)第一實施方式說明的操作體的振動次數(shù)等，使系數(shù)kMIX的值從I減少，實時顯示使用減少后的系數(shù)kMIX的值得到的修正結果圖像。減少后的系數(shù)kMIX的值例如為值VALnri吋，使用減少后的系數(shù)kMIX而得到的修正結果圖像，是圖像600 LtniJ或60(V [U (參照圖28(a)或(b))。使用減少后的系數(shù)kMIX而得到的修正結果圖像，相當于調(diào)整后的修正結果圖像。此夕卜，不進行觸摸面板調(diào)整操作而進行了規(guī)定的調(diào)整結束操作吋，圖像600[tm]或600' [tj作為調(diào)整后的修正結果圖像發(fā)揮功能。
對第二調(diào)整方法進行說明。在采用第二調(diào)整方法時，圖像修正部30，暫時存儲在步驟S85中得到的各修正過程中的結果。然后，在步驟S86中，同時在顯示部16輸出所存儲的多個修正過程中的結果。即，如圖29所示，在水平以及垂直方向上排列地同時顯示多個修正過程中的結果。例如，在水平以及垂直方向上排列地同時顯示在對系數(shù)kMIX代入了 O. 25、O. 5,0. 75以及I的狀態(tài)下實施圖12的步驟S12 S20的處理而得到的四個混合結果圖像601 604。在圖29中，斜線區(qū)域表示了顯示部16的殼體。在同時顯示出混合圖像601 604的狀態(tài)下，用戶能夠通過觸摸面板操作或按鈕操作來選擇混合結果圖像601 604的任一個作為調(diào)整后的修正結果圖像。當存在多張要顯示的混合結果圖像時，可以分多次顯示混合結果圖像。關于第二調(diào)整方法，能夠以如下的方式表現(xiàn)。在圖像修正部30中(在圖17的第一修正處理部36或第二修正處理部37中)，分多次階段性地執(zhí)行針對修正對象區(qū)域內(nèi)的圖像的修正(漸漸増加系數(shù)kMIX的值的同時，階段性地執(zhí)行)。通過階段性執(zhí)行修正而得到的多個修正結果圖像(在圖29的示例中圖像601 604)，同時在顯示部16被輸出顯示。在進行該顯示的狀態(tài)下，按照用戶的選擇操作來選擇調(diào)整后的修正結果圖像。此外，在第一以及第二調(diào)整方法的實現(xiàn)中，在攝像裝置I和用戶之間需要保持互動的關系(例如，根據(jù)用戶操作，需要實時更新應顯示的修正結果圖像)。因此，在確定調(diào)整內(nèi)容之前，以縮小了輸入圖像Iin的狀態(tài)執(zhí)行修正處理(即，以低于最大分辨率的分辨率的狀態(tài)執(zhí)行修正處理)，在確定調(diào)整內(nèi)容之后，優(yōu)選以未縮小輸入圖像Iin的狀態(tài)(以最大分辨率的狀態(tài))執(zhí)行修正處理。步驟S86中的調(diào)整之后，在步驟S87中，攝像裝置I進行修正結果圖像的確認顯
/Jn ο簡單地例如，顯示從輸入圖像Iin中完全或部分地去除了不要目標的圖像即輸出
圖像lorn?；蛘呃?，如圖30(a)所示，以固定時間間隔自動地交替顯示輸入圖像Iin與輸出圖像I·，或者，根據(jù)用戶操作交替地進行顯示。或者例如，如圖30(b)所示，以固定時間間隔自動地切換顯示輸入圖像Iin、輸出圖像I·、修正之處(即不要目標或不要區(qū)域)，或者，根據(jù)用戶操作進行切換顯示。
或者例如，也可以同時并列顯示輸入圖像Iin與輸出圖像IQUT。此時，也可以同時并列顯示輸入圖像Iin的一部分與輸出圖像Iott的一部分，以使對修正對象區(qū)域的部分進行放大顯示。例如，圖4以及圖7的圖像310以及350分別為輸入圖像Iin與輸出圖像Itot吋，如同圖31所示，可以放大修正前后的修正對象區(qū)域內(nèi)的圖像(例如，圖5(a)的圖像321以及圖9的圖像384)而同時并列顯示。顯示的放大率是任意的，根據(jù)用戶操作能夠變更該放大率。既可以在進行了修正前后的修正對象區(qū)域內(nèi)的圖像的并列顯示的狀態(tài)下接收觸摸面板調(diào)整操作，并按照觸摸面板調(diào)整操作來更新修正后的修正對象區(qū)域內(nèi)的圖像，也可以實時地在顯示內(nèi)容中反映更新結果。步驟S87之后，若由用戶進行追加其它不要區(qū)域的指示，則返回步驟S81，對其它不要區(qū)域執(zhí)行步驟S81 S87的處理(步驟S88)。若無追加其它不要區(qū)域的指示，則在記錄介質(zhì)15中記錄在該時刻最終得到的輸出圖像ITOT。此外，在步驟S84以及S85中所執(zhí)行的不要區(qū)域去除用的圖像處理中，雖然為了去除不要區(qū)域，提取以及設定了修正補丁區(qū)域(圖6(b)的區(qū)域340等)，但在該提取以及設定的修正補丁區(qū)域中有問題時，有時無法良好地去除不要區(qū)域(不會如用戶希望那樣去除不 要區(qū)域)。確認出未良好地去除不要區(qū)域的用戶，能夠進行規(guī)定的再試行執(zhí)行操作。用戶能夠在步驟S85中在顯示部16上正顯示著修正過程中的結果時，或在步驟S85中的顯示結束后的任意時刻，進行再試行指示操作。再試行指示操作，是指示不要區(qū)域去除用的圖像處理的再試行(換言之，修正對象區(qū)域內(nèi)的圖像的重新修正)的操作，通過規(guī)定的按鈕操作或觸摸面板操作來實現(xiàn)。參照圖28(a)以及圖32(a)等來說明進行再試行指示操作時的動作例以及顯示畫面例。為了具體說明，在步驟S85中，假設在顯示部16依次顯示圖像600[tJ、600[t2]、…、600 [^1]以及600[tm]。圖像600[tJ在步驟S84中也被顯示，此時，攝像裝置1，如圖32(a)所示，能夠將刪除圖標631與圖像eOOttJ —起顯示。斜線區(qū)域620表示不要區(qū)域。包含刪除圖標631的任意的圖標,能夠在應顯示的圖像上疊加顯示或與應顯示的圖像排列顯示。用戶能夠通過用手指接觸顯示畫面上的圖標來指示執(zhí)行該圖標所分配的處理。若用戶用手指觸碰刪除圖標631，則圖像修正部30通過上述方法提取以及設定不要區(qū)域去除用的修正補丁區(qū)域(修正用區(qū)域)641(參照圖32(b))。修正補丁區(qū)域641，如上所述，通過搜索相似區(qū)域，從作為包含不要區(qū)域的輸入圖像的圖像600[tJ中被提取。然而，如上所述，也可以從與圖像600[tJ不同的輸入圖像中提取修正補丁區(qū)域641。之后，圖像修正部30使用修正補丁區(qū)域641內(nèi)的圖像來進行不要區(qū)域去除用的圖像處理，并在步驟S85中，依次顯示修正結果圖像600 [t2] 600 [tj (參照圖28(a))。在不要區(qū)域去除用的圖像處理開始后的任意時刻，攝像裝置I能夠在顯示畫面上顯示取消圖標632以及重試圖標(參照圖32(c))。在圖32(c)的示例中，與修正結果圖像600 [tj 一起顯示出圖標632以及633。當用手指按壓取消圖標632時，圖像修正部30終止當前進行的不要區(qū)域去除用的圖像處理。重試圖標633也能夠在使用了修正補丁區(qū)域641的不要區(qū)域去除用的圖像處理結束后進行顯示。即，能夠在使用了修正補丁區(qū)域641的不要區(qū)域去除用的圖像處理的執(zhí)行中或執(zhí)行后，顯示重試圖標633。用戶能夠在不滿意由步驟S85所顯示的修正結果圖像600[、]時，用手指按壓重試圖標633。修正結果圖像的不滿意，主要起因于修正補丁區(qū)域不恰當。
用戶用手指按壓重試圖標633的操作是再試行指示操作的ー種，若進行了再試行指示操作，則圖像修正部30通過上述方法再次提取以及設定不要區(qū)域去除用的修正補丁區(qū)域。圖32(d)的斜線區(qū)域642表示出在再試行指示操作后新提取以及設定的修正補丁區(qū)域。新的修正補丁區(qū)域642與修正補丁區(qū)域641不同。即，在再試行指示操作后，提取與已經(jīng)被提取的修正補丁區(qū)域641不同的圖像區(qū)域作為修正補丁區(qū)域642。修正補丁區(qū)域642，如上所述，通過搜索相似區(qū)域，從作為包含不要區(qū)域的輸入圖像的圖像600[tJ中被提取。然而，如上所述，也可以從與圖像600[tJ不同的輸入圖像中提取修正補丁區(qū)域642。之后，圖像修正部30使用修正補丁區(qū)域642內(nèi)的圖像，重新進行不要區(qū)域去除用的圖像處理。不要區(qū)域去除用的圖像處理后的動作，與上述相同。此外，用戶對使用了修正補丁區(qū)域642的修正結果也不滿意時，還能夠進行第二次再試行指示操作，此時，進行使用了與修正補丁區(qū)域641以及642不同的修正補丁區(qū)域643 (未圖示)的提取以及修正補丁區(qū)域643內(nèi)的圖像的修正。此外，當提取了修正補丁區(qū)域641時，可以按照用戶能夠確認輸入圖像上的修正補丁區(qū)域641的位置以及大小等的方式，進行修正補丁區(qū)域641的明示(例如，修正補丁區(qū) 域641的閃爍顯示或輪廓強調(diào)顯示)。同樣地，當提取了修正補丁區(qū)域642時，可以按照用戶能夠確認輸入圖像上的修正補丁區(qū)域642的位置以及大小等的方式，進行修正補丁區(qū)域642的明示(例如，修正補丁區(qū)域642的閃爍顯示或輪廓強調(diào)顯示)。能夠在任意的修正補丁區(qū)域中使用修正補丁區(qū)域的明示。即，在包括本實施方式的各實施方式中，既可以明示修正補丁區(qū)域，也可以不進行該明示。若能夠執(zhí)行圖32(a) ⑷所示的處理，則即使在暫時設定的修正補丁區(qū)域中有問題，最終也能夠向用戶提供滿意的修正結果圖像。《第五實施方式》對本發(fā)明的第五實施方式進行說明。在第五實施方式中，對能夠容易地避免生成如圖35(b)的結果圖像930'那樣的與用戶的意圖相反的結果圖像的方法進行說明。參照圖36(a) (e)等對第五實施方式的方法進行說明。圖37表示了能夠在圖像修正部30 (參照圖2以及圖17)設置的提取禁止區(qū)域設定部39。圖38表示了在圖17的圖像修正部30中追加提取禁止區(qū)域設定部39時的圖像修正部30的內(nèi)部結構例。當前，假設輸入了圖36(a)所示的圖像700作為對圖像修正部30的輸入圖像IIN。在輸入圖像700中包含人物701 703的圖像，用戶將人物703捕獲作為不要目標。此時，用戶通過觸摸面板操作或按鈕操作，進行用于指定包圍人物703的圖像區(qū)域711作為不要區(qū)域的操作(參照圖36(b))。作為該操作，能夠利用上述任意不要區(qū)域指定操作。若表示不要區(qū)域指定操作的內(nèi)容的信息被作為不要區(qū)域指定信息傳輸給不要區(qū)域設定部31 (參照圖38)，則不要區(qū)域設定部31根據(jù)不要區(qū)域指定信息將圖像區(qū)域711設定為不要區(qū)域。接著不要區(qū)域指定操作，用戶能夠通過觸摸面板操作或按鈕操作，進行用于指定提取禁止區(qū)域的提取禁止區(qū)域指定操作。提取禁止區(qū)域設定部39根據(jù)表示提取禁止區(qū)域指定操作的內(nèi)容的提取禁止區(qū)域指定信息來設定提取禁止區(qū)域。在提取禁止區(qū)域的設定中，包括輸入圖像中的提取禁止區(qū)域的位置、大小、形狀以及輪廓的設定。在此，通過提取禁止區(qū)域指定操作來指定包圍人物702的圖像區(qū)域作為提取禁止區(qū)域712 (參照圖36(c))。基于提取禁止區(qū)域指定操作的提取禁止區(qū)域的指定以及設定方法，與基于不要區(qū)域指定操作的不要區(qū)域的指定以及設定方法相同。如上所述，雖然不要區(qū)域的去除是使用修正補丁區(qū)域的圖像數(shù)據(jù)來進行的，但提取禁止區(qū)域內(nèi)的圖像數(shù)據(jù)被禁止用作修正補丁區(qū)域的圖像數(shù)據(jù)。即，修正補丁區(qū)域，是從輸入圖像中的提取禁止區(qū)域以外的圖像區(qū)域內(nèi)被提取的，禁止將與提取禁止區(qū)域重合的圖像區(qū)域提取作為修正補丁區(qū)域。在圖36 (C)的示例的情況下，將提取禁止區(qū)域712從輸入圖像700的整個圖像區(qū)域去除后得到的剰余部分區(qū)域，捜索以及提取修正補丁區(qū)域。修正補丁區(qū)域的捜索以及提取方法與第一實施方式所示的方法相同。其結果是，提取以圖36(d)的波狀線713包圍的框內(nèi)的區(qū)域作為修正補丁區(qū)域。修正補丁區(qū)域713與提取禁止區(qū)域712不重合。此外，如第一實施方式所述，也能夠從與輸入圖像700不同的輸入圖像700'(未圖示)中提取修正補丁區(qū)域，此時，能夠在輸入圖像700'內(nèi)設定提取禁止區(qū)域。在提取以及設定修正補丁區(qū)域之后，能夠通過用第一實施方式所述的方法修正輸入圖像700，來得到作為結果圖像的輸出圖像720 (參照圖36(e))。在圖36(d)以及(e)的示例中，通過設定與提取禁止區(qū)域712不同的背景區(qū)域作為修正補丁區(qū)域713，能夠在輸出 圖像720中恰當?shù)厝コ灰娜宋?03。此外，在上述示例中，雖然提取禁止區(qū)域的個數(shù)為I，但提取禁止區(qū)域的個數(shù)也可以為2以上(即，用戶能夠指定多個提取禁止區(qū)域)。參照圖39對不要目標去除模式中的攝像裝置I的動作步驟進行說明。為了具體說明，假設通過設定不要區(qū)域711以及提取禁止區(qū)域712而從輸入圖像700得到輸出圖像720，并對圖39的各處理進行說明。在圖39的說明中，適當引用圖12，且在圖12的引用吋，有時將包含不要區(qū)域711的修正對象區(qū)域稱為修正對象區(qū)域A，并且，有時將所設定的修正補丁區(qū)域稱為修正補丁區(qū)域B。圖39所示的各處理，在不要目標去除模式下執(zhí)行。例如，在剛拍攝輸入圖像700之后在顯示部16顯示著輸入圖像700時，進行規(guī)定的觸摸面板操作或按鈕操作之際，或者在再現(xiàn)模式下選擇了規(guī)定菜單之際，轉移至不要目標去除模式。若轉移到不要目標去除模式，則攝像裝置I進行輸入圖像700的顯示(步驟S100)，在步驟SlOl中，等待由用戶進行的不要區(qū)域指定操作的輸入。若進行了不要區(qū)域指定操作的輸入，則在步驟S102中，不要區(qū)域設定部31按照不要區(qū)域指定操作來設定不要區(qū)域711。用戶能夠使用觸摸面板操作來直接指定不要區(qū)域711的位置、大小、形狀以及輪廓等(提取禁止區(qū)域712也同樣)。或者，也可以讓用戶使用按鈕操作從預先準備的多個圖像區(qū)域中選擇不要區(qū)域711 (提取禁止區(qū)域712也同樣)。在設定不要區(qū)域711之后，在步驟S103中，攝像裝置I向用戶詢問是否需要設定提取禁止區(qū)域。然后，當回答為需要設定提取禁止區(qū)域吋，從步驟S103轉移到步驟S104，在步驟S104以及S105的處理之后，轉移到步驟S106。另ー方面，當回答為不需要設定提取禁止區(qū)域時，從步驟S103直接轉移到步驟S106。在步驟S104中，攝像裝置I等待由用戶進行的提取禁止區(qū)域指定操作的輸入。若進行了提取禁止區(qū)域指定操作的輸入，則在步驟S105中，提取禁止區(qū)域設定部39按照提取禁止區(qū)域指定操作來設定提取禁止區(qū)域712。若設定了提取禁止區(qū)域712，則從步驟S105轉移到步驟S106。從步驟S103或S105轉移的步驟S106中，圖像修正部30 (修正補丁區(qū)域提取部35)，自動地提取以及設定修正補丁區(qū)域而與用戶的操作為無關。作為修正補丁區(qū)域的提取以及設定方法，能夠使用第一實施方式所述的方法。即，例如，在設定包含不要區(qū)域的圖4的修正對象區(qū)域320之后，通過與從輸入圖像310提取圖6 (b)的修正補丁區(qū)域340相同的方法，在輸入圖像700內(nèi)設定包含不要區(qū)域711的修正對象區(qū)域，并從輸入圖像700中提取與輸入圖像700內(nèi)的修正對象區(qū)域對應的修正補丁區(qū)域?；蛘撸?，能夠通過圖12的步驟S12 S18的處理在輸入圖像700 (或70(V )內(nèi)設定修正補丁區(qū)域。無論如何，在設定了提取禁止區(qū)域712時，從輸入圖像700(或700')中的提取禁止區(qū)域712以外的圖像區(qū)域內(nèi)提取修正補丁區(qū)域。其結果是，例如，提取以及設定圖36(d)的修正補丁區(qū)域713。此外，在利用了圖12的步驟S12 S18的處理的情況下搜索了多個相似區(qū)域時(步驟S15)，在第一實施方式中，讓用戶從多個相似區(qū)域中選擇了修正補丁區(qū)域。相對于此，在本實施方式中，為了減輕用戶的操作負擔，在步驟S106中，可以不讓用戶承擔該選擇操作，而自動地設定修正補丁區(qū)域(然而，也可以讓用戶承擔上述選擇操作)。此外，在圖39的步驟S106中使用了圖12的步驟S12 S18的處理的情況下，當判斷為不要區(qū)域的形狀為細線狀時(步驟S14 “是”)，也可以通過圖12的步驟19的處理來設定修正補丁區(qū)域。此時，在步驟S106中設定與修正補丁區(qū)域713不同的修正補丁區(qū)域。
此外，在步驟S106中設定了修正補丁區(qū)域之后，在步驟S107中，圖像修正部30生成基于輸入圖像700的輸出圖像720。作為在設定不要區(qū)域以及修正補丁區(qū)域之后從輸入圖像生成輸出圖像的方法，能夠使用第一實施方式所示的方法。例如，能夠使用圖12的步驟S20的處理。更具體而言，例如，通過混合包含不要區(qū)域711的修正對象區(qū)域A的圖像數(shù)據(jù)與修正補丁區(qū)域B(例如，與修正補丁區(qū)域713或修正補丁區(qū)域713不同的修正補丁區(qū)域)的圖像數(shù)據(jù)，來生成混合結果圖像，并通過將生成的混合結果圖像嵌入輸入圖像700的修正對象區(qū)域A來生成輸出圖像720。該混合中的系數(shù)kMIX的值可以為1，當kMIX= I時，在輸入圖像700中，由修正補丁區(qū)域B內(nèi)的圖像數(shù)據(jù)其本身來置換修正對象區(qū)域A內(nèi)的圖像數(shù)據(jù)。此外，能夠從輸入圖像700 (或700')中的提取禁止區(qū)域712以外的圖像區(qū)域內(nèi)提取多個修正補丁區(qū)域，當提取了多個修正補丁區(qū)域時，也可以使用多個修正補丁區(qū)域的圖像數(shù)據(jù)來生成輸出圖像720的修正對象區(qū)域A內(nèi)的圖像數(shù)據(jù)。在步驟S107中，也進行所生成的輸出圖像720的顯示。進行該顯示的同時，在步驟S108中，攝像裝置I向用戶詢問是否可以確定修正內(nèi)容。對于該詢問，用戶能夠使用觸摸面板操作或按鈕操作來進行規(guī)定的確定操作。在未進行確定操作時，用戶能夠使用觸摸面板操作或按鈕操作，進行用于從提取禁止區(qū)域進行再指定的操作或用于從不用區(qū)域進行再指定的操作(步驟S110)。在用戶進行了前者的操作吋，從步驟S108經(jīng)由步驟SllO返回步驟S104，再次執(zhí)行步驟S104 S108的處理，在該處理中進行提取禁止區(qū)域的再指定和再設定、以及輸出圖像的再生成。在用戶進行了后者的操作吋，從步驟S108經(jīng)由步驟SllO返回步驟S101，再次執(zhí)行步驟SlOl S108的處理，在該處理中進行不要區(qū)域以及提取禁止區(qū)域的再指定和再設定、以及輸出圖像的再生成。在步驟S108中，在用戶進行了確定操作時，在記錄介質(zhì)15中記錄在步驟S107中生成的最新輸出圖像的圖像數(shù)據(jù)(步驟S109)，結束圖39的動作。此外，可以對在步驟S107生成的輸出圖像執(zhí)行第一實施方式所述的調(diào)整處理(例如，參照圖12的步驟S26)，并在記錄介質(zhì)15中記錄調(diào)整處理后的輸出圖像。通過設置如本實施方式的提取禁止區(qū)域的設定功能，以少的操作負擔來避免提取不適合的修正補丁區(qū)域(避免提取用戶禁止的區(qū)域作為修正補丁區(qū)域)，其結果是，避免生成與意圖相反的輸出圖像。若換言之，能夠以少的操作負擔來生成按用戶意圖的輸出圖像。雖然能夠采用向多個用戶提示能夠使用的候補區(qū)域作為修正補丁區(qū)域，并讓用戶從多個候補區(qū)域中選擇修正補丁區(qū)域的方法，但當存在多個候補區(qū)域時，或使用多個修正補丁區(qū)域對ー個不要區(qū)域進行修正時，會稍微加重用戶的操作負擔。若在攝像裝置I側自動地進行修正補丁區(qū)域的選擇以及設定，則即使存在多個候補區(qū)域時等，用戶的操作負擔也減輕。 此外，如上所述，能夠通過與第一實施方式記載的技術相組合來實施第五實施方式記載的技木。因此，可以如下。在第一實施方式中，可以在圖像修正部30中追加提取禁止區(qū)域設定部39，并根據(jù)提取禁止區(qū)域指定操作在輸入圖像內(nèi)設定提取禁止區(qū)域。然后，在第一實施方式中，可以從輸入圖像中的提取禁止區(qū)域以外的圖像區(qū)域中提取修正補丁區(qū)域(即，可以禁止提取與提取禁止區(qū)域重合的圖像區(qū)域作為修正補丁區(qū)域)。此外，可以在攝像裝置I中進行如下的變形動作。在變形動作的說明中，以對輸入圖像700設定不要區(qū)域711，并在輸入圖像700內(nèi)設定包含不要區(qū)域711的修正對象區(qū)域A作為前提。此外，由記號Amsk表示基于修正對象區(qū)域A的掩蔽圖像。此外，在變形動作中，在相似區(qū)域的捜索中能夠利用圖12的步驟S15的方法。對第一變形動作進行說明。將從輸入圖像700或700'中搜索掩蔽圖像Amsk的相似區(qū)域作為修正補丁區(qū)域B，且使用修正補丁區(qū)域B對修正對象區(qū)域A內(nèi)的圖像進行修正稱為單位修正。単位修正通過在修正對象區(qū)域A的圖像數(shù)據(jù)中混合修正補丁區(qū)域B的圖像數(shù)據(jù)，或通過由修正補丁區(qū)域B的圖像數(shù)據(jù)置換修正對象區(qū)域A的圖像數(shù)據(jù)來實現(xiàn)，在第一變形動作中，多次反復執(zhí)行単位修正。由記號A
表示一次都未進行過単位修正的狀態(tài)下的修正對象區(qū)域A，由記號A[i]表示通過第i次的単位修正而得到的修正對象區(qū)域A，由記號Amsk[i]表示基于修正對象區(qū)域A[i]的掩蔽圖像，由記號B[i]表示對掩蔽圖像Amsk[i]進行了捜索的修正補丁區(qū)域B。這樣，在第一次的單位修正中，從輸入圖像700或70(V中搜索掩蔽圖像Amsk[O]的相似區(qū)域作為修正補丁區(qū)域B
，通過使用修正補丁區(qū)域B
來修正修正對象區(qū)域A
內(nèi)的圖像，得到修正對象區(qū)域A[l]。在第二次的單位修正中，從輸入圖像700或70(V中搜索基于修正對象區(qū)域A[l]的掩蔽圖像Amsk[1]的相似區(qū)域作為修正補丁區(qū)域B[l]，通過使用修正補丁區(qū)域B[l]來修正修正對象區(qū)域A[l]內(nèi)的圖像，得到修正對象區(qū)域A[2]。第三次以后的単位修正也同樣。能夠針對在修正對象區(qū)域A內(nèi)的圖像，通過新的単位修正來反復執(zhí)行単位修正，直至幾乎不再變化。例如，求出修正對象區(qū)域A[i-1]內(nèi)的各像素信號與修正對象區(qū)域A[i]內(nèi)的各像素信號之差，當判斷為該差足夠小吋，結束單位修正的反復執(zhí)行。當未判斷為該差足夠小時，為了得到修正對象區(qū)域A[i+1]，還執(zhí)行第(i+1)次単位修正?？梢灶A先確定單位修正的反復次數(shù)。在得到修正對象區(qū)域A[i]的時刻結束了単位修正的反復執(zhí)行時，通過對輸入圖像700的修正對象區(qū)域A嵌入修正對象區(qū)域A[i]的圖像數(shù)據(jù)，得到輸出圖像720。對第二變形動作進行說明。在修正對象區(qū)域A比較大時等，有時無法捜索適合于修正對象區(qū)域A的ー個修正補丁區(qū)域B。在這種情況下，利用第二變形動作是有益的。在第二變形動作中，將修正對象區(qū)域A分割為多個圖像區(qū)域。將通過分割得到的各圖像區(qū)域稱為分割區(qū)域。然后，按照每個分割區(qū)域捜索修正補丁區(qū)域來進行單位修正。為了具體說明，可考慮將修正對象區(qū)域A分割為四個分割區(qū)域A1 A4。伴隨分割區(qū)域A1 A4的設定，掩蔽圖像Amsk也被分割為四個分割掩蔽圖像Amski Αβκ4。分割掩蔽圖像Amsiu是與分割區(qū)域Aj對應的掩蔽圖像(j是1、2、3或4)。在第二變形動作中的一次単位修正中，從輸入圖像700或700'中搜索分割掩蔽圖像Amsh的相似區(qū)域作為修正補丁區(qū)域Bj，并使用修正補丁區(qū)域Bj按照每個分割區(qū)域進行修正分割區(qū)域、內(nèi)的圖像的處理?？梢詢H執(zhí)行一次單位修正，也可以如第一變形動作中所述的方法那樣，多次反復執(zhí)行単位修正。當前，假設在執(zhí)行了第i次単位修正的時刻結束單位修正的反復執(zhí)行。這樣，針對輸入圖像700的分割區(qū)域A1 A4，分別通過嵌入分割區(qū)域 [A1] [A4]的圖像數(shù)據(jù)而得到輸出圖像720。分割區(qū)域AJi]，是針對一次都未進行過単位修正的狀態(tài)下的分割區(qū)域Aj-行i次単位修正后得到的圖像區(qū)域。[變形等]上述說明中所示的具體數(shù)值，僅是簡單的示例，當然，能夠將它們變更為各種數(shù)值。在上述實施方式中，雖然假設在攝像裝置I內(nèi)設置有圖像處理部14以及圖像修正部30 (參照圖I)，但圖像處理部14或圖像修正部30，也可以搭載于與攝像裝置I不同的電子設備(未圖示)中。電子設備包括如電視接收機那樣的顯示裝置、個人計算機、手機等，攝像裝置也是ー種電子設備。在上述電子設備中，除了圖像處理部14或圖像修正部30，還可以設置記錄介質(zhì)15、顯示部16以及操作部17。能夠通過硬件或硬件與軟件的組合來構成圖I的攝像裝置I或上述電子設備。使用軟件構成攝像裝置I或上述電子設備時，針對由軟件實現(xiàn)的部位的方框圖，表示該部位的功能方框圖。也可以作為程序而記述使用軟件實現(xiàn)的功能，并通過在程序執(zhí)行裝置(例如計算機)上執(zhí)行該程序來實現(xiàn)該功能。附圖符號說明I-攝像裝置，Iト攝像部，14-圖像處理部，15-記錄介質(zhì)，16-顯示部，17-操作部，30-圖像修正部。
權利要求
1.一種圖像處理裝置，具有對第一輸入圖像中所包含的對象區(qū)域內(nèi)的圖像進行修正的修正部， 所述修正部具有 修正處理部，其使用與所述第一輸入圖像相同或不同的第二輸入圖像中所包含的修正用區(qū)域內(nèi)的圖像來修正所述對象區(qū)域內(nèi)的圖像；和 修正用區(qū)域提取部，其根據(jù)所述對象區(qū)域的圖像數(shù)據(jù)，從所述第二輸入圖像中提取所述修正用區(qū)域。
2.根據(jù)權利要求I所述的圖像處理裝置，其特征在于， 所述修正部還具有提取禁止區(qū)域設定部，該提取禁止區(qū)域設定部根據(jù)所賦予的操作，在所述第二輸入圖像內(nèi)設定提取禁止區(qū)域， 所述修正用區(qū)域提取部從所述第二輸入圖像中的所述提取禁止區(qū)域以外的圖像區(qū)域提取所述修正用區(qū)域。
3.根據(jù)權利要求I或2所述的圖像處理裝置，其特征在于， 所述修正部還具有對象區(qū)域設定部，該對象區(qū)域設定部指定所述第一輸入圖像中所包含的不要區(qū)域，并將包含該不要區(qū)域的圖像區(qū)域設定為所述對象區(qū)域， 所述修正用區(qū)域提取部通過將所述對象區(qū)域內(nèi)的所述不要區(qū)域以外的圖像區(qū)域即剩余部分區(qū)域的圖像數(shù)據(jù)與所述第二輸入圖像的圖像數(shù)據(jù)進行對比，從所述第二輸入圖像中檢測并提取所述修正用區(qū)域。
4.根據(jù)權利要求3所述的圖像處理裝置，其特征在于， 所述修正用區(qū)域提取部從所述第二輸入圖像內(nèi)搜索具有與所述剩余部分區(qū)域的圖像特征相似的圖像特征的圖像區(qū)域，并從所述第二輸入圖像中提取包含所搜索到的圖像區(qū)域的圖像區(qū)域作為所述修正用區(qū)域。
5.根據(jù)權利要求I 4的任一項所述的圖像處理裝置，其特征在于， 使用與該圖像處理裝置連接的顯示部，明示所述修正用區(qū)域。
6.根據(jù)權利要求I 5的任一項所述的圖像處理裝置，其特征在于， 在基于所述修正處理部進行的修正的執(zhí)行過程中或執(zhí)行后指示了重新執(zhí)行所述修正時， 所述修正用區(qū)域提取部從所述第二輸入圖像中提取與已經(jīng)提取出的修正用區(qū)域不同的圖像區(qū)域作為新的修正用區(qū)域， 所述修正處理部使用新提取的修正用區(qū)域內(nèi)的圖像，來修正所述對象區(qū)域內(nèi)的圖像。
7.根據(jù)權利要求3 6的任一項所述的圖像處理裝置，其特征在于， 所述修正部，除了作為第一修正處理部的所述修正處理部以外， 還具有第二修正處理部，該第二修正處理部使用用于縮小所述不要區(qū)域的膨脹處理來修正所述對象區(qū)域內(nèi)的圖像， 所述修正部根據(jù)所述不要區(qū)域的形狀，選擇性地使用所述第一及第二修正處理部，來修正所述對象區(qū)域內(nèi)的圖像。
8.根據(jù)權利要求3 7的任一項所述的圖像處理裝置，其特征在于， 所述修正部還具有不要區(qū)域設定部，該不要區(qū)域設定部接收指定位置的輸入，以所述指定位置被包含于所述不要區(qū)域的方式，基于所述指定位置和所述第一輸入圖像的圖像數(shù)據(jù)來設定所述不要區(qū)域。
9.根據(jù)權利要求I 8的任一項所述的圖像處理裝置，其特征在于， 所述修正處理部，分多次階段性地執(zhí)行針對所述對象區(qū)域內(nèi)的圖像的修正，且向顯示部依次輸出通過執(zhí)行階段性修正而得到的多個修正結果圖像。
10.根據(jù)權利要求I 8的任一項所述的圖像處理裝置，其特征在于， 所述修正處理部，分多次階段性地執(zhí)行針對所述對象區(qū)域內(nèi)的圖像的修正，且向顯示部同時輸出通過執(zhí)行階段性修正而得到的多個修正結果圖像。
11.一種電子設備，具有權利要求I 10的任一項所述的圖像處理裝置。
12.—種電子設備,具有 圖像處理裝置，其具有對第一輸入圖像中所包含的對象區(qū)域內(nèi)的圖像進行修正的修正部; 顯示部，其顯示所述第一輸入圖像的全部或一部分；和 操作部，其接收指定所述第一輸入圖像中所包含的不要區(qū)域的不要區(qū)域指定操作，并接收指示所述不要區(qū)域內(nèi)的圖像的修正的修正指示操作， 所述修正部具有 對象區(qū)域設定部，其將包含所述不要區(qū)域的圖像區(qū)域設定為所述對象區(qū)域； 修正處理部，其使用與所述第一輸入圖像相同或不同的第二輸入圖像中所包含的修正用區(qū)域內(nèi)的圖像來修正所述對象區(qū)域內(nèi)的圖像；和 修正用區(qū)域提取部，其根據(jù)所述對象區(qū)域的圖像數(shù)據(jù)從所述第二輸入圖像提取所述修正用區(qū)域， 所述修正部根據(jù)所述修正指示操作來修正所述對象區(qū)域內(nèi)的圖像， 在進行了該修正時，所述顯示部顯示修正后的對象區(qū)域內(nèi)的圖像。
13.根據(jù)權利要求12所述的電子設備，其特征在于， 所述修正部還具有 提取禁止區(qū)域設定部，其根據(jù)對所述操作部進行的提取禁止區(qū)域指定操作，在所述第二輸入圖像內(nèi)設定提取禁止區(qū)域， 所述修正部根據(jù)所述修正指示操作來修正所述對象區(qū)域內(nèi)的圖像， 在進行了該修正時，所述顯示部顯示修正后的對象區(qū)域內(nèi)的圖像， 所述修正用區(qū)域提取部從所述第二輸入圖像中的所述提取禁止區(qū)域以外的圖像區(qū)域提取所述修正用區(qū)域。
全文摘要
本發(fā)明提供一種簡單去除圖像上映入的不要目標的圖像處理裝置以及電子設備。本發(fā)明中，當人物(312)為不要目標時，用戶通過利用觸摸面板功能來指定人物(312)，將人物(312)的圖像區(qū)域設定為不要區(qū)域。圖像修正部設定包含不要區(qū)域的修正對象區(qū)域(320)，另一方面，將從修正對象區(qū)域(320)去除不要區(qū)域后的部分的圖像用作模板，從輸入圖像(310)內(nèi)搜索該圖像的相似區(qū)域。若發(fā)現(xiàn)相似區(qū)域(331)，則圖像修正部設定包含相似區(qū)域(331)的圖像區(qū)域作為修正補丁區(qū)域(340)，并通過對修正對象區(qū)域(320)的圖像數(shù)據(jù)與修正補丁區(qū)域(340)的圖像數(shù)據(jù)進行混合，對修正對象區(qū)域(320)內(nèi)的圖像進行修正。
文檔編號H04N5/225GK102812490SQ201180006638
公開日2012年12月5日 申請日期2011年1月17日 優(yōu)先權日2010年1月20日
發(fā)明者津田佳行, 畑中晴雄 申請人:三洋電機株式會社