專利名稱：從拍攝圖像中抽取被攝體區(qū)域的拍攝裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種從拍攝圖像中抽取被攝體區(qū)域的拍攝裝置、圖像處理方法和程序。
背景技術(shù)：
一直以來，已知一種應(yīng)用，即使用拍攝裝置，拍攝背景中被攝體存在的圖像和被 攝體不存在的背景圖像，由背景圖像和被攝體存在的圖像生成差分信息，只將被攝體抽出 (例如，參照專利文獻(xiàn)1)。專利文獻(xiàn)1 特開平10-21408號(hào)公報(bào)然而，如上面的專利文獻(xiàn)1中，在分兩次拍攝背景中被攝體存在的圖像和被攝體 不存在的背景圖像的情況下，具有兩次拍攝之間容易產(chǎn)生視角移動(dòng)，在抽取被攝體的處理 中，背景自身的像素值產(chǎn)生差分，將背景部分錯(cuò)誤識(shí)別為被攝體，從而無法正確進(jìn)行被攝體 的抽取的問題。這樣的情況下，需要再次拍攝，被攝體的剪切圖像的生成操作變得繁雜。

發(fā)明內(nèi)容
所以，本發(fā)明的課題在于，提供能夠通過一次拍攝簡(jiǎn)便地進(jìn)行被攝體區(qū)域的抽取 的拍攝裝置、圖像處理方法和程序。根據(jù)本發(fā)明的第一方面，提供一種圖像拍攝裝置，包括第1拍攝單元，拍攝背景 中存在被攝體的被攝體存在圖像；第1非平坦度計(jì)算單元，計(jì)算由所述第1拍攝單元所拍攝 的所述被攝體存在圖像的周邊部分的非平坦度；第1判定單元，判定由所述第1非平坦度計(jì) 算單元所計(jì)算的所述被攝體存在圖像的周邊部分的非平坦度是否在第1閾值以下；背景生 成單元，由所述第1判定單元判定為非平坦度在所述第1閾值以下的情況下，從所述被攝體 存在圖像的周邊部分，生成所述被攝體存在圖像中包括被攝體的被攝體區(qū)域的抽取用的抽 取用背景圖像；和被攝體抽取單元，基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì) 應(yīng)各像素的差分信息，從所述被攝體存在圖像中抽取所述被攝體區(qū)域。根據(jù)本發(fā)明的第二方面，提供一種圖像處理方法，包括以下步驟拍攝背景中存在 被攝體的被攝體存在圖像；計(jì)算所述被攝體存在圖像的周邊部分的非平坦度；判定所述被 攝體存在圖像的周邊部分的非平坦度是否在閾值以下；在判定為所述非平坦度在所述閾值 以下的情況下，從所述被攝體存在圖像的周邊部分，生成所述被攝體存在圖像中包括被攝 體的被攝體區(qū)域的抽取用的抽取用背景圖像；和基于所述抽取用背景圖像和所述被攝體存 在圖像的對(duì)應(yīng)各像素的差分信息，從所述被攝體存在圖像中抽取所述被攝體區(qū)域。根據(jù)本發(fā)明的第三方面，提供一種計(jì)算機(jī)可讀介質(zhì)，記錄了使計(jì)算機(jī)執(zhí)行包括以
5下步驟的圖像處理的軟件程序拍攝背景中存在被攝體的被攝體存在圖像；計(jì)算所述被攝 體存在圖像的周邊部分的非平坦度；判定所述被攝體存在圖像的周邊部分的非平坦度是否 在閾值以下；在判定為所述非平坦度在所述閾值以下的情況下，從所述被攝體存在圖像的 周邊部分，生成所述被攝體存在圖像中包括被攝體的被攝體區(qū)域的抽取用的抽取用背景圖 像；和基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì)應(yīng)各像素的差分信息，從所述 被攝體存在圖像中抽取所述被攝體區(qū)域。參照附圖，將對(duì)實(shí)施本發(fā)明各種特征的總體結(jié)構(gòu)進(jìn)行說明。附圖和相關(guān)說明提供 于闡述本發(fā)明的實(shí)施方式，不用于限定本發(fā)明的范圍。


圖1是表示應(yīng)用本發(fā)明的一實(shí)施方式的拍攝裝置的概略構(gòu)造的模塊圖。圖2是表示由圖1的拍攝裝置執(zhí)行的被攝體剪切處理所涉及的工作的一例的流程 圖。圖3是表示圖2的被攝體剪切處理的后續(xù)的流程圖。圖4是表示圖2的被攝體剪切處理的背景生成處理所涉及的工作的一例的流程 圖。圖5是表示圖2的被攝體剪切處理中的區(qū)域檢測(cè)處理所涉及的工作的一例的流程 圖。圖6是示意地表示用于說明圖2的被攝體剪切處理的圖像的一例的圖。圖7是示意地表示用于說明圖2的被攝體剪切處理的圖像的一例。圖8是示意地表示用于說明圖2的被攝體剪切處理的圖像的一例。
具體實(shí)施例方式以下對(duì)根據(jù)本發(fā)明的一實(shí)施方式，參照附圖進(jìn)行詳細(xì)說明。發(fā)明的范圍不被限定 于闡述附圖和以下說明的例子中。圖1是表示應(yīng)用本發(fā)明的一實(shí)施方式的拍攝裝置100的概略構(gòu)造的模塊圖。本實(shí)施方式的拍攝裝置100，在判定為背景中存在被攝體S的被攝體存在圖像Pla 的周邊部分的非平坦度在指定值以下的情況下，從該被攝體存在圖像Pla的周邊部分，生 成被攝體區(qū)域的抽取用的抽取用背景圖像，基于抽取用背景圖像和被攝體存在圖像Pla的 對(duì)應(yīng)各像素的差分信息，從被攝體存在圖像Pla中抽取被攝體區(qū)域。具體而言，如圖1所示，拍攝裝置100具有透鏡部1、電子拍攝部2、拍攝控制部3、 圖像數(shù)據(jù)生成部4、圖像存儲(chǔ)器5、非平坦度計(jì)算部6、塊匹配部7、圖像處理部8、記錄介質(zhì) 9、顯示控制部10、顯示部11、操作輸入部12和CPU13。另外，拍攝控制部3、非平坦度計(jì)算部6、塊匹配部7、圖像處理部8、和CPU13，設(shè)計(jì) 為例如定制化的LSI 1A。透鏡部1由多個(gè)透鏡構(gòu)成，具有變焦透鏡和聚焦透鏡等。另外，雖然省略了圖示，但透鏡部1也可以具有在拍攝被攝體S時(shí)使變焦透鏡沿光 軸方向移動(dòng)的變焦驅(qū)動(dòng)部、和使聚焦透鏡沿光軸方向移動(dòng)的對(duì)焦驅(qū)動(dòng)部等。電子拍攝部2由例如CCD (Charge Coupled Device,電荷耦合器件)或CMOS (Complementary Metal-oxide Semiconductor，互補(bǔ)型金屬氧化物半導(dǎo)體)等的圖像 傳感器構(gòu)成，將通過透鏡部1的各種透鏡的光學(xué)像轉(zhuǎn)變?yōu)橛糜陲@示二維圖像的圖像信號(hào)。雖然省略了圖示，但拍攝控制部3具有定時(shí)發(fā)生器、驅(qū)動(dòng)器等。由此，拍攝控制部3 通過定時(shí)發(fā)生器、驅(qū)動(dòng)器對(duì)電子拍攝部2進(jìn)行掃描驅(qū)動(dòng)，按每指定周期通過電子拍攝部2將 光學(xué)像轉(zhuǎn)變?yōu)橛糜陲@示二維圖像的圖像信號(hào)，從該電子拍攝部2的拍攝區(qū)域1個(gè)畫面1個(gè) 畫面的讀出圖像幀，輸出至圖像數(shù)據(jù)生成部4。另外，拍攝控制部3進(jìn)行AF(自動(dòng)對(duì)焦處理)、AE(自動(dòng)曝光處理)、AWB(自動(dòng)白平 衡)等被攝體S的拍攝條件的調(diào)整控制。另外，拍攝時(shí)進(jìn)行實(shí)時(shí)取景圖像顯示的情況下，拍攝處理部3通過電子拍攝部2使 被攝體S以指定的拍攝幀頻被連續(xù)拍攝，依次生成實(shí)時(shí)取景圖像顯示用的圖像幀。具體而 言，拍攝控制部3，將通過透鏡部1的背景中被攝體S不存在的背景圖像P2 (參照?qǐng)D6 (b)) 的光學(xué)像，通過電子拍攝部2以指定的幀頻被連續(xù)拍攝，依次生成該背景圖像P2的實(shí)時(shí)取 景圖像顯示用的圖像幀。此處，拍攝透鏡部1、電子拍攝部2和拍攝控制部3構(gòu)成拍攝被攝體S不存在的背 景圖像P2從而依次生成圖像幀的背景拍攝單元。另外，作為拍攝模式，設(shè)定為被攝體剪切模式(后述)的情況下，基于由用戶對(duì)快 門按鈕12a的拍攝指示操作，拍攝控制部3將通過透鏡部1的背景中存在被攝體S的被攝 體存在圖像Pla(參照?qǐng)D6(c))的光學(xué)像，以指定的拍攝條件，由電子拍攝部2變換為用于 顯示二維圖像的圖像信號(hào)，從該電子拍攝部2的拍攝區(qū)域讀出被攝體存在圖像Pla所涉及 的圖像幀。此處，拍攝透鏡部1、電子拍攝部2和拍攝控制部3構(gòu)成了拍攝背景中存在被攝體 S的被攝體存在圖像Pla的第1拍攝單元。另外，在實(shí)時(shí)取景圖像(背景圖像P2)的非平坦度的判定處理(后述)中，在判定 為特征點(diǎn)或塊內(nèi)的像素值的偏差量比指定值多之后，在被攝體存在圖像Plb (參照?qǐng)D8 (a)) 被拍攝的情況下，拍攝控制部3維持固定了該被攝體存在圖像Plb的拍攝時(shí)的拍攝條件的 狀態(tài)。由此，基于由用戶對(duì)快門按鈕12a的拍攝指示操作，拍攝控制部3將通過透鏡部1的、 與被攝體存在圖像Plb的背景相同的背景中被攝體S不存在的被攝體不存在圖像P3 (參照 圖8 (b))的光學(xué)像，以被攝體存在圖像Plb拍攝后所固定的拍攝條件，由電子拍攝部2變換 為用于顯示二維圖像的圖像信號(hào)，從該電子拍攝部2的拍攝區(qū)域讀出被攝體不存在圖像P3 所涉及的圖像幀。此處，拍攝透鏡部1、電子拍攝部2和拍攝控制部3構(gòu)成了在判定處理中判定為非 平坦度比指定值大的情況下，被攝體存在圖像Plb拍攝后，拍攝與該被攝體存在圖像Plb的 背景相同的背景中所述被攝體S不存在的被攝體不存在圖像P3的第2拍攝單元。圖像數(shù)據(jù)生成部4對(duì)于從電子拍攝部2轉(zhuǎn)送來的圖像幀的模擬值的信號(hào)，按RGB 的各色分量適當(dāng)?shù)剡M(jìn)行了增益調(diào)整之后，經(jīng)采樣保持電路(圖示省略)作采樣保持之后， 經(jīng)A/D轉(zhuǎn)換器(圖示省略)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，經(jīng)顏色處理電路(圖示省略)進(jìn)行包括像素 插值處理和伽馬(Y)補(bǔ)正處理的顏色處理之后，生成數(shù)字值的亮度信號(hào)Y和色差信號(hào)Cb、 Cr(YUV 數(shù)據(jù))。從顏色處理電路輸出的亮度信號(hào)Y和色差信號(hào)Cb、Cr，通過未圖示的DMA控制器，
7向作為緩沖存儲(chǔ)器使用的圖像存儲(chǔ)器5作DMA傳送。此外，也可以將將A/D轉(zhuǎn)換后的數(shù)字?jǐn)?shù)據(jù)顯影的去馬賽克(de-mosaic)部(圖示 省略)安裝至定制化LSI1A上。圖像存儲(chǔ)器5例如由DRAM等構(gòu)成，臨時(shí)存儲(chǔ)由非平坦度計(jì)算部6、塊匹配部7、圖 像處理部8和CPU13等處理的數(shù)據(jù)。非平坦度計(jì)算部6具有特征量計(jì)算部6a。特征量計(jì)算部6a，進(jìn)行從背景圖像P2和被攝體存在圖像Pla等中抽取特征點(diǎn)的特 征抽取處理。具體而言，特征量計(jì)算部6a，基于作為實(shí)時(shí)取景圖像顯示用的圖像幀而生成的背 景圖像P2的YUV數(shù)據(jù)，將以高頻分量多的特征高的塊區(qū)域(例如，16X16像素的正方形) 作為特征點(diǎn)而抽取。另外，非平坦度計(jì)算部6，具有在背景生成處理中，基于被攝體存在圖像Pla的YUV 數(shù)據(jù)，將該被攝體存在圖像Pla的周邊部分(參照?qǐng)D7(a))分割為多個(gè)圖像塊B的分割部 6b。特征量計(jì)算部6a，抽取由此分割部6b分割而成的各圖像塊B的特征點(diǎn)。此處，分割部 6b，構(gòu)成將被攝體存在圖像Pla的周邊部分分割為多個(gè)圖像塊(圖像區(qū)域)B的分割單元。另外，特征量計(jì)算部6a，在被攝體存在圖像Plb和被攝體不存在圖像P3的對(duì)位處 理中，以被攝體不存在圖像P3為基準(zhǔn)，進(jìn)行從該被攝體不存在圖像P3中抽取特征點(diǎn)的處 理。具體而言，特征量計(jì)算部6a，基于被攝體不存在圖像P3的YUV數(shù)據(jù)，從多個(gè)候補(bǔ)塊選擇 追蹤方便的指定數(shù)目(或指定數(shù)目以上)的特征高的塊區(qū)域(特征點(diǎn))，以該塊的內(nèi)容為模 板(template)(例如，16X16像素的正方形)而抽取。另外，非平坦度計(jì)算部6，具有計(jì)算塊內(nèi)的像素值的偏差量的偏差量算出部6c。偏差量算出部6c，根據(jù)下面的公式(1)計(jì)算標(biāo)準(zhǔn)偏差，作為作為實(shí)時(shí)取景圖像顯 示用的圖像幀而生成的背景圖像P2的各塊區(qū)域內(nèi)的偏差量。另外，偏差量算出部6c，根據(jù)下面的公式(1)計(jì)算標(biāo)準(zhǔn)偏差，作為在背景生成處理 中作為被攝體存在圖像Pla的周邊部分的多個(gè)圖像塊B的各自的偏差量(公式1)
— 1 Nb=—^bncrb=Jj^f(bn-b)2⑴
f其中I
塊中的像素值
TV:塊中的像素?cái)?shù)目
塊中像素值的均值
、力塊中的標(biāo)準(zhǔn)偏差,此外，上面公式⑴中，b作為各塊領(lǐng)域的像素值，舉例為亮度值。這樣，特征量計(jì)算部6a和偏差量算出部6c，構(gòu)成了計(jì)算被攝體存在圖像Pla的周 邊部分的非平坦度的第1非平坦度計(jì)算單元，和計(jì)算背景圖像P2的非平坦度的第2非平坦
8度計(jì)算單元。換言之，特征量計(jì)算部6a，作為非平坦度，抽出被攝體存在圖像Pla的周邊部分的 特征點(diǎn)，和背景圖像P2的特征點(diǎn)等。另外，偏差量算出部6c，作為非平坦度，計(jì)算被攝體存 在圖像Pla的周邊部分的多個(gè)圖像塊(圖像領(lǐng)域)內(nèi)的像素值的偏差量，和背景圖像P2的 多個(gè)塊區(qū)域(圖像領(lǐng)域)內(nèi)的偏差量。塊匹配部7，進(jìn)行用于將被攝體不存在圖像P3(基準(zhǔn)圖像)和被攝體存在圖像 Plb (對(duì)象圖像)對(duì)位的塊匹配處理。具體而言，塊匹配部7，搜索特征抽取處理中抽取的模 板與被攝體存在圖像Plb中的何處對(duì)應(yīng)，換言之，被攝體存在圖像Plb中模板的像素值所最 佳匹配的位置(對(duì)應(yīng)區(qū)域)。由此，算出像素值的差異度的評(píng)價(jià)值(例如，平方差值和(Sum of SquaredDifferences，SSD)、絕對(duì)差值和(Sum of Absolute Differences, SAD)等)為 最佳的被攝體不存在圖像P3和被攝體存在圖像Plb之間最合適的偏移量，作為該模板的運(yùn) 動(dòng)矢量。圖像處理部8，具有進(jìn)行非平坦度計(jì)算處理中計(jì)算出的非平坦度的判定的非平坦 度判定部8a。非平坦度判定部8a，判定作為實(shí)時(shí)取景圖像顯示用的圖像幀而生成的背景圖像 P2的特征點(diǎn)，即，由特征量計(jì)算部6a所抽取的特征高的塊區(qū)域是否為指定值以下(背景圖 像P2的特征量多不多)。另外，非平坦度判定部8a，判定由偏差量算出部6c所算出的背景 圖像P2的塊內(nèi)的像素值的偏差量是否在指定值以下。此處，非平坦度判定部8a，構(gòu)成判定背景圖像P2的特征點(diǎn)是否在指定值以下，和 背景圖像P2的塊內(nèi)的像素值的偏差量是否在指定值以下的第2判定單元。另外，非平坦度判定部8a，判定背景生成處理中，由特征量計(jì)算部6a對(duì)被攝體存 在圖像Pla的周邊部分的多個(gè)圖像塊B所抽取的特征點(diǎn)是否為指定值以下(被攝體存在圖 像Pla的周邊部分的特征量多不多)。另外，非平坦度判定部8a，判定由偏差量算出部6c 所算出的各圖像塊B的偏差量是否在指定值以下。進(jìn)一步地，非平坦度判定部8a，將判定為特征點(diǎn)在指定值以下，且塊內(nèi)的像素值的 偏差量在指定值以下的圖像塊B進(jìn)行計(jì)數(shù)，判定圖像塊B是否為多個(gè)。此處，非平坦度判定部8a，構(gòu)成判定被攝體存在圖像Pla的周邊部分的特征點(diǎn)是 否在指定值以下，和周邊部分的多個(gè)圖像塊B的塊內(nèi)的像素值的偏差量是否在指定值以下 的第1判定單元。另外，圖像處理部，具有利用色度鍵(chroma-key)技術(shù)生成用于抽取被攝體區(qū)域 的抽取用背景圖像的背景生成部8b。背景生成部8b，在由非平坦度判定部8a判定為被攝體存在圖像Pla的周邊部分的 特征點(diǎn)在指定值以下，且塊內(nèi)的像素值的偏差量在指定值以下的圖像塊B，S卩，特征量少的 圖像塊B為多個(gè)的情況下，生成與該圖像塊B的顏色相同的顏色作為背景色的抽取用背景 圖像。例如，如圖6(b)所示，以特征量少的素色背景為背景而拍攝被攝體S的情況下，被攝 體存在圖像Pla的周邊部分的特征量變少，生成與該被攝體存在圖像Pla的周邊部分相同 顏色的抽取用背景圖像。此外，所謂色度鍵，是指使用特定顏色的背景，從一個(gè)圖像數(shù)據(jù)中剪切被攝體S的 方法。色度鍵中，通常背景采用與被攝體S為補(bǔ)色關(guān)系的藍(lán)色或綠色的屏幕(screen)，通過生成與被攝體存在圖像Pla的周邊部分為相同顏色的抽取用背景圖像，可以基于抽取用背 景圖像和被攝體存在圖像Pla的顏色信息，分離背景部分和被攝體部分。此處，背景生成部8b，構(gòu)成在被攝體存在圖像Pla的周邊部分的非平坦度被判定 為在指定值以下的情況下，從該被攝體存在圖像Pla的周邊部分生成包括被攝體存在圖像 Pla中的被攝體S的被攝體區(qū)域的抽取用的抽取用背景圖像的背景圖像生成單元。另外，圖像處理部8，具有將被攝體存在圖像Plb和被攝體不存在圖像P3進(jìn)行對(duì)位 的對(duì)位部8c。對(duì)位部8c，基于從被攝體不存在圖像P3中抽取的特征點(diǎn)，進(jìn)行被攝體存在圖像 Plb和被攝體不存在圖像P3的對(duì)位。也就是說，對(duì)位部8c，基于從被攝體不存在圖像P3中 抽取的特征點(diǎn)，計(jì)算出被攝體存在圖像Plb的相對(duì)于被攝體不存在圖像P3的各像素的坐標(biāo) 變換式(投影變換矩陣)，根據(jù)該坐標(biāo)變換式，對(duì)被攝體存在圖像Plb進(jìn)行坐標(biāo)變換，進(jìn)行與 被攝體不存在圖像P3的對(duì)位。具體而言，對(duì)位部8c，將由塊匹配部7計(jì)算出的多個(gè)模板的運(yùn)動(dòng)矢量，經(jīng)多數(shù)決定 而計(jì)算，將統(tǒng)計(jì)上判斷為指定百分比(例如，50%)以上的運(yùn)動(dòng)矢量，作為整體的運(yùn)動(dòng)矢量， 使用該運(yùn)動(dòng)矢量所涉及的特征點(diǎn)的對(duì)應(yīng)，計(jì)算出被攝體存在圖像Plb的投影變換矩陣。由 此，對(duì)位部8c，根據(jù)投影變換矩陣將被攝體存在圖像Plb坐標(biāo)變換，進(jìn)行與被攝體不存在圖 像P3的對(duì)位。此處，對(duì)位部8c，構(gòu)成進(jìn)行被攝體存在圖像Plb和被攝體不存在圖像P3的對(duì)位的 對(duì)位單元。另外，圖像處理部，具有生成用于從被攝體存在圖像Pla(Plb)抽取被攝體區(qū)域的 掩模(mask)圖像的掩模生成部8d。掩模生成部8d，根據(jù)下面的公式(2)計(jì)算出背景圖像P2(抽取用背景圖像、或是被 攝體不存在圖像P3等)與被攝體存在圖像Pla(Plb)的對(duì)應(yīng)的各像素的差異度D，生成差異 度圖表(map)。(公式2)D = (Yc-Y) 2+G X ((Uc-U)2+ (Vc-V)2)(2)此外，上面的公式中，背景圖像的YUV數(shù)據(jù)由“Y”、“U”、“V”表示，被攝體存在圖像 的YUV數(shù)據(jù)由“Yc”、“uc”、“vc”所表示。另外，G表示色差信號(hào)U、V的增益。由此，掩模生成部8d，將生成的差異度圖表以指定的閾值進(jìn)行二值化(0，255)，生 成掩模圖像。另外，掩模生成部8d，進(jìn)行用于去除微小噪聲的收縮處理，將比指定值小的像素 集合去除之后，進(jìn)行用于修正收縮成分的擴(kuò)張?zhí)幚?；之后，由將?gòu)成相同連接成分的像素 集合附加相同號(hào)碼的標(biāo)簽處理，通過將有效區(qū)域的構(gòu)成像素?cái)?shù)的指定比率以下的區(qū)域替換 為有效區(qū)域，從而進(jìn)行填充處理。進(jìn)一步地，掩模生成部8d，對(duì)區(qū)域信息使用平均濾波器 (averagingfilter)，對(duì)區(qū)域的緣部附加合成灰度。此處，掩模生成部8d，構(gòu)成基于抽取用背景圖像和被攝體存在圖像Pla(Plb)所對(duì) 應(yīng)的各像素的差異度(差分信息)D，生成用于從被攝體存在圖像Pla抽取被攝體區(qū)域的掩 模圖像的掩模生成單元。另外，圖像處理部8，具有將被攝體S的圖像與指定的單一顏色背景圖像P5合成，生成被攝體剪切圖像P4的圖像數(shù)據(jù)的剪切圖像生成部8e。剪切圖像生成部8e，利用色度鍵技術(shù)，使用由掩模生成部8d所生成的掩模圖像，從被攝體存在圖像Pla (Plb)中剪切被攝體區(qū)域，與單一顏色背景圖像P5合成，生成被攝體 剪切圖像P4的圖像數(shù)據(jù)。此外，掩模圖像的邊緣部分上，由于被附加了合成灰度，所以可以 將剪切的被攝體區(qū)域和單一顏色背景圖像P5的邊界部分合成為不清晰的自然感覺。此處，剪切圖像生成部8e，構(gòu)成基于抽取用背景圖像和被攝體存在圖像Pla(Plb) 的對(duì)應(yīng)的各像素的差分信息，從被攝體存在圖像Pla中抽取被攝體區(qū)域的被攝體抽取單兀。記錄介質(zhì)9，例如由非易失性存儲(chǔ)器(閃速存儲(chǔ)器)等構(gòu)成，存儲(chǔ)由圖像處理部8 的JPEG壓縮部(圖示省略)所編碼的拍攝圖像的記錄用的圖像數(shù)據(jù)。另外，記錄介質(zhì)9，在將由圖像處理部8的掩模生成部8d所生成的掩模圖像，和被 攝體剪切圖像P4的圖像數(shù)據(jù)分別壓縮的基礎(chǔ)上建立關(guān)聯(lián)，并將該被攝體剪切圖像P4的圖 像數(shù)據(jù)的擴(kuò)展名作為“.jpg”從而保存。顯示控制部10，進(jìn)行讀出圖像存儲(chǔ)器5中臨時(shí)存儲(chǔ)的顯示用圖像數(shù)據(jù)并顯示于顯 示部11的控制。具體而言，顯示控制部10，具有VRAM、VRAM控制器、數(shù)字視頻編碼器等。由此，數(shù) 字視頻編碼器在CPU13的控制下，將從圖像存儲(chǔ)器5中讀出的VRAM(圖示省略)中存儲(chǔ)的 亮度信號(hào)Y和色差信號(hào)Cb、Cr，通過VRAM控制器，定期從VRAM中讀出，基于這些數(shù)據(jù)，生成 視頻信號(hào)，向顯示部11輸出。顯示部11，為例如液晶顯示裝置，基于來自顯示控制部10的視頻信號(hào)，將由電子 拍攝部2所拍攝的圖像等在顯示畫面Ila上顯示。具體而言，顯示部11，在拍攝模式下，基 于拍攝透鏡部1、電子拍攝部2和拍攝控制部3對(duì)被攝體S的拍攝而生成的多個(gè)圖像幀，顯 示實(shí)時(shí)取景圖像，或顯示作為本拍攝圖像所拍攝的存儲(chǔ)取景(> 7々κ-一)圖像。操作輸入部12，是用于進(jìn)行該拍攝裝置100的指定操作的部件。具體而言，操作輸 入部12，具有被攝體S的拍攝指示所涉及的快門按鈕12a、菜單畫面中拍攝模式或功能等選 擇指示所涉及的模式按鈕12b、變焦量的調(diào)整指示所涉及的變焦按鈕(圖示省略)等，根據(jù) 這些按鈕的操作，向CPU13輸出指定的操作信號(hào)。CPU13控制拍攝裝置100的各部分。具體而言，CPU13，根據(jù)拍攝裝置100用的各 種處理程序(圖示省略)進(jìn)行各種控制工作。接下來，參照?qǐng)D2 圖8，對(duì)由拍攝裝置100執(zhí)行的圖像處理方法所涉及的被攝體 剪切處理進(jìn)行說明。圖2和圖3，是表示被攝體剪切處理所涉及的工作的一例的流程圖。被攝體剪切處理，是基于由用戶對(duì)操作輸入部12的模式按鈕12b的指定操作，從 菜單畫面中顯示的多個(gè)拍攝模式中選擇指示了被攝體剪切模式時(shí)所實(shí)行的處理。如圖2所示，首先，CPU13將圖像存儲(chǔ)器的標(biāo)記表(圖示省略)中寫入背景拍攝標(biāo) 記=0之后(步驟Si)，使得顯示控制部10，基于由拍攝透鏡部1、電子拍攝部2和拍攝控制 部3對(duì)被攝體S的拍攝所依次生成的圖像幀，將實(shí)時(shí)取景圖像在顯示部11的顯示畫面Ila 上顯示，同時(shí)與該實(shí)時(shí)取景圖像重疊，將背景指示消息(例如，“請(qǐng)向著背景”等)在顯示部 11的顯示畫面Ila上顯示(步驟S2，參照?qǐng)D6(a))。
然后，CPU13，使得顯示控制部10，基于由拍攝透鏡部1、電子拍攝部2和拍攝控 制部3對(duì)被攝體S的拍攝所依次生成的圖像幀，進(jìn)行對(duì)實(shí)時(shí)取景圖像的更新的控制(步驟 S3)；基于實(shí)時(shí)取景圖像顯示用的圖像幀(背景圖像P2)的YUV數(shù)據(jù)，使得特征量計(jì)算部6a 將特征高的塊區(qū)域(特征點(diǎn))抽出，同時(shí)使得偏差量算出部6c根據(jù)公式(1)，計(jì)算作為各塊 區(qū)域內(nèi)的偏差量的標(biāo)準(zhǔn)偏差(步驟S4)。(公式3)
<formula>formula see original document page 12</formula>
'其中)
塊中的像素值 V:塊中的像素?cái)?shù)目
塊中像素值的均值 、σΑ 塊中的標(biāo)準(zhǔn)偏差，接下來，CPU13通過判定由特征量計(jì)算部6a所抽取的特征高的塊區(qū)域是否在指定 值以下，和由偏差量算出部6c所計(jì)算出的背景圖像P2的塊內(nèi)的像素值的偏差量是否在指 定值以下，使得非平坦度判定部8a判定有無特征點(diǎn)和該塊內(nèi)的像素值的偏差量(步驟S5)。此處，如果判定為沒有特征點(diǎn)和該塊內(nèi)的像素值的偏差量(步驟S5 是)，也就是 說，以特征量少的素色背景為背景拍攝被攝體S的情況下(參照?qǐng)D6(b))，CPU13使得顯示 控制部10將拍攝指示消息(例如，“請(qǐng)拍攝被攝體S”等)與實(shí)時(shí)取景圖像重疊，在顯示部 11的顯示畫面Ila上顯示(步驟S6)。之后，CPU13，使得顯示控制部10，基于由拍攝透鏡部1、電子拍攝部2和拍攝控 制部3對(duì)被攝體S的拍攝所依次生成的圖像幀，進(jìn)行對(duì)實(shí)時(shí)取景圖像的更新的控制(步驟 S7)，同時(shí)判定有無由用戶對(duì)操作輸入部12的快門按鈕12a作拍攝指示操作(步驟S8)。之后，用戶使被攝體S在視角內(nèi)移動(dòng)，或是等到被攝體S移動(dòng)之后(參照?qǐng)D6 (c))， 在步驟S8中，判定快門按鈕12a被拍攝指示操作時(shí)(步驟S8 是)，CPU13使得被攝體存在 圖像Pla的光學(xué)像以指定的拍攝條件由拍攝部2所拍攝，基于從電子拍攝部2傳送的被攝 體存在圖像Pla的圖像幀，使得圖像數(shù)據(jù)生成部4生成被攝體存在圖像Pla的YUV數(shù)據(jù)，將 該YUV數(shù)據(jù)在圖像存儲(chǔ)器5中臨時(shí)存儲(chǔ)(步驟S9)。由此，生成了以特征量少的背景為背景的被攝體S被拍攝的被攝體存在圖像Pla。另一方面，在步驟S6中，如果判定為有特征點(diǎn)和該塊內(nèi)的像素值的偏差量(步驟 S5 否)，也就是說，例如，以特征量多的背景為背景拍攝被攝體S的情況下(參照?qǐng)D8(a))， CPU13判定有無由用戶對(duì)操作輸入部12的快門按鈕12a作拍攝指示操作(步驟S10)。此處，如果判定為沒有對(duì)快門按鈕12a作拍攝指示操作(步驟SlO 否)，CPU13將 處理向步驟S3轉(zhuǎn)移。另一方面，如果判定為對(duì)快門按鈕12a作拍攝指示操作(步驟S10: 是)，CPU13將圖像存儲(chǔ)器的標(biāo)記表(圖示省略)中寫入背景拍攝標(biāo)記=1之后(步驟S11)， 將處理向步驟S9轉(zhuǎn)移，進(jìn)行被攝體S的拍攝。
由此，生成了以特征量多的背景為背景的被攝體S被拍攝的被攝體存在圖像Plb。接下來，如圖3所示，CPU13判定是否為背景拍攝標(biāo)記=0(步驟S12)。此處，如果判定為背景拍攝標(biāo)記=0(步驟S12 是)，CPU13進(jìn)行使得非平坦度計(jì) 算部6和圖像處理部生成用于從被攝體存在圖像Pla中抽取被攝體區(qū)域的抽取用背景圖像 的背景生成處理(步驟S13)。此處，對(duì)背景生成處理參照?qǐng)D4進(jìn)行詳細(xì)說明。圖4是表示背景生成處理所涉及的工作的一例的流程圖。如圖4所示，非平坦度計(jì)算部6的分割部6b，基于被攝體存在圖像Pla的YUV數(shù) 據(jù)，將該被攝體存在圖像Pla的周邊部分分割為多個(gè)圖像塊B(參照?qǐng)D7(a))，抽取各圖像塊 B的特征點(diǎn)(步驟S31)。緊接著，圖像處理部的偏差量計(jì)算部6c，對(duì)作為被攝體存在圖像Pla的周邊部分 的多個(gè)圖像塊B的各自的像素值的偏差量的標(biāo)準(zhǔn)偏差，根據(jù)公式(1)計(jì)算出來(步驟S32)。(公式4)
- 1 Nb = —^bn =Jj^fdA2⑴
,其中、
塊中的像素值 iV:塊中的像素?cái)?shù)目 L塊中像素值的均值 、σΑ 塊中的標(biāo)準(zhǔn)偏差，接下來，非平坦度判定部8a，判定對(duì)被攝體存在圖像Pla的周邊部分的多個(gè)圖像 塊B所抽取的特征點(diǎn)是否為指定值以下，同時(shí)判定各圖像塊B的偏差量是否在指定值以下， 對(duì)該判定的結(jié)果，將判定為特征點(diǎn)在指定值以下，且塊內(nèi)的像素值的偏差量在指定值以下 的圖像塊B進(jìn)行計(jì)數(shù)，判定圖像塊B是否為多個(gè)。進(jìn)一步地，對(duì)無偏差的圖像塊B內(nèi)，相同顏 色的圖像塊B進(jìn)行計(jì)數(shù)。然后，判定無偏差、相同顏色的圖像塊B的數(shù)目是否在指定值(例 如圖像整體的塊數(shù)的一半)以上(步驟S33)。此處，當(dāng)判定為無偏差、相同顏色的圖像塊B在指定值以上時(shí)(步驟S33 是)，背 景生成部8b，生成與該圖像塊B的顏色相同的背景色的抽取用背景圖像的YUV數(shù)據(jù)(步驟 S34)，背景生成成功(步驟S35)。另一方面，在步驟S33中，當(dāng)判定無偏差、相同顏色的圖像塊B未達(dá)到指定值時(shí) (步驟S33 否)，例如，無偏差的穩(wěn)定圖像塊B雖然有，但不是相同顏色的塊等的情況下，由 于背景無法特別指定，不生成抽取用背景圖像，背景生成失敗(步驟S36)。由此，背景生成處理結(jié)束。如圖3所示，接下來，CPU13，使得背景生成部8b判定背景生成是否成功(步驟 S14)。此處，當(dāng)判定為背景生成成功時(shí)(步驟S14 是)，CPU13，使得圖像處理部進(jìn)行檢測(cè)被攝體存在圖像Pla中包括被攝體S的被攝體區(qū)域的區(qū)域檢測(cè)處理(步驟S15)。此處，對(duì)區(qū)域檢測(cè)處理，參照?qǐng)D5進(jìn)行詳細(xì)說明。圖5是表示區(qū)域檢測(cè)處理所涉及的工作的一例的流程圖。如圖5所示，圖像處理部的掩模生成部8d，根據(jù)公式(2)，計(jì)算出抽取用背景圖像 (背景圖像)的YUV數(shù)據(jù)和被攝體存在圖像Pla的YUV數(shù)據(jù)之間所對(duì)應(yīng)的各像素的差異度 D，生成差異度圖表(步驟S41)。(公式5)<formula>formula see original document page 14</formula>
接下來，掩模生成部8d，將生成的差異度圖表以指定的閾值進(jìn)行二值化，生成掩模 圖像數(shù)據(jù)(步驟S42)。然后，掩模生成部8d，通過判定例如背景(二值化0)區(qū)域是否非 常小等，判斷二值化是否成功(步驟S43)。此處，當(dāng)判斷為二值化成功時(shí)(步驟S43 是)，掩模生成部8d，為了修正被攝體區(qū) 域的周圍部分的過量裁切(殘D過￥ )和去除微小噪聲，對(duì)掩模圖像數(shù)據(jù)進(jìn)行收縮處理， 將比指定值小的像素集合去除之后(步驟S44)，進(jìn)行用于修正收縮成分的擴(kuò)張?zhí)幚?步驟 S45)。接著，被攝體S有與背景色相似顏色的情況下，由于掩模圖像的被攝體區(qū)域內(nèi)缺 損，掩模生成部8d，由將構(gòu)成相同連接成分的像素集合附加相同號(hào)碼的標(biāo)簽處理，通過將掩 模圖像數(shù)據(jù)的有效區(qū)域的構(gòu)成像素?cái)?shù)的指定比率以下的區(qū)域替換為有效區(qū)域，進(jìn)行填充處 理(步驟S46)。之后，掩模生成部8d，對(duì)掩模圖像數(shù)據(jù)使用平均濾波器，對(duì)區(qū)域的邊緣附加合成灰 度(步驟S47)，區(qū)域檢測(cè)成功(步驟S48)。另一方面，步驟S43中，當(dāng)判斷為二值化不成功時(shí)(步驟S43:否)，例如，背景(二 值化0)區(qū)域非常小的情況等，掩模生成部8d視為二值化失敗，區(qū)域檢測(cè)失敗(步驟S49)。由此，區(qū)域檢測(cè)處理結(jié)束。如圖3所示，步驟S14中，判定為背景生成不成功時(shí)(步驟S14 否)，CPU13將被 攝體S的剪切失敗所涉及的指定消息(例如，“被攝體S的剪切已失敗”等)在顯示部11的 顯示畫面Ila上顯示(步驟S16)，被攝體剪切處理結(jié)束。另外，步驟S12中，判定背景拍攝標(biāo)記=0不成立時(shí)(步驟S12 否)，也就是說，背 景拍攝標(biāo)記=1的情況下，CPU13，使得顯示控制部10，將被攝體存在圖像Plb的半透明的 顯示狀態(tài)的圖像和被攝體不存在圖像P3的拍攝指示消息(例如，“請(qǐng)拍攝背景”等)，與實(shí) 時(shí)取景圖像重疊，在顯示部11的顯示畫面Ila上顯示(步驟S17，參照?qǐng)D8(b))。之后，CPU13，使得顯示控制部10，基于由拍攝透鏡部1、電子拍攝部2和拍攝控 制部3對(duì)被攝體S的拍攝所依次生成的圖像幀，進(jìn)行對(duì)實(shí)時(shí)取景圖像的更新的控制(步驟 S18)；同時(shí)判定由用戶對(duì)操作輸入部12的快門按鈕12a有無拍攝指示操作(步驟S19)。之后，用戶使被攝體S移動(dòng)至視角外，或是等到被攝體S移動(dòng)之后(參照?qǐng)D8 (b))， 在步驟S19中，判定快門按鈕12a被拍攝指示操作時(shí)(步驟S19 是)，CPU13使得被攝體不 存在圖像P3的光學(xué)像以指定的拍攝條件由拍攝部2所拍攝，基于從電子拍攝部2傳送的被 攝體不存在圖像P3的圖像幀，使得圖像數(shù)據(jù)生成部4生成被攝體不存在圖像P3的YUV數(shù) 據(jù)，將該YUV數(shù)據(jù)在圖像存儲(chǔ)器5中臨時(shí)存儲(chǔ)(步驟S20)。
由此，生成了被攝體S不存在的特征量多的背景被拍攝的被攝體不存在圖像P3。接下來，CPU13使得非平坦度計(jì)算部6、塊匹配部7和圖像處理部8，以被攝體不存在圖像P3的YUV數(shù)據(jù)為基準(zhǔn)，進(jìn)行被攝體存在圖像Plb的YUV數(shù)據(jù)和被攝體不存在圖像P3 的YUV數(shù)據(jù)的對(duì)位處理(步驟S21)。具體而言，特征量計(jì)算部6，基于被攝體不存在圖像P3的YUV數(shù)據(jù)，選擇指定數(shù)目 (或指定數(shù)目以上)的特征高的塊區(qū)域(特征點(diǎn))，將該選擇塊的內(nèi)容作為模板抽取。然后， 塊匹配部7，在被攝體存在圖像Plb中搜索與特征抽取處理中抽取的模板的像素值最為匹 配的位置，像素值的差異度的評(píng)價(jià)值為最佳的被攝體不存在圖像P3和被攝體存在圖像Plb 之間最合適的偏移量，作為該模板的運(yùn)動(dòng)矢量被算出。然后，圖像處理部8的對(duì)位部8c，基于由塊匹配部7算出的多個(gè)模板的運(yùn)動(dòng)矢量， 統(tǒng)計(jì)計(jì)算出整體的運(yùn)動(dòng)矢量，使用該整體的運(yùn)動(dòng)矢量所涉及的特征點(diǎn)對(duì)應(yīng)，計(jì)算出被攝體 存在圖像Plb的投影變換矩陣后，通過基于該投影變換矩陣對(duì)被攝體存在圖像Plb作投影 變換，進(jìn)行被攝體存在圖像Plb的YUV數(shù)據(jù)和被攝體不存在圖像P3的YUV數(shù)據(jù)的對(duì)位處理。接下來，CPU13，使得圖像處理部8判定對(duì)位是否成功(步驟S22)。也就是說，圖 像處理部8判定，在步驟S21中，由多個(gè)模板的運(yùn)動(dòng)矢量是否統(tǒng)計(jì)計(jì)算出整體的運(yùn)動(dòng)矢量， 是否使用該整體的運(yùn)動(dòng)矢量所涉及的特征點(diǎn)對(duì)應(yīng)，計(jì)算出被攝體存在圖像Plb的投影變換 矩陣。此處，判定為對(duì)位成功時(shí)(步驟S22 是)，CPU13將處理轉(zhuǎn)移至步驟S15，使得圖像 處理部8的掩模生成部8d進(jìn)行區(qū)域檢測(cè)處理(參照?qǐng)D5)(步驟S15)。此處的區(qū)域檢測(cè)處理，對(duì)作為背景圖像使用被攝體不存在圖像P3的以外的點(diǎn)與 上述內(nèi)容大致相同，省略其詳細(xì)說明。也就是說，掩模生成部8d，根據(jù)公式(2)，計(jì)算出作為 背景圖像的被攝體不存在圖像P3的YUV數(shù)據(jù)和被攝體存在圖像Plb的YUV數(shù)據(jù)之間對(duì)應(yīng) 各像素的差異度D，生成差異度圖表(步驟S41)。(公式6)<formula>formula see original document page 15</formula>
之后，如上所述，掩模生成部8d，進(jìn)行將差異度圖表作二值化，生成掩模圖像數(shù)據(jù) 的處理(步驟S42)；判斷二值化是否成功的處理(步驟S43)；對(duì)掩模圖像數(shù)據(jù)的收縮處理 (步驟S44)；用于修正收縮成分的擴(kuò)張?zhí)幚?步驟S45)；通過標(biāo)簽，將掩模圖像數(shù)據(jù)的指定 比率以下的區(qū)域替換為有效區(qū)域的處理(步驟S46)；對(duì)掩模圖像數(shù)據(jù)使用平均濾波器，對(duì) 被攝體區(qū)域的邊緣部分附加合成灰度的處理(步驟S47)等。另一方面，步驟S21中，判定為對(duì)位不成功時(shí)(步驟S21 否)，CPU13將處理轉(zhuǎn)移 至步驟S16，將被攝體S的剪切失敗所涉及的指定消息在顯示部11的顯示畫面Ila上顯示 之后(步驟S16)，結(jié)束被攝體剪切處理。然后，區(qū)域檢測(cè)處理(步驟S15)結(jié)束之后，CPU13使得掩模生成部8d判定被攝體 區(qū)域的檢測(cè)是否成功(步驟S23)。此處，被攝體區(qū)域的檢測(cè)被判定為成功時(shí)(步驟S23:是)，CPU13，使得剪切圖 像生成部8e，利用色度鍵技術(shù)，使用區(qū)域檢測(cè)處理中生成的掩模圖像，從被攝體存在圖像 Pla(Plb)中剪切被攝體區(qū)域，與指定的單一顏色背景圖像P5合成，生成被攝體剪切圖像 P4 (參照?qǐng)D7 (b))的圖像數(shù)據(jù)(步驟S24)。
具體而言，剪切圖像生成部8e，讀出被攝體存在圖像Pla(Plb)、單一顏色背景圖像P5和掩模圖像數(shù)據(jù)，在圖像存儲(chǔ)器5中展開之后，在被攝體存在圖像Pla(Plb)當(dāng)中，對(duì) 于掩模圖像數(shù)據(jù)的填充部分(被攝體S以外的部分)覆蓋的像素，用單一顏色背景圖像P5 的指定單一顏色填充，另一方面，對(duì)于被攝體部分的像素什么也不做，對(duì)指定的單一顏色不 使其透過。此外，掩模圖像的邊緣部分上，由于被附加了合成灰度，所以剪切的被攝體區(qū)域 和單一顏色的背景圖像P5的邊界部分成為不清晰的自然感覺。之后，CPU13，使得顯示控制部10，基于由剪切圖像生成部Se所生成的被攝體剪切 圖像P4的圖像數(shù)據(jù)，將在指定的單一顏色背景圖像P5上重疊的被攝體S的被攝體剪切圖 像P4在顯示部11的顯示畫面Ila上顯示(參照?qǐng)D7(c))。 接下來，CPU13，在記錄介質(zhì)9的指定的存儲(chǔ)區(qū)域中，將由圖像處理部8的掩模生成 部8d所生成的掩模圖像數(shù)據(jù)和被攝體剪切圖像P4的圖像數(shù)據(jù)相關(guān)聯(lián)，將該被攝體剪切圖 像P4的圖像數(shù)據(jù)的擴(kuò)展名作為“.jpg”以一個(gè)文件而保存(步驟S25)。由此，被攝體剪切處理結(jié)束。另一方面，在步驟S23中，當(dāng)判定為對(duì)位不成功時(shí)(步驟S22 否)，CPU13將處理 轉(zhuǎn)移至步驟S16，將被攝體S的剪切失敗所涉及的指定消息在顯示部11的顯示畫面Ila上 顯示之后(步驟S16)，被攝體剪切處理結(jié)束。如上所述，根據(jù)本實(shí)施方式的拍攝裝置100，判定背景中存在被攝體S的被攝體存 在圖像Pla的周邊部分的非平坦度是否在指定值以下，在判定為非平坦度在指定值以下的 情況下，由該被攝體存在圖像Pla的周邊部分，生成被攝體區(qū)域的抽取用的抽取用背景圖 像，基于抽取用背景圖像和被攝體存在圖像Pla的對(duì)應(yīng)各像素的差異度D，從被攝體存在圖 像Pla中抽取被攝體區(qū)域，生成被攝體剪切圖像P4。具體而言，被攝體存在圖像Pla的周邊部分被分割為多個(gè)圖像塊B，抽取多個(gè)圖像 塊B各自的特征點(diǎn)，判定多個(gè)圖像塊B的各自的特征點(diǎn)是否在指定值以下。另外，判定多個(gè) 圖像塊B內(nèi)的像素值的偏差量是否在指定值以下。而且，特征點(diǎn)判定為在指定值以下，且塊 內(nèi)的像素值的偏移量判定為在指定值以下的圖像塊B為多個(gè)的情況下，生成與被攝體存在 圖像Pla的周邊部分的顏色相同的抽取用背景圖像。然后，基于抽取用背景圖像和被攝體 存在圖像Pla的對(duì)應(yīng)各像素的差異度D，生成掩模圖像，使用該掩模圖像從被攝體存在圖像 Pla中抽取被攝體區(qū)域。由此，只用對(duì)被攝體存在圖像Pla進(jìn)行一次拍攝，就可以不用對(duì)背景圖像P2另外 拍攝而生成抽取用背景圖像，利用使用該抽取用背景圖像而生成的掩模圖像，能夠從被攝 體存在圖像Pla中簡(jiǎn)便地抽取被攝體區(qū)域。另外，被攝體存在圖像Pla的周邊部分被分割為多個(gè)圖像塊B，通過判定每個(gè)圖像 塊B，被攝體存在圖像Pla的周邊部分相同顏色的圖像塊B是否為多個(gè)，和塊內(nèi)的像素值有 無偏差等，可以正確進(jìn)行背景圖像是否為抽取用背景圖像的生成所適宜的素色單色的背景 的判定。另外，從作為實(shí)時(shí)取景圖像顯示用的圖像幀而依次生成的背景圖像P2的圖像幀 中抽取特征點(diǎn)，判定該背景圖像P2的特征點(diǎn)是否在指定值之下。另外，判定背景圖像P2的 多個(gè)塊內(nèi)的像素值的偏移量是否在指定值以下。由此，例如，判定為如在特征量少的背景為 背景拍攝被攝體S的情況下(參照?qǐng)D6(b))，當(dāng)判定為特征點(diǎn)在指定值以下，且塊內(nèi)的像素值的偏差量在指定值以下時(shí)，通過拍攝與背景圖像P2大致相同的背景中存在被攝體S的被 攝體存在圖像Pla，可以從該被攝體存在圖像Pla的周邊部分生成抽取用背景圖像。由此，通過利用實(shí)時(shí)取景圖像顯示用的圖像幀，可以發(fā)現(xiàn)被攝體S的最佳剪切環(huán) 境，能夠提供更為好用的拍攝裝置。與之相對(duì)，例如，判定為如在特征量多的背景為背景拍攝被攝體S的情況下(參照 圖8 (a))，特征點(diǎn)比指定值多時(shí)，在被攝體存在圖像Plb拍攝后，通過在與該被攝體存在圖 像Plb背景相同的背景中拍攝被攝體S不存在的被攝體不存在圖像P3，在進(jìn)行這些被攝體 存在圖像Plb和被攝體不存在圖像P3對(duì)位之后，基于對(duì)位的被攝體存在圖像Plb和被攝體 不存在圖像P3的對(duì)應(yīng)各像素的 差異度D，可以從被攝體存在圖像Plb中抽取被攝體區(qū)域。換言之，即使在以特征量多的背景為背景拍攝被攝體S的情況下，通過拍攝被攝 體不存在圖像P3，也可以基于被攝體存在圖像Plb和被攝體不存在圖像P3的對(duì)應(yīng)各像素的 差異度D而生成掩模圖像，使用該掩模圖像從被攝體存在圖像Plb中抽取被攝體區(qū)域。此外，本發(fā)明不限定于上面的實(shí)施方式，在不超出本發(fā)明的主旨的范圍內(nèi)，可以進(jìn) 行各種改良和設(shè)計(jì)的改變。例如，在抽取用背景圖像生成的時(shí)候，是判定被攝體存在圖像Pla的周邊部分的 多個(gè)圖像塊B的各個(gè)特征點(diǎn)和塊內(nèi)的像素值的偏移量?jī)烧呤欠裨谥付ㄖ抵碌?，但不限?此，也可以通過判定特征點(diǎn)和偏移量的至少一方，而判定圖像塊B的非平坦度，在非平坦度 判定為指定值以下的情況下，生成抽取用背景圖像。另外，顯示實(shí)時(shí)取景圖像的時(shí)候，是判定作為實(shí)時(shí)取景圖像顯示用而生成的背景 圖像P2的圖像幀的特征點(diǎn)和塊內(nèi)的像素值的偏移量?jī)烧呤欠裨谥付ㄖ抵碌?，但不限?此，也可以通過判定特征點(diǎn)和偏移量的至少一方，而進(jìn)行背景圖像的非平坦度的判定，在非 平坦度判定為指定值以下的情況下，拍攝在與背景圖像P2大致相同的背景中存在被攝體S 的被攝體存在圖像Pla。進(jìn)一步地，也可以將生成的被攝體剪切圖像P4和指定的背景用圖像(圖示省略) 合成，生成被攝體合成圖像(圖示省略)。在此被攝體合成圖像的生成處理中，對(duì)于被攝體剪切圖像P4的圖像數(shù)據(jù)，對(duì)于掩 模圖像數(shù)據(jù)的填充部分(被攝體S以外的部分)覆蓋的像素，用背景用圖像的顏色填充，另 一方面，對(duì)于被攝體部分的像素什么也不做，對(duì)指定的背景用圖像的顏色不使其透過。由 此，可以生成被攝體剪切圖像P4的被攝體區(qū)域與指定的背景用圖像(圖示省略)重疊的被 攝體合成圖像。另外，在上述實(shí)施方式中，掩模用圖像數(shù)據(jù)和被攝體剪切圖像P4的圖像數(shù)據(jù)相關(guān) 聯(lián)以一個(gè)文件而保存，而掩模圖像數(shù)據(jù)和被攝體存在圖像Pla的圖像數(shù)據(jù)相關(guān)聯(lián)以一個(gè)文 件保存于記錄介質(zhì)(存儲(chǔ)單元)9中，也是可以的。這樣的情況下，該文件再現(xiàn)時(shí)可以準(zhǔn)備 兩個(gè)模式，即，使被攝體存在圖像Pla再現(xiàn)的模式，和再現(xiàn)時(shí)應(yīng)用掩模圖像數(shù)據(jù)來合成并顯 示被攝體剪切圖像P4的模式。進(jìn)一步地，拍攝裝置100的構(gòu)造，上面實(shí)施方式中示例的結(jié)構(gòu)是一個(gè)例子，但不限 于這樣的結(jié)構(gòu)。另外，上面的實(shí)施方式中，作為抽取單元、判定單元、背景生成單元、和被攝體抽取 單元的功能，是在CPU13的控制下，由圖像處理部8驅(qū)動(dòng)而實(shí)現(xiàn)的構(gòu)造，但不限于這樣的結(jié)構(gòu)，也可以是由CPU13實(shí)行指定的程序等的構(gòu)造。
也就是說，在存儲(chǔ)程序的程序存儲(chǔ)器(圖示省略)中，預(yù)先存儲(chǔ)包括非平坦度計(jì)算 處理程序、判定處理程序、背景生成處理程序、和被攝體抽取處理程序的程序。并且，也可以 由非平坦度計(jì)算處理程序，將CPU13作為計(jì)算由拍攝單元拍攝的被攝體存在圖像Pla的周 邊部分的非平坦度的非平坦度計(jì)算單元來工作。另外，也可以由判定處理程序，將CPU13作 為判定抽取處理中抽取的被攝體存在圖像Pla的周邊部分的非平坦度是否在指定值以下 的判定單元而工作。另外，也可以由背景生成處理程序，將CPU13，作為在判定處理中非平 坦度判定為指定值以下的情況下，從被攝體存在圖像Pla的周邊部分生成被攝體存在圖像 Pla中包括被攝體S的被攝體區(qū)域的抽取用的抽取用背景圖像的背景生成單元而工作。另 夕卜，也可以由被攝體抽取處理程序，將CPU13，作為基于抽取用背景圖像和被攝體存在圖像 Pla的對(duì)應(yīng)各像素的差分信息，從被攝體存在圖像Pla中抽取被攝體區(qū)域的被攝體抽取單 元而工作。
權(quán)利要求
一種圖像拍攝裝置，包括第1拍攝單元，拍攝背景中存在被攝體的被攝體存在圖像；第1非平坦度計(jì)算單元，計(jì)算由所述第1拍攝單元所拍攝的所述被攝體存在圖像的周邊部分的非平坦度；第1判定單元，判定由所述第1非平坦度計(jì)算單元所計(jì)算的所述被攝體存在圖像的周邊部分的非平坦度是否在第1閾值以下；背景生成單元，由所述第1判定單元判定為非平坦度在所述第1閾值以下的情況下，從所述被攝體存在圖像的周邊部分，生成所述被攝體存在圖像中包括被攝體的被攝體區(qū)域的抽取用的抽取用背景圖像；和被攝體抽取單元，基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì)應(yīng)各像素的差分信息，從所述被攝體存在圖像中抽取所述被攝體區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中還包括分割單元，其將所述被攝體存在圖像的周邊部分分割為多個(gè)圖像區(qū)域； 所述第1非平坦度計(jì)算單元，計(jì)算由所述分割單元所分割的所述多個(gè)圖像區(qū)域的各自 的非平坦度；所述第1判定單元，判定由所述第1非平坦度計(jì)算單元所計(jì)算的所述多個(gè)圖像區(qū)域的 各自的非平坦度是否在所述第1閾值以下；所述背景生成單元，在由所述第1判定單元判定為非平坦度在所述第1閾值以下的圖 像區(qū)域?yàn)槎鄠€(gè)的情況下，從所述被攝體存在圖像的周邊部分生成所述抽取用背景圖像。
3.根據(jù)權(quán)利要求2所述的圖像拍攝裝置，其中所述第1非平坦度計(jì)算單元，抽取由所述分割單元分割的所述多個(gè)圖像區(qū)域的各自的 特征點(diǎn)，作為所述非平坦度；所述第1判定單元，還判定由所述第1非平坦度計(jì)算單元所抽取的所述多個(gè)圖像區(qū)域 的特征點(diǎn)是否在第2閾值以下；所述背景生成單元，還在由所述第1判定單元判定為特征點(diǎn)在所述第2閾值以下的情 況下，從所述被攝體存在圖像的周邊部分生成所述抽取用背景圖像。
4.根據(jù)權(quán)利要求2所述的圖像拍攝裝置，其中所述第1非平坦度計(jì)算單元，計(jì)算由所述分割單元分割的所述多個(gè)圖像區(qū)域中的像素 值的偏差量，作為所述非平坦度；所述第1判定單元，還判定由所述第1非平坦度計(jì)算單元所計(jì)算的所述多個(gè)圖像區(qū)域 內(nèi)的像素值的偏差量是否在第3閾值以下；所述背景生成單元，還在由所述第1判定單元判定為像素值的偏差量在所述第3閾值 以下的情況下，從所述被攝體存在圖像的周邊部分生成所述抽取用背景圖像。
5.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中所述背景生成單元，生成與所述被攝體存在圖像的周邊部分的顏色相同顏色的所述抽 取用背景圖像。
6.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中還包括掩模生成單元，其基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì)應(yīng)各像 素的差分信息，生成用于從所述被攝體存在圖像抽取所述被攝體區(qū)域的掩模圖像；所述被攝體抽取單元，使用由所述掩模生成單元所生成的掩模圖像，從所述被攝體存 在圖像中抽取所述被攝體區(qū)域。
7.根據(jù)權(quán)利要求1所述的圖像拍攝裝置，其中 還包括背景拍攝單元，拍攝被攝體不存在的背景圖像，依次生成該背景圖像的圖像幀； 第2非平坦度計(jì)算單元，計(jì)算所述背景圖像的圖像幀的非平坦度；和 第2判定單元，判定由所述第2非平坦度計(jì)算單元所計(jì)算的所述背景圖像的非平坦度 是否在第4閾值以下；所述第1拍攝單元，在由所述第2判定單元判定為非平坦度在所述第4閾值以下的情 況下，拍攝與所述背景圖像大致相同的背景中被攝體存在的被攝體存在圖像。
8.根據(jù)權(quán)利要求7所述的圖像拍攝裝置，其中所述第2非平坦度計(jì)算單元，從所述背景圖像中抽取特征點(diǎn)，作為所述非平坦度； 所述第2判定單元，還判定由所述第2非平坦度計(jì)算單元所抽取的所述背景圖像的多 個(gè)圖像區(qū)域的特征點(diǎn)是否在第5閾值以下；所述第1拍攝單元，還在由所述第2判定單元判定為特征點(diǎn)在所述第5閾值以下的情 況下，拍攝所述被攝體存在圖像。
9.根據(jù)權(quán)利要求7所述的圖像拍攝裝置，其中所述第2非平坦度計(jì)算單元，計(jì)算所述背景圖像的多個(gè)圖像區(qū)域內(nèi)的像素值的偏差 量，作為所述非平坦度；所述第2判定單元，還判定由所述第2非平坦度計(jì)算單元所計(jì)算的所述背景圖像的多 個(gè)圖像區(qū)域內(nèi)的像素值的偏差量是否在第6閾值以下；所述第1拍攝單元，還在由所述第2判定單元判定為圖像區(qū)域內(nèi)的像素值的偏差量在 所述第6閾值以下的情況下，拍攝所述被攝體存在圖像。
10.根據(jù)權(quán)利要求7所述的圖像拍攝裝置，其中 還包括第2拍攝單元，在由所述第2判定單元判定為非平坦度比所述第4閾值多的情況下，在 所述被攝體存在圖像的拍攝后，拍攝與該被攝體存在圖像的背景相同的背景內(nèi)所述被攝體 不存在的被攝體不存在圖像；和對(duì)位單元，進(jìn)行所述被攝體存在圖像和所述被攝體不存在圖像的對(duì)位； 所述被攝體抽取單元，基于由所述對(duì)位單元對(duì)位的所述被攝體存在圖像和所述被攝體 不存在圖像的對(duì)應(yīng)的各像素的差分信息，從所述被攝體存在圖像中抽取所述被攝體區(qū)域。
11.一種圖像處理方法，包括以下步驟 拍攝背景中存在被攝體的被攝體存在圖像； 計(jì)算所述被攝體存在圖像的周邊部分的非平坦度；判定所述被攝體存在圖像的周邊部分的非平坦度是否在閾值以下； 在判定為所述非平坦度在所述閾值以下的情況下，從所述被攝體存在圖像的周邊部 分，生成所述被攝體存在圖像中包括被攝體的被攝體區(qū)域的抽取用的抽取用背景圖像；和基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì)應(yīng)各像素的差分信息，從所述被 攝體存在圖像中抽取所述被攝體區(qū)域。
12. —種計(jì)算機(jī)可讀介質(zhì)，記錄了使計(jì)算機(jī)執(zhí)行包括以下步驟的圖像處理的軟件程序拍攝背景中存在被攝體的被攝體存在圖像； 計(jì)算所述被攝體存在圖像的周邊部分的非平坦度； 判定所述被攝體存在圖像的周邊部分的非平坦度是否在閾值以下； 在判定為所述非平坦度在所述閾值以下的情況下，從所述被攝體存在圖像的周邊部 分，生成所述被攝體存在圖像中包括被攝體的被攝體區(qū)域的抽取用的抽取用背景圖像；和基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì)應(yīng)各像素的差分信息，從所述被 攝體存在圖像中抽取所述被攝體區(qū)域。
全文摘要
一種從拍攝圖像中抽取被攝體區(qū)域的拍攝裝置，包括第1拍攝單元，拍攝背景中存在被攝體的被攝體存在圖像；第1非平坦度計(jì)算單元，計(jì)算由第1拍攝單元所拍攝的所述被攝體存在圖像的周邊部分的非平坦度；第1判定單元，判定由第1非平坦度計(jì)算單元所計(jì)算的所述被攝體存在圖像的周邊部分的非平坦度是否在第1閾值以下；背景生成單元，由第1判定單元判定為非平坦度在所述第1閾值以下的情況下，從所述被攝體存在圖像的周邊部分，生成所述被攝體存在圖像中包括被攝體的被攝體區(qū)域的抽取用的抽取用背景圖像；和被攝體抽取單元，基于所述抽取用背景圖像和所述被攝體存在圖像的對(duì)應(yīng)各像素的差分信息，從所述被攝體存在圖像中抽取所述被攝體區(qū)域。
文檔編號(hào)H04N5/225GK101827215SQ201010130230
公開日2010年9月8日 申請(qǐng)日期2010年3月5日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者牧野哲司 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社