專利名稱：圖像判別方法和圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適合用于打印機(jī)、數(shù)碼相機(jī)等的圖像判別方法和圖像處理裝置。
背景技術(shù)：
通常，當(dāng)拍攝照片時(shí)，存在多種場(chǎng)景作為被拍攝體。這些場(chǎng)景有肖像、兒童、旅游勝地紀(jì)念照、風(fēng)景、花、體育、夜景、集體照等。
借助與各種場(chǎng)景相應(yīng)的繪圖著色，可以生成漂亮的打印。在照片中，特別地，只要人的皮膚被打印得漂亮，幾乎所有人都滿意這樣的照片。
如果皮膚顏色過(guò)于鮮艷會(huì)變得不自然，不是理想的照片。相反，對(duì)于風(fēng)景，如果植物的綠色、藍(lán)色的天空、花等鮮艷逼真，則成為理想的照片?，F(xiàn)有的數(shù)碼相機(jī)和數(shù)碼打印機(jī)對(duì)于能夠打印出每一場(chǎng)景的漂亮圖像下了很大的功夫(參考專利文獻(xiàn)1)。
專利文獻(xiàn)1，日本特開2002-44451。
雖然現(xiàn)有的數(shù)碼打印機(jī)嘗試判別這些場(chǎng)景，但場(chǎng)景判別精度不夠不能檢測(cè)出人。出于這個(gè)原因，在灰度再現(xiàn)色度再現(xiàn)等時(shí)，進(jìn)行的是所有圖像通用的繪圖著色。
結(jié)果，不可能得到適合各個(gè)場(chǎng)景的最優(yōu)打印。例如，對(duì)于肖像，希望進(jìn)行強(qiáng)調(diào)膚色的再現(xiàn)而柔和灰度特性來(lái)潤(rùn)飾抑制色度的繪圖著色。另一方面，對(duì)于風(fēng)景，希望進(jìn)行顏色分明的突出灰度特性鮮艷的繪圖著色。
現(xiàn)有的技術(shù)由于不能自動(dòng)且精確地判別場(chǎng)景，對(duì)各場(chǎng)景進(jìn)行繪圖著色。專利文獻(xiàn)1也描述了用戶判別場(chǎng)景并且手動(dòng)繪圖的技術(shù)。

發(fā)明內(nèi)容
鑒于此，本發(fā)明的目的是在于可以自動(dòng)判別場(chǎng)景并獲得相應(yīng)于該場(chǎng)景的最優(yōu)打印。
在按照本發(fā)明實(shí)施方式的圖像判別方法中，通過(guò)從輸入圖像檢測(cè)人臉來(lái)判斷是否有人，在沒有人時(shí)確定該輸入圖像是風(fēng)景照片圖像，在有人時(shí)稍后計(jì)算臉面積并對(duì)人數(shù)進(jìn)行計(jì)數(shù)，如果臉面積大于等于屏幕的預(yù)定比率并且人數(shù)不少于預(yù)定人數(shù)則確定該輸入圖像是人物留念照片圖像，如果所述臉面積大于等于屏幕的預(yù)定比率并且所述人數(shù)小于等于預(yù)定人數(shù)則確定該輸入圖像是肖像圖像。
此外，根據(jù)本發(fā)明實(shí)施方式的圖像處理裝置包括圖像輸入裝置；臉檢測(cè)裝置，用于檢測(cè)來(lái)自該圖像輸入裝置的圖像數(shù)據(jù)中的人臉；臉面積計(jì)算裝置，用于根據(jù)該臉檢測(cè)裝置的臉檢測(cè)信號(hào)計(jì)算臉面積；人數(shù)計(jì)數(shù)裝置，用于基于所述臉檢測(cè)信號(hào)對(duì)人數(shù)進(jìn)行計(jì)數(shù)；臉面積比率判斷裝置，用于判斷由所述臉面積計(jì)算裝置計(jì)算的臉面積是否大于等于屏幕的預(yù)定比率；人數(shù)判斷裝置，用于判斷由所述人數(shù)計(jì)數(shù)裝置計(jì)數(shù)的人數(shù)是否小于等于預(yù)定人數(shù)；以及用于相應(yīng)于所述人物的臉檢測(cè)裝置、所述臉面積比率判斷裝置和所述人數(shù)判斷裝置的輸出，補(bǔ)正所述圖像數(shù)據(jù)的灰度的灰度補(bǔ)正裝置和補(bǔ)正色度的色度補(bǔ)正裝置。
按照本發(fā)明的上述構(gòu)思，肖像圖像、人物留念照片圖像和風(fēng)景圖像可以被自動(dòng)地判別，并且按照肖像、人物留念照片圖像和風(fēng)景照片的各不同場(chǎng)景進(jìn)行最優(yōu)的繪圖著色。


圖1是用于實(shí)施本發(fā)明的圖像判別方法的最佳實(shí)施方式的例子的流程圖；圖2是用于實(shí)施本發(fā)明的圖像處理裝置的最佳實(shí)施方式的例子的結(jié)構(gòu)圖；圖3是用于解釋本發(fā)明的框圖；圖4是用于解釋本發(fā)明的框圖；圖5是表示人物的臉檢測(cè)裝置的例子的結(jié)構(gòu)圖；圖6是表示皮膚顏色區(qū)域提取單元的例子的結(jié)構(gòu)圖；圖7是用于解釋本發(fā)明的框圖；以及圖8是用于解釋本發(fā)明的流程圖。
具體實(shí)施例方式
下面參照附圖對(duì)用于實(shí)施按照本發(fā)明的圖像判別方法和圖像處理裝置的最佳方式的例子進(jìn)行說(shuō)明。
圖2顯示了按照本例的使用在數(shù)碼相機(jī)和數(shù)碼打印機(jī)的圖像處理裝置。參考標(biāo)記1表示輸入彩色圖像的圖像數(shù)據(jù)的圖像輸入單元。提供給圖像輸入單元1的圖像數(shù)據(jù)通過(guò)補(bǔ)正該圖像數(shù)據(jù)的灰度的灰度補(bǔ)正裝置2和補(bǔ)正該圖像數(shù)據(jù)的色度的色度補(bǔ)正裝置3的串聯(lián)連接被提供給圖像數(shù)據(jù)輸出端子4。
灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3分別由計(jì)算機(jī)構(gòu)成，并且它們被配置為對(duì)肖像、人物留念照片圖像和風(fēng)景照片的各場(chǎng)景進(jìn)行因場(chǎng)景而異的依據(jù)圖3的概念圖的繪圖著色。
在圖3中，橫軸為灰度特性隨著靠近正側(cè)(右手側(cè))灰度變得生硬成為顏色分明的圖像。隨著靠近負(fù)側(cè)(左手側(cè))，變?yōu)槿岷偷膱D像。
縱軸為色度軸在正側(cè)(上側(cè))圖像變得鮮艷而隨著靠近負(fù)側(cè)(下側(cè))，色度降低變得暗淡的圖像。
在肖像中，如圖3所示成為灰度柔和色調(diào)不太高的理想圖像。當(dāng)數(shù)碼相機(jī)使用閃光燈在近距離內(nèi)對(duì)人拍照時(shí)，容易失去臉部的灰度不會(huì)成為漂亮的圖像。在這種情況下，成為柔和的暗淡肖像圖像。
在風(fēng)景的情況下，如圖3所示，生硬的色彩分明并且鮮艷的圖像是理想的。而且，在人物留念照片圖像的情況下，如圖3所示，希望的圖像應(yīng)當(dāng)介于肖像圖像和風(fēng)景圖像之間的中間圖像。
進(jìn)一步地，圖4顯示了灰度補(bǔ)正裝置2的灰度特性。希望的肖像圖像應(yīng)當(dāng)具有這個(gè)柔和色調(diào)的特征曲線而希望的風(fēng)景圖像應(yīng)當(dāng)具有生硬色調(diào)的特征曲線。
在這個(gè)實(shí)施方式中，應(yīng)用于該圖像輸入單元1的彩色圖像數(shù)據(jù)被應(yīng)用于臉檢測(cè)裝置5。該臉檢測(cè)裝置5可以由例如圖5所示的皮膚顏色區(qū)域提取單元200和被攝體檢測(cè)單元300組成(例如，見日本專利申請(qǐng)第2002-255865號(hào))。
如圖6所示，該皮膚顏色區(qū)域提取單元200由將由圖像輸入單元1輸入的彩色圖像數(shù)據(jù)的各象素值轉(zhuǎn)換為顏色空間上的坐標(biāo)值的表色系統(tǒng)轉(zhuǎn)換單元212、生成表示轉(zhuǎn)換到該顏色空間中的坐標(biāo)值的出現(xiàn)頻率的柱狀圖的柱狀圖生成單元213、提取在該柱狀圖中出現(xiàn)頻率的極大點(diǎn)和鄰近的象素作為初始簇的初始簇提取單元214、從由該初始簇提取單元214提取的初始簇以及由該圖像輸入單元1提供的彩色圖像數(shù)據(jù)提取包含該初始簇的封閉區(qū)域的初始區(qū)域提取單元215、當(dāng)在該初始區(qū)域內(nèi)提取多個(gè)初始簇時(shí)將這些初始簇集成為一個(gè)簇的簇集成單元216、響應(yīng)于在該初始區(qū)域內(nèi)象素分布的狀態(tài)將該初始區(qū)域分割成多個(gè)區(qū)域的區(qū)域分割單元217以及用于提取包括屬于相應(yīng)于皮膚顏色的簇的象素的區(qū)域的區(qū)域提取單元218組成。皮膚顏色區(qū)域提取單元將如此提取的皮膚顏色區(qū)域提供給該被攝體檢測(cè)單元300。
如圖5所示，該被攝體檢測(cè)單元300由從該圖像輸入單元1和該皮膚顏色區(qū)域提取單元200輸入彩色圖像數(shù)據(jù)和皮膚顏色區(qū)域并且檢測(cè)頭頂位置的頭頂檢測(cè)單元313、輸入了彩色圖像數(shù)據(jù)和皮膚顏色區(qū)域并且檢測(cè)嘴部位置的嘴部檢測(cè)單元314、輸入了彩色圖像數(shù)據(jù)、皮膚顏色區(qū)域、頭頂數(shù)據(jù)和嘴部數(shù)據(jù)并且檢測(cè)眼部位置的眼部檢測(cè)單元315、輸入了眼部數(shù)據(jù)和嘴部數(shù)據(jù)并且檢測(cè)顎部位置的顎部檢測(cè)單元316、輸入了彩色圖像數(shù)據(jù)、嘴部數(shù)據(jù)和眼部數(shù)據(jù)并且檢測(cè)臉部中線的中線檢測(cè)單元317、輸入了頭頂數(shù)據(jù)、眼部數(shù)據(jù)、嘴部數(shù)據(jù)和臉部的中線數(shù)據(jù)并且修正該臉部區(qū)域的區(qū)域修正單元318以及輸入了彩色圖像數(shù)據(jù)、皮膚顏色區(qū)域、眼部數(shù)據(jù)、嘴部數(shù)據(jù)和來(lái)自該區(qū)域修正單元318的補(bǔ)正數(shù)據(jù)并且判斷如此提取的皮膚顏色區(qū)域V是否是臉部的判斷單元319組成。
而且，臉檢測(cè)裝置5不局限于上述的臉檢測(cè)裝置并且提出了能夠基于臉形狀的識(shí)別檢測(cè)臉的臉檢測(cè)裝置。目前，這種方法在臉識(shí)別中具有很高的檢測(cè)精度。如果臉被提前注冊(cè)為用于臉識(shí)別的臉，則在臉識(shí)別中的檢測(cè)精度可以得到更大的改善。臉檢測(cè)裝置5的任何類型都可以被用在本發(fā)明中。
如果臉沒有被臉檢測(cè)裝置5識(shí)別為臉，則指令信號(hào)從該臉檢測(cè)裝置5發(fā)送到灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3。然后，由灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3確定輸入的彩色圖像數(shù)據(jù)是表示風(fēng)景圖像的數(shù)據(jù)，對(duì)該彩色圖像數(shù)據(jù)進(jìn)行風(fēng)景照片的補(bǔ)正。
在這個(gè)實(shí)施方式中，在臉檢測(cè)裝置5中獲得的臉識(shí)別信號(hào)被提供到計(jì)算臉面積的臉面積計(jì)算裝置6以及對(duì)人數(shù)進(jìn)行計(jì)數(shù)的人數(shù)計(jì)數(shù)裝置7。
在這種情況下，在臉檢測(cè)裝置5中，如果不能識(shí)別臉，不輸出該臉識(shí)別信號(hào)，僅當(dāng)臉被識(shí)別時(shí)，才將臉識(shí)別信號(hào)提供到臉面積計(jì)算裝置6和人數(shù)計(jì)數(shù)裝置7。
臉面積計(jì)算裝置6計(jì)算臉面積并計(jì)算臉面積在屏幕中所占的比率。當(dāng)例如圖7所示的有人的圖像的例子，其中，參考字母A表示人A的臉面積，參考字母B表示人B的臉面積并且參考字母C表示整個(gè)屏幕的面積時(shí)，臉面積計(jì)算裝置計(jì)算(A+B)/C×100(％)臉面積計(jì)算裝置6在它的輸出端輸出表示所計(jì)算的臉面積比率(％)的數(shù)據(jù)。該表示所計(jì)算的臉面積比率的數(shù)據(jù)被提供給判斷該計(jì)算的臉面積比率是否大于等于預(yù)定比率例如20％的預(yù)定比率以上判斷電路8。如果該預(yù)定比率大于等于例如20％時(shí)，則該預(yù)定比率以上判斷電路8在它的輸出端輸出高電平信號(hào)“1”。如果沒有，則該預(yù)定比率以上判斷電路8在它的輸出端輸出低電平信號(hào)“0”。
在這種情況下，當(dāng)輸入圖像是肖像時(shí)，臉看上去更大并且臉面積的比率落在約20％到30％的范圍內(nèi)。在這個(gè)實(shí)施方式中，判斷標(biāo)準(zhǔn)可以是臉面積比率在整個(gè)屏幕上大于等于20％。
人數(shù)計(jì)數(shù)裝置7計(jì)數(shù)該屏幕中的人數(shù)并將計(jì)數(shù)值即表示所計(jì)數(shù)的人數(shù)的數(shù)據(jù)提供給判斷所計(jì)數(shù)的人數(shù)是否小于等于預(yù)定人數(shù)比如3人的預(yù)定人數(shù)以下判斷電路9。
如果由該預(yù)定人數(shù)以下判斷電路9判定所計(jì)數(shù)的人數(shù)小于等于預(yù)定人數(shù)比如3人，則預(yù)定人數(shù)以下判斷電路9在它的輸出端輸出高電平信號(hào)“1”。如果沒有，例如，所計(jì)數(shù)的人數(shù)為4個(gè)以上，則該預(yù)定人數(shù)以下判斷電路9在它的輸出端輸出低電平信號(hào)“0”。
來(lái)自預(yù)定比率以上判斷電路8的輸出信號(hào)和來(lái)自預(yù)定人數(shù)以下判斷電路9的輸出信號(hào)被分別提供給與電路10的一個(gè)輸入端和其它輸入端。當(dāng)在與電路10的輸出端輸出高電平信號(hào)“1”時(shí)，臉面積的比率大于等于預(yù)定比率例如20％且所計(jì)數(shù)的人數(shù)少于等于預(yù)定人數(shù)比如3個(gè)。該高電平信號(hào)“1”被提供給灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3作為指令信號(hào)。由灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3確定該彩色圖像數(shù)據(jù)是表示肖像圖像的圖像數(shù)據(jù)，進(jìn)行肖像照片的補(bǔ)正。
此外，來(lái)自預(yù)定比率以上判斷電路8的輸出信號(hào)和來(lái)自預(yù)定人數(shù)以下判斷電路9的輸出信號(hào)被分別提供給與非電路11的一個(gè)輸入端和其它輸入端。當(dāng)在與非電路11的輸出端獲得高電平信號(hào)“1”時(shí)，該高電平信號(hào)“1”被提供給灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3作為指令信號(hào)。該灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3確定該彩色圖像數(shù)據(jù)是表示人物留念照片圖像的圖像數(shù)據(jù)，并進(jìn)行人物留念照片圖像補(bǔ)正。
參考圖1和8的流程圖描述根據(jù)本發(fā)明實(shí)施方式的上述結(jié)構(gòu)的操作。當(dāng)彩色圖像數(shù)據(jù)被輸入時(shí)，首先，由臉檢測(cè)裝置5檢測(cè)臉(步驟S1)。而后，場(chǎng)景被判別(步驟S2)。場(chǎng)景判別(步驟S2)如圖1所示被執(zhí)行。在該場(chǎng)景判別中，首先，進(jìn)行判斷在該彩色圖像數(shù)據(jù)中是否存在人的是否有人的判斷，并獲得臉識(shí)別信號(hào)(步驟S3)。在這種情況下，如果確定在該彩色圖像數(shù)據(jù)中不存在人，則判斷該彩色圖像數(shù)據(jù)是表示風(fēng)景照片圖像的圖像數(shù)據(jù)。
如果確定在該彩色圖像數(shù)據(jù)中存在人，則由臉面積計(jì)算裝置6由該圖像數(shù)據(jù)的臉識(shí)別信號(hào)計(jì)算臉面積(步驟S4)。然后，確定臉面積相對(duì)于屏幕的比率是否大于等于預(yù)定比率例如20％(步驟S5)。
如果臉面積相對(duì)于屏幕的比率小于預(yù)定比率例如20％，則確定該圖像數(shù)據(jù)是表示人物留念照片圖像的數(shù)據(jù)。如果臉面積的比率大于等于預(yù)定比率例如20％，則由人數(shù)計(jì)數(shù)裝置7計(jì)數(shù)該圖像數(shù)據(jù)中的人數(shù)(步驟S6)。此后，確定所計(jì)數(shù)的人數(shù)是否小于等于預(yù)定人數(shù)例如3個(gè)(步驟S7)。
如果在步驟S7中確定所計(jì)數(shù)的人數(shù)不少于預(yù)定人數(shù)，比如大于等于4，則判斷該圖像數(shù)據(jù)是表示人物留念照片圖像的圖像數(shù)據(jù)。如果在步驟S7中確定所計(jì)數(shù)的人數(shù)小于等于預(yù)定人數(shù)，比如3，則判斷該圖像數(shù)據(jù)是表示肖像圖像的圖像數(shù)據(jù)。
在圖1的流程圖中，步驟S4和S5以及步驟S6和S7的順序可以顛倒。而且在這種情況中，可以容易地理解能夠獲得與上述結(jié)果相同的結(jié)果。
當(dāng)該場(chǎng)景的判別(步驟S2)結(jié)束時(shí)，進(jìn)行相應(yīng)于該場(chǎng)景判別的最優(yōu)的繪圖著色(步驟S8)，并且控制結(jié)束。
根據(jù)本發(fā)明的實(shí)施方式，可以自動(dòng)且精確地判別肖像圖像、人物留念照片圖像以及風(fēng)景照片圖像。因此，用戶可以根據(jù)肖像、人物留念照片圖像和風(fēng)景照片的不同場(chǎng)景進(jìn)行最優(yōu)的繪圖著色。
雖然作為例子已經(jīng)描述了，對(duì)肖像圖像、人物留念照片圖像和風(fēng)景照片圖像進(jìn)行判別并分類，灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3響應(yīng)于該分類進(jìn)行繪圖著色，但本發(fā)明不局限于此。勿庸置疑，可以有更多的分類，例如，在風(fēng)景的情況下，該風(fēng)景可以被進(jìn)一步分類成不同的場(chǎng)景比如樹、海、天空、雪景、夜景以及建筑物等，灰度補(bǔ)正裝置2和色度補(bǔ)正裝置3可以響應(yīng)于這些增加的分類進(jìn)行繪圖著色。
此外，本發(fā)明不局限于上述的例子，勿庸置疑，，本發(fā)明可以采取不脫離本發(fā)明要旨的各種其他結(jié)構(gòu)。
參考標(biāo)記的說(shuō)明 1…圖像輸入單元 2…灰度補(bǔ)正裝置 3…色度補(bǔ)正裝置 4…輸出端子 5…臉檢測(cè)裝置 6…臉面積計(jì)算裝置 7…人數(shù)計(jì)數(shù)裝置 8…預(yù)定比率以上判斷電路 9…預(yù)定人數(shù)以下判斷電路 10…與電路 11…與非電路
權(quán)利要求
1.一種圖像判別方法，包括以下步驟通過(guò)從輸入圖像檢測(cè)人臉來(lái)判斷是否有人；在沒有人時(shí)確定該輸入圖像是風(fēng)景照片圖像，在有人時(shí)稍后計(jì)算臉面積并對(duì)人數(shù)進(jìn)行計(jì)數(shù)；如果臉面積大于等于屏幕的預(yù)定比率并且人數(shù)不少于預(yù)定人數(shù)則確定該輸入圖像是人物留念照片圖像，如果所述臉面積大于等于屏幕的預(yù)定比率并且所述人數(shù)小于等于預(yù)定人數(shù)則確定該輸入圖像是肖像圖像。
2.如權(quán)利要求1所述的圖像判別方法，其中，所述預(yù)定比率是20％且所述預(yù)定人數(shù)是3。
3.一種圖像處理裝置，包括圖像輸入裝置；臉檢測(cè)裝置，用于檢測(cè)來(lái)自該圖像輸入裝置的圖像數(shù)據(jù)中的人臉；臉面積計(jì)算裝置，用于根據(jù)該臉檢測(cè)裝置的臉檢測(cè)信號(hào)計(jì)算臉面積；人數(shù)計(jì)數(shù)裝置，用于基于所述臉檢測(cè)信號(hào)對(duì)人數(shù)進(jìn)行計(jì)數(shù)；臉面積比率判斷裝置，用于判斷由所述臉面積計(jì)算裝置計(jì)算的臉面積是否大于等于屏幕的預(yù)定比率；人數(shù)判斷裝置，用于判斷由所述人數(shù)計(jì)數(shù)裝置計(jì)數(shù)的人數(shù)是否小于等于預(yù)定人數(shù)；以及用于相應(yīng)于所述人物的臉檢測(cè)裝置、所述臉面積比率判斷裝置和所述人數(shù)判斷裝置的輸出，補(bǔ)正所述圖像數(shù)據(jù)的灰度的灰度補(bǔ)正裝置和補(bǔ)正色度的色度補(bǔ)正裝置。
4.如權(quán)利要求3所述的圖像處理裝置，其中，所述預(yù)定比率是20％且所述預(yù)定人數(shù)是3。
全文摘要
本發(fā)明的目的在于可以自動(dòng)判別場(chǎng)景并能夠獲得相應(yīng)于該場(chǎng)景的最優(yōu)打印。從輸入圖像檢測(cè)人臉并判斷是否有人，沒有人時(shí)，判斷輸入圖像是風(fēng)景照片圖像，有人的話，則計(jì)算臉面積并對(duì)人數(shù)進(jìn)行計(jì)數(shù)。如果臉面積大于等于屏幕的預(yù)定比率且人數(shù)不少于預(yù)定人數(shù)，則判斷輸入圖像是人物留念照片圖像。如果臉面積大于等于屏幕的預(yù)定比率且人數(shù)小于等于預(yù)定人數(shù)，則確定輸入圖像是肖像圖像。
文檔編號(hào)G06T5/00GK1890688SQ200480036579
公開日2007年1月3日 申請(qǐng)日期2004年12月1日 優(yōu)先權(quán)日2003年12月10日
發(fā)明者中西俊明 申請(qǐng)人:索尼株式會(huì)社