專(zhuān)利名稱(chēng)：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法。
背景技術(shù)：
在圖像處理領(lǐng)域中已知一種技術(shù)，該技術(shù)生成從圖像中得到的多個(gè)示出物理特 征的特征圖(map)，綜合這些特征圖，從處理對(duì)象的圖像中檢測(cè)特定的區(qū)域作為關(guān)注區(qū) 域(ROI Region of Interest)。作為更具體的作法，例如，Treisman的特征綜合理論是得到綜合了多個(gè)特征圖 的顯著性圖來(lái)作為圖像的關(guān)注區(qū)域。此外，Itti和Koch等的理論是使用與各個(gè)平均值的 平方誤差，將多個(gè)特征圖標(biāo)準(zhǔn)化，在利用線性組合綜合了全部特征圖后，利用高斯差分 (Difference of Gaussian)濾波器循環(huán)地對(duì)該綜合后的特征圖進(jìn)行濾波，得到最終得到的濾 波結(jié)果中的局部峰值來(lái)作為關(guān)注區(qū)域(參見(jiàn)，例如，參照非專(zhuān)利文獻(xiàn)1)。再有，上述理論中使用的多個(gè)特征圖一般是利用高亮度和特定顏色以及強(qiáng)對(duì)比 度等、在人視覺(jué)過(guò)程的初始階段中優(yōu)先關(guān)注感覺(jué)顯著的物體的性質(zhì)而得到的。非專(zhuān)禾丨J 文獻(xiàn) 1 Laurent Itti, Christof Koch, and Ernst Niebur、 "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、(美國(guó))、IEEE Computer Society、1998 年 11 月、第 20 卷、第 11 號(hào)、p.1254-1259但是，在上述非專(zhuān)利文獻(xiàn)1的理論的情況中，對(duì)于物理特征的種類(lèi)的權(quán)重已被 固定，例如在使其適用于由拍攝等得到的具有多種物理特征的圖像中時(shí)，從該圖像中適 當(dāng)?shù)爻槿￡P(guān)注區(qū)域就很困難。

發(fā)明內(nèi)容
本發(fā)明示例性的實(shí)施例針對(duì)的是上述缺點(diǎn)和上面沒(méi)有提到的其它缺點(diǎn)。但是， 并不需要本發(fā)明克服上述所有缺點(diǎn)，因此，本發(fā)明示例性的實(shí)施例可能并未克服上述某 些缺點(diǎn)。從而，本發(fā)明的具體方式在于提供一種能夠考慮拍攝環(huán)境而適當(dāng)?shù)貦z測(cè)關(guān)注度 高的特定區(qū)域(ROI)的圖像處理裝置、圖像處理方法及計(jì)算機(jī)存儲(chǔ)介質(zhì)。根據(jù)本發(fā)明的一個(gè)以上的具體方式，提供一種圖像處理裝置。上述圖像處理 裝置具有取得部(unit)，其構(gòu)成為取得圖像；生成部(unit)，其構(gòu)成為生成與上述圖 像的多個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖；拍攝環(huán)境確定部，其構(gòu)成為確定上述圖像的拍攝 環(huán)境；加權(quán)部(unit)，其構(gòu)成為按照上述拍攝環(huán)境進(jìn)行上述特征圖的加權(quán)；以及檢測(cè)部 (detector),其構(gòu)成為基于上述加權(quán)后的特征圖的特征分布，從上述圖像中檢測(cè)特定區(qū)域(ROI)。根據(jù)本發(fā)明的一個(gè)以上的具體方式，提供一種圖像處理方法。上述方法具有下 述工序(a)取得圖像；(b)生成與上述圖像的多個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖；(c)確 定上述圖像的拍攝環(huán)境；(d)按照上述拍攝環(huán)境進(jìn)行上述特征圖的加權(quán)；以及(e)基于上 述加權(quán)后的特征圖的特征分布，從上述圖像中檢測(cè)特定區(qū)域(R0I)。根據(jù)本發(fā)明的一個(gè)以上的具體方式，提供一種計(jì)算機(jī)可讀取的介質(zhì)，存儲(chǔ)用于 使計(jì)算機(jī)執(zhí)行下述工作的程序。上述工作包括(a)取得圖像；(b)生成與上述圖像的多 個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖；(c)確定上述圖像的拍攝環(huán)境；(d)按照上述拍攝環(huán)境進(jìn) 行上述特征圖的加權(quán)；以及(e)基于上述加權(quán)后的特征圖的特征分布，從上述圖像中檢 測(cè)特定區(qū)域(R0I)。


圖1是示出適用了本發(fā)明的一個(gè)實(shí)施方式的拍攝裝置的概略結(jié)構(gòu)的方框圖。圖2是示出存儲(chǔ)在圖1的拍攝裝置中的加權(quán)表的一例的圖。圖3是示出與圖1的拍攝裝置的特定區(qū)域檢測(cè)處理有關(guān)的工作的一例的流程圖。圖4是用于說(shuō)明特定區(qū)域檢測(cè)處理的圖。圖5是示出與加權(quán)表的制作有關(guān)的外部機(jī)器的概略結(jié)構(gòu)的方框圖。圖6是示出與圖5的外部機(jī)器的加權(quán)表制作處理有關(guān)的工作的一例的流程圖。圖7是用于說(shuō)明加權(quán)表制作處理涉及的圖像集(set)的圖。圖8是示意性地示出圖像集的一例的圖。圖9是示出加權(quán)表制作處理涉及的加權(quán)系數(shù)的一例的圖。圖10是示出加權(quán)表制作處理涉及的正解圖和臨時(shí)綜合圖的一例的圖。
具體實(shí)施例方式以下，關(guān)于本發(fā)明，使用

典型的實(shí)施例。但是，發(fā)明范圍不限定于圖 示例。圖1是示出適用了本發(fā)明的一個(gè)實(shí)施方式的拍攝裝置100的概略結(jié)構(gòu)的方框圖。本實(shí)施方式的拍攝裝置100按照處理對(duì)象圖像的拍攝環(huán)境進(jìn)行與該處理對(duì)象圖 像的多個(gè)特征的每一個(gè)有關(guān)的特征圖的加權(quán)，基于加權(quán)后的多個(gè)特征圖的特征分布，從 處理對(duì)象圖像中檢測(cè)特定區(qū)域。具體地說(shuō)，如圖1所示，拍攝裝置100具有拍攝部1、拍攝控制部2、圖像數(shù)據(jù) 生成部3、存儲(chǔ)器4、圖像處理部5、存儲(chǔ)部6、顯示控制部7、顯示部8、記錄介質(zhì)9、外 部連接部10、操作輸入部11、以及中央控制部12。拍攝部1對(duì)被拍攝對(duì)象進(jìn)行拍攝，生成圖像幀。具體地說(shuō)，拍攝部1省略 了圖示，具有由變焦透鏡和聚焦透鏡等多個(gè)透鏡構(gòu)成的透鏡部；對(duì)通過(guò)透鏡部的 光的量進(jìn)行調(diào)整的光圈；以及由CCD (Charge Coupled Device:電荷耦合裝置)和 CMOS (Complementary Metal-oxide Semiconductor 互補(bǔ)金屬氧化物半導(dǎo)體)等圖像傳感
器構(gòu)成，將通過(guò)了透鏡部的各種透鏡后的光學(xué)像變換成二維圖像信號(hào)的電子拍攝部。拍攝控制部2省略了圖示，具有定時(shí)發(fā)生器和驅(qū)動(dòng)器等。并且，拍攝控制部2利用定時(shí)發(fā)生器和驅(qū)動(dòng)器掃描驅(qū)動(dòng)電子拍攝部，按每規(guī)定周期，由電子拍攝部將光學(xué)像變 換成二維圖像信號(hào)，從該電子拍攝部的拍攝區(qū)域中，一個(gè)畫(huà)面一個(gè)畫(huà)面地讀出圖像幀， 并輸出到圖像數(shù)據(jù)生成部3中。此外，作為拍攝條件的調(diào)整控制，拍攝控制部2進(jìn)行AE(自動(dòng)曝光處理)、 AF(自動(dòng)合焦處理)、AWB(自動(dòng)白平衡)等。對(duì)于從電子拍攝部傳送來(lái)的圖像數(shù)據(jù)的模擬值信號(hào)，圖像數(shù)據(jù)生成部3對(duì)RGB 的各色成分適當(dāng)?shù)剡M(jìn)行了增益調(diào)整之后，在采樣保持電路(圖示略)中進(jìn)行采樣保持，在 A/D變換器(圖示略)中變換成數(shù)字?jǐn)?shù)據(jù)，在彩色處理電路(圖示略)中進(jìn)行包括象素插 補(bǔ)處理和Y修正處理在內(nèi)的彩色處理，之后，生成數(shù)字值的輝度信號(hào)Y和色差信號(hào)Cb、 Cr(YUV彩色空間的圖像數(shù)據(jù))。從彩色處理電路輸出的輝度信號(hào)Y和色差信號(hào)Cb、Cr,經(jīng)由未圖示的DMA控 制器，被DMA傳送到作為緩沖存儲(chǔ)器使用的存儲(chǔ)器4中。存儲(chǔ)器4例如由DRAM等構(gòu)成，對(duì)由圖像處理部5和中央控制部12等處理的數(shù) 據(jù)等進(jìn)行暫時(shí)存儲(chǔ)。圖像處理部5具有取得由拍攝部1拍攝到的輸入圖像作為處理對(duì)象圖像的圖像取 得部(取得部)5a。具體地說(shuō)，圖像處理部5a例如在實(shí)時(shí)取景(Live View)圖像和記錄用圖像的拍攝 時(shí)，取得由圖像數(shù)據(jù)生成部3所生成的輸入圖像(參照?qǐng)D4)的YUV數(shù)據(jù)。此外，圖像處理部5還具有在拍攝被拍攝對(duì)象時(shí)對(duì)圖像的拍攝環(huán)境(參照?qǐng)D4) 進(jìn)行確定的拍攝環(huán)境確定部5b。具體地說(shuō)，拍攝環(huán)境確定部5b通過(guò)基于與用戶(hù)對(duì)操作輸入部11的選擇決定按鈕 的規(guī)定操作相應(yīng)的拍攝模式(選擇情景)的指定，設(shè)定與該拍攝模式對(duì)應(yīng)的被拍攝對(duì)象的 拍攝條件，從而來(lái)確定拍攝環(huán)境。更具體地說(shuō)，拍攝環(huán)境確定部5b從例如“1.自動(dòng)”、
“2.人物”、“3.風(fēng)景”、“4.風(fēng)景和人物”、“5.兒童”、“6.體育”、“7.燈光”、 “8.聚會(huì)”、“9.寵物”等多個(gè)拍攝模式中，確定一個(gè)由用戶(hù)指定的拍攝模式所規(guī)定的、 例如曝光條件(快門(mén)速度和光圈、放大率等)和白平衡等的被拍攝對(duì)象的拍攝條件(拍攝 模式信息)，作為拍攝環(huán)境。此外，拍攝環(huán)境確定部5b基于遵照用戶(hù)對(duì)操作輸入部11的規(guī)定操作所指定的變 焦量(變焦透鏡位置)，確定與按照該變焦量設(shè)定的視角有關(guān)的視角信息，作為圖像的拍 攝環(huán)境。此外，拍攝環(huán)境確定部5b確定與由未圖示的計(jì)時(shí)部計(jì)時(shí)的時(shí)刻有關(guān)的時(shí)刻信 息，作為圖像的拍攝環(huán)境。此外，拍攝環(huán)境確定部5b還基于由未圖示的位置檢測(cè)部檢測(cè)到的位置，確定 GPS(全球定位系統(tǒng))信息和高度信息，作為圖像的拍攝環(huán)境。再有，作為圖像的拍攝環(huán)境而例示的拍攝模式信息、視角信息、時(shí)刻信息、 GPS信息、高度信息只是一例，不限于此。在此，拍攝環(huán)境確定部5b和操作輸入部11構(gòu)成了權(quán)利要求中的拍攝環(huán)境確定部。此外，圖像處理部5具有特征圖生成部(生成部)5c，該特征圖生成部(生成部)5c關(guān)于由圖像取得部5a所取得的輸入圖像的多個(gè)特征的每一個(gè)，生成多個(gè)特征圖(參 照?qǐng)D4)。特征圖生成部5c在基于由圖像取得部5a取得的圖像數(shù)據(jù)(YUV數(shù)據(jù))生成了 水平(x軸)和垂直(y軸)都按規(guī)定比率縮小了的縮小圖像(例如，VGA尺寸(xXy 640X480象素)的圖像)之后，生成利用了例如對(duì)比度、直方圖的巴特查里亞距離(八夕 千\ ‘) 乂距離Bhattacharyya Distance)、各色的分散程度(連貫程度)等的第一 第三特 征圖F1 F3。具體地說(shuō)，特征圖生成部5c首先基于縮小圖像的圖像數(shù)據(jù)，按照使縮小比率不 同的方式生成多個(gè)水平(x軸)和垂直(y軸)都按規(guī)定比率進(jìn)一步縮小后的圖像。然后， 特征圖生成部5c在計(jì)算出了生成的多個(gè)縮小后的圖像的各自的對(duì)比度之后，通過(guò)使這些 對(duì)比度與各圖像的縮小比率對(duì)應(yīng)地放大后配合尺寸進(jìn)行相加，從而生成第一特征圖F1。此外，特征圖生成部5c首先基于縮小圖像的圖像數(shù)據(jù)，以各象素為中心，生成 多個(gè)尺寸和形狀不同的框。然后，特征圖生成部5c在計(jì)算出了直方圖的巴特查里亞距離 作為多個(gè)框內(nèi)的圖像區(qū)域彼此之間的類(lèi)似度的指標(biāo)之后，通過(guò)基于該巴特查里亞距離分 開(kāi)涂抹各象素來(lái)生成第二特征圖F2。再有，在圖4所示的第二特征圖F2中，直方圖的 巴特查里亞距離越大表示越白。在此，所述巴特查里亞距離是指如下的距離尺度，在整 個(gè)區(qū)域中對(duì)2個(gè)概率密度分布(probability density distribution)的幾何平均進(jìn)行積分，在隨 機(jī)地退回維數(shù)之后，求其自身信息量，將它解釋為距離。此外，特征圖生成部5c首先按照規(guī)定的變換式，將縮小圖像的YUV彩色空間的 圖像數(shù)據(jù)變換成HSV彩色空間的圖像數(shù)據(jù)之后，利用EM算法，用混合高斯分布表現(xiàn)出 來(lái)。然后，特征圖生成部5c在關(guān)于以規(guī)定的基準(zhǔn)分組后的多個(gè)組(顏色的塊)計(jì)算出了 分散值之后，基于該分散值分開(kāi)涂抹各象素，從而生成第三特征圖F3。再有，在圖4所 示的第三特征圖F3中，分散值越小(顏色越連貫)表示越白。再有，作為特征圖，例示了第一 第三特征圖F1 F3，但這只是一例，不限于 此，只要是與輸入圖像的各種特征有關(guān)的，就可以是任意的特征圖。此外，特征圖的數(shù) 量(種類(lèi))不限于3個(gè)，也可以是多個(gè)。此外，圖像處理部5具有加權(quán)部5d，該加權(quán)部5d對(duì)由特征圖生成部5c生成的多 個(gè)特征圖進(jìn)行加權(quán)。g卩，加權(quán)部5d作為加權(quán)系數(shù)存儲(chǔ)部，存儲(chǔ)有已將第一 第三特征圖F1 F3的 各自的加權(quán)系數(shù)wl w3與拍攝條件建立了對(duì)應(yīng)的加權(quán)表T1。加權(quán)表T1如圖3所示，關(guān)于對(duì)被拍攝對(duì)象的拍攝條件進(jìn)行規(guī)定的多個(gè)拍攝模式 “人物”、“風(fēng)景”、“風(fēng)景和人物”、“兒童”、“體育”、“燈光”、“聚會(huì)”、 “寵物”的每一個(gè)，與第一 第三特征圖F1 F3的各加權(quán)系數(shù)wl w3建立對(duì)應(yīng)并存
儲(chǔ)起來(lái)。再有，加權(quán)表T1是在由經(jīng)由外部連接部10與拍攝裝置100連接的外部機(jī)器 200 (后述)的加權(quán)表制作處理(后述)制成之后，發(fā)送到該拍攝裝置100中并存儲(chǔ)在加權(quán) 部5d中的表。然后，在多個(gè)拍攝模式中，加權(quán)部5d按照與基于用戶(hù)對(duì)操作輸入部11的規(guī)定操 作所指定的拍攝模式建立有對(duì)應(yīng)的被拍攝對(duì)象的拍攝條件，進(jìn)行第一 第三特征圖F1 F3的加權(quán)。具體地說(shuō)，加權(quán)部5d具有特征分布綜合部5e，該特征分布綜合部5e對(duì)按照 加權(quán)系數(shù)wl w3加權(quán)后的第一 第三特征圖F1 F3的特征分布進(jìn)行綜合。BP,當(dāng)基于用戶(hù)對(duì)操作輸入部11的規(guī)定操作指定了某一個(gè)拍攝模式時(shí)，加權(quán)部 5d在加權(quán)表T1內(nèi)確定了與該拍攝模式對(duì)應(yīng)的第一 第三特征圖F1 F3的加權(quán)系數(shù)wl w3之后，讀出并取得規(guī)定的加權(quán)系數(shù)(例如，加權(quán)系數(shù)wl等)。然后，特征分布綜合 部5e按照取得的加權(quán)系數(shù)wl w3進(jìn)行第一 第三特征圖F1 F3的加權(quán)，生成綜合 圖T(x，y)。具體地說(shuō)，特征分布綜合部5e通過(guò)按照下述式(1)，將與第一 第三特征 圖F1 F3的各自的特征分布對(duì)應(yīng)的各加權(quán)系數(shù)wl w3相乘并積分，從而生成綜合圖 T(x, y)。數(shù)學(xué)式1
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具有 取得部，其構(gòu)成為取得圖像；生成部，其構(gòu)成為生成與上述圖像的多個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖； 拍攝環(huán)境確定部，其構(gòu)成為確定上述圖像的拍攝環(huán)境； 加權(quán)部，其構(gòu)成為按照上述拍攝環(huán)境進(jìn)行上述特征圖的加權(quán)；以及 檢測(cè)部，其構(gòu)成為基于上述加權(quán)后的特征圖的特征分布，從上述圖像中檢測(cè)特定區(qū) 域(ROI)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 上述取得部包括構(gòu)成為設(shè)定拍攝條件的拍攝部，上述拍攝環(huán)境確定部構(gòu)成為基于上述拍攝條件確定上述拍攝環(huán)境， 上述加權(quán)部構(gòu)成為按照上述拍攝條件進(jìn)行上述特征圖的加權(quán)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 該圖像處理裝置進(jìn)一步具有存儲(chǔ)部，其構(gòu)成為存儲(chǔ)互相關(guān)聯(lián)的多個(gè)拍攝模式和拍攝條件；以及 模式指定部，其構(gòu)成為指定上述多個(gè)拍攝模式中的一個(gè)， 上述拍攝部構(gòu)成為設(shè)定與上述指定的上述拍攝模式相關(guān)聯(lián)的拍攝條件。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 該圖像處理裝置進(jìn)一步具有加權(quán)系數(shù)存儲(chǔ)部，其構(gòu)成為存儲(chǔ)互相關(guān)聯(lián)的上述特征圖的加權(quán)系數(shù)和拍攝條件， 上述加權(quán)部構(gòu)成為讀出與上述設(shè)定的拍攝條件相關(guān)聯(lián)的加權(quán)系數(shù)，并使用上述讀出 的加權(quán)系數(shù)進(jìn)行上述特征圖的加權(quán)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 該圖像處理裝置進(jìn)一步具有綜合部，其構(gòu)成為對(duì)上述加權(quán)后的特征圖的特征分布進(jìn)行綜合，上述檢測(cè)部構(gòu)成為基于上述綜合后的特征分布，從上述圖像中檢測(cè)特定區(qū)域。
6.—種圖像處理方法，其特征在于，具有下述工序(a)取得圖像；(b)生成與上述圖像的多個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖； (C)確定上述圖像的拍攝環(huán)境；(d)按照上述拍攝環(huán)境進(jìn)行上述特征圖的加權(quán)；以及(e)基于上述加權(quán)后的特征圖的特征分布，從上述圖像中檢測(cè)特定區(qū)域(ROI)。
7.—種計(jì)算機(jī)可讀取的介質(zhì)，其特征在于，存儲(chǔ)用于使計(jì)算機(jī)執(zhí)行下述工作的程序(a)取得圖像；(b)生成與上述圖像的多個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖；(c)確定上述圖像的拍攝環(huán)境；(d)按照上述拍攝環(huán)境進(jìn)行上述特征圖的加權(quán)；以及(e)基于上述加權(quán)后的特征圖的特征分布，從上述圖像中檢測(cè)特定區(qū)域(ROI)。
全文摘要
本發(fā)明提供一種圖像處理裝置。上述圖像處理裝置具有構(gòu)成為取得圖像的取得部(unit)；構(gòu)成為生成與上述圖像的多個(gè)特征的每一個(gè)對(duì)應(yīng)的特征圖的生成部(unit)；構(gòu)成為確定上述圖像的拍攝環(huán)境的拍攝環(huán)境確定部；構(gòu)成為按照上述拍攝環(huán)境進(jìn)行上述特征圖的加權(quán)的加權(quán)部(unit)；以及構(gòu)成為基于上述加權(quán)后的特征圖的特征分布，從上述圖像中檢測(cè)特定區(qū)域(ROI)的檢測(cè)部(detector)。
文檔編號(hào)H04N5/232GK102014251SQ20101054023
公開(kāi)日2011年4月13日 申請(qǐng)日期2010年9月3日 優(yōu)先權(quán)日2009年9月4日
發(fā)明者中迂浩一 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社