專利名稱：圖像處理裝置、圖像處理方法和計算機(jī)可讀取記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，特別涉及由輸入的圖像可高速并且高精度地自動檢測對象物的位置等的技術(shù)。
背景技術(shù)：
臉部具有表示人物的思考和感情的重要意義，眼睛中的虹膜成為鑒定該人物是誰的指標(biāo)。
因此，在使用包含臉部和眼睛等的對象物的圖像(靜止圖像、動畫像、計算機(jī)圖形等)的圖像處理領(lǐng)域中，如果有可以自動地處理對象物在圖像的什么位置以多大的大小存在這樣的問題的系統(tǒng)，則十分便利。因此，在系統(tǒng)上，開始嘗試從圖像中提取對象物。
在臉部提取中，有使用半變換(ハフ變換)的方法。作為有關(guān)該方法的文獻(xiàn)，有文獻(xiàn)1‘HeadFinder(頭部尋像器)基于幀間差分的人物跟蹤’(畫像センシングシンボジゥム2000，pp329-334)。
在該文獻(xiàn)1中，披露了以下技術(shù)將臉部以單一的圓近似，使用同心狀地包括大小不同的多個圓的模板，來提取臉部。此外，在每個圓的半徑中，準(zhǔn)備不同的投票面。
然后，在圖像上，用該模板進(jìn)行光柵掃描，在模板的中心與邊緣點(diǎn)(輪廓上的點(diǎn))重合時，在各投票面中，對構(gòu)成圓的點(diǎn)進(jìn)行投票(加入固定值)。
然后，如果光柵掃描結(jié)束，則以成為最大的投票值的點(diǎn)的位置作為臉部位置，以該點(diǎn)所屬的投票面的圓的大小作為臉部的大小。
由此，即使在圖像上存在多個各種各樣大小的臉部中，僅用1次光柵掃描，就可以檢測所有的臉部位置及大小。
此外，就眼部區(qū)域的檢測來說，文獻(xiàn)2((日本)特開平4-225478號公報)披露了求出眼部區(qū)域的中心位置的技術(shù)。而且，在該文獻(xiàn)中，從圖像中檢測邊緣，用該邊緣線部分的曲率半徑形成圓弧，將交叉該圓弧最多的點(diǎn)作為虹膜的中心。
一般來說，在這樣的對象物的檢測中，處理量和提取精度存在折衷選擇的關(guān)系。即，如果在環(huán)境條件中進(jìn)行加強(qiáng)(ロバスト)的提取處理，則處理量必然膨脹，相反，如果減輕處理量，則在特定的環(huán)境以外難以維持精度。
而且，在虹膜識別的領(lǐng)域中，如果可以從眼部附近的圖像中高速自動提取眼睛和瞳孔，則極大地削減識別處理的處理量，所以正在尋求高速的提取法。
在文獻(xiàn)1所述的技術(shù)中，通過匯總多個不同大小的圓來進(jìn)行半投票，從而削減半變換的處理量。但是，該提取法以幀間差分作為基礎(chǔ)。
因此，在人物處于靜止?fàn)顟B(tài)時，不能檢測移動差分造成的人物輪廓邊緣。此外，在背景移動的環(huán)境中，大多產(chǎn)生在周圍移動的差分造成的邊緣，人物的輪廓邊緣被埋沒。即，無論是哪種條件，都難以進(jìn)行邊緣檢測，其結(jié)果，存在臉部區(qū)域檢測困難這樣的問題。
在文獻(xiàn)2中，如果眼部區(qū)域的圖像攝影條件差，則邊緣圖像也惡化，在檢測圓弧中，也存在需要大量的處理量的問題。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供高速、高精度地從圖像中提取對象物的位置、大小的技術(shù)。
第1發(fā)明的圖像處理裝置包括邊緣提取部，輸入圖像并生成邊緣圖像；投票部，使用模板生成在邊緣圖像上進(jìn)行投票的投票結(jié)果；極大點(diǎn)提取部，提取投票結(jié)果中的極大點(diǎn)來生成提取結(jié)果；以及對象物鑒定部，根據(jù)提取結(jié)果來鑒定對象物的位置。
在該結(jié)構(gòu)中，用投票部的前級的邊緣提取部來抑制檢測邊緣點(diǎn)，用后級的極大點(diǎn)提取部高速、高精度地壓縮對象物的提取位置侯選，無論動畫和靜止畫都可以實(shí)時提取位置和大小。
在第2發(fā)明的圖像處理裝置中，邊緣提取部包括使用集中進(jìn)行除去圖像中的噪聲和提取邊緣的濾波的濾波處理部。
根據(jù)該結(jié)構(gòu)，僅對濾波進(jìn)行1次光柵掃描，就可以完成噪聲的除去和邊緣的提取，可進(jìn)行高速并且正確的邊緣提取。
在第3發(fā)明的圖像處理裝置中，邊緣提取部包括將濾波處理部的濾波處理結(jié)果細(xì)線化的細(xì)線化部。
根據(jù)該結(jié)構(gòu)，即使在濾波處理結(jié)果用粗線掃描邊緣的情況下，也可以清晰地表現(xiàn)邊緣。
在第4發(fā)明的圖像處理裝置中，濾波是將高斯濾波和單位矢量相乘的濾波。
根據(jù)該結(jié)構(gòu)，可以集中發(fā)揮高斯濾波產(chǎn)生的烘托作用和單位矢量產(chǎn)生的邊緣提取作用。即，無論圖像的特性如何，都可以固定并且準(zhǔn)確地除去噪聲，同時可以僅提取必要的邊緣。
在第5發(fā)明的圖像處理裝置中，濾波處理部除了使用對于xy方向的濾波獲得濾波處理結(jié)果以外，還輸出xy平面內(nèi)的邊緣矢量。
根據(jù)該結(jié)構(gòu)，通過使用xy兩方向的濾波，可以用xy的二維的邊緣矢量來表現(xiàn)邊緣。
在第6發(fā)明的圖像處理裝置中，細(xì)線化部根據(jù)當(dāng)前像素和該當(dāng)前像素的相鄰像素中的濾波處理結(jié)果的大小關(guān)系、以及邊緣矢量的方向來對濾波處理結(jié)果進(jìn)行細(xì)線化。
根據(jù)該結(jié)構(gòu)，通過簡單的大小比較和邊緣矢量的方向，即使在用粗線掃描邊緣的情況下，也可以正確地將濾波處理結(jié)果細(xì)線化。
在第7發(fā)明的圖像處理裝置中，極大點(diǎn)提取部根據(jù)中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分來生成提取結(jié)果。
根據(jù)該結(jié)構(gòu)，可探索在投票面中投票值絕對評價高、并且周圍的投票值的相對評價高的點(diǎn)。即，不僅投票值高，而且可以僅檢測急劇變化大的部分，適合于有這種傾向的臉部區(qū)域和眼部區(qū)域的檢測。
在第8發(fā)明的圖像處理裝置中，極大點(diǎn)提取部求中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分，使用環(huán)形濾波來生成提取結(jié)果。
根據(jù)該結(jié)構(gòu)，僅對環(huán)形濾波進(jìn)行光柵掃描，不僅投票值高，而且可僅檢測急劇升高的部分。
在第9發(fā)明的圖像處理裝置中，模板、投票結(jié)果及提取結(jié)果以各自多個大小來分別設(shè)定，對象物鑒定部鑒定對象物的位置及大小。
根據(jù)該結(jié)構(gòu)，不僅對象物的位置，而且其大小也可以同時檢測。


圖1是本發(fā)明一實(shí)施形態(tài)中的圖像處理裝置的方框圖。
圖2是該圖像處理裝置的方框圖。
圖3是該圖像處理裝置的流程圖。
圖4(a)是圖像的例示圖，圖4(b)是濾波的說明圖，圖4(c)是光柵掃描的說明圖。
圖5(a)是濾波x分量的說明圖，圖5(b)是濾波y分量的說明圖。
圖6(a)是濾波處理結(jié)果的例示圖，圖6(b)是邊緣圖像的例示圖。
圖7(a)是細(xì)線化處理的說明圖(濾波處理結(jié)果)，圖7(b)是細(xì)線化處理的說明圖(邊緣矢量x分量)，圖7(c)是細(xì)線化處理的說明圖(邊緣矢量y分量)。
圖8是細(xì)線化部的流程圖。
圖9(a)、圖9(b)是細(xì)線化處理的說明圖。
圖10是模板和投票面的關(guān)系說明圖。
圖11(a)、圖11(b)、圖11(c)、圖11(d)是模板的例示圖，圖11(e)是投票的例示圖。
圖12(a)是邊緣圖像的例示圖(本形態(tài))，圖12(b)是投票處理的說明圖(本形態(tài))。
圖13(a)、圖13(b)、圖13(c)是環(huán)形濾波的例示圖。
圖14(a)是環(huán)形濾波的掃描說明圖，圖14(b)是評價面的例示圖。
圖15(a)、圖15(b)是投票值的分布例示圖。
圖16(a)是邊緣圖像的例示圖(茹貝爾濾波)，圖16(b)是投票處理的說明圖(茹貝爾濾波)。
具體實(shí)施例方式
首先，在進(jìn)行本形態(tài)自身的說明之前，使用圖16來說明本發(fā)明人為了改善文獻(xiàn)1的發(fā)明的技術(shù)而研討的技術(shù)。在該技術(shù)中，取代文獻(xiàn)1中的幀差分，根據(jù)通常的靜止畫邊緣檢測方法，使用茹貝爾濾波(Zobel filter)，提取邊緣。
圖16(a)示出茹貝爾濾波的邊緣提取結(jié)果的實(shí)例。從圖16(a)可知，除了本來應(yīng)提取的臉部輪廓101及肩部輪廓102以外，還檢測多個多余的邊緣點(diǎn)103。這些邊緣點(diǎn)103正是噪聲。
因此，如果原封不動地進(jìn)行半投票，則為圖16(b)所示的結(jié)果。即，如模板t4、t5那樣，在以臉部輪廓以外的噪聲(邊緣點(diǎn)103)為中心的圓上也進(jìn)行投票，不僅需要進(jìn)行多余的運(yùn)算處理量，而且使投票結(jié)果的精度下降。
這里，無論是否是噪聲，如果增加邊緣點(diǎn)數(shù)，則模板的加入次數(shù)成比例增加，而處理量指數(shù)地增加。因此，在個人計算機(jī)等級的處理能力上，需要龐大的處理時間，難以進(jìn)行實(shí)時處理。
而且，來自投票面的特征點(diǎn)檢測的處理量非常大，難以進(jìn)行實(shí)時處理，所以考慮通過分散和閾值的取舍選擇來實(shí)現(xiàn)高速化。
但是，為了高速化而進(jìn)行間隙和每個單位塊的平均化，則產(chǎn)生臉部位置埋沒于噪聲的情況或只提取噪聲的情況，在提取精度上產(chǎn)生問題。
此外，如圖16(a)所示，一旦生成了邊緣圖像后，與預(yù)先設(shè)定的閾值進(jìn)行比較，除去噪聲小的邊緣點(diǎn)，然后進(jìn)行半投票。
但是，適當(dāng)設(shè)定該閾值極其困難。在輸入圖像前，不能預(yù)先知道圖像中的對象物的大小等，其結(jié)果，該閾值不得不取經(jīng)驗上認(rèn)為是合適的值。然后，根據(jù)該閾值來決定除去噪聲作用的強(qiáng)弱。
這里，如果噪聲除去的作用過弱，則噪聲殘留多，其結(jié)果，與圖16(b)所示的狀態(tài)沒有顯著差別。相反，如果噪聲除去的作用過強(qiáng)，本來應(yīng)該殘留的臉部輪廓101的全部或一部分欠缺或消失，使投票結(jié)果的精度降低。
于是，即使除去取決于各個圖像特性的噪聲，也難以達(dá)到期望的目的。
考慮到這方面，本發(fā)明人提出以下方案無論圖像的特性如何，都可以固定地使用，其結(jié)果能夠可靠地除去噪聲的濾波等，并如以下詳細(xì)地說明，完成了本發(fā)明。
下面，參照附圖來說明本發(fā)明的實(shí)施形態(tài)。圖1是本發(fā)明一實(shí)施例的圖像處理裝置的功能方框圖，圖2是該圖像處理裝置的方框圖，圖3是該圖像處理裝置的流程圖。
在說明各部的細(xì)節(jié)前，使用圖3來概括說明本形態(tài)的圖像處理裝置的處理流程。首先，輸入圖像(步驟1)，對該圖像實(shí)施濾波處理(步驟2)，獲得粗略的粗邊緣。接著，對粗邊緣進(jìn)行細(xì)線化(步驟3)，使用模板，進(jìn)行投票(步驟4)。
進(jìn)而，根據(jù)投票結(jié)果，提取極大的點(diǎn)(步驟5)，鑒定對象物的位置和尺寸(步驟6)，輸出結(jié)果(步驟7)。
下面，說明本形態(tài)的圖像處理裝置的結(jié)構(gòu)。圖2表示具體構(gòu)成圖1的要素的實(shí)例。即，在圖2中，CPU(中央處理裝置)20根據(jù)存儲于ROM(只讀存儲器)21中的圖3、圖8等的流程圖來執(zhí)行圖像處理程序，經(jīng)由總線19來控制圖2所示的各要素。
在RAM(隨機(jī)存取存儲器)22和硬盤23中，除了圖1所示的各存儲部1、3、4、5、6、9、11、12、14的區(qū)域以外，CPU20還確保用于其處理所需的暫時存儲區(qū)域。
再有，圖1所示的各處理部7、8、10、13、15可通過CPU20執(zhí)行存儲于ROM21中的圖像處理程序來實(shí)現(xiàn)。此外，該程序可以被存儲在硬盤23或CD-ROM等眾所周知的記錄媒體中。
在圖2的例中，攝象機(jī)25連接在接口24上，可以實(shí)時取得包含對象物的圖像。再有，攝象機(jī)25可以使用CCD、CMOS的任何一種模塊，攝象機(jī)25可以是靜像攝影機(jī)/視頻攝象機(jī)的任何一種，也可以是附屬于攜帶電話的攝象機(jī)。
在圖1中，在輸入圖像存儲部1中，存儲輸入圖像。在本形態(tài)中，為了簡化，輸入圖像具有作為亮度表現(xiàn)的代表性亮度Y0(x，y)(8比特)，假設(shè)根據(jù)該亮度Y0(x，y)來進(jìn)行處理。
這里，可以使亮度Y0(x，y)具有不同的色調(diào)，也可以使用不是亮度而是亮度的其他表現(xiàn)形式。此外，輸入圖像可以是灰色標(biāo)度圖像，也可以從彩色圖像中分離亮度Y0(x，y)。
存儲在輸入圖像存儲部1中的圖像的數(shù)據(jù)形式只要是動畫/靜止畫的其中一種即可，在動畫的情況下按幀為單位進(jìn)行處理。再有，對于具有場構(gòu)造的動畫來說，可以將奇數(shù)場和偶數(shù)場合并為一幅圖畫后來進(jìn)行處理。
作為存儲在輸入圖像存儲部1中的圖像，可以使用由圖2的攝象機(jī)25實(shí)時拍攝的圖像，也可以是過去拍攝的、并且存儲在RAM22或硬盤23等存儲裝置中。
邊緣提取部2從輸入圖像存儲部1輸入圖像來生成邊緣圖像。如圖1所示，邊緣提取部2包括濾波處理部7，使用集中進(jìn)行圖像的噪聲除去和邊緣提取的濾波；以及細(xì)線化部8，對濾波處理部7的濾波處理結(jié)果進(jìn)行細(xì)線化。
在濾波存儲部3中，存儲濾波處理部7使用的濾波。
如后所述，該濾波是將高斯濾波和單位矢量相乘的濾波，濾波處理部7除了使用xy方向的濾波的濾波處理結(jié)果以外，還輸出xy平面內(nèi)的邊緣矢量。
在邊緣提取部2中，濾波處理部7通過濾波存儲部3存儲的濾波Sx(x，y)、Sy(x，y)來進(jìn)行濾波處理，邊緣矢量(Y1x(x，y)，Y1y(x，y))被存儲在邊緣矢量存儲部4中，濾波處理結(jié)果Y1(x，y)被存儲在濾波處理結(jié)果存儲部5中。
接著，細(xì)線化部8使用邊緣矢量(Y1x(x，y)，Y1y(x，y))、濾波處理結(jié)果Y1(x，y)，提取濾波處理結(jié)果Y1(x，y)中掃描的線的局部極大點(diǎn)，進(jìn)行細(xì)線化，求出邊緣部。這里，該濾波處理是圖像和濾波的卷積運(yùn)算處理。
下面，使用圖4、圖5，一邊示出公式，一邊詳細(xì)說明濾波。首先，圖4(a)表示存儲在輸入圖像存儲部1中的一例圖像。
如圖4(b)所示，定義濾波的系統(tǒng)。該濾波S有縱橫N像素，其中心為原點(diǎn)(0，0)。
此時，極坐標(biāo)所示的高斯濾波將σ<SUP>2</SUP>作為分散，按下式來定義。
公式1g(r)=12πσexp(-r22σ2)]]>如果用x-y坐標(biāo)來表現(xiàn)該濾波，則如下表示。
公式2g(x,y)=12πσexp(-x2+y22σ2)]]>此外，大小為‘1’的單位矢量如下表示。
公式3u→=r→|r|=(x,y)x2+y2=(xx2+y2,yx2+y2)=(ux(x,y),uy(x,y))]]>而且，該濾波將高斯濾波和單位矢量相乘，對于x方向具有公式4Sx(x,y)=g(x,y)×ux(x,y)=x2πσ2(x2+y2)exp(-x2+y22σ2)]]>對于y方向具有公式5Y1x(x,y)=Σl=0NΣk=0N[Y0(x+k,y+l)×Sx(k-N2,l-N2)]]]>這樣的兩個分量。其中，在(公式4)、(公式5)中，-N/2≤x≤N/2、N/2≤y≤N/2。
圖示該x方向的濾波分量時，如圖5(a)所示，而圖示y方向的濾波分量時，則如圖5(b)所示。圖5所示的濾波S有19×19的大小，但濾波大小可以更大，也可以更小，濾波越大，越可以檢測粗的邊緣。
而且，在進(jìn)行濾波處理中，如圖4(c)所示，在圖像上，對濾波S進(jìn)行光柵掃描。
該掃描的結(jié)果可獲得邊緣矢量的x分量公式6Y1x(x,y)=Σl=0NΣk=0N[Y0(x+k,y+l)×Sx(k-N2,l-N2)]]]>、以及邊緣矢量的y分量公式7Y1x(x,y)=Σl=0NΣk=0N[Y0(x+k,y+l)×Sy(k-N2,l-N2)]]]>。濾波處理部7將這些分量存儲在邊緣矢量存儲部4中。
此外，濾波處理結(jié)果正是邊緣矢量的大小，由下式定義。
公式8Y1(x,y)=Y1x2(x,y)+Y1y2(x,y)]]>濾波處理部7將按該式算出的濾波處理結(jié)果存儲在濾波處理結(jié)果存儲部5中。
這里，高斯濾波除去高頻噪聲，根據(jù)高斯濾波的σ的大小，檢測更粗的邊緣。作為濾波，無論圖像的特性如何，都可以固定地使用，只要能夠可靠地除去噪聲，進(jìn)行各種變更也沒有妨礙。
以下，簡單地說明可以與圖像的特性無關(guān)地固定使用該濾波的理由。
一般地，在圖像中，存在各種各樣比例尺的邊緣。這里，該‘比例尺’這樣的用語作為專門用語有固定的意思，但與日常使用的比例尺(比例尺大或小的情況)有相同的意義。
例如，在輸入了某個風(fēng)景的圖像的情況下，在背景的山上是大的邊緣，在跟前的家的窗戶的格子中成為小的邊緣。如果整體地看背景的山，則平緩，而如果仔細(xì)地看，則在細(xì)部有細(xì)的凹凸。
這樣的情況下，背景的山的平緩的邊緣在大的比例尺中可看見，格子的邊緣在小的比例尺中可看見。
但是，在圖像中，臉部和眼部等檢測物的輪廓的坡度基本上確定的情況居多，可以用固定的比例尺來表現(xiàn)。因此，最好提取構(gòu)成該輪廓的邊緣，只要預(yù)先定義不提取除此以外的細(xì)小的邊緣的比例尺，則可以僅良好地提取輪廓。
數(shù)學(xué)上說，比例尺大的粗略的邊緣可以用空間頻率低的函數(shù)項來表現(xiàn)，比例尺小的細(xì)的邊緣可以用空間頻率高的函數(shù)項來記述。
因此，在取出適當(dāng)比例尺的邊緣中，對圖像施加適當(dāng)?shù)臑V波，使圖像相相應(yīng)模糊，在其上可以進(jìn)行邊緣提取。
這樣的濾波可以作為頻帶濾波來表現(xiàn)，但在相同頻帶寬度下邊緣位置的精度最好的情況是高斯函數(shù)。
因此，本形態(tài)的濾波具有以下構(gòu)造在具有以最好地提取輪廓的比例尺定義的頻帶寬度的高斯函數(shù)中，將x方向和y方向的單位矢量相乘。具體地說，比例尺和頻帶寬度與濾波的大小有關(guān)。
即，在現(xiàn)有技術(shù)中，進(jìn)行(步驟1)平滑化(濾波大小為經(jīng)驗值)(步驟2)邊緣檢測(濾波大小為經(jīng)驗值)(步驟3)根據(jù)閾值除去小邊緣(閾值按每種情況調(diào)整)這樣的三步驟，在本形態(tài)中，通過將濾波的大小設(shè)定為可最容易提取輪廓的大小，不進(jìn)行以每種狀況調(diào)整閾值等麻煩的處理，而且僅在一次處理中進(jìn)行與圖像無關(guān)的固定地提取。
圖6(a)是圖4(c)所示的掃描結(jié)果得到的濾波處理結(jié)果的實(shí)例。將圖6(a)與圖4(c)比較可知，凹凸和細(xì)小的噪聲被除去。而且，還可檢測比原來的輪廓線粗的邊緣。
這樣，在濾波處理結(jié)果中，省略細(xì)小的邊緣和噪聲，檢測輪廓粗的邊緣，但濾波S的大小大，所以檢測邊緣也非常粗。因此，在下級的細(xì)線化部8中進(jìn)行細(xì)線化處理。
即，細(xì)線化部8通過按照圖8的流程圖執(zhí)行處理，將圖6(a)的濾波處理結(jié)果細(xì)線化，生成圖6(b)的邊緣圖像。
下面參照圖7至圖9來說明該細(xì)線化處理。簡單地說，細(xì)線化部8根據(jù)該當(dāng)前像素的相鄰像素中的濾波處理結(jié)果的大小關(guān)系和邊緣矢量的方向，將濾波處理結(jié)果細(xì)線化。
首先，在開始細(xì)線化前，在濾波處理結(jié)果存儲部5中，存儲圖7(a)所示的濾波處理結(jié)果Y1(x，y)，在邊緣矢量存儲部4中，存儲邊緣矢量(Y1(x，y)、Y1y(x，y))。
此時，如圖7(a)所示，在當(dāng)前像素處于(x，y)坐標(biāo)時，設(shè)其坐標(biāo)的濾波處理結(jié)果為c，其坐標(biāo)的邊緣矢量的x分量Y1x(x，y)為h，其y分量Y1y(x，y)為v。
此外，在當(dāng)前像素的左、右、上及下中，設(shè)相鄰的像素的濾波處理結(jié)果分別為l、r、t、b。此時，有圖7(d)所示的幾何學(xué)的關(guān)系。
然后，在滿足圖9(a)或圖9(b)的某一個的條件情況下，在當(dāng)前像素(x，y)的邊緣圖像Y2(x，y)中設(shè)置c(為邊緣)，而在不滿足條件時，在該邊緣圖像Y2(x，y)中設(shè)置0(不是邊緣)。
由此，可以使圖6(a)的粗邊緣成為圖6(b)的尖銳的邊緣。
這里，圖9(a)的條件是邊緣矢量的方向與x軸形成的角θ在-45°≤θ≤45°或135°≤θ≤225°的范圍內(nèi)，并且1≤c、c≥r的關(guān)系成立。
此外，圖9(b)的條件是邊緣矢量的方向與x軸形成的角在45°≤θ≤135°或225°≤θ≤315°的范圍內(nèi)，并且t≤c、c≥b的關(guān)系成立。
再有，以上的數(shù)值只是一例，可以進(jìn)行各種變更。由此，可以僅提取濾波結(jié)果中存在的粗邊緣的起伏的山脊來進(jìn)行細(xì)線化。由此，在投票部10的投票前，可抑制噪聲，減少邊緣點(diǎn)數(shù)。
因此，細(xì)線化部8進(jìn)行圖8的處理。即，在步驟21中，將x方向的坐標(biāo)計數(shù)器i、y方向的坐標(biāo)計數(shù)器j初始化為1，代入圖7說明的值(步驟22)。
接著，細(xì)線化部8在步驟23～步驟26中，對于計數(shù)器(i，j)表示的坐標(biāo)，檢查是否滿足圖9(a)或圖9(b)的某一個條件。如果滿足條件，則在步驟27中，在與計數(shù)器(i，j)表示的坐標(biāo)有關(guān)的邊緣圖像中設(shè)置c，而如果不滿足條件，則在步驟28中設(shè)置0。
然后，在步驟29～步驟32中，使計數(shù)器i、j進(jìn)位，同時重復(fù)進(jìn)行步驟22以下的處理。
如果該重復(fù)處理結(jié)束，則細(xì)線化后的邊緣圖像被存儲在邊緣圖像存儲部6中。
下面，使用圖1、圖10、圖11來說明投票部10等。投票部10使用存儲在模板存儲部9中的模板T1、T2、…、Tn，在邊緣圖像存儲部6中存儲的邊緣圖像上進(jìn)行投票，生成投票結(jié)果。
這里，如圖10所示，將模板存儲部9中存儲的模板T1、T2、…、Tn、投票結(jié)果存儲部11中存儲的投票結(jié)果V1、V2、…、Vn以各自多個大小分別設(shè)定。
同樣，在圖1中，將提取結(jié)果存儲部14存儲的提取結(jié)果R1、R2、…、Rn以各自多個大小分別設(shè)定，對象物鑒定部15鑒定對象物的位置和大小。由此，不僅對象物的位置，而且可同時檢測其大小。
圖11(a)～(d)表示用于檢測臉部和眼部區(qū)域的合適的模板的例子。即，如圖11(a)所示的圓、圖11(b)所示的多角形、圖11(c)所示的橢圓，可使用閉合的線，如圖11(d)所示，也可以使用模擬頭部和肩部的敞口線。
如上所述，模板即使是圓、寬度1以上的圓環(huán)、除此以外的橢圓、正六角形等多角形也無妨礙。圓從模板中心至所有形狀的像素的距離始終一定，所以投票結(jié)果的精度高。多角形沒有圓的精度，但形狀簡單，處理負(fù)擔(dān)輕，可以提高處理速度。
然后，投票部10在邊緣圖像存儲部6的邊緣圖像中如圖11(e)例示的那樣，在模板的中心存在于邊緣上時，在投票結(jié)果存儲部11的對應(yīng)大小的投票面上進(jìn)行投票(加入固定值)。
在增加投票數(shù)的處理中，即使單調(diào)地減少也沒有妨礙。在本例中，初始值為零，在每次投票中，對應(yīng)形狀的分量每次增加一個。此外，在本例中，使用了半投票，但也可以使用類似的投票技術(shù)。
對與圖16(a)相同的圖像，進(jìn)行本形態(tài)的細(xì)線化后，如圖12(a)所示。對該圖像進(jìn)行投票時，如圖12(b)所示。
對于使用茹貝爾濾波(Zobel filter)的圖16(a)來說，在圖12(a)中，由于噪聲少，所以如圖12(b)所示，不進(jìn)行圖16(b)中的模板t4、t5那樣的多余的投票，沒有多余的運(yùn)算處理。也不會進(jìn)行多余的投票來彌補(bǔ)真實(shí)的臉部位置的投票值，產(chǎn)生判別偏差。在運(yùn)算處理量和速度方面、判別的容易度這樣的精度方面，在這兩方面上，本形態(tài)的圖12(a)的結(jié)果與圖16(a)的結(jié)果相比，實(shí)現(xiàn)了運(yùn)算處理量的削減和檢測精度的提高。
下面，使用圖1、圖13～圖15來說明極大點(diǎn)提取部13等。該極大點(diǎn)提取部13提取存儲在投票結(jié)果存儲部11中的投票結(jié)果的極大點(diǎn)并生成提取結(jié)果。
極大點(diǎn)提取部13求中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分，使用環(huán)形濾波來生成提取結(jié)果，從投票結(jié)果中檢測局部極大并且孤立的投票點(diǎn)。
圖13(a)～(c)例示的環(huán)形濾波被存儲在圖1所示的環(huán)形濾波存儲部12中。
如圖14(a)所示，極大點(diǎn)提取部13在投票結(jié)果存儲部11的各投票面V1、V2、…、Vn上對該環(huán)形濾波進(jìn)行掃描，將環(huán)形濾波的評價值Val存儲在對應(yīng)的提取結(jié)果存儲部14的提取面R1、R2、…、Rn中。
接著，使用圖13來說明環(huán)形濾波的實(shí)例。圖13(a)的環(huán)形濾波的大小為3×3，其評價值Val在投票面與濾波重合時，從中心像素的投票值A(chǔ)中減去4個周邊像素B1、B2、B3、B4中最大的投票值。如圖13(b)所示，環(huán)形濾波的評價值Val在投票面與濾波重合時，也可以從中心像素的投票值A(chǔ)中減去8個周邊像素B1～B8中最大的投票值。
而且，如圖13(c)所示，也可以形成3×3以上的大小。
通過使用這樣的環(huán)形濾波，在獲得圖15(a)這樣的投票值分布的情況下，如圖15(a)左側(cè)的陡峭的山峰所示，中心像素A的投票值局部極大、并且是孤立的投票值的原因在于評價值R為大值。
相反，如圖15(a)右側(cè)的山峰所示，即使投票值大，但在不是表示周圍同樣大的值的孤立的點(diǎn)上，評價值R變低。
而且，如圖15(b)的山脊所示，在投票值的高處橫向延伸的情況下，評價值R變低。
如果使用本形態(tài)的極大點(diǎn)提取部13，則在看不見投票面的起伏的投票值的簡單固定閾值中可以捕捉不能檢測的急劇變化，適合臉部區(qū)域侯選和眼部區(qū)域侯選的壓縮。
此外，在圖1中，對象物鑒定部15根據(jù)存儲在提取結(jié)果存儲部14中的提取結(jié)果(各提取面)，來鑒定對象物的位置和大小。
具體地說，對象物鑒定部15在各提取面的評價值R中具有最大評價值的提取面上的坐標(biāo)作為對象物的位置，將與該面有關(guān)的模板的大小作為對象物的大小(例如，用半徑來表現(xiàn))。
這里，就本說明書中所謂的‘記錄計算機(jī)可讀取的程序的記錄媒體，來說，包含將程序分散分配在多個記錄媒體中的情況。還包含以下情況在該程序無論是否為操作系統(tǒng)的一部分，在各種處理或線索(DLL、COX、ActiveX等(包含微軟公司的商標(biāo)))中接替一部分功能的情況下，被接替的功能部分不存儲在記錄媒體中。
在圖1中，例示了獨(dú)立操作形式的系統(tǒng)，但服務(wù)器/客戶機(jī)形式也可以。即，僅在一個終端機(jī)上，除了包含本說明書中出現(xiàn)的所有要素的情況以外，一個終端機(jī)是客戶機(jī)，在可連接該客戶機(jī)的服務(wù)器或網(wǎng)絡(luò)上，即使實(shí)際存在全部或一部分要素，也不產(chǎn)生妨礙。
而且，在服務(wù)器端具有圖1的大部分的要素，在客戶機(jī)端例如僅形成WWW瀏覽器就可以。這種情況下，各種信息通常在服務(wù)器上，基本上經(jīng)由網(wǎng)絡(luò)分配給客戶機(jī)，但必要的信息在服務(wù)器上某段時間時，該服務(wù)器的存儲裝置成為所謂的‘記錄媒體’，在該信息在客戶機(jī)上某段時間時，該客戶機(jī)的存儲裝置成為所謂的‘記錄媒體’。
而且，在該‘程序’中，除了編譯成機(jī)器代碼的應(yīng)用程序以外，還將由上述處理或線索(スレッド)解釋的中間代碼實(shí)際存在的情況、至少資源和源代碼存儲在‘記錄媒體’上，包含由此可以生成機(jī)器代碼的應(yīng)用程序的編譯程序及連接程序在‘記錄媒體’中的情況，以及由此可以生成中間代碼的應(yīng)用程序的解釋程序在‘記錄媒體’中的情況等。
在本形態(tài)中，有以下效果。
在進(jìn)行投票前，抑制噪聲，減少邊緣點(diǎn)，所以可以用當(dāng)前的個人計算機(jī)等級的處理能力來高速執(zhí)行，可實(shí)時進(jìn)行執(zhí)行。
在邊緣檢測中不是使用幀差分，而是使用靜止畫邊緣檢測，從而在攝象機(jī)是非固定系統(tǒng)、并且人物不大移動的情況下，在背景移動的情況等的幀間差分上穩(wěn)定而不能檢測邊緣的情況下，可以穩(wěn)定檢測人物。
通過邊緣提取部來除去微細(xì)的邊緣，形成凹凸劇烈的邊緣而變?yōu)楹唵蔚倪吘?，所以邊緣點(diǎn)數(shù)目下降，投票的前處理良好。
不僅提高投票值，而且可以僅檢測急劇升高的部分，適合臉部和眼部的檢測。
權(quán)利要求
1.一種圖像處理裝置，包括邊緣提取部，輸入圖像并生成邊緣圖像；投票部，使用模板生成在邊緣圖像上進(jìn)行投票的投票結(jié)果；極大點(diǎn)提取部，提取投票結(jié)果中的極大點(diǎn)來生成提取結(jié)果；以及對象物鑒定部，根據(jù)提取結(jié)果來鑒定對象物的位置。
2.如權(quán)利要求1所述的圖像處理裝置，其中，所述邊緣提取部包括使用集中進(jìn)行除去圖像中的噪聲和提取邊緣的濾波的濾波處理部。
3.如權(quán)利要求2所述的圖像處理裝置，其中，所述邊緣提取部包括將所述濾波處理部的濾波處理結(jié)果細(xì)線化的細(xì)線化部。
4.如權(quán)利要求2所述的圖像處理裝置，其中，所述濾波是將高斯濾波和單位矢量相乘的濾波。
5.如權(quán)利要求2所述的圖像處理裝置，其中，所述濾波處理部除了使用對于xy方向的濾波獲得濾波處理結(jié)果以外，還輸出xy平面內(nèi)的邊緣矢量。
6.如權(quán)利要求3所述的圖像處理裝置，其中，所述細(xì)線化部根據(jù)當(dāng)前像素和該當(dāng)前像素的相鄰像素中的濾波處理結(jié)果的大小關(guān)系、以及邊緣矢量的方向來對濾波處理結(jié)果進(jìn)行細(xì)線化。
7.如權(quán)利要求1所述的圖像處理裝置，其中，所述極大點(diǎn)提取部根據(jù)中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分來生成提取結(jié)果。
8.如權(quán)利要求7所述的圖像處理裝置，其中，所述極大點(diǎn)提取部求中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分，使用環(huán)形濾波來生成提取結(jié)果。
9.如權(quán)利要求1所述的圖像處理裝置，其中，所述模板、所述投票結(jié)果及所述提取結(jié)果以各自多個大小來分別設(shè)定，所述對象物鑒定部鑒定對象物的位置及大小。
10.如權(quán)利要求1所述的圖像處理裝置，其中，所述對象物是人的臉部或人的眼部區(qū)域的其中一個區(qū)域。
11.一種圖像處理方法，包括邊緣提取步驟，輸入圖像并生成邊緣圖像；投票步驟，使用模板生成在邊緣圖像上進(jìn)行投票的投票結(jié)果；極大點(diǎn)提取步驟，提取投票結(jié)果中的極大點(diǎn)來生成提取結(jié)果；以及對象物鑒定步驟，根據(jù)提取結(jié)果來鑒定對象物的位置。
12.如權(quán)利要求11所述的圖像處理方法，其中，所述邊緣提取步驟包含使用集中進(jìn)行除去圖像中的噪聲和提取邊緣的濾波的濾波處理步驟。
13.如權(quán)利要求12所述的圖像處理方法，其中，所述邊緣提取步驟包含將所述濾波處理步驟的濾波處理結(jié)果細(xì)線化的細(xì)線化步驟。
14.如權(quán)利要求12所述的圖像處理方法，其中，所述濾波是將高斯濾波和單位矢量相乘的濾波。
15.如權(quán)利要求12所述的圖像處理方法，其中，在所述濾波處理步驟中，所述濾波處理部除了使用對于xy方向的濾波獲得濾波處理結(jié)果以外，還輸出xy平面內(nèi)的邊緣矢量。
16.如權(quán)利要求13所述的圖像處理方法，其中，在所述細(xì)線化步驟中，根據(jù)當(dāng)前像素和該當(dāng)前像素的相鄰像素中的濾波處理結(jié)果的大小關(guān)系、以及邊緣矢量的方向來對濾波處理結(jié)果進(jìn)行細(xì)線化。
17.如權(quán)利要求11所述的圖像處理方法，其中，在所述極大點(diǎn)提取步驟中，根據(jù)中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分來生成提取結(jié)果。
18.如權(quán)利要求17所述的圖像處理方法，其中，在所述極大點(diǎn)提取步驟中，求中心像素的投票結(jié)果和該中心像素的周圍像素的投票結(jié)果的差分，使用環(huán)形濾波來生成提取結(jié)果。
19.如權(quán)利要求11所述的圖像處理方法，其中，所述模板、所述投票結(jié)果及所述提取結(jié)果以各自多個大小來分別設(shè)定，在所述對象物鑒定步驟中，鑒定對象物的位置及大小。
20.如權(quán)利要求11所述的圖像處理方法，其中，所述對象物是人的臉部或人的眼部區(qū)域的其中一個區(qū)域。
21.一種記錄媒體，用于記錄可計算機(jī)讀取的圖像處理程序，該程序包括邊緣提取步驟，輸入圖像并生成邊緣圖像；投票步驟，使用模板生成在邊緣圖像上進(jìn)行投票的投票結(jié)果；極大點(diǎn)提取步驟，提取投票結(jié)果中的極大點(diǎn)來生成提取結(jié)果；以及對象物鑒定步驟，根據(jù)提取結(jié)果來鑒定對象物的位置。
全文摘要
一種圖像處理裝置，包括邊緣提取部(2)，輸入圖像并生成邊緣圖像；投票部(10)，使用模板生成在邊緣圖像上進(jìn)行投票的投票結(jié)果；極大點(diǎn)提取部(13)提取投票結(jié)果中的極大點(diǎn)來生成提取結(jié)果；以及對象物鑒定部(15)，根據(jù)提取結(jié)果來鑒定對象物的位置。邊緣提取部包括濾波處理部(7)使用集中進(jìn)行圖像中的噪聲除去和邊緣提取的濾波。
文檔編號G06K9/00GK1409267SQ0214328
公開日2003年4月9日 申請日期2002年9月25日 優(yōu)先權(quán)日2001年9月27日
發(fā)明者巖佐克博, 松尾英明, 高田雄二, 今川和幸, 福宮英二 申請人:松下電器產(chǎn)業(yè)株式會社