專利名稱：基于結(jié)構(gòu)光的人臉定位的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉定位的方法，尤其是視頻裝置使用的基于結(jié)構(gòu)光的人臉定位的方法。
背景技術(shù)：
人臉識(shí)別的研究已經(jīng)有很長的歷史，最早的研究工作是在上個(gè)世紀(jì)由法國人Galton開展的，但真正有發(fā)展還是在最近的30年。人臉識(shí)別的輸入圖像通常有3種情況正面，側(cè)面，斜面。1973年Kanade的工作起至今，大多數(shù)人臉識(shí)別研究工作的對(duì)象為正面或接近正面的人臉圖像。
人臉圖像識(shí)別是一項(xiàng)有著重要的理論研究價(jià)值和應(yīng)用價(jià)值，極具挑戰(zhàn)性的課題，而人臉定位是人臉圖像識(shí)別的前提。人臉定位是指在一幅圖像中檢查是否含有人臉，如果有，則需要進(jìn)一步確定人臉的位置和大小，進(jìn)而用一個(gè)矩形框標(biāo)識(shí)出人臉的區(qū)域。它的潛在應(yīng)用包括機(jī)器人視覺、安全檢查、空間探測、刑事偵查、遠(yuǎn)程視頻會(huì)議、人工智能等許多方面。
目前國內(nèi)外研究用于人臉定位的方法層出不窮，概括起來大致有三種基于特征、基于統(tǒng)計(jì)和基于模板的人臉檢測算法。
基于特征的人臉檢測方法是利用人臉的先驗(yàn)知識(shí)導(dǎo)出的規(guī)則來進(jìn)行人臉檢測的。我們就可以利用這些描述人臉局部分布的規(guī)則來進(jìn)行人臉的檢測，當(dāng)滿足這些規(guī)則的圖像區(qū)域找到后，則認(rèn)為一幅人臉已經(jīng)被檢測出來，然后可以對(duì)候選的人臉區(qū)域進(jìn)行進(jìn)一步的論證，以確定候選區(qū)域是否是人臉。
基于統(tǒng)計(jì)的人臉檢測方法不是針對(duì)人臉的某一特征，它是從整個(gè)人臉的角度出發(fā)，利用統(tǒng)計(jì)的原理，從上千上萬張人臉圖像中提取出人臉共有的一些規(guī)律，利用這些規(guī)律來進(jìn)行人臉的檢測。由于人臉圖像的復(fù)雜性，描述人臉特征具有一定的困難，因此基于統(tǒng)計(jì)的方法越來越受到重視。此類方法將人臉區(qū)域看作一類模式，使用大量的人臉與非人臉樣本，構(gòu)造并訓(xùn)練分類器，通過判別圖像中所有可能區(qū)域?qū)儆谀念惸Ｊ降姆椒?。從而?shí)現(xiàn)人臉的檢測。
基于模板匹配的人臉檢測方法首先建立一個(gè)標(biāo)準(zhǔn)的人臉模板。由包含局部人臉特征的子模板構(gòu)成，然后對(duì)一幅輸入圖像進(jìn)行全局搜索，對(duì)應(yīng)不同尺度大小的圖像窗口，計(jì)算與標(biāo)準(zhǔn)人臉模板中不同部分的相關(guān)系數(shù)，通過頂先設(shè)置的閾值來判斷該窗口中是否包含人臉。
現(xiàn)有技術(shù)基于結(jié)構(gòu)光的人臉檢測。結(jié)構(gòu)光屬于主動(dòng)光照射，所謂結(jié)構(gòu)光是指由一定圖案的光束投射于被探測的目標(biāo)表面，凹凸的目標(biāo)表面上光線發(fā)生彎曲。目前未見有關(guān)于利用結(jié)構(gòu)光對(duì)人臉定位的方法的報(bào)導(dǎo)。

發(fā)明內(nèi)容
本發(fā)明目的是提出一種基于主動(dòng)照射式的人臉中心定位方法。該方法采用結(jié)構(gòu)光照射的方法，分析人臉的幾何結(jié)構(gòu)，快速而有效的將人臉和背景干擾物體區(qū)分，從而實(shí)現(xiàn)復(fù)雜背景條件下的單個(gè)人臉的定位。
本發(fā)明的技術(shù)解決方案如下基于結(jié)構(gòu)光的人臉定位方法，利用結(jié)構(gòu)光產(chǎn)生裝置對(duì)人臉主動(dòng)投射，用圖像攝取裝置對(duì)結(jié)構(gòu)光條紋提?。唤Y(jié)構(gòu)光是水平(或垂直)投射于人臉的相對(duì)凹凸的表面上光線將發(fā)生彎曲；由于人臉的幾何面型的獨(dú)特結(jié)構(gòu)，畸變結(jié)構(gòu)光條紋隨人臉的特征而產(chǎn)生很明顯的對(duì)稱性彎曲。通過對(duì)畸變結(jié)構(gòu)光特征的提取，即可計(jì)算出人臉的垂直對(duì)稱中心位置和臉部的大致區(qū)域。
采用數(shù)字圖像處理的手段，對(duì)圖像攝取裝置獲得的圖像進(jìn)行分析，從中找出具有人臉特征的區(qū)域，并進(jìn)一步確定人臉的對(duì)稱中心位置。其過程如圖1所示，主要包括如下方面1、對(duì)圖像進(jìn)行預(yù)處理。包括圖像信號(hào)的濾波，條紋的提取等等。對(duì)圖像的濾波可以采用平均濾波等方法，條紋的提取可以采用閾值提取、微分提取等方法，也可以采用對(duì)圖像矩陣進(jìn)行卷積，細(xì)化原始圖像，通過選擇適當(dāng)?shù)拈撝堤崛〗Y(jié)構(gòu)光條紋；如圖2。
2、對(duì)圖像信號(hào)的特征提取。結(jié)構(gòu)光在人臉上形成的特定圖案，描述了人臉在圖像中的區(qū)域，通過對(duì)圖像各區(qū)域的特征分析，確定人臉的位置。
人臉特征(即結(jié)構(gòu)光在人臉上形成的特定圖案)的描述可以有多種方式，例如利用主元素分析(PCA)、概率主元素分析(PPCA)、灰度垂直積分投影、形態(tài)特征描述等方法。
以垂直積分投影函數(shù)分析方法為例將圖像的灰度值沿垂直方向積分(相加)，得到反應(yīng)人臉特征的垂直投影函數(shù)，如圖3。從垂直投影函數(shù)的尖峰位置初涉確定人臉位置。與其他條紋相比，人臉部條紋的垂直投影函數(shù)中央或其附近存在明顯向下(或垂直光時(shí)的彎曲)彎曲，垂直投影函數(shù)最低點(diǎn)即為人臉中心位置。根據(jù)人臉對(duì)稱中心的結(jié)構(gòu)特征，從區(qū)域積分投影的最低點(diǎn)坐標(biāo)值可以確定人臉中心位置。如圖4。
本發(fā)明的改進(jìn)是與現(xiàn)有人臉定位方法與裝置相比，本發(fā)明利用結(jié)構(gòu)光描繪人臉的特征，加快了人臉位置的搜索速度。在對(duì)圖像進(jìn)行處理方面，借助數(shù)字和光學(xué)兩種濾波方式，提高圖像的背景噪聲。在圖像攝取裝置的成像鏡頭上安置了帶通濾光片，帶通濾光片的中心頻率與結(jié)構(gòu)光光源的中心頻率相等或相近。結(jié)構(gòu)光條紋提取前先對(duì)攝取的圖像進(jìn)行濾波處理；如采用3*3的濾波窗口去除椒鹽噪聲。
本發(fā)明的特點(diǎn)是利用結(jié)構(gòu)光投影，照射被探測目標(biāo)，利用結(jié)構(gòu)光的畸變條紋來描繪被探測目標(biāo)的特征。由于結(jié)構(gòu)光以最少的數(shù)據(jù)量描繪目標(biāo)的主要特征，從而避免了大量的匹配計(jì)算量，提高了人臉定位速度，增強(qiáng)了抗干擾能力。


圖1是本發(fā)明方法的流程2是本發(fā)明的垂直積分投影圖3是本發(fā)明顯示了圖2垂直積分投影的效果，共有5個(gè)尖峰圖4是本發(fā)明用于是立體顯示屏幕的結(jié)構(gòu)示意5是本發(fā)明用于是立體顯示屏幕的實(shí)施例結(jié)構(gòu)示意具體實(shí)施方式
圖1主動(dòng)照射式人臉定位算法流程圖如下所示本發(fā)明的流程中，從攝取或輸入圖像后進(jìn)行處理，具體如下述如圖4所示，為應(yīng)用于立體顯示器的人臉位置探測與跟蹤裝置。屏幕的下部采用結(jié)構(gòu)光產(chǎn)生裝置，屏幕上部采用攝像頭作為圖像輸入裝置。人臉到屏幕的距離一般在30厘米到60厘米之間，在觀看屏幕時(shí)，一般不會(huì)低于屏幕的下邊沿，不高于上邊沿30度長角的范圍。
以17寸的立體顯示器為例，各部件之間的相對(duì)布置尺寸如圖5所示。17寸的液晶板，長338毫米，寬268毫米。加上四周的邊框長約420毫米，寬約389毫米。在觀看屏幕時(shí)，人的眼睛習(xí)慣上會(huì)位于屏幕的正前方靠上的位置上，雖然會(huì)經(jīng)常上下或左右的移動(dòng)，但一般不會(huì)超過一定的范圍，這也就決定了結(jié)構(gòu)光的照射范圍人臉到屏幕的距離一般在30厘米到80厘米之間，在觀看屏幕時(shí)，一般不會(huì)低于屏幕的下邊沿，不高于上邊沿30度長角的范圍，如圖5所示。
輸入的圖像一般都存在不同程度的噪聲，如椒鹽噪聲等等，而這些噪聲對(duì)人臉中心定位以及特征的提取都有很大的影響，甚至中心定位的偏差。所以應(yīng)當(dāng)在人臉中心定位之前對(duì)輸入的圖像進(jìn)行去噪聲處理，從而提高人臉中心定位的準(zhǔn)確度。在本發(fā)明采用3*3的濾波窗口去除椒鹽噪聲。經(jīng)過濾波處理之后，人臉圖像中的大部分噪聲被消除了。
以復(fù)雜背景為例，濾波處理過后，進(jìn)行結(jié)構(gòu)光條紋提取。因?yàn)榻Y(jié)構(gòu)光是水平投射并且鑒于人臉的相對(duì)平面性，照在凹凸的物體上光線將發(fā)生彎曲。用一維卷積因子對(duì)圖形矩陣的列的方向進(jìn)行卷積，這樣初始條紋得到細(xì)化，并且初始條紋中心象素點(diǎn)的灰度值得到提高，邊緣象素點(diǎn)的灰度值則相對(duì)降低，最后選擇適當(dāng)?shù)拈撝堤崛l紋，適當(dāng)?shù)拈撝抵缚梢杂行^(qū)分條紋和非條紋的像素灰度值?？梢圆捎米赃m應(yīng)方法選取灰度閾值，例如根據(jù)灰度直方圖確定閾值，或依據(jù)概率統(tǒng)計(jì)的定量計(jì)算得到閾值。不同的方式、不同的圖像會(huì)有不同的閾值，一般，閾值的取值范圍在60～200。提取的效果如圖2所示。圖2的輸入的復(fù)雜背景圖像是人臉(左)、杯子(中)、水桶(右)。
如根據(jù)垂直積分投影公式，我們可以得到圖2的垂直積分投影。圖3顯示了圖2垂直積分投影的效果，共有5個(gè)尖峰。根據(jù)人臉占圖像總尺寸的比例可以將水平寬度不屬于人臉觀測范圍的尖峰視為偽峰(如圖3中的手、衣袖)去除。而1、2、5三個(gè)尖峰的水平寬度在人臉圖像尺寸的范圍內(nèi)，作為人臉位置的候選尖峰。
人臉特征描述的方法還有主成分分析(PCA)、概率主成分分析(PPCA)、形態(tài)特征描述、ADABOOST等，這些方法的目的都是通過訓(xùn)練抽取特征參數(shù)描述人臉的特征。主成分分析通過對(duì)人臉樣本的分析，得出描述結(jié)構(gòu)光照明的人臉圖像特征的主要特征向量，以盡可能少的參數(shù)描述人臉特征，降低特征參量的維數(shù)。概率主成分分析具有與主成分分析相近的算法，與主成分分析(PCA)相比。概率主成分分析克服了簡單的″丟棄″其他非主成分因子，在PPCA中將″丟棄″因子作為噪聲成分進(jìn)行估計(jì)，同時(shí)PPCA方法是一種基于概率模型的方法。因此很容易延伸為混合模型。形態(tài)特征描述則是利用紋理的形態(tài)分析，描述結(jié)構(gòu)光照明的人臉圖像紋理特征。ADABOOST算法通過將多個(gè)若分類器組合成一個(gè)強(qiáng)的分類器，得到判斷結(jié)構(gòu)光照明的人臉中某些特征的分類器。
人臉上的結(jié)構(gòu)光條紋由于鼻子凸出的特征而產(chǎn)生很明顯的躍變，表現(xiàn)為鼻子上的條紋與其他條紋相比明顯向下彎曲，呈現(xiàn)為弧的形狀?；谏厦嫠岬降娜四樕媳亲犹幍慕Y(jié)構(gòu)光條紋的躍變，進(jìn)而與其他干擾物體區(qū)分開來。具體實(shí)施方法如下垂直方向上積分投影找出垂直積分投影的最低點(diǎn)，并根據(jù)人臉對(duì)稱中心的結(jié)構(gòu)特征，從區(qū)域積分投影的最低點(diǎn)坐標(biāo)值確定人臉中心位置。
本發(fā)明在圖像攝取裝置的成像鏡頭上安置了帶通濾光片，帶通濾光片的中心頻率與結(jié)構(gòu)光光源的中心頻率相等或相近。
權(quán)利要求
1.基于結(jié)構(gòu)光的人臉定位方法，其特征是視頻裝置中利用結(jié)構(gòu)光產(chǎn)生裝置對(duì)人臉主動(dòng)投射，用視頻裝置中的圖像攝取裝置對(duì)結(jié)構(gòu)光條紋提取；結(jié)構(gòu)光是水平(或垂直)投射手人臉的相對(duì)凹凸的表面上光線將發(fā)生彎曲；根據(jù)結(jié)構(gòu)光在人臉上形成的特定圖案即人臉對(duì)稱中心的結(jié)構(gòu)特征，確定人臉中心位置。
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)光的人臉定位方法，其特征是確定人臉中心位置的方式采用主元素分析(PCA)、概率主元素分析(PPCA)、灰度垂直積分投影或形態(tài)特征描述法。
3.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)光的人臉定位方法，其特征是灰度垂直積分投影用一維卷積因子對(duì)圖形矩陣的列的方向進(jìn)行卷積，初始條紋得到細(xì)化，選擇適當(dāng)?shù)拈撝堤崛l紋； 基于垂直積分投影的人臉預(yù)定位根據(jù)垂直積分投影公式，得到反應(yīng)人臉特征是垂直積分投影，并在圖像攝取人臉觀測范圍的尖峰完成基于垂直積分投影的人臉預(yù)定位；精確定位人臉上的結(jié)構(gòu)光條紋根據(jù)人鼻明顯凸出的特征而產(chǎn)生很明顯的躍變，其條紋與其他條紋相比明顯向下(或垂直光時(shí)的彎曲)彎曲，在垂直方向上積分投影找出垂直積分投影的最低點(diǎn)，并根據(jù)人臉對(duì)稱中心的結(jié)構(gòu)特征，從區(qū)域積分投影的最低點(diǎn)坐標(biāo)值確定人臉中心位置。
4.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)光的人臉定位方法，其特征是在結(jié)構(gòu)光條紋提取前先對(duì)攝取的圖像進(jìn)行濾波處理；采用3*3的濾波窗口去除椒鹽噪聲。
5.根據(jù)權(quán)利要求3所述的基于結(jié)構(gòu)光的人臉定位方法，其特征是視頻裝置采用立體屏幕，屏幕的下部采用結(jié)構(gòu)光產(chǎn)生裝置，屏幕上部采用攝像頭作為圖像輸入裝置。
6.根據(jù)權(quán)利要求1或2所述的基于結(jié)構(gòu)光的人臉定位方法，其特征是在圖像攝取裝置的成像鏡頭上安置了帶通濾光片，帶通濾光片的中心頻率與結(jié)構(gòu)光光源的中心頻率相等或相近。
全文摘要
基于結(jié)構(gòu)光的人臉定位方法，視頻裝置中利用結(jié)構(gòu)光產(chǎn)生裝置對(duì)人臉主動(dòng)投射，用視頻裝置中的圖像攝取裝置對(duì)結(jié)構(gòu)光條紋提??；結(jié)構(gòu)光是水平(或垂直)投射于人臉的相對(duì)凹凸的表面上光線將發(fā)生彎曲；根據(jù)結(jié)構(gòu)光在人臉上形成的特定圖案即人臉對(duì)稱中心的結(jié)構(gòu)特征，確定人臉中心位置。確定人臉中心位置的方式采用主元素分析(PCA)、概率主元素分析(PPCA)、灰度垂直積分投影或形態(tài)特征描述法。用結(jié)構(gòu)光條紋提取前先對(duì)攝取的圖像進(jìn)行濾波處理；采用3*3的濾波窗口去除椒鹽噪聲。視頻裝置采用立體屏幕，屏幕的下部采用結(jié)構(gòu)光產(chǎn)生裝置，屏幕上部采用攝像頭作為圖像輸入裝置。
文檔編號(hào)G06K9/00GK1877599SQ200610085748
公開日2006年12月13日 申請(qǐng)日期2006年6月29日 優(yōu)先權(quán)日2006年6月29日
發(fā)明者王元慶 申請(qǐng)人:南京大學(xué)