向上下左右分離偏離了規(guī)定距離的地點的矩形區(qū) 域。搜索區(qū)域具有眼睛位于其中的蓋然性足夠高的形狀及大小，其形狀及大小能夠統(tǒng)計性 地決定。通過將基于后述的差分圖像的眼睛位置決定限定成在此決定的搜索區(qū)域來進行， 由此能夠減輕處理負荷，并且能夠降低基于眼睛以外的人臉器官的噪聲而提高眼睛位置的 檢測精度。
[0066] 另外，位置檢測部11除了鼻子位置以外，還可以使用神經(jīng)網(wǎng)絡法、AdaBoost法等 任意的人臉器官檢測方法來檢測眼睛位置，將眼睛位置及鼻子位置的周邊區(qū)域決定為搜索 區(qū)域。在此的眼睛位置僅僅是為了決定搜索區(qū)域而使用，所以希望眼睛位置的檢測方法是 精度并不高而處理負荷較小的方法。此情況下的搜索區(qū)域例如是包括以眼睛位置及鼻子位 置分別為基準向上下左右分別偏離了規(guī)定的距離的地點的矩形區(qū)域。位置檢測部11這樣 除了鼻子位置還將眼睛位置使用于搜索區(qū)域的決定，由此與僅使用鼻子位置決定搜索區(qū)域 的情況相比，能夠利用狹窄的搜索區(qū)域。為此，能夠進一步降低基于差分圖像的眼睛位置決 定的處理負荷，能夠降低基于眼睛以外的人臉器官的噪聲。另外，位置檢測部11也可以不 將搜索區(qū)域限定在鼻子位置的周邊區(qū)域，而將人臉整體作為搜索區(qū)域。
[0067]之后，位置檢測部11使用步驟S1中所取得的處理對象的幀及前一幀的圖像，作成 步驟S31中所決定的搜索區(qū)域的差分圖像（步驟S32)。具體而言，位置檢測部11在前一幀 的圖像中的搜索區(qū)域與處理對象的幀的圖像中的搜索區(qū)域之間，算出亮度成分的差分。由 此，作成例如圖8所示的搜索區(qū)域的差分圖像。
[0068]圖8是對本實施方式所涉及的眼睛位置檢測方法進行表示的示意圖。圖8A表示 駕駛員處于閉眼狀態(tài)的情況下的圖像中的搜索區(qū)域A。圖8B表示駕駛員處于睜眼狀態(tài)的 情況下的圖像中的搜索區(qū)域A。圖8C表示從圖8B的搜索區(qū)域A的亮度成分減去圖8A的 搜索區(qū)域A的亮度成分而作成的差分圖像。在差分圖像中，示出了亮度降低的區(qū)域（黑區(qū) 域B)、亮度上升的區(qū)域（白區(qū)域C)、及亮度幾乎不變化的區(qū)域。在由于眨眼而從閉眼狀態(tài) 轉(zhuǎn)移到睜眼狀態(tài)時，在差分圖像中與眼瞼對應的位置示出了較大的黑區(qū)域B。為此，位置檢 測部11將步驟S32中所作成的差分圖像中的大于規(guī)定的面積的黑區(qū)域B決定為眼睛位置， 并將該眼睛位置存儲在RAM6中（步驟S33)。眼睛位置是例如黑區(qū)域B的重心的坐標。另 夕卜，位置檢測部11在差分圖像中不存在大于規(guī)定的面積的黑區(qū)域B的情況下，判斷為在該 幀中未進行眨眼，不檢測眼睛位置。也可以為了進行眼睛位置檢測而使用從睜眼狀態(tài)向閉 眼狀態(tài)的轉(zhuǎn)移，在此情況下，能夠?qū)⒋笥谝?guī)定的面積的白區(qū)域C決定為眼睛位置。
[0069] 另外，圖8C表示示意性的差分圖像，但有時在實際的差分圖像中在眼睛以外的部 分也示出了多個黑區(qū)域B。在此情況下，位置檢測部11將具有最大的面積的黑區(qū)域推定為 眼睛。并且，在所推定出的左右眼大小的差異或間隔異常的、例如超出了規(guī)定的容許范圍的 情況下，位置檢測部11將下一個具有較大的面積的黑區(qū)域推定為眼睛。
[0070] 在本實施方式所涉及的眼睛位置檢測處理（步驟S3)中，通過差分圖像檢測由眨 眼引起的眼睛的變化。為此，能夠抑制將眉毛或眼鏡的框誤檢測為眼睛位置，能夠高精度地 推定眼睛位置。本實施方式中使用的眼睛位置的檢測方法并不限于此，也可以考慮檢測精 度和處理負荷而使用能夠從圖像確定鼻子位置的任意的人臉器官檢測方法。
[0071]幀的取得周期能夠檢測人的眨眼的長度，即在前一幀與處理對象的幀之間，閉眼 狀態(tài)與睜眼狀態(tài)切換的程度的長度。幀的取得周期的具體的數(shù)值能夠基于統(tǒng)計或?qū)嶒瀬頉Q 定，另外也可以是人臉檢測裝置1基于駕駛員的眨眼頻率來決定幀的取得周期。
[0072] 圖9是對本實施方式所涉及的初始狀態(tài)決定處理（步驟S5)的詳細的流程進行 表示的圖。在初始狀態(tài)決定處理中，初始狀態(tài)決定部12從RAM6中取得步驟S2及步驟S3 中所檢測到的眼睛位置及鼻子位置，基于該眼睛位置及該鼻子位置而決定人臉位置（步驟 S51)。人臉位置包括處理對象的幀的圖像中的平面方向的人臉的位置及進深方向的人臉的 位置。初始狀態(tài)決定部12將步驟S2中所檢測到的鼻子位置決定為人臉的平面方向的位置。 人臉的平面方向的位置用于將模型移動到圖像中的人臉的位置。另外，初始狀態(tài)決定部12 根據(jù)步驟S3中所檢測到的眼睛位置算出左右眼間的距離，并算出該眼間的距離與預先統(tǒng) 計性地取得的標準的人臉中的眼間的平均距離之比，由此決定人臉的進深方向的位置。人 臉的進深方向的位置對應于圖像中的人臉的大小，因此用于將模型放大或縮小。人臉位置 的決定方法并不限于此處所示的具體的方法，也可以是使用圖像或從該圖像檢測到的眼睛 位置、鼻子位置而能夠決定該圖像中的人臉位置的任意的方法。
[0073] 接下來，初始狀態(tài)決定部12從RAM6中取得步驟S2及步驟S3中所檢測到的眼睛 位置及鼻子位置，基于該眼睛位置及該鼻子位置而決定人臉角度（步驟S52)。圖10是對人 臉角度的定義進行表示的示意圖。圖10在圖像中的人臉中重疊示出了 x軸、y軸及z軸。 x軸、y軸及z軸的位置能夠基于步驟S51中所決定的人臉位置而決定。具體而言，x軸及y 軸穿過圖像中的人臉的重心并且互相垂直的包括該圖像的平面上的直線，z軸是穿過該重 心的該圖像的法線。人臉角度包括表示與x軸有關(guān)的旋轉(zhuǎn)角度的0x，表示與y軸有關(guān)的旋 轉(zhuǎn)角度的偏轉(zhuǎn)角度0y，表示與z軸有關(guān)的旋轉(zhuǎn)角度的側(cè)滾角度0z。
[0074] 圖11A是對傾斜角度0 x的算出方法進行表示的示意圖。設左右的眼睛位置E1、 E2之間的距離為dw，設鼻子位置N與將左右的眼睛位置E1、E2相連的直線的距離為dh。另 夕卜，將預先統(tǒng)計性地取得的標準的人臉中的dw及dh分別設為dwO、dhO。在設R0 = dwO/ dhO時，傾斜角度0 x以以下的式（1)表示。
[0075] [0047] L/1N丄I厶* O/V
[0076]
【主權(quán)項】
1. 一種人臉檢測裝置，用于根據(jù)拍攝部拍攝的包括人臉的圖像進行人臉檢測，其特征 在于，包括： 位置檢測部，從所述圖像中檢測所述人臉的人臉器官的位置， 初始狀態(tài)決定部，基于所述人臉器官的所述位置，來決定模型的初始狀態(tài)， 模型擬合部，使用所述模型的初始狀態(tài)，基于所述圖像而生成所述人臉的模型。
2. 如權(quán)利要求1所述的人臉檢測裝置，其特征在于， 所述人臉器官包括眼睛， 所述位置檢測部，在某一峽的來自所述拍攝部的圖像與前一峽的來自所述拍攝部的圖 像之間作成差分圖像，并基于所述差分圖像來檢測所述眼睛的位置。
3. 如權(quán)利要求2所述的人臉檢測裝置，其特征在于， 所述人臉器官還包括鼻子， 所述位置檢測部，基于由所述位置檢測部檢測出的所述鼻子的位置來決定搜索區(qū)域， 并在所述搜索區(qū)域內(nèi)作成所述差分圖像。
4. 如權(quán)利要求2所述的人臉檢測裝置，其特征在于， 所述位置檢測部，根據(jù)所述差分圖像，檢測因眨眼引起的眼睛的變化，在發(fā)生了該變化 時，所述初始狀態(tài)決定部決定模型的初始狀態(tài)。
5. 如權(quán)利要求1所述的人臉檢測裝置，其特征在于， 所述初始狀態(tài)決定部，根據(jù)所述人臉器官的所述位置，決定所述模型的初始狀態(tài)的人 臉位置。
6. 如權(quán)利要求1所述的人臉檢測裝置，其特征在于， 所述初始狀態(tài)決定部，將檢測到的鼻子位置決定為人臉的平面方向的位置，并使用人 臉的平面方向的位置，將模型移動到圖像中的人臉的位置，從而決定模型的初始狀態(tài)。
7. 如權(quán)利要求1所述的人臉檢測裝置，其特征在于， 所述初始狀態(tài)決定部，根據(jù)所述人臉器官的所述位置來算出所述人臉的角度，并基于 所述人臉的所述角度來決定所述模型的初始狀態(tài)。
8. 如權(quán)利要求1所述的人臉檢測裝置，其特征在于， 初始狀態(tài)決定部，根據(jù)檢測出的眼睛位置來算出左右眼間的距離，并算出該眼間的距 離與預先統(tǒng)計性地取得的標準的人臉中的眼間的平均距離之比，從而決定人臉的進深方向 的位置，并使用人臉的進深方向的位置將模型放大或縮小，從而決定模型的初始狀態(tài)。
【專利摘要】提供能夠提高人臉的模型的精度的人臉檢測裝置、方法。本發(fā)明的一個實施方式所涉及的人臉檢測裝置(1)具備：拍攝部(2)，拍攝出包括人臉的圖像；位置檢測部(11)，從圖像中檢測人臉器官的位置；初始狀態(tài)決定部(12)，基于人臉器官的位置而決定模型的初始狀態(tài)；以及模型擬合部(13)，使用模型的初始狀態(tài)，基于圖像而生成人臉的模型。初始狀態(tài)決定部使用由位置檢測部所取得的眼睛位置及鼻子位置來決定人臉位置及人臉角度，并基于人臉位置及人臉角度而決定模型的初始狀態(tài)。
【IPC分類】G06K9-62, G06K9-00
【公開號】CN104573623
【申請?zhí)枴緾N201410528224
【發(fā)明人】加藤隆志, 大須賀晉, 小島真一
【申請人】愛信精機株式會社
【公開日】2015年4月29日
【申請日】2014年10月9日
【公告號】EP2860664A1, US20150098633