判定裝置及判定方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及一種判定裝置及判定方法。
【背景技術(shù)】
[0002]近年來，針對檢測拍攝到的靜態(tài)圖像或動(dòng)態(tài)圖像所包含的臉部的位置及朝向、目艮睛及嘴等五官的狀態(tài)的臉部檢測技術(shù)正在進(jìn)行開發(fā)。例如，在車輛中，能夠根據(jù)駕駛員的臉部檢測結(jié)果來進(jìn)行睜眼閉眼判定，檢知瞌睡駕駛等，進(jìn)行警報(bào)等規(guī)定的處理。
[0003]以往，為了檢知瞌睡駕駛等，除了檢知駕駛員的睜眼閉眼的狀態(tài)之外，還已知有一種根據(jù)車輛運(yùn)動(dòng)等駕駛行為來使用瞌睡駕駛等推定信息的技術(shù)(例如，參照專利文獻(xiàn)I)。另夕卜，還已知有一種利用從臉部檢測結(jié)果獲得的作為駕駛員的眼睛的上下眼瞼間距離的睜眼度和眼瞼形狀雙方來檢知駕駛員的睜眼閉眼狀態(tài)，從而檢知瞌睡駕駛等的技術(shù)(例如，參照專利文獻(xiàn)2)。
[0004]然而，由于還存在駕駛員朝向下方時(shí)作為眼睛的上下眼瞼間距離的睜眼度降低而導(dǎo)致睜眼閉眼判定錯(cuò)誤的情況，為了避免這種情況，公知有一種根據(jù)駕駛員的眼瞼的輪廓形狀判定駕駛員是否正目視下方來檢知駕駛員的睡意(例如，參照專利文獻(xiàn)3、4)。
[0005]專利文獻(xiàn)I:日本特開2008-165348號(hào)公報(bào)
[0006]專利文獻(xiàn)2:日本特開2004-192551號(hào)公報(bào)
[0007]專利文獻(xiàn)3:日本特開2008-171065號(hào)公報(bào)
[0008]專利文獻(xiàn)4:日本特開2008-167806號(hào)公報(bào)
[0009]然而，在現(xiàn)有技術(shù)中，也存在僅通過眼瞼形狀無法判定為目視下方的情況。另外，在現(xiàn)有技術(shù)中，二維圖像上的眼瞼的形狀隨著臉部與照相機(jī)間的相對的角度關(guān)系，外形發(fā)生變化。因此，在現(xiàn)有技術(shù)中，難以準(zhǔn)確地判定駕駛員的臉部及眼睛的狀態(tài)。
[0010]并且，在現(xiàn)有技術(shù)中，在檢知駕駛員的睜眼閉眼的狀態(tài)時(shí)外部干擾的影響較大，難以準(zhǔn)確地判定睜眼閉眼。另外，由于在二維圖像上進(jìn)行睜眼閉眼判定，所以二維圖像上的眼瞼的形狀隨著臉部與照相機(jī)間的相對角度關(guān)系，外形發(fā)生變化，難以進(jìn)行準(zhǔn)確的睜眼閉眼判定。

【發(fā)明內(nèi)容】

[0011 ]鑒于此，本發(fā)明的課題之一在于，提供一種能夠更準(zhǔn)確地判定駕駛員的臉部及眼睛的狀態(tài)的判定裝置及判定方法。
[0012]本發(fā)明的判定裝置具備:存儲(chǔ)部，其存儲(chǔ)三維臉部模型，該三維臉部模型登記有被試驗(yàn)者的三維臉部形狀、被試驗(yàn)者的眼睛的位置、以及上述眼睛的形狀的變化的狀態(tài)與形狀參數(shù)建立了對應(yīng)的變化信息;對照部，其將由拍攝裝置拍攝到的駕駛員的拍攝圖像與上述三維臉部形狀進(jìn)行對照，確定上述眼睛的位置;形狀參數(shù)判定部，使上述形狀參數(shù)變化，來確定上述拍攝圖像中的與上述眼睛的狀態(tài)對應(yīng)的形狀參數(shù);睜眼度計(jì)算部，其計(jì)算上述拍攝圖像中的對上述眼睛的睜眼的狀態(tài)進(jìn)行表示的睜眼度;判定部，其根據(jù)上述睜眼度和確定出的上述形狀參數(shù)，來判定上述駕駛員的臉部及眼睛的狀態(tài)。根據(jù)上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的臉部及眼睛的狀態(tài)。
[0013]另外，在本發(fā)明的判定裝置中，上述判定部根據(jù)上述睜眼度和確定出的上述形狀參數(shù)來判定上述駕駛員是否處于目視下方的狀態(tài)。根據(jù)上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的目視下方。
[0014]另外，在本發(fā)明的判定裝置中，上述三維臉部模型中的上述眼睛的形狀的變化的狀態(tài)表示從上述眼睛的標(biāo)準(zhǔn)狀態(tài)到上述被試驗(yàn)者的目視下方的狀態(tài)為止的變化，上述判定部在上述睜眼度為表示閉眼的范圍內(nèi)的情況下，判定確定出的上述形狀參數(shù)是否處于表示目視下方的范圍內(nèi)，在上述形狀參數(shù)是表示目視下方的范圍內(nèi)的情況下，判定為上述駕駛員處于目視下方狀態(tài)。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的目視下方。
[0015]另外，在本發(fā)明的判定裝置中，上述判定部在上述睜眼度是表示閉眼的范圍內(nèi)的情況且確定出的上述形狀參數(shù)為表示目視下方的范圍外的情況下，判定為上述駕駛員處于閉眼狀態(tài)。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的閉眼狀態(tài)。
[0016]另外，本發(fā)明的判定裝置還具備處理部，在判定為上述駕駛員處于閉眼狀態(tài)的情況和判定為上述駕駛員處于目視下方狀態(tài)的情況下，該處理部進(jìn)行對上述駕駛員發(fā)出警告的動(dòng)作。通過上述結(jié)構(gòu)，能夠防止駕駛員的漫不經(jīng)心駕駛及瞌睡駕駛。
[0017]另外，本發(fā)明的判定裝置還具備:計(jì)測部，其根據(jù)上述被試驗(yàn)者的拍攝圖像，求出包括上述三維臉部形狀和上述眼睛的位置的三維臉部結(jié)構(gòu)數(shù)據(jù)、和上述眼睛的形狀的變化的狀態(tài)與上述形狀參數(shù)建立了對應(yīng)的上述變化信息；和模型生成部，其將計(jì)測出的上述三維臉部結(jié)構(gòu)數(shù)據(jù)和上述變化信息作為上述三維臉部模型登記于上述存儲(chǔ)部。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的臉部及眼睛的狀態(tài)。
[0018]另外，本發(fā)明的判定方法是由判定裝置執(zhí)行的判定方法，上述判定裝置具備:存儲(chǔ)部，其存儲(chǔ)三維臉部模型，該三維臉部模型登記有被試驗(yàn)者的三維臉部形狀、被試驗(yàn)者的眼睛的位置、以及上述眼睛的形狀的變化的狀態(tài)與形狀參數(shù)建立了對應(yīng)的變化信息；和對照部，其將由拍攝裝置拍攝到的駕駛員的拍攝圖像與上述三維臉部形狀進(jìn)行對照，確定臉部的朝向，確定所確定出的上述臉部的朝向的上述眼睛的位置，上述判定方法包括使上述形狀參數(shù)變化，確定上述拍攝圖像中的與上述眼睛的狀態(tài)對應(yīng)的形狀參數(shù)，計(jì)算對上述拍攝圖像中的上述眼睛的睜眼的狀態(tài)進(jìn)行表示的睜眼度，根據(jù)上述睜眼度和所確定出的上述形狀參數(shù)，判定上述駕駛員的臉部及眼睛的狀態(tài)。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的臉部及眼睛的狀態(tài)。
[0019]另外，本發(fā)明的睜眼閉眼判定裝置(判定裝置)具備:存儲(chǔ)部，其存儲(chǔ)三維臉部模型，該三維臉部模型登記有被試驗(yàn)者的三維臉部形狀、上述被試驗(yàn)者的眼睛的位置、以及從上述眼睛的標(biāo)準(zhǔn)狀態(tài)到隨著上述臉部的表情變化而瞇起上述眼睛的瞇眼的狀態(tài)為止的上述眼睛的形狀的變化的狀態(tài)與形狀參數(shù)建立了對應(yīng)的變化信息;對照部，其將由拍攝裝置拍攝到的駕駛員的拍攝圖像與上述三維臉部形狀進(jìn)行對照，確定上述眼睛的位置;形狀參數(shù)判定部，其使上述形狀參數(shù)變化，確定上述拍攝圖像中的與上述眼睛的狀態(tài)對應(yīng)的形狀參數(shù);睜眼度計(jì)算部，其計(jì)算對上述拍攝圖像中的上述眼睛的睜眼狀態(tài)進(jìn)行表示的睜眼度；以及睜眼閉眼判定部，即使在上述睜眼度表示睜眼狀態(tài)的情況下，也根據(jù)所確定的上述形狀參數(shù)是否表示上述瞇眼的狀態(tài)，判定上述駕駛員的睜眼閉眼。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的睜眼閉眼。
[0020]另外，在本發(fā)明的睜眼閉眼判定裝置(判定裝置)中，上述瞇眼的狀態(tài)包括笑臉的狀態(tài)，上述睜眼閉眼判定部判斷上述睜眼度是否是表示睜眼狀態(tài)的范圍內(nèi)，在上述睜眼度是表示睜眼狀態(tài)的范圍內(nèi)的情況下，判定確定出的上述形狀參數(shù)是否處于表示笑臉的范圍內(nèi)，在上述形狀參數(shù)是表示笑臉的范圍內(nèi)的情況下，判定為上述駕駛員處于睜眼狀態(tài)。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的睜眼。
[0021]另外，在本發(fā)明的睜眼閉眼判定裝置(判定裝置)中，上述睜眼閉眼判定部在上述睜眼度為表示閉眼的范圍內(nèi)的情況且確定出的上述形狀參數(shù)為表示笑臉的范圍之外的情況下，判定為上述駕駛員處于閉眼狀態(tài)。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的睜眼。
[0022]另外，本發(fā)明的睜眼閉眼判定裝置(判定裝置)還具備處理部，在判定為上述駕駛員處于閉眼狀態(tài)的情況下，處理部對進(jìn)行上述駕駛員發(fā)出警告的動(dòng)作。通過上述結(jié)構(gòu)，能夠防止駕駛員的瞌睡駕駛。
[0023]另外，本發(fā)明的睜眼閉眼判定裝置(判定裝置)還具備:計(jì)測部，其根據(jù)上述被試驗(yàn)者的拍攝圖像，求出包括上述三維臉部形狀和上述眼睛的位置的三維臉部結(jié)構(gòu)數(shù)據(jù)、和上述眼睛的形狀的變化的狀態(tài)與上述形狀參數(shù)建立了對應(yīng)的上述變化信息；模型生成部，其將計(jì)測出的上述三維臉部結(jié)構(gòu)數(shù)據(jù)和上述變化信息作為上述三維臉部模型登記于上述存儲(chǔ)部。通過上述結(jié)構(gòu)，能夠避免錯(cuò)誤判斷，更準(zhǔn)確地判斷駕駛員的睜眼閉眼。
[0024]另外，本發(fā)明的睜眼閉眼判定方法(判定方法)是由睜眼閉眼判定裝置執(zhí)行的睜眼判定方法，上述睜眼閉眼判定裝置具備存儲(chǔ)部，其存儲(chǔ)三維臉部模型，上述三維臉部模型登記有被試驗(yàn)者的三維臉部形狀、被試驗(yàn)者的眼睛的位置、以及從上述眼睛的標(biāo)準(zhǔn)狀態(tài)到隨著上述臉部的表情變化而瞇起上述眼睛的瞇眼的狀態(tài)為止的上述眼睛的形狀的變化的狀態(tài)與形狀參數(shù)建立了對應(yīng)的變化信息，將由拍攝裝置拍攝到的駕駛員的拍攝圖像與上述三維臉部形狀進(jìn)行對照，確定上述眼睛的位置，使上述形狀參數(shù)變化，