1.基于深度學習的駕駛員疲勞檢測方法,其特征在于,該方法包括:
第一步驟,選取不同狀態(tài)的駕駛員圖像作為樣本圖像,對具有深度學習的神經(jīng)網(wǎng)絡(luò)進行訓練,獲取訓練好的駕駛員狀態(tài)識別模型;
第二步驟,采集駕駛員的視頻圖像;
第三步驟,采用人臉檢測算法從每幀視頻圖像中獲取人臉區(qū)域;
第四步驟,采用訓練好的駕駛員狀態(tài)識別模型對每幀視頻圖像的人臉區(qū)域進行識別,獲取每幀視頻圖像中駕駛員的狀態(tài);及
第五步驟,根據(jù)連續(xù)幀的視頻圖像中駕駛員的狀態(tài),采用眨眼分析、打哈欠分析、綜合分析判斷駕駛員是否疲勞,并輸出結(jié)果。
2.如權(quán)利要求1所述的方法,其特征在于,所述第一步驟包括:
樣本選取步驟,分別選取DNum1個閉眼的駕駛員圖像、DNum2個打哈欠的駕駛員圖像、DNum3個正常狀態(tài)的駕駛員圖像為樣本圖像,并將樣本圖像縮放為寬度為Th_Width、高度為Th_Height,若樣本圖像為彩色圖像,對樣本圖像進行灰度化處理,獲取灰度的樣本圖像;
初步樣本訓練步驟,利用具有深度學習的神經(jīng)網(wǎng)絡(luò)對灰度的樣本圖像進行訓練,獲取初步訓練好的模型;
二次訓練步驟,選取TNum個由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成的測試圖像,并將測試圖像縮放為寬度Th_Width、高度為Th_Height,若測試圖像為彩色圖像,對測試圖像進行灰度化處理,獲取灰度的測試圖像,利用初步訓練好的模型對灰度的測試圖像進行反復訓練,直至模型收斂,將收斂的模型作為駕駛員狀態(tài)識別模型輸出。
3.如權(quán)利要求2所述的方法,其特征在于,所述二次訓練步驟包括:
測試圖像選取步驟,選取TNum個測試圖像,測試圖像由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成,并將測試圖像縮放為寬度Th_Width、高度為Th_Height,若測試圖像為彩色圖像,對測試圖像進行灰度化處理,獲取灰度的測試圖像;
訓練特征提取步驟,根據(jù)初步訓練好的模型提取灰度的測試圖像的特征;
訓練分類判定步驟,計算灰度的測試圖像的特征與閉眼的駕駛員的特征的相似度Simi1、與打哈欠的駕駛員的特征的相似度Simi2、以及與正常狀態(tài)的駕駛員的特征的相似度Simi3,選取Simik值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別,k表示第k個類別,k={1,2,3};
反復訓練步驟,計算判定結(jié)果與真實結(jié)果的誤差,利用反向傳播算法來訓練模型,重復訓練特征提取步驟和訓練分類判定步驟,直至該模型收斂,將收斂的模型作為駕駛員狀態(tài)識別模型并輸出。
4.如權(quán)利要求2和3所述的方法,所述DNum1≥1000,DNum2≥1000,DNum3≥1000,Th_Width∈[32,64],Th_Height∈[36,72],TNum≥1000。
5.如權(quán)利要求1所述的方法,其特征在于,所述第四步驟包括:
人臉區(qū)域預處理步驟,將當前幀視頻圖像內(nèi)人臉區(qū)域縮放為寬度為Th_Width、高度為Th_Height,若人臉區(qū)域為彩色圖像,對人臉區(qū)域進行灰度化處理,獲取灰度化的人臉區(qū)域;
人臉特征提取步驟,對于當前幀視頻圖像,利用訓練好的駕駛員狀態(tài)識別模型提取當前幀視頻圖像內(nèi)人臉區(qū)域的特征;
駕駛員狀態(tài)類別判定步驟,計算當前幀視頻圖像內(nèi)人臉特征與閉眼的駕駛員的特征的相似度Simi1、與打哈欠的駕駛員的特征的相似度Simi2、與正常狀態(tài)的駕駛員的特征的相似度Simi3,選取Simik值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別,k表示第k個類別,k={1,2,3}。
6.如權(quán)利要求1所述的方法,其特征在于,所述第五步驟包括:
駕駛員狀態(tài)統(tǒng)計步驟,對于連續(xù)FINum幀視頻圖像,分別統(tǒng)計屬于閉眼的駕駛員的幀數(shù)CNum、打哈欠的駕駛員的幀數(shù)YNum;
眨眼分析步驟,計算連續(xù)FINum幀視頻圖像內(nèi)的眨眼頻率Bfre,
若Bfre≥Th_BF,則輸出駕駛員處于疲勞狀態(tài),否則轉(zhuǎn)入打哈欠分析步驟;
打哈欠分析步驟,計算連續(xù)FINum幀視頻圖像內(nèi)的哈欠頻率Yfre,
若Yfre≥Th_YF,則輸出駕駛員處于疲勞狀態(tài),否則轉(zhuǎn)入綜合分析步驟;
綜合分析步驟,計算連續(xù)FINum幀視頻圖像內(nèi)的眨眼打哈欠總和頻率Cfre,若Cfre≥Th_CF,則輸出駕駛員處于疲勞狀態(tài),否則輸出駕駛員處于清醒狀態(tài)。
7.如權(quán)利要求6所述的方法,所述FINum∈[20,50],Th_BF∈[0.35,0.45],Th_YF∈[0.55,0.65],Th_CF∈[0.4,0.6]。
8.基于深度學習的駕駛員疲勞檢測裝置,其特征在于,該裝置包括:
駕駛員狀態(tài)識別模型獲取模塊(1),用于選取不同狀態(tài)的駕駛員圖像作為樣本圖像,對具有深度學習的神經(jīng)網(wǎng)絡(luò)進行訓練,獲取訓練好的駕駛員狀態(tài)識別模型;視頻圖像獲取模塊(2),用于采集駕駛員的視頻圖像;
人臉區(qū)域獲取模塊(3),用于采用人臉檢測算法從每幀視頻圖像中獲取人臉區(qū)域;駕駛員狀態(tài)獲取模塊(4),用于采用訓練好的駕駛員狀態(tài)識別模型對每幀視頻圖像的人臉區(qū)域進行識別,獲取每幀視頻圖像中駕駛員的狀態(tài);及
駕駛員疲勞判斷模塊(5),用于根據(jù)連續(xù)幀的視頻圖像中駕駛員的狀態(tài),采用眨眼分析、打哈欠分析、綜合分析判斷駕駛員是否疲勞,并輸出結(jié)果。
9.如權(quán)利要求8所述的裝置,其特征在于,所述駕駛員狀態(tài)識別模型獲取模塊(1)包括:
樣本選取模塊(11),用于分別選取DNum1個閉眼的駕駛員圖像、DNum2個打哈欠的駕駛員圖像、DNum3個正常狀態(tài)的駕駛員圖像為樣本圖像,并將樣本圖像縮放為寬度為Th_Width、高度為Th_Height,若樣本圖像為彩色圖像,對樣本圖像進行灰度化處理,獲取灰度的樣本圖像;
初步樣本訓練模塊(12),用于利用具有深度學習的神經(jīng)網(wǎng)絡(luò)對灰度的樣本圖像進行訓練,獲取初步訓練好的模型;
二次訓練模塊(13),用于選取TNum個由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成的測試圖像,并將測試圖像縮放為寬度Th_Width、高度為Th_Height,若測試圖像為彩色圖像,對測試圖像進行灰度化處理,獲取灰度的測試圖像,利用初步訓練好的模型對灰度的測試圖像進行反復訓練,直至模型收斂,將收斂的模型作為駕駛員狀態(tài)識別模型輸出。
10.如權(quán)利要求9所述的裝置,所述其特征在于,所述二次訓練模塊(13)包括:測試圖像選取模塊(131),用于選取TNum個測試圖像,測試圖像由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成,并將測試圖像縮放為寬度Th_Width、高度為Th_Height,若測試圖像為彩色圖像,對測試圖像進行灰度化處理,獲取灰度的測試圖像;
訓練特征提取模塊(132),用于根據(jù)初步訓練好的模型提取灰度的測試圖像的特征;
訓練分類判定模塊(133),用于計算灰度的測試圖像的特征與閉眼的駕駛員的特征的相似度Simi1、與打哈欠的駕駛員的特征的相似度Simi2、以及與正常狀態(tài)的駕駛員的特征的相似度Simi3,選取Simik值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別,k表示第k個類別,k={1,2,3};
反復訓練模塊(134),用于計算判定結(jié)果與真實結(jié)果的誤差,利用反向傳播算法來訓練模型,重復訓練特征提取模塊和訓練分類判定模塊,直至該模型收斂,將收斂的模型作為駕駛員狀態(tài)識別模型并輸出。
11.如權(quán)利要求9和10所述的裝置,所述DNum1≥1000,DNum2≥1000,DNum3≥1000,Th_Width∈[32,64],Th_Height∈[36,72],TNum≥1000。
12.如權(quán)利要求8所述的裝置,其特征在于,所述駕駛員狀態(tài)獲取模塊(4)包括:
人臉區(qū)域預處理模塊(41),用于將當前幀視頻圖像內(nèi)人臉區(qū)域縮放為寬度為Th_Width、高度為Th_Height,若人臉區(qū)域為彩色圖像,對人臉區(qū)域進行灰度化處理,獲取灰度化的人臉區(qū)域;
人臉特征提取模塊(42),用于對于當前幀視頻圖像,利用訓練好的駕駛員狀態(tài)識別模型提取當前幀視頻圖像內(nèi)人臉區(qū)域的特征;
駕駛員狀態(tài)類別判定模塊(43),用于計算當前幀視頻圖像內(nèi)人臉特征與閉眼的駕駛員的特征的相似度Simi1、與打哈欠的駕駛員的特征的相似度Simi2、與正常狀態(tài)的駕駛員的特征的相似度Simi3,選取Simik值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別,k表示第k個類別,k={1,2,3}。
13.如權(quán)利要求8所述的裝置,其特征在于,所述駕駛員疲勞判斷模塊(5)進一步包括:
駕駛員狀態(tài)統(tǒng)計模塊(51),用于對于連續(xù)FINum幀視頻圖像,分別統(tǒng)計屬于閉眼的駕駛員的幀數(shù)CNum、打哈欠的駕駛員的幀數(shù)YNum;
眨眼分析模塊(52),用于計算連續(xù)FINum幀視頻圖像內(nèi)的眨眼頻率Bfre,若Bfre≥Th_BF,則輸出駕駛員處于疲勞狀態(tài),否則轉(zhuǎn)入打哈欠分析模塊;
打哈欠分析模塊(53),用于計算連續(xù)FINum幀視頻圖像內(nèi)的哈欠頻率Yfre,若Yfre≥Th_YF,則輸出駕駛員處于疲勞狀態(tài),否則轉(zhuǎn)入綜合分析模塊;
綜合分析模塊(54),用于計算連續(xù)FINum幀視頻圖像內(nèi)的眨眼打哈欠總和頻率若Cfre≥Th_CF,則輸出駕駛員處于疲勞狀態(tài),否則輸出駕駛員處于清醒狀態(tài)。
14.如權(quán)利要求13所述的裝置,所述FINum∈[20,50],Th_BF∈[0.35,0.45],Th_YF∈[0.55,0.65],Th_CF∈[0.4,0.6]。