本發(fā)明涉及圖像處理、視頻監(jiān)控以及智能交通，特別涉及基于深度學習的駕駛員疲勞檢測方法及裝置。

背景技術：

駕駛員疲勞檢測是引發(fā)交通事故的一個重要因素，因此到了廣泛的研究。目前，駕駛員疲勞檢測方法主要是從駕駛員的生理信息、面部信息以及車輛狀態(tài)對駕駛員是否處于疲勞狀態(tài)進行檢測。

基于駕駛員生理信息的檢測方法需要在駕駛員的身體上加一些測量設備，檢測駕駛員的生理參數(shù)，如心電圖、腦電圖、脈搏等，但是這種方法容易對駕駛員產(chǎn)生干擾?；谲囕v狀態(tài)的檢測方法通過檢測方向盤轉動、車輛速度、轉彎角度的異常，來判斷駕駛員是否處于疲勞狀態(tài)，但容易受路況、駕駛員的駕駛習慣等外界的影響。基于駕駛員面部信息的檢測方法通過檢測駕駛員的眼睛閉合度、眨眼頻率、頭部位置、打哈欠等信息判斷駕駛員是否疲勞，該方法是非接觸的，受外界影響較少，近年來得到了廣泛的關注。

公開號為CN104881955A的中國發(fā)明專利申請公開了一種駕駛員疲勞駕駛檢測方法及系統(tǒng)，該方法通過定位駕駛員眼睛區(qū)域，計算眼睛的開合度，根據(jù)比較眼睛的開合度與設定的閾值來判斷駕駛員是否處于疲勞狀態(tài)。公開號為CN104574819A的中國發(fā)明專利申請公開了一種基于嘴巴特征的疲勞駕駛檢測方法，該方法通過精確定位駕駛員的嘴巴位置，判斷駕駛員嘴巴的張開程度，根據(jù)單位時間內，嘴巴張開程度較大的幀數(shù)所占比例，判斷駕駛員是否處于疲勞駕駛狀態(tài)。

然而，上述駕駛員疲勞檢測方法檢測準確率較差。

綜上所述，目前迫切需要提出一種檢測準確率較好的駕駛員疲勞檢測方法及裝置。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明的主要目的在于實現(xiàn)駕駛員的疲勞檢測，且檢測準確率較高。

為達到上述目的，按照本發(fā)明的第一個方面，提供了基于深度學習的駕駛員疲勞檢測方法，該方法包括：

第一步驟，選取不同狀態(tài)的駕駛員圖像作為樣本圖像，對具有深度學習的神經(jīng)網(wǎng)絡進行訓練，獲取訓練好的駕駛員狀態(tài)識別模型；

第二步驟，采集駕駛員的視頻圖像；

第三步驟，采用人臉檢測算法從每幀視頻圖像中獲取人臉區(qū)域；

第四步驟，采用訓練好的駕駛員狀態(tài)識別模型對每幀視頻圖像的人臉區(qū)域進行識別，獲取每幀視頻圖像中駕駛員的狀態(tài)；及

第五步驟，根據(jù)連續(xù)幀的視頻圖像中駕駛員的狀態(tài)，采用眨眼分析、打哈欠分析、綜合分析判斷駕駛員是否疲勞，并輸出結果。

所述第一步驟進一步包括：

樣本選取步驟，分別選取DNum1個閉眼的駕駛員圖像、DNum2個打哈欠的駕駛員圖像、DNum3個正常狀態(tài)的駕駛員圖像為樣本圖像，并將樣本圖像縮放為寬度為Th_Width、高度為Th_Height，若樣本圖像為彩色圖像，對樣本圖像進行灰度化處理，獲取灰度的樣本圖像；

初步樣本訓練步驟，利用具有深度學習的神經(jīng)網(wǎng)絡對灰度的樣本圖像進行訓練，獲取初步訓練好的模型；

二次訓練步驟，選取TNum個由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成的測試圖像，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像，利用初步訓練好的模型對灰度的測試圖像進行反復訓練，直至模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型輸出。

所述二次訓練步驟進一步包括：

測試圖像選取步驟，選取TNum個測試圖像，測試圖像由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像；

訓練特征提取步驟，根據(jù)初步訓練好的模型提取灰度的測試圖像的特征；

訓練分類判定步驟，計算灰度的測試圖像的特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、以及與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}；

反復訓練步驟，計算判定結果與真實結果的誤差，利用反向傳播算法來訓練模型，重復訓練特征提取步驟和訓練分類判定步驟，直至該模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型并輸出。

所述第四步驟進一步包括：

人臉區(qū)域預處理步驟，將當前幀視頻圖像內人臉區(qū)域縮放為寬度為Th_Width、高度為Th_Height，若人臉區(qū)域為彩色圖像，對人臉區(qū)域進行灰度化處理，獲取灰度化的人臉區(qū)域；

人臉特征提取步驟，對于當前幀視頻圖像，利用訓練好的駕駛員狀態(tài)識別模型提取當前幀視頻圖像內人臉區(qū)域的特征；

駕駛員狀態(tài)類別判定步驟，計算當前幀視頻圖像內人臉特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}。

所述第五步驟進一步包括：

駕駛員狀態(tài)統(tǒng)計步驟，對于連續(xù)FINum幀視頻圖像，分別統(tǒng)計屬于閉眼的駕駛員的幀數(shù)CNum、打哈欠的駕駛員的幀數(shù)YNum；

眨眼分析步驟，計算連續(xù)FINum幀視頻圖像內的眨眼頻率Bfre，若Bfre≥Th_BF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入打哈欠分析步驟；

打哈欠分析步驟，計算連續(xù)FINum幀視頻圖像內的哈欠頻率Yfre，若Yfre≥Th_YF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入綜合分析步驟；

綜合分析步驟，計算連續(xù)FINum幀視頻圖像內的眨眼打哈欠總和頻率Cfre，若Cfre≥Th_CF，則輸出駕駛員處于疲勞狀態(tài)，否則輸出駕駛員處于清醒狀態(tài)。

按照本發(fā)明的另一個方面，提供了基于深度學習的駕駛員疲勞檢測裝置，該裝置包括：

駕駛員狀態(tài)識別模型獲取模塊(1)，用于選取不同狀態(tài)的駕駛員圖像作為樣本圖像，對具有深度學習的神經(jīng)網(wǎng)絡進行訓練，獲取訓練好的駕駛員狀態(tài)識別模型；

視頻圖像獲取模塊(2)，用于采集駕駛員的視頻圖像；

人臉區(qū)域獲取模塊(3)，用于采用人臉檢測算法從每幀視頻圖像中獲取人臉區(qū)域；

駕駛員狀態(tài)獲取模塊(4)，用于采用訓練好的駕駛員狀態(tài)識別模型對每幀視頻圖像的人臉區(qū)域進行識別，獲取每幀視頻圖像中駕駛員的狀態(tài)；及

駕駛員疲勞判斷模塊(5)，用于根據(jù)連續(xù)幀的視頻圖像中駕駛員的狀態(tài)，采用眨眼分析、打哈欠分析、綜合分析判斷駕駛員是否疲勞，并輸出結果。

所述駕駛員狀態(tài)識別模型獲取模塊(1)進一步包括：

樣本選取模塊(11)，用于分別選取DNum1個閉眼的駕駛員圖像、DNum2個打哈欠的駕駛員圖像、DNum3個正常狀態(tài)的駕駛員圖像為樣本圖像，并將樣本圖像縮放為寬度為Th_Width、高度為Th_Height，若樣本圖像為彩色圖像，對樣本圖像進行灰度化處理，獲取灰度的樣本圖像；

初步樣本訓練模塊(12)，用于利用具有深度學習的神經(jīng)網(wǎng)絡對灰度的樣本圖像進行訓練，獲取初步訓練好的模型；

二次訓練模塊(13)，用于選取TNum個由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成的測試圖像，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像，利用初步訓練好的模型對灰度的測試圖像進行反復訓練，直至模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型輸出。

所述二次訓練模塊(13)進一步包括：

測試圖像選取模塊(131)，用于選取TNum個測試圖像，測試圖像由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像；

訓練特征提取模塊(132)，用于根據(jù)初步訓練好的模型提取灰度的測試圖像的特征；

訓練分類判定模塊(133)，用于計算灰度的測試圖像的特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、以及與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}；

反復訓練模塊(134)，用于計算判定結果與真實結果的誤差，利用反向傳播算法來訓練模型，重復訓練特征提取模塊和訓練分類判定模塊，直至該模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型并輸出。

所述駕駛員狀態(tài)獲取模塊(4)進一步包括：

人臉區(qū)域預處理模塊(41)，用于將當前幀視頻圖像內人臉區(qū)域縮放為寬度為Th_Width、高度為Th_Height，若人臉區(qū)域為彩色圖像，對人臉區(qū)域進行灰度化處理，獲取灰度化的人臉區(qū)域；

人臉特征提取模塊(42)，用于對于當前幀視頻圖像，利用訓練好的駕駛員狀態(tài)識別模型提取當前幀視頻圖像內人臉區(qū)域的特征；

駕駛員狀態(tài)類別判定模塊(43)，用于計算當前幀視頻圖像內人臉特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}。

所述駕駛員疲勞判斷模塊(5)進一步包括：

駕駛員狀態(tài)統(tǒng)計模塊(51)，用于對于連續(xù)FINum幀視頻圖像，分別統(tǒng)計屬于閉眼的駕駛員的幀數(shù)CNum、打哈欠的駕駛員的幀數(shù)YNum；

眨眼分析模塊(52)，用于計算連續(xù)FINum幀視頻圖像內的眨眼頻率Bfre，若Bfre≥Th_BF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入打哈欠分析模塊；

打哈欠分析模塊(53)，用于計算連續(xù)FINum幀視頻圖像內的哈欠頻率Yfre，若Yfre≥Th_YF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入綜合分析模塊；

綜合分析模塊(54)，用于計算連續(xù)FINum幀視頻圖像內的眨眼打哈欠總和頻率Cfre，若Cfre≥Th_CF，則輸出駕駛員處于疲勞狀態(tài)，否則輸出駕駛員處于清醒狀態(tài)。

與現(xiàn)有的駕駛員疲勞檢測技術相比，本發(fā)明基于深度學習的駕駛員疲勞檢測方法及裝置檢測準確率較高。

附圖說明

圖1示出了按照本發(fā)明基于深度學習的駕駛員疲勞檢測方法的流程圖。

圖2示出了按照本發(fā)明基于深度學習的駕駛員疲勞檢測裝置的框架圖。

具體實施方式

為使貴審查員能進一步了解本發(fā)明的結構、特征及其他目的，現(xiàn)結合所附較佳實施例詳細說明如下，所說明的較佳實施例僅用于說明本發(fā)明的技術方案，并非限定本發(fā)明。

圖1給出了按照本發(fā)明基于深度學習的駕駛員疲勞檢測方法的流程圖。如圖1所示，按照本發(fā)明基于深度學習的駕駛員疲勞檢測方法包括：

第一步驟S1，選取不同狀態(tài)的駕駛員圖像作為樣本圖像，對具有深度學習的神經(jīng)網(wǎng)絡進行訓練，獲取訓練好的駕駛員狀態(tài)識別模型；

第二步驟S2，采集駕駛員的視頻圖像；

第三步驟S3，采用人臉檢測算法從每幀視頻圖像中獲取人臉區(qū)域；

第四步驟S4，采用訓練好的駕駛員狀態(tài)識別模型對每幀視頻圖像的人臉區(qū)域進行識別，獲取每幀視頻圖像中駕駛員的狀態(tài)；及

第五步驟S5，根據(jù)連續(xù)幀的視頻圖像中駕駛員的狀態(tài)，采用眨眼分析、打哈欠分析、綜合分析判斷駕駛員是否疲勞，并輸出結果。

所述第一步驟S1進一步包括：

樣本選取步驟S11，分別選取DNum1個閉眼的駕駛員圖像、DNum2個打哈欠的駕駛員圖像、DNum3個正常狀態(tài)的駕駛員圖像為樣本圖像，并將樣本圖像縮放為寬度為Th_Width、高度為Th_Height，若樣本圖像為彩色圖像，對樣本圖像進行灰度化處理，獲取灰度的樣本圖像；

初步樣本訓練步驟S12，利用具有深度學習的神經(jīng)網(wǎng)絡對灰度的樣本圖像進行訓練，獲取初步訓練好的模型；

二次訓練步驟S13，選取TNum個由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成的測試圖像，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像，利用初步訓練好的模型對灰度的測試圖像進行反復訓練，直至模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型輸出。

所述樣本選取步驟S11中正常狀態(tài)的駕駛員圖像為睜著眼睛、沒打哈欠的駕駛員圖像。優(yōu)選地，駕駛員圖像選為只包含人臉區(qū)域的圖像。

所述初步樣本訓練步驟S12中具有深度學習的神經(jīng)網(wǎng)絡可以為深度卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，簡稱CNN)、深度信念網(wǎng)絡(Deep Belief Network，簡稱DBN)等。優(yōu)選地，具有深度學習的神經(jīng)網(wǎng)絡選為深度卷積神經(jīng)網(wǎng)絡。

所述二次訓練步驟S13進一步包括：

測試圖像選取步驟S131，選取TNum個測試圖像，測試圖像由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像；

訓練特征提取步驟S132，根據(jù)初步訓練好的模型提取灰度的測試圖像的特征；

訓練分類判定步驟S133，計算灰度的測試圖像的特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、以及與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}；

反復訓練步驟S134，計算判定結果與真實結果的誤差，利用反向傳播算法來訓練模型，重復訓練特征提取步驟S132和訓練分類判定步驟S133，直至該模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型并輸出。

所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。優(yōu)選地，DNum1≥5000，DNum2≥5000，DNum3≥5000，Th_Width選為32，Th_Height選為36，TNum≥5000。

優(yōu)選地，所述深度卷積神經(jīng)網(wǎng)絡絡包括：

輸入層，輸入Th_Width*Th_Height的圖像；

第一層卷積層，輸出Th_CK1個卷積核，卷積核的大小為CKSi1*CKSi1、步長為1；

第一層采樣層，采用最大池化法輸出大小為KSi*KSi、步長為KSi的采樣核；

第二層卷積層，輸出Th_CK2個卷積核，卷積核的大小為CKSi2*CKSi2、步長為1；

第二層采樣層，采用最大池化法輸出大小為KSi*KSi、步長為KSi的采樣核；

全連接層，采用ReLU作為激活函數(shù)，輸出Th_Neur個神經(jīng)元；

全連接層，輸出3個神經(jīng)元，即3個駕駛員狀態(tài)類別。

其中，Th_Width和Th_Height分別為輸入圖像的寬度和高度，Th_Width∈[32，64]，Th_Height∈[36,72]。Th_CK1∈[6,20]。CKSi1∈[3,7]。KSi∈[2,4]。Th_CK2∈[10,40]。CKSi2∈[3,5]。Th_Neur∈[80,10000]。

優(yōu)選地，Th_Width選為32，Th_Height選為36，Th_CK1選為16，CKSi1選為5，KSi選為2，Th_CK2選為32，CKSi2選為3，Th_Neur選為84。

所述第一層采樣層和第二層采樣層中的最大池化法可以替換為平均池化法或者隨機池化法。

所述全連接層中ReLU全稱為Rectified Linear Units，中文譯為修正線性單元，可以參考文獻“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。

所述全連接層中ReLU可以替換為sigmoid函數(shù)或者tanh函數(shù)作為激活函數(shù)。

所述第二步驟S2中采集駕駛員的視頻圖像可以替換為輸入駕駛員的視頻圖像。

所述第三步驟S3中人臉檢測算法可以通過現(xiàn)有的人臉檢測算法實現(xiàn)。例如，“梁路宏，艾海舟，何克忠.基于多模板匹配的單人臉檢測.《中國圖象圖形學報》,1999(10):825-830”。

所述第四步驟S4進一步包括：

人臉區(qū)域預處理步驟S41，將當前幀視頻圖像內人臉區(qū)域縮放為寬度為Th_Width、高度為Th_Height，若人臉區(qū)域為彩色圖像，對人臉區(qū)域進行灰度化處理，獲取灰度化的人臉區(qū)域；

人臉特征提取步驟S42，對于當前幀視頻圖像，利用訓練好的駕駛員狀態(tài)識別模型提取當前幀視頻圖像內人臉區(qū)域的特征；

駕駛員狀態(tài)類別判定步驟S43，計算當前幀視頻圖像內人臉特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}。

所述第五步驟S5進一步包括：

駕駛員狀態(tài)統(tǒng)計步驟S51，對于連續(xù)FINum幀視頻圖像，分別統(tǒng)計屬于閉眼的駕駛員的幀數(shù)CNum、打哈欠的駕駛員的幀數(shù)YNum；

眨眼分析步驟S52，計算連續(xù)FINum幀視頻圖像內的眨眼頻率Bfre，若Bfre≥Th_BF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入打哈欠分析步驟S53；

打哈欠分析步驟S53，計算連續(xù)FINum幀視頻圖像內的哈欠頻率Yfre，若Yfre≥Th_YF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入綜合分析步驟S54；

綜合分析步驟S54，計算連續(xù)FINum幀視頻圖像內的眨眼打哈欠總和頻率Cfre，若Cfre≥Th_CF，則輸出駕駛員處于疲勞狀態(tài)，否則輸出駕駛員處于清醒狀態(tài)。

其中，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。優(yōu)選地，F(xiàn)INum選為30，Th_BF選為0.4，Th_YF選為0.6，Th_CF選為0.5。

圖2給出了按照本發(fā)明基于深度學習的駕駛員疲勞檢測裝置的框架圖。如圖2所示，按照本發(fā)明基于深度學習的駕駛員疲勞檢測裝置包括：

駕駛員狀態(tài)識別模型獲取模塊1，用于選取不同狀態(tài)的駕駛員圖像作為樣本圖像，對具有深度學習的神經(jīng)網(wǎng)絡進行訓練，獲取訓練好的駕駛員狀態(tài)識別模型；

視頻圖像獲取模塊2，用于采集駕駛員的視頻圖像；

人臉區(qū)域獲取模塊3，用于采用人臉檢測算法從每幀視頻圖像中獲取人臉區(qū)域；

駕駛員狀態(tài)獲取模塊4，用于采用訓練好的駕駛員狀態(tài)識別模型對每幀視頻圖像的人臉區(qū)域進行識別，獲取每幀視頻圖像中駕駛員的狀態(tài)；及

駕駛員疲勞判斷模塊5，用于根據(jù)連續(xù)幀的視頻圖像中駕駛員的狀態(tài)，采用眨眼分析、打哈欠分析、綜合分析判斷駕駛員是否疲勞，并輸出結果。

所述駕駛員狀態(tài)識別模型獲取模塊1進一步包括：

樣本選取模塊11，用于分別選取DNum1個閉眼的駕駛員圖像、DNum2個打哈欠的駕駛員圖像、DNum3個正常狀態(tài)的駕駛員圖像為樣本圖像，并將樣本圖像縮放為寬度為Th_Width、高度為Th_Height，若樣本圖像為彩色圖像，對樣本圖像進行灰度化處理，獲取灰度的樣本圖像；

初步樣本訓練模塊12，用于利用具有深度學習的神經(jīng)網(wǎng)絡對灰度的樣本圖像進行訓練，獲取初步訓練好的模型；

二次訓練模塊13，用于選取TNum個由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成的測試圖像，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像，利用初步訓練好的模型對灰度的測試圖像進行反復訓練，直至模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型輸出。

所述樣本選取模塊11中正常狀態(tài)的駕駛員圖像為睜著眼睛、沒打哈欠的駕駛員圖像。優(yōu)選地，駕駛員圖像選為只包含人臉區(qū)域的圖像。

所述初步樣本訓練模塊12中具有深度學習的神經(jīng)網(wǎng)絡可以為深度卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，簡稱CNN)、深度信念網(wǎng)絡(Deep Belief Network，簡稱DBN)等。優(yōu)選地，具有深度學習的神經(jīng)網(wǎng)絡選為深度卷積神經(jīng)網(wǎng)絡。

所述二次訓練模塊13進一步包括：

測試圖像選取模塊131，用于選取TNum個測試圖像，測試圖像由閉眼、打哈欠、正常狀態(tài)的駕駛員圖像組成，并將測試圖像縮放為寬度Th_Width、高度為Th_Height，若測試圖像為彩色圖像，對測試圖像進行灰度化處理，獲取灰度的測試圖像；

訓練特征提取模塊132，用于根據(jù)初步訓練好的模型提取灰度的測試圖像的特征；

訓練分類判定模塊133，用于計算灰度的測試圖像的特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、以及與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}；

反復訓練模塊134，用于計算判定結果與真實結果的誤差，利用反向傳播算法來訓練模型，重復訓練特征提取模塊132和訓練分類判定模塊133，直至該模型收斂，將收斂的模型作為駕駛員狀態(tài)識別模型并輸出。

所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。優(yōu)選地，DNum1≥5000，DNum2≥5000，DNum3≥5000，Th_Width選為32，Th_Height選為36，TNum≥5000。

優(yōu)選地，所述深度卷積神經(jīng)網(wǎng)絡絡包括：

輸入層，輸入Th_Width*Th_Height的圖像；

第一層卷積層，輸出Th_CK1個卷積核，卷積核的大小為CKSi1*CKSi1、步長為1；

第一層采樣層，采用最大池化法輸出大小為KSi*KSi、步長為KSi的采樣核；

第二層卷積層，輸出Th_CK2個卷積核，卷積核的大小為CKSi2*CKSi2、步長為1；

第二層采樣層，采用最大池化法輸出大小為KSi*KSi、步長為KSi的采樣核；

全連接層，采用ReLU作為激活函數(shù)，輸出Th_Neur個神經(jīng)元；

全連接層，輸出3個神經(jīng)元，即3個駕駛員狀態(tài)類別。

其中，Th_Width和Th_Height分別為輸入圖像的寬度和高度，Th_Width∈[32，64]，Th_Height∈[36,72]。Th_CK1∈[6,20]。CKSi1∈[3,7]。KSi∈[2,4]。Th_CK2∈[10,40]。CKSi2∈[3,5]。Th_Neur∈[80,10000]。

優(yōu)選地，Th_Width選為32，Th_Height選為36，Th_CK1選為16，CKSi1選為5，KSi選為2，Th_CK2選為32，CKSi2選為3，Th_Neur選為84。

所述第一層采樣層和第二層采樣層中的最大池化法可以替換為平均池化法或者隨機池化法。

所述全連接層中ReLU全稱為Rectified Linear Units，中文譯為修正線性單元，可以參考文獻“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。

所述全連接層中ReLU可以替換為sigmoid函數(shù)或者tanh函數(shù)作為激活函數(shù)。

所述視頻圖像獲取模塊2中采集駕駛員的視頻圖像可以替換為輸入駕駛員的視頻圖像。

所述人臉區(qū)域獲取模塊3中人臉檢測算法可以通過現(xiàn)有的人臉檢測算法實現(xiàn)。例如，“梁路宏，艾海舟，何克忠.基于多模板匹配的單人臉檢測.《中國圖象圖形學報》,1999(10):825-830”。

所述駕駛員狀態(tài)獲取模塊4進一步包括：

人臉區(qū)域預處理模塊41，用于將當前幀視頻圖像內人臉區(qū)域縮放為寬度為Th_Width、高度為Th_Height，若人臉區(qū)域為彩色圖像，對人臉區(qū)域進行灰度化處理，獲取灰度化的人臉區(qū)域；

人臉特征提取模塊42，用于對于當前幀視頻圖像，利用訓練好的駕駛員狀態(tài)識別模型提取當前幀視頻圖像內人臉區(qū)域的特征；

駕駛員狀態(tài)類別判定模塊43，用于計算當前幀視頻圖像內人臉特征與閉眼的駕駛員的特征的相似度Simi₁、與打哈欠的駕駛員的特征的相似度Simi₂、與正常狀態(tài)的駕駛員的特征的相似度Simi₃，選取Simi_k值最大的駕駛員狀態(tài)類別作為候選駕駛員狀態(tài)類別，k表示第k個類別，k＝{1,2,3}。

所述駕駛員疲勞判斷模塊5進一步包括：

駕駛員狀態(tài)統(tǒng)計模塊51，用于對于連續(xù)FINum幀視頻圖像，分別統(tǒng)計屬于閉眼的駕駛員的幀數(shù)CNum、打哈欠的駕駛員的幀數(shù)YNum；

眨眼分析模塊52，用于計算連續(xù)FINum幀視頻圖像內的眨眼頻率Bfre，若Bfre≥Th_BF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入打哈欠分析模塊53；

打哈欠分析模塊53，用于計算連續(xù)FINum幀視頻圖像內的哈欠頻率Yfre，若Yfre≥Th_YF，則輸出駕駛員處于疲勞狀態(tài)，否則轉入綜合分析模塊54；

綜合分析模塊54，用于計算連續(xù)FINum幀視頻圖像內的眨眼打哈欠總和頻率Cfre，若Cfre≥Th_CF，則輸出駕駛員處于疲勞狀態(tài)，否則輸出駕駛員處于清醒狀態(tài)。

其中，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。優(yōu)選地，F(xiàn)INum選為30，Th_BF選為0.4，Th_YF選為0.6，Th_CF選為0.5。

與現(xiàn)有的駕駛員疲勞檢測技術相比，本發(fā)明基于深度學習的駕駛員疲勞檢測方法及裝置檢測準確率較高。

以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍，應當理解，本發(fā)明并不限于這里所描述的實現(xiàn)方案，這些實現(xiàn)方案描述的目的在于幫助本領域中的技術人員實踐本發(fā)明。任何本領域中的技術人員很容易在不脫離本發(fā)明精神和范圍的情況下進行進一步的改進和完善，因此本發(fā)明只受到本發(fā)明權利要求的內容和范圍的限制，其意圖涵蓋所有包括在由所附權利要求所限定的本發(fā)明精神和范圍內的備選方案和等同方案。