本發(fā)明涉及考勤設(shè)備技術(shù)領(lǐng)域,具體涉及一種基于深度學(xué)習(xí)和云服務(wù)的人臉識別考勤系統(tǒng)及方法。
背景技術(shù):
目前在高??记诜绞街?,人工考勤為主要考勤途徑,這種考勤方式耗時多,且容易發(fā)生代人考勤的情況,影響高校教學(xué)管理行為規(guī)范,部分高校引入了射頻識別考勤、指紋考勤的簽到方式,使考勤效率得到一定的提升,然而射頻識別考勤極易發(fā)生代替考勤情況,指紋考勤存在健康衛(wèi)生隱患,且需要排隊進(jìn)行考勤,因此上述兩種考勤方式均未能受到高校教務(wù)管理部門的青睞。
人臉識別考勤是近年來逐漸興起的一種考勤方式,其主要通過識別人臉進(jìn)行特征匹配來完成簽到;而且,現(xiàn)有人臉識別考勤機存在識別率偏低、人臉存儲量小的缺陷,無法系統(tǒng)化地應(yīng)用于高校考勤,現(xiàn)有人臉識別考勤機未能將教務(wù)管理部門與考勤系統(tǒng)進(jìn)行聯(lián)系,學(xué)生的考勤狀態(tài)教務(wù)管理部門無法進(jìn)行在線查看,因此若將現(xiàn)有人臉識別考勤機應(yīng)用于高校,則不能實質(zhì)性的提高教務(wù)管理效率。
技術(shù)實現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題是,針對現(xiàn)有技術(shù)存在的上述缺陷,提供了一種基于深度學(xué)習(xí)和云服務(wù)的人臉識別考勤系統(tǒng)及方法,通過分類儲存和分類調(diào)用,避免在海量的數(shù)據(jù)中進(jìn)行匹配識別,提高存儲效率和比對識別效率,使系統(tǒng)具有更好的魯棒性和更高的效率。
本發(fā)明為解決上述技術(shù)問題所采用的技術(shù)方案是:
一種基于深度學(xué)習(xí)和云服務(wù)的人臉識別考勤系統(tǒng),包括人臉檢測模塊、數(shù)據(jù)無線傳輸模塊、云服務(wù)器和考勤信息管理網(wǎng)頁,人臉檢測模塊與數(shù)據(jù)無線傳輸模塊連接,所述數(shù)據(jù)無線傳輸模塊通過網(wǎng)絡(luò)與云服務(wù)器連接,通過考勤信息管理網(wǎng)頁與云服務(wù)器連接,進(jìn)行雙向數(shù)據(jù)交換;
云服務(wù)器包括深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊、回歸分類器、記憶存儲單元、人員信息數(shù)據(jù)庫和考勤記錄數(shù)據(jù)庫,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊將預(yù)先訓(xùn)練錄入的人臉視頻或圖像,轉(zhuǎn)化為人臉數(shù)據(jù),將人臉數(shù)據(jù)與人員其它錄入信息進(jìn)行對應(yīng),將對應(yīng)后的結(jié)果以信息中的某一特征為標(biāo)簽,分類保存至人員信息數(shù)據(jù)庫,以上述標(biāo)簽生成深度學(xué)習(xí)網(wǎng)絡(luò)的各層級參數(shù),形成提取特征參數(shù),分類保存在記憶存儲單元中;當(dāng)進(jìn)行人臉識別考勤時,依據(jù)所述標(biāo)簽從記憶存儲單元中調(diào)取相應(yīng)的提取特征參數(shù),從人臉檢測模塊呈遞的人臉視頻或圖像中提取人臉的數(shù)據(jù),再依據(jù)所述標(biāo)簽,查找人員信息數(shù)據(jù)庫中已經(jīng)保存的人臉數(shù)據(jù),通過回歸分類器計算相似度進(jìn)行匹配識別,將匹配識別后的結(jié)果形成考勤記錄數(shù)據(jù)庫,從而反映到考勤信息管理網(wǎng)頁上。
按照上述技術(shù)方案,所述人臉識別考勤系統(tǒng)用于高校課程考勤時,所述某一特征標(biāo)簽為課程信息,課程信息包括課程文本信息、課程時間、課程的上課地點和任課老師。
按照上述技術(shù)方案,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊包括視頻分幀器、人臉提取與預(yù)處理器和多層卷積神經(jīng)網(wǎng)絡(luò),視頻分幀器將呈遞的人臉視頻進(jìn)行分幀處理,人臉提取與預(yù)處理器是將分幀處理后圖像進(jìn)行歸一化、去噪等預(yù)處理,將其傳輸給多層卷積神經(jīng)網(wǎng)絡(luò)。
按照上述技術(shù)方案,多層卷積神經(jīng)網(wǎng)絡(luò)依次包括輸入層、卷積層、抽樣層和輸出層,所述記憶存儲單元與多層卷積神經(jīng)網(wǎng)絡(luò)的輸出層、卷積層與抽樣層進(jìn)行連接,以某一特征信息為分類標(biāo)簽,在進(jìn)行人臉訓(xùn)練時,卷積層與抽樣層單向連接于記憶存儲單元,卷積層和抽樣層參數(shù)以上述的某一特征為標(biāo)簽,保存至記憶存儲單元;在進(jìn)行人臉識別時,記憶存儲單元單向連接于卷積層與抽樣層,輸出層與回歸分類器連接,對訓(xùn)練好的多層卷積神經(jīng)網(wǎng)絡(luò)與各層級的參數(shù)進(jìn)行分區(qū)保存;在進(jìn)行人臉識別時,通過數(shù)據(jù)無線傳輸模塊上傳的信息,調(diào)用相應(yīng)的各層級參數(shù)至多層卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行識別。
按照上述技術(shù)方案,考勤信息管理網(wǎng)頁包括學(xué)生權(quán)限界面、任課老師權(quán)限界面和教務(wù)管理權(quán)限界面;
學(xué)生權(quán)限界面包括人臉注冊端和個人考勤記錄端,任課老師權(quán)限界面包括課堂考勤記錄端,教務(wù)管理權(quán)限界面包括學(xué)院考勤記錄端,考勤記錄數(shù)據(jù)庫與考勤信息管理網(wǎng)頁雙向連接進(jìn)行數(shù)據(jù)通信。
按照上述技術(shù)方案,所述數(shù)據(jù)無線傳輸模塊包括內(nèi)置無線網(wǎng)卡、存儲器、時鐘芯片,存儲器和時鐘芯片分別與無線網(wǎng)卡連接,人臉檢測模塊通過無線網(wǎng)卡與深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊連接,通過手機與無線傳輸模塊連接,設(shè)置安裝教室的課程信息儲存在存儲器中。
采用以上所述的人臉識別考勤系統(tǒng)的考勤方法,考勤系統(tǒng)用于高校的課程考勤時,所述考勤方法包括以下步驟:
1)通過考勤信息管理網(wǎng)頁將學(xué)生人臉視頻、學(xué)生信息和課程信息錄入到云服務(wù)器上的人員信息數(shù)據(jù)庫中;
2)學(xué)生進(jìn)入教室時,人臉檢測模塊自動采集學(xué)生的人臉面部區(qū)域圖像;
3)數(shù)據(jù)無線傳輸模塊內(nèi)存儲有當(dāng)前的課程信息,數(shù)據(jù)無線傳輸模塊將當(dāng)前的課程信息和人臉檢測模塊呈遞的人臉數(shù)據(jù)傳送至云端服務(wù)器;
4)深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊以接受到的課程信息為標(biāo)簽,從記憶存儲模塊中調(diào)用提取特征參數(shù);
5)深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊調(diào)用提取特征參數(shù)從人臉檢測模塊呈遞的人臉視頻或圖像中提取人臉數(shù)據(jù),再以課程信息為標(biāo)簽,查找人員信息數(shù)據(jù)庫中已經(jīng)保存的人臉數(shù)據(jù),傳送至回歸分類器;
6)將提取出的人臉數(shù)據(jù)呈遞至回歸分類器,與所述的課程信息標(biāo)簽所對應(yīng)的,人員信息數(shù)據(jù)庫中的人臉數(shù)據(jù)進(jìn)行匹配,通過回歸分類器對計算人臉數(shù)據(jù)之間相似度,尋找相應(yīng)學(xué)生的信息;
7)將對應(yīng)學(xué)生的信息和當(dāng)前課程狀態(tài)在考勤記錄數(shù)據(jù)庫中進(jìn)行檢索,若未檢索到,則將其存入考勤記錄數(shù)據(jù)庫中,否則取消存入。
按照上述技術(shù)方案,所述步驟1)中,學(xué)生信息錄入包括以下步驟:
a)學(xué)生在人臉注冊端發(fā)送請求命令,并上傳自己的一段人臉面部視頻,填寫相應(yīng)的學(xué)生信息,學(xué)生信息包括學(xué)院、班級、姓名、課程信息和學(xué)號;
b)人臉面部視頻將上傳至深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊,經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊進(jìn)行處理轉(zhuǎn)化為人臉數(shù)據(jù);
c)將人臉數(shù)據(jù)與錄入的學(xué)生信息進(jìn)行對應(yīng);
d)以課程信息為標(biāo)簽,將人臉數(shù)據(jù)結(jié)合學(xué)生信息分類保存至人員信息數(shù)據(jù)庫中。
按照上述技術(shù)方案,所述步驟6)中,通過回歸分類器對人臉數(shù)據(jù)的匹配識別包括以下步驟:數(shù)據(jù)集合中包含有已經(jīng)學(xué)習(xí)到的人臉數(shù)據(jù),回歸分類器將接收的人臉數(shù)據(jù)與人員信息數(shù)據(jù)庫中的人臉數(shù)據(jù)進(jìn)行距離求解與置信度計算,當(dāng)某一人臉數(shù)據(jù)滿足下條件:1、置信度的達(dá)到85%以上,2、置信度為最高,則認(rèn)定檢測到的人臉為該人臉數(shù)據(jù)所對應(yīng)的學(xué)生;兩個條件若有一個未能達(dá)到,則不執(zhí)行下一步驟。
按照上述技術(shù)方案,步驟7)之后,還包括以下步驟:學(xué)生在考勤信息管理網(wǎng)頁上發(fā)送請求,查看自己的考勤記錄,若發(fā)現(xiàn)自己未能考勤成功,可在人臉檢測模塊前進(jìn)行補簽;任課老師、教務(wù)管理者在教務(wù)考勤管理網(wǎng)頁上登錄后,同樣發(fā)送命令與考勤記錄數(shù)據(jù)庫進(jìn)行交互。
本發(fā)明具有以下有益效果:
1、以信息中的某一特征為標(biāo)簽,分類形成人員信息數(shù)據(jù)庫,并同樣以該信息為標(biāo)簽,將卷積神經(jīng)網(wǎng)絡(luò)模型與各層參數(shù)分類存儲至記憶存儲單元,當(dāng)進(jìn)行人臉識別考勤時,依據(jù)所述標(biāo)簽快速從記憶存儲單元中調(diào)取參數(shù),從人員信息數(shù)據(jù)庫中通過參數(shù)調(diào)用與所述標(biāo)簽相關(guān)聯(lián)人員的人臉數(shù)據(jù),通過回歸分類器將人臉檢測模塊檢測到的人臉數(shù)據(jù)與從人員信息數(shù)據(jù)庫中調(diào)取的的人臉數(shù)據(jù)進(jìn)行匹配識別,將匹配識別后的結(jié)果形成考勤記錄數(shù)據(jù)庫,從而反映到考勤信息管理網(wǎng)頁上,通過分類儲存和分類調(diào)用,避免在海量的數(shù)據(jù)中進(jìn)行匹配識別,提高存儲效率和比對識別效率,使系統(tǒng)具有更好的魯棒性和更高的效率。
2、通過所述的考勤系統(tǒng)及方法,實現(xiàn)了對學(xué)生進(jìn)入課堂時的人臉識別考勤,而無需教師進(jìn)行人工考勤;通過在云端建立的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉訓(xùn)練,有效提升了人臉匹配的精確度;通過考勤記錄數(shù)據(jù)庫與考勤信息管理網(wǎng)頁的數(shù)據(jù)交互,可以讓任課老師與教務(wù)管理者查看到學(xué)生的考勤狀態(tài),能夠有效提高考勤管理的效率;學(xué)生自身可以在網(wǎng)頁上查看到自己的考勤狀態(tài),并可以在人臉檢測模塊前進(jìn)行補簽,有效地提高了考勤系統(tǒng)的可靠性;云服務(wù)器上可分區(qū)建立多個數(shù)據(jù)庫,利用課程信息作為分類樞紐,能夠應(yīng)用于多個課程乃至多個高校的考勤工作,具備良好的可拓展性。
附圖說明
圖1是本發(fā)明實施例中基于深度學(xué)習(xí)和云服務(wù)的人臉識別考勤系統(tǒng)的結(jié)構(gòu)示意圖;
圖2是本發(fā)明實施例中深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊的結(jié)構(gòu)示意圖;
圖3是本發(fā)明實施例中進(jìn)行人臉注冊時的系統(tǒng)工作流程圖;
圖4是本發(fā)明實施例中進(jìn)行人臉識別與考勤時的系統(tǒng)工作流程圖;
圖中,1-人臉檢測模塊,2-數(shù)據(jù)無線傳輸模塊,3-云端服務(wù)器,4-考勤信息管理網(wǎng)頁,5-深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊,6-回歸分類器,7-學(xué)生信息數(shù)據(jù)庫,8-考勤記錄數(shù)據(jù)庫,9-記憶存儲單元,10-存儲器,11-時鐘芯片,12-無線網(wǎng)卡,13-視頻分幀器,14-人臉提取與預(yù)處理器,15-多層卷積神經(jīng)網(wǎng)絡(luò)。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明進(jìn)行詳細(xì)說明。
參照圖1~圖4所示,本發(fā)明提供的一個實施例中的基于深度學(xué)習(xí)和云服務(wù)的人臉識別考勤系統(tǒng),其特征在于,包括人臉檢測模塊1、數(shù)據(jù)無線傳輸模塊2、云服務(wù)器和考勤信息管理網(wǎng)頁4,人臉檢測模塊1與數(shù)據(jù)無線傳輸模塊2連接,所述數(shù)據(jù)無線傳輸模塊2通過網(wǎng)絡(luò)與云服務(wù)器連接,通過考勤信息管理網(wǎng)頁4與云服務(wù)器連接,進(jìn)行雙向數(shù)據(jù)交換,通過考勤信息管理網(wǎng)頁4向云服務(wù)器上錄入、查詢和修改信息;
云服務(wù)器包括深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5、回歸分類器6、記憶存儲單元9、人員信息數(shù)據(jù)庫和考勤記錄數(shù)據(jù)庫8,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5將預(yù)先訓(xùn)練錄入的人臉視頻或圖像,轉(zhuǎn)化為人臉數(shù)據(jù),將人臉數(shù)據(jù)與人員其它錄入信息進(jìn)行對應(yīng),將對應(yīng)后的結(jié)果以信息中的某一特征為標(biāo)簽,分類保存至人員信息數(shù)據(jù)庫,以上述標(biāo)簽生成深度學(xué)習(xí)網(wǎng)絡(luò)的各層級參數(shù),形成提取特征參數(shù),分類保存在記憶存儲單元中;當(dāng)進(jìn)行人臉識別考勤時,依據(jù)所述標(biāo)簽從記憶存儲單元中調(diào)取相應(yīng)的提取特征參數(shù),從人臉檢測模塊呈遞的人臉視頻或圖像中提取人臉的數(shù)據(jù),再依據(jù)所述標(biāo)簽,查找人員信息數(shù)據(jù)庫中已經(jīng)保存的人臉數(shù)據(jù),通過回歸分類器計算相似度進(jìn)行匹配識別,將匹配識別后的結(jié)果形成考勤記錄數(shù)據(jù)庫,從而反映到考勤信息管理網(wǎng)頁上,通過分類儲存和分類調(diào)用,避免在海量的數(shù)據(jù)中進(jìn)行匹配識別,提高存儲效率和比對識別效率,使系統(tǒng)具有更好的魯棒性和更高的效率。
進(jìn)一步地,所述人臉識別考勤系統(tǒng)用于高校課程考勤時,所述某一特征標(biāo)簽為課程信息,課程信息包括課程文本信息、課程時間、課程的上課地點和任課老師,在具體實施例中人員信息數(shù)據(jù)庫為學(xué)生信息數(shù)據(jù)庫。
進(jìn)一步地,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5包括視頻分幀器13、人臉提取與預(yù)處理器14和多層卷積神經(jīng)網(wǎng)絡(luò)15,視頻分幀器13將呈遞的人臉視頻進(jìn)行分幀處理,人臉提取與預(yù)處理器14是將分幀處理后圖像或視頻轉(zhuǎn)化為人臉數(shù)據(jù)(具體實施例中,人臉數(shù)據(jù)為特征向量),將其傳輸給多層卷積神經(jīng)網(wǎng)絡(luò)15;。
進(jìn)一步地,多層卷積神經(jīng)網(wǎng)絡(luò)15依次包括輸入層、卷積層、抽樣層和輸出層,自下而上分布,頂層輸出層與回歸分類器6、記憶存儲單元9進(jìn)行連接,所述記憶存儲單元9與多層卷積神經(jīng)網(wǎng)絡(luò)15的輸出層、卷積層與抽樣層進(jìn)行連接,以某一特征信息為分類標(biāo)簽,在進(jìn)行人臉訓(xùn)練時,卷積層與抽樣層單向連接于記憶存儲單元,卷積層和抽樣層參數(shù)以上述的某一特征為標(biāo)簽,保存至記憶存儲單元;在進(jìn)行人臉識別時,記憶存儲單元9單向連接于卷積層與抽樣層,輸出層與回歸分類器6連接;人臉提取與預(yù)處理器14與記憶存儲單元9連接,對數(shù)據(jù)無線傳輸模塊2呈遞的課程信息進(jìn)行傳輸,所述卷積層與抽樣層作為網(wǎng)絡(luò)的中間層,實際在網(wǎng)絡(luò)中交替出現(xiàn)多次,所述輸出層為全連接方式,輸出層的前一抽樣層將所得的二維模式特征拉伸為一個向量,與輸出層以全連接方式相連;
對訓(xùn)練好的多層卷積神經(jīng)網(wǎng)絡(luò)15與各層級的參數(shù)進(jìn)行分區(qū)保存;在進(jìn)行人臉識別時,通過數(shù)據(jù)無線傳輸模塊2上傳的信息,調(diào)用相應(yīng)的各層級參數(shù)至多層卷積神經(jīng)網(wǎng)絡(luò)15中進(jìn)行識別。
進(jìn)一步地,考勤信息管理網(wǎng)頁4包括學(xué)生權(quán)限界面、任課老師權(quán)限界面和教務(wù)管理權(quán)限界面;
學(xué)生權(quán)限界面包括人臉注冊端和個人考勤記錄端,任課老師權(quán)限界面包括課堂考勤記錄端,教務(wù)管理權(quán)限界面包括學(xué)院考勤記錄端,考勤記錄數(shù)據(jù)庫8與考勤信息管理網(wǎng)頁4雙向連接進(jìn)行數(shù)據(jù)通信。
進(jìn)一步地,所述數(shù)據(jù)無線傳輸模塊2包括內(nèi)置無線網(wǎng)卡12、存儲器10、時鐘芯片11,存儲器10和時鐘芯片11分別與無線網(wǎng)卡12連接,人臉檢測模塊1通過無線網(wǎng)卡12與深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5連接,通過手機與無線傳輸模塊連接,設(shè)置安裝教室的課程信息儲存在存儲器10中。
采用以上所述的人臉識別考勤系統(tǒng)的考勤方法,考勤系統(tǒng)用于高校的課程考勤時,所述考勤方法包括以下步驟:
1)通過考勤信息管理網(wǎng)頁4將學(xué)生人臉視頻、學(xué)生信息和課程信息錄入到云服務(wù)器上的人員信息數(shù)據(jù)庫(具體實施例中用于高校課程考勤時人員信息數(shù)據(jù)庫即為學(xué)生信息數(shù)據(jù)庫7)中;
2)學(xué)生進(jìn)入教室時,人臉檢測模塊1自動采集學(xué)生的人臉面部區(qū)域圖像;
3)數(shù)據(jù)無線傳輸模塊2內(nèi)存儲有當(dāng)前的課程信息,數(shù)據(jù)無線傳輸模塊2將當(dāng)前的課程信息和人臉檢測模塊1呈遞的人臉數(shù)據(jù)傳送至云端服務(wù)器3;
4)深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5以接受到的課程信息為標(biāo)簽,從記憶存儲模塊中調(diào)用提取特征參數(shù);
5)深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5調(diào)用提取特征參數(shù),從人臉檢測模塊呈遞的人臉視頻或圖像中提取人臉數(shù)據(jù),再以課程信息為標(biāo)簽,查找人員信息數(shù)據(jù)庫中已經(jīng)保存的人臉數(shù)據(jù),傳送至回歸分類器;
6)將提取出的人臉數(shù)據(jù)呈遞至回歸分類器,與所述的課程信息標(biāo)簽所對應(yīng)的,人員信息數(shù)據(jù)庫中的人臉數(shù)據(jù)進(jìn)行匹配,通過回歸分類器計算人臉數(shù)據(jù)之間相似度,尋找相應(yīng)學(xué)生的信息;
7)將對應(yīng)學(xué)生的信息和當(dāng)前課程狀態(tài)在考勤記錄數(shù)據(jù)庫8中進(jìn)行檢索,若未檢索到,則將其存入考勤記錄數(shù)據(jù)庫8中,否則取消存入。
進(jìn)一步地,所述步驟1)中,學(xué)生信息錄入包括以下步驟:
a)學(xué)生在人臉注冊端發(fā)送請求命令,并上傳自己的一段人臉面部視頻,填寫相應(yīng)的學(xué)生信息,學(xué)生信息包括學(xué)院、班級、姓名、課程信息和學(xué)號;
b)人臉面部視頻將上傳至深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5,經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5進(jìn)行處理轉(zhuǎn)化為人臉數(shù)據(jù);
c)將人臉數(shù)據(jù)與錄入的學(xué)生信息進(jìn)行對應(yīng);
d)以課程信息為標(biāo)簽,將人臉數(shù)據(jù)結(jié)合學(xué)生信息分類保存至人員信息數(shù)據(jù)庫中。
進(jìn)一步地,所述步驟6)中,人臉數(shù)據(jù)的匹配識別包括以下步驟:數(shù)據(jù)集合中包含有已經(jīng)學(xué)習(xí)到的人臉數(shù)據(jù),回歸分類器6將接收的人臉數(shù)據(jù)與人員信息數(shù)據(jù)庫中的人臉數(shù)據(jù)進(jìn)行距離求解與置信度計算,當(dāng)某一人臉數(shù)據(jù)滿足下條件:1、置信度的達(dá)到85%以上,2、置信度為最高,則認(rèn)定檢測到的人臉為該人臉數(shù)據(jù)所對應(yīng)的學(xué)生;兩個條件若有一個未能達(dá)到,則不執(zhí)行下一步驟。
進(jìn)一步地,步驟7)之后,還包括以下步驟:學(xué)生在考勤信息管理網(wǎng)頁4上發(fā)送請求,查看自己的考勤記錄,若發(fā)現(xiàn)自己未能考勤成功,可在人臉檢測模塊1前進(jìn)行補簽;任課老師、教務(wù)管理者在教務(wù)考勤管理網(wǎng)頁上登錄后,同樣發(fā)送命令與考勤記錄數(shù)據(jù)庫8進(jìn)行交互;該法可防止學(xué)生進(jìn)行重復(fù)考勤,并可讓學(xué)生查看到自己的考勤狀態(tài),未識別成功時可進(jìn)行補簽。
本發(fā)明的一個實施例中,本發(fā)明的工作原理:
如圖1所示,一種基于深度學(xué)習(xí)和云服務(wù)的人臉識別高校考勤系統(tǒng)及方法,包括:人臉檢測模塊1、數(shù)據(jù)無線傳輸模塊2、云服務(wù)器和考勤信息管理網(wǎng)頁4,實現(xiàn)了對學(xué)生的人臉識別考勤,通過云端的數(shù)據(jù)處理后,可以由任課老師與教務(wù)管理者在考勤管理網(wǎng)頁上查看學(xué)生的考勤狀態(tài),此外學(xué)生也可查看到自己的考勤狀態(tài),在考勤未能成功時可以在人臉檢測模塊1前進(jìn)行補簽。
進(jìn)一步地,數(shù)據(jù)無線傳輸模塊2由無線網(wǎng)卡12、存儲器10組成;在安裝時,安裝人員可通過手機連接無線網(wǎng)卡12,將安裝位置的教室信息輸入至存儲器10中。
進(jìn)一步地,人臉注冊端屬于考勤信息管理網(wǎng)頁4中的學(xué)生權(quán)限界面,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5與學(xué)生信息數(shù)據(jù)庫7屬于云服務(wù)器;學(xué)生于人臉注冊端上傳自己的臉部視頻、姓名、班級、學(xué)院、學(xué)號、課程信息后,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5將上傳的臉部視頻分析處理,提取出人臉特征向量,并將訓(xùn)練完畢的卷積神經(jīng)網(wǎng)絡(luò)模型與各層參數(shù)保存至記憶存儲單元9,存儲時以課程信息為標(biāo)簽進(jìn)行分區(qū)存儲;而提取出的特征向量將與學(xué)生個人信息和課程信息保存至學(xué)生信息數(shù)據(jù)庫7中。
如圖2所示,闡述本發(fā)明的云服務(wù)器中的深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5結(jié)構(gòu)及其外部連接圖;深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5包括:視頻分幀器13、人臉提取與預(yù)處理器14、多層卷積神經(jīng)網(wǎng)絡(luò)15、記憶存儲單元9。其中多層卷積神經(jīng)網(wǎng)絡(luò)15分為:輸入層、卷積層、抽樣層、輸出層;輸出層與回歸分類器6連接,用于樣本測試分類。
進(jìn)一步地,所述視頻分幀器13接收來自人臉注冊端的視頻,并對視頻進(jìn)行分幀提取。特別地,所述視頻格式包括:3GP、MP4、RMVB、MOV等格式視頻。
進(jìn)一步地,所述人臉提取與預(yù)處理器14接收分幀后的圖片,進(jìn)行圖像去噪與灰度化處理后,提取圖片中的人臉區(qū)域,再進(jìn)行人臉校正,最后將該區(qū)域處理為像素32*32的矩陣。
進(jìn)一步地,所述卷積層與抽樣層作為網(wǎng)絡(luò)的中間層,實際在網(wǎng)絡(luò)中交替出現(xiàn)多次。所述輸出層為全連接方式,具體表現(xiàn)為:輸出層的前一抽樣層將所得的二維模式特征拉伸為一個向量,與輸出層以全連接方式相連。
如圖3所示,闡述本發(fā)明在學(xué)生進(jìn)行人臉注冊時的學(xué)生信息錄入方法,包括以下步驟:
a)學(xué)生在人臉注冊端發(fā)送請求命令,并上傳自己的一段人臉面部視頻、填寫學(xué)院、班級、姓名、課程信息、學(xué)號等個人信息;
b)人臉面部視頻將上傳至深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5的視頻分幀器13進(jìn)行分幀,經(jīng)過人臉提取與預(yù)處理器14提取處理后的人臉圖像矩陣,作為多層卷積神經(jīng)網(wǎng)絡(luò)15的輸入層訓(xùn)練樣本;
c)通過卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練學(xué)習(xí)得到多維度的特征向量,并進(jìn)行輸出。經(jīng)過訓(xùn)練的多層卷積神經(jīng)網(wǎng)絡(luò)15模型與各層參數(shù)將保存在記憶儲存單元;
d)學(xué)習(xí)到的特征向量結(jié)合學(xué)院、班級、姓名、課程信息、學(xué)號等個人保存在學(xué)生信息數(shù)據(jù)庫7中。
基于以上所述的方法,可以得到大量的面部區(qū)域圖像,從而能夠很好的符合卷積神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)要求。
特別地,上述人臉注冊端所錄制的視頻長度為15s,在錄制過程中注冊端將會要求學(xué)生進(jìn)行面部表情變化,偏頭等動作,以保證訓(xùn)練樣本的多樣性。
如圖4所示,闡述本發(fā)明在學(xué)生進(jìn)行人臉識別考勤時的方法,包括以下步驟:
1)學(xué)生進(jìn)入教室時,人臉檢測模塊1自動采集學(xué)生的人臉面部區(qū)域圖像;
2)數(shù)據(jù)無線傳輸模塊2中時鐘芯片11存儲當(dāng)前時間信息,并傳至存儲器10,依據(jù)存儲器10中存儲的課程信息匹配出當(dāng)前課程信息。課程信息與人臉檢測模塊1呈遞的人臉數(shù)據(jù)通過無線網(wǎng)卡12傳送至云端服務(wù)器3;
3)人臉提取與預(yù)處理器14對人臉數(shù)據(jù)進(jìn)行處理,并作為多層卷積神經(jīng)網(wǎng)絡(luò)15的測試樣本進(jìn)行輸入。課程信息傳送至記憶存儲單元9,調(diào)用已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型與各層參數(shù)至卷積層與抽樣層,提取該圖像的特征向量;
4)回歸分類器6接收提取的特征向量,根據(jù)課程信息在學(xué)生信息數(shù)據(jù)庫7中尋找該課程所對應(yīng)分類的數(shù)據(jù)集合。明顯地,數(shù)據(jù)集合中包含有已經(jīng)學(xué)習(xí)到的特征向量?;貧w分類器6將接收的特征向量與數(shù)據(jù)集合中的特征向量進(jìn)行距離求解與置信度計算,當(dāng)某一特征向量滿足下條件:1、置信度的達(dá)到85%以上,2、置信度為最高,則認(rèn)定檢測到的人臉為該特征向量所對應(yīng)的學(xué)生;兩個條件若有一個未能達(dá)到,則不執(zhí)行下一步驟;
5)將該學(xué)生對應(yīng)的姓名、班級、學(xué)院、學(xué)號、當(dāng)前課程狀態(tài)在考勤記錄數(shù)據(jù)庫8中進(jìn)行檢索,若未檢索到,則將其存入考勤記錄數(shù)據(jù)庫8中,否則取消存入。
6)學(xué)生在考勤信息管理網(wǎng)頁4上發(fā)送請求,查看自己的考勤記錄。若發(fā)現(xiàn)自己未能考勤成功,可在人臉檢測模塊1前進(jìn)行補簽;任課老師、教務(wù)管理者在教務(wù)考勤管理網(wǎng)頁上登錄后,同樣發(fā)送命令與考勤記錄數(shù)據(jù)庫8進(jìn)行交互。該法可防止學(xué)生進(jìn)行重復(fù)考勤,并可讓學(xué)生查看到自己的考勤狀態(tài),未識別成功時可進(jìn)行補簽。
該發(fā)明可應(yīng)用于多個高校,多個課堂的考勤,其具備在線查看與云端存儲考勤記錄功能,能夠有效地提高教務(wù)管理效率。
本發(fā)明的一個實施例中:
一種基于深度學(xué)習(xí)和云服務(wù)的人臉識別高??记谙到y(tǒng)及方法,由人臉檢測模塊1、數(shù)據(jù)無線傳輸模塊2、云服務(wù)器、考勤信息管理網(wǎng)頁4組成;通過在云服務(wù)器中建立深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5,預(yù)先訓(xùn)練學(xué)生的人臉圖像,獲得特征向量予以保存;再通過在教室中安裝人臉檢測模塊1與數(shù)據(jù)無線傳輸模塊2,提取學(xué)生的面部圖像并傳送至云端,作為測試樣本輸入深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5,進(jìn)行人臉匹配,將匹配結(jié)果保存至數(shù)據(jù)庫;而后通過考勤信息管理網(wǎng)頁4與數(shù)據(jù)庫交互,來獲取學(xué)生考勤信息。
上述人臉檢測模塊1與數(shù)據(jù)無線傳輸模塊2相連接,所述數(shù)據(jù)無線傳輸模塊2通過網(wǎng)絡(luò)連接于云服務(wù)器。云服務(wù)器中包含深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5、記憶存儲單元9、回歸分類器6、學(xué)生信息數(shù)據(jù)庫7、考勤記錄數(shù)據(jù)庫8。深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5中包括:視頻分幀器13、人臉提取與預(yù)處理器14、多層卷積神經(jīng)網(wǎng)絡(luò)15。其中多層卷積神經(jīng)網(wǎng)絡(luò)15自下而上包括輸入層、卷積層、抽樣層、輸出層。頂層輸出層與回歸分類器6、記憶存儲單元9進(jìn)行連接。
為了實現(xiàn)教務(wù)管理工作者與任課老師能夠查看考勤記錄,學(xué)生能夠進(jìn)行人臉信息的注冊,上述考勤信息管理網(wǎng)頁4中分為學(xué)生權(quán)限界面、任課老師權(quán)限界面、教務(wù)管理權(quán)限界面。學(xué)生權(quán)限界面中具有人臉注冊端、個人考勤記錄端;任課老師權(quán)限界面具有課堂考勤記錄端、教務(wù)管理權(quán)限界面具有學(xué)院考勤記錄端。其中考勤記錄數(shù)據(jù)庫8與考勤信息管理網(wǎng)頁4雙向連接進(jìn)行數(shù)據(jù)通信。
進(jìn)一步地,所述數(shù)據(jù)無線傳輸模塊2中含存儲器10、無線網(wǎng)卡12、時鐘芯片11。時鐘芯片11與當(dāng)前時間進(jìn)行同步。需要說明的是,存儲器10中包含當(dāng)前教室在不同時間段的課程信息,故需要安裝人員使用手機與無線網(wǎng)卡12進(jìn)行通信,進(jìn)而寫入。
進(jìn)一步地,所述人臉檢測模塊1與數(shù)據(jù)無線傳輸模塊2都需要安裝于教室內(nèi),學(xué)生走入教室后可前往人臉檢測模塊1前進(jìn)行考勤。
進(jìn)一步地,所述學(xué)生信息數(shù)據(jù)庫7中包含的信息包括:通過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5提取后的特征向量、與該人臉信息對應(yīng)的姓名、班級、學(xué)院、學(xué)號、課程信息。
進(jìn)一步地,上述學(xué)生信息數(shù)據(jù)庫7的建設(shè)方法為:以課程信息將學(xué)生進(jìn)行歸類,在特定時間特定教室相同課程的學(xué)生將被分為一類,由班級、學(xué)院、姓名、學(xué)號信息在同類中進(jìn)行具體區(qū)分,每一個學(xué)生的數(shù)據(jù)列都包含:課程信息、通過深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練模塊5提取后的特征向量、姓名、班級、學(xué)院、學(xué)號。
進(jìn)一步地,所述記憶存儲單元9與多層卷積神經(jīng)網(wǎng)絡(luò)15的輸出層、卷積層與抽樣層進(jìn)行連接。在進(jìn)行人臉訓(xùn)練時,輸出層單向連接于記憶存儲單元9;在進(jìn)行人臉識別時,記憶存儲單元9單向連接于卷積層與抽樣層;人臉提取與預(yù)處理器14也連接于記憶存儲單元9,對數(shù)據(jù)無線傳輸模塊2呈遞的課程信息進(jìn)行傳輸。
進(jìn)一步地,需要說明的是,上述的課程信息為該教室所有課程的詳細(xì)信息,包括:課程名稱、上課時間區(qū)間、上課地點、任課老師。如:課程名稱:《高等數(shù)學(xué)A下》,上課時間區(qū)間:周二上午10時至周二上午12時,上課地點:武漢理工大學(xué)第一教學(xué)樓304,任課老師:陳某某。
綜上所述,本發(fā)明有以下3個特點:
1.在云服務(wù)器中以課程信息為標(biāo)簽,建立深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò),訓(xùn)練網(wǎng)絡(luò)中的訓(xùn)練樣本為該節(jié)課的學(xué)生人臉信息,系統(tǒng)將依據(jù)學(xué)生課表建立多個上述的深度學(xué)習(xí)網(wǎng)絡(luò),每個網(wǎng)絡(luò)頂層均為分類器,用于特定課程考勤時進(jìn)行人臉識別,避免了在一個巨大的數(shù)據(jù)集中進(jìn)行分類,有效地提高了系統(tǒng)運行效率。
2.在深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練模塊中包含有記憶存儲單元9,用于儲存已經(jīng)訓(xùn)練好的多層卷積神經(jīng)網(wǎng)絡(luò)15模型與各層級的參數(shù),并能夠直接調(diào)取用于提取測試樣本的特征向量。需要說明的是,該記憶存儲單元9中儲存的多層卷積神經(jīng)網(wǎng)絡(luò)15模型與各層級的參數(shù)以課程信息為標(biāo)簽,即不同課程間的多層卷積神經(jīng)網(wǎng)絡(luò)15模型與各層級參數(shù)是不同的,它們以課程信息為標(biāo)簽,進(jìn)行分類儲存。因此在進(jìn)行人臉識別考勤時,記憶存儲單元9可以依據(jù)學(xué)生的當(dāng)前課程情況調(diào)用該課程對應(yīng)的多層卷積神經(jīng)網(wǎng)絡(luò)15模型進(jìn)行人臉識別,具備更好的魯棒性與更高的效率。
3.將云服務(wù)器與前端網(wǎng)頁進(jìn)行結(jié)合,在云服務(wù)器上建立考勤信息數(shù)據(jù)庫,與前端考勤管理網(wǎng)頁進(jìn)行數(shù)據(jù)交互,讓任課老師在手機上查看當(dāng)前課程考勤狀態(tài),同時還能讓教務(wù)管理部門工作人員在終端上查看各個班級的考勤信息。本發(fā)明具有良好的可拓展性,云服務(wù)器上可分區(qū)建立多個數(shù)據(jù)庫,因此可應(yīng)用于多個課程乃至多個高校的考勤工作。
以上的僅為本發(fā)明的較佳實施例而已,當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍,因此依本發(fā)明申請專利范圍所作的等效變化,仍屬本發(fā)明的保護(hù)范圍。