化為由手掌變?yōu)槿^或由拳頭變?yōu)槭终疲? 步驟（5):指尖及其運(yùn)動軌跡檢測模塊指尖及其運(yùn)動軌跡檢測模塊從檢測到的手部區(qū) 域中識別指尖，并跟蹤指尖在解鎖界面上的運(yùn)動軌跡，與步驟（1)中預(yù)設(shè)的解鎖手指軌跡 對比； 若匹配，則所述的基于視頻圖像手勢識別的非接觸式解鎖裝置由鎖定狀態(tài)變更到解鎖 狀態(tài)；若不匹配，則解鎖裝置維持不變。
2. 如權(quán)利要求1所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（3)中圖像處理與識別模塊檢測手部區(qū)域的過程為： 步驟（3. 1):對圖像采集模塊所采集的圖像進(jìn)行提取膚色區(qū)域并設(shè)定閾值將圖像二值 化； 步驟（3.2):對二值化后的圖像進(jìn)行中值濾波和形態(tài)學(xué)操作，用于消除噪聲的干擾； 步驟（3.3):對于去噪后的二值圖像進(jìn)行連通域查找，并計(jì)算每個連通域的面積，提取 的兩個面積最大的連通域； 若連通域的面積小于預(yù)設(shè)閾值，則該連通域非手部區(qū)域，將小于該閾值的連通域內(nèi)的 像素值置零； 步驟（3.4):在提取的兩個面積最大的連通域中，采用人臉檢測算法進(jìn)行人臉檢測；若 存在人臉，將人臉區(qū)域所對應(yīng)的連通域內(nèi)的像素值置零。
3. 如權(quán)利要求2所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（3. 1)中圖像采集模塊所采集的圖像為RGB圖像。
4. 如權(quán)利要求2所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（3. 1)中將圖像二值化的過程為： 將圖像采集模塊所采集的圖像轉(zhuǎn)換到Y(jié)CbCr空間，提取Cb和Cr分量并設(shè)定閾值將圖 像二值化，其中 140〈Cr〈200 并且 80〈Cb〈200。
5. 如權(quán)利要求2所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（3.2)中的形態(tài)學(xué)操作，包括膨脹和腐蝕。
6. 如權(quán)利要求2所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（3.3)中兩個面積最大的連通域分別為手的區(qū)域和臉部區(qū)域。
7. 如權(quán)利要求2所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（3.4)中的人臉檢測算法采用基于Adaboost的人臉檢測算法。
8. 如權(quán)利要求1所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（4)中圖像處理與識別模塊檢測手部區(qū)域手勢變化具體過程為： 步驟（4. 1):計(jì)算步驟（3)所獲取的手部區(qū)域的二值化圖像中心； 步驟（4.2):間隔行掃描手部區(qū)域的二值化圖像的中心以上的區(qū)域； 步驟（4. 3):設(shè)置行掃描次數(shù)h，掃描間隔為n=height/h;其中，height表示二值化 手勢圖像的中心以上的區(qū)域的高度； 步驟（4. 4):記錄每一行從像素值從0到255和255到0的跳變，像素值從0跳變到255 時開始，到255跳變到0為止，表示有一根手指； 步驟（4.5):統(tǒng)計(jì)每行平均變化的手指個數(shù)，若手指個數(shù)大于等于n這表示檢測到了手 掌；若平均手指個數(shù)為〇,這表示檢測到了拳頭；n表示系統(tǒng)設(shè)定的手掌閾值，大于該閾值表 示檢測到了手掌，n表示1，2, 3, 4, 5 ;其中，兩個手指間的間隔大于10個像素； 步驟（4.6):在檢測到手勢由手掌變?yōu)槿^或由拳頭變?yōu)槭终频臅r候啟動解鎖界面。
9. 如權(quán)利要求1所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方法， 其特征在于，所述步驟（5)中指尖及其運(yùn)動軌跡檢測模塊檢測手部區(qū)域中指尖的具體過程 為： 確定手部區(qū)域的中心，計(jì)算中心到手部邊緣的平均距離u;確定手部區(qū)域中心上部距 離中心的最遠(yuǎn)點(diǎn)的位置，以及該點(diǎn)與中心點(diǎn)之間的距離d; 若d與平均距離u之比大于1. 6,表示該位置為指尖所在位置。
10. 如權(quán)利要求9所述的一種基于視頻圖像手勢識別的非接觸式解鎖裝置的解鎖方 法，其特征在于，手部區(qū)域中心的計(jì)算公式為：
其中
，p表示0, 1 ;q表示0, 1;f(X，y)表示圖像在坐標(biāo)點(diǎn) (x，y)的像素值；N和M分別表示圖像的高度和寬度。
11. 一種如權(quán)利要求1-10任一權(quán)利要求所述基于視頻圖像手勢識別的非接觸式解鎖 裝置，其特征在于，包括： 顯示模塊，用于顯示密碼解鎖界面；及 圖像采集模塊，其用于與密碼解鎖界面相對應(yīng)的垂直方向上的圖像信息；及 圖像處理與識別模塊，其獲取圖像采集模塊所采集到的圖像信息，并識別用于啟動解 鎖界面的手勢狀態(tài)；及 指尖及其運(yùn)動軌跡跟蹤模塊，其用于從檢測到的手部區(qū)域中找到指尖，并跟蹤指尖在 解鎖界面上的運(yùn)動軌跡，該運(yùn)動軌跡作為解鎖信號，其與圖像處理與識別模塊中預(yù)存的解 鎖信號對比，若匹配則解鎖裝置由第一狀態(tài)變更到第二狀態(tài)，若不匹配，則解鎖裝置狀態(tài)維 持不變。
12. 如權(quán)利要求11所述基于視頻圖像手勢識別的非接觸式解鎖裝置，其特征在于，所 述第一狀態(tài)為鎖定狀態(tài)。
13. 如權(quán)利要求11所述基于視頻圖像手勢識別的非接觸式解鎖裝置，其特征在于，所 述第二狀態(tài)為解鎖狀態(tài)。
14. 如權(quán)利要求11所述基于視頻圖像手勢識別的非接觸式解鎖裝置，其特征在于，所 述用于啟動解鎖界面的手勢狀態(tài)為由手掌變?yōu)槿^或由拳頭變?yōu)槭终啤?br>15. 如權(quán)利要求11所述基于視頻圖像手勢識別的非接觸式解鎖裝置，其特征在于，所 述密碼解鎖界面采用九宮格圖案。
【專利摘要】本發(fā)明公開了一種基于視頻圖像手勢識別的非接觸式解鎖方法及裝置，其中，該解鎖方法包括初始化圖像處理與識別模塊中手勢庫，預(yù)設(shè)密碼解鎖界面啟動手勢和解鎖手指軌跡；圖像采集模塊采集與密碼解鎖界面相對應(yīng)的垂直方向上的圖像信息；圖像處理與識別模塊獲取圖像信息，檢測手部區(qū)域；從手部區(qū)域中識別手勢變化，若該變化的手勢與預(yù)設(shè)密碼解鎖界面啟動手勢匹配，則密碼解鎖界面啟動；從手部區(qū)域中識別指尖，并跟蹤指尖在解鎖界面上的運(yùn)動軌跡，與預(yù)設(shè)的解鎖手指軌跡對比；若匹配，則所述的基于視頻圖像手勢識別的非接觸式解鎖裝置由鎖定狀態(tài)變更到解鎖狀態(tài)；若不匹配，則解鎖裝置維持不變。
【IPC分類】G06K9-00, G06F21-36, G06F3-01
【公開號】CN104809387
【申請?zhí)枴緾N201510109768
【發(fā)明人】劉治, 宿方琪, 張海霞, 袁東風(fēng), 肖曉燕, 張偉, 孫育霖, 尚蕾
【申請人】山東大學(xué)
【公開日】2015年7月29日
【申請日】2015年3月12日