一種基于單目視頻序列的目標人手勢交互方法
【專利摘要】本發(fā)明提出了一種基于單目視頻序列的目標人手勢交互方法，首先獲取單目視頻幀序列圖像，并使用運動檢測算法提取運動前景掩膜，使用手掌分類器檢測手掌最小外接矩形框并甄選出目標人手掌；從目標人手掌圖像中提取顏色直方圖模型，計算目標人手掌圖像的反向投影圖，統(tǒng)計目標人手掌的面積模型；對跟蹤到的目標區(qū)域，使用顏色模型計算反向投影圖，并計算當前幀目標人手的面積，以判斷目標人手的靜止姿態(tài)：拳頭或者手掌；使用拳頭和手掌兩種姿態(tài)進行點擊或者移動交互控制。本發(fā)明可在復雜背景下進行目標人手甄選，完成任意手形的跟蹤和任意預設軌跡的識別，可以在低運算能力的嵌入式平臺上得以應用，簡單、快速而穩(wěn)定。
【專利說明】一種基于單目視頻序列的目標人手勢交互方法【技術(shù)領域】
[0001]本發(fā)明涉及人機交互技術(shù)，特別是指一種基于單目視頻序列的目標人手勢交互方法。
【背景技術(shù)】
[0002]基于手勢識別的體感控制技術(shù)，已經(jīng)成為目前一種重要的人機交互手段。其通過普通攝像頭采集用戶的動作畫面，通過模式識別算法，對圖像中的手部特征進行檢測和定位，并識別出手部的形狀，將這種識別信息轉(zhuǎn)化為操作信號，反饋給智能電視等終端，并觸發(fā)相應的操作命令，如電視節(jié)目的切換，音量的調(diào)節(jié)，簡單的游戲互動等。手勢識別技術(shù)基于智能終端所配備的攝像頭，在終端安裝相應的識別軟件，即可完成以上操作，因而在硬件成本和操作方式上都具有極大的優(yōu)勢，因而該技術(shù)正在逐漸成為智能電視的標配模塊。
[0003]根據(jù)手勢識別的研究和應用的發(fā)展過程，大致可以劃分為以下幾種技術(shù)手段:
[0004](I)基于數(shù)據(jù)手套或佩戴物:通過用戶佩戴特制的手套或者標識物，通過攝像頭來進行識別，手套本身是特殊設計的，具有明顯的特征，但是這種佩戴式的操作方式，顯然難以滿足自然的人機交互的需要，因而該方法始終未得到廣泛的應用；
[0005](2)基于3D深度相機:通過三維掃描設備，獲取操作者的動態(tài)三維模型，因為其工作在3D空間，因而避免了 2D空間中存在的顏色干擾、圖像分割等大量的難題。但是3D掃描設備體積較大，硬件成本較高，所需的運算能力更高，因而難以集成并應用到大眾化的智能終端如電視、手機等設備上；
[0006](3)基于普通攝像頭2D圖像識別的技術(shù):由于這種技術(shù)是基于普通攝像頭來實現(xiàn)的，因而也是最具有大規(guī)模應用 潛力的技術(shù)，但是該技術(shù)的缺點也非常明顯:a)對于單純基于膚色特征的手勢檢測技術(shù)而言，環(huán)境的光照很容易改變手部的顏色特征，使得檢測變得困難；b)對于基于形狀特征的手勢檢測而言，復雜背景中存在的類似目標物體很容易造成誤檢；c)對于融合多種特征的手勢檢測算法而言，雖然其在檢測精度方面有所提升，但還是不能從根本上解決光照及背景的影響問題，更重要的，隨著算法復雜度的提升，其運算量急劇增加，顯然難以滿足現(xiàn)有的智能電視等終端的需要。
[0007]綜上，目前的手勢識別算法由于其本身的復雜性以及所需的大量的視頻處理，在現(xiàn)有的智能終端如智能電視的嵌入式平臺上很難得到流暢的運行。
[0008]因而如何開發(fā)簡單快速而穩(wěn)定的手勢識別算法，使其可以在低運算能力的嵌入式平臺上得以應用已成為目前急需解決的問題，而對于所有的手勢交互系統(tǒng)而言，手勢的檢測、跟蹤和識別是至關重要的部分。

【發(fā)明內(nèi)容】

[0009]本發(fā)明提出一種基于單目視頻序列的目標人手勢交互算法，解決了現(xiàn)有技術(shù)中由于手勢識別算法其本身的復雜性以及所需的大量的視頻處理，在現(xiàn)有的智能終端如智能電視的嵌入式平臺上很難得到流暢的運行的問題。[0010]本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0011]一種基于單目視頻序列的目標人手勢交互方法，包括如下步驟:
[0012]S1:交互系統(tǒng)啟動前，進行目標人手掌甄選過程:獲取單目視頻幀序列圖像，使用運動檢測算法提取運動前景掩膜，使用手掌分類器檢測手掌最小外接矩形框，根據(jù)前景掩膜和手掌最小外接矩形框的重疊情況，甄選出目標人手掌；
[0013]S2:目標人手掌特征建模過程:從目標人手掌圖像中提取顏色直方圖模型，使用顏色直方圖模型，計算目標人手掌圖像的反向投影圖，統(tǒng)計目標人手掌的面積模型；
[0014]S3:目標人手掌跟蹤過程:使用人手目標跟蹤算法以上一幀人手掌位置為初始位置進行跟蹤，找到當前幀中的目標人手掌位置，如果檢測不到人手掌，則綜合使用顏色模型的反向投影圖和運動前景掩膜進行人手掌的跟蹤；
[0015]S4:目標人手掌識別過程:包括運動軌跡識別過程、建立映射坐標系和靜態(tài)手勢識別過程；
[0016]S5:人機交互過程:使用拳頭和手掌兩種姿態(tài)進行點擊或者移動交互控制。
[0017]優(yōu)選的，步驟SI中運動檢測算法在使用統(tǒng)計背景模型求取前景掩膜時，如上一幀檢測或跟蹤到目標人手掌，則在背景模型更新中使用背景模型數(shù)據(jù)更新人手矩形區(qū)域，使用當前幀圖像數(shù)據(jù)更新非人手矩形區(qū)域。
[0018]優(yōu)選的，步驟SI中手掌分類器檢測到多個手掌時，依次根據(jù)重疊次數(shù)、矩形框尺寸、矩形框位置以及矩形框中目標的顏色進行篩選，確認目標人手掌。
[0019]優(yōu)選的，步驟S2中HSV顏色空間的直方圖中，H、S、V的分量bins數(shù)分別為{64，32，32}。
[0020]優(yōu)選的，步驟S2中提取顏色直方圖模型時的像素位于手掌檢測框中部偏下的區(qū)域。
[0021]優(yōu)選的，步驟S2中使用顏色直方圖模型，計算目標人手掌圖像的反向投影并二值化，提取目標人手掌的面積模型時，手掌的真實尺寸為目標人手掌的膚色有效像素尺寸。
[0022]優(yōu)選的，步驟S3的具體步驟如下:
[0023](I)如果檢測不到手掌，則直接使用顏色模型的反向投影圖和運動前景掩膜進行人手的跟蹤；反之進入步驟(2)；
[0024](2)在上一幀目標人手掌附近區(qū)域，使用目標人手掌顏色模型計算該區(qū)域的反向投影圖，并進行二值化，得到顏色掩膜MaksHSV ；
[0025](3)使用MaskHSV和MaskFG,排除顏色和運動干擾，得到MaskTrack ；
[0026](4)使用人手目標跟蹤算法以上一巾貞人手位置為初始位置,在MaskTrack上進行跟蹤，找到當前幀中的目標人手掌位置。
[0027]優(yōu)選的，人手目標跟蹤算法為meanshift算法。
[0028]優(yōu)選的，步驟S4中靜態(tài)手勢識別過程的具體步驟如下:
[0029](I)對跟蹤到的目標區(qū)域，使用顏色模型計算反向投影，統(tǒng)計該圖中的有效像素數(shù)，提取目標人手掌的面積，將它與面積模型比較，如果小于面積模型則識別為拳頭，如果大于面積模型則識別為手掌；
[0030](2)在檢測不到的情況下計算當前幀反向投影后的人手掌區(qū)域面積，并將它與目標人手掌面積模型相除，如果大于閾值則認為是手掌，否則為拳頭，所述閾值為MaskHSV中的像素數(shù)。
[0031]優(yōu)選的，步驟S4中建立映射坐標系的具體步驟如下:
[0032](I)對緩存的多幀人手掌位置信息進行統(tǒng)計，得到人手操控的舒適區(qū)域中心以及覽度；
[0033](2)并將此中心與顯示設備中心對應，將此寬度與顯示設備寬度對應，高度與寬度比例與顯示設備一致，建立映射坐標系，并顯示鼠標。
[0034]本發(fā)明提供的基于單目視頻序列的目標人手勢交互算法，包括目標人手甄選，跟蹤，運動軌跡識別，靜止姿態(tài)識別，操作區(qū)域與顯示區(qū)域的自適應映射，以及交互控制部分，其具有的有益效果如下:
[0035]1、可在復雜背景下進行目標人手甄選；
[0036]2、可進行任意手形的跟蹤和任意預設軌跡的識別；
[0037]3、人手操控的舒適區(qū)域自適應映射；
[0038]4、在現(xiàn)有的智能終端如智能電視的嵌入式平臺上可以流暢的運行。
【專利附圖】

【附圖說明】
[0039]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0040]圖1為本發(fā)明的工作流程框圖；
[0041]圖2為圖1中人機交互系統(tǒng)的結(jié)構(gòu)框圖；
[0042]圖3為本發(fā)明中目標人手掌甄選過程的流程示意圖；
[0043]圖4為本發(fā)明中目標人手掌特征建模過程的流程示意圖；
[0044]圖5為本發(fā)明中目標人手掌跟蹤過程的流程示意圖；
[0045]圖6為本發(fā)明中運動軌跡識別過程的流程示意圖；
[0046]圖7為本發(fā)明中建立映射坐標系的流程示意圖；
[0047]圖8為本發(fā)明中靜態(tài)手勢識別過程的流程示意圖；
[0048]圖9為本發(fā)明中人機交互過程的流程示意圖；
[0049]圖10為本發(fā)明的總工作流程示意圖。
【具體實施方式】
[0050]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0051]為了有助于和澄清隨后的實施例的描述，在對本發(fā)明的【具體實施方式】進行詳細說明之前，對部分術(shù)語進行解釋，下列的解釋應用于本說明書以及權(quán)利要求書。
[0052]MaksHSV，顏色掩膜；
[0053]MaskFG,前景掩膜；[0054]MaskTrack，跟蹤掩膜；
[0055]Haar-AdaBoost,基于 Haar 特征的 AdaBoost 的算法；
[0056]LBP-AdaBoost,基于 LBP 特征的 AdaBoost 的算法；
[0057]Hog-Boost,基于 Hog 特征的 Boost 的算法；
[0058]如圖1、圖2、圖3和圖10所示，本發(fā)明在進行人手甄選過程時，首先啟動采集裝置如攝像頭，拍攝手勢圖像視頻流并對圖像視頻流進行處理，通過對手勢圖像視頻流進行手勢分割，將手勢圖像視頻轉(zhuǎn)化為相應的圖像幀，再根據(jù)相應的圖像幀建立手勢模板，最后通過手勢識別過程來實現(xiàn)手勢轉(zhuǎn)化為相應的鼠標動作。
[0059]交互系統(tǒng)啟動前，人手甄選的具體步驟如下；
[0060]( I)獲取單目視頻序列數(shù)據(jù)；
[0061](2)使用運動檢測算法提取運動前景掩膜MaskFG ；
[0062](3)判斷MaskFG中包含的像素是否大于AREA，若是，則進入步驟(4)，反之，直接使用背景模型數(shù)據(jù)更新，沒有目標人手掌，AREA為人手圖像像素值。
[0063](4)判斷手掌分類器是否檢測手掌外接矩形框，若是，則進入步驟(5)，反之，直接使用背景模型數(shù)據(jù)更新，沒有目標人手掌。
[0064](5)判斷在多個手掌外界矩形框中，目標人手掌是否包含最多的前景像素數(shù)，若是，則使用當前幀數(shù)據(jù)更新運動檢測算法中的背景模型，目標人手掌甄選完成，反之，直接使用背景模型數(shù)據(jù)更新，沒有目標人手掌。
[0065]本發(fā)明使用背景模型更新目標人手掌區(qū)域，還可以是多個背景模型的線性組合，手掌分類器為Haar-AdaBoost, LBP-AdaBoost和Hog-Boost的任一個或其他。
[0066]如圖4所示，當手掌分類器檢測出目標人手掌時進行目標人手掌特征建模過程，目標人手掌特征模型包括尺寸模型和顏色直方圖模型，具體步驟如下:
[0067](I)判斷是否檢測到目標人手掌Rectangle [i],若是，則在Rectangle [i]中下部區(qū)域，計算像素在HSV顏色空間中的直方圖分布HistPlam[i]，即為目標人手掌的顏色模型；H，S，V分別表示色調(diào)、飽和度和亮度；
[0068](2)在Rectangle [i]區(qū)域中，計算HistPlam[i]的反向投影圖并進行二值化,得到顏色掩膜MaskHSV，計算顏色掩膜MaskHSV中的像素數(shù)，即為尺寸模型。
[0069]本發(fā)明不限于HSV顏色空間，RGB顏色空間和YUV顏色空間，其他也可。
[0070]如圖5所示，在甄選出人手以后，進行目標人手跟蹤，具體步驟如下:
[0071](I)判斷是否跟蹤目標人手掌的顏色模型HistPlam[i]，若是，則在上一幀目標人手附近區(qū)域，HSV顏色空間中，使用目標人手掌顏色模型HistPalm[i]計算反向投影圖，并進行二值化，得到顏色掩膜MaksHSV ；
[0072](2)綜合使用MaskHSV和MaskFG,排除顏色和運動干擾，得到MaskTrack，(3)使用人手跟蹤算法進行局部優(yōu)化搜索，以上一幀人手位置為初始位置，在MaskTrack上進行跟蹤，找到當前幀中的目標人手位置。
[0073]人手跟蹤算法可采用meanshift算法，meanshift算法是一種穩(wěn)定的在相關數(shù)據(jù)的密度分布里尋找局部峰值的方法，本發(fā)明不限于meanshift迭代優(yōu)化搜索算法，其它類似算法也可。
[0074]目標人手掌識別過程:包括運動軌跡識別過程、建立映射坐標系和靜態(tài)手勢識別過程，本發(fā)明通過預先定義手勢模板，提取模板的特征，建立當前輸入的手勢特征的判決函數(shù)，通過機器學習方法進行訓練，預測的匹配結(jié)果作為最后的識別結(jié)果，分析出當前手勢的含義。手勢模板為單色位圖，目前只需手掌和握拳兩種即可滿足需求，識別出圖片幀中的手勢后，需要設置對應的鼠標位置和動作，同時轉(zhuǎn)換為相應的系統(tǒng)鼠標事件。
[0075]如圖6所示，系統(tǒng)啟動前，進行運動軌跡識別過程，具體步驟如下:
[0076]首先，判斷是否跟蹤到這一幀的人手位置，若不是，則不啟動系統(tǒng)，反之則緩存這一幀的人手位置，緩存多幀人手位置，將緩存的全部人手位置進行重采樣，使其與預設軌跡在數(shù)量和分布上具有可比性，將重采樣的位置數(shù)據(jù)和預設的軌跡進行比較，即對兩個軌跡進行相似度匹配，若大于閾值則啟動系統(tǒng)，否則不啟動。
[0077]如圖7所示，當系統(tǒng)第一次處于啟動狀態(tài)時，建立映射坐標系，對緩存的多幀人手位置信息進行統(tǒng)計，得到人手操控的舒適區(qū)域中心以及寬度，并將此中心與顯示設備中心對應，將此寬度與顯示設備寬度對應，高度與寬度比例與顯示設備一致，建立映射坐標系，并顯示鼠標，具體步驟如下:
[0078]首先，判斷系統(tǒng)是否啟動，若是，則計算緩存的人手位置中心centerPalm，將centerPalm與顯示器中心對應,計算緩存的人手位置邊界寬widthPalm,將widthPalm與顯示器的寬對應，人手運動區(qū)域的高與WidthPalm的比例與顯示器的寬高比相等，計算這一幀人手的位置映射為顯示器上相應的位置，建立映射坐標系，并顯示鼠標。反之，不顯示鼠標。
[0079]使用跟蹤的人手軌跡統(tǒng)計量進行人手運動區(qū)域和顯示器控制區(qū)域一一映射，不限于使用中心和寬度統(tǒng)計量，還可以是高度或者頂點等。
[0080]如圖8所示，系統(tǒng)啟動后進行靜態(tài)手勢識別，使用顏色模型計算該區(qū)域的反向投影圖，統(tǒng)計該圖中的有效像素數(shù)，將它與面積模型比較，如果小于閾值則識別為拳頭，如果大于閾值則識別為手掌，靜態(tài)手勢識別過程步驟如下:
[0081]首先，判斷是否跟蹤到這一幀的人手位置，若是，則使用HistPlam計算跟蹤框內(nèi)的MaskHSV并統(tǒng)計MaskHSV中的像素數(shù)Area，并判斷，使用顏色模型計算該區(qū)域的反向投影圖，統(tǒng)計該圖中的有效像素數(shù)，將它與面積模型比較，如果小于閾值則識別為拳頭，如果大于閾值則識別為手掌，反之，目標人手丟失。
[0082]如圖9所示，人機交互操控需預先定義手勢映射模型，根據(jù)手勢識別的結(jié)果建立手勢交互的對應關系，轉(zhuǎn)換成相應的系統(tǒng)指令，例如，鼠標單擊、鼠標靜止等，然后根據(jù)需求驅(qū)動特定的系統(tǒng)動作模擬相應的系統(tǒng)鼠標事件，進行人機交互。系統(tǒng)啟動后，若為手掌，則鼠標映射到新位置；反之則判斷是否為拳頭，若為拳頭，則鼠標映射到新位置并開始單擊；若不為拳頭，則比較目標人手丟失幀數(shù)和WATI，若小于，則鼠標靜止，反之終止系統(tǒng)。
[0083]本發(fā)明不限于使用拳頭和手掌兩種人手靜止姿態(tài)進行點擊和移動控制，拖拽操作也可。
[0084]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種基于單目視頻序列的目標人手勢交互方法，其特征在于，包括如下步驟: S1:交互系統(tǒng)啟動前，進行目標人手掌甄選過程:獲取單目視頻幀序列圖像，使用運動檢測算法提取運動前景掩膜，使用手掌分類器檢測手掌最小外接矩形框，根據(jù)前景掩膜MaskFG和手掌最小外接矩形框的重疊情況，甄選出目標人手掌； 52:目標人手掌特征建模過程:從目標人手掌圖像中提取顏色直方圖模型，使用顏色直方圖模型，計算目標人手掌圖像的反向投影圖，統(tǒng)計目標人手掌的面積模型； 53:目標人手掌跟蹤過程:使用人手目標跟蹤算法以上一幀人手掌位置為初始位置進行跟蹤，找到當前幀中的目標人手掌位置，如果檢測不到人手掌，則綜合使用顏色模型的反向投影圖和運動前景掩膜進行人手掌的跟蹤； 54:目標人手掌識別過程:包括運動軌跡識別過程、建立映射坐標系和靜態(tài)手勢識別過程； 55:人機交互過程:使用拳頭和手掌兩種姿態(tài)進行點擊或者移動交互控制。
2.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述步驟SI中運動檢測算法在使用統(tǒng)計背景模型求取前景掩膜時，如上一幀檢測或跟蹤到目標人手掌，則在背景模型更新中使用背景模型數(shù)據(jù)更新人手矩形區(qū)域，使用當前幀圖像數(shù)據(jù)更新非人手矩形區(qū)域。
3.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述步驟Si中手掌分類器檢測到多個手掌時，依次根據(jù)重疊次數(shù)、矩形框尺寸、矩形框位置以及矩形框中目標的顏色進行篩選，確認目標人手掌。
4.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述步驟S2中HSV顏色空間的直方圖中，H、S、V的分量bins數(shù)分別為{64，32，32}。
5.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述步驟S2中提取顏色直方圖模型時的像素位于手掌檢測框中部偏下的區(qū)域。
6.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述步驟S2中使用顏色直方圖模型，計算目標人手掌圖像的反向投影并二值化，提取目標人手掌的面積模型時，手掌的真實尺寸為目標人手掌的膚色有效像素尺寸。
7.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互算法，其特征在于，所述S3的具體步驟如下: (1)如果檢測不到手掌，則直接使用顏色模型的反向投影圖和運動前景掩膜進行人手的跟蹤；反之進入步驟(2); (2)在上一幀目標人手掌附近區(qū)域，使用目標人手掌顏色模型計算該區(qū)域的反向投影圖，并進行二值化，得到顏色掩膜MaksHSV ； (3)使用MaskHSV和MaskFG,排除顏色和運動干擾，得到MaskTrack； (4)使用人手目標跟蹤算法以上一幀人手位置為初始位置,在MaskTrack上進行跟蹤，找到當前幀中的目標人手掌位置。
8.根據(jù)權(quán)利要求1或7所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述人手目標跟蹤算法為meanshift算法。
9.根據(jù)權(quán)利要求1所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述S4中靜態(tài)手勢識別過程的具體步驟如下:(1)對跟蹤到的目標區(qū)域，使用顏色模型計算反向投影，統(tǒng)計該圖中的有效像素數(shù)，提取目標人手掌的面積，將它與面積模型比較，如果小于面積模型則識別為拳頭，如果大于面積模型則識別為手掌； (2) 在檢測不到的情況下計算當前幀反向投影后的人手掌區(qū)域面積，并將它與目標人手掌面積模型相除，如果大于閾值則認為是手掌，否則為拳頭，所述閾值為MaskHSV中的像素數(shù)。
10.根據(jù)權(quán)利要求1或7所述的一種基于單目視頻序列的目標人手勢交互方法，其特征在于，所述S4中建立映射坐標系的具體步驟如下: (1)對緩存的多幀人手掌位置信息進行統(tǒng)計，得到人手操控的舒適區(qū)域中心以及寬度； (2)并將此中心與顯示設備中心對應，將此寬度與顯示設備寬度對應，高度與寬度比例與顯示設備一致，建立映射坐標系，并顯示鼠標。
【文檔編號】G06K9/00GK103530613SQ201310481745
【公開日】2014年1月22日 申請日期:2013年10月15日 優(yōu)先權(quán)日:2013年10月15日
【發(fā)明者】黃飛, 侯立民, 田澤康, 謝建, 許永喜, 張琦 申請人:無錫易視騰科技有限公司