專利名稱：雙手互為參考的目標控制方法
技術領域：
本發(fā)明屬于人機交互技術領域，具體涉及一種雙手互為參考的目標控制方法。
背景技術：
隨著技術的發(fā)展以及“以人為本”設計理念的深入，人機交互技術在近幾十年得到 了快速的發(fā)展，以虛擬現(xiàn)實為代表的計算機系統(tǒng)的擬人化，和以手持電腦、智能手機為代表 的微型化、隨身化、嵌入化，是當前重要的發(fā)展趨勢，通過人的一種或多種感覺通道或動作 通道，如語言、姿勢、視線或表情等輸入，可以提高人機交互的自然性和高效性?，F(xiàn)階段，人機交互的方式繁多，就其中的輸入方式而言，除鼠標、鍵盤、觸摸屏、遙 控器等，還有一系列的其它控制方式，如基于語音識別的控制方法、基于手勢的控制方法、 基于視線的控制方法等。中國專利200910103357. 1提供了一種基于手勢識別的界面漫游操作方法與裝 置，通過用戶自定義模板完成手勢識別，通過不同手勢對界面進行控制，其中包括完成鼠標 的移動、點擊等功能，此外還有圖片縮放旋轉的功能。中國專利200710021403. 4提供了一種基于手指端標記的視頻手指定位系統(tǒng)及定 位方法，在用戶指甲和手背上貼上不同顏色的圖形標記點，使用機器視覺技術跟蹤定位這 些標記，完成用戶與手指的跟蹤定位，通過手的動作，進行交互控制。目前的控制方法存在如下缺陷無法快速、精確的對目標(如光標、圖像或選項菜 單，以下相同)進行定位，導致操作時的便捷性較差。

發(fā)明內容
本發(fā)明的目的在于克服現(xiàn)有技術的缺陷，提供一種雙手互為參考的目標控制方 法，本發(fā)明可以快速、準確的對目標進行定位，并方便的實現(xiàn)對目標的控制。其技術方案如下一種雙手互為參考的目標控制方法，該方法包括如下步驟:A、開機；B、攝像頭采 集圖像序列，并在攝像頭采集的圖像序列中搜索用戶雙手；C、在攝像頭采集的圖像序列中 跟蹤雙手的運動；D、控制系統(tǒng)根據(jù)雙手的運動，來控制目標的移動方向并使其與手的移動 方向相同，且其中一只手為漂移手，通過漂移手對目標進行大范圍的移動控制(即低精度 的移動控制)，另一只手為精確手，通過精確手對目標進行高精度的移動控制。在對目標進行定位時，先通過漂移手實現(xiàn)大范圍的移動，縮小目標的移動范圍，再 采用另一只手(即精確手)，實現(xiàn)目標的高精度移動，來對目標進行定位。本發(fā)明由于兩個 手采用不同的精度，漂移手控制目標快速移動，精度低，精確手控制目標慢速移動，控制精 度高，通過兩只手結合使用，可以快速、精確的對目標進行定位，控制過程更方便。前述技術方案進一步細化的技術方案可以是所述B步驟包括如下步驟B1、搜索人臉，并判定是否有人臉存在；B2、若有人臉存 在，在人臉附近設立敏感區(qū)域，在敏感區(qū)域中搜索用戶雙手；B3、控制系統(tǒng)判定用戶雙手是
3否為有效手勢，若為有效手勢，控制系統(tǒng)進行用戶控制狀態(tài)；若為無效手勢，則控制系統(tǒng)繼 續(xù)進行人臉搜索。在所述B3步驟中，用戶一手握拳一手五指伸展，或者雙手五指伸展，同時保證手 心或拳面正對攝像頭，則為有效手勢。在所述D步驟中，控制系統(tǒng)通過左手實現(xiàn)大范圍的移動控制，通過右手實現(xiàn)高精 度的移動控制。由于大部分人的右手比較靈敏，通過右手實現(xiàn)高精度的移動控制，更符合人 們的操作習慣，當然，對于“左撇子”來說，可以對控制系統(tǒng)的默認設置進行更改。在所述D步驟中，若兩只手同時移動，則大范圍的移動控制失效，高精度的移動控 制有效。避免兩只手同時移動時造成目標定位混亂。在所述D步驟中，通過手指的彎曲或伸展來控制目標的選中或啟用。如精確手的 食指蜷曲和伸展分別定義為鼠標左鍵的按下與彈起；精確手的拇指蜷曲和伸展分別定義為 鼠標右鍵的按下與彈起。在所述D步驟中，通過手指的彎曲或伸展來控制目標的向上或向下滾動。漂移手 的食指(或拇指)的蜷曲或伸展分別定義為鼠標滾輪的向上、向下滾動。在所述D步驟中，若用戶某一只手握拳，則控制系統(tǒng)忽略該手的移動；若五指伸 展，則控制系統(tǒng)跟蹤該手的移動，并通過該手對目標的移動進行控制。本發(fā)明中，通過攝像頭獲取或跟蹤人臉或雙手的圖像，或者對圖像進行數(shù)字處理， 并將處理結果作相應的數(shù)學運算，此已是現(xiàn)有技術。在對圖像進行處理或運算過程中，可以 采用多種數(shù)學算法來實現(xiàn)。本發(fā)明所述高精度、低精度僅僅是一個相對的概念，與目標的實際移動量沒有必 然聯(lián)系，在低精度移動控制時，其移動范圍相對較大，在高精度控制時，其移動距離較小，可 以對目標的移動距離進行微調，由此可見，本發(fā)明所述“高”、“低”、“大”、“小”均只是一個相 對的概念，所以，也不存在表述不清的問題。綜上所述，本發(fā)明的創(chuàng)新在于1、相對于鼠標、遙控器或數(shù)據(jù)手套的控制方式，本控制方法不需要用戶接觸、持 有、或穿戴控制設備；2、相對現(xiàn)有基于計算機視覺的手勢控制方式，本控制方法不需要用于對手進行視 覺標記；3、相對現(xiàn)有基于計算機視覺的使用模板匹配方法的手勢控制方式，本控制方法無 需用戶記憶繁雜手勢，結合傳統(tǒng)的基于鼠標光標的控制方法達到對電腦、電視等設計進行 控制的目的，易于原有設備改造；4、相對現(xiàn)有基于計算機視覺的控制方式，本控制方法通過雙手聯(lián)合進行光標控制 的方法，其中一只手實現(xiàn)目標的漂移控制，另一只手實現(xiàn)精度控制，解決了大范圍目標移動 或控制操作效率低下問題。


圖1是本發(fā)明實施例中，控制手勢的示意圖；圖2是本發(fā)明實施例中，所述控制方法的流程簡圖；圖3是本發(fā)明實施例中，所述控制方法的詳細流程圖。
具體實施例方式下面結合附圖對本發(fā)明的實施例進行詳細說明如圖1所示，一種雙手互為參考的目標控制方法，該方法包括如下步驟A、開機；B、攝像頭采集圖像序列，并在攝像頭采集的圖像序列中搜索用戶雙手(所述B步 驟包括如下步驟Bi、搜索人臉，并判定是否有人臉存在；B2、若有人臉存在，在人臉附近 設立敏感區(qū)域，在敏感區(qū)域中搜索用戶雙手；B3、控制系統(tǒng)判定用戶雙手是否為有效手勢， 若為有效手勢，控制系統(tǒng)進行用戶控制狀態(tài)；若為無效手勢，則控制系統(tǒng)繼續(xù)進行人臉搜 索)；C、在攝像頭采集的圖像序列中跟蹤雙手的運動；D、控制系統(tǒng)根據(jù)雙手的運動，來控制目標的移動方向并使其與手的移動方向相 同，且其中一只手為漂移手，通過漂移手對目標進行大范圍的移動控制，另一只手為精確 手，通過精確手對目標進行高精度的移動控制。其中，控制系統(tǒng)通過左手實現(xiàn)大范圍的移動控制，通過右手實現(xiàn)高精度的移動控 制。若兩只手同時移動，則大范圍的移動控制失效，高精度的移動控制有效。通過手指的彎曲或伸展來控制目標的選中或啟用，或者用來控制目標的向上或向 下滾動。若用戶某一只手握拳，則控制系統(tǒng)忽略該手的移動；若五指伸展，則控制系統(tǒng)跟蹤 該手的移動，并通過該手對目標的移動進行控制。具體而言，本實施例所述方法及該方法所采用的算法如下系統(tǒng)開機，此時系統(tǒng)處于搜索用戶狀態(tài)，即1、攝像頭采集用戶圖像，在圖像中根據(jù)人臉檢測算法在圖像中搜索人臉，通過檢 測圖像中是否有人臉來判別是否有用戶的存在。2、在到人臉后進行后續(xù)操作，對每一個人臉附近設立敏感區(qū)域，在敏感區(qū)域中搜 索用戶雙手，如果用戶雙手存在且手勢為有效手勢，系統(tǒng)進入用戶控制狀態(tài)；在戶控制狀態(tài) 中，系統(tǒng)不再進行人臉搜索，而只跟蹤定位用戶雙手并對手勢進行判別。3、在用戶控制狀態(tài)中，通過左手及右手來控制目標進行移動，并通過手指動作控 制光標進行點擊。如上所述的人臉檢測算法，使用Harr-Iike特征表示人臉，使用積分圖實現(xiàn)特征 數(shù)值的快速計算；使用Adaboost算法挑選出一些最能代表人臉的矩形特征的弱分類器，按 照加權投票的方式將弱分類器構造為一個強分類器；將訓練得到的若干強分類器串聯(lián)組成 一個級聯(lián)結構的層疊分類器，級聯(lián)結構能有效地提高分類器的檢測速度；使用得到的分類 器對圖像中人臉區(qū)域與非人臉區(qū)域進行分類，并最終找出人臉區(qū)域，找到人臉區(qū)域后，記錄 人臉所在矩形，其左上角為(xf_K，yfaceK)，寬為af_K，高為bf_K，其中K表示檢測到的第K個 人臉，取正整數(shù)。如上所述的通過人臉位置建立的敏感區(qū)域為矩形，左上角坐標為(xraiK，yraiK)，寬 為araiK，高為braiK，其中K表示檢測到的第K個人臉，取正整數(shù)。在這里我們取值
5
XroiK — XfaceK_afaceKyroiK = yfaceK+bfaceKaroiK = 3afaceKbroiK = 2. 5bfaceK在敏感區(qū)域內搜索人手的方法，使用基于膚色分割的快速手勢檢測方法，分為三 個步驟首先使用膚色提取方法，檢測出敏感區(qū)域內的膚色區(qū)域；其次通過先驗知識初步 排除一些不可能是人手的區(qū)域。最后通過形態(tài)判斷確實剩余的聯(lián)通區(qū)域是否是人手，并且 精確定位指尖位置，獲取手指動作。所述的膚色分割方法，是基于YCbCr色彩空間的高斯概率模型膚色分割方法。首 先用下面的公式將RGB色彩空間轉換到YCbCr色彩空間。
'Y = 0.257犮 + 0.504G + 0.0985 + 16< Cb = -0A48R-0.219G + 0A39B + \2S
Cr 二 0.439i - 0.368G - 0.0715 + 128在YCbCr色彩空間中，采集不同環(huán)境條件下的膚色樣本訓練，得到膚色概率計算 參數(shù)。通過膚色概率計算公式P (Cb，Cr) =eXp[-0. 5 (x-m) tCT1(X-HI)]計算出像素點是膚色 點的概率。膚色概率計算公式中，均值和方差通過采集到的膚色樣本統(tǒng)計獲得，其余參數(shù)如 下χ = (Cb，Cr)τ，為CbCr空間中的像素點；m = E {χ}，為CbCr空間中所有像素的均值；C = E {(x-m) (χ-m)τ}，為CbCr空間中所有像素的方差；最終計算出p(Cb，Cr)的值，取0. 6為閾值，認為概率超過0. 6即是膚色像素點。在膚色檢測過后，得到膚色區(qū)域的二值圖像，對二值圖像進行閉操作，填補空洞， 消除噪點。對敏感區(qū)域內的每個膚色區(qū)域做初步判別，排除一些完全不可能為人手區(qū)域的 聯(lián)通區(qū)域。判斷依據(jù)如下1、根據(jù)聯(lián)通區(qū)域面積判斷面積小于300像素的聯(lián)通區(qū)域必然不是有效人手區(qū) 域。用戶臉區(qū)域面積為af_Kbf_K，那么在其對應的敏感區(qū)域內面積小于la+dZ^g的聯(lián)通 區(qū)域必然不是有效人手區(qū)域。2、根據(jù)聯(lián)通區(qū)域長寬比判斷如果聯(lián)通區(qū)域的長與寬的比值大于5或小于0.2，那 么必然不是人手區(qū)域。對聯(lián)通區(qū)域使用Sobel算子進行邊緣提取，搜索邊緣并計算每一個點的曲率，曲 率在一定區(qū)域內達到極大值的點可確定為指尖點，檢測到五個手指的手為有效手。在搜索用戶狀態(tài)下，如果檢測到人臉和有效手勢，那么系統(tǒng)進入用戶控制狀態(tài)，系 統(tǒng)對用戶雙手運動進行跟蹤定位識別，通過用戶雙手運動對目標進行控制。進入用戶控制狀態(tài)后，仍然通過用戶臉部的大小來確定跟蹤區(qū)域，因為人手運動 速度有限，兩幀之間人手位置變化不大，所以在當前幀中上一幀雙手的附近搜索用戶的手， 檢測和識別用戶雙手的方法依然使用上面的曲率檢測方法，并精確獲得指尖位置。獲取人手指尖精確位置信息后，判斷手的移動，通過這兩個特征來區(qū)別手的移動
6和手指的運動手的整體移動會導致五指指尖整體位置都發(fā)生變化；單個手指運動時，其 他指尖位置不發(fā)生變化。所以可以通過每一幀指尖的運動信息對手的運動進行判別1、計算兩幀之間每個指尖的運動向量；2、分別計算五個手指指尖X軸運動向量的方差和X軸運動向量的標準差；3、判別其方差大小，如果大于
那么說明有一手指發(fā)生了單獨運動，取運
動向量最大的指尖，即為運動的手指指尖；如小于
那么說明五指整體運動，取五
指運動向量的均值作為手掌整體運動向量。其中D為修正參數(shù)，依照實際用戶習慣改變，可 以調節(jié)目標移動與點擊之間的靈敏度。根據(jù)雙手的運動信息對設備進行操作，漂移手運動映射為目標漂移運動，精確手 運動映射為目標精確運動，手指的動作映射為各個按鍵與滾輪。由于用戶距離攝像頭遠近 不同，所以需要使用用戶人臉作為修正依據(jù)對用戶手移動的距離與目標移動的距離和速度 等做修正。精確手不動，漂移手從握拳狀態(tài)變?yōu)槲逯干煺範顟B(tài)，記錄此時漂移手位置為 (XhandO' yhando)，漂移手移動后，其當前位置為(Xhandl, yhandl)，則其運動向量為(xhandl-xhandQ， Yhandl-Yhando)，輔以修正參數(shù)和用戶設置參數(shù)后，得到目標漂移速度向量為 其中，A為用戶自定義的運動速度設置，B為根據(jù)人臉大小afa。eK修正速度向量的修 正參數(shù)。漂移手握拳不動，精確手運動，記錄此當前幀精確手位置為(Xhandtl，yhand0)，精確手 移動后，下一幀位置為(xhandl，yhandl)，則其運動向量為(xhandl-xhandQ，yhandl-yhandQ)，輔以修正參 數(shù)和用戶設置參數(shù)后，得到目標位移向量為 其中，C為用戶自定義的運動速度設置，D為根據(jù)人臉大小afa。eK修正速度向量的修 正參數(shù)。以上僅為本發(fā)明的具體實施例，并不以此限定本發(fā)明的保護范圍；在不違反本發(fā) 明構思的基礎上所作的任何替換與改進，均屬本發(fā)明的保護范圍。
權利要求
一種雙手互為參考的目標控制方法，其特征在于，該方法包括如下步驟A、開機；B、攝像頭采集圖像序列，并在攝像頭采集的圖像序列中搜索用戶雙手；C、在攝像頭采集的圖像序列中跟蹤雙手的運動；D、控制系統(tǒng)根據(jù)雙手的運動，來控制目標的移動方向并使其與手的移動方向相同，且其中一只手為漂移手，通過漂移手對目標進行大范圍的移動控制，另一只手為精確手，通過精確手對目標進行高精度的移動控制。
2.如權利要求1所述雙手互為參考的目標控制方法，其特征在于，所述B步驟包括如下 步驟Bi、搜索人臉，并判定是否有人臉存在；B2、若有人臉存在，在人臉附近設立敏感區(qū)域，在敏感區(qū)域中搜索用戶雙手。
3.如權利要求2所述雙手互為參考的目標控制方法，其特征在于，所述B步驟還包括如 下步驟B3、控制系統(tǒng)判定用戶雙手是否為有效手勢，若為有效手勢，控制系統(tǒng)進行用戶控制狀 態(tài)；若為無效手勢，則控制系統(tǒng)繼續(xù)進行人臉搜索。
4.如權利要求3所述雙手互為參考的目標控制方法，其特征在于，在所述B3步驟中，用 戶一手握拳一手五指伸展，或者雙手五指伸展，同時保證手心或拳面正對攝像頭，則為有效 手勢。
5.如權利要求1所述雙手互為參考的目標控制方法，其特征在于，在所述D步驟中，控 制系統(tǒng)通過左手實現(xiàn)大范圍的移動控制，通過右手實現(xiàn)高精度的移動控制。
6.如權利要求1所述雙手互為參考的目標控制方法，其特征在于，在所述D步驟中，若 兩只手同時移動，則大范圍的移動控制失效，高精度的移動控制有效。
7.如權利要求1至6中任一項所述雙手互為參考的目標控制方法，其特征在于，在所述 D步驟中，通過手指的彎曲或伸展來控制目標的選中或啟用。
8.如權利要求1至6中任一項所述雙手互為參考的目標控制方法，其特征在于，在所述 D步驟中，通過手指的彎曲或伸展來控制目標的向上或向下滾動。
9.如權利要求1至6中任一項所述雙手互為參考的目標控制方法，其特征在于，在所 述D步驟中，若用戶某一只手握拳，則控制系統(tǒng)忽略該手的移動；若五指伸展，則控制系統(tǒng) 跟蹤該手的移動，并通過該手對目標的移動進行控制。
全文摘要
本發(fā)明公開了一種雙手互為參考的目標控制方法，該方法包括如下步驟A、開機；B、攝像頭采集圖像序列，并在攝像頭采集的圖像序列中搜索用戶雙手；C、在攝像頭采集的圖像序列中跟蹤雙手的運動；D、控制系統(tǒng)根據(jù)雙手的運動，來控制目標的移動方向并使其與手的移動方向相同，且其中一只手為漂移手，通過漂移手對目標進行大范圍的移動控制，另一只手為精確手，通過精確手對目標進行高精度的移動控制。本發(fā)明可以快速、準確的對目標進行定位，并方便的實現(xiàn)對目標的控制。
文檔編號G06K9/00GK101901052SQ20101018772
公開日2010年12月1日 申請日期2010年5月24日 優(yōu)先權日2010年5月24日
發(fā)明者徐向民, 苗捷 申請人:華南理工大學