專利名稱：指示手勢的手指尖定位方法
技術領域：
本發(fā)明涉及一種指示手勢的手指尖定位方法，用于視頻數字圖像分析與理解。屬
于智能信息處理技術領域。
背景技術：
隨著計算機技術的迅猛發(fā)展，研究符合人類自然交流習慣的新穎人機交互技術異 ?；钴S，且人機交互技術已從以計算機為中心逐步轉移到以人為中心，而多媒體用戶界面 則大大豐富了計算機信息的表現形式，使用戶可以交替或同時利用多個感覺通道。然而，多 媒體用戶界面的人機交互形式，仍迫使用戶使用常規(guī)的輸入設備(如鍵盤、鼠標器和觸摸 屏等)進行輸入，成為當今人機交互的瓶頸。虛擬現實作為一種新型人機交互形式，可實現 和諧的、以人為中心的人機界面。在虛擬現實中，若以人手直接作為計算機輸入設備，則可 充分利用人類的日常技能，且不需特別訓練或學習，人機間的通信將不再需要中間媒介。在 以人手作為自然交互的工具領域中，指示手勢(pointing gesture)容易解釋。指示手勢是 人們日常生活中用手指對空間感興趣目標的反映，是人類語系發(fā)展和個體發(fā)生學的重要先 驅，可揭示人類社會智力，是一種理想的自然人機交互模式。 為實現基于指示手勢的人機交互，目前采用基于數據頭盔、數據手套和身體標記
等，這類方法為侵入式，用戶需專門訓練，操作不便；為克服上述不足，采用基于非接觸傳感
器(如攝像機)，獲取指示手勢的對象特征，確定指勢空間目標，實現人機交互，其中，指勢
空間目標，由指示手勢的手指尖與人眼視線的連線同目標所在平面的交點確定。 在獲取指示手勢的手指尖位置時， 一般有如下方法一是佩戴無線傳感手套或佩
戴特殊顏色的手套，算法需要配備專門的儀器設備，操作不便；二是要求背景簡單，指示手
勢對象單一，該方法難以適應復雜變化場景。

發(fā)明內容
本發(fā)明的目的在于針對現有指示手勢的手指尖提取方法，存在需要借助接觸性外 界設備(如手套)或要求背景簡單，指示手勢對象單一等問題，提供一種改進的指示手勢的 手指尖定位方法。它是根據指示手勢行為中的指示手勢手的特征快速定位指勢手指尖，從 而提高人機交互的靈活性和簡便性。 為達到上述目的，本發(fā)明的構思是采用背景差分法，提取指示手勢對象，運用膚 色分割方法，提取指示手勢的手部區(qū)域，根據指示手勢的手指尖位于指示手勢的手部邊沿 輪廓且距離指示手勢的手指區(qū)域重心最遠處，自動確定手指尖點，從而快速有效地定位指 示手勢的手指尖點位置。 根據上述發(fā)明構思，本發(fā)明采用下述技術方案 —種指示手勢的手指尖定位方法。它是根據指示手勢行為中的指示手勢的手部特 征，自動確定指示手勢的手指尖位置，具體步驟如下
1)啟動指示手勢圖像采集系統(tǒng)采集視頻圖像；
2)獲取背景圖像 連續(xù)采集不包含指示手勢目標的場景圖像，當某設定時間間隔內兩圖像差小于某 個設定閾值時，則將該時間間隔內的某一幅圖像作為背景圖像，否則重新采集，直到滿足設 定的時間間隔內的兩圖像差小于某個設定閾值；
3)指示手勢對象的分割 由攝像機采集的當前幀圖像與步驟2)獲取的背景圖像相減，分割出指示手勢對 象區(qū)域； 4)提取手部區(qū)域；
5)確定指示手勢的手部區(qū)域；
6)確定指示手勢的手指尖位置。
上述步驟4)的具體操作步驟如下 (1)彩色空間轉換，計算色彩值Cr， Cb :由RGB彩色空間的紅R、綠G、藍B三分量， 計算YCbCr色彩空間的色彩值Cr， Cb :
Cr = 0. 5XR-0. 4187 XG-0. 0813 XB
Cb = -0. 1687XR-0. 3313XG+0. 5XB (2)膚色區(qū)域提取分別確定色彩值Cr， Cb以及Cr/Cb的閾值T" T2， T3， T4， 丁5，將 滿足下式的所有像素組成的區(qū)域，確定為膚色區(qū)域S S = (Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n (Cr/Cb > T5) 其中，n為"邏輯與"操作符； (3)提取可能的指示手勢對象的膚色區(qū)域將同時滿足步驟3)與步驟(2)的圖像 區(qū)域，作為可能的指示手勢對象的膚色區(qū)域； (4)提取手部區(qū)域對步驟(3)的二值圖像進行連通區(qū)域搜索，計算連通區(qū)域高& 與寬Sw的比值，以及連通區(qū)域中的孔洞數H和連通區(qū)域大小W，將滿足下式的所有像素組成 的區(qū)域視為非手部區(qū)域，從步驟(3)的二值圖像區(qū)域中剔除；
F = (S"Sw > T6 n s^s,《T7) n (H > i) n W < T8
其中，Te，T"T8為閾值。 上述步驟5)確定指示手勢的手部區(qū)域的方法是分別計算經步驟(4)所得的二值 圖像連通區(qū)域的底部象素i ， j的縱坐標By :By = max (j)和橫坐標Bx :Bx = i (j = By)，將 包含具有最小By值及與之對應的Bx所組成的連通區(qū)域，確定為指示手勢的手部區(qū)域；
上述步驟6)確定指示手勢的手指尖位置的方法是計算指示手勢的手部區(qū)域重 心Cx， Cy，以及指示手勢的手部區(qū)域輪廓線上各點的像素坐標i， j到重心Cx， Cy的距離D， 將距離D具有最大值的像素坐標i， j，確定為指示手勢的手指尖位置Px， Py， Px :Px = i (D =max (D)) ， Py :Py = j (D = max (D))。
本發(fā)明的原理如下 在本發(fā)明的技術方案中，根據背景差分法能提供較完全的特征數據，基于場景中 任何可察覺的目標運動都會體現在場景圖像序列的變化中，利用當前圖像與背景圖像之間 的差分，從視頻圖像中檢測指示手勢對象。 設時間間隔At內，分別獲得tn—工與tn兩時刻的兩幀圖像f (tn—p x， y) ， f (tn， x， y)，將兩幅圖像逐象素求差值，得差分圖像Diff(x，y):
4
DiffR(x， y) = |fR(tn， x， y)-fR(tn—" x， y)
DiffG(x， y) = |fG(tn， x， y)-fG(tn—" x， y)
DiffB(x， y) = |fB(tn， x， y)-fB(tn—" x， y) 其中，DiffR，DiffG，DiffB分別對應差分圖像紅、綠、藍三分量，|f|為f的絕對值。 若時間間隔At內的兩序列圖像f(tn—px，y)，f(tn，x，y)的差值DiffR(x，y)《T|DiffG(x， y)《T|DiffB(x，y)《T，其中，T為閾值，|為"邏輯或"運算符，表明At時間間隔內沒有 變化物體，從而可將tn tn—工之間某一時刻的圖像，作為背景圖像。 利用所得背景圖像，根據當前獲取的當前幀圖像，采用背景差分法，分割出指示手 勢對象區(qū)域。 同時，盡管膚色因人而異，且千差萬別，但在YCrCb的色彩空間中，人類膚色呈現 良好的聚類特性，且對姿態(tài)變化不敏感，可克服旋轉、表情等變化影響，具有強的魯棒性。在 YCbCr模型中，Y分量表示顏色的亮度信息，Cr和Cb分量分別表示紅色和藍色的色度。從 RGB空間轉換到YCbCr空間的轉換公式如下
<formula>formula see original document page 5</formula>
在YCbCr空間中，膚色在Cb、Cr以及Cr/Cb的分布上，處在一個穩(wěn)定的范圍內，即， 在當前獲取的圖像中，將滿足(Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n (Cr/Cb > T5)
條件的像素，作為當前圖像的膚色區(qū)域，其中，n為"邏輯與"操作符。為克服當前圖像中類
膚色信息(如木地板、木柜等)的影響，將同時滿足該膚色條件所提取的膚色區(qū)域和上述采 用背景差分法分割出的指示手勢對象區(qū)域，作為指示手勢對象區(qū)域。 為提取指示手勢的手指區(qū)域，需從獲取的指示手勢對象區(qū)域中，排除也同時滿足
上述兩條件的人臉區(qū)域，由于人眼、眉毛、嘴唇等色彩特征區(qū)別于人臉膚色，因此，在提取的 人臉區(qū)域中將存在孔洞，且人臉膚色區(qū)域的高、寬的比值，分布在一個穩(wěn)定的范圍內，據此 剔除人臉對指示手勢手指區(qū)域提取的影響。 根據指示手勢的行為特征，由于指示手勢的手指區(qū)域較非指示手勢的手指區(qū)域在 圖像中偏上，因此，將包含手指區(qū)域的底部縱向象素坐標值最小的連通區(qū)域確定為指示手 勢的手部區(qū)域。由于指示手勢的食指區(qū)域在大小上較前臂區(qū)域小，因此，手指尖一定位于離 手指區(qū)域重心最遠處，從而實現指示手勢手指尖的定位。 本發(fā)明與現有技術相比較，具有如下顯而易見的突出實質性特點和顯著優(yōu)點本 發(fā)明根據指示手勢行為中的指示手勢的手部特征，以及人類膚色雖然因人而異，但在YCrCb 的色彩空間中呈現良好的聚類特性，結合背景差分方法，提取指示手勢對象的手部區(qū)域，以 及指示手勢的手指尖位于指示手勢的手部邊沿輪廓且距離指示手勢的手指區(qū)域重心最遠 處，定位指尖點，運算簡便、靈活，容易實現，解決了在提取指示手勢的手指尖時，需要借助 接觸性外界設備(如手套)或背景要求簡單、指示手勢對象單一，以及對動態(tài)場景變化敏 感、噪聲干擾大、運算復雜的不足；提高了指示手勢手指尖提取的魯棒性，可適應復雜背景 條件下指示手勢手指尖的自動定位。本發(fā)明的方法簡便、靈活、易實現。


圖i是本發(fā)明方法的操作程序框圖。 圖2是本發(fā)明一個實施例的原始背景圖像。 圖3是本發(fā)明一個實施例的當前指示手勢圖像。 圖4是本發(fā)明一個實施例的基于背景差分分割出的指示手勢對象二值圖像: 圖5是本發(fā)明一個實施例的基于YCbCr色彩空間分割出的膚色二值圖像。 圖6是本發(fā)明一個實施例的可能指示手勢對象的膚色區(qū)域 圖7提取的手部區(qū)域二值圖像。 圖8指示手勢手部區(qū)域二值圖像。
具體實施例方式本發(fā)明的一個具體實施例是操作程序如圖1所示。本例的原始背景圖像如圖2 所示，當前指示手勢圖像如圖3，根據指示手勢行為中的指示手勢的手部特征，對圖3所示 的彩色圖像，進行指示手勢的手指尖定位。具體步驟如下
1)啟動指示手勢圖像采集系統(tǒng)采集視頻圖像；
2)獲取背景圖像 連續(xù)采集不包含指示手勢目標的場景圖像，當某設定時間間隔內兩圖像差小于某 個設定閾值時，則將該時間間隔內的某一幅圖像作為背景圖像，否則重新采集，直到滿足設 定的時間間隔內的兩圖像差小于某個設定閾值；
3)指示手勢對象的分割 由當前指示手勢圖像(圖3)與原始背景圖像(圖2)相減，分割出指示手勢對象
區(qū)域，如圖4所示； 4)提取手部區(qū)域 具體操作步驟如下 (1)彩色空間轉換，計算色彩值Cr， Cb :由RGB彩色空間的紅R、綠G、藍B三分量， 計算YCbCr色彩空間的色彩值Cr， Cb : <formula>formula see original document page 6</formula>
(2)膚色區(qū)域提取分別確定色彩值Cr，Cb以及Cr/Cb的閾值范圍，將滿足下式的 所有像素組成的區(qū)域，確定為膚色區(qū)域S，如圖5所示； <formula>formula see original document page 6</formula> 其中，n為"邏輯與"操作符。 (3)提取可能的指示手勢對象的膚色區(qū)域將同時滿足步驟3)與步驟(2)的二值 圖像，作為可能的指示手勢對象的膚色區(qū)域，如圖6所示； (4)提取手部區(qū)域對圖6所示二值圖像，進行連通區(qū)域搜索，計算連通區(qū)域高Sl 與寬Sw的比值，以及連通區(qū)域中的孔洞數H和連通區(qū)域大小W，將滿足下式的所有像素組成 的區(qū)域視為非手部區(qū)域，從圖6所示的二值圖像區(qū)域中剔除，獲得手部區(qū)域，如圖7所示； <formula>formula see original document page 6</formula>
5)確定指示手勢的手部區(qū)域計算圖7所示的二值圖像連通區(qū)域的底部象素i， j的縱坐標By :By = max (j)和橫坐標Bx :Bx = i (j = By)，將包含具有最小By值及與之對 應的Bx所組成的連通區(qū)域，確定為指示手勢的手部區(qū)域，如圖8所示；
6)確定指示手勢的手指尖位置計算指示手勢的手部區(qū)域重心(Cx， Cy)，以及指 示手勢的手部區(qū)域輪廓線上各點的像素坐標i， j到重心(Cx， Cy)的距離D，將距離D具有 最大值的像素坐標i， j，確定為指示手勢的手指尖位置(Px，Py)，Px :Px= i(D = max(D))， Py :Py = j(D二max(D))，如圖8中十字叉所示。
權利要求
一種指示手勢的手指尖定位方法，其特征在于根據指示手勢行為中的指示手勢的手部特征，自動確定指示手勢的手指尖點位置，具體步驟如下1)啟動指示手勢圖像采集系統(tǒng)采集視頻圖像；2)獲取背景圖像連續(xù)采集不包含指示手勢目標的場景圖像，當某設定時間間隔內兩圖像差小于某個設定閾值時，則將該時間間隔內的某一幅圖像作為背景圖像，否則重新采集，直到滿足設定的時間間隔內的兩圖像差小于某個設定閾值；3)指示手勢對象的分割由攝像機采集的當前幀圖像與步驟2)獲取的背景圖像相減，分割出指示手勢對象區(qū)域；4)提取手部區(qū)域；5)確定指示手勢的手部區(qū)域；6)確定指示手勢的手指尖位置。
2. 根據權利要求1所述的指示手勢的手指尖定位方法，其特征在于所述步驟4)提取手 部區(qū)域的具體操作步驟如下(1) 彩色空間轉換，計算色彩值Cr， Cb :由RGB彩色空間的紅R、綠G、藍B三分量，計算 YCbCr色彩空間的色彩值Cr， Cb :Cr = 0. 5XR-0. 4187XG-0. 0813 XB Cb = -0. 1687XR-0. 3313XG+0. 5XB(2) 膚色區(qū)域提取分別確定色彩值Cr， Cb以及Cr/Cb的閾值T" T2， T3， T4， 1~5，將滿足 下式的所有像素組成的區(qū)域，確定為膚色區(qū)域SS = (Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n (Cr/Cb > T5)其中，n為"邏輯與"操作符；(3) 提取可能的指示手勢對象的膚色區(qū)域將同時滿足步驟3)與步驟(2)的圖像區(qū) 域，作為可能的指示手勢對象的膚色區(qū)域；(4) 提取手部區(qū)域對步驟(3)的二值圖像進行連通區(qū)域搜索，計算連通區(qū)域高S工與寬 S,的比值，以及連通區(qū)域中的孔洞數H和連通區(qū)域大小W，將滿足下式的所有像素組成的區(qū) 域視為非手部區(qū)域，從步驟(3)的二值圖像區(qū)域中剔除；f = (s"Sw > t6 n s"Sw《t7) n (h > i) n w < t8其中，Te，T"T8為閾值。
3. 根據權利要求1所述的指示手勢的手指尖定位方法，其特征在于所述步驟5)確定 指示手勢的手部區(qū)域的具體操作步驟如下分別計算經步驟(4)所得的二值圖像連通區(qū)域 的底部象素i， j的縱坐標By :By = max (j)和橫坐標Bx :Bx = i (j = By)，將包含具有最小 By值及與之對應的Bx所組成的連通區(qū)域，確定為指示手勢的手部區(qū)域。
4. 根據權利要求1所述的指示手勢的手指尖定位方法，其特征在于所述步驟6)確定 指示手勢的手指尖位置的方法是計算指示手勢的手部區(qū)域重心Cx， Cy，以及指示手勢的 手部區(qū)域輪廓線上各點的像素坐標i， j到重心Cx， Cy的距離D，將距離D具有最大值的像 素坐標i， j，確定為指示手勢的手指尖位置Px， Py， Px :Px = i (D = max(D)) ， Py :Py = j (D =max (D))。
全文摘要
本發(fā)明涉及一種指示手勢的手指尖定位方法。它是根據指示手勢行為中的指示手勢的手部特征，自動確定指示手勢的手指尖位置。采用背景差分法，提取指示手勢對象，運用膚色分割方法，提取指示手勢的手部區(qū)域，根據指示手勢的手指尖位于指示手勢的手部邊沿輪廓且距離指示手勢的手指區(qū)域重心最遠處，自動確定手指尖點。從而快速有效地定位指示手勢的手指尖點位置，滿足指示手勢人機交互中的特征提取要求。
文檔編號G06F3/01GK101719015SQ20091019819
公開日2010年6月2日 申請日期2009年11月3日 優(yōu)先權日2009年11月3日
發(fā)明者于蘊杰, 管業(yè)鵬 申請人:上海大學