專(zhuān)利名稱：手勢(shì)識(shí)別系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用戶與計(jì)算機(jī)的交互，更具體地講，涉及用于大型顯示設(shè)備浸入式交互的手勢(shì)識(shí)別。
背景技術(shù)：
基于浸入式大型顯示設(shè)備的虛擬現(xiàn)實(shí)需要通過(guò)方便的方法來(lái)進(jìn)行人機(jī)互動(dòng)。不幸的是，對(duì)于簡(jiǎn)單的用戶交互，當(dāng)前人機(jī)交互具有障礙。因此，消費(fèi)者難以接受多媒體和虛擬現(xiàn)實(shí)應(yīng)用。例如，計(jì)算機(jī)鍵盤(pán)提供廣泛的交互能力，但是它不夠直觀，相比起來(lái)，電視遙控器更直觀，但是電視遙控器卻提供了有限的交互能力。還有一些靈活顯示界面(flexible interface)，但是它們是不方便且昂貴的。大型顯示器向人們提供了浸入式環(huán)境，因此通過(guò)人手與大型顯示器交互是非常方便的。當(dāng)前，大多數(shù)現(xiàn)有系統(tǒng)僅考慮手的位置或運(yùn)動(dòng)，但是它們不理解手的形狀的意思。實(shí)際上，由于通過(guò)不同的手指布局來(lái)表達(dá)不同的意思，因此，手的形狀對(duì)于人機(jī)交互是非常有用且有效方法。因此，本發(fā)明一種能夠通過(guò)手勢(shì)識(shí)別來(lái)與大型顯示器進(jìn)行交互的系統(tǒng)和方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種高效的手勢(shì)識(shí)別系統(tǒng)和方法。根據(jù)本發(fā)明的一方面，提供了一種手勢(shì)識(shí)別方法，包括選擇手勢(shì)模板；根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則；捕獲圖像，該圖像中包括手勢(shì)圖像；根據(jù)選擇的手勢(shì)模板和產(chǎn)生的可用規(guī)則來(lái)對(duì)手勢(shì)圖像進(jìn)行識(shí)別匹配。根據(jù)本發(fā)明的一方面，提供了一種手勢(shì)識(shí)別系統(tǒng)，包括模式選擇模塊，選擇手勢(shì)模板；規(guī)則模塊，根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則；圖像捕獲模塊，捕獲圖像，該圖像中包括手勢(shì)圖像；識(shí)別匹配模塊，根據(jù)選擇的手勢(shì)模板和產(chǎn)生的可用規(guī)則來(lái)對(duì)手勢(shì)圖像進(jìn)行識(shí)別匹配。通過(guò)本發(fā)明的手勢(shì)識(shí)別系統(tǒng)和方法具有較高的匹配度，從而使得人能夠與大型顯示器通過(guò)手勢(shì)進(jìn)行更好的交互。


圖1是示出根據(jù)本發(fā)明示例性實(shí)施例的用于大型顯示設(shè)備浸入式交互的手勢(shì)識(shí)別系統(tǒng)的結(jié)構(gòu)的框圖。圖2是顯示根據(jù)本發(fā)明示例性實(shí)施例的模式選擇模塊1選擇手勢(shì)模板的過(guò)程的流程圖。圖3是顯示根據(jù)本發(fā)明示例性實(shí)施例的識(shí)別匹配模塊6識(shí)別手形狀的操作的過(guò)程的流程圖。圖4是對(duì)步驟601中的手檢測(cè)過(guò)程的流程圖。
圖5A顯示出所有深度值的比例圖，圖5B顯示出步驟6013中的閾值方法得到的分
割結(jié)果。圖6是顯示圖3中的步驟603提取手指尖的特征點(diǎn)的示圖。圖7顯示根據(jù)本發(fā)明的將手形狀采樣與手勢(shì)模板進(jìn)行匹配的過(guò)程的流程圖。圖8中的(a)示出了錨點(diǎn)的形狀上下文特征，圖8(b)示出了旋轉(zhuǎn)不變性，圖8 (c) 示出了根據(jù)本發(fā)明的最終匹配的手勢(shì)模板和手勢(shì)采樣。圖9是根據(jù)本發(fā)明的示例性實(shí)施例的手勢(shì)識(shí)別方法。圖10示出了根據(jù)本發(fā)明示例性實(shí)施例的選擇的手勢(shì)集。
具體實(shí)施方式
圖1是示出根據(jù)本發(fā)明示例性實(shí)施例的用于大型顯示設(shè)備浸入式交互的手勢(shì)識(shí)別系統(tǒng)的結(jié)構(gòu)的框圖。該手勢(shì)識(shí)別系統(tǒng)包括模式選擇模塊1、規(guī)則模塊2、模式數(shù)據(jù)庫(kù)3、規(guī)則數(shù)據(jù)庫(kù)4、圖像捕獲模塊5和識(shí)別匹配模塊6。其中，模式選擇模塊1輸出經(jīng)選擇的手勢(shì)模板，并且將選擇的手勢(shì)模板作為輸入存儲(chǔ)到模式數(shù)據(jù)庫(kù)3中，同時(shí)也將可用的手勢(shì)模板通知給規(guī)則模塊2。規(guī)則模塊2產(chǎn)生可用規(guī)則，并將可用規(guī)則存儲(chǔ)在規(guī)則數(shù)據(jù)庫(kù)4中。圖像捕獲模塊5進(jìn)行圖像采集，并將采集的圖像發(fā)送給識(shí)別匹配模塊6，從而識(shí)別匹配模塊6進(jìn)行手勢(shì)識(shí)別。另外，模式數(shù)據(jù)庫(kù)3將手勢(shì)模板發(fā)送給識(shí)別匹配模塊6，規(guī)則數(shù)據(jù)庫(kù)4將可用規(guī)則發(fā)送給識(shí)別匹配模塊6。在本發(fā)明中，在可通過(guò)使用兩種照相機(jī)，例如可通過(guò)CXD照相機(jī)和TOF深度相機(jī)來(lái)實(shí)現(xiàn)圖像捕獲模塊5。其中，CCD (電荷藕合器件)相機(jī)提供顏色信息和灰度信息，TOF相機(jī) (深度相機(jī))提供場(chǎng)景的深度信息。圖9是根據(jù)本發(fā)明的示例性實(shí)施例的手勢(shì)識(shí)別方法。在步驟901，模式選擇模塊1輸出經(jīng)選擇的手勢(shì)模板，并且將選擇的手勢(shì)模板作為輸入存儲(chǔ)到模式數(shù)據(jù)庫(kù)3中。在步驟902，規(guī)則模塊2根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則，并將可用規(guī)則存儲(chǔ)在規(guī)則數(shù)據(jù)庫(kù)4中。在步驟903，圖像捕獲模塊5進(jìn)行圖像采集，并將采集的圖像發(fā)送給識(shí)別匹配模塊 6。在步驟904，識(shí)別匹配模塊6根據(jù)模式數(shù)據(jù)庫(kù)3中的手勢(shì)模板和規(guī)則數(shù)據(jù)庫(kù)4中的可用規(guī)則來(lái)對(duì)采集的圖像中的手勢(shì)圖像進(jìn)行識(shí)別匹配。盡管在圖9中示出步驟903在步驟901和902之后，但是步驟903也可以與步驟 901和902同時(shí)進(jìn)行。圖9中示出的步驟的順序僅是示例性的，本領(lǐng)域的技術(shù)人員可根據(jù)情況對(duì)其進(jìn)行任意修改。下面參照?qǐng)D2對(duì)模式選擇模塊1的操作進(jìn)行詳細(xì)描述。圖2是顯示根據(jù)本發(fā)明示例性實(shí)施例的模式選擇模塊1選擇手勢(shì)模板的過(guò)程的流程圖。手勢(shì)模式是手形狀匹配的手勢(shì)模板。由于存在許多不同的手形狀，因此這些手的形狀中的一些是類(lèi)似且不容易區(qū)分的。因此必須首先選擇一些容易區(qū)分的手勢(shì)作為模板。參照?qǐng)D2，在步驟101，模式選擇模塊1設(shè)定若干個(gè)候選手勢(shì)模板，個(gè)數(shù)大于期望的模板個(gè)數(shù)。在步驟102，計(jì)算各個(gè)候選手勢(shì)模板之間的相似度距離。模式選擇模塊1提取各個(gè)候選模板的特征值，并計(jì)算兩兩之間的相似度距離。其中，模板的特征值可以是一般的圖像輪廓特征，例如傅里葉描述子(Fourier Descriptor)特征、輪廓不變矩(Contour moments)特征等。然后，對(duì)每一個(gè)模板，計(jì)算它與其他模板之間相似度距離之和，對(duì)相似度距離之和最小的候選模板進(jìn)行淘汰。依次類(lèi)推，直到當(dāng)前的候選模板集的個(gè)數(shù)等于期望個(gè)數(shù)。通過(guò)這樣，在步驟103選擇出期望個(gè)數(shù)的候選模板。隨后，在步驟104將選擇出的期望個(gè)數(shù)的候選模板存儲(chǔ)到模式數(shù)據(jù)庫(kù)3中。下面對(duì)規(guī)則模塊2的操作進(jìn)行詳細(xì)描述。在本發(fā)明中，定義一些規(guī)則來(lái)幫助手勢(shì)識(shí)別。模式選擇模塊1將可用的手勢(shì)模板(即選擇出的候選模板)通知給規(guī)則模塊2。對(duì)于每一手勢(shì)模板，規(guī)則模塊2提取手勢(shì)模板的一些特征，例如，指尖的數(shù)量、各個(gè)指尖與手心連線的角度等。下面舉出一例來(lái)說(shuō)明如何產(chǎn)生規(guī)則如果姿勢(shì)類(lèi)型是A，則存在兩個(gè)指尖，并且連接指尖與手心的兩個(gè)連接線之間的角度在15度至45度的范圍之間。規(guī)則模塊 2將產(chǎn)生的規(guī)則存儲(chǔ)在規(guī)則數(shù)據(jù)庫(kù)4中。在識(shí)別匹配模塊6識(shí)別了手勢(shì)之后，識(shí)別匹配模塊6將通過(guò)這些規(guī)則來(lái)驗(yàn)證手勢(shì)的識(shí)別結(jié)果。下面將參照?qǐng)D3對(duì)識(shí)別匹配模塊6的操作進(jìn)行詳細(xì)描述。圖3是顯示根據(jù)本發(fā)明示例性實(shí)施例的識(shí)別匹配模塊6識(shí)別手形狀的操作的過(guò)程的流程圖。在步驟601，識(shí)別匹配模塊6接收從圖像捕獲模塊5捕獲的圖像，對(duì)手進(jìn)行檢測(cè)并進(jìn)行分割，從而輸出手部分的分割結(jié)果。下面將通過(guò)圖4對(duì)步驟601進(jìn)行詳細(xì)描述。在步驟602，對(duì)手區(qū)域進(jìn)行輪廓提取并且輸出手的輪廓，也就是手的邊緣點(diǎn)的集
I=I O在步驟604，對(duì)在步驟602輸出的手的輪廓提取手輪廓的特征。在步驟603，對(duì)在步驟601輸出的手部分的分割結(jié)果提取手指尖的特征點(diǎn)來(lái)進(jìn)行指尖檢測(cè)。在步驟605，接收手輪廓的特征以及手指尖的特征點(diǎn)(以下稱為手勢(shì)采樣)并將手勢(shì)采樣與手勢(shì)模板和規(guī)則模板進(jìn)行比較來(lái)識(shí)別手勢(shì)，即將手勢(shì)采樣與模板進(jìn)行匹配。圖4是對(duì)步驟601中的手檢測(cè)過(guò)程的流程圖。首先，在步驟6011，對(duì)從圖像捕獲模塊5捕獲的圖像進(jìn)行皮膚類(lèi)區(qū)域檢測(cè)以找出人臉。如果找到人臉，則在步驟6012從皮膚類(lèi)區(qū)域中去除人臉。如果沒(méi)有找到人臉，則在步驟6013對(duì)捕獲的圖像進(jìn)行深度分割，深度分割也就是利用手與臉部深度的不一致性，自動(dòng)提取深度分割閾值(即自動(dòng)閾值方法)，將臉部從圖像中去除。隨后，在步驟6014進(jìn)行連通域檢測(cè)，也就是檢測(cè)圖像中深度值相接近的部分，因此人手作為連通域被檢測(cè)出來(lái)。上述描述的手檢測(cè)過(guò)程只是一種示例。例如，在步驟6011中查找人臉以及步驟 6012中從皮膚類(lèi)區(qū)域中去除人臉是可以省略的。換句話說(shuō)，可以對(duì)捕獲的圖像直接執(zhí)行步驟6013。此外，在手檢測(cè)過(guò)程中，人臉是比對(duì)物的一種示例，它可以是圖像中任何具有其他深度的物體。
圖5A顯示出所有深度值的比例圖。圖中的A點(diǎn)和B點(diǎn)是深度值比例極大值點(diǎn)，分別代表手與臉的最大深度分布。它們中間的點(diǎn)P可以作為手-臉?lè)指畹拈撝迭c(diǎn)。圖5B顯示出步驟6013中的閾值方法得到的分割結(jié)果。圖5B中的(1)顯示出深度圖像中的人臉和手。(2)中顯示出將臉部從圖像中去除，從而得到了手的深度圖像。(；3)中的圖像是手作為連通域被檢測(cè)出來(lái)。圖6是顯示圖3中的步驟603提取手指尖的特征點(diǎn)的示圖。通過(guò)提取手指尖的特征點(diǎn)來(lái)找到正確的指尖候選點(diǎn)。指尖檢測(cè)是通過(guò)計(jì)算手輪廓上點(diǎn)的曲率來(lái)實(shí)現(xiàn)的。也就是通過(guò)一點(diǎn)的臨域所構(gòu)成線段的區(qū)域來(lái)實(shí)現(xiàn)，一般考慮該點(diǎn)左右各5個(gè)像素的長(zhǎng)度。在計(jì)算各輪廓點(diǎn)的曲率之后，如果曲率值大于設(shè)定閾值，則該點(diǎn)被判定為指尖候選點(diǎn)。圖6中顯示的點(diǎn)即為判定的指尖候選點(diǎn)。下面參照?qǐng)D6來(lái)說(shuō)明通過(guò)一些規(guī)則來(lái)消除選擇的指尖候選點(diǎn)中的錯(cuò)誤的指尖候選點(diǎn)。即符合下述規(guī)則的是錯(cuò)誤的指尖候選點(diǎn)(l)rls > R(2) Lla和Lc之間的角度α > Ta(3)候選點(diǎn)位于腕部區(qū)域其中，rls表示指尖候選點(diǎn)的橢圓的長(zhǎng)短軸比例，R表示指尖候選點(diǎn)的橢圓的長(zhǎng)短軸比例閾值，Lla表示指尖候選點(diǎn)的橢圓的長(zhǎng)軸，Lc表示指尖候選點(diǎn)的橢圓中心與手掌中心的連線，Ta表示橢圓長(zhǎng)軸和橢圓中心與手掌中心連線之間的夾角閾值。R和Ta根據(jù)實(shí)驗(yàn)確定。R取值在(1.2，2.0)之間，Ta取值在60度左右。所述指尖候選點(diǎn)的橢圓是利用上述點(diǎn)臨域內(nèi)的曲線線段通過(guò)擬合而得到的。如圖6所示，錯(cuò)誤1候選點(diǎn)屬于上述規(guī)則的第(2)和(3)點(diǎn)，即該候選點(diǎn)的橢圓的長(zhǎng)軸和橢圓中心與手掌中心連線之間的夾角過(guò)大(大于Ta)，并且該候選點(diǎn)位于腕部區(qū)域。 錯(cuò)誤2候選點(diǎn)屬于上述規(guī)則的第(1)點(diǎn)，即該候選點(diǎn)的橢圓的長(zhǎng)短軸比例過(guò)大(大于R)。通過(guò)手形狀采樣和模板之間的匹配結(jié)果來(lái)確定它們的相似度。本發(fā)明提出了用于手形狀匹配的改進(jìn)的形狀上下文(shape context)方法。原始形狀上下文方法(如 S. Belongie, J. Malik. Shape matching and object recognition using shape context. PAMI 2002)是耗費(fèi)時(shí)間的，并且對(duì)于旋轉(zhuǎn)恒定性和形狀噪聲不那么魯棒。圖7顯示根據(jù)本發(fā)明的將手形狀采樣與手勢(shì)模板進(jìn)行匹配的過(guò)程的流程圖。通過(guò)步驟603對(duì)手勢(shì)采樣進(jìn)行指尖檢測(cè)以找出指尖候選點(diǎn)。然后通過(guò)圖6描述的規(guī)則找到正確的指尖候選點(diǎn)，即錨點(diǎn)。在步驟701，通過(guò)計(jì)算手勢(shì)采樣中錨點(diǎn)與手勢(shì)模板中的錨點(diǎn)之間的相似度距離來(lái)實(shí)現(xiàn)錨點(diǎn)匹配。根據(jù)下面的等式(1)進(jìn)行錨點(diǎn)匹配，即等式(1)是總的錨點(diǎn)匹配代價(jià)(cost)
等式οc(s(i) , s(j)) =Σ mdi s (h (im) , h (jm) ) + ω 2 Σ md i s (1 en (i m), len(jm)) + co3 Σ mdis(ang(im), ang(jj) (1)通過(guò)計(jì)算等式⑴來(lái)得到兩個(gè)錨點(diǎn)的相似度距離。其中，ω是各個(gè)部分的權(quán)重值， 根據(jù)實(shí)驗(yàn)確定。dis是距離函數(shù)，m的取值是錨點(diǎn)的個(gè)數(shù)。該等式分為三部分第一部分是基于各個(gè)點(diǎn)的形狀上下文(shape context)特征進(jìn)行的，也就是形狀上下文特征的直方圖匹配，h(iffl)和h(jm)是兩錨點(diǎn)i和j的直方圖；第二部分是基于錨點(diǎn)與質(zhì)心連線長(zhǎng)度進(jìn)行匹配的，Ien(Iffl)和Ien(jm)分別是錨點(diǎn)i與質(zhì)心ο連線的長(zhǎng)度和錨點(diǎn)j與質(zhì)心ο的長(zhǎng)度； 第三部分是基于錨點(diǎn)與質(zhì)心的連線與水平線之間的夾角而進(jìn)行的相似度匹配，ang(iffl)和 ang(Jffl)是分別是錨點(diǎn)i和j與質(zhì)心ο的連線與水平線之間的夾角。通過(guò)計(jì)算等式(1)找出代價(jià)值最小的錨點(diǎn)，則為匹配的錨點(diǎn)。下面的等式(2)實(shí)現(xiàn)上述第一部分的具體算法，即計(jì)算錨點(diǎn)i和j中的形狀上下文特征的兩個(gè)直方圖的匹配代價(jià)。其中，k是直方圖柄值(bin)的個(gè)數(shù)。g(k)與h(k)分別表示兩個(gè)錨點(diǎn)的形狀上下文中的第k個(gè)bin的值。代價(jià)值Cs的值在0到1之間，代價(jià)值越小，相似度越大，則點(diǎn)的匹配度越高。
權(quán)利要求
1.一種手勢(shì)識(shí)別方法，包括 選擇手勢(shì)模板；根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則； 捕獲圖像，該圖像中包括手勢(shì)圖像；根據(jù)選擇的手勢(shì)模板和產(chǎn)生的可用規(guī)則來(lái)對(duì)手勢(shì)圖像進(jìn)行識(shí)別匹配。
2.如權(quán)利要求1所述的手勢(shì)識(shí)別方法，其中，選擇手勢(shì)模板的步驟包括設(shè)定若干個(gè)候選手勢(shì)模板，計(jì)算各個(gè)候選手勢(shì)模板之間的相似度來(lái)選擇出期望個(gè)數(shù)的候選模板。
3.如權(quán)利要求1所述的手勢(shì)識(shí)別方法，其中，根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則的步驟包括對(duì)于每一選擇的手勢(shì)模板提取特征作為可用規(guī)則。
4.如權(quán)利要求1所述的手勢(shì)識(shí)別方法，其中，根據(jù)選擇的手勢(shì)模板和產(chǎn)生的可用規(guī)則來(lái)對(duì)手勢(shì)圖像進(jìn)行識(shí)別匹配的步驟包括對(duì)圖像捕獲模塊捕獲的圖像進(jìn)行手檢測(cè)從而輸出手勢(shì)圖像； 對(duì)手勢(shì)圖像進(jìn)行手輪廓提取并且輸出手輪廓； 對(duì)輸出的手輪廓提取手輪廓特征； 對(duì)捕獲的手勢(shì)圖像提取手指尖的特征點(diǎn)來(lái)進(jìn)行指尖檢測(cè)；接收手輪廓的特征以及手指尖的特征點(diǎn)作為手勢(shì)采樣，并將手勢(shì)采樣與手勢(shì)模板和可用規(guī)則進(jìn)行比較來(lái)識(shí)別手勢(shì)。
5.如權(quán)利要求3所述的手勢(shì)識(shí)別方法，其中，提取的特征包括手勢(shì)的指尖的數(shù)量、各個(gè)指尖與手心連接線的角度。
6.如權(quán)利要求4所述的手勢(shì)識(shí)別方法，其中，對(duì)圖像捕獲模塊捕獲的圖像進(jìn)行手檢測(cè)的步驟包括對(duì)捕獲的圖像進(jìn)行皮膚類(lèi)區(qū)域檢測(cè)以找出捕獲的圖像中具有其它深度的物體，從而從皮膚類(lèi)區(qū)域中去除所述具有其它深度的物體；如果沒(méi)有找到所述具有其它深度的物體，則對(duì)捕獲的圖像進(jìn)行深度分割以將所述具有其它深度的物體從圖像中去除；對(duì)去除了所述具有其它深度的物體的圖像進(jìn)行連同域檢測(cè)，從而找出人手。
7.如權(quán)利要求4所述的手勢(shì)識(shí)別方法，其中，通過(guò)計(jì)算手輪廓上點(diǎn)的曲率來(lái)實(shí)現(xiàn)指尖檢測(cè)，從而找出指尖候選點(diǎn)，其中，符合下述規(guī)則的候選點(diǎn)被排除以找出正確的指尖候選占.(l)rls > RO) Lla和Lc之間的角度α >Ta (3)候選點(diǎn)位于腕部區(qū)域其中，rls表示指尖候選點(diǎn)的橢圓的長(zhǎng)短軸比例，R表示指尖候選點(diǎn)的橢圓的長(zhǎng)短軸比例閾值，Lla表示指尖候選點(diǎn)的橢圓的長(zhǎng)軸，Lc表示指尖候選點(diǎn)的橢圓中心與手掌中心的連線，Ta表示橢圓長(zhǎng)軸和橢圓中心與手掌中心連線之間的夾角閾值。
8.如權(quán)利要求7所述的手勢(shì)識(shí)別方法，其中，識(shí)別手勢(shì)的步驟包括通過(guò)計(jì)算手勢(shì)采樣中的指尖與手勢(shì)模板中的指尖之間的相似度距離來(lái)實(shí)現(xiàn)錨點(diǎn)匹配；通過(guò)匹配的錨點(diǎn)來(lái)分割手勢(shì)輪廓；對(duì)錨點(diǎn)分割的手勢(shì)輪廓段進(jìn)行匹配； 計(jì)算錨點(diǎn)相似度與輪廓段相似度之和。
9.如權(quán)利要求8所述的手勢(shì)識(shí)別方法，其中，通過(guò)形狀上下文特征的直方圖匹配、基于錨點(diǎn)與質(zhì)心連線長(zhǎng)度進(jìn)行匹配和基于錨點(diǎn)與質(zhì)心的連線與水平線之間的夾角進(jìn)行的相似度匹配來(lái)計(jì)算手勢(shì)采樣中的指尖與手勢(shì)模板中的指尖之間的相似度距離。
10.如權(quán)利要求9所述的手勢(shì)識(shí)別方法，其中，通過(guò)下面的等式計(jì)算兩端輪廓線P和Q 的相似度距離來(lái)對(duì)錨點(diǎn)分割的手勢(shì)輪廓段進(jìn)行匹配DSC(P,Q)=丄Σ 噸 min C(p,q) + 丄Σ arg min C(g,p)，” pePqsQm qeQP^P其中，C是cost函數(shù)，P是輪廓線P上的點(diǎn)，q是輪廓線Q上的點(diǎn)。
11.一種手勢(shì)識(shí)別系統(tǒng)，包括 模式選擇模塊，選擇手勢(shì)模板；規(guī)則模塊，根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則； 圖像捕獲模塊，捕獲圖像，該圖像中包括手勢(shì)圖像；識(shí)別匹配模塊，根據(jù)選擇的手勢(shì)模板和產(chǎn)生的可用規(guī)則來(lái)對(duì)手勢(shì)圖像進(jìn)行識(shí)別匹配。
12.如權(quán)利要求11所述的手勢(shì)識(shí)別系統(tǒng)，其中，模式選擇模塊通過(guò)設(shè)定若干個(gè)候選手勢(shì)模板，計(jì)算各個(gè)候選手勢(shì)模板之間的相似度來(lái)選擇出期望個(gè)數(shù)的候選模板。
13.如權(quán)利要求11所述的手勢(shì)識(shí)別系統(tǒng)，其中，規(guī)則模塊對(duì)于每一選擇的手勢(shì)模板提取特征作為可用規(guī)則。
14.如權(quán)利要求11所述的手勢(shì)識(shí)別系統(tǒng)，其中，識(shí)別匹配模塊包括 對(duì)圖像捕獲模塊捕獲的圖像進(jìn)行手檢測(cè)從而輸出手勢(shì)圖像的裝置； 對(duì)手勢(shì)圖像進(jìn)行手輪廓提取并且輸出手輪廓的裝置；對(duì)輸出的手輪廓提取手輪廓特征的裝置； 對(duì)捕獲的手勢(shì)圖像提取手指尖的特征點(diǎn)來(lái)進(jìn)行指尖檢測(cè)的裝置； 接收手輪廓的特征以及手指尖的特征點(diǎn)作為手勢(shì)采樣，并將手勢(shì)采樣與手勢(shì)模板和可用規(guī)則進(jìn)行比較來(lái)識(shí)別手勢(shì)的裝置。
15.如權(quán)利要求13所述的手勢(shì)識(shí)別系統(tǒng)，其中，提取的特征包括手勢(shì)的指尖的數(shù)量、 各個(gè)指尖與手心連接線的角度。
16.如權(quán)利要求14所述的手勢(shì)識(shí)別系統(tǒng)，其中，對(duì)圖像捕獲模塊捕獲的圖像進(jìn)行手檢測(cè)從而輸出手勢(shì)圖像的裝置包括對(duì)捕獲的圖像進(jìn)行皮膚類(lèi)區(qū)域檢測(cè)以找出捕獲的圖像中具有其它深度的物體以從皮膚類(lèi)區(qū)域中去除所述具有其它深度的物體的裝置；如果沒(méi)有找到所述具有其它深度的物體，則對(duì)捕獲的圖像進(jìn)行深度分割以將所述具有其它深度的物體從圖像中去除的裝置；對(duì)去除了所述具有其它深度的物體的圖像進(jìn)行連同域檢測(cè)從而找出人手的裝置。
17.如權(quán)利要求14所述的手勢(shì)識(shí)別系統(tǒng)，其中，對(duì)捕獲的手勢(shì)圖像提取手指尖的特征點(diǎn)來(lái)進(jìn)行指尖檢測(cè)的裝置包括計(jì)算手輪廓上點(diǎn)的曲率來(lái)找出指尖候選點(diǎn)的裝置，其中，符合下述規(guī)則的候選點(diǎn)被排除以找出正確的指尖候選點(diǎn)(l)rls > RO) Lla和Lc之間的角度α >Ta (3)候選點(diǎn)位于腕部區(qū)域其中，rls表示指尖候選點(diǎn)的橢圓的長(zhǎng)短軸比例，R表示指尖候選點(diǎn)的橢圓的長(zhǎng)短軸比例閾值，Lla表示指尖候選點(diǎn)的橢圓的長(zhǎng)軸，Lc表示指尖候選點(diǎn)的橢圓中心與手掌中心的連線，Ta表示橢圓長(zhǎng)軸和橢圓中心與手掌中心連線之間的夾角閾值。
18.如權(quán)利要求17所述的手勢(shì)識(shí)別系統(tǒng)，其中，識(shí)別手勢(shì)的裝置包括 通過(guò)計(jì)算手勢(shì)采樣中的指尖與手勢(shì)模板中的指尖之間的相似度距離來(lái)實(shí)現(xiàn)錨點(diǎn)匹配的裝置；通過(guò)匹配的錨點(diǎn)來(lái)分割手勢(shì)輪廓的裝置； 對(duì)錨點(diǎn)分割的手勢(shì)輪廓段進(jìn)行匹配的裝置； 計(jì)算錨點(diǎn)相似度與輪廓段相似度之和的裝置。
全文摘要
提供了一種手勢(shì)識(shí)別系統(tǒng)和方法，手勢(shì)識(shí)別方法包括選擇手勢(shì)模板；根據(jù)選擇的手勢(shì)模板產(chǎn)生可用規(guī)則；捕獲圖像，該圖像中包括手勢(shì)圖像；根據(jù)選擇的手勢(shì)模板和產(chǎn)生的可用規(guī)則來(lái)對(duì)手勢(shì)圖像進(jìn)行識(shí)別匹配。根據(jù)本發(fā)明的手勢(shì)識(shí)別系統(tǒng)和方法可用于大型顯示設(shè)備，并且使得人通過(guò)手勢(shì)能夠與大型顯示器進(jìn)行更好的交互。
文檔編號(hào)G06K9/64GK102467657SQ20101055180
公開(kāi)日2012年5月23日 申請(qǐng)日期2010年11月16日 優(yōu)先權(quán)日2010年11月16日
發(fā)明者任海兵, 王西穎 申請(qǐng)人:三星電子株式會(huì)社, 北京三星通信技術(shù)研究有限公司