專利名稱：影像式手部動作辨識系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影像式手部動作辨識系統(tǒng)及其方法，具體地講，涉及一種通過將連續(xù)影像分群以辨識出多個移動動作，再由多個移動動作的組合判斷出軌跡的技術(shù)領(lǐng)域。
背景技術(shù)：
徒手式人機操作接口可讓使用者不需額外的裝置便可操作計算機，例如電容式觸控系統(tǒng)或手勢操作系統(tǒng)，進而提高人機接口的操作便利性。然而，電容式觸控機制將使用者的操作空間限制在手指可碰觸到觸控面板的區(qū)域內(nèi)；且傳統(tǒng)的手勢辨識有準確性不佳的缺
點ο

發(fā)明內(nèi)容
根據(jù)上述現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的之一在于提供一種影像式手部動作辨識系統(tǒng)及其方法，以提高手部動作辨識的準確率。根據(jù)本發(fā)明的目的，提供一種影像式手部動作辨識系統(tǒng)，該系統(tǒng)包含影像接收單元、儲存單元、移動向量計算單元、動作判斷單元、軌跡辨識單元和指令執(zhí)行單元。影像接收單元接收多張連續(xù)手部影像，并將多張連續(xù)影像分群成多個影像群。儲存單元儲存多個指令、多個預(yù)設(shè)移動向量分布模型和多個預(yù)設(shè)軌跡，每個預(yù)設(shè)移動向量分布模型對應(yīng)一個預(yù)設(shè)移動動作，每個預(yù)設(shè)軌跡對應(yīng)多個指令中的一個。移動向量計算單元計算每個影像群的多個移動向量。動作判斷單元將每個影像群的多個移動向量的分布與多個預(yù)設(shè)移動向量分布模型進行比對，以從多個預(yù)設(shè)移動動作中判斷出每個影像群的對應(yīng)移動動作。軌跡辨識單元將每個影像群的對應(yīng)移動動作組合，并將組合與多個預(yù)設(shè)軌跡進行比對，以從多個指令中決定所選指令。指令執(zhí)行單元執(zhí)行所選指令。其中，影像式手部動作辨識系統(tǒng)還可包含手勢辨識單元，手勢辨識單元根據(jù)連續(xù)手部影像辨識出手勢，并判斷手勢是否符合開始手勢或結(jié)束手勢。其中，移動向量計算單元根據(jù)每個影像群的第一張手部影像與最后一張手部影像來計算多個移動向量。其中，預(yù)設(shè)移動向量分布模型為移動向量三維直方等化圖(histogram equalization) 0其中，動作判斷單元計算每個影像群的多個移動向量的分布與多個預(yù)設(shè)移動向量分布模型之間的歐式距離(Euclidean distance)，并根據(jù)歐式距離來判斷出對應(yīng)移動動作。其中，多個預(yù)設(shè)移動動作包含向左移動動作、向右移動動作、向下移動動作或向上移動動作。根據(jù)本發(fā)明的目的，又提供了一種影像式手部動作辨識方法，該方法包含下列步驟(A)提供多個指令、多個預(yù)設(shè)移動向量分布模型和多個預(yù)設(shè)軌跡，多個預(yù)設(shè)移動向量分布模型中每一個對應(yīng)一個預(yù)設(shè)移動動作，每個預(yù)設(shè)軌跡對應(yīng)多個指令中的一個；(B)將多張連續(xù)影像分群成多個影像群；(C)計算每個影像群的多個移動向量；(D)將每個影像群的多個移動向量的分布與多個預(yù)設(shè)移動向量分布模型進行比對，以從多個預(yù)設(shè)移動動作中判斷出每個影像群的對應(yīng)移動動作；(E)將每個影像群所對應(yīng)的預(yù)設(shè)移動動作組合，并將組合與多個預(yù)設(shè)軌跡進行比對，以從多個指令中決定所選指令；(F)執(zhí)行所選指令。其中，該影像式手部動作辨識方法還包含以下步驟根據(jù)連續(xù)手部影像辨識出手勢；當(dāng)手勢符合開始手勢時，開始執(zhí)行步驟(C)；當(dāng)手勢符合結(jié)束手勢時，停止執(zhí)行步驟 (C)。其中，步驟(C)還包含根據(jù)每個影像群的第一張手部影像與最后一張手部影像來計算多個移動向量。其中，預(yù)設(shè)移動向量分布模型為移動向量三維直方等化圖。其中，步驟(D)還包含計算每個影像群的多個移動向量的分布與多個預(yù)設(shè)移動向量分布模型之間的歐式距離；根據(jù)歐式距離來判斷出對應(yīng)移動動作。其中，多個預(yù)設(shè)移動動作優(yōu)選地包含向左移動動作、向右移動動作、向下移動動作或向上移動動作。


圖1為本發(fā)明的影像式手部動作辨識系統(tǒng)的實施方塊圖；圖2為本發(fā)明的多個影像群的示意圖；圖3為本發(fā)明的移動向量分布模型的示意圖；圖4為本發(fā)明的影像式手部動作辨識方法的第一實施流程圖；圖5為本發(fā)明的影像式手部動作辨識方法的第二實施流程圖。主要元件符號說明11 影像接收單元121 指令123 預(yù)設(shè)軌跡128 開始手勢13:移動向量計算單元142、143 對應(yīng)移動動作151 所選指令17 攝影機172 第一影像群1721、1731 移動向量1723、1733 最后一張手部影像18 手勢辨識單元181 手勢41 46 步驟流程501 510 步驟流程
具體實施例方式參照圖1，圖1為本發(fā)明的影像式手部動作辨識系統(tǒng)的實施例方塊圖。在圖1中， 影像式手部動作辨識系統(tǒng)包含影像接收單元U、儲存單元12、移動向量計算單元13、動作
12 儲存單元
122 預(yù)設(shè)移動向量分布模型 124 預(yù)設(shè)移動動作 129 結(jié)束手勢 14 動作判斷單元 15 軌跡辨識單元 16 指令執(zhí)行單元 171 手部影像 173 第二影像群 1722、1732 第一張手部影像
5判斷單元14、軌跡辨識單元15和指令執(zhí)行單元16。儲存單元12用以儲存多個指令121、 多個預(yù)設(shè)移動向量分布模型122和多個預(yù)設(shè)軌跡123，每個預(yù)設(shè)移動向量分布模型122對應(yīng)一個預(yù)設(shè)移動動作124，每個預(yù)設(shè)軌跡123對應(yīng)一個指令121。其中，這些預(yù)設(shè)移動動作 IM優(yōu)選地包含向左移動動作、向右移動動作、向下移動動作和向上移動動作。影像接收單元11從攝影機17接收多張連續(xù)手部影像171，并將多張連續(xù)手部影像171分群成多個影像群。在該實施方塊圖中，多個影像群以第一影像群172和第二影像群173來進行說明。移動向量計算單元13計算第一影像群172的多個移動向量1721以及第二影像群 173的多個移動向量1731。其中，移動向量計算單元13優(yōu)選地以影像群的第一張手部影像與最后一張手部影像來計算該影像群的移動向量(motion vector)。參照圖2，圖2為本發(fā)明的多個影像群的示意圖。在圖2中，第一影像群172和第二影像群173分別包含7個手部影像。移動向量計算單元13以第一張手部影像1722和最后一張手部影像1723計算移動向量1721 ；并以第一張手部影像1732和最后一張手部影像1733計算移動向量1731，如圖3中(A)所示。接著，動作判斷單元14分別將多個移動向量1721的分布和多個移動向量 1731的分布與多個預(yù)設(shè)移動向量分布模型122進行比對，以從多個預(yù)設(shè)移動動作124中決定出第一影像群172的對應(yīng)移動動作142以及第二影像群173的對應(yīng)移動動作143。其中， 預(yù)設(shè)移動向量分布模型優(yōu)選地為移動向量三維直方等化圖(histogram equalization)，如圖3中(B)所示。動作判斷單元14計算該每個影像群的多個移動向量的分布與多個移動向量三維直方等化圖之間的歐式距離(Euclidean distance)，并根據(jù)歐式距離來判斷出對應(yīng)移動動作。其中，兩張影像之間的移動向量的計算方式以及歐式距離的計算方式為本領(lǐng)域的技術(shù)人員所熟知，故在此不再贅述。軌跡辨識單元15將對應(yīng)移動動作142和對應(yīng)移動動作143組合，并將組合與多個預(yù)設(shè)軌跡123進行比對，以從多個指令121中決定所選指令 151。指令執(zhí)行單元16執(zhí)行該所選指令151。其中，儲存單元12根據(jù)需要可儲存開始手勢1 和結(jié)束手勢129，手勢辨識單元 18根據(jù)連續(xù)手部影像辨識出手勢181，并判斷手勢181是否符合開始手勢1 或結(jié)束手勢 129。當(dāng)該手勢符合開始手勢時，動作判斷單元14開始進行上述移動向量的計算；當(dāng)該手勢符合結(jié)束手勢時，動作判斷單元14結(jié)束上述移動向量的計算。參照圖4，圖4為本發(fā)明的影像式手部動作辨識方法的第一實施流程圖。在圖4中， 該第一實施流程包含下列步驟。在步驟41中，提供多個指令、多個預(yù)設(shè)移動向量分布模型和多個預(yù)設(shè)軌跡，每個預(yù)設(shè)移動向量分布模型對應(yīng)一個預(yù)設(shè)移動動作，每個預(yù)設(shè)軌跡對應(yīng)該多個指令中的一個。在步驟42中，接收多張連續(xù)影像，并將這些連續(xù)影像分群成多個影像群，如圖2所示。在步驟43中，計算每個影像群的多個移動向量，如圖3中(A)所示。其中，步驟43優(yōu)選地根據(jù)影像群的第一張手部影像與最后一張手部影像來計算移動向量。在步驟44中，將每個影像群的多個移動向量的分布與多個預(yù)設(shè)移動向量分布模型進行比對， 并根據(jù)比對結(jié)果判斷每個影像群所對應(yīng)的一個預(yù)設(shè)移動動作。其中，該預(yù)設(shè)移動向量分布模型為移動向量三維直方等化圖，如圖3中(B)所示；在步驟44的實施中可計算每個影像群的多個移動向量的分布與多個移動向量三維直方等化圖之間的歐式距離，再根據(jù)歐式距離來判斷出對應(yīng)移動動作。其中，該對應(yīng)移動動作優(yōu)選地為向左移動動作、向右移動動作、 向下移動動作或向上移動動作。在步驟45中，將多個影像群中每一個的對應(yīng)移動動作組合，并將組合與多個預(yù)設(shè)軌跡進行比對，以從多個指令中決定所選指令。在步驟46中，執(zhí)行該所選指令。參照圖5，圖5為本發(fā)明的影像式手部動作辨識方法的第二實施流程圖。在圖5 中，該第二實施流程適用于圖1所示的影像式手部動作辨識系統(tǒng)，該流程包含下列步驟。在步驟501中，影像接收單元11從攝影機17接收多張連續(xù)手部影像171。在步驟502中，手勢辨識單元18根據(jù)多張連續(xù)手部影像171辨識手勢181。在步驟503中，手勢辨識單元18 判斷該手勢181是否符合開始手勢128。如果為否，則執(zhí)行步驟501。如果手勢符合開始手勢，則在步驟504中影像接收單元11接收多張連續(xù)手部影像，并把手部影像分成第一影像群172和第二影像群173，根據(jù)需要可將連續(xù)手部影像分成更多的影像群。接著在步驟505 中移動向量計算單元13以每個影像群的第一手部影像和最后手部影像來計算多個移動向量。在步驟506中，動作判斷單元14將每個影像群的多個移動向量的分布與多個預(yù)設(shè)移動向量分布模型進行比對，以從多個預(yù)設(shè)移動動作中判斷出多個影像群中每一個的對應(yīng)移動動作。在步驟507中，軌跡辨識單元15將每個影像群的對應(yīng)移動動作組合，并將組合與多個預(yù)設(shè)軌跡123進行比對，以從多個指令121中決定所選指令151。在步驟508中由指令執(zhí)行單元16執(zhí)行所選指令。在步驟509中，手勢辨識單元18根據(jù)多張連續(xù)手部影像171 辨識出手勢181。在步驟510中判斷該手勢是否符合結(jié)束手勢。如果該手勢符合結(jié)束手勢， 則執(zhí)行步驟501 ；如果該手勢不符合結(jié)束手勢，則執(zhí)行步驟504。上述實施例僅為示出性的，而非限制性的。任何未脫離本發(fā)明的精神和范圍，而對其進行的等效修改或改變，均應(yīng)包含在權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種影像式手部動作辨識系統(tǒng)，其特征在于，所述系統(tǒng)包含影像接收單元，接收多張連續(xù)手部影像，并將所述多張連續(xù)手部影像分群成多個影像群；儲存單元，儲存多個指令、多個預(yù)設(shè)移動向量分布模型和多個預(yù)設(shè)軌跡，所述多個預(yù)設(shè)移動向量分布模型中每一個對應(yīng)多個預(yù)設(shè)移動動作中的每一個，所述多個預(yù)設(shè)軌跡中每一個對應(yīng)所述多個指令中的一個；移動向量計算單元，計算所述多個影像群中每一個的所述多個移動向量；動作判斷單元，將所述多個影像群中每一個的多個移動向量的分布與所述多個預(yù)設(shè)移動向量分布模型進行比對，以從所述多個預(yù)設(shè)移動動作中判斷出所述多個影像群中每一個的對應(yīng)移動動作；軌跡辨識單元，將所述多個影像群中每一個的所述對應(yīng)移動動作組合，并將組合與所述多個預(yù)設(shè)軌跡進行比對，以從所述多個指令中決定所選指令；指令執(zhí)行單元，執(zhí)行所述所選指令。
2.如權(quán)利要求1所述的影像式手部動作辨識系統(tǒng)，其特征在于，還包含手勢辨識單元， 所述手勢辨識單元根據(jù)所述連續(xù)手部影像辨識出手勢，并判斷所述手勢是否符合開始手勢或結(jié)束手勢。
3.如權(quán)利要求1所述的影像式手部動作辨識系統(tǒng)，其特征在于，所述移動向量計算單元根據(jù)所述多個影像群中每一個的第一張手部影像與最后一張手部影像來計算所述多個移動向量。
4.如權(quán)利要求1所述的影像式手部動作辨識系統(tǒng)，其特征在于，所述預(yù)設(shè)移動向量分布模型為移動向量三維直方等化圖。
5.如權(quán)利要求4所述的影像式手部動作辨識系統(tǒng)，其特征在于，所述動作判斷單元計算所述多個影像群中每一個的所述多個移動向量的分布與所述多個預(yù)設(shè)移動向量分布模型之間的歐式距離，并根據(jù)所述歐式距離來判斷出所述對應(yīng)移動動作。
6.如權(quán)利要求1所述的影像式手部動作辨識系統(tǒng)，其特征在于，所述多個預(yù)設(shè)移動動作包含向左移動動作、向右移動動作、向下移動動作和向上移動動作。
7.一種影像式手部動作辨識方法，其特征在于，所述方法包含以下步驟A提供多個指令、多個預(yù)設(shè)移動向量分布模型和多個預(yù)設(shè)軌跡，所述多個預(yù)設(shè)移動向量分布模型中每一個對應(yīng)多個預(yù)設(shè)移動動作中每一個，所述多個預(yù)設(shè)軌跡中每一個對應(yīng)所述多個指令中的一個；B將多張連續(xù)手部影像分群成多個影像群；C計算所述多個影像群中每一個的多個移動向量；D將所述多個影像群中每一個的所述多個移動向量的分布與所述多個預(yù)設(shè)移動向量分布模型進行比對，以從所述多個預(yù)設(shè)移動動作中判斷出所述多個影像群中每一個的對應(yīng)移動動作；E將所述多個影像群中每一個的所述對應(yīng)移動動作組合，并將組合與所述多個預(yù)設(shè)軌跡進行比對，以從所述多個指令中決定所選指令；F執(zhí)行所述所選指令。
8.如權(quán)利要求7所述的影像式手部動作辨識方法，其特征在于，還包含以下步驟根據(jù)所述連續(xù)手部影像辨識出手勢； 當(dāng)所述手勢符合開始手勢時，開始執(zhí)行所述步驟C ； 當(dāng)所述手勢符合結(jié)束手勢時，停止執(zhí)行所述步驟C。
9.如權(quán)利要求7所述的影像式手部動作辨識方法，其特征在于，所述步驟C還包含 根據(jù)所述多個影像群中每一個的第一張手部影像與最后一張手部影像來計算所述多個移動向量。
10.如權(quán)利要求7所述的影像式手部動作辨識方法，其特征在于，所述預(yù)設(shè)移動向量分布模型為移動向量三維直方等化圖。
11.如權(quán)利要求10所述的影像式手部動作辨識方法，其特征在于，所述步驟D還包含 計算所述多個影像群中每一個的所述多個移動向量的分布與所述多個預(yù)設(shè)移動向量分布模型之間的歐式距離；根據(jù)所述歐式距離來判斷出所述對應(yīng)移動動作。
12.如權(quán)利要求7所述的影像式手部動作辨識方法，其特征在于，所述多個預(yù)設(shè)移動動作包含向左移動動作、向右移動動作、向下移動動作和一向上移動動作。
全文摘要
本發(fā)明公開了一種影像式手部動作辨識系統(tǒng)及其方法。在實施例中，該系統(tǒng)根據(jù)連續(xù)手部影像辨識出手勢，當(dāng)此手勢符合開始手勢時，該系統(tǒng)將接續(xù)的手部影像分成多個影像群并計算影像群的移動向量，再根據(jù)這些移動向量的三維直方等化圖判斷每個影像群的對應(yīng)移動動作，例如向左移動動作、向右移動動作、向下移動動作或向上移動動作。接著，系統(tǒng)將所有影像群的對應(yīng)移動動作組合成一軌跡，并判斷該軌跡所對應(yīng)的指令，并執(zhí)行該指令。
文檔編號G06F3/01GK102270036SQ201010216248
公開日2011年12月7日 申請日期2010年6月28日 優(yōu)先權(quán)日2010年6月4日
發(fā)明者王靜煒, 羅仲成 申請人:宏碁股份有限公司