本發(fā)明屬于新一代信息，尤其涉及一種手勢(shì)識(shí)別交互技術(shù)。

背景技術(shù)：

1、在信息系統(tǒng)操作過程中，特別是例如沙盤、電子大屏等直觀可視化信息系統(tǒng)，普遍使用的操作方式有鼠標(biāo)點(diǎn)擊、鍵盤操作、手繪、手勢(shì)操作等，其中手勢(shì)操作由于其便利性，受到越來越多的關(guān)注，相關(guān)技術(shù)也蓬勃發(fā)展。

2、隨著計(jì)算機(jī)的廣泛應(yīng)用，人機(jī)交互(?human?computer?interaction，hci)?已成為人們?nèi)粘Ｉ钪械闹匾糠?。人機(jī)交互的最終目標(biāo)是實(shí)現(xiàn)人與機(jī)器自然地交流，最初的手勢(shì)識(shí)別主要是利用機(jī)器設(shè)備直接檢測此手勢(shì)識(shí)別研究順應(yīng)了發(fā)展需要。然而由于手勢(shì)本身手、胳膊各關(guān)節(jié)的角度和空間位置。這些設(shè)備多是通具有多樣性、多義性以及時(shí)間和空間上的差異性等特過有線技術(shù)將計(jì)算機(jī)系統(tǒng)與用戶相互連接，使用戶的手勢(shì)信息完整無誤地傳送至識(shí)別系統(tǒng)中，其典型設(shè)備如數(shù)據(jù)手套等。數(shù)據(jù)手套是由多個(gè)傳感器件組成，通過這些傳感器可將用戶手的位置、手指的方向等信息傳送到計(jì)算機(jī)系統(tǒng)中。數(shù)據(jù)手套雖可提供良好的檢測效果，但將其應(yīng)用在常用領(lǐng)域則價(jià)格昂貴。

3、其后，光學(xué)標(biāo)記方法取代了數(shù)據(jù)手套。將光學(xué)標(biāo)記戴在人手上，通過紅外線可將人手位置和手指的變化傳送到系統(tǒng)屏幕上，該方法也可提供良好的效果，但仍需較為復(fù)雜的設(shè)備。

4、外部設(shè)備的介入雖使得手勢(shì)識(shí)別的準(zhǔn)確度和穩(wěn)定性得以提高，但卻掩蓋了手勢(shì)自然的表達(dá)方式。為此，基于視覺的手勢(shì)識(shí)別方式應(yīng)運(yùn)而生。視覺手勢(shì)識(shí)別是指對(duì)視頻采集設(shè)備拍攝到的包含手勢(shì)的圖像序列，通過計(jì)算機(jī)視覺技術(shù)進(jìn)行處理，進(jìn)而對(duì)手勢(shì)加以識(shí)別。有專業(yè)研究團(tuán)隊(duì)從手勢(shì)建模、手勢(shì)分析和手勢(shì)識(shí)別等3個(gè)方面綜述了基于視覺手勢(shì)識(shí)別的研究現(xiàn)狀及其應(yīng)用。

5、通常而言，在手勢(shì)操作過程中，系統(tǒng)需要對(duì)手勢(shì)進(jìn)行識(shí)別，例如通過相應(yīng)的電路或者信息采集，來實(shí)現(xiàn)手勢(shì)的確認(rèn)。手勢(shì)識(shí)別是將模型參數(shù)空間里的軌跡(?或點(diǎn))?分類到該空間里某個(gè)子集的過程，其包括靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別，動(dòng)態(tài)手勢(shì)識(shí)別最終可轉(zhuǎn)化為靜態(tài)手勢(shì)識(shí)別。從手勢(shì)識(shí)別的技術(shù)實(shí)現(xiàn)來看，常見手勢(shì)識(shí)別方法主要有:?模板匹配法、神經(jīng)網(wǎng)絡(luò)法和隱馬爾可夫模型法。

6、常規(guī)的手勢(shì)識(shí)別方式包括選擇圖片檢測等。例如，操作人員可以上傳相應(yīng)的手勢(shì)圖片到系統(tǒng)中，從而展開常見手勢(shì)檢測。系統(tǒng)會(huì)分析上傳的圖片，識(shí)別其中所包括的常見手勢(shì)，并通過展示信息或識(shí)別手勢(shì)結(jié)果，讓操作人員和信息系統(tǒng)能夠清晰了解手勢(shì)相對(duì)應(yīng)的操作方式。

7、但目前的手勢(shì)識(shí)別僅僅是簡單的手勢(shì)區(qū)分，未考慮手勢(shì)之間的持續(xù)關(guān)聯(lián)，也未對(duì)手勢(shì)動(dòng)作識(shí)別精度的自適應(yīng)學(xué)習(xí)提升進(jìn)行深入研究。在手勢(shì)識(shí)別技術(shù)領(lǐng)域，對(duì)手勢(shì)的識(shí)別精度、識(shí)別準(zhǔn)確性有待加強(qiáng)，且對(duì)多種手勢(shì)在特定時(shí)間內(nèi)的協(xié)同識(shí)別研究不足，同時(shí)，手勢(shì)識(shí)別過程中，系統(tǒng)往往依賴于特定的識(shí)別模型，對(duì)差異化的識(shí)別需求以及特定場景下的識(shí)別需求適應(yīng)不足，對(duì)系統(tǒng)操作的自定義處理與操作偏好也未提供有效拓展，仍存在多種不足。

8、為解決現(xiàn)有技術(shù)中的上述問題，本發(fā)明提出了一種手勢(shì)識(shí)別交互技術(shù)，通過對(duì)操作如沙盤等面板對(duì)象的手勢(shì)進(jìn)行捕捉與識(shí)別，實(shí)現(xiàn)手勢(shì)動(dòng)作到系統(tǒng)指令的轉(zhuǎn)換，并基于沙盤指令信息交互，對(duì)特定手勢(shì)指令進(jìn)行解讀，轉(zhuǎn)化為沙盤的操作信號(hào)，從而可視化執(zhí)行沙盤操作，為手勢(shì)化的信息系統(tǒng)操控提供偏離。同時(shí)，本發(fā)明方案提供了特定手勢(shì)指令與沙盤操作指令信號(hào)對(duì)應(yīng)關(guān)系的兩種不同映射邏輯，且為手勢(shì)序列提供了擬合操作，便捷對(duì)同一操作對(duì)象的連續(xù)操作執(zhí)行。且，本發(fā)明還基于反饋評(píng)價(jià)進(jìn)行手勢(shì)記憶，與相應(yīng)的擬合指令進(jìn)行綁定，從而提供帶外手勢(shì)識(shí)別策略，避免手勢(shì)重復(fù)識(shí)別。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提供一種優(yōu)于現(xiàn)有技術(shù)的手勢(shì)識(shí)別交互技術(shù)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：

3、一種手勢(shì)識(shí)別交互系統(tǒng)，包括：

4、操作面板對(duì)象，所述操作面板對(duì)象為手勢(shì)操作的對(duì)象面板，用于接收手勢(shì)操作指令，并將手勢(shì)操作結(jié)果呈現(xiàn)至所述操作面板對(duì)象上；

5、所述操作面板對(duì)象是手勢(shì)操作的具體實(shí)施和現(xiàn)實(shí)面板，所述操作面板對(duì)象連接所述手勢(shì)捕捉與識(shí)別模塊、沙盤指令信息交互模塊，并與反饋學(xué)習(xí)模塊進(jìn)行信息交互。所述操作面板對(duì)象顯示系統(tǒng)支持的手勢(shì)操作、操作的界面以及操作后的系統(tǒng)變化及反饋。

6、手勢(shì)捕捉與識(shí)別模塊，對(duì)手勢(shì)操作進(jìn)行動(dòng)作捕捉與指令識(shí)別；

7、所述手勢(shì)捕捉與識(shí)別模塊為系統(tǒng)的主要功能模塊之一，用于實(shí)現(xiàn)對(duì)手勢(shì)操作中各個(gè)手勢(shì)的動(dòng)作拍攝、動(dòng)作捕捉以及將其通過系統(tǒng)內(nèi)置處理將其轉(zhuǎn)化為相應(yīng)的手勢(shì)指令，并發(fā)送至沙盤指令信息交互模塊。

8、具體而言，所述手勢(shì)捕捉與識(shí)別模塊可以使用三維全息攝像頭，對(duì)手勢(shì)動(dòng)作進(jìn)行捕捉，并使三維全息攝像頭保持一時(shí)間段的手勢(shì)拍攝，形成立體的空間三維手勢(shì)圖像，并基于所述空間三維手勢(shì)圖像建立空間坐標(biāo)系，通過各個(gè)手指與手掌的坐標(biāo)相對(duì)位置，為手勢(shì)提供匹配的、包含各個(gè)手指觸點(diǎn)坐標(biāo)與手掌中點(diǎn)坐標(biāo)的坐標(biāo)信息結(jié)構(gòu)體，從而對(duì)特定手勢(shì)進(jìn)行分類。在手勢(shì)識(shí)別過程中，將相應(yīng)手勢(shì)的坐標(biāo)信息結(jié)構(gòu)體輸入識(shí)別模型，通過例如k-means算法進(jìn)行聚類，經(jīng)由聚類結(jié)果對(duì)手勢(shì)所屬的具體指令集合進(jìn)行識(shí)別。

9、沙盤指令信息交互模塊，用于接收所述手勢(shì)捕捉與識(shí)別模塊識(shí)別的特定手勢(shì)指令，并將其轉(zhuǎn)換為沙盤指令信息，執(zhí)行基于指令的沙盤交互；

10、所述沙盤指令信息交互模塊與所述手勢(shì)捕捉與識(shí)別模塊連接，用在接收到所述手勢(shì)捕捉與識(shí)別模塊識(shí)別的特定手勢(shì)指令后，進(jìn)行指令轉(zhuǎn)換，形成系統(tǒng)可識(shí)別的操作面板對(duì)象操作指令，也即沙盤指令信息，并運(yùn)行指令。

11、反饋學(xué)習(xí)模塊，用于接收指令調(diào)用的操作反饋，并基于反饋信息執(zhí)行指令的自適應(yīng)學(xué)習(xí)，生成手勢(shì)偏好設(shè)定。

12、所述反饋學(xué)習(xí)模塊接收操作人員在操作面板對(duì)象或其它模塊的信息反饋組件上選擇或填寫的反饋意見，并將上述反饋經(jīng)分類后，輸入至大數(shù)據(jù)手勢(shì)識(shí)別模型的訓(xùn)練流程開展自適應(yīng)ai訓(xùn)練學(xué)習(xí)。

13、所述反饋學(xué)習(xí)模塊在多次指令運(yùn)行后，接收操作人員對(duì)指令運(yùn)行結(jié)果的滿意程度信息，判斷指令的識(shí)別和運(yùn)行是否充分符合操作人員的指令操作本意，若符合，則該指令的反饋是正向的，若不符合或偏差較大，則為負(fù)向反饋。基于正向和負(fù)向反饋的多次學(xué)習(xí)，調(diào)整手勢(shì)識(shí)別精度，并生成操作人員專屬的手勢(shì)偏好設(shè)定。

14、較佳地，所述操作面板對(duì)象為沙盤。

15、較佳地，所述手勢(shì)捕捉與識(shí)別模塊至少包括：

16、手勢(shì)圖像捕捉子模塊，所述手勢(shì)圖像捕捉子模塊使用三維全息攝像頭捕捉手勢(shì)動(dòng)作acthand；

17、手勢(shì)識(shí)別子模塊，所述手勢(shì)識(shí)別子模塊基于手勢(shì)動(dòng)作acthand，使用大數(shù)據(jù)手勢(shì)識(shí)別模型，對(duì)手勢(shì)動(dòng)作acthand進(jìn)行動(dòng)作甄別，并根據(jù)動(dòng)作甄別結(jié)果將所述手勢(shì)操作識(shí)別為特定手勢(shì)指令。

18、較佳地，所述沙盤指令信息交互模塊至少包括指令轉(zhuǎn)換子模塊、指令擬合子模塊、指令調(diào)用子模塊，其中：

19、所述指令轉(zhuǎn)換子模塊基于手勢(shì)指令轉(zhuǎn)換映射關(guān)系集，將其轉(zhuǎn)換對(duì)相應(yīng)的沙盤操作指令信號(hào)；

20、所述指令擬合子模塊，接收第一時(shí)間段內(nèi)的多個(gè)特定手勢(shì)指令；基于特定手勢(shì)指令之間的連續(xù)性算法，執(zhí)行指令擬合，得到擬合指令；

21、所述指令調(diào)用子模塊，所述指令調(diào)用子模塊接收擬合指令，并基于擬合指令調(diào)用操作面板對(duì)象的相應(yīng)操作功能，執(zhí)行沙盤操作并可視化呈現(xiàn)。

22、較佳地，所述反饋學(xué)習(xí)模塊至少包括：

23、指令反饋?zhàn)幽K，所述指令反饋?zhàn)幽K用于接收操作方對(duì)沙盤操作可視化呈現(xiàn)的反饋評(píng)價(jià)，確定操作擬真度，具體為：將反饋結(jié)果為正確的指令轉(zhuǎn)換和指令擬合全流程錄入大數(shù)據(jù)手勢(shì)識(shí)別模型ai自適應(yīng)學(xué)習(xí)正向訓(xùn)練資料庫；將反饋結(jié)果為錯(cuò)誤的指令轉(zhuǎn)換和指令擬合全流程錄入大數(shù)據(jù)手勢(shì)識(shí)別模型ai自適應(yīng)學(xué)習(xí)負(fù)向訓(xùn)練資料庫；

24、自適應(yīng)ai學(xué)習(xí)子模塊，基于正向訓(xùn)練資料庫與負(fù)向訓(xùn)練資料庫進(jìn)行大數(shù)據(jù)手勢(shì)識(shí)別模型的自適應(yīng)ai訓(xùn)練學(xué)習(xí)；

25、手勢(shì)偏好子模塊，對(duì)特定重復(fù)次數(shù)較多、且反饋評(píng)價(jià)為正確的手勢(shì)操作進(jìn)行直接記憶，與相應(yīng)的擬合指令進(jìn)行綁定，提供帶外手勢(shì)識(shí)別策略，從而避免多次對(duì)偏好手勢(shì)執(zhí)行重復(fù)識(shí)別。

26、較佳地，所述大數(shù)據(jù)手勢(shì)識(shí)別模型用于基于手勢(shì)三維圖像識(shí)別預(yù)訓(xùn)練模型進(jìn)行手勢(shì)識(shí)別，對(duì)手勢(shì)動(dòng)作acthand進(jìn)行聚類識(shí)別處理，根據(jù)聚類算法的動(dòng)作聚類結(jié)果，輸出識(shí)別為特定手勢(shì)指令的識(shí)別結(jié)果；

27、所述大數(shù)據(jù)手勢(shì)識(shí)別模型還基于正向訓(xùn)練資料庫與負(fù)向訓(xùn)練資料庫進(jìn)行自適應(yīng)ai訓(xùn)練學(xué)習(xí)，從而提升識(shí)別精度。

28、較佳地，所述手勢(shì)指令轉(zhuǎn)換映射關(guān)系集記錄系統(tǒng)預(yù)置的特定手勢(shì)指令與沙盤操作指令信號(hào)對(duì)應(yīng)關(guān)系，基于所述對(duì)應(yīng)關(guān)系，將特定手勢(shì)指令轉(zhuǎn)換為沙盤操作指令信號(hào)。

29、較佳地，所述手勢(shì)指令轉(zhuǎn)換映射關(guān)系集除記錄系統(tǒng)預(yù)置的特定手勢(shì)指令與沙盤操作指令信號(hào)對(duì)應(yīng)關(guān)系外，還保存有自定義手勢(shì)指令設(shè)置模塊，所述自定義手勢(shì)指令設(shè)置模塊用于復(fù)寫特定手勢(shì)指令的轉(zhuǎn)換映射關(guān)系到自定義的沙盤操作指令信號(hào)。

30、與之同時(shí)，本發(fā)明還提出一種手勢(shì)識(shí)別交互設(shè)備，包括存儲(chǔ)器與處理器，所述設(shè)備用于通過所述處理器執(zhí)行如上文所述的手勢(shì)識(shí)別交互技術(shù)相應(yīng)功能。

31、與之同時(shí)，本發(fā)明還提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有處理器可執(zhí)行的程序，其特征在于，所述處理器可執(zhí)行的程序在由處理器執(zhí)行時(shí)用于執(zhí)行如上文所述的手勢(shì)識(shí)別交互技術(shù)相應(yīng)功能。

32、與之同時(shí)，本發(fā)明還提出一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包含計(jì)算機(jī)指令，所述計(jì)算機(jī)指令通過處理器運(yùn)行時(shí)執(zhí)行如上文所述的手勢(shì)識(shí)別交互技術(shù)相應(yīng)功能。

33、本發(fā)明提出了一種手勢(shì)識(shí)別交互技術(shù)，通過對(duì)操作如沙盤等面板對(duì)象的手勢(shì)進(jìn)行捕捉與識(shí)別，實(shí)現(xiàn)手勢(shì)動(dòng)作到系統(tǒng)指令的轉(zhuǎn)換，并基于沙盤指令信息交互，對(duì)特定手勢(shì)指令進(jìn)行解讀，轉(zhuǎn)化為沙盤的操作信號(hào)，從而可視化執(zhí)行沙盤操作，為手勢(shì)化的信息系統(tǒng)操控提供偏離。同時(shí)，本發(fā)明方案提供了特定手勢(shì)指令與沙盤操作指令信號(hào)對(duì)應(yīng)關(guān)系的兩種不同映射邏輯，且為手勢(shì)序列提供了擬合操作，便捷對(duì)同一操作對(duì)象的連續(xù)操作執(zhí)行。且，本發(fā)明還基于反饋評(píng)價(jià)進(jìn)行手勢(shì)記憶，與相應(yīng)的擬合指令進(jìn)行綁定，從而提供帶外手勢(shì)識(shí)別策略，避免手勢(shì)重復(fù)識(shí)別。