專利名稱：一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及的是一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法。
背景技術(shù)：
人機(jī)交互技術(shù)是目前用戶界面研究中發(fā)展最快的領(lǐng)域之一，對(duì)此，各國(guó)都十分重視。美國(guó)在國(guó)家關(guān)鍵技術(shù)中，將人機(jī)界面列為信息技術(shù)中與軟件和計(jì)算機(jī)并列的六項(xiàng)關(guān)鍵技術(shù)之一。在美國(guó)國(guó)防關(guān)鍵技術(shù)中，人機(jī)界面不僅是軟件技術(shù)中的重要內(nèi)容之一，而且是與計(jì)算機(jī)和軟件技術(shù)并列的11項(xiàng)關(guān)鍵技術(shù)之一。歐共體的歐洲信息技術(shù)研究與發(fā)展戰(zhàn)略計(jì)劃(ESPRIT)還專門設(shè)立了用戶界面技術(shù)項(xiàng)目，其中包括多通道人機(jī)交互界面 (Multi-Modal Interface for Man-Machine Interface)。保持在這一領(lǐng)域中的領(lǐng)先，對(duì)整個(gè)智能計(jì)算機(jī)系統(tǒng)是至關(guān)重要的。人體所獲得的信息80%來自視覺，因此，從自知心理學(xué)的角度研究基于機(jī)器視覺的人機(jī)交互方式是解決人機(jī)交互的重要手段。手勢(shì)是人機(jī)交互過程中一個(gè)非常自然、直觀的交互通道，因此研究手勢(shì)檢測(cè)跟蹤識(shí)別技術(shù)不僅有助于實(shí)現(xiàn)自然的人機(jī)交互，而且有助于機(jī)器人通過模仿用戶的示范動(dòng)作習(xí)得技能。由于手勢(shì)本身具有的多樣性、多義性以及時(shí)間和空間上的差異性等特點(diǎn)，加之人手是復(fù)雜變形體以及視覺本身的不適定性，因此基于視覺的手勢(shì)識(shí)別是一個(gè)多學(xué)科交叉的、富有挑戰(zhàn)性的研究課題。目前的基于手勢(shì)的人機(jī)交互主要有三種方式，一是麻省理工大學(xué)為代表的，利用數(shù)據(jù)手套、數(shù)據(jù)服裝等裝置，對(duì)手和身體的運(yùn)動(dòng)進(jìn)行跟蹤，完成人機(jī)交互；第二種是以微軟為代表的體感游戲，它采用深度攝像頭和RGB攝像頭來實(shí)現(xiàn)手和身體的位置跟蹤。前面兩種方式都具有高成本的特點(diǎn)，不宜于企業(yè)，特別是競(jìng)爭(zhēng)激烈的家電企業(yè)的廣泛應(yīng)用；第三種就是業(yè)內(nèi)眾所周知的HandVu，它以普通攝像頭為研究的對(duì)象，具有成本低、實(shí)時(shí)性能好等優(yōu)點(diǎn)，但在跟蹤過程中由外界環(huán)境影響較大，不能很好地解決由于光照和背景復(fù)雜而帶來的跟蹤失敗問題。2010年微軟推出的Kinect體感游戲，因其自然直觀的人機(jī)交互功能，而使其深受廣大消費(fèi)者青睞。該系統(tǒng)采用了雙攝像頭(深度攝像頭和RGB攝像頭)有利于多傳感器的信息融合，因此具有較高的手勢(shì)檢測(cè)和跟蹤精度，但其成本高。相反，基于普通單攝像頭的實(shí)時(shí)手勢(shì)檢測(cè)跟蹤器在這方面具有很強(qiáng)的優(yōu)勢(shì)，但其對(duì)手的跟蹤和檢測(cè)的準(zhǔn)備度和精度都存在一定的不足，究其原因主要有(1)手本身不是剛體，在運(yùn)動(dòng)過程中可能存在不同程度的形變；(2)光照條件的影響和變化；(3)對(duì)目標(biāo)跟蹤沒有一個(gè)可信度度量標(biāo)準(zhǔn)，因此，當(dāng)系統(tǒng)跟蹤了其他目標(biāo)而導(dǎo)致的跟蹤失敗問題難以解決。因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展
發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法，本發(fā)明可解決手等非鋼體目標(biāo)在普通單攝像頭下的跟蹤與檢測(cè)不準(zhǔn)確的問題，并可解決由于光照和背景復(fù)雜而帶來的跟蹤失敗問題，利用計(jì)算機(jī)視覺與圖像處理技術(shù)實(shí)現(xiàn)了自動(dòng)的人手檢測(cè)、跟蹤與手勢(shì)識(shí)別，實(shí)時(shí)、魯棒、易于實(shí)現(xiàn)和操作， 能使計(jì)算機(jī)用戶通過手部姿態(tài)與計(jì)算機(jī)進(jìn)行更自然、更直觀、更智能的交互。本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下
一種人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，包括步驟
A、獲取用戶側(cè)的圖像信息并進(jìn)行相應(yīng)的圖像降噪和增強(qiáng)處理；
B、對(duì)經(jīng)過處理的圖像信息通過手勢(shì)檢測(cè)單元進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離， 并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域；
C、通過手勢(shì)跟蹤單元，在所述圖像信息中的感興趣區(qū)域完成手勢(shì)特征點(diǎn)的亞像素級(jí)跟蹤，在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；
D、根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，并進(jìn)行手勢(shì)識(shí)別以對(duì)用戶完成某個(gè)預(yù)定義手勢(shì)的軌跡進(jìn)行分類，確定用戶完成的手勢(shì)動(dòng)作；
E、根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，并將該手勢(shì)動(dòng)作控制指令發(fā)送至三維用戶界面；
F、三維用戶界面根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋。所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，所述步驟A之前還包括，a、 立體影像顯示單元顯示三維立體影像及三維用戶圖形界面。 所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，所述步驟A具體包括 Al、視頻圖像獲取單元獲取用戶所在環(huán)境深度圖像信息；
A2、通過圖像處理單元對(duì)視頻圖像獲取單元獲取的圖像信息進(jìn)行去噪與目標(biāo)增強(qiáng)處理。所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，所述步驟C中的人手輪廓狀態(tài)包括位置、旋轉(zhuǎn)角、放縮量以及各個(gè)手指的長(zhǎng)度和角度。所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，所述步驟D還包括手勢(shì)動(dòng)作是否開始的判斷依據(jù)是在連續(xù)20幀的人手檢測(cè)結(jié)果里，有超過12幀檢測(cè)到人手處于同一個(gè)位置。所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，所述步驟D中的手勢(shì)動(dòng)作包括左移、右移、上移、下移。所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其中，所述步驟E中的根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令包括
E1、通過手勢(shì)位置的不動(dòng)，來識(shí)別出該動(dòng)作為點(diǎn)擊命令，生成相應(yīng)的點(diǎn)擊控制指令； E2、通過手勢(shì)位置的快速左移、右移、上移、下移來識(shí)別出左、右、上、下四個(gè)命令，生成相應(yīng)的左移、右移、上移、下移控制指令；
E3、通過手勢(shì)位置的揮手來識(shí)別出關(guān)閉動(dòng)作，生成相應(yīng)的關(guān)閉控制指令。一種人機(jī)交互系統(tǒng)，其中，包括
視頻圖像獲取單元，用于獲取用戶所在環(huán)境深度圖像信息；
圖像處理單元，用于對(duì)視頻圖像獲取單元獲取的圖像信息進(jìn)行去噪與目標(biāo)增強(qiáng)處理；手勢(shì)檢測(cè)單元，用于對(duì)經(jīng)過處理的圖像信息進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離，并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域；
手勢(shì)跟蹤單元，用于在所述圖像信息中的感興趣區(qū)域完成手勢(shì)特征點(diǎn)的亞像素級(jí)跟蹤，在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；
手勢(shì)效性檢測(cè)與手勢(shì)動(dòng)作確認(rèn)單元，根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，并進(jìn)行手勢(shì)識(shí)別以對(duì)用戶完成某個(gè)預(yù)定義手勢(shì)的軌跡進(jìn)行分類，確定用戶完成的手勢(shì)動(dòng)作；
手勢(shì)指令控制命令生成單元，根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，并將該手勢(shì)動(dòng)作控制指令發(fā)送至三維用戶界面；
立體影像顯示單元，用于顯示三維立體影像及三維用戶圖形界面，以及用于根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋。所述的人機(jī)交互系統(tǒng)，其中，所述視頻圖像獲取單元為攝像頭。所述的人機(jī)交互系統(tǒng)，其中，所述人手輪廓狀態(tài)包括位置、旋轉(zhuǎn)角、放縮量以及各個(gè)手指的長(zhǎng)度和角度；
手勢(shì)指令控制命令生成單元進(jìn)一步包括
第一生成模塊，用于通過手勢(shì)位置的不動(dòng)，來識(shí)別出該動(dòng)作為點(diǎn)擊命令，生成相應(yīng)的點(diǎn)擊控制指令；
第二生成模塊，用于通過手勢(shì)位置的快速左移、右移、上移、下移來識(shí)別出左、右、上、下四個(gè)命令，生成相應(yīng)的左移、右移、上移、下移控制指令；
第三生成模塊，用于通過手勢(shì)位置的揮手來識(shí)別出關(guān)閉動(dòng)作，生成相應(yīng)的關(guān)閉控制指令。本發(fā)明所提供的一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法，本發(fā)明通過在三維立體影像顯示設(shè)備上的圖像傳感和處理單元，感應(yīng)用戶的全部或部分手勢(shì)動(dòng)作，完成手勢(shì)的準(zhǔn)確跟蹤，從而為有效的基于普通視覺傳感器的手勢(shì)人機(jī)界面接口提供了實(shí)時(shí)手勢(shì)跟蹤的解決方案，本發(fā)明利用計(jì)算機(jī)視覺與圖像處理技術(shù)實(shí)現(xiàn)了自動(dòng)的人手檢測(cè)、跟蹤與手勢(shì)識(shí)別，實(shí)時(shí)、魯棒、易于實(shí)現(xiàn)和操作，能使計(jì)算機(jī)用戶通過手部姿態(tài)與計(jì)算機(jī)進(jìn)行更自然、 更直觀、更智能的交互；可用于智能家電、人機(jī)交互和虛擬現(xiàn)實(shí)平臺(tái)等應(yīng)用領(lǐng)域。應(yīng)用于智能電視和其他智能家電產(chǎn)品的人機(jī)交互、各種體感游戲、和各種有關(guān)虛擬現(xiàn)實(shí)平臺(tái)產(chǎn)品中， 因此本發(fā)明也具有重大的經(jīng)濟(jì)價(jià)值和應(yīng)用價(jià)值。


圖1是本發(fā)明實(shí)施例的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法流程圖。圖2是本發(fā)明實(shí)施例的人手分類器級(jí)連結(jié)構(gòu)圖。圖3是本發(fā)明實(shí)施例的人機(jī)交互系統(tǒng)功能原理框圖。圖4是本發(fā)明實(shí)施例的人機(jī)交互系統(tǒng)硬件結(jié)構(gòu)示意圖。
具體實(shí)施例方式本發(fā)明提供的一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法，為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚、明確，以下參照附圖并舉實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明實(shí)施例中需要的硬件設(shè)備如圖4所示，為計(jì)算機(jī)300和視頻圖像采集設(shè)備 400，本發(fā)明實(shí)施例提供的一種人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，如圖1所示，包括步驟
步驟S110、立體影像顯示單元顯示三維立體影像及三維用戶圖形界面。例如，在人機(jī)交互系統(tǒng)的計(jì)算機(jī)300的顯示屏上顯示可實(shí)現(xiàn)人機(jī)交互的三維立體影像及三維用戶圖形界面。步驟S120、獲取用戶側(cè)的圖像信息并進(jìn)行相應(yīng)的圖像降噪和增強(qiáng)處理。譬如，當(dāng)需進(jìn)行人機(jī)交互時(shí)，可以通過視頻圖像獲取單元(如攝像頭等)獲取用戶 (如圖4所示的500)所在環(huán)境深度圖像信息；并通過圖像處理單元對(duì)視頻圖像獲取單元獲取的圖像信息進(jìn)行去噪與目標(biāo)增強(qiáng)處理，為下一步的手勢(shì)檢測(cè)和跟蹤提供有效保障。然后進(jìn)入步驟S130。步驟S130、對(duì)經(jīng)過處理的圖像信息通過手勢(shì)檢測(cè)單元進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離，并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域。該步驟中完成手勢(shì)與背景的分離，為目標(biāo)的跟蹤中的特征點(diǎn)提取提供方便，并設(shè)定感興趣區(qū)域，為系統(tǒng)的實(shí)時(shí)性需求提供保證。本發(fā)明實(shí)施例中所述的人手檢測(cè)是采用方向梯度直方圖(HOG)特征，通過基于 Adaboost的統(tǒng)計(jì)學(xué)習(xí)方法來實(shí)現(xiàn)的。用于學(xué)習(xí)人手模式的統(tǒng)計(jì)學(xué)習(xí)方法是Adaboost算法。Adaboost算法是在人臉檢測(cè)中應(yīng)用極其廣泛的一種成熟算法，它通過調(diào)用弱學(xué)習(xí)器不斷學(xué)習(xí)訓(xùn)練樣本中難學(xué)習(xí)的樣本，從而達(dá)到較高的泛化精度。Adaboost算法的主要過程是首先給定訓(xùn)練樣本集合，然后對(duì)該樣本集合進(jìn)行循環(huán)操作，每次循環(huán)用所選特征訓(xùn)練得到一個(gè)弱分類器，然后計(jì)算該假設(shè)的錯(cuò)誤率，根據(jù)該錯(cuò)誤率改變每個(gè)例子的權(quán)重進(jìn)入下一個(gè)循環(huán)，若干個(gè)弱分類級(jí)聯(lián)組成一個(gè)強(qiáng)分類器。最終的分類器由一系列相似的強(qiáng)分類器級(jí)聯(lián)而成，分類器的分類能力隨著級(jí)聯(lián)結(jié)構(gòu)中強(qiáng)分類器的數(shù)目增加而增加，如圖2所示其中1、2_M為級(jí)聯(lián)起來的各個(gè)強(qiáng)分類器，T表示候選區(qū)域被某個(gè)強(qiáng)分類器接受(即認(rèn)為是人手區(qū)蜮)，F(xiàn)表示候選區(qū)域被強(qiáng)分類器拒絕，是被排除了的候選區(qū)域，即認(rèn)為是非人手區(qū)域。只有候選區(qū)域被所有強(qiáng)分類器接受才認(rèn)為它是真正的人手區(qū)域，只要某一個(gè)強(qiáng)分類器拒絕，即認(rèn)為它是非人手區(qū)域。步驟S140、通過手勢(shì)跟蹤單元，在所述圖像信息中的感興趣區(qū)域完成手勢(shì)特征點(diǎn)的亞像素級(jí)跟蹤，在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；
手勢(shì)的跟蹤是為下一步的手勢(shì)分析提供信息，其中，所述人手輪廓狀態(tài)包括位置、旋轉(zhuǎn)角、放縮量以及各個(gè)手指的長(zhǎng)度和角度。所述亞像素解釋為在面陣攝像機(jī)的成像面以像素為最小單位。例如某CMOS攝像芯片，其像素間距為5. 2微米。攝像機(jī)拍攝時(shí)，將物理世界中連續(xù)的圖像進(jìn)行了離散化處理。到成像面上每一個(gè)像素點(diǎn)只代表其附近的顏色。至于“附近”到什么程度？就很困難解釋。兩個(gè)像素之間有5. 2微米的距離，在宏觀上可以看作是連在一起的。但是在微觀上， 它們之間還有無限的更小的東西存在。這個(gè)更小的東西我們稱它為“亞像素”。實(shí)際上“亞像素”應(yīng)該是存在的，只是硬件上沒有個(gè)細(xì)微的傳感器把它檢測(cè)出來。于是軟件上把它近似地計(jì)算出來。步驟S150、根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，并進(jìn)行手勢(shì)識(shí)別以對(duì)用戶完成某個(gè)預(yù)定義手勢(shì)的軌跡進(jìn)行分類，確定用戶完成的手勢(shì)動(dòng)作；本實(shí)施例中，所述手勢(shì)動(dòng)作包括左移、右移、上移、下移。而其中手勢(shì)動(dòng)作是否開始的判斷依據(jù)是在連續(xù)20幀的人手檢測(cè)結(jié)果里，有超過12幀檢測(cè)到人手處于同一個(gè)位置。本發(fā)明實(shí)施中所述的手勢(shì)識(shí)別通過隱馬爾科夫模型實(shí)現(xiàn)， 本發(fā)明所述手勢(shì)識(shí)別的步驟包括
步驟151 對(duì)從輪廓跟蹤獲得的手勢(shì)軌跡進(jìn)行預(yù)處理去除密集點(diǎn)，獲得預(yù)處理軌跡 步驟152 對(duì)預(yù)處理后的軌跡提取方向編碼特征，對(duì)特征歸一化； 步驟153 采用前向遞推算法計(jì)算步驟152得到的特征對(duì)應(yīng)各類手勢(shì)模型的概率，取概率最大者為識(shí)別結(jié)果。本發(fā)明所述人手輪廓跟蹤采用條件概率密度傳播和啟發(fā)式掃描技術(shù)相結(jié)合的方法實(shí)現(xiàn)，所述輪廓跟蹤算法的步驟如下
步驟51 采用條件概率密度傳播(Condensation)算法跟蹤輪廓的平移、旋轉(zhuǎn)和放縮運(yùn)動(dòng)分量，得到若干候選輪廓，這些候選輪廓關(guān)于手指的狀態(tài)分量還未確定；
步驟52 對(duì)每個(gè)確定了平移、旋轉(zhuǎn)及放縮運(yùn)動(dòng)分量的候選輪廓，逐步調(diào)整每個(gè)手指的長(zhǎng)度和角度，得到各個(gè)輪廓的手指運(yùn)動(dòng)狀態(tài)分量，從而產(chǎn)生所有狀態(tài)分量都確定的最終的候選輪廓；
步驟53 從最終的所有候選輪廓中產(chǎn)生一個(gè)輪廓作為跟蹤結(jié)果。步驟S160、根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，并將該手勢(shì)動(dòng)作控制指令發(fā)送至三維用戶界面；
其中，該步驟中的根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令包括 E1、通過手勢(shì)位置的不動(dòng)，來識(shí)別出該動(dòng)作為點(diǎn)擊命令，生成相應(yīng)的點(diǎn)擊控制指令； E2、通過手勢(shì)位置的快速左移、右移、上移、下移來識(shí)別出左、右、上、下四個(gè)命令，生成相應(yīng)的左移、右移、上移、下移控制指令；
E3、通過手勢(shì)位置的揮手來識(shí)別出關(guān)閉動(dòng)作，生成相應(yīng)的關(guān)閉控制指令。步驟S170、三維用戶界面根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋。譬如，根據(jù)用戶的手勢(shì)動(dòng)作控制，立體影像顯示單元顯示的三維用戶界面進(jìn)行相應(yīng)的動(dòng)作顯示等。由上可見，本明實(shí)施例，通過感應(yīng)用戶的全部或部分手勢(shì)動(dòng)作，完成手勢(shì)的準(zhǔn)確跟蹤，從而為有效的基于普通視覺傳感器的手勢(shì)人機(jī)界面接口提供了實(shí)時(shí)魯棒的解決方案
基于上述實(shí)施例，本發(fā)明實(shí)施例還提供了一種人機(jī)交互系統(tǒng)，如圖3所示，主要包括 視頻圖像獲取單元210，用于獲取用戶所在環(huán)境深度圖像信息；具體如上述步驟S120 所述。其中，所述視頻圖像獲取單元為攝像頭。圖像處理單元220，用于對(duì)視頻圖像獲取單元獲取的圖像信息進(jìn)行去噪與目標(biāo)增強(qiáng)處理；具體如上述步驟S120所述。手勢(shì)檢測(cè)單元230，用于對(duì)經(jīng)過處理的圖像信息進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離，并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域; 具體如上述步驟S130所述。手勢(shì)跟蹤單元M0，用于在所述圖像信息中的感興趣區(qū)域完成手勢(shì)特征點(diǎn)的亞像素級(jí)跟蹤，在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；具體如上述步驟S140所述。其中，所述人手輪廓狀態(tài)包括位置、旋轉(zhuǎn)角、放縮量以及各個(gè)手指的長(zhǎng)度和角度。手勢(shì)效性檢測(cè)與手勢(shì)動(dòng)作確認(rèn)單元250，根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，并進(jìn)行手勢(shì)識(shí)別以對(duì)用戶完成某個(gè)預(yù)定義手勢(shì)的軌跡進(jìn)行分類，確定用戶完成的手勢(shì)動(dòng)作；具體如上述步驟S150所述。手勢(shì)指令控制命令生成單元沈0，根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，并將該手勢(shì)動(dòng)作控制指令發(fā)送至三維用戶界面；具體如上述步驟S160所述。立體影像顯示單元270，用于顯示三維立體影像及三維用戶圖形界面，以及用于根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋；具體如上述步驟S170所述。其中，所述手勢(shì)指令控制命令生成單元進(jìn)一步包括
第一生成模塊，用于通過手勢(shì)位置的不動(dòng)，來識(shí)別出該動(dòng)作為點(diǎn)擊命令，生成相應(yīng)的點(diǎn)擊控制指令；
第二生成模塊，用于通過手勢(shì)位置的快速左移、右移、上移、下移來識(shí)別出左、右、上、下四個(gè)命令，生成相應(yīng)的左移、右移、上移、下移控制指令；
第三生成模塊，用于通過手勢(shì)位置的揮手來識(shí)別出關(guān)閉動(dòng)作，生成相應(yīng)的關(guān)閉控制指令。綜上所述，本發(fā)明所提供的一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法，本發(fā)明通過在三維立體影像顯示設(shè)備上的圖像傳感和處理單元，感應(yīng)用戶的全部或部分手勢(shì)動(dòng)作，完成手勢(shì)的準(zhǔn)確跟蹤，從而為有效的基于普通視覺傳感器的手勢(shì)人機(jī)界面接口提供了實(shí)時(shí)手勢(shì)跟蹤的解決方案，本發(fā)明利用計(jì)算機(jī)視覺與圖像處理技術(shù)實(shí)現(xiàn)了自動(dòng)的人手檢測(cè)、跟蹤與手勢(shì)識(shí)別，實(shí)時(shí)、魯棒、易于實(shí)現(xiàn)和操作，能使計(jì)算機(jī)用戶通過手部姿態(tài)與計(jì)算機(jī)進(jìn)行更自然、更直觀、更智能的交互；可用于智能家電、人機(jī)交互和虛擬現(xiàn)實(shí)平臺(tái)等應(yīng)用領(lǐng)域。應(yīng)用于智能電視和其他智能家電產(chǎn)品的人機(jī)交互、各種體感游戲、和各種有關(guān)虛擬現(xiàn)實(shí)平臺(tái)產(chǎn)品中，因此本發(fā)明也具有重大的經(jīng)濟(jì)價(jià)值和應(yīng)用價(jià)值。應(yīng)當(dāng)理解的是，本發(fā)明的應(yīng)用不限于上述的舉例，對(duì)本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進(jìn)或變換，所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，包括步驟A、獲取用戶側(cè)的圖像信息并進(jìn)行相應(yīng)的圖像降噪和增強(qiáng)處理；B、對(duì)經(jīng)過處理的圖像信息通過手勢(shì)檢測(cè)單元進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離， 并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域；C、通過手勢(shì)跟蹤單元，在所述圖像信息中的感興趣區(qū)域完成手勢(shì)特征點(diǎn)的亞像素級(jí)跟蹤，在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；D、根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，并進(jìn)行手勢(shì)識(shí)別以對(duì)用戶完成某個(gè)預(yù)定義手勢(shì)的軌跡進(jìn)行分類，確定用戶完成的手勢(shì)動(dòng)作；E、根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，并將該手勢(shì)動(dòng)作控制指令發(fā)送至三維用戶界面；F、三維用戶界面根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋。
2.根據(jù)權(quán)利要求1所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，所述步驟A之前還包括，a、立體影像顯示單元顯示三維立體影像及三維用戶圖形界面。
3.根據(jù)權(quán)利要求1所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，所述步驟A具體包括Al、視頻圖像獲取單元獲取用戶所在環(huán)境深度圖像信息；A2、通過圖像處理單元對(duì)視頻圖像獲取單元獲取的圖像信息進(jìn)行去噪與目標(biāo)增強(qiáng)處理。
4.根據(jù)權(quán)利要求1所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，所述步驟C中的人手輪廓狀態(tài)包括位置、旋轉(zhuǎn)角、放縮量以及各個(gè)手指的長(zhǎng)度和角度。
5.根據(jù)權(quán)利要求1所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，所述步驟D還包括手勢(shì)動(dòng)作是否開始的判斷依據(jù)是在連續(xù)20幀的人手檢測(cè)結(jié)果里，有超過 12幀檢測(cè)到人手處于同一個(gè)位置。
6.根據(jù)權(quán)利要求1所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，所述步驟D中的手勢(shì)動(dòng)作包括左移、右移、上移、下移。
7.根據(jù)權(quán)利要求1所述的人機(jī)交互系統(tǒng)的實(shí)時(shí)手勢(shì)跟蹤處理方法，其特征在于，所述步驟E中的根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令包括E1、通過手勢(shì)位置的不動(dòng)，來識(shí)別出該動(dòng)作為點(diǎn)擊命令，生成相應(yīng)的點(diǎn)擊控制指令；E2、通過手勢(shì)位置的快速左移、右移、上移、下移來識(shí)別出左、右、上、下四個(gè)命令，生成相應(yīng)的左移、右移、上移、下移控制指令；E3、通過手勢(shì)位置的揮手來識(shí)別出關(guān)閉動(dòng)作，生成相應(yīng)的關(guān)閉控制指令。
8.—種人機(jī)交互系統(tǒng)，其特征在于，包括視頻圖像獲取單元，用于獲取用戶所在環(huán)境深度圖像信息；圖像處理單元，用于對(duì)視頻圖像獲取單元獲取的圖像信息進(jìn)行去噪與目標(biāo)增強(qiáng)處理；手勢(shì)檢測(cè)單元，用于對(duì)經(jīng)過處理的圖像信息進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離，并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域；手勢(shì)跟蹤單元，用于在所述圖像信息中的感興趣區(qū)域完成手勢(shì)特征點(diǎn)的亞像素級(jí)跟蹤，在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；手勢(shì)效性檢測(cè)與手勢(shì)動(dòng)作確認(rèn)單元，根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，并進(jìn)行手勢(shì)識(shí)別以對(duì)用戶完成某個(gè)預(yù)定義手勢(shì)的軌跡進(jìn)行分類，確定用戶完成的手勢(shì)動(dòng)作；手勢(shì)指令控制命令生成單元，根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，并將該手勢(shì)動(dòng)作控制指令發(fā)送至三維用戶界面；立體影像顯示單元，用于顯示三維立體影像及三維用戶圖形界面，以及用于根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋。
9.根據(jù)權(quán)利要求8所述的人機(jī)交互系統(tǒng)，其特征在于，所述視頻圖像獲取單元為攝像頭。
10.根據(jù)權(quán)利要求8所述的人機(jī)交互系統(tǒng)，其特征在于，所述人手輪廓狀態(tài)包括位置、 旋轉(zhuǎn)角、放縮量以及各個(gè)手指的長(zhǎng)度和角度；手勢(shì)指令控制命令生成單元進(jìn)一步包括第一生成模塊，用于通過手勢(shì)位置的不動(dòng)，來識(shí)別出該動(dòng)作為點(diǎn)擊命令，生成相應(yīng)的點(diǎn)擊控制指令；第二生成模塊，用于通過手勢(shì)位置的快速左移、右移、上移、下移來識(shí)別出左、右、上、下四個(gè)命令，生成相應(yīng)的左移、右移、上移、下移控制指令；第三生成模塊，用于通過手勢(shì)位置的揮手來識(shí)別出關(guān)閉動(dòng)作，生成相應(yīng)的關(guān)閉控制指令。
全文摘要
本發(fā)明公開了一種人機(jī)交互系統(tǒng)及其實(shí)時(shí)手勢(shì)跟蹤處理方法，所述方法包括獲取用戶側(cè)的圖像信息，通過手勢(shì)檢測(cè)單元進(jìn)行人手檢測(cè)，完成手勢(shì)與背景的分離，并通過視覺算法在圖像信息中自動(dòng)確定包圍人手的一個(gè)較小矩形框?yàn)楦信d趣區(qū)域；通過手勢(shì)跟蹤單元在視頻序列中計(jì)算出每幀的人手輪廓狀態(tài)；根據(jù)計(jì)算出的人手輪廓狀態(tài)進(jìn)行人手動(dòng)作的有效性檢測(cè)，確定用戶完成的手勢(shì)動(dòng)作；根據(jù)確定的手勢(shì)動(dòng)作生成相應(yīng)的手勢(shì)動(dòng)作控制指令，三維用戶界面根據(jù)所述手勢(shì)動(dòng)作控制指令做出相應(yīng)反饋。本發(fā)明通過感應(yīng)用戶的全部或部分手勢(shì)動(dòng)作，完成手勢(shì)的準(zhǔn)確跟蹤，從而為有效的基于普通視覺傳感器的手勢(shì)人機(jī)界面接口提供了實(shí)時(shí)魯棒的解決方案。
文檔編號(hào)G06F3/01GK102426480SQ20111034297
公開日2012年4月25日 申請(qǐng)日期2011年11月3日 優(yōu)先權(quán)日2011年11月3日
發(fā)明者劉遠(yuǎn)民, 陳大煒 申請(qǐng)人:康佳集團(tuán)股份有限公司