一種基于攝像頭的體感識別系統(tǒng)和方法
【專利摘要】本發(fā)明公開了一種基于攝像頭的體感識別系統(tǒng)，包括攝像頭，所述基于攝像頭的體感識別系統(tǒng)還包括識別模塊，所述識別模塊用于識別攝像頭攝取的體感動作的類別。本發(fā)明的技術(shù)方案能有效解決體感系統(tǒng)如何更有效的與android和IOS平臺融合的問題。
【專利說明】-種基于攝像頭的體感識別系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種體感識別系統(tǒng)和方法，具體涉及一種基于攝像頭的體感識別系統(tǒng) 和方法。

【背景技術(shù)】
[0002] 現(xiàn)有的體感識別技術(shù)有以下幾種：
[0003] (1)應(yīng)用于游戲的AIWI手機體感識別技術(shù)：應(yīng)用于游戲的AIWI手機體感識別技 術(shù)是基于加速傳感器（感應(yīng)重力）、距離感應(yīng)器及三軸陀螺儀等硬件設(shè)備去感應(yīng)手機在物 理空間上的運動，包括運動速度、加速度、軌跡等物理量，來模擬手機持有者的大幅度運動， 并基于這些數(shù)據(jù)設(shè)計一些運動類游戲。
[0004] (2)應(yīng)用于微軟的Kinect及Xbox設(shè)備的體感識別技術(shù)：應(yīng)用于微軟公司的 kinect及Xbox360等設(shè)備的體感識別技術(shù)，是通過設(shè)備自帶的攝像頭來采集輸入數(shù)據(jù)，并 通過分析輸入的圖像數(shù)據(jù)，來進行體感識別活動。
[0005] 現(xiàn)有的體感識別技術(shù)的缺點：
[0006] (1)應(yīng)用于游戲的AIWI手機體感識別技術(shù)，由于是基于對手機運動軌跡的識別， 故其無法把手機的運動和人體體感動作的變化分離，比如模擬彈鋼琴；其識別的準確度不 高，細微的運動無法識別。
[0007] (2)應(yīng)用于微軟公司的kinect及Xbox360等設(shè)備的體感識別技術(shù)，缺點是成本過 高，且攜帶不夠靈活，且計算量過大不適合移植于移動端的平臺。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的是提供一種的基于攝像頭的體感識別系統(tǒng)。
[0009] 本發(fā)明的目的還在于提供一種基于攝像頭的體感識別方法。
[0010] 本發(fā)明第一方面提供一種基于攝像頭的體感識別系統(tǒng)：包括攝像頭，所述基于攝 像頭的體感識別系統(tǒng)還包括識別模塊，所述識別模塊用于識別攝像頭攝取的體感動作的類 別。
[0011]基于攝像頭的體感識別系統(tǒng)還包括用于顯示識別模塊傳來的識別結(jié)果的顯示模 塊。
[0012] 識別模塊包括感興趣區(qū)域設(shè)定單元、體感識別單元，感興趣區(qū)域設(shè)定單元經(jīng)過體 感識別單元接至顯示模塊。
[0013] 識別模塊還包括結(jié)果合成單元，感興趣區(qū)域設(shè)定單元經(jīng)過體感識別單元、合成單 元接至顯示模塊。
[0014] 本發(fā)明的另一方面提供一種基于攝像頭的體感識別方法，包括以下步驟：
[0015] A、啟動攝像頭；
[0016] B、攝像頭攝取體感動作原始圖像，并將體感動作原始圖像傳給識別模塊；
[0017] C、識別模塊將體感動作原始圖像與體感動作庫文件進行匹配,得出識別結(jié)果，并 將識別結(jié)果顯示在顯示模塊。
[0018] 所述步驟B為：
[0019]攝像頭攝取體感動作原始圖像，并將攝取的體感動作原始圖像傳遞給感興趣區(qū)域 設(shè)定單元。
[0020] 步驟c包含以下幾個步驟：
[0021] C1、感興趣區(qū)域設(shè)定單元將體感動作原始圖像位于感興趣區(qū)域內(nèi)的部分裁剪，并 將裁剪的圖像傳遞給體感識別單元；
[0022] C2、體感識別單元將從感興趣區(qū)域設(shè)定單元接收到的圖像進行皮膚色度檢測和局 部特征點提?。?br> [0023] C3、體感識別單元將提取到的局部特征點通過描述子轉(zhuǎn)化為特征向量；
[0024] C4、體感識別單元將所述特征向量與體感動作庫文件內(nèi)的各個體感動作的特征向 量進行匹配，得出識別結(jié)果；
[0025] C5、體感識別單元將所述識別結(jié)果所在的感興趣區(qū)域的位置和大小反饋至感興趣 區(qū)域設(shè)定單元；
[0026] C6、體感識別單元將識別結(jié)果發(fā)送至顯示模塊進行顯示。
[0027]其中步驟C4中得出的識別結(jié)果為某個體感動作。
[0028] 步驟C4包含以下幾個步驟：
[0029] C41、體感識別單元將所述特征向量與體感動作庫文件內(nèi)各個體感動作的特征向 量進行膚色角度個數(shù)距離的計算，計算式子如下
[0030] (113卿1(^面=2 ie[1，n]丨 c「fq | 2
[0031]其中，η為體感動作庫中的某個體感動作所具有的特征數(shù)，Ci及fCi分別為這次采 集到的圖像所具有的第i個特征的膚色角度個數(shù)及該標準體感動作第i個特征所具有的膚 色角度個數(shù)，如果diSangldtal小于給定的閾值，閾值大于 3,小于15，則認為其可能與該體感 動作吻合，并將該吻合的體感動作進行記錄；
[0032] C42、體感識別單元將特征向量與步驟C41篩選出的標準體感動作的特征向量進 行距離計算，公式如下：
[0033] dis^ =Σ ； e [1；η] Σ Je [1；m] I aij-fajj | 2
[0034]其中n為體f動作庫中的該體感動作所具有的特征數(shù)，m則為其膚色角度個數(shù)， au 及f&ij則分別為這次采集到的圖像所具有的及標準體感動作的第i個特征下第j個膚色角 度的值。如果di San心小于給定的閾值，閾值大于3,小于15，則認為其可能與該體感動作吻 合，并將該吻合的體感動作進行記錄；
[0035] C43、體感識別單元將特征向量與前兩部篩選出的標準體感動作的特征向量進行 非膚色角度的匹配，其計算距離的公式如下：
[0036] disnonAngle = Σ i e [1；η] Σ j e [1；m] I naij-fnau [ 2
[0037]其中n為體感動作庫中該體感動作所具有的特征數(shù)，m則為其非膚色角度個數(shù)， η%及fnau.分別為圖像所具有的及標準體感動作的第i個特征下第j個非膚色角度的值。 當所有的非膚色角度的距離都計算完畢后，選取其中距離最短的標準體感動作，將其設(shè)置 為這次的匹配結(jié)果并將其傳送給結(jié)果合成單元。步驟 C6包含以下幾個步驟：
[0038] C61、體感識別單元將識別結(jié)果發(fā)送至結(jié)果合成單元；
[0039] C62、結(jié)果合成單元將接收到的識別結(jié)果所在的感興趣區(qū)域在體感動作原始圖像 上標示出，并在體感動作原始圖像中識別結(jié)果所在的感興趣區(qū)域上標注出識別結(jié)果的代 碼；
[0040] C63、結(jié)果合成單元將體感動作原始圖像發(fā)送至移動設(shè)備的顯示屏進行顯示。所述 感興趣區(qū)域的設(shè)置方法為：第一次設(shè)置感興趣區(qū)域時，默認感興趣區(qū)域覆蓋整個采集到的 圖像，之后每次設(shè)置時，會根據(jù)體感識別單元反饋的所述識別結(jié)果所在的感興趣區(qū)域的位 置和大小進行調(diào)整。
[0041] 所述局部特征點提取的方法為：
[0042] A、通過膚色檢測后，體感特征識別模塊會將接收到的圖像進行蒙版處理；
[0043] B、以源圖像的中心為圓心做n個同心圓，n即為特征數(shù)，n大于3,小于7,最大的 冋心圓半徑為圓心到源圖像邊界的距尚rm, η個同心圓的半徑依次為，a，r2,......，rn，且 滿足.Vije ρ,η]η-ΓΗ?=Γ|-ΓΗΡ此時在以ri為半徑的圓上，等距的尋找360個點，標記為 Ρι.Ρ2>……，p36Q，其值為該點所在位置的像素的灰度值，同時設(shè)置數(shù)列f\, f2,......, f36Q來表 示這360個點的特征，其中
[0044] ：：：Y

【權(quán)利要求】
1. 一種基于攝像頭的體感識別系統(tǒng)，包括攝像頭，其特征在于：所述基于攝像頭的體 感識別系統(tǒng)還包括識別模塊，所述識別模塊用于識別攝像頭攝取的體感動作的類別。
2. 根據(jù)權(quán)利要求1所述的一種基于攝像頭的體感識別系統(tǒng)，其特征在于，所述基于攝 像頭的體感識別系統(tǒng)還包括用于顯示識別模塊傳來的識別結(jié)果的顯示模塊。
3. 根據(jù)權(quán)利要求2所述的一種基于攝像頭的體感識別系統(tǒng)，其特征在于，所述識別模 塊包括感興趣區(qū)域設(shè)定單元、體感識別單元，感興趣區(qū)域設(shè)定單元經(jīng)過體感識別單元接至 顯示模塊。
4. 根據(jù)權(quán)利要求3所述的一種基于攝像頭的體感識別系統(tǒng)，其特征在于，所述識別模 塊還包括結(jié)果合成單元，感興趣區(qū)域設(shè)定單元經(jīng)過體感識別單元、合成單元接至顯示模塊。
5. -種基于攝像頭的體感識別方法，包括以下步驟： A、 啟動攝像頭； B、 攝像頭攝取體感動作原始圖像，并將體感動作原始圖像傳給識別模塊； C、 識別模塊將體感動作原始圖像與體感動作庫文件進行匹配，得出識別結(jié)果，并將識 別結(jié)果顯示在顯示模塊。
6. 根據(jù)權(quán)利要求5所述的一種基于攝像頭的體感識別方法，所述步驟B為： 攝像頭攝取體感動作原始圖像，并將攝取的體感動作原始圖像傳遞給感興趣區(qū)域設(shè)定 單元。
7. 根據(jù)權(quán)利要求6所述的一種基于攝像頭的體感識別方法，步驟C包含以下幾個步 驟： C1、感興趣區(qū)域設(shè)定單元將體感動作原始圖像位于感興趣區(qū)域內(nèi)的部分裁剪，并將裁 剪的圖像傳遞給體感識別單元； C2、體感識別單元將從感興趣區(qū)域設(shè)定單元接收到的圖像進行皮膚色度檢測和局部特 征點提??； C3、體感識別單元將提取到的局部特征點通過描述子轉(zhuǎn)化為特征向量； C4、體感識別單元將所述特征向量與體感動作庫文件內(nèi)的各個體感動作的特征向量進 行匹配，得出識別結(jié)果； C5、體感識別單元將所述識別結(jié)果所在的感興趣區(qū)域的位置和大小反饋至感興趣區(qū)域 設(shè)定單元； C6、體感識別單元將識別結(jié)果發(fā)送至顯示模塊進行顯示。
8. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識別方法，其中步驟C4中得出的識別 結(jié)果為某個體感動作。
9. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識別方法，步驟C4包含以下幾個步 驟： C41、體感識別單元將所述特征向量與體感動作庫文件內(nèi)各個體感動作的特征向量進 行膚色角度個數(shù)距離的計算，計算式子如下 diSangleNum - Σ i e [1；n] [ Cj~fCj [ 其中，n為體感動作庫中的某個體感動作所具有的特征數(shù)，Ci及fCi分別為這次采集到 的圖像所具有的第i個特征的膚色角度個數(shù)及該標準體感動作第i個特征所具有的膚色角 度個數(shù)，如果disangldtal小于給定的閾值，閾值大于3,小于15,則認為其可能與該體感動作 吻合，并將該吻合的體感動作進行記錄； C42、體感識別單元將特征向量與步驟C41篩選出的標準體感動作的特征向量進行距 離計算，公式如下： disangle - Σ i e [ι,η] Σ j e [1；m] [ a^-fa^ [ 其中n為體感動作庫中的該體感動作所具有的特征數(shù)，m則為其膚色角度個數(shù)，aij及 fay則分別為這次采集到的圖像所具有的及標準體感動作的第i個特征下第j個膚色角度 的值。如果dismgle小于給定的閾值，閾值大于3,小于15,則認為其可能與該體感動作吻合， 并將該吻合的體感動作進行記錄； C43、體感識別單元將特征向量與前兩部篩選出的標準體感動作的特征向量進行非膚 色角度的匹配，其計算距離的公式如下：
其中η為體感動作庫中該體感動作所具有的特征數(shù)，m則為其非膚色角度個數(shù)，naij及 fn%分別為圖像所具有的及標準體感動作的第i個特征下第j個非膚色角度的值。當所 有的非膚色角度的距離都計算完畢后，選取其中距離最短的標準體感動作，將其設(shè)置為這 次的匹配結(jié)果并將其傳送給結(jié)果合成單元。
10. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識別方法，步驟C6包含以下幾個步 驟： C61、體感識別單元將識別結(jié)果發(fā)送至結(jié)果合成單元； C62、結(jié)果合成單元將接收到的識別結(jié)果所在的感興趣區(qū)域在體感動作原始圖像上標 示出，并在體感動作原始圖像中識別結(jié)果所在的感興趣區(qū)域上標注出識別結(jié)果的代碼； C63、結(jié)果合成單元將體感動作原始圖像發(fā)送至移動設(shè)備的顯示屏進行顯示。
11. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識別方法，其特征在于，所述感興趣 區(qū)域的設(shè)置方法為：第一次設(shè)置感興趣區(qū)域時，默認感興趣區(qū)域覆蓋整個采集到的圖像，之 后每次設(shè)置時，會根據(jù)體感識別單元反饋的所述識別結(jié)果所在的感興趣區(qū)域的位置和大小 進行調(diào)整。
12. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識別方法，其特征在于，所述局部特 征點提取的方法為： A、 通過膚色檢測后，體感特征識別模塊會將接收到的圖像進行蒙版處理； B、 以源圖像的中心為圓心做η個同心圓，η即為特征數(shù)，η大于3,小于7,最大的同 心圓半徑為圓心到源圖像邊界的距離rm，η個同心圓的半徑依次為，ri，r2,……，r n，且滿 足Vi,j G n-m=rj-rH。此時在以A為半徑的圓上，等距的尋找360個點，標記為 Pi, P2,......，P36(l，其值為該點所在位置的像素的灰度值，同時設(shè)置數(shù)列f\，f 2,......，f36(l來表 示這360個點的特征，其中
s. t. i e [2, 360] 另，
對于任意點Px，若其fx值為1，表示該點X為從背景到身體的過渡點，若fx值為2,表示 該點X為從身體到背景的過渡點； C、 將360個點中對應(yīng)的f值為1的點整理為一個序列l(wèi)p 12,……，lml，其中叫為f值 為1的點的個數(shù)，該序列中元素的值為其所對應(yīng)的點在P序列中的編號，將360個點中對應(yīng) 的f值為2的點整理為一個序列 D、 設(shè)置數(shù)列 angle" angle2,......, anglem，，其中纖_% = i e [1, m],其中 anglei 即為第i個膚色角度，m即為膚色角度的個數(shù)，同理設(shè)置數(shù)列angh^imgler.….angles，其中 angle，1廣1丨-i e [2, m]，其中ang!e丨即為第i個非膚色角度。然后將angl e序列和angle' 序列合起來作為第一個特征值，同理，依次在半徑為r2，r3,……，rn的圓上做相同的操作，即 可得到第二個、第三個一直到第η個特征值； Ε、最后將這η個特征值合起來作為該次采集到的圖像的體感動作特征值，即局部特征 點。
13.根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識別方法，其特征在于，所述皮膚色 度檢測的方法為： Α、將圖像首先通過如下公式從rgb格式轉(zhuǎn)化為YCbCr格式， Y = (0· 299*R+0. 587*G+0. 114*B) Cb = ((Β-Υ)*0· 564+128) Cr = ((R-y) *0· 713+128)，其中R，G，B分別表示像素的紅，綠，藍三個色度的值，對某一 個像素點，如果它屬于集合{化〇3,0)丨〇3￡[129,78]，〇￡[134，172]}，則認為它是皮 膚像素點； B、 將圖像的皮膚像素點提取完后，對圖像進行降噪處理； C、 對于任意點（X，Y)，根據(jù)以下公式判斷該點是否為皮膚： t(x，y) = (Not t(x_l，Y)AND Not t(X+l，y))OR(Not t(x，y_l)AND(x，y+l))。
【文檔編號】G06K9/00GK104252231SQ201410492045
【公開日】2014年12月31日 申請日期:2014年9月23日 優(yōu)先權(quán)日:2014年9月23日
【發(fā)明者】潘子元, 馬鳴 申請人:河南省輝耀網(wǎng)絡(luò)技術(shù)有限公司