本發(fā)明提供一種基于距離-速度特征的手勢識別方法，是一種基于雷達信號處理-卷積神經(jīng)網(wǎng)絡(luò)的手勢識別方法，屬于雷達
技術(shù)領(lǐng)域：
和人機交互
技術(shù)領(lǐng)域：
。
背景技術(shù)：
：對手勢動作進行自動識別是機器理解人類手勢語言的前提條件。手勢識別是指利用某種傳感器采集手勢信息，然后通過數(shù)學(xué)算法對手勢進行識別，其最終目的是進行設(shè)備操控和人機交互。隨著計算機技術(shù)的發(fā)展，手勢識別將成為繼鼠標、鍵盤等傳統(tǒng)輸入工具之后的另一種人機交互方式。目前的手勢識別方法包括穿戴傳感器設(shè)備、光學(xué)圖像識別等辦法，但前者在使用中需要一直穿戴著設(shè)備，不僅十分不方便，而且應(yīng)用范圍受到一定的限制；光學(xué)圖像識別方法容易受到環(huán)境的影響，當環(huán)境光照發(fā)生變化時，識別的錯誤率會大大增加。通過雷達進行手勢識別是一種新的途徑。雷達向目標發(fā)送調(diào)頻電磁波，同時接收被目標反射回來的電磁波，然后通過分析處理解調(diào)頻后的信號，得到關(guān)于目標的距離、速度等信息，再經(jīng)過進一步的處理得到不同手勢的特征信息，達到識別手勢的目的。使用雷達進行手勢識別不需要穿戴繁雜的設(shè)備，不受光照等環(huán)境因素的影響，抗干擾能力強，可全天候工作。此外還具有集成度高、體積小、功耗低、成本低、實時性好等優(yōu)點。對調(diào)頻連續(xù)波雷達接收到的差頻信號進行二維fft(快速傅里葉變換)處理，可以得到目標的距離-速度信息矩陣(簡稱為r-d圖)。二維fft的具體處理過程為：首先積累一定調(diào)頻周期的差拍信號并排列成矩陣，每一行包含一個調(diào)頻周期，然后分別對每一行和每一列進行fft，即得到目標的r-d圖。這種處理方法可以解除目標速度和多普勒之間的耦合，提高參數(shù)估計的精度。不同的手勢動作具有不同的r-d特征，據(jù)此特征即可以完成手勢識別。卷積神經(jīng)網(wǎng)絡(luò)即cnn出現(xiàn)在20世紀60年代，hubel和wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時提出了cnn。cnn無需對圖像進行復(fù)雜的前期處理，通過局部感受野和參數(shù)共享能有效降低網(wǎng)絡(luò)參數(shù)數(shù)目，提高訓(xùn)練效率。深度cnn具有多層卷積結(jié)構(gòu)，能夠通過卷積層自動獲得圖像的特征，并完成目標的自動識別。深度cnn具有很強的學(xué)習能力，已經(jīng)成為眾多學(xué)科領(lǐng)域的研究熱點，在模式識別、語音分析等領(lǐng)域得到了廣泛應(yīng)用。技術(shù)實現(xiàn)要素：1.目的：本發(fā)明專利的目的是提供一種基于距離-速度特征進行手勢識別的方法。該方法通過對手勢雷達回波進行二維fft變換，得到目標的r-d圖，以此作為深度cnn的輸入，對不同的手勢進行識別。該方法能夠?qū)Χ喾N手勢進行高精度的實時識別，同時不受環(huán)境光照等因素的影響。2.技術(shù)方案：一種基于距離-速度特征的手勢識別方法本發(fā)明是一種基于距離-速度特征的手勢識別方法，利用電磁波進行非接觸式手勢識別。通過雷達發(fā)射線性調(diào)頻連續(xù)波信號，接收目標回波信號并解調(diào)頻，得到差拍信號，經(jīng)采樣后發(fā)送到pc端進行處理；pc端積累一定時長的差拍信號后進行二維fft處理，得到目標的r-d圖像；根據(jù)r-d圖像進行動目標檢測，檢測到運動目標后，將r-d序列輸入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)進行實時的手勢識別。本發(fā)明是一種基于距離-速度特征的手勢識別方法，該方法具體步驟包括：步驟1，使用調(diào)頻連續(xù)波雷達作為手勢傳感器，對接收到的差拍信號按慢時間的順序進行排列，得到雷達回波信號2維矩陣，每行對應(yīng)一個調(diào)頻周期(慢時間)，每列對應(yīng)一個距離單元(快時間)；步驟2，對步驟1中的雷達回波矩陣，分別沿快時間維和慢時間維進行快速傅里葉變換即fft，得到包含目標距離和速度信息的r-d圖；二維fft的計算公式如式(1)，式中，x(l,k)是二維fft變換的結(jié)果，nf表示慢時間維的采樣點數(shù)，ns表示快時間維的采樣點數(shù)，xm(n)表示回波矩陣中第m個調(diào)頻周期中的第n個采樣；步驟3，經(jīng)試驗統(tǒng)計，當目標進入雷達波束后，回波信號強度會發(fā)生明顯變化，據(jù)此變化即可檢測出運動目標是否存在；設(shè)定動目標檢測閾值，當回波強度超過檢測閾值時，即認為運動目標存在；檢測到運動目標后，系統(tǒng)連續(xù)采集12幀差拍信號并進行二維fft變換，得到r-d圖序列；步驟4，隨機選取步驟3得到的4種手勢的r-d序列，分為訓(xùn)練集和測試集；將訓(xùn)練集輸入深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對測試集進行識別測試；經(jīng)過10000次迭代訓(xùn)練，最終得到的卷積神經(jīng)網(wǎng)絡(luò)的測試正確率超過98％；步驟5，按步驟3的方法實時采集雷達回波信號并檢測運動目標，當檢測到手勢動作時將r-d序列存儲并發(fā)送給卷積神經(jīng)網(wǎng)絡(luò)進行識別，實時輸出識別結(jié)果，可以實現(xiàn)對電腦端的操作或者是實物的控制。其中，在步驟2中所述的“對步驟1中的雷達回波矩陣，分別沿快時間維和慢時間維進行快速傅里葉變換即fft”，其作法如下：首先，對回波矩陣的每一行進行fft(快時間維)計算，然后依次對每一列進行fft(慢時間維)計算，最后對整個矩陣的每個元素求模值得到二維fft的結(jié)果。其中，在步驟3中所述的“檢測到運動目標后，系統(tǒng)連續(xù)采集12幀差拍信號并進行二維fft變換，得到r-d圖序列”，其作法如下：程序中每次會統(tǒng)計r-d矩陣的“總功率”，即對整個r-d矩陣模值求和的結(jié)果，然后計算與上一次r-d矩陣“總功率”的差值，如果超過了一定閥值，就認為有動作發(fā)生，然后連續(xù)采集12幀數(shù)據(jù)，分別進行二維fft變化后得到r-d序列，如果沒有超過閥值，則不采集數(shù)據(jù)，繼續(xù)檢測。其中，在步驟4中所述的“將訓(xùn)練集輸入深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對測試集進行識別測試”，其作法如下：將采集到的數(shù)據(jù)按4:1的比例分成訓(xùn)練集和測試集，對訓(xùn)練集中每組手勢數(shù)據(jù)添加標簽，然后送入卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，同時每完成一次訓(xùn)練集上的訓(xùn)練就用測試集檢測其預(yù)測準確度，如果準確度未達到要求就繼續(xù)訓(xùn)練，否者停止訓(xùn)練。其中，在步驟5中所述的“實時輸出識別結(jié)果，可以實現(xiàn)對電腦端的操作或者是實物的控制”，是指我們將識別結(jié)果轉(zhuǎn)化為控制信號，實現(xiàn)了對電腦端的控制，包括瀏覽網(wǎng)頁、查看地圖等功能，我們還實現(xiàn)了對機械臂等實物的控制，實現(xiàn)了一種新的人機交互方式。通過以上步驟，我們實現(xiàn)了不依靠攝像頭和傳感器設(shè)備的手勢識別，可以在沒有光照和不穿戴傳感器的情況下進行手勢識別，并且實現(xiàn)了與電腦端和實物的交互，本發(fā)明能作為一種可靠的、新穎的人機互接口。本發(fā)明加入了實時檢測，巧妙的解決了數(shù)據(jù)截取位置不確定造成的識別困難的問題，實現(xiàn)了實時的手勢識別和控制，具有較好的實用價值。3、優(yōu)點及效果：本發(fā)明是一種非接觸式的手勢識別方法，具有以下幾個優(yōu)點：(1)本發(fā)明利用調(diào)頻連續(xù)波雷達識別手勢，避免了環(huán)境光照等因素對識別的影響，提高了識別系統(tǒng)在不同環(huán)境狀況下工作的可靠性，使得人機交互更加穩(wěn)定和方便。(2)本發(fā)明通過分析雷達信號的距離-速度特征來對不同手勢進行識別，同時通過12幀r-d序列來描述一個手勢動作，提高了不同手勢的區(qū)分度。(3)本發(fā)明采用深度卷積神經(jīng)網(wǎng)絡(luò)進行手勢識別，能夠?qū)W習到不同手勢動作之間的微小差異，提高了手勢識別的正確率。(4)本發(fā)明采用運動目標檢測和檢測到動作后連續(xù)采集12幀r-d序列的方法，即避免了持續(xù)采集r-d圖可能導(dǎo)致的動作混疊，又提高了準確率，實現(xiàn)了高精度的手勢實時檢測和識別。附圖說明圖1是本發(fā)明所述手勢識別方法流程框圖。圖2是本發(fā)明實施例中4種手勢示意圖。具體實施方式下面結(jié)合附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的說明。本發(fā)明是一種基于距離-速度特征進行手勢識別的方法，識別流程如圖1所示，具體包括：步驟1，線性調(diào)頻連續(xù)波雷達發(fā)射載頻為23ghz信號，雷達天線波束寬度為12°x25°，能夠照射整個手掌。由于手勢識別屬于近距離應(yīng)用，手掌距離雷達一般在0.5m以內(nèi)，所以設(shè)定雷達的發(fā)送功率為6dbm。對接收到的雷達差拍信號按慢時間的順序進行排列，得到雷達回波信號2維矩陣，每行對應(yīng)一個調(diào)頻周期(慢時間)，每列對應(yīng)一個距離單元(快時間)。雷達調(diào)頻周期為2.5ms，采樣率為48khz，每個雷達回波矩陣包括32個調(diào)頻周期，。步驟2，對步驟1中的雷達回波矩陣，分別沿快時間維和慢時間維進行fft，得到包含目標距離和速度信息的r-d圖。當目標運動時，r-d圖會在距離和速度上發(fā)生變化，由此可以作為識別不同手勢的特征。二維fft的計算公式如式(1)，式中，x(l,k)是二維fft變換的結(jié)果，nf表示慢時間維的采樣點數(shù)，ns表示快時間維的采樣點數(shù)，xm(n)表示回波矩陣中第m個調(diào)頻周期中的第n個采樣；步驟3，經(jīng)試驗統(tǒng)計，當目標進入雷達波束后，回波信號強度會發(fā)生明顯變化，據(jù)此變化即可檢測出運動目標是否存在。對經(jīng)過二維fft變換后的信號強度進行求和處理，并依據(jù)試驗統(tǒng)計結(jié)果設(shè)定動目標檢測閾值，當回波強度和小于閾值時，認為沒有手勢動作，舍棄這一幀數(shù)據(jù)，進入下一幀數(shù)據(jù)的采集和處理，這樣既不會占用存儲空間，也避免了靜止情況下噪聲的影響；當回波強度和超過檢測閾值時，即認為運動目標存在，系統(tǒng)連續(xù)采集12幀差拍信號，進行二維fft變換，得到r-d圖序列并存儲，供cnn訓(xùn)練和測試使用。測試的4種手勢如圖2所示，這里每個手勢的動作持續(xù)時間都在1s以內(nèi)，12幀數(shù)據(jù)可以完整的代表整個手勢動作過程。r-d序列即避免了持續(xù)數(shù)據(jù)采集導(dǎo)致的前后動作之間的混疊，又基本保證了動作信息的完整性，實現(xiàn)了高精度的實時手勢檢測和識別。每種手勢對應(yīng)的r-d圖序列都有所不同，比如前推手勢的r-d圖序列有一個明顯的速度先變大后變小的過程，而旋轉(zhuǎn)手勢的r-d圖序列會在正負速度方向上都出現(xiàn)峰值。由于每種手勢都有特定的r-d序列特征，因此，據(jù)此特征進行手勢識別是可行的。步驟4，讀取步驟3存儲的r-d序列，隨機選取80％的數(shù)據(jù)作為訓(xùn)練集，其余的數(shù)據(jù)作為測試集，對深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和測試。生成訓(xùn)練測試數(shù)據(jù)時共采集了三個人的手勢數(shù)據(jù)，每人每個手勢動作重復(fù)50次。所以每個手勢的訓(xùn)練集包含120組r-d序列，測試集包含30組r-d序列，測試集的識別準確率達到了98％以上。步驟5，按步驟3的方法實時采集和檢測雷達回波信號，當檢測到手勢動作時將數(shù)據(jù)存儲并發(fā)送給訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)進行識別，實時輸出識別結(jié)果。每個手勢動作重復(fù)20次，實時測試結(jié)果如表1所示。表1：4類手勢識別成功率表手勢/準確率靜止前推后拉翻轉(zhuǎn)手掌靜止95％005％前推0100％00后拉00100％0翻轉(zhuǎn)手掌5％0095％從實驗結(jié)果可以看到，每個手勢動作的實時識別準確率都很高，達到了95％以上，其中前推和后拉動作的識別率均達到了100％。其原因在于：1、采用了調(diào)頻連續(xù)波雷達進行近距離測量，測距測速的精度很高；2、利用手勢的r-d圖作為識別特征，并且采用12幀序列作為一個手勢的完整描述，r-d序列中的距離和速度關(guān)系能有效區(qū)分不同的手勢；3、采用了深度卷積神經(jīng)網(wǎng)絡(luò)進行識別，能夠充分提取各種手勢r-d圖中的細微特征，準確地對不同手勢進行識別。綜上所述，本發(fā)明通過分析手勢的距離-速度特征，利用r-d序列對深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，最終得到的網(wǎng)絡(luò)模型能夠進行實時、高精度的手勢識別。當前第1頁12