本發(fā)明涉及基于聲音信號識別領(lǐng)域，尤其涉及一種利用聲音信號檢測鍵盤敲擊內(nèi)容的方法及系統(tǒng)。

背景技術(shù)：

如今，隨著各種信號檢測系統(tǒng)的發(fā)展，鍵盤擊鍵識別變得越來越重要。通過不同的信號檢測，我們能夠重現(xiàn)出敲擊鍵盤的內(nèi)容。隨著信息安全技術(shù)的發(fā)展和人們對信息保密的要求越來越高，能夠檢測信號的同時做好反檢測，正是當下所要考慮的。在做好檢測擊鍵行為的同時，設(shè)計出更好地方式來保護人的隱私?，F(xiàn)有的室內(nèi)環(huán)境中，擊鍵所產(chǎn)生的聲音，手勢對室內(nèi)WiFi信號的影響及擊鍵動力方面的研究都可以被作為竊聽的技術(shù)，從技術(shù)原理上研究鍵盤識別技術(shù)，從而更好地防止擊鍵行為被竊聽。

現(xiàn)有鍵盤識別系統(tǒng)主要可以分為兩個方面，其一，根據(jù)擊鍵動力學(xué)獲取個人敲擊鍵盤的特征進行個人身份的認證；其二，采用聲音，WiFi，光等信號進行鍵盤敲擊內(nèi)容的識別。第二種的研究方面又可以分為以下幾類。（1）基于WiFi信號，采用CSI技術(shù)進行鍵盤敲擊內(nèi)容的識別。如Wikey,（2）基于聲音信號等進行敲擊鍵盤內(nèi)容的識別.Context-free，通過捕捉聲音信號進行鍵盤布局的重構(gòu)。

以上的方法，要么需要采用專用的信號采集技術(shù)且對環(huán)境的條件要求比較高，要么需要的檢測設(shè)備數(shù)量比較高且計算成本較高，不具有普適性。

技術(shù)實現(xiàn)要素：

為了克服上述所指的現(xiàn)有技術(shù)中的不足之處，本發(fā)明提供一種利用聲音信號檢測鍵盤敲擊內(nèi)容的方法及系統(tǒng)，以在特定的布局中，通過利用分析采集過來的聲音信號，實現(xiàn)對擊鍵內(nèi)容的識別，且整個過程耗費的時間及計算資源相對之前的方法較少。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

一種基于聲音信號檢測鍵盤敲擊動作的方法，其步驟包括：

S1、聲音搜集裝置搜集敲擊鍵盤產(chǎn)生的聲音信號，并對聲音信號進行預(yù)處理；

S2、利用能量檢測算法并提取出每個敲擊動作的擊鍵高峰的信號片段；

S3、計算每個敲擊動作的短時能量歸一化值并結(jié)合時間差值作為特征進行分類

S4、反饋針對識別結(jié)果的響應(yīng)信息，調(diào)整分類算法的參數(shù)，進一步提升準確性。

作為本發(fā)明的進一步改進：所述步驟S1對聲音信號進行的預(yù)處理包括：

S11、聲音采集裝置采集得到的聲音信號，采用巴特沃斯過濾方法去進行過濾；

S12、先采集一段環(huán)境中的聲音信號，將后期的信號減去起初采集的信號，達到更好的過濾效果；

作為本發(fā)明的進一步改進：所述步驟S2利用能量檢測算法檢測并提取出每個敲擊動作的聲音片段包括：

S21、一個敲擊動作存在三個波峰，根據(jù)能量檢測算法檢測出所要分析的敲擊波峰；

S22、對識別出的敲擊波峰后，通過一個閾值來判斷敲擊的起始點和終止點

作為本發(fā)明的進一步改進：所述步驟S3包括：

S31、為了使得整個鍵盤敲擊的識別準確率更高，引入時間差作為每次敲擊的另外一個特征并將兩個特征進行融合；

S32、為了將分類匹配算法更為準確，引入性能更優(yōu)的神經(jīng)網(wǎng)絡(luò)算法進行分類匹配，識別出每次的敲擊；

作為本發(fā)明的進一步改進：S4、反饋針對識別結(jié)果的響應(yīng)信息，調(diào)整分類算法的參數(shù)，進一步提升準確性。

另外，本發(fā)明還提供了一種基于聲音信號進行鍵盤識別的系統(tǒng)，包括：

信號接收端，用于接收敲擊鍵盤產(chǎn)生的聲音信號并進行預(yù)處理；

判斷模塊，用于根據(jù)接收端接收到的信息，根據(jù)特征進行之前訓(xùn)練的參數(shù)進行分類匹配，識別出所敲擊的鍵；

反饋模塊，將判斷模塊檢測出的結(jié)果和已知的類別進行比對，如果出現(xiàn)偏差，進行校正，從而是判別算法更為精確；

顯示模塊，可利用手機端的顯示屏或者其他顯示模塊，用來顯示識別出的結(jié)果。

作為本發(fā)明的進一步改進：所述信號接收端用于接收敲擊鍵盤所產(chǎn)生的聲音信號,包括但不限于智能手機及樹莓派鏈接的麥克風(fēng)系統(tǒng)。

作為本發(fā)明的進一步改進：所述判斷模塊中，根據(jù)接收端接收到信息，將能量歸一化后值及時間差作為特征，調(diào)整參數(shù)后，利用分類算法進行更好的匹配。

作為本發(fā)明的進一步改進：所述反饋模塊用于反饋針對分類識別的結(jié)果的響應(yīng)信息，調(diào)整分類算法模型。

作為本發(fā)明的進一步改進：所述判斷模塊采用以下步驟進行鍵的識別：

321，采用統(tǒng)計學(xué)習(xí)理論，預(yù)先建立起以設(shè)定空間內(nèi)由于鍵盤敲擊的特性不通所導(dǎo)致聲音信號變化的模式作為訓(xùn)練樣本的模型；

322，用于兩個麥克風(fēng)接收到能量差值和時間差值作為特征值輸入到訓(xùn)練樣本的模型中，從而得出目標鍵的類別。

本發(fā)明的有益效果是：本發(fā)明利用聲音檢測的優(yōu)點，設(shè)計出了一種基于聲音檢測的鍵盤敲擊系統(tǒng)，并使用改進的算法和校正模塊能夠更準確對聲音進行識別；本發(fā)明的聲音信號的鍵盤擊鍵檢測的處理過程，首先根據(jù)將接收端的信號進行預(yù)處理，并結(jié)合時間差另外的這一特征，使用機器學(xué)習(xí)的分類算法判斷擊鍵內(nèi)容，再通過人工和算法的不斷的校正，達到更為精確的識別；本發(fā)明可以滿足對所擊鍵的內(nèi)容進行分類識別，識別穩(wěn)定性好。

附圖說明

圖1 為本發(fā)明的一種實施例的基于聲音檢測鍵盤敲擊內(nèi)容的系統(tǒng)配置示意圖；

圖2 為本發(fā)明的基于聲音檢測鍵盤敲擊內(nèi)容的方法的數(shù)據(jù)處理實時流程簡圖；

圖3 為本發(fā)明的一種基于聲音檢測鍵盤敲擊內(nèi)容的系統(tǒng)實現(xiàn)控制流程圖；

具體實施方式

為了便于本領(lǐng)域技術(shù)人員的理解，下面結(jié)合附圖和實例對本發(fā)明作進一步的描述。

一種基于聲音信號檢測鍵盤敲擊內(nèi)容的方法，其步驟包括：

S1、聲音搜集裝置搜集敲擊鍵盤產(chǎn)生的聲音信號，并對聲音信號進行預(yù)處理；

S2、利用能量檢測算法并提取出每個敲擊動作的擊鍵高峰的信號片段；

S3、計算每個敲擊動作的短時能量歸一化值并結(jié)合時間差值作為特征進行分類

S4、反饋針對識別結(jié)果的響應(yīng)信息，調(diào)整分類算法的參數(shù)，進一步提升準確性。

具體地，在步驟S1中，所述聲音搜集裝置可以是現(xiàn)有的智能手機，裝置在樹莓派上的麥克風(fēng)等，其必須攜帶兩個麥克風(fēng)且兩個麥克風(fēng)的相對位置保持不變，將鍵盤與聲音搜集裝置放置在同一水平面上且保持平行，兩者之間相距一定的距離，并且在步驟S1中，每次搜集信號鍵盤與手機的位置保持相對固定。

請參閱圖1，其是整個實驗場景的實驗布置圖。

所述步驟S2是利用能量檢測方法判斷出敲擊波峰并提取出完整的整個敲擊動作的信號片段：

S21、一個敲擊動作存在三個波峰，根據(jù)能量檢測算法檢測出所要分析的敲擊波峰；

S22、對識別出的敲擊波峰后，通過一個閾值來判斷敲擊的起始點和終止點

作為本發(fā)明的進一步改進：所述步驟S3包括：

S31、為了使得整個鍵盤敲擊的識別準確率更高，引入時間差作為每次敲擊的另外一個特征并將兩個特征進行融合；

S32、為了將分類匹配算法更為準確，引入性能更優(yōu)的神經(jīng)網(wǎng)絡(luò)算法進行分類匹配，識別出每次的敲擊；

本發(fā)明的基于聲音信號檢測鍵盤的方法還包括：反饋針對識別結(jié)果的響應(yīng)信息，調(diào)整匹配算法的模型。

具體地，如附圖2所示，本發(fā)明提供了一種實施例的基于聲音信號檢測敲擊鍵盤的實現(xiàn)流程，求步驟包括：

S301、雙手以正常的敲擊速度敲擊鍵盤上鍵；

S302、在信號采集階段，進行信號的搜集并采用巴特沃斯方法進行濾波及白噪聲去除的方式去除噪聲；

S303、采用常見的分段算法，對獲取到信號進行分割，以截取敲擊動作的信號片段；

S304、計算兩個麥克風(fēng)獲取的同一按鍵的短時能量值，并求出兩者的短時能量差值

S305、進行多組實驗，以求出多組能量差值并做歸一化處理，并將此數(shù)值作為一個特征；

S306、計算兩個麥克風(fēng)獲取同一信號片段的時間差值，并將作為一個特征與能量值進行融合；

S307、將以上兩個特征作為一組向量值，利用神經(jīng)網(wǎng)絡(luò)算法進行分類；

S308、從而識別出單個鍵以及組合鍵。

在一實施例中，一種基于聲音信號進行鍵盤識別的系統(tǒng)，包括：

信號接收端，用于接收敲擊鍵盤產(chǎn)生的聲音信號并進行預(yù)處理；

判斷模塊，用于根據(jù)接收端接收到的信息，根據(jù)特征進行之前訓(xùn)練的參數(shù)進行分類匹配，識別出所敲擊的鍵；

反饋模塊，將判斷模塊檢測出的結(jié)果和已知的類別進行比對，如果出現(xiàn)偏差，進行校正，從而是判別算法更為精確；

顯示模塊，可利用手機端的顯示屏或者其他顯示模塊，用來顯示識別出的結(jié)果。

所述信號接收端用于接收敲擊鍵盤所產(chǎn)生的聲音信號,包括但不限于智能手機及樹莓派鏈接的麥克風(fēng)系統(tǒng)。

所述判斷模塊中，根據(jù)接收端接收到信息，將能量歸一化后值及時間差作為特征，調(diào)整參數(shù)后，利用分類算法進行更好的匹配。

所述反饋模塊用于反饋針對分類識別的結(jié)果的響應(yīng)信息，調(diào)整分類算法模型。

所述判斷模塊采用以下步驟進行鍵的識別：

321，采用統(tǒng)計學(xué)習(xí)理論，預(yù)先建立起以設(shè)定空間內(nèi)由于鍵盤敲擊的特性不通所導(dǎo)致聲音信號變化的模式作為訓(xùn)練樣本的模型；

322，用于兩個麥克風(fēng)接收到能量差值和時間差值作為特征值輸入到訓(xùn)練樣本的模型中，從而得出目標鍵的類別。利用單一移動終端（如手機）即可實現(xiàn)上述鍵盤按鍵的識別。

以上內(nèi)容是結(jié)合具體的優(yōu)選方式對本發(fā)明所作的進一步詳細說明，不應(yīng)認定本發(fā)明的具體實施只局限于以上說明。對于本技術(shù)領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明構(gòu)思的前提下，還可以作出若干簡單推演或替換，均應(yīng)視為由本發(fā)明所提交的權(quán)利要求確定的保護范圍之內(nèi)。