人機交互方法和用于服務器的電子郵件發(fā)送方法
【專利摘要】本發(fā)明提供了人機交互方法和用于服務器的電子郵件發(fā)送方法，人機交互方法包括：采集用戶的臉部圖像序列和手部圖像序列；根據(jù)臉部圖像序列，識別用戶的臉部動作；根據(jù)手部圖像序列，識別用戶的手勢；采集指紋區(qū)中當前的指紋圖像，以識別用戶當前所使用的指紋信息；基于已識別的用戶的臉部動作、手勢和所使用的指紋信息，確定對應的計算機指令，并根據(jù)計算機指令對相應計算機執(zhí)行對應的操作。本發(fā)明的上述技術能夠提高人機交互過程中的保密性和安全性。
【專利說明】
人機交互方法和用于服務器的電子郵件發(fā)送方法
技術領域
[0001]本發(fā)明涉及計算機領域，尤其涉及一種人機交互方法和一種用于服務器的電子郵件發(fā)送方法。
【背景技術】
[0002]人機交互技術(Human-Computer Interact1n Techniques)是指通過計算機的輸入/輸出設備、以有效的方式實現(xiàn)人與計算機對話的技術。人機交互技術包括機器通過輸出或顯示設備給人提供大量有關信息及提示請示等，人通過輸入設備給機器輸入有關信息，回答問題及提示請示等。人機交互技術是計算機用戶界面設計中的重要內容之一。它與認知學、人機工程學、心理學等學科領域有密切的聯(lián)系。
[0003]目前，人機交互技術所使用的交互方式比較有限，如使用鍵盤、鼠標等傳統(tǒng)輸入設備，以及手勢識別、人臉識別等技術。然而，這種現(xiàn)有的人機交互技術輸入方式具有局限性，而且安全性較差，不適于一些需要高安全性的場合。

【發(fā)明內容】

[0004]在下文中給出了關于本發(fā)明的簡要概述，以便提供關于本發(fā)明的某些方面的基本理解。應當理解，這個概述并不是關于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。
[0005]鑒于此，本發(fā)明提供了一種人機交互方法和用于服務器的電子郵件發(fā)送方法，以至少解決現(xiàn)有人機交互技術輸入方式有限、安全性差的問題。
[0006]根據(jù)本發(fā)明的一個方面，提供了一種人機交互方法，所述人機交互方法包括:采集用戶的臉部圖像序列和手部圖像序列;根據(jù)所述臉部圖像序列，識別所述用戶的臉部動作；根據(jù)所述手部圖像序列，識別所述用戶的手勢;采集指紋區(qū)中當前的指紋圖像，以識別所述用戶當前所使用的指紋信息;基于已識別的所述用戶的所述臉部動作、所述手勢和所使用的指紋信息，確定對應的計算機指令，并根據(jù)所述計算機指令對相應計算機執(zhí)行對應的操作。
[0007]進一步地，所述識別所述用戶的臉部動作的步驟包括:針對所述臉部圖像序列中的每幅圖像，對該幅圖像進行降噪，利用模板匹配方法獲取該幅圖像中的人臉位置，基于該幅圖像中的人臉位置確定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6個位置;利用所述臉部圖像序列的各幅圖像中的左眼位置形成左眼位置序列，利用所述臉部圖像序列的各幅圖像中的右眼位置形成右眼位置序列，利用所述臉部圖像序列的各幅圖像中的鼻子位置形成鼻子位置序列，利用所述臉部圖像序列的各幅圖像中的嘴部位置形成嘴部位置序列，利用所述臉部圖像序列的各幅圖像中的左耳位置形成左耳位置序列，利用所述臉部圖像序列的各幅圖像中的右耳位置形成右耳位置序列；利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列，通過與所述預存模型進行匹配，確定所述用戶的臉部動作。
[0008]進一步地，對所述臉部圖像序列中的每幅圖像采用基于貝葉斯估計的小波閾值圖像降噪方法或非線性擴散方法進行降噪。
[0009]根據(jù)本發(fā)明的另一方面，還提供了一種用于服務器的電子郵件發(fā)送方法，所述電子郵件發(fā)送方法包括:當所述服務器上安裝的預定應用被打開、且所述預定應用被用于添加郵件附件時，采集用戶的臉部圖像序列和手部圖像序列，以識別所述用戶的臉部動作和手勢，其中，所述預定應用為用于發(fā)送及接收電子郵件的應用;通過所述服務器的屏幕提示所述用戶輸入指紋，并采集所述服務器指紋區(qū)中當前的指紋圖像，以識別所述用戶當前所使用的指紋信息;根據(jù)已識別的所述用戶的所述臉部動作、所述手勢和所使用的指紋信息，形成所述用戶的特征信息;針對所述服務器上預存的多個已知特征信息中的每一個，計算該已知特征信息與所述用戶的特征信息之間的相似度，并當該相似度大于或等于預定閾值時將該已知特征信息確定為所述用戶的匹配結果;若所述多個已知特征信息中存在所述用戶的匹配結果，則允許該用戶添加所述附件，并允許該用戶繼續(xù)發(fā)送電子郵件;若所述多個已知特征信息中不存在所述用戶的匹配結果，則禁止該用戶添加所述附件，并輸出報警信號。
[0010]進一步地，所述輸出報警信號的步驟包括:發(fā)出聲音警報信號；和/或向預設電子郵箱地址發(fā)送警報郵件，并將所述用戶的臉部圖像序列和/或指紋信息作為所述警報郵件的附件。
[0011]進一步地，所述識別所述用戶的臉部動作的步驟包括:針對所述臉部圖像序列中的每幅圖像，對該幅圖像進行降噪，利用模板匹配方法獲取該幅圖像中的人臉位置，基于該幅圖像中的人臉位置確定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6個位置;利用所述臉部圖像序列的各幅圖像中的左眼位置形成左眼位置序列，利用所述臉部圖像序列的各幅圖像中的右眼位置形成右眼位置序列，利用所述臉部圖像序列的各幅圖像中的鼻子位置形成鼻子位置序列，利用所述臉部圖像序列的各幅圖像中的嘴部位置形成嘴部位置序列，利用所述臉部圖像序列的各幅圖像中的左耳位置形成左耳位置序列，利用所述臉部圖像序列的各幅圖像中的右耳位置形成右耳位置序列；利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列，通過與所述預存模型進行匹配，確定所述用戶的臉部動作。
[0012]進一步地，對所述臉部圖像序列中的每幅圖像采用基于貝葉斯估計的小波閾值圖像降噪方法或非線性擴散方法進行降噪。
[0013]上述根據(jù)本發(fā)明實施例的人機交互方法，通過識別用戶的臉部動作、手勢和所使用的指紋信息，來確定對應的計算機指令，進而實現(xiàn)人機交互。
[0014]與現(xiàn)有的人機交互相比，本發(fā)明的交互方法在人機交互過程中，不僅利用了人臉識別和手勢識別，同時還利用了人的指紋信息，而這在傳統(tǒng)的人機交互技術中是未曾有的。在現(xiàn)有技術中，指紋信息通常用于身份識別，未曾用于人機交互領域，也未與人臉識別、手勢識別聯(lián)合使用；而本發(fā)明的人機交互方法采用基于這三種識別手段的聯(lián)合識別技術，一方面能夠增加人機交互過程中的指令數(shù)量，另一方面還能夠增加人機交互過程中的保密性和安全性。
[0015]此外，當“通過查表的方式獲得對應的計算機指令”時，可以在預存的計算機指令表中關鍵的一個或多個指令對應的特征中嵌入指定的指紋信息，由此使得該一個或多個指令僅能夠被對應的指定用戶打開。這樣，可以使得人機交互過程的一部分操作能夠被所有人執(zhí)行，而另一部分操作僅能被部分人執(zhí)行，使得操作具有不同權限等級，由此可對部分操作加密或加鎖。例如，為了安全起見而對“格式化計算機”這個指令嵌入指定管理員的指紋信息，以及為了禁止小孩打開計算機中的游戲應用而將所有關于游戲啟動的指令嵌入家長的指紋信息等。
[0016]此外，本發(fā)明的用于服務器的電子郵件發(fā)送方法，其監(jiān)測用戶操作，并當用戶試圖添加郵件附件時，通過識別用戶的臉部動作、手勢和所使用的指紋信息來確定該用戶是否有權限添加郵件附件，由此通過臉部動作、手勢和指紋三者相結合的方式對添加郵件附件的操作實現(xiàn)了加鎖處理，也就是說，除指定用戶之外的其他人均不能添加郵件附件。
[0017]與現(xiàn)有的電子郵件發(fā)送技術相比，本發(fā)明在郵件發(fā)送過程中利用了人臉識別、手勢識別和指紋識別技術，能夠有效地對服務器的文件進行保護。在現(xiàn)有技術中，通常是利用禁止復制、禁用接口等手段來保護服務器文件的，安全性較低;而利用本發(fā)明的電子郵件發(fā)送方法，能夠有效地解決這個問題，只有當用戶為指定用戶(如上面舉例的3個管理員之一)時，才有機會添加附件，能夠防止其他人擅自將服務器上的關鍵文件通過電子郵件的形式發(fā)送到外網。在實際應用中，可以在服務器上禁用一切瀏覽器，從而禁用web應用，防止用戶通過瀏覽器等方式發(fā)送郵件附件。
[0018]也就是說，當用戶人臉識別、手勢識別和指紋識別通過檢測時，該用戶能夠添加郵件附件并發(fā)送郵件;而當未通過檢測時，則系統(tǒng)報警。在一些特殊場合，例如無人看守的服務器，可以采用聲音警報信號的方式，這樣可以在發(fā)現(xiàn)可以操作的第一時間通知工作人員；同時將用戶的臉部圖像序列和/或指紋信息作為警報郵件的附件發(fā)送給預設電子郵箱(例如公司安保郵箱)，可以為后續(xù)訴訟、維權保留有效證據(jù)等。
[0019]通過以下結合附圖對本發(fā)明的最佳實施例的詳細說明，本發(fā)明的這些以及其他優(yōu)點將更加明顯。
【附圖說明】
[0020]本發(fā)明可以通過參考下文中結合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標記來表預定示相同或者相似的部件。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進一步舉例說明本發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中:
[0021]圖1是示出本發(fā)明的人機交互方法的一個示例處理的流程圖；
[0022]圖2是示出本發(fā)明的用于服務器的電子郵件發(fā)送方法的一個示例處理的流程圖。
[0023]本領域技術人員應當理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的，而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對于其他元件放大了，以便有助于提高對本發(fā)明實施例的理解。
【具體實施方式】
[0024]在下文中將結合附圖對本發(fā)明的示范性實施例進行描述。為了清楚和簡明起見，在說明書中并未描述實際實施方式的所有特征。然而，應該了解，在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例如，符合與系統(tǒng)及業(yè)務相關的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應該了解，雖然開發(fā)工作有可能是非常復雜和費時的，但對得益于本公開內容的本領域技術人員來說，這種開發(fā)工作僅僅是例行的任務。
[0025]在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關的裝置結構和/或處理步驟，而省略了與本發(fā)明關系不大的其他細節(jié)。
[0026]本發(fā)明的實施例提供了一種人機交互方法，所述人機交互方法包括:采集用戶的臉部圖像序列和手部圖像序列;根據(jù)所述臉部圖像序列，識別所述用戶的臉部動作;根據(jù)所述手部圖像序列，識別所述用戶的手勢;采集指紋區(qū)中當前的指紋圖像，以識別所述用戶當前所使用的指紋信息；基于已識別的所述用戶的所述臉部動作、所述手勢和所使用的指紋信息，確定對應的計算機指令，并根據(jù)所述計算機指令對相應計算機執(zhí)行對應的操作。
[0027]圖1示出了本發(fā)明的人機交互方法的一個示例處理的流程圖。上述人機交互方法的示例性處理開始于步驟SI 10。
[0028]在步驟SllO中，采集用戶的臉部圖像序列和手部圖像序列。
[0029]接著，在步驟S120中，根據(jù)臉部圖像序列，識別用戶的臉部動作。
[0030]根據(jù)一種實現(xiàn)方式，步驟S120中識別用戶的臉部動作的步驟可以通過如下處理來實現(xiàn):針對臉部圖像序列中的每幅圖像，對該幅圖像進行降噪(例如可以采用基于貝葉斯估計的小波閾值圖像降噪方法或非線性擴散方法進行降噪)，利用模板匹配方法獲取該幅圖像中的人臉位置，基于該幅圖像中的人臉位置確定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6個位置;利用臉部圖像序列的各幅圖像中的左眼位置形成左眼位置序列，利用臉部圖像序列的各幅圖像中的右眼位置形成右眼位置序列，利用臉部圖像序列的各幅圖像中的鼻子位置形成鼻子位置序列，利用臉部圖像序列的各幅圖像中的嘴部位置形成嘴部位置序列，利用臉部圖像序列的各幅圖像中的左耳位置形成左耳位置序列，利用臉部圖像序列的各幅圖像中的右耳位置形成右耳位置序列；利用左眼位置序列、右眼位置序列、鼻子位置序列、嘴部位置序列、左耳位置序列和右耳位置序列，通過與預存模型進行匹配，確定用戶的臉部動作。
[0031]根據(jù)其他實現(xiàn)方式，步驟S120中識別用戶的臉部動作的過程也可以采用其他已經公開的現(xiàn)有技術來實現(xiàn)。
[0032]接著，在步驟S130中，根據(jù)手部圖像序列，識別用戶的手勢。其中，識別用戶手勢的過程例如可以采用現(xiàn)有的手勢識別技術來實現(xiàn)，這里不再贅述。
[0033]然后，在步驟S140中，采集指紋區(qū)中當前的指紋圖像，以識別用戶當前所使用的指紋信息。其中，指紋信息的識別過程可以采用現(xiàn)有的指紋識別技術來實現(xiàn)，這里不再贅述。
[0034]接著，在步驟S150中，基于已識別的用戶的臉部動作、手勢和所使用的指紋信息，確定對應的計算機指令，并根據(jù)計算機指令對相應計算機執(zhí)行對應的操作。
[0035]根據(jù)一種實現(xiàn)方式，可以通過查表的方式獲得對應的計算機指令。例如，預先制作一個計算機指令表，在該表中，每個計算機指令唯一地對應于一組特征信息，而每組特征信息由臉部動作、手勢和指紋信息三個分量組成。
[0036]在一個例子中，假設預制的計算機指令表包括3條指令(也可以為更多條指令)，分別為xl、x2和x3。其中，xl對應的特征信息是(臉部動作一，手勢一，指紋信息一)，x2對應的特征信息是(臉部動作二，手勢二，指紋信息二)，而x3對應的特征信息是(臉部動作三，手勢三，指紋信息三)。假設已識別的用戶的臉部動作、手勢和所使用的指紋信息分別為臉部動作a、手勢b和指紋信息C，則可以用(動作a，手勢b，指紋信息c)描述用戶的特征信息。假設通過比較得出，(動作a，手勢b，指紋信息c)與(臉部動作一，手勢一，指紋信息一)完全一致、或者最接近(其中，可以通過計算相似度來比較的現(xiàn)有技術實現(xiàn)上述“比較”的過程)，則判定對應的計算機指令為xl。比如，xl為“打開文件x.doc”，則下一步將根據(jù)指令xl來打開與用戶進行交互的計算機上的文件“x.doc”。
[0037]通過以上描述可知，本發(fā)明的人機交互方法通過識別用戶的臉部動作、手勢和所使用的指紋信息，來確定對應的計算機指令，進而實現(xiàn)人機交互。與現(xiàn)有的人機交互相比，本發(fā)明的交互方法在人機交互過程中，不僅利用了人臉識別和手勢識別，同時還利用了人的指紋信息，而這在傳統(tǒng)的人機交互技術中是未曾有的。在現(xiàn)有技術中，指紋信息通常用于身份識別，未曾用于人機交互領域，也未與人臉識別、手勢識別聯(lián)合使用；而本發(fā)明的人機交互方法采用基于這三種識別手段的聯(lián)合識別技術，一方面能夠增加人機交互過程中的指令數(shù)量，另一方面還能夠增加人機交互過程中的保密性。
[0038]此外，當“通過查表的方式獲得對應的計算機指令”時，可以在預存的計算機指令表中關鍵的一個或多個指令對應的特征中嵌入指定的指紋信息，由此使得該一個或多個指令僅能夠被對應的指定用戶打開。這樣，可以使得人機交互過程的一部分操作能夠被所有人執(zhí)行，而另一部分操作僅能被部分人執(zhí)行，使得操作具有不同權限等級，由此可對部分操作加密或加鎖。例如，為了安全起見而對“格式化計算機”這個指令嵌入指定管理員的指紋信息，以及為了禁止小孩打開計算機中的游戲應用而將所有關于游戲啟動的指令嵌入家長的指紋信息等。
[0039]根據(jù)本發(fā)明的另一方面，還提供了一種用于服務器的電子郵件發(fā)送方法，電子郵件發(fā)送方法包括:當服務器上安裝的預定應用被打開、且預定應用被用于添加附件時，采集用戶的臉部圖像序列和手部圖像序列，以識別用戶的臉部動作和手勢，其中，預定應用為用于發(fā)送及接收電子郵件的應用;通過服務器的屏幕提示用戶輸入指紋，并采集服務器指紋區(qū)中當前的指紋圖像，以識別用戶當前所使用的指紋信息;根據(jù)已識別的用戶的臉部動作、手勢和所使用的指紋信息，形成用戶的特征信息;針對服務器上預存的多個已知特征信息中的每一個，計算該已知特征信息與用戶的特征信息之間的相似度，并當該相似度大于或等于預定閾值時將該已知特征信息確定為用戶的匹配結果;若多個已知特征信息中存在用戶的匹配結果，則允許該用戶添加附件，并允許該用戶繼續(xù)發(fā)送電子郵件;若多個已知特征信息中不存在用戶的匹配結果，則禁止該用戶添加附件，并輸出報警信號。
[0040]圖2示出了本發(fā)明的用于服務器的電子郵件發(fā)送方法的一個示例處理的流程圖。
[0041]如圖2所示，當服務器上安裝的預定應用被打開、且預定應用被用于添加附件時，啟動處理，執(zhí)行步驟S210。其中，預定應用為用于發(fā)送及接收電子郵件的應用。
[0042]在步驟S210中，采集用戶的臉部圖像序列和手部圖像序列，以識別用戶的臉部動作和手勢。
[0043]例如，根據(jù)一種實現(xiàn)方式，當服務器上安裝的預定應用被打開、并且當用戶執(zhí)行添加郵件附件操作時，觸發(fā)整個流程開始，執(zhí)行步驟S210。
[0044]其中，步驟S210中識別用戶的臉部動作的步驟可以包括如下處理:針對臉部圖像序列中的每幅圖像，對該幅圖像進行降噪(例如可以采用基于貝葉斯估計的小波閾值圖像降噪方法或非線性擴散方法進行降噪)，利用模板匹配方法獲取該幅圖像中的人臉位置，基于該幅圖像中的人臉位置確定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6個位置;利用臉部圖像序列的各幅圖像中的左眼位置形成左眼位置序列，利用臉部圖像序列的各幅圖像中的右眼位置形成右眼位置序列，利用臉部圖像序列的各幅圖像中的鼻子位置形成鼻子位置序列，利用臉部圖像序列的各幅圖像中的嘴部位置形成嘴部位置序列，利用臉部圖像序列的各幅圖像中的左耳位置形成左耳位置序列，利用臉部圖像序列的各幅圖像中的右耳位置形成右耳位置序列；利用左眼位置序列、右眼位置序列、鼻子位置序列、嘴部位置序列、左耳位置序列和右耳位置序列，通過與預存模型進行匹配，確定用戶的臉部動作。
[0045]其中，步驟S210的處理例如可以與上文所描述的步驟S120和S130的處理相似，這里不再贅述。
[0046]接著，在步驟S220中，通過服務器的屏幕提示用戶輸入指紋，并采集服務器指紋區(qū)中當前的指紋圖像，以識別用戶當前所使用的指紋信息。其中，步驟S220的處理例如可以與上文所描述的步驟S140的處理相似，這里不再贅述。例如，可以在提示用戶輸入指紋之后的10秒之內采集指紋圖像。
[0047]然后，在步驟S230中，根據(jù)已識別的用戶的臉部動作、手勢和所使用的指紋信息，形成用戶的特征信息。假設已識別的用戶的臉部動作、手勢和所使用的指紋信息分別為臉部動作a、手勢b和指紋信息C，則可以用(臉部動作a，手勢b，指紋信息c)描述用戶的特征信息。
[0048]然后，在步驟S240中，針對服務器上預存的多個已知特征信息中的每一個，計算該已知特征信息與用戶的特征信息之間的相似度，并當該相似度大于或等于預定閾值時將該已知特征信息確定為用戶的匹配結果。其中，預定閾值可根據(jù)經驗值設定，例如可為90%。
[0049]接著，在步驟S250中，確定在多個已知特征信息中是否已找到用戶的匹配結果:若已在多個已知特征信息中找到用戶的匹配結果，則執(zhí)行步驟S260;若未在多個已知特征信息中找到用戶的匹配結果，則執(zhí)行步驟S270。
[0050]在步驟S260中，允許該用戶添加附件，并允許該用戶繼續(xù)發(fā)送電子郵件。
[0051]在步驟S270中，禁止該用戶添加附件，并輸出報警信號。
[0052]需要說明的是，這里所說的附件即為郵件附件。
[0053]在一個例子中，服務器上預存3個已知特征信息，且這3個已知特征信息分別表示為(臉部動作M，手勢N，指紋信息yl)、(臉部動作M，手勢N，指紋信息y2)和(臉部動作M，手勢N，指紋信息y3)。也就是說，在該例子中，預存的3個已知特征信息中的臉部動作是相同的(例如都為搖頭)，并且3個已知特征信息中的手勢是相同的(例如都為雙手握拳)，而指紋信息yl、y2和y3則分別是來自3個不同管理員各自的指紋。這樣，只有用戶的臉部動作為搖頭、手勢為雙手握拳、且指紋為yl?y3中的一個時，才能在多個已知特征信息中找到用戶的匹配結果，進而才有權限添加附件并繼續(xù)發(fā)送電子郵件。
[0054]根據(jù)一種實現(xiàn)方式，步驟S250中輸出報警信號的步驟可以包括以下任一種處理:發(fā)出聲音警報信號；向預設電子郵箱地址發(fā)送警報郵件，并將用戶的臉部圖像序列和/或指紋信息作為警報郵件的附件;發(fā)出聲音警報信號，同時向預設電子郵箱地址發(fā)送警報郵件，并將用戶的臉部圖像序列和/或指紋信息作為警報郵件的附件。在一些特殊場合，例如無人看守的服務器，可以采用聲音警報信號的方式，這樣可以在發(fā)現(xiàn)可以操作的第一時間通知工作人員；同時將用戶的臉部圖像序列和/或指紋信息作為警報郵件的附件發(fā)送給預設電子郵箱(例如公司安保郵箱)，可以為后續(xù)訴訟、維權保留有效證據(jù)等。
[0055]通過以上描述可知，本發(fā)明的用于服務器的電子郵件發(fā)送方法，其監(jiān)測用戶操作，并當用戶試圖添加附件時，通過識別用戶的臉部動作、手勢和所使用的指紋信息來確定該用戶是否有權限添加郵件附件，由此通過臉部動作、手勢和指紋三者相結合的方式對添加郵件附件的操作實現(xiàn)了加鎖處理，也就是說，除指定用戶之外的其他人均不能添加郵件附件。
[0056]與現(xiàn)有的電子郵件發(fā)送技術相比，本發(fā)明在郵件發(fā)送過程中利用了人臉識別、手勢識別和指紋識別技術，能夠有效地對服務器的文件進行保護。在現(xiàn)有技術中，通常是利用禁止復制、禁用接口等手段來保護服務器文件的，對于通過郵件附件方式獲取服務器文件的方式尚無解決方法;而利用本發(fā)明的電子郵件發(fā)送方法，能夠有效地解決這個問題，只有當用戶為指定用戶(如上面舉例的3個管理員之一)時，才有機會添加附件，能夠防止其他人擅自將服務器上的關鍵文件通過電子郵件的形式發(fā)送到外網。在實際應用中，預定應用可以是本地的電郵應用，也可以是web應用等;或者，在實際應用中，也可以在服務器上禁用一切瀏覽器，從而禁用web應用，防止用戶通過瀏覽器等方式發(fā)送郵件附件。
[0057]盡管根據(jù)有限數(shù)量的實施例描述了本發(fā)明，但是受益于上面的描述，本技術領域內的技術人員明白，在由此描述的本發(fā)明的范圍內，可以設想其它實施例。此外，應當注意，本說明書中使用的語言主要是為了可讀性和教導的目的而選擇的，而不是為了解釋或者限定本發(fā)明的主題而選擇的。因此，在不偏離所附權利要求書的范圍和精神的情況下，對于本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。對于本發(fā)明的范圍，對本發(fā)明所做的公開是說明性的，而非限制性的，本發(fā)明的范圍由所附權利要求書限定。
【主權項】
1.一種人機交互方法，其特征在于，所述人機交互方法包括: 采集用戶的臉部圖像序列和手部圖像序列； 根據(jù)所述臉部圖像序列，識別所述用戶的臉部動作； 根據(jù)所述手部圖像序列，識別所述用戶的手勢； 采集指紋區(qū)中當前的指紋圖像，以識別所述用戶當前所使用的指紋信息； 基于已識別的所述用戶的所述臉部動作、所述手勢和所使用的指紋信息，確定對應的計算機指令，并根據(jù)所述計算機指令對相應計算機執(zhí)行對應的操作。2.根據(jù)權利要求1所述的人機交互方法，其特征在于，所述識別所述用戶的臉部動作的步驟包括: 針對所述臉部圖像序列中的每幅圖像， 對該幅圖像進行降噪， 利用模板匹配方法獲取該幅圖像中的人臉位置， 基于該幅圖像中的人臉位置確定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6個位置；利用所述臉部圖像序列的各幅圖像中的左眼位置形成左眼位置序列，利用所述臉部圖像序列的各幅圖像中的右眼位置形成右眼位置序列，利用所述臉部圖像序列的各幅圖像中的鼻子位置形成鼻子位置序列，利用所述臉部圖像序列的各幅圖像中的嘴部位置形成嘴部位置序列，利用所述臉部圖像序列的各幅圖像中的左耳位置形成左耳位置序列，利用所述臉部圖像序列的各幅圖像中的右耳位置形成右耳位置序列； 利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列，通過與所述預存模型進行匹配，確定所述用戶的臉部動作。3.根據(jù)權利要求2所述的人機交互方法，其特征在于，對所述臉部圖像序列中的每幅圖像采用基于貝葉斯估計的小波閾值圖像降噪方法或非線性擴散方法進行降噪。4.一種用于服務器的電子郵件發(fā)送方法，其特征在于，所述電子郵件發(fā)送方法包括: 當所述服務器上安裝的預定應用被打開且所述預定應用被用于添加郵件附件時，采集用戶的臉部圖像序列和手部圖像序列，以識別所述用戶的臉部動作和手勢，其中，所述預定應用為用于發(fā)送及接收電子郵件的應用； 通過所述服務器的屏幕提示所述用戶輸入指紋，并采集所述服務器指紋區(qū)中當前的指紋圖像，以識別所述用戶當前所使用的指紋信息； 根據(jù)已識別的所述用戶的所述臉部動作、所述手勢和所使用的指紋信息，形成所述用戶的特征信息； 針對所述服務器上預存的多個已知特征信息中的每一個，計算該已知特征信息與所述用戶的特征信息之間的相似度，并當該相似度大于或等于預定閾值時將該已知特征信息確定為所述用戶的匹配結果； 若所述多個已知特征信息中存在所述用戶的匹配結果，則允許該用戶添加所述附件，并允許該用戶繼續(xù)發(fā)送電子郵件； 若所述多個已知特征信息中不存在所述用戶的匹配結果，則禁止該用戶添加所述附件，并輸出報警信號。5.根據(jù)權利要求4所述的用于服務器的電子郵件發(fā)送方法，其特征在于，所述輸出報警信號的步驟包括: 發(fā)出聲音警報信號;和/或 向預設電子郵箱地址發(fā)送警報郵件，并將所述用戶的臉部圖像序列和/或指紋信息作為所述警報郵件的附件。6.根據(jù)權利要求4所述的用于服務器的電子郵件發(fā)送方法，其特征在于，所述識別所述用戶的臉部動作的步驟包括: 針對所述臉部圖像序列中的每幅圖像， 對該幅圖像進行降噪， 利用模板匹配方法獲取該幅圖像中的人臉位置， 基于該幅圖像中的人臉位置確定其中的左眼、右眼、鼻子、嘴部、左耳和右耳6個位置； 利用所述臉部圖像序列的各幅圖像中的左眼位置形成左眼位置序列，利用所述臉部圖像序列的各幅圖像中的右眼位置形成右眼位置序列，利用所述臉部圖像序列的各幅圖像中的鼻子位置形成鼻子位置序列，利用所述臉部圖像序列的各幅圖像中的嘴部位置形成嘴部位置序列，利用所述臉部圖像序列的各幅圖像中的左耳位置形成左耳位置序列，利用所述臉部圖像序列的各幅圖像中的右耳位置形成右耳位置序列； 利用所述左眼位置序列、所述右眼位置序列、所述鼻子位置序列、所述嘴部位置序列、所述左耳位置序列和所述右耳位置序列，通過與所述預存模型進行匹配，確定所述用戶的臉部動作。7.根據(jù)權利要求6所述的用于服務器的電子郵件發(fā)送方法，其特征在于，對所述臉部圖像序列中的每幅圖像采用基于貝葉斯估計的小波閾值圖像降噪方法或非線性擴散方法進行降噪。
【文檔編號】G06F21/55GK106022052SQ201610362384
【公開日】2016年10月12日
【申請日】2016年5月26日
【發(fā)明人】鄭麗坤, 關紹云, 沈杰, 張啟濤, 楊玉, 楊俊 , 金寧, 金一寧, 孔慶彥, 王興蘭, 馬今朝, 馬慧穎, 高祥, 李南, 李智強, 郭丹
【申請人】哈爾濱商業(yè)大學