欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種電子設備的控制方法、系統(tǒng)及電子設備與流程

文檔序號:12462434閱讀:263來源:國知局
一種電子設備的控制方法、系統(tǒng)及電子設備與流程

本發(fā)明涉及電子設備技術領域,更具體地說,涉及一種電子設備的控制方法、系統(tǒng)及電子設備。



背景技術:

隨著手機的不斷發(fā)展,除了利用按鍵和觸屏來操作手機外,現在還可利用語音和手勢對手機發(fā)出操作指令。雖然手機的操作方式越來越簡單,但無論何種操作方式,都還是需要用戶刻意的做出相應的操作,手機才能做出相應的反應,智能化不足。



技術實現要素:

有鑒于此,本發(fā)明的目的在于提供一種電子設備的控制方法,能夠識別用戶的面部表情,通過用戶的面部表情對電子設備進行控制,使電子設備更加人性化、智能化。

為實現上述目的,本發(fā)明提供如下技術方案:一種電子設備的控制方法,包括以下步驟:

獲取面部圖像;

對所述面部圖像進行分析,提取出第一面部表情特征;

將所述第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在所述預設表情識別模型庫中提取出與所述第一面部表情特征相匹配的第二面部表情特征;

基于所述第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽;

基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

優(yōu)選地,對所述面部圖像進行分析,提取出第一面部表情特征包括:

基于預設分區(qū)規(guī)則將所述面部圖像劃分為兩個或兩個以上的子圖像區(qū)域;

提取每個子圖像區(qū)域對應的第三面部表情特征。

優(yōu)選地,將所述第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在所述預設表情識別模型庫中提取出與所述第一面部表情特征相匹配的第二面部表情特征包括:

將所述每個子圖像區(qū)域對應的第三面部表情特征,分別與預設表情識別模型庫中存儲的表情特征進行比對,在所述預設表情識別模型庫中提取出與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征,其中所述子表情特征的集合構成與所述第一面部表情特征相匹配的表情特征。

優(yōu)選地,所述基于第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽包括:

分別對與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征進行評分;

根據所述與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征的評分,計算出所述第二面部表情特征的總分;

基于所述總分確定與所述第二面部表情特征相對應的控制標簽。

優(yōu)選地,所述預設分區(qū)規(guī)則包括:按面部肌肉線條和五官進行分區(qū)的規(guī)則。

一種電子設備的控制系統(tǒng),包括:

獲取模塊,用于獲取面部圖像;

分析模塊,用于對所述面部圖像進行分析,提取出第一面部表情特征;

匹配模塊,用于將所述第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在所述預設表情識別模型庫中提取出與所述第一面部表情特征相匹配的第二面部表情特征;

調取模塊,用于基于所述第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽;

生成模塊,用于基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

優(yōu)選地,所述分析模塊包括:

劃分單元,用于基于預設分區(qū)規(guī)則將所述面部圖像劃分為兩個或兩個以上的子圖像區(qū)域;

提取單元,用于提取每個子圖像區(qū)域對應的第三面部表情特征。

優(yōu)選地,所述匹配模塊包括:

比對單元,用于將所述每個子圖像區(qū)域對應的第三面部表情特征,分別與預設表情識別模型庫中存儲的表情特征進行比對,在所述預設表情識別模型庫中提取出與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征,其中所述子表情特征的集合構成與所述第一面部表情特征相匹配的表情特征。

優(yōu)選地,所述調取模塊包括:

評分單元,用于分別對與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征進行評分;

計算單元,用于根據所述與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征的評分,計算出所述第二面部表情特征的總分;

確定單元,用于基于所述總分確定與所述第二面部表情特征相對應的控制標簽。

優(yōu)選地,所述預設分區(qū)規(guī)則包括:按面部肌肉線條和五官進行分區(qū)的規(guī)則。

一種電子設備,包括:控制系統(tǒng);其中:

所述控制系統(tǒng)包括:

獲取模塊,用于獲取面部圖像;

分析模塊,用于對所述面部圖像進行分析,提取出第一面部表情特征;

匹配模塊,用于將所述第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在所述預設表情識別模型庫中提取出與所述第一面部表情特征相匹配的第二面部表情特征;

調取模塊,用于基于所述第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽;

生成模塊,用于基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

從上述技術方案可以看出,本發(fā)明提供了一種電子設備的控制方法,首先獲取面部圖像,然后對面部圖像進行分析,提取出第一面部表情特征,將第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與第一面部表情特征相匹配的第二面部表情特征,基于第二面部表情特征,調取與第二面部表情特征相對應的控制標簽,最后基于控制標簽生成控制目標電子設備的控制指令。本發(fā)明能夠通過用戶的面部表情對電子設備進行控制,使電子設備更加人性化、智能化。

附圖說明

為了更清楚地說明本發(fā)明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據這些附圖獲得其它的附圖。

圖1為本發(fā)明公開的一種電子設備的控制方法實施例一的方法流程圖;

圖2為本發(fā)明公開的一種電子設備的控制方法實施例二的方法流程圖;

圖3為本發(fā)明公開的一種電子設備的控制系統(tǒng)實施例一的結構示意圖;

圖4為本發(fā)明公開的一種電子設備的控制系統(tǒng)實施例二的結構示意圖;

圖5為本發(fā)明公開的一種電子設備實施例一的結構示意圖。

具體實施方式

下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本發(fā)明保護的范圍。

如圖1所示,為本發(fā)明公開的一種電子設備的控制方法實施例1的方法流程圖,該方法應用于電子設備,所述電子設備可以為手機、平板電腦、筆記本電腦等智能終端。該方法可以包含以下步驟:

S101、獲取面部圖像;

當需要通過用戶的面部表情對電子設備進行控制時,啟動待控制電子設備的面部表情控制功能。啟動待控制電子設備的面部表情控制功能后,獲取用戶在使用目標電子設備即待控制電子設備時的面部圖像。

需要說明的是,在獲取用戶在使用目標電子設備時的面部圖像時,可以通過目標電子設備自帶的攝像頭對用戶的面部進行拍攝,將拍攝到的用戶的面部圖像發(fā)送至系統(tǒng)。在獲取用戶在使用目標電子設備時的面部圖像時,還可以采用其他圖像采集裝置對用戶的面部進行圖像采集,圖像采集裝置將采集到的用戶的面部圖像通過有線或無線的方式發(fā)送至目標電子設備的控制系統(tǒng)。

需要說明的是,在上述對用戶的面部進行圖像采集時,可以以一定的周期頻率進行采集。例如,周期T可在10~20秒范圍內取值。因為用戶在觀看電子設備上的內容時,情緒會立即因看到的內容產生變化,從而不經意的產生相對應的表情,但是經過一段時間對所看到內容的接收和理解后,有很大可能用戶對所看到的內容所產生情緒會發(fā)生變化,從而導致表情的變化。若周期間隔太短,則可能會錯誤的預測用戶的意圖,進行不必要的動作;若周期間隔太長,又會不能及時滿足用戶的需求,因此在對用戶的面部進行圖像采集時,設置合理的采集周期,能夠更加準確的對電子設備進行控制,進而可較好的滿足用戶的需求,提升用戶體驗。

S102、對面部圖像進行分析,提取出第一面部表情特征;

當獲取到面部圖像后,對獲取到的面部圖像進行處理分析,提取出面部圖像中能夠表征用戶情緒變化的面部表情特征。例如,提取出用戶微笑或難過時對應的面部表情特征,如嘴角上揚或嘴角向下彎曲等面部表情特征。

S103、將第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與第一面部表情特征相匹配的第二面部表情特征;

當基于面部圖像提取出的第一面部表情特征后,將提取到的表征用戶情緒的第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,其中,預設表情識別模型庫中預先存儲有若干個能夠表征情緒的表情特征。需要說明的是,預設表情識別模型庫中存儲的表情特征可根據實際需求進行增添、刪除或更改。在將用戶的第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配的過程中,即將提取到的用戶的面部表情特征與預設表情識別模型庫中存儲的表情特征進行一一的對比,通過對比當用戶的面部表情特征與預設表情識別模型庫中存儲的其中一種表情特征的相似度大于某一設定閾值時,例如相似度大于80%時,將預設表情識別模型庫中的該面部表情特征作為與用戶的面部表情特征相匹配的表情特征。

S104、基于第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽;

在所述預設表情識別模型庫中存儲的每一種表情特征均有控制標簽與其對應,所述的控制標簽為用于對電子設備進行控制的標簽。需要說明的是,預設表情識別模型庫中存儲的每一種表情特征可以有一個或一個以上的控制標簽與其對應。

當在預設表情識別模型庫中確定出與用戶的面部表情特征相匹配的表情特征后,進一步調取與該表情特征相對應的控制標簽。

S105、基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

最后,根據調取到的控制標簽生成相應的控制指令,基于生成的控制指令對目標電子設備進行相應的控制操作。當調取到多個控制標簽時,針對每一個控制標簽生成相應的控制指令,并基于生成的不同控制指令對目標電子設備進行多個操作。例如,當提取到的表情特征為表征用戶高興的情緒時,可以對應打開音樂播放器的控制標簽,以及在音樂播放器中選擇愉悅歌曲的控制標簽。

綜上所述,在上述實施例中,首先獲取用戶在使用目標電子設備時的面部圖像,然后對面部圖像進行分析,提取出用戶的面部表情特征,將用戶的面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與用戶的面部表情特征相匹配的表情特征,基于提取的表情特征,調取與表情特征相對應的控制標簽,最后基于控制標簽生成控制目標電子設備的控制指令。本發(fā)明能夠通過用戶的面部表情對電子設備進行控制,使電子設備更加人性化、智能化。

如圖2所示,為本發(fā)明公開的一種電子設備的控制方法實施例2的方法流程圖,該方法應用于電子設備,所述電子設備可以為手機、平板電腦、筆記本電腦等智能終端。該方法可以包含以下步驟:

S201、獲取面部圖像;

當需要通過用戶的面部表情對電子設備進行控制時,啟動待控制電子設備的面部表情控制功能。啟動待控制電子設備的面部表情控制功能后,獲取用戶在使用目標電子設備即待控制電子設備時的面部圖像。

需要說明的是,在獲取用戶在使用目標電子設備時的面部圖像時,可以通過目標電子設備自帶的攝像頭對用戶的面部進行拍攝,將拍攝到的用戶的面部圖像發(fā)送至系統(tǒng)。在獲取用戶在使用目標電子設備時的面部圖像時,還可以采用其他圖像采集裝置對用戶的面部進行圖像采集,圖像采集裝置將采集到的用戶的面部圖像通過有線或無線的方式發(fā)送至目標電子設備的控制系統(tǒng)。

需要說明的是,在上述對用戶的面部進行圖像采集時,可以以一定的周期頻率進行采集。例如,周期T可在10~20秒范圍內取值。因為用戶在觀看電子設備上的內容時,情緒會立即因看到的內容產生變化,從而不經意的產生相對應的表情,但是經過一段時間對所看到內容的接收和理解后,有很大可能用戶對所看到的內容所產生情緒會發(fā)生變化,從而導致表情的變化。若周期間隔太短,則可能會錯誤的預測用戶的意圖,進行不必要的動作;若周期間隔太長,又會不能及時滿足用戶的需求,因此在對用戶的面部進行圖像采集時,設置合理的采集周期,能夠更加準確的對電子設備進行控制,進而可較好的滿足用戶的需求,提升用戶體驗。

S202、基于預設分區(qū)規(guī)則將所述面部圖像劃分為兩個或兩個以上的子圖像區(qū)域;

當獲取到用戶在使用目標電子設備時的面部圖像后,根據預設分區(qū)規(guī)則將面部圖像劃分為若干個子圖像區(qū)域。具體的,預設分區(qū)規(guī)則可以為將面部圖像按照肌肉線條和五官進行分區(qū)的規(guī)則。例如,可將面部圖像分為眼區(qū)、眉區(qū)、額區(qū)、鼻區(qū)、唇區(qū)、頰區(qū)、眶下區(qū)、腮區(qū)、頦區(qū)和頜區(qū)。根據所分區(qū)域的不同提取不同的表情特征,以唇區(qū)為例,人在不滿時往往嘴角向下彎曲,人在喜悅時嘴角往往向上彎曲,因此嘴角的彎曲方向即為唇區(qū)需要記錄的表情特征之一。

S203、提取每個子圖像區(qū)域對應的第三面部表情特征;

基于預設分區(qū)規(guī)則將面部圖像劃分為若干個子圖像區(qū)域后,分別提取出每個子圖像區(qū)域對應的第三面部表情特征。

S204、將所述每個子圖像區(qū)域對應的第三面部表情特征,分別與預設表情識別模型庫中存儲的表情特征進行比對,在所述預設表情識別模型庫中提取出與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征,其中所述子表情特征的集合構成與所述第一面部表情特征相匹配的表情特征;

當提取出每個子圖像區(qū)域對應的用戶的表情特征后,分別將每個子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,其中,預設表情識別模型庫中預先存儲有若干個能夠表征情緒的表情特征。需要說明的是,預設表情識別模型庫中存儲的表情特征可根據實際需求進行增添、刪除或更改。在將每個子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的表情特征進行匹配的過程中,即將每個子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的表情特征進行一一的對比,通過對比當子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的其中一種表情特征的相似度大于某一設定閾值時,例如相似度大于80%時,將預設表情識別模型庫中的該面部表情特征作為該子圖像區(qū)域對應的用戶的子表情特征。

S205、分別對與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征進行評分;

然后分別對每個子表情特征進行評分,例如,按評分范圍從0~10分算,若用戶只是輕微皺眉,此時眉區(qū)表情特征僅為雙眉外側末端向下彎曲,眉區(qū)評分為2分;若用戶眉頭緊鎖,眉區(qū)表情特征為雙眉外側末端向下彎曲,且雙眉內側向上拱起,眉區(qū)評分為6分,且用戶撇嘴,嘴角向下彎,嘴唇變薄,唇區(qū)評分5分。

S206、根據所述與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征的評分,計算出第二面部表情特征的總分;

如上述兩種情況,用戶的表情雖然都確定為不滿。但一種情況總分為2分,另一種情況總分為11分。需要注意的是,此處兩種情況均為舉例,并不是只對眉區(qū)和唇區(qū)評分,為了便于理解,其他未提到的區(qū)域的表情特征的評分均為0分。

S207、基于所述總分確定與第二面部表情特征相對應的控制標簽;

根據計算得到的總分選擇與總分對應的控制標簽,即根據不同的分數選擇對電子設備進行不同控制方式的控制標簽。以上述例子為例,在用戶表情為不滿時,若表情總分為2分,則選擇的控制標簽的功能是使電子設備仍運行當前程序,但切換其他顯示內容;若表情總分為11分,則選擇的控制標簽的功能是使電子設備停止運行當前程序。

S208、基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

最后,根據調取到的控制標簽生成相應的控制指令,基于生成的控制指令對目標電子設備進行相應的控制操作。當調取到多個控制標簽時,針對每一個控制標簽生成相應的控制指令,并基于生成的不同控制指令對目標電子設備進行多個操作。例如,當提取到的表情特征為表征用戶高興的情緒時,可以對應打開音樂播放器的控制標簽,以及在音樂播放器中選擇愉悅歌曲的控制標簽。

綜上所述,在上述實施例的基礎上,采用將用戶的面部圖像分區(qū)域對比進而確認用戶表情的方法。分區(qū)域后,因單個區(qū)域內的表情特征遠少于整個面部圖像內的表情特征,因此對比難度遠低于未分區(qū)域前,降低了本方法對硬件要求,擴大了本方法的適用范圍。

此外,采用分區(qū)域方式,表情識別模型庫內只需要存儲每個區(qū)域的不同表情識別模型,而不需要存放每個區(qū)域的不同表情識別模型組合起來的整個面部的表情識別模型,極大地減少了需要存儲的表情識別模型的數量,節(jié)約了存儲空間。

如圖3所示,為本發(fā)明公開的一種電子設備的控制系統(tǒng)實施例1的結構示意圖,該系統(tǒng)應用于電子設備,所述電子設備可以為手機、平板電腦、筆記本電腦等智能終端。該系統(tǒng)可以包含:

獲取模塊301,用于獲取面部圖像;

當需要通過用戶的面部表情對電子設備進行控制時,啟動待控制電子設備的面部表情控制功能。啟動待控制電子設備的面部表情控制功能后,獲取用戶在使用目標電子設備即待控制電子設備時的面部圖像。

需要說明的是,在獲取用戶在使用目標電子設備時的面部圖像時,可以通過目標電子設備自帶的攝像頭對用戶的面部進行拍攝,將拍攝到的用戶的面部圖像發(fā)送至系統(tǒng)。在獲取用戶在使用目標電子設備時的面部圖像時,還可以采用其他圖像采集裝置對用戶的面部進行圖像采集,圖像采集裝置將采集到的用戶的面部圖像通過有線或無線的方式發(fā)送至目標電子設備的控制系統(tǒng)。

需要說明的是,在上述對用戶的面部進行圖像采集時,可以以一定的周期頻率進行采集。例如,周期T可在10~20秒范圍內取值。因為用戶在觀看電子設備上的內容時,情緒會立即因看到的內容產生變化,從而不經意的產生相對應的表情,但是經過一段時間對所看到內容的接收和理解后,有很大可能用戶對所看到的內容所產生情緒會發(fā)生變化,從而導致表情的變化。若周期間隔太短,則可能會錯誤的預測用戶的意圖,進行不必要的動作;若周期間隔太長,又會不能及時滿足用戶的需求,因此在對用戶的面部進行圖像采集時,設置合理的采集周期,能夠更加準確的對電子設備進行控制,進而可較好的滿足用戶的需求,提升用戶體驗。

分析模塊302,用于對面部圖像進行分析,提取出第一面部表情特征;

當獲取到目標電子設備的面部圖像后,對獲取到的用戶的面部圖像進行處理分析,提取出面部圖像中能夠表征用戶情緒變化的面部表情特征。例如,提取出用戶微笑或難過時對應的面部表情特征,如嘴角上揚或嘴角向下彎曲等面部表情特征。

匹配模塊303,用于將第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與第一面部表情特征相匹配的第二面部表情特征;

當基于面部圖像提取出的第一面部表情特征后,將提取到的表征用戶情緒的第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,其中,預設表情識別模型庫中預先存儲有若干個能夠表征情緒的表情特征。需要說明的是,預設表情識別模型庫中存儲的表情特征可根據實際需求進行增添、刪除或更改。在將用戶的第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配的過程中,即將提取到的用戶的面部表情特征與預設表情識別模型庫中存儲的表情特征進行一一的對比,通過對比當用戶的面部表情特征與預設表情識別模型庫中存儲的其中一種表情特征的相似度大于某一設定閾值時,例如相似度大于80%時,將預設表情識別模型庫中的該面部表情特征作為與用戶的面部表情特征相匹配的表情特征。

調取模塊304,用于基于第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽;

在所述預設表情識別模型庫中存儲的每一種表情特征均有控制標簽與其對應,所述的控制標簽為用于對電子設備進行控制的標簽。需要說明的是,預設表情識別模型庫中存儲的每一種表情特征可以有一個或一個以上的控制標簽與其對應。

當在預設表情識別模型庫中確定出與用戶的面部表情特征相匹配的表情特征后,進一步調取與該表情特征相對應的控制標簽。

生成模塊305,用于基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

最后,根據調取到的控制標簽生成相應的控制指令,基于生成的控制指令對目標電子設備進行相應的控制操作。當調取到多個控制標簽時,針對每一個控制標簽生成相應的控制指令,并基于生成的不同控制指令對目標電子設備進行多個操作。例如,當提取到的表情特征為表征用戶高興的情緒時,可以對應打開音樂播放器的控制標簽,以及在音樂播放器中選擇愉悅歌曲的控制標簽。

綜上所述,在上述實施例中,首先獲取用戶在使用目標電子設備時的面部圖像,然后對面部圖像進行分析,提取出用戶的面部表情特征,將用戶的面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與用戶的面部表情特征相匹配的表情特征,基于提取的表情特征,調取與表情特征相對應的控制標簽,最后基于控制標簽生成控制目標電子設備的控制指令。本發(fā)明能夠通過用戶的面部表情對電子設備進行控制,使電子設備更加人性化、智能化。

如圖4所示,為本發(fā)明公開的一種電子設備的控制系統(tǒng)實施例2的結構示意圖,該系統(tǒng)應用于電子設備,所述電子設備可以為手機、平板電腦、筆記本電腦等智能終端。該系統(tǒng)可以包含:

獲取模塊401,用于獲取面部圖像;

當需要通過用戶的面部表情對電子設備進行控制時,啟動待控制電子設備的面部表情控制功能。啟動待控制電子設備的面部表情控制功能后,獲取用戶在使用目標電子設備即待控制電子設備時的面部圖像。

需要說明的是,在獲取用戶在使用目標電子設備時的面部圖像時,可以通過目標電子設備自帶的攝像頭對用戶的面部進行拍攝,將拍攝到的用戶的面部圖像發(fā)送至系統(tǒng)。在獲取用戶在使用目標電子設備時的面部圖像時,還可以采用其他圖像采集裝置對用戶的面部進行圖像采集,圖像采集裝置將采集到的用戶的面部圖像通過有線或無線的方式發(fā)送至目標電子設備的控制系統(tǒng)。

需要說明的是,在上述對用戶的面部進行圖像采集時,可以以一定的周期頻率進行采集。例如,周期T可在10~20秒范圍內取值。因為用戶在觀看電子設備上的內容時,情緒會立即因看到的內容產生變化,從而不經意的產生相對應的表情,但是經過一段時間對所看到內容的接收和理解后,有很大可能用戶對所看到的內容所產生情緒會發(fā)生變化,從而導致表情的變化。若周期間隔太短,則可能會錯誤的預測用戶的意圖,進行不必要的動作;若周期間隔太長,又會不能及時滿足用戶的需求,因此在對用戶的面部進行圖像采集時,設置合理的采集周期,能夠更加準確的對電子設備進行控制,進而可較好的滿足用戶的需求,提升用戶體驗。

劃分單元402,用于基于預設分區(qū)規(guī)則將所述面部圖像劃分為兩個或兩個以上的子圖像區(qū)域;

當獲取到用戶在使用目標電子設備時的面部圖像后,根據預設分區(qū)規(guī)則將面部圖像劃分為若干個子圖像區(qū)域。具體的,預設分區(qū)規(guī)則可以為將面部圖像按照肌肉線條和五官進行分區(qū)的規(guī)則。例如,可將面部圖像分為眼區(qū)、眉區(qū)、額區(qū)、鼻區(qū)、唇區(qū)、頰區(qū)、眶下區(qū)、腮區(qū)、頦區(qū)和頜區(qū)。根據所分區(qū)域的不同提取不同的表情特征,以唇區(qū)為例,人在不滿時往往嘴角向下彎曲,人在喜悅時嘴角往往向上彎曲,因此嘴角的彎曲方向即為唇區(qū)需要記錄的表情特征之一。

提取單元403,用于提取每個子圖像區(qū)域對應的第三面部表情特征;

基于預設分區(qū)規(guī)則將面部圖像劃分為若干個子圖像區(qū)域后,分別提取出每個子圖像區(qū)域對應的第三面部表情特征。

比對單元404,用于將所述每個子圖像區(qū)域對應的第三面部表情特征,分別與預設表情識別模型庫中存儲的表情特征進行比對,在所述預設表情識別模型庫中提取出與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征,其中所述子表情特征的集合構成與所述第一面部表情特征相匹配的表情特征;

當提取出每個子圖像區(qū)域對應的用戶的表情特征后,分別將每個子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,其中,預設表情識別模型庫中預先存儲有若干個能夠表征情緒的表情特征。需要說明的是,預設表情識別模型庫中存儲的表情特征可根據實際需求進行增添、刪除或更改。在將每個子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的表情特征進行匹配的過程中,即將每個子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的表情特征進行一一的對比,通過對比當子圖像區(qū)域對應的用戶的表情特征與預設表情識別模型庫中存儲的其中一種表情特征的相似度大于某一設定閾值時,例如相似度大于80%時,將預設表情識別模型庫中的該面部表情特征作為該子圖像區(qū)域對應的用戶的子表情特征。

評分單元405,用于分別對與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征進行評分;

然后分別對每個子表情特征進行評分,例如,按評分范圍從0~10分算,若用戶只是輕微皺眉,此時眉區(qū)表情特征僅為雙眉外側末端向下彎曲,眉區(qū)評分為2分;若用戶眉頭緊鎖,眉區(qū)表情特征為雙眉外側末端向下彎曲,且雙眉內側向上拱起,眉區(qū)評分為6分,且用戶撇嘴,嘴角向下彎,嘴唇變薄,唇區(qū)評分5分。

計算單元406,用于根據所述與每個子圖像區(qū)域對應的第三面部表情特征相匹配的子表情特征的評分,計算出第二面部表情特征的總分;

如上述兩種情況,用戶的表情雖然都確定為不滿。但一種情況總分為2分,另一種情況總分為11分。需要注意的是,此處兩種情況均為舉例,并不是只對眉區(qū)和唇區(qū)評分,為了便于理解,其他未提到的區(qū)域的表情特征的評分均為0分。

確定單元407,用于基于所述總分確定與第二面部表情特征相對應的控制標簽;

根據計算得到的總分選擇與總分對應的控制標簽,即根據不同的分數選擇對電子設備進行不同控制方式的控制標簽。以上述例子為例,在用戶表情為不滿時,若表情總分為2分,則選擇的控制標簽的功能是使電子設備仍運行當前程序,但切換其他顯示內容;若表情總分為11分,則選擇的控制標簽的功能是使電子設備停止運行當前程序。

生成模塊408,用于基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

最后,根據調取到的控制標簽生成相應的控制指令,基于生成的控制指令對目標電子設備進行相應的控制操作。當調取到多個控制標簽時,針對每一個控制標簽生成相應的控制指令,并基于生成的不同控制指令對目標電子設備進行多個操作。例如,當提取到的表情特征為表征用戶高興的情緒時,可以對應打開音樂播放器的控制標簽,以及在音樂播放器中選擇愉悅歌曲的控制標簽。

綜上所述,在上述實施例的基礎上,采用將用戶的面部圖像分區(qū)域對比進而確認用戶表情的方法。分區(qū)域后,因單個區(qū)域內的表情特征遠少于整個面部圖像內的表情特征,因此對比難度遠低于未分區(qū)域前,降低了本方法對硬件要求,擴大了本方法的適用范圍。

此外,采用分區(qū)域方式,表情識別模型庫內只需要存儲每個區(qū)域的不同表情識別模型,而不需要存放每個區(qū)域的不同表情識別模型組合起來的整個面部的表情識別模型,極大地減少了需要存儲的表情識別模型的數量,節(jié)約了存儲空間。

如圖5所示,為本發(fā)明公開的一種電子設備實施例1的結構示意圖,所述電子設備可以為手機、平板電腦、筆記本電腦等智能終端。所述電子設備包括控制系統(tǒng)51;

其中,所述控制系統(tǒng)51包括:

獲取模塊511,用于獲取面部圖像;

當需要通過用戶的面部表情對電子設備進行控制時,啟動待控制電子設備的面部表情控制功能。啟動待控制電子設備的面部表情控制功能后,獲取用戶在使用目標電子設備即待控制電子設備時的面部圖像。

需要說明的是,在獲取用戶在使用目標電子設備時的面部圖像時,可以通過目標電子設備自帶的攝像頭對用戶的面部進行拍攝,將拍攝到的用戶的面部圖像發(fā)送至系統(tǒng)。在獲取用戶在使用目標電子設備時的面部圖像時,還可以采用其他圖像采集裝置對用戶的面部進行圖像采集,圖像采集裝置將采集到的用戶的面部圖像通過有線或無線的方式發(fā)送至目標電子設備的控制系統(tǒng)。

需要說明的是,在上述對用戶的面部進行圖像采集時,可以以一定的周期頻率進行采集。例如,周期T可在10~20秒范圍內取值。因為用戶在觀看電子設備上的內容時,情緒會立即因看到的內容產生變化,從而不經意的產生相對應的表情,但是經過一段時間對所看到內容的接收和理解后,有很大可能用戶對所看到的內容所產生情緒會發(fā)生變化,從而導致表情的變化。若周期間隔太短,則可能會錯誤的預測用戶的意圖,進行不必要的動作;若周期間隔太長,又會不能及時滿足用戶的需求,因此在對用戶的面部進行圖像采集時,設置合理的采集周期,能夠更加準確的對電子設備進行控制,進而可較好的滿足用戶的需求,提升用戶體驗。

分析模塊512,用于對面部圖像進行分析,提取出第一面部表情特征;

當獲取到目標電子設備的面部圖像后,對獲取到的用戶的面部圖像進行處理分析,提取出面部圖像中能夠表征用戶情緒變化的面部表情特征。例如,提取出用戶微笑或難過時對應的面部表情特征,如嘴角上揚或嘴角向下彎曲等面部表情特征。

匹配模塊513,用于將第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與第一面部表情特征相匹配的第二面部表情特征;

當基于面部圖像提取出的第一面部表情特征后,將提取到的表征用戶情緒的第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,其中,預設表情識別模型庫中預先存儲有若干個能夠表征情緒的表情特征。需要說明的是,預設表情識別模型庫中存儲的表情特征可根據實際需求進行增添、刪除或更改。在將用戶的第一面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配的過程中,即將提取到的用戶的面部表情特征與預設表情識別模型庫中存儲的表情特征進行一一的對比,通過對比當用戶的面部表情特征與預設表情識別模型庫中存儲的其中一種表情特征的相似度大于某一設定閾值時,例如相似度大于80%時,將預設表情識別模型庫中的該面部表情特征作為與用戶的面部表情特征相匹配的表情特征。

調取模塊514,用于基于第二面部表情特征,調取與所述第二面部表情特征相對應的控制標簽;

在所述預設表情識別模型庫中存儲的每一種表情特征均有控制標簽與其對應,所述的控制標簽為用于對電子設備進行控制的標簽。需要說明的是,預設表情識別模型庫中存儲的每一種表情特征可以有一個或一個以上的控制標簽與其對應。

當在預設表情識別模型庫中確定出與用戶的面部表情特征相匹配的表情特征后,進一步調取與該表情特征相對應的控制標簽。

生成模塊515,用于基于所述控制標簽生成控制目標電子設備的控制指令,所述目標電子設備為待控制電子設備。

最后,根據調取到的控制標簽生成相應的控制指令,基于生成的控制指令對目標電子設備進行相應的控制操作。當調取到多個控制標簽時,針對每一個控制標簽生成相應的控制指令,并基于生成的不同控制指令對目標電子設備進行多個操作。例如,當提取到的表情特征為表征用戶高興的情緒時,可以對應打開音樂播放器的控制標簽,以及在音樂播放器中選擇愉悅歌曲的控制標簽。

綜上所述,在上述實施例中,首先獲取用戶在使用目標電子設備時的面部圖像,然后對面部圖像進行分析,提取出用戶的面部表情特征,將用戶的面部表情特征與預設表情識別模型庫中存儲的表情特征進行匹配,在預設表情識別模型庫中提取出與用戶的面部表情特征相匹配的表情特征,基于提取的表情特征,調取與表情特征相對應的控制標簽,最后基于控制標簽生成控制目標電子設備的控制指令。本發(fā)明能夠通過用戶的面部表情對電子設備進行控制,使電子設備更加人性化、智能化。

本說明書中各個實施例采用遞進的方式描述,每個實施例重點說明的都是與其它實施例的不同之處,各個實施例之間相同相似部分互相參見即可。

對所公開的實施例的上述說明,使本領域專業(yè)技術人員能夠實現或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實施例中實現。因此,本發(fā)明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。

當前第1頁1 2 3 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
金乡县| 邯郸县| 务川| 永年县| 胶南市| 侯马市| 电白县| 汝南县| 霍山县| 宜宾县| 天柱县| 且末县| 扶沟县| 印江| 富蕴县| 望城县| 体育| 梨树县| 和静县| 雅安市| 台中县| 广汉市| 都安| 墨玉县| 姚安县| 汉阴县| 开平市| 抚松县| 缙云县| 玉树县| 武山县| 龙岩市| 梧州市| 凤冈县| 临澧县| 曲松县| 新竹县| 信宜市| 逊克县| 华安县| 车致|