本發(fā)明涉及信息處理技術(shù)，具體涉及一種信息處理方法及系統(tǒng)。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，涌現(xiàn)出大量的移動終端應(yīng)用(APP)。這些應(yīng)用非常注重用戶體驗，十分關(guān)注用戶的交互體驗和應(yīng)用的功能是否能夠切實滿足用戶的需求，用戶對應(yīng)用的反饋及評價是數(shù)據(jù)運營、產(chǎn)品經(jīng)理、設(shè)計師、軟件工程師優(yōu)化程序的重要依據(jù)。

現(xiàn)有技術(shù)中，收集應(yīng)用的反饋的方式主要有以下幾種：1、用戶通過應(yīng)用商店主動進行評分或評論；2、用戶通過網(wǎng)站或論壇主動進行評論或評分的反饋；3、指定的參數(shù)信息的收集。其中，上述方式1和方式2占據(jù)了大部分比例。在用戶使用應(yīng)用的過程中，應(yīng)用會不定期的提示用戶去應(yīng)用商店評分或評論，這種反饋的收集方式不夠方便靈活，用戶體驗較差。方式3指定的參數(shù)信息并不能直觀地對應(yīng)用戶的具體反饋體驗，不能針對用戶具體的使用過程。

技術(shù)實現(xiàn)要素：

為解決現(xiàn)有存在的技術(shù)問題，本發(fā)明實施例提供一種信息處理方法及系統(tǒng)，能夠直接獲得用戶的使用反饋情況。

為達到上述目的，本發(fā)明實施例的技術(shù)方案是這樣實現(xiàn)的：

本發(fā)明實施例提供了一種信息處理方法，所述方法包括：

獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上；

識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息；

基于所述面部表情信息和所述操作信息生成第一反饋信息。

上述方案中，所述基于所述面部表情信息和所述操作信息生成第一反饋信息，包括：

基于所述面部表情信息和/或所述操作信息獲得對應(yīng)的第一用戶體驗參數(shù)，基于所述第一用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

上述方案中，所述分析所述圖像數(shù)據(jù)，識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)之后，所述方法還包括：

獲得移動終端自身的相對位置信息和方向信息；

將所述面部特征數(shù)據(jù)中的眼部特征數(shù)據(jù)、所述相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息；所述關(guān)注點信息表征眼睛在移動終端上的聚焦位置信息。

上述方案中，所述方法還包括：基于所述關(guān)注點信息和所述操作信息生成第二反饋信息。

上述方案中，所述基于所述關(guān)注點信息和所述操作信息生成第二反饋信息，包括：

基于預設(shè)時間段內(nèi)的關(guān)注點信息和所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第二用戶體驗參數(shù)，基于所述第二用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第二反饋信息。

上述方案中，所述基于所述面部表情信息和所述操作信息生成第一反饋信息，包括：

基于所述面部表情信息、所述關(guān)注點信息和所述操作信息生成第一反饋信息。

上述方案中，所述基于所述面部表情信息、所述關(guān)注點信息和所述操作信息生成第一反饋信息，包括：

基于預設(shè)時間段內(nèi)的所述面部表情信息和所述關(guān)注點信息，結(jié)合所述預設(shè) 時間段內(nèi)的操作信息獲得對應(yīng)的第三用戶體驗參數(shù)，基于所述第三用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

本發(fā)明實施例還提供了一種信息處理系統(tǒng)，所述系統(tǒng)包括：獲取單元、圖像處理單元和信息生成單元；其中，

所述獲取單元，用于獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上；

所述圖像處理單元，用于識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息；

所述信息生成單元，用于基于所述圖像處理單元獲得的面部表情信息和所述獲取單元獲得的操作信息生成第一反饋信息。

上述方案中，所述信息生成單元，用于基于所述面部表情信息和/或所述操作信息獲得對應(yīng)的第一用戶體驗參數(shù)，基于所述第一用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

上述方案中，所述獲取單元，還用于獲得移動終端自身的相對位置信息和方向信息；

所述圖像處理單元，還用于將所述面部特征數(shù)據(jù)中的眼部特征數(shù)據(jù)、所述獲取單元獲得的所述移動終端自身的相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息；所述關(guān)注點信息表征眼睛在移動終端上的聚焦位置信息。

上述方案中，所述信息生成單元，還用于基于所述關(guān)注點信息和所述操作信息生成第二反饋信息。

上述方案中，所述信息生成單元，用于基于預設(shè)時間段內(nèi)的關(guān)注點信息和所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第二用戶體驗參數(shù)，基于所述第二用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第二反饋信息。

上述方案中，所述信息生成單元，用于基于所述面部表情信息、所述關(guān)注點信息和所述操作信息生成第一反饋信息。

上述方案中，所述信息生成單元，用于基于預設(shè)時間段內(nèi)的所述面部表情信息和所述關(guān)注點信息，結(jié)合所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第三用戶體驗參數(shù)，基于所述第三用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

本發(fā)明實施例的信息處理方法及系統(tǒng)，所述方法包括：獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上；識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息；基于所述面部表情信息和所述操作信息生成第一反饋信息。采用本發(fā)明實施例的技術(shù)方案，通過在用戶使用第一應(yīng)用的過程中，識別表征用戶的面部表情信息、獲得操作信息，基于所述面部表情信息和所述操作信息生成第一反饋信息，從而作為進一步對所述第一應(yīng)用進行優(yōu)化修改的依據(jù)，如此，一方面實現(xiàn)了用戶反饋信息的直接、主動的獲取，無需用戶登錄應(yīng)用商店或網(wǎng)站進行評論或評分，大大提升了用戶的操作體驗；另一方面，本發(fā)明實施例的技術(shù)方案在用戶的使用過程中進行信息的采集和識別，以便于獲知所述第一應(yīng)用中用戶體驗不佳的具體位置，便于后續(xù)運行維護過程中能夠?qū)唧w問題進行完善或優(yōu)化，為應(yīng)用的運行維護提供了詳實的依據(jù)。

附圖說明

圖1為本發(fā)明實施例的信息處理方法的應(yīng)用場景示意圖；

圖2為本發(fā)明實施例一的信息處理方法的流程示意圖；

圖3為本發(fā)明實施例二的信息處理方法的流程示意圖；

圖4為本發(fā)明實施例三的信息處理方法的流程示意圖；

圖5為本發(fā)明實施例的信息處理系統(tǒng)的組成結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖及具體實施例對本發(fā)明作進一步詳細的說明。

圖1為本發(fā)明實施例的信息處理方法的應(yīng)用場景示意圖；如圖1所示，包括作為服務(wù)器11以及移動終端12；所述移動終端12與所述服務(wù)器11之間可通過網(wǎng)絡(luò)(如有線網(wǎng)絡(luò)和/或無線網(wǎng)絡(luò))連接。所述移動終端12中預先安裝有至少一個應(yīng)用(APP)。所述服務(wù)器11可以為所述至少一個應(yīng)用所述服務(wù)器或服務(wù)器集群；所述服務(wù)器11也可以為第三方用戶體驗信息統(tǒng)計平臺所屬服務(wù)器或服務(wù)器集群。

本發(fā)明各實施例的技術(shù)方案應(yīng)用于上述服務(wù)器11和移動終端12中；通過所述移動終端12在運行一應(yīng)用時，獲得用戶針對所述應(yīng)用顯示界面的操作信息，同時獲得用戶的面部特征數(shù)據(jù)，將所述操作信息和所述面部特征數(shù)據(jù)發(fā)送至服務(wù)器11進行分析處理，以使所述服務(wù)器11根據(jù)所述面部特征數(shù)據(jù)識別出用戶的面部表情信息，再基于所述面部表情信息和所述操作信息獲得第一反饋信息，所述第一反饋信息表明在所述操作信息包含位置處，用戶的面部表情是愉悅、或平靜、或不滿等，從而獲知所述操作信息包含位置是否造成用戶操作體驗不佳，即是否需要進行優(yōu)化改進。

上述圖1的例子只是實現(xiàn)本發(fā)明實施例的一個應(yīng)用架構(gòu)實例，本發(fā)明實施例并不限于上述圖1所述的應(yīng)用結(jié)構(gòu)，基于該應(yīng)用架構(gòu)，提出本發(fā)明各個實施例。

實施例一

本發(fā)明實施例提供了一種信息處理方法。圖2為本發(fā)明實施例一的信息處理方法的流程示意圖；如圖2所示，所述信息處理方法包括：

步驟201：獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上。

本實施例所述的信息處理方法應(yīng)用于信息處理系統(tǒng)中；所述信息處理系統(tǒng)在本實施方式中可通過服務(wù)器實現(xiàn)，當然在其他實施方式中，可通過移動終端和服務(wù)器共同實現(xiàn)。則本步驟中，所述獲得操作信息和圖像數(shù)據(jù)，包括：服務(wù)器獲得移動終端的操作信息和圖像數(shù)據(jù)。

具體的，當移動終端激活第一應(yīng)用時，輸出表征所述第一應(yīng)用的顯示界面，檢測針對所述顯示界面的觸發(fā)操作，獲得操作信息；所述操作信息包括操作手勢信息和操作位置信息；其中，所述操作手勢信息包括：單擊手勢、雙擊手勢、滑動手勢、拖動手勢、縮放手勢、旋轉(zhuǎn)手勢、參數(shù)(例如音量參數(shù)、亮度參數(shù)等)調(diào)節(jié)手勢等等；所述操作位置信息為所述操作手勢的操作位置信息；所述操作位置信息可針對一功能按鍵。進一步地，所述操作信息還可為在一段時間內(nèi)的連續(xù)的操作信息。

當檢測到針對所述顯示界面的觸發(fā)操作時，所述移動終端生成第一指令，基于所述第一指令使能所述移動終端的圖像采集單元；在其他實施方式中，所述移動終端也可在激活所述第一應(yīng)用時使能所述移動終端的圖像采集單元，或者，所述移動終端也可基于檢測到的觸發(fā)指令使能所述移動終端的圖像采集單元，本實施例中不做具體限定。本實施例中，所述圖像采集單元與所述移動終端的顯示單元在同一平面上，可以理解為，所述圖像采集單元可通過所述移動終端的前置攝像頭實現(xiàn)。

本實施例中，所述移動終端將獲得的操作信息和對應(yīng)的圖像數(shù)據(jù)發(fā)送至信息處理系統(tǒng)。

步驟202：識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息。

本步驟中，所述信息處理系統(tǒng)分析所述圖像數(shù)據(jù)，首先對所述圖像數(shù)據(jù)進行預處理(例如去噪、像素位置或光照變量的標準化)，以及面部的分割、定位或追蹤等等。進一步地，對所述圖像數(shù)據(jù)進行面部特征數(shù)據(jù)的提取，包括將像素數(shù)據(jù)轉(zhuǎn)化為面部及其組成部分的外形、運動、顏色、肌肉和空間結(jié)構(gòu)的表示，提取出的面部特征數(shù)據(jù)用于進行后續(xù)的表情分類。進一步地，所述信息處理系 統(tǒng)中預先表情分類器，所述表情分類器中包括多組面部特征數(shù)據(jù)與表情信息的對應(yīng)關(guān)系，或者所述表情分類器中包括一表情分類模型，將所述面部特征數(shù)據(jù)輸入所述表情分類器，輸出所述面部特征數(shù)據(jù)對應(yīng)的表情信息，也即基于所述面部特征數(shù)據(jù)獲得面部表情信息。本步驟中所述的面部分析方法以及表情信息的識別可參照現(xiàn)有技術(shù)中的任何分析識別方法，本實施例中不作具體描述。

當然，在其他實施方式中，本步驟也可由移動終端實現(xiàn)，即移動終端根據(jù)獲得的圖像數(shù)據(jù)進行分析識別，獲得所述面部表情信息，再將所述面部表情信息發(fā)送至信息處理系統(tǒng)。具體的實現(xiàn)方式可參照上述描述，這里不再贅述。

步驟203：基于所述面部表情信息和所述操作信息生成第一反饋信息。

這里，所述基于所述面部表情信息和所述操作信息生成第一反饋信息，包括：基于所述面部表情信息和/或所述操作信息獲得對應(yīng)的第一用戶體驗參數(shù)，基于所述第一用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

具體的，所述信息處理系統(tǒng)中預先存儲有多組面部表情信息與第一用戶體驗參數(shù)的對應(yīng)關(guān)系。例如，當所述面部表情信息為愉悅時，對應(yīng)的第一用戶體驗參數(shù)為5；當所述面部表情信息為平靜時，對應(yīng)的第一用戶體驗參數(shù)為3；當所述面部表情信息為不滿時，對應(yīng)的第一用戶體驗參數(shù)為0。當然，在其他實施方式中，所述面部表情信息以及第一用戶體驗參數(shù)也可按照其他對應(yīng)方式預先設(shè)置，本實施例中不做詳細描述。也就是說，所述面部表情信息能夠表征用戶的體驗度，從而當所述面部表情信息表征的用戶體驗度達到第一預設(shè)閾值時，即表明用戶體驗度佳，依據(jù)所述面部表情信息對應(yīng)的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)對應(yīng)的第一反饋信息，此時，所述第一反饋信息表明所述第一應(yīng)用在所述操作位置處給用戶帶來較佳體驗，所述操作位置處的操作功能或提供的內(nèi)容值得推薦；相應(yīng)的，當所述面部表情信息表征的用戶體驗度未達到第二預設(shè)閾值時，所述第二預設(shè)閾值小于所述第一預設(shè)閾值，即表明用戶體驗度差，依據(jù)所述面部表情信息對應(yīng)的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)對應(yīng)的第一反饋信息，此時，所述第一反饋信息表明所述第一應(yīng)用在所述操作位置處給用戶帶來 較差體驗，所述操作位置處的操作功能或提供的內(nèi)容需進一步進行優(yōu)化或改善。

作為另一種實施方式，所述信息處理系統(tǒng)基于所述面部表情信息和所述操作信息的組合獲得對應(yīng)的第一用戶體驗參數(shù)。例如，當所述面部表情信息為愉悅，且所述操作信息包含的操作次數(shù)小于低于第一閾值時，對應(yīng)的第一用戶體驗參數(shù)為5；當所述面部表情信息為平靜，且所述操作信息包含的操作次數(shù)大于第一閾值小于第二閾值時，對應(yīng)的第一用戶體驗參數(shù)為3；當所述面部表情信息為不滿，且所述操作信息包含的操作次數(shù)大于第二閾值時，對應(yīng)的第一用戶體驗參數(shù)為0。當然，在其他實施方式中，所述面部表情信息以及第一用戶體驗參數(shù)也可按照其他對應(yīng)方式預先設(shè)置，本實施例中不做詳細描述。也就是說，所述面部表情信息和操作信息的組合能夠表征用戶的體驗度，如在一場景中，用戶通過輸入操作想找到一功能入口，可通過多次的滑動操作才看到，此時的用戶會面露不悅的表情；則在這種場景下，所述信息處理系統(tǒng)獲得表征不悅表情的面部表情信息和包含有多次滑動操作的操作信息，結(jié)合上述兩個信息獲得對應(yīng)的第一用戶體驗參數(shù)為0，即表明在所述操作信息對應(yīng)的操作位置下，用戶的體驗度較差，需要進行優(yōu)化或改進。

采用本發(fā)明實施例的技術(shù)方案，通過在用戶使用第一應(yīng)用的過程中，識別用戶的面部表情信息、獲得操作信息，基于所述面部表情信息和所述操作信息生成第一反饋信息，從而作為進一步對所述第一應(yīng)用進行優(yōu)化修改的依據(jù)，如此，一方面實現(xiàn)了用戶反饋信息的直接、主動的獲取，無需用戶登錄應(yīng)用商店或網(wǎng)站進行評論或評分，大大提升了用戶的操作體驗；另一方面，本發(fā)明實施例的技術(shù)方案在用戶的使用過程中進行信息的采集和識別，以便于獲知所述第一應(yīng)用中用戶體驗不佳的具體位置，便于后續(xù)運行維護過程中能夠?qū)唧w問題進行完善或優(yōu)化，為應(yīng)用的運行維護提供了詳實的依據(jù)。

實施例二

本發(fā)明實施例提供了一種信息處理方法。圖3為本發(fā)明實施例二的信息處理方法的流程示意圖；如圖3所示，所述信息處理方法包括：

步驟301：獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中 的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上。

本實施例所述的信息處理方法應(yīng)用于信息處理系統(tǒng)中；所述信息處理系統(tǒng)在本實施方式中可通過服務(wù)器實現(xiàn)，當然在其他實施方式中，可通過移動終端和服務(wù)器共同實現(xiàn)。則本步驟中，所述獲得操作信息和圖像數(shù)據(jù)，包括：信息處理系統(tǒng)獲得移動終端的操作信息和圖像數(shù)據(jù)。

具體的，當移動終端激活第一應(yīng)用時，輸出表征所述第一應(yīng)用的顯示界面，檢測針對所述顯示界面的觸發(fā)操作，獲得操作信息；所述操作信息包括操作手勢信息和操作位置信息；其中，所述操作手勢信息包括：單擊手勢、雙擊手勢、滑動手勢、拖動手勢、縮放手勢、旋轉(zhuǎn)手勢、參數(shù)(例如音量參數(shù)、亮度參數(shù)等)調(diào)節(jié)手勢等等；所述操作位置信息為所述操作手勢的操作位置信息；所述操作位置信息可針對一功能按鍵。進一步地，所述操作信息還可為在一段時間內(nèi)的連續(xù)的操作信息。

當檢測到針對所述顯示界面的觸發(fā)操作時，所述移動終端生成第一指令，基于所述第一指令使能所述移動終端的圖像采集單元；在其他實施方式中，所述移動終端也可在激活所述第一應(yīng)用時使能所述移動終端的圖像采集單元，或者，所述移動終端也可基于檢測到的觸發(fā)指令使能所述移動終端的圖像采集單元，本實施例中不做具體限定。本實施例中，所述圖像采集單元與所述移動終端的顯示單元在同一平面上，可以理解為，所述圖像采集單元可通過所述移動終端的前置攝像頭實現(xiàn)。

本實施例中，所述移動終端將獲得的操作信息和對應(yīng)的圖像數(shù)據(jù)發(fā)送至信息處理系統(tǒng)。

步驟302：識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)；以及獲得移動終端自身的相對位置信息和方向信息。

本步驟中，所述信息處理系統(tǒng)分析所述圖像數(shù)據(jù)，首先對所述圖像數(shù)據(jù)進行預處理(例如去噪、像素位置或光照變量的標準化)，以及面部的分割、定位 或追蹤等等。進一步地，對所述圖像數(shù)據(jù)進行面部特征數(shù)據(jù)的提取，包括將像素數(shù)據(jù)轉(zhuǎn)化為面部及其組成部分的外形、運動、顏色、肌肉和空間結(jié)構(gòu)的表示；具體的面部特征數(shù)據(jù)的提取方式可參照現(xiàn)有技術(shù)中的任何面部識別方式，本實施例中不作具體描述。

本實施例中，所述信息處理系統(tǒng)獲得所述移動終端的相對位置信息和方向信息；所述相對位置信息為所述移動終端與持有者之間的相對位置關(guān)系。具體的，所述移動終端中設(shè)置有以下傳感單元的至少之一：重力感應(yīng)單元、加速度傳感單元、距離傳感單元、虹膜識別單元等等，具體的，所述移動終端可通過所述重力感應(yīng)單元或所述加速度傳感單元獲得方向信息，所述方向信息可以為所述移動終端的重心方向相對于所述移動終端的長邊方向或短邊方向的夾角，所述方向信息也即所述移動終端的姿態(tài)變化信息。所述移動終端還可以通過所述距離傳感單元或所述虹膜識別單元獲得所述移動終端與持有者之間的相對位置信息，其中，所述距離傳感單元和所述虹膜識別單元通常設(shè)置于所述移動終端顯示單元的同一面上，當用戶持握所述移動終端時，可通過所述距離傳感單元檢測到與用戶之間的距離，或者可通過所述虹膜識別單元識別出所述移動終端與所述用戶的眼睛之間的相對方位。

步驟303：將所述面部特征數(shù)據(jù)中的眼部特征數(shù)據(jù)、所述相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息；所述關(guān)注點信息表征眼睛在移動終端上的聚焦位置信息。

本實施例中，所述信息處理系統(tǒng)基于所述面部特征數(shù)據(jù)中包含的眼部特征數(shù)據(jù)以及所述移動終端自身的相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息，所述關(guān)注點信息表征所述移動終端的持有用戶的眼睛在所述移動終端的聚焦位置信息，也可以理解為所述持有用戶的眼睛瀏覽的內(nèi)容所在的位置信息。具體的，所述信息處理系統(tǒng)可基于所述眼部特征數(shù)據(jù)獲得所述持有用戶的眼睛的視線方向信息，進一步的，基于所述移動終端自身的相對位置信息和所述方向信息確定所述移動終端和所述持有用戶的相對位置關(guān)系，基于所述視線方向信息和所述相對位置關(guān)系獲得所述持有用戶的眼睛聚焦在移動終端上的 聚焦范圍，基于所述聚焦范圍生成所述關(guān)注點信息。

步驟304：基于所述關(guān)注點信息和所述操作信息生成第二反饋信息。

這里，所述基于所述關(guān)注點信息和所述操作信息生成第二反饋信息，包括：基于預設(shè)時間段內(nèi)的關(guān)注點信息和所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第二用戶體驗參數(shù)，基于所述第二用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第二反饋信息。

具體的，所述信息處理系統(tǒng)基于預設(shè)時間段內(nèi)的關(guān)注點信息和操作信息的組合獲得對應(yīng)的第二用戶體驗參數(shù)。例如，當預設(shè)時間段t內(nèi)，當所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第一閾值，且所述操作信息包含的操作次數(shù)大于第二閾值時，對應(yīng)的第二用戶體驗參數(shù)為0；當所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第三閾值小于第一閾值(所述第一閾值小于所述第三閾值)，且所述操作信息包含的操作次數(shù)小于第二閾值大于第四閾值(所述第四閾值小于所述第二閾值)時，對應(yīng)的第二用戶體驗參數(shù)為3；當所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)未出現(xiàn)變化，或者變化的范圍比例小于第三閾值，且所述操作信息包含的操作次數(shù)小于第四閾值時，對應(yīng)的第二用戶體驗參數(shù)為5。當然，在其他實施方式中，所述信息處理系統(tǒng)基于眼部特征數(shù)據(jù)、所述相對位置信息和所述方向信息進行關(guān)聯(lián)得到關(guān)注點信息的方式也可參照其他實施方式，即所述信息處理系統(tǒng)可根據(jù)眼部特征數(shù)據(jù)、所述相對位置信息和所述方向信息得到持有用戶的眼睛在所述移動終端的聚焦位置信息可參照現(xiàn)有技術(shù)中的任何圖像識別結(jié)合建模技術(shù)，本實施例中不做詳細描述。如在一場景中，用戶通過輸入操作想找到一功能入口，則用戶會四處尋找所述功能入口的位置；則所述信息處理系統(tǒng)獲得的用戶的關(guān)注點信息變化的范圍比例會大于第一閾值；相應(yīng)的，在用戶尋找所述功能入口的位置過程中，伴隨著多次的觸發(fā)操作，也即所述信息處理系統(tǒng)獲得操作信息包含的操作次數(shù)大于第二閾值；在這種場景下，用戶需要很長時間才能找到所述功能入口，表明所述應(yīng)用在當前操作位置給用戶帶來較差的操作體驗，需要進行優(yōu)化或改進。

采用本發(fā)明實施例的技術(shù)方案，通過在用戶使用第一應(yīng)用的過程中，識別用戶的關(guān)注點信息、以及獲得操作信息，基于所述關(guān)注點信息和所述操作信息生成第二反饋信息，從而作為進一步對所述第一應(yīng)用進行優(yōu)化修改的依據(jù)，如此，一方面實現(xiàn)了用戶反饋信息的直接、主動的獲取，無需用戶登錄應(yīng)用商店或網(wǎng)站進行評論或評分，大大提升了用戶的操作體驗；另一方面，本發(fā)明實施例的技術(shù)方案在用戶的使用過程中進行信息的采集和識別，以便于獲知所述第一應(yīng)用中用戶體驗不佳的具體位置，便于后續(xù)運行維護過程中能夠?qū)唧w問題進行完善或優(yōu)化，為應(yīng)用的運行維護提供了詳實的依據(jù)。

實施例三

本發(fā)明實施例提供了一種信息處理方法。圖4為本發(fā)明實施例三的信息處理方法的流程示意圖；如圖4所示，所述信息處理方法包括：

步驟401：獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上。

本實施例所述的信息處理方法應(yīng)用于信息處理系統(tǒng)中；所述信息處理系統(tǒng)在本實施方式中可通過服務(wù)器實現(xiàn)，當然在其他實施方式中，可通過移動終端和服務(wù)器共同實現(xiàn)。則本步驟中，所述獲得操作信息和圖像數(shù)據(jù)，包括：信息處理系統(tǒng)獲得移動終端的操作信息和圖像數(shù)據(jù)。

具體的，當移動終端激活第一應(yīng)用時，輸出表征所述第一應(yīng)用的顯示界面，檢測針對所述顯示界面的觸發(fā)操作，獲得操作信息；所述操作信息包括操作手勢信息和操作位置信息；其中，所述操作手勢信息包括：單擊手勢、雙擊手勢、滑動手勢、拖動手勢、縮放手勢、旋轉(zhuǎn)手勢、參數(shù)(例如音量參數(shù)、亮度參數(shù)等)調(diào)節(jié)手勢等等；所述操作位置信息為所述操作手勢的操作位置信息；所述操作位置信息可針對一功能按鍵。進一步地，所述操作信息還可為在一段時間內(nèi)的連續(xù)的操作信息。

當檢測到針對所述顯示界面的觸發(fā)操作時，所述移動終端生成第一指令， 基于所述第一指令使能所述移動終端的圖像采集單元；在其他實施方式中，所述移動終端也可在激活所述第一應(yīng)用時使能所述移動終端的圖像采集單元，或者，所述移動終端也可基于檢測到的觸發(fā)指令使能所述移動終端的圖像采集單元，本實施例中不做具體限定。本實施例中，所述圖像采集單元與所述移動終端的顯示單元在同一平面上，可以理解為，所述圖像采集單元可通過所述移動終端的前置攝像頭實現(xiàn)。

本實施例中，所述移動終端將獲得的操作信息和對應(yīng)的圖像數(shù)據(jù)發(fā)送至信息處理系統(tǒng)。

步驟402：識別所述圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息。

本步驟中，所述信息處理系統(tǒng)分析所述圖像數(shù)據(jù)，首先對所述圖像數(shù)據(jù)進行預處理(例如去噪、像素位置或光照變量的標準化)，以及面部的分割、定位或追蹤等等。進一步地，對所述圖像數(shù)據(jù)進行面部特征數(shù)據(jù)的提取，包括將像素數(shù)據(jù)轉(zhuǎn)化為面部及其組成部分的外形、運動、顏色、肌肉和空間結(jié)構(gòu)的表示，提取出的面部特征數(shù)據(jù)用于進行后續(xù)的表情分類。進一步地，所述信息處理系統(tǒng)中預先表情分類器，所述表情分類器中包括多組面部特征數(shù)據(jù)與表情信息的對應(yīng)關(guān)系，或者所述表情分類器中包括一表情分類模型，將所述面部特征數(shù)據(jù)輸入所述表情分類器，輸出所述面部特征數(shù)據(jù)對應(yīng)的表情信息，也即基于所述面部特征數(shù)據(jù)獲得面部表情信息。本步驟中所述的面部分析方法以及表情信息的識別可參照現(xiàn)有技術(shù)中的任何分析識別方法，本實施例中不作具體描述。

當然，在其他實施方式中，本步驟也可由移動終端實現(xiàn)，即移動終端根據(jù)獲得的圖像數(shù)據(jù)進行分析識別，獲得所述面部表情信息，再將所述面部表情信息發(fā)送至信息處理系統(tǒng)。具體的實現(xiàn)方式可參照上述描述，這里不再贅述。

步驟403：獲得移動終端自身的相對位置信息和方向信息；將所述面部特征數(shù)據(jù)中的眼部特征數(shù)據(jù)、所述相對位置信息和方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息；所述關(guān)注點信息表征眼睛在移動終端上的聚焦位置信息。

本實施例中，所述信息處理系統(tǒng)獲得所述移動終端的相對位置信息和方向 信息；所述相對位置信息為所述移動終端與持有者之間的相對位置關(guān)系。具體的，所述移動終端中設(shè)置有以下傳感單元的至少之一：重力感應(yīng)單元、加速度傳感單元、距離傳感單元、虹膜識別單元等等，具體的，所述移動終端可通過所述重力感應(yīng)單元或所述加速度傳感單元獲得方向信息，所述方向信息可以為所述移動終端的重心方向相對于所述移動終端的長邊方向或短邊方向的夾角，所述方向信息也即所述移動終端的姿態(tài)變化信息。所述移動終端還可以通過所述距離傳感單元或所述虹膜識別單元獲得所述移動終端與持有者之間的相對位置信息，其中，所述距離傳感單元和所述虹膜識別單元通常設(shè)置于所述移動終端顯示單元的同一面上，當用戶持握所述移動終端時，可通過所述距離傳感單元檢測到與用戶之間的距離，或者可通過所述虹膜識別單元識別出所述移動終端與所述用戶的眼睛之間的相對方位。

進一步地，所述信息處理系統(tǒng)基于所述面部特征數(shù)據(jù)中包含的眼部特征數(shù)據(jù)、所述移動終端自身的相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息，所述關(guān)注點信息表征所述移動終端的持有用戶的眼睛在所述移動終端的聚焦位置信息，也可以理解為所述持有用戶的眼睛瀏覽的內(nèi)容所在的位置信息。具體的，所述信息處理系統(tǒng)可基于所述眼部特征數(shù)據(jù)獲得所述持有用戶的眼睛的視線方向信息，進一步的，基于所述移動終端自身的相對位置信息和所述方向信息確定所述移動終端和所述持有用戶的相對位置關(guān)系，基于所述視線方向信息和所述相對位置關(guān)系獲得所述持有用戶的眼睛聚焦在移動終端上的聚焦范圍，基于所述聚焦范圍生成所述關(guān)注點信息。

步驟404：基于所述面部表情信息、所述關(guān)注點信息和所述操作信息生成第一反饋信息。

這里，所述基于所述面部表情信息、所述關(guān)注點信息和所述操作信息生成第一反饋信息，包括：

基于預設(shè)時間段內(nèi)的所述面部表情信息和所述關(guān)注點信息，結(jié)合所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第三用戶體驗參數(shù)，基于所述第三用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

具體的，所述信息處理系統(tǒng)基于預設(shè)時間段內(nèi)的面部的表情信息，以及所述預設(shè)時間段內(nèi)的關(guān)注點信息，結(jié)合操作信息獲得對應(yīng)的第三用戶體驗參數(shù)。例如，在預設(shè)時間段t內(nèi)，獲得的面部表情信息為愉悅，所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)未出現(xiàn)變化，或者變化的范圍比例小于第三閾值，且所述操作信息包含的操作次數(shù)小于第四閾值時，對應(yīng)的第二用戶體驗參數(shù)為5；或者，獲得的面部表情信息為平靜，所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第三閾值小于第一閾值(所述第一閾值小于所述第三閾值)，且所述操作信息包含的操作次數(shù)小于第二閾值大于第四閾值(所述第四閾值小于所述第二閾值)時，對應(yīng)的第二用戶體驗參數(shù)為3；或者，獲得的面部表情信息為不滿，所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第一閾值，且所述操作信息包含的操作次數(shù)大于第二閾值時，對應(yīng)的第二用戶體驗參數(shù)為0。當然，所述信息處理系統(tǒng)獲得第三用戶體驗參數(shù)的方式也可參照其他方式，本實施例中不做贅述。如在一場景中，用戶通過輸入操作想找到一功能入口，則用戶會四處尋找所述功能入口的位置；則所述信息處理系統(tǒng)獲得的用戶的關(guān)注點信息變化的范圍比例會大于第一閾值；相應(yīng)的，在用戶尋找所述功能入口的位置過程中，伴隨著多次的觸發(fā)操作，也即所述信息處理系統(tǒng)獲得操作信息包含的操作次數(shù)大于第二閾值；相應(yīng)的，在用戶花費了較長時間尋找所述功能入口的位置的場景下，用戶會面露不悅的表情；在這種場景下，所述信息處理系統(tǒng)基于對獲得的所述面部表情信息、所述關(guān)注點信息以及所述操作信息的分析，確定當前用戶體驗較差，也即用戶需要很長時間才能找到所述功能入口，表明所述應(yīng)用在當前操作位置給用戶帶來較差的操作體驗，需要進行優(yōu)化或改進。

采用本發(fā)明實施例的技術(shù)方案，通過在用戶使用第一應(yīng)用的過程中，識別用戶的面部表情信息、用戶的關(guān)注點信息、以及獲得操作信息，基于所述面部表情信息、所述關(guān)注點信息和所述操作信息生成第一反饋信息，從而作為進一步對所述第一應(yīng)用進行優(yōu)化修改的依據(jù)，如此，一方面實現(xiàn)了用戶反饋信息的直接、主動的獲取，無需用戶登錄應(yīng)用商店或網(wǎng)站進行評論或評分，大大提升 了用戶的操作體驗；另一方面，本發(fā)明實施例的技術(shù)方案在用戶的使用過程中進行信息的采集和識別，以便于獲知所述第一應(yīng)用中用戶體驗不佳的具體位置，便于后續(xù)運行維護過程中能夠?qū)唧w問題進行完善或優(yōu)化，為應(yīng)用的運行維護提供了詳實的依據(jù)。

實施例四

本發(fā)明實施例還提供了一種信息處理系統(tǒng)。圖5為本發(fā)明實施例的信息處理系統(tǒng)的組成結(jié)構(gòu)示意圖；如圖5所示，所述系統(tǒng)包括：獲取單元51、圖像處理單元52和信息生成單元53；其中，

所述獲取單元51，用于獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上；

所述圖像處理單元52，用于識別所述獲取單元51獲得的圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息；

所述信息生成單元53，用于基于所述圖像處理單元52獲得的面部表情信息和所述獲取單元51獲得的操作信息生成第一反饋信息。

其中，所述信息生成單元53，用于基于所述面部表情信息獲得對應(yīng)的第一用戶體驗參數(shù)，基于所述第一用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

本實施例中，當移動終端激活第一應(yīng)用時，輸出表征所述第一應(yīng)用的顯示界面，檢測針對所述顯示界面的觸發(fā)操作，獲得操作信息；所述操作信息包括操作手勢信息和操作位置信息；其中，所述操作手勢信息包括：單擊手勢、雙擊手勢、滑動手勢、拖動手勢、縮放手勢、旋轉(zhuǎn)手勢、參數(shù)(例如音量參數(shù)、亮度參數(shù)等)調(diào)節(jié)手勢等等；所述操作位置信息為所述操作手勢的操作位置信息；所述操作位置信息可針對一功能按鍵。進一步地，所述操作信息還可為在一段時間內(nèi)的連續(xù)的操作信息。

當檢測到針對所述顯示界面的觸發(fā)操作時，所述移動終端生成第一指令， 基于所述第一指令使能所述移動終端的圖像采集單元；在其他實施方式中，所述移動終端也可在激活所述第一應(yīng)用時使能所述移動終端的圖像采集單元，或者，所述移動終端也可基于檢測到的觸發(fā)指令使能所述移動終端的圖像采集單元，本實施例中不做具體限定。本實施例中，所述圖像采集單元與所述移動終端的顯示單元在同一平面上，可以理解為，所述圖像采集單元可通過所述移動終端的前置攝像頭實現(xiàn)。進一步地，所述移動終端將獲得的操作信息和對應(yīng)的圖像數(shù)據(jù)發(fā)送至信息處理系統(tǒng)。

本實施例中，所述圖像處理單元52分析所述圖像數(shù)據(jù)，首先對所述圖像數(shù)據(jù)進行預處理(例如去噪、像素位置或光照變量的標準化)，以及面部的分割、定位或追蹤等等。進一步地，對所述圖像數(shù)據(jù)進行面部特征數(shù)據(jù)的提取，包括將像素數(shù)據(jù)轉(zhuǎn)化為面部及其組成部分的外形、運動、顏色、肌肉和空間結(jié)構(gòu)的表示，提取出的面部特征數(shù)據(jù)用于進行后續(xù)的表情分類。進一步地，所述信息處理系統(tǒng)中預先表情分類器，所述表情分類器中包括多組面部特征數(shù)據(jù)與表情信息的對應(yīng)關(guān)系，或者所述表情分類器中包括一表情分類模型，將所述面部特征數(shù)據(jù)輸入所述表情分類器，輸出所述面部特征數(shù)據(jù)對應(yīng)的表情信息，也即基于所述面部特征數(shù)據(jù)獲得面部表情信息。本實施例中所述的面部分析方法以及表情信息的識別可參照現(xiàn)有技術(shù)中的任何分析識別方法，本實施例中不作具體描述。

本實施例中，所述信息生成單元53中預先存儲有多組面部表情信息與第一用戶體驗參數(shù)的對應(yīng)關(guān)系。例如，當所述面部表情信息為愉悅時，對應(yīng)的第一用戶體驗參數(shù)為5；當所述面部表情信息為平靜時，對應(yīng)的第一用戶體驗參數(shù)為3；當所述面部表情信息為不滿時，對應(yīng)的第一用戶體驗參數(shù)為0。當然，在其他實施方式中，所述面部表情信息以及第一用戶體驗參數(shù)也可按照其他對應(yīng)方式預先設(shè)置，本實施例中不做詳細描述。也就是說，所述面部表情信息能夠表征用戶的體驗度，從而當所述面部表情信息表征的用戶體驗度達到第一預設(shè)閾值時，即表明用戶體驗度佳，依據(jù)所述面部表情信息對應(yīng)的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)對應(yīng)的第一反饋信息， 此時，所述第一反饋信息表明所述第一應(yīng)用在所述操作位置處給用戶帶來較佳體驗，所述操作位置處的操作功能或提供的內(nèi)容值得推薦；相應(yīng)的，當所述面部表情信息表征的用戶體驗度未達到第二預設(shè)閾值時，所述第二預設(shè)閾值小于所述第一預設(shè)閾值，即表明用戶體驗度差，依據(jù)所述面部表情信息對應(yīng)的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)對應(yīng)的第一反饋信息，此時，所述第一反饋信息表明所述第一應(yīng)用在所述操作位置處給用戶帶來較差體驗，所述操作位置處的操作功能或提供的內(nèi)容需進一步進行優(yōu)化或改善。

作為另一種實施方式，所述信息生成單元53基于所述面部表情信息和所述操作信息的組合獲得對應(yīng)的第一用戶體驗參數(shù)。例如，當所述面部表情信息為愉悅，且所述操作信息包含的操作次數(shù)小于低于第一閾值時，對應(yīng)的第一用戶體驗參數(shù)為5；當所述面部表情信息為平靜，且所述操作信息包含的操作次數(shù)大于第一閾值小于第二閾值時，對應(yīng)的第一用戶體驗參數(shù)為3；當所述面部表情信息為不滿，且所述操作信息包含的操作次數(shù)大于第二閾值時，對應(yīng)的第一用戶體驗參數(shù)為0。當然，在其他實施方式中，所述面部表情信息以及第一用戶體驗參數(shù)也可按照其他對應(yīng)方式預先設(shè)置，本實施例中不做詳細描述。也就是說，所述面部表情信息和操作信息的組合能夠表征用戶的體驗度，如在一場景中，用戶通過輸入操作想找到一功能入口，可通過多次的滑動操作才看到，此時的用戶會面露不悅的表情；則在這種場景下，所述信息處理系統(tǒng)獲得表征不悅表情的面部表情信息和包含有多次滑動操作的操作信息，結(jié)合上述兩個信息獲得對應(yīng)的第一用戶體驗參數(shù)為0，即表明在所述操作信息對應(yīng)的操作位置下，用戶的體驗度較差，需要進行優(yōu)化或改進。

本領(lǐng)域技術(shù)人員應(yīng)當理解，本發(fā)明實施例的信息處理系統(tǒng)中各處理模塊的功能，可參照前述信息處理方法的相關(guān)描述而理解，本發(fā)明實施例的信息處理系統(tǒng)中各處理模塊，可通過實現(xiàn)本發(fā)明實施例所述的功能的模擬電路而實現(xiàn)，也可以通過執(zhí)行本發(fā)明實施例所述的功能的軟件在智能終端上的運行而實現(xiàn)。

實施例五

本發(fā)明實施例還提供了一種信息處理系統(tǒng)，參照圖5所示，所述系統(tǒng)包括：獲取單元51、圖像處理單元52和信息生成單元53；其中，

所述獲取單元51，用于獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上；還用于獲得移動終端自身的位置信息和方向信息；

所述圖像處理單元52，用于識別所述獲取單元51獲得的圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，將所述面部特征數(shù)據(jù)中的眼部特征數(shù)據(jù)和所述獲取單元51獲得的所述移動終端自身的位置信息和方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息；所述關(guān)注點信息表征眼睛在移動終端上的聚焦位置信息；

所述信息生成單元53，用于基于所述圖像處理單元52獲得的關(guān)注點信息和所述獲取單元51獲得的操作信息生成第二反饋信息。

其中，所述信息生成單元53，用于基于預設(shè)時間段內(nèi)的關(guān)注點信息和所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第二用戶體驗參數(shù)，基于所述第二用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第二反饋信息。

本實施例中，當移動終端激活第一應(yīng)用時，輸出表征所述第一應(yīng)用的顯示界面，檢測針對所述顯示界面的觸發(fā)操作，獲得操作信息；所述操作信息包括操作手勢信息和操作位置信息；其中，所述操作手勢信息包括：單擊手勢、雙擊手勢、滑動手勢、拖動手勢、縮放手勢、旋轉(zhuǎn)手勢、參數(shù)(例如音量參數(shù)、亮度參數(shù)等)調(diào)節(jié)手勢等等；所述操作位置信息為所述操作手勢的操作位置信息；所述操作位置信息可針對一功能按鍵。進一步地，所述操作信息還可為在一段時間內(nèi)的連續(xù)的操作信息。當檢測到針對所述顯示界面的觸發(fā)操作時，所述移動終端生成第一指令，基于所述第一指令使能所述移動終端的圖像采集單元；在其他實施方式中，所述移動終端也可在激活所述第一應(yīng)用時使能所述移動終端的圖像采集單元，或者，所述移動終端也可基于檢測到的觸發(fā)指令使能所述移動終端的圖像采集單元，本實施例中不做具體限定。本實施例中，所述 圖像采集單元與所述移動終端的顯示單元在同一平面上，可以理解為，所述圖像采集單元可通過所述移動終端的前置攝像頭實現(xiàn)。

所述圖像處理單元52分析所述圖像數(shù)據(jù)，首先對所述圖像數(shù)據(jù)進行預處理(例如去噪、像素位置或光照變量的標準化)，以及面部的分割、定位或追蹤等等。進一步地，對所述圖像數(shù)據(jù)進行面部特征數(shù)據(jù)的提取，包括將像素數(shù)據(jù)轉(zhuǎn)化為面部及其組成部分的外形、運動、顏色、肌肉和空間結(jié)構(gòu)的表示；具體的面部特征數(shù)據(jù)的提取方式可參照現(xiàn)有技術(shù)中的任何面部識別方式，本實施例中不作具體描述。

本實施例中，所述獲取單元51獲得所述移動終端的相對位置信息和方向信息；所述相對位置信息為所述移動終端與持有者之間的相對位置關(guān)系。具體的，所述移動終端中設(shè)置有以下傳感單元的至少之一：重力感應(yīng)單元、加速度傳感單元、距離傳感單元、虹膜識別單元等等，具體的，所述移動終端可通過所述重力感應(yīng)單元或所述加速度傳感單元獲得方向信息，所述方向信息可以為所述移動終端的重心方向相對于所述移動終端的長邊方向或短邊方向的夾角，所述方向信息也即所述移動終端的姿態(tài)變化信息。所述移動終端還可以通過所述距離傳感單元或所述虹膜識別單元獲得所述移動終端與持有者之間的相對位置信息，其中，所述距離傳感單元和所述虹膜識別單元通常設(shè)置于所述移動終端顯示單元的同一面上，當用戶持握所述移動終端時，可通過所述距離傳感單元檢測到與用戶之間的距離，或者可通過所述虹膜識別單元識別出所述移動終端與所述用戶的眼睛之間的相對方位。

本實施例中，所述圖像處理單元52基于所述面部特征數(shù)據(jù)中包含的眼部特征數(shù)據(jù)以及所述移動終端自身的相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息，所述關(guān)注點信息表征所述移動終端的持有用戶的眼睛在所述移動終端的聚焦位置信息，也可以理解為所述持有用戶的眼睛瀏覽的內(nèi)容所在的位置信息。具體的，所述信息處理系統(tǒng)可基于所述眼部特征數(shù)據(jù)獲得所述持有用戶的眼睛的視線方向信息，進一步的，基于所述移動終端自身的相對位置信息和所述方向信息確定所述移動終端和所述持有用戶的相對位置關(guān)系，基于所述 視線方向信息和所述相對位置關(guān)系獲得所述持有用戶的眼睛聚焦在移動終端上的聚焦范圍，基于所述聚焦范圍生成所述關(guān)注點信息。

本實施例中，所述信息生成單元53基于預設(shè)時間段內(nèi)的關(guān)注點信息和操作信息的組合獲得對應(yīng)的第二用戶體驗參數(shù)。例如，當預設(shè)時間段t內(nèi)，當所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第一閾值，且所述操作信息包含的操作次數(shù)大于第二閾值時，對應(yīng)的第二用戶體驗參數(shù)為0；當所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第三閾值小于第一閾值(所述第一閾值小于所述第三閾值)，且所述操作信息包含的操作次數(shù)小于第二閾值大于第四閾值(所述第四閾值小于所述第二閾值)時，對應(yīng)的第二用戶體驗參數(shù)為3；當所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)未出現(xiàn)變化，或者變化的范圍比例小于第三閾值，且所述操作信息包含的操作次數(shù)小于第四閾值時，對應(yīng)的第二用戶體驗參數(shù)為5。當然，在其他實施方式中，所述信息處理系統(tǒng)基于眼部特征數(shù)據(jù)、所述移動終端自身的相對位置信息和所述方向信息進行關(guān)聯(lián)得到關(guān)注點信息的方式也可參照其他實施方式，即所述信息處理系統(tǒng)可根據(jù)眼部特征數(shù)據(jù)、所述移動終端自身的相對位置信息和所述方向信息得到持有用戶的眼睛在所述移動終端的聚焦位置信息可參照現(xiàn)有技術(shù)中的任何圖像識別結(jié)合建模技術(shù)，本實施例中不做詳細描述。如在一場景中，用戶通過輸入操作想找到一功能入口，則用戶會四處尋找所述功能入口的位置；則所述信息處理系統(tǒng)獲得的用戶的關(guān)注點信息變化的范圍比例會大于第一閾值；相應(yīng)的，在用戶尋找所述功能入口的位置過程中，伴隨著多次的觸發(fā)操作，也即所述信息處理系統(tǒng)獲得操作信息包含的操作次數(shù)大于第二閾值；在這種場景下，用戶需要很長時間才能找到所述功能入口，表明所述應(yīng)用在當前操作位置給用戶帶來較差的操作體驗，需要進行優(yōu)化或改進。

本領(lǐng)域技術(shù)人員應(yīng)當理解，本發(fā)明實施例的信息處理系統(tǒng)中各處理模塊的功能，可參照前述信息處理方法的相關(guān)描述而理解，本發(fā)明實施例的信息處理系統(tǒng)中各處理模塊，可通過實現(xiàn)本發(fā)明實施例所述的功能的模擬電路而實現(xiàn)， 也可以通過執(zhí)行本發(fā)明實施例所述的功能的軟件在智能終端上的運行而實現(xiàn)。

實施例六

本發(fā)明實施例還提供了一種信息處理系統(tǒng)，參照圖5所示，所述系統(tǒng)包括：獲取單元51、圖像處理單元52和信息生成單元53；其中，

所述獲取單元51，用于獲得操作信息和圖像數(shù)據(jù)；其中，所述操作信息為移動終端中的第一應(yīng)用處于激活狀態(tài)下、檢測到針對所述第一應(yīng)用的顯示界面的觸發(fā)操作獲得的操作信息；所述圖像數(shù)據(jù)為所述移動終端的圖像采集單元采集獲得的圖像數(shù)據(jù)；所述圖像采集單元與顯示單元在同一平面上；還用于獲得移動終端自身的位置信息和方向信息；

所述圖像處理單元52，用于識別所述獲取單元51獲得的圖像數(shù)據(jù)中的面部特征數(shù)據(jù)，基于所述面部特征數(shù)據(jù)獲得面部表情信息；還用于將所述面部特征數(shù)據(jù)中的眼部特征數(shù)據(jù)和所述獲取單元51獲得的所述移動終端自身的位置信息和方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息；所述關(guān)注點信息表征眼睛在移動終端上的聚焦位置信息；

所述信息生成單元53，用于基于所述圖像處理單元52獲得的面部表情信息、所述關(guān)注點信息和所述獲取單元51獲得的操作信息生成第一反饋信息。

其中，所述信息生成單元53，用于基于預設(shè)時間段內(nèi)的所述面部表情信息和所述關(guān)注點信息，結(jié)合所述預設(shè)時間段內(nèi)的操作信息獲得對應(yīng)的第三用戶體驗參數(shù)，基于所述第三用戶體驗參數(shù)生成所述操作信息對應(yīng)操作位置的第一反饋信息。

本實施例中，當移動終端激活第一應(yīng)用時，輸出表征所述第一應(yīng)用的顯示界面，檢測針對所述顯示界面的觸發(fā)操作，獲得操作信息；所述操作信息包括操作手勢信息和操作位置信息；其中，所述操作手勢信息包括：單擊手勢、雙擊手勢、滑動手勢、拖動手勢、縮放手勢、旋轉(zhuǎn)手勢、參數(shù)(例如音量參數(shù)、亮度參數(shù)等)調(diào)節(jié)手勢等等；所述操作位置信息為所述操作手勢的操作位置信息；所述操作位置信息可針對一功能按鍵。進一步地，所述操作信息還可為在一段時間內(nèi)的連續(xù)的操作信息。當檢測到針對所述顯示界面的觸發(fā)操作時，所 述移動終端生成第一指令，基于所述第一指令使能所述移動終端的圖像采集單元；在其他實施方式中，所述移動終端也可在激活所述第一應(yīng)用時使能所述移動終端的圖像采集單元，或者，所述移動終端也可基于檢測到的觸發(fā)指令使能所述移動終端的圖像采集單元，本實施例中不做具體限定。本實施例中，所述圖像采集單元與所述移動終端的顯示單元在同一平面上，可以理解為，所述圖像采集單元可通過所述移動終端的前置攝像頭實現(xiàn)。

本實施例中，所述圖像處理單元52分析所述圖像數(shù)據(jù)，首先對所述圖像數(shù)據(jù)進行預處理(例如去噪、像素位置或光照變量的標準化)，以及面部的分割、定位或追蹤等等。進一步地，對所述圖像數(shù)據(jù)進行面部特征數(shù)據(jù)的提取，包括將像素數(shù)據(jù)轉(zhuǎn)化為面部及其組成部分的外形、運動、顏色、肌肉和空間結(jié)構(gòu)的表示，提取出的面部特征數(shù)據(jù)用于進行后續(xù)的表情分類。進一步地，所述信息處理系統(tǒng)中預先表情分類器，所述表情分類器中包括多組面部特征數(shù)據(jù)與表情信息的對應(yīng)關(guān)系，或者所述表情分類器中包括一表情分類模型，將所述面部特征數(shù)據(jù)輸入所述表情分類器，輸出所述面部特征數(shù)據(jù)對應(yīng)的表情信息，也即基于所述面部特征數(shù)據(jù)獲得面部表情信息。本實施例中所述的面部分析方法以及表情信息的識別可參照現(xiàn)有技術(shù)中的任何分析識別方法，本實施例中不作具體描述。

本實施例中，所述獲取單元51獲得所述移動終端的相對位置信息和方向信息；所述相對位置信息為所述移動終端與持有者之間的相對位置關(guān)系。具體的，所述移動終端中設(shè)置有以下傳感單元的至少之一：重力感應(yīng)單元、加速度傳感單元、距離傳感單元、虹膜識別單元等等，具體的，所述移動終端可通過所述重力感應(yīng)單元或所述加速度傳感單元獲得方向信息，所述方向信息可以為所述移動終端的重心方向相對于所述移動終端的長邊方向或短邊方向的夾角，所述方向信息也即所述移動終端的姿態(tài)變化信息。所述移動終端還可以通過所述距離傳感單元或所述虹膜識別單元獲得所述移動終端與持有者之間的相對位置信息，其中，所述距離傳感單元和所述虹膜識別單元通常設(shè)置于所述移動終端顯示單元的同一面上，當用戶持握所述移動終端時，可通過所述距離傳感單元檢 測到與用戶之間的距離，或者可通過所述虹膜識別單元識別出所述移動終端與所述用戶的眼睛之間的相對方位。

進一步地，所述圖像處理單元52基于所述面部特征數(shù)據(jù)中包含的眼部特征數(shù)據(jù)以及所述移動終端的相對位置信息和所述方向信息進行關(guān)聯(lián)，獲得關(guān)注點信息，所述關(guān)注點信息表征所述移動終端的持有用戶的眼睛在所述移動終端的聚焦位置信息，也可以理解為所述持有用戶的眼睛瀏覽的內(nèi)容所在的位置信息。具體的，所述信息處理系統(tǒng)可基于所述眼部特征數(shù)據(jù)獲得所述持有用戶的眼睛的視線方向信息，進一步的，基于所述移動終端的相對位置信息和所述方向信息確定所述移動終端和所述持有用戶的相對位置關(guān)系，基于所述視線方向信息和所述相對位置關(guān)系獲得所述持有用戶的眼睛聚焦在移動終端上的聚焦范圍，基于所述聚焦范圍生成所述關(guān)注點信息。

本實施例中，所述信息生成單元53基于預設(shè)時間段內(nèi)的面部表情信息，以及所述預設(shè)時間段內(nèi)的關(guān)注點信息，結(jié)合操作信息獲得對應(yīng)的第三用戶體驗參數(shù)。例如，在預設(shè)時間段t內(nèi)，獲得的面部表情信息為愉悅，所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)未出現(xiàn)變化，或者變化的范圍比例小于第三閾值，且所述操作信息包含的操作次數(shù)小于第四閾值時，對應(yīng)的第二用戶體驗參數(shù)為5；或者，獲得的面部表情信息為平靜，所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第三閾值小于第一閾值(所述第一閾值小于所述第三閾值)，且所述操作信息包含的操作次數(shù)小于第二閾值大于第四閾值(所述第四閾值小于所述第二閾值)時，對應(yīng)的第二用戶體驗參數(shù)為3；或者，獲得的面部表情信息為不滿，所述關(guān)注點信息(即持有用戶的眼睛在移動終端上的聚焦位置)變化的范圍比例大于第一閾值，且所述操作信息包含的操作次數(shù)大于第二閾值時，對應(yīng)的第二用戶體驗參數(shù)為0。當然，所述信息處理系統(tǒng)獲得第三用戶體驗參數(shù)的方式也可參照其他方式，本實施例中不做贅述。如在一場景中，用戶通過輸入操作想找到一功能入口，則用戶會四處尋找所述功能入口的位置；則所述信息處理系統(tǒng)獲得的用戶的關(guān)注點信息變化的范圍比例會大于第一閾值；相應(yīng)的，在用戶尋找所述功 能入口的位置過程中，伴隨著多次的觸發(fā)操作，也即所述信息處理系統(tǒng)獲得操作信息包含的操作次數(shù)大于第二閾值；相應(yīng)的，在用戶花費了較長時間尋找所述功能入口的位置的場景下，用戶會面露不悅的表情；在這種場景下，所述信息處理系統(tǒng)基于對獲得的所述面部表情信息、所述關(guān)注點信息以及所述操作信息的分析，確定當前用戶體驗較差，也即用戶需要很長時間才能找到所述功能入口，表明所述應(yīng)用在當前操作位置給用戶帶來較差的操作體驗，需要進行優(yōu)化或改進。

本領(lǐng)域技術(shù)人員應(yīng)當理解，本發(fā)明實施例的信息處理系統(tǒng)中各處理模塊的功能，可參照前述信息處理方法的相關(guān)描述而理解，本發(fā)明實施例的信息處理系統(tǒng)中各處理模塊，可通過實現(xiàn)本發(fā)明實施例所述的功能的模擬電路而實現(xiàn)，也可以通過執(zhí)行本發(fā)明實施例所述的功能的軟件在智能終端上的運行而實現(xiàn)。

本發(fā)明實施例四至實施例六中，所述信息處理系統(tǒng)中的圖像處理單元52和信息生成單元53，在實際應(yīng)用中可由所述系統(tǒng)中的中央處理器(CPU，Central Processing Unit)、數(shù)字信號處理器(DSP，Digital Signal Processor)或可編程門陣列(FPGA，F(xiàn)ield－Programmable Gate Array)實現(xiàn)；所述信息處理系統(tǒng)中的獲取單元51，在實際應(yīng)用中，可由所述系統(tǒng)中的收發(fā)天線或收發(fā)機實現(xiàn)。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實現(xiàn)。以上所描述的設(shè)備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，如：多個單元或組件可以結(jié)合，或可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。

上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位于一個地方，也可以分布到多個網(wǎng)絡(luò)單元上；可以根據(jù)實際的需要選擇其中的部分或全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以理解：實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括：移動存儲設(shè)備、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

或者，本發(fā)明上述集成的單元如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實施例的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機、服務(wù)器、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分。而前述的存儲介質(zhì)包括：移動存儲設(shè)備、ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。