基于情緒識別的信息推薦方法和裝置的制造方法
【專利摘要】本發(fā)明實施例提供一種基于情緒識別的信息推薦方法和裝置，用以根據(jù)用戶情緒為用戶推薦多媒體內(nèi)容，提高多媒體內(nèi)容推薦的準確率，改善用戶體驗。所述基于情緒識別的信息推薦方法，包括：獲取用戶提供的圖像；從所述圖像中提取表征用戶情緒的特征信息；根據(jù)提取的特征信息識別用戶情緒類型；根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所述用戶推薦信息類型與識別出的用戶情緒類型對應的信息。
【專利說明】
基于情緒識別的信息推薦方法和裝置
技術領域
[0001] 本發(fā)明實施例設及終端應用技術領域，尤其設及一種基于情緒識別的信息推薦方 法和裝置。
【背景技術】
[0002] 隨著移動通信技術的飛速發(fā)展和移動多媒體時代的到來，手機等移動終端作為人 們必備的移動通信工具，已從簡單的通話工具向智能化發(fā)展，通過在移動終端中安裝不同 的應用客戶端可W為用戶提供豐富的互聯(lián)網(wǎng)應用。其中，多媒體播放是其中的熱口應用之 O
[0003] 內(nèi)容提供商通過多媒體播放應用客戶端可W向用戶提供海量的多媒體內(nèi)容。用戶 可W利用關鍵詞查找自己喜歡的多媒體內(nèi)容，也可W由內(nèi)容提供商為用戶推薦多媒體內(nèi) 容。后一種方式下，內(nèi)容提供商通常為用戶推薦訪問頻率高的多媒體內(nèi)容，或者根據(jù)用戶自 身的訪問數(shù)據(jù)預測用戶喜歡什么類型的多媒體內(nèi)容并據(jù)此進行推薦等等。
[0004] 但是，由于用戶對于多媒體內(nèi)容的需求在不同的情境下是有區(qū)別的，例如，用戶在 興奮時喜歡快節(jié)奏的音樂，在失落時需要平淡的音樂，而現(xiàn)有的多媒體內(nèi)容推薦方式中并 沒有考慮到用戶情緒，如果用戶高興，卻給用戶推薦一些悲傷的多媒體內(nèi)容，或者用戶情緒 低落，卻給用戶推薦一些搞笑或者歡樂的多媒體內(nèi)容，在一定程度上影響了用戶體驗。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實施例提供一種基于情緒識別的信息推薦方法和裝置，用W根據(jù)用戶情緒 為用戶推薦多媒體內(nèi)容，提高多媒體內(nèi)容推薦的準確率，改善用戶體驗。
[0006] 本發(fā)明實施例提供一種基于情緒識別的信息推薦方法，包括：
[0007] 獲取用戶提供的圖像；
[000引從所述圖像中提取表征用戶情緒的特征信息；
[0009] 根據(jù)提取的特征信息識別用戶情緒類型；
[0010] 根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所述用戶推薦信息類型 與識別出的用戶情緒類型對應的信息。
[0011] 本發(fā)明實施例提供一種基于情緒識別的信息推薦裝置，包括：
[0012] 獲取單元，用于獲取用戶提供的圖像；
[0013] 提取單元，用于從所述圖像中提取表征用戶情緒的特征信息；
[0014] 情緒識別單元，用于根據(jù)提取的特征信息識別用戶情緒類型；
[0015] 信息推薦單元，用于根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所 述用戶推薦信息類型與識別出的用戶情緒類型對應的信息。
[0016] 本發(fā)明實施例還提供另外一種基于情緒識別的信息推薦裝置，例如，可W包括存 儲器和處理器，其中，處理器可W用于讀取存儲器中的程序，執(zhí)行下列過程:獲取用戶提供 的圖像;從所述圖像中提取表征用戶情緒的特征信息;根據(jù)提取的特征信息識別用戶情緒 類型;根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所述用戶推薦信息類型與 識別出的用戶情緒類型對應的信息。
[0017] 本發(fā)明實施例還提供了一種程序產(chǎn)品，其包括程序代碼，當所述程序代碼被執(zhí)行 時，所述程序代碼用于執(zhí)行W下過程:獲取用戶提供的圖像;從所述圖像中提取表征用戶情 緒的特征信息;根據(jù)提取的特征信息識別用戶情緒類型;根據(jù)預設的用戶情緒類型與信息 類型之間的對應關系，向所述用戶推薦信息類型與識別出的用戶情緒類型對應的信息。
[0018] 本發(fā)明實施例提供的基于情緒識別的信息推薦方法和裝置，通過對用戶提取的圖 像進行分析確定用戶當前的情緒類型，并根據(jù)用戶當前的情緒類型為其推薦對應類型的信 息，由此，實現(xiàn)了根據(jù)用戶情緒向用戶推薦信息，提高了信息推薦的精準度，改善了用戶體 驗。
【附圖說明】
[0019] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn) 有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā) 明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可W根 據(jù)運些附圖獲得其他的附圖。
[0020] 圖1為本發(fā)明中基于情緒識別的信息推薦方法實施例流程圖；
[0021] 圖2為本發(fā)明中從獲取的圖像中提取表征用戶情緒的特征信息的實施例流程示意 圖；
[0022] 圖3為本發(fā)明中對得到的局部圖像進行姿態(tài)矯正的實施例流程示意圖；
[0023] 圖4為本發(fā)明中移動終端和網(wǎng)絡側(cè)配合實施基于情緒識別的信息推薦方法實施例 流程圖；
[0024] 圖5為本發(fā)明中基于情緒識別的信息推薦裝置實施例示意圖。
【具體實施方式】
[0025] 為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例 中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是 本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員 在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0026] 本發(fā)明實施例提供的基于情緒識別的信息推薦方法可W由安裝于移動終端中的 情緒識別客戶端實施，可W由情緒識別客戶端與網(wǎng)絡側(cè)服務器共同實施，或者還可W將本 發(fā)明實施例提供的情緒識別的信息推薦方法嵌入其他應用客戶端中，當需要為用戶推薦信 息時根據(jù)本發(fā)明實施例提供的方法對用戶情緒進行識別，并根據(jù)情緒識別結(jié)果進行信息推 薦，W下詳細介紹之。
[0027] 如圖1所示，為本發(fā)明實施例提供的基于情緒識別的信息推薦方法實施例流程圖， 可W包括W下步驟：
[0028] S11、獲取用戶提供的圖像。
[0029] 本步驟中，當本發(fā)明實施例提供的基于情緒識別的信息推薦方法被觸發(fā)時，指示 用戶提供相應的圖像。該圖像可W為調(diào)用移動移動終端自帶的系統(tǒng)相機實時進行拍攝用戶 當前圖像得到的，也可W為用戶從移動終端的系統(tǒng)相冊中選擇的，本發(fā)明實施例對此不進 行限定，只要能夠體現(xiàn)用戶當前的情緒即可。
[0030] S12、從獲取的圖像中提取表征用戶情緒的特征信息。
[0031] S13、根據(jù)提取的特征信息識別用戶情緒類型。
[0032] S14、根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所述用戶推薦信息 類型與識別出的用戶情緒類型對應的信息。
[0033] 具體實施時，步驟S12中，可W按照圖2所示的流程實施：
[0034] S121、檢測用戶面部在獲取的圖像中的位置得到相應的位置信息。
[0035] 具體的，在獲取到用戶提供的圖像后，可W啟動移動終端內(nèi)置的人臉檢測程序，檢 測用戶提供的圖像中包含的用戶面部，根據(jù)檢測到的用戶面部確定其在獲取的圖像中的位 置得到相應的位置信息。具體實施時，用戶面部的位置信息可W使用矩形框(x，y ,width, hei曲t)表示，其中，（x，y)表示矩形框左上角在獲取的圖像中的坐標（W獲取的圖像左上角 的頂點為原點），width表示矩形框的寬，hei曲t表示矩形框的長，或者具體實施時，也可W 用圓形框(x，y，r)表示，其中（x，y)表示矩形框左上角在獲取的圖像中的坐標（W獲取的圖 像左上角的頂點為原點），r表示圓形框的半徑等。
[0036] S122、根據(jù)得到的位置信息確定包含用戶面部圖像的局部圖像。
[0037] 具體實施時，即確定矩形框或者圓形框內(nèi)的圖像為包含用戶面部圖像的局部圖 像。
[0038] Sl 23、從確定出的局部圖像中提取表征用戶情緒的特征信息。
[0039] 具體實施時，為了保證步驟S123中提取的特征信息的準確性，還可W對步驟S122 中得到的局部圖像進行姿態(tài)矯正，例如，用戶頭部旋轉(zhuǎn)一定角度拍攝的話，可能會對步驟 S123的提取結(jié)果造成一定的影響，為了盡可能降低用戶面部圖像姿態(tài)不正對識別結(jié)果的影 響，本發(fā)明實施例中，在執(zhí)行步驟S123之前，還可W按照圖3所示的流程對步驟S122得到的 局部圖像進行姿態(tài)矯正，W獲得用戶的正面面部圖像：
[0040] S31、檢測得到的局部圖像中的關鍵特征點。
[0041] 具體實施時，可W對獲得的局部圖像中包含的用戶嘴己、眼睛、鼻子。臉部輪廓燈 等部位進行檢測，每一部位在局部圖像中的邊緣可W使用多個關鍵特征點進行表示。
[0042] S32、根據(jù)檢測到的關鍵特征點對局部圖像進行姿態(tài)矯正得到用戶的正面面部圖 像。
[0043] 本步驟中，根據(jù)檢測到的關鍵特征點確定關鍵部位旋轉(zhuǎn)的角度，并根據(jù)確定出的 角度將上述的關鍵部位進行一定角度的旋轉(zhuǎn)W得到用戶正面面部圖像。基于此，步驟S123 中可W基于得到的用戶正面面部圖像提取表征用戶情緒的特征信息。
[0044] 更佳的，為了減少圖像噪聲或者光線強度等對識別結(jié)果的影響，本發(fā)明實施例中， 在執(zhí)行步驟S123之前，還可W對得到的局部圖像進行歸一化處理，W提高識別結(jié)果的準確 性。
[0045] 具體實施時，還可W將得到的局部圖像適配到固定圖像尺寸，該固定尺寸可W根 據(jù)實際需要進行設置，例如，可W但不限于設置為200*200大小。
[0046] 在進行了上述一系列處理后，步驟S123中可W利用深度神經(jīng)網(wǎng)絡算法從正面面部 圖像中提取表征用戶情緒的特征得到正面面部圖像的特征向量，具體實施時，該特征向量 為可Wl*256的一維矩陣，將得到的特征向量輸入到情緒分類器中得到對應的用戶情緒類 型，其中，情緒分配器可W為通過樣本訓練得到的。
[0047]本發(fā)明實施例中，可W將用戶情緒分為高興、平靜、憤怒、害怕、沮喪等五種類型， 相應的，可W將數(shù)據(jù)庫中的信息劃分為五種類型，每一種信息類型分別對應不同的情緒類 型，具體實施時，向用戶推薦的信息可W為多媒體內(nèi)容，例如視頻文件、音樂文件等，如表1 所示，其為情緒類型與信息類型之間的對應關系示意：
[004引 表1
[0049]
[0050] 基于步驟S123中確定出的用戶情緒類型，結(jié)合表1所示的對應關系，向用戶推薦對 應類型的信息。例如，步驟S123中確定用戶情緒類型為高興，則可W向用戶推薦體育集錦、 快節(jié)奏音樂、段子手主播等視頻文件。
[0051] 具體實施時，由于情緒識別是比較耗時的操作，如果在移動終端側(cè)執(zhí)行的話，受限 于移動終端的計算能力，通常響應速度較慢（1-3秒），為了保證用戶流楊的體驗，情緒識別 操作可W由云端服務器執(zhí)行，在云端服務器的強大計算能力下，計算時間可W縮短為 200ms?；诖耍唧w實施時，步驟S12和步驟S13可W由移動終端執(zhí)行，也可W由云端服務器 執(zhí)行。如果步驟S12由云端服務器執(zhí)行，則在步驟Sll中獲取了用戶提供的圖像后，移動終端 需要將獲取的用戶圖像發(fā)送給云端服務器，云端服務器通過執(zhí)行步驟S12和步驟S13識別出 用戶情緒類型后發(fā)送給移動終端，由移動終端執(zhí)行步驟S14。
[0052] 為了更好的理解本發(fā)明實施例，W下W由云端服務器進行情緒識別為例對本發(fā)明 實施例的具體實施流程進行詳細說明。如圖4所示，可W包括W下步驟：
[0053] S41、移動終端獲取用戶提供的圖像。
[0054] 該圖像可W為用戶從本地相冊中選擇的圖像，也可W為用戶實時拍攝的圖像。
[0055] S42、移動終端檢測用戶面部在獲取的圖像中的位置得到相應的位置信息。
[0056] 具體的，移動終端啟動人臉檢測程序，檢測到用戶面部圖像所在位置，利用矩形框 (x,y, width, height)表示。
[0057] S43、移動終端根據(jù)得到的位置信息確定包含用戶面部圖像的局部圖像。
[005引 S44、移動終端檢測局部圖像中的關鍵特征點。
[0059]移動終端可W針對臉部的關鍵部位如嘴唇、鼻子、眉毛和臉部輪廓燈進行檢測，每 一部位可W使用多個關鍵特征點進行表示，根據(jù)檢測到的關鍵特征點確定用戶拍攝圖像時 面部旋轉(zhuǎn)的角度。
[0060] S45、移動終端根據(jù)檢測到的關鍵特征點對局部圖像進行姿態(tài)矯正得到用戶的正 面面部圖像。
[0061] 本步驟中，可W根據(jù)步驟S44中得到的檢測結(jié)果進行姿態(tài)調(diào)整W得到用戶的正面 面部圖像。
[0062] S46、移動終端對得到的用戶正面面部圖像進行歸一化處理。
[0063] S47、移動終端將用戶正面面部圖像適配到統(tǒng)一尺寸。
[0064] S48、移動終端將統(tǒng)一尺寸的用戶正面面部圖像發(fā)送給云端服務器。
[0065] S49、云端服務器從接收到的正面面部圖像中提取表征用戶情緒的特征，將接收到 的圖像轉(zhuǎn)換為特征向量。
[0066] S410、云端服務器將得到的特征輸入情緒分類器得到相應的用戶情緒類型。
[0067] S411、云端服務器將得到用戶情緒類型發(fā)送給移動終端。
[0068] S412、移動終端根據(jù)云端服務器識別出的用戶情緒類型為用戶推薦相應類型的信 息。
[0069] 具體的，移動終端根據(jù)表1所示的用戶情緒類型與信息類型之間的對應關系，向用 戶推薦信息類型與識別出的用戶情緒類型對應的信息。
[0070] 本發(fā)明實施例提供的基于用戶情緒的信息推薦方法，通過識別用戶提供的圖像確 定用戶當前情緒，根據(jù)識別出的用戶情緒類型可W為用戶推薦相應類型的信息，W使得推 薦的信息能夠滿足用戶在不同的情境下的需求，提高推薦信息的準確性，改善了用戶體驗。
[0071] 基于同一發(fā)明構(gòu)思，本發(fā)明實施例中還提供了一種基于情緒識別的信息推薦裝 置，由于該裝置解決問題的原理與上述基于情緒識別的信息推薦方法相似，因此該裝置的 實施可W參見上述方法的實施，重復之處不再寶述。
[0072] 如圖5所示，其為本發(fā)明實施例提供的基于情緒識別的信息推薦裝置實施例示意 圖，可W包括：
[0073] 獲取單元51，用于獲取用戶提供的圖像；
[0074] 提取單元52,用于從所述圖像中提取表征用戶情緒的特征信息；
[0075] 情緒識別單元53,用于根據(jù)提取的特征信息識別用戶情緒類型；
[0076] 信息推薦單元54,用于根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向 所述用戶推薦信息類型與識別出的用戶情緒類型對應的信息。
[0077] 其中，所述提取單元，具體包括：
[0078] 第一檢測子單元，用于檢測用戶面部在所述圖像中的位置得到相應的位置信息；
[0079] 截取子單元，用于根據(jù)所述位置信息截取包含用戶面部圖像的局部圖像；
[0080] 提取子單元，用于從所述局部圖像中提取表征用戶情緒的特征信息。
[0081 ]所述提取單元，還包括第二檢測子單元和姿態(tài)矯正子單元，其中：
[0082] 所述第二檢測子單元，用于檢測所述局部圖像中的關鍵特征點；
[0083] 所述姿態(tài)矯正子單元，用于根據(jù)所述關鍵特征點對所述局部圖像進行姿態(tài)矯正得 到所述用戶的正面面部圖像；
[0084] 所述提取子單元，具體用于從所述正面面部圖像中提取表征用戶情緒的特征信 息。
[0085] 較佳的，所述提取子單元，具體用于利用深度神經(jīng)網(wǎng)絡算法從所述正面面部圖像 中提取表征用戶情緒的特征得到所述正面面部圖像的特征向量；
[0086] 所述情緒識別單元53,具體用于將得到的特征向量輸入情緒分類器中得到對應的 用戶情緒類型，所述情緒分類器為通過樣本訓練得到的。
[0087] 可選地，本發(fā)明實施例提供的基于情緒識別的信息推薦裝置，還可W包括：
[0088] 圖像處理單元，用于在所述提取子單元從所述正面面部圖像中提取表征用戶情緒 的特征信息之前，對所述局部圖像進行歸一化處理。
[0089] W上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可 W是或者也可W不是物理上分開的，作為單元顯示的部件可W是或者也可W不是物理單 元，即可W位于一個地方，或者也可W分布到多個網(wǎng)絡單元上?？蒞根據(jù)實際的需要選擇其 中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領域普通技術人員在不付出創(chuàng)造性 的勞動的情況下，即可W理解并實施。
[0090] 通過W上的實施方式的描述，本領域的技術人員可W清楚地了解到各實施方式可 借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可W通過硬件?；谶\樣的理解，上 述技術方案本質(zhì)上或者說對現(xiàn)有技術做出貢獻的部分可WW軟件產(chǎn)品的形式體現(xiàn)出來，該 計算機軟件產(chǎn)品可W存儲在計算機可讀存儲介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指 令用W使得一臺計算機設備(可W是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行各個實施 例或者實施例的某些部分所述的方法。
[0091] 最后應說明的是：W上實施例僅用W說明本發(fā)明的技術方案，而非對其限制;盡管 參照前述實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可 W對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換； 而運些修改或者替換，并不使相應技術方案的本質(zhì)脫離本發(fā)明各實施例技術方案的精神和 范圍。
【主權項】
1. 一種基于情緒識別的信息推薦方法，其特征在于，包括： 獲取用戶提供的圖像； 從所述圖像中提取表征用戶情緒的特征信息； 根據(jù)提取的特征信息識別用戶情緒類型； 根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所述用戶推薦信息類型與識 別出的用戶情緒類型對應的信息。2. 根據(jù)權利要求1所述的方法，其特征在于，從所述圖像中提取表征用戶情緒的特征信 息，具體包括： 檢測用戶面部在所述圖像中的位置得到相應的位置信息； 根據(jù)所述位置信息確定包含用戶面部圖像的局部圖像； 從所述局部圖像中提取表征用戶情緒的特征信息。3. 根據(jù)權利要求2所述的方法，其特征在于，在從所述局部圖像中提取表征用戶情緒的 特征信息之前，還包括： 檢測所述局部圖像中的關鍵特征點； 根據(jù)所述關鍵特征點對所述局部圖像進行姿態(tài)矯正得到所述用戶的正面面部圖像；以 及 從所述局部圖像中提取表征用戶情緒的特征信息，具體包括： 從所述正面面部圖像中提取表征用戶情緒的特征信息。4. 根據(jù)權利要求3所述的方法，其特征在于，在從所述正面面部圖像中提取表征用戶情 緒的特征信息之前，還包括： 對所述局部圖像進行歸一化處理。5. 根據(jù)權利要求3所述的方法，其特征在于，從所述正面面部圖像中提取表征用戶情緒 的特征信息，具體包括： 利用深度神經(jīng)網(wǎng)絡算法從所述正面面部圖像中提取表征用戶情緒的特征得到所述正 面面部圖像的特征向量;以及 根據(jù)提取的特征信息識別用戶情緒類型，具體包括： 將得到的特征向量輸入情緒分類器中得到對應的用戶情緒類型，所述情緒分類器為通 過樣本訓練得到的。6. -種基于情緒識別的信息推薦裝置，其特征在于，包括： 獲取單元，用于獲取用戶提供的圖像； 提取單元，用于從所述圖像中提取表征用戶情緒的特征信息； 情緒識別單元，用于根據(jù)提取的特征信息識別用戶情緒類型； 信息推薦單元，用于根據(jù)預設的用戶情緒類型與信息類型之間的對應關系，向所述用 戶推薦信息類型與識別出的用戶情緒類型對應的信息。7. 根據(jù)權利要求6所述的裝置，其特征在于，所述提取單元，具體包括： 第一檢測子單元，用于檢測用戶面部在所述圖像中的位置得到相應的位置信息； 截取子單元，用于根據(jù)所述位置信息截取包含用戶面部圖像的局部圖像； 提取子單元，用于從所述局部圖像中提取表征用戶情緒的特征信息。8. 根據(jù)權利要求7所述的裝置，其特征在于，所述提取單元，還包括第二檢測子單元和 姿態(tài)矯正子單元，其中： 所述第二檢測子單元，用于檢測所述局部圖像中的關鍵特征點； 所述姿態(tài)矯正子單元，用于根據(jù)所述關鍵特征點對所述局部圖像進行姿態(tài)矯正得到所 述用戶的正面面部圖像； 所述提取子單元，具體用于從所述正面面部圖像中提取表征用戶情緒的特征信息。9. 根據(jù)權利要求8所述的裝置，其特征在于，還包括： 圖像處理單元，用于在所述提取子單元從所述正面面部圖像中提取表征用戶情緒的特 征信息之前，對所述局部圖像進行歸一化處理。10. 根據(jù)權利要求8所述的裝置，其特征在于， 所述提取子單元，具體用于利用深度神經(jīng)網(wǎng)絡算法從所述正面面部圖像中提取表征用 戶情緒的特征得到所述正面面部圖像的特征向量； 所述情緒識別單元，具體用于將得到的特征向量輸入情緒分類器中得到對應的用戶情 緒類型，所述情緒分類器為通過樣本訓練得到的。
【文檔編號】G06F17/30GK105956059SQ201610269632
【公開日】2016年9月21日
【申請日】2016年4月27日
【發(fā)明人】李冉
【申請人】樂視控股（北京）有限公司, 樂視移動智能信息技術（北京）有限公司