圖像及視頻內(nèi)容的情感修改的制作方法
【專利摘要】本發(fā)明提供了用于修改圖像所傳達情感的裝置和方法。一方面，生成與圖像所傳達情感相對應(yīng)的度量，通過用于修改所述圖像的情感的命令，從而根據(jù)對情感的指定變化來改變所述圖像所傳達的情感。所述用于修改所述圖像情感的命令可通過情感關(guān)鍵詞形成，且所述命令可包括所述情感變化指示的量級。通過情感向量可指定圖像所傳達的情感，其中所述向量的元素與沿著情感空間中正交維度排列的情感相對應(yīng)。一方面，基于一組與所述情感空間的情感關(guān)鍵詞相關(guān)的圖像，訓(xùn)練情感預(yù)測器，從而通過確定一組圖像特征類型的特征值來預(yù)測圖像所傳達情感。
【專利說明】
圖像及視頻內(nèi)容的情感修改
[0001] 相關(guān)申請案交叉申請
[0002] 本申請要求于2014年1月30日遞交的發(fā)明名稱為"用于通過情感經(jīng)驗分析對圖像 及視頻內(nèi)容分類的方法和裝置"的第61/933763號美國臨時專利申請案的在先申請優(yōu)先權(quán)， 該在先申請的內(nèi)容W引入的方式并入本文。
技術(shù)領(lǐng)域
[0003] 本發(fā)明實施例一般設(shè)及計算機視覺中的圖像分類。更具體地，本發(fā)明實施例設(shè)及 在圖像中對情感內(nèi)容建模和啟動組織及查找原始情感的視覺數(shù)據(jù)。
【背景技術(shù)】
[0004] -般來說，一個圖像所引起的情感因人而異，不僅是因為圖像的內(nèi)容，還有觀看者 的個人經(jīng)歷。例如，某種食物的圖像，比如漢堡包，會吸引某些速食愛好者，但其他人可能會 因為健康的原因而對此感到惱火。
[0005] 計算機視覺正努力通過如情感圖像分類和審美質(zhì)量預(yù)估等抽象概念來對圖像進 行分類。與計算機視覺中情感圖像分類相關(guān)的近代文學(xué)研究了多種圖像源，例如，互聯(lián)網(wǎng)圖 像、抽象畫作和藝術(shù)圖片。而很少有針對現(xiàn)實圖像和藝術(shù)圖像的情感圖像分類。典型地，通 過一些硬標簽來描述由某個特定圖像所引起的情感，即通過固定的標簽描述所述圖像的情 感內(nèi)容。
[0006] 傳統(tǒng)的方法在多級分類的1對整體的設(shè)置中獨立對待不同的情感類型。運樣不管 運個方法不一致，應(yīng)意識到一些情感類型是緊密相關(guān)的。例如，喜悅和悲傷是強烈負相關(guān) 的。一些與情感相關(guān)的圖像分類方案是通過圖像數(shù)據(jù)庫進行的，例如emo化(M.索利，R.勒 茲海量圖像數(shù)據(jù)庫中與情感相關(guān)的結(jié)構(gòu)"，ACM圖像和視頻檢索國際會議.2010:398- 405)、GA陽D化.S.丹?格拉澤，K.R.謝勒/'日內(nèi)瓦情緒圖片數(shù)據(jù)庫(GA陽D):針對價和規(guī)范 性意義的新730個圖片的數(shù)據(jù)庫"，行為研究方法.2011,43(2):468-477)、W及IAPS(P.J. 朗，Μ.Μ.布拉德利，B.N.卡斯伯特國際情緒圖像系統(tǒng)（IAPS):圖片的情緒評級和指令技術(shù) 報告手冊a-8".2008)，運些數(shù)據(jù)庫均存在幾個缺陷。首先，運些圖像數(shù)據(jù)庫給圖像貼上了硬 標簽，而忽視了運樣一個事實:從情感經(jīng)歷而言，觀看者對一個圖像的觀點并非完全一致。 進一步地，即便是情感經(jīng)歷類似，傳統(tǒng)的數(shù)據(jù)中并沒有意識到情感的程度也各有不同（例 如，喜悅對狂喜）。其二，運些數(shù)據(jù)庫的情感類型是隨意選擇的，而沒有堅實的屯、理學(xué)理論基 礎(chǔ)。其Ξ，每個情感類型中的圖像數(shù)量在運些數(shù)據(jù)庫中并非是一樣的，造成數(shù)據(jù)庫不平衡， 進而可能導(dǎo)致圖像分類結(jié)果出現(xiàn)偏差。

【發(fā)明內(nèi)容】

[0007] 鑒于圖像所引起的情感一般因人而異，本發(fā)明實施例中，通過軟標簽(例如，實數(shù)） 而不是硬標簽來描述與圖像相關(guān)的情感。情感映射在情感空間中的維度模型上，所述情感 沿著正交軸相對成隊的形式排列，且所述情感是基于屯、理學(xué)研究的。
[0008] 根據(jù)本發(fā)明的各個方面，提供了一種用于修改圖像所傳達情感的裝置和方法。一 方面，生成與圖像所傳達情感相對應(yīng)的度量，通過用于修改所述圖像的情感的命令，從而根 據(jù)對情感的指定變化來改變所述圖像所傳達的情感。所述用于修改所述圖像情感的命令可 通過情感關(guān)鍵詞形成，且所述命令可包括所述情感變化指示的量級。通過情感向量可指定 圖像所傳達的情感，其中所述向量的元素與沿著情感空間中正交維度排列的情感相對應(yīng)。 一方面，基于一組與所述情感空間的情感關(guān)鍵詞相關(guān)的圖像，訓(xùn)練情感度量，從而通過確定 一組圖像特征類型的特征值來預(yù)測圖像所傳達情感。
[0009] 根據(jù)本發(fā)明的一方面，一種通過修改圖像來修改所述圖像所傳達情感的方法包 括:獲取存儲在存儲器中的圖像;生成與所述圖像所傳達情感相對應(yīng)的度量，其中所述情感 沿著多個情感維度排列。所述方法包括:接收命令從而根據(jù)對特定情感的指定變化來修改 所述圖像;根據(jù)與所述情感相對應(yīng)的預(yù)定圖像特征修改所述圖像，從而根據(jù)對所述特定情 感的所述指定變化來轉(zhuǎn)換所述圖像。所述方法包括:顯示具有所述特定情感的所述變化的 轉(zhuǎn)換的圖像。
[0010] 在所述方法的一實施例中，所述度量包括與所述所傳達情感的量級對應(yīng)的數(shù)值。 根據(jù)又一實施例，對所述特定情感的所述指定變化包括變化的量級。根據(jù)又一實施例，所述 度量按照包括與所述多個情感維度對應(yīng)的元素的向量排列。在一實施例中，所述多個情感 維度包括正交軸，成對的負相關(guān)的情感排列在所述正交軸的相對的兩端。根據(jù)又一實施例， 所述成對的負相關(guān)情感包括喜悅和悲傷、害怕和不害怕、W及厭惡和不厭惡。根據(jù)又一實施 例，對所述特定情感的所述指定變化包括與成對的負相關(guān)情感相關(guān)的關(guān)鍵詞。在所述方法 的一實施例中，所述預(yù)定圖像特征包括邊緣特征、紋理、顏色、顯著性和形狀，所述修改所述 圖像包括根據(jù)顏色直方圖規(guī)格和邊緣直方圖規(guī)格中的一個來修改。
[0011] 根據(jù)本發(fā)明的另一方面，一種裝置包括：顯示器;存儲器，用于存儲指令;處理器， 與所述顯示器和所述存儲器通信禪合，用于執(zhí)行所述指令。所述指令使得所述處理器獲取 存儲在存儲器中的圖像，并生成與所述圖像所傳達情感相對應(yīng)的度量，其中所述情感沿著 多個情感維度排列。所述指令使得所述處理器接收命令從而根據(jù)對特定情感的指定變化來 修改所述圖像。所述指令使得所述處理器根據(jù)與所述情感相對應(yīng)的預(yù)定圖像特征修改所述 圖像，從而根據(jù)對所述特定情感的所述指定變化來轉(zhuǎn)換所述圖像，且所述指令使得所述處 理器顯示具有所述特定情感的所述變化的轉(zhuǎn)換的圖像。
[0012] 在所述裝置的一實施例中，所述度量包括與所述所傳達情感的量級對應(yīng)的數(shù)值。 根據(jù)又一實施例，對所述特定情感的所述指定變化包括變化的量級。根據(jù)又一實施例，所述 度量按照包括與所述多個情感維度對應(yīng)的元素的向量排列。在一實施例中，所述多個情感 維度包括正交軸，成對的負相關(guān)的情感排列在所述正交軸的相對的兩端。根據(jù)又一實施例， 所述成對的負相關(guān)情感包括喜悅和悲傷、害怕和不害怕、W及厭惡和不厭惡。根據(jù)又一實施 例，對所述特定情感的所述指定變化包括與成對的負相關(guān)情感相關(guān)的關(guān)鍵詞。在所述裝置 的一實施例中，所述預(yù)定圖像特征包括邊緣特征、紋理、顏色、顯著性和形狀，所述修改所述 圖像包括根據(jù)顏色直方圖規(guī)格和邊緣直方圖規(guī)格中的一個來修改。
[0013] 根據(jù)本發(fā)明的另一方面，一種非瞬時性計算機可讀介質(zhì)包含程序指令，當圖像處 理系統(tǒng)中的處理器執(zhí)行所述程序指令時，所述程序指令使得所述處理器執(zhí)行操作。所述操 作包括:獲取存儲在存儲器中的圖像;生成與所述圖像所傳達情感相對應(yīng)的度量，其中所述 情感沿著多個情感維度排列。所述操作包括:接收命令從而根據(jù)對特定情感的指定變化來 修改所述圖像;根據(jù)與所述情感相對應(yīng)的預(yù)定圖像特征修改所述圖像，從而根據(jù)對所述特 定情感的所述指定變化來轉(zhuǎn)換所述圖像。所述操作包括:顯示具有所述特定情感的所述變 化的轉(zhuǎn)換的圖像。
[0014] 在包含程序指令的所述非瞬時性計算機可讀介質(zhì)的一實施例中，所述度量包括與 所述所傳達情感的量級對應(yīng)的數(shù)值。在包含程序指令的所述非瞬時性計算機可讀介質(zhì)的一 實施例中，所述預(yù)定圖像特征包括邊緣特征、紋理、顏色、顯著性和形狀，所述修改所述圖像 包括根據(jù)顏色直方圖規(guī)格和邊緣直方圖規(guī)格中的一個來修改。根據(jù)另一實施例，所述預(yù)定 圖像特征基于與所述特定情感相關(guān)的樣本圖像。
【附圖說明】
[0015] 附圖包含在并且構(gòu)成本說明書的一部分，示出了本發(fā)明的各種實施例，并且與描 述內(nèi)容一起用于解釋本發(fā)明的原則：
[0016] 圖1示出了本發(fā)明實施例的圖像情感修改系統(tǒng)。
[0017] 圖2示出了本發(fā)明實施例的示例情感空間和與情感空間的情感相對應(yīng)的圖像。
[0018] 圖3示出了本發(fā)明實施例的圖像情感修改系統(tǒng)組件的示意圖。
[0019] 圖4示出了本發(fā)明實施例的圖像所傳達情感的變化。
[0020] 圖5示出了本發(fā)明實施例的改變圖像所傳達情感的方法流程圖。
【具體實施方式】
[0021] 根據(jù)傳統(tǒng)技術(shù)關(guān)于計算機視覺中的情感圖像分類，獨立對待情感類型，通過硬標 簽預(yù)測情感，從而忽視了情感類型之間的關(guān)聯(lián)。相比之下，本發(fā)明實施例中，利用維度情感 空間來對某些情感類型之間的關(guān)聯(lián)建模。公開了一種改變圖像情感的系統(tǒng)和方法，其中包 括情感預(yù)測器，用于預(yù)測圖像所傳達情感。根據(jù)從一組包含標記的情感內(nèi)容的樣本圖像中 的一個樣本圖像的圖像特征，可通過例如顏色直方圖規(guī)格修改所述圖像所傳達情感。
[0022] 現(xiàn)在將詳細地給出一些實施例的參考。雖然結(jié)合可替代的實施例描述該主題，但 應(yīng)該理解它們不是旨在將請求保護的主題限制于運些實施例。相反，請求保護的主題旨在 覆蓋可W包括在由附加的權(quán)利要求書限定的請求保護的主題的精神和范圍內(nèi)的替代物、修 改和等同物。
[0023] 另外，在W下本發(fā)明的詳細描述中，闡述了許多特定細節(jié)W便提供對請求保護主 題的透徹理解。然而，本領(lǐng)域技術(shù)人員會認識到可實現(xiàn)運些實施例而無需運些具體的細節(jié) 或通過運些具體細節(jié)的等同進行。在其它實例中沒有詳細描述眾所周知的方法、流程、部件 和電路，W免對本請求保護的主題的各方面和特征造成不必要地模糊。
[0024] 該【具體實施方式】的一些部分按照程序、步驟、邏輯塊、處理、W及對計算機存儲器 中的數(shù)據(jù)位的操作的其它符號表示來呈現(xiàn)。運些描述和表示是數(shù)據(jù)處理領(lǐng)域技術(shù)人員向該 領(lǐng)域其他技術(shù)人員有效傳達工作實質(zhì)內(nèi)容使用的方法。將程序、計算機執(zhí)行的步驟、邏輯 塊、過程等一般設(shè)想為首尾一致的步驟或指令序列，W產(chǎn)生期望的結(jié)果。運些步驟需要物理 量的物理操控。通常，并不是完全必須的，運些量W電信號或磁信號的形式存在，可W被存 儲、轉(zhuǎn)移、合并和比較，否則將在電腦系統(tǒng)中被操控。有時候運種方法被證明是行之有效的， 主要出于常見用法的考慮，將運些信號作為比特位、數(shù)值、元素、符號、字符、術(shù)語、或數(shù)字等 等。
[0025] 然而，應(yīng)牢記，所有運些和類似術(shù)語與適當物理量相關(guān)聯(lián)，且僅為應(yīng)用于運些量的 方便標簽。除非另有具體陳述，否則從下列討論中顯而易見，應(yīng)了解的是利用如"獲取"、"寫 入"、"包括"、"存儲"、"傳輸"、"遍歷"、"關(guān)聯(lián)"、"標識"等術(shù)語的討論是指將代表計算機系統(tǒng) 的寄存器和存儲器內(nèi)的物理（電子)量的數(shù)據(jù)操控和轉(zhuǎn)換為類似地代表計算機系統(tǒng)存儲器 或寄存器或其他此類信息存儲、傳輸或顯示設(shè)備內(nèi)的物理量的其他數(shù)據(jù)的計算機系統(tǒng)或類 似電子運算設(shè)備的動作和過程。
[0026] 本發(fā)明的系統(tǒng)能夠通過情感關(guān)鍵詞和變化的量級的規(guī)格修改圖像所傳達情感。例 如但不限于，所述關(guān)鍵詞可為"喜悅"，而所述變化的量級與對最初傳達的情感的相關(guān)改變 相對應(yīng)(例如，0.1對應(yīng)比最初的圖像中的喜悅高出10%)。所述系統(tǒng)將輸入的圖像轉(zhuǎn)化為與 用戶輸入所指示的情感更相近的樣本輸出圖像(例如，在所述轉(zhuǎn)換后，所述輸出圖像包含傳 達的更多的"喜悅"）。
[0027] 現(xiàn)參考圖1，一種圖像情感修改系統(tǒng)105包括轉(zhuǎn)換引擎110和情感度量引擎120。所 述圖像情感修改系統(tǒng)105用于接收輸入圖像115和對情感的指定變化170。情感修改是針對 所述輸入圖像115所傳達情感，例如，對所述輸入圖像11巧旭觀看者的情感"恐懼"的量的 修改。所述圖像情感修改系統(tǒng)105通過所述轉(zhuǎn)換引擎110和所述情感度量引擎120來根據(jù)所 述對情感的指定變化170轉(zhuǎn)換所述輸入圖像115,并根據(jù)所述對情感的指定變化輸出一個圖 像，即輸出圖像125。下列描述將有助于理解所述圖像情感修改系統(tǒng)105。
[002引情感類型
[0029] 現(xiàn)參考圖2,本發(fā)明實施例描述了符合軟標記的維度情感模型。情感空間200中定 義了3個維度diQeU，2,3})，其中每個維度都代表了一些基本的情感，例如，普拉特切克 的情感輪中的基礎(chǔ)情感(R ·普拉特切克情感的一般演化屯、理學(xué)理論"，情感:理論、研究 和經(jīng)驗.1980 (1): 3-31)。根據(jù)本發(fā)明，在所述情感模型中，描述相對情感的3個情感維度按 情感對排列，一實施例中的情感維度為喜悅一悲傷(di)、不害怕一害怕(d2)、W及不厭惡一 厭惡(d3)?？赡苡懈嗷蚋俚钠渌楦械那楦芯S度。
[0030] 運些情感形成了所述3個維度并與軟標簽的情感度量數(shù)據(jù)庫的情感分類相對應(yīng)， 下面將進一步進行說明。圖2描述了所述情感空間200的代表性的示例圖像210,所述圖像分 別對應(yīng)情感喜悅、悲傷、不害怕、害怕、不厭惡和厭惡。
[0031] 情感度量向量
[0032] 根據(jù)本發(fā)明實施例，所述情感空間200的所述維度中的情感可按向量排列，并規(guī)范 化。對于圖2中所描述的所述Ξ維情感空間200,所述情感向量可包括元素 sl、s2和S3,分別 對應(yīng)山、cb和d3維度。例如，喜悅一悲傷維度可對應(yīng)維度S1，其中S1的值為1對應(yīng)極度喜悅，S1 的值為0對應(yīng)極度悲傷。類似的，不害怕一害怕維度可對應(yīng)維度s2,其中s2的值為1對應(yīng)極度 不害怕，s2的值為0對應(yīng)極度害怕。類似的，不厭惡一厭惡維度可對應(yīng)維度S3,其中S3的值為 1對應(yīng)極度不厭惡，S3的值為0對應(yīng)極度厭惡。
[0033] 軟標簽情感度量數(shù)據(jù)庫
[0034] 在一實施例中，所述軟標簽情感度量數(shù)據(jù)庫（例如，包括圖3中樣本圖像數(shù)據(jù)庫 330)包含與形成情感空間中3個維度的情感相關(guān)的特征類型。表1包括示例的特征類型，W 及各自的維度和各自的描述。所述特征類型可為，例如，"邊緣"與維度512、"紋理"與維度 27、"顏佐'與維度80、"顯著伴'與維度4、"組成'與維度8, W及"形狀"與維度128。
[0035] 表1:訓(xùn)練度量所傳達情感的特征集
[0036]
[0038] 根據(jù)本發(fā)明實施例，所述軟標簽情感度量數(shù)據(jù)庫包括每個情感類型的圖像。例如， 所述軟標簽情感度量數(shù)據(jù)庫包括每個情感類型的500個圖像，對于有6個類型的數(shù)據(jù)庫，共 計3000個圖像?？蓪⑺鰯?shù)據(jù)庫圖像調(diào)整至近似相同的分辨率，例如，VGA分辨率，同時保持 所述圖像原有的寬高比。根據(jù)一實施例，通過在因特網(wǎng)中可用的圖像數(shù)據(jù)庫中輸入6個類型 的關(guān)鍵詞作為查找關(guān)鍵詞，可獲取數(shù)據(jù)庫圖像?？墒褂闷渌W(wǎng)絡(luò)業(yè)務(wù)，其他圖像源也適用于 本發(fā)明。例如但不限于，喜悅、害怕和厭惡的同義詞和反義詞都用作所述查找關(guān)鍵詞。優(yōu)選 地，每個下載到所述軟標簽情感度量數(shù)據(jù)庫的圖像都被證實與預(yù)測情感相對應(yīng)。也就是說， 通過例如人工檢驗，通過關(guān)鍵詞"害怕"下載的圖像被證實與"害怕"情感內(nèi)容相對應(yīng)。所述 證實是為了避免錯誤的圖像分類。
[0039] 所述軟標簽情感度量數(shù)據(jù)庫提供圖像特征的值之間的關(guān)聯(lián)，其中所述圖像特征來 自維度情感模型中情感的所述特征類型，從而(例如，為了情感預(yù)測）提供所述圖像所傳達 情感的測量。所述數(shù)據(jù)庫中的每個圖像都被分配了一個與所述3個維度中之一相對應(yīng)的二 進制標簽。也就是說，每個與一種情感如"喜悅"相關(guān)的圖像不再與任何其他情感相關(guān)。在一 實施例中，圖像關(guān)聯(lián)由二進制值確定，其中"Γ與積極情感相對應(yīng)，"0"則與消極情感相對 應(yīng)。因此，對于與"喜悅"相關(guān)的圖像，所述圖像在喜悅一悲傷維度的情感維度值為"Γ。相反 地，與"悲傷"相關(guān)的圖像在喜悅一悲傷維度的情感維度值為"0"。與不厭惡一厭惡情感對和 不害怕一害怕對相對應(yīng)的圖像與類似數(shù)值相關(guān)，其中"Γ是指不厭惡和不害怕，"0"是指"厭 惡'和"害怕'。
[0040] 下面將描述有關(guān)情感類型的選擇、圖像收集和標記流程的詳情。
[0041 ] 情感修改
[0042]現(xiàn)參考圖3,圖3更為詳細的描述了（例如，圖1中的）轉(zhuǎn)換引擎和情感度量引擎。轉(zhuǎn) 換引擎310包括樣本圖像數(shù)據(jù)庫330,從中N個樣本圖像335作為樣本。根據(jù)本發(fā)明的一些實 施例，所述取樣是隨機進行的。本領(lǐng)技術(shù)人員知道的其他取樣方法也在本發(fā)明的精神和范 圍內(nèi)。所述轉(zhuǎn)換引擎310接收輸入圖像315(例如，與所述輸入圖像115相對應(yīng)），并在工作中 對所述輸入圖像315進行特征轉(zhuǎn)換340。分別對所述N個樣本圖像335中的每個樣本圖像進行 特征轉(zhuǎn)換。根據(jù)本發(fā)明一實施例，所述轉(zhuǎn)換是通過顏色直方圖規(guī)格進行的，其中所述樣本圖 像中（例如，表1特征類型的）特征值用于轉(zhuǎn)換所述輸入圖像的圖像數(shù)據(jù)，從而轉(zhuǎn)換情感內(nèi) 容?；蛘撸鲛D(zhuǎn)換是通過邊緣直方圖規(guī)格進行的。其他的圖像轉(zhuǎn)換技術(shù)也在本發(fā)明的精神 和范圍內(nèi)。
[0043] 經(jīng)過所述特征轉(zhuǎn)換340,相應(yīng)地生成了N個輸出圖像350。所述N個樣本圖像335包括 每種情感類型（例如，喜悅、悲傷、不害怕、害怕、不厭惡和厭惡）的圖像，其中每個圖像都分 別有表1中特征類型的特征。根據(jù)本發(fā)明一實施例，所述輸出圖像350是通過對多個樣本圖 像的特征轉(zhuǎn)換而生成的。也就是說，幾個樣本圖像共同用在轉(zhuǎn)換所述輸入圖像315并生成所 述輸出圖像350,而不是單獨對一個樣本圖像進行轉(zhuǎn)換進而生成一個單獨的輸出圖像。
[0044] 所述輸出圖像350被提供給情感度量引擎320。所述情感度量引擎320包括情感度 量生成器355,其中所述情感度量生成器工作時測量所述輸出圖像350所傳達情感并生成相 應(yīng)數(shù)量的情感向量360,針對每個輸出圖像350生成一個情感向量。所述情感度量引擎320接 收與命令相對應(yīng)的指定情感變化370(例如，指定情感變化170)，從而修改所述輸入圖像315 所傳達情感，并在所述指定情感變化370和所述情感向量360之間進行情感匹配375。根據(jù)本 發(fā)明實施例，所述指定情感變化370W向量的形式表現(xiàn)，其中所述向量的元素的量級與對情 感空間（例如，情感空間200)中相應(yīng)情感的變化的量級相對應(yīng)。對情感的所述指定變化可與 單獨的情感維度(例如，喜悅多出20%)相關(guān)，或與多個情感維度相關(guān)。
[0045] 給出一個輸入圖像315和想要的對情感的變化，通過特定的情感改變370,所述系 統(tǒng)根據(jù)預(yù)定的樣本圖像數(shù)據(jù)庫330中的樣本圖像對所述輸入圖像315的特征進行轉(zhuǎn)換。如 述，所述樣本圖像數(shù)據(jù)庫330存儲著與所述情感空間200中不同情感相對應(yīng)的示例圖像。在 一實施例中，所述N個樣本圖像335都是從所述樣本圖像數(shù)據(jù)庫330中隨機取出的，經(jīng)過所述 特征轉(zhuǎn)換340生成了相應(yīng)的所述N個輸出圖像350。根據(jù)本發(fā)明實施例，N值等于20可用于達 到輸出種類和運算效率之間的平衡。其他的N值也在本發(fā)明的精神和范圍內(nèi)。
[0046] 通過所述情感度量生成器355來生成所述N個輸出圖像350的所述情感向量360,所 述系統(tǒng)會輸出具有情感變化的轉(zhuǎn)換的圖像325,其中所述情感變化最接近于指定情感修改 的變化(例如，指定情感變化370)。每個情感度量生成器355產(chǎn)生一個情感向量360用W描述 相應(yīng)的輸出圖像。因此，情感向量360有N個。所述系統(tǒng)將所述指定情感變化向量370與所述N 個情感向量360進行比較，從而確定與對所述輸入圖像315的指定情感變化相對應(yīng)的所述輸 出圖像350。所述系統(tǒng)從所述輸出圖像350中選出與所述N個情感向量360中的一個情感向量 相對應(yīng)的輸出圖像，其中所述情感向量最接近于所述輸入圖像315的所述指定情感變化。根 據(jù)本發(fā)明實施例，所述最接近的情感向量是經(jīng)情感向量匹配375通過指定情感變化向量的 "最近相鄰者"確定的。其他用于確定情感向量匹配的標準也在本發(fā)明的精神和范圍內(nèi)。轉(zhuǎn) 換的圖像輸出325是通過選擇所述輸出圖像350中具有確定匹配情感向量的輸出圖像而生 成的。根據(jù)一實施例，所指的輸入圖像情感修改370是用戶輸入的向量，其中元素值與對情 感的情感變化機率相對應(yīng)。也就是說，S1 = 0.2，s2 = -0.3和S3 = 0.05的向量所對應(yīng)的情感 修改中，喜悅的機率增加20%，害怕的機率增加30%，不厭惡的機率增加5%。
[0047]在一實施例中，所述樣本圖像330的默認取樣方法是隨機取樣，所使用的特征轉(zhuǎn)換 340為通過對RGB信道獨立應(yīng)用直方圖規(guī)格的色度調(diào)整?；蛘?，所述特征轉(zhuǎn)換340可通過邊緣 直方圖規(guī)格進行。有利地，由于樣本圖像集中不同的圖像和所述取樣，系統(tǒng)可根據(jù)本發(fā)明生 成色調(diào)與所述輸入圖像不同的轉(zhuǎn)換的輸出圖像。其他形式的圖像轉(zhuǎn)換也在本發(fā)明的精神和 范圍內(nèi)。在一實施例中，距離度量用于比較輸出選擇器中情感的變化，例如，所述距離度量 可 W 為L2-no;rm。
[004引一般而言，所顯示的每個情感度量生成器355都是同樣的情感度量生成器，其中所 述情感度量生成器355工作中會取一個圖像，并輸出與所述圖像所傳達情感相對應(yīng)的情感 向量。所述情感向量的每個維度都描述了所述輸入圖像所觸發(fā)的相應(yīng)情感的量級。在一實 施例中，輸入所述情感度量生成器的是一個圖像(例如，輸出圖像1)，而輸出的則是Ξ維數(shù) 字，其中所述數(shù)字包括與所述情感空間的3個維度相對應(yīng)的元素 sl、s2和S3。應(yīng)注意的是， "N"是算法操作所指定流水線的預(yù)定的數(shù)字。流水線可為單獨一個圖像(例如，所述樣本圖 像330中的一個樣本圖像），或幾個圖像。對于每個流水線，所述情感度量生成器355預(yù)測所 有情感維度中的所有的情感。根據(jù)本發(fā)明實施例，所述流水線的數(shù)量是可調(diào)整的，其中流水 線數(shù)量越大，則情感匹配的統(tǒng)計功效也更大。
[0049] 情感度量生成
[0050] 在本發(fā)明的一實施例中，與邊緣、紋理、顏色、顯著性和形狀相關(guān)的特征用于創(chuàng)建 759維的特征集(例如，表1的特征集）。對樣本圖像數(shù)據(jù)庫(例如，樣本圖像數(shù)據(jù)庫330)中每 個圖像進行相應(yīng)特征向量的運算。所述特征向量的每個維度都準確地歸入[0，1]范圍內(nèi)。所 述軟標簽度量數(shù)據(jù)庫的每個情感類型都被隨機劃分為訓(xùn)練集和測試集，通過與di相關(guān)的訓(xùn) 練集可在每個維度di上對情感預(yù)測器EPi進行訓(xùn)練，其中i是{1，2，引中的元素。通過標準的 支持向量回歸（S叫po;rt vector regression，簡稱SVR) W及LIBSVM(C. -C.畑ang，C.- J丄in/'LIBSVM:支持向量機的庫"，ACM智能系統(tǒng)和技術(shù)會報.2011(2) :27:1-27:27)提供的 機率估計，每個EPi預(yù)測Si，di上相應(yīng)情感的回歸值。具體地，S1、S2和S3分別代表喜悅、不害怕 和不厭惡的回歸值。在每個di中，回歸值更高則代表積極情感更多。根據(jù)本發(fā)明一實施例， 通過對所述樣本圖像數(shù)據(jù)庫的所述訓(xùn)練集進行10倍交叉驗證，獲知SVR參數(shù)。最終實值情感 預(yù)測器EP是通過對所有EPi進行級聯(lián)形成的，使得EP將一個圖像作為輸入，并輸出指定情感 空間中情感內(nèi)容的向量e = (S1，S2，S3)。根據(jù)本發(fā)明實施例，所述最終實值情感預(yù)測器EP用 于生成輸入圖像的情感向量(例如，情感度量生成器355)。
[0051] 現(xiàn)參考圖4,圖4描述了本發(fā)明實施例的圖像所傳達情感的變化的圖示400。畫面左 邊描述了原有的輸入圖像，而畫面右邊描述了根據(jù)本發(fā)明方法進行情感修改后的圖像。如 圖4所述，所述圖像情感修改為增加喜悅。通過例如顏色直方圖規(guī)格或邊緣直方圖規(guī)格可對 所述原有的輸入圖像進行修改。
[0052] 圖5為本發(fā)明實施例的修改圖像所傳達情感的計算機實現(xiàn)的方法的示例流程圖 500。所述流程圖500可作為計算機可執(zhí)行指令實現(xiàn)，其中所述指令位于某種形式的非瞬時 性計算機可讀存儲介質(zhì)中。所述流程圖500的操作是可實現(xiàn)的。盡管描述中是W單獨一個輸 入圖像作為示例，但是所述操作可W很容易地延伸至多個輸入圖像。
[0053] 在框502中，生成與圖像所傳達情感相對應(yīng)的度量。所述度量基于圖像數(shù)據(jù)(例如， 圖像修改系統(tǒng)105接收到的圖像數(shù)據(jù)115)測量所述圖像所傳達情感。所述所傳達情感可由 情感度量引擎120確定，并且可包括通過向量所傳達情感的表征，其中所述向量的元素指示 情感空間（例如，情感空間200)中的情感的量級。
[0054] 在框504中，接收命令數(shù)據(jù)從而根據(jù)對特定情感的指定變化，例如對情感的指定變 化170,來修改所述圖像。所述對情感的指定變化可通過關(guān)鍵詞(例如，更多"害怕"）和/或通 過指定情感變化的量級的情感向量來進行。
[0055] 在框506中，根據(jù)與所述情感相對應(yīng)的預(yù)定圖像特征修改所述圖像，從而根據(jù)對所 述特定情感的所述指定變化來轉(zhuǎn)換所述圖像。圖像轉(zhuǎn)換可通過顏色直方圖規(guī)格或一些其他 的圖像轉(zhuǎn)換方法來進行。所述圖像轉(zhuǎn)換包括通過樣本圖像的特征進行的輸入圖像的特征的 轉(zhuǎn)換。所述樣本圖像是從樣本圖像數(shù)據(jù)庫中選出的，其中所述樣本圖像數(shù)據(jù)庫包括與情感 空間的（例如，情感空間200的)每個情感相對應(yīng)的圖像集。用于輸入圖像的轉(zhuǎn)換的所述樣本 圖像是基于在預(yù)測的所述樣本圖像所傳達情感和修改的輸入圖像所傳達情感之間進行匹 配而選出的，即在對情感的指定變化(例如，對情感的指定變化170)后的輸入圖像所傳達情 感。
[0056] 在框508中，顯示轉(zhuǎn)換的圖片，其中所述轉(zhuǎn)換的圖像是根據(jù)對情感的指定變化修改 的(例如，輸出圖像125)。
[0057] 本發(fā)明的各個方面可體現(xiàn)于包括程序指令的計算機可讀介質(zhì)，從而實現(xiàn)計算機或 運算設(shè)備（例如，蜂窩電話和平板設(shè)備等)進行的各個操作。所述介質(zhì)也可只包括所述程序 指令或是包括所述程序指令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)等的組合。所述介質(zhì)和程序指令可能是 為本發(fā)明實施例示例的目的而特別設(shè)定和構(gòu)建的，或者所述介質(zhì)和程序指令是計算機軟件 領(lǐng)域技術(shù)人員所熟知和可獲取的。計算機可讀介質(zhì)的示例包括:磁介質(zhì)，比如硬盤、軟盤和 磁帶;光介質(zhì)，例如CD ROM盤和DVD;磁光介質(zhì)，例如光盤；W及可特別用于存儲和執(zhí)行程序 指令的硬件設(shè)備，例如只讀存儲器(read-only memo巧，簡稱ROM)、隨機存取存儲器(random access memory,簡稱RAM)和閃存等。本發(fā)明的各個方面也可通過數(shù)據(jù)信號實現(xiàn)，其中所述 數(shù)據(jù)信號體現(xiàn)于載波中并包括計算機可讀且因特網(wǎng)可傳輸?shù)某绦?。程序指令的示例包括?例如編譯器所產(chǎn)生的，機器代碼和包含計算機可通過解釋器執(zhí)行的更高層代碼的文件。所 描述的硬件設(shè)備可用于充當一個或多個軟件模塊，從而執(zhí)行上述本發(fā)明實施例示例的操 作。
[0058] 根據(jù)本發(fā)明的實施例如此處所述。雖然本公開已經(jīng)在特定實施例中進行了描述， 但是應(yīng)理解，本公開不應(yīng)該被解釋為運些實施例的限制，而是根據(jù)W下權(quán)利要求書進行解 釋。
【主權(quán)項】
1. 一種通過修改圖像來修改所述圖像所傳達情感的方法，其特征在于，所述方法包括： 獲取存儲在存儲器中的圖像； 生成與所述圖像所傳達情感相對應(yīng)的度量，其中所述情感沿著多個情感維度排列； 接收命令從而根據(jù)對特定情感的指定變化來修改所述圖像； 根據(jù)與所述情感相對應(yīng)的預(yù)定圖像特征修改所述圖像，從而根據(jù)對所述特定情感的所 述指定變化來轉(zhuǎn)換所述圖像； 顯示具有所述特定情感的所述變化的轉(zhuǎn)換的圖像。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述度量包括與所述所傳達情感的量級相 對應(yīng)的數(shù)值。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述特定情感的所述指定變化包括變化 的量級。4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述度量按照包括與所述多個情感維度相 對應(yīng)的元素的向量排列。5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個情感維度包括正交軸，成對的負 相關(guān)情感排列在所述正交軸的相對的兩端。6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述成對的負相關(guān)情感包括喜悅和悲傷、 害怕和不害怕、以及厭惡和不厭惡。7. 根據(jù)權(quán)利要求5所述的方法，其特征在于，對所述特定情感的所述指定變化包括與成 對的負相關(guān)情感相關(guān)的關(guān)鍵詞。8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)定圖像特征包括邊緣特征、紋理、顏 色、顯著性和形狀，所述修改所述圖像包括根據(jù)顏色直方圖規(guī)格和邊緣直方圖規(guī)格中的一 個來修改。9. 一種裝置，其特征在于，包括： 顯示器； 存儲器，用于存儲指令； 處理器，與所述顯示器和所述存儲器通信耦合，用于執(zhí)行所述指令，其中：所述指令使 得所述處理器獲取存儲在存儲器中的圖像，并生成與所述圖像所傳達情感相對應(yīng)的度量， 其中所述情感沿著多個情感維度排列;所述指令使得所述處理器接收命令從而根據(jù)對特定 情感的指定變化來改變所述圖像;所述指令使得所述處理器根據(jù)與所述情感相對應(yīng)的預(yù)定 圖像特征修改所述圖像，從而根據(jù)對所述特定情感的所述指定變化來轉(zhuǎn)換所述圖像;所述 指令使得所述處理器顯示具有所述特定情感的所述變化的轉(zhuǎn)換的圖像。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述度量包括與所述所傳達情感的量級 相對應(yīng)的數(shù)值。11. 根據(jù)權(quán)利要求10所述的裝置，其特征在于，對所述特定情感的所述指定變化包括變 化的量級。12. 根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述度量按照包括與所述多個情感維度 相對應(yīng)的元素的向量排列。13. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述多個情感維度包括正交軸，成對的負 相關(guān)情感排列在所述正交軸的相對的兩端。14. 根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述成對的負相關(guān)情感包括喜悅和悲 傷、害怕和不害怕、以及厭惡和不厭惡。15. 根據(jù)權(quán)利要求13所述的裝置，其特征在于，對所述特定情感的所述指定變化包括與 成對的負相關(guān)情感相關(guān)的關(guān)鍵詞。16. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述預(yù)定圖像特征包括邊緣特征、紋理、 顏色、顯著性和形狀，所述修改所述圖像包括根據(jù)顏色直方圖規(guī)格和邊緣直方圖規(guī)格中的 一個來修改。17. -種非瞬時性計算機可讀介質(zhì)，包含程序指令，當圖像處理系統(tǒng)中的處理器執(zhí)行所 述程序指令時，所述程序指令使得所述處理器執(zhí)行操作，其中所述操作包括： 獲取存儲在所述圖像處理系統(tǒng)中的存儲器中的圖像； 生成與所述圖像所傳達情感相對應(yīng)的度量，其中所述情感沿著多個情感維度排列； 接收命令從而根據(jù)對特定情感的指定變化來修改所述圖像； 根據(jù)與所述情感相對應(yīng)的預(yù)定圖像特征修改所述圖像，從而根據(jù)對所述特定情感的所 述指定變化來轉(zhuǎn)換所述圖像； 顯示具有所述特定情感的所述變化的轉(zhuǎn)換的圖像。18. 根據(jù)權(quán)利要求17所述的非瞬時性計算機可讀介質(zhì)，其特征在于，所述度量包括與所 述所傳達情感的量級相對應(yīng)的數(shù)值。19. 根據(jù)權(quán)利要求17所述的非瞬時性計算機可讀介質(zhì)，其特征在于，所述預(yù)定圖像特征 包括邊緣特征、紋理、顏色、顯著性和形狀，所述修改所述圖像包括根據(jù)顏色直方圖規(guī)格和 邊緣直方圖規(guī)格中的一個來修改。20. 根據(jù)權(quán)利要求19所述的非瞬時性計算機可讀介質(zhì)，其特征在于，所述預(yù)定圖像特征 基于與所述特定情感相關(guān)的樣本圖像。
【文檔編號】G06F3/0482GK105830006SQ201580003003
【公開日】2016年8月3日
【申請日】2015年1月27日
【發(fā)明人】彭寬川, 虹·希瑟·郁, 張冬青, 陳祖翰
【申請人】華為技術(shù)有限公司