存儲器結構300和400的情境數據字段316和410中所存儲的在圖像中檢測到鑰匙或藥瓶或雜貨店清單的指示符)來響應于像“我的鑰匙在哪里？ ” “我最后一次吃我的藥是什么時候？ ”或“我需要在商店買什么？ ”的疑問。處理查詢和基于查詢的搜索可使用本領域已知的技術執(zhí)行，并且從而，在本文不進一步論述。
[0040]情緒信息處理系統(tǒng)200的組件可以任何適合的組合分布在圖1的計算系統(tǒng)100的其中一個或多個組件之間。例如，圖像捕捉裝置224和/或音頻捕捉裝置226可包含在可穿戴計算裝置102中，并且數據處理邏輯202和情緒標識邏輯218可分布在手持計算裝置104與遠程計算裝置106之間。在一些實施例中，圖像捕捉裝置224可包含在可穿戴計算裝置102中，并且情緒標識邏輯218可包含在手持計算裝置104中、遠程計算裝置106中或分布在二者之間。
[0041]圖3和圖4分別描繪了按照各種實施例的說明性存儲器結構300和400，用于將情緒狀態(tài)和其它數據存儲在存儲器220中以實現對于情緒相關查詢的隨后響應。如上面所論述的，存儲器220可包含數據庫或其它數據存儲結構，其可包含用于存儲情緒狀態(tài)和其它數據的存儲器結構(諸如存儲器結構300和400)。存儲器結構300和400是可能存儲器結構的說明性示例，并且可使用含有實現對于情緒相關查詢的響應的信息的任何存儲器結構。
[0042]存儲器結構300主要可由圖像索引，并且可包含若干數據字段。存儲器結構300可包含時間戳字段302，時間戳字段302可存儲包含時間、日期、時區(qū)以及有關圖像捕捉裝置224可捕捉圖像的時間的其它信息的時間戳，并且可唯一標識該圖像。存儲器結構300可包含位置字段304，位置字段304可存儲GPS坐標、瑋度和經度、城市或地名或者有關圖像捕捉裝置224捕捉圖像的位置的其它信息。存儲器結構300可包含用戶字段306，其可存儲與圖像捕捉裝置224關聯(lián)的用戶的標識符。當存儲器220包含在遠程計算裝置106中，并且遠程計算裝置106配置成存儲有關由與不同用戶關聯(lián)的多個圖像捕捉裝置捕捉的圖像的信息時，用戶字段306或類似字段可用于區(qū)分由不同用戶捕捉的圖像。
[0043]存儲器結構300可包含“檢測的說話者數量”字段308，字段308可存儲有關在由音頻捕捉裝置226在捕捉圖像的時間之前、之中或之后捕捉的音頻數據中(例如由語音分析器邏輯204和/或說話者身份羅家208)檢測的說話者數量的信息。存儲器結構300可包含“標識的說話者”字段310，字段308可存儲有關在由音頻捕捉裝置226在捕捉圖像的時間之前、之中或之后捕捉的音頻數據中(例如由說話者身份羅家208)檢測的說話者身份的信息。
[0044]存儲器結構300可包含“檢測的面部數量”字段312，字段312可存儲有關在圖像中(例如由面部檢測邏輯210和/或面部身份邏輯212)檢測的面部數量的信息。存儲器結構300可包含“標識的面部”字段314，字段314可存儲有關在(例如由面部身份邏輯212所輸出的)圖像中檢測的面部身份的信息。存儲器結構300可包含情境字段316，字段316可存儲有關(例如由情境生成器邏輯216所確定的)圖像的情境的信息。存儲器結構300可包含“情緒狀態(tài)”字段318，字段318可存儲在(例如由情緒標識邏輯218所輸出的)圖像中檢測的人們的情緒狀態(tài)的信息。為了說明性目的，描繪了兩個示例條目320和322。在圖3中圖示的數據字段是說明性的，并且可省略任一個或多個數據字段，和/或可包含附加數據字段。
[0045]存儲器結構400表示用于組織情緒相關信息的與存儲器結構300不同的結構。具體地說，存儲器結構400可主要由在圖像中檢測的人的身份索引。包含在存儲器結構400中的許多數據字段(諸如，時間戳字段404、位置字段406、用戶字段408和情境字段410)可含有與上面論述的存儲器結構300中的對應物字段相同的信息。包含在存儲器結構400中的其它字段可以不同方式組織包含在存儲器結構300中的其中一些或所有剩余信息。在一些實施例中，存儲器結構300可包含“標識的面部”字段402，字段402可存儲在圖像中檢測的人的標識符(例如名字)。如果在圖像中檢測到多人，則在存儲器結構400中包含人的多個條目，每個條目主要由圖像中人的標識符索引。在一些實施例中，存儲器結構300可包含“情緒狀態(tài)”字段412，字段412可存儲例如由情緒標識邏輯218所確定的時間戳字段404(在字段402中標識)索引的圖像中的人的情緒狀態(tài)。在一些實施例中，存儲器結構300可包含“標識的其它說話者”字段414，字段414可除了在“標識的面部”字段402中標識的人們的標識符之外，還存儲在由時間戳字段404索引的圖像中(例如由說話者身份邏輯208)標識的其它人們的標識符。在一些實施例中，存儲器結構300可包含“標識的其它面部”字段416，字段416可除了在“標識的面部”字段402中標識的人們的標識符之外，還存儲在由時間戳字段404索引的圖像中(例如由面部身份邏輯212)標識的其它人們的標識符。為了說明性目的，描繪了三個示例條目418、420和422 ;三個條目使用相同信息用于填充圖3的存儲器結構300中的條目320和322。在圖4中圖示的數據字段是說明性的，并且可省略任一個或多個數據字段，和/或可包含附加數據字段。
[0046]圖5是按照各種實施例可包含在圖2的情緒信息處理系統(tǒng)200中的情緒標識邏輯218的實施例的框圖。情緒標識邏輯218可包含情緒特征邏輯502和情緒分類邏輯504。
[0047]情緒特征邏輯502可配置成確定來自圖像捕捉裝置224的圖像和/或來自音頻捕捉裝置226的音頻的至少一個情緒特征。情緒特征邏輯502可從圖2的數據處理邏輯202接收一個或多個輸出，并且可向情緒分類邏輯504輸出所確定的至少一個情緒特征。由情緒特征邏輯502標識的情緒特征可以是用于增大或減小一個人正在體驗一種或多種情緒的概率的“線索”。
[0048]在一些實施例中，由情緒特征邏輯502確定的至少一個情緒特征可包含圖像中包含的人的一個或多個面部特征。可充當情緒特征的面部特征的示例可包含眼角、眼眉的方位、下巴的相對位置、嘴型(例如嘴角的位置)、嘴唇形狀、鼻子的相對位置以及眼睛的形狀。在一些實施例中，由情緒特征邏輯502確定的至少一個情緒特征可特點化面部表情。在圖像中可使用已知圖像處理技術諸如邊緣檢測、Gabor濾波器、局部二值模式和其它技術來標識面部特征和其它特征。
[0049]在一些實施例中，由情緒特征邏輯502確定的至少一個情緒特征可包含包括人的語音的音頻數據的一個或多個特征?？沙洚斍榫w特征的音頻數據的特征示例包含語音的頻率分布圖(例如與平均頻率分布圖相比較)、由語音說出的關鍵詞(例如“悲傷”、“哭”、“糟糕的”)和非詞聲音(例如哭)。附加情緒特征可包含情境生成器邏輯216的輸出(例如，當該人在喪禮上時)。
[0050]情緒分類邏輯504可配置成標識圖像中人的情緒狀態(tài)。在一些實施例中，情緒分類邏輯504可至少部分基于由情緒特征邏輯502確定的圖像的情緒特征來標識人的情緒狀態(tài)。在一些實施例中，情緒分類邏輯504可至少部分基于由情緒特征邏輯502確定的音頻數據的情緒特征來標識人的情緒狀態(tài)。在一些實施例中，情緒分類邏輯504可包含在包含情緒特征和與那些特征關聯(lián)的已知情緒的數據上訓練的分類器。由分類器輸出的情緒狀態(tài)可選自一組預定的可能情緒狀態(tài)。例如，在一些實施例中，該組預定的情緒狀態(tài)可包含“高興”、“悲傷”、“生氣”、“驚訝”、“厭惡”、“害怕”和“滿意”。使用任一個或多個已知訓練技術，分類器可定義情緒特征可映射到的多維空間，并且情緒狀態(tài)輸出可取決于將這個空間分區(qū)成與不同情緒狀態(tài)關聯(lián)的不同區(qū)域?？墒褂玫挠柧毤夹g的非限制示例包含支持向量機技術、Fisher鑒別分析技術和神經網絡技術。在一些實施例中，表示面部表情的一組情緒特征可被輸入到情緒分類邏輯504，并且對應于面部表情的情緒可由情緒分類邏輯504輸出。
[0051]在一些實施例中，分類器可作為輸入使用人的標識符，之后輸出那個人的情緒狀態(tài)。從而，情緒分類邏輯504可配置成根據要標識情緒狀態(tài)的那個人的身份，對于具體情緒特征使用一組不同的分類規(guī)則。在一些實施例中，情緒分類邏輯504可使用該人的情境(例如由情境生成器邏輯216所輸出的)作為輸入，由此基于該情境改變該組分類規(guī)則。例如，當情境是浪漫約會時最可能的那組情緒不同于當情境是恐怖電影時最可能的那組情緒。通過在這些不同情境中應用不同學習的分類規(guī)則，可訓練包含在情緒分類邏輯504中的分類器以適當地響應于這些不同情境。
[0052]情緒分類邏輯504可將標識的情緒狀態(tài)輸出到圖像輸出裝置222 (或另一個或多個輸出裝置234)和/或存儲器220。在一些實施例中，將所標識的情緒狀態(tài)輸出到存儲器220可包含:引起與其它數據組合存儲所標識的情緒狀態(tài)，以實現對于提供給情緒信息處理系統(tǒng)200的情緒相關查詢的隨后響應。
[0053]圖6是按照各種實施例用于處理情緒信息的說明性過程600的流程圖?？烧J識至|J，雖然過程600 (以及本文描述的其它過程)的操作按具體次序排列，但在各種實施例中，其中一個或多個操作可被重復、省略或無序執(zhí)行。為了說明性目的，過程600的操作可描述為由情緒信息處理系統(tǒng)200 (其可包含在計算系統(tǒng)100中)執(zhí)行，但過程600的操作，包含過程600的各個操作，可由任何適當配置的計算裝置或計算裝置的集合執(zhí)行。
[0054]現在參考圖6，過程600可開始于操作602，其中情緒信息處理系統(tǒng)200可接收圖像。在一些實施例中，在操作602接收的圖像可由包含在可穿戴計算裝置102中的圖像捕捉裝置(例如圖像捕捉裝置224)捕捉。
[0055]在操作604，情緒信息處理系統(tǒng)200可表示圖像中人的情緒狀態(tài)。操作604例如可由數據處理邏輯202和情緒標識邏輯218的組合執(zhí)行，或由情緒標識邏輯218獨自執(zhí)行。在一些實施例中，當在操作604接收的圖像由包含在可穿戴計算裝置102中的圖像捕捉裝置捕捉時，操作604可由計算系統(tǒng)100 (例如，手持計算裝置104、遠程計算裝置106或分布在二者之間)的不同部分執(zhí)行。在一些實施例中，手持計算裝置104可執(zhí)行操作604，并且可從可穿戴計算裝置102無線接收有關圖像的信息。在一些實施例中，遠程計算裝置106可執(zhí)行操作604，并可配置成接收操作604，并相對于由(例如包含在多個可穿戴計算裝置102中的)多個圖像捕捉裝置捕捉的圖像執(zhí)行操作604。操作204可按照上面參考數據處理邏輯202和情緒標識邏輯218論述的任何情緒標識操作來執(zhí)行。
[0056]在一些實施例中，操作604可按預定、有規(guī)律安排(例如一天一次)執(zhí)行，在期間捕獲多個圖像中的每個圖像，因為可對于情緒狀態(tài)信息分析先前的執(zhí)行。例如，在一些實施例中，由圖像捕捉裝置224捕捉的圖像可每天一次(例如在晚上)從手持計算裝置104上載到遠程階段裝置106，并且遠程計算裝置106可隨后分析每個圖像或圖像子集。在一些實施例中，當圖像捕捉裝置224捕捉到圖像時，可執(zhí)行操作604。當期望實時或幾乎實時反饋情緒狀態(tài)信息時(例如，當在執(zhí)行期間評估觀眾的心情時，或者當使用情緒相關信息幫助具有認知功能障礙的人時)，此類實施例可特別有用。操作604的定時還可取決于圖像中人的身份；用戶可期望有關某些預定人的情緒狀態(tài)的提示信息，并且可能愿意等待訪問有關其他人的情緒狀態(tài)信息。操作604 (以及本文描述的其它操作)不需要在圖像捕捉裝置224捕捉的每個圖像上執(zhí)行，但可在捕捉的圖像的子集上執(zhí)行(例如，每十個圖像，或在圖像內容中有顯著改變時)。下面參考圖7的過程700論述操作604的附加實施例。
[0057]在操作606，情緒信息處理系統(tǒng)200可引起存儲人的情緒狀態(tài)(在操作604確定的)。如本文所使用的，任何適合的處理裝