測(cè)的非言語(yǔ)通信而被修正(自適應(yīng)的UI響應(yīng))。例如，幫助屏幕可以在其檢測(cè)到用戶對(duì)于動(dòng)作不確定時(shí)而被顯示。作為另一個(gè)示例，在游戲(或者一些其他應(yīng)用)期間，非言語(yǔ)通信(例如，心跳速率、呼吸、興奮等)可以被用來改變游戲的強(qiáng)度。
[0020]移到操作260，執(zhí)行確定的動(dòng)作。
[0021]轉(zhuǎn)到操作270，響應(yīng)于執(zhí)行動(dòng)作，確定與用戶相關(guān)聯(lián)的滿意度。根據(jù)實(shí)施例，非言語(yǔ)通信被監(jiān)控以便確定用戶滿意度而不使用/請(qǐng)求直接輸入。例如，在執(zhí)行搜索和返回結(jié)果之后，從用戶檢測(cè)到的非言語(yǔ)通信可以指示對(duì)該結(jié)果的不滿意/滿意。
[0022]移到操作280，動(dòng)作/響應(yīng)可以基于所確定的滿意度而調(diào)整。例如，與當(dāng)確定用戶是滿意的和/或高興時(shí)相比，當(dāng)確定用戶是挫敗或憤怒時(shí)，系統(tǒng)的話音(例如，平靜的話音)可以改變(自適應(yīng)的話音響應(yīng))。響應(yīng)于所檢測(cè)的滿意度等級(jí)，也可以采取不同的路徑/方法。例如，可以改變問題來輔助用戶(例如，相比于標(biāo)準(zhǔn)問題，更簡(jiǎn)單的閉合式問題可能對(duì)于使得用戶逐步通過交互更有幫助)。響應(yīng)于所確定的用戶滿意度也可以修正用戶界面(自適應(yīng)的UI響應(yīng))。例如，當(dāng)檢測(cè)到他們對(duì)之前的結(jié)果不滿意時(shí)，在屏幕上顯示的搜索結(jié)果的數(shù)目可通過可能顯示更多的結(jié)果而改變。類似地，如果從非言語(yǔ)通信確定了用戶似乎不確定系統(tǒng)在詢問什么或者他們示出了不確定的跡象(例如，聳他們的肩膀)，則系統(tǒng)可以以(多個(gè))不同的問題來進(jìn)行響應(yīng)。
[0023]過程然后移到結(jié)束操作并且返回以處理其他動(dòng)作。
[0024]圖3示出了可以被用作間接輸入的示例性的非言語(yǔ)通信提示。
[0025]非言語(yǔ)通信包括不是直接通信(例如，文字、預(yù)定義的手勢(shì)、文本輸入等)形式的所檢測(cè)的通信。非言語(yǔ)通信可以被用于確認(rèn)直接通信和/或否認(rèn)直接通信。非言語(yǔ)通信是普通形式的通信。例如，當(dāng)用戶變得心煩時(shí)，用戶的話音可能變得更大和/或改變音調(diào)。用戶的身體特性也可能改變，例如，用戶的心跳速率/呼吸速率可能提高/降低，他們的面部表情、肢體運(yùn)動(dòng)、姿勢(shì)等可能根據(jù)情況而改變(例如，用戶可能前傾來顯示注意，顯示厭惡的面容來顯示不滿等等)。
[0026](多個(gè))人聲提示305是非言語(yǔ)通信，其不是被包含在直接輸入中的文字本身。如上文所討論的，人聲提示包括:語(yǔ)調(diào)(聲調(diào))提示:等級(jí)、范圍和時(shí)間上的輪廓；音量(能量)提示:等級(jí)、范圍和時(shí)間上的輪廓；持續(xù)時(shí)間模式提示:語(yǔ)音和無聲區(qū)域的定時(shí)，所述無聲區(qū)域包括等待時(shí)間暫停(在機(jī)器動(dòng)作和用戶語(yǔ)音之間的時(shí)間)；以及話音質(zhì)量提示:話音音色的頻譜和聲學(xué)特征(指示人聲作用力、張力、氣息聲、粗糙度)。人聲提示305可以包括諸如音調(diào)、音量、音調(diào)變化、特定于文化的聲音、文字的節(jié)奏等之類的提示。例如，單音調(diào)可以指示厭倦，慢速的語(yǔ)音可以指示沮喪，高話音和/或強(qiáng)調(diào)的聲調(diào)可以指示熱情，升高的音調(diào)可以指示驚訝，大聲/簡(jiǎn)明的話音可以指示憤怒，在拉長(zhǎng)的單詞之間的高聲調(diào)/間隔可能指示懷疑等等。人聲的提示可以被使用來確定心理喚醒、感情、情緒以及用戶是否諷刺地表現(xiàn)為高傲和/或順從的風(fēng)格。
[0027]心跳速率310是非言語(yǔ)通信，其可以指示用戶的狀態(tài)(例如，激動(dòng)，疲勞、無壓力、有壓力等)。心跳速率可以使用不同的方法來測(cè)量。例如，皮膚顏色的改變可以被使用和/或可以使用一個(gè)或多個(gè)傳感器來監(jiān)控心跳速率。心跳速率可以被保存在用戶簡(jiǎn)檔內(nèi)和/或可以在用戶會(huì)話期間被保存。隨著與用戶會(huì)話的過程而升高的心跳速率可以指示用戶的滿意度等級(jí)。
[0028]呼吸速率315可以指示用戶的不同狀態(tài)。例如，用戶的呼吸可以指示用戶是否在說真話、用戶是否對(duì)活動(dòng)感到疲勞等等。檢測(cè)到的呼吸提示可以包括呼吸速率是否快、是否慢、是否在胸腔處高在胃部低、是否嘆氣等等。
[0029]面部表情320包括基于(多個(gè))用戶的面部表情而檢測(cè)到的提示。例如，嘴部形狀(例如，微笑、皺眉)、斜視等可以被檢測(cè)，眨眼、嘴唇運(yùn)動(dòng)、眉毛運(yùn)動(dòng)、咬嘴唇、皮膚顏色改變、吐舌頭等可以被檢測(cè)到。眼睛的位置也可以被檢測(cè)到(例如，向上和向右/左，在中間線和左/右，向下和右/左)。盡管人們可以學(xué)會(huì)操縱一些表情(例如，微笑)，但是很多無意識(shí)的面部表情(撅起嘴唇、繃緊的嘴部和吐舌頭)可以反映用戶的真實(shí)感覺以及所掩飾的態(tài)度。
[0030]諸如用戶的姿勢(shì)、肢體運(yùn)動(dòng)之類的肢體語(yǔ)言325被檢測(cè)。肢體語(yǔ)言可以指示微妙通信以及非微妙通信。肢體語(yǔ)言可以指示感情狀態(tài)以及身體狀態(tài)和/或精神狀態(tài)。所檢測(cè)的肢體語(yǔ)言可以包括諸如如下各項(xiàng)之類的提示:面部表情320、姿勢(shì)(例如，前傾、后傾)、手勢(shì)(例如，點(diǎn)頭)、頭部位置(傾斜、倚靠、其他改變)、上半身的緊張、肩膀位置(提高、降低)、肢體運(yùn)動(dòng)(例如，煩亂、用力揮動(dòng)、交叉手臂/腿部等)、目光接觸、眼睛位置、微笑、來來回回(fro)等等。可以檢測(cè)多于一個(gè)的提示。聳肩被認(rèn)為是聽從、不確定、順從的標(biāo)志。聳肩提示可以修正、抵制或反對(duì)言語(yǔ)評(píng)論。例如，當(dāng)用戶連同抬起肩膀一起聲明“是的，我確定”時(shí)，這暗示用戶可能實(shí)際上是在說“我不那么確定”。聳肩可以揭示在對(duì)話和口頭陳述中誤導(dǎo)的、不明確的或者不確定的部分。
[0031]其他非言語(yǔ)通信提示330也可以被檢測(cè)以及在確定要執(zhí)行的動(dòng)作中使用。
[0032]圖4圖示了用于使用非言語(yǔ)通信的示例性系統(tǒng)。如所圖示的，系統(tǒng)1000包括服務(wù)1010、數(shù)據(jù)儲(chǔ)存器1045、觸摸屏輸入設(shè)備/顯示器1050 (例如，板式顯示器)和智能電話1030 等。
[0033]如所圖示的，服務(wù)1010是基于云的和/或基于企業(yè)的服務(wù)，其可以被配置來提供諸如游戲服務(wù)、搜索服務(wù)、電子消息發(fā)送服務(wù)(例如，微軟的EXCHANGE/0UTL00K)、生產(chǎn)力服務(wù)(例如，微軟的辦公365)或者被用來與消息和內(nèi)容(例如，電子表格、文檔、展不、圖表、消息等)進(jìn)行交互的一些其他基于云/在線的服務(wù)之類的服務(wù)。可以使用不同類型的輸入/輸出來與服務(wù)進(jìn)行交互。例如，用戶可以使用語(yǔ)音、手勢(shì)、觸摸輸入、基于硬件的輸入、語(yǔ)音輸入等。服務(wù)可以提供語(yǔ)音輸出，其將預(yù)先記錄的語(yǔ)音和合成的語(yǔ)音進(jìn)行組合。由服務(wù)1010提供的服務(wù)/應(yīng)用中的一個(gè)或多個(gè)的功能也可以被配置為基于客戶端/服務(wù)器的應(yīng)用。盡管系統(tǒng)1000示出了關(guān)于會(huì)話理解系統(tǒng)的服務(wù)，但是其他服務(wù)/應(yīng)用也可以被配置。
[0034]如所圖示的，服務(wù)1010是多租戶服務(wù)，其向任意數(shù)目的租戶(例如，租戶1-N)提供資源1015和服務(wù)。多租戶服務(wù)1010是基于云的服務(wù)，其向訂閱服務(wù)的租戶提供資源/服務(wù)1015并且分開地保持每個(gè)租戶的數(shù)據(jù)并且使其免受其他租戶數(shù)據(jù)的影響。
[0035]所圖示的系統(tǒng)1000包括檢測(cè)何時(shí)已經(jīng)接收到觸摸輸入(例如，手指觸摸或者幾乎觸摸到觸摸屏)的觸摸屏輸入設(shè)備/顯示器1050(例如，板式/平板設(shè)備)和智能電話1030。檢測(cè)用戶觸摸輸入的任何類型的觸摸屏可以被利用。例如，觸摸屏可以包括檢測(cè)觸摸輸入的一層或多層電容材料。在電容材料的基礎(chǔ)上附加地或者替代電容材料，可以使用其他傳感器。例如，紅外線(IR)傳感器可以被使用。根據(jù)實(shí)施例，觸摸屏被配置來檢測(cè)與可觸摸的表面相接觸的或者在可觸摸的表面上面的對(duì)象。盡管在本說明書中使用術(shù)語(yǔ)“上面”，但是應(yīng)該理解的是，觸摸面板系統(tǒng)的定向是不相關(guān)的。術(shù)語(yǔ)“上面”是意指可應(yīng)用于全部這樣的定向。觸換屏可以被配置來確定接收觸換輸入的位置(例如，起始點(diǎn)、中間點(diǎn)和結(jié)束點(diǎn))。在可觸摸的表面以及對(duì)象之間的實(shí)際接觸可以通過任何合適的裝置來檢測(cè)，所述裝置例如包括被耦合到觸摸面板上的振動(dòng)傳感器或者麥克風(fēng)。用于傳感器來檢測(cè)接觸的一組非窮舉例子包括基于壓力的機(jī)制、微機(jī)械加速計(jì)、壓電設(shè)備、電容傳感器、電阻傳感器、感應(yīng)傳感器、激光振動(dòng)計(jì)以及LED振動(dòng)計(jì)。
[0036]智能電話1030和設(shè)備/顯示器1050也與本文所描述的其他輸入感測(cè)設(shè)備(例如，(多個(gè))麥克風(fēng)、(多個(gè))攝像機(jī)、(多個(gè))運(yùn)動(dòng)感測(cè)設(shè)備)一起被配置。根據(jù)實(shí)施例，智能電話1030和觸摸屏輸入設(shè)備/顯示器1050可以與接收語(yǔ)音輸入的應(yīng)用一起被配置。
[0037]如所圖示的，觸摸屏輸入設(shè)備/顯示器1050和智能電話1030示出了示例性的顯示器1052/1032，其示出了應(yīng)用的使用并且執(zhí)行使用直接輸入和間接輸入(非言語(yǔ)通信)所確定的動(dòng)作。數(shù)據(jù)可以被存儲(chǔ)在設(shè)備上(例如，智能電話1030、板式設(shè)備1050)和/或在一些其他位置上(例如，網(wǎng)絡(luò)數(shù)據(jù)儲(chǔ)存器1045 )。設(shè)備所使用的應(yīng)用可以是基于客戶端的應(yīng)用、基于服務(wù)器的應(yīng)用、基于云的應(yīng)用和/或其一些組合。
[0038]理解管理器26被配置來執(zhí)行關(guān)于在確定要執(zhí)行的動(dòng)作時(shí)使用非言語(yǔ)通信的操作，如本文所描述的。盡管管理器26被示出在服務(wù)1010內(nèi)，但是管理器的功能可以被包括在其他位置中(例如，在智能電話1030和/或板式設(shè)備1050上)。
[0039]本文所描述的實(shí)施例和功能可以經(jīng)由包括有線和無線計(jì)算系統(tǒng)、移動(dòng)計(jì)算系統(tǒng)(例如，移動(dòng)電話，平板或板式類型的計(jì)算機(jī)，膝上型計(jì)算機(jī)等)的大量計(jì)算系統(tǒng)來操作。另夕卜，本文所描述的實(shí)施例和功能可以通過分布式系統(tǒng)來操作，其中應(yīng)用功能、存儲(chǔ)器、數(shù)據(jù)存儲(chǔ)和檢索以及各種不同的處理功能可以通過諸如互聯(lián)網(wǎng)或者內(nèi)聯(lián)網(wǎng)之類的分布式計(jì)算網(wǎng)絡(luò)而被彼此遠(yuǎn)程地操作。用戶界面以及各種不同類型的信息可以經(jīng)由機(jī)載的計(jì)算設(shè)備顯示器或者經(jīng)由與一個(gè)或多個(gè)計(jì)算設(shè)備相關(guān)聯(lián)的遠(yuǎn)程顯示單元而被顯示。例如，用戶界面和各種不同類型的信息可以被顯示在墻面上以及在墻面上與之進(jìn)行交互，其中用戶界面和各種不同類型的信息被投影在所述墻面上。與本發(fā)明的實(shí)施例可以利用其而被實(shí)踐的大量計(jì)算系統(tǒng)的交互包括鍵擊輸入、觸摸屏輸入、話音或其他音頻輸入、手勢(shì)輸入，其中相關(guān)聯(lián)的計(jì)算設(shè)備被安裝有用于捕獲和解釋用戶手勢(shì)的檢測(cè)(例如，攝像機(jī))功能以用于控制計(jì)算設(shè)備的功能等。