相關(guān)申請

本申請要求2015年11月23日提交的第14/949,785號美國申請的優(yōu)先權(quán)，第14/949,785號申請要求2014年11月26日提交的第62/085,209號美國臨時申請和2015年2月24日提交的第62/119,963號美國臨時申請的權(quán)益，這兩個臨時申請在此全部引入作為參考。

本公開的實施例一般地涉及數(shù)據(jù)處理。更具體地說但并非限制，本公開涉及用于基于文本的通信、語音注釋和語音通信的混合的系統(tǒng)和方法。

背景技術(shù)：

電信應用可以使用諸如文本、圖像、錄音和/或錄像之類的各種媒體，提供多個用戶之間的通信。這些應用通常針對通信的單個媒體(例如，文本或語音)。為了使用不同媒體通信而在多個應用之間轉(zhuǎn)換可能是繁瑣的，需要用戶停止使用一個應用，并且開始使用另一個應用。因此，越來越多地需要改善與電信應用關(guān)聯(lián)的體驗。

附圖說明

附圖中的各個圖僅例示本公開的實例實施例，并且不應被認為是限制其范圍，這些附圖是：

圖1是示出根據(jù)某些實例實施例的網(wǎng)絡(luò)系統(tǒng)的框圖；

圖2是示出根據(jù)某些實例實施例的通信混合系統(tǒng)的圖；

圖3是示出根據(jù)某些實例實施例的用于使用與用戶界面關(guān)聯(lián)的手勢混合通信的實例方法的流程圖；

圖4是示出根據(jù)某些實例實施例的用于混合通信的實例方法的流程圖；

圖5是示出根據(jù)某些實例實施例的用于混合通信類型以便參與聊天會話的實例方法的流程圖；

圖6示出根據(jù)某些實例實施例的導致通信模式變化的實例用戶交互；

圖7a-7c示出根據(jù)某些實例實施例的導致通信模式變化的實例用戶交互；

圖8-14示出根據(jù)某些實例實施例的被配置為接收文本和語音注釋的組合的實例用戶界面；

圖15是示出根據(jù)某些實例實施例的實例移動設(shè)備和移動操作系統(tǒng)界面的用戶界面圖；

圖16是示出根據(jù)某些實例實施例的可以安裝在機器上的軟件架構(gòu)的一個實例的框圖；

圖17是根據(jù)一個實例實施例的呈現(xiàn)計算機系統(tǒng)形式的機器的圖形表示的框圖，在所述機器內(nèi)可以執(zhí)行一組指令以便導致所述機器執(zhí)行在此討論的任何方法。

在此提供的標題僅為了方便起見，并且不影響所使用術(shù)語的范圍或含義。

具體實施方式

下面的描述包括體現(xiàn)本公開的示例性實施例的系統(tǒng)、方法、技術(shù)、指令序列、以及計算機程序產(chǎn)品。在下面的描述中，為了解釋的目的，給出許多特定的細節(jié)以便提供對本發(fā)明主題的各種實施例的理解。但是，對于本領(lǐng)域技術(shù)人員顯而易見的是，可以在沒有這些特定的細節(jié)的情況下實現(xiàn)本發(fā)明主題的實施例。通常，未詳細示出公知的指令實例、協(xié)議、結(jié)構(gòu)和技術(shù)。

描述了一種通信混合系統(tǒng)，其允許兩個用戶使用不同媒體的組合(例如，語音和文本)通信。所述通信混合系統(tǒng)使用設(shè)備的手勢和方向變化以便在采用不同媒體的通信模式之間轉(zhuǎn)換。此外，所述通信混合系統(tǒng)使用通信的一方或多方的手勢和方向變化以便在同步或異步通信之間轉(zhuǎn)換。在某些實施例中，通信可以在單個應用或者跨多個應用的上下文內(nèi)。

如果所述通信混合系統(tǒng)促進通信各方(用戶)中的同步與異步通信之間的轉(zhuǎn)換，則所述通信混合系統(tǒng)能夠?qū)е掠赏ㄐ乓环绞褂玫挠脩粼O(shè)備的通信模式變化(例如，從采用異步通信的模式到采用同步通信的模式)，這種通信模式變化基于通信其它方的手勢或方向變化。例如，一方的一個客戶機設(shè)備的手勢和方向變化能夠?qū)е峦ㄐ帕硪环降牧硪粋€客戶機設(shè)備的通信模式變化。

此外，在某些實施例中，所述通信混合系統(tǒng)的各部分能夠被集成在由通信各方使用的客戶機設(shè)備上操作的應用或操作系統(tǒng)中，或者與這些應用或操作系統(tǒng)通信。以這種方式，所述通信混合系統(tǒng)能夠促進來自操作系統(tǒng)的任何應用、文檔、文件或?qū)嵗挠脩糁g的通信。在這些實施例中，所述通信混合系統(tǒng)能夠促進應用之間的通信，將在第一客戶機設(shè)備的第一應用中生成的異步或同步通信傳輸?shù)降诙蛻魴C設(shè)備，以及在某些情況下傳輸?shù)降诙蛻魴C設(shè)備上的第二應用。例如，所述通信混合系統(tǒng)能夠從第一客戶機設(shè)備的第一應用接收錄音形式的通信，執(zhí)行語音到文本轉(zhuǎn)換以便生成轉(zhuǎn)錄通信，并且將轉(zhuǎn)錄后的通信傳輸?shù)降诙蛻魴C設(shè)備以便由第二應用接收或者發(fā)布到與第二客戶機設(shè)備關(guān)聯(lián)的社交媒體簡檔。

作為在單個應用中執(zhí)行通信的實施例的一個實例，下面描述第一用戶與第二用戶之間的通信會話。為了開始通信會話，第一用戶可以使用移動電話(作為客戶機設(shè)備的一個實例)的觸摸屏滑入與第二用戶的聊天。第一用戶將移動電話拿到耳邊，并且可以開始留下語音注釋(其它開始語音注釋的方法也是可能的，例如包括將設(shè)備旋轉(zhuǎn)180度等)。當留下語音注釋時，第二用戶可以接收通知她來自第一用戶的傳入通信的推送通知。當?shù)谝挥脩粽诰帉懻Z音注釋時，第一用戶的語音注釋的各部分被轉(zhuǎn)錄為文本并且隨著語音注釋一起被傳輸?shù)降诙脩簟?/p>

第二用戶可以通過讀取第一用戶的正在進行的語音注釋的轉(zhuǎn)錄版本開始，以便獲得與第一用戶的對話的上下文。在確定對話是感興趣的并且希望然后與第一用戶進行語音對話時，第二用戶然后可以將她的移動電話拿到耳邊以便與第一用戶說話(再次地，其它切換模式的方法是可能的，例如包括旋轉(zhuǎn)設(shè)備)。以這種方式，本技術(shù)使第二用戶能夠改變通信模式(例如，響應于第二用戶拿起其設(shè)備而在文本與語音之間改變)。在拿起設(shè)備從而改變通信模式之后，第二用戶和第一用戶能夠通過語音呼叫同步交談。

在語音呼叫期間，第二用戶可以選擇退出同步語音呼叫(例如，由于進入其中難以或不適合交談的環(huán)境)。在這種情況下，當?shù)谝挥脩衾^續(xù)交談時，第二用戶可以放低其移動電話(或者旋轉(zhuǎn)設(shè)備)以便退出聊天?；诘诙脩舴诺推湓O(shè)備，第一用戶的移動電話被切換回到用于記錄語音注釋的通信模式。同樣，第二用戶的設(shè)備回到用于接收文本和語音注釋的通信模式。第一用戶的設(shè)備繼續(xù)記錄第一用戶直到他完成交談。將記錄發(fā)送到第二用戶的設(shè)備，作為新語音注釋或者作為開始通信的第一用戶的語音注釋的繼續(xù)。在他完成交談之后，第一用戶可以滑動其設(shè)備的觸摸屏以便結(jié)束聊天。

在一段時間之后，第二用戶可以滑動其設(shè)備的觸摸屏以便恢復與第一用戶的聊天。在第二用戶退出聊天之后，系統(tǒng)可以向第二用戶呈現(xiàn)由第一用戶留下的語音注釋和語音注釋的文本版本。

可以使用任何數(shù)量的用戶動作開始通信模式變化。如前所述，將設(shè)備旋轉(zhuǎn)180度可以用于將電話的麥克風放置得更靠近用戶的嘴邊。在這些和其它實施例中，以這種方式旋轉(zhuǎn)設(shè)備可以開始用于語音(和/或語音注釋)通信的免提模式。通過旋轉(zhuǎn)，用戶設(shè)備的顯示屏也可以旋轉(zhuǎn)，從而允許用戶繼續(xù)利用他/她的設(shè)備的顯示。

通過進一步實例，用戶可以通過從聊天窗口向上滑動來切換通信模式，從而在過滾動(overscroll)中顯示語音注釋，向用戶指示他或她已進入語音通信模式。在這些實施例中，用戶可以通過在聊天窗口中向下滑動來退出語音通信模式。

參考上面列出的附圖，在下面的技術(shù)細節(jié)中描述可以用于促進上述通信會話的一種實例系統(tǒng)。所述實例系統(tǒng)可以包括所述通信混合系統(tǒng)或者執(zhí)行通信混合系統(tǒng)的功能的一組模塊。所述通信混合系統(tǒng)使用戶能夠傳輸諸如語音注釋(例如，語音郵件消息和語音到文本消息)之類的通信段，并且在與通信段交互之間轉(zhuǎn)換以便與其它用戶進行雙向通信。

例如，用戶可以執(zhí)行基于觸摸的手勢，例如在文本輸入框上向右滑動，從而使用戶能夠針對另一個用戶生成通信段。在某些情況下，可以通過記錄語音郵件注釋(在此，也被稱為音頻注釋)并且將其傳輸?shù)搅硪粋€用戶(例如，異步通信)來生成通信段。在某些實施例中，可以在聊天會話中生成和傳輸音頻注釋(例如，通信段)。在某些情況下，音頻注釋可以在不同于通信應用(例如，聊天客戶機)的應用中生成和傳輸，并且通過指定的通信應用或者經(jīng)由客戶機設(shè)備的傳輸組件和過程以及用戶設(shè)備的操作系統(tǒng)來傳輸。

語音郵件注釋可以是音頻文件、語音到文本消息(例如，通過音頻文件的轉(zhuǎn)錄生成的文本消息)或它們的組合。用戶還可以跨文本輸入框的長度向右滑動以便參與用戶之間的語音呼叫(例如，同步通信)?；瑒觿幼骺梢詫е滤鐾ㄐ呕旌舷到y(tǒng)呈現(xiàn)通信段圖標(例如，麥克風按鈕)、交互式用戶界面元素或另一個指示符。在某些實施例中，可以向用戶呈現(xiàn)波形圖或動畫作為文本輸入框的覆蓋以便指示正在記錄用戶的語音。

滑動動作可以是用戶界面操作，其中用戶觸摸觸摸屏或者跨示出用戶界面一部分的屏幕的至少一部分沿著某一方向以其它方式操縱光標、指針等。例如，用戶可以將手指放置在客戶機設(shè)備的觸摸屏上，并且在保持與觸摸屏接觸的同時部分或全部跨觸摸屏拖動手指。盡管描述為向右滑動，但應該理解，滑動動作可以沿著任何合適的方向、方向組合或形狀(或其它合適的動作)。

用戶可以與通信段圖標交互(例如，按壓觸摸屏靠近通信段圖標的一部分)以便生成通信段(例如，音頻注釋)。例如，用戶可以在一段時間內(nèi)持續(xù)按住通信段圖標，在該時間段內(nèi)，用戶可以對著客戶機設(shè)備的輸入(例如，麥克風)說話以便生成通信段。當用戶釋放通信段圖標時，通信段完成。通信段然后可以作為音頻注釋被傳輸，或者可以作為基于文本的通信段被轉(zhuǎn)錄和傳輸。如果通信段被轉(zhuǎn)錄，則可以在通信段的記錄或生成期間或者在通信段的生成已完成之后轉(zhuǎn)錄通信段。

如果通信段是音頻注釋，則所述通信混合系統(tǒng)可以重放音頻注釋以便檢查，并且然后將音頻注釋傳輸?shù)降诙脩簟Ｒ纛l注釋還可以自動傳輸或者在用戶與所述通信混合系統(tǒng)交互時傳輸，例如通過在用戶界面屏幕上點擊交互式傳輸圖標。音頻注釋的接收者可以以文本和音頻格式的一種或多種同時接收注釋。例如，音頻注釋可以由所述通信混合系統(tǒng)呈現(xiàn)為基于文本的消息，如上所述，這將音頻注釋的轉(zhuǎn)錄文本和音頻兩者呈現(xiàn)給接收者。音頻注釋還可以由音頻文件同時表示。因此，接收者可以將通信段作為同一呈現(xiàn)內(nèi)的文本或音頻進行檢查。

所述通信混合系統(tǒng)可以響應于諸如客戶機設(shè)備的移動或位置改變之類的觸發(fā)，在通信模式之間切換。例如，所述通信混合系統(tǒng)可以響應于檢測到客戶機設(shè)備的空間位置或方向的變化(例如，如由陀螺儀、加速度計或客戶機設(shè)備的其它傳感器確定)，在接收語音注釋與參與呼叫(例如，全雙工通信)之間切換。

在某些情況下，第一用戶交互(例如，方向變化或手勢)和第二用戶交互的組合導致所述通信混合系統(tǒng)在通信模式之間切換。例如，設(shè)備的方向變化的第一用戶交互可以導致從基于文本的通信模式切換到基于語音的通信模式(例如，電話呼叫)。第二用戶交互(例如，對著設(shè)備的麥克風說話，在設(shè)備將電話呼叫連接到另一個用戶之前)可以導致從基于語音的通信模式(例如，電話呼叫)切換到語音轉(zhuǎn)錄模式。語音轉(zhuǎn)錄模式導致所述通信混合系統(tǒng)傳輸從用戶的語音交互轉(zhuǎn)錄的基于文本的通信段。以這種方式，能夠基于一個或多個用戶交互(包括手勢、與設(shè)備的輸入的觸覺交互、方向變化、語音交互以及與設(shè)備的其它用戶交互)，動態(tài)地調(diào)整通信模式。

所述通信混合系統(tǒng)還可以基于與客戶機設(shè)備通信的第二客戶機設(shè)備的模式指示，將通信模式的切換或沒有切換設(shè)置為基礎(chǔ)。例如，響應于客戶機設(shè)備的移動或位置變化，所述通信混合系統(tǒng)可以嘗試切換到用于電話呼叫的通信模式。所述通信混合系統(tǒng)可以從要被呼叫的第二或接收者設(shè)備接收模式指示。模式指示可以指示接收者設(shè)備不可用于電話呼叫。因此，所述通信混合系統(tǒng)可以防止客戶機設(shè)備切換到呼叫通信模式。例如，所述通信混合系統(tǒng)可以響應于模式指示而維持基于文本的通信模式，而不考慮客戶機設(shè)備的位置變化。

如果接收者客戶機設(shè)備傳輸模式指示，則所述通信混合系統(tǒng)可以確定與動作變化和模式指示兼容的兼容通信模式。例如，接收者客戶機設(shè)備可以傳輸指示其不可用于電話呼叫的模式指示。當客戶機設(shè)備移動到用于電話呼叫的位置時，所述通信混合系統(tǒng)禁止切換到電話呼叫通信模式，而是切換到語音郵件注釋通信模式。

圖1是示出根據(jù)一個實施例的網(wǎng)絡(luò)系統(tǒng)100的網(wǎng)絡(luò)圖，網(wǎng)絡(luò)系統(tǒng)100具有被配置為通過網(wǎng)絡(luò)交換數(shù)據(jù)的客戶機-服務器架構(gòu)。例如，網(wǎng)絡(luò)系統(tǒng)100可以是消息傳送系統(tǒng)，其中客戶機在網(wǎng)絡(luò)系統(tǒng)100內(nèi)通信和交換數(shù)據(jù)。數(shù)據(jù)可以涉及與網(wǎng)絡(luò)系統(tǒng)100及其用戶關(guān)聯(lián)的各種功能(例如，發(fā)送和接收文本和媒體通信，確定地理定位等)和方面(例如，傳輸通信數(shù)據(jù)，接收和發(fā)送通信會話的指示等)。盡管在此被示為客戶機-服務器架構(gòu)，但其它實施例可以包括其它網(wǎng)絡(luò)架構(gòu)，例如對等或分布式網(wǎng)絡(luò)環(huán)境。

如圖1中所示，網(wǎng)絡(luò)系統(tǒng)100包括社交消息傳送系統(tǒng)130。社交消息傳送系統(tǒng)130通常基于包括接口層124、應用邏輯層126和數(shù)據(jù)層128的三層架構(gòu)。如由相關(guān)計算機和因特網(wǎng)相關(guān)領(lǐng)域的技術(shù)人員理解的，圖1中所示的每個模塊或引擎表示一組可執(zhí)行軟件指令和用于執(zhí)行指令的對應硬件(例如，存儲器和處理器)。為了避免使用不必要的細節(jié)掩蓋發(fā)明主題，圖1中已省略與傳達對發(fā)明主題的理解無關(guān)的各種功能模塊和引擎。當然，其它功能模塊和引擎可以與例如圖1中所示的社交消息傳送系統(tǒng)一起使用，以便促進在此未具體描述的其它功能。此外，圖1中所示的各種功能模塊和引擎可以駐留在單個服務器計算機上，或者可以以各種布置跨數(shù)個服務器計算機分布。此外，盡管社交消息傳送系統(tǒng)130在圖1中被示為三層架構(gòu)，但發(fā)明主題決不限于這種架構(gòu)。

如圖1中所示，接口層124包括接口模塊(例如，web服務器)140，其接收來自各種客戶機-計算設(shè)備和服務器的請求，這些客戶機-計算設(shè)備和服務器例如包括執(zhí)行客戶機應用(多個)112的客戶機設(shè)備110和執(zhí)行第三方應用(多個)122的第三方服務器120。響應于所接收的請求，接口模塊140經(jīng)由網(wǎng)絡(luò)104將適當?shù)捻憫獋魉偷桨l(fā)出請求的設(shè)備。例如，接口模塊140可以接收諸如超文本傳輸協(xié)議(http)請求或其它基于web的應用編程接口(api)請求之類的請求。

客戶機設(shè)備110可以執(zhí)行一個或多個常規(guī)web瀏覽器應用(也被稱為“app”)，這些應用已針對特定平臺開發(fā)以便包括各種移動計算設(shè)備和移動特定操作系統(tǒng)(例如ios^tm、android^tm、phone)中的任何一種。在一個實例中，客戶機設(shè)備110正在執(zhí)行客戶機應用(多個)112。客戶機應用(多個)112可以提供用于向用戶106呈現(xiàn)信息，并且經(jīng)由網(wǎng)絡(luò)104通信以便與社交消息傳送系統(tǒng)130交換信息的功能。每個客戶機設(shè)備110可以包括計算設(shè)備，其至少包括顯示和與網(wǎng)絡(luò)104通信的能力以便訪問社交消息傳送系統(tǒng)130?？蛻魴C設(shè)備110包括但不限于遠程設(shè)備、工作站、計算機、通用計算機、因特網(wǎng)設(shè)備、手持設(shè)備、無線設(shè)備、便攜式設(shè)備、可佩帶式計算機、蜂窩或移動電話、個人數(shù)字助理(pda)、智能電話、平板計算機、超極本、上網(wǎng)本、膝上型計算機、臺式計算機、多處理器系統(tǒng)、基于微處理器或可編程消費電子產(chǎn)品、游戲機、機頂盒、網(wǎng)絡(luò)pc、小型計算機等。用戶106可以是人、機器或與客戶機設(shè)備110交互的其它裝置。在某些實施例中，用戶106經(jīng)由客戶機設(shè)備110與社交消息傳送系統(tǒng)130交互。用戶106可以不是網(wǎng)絡(luò)環(huán)境的一部分，而是可以與客戶機設(shè)備110關(guān)聯(lián)。

如圖1中所示，數(shù)據(jù)層128具有數(shù)據(jù)庫服務器132，其促進對信息存儲庫或數(shù)據(jù)庫134的訪問。數(shù)據(jù)庫134是存儲設(shè)備，其存儲諸如成員簡檔數(shù)據(jù)、社交圖數(shù)據(jù)(例如，社交消息傳送系統(tǒng)130的成員之間的關(guān)系)和其它用戶數(shù)據(jù)之類的數(shù)據(jù)。

個人可以注冊到社交消息傳送系統(tǒng)130以便成為社交消息傳送系統(tǒng)130的成員。在注冊之后，成員可以在社交消息傳送系統(tǒng)130上形成社交網(wǎng)絡(luò)關(guān)系(例如，朋友、追隨者或聯(lián)系人)，并且與由社交消息傳送系統(tǒng)130提供的廣泛應用交互。

應用邏輯層126包括各種應用邏輯模塊150，這些應用邏輯模塊與接口模塊140結(jié)合，使用從數(shù)據(jù)層128中的各種數(shù)據(jù)源或數(shù)據(jù)服務取回的數(shù)據(jù)生成各種用戶界面。個體應用邏輯模塊150可以用于實現(xiàn)與社交消息傳送系統(tǒng)130的各種應用、服務和特性關(guān)聯(lián)的功能。例如，可以通過應用邏輯模塊150實現(xiàn)社交消息傳送應用。社交消息傳送應用向客戶機設(shè)備110的用戶提供消息傳送機制，以便發(fā)送和接收包括文本和媒體內(nèi)容(例如圖片和視頻)的消息。客戶機設(shè)備110可以在指定時間段(例如，有限或無限)內(nèi)訪問和查看來自社交消息傳送應用的消息。在一個實例中，消息接收者可以在首次訪問特定消息時開始的預定義持續(xù)時間(例如，由消息發(fā)送者指定)內(nèi)訪問該特定消息。在預定義持續(xù)時間經(jīng)過之后，消息被刪除并且不再可由消息接收者訪問。當然，其它應用和服務可以分別在它們自己的應用邏輯模塊150中體現(xiàn)。

如圖1中所示，社交消息傳送系統(tǒng)130包括通信混合系統(tǒng)160，通信混合系統(tǒng)160能夠傳輸客戶機設(shè)備110的控制信號。同樣，客戶機設(shè)備110包括通信混合系統(tǒng)160的一部分。在其它實例中，客戶機設(shè)備110可以包括完整的通信混合系統(tǒng)160。在客戶機設(shè)備110包括通信混合系統(tǒng)160的一部分(或全部)的情況下，客戶機設(shè)備110可以單獨工作或者與社交消息傳送系統(tǒng)130協(xié)同工作以便提供在此描述的通信混合系統(tǒng)160的功能。

在圖2中，在各種實施例中，通信混合系統(tǒng)160可以被實現(xiàn)為獨立系統(tǒng)，并且無需被包括在社交消息傳送系統(tǒng)130中。通信混合系統(tǒng)160被示為包括通信模塊210、呈現(xiàn)模塊220、傳感器模塊230、確定模塊240、管理模塊250、以及數(shù)據(jù)模塊260。模塊210-260的全部或部分例如經(jīng)由網(wǎng)絡(luò)耦合、共享存儲器等相互通信。模塊210-260中的每個模塊可以被實現(xiàn)為單個模塊，組合成其它模塊，或者進一步細分為多個模塊。還可以包括與實例實施例不相關(guān)的其它模塊，但它們未被示出。

通信模塊210提供各種通信功能。例如，通信模塊210接收指示從客戶機設(shè)備110的輸入接收的數(shù)據(jù)的通信數(shù)據(jù)。通信數(shù)據(jù)可以指示由客戶機設(shè)備上的用戶編寫的消息以便存儲或傳輸?shù)搅硪粋€用戶的客戶機設(shè)備。通信模塊210可以導致經(jīng)由通信網(wǎng)絡(luò)在客戶機設(shè)備之間傳輸通信數(shù)據(jù)，或者可以導致客戶機設(shè)備110將通信數(shù)據(jù)存儲在數(shù)據(jù)模塊260或與數(shù)據(jù)模塊260關(guān)聯(lián)的存儲介質(zhì)內(nèi)。

在某些情況下，通信模塊210包括轉(zhuǎn)錄模塊，轉(zhuǎn)錄模塊能夠接收一個或多個通信段(例如，音頻或語音通信數(shù)據(jù))并且執(zhí)行語音到文本轉(zhuǎn)換，轉(zhuǎn)錄通信段內(nèi)的單詞以便生成轉(zhuǎn)錄后的通信?？梢栽诰哂谢驔]有從中生成轉(zhuǎn)錄后的通信的通信段的情況下傳輸轉(zhuǎn)錄后的通信。轉(zhuǎn)錄模塊可以包括能夠?qū)⑼ㄐ哦蔚乃f話語轉(zhuǎn)錄為文本的語音識別操作和功能。

在某些實施例中，當通信模塊210接收指示基于音頻的通信段的通信數(shù)據(jù)時，轉(zhuǎn)錄模塊可以生成第一中斷以便轉(zhuǎn)錄該通信段。轉(zhuǎn)錄模塊可以在指示該通信段的終止時生成第二中斷。例如，可以通過以下項指示通信段的終止：接收通信數(shù)據(jù)的暫停(例如，在預定時間段內(nèi)停止語音)、用戶交互(例如，與用戶界面元素的交互)、客戶機設(shè)備110的方向變化、或者指示通信段的終止的其它交互或觸發(fā)。

通信模塊210還可以接收用于一組通信模式的配置數(shù)據(jù)，例如導致多種通信模式之間的轉(zhuǎn)換的中斷和通知指示符(例如，向用戶通知通信會話或通信模式的開始、終止或轉(zhuǎn)換)。通信模塊210可以與數(shù)據(jù)庫服務器132、客戶機設(shè)備110和第三方服務器120交換網(wǎng)絡(luò)通信。由通信模塊210取回的信息包括與用戶關(guān)聯(lián)的數(shù)據(jù)(例如，來自在線帳戶的成員簡檔數(shù)據(jù)或社交網(wǎng)絡(luò)服務數(shù)據(jù))或其它數(shù)據(jù)，以便促進在此描述的功能。

呈現(xiàn)模塊220提供各種呈現(xiàn)和用戶界面功能，它們可操作以便交互地向用戶呈現(xiàn)信息并且從用戶接收信息。例如，呈現(xiàn)模塊220導致呈現(xiàn)用戶106與其交互的用戶界面元素，以便導致或開始執(zhí)行通信混合系統(tǒng)160的操作。此外，呈現(xiàn)模塊220導致呈現(xiàn)所接收的消息的指示、正在被輸入的消息的指示(例如，在傳輸消息之前正在被輸入的消息的內(nèi)容)以及所傳輸?shù)南⒌闹甘?。呈現(xiàn)模塊220導致在用戶界面上或者在客戶機設(shè)備110的顯示器中呈現(xiàn)指示或通知(例如，包括在客戶機設(shè)備110的用戶界面上通過虛擬鍵盤或通信段圖標正在被輸入的消息的指示)。在通信混合系統(tǒng)160與聊天應用交互或者形成聊天應用的一部分的實施例中，呈現(xiàn)模塊220可以導致呈現(xiàn)聊天開始或聊天通知。呈現(xiàn)模塊220呈現(xiàn)或?qū)е鲁尸F(xiàn)信息(例如，在屏幕上可視地顯示信息、聲音輸出、觸覺反饋)。該信息的呈現(xiàn)包括客戶機設(shè)備110與用戶106之間的信息交換。

用戶可以以許多可能方式提供輸入以便與用戶界面(由呈現(xiàn)模塊220全部或部分呈現(xiàn))交互，例如字母數(shù)字、基于點(例如，光標)、觸覺或其它輸入(例如，觸摸屏、觸覺傳感器、光傳感器、紅外線傳感器、生物測量傳感器、麥克風、陀螺儀、加速度計或其它傳感器)等。呈現(xiàn)模塊220提供許多其它用戶界面以便促進用戶與客戶機設(shè)備110的交互，并且包括在此描述的功能。如在此使用的，術(shù)語“呈現(xiàn)”旨在包括將信息或指令傳送到特定設(shè)備，該特定設(shè)備可操作以便基于所傳送的信息或指令執(zhí)行呈現(xiàn)。

傳感器模塊230提供各種傳感器輸入功能。在某些實例實施例中，傳感器模塊230可以包括位置傳感器和方向傳感器，以便將客戶機設(shè)備110的位置和方向數(shù)據(jù)提供給通信模塊210、呈現(xiàn)模塊220、確定模塊240、管理模塊250、以及數(shù)據(jù)模塊260中的一個或多個。例如，位置傳感器和方向傳感器可以生成指示設(shè)備的位置(例如，高度或高程)和方向(例如，垂直或水平方向)的數(shù)據(jù)或信號。在某些實施例中，傳感器模塊230不包括位置傳感器和方向傳感器，而是從位置傳感器和方向傳感器接收輸入以便向上述模塊提供位置和方向數(shù)據(jù)。例如，傳感器模塊230可以從位于傳感器模塊230外部的設(shè)備內(nèi)的位置傳感器和方向傳感器接收傳感器數(shù)據(jù)，所述傳感器數(shù)據(jù)指示客戶機設(shè)備110的高度、高程變化或相對高程和方向。

盡管被討論為位置傳感器和方向傳感器，但應該理解，客戶機設(shè)備110或傳感器模塊230可以包含能夠提供與客戶機設(shè)備110的位置和方向?qū)臄?shù)據(jù)的任何數(shù)量的傳感器。此外，傳感器模塊230可以接收對應于客戶機設(shè)備110的位置的其它數(shù)據(jù)，例如相對位置、位置變化、水平位置變化、重復動作(例如，搖動)、加速度計數(shù)據(jù)，或者用于客戶機設(shè)備110的位置的各方面的其它物理傳感器數(shù)據(jù)。

在某些情況下，傳感器模塊230可以包括麥克風，或者與客戶機設(shè)備110的麥克風通信。在這些實施例中，麥克風提供通信數(shù)據(jù)(例如，通信段)、語音激活的指令數(shù)據(jù)(例如，語音命令)，或者通常指示用戶106向麥克風發(fā)起語音的語音數(shù)據(jù)。由麥克風接收的語音數(shù)據(jù)可以用于導致用戶生成的中斷，該中斷指示通信混合系統(tǒng)160的語音控制。在某些實施例中，語音數(shù)據(jù)可以與來自位置傳感器和方向傳感器的數(shù)據(jù)結(jié)合使用以便生成導致通信混合系統(tǒng)160執(zhí)行在此討論的一個或多個操作的中斷。

確定模塊240可以解釋從傳感器模塊230接收的數(shù)據(jù)，以便確定用于由呈現(xiàn)模塊220在客戶機設(shè)備110的用戶界面上呈現(xiàn)的通信模式。例如，確定模塊240可以接收位置數(shù)據(jù)和語音數(shù)據(jù)，所述位置數(shù)據(jù)指示客戶機設(shè)備110的垂直位置變化，例如用戶將客戶機設(shè)備110(例如，移動電話)拿到用戶的嘴邊以便說話，所述語音數(shù)據(jù)指示用戶106開始通信段(例如，對著客戶機設(shè)備110的麥克風說話)。確定模塊240執(zhí)行從一組通信模式確定期望通信模式。通信模式包括基于文本的通信模式、基于媒體的通信模式、基于音頻的通信模式、音頻消息模式、它們的組合以及其它合適的通信模式。

在從一組通信模式確定期望通信模式時，確定模塊240可以基于預定閾值解釋傳感器數(shù)據(jù)。例如，傳感器模塊230可以傳遞指示客戶機設(shè)備110的高程增加的傳感器數(shù)據(jù)。確定模塊240可以將高程增加與高程閾值相比較，以使得高于高程閾值的高程增加導致確定模塊240生成用于將當前通信模式改變?yōu)槠谕ㄐ拍Ｊ降闹甘净蛐盘枴?/p>

作為另一個實例，傳感器模塊230可以傳遞指示語音數(shù)據(jù)的傳感器數(shù)據(jù)。確定模塊240可以將語音數(shù)據(jù)與持續(xù)時間閾值、音量閾值或預定命令集相比較，以使得高于音量閾值并且超過持續(xù)時間閾值的語音數(shù)據(jù)導致確定模塊240生成導致從當前通信模式到期望通信模式的變化的中斷。確定模塊240可以將語音數(shù)據(jù)與預定命令集相比較，以使得如果語音數(shù)據(jù)包括預定命令集的一個或多個命令，則確定模塊240生成導致從當前通信模式到期望通信模式的變化的中斷，該變化與語音數(shù)據(jù)中包含的一個或多個命令相應。

為了進一步例示確定模塊240的實例功能，可以將客戶機設(shè)備110初始設(shè)置為基于文本的通信模式。傳感器模塊230接收指示高程增加多于十二英寸(即，大于三十厘米)的傳感器數(shù)據(jù)。傳感器模塊230將傳感器數(shù)據(jù)傳遞到確定模塊240。確定模塊240將傳感器數(shù)據(jù)與值為六英寸(即，大約十五厘米)的高程閾值相比較。確定傳感器數(shù)據(jù)指示高程變化大于高程閾值后，確定模塊240生成指示通信模式應該從基于文本的通信模式改變?yōu)榛谝纛l的通信模式的信號。即，高程變化導致確定模塊240確定用戶已將客戶機設(shè)備110拿到較高位置，以便通過對著設(shè)備說話而不是輸入基于文本的消息來繼續(xù)當前聊天會話。確定模塊240將模式變化指示傳遞到管理模塊250，以便導致客戶機設(shè)備110改變?yōu)槠谕ㄐ拍Ｊ健?/p>

在某些實例實施例中，通信混合系統(tǒng)160可以通過確定模塊240接收指示以下項的傳感器數(shù)據(jù)，從全雙工語音通信轉(zhuǎn)換為基于語音的通信段(例如，語音注釋或音頻注釋)或基于文本的通信段(例如，文本消息)：橫向位置變化(例如，用戶106將客戶機設(shè)備110從靠近用戶耳朵的位置移動到用戶的嘴/臉之前的位置，指示用戶在當前時間可能不期望傾聽另一方說話)、方向變化、語音命令、基于語音的通信段的開始或它們的組合。

盡管參考預定閾值進行描述，但在某些實例實施例中，可以由客戶機設(shè)備110的用戶106手動輸入或調(diào)整用于在通信模式之間改變的閾值。同樣，用于在通信模式之間改變的閾值可以是學習閾值，以使得隨著時間的推移，確定模塊240可以確定適于用戶106并且與其關(guān)聯(lián)的值，這些值指示用戶希望在通信模式之間改變。此外，可以由客戶機設(shè)備110的用戶106輸入一組預定語音命令。在某些情況下，一組預定語音命令可以包括命令可變性元素，以使得隨著時間的推移，確定模塊240可以獲得適于客戶機設(shè)備110的用戶106的詞匯、重音、縮寫、語調(diào)或其它語音模式。

管理模塊250從確定模塊240接收模式變化指示，并且在通信模式之間改變。例如，基于接收模式變化指示，管理模塊250在客戶機設(shè)備110內(nèi)生成模式中斷。模式中斷導致客戶機設(shè)備110的處理器在通信模式之間改變，例如從基于音頻的通信模式改變?yōu)榛谖谋镜耐ㄐ拍Ｊ?。模式中斷還導致呈現(xiàn)模塊220修改或改變在客戶機設(shè)備110上呈現(xiàn)給用戶的用戶界面。例如，模式中斷可以導致呈現(xiàn)模式220通過從用戶界面移除虛擬鍵盤并且導致呈現(xiàn)通信段圖標(例如，麥克風圖標)或用戶可選擇圖標，將用戶界面的一部分從基于文本的通信模式改變?yōu)榛谝纛l的通信模式。通信段圖標可以指示基于音頻的通信模式(例如，全雙工通信)，而用戶可選擇圖標使用戶能夠在使用可選擇圖標時傳輸音頻通信，并且在不使用可選擇圖標時接收音頻通信(例如，半雙工通信)。在某些情況下，通信段圖標和用戶可選擇圖標是同一圖標，可選擇該圖標以便在用戶之間生成和傳輸通信。

數(shù)據(jù)模塊260提供各種數(shù)據(jù)存儲功能。例如，數(shù)據(jù)模塊260可以在傳輸數(shù)據(jù)之前或者在用戶查看通信數(shù)據(jù)之前暫時存儲或緩存通信數(shù)據(jù)。如果數(shù)據(jù)模塊260在傳輸之前存儲通信數(shù)據(jù)，則與數(shù)據(jù)模塊260關(guān)聯(lián)的存儲介質(zhì)存儲通信數(shù)據(jù)，同時用戶生成用于傳輸?shù)南ⅰ?shù)據(jù)模塊260動態(tài)地修改通信數(shù)據(jù)以便添加由用戶生成的其它通信數(shù)據(jù)。

數(shù)據(jù)模塊260從通信模塊210接收通信數(shù)據(jù)以便存儲在存儲介質(zhì)中，該存儲介質(zhì)例如包括非瞬時性機器可讀存儲介質(zhì)、存儲器、閃存、網(wǎng)絡(luò)存儲(例如，云存儲)或者其它合適的存儲介質(zhì)。通信數(shù)據(jù)被存儲在存儲介質(zhì)上達預定時間段。預定時間段的持續(xù)時間可以由客戶機設(shè)備110、客戶機設(shè)備110的用戶、通信模式、通信模塊210，或者數(shù)據(jù)模塊260內(nèi)能夠確定或存儲指示持續(xù)時間的值的任何其它合適源來設(shè)置。通信數(shù)據(jù)還可以一直被存儲在存儲介質(zhì)上，直到接收到預定指示，例如用戶查看通信數(shù)據(jù)或傳輸通信數(shù)據(jù)的指示。

圖3是示出用于使用與用戶界面關(guān)聯(lián)的手勢來混合通信的實例方法300的流程圖。方法300的操作可以由通信混合系統(tǒng)160的組件執(zhí)行，并且為了例示目的而在下面如此描述這些操作。

在操作310中，通信模塊210、呈現(xiàn)模塊220、傳感器模塊230或它們的組合通過客戶機設(shè)備110的用戶界面接收用戶交互。操作310的一個實例在圖6和7a-7c中示出。用戶交互指示期望通信模式。例如，用戶交互可以是基于觸摸的手勢，例如部分滑動或完整滑動。部分滑動指示用戶106觸摸觸摸屏或者跨呈現(xiàn)用戶界面的屏幕的一部分操縱指針。完整滑動指示跨屏幕的整體測量(例如，整體長度或?qū)挾?的滑動?；瑒涌梢砸越换ナ接脩艚缑嬖?例如文本輸入框)為中心。在某些實例實施例中，可以以用戶中斷的形式將滑動傳遞到模塊或客戶機設(shè)備110的處理器。

在操作320中，確定模塊240確定當前通信模式(例如，基于文本的通信)，并且生成改變?yōu)槠谕ㄐ拍Ｊ?例如，基于音頻的通信)的指示。確定模塊240將指示傳遞到管理模塊250?？梢栽诳蛻魴C設(shè)備110處的用戶界面內(nèi)呈現(xiàn)通知。在某些實施例中，通知被呈現(xiàn)為一組文本，該組文本標識通信模式或者將通信數(shù)據(jù)輸入到通信模式中的方法。通知可以被呈現(xiàn)為覆蓋、嵌入式文本、在預定時間段之后關(guān)閉的臨時窗口，或者任何其它合適的通知。如果通知被呈現(xiàn)為嵌入式文本以及通信數(shù)據(jù)的一部分(例如，由另一個客戶機設(shè)備發(fā)送的消息的一部分)，則通知的嵌入式文本可以被呈現(xiàn)為不同于通信數(shù)據(jù)。在某些實施例中，如果通信數(shù)據(jù)是文本的一部分，則通知的嵌入式文本被呈現(xiàn)為以下一個或多個：與通信數(shù)據(jù)的文本不同的文本字體、不同的文本大小、不同的顏色或不同的位置。例如，通知文本可以被呈現(xiàn)為文本的一部分，其字體小于通信數(shù)據(jù)的字體并且與通信數(shù)據(jù)相距某一距離。

確定模塊240基于在操作310中接收的用戶交互，確定期望通信模式。在某些實施例中，預定動作與一組通信方法的不同通信方法關(guān)聯(lián)。例如，相對于客戶機設(shè)備110的觸摸屏方向，基于觸摸的向上手勢(例如，向上滑動)或者向上運動中客戶機設(shè)備110的位置變化可以指示期望通信模式基于語音。在某些實施例中，跨客戶機設(shè)備110的觸摸屏的一部分的部分基于觸摸的手勢(例如，滑動)表示第一通信模式。沿著預定方向跨客戶機設(shè)備110的觸摸屏的基于觸摸的完整手勢(例如，完整滑動)表示第二通信模式。在某些實施例中，第一通信模式是語音到文本通信模式，并且第二通信模式是全雙工電話呼叫?；谡Z音的通信模式可以實現(xiàn)語音到文本通信、錄音、全雙工或半雙工語音通信模式(例如，電話呼叫、voip呼叫、視頻呼叫)或者任何其它合適的基于語音的通信。盡管針對基于語音的通信進行討論，但通信模式可以包括基于視頻的通信、基于文本的通信，或者客戶機設(shè)備110能夠用于接收表示通信數(shù)據(jù)的用戶輸入并且解釋通信數(shù)據(jù)以便傳輸?shù)搅硪粋€客戶機設(shè)備的任何其它合適的通信模式。

在操作330中，管理模塊250導致通信混合系統(tǒng)160或客戶機設(shè)備110上的通信應用將通信模式設(shè)置為由確定模塊240確定的期望通信模式。例如，管理模塊250可以通過改變客戶機設(shè)備110上的通信應用的操作模式來設(shè)置通信模式。在某些實施例中，操作模式的變化導致客戶機設(shè)備110初始化與客戶機設(shè)備關(guān)聯(lián)或者是客戶機設(shè)備的一部分的輸入字段或輸入設(shè)備。初始化輸入字段導致呈現(xiàn)能夠接收或訪問通信數(shù)據(jù)的輸入字段(例如，文本輸入字段或用戶界面元素)。例如，輸入字段可以是文本輸入字段，其被配置為接收從將輸入傳遞到通信混合系統(tǒng)160的物理或虛擬鍵盤輸入的文本數(shù)據(jù)形式的通信數(shù)據(jù)。初始化輸入設(shè)備可以導致客戶機設(shè)備110啟動與客戶機設(shè)備110關(guān)聯(lián)或者是客戶機設(shè)備110的一部分的一個或多個通信設(shè)備。例如，輸入設(shè)備可以是針對視頻聊天會話初始化的照相機、針對錄音或語音到文本操作初始化的麥克風，或者與客戶機設(shè)備110的電路結(jié)合地初始化以便進行電話呼叫的麥克風和揚聲器。

在操作340中，呈現(xiàn)模塊220導致在客戶機設(shè)備110上呈現(xiàn)用戶界面。由呈現(xiàn)模塊220呈現(xiàn)的用戶界面指示期望通信模式。例如，如果期望通信模式是基于音頻的通信模式，則呈現(xiàn)模塊220可以導致用戶界面包括交互式用戶界面元素，例如通信段圖標(例如，音頻注釋圖標或麥克風圖標)。用戶106與通信段圖標交互以便生成通信段(例如，音頻注釋或語音郵件注釋)。在某些實施例中，所述模塊可以將基于語音的通信段轉(zhuǎn)換成基于文本的通信段。例如，呈現(xiàn)模塊220可以通過一組語音到文本操作來處理基于語音的通信段，并且在客戶機設(shè)備110的用戶界面上將基于語音的通信段呈現(xiàn)為一組文本(例如，基于文本的通信段、文本消息、文本推送通知)。

圖4是示出用于混合通信類型以便傳輸消息的實例方法400的流程圖。方法400的操作可以由通信混合系統(tǒng)160的組件執(zhí)行，并且為了例示目的而在下面如此描述這些操作。在某些實施例中，方法400的操作可以使用方法300的一個或多個操作，作為方法300的一個或多個操作的子操作執(zhí)行，或者基于方法300的一個或多個操作而開始。

在操作410中，客戶機設(shè)備110上的通信混合系統(tǒng)160的通信模塊210接收指示開始通信會話(例如，聊天或電話呼叫)的中斷。例如，通信模塊210可以接收指示客戶機設(shè)備110上的通信應用內(nèi)的聊天開始的中斷。聊天開始指示在兩個或更多用戶之間創(chuàng)建新通信會話，或者在兩個或更多用戶之間恢復現(xiàn)有通信會話。通信應用包括被配置為與通信混合系統(tǒng)160交互的處理器可執(zhí)行指令。例如，通信應用的處理器可執(zhí)行指令可以包括通信混合系統(tǒng)160的至少一部分。在某些實例實施例中，開始通信的中斷之前可以是導致客戶機設(shè)備110打開通信應用的用戶開始的中斷。

在操作420中，呈現(xiàn)模塊220導致在客戶機110的用戶界面上呈現(xiàn)默認通信模式。例如，在接收到開始通信會話的中斷時，呈現(xiàn)模塊220可以呈現(xiàn)與被配置為接收和發(fā)送基于文本的消息的基于文本的通信模式對應的用戶界面。呈現(xiàn)基于文本的通信模式以使得用戶界面的一部分包括能夠接收用戶輸入以便生成基于文本的消息的虛擬鍵盤。

在某些實施例中，默認通信模式是預定通信模式。預定通信模式可以由客戶機設(shè)備110的用戶設(shè)置為客戶機設(shè)備的用戶界面內(nèi)的設(shè)置。在某些情況下，可以響應于從另一個客戶機設(shè)備接收的通信數(shù)據(jù)而選擇默認通信模式。確定模塊240確定在客戶機設(shè)備110處接收的通信數(shù)據(jù)的通信類型(例如，基于語音的通信、基于文本的通信、基于視頻的通信)。響應于確定模塊240確定所接收的通信數(shù)據(jù)的通信類型，確定模塊240標識具有與所接收的通信數(shù)據(jù)的通信類型相匹配或相關(guān)聯(lián)的通信類型的通信模式。由確定模塊240選擇的通信模式能夠接收與所接收的通信數(shù)據(jù)的通信類型關(guān)聯(lián)的輸入。呈現(xiàn)模塊220將默認通信模式呈現(xiàn)為被選擇為具有與所接收的通信數(shù)據(jù)的通信類型匹配的通信類型的通信模式。

在操作430中，傳感器模塊230接收指示客戶機設(shè)備110中的位置變化的傳感器數(shù)據(jù)。例如，傳感器模塊230可以接收指示第一位置變化的第一組傳感器數(shù)據(jù)，第一位置變化例如包括客戶機設(shè)備110的高程從較低位置增加到靠近用戶106耳朵的位置。通過進一步例示，傳感器模塊230可以接收指示第一方向變化的第一組傳感器數(shù)據(jù)。第一方向變化例如可以是客戶機設(shè)備110從垂直或水平方向到對角線方向的方向變化。對角線方向具有角度，該角度指示用戶106將客戶機設(shè)備110放置在適合于同時對著客戶機設(shè)備110說話并且傾聽客戶機設(shè)備110的輸出的方向。傳感器模塊230傳遞、傳輸傳感器數(shù)據(jù)，或者以其它方式使確定模塊240能夠訪問傳感器數(shù)據(jù)。

方向變化的一個實例可以是將客戶機設(shè)備110旋轉(zhuǎn)到揚聲器位置。在該位置中，用戶106將客戶機設(shè)備110的輸入部(例如，麥克風)從第一位置旋轉(zhuǎn)到第二位置，使輸入部更靠近用戶的嘴邊(例如，音頻輸出源)。例如，如果輸出揚聲器(例如，耳機)被放置為靠近客戶機設(shè)備110的第一端并且麥克風被放置為靠近客戶機設(shè)備110的第二端，則方向變化可以是旋轉(zhuǎn)大約180°。在該實例中，旋轉(zhuǎn)可以將輸入部放置為更靠近用戶106的嘴邊。旋轉(zhuǎn)可以是垂直旋轉(zhuǎn)(例如，將客戶機設(shè)備110上下轉(zhuǎn)動)、水平旋轉(zhuǎn)(例如，將麥克風朝向用戶轉(zhuǎn)動并且將輸出揚聲器遠離用戶)，或者是垂直和水平旋轉(zhuǎn)的組合。

在操作440中，基于從傳感器模塊230接收的傳感器數(shù)據(jù)，確定模塊240可以確定客戶機設(shè)備110的期望通信模式，以便在與用戶106嘗試輸入消息的方式兼容的通信模式下接收由用戶106生成的消息。確定模塊240可以基于預定閾值解釋傳感器數(shù)據(jù)。在某些情況下，確定模塊240標識傳感器數(shù)據(jù)內(nèi)的值，例如行進距離(例如，垂直、水平、對角線)，并且將該值與預定距離閾值相比較?？梢詮囊唤M值中選擇該值，其中每個值表示能夠由客戶機設(shè)備110的一個或多個傳感器測量的一個方面的數(shù)量。如果傳感器數(shù)據(jù)值超過預定距離閾值，則確定模塊240可以從一組通信模式確定與超過預定距離閾值的確定相關(guān)聯(lián)的通信模式。例如，基于音頻的通信模式可以與客戶機設(shè)備110的垂直位置變化量大于為十二英寸的預定閾值(即，大于三十厘米)的確定相關(guān)聯(lián)，這表明用戶106將客戶機設(shè)備110從靠近用戶106腰部或胃部的位置拿到靠近用戶106耳朵的位置。通過另一個實例，音頻消息模式可以與上述將客戶機設(shè)備110旋轉(zhuǎn)到揚聲器位置的確定相關(guān)聯(lián)。揚聲器位置的確定表明用戶106旋轉(zhuǎn)輸出揚聲器使其遠離用戶106的耳朵。

在某些實施例中，確定模塊240接收多個值(例如，被測量方面的多個數(shù)量的變化)。確定模塊240標識用作與預定閾值比較的傳感器數(shù)據(jù)值的主值。確定模塊240可以基于數(shù)量之間的變化量確定主值。主值可以被確定為多個值中具有最大變化的值、包含與通信模式具有預定關(guān)聯(lián)的數(shù)量變化的值，或者其它合適的標識方法。例如，如果客戶機設(shè)備110的傳感器檢測到垂直位置變化(例如，客戶機設(shè)備110被舉高)和方向變化(例如，客戶機設(shè)備110圍繞垂直軸旋轉(zhuǎn))，則確定模塊240可以基于垂直位置變化與音頻通信模式之間的關(guān)聯(lián)，或者基于開始數(shù)量與結(jié)束數(shù)量之間的差大于針對方向變化確定的差的垂直位置變化，選擇音頻通信模式。

在確定模塊240已從一組通信模式確定期望通信模式之后，確定模塊240將模式變化指示傳遞到其它模塊以便實現(xiàn)通信模式、用戶界面和通信應用的變化。例如，確定模塊240可以將模式變化指示傳遞到管理模塊250以便在通信模式之間改變，并且傳遞到呈現(xiàn)模塊220以便改變用戶界面的至少一部分以指示到期望通信模式的改變。

在某些實例實施例中，確定模塊240還可以從客戶機設(shè)備110嘗試與其通信的第二客戶機設(shè)備接收模式指示。當確定模塊240從第二客戶機設(shè)備接收模式指示時，確定模塊240使期望通信模式(例如，兼容通信模式)的確定基于傳感器數(shù)據(jù)和模式指示的組合。兼容通信模式是這樣的通信模式：其被配置為以模式指示的建議通信模式可以解釋的格式接收和發(fā)送通信數(shù)據(jù)，并且被配置為根據(jù)基于傳感器數(shù)據(jù)確定的期望通信模式操作。例如，確定模塊240可以由于傳感器數(shù)據(jù)而確定期望模式是基于音頻的通信模式。確定模塊240然后判定是否已從第二客戶機設(shè)備接收到包括建議通信模式的模式指示。

如果已接收模式指示并且所述模式指示內(nèi)的建議通信模式與期望模式?jīng)_突，則確定模塊240確定第二期望模式(例如，兼容通信模式)。例如，確定模塊240可能已確定基于音頻的通信模式是期望模式。但是，第二客戶機設(shè)備的模式指示已指示第二客戶機設(shè)備不可用或者不能使用基于音頻的通信模式(例如，全雙工通信、電話呼叫或半雙工通信)通信。在本實例中，確定模塊240可以確定音頻消息模式是合適的還是期望模式。確定模塊240從而使客戶機設(shè)備110能夠在其當前位置和方向用于通信，并且使用戶106能夠完成將音頻消息傳輸?shù)降诙蛻魴C設(shè)備。

在操作450中，確定模塊240將模式變化指示傳遞到管理模塊250以便改變通信模式。管理模塊250配置通信混合系統(tǒng)160和通信應用以便使用期望通信模式來接收和發(fā)送通信。例如，管理模塊250可以將模式變化指示傳遞到呈現(xiàn)模塊220，導致呈現(xiàn)模塊220在客戶機設(shè)備110上呈現(xiàn)對應于期望通信模式的用戶界面。

在操作460中，基于傳感器數(shù)據(jù)和確定模塊240，通信模塊210通過客戶機設(shè)備110的輸入部從用戶106接收通信數(shù)據(jù)，并且將通信數(shù)據(jù)的至少一部分傳遞到數(shù)據(jù)模塊260。通過例示的方式，數(shù)據(jù)模塊260可以接收指示要由通信模塊210傳輸?shù)幕谖谋镜南ⅰ⒚襟w消息或音頻消息的通信數(shù)據(jù)。在存儲介質(zhì)(例如，存儲器、非瞬時性機器可讀存儲介質(zhì)、光存儲介質(zhì)等)上傳輸之前，或者在查看由通信模塊210從第二客戶機設(shè)備接收的通信數(shù)據(jù)之前，數(shù)據(jù)模塊260接收并且存儲通信消息。

數(shù)據(jù)模塊260修改通信數(shù)據(jù)以使用戶106能夠生成消息并且在中斷的情況下保存該消息。例如，如果用戶106正在生成音頻消息，并且接收第二客戶機設(shè)備可用于基于音頻的通信(例如，電話呼叫)的指示，則數(shù)據(jù)模塊260可以保持音頻消息的狀態(tài)，并且使用戶106能夠在終止與第二客戶機設(shè)備的基于音頻的通信之后繼續(xù)記錄音頻消息。

在某些實例實施例中，方法400可以進一步包括操作470，其中通信模塊210接收來自數(shù)據(jù)模塊260的通信數(shù)據(jù)，其指示準備好傳輸?shù)降诙蛻魴C設(shè)備的完成消息。通信模塊210然后將通信數(shù)據(jù)傳輸?shù)降诙蛻魴C設(shè)備。

通信模塊210還可以處理通信數(shù)據(jù)以便改變由通信數(shù)據(jù)采用的通信模式。例如，如果通信數(shù)據(jù)是音頻消息，則通信模塊210可以處理通信數(shù)據(jù)以便作為基于文本的通信來傳輸。通信模塊210采用處理器可執(zhí)行指令轉(zhuǎn)換通信數(shù)據(jù)，例如語音到文本操作、文本到語音操作以及其它合適的通信數(shù)據(jù)轉(zhuǎn)換過程和操作。

通信模塊210可以獨立于用于第二客戶機設(shè)備的選定通信模式的指示來傳輸通信數(shù)據(jù)或者傳輸轉(zhuǎn)換后的通信數(shù)據(jù)。在某些實例實施例中，通信模塊210可以基于從第二客戶機設(shè)備接收的模式指示，判定傳輸通信數(shù)據(jù)還是轉(zhuǎn)換后的通信數(shù)據(jù)。

圖5是示出用于基于客戶機設(shè)備110的位置混合用于參與聊天會話的通信類型的實例方法500的流程圖。方法500的操作可以由通信混合系統(tǒng)160的組件執(zhí)行，并且為了例示目的而在下面如此描述這些操作。在各種實施例中，方法500的操作可以使用方法300和400的一個或多個操作執(zhí)行、可以是針對方法300和400描述的操作的子操作、或者基于方法300和400的一個或多個操作而開始。

在操作510中，如圖8中所示，通信模塊210接收指示客戶機設(shè)備110與第二客戶機設(shè)備之間的通信的通知。例如，通信模塊210可以接收指示與第二客戶機設(shè)備開始聊天的通知和聊天數(shù)據(jù)。聊天數(shù)據(jù)可以包括音頻數(shù)據(jù)、文本數(shù)據(jù)、圖像數(shù)據(jù)或其它媒體。

在操作520中，傳感器模塊230接收指示客戶機設(shè)備110的位置變化的傳感器數(shù)據(jù)。例如，傳感器模塊230可以接收指示客戶機設(shè)備110的第一位置或方向變化的第一傳感器數(shù)據(jù)。在操作520期間，傳感器模塊230可以接收與操作430的傳感器數(shù)據(jù)類似的傳感器數(shù)據(jù)。

在操作530中，基于傳感器數(shù)據(jù)和從第二設(shè)備接收的聊天數(shù)據(jù)的通信類型，確定模塊240確定客戶機設(shè)備110的期望通信模式以便接收從第二設(shè)備發(fā)送的消息。確定模塊240基于從第二設(shè)備接收的通信數(shù)據(jù)的數(shù)據(jù)類型，通過將通信模式與數(shù)據(jù)類型匹配來確定期望通信模式。例如，當接收包括文本數(shù)據(jù)或音頻文件(其中音頻文件的一部分已被轉(zhuǎn)換為文本)的消息時，確定模塊240可以將期望通信模式確定為基于文本的通信模式。

在操作540中，基于第一傳感器數(shù)據(jù)和由確定模塊240對期望通信模式的確定，管理模塊250生成第一中斷，其配置客戶機設(shè)備110以便將默認通信模式設(shè)置或改變?yōu)槠谕ㄐ拍Ｊ健＠?，管理模塊250可以導致客戶機設(shè)備110通過通信網(wǎng)絡(luò)進入與第二設(shè)備的基于音頻的通信會話。管理模塊250可以在操作540中改變或設(shè)置通信模式，類似于操作450。

在操作550中，傳感器模塊230接收指示客戶機設(shè)備110的第二位置變化的第二傳感器數(shù)據(jù)。在某些實例實施例中，傳感器模塊230可以接收客戶機設(shè)備110的位置變化和方向變化的第二傳感器數(shù)據(jù)。傳感器模塊230可以在操作550中接收與操作520和430的傳感器數(shù)據(jù)類似的第二傳感器數(shù)據(jù)。在某些實施例中，在通信混合系統(tǒng)160通過客戶機設(shè)備110的輸入部接收通信數(shù)據(jù)之后，接收第二位置變化。

在操作560中，基于第二傳感器數(shù)據(jù)，確定模塊240確定客戶機設(shè)備110的第二期望通信模式，以便在不參與雙向聊天會話的情況下繼續(xù)從第二設(shè)備接收通信數(shù)據(jù)。確定模塊240可以基于第二傳感器數(shù)據(jù)確定期望通信模式，類似于操作440和530。

在操作570中，基于第二傳感器數(shù)據(jù)和由確定模塊240對期望通信模式的確定，管理模塊250生成第二中斷，所述第二中斷配置客戶機設(shè)備110以便將期望通信模式設(shè)置或改變?yōu)榈诙谕ㄐ拍Ｊ健ｍ憫诟淖優(yōu)榈诙谕ㄐ拍Ｊ?，管理模塊250導致通信模塊210終止客戶機設(shè)備110的部分上的語音聊天。如參考操作440，作為操作570的一部分，客戶機設(shè)備110可以向第二設(shè)備傳輸指示語音聊天終止的模式指示。如果已傳輸模式指示，則客戶機設(shè)備110仍然可以接收語音聊天，或者語音聊天的語音到文本版本。指示語音聊天或語音聊天的語音到文本版本的通信數(shù)據(jù)被保留，以便由客戶機設(shè)備110的用戶106稍后使用。

在某些實施例中，客戶機設(shè)備110經(jīng)由第一輸入部接收第一格式的第一通信數(shù)據(jù)(例如，文本數(shù)據(jù))。第一通信數(shù)據(jù)表示經(jīng)由客戶機設(shè)備110的輸入部從輸入通信數(shù)據(jù)的用戶所接收的消息的一部分。例如，第一通信數(shù)據(jù)可以采用由客戶機設(shè)備110的用戶在客戶機設(shè)備110的觸摸屏上呈現(xiàn)的虛擬鍵盤上輸入的文本格式。在某些情況下，客戶機設(shè)備110在操作520中接收第一傳感器數(shù)據(jù)之后接收第一通信數(shù)據(jù)。在客戶機設(shè)備接收第一通信數(shù)據(jù)之后，傳感器模塊230可以在操作550中接收第二傳感器數(shù)據(jù)。第二傳感器數(shù)據(jù)可以表示客戶機設(shè)備110的位置或方向變化。確定模塊240可以在操作560中確定第二期望通信模式。此第二位置變化可以表示選擇(例如，通過客戶機設(shè)備110的移動)新通信模式以便完成所述消息的由第一通信數(shù)據(jù)表示的部分。在某些實施例中，第二期望通信模式接收第二格式的通信數(shù)據(jù)(例如，音頻數(shù)據(jù))。在某些情況下，在操作570中將客戶機設(shè)備改變?yōu)榈诙谕ㄐ拍Ｊ街?，客戶機設(shè)備110接收表示繼續(xù)由第一通信數(shù)據(jù)表示的消息的第二通信數(shù)據(jù)。通信模塊210經(jīng)由客戶機設(shè)備110的第二輸入設(shè)備(例如，麥克風而不是鍵盤)接收第二格式的第二通信數(shù)據(jù)。第二期望通信模式將第二通信數(shù)據(jù)從第二格式轉(zhuǎn)換為第一格式。在某些實施例中，第二期望通信模式將第一格式的第二通信數(shù)據(jù)附加到第一通信數(shù)據(jù)，以便包括在要傳輸?shù)搅硪粋€客戶機設(shè)備的單個消息中。

通過例示的方式，在圖6-13中，針對方法300、400和500的操作的實例實施例呈現(xiàn)實例用戶界面屏幕。盡管圖6-13示出特定的實例用戶界面和用戶界面元素，但這些僅是非限制性實例，可以由呈現(xiàn)模塊220生成許多其它備選用戶界面和用戶界面元素，并且導致向用戶呈現(xiàn)這些用戶界面和用戶界面元素。將注意，圖6-13的顯示的備選呈現(xiàn)可以包括額外信息、圖形、選項等。備選地，其它呈現(xiàn)可以包括較少的信息，或者提供簡短的信息以便用戶容易使用。

圖6示出如在操作310中引用的用戶交互和在操作320中引用的默認通信模式的變化?？蛻魴C設(shè)備110初始地可以通過呈現(xiàn)模塊220呈現(xiàn)文本輸入框610。用戶106可以在文本輸入框610上或其附近執(zhí)行部分滑動620并且客戶機設(shè)備110可以接收部分滑動620，以便開始語音注釋或音頻注釋形式的通信段。例如，用戶106可以將客戶機設(shè)備110的觸摸屏630上的手指放在文本輸入框610的左側(cè)，并且拖動手指部分跨過屏幕630(例如，到達文本輸入框的大約中間區(qū)域)以便示意從基于文本的通信模式到音頻消息模式的期望通信模式變化。在接收部分滑動620時，通信混合系統(tǒng)160可以改變通信模式以使用戶106能夠生成通信段，如在操作320-340中討論的那樣。

在某些實施例中，用戶106可以執(zhí)行第一和第二交互并且通信混合系統(tǒng)160可以接收所述第一和第二交互，以便導致通信模式的變化。例如，用戶106可以在文本輸入框610上執(zhí)行部分滑動620作為第一交互，以便通過以語音注釋或音頻注釋的形式開始通信段來開始基于文本的通信段。在某些情況下，第一交互可以導致通信模式的變化。在某些實施例中，第一交互可以導致中斷，所述中斷導致客戶機設(shè)備110等待第二交互。用戶106然后可以執(zhí)行第二交互(例如，對著客戶機設(shè)備110的麥克風說話)并且客戶機設(shè)備110可以接收所述第二交互，以便導致通信模式的變化或者導致第二通信模式變化。

用戶106還可以在文本輸入框上執(zhí)行完整滑動并且客戶機設(shè)備110可以接收完整滑動，以便開始語音呼叫。例如，用戶106可以將客戶機設(shè)備110的觸摸屏上的手指放在靠近文本輸入框610的左側(cè)，并且拖動手指跨越文本輸入框610的長度(例如，從文本輸入框的左側(cè)到文本輸入框的右側(cè))。完整滑動可以指示從基于文本的通信模式到基于音頻的通信模式(例如，語音呼叫)的期望通信模式變化。在接收完整滑動時，通信混合系統(tǒng)160以類似于操作320-340的方式改變通信模式，以便使用戶106能夠使用基于音頻的通信模式參與通信。

圖7a-7c示出如在操作310中引用的用戶交互和在操作320中引用的默認通信模式的變化的一個實例實施例。呈現(xiàn)模塊220初始地可以呈現(xiàn)包括默認通信模式的用戶界面。如圖7a中所示，默認通信模式具有聊天窗口710和文本輸入框720。用戶106與用戶界面交互以使得客戶機設(shè)備110生成發(fā)信號通知通信模式切換的中斷。在某些實施例中，響應于接收從聊天窗口710或文本輸入框720中的位置向上滑動730的用戶交互而生成中斷，如圖7b中所示。除了導致默認通信模式的變化(例如，操作320和330)之外，向上滑動730的用戶交互還可以啟動客戶機設(shè)備110以便由呈現(xiàn)模塊220生成和呈現(xiàn)用戶界面屏幕。例如，如圖7c中所示，呈現(xiàn)模塊220可以生成波形740，波形740指示從基于文本的通信模式到語音注釋模式(例如，音頻消息模式)的通信模式變化。呈現(xiàn)模塊220可以使用過滾動效果來呈現(xiàn)指示通信模式變化的波形，以便向用戶106指示客戶機設(shè)備110已改變通信模式(例如，進入音頻消息模式)。

在某些實例實施例中，如圖7c中所示，在記錄語音注釋的時段內(nèi)，可以保持750向上滑動的用戶交互(例如，手指可以保持在滑動結(jié)束處)。例如，用戶106向上滑動，導致客戶機設(shè)備110開始用于顯示波形的一個或多個操作。用戶106保持手指位置750以便記錄語音消息。用戶106然后可以釋放手指位置(例如，移除手指與客戶機設(shè)備110的觸摸屏的接觸)以便結(jié)束語音消息的記錄，從而導致客戶機設(shè)備110開始用于終止捕獲記錄并準備將記錄作為語音消息傳輸?shù)囊粋€或多個操作。在某些情況下，釋放手指位置可以導致客戶機設(shè)備110生成中斷，所述中斷導致客戶機設(shè)備110切換回先前的通信模式。

在其它實施例中，用戶106可以向上滑動以便改變通信模式而不保持滑動的結(jié)束位置。例如，用戶106可以向上滑動以便改變?yōu)橐纛l消息模式，從而在滑動結(jié)束時釋放光標或指針。用戶106然后可以在聊天窗口中向下滑動以便退出音頻消息模式，并且返回到先前的通信模式或者切換到不同的通信模式。

盡管針對向上滑動、向下滑動和向右滑動描述，但應該理解，可以通過其它用戶交互改變通信模式。例如，可以響應于客戶機設(shè)備110的振動而生成中斷；改變客戶機設(shè)備110的方向；改變客戶機設(shè)備110的位置；與客戶機設(shè)備110上的一個或多個按鈕、開關(guān)或其它觸覺輸入設(shè)備交互；對著客戶機設(shè)110的麥克風說話；它們的組合；或者能夠生成導致設(shè)備的通信模式變化的中斷的任何其它合適的用戶交互。

圖8示出用于操作510的各部分的用戶界面屏幕810。在圖8中，用戶106可以接收推送通知820，推送通知820指示第二設(shè)備傳輸語音注釋830(例如，包含語音到文本消息數(shù)據(jù)的消息)。

在圖9-11中，用戶106通過由通信模塊210接收語音注釋(即，消息數(shù)據(jù))并且經(jīng)由呈現(xiàn)模塊220呈現(xiàn)，接收由第二用戶留下的語音注釋910的至少一部分。在圖10-11中，通信模塊210分別從第二客戶機設(shè)備接收語音注釋1010和1110的其它部分，并且呈現(xiàn)模塊220在客戶機設(shè)備110的用戶界面上呈現(xiàn)語音注釋1010和1110的其它部分。在某些情況下，在語音注釋正在由第二客戶機設(shè)備編寫并且由第二客戶機設(shè)備傳輸時，呈現(xiàn)模塊220呈現(xiàn)更新語音到文本語音注釋的段中的其它部分。

如圖9-11中所示，在某些實例實施例中，通信混合系統(tǒng)160可以使用通信模塊210和呈現(xiàn)模塊220的組合來接收正在進行的語音注釋910。在與第二客戶機設(shè)備開始雙向(全雙工通信)之前，客戶機設(shè)備110的用戶106可以檢查正在進行的語音注釋的內(nèi)容(其由第二客戶機設(shè)備或客戶機設(shè)備110轉(zhuǎn)換為文本)，并且客戶機設(shè)備110可以呈現(xiàn)正在進行的語音注釋的內(nèi)容。

在用戶106已讀取語音注釋的各部分以了解上下文之后，如圖9-11中所示，客戶機設(shè)備110的用戶106可以將客戶機設(shè)備110(例如，智能電話)拿到用戶106的耳朵處，導致傳感器模塊230接收指示第一位置變化的第一傳感器數(shù)據(jù)，如在操作520中。基于第一傳感器數(shù)據(jù)，確定模塊240可以確定期望通信模式是基于音頻的通信模式，如在操作530中。管理模塊250可以導致通信模塊210和呈現(xiàn)模塊220協(xié)作以便將用戶界面改變?yōu)榛谝纛l的通信模式，從而使客戶機設(shè)備110的用戶106能夠使用全雙工通信(例如，電話呼叫)同時通信，如在操作540中。

除了查看從語音轉(zhuǎn)換的文本之外，用戶還可以能夠收聽來自發(fā)送者的消息的實際語音記錄(例如，如圖14中所示)。如上所述，接收音頻注釋的第二用戶可以同時接收文本和音頻格式的注釋。如圖14中所示，可以由通信混合系統(tǒng)將音頻注釋呈現(xiàn)為基于文本的消息，通信混合系統(tǒng)向接收者呈現(xiàn)音頻注釋的文本和音頻兩者。音頻注釋可以由音頻文件表示，例如.wav、.mp3、.mp4、.aac、.aiff或者任何其它合適的音頻文件。因此，接收者可以將音頻注釋作為文本或音頻來進行檢查?？梢杂沙尸F(xiàn)模塊220在用戶界面上彼此靠近地呈現(xiàn)基于文本的消息和音頻文件。

用戶106降低客戶機設(shè)備110，導致傳感器模塊230接收第二傳感器數(shù)據(jù)，如在操作550中。第二客戶機設(shè)備可以繼續(xù)傳輸音頻通信數(shù)據(jù)，其表示第二客戶機設(shè)備的第二用戶繼續(xù)交談，從而繼續(xù)該聊天會話的第二用戶部分。如圖12-14中所示，客戶機設(shè)備110可以從第二客戶機設(shè)備接收連續(xù)語音聊天1210、1220和1230的語音到文本版本。與呈現(xiàn)模塊220協(xié)作的通信模塊210定期更新語音聊天通信數(shù)據(jù)的文本版本1220或音頻版本1230，而第二客戶機設(shè)備繼續(xù)傳輸其它通信數(shù)據(jù)。

模塊、組件和邏輯

某些實施例在此被描述為包括邏輯或多個組件、模塊或機構(gòu)。模塊可以構(gòu)成軟件模塊(例如，在機器可讀介質(zhì)上或傳輸信號中體現(xiàn)的代碼)或硬件模塊?！坝布K”是有形單元，其能夠執(zhí)行某些操作并且可以以某種物理方式被配置或布置。在各種實例實施例中，計算機系統(tǒng)(例如，獨立計算機系統(tǒng)、客戶機計算機系統(tǒng)或服務器計算機系統(tǒng))或計算機系統(tǒng)的硬件模塊(例如，至少一個硬件處理器、一個處理器或一組處理器)由軟件(例如，應用或應用部分)配置為硬件模塊，所述硬件模塊操作以便執(zhí)行如在此描述的某些操作。

在某些實施例中，硬件模塊以機械方式、電子方式或者它們的任何合適的組合實現(xiàn)。例如，硬件模塊可以包括被永久配置為執(zhí)行某些操作的專用電路或邏輯。例如，硬件模塊可以是專用處理器，例如現(xiàn)場可編程門陣列(fpga)或?qū)Ｓ眉呻娐?asic)。硬件模塊還可以包括可編程邏輯或電路，其由軟件臨時配置以便執(zhí)行某些操作。例如，硬件模塊可以包括包含在通用處理器或其它可編程處理器內(nèi)的軟件。將認識到，在專用和永久配置的電路中或者在臨時配置的電路(例如，由軟件配置)中以機械方式實現(xiàn)硬件模塊的決策可以由成本和時間考慮來驅(qū)動。

因此，短語“硬件模塊”應該被理解為包含有形實體，即物理地構(gòu)造、永久配置(例如，硬連線)或臨時配置(例如，編程)以便以某種方式操作或者執(zhí)行在此描述的某些操作的實體。如在此使用的，“硬件實現(xiàn)的模塊”指硬件模塊。考慮其中硬件模塊被臨時配置(例如，編程)的實施例，每個硬件模塊不需要在任何一個時間實例上配置或?qū)嵗＠?，如果硬件模塊包括由軟件配置成為專用處理器的通用處理器，則通用處理器可以在不同時間被配置為相應不同的專用處理器(例如，包括不同的硬件模塊)。軟件因此可以配置特定的一個或多個處理器，以便例如在一個時間實例構(gòu)成特定的硬件模塊，并且在不同的時間實例構(gòu)成不同的硬件模塊。

硬件模塊可以向其它硬件模塊提供信息并且從其它硬件模塊接收信息。因此，所述硬件模塊可以被認為以通信方式耦合。如果同時存在多個硬件模塊，則可以通過在兩個或更多硬件模塊之間的信號傳輸(例如，通過適當?shù)碾娐泛涂偩€)實現(xiàn)通信。在其中在不同時間配置或?qū)嵗鄠€硬件模塊的實施例中，例如可以通過存儲和檢索多個硬件模塊有權(quán)訪問的存儲器結(jié)構(gòu)中的信息來實現(xiàn)這種硬件模塊之間的通信。例如，一個硬件模塊執(zhí)行操作并且將該操作的輸出存儲在與其以通信方式耦合的存儲設(shè)備中。另一個硬件模塊然后可以在稍后時間訪問所述存儲設(shè)備，以便檢索和處理存儲的輸出。硬件模塊還可以開始與輸入或輸出設(shè)備的通信，并且可以對資源(例如，信息集合)進行操作。

可以至少部分地由臨時配置(例如，通過軟件)或永久配置為執(zhí)行相關(guān)操作的處理器來執(zhí)行在此描述的實例方法的各種操作。無論臨時還是永久配置，這種處理器都構(gòu)成處理器實現(xiàn)的模塊，其操作以便執(zhí)行在此描述的操作或功能。如在此使用的，“處理器實現(xiàn)的模塊”指使用處理器實現(xiàn)的硬件模塊。

同樣，在此描述的方法可以至少部分地由處理器實現(xiàn)，其中特定的一個或多個處理器是硬件的實例。例如，一種方法的至少某些操作可以由處理器或處理器實現(xiàn)的模塊執(zhí)行。此外，處理器還可以操作以便支持在“云計算”環(huán)境中或者作為“軟件即服務”(saas)執(zhí)行相關(guān)操作。例如，至少某些操作可以由一組計算機(作為包括處理器的機器的實例)執(zhí)行，其中這些操作可以經(jīng)由網(wǎng)絡(luò)(例如，因特網(wǎng))并且經(jīng)由適當?shù)慕涌?例如，應用程序接口(api))訪問。

某些操作的執(zhí)行可以在處理器之間分布，不僅駐留在單個機器內(nèi)，而是跨多個機器部署。在某些實例實施例中，處理器或處理器實現(xiàn)的模塊位于單個地理位置中(例如，在家庭環(huán)境、辦公環(huán)境或服務器農(nóng)場內(nèi))。在其它實例實施例中，處理器或處理器實現(xiàn)的模塊跨多個地理位置分布。

應用

圖15示出與某些實施例一致的執(zhí)行移動操作系統(tǒng)(例如，ios^tm、android^tm、phone或其它移動操作系統(tǒng))的實例移動設(shè)備1500。在一個實施例中，移動設(shè)備1500包括可操作以便從用戶1502接收觸覺數(shù)據(jù)的觸摸屏。例如，用戶1502可以物理地觸摸1504移動設(shè)備1500，并且響應于觸摸1504，移動設(shè)備1500可以確定諸如觸摸位置、觸摸力度或手勢動作之類的觸覺數(shù)據(jù)。在各種實例實施例中，移動設(shè)備1500顯示主屏幕1506(例如，ios^tm上的springboard)，其可操作以便啟動應用或者以其他方式管理移動設(shè)備1500的各個方面。在某些實例實施例中，主屏幕1506提供狀態(tài)信息，例如電池壽命、連接性或其它硬件狀態(tài)。用戶1502可以通過觸摸由相應用戶界面元素占據(jù)的區(qū)域來激活用戶界面元素。以這種方式，用戶1502與移動設(shè)備1500的應用交互。例如，觸摸由主屏幕1506中包括的特定圖標占據(jù)的區(qū)域?qū)е聠訉谔囟▓D標的應用。

可以在移動設(shè)備1500上執(zhí)行許多種類的應用(也被稱為“app”)，例如本機應用(例如，以在ios^tm上運行的objective-c、swift或另一種合適的語言編程的應用，或者以在android^tm上運行的java編程的應用)、移動web應用(例如，以超文本標記語言5(html5)編寫的應用)或混合應用(例如，啟動html5會話的本機shell應用)。例如，移動設(shè)備1500包括消息傳送應用、音頻記錄應用、照相機應用、書籍閱讀器應用、媒體應用、健身應用、文件管理應用、定位應用、瀏覽器應用、設(shè)置應用、聯(lián)系人應用、電話呼叫應用或其它應用(例如，游戲應用、社交網(wǎng)絡(luò)應用、生物測量監(jiān)視應用)。在另一個實例中，移動設(shè)備1500包括諸如之類的社交消息傳送應用1508，其與某些實施例一致，允許用戶交換包括媒體內(nèi)容的短暫消息。在本實例中，社交消息傳送應用1508可以結(jié)合在此描述的實施例的各方面。

軟件架構(gòu)

圖16是示出可以安裝在上述任何設(shè)備上的軟件1602的架構(gòu)的框圖1600。圖16僅是軟件架構(gòu)的一個非限制性實例，并且將認識到，可以實現(xiàn)許多其它架構(gòu)以便促進在此描述的功能。在各種實施例中，軟件1602由諸如圖17的機器1700之類的硬件實現(xiàn)，機器1700包括處理器1710、存儲器1730和i/o組件1750。在該實例架構(gòu)中，軟件1602可以被概念化為層的堆疊，其中每層可以提供特定功能。例如，軟件1602包括諸如操作系統(tǒng)1604、庫1606、框架1608和應用1610之類的層。在操作上，與某些實施例一致，應用1610通過軟件堆棧調(diào)用應用編程接口(api)調(diào)用1612，并且響應于api調(diào)用1612而接收消息1614。

在各種實現(xiàn)中，操作系統(tǒng)1604管理硬件資源并且提供公共服務。操作系統(tǒng)1604例如包括內(nèi)核1620、服務1622和驅(qū)動程序1624。與某些實施例一致，內(nèi)核1620充當硬件與其它軟件層之間的抽象層。例如，內(nèi)核1620提供存儲器管理、處理器管理(例如，調(diào)度)、組件管理、網(wǎng)絡(luò)和安全設(shè)置等功能。服務1622可以針對其它軟件層提供其它公共服務。根據(jù)某些實施例，驅(qū)動程序1624負責控制底層硬件或者與底層硬件對接。例如，驅(qū)動程序1624可以包括顯示驅(qū)動程序、照相機驅(qū)動程序、驅(qū)動程序、閃存驅(qū)動程序、串行通信驅(qū)動程序(例如，通用串行總線(usb)驅(qū)動程序)、驅(qū)動程序、音頻驅(qū)動程序、電源管理驅(qū)動程序等。

在某些實施例中，庫1606提供由應用1610使用的低級公共基礎(chǔ)架構(gòu)。庫1606可以包括系統(tǒng)庫1630(例如，c標準庫)，其可以提供諸如存儲器分配功能、字符串操縱功能、數(shù)學功能之類的功能。此外，庫1606可以包括api庫1632，例如媒體庫(例如，支持呈現(xiàn)和操縱各種媒體格式的庫，這些媒體格式例如包括運動圖像專家組4(mpeg4)、高級視頻編碼(h.264或avc)、運動圖像專家組第3層(mp3)、高級音頻編碼(aac)、自適應多速率(amr)音頻編解碼器、聯(lián)合圖像專家組(jpeg或jpg)或便攜式網(wǎng)絡(luò)圖形(png))、圖形庫(例如，用于在顯示器上的圖形內(nèi)容中以二維(2d)和三維(3d)呈現(xiàn)的opengl框架)、數(shù)據(jù)庫庫(例如，提供各種關(guān)系數(shù)據(jù)庫函數(shù)的sqlite)、web庫(例如，提供web瀏覽功能的webkit)等。庫1606還可以包括各種其它庫1634以便向應用1610提供許多其它api。

根據(jù)某些實施例，框架1608提供可以由應用1610使用的高級公共基礎(chǔ)架構(gòu)。例如，框架1608提供各種圖形用戶界面(gui)功能、高級資源管理、高級定位服務等?？蚣?608可以提供廣泛的可以由應用1610使用的其它api，其中某些api可以特定于特定的操作系統(tǒng)或平臺。

在一個實例實施例中，應用1610包括家庭應用1650、聯(lián)系人應用1652、瀏覽器應用1654、書籍閱讀器應用1656、定位應用1658、媒體應用1660、消息傳送應用1662、游戲應用1664以及各種其它應用，例如第三方應用1666。根據(jù)某些實施例，應用1610是執(zhí)行程序中定義的功能的程序。可以采用各種編程語言創(chuàng)建以各種方式構(gòu)造的應用1610，例如面向?qū)ο蟮木幊陶Z言(例如，objective-c、java或c++)或過程式編程語言(例如，c或匯編語言)。在一個特定實例中，第三方應用1666(例如，由特定平臺的供應商之外的實體使用android^tm或ios^tm軟件開發(fā)工具包(sdk)開發(fā)的應用)可以是在移動操作系統(tǒng)上運行的移動軟件，該移動操作系統(tǒng)例如包括ios^tm、android^tm、phone或其它移動操作系統(tǒng)。在本實例中，第三方應用1666可以調(diào)用由操作系統(tǒng)1604提供的api調(diào)用1612以便促進在此描述的功能。

實例機器架構(gòu)和機器可讀介質(zhì)

圖17是示出根據(jù)某些實施例的機器1700的組件的框圖，機器1700能夠從機器可讀介質(zhì)(例如，機器可讀存儲介質(zhì))讀取指令并且執(zhí)行在此討論的任何方法。具體地說，圖17示出計算機系統(tǒng)的實例形式的機器1700的圖形表示，其中可以執(zhí)行用于導致機器1700執(zhí)行在此討論的任何方法的指令1716(例如，軟件、程序、應用、小程序、應用或其它可執(zhí)行代碼)。在備選實施例中，機器1700作為獨立設(shè)備操作或者可以耦合(例如，聯(lián)網(wǎng))到其它機器。在聯(lián)網(wǎng)部署中，機器1700可以在服務器-客戶機網(wǎng)絡(luò)環(huán)境中的服務器機器或客戶機機器的容量中操作，或者在對等(或分布式)網(wǎng)絡(luò)環(huán)境中作為對等機器操作。機器1700可以包括但不限于服務器計算機、客戶機計算機、個人計算機(pc)、平板計算機、膝上型計算機、上網(wǎng)本、機頂盒(stb)、個人數(shù)字助理(pda)、娛樂媒體系統(tǒng)、蜂窩電話、智能電話、移動設(shè)備、可佩帶式設(shè)備(例如，智能手表)、智能家用設(shè)備(例如，智能家電)、其它智能設(shè)備、web設(shè)備、網(wǎng)絡(luò)路由器、網(wǎng)絡(luò)交換機、網(wǎng)絡(luò)橋接器，或者能夠按順序或以其它方式執(zhí)行指令1716(其指定機器1700要采取的動作)的任何機器。此外，盡管僅示出單個機器1700，但還應理解，術(shù)語“機器”包括單獨或共同執(zhí)行指令1716以便執(zhí)行在此討論的任何方法的機器1700的集合。

在各種實施例中，機器1700包括處理器1710、存儲器1730和i/o組件1750，它們可以被配置為經(jīng)由總線1702彼此通信。在一個實例實施例中，處理器1710(例如，中央處理單元(cpu)、精簡指令集計算(risc)處理器、復雜指令集計算(cisc)處理器、圖形處理單元(gpu)、數(shù)字信號處理器(dsp)、專用集成電路(asic)、射頻集成電路(rfic)、另一個處理器或者它們的任何合適的組合)例如包括可以執(zhí)行指令1716的處理器1712和處理器1714。術(shù)語“處理器”旨在包括可以包含兩個或更多獨立處理器(也被稱為“核心”)的多核處理器，這些獨立處理器可以同時執(zhí)行指令。盡管圖17示出多個處理器，但機器1700可以包括具有單個核心的單個處理器、具有多個核心的單個處理器(例如，多核處理器)、具有單個核心的多個處理器、具有多個核心的多個處理器或它們的任何組合。

根據(jù)某些實施例，存儲器1730包括主存儲器1732、靜態(tài)存儲器1734和存儲單元1736，處理器1710可以經(jīng)由總線1702訪問它們。存儲單元1736可以包括機器可讀介質(zhì)1738，其上存儲體現(xiàn)在此描述的任何方法或功能的指令1716。在由機器1700執(zhí)行期間，指令1716還可以完全或至少部分地駐留在主存儲器1732內(nèi)、靜態(tài)存儲器1734內(nèi)、至少一個處理器1710內(nèi)(例如，在處理器的高速緩沖存儲器內(nèi))或它們的任何合適的組合。因此，在各種實施例中，主存儲器1732、靜態(tài)存儲器1734和處理器1710被認為是機器可讀介質(zhì)1738。

如在此使用的，術(shù)語“存儲器”指能夠臨時或永久存儲數(shù)據(jù)的機器可讀介質(zhì)1738，并且可以被認為包括但不限于隨機存取存儲器(ram)、只讀存儲器(rom)、緩沖存儲器、閃存和高速緩沖存儲器。盡管機器可讀介質(zhì)1738在一個實例實施例中被示為單個介質(zhì)，但術(shù)語“機器可讀介質(zhì)”應被認為包括能夠存儲指令1716的單個介質(zhì)或多個介質(zhì)(例如，集中式或分布式數(shù)據(jù)庫，或者關(guān)聯(lián)的高速緩存和服務器)。術(shù)語“機器可讀介質(zhì)”還應被認為包括任何介質(zhì)或多個介質(zhì)的組合，其能夠存儲指令(例如，指令1716)以便由機器(例如，機器1700)執(zhí)行，以使得當由機器1700的處理器(例如，處理器1710)執(zhí)行時，所述指令導致機器1700執(zhí)行在此描述的任何方法。因此，“機器可讀介質(zhì)”指單個存儲裝置或設(shè)備，以及包括多個存儲裝置或設(shè)備的“基于云的”存儲系統(tǒng)或存儲網(wǎng)絡(luò)。術(shù)語“機器可讀介質(zhì)”因此應被認為包括但不限于以下形式的數(shù)據(jù)儲存庫：固態(tài)存儲器(例如，閃存)、光介質(zhì)、磁介質(zhì)、其它非易失性存儲器(例如，可擦式可編程只讀存儲器(eprom))或它們的任何合適的組合。術(shù)語“機器可讀介質(zhì)”明確排除非法定信號本身。

i/o組件1750包括用于接收輸入、提供輸出、產(chǎn)生輸出、傳輸信息、交換信息、捕獲測量等的各種組件。一般而言，將認識到，i/o組件1750可以包括圖17中未示出的許多其它組件。i/o組件1750根據(jù)功能被分組，僅用于簡化以下討論，并且分組決不是限制性的。在各種實例實施例中，i/o組件1750包括輸出組件1752和輸入組件1754。輸出組件1752包括視覺組件(例如，顯示器，例如等離子顯示板(pdp)、發(fā)光二極管(led)顯示器、液晶顯示器(lcd)、投影儀或陰極射線管(crt))、聽覺組件(例如，揚聲器)、觸覺組件(例如，振動電動機)、其它信號發(fā)生器等。輸入組件1754包括字母數(shù)字輸入組件(例如，鍵盤、被配置為接收字母數(shù)字輸入的觸摸屏、光電鍵盤或其它字母數(shù)字輸入組件)、基于點的輸入組件(例如，鼠標、觸摸板、軌跡球、操縱桿、運動傳感器或其它指點工具)、觸覺輸入組件(例如，物理按鈕、提供觸摸或觸摸手勢的位置和力度的觸摸屏、或其它觸覺輸入組件)、音頻輸入組件(例如，麥克風)等。

在某些進一步實例實施例中，i/o組件1750包括各種其它組件中的生物測量組件1756、運動組件1758、環(huán)境組件1760或定位組件1762。例如，生物測量組件1756包括用于以下操作的組件：檢測表情(例如，手部表情、面部表情、聲音表情、身體姿勢或眼睛跟蹤)、測量生物信號(例如，血壓、心率、體溫、汗液或腦波)、標識個人(例如，語音標識、視網(wǎng)膜標識、面部標識、指紋標識或基于腦電圖的標識)等。運動組件1758包括加速度傳感器組件(例如，加速度計)、重力傳感器部件、旋轉(zhuǎn)傳感器組件(例如，陀螺儀)等。環(huán)境組件1760例如包括照明傳感器組件(例如，光度計)、溫度傳感器組件(例如，檢測環(huán)境溫度的溫度計)、濕度傳感器組件、壓力傳感器組件(例如，氣壓計)、聲學傳感器組件(例如，檢測背景噪聲的麥克風)、接近度傳感器組件(例如，檢測附近物體的紅外線傳感器)、氣體傳感器組件(例如，機器嗅覺檢測傳感器、氣體檢測傳感器，其用于檢測危險氣體的安全濃度或者測量大氣中的污染物)，或者可以提供對應于周圍物理環(huán)境的指示、測量或信號的其它組件。定位組件1762包括定位傳感器組件(例如，全球定位系統(tǒng)(gps)接收器組件)、高度傳感器組件(例如，高度計或氣壓計，其檢測可以從中獲得高度的空氣壓力)、方向傳感器組件(例如，磁強計)等。

可以使用各種技術(shù)實現(xiàn)通信。i/o組件1750可以包括通信組件1764，其可操作以便分別經(jīng)由耦合1782和耦合1772將機器1700耦合到網(wǎng)絡(luò)1780或設(shè)備1770。例如，通信組件1764包括用于與網(wǎng)絡(luò)1780對接的網(wǎng)絡(luò)接口組件或另一個合適的設(shè)備。在進一步實例中，通信組件1764包括有線通信組件、無線通信組件、蜂窩通信組件、近場通信(nfc)組件、組件(例如，低功耗)、組件以及用于經(jīng)由其它形式提供通信的其它通信組件。設(shè)備1770可以是另一個機器或各種外圍設(shè)備(例如，經(jīng)由通用串行總線(usb)耦合的外圍設(shè)備)的任何一種。

此外，在某些實施例中，通信組件1764檢測標識符或者包括可操作以便檢測標識符的組件。例如，通信組件1764包括射頻識別(rfid)標簽讀取器組件、nfc智能標簽檢測組件、光讀取器組件(例如，光傳感器，其用于檢測諸如通用產(chǎn)品代碼(upc)條形碼之類的一維條形碼、諸如快速響應(qr)代碼、阿茲特克代碼、數(shù)據(jù)矩陣、dataglyph、maxicode、pdf417、超碼、統(tǒng)一商業(yè)代碼縮小空間符號(uccrss)2d條形碼之類的多維條形碼、以及其它光代碼)、聲學檢測組件(例如，用于標識標記音頻信號的麥克風)或它們的任何合適的組合。此外，可以經(jīng)由通信組件1764獲得各種信息，例如經(jīng)由網(wǎng)際協(xié)議(ip)地理位置獲得的位置、經(jīng)由信號三角測量獲得的位置、經(jīng)由檢測可以指示特定位置的或nfc信標信號獲得的位置等。

傳輸介質(zhì)

在各種實例實施例中，網(wǎng)絡(luò)1780的各部分可以是自組織網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)、虛擬專用網(wǎng)絡(luò)(vpn)、局域網(wǎng)(lan)、無線lan(wlan)、廣域網(wǎng)(wan)、無線wan(wwan)、城域網(wǎng)(man)、因特網(wǎng)、因特網(wǎng)的一部分、公共交換電話網(wǎng)絡(luò)(pstn)的一部分、普通老式電話服務(pots)網(wǎng)絡(luò)、蜂窩電話網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、網(wǎng)絡(luò)、另一種類型的網(wǎng)絡(luò)，或者兩個或更多這種網(wǎng)絡(luò)的組合。例如，網(wǎng)絡(luò)1780或網(wǎng)絡(luò)1780的一部分可以包括無線或蜂窩網(wǎng)絡(luò)，并且耦合1782可以是碼分多址(cdma)連接、全球移動通信系統(tǒng)(gsm)連接或者另一種類型的蜂窩或無線耦合。在該實例中，耦合1782可以實現(xiàn)各種類型的數(shù)據(jù)傳輸技術(shù)的任何一種，例如單載波無線電傳輸技術(shù)(1xrtt)、演進數(shù)據(jù)優(yōu)化(evdo)技術(shù)、通用分組無線業(yè)務(gprs)技術(shù)、增強型數(shù)據(jù)速率gsm演進(edge)技術(shù)、第三代合作計劃(3gpp)(包括3g)、第四代無線(4g)網(wǎng)絡(luò)、通用移動電信系統(tǒng)(umts)、高速分組接入(hspa)、微波存取全球互通(wimax)、長期演進(lte)標準、由各種標準制定組織定義的其它技術(shù)、其它遠程協(xié)議或其它數(shù)據(jù)傳輸技術(shù)。

在實例實施例中，經(jīng)由網(wǎng)絡(luò)接口設(shè)備(例如，包括在通信組件1764中的網(wǎng)絡(luò)接口組件)使用傳輸介質(zhì)，并且使用多種公知的傳輸協(xié)議(例如，超文本傳輸協(xié)議(http))的任何一種，通過網(wǎng)絡(luò)1780發(fā)送或接收指令1716。同樣，在其它實例實施例中，經(jīng)由耦合1772(例如，對等耦合)使用傳輸介質(zhì)向設(shè)備1770發(fā)送或接收指令1716。術(shù)語“傳輸介質(zhì)”應該被認為包括能夠?qū)χ噶?716進行存儲、編碼或承載以便由機器1700執(zhí)行的任何無形介質(zhì)，并且包括數(shù)字或模擬通信信號或其它無形介質(zhì)以便促進這種軟件的通信。

此外，機器可讀介質(zhì)1738是非瞬時性的(換言之，沒有任何瞬時信號)，因為它不包含傳播信號。但是，將機器可讀介質(zhì)1738標記為“非瞬時性”不應被解釋為意味著介質(zhì)不能移動；介質(zhì)應該被認為可從一個物理位置傳輸?shù)搅硪粋€物理位置。此外，因為機器可讀介質(zhì)1738是有形的，所以介質(zhì)可以被認為是機器可讀設(shè)備。

語言

在本說明書中，多個實例可以實現(xiàn)被描述為單個實例的組件、操作或結(jié)構(gòu)。盡管方法的各個操作被示出和描述為單獨操作，但可以并行地執(zhí)行各個操作，并且不需要以示出的順序執(zhí)行操作。作為實例配置中的單獨組件呈現(xiàn)的結(jié)構(gòu)和功能可以被實現(xiàn)為組合結(jié)構(gòu)或組件。同樣，作為單個組件呈現(xiàn)的結(jié)構(gòu)和功能可以被實現(xiàn)為單獨組件。這些和其它變化、修改、添加和改進落入本文的主題的范圍內(nèi)。

盡管已參考特定的實例實施例描述了本發(fā)明主題的概述，但可以在不偏離本公開的實施例的更廣泛范圍的情況下，對這些實施例進行各種修改和改變。本發(fā)明主題的此類實施例在此可以單獨或統(tǒng)稱為術(shù)語“發(fā)明”，這僅為了方便起見并且并非旨在自愿將本申請的范圍限于任何單個公開或發(fā)明概念(如果實際上披露多個公開或發(fā)明概念)。

足夠詳細地描述了在此示出的實施例，以便使本領(lǐng)域的技術(shù)人員能夠?qū)嵤┕_的教導?？梢詮闹惺褂煤瞳@得其它實施例，以使得可以在不偏離本公開的范圍的情況下進行結(jié)構(gòu)和邏輯替換和改變。因此，具體實施方式不應被認為是限制性的，并且各種實施例的范圍僅由所附權(quán)利要求以及此類權(quán)利要求所賦予的等同物的完整范圍來限定。

如在此使用的，術(shù)語“或”可以以包含或排他的方式來解釋。此外，可以針對在此描述的資源、操作或結(jié)構(gòu)提供多個實例作為單個實例。此外，各種資源、操作、模塊、引擎和數(shù)據(jù)存儲之間的邊界在某種程度上是任意的，并且特定操作在具體示例性配置的上下文中示出?？梢栽O(shè)想功能的其它分配，并且這些分配可以落入本公開的各種實施例的范圍內(nèi)。一般而言，作為實例配置中的單獨資源呈現(xiàn)的結(jié)構(gòu)和功能可以被實現(xiàn)為組合結(jié)構(gòu)或資源。同樣，作為單個資源呈現(xiàn)的結(jié)構(gòu)和功能可以被實現(xiàn)為單獨資源。這些和其它變化、修改、添加和改進落入如由所附權(quán)利要求表示的本公開的實施例的范圍內(nèi)。說明書和附圖因此被認為是示例性的而不是限制性的。