利用一群數(shù)據(jù)獲取裝置進(jìn)行信息處理的制作方法
【專利摘要】提供了用于處理來自多個裝置的信息的分布式系統(tǒng)、控制器和方法。一種分布式系統(tǒng)包括分布于環(huán)境中的多個裝置。每個裝置至少具有與其它所述裝置和/或與通信系統(tǒng)交換信息的通信能力。至少一些所述裝置的每一個均具有一個或多個傳感器，用于獲取與所述裝置附近環(huán)境相關(guān)的傳感器數(shù)據(jù)。所述通信系統(tǒng)或者一個或多個所述裝置至少之一被配置為控制器，該控制器被配置為：從所述多個裝置中選擇裝置子集，基于所獲取的所選擇子集的傳感器數(shù)據(jù)來接收信息，并且組合從所選擇子集接收的信息以確定在一個或多個所述裝置附近的環(huán)境特性。
【專利說明】利用一群數(shù)據(jù)獲取裝置進(jìn)行信息處理
[0001]相關(guān)申請的交叉參考
[0002]本申請涉及并且要求2011年I月11日提交的名稱為“利用一群數(shù)據(jù)獲取裝置進(jìn)行信息處理”的美國臨時申請N0.61/431,507的權(quán)益，并且要求2010年12月30日提交的名稱為“利用一群數(shù)據(jù)獲取裝置進(jìn)行信息處理”的美國臨時申請N0.61/428，369的權(quán)益，其內(nèi)容通過援引合并于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及由一群數(shù)據(jù)獲取裝置進(jìn)行的信息處理，并且在一些示例中，涉及從適應(yīng)性選擇的一群個人無線裝置獲取的音頻或多媒體數(shù)據(jù)的處理。
【背景技術(shù)】
[0004]能夠獲取、并且在一些情況下能夠本地處理來自其本地環(huán)境的音頻或多媒體信息的裝置在過去數(shù)年間已變得無所不在，而且?guī)缀鯖]有理由預(yù)期這樣的趨勢不會繼續(xù)。例如，“智能”移動電話(例如，蘋果iPhoneK、基于安卓"操作系統(tǒng)的電話)具有強(qiáng)大的本地處理能力以及音頻和視頻獲取裝置。

【發(fā)明內(nèi)容】

[0005]在本發(fā)明的一個方案中，一般地，一組裝置的聲音和多媒體獲取能力可被用來累積獲取的內(nèi)容并融合該內(nèi)容中的信息，例如用于聲音場景分析。在一些不例實(shí)施例中，來自一大群中的多個裝置可以根據(jù)在裝置處檢測的觸發(fā)事項(xiàng)或通過網(wǎng)絡(luò)適應(yīng)性地選擇和/或配置。從一個或多個裝置感測和獲取的信息可以針對音頻場景而被處理，針對消費(fèi)者而被客制化和個性化，以便基于諸如用戶需求的模型和用戶過去的信息消費(fèi)行為之類的因素，來減弱、放大或傳送聲音和其他信息到用戶。因此，本發(fā)明的示例系統(tǒng)可以傳達(dá)(mediate)環(huán)境信息和明確提供的信息，特別是聲音信息，并且可以用作用戶信息的判別器。一些系統(tǒng)動作可以基于來自一個裝置的信息而定，而其它動作可以基于來自多個裝置的信息而定。過濾到用戶的信息可被用來基于共有的興趣和共同信息而形成虛擬社團(tuán)，并且用來確保包括警告、市場信息和新聞的相關(guān)信息抵達(dá)這些社團(tuán)。
[0006]根據(jù)本發(fā)明的另一方案，一般地，分布式系統(tǒng)可以包括多個分布式裝置，通信系統(tǒng)或者一個或多個分布式裝置中的至少之一被配置為控制器。每個裝置至少具有與其它所述裝置和/或與通信系統(tǒng)交換信息的通信能力。至少一個所述裝置可包括一個或多個傳感器，用于獲取與所述裝置的環(huán)境相關(guān)的傳感器數(shù)據(jù)。該控制器被配置為執(zhí)行如下功能，包括:確定至少一些所述裝置的位置，從多個裝置中選擇裝置，并且基于在所選裝置處獲取的傳感器數(shù)據(jù)來接收信息，以及組合從所多個所選裝置接收的信息以確定一個或多個所述裝置的一個或多個環(huán)境特性。
[0007]在本發(fā)明的其他方案中，分布式系統(tǒng)可以包括多個裝置，其傳達(dá)在裝置處感測的所有聲音信息，以減弱、放大或傳送信息。在一些示例中，此類信息被選擇性地記錄和分析，以便確定與趨勢相關(guān)的信息。
[0008]本發(fā)明的其他特征和優(yōu)點(diǎn)通過以下說明并通過權(quán)利要求而變得明顯。
【專利附圖】

【附圖說明】
[0009]結(jié)合附圖閱讀時，可通過以下詳細(xì)說明理解本發(fā)明。根據(jù)通常實(shí)踐，強(qiáng)調(diào)的是圖中的各個特征可以不是按比例繪制的。相反，為清楚起見，各個特征的尺寸可被任意擴(kuò)大或縮小。而且，在附圖中，共同的附圖標(biāo)記用來表示相似的特征。附圖中包含的是下列各圖:
[0010]圖1是根據(jù)本發(fā)明示例實(shí)施例的信息處理系統(tǒng)的功能框圖；
[0011]圖2A是根據(jù)本發(fā)明示例實(shí)施例的圖1中所示系統(tǒng)的分布式裝置的功能框圖；
[0012]圖2B是根據(jù)本發(fā)明示例實(shí)施例的圖1中所示系統(tǒng)的控制器的功能框圖；以及
[0013]圖3是根據(jù)本發(fā)明示例實(shí)施例的用于處理來自多個分布式裝置的信息的示例方法的流程圖。
【具體實(shí)施方式】
[0014]I系統(tǒng)概沭
[0015]個人無線裝置以及其它類型的計算或通信裝置在我們的環(huán)境中已經(jīng)變得無所不在。通常，此類裝置具有多個傳感器，其例如可以包括麥克風(fēng)、攝像頭、加速度計，并且在一些情況下甚至可以具有用于生物計量信息(例如心率)的傳感器。此類裝置通常還包括一個或多個通信系統(tǒng)，例如，移動電話無線電系統(tǒng)(例如，碼分多址復(fù)用(CDMA)或全球移動通信系統(tǒng)(GSM))，無線局域網(wǎng)絡(luò)系統(tǒng)(例如，W1-Fi, IEEE802.11 )，有線計算機(jī)網(wǎng)絡(luò)連接(例如，經(jīng)由USB底座、可能經(jīng)由桌面計算機(jī)應(yīng)用的數(shù)據(jù)網(wǎng)絡(luò)連接)，以及在一些情況下，基于射頻(例如，藍(lán)牙?)或光(例如，紅外線)傳輸?shù)钠渌到y(tǒng)。最后，此類裝置通常是由它們操作于其中的基礎(chǔ)結(jié)構(gòu)“定位知曉”和/或可定位的。例如，此類裝置可以具有全球定位系統(tǒng)(GPS)接收器、增強(qiáng)型GPS (其與移動電話基礎(chǔ)結(jié)構(gòu)結(jié)合操作)、和/或基于W1-Fi的地圖(其使用W1-Fi接入點(diǎn)的地圖以定位裝置)。移動基礎(chǔ)結(jié)構(gòu)例如可以能夠基于移動信號強(qiáng)度和/或三角測量法來定位裝置。
[0016]在本發(fā)明的一些方案中，這些裝置的特性的組合提供了潛在豐富的信息源，其可以根據(jù)產(chǎn)生有價值的信息的方式進(jìn)行組合，該有價值的信息對于任意單獨(dú)的裝置而言不一定能得到。作為說明性示例，可將在許多不同裝置處的本地處理的音頻加以組合，以便基于說出的關(guān)鍵字或在裝置處檢測到的其他音頻事項(xiàng)(例如，咳嗽)來識別地理或社團(tuán)趨勢。
[0017]對咳嗽的檢測是對非講話音頻事項(xiàng)的檢測可能有用的一個示例。因?yàn)榭人越?jīng)常是突然的而且經(jīng)常是反復(fù)發(fā)生的本能反應(yīng)，所以頻繁的咳嗽可指示疾病的存在(例如，許多病毒和細(xì)菌通過使宿主咳嗽(這有助于將疾病傳播到新的宿主)而在進(jìn)化上受益)。大多時候，咳嗽是由呼吸道感染引起的，但也可由窒息、吸煙、空氣污染、哮喘、胃食道返流性疾病、后鼻滴涕(post-nasal drip)、慢性支氣管炎、肺腫瘤、心力衰竭以及由諸如血管收縮轉(zhuǎn)化酶抑制劑(ACE inhibitor)等藥物觸發(fā)。在裝置附近對這些事項(xiàng)的檢測可以提供重要的信肩、O
[0018]在本發(fā)明的其他方案中，裝置豐富的傳感器能力可以提供追蹤裝置用戶(例如，擁有者)活動的一種方式，以便用各種計算應(yīng)用(諸如搜索或個性化)來提升用戶體驗(yàn)。作為說明性示例，裝置附近談話的話題可以影響搜索結(jié)果的評級或裝置上新故事呈現(xiàn)的次序。
[0019]在本發(fā)明的一些方案中，可以將許多裝置上豐富的信息源和對個人活動的追蹤進(jìn)行組合，以便從它們的協(xié)同作用中受益。
[0020]參照圖1，示出示例信息處理系統(tǒng)(一般標(biāo)示為系統(tǒng)100)的功能框圖。系統(tǒng)100可以包括處于環(huán)境中的一個或多個分布式裝置120 (這里也稱為裝置120)和裝置120’(也稱為控制器120’)。一個或多個裝置120和裝置120’可被配置為獲取關(guān)于音頻場景130的信息。除了裝置120’可被配置為用作控制器以用于從多個裝置120中選擇性地獲取傳感器信息且用于確定音頻場景130的特性之外，裝置120’可以與裝置120相同。雖然一個裝置120’被示出作為控制器，但是應(yīng)理解，多個裝置120’可以作為多個控制器。
[0021]雖然裝置120’被示出為控制器以用于收集傳感器信息及確定音頻場景130的特性，但是應(yīng)理解，通信系統(tǒng)150和/或服務(wù)器140也可被配置為用作控制器。通信系統(tǒng)150或服務(wù)器140可以收集來自裝置120、120’的傳感器信息、來自裝置120、120’的本地數(shù)據(jù)分析信息、或來自裝置120’的場景分析信息至少之一。
[0022]裝置120和裝置120’可以是相互之間能夠經(jīng)由通信線路154直接通信。裝置120和裝置120’還可以是能夠經(jīng)由通信線路152與通信系統(tǒng)150通信。裝置120和裝置120’還可以經(jīng)由通信系統(tǒng)150和通信線路152與中央服務(wù)器140通信。裝置120、120’可以包括有線或無線裝置。如下面進(jìn)一步所述，裝置120、120’可以處于固定位置或者可以是移動
裝直。
[0023]在一個示例實(shí)施例中，環(huán)境中存在多個裝置120。在一些示例中，裝置120 (和裝置120’)是移動電話(例如，“智能電話”)。由音頻場景130表示的環(huán)境例如可以是城市環(huán)境，裝置120、120’存在于城市街道上、辦公樓中、或用戶的家中。通常，裝置120、120’可以是(裝置的)用戶/擁有者私人的，并且可以是用戶整天攜帶的移動裝置。
[0024]在圖1中，示出了少數(shù)代表性裝置120、120’。如下面進(jìn)一步所述，潛在使能的裝置120、120’可以是一大群裝置(例如，大城市區(qū)域中的大部分電話)中的一部分，并且系統(tǒng)100可以適應(yīng)性地使能特定子集的裝置120和/或選擇性地配置使能的裝置120。例如，裝置120’(或服務(wù)器140)可以根據(jù)在一個或多個裝置120、120’處檢測到的觸發(fā)事項(xiàng)(triggering event)來使能和/或配置裝置120。
[0025]應(yīng)當(dāng)理解，以下說明關(guān)注于智能電話作為示例，而其他類型的固定或移動裝置可以結(jié)合或替代智能電話使用。此外，以下說明關(guān)注于音頻信息的累積或組合作為示例，但也可結(jié)合或替代下述音頻數(shù)據(jù)示例而進(jìn)行其他形式信息(包括視頻和生物計量信息)的累積和處理。
[0026]如上述介紹的，任何特定裝置120、120’能夠感測其環(huán)境中總體音頻“場景”的某些方面。這樣的場景例如可以包括:即使沒有打電話時裝置擁有者自己的講話、擁有者發(fā)出的其他音頻(如咳嗽)、用戶附近其他人的講話、以及用戶附近的環(huán)境音頻(如汽笛聲、槍聲等)。
[0027]通常，系統(tǒng)100利用一個或多個裝置120、120’的音頻獲取能力，以便通過一個或多個裝置120、120’來提取關(guān)于音頻場景130的景觀的信息。在獲取原始內(nèi)容的一個示例性方法中，每個裝置120可以將其獲取的信號經(jīng)通信系統(tǒng)150連續(xù)傳輸至中央服務(wù)器140(經(jīng)由通信線路152)。例如，通信系統(tǒng)150可以包括移動電話系統(tǒng)和/或無線數(shù)據(jù)網(wǎng)絡(luò)。然而，考慮到域內(nèi)部署(fielded)的大量裝置120、120’，這樣的連續(xù)傳輸鑒于其絕對容量(sheervolume)而可能是不可行的，并且可能引起裝置120、120’的環(huán)境中與人員隱私相關(guān)的其他問題。
[0028]對于每個裝置120、120’，提取信息的另一示例性方法是基于該裝置獲取的信號進(jìn)行本地信號分析。然而，此方法可能由于裝置120、120’的計算能力局限而具有局限性。另夕卜，純粹的本地處理可能喪失通過從多個裝置120、120’融合信息而可能獲取的優(yōu)勢。
[0029]下述示例性方法利用一個或多個下列特征的組合，解決了純粹本地或純粹集中式方法的一些局限性:
[0030]I)本地處理所獲取的信號(在裝置120上)，至少識別出可能關(guān)注的事項(xiàng)的發(fā)生；
[0031]2)本地緩沖音頻以選擇性傳輸至裝置120’或中央服務(wù)器140，例如，基于當(dāng)前現(xiàn)行的基礎(chǔ)(on an ongoing basis)或基于來自裝置120’或服務(wù)器140的請求,或基于對本地事項(xiàng)的本地識別(在一個或多個裝置120處)；以及
[0032]3)例如,基于它們的地理位置和/或其他接近性計量體系(proximity metrics)(例如，社會網(wǎng)絡(luò)，而不是地理距離計量體系)，選擇性使能在特定裝置120、120’處的獲取和/或處理(或處理類型的規(guī)格)。
[0033]注意，裝置120、120’的位置(例如，三維坐標(biāo))通常被裝置120、120’和/或中央服務(wù)器140所知。作為示例，定位系統(tǒng)180利用具有已知位置的單元(如GPS衛(wèi)星182、固定的移動通信發(fā)射塔、W1-Fi接入點(diǎn)等)來保持對裝置位置的估測。
[0034]參照圖2A，示出示例裝置120的功能框圖。裝置120可以包括一個或多個傳感器模塊202、本地數(shù)據(jù)分析模塊204、通信模塊206、控制器208、媒介/狀態(tài)存儲器210、位置模塊212、用戶界面214、顯示器216、警告指示器218、揚(yáng)聲器220和隱私模塊(privacy module)236。
[0035]典型的裝置120包括通信模塊206，其提供經(jīng)通信系統(tǒng)150至服務(wù)器140的通信線路152和/或至其他裝置120、120’的通信線路154。通信模塊206還可以起到獲取定位信號(例如，GPS信號，W1-Fi信號強(qiáng)度等)的作用，并且還可以提供直接與其他裝置120通信的方式。
[0036]裝置120可以包括用于獲取傳感器信息的傳感器模塊202。傳感器模塊202可以包括一個或多個麥克風(fēng)222，用于收集關(guān)于音頻場景130的音頻信息(圖1)。傳感器模塊202還可以包括一個或多個環(huán)境傳感器(例如溫度傳感器，諸如加速度計之類的運(yùn)動傳感器)，用于收集與裝置120相關(guān)的環(huán)境信息。傳感器模塊202還可以包括一個或多個生物計量傳感器226 (諸如心率)，用于感測關(guān)于裝置120用戶的生物計量信息。傳感器模塊202還可以包括攝像頭(camera) 228 (即，圖像傳感器)，用于拍攝裝置120周圍環(huán)境的靜止圖像和/或視頻。傳感器模塊202還可以包括羅盤，用于提供位置信息。一般而言，傳感器模塊202可以包括能夠測量物理量并將其轉(zhuǎn)換為可被系統(tǒng)100使用的信號的任何傳感器。例如，傳感器模塊202中的傳感器還可以不受限制地包括一個或多個光探測傳感器、接近性傳感器、重力探測傳感器、磁場探測傳感器、電場探測傳感器、振動傳感器、壓力傳感器、濕度(humidity)傳感器、水分(moisture)傳感器、毒素探測傳感器、營養(yǎng)物探測傳感器、或外激素(pheromone)探測傳感器。
[0037]用戶界面214可以包括能夠?yàn)橐粋€或多個傳感器模塊202、本地數(shù)據(jù)分析模塊204、通信模塊206、媒介/狀態(tài)存儲器210、位置模塊212、顯示器216、警告指示器218、揚(yáng)聲器220和隱私模塊236提供參數(shù)的任何適當(dāng)?shù)挠脩艚缑妗Ｓ脩艚缑?14例如可以包括定點(diǎn)(pointing)裝置、鍵盤和/或顯示裝置。
[0038]裝置120可以包括顯示器216、警告指示器218和/或揚(yáng)聲器220，用于向裝置120的用戶呈現(xiàn)信息。顯示器216可以包括能夠在裝置120上呈現(xiàn)信息的任何適當(dāng)?shù)娘@示裝置。警告指示器218可以包括用于在裝置120上呈現(xiàn)警告的任何適當(dāng)?shù)囊曈X指示器。警告例如可以包括音頻信息正被錄制的指示。應(yīng)理解，揚(yáng)聲器220還可以聽覺方式呈現(xiàn)警告指示。雖然用戶界面214和顯示器216被示出為單獨(dú)的裝置，但是應(yīng)理解，用戶界面214和顯示器216的功能也可被組合到一個裝置中。根據(jù)示例實(shí)施例，裝置120可以接收音頻和/或其它信息(經(jīng)由顯示器216、警告指示器218和/或揚(yáng)聲器220)，該音頻和/或其它信息是基于從一個或多個裝置120獲取的信息已經(jīng)從裝置120’(圖1)減弱(mitigate)、放大和/或傳送到裝置120的。
[0039]裝置120可以包括位置模塊212，用以保持對裝置120的位置估測。例如，位置模塊212可以使用定位系統(tǒng)180 (圖1)來得到位置估測。
[0040]媒介/狀態(tài)存儲器210可以存儲原始傳感器信息(來自傳感器模塊202)、本地分析的信息(來自本地數(shù)據(jù)分析模塊204)或位置信息(來自位置模塊212)至少之一。媒介/狀態(tài)存儲器210例如可以包括磁盤、光盤、閃速存儲器或硬盤驅(qū)動器。
[0041]控制器208例如可以經(jīng)由數(shù)據(jù)和控制總線(未示出)耦接至一個或多個傳感器模塊202、本地數(shù)據(jù)分析模塊204、通信模塊206、媒介/狀態(tài)存儲器210、位置模塊212、用戶界面214、顯示器216、警告指示器218、揚(yáng)聲器220和隱私模塊236?？刂破?08可以被配置為控制傳感器信息的獲取、傳感器信息的本地分析、傳感器信息的發(fā)送和/或接收、本地分析信息的發(fā)送和/或接收、以及通過裝置120 (例如經(jīng)由顯示器216、警告指示器218和/或揚(yáng)聲器220)的任何信息呈現(xiàn)。控制器208例如可以包括邏輯電路、數(shù)字信號處理器或微處理器。應(yīng)理解，本地數(shù)據(jù)分析模塊204的一個或多個功能可以通過控制器208來執(zhí)行。
[0042]本地數(shù)據(jù)分析模塊204可被配置為分析由傳感器模塊202為裝置120所本地收集的信息。本地數(shù)據(jù)分析模塊204可以包括音頻分析模塊230，用于分析音頻信息(例如來自一個或多個麥克風(fēng)222)。音頻信息可以包括講話、音樂以及環(huán)境音頻(例如接近的火車)。講話可以是由裝置120的用戶、以及由裝置120附近的其它人產(chǎn)生的。本地數(shù)據(jù)分析模塊204可以在本地進(jìn)行分析，也可以借助后端服務(wù)器架構(gòu)或類似機(jī)制進(jìn)行分析。
[0043]本地數(shù)據(jù)分析模塊204還可以包括其它傳感器分析模塊232，用于分析來自傳感器模塊202中其它傳感器的信息。例如，其它傳感器分析模塊232可以分析來自一個或多個環(huán)境傳感器224、生物計量傳感器226和/或攝像頭228的信息。本地數(shù)據(jù)分析模塊204可以將來自音頻分析模塊230 (例如關(guān)鍵字、目標(biāo)音頻)和其它傳感器分析模塊232的結(jié)果組合起來，以確定一個或多個特定事項(xiàng)的發(fā)生(和/或音頻場景130的特性)。
[0044]音頻分析模塊230和/或其它傳感器模塊232還可以例如對各傳感器信息進(jìn)行預(yù)處理，以便基本上去除或減小噪聲。模塊230、232還可以過濾噪聲減小的傳感器信息，以便識別可以指示特定事項(xiàng)發(fā)生的高值信號。
[0045]本地數(shù)據(jù)分析模塊230可以包括與音頻分析模塊和/或其它傳感器分析模塊相關(guān)的分類器(classifier)234。分類器234可被用來建立音頻信息、環(huán)境信息、生物計量信息和/或圖像信息的概要(profile)。
[0046]在示例實(shí)施例中，音頻分析模塊230可以預(yù)處理音頻信息，以便辨別出講話，對講話信息進(jìn)行關(guān)鍵字定位識別(spotting)，此外還建立裝置的測聽范圍內(nèi)各個講話者的語音模型。所述模型例如可以使用分類器234和機(jī)器學(xué)習(xí)法從講話信號中識別出性別、大概年齡段、民族和其他人口統(tǒng)計學(xué)特征。
[0047]此外，例如，可以有分類器234用來辨別由于酒精或類似物質(zhì)的影響造成的任何發(fā)音模糊，口音分類器用來檢測和識別屬于特定語言群體的口音模式，以及情緒分類器用來將講話者和講話分為高興的、悲傷的、緊張的、憤怒的或其它情緒狀態(tài)。因而，考慮到包括任何講話的任何音頻輸入，各個裝置120或系統(tǒng)100(圖1)作為整體可能能夠建立該輸入中每個講話參與者的音頻概要，其中該概要不僅包括定位識別的關(guān)鍵字，而且包括其他數(shù)據(jù)，例如關(guān)于每個講話者的包括性別、大概年齡、可能的民族等人口統(tǒng)計學(xué)數(shù)據(jù)，以及關(guān)于情緒狀態(tài)和/或講話者是否受到影響的分類器結(jié)果。
[0048]關(guān)鍵字與人口統(tǒng)計學(xué)數(shù)據(jù)的獲取可以幫助廣告商基于諸如性別、年齡和可支配收入的潛在水平等因素鎖定他們銷售的目標(biāo)，并且從注意他們廣告的用戶到實(shí)際購買的用戶之間追蹤他們的銷售環(huán)節(jié)。情緒指示器可以用來采取緩解或預(yù)防性的步驟以避免顧客不滿意。如發(fā)音模糊等其他信息可以用作在諸如事故情況下的證實(shí)信息，或者可以用來防止事故。
[0049]隱私模塊236可以包括:用來實(shí)現(xiàn)隱私和/或安全需求的機(jī)制；以及通過與多個載體(carrier)相關(guān)的一個或多個裝置對各種信息(包括音頻信息)的獲取和使用相關(guān)的應(yīng)用的策略。這些策略和機(jī)制可以控制:包括遠(yuǎn)程開啟和關(guān)閉感測(例如，監(jiān)聽)能力的裝置120 (和裝置120’(圖1))的使用，由這些裝置120 (和裝置120’(圖1))收集的任何音頻信息的所有權(quán)，用戶容易控制感測和信息獲取的能力，選擇加入和選擇退出應(yīng)用的機(jī)制，載體范圍或網(wǎng)絡(luò)范圍的數(shù)據(jù)采集，對所采集的任何音頻個人可識別信息(PU)的保護(hù)，以及從多個裝置120 (裝置120’(圖1))和網(wǎng)絡(luò)創(chuàng)建的任何累積數(shù)據(jù)。還可以為私密或半私密情況(不是所有存在的用戶都已選擇加入(opted-1n)以獲取數(shù)據(jù))建立策略或標(biāo)準(zhǔn)實(shí)踐。例如，當(dāng)系統(tǒng)100 (圖1)記錄來自不大可能選擇加入以獲取信息的用戶的講話時，系統(tǒng)100可以提供警告指示到緊鄰的所有裝置120，以指示出音頻信息正被記錄。警告指示可被提供在警告指示器218上。
[0050]接下來參照圖2B，示出了示例裝置120’的功能框圖。除了裝置120’還可以包括裝置選擇/數(shù)據(jù)獲取模塊240和場景分析模塊242之外，裝置120’類似于裝置120 (圖2A)。類似于裝置120 (圖2A)，裝置120’的組件可以經(jīng)由數(shù)據(jù)和控制總線(未示出)耦接在一起。
[0051]裝置選擇/數(shù)據(jù)獲取模塊240 (這里還稱為模塊240)可以從所選擇的裝置120(圖1)接收傳感器信息和/或本地分析的信息。場景分析模塊242可以從多個選擇的裝置中組合傳感器信息和/或本地分析的信息，以便確定音頻場景130 (或者環(huán)境，一般而言)的至少一個特性。
[0052]模塊240可以確定至少一些裝置120 (圖1)的位置。模塊240例如可以基于這些裝置120的位置以及由場景分析模塊242確定的任何特性(諸如一個事項(xiàng))，從多個裝置120中選擇一個或多個裝置120 (圖1)。因此，作為(由場景分析模塊242)檢測的特性，模塊240可以從所選的裝置120(圖1)適應(yīng)性地獲取信息，以便更好地分析音頻場景130。模塊240還可以配置所選裝置120 (圖1)以獲取特定信息，例如，一個裝置120可以經(jīng)由攝像頭228 (圖2A)獲取圖像數(shù)據(jù)，而另一個傳感器可以配置為經(jīng)由麥克風(fēng)222 (圖2A)獲取音頻數(shù)據(jù)。作為另一個示例，模塊240可以配置多個裝置120以經(jīng)由各個麥克風(fēng)222 (圖2A)獲取音頻數(shù)據(jù)，從而使多個麥克風(fēng)222形成波束形成陣列(beam form array)。
[0053]總體參照圖1、圖2A和圖2B，系統(tǒng)100 (經(jīng)由裝置選擇/數(shù)據(jù)獲取模塊240)利用裝置的使能和配置中的一個或多個，用于預(yù)期監(jiān)控、對回顧性分析的記錄數(shù)據(jù)的訪問、以及對事項(xiàng)的實(shí)時通知(例如通過場景分析模塊242)。系統(tǒng)100的這種適應(yīng)性可以基于在裝置120、120’處檢測到的觸發(fā)事項(xiàng)而定。例如，裝置120’可以使能對某些音頻事項(xiàng)(例如，字詞、談話話題、音樂、以及環(huán)境音頻)的檢測，并且可以基于來自其他裝置120的報告適應(yīng)性修改所選裝置120上的配置。
[0054]裝置120’(和裝置120)可以包括用于協(xié)同這組裝置120的軟件。該軟件可以具有集中式控制、對等(peer-to-peer )控制、或者包括集中式、對等以及其他控制機(jī)制的混合模型。各個裝置120、120’可以在作為控制其他裝置的主裝置、或者受到其他裝置的臨時部分控制的從屬裝置之間切換。通過將感測負(fù)載分布在多個裝置120、120’上，或者通過諸如在裝置120、120’上共享帶寬等其他機(jī)制，裝置120、120’的網(wǎng)絡(luò)可以這樣配置其自身以優(yōu)化各裝置120上的功耗。所使用的聯(lián)網(wǎng)可以基于與移動自組網(wǎng)絡(luò)(ad hocnetwork，MANET)、散布網(wǎng)(Scatternet)或其它機(jī)制相關(guān)的概念而定。
[0055]例如，系統(tǒng)100可以將其節(jié)點(diǎn)動態(tài)地組織及重組為分級結(jié)構(gòu)或圖形，一些裝置120、120’被選為主節(jié)點(diǎn)，而其它可能的地理上接近的裝置為從屬節(jié)點(diǎn)。從屬節(jié)點(diǎn)可以基于來自主節(jié)點(diǎn)的指令執(zhí)行動作。它們可以預(yù)處理信息并將處理后的信息傳送至主節(jié)點(diǎn)，而不是傳送全部所需信息，從而在多個節(jié)點(diǎn)之間分配計算并且減小通信帶寬。此外，因?yàn)閮H有少數(shù)主節(jié)點(diǎn)會相互通信，而不是全部節(jié)點(diǎn)，所以可以改善通信需求，比如說N個裝置試圖相互通信，將會需要(N2/2)個連接。
[0056]因?yàn)槊總€節(jié)點(diǎn)知曉其位置，所以取決于系統(tǒng)需求，網(wǎng)絡(luò)可以將其自身組織為一個或多個線性鏈路或局部群組，其中信息在物理上鄰近的裝置之間傳遞，非常像傳送信息的長龍隊(duì)列。利用對等架構(gòu)，各個裝置120、120’一只有主節(jié)點(diǎn)、或者主節(jié)點(diǎn)和從屬節(jié)點(diǎn)二者一可以記錄關(guān)于相鄰節(jié)點(diǎn)和它們的能力和特征的信息，從而例如可以容易且有效地以低計算成本在任意一對節(jié)點(diǎn)之間建立連接。
[0057]還可以采用其它優(yōu)化技術(shù)一例如，當(dāng)記錄了數(shù)據(jù)記錄時，系統(tǒng)可以確定幾個裝置是否處于同一音頻或其他傳感器背景(context)中。例如，如果幾個電話120、120’位于同一背景中，則不是每個電話120、120’都必須記錄所有數(shù)據(jù)一系統(tǒng)100可以指定劃線節(jié)點(diǎn)，該劃線節(jié)點(diǎn)用作數(shù)據(jù)的本地儲存庫(local repository),并且用于確保數(shù)據(jù)存儲到云中的一些中央服務(wù)器140 (或裝置120’)。這可以在其他節(jié)點(diǎn)的部分上節(jié)省相當(dāng)大的記錄工作。
[0058]可替代地或者另外地，系統(tǒng)100可以在多個裝置120、120’中分布傳感器負(fù)載，從而不是每個節(jié)點(diǎn)都必須經(jīng)由傳感器模塊202中全部的傳感器來獲取信息。一些傳感器模塊202可以關(guān)注于音頻信息的獲取上，而其他裝置120、120’可以獲取位置信息，并且另一些傳感器模塊202可以獲取溫度或高度信息等等。這可以減小對于整個系統(tǒng)100的功率和通信帶寬需求?？梢栽O(shè)計幾個這樣的方案來優(yōu)化系統(tǒng)整體上的產(chǎn)能和效率。根據(jù)示例實(shí)施例，系統(tǒng)100還可以在多個裝置120、120’中分布對傳感器信息的處理，使得由多個裝置120、120’來進(jìn)行不同的單個任務(wù)。這可以減小對于特定任務(wù)可能不具有適當(dāng)處理能力的一些裝置120 (或裝置120’)上的計算負(fù)擔(dān)。
[0059]系統(tǒng)100作為整體可以使用云中的載體不可知的處理者(carrier-agnostichandler)。具體而言，聯(lián)網(wǎng)可以利用來自多個無線技術(shù)、W1-Fi或其他載體的服務(wù)，并且可以實(shí)施適當(dāng)?shù)牟呗詠硎鼓茌d體不可知的行為。具體地，因?yàn)榕c特定載體相關(guān)聯(lián)，所以使得不會有用戶被拒絕共享信息，并且在需要時，使得存在數(shù)字電橋(digital bridge)以便跨載體地共享信息。在變型例中，由于市場原因，可以使一些特征對于載體而言是統(tǒng)一的。
[0060]應(yīng)理解，裝置120、120’并不一定是電話。裝置120、120’可以是單機(jī)裝置，或者可以是GPS的整體部分、助聽器、移動電話、電視遙控器、車鑰匙遙控、便攜游戲控制器或類似裝置。裝置120 (和/或裝置120’)可以由用戶隨身攜帶，或者也可以安裝在車輛(如轎車)內(nèi)或上。
[0061]對于某些應(yīng)用，裝置120 (和/或裝置120’ )可以是固定的并且安裝在家中，或者是固定的電話、臺式電腦、電視機(jī)或游戲機(jī)的一部分。每個裝置120 (和/或裝置120’)可以包括一個或多個傳感器與相關(guān)軟件。不同種類的裝置120、120’可以包括不同的傳感器和/或不同的軟件。如果裝置120或裝置120’更像是智能電話，則系統(tǒng)100可以訪問文本數(shù)據(jù)(包括電子郵件、聊天副本和文件)以及音頻數(shù)據(jù)(包括電話交談、裝置上或流注到裝置的音樂、由麥克風(fēng)拾取的環(huán)境音頻)、以及用戶搜索記錄。所有這些數(shù)據(jù)可以與用戶相關(guān)。這些數(shù)據(jù)，連同用戶的背景和環(huán)境變量，可以用于用戶所消費(fèi)的信息的個性化，然后為了對于用戶或整個團(tuán)體的商業(yè)應(yīng)用而適當(dāng)改變用途。
[0062]參照圖3，示出了用于從多個分布式裝置處理信息的示例方法的流程圖。圖3中所示步驟表示本發(fā)明的示例實(shí)施例。應(yīng)理解，某些步驟可以以與所示不同的次序進(jìn)行。還應(yīng)理解，某些步驟可以去除。
[0063]在步驟300，例如，基于先前從裝置120接收的信息，通過控制器120’可以確定裝置120 (圖1)的位置。例如，控制器120’(圖1)可以直接與裝置120通信以確定它們的位置。作為另一示例，可以從與通信系統(tǒng)150和/或服務(wù)器140的通信中知曉裝置120(圖1)的位置。
[0064]在步驟302，例如通過控制器120’的裝置選擇/數(shù)據(jù)獲取模塊240 (圖2B)，可以選擇裝置120 (圖1)的子集(subset)。例如，控制器120’(圖1)可以基于環(huán)境的預(yù)定特性和裝置120的位置選擇一個或多個裝置120。
[0065]在步驟304，可以通過來自例如由裝置選擇/數(shù)據(jù)獲取模塊240 (圖2B)選擇的子集的控制器120’(圖1)接收傳感器信息和/或本地處理的信息。例如，控制器120’(圖1)可以從各傳感器模塊202 (圖2A)接收原始傳感器信息和/或從各本地數(shù)據(jù)分析模塊204(圖2A)接收本地處理的信息?？刂破?20’(圖2B)還可以從其自身的傳感器模塊202和本地數(shù)據(jù)分析模塊204獲取傳感器信息和/或本地處理的信息。響應(yīng)于來自各裝置120的確認(rèn)指示(該指示允許由裝置120釋放其各自的信息到控制器)，可以接收來自至少一個裝置120的信息。例如，基于裝置120的隱私設(shè)置，確認(rèn)指示可以由各裝置120的用戶手動提供，或者可以由各裝置120自動提供。
[0066]在步驟306，從子集(以及選擇性地，從控制器120’(圖1))接收的信息被組合，以便例如通過控制器120’的場景分析模塊242 (圖2B)來確定環(huán)境特性。[0067]在步驟308，確定是否應(yīng)該例如通過控制器120’的裝置選擇/數(shù)據(jù)獲取模塊240(圖2B)來調(diào)整子集。例如，可基于由一個或多個裝置120的本地數(shù)據(jù)分析模塊204 (圖2A)檢測的事項(xiàng)、環(huán)境特性、來自特性的任何背景、裝置120(圖1)的位置(例如位置、空間朝向)、來自特性的人口統(tǒng)計學(xué)、裝置120之間的任何社會圖表成員關(guān)系等，來調(diào)整子集。例如，如果一個裝置120 (圖1)檢測到槍聲，則裝置120’可以將裝置120的子集擴(kuò)展到附加裝置(以對槍聲的位置做三角測量)和/或發(fā)送警告指示到射程內(nèi)的所有裝置120。
[0068]如果在步驟308確定子集應(yīng)當(dāng)調(diào)整，則步驟308前進(jìn)到步驟310。在步驟310，例如通過裝置選擇/數(shù)據(jù)獲取模塊240 (圖2B)，可以調(diào)整子集中裝置的選擇和/或子集中所選裝置的配置。例如，可以開啟或關(guān)閉不同的裝置120 (圖1)。作為另一示例，傳感器模塊202 (圖2A)中可以配置不同的傳感器以獲取傳感器信息。
[0069]如果在步驟308確定子集不應(yīng)當(dāng)調(diào)整，則步驟308可前進(jìn)到步驟304，以繼續(xù)確定環(huán)境特性。
[0070]或者，步驟308可前進(jìn)到步驟312 (環(huán)境監(jiān)控)、步驟314 (定位和追蹤)、步驟316(話題監(jiān)控)、步驟318 (觸發(fā)事項(xiàng))和/或步驟320 (其他監(jiān)控和調(diào)節(jié))。環(huán)境特性可以用于下面進(jìn)一步描述的多個不同應(yīng)用。
[0071]一般性參照圖1，在示例實(shí)施例中，平臺可以被開發(fā)為使用戶能開發(fā)以下應(yīng)用:維系(harness) —組這些裝置120 ;從裝置120獲取信號；開啟或關(guān)閉裝置120的子集(基于關(guān)于背景的信息，包括位置、空間朝向、社會圖表成員關(guān)系以及人口統(tǒng)計學(xué))；處理和分析從裝置120的傳感器得到的信息；設(shè)定觸發(fā)機(jī)制以使能或禁能感測、處理或分析；以及使系統(tǒng)100適應(yīng)于感測、處理或分析的信息。平臺可以允許各裝置120、120’對于用戶(消費(fèi)者)客制化和個性化，以便基于從一個或多個裝置獲取的音頻和其他信息而減弱(mitigate)、放大或傳送音頻和其他信息到用戶。
[0072]—旦開發(fā)了這樣的平臺，則可以開發(fā)多個用于這里描述的許多場景和使用情況的應(yīng)用。該平臺可以規(guī)定最小的硬件需求，例如最低的傳感器數(shù)量和配置，依據(jù)硬件和軟件的最低機(jī)載(onboard)計算資源，以及允許開發(fā)者訪問裝置上可用的所有特征和資源的應(yīng)用程序界面(API)。
[0073]示例平臺規(guī)格可以包括:一個或多個麥克風(fēng)或麥克風(fēng)陣列；一個或多個加速度計，通常用于覆蓋運(yùn)動或朝向的兩或三個軸；羅盤；機(jī)載GPS系統(tǒng)；零個或多個其他傳感器，
例如接觸或非接觸式溫度傳感器；具有最低要求的分辨率的攝像頭，具有藍(lán)牙W1-Fi和
其他能力；包括分類器的軟件，用以分析講話、用以分析包括音樂、視頻和靜止圖像的媒介；用以獲取環(huán)境度量標(biāo)準(zhǔn)并且在各種背景下(例如，城市對郊區(qū)、以及住宅對工業(yè))分析它們的軟件；用以預(yù)處理獲取的信號以去除或減小噪聲、過濾剩余信號以識別高值信號并且在需要時以壓縮形式將它們發(fā)送到服務(wù)器140的軟件；音頻簽名的數(shù)據(jù)庫；以及響應(yīng)于傳感器數(shù)據(jù)處理反應(yīng)性機(jī)械任務(wù)(reactive mechanical task)的軟件一全部都具有足夠的能力以提供真實(shí)的和可接受的用戶體驗(yàn)。
[0074]2示例使用情況
[0075]在本部分中，提供多個示例使用情況以說明上述示例系統(tǒng)100 (圖1)如何在實(shí)際中使用。
[0076]2.1環(huán)境監(jiān)控[0077]許多使用涉及監(jiān)控一組智能電話的環(huán)境。在公共健康監(jiān)控示例中，機(jī)載音頻處理器可以被配置為檢測通常由裝置擁有者或由裝置附近的其他人發(fā)出的咳嗽。這種檢測例如可使用在稱為通用背景模型的咳嗽記錄總匯上培訓(xùn)的統(tǒng)計定位技術(shù)(例如，隱蔽式馬爾可夫模型(HMM)技術(shù)、高斯混合模型(GMM)技術(shù))。本地累積結(jié)果(例如，每小時咳嗽的數(shù)量)的通信可以按時或者當(dāng)速率偏離了預(yù)期值或最大值時被上傳到中央服務(wù)器140或裝置120’。以這種方式，控制器120’(或服務(wù)器140)可能能夠識別咳嗽的局部“熱點(diǎn)”。
[0078]這種系統(tǒng)的流行病學(xué)應(yīng)用對于其他教育和公共健康用途而言也是可用的。例如，百日咳(百日咳嗽)是一種高傳染性疾病，并且是世界范圍內(nèi)死亡的主要誘因之一，其利用疫苗是可預(yù)防的。示例系統(tǒng)100可以用來給兒童的父母提供咳嗽信息或諸如哮喘癥狀之類的其他癥狀信息，以幫助他們決定何時尋求醫(yī)療救助，并且用來提供關(guān)于百日咳、哮喘和相關(guān)疾病的流行病學(xué)數(shù)據(jù)。
[0079]在此類監(jiān)控的一些場景中，僅有有限子集的裝置可被初始配置以執(zhí)行檢測咳嗽所需的本地處理。然而，當(dāng)控制器120’確定存在可能的活動熱點(diǎn)時，控制器120’可以使能熱點(diǎn)地理位置附近的其他裝置，以獲得關(guān)于病況程度的進(jìn)一步信息。在一些示例中，控制器120’例如可以基于社會接近性來使能其他裝置，以便解釋疾病對于社會意義上密切的其他人的可能傳播。除使能其他裝置外，控制器120’還可以禁能裝置并且控制為此任務(wù)設(shè)定的總體監(jiān)控。
[0080]在一變型例中，系統(tǒng)100可以使用所感測的信息來警告患者哮喘在兒童中的發(fā)作，連同發(fā)作開始時關(guān)于兒童環(huán)境的信息，以使他們能夠確保采取了及時的治療或緩解行動。
[0081]在又一變型例中，系統(tǒng)可被用來警告患者諸如睡眠呼吸暫停之類的呼吸紊亂。睡眠呼吸暫停是一種紊亂，其特征在于，睡眠期間異常低的呼吸或異常的呼吸停頓，通常伴隨有打鼾。通常，打鼾者不知道他們打鼾或者他們可能有威脅生命的醫(yī)療問題，并且他們通常常年遭受疲乏、日間睡眠和其他癥狀的困擾。診斷通常需要在設(shè)置有傳感器的特殊實(shí)驗(yàn)室中進(jìn)行整夜的睡眠研究。關(guān)于打鼾的知識和具有打鼾行為的記錄能夠幫助診斷和治療他的情況?？蓪ο到y(tǒng)100進(jìn)行培訓(xùn)(trained)以辨別打鼾，并且將打鼾與其他種類的類似噪聲相區(qū)別，并且?guī)椭鷻z測和記錄打鼾行為，以便幫助具有呼吸紊亂的人識別他們的問題并尋求適當(dāng)幫助。
[0082]在另一監(jiān)控使用情況中，裝置120可被用來例如為工廠車間中的工人監(jiān)控環(huán)境聲音水平(例如，聲壓水平)。工人的裝置120監(jiān)控噪聲水平，并且保持諸如各種范圍噪聲水平的累積持續(xù)時間等記錄。例如，如果噪聲水平超過某規(guī)定限度(例如，絕對限度，對于超出規(guī)定的聲壓水平之上的累計時間的限制等)，則可定期或基于本地觸發(fā)來提供這種本地確定的信息?？刂破?20’(或服務(wù)器140)可以詢問其他裝置120，以便例如基于將噪聲水平與車間內(nèi)的位置相關(guān)聯(lián)的本地記錄的詳細(xì)信息，來確定高噪聲水平的位置。此外，可以檢測例如與聲源相關(guān)的環(huán)境聲音的其他特性。例如，通過例如使用圖案匹配技術(shù)(例如，HMM, GMM技術(shù))，可以區(qū)分機(jī)器類型(例如，汽笛、引擎、沖壓床、鋸、鉆等)。
[0083]類似的聲音水平監(jiān)控可被用來追蹤環(huán)境聲音水平，例如，在特定飯店中、在特定街道上、等等，并且這一監(jiān)控還可識別這些水平在一天時間上的變化。鳥類學(xué)家會對監(jiān)控時間和空間上鳥類鳴叫的存在或不存在的能力感興趣。其他人可能會對使用聲音陣列來監(jiān)控昆蟲侵?jǐn)_感興趣。示例系統(tǒng)100可以能夠?qū)⑻幚韰^(qū)域與控制相比較，從而測量所提出對策的有效性。在一些示例中，如果裝置120未連接至通信系統(tǒng)150，則登錄信息、標(biāo)記時間戳并將其存儲在非易失性存儲器中，然后當(dāng)裝置120—旦再次連接或者其存儲器受到詢問時，信息被上傳。這在汽車事故或其它致命或非致命事件之后會有典型性。
[0084]如果同一高速路上大量汽車突然同時減速，則網(wǎng)絡(luò)可能決定對障礙物后面數(shù)英里的汽車發(fā)出警告。此外，使用智能電話(配備有通信網(wǎng)絡(luò)和傳感器，例如加速度計和麥克風(fēng)以及GPS/位置傳感器)陣列來測量交通流量的能力具有改善短期交通路線安排和長期交通規(guī)劃的潛力。本發(fā)明中預(yù)期的許多應(yīng)用可以具有短期和長期的利益。短期利益使用具有低遲滯(latency)的網(wǎng)絡(luò)(例如無線電棧(radio stack))，而長期應(yīng)用可以利用具有較長遲滯的網(wǎng)絡(luò)(例如當(dāng)裝置停放在聯(lián)網(wǎng)的支架中時，在一天結(jié)束時上傳信息)。
[0085]在另一監(jiān)控使用中，電話可被使能為在環(huán)境中“給曲調(diào)命名(name that tune)”，并且既提供給擁有者以將那首歌曲下載至他們的裝置曲庫，又將播放的位置上傳至中央控制器，這監(jiān)控了不同歌曲的累計呈現(xiàn)?？紤]到音樂節(jié)會具有若干舞臺，其中有不同的團(tuán)體進(jìn)行表演。隨著用戶在這些舞臺附近行走，系統(tǒng)的網(wǎng)絡(luò)可以連續(xù)地獲取音頻數(shù)據(jù)，例如檢測并隔離音樂，識別音樂，并將正播放片段的名稱、唱片、播放的藝術(shù)家等顯示給用戶。該系統(tǒng)可以為用戶提供一種機(jī)制，以便在用戶對音樂感興趣時購買該音樂。存在單機(jī)程序來識別正播放的音樂，但它們需要單獨(dú)的裝置來收集良好的音樂樣本，將其發(fā)送到服務(wù)器，然后才可能識別音樂。相反，通過具有裝置120的網(wǎng)絡(luò)來收集數(shù)據(jù)，數(shù)據(jù)獲取更加強(qiáng)健(robust)并且是分布式的，并且用戶能夠更快地使他們的音樂得到識別。
[0086]對在裝置的環(huán)境中正被播放的特定音樂的檢測可被累積以確定市場相關(guān)的信息。通過監(jiān)控人們在他們的日常生活時聽什么，系統(tǒng)可以獲取關(guān)于媒介片段的相當(dāng)多的信息。在播放的音樂、正播放的藝術(shù)家/團(tuán)體、購買的音樂集等上捕獲到的信息是非常有價值的，尤其是在依據(jù)各種維度而定時。此外，在售賣音樂的商店中，諸如聲音背景和逗留行為之類的特征也可能是有價值的。
[0087]這些裝置還可以用來共享關(guān)于用戶聽或看什么、或者找出他們的朋友正在看或聽什么的信息。當(dāng)下的用戶們必須盡力去推送或投送(tweet or post)他們的音樂播放或視頻觀看行為。然而，這樣一些天后可能會變得乏味，很快用戶可能不再投送他們收聽或觀看習(xí)慣的信息。示例裝置120可以自動識別歌曲或電視節(jié)目，通知用戶的社交表(socialgraph)中的朋友，或者創(chuàng)建具有類似收聽或觀看興趣的用戶的虛擬社團(tuán)。
[0088]2.2定位和追蹤
[0089]一些使用情況利用裝置120的多個位置來進(jìn)行聲音源的定位和/或追蹤。在一個示例中，通過在一組裝置120的機(jī)載音頻處理器中實(shí)施“噴氣式探測器”，可以得到飛行器噪聲數(shù)據(jù)。一旦檢測到響亮的噴氣式噪聲(其被報告給控制器120’(或服務(wù)器140))，則使能報告裝置120附近的其他裝置120。所緩存的有時間戳的聲音及裝置位置數(shù)據(jù)被上傳至控制器120’(或服務(wù)器140)，其中可使用三角測量法來確定所檢測聲音源的軌跡?；谠撥壽E，可沿著投射軌跡來使能其他裝置120，使得聲音源可以持續(xù)得到追蹤。如果該源丟失(即，沒有跟上預(yù)測軌跡)，則可以使能更大范圍上的更多裝置120，來重新獲取聲音源的位置。以這種方式，可以基于累積獲取的聲音數(shù)據(jù)，來確定聲音響亮的飛行器的聲音軌跡的總體評估。[0090]選定組的裝置120有效地用作可配置的麥克風(fēng)網(wǎng)，用于獲取聲音數(shù)據(jù)。在其他示例中，多個裝置120可用作可配置的加速度計網(wǎng)，用于獲取空間和/或時間上分布的運(yùn)動相關(guān)數(shù)據(jù)。
[0091]例如，可以使用類似的追蹤信息來追蹤城市中的汽笛。這種追蹤例如可以用來預(yù)測可能受緊急事件影響的城市中的交通流量。
[0092]另一種類型的定位可以用于接近實(shí)時的或犯罪之后的法庭模式。例如，裝置120可以由警官或者槍擊現(xiàn)場附近的旁觀者攜帶。在由一個或多個裝置120(例如，警官的裝置)檢測到槍擊事件之后，控制器120’(或服務(wù)器140)可以將來自警官的裝置120或環(huán)境中的其他裝置120的本地緩存聲音上傳，并進(jìn)行射擊者位置來源的定位。在接近實(shí)時的示例中，該信息可被提供給警官以協(xié)助他們的警察職責(zé)。相似類型的配置可以用于軍事情況中，其中聲音被緩存在多個士兵攜帶的多個裝置120處，并且組合信息可被用來估計狙擊兵位置的方向。
[0093]注意，中央服務(wù)器140不是必需的。例如，多個裝置120可以本地交換信息以進(jìn)行累積分析，例如定位。在一個此類示例中，每個裝置120可以包括用于所關(guān)注事項(xiàng)(例如，槍擊)的檢測器，并且一旦檢測到該事項(xiàng)，則可以將原始聲音或部分處理的聲音版本(例如，強(qiáng)度時間曲線輪廓)傳送到附近的裝置120 (例如，使用自組的無線通信)，其基于它們獲得的信息進(jìn)行射擊者方向的本地評估。
[0094]在又一場景中，這些裝置120可被用于適應(yīng)性的擁堵控制。在具有高交通量的情況下，無論是車輛交通還是行人交通，這些裝置120可被配置為移動自組網(wǎng)絡(luò)，通過噪聲來估計交通流量，而無需任何固定或嵌入的傳感器。使用動態(tài)獲取的交通圖案信息，系統(tǒng)100可以通過裝置120或通過其它手段傳播指令來引導(dǎo)人們通行于較低交通密度的路線，打開不同的門或路線，或者使用發(fā)聲或聽覺形象來警告用戶高交通量相對低交通量的路線。
[0095]相關(guān)的觀點(diǎn)被用來創(chuàng)建移動的基于聲音的安全系統(tǒng)，其中系統(tǒng)100能夠快速得知環(huán)境條件和聲音趨勢，并且將此用于偏離正常條件的信號狀況。
[0096]在另一使用情況中，這些裝置120可以使用情感檢測和情緒檢測來識別大量人群中麻煩的核心。此系統(tǒng)100的一變型例能夠用來檢測用戶語言中或非講話聲音中的用戶的不滿，以警告管理人員例如開放商店中更多的柜臺。
[0097]當(dāng)用戶在大的觀眾席或運(yùn)動會視距中嘗試遇到朋友時，通常無法使用移動電話或者無法聽清電話上的談話。系統(tǒng)100可以使用對用戶社交圖的了解，使用定向的聲波形象或發(fā)聲來指示朋友的存在，隨著用戶接近他們的朋友而在音調(diào)或音量上有一些變化。使用系統(tǒng)100的對等架構(gòu)，連同每個裝置120中關(guān)于其鄰近裝置120和它們特征的知曉，系統(tǒng)100能夠快速有效地確定朋友的可能位置。利用該位置信息以及從用戶裝置120獲取的朝向信息，系統(tǒng)100能夠提供有差別的音調(diào)、音量或其它信號以指示用戶是在朝向還是遠(yuǎn)離其朋友而移動(以及他們是指向還是背離他們的朋友)，并且提供關(guān)于他們距離多遠(yuǎn)的指示。這種指示的精度可以隨著貢獻(xiàn)信息到系統(tǒng)100的對等裝置120的數(shù)量而提高。
[0098]在另一定位使用情況中，多個裝置120可被使能以例如為群體電話會議感測聲音。本地獲取的聲音可被用來識別講話者的位置，并用來控制哪個裝置120 (或多個裝置120)被用來產(chǎn)生用于電話的聲音。例如，可選擇最接近講話人的裝置120或者提供最高信號質(zhì)量或可懂度的裝置120，從而提供改善的聲音質(zhì)量。[0099]在另一定位使用情況中，例如在雜貨店或在購物中心，在購物行期間可以追蹤裝置120。由用戶利用相應(yīng)音頻或視頻信息所進(jìn)行的追蹤可用來識別顧客關(guān)注和感興趣的區(qū)域，并且提供用戶專有的信息，例如，關(guān)于裝置120附近購買良機(jī)的促銷信息。
[0100]追蹤的事后分析可用來將活動與實(shí)際進(jìn)行的購買相關(guān)聯(lián)，或者用于各種商品分類中可能的興趣所在。例如，在一種產(chǎn)品類型附近花費(fèi)相對高的時間可以表示對那種產(chǎn)品類型感興趣。用戶可能感興趣于選擇加入以用對他們的路線的追蹤換取收到促銷信息。
[0101]2.3話題監(jiān)控
[0102]在另一使用示例中，裝置120可被使能以隨著所有者在一天中的交談以及隨著他們收聽媒體廣播來監(jiān)控所有者的環(huán)境。例如基于定位識別話題相關(guān)關(guān)鍵字的話題檢測技術(shù)可被用來評估用戶感興趣的話題。在一天期間，或者在周期性的總結(jié)中，向用戶呈現(xiàn)有關(guān)于話題的關(guān)聯(lián)信息。例如，如果用戶進(jìn)入關(guān)于特定話題的對話，則近期的新聞或背景材料可被提供在裝置120上。這種話題監(jiān)控還可有利于將其他目標(biāo)材料(例如以與用戶興趣相關(guān)的廣告的形式)提供到用戶。
[0103]其他裝置120的配置可以基于在用戶裝置120處檢測到什么而適應(yīng)性修改。例如，在地理或社交關(guān)系上接近于用戶裝置120的其他裝置120可被配置為檢測相似話題的存在。以這種方式，其他裝置120可以具有正確檢測話題的較高可能性。此外，控制器120’或服務(wù)器140可能夠追蹤話題中感興趣的程度。
[0104]另一種主題相關(guān)的監(jiān)測應(yīng)用可以是與音頻信號的第三方請求檢測相關(guān)(例如，廣告的音頻成分)以確定這些廣告已經(jīng)在哪里被播放。例如，廣告方可以用控制器120’或服務(wù)器140來配置裝置120以檢測廣告，然后確定廣告已經(jīng)在哪里被播放并且可能被聽到。
[0105]在相關(guān)的應(yīng)用情況中，系統(tǒng)100可以使用從裝置120的傳感器收集的信息以及從諸如電子節(jié)目指南(EPG)之類的其他來源收集的信息，以識別用戶正在收聽到或觀看什么節(jié)目、獲得類似于尼爾森(Nielsen)的收視率統(tǒng)計或獲得商業(yè)智能。當(dāng)前的系統(tǒng)趨向于依賴家用系統(tǒng)或手動創(chuàng)建的日記，這兩者均易于出錯。使用示例裝置120和示例系統(tǒng)100可以允許完成該監(jiān)測而不管用戶在哪里以及他們使用什么樣的媒介裝置，并允許使用來自用戶行為的信息來將主動收聽或觀看與例如播放給空房間的電視區(qū)分開來。
[0106]2.4觸發(fā)事項(xiàng)
[0107]通常而言，以上描述的應(yīng)用情況使用各種觸發(fā)事項(xiàng)來開始音頻的本地記錄和/或通過服務(wù)器140、裝置120’和/或其他附近的裝置120來發(fā)起通信。除了基于音頻的事項(xiàng)(例如，特定的文字、口頭話題、音樂、聲音等)之外，其他事項(xiàng)也可以觸發(fā)監(jiān)測和/或通信。例如，文本通信的內(nèi)容(例如，短信業(yè)務(wù)(SMS)消息)可以發(fā)起監(jiān)測和/或配置什么將被搜索。該裝置可以獲取的諸如加速度計數(shù)據(jù)、生物特征數(shù)據(jù)和視頻圖像的檢測(例如，亮度的變化等)之類的其他數(shù)據(jù)也可以用于觸發(fā)。例如，高的加速度可能與車輛事故或跌倒相關(guān)，而且這可以發(fā)起音頻監(jiān)測或與服務(wù)器140 (或裝置120’)之間的通信，這可能能夠基于音頻場景130來確定是否已經(jīng)發(fā)生了事故，在這種情況下，可以召集緊急援助。
[0108]系統(tǒng)100還可以用于老年人和殘疾人的看護(hù)。當(dāng)前，當(dāng)年長人士和殘疾人需要幫助時，例如，如果他們跌倒或者感到眩暈，他們能夠購買傳統(tǒng)裝置來發(fā)出信號。然而，這些傳統(tǒng)系統(tǒng)需要用戶有意識做出決策并按下裝置上的按鈕以尋求幫助。問題是，可能有一些情況是用戶不能做出決策、用戶可能太靦腆而不去尋求幫助、用戶可能感到他們的問題不足以嚴(yán)重到要尋求幫助、或者甚至用戶可能無法夠到按鈕來呼叫幫助。例如，當(dāng)用戶患了中風(fēng)，或者如果他們跌倒，則老年用戶可能難以按下按鈕。這里描述的系統(tǒng)100可以數(shù)據(jù)融合概念來將來自一個或多個裝置120的講話和噪聲檢測以及其他加速度計數(shù)據(jù)結(jié)合來檢測求助呼叫、或者由跌倒發(fā)出的聲音、物體掉落等，該系統(tǒng)100可以將錯誤告警和實(shí)際問題區(qū)分開來，并需要幫助時也可以援助幫助。系統(tǒng)100還可以能夠開啟免提電話以與所呼叫的“幫助”方進(jìn)行對話。
[0109]在另一種形式的觸發(fā)事項(xiàng)中，當(dāng)例如通過將裝置120放在用戶的口袋中而將裝置120從直接音頻環(huán)境中移除時，音頻信號特性的變化可能觸發(fā)傳輸至控制器120’或服務(wù)器140的消息，以指示裝置120不再能夠用于獲取基于較差的信噪比(SNR)運(yùn)行環(huán)境的音頻。類似地，當(dāng)將裝置120從口袋中取出時，它可以再次開始監(jiān)測環(huán)境和/或通知控制器120’(或服務(wù)器140)它再次可用。此外，當(dāng)該裝置不再獲得足夠的SNR時，該裝置120可以能夠使能它附近的其他裝置120以獲取該信號，從而改善整體SNR。此外，目前許多裝置都被制造為具有多個麥克風(fēng)(主要用于波束形成)從而為用戶獲取改善的SNR。由于用戶可能經(jīng)常將裝置120攜帶在他們的口袋中或錢包里，因而，系統(tǒng)100可以能夠選擇裝置120中的哪個麥克風(fēng)期望被使能、或者最好喚起(evoke)什么波束形成陣列來獲取最大的SNR。
[0110]在一些示例中，系統(tǒng)100禁用車輛短信。通過檢測與移動的車輛相一致的加速信號(acceleration signature)和/或通過提取在駕駛過程中被提取的聲音的類型,裝置120能夠檢測道路噪聲、引擎噪聲、車輪軸承噪聲、剎車噪聲。所有的這些聲音都可以用來在車輛移動的過程中允許或禁止用戶利用他們的裝置120發(fā)送短信。裝置120可以查詢其附近并確定是否在汽車車體內(nèi)存在其他的裝置120。假設(shè)答案為是，則可以使用進(jìn)一步的分析來提供對駕駛員的裝置120的短信限制，但仍允許其余人員收發(fā)短信。當(dāng)車輛處于移動中時，出于安全原因，一些車輛還可以禁止或限制選擇導(dǎo)航控制。如果該裝置120能夠檢測到前排座位乘客，則該系統(tǒng)可以選擇不限制導(dǎo)航控制。
[0111]在一些示例中，從發(fā)送方和接收方這兩者將從在原位(in-situ)的對話中獲取的關(guān)鍵詞識別(key word spotting)進(jìn)行匯集。在正常的電話交談過程中，裝置120可以識別由對話雙方發(fā)出的特定的聲音、以及文字等。系統(tǒng)100可以審核這些聲音并通過圖形用戶界面(GUI)或基于音頻或基于文本的反饋來向用戶提供信息。作為一個示例，假設(shè)通話是關(guān)于去巴黎的旅行，該裝置120可以表達(dá)關(guān)于去巴黎的航線的促銷定價的信息。
[0112]例如，在音頻流中使用關(guān)鍵詞識別，這些裝置120中的一個或多個可以用來識別通過這些裝置120獲取的音頻和其他信息中的趨勢。關(guān)鍵詞趨勢可以用來適應(yīng)性地調(diào)節(jié)或修改用戶消費(fèi)的信息。在一種場景中，諸如新聞媒體、搜索引擎和類似的信息渠道之類的信息來源可以獲取來自單個用戶或用戶群體的關(guān)于趨勢的信息，并且基于關(guān)鍵詞趨勢而向不同用戶顯示不同的條目。具體而言，這樣的系統(tǒng)100可以選擇已知的用戶偏愛的主題。
[0113]關(guān)于非語言(non-speech)音頻的趨勢可以用來識別人流或車流的模式。語言或非語言音頻的匯集日志可以用于各種各樣的應(yīng)用，包括識別待租用或購買的噪聲較小的公寓或住房以及可能隔音更好的旅館或劇場大廳。長期趨勢和趨勢識別以及周期性變化可以用來將辦公室和住所進(jìn)行隔音或使得辦公室和住所不受天氣影響。
[0114]2.5其他方案和應(yīng)用
[0115]可以為在許多智能手機(jī)上匯集信息的能力提供或不提供載體配合。例如，這可以通過第三方應(yīng)用來進(jìn)行，第三方應(yīng)用不需要特定載波的批準(zhǔn)并且經(jīng)由W1-Fi或藍(lán)牙《'通信。
通過這種方式，能夠?qū)⒂啥鄠€競爭性載體所服務(wù)的電話上的信息進(jìn)行匯集。
[0116]在系統(tǒng)100的一些示例性實(shí)施例中，系統(tǒng)100可以觸發(fā)關(guān)鍵事項(xiàng)，例如，同時處于同一地方的數(shù)個車輛的快速減速(rapid deceleration)、汽笛、關(guān)鍵字等。收集海量數(shù)據(jù)的能力可以改善觸發(fā)能力。搜索公司正在提供比以往更好的搜索相關(guān)性，很大程度上是因?yàn)樗鼈兪占吮痊F(xiàn)代搜索引擎流行之前可以搜索到的數(shù)據(jù)更多的數(shù)據(jù)。但是采用示例性系統(tǒng)100，可以收集甚至更多的數(shù)據(jù)。如果每一個電話每天收集音頻數(shù)據(jù)一小時，則匯集數(shù)據(jù)來源將比甚至最大的搜索公司當(dāng)前收集的數(shù)據(jù)收集量更大而且更有價值。
[0117]在系統(tǒng)100的一些示例性實(shí)施例中，如果系統(tǒng)100中的裝置120可以檢測某些重要的類似于“火”之類的關(guān)鍵字和詞組，則該系統(tǒng)100可以適當(dāng)?shù)刈龀鲰憫?yīng)。詞條(term)的重要性和緊急性取決于不作為的后果以及在信息提取領(lǐng)域中公知的詞條加權(quán)(termweighting)概念。
[0118]類似地，如果系統(tǒng)100聽到了重要的詞條(例如，類似于“火”之類的關(guān)鍵詞、或者類似于咳嗽之類的非文字內(nèi)容、或諸如快速減速之類的在裝置120的一些其他傳感器上提取的事項(xiàng))，則該系統(tǒng)可以開啟陣列中在附近的大量其他傳感器以確認(rèn)該事項(xiàng)，從而改善信噪比和/或在時間和空間上使該事項(xiàng)局部化。
[0119]在一些應(yīng)用中，趨勢分析可以使用大量的系統(tǒng)100的可用數(shù)據(jù)?？紤]以上提及的咳嗽示例。隨時間和空間變化的咳嗽的匯集可以提供隨時間和空間變化的健康跟蹤。該方法類似于一些基于查詢的流感預(yù)測方法，而它們表明它們能夠比疾病控制和預(yù)防中心(CDC)快兩周預(yù)測出流感。但是建議的咳嗽度量應(yīng)當(dāng)具有甚至更好的隨時間和空間變化的解析度，因?yàn)樗且愿罅康母袦y數(shù)據(jù)為依據(jù)的。
[0120]對大量感測數(shù)據(jù)的收集提供了系統(tǒng)地預(yù)測(例如，根據(jù)統(tǒng)計模型)多個系列或多組其他信息的感測事項(xiàng)的方式。例如，可以基于香農(nóng)噪聲信道模型相關(guān)的原理來有效地開發(fā)這種預(yù)測，從而改善針對這些事項(xiàng)的傳輸能力。例如，這些數(shù)據(jù)能夠允許人們創(chuàng)建針對事項(xiàng)的更好的“語言模型”，該語言模型將在預(yù)測預(yù)期聽到哪種聲音(在用于噪聲信道模型之前)以及匿名聲音(對應(yīng)當(dāng)發(fā)出告警并開始錄音進(jìn)行觸發(fā))方面有更好的作為。
[0121]在一些示例中，系統(tǒng)100可以允許進(jìn)行工作地點(diǎn)監(jiān)測(以及環(huán)境監(jiān)測)。系統(tǒng)100可以有效地提供關(guān)于智能手機(jī)的“智能微塵(smartdust)”，它能夠通過測量類似于咳嗽之類的音頻事項(xiàng)而針對健康問題監(jiān)測工作地點(diǎn)。而且，在一些應(yīng)用中，系統(tǒng)100可以感測諸如噪聲之類的壓力關(guān)聯(lián)性。例如，一些呼叫中心有較多的與壓力相關(guān)的疾病，因?yàn)楹艚腥巳褐杏邢鄬Υ罅康牟豢鞓返目蛻??？梢栽诠ぷ髦幸约捌渌胤胶芎玫卦诎Y狀蔓延之前預(yù)測某種類型的疾病的風(fēng)險。
[0122]裝置120的自組網(wǎng)絡(luò)(ad hoc network)可以用來微調(diào)許多特征。例如，考慮音樂廳的聲音。音樂廳典型地是針對它們空間的主要引用來調(diào)節(jié)的。例如，可以為了大的演奏家群體和他們的樂器而特別地調(diào)節(jié)交響樂廳，并且例如交響樂廳可能不是非常適用于獨(dú)唱歌手。大廳中的聲音質(zhì)量還依賴于觀眾的數(shù)量、他們的環(huán)境噪聲特性等。系統(tǒng)100的網(wǎng)絡(luò)可以使得從觀眾中的大量裝置120獲取數(shù)據(jù)，使得大廳管理方能夠適應(yīng)環(huán)境噪聲等級和針對具有任意數(shù)量的表演者和樂器并具有不同觀眾的任意表演的微調(diào)聲音等級。
[0123]該自組網(wǎng)絡(luò)還可以用于監(jiān)測和管理目的?？梢葬槍Π踩章牭燃壱约皥蟾娼o適當(dāng)?shù)墓芾矸胶凸芾聿块T(agency)的違反行為(infractions)來監(jiān)測聲壓等級或類似的對搖滾音樂、健身課以及其他潛在的噪聲環(huán)境的測量。
[0124]基于從多個裝置120和在該空間中的單獨(dú)的傳感器獲取的數(shù)據(jù)，類似的機(jī)制可以用來微調(diào)大的聽眾席、房間或大廳中的溫度。基于風(fēng)道、窗戶、門和其他開口的布置，大的空間具有自己的氣流以及加熱和冷卻模式。加熱和冷卻典型地取決于在一個并且通常是在更多個感測地點(diǎn)的測量溫度。如果傳感器靠近向陽窗戶或靠近由于經(jīng)常打開門而造成的氣流(draft)，則該空間中的溫度是不令人滿意的。通過使用在本發(fā)明中所描述的一組裝置120來測量數(shù)個位置處的溫度，將可以更好地、更局部化地控制溫度。
[0125]系統(tǒng)100的一些示例性實(shí)施例可以基于“選擇加入(opt ins)”的小樣本的來進(jìn)行預(yù)測。系統(tǒng)100 (例如“云”)可以設(shè)有適當(dāng)?shù)倪壿媮泶_定如何基于從那些選擇加入該系統(tǒng)100的電話120收集的信息來進(jìn)行合適的推斷。盡管需要關(guān)注考慮該樣本不是隨機(jī)樣本這一事實(shí)，但是，這些推斷中的許多推斷是相對直截了當(dāng)?shù)摹碛兄悄苁謾C(jī)并且選擇加入的這組人群將至少在短期內(nèi)向著特定的人口統(tǒng)計學(xué)傾斜。
[0126]3備用通彳目應(yīng)用
[0127]在該系統(tǒng)的一些版本中，可以開發(fā)這組個人裝置120的網(wǎng)狀特征。蜂窩手機(jī)可以被視為是相對被動的裝置(僅接收)，但是有些時候，例如在緊急事項(xiàng)期間，可能期望能夠非?？焖俚叵蚋鄠鹘y(tǒng)電話和互聯(lián)網(wǎng)網(wǎng)絡(luò)部署作為覆蓋層的主動通信網(wǎng)絡(luò)。
[0128]在諸如9/11之類的人為事項(xiàng)或者諸如大颶風(fēng)之類的自然災(zāi)害之類的緊急事項(xiàng)中，一部分關(guān)鍵的通信設(shè)施可能崩潰。有的時候?qū)﹄娦啪W(wǎng)絡(luò)保護(hù)得比往日更為周全。所使用的電話網(wǎng)絡(luò)比電網(wǎng)更可靠。中央辦公室通常備有電池和發(fā)電機(jī)(以及部署到例如經(jīng)受過洪水的新奧爾良等地方的潛水門)。普通老式電話服務(wù)(POST)手機(jī)由中央辦公室供電，因而即使標(biāo)準(zhǔn)電網(wǎng)崩潰，該業(yè)務(wù)也能夠保持就緒。
[0129]現(xiàn)今，在流行商店中銷售的大部分手機(jī)取決于電網(wǎng)。多數(shù)電話具有很多特征和電源卡。一些具有備用電池，但是幾乎沒有對更換電池的激勵措施。很快，因?yàn)樵S多人不愿意為這種特征付錢，所以備用電池這一特征可能成為過去。工程師愿意設(shè)計用于抵抗幾百年洪水的橋，但是說服客戶支付他們可能不會用到的特征是困難的。面對這些現(xiàn)實(shí)，期望的是開發(fā)一種部署即時備用網(wǎng)絡(luò)的方式。與電池和發(fā)電機(jī)不同(不論我們是否使用它們，它們都是昂貴的)，因?yàn)榇蟛糠衷O(shè)備早就就緒了，基于電話的備用網(wǎng)絡(luò)通常將不會花費(fèi)公眾太多，任何額外資產(chǎn)。
[0130]備用網(wǎng)絡(luò)的關(guān)鍵特征:
[0131]1.雙向通信:電話收話器正常地接收，但它們還能夠用于存儲和轉(zhuǎn)發(fā)信息。因此，例如，如果電話在移動平臺上(比如說，在口袋里或汽車中)，則，電話能夠以潛行網(wǎng)(sneaknet)的方式用于在一個場所中存儲信號,并從另一個場所將其重復(fù)。
[0132]2.損壞評估(快速且容易地確定什么在工作以及什么不在工作的能力):在9/11期間，有很多功能中斷(例如，世貿(mào)中心7號樓下面的光纖斷裂、屋頂上的基地臺、世貿(mào)中心I號樓和2號樓下面的開關(guān)、某些場所的警察局和消防隊(duì)無線電通信)，但是一些仍在工作(例如，新澤西州的基地臺、黑莓電子郵件、基于人造衛(wèi)星的系統(tǒng))。關(guān)鍵要求是確定什么在工作以及什么不在工作，并且與那些需要它們的工作場所進(jìn)行通信。在眾多口袋和汽車中的手機(jī)的陣列能夠相當(dāng)快速地確定什么在工作以及什么不在工作。人們希望，這些裝置中的一些可以連接至仍在工作的某些事物(例如，人造衛(wèi)星)，或者最終離開受影響的區(qū)域，使得他們足夠可以將準(zhǔn)確且即時的損壞評估圖像報告返回給云。使用這一信息，數(shù)字和真實(shí)世界這兩者的交流可以適應(yīng)性地重新設(shè)定路線。
[0133]3.工作場所:諸如公共汽車等市政車輛具有電池和發(fā)電機(jī)。很快，這種車輛也可以具有連接至人造衛(wèi)星的W1-Fi。云能夠指示最需要的這種資源。
[0134]音頻陣列(例如，本文所述)也可以用于損壞評估。例如，隨著時間和空間的累積，音頻陣列可以確定是否存在太多的噪聲(例如，爆炸聲)以及太小的噪聲(例如，沒有人類活動)。
[0135]4桴權(quán)和隱私
[0136]在系統(tǒng)100的一些示例性實(shí)施例中，可以使用一個或多個特征解決對隱私的考慮，其可以包括以下內(nèi)容。首先，只有用戶明確地“選擇加入(optsin)”以允許特定監(jiān)控選項(xiàng)，才可以允許在裝置120上進(jìn)行監(jiān)控。用戶可以接受這種監(jiān)控的原因是能獲得對他有價值的信息作為回報，例如通過提供更加相關(guān)的搜索結(jié)果或其它信息來作為回報。另一個特征涉及所監(jiān)控的信息的加密。例如，音頻可以在通過控制器120’或服務(wù)器140上傳和/或處理期間防止攔截的方式來加密。此外，在使用多個中心控制器的系統(tǒng)100 (例如，每一個移動電話載體的一個控制器120’或服務(wù)器140)中，用戶可以明確地允許控制器之間的共享。
[0137]在一些實(shí)例中，裝置120可以具有禁止音頻環(huán)境數(shù)據(jù)的收集的特征。這種特征可以是機(jī)械的(例如，利用快門機(jī)構(gòu)機(jī)械地防止音頻收集)或能夠是電子的(例如，在裝置上具有電子滑塊開關(guān))。
[0138]在一些實(shí)例中，在網(wǎng)絡(luò)的邊緣(在智能手機(jī)中)以及在網(wǎng)絡(luò)中(在云中)、以及在其它地方能夠選擇性地開啟或關(guān)閉傳感器。例如，電影院的操作員可以有能力關(guān)閉將會惹惱電影院中的其他人的揚(yáng)聲器，類似地，飛機(jī)的操作員應(yīng)當(dāng)有能力關(guān)閉可能危害同行乘客的安全的通信特征。而且，在事故(例如飛機(jī)失事)之后，官方應(yīng)該有能力探測(通過與可能是非易失性的電話的存儲器的有線或無線接口)飛機(jī)上的智能手機(jī)以得到可能有助于調(diào)查的信息。換句話說，飛機(jī)上的智能手機(jī)的陣列可以充當(dāng)一種“黑箱”，以在未來防止類似的這種事故。
[0139]然而，在系統(tǒng)100的至少一些版本中，隱私也是重要的。在一些示例性實(shí)施例中，智能手機(jī)的所有者應(yīng)該有能力拉開帷幕，同時有信心電話不會侵犯用戶的隱私，即使電話已被病毒籠罩。當(dāng)拉開帷幕時，用戶想要確信電話沒有記錄可能令人尷尬或?qū)ψ约翰焕男畔?。電話不?yīng)該記錄可能遭受傳票或法院命令(例如證據(jù)開示)的信息。用戶應(yīng)該有能力以不被網(wǎng)絡(luò)的所有者、政府權(quán)威或任何其他人(例如惡意的黑客)撤銷的方式選擇退出。例如，隱私可以通過開關(guān)來實(shí)施，如下文進(jìn)一步描述的。
[0140]特征交互在通信網(wǎng)絡(luò)中會是棘手的問題。期望的是許多當(dāng)事人有能力以某些方式開啟和關(guān)閉某些特征，如上文討論的，當(dāng)不同的當(dāng)事人以復(fù)雜且不可預(yù)料的方式發(fā)出可能彼此沖突的命令時，同樣重要的是，所有當(dāng)事人清楚發(fā)生了什么。
[0141]尤其是，在系統(tǒng)的至少一些示例性實(shí)施例中，電話的所有者應(yīng)該負(fù)責(zé)。在這種實(shí)施例中，該所有者可以有能力以不被任何其它當(dāng)事人拒絕的方式物理地斷開傳感器。一種這種方法可以包括物理開關(guān)，該物理開關(guān)將以用戶能夠通過電話的外觀檢查進(jìn)行驗(yàn)證的方式斷開傳感器。該物理開關(guān)可以被用戶手動操作，并且不能在軟件控制之下遠(yuǎn)程撤銷(override)。
[0142]除了物理開關(guān)之外，還可以存在由軟件控制的開關(guān)，該由軟件控制的開關(guān)可以使授權(quán)的當(dāng)事人能夠開啟和關(guān)閉特征(例如，傳感器的記錄、識別關(guān)鍵字以及將適當(dāng)?shù)男畔⑸蟼髦猎?，其中能夠進(jìn)行隨空間和時間的推斷?？梢宰罱K確定關(guān)于允許誰做什么，什么是合適的以及什么是不合適的政策。
[0143]5其它裝育
[0144]如上文介紹的，上述示例性方法不限于智能手機(jī)。例如，可以類似的方式使用車載系統(tǒng)(例如，導(dǎo)航裝置)、媒體裝置(例如，電視、機(jī)頂盒、臺式電腦、手提電腦)以及其它固定或移動裝置。例如，在車載導(dǎo)航系統(tǒng)的情況下，可以監(jiān)控車載談話，并且可以在裝置的顯示器上提供有關(guān)被討論的地點(diǎn)(例如，餐廳)的信息。
[0145]可以在這種系統(tǒng)中使用的另一種類型的裝置是為電話(裝置)提供音頻輸入和輸出的耳機(jī)。利用耳機(jī)監(jiān)控的優(yōu)點(diǎn)是即使相關(guān)的電話不暴露于環(huán)境，其也可暴露于音頻環(huán)境，例如，當(dāng)電話在用戶的口袋里時，從而提供改進(jìn)的信號噪聲比(SNR)。另一個實(shí)施例可以具有集成到耳機(jī)中的整個移動通信(手機(jī))。
[0146]可以在這種系統(tǒng)100中使用的另一種類型的裝置120是助聽器。因此，助聽器可以使本文描述的整個特征組實(shí)用。這樣的優(yōu)點(diǎn)是可能從該年齡人群中采得的數(shù)據(jù)對于典型地使用頭戴式耳機(jī)用于他們的通信活動的這一代用戶被認(rèn)為是非常不同的。
[0147]上述耳機(jī)的使用可被認(rèn)為是對“最后一英寸”的所有權(quán)或控制，這類似于對“最后一英里”的所有權(quán)，其在電話生意中戰(zhàn)略上是重要的。相同的動態(tài)引起對網(wǎng)絡(luò)中立性的爭論。因此，同樣地，對最后一英寸的所有權(quán)在眼睛和耳朵的競爭中也變得戰(zhàn)略上是重要的。網(wǎng)絡(luò)當(dāng)前是與眼球和鼠標(biāo)點(diǎn)擊相關(guān)，然而不久競爭將轉(zhuǎn)移到接入到耳朵和眼睛的斗爭。助聽器或耳機(jī)可被視為關(guān)鍵事物。其決定用戶聽到什么和用戶聽不到什么。助聽器可以給妻子提供優(yōu)先接入。其還可阻擋垃圾信息，并且過濾掉不需要的商業(yè)廣告?；蛘?，助聽器或耳機(jī)可以類似于付費(fèi)的搜索而進(jìn)行拍賣，其中助聽器是市場經(jīng)紀(jì)人(market maker)，其視圖在用戶的相關(guān)需要與廣告商的功用(utility)之間找到平衡。
[0148]這些拍賣典型地使用維克瑞拍賣(Vickrey auction)以鼓勵廣告商投標(biāo)他們的真實(shí)功用。如果用戶選擇追隨一個廣告(利用鼠標(biāo)點(diǎn)擊)，則廣告商支付第二高的出價。助聽器或耳機(jī)可以以類似的方式工作，雖然可能替代了在廣告上的點(diǎn)擊，但是通過諸如講話命令等一些其他手段可能對用戶而言更容易參與。
[0149]雖然在用于處理來自多個分布裝置的信息的系統(tǒng)和方法方面描述了本發(fā)明，預(yù)期的是，一個或多個步驟和/或組件可以具體實(shí)施為軟件，以與微處理器/通用計算機(jī)(未示出)一起使用。在本實(shí)施例中，上文描述的各種組件和/或步驟的功能的一個或多個可以被實(shí)施成控制計算機(jī)的軟件。該軟件可以被具體實(shí)施成永久性的有形計算機(jī)可讀介質(zhì)(例如，通過非限制性實(shí)例，磁盤、光盤、閃速存儲器、硬驅(qū)動等等)，用于通過計算機(jī)來執(zhí)行。
[0150]例如，一些軟件可以包括用于在個人裝置120和裝置120’處執(zhí)行的指令。這個軟件可以在中心地點(diǎn)處(例如，在服務(wù)器140處，用于分布到裝置120、120’)被存儲在永久性的有形計算機(jī)可讀介質(zhì)上，可以在數(shù)字通信介質(zhì)上傳遞，和/或在裝置120，120’處被存儲在機(jī)器可讀介質(zhì)中(例如，下載應(yīng)用/小程序)。一些軟件可以在中央服務(wù)器140 (例如，在處理器的分布“云”中)處被托管，并且通過將其存儲在永久性有形計算機(jī)可讀介質(zhì)中用于在服務(wù)器140的處理器上執(zhí)行來訪問。
[0151]雖然參考具體實(shí)施例在本文描述和示出了本發(fā)明，然而本發(fā)明不旨在局限于示出的細(xì)節(jié)。而是，在不脫離本發(fā)明的情況下，在權(quán)利要求書的等同項(xiàng)的范圍內(nèi)，可以進(jìn)行各種修改。
【權(quán)利要求】
1.一種分布式系統(tǒng),包括: 分布于環(huán)境中的多個裝置， 每個裝置至少具有與其它所述裝置和/或與通信系統(tǒng)交換信息的通信能力，及至少一些所述裝置的每一個均具有一個或多個傳感器，用于獲取與所述裝置附近環(huán)境相關(guān)的傳感器數(shù)據(jù)，以及 其中，所述通信系統(tǒng)或者一個或多個所述裝置至少之一被配置為控制器，該控制器被配置為:從所述多個裝置中選擇裝置子集，基于所獲取的所選擇子集的傳感器數(shù)據(jù)來接收信息，并且組合從所選擇子集接收的信息以確定在一個或多個所述裝置附近的環(huán)境特性。
2.如權(quán)利要求1所述的系統(tǒng)，其中，所述分布式系統(tǒng)包括寄宿在所述通信系統(tǒng)處的服務(wù)器。
3.如權(quán)利要求1所述的系統(tǒng)，其中，至少一個所述裝置包括無線裝置或有線裝置至少之一 .
4.如權(quán)利要求1所述的系統(tǒng)，其中，至少一個所述裝置包括固定裝置或移動裝置至少之一 .
5.如權(quán)利要求1所述的系統(tǒng)，其中，至少一個所述裝置包括移動電話裝置、聽筒、助聽器、導(dǎo)航裝置、計算機(jī)、具有至少一個傳感器的傳感器模塊至少之一。
6.如權(quán)利要求1所述的系統(tǒng)，其中，所述一個或多個傳感器包括麥克風(fēng)、運(yùn)動相關(guān)傳感器、溫度傳感器、生物計量傳感器、羅盤、圖像傳感器、光探測傳感器、接近性傳感器、重力探測傳感器、磁場探測傳感器、電場探測傳感器、振動傳感器、壓力傳感器、濕度傳感器、水分傳感器、毒素探測傳感器、營養(yǎng)物探測傳感器、或外激素探測傳感器至少之一。
7.如權(quán)利要求1所述的系統(tǒng)，其中，至少一個所述裝置包括位置模塊，用于確定各裝置的位置。
8.如權(quán)利要求1所述的系統(tǒng)，其中，至少一些所述裝置的每一個均包括本地數(shù)據(jù)分析模塊，用于處理所獲取的傳感器數(shù)據(jù)以確定至少一個事項(xiàng)，所述事項(xiàng)被所述控制器用來確定所述環(huán)境特性。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述本地數(shù)據(jù)分析模塊包括用以處理音頻信息的音頻分析模塊。
10.如權(quán)利要求8所述的系統(tǒng)，其中，所述本地數(shù)據(jù)分析模塊包括用以處理非音頻相關(guān)信息的傳感器分析模塊。
11.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器被配置為確定至少一些所述裝置的位置。
12.如權(quán)利要求11所述的系統(tǒng)，其中，所述控制器被配置為根據(jù)所確定的位置或從所述多個裝置接收的信息至少之一來選擇所述裝置子集。
13.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器還被配置為傳送配置信息到所述裝置，用于獲取所述傳感器數(shù)據(jù)或在各裝置處處理所述傳感器數(shù)據(jù)至少之一。
14.如權(quán)利要求13所述的系統(tǒng)，其中，所述配置信息包括所述傳感器數(shù)據(jù)中待被檢測的數(shù)據(jù)特征事項(xiàng)。
15.如權(quán)利要求1所述的系統(tǒng)，其中，所述環(huán)境包括音頻場景。
16.如權(quán)利要求15所述的系統(tǒng)，其中，所述音頻場景的特性包括講話事項(xiàng)或非講話事項(xiàng)至少之一。
17.如權(quán)利要求16所述的系統(tǒng)，其中，當(dāng)所述分布式系統(tǒng)從與所述分布式系統(tǒng)不相關(guān)的用戶記錄到講話時，所述分布式系統(tǒng)將警告指示提供到記錄該講話的裝置附近的所有裝置，以指示出音頻信息正被記錄。
18.如權(quán)利要求1所述的系統(tǒng)，其中，所述分布式系統(tǒng)還從組合信息中確定所述裝置的一群用戶的趨勢信息。
19.如權(quán)利要求1所述的系統(tǒng)，其中，所述分布式系統(tǒng)還從組合信息中監(jiān)控所述裝置的一群用戶的事項(xiàng)定位、事項(xiàng)追蹤、話題和觸發(fā)事項(xiàng)至少之一。
20.如權(quán)利要求1所述的系統(tǒng)，其中，所述分布式系統(tǒng)還從組合信息中確定與所述裝置中的多個裝置相關(guān)的累積運(yùn)動相關(guān)特性。
21.如權(quán)利要求20所述的系統(tǒng)，其中，所述累積運(yùn)動相關(guān)特性包括人流或車流特性。
22.如權(quán)利要求1所述的系統(tǒng)，其中，至少一個所述裝置包括用戶界面、顯示器、警告指示器、揚(yáng)聲器或隱私模塊至少之一。
23.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器響應(yīng)于來自各裝置的確認(rèn)指示從所述裝置子集中的至少一個裝置接收信息，所述確認(rèn)指示對允許將各信息釋放到所述控制器進(jìn)行指示。
24.一種控制器，用于與分布于環(huán)境中的多個裝置進(jìn)行交互，每個裝置至少具有與其它所述裝置、所述控制器和/或與通信系統(tǒng)交換信息的通信能力，至少一些所述裝置的每一個均具有一個或多個傳感器，用于獲取與所述裝置附近環(huán)境相關(guān)的傳感器數(shù)據(jù)，所述控制器包括: 選擇/獲取模塊，被配置為從所述`多個裝置中選擇裝置子集，并且用于基于所獲取的所選擇的裝置子集的傳感器數(shù)據(jù)來接收信息；以及 場景分析模塊，被配置為組合從所選擇的裝置的子集接收的信息以確定在一個或多個所述裝置附近的環(huán)境特性。
25.如權(quán)利要求24所述的控制器，其中，所述控制器被配置為確定至少一些所述裝置的位置。
26.如權(quán)利要求25所述的控制器，其中，所述選擇/獲取模塊被配置為根據(jù)所確定的位置或從所述多個裝置接收的信息至少之一來選擇所述裝置子集。
27.如權(quán)利要求24所述的控制器，其中，所述選擇/獲取模塊還被配置為將配置信息傳送到所述裝置，用于獲取所述傳感器數(shù)據(jù)或在各裝置處處理所述傳感器數(shù)據(jù)至少之一。
28.如權(quán)利要求24所述的控制器，其中，所述選擇/獲取模塊被配置為響應(yīng)于由所述場景分析模塊確定的環(huán)境特性來調(diào)整所述裝置子集中裝置的選擇或所述子集中裝置的配置至少之一。
29.如權(quán)利要求24所述的控制器，還包括傳感器模塊，該傳感器模塊包括麥克風(fēng)、運(yùn)動相關(guān)傳感器、溫度傳感器、生物計量傳感器、羅盤、圖像傳感器、光探測傳感器、接近性傳感器、重力探測傳感器、磁場探測傳感器、電場探測傳感器、振動傳感器、壓力傳感器、濕度傳感器、水分傳感器、毒素探測傳感器、營養(yǎng)物探測傳感器、或外激素探測傳感器至少之一。
30.如權(quán)利要求29所述的控制器，還包括本地數(shù)據(jù)分析模塊，用于處理來自所述傳感器模塊的傳感器數(shù)據(jù)，經(jīng)處理的傳感器數(shù)據(jù)與從所選擇的裝置子集接收的信息相組合以確定所述環(huán)境特性。
31.如權(quán)利要求24所述的控制器，其中，所述控制器被配置為下列至少之一:響應(yīng)于所述環(huán)境特性而減弱、放大或傳送信息至所述多個裝置中的一個或多個。
32.—種用于處理來自分布于環(huán)境中的多個裝置的信息的方法,所述方法包括: 由控制器從所述多個裝置中選擇裝置子集，所述控制器包括通信系統(tǒng)或裝置至少之一，每個裝置至少具有與其它所述裝置和/或與所述通信系統(tǒng)交換信息的通信能力，至少一些所述裝置的每一個均具有一個或多個傳感器，用于獲取與所述裝置附近環(huán)境相關(guān)的傳感器數(shù)據(jù)； 通過所選擇的裝置子集來獲取傳感器數(shù)據(jù)； 基于所獲取的所選擇的裝置子集的傳感器數(shù)據(jù)來接收信息；以及通過所述控制器對從所選擇的裝置子集接收的信息進(jìn)行組合，以確定在一個或多個所述裝置附近的環(huán)境特性。
33.如權(quán)利要求32所述的方法，其中，接收所述信息包括在從所述控制器接收針對所述信息的請求之前，接收在所述裝置處緩沖的信息。
34.如權(quán)利要求3 2所述的方法，其中，獲取所述傳感器數(shù)據(jù)包括處理所獲取的傳感器數(shù)據(jù)以確定至少一個事項(xiàng)，經(jīng)處理的數(shù)據(jù)被用以確定所述環(huán)境特性。
35.如權(quán)利要求32所述的方法，所述方法還包括從組合信息中確定所述裝置的一群用戶的趨勢信息。
36.如權(quán)利要求32所述的方法，所述方法還包括從組合信息中監(jiān)控所述裝置的一群用戶的事項(xiàng)定位、事項(xiàng)追蹤、話題和觸發(fā)事項(xiàng)至少之一。
37.如權(quán)利要求32所述的方法，所述方法還包括從組合信息中確定與多個裝置相關(guān)的累積運(yùn)動相關(guān)特性。
38.如權(quán)利要求32所述的方法，所述方法還包括響應(yīng)于所述環(huán)境特性來調(diào)整所述裝置子集中裝置的選擇或所述子集中裝置的配置至少之一。
39.如權(quán)利要求32所述的方法，其中，響應(yīng)于來自各裝置的確認(rèn)指示接收來自所述裝置子集中至少一個裝置的信息，所述確認(rèn)指示對允許將各信息釋放到所述控制器進(jìn)行指/Jn ο
【文檔編號】G06F11/00GK103688245SQ201180068860
【公開日】2014年3月26日 申請日期:2011年12月30日 優(yōu)先權(quán)日:2010年12月30日
【發(fā)明者】史蒂文·W·戈?duì)柎奶? 申請人:安比恩特茲公司