本發(fā)明涉及一種識別用戶的多個行為的方法，更具體地講，提供一種在特定空間做出多個行為的情況下，從收集到的聲源能夠識別用戶的多個行為，且從所識別的多個用戶行為能夠準確地判斷用戶狀況的方法。

背景技術(shù)：

作為用于判斷用戶日常生活中用戶狀況的重要因素而在使用識別用戶行為。這種用戶狀況判斷能夠切合無所不在的環(huán)境而使用于控制用戶所在場所的環(huán)境或提供醫(yī)療服務(wù)或推薦適于用戶的商品等多種服務(wù)。

過去為了識別用戶的行為而使用基于位置的識別方式、基于行為的識別方式、以及基于聲源的識別方式等。

就基于位置的識別方式而言，利用附著于用戶所持有的終端的GPS模塊或利用配置于用戶所在的場所的用戶檢測傳感器如紅外線檢測傳感器、熱檢測傳感器等基于用戶當前位于哪種場所而識別用戶行為。即、基于用戶當前所在的場所而以在該場所所能夠做出的行為來識別用戶行為。然而，就過去基于位置的識別方式而言，由于在相同的場所也能夠做出多個行為，因此具有難以準確地識別用戶行為之類的問題。

另一方面，就基于行為的識別方式而言，利用相機而獲取用戶影像并從所獲取的用戶影像中提取連續(xù)行動或舉止，并以所提取的連續(xù)行動或舉止來識別用戶行為。然而，就基于行為的識別方式而言，由于獲取用戶影像，因此在保護個人隱私方面欠妥，且具有以從用戶影像中提取的連續(xù)行為或舉止就難以準確地識別用戶行為之類的問題。

另一方面，就過去基于聲源的識別方式而言，利用用戶所持有或配置于用戶所在場所的麥克風(fēng)而在用戶所在場所獲取聲源并基于獲取的聲源而識別用戶的行為。就基于聲源的識別方式而言，基于聲源信息而在數(shù)據(jù)庫檢索與聲源信息最相似的參考聲源，并將映射于最相似的參考聲源的行為識別為用戶行為。在過去基于聲源的識別方式的情況下，基于聲源信息而將映射于最相似的參考聲源的行為識別為用戶行為，但在多名用戶各自做出多種行為或1名用戶同時或依次做出多個行為導(dǎo)致與多個行為相應(yīng)的聲源彼此混合的情況下具有識別不了多個行為的問題。

技術(shù)實現(xiàn)要素：

技術(shù)問題

本發(fā)明旨在解決上面所提及的過去的用戶行為識別方法中所存在的問題，本發(fā)明所要達到的目的在于提供一種在特定空間做出多個行為的情況下從收集到的聲源能夠識別用戶的多個行為的方法。

本發(fā)明所要達到的另一目的在于提供一種從收集到的聲源中所起始的一部分起始聲源模式(pattern)和收集到的聲源中所終了的一部分終了聲源模式能夠識別用戶的多個行為的方法。

本發(fā)明所要達到的其它目的在于提供一種不僅參考收集到的聲源而且參考所收集聲源的場所信息，以去除場所信息中所不可能產(chǎn)生的排他參考聲源模式，從而從收集到的聲源能夠準確地識別用戶的多個行為的方法。

解決問題方案

為了達到本發(fā)明的目的，根據(jù)本發(fā)明的一實施例的用戶的多個行為識別方法，其特征在于，包括：在用戶所在的場所收集聲源和位置信息的步驟；計算收集到的聲源的起始聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的起始相似度，并計算收集到的聲源的終了聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的終了相似度的步驟；基于起始相似度和終了相似度而將與起始聲源模式及終了聲源模式一致的參考聲源模式分別選擇為起始候選參考聲源模式和終了候選參考聲源模式的步驟；以及基于起始候選參考聲源模式、終了候選參考聲源模式以及用戶位置信息而識別用戶的多個行為的步驟。

優(yōu)選地、根據(jù)本發(fā)明的一實施例的用戶的多個行為識別方法其特征在于，進一步包括：判斷收集到的聲源中增幅大于閾值的增加區(qū)域或減幅大于閾值的減小區(qū)域的步驟；以及從增加區(qū)域或減小區(qū)域的數(shù)量判斷形成收集到的聲源的多個行為的數(shù)量的步驟。

優(yōu)選地、根據(jù)本發(fā)明的一實施例的用戶的多個行為識別方法其特征在于，進一步包括：基于用戶位置信息而判斷起始候選參考聲源模式或終了候選參考聲源模式中在場所不可能產(chǎn)生的排他參考聲源模式的步驟；以及將排他參考聲源模式從起始候選參考聲源模式或終了候選參考聲源模式中刪除而選擇最終候選參考聲源模式的步驟，基于最終候選參考聲源模式和用戶位置信息而識別用戶的多個行為。

優(yōu)選地、在本發(fā)明中，在增加區(qū)域或上述減小區(qū)域被判斷為2個的情況下，識別用戶的多個行為的步驟的一例其特征在于，包括：將最終候選參考聲源模式中1個起始候選參考聲源模式和最終候選參考聲源模式中1個終了候選參考聲源模式分別相加而生成候選聲源組合的步驟；將構(gòu)成候選聲源組合的各候選聲源與收集到的聲源的相似度進行比較而確定候選聲源組合中與收集到的聲源最相似的最終候選聲源的步驟；以及將分別映射于構(gòu)成最終候選聲源的起始候選參考聲源模式和終了候選參考聲源模式的多個行為識別為用戶的行為的步驟。

優(yōu)選地、在本發(fā)明中，在增加區(qū)域或減小區(qū)域被判斷為2個的情況下，識別用戶的多個行為的步驟的另一例其特征在于，包括：判斷在起始候選參考聲源模式的最終候選參考聲源模式中是否存在與終了候選參考聲源模式的最終候選參考聲源模式一致的一致候選參考聲源模式的步驟；將一致候選參考聲源模式確定為第一最終聲源模式的步驟；將從收集到的聲源中減除了第一最終聲源模式的相減聲源與存儲于數(shù)據(jù)庫的參考聲源模式之間的相似度進行比較而選擇第二最終聲源模式的步驟；以及將分別映射于第一最終聲源模式和第二最終聲源模式的行為識別為用戶的多個行為的步驟。

另一方面，根據(jù)本發(fā)明的另一實施例的用戶的多個行為識別方法其特征在于，包括：在用戶所在的場所收集聲源的步驟；計算收集到的聲源的起始聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的起始相似度，并計算收集到的聲源的終了聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的終了相似度的步驟；基于起始相似度而將與起始聲源模式一致的參考聲源模式選擇為起始候選參考聲源模式，并基于終了相似度而將與終了聲源模式一致的參考聲源模式選擇為終了候選參考聲源模式的步驟；判斷在起始候選參考聲源模式和終了候選參考聲源模式中是否存在相互一致的候選參考聲源模式的步驟；在相互一致的候選參考聲源模式存在的情況下，將相互一致的候選參考聲源模式選擇為第一最終聲源模式，并利用第一最終聲源模式而判斷剩余最終聲源模式的步驟；以及將分別映射于第一最終聲源模式和剩余最終聲源模式的用戶行為識別為用戶的多個行為的步驟。

優(yōu)選地、根據(jù)本發(fā)明的另一實施例的用戶的多個行為識別方法其特征在于，進一步包括：判斷收集到的聲源中增幅大于閾值的增加區(qū)域或減幅大于閾值的減小區(qū)域的步驟；以及從增加區(qū)域或上述減小區(qū)域的數(shù)量判斷形成收集到的聲源的多個行為的數(shù)量的步驟。

優(yōu)選地、在根據(jù)本發(fā)明的另一實施例的用戶的多個行為識別方法中，在增加區(qū)域或減小區(qū)域被判斷為2個的情況下，識別用戶的多個行為的步驟的一例其特征在于，包括：在相互一致的候選參考聲源模式存在的情況下將相互一致的候選參考聲源模式選擇為第一最終聲源模式的步驟；將從收集到的聲源中減除了第一最終聲源模式的相減聲源與存儲于數(shù)據(jù)庫的參考聲源模式之間的相似度進行比較而選擇第二最終聲源模式的步驟；以及將分別映射于第一最終聲源模式和第二最終聲源模式的行為識別為用戶的多個行為的步驟。

優(yōu)選地、根據(jù)本發(fā)明的另一實施例的用戶的多個行為識別方法其特征在于，在相互一致的候選參考聲源模式并不存在且增加區(qū)域或減小區(qū)域被判斷為2個的情況下，識別用戶的多個行為的步驟包括：將起始候選參考聲源模式和終了候選參考聲源模式分別相加而生成候選聲源組合的步驟；將構(gòu)成候選聲源組合的各候選聲源與收集到的聲源的相似度進行比較而確定候選聲源中與收集到的聲源最相似的最終聲源模式的步驟；以及將分別映射于構(gòu)成最終聲源模式的起始候選參考聲源模式和終了候選參考聲源模式的行為識別為用戶的多個行為的步驟。

優(yōu)選地、根據(jù)本發(fā)明的另一實施例的用戶的多個行為識別方法其特征在于，進一步包括：基于用戶位置信息而判斷候選參考聲源模式中在場所不可能產(chǎn)生的排他參考聲源模式的步驟；以及將排他參考聲源模式從起始候選參考聲源模式或終了候選參考聲源模式中刪除而選擇最終候選參考聲源模式的步驟。

另一方面，根據(jù)本發(fā)明的用戶狀況判斷方法其特征在于，包括：在用戶所在的場所收集聲源的步驟；計算收集到的聲源的起始聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的起始相似度，并計算收集到的聲源的終了聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的終了相似度的步驟；基于起始相似度和終了相似度而將與起始聲源模式及終了聲源模式一致的參考聲源模式分別選擇為起始候選參考聲源模式和終了候選參考聲源模式的步驟；將由起始候選參考聲源模式和終了候選參考聲源模式所生成的相加聲源模式與收集到的聲源進行比較而從起始候選參考聲源模式或終了候選參考聲源模式中確定形成收集到的聲源的最終起始聲源模式和最終終了聲源模式的步驟；以及基于由最終起始聲源模式和最終終了聲源模式所生成的聲源模式組合和用戶位置信息而判斷用戶狀況的步驟。

優(yōu)選地、根據(jù)本發(fā)明的一實施例的用戶狀況判斷方法其特征在于，進一步包括：判斷收集到的聲源中增幅大于閾值的增加區(qū)域或減幅大于閾值的減小區(qū)域的步驟；以及從增加區(qū)域或上述減小區(qū)域的數(shù)量判斷形成收集到的聲源的多個行為的數(shù)量的步驟。

優(yōu)選地、根據(jù)本發(fā)明的一實施例的用戶狀況判斷方法其特征在于，進一步包括：基于用戶位置信息而判斷起始候選參考聲源模式或終了候選參考聲源模式中在收集了聲源的場所不可能產(chǎn)生的排他參考聲源模式的步驟；以及將排他參考聲源模式從起始候選參考聲源模式或終了候選參考聲源模式中刪除的步驟。

優(yōu)選地、在根據(jù)本發(fā)明的用戶狀況判斷方法中，在增加區(qū)域或減小區(qū)域被判斷為2個的情況下，判斷用戶的狀況的步驟的一例其特征在于，包括：將起始候選參考聲源模式中1個候選聲源模式和終了候選參考聲源模式中1個候選聲源模式分別相加而生成候選聲源組合的步驟；將構(gòu)成候選聲源組合的各候選聲源與收集到的聲源的相似度進行比較而確定候選聲源組合中與收集到的聲源最相似的最終候選聲源的步驟；以及從與模式組合相應(yīng)的多個行為判斷用戶狀況的步驟，其中，模式組合由構(gòu)成最終候選聲源的候選聲源模式組成。

優(yōu)選地、在根據(jù)本發(fā)明的用戶狀況判斷方法中，在增加區(qū)域或減小區(qū)域被判斷為2個的情況下，判斷用戶狀況的步驟的另一例其特征在于，包括：判斷在起始候選參考聲源模式和終了候選參考聲源模式中是否存在相互一致的一致候選參考聲源模式的步驟；將一致候選參考聲源模式確定為第一最終聲源模式的步驟；將從收集到的聲源中減除了第一最終聲源模式的相減聲源與存儲于數(shù)據(jù)庫的參考聲源模式之間的相似度進行比較而選擇第二最終聲源模式的步驟；以及從與模式組合相應(yīng)的多個行為判斷用戶狀況的步驟，其中，模式組合由第一最終聲源模式和第二最終聲源模式組成。

發(fā)明效果

根據(jù)本發(fā)明的用戶的多個行為識別方法具有如下多種效果。

第一、根據(jù)本發(fā)明的用戶的多個行為識別方法，利用收集到的聲源中所起始的一部分起始聲源模式和收集到的聲源中所終了的一部分終了聲源模式而能夠識別用戶同時或依次做出的多個行為。

第二、根據(jù)本發(fā)明的用戶的多個行為識別方法，對于收集到的聲源中的與起始聲源模式和終了聲源模式相似的多個候選參考聲源模式，根據(jù)是否相互一致且是否存在候選參考聲源模式而首先判斷映射于起始聲源模式或終了聲源模式的第一用戶行為，從而能夠準確地判斷除了第一用戶行為之外的剩余用戶行為。

第三、根據(jù)本發(fā)明的用戶的多個行為識別方法，首先基于收集到的聲源信息而選擇能夠識別用戶行為的候選參考聲源模式，接著基于用戶所在的場所的位置信息而選擇最終候選參考聲源模式，從而能夠準確地識別用戶的行為。

第四、根據(jù)本發(fā)明的用戶多個行為識別方法，基于在用戶所在的場所獲取的聲源信息或位置信息而識別用戶行為，從而能夠保護用戶個人隱私，進而即使用戶并未輸入特定信息也能夠準確地識別用戶的多個行為。

第五、根據(jù)本發(fā)明的用戶狀況判斷方法，從收集到的聲音識別多個用戶行為，從而從同時或依次做出的多個用戶行為的組合能夠準確地判斷用戶狀況。

附圖說明

圖1是用于說明根據(jù)本發(fā)明的一實施例的用戶行為識別裝置的功能框圖。

圖2是用于說明根據(jù)本發(fā)明的一實施例的用戶狀況判斷裝置的功能框圖。

圖3是用于更具體地說明根據(jù)本發(fā)明的行為數(shù)量判斷部的一例的功能框圖。

圖4是用于具體地說明根據(jù)本發(fā)明的多個行為識別部的一例的功能框圖。

圖5是用于具體地說明根據(jù)本發(fā)明的多個行為識別部的另一例的功能框圖。

圖6是用于說明根據(jù)本發(fā)明的一實施例的用戶的多個行為識別方法的流程圖。

圖7是用于說明基于增加區(qū)域或減小區(qū)域而分割收集到的聲源的一例的圖。

圖8圖示了根據(jù)本發(fā)明的數(shù)據(jù)庫的一例。

圖9是用于說明根據(jù)本發(fā)明的選擇候選參考聲源的步驟的一例的流程圖。

圖10是用于說明根據(jù)本發(fā)明的識別用戶的多個行為的步驟的一例的流程圖。

圖11是用于說明根據(jù)本發(fā)明的識別用戶的多個行為的步驟的另一例的流程圖。

圖12是用于說明識別用戶的多個行為的步驟的例的圖。

圖13是用于說明收集到的聲源包括與3個以上的用戶行為相應(yīng)的聲源模式的情況下識別用戶的多個行為的方法的一例的圖。

圖14是用于說明根據(jù)本發(fā)明的判斷用戶狀況的方法的流程圖。

圖15圖示了根據(jù)本發(fā)明的存儲于數(shù)據(jù)庫的聲源模式組合和映射于各聲源模式組合的用戶狀況的一例。

具體實施方式

以下參考附圖而更具體地觀察根據(jù)本發(fā)明的用戶行為識別方法。

圖1是用于說明根據(jù)本發(fā)明的一實施例的用戶行為識別裝置的功能框圖。

參考圖1而更具體地觀察如下：信息收集部110在用戶所在的場所收集使用于判斷用戶行為的信息。信息收集部110具備聲源收集部111和位置收集部113，而聲源收集部111在用戶所在的場所收集聲源，位置收集部113收集用戶所在的場所的位置信息。優(yōu)選地、聲源收集部111可以是麥克風(fēng)，位置收集部113能夠使用附著于用戶所持有的終端的GPS模塊或配置于用戶所在的場所的紅外線傳感器、熱傳感器等。這里，收集到的聲源信息能夠使用能夠示出收集到的聲源的特性的共振峰(formant)、音高(pitch)、強度(intensity)等。根據(jù)本發(fā)明所適用的領(lǐng)域而能夠使用多種聲源信息，而這些屬于本發(fā)明的范圍。

行為數(shù)量判斷部120測定收集到的聲源的大小而判斷收集到的聲源中增幅大于閾值的增加區(qū)域或減幅大于閾值的減小區(qū)域，并從增加區(qū)域的數(shù)量或減小區(qū)域的數(shù)量判斷形成收集到的聲源的行為的數(shù)量。另外，行為數(shù)量判斷部120將收集到的聲源中最初產(chǎn)生的增加區(qū)域分割生成為起始聲源模式(PRE-P)或?qū)⑹占降穆曉粗凶詈鬁p小的減小區(qū)域分割生成為終了聲源模式(POST-P)。

相似度計算部130將起始聲源模式和終了聲源模式分別與存儲于數(shù)據(jù)庫140的參考聲源模式進行比較，且計算起始聲源模式與參考聲源模式之間的相似度，并計算終了聲源模式與參考聲源模式之間的相似度。優(yōu)選地、就相似度而言，將構(gòu)成起始聲源模式或終了聲源模式的共振峰、音高、強度中至少某一個聲源信息與參考聲源模式的共振峰、音高、強度中對應(yīng)的某一個聲源信息進行比較而計算相似度。

候選參考聲源選擇部150基于起始聲源模式與參考聲源模式之間的相似度或終了聲源模式與參考聲源模式之間的相似度而將與起始聲源模式和終了聲源模式分別一致的參考聲源模式選擇為候選參考聲源模式。這里，將與起始聲源模式一致的候選參考聲源模式稱為起始候選參考聲源模式，并將與終了聲源模式一致的候選參考聲源模式稱為終了候選參考聲源模式。

排他參考聲源去除部160基于收集到的位置信息而判斷所選擇的候選參考聲源模式中在用戶所在的場所不可能產(chǎn)生的排他參考聲源模式，并將所判斷的排他參考聲源模式從所選擇的候選參考聲源模式中刪除而確定最終候選參考聲源模式。例如，從起始候選聲源模式中刪除排他參考聲源模式而確定對于起始候選參考聲源模式的最終候選參考聲源模式，并從終了候選聲源模式中刪除排他參考聲源模式而確定對于終了候選參考聲源模式的最終候選參考聲源模式。優(yōu)選地、在數(shù)據(jù)庫140存儲有參考聲源模式并且映射而存儲有與參考聲源模式相應(yīng)的用戶行為信息、參考聲源模式所能夠產(chǎn)生的場所信息。

多個行為識別部170基于對于起始候選參考聲源模式的最終候選參考聲源模式和對于終了候選參考聲源模式的最終候選參考聲源模式而識別用戶的多個行為。

圖2是用于說明根據(jù)本發(fā)明的一實施例的用戶狀況判斷裝置的功能框圖。

圖2的信息收集部210、行為數(shù)量判斷部220、相似度計算部230、數(shù)據(jù)庫240、候選參考聲源選擇部250、排他參考聲源去除部260與在前面參考圖1而說明的信息收集部110、行為數(shù)量判斷部120、相似度計算部130、數(shù)據(jù)庫140、候選參考聲源選擇部150、排他參考聲源去除部160相同地工作，因而省略詳細說明。

多個行為識別部270將由起始候選參考聲源模式和終了候選參考聲源模式所生成的相加聲源模式與收集到的聲源進行比較而從最終起始候選參考聲源模式或最終終了候選參考聲源模式中確定形成收集到的聲源的最終起始聲源模式和最終終了聲源模式。

用戶狀況判斷部280基于由最終起始聲源模式和最終終了聲源模式所生成的聲源模式組合和用戶位置信息而在數(shù)據(jù)庫240檢索與聲源模式組合和用戶位置信息相應(yīng)的用戶狀況，并將所檢索的用戶狀況判斷為用戶的當前狀況。優(yōu)選地、在數(shù)據(jù)庫240中，在聲源模式組合映射而存儲有用戶狀況。

圖3是用于更具體地說明根據(jù)本發(fā)明的行為數(shù)量判斷部的一例的功能框圖。

參考圖3而更具體地觀察如下：大小測定部121測定收集到的聲源信息的大小，分割部123基于所測定的聲源信息的大小判斷增幅大于閾值的增加區(qū)域和減幅大于閾值的減小區(qū)域而分割收集到的聲源。分割部123將收集到的聲源中最初產(chǎn)生的增加區(qū)域分割成起始聲源模式，并將收集到的聲源中最后產(chǎn)生的減小區(qū)域分割成終了聲源模式。

判斷部125基于在分割部123所判斷的增加區(qū)域的數(shù)量或減小區(qū)域的數(shù)量而判斷形成收集到的聲源的用戶行為的數(shù)量。

圖4是用于具體地說明根據(jù)本發(fā)明的多個行為識別部的一例的功能框圖。

參考圖4而更具體地觀察如下：候選聲源組合生成部171在判斷形成收集到的聲源的行為的數(shù)量為2個的情況下生成候選聲源組合，該候選聲源組合由去除了排他參考聲源的起始候選參考聲源模式中1個起始候選參考聲源模式和去除了排他參考聲源的終了候選參考聲源模式中1個終了候選參考聲源模式組成。

最終候選聲源組合確定部173將構(gòu)成候選聲源組合的各候選聲源之和與收集到的聲源的相似度進行比較而確定候選聲源組合中與收集到的聲源最相似的最終候選聲源。

行為識別部125在數(shù)據(jù)庫140、240檢索分別映射于構(gòu)成最終候選聲源的起始候選參考聲源模式和終了候選參考聲源模式的行為，并將所檢索的行為識別為用戶的多個行為。

圖5是用于具體地說明根據(jù)本發(fā)明的多個行為識別部的另一例的功能框圖。

參考圖5而更具體地觀察如下：一致候選模式檢索部181在判斷形成收集到的聲源的行為的數(shù)量為2個的情況下，檢索起始候選參考聲源模式的最終候選參考聲源模式中是否存在與終了候選參考聲源模式的最終候選參考聲源模式一致的一致候選參考聲源模式。

在一致候選參考聲源模式存在的情況下，第一最終聲源確定部183將一致候選參考聲源模式確定為第一最終聲源模式，第二最終聲源確定部185將從收集到的聲源中減除了第一最終聲源模式的相減聲源與存儲于數(shù)據(jù)庫140、240的參考聲源模式之間的相似度進行比較而將具有最高的相似度的參考聲源模式確定為第二最終聲源模式。

行為識別部187將數(shù)據(jù)庫240中分別映射于第一最終聲源模式和第二最終聲源模式的行為識別為用戶的多個行為。

圖6是用于說明根據(jù)本發(fā)明的一實施例的用戶的多個行為識別方法的流程圖。

參考圖6而更具體地觀察如下：在用戶所在的場所收集聲源及位置信息(S10)，判斷收集到的聲源中增幅大于閾值的增加區(qū)域或減幅大于閾值的減小區(qū)域(S20)。這里，就增加區(qū)域或減小區(qū)域而言，測定所收集聲源信息的大小，并基于已測定的所收集聲源信息的大小在設(shè)定時間期間監(jiān)測增幅大于閾值或減幅大于閾值的區(qū)域而判斷增加區(qū)域或減小區(qū)域。這里，在產(chǎn)生增加區(qū)域或減小區(qū)域之后至產(chǎn)生下一個增加區(qū)域或下一個減小區(qū)域的區(qū)域分割成增加區(qū)域或減小區(qū)域，且將收集到的聲源中最初產(chǎn)生的增加區(qū)域選擇為起始聲源模式并將收集到的聲源中最后產(chǎn)生的減小區(qū)域選擇為終了聲源模式。

從增加區(qū)域或減小區(qū)域的數(shù)量判斷形成收集到的聲源的多個行為的數(shù)量(S30)。通常在用戶做出一定行為的過程中同時進一步做出另一行為的情況下所收集聲源信息的大小會突然增加，接著在同時做出多個行為的過程中中斷一部分行為的情況下所收集聲源信息的大小會突然減小?；谶@種事實而從增加區(qū)域或減小區(qū)域的數(shù)量判斷形成收集到的聲源的多個行為的數(shù)量。

圖7是用于說明基于增加區(qū)域或減小區(qū)域而分割收集到的聲源的一例的圖。

首先，參考圖7(a)而觀察如下：測定收集到的聲源SS的大小而判斷在設(shè)定時間期間增幅大于閾值的增加區(qū)域或減幅大于閾值的減小區(qū)域，優(yōu)選地、為了判斷增加區(qū)域或減小區(qū)域，能夠?qū)⑺占曉葱畔⒌拇笮∑湓龇笥陂撝祷蛩占曉葱畔⒌拇笮∑錅p幅大于閾值的區(qū)域判斷為增加區(qū)域或減小區(qū)域。在圖7(a)中，在所收集聲源信息的大小其增幅首先大于閾值的增加區(qū)域形成隨1個行為的聲源，其次，在所收集聲源信息的大小其增幅接著大于閾值的增加區(qū)域追加1個行為而形成聲源。這樣，從增加區(qū)域的數(shù)量能夠判斷形成收集到的聲源的多個行為的數(shù)量。

參考圖7(b)而觀察如下：判斷所收集聲源信息的大小開始增加而增幅大于閾值的區(qū)域而將該區(qū)域分割成單位增加區(qū)域，并將所收集聲源信息的大小開始減小而減幅大于閾值的區(qū)域分割成單位減小區(qū)域。這里，將所收集聲源信息的單位增加區(qū)域或單位減小區(qū)域中除了起始聲源模式和終了聲源模式之外的區(qū)域分割成相加聲源模式。

重新參考圖6而觀察如下：計算收集到的聲源的起始聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的起始相似度，并計算收集到的聲源的終了聲源模式與存儲于數(shù)據(jù)庫的參考聲源模式之間的終了相似度(S40)。圖8圖示了數(shù)據(jù)庫的一例，如圖8所圖示，存儲有聲源模式、與各聲源模式相應(yīng)的行為、對于行為所能夠做出的場所的信息，這里，在聲源模式中存儲有參考聲源模式信息如對于共振峰、音高、強度等的信息。

就存儲于數(shù)據(jù)庫的參考聲源模式信息的種類而言，其各聲源信息的種類與收集到的聲源信息的種類相同，按照共振峰、音高、強度等的聲源信息種類計算收集到的聲源信息與存儲于數(shù)據(jù)庫的參考聲源模式信息之間的相似度。計算相似度(S_SI)的方式的一例能夠如下面的等式1那樣計算。

等式1

這里，等式1的特征在于，SIi為參考聲源模式信息的種類(i)，GIi為與參考聲源模式信息的種類相同的所收集聲源信息的種類(i)，n為參考聲源模式信息種類或收集到的聲源信息種類的數(shù)量。

基于算出的相似度(S_SI)而將與起始聲源模式的相似度為臨界相似度以上的參考聲源模式選擇為起始候選參考聲源模式，并將與終了聲源模式的相似度為臨界相似度以上的參考聲源模式選擇為終了候選參考聲源模式(S50)。優(yōu)選地、基于算出的相似度(S_SI)而能夠?qū)⑴c起始聲源模式的相似度高的、設(shè)定個數(shù)的參考聲源模式選擇為起始候選參考聲源模式，或者，將與終了聲源模式的相似度高的、設(shè)定個數(shù)的參考聲源模式選擇為終了候選參考聲源模式。其中，設(shè)定個數(shù)的參考聲源模式為將相似度按照由大至小的順序排列時的與所設(shè)定個數(shù)相應(yīng)的上位參考聲源模式。

基于起始候選參考聲源模式、終了候選參考聲源模式、以及用戶位置信息而從收集到的聲源識別用戶的多個行為(S60)。

圖9是用于說明根據(jù)本發(fā)明的選擇候選參考聲源的步驟的一例的流程圖。

參考圖9而更具體地觀察如下：將收集到的聲源的起始聲源模式和終了聲源模式分別與數(shù)據(jù)庫的參考聲源模式進行比較而將與起始聲源模式及終了聲源模式一致的參考聲源模式分別選擇為起始候選參考聲源模式和終了候選參考聲源模式(S51)。

基于用戶位置信息和存儲于數(shù)據(jù)庫的參考聲源模式的場所信息而判斷起始候選參考聲源模式或終了候選參考聲源模式中在用戶所在的場所不可能產(chǎn)生的排他參考聲源模式(S53)。例如，在選擇模式1、模式2、模式3、模式7而作為起始候選參考聲源模式且用戶位置信息被判斷為廚房的情況下，由于映射于模式7的場所信息為客廳和書房，因此模式7被判斷為在用戶所在的場所不可能產(chǎn)生的排他參考聲源模式。

將排他參考聲源模式從起始候選參考聲源模式或終了候選參考聲源模式中刪除而確定最終候選參考聲源模式(S55)。

優(yōu)選地、識別用戶的多個行為的步驟的特征在于，基于候選參考聲源模式中去除了排他參考聲源模式的最終候選參考聲源模式和用戶位置信息而識別用戶的多個行為。

圖10是用于說明根據(jù)本發(fā)明的識別用戶的多個行為的步驟的一例的流程圖。

參考圖10而更具體地觀察如下：判斷存在于收集到的聲源的增加區(qū)域的數(shù)量是否為2個(S111)，在基于增加區(qū)域的數(shù)量而判斷用戶行為的數(shù)量為2個的情況下，將最終候選參考聲源模式中1個起始候選參考聲源模式和最終候選參考聲源模式中1個終了候選參考聲源模式分別相加而生成候選聲源組合(S113)。

將候選聲源組合與收集到的聲源的相似度進行比較而確定候選聲源組合中與收集到的聲源最相似的最終候選聲源組合(S115)。這里，就候選聲源組合與收集到的聲源的相似度而言，如在前面參考等式1而說明，按照候選聲源組合的聲源信息的種類將收集到的聲源信息之間的相似度相加而計算。

在數(shù)據(jù)庫檢索分別映射于構(gòu)成最終候選聲源組合的起始候選參考聲源模式和終了候選參考聲源模式的多個行為而將所檢索的行為識別為用戶的多個行為(S117)。

圖11是用于說明根據(jù)本發(fā)明的識別用戶的多個行為的步驟的另一例的流程圖。

參考圖11而更具體地觀察如下：判斷存在于收集到的聲源的增加區(qū)域的數(shù)量是否為2個(S121)，判斷起始候選參考聲源模式的最終候選參考聲源模式中是否存在與終了候選參考聲源模式的最終候選參考聲源模式一致的一致候選參考聲源模式(S123)。在一致候選參考聲源模式存在的情況下，將一致候選參考聲源模式確定為第一最終聲源模式(S125)。

將從收集到的聲源中減除了第一最終聲源模式的相減聲源與存儲于數(shù)據(jù)庫的參考聲源模式之間的相似度進行比較而確定第二最終聲源模式(S127)。優(yōu)選地、就相減聲源與參考聲源模式之間的相似度而言，如在前面參考等式1而說明，按照相減聲源信息的種類將參考聲源模式信息之間的相似度相加而計算。

在數(shù)據(jù)庫檢索分別映射于第一最終聲源模式和第二最終聲源模式的行為，并將所檢索的行為識別為用戶的多個行為(S129)。

圖12是用于說明識別用戶的多個行為的步驟的例的圖。

首先，參考圖12(a)而觀察如下：在存在于收集到的聲源的增加區(qū)域的數(shù)量為2個的情況下，將收集到的聲源分割成起始聲源模式、終了聲源模式、相加聲源模式。在a1、a2作為對于起始聲源模式的最終起始候選參考聲源模式而被選擇且b1、b2作為對于終了聲源模式的最終終了候選參考聲源模式而被選擇的情況下，將最終起始候選參考聲源模式中1個和最終終了候選參考聲源模式中1個分別相加而生成候選聲源組合即{(a1，b1)、(a1，b2)、(a2，b1)、(a2，b2)}。這里，a1、a2、b1、b2是存儲于數(shù)據(jù)庫的參考聲源模式。

將構(gòu)成候選聲源的各聲源組合與收集到的聲源的相加聲源模式之間的相似度進行比較而確定最相似的最終候選聲源a1、b2。將分別映射于a1、b2的行為識別為用戶的多個行為。

接著，參考圖12(b)而觀察如下：在存在于收集到的聲源的增加區(qū)域的數(shù)量為2個的情況下，將收集到的聲源分割成起始聲源模式、終了聲源模式、相加聲源模式。在a1、a2作為對于起始聲源模式的最終起始候選參考聲源模式而被選擇且a1、b2作為對于終了聲源模式的最終終了候選參考聲源模式而被選擇的情況下，判斷最終起始候選參考聲源模式和最終終了候選參考聲源模式中是否存在相互一致的參考聲源模式。

在一致參考聲源模式a1存在的情況下，將一致參考聲源模式a1確定為第一最終聲源模式。從收集到的聲源的相加聲源模式中減除第一最終聲源模式而生成相減圖形，并在數(shù)據(jù)庫檢索與相減圖形最相似的參考聲源模式。在檢索出最相似的參考聲源模式b1的情況下，將最相似的參考聲源模式b1確定為第二最終聲源模式。將分別映射于a1、b1的行為識別為用戶的多個行為。

圖13是用于說明收集到的聲源包括與3個以上的用戶行為相應(yīng)的聲源模式的情況下識別用戶的多個行為的方法的一例的圖。

參考圖13而觀察如下：基于收集到的聲源的增加區(qū)域確認出包括3個用戶行為。將收集到的聲源分別分割成單位增加區(qū)域1、2、3或單位減小區(qū)域4、5。

首先，將與起始聲源模式相似的參考聲源模式選擇為第一候選參考聲源模式a1、a2，并將與終了聲源模式相似的參考聲源模式選擇為第二候選參考聲源模式a1、c2。在與第一候選參考聲源模式一致的第二候選參考聲源模式存在的情況下，將一致候選參考聲源模式a1確定為第一最終聲源。

將與從單位增加區(qū)域2中減除第一最終聲源a1而生成的相減聲源相似的參考聲源模式選擇為第三候選參考聲源模式b1、b2，并將與從單位減小區(qū)域4中減除第一最終聲源a1而生成的相減聲源相似的參考聲源模式選擇為第四候選參考聲源模式b1、d2。在與第三候選參考聲源模式一致的第四候選參考聲源模式存在的情況下，將一致候選參考聲源模式b1確定為第二最終聲源。從相當于相加聲源模式的單位增加區(qū)域3中減除第一最終聲源與第二最終聲源之和聲源而生成相減圖形，并計算相減圖形與參考聲源模式的相似度而將相似度最高的參考聲源模式選擇為第三最終聲源。

將數(shù)據(jù)庫中映射于第一最終聲源、第二最終聲源、以及第三最終聲源的行為識別為用戶的多個行為。

然而，在第二候選參考聲源模式為c1、c2而并不存在與第一候選參考聲源模式一致的候選參考聲源模式的情況下，將與從單位增加區(qū)域2中減除第一候選參考聲源模式a1、a2中某一個而生成的相減聲源相似的參考聲源模式選擇為第三候選參考聲源模式b2、b3。而且，將與從單位減小區(qū)域4中減除第二候選參考聲源模式c1、c2中某一個而生成的相減聲源相似的參考聲源模式選擇為第四候選參考聲源模式d1、d2。

在第三候選參考聲源模式和第四候選參考聲源模式中存在一致的候選參考聲源模式的情況下，如在前面所說明，將一致候選參考聲源模式選擇為最終聲源，但在一致候選參考聲源模式并不存在的情況下，計算從單位增加區(qū)域3中減除由第一候選參考聲源模式和第三候選參考聲源模式的組合組成的相加聲源而生成的相減聲源與參考聲源模式的相似度，而選擇為第五候選參考聲源模式e1、e2。

將第一候選參考聲源模式中某一個參考聲源模式、第三候選參考聲源模式中某一個參考聲源模式、以及第五候選參考聲源模式中某一個參考聲源模式彼此相加而生成的各最終相加聲源與單位增加區(qū)域3的所收集聲源之間的相似度進行比較，而選擇具有最高的相似度的最終相加聲源，并將與構(gòu)成最終相加聲源的第一候選參考聲源模式、第三候選參考聲源模式、以及第五候選參考聲源模式相應(yīng)的行為識別為用戶的多個行為。

圖14是用于說明根據(jù)本發(fā)明的判斷用戶狀況的方法的流程圖。

參考圖14而更具體地觀察如下：圖14的收集聲源或位置信息的步驟(S210)、判斷增減區(qū)域的步驟(S220)、判斷多個行為的數(shù)量的步驟(S230)、計算相似度的步驟(240)、選擇候選參考聲源模式的步驟(S250)與在前面參考圖6而說明的收集聲源或位置信息的步驟(S10)、判斷增減區(qū)域的步驟(S20)、判斷多個行為的數(shù)量的步驟(S30)、計算相似度的步驟(40)、選擇候選參考聲源模式的步驟(S50)相同，因而省略對其的詳細說明。

將由起始候選參考聲源模式和終了候選參考聲源模式所生成的相加聲源模式與收集到的聲源進行比較而從起始候選參考聲源模式或終了候選參考聲源模式中確定形成收集到的聲源的第一最終聲源模式和第二最終聲源模式(S260)。

基于由第一最終聲源模式和第二最終聲源模式所生成的聲源模式組合和用戶位置信息而判斷用戶狀況(S270)。優(yōu)選地、在數(shù)據(jù)庫中存儲有聲源模式組合并映射而存儲有與各聲源模式組合相應(yīng)的用戶狀況。圖15圖示了根據(jù)本發(fā)明的存儲于數(shù)據(jù)庫的聲源模式組合和映射于各聲源模式組合的用戶狀況的一例。在模式3和模式4分別作為第一最終聲源模式和第二最終聲源模式而被選擇的情況下，以映射于模式3和模式4的狀況來判斷用戶狀況。

這樣，從收集到的聲音確定形成收集到的聲音的多個最終聲源模式，而在各最終聲源模式映射有用戶行為，其次，將映射于由最終聲源模式組成的聲源模式組合的狀況識別為用戶狀況，從而能夠準確地判斷與多個用戶行為相應(yīng)的用戶狀況。

另一方面，上述的本發(fā)明的各實施例，能夠以可在計算機執(zhí)行的程序來編寫，且利用以計算機可讀的記錄介質(zhì)而能夠在運行上述程序的通用數(shù)字計算機具體實現(xiàn)。

上述計算機可讀的記錄介質(zhì)包括磁存儲介質(zhì)(例如，只讀存儲器、軟盤、硬盤等)、光學(xué)可讀介質(zhì)(例如，只讀光盤存儲器、數(shù)字化視頻光盤等)、以及如載波(例如，通過因特網(wǎng)的傳輸)那樣的存儲介質(zhì)。

雖然參考圖示于附圖中的實施例來說明了本發(fā)明，但這只是例示而已，本領(lǐng)域普通技術(shù)人員能夠理解由此能夠進行各種變形以及能夠?qū)嵤┑韧钠渌鼘嵤├@一點。因此，本發(fā)明的真正的技術(shù)保護范圍應(yīng)由所附的權(quán)利要求書的技術(shù)思想所確定。