本申請涉及音頻技術(shù)領(lǐng)域，且更具體地，涉及一種聲源定位方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)。

背景技術(shù)：

在智能設(shè)備的語音體驗功能中，如果設(shè)備可以對諸如用戶之類的聲源精準(zhǔn)地進行定方向和定距離，則會有很多應(yīng)用可以實行，比如多媒體虛擬環(huán)繞體驗、全景音、四維(4D)電影、智能人機交互、智能設(shè)備交互、娛樂系統(tǒng)等等。

現(xiàn)有的聲源定位系統(tǒng)和方法大都是基于麥克風(fēng)陣列來實現(xiàn)的。當(dāng)麥克風(fēng)陣列應(yīng)用于遠(yuǎn)場的聲源定位時，由于遠(yuǎn)場聲場的模型的特殊性，現(xiàn)有的基于麥克風(fēng)陣列的聲源定位技術(shù)無法像在近場應(yīng)用中那樣，可以同時確定近場聲源的方向和距離，而只能對遠(yuǎn)場聲源進行方向定位，從而造成了而無法實現(xiàn)精確且完整的遠(yuǎn)場聲源定位的缺陷。

因此，現(xiàn)有的聲源定位技術(shù)的效果不佳且用戶體驗較差。

技術(shù)實現(xiàn)要素：

為了解決上述技術(shù)問題，提出了本申請。本申請的實施例提供了一種聲源定位方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)，其可以實現(xiàn)聲源的精準(zhǔn)完整定位。

根據(jù)本申請的一個方面，提供了一種聲源定位方法，包括：通過攝像頭獲取聲源在第一位置處的第一圖像；確定所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸，所述延伸方向尺度是所述參考部位在其延伸方向中的真實尺度；獲取所述第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距；以及根據(jù)所述第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系，所述定位映射關(guān)系用于在通過所述攝像頭獲取所述聲源在第二位置處的第二圖像之后，根據(jù)所述延伸方向尺度在所述第二圖像中的第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

根據(jù)本申請的另一方面，提供了一種聲源定位裝置，包括：圖像獲取單元，用于通過攝像頭獲取聲源在第一位置處的第一圖像；尺寸確定單元，用于確定所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸，所述延伸方向尺度是所述參考部位在其延伸方向中的真實尺度；間距獲取單元，用于獲取所述第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距；以及關(guān)系確定單元，用于根據(jù)所述第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系，所述定位映射關(guān)系用于在通過所述攝像頭獲取所述聲源在第二位置處的第二圖像之后，根據(jù)所述延伸方向尺度在所述第二圖像中的第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

根據(jù)本申請的另一方面，提供了一種電子設(shè)備，包括：處理器；存儲器；以及存儲在所述存儲器中的計算機程序指令，所述計算機程序指令在被所述處理器運行時使得所述處理器執(zhí)行上述的聲源定位方法。

根據(jù)本申請的另一方面，提供了一種計算機程序產(chǎn)品，包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的聲源定位方法。

根據(jù)本申請的另一方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的聲源定位方法。

與現(xiàn)有技術(shù)相比，采用根據(jù)本申請實施例的聲源定位方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)，可以通過攝像頭獲取聲源在第一位置處的第一圖像，確定所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸，獲取所述第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距，并且根據(jù)所述第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系。因此，可以利用攝像頭來輔助實現(xiàn)對聲源的精準(zhǔn)定位，從而同時獲得聲源的相對方向和距離，而與聲源處于麥克風(fēng)陣列的近場還是遠(yuǎn)場無關(guān)。

附圖說明

通過結(jié)合附圖對本申請實施例進行更詳細(xì)的描述，本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解，并且構(gòu)成說明書的一部分，與本申請實施例一起用于解釋本申請，并不構(gòu)成對本申請的限制。在附圖中，相同的參考標(biāo)號通常代表相同部件或步驟。

圖1圖示了根據(jù)本申請實施例的聲源定位操作的應(yīng)用場景的示意圖。

圖2圖示了根據(jù)本申請實施例的聲源定位方法的流程圖。

圖3圖示了根據(jù)本申請實施例的第一攝像頭間距獲取步驟的流程圖。

圖4圖示了根據(jù)本申請實施例的麥克風(fēng)陣列近場定位的示意圖。

圖5圖示了根據(jù)本申請實施例的攝像頭成像操作的示意圖。

圖6圖示了根據(jù)本申請實施例的第二攝像頭間距獲取步驟的流程圖。

圖7圖示了根據(jù)本申請實施例的聲源定位方法的可選步驟的流程圖。

圖8圖示了根據(jù)本申請實施例的聲源定位裝置的框圖。

圖9圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。

具體實施方式

下面，將參考附圖詳細(xì)地描述根據(jù)本申請的示例實施例。顯然，所描述的實施例僅僅是本申請的一部分實施例，而不是本申請的全部實施例，應(yīng)理解，本申請不受這里描述的示例實施例的限制。

申請概述

如上所述，現(xiàn)有的聲源定位系統(tǒng)和方法大都是基于麥克風(fēng)陣列來實現(xiàn)的，在遠(yuǎn)處應(yīng)用中，只能確定聲源的方向，而不能做到定距離。

針對該技術(shù)問題，本申請的基本構(gòu)思是提出一種聲源定位方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)，其可以利用攝像頭來輔助實現(xiàn)對聲源的精準(zhǔn)完整定位，從而同時獲得聲源的相對方向和距離，而與聲源處于麥克風(fēng)陣列的近場還是遠(yuǎn)場無關(guān)。

在介紹了本申請的基本原理之后，下面將參考附圖來具體介紹本申請的各種非限制性實施例。

示例性系統(tǒng)

圖1圖示了根據(jù)本申請實施例的聲源定位操作的應(yīng)用場景的示意圖。

如圖1所示，用于聲源定位操作的應(yīng)用場景包括聲源定位設(shè)備100和聲源200。

該聲源200可以是任何類型的聲源，包括有生命的聲源和無生命的聲源。例如，有生命的聲源可以包括人和動物等；而無生命的聲源可以包括機器人、電視機、音響等。該聲源200可以是發(fā)出有效信號的信號源，也可以是發(fā)出無效信號的噪聲源。

該聲源定位設(shè)備100用于對聲源進行定位。例如，該聲源定位設(shè)備100可以包括麥克風(fēng)陣列110、攝像頭120、和定位功能模塊130。

該麥克風(fēng)陣列110可以是由一定數(shù)目的麥克風(fēng)組成、用來對聲場的空間特性進行采樣并處理的系統(tǒng)。取決于各個麥克風(fēng)的指向性，麥克風(fēng)陣列可以包括全向麥克風(fēng)和/或指向麥克風(fēng)。全向麥克風(fēng)對于來自不同角度的聲音，其靈敏度是基本相同的，其頭部采用壓力感應(yīng)的原理設(shè)計，振膜只接受來自外界的壓力。指向麥克風(fēng)主要采用壓力梯度的原理設(shè)計，通過頭部腔體后面的小孔，振膜接受到正反兩面的壓力，因此振膜受不同方向的壓力并不相同，麥克風(fēng)具有了指向性。例如，麥克風(fēng)陣列110可以包括各自拾音區(qū)不完全相同的多個麥克風(fēng)MIC1到MICn，其中n是大于等于2的自然數(shù)。例如，取決于各個麥克風(fēng)的相對位置關(guān)系，麥克風(fēng)陣列110可以分為：線性陣列，其陣元中心位于同一條直線上；平面陣列，其陣元中心分布在一個平面上；以及空間陣列，其陣元中心分布在立體空間中。

該攝像頭120可以用于捕捉聲源的當(dāng)前圖像，其可以是單獨的攝像頭120或攝像頭120陣列。例如，攝像頭120所采集到的場景圖像可以是單幀圖像、連續(xù)圖像幀序列(即，視頻流)或離散圖像幀序列(即，在預(yù)定采樣時間點采樣到的圖像數(shù)據(jù)組)等。例如，該攝像頭120可以是如單目相機、雙目相機、多目相機等，另外，其可以用于捕捉灰度圖，也可以捕捉帶有顏色信息的彩色圖。當(dāng)然，本領(lǐng)域中已知的以及將來可能出現(xiàn)的任何其他類型的相機都可以應(yīng)用于本申請，本申請對其捕捉圖像的方式?jīng)]有特別限制，只要能夠獲得輸入圖像的灰度或顏色信息即可。為了減小后續(xù)操作中的計算量，在一個實施例中，可以在進行分析和處理之前，將彩色圖進行灰度化處理。

該定位功能模塊130可以通過攝像頭獲取聲源的圖像，確定該聲源的參考部位在該圖像中的像素尺寸，獲取該聲源與該攝像頭之間的相對距離，并且根據(jù)該像素尺寸和該相對距離來確定定位映射關(guān)系，以用于根據(jù)稍后獲取的聲源圖像對該聲源的位置進行更新。

需要注意的是，上述應(yīng)用場景僅是為了便于理解本申請的精神和原理而示出，本申請的實施例不限于此。相反，本申請的實施例可以應(yīng)用于可能適用的任何場景。例如，該聲源可以是一個或多個，類似地，該聲源定位設(shè)備也可以為一個或多個。

示例性方法

下面結(jié)合圖1的應(yīng)用場景，參考圖2來描述根據(jù)本申請實施例的聲源定位方法。

圖2圖示了根據(jù)本申請實施例的聲源定位方法的流程圖。

如圖2所示，根據(jù)本申請實施例的聲源定位方法可以包括：

在步驟S110中，通過攝像頭獲取聲源在第一位置處的第一圖像。

例如，為了使得聲源定位設(shè)備100能夠?qū)β曉?00進行定位，可以在該聲源200處于第一位置(或初始位置)時，通過攝像頭120來采集該聲源的圖像數(shù)據(jù)。為了便于說明，在本申請實施例的以下詳細(xì)描述中，將假設(shè)該聲源200可以是發(fā)出語音信號的用戶。

在步驟S120中，確定所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸，所述延伸方向尺度是所述參考部位在其延伸方向中的真實尺度。

在一個示例中，所述參考部位可以是所述聲源的任何部位，并且所述延伸方向可以平行或近似平行于所述攝像頭的成像平面。所述近似平行可以是指所述延伸方向與成像平面之間的夾角小于或等于預(yù)定角度，例如10度。

例如，在聲源200為用戶的情況下，該參考部位可以是用戶的頭部，而該延伸方向尺度可以是用戶頭部的實際高度，這是由于攝像頭的指向在聲源定位設(shè)備100中往往是水平設(shè)置的，也就是說，該攝像頭的成像平面往往是豎直設(shè)置的。

在此情況下，在通過攝像頭120采集了用戶的圖像數(shù)據(jù)之后，可以確定該用戶頭部的高度在圖像數(shù)據(jù)中的像素尺寸，即通過圖像識別等算法在圖像數(shù)據(jù)中計算用戶的頭部在圖像數(shù)據(jù)中占據(jù)了幾個像素的高度。

盡管這里以用戶頭部的高度為例對聲源的參考部位的延伸方向尺度進行了說明，但是，本申請不限于此。例如，在攝像頭是水平設(shè)置的情況下，該參考部分的延伸方向尺度也可以是用戶頭部的寬度等，替換地，該參考部位也可以是用戶的肩部，而該延伸方向尺度可以是用戶肩部的寬度，或者該參考部位也可以是用戶的整個身體，而該延伸方向尺度可以是用戶的身高。一般地，該參考部位可以是無論用戶如何移動、都能夠在攝像頭的成像范圍內(nèi)，并且該參考部分的延伸方向尺度可以是始終與攝像頭的成像平面保持水平(或者保持夾角固定)的尺度，例如，寬度、高度、長度等。

在步驟S130中，獲取所述第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距。

在步驟S110和/或S120之前或之后、或與之同時地，可以獲取用戶所位于的第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距。例如，所述攝像頭的基準(zhǔn)位置可以是所述攝像頭的光心的位置，即光心在世界坐標(biāo)系下的真實坐標(biāo)。

在一個示例中，為了使得聲源定位設(shè)備100能夠確定聲源200與攝像頭之間的相對距離，可以利用攝像頭120和麥克風(fēng)陣列110組成的綜合定位系統(tǒng)對聲源200進行精準(zhǔn)定位。

圖3圖示了根據(jù)本申請實施例的第一攝像頭間距獲取步驟的流程圖。

如圖3所示，步驟S130可以包括：

在子步驟S131中，通過麥克風(fēng)陣列獲取來自所述第一位置處的所述聲源的多路輸入信號，所述第一位置位于所述麥克風(fēng)陣列的近場范圍內(nèi)。

例如，如圖1所示，聲源定位設(shè)備100除了攝像頭120之外還可以進一步包括麥克風(fēng)陣列110，該麥克風(fēng)陣列110的基準(zhǔn)位置已經(jīng)預(yù)先與攝像頭120的基準(zhǔn)位置進行了配準(zhǔn)。

在本申請的實施例中，為了能夠得到聲源與麥克風(fēng)陣列110之間的相對位置關(guān)系，需要該聲源處于該麥克風(fēng)陣列110的近場范圍內(nèi)。這是因為：從原理上說，聲源在某點所產(chǎn)生的聲壓與該點到聲源的距離成反比例關(guān)系，即，距聲源越近，聲壓變化越大，距聲源越遠(yuǎn)，聲壓變化越小，當(dāng)麥克風(fēng)近距離拾音時，振膜處在球面聲場中，到達(dá)振膜兩表面聲波除了聲壓差之外還有振幅差，因而能夠同時確定出聲源與麥克風(fēng)陣列之間的相對距離和方向，而當(dāng)麥克風(fēng)遠(yuǎn)距離拾音時，振膜處在平面聲場中，到達(dá)振膜兩表面聲波僅僅存在聲壓差，因而只能確定出聲源與麥克風(fēng)陣列之間的相對方向。一般地，近場是指聲源距離麥克風(fēng)陣列110的陣元中心在2-3米的范圍內(nèi)；而遠(yuǎn)場則是指上述范圍之外的區(qū)域。

例如，為了使得聲源的第一位置能夠初始地位于麥克風(fēng)陣列的近場范圍內(nèi)，可以通過語音、文字、圖像等范圍指導(dǎo)用戶走近聲源定位設(shè)備100。

這樣，在該聲源200處于近場的第一位置時，可以通過麥克風(fēng)陣列110中的各個麥克風(fēng)來分別采集該聲源所發(fā)出的音頻數(shù)據(jù)，作為多路輸入信號。

在子步驟S132中，使用所述麥克風(fēng)陣列的近場模型，根據(jù)所述多路輸入信號來計算所述第一位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的第一麥克風(fēng)間距。

為了更得充足的坐標(biāo)信息，該麥克風(fēng)陣列110可以是平面陣列，其包括位于同一平面、但不在同一直線上的多個麥克風(fēng)。當(dāng)然，該麥克風(fēng)陣列也可以選用更為復(fù)雜的空間陣列。

下面，將參考圖4來描述麥克風(fēng)陣列的近場定位原理。

圖4圖示了根據(jù)本申請實施例的麥克風(fēng)陣列近場定位的示意圖。

如圖4所示，假設(shè)該麥克風(fēng)陣列110包括具有同一中心點且呈現(xiàn)平面中心對稱的4個麥克風(fēng)MIC1到MIC4，其陣元中心位于假象坐標(biāo)系的原點，該4個麥克風(fēng)MIC1到MIC4分別位于X軸正向、Y軸正向、X軸負(fù)向、Y軸負(fù)向并與原點O距離為d，假設(shè)作為聲源200的用戶位于坐標(biāo)系中的P點，其坐標(biāo)為(x,y,z)，其與原點O距離為R，其與MIC1到MIC4之間的距離分別為r1到r4，假設(shè)該用戶發(fā)出語音信號的口部位置投影到XY平面上的投影點P’的坐標(biāo)為(x,y,0)，OP’與X軸夾角為OP與Z軸夾角為θ，并且假設(shè)用戶發(fā)出的語音信號到MIC1與該音頻信號到MIC2到MIC4之間的時延分別為Δτ12到Δτ14，已知光速為C＝340米/秒。

那么，通過分析圖4，可以看出：

x²+y²+z²＝R²

(x-d)²+y²+z²＝r1²

x²+(y-d)²+z²＝r2²

(x+d)²+y²+z²＝r3²

x²+(y+d)²+z²＝r4²

r2-r1＝Δτ12×C

r3-r1＝Δτ13×C

r4-r1＝Δτ14×C

通過聯(lián)立上述等式，可以得到：

因此，通過上面的3個等式，可以精確地定位到第一位置與麥克風(fēng)陣列之間的相對距離和方向。換言之，在近場情況下，根據(jù)麥克風(fēng)陣列所獲得的多路輸入信號，可以計算出所述聲源的第一位置與所述麥克風(fēng)陣列的基準(zhǔn)位置(陣元中心)之間的第一麥克風(fēng)間距。

在子步驟S133中，根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第一麥克風(fēng)間距來確定所述第一攝像頭間距。

可以獲取事先校準(zhǔn)好的攝像頭120的基準(zhǔn)位置與麥克風(fēng)陣列110的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系。例如，該配準(zhǔn)關(guān)系可以是指攝像頭的基準(zhǔn)點(例如，光心)與麥克風(fēng)陣列的基準(zhǔn)點(例如，陣元中心)之間的位置偏差以及攝像頭的基準(zhǔn)方向(例如，0度方向)與麥克風(fēng)陣列的基準(zhǔn)方向(例如，0度方向)之間的方向偏差。該配準(zhǔn)關(guān)系由攝像頭的外參矩陣和麥克風(fēng)陣列的陣列結(jié)構(gòu)共同決定，并且可以通過配置將兩個基準(zhǔn)方向統(tǒng)一標(biāo)定。

然后，可以根據(jù)該配準(zhǔn)關(guān)系，將該聲源在所述麥克風(fēng)陣列的音頻坐標(biāo)系下的位置坐標(biāo)轉(zhuǎn)換為所述攝像頭的圖像坐標(biāo)系下的位置坐標(biāo)，從而確定出聲源的第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距。

需要說明的是，由于平面麥克風(fēng)陣列的定位原理決定了它沒有辦法唯一地確定出聲源的位置坐標(biāo)，而只能估計出聲源可能處在位于陣列平面兩側(cè)且以陣列平面面對稱的兩個坐標(biāo)之一，即圖4中的坐標(biāo)(x,y,z)或(x,y,-z)。但是由于麥克風(fēng)陣列的豎直高度(通常為Z軸坐標(biāo))往往是固定的，而作為聲源的用戶的身高也存在大致的范圍，因此，基本上可以準(zhǔn)確地從這兩個坐標(biāo)中確定出用戶發(fā)聲的口部的高度坐標(biāo)。

例如，在聲源定位設(shè)備裝備在掃地機器人的頂面的情況下，由于掃地機器人的高度通常很低，所以可以毫無疑問地確定出用戶的口部必然位于掃地機器人的頂面之上，即用戶的z坐標(biāo)為正值。又如，在聲源定位設(shè)備裝備在空調(diào)的底面的情況下，由于空調(diào)的安裝位置通常很高，所以可以毫無疑問地確定出用戶的口部必然位于空調(diào)的地面之下，即用戶的z坐標(biāo)為負(fù)值。因此，根據(jù)這一原則，可以合理地預(yù)期在聲源定位設(shè)備裝備在其他設(shè)備上時，用戶的z軸坐標(biāo)的正負(fù)值。

需要說明的是，盡管在上面的示例中以利用攝像頭120和麥克風(fēng)陣列110組成的配準(zhǔn)定位系統(tǒng)來確定聲源200的第一位置，但是，本申請不限于此。例如，該第一位置也可以是預(yù)先標(biāo)定并通過激光投射或聲音、文字、圖像提示給用戶，以便用戶能夠知道并站立于其上的，這樣，該第一攝像頭間距可以是預(yù)先設(shè)定且已知的。替換地，該第一攝像頭間距也可以是由用戶人為測量的。

在步驟S140中，根據(jù)所述第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系，所述定位映射關(guān)系用于在通過所述攝像頭獲取所述聲源在第二位置處的第二圖像之后，根據(jù)所述延伸方向尺度在所述第二圖像中的第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

在獲取到第一攝像頭間距之后，可以利用所述攝像頭的成像原理，根據(jù)所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系。例如，所述定位映射關(guān)系可以指示出：所述第一攝像頭間距與所述第二攝像頭間距之比反比于所述第一像素尺寸與所述第二像素尺寸之比。

下面，將參考圖5結(jié)合攝像頭的成像原理來描述定位映射關(guān)系的推導(dǎo)過程。

圖5圖示了根據(jù)本申請實施例的攝像頭成像操作的示意圖。

如圖5所示，假設(shè)作為聲源200的用戶首先位于第一位置，其真實身高為A1C1，其真實頭高為B1C1，這時攝像頭獲取的該用戶的身高在成像平面上的像素高度為P1T，該用戶的頭高在成像平面上的像素高度為P1Q1。進一步地，假設(shè)用戶稍后將移動到第二位置，其真實身高為A2C2，其真實頭高為B2C2，這時攝像頭獲取的該用戶的身高在成像平面上的像素高度為P2T，該用戶的頭高在成像平面上的像素高度為P2Q2。其中，真實身高和頭高的一般以厘米(cm)為單位，而像素高度一般以像素個數(shù)為單位。

由于用戶的身高和頭高都不變，所以具有：

A1C1＝A2C2，并且B1C1＝B2C2

進一步地，通過分析圖5，可以看出：

并且

通過聯(lián)立上述等式，可以得到：

也就是說，可以看出，當(dāng)用戶先后位于第一位置和第二位置時，由于用戶的身高不變，所以該用戶首先位于的第一位置與攝像頭的光心之間的第一攝像頭間距與該用戶稍后移動到的第二位置與攝像頭的光心之間的第二攝像頭間距之比，反比于該用戶首先位于第一位置時所成圖像中的用戶身高和該用戶稍后移動到第二位置時所成圖像中的用戶身高。

更進一步地，由于用戶的身高往往數(shù)值較大，聲源定位設(shè)備如果裝備在可移動設(shè)備(例如掃地機器人)上時，可能無法保證攝像頭在捕捉用戶圖像時能夠始終捕捉到從用戶頭部到腳部整個身高的完整圖像。然而，很多智能交互功能都依賴于攝像頭對用戶的臉部進行捕捉和識別，也就是說，攝像頭往往能夠始終捕捉到用戶頭部的完整圖像。據(jù)此，可以想到，代替在攝像頭捕捉到的圖像中識別用戶的整個身高，而是識別用戶的頭部高度，同樣可以實現(xiàn)上述功能。

因此，通過進一步分析可以看出，當(dāng)用戶先后位于第一位置和第二位置時，由于用戶的頭部高度不變，所以該用戶首先位于的第一位置與攝像頭的光心之間的第一攝像頭間距與該用戶稍后移動到的第二位置與攝像頭的光心之間的第二攝像頭間距之比，反比于該用戶首先位于第一位置時所成圖像中的用戶頭部高度和該用戶稍后移動到第二位置時所成圖像中的頭部高度。

這樣，就形成了可以用于確定后續(xù)攝像頭間距的定位映射關(guān)系。

本發(fā)明人進一步想到，由于攝像頭的捕捉角度可能很廣，聲源在位于不同位置時，攝像頭捕捉到的聲源圖像可能存在一定的變形和失真，針對這種情況，在本申請的實施例中，可以對將攝像頭的成像范圍劃分為多個角度范圍(例如，在180度的情況下劃分為3個，每個60度)，并且針對不同的角度范圍，分別執(zhí)行上述的步驟S110到S140，以獲得用于每個角度范圍的定位映射關(guān)系，并然后將它們綜合為一個總體定位映射關(guān)系，以獲得更加準(zhǔn)確的聲源定位精度。

在獲得定位映射關(guān)系之后，在一個實施例中，如圖2所示，根據(jù)本申請實施例的聲源定位方法還可以包括：

在步驟S150中，根據(jù)所述定位映射關(guān)系和所述第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

圖6圖示了根據(jù)本申請實施例的第二攝像頭間距獲取步驟的流程圖。

如圖6所示，步驟S150可以包括：

在子步驟S151中，通過所述攝像頭獲取所述聲源在第二位置處的第二圖像。

在子步驟S152中，確定所述延伸方向尺度在所述第二圖像中的第二像素尺寸。

在子步驟S153中，根據(jù)所述定位映射關(guān)系和所述第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

由于子步驟S151和S152與步驟S110和S120基本相同，在此省略其詳細(xì)描述。在已知第一像素尺寸、第二像素尺寸和定位映射關(guān)系之后，通過上面的公式推導(dǎo)，即可獲得第二攝像頭間距為：

其中，P1T和P2T是用戶整體身高所對應(yīng)的像素尺寸，而P1Q1和P2Q2是用戶的頭部高度所對應(yīng)的像素尺寸。可以根據(jù)實際情況，選擇合適的參數(shù)使用。

下面，將參考圖7來描述根據(jù)本申請實施例的聲源定位方法的一些可選步驟的實施例。需要說明的是，這些可選步驟可以分別單獨實現(xiàn)，也可以相互組合實現(xiàn)。

在上面的實施例中，僅僅獲得了聲源相對于攝像頭的基準(zhǔn)位置之間的相對距離，但并沒有確定角度信息。為了獲得更加完整的定位信息，在又一實施例中，如圖7所示，根據(jù)本申請實施例的聲源定位方法還可以包括：

在步驟S160中，確定所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的相對方向。

具體地，該步驟S160可以包括：通過麥克風(fēng)陣列獲取來自所述第二位置處的所述聲源的多路輸入信號；以及根據(jù)所述多路輸入信號來確定所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的相對方向。

由于麥克風(fēng)陣列的定位特性始終允許麥克風(fēng)陣列獲得聲源相對于麥克風(fēng)陣列的陣元中心的相對方向，而與該聲源處于其近場范圍、還是遠(yuǎn)處范圍無關(guān)，所以無論聲源最新移動到的第二位置與聲源定位設(shè)備相距多遠(yuǎn)，該設(shè)備都可以通過麥克風(fēng)陣列準(zhǔn)確地獲得該聲源與其陣元中心的相對方向。

相應(yīng)地，在又一實施例中，如圖7所示，根據(jù)本申請實施例的聲源定位方法還可以包括：

在步驟S170中，根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的相對方向來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的相對方向。

這樣，利用事先校準(zhǔn)好的攝像頭120的基準(zhǔn)位置與麥克風(fēng)陣列110的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系，可以將該聲源在所述麥克風(fēng)陣列的音頻坐標(biāo)系下的方向角度轉(zhuǎn)換為所述攝像頭的圖像坐標(biāo)系下的方向角度，從而完整地確定出聲源的第二位置與所述攝像頭的基準(zhǔn)位置之間的相對間距和方向。

另一方面，由于聲源定位設(shè)備除了可能需要得知第二位置與攝像頭的基準(zhǔn)位置之間的相對關(guān)系之外，同樣也可能需要得知第二位置與麥克風(fēng)陣列的基準(zhǔn)位置之間的相對關(guān)系，所以在又一實施例中，如圖7所示，根據(jù)本申請實施例的聲源定位方法還可以包括：

在步驟S180中，根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第二攝像頭間距來確定所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的第二麥克風(fēng)間距。

這樣，利用事先校準(zhǔn)好的攝像頭120的基準(zhǔn)位置與麥克風(fēng)陣列110的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系，可以將該聲源在所述攝像頭的圖像坐標(biāo)系下的位置坐標(biāo)轉(zhuǎn)換為所述麥克風(fēng)陣列的音頻坐標(biāo)系下的位置坐標(biāo)，從而結(jié)合上面獲得的聲源與麥克風(fēng)陣列的相對方向，麥克風(fēng)陣列可以完整地確定出聲源的第二位置與其陣元中心之間的相對間距和方向。

另外，考慮到由于諸如聲源在第二位置時其參考部位的延伸方向可能沒有平行或近似平行于攝像頭的成像平面(例如，用戶出現(xiàn)彎腰、晃頭等動作)之類的各種原因而導(dǎo)致通過上述步驟獲得的第二攝像頭間距存在誤差，所以希望能夠通過一定手段對該第二攝像頭間距進行校準(zhǔn)。

例如，如果第二位置仍然存在于麥克風(fēng)陣列的近場范圍內(nèi)時，可以通過麥克風(fēng)陣列所獲得的第二麥克風(fēng)間距來對該第二攝像頭間距進行檢查和修正。

因此，如圖7所示，在又一實施例中，根據(jù)本申請實施例的聲源定位方法還可以包括：

在步驟S190中，校正所述第二攝像頭間距。

具體地，該步驟S190可以包括：根據(jù)所述第二麥克風(fēng)間距來判斷所述第二位置是否位于所述麥克風(fēng)陣列的近場范圍內(nèi)；響應(yīng)于所述第二位置位于所述麥克風(fēng)陣列的近場范圍內(nèi)，使用所述麥克風(fēng)陣列的近場模型，根據(jù)通過麥克風(fēng)陣列獲取的來自所述第二位置處的所述聲源的多路輸入信號來計算所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的第三麥克風(fēng)間距；根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第三麥克風(fēng)間距來計算所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第三攝像頭間距；以及使用所述第三攝像頭間距來校正所述第二攝像頭間距。

例如，由于上面已經(jīng)在步驟S180中利用攝像頭120與麥克風(fēng)陣列110之間的基準(zhǔn)位置配準(zhǔn)關(guān)系獲得了該聲源的第二位置與麥克風(fēng)陣列的陣元中心之間的相對間距，所以可以基于該相對間距來判斷該第二位置是否存在麥克風(fēng)陣列的近場范圍內(nèi)。如果是，則可以通過與步驟S130相同的操作來獲得該第二位置與攝像頭的光心之間的相對間距。由于麥克風(fēng)陣列的近場模型的定位精度較高，所以可以利用在步驟S190中獲得的攝像頭間距來校正在步驟S150中獲得的攝像頭間距。例如，可以簡單地使用在步驟S190中獲得的攝像頭間距來替換在步驟S150中獲得的攝像頭間距，也可以對兩者求算術(shù)平均，或者為它們分配權(quán)重并計算加權(quán)平均等。

由此可見，采用根據(jù)本申請實施例的聲源定位方法，可以通過攝像頭獲取聲源在第一位置處的第一圖像，確定所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸，獲取所述第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距，并且根據(jù)所述第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系。因此，可以利用攝像頭來輔助實現(xiàn)對聲源的精準(zhǔn)定位，從而同時獲得聲源的相對方向和距離，而與聲源處于麥克風(fēng)陣列的近場還是遠(yuǎn)場無關(guān)。

具體來說，根據(jù)本申請實施例的聲源定位方法具有以下好處：

1)可以利用攝像頭輔助麥克風(fēng)陣列來實現(xiàn)所有聲源的精準(zhǔn)定向，既可以定方向又可以定距離；

2)即使聲源在移動位置后沒有發(fā)聲，仍可以做到對它進行精確定位；

3)對攝像頭內(nèi)移動和變化的物體都可以做到精準(zhǔn)的定方向和定距離；

4)對語音識別系統(tǒng)中，精準(zhǔn)地定位到聲源的距離、聲源位置的變動和多聲源的位置變化和個數(shù)變化；

5)只要麥克風(fēng)系統(tǒng)和攝像頭系統(tǒng)的相對位置不變，整個定位映射關(guān)系就不會變動。

示例性裝置

下面，參考圖8來描述根據(jù)本申請實施例的聲源定位裝置。

圖8圖示了根據(jù)本申請實施例的聲源定位裝置的框圖。

如圖8所示，根據(jù)本申請實施例的所述聲源定位裝置300可以包括：圖像獲取單元310，用于通過攝像頭獲取聲源在第一位置處的第一圖像；尺寸確定單元320，用于確定所述聲源的參考部位的延伸方向尺度在所述第一圖像中的第一像素尺寸，所述延伸方向尺度是所述參考部位在其延伸方向中的真實尺度；第一間距獲取單元330，用于獲取所述第一位置與所述攝像頭的基準(zhǔn)位置之間的第一攝像頭間距；以及關(guān)系確定單元340，用于根據(jù)所述第一像素尺寸和所述第一攝像頭間距來確定定位映射關(guān)系，所述定位映射關(guān)系用于在通過所述攝像頭獲取所述聲源在第二位置處的第二圖像之后，根據(jù)所述延伸方向尺度在所述第二圖像中的第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

在一個示例中，所述延伸方向可以平行或近似平行于所述攝像頭的成像平面。

在一個示例中，所述第一間距獲取單元330可以通過麥克風(fēng)陣列獲取來自所述第一位置處的所述聲源的多路輸入信號，所述第一位置位于所述麥克風(fēng)陣列的近場范圍內(nèi)；使用所述麥克風(fēng)陣列的近場模型，根據(jù)所述多路輸入信號來計算所述第一位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的第一麥克風(fēng)間距；以及根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第一麥克風(fēng)間距來確定所述第一攝像頭間距。

在一個示例中，所述麥克風(fēng)陣列可以是平面陣列，其包括位于同一平面、但不在同一直線上的多個麥克風(fēng)。

在一個示例中，所述定位映射關(guān)系可以指示出：所述第一攝像頭間距與所述第二攝像頭間距之比反比于所述第一像素尺寸與所述第二像素尺寸之比。

在一個示例中，根據(jù)本申請實施例的所述聲源定位裝置300還可以包括：第二間距獲取單元350，用于根據(jù)所述定位映射關(guān)系和所述第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

在一個示例中，所述第二間距獲取單元350可以通過所述攝像頭獲取所述聲源在第二位置處的第二圖像；確定所述延伸方向尺度在所述第二圖像中的第二像素尺寸；以及根據(jù)所述定位映射關(guān)系和所述第二像素尺寸來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第二攝像頭間距。

在一個示例中，根據(jù)本申請實施例的所述聲源定位裝置300還可以包括：麥克風(fēng)相對方向確定單元，用于確定所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的相對方向。

在一個示例中，所述麥克風(fēng)相對方向確定單元可以通過麥克風(fēng)陣列獲取來自所述第二位置處的所述聲源的多路輸入信號；以及根據(jù)所述多路輸入信號來確定所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的相對方向。

在一個示例中，根據(jù)本申請實施例的所述聲源定位裝置300還可以包括：攝像頭相對方向確定單元，用于根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的相對方向來確定所述第二位置與所述攝像頭的基準(zhǔn)位置之間的相對方向。

在一個示例中，根據(jù)本申請實施例的所述聲源定位裝置300還可以包括：麥克風(fēng)相對距離確定單元，用于根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第二攝像頭間距來確定所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的第二麥克風(fēng)間距。

在一個示例中，根據(jù)本申請實施例的所述聲源定位裝置300還可以包括：間距校正單元，用于校正所述第二攝像頭間距。

在一個示例中，所述間距校正單元可以根據(jù)所述第二麥克風(fēng)間距來判斷所述第二位置是否位于所述麥克風(fēng)陣列的近場范圍內(nèi)；響應(yīng)于所述第二位置位于所述麥克風(fēng)陣列的近場范圍內(nèi)，使用所述麥克風(fēng)陣列的近場模型，根據(jù)通過麥克風(fēng)陣列獲取的來自所述第二位置處的所述聲源的多路輸入信號來計算所述第二位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的第三麥克風(fēng)間距；根據(jù)所述攝像頭的基準(zhǔn)位置與所述麥克風(fēng)陣列的基準(zhǔn)位置之間的配準(zhǔn)關(guān)系和所述第三麥克風(fēng)間距來計算所述第二位置與所述攝像頭的基準(zhǔn)位置之間的第三攝像頭間距；以及使用所述第三攝像頭間距來校正所述第二攝像頭間距。

上述聲源定位裝置300中的各個單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖7描述的聲源定位方法中詳細(xì)介紹，并因此，將省略其重復(fù)描述。

如上所述，根據(jù)本申請實施例的聲源定位裝置300可以應(yīng)用于如圖1所示的聲源定位設(shè)備100中，以用于對聲源進行定位。

在一個示例中，根據(jù)本申請實施例的聲源定位裝置300可以作為一個軟件模塊和/或硬件模塊而集成到該聲源定位設(shè)備100中。例如，該聲源定位裝置300可以是被實現(xiàn)為聲源定位設(shè)備100中的定位功能模塊130。例如，該聲源定位裝置300可以是該聲源定位設(shè)備100的操作系統(tǒng)中的一個軟件模塊，或者可以是針對于該聲源定位設(shè)備100所開發(fā)的一個應(yīng)用程序；當(dāng)然，該聲源定位裝置300同樣可以是該聲源定位設(shè)備100的眾多硬件模塊之一。

替換地，在另一示例中，該聲源定位裝置300與該聲源定位設(shè)備100也可以是分立的設(shè)備，并且該聲源定位裝置300可以通過有線和/或無線網(wǎng)絡(luò)連接到該聲源定位設(shè)備100，并且按照約定的數(shù)據(jù)格式來傳輸交互信息。

示例性電子設(shè)備

下面，參考圖9來描述根據(jù)本申請實施例的電子設(shè)備。該電子設(shè)備可以是計算機或服務(wù)器或其他設(shè)備。

圖9圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。

如圖9所示，電子設(shè)備10包括一個或多個處理器11和存儲器12。

處理器11可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元，并且可以控制電子設(shè)備10中的其他組件以執(zhí)行期望的功能。

存儲器12可以包括一個或多個計算機程序產(chǎn)品，所述計算機程序產(chǎn)品可以包括各種形式的計算機可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計算機可讀存儲介質(zhì)上可以存儲一個或多個計算機程序指令，處理器11可以運行所述程序指令，以實現(xiàn)上文所述的本申請的各個實施例的聲源定位方法以及/或者其他期望的功能。在所述計算機可讀存儲介質(zhì)中還可以存儲諸如位置信息、方向信息、圖像信息、攝像頭與麥克風(fēng)陣列之間的基準(zhǔn)位置配準(zhǔn)關(guān)系等各種內(nèi)容。

在一個示例中，電子設(shè)備10還可以包括：輸入裝置13和輸出裝置14，這些組件通過總線系統(tǒng)和/或其他形式的連接機構(gòu)(未示出)互連。

例如，該輸入裝置13可以是上述的麥克風(fēng)陣列110，包括多個麥克風(fēng)，用于捕捉聲源的多路輸入信號；或者也可以是上述的攝像頭120，用于捕捉聲源的當(dāng)前圖像。此外，該輸入設(shè)備13還可以包括例如鍵盤、鼠標(biāo)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備等等。

該輸出裝置14可以向外部(例如，用戶或機器學(xué)習(xí)模型)輸出各種信息，包括確定出的位置信息、方向信息等。該輸出設(shè)備14可以包括例如顯示器、揚聲器、打印機、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備等等。

當(dāng)然，為了簡化，圖9中僅示出了該電子設(shè)備10中與本申請有關(guān)的組件中的一些，省略了諸如總線、輸入/輸出接口等等的組件。除此之外，根據(jù)具體應(yīng)用情況，電子設(shè)備10還可以包括任何其他適當(dāng)?shù)慕M件。

示例性計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)

除了上述方法和設(shè)備以外，本申請的實施例還可以是計算機程序產(chǎn)品，其包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的聲源定位方法中的步驟。

所述計算機程序產(chǎn)品可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本申請實施例操作的程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言，諸如Java、C++等，還包括常規(guī)的過程式程序設(shè)計語言，諸如“C”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。

此外，本申請的實施例還可以是計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的聲源定位方法中的步驟。

所述計算機可讀存儲介質(zhì)可以采用一個或多個可讀介質(zhì)的任意組合?？勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)?？勺x存儲介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。

以上結(jié)合具體實施例描述了本申請的基本原理，但是，需要指出的是，在本申請中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制，不能認(rèn)為這些優(yōu)點、優(yōu)勢、效果等是本申請的各個實施例必須具備的。另外，上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細(xì)節(jié)并不限制本申請為必須采用上述具體的細(xì)節(jié)來實現(xiàn)。

本申請中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

還需要指出的是，在本申請的裝置、設(shè)備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請的等效方案。

提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請的范圍。因此，本申請不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。

為了例示和描述的目的已經(jīng)給出了以上描述。此外，此描述不意圖將本申請的實施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實施例，但是本領(lǐng)域技術(shù)人員將認(rèn)識到其某些變型、修改、改變、添加和子組合。