專利名稱：人類跟蹤系統(tǒng)的制作方法
人類跟蹤系統(tǒng)
背景技術(shù)：
諸如計(jì)算機(jī)游戲、多媒體應(yīng)用等的許多計(jì)算應(yīng)用使用控制來(lái)允許用戶操縱游戲角色或應(yīng)用的其他方面。通常使用例如控制器、遙控器、鍵盤、鼠標(biāo)等等來(lái)輸入這樣的控制。 不幸的是，這些控制可能是難以學(xué)習(xí)的，由此造成了用戶和這些游戲及應(yīng)用之間的障礙。此外，這些控制可能與這些控制所用于的實(shí)際游戲動(dòng)作或其他應(yīng)用動(dòng)作不同。例如，使得游戲角色揮動(dòng)棒球球棒的游戲控制可能不與揮動(dòng)棒球球棒的實(shí)際運(yùn)動(dòng)相對(duì)應(yīng)。

發(fā)明內(nèi)容
此處所公開的是用于跟蹤場(chǎng)景中的用戶的系統(tǒng)和方法。例如，可以接收或觀察諸如場(chǎng)景的深度圖像等圖像。可基于深度圖像生成體素(voxel)的網(wǎng)格(grid)以便降采樣該深度圖像。例如，深度圖像可包括多個(gè)像素，這些像素可被劃分成部分或塊。然后可為每個(gè)部分或塊生成體素，使得所接收的深度圖像被降采樣到體素的網(wǎng)格中。根據(jù)一個(gè)實(shí)施例，然后可移除體素的網(wǎng)格中所包括的背景以隔離開與前景對(duì)象 (諸如人類目標(biāo))相關(guān)聯(lián)的一個(gè)或多個(gè)體素?？梢源_定所隔離開的人類目標(biāo)的一個(gè)或多個(gè)肢端(諸如質(zhì)心或中心、頭、肩、髖、臂、手、肘、腿、腳、膝等)的位置或方位。此外，可以確定這些肢端的尺寸，諸如包括寬度、長(zhǎng)度等的測(cè)量值。隨后可基于由此所確定的一個(gè)或多個(gè)肢端的位置或方位和/或尺寸來(lái)調(diào)整模型。 例如，該模型可以是可包括諸如關(guān)節(jié)和/或骨骼的骨架模型?？梢哉{(diào)整模型的一個(gè)或多個(gè)關(guān)節(jié)，使得該一個(gè)或多個(gè)關(guān)節(jié)可被指派到與其對(duì)應(yīng)的一個(gè)或多個(gè)肢端的位置或方位，和/ 或在其間定義的骨骼可被調(diào)整至與其對(duì)應(yīng)的一個(gè)或多個(gè)肢端的尺寸。可處理經(jīng)調(diào)整的模型。例如，在一個(gè)實(shí)施例中，可以將經(jīng)調(diào)整的模型映射到化身或游戲角色，使得該化身或游戲角色可以被動(dòng)畫化(animated)以模仿該用戶，和/或經(jīng)調(diào)整的模型可被提供到計(jì)算環(huán)境中的姿勢(shì)庫(kù)，該姿勢(shì)庫(kù)可用于基于該模型中的各身體部分的方位來(lái)確定在應(yīng)用內(nèi)執(zhí)行的控制。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵或必要特征，也不旨在用于限定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖IA和IB示出了目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)的示例實(shí)施例，其中用戶正在玩游戲。圖2示出了可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施例。圖3示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上角色的計(jì)算環(huán)境的示例實(shí)施例。圖4示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上角色的計(jì)算環(huán)境的另一示例實(shí)施例。圖5描繪了用于跟蹤場(chǎng)景中的用戶的示例方法的流程圖。圖6示出可被捕捉或觀察的深度圖像的示例實(shí)施例。圖7A-7B示出被降采樣的深度圖像的一部分的示例實(shí)施例。圖8示出了為人類目標(biāo)估計(jì)的質(zhì)心或中心的示例實(shí)施例。圖9示出了可被定義為確定核體積的邊界框的示例實(shí)施例。圖10示出了可被創(chuàng)建為對(duì)頭候選項(xiàng)進(jìn)行打分的頭柱體和軀干柱體的示例實(shí)施例。圖11示出了基于人類目標(biāo)的頭以及質(zhì)心或中心的頭-到-中心向量的示例實(shí)施例。圖12示出了基于頭-到-中心向量所確定的肩體塊和髖體塊的示例實(shí)施例。圖13示出可基于肩體塊和髖體塊來(lái)計(jì)算的肩和髖的示例實(shí)施例。圖14示出了可表示核體積的柱體的示例實(shí)施例。圖15A-15C示出了基于錨點(diǎn)來(lái)確定的手的示例實(shí)施例。圖16示出可基于臂和腿的平均方位和/或錨點(diǎn)來(lái)計(jì)算的手和腳的示例實(shí)施例。圖17示出了可被生成的模型的示例實(shí)施例。說(shuō)明件實(shí)施例的
具體實(shí)施例方式圖IA和IB示出目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的配置的示例實(shí)施例，其中用戶18 正在玩拳擊游戲。在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用于識(shí)別、分析和/ 或跟蹤諸如用戶18等的人類目標(biāo)。如圖IA所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可以包括計(jì)算環(huán)境12。計(jì)算環(huán)境12 可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)等等。根據(jù)一示例實(shí)施例，計(jì)算環(huán)境12可包括硬件組件和/或軟件組件，使得計(jì)算環(huán)境12可用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。在一個(gè)實(shí)施例中，計(jì)算環(huán)境12可包括可執(zhí)行指令的標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等，這些指令可包括例如用于接收深度圖像的指令；用于基于深度圖像來(lái)生成體素網(wǎng)格的指令；用于移除體素網(wǎng)格中所包括的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素的指令；用于確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位的指令；用于基于一個(gè)或多個(gè)肢端的位置或地點(diǎn)來(lái)調(diào)整模型的指令；或任何其他合適的指令，下面將對(duì)它們進(jìn)行更詳細(xì)的描述。如圖IA所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20可以是例如照相機(jī)，所述照相機(jī)可用于在視覺上監(jiān)視諸如用戶18等的一個(gè)或多個(gè)用戶從而可以捕捉、分析并跟蹤一個(gè)或多個(gè)用戶所執(zhí)行的姿勢(shì)和/或移動(dòng)，來(lái)執(zhí)行應(yīng)用程序中的一個(gè)或多個(gè)控制命令或動(dòng)作和/或動(dòng)畫化化身或屏幕上人物，如將在下面更詳細(xì)地描述的。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18等用戶提供游戲或應(yīng)用視覺和/或音頻的視聽設(shè)備16，如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。 例如，計(jì)算環(huán)境12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號(hào)。視聽設(shè)備16可從計(jì)算環(huán)境12接收視聽信號(hào)，然后可向用戶18輸出與該視聽信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個(gè)實(shí)施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA 電纜等連接到計(jì)算環(huán)境12。
如圖IA和IB所示，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可用于識(shí)別、分析和/或跟蹤諸如用戶18等的人類目標(biāo)。例如，可使用捕捉設(shè)備20來(lái)跟蹤用戶18，從而可以捕捉用戶18 的姿勢(shì)和/或移動(dòng)來(lái)動(dòng)畫化化身或屏幕上人物，和/或可將用戶18的姿勢(shì)和/或移動(dòng)解釋為可用于影響計(jì)算環(huán)境12所執(zhí)行的應(yīng)用的控制命令。因此，根據(jù)一個(gè)實(shí)施例，用戶18可移動(dòng)他或她的身體來(lái)控制應(yīng)用和/或動(dòng)畫化化身或屏幕上人物。如圖IA和IB所示，在一示例性實(shí)施例中，在計(jì)算環(huán)境12上執(zhí)行的應(yīng)用可以是用戶18可能正在玩的拳擊游戲。例如，計(jì)算環(huán)境12可使用視聽設(shè)備16來(lái)向用戶18提供拳擊對(duì)手38的視覺表示。計(jì)算環(huán)境12還可使用視聽設(shè)備16來(lái)提供用戶18可通過(guò)他的或她的移動(dòng)來(lái)控制的玩家化身40的視覺表示。例如，如圖IB所示，用戶18可以在物理空間中揮拳以致使玩家化身40在游戲空間中揮拳。因此，根據(jù)一示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的計(jì)算環(huán)境12和捕捉設(shè)備20可用于識(shí)別和分析物理空間中用戶18的重拳從而使得該重拳可被解釋為對(duì)游戲空間中的玩家化身40的游戲控制和/或該重拳的運(yùn)動(dòng)可用于動(dòng)畫化游戲空間中的玩家化身40。用戶18的其他移動(dòng)也可被解釋為其他控制命令或動(dòng)作，和/或用于動(dòng)畫化玩家化身，如上下快速擺動(dòng)、閃避、滑步、封堵、用拳猛擊或揮動(dòng)各種不同的有力重拳的控制命令。 此外，某些移動(dòng)可被解釋為可對(duì)應(yīng)于除控制玩家化身40之外的動(dòng)作的控制。例如，在一個(gè)實(shí)施例中，玩家可使用移動(dòng)來(lái)結(jié)束、暫?；虮４嬗螒?、選擇級(jí)別、查看高分、與朋友交流等。 根據(jù)另一實(shí)施例，玩家可使用移動(dòng)來(lái)從主用戶界面選擇游戲或其他應(yīng)用程序。因此，在示例實(shí)施例中，用戶18的全范圍運(yùn)動(dòng)可以用任何合適的方式來(lái)獲得、使用并分析以與應(yīng)用程序進(jìn)行交互。在各示例實(shí)施例中，諸如用戶18等人類目標(biāo)可持有一物體。在這些實(shí)施例中，電子游戲的用戶可手持物體，使得可使用玩家和物體的運(yùn)動(dòng)來(lái)調(diào)整和/或控制游戲的參數(shù)。 例如，可以跟蹤并利用玩家手持球拍的運(yùn)動(dòng)來(lái)控制電子運(yùn)動(dòng)游戲中的屏幕上球拍。在另一示例實(shí)施例中，可以跟蹤并利用玩家手持物體的運(yùn)動(dòng)來(lái)控制電子格斗游戲中的屏幕上武
ο根據(jù)其他示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10還可用于將目標(biāo)移動(dòng)解釋為游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用控制。例如，事實(shí)上操作系統(tǒng)和/或應(yīng)用程序的任何可控方面都可由諸如用戶18等目標(biāo)的移動(dòng)來(lái)控制。圖2示出可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實(shí)施例。 根據(jù)一示例實(shí)施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等來(lái)捕捉包括深度圖像的帶有深度信息的視頻，該深度信息可包括深度值。根據(jù)一實(shí)施例，捕捉設(shè)備20可將深度信息組織為“Z層”或者可與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件22。根據(jù)一個(gè)示例性實(shí)施例，圖像相機(jī)組件22可以是可捕捉場(chǎng)景的深度圖像的深度相機(jī)。深度圖像可以包括所捕捉場(chǎng)景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每個(gè)像素都可表示深度值，比如例如所捕捉場(chǎng)景中的對(duì)象距相機(jī)的以厘米、毫米等為單位的長(zhǎng)度或距離。如圖2所示，根據(jù)一示例性實(shí)施例，圖像相機(jī)組件22可以包括可用于捕捉場(chǎng)景的深度圖像的頂光組件24、三維(3-D)相機(jī)沈、和RGB相機(jī)觀。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的頂光組件M可將紅外光發(fā)射到場(chǎng)景上，并且隨后可使用傳感器(未示出)、用例如3-D相機(jī)沈和/或RGB相機(jī)28來(lái)檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面反向散射的光。在一些實(shí)施例中，可以使用脈沖紅外光，使得可以測(cè)量出射光脈沖與相應(yīng)入射光脈沖之間的時(shí)間，并且將其用于確定從捕捉設(shè)備20到場(chǎng)景中的目標(biāo)或物體上的特定位置的物理距離。附加地，在其他示例性實(shí)施例中，可以將出射光波的相位與入射光波的相位相比較來(lái)確定相移。然后可以使用該相移來(lái)確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實(shí)施例，可以使用飛行時(shí)間分析來(lái)通過(guò)經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來(lái)間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例性實(shí)施例中，捕捉設(shè)備20可以使用結(jié)構(gòu)化光來(lái)捕捉深度信息。在這樣的分析中，圖案化光(即被顯示為諸如網(wǎng)格圖案或條紋圖案之類的已知圖案的光)可以經(jīng)由例如頂光組件M被投影到場(chǎng)景上。在落到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上以后，作為響應(yīng)，圖案可以變?yōu)樽冃蔚?。圖案的這種變形可由例如3-D相機(jī)沈和/或RGB相機(jī)觀來(lái)捕捉，然后可被分析來(lái)確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括兩個(gè)或更多物理上分開的相機(jī)，這些相機(jī)可從不同角度查看場(chǎng)景以獲得視覺立體數(shù)據(jù)，該視覺立體數(shù)據(jù)可被解析以生成深度信息。捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號(hào)的變換器或傳感器。根據(jù)一個(gè)實(shí)施例，話筒30可用于減少目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計(jì)算環(huán)境12之間的反饋。附加地，話筒30可用于接收也可由用戶提供的音頻信號(hào)，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等之類的應(yīng)用。在一示例性實(shí)施例中，捕捉設(shè)備20還可包括可與圖像相機(jī)組件22可操作地通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等，這些指令可包括例如用于接收深度圖像的指令；用于基于深度圖像來(lái)生成體素網(wǎng)格的指令；用于移除體元網(wǎng)格中所包括的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素的指令；用于確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位的指令；用于基于一個(gè)或多個(gè)肢端的位置或定位來(lái)調(diào)整模型的指令；或任何其他合適的指令，下面將對(duì)它們進(jìn)行更詳細(xì)的描述。捕捉設(shè)備20還可包括存儲(chǔ)器組件34，存儲(chǔ)器組件34可存儲(chǔ)可由處理器32執(zhí)行的指令、3-D相機(jī)或RGB相機(jī)捕捉到的圖像或圖像的幀、或任何其他合適的信息、圖像等。根據(jù)一示例性實(shí)施例，存儲(chǔ)器組件34可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲(chǔ)組件。如圖2所示，在一個(gè)實(shí)施例中，存儲(chǔ)器組件34 可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一實(shí)施例，存儲(chǔ)器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算環(huán)境12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無(wú)線 802. lib,802. llg、802. Ila或802. Iln連接等的無(wú)線連接。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12 可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時(shí)鐘，該時(shí)鐘可用于確定何時(shí)捕捉例如場(chǎng)景。另外，捕捉設(shè)備20可經(jīng)由通信鏈路36向計(jì)算環(huán)境12提供深度信息和由例如3-D相機(jī)沈和/或RGB相機(jī)觀捕捉的圖像，和/或可由捕捉設(shè)備20生成的骨架模型。計(jì)算環(huán)境12然后可使用該模型、深度信息、以及所捕捉的圖像來(lái)例如控制諸如游戲或字處理程序等的應(yīng)用和/或動(dòng)畫化化身或屏幕上人物。例如，如圖2所示，計(jì)算環(huán)境12可包括姿勢(shì)庫(kù) 190。姿勢(shì)庫(kù)190可包括姿勢(shì)過(guò)濾器集合，每一姿勢(shì)過(guò)濾器包括關(guān)于骨架模型可執(zhí)行(在用戶移動(dòng)時(shí))的姿勢(shì)的信息。可將由相機(jī)26J8和捕捉設(shè)備20捕捉的骨架模型形式的數(shù)據(jù)以及與其相關(guān)聯(lián)的移動(dòng)與姿勢(shì)庫(kù)190中的姿勢(shì)過(guò)濾器進(jìn)行比較來(lái)標(biāo)識(shí)用戶(如骨架模型所表示的)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢(shì)。那些姿勢(shì)可與應(yīng)用的各種控制相關(guān)聯(lián)。因此，計(jì)算環(huán)境12可使用姿勢(shì)庫(kù)190來(lái)解釋骨架模型的移動(dòng)并基于該移動(dòng)來(lái)控制應(yīng)用。圖3示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上的人物的計(jì)算環(huán)境的示例實(shí)施例。上面參考圖1A-2所描述的諸如計(jì)算環(huán)境12等計(jì)算環(huán)境可以是諸如游戲控制臺(tái)等多媒體控制臺(tái)100。如圖3所示，多媒體控制臺(tái)100具有含有一級(jí)高速緩存102、二級(jí)高速緩存104和閃存R0M(只讀存儲(chǔ)器)106的中央處理單元(CPU) 101。一級(jí)高速緩存102和二級(jí)高速緩存104臨時(shí)存儲(chǔ)數(shù)據(jù)，并且因此減少存儲(chǔ)器訪問(wèn)周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。 CPUlOl可被提供為具有一個(gè)以上的核，并且由此具有附加的一級(jí)高速緩存102和二級(jí)高速緩存104。閃存ROM 106可存儲(chǔ)在多媒體控制臺(tái)100通電時(shí)引導(dǎo)過(guò)程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸送到視頻編碼器/視頻編解碼器114。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C(jī)或其他顯示器。存儲(chǔ)器控制器110連接到GPU 108以方便處理器訪問(wèn)各種類型的存儲(chǔ)器112，諸如但不局限于RAM(隨機(jī)存取存儲(chǔ)器)。多媒體控制臺(tái)100包括較佳地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142(1)-142(2), 無(wú)線適配器148、以及外置存儲(chǔ)器設(shè)備146(例如，閃存、外置⑶/DVD ROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接口 1 和/或無(wú)線適配器148提供對(duì)網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問(wèn)，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無(wú)線適配器組件中的任何一種。提供系統(tǒng)存儲(chǔ)器143來(lái)存儲(chǔ)在引導(dǎo)過(guò)程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動(dòng)器 144，并且其可包括DVD/CD驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器，或其他可移動(dòng)媒體驅(qū)動(dòng)器等。媒體驅(qū)動(dòng)器 144可內(nèi)置或外置于多媒體控制臺(tái)100。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動(dòng)器144訪問(wèn)，以供多媒體控制臺(tái)100執(zhí)行、回放等。媒體驅(qū)動(dòng)器144經(jīng)由諸如串行ATA總線或其他高速連接(例如 IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺(tái)100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。CN 102549619 A前面板I/O子部件130支持暴露在多媒體控制臺(tái)100的外表面上的電源按鈕150 和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺(tái)100的組件供電。風(fēng)扇138冷卻多媒體控制臺(tái)100內(nèi)的電路。CPU 101、GPU 108、存儲(chǔ)器控制器110、以及多媒體控制臺(tái)100內(nèi)的各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲(chǔ)器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺(tái)100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器143加載到存儲(chǔ)器112和/ 或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺(tái)100上可用的不同媒體類型時(shí)呈現(xiàn)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，媒體驅(qū)動(dòng)器 144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動(dòng)器144啟動(dòng)或播放，以將附加功能提供給多媒體控制臺(tái)100。多媒體控制臺(tái)100可通過(guò)簡(jiǎn)單地將該系統(tǒng)連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來(lái)操作。在該獨(dú)立模式中，多媒體控制臺(tái)100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看電影、或聽音樂(lè)。然而，在通過(guò)網(wǎng)絡(luò)接口 1 或無(wú)線適配器148可用的寬帶連接集成的情況下，多媒體控制臺(tái)100還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來(lái)操作。當(dāng)多媒體控制臺(tái)100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲(chǔ)器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡(luò)帶寬的保留量(諸如，Slcbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)間保留的，所保留的資源從應(yīng)用的視角而言是不存在的。具體而言，存儲(chǔ)器保留量?jī)?yōu)選地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動(dòng)程序。CPU保留量?jī)?yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對(duì)于GPU保留量，通過(guò)使用GPU中斷來(lái)調(diào)度代碼以將彈出窗口呈現(xiàn)為覆蓋圖，從而顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無(wú)需改變頻率和引起TV重新同步。在多媒體控制臺(tái)100引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來(lái)提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識(shí)出作為系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便提供對(duì)應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺(tái)上運(yùn)行的游戲應(yīng)用的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺(tái)應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻級(jí)別(例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器較佳地控制輸入流的切換，而無(wú)需知曉游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。相機(jī)26J8和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。圖4示出計(jì)算環(huán)境220的另一示例實(shí)施例，該計(jì)算環(huán)境可以是用于解釋目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)和/或動(dòng)畫化目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上人物的圖1A-2中示出的計(jì)算環(huán)境12。計(jì)算系統(tǒng)環(huán)境220只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對(duì)當(dāng)前公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算環(huán)境220解釋為對(duì)示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在某些實(shí)施例中，所描繪的各種計(jì)算元素可包括被配置成實(shí)例化本發(fā)明的各具體方面的電路。例如，本公開中使用的術(shù)語(yǔ)“電路”可包括被配置成通過(guò)固件或開關(guān)來(lái)執(zhí)行功能的專用硬件組件。其他示例中，術(shù)語(yǔ)電路可包括由實(shí)施可用于執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲(chǔ)器等。在電路包括硬件和軟件的組合的示例實(shí)施例中，實(shí)施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機(jī)器可讀代碼。因?yàn)楸绢I(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來(lái)實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。 更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價(jià)的軟件進(jìn)程。由此，對(duì)于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇之一并留給實(shí)現(xiàn)者。在圖4中，計(jì)算環(huán)境220包括計(jì)算機(jī)Ml，計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能被計(jì)算機(jī)241訪問(wèn)的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器222包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(ROM) 223和隨機(jī)存取存儲(chǔ)器(RAM06O。包含諸如在啟動(dòng)期間幫助在計(jì)算機(jī)Ml內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng) 224(BIOS)通常儲(chǔ)存儲(chǔ)在ROM 223中。RAM 260通常包含處理單元259可立即訪問(wèn)和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。計(jì)算機(jī)241也可以包括其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅作為示例，圖4示出了從不可移動(dòng)、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動(dòng)器 238，從可移動(dòng)、非易失性磁盤2M中讀取或向其寫入的磁盤驅(qū)動(dòng)器239，以及從諸如⑶ROM 或其他光學(xué)介質(zhì)等可移動(dòng)、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動(dòng)器M0。可在示例性操作環(huán)境中使用的其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動(dòng)器 238通常由例如接口 234等不可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線221，而磁盤驅(qū)動(dòng)器239和光盤驅(qū)動(dòng)器240通常由例如接口 235等可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線221。以上討論并在圖4中示出的驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)為計(jì)算機(jī)241提供了對(duì)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。在圖4中，例如，硬盤驅(qū)動(dòng)器238被示為存儲(chǔ)操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意， 這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號(hào)，以說(shuō)明至少它們是不同的副本。用戶可以通過(guò)輸入設(shè)備，例如鍵盤251和定點(diǎn)設(shè)備252——通常是指鼠標(biāo)、跟蹤球或觸摸墊——向計(jì)算機(jī)241輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過(guò)耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過(guò)諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來(lái)連接。相機(jī)沈、觀和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過(guò)諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除監(jiān)視器之外，計(jì)算機(jī)還可以包括可以通過(guò)輸出外圍接口 233連接的諸如揚(yáng)聲器244和打印機(jī)243之類的其他外圍輸出設(shè)備。計(jì)算機(jī)241可使用到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(諸如，遠(yuǎn)程計(jì)算機(jī)M6)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括許多或所有以上關(guān)于計(jì)算機(jī)241所描述的元件，但在圖4中僅示出了存儲(chǔ)器存儲(chǔ)設(shè)備M7。圖2中所描繪的邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN) M9，但還可包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、 內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過(guò)網(wǎng)絡(luò)接口或適配器237連接到LAN 2450當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過(guò)諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對(duì)于計(jì)算機(jī)Ml 所示的程序模塊或其部分可被存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而非限制，圖4示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲(chǔ)器設(shè)備247上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的， 并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。圖5描繪了用于跟蹤場(chǎng)景中的用戶的示例方法300的流程圖。示例方法300可使用例如，參考圖1A-4所描述的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的捕捉設(shè)備20和/或計(jì)算環(huán)境12來(lái)實(shí)現(xiàn)。在一示例實(shí)施例中，示例方法300可采取可由例如參考圖1A-4所描述的目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10的捕捉設(shè)備20和/或計(jì)算環(huán)境12執(zhí)行的程序代碼(即指令) 的形式。根據(jù)一個(gè)實(shí)施例，在305，可接收深度圖像。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括諸如參考圖1A-2描述的捕捉設(shè)備20等捕捉設(shè)備。捕捉設(shè)備可捕捉或觀察可包括一個(gè)或多個(gè)目標(biāo)的場(chǎng)景。在一示例實(shí)施例中，捕捉設(shè)備可以是深度相機(jī)，該深度相機(jī)被配置成使用諸如飛行時(shí)間分析、結(jié)構(gòu)化光分析、立體視覺分析等任何合適的技術(shù)來(lái)獲得場(chǎng)景的深度圖像。深度圖像可以是多個(gè)觀測(cè)到的像素，其中每個(gè)觀測(cè)到的像素具有觀測(cè)到的深度值。例如，深度圖像可包括所捕捉的場(chǎng)景的二維OD)像素區(qū)域，其中2D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米等計(jì)的、所捕捉的場(chǎng)景中的對(duì)象距捕捉設(shè)備的長(zhǎng)度或距離。圖6示出了可在305處被接收的深度圖像400的示例實(shí)施例。根據(jù)一示例實(shí)施例， 深度圖像400可以是由例如以上參考圖2所描述的捕捉設(shè)備20的3D相機(jī)沈和/或RGB 相機(jī)觀所捕捉的場(chǎng)景的圖像或幀。如圖6所示，深度圖像400可包括與例如諸如參考圖IA 和IB所描述的用戶18等的用戶對(duì)應(yīng)的人類目標(biāo)40 以及諸如所捕捉的場(chǎng)景中的墻、桌子、監(jiān)視器等的一個(gè)或多個(gè)非人類目標(biāo)404。如上所述，深度圖像400可包括多個(gè)觀測(cè)到的像素，其中每一觀測(cè)到的像素具有與其相關(guān)聯(lián)的觀測(cè)到的深度值。例如，深度圖像400可包括所捕捉的場(chǎng)景的二維OD)像素區(qū)域，其中該2D像素區(qū)域中的特定X值和Y值處的每一像素可具有諸如以例如厘米、毫米等為單位的所捕捉的場(chǎng)景中的目標(biāo)或?qū)ο箅x捕捉設(shè)備的長(zhǎng)度或距離之類的深度值。在一個(gè)實(shí)施例中，深度圖像400可被著色(colorized)從而使得深度圖像的像素的不同顏色對(duì)應(yīng)于和/或從視覺上描繪了人類目標(biāo)40 和非人類目標(biāo)404離捕捉設(shè)備的不同距離。例如，與深度圖像中最接近捕捉設(shè)備的目標(biāo)相關(guān)聯(lián)的像素可用紅色和/或橙色陰影來(lái)著色，而與深度圖像中較遠(yuǎn)的目標(biāo)相關(guān)聯(lián)的像素可用綠色和/或藍(lán)色陰影來(lái)著色。回頭參考圖5，在一個(gè)實(shí)施例中，一接收到該圖像，在305，可從深度圖像中移除和 /或平滑掉一個(gè)或多個(gè)高變度和/或含噪聲的深度值；可填入和/或重構(gòu)缺少的和/或被移除的深度信息的各部分；和/或可對(duì)接收到的深度圖像執(zhí)行任何其他合適的處理，以使與該深度圖像相關(guān)聯(lián)的深度信息可用于生成諸如骨架模型之類的模型，這將在下文更詳細(xì)地描述。根據(jù)一示例實(shí)施例，在310，可基于所接收到的深度圖像生成一個(gè)或多個(gè)體素的網(wǎng)格。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)使用所接收到的深度圖像中所包括的信息來(lái)生成一個(gè)或多個(gè)體素來(lái)對(duì)所接收的深度圖像進(jìn)行降采樣，以便可以生成經(jīng)降采樣的深度圖像。在一個(gè)實(shí)施例中，該一個(gè)或多個(gè)體素可以是可在經(jīng)子采樣(sub-sampled)的網(wǎng)格上表示所接收的深度圖像中所包括的信息的數(shù)據(jù)或值的體元素。例如，如上所述，深度圖像可包括所捕捉的場(chǎng)景的2D像素區(qū)域，其中每一像素具有與其相關(guān)聯(lián)的X值、Y值和深度值(或Z值)。在一實(shí)施例中，深度圖像可通過(guò)將2D像素區(qū)域中的像素減少為一個(gè)或多個(gè)體素的網(wǎng)格來(lái)降采樣。例如，深度圖像可被分成各個(gè)像素部分或像素塊，諸如4x4的像素塊、5x5的像素塊、8x8的像素塊、10x10的像素塊等等。每個(gè)部分或塊可被處理以生成深度圖像的體素，該體素可表示與該2D深度圖像的像素相關(guān)聯(lián)的部分或塊在真實(shí)世界空間中的方位。根據(jù)一示例實(shí)施例，每個(gè)體素的方位可以基于例如該體素可能表示的塊或部分中的像素的有效或非零深度值的平均深度值、或者該體素可能表示的塊或部分中的像素的最小、最大和/或中間深度值、該體素可能表示的部分或塊中的具有有效深度值的像素的X值和Y值的平均、或該深度圖像所提供的任何適當(dāng)?shù)男畔?。因此，根?jù)一示例實(shí)施例，每個(gè)體素可表示該深度圖像中具有諸如以下值的子體 (sub-volume)部分或塊該體素可能表示的塊或部分中的像素的有效或非零深度值的平均深度值、該體素可能表示的部分或塊中的像素的最小、最大和/或中間深度值、該體素可能表示的部分或塊中的具有有效深度值的像素的X值和Y值的平均、或基于在305所接收的深度圖像的像素的相應(yīng)部分或塊的X值、Y值和深度值由該深度圖像所提供的任何其他 ？S當(dāng)fn息ο在一個(gè)實(shí)施例中，經(jīng)降采樣的深度圖像中的一個(gè)或多個(gè)體素的網(wǎng)格可被分層。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可生成如上所述的體素。然后該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將所生成的體素堆疊在該網(wǎng)格中所生成的一個(gè)或多個(gè)其他體素上。根據(jù)一示例實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以將體素堆疊在該網(wǎng)格中，例如該深度圖像中所捕捉的場(chǎng)景中的物體的邊緣周圍。例如，在305接收的深度圖像可包括人類目標(biāo)和非人類目標(biāo)(諸如墻)。例如在人類目標(biāo)的邊緣處，人類目標(biāo)可以與非人類目標(biāo)(諸如墻)重疊。在一個(gè)實(shí)施例中，重疊邊緣可包括諸如與該深度圖像中可捕捉的該人類目標(biāo)和非人類目標(biāo)相關(guān)聯(lián)的深度值、X值、Y值等。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以生成該重疊邊緣處的與該人類目標(biāo)相關(guān)聯(lián)的體素以及與該人類目標(biāo)相關(guān)聯(lián)的體素，以便該體素可被堆疊而該重疊邊緣的信息(諸如深度值、X值、Y值等)可被保持在該網(wǎng)格中。根據(jù)另一實(shí)施例，在310，通過(guò)例如將深度圖像中像素的信息(諸如深度值、X值、 Y值等)投影到三維(3D)空間中，可以生成一個(gè)或多個(gè)體素的網(wǎng)格。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以使用諸如相機(jī)、圖像或透視變換等變換將深度圖像中的像素的信息(諸如 X值、Y值等)映射到3D空間中的3D點(diǎn)，使得該信息在3D空間中可被變換為梯形或錐形。 在一個(gè)實(shí)施例中，具有梯形或錐形的3D空間可被劃分成諸如立方體的塊，所述塊可創(chuàng)建體素的網(wǎng)格，使得這些塊或立方體中的每一個(gè)可表示該網(wǎng)格中的體素。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以將3-D網(wǎng)格疊加在與該深度圖像中的物體相對(duì)應(yīng)的3-D點(diǎn)上。隨后該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以將該網(wǎng)格劃分或切割為表示體素的塊以將該深度圖像降采樣為更低的分辨率。根據(jù)一示例實(shí)施例，網(wǎng)格中的每個(gè)體素可包括該體素可表示的與網(wǎng)格中的3D空間相關(guān)聯(lián)的像素的有效或非零深度值的平均深度值、該體素可表示的與網(wǎng)格中的 3D空間相關(guān)聯(lián)的像素的最小和/或最大深度值、該體素可表示的與網(wǎng)格中的3D空間相關(guān)聯(lián)的具有有效深度值的像素的X值和Y值的平均、或該深度圖像所提供的任何其他適合的信肩、ο圖7A-7B示出被降采樣的深度圖像的一部分的示例實(shí)施例。例如，如圖7A所示， 以上參考圖6所述的深度圖像400的一部分410可包括多個(gè)像素420，其中每一像素420可具有與其相關(guān)聯(lián)的X值、Y值和深度值(或Z值)。.根據(jù)一個(gè)實(shí)施例，如上所述，深度圖像 (諸如深度圖像400)可通過(guò)將2D像素區(qū)域中的像素減少為一個(gè)或多個(gè)體素的網(wǎng)格來(lái)降采樣。例如，如圖7A所示，深度圖像400的部分410可以被劃分為像素420的部分或塊430， 諸如像素420的8x8塊。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以處理該部分或塊430以生成體素 440，體素440可表示與像素420相關(guān)聯(lián)的部分或塊430在真實(shí)世界中的方位，如圖7A-7B 所示?；仡^參考圖5，在315，可將背景從經(jīng)降采樣的深度圖像中移除。例如，可以移除經(jīng)降采樣的深度圖像中的背景(諸如非人類目標(biāo)或物體)以隔離前景物體(諸如與用戶相關(guān)聯(lián)的人類目標(biāo))。在一個(gè)實(shí)施例中，如上所述，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過(guò)為所捕捉或觀察的深度圖像生成一個(gè)或多個(gè)體素的網(wǎng)格來(lái)對(duì)所捕捉或觀察的深度圖像進(jìn)行降采樣。 目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析經(jīng)降采樣的深度圖像中的每個(gè)體素以確定體素是否可與背景對(duì)象(諸如該深度圖像的一個(gè)或多個(gè)非人類目標(biāo))相關(guān)聯(lián)。如果體素可與背景物體相關(guān)聯(lián)，則該體素可從經(jīng)降采樣的深度圖像被移除或丟棄，使得前景物體(諸如人類目標(biāo)) 和該網(wǎng)格中與該前景物體相關(guān)聯(lián)的一個(gè)或多個(gè)體素可以被隔離。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析每個(gè)體素以確定與其相關(guān)聯(lián)的物體。例如，如上所述，可在305處作為深度圖像(諸如上面參考圖6所描述的深度圖像400)來(lái)觀察或捕捉的場(chǎng)景可包括多個(gè)物體。物體可包括一個(gè)或多個(gè)人類目標(biāo)和/或一個(gè)或多個(gè)非人類目標(biāo)，諸如墻、桌子、沙發(fā)椅、燈等。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析網(wǎng)格中的每個(gè)體素以確定該體素可能與場(chǎng)景中的哪個(gè)物體相關(guān)聯(lián)，使得在315 處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以標(biāo)識(shí)與場(chǎng)景中的每個(gè)物體相關(guān)聯(lián)的體素。因此，根據(jù)一示例實(shí)施例，如果人類目標(biāo)或一個(gè)人站在場(chǎng)景中的墻的前面，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析每個(gè)體素以確定該體素可能是與人類目標(biāo)還是與墻相關(guān)聯(lián)。為了確定體素可能與場(chǎng)景中的哪個(gè)物體相關(guān)聯(lián)，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以比較以下值，諸如該體素可表示的塊或部分中的像素的有效或非零深度值的平均深度值、 該體素可表示的塊或部分中的像素的最小和/或最大深度值、該體素可表示的具有有效深度值的像素的X值和Y值的平均、或者鄰近或附近體素的任何其他適合的信息。例如，在一個(gè)實(shí)施例中，可以將與網(wǎng)格中正被分析的特定體素相關(guān)聯(lián)的平均深度值與同網(wǎng)格中正被分析的特定體素相鄰的每個(gè)體素的平均深度值進(jìn)行比較。如果正被分析的特定體素的平均深度值與相鄰體素的平均深度值的差可以小于閾值，則特定體素與相鄰體素可被標(biāo)識(shí)為屬于相同的物體。如果正被分析的特定體素的平均深度值與相鄰體素的平均深度值的差可以大于閾值，則特定體素與相鄰體素可被標(biāo)識(shí)為屬于不同的物體。根據(jù)一個(gè)示例實(shí)施例，該閾值可以是例如由目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所生成的預(yù)定值，該預(yù)定值可以基于該體素可能是相同的物體的一部分的可能性或概率。因此，根據(jù)一示例實(shí)施例，如果人類目標(biāo)或一個(gè)人站在由深度圖像所捕捉或觀察的場(chǎng)景中的墻的前面，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析為該深度圖像生成的每個(gè)體素以確定該體素可能是與人類目標(biāo)還是與墻相關(guān)聯(lián)。在標(biāo)識(shí)了接收到的深度圖像的場(chǎng)景中的物體以及與之相關(guān)聯(lián)的體素之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以計(jì)算與每個(gè)所標(biāo)識(shí)的物體相關(guān)聯(lián)的信息。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以為每個(gè)所標(biāo)識(shí)的物體計(jì)算最大世界空間、最小世界空間方位和平均世界空間方位等。在一個(gè)實(shí)施例中，在315處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可確定場(chǎng)景中所標(biāo)識(shí)的一個(gè)或多個(gè)物體是否應(yīng)與場(chǎng)景中的其他物體合并。例如，可將在305處接收到的深度圖像中的物體的一部分與該物體的另一部分相分離。根據(jù)一個(gè)實(shí)施例，可通過(guò)由例如場(chǎng)景中的一個(gè)物體或另一個(gè)物體等所投射的紅外陰影來(lái)將該物體的一部分與該物體的另一部分相分離。在另一個(gè)示例實(shí)施例中，可通過(guò)例如與一個(gè)物體相關(guān)聯(lián)的顏色、紋理、圖案等來(lái)將該物體的一部分與該物體的另一部分相分離。例如，可通過(guò)例如面部毛發(fā)、多件服裝等沿Y方向中的Y平面將人類目標(biāo)的頭與該人類目標(biāo)的軀干相分離。為了確定場(chǎng)景中所標(biāo)識(shí)的一個(gè)物體是否可能實(shí)際上是場(chǎng)景中所標(biāo)識(shí)的另一個(gè)物體的一部分，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以對(duì)同該物體相關(guān)聯(lián)的體素的X值、深度值與同附近物體相關(guān)聯(lián)的體素的X值、深度值進(jìn)行比較。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以對(duì)同例如場(chǎng)景中所標(biāo)識(shí)的第一物體相關(guān)聯(lián)的一個(gè)或多個(gè)體素的X值、深度值與同該第一物體附近或鄰近的第二物體相關(guān)聯(lián)的一個(gè)或多個(gè)體素的X值、深度值進(jìn)行比較。因此，根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以分析場(chǎng)景中的體素以確定第一和第二物體是否沿著X方向中定義的X平面和/或Z方向中定義的Z平面重疊，使得可以合并第一和第二物體并將其標(biāo)識(shí)為同一物體的各部分。根據(jù)一個(gè)實(shí)施例，如果同第一物體相關(guān)聯(lián)的一個(gè)或多個(gè)體素的X值和深度值可能與同第二物體相關(guān)聯(lián)的一個(gè)或多個(gè)體素的χ值和深度值相重疊，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以合并第一和第二物體，使得目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將第一和第二物體標(biāo)識(shí)為共同物體的各部分。例如，如果同第一物體相關(guān)聯(lián)的第一體素可具有沿X方向的X值5 以及位于第一物體右側(cè)外緣的深度值10mm，并且同第二物體相關(guān)聯(lián)的第二體素可具有沿X方向的X值3以及位于第二物體左側(cè)外緣的深度值10mm，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定第一和第二物體可能重疊。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可合并第一和第二物體，使得目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將第一和第二物體標(biāo)識(shí)為同一物體的各部分。另外，為了確定場(chǎng)景中所標(biāo)識(shí)的一個(gè)物體是否可能實(shí)際上是場(chǎng)景中所標(biāo)識(shí)的另一個(gè)物體的一部分，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定在場(chǎng)景中為一個(gè)物體所定義的邊界框是否與另一個(gè)物體的邊界框相重疊。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可為每個(gè)所標(biāo)識(shí)的物體定義邊界框。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于例如如上所述的包括在其中的一個(gè)或多個(gè)體素的X值、Y值和/或深度值來(lái)確定一個(gè)或多個(gè)物體的邊界框是否重疊。根據(jù)另一個(gè)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過(guò)例如對(duì)物體中所包括的體素的X值、Y值和深度值取平均來(lái)確定每個(gè)物體的中心或質(zhì)心。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以確定場(chǎng)景中各物體的質(zhì)心或中心之間的距離，以便確定場(chǎng)景中所標(biāo)識(shí)的一個(gè)物體是否可能實(shí)際上是場(chǎng)景中所標(biāo)識(shí)的另一個(gè)物體的一部分?；诟魑矬w之間的距離， 目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以合并一個(gè)或多個(gè)物體。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定第一物體的質(zhì)心或中心與第二物體的中心或質(zhì)心之間的距離。如果第一物體與第二物體的質(zhì)心或中心之間的距離可能位于指示應(yīng)當(dāng)合并第一和第二物體的預(yù)定范圍以內(nèi)，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以合并這兩個(gè)物體，使得目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將第一和第二物體標(biāo)識(shí)為同一物體的各部分。在一個(gè)實(shí)施例中，在315處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可確定場(chǎng)景中所標(biāo)識(shí)的一個(gè)或多個(gè)物體是否應(yīng)被分離。例如，在315處場(chǎng)景中所標(biāo)識(shí)的物體可能實(shí)際上是兩個(gè)分離的物體。為了確定場(chǎng)景中的一個(gè)物體是否應(yīng)被分離，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以標(biāo)識(shí)為之前接收到的幀所確定的每個(gè)物體的中心的位置。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以同時(shí)從由之前接收到的幀的物體所確定的中心的位置開始，泛色填充場(chǎng)景中為在305處接收到的幀的深度圖像所生成的體素。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以使用物體的之前位置來(lái)確定經(jīng)泛色填充的體素可能更接近于之前接收到的幀中的哪個(gè)物體。如果經(jīng)泛色填充的體素可能更接近于之前接收到的幀中所標(biāo)識(shí)的另一個(gè)物體，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在315處拆分一個(gè)物體。在315處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以確定所標(biāo)識(shí)的物體是否可能是諸如非人類目標(biāo)的背景物體、還是諸如人類目標(biāo)的前景物體。根據(jù)一示例實(shí)施例，目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)可以基于所標(biāo)識(shí)的物體是否可能在運(yùn)動(dòng)中或正在移動(dòng)來(lái)確定所標(biāo)識(shí)的物體可能是背景物體還是前景物體。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括諸如場(chǎng)景的基準(zhǔn)圖像等基準(zhǔn)平面，該基準(zhǔn)平面可包括例如每個(gè)體素的非運(yùn)動(dòng)深度信息。根據(jù)示例實(shí)施例， 基準(zhǔn)平面可包括體素的最小世界空間方位(諸如通過(guò)一系列幀確定的網(wǎng)格中體素的最小X 值、Y值和深度值)，體素的最大世界空間方位(諸如通過(guò)一系列幀確定的網(wǎng)格中體素的最大X值、Y值和深度值)，體素的平均世界方位(通過(guò)一系列幀確定的網(wǎng)格中體素的平均X 值、Y值和深度值)，或者任何其他適合的基準(zhǔn)平面。根據(jù)另一個(gè)實(shí)施例，基準(zhǔn)平面可包括與場(chǎng)景中的每個(gè)體素相關(guān)聯(lián)的移動(dòng)平均。移動(dòng)平均可包括例如通過(guò)一系列之前接收到的幀所確定的體素的平均深度值。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將例如在305處接收的深度圖像的場(chǎng)景中所標(biāo)識(shí)的物體相關(guān)聯(lián)的每個(gè)體素的諸如最大深度值、平均深度值、最小深度值等的深度信息與基準(zhǔn)平面中所包括的每個(gè)對(duì)應(yīng)體素的非運(yùn)動(dòng)深度信息進(jìn)行比較?；诨鶞?zhǔn)平面中對(duì)應(yīng)體素的深度信息和非運(yùn)動(dòng)深度信息的比較，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以標(biāo)識(shí)一個(gè)體素在移動(dòng)。例如，在一個(gè)實(shí)施例中，如果諸如體素的最小深度值、最大深度值、和/ 或平均深度值的深度值可小于基準(zhǔn)平面中對(duì)應(yīng)體素的移動(dòng)平均從而使得體素可在移動(dòng)平均前方，則該體素可被標(biāo)識(shí)為移動(dòng)。根據(jù)另一個(gè)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以計(jì)算與體素和基準(zhǔn)平面中對(duì)應(yīng)體素相關(guān)聯(lián)的值之間的差。如果例如諸如體素的平均深度值、最大深度值、和/或最小深度值的深度值與基準(zhǔn)平面中對(duì)應(yīng)體素的非運(yùn)動(dòng)信息所包括的深度值之間的差可大于運(yùn)動(dòng)閾值，則該體素可由目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)標(biāo)識(shí)為移動(dòng)。根據(jù)另一個(gè)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將諸如體素和與其鄰近的體素的最大深度值、平均深度值、最小深度值等的深度信息與基準(zhǔn)平面中所包括的每個(gè)對(duì)應(yīng)體素的非運(yùn)動(dòng)深度信息進(jìn)行比較。例如，為了處理邊緣噪聲，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將特定體素和可與其鄰近的體素的最小深度值相對(duì)于基準(zhǔn)平面中對(duì)應(yīng)體素的最小深度值進(jìn)行比較，以確定體素和/或與其相關(guān)聯(lián)的物體是否可能正在移動(dòng)。如果例如特定體素和可與其鄰近的體素的最小深度值與基準(zhǔn)平面中對(duì)應(yīng)體素的非運(yùn)動(dòng)信息所包括的最小深度值之間的差可能大于運(yùn)動(dòng)閾值，則該特定體素可由目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)標(biāo)識(shí)為移動(dòng)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后基于移動(dòng)體素的百分比為每個(gè)所標(biāo)識(shí)的物體計(jì)算前景分?jǐn)?shù)。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以用可被標(biāo)識(shí)為移動(dòng)的島中的體素的數(shù)量除以島中所包括的體素總數(shù)來(lái)計(jì)算前景分?jǐn)?shù)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以隔離具有超過(guò)分?jǐn)?shù)閾值的前景分?jǐn)?shù)的物體。 分?jǐn)?shù)閾值可以是由目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)所定義的可指示一個(gè)物體可處于運(yùn)動(dòng)中的值或百分比。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于前景分?jǐn)?shù)將可能未在移動(dòng)的背景物體從經(jīng)降采樣的深度圖像中移除或丟棄，使得可在經(jīng)降采樣的深度圖像中對(duì)的前景物體(諸如具有可能超過(guò)分?jǐn)?shù)閾值的前景分?jǐn)?shù)的人類目標(biāo))進(jìn)行隔離。根據(jù)一示例實(shí)施例，為了移除或丟棄可能未正在移動(dòng)的物體，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過(guò)用0值、或另一個(gè)適合的指示符、或可指示體素可能無(wú)效的標(biāo)記代替X值、Y值和/或深度值來(lái)移除或丟棄與未移動(dòng)物體相關(guān)聯(lián)的體素。在320，可以為被隔離的前景物體(諸如人類目標(biāo))確定一個(gè)或多個(gè)肢端(諸如一個(gè)或多個(gè)身體部位)。例如，在一個(gè)實(shí)施例中，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將一個(gè)或多個(gè)試探(heuristic)或規(guī)則應(yīng)用到經(jīng)隔離的人類目標(biāo)以確定例如與該經(jīng)隔離的人類目標(biāo)相關(guān)聯(lián)的例如質(zhì)心或中心、頭、肩、軀干、臂、腿等。根據(jù)一個(gè)實(shí)施例，基于對(duì)肢端的確定，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以生成和/或調(diào)整被隔離的人類目標(biāo)的模型。例如，如果在305所接收的深度圖像可以被包括在由捕捉設(shè)備(諸如上面參考圖1A-2描述的捕捉設(shè)備20)所觀察或捕捉的初始幀中，則可基于在320確定的肢端(諸如質(zhì)心、頭、肩、臂、手、腿等等)的位置，通過(guò)例如將骨架模型的關(guān)節(jié)分配到肢端的所確定的位置來(lái)生成模型，這將在下面更詳細(xì)地描述?；蛘?，如果深度圖像可以被包括在由捕捉設(shè)備所觀察或捕捉的后續(xù)或非初始幀中，則可以基于在320確定的肢端(諸如質(zhì)心、頭、肩、臂、手、腿等)的位置來(lái)調(diào)整可在之前已經(jīng)生成的模型。根據(jù)一示例實(shí)施例，在315隔離開前景物體(諸如人類目標(biāo))之后，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在320計(jì)算該人類目標(biāo)中的體素的平均以例如估算該人類目標(biāo)的質(zhì)心或中心。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算該人類目標(biāo)中包括的體素的平均方位， 其可提供對(duì)該人類目標(biāo)的質(zhì)心或中心的估算。在一個(gè)實(shí)施例中，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于與體素相關(guān)聯(lián)的X值、Y值和深度值來(lái)計(jì)算與該人類目標(biāo)相關(guān)聯(lián)的體素的平均方位。例如，如上所述，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)對(duì)與體素相關(guān)聯(lián)的像素的X值求平均來(lái)計(jì)算該體素的X值，通過(guò)對(duì)與該體素相關(guān)聯(lián)的像素的Y值求平均來(lái)計(jì)算該體素的Y 值，以及通過(guò)對(duì)與該體素相關(guān)聯(lián)的像素的深度值求平均來(lái)計(jì)算該體素的深度值。在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可對(duì)該人類目標(biāo)中所包括的體素的X值、Y值和深度值求平均以計(jì)算平均方位，該平均方位可提供該人類目標(biāo)的質(zhì)心或中心的估算。圖8示出了為人類目標(biāo)402b估計(jì)的質(zhì)心或中心的示例實(shí)施例。根據(jù)示例實(shí)施例， 質(zhì)心或中心的位置或方位802可以基于與如上所述的被隔離的人類目標(biāo)402b相關(guān)聯(lián)的體素的平均方位或位置?；仡^參考圖5，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可在320為人類目標(biāo)定義邊界框以確定例如可包括人類目標(biāo)的頭和/或軀干的人類目標(biāo)的核體積。例如，在確定對(duì)人類目標(biāo)的質(zhì)心或中心的估計(jì)時(shí)，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以沿X方向水平地搜索以確定可用于定義與核體積相關(guān)聯(lián)的邊界框的人類目標(biāo)的寬度。根據(jù)一個(gè)實(shí)施例，為了沿X方向水平地搜索以確定人類目標(biāo)的寬度，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以從質(zhì)心或中心沿χ軸在向左方向和向右方向上搜索，直到目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可到達(dá)無(wú)效的體素，諸如可能不包括與其相關(guān)聯(lián)的深度值的體素、或者可能與場(chǎng)景中所標(biāo)識(shí)的另一個(gè)物體相關(guān)聯(lián)的體素。 例如，如上所述，可以在315處移除與背景相關(guān)聯(lián)的體素以隔離人類目標(biāo)和與其相關(guān)聯(lián)的體素。如上所述，根據(jù)示例實(shí)施例，為了在315處移除體素，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以使用0值、或另一個(gè)適合的指示符、或可指示體素?zé)o效的標(biāo)記來(lái)代替與背景物體的體素相關(guān)聯(lián)的X值、Y值、和/或深度值。在320處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可從人類目標(biāo)的質(zhì)心在向左方向上搜索直至到達(dá)人類目標(biāo)左側(cè)的第一無(wú)效體素，并且可從人類目標(biāo)的質(zhì)心在向右方向上搜索直至到達(dá)人類目標(biāo)右側(cè)的第二無(wú)效體素。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于例如向左方向上到達(dá)的第一無(wú)效體素鄰近的第一有效體素的X值與向右方向上第二無(wú)效體素鄰近的第二有效體素的X值之間的差來(lái)計(jì)算或測(cè)量長(zhǎng)度。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可沿Y方向垂直地搜索以確定人類目標(biāo)的高度， 例如可用于定義與核體積相關(guān)聯(lián)的邊界框的從頭到髖的高度。根據(jù)一個(gè)實(shí)施例，為了沿Y 方向垂直地搜索以測(cè)量人類目標(biāo)的寬度，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以從質(zhì)心或中心沿Y 軸在向上方向和向下方向上搜索，直到目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可到達(dá)無(wú)效的體素、或者可能不包括與其相關(guān)聯(lián)的X值、Y值、或深度值的體素。例如，在320處，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可從人類目標(biāo)的質(zhì)心在向左方向上搜索直至到達(dá)人類目標(biāo)上部的第三無(wú)效體素， 并且可從人類目標(biāo)的質(zhì)心在向下方向上搜索直至到達(dá)人類目標(biāo)下部的第四無(wú)效體素。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于例如向上方向上到達(dá)的第三無(wú)效體素鄰近的第三有效體素的Y值與向下方向上第四無(wú)效體素鄰近的第四有效體素的Y值之間的差來(lái)計(jì)算或測(cè)量高度。根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以在X和Y軸上沿X和Y方向以各種角度(諸如30度、45度角、60度角等)正交地搜索，以便確定可用于定義與核體積相關(guān)聯(lián)的邊界框的其他距離和值。另外，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于距離或值的比率來(lái)定義與核體積相關(guān)聯(lián)的邊界框。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于如上所述確定的高度乘以常量(諸如0. 2,0. 25,0. 3、或任何其他適合的值)，來(lái)定義邊界框的寬度。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以基于由沿著X軸的水平搜索所確定的第一和第二有效體素、由沿著Y軸的垂直搜索所確定的第三和第四有效體素、或者由例如正交搜索所確定的其他距離或值來(lái)定義可表示核體積的邊界框。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在第一有效體素的X值處沿Y軸生成邊界框的第一垂直線，以及在第二有效體素的X值處沿Y軸生成邊界框的第二垂直線。另外，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在第三有效體素的Y值處沿X軸生成邊界框的第一水平線，以及在第四有效體素的Y值處沿X軸生成邊界框的第二水平線。根據(jù)示例實(shí)施例，第一和第二水平線可以與第一和第二垂直線交叉以形成矩形或正方形，該矩形或正方形可以表示與人類目標(biāo)的核體積相關(guān)聯(lián)的邊界框。圖9示出了可被定義為確定核體積的邊界框804的示例實(shí)施例。如圖9所示，邊界框804可以基于如上所述所確定的第一垂直線VL1、第二垂直線VL2與第一水平線HL1、 第二水平線HL2的交叉來(lái)形成矩形?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可確定人類目標(biāo)的頭。例如，在一個(gè)實(shí)施例中，在確定了核體積和定義了與其相關(guān)聯(lián)的邊界框之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以確定人類目標(biāo)的頭的位置或方位。為了確定頭的方位或位置，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在適合于頭的方位或位置搜索各個(gè)候選項(xiàng)，可以對(duì)各個(gè)候選項(xiàng)打分，并且隨后可以基于分?jǐn)?shù)從各個(gè)候選項(xiàng)中選擇頭的方位。例如，根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以搜索該人類目標(biāo)的絕對(duì)最高體素和/或鄰近或接近該絕對(duì)最高體素的體素、基于為之前的幀確定的頭的位置的一個(gè)或多個(gè)增量體素、可(從例如質(zhì)心或中心和/或鄰近或接近為之前的幀確定的之前向上向量上的最高體素的體素)豎直延伸的向上向量上的最高體素、在中心和為之前幀確定的最高體素之間的之前的向上向量上的最高體素、或可以是頭的候選項(xiàng)的任何其他適合的體
ο該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可對(duì)這些候選項(xiàng)打分。根據(jù)一個(gè)實(shí)施例，可基于 3-D模式匹配對(duì)這些候選項(xiàng)打分。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可創(chuàng)建頭柱體和肩柱體。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于頭柱體中可包括的與候選項(xiàng)相關(guān)聯(lián)的體素的數(shù)量來(lái)計(jì)算候選項(xiàng)的得分，這將在下面更為詳細(xì)地描述。圖10示出了可被創(chuàng)建為對(duì)與頭相關(guān)聯(lián)的候選項(xiàng)進(jìn)行打分的頭柱體806和肩808 的示例實(shí)施例。根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于與頭柱體806和肩柱體808中可包括的頭候選項(xiàng)相關(guān)聯(lián)的體素的數(shù)量來(lái)計(jì)算候選項(xiàng)的得分。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于與頭候選項(xiàng)相關(guān)聯(lián)的體素的位置來(lái)確定頭柱體806和/或肩柱體808 內(nèi)部的頭候選項(xiàng)的總數(shù)，以及基于與頭候選項(xiàng)相關(guān)聯(lián)的體素來(lái)確定頭柱體806 (例如，區(qū)域 807以內(nèi))和/或肩柱體808外部的頭候選項(xiàng)的總數(shù)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于肩柱體808的左半部LH中頭候選項(xiàng)的數(shù)量與肩柱體808的右半部RH中頭候選項(xiàng)的數(shù)量之間的差的絕對(duì)值的函數(shù)來(lái)計(jì)算對(duì)稱的度量。在示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可通過(guò)從頭柱體806和/或肩柱體808內(nèi)部的候選項(xiàng)的總數(shù)中減去頭柱體806和/或肩柱體808外部的候選項(xiàng)的總數(shù)，并進(jìn)一步從頭柱體806和/或肩柱體808內(nèi)部和外部的候選項(xiàng)的總數(shù)之差中減去對(duì)稱度量來(lái)計(jì)算候選項(xiàng)的分?jǐn)?shù)。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將頭柱體806和/或肩柱體808內(nèi)部和外部的候選項(xiàng)的總數(shù)乘以由目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)在減法之前所確定的常數(shù)?；仡^參考圖5，根據(jù)一個(gè)實(shí)施例，如果與候選項(xiàng)之一相關(guān)聯(lián)的分?jǐn)?shù)超過(guò)頭閾值分?jǐn)?shù)，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在320基于與該候選項(xiàng)相關(guān)聯(lián)的體素來(lái)確定頭的方位或位置。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于最高點(diǎn)、可(從例如質(zhì)心或中心和/或鄰近或接近為之前幀所確定的之前向上向量上的最高體素的體素)垂直延伸的向上向量上的最高體素、在中心和為之前幀確定的最高體素之間的之前向上向量上的最高體素、之前幀中頭的方位或位置周圍的區(qū)域(諸如框、立方體等)內(nèi)全部體素的平均方位等，來(lái)選擇頭的方位或位置。根據(jù)其他示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以計(jì)算與可能超過(guò)頭閾值分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的值(諸如X值、Y值、和深度值)的平均， 以確定頭的方位或位置，或者目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于可超過(guò)頭閾值分?jǐn)?shù)的候選項(xiàng)中所包括的體素的擬合線或最佳擬合線來(lái)選擇頭的方位或位置。此外，在一個(gè)實(shí)施例中，如果一個(gè)以上候選項(xiàng)超過(guò)頭閾值分?jǐn)?shù)，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可選擇可具有最高分?jǐn)?shù)的候選項(xiàng)，并且隨后可基于與可具有最高分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素來(lái)確定頭的方位或位置。如上所述，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于例如與可具有最高分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的平均值(諸如X值、Y值和深度值)來(lái)選擇頭的方位或位置。根據(jù)一個(gè)實(shí)施例，如果與候選項(xiàng)相關(guān)聯(lián)的分?jǐn)?shù)都未超過(guò)頭閾值分?jǐn)?shù)，則目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)可使用其中頭部分?jǐn)?shù)可已超過(guò)頭閾值分?jǐn)?shù)的之前幀的深度圖像相關(guān)聯(lián)的人類目標(biāo)中所包括的體素確定的頭的之前方位或位置，或者如果在305接收的深度圖像可能是在由該捕捉設(shè)備捕捉或觀察的初始幀，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用人類目標(biāo)的默認(rèn)姿態(tài)(諸如，T型姿態(tài)、自然站立姿態(tài)等)中的頭的默認(rèn)方位或位置。根據(jù)另一實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括與例如頭的形狀相關(guān)聯(lián)的一個(gè)或多個(gè)兩維OD)樣式。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于與候選項(xiàng)相關(guān)聯(lián)的體素可能是一個(gè)或多個(gè)2D樣式的頭的形狀的可能性來(lái)對(duì)與頭相關(guān)聯(lián)的候選項(xiàng)打分。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可對(duì)可以指示定義頭的形狀的鄰近或附近的體素的深度值進(jìn)行采樣。如果可以指示定義頭的形狀的體素之一的經(jīng)采樣的深度值可能偏離頭的形狀的體素的一個(gè)或多個(gè)預(yù)期或預(yù)定義的深度值，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以減少默認(rèn)分?jǐn)?shù)或初始分?jǐn)?shù)，以指示該體素可能不是頭。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以選擇具有最高值的分?jǐn)?shù)，并且可以基于與具有最高分?jǐn)?shù)的候選項(xiàng)相關(guān)聯(lián)的體素的位置或方位來(lái)指派頭的位置或方位。根據(jù)另一個(gè)實(shí)施例，默認(rèn)分?jǐn)?shù)或初始分?jǐn)?shù)可以是與使用如上所述的頭和/或肩柱體來(lái)計(jì)算的頭相關(guān)聯(lián)的候選項(xiàng)的分?jǐn)?shù)。如果候選項(xiàng)可能不在與一個(gè)或多個(gè)2D樣式相關(guān)聯(lián)的頭的形狀中，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以減少這個(gè)分?jǐn)?shù)。如上所述，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以選擇超過(guò)頭閾值分?jǐn)?shù)的候選項(xiàng)的分?jǐn)?shù)，并且可以基于候選項(xiàng)的位置或方位來(lái)指派頭的位置或方位。
該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在320進(jìn)一步確定人類目標(biāo)的肩和髖。例如，在一個(gè)實(shí)施例中，在確定人類目標(biāo)的頭的位置或方位之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定人類目標(biāo)的肩和髖的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可確定肩和髖的定向，諸如肩和髖的旋轉(zhuǎn)或角度。根據(jù)示例實(shí)施例，為了確定肩和髖的位置或方位，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于頭的位置或方位以及人類目標(biāo)的質(zhì)心或中心來(lái)定義頭-到-中心的向量。例如， 頭-到-中心的向量可以是在頭點(diǎn)的位置或方位的X值、Y值和深度值(或Z值)與質(zhì)點(diǎn)或中心點(diǎn)的位置或方位的X值、Y值和深度值(或Z值)之間定義的向量或線。圖11示出了基于人類目標(biāo)的頭以及質(zhì)心或中心的頭-到-中心向量的示例實(shí)施例。如上所述，可以確定諸如頭的位置或方位810的位置或方位。如圖11所示，目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)隨后可在頭的位置或方位810與中心或質(zhì)心的位置或方位802之間定義頭-到-中心向量812?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于頭-到-中心向量來(lái)定義肩體積框和髖體積框。例如，根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于位移(諸如從諸如與頭相關(guān)聯(lián)的方位或位置的身體地標(biāo)或質(zhì)心或中心的長(zhǎng)度)來(lái)定義或確定肩和髖的大致位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以定義距離諸如與頭相關(guān)聯(lián)的方位或位置或質(zhì)心或中心的身體地標(biāo)的位移值周圍的肩體塊和髖體塊。圖12示出了基于頭-到-中心向量812所確定的肩體塊SVB和髖體塊HVB的示例實(shí)施例。根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于位移(諸如從諸如與頭相關(guān)聯(lián)的位置或方位810、或與質(zhì)心或中心相關(guān)聯(lián)的位置或方位802的身體地標(biāo)的長(zhǎng)度)來(lái)定義或確定肩和髖的大致位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以定義距離身體地標(biāo)位移值周圍的肩體塊SVB和髖體塊HVB?；仡^參考圖5，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可在320基于諸如距離身體地標(biāo)(諸如沿著頭-到-中心向量的頭)的長(zhǎng)度的位移值來(lái)計(jì)算肩和髖的中心。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以沿著頭-到-中心向量向下或向上移動(dòng)該位移值以計(jì)算肩和髖的中心。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以確定諸如肩和髖的角度的定向。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以計(jì)算例如肩體塊和髖體塊內(nèi)的深度值的擬合線，以便確定該定向，諸如肩和髖的角度。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于與肩體塊和髖體塊相關(guān)聯(lián)的體素的X值、Y值和深度值來(lái)計(jì)算最佳擬合線，以便計(jì)算可通過(guò)肩的中心來(lái)定義肩骨的向量的肩斜度并可通過(guò)髖的中心來(lái)定義髖的關(guān)節(jié)之間的髖骨的向量的髖斜度。肩斜度和髖斜度可以定義相應(yīng)的定向，諸如肩和髖的角度。根據(jù)另一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以鏡像人類目標(biāo)的深度值，使得在320可以基于頭-到-中心向量在人類目標(biāo)的中心周圍反映體素的深度值。因此，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)圍繞軸向量(諸如頭-到-中心向量、從肩和/或髖邊界框中計(jì)算的軸點(diǎn)等)來(lái)反映人類目標(biāo)的體素的深度值來(lái)補(bǔ)償身體的背面。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可以計(jì)算包括例如肩體塊和髖體塊內(nèi)所反映的深度值在內(nèi)的深度值的擬合線，以便確定該定向，諸如肩和髖的角度。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于(包括與肩體塊和髖體塊相關(guān)聯(lián)的所反映的深度值在內(nèi)的)體素的X 值、Y值和深度值來(lái)計(jì)算最佳擬合線，以便計(jì)算可通過(guò)肩的中心來(lái)定義肩骨的向量的肩斜度CN 102549619 A
以及可通過(guò)髖的中心來(lái)定義髖的關(guān)節(jié)之間的髖骨的向量的髖斜度。肩斜度和髖斜度可以定義相應(yīng)的定向，諸如肩和髖的角度。圖13示出可基于肩體塊SVB和髖體塊HVB來(lái)計(jì)算的肩和髖的示例實(shí)施例。如圖13 所示，可以如上所述地基于相應(yīng)的肩體塊SVB和髖體塊HVB來(lái)確定肩的位置或方位816a-b 和髖的位置或方位818a-b?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可確定人類目標(biāo)的軀干。在一個(gè)實(shí)施例中，在確定肩和髖之后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可生成或創(chuàng)建軀干體，該軀干體可包括與頭、肩、中心和髖相關(guān)聯(lián)或圍繞它們的體素?；谥行摹㈩^、肩和/或髖的位置或方位，軀干體可以是圓柱、藥丸形(諸如兩端為圓形的圓柱)等等。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以創(chuàng)建柱體，該柱體可表示具有基于肩、頭、髖、中心等的尺寸的核體積。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可創(chuàng)建柱體，該柱體可具有基于肩的寬度的寬度或直徑以及基于頭和髖之間的距離的高度。然后該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)沿頭-到-中心向量定向或傾斜(angle)可表示軀干體的柱體以便該軀干體可反映人類目標(biāo)的軀干的定向(諸如角度)。圖14示出了可表示核體積的柱體820的示例實(shí)施例。如圖14所示，柱體820可以具有基于肩的寬度的寬度或直徑以及基于頭和髖之間的距離的高度。還可沿著頭-到-中心向量812對(duì)柱體820定向或傾斜?；仡^參考圖5，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可估計(jì)或確定人類目標(biāo)的肢體。根據(jù)一個(gè)實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在生成或創(chuàng)建軀干體之后粗略地將軀干體外的體素標(biāo)記為肢體。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可標(biāo)識(shí)軀干體外的體素中的每一個(gè)，使得目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將該體素標(biāo)記為肢體的一部分。然后目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定與軀干體外的體素相關(guān)聯(lián)的實(shí)際的肢體， 諸如右臂和左臂、右手和左手、右腿和左腿、右腳和左腳等等。在一個(gè)實(shí)施例中，為了確定實(shí)際的肢體，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將所標(biāo)識(shí)的肢體的之前方位或位置(諸如右臂、左臂、左腿、右腿等的之前方位或位置)與軀干體外的體素的方位或位置進(jìn)行比較。根據(jù)示例實(shí)施例，之前標(biāo)識(shí)的肢體的之前位置或方位可以是之前幀中所接收的深度圖像中的肢體的位置或方位、基于之前移動(dòng)的所投影的身體部位的位置或方位、或諸如人類目標(biāo)的完全連接(fully articulated)骨架或體模型等人類目標(biāo)的標(biāo)識(shí)的任何其他適當(dāng)之前的位置或方位?；谒霰容^，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可將軀干體外的體素與最接近的之前標(biāo)識(shí)的肢體相關(guān)聯(lián)。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將包括軀干體外的體素中的每一個(gè)的 X值、Y值和深度值的方位或位置與包括之前標(biāo)識(shí)的肢體(諸如之前標(biāo)識(shí)的左臂、右臂、左腿、右腿等)的X值、Y值和深度值的之前的方位或位置進(jìn)行比較。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于該比較將軀干體外的體素中的每一個(gè)與可能具有最接近的位置或方位的先前標(biāo)識(shí)的肢體相關(guān)聯(lián)。在一個(gè)實(shí)施例中，為了確定實(shí)際的肢體，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將人類目標(biāo)的標(biāo)識(shí)的默認(rèn)姿態(tài)中的所標(biāo)識(shí)的肢體(諸如右臂、左臂、左腿、右腿等)的默認(rèn)方位或位置與軀干體外的體素的方位或位置進(jìn)行比較。例如，在305接收的深度圖像可被包括在捕捉設(shè)備所捕捉或觀察的初始幀中。如果在305接收的深度圖像可被包括在初始幀中，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將肢體的默認(rèn)方位或位置(諸如右臂、左臂、左腿、右腿等的默認(rèn)方位或位置)與軀干體外的體素的方位或位置進(jìn)行比較。根據(jù)示例實(shí)施例，所標(biāo)識(shí)的肢體的默認(rèn)位置或方位可以是人類目標(biāo)的表示(諸如默認(rèn)姿態(tài)中的人類目標(biāo)的完全連接的骨架或體模型)在默認(rèn)姿態(tài)(諸如T型姿態(tài)、達(dá)芬奇姿態(tài)、自然姿態(tài)等)中的肢體的位置或方位?；谒霰容^，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可將軀干體外的體素與與該默認(rèn)姿態(tài)相關(guān)聯(lián)的最接近的肢體相關(guān)聯(lián)。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將包括軀干體外的體素中的每一個(gè)的X值、Y值和深度值的方位或位置與包括默認(rèn)的肢體(諸如默認(rèn)的左臂、右臂、左腿、右腿等)的X值、Y值和深度值的默認(rèn)方位或位置進(jìn)行比較。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于該比較將軀干體外的體素中的每一個(gè)與可能具有最接近的位置或方位的默認(rèn)的肢體相關(guān)聯(lián)。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于所估算的肢體來(lái)重新標(biāo)記軀干體內(nèi)的體素。例如，在一個(gè)實(shí)施例中，臂(諸如左前臂)的至少一部分可被置于人類目標(biāo)的軀干的前方?；谒鶚?biāo)識(shí)的臂的默認(rèn)方位或位置，如上所述，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將該部分確定或估算為與所述臂相關(guān)聯(lián)。例如，先前標(biāo)識(shí)的肢的先前方位或位置可指示人類目標(biāo)的肢體(諸如臂)的一個(gè)或多個(gè)體素可以在軀干體內(nèi)。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可將包括先前標(biāo)識(shí)的肢體(諸如先前標(biāo)識(shí)的左臂、右臂、左腿、右腿等)的X值、Y值、和深度值的先前方位或位置與軀干體中所包括的體素的方位或位置進(jìn)行比較。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于該比較將軀干體內(nèi)的體素中的每一個(gè)與可能具有最接近的位置或方位的先前標(biāo)識(shí)的肢體相關(guān)聯(lián)并將其重新標(biāo)記。根據(jù)一個(gè)實(shí)施例，在標(biāo)記與肢體相關(guān)聯(lián)的體素后，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在 320確定例如所標(biāo)記的肢體的部分的位置或方位。例如，在標(biāo)記與左臂、右臂、左腿和/或右腿相關(guān)聯(lián)的體素之后，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定與右臂和左臂的手和/或肘、膝和/或腳、肘等的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于所述肢體中的每一個(gè)的肢體平均來(lái)確定所述部分(諸如手、肘、腳、膝等)的位置或方位。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)將與左臂相關(guān)聯(lián)的體素的每一個(gè)的X值相加，將與左臂相關(guān)聯(lián)的體素的每一個(gè)的Y值相加，以及將與左臂相關(guān)聯(lián)的體素的每一個(gè)的深度值相加并將所加總的X值、Y值和深度值中的每一個(gè)的和除以與左臂相關(guān)聯(lián)的體素的總數(shù)來(lái)計(jì)算左臂平均位置。根據(jù)一個(gè)實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可定義左肩和左臂平均位置之間的向量或線以便該左肩和左臂平均位置之間的向量或線可定義左手的第一搜索方向。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可從肩至沿由該向量或線所定義的該第一搜索方向搜索最后有效體素或具有有效X值、Y值和/或深度值的最后體素并可將該最后有效體素的位置或方位與左手相關(guān)聯(lián)。根據(jù)另一實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算錨點(diǎn)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可定義錨點(diǎn)與左臂平均位置之間的向量或線，使得錨點(diǎn)與左臂平均位置之間的向量或線可以定義左手的第二搜索方向。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可從錨點(diǎn)沿由該向量或線所定義的第二搜索方向搜索最后有效體素或具有有效X值、Y值和/或深度值的最后體素并可將該最后有效體素的位置或方位與左手相關(guān)聯(lián)。在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于從其他的確定的肢端(諸如頭、髖、肩等)的一個(gè)或多個(gè)偏移來(lái)計(jì)算錨點(diǎn)的位置或方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)將肩的位置或方位在相應(yīng)的X方向和Z方向上延伸與肩的位置或方位相關(guān)聯(lián)的X值和深度值的一半來(lái)計(jì)算錨點(diǎn)的X值和深度值。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可在所延伸的位置或方位周圍鏡像錨點(diǎn)的X值和深度值的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于左臂平均位置從頭和/或髖的位移來(lái)計(jì)算錨點(diǎn)的Y值。例如，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算頭的Y值和左臂平均的Y值之間的位移或差。該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將該位移或差加到例如髖的中心的Y值來(lái)計(jì)算錨點(diǎn)的Y值。圖15A-15C示出了基于錨點(diǎn)^8a_828c來(lái)確定的手的示例實(shí)施例。如圖15A-15C 所示，根據(jù)另一實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算錨點(diǎn)8^a-828c。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可定義錨點(diǎn)^8a-828c與左臂平均位置826a-826c之間的向量或線，使得錨點(diǎn)與左臂平均位置之間的向量或線可以定義左手的第二搜索方向。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可從錨點(diǎn)8^a-828c沿由該向量或線所定義的第二搜索方向搜索最后有效體素或具有有效X值、Y值和/或深度值的最后體素，并可將該最后有效體素的位置或方位與左手相關(guān)聯(lián)。如上所述，在一示例實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于從其他的確定的肢端(諸如如上所述的頭、髖、肩等)的一個(gè)或多個(gè)偏移來(lái)計(jì)算錨點(diǎn)828a-828c的位置或方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)將肩的位置或方位在相應(yīng)的X方向和Z方向上延伸與肩的位置或方位相關(guān)聯(lián)的X值和深度值的一半來(lái)計(jì)算錨點(diǎn)828a-^8c的X值和深度值。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可在所延伸的位置或方位周圍鏡像錨點(diǎn)828a-^8c的 X值和深度值的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于左臂平均位置從頭和/或髖的位移來(lái)計(jì)算錨點(diǎn) 828a-828c的Y值。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可計(jì)算頭的Y值與左臂平均826a-^6c 的Y值之間的位移或差。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將該位移或差加到例如髖的中心的Y值來(lái)計(jì)算錨點(diǎn)828a-^8c的Y值?；仡^參考圖5，根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以在320計(jì)算右臂平均位置，該右臂平均位置可用于定義如上所述的諸如第一和第二搜索方向的搜索方向， 該搜索方向可用于確定右手的位置或方位。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以計(jì)算可用于定義如上所述的搜索方向的左腿平均位置和右腿平均位置，該搜索方向可用于確定左腳和右腳。圖16示出可基于臂和腿的平均位置和/或錨點(diǎn)來(lái)計(jì)算的手和腳的示例實(shí)施例。如圖16所示，可以基于由如上所述的相應(yīng)的臂和腿平均方位和/或錨點(diǎn)確定的第一和第二搜索方向來(lái)確定手的位置或方位82h-b以及腳的位置或方位82^-b?；仡^參考圖6，在320，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于右臂和左臂平均位置、 右腿和左腿平均位置、肩、髖、頭等來(lái)確定肘和膝的位置或方位。在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可通過(guò)細(xì)化左臂平均位置的X值、Y值和深度值來(lái)確定左肘的位置方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定最外面的體素，所述最外面的體素可能定義與左臂相關(guān)聯(lián)的邊緣。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將左臂平均位置的X值、Y值和深度值調(diào)整為在中間或與各邊緣等距。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可在320確定被隔離的人類目標(biāo)的附加興趣點(diǎn)。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于諸如肩的角度的定向來(lái)確定離人體中心最遠(yuǎn)的體素、最接近相機(jī)的體素、人類目標(biāo)最前向的體素。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可在320確定為肢端(諸如頭、肩、髖、手、腳等) 確定的位置或方位中的一個(gè)或多個(gè)是否可能不是人類目標(biāo)的實(shí)際肢端的準(zhǔn)確位置或方位。 例如，在一個(gè)實(shí)施例中，右手的位置或方位可能是不準(zhǔn)確的，使得右手的位置或方位可能停滯在或鄰近于肩或髖的位置或方位。根據(jù)示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可包括或存儲(chǔ)各肢端的體標(biāo)記 (marker)的列表，所述體標(biāo)記可指示該肢端的不準(zhǔn)確的位置或方位。例如，該列表可包括可能與手相關(guān)聯(lián)的、在肩或髖周圍的體標(biāo)記。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于該列表中與手相關(guān)聯(lián)的體標(biāo)記來(lái)確定手的位置或方位是否可能是準(zhǔn)確的。例如，如果手的位置或方位可在列表中與手相關(guān)聯(lián)的體標(biāo)記之一內(nèi)，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可確定手的位置或方位可能是不準(zhǔn)確的。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)然后可將手的位置或方位調(diào)整到之前幀中的手的之前準(zhǔn)確位置到手的當(dāng)前位置或方位。在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可跟蹤基于在320確定的肢端而生成的模型。 例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可生成和/或可包括諸如可具有其間定義一個(gè)或多個(gè)關(guān)節(jié)和骨骼的骨架模型等模型。圖17示出諸如可生成的骨架模型之類的模型900的示例實(shí)施例。根據(jù)一示例實(shí)施例，模型900可包括可表示例如人類的三維模型的一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)。每個(gè)身體部分可以被表征為一數(shù)學(xué)向量，該數(shù)學(xué)向量具有可定義模型900的關(guān)節(jié)和骨骼的X、Y和Z值。如圖17所示，模型900可包括一個(gè)或多個(gè)關(guān)節(jié)jl_jl6。根據(jù)一示例實(shí)施例，關(guān)節(jié) jl-jl6中的每一個(gè)可使得在這些關(guān)節(jié)之間定義的一個(gè)或多個(gè)身體部位能相對(duì)于一個(gè)或多個(gè)其他身體部位移動(dòng)。例如，表示人類目標(biāo)的模型可包括多個(gè)剛性和/或可變形身體部位， 這些身體部位由一個(gè)或多個(gè)諸如“骨骼”等結(jié)構(gòu)件來(lái)定義，而關(guān)節(jié)jl_jl6位于毗鄰骨骼的交叉點(diǎn)處。關(guān)節(jié)jl_jl6可使得與骨骼和關(guān)節(jié)jl_jl6相關(guān)聯(lián)的各個(gè)身體部位能夠彼此獨(dú)立地移動(dòng)。例如，如圖17所示，關(guān)節(jié)jlO與jl2之間定義的骨對(duì)應(yīng)于前臂，該前臂可獨(dú)立于例如關(guān)節(jié)jl4與jl6之間的骨骼(其對(duì)應(yīng)于小腿)移動(dòng)?；仡^參考圖5，在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可基于在320為肢端確定的位置或方位來(lái)調(diào)整所生成的模型。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可將與頭相關(guān)聯(lián)的關(guān)節(jié)jl 調(diào)整為與諸如在320確定的頭的位置或方位810等的方位或位置相對(duì)應(yīng)。因此，在一示例實(shí)施例中，關(guān)節(jié)jl可被賦予與如上所述的為頭確定的位置或方位810相關(guān)聯(lián)的X值、Y值和深度值。如果一個(gè)或多個(gè)肢端基于例如如上所述的體標(biāo)記的列表可能是不準(zhǔn)確的，則目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以基于之前的幀將不準(zhǔn)確的關(guān)節(jié)保持在其之前的位置或方位。另外，如果目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可能不具有肢端的位置或方位，則該目標(biāo)識(shí)另|J、分析和跟蹤系統(tǒng)可以使用基于默認(rèn)姿態(tài)(諸如T型姿態(tài)、達(dá)芬奇姿態(tài)等)的位置或方位。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以吸附或調(diào)整模型的一個(gè)或多個(gè)關(guān)節(jié)jl-jl6，使其與默認(rèn)姿態(tài)中最接近的體素的X值、Y值、和/或深度值相關(guān)聯(lián)。在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以基于在330確定的一個(gè)或多個(gè)身體測(cè)量 (將在下面詳細(xì)地描述)來(lái)調(diào)整對(duì)在模型的各關(guān)節(jié)之間定義的一個(gè)或多個(gè)骨骼的測(cè)量。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可在330確定人類目標(biāo)的左前臂的長(zhǎng)度。在325，目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)隨后可以調(diào)整與左前臂相關(guān)聯(lián)的骨骼的長(zhǎng)度以模擬在330為人類目標(biāo)確定的左前臂的長(zhǎng)度。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以調(diào)整關(guān)節(jié)jlO和jl2的X值、Y值和深度值(或Z值)中的一個(gè)或多個(gè)，使得在其間定義的骨骼可以等于在330為人類目標(biāo)的左前臂確定的長(zhǎng)度。在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可以檢查與所調(diào)整的模型相關(guān)聯(lián)的關(guān)節(jié)的無(wú)效位置或方位。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可檢查以確定諸如關(guān)節(jié) jio的關(guān)節(jié)是否可能凸出，使得該模型可能卡在小雞舞的姿態(tài)。因此，在325，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可檢查模型的已知位置或方位，其中該模型可能以不適當(dāng)?shù)姆绞秸郫B，諸如與肘相關(guān)聯(lián)的關(guān)節(jié)。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)還可基于在305接收的非降采樣的深度圖像的2D像素區(qū)域中的X值、Y值和深度值來(lái)細(xì)化關(guān)節(jié)的位置或方位。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用來(lái)自該非降采樣的深度圖像的數(shù)據(jù)來(lái)細(xì)化模型可能折疊之處的模型的關(guān)節(jié)的位置或方位。另外，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用來(lái)自該非降采樣的深度圖像的數(shù)據(jù)來(lái)細(xì)化與頻繁使用的姿勢(shì)相關(guān)聯(lián)的模型的關(guān)節(jié)的位置或方位。例如，根據(jù)一個(gè)實(shí)施例，該目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可對(duì)與手相關(guān)聯(lián)的關(guān)節(jié)區(qū)分優(yōu)先級(jí)。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可本地化在305接收的非降采樣的深度圖像中的手周圍的數(shù)據(jù)，使得目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用在305接收的非降采樣的深度圖像中的更高分辨率的數(shù)據(jù)來(lái)修改在320確定的手的位置或方位。如上所述，在330，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可掃描與被隔離的人類目標(biāo)相關(guān)聯(lián)的體素以確定與其相關(guān)聯(lián)的肢端的尺寸。例如，可掃描被隔離的人類目標(biāo)來(lái)確定例如與肢端(諸如臂、腿、頭、肩、髖、軀干等)相關(guān)聯(lián)的測(cè)量(諸如長(zhǎng)度、寬度等)。為了確定尺寸，在330，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可生成為每個(gè)肢端建議的關(guān)節(jié)尺寸的估算器。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可使用所述估算器來(lái)計(jì)算所建議的關(guān)節(jié)尺寸中的每一個(gè)的均值和標(biāo)準(zhǔn)差。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可添加在定義的百分比偏差內(nèi)的所建議的關(guān)節(jié)尺寸，而可拒絕離群點(diǎn)(outlier)以及在定義的百分比偏差外的所建議的關(guān)節(jié)尺寸。目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)隨后可基于在其標(biāo)準(zhǔn)差和所建議的關(guān)節(jié)尺寸的數(shù)量之間可具有最高比的估算器來(lái)確定所述肢端的尺寸。也可在330更新掃描所確定的與肢端相關(guān)聯(lián)的尺寸。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、 分析和跟蹤系統(tǒng)可包括一個(gè)或多個(gè)試探(heuristic)或規(guī)則以確定掃描所確定的尺寸是否可能是正確的。例如，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)包括可確定對(duì)稱關(guān)節(jié)之間的歐幾里德距離是否大致相等的試探或規(guī)則，可確定手和/或肘是否靠近身體的試探或規(guī)則，可確定頭是否可鎖定在一方位或位置的試探和/或規(guī)則、可確定手是否靠近頭的試探和/或規(guī)則，或者可用于調(diào)整所述尺寸的其他試探或規(guī)則。如上所述，在325，在330確定的尺寸可用于調(diào)整可被跟蹤用于下一幀的模型。在335，隨后可以處理經(jīng)調(diào)整的模型。例如，在一個(gè)實(shí)施例中，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)可以通過(guò)例如將應(yīng)用于經(jīng)調(diào)整的模型的一個(gè)或多個(gè)運(yùn)動(dòng)或移動(dòng)映射到化身或游戲角色來(lái)處理該經(jīng)調(diào)整的模型，使得該化身或游戲角色可被動(dòng)畫化以便模擬諸如以上參考圖 IA和IB描述的用戶18等用戶。例如，然后可響應(yīng)于對(duì)經(jīng)調(diào)整的模型的改變來(lái)改變屏幕上人物的視覺外觀。
在一個(gè)實(shí)施例中，經(jīng)調(diào)整的模型可以通過(guò)將經(jīng)調(diào)整的模型提供給諸如參照?qǐng)D1A-4 描述的計(jì)算環(huán)境12等計(jì)算環(huán)境中的姿勢(shì)庫(kù)，來(lái)處理經(jīng)調(diào)整的模型。姿勢(shì)庫(kù)可用于基于骨架模型中各身體部分的方位來(lái)確定在應(yīng)用內(nèi)執(zhí)行的控制。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，且這些具體實(shí)施例或示例不被認(rèn)為是限制性的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行等等。同樣，可以改變上述過(guò)程的次序。本公開的主題包括各種過(guò)程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其他特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效物。
權(quán)利要求
1.一種用于跟蹤用戶的方法，所述方法包括 接收深度圖像；基于所述深度圖像生成體素的網(wǎng)格；移除所述體素的網(wǎng)格中所包括的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素； 確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位；以及基于所述一個(gè)或多個(gè)肢端的位置或方位來(lái)調(diào)整模型。
2.如權(quán)利要求1所述的方法，其特征在于，所述模型包括具有關(guān)節(jié)和骨骼的骨架模型。
3.如權(quán)利要求2所述的方法，其特征在于，基于一個(gè)或多個(gè)所確定的肢端來(lái)調(diào)整所述模型包括將所述一個(gè)或多個(gè)肢端的位置或方位指派到所述模型的對(duì)應(yīng)關(guān)節(jié)。
4.如權(quán)利要求1所述的方法，其特征在于，移除所述體素的網(wǎng)格的背景以隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素還包括確定所述網(wǎng)格中的物體是否在運(yùn)動(dòng)中；以及當(dāng)基于所述確定所述物體不在運(yùn)動(dòng)中時(shí)，丟棄與所述物體相關(guān)聯(lián)的體素。
5.如權(quán)利要求1所述的方法，其特征在于，還包括確定所述一個(gè)或多個(gè)肢端的尺寸，以及基于所確定的尺寸來(lái)調(diào)整所述模型的關(guān)節(jié)和骨骼。
6.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述一個(gè)或多個(gè)肢端包括如下的至少一個(gè) 頭、質(zhì)心、肩、髖、腿、臂、手、肘、膝和腳。
7.如權(quán)利要求1所述的方法，其特征在于，還包括處理經(jīng)調(diào)整的模型。
8.如權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)格中的每個(gè)體素是基于所接收的深度圖像中所包括的像素部分或塊來(lái)生成的。
9.一種其上存儲(chǔ)有用于跟蹤用戶的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令包括用于以下操作的指令接收包括像素的深度圖像；對(duì)所接收的深度圖像中的所述像素進(jìn)行降采樣以生成一個(gè)或多個(gè)體素； 隔離與人類目標(biāo)相關(guān)聯(lián)的一個(gè)或多個(gè)體素； 確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位；以及基于所述一個(gè)或多個(gè)肢端的位置或方位來(lái)調(diào)整模型。
10.如權(quán)利要求9所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述模型包括具有關(guān)節(jié)和骨骼的骨架模型。
11.一種用于跟蹤與用戶相關(guān)聯(lián)的模型的系統(tǒng)，所述系統(tǒng)包括捕捉設(shè)備，其中所述捕捉設(shè)備包括接收?qǐng)鼍暗纳疃葓D像的相機(jī)組件；以及與所述捕捉設(shè)備可操作地通信的計(jì)算設(shè)備，其中所述計(jì)算設(shè)備包括處理器，所述處理器基于從所述捕捉設(shè)備接收的所述深度圖像中的一個(gè)或多個(gè)像素來(lái)生成經(jīng)降采樣的深度圖像，移除所述經(jīng)降采樣的深度圖像的背景以隔離人類目標(biāo)，確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位，并且基于所述一個(gè)或多個(gè)肢端的位置或方位來(lái)調(diào)整模型。
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述處理器通過(guò)為所述一個(gè)或多個(gè)像素部分或塊生成體素，來(lái)基于從所述捕捉設(shè)備接收的所述深度圖像中的一個(gè)或多個(gè)像素生成所述經(jīng)降采樣的深度圖像。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述模型包括具有關(guān)節(jié)和骨骼的骨架模CN 102549619 A型。
14.如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述處理器通過(guò)將所述一個(gè)或多個(gè)肢端的位置或方位指派到所述模型的對(duì)應(yīng)關(guān)節(jié)，來(lái)基于一個(gè)或多個(gè)所確定的肢端調(diào)整所述模型。
15.如權(quán)利要求11所述的系統(tǒng)，其特征在于，其中所述一個(gè)或多個(gè)肢端包括如下的至少一個(gè)頭、質(zhì)心、肩、髖、腿、臂、手、肘、膝和腳。
全文摘要
可由設(shè)備接收、觀察或捕捉諸如場(chǎng)景的深度圖像等圖像。接著可基于深度圖像生成體素的網(wǎng)格，使得可對(duì)該深度圖像進(jìn)行降采樣?？梢瞥w素的網(wǎng)格中所包括的背景，以隔離與前景對(duì)象(諸如人類目標(biāo))相關(guān)聯(lián)的一個(gè)或多個(gè)體素。可以確定被隔離的人類目標(biāo)的一個(gè)或多個(gè)肢端的位置或方位，并且可以基于一個(gè)或多個(gè)肢端的位置或方位來(lái)調(diào)整模型。
文檔編號(hào)G06T7/20GK102549619SQ201080044919
公開日2012年7月4日 申請(qǐng)日期2010年10月6日 優(yōu)先權(quán)日2009年10月7日
發(fā)明者C·佩普爾, J·李, S·劉, S·斯塔奇亞克, T·萊瓦德 申請(qǐng)人:微軟公司