專利名稱：自動(dòng)生成視覺表示的制作方法
自動(dòng)生成視覺表示
背景技術(shù)：
應(yīng)用通常顯示用戶通過特定動(dòng)作來控制的與該用戶相對(duì)應(yīng)的視覺表示，諸如選擇遙控器上的按鈕或以特定方式來移動(dòng)控制器。視覺表示可以是化身、想象的人物、卡通圖像或動(dòng)物、光標(biāo)、手等形式。視覺表示是在諸如計(jì)算機(jī)游戲、視頻游戲、聊天、論壇、社區(qū)、即時(shí)消息收發(fā)服務(wù)等各種應(yīng)用中通常采取二維OD)或三維(3D)模型的形式的計(jì)算機(jī)表示。諸如計(jì)算機(jī)游戲、多媒體應(yīng)用、辦公室應(yīng)用等很多計(jì)算應(yīng)用提供對(duì)預(yù)定義動(dòng)畫人物的選擇，該預(yù)定義動(dòng)畫人物可被選擇以在應(yīng)用中用作用戶的化身。允許創(chuàng)建化身的大多數(shù)系統(tǒng)也允許通過提供可被應(yīng)用于該化身的可選擇特征的數(shù)據(jù)庫來定制該人物的外貌。例如，用戶可訪問應(yīng)用中可用的衣服和配件的儲(chǔ)存庫并對(duì)化身的外貌作出修改。通常，用戶將選擇與該用戶的自身特征最相似的特征。例如，用戶可以選擇具有與該用戶相似身體結(jié)構(gòu)的化身，并且隨后該用戶可以從特征的目錄選擇相似的眼睛、鼻子、嘴、頭發(fā)等。然而，用于那些特征中每一個(gè)的特征的數(shù)量和選項(xiàng)的數(shù)量可能導(dǎo)致從中選擇的過多的選項(xiàng)，而用戶的視覺表示的手動(dòng)生成可能變得繁重。系統(tǒng)可以限制可選擇特征的數(shù)量以減少用戶所需要的工作，但是這不合需要地限制了用戶可用來生成唯一化身的特征。

發(fā)明內(nèi)容
可能期望的是應(yīng)用或系統(tǒng)代表用戶來作出用于用戶的視覺表示的特征選擇。使用所選擇的特征，系統(tǒng)可以自動(dòng)生成用戶的視覺表示。例如，系統(tǒng)可以檢測(cè)用戶的各個(gè)特征， 并基于所檢測(cè)到的特征來作出特征選擇。系統(tǒng)可以基于所檢測(cè)到的特征自動(dòng)地將選擇應(yīng)用于用戶的視覺表示。或者，系統(tǒng)可以作出選擇，該選擇縮減了用戶從中選擇特征的選項(xiàng)的數(shù)量。如果系統(tǒng)可以代表用戶作出決定，則用戶可以無需作出很多決定或不必從很多選項(xiàng)中進(jìn)行選擇。由此，所公開的技術(shù)可以移除用戶大量的工作，并且可以代表用戶作出選擇并將其應(yīng)用于用戶的視覺表示。在示例實(shí)施例中，系統(tǒng)可以執(zhí)行身體掃描并使用面部識(shí)別技術(shù)和/或身體識(shí)別技術(shù)來標(biāo)識(shí)用戶的特征。系統(tǒng)可以對(duì)與用戶的所標(biāo)識(shí)的特征最接近地類似的用戶視覺表示作出選擇。在另一個(gè)示例實(shí)施例中，系統(tǒng)可在將選擇應(yīng)用于視覺表示之前修改該選擇。用戶可在將選擇應(yīng)用于該用戶的視覺表示之前指示系統(tǒng)作出修改。例如，如果用戶是超重的，則該用戶可以指示系統(tǒng)選擇用于該用戶的視覺表示的較苗條的身材。系統(tǒng)可以實(shí)時(shí)地將選擇應(yīng)用于用戶。還期望系統(tǒng)從物理空間捕捉數(shù)據(jù)，標(biāo)識(shí)用戶的特性，并且實(shí)時(shí)地更新用戶的視覺表示的特征。提供本發(fā)明內(nèi)容以便以簡(jiǎn)化的形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容既不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所請(qǐng)求保護(hù)的主題不限于解決在本公開的任一部分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


參考附圖來進(jìn)一步描述根據(jù)本說明書的用于作出特征選擇并自動(dòng)生成視覺表示的系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)，在附圖中圖1示出目標(biāo)識(shí)別、分析、及跟蹤系統(tǒng)的示例實(shí)施例，用戶正在玩游戲。圖2示出了可在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中使用且結(jié)合了鏈接和動(dòng)畫混合技術(shù)的捕捉設(shè)備的示例實(shí)施例。圖3示出了其中可實(shí)現(xiàn)本文描述的動(dòng)畫技術(shù)的計(jì)算環(huán)境的示例實(shí)施例。圖4示出了其中可實(shí)現(xiàn)本文描述的動(dòng)畫技術(shù)的計(jì)算環(huán)境的另一示例實(shí)施例。圖5示出了從深度圖像生成的用戶的骨架映射。圖6A-6B每個(gè)描繪了示例目標(biāo)識(shí)別、分析、及跟蹤系統(tǒng)以及自動(dòng)生成的視覺表示的示例實(shí)施例。圖7描繪了為應(yīng)用提供針對(duì)目標(biāo)的視覺表示的特征選項(xiàng)的子集的示例目標(biāo)識(shí)別、 分析、及跟蹤系統(tǒng)。圖8描繪了自動(dòng)生成視覺表示或?yàn)閼?yīng)用自動(dòng)生成針對(duì)視覺表示的特征選項(xiàng)的子集的方法的示例流程圖。圖9描繪了使用目標(biāo)數(shù)字化技術(shù)在物理空間中標(biāo)識(shí)目標(biāo)的示例目標(biāo)識(shí)別、分析、 及跟蹤系統(tǒng)。說明性實(shí)施例的
具體實(shí)施例方式此處所公開的是用于提供目標(biāo)的視覺表示的技術(shù)，諸如物理空間中的用戶或非人類物體。用戶的視覺表示例如可以是化身、屏幕上的光標(biāo)、手、或物理空間中與用戶相對(duì)應(yīng)的任何其他虛擬物體的形式。人的骨架模型或網(wǎng)格模型的各方面可以基于捕捉設(shè)備所捕捉的圖形數(shù)據(jù)來生成，并且可被求值以檢測(cè)用戶的特性。捕捉設(shè)備可以檢測(cè)用戶的特征并通過從特征的目錄中選擇特征來自動(dòng)生成用戶的視覺表示，該特征類似于那些所檢測(cè)到的特征，諸如面部表情、頭發(fā)顏色和類型、膚色和類型、服裝、身體類型、身高、體重等。例如，系統(tǒng)可以使用面部識(shí)別和姿勢(shì)/身體姿態(tài)識(shí)別技術(shù)從與已識(shí)別的特征相對(duì)應(yīng)的特征選項(xiàng)的目錄或數(shù)據(jù)庫中自動(dòng)地選擇特征。系統(tǒng)可以實(shí)時(shí)地將所選擇的特征、以及對(duì)那些特征的更新應(yīng)用于用戶的視覺表示。類似地，系統(tǒng)可在物理空間中檢測(cè)非人類目標(biāo)的特征，并從特征選項(xiàng)的目錄中選擇用于虛擬物體的特征。系統(tǒng)可顯示與所檢測(cè)到的特征相對(duì)應(yīng)的虛擬物體。該計(jì)算環(huán)境可基于例如已被識(shí)別出并被映射到系統(tǒng)自動(dòng)生成的視覺表示的用戶的姿勢(shì)來確定在計(jì)算機(jī)環(huán)境上執(zhí)行的應(yīng)用中要執(zhí)行哪些控件。由此，可以顯示虛擬用戶，并且用戶可通過在物理空間中作出姿勢(shì)來控制虛擬用戶的運(yùn)動(dòng)。所捕捉的運(yùn)動(dòng)可以是物理空間中由諸如相機(jī)等捕捉設(shè)備捕捉的任何運(yùn)動(dòng)。所捕捉的運(yùn)動(dòng)可包括物理空間中諸如用戶或物體等目標(biāo)的運(yùn)動(dòng)。所捕捉的運(yùn)動(dòng)可包括轉(zhuǎn)換成操作系統(tǒng)或應(yīng)用中的控制的姿勢(shì)。運(yùn)動(dòng)可以是動(dòng)態(tài)的，如奔跑運(yùn)動(dòng)，或者運(yùn)動(dòng)可以是靜態(tài)的，例如以很少的移動(dòng)擺姿態(tài)的用戶?；诳蓹z測(cè)的用戶特性作出用于視覺表示的選擇的面部和身體識(shí)別的系統(tǒng)、方法、技術(shù)和組件可在諸如游戲控制臺(tái)等多媒體控制臺(tái)中被具體化，或可在期望顯示目標(biāo)的視覺表示的任何其他計(jì)算設(shè)備中被具體化，作為示例但非有意的限制，這些其他計(jì)算設(shè)備包括衛(wèi)星接收機(jī)、機(jī)頂盒、電子游戲機(jī)、個(gè)人計(jì)算機(jī)(PC)、便攜式電話、個(gè)人數(shù)字助理 (PDA)、以及其他手持式設(shè)備。
圖1示出了目標(biāo)識(shí)別、分析、及跟蹤系統(tǒng)10的配置的示例實(shí)施例，該目標(biāo)識(shí)別、分析、及跟蹤系統(tǒng)10可以采用將用戶的特性應(yīng)用于化身的技術(shù)。在示例實(shí)施例中，用戶18正在玩拳擊游戲。在示例實(shí)施例中，系統(tǒng)10可識(shí)別、分析和/或跟蹤諸如用戶18的人類目標(biāo)。系統(tǒng)10可以收集與物理空間中用戶的運(yùn)動(dòng)、面部表情、身體語言、情緒等相關(guān)的信息。 例如，系統(tǒng)可以標(biāo)識(shí)并掃描人類目標(biāo)18。系統(tǒng)10可使用身體姿態(tài)識(shí)別技術(shù)來標(biāo)識(shí)人類目標(biāo) 18的身體類型。系統(tǒng)10可以標(biāo)識(shí)用戶18的身體各部位以及它們?nèi)绾我苿?dòng)。系統(tǒng)10可以將所檢測(cè)到的用戶特征與可選擇的視覺表示特征的目錄進(jìn)行比較。如圖1所示，目標(biāo)識(shí)別、分析及跟蹤系統(tǒng)10可包括計(jì)算環(huán)境12。計(jì)算環(huán)境12可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)等等。根據(jù)一示例實(shí)施例，計(jì)算環(huán)境12可包括硬件組件和 /或軟件組件，使得計(jì)算環(huán)境12可用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。如圖1所示，目標(biāo)識(shí)別、分析及跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20可以是例如相機(jī)，該相機(jī)可用于在視覺上監(jiān)視諸如用戶18等一個(gè)或多個(gè)用戶，以使得可以捕捉、分析并跟蹤一個(gè)或多個(gè)用戶所執(zhí)行的姿勢(shì)以執(zhí)行應(yīng)用中的一個(gè)或多個(gè)控制或動(dòng)作，如將在下面更詳細(xì)地描述的。根據(jù)一個(gè)實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18等用戶提供游戲或應(yīng)用視覺和/或音頻的視聽設(shè)備16，如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。 例如，計(jì)算環(huán)境12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號(hào)。視聽設(shè)備16可從計(jì)算環(huán)境12接收視聽信號(hào)，然后可向用戶18輸出與該視聽信號(hào)相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個(gè)實(shí)施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA 電纜等連接到計(jì)算環(huán)境12。如圖1所示，目標(biāo)識(shí)別、分析及跟蹤系統(tǒng)10可用于識(shí)別、分析和/或跟蹤諸如用戶 18等人類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，以使得可將用戶18的移動(dòng)解釋為可用于影響由計(jì)算機(jī)環(huán)境12執(zhí)行的應(yīng)用的控制。由此，根據(jù)一個(gè)實(shí)施例，用戶18可移動(dòng)他或她的身體來控制應(yīng)用。系統(tǒng)10可以跟蹤用戶的身體以及用戶的身體所作的運(yùn)動(dòng)，包括控制諸如應(yīng)用、操作系統(tǒng)等系統(tǒng)的各方面的姿勢(shì)。系統(tǒng)10可將對(duì)捕捉設(shè)備20的輸入轉(zhuǎn)換成動(dòng)畫，該輸入表示用戶的運(yùn)動(dòng)，使得動(dòng)畫由該輸入驅(qū)動(dòng)。由此，用戶的運(yùn)動(dòng)可映射到化身40，使得物理空間中該用戶的運(yùn)動(dòng)由該化身40執(zhí)行。用戶的運(yùn)動(dòng)可以是可適用于應(yīng)用中的控件的姿勢(shì)。如圖1所示，在示例實(shí)施例中，在計(jì)算環(huán)境12上執(zhí)行的應(yīng)用可以是用戶18可能正在玩的拳擊游戲。計(jì)算環(huán)境12可使用視聽設(shè)備16來提供用戶18可通過他的或她的移動(dòng)來控制的玩家化身40的視覺表示。系統(tǒng)可將運(yùn)動(dòng)和/或姿勢(shì)應(yīng)用于用戶的視覺表示，該視覺表示可以是系統(tǒng)基于用戶的所檢測(cè)到的特征而自動(dòng)生成的自動(dòng)生成的視覺表示。例如，用戶18可在物理空間中揮拳猛擊，這使得玩家化身40在游戲空間中揮拳猛擊。玩家化身40可以具有捕捉設(shè)備20所標(biāo)識(shí)的用戶的特性，或者系統(tǒng)可以為映射到用戶的運(yùn)動(dòng)的視覺表示使用知名拳擊運(yùn)動(dòng)員的特征或描繪專業(yè)拳擊運(yùn)動(dòng)員的體格。系統(tǒng)10可以跟蹤用戶，并且可基于物理空間中用戶可檢測(cè)的特征來修改用戶化身的特性。計(jì)算環(huán)境12還可使用視聽設(shè)備16 來向用戶18提供拳擊對(duì)手38的視覺表示。根據(jù)一示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng) 10的計(jì)算環(huán)境12和捕捉設(shè)備20可用于識(shí)別和分析用戶18在物理空間中的出拳，使得該出拳可被解釋為對(duì)游戲空間中的玩家化身40的游戲控制。多個(gè)用戶可從遠(yuǎn)程位置彼此交互。 例如，拳擊對(duì)手38的視覺表示可以表示另一個(gè)用戶，諸如物理空間中的第二用戶與用戶18 或第二物理空間中的聯(lián)網(wǎng)用戶。用戶18的其他移動(dòng)也可被解釋為其他控制或動(dòng)作，諸如上下快速擺動(dòng)、閃避、滑步、格擋、直拳或揮動(dòng)各種不同力度的拳等控制。此外，某些移動(dòng)可被解釋為可對(duì)應(yīng)于除控制玩家化身40之外的動(dòng)作的控制。例如，玩家可以使用移動(dòng)來結(jié)束、暫停或保存游戲、選擇級(jí)別、查看高分、與朋友交流等。另外，用戶18的全范圍運(yùn)動(dòng)可以用任何合適的方式來獲得、使用并分析以與應(yīng)用進(jìn)行交互。在各示例實(shí)施例中，諸如用戶18等人類目標(biāo)可持有一物體。在這些實(shí)施例中，電子游戲的用戶可手持物體，使得可使用玩家和物體的運(yùn)動(dòng)來調(diào)整和/或控制游戲的參數(shù)。 例如，可以跟蹤并利用玩家手持球拍的運(yùn)動(dòng)來控制電子運(yùn)動(dòng)游戲中的屏幕上球拍。在另一示例實(shí)施例中，可以跟蹤并利用玩家手持物體的運(yùn)動(dòng)來控制電子格斗游戲中的屏幕上武
ο用戶的姿勢(shì)或運(yùn)動(dòng)可被解釋為可對(duì)應(yīng)于除控制玩家化身40之外的動(dòng)作的控制。 例如，玩家可以使用移動(dòng)來結(jié)束、暫停或保存游戲、選擇級(jí)別、查看高分、與朋友交流等。玩家可以使用移動(dòng)來將修改應(yīng)用于化身。例如，用戶可在物理空間中搖晃他的或她的手臂，而這可以是被系統(tǒng)10標(biāo)識(shí)為請(qǐng)求使化身的手臂更長的姿勢(shì)。事實(shí)上操作系統(tǒng)和/或應(yīng)用的任何可控方面可由諸如用戶18等目標(biāo)的移動(dòng)來控制。根據(jù)其他示例實(shí)施例，目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10可解釋目標(biāo)移動(dòng)用于控制游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用的各方面。用戶的姿勢(shì)可以是可適用于操作系統(tǒng)、游戲的非游戲方面、或非游戲應(yīng)用的控制。 用戶的姿勢(shì)可被解釋為物體操縱，例如控制用戶界面。例如，考慮具有從左向右垂直排列的葉片(blades)或選項(xiàng)卡式界面的用戶界面，其中對(duì)每個(gè)葉片或選項(xiàng)卡的選擇打開應(yīng)用或系統(tǒng)內(nèi)的各種控制的選項(xiàng)。系統(tǒng)可標(biāo)識(shí)移動(dòng)選項(xiàng)卡的用戶的手姿勢(shì)，其中物理空間中的用戶的手虛擬地與應(yīng)用空間中的選項(xiàng)卡對(duì)齊。包括暫停、抓取運(yùn)動(dòng)以及然后的手向左掃動(dòng)在內(nèi)的姿勢(shì)可被解釋為對(duì)選項(xiàng)卡的選擇，然后將其移開以打開下一選項(xiàng)卡。圖2示出了可用于目標(biāo)識(shí)別、分析和跟蹤的捕捉設(shè)備20的示例實(shí)施例，其中目標(biāo)可以是用戶或物體。根據(jù)一示例實(shí)施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等來捕捉包括深度圖像的帶有深度信息的視頻，該深度信息可包括深度值。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20可將所計(jì)算的深度信息組織成“Z層”， 或與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件22。根據(jù)一個(gè)示例實(shí)施例，圖像相機(jī)組件22可以是可捕捉場(chǎng)景的深度圖像的深度相機(jī)。深度圖像可包括所捕捉場(chǎng)景的二維 (2-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米等為單位的、所捕捉場(chǎng)景中的物體距相機(jī)的長度或距離。如圖2所示，根據(jù)一示例實(shí)施例，圖像相機(jī)組件22可包括可用于捕捉場(chǎng)景的深度圖像的頂光組件對(duì)、三維(3-D)相機(jī)沈、和RGB相機(jī)觀。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的頂光組件M可將紅外光發(fā)射到場(chǎng)景上，并且隨后可使用傳感器(未示出)、用例如 3-D相機(jī)沈和/或RGB相機(jī)觀來檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面反向散射的光。在一些實(shí)施例中，可使用脈沖紅外光，從而可測(cè)量出射光脈沖和相應(yīng)入射光脈沖之間的時(shí)間差，并且將其用于確定從捕捉設(shè)備20到場(chǎng)景中的目標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實(shí)施例中，可將出射光波的相位與入射光波的相位作比較來確定相移。該相移隨后可用于確定從捕獲設(shè)備20到目標(biāo)或物體上特定位置的物理距離。根據(jù)另一示例實(shí)施例，飛行時(shí)間分析可用于通過經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)來隨時(shí)間分析反射光束的強(qiáng)度來間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例實(shí)施例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為例如網(wǎng)格圖案或條紋圖案的已知圖案的光)可經(jīng)由例如頂光組件M被投影到場(chǎng)景上。在落到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面時(shí)，作為響應(yīng)，圖案可變形。圖案的此類變形可被例如3-D相機(jī)沈和/或RGB相機(jī)觀捕捉，并且隨后可被分析以確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括可以從不同的角度觀察場(chǎng)景的兩個(gè)或更多個(gè)在物理上分開的相機(jī)，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。在另一示例實(shí)施例中，捕捉設(shè)備20可使用點(diǎn)云數(shù)據(jù)(point cloud data)和目標(biāo)數(shù)字化技術(shù)來檢測(cè)用戶的特征。這些技術(shù)在以下關(guān)于圖2B更詳細(xì)地描述。捕捉設(shè)備20還可包括話筒30或話筒陣列。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號(hào)的變換器或傳感器。根據(jù)一個(gè)實(shí)施例，話筒30可用于減少目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20和計(jì)算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信號(hào)，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用程序等應(yīng)用。在一個(gè)示例實(shí)施例中，捕捉設(shè)備20還可包括可與圖像相機(jī)組件22有效通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。例如，計(jì)算機(jī)可讀介質(zhì)可包括用于接收?qǐng)鼍暗臄?shù)據(jù)的計(jì)算機(jī)可執(zhí)行指令，其中該數(shù)據(jù)包括表示物理空間中的目標(biāo)的數(shù)據(jù)。該指令包括用于從該數(shù)據(jù)中檢測(cè)至少一個(gè)目標(biāo)特征并將至少一個(gè)所檢測(cè)到的目標(biāo)特征與來自特征庫197的視覺表示特征選項(xiàng)進(jìn)行比較的指令。視覺表示特征選項(xiàng)可包括被配置為應(yīng)用到視覺表示的可選擇選項(xiàng)。其他指令允許從視覺表示特征選項(xiàng)中選擇視覺表示特征，將視覺表示特征應(yīng)用于目標(biāo)的視覺表示，以及呈現(xiàn)該視覺表示。視覺表示可從至少一個(gè)檢測(cè)到的特征與視覺表示特征選項(xiàng)的比較中自動(dòng)生成，使得對(duì)視覺表示特征的選擇是在沒有用戶的手動(dòng)選擇的情況下執(zhí)行的。對(duì)視覺表示特征的選擇可包括選擇類似于所檢測(cè)到的目標(biāo)特征的視覺表示特征。 視覺表示特征可以是臉部特征、身體部位、顏色、大小、高度、寬度、形狀、飾品、或服裝項(xiàng)中的至少一個(gè)。該指令可允許從用于視覺表示特征的視覺表示特征選項(xiàng)中生成視覺表示特征選項(xiàng)子集，并提供所生成的特征選項(xiàng)子集以供用戶選擇要應(yīng)用于視覺表示的視覺表示特征。所生成的視覺表示特征選項(xiàng)子集可包括類似于所檢測(cè)到的目標(biāo)特征的多個(gè)視覺表示特征選項(xiàng)。該指令可允許接收用戶從所生成的特征選項(xiàng)子集中對(duì)視覺表示特征的選擇，其中從視覺表示特征選項(xiàng)中選擇視覺表示特征包括選擇對(duì)應(yīng)于該用戶選擇的視覺表示特征。具有視覺表示特征的視覺表示可被實(shí)時(shí)呈現(xiàn)。此外，該指令可允許監(jiān)視目標(biāo)并檢測(cè)所檢測(cè)到的目標(biāo)特征中的變化，并通過基于所檢測(cè)到的目標(biāo)特征中的變化實(shí)時(shí)地更新應(yīng)用于視覺表示的視覺表示特征來更新目標(biāo)的視覺表示。捕捉設(shè)備20還可包括存儲(chǔ)器組件34，存儲(chǔ)器組件34可存儲(chǔ)可由處理器32執(zhí)行的指令、3-D相機(jī)沈或RGB相機(jī)觀所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等等。根據(jù)一個(gè)示例實(shí)施例，存儲(chǔ)器組件34可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器 (ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲(chǔ)組件。如圖2所示，在一個(gè)實(shí)施例中， 存儲(chǔ)器組件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一實(shí)施例，存儲(chǔ)器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算環(huán)境12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等的無線連接。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12 可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時(shí)鐘，可以使用該時(shí)鐘來確定何時(shí)捕捉例如場(chǎng)景。另外，捕捉設(shè)備20可以通過通信鏈路36向計(jì)算環(huán)境12提供深度信息和由例如 3-D相機(jī)沈和/或RGB相機(jī)觀捕捉到的圖像，以及可以由捕捉設(shè)備20生成的骨架模型。 計(jì)算環(huán)境12然后可使用該骨架模型、深度信息和捕捉的圖像來例如控制例如游戲或文字處理程序之類的應(yīng)用。例如，如圖2所示，計(jì)算環(huán)境12可包括姿勢(shì)庫192。如圖所示，在圖2中，計(jì)算環(huán)境12可包括姿勢(shì)庫192和姿勢(shì)識(shí)別引擎190。姿勢(shì)識(shí)別引擎190可包括姿勢(shì)過濾器191的集合。過濾器可包括可識(shí)別姿勢(shì)或以其他方式處理深度、RGB或骨架數(shù)據(jù)的代碼和相關(guān)聯(lián)的數(shù)據(jù)。每一過濾器191可包括定義姿勢(shì)以及該姿勢(shì)的參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后到身體前方的運(yùn)動(dòng)的投擲可被實(shí)現(xiàn)為包括表示用戶的一只手從身體背后到身體前方的移動(dòng)的信息的姿勢(shì)過濾器191，該移動(dòng)將由深度相機(jī)來捕捉。隨后可為該姿勢(shì)設(shè)定參數(shù)。在姿勢(shì)是投擲的情況下，參數(shù)可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(絕對(duì)的，或相對(duì)于用戶的整體大小)、以及識(shí)別器引擎對(duì)發(fā)生了該姿勢(shì)的置信評(píng)級(jí)。用于姿勢(shì)的這些參數(shù)可隨時(shí)間在各應(yīng)用之間、在單個(gè)應(yīng)用的各個(gè)上下文之間、或在一個(gè)應(yīng)用的一個(gè)上下文內(nèi)變化。盡管構(gòu)想了姿勢(shì)識(shí)別引擎190可包括姿勢(shì)過濾器的集合，其中過濾器可包括表示用于處理深度、RGB或骨架數(shù)據(jù)的代碼或以其他方式表示用于進(jìn)行這樣的處理的組件，但對(duì)過濾器的使用不旨在將分析限于過濾器。過濾器是分析系統(tǒng)所接收的場(chǎng)景的數(shù)據(jù)，并將該數(shù)據(jù)與表示姿勢(shì)的基礎(chǔ)信息進(jìn)行比較的示例組件或代碼部分的表示。作為分析的結(jié)果，系統(tǒng)可產(chǎn)生對(duì)應(yīng)于輸入數(shù)據(jù)是否對(duì)應(yīng)于姿勢(shì)的輸出。表示姿勢(shì)的基礎(chǔ)信息可被調(diào)整為對(duì)應(yīng)于代表用戶的捕捉運(yùn)動(dòng)的數(shù)據(jù)歷史中重復(fù)出現(xiàn)的特征。例如，基礎(chǔ)信息可以是如上所述的姿勢(shì)過濾器的一部分。但是，構(gòu)想了任何合適的用于分析輸入數(shù)據(jù)和姿勢(shì)數(shù)據(jù)的方式。在示例實(shí)施例中，姿勢(shì)可被識(shí)別為進(jìn)入修改模式的觸發(fā)，在修改模式中，用戶可修改系統(tǒng)自動(dòng)生成的視覺表示。例如，姿勢(shì)過濾器191可包括用于識(shí)別修改觸發(fā)姿勢(shì)的信息。 如果識(shí)別到修改觸發(fā)姿勢(shì)，則應(yīng)用可進(jìn)入修改模式。修改觸發(fā)姿勢(shì)可在應(yīng)用之間、在系統(tǒng)之間、在用戶之間等變化。例如，網(wǎng)球游戲應(yīng)用中相同的姿勢(shì)可能不是保齡球游戲應(yīng)用中相同的修改觸發(fā)姿勢(shì)。考慮包括用戶運(yùn)動(dòng)在該用戶身體前方的用戶的右手，同時(shí)食指向上指并以圓圈運(yùn)動(dòng)移動(dòng)的示例修改觸發(fā)姿勢(shì)。為該修改觸發(fā)姿勢(shì)設(shè)置的參數(shù)可用于標(biāo)識(shí)用戶的手在用戶身體的前方，用戶的食指以向上運(yùn)動(dòng)指向，并標(biāo)識(shí)食指正在以圓圈運(yùn)動(dòng)移動(dòng)。
某些姿勢(shì)可被標(biāo)識(shí)為進(jìn)入修改模式的請(qǐng)求，其中如果應(yīng)用當(dāng)前正在執(zhí)行，則修改模式中斷應(yīng)用的當(dāng)前狀態(tài)并進(jìn)入修改模式。修改模式可使得應(yīng)用暫停，其中應(yīng)用可在用戶離開修改模式時(shí)在暫停點(diǎn)繼續(xù)?；蛘?，修改模式可能不導(dǎo)致對(duì)應(yīng)用的暫停，且應(yīng)用可在用戶作出修改的同時(shí)繼續(xù)執(zhí)行。可將由相機(jī)沈、觀和設(shè)備20捕捉的骨架模型以及與其相關(guān)聯(lián)的移動(dòng)的形式的數(shù)據(jù)與姿勢(shì)庫192中的姿勢(shì)過濾器191進(jìn)行比較來標(biāo)識(shí)用戶(如骨架模型所表示的)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢(shì)。由此，對(duì)諸如過濾器191等過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)，像在關(guān)節(jié)處相交的骨所形成的角度、來自場(chǎng)景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。如所提到的，可為姿勢(shì)設(shè)置參數(shù)。來自過濾器191的輸出可包括諸如正作出給定姿勢(shì)的置信度、作出姿勢(shì)運(yùn)動(dòng)的速度、以及姿勢(shì)發(fā)生的時(shí)間等內(nèi)容。計(jì)算環(huán)境12可包括處理器195，處理器196可處理深度圖像來確定場(chǎng)景中有什么目標(biāo)，如房間中的用戶18或物體。這可例如通過將深度圖像中共享相似距離值的像素分組在一起來實(shí)現(xiàn)。該圖像也可被解析以產(chǎn)生用戶的骨架表示，其中標(biāo)識(shí)例如關(guān)節(jié)和各關(guān)節(jié)之間的組織等特征。存在骨架映射技術(shù)，其使用深度相機(jī)來捕捉個(gè)人，并從中確定該用戶骨架上的多個(gè)點(diǎn)，手、腕、肘、膝、鼻、踝、肩的關(guān)節(jié)，以及骨盆與脊椎相交之處。其他技術(shù)包括將圖像轉(zhuǎn)換為人的人體模型表示以及將圖像轉(zhuǎn)換為人的網(wǎng)格模型表示。在實(shí)施例中，處理是在捕捉設(shè)備20本身上執(zhí)行的，且深度和色彩(其中捕捉設(shè)備 20包括3D相機(jī)26)值的原始圖像數(shù)據(jù)經(jīng)由鏈路36被發(fā)送到計(jì)算環(huán)境12。在另一實(shí)施例中，處理由耦合到相機(jī)402的處理器32來執(zhí)行，然后經(jīng)解析的圖像數(shù)據(jù)被發(fā)送到計(jì)算環(huán)境 12。在又一實(shí)施例中，原始圖像數(shù)據(jù)和經(jīng)解析的圖像數(shù)據(jù)兩者被發(fā)送到計(jì)算環(huán)境12。計(jì)算環(huán)境12可接收經(jīng)解析的圖像，但是它仍可接收原始數(shù)據(jù)來執(zhí)行當(dāng)前過程或應(yīng)用。例如，如果場(chǎng)景的圖像通過計(jì)算機(jī)網(wǎng)絡(luò)發(fā)送到另一用戶，則計(jì)算環(huán)境12可發(fā)送供另一計(jì)算環(huán)境處理的原始數(shù)據(jù)。處理器可具有特征比較模塊196。特征比較模塊196可將目標(biāo)的所檢測(cè)到的特征與特征庫197中的選項(xiàng)進(jìn)行比較。特征庫197可提供視覺表示特征選項(xiàng)，如顏色選項(xiàng)、面部特征選項(xiàng)、身體類型選項(xiàng)、大小選項(xiàng)等，并且選項(xiàng)可以對(duì)人類和非人類目標(biāo)變化。庫可以是存儲(chǔ)視覺表示的特征的目錄、數(shù)據(jù)庫、存儲(chǔ)器等。庫可以是特征選項(xiàng)的有組織的或無組織的集合。系統(tǒng)或用戶可以將特征添加到目錄。例如，應(yīng)用可具有一組預(yù)封裝的特征選項(xiàng)，或者系統(tǒng)可具有默認(rèn)數(shù)量的可用特征。附加特征選項(xiàng)可被添加到特征庫197或在其中更新。例如，用戶可在虛擬市場(chǎng)購買附加特征選項(xiàng)，用戶可將特征選項(xiàng)贈(zèng)予另一用戶，或者系統(tǒng)可通過拍攝用戶的所檢測(cè)到的特征的快照來生成特征選項(xiàng)。FCM 196可諸如從特征選項(xiàng)目錄中作出最接近地類似于目標(biāo)的所檢測(cè)到的特征的特征選擇。系統(tǒng)可自動(dòng)生成具有所檢測(cè)到的特征的虛擬物體。例如，考慮對(duì)物理空間中的紅色的、兩個(gè)座位的長椅的檢測(cè)。系統(tǒng)可從特征庫197中標(biāo)識(shí)單獨(dú)地或組合地類似于該長椅的所檢測(cè)到的目標(biāo)特征的特征。在示例實(shí)施例中，從特征庫197中的選擇可以就像選擇具有物理目標(biāo)的至少一個(gè)特征的虛擬目標(biāo)那樣簡(jiǎn)單。例如，特征庫197可具有用于家具的眾多特征選項(xiàng)，并且可包括對(duì)紅色的、兩個(gè)座位的長椅的虛擬圖像或描繪。這些特征可以是預(yù)封裝的，并隨應(yīng)用或隨系統(tǒng)一起提供。在另一示例中，系統(tǒng)可拍攝該物理長椅的快照，并創(chuàng)建具有該物理長椅的形狀的卡通或虛擬圖像。由此，所選特征可以是來自系統(tǒng)先前拍攝并添加到特征庫197的該物理長椅的快照。系統(tǒng)可以基于所檢測(cè)到的目標(biāo)特征來調(diào)整所選特征的顏色、定位或比例。例如，系統(tǒng)可從特征庫197中選擇類似于所檢測(cè)到的目標(biāo)的特征的特征或組合若干特征。系統(tǒng)可將特征添加到所選特征或虛擬圖像來更完全地類似于所檢測(cè)到的目標(biāo)。在所檢測(cè)到的長椅的示例中，系統(tǒng)可執(zhí)行在特征庫197中的特征查找，并標(biāo)識(shí)具有類似于物理長椅的特征的至少一個(gè)特征的長椅的虛擬框架。例如，系統(tǒng)可最初選擇形狀類似于所檢測(cè)到的物理長椅的虛擬長椅。如果虛擬的兩個(gè)座位的長椅是可用特征選項(xiàng)，則系統(tǒng)可選擇該虛擬的兩個(gè)座位的長椅。顏色可以是可由系統(tǒng)選擇的特征選項(xiàng)。在該示例中，如果紅色長椅明確不是特征庫197中的選項(xiàng)，則系統(tǒng)可從特征庫197中選擇顏色并將其應(yīng)用于所選的虛擬框架。系統(tǒng)可在特征庫197中選擇類似于物理長椅的所檢測(cè)到的紅色的現(xiàn)有顏色，或者系統(tǒng)可拍攝物理長椅的顏色的快照并將其作為特征選項(xiàng)添加到特征庫。系統(tǒng)可將所選紅色特征應(yīng)用于虛擬長椅圖像。在另一示例中，系統(tǒng)可以組合來自特征庫的特征以生成類似于所檢測(cè)到的目標(biāo)的可視物體。例如，系統(tǒng)可以通過從來自特征庫197的長椅特征選項(xiàng)(諸如臂、腿、座位、坐墊、 靠背、脊等)中進(jìn)行選擇來生成兩個(gè)座位的長椅并使用所選擇的特征來拼湊長椅。在另一示例中，目標(biāo)是人類用戶，且該系統(tǒng)檢測(cè)用戶的特征，諸如眼睛顏色、大小和形狀，頭發(fā)顏色、類型和長度等。系統(tǒng)可將所檢測(cè)到的特征與特征選項(xiàng)目錄進(jìn)行比較，并將所選特征應(yīng)用于視覺表示。如上所述，系統(tǒng)可組合特征并更改這些特征。例如，特征可通過向目標(biāo)應(yīng)用顏色、定位或比例來更改。特征可通過從特征庫197中選擇諸如顏色等附加特征或通過使用來自目標(biāo)的快照的圖像數(shù)據(jù)來更改。例如，應(yīng)用可在特征庫197中提供一組通用的純色褲子、T恤和鞋子類型。系統(tǒng)可從該通用服裝特征中進(jìn)行選擇，并通過向服裝應(yīng)用顏色來反映系統(tǒng)檢測(cè)到的目標(biāo)的服裝的顏色來更改所選的服裝特征。在另一示例中，系統(tǒng)可標(biāo)識(shí)特征庫197中類似于用戶的特征的特征子集，并提供用戶可從中進(jìn)行選擇的該子集。由此，提供給用戶的用于某一特征的選項(xiàng)數(shù)量可以被智能地過濾以便使用戶更容易定制視覺表示。特征庫可適用于應(yīng)用或者可以是系統(tǒng)范圍的。例如，游戲應(yīng)用可以定義指示了適用于該游戲的各種性情的特征。特征選項(xiàng)可包括具體特征和通用特征。還注意到，對(duì)查找表或數(shù)據(jù)庫的引用是示例性的，并且構(gòu)想了對(duì)與此處公開的技術(shù)相關(guān)的特征選項(xiàng)的供應(yīng)可以通過任何適合的方式來訪問、存儲(chǔ)、封裝、提供、生成等。計(jì)算環(huán)境12可使用姿勢(shì)庫192來解釋骨架模型的移動(dòng)并基于該移動(dòng)來控制應(yīng)用。 計(jì)算環(huán)境12可對(duì)用戶的表示進(jìn)行建模和顯示，例如采用諸如顯示設(shè)備193之類的顯示器上的化身或指針的形式。顯示設(shè)備193可包括計(jì)算機(jī)監(jiān)視器、電視機(jī)屏幕、或任何合適的顯示設(shè)備。例如，相機(jī)控制的計(jì)算機(jī)系統(tǒng)可捕捉用戶圖像數(shù)據(jù)，并在電視機(jī)屏幕上顯示映射到用戶的姿勢(shì)的用戶反饋。用戶反饋可被顯示為屏幕上的化身，如圖IA和IB中所示。化身的運(yùn)動(dòng)可直接通過將化身的移動(dòng)映射到用戶的移動(dòng)來控制。用戶的姿勢(shì)可以被解釋來控制應(yīng)用的某些方面。根據(jù)一示例實(shí)施例，目標(biāo)可以是諸如站著或坐著等處于任何位置的人類目標(biāo)、具有物體的人類目標(biāo)、兩個(gè)或更多人類目標(biāo)、一個(gè)或多個(gè)人類目標(biāo)的一個(gè)或多個(gè)附件等，目標(biāo)可被掃描、跟蹤、建模和/或評(píng)估來生成虛擬屏幕，將用戶與一個(gè)或多個(gè)所存儲(chǔ)的簡(jiǎn)檔進(jìn)行比較和/或在諸如計(jì)算環(huán)境12等計(jì)算環(huán)境中存儲(chǔ)關(guān)于目標(biāo)的簡(jiǎn)檔信息198。簡(jiǎn)檔信息198 可以采用用戶簡(jiǎn)檔、個(gè)人簡(jiǎn)檔、應(yīng)用簡(jiǎn)檔、系統(tǒng)簡(jiǎn)檔的形式，或用于存儲(chǔ)數(shù)據(jù)以供稍后訪問的任何其他合適的方法。簡(jiǎn)檔信息198可以經(jīng)由應(yīng)用來訪問，或者可以是例如系統(tǒng)范圍可用的。簡(jiǎn)檔信息198可包括用于加載特定用戶簡(jiǎn)檔信息的查找表。虛擬屏幕可與可由以上關(guān)于圖1A-1B描述的計(jì)算環(huán)境12執(zhí)行的應(yīng)用進(jìn)行交互。系統(tǒng)可通過基于存儲(chǔ)在用戶簡(jiǎn)檔中的信息自動(dòng)生成視覺表示來呈現(xiàn)諸如用戶等目標(biāo)的視覺表示。根據(jù)各示例實(shí)施例，查找表可包括用戶專用簡(jiǎn)檔信息。在一個(gè)實(shí)施例中， 諸如計(jì)算環(huán)境12等計(jì)算環(huán)境可在查找表中包括關(guān)于一個(gè)或多個(gè)用戶的所存儲(chǔ)的簡(jiǎn)檔數(shù)據(jù) 198。所存儲(chǔ)的簡(jiǎn)檔數(shù)據(jù)198可特別地包括目標(biāo)的所掃描的或所估計(jì)的身體大小、骨架模型、身體模型、語音樣本或口令、目標(biāo)的性別、目標(biāo)年齡、先前的姿勢(shì)、目標(biāo)限制、以及目標(biāo)對(duì)系統(tǒng)的標(biāo)準(zhǔn)使用，例如坐、慣用左手或慣用右手的趨勢(shì)，或站在非常靠近捕捉設(shè)備之處的趨勢(shì)。該信息可用于確定在捕捉場(chǎng)景中的目標(biāo)與一個(gè)或多個(gè)用戶簡(jiǎn)檔198之間是否有匹配， 在一個(gè)實(shí)施例中，該匹配可允許系統(tǒng)將虛擬屏幕自適應(yīng)到用戶，或根據(jù)簡(jiǎn)檔198來自適應(yīng)計(jì)算或游戲體驗(yàn)的其他元素。先前為目標(biāo)的視覺表示所選擇的特征可被存儲(chǔ)在簡(jiǎn)檔中。例如，用戶專用簡(jiǎn)檔可存儲(chǔ)所選并被應(yīng)用來自動(dòng)生成用戶的視覺表示的特征。位置專用簡(jiǎn)檔可存儲(chǔ)所選并被應(yīng)用來自動(dòng)生成并顯示類似于物理空間的虛擬場(chǎng)景的特征。例如，對(duì)應(yīng)于諸如房間中的家具等物理空間中的物體的虛擬物體可通過從特征庫197中選擇選項(xiàng)來生成。可檢測(cè)顏色，并且可從特征庫197中選擇可用顏色。在系統(tǒng)識(shí)別或初始化時(shí)，可加載位置專用簡(jiǎn)檔，從而顯示對(duì)應(yīng)于該位置的家具和顏色。—個(gè)或多個(gè)個(gè)人簡(jiǎn)檔198可被存儲(chǔ)在計(jì)算機(jī)環(huán)境12中，并在多個(gè)用戶會(huì)話中使用，或者一個(gè)或多個(gè)個(gè)人簡(jiǎn)檔可僅為單個(gè)會(huì)話而創(chuàng)建。用戶可以有建立簡(jiǎn)檔的選項(xiàng)，其中他們可向系統(tǒng)提供信息，諸如語音或身體掃描、年齡、個(gè)人偏好、慣用右手或左手、化身、姓名等。還可以為除步入捕捉空間以外不向系統(tǒng)提供任何信息的“訪客”提供個(gè)人簡(jiǎn)檔?？梢詾橐粋€(gè)或多個(gè)訪客建立臨時(shí)的個(gè)人簡(jiǎn)檔。在訪客會(huì)話的結(jié)尾，可以存儲(chǔ)或刪除訪客個(gè)人簡(jiǎn)檔。姿勢(shì)庫192、姿勢(shì)識(shí)別引擎190、特征庫197、特征比較器196和簡(jiǎn)檔198可以用硬件、軟件或兩者的組合來實(shí)現(xiàn)。例如，姿勢(shì)庫192和姿勢(shì)識(shí)別引擎190可被實(shí)現(xiàn)為在計(jì)算環(huán)境12的諸如處理器195等處理器上執(zhí)行(或在圖3的處理單元101或圖4的處理單元259 上)執(zhí)行的軟件。要強(qiáng)調(diào)的是，以下描述的圖3-4中描繪的框圖是示例性的，且不旨在暗示一具體實(shí)現(xiàn)。由此，圖1的處理器195或32、圖3的處理單元101、和圖4的處理單元259可被實(shí)現(xiàn)為單個(gè)處理器或多個(gè)處理器。多個(gè)處理器可以分布式或集中式地定位。例如，姿勢(shì)庫192 可被實(shí)現(xiàn)為在捕捉設(shè)備的處理器32上執(zhí)行的軟件，或者它可被實(shí)現(xiàn)為在計(jì)算環(huán)境12中的處理器195上執(zhí)行的軟件。構(gòu)想了適用于執(zhí)行此處公開的技術(shù)的處理器的任意組合。多個(gè)處理器可無線地、經(jīng)由硬連線、或以其組合來通信。此外，如此處所使用的，計(jì)算環(huán)境12可以指的是單個(gè)計(jì)算設(shè)備或計(jì)算系統(tǒng)。計(jì)算環(huán)境可包括非計(jì)算組件。計(jì)算環(huán)境可包括顯示設(shè)備，如圖2所示的顯示設(shè)備193。顯示設(shè)備可以是與計(jì)算環(huán)境分開但與其耦合的實(shí)體，或者顯示設(shè)備可以是例如進(jìn)行處理和顯示的計(jì)算設(shè)備。由此，計(jì)算系統(tǒng)、計(jì)算設(shè)備、計(jì)算環(huán)境、計(jì)算機(jī)、處理器或其他計(jì)算組件可被互換地使用。姿勢(shì)庫和過濾器參數(shù)可由姿勢(shì)工具為應(yīng)用或應(yīng)用的上下文來調(diào)節(jié)。上下文可以是文化上下文，并且可以是環(huán)境上下文。文化上下文指的是使用系統(tǒng)的用戶的文化。不同的文化可使用相似的姿勢(shì)來賦予顯著不同的含義。例如，希望叫另一個(gè)用戶“看”或“使用他的眼睛”的美國用戶可將他的食指放在他頭上靠近他的眼睛的遠(yuǎn)端處。然而，對(duì)意大利用戶而言，該姿勢(shì)可被解釋為對(duì)黑手黨的引用。類似地，在單個(gè)應(yīng)用的不同環(huán)境之中可能有不同的上下文。以涉及操作摩托車的第一用戶射擊游戲?yàn)槔?。?dāng)用戶在走路時(shí)，將手指朝向地面握拳并向前且從身體向外伸出拳頭可表示出拳姿勢(shì)。當(dāng)用戶在駕駛上下文中時(shí)，相同的運(yùn)動(dòng)可表示“換擋”姿勢(shì)。關(guān)于對(duì)視覺表示的修改，不同的姿勢(shì)可依賴于環(huán)境而觸發(fā)不同的修改。不同的修改觸發(fā)姿勢(shì)可用于進(jìn)入相對(duì)于系統(tǒng)范圍修改模式的應(yīng)用專用修改模式。每個(gè)修改模式可以與對(duì)應(yīng)于該修改模式的獨(dú)立的姿勢(shì)集包裝在一起，作為修改觸發(fā)姿勢(shì)的結(jié)果而進(jìn)入。例如，在保齡球游戲中，揮動(dòng)手臂運(yùn)動(dòng)可以是被標(biāo)識(shí)為揮動(dòng)保齡球以便向下釋放到虛擬保齡球道的姿勢(shì)。然而， 在另一個(gè)應(yīng)用中，揮動(dòng)手臂運(yùn)動(dòng)可以是被標(biāo)識(shí)為請(qǐng)求延長屏幕上所顯示的用戶化身的手臂的姿勢(shì)?？赡苓€有一個(gè)或多個(gè)菜單環(huán)境，其中用戶可保存他的游戲、在他的人物裝備之間選擇或執(zhí)行類似的不包括直接玩游戲的動(dòng)作。在該環(huán)境中，該游戲姿勢(shì)可具有第三個(gè)含義，如選擇某樣?xùn)|西或前進(jìn)到另一屏幕。姿勢(shì)可被一起分組到可能由該風(fēng)格中的應(yīng)用使用的互補(bǔ)姿勢(shì)風(fēng)格包中?；パa(bǔ)姿勢(shì)-或者如通常一起使用的那些姿勢(shì)中那樣是互補(bǔ)的，或者如一個(gè)姿勢(shì)的參數(shù)改變將改變另一姿勢(shì)的參數(shù)中那樣是互補(bǔ)的-被一起分組到風(fēng)格包中。這些包可被提供給應(yīng)用，應(yīng)用可選擇至少其中一個(gè)。應(yīng)用可調(diào)節(jié)或修改姿勢(shì)或姿勢(shì)過濾器191的參數(shù)來最佳地適合應(yīng)用的獨(dú)特方面。當(dāng)調(diào)節(jié)該參數(shù)時(shí)，也調(diào)節(jié)該姿勢(shì)或第二姿勢(shì)的第二互補(bǔ)參數(shù)(在相互依賴的意義上)使得這些參數(shù)保持互補(bǔ)。用于視頻游戲的風(fēng)格包可包括諸如第一用戶射擊、動(dòng)作、 駕駛和體育等風(fēng)格。圖3示出可用于解釋目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中的一個(gè)或多個(gè)姿勢(shì)的計(jì)算環(huán)境的示例實(shí)施例。以下參考附圖1-2所描述的諸如計(jì)算環(huán)境12的計(jì)算環(huán)境可以是多媒體控制臺(tái)100，諸如游戲控制臺(tái)。圖3的計(jì)算環(huán)境100可以是諸如游戲控制臺(tái)等多媒體控制臺(tái)-2。如圖3所示，多媒體控制臺(tái)100具有含有一級(jí)高速緩存102、二級(jí)高速緩存104和閃存R0M(只讀存儲(chǔ)器)106的中央處理單元(CPU) 101。一級(jí)高速緩存102和二級(jí)高速緩存 104臨時(shí)存儲(chǔ)數(shù)據(jù)，并且因此減少存儲(chǔ)器訪問周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPU 101可被設(shè)置成具有一個(gè)以上的內(nèi)核，并且由此附加一級(jí)和二級(jí)高速緩存102和104。閃存 ROM 106可存儲(chǔ)在多媒體控制臺(tái)100通電時(shí)引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元108向視頻編碼器/視頻編解碼器114運(yùn)送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲(chǔ)器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲(chǔ)器112，諸如但不局限于RAM(隨機(jī)存取存儲(chǔ)器)。多媒體控制臺(tái)100包括較佳地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器 1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142 (1)-142 (2)、無線適配器148、和外置存儲(chǔ)器設(shè)備146(例如閃存、外置⑶/DVD ROM驅(qū)動(dòng)器、可移動(dòng)介質(zhì)等) 的主機(jī)。網(wǎng)絡(luò)接口 124和/或無線適配器148提供對(duì)網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲(chǔ)器143來存儲(chǔ)在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動(dòng)器 144，且其可包括DVD/⑶驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、或其他可移動(dòng)媒體驅(qū)動(dòng)器等。媒體驅(qū)動(dòng)器144 可以是對(duì)多媒體控制器100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由介質(zhì)驅(qū)動(dòng)器144訪問，以供多媒體控制臺(tái)100執(zhí)行、回放等。介質(zhì)驅(qū)動(dòng)器144經(jīng)由諸如串行ATA總線或其他高速連接 (例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺(tái)100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持電源按鈕150和彈出按鈕152以及暴露在多媒體控制臺(tái)100外表面上的任何LED(發(fā)光二極管)或其它指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺(tái)100的組件供電。風(fēng)扇138冷卻多媒體控制臺(tái)100內(nèi)的電路。CPU 101、GPU 108、存儲(chǔ)器控制器110、以及多媒體控制臺(tái)100內(nèi)的各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲(chǔ)器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺(tái)100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲(chǔ)器143加載到存儲(chǔ)器112和 /或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到在多媒體控制臺(tái)100上可用的不同媒體類型時(shí)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，介質(zhì)驅(qū)動(dòng)器144中所包含的應(yīng)用和/或其他媒體可從介質(zhì)驅(qū)動(dòng)器144啟動(dòng)或播放，以將附加功能提供給多媒體控制臺(tái)100。多媒體控制臺(tái)100可通過將該系統(tǒng)簡(jiǎn)單地連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺(tái)100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺(tái)100還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺(tái)100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺(tái)操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲(chǔ)器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡(luò)帶寬的保留量(諸如，Slcbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)間保留的，所保留的資源對(duì)于應(yīng)用視角而言是不存在的。具體而言，存儲(chǔ)器保留優(yōu)選地足夠大，以包含啟動(dòng)內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動(dòng)程序。CPU保留優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。
14
對(duì)于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如， 彈出窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲(chǔ)器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率和引起TV重新同步。在多媒體控制臺(tái)100引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識(shí)作為系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺(tái)上運(yùn)行的游戲應(yīng)用所引起的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺(tái)應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動(dòng)時(shí)控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識(shí)，并且驅(qū)動(dòng)程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。相機(jī)26J8和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。圖4示出了可用于在目標(biāo)識(shí)別、分析和跟蹤系統(tǒng)中解釋一個(gè)或多個(gè)姿勢(shì)的計(jì)算環(huán)境220的另一示例實(shí)施例，該計(jì)算環(huán)境可以是圖1A-2所示的計(jì)算環(huán)境12。計(jì)算系統(tǒng)環(huán)境 220只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對(duì)當(dāng)前公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算環(huán)境220解釋為對(duì)示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在某些實(shí)施例中，所描繪的各種計(jì)算元素可包括被配置成實(shí)例化本發(fā)明的各具體方面的電路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。其他示例中，術(shù)語電路可包括由實(shí)施可用于執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲(chǔ)器等。在電路包括硬件和軟件的組合的示例實(shí)施例中，實(shí)施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機(jī)器可讀代碼。因?yàn)楸绢I(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價(jià)的軟件進(jìn)程。由此，對(duì)于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇并留給實(shí)現(xiàn)者。在圖4中，計(jì)算環(huán)境220包括計(jì)算機(jī)Ml，計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能由計(jì)算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器222包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(ROM) 223和隨機(jī)存取存儲(chǔ)器(RAM06O。包含諸如在啟動(dòng)期間幫助在計(jì)算機(jī)Ml內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng) 224(BIOS)通常儲(chǔ)存儲(chǔ)在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出了操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。
計(jì)算機(jī)241也可以包括其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅作為示例，圖4示出了從不可移動(dòng)、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動(dòng)器 238，從可移動(dòng)、非易失性磁盤2M中讀取或向其寫入的磁盤驅(qū)動(dòng)器239，以及從諸如⑶ROM 或其他光學(xué)介質(zhì)等可移動(dòng)、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動(dòng)器M0?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動(dòng)器 238通常由例如接口 234等不可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線221，而磁盤驅(qū)動(dòng)器239和光盤驅(qū)動(dòng)器240通常由例如接口 235等可移動(dòng)存儲(chǔ)器接口連接至系統(tǒng)總線221。以上討論并在圖4中示出的驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲(chǔ)介質(zhì)為計(jì)算機(jī)241提供了對(duì)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。在圖4中，例如，硬盤驅(qū)動(dòng)器238被示為存儲(chǔ)操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意， 這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號(hào)，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，例如鍵盤251和定點(diǎn)設(shè)備252——通常是指鼠標(biāo)、跟蹤球或觸摸墊——向計(jì)算機(jī)241輸入命令和信息。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。相機(jī)沈、觀和捕捉設(shè)備20可為控制臺(tái)100定義附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除監(jiān)視器之外，計(jì)算機(jī)還可以包括可以通過輸出外圍接口 233連接的諸如揚(yáng)聲器244和打印機(jī)243之類的其他外圍輸出設(shè)備。計(jì)算機(jī)241可使用到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(諸如，遠(yuǎn)程計(jì)算機(jī)M6)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括許多或所有以上關(guān)于計(jì)算機(jī)241所描述的元件， 但在圖4中僅示出了存儲(chǔ)器存儲(chǔ)設(shè)備M7。圖2中所描繪的邏輯連接包括局域網(wǎng)(LAN045 和廣域網(wǎng)(WAN) M9，但還可包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)級(jí)計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)用于LAN網(wǎng)絡(luò)環(huán)境中時(shí)，計(jì)算機(jī)241通過網(wǎng)絡(luò)接口或適配器245連接到LAN 237。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對(duì)于計(jì)算機(jī)Ml 所示的程序模塊或其部分可被存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。作為示例而非限制，圖4示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲(chǔ)器設(shè)備247上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的， 并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括用于修改視覺表示的計(jì)算機(jī)可讀指令。該指令可包括用于呈現(xiàn)視覺表示、接收?qǐng)鼍暗臄?shù)據(jù)、以及基于用戶的修改姿勢(shì)來修改視覺表示的指令， 其中該數(shù)據(jù)包括表示物理空間中用戶的修改姿勢(shì)的數(shù)據(jù)，該修改姿勢(shì)是映射到控件的姿勢(shì)，該控件用于修改視覺表示的特性。
圖5描繪了可從捕捉設(shè)備20所捕捉的圖像數(shù)據(jù)生成的用戶的示例骨架映射。在該實(shí)施例中，標(biāo)識(shí)出各個(gè)關(guān)節(jié)和骨骼每一手502、每一前臂504、每一肘506、每一二頭肌508、 每一肩510、每一髖512、每一大腿514、每一膝516、每一小腿518、每一足520、頭522、軀干 524、脊椎的頂部5 和底部528，以及腰530。在跟蹤更多點(diǎn)的情況下，可標(biāo)識(shí)出附加的特征，比如手指或腳趾的骨骼和關(guān)節(jié)，或面部的各個(gè)特征，如鼻和眼。用戶可通過移動(dòng)他的身體創(chuàng)建姿勢(shì)。姿勢(shì)包括用戶的運(yùn)動(dòng)或姿態(tài)，其可被捕捉為圖像數(shù)據(jù)并解析其意義。姿勢(shì)可以是動(dòng)態(tài)的，包括運(yùn)動(dòng)，如模仿投球。姿勢(shì)可以是靜態(tài)姿態(tài)，如在一個(gè)人的軀干5M前面交叉握住他的前臂504。姿勢(shì)也可結(jié)合道具，如通過揮動(dòng)仿制的劍。姿勢(shì)可包括多于一個(gè)身體部位，如拍雙手502，或是較微小的運(yùn)動(dòng)，如撅起一個(gè)人的嘴唇。用戶的姿勢(shì)可用作一般計(jì)算上下文中的輸入。例如，手502或其他身體部位的各種運(yùn)動(dòng)可對(duì)應(yīng)于常見的系統(tǒng)級(jí)任務(wù)，如在分層列表中向上或向下導(dǎo)航、打開文件、關(guān)閉文件和保存文件。例如，用戶能以手指向上指且掌心面向捕捉設(shè)備20來使他的手保持不動(dòng)。他然后可以將手指朝向手掌收攏來形成拳頭，并且這可以是指示基于窗口的用戶界面計(jì)算環(huán)境中的焦點(diǎn)窗口應(yīng)被關(guān)閉的姿勢(shì)。姿勢(shì)也可在視頻游戲?qū)Ｓ蒙舷挛闹腥Q于游戲來使用。 例如，對(duì)于駕駛游戲，手502和腳520的各種運(yùn)動(dòng)可對(duì)應(yīng)于在一方向上操控車輛、換擋、加速和剎車。由此，姿勢(shì)可指示映射到所顯示的用戶表示的、在諸如視頻游戲、文本編輯器、文字處理、數(shù)據(jù)管理等各種各樣應(yīng)用中的各種各樣的運(yùn)動(dòng)。用戶可通過自己在原地行走或奔跑來生成對(duì)應(yīng)于行走或奔跑的姿勢(shì)。例如，用戶可另選地提起并放下每一腿512-520來在不移動(dòng)的情況下模擬行走。系統(tǒng)可通過分析每一髖512和每一大腿514來解析該姿勢(shì)。當(dāng)一個(gè)髖部-大腿角(如相對(duì)于垂直線測(cè)量的，其中站立的腿具有0°的髖部-大腿角，而向前水平伸展的腿具有90°的髖部-大腿角)超過相對(duì)于另一大腿的特定閾值時(shí)，可識(shí)別一步。行走或奔跑可在交替腿的某一數(shù)量的連續(xù)步之后被識(shí)別。兩個(gè)最近的步之間的時(shí)間可被認(rèn)為是一周期。在不滿足閾值角度達(dá)某一數(shù)量的周期之后，系統(tǒng)可確定行走或奔跑姿勢(shì)已停止。給定“行走或奔跑”姿勢(shì)，應(yīng)用可為與該姿勢(shì)相關(guān)聯(lián)的參數(shù)設(shè)定值。這些參數(shù)可包括上述閾值角度、發(fā)起行走或奔跑姿勢(shì)所需的步數(shù)、結(jié)束姿勢(shì)的沒有發(fā)生步的周期數(shù)、以及確定姿勢(shì)是行走還是奔跑的閾值周期?？熘芷诳蓪?duì)應(yīng)于奔跑，因?yàn)橛脩魧⒖焖俚匾苿?dòng)他的腿，而較慢的周期可對(duì)應(yīng)于行走。姿勢(shì)最初可以與一組默認(rèn)參數(shù)相關(guān)聯(lián)，應(yīng)用可用其自己的參數(shù)來覆蓋該組默認(rèn)參數(shù)。在這一場(chǎng)景中，不迫使應(yīng)用提供參數(shù)，而是應(yīng)用可改為使用一組允許在沒有應(yīng)用定義的參數(shù)的情況下識(shí)別姿勢(shì)的默認(rèn)參數(shù)。與姿勢(shì)有關(guān)的信息可被存儲(chǔ)用于預(yù)錄制的動(dòng)畫的目的。存在可以與姿勢(shì)相關(guān)聯(lián)的各種輸出?？梢杂嘘P(guān)于姿勢(shì)是否正在發(fā)生的基線“是或否”。還可以有置信度水平，其對(duì)應(yīng)于用戶跟蹤的移動(dòng)對(duì)應(yīng)于姿勢(shì)的可能性。這可以是范圍為0和1之間(包括端點(diǎn))的浮點(diǎn)數(shù)的線性標(biāo)度。在接收該姿勢(shì)信息的應(yīng)用不能接受假肯定作為輸入的應(yīng)用中，它可僅使用那些具有高置信度水平，如至少0. 95的已識(shí)別的姿勢(shì)。 在應(yīng)用必須識(shí)別姿勢(shì)的每一實(shí)例的情況下，即使以假肯定為代價(jià)，它可使用至少具有低得多的置信度水平的姿勢(shì)，如僅僅大于0. 2的那些姿勢(shì)。姿勢(shì)可具有在兩個(gè)最近步之間的時(shí)
1間的輸出，并且在僅注冊(cè)了第一步的情況下，這可被設(shè)為保留值，如-ι(因?yàn)槿魏蝺刹街g的時(shí)間必須為正)。姿勢(shì)也可具有關(guān)于在最近一步期間達(dá)到的最高大腿角的輸出。另一示例性姿勢(shì)是“腳跟提起跳”。在該姿勢(shì)中，用戶可通過將他的腳跟提離地面， 但保持他的腳趾著地來創(chuàng)建該姿勢(shì)。另選地，用戶可跳向空中，其中他的腳520完全離開地面。該系統(tǒng)可通過分析肩510、髖512和膝516的角度關(guān)系來解析該姿勢(shì)的骨架，以查看它們是否是等于直立的對(duì)齊位置。然后，可監(jiān)視這些點(diǎn)和較高5 和較低5 脊椎點(diǎn)來發(fā)現(xiàn)任何向上加速。足夠的加速組合可觸發(fā)跳躍姿勢(shì)。加速度與某一姿勢(shì)的足夠的組合可滿足轉(zhuǎn)變點(diǎn)的參數(shù)。給定該“腳跟提起跳”姿勢(shì)，應(yīng)用可為與該姿勢(shì)相關(guān)聯(lián)的參數(shù)設(shè)定值。參數(shù)可包括上述加速閾值，其確定用戶的肩510、髖512和膝516的某種組合必須向上移動(dòng)多快來觸發(fā)該姿勢(shì)；以及肩510、髖512和膝516之間仍可觸發(fā)跳躍的最大對(duì)齊角。輸出可包括置信度水平，以及用戶在跳躍時(shí)的身體角度?；趯⒔邮兆藙?shì)的應(yīng)用的細(xì)節(jié)來為姿勢(shì)設(shè)定參數(shù)對(duì)于準(zhǔn)確地標(biāo)識(shí)姿勢(shì)而言是重要的。正確地標(biāo)識(shí)姿勢(shì)以及用戶的意圖極大地有助于創(chuàng)建積極的用戶體驗(yàn)。應(yīng)用可以為與各種轉(zhuǎn)變點(diǎn)相關(guān)聯(lián)的參數(shù)設(shè)置值來標(biāo)識(shí)使用預(yù)錄制的動(dòng)畫的點(diǎn)。轉(zhuǎn)變點(diǎn)可由各種參數(shù)來定義，如某一姿勢(shì)的標(biāo)識(shí)、速度、目標(biāo)或物體的角度、或其任何組合。如果轉(zhuǎn)變點(diǎn)至少部分地由某一姿勢(shì)的標(biāo)識(shí)來定義，則正確地標(biāo)識(shí)姿勢(shì)有助于提高轉(zhuǎn)變點(diǎn)的參數(shù)已被滿足的置信水平。對(duì)于姿勢(shì)的另一參數(shù)可以是移動(dòng)的距離。在用戶的姿勢(shì)控制虛擬環(huán)境中的化身的動(dòng)作的情況下，該化身可以是手臂離球的長度。如果用戶希望與該球交互并抓住它，則這可要求用戶伸展他的手臂502-510到全長同時(shí)作出抓握姿勢(shì)。在這一情形中，用戶僅部分地伸展他的手臂502-510的類似的抓握姿勢(shì)可能無法達(dá)到與球交互的結(jié)果。類似地，轉(zhuǎn)變點(diǎn)的參數(shù)可以是對(duì)抓握姿勢(shì)的標(biāo)識(shí)，其中如果用戶僅部分地伸展他的手臂502-510，從而沒有實(shí)現(xiàn)與球交互的結(jié)果，則用戶的姿勢(shì)將不滿足轉(zhuǎn)變點(diǎn)的參數(shù)。姿勢(shì)或其一部分可將它必須在其中發(fā)生的空間體作為參數(shù)。在姿勢(shì)包括身體移動(dòng)的情況下，該空間體通?？上鄬?duì)于身體來表達(dá)。例如，對(duì)于慣用右手的用戶的美式足球投擲姿勢(shì)可僅在不低于右肩510a、且與投擲手臂5(^a-310a在頭522的相同側(cè)的空間體中識(shí)另O?？赡懿槐匾x空間體的所有邊界，如對(duì)于該投擲姿勢(shì)，其中從身體向外的邊界留著不被定義，并且該空間體無限地向外延伸，或者延伸到正被監(jiān)視的場(chǎng)景的邊緣。圖6A和6B描繪了可包括捕捉設(shè)備608、計(jì)算設(shè)備610和顯示設(shè)備612的系統(tǒng)600。 例如，捕捉設(shè)備608、計(jì)算設(shè)備610和顯示設(shè)備612的每個(gè)可包括執(zhí)行所需功能的任何合適的設(shè)備，諸如參考圖1-5所描述的設(shè)備。構(gòu)想了單個(gè)設(shè)備可以執(zhí)行系統(tǒng)600中的全部功能， 或者合適的設(shè)備的任何組合可以執(zhí)行所需的功能。例如，計(jì)算設(shè)備610可以提供參考圖2 所示的計(jì)算環(huán)境12或圖3中的計(jì)算機(jī)所描述的功能。如圖2所示，計(jì)算環(huán)境12可包括顯示設(shè)備和處理器。計(jì)算設(shè)備610還可包括其自身的相機(jī)組件，或者可以耦合到具有相機(jī)組件的設(shè)備，諸如捕捉設(shè)備608。在這些示例中，深度相機(jī)608捕捉用戶602所存在于的物理空間601中的場(chǎng)景。深度相機(jī)608處理深度信息，和/或向諸如計(jì)算機(jī)610等計(jì)算機(jī)提供深度信息。深度信息可被解釋以便顯示用戶602的視覺表示。例如，深度相機(jī)608或如所示的其耦合到的計(jì)算設(shè)備610可向顯示器612輸出。所捕捉并顯示的圖像數(shù)據(jù)幀的速率可確定視覺表示的所顯示的運(yùn)動(dòng)的連續(xù)性水平。雖然可以捕捉并顯示附加圖像數(shù)據(jù)幀，但圖6A和6B中描繪的幀是出于示例性的目的來選擇的。還注意到，視覺表示可以是物理空間601中另一個(gè)目標(biāo)的視覺表示，諸如另一個(gè)用戶或非人類物體，或者視覺表示可以是部分的或完整的虛擬物體。技術(shù)在此公開了系統(tǒng)自動(dòng)生成目標(biāo)的視覺表示的能力，該視覺表示具有與目標(biāo)的所檢測(cè)到的特征相類似的特征?；蛘撸到y(tǒng)可提供用戶可從中進(jìn)行選擇的可選擇特征子集。 系統(tǒng)可基于目標(biāo)的所檢測(cè)到的特征來選擇特征，并將該選擇應(yīng)用于目標(biāo)的視覺表示。或者， 系統(tǒng)可以作出選擇，該選擇縮減了用戶從中選擇的選項(xiàng)的數(shù)量。如果系統(tǒng)可以代表用戶作出決定，則用戶可以無需作出很多決定或不必從很多選項(xiàng)中進(jìn)行選擇。由此，所公開的技術(shù)可從用戶移除大量的工作。例如，系統(tǒng)可代表用戶作出選擇，并將它們應(yīng)用于用戶的視覺表
7J\ ο如圖6A所示，系統(tǒng)呈現(xiàn)與物理空間601中的用戶602相對(duì)應(yīng)的視覺表示603。在該示例中，系統(tǒng)通過檢測(cè)用戶602的特征，將所檢測(cè)到的特征與特征選項(xiàng)庫進(jìn)行比較，選擇類似于用戶602的所檢測(cè)到的特征的特征選項(xiàng)，以及自動(dòng)地將其應(yīng)用于用戶的視覺表示603 來自動(dòng)生成視覺表示603。視覺表示的自動(dòng)生成從用戶602移除了工作，并為用戶602創(chuàng)建如同他們不費(fèi)力地被傳送到游戲或應(yīng)用體驗(yàn)中那樣的不可思議的體驗(yàn)。還公開了用于實(shí)時(shí)地顯示視覺表示并且實(shí)時(shí)地更新被應(yīng)用到視覺表示的特征選擇的技術(shù)。系統(tǒng)可以隨著時(shí)間跟蹤物理空間中的用戶，并同樣實(shí)時(shí)地應(yīng)用修改或更新被應(yīng)用于視覺表示的特征。例如，系統(tǒng)可以跟蹤用戶并標(biāo)識(shí)用戶已經(jīng)脫下了運(yùn)動(dòng)衫。系統(tǒng)可以標(biāo)識(shí)用戶的身體移動(dòng)，并識(shí)別用戶的服裝類型和顏色的變化。系統(tǒng)可以使用用戶的所標(biāo)識(shí)的特性中的任一個(gè)來幫助特征選擇過程和/或更新從特征庫中所選并應(yīng)用于視覺表示的特征。由此，同樣，系統(tǒng)可以不費(fèi)力地將用戶傳送到應(yīng)用體驗(yàn)中，并且更新視覺表示以便在用戶的所檢測(cè)到的特征改變時(shí)與其實(shí)時(shí)地對(duì)應(yīng)。在示例實(shí)施例中，為了檢測(cè)用戶的特征并使用所檢測(cè)到的特征來選擇用于視覺表示的特征的選項(xiàng)，系統(tǒng)可以生成用戶的模型。為了生成模型，捕捉設(shè)備可以捕捉場(chǎng)景的圖像并掃描場(chǎng)景中的目標(biāo)或物體。根據(jù)一個(gè)實(shí)施例，圖像數(shù)據(jù)可包括來自深度相機(jī)608和/或 RGB相機(jī)的深度圖像或圖像，或者任何其他檢測(cè)器上的圖像。系統(tǒng)600可從場(chǎng)景捕捉深度信息、圖像信息、RGB數(shù)據(jù)等。為了確定場(chǎng)景中的目標(biāo)或物體是否對(duì)應(yīng)于人類目標(biāo)，可對(duì)每個(gè)目標(biāo)進(jìn)行泛色填充并將其與人體模型的模式作比較?？蓲呙枧c人類模式(pattern)相匹配的每個(gè)目標(biāo)或物體以生成模型，諸如骨架模型、泛色模型、網(wǎng)格人類模型、或與其相關(guān)聯(lián)的模型。隨后可將該骨架模型提供給計(jì)算環(huán)境以便跟蹤該骨架模型并呈現(xiàn)與該骨架模型相關(guān)聯(lián)的化身。圖像數(shù)據(jù)和/或深度信息可用于標(biāo)識(shí)目標(biāo)特征。關(guān)于人類目標(biāo)的這些目標(biāo)特征可包括，例如身高和/或臂長，并且可以基于例如身體掃描、骨架模型、用戶602在像素區(qū)域上的延伸范圍或任何其他合適的過程或數(shù)據(jù)來獲得。使用例如與人類目標(biāo)相關(guān)聯(lián)的多個(gè)觀察到的像素中的深度值和人類目標(biāo)的一個(gè)或多個(gè)方面的延伸范圍，如身高、頭寬、或肩寬等， 可確定人類目標(biāo)的大小。相機(jī)608可以處理圖像數(shù)據(jù)，并將其用于確定用戶的各個(gè)部位的形狀、顏色和大小，包括用戶的頭發(fā)、服裝等。所檢測(cè)到的特征可以與用于應(yīng)用于視覺表示的特征選項(xiàng)的目錄進(jìn)行比較，如特征庫197中的視覺表示特征選項(xiàng)。
19
在另一示例實(shí)施例中，為了標(biāo)識(shí)用戶的特性，并使用所標(biāo)識(shí)的特性來選擇用于視覺表示的特征，系統(tǒng)可使用目標(biāo)數(shù)字化技術(shù)，諸如參考圖2B所描述的那些技術(shù)。該技術(shù)包括從得自諸如深度傳感設(shè)備等捕捉設(shè)備的未經(jīng)組織的點(diǎn)云中標(biāo)識(shí)表面、紋理和物體尺寸。 采用目標(biāo)數(shù)字化可包括表面提取、標(biāo)識(shí)點(diǎn)云中的點(diǎn)、標(biāo)記表面法線、計(jì)算物體屬性、隨時(shí)間跟蹤物體屬性中的變化、以及隨著捕捉額外的幀而增加物體邊界和身份中的置信度。例如， 可以接收或觀察與物理空間中的物體相關(guān)的數(shù)據(jù)點(diǎn)的點(diǎn)云。然后可分析該點(diǎn)云來確定該點(diǎn)云是否包括物體。點(diǎn)云的集合可被標(biāo)識(shí)為物體并融合在一起來表示單個(gè)物體。點(diǎn)云的表面可從所標(biāo)識(shí)的物體中提取?？墒褂锰峁呙枰阎?未知物體、掃描人類、以及掃描場(chǎng)景中的背景方面(例如， 地板、墻)的能力的任何已知技術(shù)或此處公開的技術(shù)來檢測(cè)物理空間中的目標(biāo)的特征?？墒褂妹恳粚?duì)象的所掃描的數(shù)據(jù)，包括深度和RGB數(shù)據(jù)的組合，來創(chuàng)建該物體的三維模型。該 RGB數(shù)據(jù)被應(yīng)用于該模型的對(duì)應(yīng)區(qū)域。各幀之間的時(shí)間跟蹤可以提高置信度并實(shí)時(shí)地自適應(yīng)物體數(shù)據(jù)。由此，可使用物體屬性以及隨時(shí)間對(duì)物體屬性中的變化的跟蹤來可靠地跟蹤其位置和定向?qū)崟r(shí)地在各幀之間變化的物體。捕捉設(shè)備以交互式速率來捕捉數(shù)據(jù)，從而提高了數(shù)據(jù)的保真度，并允許所公開的技術(shù)處理原始深度數(shù)據(jù)，數(shù)字化場(chǎng)景中的物體，提取物體的表面和紋理，以及實(shí)時(shí)地執(zhí)行這些技術(shù)中的任一種，以使得顯示畫面可以提供該場(chǎng)景的實(shí)時(shí)描繪?？墒褂孟鄼C(jī)識(shí)別技術(shù)來確定特征庫197中的哪些元素最接近地類似于用戶602的特性。系統(tǒng)可使用臉部識(shí)別和/或身體識(shí)別技術(shù)來檢測(cè)用戶602的特征。例如，系統(tǒng)可以基于從圖像數(shù)據(jù)、點(diǎn)云數(shù)據(jù)、深度數(shù)據(jù)等中對(duì)模型的生成來檢測(cè)用戶的特征?？梢赃M(jìn)行臉部掃描，并且系統(tǒng)可以處理關(guān)于用戶的臉部特征和RGB數(shù)據(jù)所捕捉的數(shù)據(jù)。在一示例實(shí)施例中， 基于五個(gè)關(guān)鍵數(shù)據(jù)點(diǎn)(即，眼、嘴角點(diǎn)、和鼻)的位置，系統(tǒng)提出關(guān)于玩家的臉部建議。該臉部建議可包括至少一個(gè)所選的臉部特征、完整的臉部特征集，或者它可以是來自特征庫197 的關(guān)于臉部特征的經(jīng)縮減的選項(xiàng)子集。系統(tǒng)可以執(zhí)行身體識(shí)別技術(shù)，從而從身體掃描中標(biāo)識(shí)各種身體部位/類型。例如，用戶的身體掃描可提供關(guān)于用戶的身高的建議。對(duì)于這些掃描中的任一個(gè)，可提示用戶站在物理空間中提供最佳掃描結(jié)果的位置。可從所捕捉的數(shù)據(jù)中檢測(cè)其他特征。例如，系統(tǒng)可以通過分析用戶和/或用戶的模型來檢測(cè)顏色數(shù)據(jù)和服裝數(shù)據(jù)。該系統(tǒng)可基于這些用戶特性的標(biāo)識(shí)來為用戶推薦服裝。 服裝推薦可基于用戶的衣柜中的服裝，或來自可供在虛擬世界市場(chǎng)中購買的服裝。例如，用戶可能具有個(gè)人衣柜，該衣柜具有特定虛擬表示所擁有且關(guān)聯(lián)的商品的儲(chǔ)存庫。個(gè)人衣柜可包括允許用戶查看并修改應(yīng)用于用戶的虛擬表示的服裝和其他商品的界面。例如，可修改飾品、鞋子等。用戶的性別可基于所捕捉的數(shù)據(jù)或作為訪問與用戶相關(guān)聯(lián)的簡(jiǎn)檔的結(jié)果來確定。系統(tǒng)可以檢測(cè)用戶的特征中的至少一個(gè)，并從特征庫197中選擇代表所檢測(cè)到的特征的特征。系統(tǒng)可以將所選擇的特征自動(dòng)應(yīng)用于用戶的視覺表示603。由此，用戶的視覺表示603具有如系統(tǒng)所選擇的用戶的相像性。例如，特征提取技術(shù)可以映射用戶的面部特征，并且從特征庫選擇的特征選項(xiàng)可用于創(chuàng)建用戶的卡通表示。視覺表示603是使用從特征庫選擇的類似于用戶的所檢測(cè)到的特征的特征來自動(dòng)生成的，但在該示例中，視覺表示是用戶602的卡通版本。視覺表示具有用戶602的頭發(fā)、眼睛、鼻子、服裝(例如，牛仔褲、夾克、鞋)、身體位置和類型等的卡通版本。系統(tǒng)可以將視覺表示603呈現(xiàn)給用戶602，該視覺表示603是通過應(yīng)用特征并呈現(xiàn)自動(dòng)生成的視覺表示603來創(chuàng)建的。用戶602可以修改自動(dòng)生成的視覺表示603，或者繼續(xù)作出應(yīng)用到視覺表示的選擇。在物理空間601中檢測(cè)到的用戶的視覺表示還可以采取替換的形式諸如動(dòng)畫、人物、化身等。圖6B中示出的示例視覺表示是猴子角色605的視覺表示。用戶602可以從系統(tǒng)或應(yīng)用所提供的多個(gè)庫存模型中選擇以供對(duì)用戶的屏幕上的表示。例如，在棒球游戲應(yīng)用中，用于可視地表示用戶602的可用的庫存模型可包括將知名棒球運(yùn)動(dòng)員表示為一塊太妃糖，或者將大象表示為想象的角色或符號(hào)，諸如光標(biāo)或手部符號(hào)。在圖6B所示的示例中， 猴子角色605可以是系統(tǒng)或應(yīng)用所提供的庫存模型表示。庫存模型可以專用于應(yīng)用，諸如與程序包裝在一起，或者庫存模型可以是跨應(yīng)用可用或系統(tǒng)范圍內(nèi)可用的。視覺表示可以是用戶602的特征與動(dòng)畫或庫存模型的組合。例如，猴子表示605 可以從猴子的庫存模型來初始化，但是猴子的各個(gè)特征可以根據(jù)系統(tǒng)600從特征選項(xiàng)目錄所選擇的(諸如特征庫197中的那些)類似于該用戶的特征來修改。系統(tǒng)可以用庫存模型來初始化視覺表示，但隨后繼續(xù)檢測(cè)用戶的特征，將所檢測(cè)到的特征與特征庫197進(jìn)行比較，選擇類似于用戶的特征，并且將所選擇的特征應(yīng)用于猴子角色605。由此，猴子605可以具有猴子的身體，但具有用戶的面部特征，諸如眉毛、眼睛和鼻子。用戶的面部表情、身體位置、所說的單詞、或任何其他可檢測(cè)的特性可被應(yīng)用于虛擬猴子605，并且如果合適的話可被修改。例如，用戶正在物理空間中皺眉。系統(tǒng)檢測(cè)該面部表情，從特征庫中選擇最接近地類似于用戶的皺眉的皺眉，并且將所選擇的皺眉應(yīng)用于猴子，使得虛擬猴子也在皺眉。此夕卜，猴子坐在與用戶類似的位置，除非被修改以對(duì)應(yīng)于該位置中的猴子的身體類型和大小。 系統(tǒng)600可以將所檢測(cè)到的目標(biāo)身體類型特征與特征庫197進(jìn)行比較，該特征庫197存儲(chǔ)身體類型的可能的視覺表示特征的集合。系統(tǒng)可以從特征庫的猴子特征子集中選擇特征。 例如，應(yīng)用可以提供特征庫中的猴子專用的特征選項(xiàng)以便與和應(yīng)用預(yù)封裝在一起的庫存模型猴子角色選項(xiàng)相對(duì)應(yīng)。系統(tǒng)或用戶可從最接近地類似于用戶的所檢測(cè)到的特征的猴子專用特征的選項(xiàng)中進(jìn)行選擇。期望的是系統(tǒng)提供來自特征庫197的特征子集。例如，特征庫197中一個(gè)以上選項(xiàng)可以類似于用戶的所檢測(cè)到的特征。系統(tǒng)可提供用戶從中進(jìn)行選擇的小的特征子集。代替用戶手動(dòng)地從數(shù)十、數(shù)百、甚至數(shù)千特征選項(xiàng)中選擇，系統(tǒng)可以提供經(jīng)縮減的選項(xiàng)子集。例如，圖7描繪了圖6A和6B中所示的系統(tǒng)600。系統(tǒng)在顯示器612上顯示用于視覺表示的頭發(fā)的示例特征選項(xiàng)集，選項(xiàng)1-10。在圖6A中，系統(tǒng)自動(dòng)地選擇被應(yīng)用于用戶的視覺表示的頭發(fā)選項(xiàng)#5。然而，在圖7所示的示例中，系統(tǒng)已經(jīng)選擇了最接近地類似于用戶的所檢測(cè)到的頭發(fā)特征的頭發(fā)選項(xiàng)的子集702。由此，用戶可從被應(yīng)用于用戶的視覺表示的選項(xiàng)子集 702中選擇。在該示例中，頭發(fā)的特征選項(xiàng)的子集702可包括最接近地類似于從身體和面部掃描所檢測(cè)到的用戶特征的選擇，包括用戶的頭發(fā)形狀、顏色和類型。代替從中選擇的大量的頭發(fā)選項(xiàng)，系統(tǒng)可以提供最接近地類似于用戶的頭發(fā)形狀、顏色和類型的用于頭發(fā)選項(xiàng)的短的選項(xiàng)列表。系統(tǒng)可以自動(dòng)生成視覺表示，但也可被設(shè)計(jì)為提供用戶可從中選擇的一個(gè)以上選項(xiàng)，使得用戶可在最能取悅用戶的特征選項(xiàng)之間作出最終的詳細(xì)選擇。選項(xiàng)子集減少了用戶評(píng)估全部選項(xiàng)的需求。
用戶或應(yīng)用可以具有用于在將對(duì)應(yīng)于用戶特性的特定特征應(yīng)用于視覺表示之前對(duì)其進(jìn)行修改的設(shè)置。例如，系統(tǒng)可以基于所捕捉的數(shù)據(jù)(例如，身體類型/大小)來檢測(cè)用戶的特定體重范圍。然而，用戶可以設(shè)置或者應(yīng)用本身可以設(shè)置默認(rèn)值，使得在特定體重范圍而非實(shí)際的用戶體重范圍以內(nèi)顯示用戶。由此，可為用戶顯示更令人愉悅的視覺表示， 而不是例如可能超重的視覺表示。在另一個(gè)示例中，可以檢測(cè)用戶的面部特征，并且應(yīng)用于用戶的視覺表示的特征可以對(duì)應(yīng)于所檢測(cè)到的特征，使得視覺表示的面部特征在大小、比例、頭上的空間安排等方面類似于用戶的特征。用戶可以通過改變特征來修改面部識(shí)別技術(shù)的真實(shí)效果。例如，用戶可以通過改變計(jì)算尺來修改特征。用戶可以改變計(jì)算尺以修改體重以便應(yīng)用于視覺表示，或者改變將被應(yīng)用于視覺表示的鼻子的大小。由此，可以應(yīng)用系統(tǒng)所選擇的某些特征，可以修改并隨后應(yīng)用其他特征。出于顯示目的，可以修改系統(tǒng)所檢測(cè)到的特定目標(biāo)特性。例如，目標(biāo)特性可被修改為對(duì)應(yīng)于視覺表示的形式、應(yīng)用、應(yīng)用的狀態(tài)等。例如，特定的特性可能不直接映射到用戶的視覺表示，其中該視覺表示是想象的角色。諸如化身603或諸如猴子605的用戶的角色表示等用戶的任何視覺表示可被賦予例如類似于用戶602的但為特定角色修改過的身體比例。例如，猴子表示605可被賦予類似于用戶602的身高，但猴子的手臂可能比用戶的手臂成比例地更長。猴子605的手臂的移動(dòng)可以對(duì)應(yīng)于用戶手臂的移動(dòng)，如系統(tǒng)所標(biāo)識(shí)的，但是系統(tǒng)可以修改猴子手臂的動(dòng)畫以反應(yīng)猴子手臂移動(dòng)的方式。系統(tǒng)可以使用諸如掃描數(shù)據(jù)、圖像數(shù)據(jù)或深度信息等所捕捉的數(shù)據(jù)來標(biāo)識(shí)其他目標(biāo)特性。目標(biāo)特性可包括目標(biāo)的任何其他特征，諸如眼睛大小、類型和顏色，頭發(fā)長度、類型和顏色，膚色，服裝和服裝顏色。例如，可以基于對(duì)應(yīng)的RGB圖像來標(biāo)識(shí)顏色。系統(tǒng)還可將這些可檢測(cè)的特征映射到視覺表示。例如，系統(tǒng)可以檢測(cè)到用戶佩戴眼鏡以及穿一件紅色襯衫，系統(tǒng)可以將眼鏡和紅色襯衫應(yīng)用于在該示例中是用戶的視覺表示的虛擬猴子605。深度信息和目標(biāo)特性還可與附加信息進(jìn)行組合，該附加信息包括例如可與特定用戶602相關(guān)聯(lián)的信息，諸如具體的姿勢(shì)、語音識(shí)別信息等。該模型隨后可被提供給計(jì)算設(shè)備 610，使得計(jì)算設(shè)備610可跟蹤該模型，呈現(xiàn)與該模型相關(guān)聯(lián)的視覺表示，和/或基于例如該模型來確定在計(jì)算設(shè)備610上執(zhí)行的應(yīng)用中執(zhí)行哪些控件。圖8示出了向用戶提供特征選擇的示例方法。特征選擇的提供可以通過顯示視覺表示來提供，其中該視覺表示具有所應(yīng)用的特征或用戶可從中進(jìn)行選擇的具有經(jīng)縮減的選項(xiàng)子集的特征庫的子集。例如，在802，系統(tǒng)從包括諸如用戶或非人類物體等目標(biāo)的物理空間接收數(shù)據(jù)。如上所述，捕捉設(shè)備可捕捉場(chǎng)景的數(shù)據(jù)，諸如場(chǎng)景的深度圖像，并掃描場(chǎng)景中的目標(biāo)。捕捉設(shè)備可以確定場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)是否對(duì)應(yīng)于諸如用戶等人類目標(biāo)。例如，為了確定場(chǎng)景中的目標(biāo)或物體是否對(duì)應(yīng)于人類目標(biāo)，可對(duì)每個(gè)目標(biāo)進(jìn)行泛色填充并將其與人體模型的圖案作比較。然后可掃描匹配人體模型的每個(gè)目標(biāo)或物體來生成與其相關(guān)聯(lián)的骨架模型。例如，可掃描被標(biāo)識(shí)為人類的目標(biāo)來生成與其相關(guān)聯(lián)的骨架模型。然后可將該骨架模型提供給計(jì)算環(huán)境來跟蹤該骨架模型并呈現(xiàn)與該骨架模型相關(guān)聯(lián)的視覺表示。在804， 系統(tǒng)可通過使用任何合適的技術(shù)，如身體掃描、點(diǎn)云模型、骨架模型、泛色填充技術(shù)等，來轉(zhuǎn)換所捕捉的數(shù)據(jù)，以便標(biāo)識(shí)物理空間中的目標(biāo)的特征。在806，系統(tǒng)可檢測(cè)目標(biāo)的特性并將其與諸如特征庫中的特征選項(xiàng)等特征選項(xiàng)進(jìn)行比較。特征選項(xiàng)可以是用于目標(biāo)的各種特征的選項(xiàng)的集合。例如，用于用戶的特征選項(xiàng)可包括眉毛選項(xiàng)、頭發(fā)選項(xiàng)、鼻子選項(xiàng)等。用于房間中的家具的特征選項(xiàng)可包括大小選項(xiàng)、 形狀選項(xiàng)、硬件選項(xiàng)等。在一示例實(shí)施例中，系統(tǒng)可以檢測(cè)可供應(yīng)用于類似于用戶的所檢測(cè)到的特征的視覺表示的若干特征。由此，在806，系統(tǒng)可以檢測(cè)用戶的特征并將所檢測(cè)到的特征與應(yīng)用于用戶的視覺表示的特征庫197進(jìn)行比較，并且在810，系統(tǒng)可以基于所檢測(cè)到的特征來選擇特征選項(xiàng)的子集。系統(tǒng)可以通過比較特征庫197中的特征與用戶的所檢測(cè)到的特性的相似度來選擇該子集作為那些特征。有時(shí)，特征將非常相似，但是系統(tǒng)可能仍然在810向用戶提供從中進(jìn)行選擇的選項(xiàng)子集。以此方式，用戶可從該子集中選擇至少與用戶的對(duì)應(yīng)特性相似的特征，但是可例如從該子集中選擇更令人愉悅的特征。系統(tǒng)可在812接收用戶從子集選項(xiàng)中進(jìn)行的選擇。由此，用戶不必過濾具體特征的整個(gè)選項(xiàng)庫來尋找與用戶相似的特征。 系統(tǒng)可以過濾選項(xiàng)庫并向用戶提供從中進(jìn)行選擇的特征子集。系統(tǒng)可以在814自動(dòng)生成用戶的視覺表示。由此，在將目標(biāo)的所檢測(cè)到的特征與特征庫中的選項(xiàng)進(jìn)行比較之后，系統(tǒng)可以通過自動(dòng)選擇要應(yīng)用于視覺表示的特征來自動(dòng)生成目標(biāo)的視覺表示。當(dāng)系統(tǒng)自動(dòng)呈現(xiàn)對(duì)應(yīng)于用戶的視覺表示，自動(dòng)從特征庫中選擇了類似于目標(biāo)的所檢測(cè)到的特征的特征時(shí)，目標(biāo)被不費(fèi)力地傳送到系統(tǒng)或軟件體驗(yàn)中。該視覺表示可具有自動(dòng)選擇的特征和用戶基于系統(tǒng)所提供的選項(xiàng)子集選擇的特征的組合。由此，該視覺表示可被部分地生成且部分地由用戶來定制。在816，可將系統(tǒng)和/或用戶作出的選擇應(yīng)用于目標(biāo)的視覺表示。系統(tǒng)可以向用戶呈現(xiàn)該視覺表示。在818，系統(tǒng)可以繼續(xù)監(jiān)視物理空間中的目標(biāo)，從而隨時(shí)間跟蹤目標(biāo)的可檢測(cè)特征。對(duì)目標(biāo)的視覺表示的修改可以實(shí)時(shí)地作出來反映對(duì)目標(biāo)的所檢測(cè)到的特征的任何改變。例如，如果目標(biāo)是用戶且該用戶在物理空間中脫下了運(yùn)動(dòng)衫，則系統(tǒng)可以檢測(cè)到新的襯衫樣式和/或顏色，并從特征庫中自動(dòng)選擇接近地類似于用戶的襯衫的選項(xiàng)。所選選項(xiàng)可實(shí)時(shí)地應(yīng)用于用戶的視覺表示。由此，前述步驟中的處理可以實(shí)時(shí)地執(zhí)行，使得顯示畫面實(shí)時(shí)地對(duì)應(yīng)于物理空間。以此方式，物理空間中的物體、用戶或運(yùn)動(dòng)可被轉(zhuǎn)換以供實(shí)時(shí)顯示，使得用戶可以實(shí)時(shí)地與正在執(zhí)行的應(yīng)用進(jìn)行交互。在822，用戶的所檢測(cè)到的特征、系統(tǒng)所選擇的特征、以及用戶所選擇的任何特征可成為簡(jiǎn)檔的一部分。簡(jiǎn)檔可以例如專用于某一物理空間或用戶。包括用戶的特征在內(nèi)的化身數(shù)據(jù)可以成為用戶的簡(jiǎn)檔的一部分?？梢栽谟脩暨M(jìn)入捕捉場(chǎng)景時(shí)訪問簡(jiǎn)檔。如果基于口令、用戶的選擇、身體大小、語音識(shí)別等，簡(jiǎn)檔匹配用戶，則該簡(jiǎn)檔可用于確定用戶的視覺表示?？杀O(jiān)視用戶的歷史數(shù)據(jù)，從而將信息存儲(chǔ)到用戶的簡(jiǎn)檔。例如，系統(tǒng)可以檢測(cè)特定于用戶的特征，如用戶的面部特征、身體類型等。系統(tǒng)可以選擇類似于所檢測(cè)的特征的特征以便應(yīng)用于目標(biāo)的視覺表示并存儲(chǔ)在目標(biāo)簡(jiǎn)檔中。圖9描繪了來自圖6的系統(tǒng)600的示例，該示例可以處理為物理空間601中的目標(biāo)接收的信息，并且使用目標(biāo)數(shù)字化技術(shù)來標(biāo)識(shí)目標(biāo)。所捕捉的目標(biāo)可被映射到虛擬環(huán)境中那些目標(biāo)的視覺表示。在該示例中，物理場(chǎng)景包括圖IA所描繪的物理空間中示出的球102、 箱子104、遮光簾106、靠墻扶手108、墻#1110、墻#2112、以及地板115。場(chǎng)景中還示出了用戶602。在示例實(shí)施例中，系統(tǒng)10可以識(shí)別、分析和/或跟蹤這些物體102、104、106、108、 110、112和115中的任一個(gè)以及其他目標(biāo)，如人類目標(biāo)，諸如用戶602。系統(tǒng)10可在物理空間中收集與物體102、104、106、108、110、112和114中每個(gè)和/或用戶602的姿勢(shì)相關(guān)的信
息。諸如用戶602的物理空間中的用戶也可以進(jìn)入物理空間。目標(biāo)可以是物理空間601中的任何物體或用戶。例如，捕捉設(shè)備608可以掃描物理空間601中的人類602或非人類物體，諸如球607、紙板箱609、或狗605。在該示例中， 系統(tǒng)600可以通過使用捕捉設(shè)備608來掃描物理空間601以便捕捉目標(biāo)。例如，深度相機(jī) 608可以接收原始深度數(shù)據(jù)。系統(tǒng)600可以處理原始深度數(shù)據(jù)，將深度數(shù)據(jù)解釋為點(diǎn)云數(shù)據(jù) (point cloud data)，將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為表面法線。例如，深度緩沖區(qū)可被捕捉并轉(zhuǎn)換為已排序的點(diǎn)云。深度緩沖區(qū)可以是記錄被呈現(xiàn)的每個(gè)像素的深度的緩沖區(qū)。深度緩沖區(qū)可以在附加像素被呈現(xiàn)時(shí)保持對(duì)其的記錄，并確定所呈現(xiàn)的不同像素的深度之間的關(guān)系。例如，深度緩沖區(qū)可以執(zhí)行隱藏表面移除，并且將要被呈現(xiàn)的每個(gè)像素與已經(jīng)位于幀緩沖區(qū)中該位置的像素進(jìn)行比較。也被稱為ζ緩沖區(qū)的深度緩沖區(qū)可包括幀緩沖區(qū)，該幀緩沖區(qū)存儲(chǔ)對(duì)從捕捉設(shè)備到所捕捉的圖像中每個(gè)可視點(diǎn)的距離的測(cè)量?；谒鶚?biāo)識(shí)的點(diǎn)云和表面法線，系統(tǒng)600可以標(biāo)記在場(chǎng)景中被解析的物體，清除噪聲，并為每個(gè)物體計(jì)算定向?？稍谖矬w周圍形成邊界框。隨后可逐幀地跟蹤該物體以供紋理提取。根據(jù)一個(gè)實(shí)施例，圖像數(shù)據(jù)可包括深度圖像或來自深度相機(jī)和/或RGB相機(jī)的圖像，或者任何其他檢測(cè)器上的圖像。例如，相機(jī)608可處理圖像數(shù)據(jù)，并使用它來確定目標(biāo)的形狀、顏色和大小。在該示例中，物理空間601中的目標(biāo)602、102、104、106、108、110、112 和114被深度相機(jī)608捕捉，該深度相機(jī)608處理深度信息和/或?qū)⑸疃刃畔⑻峁┙o計(jì)算機(jī)，諸如計(jì)算機(jī)610。深度信息可被解釋以便在顯示器612上顯示視覺表示。系統(tǒng)可使用信息從特征庫197選擇選項(xiàng)以生成與物理空間中的目標(biāo)相對(duì)應(yīng)的虛擬物體?？蓲呙枧c人類樣式 (pattern)相匹配的每個(gè)目標(biāo)或物體以生成與其相關(guān)聯(lián)的模型，諸如骨架模型、網(wǎng)格人類模型等。可以掃描與已知物體庫相匹配的每個(gè)目標(biāo)或物體以生成可用于該特定物體的模型。 還可以掃描未知物體以生成模型，該模型對(duì)應(yīng)于點(diǎn)云數(shù)據(jù)、RGB數(shù)據(jù)、表面法線、定向、邊界框、以及對(duì)與該未知物體相對(duì)應(yīng)的原始深度數(shù)據(jù)的任何其他處理。由于目標(biāo)可以在物理空間中移動(dòng)，因此所捕捉并顯示的圖像數(shù)據(jù)幀的速率確定對(duì)視覺表示的顯示的連續(xù)性水平。此外，逐幀圖像的數(shù)量可以隨時(shí)間提高點(diǎn)云數(shù)據(jù)被解析為單獨(dú)標(biāo)記的物體的方式的置信度。物體的移動(dòng)可以給出關(guān)于表面法線和定向的進(jìn)一步的深度信息。系統(tǒng)600還可以能夠?qū)⒃肼暸c所需點(diǎn)數(shù)據(jù)區(qū)分開。系統(tǒng)600還可通過評(píng)估用戶在單個(gè)捕捉數(shù)據(jù)幀中或在一系列幀中的位置來從用戶602的運(yùn)動(dòng)中標(biāo)識(shí)姿勢(shì)。系統(tǒng)600可在物理空間601中跟蹤目標(biāo)602、102、104、106、108、110、112和114中的任一個(gè)，使得顯示器612上的視覺表示映射到目標(biāo)602、102、104、106、108、110、112和114 以及物理空間601中所捕捉的那些目標(biāo)中任一個(gè)的運(yùn)動(dòng)。物理空間中的物體可以具有捕捉設(shè)備可捕捉并掃描以與諸如圖2所示的特征庫197等特征庫中的特征選項(xiàng)進(jìn)行比較的特性。系統(tǒng)可從特征庫中選擇特征，該特征最接近地類似于目標(biāo)的所檢測(cè)到的特征。此處公開了用于與目標(biāo)數(shù)字化的實(shí)現(xiàn)有關(guān)的計(jì)算機(jī)視覺的技術(shù)。這些技術(shù)可用于使系統(tǒng)能夠?qū)⒏弑Ｕ娴夭蹲降奶卣髋c類似于目標(biāo)特征的來自特征庫的最佳選擇特征進(jìn)行比較。計(jì)算機(jī)視覺是通過根據(jù)諸如原始深度或圖像數(shù)據(jù)等所捕捉的數(shù)據(jù)在物理空間中創(chuàng)建物體模型來理解場(chǎng)景內(nèi)容的概念。例如，技術(shù)可包括表面提取，基于鄰近度解釋點(diǎn)云中的點(diǎn)以恢復(fù)表面法線，計(jì)算物體屬性，隨時(shí)間跟蹤該物體屬性，隨時(shí)間提高物體識(shí)別和形狀中的置信度，并掃描人類或已知/未知物體。捕捉設(shè)備可以掃描物理空間，并且接收關(guān)于物理空間601中各個(gè)物體的范圍數(shù)據(jù)。掃描可包括對(duì)物體表面的掃描、或?qū)φ麄€(gè)固體的掃描。通過對(duì)原始深度數(shù)據(jù)采用二維深度緩沖區(qū)的形式，任何適合的計(jì)算設(shè)備可以解釋物體表面上的大量的點(diǎn)并輸出點(diǎn)云。點(diǎn)云可以是在三維坐標(biāo)系統(tǒng)中定義的數(shù)據(jù)點(diǎn)集，諸如由X、y和Z坐標(biāo)定義的數(shù)據(jù)點(diǎn)。點(diǎn)云數(shù)據(jù)可以表示物理空間中已被掃描過的物體的可視表面。由此，物體可以通過將場(chǎng)景中的物體表示為離散點(diǎn)集來數(shù)字化。點(diǎn)云數(shù)據(jù)可在數(shù)據(jù)文件中被保存為二維數(shù)據(jù)集。可以使用諸如深度相機(jī)或深度傳感設(shè)備等捕捉設(shè)備來實(shí)時(shí)地捕捉范圍數(shù)據(jù)。例如，可以使用深度緩沖區(qū)形式的深度傳感相機(jī)以至少20赫茲的頻率捕捉數(shù)據(jù)幀。數(shù)據(jù)可被解釋為結(jié)構(gòu)化的樣本點(diǎn)云，其中每個(gè)點(diǎn)可包括相關(guān)聯(lián)的目標(biāo)的特性，諸如位置、定向、表面法線、顏色或紋理屬性。點(diǎn)云數(shù)據(jù)可被存儲(chǔ)在二維數(shù)據(jù)集中。由于捕捉設(shè)備的光學(xué)屬性是已知的，因此范圍數(shù)據(jù)可被投影到可由此被存儲(chǔ)在正則化數(shù)據(jù)結(jié)構(gòu)中的完全三維的點(diǎn)云。三維點(diǎn)云可以指示物體表面的拓?fù)浣Y(jié)構(gòu)。例如，可以從云中的鄰居點(diǎn)確定表面的鄰近點(diǎn)之間的關(guān)系。可將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為表面，并且可以通過評(píng)估點(diǎn)云數(shù)據(jù)表面上的表面法線來提取點(diǎn)云數(shù)據(jù)所表示的物體表面。正則化數(shù)據(jù)結(jié)構(gòu)可以類似于二維深度緩沖區(qū)。點(diǎn)云可包括與物理空間中各個(gè)物體相關(guān)的多個(gè)數(shù)據(jù)點(diǎn)。捕捉設(shè)備可以接收或觀察點(diǎn)云數(shù)據(jù)，諸如此處所描述的。隨后可分析該點(diǎn)云以確定該點(diǎn)云是否包括一個(gè)物體或一組物體。如果數(shù)據(jù)包括一個(gè)物體，則可以生成該物體的模型。物體識(shí)別中置信度的提高可在捕捉幀時(shí)發(fā)生?？梢陨膳c特定物體相關(guān)聯(lián)的模型的反饋并將其實(shí)時(shí)地提供給用戶。此夕卜，響應(yīng)于物理空間中物體的任何移動(dòng)，可以跟蹤該物體的模型，使得該模型可被調(diào)整為模仿該物體的移動(dòng)。所有這些可以以用于處理以及實(shí)時(shí)顯示結(jié)果的速率來完成。實(shí)時(shí)顯示指的是姿勢(shì)的視覺表示的顯示或視覺幫助的顯示，其中該顯示與該姿勢(shì)在物理空間中的執(zhí)行同時(shí)或幾乎同時(shí)顯示。例如，系統(tǒng)可以提供對(duì)用戶和該用戶環(huán)境進(jìn)行回應(yīng)的顯示的顯示更新速率可以是20Hz的速率或更高，其中無關(guān)緊要的處理延遲造成最小的顯示延遲或?qū)τ脩舳愿静豢梢姟Ｓ纱?，?shí)時(shí)包括與被自動(dòng)數(shù)據(jù)處理所需的時(shí)間延遲了的數(shù)據(jù)的及時(shí)性有關(guān)的任何無關(guān)緊要的延遲。捕捉設(shè)備以交互式速率來捕捉數(shù)據(jù)，提高了數(shù)據(jù)的保真度，并允許所公開的技術(shù)處理原始深度數(shù)據(jù)，數(shù)字化場(chǎng)景中的物體，提取物體的表面和紋理，以及實(shí)時(shí)地執(zhí)行這些技術(shù)中的任一種，以使得顯示畫面可以提供該場(chǎng)景的實(shí)時(shí)描繪。對(duì)于任何給定幀為了將云中的點(diǎn)組聚類成場(chǎng)景中的離散物體，可以使深度緩沖區(qū)在掃描線中從左到右并隨后從上到下的走一遍?？稍趻呙钑r(shí)處理云中的每個(gè)對(duì)應(yīng)的點(diǎn)或點(diǎn)集群。相機(jī)可以捕捉深度和顏色數(shù)據(jù)，并將顏色分配給與該顏色數(shù)據(jù)相對(duì)應(yīng)的點(diǎn)云。由此，在捕捉設(shè)備從相機(jī)的觀點(diǎn)查看深度數(shù)據(jù)時(shí)，相機(jī)可以解釋該深度數(shù)據(jù)以用三維來表示物理空間。三維點(diǎn)云數(shù)據(jù)可被合并和結(jié)合，使得多個(gè)點(diǎn)變?yōu)辄c(diǎn)云，并且云中點(diǎn)的子集可被標(biāo)記為特定的物體?？梢詮脑摫粯?biāo)記的點(diǎn)云為所創(chuàng)建的每個(gè)被標(biāo)記的物體和對(duì)應(yīng)的網(wǎng)格模型
25恢復(fù)三維數(shù)據(jù)。由于顏色信息與深度信息相關(guān)，物體的紋理和表面也可被提取。這種目標(biāo)數(shù)字化可能對(duì)游戲應(yīng)用或非游戲應(yīng)用是有用的，諸如操作系統(tǒng)或軟件應(yīng)用。在顯示設(shè)備上提供關(guān)于捕捉和處理深度數(shù)據(jù)的實(shí)時(shí)的反饋提供了有價(jià)值的交互式體驗(yàn)，諸如玩游戲。在圖8所描繪的示例中，墻、天花板和地板都位于物理空間中。系統(tǒng)可以從對(duì)點(diǎn)云數(shù)據(jù)的分析來標(biāo)記墻和地板，該點(diǎn)云數(shù)據(jù)來自處理捕捉設(shè)備所接收的原始深度數(shù)據(jù)，諸如圖7B中所表示的點(diǎn)云數(shù)據(jù)。隨后，可以提取關(guān)于物理場(chǎng)景的附加信息，諸如房間的形狀。系統(tǒng)可以使用關(guān)于物理空間的基本信息來從特征庫中進(jìn)行選擇以生成與物理空間相對(duì)應(yīng)的虛擬空間。例如，特征庫可包括各個(gè)特征的卡通繪圖，而因此自動(dòng)生成的虛擬空間可以是物理空間的卡通版本。However, the cartoon version深度緩沖區(qū)中的信息可用于分離從原始深度數(shù)據(jù)標(biāo)識(shí)的物體的表面。深度緩沖區(qū)的第一遍行走可用于基于從點(diǎn)云得出的表面法線來計(jì)算深度緩沖區(qū)的法線映射圖。由此， 系統(tǒng)可以得出表面指向的方向，而不是空間中獨(dú)立的點(diǎn)。系統(tǒng)可以從深度緩沖區(qū)恢復(fù)表面法線，并將表面法線和與該表面法線相關(guān)聯(lián)的云中的多個(gè)點(diǎn)一同存儲(chǔ)。表面法線可用于標(biāo)識(shí)物體的形狀和輪廓。例如，球在整個(gè)表面上的各法線方向上具有逐漸恒定的變化。各個(gè)物體的表面法線可在各個(gè)物體過濾器中有所不同以便與場(chǎng)景中所檢測(cè)到的表面法線進(jìn)行比較。雖然對(duì)表面法線的計(jì)算和普通映射計(jì)算是此處所公開的用于從點(diǎn)云數(shù)據(jù)標(biāo)識(shí)表面的常見技術(shù)，但是可以使用任何合適的表面分離或提取技術(shù)，諸如霍夫變換、普通映射、 傅立葉變換、小曲線變換等。例如，用于從點(diǎn)云分離和/或提取表面的計(jì)算可以使用用于平坦表面的霍夫變換來實(shí)現(xiàn)。在這種實(shí)例中普通映射將是不必要的，相反可以生成點(diǎn)云的霍夫變換。由此，當(dāng)云的多個(gè)點(diǎn)被合并成物體并被標(biāo)記時(shí)，對(duì)每個(gè)點(diǎn)的霍夫空間的評(píng)估可以指示一個(gè)點(diǎn)是否與鄰居點(diǎn)一起位于平面上，使系統(tǒng)能夠分別地標(biāo)記組成特定物體的具體的平坦表面?？梢允褂萌魏魏线m的分離/提取技術(shù)，并且可以依賴于場(chǎng)景將其調(diào)節(jié)至整體標(biāo)記性能和特性。雖然使用各種表面分離/提取技術(shù)可以改變標(biāo)記試探，但任何合適的技術(shù)都用于這種標(biāo)識(shí)和標(biāo)記，并仍然使系統(tǒng)能夠?qū)崟r(shí)地處理深度數(shù)據(jù)以便生成和刷新對(duì)用戶的實(shí)時(shí)顯示。噪聲可以產(chǎn)生自所使用的深度傳感器的類型。第一行走階段可包括原始數(shù)據(jù)的噪聲抑制輪。例如，可以執(zhí)行平滑輪以從普通映射移除噪聲。針對(duì)數(shù)據(jù)集在二維掃描輪中對(duì)云中的多個(gè)點(diǎn)進(jìn)行標(biāo)記，其中接近并已標(biāo)識(shí)出相似表面的選項(xiàng)可被標(biāo)記為屬于相同的物體。例如，如果表面分離技術(shù)包括生成普通映射，則接近并具有相似表面法線的數(shù)據(jù)集可被標(biāo)記為屬于相同的物體。標(biāo)記提供了平坦表面和微曲表面之間的區(qū)別，而空間上結(jié)合或不相交的表面(像地板和墻)可被分別地標(biāo)記。與鄰居點(diǎn)連接的多個(gè)點(diǎn)可以基于那些點(diǎn)與指向相似方向的對(duì)應(yīng)的表面法線之間的距離來標(biāo)記。 調(diào)解距離閾值和法線相似度閾值可以導(dǎo)致物體不同的大小和曲率、以及被離散地標(biāo)記的表面。已知物體的閾值和預(yù)期結(jié)果可被存儲(chǔ)在物體過濾器中。如圖7C所示，示出了球102和箱子104的點(diǎn)云。對(duì)鄰近的點(diǎn)云數(shù)據(jù)和從點(diǎn)云集合標(biāo)識(shí)的表面法線的評(píng)估可以將球與箱子相區(qū)分。由此，可以標(biāo)記每個(gè)物體102和104。標(biāo)記可以簡(jiǎn)單地是唯一標(biāo)識(shí)。云中多個(gè)點(diǎn)的位置與表面法線的組合對(duì)于在表面上的多個(gè)物體或構(gòu)成一個(gè)物體的多個(gè)物體之間進(jìn)行區(qū)分是有用的。例如，如果杯子位于箱子104頂部，則可以用與賦予箱子相同的唯一 ID來標(biāo)識(shí)這個(gè)杯子，因?yàn)榭赡苌形磸狞c(diǎn)云數(shù)據(jù)中確定這些物體是不相交的。然而，通過隨后考慮表面法線，系統(tǒng)可以確定在各表面法線之間存在九十度差別，并且確定物體應(yīng)當(dāng)基于點(diǎn)的鄰近度和點(diǎn)云來分別地標(biāo)記。由此，點(diǎn)云中與結(jié)構(gòu)表面元素一致的各數(shù)據(jù)點(diǎn)組可被相關(guān)聯(lián)并被標(biāo)記。系統(tǒng)可以重新投射各個(gè)點(diǎn)云的已確定的表面定向并且對(duì)紋理進(jìn)行重新對(duì)齊，就好像它在平坦表面上。技術(shù)使系統(tǒng)能夠更準(zhǔn)確地對(duì)物體進(jìn)行重新處理。例如，如果用戶舉起帶有打印文本的雜志，則對(duì)于用戶朝向捕捉設(shè)備舉起雜志的定向沒有限制。捕捉設(shè)備可以重新投射雜志表面的所捕捉的紋理，并且重新投影該紋理，包括顏色信息、文本以及任何紋理。對(duì)于被標(biāo)記并具有其所涵蓋的計(jì)算的參數(shù)組的物體，系統(tǒng)可以出于提高的保真度、機(jī)構(gòu)和結(jié)構(gòu)的目的，對(duì)虛擬場(chǎng)景執(zhí)行或繼續(xù)執(zhí)行分析。例如，最適合邊界框可以是區(qū)分特定物體的更準(zhǔn)確的方式。最適合邊界框可在特定幀中給出物體的定向。例如，其頂部帶有咖啡杯的箱子最初可被賦予一個(gè)邊界框，該邊界框包括箱子的點(diǎn)云和表示該咖啡杯的點(diǎn)云二者。在每幀中，系統(tǒng)可以評(píng)估物體在空間上位于與最后一幀中相同的位置，并且確定定向是否相似?？Х缺梢灾饚匾苿?dòng)，而系統(tǒng)可以標(biāo)識(shí)出杯子與箱子是分開的，并因此為杯子生成新的邊界框并為紙板箱重新定義邊界框。有時(shí)由于房間中無關(guān)緊要的粒子或物體，或者基于所使用的傳感器的類型，噪聲被引入到系統(tǒng)中。例如，云中的一組點(diǎn)可以表示蒼蠅的點(diǎn)云，或者所使用的傳感器的類型可能導(dǎo)致過量的無關(guān)點(diǎn)。為了減少噪聲，可以執(zhí)行清潔階段以對(duì)傳感器數(shù)據(jù)進(jìn)行清潔或者移除非常小的物體和僅具有少量組成點(diǎn)樣本的物體。例如，可以捕捉場(chǎng)景中的灰塵粒子或蒼蠅，但是表示蒼蠅的少量組成點(diǎn)樣本可能不足夠重要以觸發(fā)與該點(diǎn)云相關(guān)聯(lián)的表面法線的身份。由此，可以從分析中提取表示蒼蠅的少量的組成點(diǎn)樣本。點(diǎn)云數(shù)據(jù)的初始輪可一起使用物體中的在空間上與給出大型物體陣列有關(guān)的多個(gè)點(diǎn)。例如，點(diǎn)的大型集合可能是長椅并使用特定ID來標(biāo)記；另一個(gè)物體可能是地板。特定閾值可被設(shè)置為標(biāo)識(shí)應(yīng)從分析移除的點(diǎn)集。例如，如果僅有20個(gè)點(diǎn)被標(biāo)識(shí)用于一個(gè)物體，并且與物理空間或場(chǎng)景中的其他物體相比這20個(gè)點(diǎn)的空間安排位于相對(duì)小的區(qū)域，則系統(tǒng)可以消除這20個(gè)點(diǎn)。軸對(duì)齊的邊界框可用作對(duì)物體所占據(jù)的全部體積/空間的快速測(cè)量。軸對(duì)齊是指諸如X、Y或Z等特殊軸，而不是空間中的物體的軸。例如，系統(tǒng)可以計(jì)算表面是復(fù)雜的還是簡(jiǎn)單的(例如，球或雜志具有簡(jiǎn)單的表面；玩偶或植物具有復(fù)雜的表面)。物體的旋轉(zhuǎn)對(duì)于系統(tǒng)分析并確定物體的更精細(xì)的特性可能是有用的。捕捉設(shè)備可以執(zhí)行物體的固體掃描以便體積估計(jì)。捕捉設(shè)備還可提供點(diǎn)云與場(chǎng)景中物體之間的引用，使得參考物理空間可以標(biāo)識(shí)物體的特定位置。對(duì)物體屬性的計(jì)算和隨著時(shí)間對(duì)這些變化的跟蹤建立了用于跟蹤物體的可靠的技術(shù)，該物體的位置和定向?qū)崟r(shí)地在各幀之間變化。在捕捉更多幀時(shí)，使用臨時(shí)信息以捕捉變化可以對(duì)場(chǎng)景中的物體的解析、標(biāo)識(shí)、和標(biāo)記賦予進(jìn)一步的置信度。由于普通數(shù)據(jù)集的大小，諸如640x480點(diǎn)，使用所公開的技術(shù)甚至可以實(shí)現(xiàn)復(fù)雜的處理。可在幀序列中以至少20 赫茲的頻率捕捉數(shù)據(jù)?？蓪⑽矬w參數(shù)與前一幀的參數(shù)進(jìn)行比較，并且物體可被重新標(biāo)記以允許移動(dòng)物體以便被實(shí)時(shí)地跟蹤，而還維持從靜態(tài)物體的持續(xù)地標(biāo)記?？梢詾槊總€(gè)物體計(jì)算置信度，并且置信度因子可以隨時(shí)間而增加。由此，在物體的置信度可能保持為高時(shí)，靜態(tài)物體可由于遮擋而移入和移出視野。臨時(shí)分析可包括對(duì)上一幀和當(dāng)前幀的評(píng)估。如果物體在每幀中是相同的，則可以使用它在前一幀中的標(biāo)簽來重新標(biāo)記該物體，以便逐幀地向標(biāo)簽和物體賦予一致性。物體以及表面定向和位置可用于估計(jì)深度相機(jī)的定向以及收集與相機(jī)周圍相關(guān)的統(tǒng)計(jì)數(shù)據(jù)。例如，在很多情形中，主要平坦表面的位置將等于墻和地板。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，且這些具體實(shí)施例或示例不被認(rèn)為是限制性的。本文中所述的具體例程或方法可表示任意數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示順序執(zhí)行、按其他順序執(zhí)行、并行地執(zhí)行等等。同樣，可改變上述過程的次序。此外，盡管已經(jīng)結(jié)合某些方面按各附圖所示描述了本發(fā)明，但要理解，可使用其它相似方面或者可對(duì)所述方面進(jìn)行修改或添加來執(zhí)行本發(fā)明的相同功能而不脫離本發(fā)明。本公開的主題包括各種過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合和子組合、和此處所公開的其它特征、功能、動(dòng)作、和/或?qū)傩?、以及其任何和全部等效物。由此，所公開的各實(shí)施例的方法和裝置或其某些方面或部分可采用包含在諸如軟盤、CD-ROM、硬盤驅(qū)動(dòng)器或任何其他機(jī)器可讀存儲(chǔ)介質(zhì)等有形介質(zhì)中的程序代碼(即，指令)的形式。當(dāng)程序代碼被加載到諸如計(jì)算機(jī)等機(jī)器并由其執(zhí)行時(shí)，該機(jī)器變?yōu)楸慌渲贸蓪?shí)施所公開的各實(shí)施例的裝置。除了此處明確闡述的具體實(shí)現(xiàn)之外，考慮此處所公開的說明書，其它方面和實(shí)現(xiàn)將對(duì)本領(lǐng)域的技術(shù)人員是顯而易見的。因此，本發(fā)明不應(yīng)該僅限于任何單個(gè)方面，而是應(yīng)該在根據(jù)所附權(quán)利要求書的廣度和范圍內(nèi)解釋。例如，本文描述的各種過程可用硬件或軟件、 或兩者的組合來實(shí)現(xiàn)。
權(quán)利要求
1.一種用于生成目標(biāo)的視覺表示的方法，所述方法包括接收?qǐng)鼍暗臄?shù)據(jù)，其中所述數(shù)據(jù)包括表示物理空間中的目標(biāo)的數(shù)據(jù)(802)；從所述數(shù)據(jù)檢測(cè)至少一個(gè)目標(biāo)特征(806)；將至少一個(gè)所檢測(cè)到的目標(biāo)特征與視覺表示特征選項(xiàng)進(jìn)行比較(806)，其中所述視覺表示特征選項(xiàng)包括被配置為應(yīng)用到所述目標(biāo)的視覺表示的可選擇的選項(xiàng)；從所述視覺表示特征選項(xiàng)選擇視覺表示特征(810)；將所述視覺表示特征應(yīng)用于所述目標(biāo)的所述視覺表示(816)；以及呈現(xiàn)所述視覺表示。
2.如權(quán)利要求1所述的方法，其特征在于，從所述至少一個(gè)所檢測(cè)到的特征與所述視覺表示特征選項(xiàng)的比較中自動(dòng)生成所述視覺表示，使得對(duì)所述視覺表示特征的選擇是在沒有用戶(18、602)的手動(dòng)選擇的情況下執(zhí)行的。
3.如權(quán)利要求1所述的方法，其特征在于，選擇所述視覺表示特征包括選擇與所述至少一個(gè)所檢測(cè)到的目標(biāo)特征相似的視覺表示特征(810)。
4.如權(quán)利要求1所述的方法，其特征在于，所述視覺表示特征是面部特征、身體部位、 顏色、大小、高度、寬度、形狀、飾品、或服裝項(xiàng)中的至少一個(gè)。
5.如權(quán)利要求1所述的方法，其特征在于，還包括從所述視覺表示特征選項(xiàng)為所述視覺表示特征(810)生成視覺表示特征選項(xiàng)的子集 (702)；以及提供所生成的特征選項(xiàng)的子集以供用戶(18、60幻選擇要應(yīng)用于所述視覺表示(810) 的視覺表示特征。
6.如權(quán)利要求5所述的方法，其特征在于，所生成的視覺表示特征選項(xiàng)的子集包括選擇與所述至少一個(gè)所檢測(cè)到的目標(biāo)特征相似的多個(gè)視覺表示特征選項(xiàng)。
7.如權(quán)利要求5所述的方法，其特征在于，還包括接收用戶(18、602)從所生成的特征選項(xiàng)的子集中對(duì)所述視覺表示特征的選擇(812)，其中從所述視覺表示特征選項(xiàng)中選擇所述視覺表示特征包括選擇與所述用戶(18、60幻選擇相對(duì)應(yīng)的視覺表示特征。
8.如權(quán)利要求1所述的方法，其特征在于，實(shí)時(shí)地呈現(xiàn)具有所述視覺表示特征的所述視覺表示。
9.如權(quán)利要求1所述的方法，其特征在于，還包括監(jiān)視所述目標(biāo)，并且檢測(cè)所述至少一個(gè)所檢測(cè)到的目標(biāo)特征中的變化(818)；基于所述至少一個(gè)所檢測(cè)到的目標(biāo)特征中的變化，通過更新被應(yīng)用于所述視覺表示的所述視覺表示特征，實(shí)時(shí)地更新所述目標(biāo)的所述視覺表示(816)。
10.如權(quán)利要求1所述的方法，其特征在于，還包括在所述目標(biāo)是人類目標(biāo)的情況下， 檢測(cè)用戶(18、602)的眼睛、嘴、鼻子或眉毛中至少一個(gè)的位置，并且使用所述位置來將對(duì)應(yīng)的視覺表示特征與所述視覺表示對(duì)齊(816)。
11.如權(quán)利要求1所述的方法，其特征在于，還包括基于提供所需修改的設(shè)置，修改所選擇的視覺表示特征(816)。
12.如權(quán)利要求11所述的方法，其特征在于，所述修改是基于計(jì)算尺的，所述計(jì)算尺可為所述視覺表示特征提供不同級(jí)別的修改。
13.一種設(shè)備，所述設(shè)備包括捕捉設(shè)備(20)，所述捕捉設(shè)備00)用于接收?qǐng)鼍暗臄?shù)據(jù)，其中所述數(shù)據(jù)包括表示物理空間中的目標(biāo)的數(shù)據(jù)；以及處理器(32)，所述處理器(3 用于執(zhí)行計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令包括用于以下操作的指令從所述數(shù)據(jù)檢測(cè)至少一個(gè)目標(biāo)特征(806)；將至少一個(gè)所檢測(cè)到的目標(biāo)特征與視覺表示特征選項(xiàng)進(jìn)行比較(806)，其中所述視覺表示特征選項(xiàng)包括被配置為應(yīng)用到視覺表示的可選擇的選項(xiàng)；從所述視覺表示特征選項(xiàng)中選擇視覺表示特征(810)；將所述視覺表示特征應(yīng)用于所述目標(biāo)的所述視覺表示(816)。
14.如權(quán)利要求13所述的設(shè)備，其特征在于，還包括用于實(shí)時(shí)地呈現(xiàn)所述視覺表示的顯示設(shè)備(19 (816)，其中所述處理器(3 從所述至少一個(gè)所檢測(cè)到的特征與所述視覺表示特征選項(xiàng)的比較中自動(dòng)生成所述視覺表示，使得對(duì)所述視覺表示特征的選擇是在沒有用戶(18、602)的手動(dòng)選擇的情況下執(zhí)行的。
15.如權(quán)利要求13所述的設(shè)備，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令還包括用于以下操作的指令從所述視覺表示特征選項(xiàng)為所述視覺表示特征(810)生成視覺表示特征選項(xiàng)的子集 (702)；以及在顯示設(shè)備上提供所生成的特征選項(xiàng)的子集，以供用戶(18、60幻選擇要應(yīng)用于所述視覺表示(810)的視覺表示特征。
全文摘要
自動(dòng)生成目標(biāo)的視覺表示的技術(shù)可以減少或消除生成目標(biāo)的視覺表示所需要的手動(dòng)輸入。例如，具有捕捉設(shè)備的系統(tǒng)可在物理空間中檢測(cè)用戶的各個(gè)特征，并且基于所檢測(cè)到的特征從視覺表示特征選項(xiàng)庫中作出特征選擇。系統(tǒng)可以基于所檢測(cè)到的特征自動(dòng)地將選擇應(yīng)用于用戶的視覺表示?；蛘?，系統(tǒng)可以作出選擇，該選擇縮減了用戶從中選擇特征的選項(xiàng)的數(shù)量。系統(tǒng)可以實(shí)時(shí)地將選擇應(yīng)用于用戶，以及實(shí)時(shí)地對(duì)所選擇的和被應(yīng)用到目標(biāo)的視覺表示的特征進(jìn)行更新。
文檔編號(hào)A63F13/00GK102470274SQ201080033128
公開日2012年5月23日 申請(qǐng)日期2010年7月27日 優(yōu)先權(quán)日2009年7月29日
發(fā)明者A·基普曼, A·威爾遜, K·S·佩雷茲, N·D·伯頓 申請(qǐng)人:微軟公司