專(zhuān)利名稱(chēng)：用于在主要尺寸的數(shù)據(jù)空間中導(dǎo)航的控制系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及計(jì)算機(jī)系統(tǒng)領(lǐng)域，以及尤其涉及這樣的系統(tǒng)和方法該系統(tǒng)和方法使得能夠進(jìn)行人類(lèi)操作員的手的線性空間移動(dòng)或執(zhí)行類(lèi)似空間的活動(dòng)，以控制在圖形或其它數(shù)據(jù)表示空間中的線性接近(verging)或移動(dòng)(trucking)運(yùn)動(dòng)。
背景技術(shù)：
用戶使用諸如鼠標(biāo)、鍵盤(pán)、游戲桿、十字鍵等，通過(guò)操縱窗口中或顯示器上的數(shù)據(jù)或圖像，或通過(guò)從與窗口或關(guān)聯(lián)程序相關(guān)聯(lián)的菜單中選擇操作，可以輸入命令并且與計(jì)算機(jī)系統(tǒng)交互。這樣的輸入設(shè)備還可用作位置轉(zhuǎn)換設(shè)備，該位置轉(zhuǎn)換設(shè)備能用于定位圖形的屏幕上指針，例如光標(biāo)。例如，光標(biāo)用于指示要被修改的字符，或用于指示要輸入數(shù)據(jù)或要執(zhí)行操作的位置。光標(biāo)通常以某種形式或外表呈現(xiàn)在計(jì)算機(jī)顯示器上。使用者操縱輸入設(shè)備將導(dǎo)致光標(biāo)的相應(yīng)移動(dòng)。因此，例如，鼠標(biāo)或其它輸入設(shè)備的移動(dòng)導(dǎo)致光標(biāo)在同一方向上的移動(dòng)。但是，這些傳統(tǒng)的輸入設(shè)備經(jīng)常只是設(shè)備。用戶需要具有有線的或無(wú)線的鼠標(biāo)或其它輸入設(shè)備，并且使用該設(shè)備來(lái)管理選擇、位置轉(zhuǎn)換、激活、和其它輸入功能。這些物理設(shè)備的使用經(jīng)常不自然或不直觀。另一缺點(diǎn)是需要進(jìn)行某些操作以改變輸入設(shè)備的上下文， 以便可執(zhí)行不同的功能。參考合并本說(shuō)明書(shū)中提及的每個(gè)專(zhuān)利、專(zhuān)利申請(qǐng)、和/或公開(kāi)通過(guò)參考整體上合并于此，以達(dá)到就好像具體地和個(gè)別地指示要通過(guò)參考而合并的每個(gè)單獨(dú)的專(zhuān)利、專(zhuān)利申請(qǐng)、和/或公開(kāi)的程度。


圖1是根據(jù)實(shí)施例的姿勢(shì)(gesture)控制系統(tǒng)的方框圖。圖2是根據(jù)實(shí)施例的用于使用姿勢(shì)控制系統(tǒng)在數(shù)據(jù)空間中導(dǎo)航(navigate)的流程圖。圖3是根據(jù)實(shí)施例的在顯示器上呈現(xiàn)的示例數(shù)據(jù)幀。
圖4示出根據(jù)實(shí)施例的一側(cè)推回(one-sided pushback)的情景，其中，身體 (body)是處于打開(kāi)位置的操作員的手，手掌面朝向前的方向(沿ζ軸)(例如，朝向在操作員前面的顯示屏)。圖5 (全體圖5a、圖5b、圖5c和圖5d)是根據(jù)實(shí)施例的指示在直到死區(qū)臨界 (threshold)點(diǎn)的死區(qū)(dead zone)中的身體推回姿勢(shì)的圖示符(glyph)的示例。圖6(全體圖6a、圖6b、圖6c和圖6d)是根據(jù)實(shí)施例的指示在超過(guò)死區(qū)臨界 (threshold)點(diǎn)(沿著ζ軸朝向顯示器并離開(kāi)操作員)的死區(qū)(dead zone)中的身體推回姿勢(shì)的圖示符(glyph)的示例。圖7是根據(jù)實(shí)施例的由相應(yīng)的推回引起的數(shù)據(jù)幀的第一相對(duì)ζ軸位移 (displacement)的不例。圖8是根據(jù)實(shí)施例的由相應(yīng)的推回引起的數(shù)據(jù)幀的第二相對(duì)ζ軸位移 (displacement)的不例。圖9是根據(jù)實(shí)施例的由身體的側(cè)向(lateral)運(yùn)動(dòng)引起的數(shù)據(jù)幀的側(cè)向χ軸位移的示例。圖10示出根據(jù)實(shí)施例的示例物理情景，其中，將身體水平保持在類(lèi)似平板的顯示表面之上。圖11是根據(jù)實(shí)施例的當(dāng)使推回系統(tǒng)參與進(jìn)來(lái)時(shí)以差別可見(jiàn)度逐漸增強(qiáng)的與當(dāng)前層(例如當(dāng)前數(shù)據(jù)幀)鄰近的層(例如數(shù)據(jù)幀)的示例。圖12是根據(jù)實(shí)施例的堆棧(stack)的向上平移的示例，其中，當(dāng)與當(dāng)前之前的層鄰近的層變得與當(dāng)前之前的層一樣可見(jiàn)時(shí)，當(dāng)前之前的層(例如，當(dāng)前之前的數(shù)據(jù)幀)呈現(xiàn)更大的透明度(在該示例中變得不可見(jiàn))。圖13是根據(jù)實(shí)施例的標(biāo)記標(biāo)簽的圖。圖14是根據(jù)實(shí)施例的在姿勢(shì)詞匯中的姿勢(shì)的圖。圖15是根據(jù)實(shí)施例的在姿勢(shì)詞匯中的取向的圖。圖16是根據(jù)實(shí)施例的在姿勢(shì)詞匯中的兩只手組合的圖。圖17是根據(jù)實(shí)施例的在姿勢(shì)詞匯中的取向混合(blend)的圖。圖18是根據(jù)實(shí)施例的系統(tǒng)操作的流程圖。圖19 (全體圖19/1和圖19/2)是根據(jù)實(shí)施例的命令的示例。圖20是根據(jù)實(shí)施例的用于在(over)擴(kuò)展的景深上提取三維信息的基于姿勢(shì)的控制系統(tǒng)的方框圖。圖21是根據(jù)實(shí)施例的在基于姿勢(shì)的控制系統(tǒng)中使用的波前(wavefront)編碼成像系統(tǒng)的方框圖。圖22是根據(jù)實(shí)施例的用于使用包括兩臺(tái)波前編碼攝像機(jī)的波前編碼成像系統(tǒng)來(lái)在擴(kuò)展的景深上提取三維信息的基于姿勢(shì)的控制系統(tǒng)的方框圖。圖23是根據(jù)實(shí)施例的用于在擴(kuò)展的景深上提取三維信息的基于姿勢(shì)的控制系統(tǒng)的流程圖。圖24是根據(jù)實(shí)施例的在基于姿勢(shì)的控制系統(tǒng)中使用的波前編碼設(shè)計(jì)過(guò)程的方框圖。圖25是根據(jù)實(shí)施例的包括使用色拉(slaw)、蛋白質(zhì)(protein)和池(pool)的數(shù)據(jù)表示的處理環(huán)境的方框圖。圖26是根據(jù)實(shí)施例的蛋白質(zhì)的方框圖。圖27是根據(jù)實(shí)施例的記述的方框圖。圖28是根據(jù)實(shí)施例的攝取(ingest)的方框圖。圖29是根據(jù)實(shí)施例的色拉的方框圖。圖30A是根據(jù)實(shí)施例的在池中的蛋白質(zhì)的方框圖。圖30B(全體圖30B/1和圖30B/2)示出根據(jù)實(shí)施例的色拉頭格式。圖30C是根據(jù)實(shí)施例的用于使用蛋白質(zhì)的流程圖。圖30D是根據(jù)實(shí)施例的用于構(gòu)建或生成蛋白質(zhì)的流程圖。圖31是根據(jù)實(shí)施例的包括使用色拉(slaw)、蛋白質(zhì)(protein)和池(pool)的數(shù)據(jù)交換的處理環(huán)境的方框圖。圖32是根據(jù)實(shí)施例的包括多個(gè)設(shè)備和在設(shè)備中的一個(gè)或更多個(gè)上運(yùn)行的多個(gè)程序的處理環(huán)境的方框圖，其中，原生質(zhì)(plasma)構(gòu)造(即池、蛋白質(zhì)和色拉)用于允許多個(gè)運(yùn)行程序共享和共同地響應(yīng)設(shè)備生成的事件。圖33是根據(jù)替換實(shí)施例的包括多個(gè)設(shè)備和在設(shè)備中的一個(gè)或更多個(gè)上運(yùn)行的多個(gè)程序的處理環(huán)境的方框圖，其中，原生質(zhì)(plasma)構(gòu)造(即池、蛋白質(zhì)和色拉)用于允許多個(gè)運(yùn)行程序共享和共同地響應(yīng)設(shè)備生成的事件。圖34是根據(jù)另一替換實(shí)施例的包括多個(gè)輸入設(shè)備和(coupled among)在設(shè)備中的一個(gè)或更多個(gè)上運(yùn)行的多個(gè)程序的處理環(huán)境的方框圖，其中，原生質(zhì)(plasma)構(gòu)造(即池、蛋白質(zhì)和色拉)用于允許多個(gè)運(yùn)行程序共享和共同地響應(yīng)輸入設(shè)備生成的事件。圖35是根據(jù)另一實(shí)施例的包括多個(gè)設(shè)備和(coupled among)在設(shè)備中的一個(gè)或更多個(gè)上運(yùn)行的多個(gè)程序的處理環(huán)境的方框圖，其中，原生質(zhì)(plasma)構(gòu)造(即池、蛋白質(zhì)和色拉)用于允許多個(gè)運(yùn)行程序共享和共同地響應(yīng)設(shè)備生成的圖像事件。圖36是根據(jù)另一實(shí)施例的包括多個(gè)設(shè)備和(coupled among)在設(shè)備中的一個(gè)或更多個(gè)上運(yùn)行的多個(gè)程序的處理環(huán)境的方框圖，其中，原生質(zhì)(plasma)構(gòu)造(即池、蛋白質(zhì)和色拉)用于允許運(yùn)行程序的狀態(tài)(stateful)檢查、可視化、和調(diào)試。圖37是根據(jù)另外的替換實(shí)施例的包括多個(gè)設(shè)備和(coupled among)在設(shè)備中的一個(gè)或更多個(gè)上運(yùn)行的多個(gè)程序的處理環(huán)境的方框圖，其中，原生質(zhì)(plasma)構(gòu)造(即池、 蛋白質(zhì)和色拉)用于允許影響或控制在那個(gè)處理池中生成或放置的狀態(tài)信息的特性。
具體實(shí)施例方式描述了用于空間操作環(huán)境(SOE)的系統(tǒng)和方法。包括基于姿勢(shì)的控制系統(tǒng)的SOE 也被稱(chēng)為空間用戶界面(SUI)或空間界面(Si)。描述了用于在SOE的數(shù)據(jù)空間中導(dǎo)航的系統(tǒng)和方法。導(dǎo)航包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)。姿勢(shì)數(shù)據(jù)是身體在時(shí)間點(diǎn)和物理空間點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)。檢測(cè)包括使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)。導(dǎo)航包括將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，以及響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航。數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。在以下描述中，為了提供對(duì)SOE的更深入的理解，詳細(xì)描述了多個(gè)特征。能夠看出的是，無(wú)需這些特定的細(xì)節(jié)也可以實(shí)現(xiàn)S0E。在其它情況下，沒(méi)有詳細(xì)描述公知的特征。
空間操作環(huán)境(SOE)圖1是根據(jù)實(shí)施例的SOE的方框圖。用戶將手101和102設(shè)置在攝像機(jī)104A-104D 的陣列的觀察區(qū)域中。攝像機(jī)檢測(cè)手指和手101、102的位置、取向和移動(dòng)，以及生成到預(yù)處理器105的輸出信息。預(yù)處理器105將攝像機(jī)輸出轉(zhuǎn)換成被提供到系統(tǒng)的計(jì)算機(jī)處理單元 107的姿勢(shì)信號(hào)。計(jì)算機(jī)107使用輸入信息來(lái)生成用于控制一個(gè)或更多個(gè)屏幕上光標(biāo)的命令，以及將視頻輸出提供到顯示器103。盡管示出系統(tǒng)具有作為輸入的單個(gè)用戶的手，但是可使用多個(gè)用戶來(lái)實(shí)現(xiàn)SOE 100。另外，排除手或加上手，系統(tǒng)可追蹤用戶身體的任意部位或多個(gè)部位，包括頭、腳、腿、 手臂、肘、膝蓋等。在示出的實(shí)施例中，使用四臺(tái)攝像機(jī)來(lái)檢測(cè)用戶的手101、102的位置、取向、和移動(dòng)。應(yīng)該理解的是，在不偏離SOE的范圍或精神的情況下，SOE 100也可包括更多的攝像機(jī) (例如，六臺(tái)攝像機(jī)、八臺(tái)攝像機(jī)等)或更少的攝像機(jī)(例如，兩臺(tái)攝像機(jī))或傳感器。另外， 盡管在示例實(shí)施例中對(duì)稱(chēng)地布置攝像機(jī)或傳感器，但是在SOE 100中沒(méi)有對(duì)這種對(duì)稱(chēng)的要求。在SOE 100中可使用允許用戶的手的位置、取向、和移動(dòng)的任何數(shù)量或定位的攝像機(jī)或傳感器。在一個(gè)實(shí)施例中，使用的攝像機(jī)是能夠捕獲灰度級(jí)圖像的運(yùn)動(dòng)捕獲攝像機(jī)。在一個(gè)實(shí)施例中，使用的攝像機(jī)是Vicon制造的那些攝像機(jī)，例如Vicon MX40攝像機(jī)。該攝像機(jī)包括攝像機(jī)上的處理，以及能夠以每秒1000幀來(lái)捕獲圖像。運(yùn)動(dòng)捕獲攝像機(jī)能夠檢測(cè)和定位標(biāo)記器。實(shí)施例的SOE中的攝像機(jī)或傳感器可采取各種形式。實(shí)施例使用耦合在一起的兩個(gè)或更多個(gè)小攝像機(jī)來(lái)形成立體視覺(jué)系統(tǒng)。該立體系統(tǒng)最少生成在其觀察區(qū)域內(nèi)的對(duì)象的三維數(shù)據(jù)點(diǎn)群(cloud)。數(shù)據(jù)集中的點(diǎn)的解析深度(cbpth)準(zhǔn)確度根據(jù)包括離攝像機(jī)基線的距離在內(nèi)的多個(gè)因素而不同，但是該準(zhǔn)確度為大約1mm。給定由立體傳感器集生成的點(diǎn)群，SOE的部件提取手和/或手指位置，反過(guò)來(lái)從手和/或手指位置可恢復(fù)量化的手姿勢(shì)和連續(xù)的手和手指取向向量。除了初始輸入是未組織的點(diǎn)群而不是聚集標(biāo)簽(aggregate-tagged)的數(shù)據(jù)之外，用于該恢復(fù)的方法實(shí)質(zhì)上類(lèi)似于以下描述的方法。將手和手指表示提供給實(shí)現(xiàn)系統(tǒng)交互模式的機(jī)制。實(shí)施例使用多個(gè)立體耦合攝像機(jī)集合，或者使用修改的處理像素的相關(guān)性算法以操作多于一個(gè)的攝像機(jī)。增加攝像機(jī)的數(shù)量能夠例如擴(kuò)展觀察區(qū)域，減少由手的部分的遮擋引起的困難，和/或增大點(diǎn)群數(shù)據(jù)的準(zhǔn)確度。在描述的實(shí)施例中，攝像機(jī)是用于光檢測(cè)的傳感器。在其它實(shí)施例中，攝像機(jī)或其它檢測(cè)器可用于電磁檢測(cè)、靜磁檢測(cè)、RFID檢測(cè)或任何其它適合類(lèi)型的檢測(cè)。預(yù)處理器105生成三維空間點(diǎn)重構(gòu)和骨骼點(diǎn)標(biāo)記。姿勢(shì)轉(zhuǎn)換器106將空間信息和標(biāo)記器運(yùn)動(dòng)信息轉(zhuǎn)換成能被計(jì)算機(jī)處理器解釋的命令語(yǔ)言，以更新顯示器上光標(biāo)的位置、 形狀和動(dòng)作。在SOE 100的替換實(shí)施例中，將預(yù)處理器105和姿勢(shì)轉(zhuǎn)換器106集成或組合成單個(gè)設(shè)備。計(jì)算機(jī)107可以是例如由Apple、Dell、或其它適合的制造商制造的任何通用目的的計(jì)算機(jī)。計(jì)算機(jī)107運(yùn)行應(yīng)用并提供顯示輸出。要不然來(lái)自于鼠標(biāo)或其它現(xiàn)有的輸入設(shè)備的光標(biāo)信息現(xiàn)在來(lái)自于姿勢(shì)系統(tǒng)。
在數(shù)據(jù)空間中導(dǎo)航實(shí)施例的SOE使得能夠進(jìn)行“推回”、進(jìn)行人類(lèi)操作員的手的線性空間移動(dòng)、或執(zhí)行類(lèi)似空間的活動(dòng)，以控制在圖形或其它數(shù)據(jù)表示空間中的線性接近或移動(dòng)運(yùn)動(dòng)。SOE及由其建立的計(jì)算和認(rèn)知關(guān)聯(lián)提供了在縮放等級(jí)中導(dǎo)航的基礎(chǔ)的、組織化的方式，以遍歷大體上線性的“深度維”，或更一般地，以訪問(wèn)量化的或“限位的(detented) ”參數(shù)空間。SOE還提供了操作員可自愿地獲取附加的上下文的有效方法用于了解是空間的、概念上的、還是計(jì)算的鄰近和鄰接的快速技術(shù)。在某些實(shí)施例中，推回技術(shù)可采用傳統(tǒng)的輸入設(shè)備(例如，鼠標(biāo)、軌跡球、集成的滾動(dòng)條和滑塊)或依靠操作員本人外部的被標(biāo)記的或被追蹤的對(duì)象(例如，儀表運(yùn)動(dòng)關(guān)聯(lián)、 靜磁追蹤的“輸入磚塊(input brick)”)。在其它替換實(shí)施例中，推回實(shí)現(xiàn)可足夠作為整個(gè)控制系統(tǒng)。實(shí)施例的SOE是更大的空間交互系統(tǒng)的一部分或集成到更大的空間交互系統(tǒng)中，其中，更大的空間交互系統(tǒng)取代慣常的基于鼠標(biāo)的用于控制計(jì)算機(jī)的圖形用戶界面 ("WIMP"UI)方法，該更大的空間交互系統(tǒng)替代地包括(a)追蹤一種或更多種對(duì)象(例如， 人手、在人手上的物體、無(wú)生命物體等)的物理傳感器；(b)用于將感測(cè)到的手的展開(kāi)位置、 取向和姿勢(shì)解析成姿勢(shì)事件序列的裝置；(c)用于表示這種空間和姿勢(shì)事件的描述方案； (d)用于將這種姿勢(shì)事件分發(fā)給控制程序或分發(fā)到控制程序之內(nèi)的框架(framework) ； (e) 用于將通過(guò)姿勢(shì)事件流編碼的人類(lèi)意圖(命令)與事件流本身和應(yīng)用特定的事件解釋序列這兩者的圖形描述、聽(tīng)覺(jué)描述、和其它顯示形式的描述相同步，以下將詳細(xì)描述其全部。在這樣的實(shí)施例中，推回系統(tǒng)與附加的空間和姿勢(shì)輸入接口技術(shù)相集成。圖2是根據(jù)實(shí)施例的在數(shù)據(jù)空間中導(dǎo)航的流程圖。導(dǎo)航包括從經(jīng)由檢測(cè)器202接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)。姿勢(shì)數(shù)據(jù)是身體在時(shí)間點(diǎn)和物理空間點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)。檢測(cè)包括使用姿勢(shì)數(shù)據(jù)204來(lái)識(shí)別姿勢(shì)。導(dǎo)航包括將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)206，以及響應(yīng)于姿勢(shì)信號(hào)208在數(shù)據(jù)空間中導(dǎo)航。數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。如果實(shí)施例的整體的往返延遲(手的運(yùn)動(dòng)到傳感器、到推回解釋系統(tǒng)的姿勢(shì)分析、到呈現(xiàn)到顯示設(shè)備的計(jì)算機(jī)圖形、返回到操作員的視覺(jué)系統(tǒng))保持為低(例如，實(shí)施例呈現(xiàn)大約15毫秒的延遲)，以及當(dāng)正確地調(diào)整系統(tǒng)的其它參數(shù)時(shí)，推回交互的感知結(jié)果是物理因果關(guān)系的明顯感覺(jué)S0E使推壓彈簧支承(spring-loaded)結(jié)構(gòu)的物理諧振象征 (resonant metaphor)精確化(Iiteralize)。感知到的因果關(guān)系是非常有效的反饋。與推回系統(tǒng)提供的其它更抽象的圖形反饋形式以及有意抑制在解釋操作員移動(dòng)方面的某種程度上的自由一起，這種反饋反過(guò)來(lái)允許穩(wěn)定、可靠、和可重復(fù)地將人類(lèi)的大小肌肉活動(dòng)用作控制機(jī)制。在估計(jì)SOE的上下文時(shí)，很多數(shù)據(jù)集本質(zhì)上是空間的上述數(shù)據(jù)集表示在精確的 (literal)物理空間中的現(xiàn)象、事件、觀測(cè)或結(jié)構(gòu)。對(duì)于更抽象的其它數(shù)據(jù)集或?qū)_的甚至非空間的信息進(jìn)行編碼的其它數(shù)據(jù)集，經(jīng)常期望的是，準(zhǔn)備這樣的表示(視覺(jué)的、聽(tīng)覺(jué)的、或涉及其它顯示形式的)通過(guò)標(biāo)量值(scalar-valued)的參數(shù)來(lái)控制該表示的某個(gè)基礎(chǔ)方面。因而，將該參數(shù)與空間維相關(guān)聯(lián)經(jīng)常也是有益的。如以下所描述的，從借助于推回機(jī)制的操縱中獲益的是對(duì)該單個(gè)標(biāo)量參數(shù)的操縱。
表示還可將特權(quán)給予(privilege)數(shù)據(jù)集最優(yōu)考慮(regard)的表示參數(shù)的少量不連續(xù)值(實(shí)際上，有時(shí)僅一個(gè)值)。在這種情況下，論及“限位參數(shù)”是有用的，或者如果已將參數(shù)明確地映射到一維表示空間上，論及“限位參數(shù)”是有用的。本文中術(shù)語(yǔ)“限位”的使用旨在不僅描述參數(shù)的優(yōu)選量化，而且描述棘輪的視覺(jué)觸覺(jué)感覺(jué)、磁對(duì)準(zhǔn)機(jī)制、穿梭變速 (jog-shuttle)輪、和其它大量的具有有意的機(jī)械限位器的已有設(shè)備。這樣的參數(shù)的不證自明甚至至關(guān)重要的示例包括但不限于(1)合成攝像機(jī)在計(jì)算機(jī)圖形環(huán)境中離數(shù)據(jù)集的可呈現(xiàn)(renderable)表示的距離；(2)從原始數(shù)據(jù)集中采樣數(shù)據(jù)和將數(shù)據(jù)轉(zhuǎn)換成可呈現(xiàn)形式的密度；(3)從時(shí)變數(shù)據(jù)集中檢索樣本和將樣本轉(zhuǎn)換成可呈現(xiàn)表示的時(shí)間指數(shù)。這些是通用方法，還存在無(wú)數(shù)的特定于域的參數(shù)化。SOE的推回一般將數(shù)據(jù)集的參數(shù)控制軸與物理空間中的本地相關(guān)的“深度維”對(duì)準(zhǔn)，以及允許沿著深度維的結(jié)構(gòu)化的真實(shí)空間運(yùn)動(dòng)，以影響沿控制軸的數(shù)據(jù)空間轉(zhuǎn)換。結(jié)果是用于在參數(shù)空間中導(dǎo)航的非常高效的方法。下面是如SOE中所實(shí)現(xiàn)的推回的代表實(shí)施例的詳細(xì)描述。在推回實(shí)施例中，操作員站在大的墻顯示器之前的舒適距離處，在該墻顯示器上出現(xiàn)包括文本和圖像的單個(gè)“數(shù)據(jù)幀”，其中，圖像數(shù)據(jù)元素可以是靜態(tài)的或動(dòng)態(tài)的。圖3是根據(jù)實(shí)施例的在顯示器300上呈現(xiàn)的示例數(shù)據(jù)幀310。該實(shí)施例的數(shù)據(jù)幀310包括圖像， 但是不限于如此。本身是二維構(gòu)造的數(shù)據(jù)幀310仍然常駐在三維計(jì)算機(jī)圖形呈現(xiàn)環(huán)境中， 該三維計(jì)算機(jī)圖形呈現(xiàn)環(huán)境的基礎(chǔ)坐標(biāo)系統(tǒng)已被布置成與便于描述房間和包括顯示器300 及操作員的房間內(nèi)容的真實(shí)世界的坐標(biāo)系相一致。通過(guò)以高精確度和高的時(shí)間比率解析操作員的手指以及可能整個(gè)手的全體的位置和取向的傳感器來(lái)追蹤操作員的手。為了表征每只手的“姿勢(shì)”，即手指相對(duì)于彼此以及相對(duì)于手的全體的幾何布置，系統(tǒng)對(duì)結(jié)果空間數(shù)據(jù)進(jìn)行分析。雖然該示例實(shí)施例追蹤的目標(biāo)是人手，能夠追蹤作為替換實(shí)施例中的輸入設(shè)備的眾多的其它目標(biāo)。圖4示出根據(jù)實(shí)施例的一側(cè)推回的場(chǎng)景，其中，身體400是處于打開(kāi)位置的操作員的手，手掌面朝向前的方向 (沿ζ軸)(例如朝向在操作員之前的顯示屏)。為了該說(shuō)明的目的，使墻顯示器(未示出) 占據(jù)χ維和y維，ζ描述操作員與顯示器之間的維。與該推回實(shí)施例相關(guān)聯(lián)的姿勢(shì)交互空間410包括在持續(xù)的ζ平面上鄰近的兩個(gè)空間，將遠(yuǎn)離顯示器的限位間隔空間(即更接近于操作員)稱(chēng)作“死區(qū)”412，而更接近的半邊空間是“活動(dòng)區(qū)”414。死區(qū)412在向后的方向 (朝向操作員并遠(yuǎn)離顯示器)上無(wú)限延伸，但向前僅延伸有限的距離，結(jié)束于死區(qū)臨界413。 活動(dòng)區(qū)414從死區(qū)臨界413向前延伸到顯示器。身體在活動(dòng)區(qū)414中的移動(dòng)交互地控制或 “推回”402在顯示器上呈現(xiàn)的數(shù)據(jù)幀或多個(gè)數(shù)據(jù)幀。以與顯示器的尺寸和縱橫比精確匹配的尺寸和縱橫比來(lái)構(gòu)造數(shù)據(jù)幀，以及定位數(shù)據(jù)幀和確定數(shù)據(jù)幀的方向，以便數(shù)據(jù)幀的中央和標(biāo)準(zhǔn)向量與顯示器的那些物理屬性相一致，盡管實(shí)施例不限于如此。在從顯示器直接向前以及與操作員粗略相隔一段距離處放置用于呈現(xiàn)場(chǎng)景的虛擬攝像機(jī)。在該上下文中，呈現(xiàn)的幀因此精確地充滿顯示器。多個(gè)額外的共面的數(shù)據(jù)幀邏輯地布置在可見(jiàn)幀的左邊和右邊，間隔一致并且以最適中的間隙各自與其緊鄰的鄰居(參見(jiàn)以下描述的圖6、圖7和圖8)相分離。因?yàn)閭?cè)向放置的鄰近數(shù)據(jù)幀位于計(jì)算機(jī)圖形呈現(xiàn)幾何形狀的物理/虛擬呈現(xiàn)邊界之外，這些側(cè)向放置的鄰近數(shù)據(jù)幀不是初始可見(jiàn)的。如將看到的，數(shù)據(jù)空間(給定其幾何結(jié)構(gòu))擁有在ζ軸方向上的單個(gè)自然限位裝置以及多個(gè)x限位裝置。操作員將保持在第一松弛姿勢(shì)的手舉到肩部。然后，操作員張開(kāi)手指以便手指指向上方，以及張開(kāi)拇指以便拇指指向右邊。操作員的手掌面向屏幕(在以下詳細(xì)描述的姿勢(shì)描述語(yǔ)言中，該姿勢(shì)轉(zhuǎn)換將被表達(dá)為到111卜:χ )。檢測(cè)新姿勢(shì)的系統(tǒng)觸發(fā)推回交互，以及立即記錄首次輸入該姿勢(shì)的絕對(duì)三維空間的手的位置將該位置用作“原點(diǎn)”，隨后的手運(yùn)動(dòng)將被報(bào)告為離該“原點(diǎn)”的相對(duì)位移。立即，將兩個(gè)同中心的、部分透明的圖示符疊加在幀的中心上(因此位于顯示器的中心)。圖5是根據(jù)實(shí)施例的指示在直到死區(qū)臨界點(diǎn)的死區(qū)中的身體推回姿勢(shì)的圖示符 501/502的示例。第二圖示符502小于第一圖示符501 (參見(jiàn)圖5a)指示操作員的手位于死區(qū)，由此“還”未使推回操作參與進(jìn)來(lái)。當(dāng)操作員將手向前移動(dòng)時(shí)(向著死區(qū)臨界和顯示器)，第二圖示符502逐漸擴(kuò)大(依次參見(jiàn)圖5b、圖5c和圖5d)。在操作員的手位于死區(qū)臨界處的點(diǎn)處，第二圖示符502在尺寸上等同于第一圖示符501 (參見(jiàn)圖5d)。該實(shí)施例的圖示符501/502將圖示符的同中心元素的演進(jìn)示出為操作員的手從其開(kāi)始點(diǎn)向前朝著將死區(qū)與活動(dòng)區(qū)分離的死區(qū)臨界的移動(dòng)。當(dāng)手接近臨界時(shí)，圖示符502的內(nèi)部“露齒(toothy)，， 部分?jǐn)U大，以及這樣布置，以便當(dāng)手到達(dá)臨界位置時(shí)，內(nèi)部圖示符502和(靜態(tài))外部圖示符501精確匹配。當(dāng)操作員將手從死區(qū)移開(kāi)時(shí)，第二圖示符502在第一圖示符501內(nèi)部在尺寸上收縮，但總是與第一圖示符501保持同中心，以及保持在顯示器的中央(依次參見(jiàn)圖5d、 圖5c、圖5b和圖5a)。至關(guān)重要的，僅將操作員的手運(yùn)動(dòng)的ζ分量映射到圖示符的縮放 (scaling)，而伴隨手運(yùn)動(dòng)的χ分量和y分量沒(méi)有貢獻(xiàn)。當(dāng)操作員的手遍歷前面的死區(qū)臨界、越過(guò)而進(jìn)入活動(dòng)區(qū)時(shí)，使推回機(jī)制參與進(jìn)來(lái)。 手的相對(duì)ζ軸位置(從臨界測(cè)量的)執(zhí)行縮放函數(shù)，并且結(jié)果值用于實(shí)現(xiàn)數(shù)據(jù)幀及其側(cè)向鄰居的ζ軸位移，以便幀的呈現(xiàn)圖像被看見(jiàn)從顯示器后退。于是，鄰近數(shù)據(jù)幀也從顯示空間的邊緣“填充”而變得可見(jiàn)。當(dāng)幀位于的平面遠(yuǎn)離攝像機(jī)而移動(dòng)時(shí)，合成攝像機(jī)的連續(xù)角范圍(angular subtent)幾何地“捕獲”幀所位于的更多個(gè)平面。連續(xù)地更新ζ位移，以便當(dāng)操作員將手向著顯示器推和將手向著自己往回拉時(shí)，感知到直接響應(yīng)其運(yùn)動(dòng)而后退和接近的幀的側(cè)向集合。圖7是根據(jù)實(shí)施例的由相應(yīng)的推回引起的數(shù)據(jù)幀703的第一相對(duì)ζ軸位移 (displacement)的示例。如以上所描述的，數(shù)據(jù)幀703的呈現(xiàn)圖像被看見(jiàn)從顯示器700后退，以及鄰近數(shù)據(jù)幀702/704從顯示空間的邊緣“填充”而變得可見(jiàn)。將包括多個(gè)附加的共面數(shù)據(jù)幀的鄰近數(shù)據(jù)幀702/704邏輯地布置在可見(jiàn)幀的左邊和右邊，間隔一致并且以最適中的間隙各自與其緊鄰的鄰居相分離。圖8是根據(jù)實(shí)施例的由相應(yīng)的推回引起的數(shù)據(jù)幀 703的第二相對(duì)ζ軸位移的示例?？紤]第一相對(duì)ζ軸位移，并且假設(shè)從導(dǎo)致第一相對(duì)ζ軸位移的那個(gè)推起進(jìn)一步推操作員的手(沿ζ軸向顯示器及遠(yuǎn)離操作員進(jìn)一步推)，數(shù)據(jù)幀703 的呈現(xiàn)圖像被看見(jiàn)從顯示器700進(jìn)一步后退，以便額外的鄰近數(shù)據(jù)幀701/705從顯示空間的邊緣進(jìn)一步“填充”而變得可見(jiàn)。同時(shí)，成對(duì)的同中心圖示符現(xiàn)在呈現(xiàn)修改后的反饋在操作員的手在活動(dòng)區(qū)時(shí)，第二圖示符502從基于縮放的反作用切換到旋轉(zhuǎn)反作用，在旋轉(zhuǎn)反作用中，手到臨界的物理ζ 軸位移被映射到正的(在平面中)角度位移。圖6是根據(jù)實(shí)施例的指示在超過(guò)死區(qū)臨界點(diǎn)(沿ζ軸朝向顯示器和離開(kāi)操作員)的死區(qū)中的身體推回姿勢(shì)的圖示符501/502的示例。該實(shí)施例的圖示符501/502圖示了一旦操作員的手已越過(guò)了死區(qū)臨界時(shí)圖示符的演進(jìn)一即， 當(dāng)已主動(dòng)使推回機(jī)制參與進(jìn)來(lái)時(shí)。因此，第二圖示符502的順時(shí)針旋轉(zhuǎn)和逆時(shí)針旋轉(zhuǎn)可視地指示操作員的手向著顯示器的移動(dòng)和遠(yuǎn)離顯示器的移動(dòng)(同時(shí)，如以前一樣，第一圖示符提供靜態(tài)的參考狀態(tài))，使得圖示符的“露齒(toothy) ”元素520為手到臨界的位移的線性函數(shù)，從而將線性運(yùn)動(dòng)轉(zhuǎn)換成旋轉(zhuǎn)表示。所以，在該實(shí)施例中，第二圖示符502的遞增順時(shí)針旋轉(zhuǎn)510可視地指示手沿ζ軸向顯示器的移動(dòng)的附加第一遞增(同時(shí)，如以前一樣，第一圖示符提供靜態(tài)的參考狀態(tài))， 使得圖示符的“露齒(toothy) ”元素520旋轉(zhuǎn)與手到臨界的位移的線性函數(shù)相對(duì)應(yīng)的第一數(shù)量。第二圖示符502的遞增順時(shí)針旋轉(zhuǎn)512可視地指示手沿ζ軸向顯示器的移動(dòng)的附加第二遞增(同時(shí)，如以前一樣，第一圖示符提供靜態(tài)的參考狀態(tài))，使得圖示符的“露齒 (toothy)”元素520旋轉(zhuǎn)與手到臨界的位移的線性函數(shù)相對(duì)應(yīng)的第二數(shù)量。另外，第二圖示符502的遞增順時(shí)針旋轉(zhuǎn)514可視地指示手沿ζ軸向顯示器的移動(dòng)的第三遞增(同時(shí)，如以前一樣，第一圖示符提供靜態(tài)的參考狀態(tài))，使得圖示符的“露齒(toothy)，，元素520旋轉(zhuǎn)與手到臨界的位移的線性函數(shù)相對(duì)應(yīng)的第三數(shù)量。在該樣本應(yīng)用中，當(dāng)操作員的手在活動(dòng)區(qū)中時(shí)，使第二級(jí)維的靈敏度參與進(jìn)來(lái)再次通過(guò)可能的縮放函數(shù)，將手的側(cè)向(X軸)運(yùn)動(dòng)映射到水平幀序列的X位移。如果縮放函數(shù)是正的，則效果為以下之一操作員的手的位置“跟隨(following) ”，以及操作員感覺(jué)其正在左右滑動(dòng)幀。圖9是根據(jù)實(shí)施例的由身體的側(cè)向運(yùn)動(dòng)引起的數(shù)據(jù)幀的側(cè)向χ軸位移的示例。在該由側(cè)向身體運(yùn)動(dòng)引起的側(cè)向數(shù)據(jù)幀位移的示例中，數(shù)據(jù)幀從左向右滑動(dòng)，使得特定的數(shù)據(jù)幀701/702經(jīng)由顯示空間700的左邊緣從視圖中消失或部分消失，而另外的數(shù)據(jù)幀705從顯示空間700的右邊緣填充。最后，當(dāng)操作員使其手退出手掌向前的姿勢(shì)(例如，通過(guò)將手閉合成拳)，推回交互終止，以及將幀集合快速返回到其原始ζ限位裝置(即與顯示器共面)。同時(shí)，側(cè)向調(diào)整幀集合以實(shí)現(xiàn)單個(gè)幀與顯示器的X —致；結(jié)束因而顯示器居中的幀是在推回終止的一剎那離同中心的圖示符的中心最近的任何幀最近的X限位裝置。可見(jiàn)，這里將圖示符結(jié)構(gòu)用作選擇標(biāo)線(reticle)的第二功能，但是實(shí)施例不限于如此。為了提供“彈簧支承返回 (spring-loaded return) ”的可視感，通常允許幀集合的ζ位置和χ位置在短時(shí)間間隔內(nèi)前進(jìn)到其最終的與顯示器相一致(display-coincident)的值。該實(shí)施例中所采用的推回提供了以下有效的控制形式(1)通過(guò)沿直的視覺(jué)上的視線一深度維一可變地對(duì)聚集的數(shù)據(jù)集進(jìn)行位移來(lái)獲取認(rèn)知上有價(jià)值的“鄰近上下文 (neighborhood context) ”，從而使更多的數(shù)據(jù)集進(jìn)入視圖(為了換取使數(shù)據(jù)集的任意給定部分的角范圍(angular subtent)減小)；(2)以熟悉的“滾動(dòng)(scrolling) ”感，通過(guò)沿其自然的水平維對(duì)側(cè)向排列的數(shù)據(jù)集進(jìn)行位移來(lái)獲取鄰近上下文，從而保持?jǐn)?shù)據(jù)的任意給定部分的角范圍，但是用舊數(shù)據(jù)的可見(jiàn)性來(lái)?yè)Q取新數(shù)據(jù)的可見(jiàn)性；(3)通過(guò)快速且維約束的導(dǎo)航來(lái)選擇數(shù)據(jù)集的離散化的元素。在實(shí)施例的推回的另一示例中，操作員緊挨著腰部顯示設(shè)備而站，顯示設(shè)備的活動(dòng)表面位于與地面平行的水平平面內(nèi)。這里，以與之前示例的方式相同的方式來(lái)建立坐標(biāo)系統(tǒng)顯示表面位于X-Z平面，以便與物理重力矢量反向地對(duì)準(zhǔn)表示表面法線的y軸。
圖10示出根據(jù)實(shí)施例的示例物理情景，其中，將身體1000水平保持在類(lèi)似平板的顯示表面(未示出)之上。在該示例中，身體1000是操作員的手，但是本實(shí)施例不限于如此。推回交互是雙邊的，使得具有上側(cè)死區(qū)臨界1013U和下側(cè)死區(qū)臨界1013L。另外，用上側(cè)活動(dòng)區(qū)域1014U中的離散空間限位裝置1015U(例如，“第一限位裝置”、“第二限位裝置”、“第三限位裝置”、“第四限位裝置”)以及下側(cè)活動(dòng)區(qū)域1014L中的離散空間限位裝置 1015L(例如，“第一限位裝置”、“第二限位裝置”、“第三限位裝置”、“第四限位裝置”)提供了推回動(dòng)作訪問(wèn)的線性空間。配置實(shí)施例的交互空間，以便將包括上側(cè)死區(qū)1012U和下側(cè)死區(qū)1012L的相對(duì)小的死區(qū)居中在使推回參與進(jìn)來(lái)的垂直(y軸)位置處，同時(shí)使活動(dòng)區(qū)域 1014U在死區(qū)之上而活動(dòng)區(qū)域1014L在死區(qū)之下。操作員正與堆棧中已被解析到離散平行平面(參見(jiàn)以下描述的圖10)的示例數(shù)據(jù)集一起工作，其中，該離散平行平面為數(shù)據(jù)幀?？梢砸詳?shù)據(jù)幀表示的物理現(xiàn)實(shí)的自然結(jié)果 (例如，來(lái)自斷層掃描的離散切片，三維集成電路的多個(gè)層等)的方式來(lái)布置數(shù)據(jù)幀，或者因?yàn)榉蛛x數(shù)據(jù)或使數(shù)據(jù)離散化(例如，以多個(gè)光譜帶獲取的衛(wèi)星圖，地理地組織的在分層中具有每十年的數(shù)據(jù)的普查數(shù)據(jù)等)是邏輯的或提供消息的(information)。數(shù)據(jù)的可視表示還可以是靜態(tài)的或包括動(dòng)態(tài)元素。在未使推回功能性參與進(jìn)來(lái)期間，單個(gè)層被認(rèn)為是“當(dāng)前的”并且被顯示器以可視的突出來(lái)表示，以及被感知為與顯示器物理上相一致。在該示例中，當(dāng)前層之上和之下的層未可視地顯現(xiàn)(盡管使用緊湊的插圖來(lái)指示其存在)。操作員在顯示器上方展開(kāi)其閉合的右手；當(dāng)操作員打開(kāi)手時(shí)一手指向前伸展，拇指向左，并且手掌向下指(轉(zhuǎn)換到111卜:VX])—使推回系統(tǒng)參與進(jìn)來(lái)。在短暫的間隔(例如200毫秒)期間，鄰近當(dāng)前層的一些層以差別可見(jiàn)度逐漸增強(qiáng)；用模糊濾鏡和其“嚴(yán)重性(severity) ”取決于該層到當(dāng)前層的順序距離的透明度，在下面或在上面(below or above)合成每個(gè)層。圖11是根據(jù)實(shí)施例的當(dāng)使推回系統(tǒng)參與進(jìn)來(lái)時(shí)以差別可見(jiàn)度逐漸增強(qiáng)的與當(dāng)前層1101 (例如當(dāng)前數(shù)據(jù)幀1101)鄰近的層1102 (例如數(shù)據(jù)幀1102)的示例。在該示例中，堆棧包括能夠使用推回系統(tǒng)進(jìn)行遍歷的眾多數(shù)據(jù)幀1101-110X (其中，X是適合于數(shù)據(jù)幀的數(shù)據(jù)集的任意數(shù)量；在該示例中X為5，使得堆棧包括數(shù)據(jù)幀1101、1102、1103、1104和1105)。同時(shí)，出現(xiàn)從之前示例中已熟悉的同中心反饋圖示符；在這種情況下，配置交互， 使得小的死區(qū)居中在使推回參與進(jìn)來(lái)處的垂直(y軸)位置處，同時(shí)使活動(dòng)區(qū)域均在死區(qū)之上和在死區(qū)之下。該布置為“恢復(fù)(regain)”原始層提供了輔助。在這種情況下，圖示符伴隨有指示與相繼層的定向接近的附加的簡(jiǎn)單圖形。當(dāng)操作員的手保持在死區(qū)中時(shí)，不發(fā)生層堆棧的位移。圖示符呈現(xiàn)了與之前示例中的行為相同的“預(yù)備(pr印aratory) ”行為，其中，當(dāng)手接近區(qū)域的兩個(gè)邊界中的任意一個(gè)時(shí)，內(nèi)部圖示符逐漸增大(當(dāng)然，這里的行為是雙邊的和對(duì)稱(chēng)的在手的開(kāi)始y位置處，內(nèi)部圖示符處于最小尺寸，以及無(wú)論手上移或下移，內(nèi)部圖示符向著與外部圖示符一致而逐漸增大)。當(dāng)操作員的手向上移動(dòng)超過(guò)死區(qū)的上平面時(shí)，內(nèi)部圖示符與外部圖示符相結(jié)合， 以及像以前一樣，手在那個(gè)方向的進(jìn)一步移動(dòng)導(dǎo)致內(nèi)部圖示符的逆時(shí)針旋轉(zhuǎn)運(yùn)動(dòng)。同時(shí)，層堆棧開(kāi)始“向上平移(translate upward) ”在原始當(dāng)前層在上的那些層呈現(xiàn)更大的透明度和模糊度；原始當(dāng)前層本身變得更加透明和更加模糊；以及在原始當(dāng)前層之下的層向更多的可見(jiàn)性和更少的模糊度移動(dòng)。圖12是根據(jù)實(shí)施例的堆棧(stack)的向上平移的示例，其中，當(dāng)與當(dāng)前之前的層 1101鄰近的層1102 (例如，數(shù)據(jù)幀1102)變得與當(dāng)前之前的層一樣可見(jiàn)時(shí)，當(dāng)前之前的層 1101(例如，數(shù)據(jù)幀1101)(未示出，參見(jiàn)圖11)呈現(xiàn)更大的透明度(在該示例中變得不可見(jiàn))。而且，當(dāng)堆棧向上平移時(shí)，與目前當(dāng)前層1102鄰近的層1103(例如，數(shù)據(jù)幀1103)以差別可見(jiàn)度逐漸增強(qiáng)。如以上所描述的，堆棧包括能夠使用推回系統(tǒng)進(jìn)行遍歷的眾多數(shù)據(jù)幀1101-1IOX (其中，X是適合于數(shù)據(jù)幀的數(shù)據(jù)集的任意數(shù)量；在該示例中X為5，使得堆棧包括數(shù)據(jù)幀 1101、1102、1103、1104 和 1105)。用真實(shí)世界的距離(即，如以房間坐標(biāo)系所測(cè)量的，操作員的手離其初始位置的位移)與相繼層間的邏輯距離之間的映射來(lái)對(duì)層堆棧進(jìn)行配置。當(dāng)然，與接近圖形的即時(shí)外表一樣，層堆棧的轉(zhuǎn)換是該映射的結(jié)果，同時(shí)，其指示(首先)顯示平面與當(dāng)前層之間的逐漸增大的距離；其還指示顯示平面目前在當(dāng)前層之下。繼續(xù)手的運(yùn)動(dòng)，并且層堆棧終于通過(guò)當(dāng)前層和正好在下面的下一層橫跨顯示平面的位置；一旦超過(guò)該點(diǎn)，接近圖形改變成指示顯示平面現(xiàn)在高于當(dāng)前層“當(dāng)前層狀態(tài)”現(xiàn)在已被指定給下一更低的層。一般，當(dāng)前層總是離物理顯示平面最近的那個(gè)層，并且是當(dāng)操作員從推回系統(tǒng)中脫離出來(lái)時(shí)將被“選擇”的那個(gè)層。當(dāng)操作員繼續(xù)舉起手時(shí)，使每個(gè)連續(xù)層向著顯示平面出現(xiàn)，從而逐漸地變得更加可分辨，獲得與顯示平面的即時(shí)一致，然后向有利于下一更低層的透明度和模糊度返回。當(dāng)操作員使其手的運(yùn)動(dòng)的方向相反，使其向下時(shí)，則使過(guò)程相反，以及內(nèi)部圖示符順時(shí)針旋轉(zhuǎn)。當(dāng)手終于通過(guò)死區(qū)時(shí)，隨著原始當(dāng)前層與顯示平面的精確的y對(duì)準(zhǔn)，堆棧停止；然后，堆棧的y移動(dòng)重新繼續(xù)，使在原始當(dāng)前層之上的那些平面進(jìn)入相繼的焦點(diǎn)。操作員的整體感受是其正有力地和簡(jiǎn)單地用手向下壓或向上拔層的堆棧。當(dāng)最終操作員通過(guò)閉合手(或者以其它方式改變其姿勢(shì))來(lái)釋放推回時(shí)，系統(tǒng)將堆?！皬?spring) ”到限位的與顯示平面的y軸對(duì)準(zhǔn)中，當(dāng)退出推回時(shí)將離顯示平面最近的任意層留下作為當(dāng)前層。在該位置重新排列的短暫間隔期間，所有其它層逐漸減弱成完全透明，以及反饋圖示符平滑地消失。該實(shí)施例的數(shù)據(jù)集的離散化元素(這里是層)沿主要的推回(深度)軸而分布； 以前，元素(數(shù)據(jù)幀)沿垂直于深度軸的維是共面的并且被側(cè)向排列。與透明度技術(shù)的使用一起，本布置意味著數(shù)據(jù)經(jīng)常是疊加的一一些層是通過(guò)其它層而被觀看的。該示例中的操作員仍然還享有(1)用于快速獲得鄰近上下文的設(shè)備(在當(dāng)前層之上和在當(dāng)前層之下的層的內(nèi)容是什么？)；以及(2)用于高效地在數(shù)據(jù)集中的平行的、堆棧的元素當(dāng)中選擇和切換的設(shè)備。當(dāng)操作員試圖(1)單獨(dú)的，死區(qū)的提供允許操作員確信地返回到原始選擇的層。在操縱的整個(gè)過(guò)程中，對(duì)兩個(gè)轉(zhuǎn)換維的抑制使得能夠有速度和準(zhǔn)確度(對(duì)于大多數(shù)人， 垂直地平移手而沒(méi)有側(cè)向漂移是相當(dāng)困難的，但是，如所描述的形式簡(jiǎn)單地忽略任何這樣的側(cè)向位移)。為了某些目的，應(yīng)該指出的是，，配置推回輸入空間使得死區(qū)具有無(wú)限小的范圍可能是方便的；然后，一旦使推回參與進(jìn)來(lái)，也使其活動(dòng)機(jī)制參與進(jìn)來(lái)。在本文提出的第二示例中，這將意味著與任何其它層無(wú)差別地對(duì)待原始當(dāng)前層一一旦已開(kāi)始推回動(dòng)作。根據(jù)經(jīng)驗(yàn)，死區(qū)的線性范圍是操作員偏好的問(wèn)題。在該第二示例中描述的形式適用于各種各樣的顯示器，既包括二維設(shè)備(不管是投影的還是發(fā)光的)，也包括三維設(shè)備(不管是否為自動(dòng)立體的，還是是否為航空?qǐng)D像生成的等)。在后者的高質(zhì)量實(shí)現(xiàn)一即3D—的情況下，介質(zhì)的某些特性能夠巨大地幫助成為推回的基礎(chǔ)的感知機(jī)制。例如，視差、光學(xué)景深、和眼調(diào)節(jié)現(xiàn)象的組合能夠允許多個(gè)層同時(shí)被理解領(lǐng)會(huì)，因此消除了嚴(yán)格地使遠(yuǎn)離顯示平面的層減弱和模糊的需要。另外，不管顯示器的取向，應(yīng)用上述形式如在示例中一樣，其可以主要是水平的；或者可以正如有用地被安裝在墻上的眼高(eye-height)處。對(duì)該第二示例的情形的擴(kuò)展描述了兩只手操縱的有用性。在某些應(yīng)用中，需要側(cè)向平移或者整個(gè)層堆?；蛘邌蝹€(gè)層(即在X和Z方向上)。在實(shí)施例中，例如通過(guò)以下形式，操作員的其它一即非推回一手能夠?qū)崿F(xiàn)該轉(zhuǎn)換在該形式中，使手與顯示表面緊密接近允許數(shù)據(jù)集的層之一被“四處滑動(dòng)(Slide around)”，使得其X-Z位置的偏移跟隨手的偏移。操作員通常可發(fā)現(xiàn)同時(shí)采取側(cè)向平移和推回操作是方便的和容易操作的。也許以下提議不是完全不真實(shí)的將連續(xù)域的操縱指定給一只手以及將離散類(lèi)型的工作指定給另一手可以對(duì)優(yōu)化認(rèn)知負(fù)載有作用。有益的是，考慮在SOE下的推回的另一示例，其中，在該SOE中沒(méi)有數(shù)據(jù)集的自然的、可視的方面。代表性的是監(jiān)視多個(gè)音頻通道的問(wèn)題以及間歇地從集合當(dāng)中選擇一個(gè)的問(wèn)題。推回系統(tǒng)的應(yīng)用使得能夠進(jìn)行在為聽(tīng)覺(jué)輸出而不是為視覺(jué)輸出而供應(yīng)的環(huán)境中的這樣的任務(wù)；形式與之前示例的形式非常相似。站著的或坐著的操作員正聆聽(tīng)單個(gè)的音頻通道。概念上，該音頻存在于幾何地包括其耳朵的垂直面一稱(chēng)為“聽(tīng)覺(jué)面” 一中；音頻的附加通道存在于平行于聽(tīng)覺(jué)面的平面中， 但是沿ζ軸向前和向后位移。打開(kāi)手，保持在其前方九英寸處，同時(shí)手掌面向下，操作員使推回系統(tǒng)參與進(jìn)來(lái)。 在若干最接近的平面中的音頻差別地逐漸增強(qiáng)；每個(gè)音頻的音量相反地取決于其離當(dāng)前通道的平面的順序距離。實(shí)際上，感知上不現(xiàn)實(shí)的是，允許多于兩個(gè)或四個(gè)的附加通道變得可聽(tīng)得見(jiàn)。同時(shí)，“音頻圖示符”逐漸增強(qiáng)以提哦能夠接近反饋。初始地，當(dāng)操作員的手保持在死區(qū)中時(shí)，圖示符幾乎聽(tīng)不到兩音高和弦(初始和諧地)。當(dāng)操作員在死區(qū)中向前或向后移動(dòng)其手時(shí)，音頻通道的音量保持固定，而圖示符的音量增大。當(dāng)手越過(guò)死區(qū)的前面臨界或后面臨界時(shí)，圖示符到達(dá)其“活動(dòng)”音量(其仍然服從于當(dāng)前通道的音量)。一旦操作員的手開(kāi)始在活動(dòng)區(qū)域中移動(dòng)一比方說(shuō)，在向前的方向上一獲得對(duì)音頻通道的預(yù)期作用將當(dāng)前通道平面推得離聽(tīng)覺(jué)面更遠(yuǎn)，并且其音量(以及還在更遠(yuǎn)的前方的那些通道的音量)逐漸地減小。另一方面，當(dāng)每個(gè)“背面的(dorsal) ”通道平面接近聽(tīng)覺(jué)面時(shí)，其音量增大。同時(shí)，音頻圖示符已切換了模式。手的向前的行進(jìn)伴隨著音調(diào)之一的頻率的上升； 在“中途點(diǎn)(midway point) ”，當(dāng)聽(tīng)覺(jué)面將一個(gè)音頻通道平面及鄰近面一分為二時(shí)，音調(diào)形成準(zhǔn)確的五度音程(fifth)(數(shù)學(xué)上，其應(yīng)該是三全音程間隔，但是存在避免這個(gè)的大量原因)。當(dāng)手更遠(yuǎn)地向前繼續(xù)時(shí)，可變音調(diào)的頻率繼續(xù)上升，直至操作員最終在音調(diào)精確地跨越八度音程的點(diǎn)處“到達(dá)”下一音頻面為止。繼續(xù)聽(tīng)各個(gè)通道，操作員向前或向后平移手以依次訪問(wèn)每個(gè)通道。最后，操作員僅僅閉合其手以選擇一個(gè)通道，終止推回進(jìn)程并使音頻平面集合“彈(spring)”到對(duì)準(zhǔn)中。其它通道(未選擇的)逐漸減弱到聽(tīng)不見(jiàn)，圖示符也一樣。該示例已描述了關(guān)于推回應(yīng)用的變型，其中，再次提供了相同的設(shè)備訪問(wèn)鄰近上下文以及離散化數(shù)據(jù)元素的快速選擇(這里，單個(gè)的音頻流)。該情形代替了聽(tīng)覺(jué)反饋機(jī)制，以及尤其是利用了可靠的用于辨別某些頻率間隔的人類(lèi)能力的聽(tīng)覺(jué)反饋機(jī)制，以向操作員提供關(guān)于其是否離目標(biāo)通道足夠近以做出選擇的信息。在“聽(tīng)得見(jiàn)的”信號(hào)僅僅間歇地呈現(xiàn)的語(yǔ)音通道的情況下，這尤其重要；即使當(dāng)通道本身已變成無(wú)聲時(shí)，音頻反饋圖示符的連續(xù)特性也使其呈現(xiàn)而且清楚。應(yīng)該指出，如果本示例中的SOE包括使音頻空間化的能力，則可以極大地提高對(duì)相繼音頻層后退到向前距離中以及從后面接近(反之亦然)的感受。另外，與在操作員前面的隨后層和在操作員后面的先前層一起，更確切地將選擇的音頻面“定位”在操作員的位置處的機(jī)會(huì)是有效地可利用的。音頻圖示符的其它例示是可能的，并且實(shí)際上各種通道內(nèi)容的包括其頻譜分布的特性，趨向于指示哪種圖示符將是最清楚地可辨別的。通過(guò)示例，另一種音頻圖示符格式保持不變的音量，但是采用周期性的滴答聲(clicking)，而滴答聲之間的間隔與聽(tīng)覺(jué)面和最近的音頻通道平面之間的接近度成比例。最后，在某些情形下，并且取決于操作員的分辨能力(acuity)，可能的是，使用推回而根本沒(méi)有反饋圖示符。參考推回機(jī)制，當(dāng)在數(shù)據(jù)集的表示中的空間限位裝置的數(shù)量和密度增加趨向非常大時(shí)，空間及其參數(shù)化變得有效地連續(xù)一就是說(shuō)，非限位的。推回在這種極端下仍然保持有效，部分是因?yàn)榭梢詫⒃谕苹氐拿看握{(diào)用之前的數(shù)據(jù)集的“初始狀態(tài)”視為被簡(jiǎn)單實(shí)現(xiàn)為死區(qū)的臨時(shí)限位裝置。這種非定位的推回的應(yīng)用可以在與無(wú)限(或至少充分地)可放大的圖有關(guān)的構(gòu)思中發(fā)現(xiàn)。放大功能的推回控制將手位置的位移與仿射標(biāo)度值(affine scale value)相關(guān)聯(lián)，使得當(dāng)操作員向前或向后推其手時(shí)，放大的程度減小或增大(分別地)。但是，因?yàn)槲恢玫椒糯髤?shù)的直接映射確保了使控制手返回到死區(qū)也實(shí)現(xiàn)了放大值到其初始狀態(tài)的返回， 所以原始的、預(yù)推回的放大狀態(tài)總是能夠容易地訪問(wèn)的。以上示例中描述的每個(gè)場(chǎng)景提供了對(duì)推回系統(tǒng)的顯著方面及其在SOE下的使用的描述。還應(yīng)該理解的是，由于通過(guò)允許指導(dǎo)人類(lèi)移動(dòng)的特定類(lèi)型的感知反饋所能夠得到的效率和精確度，本文中描述的動(dòng)作中的每個(gè)能夠立即被準(zhǔn)確地和綜合地采用。在其它場(chǎng)合中，操作員還發(fā)現(xiàn)在大哥連續(xù)推回“進(jìn)程”中保持?jǐn)?shù)十秒是有用的在更長(zhǎng)時(shí)間間隔上的推回為瀏覽的和上下文獲取的目標(biāo)工作得很好。以上描述的示例采用了物理輸入(姿勢(shì))到表示空間的線性映射真實(shí)空間中的 A單元對(duì)控制手進(jìn)行平移總是導(dǎo)致表示空間中的B單元(主要的)的平移，而不管在其上采取A平移的真實(shí)空間的位置。但是，其它映射是可能的。特別的，大多數(shù)人類(lèi)操作員享受的良好的肌肉運(yùn)動(dòng)控制的程度允許使用非線性映射，其中，例如，與臨界附近的姿勢(shì)運(yùn)動(dòng)能轉(zhuǎn)換成沿參數(shù)化的維的位移相比，遠(yuǎn)離活動(dòng)臨界的差分姿勢(shì)平移能轉(zhuǎn)換成沿參數(shù)化的維的更大的位移。
標(biāo)記標(biāo)簽SOE或?qū)嵤├A(yù)期用戶的一個(gè)或多個(gè)手指上的標(biāo)記標(biāo)簽的使用，使得系統(tǒng)能夠定位用戶的手、識(shí)別其正查看的是左手還是右手以及哪些手指是可見(jiàn)的。這允許該系統(tǒng)檢測(cè)用戶手的位置、取向以及移動(dòng)。該信息允許多個(gè)姿勢(shì)被系統(tǒng)識(shí)別并且被用戶用作命令。在一個(gè)實(shí)施例中，標(biāo)記標(biāo)簽為物理標(biāo)簽，其包括基片(在本實(shí)施例中適于附在人手上的各個(gè)位置)和以獨(dú)特識(shí)別圖案設(shè)置在基片表面上的離散標(biāo)記。標(biāo)記和相關(guān)聯(lián)的外部感測(cè)系統(tǒng)可以運(yùn)行于允許準(zhǔn)確、精確、快速并連續(xù)獲取它們的三維空間位置的任何域(光、電磁、靜磁等)中。標(biāo)記本身可以有源地運(yùn)行(例如通過(guò)發(fā)射結(jié)構(gòu)化的電磁脈沖)，或者無(wú)源地運(yùn)行(例如與本實(shí)施例一樣通過(guò)光回射)。在獲取的每個(gè)幀中，檢測(cè)系統(tǒng)接收恢復(fù)后的三維空間位置的聚集“群(cloud) ”，其中，三維空間位置包括來(lái)自在儀器工作空間容積(在攝像機(jī)或其它檢測(cè)器的可見(jiàn)范圍內(nèi)) 中存在的標(biāo)簽的所有標(biāo)記。每個(gè)標(biāo)簽上的標(biāo)記具有充分的多樣性，并以獨(dú)特的圖案來(lái)設(shè)置， 使得該檢測(cè)系統(tǒng)能夠執(zhí)行以下任務(wù)(1)分段，其中每個(gè)恢復(fù)后的標(biāo)記位置被分配給形成單個(gè)標(biāo)記的點(diǎn)的一個(gè)且僅一個(gè)子集合；(2)作標(biāo)注，其中每個(gè)分段后的點(diǎn)的子集合被標(biāo)識(shí)為特定標(biāo)簽；(3)定位，其中標(biāo)識(shí)后的標(biāo)簽的三維空間位置被恢復(fù)；以及(4)取向，其中標(biāo)識(shí)后的標(biāo)簽的三維空間取向被恢復(fù)。如以下參考圖13所描述的，通過(guò)標(biāo)記圖案的特定性質(zhì)， 使任務(wù)⑴和⑵變成可能。在一個(gè)實(shí)施例中，標(biāo)簽上的標(biāo)記被附于常規(guī)網(wǎng)格位置的子集。如本實(shí)施例中一樣， 該基礎(chǔ)的網(wǎng)格可以是傳統(tǒng)的笛卡爾類(lèi)型；或者替換地可以是某些其它常規(guī)平面棋盤(pán)式布置 (例如三角形/六邊形的平鋪排列)。相對(duì)于標(biāo)記感測(cè)系統(tǒng)的已知空間分辨率來(lái)建立網(wǎng)格的尺寸和間隔，使得相鄰的網(wǎng)格位置不可能被混淆。針對(duì)所有標(biāo)簽的標(biāo)記圖案的選擇應(yīng)該滿足以下約束通過(guò)旋轉(zhuǎn)、平移或鏡像的任意組合，標(biāo)簽的圖案不與任何其它標(biāo)簽的圖案相同?？梢赃M(jìn)一步對(duì)標(biāo)記的多樣性和排列進(jìn)行選擇，以便容許某指定數(shù)量的標(biāo)記分量的丟失 (或遮擋)。在任意變換之后，其應(yīng)該仍然不可能使折衷后的模塊與任何其它模塊相混淆。圖13是根據(jù)實(shí)施例的標(biāo)記標(biāo)簽的圖。示出了多個(gè)標(biāo)簽1301A-1301E(左手)以及 1302A-1302E (右手)，但是實(shí)施例不限于如此。每個(gè)標(biāo)簽是矩形的，并且在本實(shí)施例中包括 5X7的網(wǎng)格陣列。選擇矩形形狀作為確定標(biāo)簽取向的輔助，并且減少鏡像復(fù)制的可能性。 在所示出的實(shí)施例中，針對(duì)每個(gè)手上的每個(gè)手指都有標(biāo)簽。在某些實(shí)施例中，每個(gè)手使用一個(gè)、兩個(gè)、三個(gè)或四個(gè)標(biāo)簽可能就足夠了。每個(gè)標(biāo)簽具有不同灰度等級(jí)或顏色陰影的邊界。 在該邊界之內(nèi)是3X5的網(wǎng)格陣列。標(biāo)記(由圖13中的黑點(diǎn)表示)被置于網(wǎng)格陣列中的某些點(diǎn)處以提供信息。通過(guò)將每個(gè)圖案分段成“公共”和“獨(dú)特”的子圖案，可以將資格信息編碼到標(biāo)簽的標(biāo)記圖案中。例如，本實(shí)施例規(guī)定了兩個(gè)可能的“邊界圖案”，矩形邊界周?chē)臉?biāo)記的分布。 由此建立了標(biāo)簽“家族”一計(jì)劃用于左手的標(biāo)簽可能因此全部使用與標(biāo)簽1301A-1301E中所示的相同的邊界圖案，而附到右手手指的那些標(biāo)簽可能被分配如標(biāo)簽1302A-1302E中所示的不同圖案。選擇該子圖案，使得在標(biāo)簽的所有取向中左圖案能夠區(qū)別于右圖案。在所示的示例中，左手圖案包括在每個(gè)拐角中的標(biāo)記以及從拐角網(wǎng)格位置起的第二中的一個(gè)標(biāo)記。右手圖案具有僅在兩個(gè)拐角中的標(biāo)記以及在非拐角網(wǎng)格位置中的兩個(gè)標(biāo)記。對(duì)圖案的檢查表明，只要四個(gè)標(biāo)記中的任何三個(gè)是可見(jiàn)的，左手圖案就肯定能夠區(qū)別于左手圖案。在一個(gè)實(shí)施例中，也可將邊界的顏色或陰影用作偏手性(handedness)的指示。當(dāng)然，每個(gè)標(biāo)簽必須仍然采用獨(dú)特的內(nèi)部圖案，分布于其家族的公共邊界內(nèi)的標(biāo)記。在示出的示例中，已經(jīng)發(fā)現(xiàn)由于手指的旋轉(zhuǎn)或取向，內(nèi)部網(wǎng)格陣列中的兩個(gè)標(biāo)記足以沒(méi)有重復(fù)地唯一標(biāo)識(shí)十個(gè)手指中的每個(gè)。即使標(biāo)記之一被遮擋，標(biāo)簽的圖案及偏手性的組合也導(dǎo)致唯一的標(biāo)識(shí)符。在本實(shí)施例中，柵格位置視覺(jué)上呈現(xiàn)在剛性基片上，作為對(duì)將每個(gè)回射標(biāo)記附在其預(yù)期位置的(手動(dòng))任務(wù)的輔助。這些柵格和預(yù)期標(biāo)記位置通過(guò)彩色噴墨打印機(jī)被精確打印到基片上，該基片在這里是一片(初始)柔軟的“收縮膜”。每個(gè)模塊從該片切開(kāi)，然后被烘烤，在該熱處理期間，每個(gè)模塊經(jīng)受精確并可重復(fù)的收縮。在該過(guò)程后的短暫間隔內(nèi)， 冷卻的標(biāo)簽可被輕微成型一例如，沿手指的長(zhǎng)度曲線；其后，基片是適度剛性的，且標(biāo)記可附在所指示的柵格點(diǎn)。在一個(gè)實(shí)施例中，標(biāo)記自身是三維的，如通過(guò)粘合劑或某些其它適當(dāng)方式附于基片的小的反射球。標(biāo)記的三維性比二維標(biāo)記更有助于檢測(cè)和定位。不過(guò)，兩者均可以使用， 而不脫離本發(fā)明的精神和范圍。目前，標(biāo)簽通過(guò)維可牢(Velcro)或其它適當(dāng)方式被附于操作員所戴的手套上，或者替選地，使用溫和的雙面膠帶直接附于操作員的手指上。在第三實(shí)施例中，可以與剛性基片一起分配，并將各標(biāo)記直接粘附或“繪制”在操作員的手指和手上。姿勢(shì)詞匯本發(fā)明預(yù)期由手姿態(tài)、取向、手組合以及取向混合構(gòu)成的姿勢(shì)詞匯。在本發(fā)明的姿勢(shì)詞匯中，還實(shí)施了用來(lái)設(shè)計(jì)并溝通姿態(tài)和姿勢(shì)的符號(hào)語(yǔ)言(notation language)。姿勢(shì)詞匯是用于以緊湊的文本形式來(lái)表示即時(shí)的運(yùn)動(dòng)關(guān)聯(lián)(kinematic linkage)的“姿態(tài)狀態(tài)” 的系統(tǒng)。這里所討論的關(guān)聯(lián)可以是生物學(xué)的(例如人手，或者整個(gè)人體；或者蝗蟲(chóng)腿；或者狐猴的關(guān)節(jié)脊柱)，或者替代地可以是非生物的(例如機(jī)器人手臂)。在任何情況下，關(guān)聯(lián)可以是單一的(脊柱)或者是分支的(手)。本發(fā)明的姿勢(shì)詞匯系統(tǒng)針對(duì)任何特定的關(guān)聯(lián)建立固定長(zhǎng)度的字符串；因此，占據(jù)字符串“字符位置”的特定ASCII字符的聚集是關(guān)聯(lián)的即時(shí)狀態(tài)或“姿態(tài)”的唯一描述。手姿態(tài)圖14示出了根據(jù)實(shí)施例的在SOE姿勢(shì)詞匯中的手姿態(tài)。SOE假設(shè)一只手的五個(gè)手指中的每個(gè)都被使用。這些手指的代碼為P-小手指、r-無(wú)名指、m-中指、i-食指以及t-拇指。在實(shí)施例的姿勢(shì)詞匯中限定并示出了針對(duì)手指和拇指的多個(gè)姿態(tài)。姿勢(shì)詞匯字符串針對(duì)關(guān)聯(lián)中的每個(gè)可表達(dá)的自由度(本例中為手指)建立單個(gè)字符位置。此外，每個(gè)這樣的自由度被理解為離散化的(或“量化的”)，從而可通過(guò)在該字符串位置分配有限數(shù)量的標(biāo)準(zhǔn)ASCII字符中的一個(gè)來(lái)表示其全范圍的運(yùn)動(dòng)。這些自由度相對(duì)于特定于身體的原點(diǎn)及坐標(biāo)系統(tǒng)(手背，蝗蟲(chóng)身體的中心；機(jī)器人手臂的基部等)來(lái)表示。因此，使用少量的附加姿勢(shì)詞匯字符位置，在更全局的坐標(biāo)系統(tǒng)中來(lái)表示作為整體的關(guān)聯(lián)的位置和取向。使用ASCII字符來(lái)定義和標(biāo)識(shí)了多個(gè)姿態(tài)。某些姿態(tài)被分成拇指的和非拇指的。 該實(shí)施例中的SOE使用編碼，使得ASCII字符本身就是姿態(tài)的暗示。不過(guò)，任何字符都可用于表示姿態(tài)，無(wú)論是暗示性的與否。另外，本發(fā)明并不要求使用ASCII字符用于符號(hào)字符串。任何適當(dāng)?shù)姆?hào)、數(shù)字或其它表示都可使用，而不脫離本發(fā)明的范圍和精神。例如，如果需要，符號(hào)可以針對(duì)每個(gè)手指使用兩個(gè)比特，或者如所需要地使用其它數(shù)量的比特。彎曲的手指由字符來(lái)表示，而彎曲的拇指由“〉”表示。向上指的伸直的手指或拇指由“1”指示，而某個(gè)角度的手指或拇指由“\”或“/”表示?！癬”表示直指向側(cè)面的拇指，而“ χ ”表示指向平面內(nèi)的拇指。使用這些單獨(dú)的手指和拇指描述，可以使用本發(fā)明的方案來(lái)定義和書(shū)寫(xiě)穩(wěn)健數(shù)量的手姿態(tài)。每個(gè)姿態(tài)由五個(gè)字符利用上述的p-r-m-i-t順序來(lái)表示。保持平并平行于地面的手表示為“11111”。拳表示為“~~~~>”。"OK'，標(biāo)志被表示為“111~>”。當(dāng)使用暗示性字符時(shí)，字符串提供了直接的“人可讀性”的機(jī)會(huì)。通常著眼于快速識(shí)別和明顯相似性來(lái)選擇描述每個(gè)自由度的可能的字符集。例如，豎杠(‘I’)可能意味著關(guān)聯(lián)元素為“直的”，(‘L’ )可能意味著90度的彎曲，而彎曲形()可指示急劇的彎曲。如以上所描述的，可以根據(jù)需要來(lái)使用任何字符或編碼。采用上述姿勢(shì)詞匯字符串的任何系統(tǒng)在此享受字符串比較的高計(jì)算效率的好處一識(shí)別或搜索任何指定的姿態(tài)完全變成在期望的姿態(tài)字符串和即時(shí)的真實(shí)字符串之間進(jìn)行的“字符串比較”(例如，UNIX的‘strcmpO’功能)。此外，“通配符”的使用為編程人員或系統(tǒng)設(shè)計(jì)者提供了額外的熟悉效率和功效即時(shí)狀態(tài)與匹配無(wú)關(guān)的自由度可以被指定為問(wèn)號(hào)(‘？’)；可以分配另外的通配符的含義。取向除手指和拇指的姿態(tài)以外，手的取向也可以表示信息。描述全局空間取向的字符也可以透明地進(jìn)行選擇；當(dāng)在取向字符位置遇到字符‘〈’、‘>’、‘~’以及‘V’時(shí)，其可以用于指示左、右、上和下的意思。圖15是根據(jù)實(shí)施例的在姿勢(shì)詞匯中的取向的圖。姿勢(shì)詞匯的取向包括手取向描述符以及組合了姿態(tài)和取向的編碼示例。在本發(fā)明的一個(gè)實(shí)施例中， 兩個(gè)字符位置首先指定手掌的方向，其次是手指的方向(如果它們是直的，與手指的實(shí)際彎曲無(wú)關(guān))。針對(duì)這兩個(gè)位置的可能的字符表示取向的‘身體為中心’概念‘_’、‘ + ’、‘X’、 ‘*’、‘~’以及‘V’描述了向中間、側(cè)向、前向(向前，從身體離開(kāi))、后向(向后，從身體離開(kāi))、頭部的(向上)以及尾部的(向下)。在本發(fā)明的實(shí)施例的符號(hào)方案中，指示字符的五個(gè)手指姿態(tài)后面跟著冒號(hào)，然后是兩個(gè)取向字符，以定義完整的命令姿態(tài)。在一個(gè)實(shí)施例中，起始位置指“xyz”姿態(tài)，其中當(dāng)該姿態(tài)用右手來(lái)作時(shí)，拇指向上直指，食指向前指，而中指垂直于食指指向左。這由字符串 “~~xl-:-x”表示?！甔YZ-手’是利用人手的幾何形狀以允許視覺(jué)呈現(xiàn)的三維結(jié)構(gòu)的全部六_自由度 (six-degree-of-freedom)導(dǎo)航的技術(shù)。盡管該技術(shù)僅僅依賴(lài)于操作員手的大量平移和旋轉(zhuǎn)一使得其手指可以大體上保持于所需要的任何姿態(tài)一本發(fā)明實(shí)施例優(yōu)選靜態(tài)結(jié)構(gòu)，其中食指指向離開(kāi)身體的方向；拇指指向天花板；而中指指向左右。由此，這三個(gè)手指描述 (粗略地，但是具有清楚明顯的意圖)了三維空間坐標(biāo)系統(tǒng)的三個(gè)相互正交的軸因此稱(chēng)為 ‘XYZ 手，。然后，利用保持在操作員身體前預(yù)定‘中立位置(neutral location) ’處的手(處于如以上所描述的姿態(tài)的手指)來(lái)進(jìn)行XYZ手導(dǎo)航。對(duì)三維空間物體(或相機(jī))的三個(gè)平移和三個(gè)旋轉(zhuǎn)自由度的獲取以下面的自然方式來(lái)實(shí)現(xiàn)手的左右移動(dòng)(相對(duì)于身體的自然坐標(biāo)系統(tǒng))導(dǎo)致沿著計(jì)算上下文的X-軸移動(dòng)；手的上下移動(dòng)導(dǎo)致沿著受控上下文的Y-軸移動(dòng)；而手的前后移動(dòng)(朝向/離開(kāi)操作員身體)導(dǎo)致在上下文內(nèi)的2-軸運(yùn)動(dòng)。類(lèi)似地， 操作員的手關(guān)于食指的旋轉(zhuǎn)導(dǎo)致計(jì)算上下文取向的‘滾動(dòng)’變化；通過(guò)操作員手分別關(guān)于中指和拇指的旋轉(zhuǎn)，類(lèi)似地實(shí)現(xiàn)‘傾斜(Pitch)，和‘搖擺(yaw)，變化。注意，盡管‘計(jì)算上下文’在此用來(lái)指通過(guò)XYZ手方法控制的實(shí)體一并且看起來(lái)暗示合成的三維空間物體或相機(jī)一應(yīng)理解，該技術(shù)同樣可用于控制真實(shí)世界物體的各自由度例如，配備有適當(dāng)?shù)男D(zhuǎn)執(zhí)行器的視頻或運(yùn)動(dòng)畫(huà)面相機(jī)的搖動(dòng)/傾斜/滾動(dòng)(pan/ tilt/roll)控制。另外，甚至在虛擬域中，由XYZ-手姿態(tài)提供的物理自由度可能稍微較不完全地被映射在本實(shí)施例中，XYZ-手還用于提供對(duì)大全景顯示圖像的導(dǎo)航接入，從而操作員手的左右和上下運(yùn)動(dòng)導(dǎo)致關(guān)于圖像的預(yù)期的左右或上下‘搖動(dòng)(panning)’，而操作員手的前后運(yùn)動(dòng)映射到‘縮放(zooming)’控制。在每種情況下，手的運(yùn)動(dòng)和所導(dǎo)致的計(jì)算平移/旋轉(zhuǎn)之間的耦合可以是直接的 (即，通過(guò)某些線性或非線性函數(shù)，操作員手的位置或旋轉(zhuǎn)偏移一對(duì)一地映射到計(jì)算上下文中的物體或相機(jī)的位置或旋轉(zhuǎn)偏移)，或者是間接的(即，通過(guò)某些線性或非線性函數(shù)，操作員手的位置或旋轉(zhuǎn)偏移一對(duì)一地映射到計(jì)算上下文中的第一或更高階導(dǎo)數(shù)的位置/取向；然后，正在進(jìn)行的積分實(shí)現(xiàn)計(jì)算上下文中的真實(shí)零階位置/取向的非靜態(tài)變化)。后面的這種控制手段類(lèi)似于使用汽車(chē)的‘氣動(dòng)踏板’，其中踏板的固定偏移或多或少地導(dǎo)致不變的汽車(chē)速度。作為真實(shí)世界XYZ-手的本地六-自由度坐標(biāo)原點(diǎn)的‘中立位置’可以被建立作為 (1)空間中的絕對(duì)位置和取向(比方說(shuō)，相對(duì)于封閉房間)；(2)相對(duì)于操作員自身的固定位置和取向(例如，在身體前面八英寸，下顎以下十英寸以及側(cè)向與肩平面對(duì)齊)，與操作員的整個(gè)位置和‘朝向’無(wú)關(guān)；或者(3)交互式地，通過(guò)操作員的有意的二次動(dòng)作(例如，使用由操作員的‘另一只’手發(fā)出的姿勢(shì)命令，該命令指示XYZ手的當(dāng)前位置和取向此后應(yīng)被用作平移和旋轉(zhuǎn)的原點(diǎn))。另外，方便的是提供關(guān)于XYZ手的中立位置的‘停止(detent)’區(qū)域(或‘死區(qū)’)， 使得在該容積內(nèi)的移動(dòng)不映射到受控上下文中的移動(dòng)。其它姿態(tài)可包括[lllll:vx]為手掌朝下且手指向前的平的手(拇指平行于手指)。[lllll:x"]為手掌朝前且手指朝向天花板的平的手。[11111:-χ]為手掌朝向身體中心(如果是左手則朝右，如果是右手則朝左)且手指朝前的平的手。[""""--x]為單手拇指向上(拇指指向天花板)。["~ -:-χ]為模仿指向前方的槍。兩手組合實(shí)施例的SOE預(yù)期單手命令和姿態(tài)以及兩只手的命令和姿態(tài)。圖16是根據(jù)實(shí)施例的在SOE的姿勢(shì)詞匯中的兩手組合和相關(guān)符號(hào)的圖?；仡櫟谝皇纠械姆?hào)，“完全停止 (full stop) ”表明其包括兩個(gè)閉合的拳。“快照”示例中，每只手的拇指和食指伸展，拇指彼此互指，定義球門(mén)柱形的框?！岸婧凸?jié)流閥開(kāi)始位置”為手指和拇指指向上、手掌朝向屏幕。取向混合圖17是根據(jù)實(shí)施例的在姿勢(shì)詞匯中的取向混合的圖。在所示出的示例中，該混合通過(guò)在手指姿態(tài)字符串之后將取向符號(hào)對(duì)放入括號(hào)中來(lái)表示。例如，第一命令顯示了全部直指的手指位置。第一對(duì)取向命令將導(dǎo)致手掌平、朝向顯示器，而第二對(duì)使手旋轉(zhuǎn)到向著屏幕45度的斜度。盡管在該示例中示出了混合對(duì)，但在SOE中預(yù)期任何數(shù)量的混合。示例性命令圖19是根據(jù)實(shí)施例的與SOE —起使用的多個(gè)命令的示例。盡管這里的某些討論是關(guān)于對(duì)顯示器上光標(biāo)的控制，但是SOE不限于該行為。實(shí)際上，SOE可廣泛應(yīng)用于操縱屏幕上的任何和全部的數(shù)據(jù)及部分?jǐn)?shù)據(jù)以及顯示的狀態(tài)。例如，在視頻媒體的回放期間，可用命令來(lái)取代視頻控制。命令可以用于暫停、快進(jìn)、回退等。另外，可以實(shí)施命令來(lái)放大或縮小圖像、改變圖像的取向、在任何方向上搖動(dòng)等。SOE還可用于代替菜單命令，如打開(kāi)、關(guān)閉、 保存等。換句話說(shuō)，能夠想象到的任何命令或行為都可以利用手姿勢(shì)來(lái)實(shí)現(xiàn)。圖18是根據(jù)實(shí)施例的SOE的系統(tǒng)操作的流程圖。在1801，檢測(cè)系統(tǒng)檢測(cè)標(biāo)記和標(biāo)簽。在1802中，確定是否檢測(cè)到標(biāo)簽和標(biāo)記。如果沒(méi)有，系統(tǒng)返回到1801。如果在1802 中檢測(cè)到標(biāo)簽和標(biāo)記，則系統(tǒng)前進(jìn)到1803。在1803中，系統(tǒng)從所檢測(cè)的標(biāo)簽和標(biāo)記中識(shí)別手、手指和姿態(tài)。在1804中，系統(tǒng)識(shí)別姿態(tài)的取向。在1805中，系統(tǒng)識(shí)別所檢測(cè)到的一只或多只手的三維空間位置。(請(qǐng)注意，1803、1804和1805中的任何或全部可以組合成單個(gè)步驟)。在SOE的一個(gè)實(shí)施例中，操作1801-1805通過(guò)相機(jī)上的處理器來(lái)完成。在其它實(shí)施例中，如果需要，處理可以通過(guò)系統(tǒng)計(jì)算機(jī)來(lái)完成。解析和轉(zhuǎn)換系統(tǒng)能夠“解析”和“轉(zhuǎn)換”由底層系統(tǒng)恢復(fù)的低級(jí)姿勢(shì)流，并將那些被分析和轉(zhuǎn)換的姿勢(shì)轉(zhuǎn)換成事件數(shù)據(jù)或命令流或，事件數(shù)據(jù)或命令流可用來(lái)控制寬范圍的計(jì)算機(jī)應(yīng)用和系統(tǒng)。這些技術(shù)和算法可以在由計(jì)算機(jī)代碼構(gòu)成的系統(tǒng)內(nèi)實(shí)施，計(jì)算機(jī)代碼提供實(shí)施這些技術(shù)的引擎以及構(gòu)建利用該引擎性能的計(jì)算機(jī)應(yīng)用的平臺(tái)。一個(gè)實(shí)施例關(guān)注于使人手的豐富的姿勢(shì)能夠在計(jì)算機(jī)界面中使用，還能夠識(shí)別由其它身體部位(包括但不限于臂、軀干、腿和頭)作出的姿勢(shì)以及各種非手的物理工具作出的姿勢(shì)，物理工具為靜態(tài)的和有關(guān)節(jié)的，包括但不限于卡鉗、圓規(guī)、靈活的曲線近似器以及各種形狀的指向設(shè)備。標(biāo)記和標(biāo)簽可應(yīng)用于可以由操作員根據(jù)需要攜帶和使用的物品和工具。這里所描述的系統(tǒng)合并了多個(gè)創(chuàng)新，多個(gè)創(chuàng)新使得可以建立具有豐富的可以被識(shí)別和按照其來(lái)動(dòng)作的姿勢(shì)的姿勢(shì)系統(tǒng)，而同時(shí)易于集成到應(yīng)用中。一個(gè)實(shí)施例中的姿勢(shì)解析和轉(zhuǎn)換系統(tǒng)由以下構(gòu)成1) 一種以幾個(gè)不同等級(jí)的聚集指定(用于在計(jì)算機(jī)程序中使用的編碼)姿勢(shì)的緊湊和有效的方式a.單手的“姿態(tài)”(相對(duì)于彼此的手的各部分的配置和取向)，在三維空間中的單手的取向和位置。b.兩手組合，針對(duì)任一只手，考慮姿態(tài)、位置或兩者都考慮。c.多人組合；系統(tǒng)可跟蹤多于兩只手，因此多于一個(gè)人可協(xié)作地(或在游戲應(yīng)用情況下，競(jìng)爭(zhēng)地)控制目標(biāo)系統(tǒng)。d.連續(xù)姿勢(shì)，其中姿態(tài)被組合在一個(gè)系列中；我們稱(chēng)之為“動(dòng)畫(huà)”姿勢(shì)。
e. “字形”姿勢(shì)，其中操作員跟蹤空間中的形狀。2) 一種注冊(cè)來(lái)自與給定的應(yīng)用上下文有關(guān)的以上每一類(lèi)別的特定姿勢(shì)的編程技術(shù)。3)用于解析姿勢(shì)流使得被注冊(cè)的姿勢(shì)可被識(shí)別以及封裝那些姿勢(shì)的事件可被傳遞到相關(guān)的應(yīng)用上下文中的算法。具有構(gòu)成元素(Ia)至(If)的規(guī)范系統(tǒng)(1)提供了使用這里所描述的系統(tǒng)的姿勢(shì)解析以及轉(zhuǎn)換能力的基礎(chǔ)。單手“姿態(tài)”被表示為以下的字符串i)手指和手背之間的相對(duì)取向，ii)量化到小數(shù)量的離散狀態(tài)。使用相對(duì)聯(lián)合取向使得這里所描述的系統(tǒng)可以避免與不同的手尺寸和幾何形狀有關(guān)的問(wèn)題。使用該系統(tǒng)不需要“操作員校準(zhǔn)”。另外，將姿態(tài)指定為字符串或者相對(duì)取向的集合使得更為復(fù)雜的姿勢(shì)規(guī)范通過(guò)將姿態(tài)描述與另外的過(guò)濾器的及規(guī)范組合而易于被創(chuàng)建。使用針對(duì)姿態(tài)規(guī)范的小數(shù)量的離散狀態(tài)使得能夠緊湊地指定姿態(tài)，并能夠利用多種底層跟蹤技術(shù)(例如，使用相機(jī)的無(wú)源光學(xué)跟蹤、使用點(diǎn)亮的點(diǎn)和相機(jī)的有源光學(xué)跟蹤、 電磁場(chǎng)跟蹤等)來(lái)確保正確的姿態(tài)識(shí)別。在每一類(lèi)別(Ia)至(If)中的姿勢(shì)可以被部分(或最小地)指定，從而忽略非關(guān)鍵數(shù)據(jù)。例如，其中兩個(gè)手指的位置確定而其它手指位置不重要的姿勢(shì)可以通過(guò)單個(gè)規(guī)范來(lái)表示，該單個(gè)規(guī)范中，給出了兩個(gè)相關(guān)手指的操作位置，且在相同字符串內(nèi)，針對(duì)其它手指， 列出了 “通配符”或普通“忽略這些”的指示。這里所描述的用于姿勢(shì)識(shí)別所有創(chuàng)新包括但不限于多層次規(guī)范技術(shù)、使用相對(duì)取向、量化數(shù)據(jù)以及允許在每一級(jí)別的部分或最小規(guī)范，其推廣到手姿勢(shì)規(guī)范之外，推廣到使用其它身體部位以及“制造的”工具和物體的姿勢(shì)規(guī)范。用于“注冊(cè)姿勢(shì)”的編程技術(shù)(2)由限定的應(yīng)用編程接口調(diào)用的集構(gòu)成，其允許編程人員來(lái)定義引擎應(yīng)使哪些姿勢(shì)可用于運(yùn)行系統(tǒng)的其它部分。這些API例程可以在應(yīng)用建立時(shí)間來(lái)使用，從而創(chuàng)建在整個(gè)運(yùn)行系統(tǒng)的工作期間使用的靜態(tài)接口定義。這些API例程還可以在運(yùn)行過(guò)程中使用，從而使接口特性在不工作時(shí)改變。這種接口的實(shí)時(shí)改變使得下述行為成為可能i)建立復(fù)雜的上下文和條件控制狀態(tài)，ii)動(dòng)態(tài)地添加滯后現(xiàn)象(hysterisis)到控制環(huán)境，并且iii)創(chuàng)建應(yīng)用，其中用戶能夠改變或擴(kuò)展運(yùn)行系統(tǒng)自身的接口詞匯。用于解析姿勢(shì)流的算法(3)將在⑴中指定并在(2)中注冊(cè)的姿勢(shì)與進(jìn)入的低級(jí)別姿勢(shì)數(shù)據(jù)進(jìn)行比較。當(dāng)針對(duì)注冊(cè)的姿勢(shì)的匹配被識(shí)別時(shí)，表示匹配姿勢(shì)的事件數(shù)據(jù)被向上傳遞到堆棧，到達(dá)運(yùn)行的應(yīng)用。在設(shè)計(jì)該系統(tǒng)時(shí)期望有效的實(shí)時(shí)匹配，且指定的姿勢(shì)被作為被盡可能快地處理的樹(shù)狀概率。另外，操作員內(nèi)部使用的用以識(shí)別指定姿勢(shì)的原語(yǔ)比較也可以被應(yīng)用程序的編程人員使用，使得即使從應(yīng)用上下文內(nèi)也可以進(jìn)行進(jìn)一步比較(例如，復(fù)雜或復(fù)合姿勢(shì)中的靈活的狀態(tài)檢查)。識(shí)別“加鎖(locking)”語(yǔ)義是這里所描述的系統(tǒng)的創(chuàng)新。這些語(yǔ)義通過(guò)注冊(cè) API (2)(以及，在更小程度上，嵌入到規(guī)范詞匯(1)內(nèi))來(lái)暗示。注冊(cè)API調(diào)用包括i) “進(jìn)入(entry) ”狀態(tài)通知者以及“繼續(xù)(continuation) ”狀態(tài)通知者，以及ii)姿勢(shì)優(yōu)先級(jí)指定者。如果姿勢(shì)已被識(shí)別，則針對(duì)相同或較低優(yōu)先級(jí)的姿勢(shì)，其“繼續(xù)”條件優(yōu)先于所有的“進(jìn)入”條件。進(jìn)入和繼續(xù)狀態(tài)之間的這種區(qū)別大大增加了所感知的系統(tǒng)的可用性。這里所描述的系統(tǒng)包括面對(duì)真實(shí)世界的錯(cuò)誤和不確定性的健壯操作的算法。來(lái)自低級(jí)跟蹤系統(tǒng)的數(shù)據(jù)可能是不完整的(由于多種原因，包括在光學(xué)跟蹤、網(wǎng)絡(luò)丟棄或處理延時(shí)中標(biāo)記的閉塞等)。丟失的數(shù)據(jù)通過(guò)解析系統(tǒng)來(lái)標(biāo)記，且被插值(interpolate)成“最后已知”或“最有可能”的狀態(tài)，這依賴(lài)于所丟失數(shù)據(jù)的量和上下文。如果關(guān)于特定姿勢(shì)組成的數(shù)據(jù)(例如，特定聯(lián)合的取向)丟失，但是該特定組成的 “最后已知”的狀態(tài)可被分析為在物理上是可能的，則系統(tǒng)在其實(shí)時(shí)匹配中使用該最后已知的狀態(tài)。相反地，如果該最后已知狀態(tài)被分析為在物理上是不可能的，則該系統(tǒng)回退到針對(duì)該組成的“最佳猜測(cè)范圍(best guess range) ”，并在其實(shí)時(shí)匹配中使用該合成數(shù)據(jù)。這里所描述的規(guī)范和解析系統(tǒng)已被仔細(xì)地設(shè)計(jì)以支持“偏手性不可知性”，使得對(duì)于多手的姿勢(shì)，任一只手被允許滿足姿態(tài)需求。使用在擴(kuò)展的景深上提取的三維信息的基于姿勢(shì)的控制圖20是根據(jù)實(shí)施例的基于姿勢(shì)的控制系統(tǒng)2000的方框圖，其中，該控制系統(tǒng) 2000包括在擴(kuò)展的景深上提取三維信息的成像系統(tǒng)。用戶將手101和102定位在攝像機(jī)2004A-2004D的陣列的觀察區(qū)域中。如以下詳細(xì)描述的，陣列2004A-2004D中的至少兩臺(tái)攝像機(jī)是波前編碼攝像機(jī)，波前編碼攝像機(jī)中的每臺(tái)包括波前編碼成像系統(tǒng)的元件，波前編碼成像系統(tǒng)包括波前編碼掩模(mask)(本文中也被稱(chēng)為“非球面光學(xué)元件(optical aspheric element) ”或“光學(xué)元件”)。用戶的手和/或手指可以包括或不包括以上描述的標(biāo)記標(biāo)簽。攝像機(jī)2004A-2004D檢測(cè)或捕獲包括手指和手101、102的位置、取向及移動(dòng)的手指和手101、102的圖像，以及生成到預(yù)處理器2005的輸出信息。如以下所描述的，預(yù)處理器2005包括或耦合到波前編碼數(shù)字信號(hào)處理2008。替選地，波前編碼數(shù)字信號(hào)處理能夠被包括在或分布在系統(tǒng)2000的一個(gè)或更多個(gè)其它組件中。波前編碼數(shù)字信號(hào)處理2008被配置成極大地?cái)U(kuò)展成像系統(tǒng)的景深。預(yù)處理器2005將攝像機(jī)輸出轉(zhuǎn)換成被提供到系統(tǒng)的計(jì)算機(jī)處理單元2007的姿勢(shì)信號(hào)。在這種情況下，預(yù)處理器2005生成三維空間點(diǎn)重構(gòu)和骨骼點(diǎn)標(biāo)記。姿勢(shì)轉(zhuǎn)換器2006 將空間信息和標(biāo)記器運(yùn)動(dòng)信息轉(zhuǎn)換成能被計(jì)算機(jī)處理器解釋的命令語(yǔ)言，以更新顯示器上光標(biāo)的位置、形狀和動(dòng)作。計(jì)算機(jī)2007使用輸入信息來(lái)生成用于控制一個(gè)或更多個(gè)屏幕上光標(biāo)的命令，以及將視頻輸出提供到顯示器2003。替換實(shí)施例的預(yù)處理器2005、姿勢(shì)轉(zhuǎn)換器2006和計(jì)算機(jī)2007中的一個(gè)或更多個(gè)能被組合成單個(gè)的設(shè)備。不考慮系統(tǒng)配置，預(yù)處理器2005、姿勢(shì)轉(zhuǎn)換器2006和計(jì)算機(jī)2007中的每個(gè)的功能和/或功能性與本文中其它地方描述的一樣。另外，雖然該示例示出了使用四臺(tái)攝像機(jī)來(lái)檢測(cè)用戶的手101、102的位置、取向、 和移動(dòng)，實(shí)施例不限于如此。根據(jù)系統(tǒng)或工作站配置的需要，系統(tǒng)配置能夠包括兩個(gè)或更多個(gè)攝像機(jī)。另外，盡管在示例實(shí)施例中對(duì)稱(chēng)地布置攝像機(jī)，但是沒(méi)有對(duì)這種對(duì)稱(chēng)的要求。 因此，在下文中可使用允許用戶的手的位置、取向、和移動(dòng)的具有任意定位的至少兩臺(tái)攝像機(jī)。盡管示出系統(tǒng)具有作為輸入的單個(gè)用戶的手，但是系統(tǒng)能夠追蹤任意數(shù)量的多個(gè)用戶的手。另外，排除手或加上手，系統(tǒng)可追蹤用戶身體的任意部位或多個(gè)部位，包括頭、 腳、腿、手臂、肘、膝蓋等。而且，系統(tǒng)能追蹤任意數(shù)量的有生命對(duì)象或無(wú)生命對(duì)象，以及不限于追蹤身體的部位。特別的，對(duì)于設(shè)置光學(xué)傳感器以致有意地或潛在地最接近于操作員的手的姿勢(shì)分析系統(tǒng)(或等同地被追蹤的工具)，由此而被領(lǐng)會(huì)的元件通常將涵蓋若干級(jí)或許多級(jí)的相對(duì)距離量級(jí)的范圍，貫穿操作員運(yùn)動(dòng)的自然序列。始終如一地提供橫貫如此范圍的距離的事件的焦點(diǎn)分辨的記錄，超出了傳統(tǒng)光學(xué)成像系統(tǒng)的能力。但是，在為了宏觀設(shè)備和裝置設(shè)計(jì)目的的對(duì)象追蹤或操作員追蹤的上下文中，經(jīng)常期望的是對(duì)中距離(medium-distance) 的幾何布置的這些特寫(xiě)(close-approach)。因此，有價(jià)值的是，提供用于確保在操作員活動(dòng)的預(yù)期范圍內(nèi)的局部對(duì)比度或顯著特征穩(wěn)定性的技術(shù)(為了傳統(tǒng)光學(xué)裝置不適當(dāng)?shù)哪康?。當(dāng)描述如本文系統(tǒng)中所使用的在擴(kuò)展的景深中提取三維信息時(shí)，到場(chǎng)景中的點(diǎn)的距離能夠根據(jù)該點(diǎn)在同時(shí)捕獲的兩個(gè)或更多個(gè)圖像中的位置而被估計(jì)。當(dāng)已知成像器之間的3D關(guān)系時(shí)，能夠根據(jù)基本的幾何關(guān)系來(lái)計(jì)算點(diǎn)的三維(3D)位置。經(jīng)常稱(chēng)為立體相關(guān)或立體深度計(jì)算的根據(jù)多個(gè)圖像計(jì)算空間位置的挑戰(zhàn)是，自動(dòng)地和精確地將在一個(gè)圖像中的點(diǎn)的映射與在另一圖像中的映射相關(guān)聯(lián)。這通常是通過(guò)將來(lái)自一個(gè)圖像的圖像特征與一個(gè)或更多個(gè)其它特征相互關(guān)聯(lián)來(lái)完成的。但是，所有立體匹配方法中的基礎(chǔ)的假設(shè)是，為了將該點(diǎn)與其在另一圖像中的位置相匹配，圖像中必須存在某個(gè)可識(shí)別的局部對(duì)比度或特征。因此，當(dāng)由于散焦而在圖像中不存在具備對(duì)比度或特征時(shí)，問(wèn)題出現(xiàn)了一立體匹配在散焦的圖像的區(qū)域中不產(chǎn)生準(zhǔn)確的結(jié)果。用于擴(kuò)展圖像的焦點(diǎn)深度的傳統(tǒng)方法是減少攝像機(jī)鏡頭光瞳的直徑(“縮小光圈 (stopping down)”)。但是，兩個(gè)副作用限制了該技術(shù)的有用性。首先，與光瞳直徑比的平方相等的因子降低了成像系統(tǒng)的靈敏度。第二，與光瞳直徑比相等的因子降低了最大空間頻率響應(yīng)，其限制圖像的分辨率和對(duì)比度。因此，在傳統(tǒng)成像系統(tǒng)中，在景深、曝光時(shí)間、和整體對(duì)比度之間存在權(quán)衡。在多攝像機(jī)排列(ranging)系統(tǒng)的情況下，最后效果將是立體深度與工作范圍之間的折衷。增加景深而不縮小鏡頭光圈的替換方法是引入在攝像機(jī)鏡頭光瞳方面的指定規(guī)定的相位掩模(Phase mask) 0通過(guò)適當(dāng)選擇相位函數(shù)，傳感器上捕獲的圖像的后續(xù)電子處理能夠恢復(fù)擴(kuò)展的景深。被稱(chēng)為波前編碼的這種技術(shù)通常提供了在景深、攝像機(jī)動(dòng)態(tài)范圍、 和信噪比之間的折衷。波前編碼使為特定應(yīng)用優(yōu)化攝像機(jī)參數(shù)成為可能。不需要非常高的動(dòng)態(tài)范圍以及其中的照明處于用戶控制之下的應(yīng)用，例如本文中描述的姿勢(shì)識(shí)別，能夠極大地從波前編碼中獲益以在規(guī)定容積的空間中取得高準(zhǔn)確度。
如以上描述的，實(shí)施例的系統(tǒng)包括這樣的技術(shù)在該技術(shù)中，使用多個(gè)波前編碼攝像機(jī)的處理后的輸出來(lái)確定選擇的對(duì)象在場(chǎng)景中的位置。由波前編碼引用的擴(kuò)展的景深能用于多個(gè)應(yīng)用，包括姿勢(shì)識(shí)別和其它基于任務(wù)的成像工作的廣闊的陣列，以顯著地提供其性能。盡管需要最少兩個(gè)攝像機(jī)，但是該實(shí)施例中能夠使用的攝像機(jī)的數(shù)量沒(méi)有上限。場(chǎng)景提取能夠包括用于具有兩個(gè)或更多個(gè)攝像機(jī)的范圍提取的多個(gè)處理技術(shù)中的任意一個(gè) (例如相關(guān))。本文中描述的實(shí)施例包括所有的波前編碼相位函數(shù)及其相應(yīng)的解碼內(nèi)核，其中，解碼內(nèi)核在處理后導(dǎo)致擴(kuò)展的景深。如在波前編碼成像系統(tǒng)中所使用的，波前編碼是使用一般化的非球面光學(xué)裝置和數(shù)字信號(hào)處理來(lái)極大地提高成像系統(tǒng)的性能和/或減少成像系統(tǒng)的成本的通常技術(shù)。采用的非球面光學(xué)裝置的類(lèi)型導(dǎo)致對(duì)散焦相關(guān)的相差(aberration)不敏感的光學(xué)成像特性。 但是，從光學(xué)裝置沒(méi)有直接產(chǎn)生銳利和清晰的圖像，施加到采樣圖像的數(shù)字信號(hào)處理產(chǎn)生銳利和清晰的最終圖像，最終圖像也對(duì)散焦相關(guān)的相差不敏感。使用波前編碼來(lái)極大地提高成像性能，同時(shí)還減小成像系統(tǒng)的大小、重量和成本。 波前編碼以基礎(chǔ)的方式來(lái)組合無(wú)旋轉(zhuǎn)對(duì)稱(chēng)的非球面光學(xué)元件和數(shù)字信號(hào)處理，以極大地?cái)U(kuò)展成像系統(tǒng)的景深。例如，對(duì)于給定的光圈大小或F/#，與傳統(tǒng)的成像系統(tǒng)相比，利用波前編碼，成像系統(tǒng)的景深或焦點(diǎn)深度能提高十倍或更多倍。實(shí)施例的波前編碼光學(xué)元件為相表面，并且同樣地不吸收光或者不增加曝光或照明要求。關(guān)于傳統(tǒng)成像技術(shù)，如果沒(méi)有光強(qiáng)度的驚人損失，例如要求縮小光圈，則這樣的擴(kuò)展景深性能是不可能的。增加的景深/焦點(diǎn)深度通過(guò)控制散焦相關(guān)的像差，還能夠使成像系統(tǒng)在物理上更便宜、更小或更輕，而傳統(tǒng)上是通過(guò)添加鏡頭元件或增加鏡頭復(fù)雜度來(lái)控制散焦相關(guān)的像差。能夠用波前編碼來(lái)控制的散焦相關(guān)的像差包括色像差(chromatic aberration)、匹茲堡彎曲(Petzval curvature)、散光(astigmatism)、球面像差(spherical aberration)以及溫度相關(guān)的散焦。作為混合成像方法的波前編碼組合了光學(xué)器件和電子器件以增加景深，并且減少光學(xué)元件的數(shù)量、制造公差(fabrication tolerance)、和整體的系統(tǒng)成本。圖21是根據(jù)實(shí)施例的在基于姿勢(shì)的控制系統(tǒng)中使用的波前編碼成像系統(tǒng)2100的方框圖。波前編碼成像系統(tǒng)2100的光學(xué)部2101是利用放置在孔徑光闌附近的波前編碼光學(xué)元件2102修改后的傳統(tǒng)光學(xué)系統(tǒng)或攝像機(jī)。添加編碼光學(xué)元件導(dǎo)致具有專(zhuān)門(mén)的、定義明確的模糊或點(diǎn)擴(kuò)散函數(shù)的圖像，其中該模糊或點(diǎn)擴(kuò)散函數(shù)對(duì)散焦不敏感。施加到采樣圖像的數(shù)字處理2103產(chǎn)生銳利的和清晰的圖像2104，圖像2104對(duì)散焦作用非常不敏感。圖22是根據(jù)實(shí)施例的用于使用包括兩臺(tái)波前編碼攝像機(jī)的波前編碼成像系統(tǒng)來(lái)在擴(kuò)展的景深上提取三維信息的基于姿勢(shì)的控制系統(tǒng)2200的方框圖。系統(tǒng)2200包括如以上參考圖21所描述的至少兩個(gè)波前編碼攝像機(jī)2201、2202。處理器被耦合以接收波前編碼攝像機(jī)2201、2202的輸出，以及對(duì)攝像機(jī)輸出執(zhí)行數(shù)據(jù)處理。數(shù)據(jù)處理包括，僅舉幾個(gè)示例，去卷積2220和范圍提取2230、以及生成擴(kuò)展焦點(diǎn)范圍的圖2240。在波前編碼系統(tǒng)2200中，系統(tǒng)的光學(xué)部分(例如，波前編碼攝像機(jī)2201、2202)對(duì)結(jié)果圖像進(jìn)行“編碼(code)”以產(chǎn)生中間圖像2210。因?yàn)椴ㄇ熬幋a元件(例如，圖21，元件 2102)有目的地使任何圖像中的所有點(diǎn)變模糊，中間圖像2210顯得散焦。在這樣的中間圖像2210中，使視野中的幾乎所有對(duì)象變模糊，但是相等地使其變模糊。相反，傳統(tǒng)的光學(xué)器件通常形成具有可變模糊函數(shù)的圖像，其中，該可變模糊函數(shù)取決于到場(chǎng)景中的每個(gè)對(duì)象的距離。為了從中間的波前編碼的圖像2210中產(chǎn)生銳利的和清晰的圖像，使用電子器件 (例如，波前編碼數(shù)字信號(hào)處理)來(lái)通過(guò)去除系統(tǒng)相關(guān)的圖像模糊，對(duì)模糊的中間圖像進(jìn)行處理或“解碼(decode) ”2220、2230。能夠通過(guò)軟件或利用專(zhuān)用硬件解決方案來(lái)實(shí)時(shí)地執(zhí)行
數(shù)字濾波。實(shí)施例的系統(tǒng)光學(xué)器件包括如以上參考圖21所描述的、具有至少一個(gè)執(zhí)行波前編碼功能的附加光學(xué)元件的傳統(tǒng)組件。將該元件放置在光學(xué)路徑上，通常在系統(tǒng)的孔徑光闌附近，以使?jié)u暈(vignetting)最小化。對(duì)檢測(cè)到的圖像執(zhí)行的信號(hào)處理取決于光學(xué)器件、波前編碼元件、和數(shù)字檢測(cè)器的第一階屬性(first-order property) 0盡管能使用衍射表面，但是一般的波前編碼元件是無(wú)旋轉(zhuǎn)對(duì)稱(chēng)的和光滑的。元件可以是分立組件，或者通過(guò)添加一般化的非球形表面能夠?qū)⒃傻絺鹘y(tǒng)的鏡頭元件上。所有的編碼元件對(duì)光進(jìn)行重定向，使得除了同軸(on-axis)光線之外沒(méi)有光線向傳統(tǒng)的幾何焦點(diǎn)傳播。實(shí)際上，沒(méi)有兩條光線正沿著光軸向同一點(diǎn)傳播。系統(tǒng)不在任何圖像平面上形成清晰的圖像。波前編碼成像系統(tǒng)的光學(xué)器件部分的主要作用是使結(jié)果圖像對(duì)焦點(diǎn)相關(guān)的像差， 例如散焦、球面像差(spherical aberration)、散光(astigmatism)或像場(chǎng)彎曲(field curvature)不敏感。中間的模糊圖像對(duì)對(duì)象或成像系統(tǒng)中由散焦像差組成的改變不敏感或無(wú)變化。從系統(tǒng)分析的觀點(diǎn)來(lái)看，波前編碼系統(tǒng)的調(diào)制傳遞函數(shù)(MFT)和點(diǎn)擴(kuò)散函數(shù)(PSF) 是相對(duì)于散焦無(wú)變化的。盡管來(lái)自波前編碼系統(tǒng)的中間圖像MTF示出很少隨散焦而改變，這樣的MTF與焦點(diǎn)對(duì)準(zhǔn)的傳統(tǒng)系統(tǒng)相比的確具有減小的光強(qiáng)度。由于沒(méi)有使用孔障(apodization)，所以保持了總的光強(qiáng)度。使用數(shù)字濾波或圖像重構(gòu)處理來(lái)形成清晰的圖像。這些最終的MTF對(duì)散焦非常不敏感一因此，波前編碼成像系統(tǒng)具有非常大的景深。類(lèi)似的，來(lái)自波前編碼系統(tǒng)的中間PSF不同于傳統(tǒng)的系統(tǒng)PSF，而是中間PSF隨著散焦的改變而很少改變。再次參考圖21，將特殊目的的非球面光學(xué)元件放置在傳統(tǒng)的成像系統(tǒng)的孔徑光闌上或附近，以形成波前編碼成像系統(tǒng)。該光學(xué)元件以這樣的方式修改了成像系統(tǒng)結(jié)果PSF 和光學(xué)傳遞函數(shù)(OTF)對(duì)散焦的范圍或散焦相關(guān)的像差的范圍不敏感。但是，PSF和OTF與用優(yōu)質(zhì)的焦點(diǎn)對(duì)準(zhǔn)的成像系統(tǒng)所獲得的PSF和OTF不相同。使成像系統(tǒng)對(duì)散焦像差不敏感的過(guò)程產(chǎn)生了具有專(zhuān)門(mén)的、定義明確的模糊的圖像；用波前編碼數(shù)字信號(hào)處理來(lái)去除該模糊。例如，來(lái)自傳統(tǒng)成像系統(tǒng)的PSF隨著散焦而劇烈地改變，而來(lái)自波前編碼成像系統(tǒng)的PSF隨著散焦幾乎沒(méi)有示出明顯的改變。去除施加到散焦的傳統(tǒng)成像系統(tǒng)的散焦模糊的數(shù)字處理，使用取決于圖像的不同區(qū)域中所呈現(xiàn)的散焦的數(shù)量的處理。在許多情形下，不知道而且難以計(jì)算散焦的數(shù)量。另外，散焦的傳統(tǒng)成像系統(tǒng)的MTF經(jīng)?？梢园慊蚩?，零或空進(jìn)一步增加了數(shù)字處理的困難。相反，來(lái)自波前編碼系統(tǒng)的PSF隨著散焦而不變的特性正是消除數(shù)字處理與散焦的相關(guān)性所需要的。施加到電荷耦合器件(CCD)檢測(cè)到的或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)檢測(cè)到的圖像的數(shù)字處理與散焦和被成像的實(shí)際場(chǎng)景無(wú)關(guān)。 另外，波前編碼成像系統(tǒng)的MTF，焦點(diǎn)對(duì)準(zhǔn)的和散焦的，均不包含零或空，從而允許高質(zhì)量的最終圖像。
用于擴(kuò)展景深的波前編碼能夠?qū)⒅堤砑拥絺鹘y(tǒng)方法(即，縮小光圈)一般不可接受的成像應(yīng)用中。對(duì)照明水平、曝光時(shí)間、或空間分辨率的約束經(jīng)常限制了之前光學(xué)方法的應(yīng)用。通過(guò)使用波前編碼，應(yīng)用能享受更少的散焦相關(guān)的問(wèn)題，而不會(huì)犧牲曝光時(shí)間或要求大量的照明。如以上所描述的，波前編碼成像系統(tǒng)包括如非傳統(tǒng)的光學(xué)設(shè)計(jì)和結(jié)果圖像的數(shù)字信號(hào)處理。使用的數(shù)字信號(hào)處理取決于特定的光學(xué)系統(tǒng)。波前編碼光學(xué)器件取決于要使用的信號(hào)處理的類(lèi)型和數(shù)量。由于光學(xué)器件和信號(hào)處理緊密耦合，期待這樣的系統(tǒng)的最佳性能是自然的在這樣的系統(tǒng)中，在設(shè)計(jì)期間聯(lián)合地優(yōu)化系統(tǒng)的光學(xué)組件和數(shù)字組件。光學(xué)組件被配置成使光學(xué)器件對(duì)散焦作用的改變或靈敏度最小化，以及使得能夠進(jìn)行有效的信號(hào)處理。數(shù)字組件被配置成使算法復(fù)雜度、處理時(shí)間和數(shù)字處理對(duì)圖像噪音的影響最小化。圖23是根據(jù)實(shí)施例的用于在擴(kuò)展的景深上提取三維信息的基于姿勢(shì)的控制系統(tǒng)的流程圖。實(shí)施例的基于姿勢(shì)的控制包括用成像系統(tǒng)對(duì)身體進(jìn)行成像2302。成像2302包括生成身體的波前編碼圖像。實(shí)施例的基于姿勢(shì)的控制包括自動(dòng)檢測(cè)2304身體的姿勢(shì)，姿勢(shì)包括身體的即時(shí)狀態(tài)。檢測(cè)2304包括即時(shí)地聚集姿勢(shì)的姿勢(shì)數(shù)據(jù)。姿勢(shì)數(shù)據(jù)包括在成像系統(tǒng)的景深中的身體的焦點(diǎn)分辨的數(shù)據(jù)。實(shí)施例的基于姿勢(shì)的控制包括將姿勢(shì)轉(zhuǎn)換成2306 姿勢(shì)信號(hào)。實(shí)施例的基于姿勢(shì)的控制包括響應(yīng)于姿勢(shì)信號(hào)對(duì)耦合到計(jì)算機(jī)的組件進(jìn)行控制 2308。實(shí)施例的波前編碼的基本例程能夠包括通過(guò)通常的球形或非球形表面以及一般的波前編碼表面形式來(lái)追蹤光線的光線追蹤(ray-trace)程序。使用光線追蹤程序計(jì)算退出光瞳以及優(yōu)化光學(xué)和數(shù)字品質(zhì)函數(shù)或操作數(shù)的給定集合。圖24是根據(jù)實(shí)施例的在基于姿勢(shì)的控制系統(tǒng)中使用的波前編碼設(shè)計(jì)過(guò)程2400的方框圖。該設(shè)計(jì)的輸出包括但不限于以下傳統(tǒng)的光學(xué)表面、材料、厚度、和間距；波前編碼表面的參數(shù)；以及數(shù)字濾波器系數(shù)?，F(xiàn)在描述一般的光學(xué)/數(shù)字設(shè)計(jì)的循環(huán)。光線追蹤程序2402通過(guò)光學(xué)表面追蹤光學(xué)以計(jì)算退出光瞳光程差(OPD) 2404，以及優(yōu)化光學(xué)和數(shù)字品質(zhì)函數(shù)或操作數(shù)的給定集合。 光線追蹤程序2402的輸入包括，僅舉幾個(gè)示例，光學(xué)表面、厚度、和運(yùn)行條件(波長(zhǎng)、視野、 溫度范圍、采樣對(duì)象圖像等)。計(jì)算或生成2406 0TF，以及添加2408與檢測(cè)器幾何形狀相關(guān)的像素0TF。計(jì)算采樣的OTF和PSF?；诓蓸拥腜SF，針對(duì)選擇的處理算法，生成2412 數(shù)字濾波器系數(shù)。處理通過(guò)形成濾波器的基于以下最小化的品質(zhì)因數(shù)而繼續(xù)采樣的PSF 和MTF通過(guò)焦點(diǎn)的改變、采樣的PSF和MTF隨視場(chǎng)角的改變、采樣的PSF和MTF隨顏色的改變、采樣的PSF和MTF由于溫度改變的改變、采樣的PSF和MTF由于圖形失真的改變等；數(shù)字處理參數(shù)，例如處理數(shù)量、處理形式、處理相關(guān)的圖像噪音、數(shù)字濾波器噪音增益等。通過(guò)優(yōu)化例程將波前編碼操作數(shù)與傳統(tǒng)的光學(xué)操作數(shù)(賽德?tīng)?Seidel)波前像差，RMS波前誤差等)相組合以修改光學(xué)表面。操作返回到經(jīng)由傳統(tǒng)的光線追蹤來(lái)生成2402退出光瞳光程差(OPD)。將理論上計(jì)算的波前編碼表面形式用作光學(xué)優(yōu)化的開(kāi)始點(diǎn)。矩形地可分離的表面形式的一個(gè)一般族(family)以標(biāo)準(zhǔn)化坐標(biāo)系給出為S(x) = I β |sign(x) |x| °其中，對(duì)于χ > 0，sign(x) =+1，以及，對(duì)于χ 彡 0，sign(x) =-1。
指數(shù)參數(shù)α控制在散焦的范圍內(nèi)的MTF的高度，以及參數(shù)β控制散焦的靈敏度。 一般，增加參數(shù)β減少了散焦的靈敏度，同時(shí)減少了 MTF的高度以及增加了結(jié)果PSF的長(zhǎng)度。用于重建中間圖像和產(chǎn)生最終圖像的濾波過(guò)程能夠強(qiáng)加計(jì)算負(fù)擔(dān)。取決于光學(xué)系統(tǒng)和由編碼過(guò)程引入的景深的增加，圖像重建所需要的濾波器內(nèi)核的大小可以與70X70 系數(shù)一樣大。一般，景深擴(kuò)展越大，濾波器內(nèi)核越大，而且噪音惡化或噪音增益越大。而且， 因?yàn)椴ㄇ熬幋a使圖像中的每個(gè)像素變模糊，所以每個(gè)像素需要被濾波；因此，更大的圖像能夠比更小的圖像需要更多的計(jì)算。隨著圖像大小接近數(shù)千萬(wàn)像素，高效的計(jì)算解決方案用于實(shí)際的和經(jīng)濟(jì)的系統(tǒng)。計(jì)算實(shí)現(xiàn)，例如矩形地可分離的濾波器逼近，能夠幫助減小內(nèi)核尺寸。例如，波前編碼元件能夠具有矩形地可分離的立方相形式，該立方相形式被描述為S (x, y) = a (x3+y3)對(duì)模糊的圖像進(jìn)行濾波以去除模糊，實(shí)質(zhì)上強(qiáng)加了根據(jù)空間頻率的放大和相移。 該放大增加了最終圖像中的信號(hào)還有噪音。對(duì)于非常大的景深增加，例如10倍以上，波前編碼系統(tǒng)中的噪音增益可以是四倍或五倍。對(duì)于兩倍或四倍的更溫和的景深增加，噪音增益通常為兩倍或更少。對(duì)于不相關(guān)的高斯噪音(對(duì)大多數(shù)圖像的好的假設(shè))，噪音增益是濾波器系數(shù)的 RMS值。對(duì)于景深擴(kuò)展太大而不能產(chǎn)生合適的小噪音增益值的系統(tǒng)，減小數(shù)字濾波器的分辨率或空間帶寬能減小噪音增益。減小最終圖像中的對(duì)比度也能夠減小增加的噪音的整體影響。專(zhuān)門(mén)的非線性濾波是用于去除波前編碼圖像中的噪音的最佳解決方案。因?yàn)閷?shí)施例中的用于形成MTF和PSF的波前編碼光學(xué)元件是矩形地可分離的，所以使用的信號(hào)處理也可以是矩形地可分離的。矩形地可分離的處理能夠以一個(gè)數(shù)量級(jí)或更多地減少所需要的計(jì)算數(shù)量。由于用空間卷積來(lái)執(zhí)行數(shù)字濾波的事實(shí)，實(shí)施例的計(jì)算方法包括在整個(gè)內(nèi)核上的一系列的通過(guò)濾波器系數(shù)來(lái)縮放數(shù)據(jù)的乘法和將所有縮放后的數(shù)據(jù)值加在一起的求和。這種計(jì)算的基礎(chǔ)單元是乘法累加(multiply-accumulate)操作。用于大的景深增加的通常的2-D波前編碼濾波器內(nèi)核可以是30X30系數(shù)。該濾波器的矩形可分離版本會(huì)包含長(zhǎng)為30系數(shù)的行濾波器和高為30系數(shù)的列濾波器，或包括總共60系數(shù)。 盡管波前編碼元件在設(shè)計(jì)中可以是矩形地可分離的，但是其不限于如此，而且高像差的系統(tǒng)可以使用不可分離的濾波。通過(guò)將光學(xué)成像技術(shù)與電子濾波相組合，波前編碼技術(shù)能夠提高廣闊范圍的成像系統(tǒng)的性能。高性能成像系統(tǒng)中的性能增益能夠包括非常大的景深，而不會(huì)犧牲聚光或空間分辨率。低成本成像系統(tǒng)中的性能增益能夠包括好的圖像質(zhì)量，而具有比傳統(tǒng)所需要的更少的物理組件。一致的虛擬/顯示及物理空間如以上所描述的，實(shí)施例的SOE包括用于檢測(cè)、表示和解釋三維空間輸入的系統(tǒng)和方法。在SOE的上下文中，系統(tǒng)的實(shí)施例處理來(lái)自多個(gè)空間追蹤數(shù)據(jù)源的低水平數(shù)據(jù)，以及分析這些語(yǔ)義上不相關(guān)的時(shí)空數(shù)據(jù)，以及根據(jù)動(dòng)態(tài)可配置的顯式和隱式姿勢(shì)描述的集合來(lái)生成高水平的姿勢(shì)事件。產(chǎn)生的事件適合于被交互系統(tǒng)消費(fèi)，以及實(shí)施例提供了用于控制和實(shí)現(xiàn)到這些消費(fèi)者的事件分發(fā)的一個(gè)或更多個(gè)機(jī)制。實(shí)施例還向其事件的消費(fèi)者提供了用于在任意的空間和語(yǔ)義參考幀之間傳輸姿勢(shì)事件的設(shè)備。
系統(tǒng)可以提供一種環(huán)境，其中在一個(gè)或多個(gè)顯示設(shè)備(“屏幕”)上描繪的虛擬空間被當(dāng)作與系統(tǒng)的一個(gè)或多個(gè)操作員所處的物理空間一致來(lái)處理。在此描述這種環(huán)境的一個(gè)實(shí)施例。該當(dāng)前實(shí)施例包括在固定位置處由三個(gè)投影儀驅(qū)動(dòng)的屏幕，由單個(gè)臺(tái)式計(jì)算機(jī)驅(qū)動(dòng)，并且使用這里所描述的姿勢(shì)詞匯和接口系統(tǒng)來(lái)控制。然而，應(yīng)注意，所描述的技術(shù)支持任何數(shù)量的屏幕；這些屏幕可以是移動(dòng)的(而非固定的)；屏幕可以被許多獨(dú)立的計(jì)算機(jī)同時(shí)驅(qū)動(dòng)；且整個(gè)系統(tǒng)可以由任何輸入設(shè)備或技術(shù)來(lái)控制。本公開(kāi)中描述的接口系統(tǒng)應(yīng)具有確定屏幕在物理空間中的尺度、取向以及位置的裝置。給定該信息，系統(tǒng)能夠動(dòng)態(tài)地將物理空間映射到在系統(tǒng)上運(yùn)行的計(jì)算機(jī)應(yīng)用的虛擬空間中，屏幕位于物理空間(且系統(tǒng)的操作員處于其中)中，這些屏幕作為投影。作為該自動(dòng)映射的部分，系統(tǒng)還根據(jù)系統(tǒng)所掌管的應(yīng)用的需要，以多種方式來(lái)轉(zhuǎn)換兩個(gè)空間的比例、 角度、深度、尺度以及其它空間特性。在物理和虛擬空間之間的這種連續(xù)的轉(zhuǎn)換使得可以連貫且普遍地使用在現(xiàn)有的應(yīng)用平臺(tái)上難以實(shí)現(xiàn)的多種接口技術(shù)，或者必須針對(duì)現(xiàn)有平臺(tái)上運(yùn)行的每個(gè)應(yīng)用來(lái)逐件執(zhí)行。這些技術(shù)包括(但不限于)1)使用“精確指向” 一在姿勢(shì)接口環(huán)境中使用手，或使用物理指向工具或設(shè)備一作為普遍和自然的接口技術(shù)。2)自動(dòng)補(bǔ)償屏幕的移動(dòng)或重新定位。3)依賴(lài)于操作員位置而變化的圖形呈現(xiàn)，例如模仿視差移動(dòng)以增強(qiáng)深度感。4)在屏上顯示中包含物理物體一考慮真實(shí)世界的位置、取向、狀態(tài)等。例如，站在大且不透明的屏幕前的操作員可以看見(jiàn)應(yīng)用圖形以及屏幕后面的比例模型的真實(shí)位置的表示(以及也許移動(dòng)的或改變的取向)。重要的是應(yīng)該注意，精確指向不同于在基于鼠標(biāo)的窗口接口以及大多數(shù)其它當(dāng)代系統(tǒng)中使用的抽象指向。在那些系統(tǒng)中，操作員必須學(xué)會(huì)管理虛擬指針和物理指向設(shè)備之間的轉(zhuǎn)換，并且必須在兩個(gè)之間進(jìn)行可認(rèn)知地映射。與之對(duì)照，在本公開(kāi)所描述的系統(tǒng)中，無(wú)論從應(yīng)用或用戶角度，在虛擬和物理空間之間沒(méi)有不同(除了虛擬空間更服從于數(shù)學(xué)處理)，因此對(duì)操作員沒(méi)有認(rèn)知轉(zhuǎn)換的需求。與這里所描述的實(shí)施例所提供的精確指向的最類(lèi)似的是觸敏屏(例如，如許多 ATM機(jī)器上所發(fā)現(xiàn)的)。觸敏屏提供屏幕上的兩維顯示空間和屏幕表面的兩維輸入空間之間的一到一映射。以類(lèi)似方式，這里所描述的系統(tǒng)提供顯示在一個(gè)或多個(gè)屏幕上的虛擬空間和操作員所處于的物理空間之間的靈活映射(可能是，但不一定是，一到一)。盡管類(lèi)似是有用的，應(yīng)該理解的是，將該“影射方法”擴(kuò)展到三維、任意大的結(jié)構(gòu)環(huán)境以及多個(gè)屏幕并非是微不足道的。除了這里所描述的組成之外，系統(tǒng)還可以實(shí)施在環(huán)境的物理空間和每個(gè)屏幕上的顯示空間之間執(zhí)行連續(xù)、系統(tǒng)級(jí)映射(也許通過(guò)旋轉(zhuǎn)、平移、比例縮放或其它幾何變換來(lái)修改)的算法。描繪堆棧(rendering stack)，其獲得計(jì)算的物體以及映射，并輸出虛擬空間的圖形表示。輸入事件處理堆棧，其從控制系統(tǒng)獲得事件數(shù)據(jù)(在當(dāng)前的實(shí)施例中，來(lái)自系統(tǒng)和鼠標(biāo)輸入的姿勢(shì)和指向數(shù)據(jù)二者)并將來(lái)自輸入事件的空間數(shù)據(jù)映射到虛擬空間中的坐標(biāo)。經(jīng)轉(zhuǎn)換的事件隨后被傳遞到正在運(yùn)行的應(yīng)用?！澳z層(glue layer)”，其允許系統(tǒng)掌管在局域網(wǎng)上的幾個(gè)計(jì)算機(jī)之上運(yùn)行的應(yīng)用。如以下詳細(xì)描述的，本文中將空間連續(xù)的輸入系統(tǒng)的實(shí)施例描述為包括基于網(wǎng)絡(luò)的數(shù)據(jù)表示、發(fā)送、和交換，其包括被稱(chēng)為“原生質(zhì)(Plasma)”的系統(tǒng)，其中，該“原生質(zhì) (plasma)”包括子系統(tǒng)“色拉(slaw)”、“蛋白質(zhì)(protein) ”和“池(pool)”。池和蛋白質(zhì)是本文中描述的用于封裝將要在進(jìn)程之間和跨越進(jìn)程共享的數(shù)據(jù)的方法和系統(tǒng)的組件。這些機(jī)制除了蛋白質(zhì)和池之外，還包括色拉(多個(gè)色拉)。一般，色拉提供最低水平的進(jìn)程間交換的數(shù)據(jù)定義，蛋白質(zhì)提供中等水平的用于查詢(xún)和過(guò)濾的結(jié)構(gòu)和鉤子(hook)，而池則提供高水平的組織和訪問(wèn)語(yǔ)義。色拉包括有效的、不依賴(lài)于平臺(tái)的數(shù)據(jù)表示和訪問(wèn)的機(jī)制。蛋白質(zhì)提供使用色拉作為有效載荷的數(shù)據(jù)封裝和傳輸方案。池在進(jìn)程在內(nèi)、在本地進(jìn)程當(dāng)中、 跨越遠(yuǎn)程或分布式進(jìn)程之間的網(wǎng)絡(luò)并且經(jīng)由較長(zhǎng)期(例如在盤(pán)上等)存儲(chǔ)提供蛋白質(zhì)的結(jié)構(gòu)化并且靈活的聚集、排序、過(guò)濾和分發(fā)。本文中描述的實(shí)施例的配置和實(shí)現(xiàn)包括幾個(gè)一起使得能夠具有眾多能力的構(gòu)造。 例如，如以上所描述的，本文中描述的實(shí)施例提供了數(shù)據(jù)在大量進(jìn)程之間的有效交換。本文中描述的實(shí)施例還提供了靈活的數(shù)據(jù)“定型(typing) ”和結(jié)構(gòu)，以便支持?jǐn)?shù)據(jù)的廣泛變化的種類(lèi)和使用。另外，本文中描述的實(shí)施例包括全都由基本上類(lèi)似的應(yīng)用程序編程接口(API) 驅(qū)動(dòng)的用于數(shù)據(jù)交換(例如本地存儲(chǔ)器、盤(pán)、網(wǎng)絡(luò)等)的靈活機(jī)制。此外，描述的實(shí)施例使得能夠進(jìn)行以不同的編程語(yǔ)言編寫(xiě)的進(jìn)程之間的數(shù)據(jù)交換。另外，本文中描述的實(shí)施例使得能夠自動(dòng)維護(hù)數(shù)據(jù)緩存和聚集狀態(tài)。圖25是根據(jù)實(shí)施例的包括使用色拉、蛋白質(zhì)和池的數(shù)據(jù)表示的處理環(huán)境的框圖。 在此提供的實(shí)施例的主要構(gòu)造包括色拉(多個(gè)色拉)、蛋白質(zhì)和池。如在此描述的色拉包括用于有效的不依賴(lài)于平臺(tái)的數(shù)據(jù)表示和訪問(wèn)的機(jī)制。如在此詳細(xì)描述的蛋白質(zhì)提供數(shù)據(jù)封裝和傳輸方案，并且實(shí)施例的蛋白質(zhì)的有效載荷包括色拉。如在此描述的池提供蛋白質(zhì)的結(jié)構(gòu)化但卻靈活的聚集、排序、過(guò)濾和分發(fā)。池在進(jìn)程之內(nèi)、在本地進(jìn)程當(dāng)中、跨越遠(yuǎn)程或分布式進(jìn)程之間的網(wǎng)絡(luò)并且經(jīng)由“較長(zhǎng)期”(例如盤(pán)上)存儲(chǔ)借助于蛋白質(zhì)提供對(duì)數(shù)據(jù)的訪問(wèn)。圖26是根據(jù)實(shí)施例的蛋白質(zhì)的框圖。蛋白質(zhì)包括長(zhǎng)度頭部、記述和攝取。如下面詳細(xì)描述的那樣，記述和攝取中的每一個(gè)都包括一個(gè)或多個(gè)色拉。圖27是根據(jù)實(shí)施例的記述的框圖。如下面詳細(xì)描述的那樣，記述包括偏移、長(zhǎng)度和色拉。圖28是根據(jù)實(shí)施例的攝取的框圖。如下面詳細(xì)描述的那樣，攝取包括偏移、長(zhǎng)度和色拉。圖29是根據(jù)實(shí)施例的色拉的框圖。如下面詳細(xì)描述的那樣，色拉包括類(lèi)型頭部和類(lèi)型專(zhuān)用數(shù)據(jù)。圖30A是根據(jù)實(shí)施例的池中蛋白質(zhì)的框圖。蛋白質(zhì)包括長(zhǎng)度頭部(“蛋白質(zhì)長(zhǎng)度”)、記述偏移、攝取偏移、記述和攝取。記述包括偏移、長(zhǎng)度和色拉。攝取包括偏移、長(zhǎng)度和色拉。如在此描述的蛋白質(zhì)是用于封裝數(shù)據(jù)的機(jī)制，數(shù)據(jù)需要在進(jìn)程之間共享，或者需要跨越總線或網(wǎng)絡(luò)或其它處理結(jié)構(gòu)而移動(dòng)。作為例子，蛋白質(zhì)提供了用于傳輸和操縱數(shù)據(jù)的改進(jìn)機(jī)制，數(shù)據(jù)包括對(duì)應(yīng)于或者關(guān)聯(lián)于用戶接口事件的數(shù)據(jù)；特別地，實(shí)施例的用戶接口事件包括以上描述的姿勢(shì)接口的用戶接口事件。作為進(jìn)一步的例子，蛋白質(zhì)提供了用于傳輸和操縱數(shù)據(jù)的改進(jìn)機(jī)制，數(shù)據(jù)包括但不限于圖形數(shù)據(jù)或事件以及狀態(tài)信息，這只是舉幾個(gè)例子。蛋白質(zhì)是結(jié)構(gòu)化的記錄格式和用于操縱記錄的方法的相關(guān)集合。如在此使用的記錄的操縱包括將數(shù)據(jù)放到結(jié)構(gòu)中、將數(shù)據(jù)從結(jié)構(gòu)取出以及查詢(xún)數(shù)據(jù)的格式和存在。蛋白質(zhì)配置成經(jīng)由以多種計(jì)算機(jī)語(yǔ)言編寫(xiě)的代碼來(lái)使用。如在此描述的那樣，蛋白質(zhì)還配置成用于池的基本構(gòu)筑塊。進(jìn)而，蛋白質(zhì)配置成天然地能夠在處理器之間并跨越網(wǎng)絡(luò)移動(dòng)，同時(shí)維持它們包括的數(shù)據(jù)原封不動(dòng)。與傳統(tǒng)的數(shù)據(jù)傳輸機(jī)制形成對(duì)照，蛋白質(zhì)是未定型的。在未定型的同時(shí)，蛋白質(zhì)提供了強(qiáng)大且靈活的模式匹配設(shè)施，在其上實(shí)施“類(lèi)型相似”功能。如在此描述的那樣配置的蛋白質(zhì)還固有地為多點(diǎn)(盡管作為多點(diǎn)傳輸?shù)淖蛹菀讓?shí)現(xiàn)點(diǎn)對(duì)點(diǎn)形式)。另外，蛋白質(zhì)定義了“通用”記錄格式，其例如在存儲(chǔ)器內(nèi)、盤(pán)上和線(網(wǎng)絡(luò))上格式之間并無(wú)不同(或者僅在所執(zhí)行的可選優(yōu)化的類(lèi)型方面不同)。參考圖26和30A，實(shí)施例的蛋白質(zhì)是字節(jié)的線性序列。在這些字節(jié)之內(nèi)封裝有記述列表和被稱(chēng)為攝取的關(guān)鍵值對(duì)的集合。記述列表包括任意精細(xì)但卻有效可過(guò)濾的每個(gè)蛋白質(zhì)事件描述。攝取包括關(guān)鍵值對(duì)的集合，其包括蛋白質(zhì)的實(shí)際內(nèi)容。蛋白質(zhì)與關(guān)鍵值對(duì)以及關(guān)于網(wǎng)絡(luò)友好和多點(diǎn)數(shù)據(jù)交換的某些核心思想的相關(guān)性， 與給予“元組(tuple) ”的概念特權(quán)的較早系統(tǒng)(例如Linda、Jini)共享。蛋白質(zhì)與面向元組的系統(tǒng)在幾個(gè)主要方面不同，包括使用記述列表以提供標(biāo)準(zhǔn)的可優(yōu)化的模式匹配基底 (substrate)。蛋白質(zhì)還與面向元組的系統(tǒng)在適合于多種存儲(chǔ)和語(yǔ)言構(gòu)造的記錄格式的嚴(yán)格規(guī)范連同對(duì)該記錄格式的“接口”的幾個(gè)具體實(shí)施方面不同。轉(zhuǎn)向蛋白質(zhì)的描述，蛋白質(zhì)的前四個(gè)或八個(gè)字節(jié)指定了蛋白質(zhì)的長(zhǎng)度，其在實(shí)施例中必須是16字節(jié)的倍數(shù)。這個(gè)16字節(jié)粒度確保了字節(jié)準(zhǔn)直和總線準(zhǔn)直效能在當(dāng)代的硬件上可實(shí)現(xiàn)。未被自然“四倍長(zhǎng)字校直”的蛋白質(zhì)被填充以任意字節(jié)，以便它的長(zhǎng)度是16字節(jié)的倍數(shù)。蛋白質(zhì)的長(zhǎng)度部分具有以下格式呈大端(big-endian)格式的指定長(zhǎng)度的32位， 其中四個(gè)最低階位充當(dāng)旗標(biāo)以指示宏觀水平蛋白質(zhì)結(jié)構(gòu)特性；繼之以32個(gè)另外的位，如果蛋白質(zhì)的長(zhǎng)度大于2~32字節(jié)的話。實(shí)施例的16字節(jié)準(zhǔn)直附文意味著前四個(gè)字節(jié)的最低階位作為旗標(biāo)可用。而且因此前三個(gè)低階位旗標(biāo)分別指示蛋白質(zhì)的長(zhǎng)度可以用前四個(gè)字節(jié)表示還是需要八個(gè)，蛋白質(zhì)使用大端還是小端(little-endian)字節(jié)排序，以及蛋白質(zhì)使用標(biāo)準(zhǔn)還是非標(biāo)準(zhǔn)結(jié)構(gòu)，但是蛋白質(zhì)不限于此。第四個(gè)旗標(biāo)位被保留以供將來(lái)使用。如果八字節(jié)長(zhǎng)度旗標(biāo)位被設(shè)置，則蛋白質(zhì)的長(zhǎng)度通過(guò)以下計(jì)算讀取下四個(gè)字節(jié)， 并且使用它們作為大端的八字節(jié)整數(shù)的高階字節(jié)(其中已經(jīng)讀取的四個(gè)字節(jié)供應(yīng)低階部分)。如果小端旗標(biāo)被設(shè)置，則蛋白質(zhì)中的所有二進(jìn)制數(shù)值數(shù)據(jù)都將被解釋為小端(否則為大端)。如果非標(biāo)準(zhǔn)旗標(biāo)位被設(shè)置，則蛋白質(zhì)的剩余部分不符合下面將要描述的標(biāo)準(zhǔn)結(jié)構(gòu)。在此不會(huì)進(jìn)一步討論非標(biāo)準(zhǔn)蛋白質(zhì)結(jié)構(gòu)，除了要說(shuō)的是，關(guān)于對(duì)使用蛋白質(zhì)和池的系統(tǒng)程序員可用的非標(biāo)準(zhǔn)蛋白質(zhì)格式，存在用于描述和同步化的各種方法，并且當(dāng)空間或計(jì)算周期受到約束時(shí)，這些方法是可以使用的。例如，實(shí)施例的最短蛋白質(zhì)是十六字節(jié)。 標(biāo)準(zhǔn)格式的蛋白質(zhì)不能將任何實(shí)際的有效載荷數(shù)據(jù)裝配到這十六個(gè)字節(jié)中(其中的最大份額已經(jīng)被移交以描述蛋白質(zhì)的組成部分的位置)。但是非標(biāo)準(zhǔn)格式的蛋白質(zhì)就能夠可以想象地使用16個(gè)字節(jié)中的12個(gè)用于數(shù)據(jù)。交換蛋白質(zhì)的兩個(gè)應(yīng)用程序可以相互決定它們發(fā)出的任何16字節(jié)長(zhǎng)的蛋白質(zhì)總是包括例如表示來(lái)自實(shí)時(shí)模擬數(shù)字轉(zhuǎn)換器的12個(gè)8位傳感器值的12個(gè)字節(jié)。緊跟著長(zhǎng)度頭部，在蛋白質(zhì)的標(biāo)準(zhǔn)結(jié)構(gòu)中，出現(xiàn)兩個(gè)更多的可變長(zhǎng)度整數(shù)。這些數(shù)分別指定了對(duì)記述列表中的第一個(gè)元素和第一個(gè)關(guān)鍵值對(duì)(攝取)的偏移。這些偏移在此也分別被稱(chēng)為記述偏移和攝取偏移。這些數(shù)的每四倍的字節(jié)順序由蛋白質(zhì)端旗標(biāo)位指定。 對(duì)于每個(gè)而言，前四個(gè)字節(jié)的最高有效位確定數(shù)字是四個(gè)還是八個(gè)字節(jié)寬。如果最高有效位(msb)被設(shè)置，則前四個(gè)字節(jié)是雙字(八字節(jié))數(shù)字的最高有效字節(jié)。這在此被稱(chēng)為“偏移形式”。指向記述和對(duì)的單獨(dú)偏移的使用允許記述和對(duì)通過(guò)不同的代碼路徑處理，使得例如與記述模式匹配和蛋白質(zhì)裝配相關(guān)的特殊優(yōu)化成為可能。在蛋白質(zhì)的開(kāi)始處的這兩個(gè)偏移的存在還允許幾個(gè)有用的優(yōu)化。大多數(shù)蛋白質(zhì)不會(huì)如此大以至于需要八字節(jié)的長(zhǎng)度或指針，所以一般而言，長(zhǎng)度 (具有旗標(biāo))和兩個(gè)偏移數(shù)字只會(huì)占據(jù)蛋白質(zhì)的前三個(gè)字節(jié)。在許多硬件或系統(tǒng)體系結(jié)構(gòu)上，超過(guò)第一個(gè)的一定數(shù)目字節(jié)的提取或讀取是“免費(fèi)的”(例如16個(gè)字節(jié)正好占用與單個(gè)字節(jié)相同數(shù)目的時(shí)鐘周期以跨越單元處理器的主總線牽引)。在許多實(shí)例中，允許蛋白質(zhì)內(nèi)部的實(shí)施專(zhuān)用或環(huán)境專(zhuān)用的緩存或元數(shù)據(jù)都是有用的。偏移的使用允許在蛋白質(zhì)的開(kāi)始附近創(chuàng)建任意尺寸的“洞”，其中可以放置這樣的元數(shù)據(jù)?？梢岳冒藗€(gè)字節(jié)的元數(shù)據(jù)的實(shí)施在許多系統(tǒng)體系結(jié)構(gòu)上免費(fèi)得到那些字節(jié)，其中每次提取蛋白質(zhì)的長(zhǎng)度頭部。記述偏移指定了蛋白質(zhì)的開(kāi)始與第一個(gè)記述條目之間的字節(jié)數(shù)。每個(gè)記述條目包括到下一個(gè)記述條目的偏移(當(dāng)然是以偏移格式)，繼之以可變寬度的長(zhǎng)度字段(又是以偏移格式)，繼之以色拉。如果沒(méi)有進(jìn)一步的記述，則偏移按規(guī)定是四個(gè)字節(jié)的零。否則，偏移指定這個(gè)記述條目的開(kāi)始與下一個(gè)記述條目之間的字節(jié)數(shù)。長(zhǎng)度字段以字節(jié)的方式指定色拉的長(zhǎng)度。在大多數(shù)蛋白質(zhì)中，每個(gè)記述都是串，以色拉串的方式被格式化四字節(jié)長(zhǎng)度/類(lèi)型頭部，其中最高有效位被設(shè)置并且只有較低的30位用于指定長(zhǎng)度，繼之以頭部的指示數(shù)目的數(shù)據(jù)字節(jié)。通常，長(zhǎng)度頭部從蛋白質(zhì)取其端。字節(jié)被假定編碼UTF-8字符(并且這樣一來(lái)——注意——字符數(shù)就不一定與字節(jié)數(shù)相同)。攝取偏移指定了蛋白質(zhì)的開(kāi)始與第一個(gè)攝取條目之間的字節(jié)數(shù)。每個(gè)攝取條目包括到下一個(gè)攝取條目的偏移(以偏移格式)，又繼之以長(zhǎng)度字段和色拉。攝取偏移在功能上等同于記述偏移，除了它指向下一個(gè)攝取條目而不是下一個(gè)記述條目之外。在大多數(shù)蛋白質(zhì)中，每個(gè)攝取具有色拉cons類(lèi)型，其包括雙值列表，一般用作關(guān)鍵/值對(duì)。色拉cons記錄包括四字節(jié)長(zhǎng)度/類(lèi)型頭部，其中第二最高有效位被設(shè)置并且只有較低的30位用于指定長(zhǎng)度；到值(第二)元素開(kāi)始的四字節(jié)偏移；四字節(jié)長(zhǎng)度的關(guān)鍵元素；用于關(guān)鍵元素的色拉記錄；四字節(jié)長(zhǎng)度的值元素；以及最后用于值元素的色拉記錄。一般而言，cons關(guān)鍵字是色拉串?？缭綆讉€(gè)蛋白質(zhì)和色拉cons長(zhǎng)度和偏移字段的數(shù)據(jù)的重復(fù)提供了用于細(xì)化和優(yōu)化的又一次機(jī)會(huì)。如以上所描述的，根據(jù)實(shí)施例使用的用于將定型的數(shù)據(jù)嵌入蛋白質(zhì)內(nèi)部的構(gòu)造是被稱(chēng)為“色拉”的標(biāo)記字節(jié)序列規(guī)范和抽象。色拉是表示(可能是聚集的)定型數(shù)據(jù)的字節(jié)的線性序列，并且與編程語(yǔ)言專(zhuān)用API相關(guān)聯(lián)，其允許色拉在存儲(chǔ)器空間、存儲(chǔ)介質(zhì)和機(jī)器之間創(chuàng)建、修改和四處移動(dòng)。色拉類(lèi)型方案旨在可擴(kuò)展并且盡可能重量輕，并且成為可以從任何編程語(yǔ)言使用的通用基底。建立有效的大規(guī)模的進(jìn)程間通信機(jī)制的愿望是色拉配置的驅(qū)動(dòng)器。傳統(tǒng)的編程語(yǔ)言提供了在進(jìn)程專(zhuān)用存儲(chǔ)器布局中工作良好的復(fù)雜數(shù)據(jù)結(jié)構(gòu)和類(lèi)型設(shè)施，但是當(dāng)數(shù)據(jù)需要在進(jìn)程之間移動(dòng)或存儲(chǔ)在盤(pán)上時(shí)，這些數(shù)據(jù)表示總是損壞。色拉體系結(jié)構(gòu)是用于進(jìn)程間通信的第一基本上有效的多平臺(tái)友好的低水平數(shù)據(jù)模型。但更重要的是，色拉配置成連同蛋白質(zhì)一起影響并啟用未來(lái)計(jì)算硬件(微處理器、存儲(chǔ)器控制器、盤(pán)控制器)的開(kāi)發(fā)。對(duì)比如公共可用的微處理器的指令集合的幾個(gè)專(zhuān)用添加使得色拉可以甚至對(duì)于單進(jìn)程、存儲(chǔ)器內(nèi)數(shù)據(jù)布局變得與大多數(shù)編程語(yǔ)言中使用的方案一樣有效。每個(gè)色拉包括可變長(zhǎng)度類(lèi)型頭部繼之以類(lèi)型專(zhuān)用數(shù)據(jù)布局。在例如支持C、C++和 Ruby形式的全色拉功能的示例實(shí)施例中，通過(guò)可從每種語(yǔ)言訪問(wèn)的系統(tǒng)頭部文件中定義的通用整數(shù)來(lái)指示類(lèi)型。更加復(fù)雜和靈活的類(lèi)型分辨功能也是可能的例如經(jīng)由通用對(duì)象ID 和網(wǎng)絡(luò)查找的間接定型。實(shí)施例的色拉配置允許色拉記錄用作例如來(lái)自Ruby和C++兩者的語(yǔ)言友好方式的對(duì)象。C++編譯器外部的一套實(shí)用程序完整性檢查色拉字節(jié)布局，創(chuàng)建專(zhuān)用于單獨(dú)色拉類(lèi)型的宏和頭部文件，并且自動(dòng)生成用于Ruby的綁定。結(jié)果，良好配置的色拉類(lèi)型即使當(dāng)從單個(gè)進(jìn)程之內(nèi)使用時(shí)也十分有效。進(jìn)程的可訪問(wèn)存儲(chǔ)器中任何地方的任何色拉都可以被尋址而沒(méi)有復(fù)制或“去串行化”步驟。實(shí)施例的色拉功能包括用于執(zhí)行以下中的一個(gè)或多個(gè)的API設(shè)施創(chuàng)建特定類(lèi)型的新色拉；創(chuàng)建或建立對(duì)來(lái)自盤(pán)上或存儲(chǔ)器內(nèi)字節(jié)的色拉的語(yǔ)言專(zhuān)用引用；以類(lèi)型專(zhuān)用方式將數(shù)據(jù)嵌入色拉之內(nèi)；查詢(xún)色拉的尺寸；從色拉之內(nèi)檢索數(shù)據(jù)；克隆色拉；以及轉(zhuǎn)換色拉之內(nèi)全部數(shù)據(jù)的端和其它格式屬性。每個(gè)色拉都執(zhí)行上述行為。圖30B示出了根據(jù)實(shí)施例的色拉頭部格式。色拉的詳細(xì)描述如下。每個(gè)色拉的內(nèi)部結(jié)構(gòu)都優(yōu)化類(lèi)型分辨、對(duì)封裝數(shù)據(jù)的訪問(wèn)以及用于該色拉實(shí)例的尺寸信息中的每一個(gè)。在實(shí)施例中，色拉類(lèi)型的完全集合被設(shè)計(jì)得最小完全，并且包括色拉串；色拉cons (亦即對(duì))；色拉列表；以及色拉數(shù)字對(duì)象，其自身表示被理解為半打排列或這種基本屬性的單獨(dú)數(shù)字類(lèi)型的廣泛集合。任何色拉的其它基本性質(zhì)是其尺寸。在實(shí)施例中，色拉具有量化成四的倍數(shù)的字節(jié)長(zhǎng)度；這些四字節(jié)字在此被稱(chēng)為“quad(四)”。一般而言，這樣的基于四的尺寸定位使得色拉與現(xiàn)代計(jì)算機(jī)硬件體系結(jié)構(gòu)的配置良好配準(zhǔn)。實(shí)施例中的每個(gè)色拉的前四個(gè)字節(jié)包括頭部結(jié)構(gòu)，其編碼類(lèi)型描述和其它元信息，并且將特定類(lèi)型意義歸因于具體位模式。例如，色拉頭部的第一個(gè)(最高有效)位用于指定該色拉的尺寸(以四字的長(zhǎng)度計(jì))是否遵循初始四字節(jié)類(lèi)型頭部。當(dāng)這個(gè)位被設(shè)置時(shí)，可以理解的是，色拉的尺寸明確地記錄在色拉的下四個(gè)字節(jié)中(例如字節(jié)五至八)； 如果色拉的尺寸是這樣的，以至于不能以四個(gè)字節(jié)來(lái)表示(亦即，如果尺寸是或大于二的三十二次冪)，那么色拉的初始四個(gè)字節(jié)的下一個(gè)最高有效位也被設(shè)置，這表明色拉具有八字節(jié)(而不是四字節(jié))長(zhǎng)度。在這種情況下，檢查過(guò)程會(huì)發(fā)現(xiàn)存儲(chǔ)在順序字節(jié)五至十二中的色拉長(zhǎng)度。另一方面，小數(shù)目的色拉類(lèi)型意味著在許多情況下完全指定的典型位模式“留下未使用”四字節(jié)色拉頭部中的許多位；并且在這樣的情況下這些位可以用于編碼色拉的長(zhǎng)度，節(jié)省否則會(huì)需要的字節(jié)(五至八)。例如，實(shí)施例留下色拉頭部的最高有效位(“長(zhǎng)度跟隨”旗標(biāo))未設(shè)置，并且設(shè)置下一位以指示色拉是“wee cons”，并且在這種情況下色拉的長(zhǎng)度(以四計(jì))被編碼在剩余的三十位中。類(lèi)似地，“wee string”用頭部中的模式001來(lái)標(biāo)記，其留下二十九位用于表示色拉串的長(zhǎng)度；并且頭部中的引導(dǎo)0001描述“wee list”，其依靠二十八個(gè)可用長(zhǎng)度表示位可以是高達(dá)二的二十八次冪個(gè)quad大小的色拉列表。“full string”(或cons或list) 具有不同的頭部中的位簽名，其中最高有效頭部位必定被設(shè)置，因?yàn)樯L(zhǎng)度分開(kāi)編碼在字節(jié)五至八(或十二，在極端情況下)中。注意，原生質(zhì)實(shí)施在色拉構(gòu)造之時(shí)“決定”是使用這些構(gòu)造的“wee”還是“full”版本(該決定基于作為結(jié)果的尺寸是否會(huì)“配合”可用的 wee位)，但是full對(duì)比于wee的細(xì)節(jié)相對(duì)于原生質(zhì)實(shí)施的用戶是隱藏的，用戶只知道和關(guān)心她正在使用色拉串或色拉cons或色拉列表。數(shù)值色拉在實(shí)施例中用引導(dǎo)頭部模式00001指示。隨后的頭部位用于表示可能以任意排列進(jìn)行組合的一組正交性質(zhì)。實(shí)施例使用但不限于五個(gè)這樣的字符位以指示數(shù)字是否是(1)浮點(diǎn)；(2)復(fù)數(shù)；(3)無(wú)符號(hào)；(4) “寬(wide) ”; (5) “粗短(stumpy) ”((4) "wide" 和(5) “stumpy”進(jìn)行排列以指示八、十六、三十二和六十四位數(shù)表示)。兩個(gè)另外的位(例如(7)和(8))指示封裝的數(shù)值數(shù)據(jù)是二、三或四元素矢量(其中兩個(gè)位為零表明數(shù)值是 “一元素矢量”(亦即標(biāo)量)。在這個(gè)實(shí)施例中，第四個(gè)頭部字節(jié)的八個(gè)位用于編碼封裝的數(shù)值數(shù)據(jù)的尺寸(以字節(jié)計(jì)而不是quad)。這個(gè)尺寸編碼被偏移一，以便它可以表示包括一和二百五十六字節(jié)以及之間的任何尺寸。最后，兩個(gè)字符位(例如(9)和(10)用于指示數(shù)值數(shù)據(jù)編碼單獨(dú)數(shù)值條目的陣列，其中的每一個(gè)具有由字符位(1)至(8)描述的類(lèi)型。在陣列的情況下，單獨(dú)數(shù)值條目不是每個(gè)用另外的頭部標(biāo)記，而是包裝為連續(xù)的數(shù)據(jù)，其跟隨單個(gè)頭部以及可能的明確色拉尺寸信息。這個(gè)實(shí)施例提供了簡(jiǎn)單而有效的色拉復(fù)制(其可以實(shí)施為字節(jié)對(duì)字節(jié)復(fù)制)以及極其直接和有效的色拉比較(在這個(gè)實(shí)施例中，當(dāng)且僅當(dāng)考慮序列的兩個(gè)色拉的組成部分字節(jié)中的每一個(gè)一一匹配時(shí)，這兩個(gè)色拉才相同)。這后一性質(zhì)例如對(duì)于蛋白質(zhì)體系結(jié)構(gòu)的有效實(shí)施是重要的，蛋白質(zhì)體系結(jié)構(gòu)的關(guān)鍵性和普遍的特征之一是搜索或“匹配”蛋白質(zhì)的記述歹丨J表。而且，此處的實(shí)施例允許簡(jiǎn)單且有效地構(gòu)造聚集色拉形式(例如色拉cons和色拉列表)。例如，實(shí)施例通過(guò)以下從兩部分色拉(其可以具有任何類(lèi)型，包括它們自己聚集) 建立色拉cons (a)查詢(xún)每個(gè)部分色拉的尺寸；(b)分配尺寸等于兩個(gè)部分色拉的尺寸和頭部加上尺寸結(jié)構(gòu)所需的一個(gè)、兩個(gè)或三個(gè)quad之和的存儲(chǔ)器；(c)在前四個(gè)、八個(gè)或十二個(gè)字節(jié)中記錄色拉頭部(加上尺寸信息)；以及然后(d)依次將部分色拉的字節(jié)復(fù)制到緊接著后續(xù)的存儲(chǔ)器中。重要的是，這樣的構(gòu)造例程不需要知道關(guān)于兩部分色拉的類(lèi)型的任何東西；只有它們的尺寸(以及作為字節(jié)序列的可訪問(wèn)性)要緊。相同的過(guò)程適用于色拉列表的構(gòu)造，色拉列表是(可能地)異樣類(lèi)型的任意許多子色拉的排序封裝。
作為存儲(chǔ)器內(nèi)順序字節(jié)的色拉系統(tǒng)的基礎(chǔ)格式的另外后果結(jié)合“遍歷”活動(dòng)—— 例如循環(huán)使用模式使用獲得對(duì)色拉列表中存儲(chǔ)的單獨(dú)色拉的順序訪問(wèn)。表示蛋白質(zhì)結(jié)構(gòu)之內(nèi)的記述和攝取的單獨(dú)色拉必須類(lèi)似地遍歷。以令人暈倒的直接且有效的方式完成這樣的調(diào)度為了“到達(dá)”色拉列表中的下一個(gè)色拉，將當(dāng)前色拉的長(zhǎng)度添加到其存儲(chǔ)器內(nèi)的位置， 并且作為結(jié)果的存儲(chǔ)器位置等同地為下一個(gè)色拉的頭部。這樣的簡(jiǎn)化是可能的，因?yàn)樯偷鞍踪|(zhì)設(shè)計(jì)避免“間接”；不存在指針；相反地，數(shù)據(jù)簡(jiǎn)單地以其全體存在就位。對(duì)于色拉比較這一點(diǎn)，原生質(zhì)系統(tǒng)的完全實(shí)施必須承認(rèn)跨越不同操作系統(tǒng)、CPU和硬件體系結(jié)構(gòu)以及它們當(dāng)中的不同且不兼容的數(shù)據(jù)表示方案的存在。大多數(shù)這樣的不同包括字節(jié)排序策略(例如小對(duì)比于大端)和浮點(diǎn)表示；其它不同也存在。原生質(zhì)規(guī)范要求色拉所封裝的數(shù)據(jù)保證可解釋(亦即必須以從中檢查色拉的體系結(jié)構(gòu)或平臺(tái)的自然格式出現(xiàn))。這個(gè)要求依次表明原生質(zhì)系統(tǒng)自身對(duì)數(shù)據(jù)格式轉(zhuǎn)換負(fù)責(zé)。然而，規(guī)范僅規(guī)定，在色拉變得對(duì)可能檢查它的執(zhí)行進(jìn)程“根本可見(jiàn)”之前發(fā)生轉(zhuǎn)換。因此達(dá)到單獨(dú)的實(shí)施，在該點(diǎn)它選擇執(zhí)行這樣的格式c轉(zhuǎn)換；兩個(gè)適當(dāng)?shù)姆椒ㄊ?，色拉?shù)據(jù)有效載荷一致于本地體系結(jié)構(gòu)的數(shù)據(jù)格式(1)當(dāng)單獨(dú)的色拉從它已被包裝在其中的蛋白質(zhì)中“拉出”時(shí)，或者(2)對(duì)于同時(shí)在蛋白質(zhì)中的全部色拉，當(dāng)該蛋白質(zhì)從它處于其中的池中提取時(shí)。注意，轉(zhuǎn)換規(guī)定考慮硬件輔助實(shí)施的可能性。例如，建立有明確原生質(zhì)能力的聯(lián)網(wǎng)芯片組可以基于接收系統(tǒng)的已知特性智能地并且在“傳輸時(shí)”執(zhí)行格式轉(zhuǎn)換。交替地，傳輸?shù)倪^(guò)程可以將數(shù)據(jù)有效載荷轉(zhuǎn)換成規(guī)范格式，其中接收過(guò)程對(duì)稱(chēng)地從規(guī)范轉(zhuǎn)換到“本地”格式。另一個(gè)實(shí)施例執(zhí)行“在金屬”的格式轉(zhuǎn)換，意味著數(shù)據(jù)總是以規(guī)范格式存儲(chǔ)，即使在本地存儲(chǔ)器中也是，并且當(dāng)數(shù)據(jù)從存儲(chǔ)器中檢索并放置在就近CPU的寄存器中時(shí)，存儲(chǔ)器控制器硬件自身執(zhí)行轉(zhuǎn)換。實(shí)施例的最小(和只讀)蛋白質(zhì)實(shí)施包括利用蛋白質(zhì)的一個(gè)或多個(gè)應(yīng)用程序或編程語(yǔ)言中的操作或行為。圖30C是根據(jù)實(shí)施例的用于使用蛋白質(zhì)的流程圖3050。操作開(kāi)始于查詢(xún)3052蛋白質(zhì)的以字節(jié)計(jì)的長(zhǎng)度。記述條目的數(shù)目被查詢(xún)30M。攝取的數(shù)目被查詢(xún) 3056。通過(guò)指數(shù)檢索3058記述條目。通過(guò)指數(shù)檢索3060攝取。本文中描述的實(shí)施例還定義了允許蛋白質(zhì)被構(gòu)造并填充以數(shù)據(jù)的基本方法、使一般任務(wù)對(duì)程序員更容易的助手方法以及用于創(chuàng)建優(yōu)化的鉤子。圖30D是根據(jù)實(shí)施例的用于構(gòu)造或生成蛋白質(zhì)的流程圖3070。操作開(kāi)始于創(chuàng)建3072新蛋白質(zhì)。一系列的記述條目被附加3074。攝取也被附加3076。匹配記述的存在被查詢(xún)3078，并且匹配攝取關(guān)鍵字的存在被查詢(xún)3080。給定攝取關(guān)鍵字，攝取值被檢索3082?？缭接浭鰣?zhí)行3084模式匹配。在蛋白質(zhì)的開(kāi)始附近嵌入3086非結(jié)構(gòu)化的元數(shù)據(jù)。如以上所描述的，色拉提供最低水平的用于進(jìn)程間交換的數(shù)據(jù)定義，蛋白質(zhì)提供中等水平的用于查詢(xún)和過(guò)濾的結(jié)構(gòu)和鉤子，而池則提供高水平的組織和訪問(wèn)語(yǔ)義。池是用于蛋白質(zhì)的倉(cāng)庫(kù)，提供線性序列和狀態(tài)緩存。池還提供通過(guò)眾多不同類(lèi)型的多個(gè)程序或應(yīng)用程序進(jìn)行的多進(jìn)程訪問(wèn)。此外，池提供一組共同的可優(yōu)化的過(guò)濾和模式匹配行為?？梢匀菁{成千上萬(wàn)個(gè)蛋白質(zhì)的實(shí)施例的池用于維持狀態(tài)，以便單獨(dú)的進(jìn)程可以卸載對(duì)多進(jìn)程程序代碼共同的大多數(shù)冗長(zhǎng)簿記。池維持或保持過(guò)去可用蛋白質(zhì)的大緩沖器——柏拉圖式理想的(Platonic)池明確地?zé)o限——以便參與的進(jìn)程可以隨意在池中向后和向前掃描。緩沖器的尺寸當(dāng)然依賴(lài)于實(shí)施，但是在通常使用中常?？梢詫⒌鞍踪|(zhì)保持在池中以小時(shí)或天計(jì)。
與現(xiàn)有的進(jìn)程間通信框架所采取的機(jī)械式點(diǎn)對(duì)點(diǎn)方法形成對(duì)照，如本文中描述的池使用的最通常的風(fēng)格遵守生物學(xué)比喻。名稱(chēng)蛋白質(zhì)暗指生物學(xué)靈感池中的數(shù)據(jù)蛋白質(zhì)可用于大量計(jì)算進(jìn)程進(jìn)行的靈活查詢(xún)和模式匹配，就像活體組織中的化學(xué)蛋白質(zhì)可用于大量細(xì)胞試劑進(jìn)行的模式匹配和過(guò)濾。兩個(gè)另外的抽象依靠生物學(xué)比喻，包括使用“處理機(jī)(handl er) ”和高爾基 (Golgi)框架。參與池的進(jìn)程一般創(chuàng)建若干處理機(jī)。處理機(jī)是將匹配條件與處理行為相關(guān)聯(lián)的相對(duì)小束的代碼。通過(guò)將一個(gè)或多個(gè)處理機(jī)聯(lián)系到池，進(jìn)程設(shè)立靈活的回叫觸發(fā)，其封裝狀態(tài)并對(duì)新的蛋白質(zhì)起反應(yīng)。參與幾個(gè)池的進(jìn)程一般從抽象高爾基類(lèi)繼承。高爾基框架提供若干有用的例程， 用于管理多個(gè)池和處理機(jī)。高爾基類(lèi)還封裝雙親子女關(guān)系，提供不使用池的本地蛋白質(zhì)交換的機(jī)制。根據(jù)實(shí)施例提供的池API配置成允許池以多種方式實(shí)施，以便既考慮系統(tǒng)專(zhuān)用目標(biāo)，又考慮給定硬件和網(wǎng)絡(luò)體系結(jié)構(gòu)的可用能力。池所依靠的兩個(gè)基本系統(tǒng)規(guī)定是存儲(chǔ)設(shè)施和進(jìn)程間通信的裝置。在此描述的現(xiàn)存系統(tǒng)使用以下的靈活組合共享存儲(chǔ)器、虛擬存儲(chǔ)器和用于存儲(chǔ)設(shè)施的盤(pán)以及用于進(jìn)程間通信的TCP/IP套接字和IPC隊(duì)列。實(shí)施例的池功能包括但不限于以下參與池；將蛋白質(zhì)放置在池中；從池中檢索下一個(gè)未看到的蛋白質(zhì)；反繞或快進(jìn)池內(nèi)的內(nèi)容(例如蛋白質(zhì))。另外，池功能可以包括但不限于以下設(shè)立用于進(jìn)程的流池回叫；選擇性地檢索匹配記述或攝取關(guān)鍵字的特殊模式的蛋白質(zhì)；向后并向前掃描匹配記述或攝取關(guān)鍵字的特殊模式的蛋白質(zhì)。上述蛋白質(zhì)被提供給池，作為與其它應(yīng)用程序共享蛋白質(zhì)數(shù)據(jù)內(nèi)容的方式。圖31 是根據(jù)實(shí)施例的包括使用色拉、蛋白質(zhì)和池的數(shù)據(jù)交換的處理環(huán)境的框圖。這個(gè)實(shí)例環(huán)境包括三個(gè)裝置(例如裝置X、裝置Y和裝置Z，在此集體被稱(chēng)為“裝置”)，它們通過(guò)使用如以上所描述的色拉、蛋白質(zhì)和池來(lái)共享數(shù)據(jù)。裝置中的每一個(gè)耦合到三個(gè)池(例如池1、池2、 池3)。池1包括眾多蛋白質(zhì)(例如蛋白質(zhì)XI、蛋白質(zhì)Z2、蛋白質(zhì)Y2、蛋白質(zhì)X4、蛋白質(zhì)W)， 它們從各個(gè)裝置貢獻(xiàn)或傳送到池(例如，蛋白質(zhì)Z2由裝置Z傳送或貢獻(xiàn)到池1，等等)。池 2包括眾多蛋白質(zhì)(例如蛋白質(zhì)Z4、蛋白質(zhì)TO、蛋白質(zhì)Z1、蛋白質(zhì)X3)，它們從各個(gè)裝置貢獻(xiàn)或傳送到池(例如，蛋白質(zhì)Y3由裝置Y傳送或貢獻(xiàn)到池2，等等)。池3包括眾多蛋白質(zhì) (例如蛋白質(zhì)Y1、蛋白質(zhì)Z3、蛋白質(zhì)X2)，它們從各個(gè)裝置貢獻(xiàn)或傳送到池(例如，蛋白質(zhì)X2 由裝置X傳送或貢獻(xiàn)到池3，等等)。雖然上面描述的例子包括耦合或連接在三個(gè)池當(dāng)中的三個(gè)裝置，但是任何數(shù)目的裝置可以以任何方式或組合來(lái)耦合或連接在任何數(shù)目的池當(dāng)中，并且任何池可以包括從任何數(shù)目或組合的裝置中貢獻(xiàn)的任何數(shù)目的蛋白質(zhì)。這個(gè)示例的蛋白質(zhì)和池與以上參考圖25-圖30所描述的一樣。圖32是根據(jù)實(shí)施例的處理環(huán)境的框圖，該處理環(huán)境包括多個(gè)裝置和在裝置中的一個(gè)或多個(gè)上運(yùn)行的眾多程序，其中，原生質(zhì)構(gòu)造(例如池、蛋白質(zhì)和色拉)用于允許眾多運(yùn)行的程序共享并對(duì)裝置所生成的事件集體做出反應(yīng)。這個(gè)系統(tǒng)只是多用戶、多裝置、多計(jì)算機(jī)交互控制場(chǎng)景或配置的一個(gè)例子。更加具體地，在這個(gè)例子中，包括多個(gè)裝置(例如裝置A、B等等)和在裝置上運(yùn)行的若干程序(例如應(yīng)用程序AA-AX、應(yīng)用程序BA-BX等等)的交互系統(tǒng)使用原生質(zhì)構(gòu)造(例如池、蛋白質(zhì)和色拉)以允許運(yùn)行的程序共享并對(duì)這些輸入裝置所生成的事件集體做出反應(yīng)。
在這個(gè)例子中，每個(gè)裝置(例如裝置A、B等等)將由運(yùn)行于各個(gè)裝置上的程序(例如應(yīng)用程序AA-AX、應(yīng)用程序BA-BX等等)生成的或者從其輸出的離散原始數(shù)據(jù)轉(zhuǎn)換成原生質(zhì)蛋白質(zhì)，并且將那些蛋白質(zhì)存放到原生質(zhì)池中。例如，程序AX生成數(shù)據(jù)或輸出并提供該輸出給裝置A，裝置A依次將原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A等等)并將那些蛋白質(zhì)存放到池中。作為另一個(gè)例子，程序BC生成數(shù)據(jù)并提供該數(shù)據(jù)給裝置B，裝置B 依次將數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1B、蛋白質(zhì)2B等等)并將那些蛋白質(zhì)存放到池中。每個(gè)蛋白質(zhì)包含記述列表，其指定通過(guò)應(yīng)用程序登記的數(shù)據(jù)或輸出以及用于程序自身的識(shí)別信息。在可能的情況下，蛋白質(zhì)記述也可以給予輸出事件或動(dòng)作以一般語(yǔ)義意義。蛋白質(zhì)的數(shù)據(jù)有效載荷(例如攝取)承載了用于程序事件的有用狀態(tài)信息的全部集合。如以上所描述的，蛋白質(zhì)在由耦合或連接到池的任何程序或裝置使用的池中是可用的，而不管程序或裝置的類(lèi)型。因此，在任何數(shù)目的計(jì)算機(jī)上運(yùn)行的任何數(shù)目的程序都可以從輸入池中提取事件蛋白質(zhì)。這些裝置只需能夠經(jīng)由本地存儲(chǔ)器總線或網(wǎng)絡(luò)連接而參與池，以便從池中提取蛋白質(zhì)。這個(gè)的直接后果是以下有益的可能性將負(fù)責(zé)生成處理事件的進(jìn)程與使用或解釋事件的進(jìn)程解耦。另一個(gè)后果是事件的源和消費(fèi)者的多路化，以便裝置可以由一個(gè)人控制或者可以由幾個(gè)人同時(shí)使用(例如基于原生質(zhì)的輸入框架支持許多并發(fā)用戶)，同時(shí)作為結(jié)果的事件流對(duì)多個(gè)事件消費(fèi)者依次可見(jiàn)。作為例子，裝置C可以從池中提取一個(gè)或多個(gè)蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A 等等)。在蛋白質(zhì)提取之后，裝置C在蛋白質(zhì)數(shù)據(jù)所對(duì)應(yīng)的處理事件中可以使用從蛋白質(zhì)的記述和攝取的色拉中檢索或讀取的蛋白質(zhì)的數(shù)據(jù)。作為另一個(gè)例子，裝置B可以從池中提取一個(gè)或多個(gè)蛋白質(zhì)(例如蛋白質(zhì)1C、蛋白質(zhì)2A等等)。在蛋白質(zhì)提取之后，裝置B在蛋白質(zhì)數(shù)據(jù)所對(duì)應(yīng)的處理事件中可以使用蛋白質(zhì)的數(shù)據(jù)。耦合或連接到池的裝置和/或程序可以在池中向后和向前瀏覽以查找具體的蛋白質(zhì)序列。通常有用的是，例如設(shè)立程序以等待匹配一定模式的蛋白質(zhì)出現(xiàn)，然后向后瀏覽以確定這個(gè)蛋白質(zhì)是否已連同一定的其它蛋白質(zhì)一起出現(xiàn)。用于利用輸入池中的存儲(chǔ)的事件歷史的這種設(shè)施通常使編寫(xiě)狀態(tài)管理代碼不必要，或者至少顯著減少對(duì)這樣的不希望有的編碼模式的依靠。圖33是根據(jù)替換實(shí)施例的處理環(huán)境的框圖，該處理環(huán)境包括多個(gè)裝置和在裝置中的一個(gè)或多個(gè)上運(yùn)行的眾多程序，其中，原生質(zhì)構(gòu)造(例如池、蛋白質(zhì)和色拉)用于允許眾多運(yùn)行的程序共享并對(duì)裝置所生成的事件集體做出反應(yīng)。這個(gè)系統(tǒng)只是多用戶、多裝置、 多計(jì)算機(jī)交互控制場(chǎng)景或配置的一個(gè)例子。更加具體地，在這個(gè)例子中，包括多個(gè)裝置(例如分別耦合到裝置A和B的裝置X和Y)和在一個(gè)或多個(gè)計(jì)算機(jī)(例如裝置A、裝置B等等) 上運(yùn)行的若干程序(例如應(yīng)用程序AA-AX、應(yīng)用程序BA-BX等等)的交互系統(tǒng)使用原生質(zhì)構(gòu)造(例如池、蛋白質(zhì)和色拉)以允許運(yùn)行的程序共享并對(duì)這些輸入裝置所生成的事件集體做出反應(yīng)。在這個(gè)例子中，每個(gè)裝置(例如分別耦合到裝置A和B的裝置X和Y)被管理和/ 或耦合以在一個(gè)或多個(gè)程序之下或者與其相結(jié)合地運(yùn)行，一個(gè)或多個(gè)程序駐留在各個(gè)裝置上(例如裝置A、裝置B等等)，各個(gè)裝置將由裝置(例如裝置X、裝置A、裝置Y、裝置B等等)硬件所生成的離散原始數(shù)據(jù)轉(zhuǎn)換成原生質(zhì)蛋白質(zhì)，并且將那些蛋白質(zhì)存放到原生質(zhì)池中。例如，與駐留在裝置A上的應(yīng)用程序AB相結(jié)合地運(yùn)行的裝置X生成原始數(shù)據(jù)，將離散的原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A等等)并將那些蛋白質(zhì)存放到池中。 作為另一個(gè)例子，與駐留在裝置A上的應(yīng)用程序AT相結(jié)合地運(yùn)行的裝置X生成原始數(shù)據(jù)， 將離散的原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A等等)并將那些蛋白質(zhì)存放到池中。作為還有另一個(gè)例子，與駐留在裝置C上的應(yīng)用程序⑶相結(jié)合地運(yùn)行的裝置Z生成原始數(shù)據(jù)，將離散的原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1C、蛋白質(zhì)2C等等)并將那些蛋白質(zhì)存放到池中。每個(gè)蛋白質(zhì)包含記述列表，其指定通過(guò)輸入裝置登記的動(dòng)作以及用于裝置自身的識(shí)別信息。在可能的情況下，蛋白質(zhì)記述也可以給予裝置動(dòng)作以一般語(yǔ)義意義。蛋白質(zhì)的數(shù)據(jù)有效載荷(例如攝取)承載了用于裝置事件的有用狀態(tài)信息的全部集合。如以上所描述的，蛋白質(zhì)在由耦合或連接到池的任何程序或裝置使用的池中是可用的，而不管程序或裝置的類(lèi)型。因此，在任何數(shù)目的計(jì)算機(jī)上運(yùn)行的任何數(shù)目的程序都可以從輸入池中提取事件蛋白質(zhì)。這些裝置只需能夠經(jīng)由本地存儲(chǔ)器總線或網(wǎng)絡(luò)連接而參與池，以便從池中提取蛋白質(zhì)。這個(gè)的直接后果是以下有益的可能性將負(fù)責(zé)生成處理事件的進(jìn)程與使用或解釋事件的進(jìn)程解耦。另一個(gè)后果是事件的源和消費(fèi)者的多路化，以便輸入裝置可以由一個(gè)人控制或者可以由幾個(gè)人同時(shí)使用(例如基于原生質(zhì)的輸入框架支持許多并發(fā)用戶)，同時(shí)作為結(jié)果的事件流對(duì)多個(gè)事件消費(fèi)者依次可見(jiàn)。耦合或連接到池的裝置和/或程序可以在池中向后和向前瀏覽以查找具體的蛋白質(zhì)序列。通常有用的是，例如設(shè)立程序以等待匹配一定模式的蛋白質(zhì)出現(xiàn)，然后向后瀏覽以確定這個(gè)蛋白質(zhì)是否已連同一定的其它蛋白質(zhì)一起出現(xiàn)。用于利用輸入池中的存儲(chǔ)的事件歷史的這種設(shè)施通常使編寫(xiě)狀態(tài)管理代碼不必要，或者至少顯著減少對(duì)這樣的不希望有的編碼模式的依靠。圖34是根據(jù)另一個(gè)替換實(shí)施例的處理環(huán)境的框圖，該處理環(huán)境包括多個(gè)輸入裝置，多個(gè)輸入裝置耦合在運(yùn)行于裝置中的一個(gè)或多個(gè)上的眾多程序當(dāng)中，其中，原生質(zhì)構(gòu)造 (例如池、蛋白質(zhì)和色拉)用于允許眾多運(yùn)行的程序共享并對(duì)輸入裝置所生成的事件集體做出反應(yīng)。這個(gè)系統(tǒng)只是多用戶、多裝置、多計(jì)算機(jī)交互控制場(chǎng)景或配置的一個(gè)例子。更加具體地，在這個(gè)例子中，包括多個(gè)輸入裝置(例如輸入裝置A、B、BA和BB等等)和在一個(gè)或多個(gè)計(jì)算機(jī)(例如裝置A、裝置B等等)上運(yùn)行的若干程序(未示出)的交互系統(tǒng)使用原生質(zhì)構(gòu)造(例如池、蛋白質(zhì)和色拉)以允許運(yùn)行的程序共享并對(duì)這些輸入裝置所生成的事件集體做出反應(yīng)。在這個(gè)例子中，每個(gè)輸入裝置(例如輸入裝置A、B、BA和BB等等)由駐留在各個(gè)裝置上(例如裝置A、裝置B等等)的軟件驅(qū)動(dòng)器程序管理，各個(gè)裝置將由輸入裝置硬件所生成的離散原始數(shù)據(jù)轉(zhuǎn)換成原生質(zhì)蛋白質(zhì)，并且將那些蛋白質(zhì)存放到原生質(zhì)池中。例如，輸入裝置A生成原始數(shù)據(jù)并提供該原始數(shù)據(jù)給裝置A，裝置A依次將離散的原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A等等)并將那些蛋白質(zhì)存放到池中。作為另一個(gè)例子，輸入裝置BB生成原始數(shù)據(jù)并提供該原始數(shù)據(jù)給裝置B，裝置B依次將離散的原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1B、蛋白質(zhì):3B等等)并將那些蛋白質(zhì)存放到池中。每個(gè)蛋白質(zhì)包含記述列表，其指定通過(guò)輸入裝置登記的動(dòng)作以及用于裝置自身的識(shí)別信息。在可能的情況下，蛋白質(zhì)記述也可以給予裝置動(dòng)作以一般語(yǔ)義意義。蛋白質(zhì)的數(shù)據(jù)有效載荷(例如攝取)承載了用于裝置事件的有用狀態(tài)信息的全部集合。
為了示意，這里是這樣的系統(tǒng)中的用于兩個(gè)典型事件的示例蛋白質(zhì)。蛋白質(zhì)在這里被表示為文本，然而在實(shí)際實(shí)施中，這些蛋白質(zhì)的組成部分是定型的數(shù)據(jù)束(例如色拉)。描述一般而言“一根手指點(diǎn)擊”姿勢(shì)(在相關(guān)申請(qǐng)中有描述)的蛋白質(zhì)如下
angle-axis => [ 0,0，0.0，0.0，0.707 ] gripe => ..八i|:vx time => 184437103.29}]作為進(jìn)一步的例子，描述鼠標(biāo)點(diǎn)擊的蛋白質(zhì)如下 time => 184437124.80}]前述樣本蛋白質(zhì)中的任一個(gè)或兩者可能使主機(jī)裝置的參與程序運(yùn)行其代碼的特殊部分。這些程序可能對(duì)一般的語(yǔ)義標(biāo)簽感興趣全部當(dāng)中最一般的是“point”， 或者更特定的對(duì)“engage，one”?；蛘咚鼈兛梢詫ふ宜坪鮾H會(huì)由精確裝置生成的事件 “one-finger-engage”，乃至單個(gè)聚集對(duì)象 “hand-id-23”。如以上所描述的，蛋白質(zhì)在由耦合或連接到池的任何程序或裝置使用的池中是可用的，而不管程序或裝置的類(lèi)型。因此，在任何數(shù)目的計(jì)算機(jī)上運(yùn)行的任何數(shù)目的程序都可以從輸入池中提取事件蛋白質(zhì)。這些裝置只需能夠經(jīng)由本地存儲(chǔ)器總線或網(wǎng)絡(luò)連接而參與池，以便從池中提取蛋白質(zhì)。這個(gè)的直接后果是以下有益的可能性將負(fù)責(zé)生成“輸入事件” 的進(jìn)程與使用或解釋事件的進(jìn)程解耦。另一個(gè)后果是事件的源和消費(fèi)者的多路化，以便輸入裝置可以由一個(gè)人控制或者可以由幾個(gè)人同時(shí)使用(例如基于原生質(zhì)的輸入框架支持許多并發(fā)用戶)，同時(shí)作為結(jié)果的事件流對(duì)多個(gè)事件消費(fèi)者依次可見(jiàn)。作為例子或蛋白質(zhì)使用，裝置C可以從池中提取一個(gè)或多個(gè)蛋白質(zhì)(例如蛋白質(zhì) IB等等)。在蛋白質(zhì)提取之后，裝置C在處理蛋白質(zhì)數(shù)據(jù)所對(duì)應(yīng)的輸入裝置CA和CC的輸入事件時(shí)可以使用從蛋白質(zhì)的記述和攝取的色拉中檢索或讀取的蛋白質(zhì)的數(shù)據(jù)。作為另一個(gè)例子，裝置A可以從池中提取一個(gè)或多個(gè)蛋白質(zhì)(例如蛋白質(zhì)IB等等)。在蛋白質(zhì)提取之后，裝置A在處理蛋白質(zhì)數(shù)據(jù)所對(duì)應(yīng)的輸入裝置A的輸入事件時(shí)可以使用蛋白質(zhì)的數(shù)據(jù)。耦合或連接到池的裝置和/或程序可以在池中向后和向前瀏覽以查找具體的蛋白質(zhì)序列。通常有用的是，例如設(shè)立程序以等待匹配一定模式的蛋白質(zhì)出現(xiàn)，然后向后瀏覽以確定這個(gè)蛋白質(zhì)是否已連同一定的其它蛋白質(zhì)一起出現(xiàn)。用于利用輸入池中的存儲(chǔ)的事件歷史的這種設(shè)施通常使編寫(xiě)狀態(tài)管理代碼不必要，或者至少顯著減少對(duì)這樣的不希望有的編碼模式的依靠。在此描述的系統(tǒng)實(shí)施例中使用的輸入裝置的例子包括如消費(fèi)電子產(chǎn)品中使用的姿勢(shì)輸入傳感器、鍵盤(pán)、鼠標(biāo)、紅外線遙控器以及面向任務(wù)的觸媒對(duì)象，這只是舉幾個(gè)例子。圖35是根據(jù)又一個(gè)替換實(shí)施例的處理環(huán)境的框圖，該處理環(huán)境包括多個(gè)裝置，多個(gè)裝置耦合在運(yùn)行于裝置中的一個(gè)或多個(gè)上的眾多程序當(dāng)中，其中，原生質(zhì)構(gòu)造(例如池、 蛋白質(zhì)和色拉)用于允許眾多運(yùn)行的程序共享并對(duì)裝置所生成的圖形事件集體做出反應(yīng)。 這個(gè)系統(tǒng)只是包括多個(gè)運(yùn)行程序(例如圖形A-E)和一個(gè)或多個(gè)顯示裝置(未示出)的系統(tǒng)的一個(gè)例子，其中，使得程序中的一些或全部的圖形輸出以協(xié)調(diào)的方式可用于其它程序， 使用原生質(zhì)構(gòu)造(例如池、蛋白質(zhì)和色拉)以允許運(yùn)行的程序共享并對(duì)裝置所生成的圖形事件集體做出反應(yīng)。對(duì)于計(jì)算機(jī)程序而言通常有用的是顯示由另一個(gè)程序生成的圖形。幾個(gè)通常的例子包括視頻會(huì)議應(yīng)用程序、基于網(wǎng)絡(luò)的放映幻燈片和演示程序以及視窗管理器。在這種配置下，池用作原生質(zhì)庫(kù)以實(shí)施一般化的框架，該框架封裝視頻、網(wǎng)絡(luò)應(yīng)用程序共享和視窗管理，并且允許程序員添加在這種程序的當(dāng)前版本中通常不可用的若干特征。在原生質(zhì)組成環(huán)境中運(yùn)行的程序(例如圖形A-E)通過(guò)耦合和/或連接到池而參與協(xié)調(diào)池。每個(gè)程序都可以將蛋白質(zhì)存放在該池中，以指示不同種類(lèi)的圖形源的可用性?？捎糜陲@示圖形的程序也存放蛋白質(zhì)，以指示它們顯示的能力、安全和用戶簡(jiǎn)檔以及物理和網(wǎng)絡(luò)位置。圖形數(shù)據(jù)也可以通過(guò)池傳輸，或者顯示程序可以指向其它種類(lèi)的網(wǎng)絡(luò)資源(例如 RTSP流)。如在此使用的短語(yǔ)“圖形數(shù)據(jù)”指的是依賴(lài)寬闊連續(xù)區(qū)的多種不同表示；圖形數(shù)據(jù)的例子包括但不限于文字例子(例如“圖像”或像素塊)、程序性例子(例如“繪圖”指示的序列，諸如流下典型的openGL管線)以及描述性例子(例如借助于幾何轉(zhuǎn)換、裁剪和合成操作來(lái)組合其它圖形構(gòu)造的指令)。在本地機(jī)器上，圖形數(shù)據(jù)可以通過(guò)平臺(tái)專(zhuān)用顯示驅(qū)動(dòng)器優(yōu)化來(lái)遞送。即使當(dāng)圖形沒(méi)有經(jīng)由池傳輸時(shí)，通常周期性的屏幕捕捉也會(huì)存儲(chǔ)在協(xié)調(diào)池中，以便客戶在不直接訪問(wèn)更深?yuàn)W的源的情況下仍然可以顯示后退圖形。這里描述的系統(tǒng)的一個(gè)優(yōu)點(diǎn)在于，與大多數(shù)消息傳遞框架和網(wǎng)絡(luò)協(xié)議不同，池維持?jǐn)?shù)據(jù)的顯著緩沖。所以程序可以向后回繞到池中以查看訪問(wèn)和使用模式(在協(xié)調(diào)池的情況下)或者提取以前的圖形幀(在圖形池的情況下)。圖36是根據(jù)再一個(gè)替換實(shí)施例的處理環(huán)境的框圖，該處理環(huán)境包括多個(gè)裝置，多個(gè)裝置耦合在運(yùn)行于裝置中的一個(gè)或多個(gè)上的眾多程序當(dāng)中，其中，原生質(zhì)構(gòu)造(例如池、 蛋白質(zhì)和色拉)用于允許對(duì)運(yùn)行的程序進(jìn)行狀態(tài)檢查、可視化和調(diào)試。這個(gè)系統(tǒng)只是包括多個(gè)裝置(例如裝置A、裝置B等等)上的多個(gè)運(yùn)行程序(例如程序P-A、程序P-B等等) 的系統(tǒng)的一個(gè)例子，其中，一些程序使用或經(jīng)由池訪問(wèn)其它程序的內(nèi)部狀態(tài)。大多數(shù)交互計(jì)算機(jī)系統(tǒng)包括彼此并排運(yùn)行的許多程序，它們或者在單個(gè)機(jī)器上或者在多個(gè)機(jī)器上，并且跨越網(wǎng)絡(luò)進(jìn)行交互。多程序系統(tǒng)可能難以配置、分析和調(diào)試，因?yàn)檫\(yùn)行時(shí)間數(shù)據(jù)隱藏在每個(gè)進(jìn)程內(nèi)部并難以訪問(wèn)。在此描述的實(shí)施例的一般化框架和原生質(zhì)構(gòu)造允許運(yùn)行的程序使許多它們的數(shù)據(jù)經(jīng)由池可用，以便其它程序可以檢查它們的狀態(tài)。這個(gè)框架啟用比傳統(tǒng)調(diào)試器更靈活的調(diào)試工具、復(fù)雜的系統(tǒng)維護(hù)工具以及可視化裝備，可視化裝備配置成允許人工操作員詳細(xì)地分析一個(gè)或多個(gè)程序已經(jīng)過(guò)的狀態(tài)的序列。參考圖36，在這個(gè)框架中運(yùn)行的程序(例如程序P-A、程序P-B等等)在程序啟動(dòng)時(shí)生成或創(chuàng)建進(jìn)程池。這個(gè)池登記在系統(tǒng)年鑒中，并且施加安全與訪問(wèn)控制。更加具體地， 每個(gè)裝置(例如裝置A、B等等)將由運(yùn)行于各個(gè)裝置上的程序(例如程序P-A、程序P-B 等等)生成的或者從其輸出的離散原始數(shù)據(jù)轉(zhuǎn)換成原生質(zhì)蛋白質(zhì)，并且將那些蛋白質(zhì)存放到原生質(zhì)池中。例如，程序P-A生成數(shù)據(jù)或輸出并提供該輸出給裝置A，裝置A依次將原始數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A、蛋白質(zhì)3A等等)并將那些蛋白質(zhì)存放到池中。作為另一個(gè)例子，程序P-B生成數(shù)據(jù)并提供該數(shù)據(jù)給裝置B，裝置B依次將數(shù)據(jù)轉(zhuǎn)換成蛋白質(zhì)(例如蛋白質(zhì)1B-4B等等)并將那些蛋白質(zhì)存放到池中。在程序壽命的存續(xù)期間，具有充分訪問(wèn)許可的其它程序可以附接到池并讀取程序存放的蛋白質(zhì)；這表示基本檢查模態(tài)，并且在概念上是“單路”或“只讀”命題在程序P-A 中感興趣的實(shí)體檢查由其進(jìn)程池中的P-A存放的狀態(tài)信息流。例如，在裝置C下運(yùn)行的檢查程序或應(yīng)用程序可以從池中提取一個(gè)或多個(gè)蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)2A等等)。 在蛋白質(zhì)提取之后，裝置C可以使用從蛋白質(zhì)的記述和攝取的色拉中檢索或讀取的蛋白質(zhì)的數(shù)據(jù)以訪問(wèn)、解釋和檢查程序P-A的內(nèi)部狀態(tài)。但是，回顧原生質(zhì)系統(tǒng)不僅是有效的狀態(tài)傳輸方案，而且是全方向消息收發(fā)環(huán)境， 幾個(gè)另外的模式支持程序?qū)Τ绦驙顟B(tài)檢查。授權(quán)的檢查程序可以自己將蛋白質(zhì)存放到程序 P的進(jìn)程池中，以影響或控制在該進(jìn)程池中產(chǎn)生和放置的狀態(tài)信息的特性(畢竟，程序P不僅向進(jìn)程池中寫(xiě)入而且還從中讀取)。圖37是根據(jù)另一個(gè)替換實(shí)施例的處理環(huán)境的框圖，該處理環(huán)境包括多個(gè)裝置，多個(gè)裝置耦合在運(yùn)行于裝置中的一個(gè)或多個(gè)上的眾多程序當(dāng)中，其中，原生質(zhì)構(gòu)造(例如池、 蛋白質(zhì)和色拉)用于允許影響或控制該進(jìn)程池中產(chǎn)生和放置的狀態(tài)信息的特性。在這個(gè)系統(tǒng)例子中，裝置C的檢查程序例如可以請(qǐng)求程序(例如程序P-A、程序P-B等等)或者在單個(gè)即時(shí)或者在具體的一段時(shí)間傾卸比正常更多的狀態(tài)到池中。或者，預(yù)示調(diào)試通信的下一個(gè)“等級(jí)”，感興趣的程序可以請(qǐng)求程序(例如程序P-A、程序P-B等等)發(fā)出列舉其運(yùn)行時(shí)間環(huán)境中現(xiàn)存的對(duì)象的蛋白質(zhì)，它們單獨(dú)地能夠并且可用于經(jīng)由調(diào)試池進(jìn)行交互。由此可知，感興趣的程序可以“尋址”程序運(yùn)行時(shí)間中的對(duì)象當(dāng)中的個(gè)體，將蛋白質(zhì)放置在具體的對(duì)象單獨(dú)會(huì)占用并做出反應(yīng)的進(jìn)程池中。感興趣的程序例如可以請(qǐng)求對(duì)象發(fā)出報(bào)告蛋白質(zhì)，描述其全部成分變量的即時(shí)值。甚至更重要的是，感興趣的程序可以經(jīng)由其它蛋白質(zhì)指導(dǎo)對(duì)象改變其行為或其變量的值。更加具體地，在這個(gè)例子中，裝置C的檢查應(yīng)用程序?qū)?duì)于對(duì)象列表的請(qǐng)求(例如 “請(qǐng)求對(duì)象列表”)(以蛋白質(zhì)的形式)放置到池中，該請(qǐng)求然后由耦合到池的每個(gè)裝置(例如裝置A、裝置B等等)提取。響應(yīng)于該請(qǐng)求，每個(gè)裝置(例如裝置A、裝置B等等)將列舉其運(yùn)行時(shí)間環(huán)境中現(xiàn)存的對(duì)象的蛋白質(zhì)(例如蛋白質(zhì)1A、蛋白質(zhì)IB等等)放置到池中，它們單獨(dú)地能夠并且可用于經(jīng)由調(diào)試池進(jìn)行交互。由此可知經(jīng)由來(lái)自裝置的列舉，并且響應(yīng)于對(duì)象的列舉，裝置C的檢查應(yīng)用程序?qū)ぶ烦绦蜻\(yùn)行時(shí)間中的對(duì)象當(dāng)中的個(gè)體，將蛋白質(zhì)放置在具體的對(duì)象單獨(dú)會(huì)占用并做出反應(yīng)的進(jìn)程池中。裝置C的檢查應(yīng)用程序例如可以將請(qǐng)求蛋白質(zhì)(例如蛋白質(zhì)“請(qǐng)求報(bào)告 Ρ-Α-0”、“請(qǐng)求報(bào)告Ρ-Β-0”)放置在池中，對(duì)象(例如分別是對(duì)象Ρ-Α-0、對(duì)象Ρ-Β-0)發(fā)出報(bào)告蛋白質(zhì)(例如蛋白質(zhì)2A、蛋白質(zhì)2B等等)，描述其全部成分變量的即時(shí)值。每個(gè)對(duì)象(例如對(duì)象Ρ-Α-0、對(duì)象Ρ-Β-0)提取其請(qǐng)求(例如分別是“請(qǐng)求報(bào)告Ρ-Α-0”、“請(qǐng)求報(bào)告 Ρ-Β-0”)，并且做為響應(yīng)，將蛋白質(zhì)放置到包括所請(qǐng)求的報(bào)告(例如分別為蛋白質(zhì)2A、蛋白質(zhì)2B)的池中。裝置C然后提取各種報(bào)告蛋白質(zhì)(例如蛋白質(zhì)2A、蛋白質(zhì)2B等等)，并且如對(duì)報(bào)告的內(nèi)容適當(dāng)?shù)哪菢硬扇‰S后的處理動(dòng)作。用這種方式，使用原生質(zhì)作為互換介質(zhì)最終趨于侵蝕調(diào)試、進(jìn)程控制以及程序?qū)Τ绦蛲ㄐ排c協(xié)調(diào)之間的區(qū)別。最后，一般化的原生質(zhì)框架允許可視化和分析程序以松散耦合的方式設(shè)計(jì)。例如顯示存儲(chǔ)器訪問(wèn)模式的可視化工具可以結(jié)合輸出其基本存儲(chǔ)器讀取和寫(xiě)入至池的任何程序一起使用。經(jīng)歷分析的程序不需要知道可視化工具的存在或設(shè)計(jì)，反之亦然。以上述方式使用池并不過(guò)度影響系統(tǒng)性能。例如，實(shí)施例已允許在池中每秒存放幾十萬(wàn)個(gè)蛋白質(zhì)，以便使得即使相對(duì)冗長(zhǎng)的數(shù)據(jù)輸出也能夠不顯著地抑制大多數(shù)程序的響應(yīng)性或交互特征。本文中描述的實(shí)施例包括一種用于在數(shù)據(jù)空間中導(dǎo)航的方法，該方法包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)，其中，姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，檢測(cè)包括僅使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)；將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)；以及響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。實(shí)施例的方法包括將數(shù)據(jù)集的參數(shù)控制軸與物理空間的維對(duì)準(zhǔn)。實(shí)施例的維為深度維。實(shí)施例的維為水平維。實(shí)施例的維為垂直維。實(shí)施例的維為側(cè)向維。實(shí)施例的導(dǎo)航包括沿維的運(yùn)動(dòng)以實(shí)現(xiàn)沿參數(shù)控制軸的數(shù)據(jù)空間移動(dòng)。實(shí)施例的導(dǎo)航包括導(dǎo)航到數(shù)據(jù)空間的量化參數(shù)空間。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的位置。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的取向。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的姿態(tài)，其中，姿態(tài)是身體的部分相對(duì)于身體的至少一個(gè)其它部分的幾何布置。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的運(yùn)動(dòng)。實(shí)施例的檢測(cè)包括檢測(cè)以下至少之一身體的演進(jìn)的位置、身體的取向、身體的姿態(tài)、和身體的運(yùn)動(dòng)。實(shí)施例的方法包括將姿勢(shì)解析成姿勢(shì)事件的序列。實(shí)施例的方法包括識(shí)別姿勢(shì)。實(shí)施例的姿勢(shì)的識(shí)別包括識(shí)別以下至少之一身體的演進(jìn)的位置、身體的取向、身體的姿態(tài)、和身體的運(yùn)動(dòng)。
實(shí)施例的方法包括生成姿勢(shì)事件的序列中的姿勢(shì)事件的表示。實(shí)施例的方法包括將姿勢(shì)事件的表示分發(fā)到耦合到數(shù)據(jù)空間的至少一個(gè)控制組件。實(shí)施例的方法包括使姿勢(shì)事件的表示與數(shù)據(jù)空間的圖形描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與在數(shù)據(jù)空間中的導(dǎo)航的圖形描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與數(shù)據(jù)空間的聽(tīng)覺(jué)描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與在數(shù)據(jù)空間中的導(dǎo)航的聽(tīng)覺(jué)描述同步。實(shí)施例的數(shù)據(jù)集表示空間信息。實(shí)施例的數(shù)據(jù)集表示以下至少之一的空間信息現(xiàn)象、事件、測(cè)量、觀測(cè)、和結(jié)構(gòu)。實(shí)施例的數(shù)據(jù)集表示非空間信息。實(shí)施例的姿勢(shì)包括線性空間運(yùn)動(dòng)。實(shí)施例的導(dǎo)航包括在數(shù)據(jù)空間中的線性接近。實(shí)施例的方法包括在多個(gè)數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集，其中，數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描述。實(shí)施例的方法包括在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀。實(shí)施例的數(shù)據(jù)幀的大小和縱橫比與顯示器的大小和縱橫比相一致。實(shí)施例的數(shù)據(jù)幀的中心和法向矢量與顯示器的中心和法向矢量相一致。實(shí)施例的數(shù)據(jù)幀的位置和取向與顯示器的位置和取向相一致。實(shí)施例的每個(gè)數(shù)據(jù)幀包括表示數(shù)據(jù)集的元素的圖形數(shù)據(jù)元素。實(shí)施例的圖形數(shù)據(jù)元素為靜態(tài)元素。實(shí)施例的圖形數(shù)據(jù)元素為動(dòng)態(tài)元素。實(shí)施例的數(shù)據(jù)幀為二維構(gòu)造。實(shí)施例的數(shù)據(jù)幀駐留在具有坐標(biāo)系的三維圖形呈現(xiàn)環(huán)境中，其中，該坐標(biāo)系與描述包括身體的本地環(huán)境的坐標(biāo)系相一致。實(shí)施例的在數(shù)據(jù)空間中導(dǎo)航包括在多個(gè)數(shù)據(jù)幀中導(dǎo)航。實(shí)施例的方法包括檢測(cè)身體的第一姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第一姿態(tài)而激活推回交互。實(shí)施例的方法包括記錄進(jìn)入第一姿態(tài)的第一位置，其中，第一位置是三維空間的手位置。實(shí)施例的方法包括將第一位置設(shè)置為原點(diǎn)，其中，將隨后的檢測(cè)到的身體位置報(bào)告為與原點(diǎn)的相對(duì)偏移。實(shí)施例的方法包括通過(guò)檢測(cè)身體的移動(dòng)來(lái)檢測(cè)姿勢(shì)。實(shí)施例的檢測(cè)包括檢測(cè)身體的第一移動(dòng)，其中，第一移動(dòng)是沿軸朝向顯示器的移動(dòng)，其中，該軸被定義為與顯示器的觀看表面垂直的軸。響應(yīng)身體的第一移動(dòng)，實(shí)施例的導(dǎo)航包括沿軸位移多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀所位于的平面中有較多平面變得可見(jiàn)，其中，看見(jiàn)顯示器上呈現(xiàn)的第一可見(jiàn)幀從顯示器后退，以及第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得可見(jiàn)。響應(yīng)身體的第一移動(dòng)，實(shí)施例的導(dǎo)航包括沿軸從當(dāng)前數(shù)據(jù)幀位移多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀向下平移，其中，當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在顯示器上的數(shù)據(jù)幀。實(shí)施例的每個(gè)數(shù)據(jù)幀的外表響應(yīng)于位移而改變，其中，位于當(dāng)前數(shù)據(jù)幀之下的數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，位于當(dāng)前數(shù)據(jù)幀之上的數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及變得可見(jiàn)。實(shí)施例的檢測(cè)包括檢測(cè)身體的第二移動(dòng)，其中，第二移動(dòng)是沿軸遠(yuǎn)離顯示器的移動(dòng)。響應(yīng)身體的第二移動(dòng)，實(shí)施例的導(dǎo)航包括沿軸位移多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀所位于的平面中有較少平面變得可見(jiàn)，其中，看見(jiàn)顯示器上呈現(xiàn)的第一可見(jiàn)幀從顯示器接近，以及第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得更少地可見(jiàn)。響應(yīng)身體的第二移動(dòng)，實(shí)施例的導(dǎo)航包括沿軸從當(dāng)前數(shù)據(jù)幀位移多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀向上平移，其中，當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在顯示器上的數(shù)據(jù)幀。實(shí)施例的每個(gè)數(shù)據(jù)幀的外表響應(yīng)于位移而改變，其中，位于當(dāng)前數(shù)據(jù)幀之上的數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，位于當(dāng)前數(shù)據(jù)幀之下的數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及開(kāi)始變得可見(jiàn)。實(shí)施例的檢測(cè)包括檢測(cè)身體的第三移動(dòng)，其中，第三移動(dòng)是在與顯示器的觀看表面平行的平面內(nèi)的移動(dòng)。響應(yīng)身體的第三移動(dòng)，實(shí)施例的導(dǎo)航包括在對(duì)應(yīng)于第三移動(dòng)的方向上位移多個(gè)數(shù)據(jù)幀。看見(jiàn)本實(shí)施例的呈現(xiàn)在顯示器上的當(dāng)前數(shù)據(jù)幀在該方向上滑動(dòng)，以及當(dāng)前數(shù)據(jù)幀的鄰近數(shù)據(jù)幀從顯示器的與該方向相反的一側(cè)滑入視圖中，其中，當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在顯示器上的數(shù)據(jù)幀。實(shí)施例的導(dǎo)航包括直接響應(yīng)身體的移動(dòng)而連續(xù)更新多個(gè)數(shù)據(jù)幀的位移。實(shí)施例的方法包括檢測(cè)身體的第二姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第二姿態(tài)而終止推回交互，其中，終止包括將多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與顯示器共面。實(shí)施例的方法包括在姿勢(shì)期間的身體位移的物理距離與在導(dǎo)航期間在數(shù)據(jù)空間中的相繼點(diǎn)間的邏輯距離之間的映射，其中，映射控制以下至少之一多個(gè)數(shù)據(jù)幀在數(shù)據(jù)空間中的相對(duì)位移、和每個(gè)離散數(shù)據(jù)幀的外表。實(shí)施例的方法包括形成包括活動(dòng)區(qū)和死區(qū)的姿勢(shì)交互空間，其中，活動(dòng)區(qū)鄰近顯示器，而死區(qū)鄰近活動(dòng)區(qū)。當(dāng)在活動(dòng)區(qū)中檢測(cè)到姿勢(shì)時(shí)，響應(yīng)于姿勢(shì)而激活本實(shí)施例的響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中的導(dǎo)航。實(shí)施例的方法包括呈現(xiàn)在顯示器上的反饋指示器。實(shí)施例的反饋指示器顯示指示身體在活動(dòng)區(qū)和死區(qū)之一中的反饋。實(shí)施例的反饋指示器顯示指示身體離原點(diǎn)的物理偏移的反饋。實(shí)施例的檢測(cè)包括以下至少之一檢測(cè)身體的位置、檢測(cè)身體的取向、和檢測(cè)身體的運(yùn)動(dòng)。實(shí)施例的方法包括識(shí)別姿勢(shì)，其中，識(shí)別包括識(shí)別身體的部分的姿態(tài)和取向。實(shí)施例的檢測(cè)包括檢測(cè)以下至少之一第一身體附屬物集合、和第二身體附屬物
皇A
朱口 ο實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)耦合到身體的至少一個(gè)標(biāo)簽的位置。
實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)耦合到身體的標(biāo)簽集的位置。實(shí)施例的標(biāo)簽集中的每個(gè)標(biāo)簽包括圖案，其中，標(biāo)簽集中的每個(gè)標(biāo)簽的每個(gè)圖案不同于多個(gè)標(biāo)簽中的任意剩余標(biāo)簽的任意圖案。實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位身體上的標(biāo)記。實(shí)施例的檢測(cè)包括檢測(cè)耦合到身體的標(biāo)記集的位置。實(shí)施例的標(biāo)記集形成身體上的多個(gè)圖案。實(shí)施例的檢測(cè)包括使用耦合到附屬物中的每個(gè)的標(biāo)記集來(lái)檢測(cè)身體的多個(gè)附屬物的位置。實(shí)施例的轉(zhuǎn)換包括將姿勢(shì)信息轉(zhuǎn)換成姿勢(shì)符號(hào)。實(shí)施例的姿勢(shì)符號(hào)表示姿勢(shì)詞匯，以及姿勢(shì)信號(hào)包括姿勢(shì)詞匯的通信。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的運(yùn)動(dòng)關(guān)聯(lián)(kinematic linkage)的即時(shí)姿態(tài)狀態(tài)。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的運(yùn)動(dòng)關(guān)聯(lián)(kinematic linkage)的取向。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的運(yùn)動(dòng)關(guān)聯(lián)(kinematic linkage)的取向的組合。實(shí)施例的姿勢(shì)詞匯包括表示身體的運(yùn)動(dòng)關(guān)聯(lián)的狀態(tài)的字符串。實(shí)施例的運(yùn)動(dòng)關(guān)聯(lián)是身體的至少一個(gè)第一附屬物。實(shí)施例的方法包括將字符串中的每個(gè)位置指定給第二附屬物，該第二附屬物連接到第一附屬物。實(shí)施例的方法包括將多個(gè)字符中的字符指定給第二附屬物的多個(gè)位置中的每個(gè)。實(shí)施例的多個(gè)位置相對(duì)于坐標(biāo)系原點(diǎn)而建立。實(shí)施例的方法包括使用從由以下組成的組中選擇的位置以及交互地響應(yīng)身體的動(dòng)作來(lái)建立坐標(biāo)系原點(diǎn)空間中的絕對(duì)位置和取向、不管身體的整體位置和朝向而相對(duì)于身體的固定位置和取向。實(shí)施例的方法包括將多個(gè)字符中的字符指定給第一附屬物的多個(gè)取向中的每個(gè)。實(shí)施例的檢測(cè)包括檢測(cè)身體的推測(cè)(extrapolated)位置何時(shí)與虛擬空間相交， 其中，虛擬空間包括在耦合到計(jì)算機(jī)的顯示裝置上描繪的空間。實(shí)施例的方法包括當(dāng)推測(cè)的位置與虛擬空間中虛擬對(duì)象相交時(shí)控制虛擬對(duì)象。實(shí)施例的控制包括響應(yīng)虛擬空間中的推測(cè)的位置控制虛擬空間中的虛擬對(duì)象的位置。實(shí)施例的控制包括響應(yīng)于姿勢(shì)來(lái)控制虛擬空間中的虛擬對(duì)象的姿勢(shì)。實(shí)施例的方法包括對(duì)檢測(cè)和控制的定標(biāo)(scaling)進(jìn)行控制以產(chǎn)生虛擬空間與物理空間之間的一致性，其中，虛擬空間包括顯示器上描繪的空間，其中，物理空間包括身體所存在于的空間。實(shí)施例的方法包括響應(yīng)于物理空間中的至少一個(gè)物理對(duì)象的移動(dòng)來(lái)控制虛擬空間中的至少一個(gè)虛擬對(duì)象。實(shí)施例的方法包括利用成像系統(tǒng)對(duì)身體進(jìn)行成像。實(shí)施例的成像包括生成身體的波前編碼圖像。
實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在成像系統(tǒng)的景深之內(nèi)的焦點(diǎn)分辨的數(shù)據(jù)。實(shí)施例的方法包括通過(guò)對(duì)成像系統(tǒng)采集的圖像進(jìn)行編碼來(lái)生成中間圖像。
實(shí)施例的中間圖像變得模糊。實(shí)施例的中間圖像對(duì)以下方面中的至少之一的改變不敏感身體，以及成像系統(tǒng)中包括散焦像差的多個(gè)光學(xué)檢測(cè)器。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)。實(shí)施例的身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)是從成像系統(tǒng)的輸出導(dǎo)出的。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)。實(shí)施例的身體的在景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)是從成像系統(tǒng)的輸出導(dǎo)出的。實(shí)施例的成像系統(tǒng)包括多個(gè)檢測(cè)器。實(shí)施例的至少兩個(gè)檢測(cè)器是包括波前編碼光學(xué)元件的波前編碼攝像機(jī)。實(shí)施例的至少兩個(gè)光學(xué)檢測(cè)器是包括增加成像的焦點(diǎn)深度的相位掩模的波前編碼攝像機(jī)。實(shí)施例的方法包括生成不隨身體和成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。實(shí)施例的方法包括生成相對(duì)于散焦而無(wú)變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。本文中描述的實(shí)施例包括一種系統(tǒng)，該系統(tǒng)包括檢測(cè)器，用于接收表示身體做出的姿勢(shì)的姿勢(shì)數(shù)據(jù)；以及耦合到檢測(cè)器的處理器，處理器自動(dòng)從姿勢(shì)數(shù)據(jù)中檢測(cè)姿勢(shì)，其中，姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，處理器僅使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)，處理器將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，處理器響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。本文中描述的實(shí)施例包括一種用于在數(shù)據(jù)空間中導(dǎo)航的方法，該方法包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)，其中，姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，檢測(cè)包括僅使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)；將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)；響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間；以及在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集以及在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中，多個(gè)共面數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪。實(shí)施例的方法包括檢測(cè)身體的第一姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第一姿態(tài)而激活推回交互。實(shí)施例的方法包括記錄進(jìn)入第一姿態(tài)的第一位置，其中，第一位置是三維空間的手位置。實(shí)施例的方法包括將第一位置設(shè)置為原點(diǎn)，其中，將隨后的檢測(cè)到的身體位置報(bào)告為與原點(diǎn)的相對(duì)偏移。實(shí)施例的檢測(cè)包括檢測(cè)身體的向前移動(dòng)，其中，向前移動(dòng)是沿ζ軸朝向顯示器的移動(dòng)，其中，該ζ軸被定義為與顯示器的觀看表面垂直的軸。響應(yīng)身體的向前移動(dòng)，實(shí)施例的導(dǎo)航包括沿ζ軸位移多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀所位于的平面中有較多平面變得可見(jiàn)，其中，看見(jiàn)顯示器上呈現(xiàn)的第一可見(jiàn)幀從顯示器后退， 以及第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得可見(jiàn)。實(shí)施例的檢測(cè)包括檢測(cè)身體的向后移動(dòng)，其中，向后移動(dòng)是沿ζ軸遠(yuǎn)離顯示器的移動(dòng)。
響應(yīng)身體的向后移動(dòng)，實(shí)施例的導(dǎo)航包括沿ζ軸位移多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀所位于的平面中有較少平面變得可見(jiàn)，其中，看見(jiàn)顯示器上呈現(xiàn)的第一可見(jiàn)幀從顯示器接近， 以及第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得更少地可見(jiàn)。實(shí)施例的方法包括直接響應(yīng)身體沿ζ軸的移動(dòng)而連續(xù)更新多個(gè)數(shù)據(jù)幀的沿ζ軸的位移。實(shí)施例的方法包括檢測(cè)身體的第二姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第二姿態(tài)而終止推回交互，其中，終止包括將多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與顯示器共面。實(shí)施例的檢測(cè)包括檢測(cè)身體的右側(cè)向移動(dòng)，其中，右側(cè)向移動(dòng)是沿χ軸的移動(dòng)，其中，X軸存在于與顯示器的觀看表面平行的平面內(nèi)。響應(yīng)身體的右側(cè)向移動(dòng)，實(shí)施例的導(dǎo)航包括沿χ軸向右位移多個(gè)數(shù)據(jù)幀，其中，看見(jiàn)呈現(xiàn)在顯示器上的第一可見(jiàn)幀從顯示器向顯示器的右側(cè)滑動(dòng)，以及第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀從顯示器的左側(cè)滑入視圖中。實(shí)施例的檢測(cè)包括檢測(cè)身體的左側(cè)向移動(dòng)，其中，左側(cè)向移動(dòng)是沿χ軸的移動(dòng)。響應(yīng)身體的左側(cè)向移動(dòng)，實(shí)施例的導(dǎo)航包括沿X軸向左位移多個(gè)數(shù)據(jù)幀，其中，看見(jiàn)呈現(xiàn)在顯示器上的第一可見(jiàn)幀從顯示器向顯示器的左側(cè)滑動(dòng)，以及第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀從顯示器的右側(cè)滑入視圖中。實(shí)施例的方法包括直接響應(yīng)身體沿χ軸的移動(dòng)而連續(xù)更新多個(gè)數(shù)據(jù)幀的沿X軸的位移。實(shí)施例的方法包括檢測(cè)身體的第二姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第二姿態(tài)而終止推回交互，其中，終止包括將多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與顯示器共面。實(shí)施例的數(shù)據(jù)空間包括布置在平面內(nèi)的多個(gè)虛擬限位裝置(detent)。實(shí)施例的每個(gè)虛擬限位裝置對(duì)應(yīng)于每個(gè)數(shù)據(jù)幀。實(shí)施例的方法包括形成包括活動(dòng)區(qū)和死區(qū)的姿勢(shì)交互空間，其中，活動(dòng)區(qū)鄰近顯示器，而死區(qū)鄰近活動(dòng)區(qū)。當(dāng)在活動(dòng)區(qū)中檢測(cè)到姿勢(shì)時(shí)，響應(yīng)于姿勢(shì)而激活本實(shí)施例的響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中的導(dǎo)航。實(shí)施例的方法包括呈現(xiàn)在顯示器上的反饋指示器。實(shí)施例的反饋指示器顯示指示身體在活動(dòng)區(qū)和死區(qū)之一中的反饋。實(shí)施例的反饋指示器顯示指示身體離原點(diǎn)的物理偏移的反饋。實(shí)施例的方法包括將數(shù)據(jù)集的參數(shù)控制軸與物理空間的維對(duì)準(zhǔn)。實(shí)施例的維為深度維。實(shí)施例的維為水平維。實(shí)施例的維為垂直維。實(shí)施例的維為側(cè)向維。實(shí)施例的導(dǎo)航包括沿維的運(yùn)動(dòng)以實(shí)現(xiàn)沿參數(shù)控制軸的數(shù)據(jù)空間移動(dòng)。實(shí)施例的導(dǎo)航包括導(dǎo)航到數(shù)據(jù)空間的量化參數(shù)空間。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的位置。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的取向。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的姿態(tài)，其中，姿態(tài)是身體的部分相對(duì)于身體的至少一個(gè)其它部分的幾何布置。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的運(yùn)動(dòng)。實(shí)施例的檢測(cè)包括檢測(cè)以下至少之一身體的演進(jìn)的位置、身體的取向、身體的姿態(tài)、和身體的運(yùn)動(dòng)。實(shí)施例的方法包括將姿勢(shì)解析成姿勢(shì)事件的序列。實(shí)施例的方法包括識(shí)別姿勢(shì)。實(shí)施例的姿勢(shì)的識(shí)別包括識(shí)別以下至少之一身體的演進(jìn)的位置、身體的取向、身體的姿態(tài)、和身體的運(yùn)動(dòng)。實(shí)施例的方法包括生成姿勢(shì)事件的序列中的姿勢(shì)事件的表示。實(shí)施例的方法包括將姿勢(shì)事件的表示分發(fā)到耦合到數(shù)據(jù)空間的至少一個(gè)控制組件。實(shí)施例的方法包括使姿勢(shì)事件的表示與數(shù)據(jù)空間的圖形描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與在數(shù)據(jù)空間中的導(dǎo)航的圖形描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與數(shù)據(jù)空間的聽(tīng)覺(jué)描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與在數(shù)據(jù)空間中的導(dǎo)航的聽(tīng)覺(jué)描述同步。實(shí)施例的數(shù)據(jù)集表示空間信息。實(shí)施例的數(shù)據(jù)集表示以下至少之一的空間信息現(xiàn)象、事件、測(cè)量、觀測(cè)、和結(jié)構(gòu)。實(shí)施例的數(shù)據(jù)集表示非空間信息。實(shí)施例的姿勢(shì)包括線性空間運(yùn)動(dòng)。實(shí)施例的導(dǎo)航包括在數(shù)據(jù)空間中的線性接近。實(shí)施例的方法包括在多個(gè)數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集，其中，數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描述。實(shí)施例的方法包括在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀。實(shí)施例的數(shù)據(jù)幀的大小和縱橫比與顯示器的大小和縱橫比相一致。實(shí)施例的數(shù)據(jù)幀的中心和法向矢量與顯示器的中心和法向矢量相一致。實(shí)施例的數(shù)據(jù)幀的位置和取向與顯示器的位置和取向相一致。實(shí)施例的每個(gè)數(shù)據(jù)幀包括表示數(shù)據(jù)集的元素的圖形數(shù)據(jù)元素。實(shí)施例的圖形數(shù)據(jù)元素為靜態(tài)元素。實(shí)施例的圖形數(shù)據(jù)元素為動(dòng)態(tài)元素。實(shí)施例的數(shù)據(jù)幀為二維構(gòu)造。實(shí)施例的數(shù)據(jù)幀駐留在具有坐標(biāo)系的三維圖形呈現(xiàn)環(huán)境中，其中，該坐標(biāo)系與描述包括身體的本地環(huán)境的坐標(biāo)系相一致。實(shí)施例的在數(shù)據(jù)空間中導(dǎo)航包括在多個(gè)數(shù)據(jù)幀中導(dǎo)航。實(shí)施例的方法包括識(shí)別姿勢(shì)，其中，識(shí)別包括識(shí)別身體的部分的姿態(tài)和取向。實(shí)施例的檢測(cè)包括檢測(cè)以下至少之一第一身體附屬物集合、和第二身體附屬物
皇A
朱口 ο實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位身體上的標(biāo)記。實(shí)施例的轉(zhuǎn)換包括將姿勢(shì)信息轉(zhuǎn)換成姿勢(shì)符號(hào)。實(shí)施例的姿勢(shì)符號(hào)表示姿勢(shì)詞匯，以及姿勢(shì)信號(hào)包括姿勢(shì)詞匯的通信。
實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的即時(shí)姿態(tài)狀態(tài)。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的取向。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的取向的組合。實(shí)施例的姿勢(shì)詞匯包括表示身體的狀態(tài)的字符串。檢測(cè)包括檢測(cè)身體的推測(cè)(extrapolated)位置何時(shí)與虛擬空間相交，其中，虛擬空間包括在顯示器上描繪的空間。實(shí)施例的方法包括當(dāng)推測(cè)的位置與虛擬空間中的虛擬對(duì)象相交時(shí)控制虛擬對(duì)象。實(shí)施例的控制包括響應(yīng)虛擬空間中的推測(cè)的位置控制虛擬空間中的虛擬對(duì)象的位置。實(shí)施例的方法包括對(duì)檢測(cè)和控制的定標(biāo)(scaling)進(jìn)行控制以產(chǎn)生虛擬空間與物理空間之間的一致性，其中，虛擬空間包括顯示器上描繪的空間，其中，物理空間包括身體所存在于的空間。實(shí)施例的方法包括利用成像系統(tǒng)對(duì)身體進(jìn)行成像。實(shí)施例的成像包括生成身體的波前編碼圖像。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在成像系統(tǒng)的景深之內(nèi)的焦點(diǎn)分辨的數(shù)據(jù)。實(shí)施例的方法包括通過(guò)對(duì)成像系統(tǒng)采集的圖像進(jìn)行編碼來(lái)生成中間圖像。實(shí)施例的中間圖像變得模糊。實(shí)施例的中間圖像對(duì)以下方面中的至少之一的改變不敏感身體，以及成像系統(tǒng)中包括散焦像差的多個(gè)光學(xué)檢測(cè)器。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)。實(shí)施例的身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)是從成像系統(tǒng)的輸出導(dǎo)出的。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)。實(shí)施例的身體的在景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)是從成像系統(tǒng)的輸出導(dǎo)出的。實(shí)施例的成像系統(tǒng)包括多個(gè)檢測(cè)器。實(shí)施例的至少兩個(gè)檢測(cè)器是包括波前編碼光學(xué)元件的波前編碼攝像機(jī)。實(shí)施例的至少兩個(gè)光學(xué)檢測(cè)器是包括增加成像的焦點(diǎn)深度的相位掩模的波前編碼攝像機(jī)。實(shí)施例的方法包括生成不隨身體和成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。實(shí)施例的方法包括生成相對(duì)于散焦而無(wú)變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。本文中描述的實(shí)施例包括一種系統(tǒng)，該系統(tǒng)包括檢測(cè)器，用于接收表示身體做出的姿勢(shì)的姿勢(shì)數(shù)據(jù)；以及耦合到檢測(cè)器的處理器，處理器自動(dòng)從姿勢(shì)數(shù)據(jù)中檢測(cè)姿勢(shì)，其中，姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，處理器僅使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)，處理器將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，處理器響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間，處理器在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集以及在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中， 多個(gè)共面數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪。本文中描述的實(shí)施例包括一種用于在數(shù)據(jù)空間中導(dǎo)航的方法，該方法包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)，其中，姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，檢測(cè)包括僅使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)；將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)；響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間；以及在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集以及在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中，多個(gè)共面數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪；其中，多個(gè)數(shù)據(jù)幀包括布置在數(shù)據(jù)空間的多個(gè)平面內(nèi)的離散數(shù)據(jù)幀的堆棧，其中，每個(gè)數(shù)據(jù)幀位于多個(gè)平面的分立平面內(nèi)。實(shí)施例的方法包括檢測(cè)身體的第一姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第一姿態(tài)而激活推回交互。實(shí)施例的方法包括記錄進(jìn)入第一姿態(tài)的第一位置，其中，第一位置是三維空間的手位置。實(shí)施例的方法包括將第一位置設(shè)置為原點(diǎn)，其中，將隨后的檢測(cè)到的身體位置報(bào)告為與原點(diǎn)的相對(duì)偏移。實(shí)施例的檢測(cè)包括檢測(cè)身體的向上移動(dòng)，其中，向上移動(dòng)是沿y軸從顯示器向外的移動(dòng)，其中，該y軸被定義為與顯示器的觀看表面垂直的軸。響應(yīng)身體的向上移動(dòng)，實(shí)施例的導(dǎo)航包括沿y軸從當(dāng)前數(shù)據(jù)幀位移多個(gè)數(shù)據(jù)幀， 其中，堆棧的離散數(shù)據(jù)幀向上平移，其中，當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在顯示器上的離散數(shù)據(jù)幀。實(shí)施例的每個(gè)離散數(shù)據(jù)幀的外表響應(yīng)于位移而改變，其中，堆棧中位于當(dāng)前數(shù)據(jù)幀之上的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，堆棧中位于當(dāng)前數(shù)據(jù)幀之下的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及開(kāi)始變得可見(jiàn)。實(shí)施例的方法包括在姿勢(shì)期間的身體位移的物理距離與堆棧的相繼離散數(shù)據(jù)幀之間的邏輯距離之間的映射，其中，映射控制多個(gè)數(shù)據(jù)幀沿y軸的位移和每個(gè)離散數(shù)據(jù)幀的外表。實(shí)施例的檢測(cè)包括檢測(cè)身體的向下移動(dòng)，其中，向下移動(dòng)是沿y軸朝向顯示器的移動(dòng)。響應(yīng)身體的向下移動(dòng)，實(shí)施例的導(dǎo)航包括沿y軸從當(dāng)前數(shù)據(jù)幀位移多個(gè)數(shù)據(jù)幀， 其中，堆棧的離散數(shù)據(jù)幀向下平移。實(shí)施例的每個(gè)離散數(shù)據(jù)幀的外表響應(yīng)于位移而改變，其中，堆棧中位于當(dāng)前數(shù)據(jù)幀之下的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，堆棧中位于當(dāng)前數(shù)據(jù)幀之上的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及變得可見(jiàn)。實(shí)施例的方法包括在姿勢(shì)期間的身體位移的物理距離與堆棧的相繼離散數(shù)據(jù)幀之間的邏輯距離之間的映射，其中，映射控制多個(gè)數(shù)據(jù)幀沿y軸的位移和每個(gè)離散數(shù)據(jù)幀的外表。實(shí)施例的方法包括直接響應(yīng)身體沿y軸的移動(dòng)而連續(xù)更新多個(gè)數(shù)據(jù)幀的沿y軸的位移。實(shí)施例的方法包括檢測(cè)身體的第二姿態(tài)。實(shí)施例的方法包括響應(yīng)于檢測(cè)到第二姿態(tài)而終止推回交互，其中，終止包括將多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與顯示器共面。實(shí)施例的數(shù)據(jù)空間包括多個(gè)虛擬限位裝置。
實(shí)施例的每個(gè)虛擬限位裝置對(duì)應(yīng)于多個(gè)平面中的每個(gè)平面。實(shí)施例的方法包括形成包括第一活動(dòng)區(qū)、第二活動(dòng)區(qū)和死區(qū)的姿勢(shì)交互空間，其中，第一活動(dòng)區(qū)鄰近顯示器，死區(qū)鄰近第一活動(dòng)區(qū)，以及第二活動(dòng)區(qū)鄰近死區(qū)。當(dāng)在第一活動(dòng)區(qū)和第二活動(dòng)區(qū)之一中檢測(cè)到姿勢(shì)時(shí)，響應(yīng)于姿勢(shì)而激活本實(shí)施例的響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中的導(dǎo)航。實(shí)施例的方法包括呈現(xiàn)在顯示器上的反饋指示器。實(shí)施例的反饋指示器顯示指示身體在第一活動(dòng)區(qū)、第二活動(dòng)區(qū)和死區(qū)之一中的反饋。實(shí)施例的反饋指示器顯示指示身體離原點(diǎn)的物理偏移的反饋。實(shí)施例的方法包括將數(shù)據(jù)集的參數(shù)控制軸與物理空間的維對(duì)準(zhǔn)。實(shí)施例的維為深度維。實(shí)施例的維為水平維。實(shí)施例的維為垂直維。實(shí)施例的維為側(cè)向維。實(shí)施例的導(dǎo)航包括沿維的運(yùn)動(dòng)以實(shí)現(xiàn)沿參數(shù)控制軸的數(shù)據(jù)空間移動(dòng)。實(shí)施例的導(dǎo)航包括導(dǎo)航到數(shù)據(jù)空間的量化參數(shù)空間。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的位置。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的取向。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的姿態(tài)，其中，姿態(tài)是身體的部分相對(duì)于身體的至少一個(gè)其它部分的幾何布置。實(shí)施例的檢測(cè)包括檢測(cè)身體的演進(jìn)的運(yùn)動(dòng)。實(shí)施例的檢測(cè)包括檢測(cè)以下至少之一身體的演進(jìn)的位置、身體的取向、身體的姿態(tài)、和身體的運(yùn)動(dòng)。實(shí)施例的方法包括將姿勢(shì)解析成姿勢(shì)事件的序列。實(shí)施例的方法包括識(shí)別姿勢(shì)。實(shí)施例的姿勢(shì)的識(shí)別包括識(shí)別以下至少之一身體的演進(jìn)的位置、身體的取向、身體的姿態(tài)、和身體的運(yùn)動(dòng)。實(shí)施例的方法包括生成姿勢(shì)事件的序列中的姿勢(shì)事件的表示。實(shí)施例的方法包括將姿勢(shì)事件的表示分發(fā)到耦合到數(shù)據(jù)空間的至少一個(gè)控制組件。實(shí)施例的方法包括使姿勢(shì)事件的表示與數(shù)據(jù)空間的圖形描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與在數(shù)據(jù)空間中的導(dǎo)航的圖形描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與數(shù)據(jù)空間的聽(tīng)覺(jué)描述同步。實(shí)施例的方法包括使姿勢(shì)事件的表示與在數(shù)據(jù)空間中的導(dǎo)航的聽(tīng)覺(jué)描述同步。實(shí)施例的數(shù)據(jù)集表示空間信息。實(shí)施例的數(shù)據(jù)集表示以下至少之一的空間信息現(xiàn)象、事件、測(cè)量、觀測(cè)、和結(jié)構(gòu)。實(shí)施例的數(shù)據(jù)集表示非空間信息。實(shí)施例的姿勢(shì)包括線性空間運(yùn)動(dòng)。實(shí)施例的導(dǎo)航包括在數(shù)據(jù)空間中的線性接近。
實(shí)施例的方法包括在多個(gè)數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集，其中，數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描述。實(shí)施例的方法包括在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀。實(shí)施例的數(shù)據(jù)幀的大小和縱橫比與顯示器的大小和縱橫比相一致。實(shí)施例的數(shù)據(jù)幀的中心和法向矢量與顯示器的中心和法向矢量相一致。實(shí)施例的數(shù)據(jù)幀的位置和取向與顯示器的位置和取向相一致。實(shí)施例的每個(gè)數(shù)據(jù)幀包括表示數(shù)據(jù)集的元素的圖形數(shù)據(jù)元素。實(shí)施例的圖形數(shù)據(jù)元素為靜態(tài)元素。實(shí)施例的圖形數(shù)據(jù)元素為動(dòng)態(tài)元素。實(shí)施例的數(shù)據(jù)幀為二維構(gòu)造。實(shí)施例的數(shù)據(jù)幀駐留在具有坐標(biāo)系的三維圖形呈現(xiàn)環(huán)境中，其中，該坐標(biāo)系與描述包括身體的本地環(huán)境的坐標(biāo)系相一致。實(shí)施例的在數(shù)據(jù)空間中導(dǎo)航包括在多個(gè)數(shù)據(jù)幀中導(dǎo)航。實(shí)施例的方法包括識(shí)別姿勢(shì)，其中，識(shí)別包括識(shí)別身體的部分的姿態(tài)和取向。實(shí)施例的檢測(cè)包括檢測(cè)以下至少之一第一身體附屬物集合、和第二身體附屬物
皇A
朱口 ο實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。實(shí)施例的檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位身體上的標(biāo)記。
實(shí)施例的轉(zhuǎn)換包括將姿勢(shì)信息轉(zhuǎn)換成姿勢(shì)符號(hào)。實(shí)施例的姿勢(shì)符號(hào)表示姿勢(shì)詞匯，以及姿勢(shì)信號(hào)包括姿勢(shì)詞匯的通信。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的即時(shí)姿態(tài)狀態(tài)。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的取向。實(shí)施例的姿勢(shì)詞匯以文本形式表示身體的取向的組合。實(shí)施例的姿勢(shì)詞匯包括表示身體的狀態(tài)的字符串。檢測(cè)包括檢測(cè)身體的推測(cè)(extrapolated)位置何時(shí)與虛擬空間相交，其中，虛擬空間包括在顯示器上描繪的空間。實(shí)施例的方法包括當(dāng)推測(cè)的位置與虛擬空間中的虛擬對(duì)象相交時(shí)控制虛擬對(duì)象。實(shí)施例的控制包括響應(yīng)虛擬空間中的推測(cè)的位置控制虛擬空間中的虛擬對(duì)象的位置。實(shí)施例的方法包括對(duì)檢測(cè)和導(dǎo)航的定標(biāo)(scaling)進(jìn)行控制以產(chǎn)生虛擬空間與物理空間之間的一致性，其中，虛擬空間包括顯示器上描繪的空間，其中，物理空間包括身體所存在于的空間。實(shí)施例的方法包括利用成像系統(tǒng)對(duì)身體進(jìn)行成像。實(shí)施例的成像包括生成身體的波前編碼圖像。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在成像系統(tǒng)的景深之內(nèi)的焦點(diǎn)分辨的數(shù)據(jù)。實(shí)施例的方法包括通過(guò)對(duì)成像系統(tǒng)采集的圖像進(jìn)行編碼來(lái)生成中間圖像。實(shí)施例的中間圖像變得模糊。實(shí)施例的中間圖像對(duì)以下方面中的至少之一的改變不敏感身體，以及成像系統(tǒng)中包括散焦像差的多個(gè)光學(xué)檢測(cè)器。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)。
實(shí)施例的身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)是從成像系統(tǒng)的輸出導(dǎo)出的。實(shí)施例的姿勢(shì)數(shù)據(jù)包括身體的在景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)。實(shí)施例的身體的在景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)是從成像系統(tǒng)的輸出導(dǎo)出的。實(shí)施例的成像系統(tǒng)包括多個(gè)檢測(cè)器。實(shí)施例的至少兩個(gè)檢測(cè)器是包括波前編碼光學(xué)元件的波前編碼攝像機(jī)。實(shí)施例的至少兩個(gè)光學(xué)檢測(cè)器是包括增加成像的焦點(diǎn)深度的相位掩模的波前編碼攝像機(jī)。實(shí)施例的方法包括生成不隨身體和成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。實(shí)施例的方法包括生成相對(duì)于散焦而無(wú)變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。本文中描述的實(shí)施例包括一種系統(tǒng)，該系統(tǒng)包括檢測(cè)器，用于接收表示身體做出的姿勢(shì)的姿勢(shì)數(shù)據(jù)；以及耦合到檢測(cè)器的處理器，處理器自動(dòng)從姿勢(shì)數(shù)據(jù)中檢測(cè)姿勢(shì)，其中，姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，處理器僅使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)，處理器將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，處理器響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間，處理器在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集以及在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中， 多個(gè)共面數(shù)據(jù)幀是數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪；其中，多個(gè)數(shù)據(jù)幀包括布置在數(shù)據(jù)空間的多個(gè)平面內(nèi)的離散數(shù)據(jù)幀的堆棧，其中，每個(gè)數(shù)據(jù)幀位于多個(gè)平面的分立平面內(nèi)。本文中描述的SOE包括處理系統(tǒng)和/或在處理系統(tǒng)下運(yùn)行和/或與處理系統(tǒng)相關(guān)聯(lián)。如本領(lǐng)已知的，處理系統(tǒng)包括基于處理器的設(shè)備或一起運(yùn)行的計(jì)算設(shè)備的任意集合、或者處理系統(tǒng)或設(shè)備的組件。例如，處理系統(tǒng)能夠包括一個(gè)或更多個(gè)便攜計(jì)算機(jī)、在通信網(wǎng)絡(luò)中運(yùn)行的便攜通信設(shè)備和/或網(wǎng)絡(luò)服務(wù)器。便攜計(jì)算機(jī)可以是從個(gè)人計(jì)算機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理、便攜計(jì)算設(shè)備和便攜通信設(shè)備當(dāng)中選擇的任意數(shù)量的設(shè)備和/或組合，但是不限于如此。處理系統(tǒng)能夠包括在更大的計(jì)算機(jī)系統(tǒng)中的組件。實(shí)施例的處理系統(tǒng)包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)裝置或子系統(tǒng)。處理系統(tǒng)還可以包括或耦合到至少一個(gè)數(shù)據(jù)庫(kù)。通常在此使用的術(shù)語(yǔ)“處理器”指的是任何邏輯處理單元，例如一個(gè)或多個(gè)中央處理單元(CPU)、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC) 等等。處理器和存儲(chǔ)器可以整體集成到單個(gè)芯片上，分布在主機(jī)系統(tǒng)的若干芯片或組成部分當(dāng)中，和/或由算法的某種組合來(lái)提供。在此描述的方法可以在(一個(gè)或多個(gè))軟件算法、程序、固件、硬件、部件、電路中的一個(gè)或多個(gè)中以任何組合實(shí)現(xiàn)。實(shí)施在此描述的系統(tǒng)和方法的系統(tǒng)部件可以位于一起或者位于分開(kāi)的位置中。因此，實(shí)施在此描述的系統(tǒng)和方法的系統(tǒng)部件可以是單個(gè)系統(tǒng)、多個(gè)系統(tǒng)和/或地理上分開(kāi)的系統(tǒng)的部件。這些部件也可以是單個(gè)系統(tǒng)、多個(gè)系統(tǒng)和/或地理上分開(kāi)的系統(tǒng)的子部件或子系統(tǒng)。這些部件可以耦合到主機(jī)系統(tǒng)的或與該主機(jī)系統(tǒng)相耦合的系統(tǒng)的一個(gè)或多個(gè)其它部件。通信路徑耦合系統(tǒng)部件并包括用于在部件當(dāng)中傳達(dá)或傳送文件的任何介質(zhì)。通信路徑包括無(wú)線連接、有線連接和混合無(wú)線/有線連接。通信路徑還包括至網(wǎng)絡(luò)的耦合或連接，網(wǎng)絡(luò)包括局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、專(zhuān)有網(wǎng)絡(luò)、局間或尾端網(wǎng)絡(luò)以及因特網(wǎng)。進(jìn)而，通信路徑包括可移動(dòng)固定介質(zhì)像軟盤(pán)、硬盤(pán)驅(qū)動(dòng)器、⑶-ROM盤(pán)以及快閃RAM、通用串行總線(USB)連接、RS-232連接、電話線、總線以及電子郵件消息。除非上下文明確要求，否則貫穿說(shuō)明書(shū)，單詞“包括”等在與排除或窮舉的意義相反的包括的意義上闡釋?zhuān)粨Q言之，在“包括但不限于”的意義上闡釋。使用單數(shù)或復(fù)數(shù)的單詞也分別包括復(fù)數(shù)或單數(shù)。另外，單詞“在此”、“在下面”、“在上面”、“以下”以及類(lèi)似含義的單詞指的是作為整體的本申請(qǐng)而不是本申請(qǐng)的任何特殊部分。當(dāng)在引用兩個(gè)或更多條目的列表中使用單詞“或者”時(shí)，該單詞覆蓋了所有的以下單詞解釋冽表中的任何條目、列表中的所有條目以及列表中條目的任何組合。SOE的實(shí)施例的上述描述并不旨在窮舉或?qū)⒚枋龅南到y(tǒng)和方法限制到公開(kāi)的精確形式。如本領(lǐng)域技術(shù)人員將會(huì)認(rèn)識(shí)到的那樣，雖然為了示意的目的在此描述了 SOE的特定實(shí)施例和例子，各種等效修改在其它系統(tǒng)和方法的范圍之內(nèi)都是可能的。在此提供的SOE 的教導(dǎo)可以適用于其它處理系統(tǒng)和方法，而不僅僅是用于上面描述的系統(tǒng)和方法。上述各種實(shí)施例的要素和行為可以進(jìn)行組合以提供進(jìn)一步的實(shí)施例。考慮到上述詳細(xì)描述，可以對(duì)SOE進(jìn)行這些以及其它改變。一般，在下面的權(quán)利要求中，使用的術(shù)語(yǔ)不應(yīng)該被解釋成限制本說(shuō)明書(shū)和權(quán)利要求中公開(kāi)的特定實(shí)施例的實(shí)例化，而是應(yīng)該被解釋成包括根據(jù)權(quán)利要求運(yùn)行的所有系統(tǒng)。 因此，實(shí)施例不被本文的公開(kāi)限制，而是實(shí)際上實(shí)施例的范圍完全由權(quán)利要求來(lái)確定。盡管以下以某些權(quán)利要求的形式呈現(xiàn)了實(shí)施例的某些方面，發(fā)明人預(yù)期到以任意數(shù)量的權(quán)利要求形式的實(shí)施例的各個(gè)方面。因此，發(fā)明人保留在提交申請(qǐng)以后增加附加權(quán)利要求的權(quán)利，以追求針對(duì)實(shí)施例的其它方面的這樣的附加權(quán)利要求形式。
權(quán)利要求
1.一種用于在數(shù)據(jù)空間中導(dǎo)航的方法，所述方法包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)，其中，所述姿勢(shì)數(shù)據(jù)是所述身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，所述檢測(cè)包括僅使用所述姿勢(shì)數(shù)據(jù)來(lái)識(shí)別所述姿勢(shì)；將所述姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)；以及響應(yīng)所述姿勢(shì)信號(hào)在所述數(shù)據(jù)空間中導(dǎo)航，其中，所述數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。
2.根據(jù)權(quán)利要求1所述的方法，包括將所述數(shù)據(jù)集的參數(shù)控制軸與所述物理空間的維對(duì)準(zhǔn)。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述維為深度維。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述維為水平維。
5.根據(jù)權(quán)利要求2所述的方法，其中，所述維為垂直維。
6.根據(jù)權(quán)利要求2所述的方法，其中，所述維為側(cè)向維。
7.根據(jù)權(quán)利要求2所述的方法，其中，所述導(dǎo)航包括沿所述維的運(yùn)動(dòng)以實(shí)現(xiàn)沿所述參數(shù)控制軸的數(shù)據(jù)空間平移。
8.根據(jù)權(quán)利要求2所述的方法，其中，所述導(dǎo)航包括導(dǎo)航到所述數(shù)據(jù)空間的量化參數(shù)空間。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的位置。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的取向。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的姿態(tài)，其中，所述姿態(tài)是所述身體的部分相對(duì)于所述身體的至少一個(gè)其它部分的幾何布置。
12.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的運(yùn)動(dòng)。
13.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括檢測(cè)以下至少之一所述身體的演進(jìn)的位置、所述身體的取向、所述身體的姿態(tài)、和所述身體的運(yùn)動(dòng)。
14.根據(jù)權(quán)利要求1所述的方法，包括將所述姿勢(shì)解析成姿勢(shì)事件的序列。
15.根據(jù)權(quán)利要求14所述的方法，包括識(shí)別所述姿勢(shì)。
16.根據(jù)權(quán)利要求15所述的方法，其中，所述姿勢(shì)的識(shí)別包括識(shí)別以下至少之一所述身體的演進(jìn)的位置、所述身體的取向、所述身體的姿態(tài)、和所述身體的運(yùn)動(dòng)。
17.根據(jù)權(quán)利要求15所述的方法，包括生成所述姿勢(shì)事件的序列中的姿勢(shì)事件的表7J\ ο
18.根據(jù)權(quán)利要求17所述的方法，包括將所述姿勢(shì)事件的表示分發(fā)到耦合到所述數(shù)據(jù)空間的至少一個(gè)控制組件。
19.根據(jù)權(quán)利要求18所述的方法，包括使所述姿勢(shì)事件的表示與所述數(shù)據(jù)空間的圖形描述同步。
20.根據(jù)權(quán)利要求19所述的方法，包括使所述姿勢(shì)事件的表示與在所述數(shù)據(jù)空間中的導(dǎo)航的圖形描述同步。
21.根據(jù)權(quán)利要求18所述的方法，包括使所述姿勢(shì)事件的表示與所述數(shù)據(jù)空間的聽(tīng)覺(jué)描述同步。
22.根據(jù)權(quán)利要求21所述的方法，包括使所述姿勢(shì)事件的表示與在所述數(shù)據(jù)空間中的導(dǎo)航的聽(tīng)覺(jué)描述同步。
23.根據(jù)權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)集表示空間信息。
24.根據(jù)權(quán)利要求23所述的方法，其中，所述數(shù)據(jù)集表示以下至少之一的空間信息現(xiàn)象、事件、測(cè)量、觀測(cè)、和結(jié)構(gòu)。
25.根據(jù)權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)集表示非空間信息。
26.根據(jù)權(quán)利要求1所述的方法，其中，所述姿勢(shì)包括線性空間運(yùn)動(dòng)。
27.根據(jù)權(quán)利要求1所述的方法，其中，所述導(dǎo)航包括在所述數(shù)據(jù)空間中的線性接近。
28.根據(jù)權(quán)利要求1所述的方法，包括在多個(gè)數(shù)據(jù)幀中呈現(xiàn)所述數(shù)據(jù)集，其中，所述數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描述；在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀。
29.根據(jù)權(quán)利要求觀所述的方法，其中，所述數(shù)據(jù)幀的大小和縱橫比與所述顯示器的大小和縱橫比相一致。
30.根據(jù)權(quán)利要求觀所述的方法，其中，所述數(shù)據(jù)幀的中心和法向矢量與所述顯示器的中心和法向矢量相一致
31.根據(jù)權(quán)利要求觀所述的方法，其中，所述數(shù)據(jù)幀的位置和取向與所述顯示器的位置和取向相一致。
32.根據(jù)權(quán)利要求觀所述的方法，其中，每個(gè)數(shù)據(jù)幀包括表示所述數(shù)據(jù)集的元素的圖形數(shù)據(jù)元素。
33.根據(jù)權(quán)利要求32所述的方法，其中，所述圖形數(shù)據(jù)元素為靜態(tài)元素。
34.根據(jù)權(quán)利要求32所述的方法，其中，所述圖形數(shù)據(jù)元素為動(dòng)態(tài)元素。
35.根據(jù)權(quán)利要求觀所述的方法，其中，所述數(shù)據(jù)幀為二維構(gòu)造。
36.根據(jù)權(quán)利要求35所述的方法，其中，所述數(shù)據(jù)幀駐留在具有坐標(biāo)系的三維圖形呈現(xiàn)環(huán)境中，其中，所述坐標(biāo)系與描述包括所述身體的本地環(huán)境的坐標(biāo)系相一致。
37.根據(jù)權(quán)利要求觀所述的方法，其中，所述在數(shù)據(jù)空間中導(dǎo)航包括在所述多個(gè)數(shù)據(jù)幀中導(dǎo)航。
38.根據(jù)權(quán)利要求觀所述的方法，包括檢測(cè)所述身體的第一姿態(tài)；響應(yīng)于檢測(cè)到第一姿態(tài)而激活推回交互。
39.根據(jù)權(quán)利要求38所述的方法，包括記錄進(jìn)入所述第一姿態(tài)的第一位置，其中，所述第一位置是三維空間的手位置；將所述第一位置設(shè)置為原點(diǎn)，其中，將隨后的檢測(cè)到的身體位置報(bào)告為與所述原點(diǎn)的相對(duì)偏移。
40.根據(jù)權(quán)利要求39所述的方法，包括通過(guò)檢測(cè)所述身體的移動(dòng)來(lái)檢測(cè)姿勢(shì)。
41.根據(jù)權(quán)利要求40所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的第一移動(dòng)，其中，所述第一移動(dòng)是沿軸朝向所述顯示器的移動(dòng)，其中，所述軸被定義為與所述顯示器的觀看表面垂直的軸。
42.根據(jù)權(quán)利要求41所述的方法，其中，響應(yīng)所述身體的第一移動(dòng)，所述導(dǎo)航包括沿軸位移多個(gè)數(shù)據(jù)幀，其中，所述數(shù)據(jù)幀所位于的平面中有較多平面變得可見(jiàn)，其中，看見(jiàn)所述顯示器上呈現(xiàn)的第一可見(jiàn)幀從所述顯示器后退，以及所述第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得可見(jiàn)。
43.根據(jù)權(quán)利要求41所述的方法，其中，響應(yīng)所述身體的第一移動(dòng)，所述導(dǎo)航包括沿所述軸從當(dāng)前數(shù)據(jù)幀位移所述多個(gè)數(shù)據(jù)幀，其中，數(shù)據(jù)幀向下平移，其中，所述當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在所述顯示器上的數(shù)據(jù)幀。
44.根據(jù)權(quán)利要求43所述的方法，其中，每個(gè)數(shù)據(jù)幀的外表響應(yīng)于所述位移而改變，其中，位于所述當(dāng)前數(shù)據(jù)幀之下的數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，所述當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，位于所述當(dāng)前數(shù)據(jù)幀之上的數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及變得可見(jiàn)。
45.根據(jù)權(quán)利要求41所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的第二移動(dòng)，其中，所述第二移動(dòng)是沿所述軸遠(yuǎn)離所述顯示器的移動(dòng)。
46.根據(jù)權(quán)利要求45所述的方法，其中，響應(yīng)所述身體的第二移動(dòng)，所述導(dǎo)航包括沿所述軸位移所述多個(gè)數(shù)據(jù)幀，其中，所述數(shù)據(jù)幀所位于的平面中有較少平面變得可見(jiàn)，其中， 看見(jiàn)所述顯示器上呈現(xiàn)的所述第一可見(jiàn)幀從顯示器接近，以及所述第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得更少地可見(jiàn)。
47.根據(jù)權(quán)利要求45所述的方法，其中，響應(yīng)所述身體的第二移動(dòng)，所述導(dǎo)航包括沿所述軸從當(dāng)前數(shù)據(jù)幀位移所述多個(gè)數(shù)據(jù)幀，其中，所述數(shù)據(jù)幀向上平移，其中，所述當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在所述顯示器上的數(shù)據(jù)幀。
48.根據(jù)權(quán)利要求47所述的方法，其中，每個(gè)數(shù)據(jù)幀的外表響應(yīng)于所述位移而改變，其中，位于所述當(dāng)前數(shù)據(jù)幀之上的數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，所述當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，位于所述當(dāng)前數(shù)據(jù)幀之下的數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及開(kāi)始變得可見(jiàn)。
49.根據(jù)權(quán)利要求40所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的第三移動(dòng)，其中，所述第三移動(dòng)是在與所述顯示器的觀看表面平行的平面內(nèi)的移動(dòng)。
50.根據(jù)權(quán)利要求49所述的方法，其中，響應(yīng)所述身體的第三移動(dòng)，所述導(dǎo)航包括在對(duì)應(yīng)于所述第三移動(dòng)的方向上位移所述多個(gè)數(shù)據(jù)幀。
51.根據(jù)權(quán)利要求50所述的方法，其中，看見(jiàn)呈現(xiàn)在所述顯示器上的當(dāng)前數(shù)據(jù)幀在所述方向上滑動(dòng)，以及所述當(dāng)前數(shù)據(jù)幀的鄰近數(shù)據(jù)幀從所述顯示器的與所述方向相反的一側(cè)滑入視圖中，其中，所述當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在所述顯示器上的數(shù)據(jù)幀。
52.根據(jù)權(quán)利要求40所述的方法，其中，所述導(dǎo)航包括直接響應(yīng)所述身體的移動(dòng)而連續(xù)更新所述多個(gè)數(shù)據(jù)幀的位移。
53.根據(jù)權(quán)利要求52所述的方法，包括檢測(cè)所述身體的第二姿態(tài)；響應(yīng)于檢測(cè)到所述第二姿態(tài)而終止推回交互，其中，所述終止包括將所述多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與所述顯示器共面。
54.根據(jù)權(quán)利要求40所述的方法，包括在姿勢(shì)期間的身體位移的物理距離與在所述導(dǎo)航期間在所述數(shù)據(jù)空間中的相繼點(diǎn)間的邏輯距離之間的映射，其中，所述映射控制以下至少之一所述多個(gè)數(shù)據(jù)幀在所述數(shù)據(jù)空間中的相對(duì)位移、和每個(gè)離散數(shù)據(jù)幀的外表。
55.根據(jù)權(quán)利要求40所述的方法，包括形成包括活動(dòng)區(qū)和死區(qū)的姿勢(shì)交互空間，其中，所述活動(dòng)區(qū)鄰近所述顯示器，而所述死區(qū)鄰近所述活動(dòng)區(qū)。
56.根據(jù)權(quán)利要求55所述的方法，其中，當(dāng)在所述活動(dòng)區(qū)中檢測(cè)到所述姿勢(shì)時(shí)，響應(yīng)所述姿勢(shì)而激活響應(yīng)于所述姿勢(shì)信號(hào)在數(shù)據(jù)空間中的導(dǎo)航。
57.根據(jù)權(quán)利要求55所述的方法，包括呈現(xiàn)在所述顯示器上的反饋指示器。
58.根據(jù)權(quán)利要求57所述的方法，其中，所述反饋指示器顯示指示所述身體在所述活動(dòng)區(qū)和所述死區(qū)之一中的反饋。
59.根據(jù)權(quán)利要求57所述的方法，其中，所述反饋指示器顯示指示所述身體離所述原點(diǎn)的物理偏移的反饋。
60.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括以下至少之一檢測(cè)所述身體的位置、檢測(cè)所述身體的取向、和檢測(cè)所述身體的運(yùn)動(dòng)。
61.根據(jù)權(quán)利要求1所述的方法，包括識(shí)別所述姿勢(shì)，其中，所述識(shí)別包括識(shí)別所述身體的部分的姿態(tài)和取向。
62.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括檢測(cè)以下至少之一第一身體附屬物集合、和第二身體附屬物集合。
63.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)耦合到所述身體的至少一個(gè)標(biāo)簽的位置。
64.根據(jù)權(quán)利要求63所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)耦合到所述身體的標(biāo)簽集的位置。
65.根據(jù)權(quán)利要求64所述的方法，其中，所述標(biāo)簽集中的每個(gè)標(biāo)簽包括圖案，其中，所述標(biāo)簽集中的每個(gè)標(biāo)簽的每個(gè)圖案不同于所述多個(gè)標(biāo)簽中的任意剩余標(biāo)簽的任意圖案。
66.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位所述身體上的標(biāo)記。
67.根據(jù)權(quán)利要求66所述的方法，其中，所述檢測(cè)包括檢測(cè)耦合到所述身體的標(biāo)記集的位置。
68.根據(jù)權(quán)利要求66所述的方法，其中，所述標(biāo)記集形成所述身體上的多個(gè)圖案。
69.根據(jù)權(quán)利要求66所述的方法，其中，所述檢測(cè)包括使用耦合到所述附屬物中的每個(gè)的標(biāo)記集來(lái)檢測(cè)所述身體的多個(gè)附屬物的位置。
70.根據(jù)權(quán)利要求1所述的方法，其中，所述轉(zhuǎn)換包括將所述姿勢(shì)的信息轉(zhuǎn)換成姿勢(shì)符號(hào)。
71.根據(jù)權(quán)利要求70所述的方法，其中，所述姿勢(shì)符號(hào)表示姿勢(shì)詞匯，以及所述姿勢(shì)信號(hào)包括所述姿勢(shì)詞匯的通信。
72.根據(jù)權(quán)利要求71所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的運(yùn)動(dòng)關(guān)聯(lián)的即時(shí)姿態(tài)狀態(tài)。
73.根據(jù)權(quán)利要求71所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的運(yùn)動(dòng)關(guān)聯(lián)的取向。
74.根據(jù)權(quán)利要求71所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的運(yùn)動(dòng)關(guān)聯(lián)的取向的組合。
75.根據(jù)權(quán)利要求71所述的方法，其中，所述姿勢(shì)詞匯包括表示所述身體的運(yùn)動(dòng)關(guān)聯(lián)的狀態(tài)的字符串。
76.根據(jù)權(quán)利要求75所述的方法，其中，所述運(yùn)動(dòng)關(guān)聯(lián)是所述身體的至少一個(gè)第一附屬物。
77.根據(jù)權(quán)利要求76所述的方法，包括將所述字符串中的每個(gè)位置指定給第二附屬物，所述第二附屬物連接到第一附屬物。
78.根據(jù)權(quán)利要求1所述的方法，包括將多個(gè)字符中的字符指定給第二附屬物的多個(gè)位置中的每個(gè)。
79.根據(jù)權(quán)利要求78所述的方法，其中，所述多個(gè)位置相對(duì)于坐標(biāo)系原點(diǎn)而建立。
80.根據(jù)權(quán)利要求79所述的方法，包括使用從由以下組成的組中選擇的位置以及交互地響應(yīng)所述身體的動(dòng)作來(lái)建立所述坐標(biāo)系原點(diǎn)空間中的絕對(duì)位置和取向、不管所述身體的整體位置和朝向而相對(duì)于所述身體的固定位置和取向。
81.根據(jù)權(quán)利要求78所述的方法，包括將多個(gè)字符中的字符指定給第一附屬物的多個(gè)取向中的每個(gè)。
82.根據(jù)權(quán)利要求76所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的推測(cè)位置何時(shí)與虛擬空間相交，其中，所述虛擬空間包括在耦合到所述計(jì)算機(jī)的顯示裝置上描繪的空間。
83.根據(jù)權(quán)利要求82所述的方法，包括當(dāng)所述推測(cè)的位置與所述虛擬空間中的虛擬對(duì)象相交時(shí)控制所述虛擬對(duì)象。
84.根據(jù)權(quán)利要求83所述的方法，其中，所述控制包括響應(yīng)所述虛擬空間中的所推測(cè)的位置控制所述虛擬空間中的所述虛擬對(duì)象的位置。
85.根據(jù)權(quán)利要求83所述的方法，其中，所述控制包括響應(yīng)于所述姿勢(shì)來(lái)控制所述虛擬空間中的所述虛擬對(duì)象的姿勢(shì)。
86.根據(jù)權(quán)利要求1所述的方法，包括對(duì)所述檢測(cè)和所述控制的定標(biāo)進(jìn)行控制以產(chǎn)生虛擬空間與所述物理空間之間的一致性，其中，所述虛擬空間包括顯示器上描繪的空間，其中，所述物理空間包括所述身體所存在于的空間。
87.根據(jù)權(quán)利要求86所述的方法，包括響應(yīng)于所述物理空間中的至少一個(gè)物理對(duì)象的移動(dòng)來(lái)控制所述虛擬空間中的至少一個(gè)虛擬對(duì)象。
88.根據(jù)權(quán)利要求1所述的方法，包括利用成像系統(tǒng)對(duì)所述身體進(jìn)行成像。
89.根據(jù)權(quán)利要求88所述的方法，其中，所述成像包括生成所述身體的波前編碼圖像。
90.根據(jù)權(quán)利要求89所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述成像系統(tǒng)的景深之內(nèi)的焦點(diǎn)分辨的數(shù)據(jù)。
91.根據(jù)權(quán)利要求90所述的方法，包括通過(guò)對(duì)所述成像系統(tǒng)采集的圖像進(jìn)行編碼來(lái)生成中間圖像。
92.根據(jù)權(quán)利要求91所述的方法，其中，所述中間圖像變得模糊。
93.根據(jù)權(quán)利要求91所述的方法，其中，所述中間圖像對(duì)以下方面的至少之一的改變不敏感所述身體，以及所述成像系統(tǒng)中包括散焦像差的多個(gè)光學(xué)檢測(cè)器。
94.根據(jù)權(quán)利要求90所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)。
95.根據(jù)權(quán)利要求94所述的方法，其中，所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)是從所述成像系統(tǒng)的輸出導(dǎo)出的。
96.根據(jù)權(quán)利要求90所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)。
97.根據(jù)權(quán)利要求96所述的方法，其中，所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)是從所述成像系統(tǒng)的輸出導(dǎo)出的。
98.根據(jù)權(quán)利要求88所述的方法，其中，所述成像系統(tǒng)包括多個(gè)檢測(cè)器。
99.根據(jù)權(quán)利要求98所述的方法，其中，所述檢測(cè)器中的至少兩個(gè)是包括波前編碼光學(xué)元件的波前編碼攝像機(jī)。
100.根據(jù)權(quán)利要求98所述的方法，其中，所述光學(xué)檢測(cè)器中的至少兩個(gè)是包括增加所述成像的焦點(diǎn)深度的相位掩模的波前編碼攝像機(jī)。
101.根據(jù)權(quán)利要求88所述的方法，包括生成不隨所述身體和所述成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
102.根據(jù)權(quán)利要求88所述的方法，包括生成相對(duì)于散焦而無(wú)變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
103.一種系統(tǒng)，所述系統(tǒng)包括檢測(cè)器，用于接收表示身體做出的姿勢(shì)的姿勢(shì)數(shù)據(jù)；以及耦合到所述檢測(cè)器的處理器，所述處理器自動(dòng)從所述姿勢(shì)數(shù)據(jù)中檢測(cè)所述姿勢(shì)，其中， 所述姿勢(shì)數(shù)據(jù)是所述身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，所述處理器僅使用所述姿勢(shì)數(shù)據(jù)來(lái)識(shí)別所述姿勢(shì)，所述處理器將所述姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，所述處理器響應(yīng)所述姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航，其中，所述數(shù)據(jù)空間是包括表示在所述物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。
104.一種用于在數(shù)據(jù)空間中導(dǎo)航的方法，該方法包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)，其中，所述姿勢(shì)數(shù)據(jù)是所述身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，所述檢測(cè)包括僅使用所述姿勢(shì)數(shù)據(jù)來(lái)識(shí)別所述姿勢(shì)；將所述姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)；響應(yīng)所述姿勢(shì)信號(hào)在所述數(shù)據(jù)空間中導(dǎo)航，其中，所述數(shù)據(jù)空間是包括表示在所述物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間；以及在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)所述數(shù)據(jù)集以及在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中，所述多個(gè)共面數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪。
105.根據(jù)權(quán)利要求104所述的方法，包括檢測(cè)所述身體的第一姿態(tài)；響應(yīng)于檢測(cè)到所述第一姿態(tài)而激活推回交互。
106.根據(jù)權(quán)利要求105所述的方法，包括記錄進(jìn)入所述第一姿態(tài)的第一位置，其中，所述第一位置是三維空間的手位置；將所述第一位置設(shè)置為原點(diǎn)，其中，將隨后的檢測(cè)到的身體位置報(bào)告為與所述原點(diǎn)的相對(duì)偏移。
107.根據(jù)權(quán)利要求106所述的方法，其中，所述檢測(cè)包括檢測(cè)身體的向前移動(dòng)，其中， 所述向前移動(dòng)是沿ζ軸朝向所述顯示器的移動(dòng)，其中，所述ζ軸被定義為與所述顯示器的觀看表面垂直的軸。
108.根據(jù)權(quán)利要求107所述的方法，其中，響應(yīng)所述身體的向前移動(dòng)，所述導(dǎo)航包括沿所述ζ軸位移所述多個(gè)數(shù)據(jù)幀，其中，所述數(shù)據(jù)幀所位于的平面中有較多平面變得可見(jiàn)，其中，看見(jiàn)所述顯示器上呈現(xiàn)的第一可見(jiàn)幀從所述顯示器后退，以及所述第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得可見(jiàn)。
109.根據(jù)權(quán)利要求108所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的向后移動(dòng)，其中，所述向后移動(dòng)是沿所述ζ軸遠(yuǎn)離所述顯示器的移動(dòng)。
110.根據(jù)權(quán)利要求109所述的方法，其中，響應(yīng)所述身體的向后移動(dòng)，所述導(dǎo)航包括沿所述ζ軸位移所述多個(gè)數(shù)據(jù)幀，其中，所述數(shù)據(jù)幀所位于的平面中有較少平面變得可見(jiàn)，其中，看見(jiàn)所述顯示器上呈現(xiàn)的所述第一可見(jiàn)幀從顯示器接近，以及所述第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀變得更少地可見(jiàn)。
111.根據(jù)權(quán)利要求110所述的方法，包括直接響應(yīng)所述身體沿所述Z軸的移動(dòng)而連續(xù)更新所述多個(gè)數(shù)據(jù)幀的沿所述ζ軸的位移。
112.根據(jù)權(quán)利要求111所述的方法，包括檢測(cè)所述身體的第二姿態(tài)；響應(yīng)于檢測(cè)到所述第二姿態(tài)而終止推回交互，其中，所述終止包括將所述多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與所述顯示器共面。
113.根據(jù)權(quán)利要求106所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的右側(cè)向移動(dòng)， 其中，所述右側(cè)向移動(dòng)是沿χ軸的移動(dòng)，其中，所述χ軸存在于與所述顯示器的觀看表面平行的平面內(nèi)。
114.根據(jù)權(quán)利要求113所述的方法，其中，響應(yīng)所述身體的右側(cè)向移動(dòng)，所述導(dǎo)航包括沿所述χ軸向右位移所述多個(gè)數(shù)據(jù)幀，其中，看見(jiàn)呈現(xiàn)在所述顯示器上的第一可見(jiàn)幀從所述顯示器向所述顯示器的右側(cè)滑動(dòng)，以及所述第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀從所述顯示器的左側(cè)滑入視圖中。
115.根據(jù)權(quán)利要求114所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的左側(cè)向移動(dòng)， 其中，所述左側(cè)向移動(dòng)是沿所述χ軸的移動(dòng)。
116.根據(jù)權(quán)利要求115所述的方法，其中，響應(yīng)所述身體的左側(cè)向移動(dòng)，所述導(dǎo)航包括沿所述χ軸向左位移所述多個(gè)數(shù)據(jù)幀，其中，看見(jiàn)呈現(xiàn)在所述顯示器上的第一可見(jiàn)幀從所述顯示器向所述顯示器的左側(cè)滑動(dòng)，以及所述第一數(shù)據(jù)幀的鄰近數(shù)據(jù)幀從所述顯示器的右側(cè)滑入視圖中。
117.根據(jù)權(quán)利要求116所述的方法，包括直接響應(yīng)所述身體沿所述χ軸的移動(dòng)而連續(xù)更新所述多個(gè)數(shù)據(jù)幀的沿所述χ軸的位移。
118.根據(jù)權(quán)利要求17所述的方法，包括檢測(cè)所述身體的第二姿態(tài)；響應(yīng)于檢測(cè)到所述第二姿態(tài)而終止推回交互，其中，所述終止包括將所述多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與所述顯示器共面。
119.根據(jù)權(quán)利要求106所述的方法，其中，所述數(shù)據(jù)空間包括布置在所述平面內(nèi)的多個(gè)虛擬限位裝置。
120.根據(jù)權(quán)利要求119所述的方法，其中，每個(gè)虛擬限位裝置對(duì)應(yīng)于每個(gè)數(shù)據(jù)幀。
121.根據(jù)權(quán)利要求106所述的方法，包括形成包括活動(dòng)區(qū)和死區(qū)的姿勢(shì)交互空間，其中，所述活動(dòng)區(qū)鄰近所述顯示器，而所述死區(qū)鄰近所述活動(dòng)區(qū)。
122.根據(jù)權(quán)利要求121所述的方法，其中，當(dāng)在所述活動(dòng)區(qū)中檢測(cè)到所述姿勢(shì)時(shí)，響應(yīng)所述姿勢(shì)而激活響應(yīng)于所述姿勢(shì)信號(hào)在數(shù)據(jù)空間中的所述導(dǎo)航。
123.根據(jù)權(quán)利要求121所述的方法，包括呈現(xiàn)在所述顯示器上的反饋指示器。
124.根據(jù)權(quán)利要求123所述的方法，其中，所述反饋指示器顯示指示所述身體在所述活動(dòng)區(qū)和所述死區(qū)之一中的反饋。
125.根據(jù)權(quán)利要求123所述的方法，其中，所述反饋指示器顯示指示所述身體離所述原點(diǎn)的物理偏移的反饋。
126.根據(jù)權(quán)利要求104所述的方法，包括將所述數(shù)據(jù)集的參數(shù)控制軸與所述物理空間的維對(duì)準(zhǔn)。
127.根據(jù)權(quán)利要求1 所述的方法，其中，所述維為深度維。
128.根據(jù)權(quán)利要求1 所述的方法，其中，所述維為水平維。
129.根據(jù)權(quán)利要求1 所述的方法，其中，所述維為垂直維。
130.根據(jù)權(quán)利要求1 所述的方法，其中，所述維為側(cè)向維。
131.根據(jù)權(quán)利要求1 所述的方法，其中，所述導(dǎo)航包括沿所述維的運(yùn)動(dòng)以實(shí)現(xiàn)沿所述參數(shù)控制軸的數(shù)據(jù)空間平移。
132.根據(jù)權(quán)利要求1 所述的方法，其中，所述導(dǎo)航包括導(dǎo)航到所述數(shù)據(jù)空間的量化參散空間。
133.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的位置。
134.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的取向。
135.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的姿態(tài)， 其中，所述姿態(tài)是所述身體的部分相對(duì)于所述身體的至少一個(gè)其它部分的幾何布置。
136.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的運(yùn)動(dòng)。
137.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)以下至少之一所述身體的演進(jìn)的位置、所述身體的取向、所述身體的姿態(tài)、和所述身體的運(yùn)動(dòng)。
138.根據(jù)權(quán)利要求104所述的方法，包括將所述姿勢(shì)解析成姿勢(shì)事件的序列。
139.根據(jù)權(quán)利要求138所述的方法，包括識(shí)別所述姿勢(shì)。
140.根據(jù)權(quán)利要求139所述的方法，其中，所述姿勢(shì)的識(shí)別包括識(shí)別以下至少之一所述身體的演進(jìn)的位置、所述身體的取向、所述身體的姿態(tài)、和所述身體的運(yùn)動(dòng)。
141.根據(jù)權(quán)利要求139所述的方法，包括生成所述姿勢(shì)事件的序列中的姿勢(shì)事件的表示。
142.根據(jù)權(quán)利要求141所述的方法，包括將所述姿勢(shì)事件的表示分發(fā)到耦合到所述數(shù)據(jù)空間的至少一個(gè)控制組件。
143.根據(jù)權(quán)利要求142所述的方法，包括使所述姿勢(shì)事件的表示與所述數(shù)據(jù)空間的圖形描述同步。
144.根據(jù)權(quán)利要求143所述的方法，包括使所述姿勢(shì)事件的表示與在所述數(shù)據(jù)空間中的導(dǎo)航的圖形描述同步。
145.根據(jù)權(quán)利要求142所述的方法，包括使所述姿勢(shì)事件的表示與所述數(shù)據(jù)空間的聽(tīng)覺(jué)描述同步。
146.根據(jù)權(quán)利要求145所述的方法，包括使所述姿勢(shì)事件的表示與在所述數(shù)據(jù)空間中的導(dǎo)航的聽(tīng)覺(jué)描述同步。
147.根據(jù)權(quán)利要求104所述的方法，其中，所述數(shù)據(jù)集表示空間信息。
148.根據(jù)權(quán)利要求147所述的方法，其中，所述數(shù)據(jù)集表示以下至少之一的空間信息 現(xiàn)象、事件、測(cè)量、觀測(cè)、和結(jié)構(gòu)。
149.根據(jù)權(quán)利要求104所述的方法，其中，所述數(shù)據(jù)集表示非空間信息。
150.根據(jù)權(quán)利要求104所述的方法，其中，所述姿勢(shì)包括線性空間運(yùn)動(dòng)。
151.根據(jù)權(quán)利要求104所述的方法，其中，所述導(dǎo)航包括在所述數(shù)據(jù)空間中的線性接近。
152.根據(jù)權(quán)利要求104所述的方法，包括在多個(gè)數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集，其中，所述數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描述；在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀。
153.根據(jù)權(quán)利要求152所述的方法，其中，所述數(shù)據(jù)幀的大小和縱橫比與所述顯示器的大小和縱橫比相一致。
154.根據(jù)權(quán)利要求152所述的方法，其中，所述數(shù)據(jù)幀的中心和法向矢量與所述顯示器的中心和法向矢量相一致。
155.根據(jù)權(quán)利要求152所述的方法，其中，所述數(shù)據(jù)幀的位置和取向與所述顯示器的位置和取向相一致。
156.根據(jù)權(quán)利要求152所述的方法，其中，每個(gè)數(shù)據(jù)幀包括表示所述數(shù)據(jù)集的元素的圖形數(shù)據(jù)元素。
157.根據(jù)權(quán)利要求156所述的方法，其中，所述圖形數(shù)據(jù)元素為靜態(tài)元素。
158.根據(jù)權(quán)利要求156所述的方法，其中，所述圖形數(shù)據(jù)元素為動(dòng)態(tài)元素。
159.根據(jù)權(quán)利要求152所述的方法，其中，所述數(shù)據(jù)幀為二維構(gòu)造。
160.根據(jù)權(quán)利要求159所述的方法，其中，所述數(shù)據(jù)幀駐留在具有坐標(biāo)系的三維圖形呈現(xiàn)環(huán)境中，其中，所述坐標(biāo)系與描述包括所述身體的本地環(huán)境的坐標(biāo)系相一致。
161.根據(jù)權(quán)利要求152所述的方法，其中，在所述數(shù)據(jù)空間中導(dǎo)航包括在所述多個(gè)數(shù)據(jù)幀中導(dǎo)航。
162.根據(jù)權(quán)利要求104所述的方法，包括識(shí)別所述姿勢(shì)，其中，所述識(shí)別包括識(shí)別所述身體的部分的姿態(tài)和取向。
163.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)以下至少之一第一身體附屬物集合、和第二身體附屬物集合。
164.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。
165.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位所述身體上的標(biāo)記。
166.根據(jù)權(quán)利要求104所述的方法，其中，所述轉(zhuǎn)換包括將所述姿勢(shì)的信息轉(zhuǎn)換成姿勢(shì)符號(hào)。
167.根據(jù)權(quán)利要求166所述的方法，其中，所述姿勢(shì)符號(hào)表示姿勢(shì)詞匯，以及所述姿勢(shì)信號(hào)包括所述姿勢(shì)詞匯的通信。
168.根據(jù)權(quán)利要求167所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的即時(shí)姿態(tài)狀態(tài)。
169.根據(jù)權(quán)利要求167所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的取向。
170.根據(jù)權(quán)利要求167所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的取向的組合。
171.根據(jù)權(quán)利要求167所述的方法，其中，所述姿勢(shì)詞匯包括表示所述身體的狀態(tài)的字符串。
172.根據(jù)權(quán)利要求104所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的推測(cè)位置何時(shí)與虛擬空間相交，其中，所述虛擬空間包括在所述顯示器上描繪的空間。
173.根據(jù)權(quán)利要求172所述的方法，包括當(dāng)所述推測(cè)的位置與所述虛擬空間中的虛擬對(duì)象相交時(shí)控制所述虛擬對(duì)象。
174.根據(jù)權(quán)利要求173所述的方法，包括響應(yīng)所述虛擬空間中的所推測(cè)的位置控制所述虛擬空間中的所述虛擬對(duì)象的位置。
175.根據(jù)權(quán)利要求104所述的方法，包括對(duì)所述檢測(cè)和所述導(dǎo)航的定標(biāo)進(jìn)行控制以產(chǎn)生虛擬空間與物理空間之間的一致性，其中，所述虛擬空間包括所述顯示器上描繪的空間，其中，所述物理空間包括所述身體所存在于的空間。
176.根據(jù)權(quán)利要求104所述的方法，包括利用成像系統(tǒng)對(duì)所述身體進(jìn)行成像。
177.根據(jù)權(quán)利要求176所述的方法，其中，所述成像包括生成所述身體的波前編碼圖像。
178.根據(jù)權(quán)利要求177所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述成像系統(tǒng)的景深之內(nèi)的焦點(diǎn)分辨的數(shù)據(jù)。
179.根據(jù)權(quán)利要求178所述的方法，包括通過(guò)對(duì)所述成像系統(tǒng)采集的圖像進(jìn)行編碼來(lái)生成中間圖像。
180.根據(jù)權(quán)利要求179所述的方法，其中，所述中間圖像變得模糊。
181.根據(jù)權(quán)利要求179所述的方法，其中，所述中間圖像對(duì)以下方面中的至少之一的改變不敏感所述身體，以及所述成像系統(tǒng)中包括散焦像差的多個(gè)光學(xué)檢測(cè)器。
182.根據(jù)權(quán)利要求178所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)。
183.根據(jù)權(quán)利要求182所述的方法，其中，所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)是從所述成像系統(tǒng)的輸出導(dǎo)出的。
184.根據(jù)權(quán)利要求178所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)。
185.根據(jù)權(quán)利要求184所述的方法，其中，所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)是從所述成像系統(tǒng)的輸出導(dǎo)出的。
186.根據(jù)權(quán)利要求176所述的方法，其中，所述成像系統(tǒng)包括多個(gè)檢測(cè)器。
187.根據(jù)權(quán)利要求186所述的方法，其中，所述檢測(cè)器中的至少兩個(gè)是包括波前編碼光學(xué)元件的波前編碼攝像機(jī)。
188.根據(jù)權(quán)利要求186所述的方法，其中，所述光學(xué)檢測(cè)器中的至少兩個(gè)是包括增加所述成像的焦點(diǎn)深度的相位掩模的波前編碼攝像機(jī)。
189.根據(jù)權(quán)利要求176所述的方法，包括生成不隨所述身體和所述成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
190.根據(jù)權(quán)利要求176所述的方法，包括生成相對(duì)于散焦而無(wú)變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
191.一種系統(tǒng)，所述系統(tǒng)包括檢測(cè)器，用于接收表示身體做出的姿勢(shì)的姿勢(shì)數(shù)據(jù)；以及耦合到所述檢測(cè)器的處理器，所述處理器自動(dòng)從所述姿勢(shì)數(shù)據(jù)中檢測(cè)所述姿勢(shì)，其中， 所述姿勢(shì)數(shù)據(jù)是所述身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，所述處理器僅使用所述姿勢(shì)數(shù)據(jù)來(lái)識(shí)別所述姿勢(shì)，所述處理器將所述姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，所述處理器響應(yīng)所述姿勢(shì)信號(hào)在所述數(shù)據(jù)空間中導(dǎo)航，其中，所述數(shù)據(jù)空間是包括表示在所述物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間，所述處理器在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)所述數(shù)據(jù)集以及在所述顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中，所述多個(gè)共面數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪。
192.一種用于在數(shù)據(jù)空間中導(dǎo)航的方法，所述方法包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)，其中，所述姿勢(shì)數(shù)據(jù)是所述身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，所述檢測(cè)包括僅使用所述姿勢(shì)數(shù)據(jù)來(lái)識(shí)別所述姿勢(shì)；將所述姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)；響應(yīng)所述姿勢(shì)信號(hào)在所述數(shù)據(jù)空間中導(dǎo)航，其中，所述數(shù)據(jù)空間是包括表示在所述物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間；以及在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)所述數(shù)據(jù)集以及在所述顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中，所述多個(gè)共面數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪；其中，所述多個(gè)數(shù)據(jù)幀包括布置在所述數(shù)據(jù)空間的多個(gè)平面內(nèi)的離散數(shù)據(jù)幀的堆棧，其中，每個(gè)數(shù)據(jù)幀位于所述多個(gè)平面中的分立平面內(nèi)。
193.根據(jù)權(quán)利要求192所述的方法，包括檢測(cè)所述身體的第一姿態(tài)；響應(yīng)于檢測(cè)到所述第一姿態(tài)而激活推回交互。
194.根據(jù)權(quán)利要求193所述的方法，包括記錄進(jìn)入所述第一姿態(tài)的第一位置，其中，所述第一位置是三維空間的手位置；將所述第一位置設(shè)置為原點(diǎn)，其中，將隨后的檢測(cè)到的身體位置報(bào)告為與所述原點(diǎn)的相對(duì)偏移。
195.根據(jù)權(quán)利要求194所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的向上移動(dòng)，其中，所述向上移動(dòng)是沿y軸從顯示器向外的移動(dòng)，其中，所述y軸被定義為與所述顯示器的觀看表面垂直的軸。
196.根據(jù)權(quán)利要求195所述的方法，其中，響應(yīng)所述身體的向上移動(dòng)，所述導(dǎo)航包括沿所述y軸從當(dāng)前數(shù)據(jù)幀位移多個(gè)數(shù)據(jù)幀，其中，所述堆棧的所述離散數(shù)據(jù)幀向上平移，其中，所述當(dāng)前數(shù)據(jù)幀是當(dāng)前呈現(xiàn)在所述顯示器上的離散數(shù)據(jù)幀。
197.根據(jù)權(quán)利要求196所述的方法，其中，每個(gè)離散數(shù)據(jù)幀的外表響應(yīng)于所述位移而改變，其中，所述堆棧中位于所述當(dāng)前數(shù)據(jù)幀之上的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，所述當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，所述堆棧中位于所述當(dāng)前數(shù)據(jù)幀之下的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及開(kāi)始變得可見(jiàn)。
198.根據(jù)權(quán)利要求197所述的方法，包括在姿勢(shì)期間的身體位移的物理距離與所述堆棧的相繼離散數(shù)據(jù)幀之間的邏輯距離之間的映射，其中，所述映射控制所述多個(gè)數(shù)據(jù)幀沿所述y軸的位移和每個(gè)離散數(shù)據(jù)幀的外表。
199.根據(jù)權(quán)利要求198所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的向下移動(dòng)，其中，所述向下移動(dòng)是沿所述y軸朝向所述顯示器的移動(dòng)。
200.根據(jù)權(quán)利要求199所述的方法，其中，響應(yīng)所述身體的向下移動(dòng)，所述導(dǎo)航包括沿所述y軸從所述當(dāng)前數(shù)據(jù)幀位移多個(gè)數(shù)據(jù)幀，其中，所述堆棧的離散數(shù)據(jù)幀向下平移。
201.根據(jù)權(quán)利要求200所述的方法，其中，每個(gè)離散數(shù)據(jù)幀的外表響應(yīng)于所述位移而改變，其中，所述堆棧中位于所述當(dāng)前數(shù)據(jù)幀之下的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)高的透明度和模糊度，其中，所述當(dāng)前數(shù)據(jù)幀從可見(jiàn)開(kāi)始過(guò)渡以及開(kāi)始呈現(xiàn)透明度和模糊度，其中，所述堆棧中位于所述當(dāng)前數(shù)據(jù)幀之上的離散數(shù)據(jù)幀呈現(xiàn)相對(duì)更低的透明度和模糊度以及變得可見(jiàn)。
202.根據(jù)權(quán)利要求201所述的方法，包括在姿勢(shì)期間的身體位移的物理距離與所述堆棧的相繼離散數(shù)據(jù)幀之間的邏輯距離之間的映射，其中，所述映射控制所述多個(gè)數(shù)據(jù)幀沿所述y軸的位移和每個(gè)離散數(shù)據(jù)幀的外表。
203.根據(jù)權(quán)利要求202所述的方法，包括直接響應(yīng)所述身體沿所述y軸的移動(dòng)而連續(xù)更新所述多個(gè)數(shù)據(jù)幀的沿所述y軸的位移。
204.根據(jù)權(quán)利要求203所述的方法，包括檢測(cè)所述身體的第二姿態(tài)；響應(yīng)于檢測(cè)到所述第二姿態(tài)而終止推回交互，其中，所述終止包括將所述多個(gè)數(shù)據(jù)幀中的數(shù)據(jù)幀顯示為與所述顯示器共面。
205.根據(jù)權(quán)利要求192所述的方法，其中，所述數(shù)據(jù)空間包括多個(gè)虛擬限位裝置。
206.根據(jù)權(quán)利要求205所述的方法，其中，每個(gè)虛擬限位裝置對(duì)應(yīng)于所述多個(gè)平面中的每個(gè)平面。
207.根據(jù)權(quán)利要求192所述的方法，包括形成包括第一活動(dòng)區(qū)、第二活動(dòng)區(qū)和死區(qū)的姿勢(shì)交互空間，其中，所述第一活動(dòng)區(qū)鄰近所述顯示器，所述死區(qū)鄰近所述第一活動(dòng)區(qū)，以及所述第二活動(dòng)區(qū)鄰近所述死區(qū)。
208.根據(jù)權(quán)利要求207所述的方法，其中，當(dāng)在所述第一活動(dòng)區(qū)和所述第二活動(dòng)區(qū)之一中檢測(cè)到所述姿勢(shì)時(shí)，響應(yīng)所述姿勢(shì)而激活所述響應(yīng)于所述姿勢(shì)信號(hào)在數(shù)據(jù)空間中的導(dǎo)航。
209.根據(jù)權(quán)利要求207所述的方法，包括呈現(xiàn)在所述顯示器上的反饋指示器。
210.根據(jù)權(quán)利要求209所述的方法，其中，所述反饋指示器顯示指示所述身體在所述第一活動(dòng)區(qū)、所述第二活動(dòng)區(qū)和所述死區(qū)之一中的反饋。
211.根據(jù)權(quán)利要求209所述的方法，其中，所述反饋指示器顯示指示所述身體離所述原點(diǎn)的物理偏移的反饋。
212.根據(jù)權(quán)利要求192所述的方法，包括將所述數(shù)據(jù)集的參數(shù)控制軸與所述物理空間的維對(duì)準(zhǔn)。
213.根據(jù)權(quán)利要求212所述的方法，其中，所述維為深度維。
214.根據(jù)權(quán)利要求212所述的方法，其中，所述維為水平維。
215.根據(jù)權(quán)利要求212所述的方法，其中，所述維為垂直維。
216.根據(jù)權(quán)利要求212所述的方法，其中，所述維為側(cè)向維。
217.根據(jù)權(quán)利要求212所述的方法，其中，所述導(dǎo)航包括沿所述維的運(yùn)動(dòng)以實(shí)現(xiàn)沿所述參數(shù)控制軸的數(shù)據(jù)空間平移。
218.根據(jù)權(quán)利要求212所述的方法，其中，所述導(dǎo)航包括導(dǎo)航到所述數(shù)據(jù)空間的量化參數(shù)空間。
219.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的位置。
220.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的取向。
221.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的姿態(tài)， 其中，所述姿態(tài)是所述身體的部分相對(duì)于所述身體的至少一個(gè)其它部分的幾何布置。
222.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的演進(jìn)的運(yùn)動(dòng)。
223.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)以下至少之一所述身體的演進(jìn)的位置、所述身體的取向、所述身體的姿態(tài)、和所述身體的運(yùn)動(dòng)。
224.根據(jù)權(quán)利要求192所述的方法，包括將所述姿勢(shì)解析成姿勢(shì)事件的序列。
225.根據(jù)權(quán)利要求2M所述的方法，包括識(shí)別所述姿勢(shì)。
226.根據(jù)權(quán)利要求225所述的方法，其中，所述姿勢(shì)的識(shí)別包括識(shí)別以下至少之一所述身體的演進(jìn)的位置、所述身體的取向、所述身體的姿態(tài)、和所述身體的運(yùn)動(dòng)。
227.根據(jù)權(quán)利要求225所述的方法，包括生成所述姿勢(shì)事件的序列中的姿勢(shì)事件的表示。
228.根據(jù)權(quán)利要求227所述的方法，包括將所述姿勢(shì)事件的表示分發(fā)到耦合到所述數(shù)據(jù)空間的至少一個(gè)控制組件。
229.根據(jù)權(quán)利要求2 所述的方法，包括使所述姿勢(shì)事件的表示與所述數(shù)據(jù)空間的圖形描述同步。
230.根據(jù)權(quán)利要求2 所述的方法，包括使所述姿勢(shì)事件的表示與在所述數(shù)據(jù)空間中的導(dǎo)航的圖形描述同步。
231.根據(jù)權(quán)利要求2 所述的方法，包括使所述姿勢(shì)事件的表示與所述數(shù)據(jù)空間的聽(tīng)覺(jué)描述同步。
232.根據(jù)權(quán)利要求231所述的方法，包括使所述姿勢(shì)事件的表示與在所述數(shù)據(jù)空間中的導(dǎo)航的聽(tīng)覺(jué)描述同步。
233.根據(jù)權(quán)利要求192所述的方法，其中，所述數(shù)據(jù)集表示空間信息。
234.根據(jù)權(quán)利要求233所述的方法，其中，所述數(shù)據(jù)集表示以下至少之一的空間信息 現(xiàn)象、事件、測(cè)量、觀測(cè)、和結(jié)構(gòu)。
235.根據(jù)權(quán)利要求192所述的方法，其中，所述數(shù)據(jù)集表示非空間信息。
236.根據(jù)權(quán)利要求192所述的方法，其中，所述姿勢(shì)包括線性空間運(yùn)動(dòng)。
237.根據(jù)權(quán)利要求192所述的方法，其中，所述導(dǎo)航包括在所述數(shù)據(jù)空間中的線性接近。
238.根據(jù)權(quán)利要求192所述的方法，包括在多個(gè)數(shù)據(jù)幀中呈現(xiàn)數(shù)據(jù)集，其中，所述數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描述；在顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀。
239.根據(jù)權(quán)利要求238所述的方法，其中，所述數(shù)據(jù)幀的大小和縱橫比與所述顯示器的大小和縱橫比相一致。
240.根據(jù)權(quán)利要求238所述的方法，其中，所述數(shù)據(jù)幀的中心和法向矢量與所述顯示器的中心和法向矢量相一致。
241.根據(jù)權(quán)利要求238所述的方法，其中，所述數(shù)據(jù)幀的位置和取向與所述顯示器的位置和取向相一致。
242.根據(jù)權(quán)利要求238所述的方法，其中，每個(gè)數(shù)據(jù)幀包括表示所述數(shù)據(jù)集的元素的圖形數(shù)據(jù)元素。
243.根據(jù)權(quán)利要求242所述的方法，其中，所述圖形數(shù)據(jù)元素為靜態(tài)元素。
244.根據(jù)權(quán)利要求242所述的方法，其中，所述圖形數(shù)據(jù)元素為動(dòng)態(tài)元素。
245.根據(jù)權(quán)利要求238所述的方法，其中，所述數(shù)據(jù)幀為二維構(gòu)造。
246.根據(jù)權(quán)利要求245所述的方法，其中，所述數(shù)據(jù)幀駐留在具有坐標(biāo)系的三維圖形呈現(xiàn)環(huán)境中，其中，所述坐標(biāo)系與描述包括所述身體的本地環(huán)境的坐標(biāo)系相一致。
247.根據(jù)權(quán)利要求238所述的方法，其中，所述在數(shù)據(jù)空間中導(dǎo)航包括在所述多個(gè)數(shù)據(jù)幀中導(dǎo)航。
248.根據(jù)權(quán)利要求192所述的方法，包括識(shí)別所述姿勢(shì)，其中，所述識(shí)別包括識(shí)別所述身體的部分的姿態(tài)和取向。
249.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)以下至少之一第一身體附屬物集合、和第二身體附屬物集合。
250.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)至少一個(gè)標(biāo)簽的位置。
251.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括動(dòng)態(tài)檢測(cè)和定位所述身體上的標(biāo)記。
252.根據(jù)權(quán)利要求192所述的方法，其中，所述轉(zhuǎn)換包括將所述姿勢(shì)的信息轉(zhuǎn)換成姿勢(shì)符號(hào)。
253.根據(jù)權(quán)利要求252所述的方法，其中，所述姿勢(shì)符號(hào)表示姿勢(shì)詞匯，以及所述姿勢(shì)信號(hào)包括所述姿勢(shì)詞匯的通信。
254.根據(jù)權(quán)利要求253所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的即時(shí)姿態(tài)狀態(tài)。
255.根據(jù)權(quán)利要求253所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的取向。
256.根據(jù)權(quán)利要求253所述的方法，其中，所述姿勢(shì)詞匯以文本形式表示所述身體的取向的組合。
257.根據(jù)權(quán)利要求253所述的方法，其中，所述姿勢(shì)詞匯包括表示所述身體的狀態(tài)的字符串。
258.根據(jù)權(quán)利要求192所述的方法，其中，所述檢測(cè)包括檢測(cè)所述身體的推測(cè)位置何時(shí)與虛擬空間相交，其中，所述虛擬空間包括在所述顯示器上描繪的空間。
259.根據(jù)權(quán)利要求258所述的方法，包括當(dāng)所述推測(cè)的位置與所述虛擬空間中的虛擬對(duì)象相交時(shí)控制所述虛擬對(duì)象。
260.根據(jù)權(quán)利要求259所述的方法，其中，所述控制包括響應(yīng)所述虛擬空間中的所推測(cè)的位置控制所述虛擬空間中的所述虛擬對(duì)象的位置。
261.根據(jù)權(quán)利要求192所述的方法，包括對(duì)所述檢測(cè)和所述導(dǎo)航的定標(biāo)進(jìn)行控制以產(chǎn)生虛擬空間與物理空間之間的一致性，其中，所述虛擬空間包括所述顯示器上描繪的空間， 其中，所述物理空間包括所述身體所存在于的空間。
262.根據(jù)權(quán)利要求192所述的方法，包括利用成像系統(tǒng)對(duì)所述身體進(jìn)行成像。
263.根據(jù)權(quán)利要求262所述的方法，其中，所述成像包括生成所述身體的波前編碼圖像。
264.根據(jù)權(quán)利要求263所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述成像系統(tǒng)的景深之內(nèi)的焦點(diǎn)分辨的數(shù)據(jù)。
265.根據(jù)權(quán)利要求264所述的方法，包括通過(guò)對(duì)所述成像系統(tǒng)采集的圖像進(jìn)行編碼來(lái)生成中間圖像。
266.根據(jù)權(quán)利要求265所述的方法，其中，所述中間圖像變得模糊。
267.根據(jù)權(quán)利要求265所述的方法，其中，所述中間圖像對(duì)以下方面中的至少之一的改變不敏感所述身體，以及所述成像系統(tǒng)中包括散焦像差的多個(gè)光學(xué)檢測(cè)器。
268.根據(jù)權(quán)利要求264所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)。
269.根據(jù)權(quán)利要求268所述的方法，其中，所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的范圍數(shù)據(jù)是從所述成像系統(tǒng)的輸出導(dǎo)出的。
270.根據(jù)權(quán)利要求264所述的方法，其中，所述姿勢(shì)數(shù)據(jù)包括所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)。
271.根據(jù)權(quán)利要求270所述的方法，其中，所述身體的在所述景深之內(nèi)的焦點(diǎn)分辨的位置數(shù)據(jù)是從所述成像系統(tǒng)的輸出導(dǎo)出的。
272.根據(jù)權(quán)利要求262所述的方法，其中，所述成像系統(tǒng)包括多個(gè)檢測(cè)器。
273.根據(jù)權(quán)利要求272所述的方法，其中，所述檢測(cè)器中的至少兩個(gè)是包括波前編碼光學(xué)元件的波前編碼攝像機(jī)。
274.根據(jù)權(quán)利要求272所述的方法，其中，所述光學(xué)檢測(cè)器中的至少兩個(gè)是包括增加所述成像的焦點(diǎn)深度的相位掩模的波前編碼攝像機(jī)。
275.根據(jù)權(quán)利要求262所述的方法，包括生成不隨所述身體和所述成像系統(tǒng)之間的距離而變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
276.根據(jù)權(quán)利要求262所述的方法，包括生成相對(duì)于散焦而無(wú)變化的調(diào)制傳遞函數(shù)和點(diǎn)擴(kuò)散函數(shù)。
277.—種系統(tǒng)，所述系統(tǒng)包括檢測(cè)器，用于接收表示身體做出的姿勢(shì)的姿勢(shì)數(shù)據(jù)；以及耦合到所述檢測(cè)器的處理器，所述處理器自動(dòng)從所述姿勢(shì)數(shù)據(jù)中檢測(cè)所述姿勢(shì)，其中， 所述姿勢(shì)數(shù)據(jù)是所述身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)，所述處理器僅使用所述姿勢(shì)數(shù)據(jù)來(lái)識(shí)別所述姿勢(shì)，所述處理器將所述姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，所述處理器響應(yīng)所述姿勢(shì)信號(hào)在所述數(shù)據(jù)空間中導(dǎo)航，其中，所述數(shù)據(jù)空間是包括表示在所述物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間，所述處理器在多個(gè)共面數(shù)據(jù)幀中呈現(xiàn)所述數(shù)據(jù)集以及在所述顯示器上將每個(gè)數(shù)據(jù)幀顯示為可見(jiàn)幀，其中，所述多個(gè)共面數(shù)據(jù)幀是所述數(shù)據(jù)空間的多個(gè)區(qū)域的圖形描繪；其中，所述多個(gè)數(shù)據(jù)幀包括布置在所述數(shù)據(jù)空間的多個(gè)平面內(nèi)的離散數(shù)據(jù)幀的堆棧，其中，每個(gè)數(shù)據(jù)幀位于所述多個(gè)平面中的分立平面內(nèi)。
全文摘要
公開(kāi)了用于在數(shù)據(jù)空間中導(dǎo)航的系統(tǒng)和方法。該導(dǎo)航包括從經(jīng)由檢測(cè)器接收到的姿勢(shì)數(shù)據(jù)中檢測(cè)身體的姿勢(shì)。姿勢(shì)數(shù)據(jù)是身體在時(shí)間和物理空間中的點(diǎn)處的即時(shí)狀態(tài)的絕對(duì)三維空間位置數(shù)據(jù)。檢測(cè)包括使用姿勢(shì)數(shù)據(jù)來(lái)識(shí)別姿勢(shì)。該導(dǎo)航包括將姿勢(shì)轉(zhuǎn)換成姿勢(shì)信號(hào)，以及響應(yīng)于姿勢(shì)信號(hào)在數(shù)據(jù)空間中導(dǎo)航。數(shù)據(jù)空間是包括表示在物理空間中的數(shù)據(jù)集的數(shù)據(jù)表示空間。
文檔編號(hào)G06F17/00GK102177513SQ200980140293
公開(kāi)日2011年9月7日 申請(qǐng)日期2009年9月3日 優(yōu)先權(quán)日2008年9月3日
發(fā)明者克溫德拉·H·克拉默, 約翰·S·昂德科夫勒 申請(qǐng)人:奧布隆工業(yè)有限公司