專利名稱：包括數(shù)據(jù)表示、操作和交換的基于姿勢的控制系統(tǒng)的制作方法
技術領域：
描述了與基于姿勢的控制系統(tǒng)有關的實施例，該基于姿勢的控制系統(tǒng)包括有在計算處理之內(nèi)或者在計算處理之間的數(shù)據(jù)表示、操作和交換。
背景技術：
傳統(tǒng)的編程環(huán)境不完全支持交叉網(wǎng)絡運行和/或大量的計算處理之間靈活地共享數(shù)據(jù)。例如，傳統(tǒng)的面向用戶的計算平臺提供了用于在多個處理之間傳輸事件數(shù)據(jù)的設施。但是，這些傳統(tǒng)的機制全部都遭受到難以建構起多處理和多機制應用的缺點的制約。例如，傳統(tǒng)的事件框架是強類型的，這使得這些事件框架是不靈活的并且形成了與日益流行的動態(tài)應用程序的設施的失配。傳統(tǒng)的框架還被配置成僅支持點對點的數(shù)據(jù)傳送，這使協(xié)調(diào)多于少數(shù)幾個截然不同的處理的活動變得困難或者是不可能的。傳統(tǒng)的框架還強烈地依賴于特定的本地存儲器內(nèi)的數(shù)據(jù)結構，這使得傳統(tǒng)的框架不適合在盤(on-disk)存儲或者跨越網(wǎng)絡的傳輸。通過引用的合并在本說明書中提及的每項專利、專利申請和/或出版物都以其全部內(nèi)容通過引用合并在本文中到以下程度好像每項單獨的專利、專利申請和/或出版物都被具體且單獨地指示出是通過引用被合并的一樣。


圖I是根據(jù)實施例的用于檢測、表示和解譯三維空間輸入的系統(tǒng)的框圖。圖2是根據(jù)實施例的用于檢測、表示和解譯三維空間輸入的系統(tǒng)的以處理為中心的框圖。圖3是根據(jù)實施例的用于檢測、表示和解譯三維空間輸入的系統(tǒng)的可替換框圖。圖4是根據(jù)實施例的姿勢I/O的框圖。圖5是根據(jù)實施例的姿勢I/O的數(shù)據(jù)漏斗。圖6是根據(jù)實施例的姿勢I/O的姿勢引擎。圖7是根據(jù)實施例的分配器的匿名異步知識庫分配機制的框圖。圖8是根據(jù)實施例的分配器的定向接收分配機制的框圖。圖9是根據(jù)實施例的空間連續(xù)輸入系統(tǒng)的框圖。
圖10是根據(jù)實施例的姿勢控制系統(tǒng)的框圖。圖11是根據(jù)實施例的標記標簽的圖。圖12是根據(jù)實施例的姿勢詞匯中的姿態(tài)的圖。圖13是根據(jù)實施例的姿勢詞匯中的取向的圖。

圖14是根據(jù)實施例的姿勢詞匯中的兩手組合的圖。圖15是根據(jù)實施例的姿勢詞匯中的取向混合的圖。圖16是根據(jù)實施例的系統(tǒng)操作的流程圖。圖17是根據(jù)實施例的指令的示例。圖18是根據(jù)實施例的包括使用色拉(slaw)、蛋白質(zhì)(protein)和池(pool)進行數(shù)據(jù)表示的處理環(huán)境的框圖。圖19是根據(jù)實施例的蛋白質(zhì)的框圖。圖20是根據(jù)實施例的記述(descrip)的框圖。圖21是根據(jù)實施例的攝取(ingest)的框圖。 圖22是根據(jù)實施例的色拉的框圖。圖23A是根據(jù)實施例的在池中的蛋白質(zhì)的框圖。圖23B示出了根據(jù)實施例的色拉頭部格式。圖23C是根據(jù)實施例的使用蛋白質(zhì)的流程圖。圖23D是根據(jù)實施例的構造或生成蛋白質(zhì)的流程圖。圖24是根據(jù)實施例的包括使用色拉、蛋白質(zhì)和池進行數(shù)據(jù)交換的處理環(huán)境的框圖。圖25是根據(jù)實施例的下述處理環(huán)境的框圖，該處理環(huán)境包括多個設備和在所述設備中的一個或更多個設備上運行的眾多程序，其中，等離子體構造(即池、蛋白質(zhì)和色拉)用于允許眾多運行的程序共享并集體地響應由設備所生成的事件。圖26是根據(jù)可替換實施例的下述處理環(huán)境的框圖，該處理環(huán)境包括多個設備和在所述設備中的一個或更多個設備上運行的眾多程序，其中，等離子體構造(即池、蛋白質(zhì)和色拉)用于允許眾多運行的程序共享并集體地響應由設備所生成的事件。圖27是根據(jù)另一個可替換實施例的下述處理環(huán)境的框圖，該處理環(huán)境包括多個輸入設備，所述多個輸入設備耦接在運行于設備中的一個或更多個設備上的眾多程序當中，其中，等離子體構造(即池、蛋白質(zhì)和色拉)用于允許眾多運行的程序共享并集體地響應由輸入設備所生成的事件。圖28是根據(jù)又一個可替換實施例的下述處理環(huán)境的框圖，該處理環(huán)境包括多個設備，所述多個設備耦接在運行于設備中的一個或更多個設備上的眾多程序當中，其中，等離子體構造(即池、蛋白質(zhì)和色拉)用于允許眾多運行的程序共享并集體地響應由設備所生成的事件。圖29是根據(jù)再一個可替換實施例的下述處理環(huán)境的框圖，該處理環(huán)境包括多個設備，所述多個設備耦接在運行于設備中的一個或更多個設備上的眾多程序當中，其中，等離子體構造(即池、蛋白質(zhì)和色拉)用于允許對運行的程序進行狀態(tài)檢查、可視化和調(diào)試。圖30是根據(jù)另外的可替換實施例的下述處理環(huán)境的框圖，該處理環(huán)境包括多個設備，所述多個設備耦接在運行于設備中的一個或更多個設備上的眾多程序當中，其中，等離子體構造(即池、蛋白質(zhì)和色拉)用于允許影響或控制該進程池中產(chǎn)生和放置的狀態(tài)信息的特性。
具體實施例方式描述了用于對來自多個空間跟蹤數(shù)據(jù)源的低等級數(shù)據(jù)進行處理的系統(tǒng)和方法。這些方法和系統(tǒng)的實施例是在空間操作環(huán)境(SOE)的背景下提供的，以下將進行詳細描述。包括姿勢控制系統(tǒng)或者基于姿勢的控制系統(tǒng)的SOE可以可替換地被稱為空間用戶接口(SUI)或者空間接口(SI)。圖I是根據(jù)實施例的用于檢測、表示和解譯三維空間輸入的系統(tǒng)10的框圖。在SOE 5的背景下，系統(tǒng)10的實施例對來自多個空間跟蹤數(shù)據(jù)源的低等級數(shù)據(jù)I進行處理、而且對這些在語義上不相關的時空數(shù)據(jù)進行分析、而且根據(jù)一組動態(tài)地可配置的內(nèi)隱的和外顯的姿勢描述2來生成高等級的姿勢事件3。所產(chǎn)生的事件3適于由交互系統(tǒng)(未示出)消費，而實施例提供了一個或更多個機制4用于控制和影響將事件分配到這些消費者。實施例還提供給其事件3的消費者以用于在任意空間的參照系和語義上的參照系之間變換姿勢事件的設施。在這里，實施例的中心是斷言姿勢的概念域是空間的和語義上的連續(xù)體6。在連續(xù)體6的一端的是完全不受約束的自由空間姿勢輸入6A，其中，一個或更多個手配合以通過三維空間描述曲線軌跡，以及其中，同時地，聚集的手指姿態(tài)隨著時間而發(fā)展。在另一端是表面接觸輸入6D，其中，一個或更多個手指被“約束”成依賴一維或二維的流形(文獻上通常將這種形式稱為“基于觸摸的輸入”)。在這些極端情況之間的是可以被稱為“盤旋(hover)輸入”的觸摸確立6C ;在這里，手指仍然是接近流形的但是并不與流形接觸；接觸 需求的這種松弛允許展開另外的自由度。更一般地說，有用的是提及“接近輸入”6B，其中，姿勢發(fā)生在已定義的接近一個或更多個表面的范圍內(nèi)或者局限于特定的體積。每種姿勢“種類”顯然會逐漸變?yōu)橄乱粋€姿勢“種類”一從自由空間6A到接近的6B、到盤旋6C、到觸摸6D—此外，每種這樣的種類適當?shù)亍⑿问缴系匾约皫缀紊系匕乱环N類。還會理解的是“姿勢輸入”的這種連續(xù)體6決不局限于人的手加了標簽的或者以其他方式可跟蹤的物理對象也是輸入連續(xù)體6中的有效參與者。在這里，實施例對可以考慮的多個點沿著輸入連續(xù)體6的兩種方式加以外顯的區(qū)另IJ。從感測的優(yōu)勢來講，不同的輸入機制看上去訂閱了連續(xù)體6的不同區(qū)域例如，高保真度運動捕捉器械(rig)看起來提供了六個自由度的自由空間輸入6A，而電場感測裝置看起來生成了盤旋類型的輸入6C，而通常的電容性感測單元看起來報告了觸摸輸入6D。從事件消費的優(yōu)勢，由此從語義學的優(yōu)勢來講，應該很少對事件的低等級起源感興趣；而事實上，通常非常有用的是能夠理解被譯成不同表示的同一事件(例如，被譯成自由空間姿勢以及被譯成盤旋姿勢)。然而，現(xiàn)有技術傾向于合并兩種優(yōu)勢。即就是，例如，其他的系統(tǒng)通常將觸摸屏表面認為是必要的而僅生成二維的觸摸事件。相反地，在此描述的實施例的一個優(yōu)點是維持兩種優(yōu)勢之間的區(qū)別。圖2是根據(jù)實施例的用于檢測、表示和解譯三維空間輸入的系統(tǒng)10的以處理為中心的框圖。實施例的第一階段11對來自源的完全不同的集合的低水平輸入進行核對而將以不同方式產(chǎn)生的低水平事件適配成統(tǒng)一表示的時空數(shù)據(jù)的單個流。第二階段12將所適配的低水平數(shù)據(jù)解析成語義上有意義的姿勢事件而且以中立的但是完全連貫的形式來表示這些姿勢事件。第三階段13將所得到的中立事件分配給消費者而且向消費者提供可以通過其將任何事件變換成局域最優(yōu)的語義上的形式的設施。如此，例如實施例使用逐手指的高保真度六個自由度 的輸入以產(chǎn)生相對于工作臺表面的觸摸事件；在該情況下，表面自身是非儀表化的，而是可以數(shù)學地表示的，例如表示成幾何結構，以使得在缺少專用觸摸感測硬件的情況下仍然可以經(jīng)由幾何相交而通過計算推演出觸摸。簡而言之，實施例的形式體系使得能夠?qū)Χ鄻踊目臻g輸入進行完全一般的應用。以下對實施例進行描述，該描述包括(I)實施例的更大的背景實施例起到關鍵作用的系統(tǒng)的典型生態(tài)；(2)包含實施例的三個管道狀部件的概要；(3)對三個部件的詳細描述，每個都具有偶然的例證性示例；(4)管道的第二部件的完全的實施方式；以及(5)示出由實施例實現(xiàn)的不同交互系統(tǒng)的四個場景。

在以下的描述中，介紹了眾多具體的細節(jié)以提供對在此描述的實施例的徹底理解在此描述的實施例的描述，并且這些細節(jié)使得能夠?qū)崿F(xiàn)對在此描述的實施例的描述。然而，本領域技術人員會認識到，這些實施例可以在沒有具體細節(jié)中的一個或更多個細節(jié)的情況下或者在具有其他部件、系統(tǒng)等的情況下實行。在其他情況下，公知的結構或操作未被示出或者未被詳細描述，以避免模糊了所公開的實施例的方面。以下的術語在這里使用時意在以下通常的意義。這里使用的術語“處理”意味著可分離的程序運行背景。計算機架構和操作系統(tǒng)在處理實施方式的技術細節(jié)方面不同。在此描述的機制被配置成在寬范圍的處理實施方式上工作并且被配置成對混合應用程序設計或者利用盡可能多的可用計算資源的配置有利。這里使用的術語“設備”意味著運行一個或更多個程序或算法的任何基于處理器 的設備、運行在一個或更多個程序或算法下的任何基于處理器的設備、和/或耦接或連接到運行一個或更多個程序或算法和/或運行在一個或更多個程序或算法下的任何設備。這里使用的術語“事件”意味著與運行或執(zhí)行程序或算法、基于處理器的設備和/或耦接或連接到基于處理器的設備的設備相關聯(lián)的任何事件(例如，事件可以包括但不限于輸入、輸出、控制、狀態(tài)、狀態(tài)變化、動作、數(shù)據(jù)(而不管數(shù)據(jù)的格式或者與數(shù)據(jù)相關聯(lián)的處理的階段)等)。如上所述的，系統(tǒng)和方法的實施例是在空間操作環(huán)境(SOE)的背景下提供的。SOE是完整的應用程序開發(fā)和執(zhí)行平臺，并且在某些方面與操作系統(tǒng)相似。然而，SOE特許了真實世界三維幾何和計算機與人類操作員之間的高效、高帶寬交互，而由此實施了復雜的接口方案。而SOE又以新的低水平以及中等水平的系統(tǒng)基礎結構代替了許多傳統(tǒng)的OS服務和體系結構，對于這種豐富的、有細微差別的接口的要求來說傳統(tǒng)的OS服務器和體系結構是不適當?shù)?。圖3是根據(jù)實施例的用于檢測、表示和解譯三維空間輸入的系統(tǒng)20的可替換框圖。系統(tǒng)20在SOE 5的上下文中工作。S0E5的主要組成是姿勢I/O 14、基于網(wǎng)絡的數(shù)據(jù)表示、傳輸和互換15、以及空間適配的顯示網(wǎng)格16。以下將詳細地描述SOE 5的組成中的
每一個。在描述實施例的姿勢I/O 14時，人手的組合蘊涵——人手的主體位置和取向連同由人手手指的彎曲的聚集形成的“姿態(tài)”——和由大多數(shù)人所享受的精確運動神經(jīng)控制(motor control) 一起使得基于手的姿勢成為SOE輸入系統(tǒng)中的至關重要的外部部件。SOE 5由此以高保真度貫穿三維空間體積地跟蹤手。其她的從屬對象(例如用于多路傳輸(channeling)或操縱數(shù)字內(nèi)容的物理的并且通常可抓取的“工具”)也可以被跟蹤。姿勢交互最通常地相對于在視覺域、聽覺域和觸覺閾工作的二維和三維顯示器上所描繪的動態(tài)實體來進行。激活反饋“圖示符”同時使用SOE的顯示器，從而(a)報告操作員系統(tǒng)即時的和正在進行的對姿勢輸入的解譯；(b)基于系統(tǒng)狀態(tài)以及局域姿勢歷史，列舉可能的姿勢的“接下來的步驟”；以及(c)提供對姿勢序列的臨近的操縱結果的概略的預覽。結構上，SOE的姿勢I/O 14系統(tǒng)的輸入部分采用大約線性流水線形式。在最早的階段，流水線進行動作以來處理、關聯(lián)和接合來自可能的多個源的空間跟蹤信息，其中，源 包括任何數(shù)目、類型、和/或數(shù)據(jù)流/源SY(其中Y是任何數(shù)目1，2，……)的組合；而之后收集各單獨的元素以成為已知配置和能夠期望的聚集(例如開始被認為是單獨的手指被收集成整個手的表示)。流水線的第二階段是姿勢引擎，該姿勢引擎分析第一階段的結果并且企圖檢測姿勢發(fā)生和消除姿勢發(fā)生的歧義。在第三階段中，媒體水平表示的“事件”被傳到事件消費者，該事件消費者可以使用SOE設施以用于將這些通用的事件變換成與局域環(huán)境幾何相關的形式。實施例的基于網(wǎng)絡的數(shù)據(jù)表示、傳輸和互換15包括被稱為“等離子體”的系統(tǒng)，該系統(tǒng)包括子系統(tǒng)“色拉”、“蛋白質(zhì)”以及“池”，如以下詳細描述的。色拉是自描述的數(shù)據(jù)結構，其包括原子形式——字符串和數(shù)值類型的擴張集合，包括支持以下元素復數(shù)、矢量、ClifforcK或者“多矢量”)和矩陣實體以及任意地可嵌套的聚集形式——“對”并矢量(dyads)、異類列表以及唯一鍵(unique-keyed)關聯(lián)列表。蛋白質(zhì)是多個色拉的規(guī)定結構封裝被稱為“記述”的、色拉的任意長度的級聯(lián)(通常，字符串)提供了對蛋白質(zhì)的便利地 可搜索的描述；而被稱為“攝取”的、鍵值對并矢量的任意長度的級聯(lián)形成了蛋白質(zhì)的數(shù)據(jù)有效載荷。在實施例中，蛋白質(zhì)自身是特定種類的色拉。池是蛋白質(zhì)的持久線性順序集合；任意許多處理可以并行地連接到給定的池。每個被連接的處理可以將蛋白質(zhì)存放在池中，從池中檢索蛋白質(zhì)，或者二者皆可。低水平的池機制確保本地計算機上的池事物以及(跨網(wǎng)絡)遠程進行的池事物從程序員的和運行的代碼的角度上講都是不能辨別的。對由遠距離處理存放的蛋白質(zhì)的檢索自動地使所有被封裝的色拉適配，以使得硬件專用的以及體系結構專用的數(shù)據(jù)格式差異(例如，端部(Endianess))無形中被分辨。池在概念上具有無限的容量和持續(xù)時間，以使得處理在任何時間都可以穿過池的歷史向后“回繞”，訪問越來越老的蛋白質(zhì)。等離子體的實施方式是極端最優(yōu)化的；池中介的蛋白質(zhì)由此為接口事件、系統(tǒng)事件、進程間發(fā)送消息、高密度媒體流、結構化數(shù)據(jù)交換等形成了高度理想的表示機制。此夕卜，等離子體系統(tǒng)的提供實現(xiàn)并鼓勵了將復雜“應用程序”構造成通過蛋白質(zhì)互換來協(xié)同的獨立的模塊化進程的生態(tài)。如上所述的，實施例的SOE 5包括空間上適配的顯示網(wǎng)格16。SOE 5的中心前提是計算進程的外部表現(xiàn)(視覺、聽覺和觸覺顯示，進程通過它們表現(xiàn)進程的狀態(tài)并且表示信息)必須使其自身在邏輯上與其所嵌入的真實世界空間適配。由此，S0E5在每個編程水平都提供了用于描述和操縱三維幾何結構的基本構造的系統(tǒng)。幾何形狀總是用“真實世界”坐標系描述，這樣的坐標特意地適于對SOE 5所處的室或空間的描述。如此，例如，由SOE 5控制的任何二維視覺顯示器(比方說監(jiān)測器)不僅維持了對其像素分辨率的描述，還維持了對其在室中的物理尺寸、定位以及取向的描述。這意味著，顯示器上的各個像素都具有真實世界定位和范圍；以及類似地，顯示在設備上的圖形構造擁有可信的物理(與室適配的)幾何形狀。這種基于幾何形狀的表示方案具有直接的、極大的重要性，這是因為SOE的輸入系統(tǒng)采用了同樣的幾何形狀和坐標系。因此，SOE5可以提供協(xié)同定位的輸入和輸出。當操作員從一定距離處指向顯示在屏幕上的圖形對象時，系統(tǒng)能夠邏輯地認為操作員和圖形(以可知的幾何關系)呈現(xiàn)在同一三維空間連續(xù)體中。因此，確定正指向的對象的相交計算在數(shù)學上是微不足道的，而幾何對象則可以立即使自己對操作員的操縱作出反應或服從。所得到的空間因果關系又導致了操作員對圖形與操 作員一起在室中的感知和認知確信；而在相關的感覺中，這樣的確信是準確的。由此，由當前起支配作用的人/機接口所引起的期望和模態(tài)經(jīng)歷了有價值的逆轉(zhuǎn)，而獲得了“直接空間操縱”的范例。S0E5提供了附加的設施用于使不相交的空間幾何地相關(例如用使跨越特許的視覺顯示器的兩個或更多個分離的交互地址“接合”的電視協(xié)作系統(tǒng))以及用于轉(zhuǎn)換幾何構造以允許在不同的局域參照系中的解譯。最終，SOE 5提供了針對“簡化了的幾何形狀”的清晰可見的表示，其中，“簡化了的幾何形狀”即不能經(jīng)由連接的空間(即Euclidean，Minkowski, anti de Sitter等)形式被有意義地理解的數(shù)據(jù)之間的邏輯關系；此處,SOE提供了基本的拓撲表現(xiàn)。此處所描述的實施例形成了 SEO 5的姿勢I/O系統(tǒng)14的輸入側的主要部分。實施例可以被視為與下述流水線類似，該流水線將非常低水平(語義上“信號水平”)的輸入變換成更加結構化的、符號的以及上下文專用的輸入以由比方說更高水平的SOE組成來消費。然而，這并不是說實施例以非結構化的、純文字的或者上下文窮盡的模式來工作流水線的許多關鍵效能得自于其對屬于SOE的組成系統(tǒng)中的其他的高水平的幾何和計算的上下文的無障礙訪問。

圖4是根據(jù)實施例的姿勢I/O 14的框圖。概括地講，姿勢I/O 14的最早階段20概念“數(shù)據(jù)漏斗”20對來自可能的多個源的空間跟蹤信息進行處理、關聯(lián)和接合。例如，實施例的流水線是其一部分的SOE 5會同時協(xié)同地使用(a)服務不同的體積的幾個運動跟蹤設備、(b)在各個工作站附近的受范圍約束的機器視覺跟蹤、以及(C)與大的投影臺相關聯(lián)的電場分析接近度和觸摸感測。漏斗20根據(jù)任何數(shù)目、類型、和/或組合的數(shù)據(jù)流/源SY(其中Y是任何數(shù)目1，2，……)用適配的坐標表示(相對于全局室空間)來描繪低水平的空間事件。緊接其后，漏斗20在適當?shù)牡胤缴杀硎炯仁俏淖值膸缀翁匦杂质钦Z義特性的邏輯聚集(在該階段，各個手指分別加了標簽的手使得出現(xiàn)了連同手指姿態(tài)的緊湊標記的作為高精度的總位置和取向的描述)。這些元素事件被傳遞到輸入系統(tǒng)的第二階段，“姿勢引擎”21，其中，“姿勢引擎”21的工作是檢測特定時空環(huán)境——“姿勢”——并消除其歧義，該特定時空環(huán)境對于單獨的進程、激活的計算對象、系統(tǒng)范圍的通知構造等會是感興趣的。姿勢引擎21的活動由一組時空規(guī)則——對特定姿勢或者多類姿勢的描述——指導，該時空規(guī)則可以被靜態(tài)地或者動態(tài)地配置。引擎產(chǎn)生了使被檢測的姿勢環(huán)境連貫的詳細的但是中立地描述的數(shù)據(jù)束(“原事件”)。最后，姿勢I/O 14的第三階段22將由姿勢引擎發(fā)出的原事件分配到如同會與該引擎編程接觸一樣的事件消費機制。每個事件消費者能夠訪問由第三階段所提供的設施，該設施可以“以局域術語”重新描繪原事件束即可以相對于特定的局域幾何形狀以空間語義的形式重新表達事件。例如，食指和無名指形成“勝利符號”V的推向屏幕的手可以被描繪成在精確的三維室位置處的單個姿態(tài)配置；或者被描繪為相對于屏幕的總體手接近的狀態(tài)；或者被描繪為一系列接近觸摸事件，其中，每根手指分別被考慮。圖5是根據(jù)實施例的姿勢I/O 14的數(shù)據(jù)漏斗20。數(shù)據(jù)漏斗20 (此處也被稱為輸入漏斗20)將低水平的空間輸入數(shù)據(jù)I (從語義的角度，“信號級”)變換成要被饋送到流水線的第二階段(姿勢引擎21)的姿勢引擎就緒(GER)數(shù)據(jù)27的時間分辨流。由數(shù)據(jù)漏斗運行的變換包括采集、時間對準23和空間接合24低水平的輸入數(shù)據(jù)以形成單個合成(“適配”)的數(shù)據(jù)流。然后，漏斗然后進行識別適配數(shù)據(jù)的特權子集以及將每個子集裝配25成降低了熵的語義聚集。漏斗接收一個或更多個時空數(shù)據(jù)流SY(其中Y是任何數(shù)目1，2，……)作為輸入。 數(shù)據(jù)流SY可以固有地表示不同自由度計數(shù)光學運動跟蹤系統(tǒng)通?？梢酝ㄟ^(三個平移的以及三個旋轉(zhuǎn)的)所有六個自由度以高保真度分辨被適當?shù)丶恿藰撕灥氖种?；基于渡越時間的相機基于所使用的分析方法提供了關于手的指部(digit)的三自由度數(shù)據(jù)、五自由度數(shù)據(jù)或者六自由度數(shù)據(jù)；電場感測器械可以提供描述了手的總體(overall mass)的位置的三自由度信息，其中，分辨率級差地取決于位置；觸摸屏可以發(fā)送受到物理接觸約束的二維跟蹤信息等。數(shù)據(jù)流SY可以以級差的速率提供單獨的時空事件。數(shù)據(jù)流SY可以被中斷，例如當被跟蹤的手或者其他對象進入或者離開由感測機制所加工的體積時。在可用的情況下，數(shù)據(jù)流SY包括對被表示的空間和時間數(shù)目的精確度或者可能的誤差范圍的估計。例如，來自電場感測器械的數(shù)據(jù)流可以用對空間誤差的評估來注釋每個事件，空間誤差對于這樣的設備不僅沿著局域X軸和y軸(“平面”)與沿著局域z軸(“距離”)是不同的，還在總數(shù)目上也取決于真實空間位置而有差別。這種精確的注釋可以是“接收的”數(shù)據(jù)流的元素(如果設備自身或者設備驅(qū)動器能夠提供該元素)或者可以通過漏斗的早期處理而推演出來(在維持了發(fā)起設備的操作的模態(tài)的情況下)。漏斗20的部件在時間上使多個數(shù)據(jù)流SY對準23。漏斗20可以被配置成以幾種截然不同的方式完成這樣的對準。對準方案23包括但不限于以下的(I)在來自一個或更多個數(shù)據(jù)流的每個“真實”瞬時事件實例處插值提供來自所有其他數(shù)據(jù)流的“虛擬的”時空時間事件；(2)在數(shù)據(jù)速率是最高的流中的每個瞬時事件實例處插值提供了來自其他流中的每個的虛擬事件，其他流的“真實”事件被拋棄；(3)如之前所述的那樣，但是外顯指定的流被用作為所有其他流向其對準的“滴答響節(jié)拍器(ticking metronome) ” ； (4)如之前所述的那樣，但是外部地施加的節(jié)拍器滴答響不與任何流相配，以使得所有的流被插值。時間對準23的結果是下述數(shù)據(jù)流對于該數(shù)據(jù)流，在每個時間步長處，發(fā)出表示事件的可能的多重性，每時間步長的聚集提供了對同一“客觀的”(真實世界)事件的可能的可替換解譯。在可能的情況下，每個所得到的對準后事件包括具有其獨特的身份的表示(例如，當適當?shù)刭N標簽或者可靠地推演時，特定的手指或者對象)。這種身份信息對于隨后的處理(例如當必須從同一真實世界事件的可替換表示中合成單個空間事件時)是有用的。在時間對準23的操作改變了部件自由度的估計誤差或精確度范圍時，事件被據(jù)此加了標簽。實施例的漏斗20空間地接合24來自多個數(shù)據(jù)流的事件?？臻g接合24通常但并不總預示著被加以身份標簽的事件的預先時間對準?？臻g接合24通常需要將每個貢獻事件提高成可能的最高水平的描述。在這樣的描述提高使部件自由度的估計誤差或精確度范圍改變的情況下，事件被據(jù)此加以標簽。對于其這種提高是不可能的自由度被外顯地加以標簽。在一些情況下，這種情況功能地或者外顯地對應于無限的誤差范圍。描述提高可 以僅使得參加的事件被重新描繪成適配的空間參照系(在數(shù)據(jù)流初始地表示局域框架中的空間事件的情況下是必須的)。這又需要漏斗維持或者具有對每個局域框架相對于通用(“室”)框架的關系的概念的訪問。由此，例如，使用表面的已知的物理幾何結構將來自接觸感測表面的、初始以表面的局域,y')框架表示的觸摸事件變換成室的(x,y,z)框架；在該情況下將三個旋轉(zhuǎn)自由度加標簽為不可知的，這是因為它們不能從設備的數(shù)據(jù)流中推演出來?？商鎿Q地，也可以使用對描述提高的更加復雜的方法，包括依賴推論和推演技術的方法。隨后，空間接合24針對同一真實世界事件的可替換描述的每個聚集產(chǎn)生單個的“合成”事件(作為真實世界事件的最準確的表示)。合成方法包括但不限于(I)從多個輸入數(shù)據(jù)流中選擇單個描述并拋棄其余的——合成事件是“勝者全拿” ；(2)針對每個提高的描述的自由度，從單個描述中選擇對應的組成數(shù)據(jù)并拋棄其余的——合成事件是依部件的“勝者全拿” ；(3)跨越所有描述執(zhí)行每個自由度部件的加權平均，權重由可配置且上下文靈敏的函數(shù)所確定；(4)置換(2)和(3)。對合成的方法進行選擇所依據(jù)的規(guī)則可以內(nèi)隱地或者外顯地固定，或者可以是靜態(tài)或動態(tài)配置的，以響應上下文。在示例中，體積由同樣的傳感器的集合“處理”，同樣的傳感器中的每一個都具有有限的范圍，同樣的傳感器中的每個的精確度都隨著接近其感測范圍的邊沿而降低，以及同樣的傳感器在空間上設置成使得它們的感測范圍重疊。當所關心的事件正好在單個傳感器的高精度范圍之內(nèi)時，空間接合會選擇單個描述，但是當事件發(fā)生在第一傳感器的范圍 界限附近時，則空間接合會執(zhí)行相鄰傳感器流之間的加權平均。權重響應于事件與各個感測邊界的被估計的接近程度而在空間上不同。在第二示例中，事件流表示高保真度光學運動跟蹤裝置以及接觸表面。空間接合通常支持運動跟蹤裝置，但是隨著跟蹤接近觸摸表面，將調(diào)整函數(shù)施加到光學位置數(shù)據(jù)，以使得距觸摸表面的距離漸進地減小。只有當觸摸表面感測到確定的接觸時才允許接合事件的位置與表面幾何且語義地相配的。在最后的示例中，用顯示器做背面的表面配備有高精度的電場感測裝置，而具有立體深度處理的一對相機在表面上被訓練。(與視覺系統(tǒng)相比)場感測器械為顯示器附近的手指提供了更好地被分辨的位置數(shù)據(jù)，但是場感測的檢測取向的能力是可忽略的，從而空間接合將來自一個傳感器的三個位置組成與其他傳感器的三個取向組成合并，從而導致了在所有六個自由度上都展示了良好的分辨能力。漏斗的外顯可配置的或者上下文可觸發(fā)的方面是允許空間接合24先于時間對準23 ;這可以連續(xù)地發(fā)生或者間歇地發(fā)生。例如，漏斗20可以被配置成使得輸入流SY相對于最高數(shù)據(jù)速率流是普通地對準的，而當檢測到異常事件時(比方說手指跨越了接近閾)，通過將所有其他流內(nèi)插到檢測的時間來生成“切分的(syncopated) ”的聚集事件。實施例的漏斗還執(zhí)行了語義聚集25，其包括將從前述的漏斗操作中得到的相關事件收集成語義聚集。可以靜態(tài)或動態(tài)地配置這種聚集收集25發(fā)生的方式或式樣。在該階段，可以配置漏斗而產(chǎn)生的聚集通常然而并不總是(1)外顯地特定的，以使得聚集的識別和裝配是服從不復雜的推論的直接且因果的問題；以及(2)具有通用的“下游”實用性的。極其深入的示例進行了對人手裝配的識別在各個手指被加以標簽以使得可靠地報告每個手指的六個自由度幾何結構以及身份的輸入基礎結構中，手的組成元素可以是先驗指定的。然后，形成更高水平的語義手聚集的行動就僅是從適配的輸入流中選擇出下述標簽的問題，該標簽的身份與已知包括手的靜態(tài)身份匹配。
注意到即使在該示例中一在該示例中只要在輸出流中報告了組成標簽就保證了組裝聚集的可能性一輸出流會可能不僅包括所得到的高水平表示還可能包括低水平的標簽信息，聚集已經(jīng)根據(jù)該低水平的標簽信息而被裝配。由此提供給事件信息的后來的用戶以在需要時以及根據(jù)需要訪問低水平數(shù)據(jù)的可能性(參見緊接的下文)。此外，在以上描述的一個或更多個操作期間，漏斗20可以執(zhí)行元信息加標簽26。當元信息加標簽用在以上所述的任何操作處或者用作為作為該操作的一部分時，所得到的事件帶有與事件的構造有關的信息，包括得出該事件的原事件的完整的或者刪節(jié)的列表、導致特定的合成方法的決策途徑等。后來的消費者然后會選擇遍歷該原信息，從而重新解譯或者進一步分析這些合成事件。圖6是根據(jù)實施例的姿勢I/O 14的姿勢引擎21。姿勢引擎21將表示空間和幾何出現(xiàn)的低水平的語義上的一群原始數(shù)據(jù)(“姿勢引擎就緒數(shù)據(jù)”或GER數(shù)據(jù)27)翻譯成一個或更多個表象地分類的姿勢元事件3。實施例的GER數(shù)據(jù)27包括但不限于以下(I)單個手指的三維空間位置以及，可能地，取向；(2)整個手的“主體”三維空間位置以及取向，連 同手的姿態(tài)的語義攝取——即手的手指的聚集彎曲；(3)惰性的非生物對象的三維空間位置以及取向；(4)其他的在解剖學上密切相關的結構的三維空間位置以及取向，舉個實例，諸如操作員的頭。姿勢引擎21參考可能的多個截然不同的姿勢描述準則并且企圖將各種空間GER數(shù)據(jù)27與這些準則相匹配。作為匹配練習的結果，會滿足準則中的零個、一些或者所有準則；針對每個匹配，GER數(shù)據(jù)27中的零個或更多個會被牽連其中。姿勢引擎21可以被配置成“排他地”處理GER數(shù)據(jù)27，以使得牽連在一個匹配中的數(shù)據(jù)隨后不會參與使第二個匹配滿足，或者姿勢引擎21會改為允許數(shù)據(jù)參加入多個匹配中。響應于每個肯定的匹配，姿勢引擎21準備零個或更多個“原事件”3 :這些“原事件”3提供了依照所匹配的姿勢準則的語義上下文解譯的、匹配的低水平數(shù)據(jù)的攝取。原事件3被傳遞到流水線的第三階段，如下所述的。姿勢引擎21可以包括邏輯上封閉的運行路徑，在該路徑中駐留固定且不變的一組姿勢識別準則或者有限的一組可選且可配置的姿勢識別準則(該選擇和配置會從引擎的局域邊界的外部實施)。但是，在實施例中，每個識別準則作為被稱為“識別器”的、在邏輯上獨立的單元而存在；識別器可以選自于庫(未示出)并且可以獨立于姿勢引擎21被編寫。在該實施例中，外部機構選擇并配置一個或更多個識別器，然后使得每個識別器與姿勢引擎21在數(shù)據(jù)結構上相關聯(lián)。這可以在姿勢引擎的啟用之前進行一次，或者外部機構會在姿勢引擎的激活運行時動態(tài)地添加28、移除29和/或修改或重新配置(未示出)識別器。還注意，實施例允許姿勢引擎21—響應于一定的條件一自己添加28、移除29和/或修改或重新配置(未示出)與其相關聯(lián)的識別器。識別器還可能移除29和/或重新配置自己，或者添加28、移除29或重新配置與同一姿勢引擎21相關聯(lián)的其他識別器。GER數(shù)據(jù)體27在罕見的情況下可以在時間上是唯一的，以使得姿勢引擎的活動僅進行一次，但是GER數(shù)據(jù)體27最通常的是時變的并且被周期地呈現(xiàn)給姿勢引擎21。在后面的情況中，輸入數(shù)據(jù)27最通常的是擁有不變的身份，以使得識別器可以將由在時間T_n的數(shù)據(jù)D_i所表示的幾何信息與在時間T_n+1的數(shù)據(jù)D_j所表示的幾何信息可知地相關聯(lián)D_i和D_j表示穿過空間移動(以及可能地變形)的同一真實世界對象。貫穿本說明的剩余部分，將會理解的是“GER數(shù)據(jù)”指的是帶有同一身份信息的這些時間順序數(shù)據(jù)的正在進行的演變，即指的是同一真實世界對象。在實施例中，識別器維持內(nèi)部狀態(tài)，從而表示所關心的輸入數(shù)據(jù)的時空軌跡的多個方面。在一種情況下，識別器維持期望地“休眠狀態(tài)”，直到一個或更多個輸入數(shù)據(jù)27的幾何的和時空的環(huán)境與識別器的特定“激活”準則相匹配為止，識別器隨之變成“激活的”。 只要輸入數(shù)據(jù)27滿足第二組“維持”準則(該組準則可以與激活準則相同也可以不同)，識別器就維持是激活的。當輸入數(shù)據(jù)27未能滿足第二組準則時，識別器變成停用的。對識別器的自然分類以及由此對可識別的姿勢的自然分類出現(xiàn)自對以下的考慮
(I)激活和維持準則可以采用的不同形式，以及(2)原事件從姿勢引擎發(fā)送的環(huán)境。當姿勢引擎21被配置成排他地處理GER數(shù)據(jù)27，通過一個識別器將數(shù)據(jù)包括在成功的初始匹配中禁止另一個識別器對該數(shù)據(jù)的使用。以這種方式，識別器可以“捕捉”一個或更多個GER數(shù)據(jù)27，而貫穿識別器是激活時的間隔，這些被捕捉的數(shù)據(jù)仍然保持持續(xù)不 可用于由其她識別器進行考慮。在實施例中，姿勢引擎21會根據(jù)“首位度量”來對其相關聯(lián)的識別器分等級。這樣的度量可以在貫穿姿勢引擎21的存在時是靜態(tài)的；可以是由姿勢引擎21外部的機構在離散的間隔處有意識地修改或替換的；或者可以隨著姿勢引擎21的執(zhí)行自動地且動態(tài)地或離散或連續(xù)地發(fā)展。在所有這樣的情況下，姿勢引擎21按照由首位度量分等級所建議的順序來給出對其多個識別器的考慮；在當姿勢引擎21被如此配置并且附加地設置成排他地處理輸入數(shù)據(jù)的情況下，更高等級的識別器由此能夠“篡奪”之前由其他更低等級的識別器所捕捉的數(shù)據(jù)。在該事件中，其數(shù)據(jù)被篡奪的識別器會被通知并且給予返回到停用狀態(tài)的機會，發(fā)送描述強制的狀態(tài)變化可能所需的任何原事件。為了說明的目的，以下將充分詳細地連貫描述姿勢引擎的實施方式及其識別器。圖7和圖8示出了根據(jù)不同實施例的姿勢I/O 14的分配器22。實施例的“分配器”22將由之前的流水線活動生成的原事件3傳送到一個或更多個下一階段的接收者。由此傳送的原事件3的主要種類包括由姿勢引擎檢測到的姿勢事件，但是分配器22可以被配置成另外傳送沒有參與檢測和合成“良好形成的姿勢”的那些低水平事件。事件接收者或者其她下游系統(tǒng)可用的分配器22的附加的設施允許所傳輸?shù)脑录?被重解譯成(變換成)特定的幾何和語義的形式。事件分配的機制是不同的，而分配器可以靜態(tài)地或動態(tài)地涉及啟用這些機制的任意集合。實施例的分配機制包括但不限于以下匿名異步知識庫；定向異步知識庫；以及定向同步知識庫。以下描述分配機制。圖7是根據(jù)實施例的分配器22的匿名異步知識庫分配機制的框圖。根據(jù)匿名異步知識庫分配機制，分配器22運行其到一個或更多個知識庫30的連接，該知識庫可能具有到一些數(shù)目的審計員31的耦接或連接。分配器22將原事件3存放在這些知識庫30中；原事件隨后由感興趣的審計員31檢索。這樣的知識庫30可以存在與分配器22相同的運行空間中并且支持與審計員31的接近的或不相交的連接；或者可以作為分離的進程存在于同一硬件上并且支持經(jīng)由中間進程通信協(xié)議與審計員31和與分配器22的連接；或者可以作為進程存在于遠程的硬件上并且支持通過網(wǎng)絡與分配器22和審計員31的連接；或者可以存在有從前述的那些置換的性質(zhì)。這種分配模式共同之處是分配器22不需要知道審計員31的數(shù)目和性質(zhì)。實施例通過提供蛋白質(zhì)和池實施了這樣的知識庫，如以下詳細描述的。圖8是根據(jù)實施例的分配器22的定向接收分配機制。當分配器22包括或運行定向異步接收分配機制時，分配器22維持了包括異步審計員33的列表的審計員列表32 ;審計員列表32的人數(shù)被靜態(tài)地或者動態(tài)地控制。分配器22將每個所生成的原事件3的拷貝都傳輸?shù)矫總€異步的審計員33，這樣的傳輸以異步的模態(tài)進行，以使得沒有必要從異步審計員33處接收確認。概念上，這種模態(tài)的異步消費類似于由Erlang編程語言提供的傳遞消息的“郵箱”通信。實施例通過提供互斥保護共享存儲器方法實施這樣的異步消費。

當分配器22包括或者運行定向同步接收分配機制時(繼續(xù)參照圖8)，分配器22維持了包括同步審計員33的列表的的審計員列表32 ;審計員列表32的人數(shù)被靜態(tài)地或者動態(tài)地控制。分配器22將每個所生成的原事件3的拷貝都傳送到每個同步的審計員33，這樣的傳輸同步地進行，以使得由分配器的同步審計員33接收的事件在有限制的編程時間中是內(nèi)隱地或者外顯地被承認的。當消費者存在于與分配器22相同的執(zhí)行空間中時，可以實現(xiàn)對這樣的同步消費最簡單的實施；然后，可以使用定向功能呼叫來完成對原事件3的傳輸。對于消費者與分配器進程分離的情況，可以采用進程間通信技術以實施同步傳輸。 與分配器的事件傳輸或者分配活動無關，并且參照圖7和圖8，分配器22包括事件變換器34并為事件變換器34產(chǎn)生可用的設施。任何數(shù)目的懇求者實體SE可以通過以上連貫的同步的和異步的手段將這樣的事件變換請求傳達到分配器22，而在懇求者實體SE自身也是審計員33的情況下，并不要求這樣的事件變換請求采用與審計的通信手段相同的通信手段。提交的用于變換的事件可以是來源于分配器22 (例如原事件3)，或者可以表示在分配器的活動之外所合成或獲得的時空數(shù)據(jù)。在前一種情況下，懇求者實體SE可以選擇將“事件”重新傳送到分配器22，以充分的文字細節(jié)傳遞事件，或者可以代替地傳遞對事件的參考一與事件相關聯(lián)的唯一標識符一借助于該標識符可以由分配器22檢索到事件。懇求者實體SE可以請求簡單的幾何事件變換，在該變換中，構成事件的坐標系統(tǒng)受到仿射變換。這樣的變換通常不僅導致事件的幾何的數(shù)值表示的變化(即基于坐標的元素的變化)也導致了事件的語義內(nèi)容的某些部分的變化。如此，例如表示成以下的原事件EE: [[DESCRIPS::event, :pointing, :manus,3, :evt-grp-qid, 12831//INGESTS: : gripe = >" 一 ||-:_x" , : pos = > v3 (-200. 0 | +1000. 0+500. 0)，: aim = > v3 (+0. 35 | +0. 00 | _0. 94)...}]]會經(jīng)受繞著y軸的九十度旋轉(zhuǎn)以及向下的平移(相當于下述坐標系中的幾何表示自原始坐標系統(tǒng)y旋轉(zhuǎn)了負九十度并且向下平移)以產(chǎn)生E—> E' :[[DESCRIPS::event, !pointing, :manus,3, :evt-grp-qid,12831. !//INGESTS: : gripe = >" 一, : pos = > v3 (+500. 0 | +0. 0
200. 0)， aim = > v3 (_0. 94 | +0. 00 | -0. 35)...}]] 注意在這個情況下，作為對手的總體手指姿態(tài)的配置和聚集取向的語義攝取的GRIPE字符串(此處所描述的)也改變了 最后的兩個指定基本取向的字符(從“-X”)變?yōu)椤?-，，。由分配器22運行的更復雜的事件變換涉及對新的上下文中的原事件的幾何的和語義的內(nèi)容的一些組合的重新解譯。同一上述原事件E——明顯的“指向”姿勢的示例，其中手的食指和中指伸出，拇指豎直設置，而無名指和小手指彎曲——可以在布置在手的正前方的接近顯示器屏幕的局域幾何上下文中被重新解譯。
權利要求
1.一種系統(tǒng)，包括 數(shù)據(jù)漏斗，所述數(shù)據(jù)漏斗耦接到處理器，其中，所述數(shù)據(jù)漏斗核對來自多個源的輸入數(shù)據(jù)，其中，所述輸入數(shù)據(jù)是對象在所述對象的參照系中的瞬時空間和幾何狀態(tài)的語義上不相關的三維空間數(shù)據(jù)，其中，所述多個源包括全異的源，其中，所述數(shù)據(jù)漏斗將所述輸入數(shù)據(jù)適配成時空數(shù)據(jù)流，其中，所述流中的所述時空數(shù)據(jù)是統(tǒng)一表示的； 姿勢引擎，所述姿勢引擎耦接到所述數(shù)據(jù)漏斗，其中，所述姿勢引擎使用多個姿勢描述從所述時空數(shù)據(jù)中生成姿勢事件，其中，所述姿勢引擎將所述姿勢事件以原事件表示，所述原事件包括應用程序中立的并且充分連貫的數(shù)據(jù)格式；以及 分配器，所述分配器耦接到所述姿勢引擎，其中，所述分配器提供由至少一個事件消費者經(jīng)由在所述至少一個事件消費者的空間語義的參照系中對應的原事件對所述姿勢事件的訪問。
2.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)包括所述對象的不受約束的自由空間姿勢數(shù)據(jù)。
3.根據(jù)權利要求I所述的系統(tǒng)，其中，當所述對象是在相對于表面的最接近的范圍之內(nèi)和在限定的體積之內(nèi)中的至少一種時，所述輸入數(shù)據(jù)包括所述對象的近似姿勢數(shù)據(jù)。
4.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)包括當所述對象在與表面緊鄰的空間之內(nèi)時所述對象的盤旋姿勢數(shù)據(jù)。
5.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)包括當所述對象與表面接觸時所述對象的表面接觸姿勢數(shù)據(jù)。
6.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)包括多個數(shù)據(jù)流。
7.根據(jù)權利要求6所述的系統(tǒng)，其中，所述數(shù)據(jù)漏斗在時間上對準所述多個數(shù)據(jù)流。
8.根據(jù)權利要求6所述的系統(tǒng)，其中，所述數(shù)據(jù)漏斗從所述多個數(shù)據(jù)流空間地接合事件，并且生成單個合成事件。
9.根據(jù)權利要求6所述的系統(tǒng)，其中，所述數(shù)據(jù)漏斗執(zhí)行語義上的聚集，所述語義上的聚集包括收集從所述數(shù)據(jù)漏斗的先前操作所得到的相關事件。
10.根據(jù)權利要求6所述的系統(tǒng)，其中，所述數(shù)據(jù)漏斗執(zhí)行對元信息加標簽。
11.根據(jù)權利要求6所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)從光學運動跟蹤系統(tǒng)、渡越時間跟蹤系統(tǒng)、電場感測系統(tǒng)和觸摸屏設備中的至少一個接收。
12.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)從光學運動跟蹤系統(tǒng)接收。
13.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)從渡越時間跟蹤系統(tǒng)接收。
14.根據(jù)權利要求I所述的系統(tǒng)，其中，所述輸入數(shù)據(jù)從觸摸屏設備接收。
15.根據(jù)權利要求I所述的系統(tǒng),其中,所述輸入數(shù)據(jù)從電場感測系統(tǒng)接收。
16.根據(jù)權利要求I所述的系統(tǒng),其中,所述輸入數(shù)據(jù)從電容性感測系統(tǒng)接收。
17.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括所述對象的三維空間位置的時空數(shù)據(jù)。
18.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括所述對象的三維空間取向的時空數(shù)據(jù)。
19.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括所述對象的運動的時空數(shù)據(jù)。
20.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括多個元件中的至少一個元件的主體三維空間位置的時空數(shù)據(jù)，所述多個元件包括所述對象和耦接到所述對象的多個元件。
21.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括多個元件中的至少一個元件的主體三維空間取向的時空數(shù)據(jù)，所述多個元件包括所述對象和耦接到所述對象的多個元件。
22.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括多個元件中的至少一個元件的主體運動的時空數(shù)據(jù)，所述多個元件包括所述對象和和耦接到所述對象的多個元件。
23.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎接收包括多個元件的姿態(tài)的語義上的攝取的時空數(shù)據(jù)，所述多個元件包括所述對象。
24.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎比較所述時空數(shù)據(jù)與所述姿勢描述。
25.根據(jù)權利要求24所述的系統(tǒng)，其中，所述姿勢引擎響應于時空數(shù)據(jù)和姿勢描述之間的匹配來生成所述原事件，其中，所述原事件包括有包含匹配的時空數(shù)據(jù)的攝取的數(shù)據(jù)格式，所述匹配的時空數(shù)據(jù)在匹配的姿勢描述的語義上下文中被解譯。
26.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎包括多個識別器，其中，每個識別器都包括姿勢描述。
27.根據(jù)權利要求26所述的系統(tǒng)，其中，所述姿勢引擎對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括將識別器分等級。
28.根據(jù)權利要求26所述的系統(tǒng)，其中，所述姿勢引擎對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括添加識別器。
29.根據(jù)權利要求26所述的系統(tǒng)，其中，所述姿勢引擎對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括移除識別器。
30.根據(jù)權利要求26所述的系統(tǒng)，其中，所述姿勢引擎對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括修改識別器。
31.根據(jù)權利要求26所述的系統(tǒng)，其中，所述姿勢引擎對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括重新配置識別器。
32.根據(jù)權利要求26所述的系統(tǒng)，其中，所述識別器在時空數(shù)據(jù)與所述識別器的激活準則匹配之前保持休眠。
33.根據(jù)權利要求32所述的系統(tǒng)，其中，當所述時空數(shù)據(jù)的幾何和時空方面與激活準則匹配時，識別器變成激活的。
34.根據(jù)權利要求33所述的系統(tǒng)，其中，只要所述時空數(shù)據(jù)滿足所述識別器的維持準則，所述識別器就保持激活。
35.根據(jù)權利要求33所述的系統(tǒng)，其中，當所述時空數(shù)據(jù)不能滿足激活準則時，所述識別器變成停用的。
36.根據(jù)權利要求I所述的系統(tǒng)，其中，所述分配器將所述原事件存儲在至少一個知識庫中用于由所述至少一個事件消費者訪問。
37.根據(jù)權利要求36所述的系統(tǒng)，其中，所述分配器包括所述至少一個事件消費者的列表。
38.根據(jù)權利要求37所述的系統(tǒng)，其中，所述分配器將由所述姿勢引擎生成的每個原事件異步地傳送到所述至少一個事件消費者中的每個事件消費者。
39.根據(jù)權利要求37所述的系統(tǒng)，其中，所述分配器將由所述姿勢引擎生成的每個原事件同步地傳送到所述至少一個事件消費者中的每個事件消費者。
40.根據(jù)權利要求I所述的系統(tǒng)，包括變換器，所述變換器耦接到所述至少一個消費者的遠程客戶端設備，其中，所述變換器將所述姿勢事件重新描繪在所述至少一個事件消費者的空間語義參照系中。
41.根據(jù)權利要求40所述的系統(tǒng)，其中，所述分配器包括所述變換器。
42.根據(jù)權利要求I所述的系統(tǒng)，其中，所述姿勢引擎通過下述方式生成所述原事件生成至少一個數(shù)據(jù)序列，所述數(shù)據(jù)序列包括指定所述姿勢事件的姿勢事件數(shù)據(jù)和所述姿勢事件的狀態(tài)信息；以及形成數(shù)據(jù)容器以包括所述至少一個數(shù)據(jù)序列，所述數(shù)據(jù)容器具有包括所述至少一個數(shù)據(jù)序列的獨立于應用程序的表示的數(shù)據(jù)結構。
43.根據(jù)權利要求42所述的系統(tǒng)，其中，生成所述至少一個數(shù)據(jù)序列包括 生成包括第一各自姿勢事件數(shù)據(jù)的第一各自數(shù)據(jù)集； 生成包括第二各自狀態(tài)信息的第二各自數(shù)據(jù)集；以及 形成第一數(shù)據(jù)序列以包括所述第一各自數(shù)據(jù)集和所述第二各自數(shù)據(jù)集。
44.根據(jù)權利要求43所述的系統(tǒng)，其中，生成所述至少一個數(shù)據(jù)序列包括 生成包括第一各自姿勢事件數(shù)據(jù)的第一各自數(shù)據(jù)集； 生成包括第二各自狀態(tài)信息的第二各自數(shù)據(jù)集；以及 形成第二數(shù)據(jù)序列以包括所述第一各自數(shù)據(jù)集和所述第二各自數(shù)據(jù)集。
45.根據(jù)權利要求44所述的系統(tǒng)，其中，生成所述第一各自數(shù)據(jù)集包括生成第一各自數(shù)據(jù)集偏移，其中，所述第一各自數(shù)據(jù)集偏移指向所述第二數(shù)據(jù)序列的所述第一各自數(shù)據(jù)集。
46.根據(jù)權利要求44所述的系統(tǒng)，其中，生成所述第二各自數(shù)據(jù)集包括生成第二各自數(shù)據(jù)集偏移，其中，所述第二各自數(shù)據(jù)集偏移指向所述第二數(shù)據(jù)序列的所述第二各自數(shù)據(jù)集。
47.根據(jù)權利要求43所述的系統(tǒng)，其中，所述第一各自數(shù)據(jù)集是描述列表，所述描述列表包括對所述數(shù)據(jù)的描述。
48.根據(jù)權利要求42所述的系統(tǒng)，包括 生成至少一個偏移；以及 形成所述數(shù)據(jù)容器以包括所述至少一個偏移。
49.根據(jù)權利要求48所述的系統(tǒng)，包括 生成具有第一可變長度的第一偏移； 其中，所述第一偏移指向所述至少一個數(shù)據(jù)序列中的第一數(shù)據(jù)序列的姿勢事件數(shù)據(jù)。
50.根據(jù)權利要求48所述的系統(tǒng)，包括 生成具有第二可變長度的第二偏移； 其中，所述第二偏移指向所述至少一個數(shù)據(jù)序列中的第一數(shù)據(jù)序列的狀態(tài)信息。
51.根據(jù)權利要求48所述的系統(tǒng)，包括使用所述至少一個偏移中的第一偏移通過所述數(shù)據(jù)容器形成第一代碼路徑； 使用所述至少一個偏移中的第二偏移通過所述數(shù)據(jù)容器形成第二代碼路徑； 其中，所述第一代碼路徑和所述第二代碼路徑是不同的路徑。
52.根據(jù)權利要求48所述的系統(tǒng)，其中，所述第一偏移和所述第二偏移中的至少一個包括元數(shù)據(jù)，所述元數(shù)據(jù)包括上下文專用元數(shù)據(jù)。
53.根據(jù)權利要求I所述的系統(tǒng)，其中，所述至少一個事件消費者是多個交互式系統(tǒng)中的至少一個交互式系統(tǒng)，其中，所述多個交互式系統(tǒng)包括多個參照系。
54.根據(jù)權利要求53所述的系統(tǒng)，其中，所述至少一個事件消費者使用專用于所述至少一個事件消費者的應用程序類型來消費所述原事件。
55.根據(jù)權利要求54所述的系統(tǒng)，其中，所述至少一個事件消費者包括具有第一參照系的第一交互式系統(tǒng)以及具有第二參照系的第二交互式系統(tǒng)。
56.根據(jù)權利要求55所述的系統(tǒng)，其中，所述第一交互式系統(tǒng)使用第一應用程序類型來消費所述原事件，而所述第二交互式系統(tǒng)使用第二應用程序類型來消費所述原事件。
57.根據(jù)權利要求I所述的系統(tǒng)，其中，所述對象是人手。
58.根據(jù)權利要求I所述的系統(tǒng)，其中，所述對象是人手的至少一根手指。
59.根據(jù)權利要求I所述的系統(tǒng)，其中，所述對象包括至少一個人手和人手的至少一根手指°
60.—種系統(tǒng),包括 數(shù)據(jù)漏斗，所述數(shù)據(jù)漏斗耦接到處理器，其中，所述數(shù)據(jù)漏斗核對來自多個源的輸入數(shù)據(jù)而且將所述輸入數(shù)據(jù)適配成時空數(shù)據(jù)流，其中，所述輸入數(shù)據(jù)是主體在時間和空間點處的瞬時狀態(tài)的絕對三維空間位置數(shù)據(jù)； 姿勢引擎，所述姿勢引擎耦接到所述數(shù)據(jù)漏斗，其中，所述姿勢引擎使用多個姿勢描述從時空數(shù)據(jù)流中生成姿勢事件，其中，所述姿勢引擎將每個姿勢事件以原事件表示，所述原事件包括應用程序中立的數(shù)據(jù)格式；以及 分配器，所述分配器耦接到所述姿勢引擎，其中，所述分配器提供通過由多個事件消費者對多個原事件的訪問而對所述姿勢事件的訪問，其中，對所述姿勢事件的訪問是在所述多個事件消費者的空間語義的參照系中的。
61.—種方法,包括 核對來自多個源的輸入數(shù)據(jù)，其中，所述輸入數(shù)據(jù)是對象在所述對象的參照系中的瞬時空間和幾何狀態(tài)的語義上不相關的三維空間數(shù)據(jù)； 將所述輸入數(shù)據(jù)適配成時空數(shù)據(jù)流，其中，所述流的時空數(shù)據(jù)是統(tǒng)一表示的； 使用多個姿勢描述從所述時空數(shù)據(jù)生成姿勢事件； 將所述姿勢事件以原事件表示，所述原事件包括應用程序中立的并且充分連貫的數(shù)據(jù)格式；以及 分配所述姿勢事件并且提供由至少一個事件消費者經(jīng)由對應的原事件在所述至少一個事件消費者的空間語義的參照系中對所述姿勢事件的訪問。
62.根據(jù)權利要求61所述的方法，其中，所述輸入數(shù)據(jù)包括所述對象的不受約束的自由空間姿勢數(shù)據(jù)。
63.根據(jù)權利要求61所述的方法，其中，當所述對象是在相對于表面的最接近范圍之內(nèi)和在限定的體積之內(nèi)中的至少一種時，所述輸入數(shù)據(jù)包括所述對象的近似姿勢數(shù)據(jù)。
64.根據(jù)權利要求61所述的方法，其中，所述輸入數(shù)據(jù)包括當所述對象在與表面鄰近的平面內(nèi)時所述對象的盤旋姿勢數(shù)據(jù)。
65.根據(jù)權利要求61所述的方法，其中，所述輸入數(shù)據(jù)包括當所述對象與表面接觸時的所述對象的表面接觸姿勢數(shù)據(jù)。
66.根據(jù)權利要求61所述的方法，其中，所述輸入數(shù)據(jù)包括多個數(shù)據(jù)流。
67.根據(jù)權利要求66所述的方法，包括在時間上對準所述多個數(shù)據(jù)流。
68.根據(jù)權利要求66所述的方法，包括從所述多個數(shù)據(jù)流空間地接合事件，并且生成單個合成事件。
69.根據(jù)權利要求66所述的方法，包括執(zhí)行語義上的聚集，所述語義上的聚集包括收集從先前操作所得到的相關事件。
70.根據(jù)權利要求66所述的方法，包括執(zhí)行對元信息加標簽。
71.根據(jù)權利要求66所述的方法，包括從光學運動跟蹤系統(tǒng)、渡越時間跟蹤系統(tǒng)、電場感測系統(tǒng)和觸摸屏設備中的至少一個接收所述輸入數(shù)據(jù)。
72.根據(jù)權利要求61所述的方法，包括從光學運動跟蹤系統(tǒng)接收所述輸入數(shù)據(jù)。
73.根據(jù)權利要求61所述的方法，包括從渡越時間跟蹤系統(tǒng)接收所述輸入數(shù)據(jù)。
74.根據(jù)權利要求61所述的方法，包括從觸摸屏設備接收所述輸入數(shù)據(jù)。
75.根據(jù)權利要求61所述的方法，包括從電場感測系統(tǒng)接收所述輸入數(shù)據(jù)。
76.根據(jù)權利要求61所述的方法，包括從電容性感測系統(tǒng)接收所述輸入數(shù)據(jù)。
77.根據(jù)權利要求61所述的方法，包括接收包括所述對象的三維空間位置的時空數(shù)據(jù)。
78.根據(jù)權利要求61所述的方法，包括接收包括所述對象的三維空間取向的時空數(shù)據(jù)。
79.根據(jù)權利要求61所述的方法，包括接收包括所述對象的運動的時空數(shù)據(jù)。
80.根據(jù)權利要求61所述的方法，包括接收包括多個元件中的至少一個元件的主體三維空間位置的時空數(shù)據(jù)，所述多個元件包括所述對象和耦接到所述對象的多個元件。
81.根據(jù)權利要求61所述的方法，包括接收包括多個元件中的至少一個元件的主體三維 >空間取向的時空數(shù)據(jù)，所述多個元件包括所述對象和耦接到所述對象的多個元件。
82.根據(jù)權利要求61所述的方法，包括接收包括多個元件中的至少一個元件的主體運動的時空數(shù)據(jù)，所述多個元件包括所述對象和耦接到所述對象的多個元件。
83.根據(jù)權利要求61所述的方法，包括接收包括多個元件的姿態(tài)的語義上的攝取的時空數(shù)據(jù)，所述多個元件包括所述對象。
84.根據(jù)權利要求61所述的方法，包括比較所述時空數(shù)據(jù)與所述姿勢描述。
85.根據(jù)權利要求84所述的方法，包括響應于時空數(shù)據(jù)和姿勢描述之間的匹配來生成所述原事件，其中，所述原事件包括包含匹配的時空數(shù)據(jù)的攝取的數(shù)據(jù)格式，所述匹配的時空數(shù)據(jù)在匹配的姿勢描述的語義上下文中被解譯。
86.根據(jù)權利要求61所述的方法，包括提供多個識別器，其中，每個識別器都包括姿勢描述。
87.根據(jù)權利要求86所述的方法，包括對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括將識別器分等級。
88.根據(jù)權利要求86所述的方法，包括對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括添加識別器。
89.根據(jù)權利要求86所述的方法，包括對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括移除識別器。
90.根據(jù)權利要求86所述的方法，包括對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括修改識別器。
91.根據(jù)權利要求86所述的方法，包括對所述多個識別器執(zhí)行多個操作，其中，所述多個操作包括重新配置識別器。
92.根據(jù)權利要求86所述的方法，其中，所述識別器在時空數(shù)據(jù)與所述識別器的激活準則匹配之前保持休眠。
93.根據(jù)權利要求92所述的方法，其中，當所述時空數(shù)據(jù)的幾何和時空方面與所述激活準則匹配時，識別器變成激活的。
94.根據(jù)權利要求93所述的方法，其中，只要所述時空數(shù)據(jù)滿足所述識別器的維持準則，所述識別器就保持激活。
95.根據(jù)權利要求93所述的方法，其中，當所述時空數(shù)據(jù)不能滿足所述激活準則時，所述識別器變成停用的。
96.根據(jù)權利要求61所述的方法，包括將所述原事件存儲在至少一個知識庫中用于由所述至少一個事件消費者訪問。
97.根據(jù)權利要求96所述的方法，包括提供所述至少一個事件消費者的列表。
98.根據(jù)權利要求97所述的方法，包括將所生成的每個原事件異步地傳送到所述至少一個事件消費者中的每個事件消費者。
99.根據(jù)權利要求97所述的方法，包括將所生成的每個原事件同步地傳送到所述至少一個事件消費者中的每個事件消費者。
100.根據(jù)權利要求61所述的方法，包括在與多個事件消費者對應的多個空間語義參照系中變換所述姿勢事件。
101.根據(jù)權利要求61所述的方法，包括將所述姿勢事件重新描繪在所述至少一個事件消費者的空間語義參照系中。
102.根據(jù)權利要求61所述的方法，包括通過下述方式生成所述原事件生成至少一個數(shù)據(jù)序列，所述數(shù)據(jù)序列包括指定所述姿勢事件的姿勢事件數(shù)據(jù)和所述姿勢事件的狀態(tài)信息；以及形成數(shù)據(jù)容器以包括所述至少一個數(shù)據(jù)序列，所述數(shù)據(jù)容器具有包括所述至少一個數(shù)據(jù)序列的獨立于應用程序的表示的數(shù)據(jù)結構。
103.根據(jù)權利要求102所述的方法，其中，生成所述至少一個數(shù)據(jù)序列包括 生成包括第一各自姿勢事件數(shù)據(jù)的第一各自數(shù)據(jù)集； 生成包括第二各自狀態(tài)信息的第二各自數(shù)據(jù)集；以及 形成第一數(shù)據(jù)序列以包括所述第一各自數(shù)據(jù)集和所述第二各自數(shù)據(jù)集。
104.根據(jù)權利要求103所述的方法，其中，生成所述至少一個數(shù)據(jù)序列包括 生成包括第一各自姿勢事件數(shù)據(jù)的第一各自數(shù)據(jù)集； 生成包括第二各自狀態(tài)信息的第二各自數(shù)據(jù)集；以及形成第二數(shù)據(jù)序列以包括所述第一各自數(shù)據(jù)集和所述第二各自數(shù)據(jù)集。
105.根據(jù)權利要求104所述的方法，其中，生成所述第一各自數(shù)據(jù)集包括生成第一各自數(shù)據(jù)集偏移，其中，所述第一各自數(shù)據(jù)集偏移指向所述第二數(shù)據(jù)序列的所述第一各自數(shù)據(jù)集。
106.根據(jù)權利要求104所述的方法，其中，生成所述第二各自數(shù)據(jù)集包括生成第二各自數(shù)據(jù)集偏移，其中，所述第二各自數(shù)據(jù)集偏移指向所述第二數(shù)據(jù)序列的所述第二各自數(shù)據(jù)集。
107.根據(jù)權利要求103所述的方法，其中，所述第一各自數(shù)據(jù)集是描述列表，所述描述列表包括對所述數(shù)據(jù)的描述。
108.根據(jù)權利要求102所述的方法，包括 生成至少一個偏移；以及 形成所述數(shù)據(jù)容器以包括所述至少一個偏移。
109.根據(jù)權利要求108所述的方法，包括 生成具有第一可變長度的第一偏移； 其中，所述第一偏移指向所述至少一個數(shù)據(jù)序列中的第一數(shù)據(jù)序列的姿勢事件數(shù)據(jù)。
110.根據(jù)權利要求108所述的方法，包括 生成具有第二可變長度的第二偏移； 其中，所述第二偏移指向所述至少一個數(shù)據(jù)序列中的第一數(shù)據(jù)序列的狀態(tài)信息。
111.根據(jù)權利要求108所述的方法，包括 使用所述至少一個偏移中的第一偏移通過所述數(shù)據(jù)容器形成第一代碼路徑； 使用所述至少一個偏移中的第二偏移通過所述數(shù)據(jù)容器形成第二代碼路徑； 其中，所述第一代碼路徑和所述第二代碼路徑是不同的路徑。
112.根據(jù)權利要求108所述的方法，其中，所述第一偏移和所述第二偏移中的至少一個包括元數(shù)據(jù)，所述元數(shù)據(jù)包括上下文專用元數(shù)據(jù)。
113.根據(jù)權利要求61所述的方法，其中，所述至少一個事件消費者是多個交互式系統(tǒng)中的至少一個交互式系統(tǒng)，其中，所述多個交互式系統(tǒng)包括多個參照系。
114.根據(jù)權利要求113所述的方法，其中，所述至少一個事件消費者使用專用于所述至少一個事件消費者的應用程序類型來消費所述原事件。
115.根據(jù)權利要求114所述的方法，其中，所述至少一個事件消費者包括具有第一參照系的第一交互式系統(tǒng)以及具有第二參照系的第二交互式系統(tǒng)。
116.根據(jù)權利要求115所述的方法，其中，所述第一交互式系統(tǒng)使用第一應用程序類型來消費所述原事件，而所述第二交互式系統(tǒng)使用第二應用程序類型來消費所述原事件。
117.根據(jù)權利要求61所述的方法，其中，所述對象是人手。
118.根據(jù)權利要求61所述的方法，其中，所述對象是人手的至少一根手指。
119.根據(jù)權利要求61所述的方法，其中，所述對象包括至少一個人手和人手的至少一根手指。
120.—種方法,包括 核對來自多個源的輸入數(shù)據(jù)，其中，所述輸入數(shù)據(jù)是與對象對應的在語義上不相關的三維空間數(shù)據(jù)，其中，所述多個源包括全異的源；從所述輸入數(shù)據(jù)描繪所述對象的多個空間事件，其中，所述多個空間事件包括相對于全局空間的適配的坐標表示； 根據(jù)所述空間事件生成所述空間事件的聚集，其中，所述聚集是包括所述對象的文字幾何形狀和語義上的特性的邏輯聚集； 從所述空間事件的所述聚集檢測姿勢且消除姿勢的歧義； 生成表示所述姿勢的數(shù)據(jù)束，其中，所述數(shù)據(jù)束是中立描述的；以及 分配所述數(shù)據(jù)束用于由多個全異的應用程序消費。
全文摘要
本發(fā)明描述了用于檢測、表示和解譯三維空間輸入的系統(tǒng)和方法。在SOE的背景下，系統(tǒng)的實施例對來自多個空間跟蹤數(shù)據(jù)源的低等級數(shù)據(jù)進行處理、而且對這些在語義上不相關的時空數(shù)據(jù)進行分析、而且根據(jù)動態(tài)地可配置的內(nèi)隱的和外顯的姿勢描述來生成高等級的姿勢事件。所產(chǎn)生的事件適于由交互系統(tǒng)消費，并且實施例提供了一個或更多個機制用于對將事件分配到這些消費者進行控制和影響。實施例還提供給其事件的消費者以用于在任意空間的參照系和語義上的參照系之間變換姿勢事件的設施。
文檔編號G06K9/34GK102804206SQ201080030018
公開日2012年11月28日 申請日期2010年5月4日 優(yōu)先權日2009年5月4日
發(fā)明者約翰·S·昂德科夫勒, 克溫德拉·赫爾特曼·克拉默 申請人:奧布隆工業(yè)有限公司