專利名稱：起居室電影創(chuàng)建的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及創(chuàng)建電影的技術(shù)，尤其涉及在諸如起居室之類的環(huán)境中創(chuàng)建電影的技術(shù)。
背景技術(shù)：
用戶能夠使用便攜式攝像機(jī)來制作家庭電影已有一些時(shí)間了。最近，諸如蜂窩式電話之類的電子設(shè)備可允許用戶制作短電影。然而，這些設(shè)備在創(chuàng)建、執(zhí)導(dǎo)和編輯電影的能力方面具有限制。同樣，制作任何種類的動畫電影的能力對于許多人而言可能非常難。在過去，諸如計(jì)算機(jī)游戲和多媒體應(yīng)用之類的計(jì)算應(yīng)用使用控制器、遙控器、鍵盤、鼠標(biāo)等來允許用戶操縱游戲角色或應(yīng)用的其他方面。一些甚至可允許用戶將內(nèi)容創(chuàng)建至某種程度。然而，創(chuàng)建內(nèi)容的能力可能被隱藏在工具的復(fù)雜集合之后。而且，一些技術(shù)主要涉及角色定制，因此不允許對諸如電影之類的內(nèi)容的較豐富的開發(fā)。

發(fā)明內(nèi)容
在此公開了提供起居室電影創(chuàng)建的系統(tǒng)和方法。可使用包括深度相機(jī)的系統(tǒng)來執(zhí)導(dǎo)、捕捉和編輯電影。該系統(tǒng)能夠使用深度相機(jī)來捕捉演員的運(yùn)動并能夠基于此來生成電影。因此，不需要演員佩戴任何專門的標(biāo)記來檢測他們的運(yùn)動?？苫谄鹁邮覂?nèi)的普通對象用作虛擬道具來生成虛擬電影集合。在此公開了涉及執(zhí)導(dǎo)、捕捉和編輯電影的其他方面。一個(gè)實(shí)施例包括可在具有深度相機(jī)的運(yùn)動捕捉系統(tǒng)內(nèi)實(shí)施的方法。該方法包括使用深度相機(jī)來收集諸如起居室之類的環(huán)境的深度信息。環(huán)境中的演員的模型基于深度信息而被生成和跟蹤。電影的場景基于對演員的模型的跟蹤而被生成。該系統(tǒng)響應(yīng)于用戶命令基于場景創(chuàng)建電影。一個(gè)實(shí)施例包括在諸如起居室之類的環(huán)境中創(chuàng)建電影的系統(tǒng)。該系統(tǒng)可包括深度相機(jī)、耦合到該深度相機(jī)的一個(gè)或多個(gè)處理器以及耦合到該一個(gè)或多個(gè)處理器的計(jì)算機(jī)存儲介質(zhì)。計(jì)算機(jī)存儲介質(zhì)具有存儲在其上的指令，當(dāng)在一個(gè)或多個(gè)處理器上執(zhí)行這些指令時(shí)使得該一個(gè)或多個(gè)處理器使用深度相機(jī)來收集環(huán)境的深度信息。處理器使用深度相機(jī)使用無標(biāo)記的技術(shù)來捕捉環(huán)境中的演員的運(yùn)動。場景由處理器基于所捕捉到的演員的運(yùn)動來生成。處理器確定環(huán)境中要用作虛擬取景器的電子設(shè)備的一個(gè)或多個(gè)位置。這些位置可在一時(shí)間段與該場景相關(guān)聯(lián)。處理器從電子設(shè)備在一個(gè)或多個(gè)位置處的角度生成場景的一個(gè)版本，并向該電子設(shè)備提供該場景的該版本。一個(gè)實(shí)施例包括包含以下的方法。使用深度相機(jī)來收集環(huán)境的深度信息，并基于該深度信息來生成環(huán)境的模型?；谏疃刃畔⑸商摂M電影集合。使用深度信息來開發(fā)環(huán)境中的演員的骨架模型。在一時(shí)間段跟蹤該骨架模型。基于虛擬電影集合和對骨架模型的跟蹤來生成場景。針對跟蹤骨架模型的時(shí)間段確定要用作虛擬取景器的電子設(shè)備的一個(gè)或多個(gè)位置。從電子設(shè)備在該一個(gè)或多個(gè)位置的每一個(gè)處的角度生成場景的一個(gè)版本，并向電子設(shè)備提供場景的該版本。從電子設(shè)備處接收記錄場景的請求。針對該時(shí)間段存儲描述了對骨架模型的跟蹤和電子設(shè)備的一個(gè)或多個(gè)位置的元數(shù)據(jù)。
提供本發(fā)明內(nèi)容以便以簡化形式介紹在以下詳細(xì)描述中進(jìn)一步描述的概念精選。本發(fā)明內(nèi)容不旨在標(biāo)識所要求保護(hù)主題的關(guān)鍵或必要特征，也不旨在用于幫助確定所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題并不受限于解決在本公開任何部分提到的任何或全部缺點(diǎn)的實(shí)現(xiàn)。


圖IA示出用于提供起居室電影創(chuàng)建的目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實(shí)施例。圖IB示出用于提供聯(lián)網(wǎng)的起居室電影創(chuàng)建的目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實(shí)施例。圖2示出了可在目標(biāo)識別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施例。圖3A示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋一個(gè)或多個(gè)姿勢的計(jì)算環(huán)境的示例實(shí)施例。圖3B示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋一個(gè)或多個(gè)姿勢的計(jì)算環(huán)境的另一不例實(shí)施例。圖4示出了從圖1A-2的目標(biāo)識別、分析和跟蹤系統(tǒng)中已生成的用戶的骨架映射。圖5是用于提供起居室電影創(chuàng)建的當(dāng)前技術(shù)的實(shí)施例的操作的高級流程圖。圖6是將虛擬道具合并到電影中的過程的實(shí)施例的流程圖。圖7描繪了開發(fā)演員的模型的過程的流程圖。圖8是重新目標(biāo)化演員的模型的過程的一個(gè)實(shí)施例的流程圖。圖9是創(chuàng)建電影的過程的一個(gè)實(shí)施例的流程圖。圖10是在電子設(shè)備處查看場景的過程的一個(gè)實(shí)施例的流程圖。圖11是從被拍攝的電影處捕捉場景的過程的一個(gè)實(shí)施例的流程圖。圖12是編輯電影的過程的一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式在此公開了提供起居室電影創(chuàng)建的系統(tǒng)和方法?？墒褂冒ㄉ疃认鄼C(jī)的系統(tǒng)來執(zhí)導(dǎo)、捕捉和編輯電影。可通過將起居室內(nèi)的普通對象用作虛擬道具來創(chuàng)建電影集合。例如，可將起居室內(nèi)的長椅在顯示屏上表示成虛擬集合中的巖石。電影導(dǎo)演可在起居室內(nèi)到處移動對象以創(chuàng)建和修改將在其中拍攝場景的虛擬集合。系統(tǒng)可生成房間的3D模型，并確定對虛擬道具應(yīng)呈現(xiàn)什么圖像。還可在不使用起居室內(nèi)的對象的情況下創(chuàng)建虛擬集合。例如，可在顯示屏上示出沙灘或太空船的虛擬集合。導(dǎo)演可通過例如“抓住”棕櫚樹并移動它來修改這個(gè)虛擬集合。系統(tǒng)能夠使用深度相機(jī)來捕捉演員的運(yùn)動并能夠基于此來生成電影。因此，不需要演員佩戴任何專門的標(biāo)記來檢測他們的運(yùn)動。為了允許電影制作方面的較好的自由度，可將人類演員的動作重新目標(biāo)化成非人類。例如，可將人類演員表示成電影中的動物。導(dǎo)演可將用作“虛擬相機(jī)”的電子設(shè)備的放置于要捕捉場景的有利地點(diǎn)。系統(tǒng)可檢測虛擬相機(jī)的定位，并確定如何從該有利地點(diǎn)生成場景。注意，不需要使用虛擬相機(jī)來記錄場景。相反，來自深度相機(jī)的深度和/或RGB數(shù)據(jù)可被用作電影的主題。注意，可存在多個(gè)虛擬相機(jī)，使得導(dǎo)演可從多個(gè)角度查看和捕捉場景。系統(tǒng)還可用于編輯電影。作為一個(gè)示例，深度相機(jī)可用于允許用戶輸入命令以編輯電影。
圖IA不出用于在諸如起居室之類的環(huán)境中創(chuàng)建電影的系統(tǒng)10。系統(tǒng)10可以指目標(biāo)識別、分析和/或跟蹤系統(tǒng)10，它可用于識別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)。一般而言，系統(tǒng)10包括計(jì)算環(huán)境12、深度相機(jī)系統(tǒng)20和顯示器16。深度相機(jī)系統(tǒng)20可包括用于確定深度信息的相機(jī)以及RGB相機(jī)。注意，RGB相機(jī)可以是與深度相機(jī)系統(tǒng)20分開的組件。深度相機(jī)系統(tǒng)20可用于收集電影將基于的數(shù)據(jù)。在這個(gè)示例中，用戶18是正在創(chuàng)建的電影中的演員。因此，用戶18在此還可被稱作演員。系統(tǒng)10能夠使用深度相機(jī)20來捕捉用戶的移動并能夠基于此來生成電影。因此，可基于深度信息來生成電影。注意，來自RGB相機(jī)的諸如視頻數(shù)據(jù)之類的其他數(shù)據(jù)也可用于生成電影。顯示器16至少部分地基于由深度相機(jī)系統(tǒng)20所捕捉到的信息描繪了場景19。注意，術(shù)語“場景”可以指在某一時(shí)間段上發(fā)生的動作。例如，電影中的“場景”可以指在一時(shí)間段上發(fā)生的動作。場景19可具有順序地呈現(xiàn)的多個(gè)數(shù)據(jù)幀。在這個(gè)示例中，演員18在場景19中被重新目標(biāo)化成怪物17。系統(tǒng)10可以以模仿演員18的動作的方式來呈現(xiàn)怪物17。通過“重新目標(biāo)化”演員，它意味著場景19包括基于演員18但以某一方式被修改或增加的某一元素。在重新目標(biāo)化的一些實(shí)施例中，系統(tǒng)10基于深度信息來開發(fā)演員18的骨架模型，并隨后將該骨架模型映射到某一非人類的骨架模型。然后，可將諸如毛皮、眼睛、衣服之類的特征覆蓋在該非人類的骨架模型上。房間還可具有可用作虛擬道具的各種對象。在這個(gè)示例中，環(huán)境中的椅子13被呈現(xiàn)為場景19中的房子21。可以理解，系統(tǒng)10通過允許將各種現(xiàn)實(shí)世界對象用作不同種類的道具來允許“虛擬電影集合”的創(chuàng)建。因此，場景19中的至少一些元素可以是計(jì)算機(jī)創(chuàng)建的圖形。然而，如上所述，場景19也可以是基于視頻數(shù)據(jù)的。例如，取代重新目標(biāo)化演員18，來自RGB相機(jī)的實(shí)際視頻數(shù)據(jù)可用于表示場景19中的演員18。通過視頻數(shù)據(jù)也可將其他對象表示在場景19中。導(dǎo)演11和攝影人員15也被描繪，他們中的每一個(gè)都手持可用作虛擬相機(jī)的電子設(shè)備14。通過虛擬相機(jī)，它意味著設(shè)備14實(shí)際上不可捕捉視頻，但是可用于向用戶顯示從該電子設(shè)備14的有利地點(diǎn)處場景19將如何顯現(xiàn)。系統(tǒng)10可確定正由導(dǎo)演11手持的電子設(shè)備14的位置和方向，使得能夠確定從該角度場景19將如何顯現(xiàn)。系統(tǒng)10可隨后向?qū)а莸碾娮釉O(shè)備14傳送一信號，使得導(dǎo)演11能夠查看從導(dǎo)演的角度場景19將如何顯現(xiàn)。在這個(gè)示例中，導(dǎo)演11可以看見怪物17在房子21的前面。注意，導(dǎo)演11可查看到該場景是實(shí)時(shí)的。因此，如果演員18正移動他的/她的手臂，則導(dǎo)演11可看見怪物17正移動它的“手臂”。注意，導(dǎo)演11可在房間內(nèi)到處移動，以測試出不同的相機(jī)角度將如何顯現(xiàn)。同樣，系統(tǒng)10可對攝像人員15的電子設(shè)備14執(zhí)行類似的功能。電子設(shè)備14可以是任何電子設(shè)備14，諸如蜂窩電話、筆記本計(jì)算機(jī)等。一般而言，電子設(shè)備14具有用于查看場景19的某一類型的顯示屏。注意，電子設(shè)備14本身并不需要捕捉任何視頻等，雖然這是一種可能性。相反，生成場景19所基于的數(shù)據(jù)可以從深度相機(jī)系統(tǒng)20處收集到。電子設(shè)備14可具有確定設(shè)備14在房間內(nèi)的位置和方向的一個(gè)或多個(gè)傳感器。在一個(gè)實(shí)施例中，導(dǎo)演11或攝像人員15可使用電子設(shè)備來捕捉場景19。換言之，導(dǎo)演11可決定從所選擇的相機(jī)角度記錄場景19。作為一個(gè)不例,導(dǎo)演11在電子設(shè)備14上既輸入使系統(tǒng)10對描述演員的移動的元數(shù)據(jù)的進(jìn)行記錄的輸入也輸入電子設(shè)備14的位置和方向。然后，可使用該元數(shù)據(jù)基于一個(gè)或多個(gè)所記錄的場景19來編輯電影。現(xiàn)將討論系統(tǒng)10的一個(gè)實(shí)施例的進(jìn)一步細(xì)節(jié)。用于實(shí)現(xiàn)本技術(shù)的硬件包括目標(biāo)識別、分析和跟蹤系統(tǒng)10，該系統(tǒng)10可用于識別、分析和/或跟蹤諸如用戶18之類的人類目標(biāo)。目標(biāo)識別、分析和跟蹤系統(tǒng)10的各個(gè)實(shí)施例包括用于執(zhí)行游戲或諸如電影創(chuàng)建和編輯之類的其他應(yīng)用的計(jì)算環(huán)境12。計(jì)算環(huán)境12可包括硬件組件和/或軟件組件，使得計(jì)算環(huán)境12可用于執(zhí)行游戲應(yīng)用和非 游戲應(yīng)用。在一個(gè)實(shí)施例中，計(jì)算環(huán)境12可包括諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器之類的處理器，該處理器可執(zhí)行存儲在處理器可讀的存儲設(shè)備上的用于執(zhí)行此處所描述的過程的指令。系統(tǒng)10還包括捕捉設(shè)備20，捕捉設(shè)備20用于捕捉與捕捉設(shè)備所感測的一個(gè)或多個(gè)用戶和/或?qū)ο笥嘘P(guān)的圖像和音頻數(shù)據(jù)。在各實(shí)施例中，捕捉設(shè)備20可以用于捕捉與一個(gè)或多個(gè)用戶的移動、姿勢和話音相關(guān)的信息，所述信息被計(jì)算環(huán)境接收并且被用于創(chuàng)建或編輯電影。以下更詳細(xì)地解釋計(jì)算環(huán)境12和捕捉設(shè)備20的示例。目標(biāo)識別、分析和跟蹤系統(tǒng)10的實(shí)施例可以連接到具有顯示器的音頻/視覺設(shè)備16。設(shè)備16可以例如是可向用戶提供游戲或應(yīng)用視覺和/或音頻的電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如，計(jì)算環(huán)境12可包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，這些適配器可提供與游戲或其他應(yīng)用程序相關(guān)聯(lián)的音頻/視覺信號。音頻/視覺設(shè)備16可以從計(jì)算環(huán)境12接收音頻/視覺信號，并且然后可以向用戶18輸出與該音頻/視覺信號相關(guān)聯(lián)的游戲或應(yīng)用程序視覺和/或音頻。根據(jù)一個(gè)實(shí)施例，音頻/視覺設(shè)備16可經(jīng)由例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜等連接到計(jì)算環(huán)境12。系統(tǒng)10及其組件的合適的示例在以下共同待審的專利申請中找到，這些專利申請全部特此通過引用結(jié)合于此于2009年5月29日提交的名稱為“Environment And/Or Target Segmentation(環(huán)境和/或目標(biāo)分割)”的美國專利申請序列號12/475,094;于 2009 年 7 月 29 日提交的名稱為 “Auto Generating a Visual Representation” (自動生成視覺表示)”的美國專利申請序列號12/511，850 ;于2009年5月29日提交的名稱為“Gesture Tool (姿勢工具)”的美國專利申請序列號12/474, 655 ;于2009年10月21日提交的名稱為“Pose Tracking Pipeline (姿態(tài)跟蹤流水線)”的美國專利申請序列號12/603, 437 ;于 2009 年 5 月 29 日提交的名稱為“Device for Identifying and TrackingMultiple Humans Over Time (用于隨時(shí)間標(biāo)識和跟蹤多個(gè)人類的設(shè)備)”的美國專利申請序列號12/475，308 ;于2009年10月7日提交的名稱為“Human Tracking System(人類跟蹤系統(tǒng))”的美國專利申請序列號12/575，388 ;于2009年4月13日提交的名稱為“GestureRecognizer System Architecture (姿勢識別器系統(tǒng)體系結(jié)構(gòu))”的美國專利申請序列號12/422,661 ;于2009年2月23日提交的名稱為“Standard Gestures (標(biāo)準(zhǔn)姿勢)”的美國專利申請序列號12/391，150 ;以及于2009年5月29日提交的名稱為“Gesture Tool (姿勢工具)”的美國專利申請序列號12/474，655。圖IA的示例示出了被包含在諸如起居室之類的單個(gè)環(huán)境中的系統(tǒng)。然而，在一些情況下，不同的演員18可以在不同的物理位置處。在一個(gè)實(shí)施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)10被聯(lián)網(wǎng)到遠(yuǎn)程目標(biāo)識別、分析和跟蹤系統(tǒng)10，以允許各演員18在不同的位置處。圖IB示出了用于使用聯(lián)網(wǎng)的拍攝環(huán)境來創(chuàng)建電影的系統(tǒng)。在這個(gè)示例中，兩個(gè)目標(biāo)識別、分析和跟蹤系統(tǒng)10a、10b通過網(wǎng)絡(luò)240而連接。網(wǎng)絡(luò)240可以是諸如因特網(wǎng)之類的廣域網(wǎng)(WAN)。網(wǎng)絡(luò)240可以是(或包括)諸如IEEE 1394或藍(lán)牙之類的局域網(wǎng)(LAN)。網(wǎng)絡(luò)240實(shí)際上可以由一個(gè)或多個(gè)網(wǎng)絡(luò)組成。因此，一個(gè)系統(tǒng)IOa可以監(jiān)控演員18并收集運(yùn)動數(shù)據(jù)和/或深度信息，其可以通過網(wǎng)絡(luò)240而被傳送到其他系統(tǒng)10b。系統(tǒng)IOa還可以收集并傳輸RGB數(shù)據(jù)。系統(tǒng)IOb也可以監(jiān)控演員18并收集運(yùn)動數(shù)據(jù)以及RGB數(shù)據(jù)。系統(tǒng)IOb可以基于來自用戶的編輯命令使用來自任何來源的運(yùn)動數(shù)據(jù)(以及可能的RGB數(shù)據(jù))來生成電影。這可允許在分開的位置處拍攝電影的分開的場景。然而，還可允許在分開的位置處拍攝同一個(gè)場景，其中在兩個(gè)或更多位置處收集到的數(shù)據(jù)被合并以形成單個(gè)場景。數(shù)據(jù)的合并可由系統(tǒng)10響應(yīng)于來自用戶的編輯命令來執(zhí)行。圖2示出可在目標(biāo)識別、分析和跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實(shí)施例。在一個(gè)示例實(shí)施例中，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)來捕捉具有可包括深度值的深度圖像的視頻，這些技術(shù)包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20可以將所計(jì)算的深度信息組織成“Z層”，或與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件22。根據(jù)一個(gè)示例性實(shí)施例，圖像相機(jī)組件22可以是可捕捉場景的深度圖像的深度相機(jī)。深度圖像可以包括所捕捉場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每個(gè)像素都可表示深度值，比如例如所捕捉場景中的對象距相機(jī)的以厘米、毫米等為單位的長度或距離。如圖2所示，根據(jù)一示例性實(shí)施例，圖像相機(jī)組件22可以包括可用于捕捉場景的深度圖像的IR光組件24、三維(3-D)相機(jī)26、和RGB相機(jī)28。例如，在飛行時(shí)間分析中，捕捉設(shè)備20的IR光組件24可以將紅外光發(fā)射到場景上，并且然后可以使用傳感器(未示出)、例如用3-D相機(jī)26和/或RGB相機(jī)28來檢測從場景中的一個(gè)或多個(gè)目標(biāo)和物體的表面后向散射的光。在一些實(shí)施例中，可以使用脈沖紅外光,使得可以測量出射光脈沖與相應(yīng)入射光脈沖之間的時(shí)間，并且將其用于確定從捕捉設(shè)備20到場景中的目標(biāo)或物體上的特定位置的物理距離。附加地，在其他示例性實(shí)施例中，可以將出射光波的相位與入射光波的相位相比較來確定相移。該相移然后可以用于確定從捕獲設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實(shí)施例，可以使用飛行時(shí)間分析來通過經(jīng)由包括例如快門式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。在另一示例性實(shí)施例中，捕捉設(shè)備20可以使用結(jié)構(gòu)化光來捕捉深度信息。在此類分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案之類的已知圖案的光)可經(jīng)由例如IR光組件24投影到場景上。在落到場景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上以后，作為響應(yīng)，圖案可以變?yōu)樽冃蔚?。圖案的這樣的變形可以被例如3-D相機(jī)26和/或RGB相機(jī)28捕捉，并且隨后可被分析以確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。
根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括可以從不同的角度觀察場景的兩個(gè)或更多個(gè)在物理上分開的相機(jī)，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。在另一示例實(shí)施例中，捕捉設(shè)備20可使用點(diǎn)云數(shù)據(jù)(point cloud data)和目標(biāo)數(shù)字化技術(shù)來檢測用戶的特征。捕捉設(shè)備20還可包括一個(gè)或多個(gè)話筒30。話筒30可以包括可接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。根據(jù)一個(gè)實(shí)施例，話筒30可用于減少目標(biāo)識別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計(jì)算環(huán)境12之間的反饋。附加地，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等之類的應(yīng)用。
在一示例性實(shí)施例中，捕捉設(shè)備20還可包括可與圖像相機(jī)組件22有效通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標(biāo)是否可包括在深度圖像中的指令、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨架表示或模型的指令、或任何其他合適的指令。捕捉設(shè)備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行的指令、3-D相機(jī)或RGB相機(jī)捕捉到的圖像或圖像的幀、或任何其他合適的信息、圖像等。根據(jù)一個(gè)示例性實(shí)施例，存儲器組件34可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖2所示，在一實(shí)施例中，存儲器組件34可以是與圖像相機(jī)組件22和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一個(gè)實(shí)施例，可將存儲器組件34集成到處理器32和/或圖像相機(jī)組件22中。在一個(gè)實(shí)施例中，捕捉設(shè)備20不是具有處理器32，而是具有用于處理來自光傳感器的信息的應(yīng)用專用集成電路(ASIC)。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算環(huán)境12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線802. Ilb,802. llg、802. Ila或802. Iln連接等的無線連接。根據(jù)一個(gè)實(shí)施例，計(jì)算環(huán)境12可以經(jīng)由通信鏈路36向捕捉設(shè)備20提供時(shí)鐘，該時(shí)鐘可用于確定何時(shí)捕捉例如場景。附加地，捕捉設(shè)備20可以通過通信鏈路36向計(jì)算環(huán)境12提供深度信息和由例如3-D相機(jī)26和/或RGB相機(jī)28捕捉到的圖像、以及可以由捕捉設(shè)備20生成的骨架模型。存在用于判斷由捕捉設(shè)備20檢測到的目標(biāo)或?qū)ο笫欠衽c人類目標(biāo)相對應(yīng)的各種已知技術(shù)。骨架映射技術(shù)因而可用于確定該用戶的骨架上的各個(gè)點(diǎn)，手、腕、肘、膝、鼻、踝、肩的關(guān)節(jié)，以及骨盆與脊椎相交之處。其他技術(shù)包括將圖像變換成人的人體模型表示以及將圖像變換成人的網(wǎng)格模型表示。然后，可以將骨架模型提供給計(jì)算環(huán)境12，使得計(jì)算環(huán)境可以執(zhí)行各種動作。在一些實(shí)施例中，執(zhí)行重新目標(biāo)化，使得以不同于他們的實(shí)際外表的方式來呈現(xiàn)演員。在一些實(shí)施例中，系統(tǒng)10基于例如已從骨架模型中識別出的用戶的姿勢來確定在計(jì)算機(jī)環(huán)境上執(zhí)行的應(yīng)用中要執(zhí)行的那些控制。例如，如圖2所示，計(jì)算環(huán)境12可包括用于確定用戶何時(shí)執(zhí)行了預(yù)定義姿勢的姿勢識別引擎190。還示出了電影編輯引擎192，該電影編輯引擎允許用戶通過自然的輸入(例如，語音命令和/或姿勢)來輸入命令。圖3A示出了可用于創(chuàng)建和編輯電影以及其他目的的計(jì)算環(huán)境的示例實(shí)施例。該計(jì)算環(huán)境可用于圖1A、圖IB或圖2的計(jì)算環(huán)境12。圖3A的計(jì)算環(huán)境是多媒體控制臺100，其可用于游戲應(yīng)用。如圖3A所示，多媒體控制臺100包括具有一級高速緩存102、二級高速緩存104和閃存ROM 106的中央處理單元(CPU) 101。一級高速緩存102和二級高速緩存104臨時(shí)存儲數(shù)據(jù)，并且因此減少存儲器訪問周期的數(shù)量，由此改進(jìn)處理速度和吞吐量。CPU 101可被提供為具有一個(gè)以上的核，并且由此具有附加的一級聞速緩存102和_■級聞速緩存104。閃存ROM 106可存儲在多媒體控制臺100通電時(shí)引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。
圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從GPU108向視頻編碼器/視頻編解碼器114運(yùn)送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據(jù)，用于傳輸至電視機(jī)或其他顯示器。存儲器控制器110連接到GPU 108，以便于處理器對各種類型的存儲器112(諸如，但不限于RAM)的訪問。多媒體控制臺100包括優(yōu)選地在模塊120上實(shí)現(xiàn)的I/O控制器122、系統(tǒng)管理控制器123、音頻處理單元124、網(wǎng)絡(luò)接口控制器126、第一 USB主控制器128、第二 USB主控制器130以及前面板I/O子部件330。USB控制器126和128用作可選的外圍控制器142(1)-142(2)、無線適配器148、和外置存儲器設(shè)備146 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等)的主機(jī)。網(wǎng)絡(luò)接口 124和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中的任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器144，且其可包括DVD/⑶驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器144可以是對多媒體控制器100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器144訪問，以供多媒體控制臺100執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供與確保多媒體控制臺100的可用性相關(guān)的各種服務(wù)功能。音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的相應(yīng)音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140，以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150和彈出按鈕152、以及任何LED (發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。CPU IOU GPU 108、存儲器控制器110、以及多媒體控制臺100內(nèi)的各種其他組件經(jīng)由一條或多條總線互連，該總線包括串行和并行總線、存儲器總線、外圍總線、以及使用各種總線體系結(jié)構(gòu)中的任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、PCI-Express總線等。當(dāng)多媒體控制臺100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/或高速緩存102、104中，并且可在CPU 101上執(zhí)行。應(yīng)用可在導(dǎo)航到多媒體控制臺100上可用的不同媒體類型時(shí)呈現(xiàn)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，媒體驅(qū)動器144中所包含的應(yīng)用和/或其他媒體可從媒體驅(qū)動器144啟動或播放，以將附加功能提供給多媒體控制臺100。多媒體控制臺100可通過簡單地將該系統(tǒng)連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，在通過網(wǎng)絡(luò)接口 124或無線適配器148可用的寬帶連接集成的情況下，多媒體控制臺100還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡(luò)帶寬的保留量(諸如，8kbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)間保留的，所保留的資源對于應(yīng)用視角而言是不存在的。具體而言，存儲器保留量優(yōu)選地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動程序。CPU保留量 優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，通過使用GPU中斷來調(diào)度代碼以將彈出窗口呈現(xiàn)為覆蓋圖，從而顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如，彈出窗口)。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在完整的用戶界面被并發(fā)系統(tǒng)應(yīng)用使用的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率和引起TV重新同步。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源內(nèi)執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識出作為系統(tǒng)應(yīng)用線程或者游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便提供對應(yīng)用而言一致的系統(tǒng)資源視圖。調(diào)度是為了使在控制臺上運(yùn)行的游戲應(yīng)用的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所描述的)在系統(tǒng)應(yīng)用活動時(shí)控制游戲應(yīng)用的音頻級別(例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142(2))由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器優(yōu)選控制輸入流的切換，而無需知道游戲應(yīng)用的知識，并且驅(qū)動器維護(hù)關(guān)于焦點(diǎn)切換的狀態(tài)信息。相機(jī)26、28和捕捉設(shè)備20可為控制臺100定義附加輸入設(shè)備。圖3B示出了可以是圖1A-2中所示出的計(jì)算環(huán)境12的計(jì)算環(huán)境220的另一示例實(shí)施例。計(jì)算系統(tǒng)環(huán)境220只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對當(dāng)前公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在一些實(shí)施例中，各個(gè)所示的計(jì)算元素可包括被配置成實(shí)例化本公開的特定方面的電路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。在其他示例實(shí)施例中，術(shù)語“電路”可包括通過體現(xiàn)可操作以執(zhí)行功能的邏輯的軟件指令來配置的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實(shí)施例中，實(shí)施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機(jī)器可讀代碼。在圖3B中，計(jì)算環(huán)境220包括計(jì)算機(jī)241，該計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)241可以被連接到深度相機(jī)系統(tǒng)20，以接收例如骨架數(shù)據(jù)和其他元數(shù)據(jù)，從這些數(shù)據(jù)可創(chuàng)建和編輯電影。
計(jì)算機(jī)可讀介質(zhì)可以是能被計(jì)算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括諸如R0M223和RAM 260之類的易失性和/或非易失性存儲器形式的計(jì)算機(jī)存儲介質(zhì)。包含諸如在啟動期間幫助在計(jì)算機(jī)241內(nèi)的元件之間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)224 (BIOS)通常儲存儲在ROM 223中。RAM 260通常包含處理單元259可立即訪問和/或當(dāng)前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非局限，圖3B示出了操作系統(tǒng)225、應(yīng)用程序226、其它程序模塊227和程序數(shù)據(jù)228。應(yīng)用程序226的一 個(gè)示例是用于向用戶呈現(xiàn)如在此所解釋的交互性故事體驗(yàn)的故事應(yīng)用226。圖3B還包括圖形處理器單元(GPU) 229，該圖形處理器單元229具有用于高速度和高分辨率的圖形處理和存儲的相關(guān)聯(lián)的視頻存儲器230。GPU 229可通過圖形接口 231連接到系統(tǒng)總線221。計(jì)算機(jī)241也可以包括其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)。僅作為示例，圖3B示出了對不可移動、非易失性磁介質(zhì)進(jìn)行讀寫的硬盤驅(qū)動器238，對可移動、非易失性磁盤254進(jìn)行讀寫的磁盤驅(qū)動器239，以及對諸如CD ROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤253進(jìn)行讀寫的光盤驅(qū)動器240?？稍谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器238通常通過諸如接口 234之類的不可移動存儲器接口連接到系統(tǒng)總線221，并且磁盤驅(qū)動器239和光盤驅(qū)動器240通常通過諸如接口 235之類的可移動存儲器接口連接到系統(tǒng)總線221。以上討論并在圖3B中示出的驅(qū)動器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲介質(zhì)為計(jì)算機(jī)241提供了對計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖3B中，例如，硬盤驅(qū)動器238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意，這些組件可與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228相同，也可與它們不同。在此操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256以及程序數(shù)據(jù)255被給予了不同的編號，以說明至少它們是不同的副本。用戶可通過諸如鍵盤251和定點(diǎn)設(shè)備252 (通常稱為鼠標(biāo)、跟蹤球或觸摸墊)之類的輸入設(shè)備將命令和信息輸入計(jì)算機(jī)241。其他輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這些以及其他輸入設(shè)備通常通過耦合到系統(tǒng)總線的用戶輸入接口 236連接到處理單元259，但也可通過諸如并行端口、游戲端口或通用串行總線(USB)之類的其他接口和總線結(jié)構(gòu)來連接。相機(jī)26、28和捕捉設(shè)備20可為控制臺100定義附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過諸如視頻接口 232之類的接口連接至系統(tǒng)總線221。除了監(jiān)視器以外，計(jì)算機(jī)還可包括諸如揚(yáng)聲器244和打印機(jī)243之類的其他外圍輸出設(shè)備，它們可通過輸出外圍接口 233來連接。計(jì)算機(jī)241可使用到一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(諸如，遠(yuǎn)程計(jì)算機(jī)246)的邏輯連接而在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他常見的網(wǎng)絡(luò)節(jié)點(diǎn)，且通常包括許多或所有以上相對于計(jì)算機(jī)241描述的元件，盡管在圖3B中僅示出了存儲器存儲設(shè)備247。圖3B中所示的邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN) 249，但也可以包括其他網(wǎng)絡(luò)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過網(wǎng)絡(luò)接口或適配器245連接到LAN237。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他手段。調(diào)制解調(diào)器250可以是內(nèi)置的或外置的，可經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接到系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對于計(jì)算機(jī)241所示的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制，圖3B示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲器設(shè)備247上。應(yīng)當(dāng)理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。圖4描繪了可從捕捉設(shè)備20生成的用戶的示例骨架映射。在該實(shí)施例中，標(biāo)識出各個(gè)關(guān)節(jié)和骨骼每只手302、每個(gè)前臂304、每個(gè)肘306、每個(gè)大臂308、每個(gè)肩310、每個(gè)髖312、每條大腿314、每個(gè)膝316、每條小腿318、每個(gè)足320、頭322、軀干324、脊椎的頂部326和底部328以及腰330。在跟蹤更多點(diǎn)的情況下，可標(biāo)識出附加的特征，比如手指或腳趾的骨骼和關(guān)節(jié)，或面部的各個(gè)特征，如鼻和眼。圖5是提供電影創(chuàng)建的過程500的一實(shí)施例的操作的高級流程圖。過程500可由系統(tǒng)10或另一個(gè)系統(tǒng)來執(zhí)行。出于說明的目的，將作出對圖1A、圖IB和圖2的示例系統(tǒng)10的參考，但過程500并不限于該示例。在步驟502，使用深度相機(jī)收集環(huán)境的深度信息。例如，使用深度相機(jī)系統(tǒng)20來收集深度信息。由于過程500可用于電影的創(chuàng)建，因此該信息可隨時(shí)間而收集。為了討論的目的，在步驟502中數(shù)據(jù)收集發(fā)生在某一“時(shí)間段”上。注意，步驟504-508發(fā)生在該相同的時(shí)間段上。在一個(gè)實(shí)施例中，系統(tǒng)10基于深度信息來維護(hù)房間的3D模型。在一些實(shí)施例中，步驟502包括收集RGB數(shù)據(jù)。例如，RGB相機(jī)28可用于收集可在電影中使用的視頻數(shù)據(jù)。作為一個(gè)示例，視頻數(shù)據(jù)可以是MPEG流?？梢詫⑸疃刃畔⑾虏蓸拥捷^低的處理分辨率，使得其可以更容易地用較少的計(jì)算開銷來使用和處理。另外，可從深度信息中移除和/或平滑掉一個(gè)或多個(gè)高變度和/或含噪聲的深度值；可填入和/或重構(gòu)缺少的和/或移除的深度信息的部分；和/或可對所接收的深度信息執(zhí)行任何其他合適的處理，使得該深度信息可用于生成諸如骨架模型之類的模型。在步驟504中，基于深度信息來開發(fā)環(huán)境中的演員18的模型。在一個(gè)實(shí)施例中，模型是骨架模型。注意，可在無需演員佩戴任何專門的標(biāo)記的情況下開發(fā)模型?？纱鎯@個(gè)模型以供以后使用。在步驟506中，使用深度信息來跟蹤演員的模型。諸如，該跟蹤可在步驟502中所指的“時(shí)間段”上發(fā)生。以下討論了跟蹤演員的模型的進(jìn)一步細(xì)節(jié)。在步驟508中，至少基于對演員的模型的跟蹤來生成場景。注意，“場景”可包括多個(gè)數(shù)據(jù)幀。例如，場景可包括每秒30個(gè)數(shù)據(jù)幀。場景可以基于除對骨架模型的跟蹤以外的信息。在一些實(shí)施例中，房間內(nèi)的對象被用作場景的虛擬道具。例如，參考圖1A，椅子13被呈現(xiàn)為房子21，且演員18被呈現(xiàn)為怪物17。在這個(gè)示例中，椅子13被用作虛擬道具。以下討論了與虛擬道具一起工作的進(jìn)一步細(xì)節(jié)。在這個(gè)示例中，演員18被重新目標(biāo)化。以下討論的重新目標(biāo)化演員18的進(jìn)一步細(xì)節(jié)。諸如，重新目標(biāo)化演員18并不是必須的。在場景中可使用來自RGB相機(jī)28的視頻數(shù)據(jù)。因此，可從計(jì)算機(jī)生成的圖形、視頻數(shù)據(jù)或其結(jié)合生成場景。在步驟510中，系統(tǒng)10響應(yīng)于用戶命令至少基于該場景來創(chuàng)建電影。對電影的創(chuàng)建包括允許用戶執(zhí)導(dǎo)、捕捉和編輯電影。在一些實(shí)施例中，向由導(dǎo)演11或其他人所手持的電子設(shè)備提供場景的一個(gè)版本。該版本可以來自電子設(shè)備14的角度。因此，電子設(shè)備14可用作“虛擬取景器”。在一些實(shí)施例中，步驟510包括響應(yīng)于來自電子設(shè)備14的請求而捕捉場景。例如，導(dǎo)演11可在電子設(shè)備14上作出選擇，使得電子設(shè)備14指令系統(tǒng)10場景應(yīng)該被記錄。在一些實(shí)施例中，步驟508包括允許用戶使用系統(tǒng)10編輯電影。以下討論了允許用戶執(zhí)導(dǎo)、捕捉和編輯電影的進(jìn)一步細(xì)節(jié)。
圖6是將虛擬道具合并到電影中的過程600的一個(gè)實(shí)施例的流程圖。一般而言，過程600允許導(dǎo)演11將某些對象用作電影中的道具。過程600是在生成場景時(shí)可使用的一個(gè)技術(shù)。因此，過程600提供了過程500的步驟508的一個(gè)實(shí)施例的更多細(xì)節(jié)。在步驟602中，系統(tǒng)10從導(dǎo)演11或其他用戶處接收將環(huán)境中的對象用作道具的請求。在一個(gè)實(shí)施例中，這包括系統(tǒng)10拍攝房間的“靜止照片”，并在顯示器16上顯示該靜止照片。因此，最初用戶可在顯示器16上看見諸如椅子13之類的對象。如果期望，用戶可以令系統(tǒng)“重新目標(biāo)化”椅子13，使得該椅子被表示成某一其他對象。系統(tǒng)10可具有可能對象的庫，以供用戶從中進(jìn)行選擇。在用戶選擇了“虛擬對象”后，系統(tǒng)10可隨后將該虛擬對象顯示在顯示器上供用戶查看。用戶可隨后能夠通過例如修改諸如大小、顏色、形狀之類的屬性來修改虛擬道具。系統(tǒng)10隨后在將現(xiàn)實(shí)世界中的對象鏈接至它的時(shí)候存儲這個(gè)信息，使得在用戶移動該現(xiàn)實(shí)世界的對象的情況下系統(tǒng)10可跟蹤對象的位置。注意，步驟602可在過程500之前在初始設(shè)置期間發(fā)生。在步驟602的初始設(shè)置階段之后，可經(jīng)過了一些時(shí)間。在步驟604中，在“拍攝”場景同時(shí)，系統(tǒng)10基于在過程500中從深度相機(jī)處收集到的深度信息確定環(huán)境的3D模型。在步驟606中，系統(tǒng)10確定現(xiàn)實(shí)世界對象在該3D模型中的位置(或多個(gè)位置)。由于對象可在拍攝期間移動，系統(tǒng)10可跟蹤該對象。在步驟608，系統(tǒng)基于現(xiàn)實(shí)世界對象的位置將虛擬道具結(jié)合在電影中。參考圖I的示例，系統(tǒng)10可將房子21結(jié)合到顯示器16上的場景19中。在一個(gè)實(shí)施例中，在至少部分地不使用起居室內(nèi)的對象的情況下創(chuàng)建虛擬集合。例如，用戶可能希望具有沙灘背景的電影。系統(tǒng)10可在不依賴于起居室內(nèi)的任何對象的情況下創(chuàng)建沙灘的集合。系統(tǒng)10可將這個(gè)集合顯示在各顯示屏(例如，顯示器16、電子設(shè)備14上的顯示器等)中的任何一個(gè)上。在一個(gè)實(shí)施例中，這是計(jì)算機(jī)生成的場景。導(dǎo)演11可通過例如“抓住”虛擬道具并移動它來修改虛擬集合。例如，導(dǎo)演11可指向顯示器16上的棕櫚樹。系統(tǒng)10可使用深度相機(jī)來確定導(dǎo)演正指向什么。虛擬道具可被突出顯示在顯示器上，但是這并不是必需的。導(dǎo)演11可隨后作出抓住動作，并移動該虛擬道具。同樣，系統(tǒng)可使用深度相機(jī)來跟蹤導(dǎo)演的移動，以確定虛擬道具要移動到哪里。圖7描繪了開發(fā)和跟蹤演員18的模型的過程700的流程圖。過程700是過程500的步驟504-506的一個(gè)實(shí)施例。該示例方法可以使用例如深度相機(jī)系統(tǒng)20來實(shí)現(xiàn)。可以掃描演員18來生成模型，比如骨架模型、網(wǎng)格人類模型、或人的任何其他合適的表示。在步驟702處，訪問深度信息(例如，深度圖像)。這可以是來自步驟502或過程500的深度信息。深度圖像可以是深度值的矩陣。該矩陣的每一個(gè)元素可表示環(huán)境的一區(qū)域。深度值可定義從深度相機(jī)20到該區(qū)域中的對象的距離。該矩陣中的元素可以被稱為像素。在判定步驟704處，確定深度圖像是否包括人類目標(biāo)。這可以包括對深度圖像中的每一個(gè)目標(biāo)或物體進(jìn)行泛色填充，將該目標(biāo)或物體與圖案進(jìn)行比較以判斷深度圖像是否包括人類目標(biāo)。例如，可以如上文所描述的那樣將深度圖像的選定區(qū)域或點(diǎn)中的像素的各種深度值進(jìn)行比較，以確定可以定義目標(biāo)或?qū)ο蟮倪吘??？苫谒_定的邊緣來對Z層的可能Z值進(jìn)行泛色填充。例如，與確定的邊緣相關(guān)聯(lián)的像素和該邊緣內(nèi)的區(qū)域的像素可以彼此相關(guān)聯(lián)，以定義可以與圖案相比較的捕捉區(qū)域中的目標(biāo)或?qū)ο?，這在下面將更詳細(xì)地描述。
如果判定步驟704為真，則執(zhí)行步驟706。如果判斷步驟704為假，則在步驟702處訪問附加的深度信息。每一個(gè)目標(biāo)或?qū)ο笈c其比較的圖案可包括一個(gè)或多個(gè)數(shù)據(jù)結(jié)構(gòu)，這些數(shù)據(jù)結(jié)構(gòu)具有共同地定義人的典型身體的變量集合?？梢詫⑴c例如視野內(nèi)的人類目標(biāo)和非人類目標(biāo)的像素相關(guān)聯(lián)的信息與變量進(jìn)行比較，以標(biāo)識人類目標(biāo)。在一個(gè)實(shí)施例中，可以基于身體部位，對該集合中的每一個(gè)變量賦予權(quán)重。例如，圖案中的諸如頭和/或肩之類的各種身體部位可以具有與其相關(guān)聯(lián)的權(quán)重值，這些權(quán)重值可以大于諸如腿之類的其他身體部位的權(quán)重值。根據(jù)一個(gè)實(shí)施方式，當(dāng)將目標(biāo)與變量進(jìn)行比較以判斷目標(biāo)是否可能是人類以及哪些目標(biāo)可能是人類時(shí)，可以使用權(quán)重值。例如，變量和目標(biāo)之間具有較大的權(quán)重值的匹配與具有較小權(quán)重值的匹配相比可產(chǎn)生目標(biāo)是人類的更大似然性。步驟706包括掃描人類目標(biāo)以尋找身體部位?？梢話呙枞祟惸繕?biāo)，以提供與人的一個(gè)或多個(gè)身體部位相關(guān)聯(lián)的諸如長度、寬度等等之類的測量值，以提供該人的準(zhǔn)確模型。在一示例實(shí)施例中，人類目標(biāo)可以被隔離，并且可以創(chuàng)建人類目標(biāo)的位掩模來掃描一個(gè)或多個(gè)身體部位。可以通過例如對人目標(biāo)進(jìn)行泛色填充來創(chuàng)建位掩模，以便人類目標(biāo)可以與捕捉區(qū)域元素中的其他目標(biāo)或?qū)ο蠓蛛x。然后，可以對于一個(gè)或多個(gè)身體部位分析位掩碼，以生成人類目標(biāo)的模型，如骨架模型、網(wǎng)格人類模型等等。步驟708包括生成人類目標(biāo)的模型。在一個(gè)實(shí)施方式中，可以使用由掃描的位掩模確定的測量值來定義骨架模型中的一個(gè)或多個(gè)關(guān)節(jié)。一個(gè)或多個(gè)關(guān)節(jié)被用來定義對應(yīng)于人類的身體部位的一個(gè)或多個(gè)骨頭。一般而言，每個(gè)身體部位可被表征為定義骨架模型的關(guān)節(jié)和骨骼的數(shù)學(xué)向量。身體部位在關(guān)節(jié)處可以相對于彼此移動。模型可以包括描述用戶的頭的旋轉(zhuǎn)的信息，使得得知用戶的耳朵的取向。在步驟710中，通過每秒鐘多次更新人的位置來跟蹤模型。隨著用戶在物理空間中移動，使用來自深度相機(jī)系統(tǒng)的信息來調(diào)整骨架模型，以使該骨架模型表示人?？蛇x地，用戶18可佩戴慣性傳感器；然而，慣性傳感器并不是必須的。如果使用了慣性傳感器，則來自慣性傳感器的數(shù)據(jù)也可以用于跟蹤用戶。具體而言，可將一個(gè)或多個(gè)力施加到骨架模型的一個(gè)或多個(gè)受力方面，以將骨架模型的姿態(tài)調(diào)整成更加緊密地對應(yīng)于物理空間中的人類目標(biāo)的姿態(tài)。一般而言，可使用用于跟蹤一個(gè)或多個(gè)人的運(yùn)動的任何已知技術(shù)。注意，可以使用過程700多于一次，以生成單個(gè)場景。以這種方式，可基于多次經(jīng)過來構(gòu)成場景，其中演員18通過每一次經(jīng)過扮演不同的角色。例如，過程700可用于在各個(gè)非重疊的時(shí)間段上跟蹤用戶18。系統(tǒng)10可將所跟蹤的演員18的模型合并到場景中，其中在該場景中演員的運(yùn)動在時(shí)間上重疊。作為一個(gè)示例，可針對不同的時(shí)間段中的每一個(gè)跟蹤不同的骨架模型。每一個(gè)骨架模型可對應(yīng)于不同的角色。圖8是重新目標(biāo)化演員18的模型的過程800的一個(gè)實(shí)施例的流程圖?？稍诨谘輪T18的模型生成場景時(shí)使用過程800。因此，過程800是過程500的步驟508的一個(gè)實(shí)施例。在一個(gè)實(shí)施例中，過程800創(chuàng)建跟蹤演員18的行為的非人類圖像。注意，在過程800之前，用戶可能已經(jīng)通知系統(tǒng)10應(yīng)如何重新目標(biāo)化演員18。例如，用戶輸入命令(可能用姿勢或語音)來指令系統(tǒng)10應(yīng)該將演員18重新目標(biāo)化成老虎。同時(shí)，在過程800之前，可能已開發(fā)了演員18的模型。例如，可能移執(zhí)行了過程700來開發(fā)骨架模型。在步驟802中，訪問重新設(shè)定的目標(biāo)對象。例如，系統(tǒng)10基于用戶的將演員18重新目標(biāo)化成老虎或怪物的在先請求來訪問已存儲的信息。在步驟804中，執(zhí)行重新目標(biāo)化。在一個(gè)實(shí)施例中，系統(tǒng)10將骨架模型映射成重新設(shè)定目標(biāo)的骨架模型。例如，怪物相對于演員18而言可具有非常長的手臂。因此，在步驟804中可修改手臂骨頭的長度。在一些情況下，可修改關(guān)節(jié)角度。例如，可縮短怪物的頭部，并將其相對于演員的頭部的實(shí)際位置向下調(diào)整一角度。在重新映射之后，可將各種紋理覆蓋在經(jīng)重新映射的骨架模型上。覆蓋紋理可包括添加諸如頭發(fā)、衣服、皮膚之類的特征。這些元素可以與或者可以不與演員18的特征相關(guān)。例如，怪物所穿的衣服可以與演員18所穿的衣服不具有任何相關(guān)性。圖9是響應(yīng)于用戶命令基于場景創(chuàng)建電影的過程900的一個(gè)實(shí)施例的流程圖。過程900是過程500的步驟510的一個(gè)實(shí)施例。過程900描述了基于場景來創(chuàng)建電影的高級細(xì)節(jié)。如上所述，場景19可以指在某一時(shí)間段上發(fā)生的動作，并可包括順序呈現(xiàn)的多個(gè)數(shù)據(jù)幀。在步驟902，場景19被呈現(xiàn)在電子設(shè)備14上，使得導(dǎo)演11可查看場景19。注意，可從導(dǎo)演11的角度呈現(xiàn)場景19。同樣，導(dǎo)演11可實(shí)時(shí)地查看場景19。例如，參考圖1A，導(dǎo)演11從電子設(shè)備14的角度查看場景19。在一種情況下，電子設(shè)備14被用作虛擬取景器，以允許導(dǎo)演11、攝像人員15等確定合適的相機(jī)角度。在步驟904中，由系統(tǒng)10響應(yīng)于來自電子設(shè)備14的請求而捕捉場景19。步驟904在一旦確定已發(fā)現(xiàn)了合適的相機(jī)角度以后，允許導(dǎo)演11 (或其他人)捕捉場景19。在一個(gè)實(shí)施例中，在步驟904中捕捉描述了場景(例如，骨架數(shù)據(jù))以及相機(jī)位置的元數(shù)據(jù)。以下描述進(jìn)一步的細(xì)節(jié)。如由判定步驟906所指示的，導(dǎo)演11可捕捉如所期望的那么多的場景19。在步驟908中，使用系統(tǒng)10來編輯電影。編輯允許用戶基于所有捕捉到的場景來創(chuàng)建電影。如所述的，在一些實(shí)施例中，用戶使用可被系統(tǒng)10識別的語音命令和/或姿勢來輸入編輯命令。圖10是在電子設(shè)備14處查看場景19的過程1000的一個(gè)實(shí)施例的流程圖。過程1000是過程900的步驟902的一個(gè)實(shí)施例。在步驟1002，確定電子設(shè)備14在環(huán)境中的位置。例如，系統(tǒng)10確定導(dǎo)演的電子設(shè)備14的位置。注意，該位置可包括在3D空間中的定位以及方向?？墒褂枚喾N技術(shù)來確定電子設(shè)備14的位置。此外，可基于各種類型的數(shù)據(jù)來確定該位置。一個(gè)示例是使深度相機(jī)系統(tǒng)20標(biāo)識出電子設(shè)備14的3D坐標(biāo)。用于實(shí)現(xiàn)這個(gè)的一個(gè)技術(shù)是基于骨架數(shù)據(jù)來跟蹤導(dǎo)演的手的位置。在這種情況下，導(dǎo)演11可通知系統(tǒng)10電子設(shè)備14在例如導(dǎo)演的右手中。作為一個(gè)替換例，系統(tǒng)10可能能夠基于模式識別來識別電子設(shè)備14。在這種情況下，導(dǎo)演11可通知系統(tǒng)10存在某種類型的電子設(shè)備14正被使用。系統(tǒng)10可指令導(dǎo)演11在某一定位處拿著電子設(shè)備14，使得系統(tǒng)10可學(xué)習(xí)來識別該電子設(shè)備14。系統(tǒng)10可通過將起居室顯示在顯示器16上并突出顯示目標(biāo)區(qū)域來將向?qū)а?1傳達(dá)該定位。定位電子設(shè)備14的另一種方式是在電子設(shè)備14上放置系統(tǒng)10能夠檢測的標(biāo)記。在一個(gè)實(shí)施例中，電子設(shè)備14運(yùn)行允許它被用作場景19的虛擬的預(yù)查看器的應(yīng)用。這個(gè)應(yīng)用可被配置成與系統(tǒng)10進(jìn)行通信以發(fā)送幫助確定電子設(shè)備14的位置的信息。例如，電子設(shè)備14可以具有能夠被發(fā)送至系統(tǒng)10的GPS數(shù)據(jù)、指南針數(shù)據(jù)和/或加速計(jì)數(shù)據(jù)。加速計(jì)數(shù)據(jù)可用于確定電子設(shè)備14相對于地板傾斜了什么角度。這可用于確定虛擬取景器正指向的那個(gè)角度。GPS數(shù)據(jù)可用于確定電子設(shè)備14在房間內(nèi)的定位。在步驟1004中，可從電子設(shè)備14的角度確定場景19的一個(gè)版本。注意，為了允許該場景被導(dǎo)演實(shí)時(shí)地查看，這可以被實(shí)時(shí)地執(zhí)行。在過程500中創(chuàng)建的場景19可以是從深度相機(jī)系統(tǒng)20的角度的。在一些實(shí)施例中，系統(tǒng)10存儲諸如房間的3D模型和演員18的模型之類的元數(shù)據(jù)。房間的3D模型可包括諸如要用作虛擬道具的對象的3D坐標(biāo)之類的信息。演員18的模型可包括基于時(shí)間的骨架數(shù)據(jù)。通過這個(gè)信息，系統(tǒng)10能夠確定場景19從電子設(shè)備14的角度將如何顯現(xiàn)。在步驟1006中，場景19的將該版本傳送給電子設(shè)備14。一般地，這將是通過無線傳輸?shù)?，但是有線傳輸可以被使用。該傳輸可使用諸如802. 11、藍(lán)牙、蜂窩電話傳輸之類的各種機(jī)制。在步驟1008中，將場景19的該版本顯示在電子設(shè)備14上?？墒褂秒娮釉O(shè)備14上的前面提到的應(yīng)用來與系統(tǒng)10進(jìn)行通信，以接收場景19的該版本并將場景19呈現(xiàn)在顯示器上。如前所述，場景19的該版本可以是實(shí)時(shí)的版本。正如術(shù)語“實(shí)時(shí)”之前被使用的那樣，可存在由于系統(tǒng)10生成場景19的該版本所花費(fèi)的時(shí)間的某一小延遲、傳輸延遲、呈現(xiàn)延遲或其他可能的延遲。在一些實(shí)施例中，步驟1008包括呈現(xiàn)經(jīng)重新目標(biāo)化的演員。例如，導(dǎo)演11可在看電子設(shè)備14上的顯示器時(shí)看到演員18被重新目標(biāo)化成了 Godzilla(哥斯拉)。更具體的，導(dǎo)演11可以看到Godzilla正基于演員的運(yùn)動而實(shí)時(shí)地移動。由于導(dǎo)演11可改變電子設(shè)備14的位置，過程1000可返回至步驟1002以再次確定電子設(shè)備14的位置。隨后可執(zhí)行確定、傳送和從電子設(shè)備14的角度顯示場景19的其他步驟。過程1000可響應(yīng)于用戶輸入指令系統(tǒng)10記錄應(yīng)該結(jié)束的命令而結(jié)束。圖11是捕捉正被拍攝的電影的場景的過程1100的一個(gè)實(shí)施例的流程圖。過程1100是過程900的步驟904的一個(gè)實(shí)施例。過程1100可以響應(yīng)于記錄場景19的請求而被執(zhí)行。因此，過程1100可響應(yīng)于進(jìn)行記錄的請求而開始，并響應(yīng)于停止記錄的請求而結(jié)束。在步驟1102中，接收來自電子設(shè)備14的記錄場景19的元數(shù)據(jù)的請求。例如，電子設(shè)備14可能響應(yīng)于來自導(dǎo)演11的命令而正在運(yùn)行允許它與系統(tǒng)10進(jìn)行通信的應(yīng)用。在步驟1104，系統(tǒng)10存儲描述了演員18的模型的元數(shù)據(jù)。作為一個(gè)示例，骨架數(shù)據(jù)被存儲。附加的元數(shù)據(jù)可繼續(xù)被存儲，直到用戶請求記錄停止為止。元數(shù)據(jù)還可包括描述了要用作虛擬道具的對像的位置的數(shù)據(jù)。 在步驟1106，系統(tǒng)10存儲描述了電子設(shè)備14的位置的元數(shù)據(jù)。作為一個(gè)示例，電子設(shè)備14的3D坐標(biāo)被存儲。附加的元數(shù)據(jù)可繼續(xù)被存儲，直到用戶請求記錄停止為止。因此，系統(tǒng)10可存儲各自包含3D位置和時(shí)間值的數(shù)據(jù)對。元數(shù)據(jù)還可包括描述了電子設(shè)備14的方向的數(shù)據(jù)(例如，指南針數(shù)據(jù)、加速計(jì)數(shù)據(jù)等)。
在步驟1108中，系統(tǒng)10接收停止記錄場景的請求。如上所述,該請求可來自電子設(shè)備14。圖12是編輯電影的過程1200的一個(gè)實(shí)施例的流程圖。過程1200是過程900的步驟906的一個(gè)實(shí)施例。過程1200允許用戶使用諸如姿勢和語音命令之類的自然用戶輸入來編輯電影。過程1200可響應(yīng)于進(jìn)入編輯模式的用戶請求而開始。多種技術(shù)可用于進(jìn)入編輯模式。在一個(gè)實(shí)施例中 ，用戶作出一個(gè)或多個(gè)姿勢，這些姿勢可被系統(tǒng)12解釋成進(jìn)入編輯模式的請求。在步驟1202中，訪問電影的一個(gè)或多個(gè)場景的已存儲的元數(shù)據(jù)。例如，訪問在一次或多次執(zhí)行過程900時(shí)所存儲的元數(shù)據(jù)。注意，可訪問許多不同的元數(shù)據(jù)的集合，使得許多不同的場景可被編輯。系統(tǒng)10可呈現(xiàn)至少一些場景的快照，以允許用戶選擇場景來進(jìn)行編輯。在步驟1204，深度相機(jī)系統(tǒng)20接收被系統(tǒng)12解釋成編輯命令的輸入。注意，深度相機(jī)系統(tǒng)20可以具有可允許用戶輸入語音命令的一個(gè)或多個(gè)話筒。例如，用戶可指向這些場景中的一個(gè)，并說“select scene (選擇場景)”或“play scene (播放場景)”。在查看了各個(gè)場景之后，用戶可選擇某些場景并對其進(jìn)行排序以供順序的呈現(xiàn)。系統(tǒng)12也可允許用戶對場景作出修改。例如，在查看了場景之后，用戶可決定被重新目標(biāo)化成獅子的演員18應(yīng)該更換為被重新目標(biāo)化成老虎。為了進(jìn)行重新目標(biāo)化，用戶可說“re-target asatiger (重新目標(biāo)化成老虎)”。作為響應(yīng)，系統(tǒng)12可播放演員被重新目標(biāo)化成老虎的場景。為了實(shí)現(xiàn)這個(gè)，系統(tǒng)12可訪問演員18的骨架模型、將其重新映射成老虎的骨架、以及覆蓋老虎的特征。用戶還可改變場景的角度。例如，用戶可說“zoom in(放大)”或“zoomout (縮小)”來使系統(tǒng)12創(chuàng)建具有不同的變焦級別的場景的版本。用戶還可將音樂覆蓋在場景中。這些只是可能的編輯可能性中的一些；存在許多其他的編輯可能性。本發(fā)明系統(tǒng)的前述詳細(xì)描述是出于說明和描述的目的而提供的。這并不旨在窮舉本發(fā)明系統(tǒng)或?qū)⒈景l(fā)明系統(tǒng)限于所公開的精確形式。鑒于上述教導(dǎo)，許多修改和變型都是可能的。選擇所述實(shí)施例以最好地解釋本發(fā)明系統(tǒng)的原理及其實(shí)踐應(yīng)用，從而允許本領(lǐng)域技術(shù)人員能夠在各種實(shí)施例中并采用各種適于所構(gòu)想的特定用途的修改來最好地利用本發(fā)明系統(tǒng)。本發(fā)明系統(tǒng)的范圍旨在由所附權(quán)利要求書來定義。
權(quán)利要求
1.一種在具有深度相機(jī)的系統(tǒng)中的方法，包括 使用所述深度相機(jī)來收集環(huán)境的深度信息(502)； 使用所述深度信息來生成所述環(huán)境中的演員的模型(504)； 使用所述深度信息來跟蹤所述模型(506)； 基于對所述演員的所述模型的跟蹤生成場景(508);以及 響應(yīng)于用戶命令基于所述場景創(chuàng)建電影(510)。
2.如權(quán)利要求I所述的方法，其特征在于，所述響應(yīng)于用戶命令基于所述場景創(chuàng)建電影包括 針對一時(shí)間段確定電子設(shè)備在所述環(huán)境中的一個(gè)或多個(gè)位置； 針對所述時(shí)間段從所述電子設(shè)備的角度生成所述場景的一個(gè)版本；以及 向所述電子設(shè)備傳送所述場景的所述版本。
3.如權(quán)利要求2所述的方法，其特征在于，所述響應(yīng)于用戶命令基于所述場景創(chuàng)建電影包括 接收來自所述電子設(shè)備的記錄所述場景的請求。
針對所述時(shí)間段存儲描述了對所述演員的所述模型的跟蹤的第一元數(shù)據(jù)；以及 針對所述時(shí)間段存儲描述了所述電子設(shè)備在所述環(huán)境中的所述一個(gè)或多個(gè)位置的第二元數(shù)據(jù)。
4.如權(quán)利要求I至3中的任何一項(xiàng)所述的方法，其特征在于，所述生成和所述跟蹤所述模型包括基于所述深度信息來生成和跟蹤骨架模型。
5.如權(quán)利要求4所述的方法，其特征在于，所述生成場景包括重新目標(biāo)化所述骨架模型以創(chuàng)建跟蹤所述演員的行為的非人類圖像，并且還包括實(shí)時(shí)地向電子設(shè)備提供所述場旦-5^ O
6.如權(quán)利要求I至5中的任何一項(xiàng)所述的方法，其特征在于，所述生成場景還包括 接收使用所述環(huán)境中的對象來用作虛擬道具的請求； 基于所述深度信息確定所述對象在所述環(huán)境的3D模型中一個(gè)或多個(gè)位置；以及 基于所述對象在所述3D模型中的一個(gè)或多個(gè)位置將虛擬道具合并到所述場景中。
7.如權(quán)利要求I至6中的任何一項(xiàng)所述的方法，其特征在于，所述生成場景還包括 生成虛擬場景；以及 將所述演員放置在所述虛擬場景中。
8.如權(quán)利要求I至7中的任何一項(xiàng)所述的方法，其特征在于，所述響應(yīng)于用戶命令基于所述場景創(chuàng)建電影包括 經(jīng)由所述深度相機(jī)接收輸入以編輯所述電影； 訪問描述了根據(jù)權(quán)利要求I所述的方法來生成的多個(gè)場景的已存儲的元數(shù)據(jù)；以及 經(jīng)由所述深度相機(jī)接收輸入命令，以基于所述已存儲的元數(shù)據(jù)編輯所述電影。
9.一種用于創(chuàng)建電影的系統(tǒng)(10)，所述系統(tǒng)包括 深度相機(jī)(20)； 耦合到所述深度相機(jī)的一個(gè)或多個(gè)處理器(32，101，108，229，259);以及耦合到所述一個(gè)或多個(gè)處理器的計(jì)算機(jī)存儲介質(zhì)(34，112，222，230)，所述計(jì)算機(jī)存儲介質(zhì)具有存儲在其上的指令，當(dāng)在所述一個(gè)或多個(gè)處理器上執(zhí)行所述指令時(shí)，使得所述一個(gè)或多個(gè)處理器 使用所述深度相機(jī)來收集環(huán)境的深度信息； 使用所述深度相機(jī)來捕捉所述環(huán)境中的演員的運(yùn)動，所述運(yùn)動是使用無標(biāo)記的技術(shù)來捕捉的； 基于所捕捉到的所述演員的運(yùn)動生成場景； 確定要用作虛擬取景器的電子設(shè)備的一個(gè)或多個(gè)位置，所述一個(gè)或多個(gè)位置在一時(shí)間段與所述場景相關(guān)聯(lián)； 從所述電子設(shè)備在所述一個(gè)或多個(gè)位置處的角度生成所述場景的一個(gè)版本；以及 向所述電子設(shè)備提供所述場景的所述版本。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述指令還使所述一個(gè)或多個(gè)處理器 接收來自所述電子設(shè)備的記錄所述場景的元數(shù)據(jù)的請求。
存儲描述了所捕捉到的所述演員的運(yùn)動的第一元數(shù)據(jù)；以及 存儲描述了所述電子設(shè)備的所述一個(gè)或多個(gè)位置的第二元數(shù)據(jù)。
全文摘要
本發(fā)明涉及起居室電影創(chuàng)建。公開了起居室電影創(chuàng)建的系統(tǒng)和方法?？墒褂冒ㄉ疃认鄼C(jī)的系統(tǒng)來執(zhí)導(dǎo)、捕捉和編輯電影?？赏ㄟ^將起居室內(nèi)的普通對象用作虛擬道具來創(chuàng)建虛擬電影集合。系統(tǒng)能夠使用深度相機(jī)來捕捉演員的運(yùn)動并能夠基于此來生成電影。因此，不需要演員佩戴任何專門的標(biāo)記來檢測他們的運(yùn)動。導(dǎo)演可從“虛擬相機(jī)”的角度查看各場景并記錄那些場景以供以后編輯。
文檔編號G06T13/20GK102622774SQ20121002079
公開日2012年8月1日 申請日期2012年1月30日 優(yōu)先權(quán)日2011年1月31日
發(fā)明者A·A-A·基普曼, A·福勒, R·波特 申請人:微軟公司