自適應(yīng)投影儀的制作方法
【專(zhuān)利說(shuō)明】自適應(yīng)投影儀
【背景技術(shù)】
[0001] 1.巧術(shù)領(lǐng)域。
[0002] 本發(fā)明整體設(shè)及自然交互式系統(tǒng)。更具體地，本發(fā)明設(shè)及自適應(yīng)現(xiàn)實(shí)增強(qiáng)和=維 輸入接口。
[0003] 2.相關(guān)領(lǐng)域的描巧。
[0004] 自然用戶界面在娛樂(lè)和計(jì)算機(jī)產(chǎn)業(yè)方面發(fā)展加快。手勢(shì)控制正補(bǔ)充或替代更常規(guī) 并且不自然的接口諸如鍵盤(pán)和鼠標(biāo)、游戲控制器和遙控器。然而，用戶交互仍然主要設(shè)及計(jì) 算機(jī)監(jiān)視器，因而限制了此類(lèi)接口的適用性和易用性。一些手勢(shì)控制依賴于光學(xué)S維映射。
[0005] 用于光學(xué)3-D映射的各種方法在本領(lǐng)域中是已知的（即，通過(guò)對(duì)對(duì)象的光學(xué)圖像 進(jìn)行處理來(lái)生成該對(duì)象表面的=維輪廓）。此類(lèi)輪廓還被稱為深度圖或深度圖像，并且3-D 映射也被稱為深度映射。
[0006] 一些方法基于將激光散斑圖案投影到對(duì)象上，并且然后分析該對(duì)象上的該圖案的 圖像。例如，PCT國(guó)際公布WO 2007/043036描述了一種用于對(duì)象重建的系統(tǒng)和方法，其中 相干光源和隨機(jī)散斑圖案的生成器將相干隨機(jī)散斑圖案投影到對(duì)象上。成像單元檢測(cè)被照 明區(qū)域的光響應(yīng)并生成圖像數(shù)據(jù)。對(duì)象的圖像中的圖案相對(duì)于圖案的參考圖像的偏移用于 該對(duì)象的3-D圖的實(shí)時(shí)重建。使用散斑圖案進(jìn)行3-D映射的其他方法例如在PCT國(guó)際公布 WO 2007/105205中有所描述。
[0007] PCT國(guó)際公布WO 2012/011044描述了用于交互式現(xiàn)實(shí)增強(qiáng)的裝置和方法，包括二 維相機(jī)和=維相機(jī)、相關(guān)聯(lián)的深度投影儀和內(nèi)容投影儀W及鏈接到=維相機(jī)和二維相機(jī)的 處理器。布景的深度圖使用=維相機(jī)的輸出產(chǎn)生，并且與由二維相機(jī)捕獲的二維圖像配合 W識(shí)別布景中的滿足用于將圖像投影到布景上的預(yù)先確定的標(biāo)準(zhǔn)的=維對(duì)象。內(nèi)容投影儀 響應(yīng)于處理器的指令來(lái)將內(nèi)容圖像投影到=維對(duì)象上，該可通過(guò)自動(dòng)識(shí)別用戶手勢(shì)來(lái)進(jìn)行 介導(dǎo)。

【發(fā)明內(nèi)容】

[000引在其某些實(shí)施例中，本發(fā)明旨在提供改進(jìn)的內(nèi)容投影設(shè)備，該內(nèi)容投影設(shè)備在其 視場(chǎng)中感知對(duì)象。
[0009] 因此，根據(jù)本發(fā)明的實(shí)施例提供了用于處理數(shù)據(jù)的裝置，該裝置包括投影儀和處 理器，該投影儀被配置為將內(nèi)容投影到布景的至少一部分上，該處理器被配置為檢測(cè)人的 眼部在布景中的位置并且控制投影儀，W便降低眼部的區(qū)域中的所投影的內(nèi)容的強(qiáng)度。
[0010] 在一些實(shí)施例中，該裝置包括感測(cè)設(shè)備，該感測(cè)設(shè)備被配置為捕獲來(lái)自布景的福 射并且響應(yīng)于所捕獲的福射來(lái)輸出信號(hào)，其中該處理器被配置為處理信號(hào)W便識(shí)別眼部的 區(qū)域。該感測(cè)設(shè)備可被配置為捕獲布景的圖像，該圖像被處理器處理W便識(shí)別眼部的區(qū)域。 除此之外或作為另外一種選擇，該處理器被配置為處理信號(hào)W便生成布景的=維圖并且處 理S維圖W便識(shí)別眼部的區(qū)域。
[0011] 在本發(fā)明所公開(kāi)的實(shí)施例中，該投影儀包括第一福射源和第二福射源，該第一福 射源發(fā)射紅外福射光束，該第二福射源發(fā)射可見(jiàn)光束，該可見(jiàn)光束被調(diào)制w形成被投影到 布景的至少一部分上的內(nèi)容。掃描光學(xué)器件將紅外光束和可見(jiàn)光束兩者同時(shí)投影到布景 上。該感測(cè)設(shè)備被配置為捕獲從布景返回的紅外福射。在一個(gè)實(shí)施例中，該第一福射源被 控制W在布景上形成斑點(diǎn)圖案，并且其中處理器被配置為從斑點(diǎn)圖案獲得布景的=維圖并 且處理S維圖，W便識(shí)別眼部的區(qū)域。
[0012] 根據(jù)本發(fā)明的實(shí)施例，還提供了一種用于處理數(shù)據(jù)的方法，所述方法包括將內(nèi)容 投影到布景的至少一部分上W及檢測(cè)人的眼部在布景中的位置。內(nèi)容的投影被控制W便降 低眼部的區(qū)域中的所投影的內(nèi)容的強(qiáng)度。
【附圖說(shuō)明】
[0013] 為了更好的理解本發(fā)明，W舉例的方式參考了結(jié)合W下附圖進(jìn)行閱讀的本發(fā)明的 詳細(xì)描述，其中類(lèi)似的元件被賦予類(lèi)似的附圖標(biāo)記，并且其中：
[0014] 圖1為根據(jù)本發(fā)明所公開(kāi)的實(shí)施例構(gòu)造和操作的交互式=維視頻顯示系統(tǒng)的示 意性立體說(shuō)明圖；
[0015] 圖2為根據(jù)本發(fā)明的實(shí)施例構(gòu)造和操作的圖1中所示的系統(tǒng)的框圖；
[0016] 圖3為示出根據(jù)本發(fā)明的實(shí)施例構(gòu)造和操作的示例性處理設(shè)備的一部分的功能 元件的框圖；
[0017] 圖4為根據(jù)本發(fā)明的實(shí)施例識(shí)別布景中的S維對(duì)象的方法的示例性流程圖；
[0018] 圖5示出根據(jù)本發(fā)明的實(shí)施例被投影到虛擬表面的移動(dòng)設(shè)備的屏幕；
[0019] 圖6示出根據(jù)本發(fā)明的實(shí)施例的包括可佩戴監(jiān)視器的交互式=維視頻顯示系統(tǒng)； W及
[0020] 圖7為根據(jù)本發(fā)明的另選的實(shí)施例的交互式投影系統(tǒng)的元件的示意圖。
【具體實(shí)施方式】
[0021] 在下面的描述中，示出了許多具體細(xì)節(jié)W便提供對(duì)本發(fā)明的各種原理的徹底理 解。然而，對(duì)本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，并不是所有該些細(xì)節(jié)必然總是需要用于實(shí)施 本發(fā)明。在該種情況下，熟知的電路、控制邏輯部件W及用于常規(guī)算法和工藝的計(jì)算機(jī)程序 指令的細(xì)節(jié)沒(méi)有被詳細(xì)示出，W免不必要地模糊一般概念。
[0022] 如本文所用，術(shù)語(yǔ)"內(nèi)容投影"可涵蓋將該內(nèi)容的圖像建立到可佩戴的透明監(jiān)視器 諸如透視眼鏡上，并且因此對(duì)除佩戴該眼鏡之外的任何人不可見(jiàn)，或建立到對(duì)與物理對(duì)象 進(jìn)行交互的任何人可見(jiàn)的物理對(duì)象上。該術(shù)語(yǔ)不限于上面的實(shí)例。其可涵蓋通過(guò)多種方 式來(lái)形成圖像，該多種方式包括視網(wǎng)膜投影、投影到透視眼鏡上、將圖像投影到虛擬空間中 (例如作為一個(gè)全息圖）、W及用于生成增強(qiáng)現(xiàn)實(shí)的其他技術(shù)。
[oou] 系統(tǒng)架構(gòu)。
[0024] 現(xiàn)在轉(zhuǎn)到附圖，首先參照?qǐng)D1，其為交互式S維視頻顯示系統(tǒng)10的立體說(shuō)明圖，該 交互式=維視頻顯示系統(tǒng)10根據(jù)本發(fā)明所公開(kāi)的實(shí)施例構(gòu)造和操作。系統(tǒng)10結(jié)合可包括 紅外（IR)投影儀和為投影儀帶打開(kāi)的對(duì)應(yīng)的CM0S/CCD相機(jī)的S維（3-D)相機(jī)12。如本文 所用，術(shù)語(yǔ)維相機(jī)"和"3-D相機(jī)"是指用于形成布景的3-D圖（也被稱為深度圖）（即， 一系列3D坐標(biāo)，其包括在預(yù)定區(qū)域內(nèi)的每個(gè)點(diǎn)狂，巧處的身體表面的深度狂）坐標(biāo)值）的 成像設(shè)備。3-D相機(jī)12捕獲3-D信息，該3-D信息可包括用戶的身體（或身體的至少一部 分）、由用戶手持使用或操作W用于控制計(jì)算機(jī)應(yīng)用程序的有形的實(shí)體W及在3-D相機(jī)12 的視場(chǎng)中的其他對(duì)象。該類(lèi)3-D成像組件的細(xì)節(jié)例如在PCT國(guó)際公布W0 2010/004542和 美國(guó)專(zhuān)利申請(qǐng)公布No. 2009/0183125中有所描述。3-D相機(jī)12通常在近紅外光譜中操作。 然而，本發(fā)明的原理同樣適用于使得3-D相機(jī)12能夠捕獲近紅外光譜之外的電磁能量（例 如遠(yuǎn)紅外線或紫外線能量）的變型。系統(tǒng)10還可包括二維（2-D)相機(jī)14,其在可見(jiàn)光譜中 操作，并且可采集具有足夠分辨率的布景W允許布景中的書(shū)面信息的自動(dòng)解釋并且通常產(chǎn) 生紅-綠-藍(lán)（RGB)輸出信號(hào)。
[0025] 3-D相機(jī)12和2-D相機(jī)14與內(nèi)容投影儀16 -起合作，它們都在處理器（諸如計(jì) 算機(jī)18)的控制下。
[0026] 用于系統(tǒng)10的集合3-D相機(jī)12和2-D相機(jī)14的合適的單元為PrimeSensor? 參考設(shè)計(jì)化eferenceDesi即），其購(gòu)自PrimeSenseColoration, 104CambayCt,Cary Noi~thCarolina, 27513,U.S.A。內(nèi)容投影儀16可為PicoP'K.顯示器引擎，其購(gòu)自 MicroVision，Inc. ,6222 185thAve肥Re血ondWA，98052。在一些實(shí)施例中，3-D相機(jī) 12 和2-D相機(jī)14可與內(nèi)容投影儀16集成在一起作為PrimeSensor參考設(shè)計(jì)的變型。在一個(gè) 實(shí)施例中，3-D相機(jī)12是包括IR投影儀的集成模塊，其將斑點(diǎn)圖案投影到對(duì)象上并捕獲所 投影的圖案的圖像。另選地，IR投影儀可作為一個(gè)獨(dú)立模塊來(lái)實(shí)現(xiàn)（未示出）。IR投影儀 可根據(jù)PCT國(guó)際公布W0 2010/020380的教導(dǎo)內(nèi)容來(lái)實(shí)現(xiàn)，其還教導(dǎo)如何再使用掃描硬件W 對(duì)深度映射所需的IR和可見(jiàn)內(nèi)容兩者進(jìn)行投影。
[0027] 處理器可使用美國(guó)專(zhuān)利申請(qǐng)公布2011/0293137的教導(dǎo)內(nèi)容來(lái)分析布景。
[002引計(jì)算機(jī)18可包括W軟件被編程W實(shí)現(xiàn)下文描述的功能的通用計(jì)算機(jī)處理器。軟 件可例如通過(guò)網(wǎng)絡(luò)W電子形式下載到處理器中，或另選地可設(shè)置在非暫態(tài)有形存儲(chǔ)介質(zhì)諸 如光學(xué)、磁性或電子存儲(chǔ)介質(zhì)上。另選地或除此之外，圖像功能中的一些或全部圖像功能可 在專(zhuān)用硬件諸如定制或半定制集成電路或可編程數(shù)字信號(hào)處理器值S巧上實(shí)現(xiàn)。W舉例的 方式，盡管計(jì)算機(jī)18作為相對(duì)于3-D相機(jī)12的獨(dú)立單元在圖1中示出，計(jì)算機(jī)的處理功能 中的一些或全部處理功能可由與3-D相機(jī)12和2-D相機(jī)14相關(guān)聯(lián)或在3-D相機(jī)12和2-D 相機(jī)14的外殼內(nèi)的合適的專(zhuān)用電路來(lái)執(zhí)行。如將在下面的討論中看到的，系統(tǒng)10的元件 可為小型化的并且結(jié)合到可佩戴監(jiān)視器W使得用戶能夠到處活動(dòng)并且更加自由地與布景 近實(shí)時(shí)交互。在任何情況下，3-D相機(jī)12和2-D相機(jī)14用作觀察布景（用戶和他們的周?chē)?環(huán)境）的傳感器部件。計(jì)算機(jī)18用作感知部件，如通過(guò)由內(nèi)容投影儀16所提供的信息介 導(dǎo)或刺激的，該感知部件對(duì)布景進(jìn)行理解并在該些環(huán)境內(nèi)進(jìn)行用戶交互。
[0