專利名稱：用于多用戶擴(kuò)增現(xiàn)實的在線基準(zhǔn)生成和跟蹤的制作方法
用于多用戶擴(kuò)增現(xiàn)實的在線基準(zhǔn)生成和跟蹤對待審的臨時申請的交叉引用本申請根據(jù)35USC119要求于2010年9月9日提交且題為“Online ReferenceGeneration And Tracking For Mult1-User Augmented Reality (用于多用戶擴(kuò)增現(xiàn)實的在線基準(zhǔn)生成和跟蹤)”的美國臨時申請第61/381，344號的優(yōu)先權(quán)，該臨時申請已轉(zhuǎn)讓給本申請受讓人并通過援引納入于此。背景擴(kuò)增現(xiàn)實系統(tǒng)可將虛擬對象插入到現(xiàn)實世界的用戶視圖中。成功的擴(kuò)增現(xiàn)實系統(tǒng)的一個關(guān)鍵要求在于能夠準(zhǔn)確估計用戶相對于基準(zhǔn)的位置和定向(姿勢)的跟蹤系統(tǒng)。否貝U，虛擬對象將出現(xiàn)在錯誤的位置或在環(huán)境四處浮動。在多用戶擴(kuò)增現(xiàn)實系統(tǒng)中，虛擬對象需要從每一個用戶唯一的角度來看都出現(xiàn)在環(huán)境中的相同位置處。因此，每一個用戶相對于環(huán)境的唯一姿勢需要相對于相同的基準(zhǔn)來估計。用于多用戶擴(kuò)增現(xiàn)實系統(tǒng)的常規(guī)跟蹤系統(tǒng)需要先前獲取的公共基準(zhǔn)。該基準(zhǔn)可以是環(huán)境的3D模型、置于環(huán)境中的人工標(biāo)記、或環(huán)境中的平面表面的前向視像。因此，這種擴(kuò)增現(xiàn)實系統(tǒng)只能在已知環(huán)境中操作。然而，預(yù)先獲得基準(zhǔn)并不一定方便或可能。對于環(huán)境的先驗知識的依賴性大大地限制了多用戶擴(kuò)增現(xiàn)實技術(shù)的用途。存在不需要對環(huán)境的先驗知識的跟蹤技術(shù)，諸如在2009年第8屆關(guān)于混合和擴(kuò)增現(xiàn)實的IEEE國際研討會(ISMAR)上在2009年10月19-22日第83-86頁上的Georg Klein和 David Murray 提出的 “Parallel Tracking and Mapping on a Camera Phone (相機(jī)電話上的并行跟蹤和地圖繪制)”。然而，這些技術(shù)只估計一用戶相對于任意基準(zhǔn)的姿勢，而無法用于多用戶擴(kuò)增現(xiàn)實應(yīng)用。如在2010年第9屆關(guān)于混合和擴(kuò)增現(xiàn)實的IEEE國際研討會(ISMAR)、2010年10月 13-16 日第 57-64 頁上 W.Lee、Y.Park、V.Lepetit、W.Woo 提出的“Point-and-Shoot forUbiquitous Tagging on Mobile Phones (用于移動電話上普遍存在的標(biāo)記的對準(zhǔn)拍攝)”中所描述的對準(zhǔn)拍攝方法估計了多個用戶的姿勢。在對準(zhǔn)拍攝的方法中，相機(jī)的定向由板載加速計來估計。圖像被變形成前向視圖并且生成“平均補片”集合。每一個平均補片被計算為在視點的有限范圍上補片的平均，并且生成多個范圍的平均補片以覆蓋所有可能的視圖。通過將每一個傳入圖像與平均補片進(jìn)行比較，可對姿勢進(jìn)行估計。然而，對準(zhǔn)拍攝方法依賴于運動傳感器來生成前向視像，并且因此要求相機(jī)中的附加組件并且遭受由運動傳感器所引起的誤差。另外，對準(zhǔn)拍攝方法依賴于多個平均補片。而且，對準(zhǔn)拍攝方法僅在水平或垂直平面表面上工作，而這是具有限制性的。從而，需要一種能夠在事先未知的場景中估計多個用戶的姿勢的改進(jìn)的系統(tǒng)。概述多用戶擴(kuò)增現(xiàn)實(AR)系統(tǒng)在沒有先前獲取的公共基準(zhǔn)的情況下通過在運行過程中生成基準(zhǔn)圖像來操作?；鶞?zhǔn)圖像通過捕捉平面對象的至少兩個圖像并且使用該至少兩個圖像來確定第一移動平臺相對于平面對象的姿勢(位置和定向)來產(chǎn)生。平面對象的圖像(可以是初始圖像或后續(xù)捕捉的圖像之一)通過使用第一移動平臺的定向來變形以產(chǎn)生平面對象的前向視圖的基準(zhǔn)圖像。通過使用由第二移動平臺捕捉的平面對象的圖像以及基準(zhǔn)圖像來確定第二移動平臺相對于平面圖像的姿勢。確定第一移動平臺的姿勢和/或?qū)D像變形以產(chǎn)生基準(zhǔn)可以由第一移動平臺或服務(wù)器來執(zhí)行。另外，若期望，基準(zhǔn)圖像可被擴(kuò)展為包括新的圖像，該新的圖像包含平面對象中未被包括在基準(zhǔn)圖像中的部分。例如，第二移動平臺可捕捉新的圖像，該新的圖像包括平面對象中未被包括在基準(zhǔn)圖像中的不同部分。新的圖像和基準(zhǔn)圖像可被合并以生成平面對象的前向視圖的新的基準(zhǔn)圖像，并且第二移動平臺相對于平面對象的姿勢可使用由第二移動平臺所捕捉的平面對象的后續(xù)圖像以及新的基準(zhǔn)圖像來更新。在另一方面，一種裝置包括用于接收要被處理的至少兩個圖像的接口，該至少兩個圖像中的至少一個由第一相機(jī)捕捉并且包含平面對象的不同視圖。例如，該接口可以是移動平臺中的第一相機(jī)和處理器之間的接口，或者可以是從移動平臺接收圖像的服務(wù)器中的外部接口。該裝置還包括數(shù)據(jù)傳輸接口、連接到用于接收要被處理的至少兩個圖像的接口以及數(shù)據(jù)傳輸接口的處理器、以及連接到處理器的存儲器。存儲器中保存并且在處理器中運行的軟件致使該處理器分析平面對象的至少兩個圖像并且使用至少兩個捕捉到的圖像來確定第一相機(jī)相對于平面對象的姿勢(位置和定向)。該軟件還致使該處理器使用該定向來使平面對象的圖像變形以產(chǎn)生平面對象的前向視圖的基準(zhǔn)圖像，并且經(jīng)由數(shù)據(jù)傳輸接口將該基準(zhǔn)圖像傳輸?shù)骄哂械诙鄼C(jī)的至少一個移動平臺以使用該基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用。若期望，存儲器中保存且在處理器中運行的軟件還可致使該處理器將基準(zhǔn)圖像與新的圖像(該新的圖像包括平面對象中未被包括在基準(zhǔn)圖像中的部分)合并以生成平面對象的前向視圖的新的基準(zhǔn)圖像，并且經(jīng)由數(shù)據(jù)傳輸接口將該新的基準(zhǔn)圖像傳輸?shù)街辽僖粋€其他移動平臺以使用該新的基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用。在另一方面，一種移動平臺包括相機(jī)、無線收發(fā)機(jī)、連接到相機(jī)和無線收發(fā)機(jī)的處理器、連接到處理器的存儲器、以及連接到存儲器的顯示器。保存在存儲器中且在處理器中運行的軟件致使該處理器:分析平面對象的至少兩個捕捉到的圖像，并且使用該至少兩個捕捉到的圖像來確定移動平臺相對于平面對象的姿勢(位置和定向)，使用該定向來使平面對象的圖像變形以產(chǎn)生平面對象的前向視圖的基準(zhǔn)圖像，將該基準(zhǔn)圖像傳輸?shù)街辽僖粋€其他移動平臺，并且使用該基準(zhǔn)圖像通過至少一個其他移動平臺來執(zhí)行在顯示器上顯示的多用戶擴(kuò)增顯示應(yīng)用。在另一方面，一種系統(tǒng)包括用于捕捉平面對象的至少兩個圖像的裝置以及用于使用該至少兩個圖像來確定第一移動平臺相對于平面對象的姿勢(位置和定向)的裝置。該系統(tǒng)還包括:用于使用第一移動平臺相對于平面對象的定向來使平面對象的圖像變形以產(chǎn)生平面對象的前向視圖的基準(zhǔn)圖像的裝置，以及用于使用由第二移動平臺捕捉的平面對象的圖像以及基準(zhǔn)圖像來確定第二移動平臺相對于平面對象的姿勢的裝置。若期望，該系統(tǒng)可包括:用于將基準(zhǔn)圖像和新的圖像(該新的圖像包括平面對象中未被包括在基準(zhǔn)圖像中的部分)合并以生成平面對象的前向視圖的新的基準(zhǔn)圖像的裝置。在這樣的系統(tǒng)中，用于確定第二移動平臺的姿勢的裝置通過使用由第二移動平臺捕捉的平面對象的不同圖像以及新的基準(zhǔn)圖像來更新第二移動平臺相對于平面對象的姿勢。在又一方面，一種包括存儲在其上的程序代碼的計算機(jī)可讀介質(zhì)，包括:用于分析平面對象的至少兩個圖像以確定捕捉了該至少兩個圖像中的至少一個圖像的相機(jī)相對于平面對象的姿勢(位置和定向)的程序代碼，以及用于使用該定向來使平面對象的圖像變形以產(chǎn)生平面對象的前向視圖的基準(zhǔn)圖像的程序代碼。該計算機(jī)可讀介質(zhì)還包括:用于傳輸基準(zhǔn)圖像的程序代碼，以及用于使用該基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增顯示應(yīng)用的程序代碼。若期望，該計算機(jī)可讀介質(zhì)還可包括用于合并基準(zhǔn)圖像和新的圖像(該新的圖像包括平面對象中未被包括在基準(zhǔn)圖像中的部分)以生成平面對象的前向視圖的新的基準(zhǔn)圖像的程序代碼，用于傳輸新的基準(zhǔn)圖像的程序代碼，以及用于使用新的基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增顯示應(yīng)用的程序代碼。附圖簡要說明

圖1示出在沒有先前獲取的公共基準(zhǔn)的情況下進(jìn)行操作的多用戶擴(kuò)增現(xiàn)實(AR)系統(tǒng)。圖2是描述了在沒有先前獲取的公共基準(zhǔn)的情況下執(zhí)行具有多用戶的AR的過程的流程圖。圖3示出將平面對象的圖像變形為平面對象的前向視圖的基準(zhǔn)圖像。圖4示出在沒有先前獲取的公共基準(zhǔn)的情況下進(jìn)行操作并且使用服務(wù)器來生成基準(zhǔn)圖像的多用戶AR系統(tǒng)。圖5示出平面上的3D點以及該3D點在具有不同平面視圖的兩個圖像上的2D投影。圖6是能夠執(zhí)行多用戶AR系統(tǒng)的初始化過程的設(shè)備(諸如移動平臺或服務(wù)器)的框圖。具體描述圖1示出在沒有先前獲取的公共基準(zhǔn)的情況下進(jìn)行操作的多用戶擴(kuò)增現(xiàn)實(AR)系統(tǒng)100。多用戶AR系統(tǒng)100包括第一移動平臺IlOA (有時被稱為主設(shè)備110A)以及附加移動平臺IlOB和IlOC (有時被統(tǒng)稱為移動平臺110)。每一個移動平臺110包括用于對環(huán)境進(jìn)行成像的背向相機(jī)114。主設(shè)備IlOA通過從不同視點捕捉平面對象102的多個圖像(一個圖像被示為顯示器112中的102A)來至少部分地執(zhí)行初始化過程。根據(jù)多個捕捉到的圖像，可確定主設(shè)備IlOA相對于對象102的姿勢(位置和定向)，從所確定的姿勢中可生成基準(zhǔn)圖像104，并且將該基準(zhǔn)圖像分發(fā)(如箭頭103所示)給其他移動平臺IlOB和110C，其他移動平臺IlOB和IlOC正查看相同的平面對象102，如圖像102B和102C所分別示出的。通過使用基準(zhǔn)圖像104，每一個移動平臺110AU10B和IlOC可通過確定該移動平臺相對于對象102的唯一姿勢來跟蹤對象102從而執(zhí)行多用戶AR應(yīng)用。應(yīng)該理解，移動平臺可以是任何便攜式電子設(shè)備，諸如蜂窩或其他無線通信設(shè)備、個人通信系統(tǒng)(PCS)設(shè)備、個人導(dǎo)航設(shè)備(PND)、個人信息管理器(PM)、個人數(shù)字助理(PDA)、膝上機(jī)、相機(jī)或能夠進(jìn)行擴(kuò)增現(xiàn)實(AR)的其他合適的移動設(shè)備。圖2是描述了在沒有先前獲取的公共基準(zhǔn)的情況下執(zhí)行具有多用戶的AR的過程的流程圖。主設(shè)備IIOA通過背向相機(jī)114來捕捉對象102的兩個或更多個圖像(202)。應(yīng)該理解，如此處所使用的，捕捉到的圖像可以是靜止圖像或視頻幀。對象102的兩個或更多個圖像由主設(shè)備IlOA在不同視點處(即以主設(shè)備IlOA相對于對象102的不同姿勢)捕捉，或者由具有不同視點的不同移動平臺IlOA和IlOB來捕捉。通過使用多個捕捉到的圖像，確定主設(shè)備IlOA相對于對象102的姿勢(位置和定向)(204)。對象102的圖像(可以是由主設(shè)備IlOA捕捉的初始圖像或?qū)ο?02的新的或不同的圖像之一)隨后基于主設(shè)備110的定向被變形以產(chǎn)生作為對象102的前向視圖的基準(zhǔn)圖像104(206)，如圖3中的箭頭106所示。基準(zhǔn)圖像104被用作公共基準(zhǔn)圖像，每一個移動平臺110可根據(jù)該公共基準(zhǔn)圖像來確定其相對于要跟蹤的對象的唯一姿勢從而執(zhí)行多用戶AR (208)。如圖1所示，主設(shè)備IlOA可確定其姿勢(圖2中的步驟204)，并且將對象的圖像變形(圖2中的步驟206)，并且將基準(zhǔn)圖像104傳輸給其他移動平臺IlOB和110C，如箭頭103所示。主設(shè)備IlOA以及其他移動平臺IlOB和IlOC隨后可使用所產(chǎn)生的基準(zhǔn)圖像104來確定它們各自相對于AR應(yīng)用中的對象的姿勢。然而，若期望，這些過程中的一個或多個可遠(yuǎn)離主設(shè)備IlOA執(zhí)行。例如，可使用單獨的服務(wù)器來執(zhí)行初始化功能中的一個或多個。如圖4所示，在多用戶AR系統(tǒng)100’中，主設(shè)備IlOA可捕捉對象102的多個圖像(一個圖像被視為圖4的顯示器112中的102A)(圖2中的步驟202)并且可將捕捉到的圖像傳輸(如箭頭105所示)到服務(wù)器130。服務(wù)器130隨后可使用捕捉到的圖像來確定主設(shè)備IlOA的姿勢(圖2中的步驟204)，并且使對象102的圖像變形以產(chǎn)生基準(zhǔn)圖像104 (圖2中的步驟206)。服務(wù)器130隨后將基準(zhǔn)圖像104傳輸?shù)街髟O(shè)備IlOA和其他移動平臺(圖4中僅 示出了移動平臺110B)，如箭頭107所示。若期望，主設(shè)備IlOA可確定姿勢(圖2中的步驟204)，并且將姿勢連同與該姿勢相關(guān)聯(lián)的圖像一起傳輸?shù)椒?wù)器130。服務(wù)器130隨后使圖像變形(圖2中的步驟206)，并且將基準(zhǔn)圖像104傳輸?shù)街髟O(shè)備IlOA和移動平臺110B?；蛘?，代替使用服務(wù)器130，這些過程步驟中的一個或多個可改為由一個或多個其他移動平臺IlOB和IlOC來執(zhí)行。例如，主設(shè)備IlOA(或主設(shè)備IlOA和另一移動平臺110B)可捕捉對象102的多個圖像(圖2中的步驟202)，并且從主設(shè)備IlOA捕捉到的圖像可被傳輸?shù)搅硪灰苿悠脚_110B。另一移動平臺IlOB可確定主設(shè)備IlOA的姿勢(圖2中的步驟204)，并且使對象102的圖像之一變形為基準(zhǔn)圖像104(圖2中的步驟206)，并且將經(jīng)變形的圖像傳輸?shù)狡渌苿悠脚_(包括主設(shè)備110A)?；蛘?，對象102的捕捉到的多個圖像(圖2中的步驟202)可被傳輸?shù)狡渌苿悠脚_IlOB和IlOC中的每一個，所述其他移動平臺IlOB和IlOC中的每一個隨后獨立地確定主設(shè)備IlOA的姿勢(圖2中的步驟204)并且使對象102的圖像之一變形為基準(zhǔn)圖像104 (圖2中的步驟206)。若期望，主設(shè)備IlOA可確定姿勢(圖2中的步驟204)，并且將姿勢連同與該姿勢相關(guān)聯(lián)的圖像一起傳輸?shù)狡渌苿悠脚_IlOB和110C。其他移動平臺IlOB和IlOC隨后獨立地將圖像變形(圖2中的步驟206)為前向視圖。圖5示出平面上的3D點Q以及3D點Q在具有對平面π的不同視圖的兩個相應(yīng)圖像1、I’上的2D投影q、q’以示出使用以下符號來確定主設(shè)備IlOA的姿勢。3D點Q= (X，Y, Ζ)τ與其2D投影q=(x，y, I)τ在相機(jī)圖像上通過3X4投影矩陣P相關(guān)為:q = PQ^i I其中Ξ表示在至多一縮放因子內(nèi)的相等，并且P=K [R11]式 2其中R表示旋轉(zhuǎn)，t表示轉(zhuǎn)換，而K表示固有相機(jī)參數(shù)。如圖5所示，如果平面上的3D點Q在兩個圖像I’和I上查看，則其在圖像I’上的2D投影 ，Yt, I)和在圖像I上的投影q= (x, y, I)通過2D-2D的單應(yīng)性h來被相關(guān)為:q' 三 hq 式 3如果圖像I的投影矩陣是Κ[Ι|0]而圖像I’的投影矩陣是K’ [R，t，]，則
權(quán)利要求
1.一種方法，包括: 捕捉平面對象的至少兩個圖像； 通過使用所述至少兩個圖像來確定第一移動平臺相對于所述平面對象的包括位置和定向的第一姿勢； 通過使用所述第一移動平臺相對于所述平面對象的定向來使由所述第一移動平臺捕捉的所述平面對象的圖像變形以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像；以及 通過使用由第二移動平臺捕捉的平面對象的第二圖像以及所述基準(zhǔn)圖像來確定所述第二移動平臺相對于所述平面圖像的第二姿勢。
2.如權(quán)利要求1所述的方法，其特征在于，還包括基于所述第二移動平臺相對于所述平面對象的所述第二姿勢來用所述第二移動平臺來執(zhí)行擴(kuò)增現(xiàn)實應(yīng)用。
3.如權(quán)利要求1所述的方法，其特征在于，確定所述第一移動平臺相對于所述平面對象的包括位置和定位的第一姿勢包括: 從所述至少兩個圖像中提取特征； 通過使用所述特征來計算所述至少兩個圖像之間的2D-2D單應(yīng)性h ； 計算所述特征的3D坐標(biāo)以定義與所述平面對象的平面相對應(yīng)的3D平面； 通過使用所述特征和所述3D平面來計算所述3D平面和所述至少兩個圖像之一之間的3D-2D單應(yīng)性H ;以及` 使用所述3D-2D單應(yīng)性H來確定所述第一姿勢。
4.如權(quán)利要求1所述的方法，其特征在于，通過使用由所述第二移動平臺捕捉的平面對象的圖像和基準(zhǔn)圖像來確定所述第二移動平臺相對于所述平面對象的第二姿勢包括: 從所述基準(zhǔn)圖像中提取特征； 定義3D平面上與從所述基準(zhǔn)圖像提取出的所述特征相對應(yīng)的3D點； 在由所述第二移動平臺捕捉的平面對象的圖像中尋找與所述3D點的2D投影相匹配的點；以及 通過使用經(jīng)匹配的3D-2D點對來估計所述第二移動平臺的第二姿勢。
5.如權(quán)利要求4所述的方法，其特征在于，從所述基準(zhǔn)圖像提取出的所述特征包括點特征或線特征。
6.如權(quán)利要求1所述的方法，其特征在于，確定所述第一移動平臺相對于所述平面對象的包括位置和定位的第一姿勢由所述第一移動平臺執(zhí)行。
7.如權(quán)利要求1所述的方法，其特征在于，使所述平面對象的圖像變形由所述第一移動平臺執(zhí)行。
8.如權(quán)利要求1所述的方法，其特征在于，還包括將所述基準(zhǔn)圖像傳輸?shù)剿龅诙苿悠脚_。
9.如權(quán)利要求1所述的方法，其特征在于，還包括由所述第一移動平臺傳輸所述平面對象的所述至少兩個圖像，其中確定所述第一移動平臺相對于所述平面對象的包括位置和定向的第一姿勢由服務(wù)器執(zhí)行。
10.如權(quán)利要求1所述的方法，其特征在于，使所述平面對象的圖像變形由服務(wù)器執(zhí)行。
11.如權(quán)利要求1所述的方法，其特征在于，被變形的、由所述第一移動平臺捕捉的所述平面對象的圖像是所述平面對象的所述至少兩個圖像之一。
12.如權(quán)利要求1所述的方法，其特征在于，還包括通過所述第一移動平臺來捕捉所述平面對象的額外的圖像，其中被變形的、由所述第一移動平臺捕捉的所述平面對象的圖像是所述平面對象的所述額外的圖像。
13.如權(quán)利要求1所述的方法，其特征在于，還包括: 用所述第一移動平臺來捕捉所述平面對象的額外的圖像； 通過使用所述平面對象的所述額外的圖像和所述基準(zhǔn)圖像來生成所述第一移動平臺相對于所述平面對象的經(jīng)更新的第一姿勢；以及 基于所述第一移動平臺相對于所述平面對象的經(jīng)更新的第一姿勢來用所述第一移動平臺來執(zhí)行擴(kuò)增現(xiàn)實應(yīng)用。
14.如權(quán)利要求1所述的方法，其特征在于，還包括: 使用所述第二移動平臺來捕捉新的圖像，所述新的圖像包括所述平面對象中未被包括在所述平面對象的前向視圖的基準(zhǔn)圖像中的部分； 合并所述新的圖像和所述基準(zhǔn)圖像以生成所述平面對象的前向視圖的新的基準(zhǔn)圖像；以及 通過使用由所述第二移動平臺捕捉的平面對象的后續(xù)圖像以及所述新的基準(zhǔn)圖像來確定所述第二移動平臺相對于所述平面圖像的經(jīng)更新的第二姿勢。
15.如權(quán)利要求14所述的方法，其特征在于，合并所述新的圖像和所述基準(zhǔn)圖像以生成所述平面對象的前向視圖的新的基準(zhǔn)圖像包括:通過單位變換將所述基準(zhǔn)圖像的像素變換成所述新的基準(zhǔn)圖像，并且將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像。
16.如權(quán)利要求15所述的方法，其特征在于，將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像是使用經(jīng)計算的單應(yīng)性或仿射變換中的至少一個來執(zhí)行的。
17.如權(quán)利要求1所述的方法，其特征在于，所述平面對象的所述至少兩個圖像兩者都是由所述第一移動平臺捕捉的。
18.如權(quán)利要求1所述的方法，其特征在于，所述平面對象的所述至少兩個圖像之一是由所述第一移動平臺捕捉的，而所述平面對象的所述至少兩個圖像中的另一個圖像是由所述第二移動平臺捕捉的。
19.如權(quán)利要求1所述的方法，其特征在于，通過使用所述第一移動平臺的定向來使由所述第一移動平臺捕捉的所述平面對象的圖像變形包括使用經(jīng)計算的單應(yīng)性。
20.如權(quán)利要求1所述的方法，其特征在于，使所述平面對象的圖像變形產(chǎn)生經(jīng)變形的圖像，所述方法還包括轉(zhuǎn)換和縮放所述經(jīng)變形的圖像以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像。
21.一種裝置，包括: 用于接收要被處理的至少兩個圖像的接口，所述至少兩個圖像包含平面對象的不同視圖，其中所述至少兩個圖像中的至少一個圖像由第一相機(jī)捕捉； 數(shù)據(jù)傳輸接口； 連接到所述用于接收要被處理的至少兩個圖像的接口以及所述數(shù)據(jù)傳輸接口的處理器； 連接至所述處理器的存儲器；以及保存在所述存儲器中且被配置成致使所述處理器執(zhí)行以下動作的軟件:分析所述平面對象的至少兩個圖像、通過使用所述至少兩個圖像來確定所述第一相機(jī)相對于所述平面對象的包括位置和定向的姿勢、通過使用所述定向來使所述平面對象的圖像變形以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像、經(jīng)由所述數(shù)據(jù)傳輸接口將所述基準(zhǔn)圖像傳輸?shù)骄哂械诙鄼C(jī)的移動平臺以使用所述基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用。
22.如權(quán)利要求21所述的裝置，其特征在于，所述裝置是服務(wù)器，其中所述用于接收要被處理的至少兩個圖像的接口以及所述數(shù)據(jù)傳輸接口是外部接口，且其中所述基準(zhǔn)圖像被傳輸?shù)蕉鄠€移動平臺。
23.如權(quán)利要求21所述的裝置，其特征在于，所述裝置是還包括所述第一相機(jī)的第一移動平臺，其中所述用于接收要被處理的至少兩個圖像的接口是所述第一相機(jī)和所述處理器之間的接口，且其中所述數(shù)據(jù)傳輸接口是無線收發(fā)機(jī)。
24.如權(quán)利要求23所述的裝置，其特征在于，存儲在所述存儲器中被配置成致使所述處理器通過使用所述基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用的軟件包括:致使所述處理通過使用所述基準(zhǔn)圖像和所述平面對象的額外的圖像來更新所述第一相機(jī)相對于所述平面對象的姿勢的軟件。
25.如權(quán)利要求24所述的裝置，其特征在于，致使所述處理器更新所述第一相機(jī)的姿勢的軟件包括:用于從所述基準(zhǔn)圖像中提取特征、在3D平面上定義與從所述基準(zhǔn)圖像中提取出的所述特征相對應(yīng)的3D點、在所述平面對象的所述額外的圖像中尋找與所述3D點的2D投影相匹配的點、以及使用經(jīng)匹配的3D-2D點對來更新所述姿勢的軟件。
26.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲器中被配置成致使所述處理器確定所述第一相機(jī)相對于所述平面對象的姿勢的軟件包括保存在所述存儲器中并且在所述處理器中運行的用于執(zhí)行以下動作的軟件:從所述至少兩個圖像中提取特征、通過使用所述特征來計算所述至少兩個圖像之間的2D-2D單應(yīng)性h、計算所述特征的3D坐標(biāo)以定義與所述平面對象的平面相對應(yīng)的3D平面、通過使用所述特征和所述3D平面來計算所述3D平面和所述至少兩 個圖像之一之間的3D-2D單應(yīng)性H、以及使用所述3D-2D單應(yīng)性H來確定所述姿勢。
27.如權(quán)利要求21所述的裝置，其特征在于，被變形以產(chǎn)生所述基準(zhǔn)圖像的所述平面對象的圖像是所述平面對象的至少兩個圖像之一。
28.如權(quán)利要求21所述的裝置，其特征在于，被變形以產(chǎn)生所述基準(zhǔn)圖像的所述平面對象的圖像是所述平面對象的額外的圖像。
29.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲器中的軟件被配置成致使所述處理器執(zhí)行以下動作:將所述基準(zhǔn)圖像與新的圖像合并以生成平面對象的前向視圖的新的基準(zhǔn)圖像，所述新的圖像包括所述平面對象中未被包括在所述基準(zhǔn)圖像中的部分，并且經(jīng)由數(shù)據(jù)傳輸接口將該新的基準(zhǔn)圖像傳輸?shù)剿鼍哂械诙鄼C(jī)的移動平臺以使用該新的基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用。
30.如權(quán)利要求29所述的裝置，其特征在于，保存在所述存儲器中的軟件被配置成致使所述處理器執(zhí)行以下動作:通過經(jīng)由單元變換將所述基準(zhǔn)圖像的像素變換成新的基準(zhǔn)圖像并且通過使用經(jīng)計算的單應(yīng)性或仿射變換中的至少一個來將所述新的圖像的像素變換成新的基準(zhǔn)圖像來合并所述新的圖像和所述基準(zhǔn)圖像以生成所述新的基準(zhǔn)圖像。
31.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲器中的軟件被配置成致使所述處理器通過使用經(jīng)計算的單應(yīng)性來使所述平面對象的圖像變形。
32.如權(quán)利要求21所述的裝置，其特征在于，保存在所述存儲器中的軟件被配置成致使所述處理器使所述平面對象的圖像變形以產(chǎn)生經(jīng)變形的圖像，其中保存在所述存儲器中且在所述處理器中運行的軟件還致使所述處理器變換和縮放所述經(jīng)變形的圖像以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像。
33.一種移動平臺，包括: 相機(jī)； 無線收發(fā)機(jī)； 連接至所述相機(jī)和所述 無線收發(fā)機(jī)的處理器； 連接至所述處理器的存儲器； 連接至所述存儲器的顯示器；以及 保存在所述存儲器中且被配置成致使所述處理器執(zhí)行以下動作的軟件:分析平面對象的至少兩個捕捉到的圖像、使用所述至少兩個捕捉到的圖像來確定所述移動平臺相對于所述平面對象的包括位置和定向的姿勢、通過使用所述定向來使所述平面對象的圖像變形以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像、將所述基準(zhǔn)圖像傳輸?shù)街辽僖粋€其他移動平臺、以及使用所述基準(zhǔn)圖像通過所述至少一個其他移動平臺來執(zhí)行在顯示器上顯示的多用戶擴(kuò)增顯示應(yīng)用。
34.—種系統(tǒng),包括: 用于捕捉平面對象的至少兩個圖像的裝置； 用于通過使用所述至少兩個圖像來確定第一移動平臺相對于所述平面對象的包括位置和定向的第一姿勢的裝置； 用于通過使用所述第一移動平臺相對于所述平面對象的定向來使平面對象的圖像變形以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像的裝置；以及 用于通過使用由第二移動平臺捕捉的平面對象的第二圖像以及所述基準(zhǔn)圖像來確定所述第二移動平臺相對于所述平面圖像的第二姿勢的裝置。
35.如權(quán)利要求34所述的系統(tǒng)，其特征在于，還包括用于基于所述第二移動平臺相對于所述平面對象的所述第二姿勢來通過所述第二移動平臺執(zhí)行擴(kuò)增現(xiàn)實應(yīng)用的裝置。
36.如權(quán)利要求34所述的系統(tǒng)，其特征在于，所述第一移動平臺包括用于確定相對于所述平面對象的包括位置和定向的姿勢的裝置，以及用于使所述平面對象的圖像變形的裝置，所述第一移動平臺還包括用于將所述基準(zhǔn)圖像傳輸?shù)剿龅诙苿悠脚_的裝置。
37.如權(quán)利要求34所述的系統(tǒng)，其特征在于，還包括服務(wù)器，所述服務(wù)器包括用于確定相對于所述平面對象的包括位置和定向的姿勢的裝置，以及用于使所述平面對象的圖像變形的裝置，所述服務(wù)器還包括用于接收所述平面對象的至少兩個圖像的裝置以及用于將所述基準(zhǔn)圖像傳輸?shù)剿龅诙苿悠脚_的裝置。
38.如權(quán)利要求34所述的系統(tǒng)，其特征在于，被變形的所述平面對象的圖像包括所述平面對象的所述至少兩個圖像或者所述平面對象的額外的圖像之一。
39.如權(quán)利要求34所述的系統(tǒng)，其特征在于，還包括用于合并所述基準(zhǔn)圖像和新的圖像以生成所述平面對象的前向視圖的新的基準(zhǔn)圖像的裝置，所述新的圖像包括所述平面對象中未被包括在所述基準(zhǔn)圖像中的部分，其中用于確定所述第二移動平臺的所述第二姿勢的裝置通過使用由所述第二移動平臺捕捉的平面對象的不同的圖像以及所述新的基準(zhǔn)圖像來更新所述第二移動平臺相對于所述平面對象的第二姿勢。
40.如權(quán)利要求39所述的系統(tǒng)，其特征在于，用于合并所述新的圖像和所述基準(zhǔn)圖像以生成所述新的基準(zhǔn)圖像的裝置通過經(jīng)由單元變換將所述基準(zhǔn)圖像的像素變換成所述新的基準(zhǔn)圖像并且通過使用經(jīng)計算的單應(yīng)性或仿射變換中的至少一個來將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像。
41.如權(quán)利要求34所述的系統(tǒng)，其特征在于，用于通過使用所述第一移動平臺的定向來使所述平面對象的圖像變形的裝置使用包括轉(zhuǎn)換和所述定向的經(jīng)計算的單應(yīng)性。
42.如權(quán)利要求34所述的系統(tǒng)，其特征在于，用于使所述平面對象的圖像變形的裝置產(chǎn)生經(jīng)變形的圖像，所述系統(tǒng)還包括用于轉(zhuǎn)換和縮放所述經(jīng)變形的圖像以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像的裝置。
43.一種包括存儲于其上的程序代碼的計算機(jī)可讀介質(zhì)，包括: 用于分析平面對象的至少兩個圖像以確定捕捉了所述至少兩個圖像中的至少一個圖像的相機(jī)相對于所述平面對象的、包括位置和定向的姿勢的程序代碼； 用于通過使用所述定向使所述平面對象的圖像變形以產(chǎn)生所述平面對象的前向視圖的基準(zhǔn)圖像的程序代碼； 用于傳輸所述基準(zhǔn)圖像的程序代碼；以及 用于通過使用所述基準(zhǔn)圖像來執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用的程序代碼。
44.如權(quán)利要求43所述的計算機(jī)可讀介質(zhì)，其特征在于，還包括: 用于將所述基準(zhǔn)圖像和新的圖像合并以生成所述平面對象的前向視圖的新的基準(zhǔn)圖像的程序代碼，所述新的圖像包括所述平面對象中未被包括在所述基準(zhǔn)圖像中的部分； 用于傳輸所述新的基準(zhǔn)圖像的程序代碼；以及 用于通過使用所述新的基準(zhǔn)圖像來執(zhí)行所述多用戶擴(kuò)增現(xiàn)實應(yīng)用的程序代碼。
45.如權(quán)利要求44所述的計算機(jī)可讀介質(zhì)，其特征在于，用于合并所述新的圖像和所述基準(zhǔn)圖像以生成所述新的基準(zhǔn)圖像的程序代碼包括: 用于通過單位變換將所述基準(zhǔn)圖像的像素變換成所述新的基準(zhǔn)圖像的程序代碼； 用于通過使用經(jīng)計算的 單應(yīng)性或仿射變換中的至少一個來將所述新的圖像的像素變換成所述新的基準(zhǔn)圖像的程序代碼。
全文摘要
多用戶擴(kuò)增現(xiàn)實(AR)系統(tǒng)在沒有先前獲取的公共基準(zhǔn)的情況下通過在運行過程中生成基準(zhǔn)圖像來操作。基準(zhǔn)圖像通過捕捉平面對象的至少兩個圖像并且使用該圖像來確定第一移動平臺相對于平面對象的姿勢(位置和定向)來產(chǎn)生?；谝苿悠脚_的定向，平面對象的圖像(可以是初始圖像或后續(xù)捕捉的圖像之一)被變形以產(chǎn)生平面對象的前向視圖的基準(zhǔn)圖像。基準(zhǔn)圖像可由移動平臺或者由例如服務(wù)器來產(chǎn)生。其他移動平臺可通過使用基準(zhǔn)圖像來確定它們相對于平面對象的姿勢以執(zhí)行多用戶擴(kuò)增現(xiàn)實應(yīng)用。
文檔編號G06T7/00GK103155001SQ201180043651
公開日2013年6月12日 申請日期2011年9月9日 優(yōu)先權(quán)日2010年9月9日
發(fā)明者B·江, A·斯瓦彌納杉, S·D·斯賓德拉, D·阿戶加, C·W·斯維特三世 申請人:高通股份有限公司