專利名稱：用于獲取增強的攝影的方法及其設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于aaia合在不同位置拍攝的一系列曝光以及根據(jù)設(shè)備 的運動連接所述曝光來獲取增強的，并且尤其是三維和全景攝影的方法。本 發(fā)明還涉及實5^f述方法的設(shè)備。
背景技術(shù)：
過去，三維攝穀皮用作獲取物體和環(huán)境的三維信息的一種手段，例如地球 或其它行星的地圖。該方法包括從幾個位置拍攝所述物體，并且利用位置信息
和圖像處理從多個曝光創(chuàng)^H維模型。所述位置信息從例如包括衛(wèi)星或其它已
知參考點的外部系統(tǒng)獲取。
以前還知道產(chǎn)生立體圖像，即以對應(yīng)于A^眼之間的距離的一小段距離拍
攝的一對圖像。所述方法曾經(jīng)使用其中照相機可以被精確地移位的固定設(shè)備， 或者^頓具有距離固定的雙鏡頭的專用立體照相機。
一些照相t腿具有^J:功能，其中多個曝光(exposure) M31軟件可以被連 接在一起，以形成環(huán)境的連續(xù)廣角圖像。
本發(fā)明的一個目的是^f共在移動設(shè)備(例如結(jié)合了照相機的無線電終端) 中獲取三維，的可能性。關(guān)于3D建模，由于將要拍攝的物體通常較小，因此 不適于使用外部系統(tǒng)來作位置參考，并且例如GPS (，定位系統(tǒng))這樣的外 部系統(tǒng)沒有拍攝較小的物體所需要的分辨率。關(guān)于立體攝影，不希望在小的無 線電終端中提供兩，頭。
關(guān)于所述全景圖像，當前的方法完全依賴于用戶以正確的角度定向照相機 的能力。

發(fā)明內(nèi)容
本發(fā)明的主要思想是將內(nèi)部位置參考用于提供增強的攝影。使用自動運動 傳感器和處理器皿行有關(guān)相對距離和旋轉(zhuǎn)的計算。將在不同位置拍攝的曝光 連接在一起，以形成物體的組合表示。
本發(fā)明的第一方面提供了一種方法，其用于利用設(shè)備獲取物體的^，該
方飽括
拍攝物體的第一曝光；
存儲所述設(shè)備在所述第一曝光時的位置和角度；
移動所述設(shè)備同時感測所述設(shè)備的相對距離和旋轉(zhuǎn)；
拍攝所述物體的至少一個另外的曝光；
參考所述第一或之前的曝光來計算在所述另外的曝光時的相對距離和旋
轉(zhuǎn)；
M^頓禾擁他們的相對距離和旋轉(zhuǎn)而連接在一起的曝光來形^^f述物體 的組合表示。
所述物體的組合表示可以形成三維模型。
地，從相對于所述物體的不同角度拍攝多于兩個的曝光。 在一個實施例中，當所述設(shè)備發(fā)現(xiàn)了新的合適的第二健時，所述設(shè)備自 動拍M^f述另外的曝光。
所產(chǎn)生的旨曝光可以包含深度信息或三維信息。 所述物體的組合^可以形成立體圖片。
合適的是，所述設(shè)備弓I導用戶到相對于所述物體的第二位置和角度來拍攝 所述物體的另夕卜的曝光。
當?shù)竭_所述第二位置時，所述設(shè)備可以自動拍^^述物體的另外的曝光。
當?shù)竭_所述第二位置時，所述設(shè)備可以際用戶拍i^f述第二曝光。
所述物體的組合 可以形成全景圖片。
合適的是，所述設(shè)備引導用戶到相對于所述物體的另外的角度來拍攝所述
物體的另外的曝光。
當?shù)竭_另外的角度時，所述設(shè)備可以自動拍M^f述物體的所述另外的曝光。 當所述設(shè)備被旋轉(zhuǎn)時，所述設(shè)備可以在預(yù)定角度自動拍攝所述物體的另外
的曝光。
本發(fā)明的第二方面提供了一種設(shè)備，其用于獲取物體的表示，該設(shè)備包括: 照相機單元，其能夠獲取曝光以作為物體的數(shù)字表示；存儲裝置，其能夠存儲 多個曝光；處理器裝置，其能夠處理曝光；用于感測相對距離和旋轉(zhuǎn)的裝置， 所述設(shè)備適于
存儲在拍攝物體的第一曝光時的設(shè)備的位置和角度；
當移動所述設(shè)備時感測所述設(shè)備的相對距離和旋轉(zhuǎn)；
在拍^i^述物體的另外的曝光時，參考所述第一^t前的曝光來計算所述 相對距離和旋轉(zhuǎn)；
fflil^ffl禾,其相對距離和旋轉(zhuǎn)而連接在一起的曝光來形^^f述物體的組
合表示。
所述設(shè)備可以具有用于將所述物體的組合表示形成為三維模型的操作模式。
im地，所述處理器，適于處理從相對于所述物體的不同角度拍攝的兩 個以上的曝光。
所述照相機單元倉,獲取具有深度信息或三維信息的曝光。 所述設(shè)備可以具有用于將所述物體的組合表示形成為立體圖片的操作模式。
合適的是，所述設(shè)備適于將用戶弓l導到相對于所述物體的第二位置和角度， 來拍M^述物體的另外的曝光。
所述設(shè)備可以適于在到達所述第二位置時自動拍攝所述物體的另外的曝光。
所述設(shè)備可以適于^用戶拍攝所述第二曝光。
所述設(shè)備可以具有用于將所述物體的組合表示形成為全景圖片的操作模式。
誠的是，所述設(shè)備適于弓l導用戶到相對于所述物體的另外的角度，來拍 ^i^述物體的另夕卜的曝光。
所述設(shè)備可以適于在到達另外的角度時自動拍攝所述物體的所述另外的曝光。
所述設(shè)備可以適于在所述設(shè)備被旋轉(zhuǎn)時在預(yù)定角度自動拍攝所述物體的另 外的曝光。
合適的是，所述用于感測相對距離和旋轉(zhuǎn)的裝置包括3軸加速計和3軸陀 螺儀。
本發(fā)明的第三方面提供了結(jié)合這種設(shè)備的移動無線電終端。 合適的是，所述用于感測相對距離和旋轉(zhuǎn)的裝置包括3軸加3I計和3軸陀 螺儀。


下面將參考附圖對本發(fā)明進行詳細的描述，其中 附圖1是設(shè)備示意圖，示出了與本發(fā)明相關(guān)的組件，
附圖2是具有各自坐標系統(tǒng)的將被拍攝的物體和根據(jù)本發(fā)明的設(shè)備的示意 圖，以及
附圖3是用于計算相對旋轉(zhuǎn)和距離的步驟的示意圖。
具體實施例方式
本發(fā)明涉及用于獲取增強的攝影的方法以及使用所述方法的設(shè)備，例如數(shù) 碼相機。所述數(shù)碼相機可以依次被合并到無線電終端，例如移動電話、尋呼機、
發(fā)報機、電子記事簿(organizere)、智能電話等等。
附圖1示出了根據(jù)本發(fā)明的設(shè)備的相關(guān)部分。所述設(shè)備1包括控制設(shè)備的 多種操作的處理器2。特別地，其育灘控制照相機3，并且能夠處理存儲在存儲 器5中的圖像。
照相機3是包括傳統(tǒng)的部件(如包括鏡頭和快門的光學系統(tǒng))以及獲取曝 光的光敏傳麟的數(shù)碼相機。所述曝光導致存儲于所述存儲器中的數(shù)字值文件。 為了簡單起見，本說明書中把這種文件叫做曝光。由于照相機的這些部件可以 是傳統(tǒng)部件，因而它們沒有在附圖中被詳細示出。
在一些應(yīng)用中，所述曝光本身可以包括深度信息。這樣的曝光可以借助于 使用脈沖紅外光的深度傳感器來產(chǎn)生，所述深度傳,例如以色列的商業(yè)產(chǎn)品 3DV系統(tǒng)。所述曝光還可以是禾,傳統(tǒng)激光掃描技術(shù)而產(chǎn)生的三維模型。在這 種情況下，本發(fā)明被用于融合所述物體的多，示(其可以自身包含深度信息)。
所述存儲器可以是合并至IJ所述設(shè)備中的存儲器的工作空間，或者可以存在 于獨立、可移動的存儲卡中，存儲工作數(shù)據(jù)和完成的圖片以及其它表示。
所述設(shè)備還合并了運動傳感裝置4，該運動傳感裝置包括平移傳感器和旋 轉(zhuǎn)感應(yīng)器，^g地具有3軸加速計和3軸陀螺儀。這些組件本身是已知的，并 且可以從例如模擬設(shè)備公司以及Mumta制造有限公司獲得。如將在下面進一步 詳細介紹的，3軸加速計對于三空間軸x,y,z中的加速度是敏感的。旨加速計 測量相對于時間的位置改變。通過在時間上迸行積分可以得到所述移動的相對 距離。
相似地，3軸陀螺對于環(huán)繞所述三個空間軸w的旋轉(zhuǎn)的改變是lte的。 每個陀螺儀觀糧相對于時間的角度改變。通過在時間上進行積分可以得到相對旋轉(zhuǎn)。
附圖2示出了所述坐標系統(tǒng)和旋轉(zhuǎn)。在所述坐標系統(tǒng)x^z的原點示出了物 體6。所述物體6被認為是固定的，并且唯一需要考慮的運動是設(shè)備1的運動。 所述設(shè)備1在其自身坐標系統(tǒng)x',y',z，的原點。還需要知道所述設(shè)備指向的方向。 分別測得繞軸x',y'和z'的旋轉(zhuǎn)aAc。如下面描述的，想要的信息是所述設(shè)備l 的兩^t不同位置之間的相對距離和旋轉(zhuǎn)。應(yīng)當注意，g所述3^H4x',y'^z'的 加3ffi不是充分的信息，因為所述設(shè)備1通常在運動期間旋轉(zhuǎn)，從而也將所述 坐標系統(tǒng)x',y',z'與所述加速計和陀螺儀的傳感方向一起旋轉(zhuǎn)。
下面更詳細地描述了根據(jù)本發(fā)明的實施例如何基于3軸位置傳 和3軸 旋轉(zhuǎn)傳感器來計算相對運動。該信息涉及在下面描述的三個操作模式中使用的 相對移動的測量。
為了描述所述技術(shù)方案，必須如附圖2中所滿定義與劍門想要制作其3D 表示的物體6相關(guān)的坐標系統(tǒng)，以及與設(shè)備1本身相關(guān)的坐標系統(tǒng)。 在物體空間中的坐標被^^在(x,y,z)軸上。
在電話空間中的坐標被表示在(x',y'X)軸上。 測量相對距離和旋轉(zhuǎn)的過程示于附圖3中。
所述3軸加速計的位置傳感器輸出在設(shè)備坐標系統(tǒng)(x',y)')中的位置的 相對改變(dx',dy',dz')。戶做3軸陀螺儀的角度傳^l輸出所述設(shè)備坐標系統(tǒng) (x，,y、，)相對于所述物體坐標系統(tǒng)(x^)的角度的相對改變(da4b,dc)。角 度改變的積分給出所述設(shè)備坐標系統(tǒng)相對于所述物體坐標系統(tǒng)的角度的估計 (a^b,c)。為了能夠估計所述設(shè)備在所述物體坐標系統(tǒng)中的位置，利用所述設(shè)備 坐標系統(tǒng)相對于所述物體坐標系統(tǒng)的角度，首先將在所述設(shè)備坐標系統(tǒng)中的位 置的相對改變(dx',dy',dz')變換至U所述物體坐標系統(tǒng)。在所述物體坐標系統(tǒng)中 的位置的相對改變(dx4y,dz)的積分最終給出在所述物體坐標系統(tǒng)(x,y^z)中 的位置估計。
從所述設(shè)備空間到所述物體空間的變換是在三個軸上的旋轉(zhuǎn)變換。 軸的旋轉(zhuǎn)被定義如下。
Rx (a)=
10 o 0 cos(a) sin(a) 0 _ sin(a) cos(a)
cos(Z)) 0 _ sin(Z))— Ry (b) =0 1 0
sin(6) 0 cos(6)
cos(。sin(c) 0 Rz (C) = -sin(c) cos(c) 0 0 0 1
得到的變換公式如下.-
(x,y,z) = (x，,y，,z，) *Rx (a) *Ry (b) *Rz (c) (*^^陣乘法) 數(shù)字積分器可以例如實現(xiàn)為如下。 x(n)=x(n-l>fdx(n), y(n)=y(n-l>dy(n), z(n)^z(n-l)f dz(n) a(n) =a(n-l)fda(n), b(n)=b(n-l)+db(n), c(n)=c(n-l>fdc(n)
其中n是樣本編號。
換句話說，當所述設(shè)備在物體空間中在時間段t期間從位置1運動至i股置2 時，所述傳麟的輸出(dx',dy，,dz')和(da^db,dc)被變換并且在時間t上積分 為相對運動距離(x,y,z)和旋轉(zhuǎn)(a^b,c)。
所述關(guān)于相對運動的信息會辦應(yīng)用于三種操作模式，即3D建模、立體圖 片和M圖片中。
ffl51從不同的相對位置拍攝物體的至少兩個以及im地更多個曝光，3D建 模被用于創(chuàng)誠多^>完整的3D模型。用這種方法，所述被拍攝的物體可以從 多個角度進行瀏覽。
基于多個照相機視圖重贓維物體的過程是公知常識，并且將不在雌行 詳細描述。簡要地說，Mf湖懂技術(shù)包括將物體的二維曝光轉(zhuǎn)換為三維模型。 禾,具有己矢口特性(鏡頭焦距、成像器尺寸和像素數(shù))的數(shù)碼相機，需要物體 的最少兩個曝光。如果能夠在兩個曝光中指出相同的三個物體點并且能夠給出 己知尺寸，就能夠確定所述曝光中的其它3D點。如果所述曝光包括深度信息或 者三維信息，則所述曝光可以以相似的方式進行組合。獲取多個曝光以創(chuàng)建所 述模型的過程如下 1. 用戶選擇用于3D建模的操作模式。
2. 用戶選擇物體以用于建模，例如椅子。
3. 用戶拍攝所述物體的第一圖片。
4. 在所述第一曝光時，所述設(shè)備開始測M0f述設(shè)備的相對移動。
5. 用戶移動所述設(shè)備，并且選擇新的位置和拍攝另夕卜的曝光?？商鎿Q地， 當所述設(shè)備發(fā)現(xiàn)新的合適的第二位置時，所述設(shè)備自動拍攝所述第二曝光。
6. 所述設(shè)備利用所述第一曝光作為參考位置計算所述相對運動，并且存 儲所述另夕卜的曝光時的設(shè)備的位置和角度。
7. 重復(fù)步驟5-6，直至斷述物體被M^f需數(shù)量的角度所覆蓋。imt也，相 對于所述第一曝光測量隨后的曝光。
8. 所述設(shè)備禾,這些不同的曝光和它們關(guān)于所述第一曝光的相對皿來 計算3D模型。
所述3D ，難能夠在所述設(shè)備的顯示器上從不同角度進行瀏覽。所臟維 信息還可以用于識別目的，例如，的生物識別、物體的普通識別、游7體。
所述用于立體圖片的操很莫式用于創(chuàng)建一對圖片，該對圖片利用等于A^ 眼之間距離的內(nèi)部距離(intra-distance)獨立地拍攝。所^il呈如下
1. 用戶選擇用于立體圖片的操作模式。
2. 用戶選擇物體并拍攝一個曝光，其意在表示第一眼睛(例如左眼)的 位置。
3. 所述設(shè)備開始測量相對運動并且指示所述設(shè)備應(yīng)該以什么方向和角度 運動來拍攝第二曝光，以表示所述第二眼睛，例如右眼。例如，所述設(shè)備的顯 示器可以顯示指向右邊的箭頭。
4. 用戶跟隨所述設(shè)備的指引移動設(shè)備。
5. 當?shù)竭_正確的第二位置時，在正確的相對距離和角度(通常希望基本 上沒有旋轉(zhuǎn))，所述設(shè)備自動拍攝所述第二曝光?，F(xiàn)在這應(yīng)該向所述第一曝光的 右邊水平地精確地被平移一個眼睛的距離?？商鎿Q地，當所述設(shè)備到達正確的 第二位置時，所述設(shè)備^用戶拍攝第二曝光。
現(xiàn)在，由一對連接的曝光組成的立體圖片已準備好進行顯示，其可以利用 傳統(tǒng)的裝置。
在用于全景圖片的操作模式中，圖片被并排連接在一頓中，以形成覆蓋
了比僅僅利用一個曝光更大角度的寬圖片。通常，應(yīng)當有至少兩個曝光。原則
上，完全可能作出覆蓋全部360度旋轉(zhuǎn)的圖片。在這種情況中，所述物體是用
戶周圍的旨環(huán)境。所述過程如下
1. 用戶選擇用于全景圖片的操作模式。
2. 用戶《:定位所述設(shè)備并拍攝第一曝光 擇開始角度。
3. 所述設(shè)備開始測量相對運動。
4. 用戶可以在所述設(shè)備的弓l導下慢顧定轉(zhuǎn)所述設(shè)備。這種情況中主要期 望旋轉(zhuǎn)。
5. 當設(shè)備已經(jīng)旋轉(zhuǎn)合適的角度，使得在至噠的位置處的曝光將與所述之 前的曝光具有合適的重疊時，所述設(shè)備自動拍攝另外的曝光。
6. 用戶繼續(xù)旋轉(zhuǎn)所述設(shè)備以獲取更寬的角度，或者選擇停止所^31程。 可能地，當選擇全景圖片模式時，用戶能夠選擇期望的曝光數(shù)。當所述設(shè)備被 旋轉(zhuǎn)時，所述設(shè)備在預(yù)定角度自動拍攝所述物體的另外的曝光。
7. 所述設(shè)備利用傳統(tǒng)軟件將所述曝光連接在一起，以獲取所期望的全景 圖片。
本發(fā)明使得禾,一臺照相機和位置感應(yīng)器在移動設(shè)備中育瀕實現(xiàn)3D建模、
立體攝影和全景圖片性能。所述設(shè)備可以通過合適的硬件和軟件的組合來實現(xiàn)。 本發(fā)明的范圍僅由下面的權(quán)利要求來限定。
權(quán)利要求
1、一種利用設(shè)備獲取物體的表示的方法，所述方法包括拍攝物體的第一曝光；存儲在所述第一曝光時的所述設(shè)備的位置和角度；移動所述設(shè)備同時感測所述設(shè)備的相對距離和旋轉(zhuǎn)；拍攝所述物體的至少一個另外的曝光；參考所述第一或之前的曝光來計算所述另外曝光時的相對距離和旋轉(zhuǎn)；通過使用利用其相對距離和旋轉(zhuǎn)而連接在一起的曝光來形成所述物體的組合表示。
2、 根據(jù)權(quán)利要求1所述的方法，其中所述物體的組合表示形成三維模型。
3、 根據(jù)豐又利要求2所述的方法，其中從相對于所述物體的不同角度拍攝多 于兩個的曝光。
4、 根據(jù)權(quán)利要求2所述的方法，其中當所述設(shè)備發(fā)現(xiàn)了新的合適的第二位 置時，所述設(shè)備自動拍攝另外的曝光。
5、 根據(jù)權(quán)利要求2所述的方法，其中所產(chǎn)生的^h曝光包含深度信息或三 維信息。
6、 根據(jù)權(quán)利要求1所述的方法，其中所述物體的組合標形成立體圖片。
7、 根據(jù)權(quán)利要求6所述的方法，其中所述設(shè)備弓l導用戶至湘對于所述物體 的第二位置和角度，來拍l^f述物體的另外的曝光。
8、 根據(jù)權(quán)利要求7所述的方法，其中當?shù)絠i^ 述第二〗iS時，所述設(shè)備自動拍攝所述物體的另外的曝光。
9、 根據(jù)權(quán)利要求7所述的方法，其中當?shù)竭_所述第二位置時，所述設(shè)織示用戶拍^^述第二曝光。
10、 根據(jù)權(quán)利要求1所述的方法，其中所述物體的組M示形成全景圖片。
11、 根據(jù)權(quán)利要求10所述的方法，其中所述設(shè)備弓l導用戶到相對于所述物 體的另外的角度，來拍^^述物體的另外的曝光。
12、 根據(jù)權(quán)利要求ll所述的方法，其中當?shù)竭_另外的角度時，所述設(shè)備自 動拍攝所述物體的所述另外的曝光。
13、 根據(jù)禾又利要求ll所述的方法，其中當所述設(shè)備被旋轉(zhuǎn)時，所述設(shè)備在預(yù)定角度自動拍M^f述物體的另夕卜的曝光。
14、 一種用于獲取物體的表示的設(shè)備，包括照相機單元，其獸,獲取曝 光以作為物體的數(shù)字表示；存儲裝置，其能夠存儲多個曝光；處理器裝置，其 育,處理曝光；用于感觀湘對距離和旋轉(zhuǎn)的裝置，所述設(shè)備適于存儲在拍攝物體的第一曝光時的所述設(shè)備的位置和角度； 當移動所述設(shè)備時感測所述設(shè)備的相對距離和旋轉(zhuǎn)；在拍M^f述物體的另夕卜的曝光時，參考所述第一敘前的曝光來計算所述 相對距離和旋轉(zhuǎn)；艦4頓禾偶其相對距離和旋轉(zhuǎn)而連接在一起的曝光來形^i^述物體的組 合表示。
15、 根據(jù)權(quán)利要求14所述的設(shè)備，其中所述設(shè)備具有用于將所述物體的組合表示形成為三維模型的操作模式。
16、 根據(jù)權(quán)利要求15所述的設(shè)備，其中所述處理器，適于M多于兩個的、從相對于所述物體的不同角度拍攝的曝光。
17、 根據(jù)權(quán)利要求14所述的設(shè)備，其中所述照相機單元肖,獲取具有深度信息或三維信息的曝光。
18、 根據(jù)禾又利要求14所述的設(shè)備，其中所述設(shè)備具有用于將所述物體的組合表示形成為立體圖片的操作模式。
19、 根據(jù)權(quán)利要求18所述的設(shè)備，其中所述設(shè)備適于將用戶引導至,對于所述物體的第二錢和角度，來拍Mi^述物體的另外的曝光。
20、 根據(jù)權(quán)利要求19所述的設(shè)備，其中所述設(shè)備適于當?shù)竭_所述第二位置時，自動拍M^f述物體的另夕卜的曝光。
21、 根據(jù)權(quán)利要求19所述的設(shè)備，其中所述設(shè)備適于M^用戶拍攝所述第二曝光。
22、 根據(jù)禾又利要求14所述的設(shè)備，其中所述設(shè)備具有用于將所述物體的組合g形成為全景圖片的操作模式。
23、 根據(jù)權(quán)利要求22所述的設(shè)備，其中所述設(shè)備適于弓l導用戶至湘對于所述物體的另外的角度，來拍攝所述物體的另外的曝光。
24、 根據(jù)權(quán)禾腰求23所述的設(shè)備，其中所述設(shè)備適于在到達另外的角度時自動拍攝所述物體的所述另外的曝光。
25、 根據(jù)權(quán)利要求22所述的設(shè)備，其中所述設(shè)備適于^0 述設(shè)備被旋轉(zhuǎn)時，在預(yù)定角度自動拍攝所述物體的另外的曝光。
26、 根據(jù)權(quán)利要求14所述的設(shè)備，其中所述用于感觀湘對距離和旋轉(zhuǎn)的裝 置包括3軸加速計和3軸陀螺儀。
27、 一種移動無線電終端，包含根據(jù)禾又利要求14所述的設(shè)備。
28、 根據(jù)權(quán)利要求27所述的移動無線電終端，其中所述用于感測相對距離 和旋轉(zhuǎn)的裝置包括3軸加3I計和3軸陀螺儀。
全文摘要
本發(fā)明涉及一種用于通過組合在不同位置拍攝的一系列曝光以及根據(jù)設(shè)備的運動連接所述曝光來獲取增強的攝影、尤其是三維和全景攝影的方法及設(shè)備。本發(fā)明使用內(nèi)部位置參考。使用自動運動傳感器和處理器來進行有關(guān)相對距離和旋轉(zhuǎn)的計算。將在不同位置拍攝的曝光連接在一起，以形成物體的組合表示。
文檔編號G06T7/00GK101341512SQ200680043607
公開日2009年1月7日 申請日期2006年10月23日 優(yōu)先權(quán)日2005年11月22日
發(fā)明者J·尼爾森, P·瓊 申請人:索尼愛立信移動通訊股份有限公司