全立體成像的制作方法
【專利說明】
[0001] 相關(guān)申請的奪叉引用
[0002] 本專利申請要求2013年2月4日提交的美國臨時申請序列號61/760, 383的優(yōu)先 權(quán)。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及沉浸式成像以獲得具有深度感知的360度視場的領(lǐng)域。 技術(shù)背景
[0004] 傳統(tǒng)的立體成像使用沿基線分開的兩個相機來捕捉朝同一方向看的兩個略有不 同的視點。該立體圖像對然后可被投影到立體顯示器上并由人類大腦融合來獲得景深的強 烈暗示。
[0005] 全立體成像的目的是提供用于觀察者周圍多達360度的立體線索。全立體圖像可 被用于虛擬環(huán)境中的導航，而無需跟蹤頭部定向。
[0006] 捕捉全立體圖像的困難性在于僅僅使用并排的兩個相機可能不能完成捕捉。這樣 的捕捉會在正中線（垂直于基線）上提供最大立體信息，但非沿基線的立體信息。
[0007] 概沭
[0008] 本文描述了一種用于立體沉浸式（全立體）捕捉的相機設(shè)置。全立體的一對圖像 給予了繞中央觀察者多達360度的立體信息。該全向相機設(shè)置使用最少三個具有超廣角鏡 頭的相機。圍繞該設(shè)置的每個可見點可由至少兩個相機以大約180的視場，從大約相機的 高度及之上或相機的高度及之下（這取決于該設(shè)置的定向）被立體捕捉。
[0009] -種拼接方法獲得該相機設(shè)置的圖像，產(chǎn)生不具有因視差造成的水平不重合 (mi sal ignment)的全立體的一對圖像。拼接是在由相鄰相機圖像中的核點所穿過的垂直平 面處進行的。在相機行進的同時可捕捉不受約束的動態(tài)場景。捕捉的視頻被格式化以在全 立體穹幕中顯示。核線拼接方法也可被用于設(shè)計使用標準鏡頭的高分辨率單目相機設(shè)置。 該設(shè)置減少了由于通常在傳統(tǒng)系統(tǒng)中觀察到的視差造成的不重合。
[0010] 根據(jù)第一寬泛方面，提供了一種全向成像設(shè)備，包括：位于基線高度且繞一圓基本 等距安置的至少三個相機，所述至少三個相機中的每一個相機具有以相同方向定向且適應(yīng) 于捕捉基本360度的視場的一部分的圖像的廣角鏡頭；以及用于將所述至少三個相機保持 在固定位置的安裝裝置。
[0011] 在某些實施例中，所述設(shè)備進一步包括處理設(shè)備，所述處理設(shè)備用于從所述至少 三個相機接收捕捉的圖像，以及將來自所述至少三個相機中每一個相機的所述捕捉的圖像 的一些部分拼接在一起以生成基本360度視場的左眼視圖和右眼視圖。
[0012] 在某些實施例中，所述至少三個相機中的每一個相機被適應(yīng)于捕捉作為動態(tài)圖像 的圖像。
[0013] 在某些實施例中，來自所述至少三個相機中的每一個相機的所述捕捉的圖像中被 選擇來拼接的部分各自對應(yīng)于360° /N的視場，其中N是所述至少三個相機的數(shù)量。
[0014] 在一些實施例中，所述處理設(shè)備用于為所述至少三個相機中的一個給定相機所捕 捉的圖像中被選擇用來拼接的每一部分定義第一邊界和第二邊界，所述第一邊界至少部分 地對應(yīng)于將所述給定相機的中心點與所述至少三個相機中和所述給定相機相鄰的第一個 相機的中心點相連接的第一線，所述第二邊界至少部分地對應(yīng)于將所述給定相機的中心點 與所述至少三個相機中和所述給定相機相鄰的第二個相機的中心點相連接的第二線。
[0015] 在某些實施例中，對于一捕捉的圖像中被選擇來拼接的每一部分，所述處理設(shè)備 用于定義所述第一邊界以對應(yīng)于所述第一線，以及定義所述第二邊界以對應(yīng)于所述第二線 直到到達所述圖像的周界。
[0016] 在某些實施例中，所述處理設(shè)備用于接收捕捉的圖像包括從所述給定相機接收包 括第一相鄰相機的第一重現(xiàn)以及第二相鄰相機的第二重現(xiàn)的圖像，所述圖像的第一部分和 所述圖像的第二部分被選擇來拼接。
[0017] 在某些實施例中，所述處理設(shè)備用于為所述圖像的所述第一部分和所述第二部分 中的每一個定義所述第一邊界和所述第二邊界，每個邊界包括第一段和第二段，對于所述 圖像的所述第一部分，所述第一邊界的第一段對應(yīng)于所述第一線，所述第二邊界的第一段 對應(yīng)于所述第二線，所述第一邊界的第二段離開所述第一線延伸來從所述圖像的所述第一 部分去除所述第一重現(xiàn)，所述第二邊界的第二段離開所述第二線延伸并具有與所述第一邊 界的第二段相同的形狀，以及對于所述圖像的所述第二部分，所述第一邊界的第一段對應(yīng) 于所述第二線，所述第二邊界的第一段對應(yīng)于所述第一線，所述第一邊界的第二段離開所 述第二線延伸來從所述圖像的所述第二部分去除所述第二重現(xiàn)，所述第二邊界的第二段離 開所述第一線延伸并具有與所述第一邊界的第二段相同的形狀。
[0018] 在某些實施例中，所述圖像的所述第一部分的所述第一邊界被定義成對應(yīng)于所述 第一線直到到達所述第一重現(xiàn)，所述圖像的所述第二部分的所述第一邊界被定義成對應(yīng)于 所述第二線直到到達所述第二重現(xiàn)，所述圖像的所述第一部分和所述第二部分中任一部分 的第一邊界和第二邊界具有相同的長度。
[0019] 在某些實施例中，所述處理設(shè)備通過將來自所述至少三個相機中的每一個相機的 捕捉的圖像中被選擇來拼接的部分沿左邊界和右邊界拼接來生成所述左眼視圖和所述右 眼視圖。
[0020] 在某些實施例中，所述處理設(shè)備通過將捕捉的圖像的所述一些部分中第一組多個 部分拼接在一起來生成所述左眼視圖，以及通過將捕捉的圖像的所述一些部分中第二組多 個部分拼接在一起來生成所述右眼視圖，所述捕捉的圖像的所述一些部分中所述第二組多 個部分對應(yīng)于所述捕捉的圖像的所述一些部分中所述第一組多個部分的180度旋轉(zhuǎn)。
[0021] 在某些實施例中，所述處理設(shè)備用于將所述捕捉的圖像的所述一些部分中包括第 一組多個點的第一多個部分選擇作為所述捕捉的圖像的所述一些部分中的所述第一組多 個部分，以及將所述捕捉的圖像的所述一些部分中包括第二組多個點的第二多個部分選擇 作為所述捕捉的圖像的所述一些部分中的所述第二組多個部分，所述第一組多個點各自從 以所述圓的中心與所述第一組多個點之一之間的第一視線逆時針安置的所述至少三個相 機中的第一相機被觀看，所述第二組多個點各自從以所述圓的中心與所述第二組多個點之 一之間的第二視線順時針安置的所述至少三個相機中的第二相機被觀看。
[0022] 在某些實施例中，所述至少三個相機中的每一個相機具有以向上方向和向下方向 中的一個方向定向的廣角鏡頭，所述向上方向用以捕捉來自大約所述基線高度及之上的圖 像，所述向下方向用以捕捉來自大約所述基線高度及之下的圖像。
[0023] 在某些實施例中，所述至少三個相機中的每一個相機具有單視點魚眼鏡頭。
[0024] 在某些實施例中，所述至少三個相機中的每一個相機被適應(yīng)于每隔一定時間捕捉 圖像，所述至少三個相機被同步在一起使得在任一給定時刻由所述至少三個相機同步地捕 捉圖像。
[0025] 在某些實施例中，所述處理設(shè)備用于格式化所述左眼視圖和所述右眼視圖來在球 面視圖中顯示。
[0026] 在某些實施例中，所述處理設(shè)備用于格式化所述左眼視圖和所述右眼視圖來在直 線視圖中顯示。
[0027] 在某些實施例中，所述處理設(shè)備用于格式化所述左眼視圖和所述右眼視圖來在柱 面視圖中顯示。
[0028] 在某些實施例中，所述處理設(shè)備用于將所述左眼視圖和右眼視圖編碼成立體圖。
[0029] 在某些實施例中，所述處理設(shè)備用于格式化所述左眼視圖和所述右眼視圖來在頭 戴式顯示器上顯示。
[0030] 根據(jù)另一寬泛方面，提供了一種用于從拍攝自多個間隔開的相機的圖像生成基本 360度視圖的方法，所述方法包括：從繞一圓基本等距地固定在基線高度處的多個相機捕 捉圖像；以及沿第一邊界和第二邊界將來自所述多個相機中的每一個相機的圖像的一些部 分拼接在一起，所述第一邊界和所述第二邊界至少部分地對應(yīng)于連接所述多個相機中相鄰 相機的中心點的線。
[0031] 在某些實施例中，所述方法進一步包括生成所述基本360度視圖的左眼視圖和右 眼視圖，以及將所述左眼視圖和所述右眼視圖投影在一起以創(chuàng)建深度感知。
[0032] 在某些實施例中，捕捉所述圖像包括捕捉動態(tài)圖像。
[0033] 在某些實施例中，從所述多個相機捕捉圖像包括從至少三個相機捕捉圖像，每個 相機具有以相同方向定向并適應(yīng)于捕捉所述基本360度視圖的一部分的圖像的廣角鏡頭。 [0034] 在某些實施例中，捕捉圖像包括在任何給定時刻同步地從所述多個相機捕捉圖 像。
[0035] 在某些實施例中，將圖像的所述一些部分拼接在一起包括將所述一些部分拼接在 一起，其中每個部分對應(yīng)于360度/N的視場，其中N是所述多個相機的數(shù)量。
[0036] 在某些實施例中，捕捉圖像包括從所述多個相機中的任何一個相機捕捉一圖像， 所述圖像包括所述多個相機中與所述相機相鄰的第一相機的第一重現(xiàn)以及所述多個相機 中與所述相機相鄰的第二相機的第二重現(xiàn)，所述圖像的第一部分和所述圖像的第二部分被 選擇來拼接。
[0037] 在某些實施例中，所述圖像的所述第一部分和所述第二部分中的每一個部分的第 一邊界和第二邊界各自包括第一段和第二段，對于所述圖像的所述第一部分，所述第一邊 界的第一段對應(yīng)于連接所述相機的中心點和第一相鄰相機的中心點的第一線，所述第二邊 界的第一段對應(yīng)于連接所述相機的中心點和第二相鄰相機的中心點的第二線，所述第一邊 界的第二段離開所述第一線延伸來從所述圖像的所述第一部分去除所述第一重現(xiàn)，所述第 二邊界的第二段離開所述第二線延伸并具有與所述第一邊界的第二段相同的形狀，以及對 于所述圖像的所述第二部分，所述第一邊界的第一段對應(yīng)于所述第二線，所述第二邊界的 第一段對應(yīng)于所述第一線，所述第一邊界的第二段離開所述第二線延伸來從所述圖像的所 述第二部分去除所述第二重現(xiàn)，所述第二邊界的第二段離開所述第一線延伸并具有與所述 第一邊界的第二段相同的形狀。
[0038] 在某些實施例中，拼接包括沿所述第一邊界和所述第二邊界拼接，對于每個圖像， 所述圖像的所述第一部分的第一邊界被定義成對應(yīng)于所述第一線直到到達所述第一重現(xiàn)， 所述圖像所述第二部分的第一邊界被定義成對應(yīng)于所述第二線直到到達所述第二重現(xiàn)，所 述圖像的所述第一部分和所述第二部分中的任一部分的第一邊界和第二邊界具有相同的 長度。
[0039] 在某些實施例中，拼接包括沿所述第一邊界和所述第二邊界拼接，對于一捕捉的 圖像中被選擇來拼接的每一部分，所述第一邊界被定義成對應(yīng)于所述第一線，所述第二邊 界被定義成對應(yīng)于所述第二線直到到達所述圖像的周界。
[0040] 在某些實施例中，生成左眼視圖包括將圖像的一些第一部分拼接在一起，生成右 眼視圖包括將圖像的一些第二部分拼接在一起，圖像的所述一些第二部分對應(yīng)于圖像的所 述一些第一部分的18