本公開涉及圖像處理設(shè)備和方法，更具體地，涉及用于生成立體全景圖像的設(shè)備和方法。

背景技術(shù)：

在許多工業(yè)、商業(yè)和科學(xué)應(yīng)用中，360度全景成像設(shè)備是創(chuàng)建虛擬現(xiàn)實(shí)內(nèi)容的重要設(shè)備。通常，全景成像設(shè)備可以包括圓形陣列中的多個(gè)攝像機(jī)(例如，6、12或16個(gè)攝像機(jī))，以捕捉360°內(nèi)的場景的圖像，使得可以通過生成全景圖像的方法將場景的圖像組合成平面全景圖像。生成多個(gè)連續(xù)的全景圖像之后，可以進(jìn)一步生成全景視頻。

除了二維全景圖像和視頻之外，全景成像設(shè)備還可以生成立體全景圖像和視頻。

由于攝像機(jī)捕捉的圖像數(shù)量眾多，因此必須處理大數(shù)據(jù)流，以生成全景圖像和視頻。需要甚至更多的處理能力來生成三維視頻。然而，通常，全景成像設(shè)備僅具有有限的計(jì)算資源可支配，并且可能需要長時(shí)間來處理所有圖像。因此，由于處理時(shí)間長，用戶體驗(yàn)可能無法令人滿意。

本公開的實(shí)施例通過提供用于生成全景圖像的改進(jìn)的方法和設(shè)備來解決上述問題。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本公開的一個(gè)方面，提供了一種用于生成立體全景圖像的方法。該方法可以包括：從圓形陣列中的多個(gè)位置捕捉圖像；將捕捉的圖像投影到對(duì)應(yīng)的等矩形(equirectangular)圖像中；從等矩形圖像中提取中間圖像的集合；以及將所述集合的中間圖像融合以生成多個(gè)全景圖像進(jìn)而生成立體全景圖像。

根據(jù)本公開的另一方面，提供了一種用于生成立體全景圖像的設(shè)備。該設(shè)備可以包括：攝像機(jī)架；至少一個(gè)攝像機(jī)，安裝在攝像機(jī)架上并被配置為從圓形陣列中的多個(gè)位置捕捉圖像；存儲(chǔ)器，被配置為存儲(chǔ)捕捉的圖像和指令；以及處理器，被配置為執(zhí)行指令以：將捕捉的圖像投影到對(duì)應(yīng)的等矩形圖像中；從等矩形圖像中提取中間圖像的集合；以及融合該集合的中間圖像以生成多個(gè)全景圖像進(jìn)而生成立體全景圖像。

應(yīng)當(dāng)理解，前面的一般描述和以下詳細(xì)描述僅僅是示例性和解釋性的，而不對(duì)本發(fā)明構(gòu)成限制。

附圖說明

圖1是根據(jù)本公開的一些實(shí)施例的用于生成立體全景圖像的示例性成像設(shè)備的框圖。

圖2是根據(jù)本公開的一些實(shí)施例的具有設(shè)置在其上的攝像機(jī)的示例性攝像機(jī)架的頂視圖。

圖3是根據(jù)本公開的一些實(shí)施例的攝像機(jī)的視野的示例性示意圖。

圖4是根據(jù)本公開的一些實(shí)施例的等距形圖像的像素和攝像機(jī)圖像中的相應(yīng)像素之間的示例性位置關(guān)系。

圖5是根據(jù)本公開的一些實(shí)施例的用于成像設(shè)備的球面坐標(biāo)系的示意圖。

圖6是根據(jù)本公開的一些實(shí)施例的攝像機(jī)坐標(biāo)系的示意圖。

圖7是根據(jù)本公開的一些實(shí)施例的兩個(gè)部分重疊的中間圖像的示例性示意圖。

圖8是根據(jù)本公開的一些實(shí)施例的成像設(shè)備生成的示例性全景圖像。

圖9是根據(jù)本公開的一些實(shí)施例的攝像機(jī)圖像之間的重疊視圖的示例性示意圖。

圖10a和10b是根據(jù)本公開的一些實(shí)施例的等矩形圖像中的左眼部分和右眼部分的示意圖；

圖11是根據(jù)本公開的一些實(shí)施例的部分重疊的左眼中間圖像的示例性示意圖。

圖12a和12b分別示出了根據(jù)本公開的一些實(shí)施例生成的示例性左眼和右眼全景圖像。

圖13是根據(jù)本公開的一些實(shí)施例的用于生成立體全景圖像的方法的流程圖。

具體實(shí)施方式

現(xiàn)在將詳細(xì)參考示例性實(shí)施例，其示例在附圖中示出。盡可能地，貫穿附圖中將使用相同的附圖標(biāo)記來指代相同或相似的部件。

圖1是根據(jù)本公開的一些實(shí)施例的用于生成立體全景圖像的示例性成像設(shè)備的框圖。如圖1所示，成像設(shè)備100可以包括至少一個(gè)攝像機(jī)102、存儲(chǔ)器106和處理器108。

圖2是具有設(shè)置在其上的攝像機(jī)的示例性攝像機(jī)架的頂視圖。在圖2所示的實(shí)施例中，成像設(shè)備100可以包括具有安裝在圓形攝像機(jī)架104上的多個(gè)攝像機(jī)102a-102p的攝像機(jī)陣列101。每個(gè)攝像機(jī)102a-102p都包括圖像傳感器(未示出)。圖像傳感器可以是互補(bǔ)金屬氧化物半導(dǎo)體(cmos)傳感器，電荷耦合器件(ccd)傳感器或能夠捕捉入射光子并讀取像素?cái)?shù)據(jù)以生成圖像的任何類型的圖像傳感器。由攝像機(jī)102a-102p生成的圖像可以被傳送到處理器108進(jìn)一步處理。

機(jī)架104可以包括圓形陣列中的多個(gè)凹槽或插座，使得至少一個(gè)攝像機(jī)102可以布置在對(duì)應(yīng)于圓形陣列中的不同位置的凹槽或插座處。攝像機(jī)102a-102p面向徑向向外以捕捉成像設(shè)備100的周圍場景。攝像機(jī)102a-102p可以固定或可移除地附接到機(jī)架104。

攝像機(jī)102a-102p均包括視野(fov)，其可以包括豎直fov和水平fov。通常，攝像機(jī)水平布置以同時(shí)捕捉周圍場景的圖像，并且水平地融合圖像以生成全景圖像。因此，除非另有說明，本公開中提及的fov通常指水平fov。在圖2所示的實(shí)施例中，在機(jī)架104上布置十六個(gè)攝像機(jī)以捕捉圖像。在這種情況下，每個(gè)攝像機(jī)102a-102p的fov可以大于22.5°(即360°/16)，使得十六個(gè)攝像機(jī)可以覆蓋360°的周圍場景。因?yàn)橄旅嬗懻摰娜诤线^程通常需要一些重疊區(qū)域，所以每個(gè)攝像機(jī)的fov可能遠(yuǎn)遠(yuǎn)大于最小fov(例如，22.5°)。應(yīng)當(dāng)理解，當(dāng)需要時(shí)可以修改攝像機(jī)的數(shù)量。

如圖2所示，圓形陣列中的十六個(gè)攝像機(jī)102a-102p設(shè)置在機(jī)架104上，面向徑向向外以捕捉周圍的場景。因此，用于觀看捕捉的周圍場景的原點(diǎn)是圓形陣列的中心，其在圖2中被標(biāo)記為o1。在一些實(shí)施例中，圓形陣列的半徑可以是200毫米。在一些實(shí)施例中，十六個(gè)攝像機(jī)中的每一個(gè)可以具有90°(大于22.5°的最小值)的水平fov和120°的豎直fov。

在另一個(gè)實(shí)施例中，機(jī)架104還可以包括旋轉(zhuǎn)單元(未示出)，使得機(jī)架104上的攝像機(jī)可以由旋轉(zhuǎn)單元旋轉(zhuǎn)。例如，成像設(shè)備100可以僅包括一個(gè)攝像機(jī)，并且可以通過攝像機(jī)在第一位置處捕捉第一圖像，然后經(jīng)由旋轉(zhuǎn)單元將攝像機(jī)旋轉(zhuǎn)角度(例如，22.5°)到第二位置以捕捉第二個(gè)圖像。通過繼續(xù)旋轉(zhuǎn)攝像機(jī)并捕捉圖像，可能同時(shí)由十六個(gè)攝像機(jī)捕捉的所有圖像也可以被更少的攝像機(jī)(例如，僅一個(gè)攝像機(jī))捕捉。

應(yīng)當(dāng)理解，成像設(shè)備100可以包括其他數(shù)量的攝像機(jī)。例如，成像設(shè)備100可以包括均勻地設(shè)置在圓形陣列中的四個(gè)攝像機(jī)。也就是說，參考圖2，可以僅提供攝像機(jī)102a、102e、102i和102m并且可以由旋轉(zhuǎn)單元旋轉(zhuǎn)。例如，攝像機(jī)102a可以順序旋轉(zhuǎn)到攝像機(jī)102b、102c和102d的位置，并且可以從每個(gè)位置捕捉圖像。相應(yīng)地，攝像機(jī)102e可以順序旋轉(zhuǎn)到攝像機(jī)102f、102g和102h的位置并且捕捉圖像，攝像機(jī)102i可以順序旋轉(zhuǎn)到攝像機(jī)102j、102k和1021的位置并且捕捉圖像，并且攝像機(jī)102m可以順序旋轉(zhuǎn)到攝像機(jī)102n、102o和102p的位置并且捕捉圖像。因此，僅四個(gè)攝像機(jī)就可以捕捉十六張圖像，就像有十六個(gè)攝像機(jī)一樣。

因此，旋轉(zhuǎn)單元允許較少的攝像機(jī)覆蓋360度的視野，從而降低了成像設(shè)備100的成本。應(yīng)該注意的是，具有旋轉(zhuǎn)單元的這種配置僅可以生成靜止的全景圖像，因?yàn)樗枰邢薜臅r(shí)段旋轉(zhuǎn)成像單元捕捉所需圖像。

存儲(chǔ)器106(圖1)可以被配置為存儲(chǔ)指令、數(shù)據(jù)和捕捉的圖像用于進(jìn)一步處理?？梢允褂萌魏晤愋偷囊资曰蚍且资源鎯?chǔ)器件或其組合來實(shí)現(xiàn)存儲(chǔ)器106，例如靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、可擦除可編程讀取存儲(chǔ)器只讀存儲(chǔ)器(eprom)、可編程只讀存儲(chǔ)器(prom)、只讀存儲(chǔ)器(rom)、磁存儲(chǔ)器、閃存或磁盤或光盤。

處理器108可以被配置為執(zhí)行軟件指令(程序代碼)，并且根據(jù)本文所描述的技術(shù)來執(zhí)行功能。例如，處理器108可以接收所捕捉的圖像并且執(zhí)行根據(jù)本公開的一些實(shí)施例的方法，以便生成全景圖像。軟件指令包括執(zhí)行本文進(jìn)一步描述的特定功能的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、過程、模塊和功能。

圖3是根據(jù)本公開的一些實(shí)施例的攝像機(jī)102a-102p之一(例如，102a)的視野的示例性示意圖。如圖3所示，攝像機(jī)102a可以生成對(duì)應(yīng)于觀察球體的部分304的平面攝像機(jī)圖像302。觀察球體是虛擬球體，指示成像設(shè)備100可捕捉的范圍。應(yīng)當(dāng)注意，十六個(gè)攝像機(jī)中的每一個(gè)可以生成對(duì)應(yīng)于觀察球體的一部分的平面攝像機(jī)圖像。換句話說，攝像機(jī)捕捉觀察球體的一部分內(nèi)的場景并將場景投影在平面攝像機(jī)圖像上。在圖3中，由于攝像機(jī)102a具有90°的水平fov和120°的豎直fov，所以觀察球體的部分304對(duì)應(yīng)于90°的水平視圖和120°的豎直視圖。

圖3還示出了用于平面攝像機(jī)圖像中的像素的直線圖像坐標(biāo)系。圖3的直線圖像坐標(biāo)系是包括水平軸u和豎直軸v的二維坐標(biāo)系。應(yīng)該注意的是，每個(gè)平面攝像機(jī)圖像都有其自己的圖像坐標(biāo)系，平面攝像機(jī)圖像中的每個(gè)像素的坐標(biāo)在相應(yīng)的直線圖像坐標(biāo)系中表示。

由于每個(gè)攝像機(jī)圖像具有其自己的圖像坐標(biāo)系，所以基于平面圖像直接生成全景圖像是不方便的。因此，在任何進(jìn)一步的處理之前，攝像機(jī)圖像應(yīng)該投影到公共坐標(biāo)系中的圖像中。

如上所述，由十六個(gè)攝像機(jī)捕捉的每個(gè)攝像機(jī)圖像對(duì)應(yīng)于觀察球體的一部分。也就是說，攝像機(jī)圖像可以投影到觀察球體的球坐標(biāo)系中的球圖像。當(dāng)觀察球體的部分(例如，球圖像)被拉伸到平面上時(shí)，可以生成與攝像機(jī)圖像相對(duì)應(yīng)的等矩形圖像。因?yàn)樗械那驁D像可以在相同的球坐標(biāo)系中測量，所生成的等矩形圖像也可以在相同的坐標(biāo)系中測量。因此，可以以更有效的方式對(duì)等矩形圖像執(zhí)行進(jìn)一步的處理。用于生成等矩形圖像的過程可以被稱為等矩形投影過程。

應(yīng)當(dāng)注意，由于通過將觀察球體的一部分“拉伸”到平面上來生成等矩形圖像，所以等矩形圖像也在平面圖像坐標(biāo)系中，但是與用于攝像機(jī)圖像的平面圖像坐標(biāo)系不同的系統(tǒng)。因此，等矩形投影過程將用于攝像機(jī)圖像的第一圖像坐標(biāo)系中的像素的坐標(biāo)轉(zhuǎn)換為用于等矩形圖像的第二圖像坐標(biāo)系中的對(duì)應(yīng)像素的坐標(biāo)。

在等矩形投影過程中，攝像機(jī)圖像的每個(gè)像素可以根據(jù)等矩形映射表投影到等矩形圖像。等矩形映射表包括攝像機(jī)圖像的像素和等矩形圖像的像素之間的位置關(guān)系。在一些實(shí)施例中，等矩形映射表被預(yù)先確定并存儲(chǔ)在成像設(shè)備100中，使得可以有效地執(zhí)行等矩形投影過程。

圖4示出了根據(jù)本公開的一些實(shí)施例的等矩形圖像的像素和攝像機(jī)圖像中的相應(yīng)像素之間的示例性位置關(guān)系。在圖4中，(ue,ve)表示等矩形圖像中的像素的位置，(uc,vc)表示攝像機(jī)圖像中相同像素的位置。此外，等矩形圖像的寬度是we，等矩形圖像的高度是he，攝像機(jī)圖像的寬度是wc，攝像機(jī)圖像的高度是hc。從圖4中可以看出，攝像機(jī)圖像的頂部區(qū)域和底部區(qū)域在等矩形圖像中朝向兩側(cè)“拉伸”。

等矩形圖像中的每個(gè)像素與攝像機(jī)圖像中的相應(yīng)像素之間的位置關(guān)系構(gòu)成等矩形映射表的元素。類似地，等矩形圖像中的每個(gè)像素與另一攝像機(jī)圖像中的對(duì)應(yīng)像素之間的位置關(guān)系也構(gòu)成等矩形映射表的元素。

現(xiàn)在將描述用于確定等矩形圖像和攝像機(jī)圖像之間的這些位置關(guān)系以構(gòu)造等矩形映射表的過程。可以在不同的坐標(biāo)系之間變換每個(gè)像素的坐標(biāo)，以便確定等矩形圖像和攝像機(jī)圖像之間的位置關(guān)系。在一些實(shí)施例中，坐標(biāo)系可以包括用于等矩形圖像的第一圖像坐標(biāo)系，用于攝像機(jī)圖像的第二圖像坐標(biāo)系、球坐標(biāo)系、世界坐標(biāo)系和攝像機(jī)坐標(biāo)系，這將進(jìn)一步討論。

將首先轉(zhuǎn)換等矩形圖像的(ue,ve)處的像素，以確定球坐標(biāo)系中的對(duì)應(yīng)位置。球坐標(biāo)系可以進(jìn)一步轉(zhuǎn)換為世界坐標(biāo)系，然后轉(zhuǎn)換為攝像機(jī)坐標(biāo)系，最后是攝像機(jī)圖像的第二圖像坐標(biāo)系。通過坐標(biāo)系之間的這些轉(zhuǎn)換，可以確定攝像機(jī)圖像中(uc,vc)處的像素與等矩形圖像中(ue,ve)處的像素之間的位置關(guān)系。類似地，也可以確定另一攝像機(jī)圖像中的像素與等矩形圖像中的對(duì)應(yīng)像素之間的位置關(guān)系。

首先，可以在用于等矩形圖像的圖像坐標(biāo)系和球坐標(biāo)系之間執(zhí)行第一坐標(biāo)轉(zhuǎn)換。圖5是根據(jù)本公開的一些實(shí)施例的用于成像設(shè)備的球坐標(biāo)系的示意圖。如上所述，等矩形圖像的(ue，ve)處的像素將首先被轉(zhuǎn)換為球坐標(biāo)系。球坐標(biāo)系中像素的位置可以由坐標(biāo)(r，θ，ρ)表示，其中r是徑向距離，θ是方位角，ρ是極角。

等矩形圖像中的坐標(biāo)(ue，ve)可以通過下面的等式對(duì)應(yīng)于球坐標(biāo)系中的坐標(biāo)(r，θ，ρ)。

在一些實(shí)施例中，r可以設(shè)定為1500毫米。

然后，可以在球坐標(biāo)系和世界坐標(biāo)系(wcs)之間執(zhí)行第二坐標(biāo)轉(zhuǎn)換。世界坐標(biāo)系(wcs)是通用坐標(biāo)系。任何其他坐標(biāo)系中的坐標(biāo)可以轉(zhuǎn)換為wcs中的坐標(biāo)，或反之。圖5還示出了示例性世界坐標(biāo)系。如圖5所示，世界坐標(biāo)系的原點(diǎn)和球坐標(biāo)系的原點(diǎn)都位于由攝像機(jī)形成的圓形陣列的中心。

因此，球面坐標(biāo)系中的坐標(biāo)(r，θ，ρ)可以通過下面的等式進(jìn)一步變換到世界坐標(biāo)系中的對(duì)應(yīng)坐標(biāo)(xw，yw，zw)。

xw＝-cos(θ)sin(ρ)r等式2.1

yw＝sin(θ)r等式2.2

zw＝cos(θ)cos(ρ)r等式2.3

可以執(zhí)行第三坐標(biāo)轉(zhuǎn)換，以將世界坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為攝像機(jī)坐標(biāo)系(ccs)中的坐標(biāo)。圖6是根據(jù)本公開的一些實(shí)施例的攝像機(jī)坐標(biāo)系的示意圖。攝像機(jī)坐標(biāo)系是具有位于攝像機(jī)光學(xué)中心的原點(diǎn)oc的另一三軸坐標(biāo)系。在ccs中，xc軸和yc軸分別平行于圖像平面的u軸和v軸，zc軸是攝像機(jī)的光軸。從圖6可以看到，世界坐標(biāo)系和攝像機(jī)坐標(biāo)系之間存在位移。

世界坐標(biāo)系中的坐標(biāo)(xw，yw，zw)將通過下面的等式進(jìn)一步轉(zhuǎn)換為攝像機(jī)坐標(biāo)系中的攝像機(jī)坐標(biāo)(xc，yc，zc)。

[xc，yc，zc]^t＝r[xw，yw，zw]^t+t等式3.1

在上述等式3.1中，r是攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的3×3旋轉(zhuǎn)矩陣。t是兩個(gè)坐標(biāo)系的3×1平移向量。換句話說，r和t描述了攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的相對(duì)位置關(guān)系。r和t都是每個(gè)攝像機(jī)獨(dú)有的外在參數(shù)。

通常，攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系移位，并可進(jìn)一步偏移或旋轉(zhuǎn)。例如，返回參考圖5，世界坐標(biāo)系和攝像機(jī)的攝像機(jī)坐標(biāo)系之間的位移可以是圓形陣列的中心和攝像機(jī)的光學(xué)中心(它們分別是世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的原點(diǎn))之間的矢量。并且r和t可以反映例如世界坐標(biāo)系和攝像機(jī)的攝像機(jī)坐標(biāo)系之間的上述示例性位置關(guān)系。

因此，可以根據(jù)上述等式1.1、1.2、2.1-2.3和3.1生成攝像機(jī)圖像的像素和等矩形圖像的對(duì)應(yīng)像素之間的位置關(guān)系。通常，可以預(yù)先生成等矩形圖像的所有像素和攝像機(jī)圖像的所有對(duì)應(yīng)像素之間的位置關(guān)系。可以存儲(chǔ)位置關(guān)系以形成等矩形映射表。

可以為在不同位置捕捉的每個(gè)圖像中的像素生成位置關(guān)系，并且分別存儲(chǔ)在相同的等矩形映射表或多個(gè)映射表中。

給定攝像機(jī)圖像中的像素的坐標(biāo)，可以從等矩形映射表獲得等矩形圖像中的對(duì)應(yīng)坐標(biāo)。然后，攝像機(jī)圖像中的像素的值可以被提供給等矩形圖像中相應(yīng)坐標(biāo)處的像素，以便生成等矩形圖像。

此外，可以將圖像坐標(biāo)系、世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和球坐標(biāo)系當(dāng)中的一個(gè)坐標(biāo)系中的像素的坐標(biāo)變換為上述坐標(biāo)系當(dāng)中的另一個(gè)坐標(biāo)系中的坐標(biāo)。

如上所述，在一些實(shí)施例中，十六個(gè)攝像機(jī)設(shè)置在圓形陣列中以捕捉360°的周圍場景的圖像，并且十六個(gè)攝像機(jī)中的每一個(gè)可以具有90°的fov。理論上，這16個(gè)攝像機(jī)可以覆蓋1440°(即90°×16)。因此，每個(gè)攝像機(jī)具有遠(yuǎn)遠(yuǎn)大于生成全景圖像所需的最小fov的fov。

在一些實(shí)施例中，可以從每個(gè)等矩形圖像中提取中間圖像，以生成中間圖像的集合。例如，可以提取每個(gè)等矩形圖像的中心部分作為中間圖像，以生成中間圖像的集合。返回參考圖4，可以提取虛線之間的等矩形圖像的中心部分作為中間圖像。

如上所述，等矩形圖像中的每個(gè)像素的坐標(biāo)可以被變換為球坐標(biāo)系中的坐標(biāo)。也就是說，由攝像機(jī)捕捉的任何圖像也可以在球坐標(biāo)系中以對(duì)應(yīng)的球圖像的形式進(jìn)行討論。因此，等矩形度圖像的中心部分可以以度數(shù)來測量，就像它在球坐標(biāo)系中一樣。

可以進(jìn)一步融合該集合的中間圖像以生成全景圖像。例如，可以確定兩個(gè)中間圖像之間的重疊區(qū)域并用于融合兩個(gè)中間圖像。

圖7是根據(jù)本公開的一些實(shí)施例的兩個(gè)部分重疊的中間圖像的示例性示意圖。如圖7所示，例如，中間圖像702和相鄰中間圖像704可以各自對(duì)應(yīng)于30°的視圖。因?yàn)閮蓚€(gè)相鄰攝像機(jī)的光軸之間的角度是22.5°(即360°/16)，所以中間圖像702相對(duì)于中間圖像704移位22.5°。也就是說，例如，當(dāng)中間圖像702覆蓋75°～105°的方位角θ1(即30°的視圖)時(shí)，中間圖像704覆蓋52.5°～82.5°的方位角θ2。因此，在75°～82.5°之間的區(qū)域706，如圖7中的加重弧所示，是中間圖像702和中間圖像704之間的重疊。

如上所述，給定兩個(gè)中間圖像的視角和對(duì)應(yīng)于兩個(gè)中間圖像的攝像機(jī)的位置，可以在球坐標(biāo)系中確定中間圖像之間的重疊區(qū)域，并且在任何其它坐標(biāo)系中標(biāo)識(shí)(如果需要)。應(yīng)當(dāng)理解，可以采用用于確定重疊區(qū)域的其他方法。例如，可以使用兩個(gè)中間圖像之間的相同特征點(diǎn)來確定重疊區(qū)域。

在確定重疊區(qū)域之后，可以通過任何合適的融合方法，例如金字塔融合方法，基于重疊區(qū)域來融合兩個(gè)中間圖像。一種金字塔融合方法可以從兩個(gè)中間圖像構(gòu)建拉普拉斯金字塔la和lb，從兩個(gè)中間圖像進(jìn)一步與掩模m(例如，5×5的矩陣)組合構(gòu)建高斯金字塔gm，并且基于拉普拉斯金字塔和高斯金字塔生成融合圖像。

在金字塔融合方法中，高斯金字塔可以包括由圖像金字塔組成的若干圖像。原始圖像可以被認(rèn)為是圖像金字塔的最低層(層0)。可以基于掩模m對(duì)原始圖像執(zhí)行卷積以生成卷積圖像。然后，可以例如通過去除奇數(shù)行和奇數(shù)列來對(duì)卷積圖像進(jìn)行采樣，從而生成原始圖像上方的層1。層1可以進(jìn)一步用作上述過程的輸入，以獲得更高的層。這些層可以構(gòu)成高斯金字塔。

在計(jì)算高斯金字塔期間，卷積和采樣可能丟棄相當(dāng)大量的高頻信息。為了描述在計(jì)算高斯金字塔期間丟失的高頻信息，生成拉普拉斯金字塔。在生成拉普拉斯金字塔之后，可以基于高斯金字塔和拉普拉斯金字塔進(jìn)行融合處理。通過金字塔融合方法，融合圖像中的重疊區(qū)域可以更平滑，并且顏色失真也可以被修復(fù)。

通過融合從與攝像機(jī)圖像相對(duì)應(yīng)的等矩形圖像中提取的所有中間圖像，可以生成全景圖像。應(yīng)當(dāng)理解，在一些實(shí)施例中，中間圖像可以是等矩形圖像本身。

圖8是根據(jù)本公開的一些實(shí)施例的由成像設(shè)備100生成的示例性全景圖像。如圖8所示，從圖4的示例性等矩形圖像中提取的中間圖像801已經(jīng)與其他中間圖像一起融合成全景圖像。從示例性等矩形圖像提取的中間圖像801由虛線框指示。

成像設(shè)備100可以進(jìn)一步生成立體全景，如下所述。

圖9是根據(jù)本公開的一些實(shí)施例的可以用于生成立體圖像的攝像機(jī)圖像之間的重疊視圖的示例性示意圖。如上所述，由攝像機(jī)捕捉的任何圖像可以以相應(yīng)的球圖像的形式表示在球坐標(biāo)系中。因此，如圖9所示，對(duì)應(yīng)于位置910、912和914處的攝像機(jī)捕捉的視圖的球圖像901、903和905被示出為球圖像的示例。位置910、912和914例如是圓形陣列中的相鄰位置，其中位置910位于位置912的左側(cè)，位置914位于位置912的右側(cè)。為了清楚，省略其他攝像機(jī)和位置。

由于球圖像被具有寬fov(例如，90°)的攝像機(jī)捕捉，并且攝像機(jī)的光軸之間的角度僅為22.5°(即，360°/16)，所以球圖像903與球圖像901部分重疊以形成重疊區(qū)域907，并且球圖像903還與球圖像905部分重疊以形成重疊區(qū)域909。也就是說，位置910處的攝像機(jī)和位置912處的攝像機(jī)都捕捉與重疊區(qū)域907相對(duì)應(yīng)的場景，并且位置912處的攝像機(jī)和位置914處的攝像機(jī)都捕捉與重疊區(qū)域909相對(duì)應(yīng)的場景。

當(dāng)位置910處的攝像機(jī)被認(rèn)為是左眼，并且位置912處的攝像機(jī)被認(rèn)為是右眼時(shí)，球圖像903中的重疊區(qū)域907是右眼區(qū)域。類似地，當(dāng)位置912處的攝像機(jī)被認(rèn)為是左眼，并且位置914處的攝像機(jī)被認(rèn)為是右眼時(shí)，球圖像903中的重疊區(qū)域909是左眼區(qū)域。也就是說，球圖像903可以包括重疊區(qū)域907和909。應(yīng)當(dāng)注意，重疊區(qū)域907和909還具有進(jìn)一步重疊的區(qū)域。因此，可以從每個(gè)球圖像確定左眼區(qū)域和右眼區(qū)域。

以上在球坐標(biāo)系中討論。由于坐標(biāo)系可以彼此轉(zhuǎn)換，所以與從球圖像確定左眼區(qū)域和右眼區(qū)域類似地也可以從每個(gè)等矩形圖像確定左眼區(qū)域和右眼區(qū)域。例如，可以接收對(duì)應(yīng)于在第一位置捕捉的第一圖像的第一等矩形圖像、對(duì)應(yīng)于在第二位置捕捉的第二圖像的第二等矩形圖像和對(duì)應(yīng)于在第三位置捕捉的第三圖像的第三等矩形圖像，其中所述第二位置位于所述第一位置的左側(cè)，所述第三位置位于所述第一位置的右側(cè)。然后，可以提取第一等矩形圖像中與第二等矩形圖像重疊的左眼部分作為左眼圖像，并且可以提取第一等矩形圖像中與第三等矩形圖像重疊的右眼部分作為右眼圖像。

應(yīng)當(dāng)注意，左眼部分可以是第一等矩形圖像和第二等矩形圖像之間的重疊區(qū)域的一部分，而不是整個(gè)重疊區(qū)域。右眼部分也是如此。

從圖9中可以看出，給定攝像機(jī)的位置、球坐標(biāo)系的參數(shù)和攝像機(jī)的視野，可以確定兩個(gè)球圖像之間的重疊區(qū)域。在一些實(shí)施例中，十六個(gè)攝像機(jī)設(shè)置成圓形陣列，其半徑可以是200毫米。球坐標(biāo)系的半徑r可以是1500毫米，并且每個(gè)攝像機(jī)的fov可以是90°。基于上述參數(shù)，可以根據(jù)常規(guī)數(shù)學(xué)計(jì)算來確定兩個(gè)球圖像之間的重疊區(qū)域。并且也可以類似地確定兩個(gè)等矩形圖像之間的重疊區(qū)域，從而可以從兩個(gè)等矩形圖像中提取左眼部分和右眼部分。

應(yīng)當(dāng)注意，可以采用用于確定重疊區(qū)域的其他方法。例如，可以使用兩個(gè)圖像之間的相同特征點(diǎn)來確定重疊區(qū)域。

圖10a和10b是根據(jù)本公開的一些實(shí)施例的等矩形圖像中的左眼部分和右眼部分的示意圖?？梢詮牡染匦螆D像中提取左眼部分和右眼部分作為左眼中間圖像和右眼中間圖像。左眼中間圖像和右眼中間圖像可以形成中間圖像的集合，包括左眼中間圖像的子集和右眼中間圖像的子集。

在一些實(shí)施例中，左眼中間圖像1002是從如圖10a所示的等矩形圖像1000中提取的，右眼中間圖像1004是從如圖10b所示的相同等矩形圖像1000中提取的。左眼中間圖像1002和右眼中間圖像1004可以各自覆蓋例如30°的視角。

如上所述，可以使用兩個(gè)中間圖像之間的重疊區(qū)域來生成全景圖像。圖11是根據(jù)本公開的一些實(shí)施例的部分重疊的左眼中間圖像的示例性示意圖?？梢源_定兩個(gè)左眼中間圖像1102和1104之間的第一重疊區(qū)域1106(圖11中的陰影部分)。

與參考圖7所討論的類似，給定兩個(gè)左眼中間圖像的視角和對(duì)應(yīng)于左眼中間圖像的攝像機(jī)的位置，可以在球坐標(biāo)系中確定左眼中間圖像之間的重疊區(qū)域，并且如果需要可以在任何其他坐標(biāo)系中標(biāo)識(shí)。

也可以相應(yīng)地確定每兩個(gè)左眼中間圖像之間的第一重疊區(qū)域。類似地，也可以相應(yīng)地確定每兩個(gè)右眼中間圖像之間的第二重疊區(qū)域，為了清楚起見，這里省略了描述和示意圖。

可以對(duì)左眼中間圖像和右眼中間圖像執(zhí)行任何合適的融合方法(例如，上述的金字塔融合方法)，使得可以基于第一重疊區(qū)域來融合左眼中間圖像以獲得左眼全景圖像，并且可以基于第一重疊區(qū)域來融合左眼中間圖像以獲得左眼全景圖像。通過融合從等矩形圖像確定的所有左眼和右眼區(qū)域，可以生成左眼全景圖像和右眼全景圖像。當(dāng)左眼和右眼全景圖像分別顯示給用戶的左眼和右眼時(shí)，可以為用戶生成立體全景。

圖12a和12b分別示出了根據(jù)本公開的一些實(shí)施例生成的示例性左眼和右眼全景圖像。圖12a中的左眼全景圖像1202和圖12b中的右眼全景圖像1204被豎直對(duì)準(zhǔn)，并且提供參考線(即虛線)以示出左眼全景圖像1202和右眼全景圖像1204之間的視差。視差是例如兩眼觀察物體的顯現(xiàn)位置的位移或差異。參考線設(shè)置在右眼全景圖像1204中的樹旁邊。當(dāng)參考線延伸穿過左眼全景圖像1202時(shí)，相同的樹從參考線移位某個(gè)間隙。左眼全景圖像1202中的該間隙(或位移)指示所謂的視差。因此，當(dāng)左眼和右眼全景圖像分別顯示給用戶的左眼和右眼時(shí)，可以為用戶生成立體全景。

上面公開的成像設(shè)備100可以從圓形陣列中的多個(gè)位置捕捉圖像，將捕捉的圖像投影到對(duì)應(yīng)的等矩形圖像中，并且基于對(duì)應(yīng)的等矩形圖像生成用于2d或3d顯示的全景圖像。因?yàn)榭梢栽谙嗤淖鴺?biāo)系中處理投影的等矩形圖像，所以可以極大地減少處理負(fù)擔(dān)。

本公開的實(shí)施例還包括用于生成全景圖像的方法。圖13是根據(jù)一些實(shí)施例的用于生成全景圖像的方法1300的流程圖。例如，方法1300可以由成像設(shè)備100執(zhí)行，并且可以包括以下討論的步驟s1302-s1308。

在步驟s1302中，成像設(shè)備100可以從圓形陣列中的多個(gè)位置捕捉圖像。成像設(shè)備100可以包括成像單元，成像單元包括至少一個(gè)攝像機(jī)。在一些實(shí)施例中，成像設(shè)備100可以通過分別設(shè)置在面向徑向向外的位置處的攝像機(jī)捕捉圖像。例如，成像單元可以包括對(duì)應(yīng)于十六個(gè)不同位置的十六個(gè)攝像機(jī)。攝像機(jī)的數(shù)量可能不限于十六，只要攝像機(jī)覆蓋周圍的場景即可。

然而，在一些實(shí)施例中，成像單元可以包括較少的攝像機(jī)以覆蓋周圍的場景。在這種情況下，成像設(shè)備100還可以包括用于旋轉(zhuǎn)成像單元的旋轉(zhuǎn)單元，以捕捉周圍場景的圖像。例如，成像設(shè)備100可以通過如下捕捉圖像：通過成像單元(例如，包括一個(gè)攝像機(jī))在第一位置處捕捉第一圖像，并且將成像單元旋轉(zhuǎn)角度至第二位置以捕捉第二圖像。通過繼續(xù)旋轉(zhuǎn)成像單元，成像設(shè)備100可捕捉足夠的圖像以生成全景圖像。

在步驟s1304中，成像設(shè)備100可以將捕捉的圖像投影到對(duì)應(yīng)的等矩形圖像中。在一些實(shí)施例中，成像設(shè)備100可以通過如下來投影捕捉的圖像：接收捕捉的圖像中的像素的坐標(biāo)，在映射表中查找坐標(biāo)，從映射表獲得等矩形圖像中的像素的對(duì)應(yīng)坐標(biāo)，以及將捕捉的圖像中的像素的值提供給等矩形圖像的對(duì)應(yīng)坐標(biāo)上的像素。映射表可以預(yù)先生成并存儲(chǔ)在成像設(shè)備100中。以上已經(jīng)討論了生成映射表的方法，為了清楚起見，將省略其描述。由于攝像機(jī)捕捉的圖像位于不同的攝像機(jī)坐標(biāo)系中，因此直接處理捕捉的圖像是不方便的。通過將捕捉的圖像投影到公共坐標(biāo)系中的等矩形圖像中，可以在隨后的步驟中有效地處理等矩形圖像。

在步驟s1306中，成像設(shè)備100可以從等矩形圖像提取中間圖像的集合。在一個(gè)實(shí)施例中，成像設(shè)備100可以接收等矩形圖像，并且提取每個(gè)等矩形圖像的中心部分作為中間圖像，以獲得中間圖像的集合。在另一個(gè)實(shí)施例中，成像設(shè)備100可以接收對(duì)應(yīng)于在第一位置捕捉的第一圖像的第一等矩形圖像、對(duì)應(yīng)于在第二位置捕捉的第二圖像的第二等矩形圖像和對(duì)應(yīng)于在第三位置捕捉的第三圖像的第三等矩形圖像。在圓形陣列中，第二位置位于第一位置的左側(cè)，第三位置位于第一位置的右側(cè)。成像設(shè)備100可以進(jìn)一步提取第一等矩形圖像中與第二等矩形圖像重疊的第一部分作為第一中間圖像，并且提取第一等距圖像中與第三等矩形圖像重疊的第二部分作為第二中間圖像，并且中間圖像的集合可以包括第一中間圖像的子集和第二中間圖像的子集。第一中間圖像可以包括用于呈現(xiàn)給用戶的右眼的場景，并且第二中間圖像可以包括用于呈現(xiàn)給用戶的左眼的場景。

可以進(jìn)一步處理從每個(gè)等矩形圖像的中心部分生成的或包括第一中間圖像的子集和第二中間圖像的子集的中間圖像集合，以生成全景圖像。

在步驟s1308中，成像設(shè)備100可以融合所述集合的中間圖像以生成全景圖像。在一些實(shí)施例中，成像設(shè)備100可以確定中間圖像集合中的兩個(gè)中間圖像之間的重疊區(qū)域，并且基于重疊區(qū)域來融合兩個(gè)中間圖像以生成全景圖像。例如，當(dāng)從每個(gè)等矩形圖像的中心部分生成中間圖像的集合時(shí)，可以生成二維全景圖像。當(dāng)中間圖像的集合包括第一中間圖像的子集和第二中間圖像的子集時(shí)，成像設(shè)備100可以確定第一中間圖像的子集中的兩個(gè)第一中間圖像之間的第一重疊區(qū)域，并且基于第一重疊區(qū)域融合兩個(gè)第一中間圖像以獲得第一全景圖像(例如，圖12中的圖像1204)；并且確定第二中間圖像的子集中的兩個(gè)第二中間圖像之間的第二重疊區(qū)域，并且基于第二重疊區(qū)域融合兩個(gè)第二中間圖像以獲得第二全景圖像(例如，圖12中的圖像1202)。第一全景圖像可以呈示給用戶的右眼，并且第二全景圖像可以呈示給用戶的左眼。由于第一和第二全景圖像之間的視差，用戶可以將圖像感知為三維全景。

附圖中的流程圖和框圖示出了根據(jù)本發(fā)明的多個(gè)實(shí)施例的系統(tǒng)和方法的可能實(shí)現(xiàn)的系統(tǒng)架構(gòu)、功能和操作。在這方面，流程圖或框圖中的每個(gè)塊可以表示一個(gè)模塊、一個(gè)程序段或代碼的一部分，其中模塊、程序段或代碼部分包括用于實(shí)現(xiàn)指定的邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令。還應(yīng)當(dāng)注意，在一些替代實(shí)現(xiàn)中，塊中標(biāo)記的功能也可以以與附圖中所標(biāo)記的順序不同的順序發(fā)生。例如，兩個(gè)連續(xù)的塊可以基本上并行地執(zhí)行，并且有時(shí)它們也可以以相反的順序執(zhí)行，這取決于所涉及的功能?？驁D和/或流程圖中的每個(gè)塊以及框圖和/或流程圖中的塊的組合可以由用于執(zhí)行相應(yīng)功能或操作的專用基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以通過專用硬件和計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。

如本領(lǐng)域技術(shù)人員將理解的，本公開的實(shí)施例可以體現(xiàn)為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本公開的實(shí)施例可以采取完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件的實(shí)施例的形式，用于允許專用組件執(zhí)行上述功能。此外，本公開的實(shí)施例可以采用以一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等)體現(xiàn)的計(jì)算機(jī)程序產(chǎn)品的形式，其包含計(jì)算機(jī)可讀程序代碼。

參考根據(jù)本公開的實(shí)施例的方法、設(shè)備(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖來描述本公開的實(shí)施例。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)流程和/或塊以及流程圖和/或框圖中的流程和/或塊的組合可以由計(jì)算機(jī)程序指令來實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以被提供給計(jì)算機(jī)的處理器、嵌入式處理器或其他可編程數(shù)據(jù)處理設(shè)備以產(chǎn)生機(jī)器，使得經(jīng)由計(jì)算機(jī)的處理器或其他可編程數(shù)據(jù)處理設(shè)備執(zhí)行的指令創(chuàng)建用于實(shí)現(xiàn)流程圖中一個(gè)或多個(gè)流中和/或框圖中的一個(gè)或多個(gè)塊中指定的功能的手段。

這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，計(jì)算機(jī)可讀存儲(chǔ)器可引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作，使得存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括用于實(shí)現(xiàn)流程圖中的一個(gè)或多個(gè)流中和/或框圖中的一個(gè)或多個(gè)塊中所指定的功能的指令裝置在內(nèi)的制造品。

這些計(jì)算機(jī)程序指令還可以被加載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，以使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生由計(jì)算機(jī)實(shí)現(xiàn)的處理，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供了用于實(shí)現(xiàn)流程圖中一個(gè)或多個(gè)流中和/或框圖中的一個(gè)或多個(gè)塊中所指定的功能的步驟。在典型的配置中，計(jì)算機(jī)設(shè)備包括一個(gè)或多個(gè)中央處理單元(cpu)、輸入/輸出接口、網(wǎng)絡(luò)接口和存儲(chǔ)器。存儲(chǔ)器可以包括易失性存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器(ram)和/或非易失性存儲(chǔ)器等的形式，諸如計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的只讀存儲(chǔ)器(rom)或閃存ram。存儲(chǔ)器是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是指可以存儲(chǔ)可由處理器讀取的信息或數(shù)據(jù)的任何類型的物理存儲(chǔ)器。因此，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以存儲(chǔ)用于由一個(gè)或多個(gè)處理器執(zhí)行的指令，包括用于使處理器執(zhí)行與本文所述的實(shí)施例一致的步驟或階段的指令。計(jì)算機(jī)可讀介質(zhì)包括非易失性和易失性介質(zhì)以及可移除和不可移動(dòng)介質(zhì)，其中信息存儲(chǔ)可以用任何方法或技術(shù)來實(shí)現(xiàn)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)和程序或其他數(shù)據(jù)的模塊。非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)的示例包括但不限于相變隨機(jī)存取存儲(chǔ)器(pram)、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)、其他類型的隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、閃存或其他存儲(chǔ)器技術(shù)、致密盤只讀存儲(chǔ)器(cd-rom)、數(shù)字通用光盤(dvd)或其他光學(xué)存儲(chǔ)器、盒式磁帶、磁帶或磁盤存儲(chǔ)器或其他磁存儲(chǔ)設(shè)備、高速緩存、寄存器或可用于存儲(chǔ)能夠被計(jì)算機(jī)設(shè)備訪問的信息的任何其它非傳輸介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是非瞬時(shí)性的，并且不包括諸如調(diào)制數(shù)據(jù)信號(hào)和載波之類的瞬時(shí)介質(zhì)。

所示的步驟旨在解釋所示的示例性實(shí)施例，并且應(yīng)當(dāng)預(yù)期持續(xù)的技術(shù)發(fā)展將改變執(zhí)行特定功能的方式。因此，為了說明而不是限制，這些實(shí)施例在本文中給出。例如，本文公開的步驟或過程不限于以所描述的順序執(zhí)行，而是可以以任何順序執(zhí)行，并且可以省略與所公開的實(shí)施例一致的一些步驟。此外，為了方便描述，功能構(gòu)建塊的邊界已經(jīng)被任意定義。只要指定的功能和關(guān)系被適當(dāng)?shù)貓?zhí)行，可以定義替代邊界?；诒疚乃慕虒?dǎo)，替代方案(包括本文所述的那些的等價(jià)物、擴(kuò)展、變型、偏差等)對(duì)于相關(guān)技術(shù)領(lǐng)域的技術(shù)人員而言將是顯而易見的。這樣的替代方案落入所公開的實(shí)施例的范圍和精神內(nèi)。

盡管本文描述了所公開原理的示例和特征，但是在不脫離所公開的實(shí)施例的精神和范圍的情況下，可以進(jìn)行修改、適配和其他實(shí)現(xiàn)。此外，“包括”、“具有”、“包含”和“包括”等詞語意圖具有等同意義，并且是開放式的，因?yàn)檫@些單詞中的任何一個(gè)之后的一個(gè)或多個(gè)項(xiàng)不是意圖是對(duì)這一個(gè)或多個(gè)項(xiàng)的詳盡列表，或意圖僅限于列出的一個(gè)或多個(gè)項(xiàng)。還必須注意的是，如本文和所附權(quán)利要求中所使用的，除非上下文另有明確規(guī)定，單數(shù)形式“一”、“一個(gè)”和“該”包括多個(gè)參考。

應(yīng)當(dāng)理解，本公開不限于上面已經(jīng)描述并在附圖中示出的確切構(gòu)造，并且在不脫離其范圍的情況下可以進(jìn)行各種修改和改變。意圖是本公開的范圍應(yīng)僅由所附權(quán)利要求限制。