四透鏡球面相機(jī)取向的制作方法
【專利說(shuō)明】
【背景技術(shù)】
[0001]在成像領(lǐng)域內(nèi)，許多情景涉及特征在于具有兩個(gè)或多個(gè)魚(yú)眼透鏡的集合的相機(jī)，每個(gè)魚(yú)眼透鏡配置為將圖像聚焦在包括圍繞相機(jī)的視球(viewing sphere)的一部分的成像器上，并且由成像器捕捉圖像以便生成合成圖像。在許多這樣的示例中，透鏡在規(guī)則棱鏡體的中心和/或中點(diǎn)處取向；例如，對(duì)于立方體取向，每個(gè)魚(yú)眼透鏡可以被精巧地制作有捕捉大致90度的場(chǎng)景的曲率，并且可以提供四個(gè)這樣的透鏡，其被取向?yàn)閺南鄼C(jī)的每個(gè)正方形邊面向外部，可選地包括用于立方體的頂面和/或底面的第五和第六透鏡。在期望時(shí)，所有成像器可以被并發(fā)調(diào)用以對(duì)由透鏡之一分別聚焦的圖像進(jìn)行采樣，并且圖像可以組合以形成圓柱面和/或球面圖像，其可以呈現(xiàn)給用戶用于觀看圍繞相機(jī)的場(chǎng)景。

【發(fā)明內(nèi)容】

[0002]提供本
【發(fā)明內(nèi)容】
來(lái)以簡(jiǎn)化形式介紹多個(gè)概念的選擇，其在以下【具體實(shí)施方式】部分進(jìn)一步描述。該
【發(fā)明內(nèi)容】
并不旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也并不旨在用于限制所要求保護(hù)的主題的范圍。
[0003]球面相機(jī)內(nèi)透鏡的取向可以改變，例如以便捕捉場(chǎng)景的不同部分。然而，由于由各個(gè)透鏡捕捉的圖像通常是圓形的，不同的透鏡取向會(huì)改變所捕捉的圖像的幾何形狀，并且會(huì)產(chǎn)生可能影響相機(jī)的操作的各種屬性。作為第一示例，兩個(gè)或多個(gè)圖像可以在各種程度上重疊覆蓋。相機(jī)可以努力配準(zhǔn)圖像(例如，識(shí)別每個(gè)圖像中覆蓋重疊部分)，同時(shí)生成合成圖像以便減少接縫的出現(xiàn)?？梢哉J(rèn)識(shí)到，增加覆蓋重疊(特別是利用高分辨率圖像)會(huì)涉及更大的計(jì)算能力以配準(zhǔn)圖像。替代地，透鏡可以被穩(wěn)固地固定于高精度取向中，使得相機(jī)可以使用預(yù)設(shè)值，同時(shí)將圖像組合為合成圖像。然而，這樣的精度可能難以實(shí)現(xiàn)，并且可能被物理顛簸干擾。作為第二示例，兩個(gè)或多個(gè)圖像之間的場(chǎng)景中間隙會(huì)導(dǎo)致圖像中的盲點(diǎn)。并且，對(duì)于特定取向而言，具有較深曲率(其中每個(gè)魚(yú)眼透鏡捕捉場(chǎng)景的更大的弧)的第一魚(yú)眼透鏡組可能減小盲點(diǎn)，同時(shí)惡化覆蓋重疊，而具有較淺曲率的第二透鏡組可減小覆蓋重疊同時(shí)惡化盲點(diǎn)?？梢钥紤]許多透鏡取向，同時(shí)評(píng)估減少盲點(diǎn)與在由魚(yú)眼透鏡生成的圖像中選擇所期望的覆蓋重疊之間的折衷。
[0004]本文呈現(xiàn)的是用于對(duì)四透鏡魚(yú)眼相機(jī)的透鏡進(jìn)行取向以致可以既減少盲點(diǎn)又實(shí)現(xiàn)所期望的覆蓋重疊的技術(shù)。不是根據(jù)規(guī)則棱鏡體的面對(duì)透鏡進(jìn)行取向，所呈現(xiàn)的技術(shù)涉及非對(duì)稱取向。沿著第一軸(例如，相機(jī)內(nèi)的前至后的軸)，第一透鏡可以取向?yàn)槊嫦蚯埃渌齻€(gè)透鏡可以取向?yàn)橄蚝?，具有在任意兩個(gè)后向透鏡之間的大致120度的繞第一軸的旋轉(zhuǎn)角。并且，后向透鏡可以被取向以具有相對(duì)于第一軸的傾斜角(例如，可以根據(jù)傾斜角從第一軸向外旋轉(zhuǎn)每個(gè)面向后的透鏡)。特別地，可以考慮到選擇用于相機(jī)的特定魚(yú)眼透鏡來(lái)選擇傾斜角，并且以便實(shí)現(xiàn)所期望的覆蓋重疊和盲點(diǎn)的減少。以這一方式，根據(jù)本文呈現(xiàn)的技術(shù)，魚(yú)眼透鏡組的取向可以提供有利的場(chǎng)景覆蓋、可選地使得能夠?qū)崿F(xiàn)接縫的減少、更高的圖像質(zhì)量以及在相機(jī)內(nèi)的透鏡的更加高效和容錯(cuò)對(duì)準(zhǔn)。
【附圖說(shuō)明】
[0005]圖1是特征在于由各個(gè)魚(yú)眼透鏡捕捉的一組圖像合成的球面圖像的生成的示例性情景的圖示。
[0006]圖2是魚(yú)眼透鏡在球面相機(jī)內(nèi)的兩個(gè)對(duì)準(zhǔn)的圖示，其呈現(xiàn)變化程度的覆蓋重疊和盲點(diǎn)。
[0007]圖3是根據(jù)本文呈現(xiàn)的技術(shù)，為了生成球面相機(jī)的合成圖像的魚(yú)眼透鏡組中的透鏡的示例性取向的圖示。
[0008]圖4是根據(jù)本文呈現(xiàn)的技術(shù)取向的示例性球面透鏡組的密度圖。
[0009]圖5是特征在于包括根據(jù)本文呈現(xiàn)的技術(shù)取向的四個(gè)透鏡的魚(yú)眼透鏡組的示例性球面相機(jī)的圖示。
[0010]圖6是根據(jù)本文呈現(xiàn)的技術(shù)對(duì)相機(jī)的四透鏡魚(yú)眼透鏡組進(jìn)行取向的示例性方法的圖示。
[0011]圖7是特征在于具有各種曲率的魚(yú)眼透鏡組的可變傾斜角的示例性情景的圖示。
[0012]圖8呈現(xiàn)其中可以實(shí)施本文呈現(xiàn)的技術(shù)的示例性計(jì)算環(huán)境的圖示。
【具體實(shí)施方式】
[0013]現(xiàn)參照附圖描述所要求保護(hù)的主題，其中自始至終相同附圖標(biāo)記用于指代相同元件。在以下描述中，出于解釋目的，闡述各種具體細(xì)節(jié)以便提供對(duì)于所要求保護(hù)的主題的全面理解。然而，明顯的是，在不具有這些具體細(xì)節(jié)的情況下，也可以實(shí)踐所要求保護(hù)的主題。在其他例子中，結(jié)構(gòu)和裝置以方框圖形式示出以便促進(jìn)于描述所要求保護(hù)的主題。
[0014]A、介紹
在成像領(lǐng)域，許多情景涉及球面相機(jī)，其包括魚(yú)眼透鏡組并且配置為生成將由透鏡提供的圖像聚合的合成圖像。相機(jī)可以配置為生成球面圖像，包括由彎曲透鏡組并發(fā)捕捉，并且聚焦于一個(gè)或多個(gè)成像器上的圖像的合成，該一個(gè)或多個(gè)成像器分別配置為經(jīng)由光敏元件對(duì)所聚焦的(多個(gè))圖像進(jìn)行采樣并且生成一個(gè)或多個(gè)數(shù)字圖像。例如，數(shù)字相機(jī)通常包括電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器，其中圖像被聚焦在光敏元件的二維平面陣列上，光敏元件的二維平面陣列生成包括該圖像的二維像素陣列。這些數(shù)字圖像可以聚合為表示部分或完全圍繞圖像被(多個(gè))成像器捕捉時(shí)的視點(diǎn)的視圖(view)的圖像。
[0015]在這樣的情景中，可以以許多方式選擇各個(gè)魚(yú)眼透鏡的取向。經(jīng)常，透鏡以規(guī)則棱鏡方式取向，例如從立方體的各個(gè)面(可選地包括立方體的頂部和底部)的中心面向外部。每個(gè)透鏡可以配置為捕捉視圖的大致90度的彎曲部分?？梢愿鶕?jù)每個(gè)魚(yú)眼透鏡的規(guī)則棱鏡取向來(lái)合成由魚(yú)眼透鏡捕捉的圖像，因此提供相對(duì)簡(jiǎn)單的合成技術(shù)。
[0016]圖1呈現(xiàn)示例性情景100的圖示，示例性情景100特征在于相機(jī)106由用戶104操作以生成諸如圍繞用戶104的環(huán)境之類的場(chǎng)景102的球面圖像。在該示例性情景100中，相機(jī)106包括被取向?yàn)樵谙鄬?duì)于相機(jī)106的每個(gè)基本方向上面向的四個(gè)透鏡108 (例如，第一透鏡108面向前；第二透鏡108面向后；以及兩個(gè)附加透鏡108面向左和右)，每個(gè)透鏡配置為捕捉場(chǎng)景102的大致90度視圖。由透鏡108捕捉的每個(gè)圖像110可以被聚焦在包括光敏元件114陣列的成像器112上，每個(gè)光敏元件配置為對(duì)圖像110的一小部分進(jìn)行采樣并且輸出讀取作為像素的光。由成像器112記錄的采樣隨后可以組合以產(chǎn)生、特征在于圍繞用戶104的視球的合成圖像116，其通常包括握持相機(jī)106的用戶104。(雖然為了簡(jiǎn)化，合成圖像116本文示出為平坦圖像，但是應(yīng)認(rèn)識(shí)到，合成圖像116也可以是圓柱形和/或球面的，并且可以在用戶界面中呈現(xiàn)，該用戶界面使得用戶能夠在合成圖像116內(nèi)環(huán)視。)在這些和其他情景中，各個(gè)透鏡108的選擇和取向可以被選擇作為各種配置，并且每個(gè)配置可影響合成圖像116的特定屬性。作為第一示例，各個(gè)透鏡108的曲率可以改變透鏡108的球面覆蓋；例如，更加高度彎曲的透鏡108可以覆蓋場(chǎng)景102內(nèi)的大視角，而較不高度彎曲的透鏡108可以覆蓋場(chǎng)景102內(nèi)較小的視角。作為第三示例，兩個(gè)透鏡108的取向可以導(dǎo)致場(chǎng)景102的切向覆蓋；可以導(dǎo)致場(chǎng)景102內(nèi)的覆蓋重疊(例如，在由兩個(gè)透鏡108生成的圖像110中捕捉的場(chǎng)景102的一部分);或者場(chǎng)景102內(nèi)未包括在由任意透鏡108捕捉的圖像110中的間隙，并且因此建立在合成圖像116中的盲點(diǎn)。作為第三示例，透鏡108的配置和/或成像器112的質(zhì)量會(huì)導(dǎo)致跨越圖像110的可變分辨率；例如，高度彎曲的透鏡108可導(dǎo)致顯著的球面像差，顯著的球面像差減小了圖像108的邊緣附近的分辨率和/或質(zhì)量。透鏡108和/或成像器112的這些和其他屬性可能影響球面相機(jī)106的魚(yú)眼透鏡組的透鏡108的取向的選擇。
[0017]圖2呈現(xiàn)示例性情景200的圖示，示例性情景200特征在于相機(jī)106具有以圖1的示例性情景100中圖示的規(guī)則棱鏡方式取向的四個(gè)透鏡108，以及會(huì)導(dǎo)致場(chǎng)景102的各種類型的覆蓋的透鏡108的兩個(gè)可選取向。第一示例202和第二示例204均圖示視圖102的哪個(gè)部分由從處于兩個(gè)不同配置和取向中的透鏡108生成的圖像110覆蓋。作為第一示例202，如果透鏡108是高度彎曲并且覆蓋大于場(chǎng)景的90度視圖，則來(lái)自各個(gè)透鏡108的圖像110可以包括顯著量的覆蓋重疊(例如，出現(xiàn)在第一示例202中的頂部圖像110和右圖像10之間的足球形狀的覆蓋重疊206)。附加地，在圖像110的邊緣之間，會(huì)出現(xiàn)間隙208，其導(dǎo)致合成圖像116中的盲點(diǎn)。相比而言，在第二示例204中，透鏡108的不同選擇和取向(例如，具有較小大小的曲率的透鏡108)可減小或消除覆蓋重疊206，但可導(dǎo)致視場(chǎng)中明顯較大的間隙208。
[0018]除了這些問(wèn)題以外，其他問(wèn)題可起因于影響合成圖像116的圖像質(zhì)量的透鏡10