用pi濾光器群組來形成圖案的相機模塊的制作方法
【專利摘要】根據(jù)本發(fā)明的實施例的系統(tǒng)和方法用π濾光器群組來對陣列相機模塊形成圖案。在一個實施例中，一種陣列相機模塊包括：包括多個焦平面的M x N成像器陣列，其中每個焦平面包括光敏像素的陣列；透鏡堆疊的M x N光學陣列，其中每個透鏡堆疊對應(yīng)于一焦平面，并且其中每個透鏡堆疊在其相應(yīng)的焦平面上形成場景的圖像；其中透鏡堆疊和焦平面的每一對從而定義一相機；其中M x N相機陣列中的至少一行至少包括一個紅相機、一個綠相機和一個藍相機；并且其中M x N相機陣列中的至少一列至少包括一個紅相機、一個綠相機和一個藍相機。
【專利說明】用Pi濾光器群組來形成圖案的相機模塊

【技術(shù)領(lǐng)域】
[0001]本發(fā)明概括而言涉及數(shù)字相機，更具體而言涉及在陣列相機的相機模塊中利用的濾光器圖案。

【背景技術(shù)】
[0002]傳統(tǒng)的數(shù)字相機通常包括具有透鏡堆疊(lens stack)的單個焦平面。焦平面包括光敏像素的陣列并且是傳感器的一部分。透鏡堆疊創(chuàng)建光學通道，該光學通道在焦平面中的光敏像素的陣列上形成場景的圖像。每個光敏像素可基于入射在該像素上的光來生成圖像數(shù)據(jù)。
[0003]在傳統(tǒng)的彩色數(shù)字相機中，顏色濾光器(color filter)的陣列通常被應(yīng)用到相機的傳感器的焦平面中的像素。典型的顏色濾光器可包括紅、綠和藍顏色濾光器。在給定顏色濾光器圖案的情況下，可以使用去馬賽克算法來為由焦平面捕捉的圖像數(shù)據(jù)的每個像素插值出一組完整的紅、綠和藍值。相機顏色濾光器圖案的一個示例是拜耳(Bayer)濾光器圖案。拜耳濾光器圖案描述了紅、綠和藍顏色濾光器的一種特定圖案，其導致焦平面中50%的像素捕捉綠光，25 %捕捉紅光并且25 %捕捉藍光。
[0004]在了解了雙眼成像的情況下，可以增強傳統(tǒng)的攝影術(shù)。對場景的雙眼觀看由于每只眼睛的不同視場(field of view)而創(chuàng)建該場景的兩個略微不同的圖像。這些差異被稱為雙眼像差(disparity)(或視差(parallax))，其提供了可用于計算視覺場景中的深度的信息，從而提供了深度感知的主要手段。與立體深度感知相關(guān)聯(lián)的深度的印象也可在其他條件下獲得，例如當觀察者在移動的同時只用一只眼睛觀看場景時。觀察到的視差可被利用來為場景中的對象獲得深度信息。機器視覺中的類似原理可用于收集深度信息。
[0005]例如，相隔某一距離的兩個相機可拍攝同一場景的圖片，并且可通過偏移兩個或更多個圖像的像素以找出圖像的匹配部分來比較捕捉的圖像。對象在不同的相機視域之間偏移的量被稱為像差，其與到該對象的距離成反比。檢測對象在多個圖像中的偏移的像差搜索可用于基于相機與所涉及的相機的焦距之間的基線距離來計算到對象的距離。利用兩個或更多個相機來生成立體三維圖像的方法通常被稱為多視域立體(mult1-viewstereo)。
[0006]當從不同的角度捕捉場景的多個圖像并且該場景包括前景對象時，每個圖像中的該前景對象的位置處的像差導致場景的在該前景對象后方的部分在一些但不是所有圖像中可見。捕捉關(guān)于場景的在從其他視點捕捉的場景的圖像中不可見的部分的圖像數(shù)據(jù)的像素可被稱為被遮蔽像素(occluded pixel)。
[0007]圖1A和IB不出了視差和遮蔽的原理。圖1A描繪了由具有第一視場的第一相機捕捉的圖像100，而圖1B描繪了由具有第二視場的第二鄰近相機捕捉的圖像102。在由第一相機捕捉的圖像100中，前景對象104看起來在背景對象106的略偏右處。然而，在由第二相機捕捉的圖像102中，前景對象104看起來偏移到了背景對象106的左手側(cè)。由兩個相機的不同視場引入的像差等于前景對象104在由第一相機捕捉的圖像中的位置(在由第二相機捕捉的圖像中由虛線108指示)與其在由第二相機捕捉的圖像中的位置之間的差異。從兩個相機到前景對象的距離可通過確定前景對象在兩個捕捉的圖像中的像差來獲得，并且這在標題為“Systems and Methods for Parallax Detect1n and Correct1n in ImagesCaptured Using Array Cameras”的美國專利申請序列號61/780，906中描述。美國專利申請序列號61/780，906的公開內(nèi)容通過引用被全部并入在此。
[0008]此外，參考圖1A和1B，當其視場在圖1B中描繪的第二相機的視點被選擇為基準視點時，在圖像102中的虛線108內(nèi)包含的像素可被認為是被遮蔽像素(即，這些像素捕捉來自場景的如下部分的圖像數(shù)據(jù):該部分在由第二相機捕捉的圖像102中可見，而在由第一相機捕捉的圖像100中不可見)。在第二圖像102中，前景對象104的像素可被稱為遮蔽像素(occluding pixel)，因為它們捕捉場景的如下部分:這些部分遮蔽了圖像102中的虛線108內(nèi)包含的像素。由于對第二圖像102中的虛線108內(nèi)包含的像素的遮蔽，因此不能從兩個圖像確定從相機到場景的在虛線108內(nèi)可見的部分的距離，因為在圖1A所示的圖像100中沒有對應(yīng)的像素。


【發(fā)明內(nèi)容】

[0009]根據(jù)本發(fā)明的實施例的系統(tǒng)和方法用π濾光器群組來對陣列相機模塊形成圖案(pattern)。在一個實施例中，一種陣列相機模塊包括:包括多個焦平面的M x N成像器陣列，每個焦平面包括光敏像素的陣列；透鏡堆疊的M X N光學陣列，其中每個透鏡堆疊對應(yīng)于一焦平面，并且其中每個透鏡堆疊在其相應(yīng)的焦平面上形成場景的圖像；其中透鏡堆疊及其相應(yīng)的焦平面的每一對從而定義一相機；其中，M X N相機陣列中的至少一行包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；并且其中，M X N相機陣列中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。
[0010]在另一實施例中，M和N各自大于2并且M和N中的至少一個是偶數(shù)；在陣列相機模塊中的相機內(nèi)實現(xiàn)顏色濾光器，使得用至少一個η濾光器群組來對陣列相機模塊形成圖案，該至少一個η濾光器群組包括:3 X 3相機陣列，其包括:在3 X 3相機陣列的中心處的基準相機；位于3 X 3相機陣列的相對側(cè)的兩個紅顏色相機；位于3 X 3相機陣列的相對側(cè)的兩個藍顏色相機；以及圍繞基準相機的四個綠顏色相機。
[0011]在另一實施例中，圍繞基準相機的四個綠顏色相機中的每一個被部署在3 X 3相機陣列的角落位置。
[0012]在另一實施例中，M為四；N為四；4 X 4陣列相機模塊的第一行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和紅顏色相機；4 X 4陣列相機模塊的第二行相機按順序包括紅顏色相機、綠顏色相機、紅顏色相機和綠顏色相機；4 X 4陣列相機模塊的第三行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和藍顏色相機；并且4 x4陣列相機模塊的第四行相機按順序包括藍顏色相機、綠顏色相機、紅顏色相機和綠顏色相機。
[0013]在另一實施例中，M為四；N為四；4 X 4陣列相機模塊的第一行相機按順序包括紅顏色相機、綠顏色相機、藍顏色相機和綠顏色相機；4 X 4陣列相機模塊的第二行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和紅顏色相機；4 X 4陣列相機模塊的第三行相機按順序包括藍顏色相機、綠顏色相機、藍顏色相機和綠顏色相機；并且4 X 4陣列相機模塊的第四行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和藍顏色相機。
[0014]在另一實施例中，基準相機是綠顏色相機。
[0015]在另一實施例中，基準相機是以下各項之一:包含拜耳濾光器的相機、被配置為捕捉紅外光的相機、以及被配置為捕捉紫外光的相機。
[0016]在另一實施例中，兩個紅顏色相機中的每一個位于3 X 3相機陣列的角落位置，并且兩個藍顏色相機中的每一個位于3 X 3相機陣列的角落位置。
[0017]在另一實施例中，在成像器陣列上實現(xiàn)至少一個顏色濾光器。
[0018]在另一實施例中，在透鏡堆疊上實現(xiàn)至少一個顏色濾光器。
[0019]在另一實施例中，一種3x3陣列相機模塊包括:包括焦平面的3x3布置的3 x3成像器陣列，每個焦平面包括光敏像素的陣列；透鏡堆疊的3 X 3光學陣列，其中每個透鏡堆疊對應(yīng)于一焦平面，并且其中每個透鏡堆疊在其相應(yīng)的焦平面上形成場景的圖像；其中透鏡堆疊及其相應(yīng)的焦平面的每一對從而定義一相機；其中3 X 3相機陣列包括:在3 X3相機陣列的中心處的基準相機；位于3 X 3相機陣列的相對側(cè)的兩個紅顏色相機；位于3X 3相機陣列的相對側(cè)的兩個藍顏色相機；以及四個綠顏色相機，各自位于3 X 3相機陣列的角落位置；其中每個顏色相機是利用顏色濾光器來實現(xiàn)的。
[0020]在另一實施例中，在成像器陣列上實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
[0021 ] 在另一實施例中，在透鏡堆疊內(nèi)實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
[0022]在另一實施例中，基準相機是綠顏色相機。
[0023]在另一實施例中，基準相機是以下各項之一:包含拜耳濾光器的相機、被配置為捕捉紅外光的相機、以及被配置為捕捉紫外光的相機。
[0024]在另一實施例中，一種用至少一個π濾光器群組來對陣列相機模塊形成圖案的方法包括:評估M X N個焦平面的成像器陣列是否包括任何缺陷焦平面，其中每個焦平面包括光敏像素的陣列；利用以下各項來組裝M X N陣列相機模塊:Μ X N個焦平面的成像器陣列；透鏡堆疊的M X N光學陣列，其中每個透鏡堆疊對應(yīng)于一焦平面，其中M X N陣列相機模塊被組裝成使得:每個透鏡堆疊及其相應(yīng)的焦平面定義一相機；在陣列相機模塊內(nèi)實現(xiàn)顏色濾光器以使得陣列相機模塊被用至少一個η濾光器群組來形成圖案，該至少一個η濾光器群組包括:3 X 3相機陣列，其包括:在3 X 3相機陣列的中心處的基準相機；位于3X 3相機陣列的相對側(cè)的兩個紅顏色相機；位于3 X 3相機陣列的相對側(cè)的兩個藍顏色相機；以及圍繞基準相機的四個綠顏色相機；并且其中，用至少一個η濾光器群組來對陣列相機模塊形成圖案以使得包括缺陷焦平面的相機是綠顏色相機。
[0025]在另一實施例中，在成像器陣列上實現(xiàn)至少一個顏色濾光器。
[0026]在另一實施例中，在透鏡堆疊內(nèi)實現(xiàn)至少一個顏色濾光器。
[0027]在另一實施例中，基準相機是綠顏色相機。
[0028]在另一實施例中，基準相機是以下各項之一:包含拜耳濾光器的相機、被配置為捕捉紅外光的相機、以及被配置為捕捉紫外光的相機。
[0029]在另一實施例中，一種陣列相機模塊包括:包括M X N個焦平面的成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)；Μ X N個透鏡堆疊的光學陣列，其中由透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像；其中，成像器陣列和透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的M X N陣列；其中，相機的M X N陣列中的至少一行包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；并且其中，相機的M X N陣列中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。
[0030]在另一實施例中，紅顏色相機是捕捉包括具有在620nm到750nm的范圍內(nèi)的波長的電磁波的圖像數(shù)據(jù)的相機；綠顏色相機是捕捉包括具有在495nm到570nm的范圍內(nèi)的波長的電磁波的圖像數(shù)據(jù)的相機；并且藍顏色相機是捕捉包括具有在450nm到495nm的范圍內(nèi)的波長的電磁波的圖像數(shù)據(jù)的相機。
[0031]在另一實施例中，陣列相機模塊內(nèi)的每個相機的光學器件被配置成使得每個相機具有場景的如下視場，該視場相對于其他相機的視場是偏移的，從而每個相機的視場相對于其他相機的視場的每個偏移被配置為包括場景的唯一亞像素偏移視域。
[0032]在另一實施例中，M和N各自大于2并且M和N中的至少一個是偶數(shù)；在陣列相機模塊中的相機內(nèi)實現(xiàn)顏色濾光器，使得用至少一個η濾光器群組來對陣列相機模塊形成圖案，該至少一個η濾光器群組包括:3 X 3相機陣列，其包括:在3 X 3相機陣列的中心處的基準相機；位于3 X 3相機陣列的相對側(cè)的兩個紅顏色相機；位于3 X 3相機陣列的相對側(cè)的兩個藍顏色相機；以及圍繞基準相機的四個綠顏色相機。
[0033]在另一實施例中，圍繞基準相機的四個綠顏色相機中的每一個被部署在3 X 3相機陣列的角落位置。
[0034]在另一實施例中，M為四；N為四；4 X 4陣列相機模塊的第一行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和紅顏色相機；4 X 4陣列相機模塊的第二行相機按順序包括紅顏色相機、綠顏色相機、紅顏色相機和綠顏色相機；4 X 4陣列相機模塊的第三行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和藍顏色相機；并且4 x4陣列相機模塊的第四行相機按順序包括藍顏色相機、綠顏色相機、紅顏色相機和綠顏色相機。
[0035]在另一實施例中，M為四；N為四；4 X 4陣列相機模塊的第一行相機按順序包括紅顏色相機、綠顏色相機、藍顏色相機和綠顏色相機；4 X 4陣列相機模塊的第二行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和紅顏色相機；4 X 4陣列相機模塊的第三行相機按順序包括藍顏色相機、綠顏色相機、藍顏色相機和綠顏色相機；并且4 x4陣列相機模塊的第四行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和藍顏色相機。
[0036]在另一實施例中，至少一個濾光器群組內(nèi)的基準相機是綠顏色相機。
[0037]在另一實施例中，至少一個π濾光器群組內(nèi)的基準相機是包含拜耳濾光器的相機。
[0038]在另一實施例中，基準相機是以下各項之一:包含拜耳濾光器的相機、被配置為捕捉紅外光的相機、以及被配置為捕捉紫外光的相機。
[0039]在另一實施例中，兩個紅顏色相機中的每一個位于3 X 3相機陣列的角落位置，并且其中，兩個藍顏色相機中的每一個位于3 X 3相機陣列的角落位置。
[0040]在另一實施例中，在成像器陣列上實現(xiàn)至少一個顏色濾光器。
[0041]在另一實施例中，在透鏡堆疊上實現(xiàn)至少一個顏色濾光器。
[0042]在另一實施例中，一種3x3陣列相機模塊包括:包括焦平面的3x3布置的3 χ3成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)；透鏡堆疊的3 χ 3光學陣列，其中由透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像；其中，成像器陣列和透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的3 χ3陣列；其中，3 χ 3相機陣列包括:在3 χ 3相機陣列的中心處的基準相機；位于3 χ 3相機陣列的相對側(cè)的兩個紅顏色相機；位于3 χ 3相機陣列的相對側(cè)的兩個藍顏色相機；以及四個綠顏色相機，各自位于3 χ 3相機陣列的角落位置；其中每個顏色相機是利用顏色濾光器來實現(xiàn)的。
[0043]在另一實施例中，在成像器陣列上實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
[0044]在另一實施例中，在透鏡堆疊內(nèi)實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
[0045]在另一實施例中，基準相機是綠顏色相機。
[0046]在另一實施例中，基準相機是以下各項之一:包含拜耳濾光器的相機、被配置為捕捉紅外光的相機、以及被配置為捕捉紫外光的相機。
[0047]在另一實施例中，一種陣列相機模塊包括:包括M χ N個焦平面的成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)；Μ χ N個透鏡堆疊的光學陣列，其中由透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像；其中，成像器陣列和透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的M χ N陣列；并且其中，相機的M χ N陣列中的至少一行或者至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。
[0048]在另一實施例中，M為三；Ν為三；3 χ 3陣列相機模塊的第一行相機按順序包括藍顏色相機、綠顏色相機和綠顏色相機；3 χ 3陣列相機模塊的第二行相機按順序包括紅顏色相機、綠顏色相機和紅顏色相機；并且3 χ 3陣列相機模塊的第三行相機按順序包括綠顏色相機、綠顏色相機和藍顏色相機。
[0049]在另一實施例中，M為三；Ν為三；3 χ 3陣列相機模塊的第一行相機按順序包括紅顏色相機、綠顏色相機和綠顏色相機；3 χ 3陣列相機模塊的第二行相機按順序包括藍顏色相機、綠顏色相機和藍顏色相機；并且3 χ 3陣列相機模塊的第三行相機按順序包括綠顏色相機、綠顏色相機和紅顏色相機。
[0050]在另一實施例中，一種陣列相機包括:陣列相機模塊，其包括:包括M χ N個焦平面的成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)；M χ N個透鏡堆疊的光學陣列，其中由透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像；其中，成像器陣列和透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的M χ N陣列；其中，M χ N相機陣列中的至少一行包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；并且其中,M χ N相機陣列中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；以及處理器，其包括圖像處理管道，該圖像處理管道包括:視差檢測模塊；以及超分辨率模塊；其中，視差檢測模塊被配置為從相機模塊獲得場景的基準低分辨率圖像和該場景的至少一個替換視域圖像；其中，視差檢測模塊被配置為比較基準圖像和至少一個替換視域圖像以為基準圖像確定深度圖和遮蔽圖；并且其中，超分辨率模塊被配置為至少利用基準圖像、深度圖、遮蔽圖和至少一個替換視域圖像來合成高分辨率圖像。

【專利附圖】

【附圖說明】
[0051]圖1A和IB示出了涉及圖像捕捉的并且可根據(jù)本發(fā)明的實施例來應(yīng)對的視差和遮蔽的原理。
[0052]圖2示出了根據(jù)本發(fā)明的實施例的具有相機模塊和處理器的陣列相機。
[0053]圖3示出了根據(jù)本發(fā)明的實施例的具有光學陣列和成像器陣列的相機模塊。
[0054]圖4示出了根據(jù)本發(fā)明的實施例的圖像處理管道。
[0055]圖5A概念性示出了根據(jù)本發(fā)明的實施例的用π濾光器群組來形成圖案的3 χ 3相機模塊，其中紅顏色相機被水平布置并且藍顏色相機被垂直布置。
[0056]圖5Β概念性示出了根據(jù)本發(fā)明的實施例的用π濾光器群組來形成圖案的3 χ 3相機模塊，其中紅顏色相機被垂直布置并且藍顏色相機被水平布置。
[0057]圖5C概念性示出了根據(jù)本發(fā)明的實施例的用π濾光器群組來形成圖案的3 χ 3相機模塊，其中紅顏色相機和藍顏色相機被布置在3 χ 3相機模塊的角落位置。
[0058]圖和5E概念性示出了用π濾光器群組來形成圖案的數(shù)個3 χ 3相機模塊。
[0059]圖6概念性示出了根據(jù)本發(fā)明的實施例的用兩個π濾光器群組來形成圖案的4 χ4相機模塊。
[0060]圖7概念性示出了根據(jù)本發(fā)明的實施例的用兩個π濾光器群組來形成圖案的4 χ4相機模塊，其中具有可各自充當基準相機的兩個相機。
[0061]圖8Α示出了根據(jù)本發(fā)明的實施例的用于就缺陷焦平面來測試成像器陣列以創(chuàng)建減小任何缺陷焦平面的影響的相機模塊的過程。
[0062]圖SB概念性示出了用兩個π濾光器群組來形成圖案的4 χ 4相機模塊，其中故障焦平面引起可能的基準相機周圍的紅色覆蓋的喪失。
[0063]圖SC示出了根據(jù)本發(fā)明的實施例的以相對于圖6Β不同的π濾光器群組的布置來形成圖案的4 χ 4相機模塊，其中故障焦平面沒有導致可能的基準相機周圍的紅色覆蓋的喪失。
[0064]圖9Α概念性示出了根據(jù)本發(fā)明的實施例的使用相機的子集來為用π濾光器群組來形成圖案的4 χ 4相機模塊上的在3D模式中操作的陣列相機產(chǎn)生左虛擬視點。
[0065]圖9Β概念性示出了根據(jù)本發(fā)明的實施例的使用相機的子集來為用π濾光器群組來形成圖案的4 χ 4相機模塊上的在3D模式中操作的陣列相機產(chǎn)生右虛擬視點。
[0066]圖9C和9D概念性示出了采用π濾光器群組來捕捉立體圖像的陣列相機模塊，這些立體圖像具有與相機陣列內(nèi)的基準相機的視點相對應(yīng)的視點。
[0067]圖10概念性示出了根據(jù)本發(fā)明的實施例的用π濾光器群組來形成圖案的4 χ 4相機模塊，其中利用了九個相機來捕捉用于合成視頻的幀的圖像數(shù)據(jù)。
[0068]圖11是示出根據(jù)本發(fā)明的實施例的用于生成包括π濾光器群組的顏色濾光器圖案的過程的流程圖。
[0069]圖12Α- 12D示出了根據(jù)本發(fā)明的實施例的用于為5 χ 5相機陣列生成包括π濾光器群組的顏色濾光器圖案的過程。
[0070]圖13Α - 13D示出了根據(jù)本發(fā)明的實施例的用于為4x5相機陣列生成包括π濾光器群組的顏色濾光器圖案的過程。
[0071]圖14示出了根據(jù)本發(fā)明的實施例的利用π濾光器群組來形成圖案的7 χ 7相機陣列。

【具體實施方式】
[0072]現(xiàn)在轉(zhuǎn)到附圖，圖示了根據(jù)本發(fā)明的實施例的用于利用π濾光器群組來對陣列相機形成圖案的系統(tǒng)和方法。在許多實施例中，以一個或多個η濾光器群組來對陣列相機的相機模塊形成圖案。術(shù)語“形成圖案”在這里指的是使用相機模塊內(nèi)的個體相機中的特定顏色濾光器，使得相機在陣列相機內(nèi)形成顏色通道的圖案。術(shù)語“顏色通道”或“顏色相機”可用來指捕捉光譜的特定部分內(nèi)的圖像數(shù)據(jù)的相機，而并不一定限于與特定顏色有關(guān)的圖像數(shù)據(jù)。例如，“紅顏色相機”是捕捉與人類傳統(tǒng)上感知為紅色的電磁波相對應(yīng)(即，在這些電磁光譜內(nèi))的圖像數(shù)據(jù)的相機，并且對于“藍顏色相機”、“綠顏色相機”等等也是類似的。換言之，紅顏色相機可捕捉與具有約620nm到750nm之間的波長的電磁波相對應(yīng)的圖像數(shù)據(jù)；綠顏色相機可捕捉與具有約495nm到約570nm之間的波長的電磁波相對應(yīng)的圖像數(shù)據(jù)；并且藍顏色相機可捕捉與具有約450nm到約495nm之間的波長的電磁波相對應(yīng)的圖像數(shù)據(jù)。在其他實施例中，可見光譜的由藍顏色相機、綠顏色相機和紅顏色相機捕捉的部分可取決于具體應(yīng)用的要求。術(shù)語“拜耳相機”可用于指利用圖像平面上的拜耳濾光器圖案來捕捉圖像數(shù)據(jù)的相機。在許多實施例中，顏色通道可包括捕捉紅外光、紫外光、擴展顏色和可見光譜的適合于具體應(yīng)用的任何其他部分的相機。術(shù)語“η濾光器群組”指的是一種3 x3相機群組，其包括中央相機和分布在中央相機周圍的顏色相機，以減小每個顏色通道中的遮蔽區(qū)。η濾光器群組的中央相機在利用由成像器陣列捕捉的圖像數(shù)據(jù)來合成圖像時可用作基準相機。當相機的視點被用作合成的圖像的視點時，該相機是基準相機。η濾光器群組的中央相機以如下方式被顏色相機所圍繞:當中央相機被用作基準相機時，使得每個顏色相機的遮蔽區(qū)達到最低限度。遮蔽區(qū)是對于如下相機不可見的圍繞前景對象的區(qū)域:這些相機由于視差的效果而在空間上相對于基準相機有偏移。
[0073]如下文進一步論述的，增加在基準視點周圍的互補遮蔽區(qū)中從不同視點捕捉場景的圖像的相機的數(shù)目增大了從基準視點可見的場景的每個部分從至少一個其他相機的視點也可見的可能性。當陣列相機使用不同的相機來捕捉光的不同波長時(例如，RGB)，將捕捉每個光波長的至少一個相機分布在圍繞基準視點的象限中可大幅減小場景的從基準視點可見的部分將在特定顏色通道內(nèi)捕捉的每個其他圖像中被遮蔽的可能性。在數(shù)個實施例中，利用同一顏色通道中的位于基準相機的相對側(cè)的兩個相機或者每個顏色通道中的分布在基準相機周圍的三個扇區(qū)中的三個相機，可以實現(xiàn)從基準視點可見的場景部分將在特定顏色通道內(nèi)捕捉的每個其他圖像中被遮蔽的可能性的類似減小。在其他實施例中，相機被分布在基準相機周圍的多于四個扇區(qū)中。
[0074]在若干個實施例中，π濾光器群組的中央相機是綠相機，而在其他實施例中，中央相機捕捉來自光譜的任何適當部分的圖像數(shù)據(jù)。在數(shù)個實施例中，中央相機是拜耳相機(即，利用拜耳濾光器圖案來捕捉顏色圖像的相機)。在許多實施例中，η濾光器群組是3χ 3相機陣列，其中在每個角落有一綠顏色相機并且在中央有一可充當基準相機的綠顏色相機，并且紅和藍相機對稱分布在中央綠相機周圍。對稱分布可包括如下布置:紅顏色相機緊挨在中央綠基準相機上方和下方，藍顏色相機緊挨在其左側(cè)和右側(cè)，或者藍顏色相機緊挨在綠色中央基準相機上方和下方，紅顏色相機緊挨在其左側(cè)和右側(cè)。
[0075]根據(jù)本發(fā)明的許多實施例，可以利用π濾光器群組來對大于3 χ 3相機陣列的尺寸的相機模塊形成圖案。在許多實施例中，用η濾光器群組對相機模塊形成圖案使得能夠高效地分布基準相機周圍的相機，這減小了遮蔽區(qū)。在若干個實施例中，π濾光器群組的圖案可與彼此交疊，使得相機模塊上的兩個交疊的η濾光器群組共享共同的相機。當交疊的η濾光器群組沒有跨越相機模塊中的所有相機時，不是η濾光器群組的一部分的相機可通過如下方式被指派以一種顏色來減小所得到的相機陣列中的遮蔽區(qū):將每個顏色通道中的相機分布在基準相機和/或相機陣列內(nèi)的可充當基準相機的多個相機周圍的預定數(shù)目的扇區(qū)中的每一個扇區(qū)內(nèi)。
[0076]在一些實施例中，可以利用π濾光器群組來對相機模塊形成圖案，使得相機模塊中的至少一行或相機模塊中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。在許多實施例中，陣列相機模塊的至少一行和至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。這些布置可減小遮蔽的情況，因為它們使得捕捉不同波長的相機分布在整個相機各處。當然，利用此方案可實現(xiàn)相機的任何適當?shù)慕M合。例如，在若干個實施例中，陣列相機模塊的至少一行和至少一列包括至少一個青色相機、至少一個品紅顏色相機和至少一個黃色相機(例如，與CMYK顏色模型相對應(yīng)的顏色相機)。在一些實施例中，陣列相機模塊的至少一行和至少一列包括至少一個紅顏色相機、至少一個黃色相機和至少一個藍顏色相機(例如，與RYB顏色模型相對應(yīng)的顏色相機)。
[0077]此外，根據(jù)本發(fā)明的許多實施例也可以利用π濾光器群組來對M χ N尺寸的相機模塊形成圖案，其中M和N中的至少一者是偶數(shù)。在如下程度上這些相機模塊可不同于其中M和N都是奇數(shù)的MxN相機模塊:在M和N中的至少一者為偶數(shù)的情況下，構(gòu)成相機中沒有一個與相機陣列的中心對齊。相反，在M和N都是奇數(shù)的情況下，存在與相機陣列的中心相對應(yīng)的相機。例如，在采用單個π濾光器群組的3 χ 3相機模塊中，存在與相機陣列的中心相對應(yīng)的中央相機。與相機陣列的中心對齊的相機通常被選擇為相機模塊的基準相機。因此，在M和N之一為偶數(shù)的情況下，可以利用任何適當?shù)南鄼C作為相機模塊的基準相機。此外，圍繞基準相機的顏色相機不需要均一分布，而只需要以從基準相機的角度來看最小化或減小每個顏色的遮蔽區(qū)的方式來分布。與利用來自虛擬視點的相同圖像數(shù)據(jù)來合成圖像相比，利用η濾光器群組中的基準相機來從捕捉的圖像數(shù)據(jù)合成圖像的計算密集度要低得多。
[0078]包括以利用相機模塊內(nèi)的相機的子集(即，不要求利用相機模塊上的所有相機)的η濾光器群組來形成圖案的相機模塊的陣列相機可以捕捉高質(zhì)量圖像或視頻。類似的技術(shù)也可用于利用由相機模塊內(nèi)的相機的子集捕捉的圖像數(shù)據(jù)來高效生成立體3D圖像。
[0079]用π濾光器群組對相機模塊形成圖案還使能了具有多個π濾光器群組的相機模塊中的魯棒的故障耐受，因為如果一基準相機開始表現(xiàn)得次最優(yōu)，則可利用多個可能的基準相機。用η濾光器群組對相機模塊形成圖案還允許了制造相機模塊時的產(chǎn)量增大，因為只要通過改變光學陣列中的顏色透鏡堆疊的圖案就可以最小化缺陷焦平面對焦平面陣列的影響。根據(jù)本發(fā)明的實施例的各種η濾光器群組和利用η濾光器群組對相機模塊的圖案形成在下文進一步論述。
[0080]陣列相機
[0081]在許多實施例中，陣列相機包括相機模塊和處理器。根據(jù)本發(fā)明的實施例的具有用η濾光器群組來形成圖案的相機模塊的陣列相機在圖2中示出。陣列相機200包括作為個體相機204的陣列的相機模塊202，其中每個相機204包括具有相應(yīng)的透鏡堆疊的焦平面。個體相機的陣列指的是具有特定布置的多個相機，例如(但不限于)圖示的實施例中利用的方形布置。相機模塊202連接206到處理器208。在圖示的實施例中，標記為“R”的相機204指的是具有紅色濾光顏色通道的紅相機，“G”指的是具有綠色濾光顏色通道的綠相機，并且“B”指的是具有藍色濾光顏色通道的藍相機。雖然圖2中示出了特定的陣列相機，但根據(jù)本發(fā)明的許多不同實施例可以利用多種不同的陣列相機配置中的任何一種。
[0082]陣列相機模塊
[0083]根據(jù)本發(fā)明的實施例的陣列相機模塊(或“相機模塊”)可由包括焦平面的陣列的成像器陣列或傳感器和對于成像器陣列中的每個焦平面包括一透鏡堆疊的光學陣列構(gòu)造而成。包括多個焦平面的傳感器在Pain等人的標題為“Architectures for System onChip Array Cameras”的美國專利申請序列號13/106,797中論述,該美國專利申請的公開內(nèi)容通過引用被全部并入在此。濾光器可用于由光學陣列中的透鏡堆疊形成的每個光學通道內(nèi)以使得陣列相機模塊內(nèi)的不同相機能夠捕捉關(guān)于電磁光譜的不同部分的圖像數(shù)據(jù)。
[0084]根據(jù)本發(fā)明的實施例的相機模塊在圖3中示出。相機模塊300包括成像器陣列330以及相應(yīng)的光學陣列310，成像器陣列330包括焦平面340的陣列，光學陣列310包括透鏡堆疊320的陣列。在透鏡堆疊的陣列內(nèi)，每個透鏡堆疊320創(chuàng)建在相應(yīng)的焦平面340內(nèi)的光敏像素的陣列上形成場景的圖像的光學通道。每對透鏡堆疊320和焦平面340形成相機模塊內(nèi)的單個相機204，從而由透鏡堆疊的光學陣列中的單獨透鏡堆疊在每個焦平面上形成圖像。相機204的焦平面340內(nèi)的每個像素生成可從相機204發(fā)送到處理器208的圖像數(shù)據(jù)。在許多實施例中，每個光學通道內(nèi)的透鏡堆疊被配置成使得每個焦平面340的像素對場景內(nèi)的相同對象空間或區(qū)域采樣。在若干個實施例中，透鏡堆疊被配置成使得對相同對象空間采樣的像素以亞像素偏移量來進行該采樣，以提供可被利用來通過使用超分辨率過程來重獲增大的分辨率的采樣多樣性。例如，每個相機模塊的光學器件可被配置成使得相機模塊內(nèi)的每個相機具有場景的如下視場，該視場相對于相機模塊內(nèi)的其他相機的視場是有所偏移的，使得每個相機的視場的相對于其他相機的視場的每個偏移被配置為包括場景的唯一亞像素偏移視域。
[0085]在圖示的實施例中，焦平面被配置成5 χ 5陣列。傳感器上的每個焦平面340能夠捕捉場景的圖像。通常，每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個焦平面被包含在成像器的不包含來自另一焦平面的像素的區(qū)域內(nèi)。在許多實施例中，可以獨立控制每個焦平面的圖像數(shù)據(jù)捕捉和讀出。換言之，透鏡堆疊的光學陣列和成像器陣列形成可被配置為獨立地捕捉場景的圖像的相機的陣列。這樣，可以獨立地確定包括(但不限于)曝光時間和焦點內(nèi)的像素的模擬增益在內(nèi)的圖像捕捉設(shè)定以使得能夠基于包括(但不限于)特定的顏色通道和/或場景動態(tài)范圍的特定部分在內(nèi)的因素來定制圖像捕捉設(shè)定。焦平面中利用的傳感器元件可以是個體光感測元件，例如但不限于傳統(tǒng)的CIS(CM0S圖像傳感器)像素、CCD(電荷耦合器件)像素、高動態(tài)范圍傳感器元件、多譜傳感器元件和/或任何其他被配置為生成指示入射在結(jié)構(gòu)上的光的電信號的結(jié)構(gòu)。在許多實施例中，每個焦平面的傳感器元件具有相似的物理屬性并且經(jīng)由相同的光學通道和顏色濾光器(如果存在的話)接收光。在其他實施例中，傳感器元件具有不同的特性，并且在許多情況中，傳感器元件的特性與應(yīng)用到每個傳感器元件的顏色濾光器有關(guān)。
[0086]在若干個實施例中，個體相機中的顏色濾光器可用于用π濾光器群組對相機模塊形成圖案。這些相機可用于捕捉關(guān)于不同顏色或者光譜的特定部分的數(shù)據(jù)。與向相機的像素應(yīng)用顏色濾光器不同，本發(fā)明的許多實施例中的顏色濾光器被包括在透鏡堆疊中。例如，綠顏色相機可包括具有允許綠光通過光學通道的綠濾光器的透鏡堆疊。在許多實施例中，每個焦平面中的像素是相同的，并且像素捕捉的光信息是由每個焦平面的相應(yīng)透鏡堆疊中的顏色濾光器來區(qū)分的。雖然上文描述了具有在透鏡堆疊中包括顏色濾光器的光學陣列的相機模塊的特定構(gòu)造，但包括η濾光器群組的相機模塊可按多種方式來實現(xiàn)，包括(但不限于)通過向相機模塊的焦平面的像素應(yīng)用顏色濾光器，其方式類似于向傳統(tǒng)的顏色相機的像素應(yīng)用顏色濾光器的方式。在若干個實施例中，相機模塊中的相機中的至少一個可包括應(yīng)用到其焦平面中的像素的統(tǒng)一顏色濾光器。在許多實施例中，拜耳濾光器圖案被應(yīng)用到相機模塊中的相機之一的像素。在數(shù)個實施例中，構(gòu)造如下的相機模塊:其中，在透鏡堆疊中和成像器的像素上都利用顏色濾光器。
[0087]在若干個實施例中，陣列相機生成來自多個焦平面的圖像數(shù)據(jù)并且使用處理器來合成場景的一個或多個圖像。在某些實施例中，由傳感器陣列中的單個焦平面捕捉的圖像數(shù)據(jù)可構(gòu)成低分辨率圖像，或者說“LR圖像”(這里的術(shù)語低分辨率只是用于與更高分辨率圖像或超分辨率圖像或者說“HR圖像”或“SR圖像”形成對照)，處理器可將該低分辨率圖像與由相機模塊捕捉的其他低分辨率圖像數(shù)據(jù)結(jié)合使用來通過超分辨率處理構(gòu)造更高分辨率的圖像?？梢杂脕砝糜申嚵邢鄼C捕捉的低分辨率圖像合成高分辨率圖像的超分辨率過程在 2010 年 12 月 14 日遞交的標題為 “Systems and Methods for Synthesizing HighResolut1n Images Using Super-Resolut1n Processes，，的美國專利申請 12/967，807 中論述，該美國專利申請的公開內(nèi)容通過引用被全部并入在此。
[0088]雖然以上公開了特定的成像器陣列配置，但根據(jù)本發(fā)明的實施例，可以利用包括感測可見光、可見光譜的一些部分、近IR光、光譜的其他部分和/或光譜的不同部分的組合的成像器的多種常規(guī)或非常規(guī)的成像器布局中的任何一種來捕捉LR圖像，這些LR圖像提供一個或多個信息通道來用于SR過程中。對捕捉的LR圖像的處理在下文進一步論述。
[0089]圖像處理管道
[0090]根據(jù)本發(fā)明的實施例的處理LR圖像以獲得SR圖像通常在陣列相機的圖像處理管道中發(fā)生。在許多實施例中，圖像處理管道在對LR圖像執(zhí)行SR過程之前執(zhí)行配準LR圖像的過程。在若干個實施例中，圖像處理管道還執(zhí)行消除問題像素并對視差進行補償?shù)倪^程。
[0091]根據(jù)本發(fā)明的實施例的包含用于融合(fuse)來自LR圖像的信息以獲得合成的HR圖像的SR模塊的圖像處理管道在圖4中示出。在圖示的圖像處理管道400中，從焦平面340讀出像素信息并將像素信息提供到光度轉(zhuǎn)換模塊402以進行光度正規(guī)化。光度轉(zhuǎn)換模塊可執(zhí)行多種光度圖像處理過程中的任何一種，包括但不限于光度正規(guī)化、黑電平計算和調(diào)整、光暈校正和橫向顏色校正中的一種或多種。在若干個實施例中，光度轉(zhuǎn)換模塊還執(zhí)行溫度正規(guī)化。在圖示的實施例中，光度轉(zhuǎn)換模塊的輸入是光度校準數(shù)據(jù)401和捕捉的LR圖像。光度校準數(shù)據(jù)通常是在離線校準過程期間捕捉的。光度轉(zhuǎn)換模塊402的輸出是一組光度正規(guī)化的LR圖像。這些光度正規(guī)化的圖像被提供給視差檢測模塊404和超分辨率模塊406。
[0092]在執(zhí)行SR處理之前，圖像處理管道檢測隨著由成像器陣列捕捉的場景中的對象接近成像器陣列而變得更明顯的視差。在圖示的實施例中，視差(或像差)檢測是利用視差檢測模塊404來執(zhí)行的。在若干個實施例中，視差檢測模塊404生成關(guān)于前景對象周圍的遮蔽區(qū)的遮蔽圖。在許多實施例中，遮蔽圖是為LR成像器對創(chuàng)建的二進制圖。在許多實施例中，生成遮蔽圖來圖示場景中的點在基準LR成像器的視場中是否可見以及場景中的在基準成像器的視場內(nèi)可見的點在其他成像器的視場中是否可見。如上所述，對η濾光器群組的使用可增大在基準LR圖像中可見的像素在至少一個其他LR圖像中可見(即，不被遮蔽)的可能性。為了確定視差，視差檢測模塊404利用經(jīng)由地址轉(zhuǎn)換模塊410獲得的幾何校準數(shù)據(jù)408對經(jīng)光度正規(guī)化的LR圖像執(zhí)行場景無關(guān)幾何校正。視差檢測模塊404隨后可以比較經(jīng)幾何和光度校正的LR圖像以檢測LR圖像之間的場景相關(guān)幾何位移的存在。關(guān)于這些場景相關(guān)幾何位移的信息可被稱為視差信息并且可以以場景相關(guān)視差校正和遮蔽圖的形式被提供給超分辨率模塊406。如下文將更詳細論述的，視差信息也可包括生成的深度圖，這些深度圖也可被提供給超分辨率模塊406。幾何校準(或者場景無關(guān)幾何校正)數(shù)據(jù)408可利用離線校準過程或者后續(xù)的再校準過程來生成。場景無關(guān)校正信息以及場景相關(guān)幾何校正信息(視差)和遮蔽圖形成用于LR圖像的幾何校正信息。
[0093]一旦生成了視差信息，視差信息和經(jīng)光度正規(guī)化的LR圖像就被提供給超分辨率模塊406以用在對一個或多個HR圖像420的合成中。在許多實施例中，超分辨率模塊406利用視差信息和經(jīng)由地址轉(zhuǎn)換模塊410獲得的幾何校準數(shù)據(jù)408來執(zhí)行場景無關(guān)和場景相關(guān)幾何校正(即，幾何校正)。經(jīng)光度正規(guī)化和幾何配準的LR圖像隨后被用在HR圖像的合成中。合成的HR圖像隨后可被饋送到下游的顏色處理模塊412，顏色處理模塊412可利用被配置為執(zhí)行顏色校正和/或色度水平調(diào)整的任何標準顏色處理模塊來實現(xiàn)。在若干個實施例中，顏色處理模塊執(zhí)行包括但不限于以下各項中的一個或多個的操作:白平衡、顏色校正、伽馬校正、以及RGB到Y(jié)UV校正。
[0094]在數(shù)個實施例中，根據(jù)本發(fā)明的實施例的圖像處理管道包括動態(tài)重調(diào)焦模塊。動態(tài)重調(diào)焦模塊使得用戶能夠指定場景內(nèi)的焦平面來在合成HR圖像時使用。在若干個實施例中，動態(tài)重調(diào)焦模塊為場景構(gòu)建估計的HR深度圖。動態(tài)重調(diào)焦模塊可使用HR深度圖來模糊合成的圖像以使得場景的不位于焦平面上的部分看起來是焦點未對準的。在許多實施例中，SR處理限于位于焦平面上以及在焦平面周圍的指定Z范圍內(nèi)的像素。
[0095]在若干個實施例中，利用多種基于標準的或者專屬的編碼過程中的任何一種來對合成的高分辨率圖像420進行編碼，所述編碼過程包括但不限于根據(jù)由聯(lián)合照片專家組開發(fā)的JPEG標準來對圖像編碼。隨后根據(jù)適合于所使用的編碼技術(shù)的文件格式來存儲經(jīng)編碼的圖像，包括但不限于JPEG交換格式(JIF)、JPEG文件交換格式(JFIF)或者可交換圖像文件格式(Exif)。
[0096]根據(jù)本發(fā)明的實施例也可利用在陣列相機中的與圖4所示的處理管道類似的處理管道在PCT公布WO 2009/151903中描述。雖然上文描述了特定的圖像處理管道，但根據(jù)本發(fā)明的實施例的超分辨率過程可用于在根據(jù)本發(fā)明的實施例的超分辨率處理之前配準LR圖像的多種圖像處理管道的任何一種之內(nèi)。
[0097]如上文提到的，視差信息可用于生成深度圖以及遮蔽圖，這在下文中論述。
[0098]在陣列相機中利用像差來生成深度圖
[0099]根據(jù)本發(fā)明的許多實施例的陣列相機使用在由陣列相機捕捉的圖像中觀察到的像差來生成深度圖。深度圖通常被視為關(guān)于圖像(常常是由基準相機捕捉的基準圖像)的一層元數(shù)據(jù)，該層元數(shù)據(jù)描述從相機到圖像內(nèi)的特定像素或像素群組的距離(取決于深度圖的分辨率相對于原始輸入圖像的分辨率)。根據(jù)本發(fā)明的數(shù)個實施例的陣列相機將深度圖用于多種用途，包括(但不限于)在高分辨率圖像的合成期間生成場景相關(guān)幾何偏移和/或執(zhí)行合成的圖像的動態(tài)重調(diào)焦。
[0100]基于以上對像差的論述，基于像素像差來確定場景的一部分的深度的過程在理論上是簡單明了的。當陣列相機中的特定相機的視點被選擇為基準視點時，到從該基準視點可見的場景部分的距離可利用由相機陣列捕捉的其他圖像(常稱為替換視域圖像)之中的一些或全部中的相應(yīng)像素之間的像差來確定。在沒有遮蔽的情況下，與從基準視點捕捉的基準圖像中的像素相對應(yīng)的像素在每個替換視域圖像中將沿著極線(epipolar line) (BP,與兩個相機之間的基線向量平行的線)定位。像差的沿著極線的距離對應(yīng)于該相機與由像素捕捉的場景部分之間的距離。因此，通過比較捕捉到的基準圖像和(一個或多個)替換視域圖像中的預期為在特定深度處對應(yīng)的像素，可以對得出具有最高相似程度的像素的深度進行搜索?；鶞蕡D像和(一個或多個)替換視域圖像中的相應(yīng)像素具有最高相似程度之處的深度可被選擇為相機與由該像素捕捉的場景部分之間的最有可能的距離。
[0101]然而，在利用以上概述的方法確定精確的深度圖時，存在許多挑戰(zhàn)。在若干個實施例中，陣列相機中的相機是相似但不相同的。因此，包括(但不限于)光學特性、不同傳感器特性(例如由偏移引起的傳感器響應(yīng)的變化、不同的傳輸或增益響應(yīng)、像素響應(yīng)的非線性特性)、捕捉到的圖像中的噪聲和/或與關(guān)于組裝過程的制造容差有關(guān)的翹曲或失真在內(nèi)的圖像特性在圖像之間可能發(fā)生變化，從而降低不同圖像中的相應(yīng)像素的相似性。此外，超分辨率過程依賴于由成像器陣列捕捉到的圖像中的采樣多樣性以便合成更高分辨率的圖像。然而，增大采樣多樣性也可涉及減小光場中捕捉到的圖像中的相應(yīng)像素之間的相似性?？紤]到以上概述的用于確定深度的過程依賴于像素的相似性，捕捉到的圖像之間的光度差異和采樣多樣性的存在可降低能夠確定深度圖的精確度。
[0102]深度圖的生成由于遮蔽而進一步復雜化。如上所述，當從基準視點可見的像素在捕捉到的圖像之中的一個或多個中不可見時，遮蔽發(fā)生。遮蔽的影響是，在正確的深度，否則會被相應(yīng)像素占據(jù)的像素位置被對場景的另一部分(通常是更靠近相機的對象)采樣的像素所占據(jù)。遮蔽像素經(jīng)常與被遮蔽像素非常不同。因此，對正確深度處的像素的相似性的比較不那么可能產(chǎn)生比其他深度高得多的相似程度。實際上，遮蔽像素充當掩蔽實際上在正確深度處對應(yīng)的那些像素的相似性的強離群值(outlier)。因此，遮蔽的存在可向深度圖中引入強誤差源。另外，使用η濾光器群組來增大在由基準相機捕捉的圖像中可見的像素在由陣列內(nèi)的其他相機捕捉的替換視域圖像中可見的可能性可以減小按上述方式生成的深度圖中的誤差。
[0103]根據(jù)本發(fā)明的許多實施例的用于生成深度圖的過程嘗試減少由包括(但不限于)上文概述的那些在內(nèi)的來源引入到深度圖中的誤差源。例如，標題為“Systems andMethods for Parallax Detect1n and Correct1n in Images Captured Using ArrayCameras”的美國專利申請序列號61/780，906公開了這種過程。如上文已經(jīng)聲明的，美國專利申請序列號61/780，906的公開內(nèi)容通過引用被全部并入在此。此外，如上所述，對π濾光器群組的使用可以大幅減小從基準相機的視點可見的像素在顏色通道內(nèi)的所有相機內(nèi)被遮蔽的可能性。許多不同的陣列相機能夠利用根據(jù)本發(fā)明的實施例的η濾光器群組。利用根據(jù)本發(fā)明的實施例的η濾光器群組的相機模塊在下文更詳細描述。
_4]用π濾光器群組來形成圖案
[0105]根據(jù)本發(fā)明的實施例，可以用π濾光器群組來對相機模塊形成圖案。在若干個實施例中，被用作相機模塊的一部分的η濾光器群組可各自包括可充當基準相機的中央相機，該中央相機被顏色相機以對于每種顏色減小遮蔽區(qū)的方式所圍繞。在某些實施例中，利用RGB顏色模型來將相機模塊布置成矩形格式，其中基準相機是被紅、綠和藍相機圍繞的綠相機。在若干個實施例中，數(shù)目是紅相機的數(shù)目的兩倍并且是藍相機的數(shù)目的兩倍的綠相機圍繞著基準相機。在許多實施例中，紅顏色相機和藍顏色相機位于3 χ 3相機陣列的相對位置。當然，除了 RGB顏色模型以外，還可以利用來自任何顏色模型的任何顏色集合來檢測顏色的有用范圍，例如青、品紅、黃和黑(CMYK)顏色模型或者紅、黃和藍(RYB)顏色模型。
[0106]在若干個實施例中，當使用RGB顏色模型時，在相機模塊的圖案形成中可利用兩個η濾光器群組。一個η濾光器群組在圖5A中示出，并且另一 π濾光器群組在圖5Β中示出。這些π濾光器群組中的任一個可用于對具有大于3 χ 3相機陣列的尺寸的任何相機模塊進行圖案形成。
[0107]在具有3 χ 3相機模塊的實施例中，用π濾光器群組對相機模塊進行的圖案形成僅包括單個η濾光器群組。根據(jù)本發(fā)明的實施例的3 χ3相機模塊上的π濾光器群組在圖5Α中示出。濾光器群組500包括每個角落處的綠相機、在方框502內(nèi)標注的中心處的綠基準相機、在基準相機上方和下方的藍相機和在基準相機左側(cè)和右側(cè)的紅相機。在此配置中，圍繞中央基準相機的綠相機的數(shù)目是紅相機的數(shù)目的兩倍并且是藍相機的數(shù)目的兩倍。此外，紅相機相對于3 χ 3相機陣列的中心位于相對位置以減少遮蔽。類似地，藍相機相對于3 χ 3相機陣列的中心位于相對位置以減少遮蔽。根據(jù)本發(fā)明的實施例，圖5Α中描述的η濾光器群組的替換在圖5Β中示出。這個π濾光器群組也包括在角落處的綠相機，并且綠基準相機552位于中心，如方框所示。然而，與圖5Α不同，圖5Β所示的紅相機在基準相機的上方和下方，并且藍相機在基準相機的左側(cè)和右側(cè)。與圖5Α所示的π濾光器群組一樣，圖5Β中的π濾光器群組包括被數(shù)目為紅相機的數(shù)目的兩倍并且為藍相機的數(shù)目的兩倍的綠相機圍繞的中央基準相機。如上所述，基準相機不需要是綠相機。在若干個實施例中，可以修改圖5Α和5Β中的配置以包括采用拜耳顏色濾光器的中央相機。在其他實施例中，中央相機是紅外相機、擴展顏色相機和/或適合于特定應(yīng)用的任何其他類型的相機，例如紅外相機或者UV相機。在另外的實施例中，多種顏色相機中的任何一種可分布在基準相機周圍、在3 χ 3陣列中相對于基準相機的相對位置處，并且其分布方式減小關(guān)于每個顏色通道的遮蔽區(qū)。
[0108]例如，圖5C描繪了一個實施例，其中綠顏色相機位于中央相機的上方、下方、左側(cè)和右側(cè)，而紅顏色相機和藍顏色相機部署在η濾光器群組的角落位置。注意，在此實施例中，第一和第三行和列各自具有紅、綠和藍顏色濾光器，并且此布置可減少遮蔽的情況。類似地，與圖5Α和5Β中所示的實施例相比，圖5C所示的配置在紅和藍顏色通道中可包括略大的遮蔽區(qū)，因為紅和藍顏色相機略微更遠離中央基準相機。圖和5E描繪了這樣實施例:顏色相機圍繞著中央綠相機，使得每個顏色通道中的相機在3 χ 3陣列中相對于中央基準相機位于相對位置。在此配置中，相機在3 χ 3陣列的角落中的藍或紅顏色通道與相機的位置更靠近中央基準相機(即，相機不位于角落中)的藍或紅顏色通道相比可能具有略大的遮蔽區(qū)。當然，如上所述，根據(jù)本發(fā)明的實施例，中央基準相機可以是任何適當?shù)南鄼C，例如不僅僅是綠相機。另外，許多實施例與圖和5E中所見的那些是相似的，只不過它們利用了作為圖和5E中所見的那些的鏡像的布置。類似地，許多實施例與圖和5E中所見的那些是相似的，只不過它們利用了相對于圖和5E中所見的那些有所旋轉(zhuǎn)的布置。
[0109]具有3 χ 3相機以上的尺寸的任何相機模塊都可以用一個或多個π濾光器群組來形成圖案，其中在給定η濾光器群組的顏色濾光器指派的情況下，不在η濾光器群組內(nèi)的相機被指派以一種減小或最小化相機模塊內(nèi)的遮蔽區(qū)的可能性的顏色。根據(jù)本發(fā)明的實施例的用兩個31濾光器群組來形成圖案的4 χ 4相機模塊在圖6中不出。相機模塊600包括以基準綠相機604為中心的九個相機的第一 π濾光器群組602。第二 π濾光器群組610向第一 π濾光器群組的右下在對角線上偏移一個相機地定位。第二 π濾光器群組與第一 η濾光器群組共享相機模塊600的四個中央相機612。然而，這些相機擔當不同的角色(即，在兩個η濾光器群組中，不同的相機充當基準相機)。如圖6中所示，相機模塊的角落606和608處的兩個相機未被包括在兩個π濾光器群組602和610中。這些相機內(nèi)利用的顏色濾光器是基于在給定作為兩個η濾光器群組602和610的一部分的相機的顏色濾光器指派的情況下的遮蔽區(qū)的最小化來確定的。由于η濾光器群組的圖案形成，在基準相機周圍存在藍顏色相機的均勻分布，但在基準相機上方?jīng)]有紅顏色相機。因此，選擇右上角相機606為紅色提供了來自基準相機上方的視點的紅圖像數(shù)據(jù)，并且對于第二 π濾光器群組的中央相機和基準相機604在場景中的前景圖像的上方和右側(cè)的遮蔽區(qū)的可能性被最小化了。類似地，選擇左下角相機608為藍色提供了來自基準相機左側(cè)的視點的藍圖像數(shù)據(jù)，并且對于第二 η濾光器群組的中央相機和基準相機604在場景中的前景圖像的下方和左側(cè)的遮蔽區(qū)的可能性被最小化了。從而，利用η濾光器群組可以對具有大于3 χ3的尺寸的相機模塊形成圖案，其中如上所述向未包括在任何π濾光器群組中的相機指派顏色以減小和/或最小化遮蔽區(qū)。結(jié)果，相機陣列包括包含藍顏色相機、綠顏色相機和紅顏色相機的至少一行和至少一列。雖然以上描述了特定的η濾光器群組，但根據(jù)本發(fā)明的許多不同實施例，多種η濾光器群組中的任何一種可對相機模塊形成圖案。
[0110]具有等同性能的多個基準相機選項
[0111]根據(jù)本發(fā)明的實施例使用多個η濾光器群組來對相機模塊形成圖案使得多個相機能夠在具有等同性能的情況下被用作基準相機。根據(jù)本發(fā)明的實施例的具有兩個H濾光器群組的4 X 4相機模塊在圖7中示出。相機模塊700包括兩個π濾光器群組702、706，其中每個η濾光器群組的中央相機704、708可充當基準相機。無論選擇的基準相機如何，由于η濾光器群組的使用，基準相機周圍的相機的分布都是等同的。從而，如果相機模塊700檢測到基準相機704的缺陷，則相機模塊700可切換到使用另一 π濾光器群組的中心處的相機作為基準相機708來避免第一基準相機704的缺陷。另外，利用π濾光器群組進行的圖案形成不要求基準相機或虛擬視點在相機模塊的中心處，而是要求基準相機被顏色相機以對于每種顏色減小遮蔽區(qū)的方式所圍繞。雖然以上論述了特定的相機模塊，但根據(jù)本發(fā)明的實施例可利用任意數(shù)目的不同尺寸的相機模塊來創(chuàng)建多個基準相機選項。
[0112]制造產(chǎn)暈提高
[0113]制造過程固有地涉及可導致缺陷的變化。在一些情況中，制造缺陷可能足夠嚴重到使得成像器陣列內(nèi)的整個焦平面不可工作。如果焦平面的故障導致對成像器陣列的丟棄，則增大了制造陣列相機的成本。用η濾光器群組來對相機模塊形成圖案可提供高制造產(chǎn)量，因為光學陣列的光學通道中的顏色濾光器的分配可用于減小故障焦平面對于利用由陣列相機捕捉的圖像數(shù)據(jù)合成的圖像中的遮蔽區(qū)的產(chǎn)生的影響。
[0114]在許多實施例中，由成像器陣列的焦平面中的像素感測到的光是由將光聚焦到該焦平面上的光學通道中包括的顏色濾光器來確定的。在制造期間，可以檢測焦平面中的缺陷。當檢測到缺陷時，可以確定光學陣列中的光學通道的顏色濾光器圖案以使得缺陷焦平面不導致遮蔽區(qū)的大小的增大。通常，這意味著以使得缺陷焦平面的存在不減少相機陣列中的紅或藍相機的數(shù)目的方式來用η濾光器群組對相機模塊形成圖案(即，使用這樣的濾光器圖案，其導致綠通道被指派給缺陷焦平面，這將相機陣列中的綠相機的數(shù)目減少了一個相機)。
[0115]根據(jù)本發(fā)明的實施例的用于在組合光學陣列和成像器陣列以創(chuàng)建相機模塊之前檢測故障焦平面的過程在圖6A中示出。在圖示的過程中，顏色濾光器圖案是在光學陣列上而不是在成像器陣列的像素上形成圖案的。通過制造具有不同的濾光器圖案的不同類型的光學陣列，過程可以系統(tǒng)地選擇特定的光學陣列來強制故障焦平面與某個濾光器的顏色配對以確保給定的顏色通道中的遮蔽區(qū)的大小被減小和/或最小化。過程800包括就故障焦平面來測試(802)成像器陣列。在測試(802)成像器陣列之后，作出關(guān)于在成像器陣列上是否檢測到故障焦平面的判決(804)。如果檢測到故障焦平面，則基于故障焦平面的位置來選擇光學陣列(806)。在許多實施例中，通過以最小化故障焦平面對利用由成像器陣列捕捉的圖像數(shù)據(jù)合成的圖像內(nèi)的遮蔽區(qū)的產(chǎn)生的影響的方式向可工作的焦平面指派顏色濾光器來選擇減小故障焦平面的影響的光學陣列。對于在存在故障焦平面時選擇減小遮蔽區(qū)的不同光學陣列的進一步論述在下文參考圖6B和6C來提供。在基于故障焦平面的位置來選擇(806)光學陣列之后，將所選擇的光學陣列與成像器陣列相組合(808)來創(chuàng)建相機模塊。如果未檢測到故障焦平面，則可以將包括基于η濾光器群組的濾光器圖案的多種光學陣列中的任何一種與被測成像器陣列相組合(808)來創(chuàng)建相機模塊。如下文進一步論述的，典型的過程可包括默認光學陣列，該默認光學陣列包括基于η濾光器群組的第一濾光器圖案，并且當檢測到在使用第一濾光器圖案時將導致減少相機模塊中的顏色相機(或者甚至特定的顏色相機，例如相機模塊的外側(cè)附近的顏色相機)的數(shù)目的故障焦平面的特定缺陷時，可利用基于η濾光器群組的第二濾光器圖案。
[0116]修改顏色濾光器指派可減小故障焦平面的影響的方式在圖SB和SC中示出。具有發(fā)生故障的紅相機的相機模塊在圖8B中示出。相機模塊820包括在中心處具有可能的基準相機822的第一 π濾光器群組828、在中心處具有可能的基準相機830的第二 π濾光器群組832以及在兩個π濾光器群組828和832下方的發(fā)生故障的紅相機824。由于故障的紅相機，在可能的基準相機822和830 二者下方缺少紅圖像數(shù)據(jù)。因此，無論π濾光器群組中心處的兩個相機中的哪個被選擇為基準相機。因此，將包括圖8Β所示的濾光器圖案的光學陣列組合到具有所指示的故障焦平面的成像器，該故障焦平面導致有缺陷的紅相機，其阻止在任何基準相機下方捕捉紅色信息，從而增大了前景對象下方的遮蔽區(qū)的可能性。然而，利用不同位置的H濾光器群組來形成圖案的光學陣列可導致所有的藍和紅顏色濾光器被指派給有效的相機。這樣，故障焦平面只影響綠相機的數(shù)目，而且是以減小利用由所得到的相機模塊捕捉的圖像數(shù)據(jù)合成的圖像中的遮蔽區(qū)的可能性的方式來影響的。換句話說，通過以在給定故障焦平面的位置的情況下最小化遮蔽區(qū)的可能性的方式將包括故障焦平面的成像器陣列與光學陣列相組合，在某些情況下可以提高產(chǎn)量，其中該光學陣列以使得顏色信息在基準相機周圍被捕捉的方式基于H濾光器群組來指派有效相機的顏色濾光器。
[0117]具有圖SB的故障焦平面、但具有以使得故障焦平面不減少基準相機模塊周圍的紅或藍圖像數(shù)據(jù)的捕捉的方式用η濾光器群組來形成圖案的光學陣列的相機模塊在圖8C中示出。相對于圖8B的光學陣列的圖案，圖SC的光學陣列沿著光學陣列的中央垂直二等分軸826翻轉(zhuǎn)并且包括兩個π濾光器群組828’和832’。與故障焦平面相關(guān)聯(lián)的透鏡堆疊是綠854，而不是圖8Β中的紅824。由于在圖8C中在所有可能的基準相機852、856下方有多個綠相機，所以失去綠相機854的影響不像失去圖8Β中的紅相機824的影響那么大。因此，通過將故障成像器陣列與被具體選擇來以減小故障焦平面將在由所得到的相機模塊捕捉的任何顏色通道中產(chǎn)生遮蔽區(qū)的可能性的方式向成像器陣列中的焦平面指派顏色濾光器的光學陣列相組合，可以減小故障焦平面對成像器陣列的影響。雖然以上示例論述了減小紅遮蔽區(qū)，但通過基于η濾光器群組適當?shù)剡x擇濾光器圖案，可以類似地最小化成像器陣列中的任何位置的缺陷焦平面的影響。雖然以上描述了用η濾光器群組來形成圖案以最小化由故障焦平面引起的產(chǎn)量損失的相機模塊的具體示例，但包括η濾光器群組的多種替換顏色濾光器圖案中的任何一種可根據(jù)本發(fā)明的實施例被利用來增大制造產(chǎn)量。
[0118]捕捉立體3D圖像
[0119]在許多實施例中，可以如2010年12月14日遞交的標題為“Systems and Methodsfor Synthesizing High Resolut1n Images Using Super-Resolut1n Processes，，的美國專利申請12/967，807號中公開的那樣使用超分辨率過程來利用由包括立體3D圖像對的陣列相機捕捉的低分辨率圖像合成高分辨率圖像，該美國專利申請的公開內(nèi)容通過上文的引用被并入。立體3D圖像對是一個場景的來自空間上偏移的視點的兩個圖像，這兩個圖像可被組合來創(chuàng)建該場景的3D表示。對包括π濾光器群組的濾光器圖案的使用可使能以計算上高效的方式合成立體3D圖像。由陣列相機中的非全部相機捕捉的圖像數(shù)據(jù)可用于合成每個形成立體3D圖像對的圖像。
[0120]用Ji濾光器群組來進行圖案形成使得能夠在基準相機周圍高效地分布相機，這減小了遮蔽區(qū)并且減小了由相機模塊捕捉的被利用來合成立體3D圖像對中的每個圖像的圖像數(shù)據(jù)的量。在許多實施例中，相機的不同子集被用于捕捉形成立體3D圖像對的每個圖像并且每個子集包括η濾光器群組。在許多實施例中，形成立體3D圖像對的圖像是從相對于π濾光器群組的中心處的相機略微偏移的虛擬視點捕捉的。π濾光器群組的中央相機在被用作基準相機時被顏色相機以對于每個顏色相機最小化遮蔽區(qū)的方式所圍繞。當虛擬視點接近η濾光器群組的中心時，顏色相機分布在虛擬視點周圍的益處是類似的。
[0121]利用一相機模塊捕捉的立體3D圖像對的左虛擬視點在圖9Α中示出，該相機模塊是利用η濾光器群組來形成圖案的。左虛擬視點904是從來自形成3 χ 4陣列的12個圈出的相機G1 - G3、G5 - GpB1 - B2、B4和R2 - R3的圖像數(shù)據(jù)取得的。該虛擬視點相對于綠相機匕是偏移的，綠相機匕是π濾光器群組906的中心。用于利用圖7所示的相機模塊捕捉立體對中的第二圖像的右虛擬視點在圖9Β中示出。右虛擬視點954是從來自形成3 χ 4陣列的12個圈出的相機B1 - B3> G2 - G4, G6 - G8, R1和R3 - R4的圖像數(shù)據(jù)取得的。該虛擬視點相對于綠相機G6是偏移的，綠相機G6是π濾光器群組956的中心。因此，單個陣列相機可利用來自相機的子集的圖像數(shù)據(jù)來捕捉場景的3D圖像以合成形成立體對的每個圖像。通過利用由相機模塊中的非全部相機捕捉的圖像數(shù)據(jù)，降低了生成立體3D圖像對的計算復雜度。此外，每個圖像的視點的接近作為η濾光器群組的中心的相機的位置減小了合成的圖像中的遮蔽區(qū)的可能性。
[0122]在若干個實施例中，視點不需要是虛擬視點。在許多實施例中，可利用η濾光器群組來構(gòu)造陣列相機模塊，使得捕捉立體圖像的視點是從相機陣列內(nèi)的基準相機獲得的基準視點。例如，在一些實施例中，提供了包括兩個交疊的η濾光器群組的3 χ 5相機模塊。包括以兩個基準綠顏色相機中的每一個為中心的兩個交疊的η濾光器群組的3 χ 5相機模塊在圖9C中示出。具體地，相機模塊960包括兩個交疊的濾光器群組962和964，其中每一個分別以兩個基準綠顏色相機966和968之一為中心。兩個基準相機966和968用于提供兩個基準視點。在許多實施例中，陣列相機模塊被配置為利用非交疊的η濾光器群組來捕捉立體圖像。包括可用于捕捉立體圖像的非交疊π濾光器群組的3 χ 6陣列相機模塊在圖9D中示出。具體地，陣列相機模塊970類似于圖9C中所見的，只不過兩個π濾光器群組972和974不交疊。在圖示的實施例中，與之前一樣，兩個π濾光器群組972和974各自分別以兩個綠顏色相機976和978之一為中心。兩個基準相機976和978用于提供兩個基準視點。圖9D所示的實施例表明，根據(jù)本發(fā)明的實施例，可以利用在每個π濾光器群組內(nèi)具有不同的相機布置的η濾光器群組來對陣列相機模塊進行圖案形成。兩個^濾光器群組972和974使用不同的3 χ 3相機布置。類似地，可以利用包含不同的3 χ 3相機布置的η濾光器群組來構(gòu)造不同尺寸的多種相機陣列中的任何一種。
[0123]雖然在圖9Α - 9D中示出了特定的視點和用于合成立體3D圖像對的相機的子集，但根據(jù)本發(fā)明的實施例可以利用多種相機模塊的任何一種中的相機的子集來生成立體圖像對。
[0124]利用相機的子集來捕捉圖像
[0125]根據(jù)本發(fā)明的許多實施例，具有用π濾光器群組來形成圖案的相機模塊的陣列相機在操作中可利用非全部可用相機。在若干個實施例中，使用更少的相機可最小化利用陣列相機生成圖像的計算復雜度并且可減小陣列相機的功率消耗。減少用于捕捉圖像數(shù)據(jù)的相機的數(shù)目對于諸如視頻之類的應(yīng)用可能是有用的，其中可以利用相機模塊可捕捉的圖像數(shù)據(jù)中的非全部圖像數(shù)據(jù)來合成視頻的幀。在數(shù)個實施例中，可以利用單個η濾光器群組來捕捉圖像。在許多實施例中，在用更多數(shù)目的相機捕捉圖像數(shù)據(jù)之前，利用由單個^濾光器群組捕捉的圖像數(shù)據(jù)來捕捉預覽圖像。在若干個實施例中，單個η濾光器群組中的相機捕捉視頻圖像數(shù)據(jù)。取決于具體應(yīng)用的要求，可利用額外的相機來捕捉圖像數(shù)據(jù)以增大分辨率和/或提供額外的顏色信息并減少遮蔽。
[0126]被利用來捕捉可用來合成圖像的圖像數(shù)據(jù)的相機模塊內(nèi)的π濾光器群組在圖10中示出。在圖示的實施例中，基準相機帶有方框并且利用的相機被包圍在虛線中。相機模塊1000包括生成圖像數(shù)據(jù)的相機G1 - G2、G5 - G6^B1 - B2和R2 - R3的π濾光器群組，其中基準相機為g3。圖10示出了 π濾光器群組中的相機如何可被利用來捕捉圖像?？梢岳妙~外的相機來獲取圖像數(shù)據(jù)，以獲得增大的分辨率并且在遮蔽區(qū)中提供額外的顏色信息。因此，根據(jù)本發(fā)明的許多不同的實施例，可以利用任意數(shù)目和布置的相機來利用相機模塊捕捉圖像數(shù)據(jù)。
[0127]構(gòu)建包括π濾光器群組的顏色濾光器圖案
[0128]根據(jù)本發(fā)明的實施例可以構(gòu)造用于具有大于3 χ 3的尺寸的任何相機陣列的顏色濾光器圖案。在許多實施例中，用于構(gòu)造顏色濾光器圖案的過程通常涉及向相機模塊中的相機指派顏色濾光器以最大化交疊的η濾光器群組的數(shù)目。在存在不能被包括在η濾光器群組中的相機的情況下，則基于最小化要用作基準相機的相機周圍的遮蔽來向這些相機指派顏色濾光器，以便合成高分辨率圖像。
[0129]根據(jù)本發(fā)明的實施例的用于向相機模塊中的相機指派顏色濾光器的過程在圖11中示出。過程1100包括選擇(1102)陣列的角落，向所選擇的角落指派(1104) π濾光器群組。該η濾光器群組占據(jù)3 χ 3網(wǎng)格?？梢园醋畲蠡嚵袃?nèi)的交疊的π濾光器群組的數(shù)目的方式向剩余的相機指派(1106)顏色濾光器。在存在未被指派以顏色濾光器的相機的情況下，這些相機被指派(1108)以如下的顏色濾光器:這些顏色濾光器減小從對于該陣列被選擇為基準相機的相機的視點合成的圖像中的遮蔽區(qū)的可能性。此時，陣列中的所有相機都被指派了顏色濾光器。如上所述，多個η濾光器群組的存在提供了包括(但不限于)以下各項在內(nèi)的益處:對陣列內(nèi)的特定相機中的故障的魯棒性，以及利用由至少一個π濾光器群組捕捉的圖像數(shù)據(jù)來以相機模塊中的非全部相機合成圖像的能力。
[0130]利用濾光器群組為5 χ 5陣列生成簡單濾光器圖案的過程在圖12Α - 12D中示出。該過程開始于選擇陣列的左上角。向左上角中的相機的3 χ 3群組指派π濾光器群組(相機G1 - G5^B1 - B2和R1 - R2)。通過添加三個綠相機以及一藍相機和一紅相機(G6 - G8以及B3和R3)來創(chuàng)建第二交疊π濾光器群組。通過添加另外三個綠相機以及一藍相機和一紅相機(G9-G11以及B4和R4)來創(chuàng)建第三交疊π濾光器群組。通過添加單個綠相機、藍相機和紅相機(61235、1?5和613、86、1?6)來創(chuàng)建第五和第六π濾光器群組。在中央相機(G6)發(fā)生故障的情況下，另一 π濾光器群組的中心處的相機可被用作基準相機(例如，G3)。
[0131]利用濾光器群組為4 χ 5陣列生成簡單濾光器圖案的類似過程在圖13A - 13D中示出。該過程非常類似，只不過兩個相機未被包括在η濾光器群組中。由于在相機G6(其是η濾光器群組的中心)下方?jīng)]有藍相機這個事實，不形成η濾光器群組的一部分的相機被指派為藍相機(B5和B6)。容易明白，根據(jù)本發(fā)明的實施例，可以向大于3 χ 3陣列的任何陣列應(yīng)用類似的過程以生成包含η濾光器群組的顏色濾光器圖案。類似地，可以利用以上概述的過程來構(gòu)造圖14所示的包括7 χ 7相機陣列的更大陣列。也可利用相同的過程來構(gòu)造任何尺寸的甚至更大的陣列，包括其中陣列的每個維度上的相機的數(shù)目為奇數(shù)的方形陣列。因此，根據(jù)本發(fā)明的實施例，可以利用本文論述的過程來構(gòu)造包括具有適合于具體應(yīng)用的要求的尺寸的相機陣列的相機模塊和/或陣列相機。
[0132]雖然以上描述包含本發(fā)明的許多具體實施例，但這些實施例不應(yīng)當被解釋為對本發(fā)明的范圍的限制，而應(yīng)當被解釋為其一個實施例的示例。因此，要理解，除了具體描述的以外，可以按其他方式來實踐本發(fā)明，而不脫離本發(fā)明的范圍和精神。從而，本發(fā)明的實施例在所有方面都應(yīng)當被認為是說明性的而不是限制性的。
【權(quán)利要求】
1.一種陣列相機模塊,包括: 包括多個焦平面的MxN成像器陣列，每個焦平面包括光敏像素的陣列； 透鏡堆疊的MxN光學陣列，其中每個透鏡堆疊對應(yīng)于一焦平面，并且其中每個透鏡堆疊在其相應(yīng)的焦平面上形成場景的圖像； 其中透鏡堆疊及其相應(yīng)的焦平面的每一對從而定義一相機； 其中，MxN相機陣列中的至少一行包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；并且 其中，MxN相機陣列中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。
2.如權(quán)利要求1所述的陣列相機模塊: 其中，M和N各自大于2并且M和N中的至少一個是偶數(shù)； 其中，在所述陣列相機模塊中的相機內(nèi)實現(xiàn)顏色濾光器，使得用至少一個η濾光器群組來對所述陣列相機模塊形成圖案，所述至少一個η濾光器群組包括: 3x3相機陣列，其包括: 在所述3x3相機陣列的中心處的基準相機； 位于所述3x3相機陣列的相對側(cè)的兩個紅顏色相機； 位于所述3x3相機陣列的相對側(cè)的兩個藍顏色相機；以及 圍繞所述基準相機的四個綠顏色相機。
3.如權(quán)利要求2所述的陣列相機模塊，其中，圍繞所述基準相機的四個綠顏色相機中的每一個被部署在所述3x3相機陣列的角落位置。
4.如權(quán)利要求3所述的陣列相機模塊，其中: M為四； N為四； 4x4陣列相機模塊的第一行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和紅顏色相機； 4x4陣列相機模塊的第二行相機按順序包括紅顏色相機、綠顏色相機、紅顏色相機和綠顏色相機； 4x4陣列相機模塊的第三行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和藍顏色相機；并且 4x4陣列相機模塊的第四行相機按順序包括藍顏色相機、綠顏色相機、紅顏色相機和綠顏色相機。
5.如權(quán)利要求3所述的陣列相機模塊，其中: M為四； N為四； 4x4陣列相機模塊的第一行相機按順序包括紅顏色相機、綠顏色相機、藍顏色相機和綠顏色相機； 4x4陣列相機模塊的第二行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和紅顏色相機； 4x4陣列相機模塊的第三行相機按順序包括藍顏色相機、綠顏色相機、藍顏色相機和綠顏色相機；并且 4x4陣列相機模塊的第四行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和藍顏色相機。
6.如權(quán)利要求2所述的陣列相機模塊，其中，所述基準相機是綠顏色相機。
7.如權(quán)利要求2所述的陣列相機模塊，其中，所述基準相機是以下各項之一:包含拜耳濾光器的相機，被配置為捕捉紅外光的相機，以及被配置為捕捉紫外光的相機。
8.如權(quán)利要求2所述的陣列相機模塊，其中，所述兩個紅顏色相機中的每一個位于所述3x3相機陣列的角落位置，并且其中，所述兩個藍顏色相機中的每一個位于所述3x3相機陣列的角落位置。
9.如權(quán)利要求2所述的陣列相機模塊，其中，在所述成像器陣列上實現(xiàn)至少一個顏色濾光器。
10.如權(quán)利要求2所述的陣列相機模塊，其中，在透鏡堆疊上實現(xiàn)至少一個顏色濾光器。
11.一種3x3陣列相機模塊,包括: 包括焦平面的3x3布置的3x3成像器陣列，每個焦平面包括光敏像素的陣列； 透鏡堆疊的3x3光學陣列，其中每個透鏡堆疊對應(yīng)于一焦平面，并且其中每個透鏡堆疊在其相應(yīng)的焦平面上形成場景的圖像； 其中，透鏡堆疊及其相應(yīng)的焦平面的每一對從而定義一相機； 其中，3x3相機陣列包括: 在所述3x3相機陣列的中心處的基準相機； 位于所述3x3相機陣列的相對側(cè)的兩個紅顏色相機； 位于所述3x3相機陣列的相對側(cè)的兩個藍顏色相機；以及 四個綠顏色相機，各自位于所述3x3相機陣列的角落位置； 其中，每個顏色相機是利用顏色濾光器來實現(xiàn)的。
12.如權(quán)利要求11所述的3x3陣列相機模塊，其中，在所述成像器陣列上實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
13.如權(quán)利要求11所述的3x3陣列相機模塊，其中，在透鏡堆疊內(nèi)實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
14.如權(quán)利要求11所述的3x3陣列相機模塊，其中，所述基準相機是綠顏色相機。
15.如權(quán)利要求11所述的3x3陣列相機模塊，其中，所述基準相機是以下各項之一:包含拜耳濾光器的相機，被配置為捕捉紅外光的相機，以及被配置為捕捉紫外光的相機。
16.一種用至少一個π濾光器群組來對陣列相機模塊形成圖案的方法，包括: 評估MxN個焦平面的成像器陣列是否包括任何缺陷焦平面，其中每個焦平面包括光敏像素的陣列； 利用以下各項來組裝MxN陣列相機模塊: MxN個焦平面的成像器陣列； 透鏡堆疊的MxN光學陣列,其中每個透鏡堆疊對應(yīng)于一焦平面， 其中，所述MxN陣列相機模塊被組裝成使得: 每個透鏡堆疊及其相應(yīng)的焦平面定義一相機； 在所述陣列相機模塊內(nèi)實現(xiàn)顏色濾光器以使得所述陣列相機模塊被用至少一個H濾光器群組來形成圖案，所述至少一個H濾光器群組包括: 3x3相機陣列，其包括: 在所述3x3相機陣列的中心處的基準相機； 位于所述3x3相機陣列的相對側(cè)的兩個紅顏色相機； 位于所述3x3相機陣列的相對側(cè)的兩個藍顏色相機；以及 圍繞所述基準相機的四個綠顏色相機；并且 其中，用所述至少一個η濾光器群組來對所述陣列相機模塊形成圖案以使得包括缺陷焦平面的相機是綠顏色相機。
17.如權(quán)利要求16所述的用至少一個π濾光器群組來對陣列相機模塊形成圖案的方法，其中，在所述成像器陣列上實現(xiàn)至少一個顏色濾光器。
18.如權(quán)利要求16所述的用至少一個π濾光器群組來對陣列相機模塊形成圖案的方法，其中，在透鏡堆疊內(nèi)實現(xiàn)至少一個顏色濾光器。
19.如權(quán)利要求16所述的用至少一個π濾光器群組來對陣列相機模塊形成圖案的方法，其中，所述基準相機是綠顏色相機。
20.如權(quán)利要求16所述的用至少一個π濾光器群組來對陣列相機模塊形成圖案的方法，其中，所述基準相機是以下各項之一:包含拜耳濾光器的相機，被配置為捕捉紅外光的相機，以及被配置為捕捉紫外光的相機。
21.—種陣列相機模塊,包括: 包括MxN個焦平面的成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在所述成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)； MxN個透鏡堆疊的光學陣列，其中由所述透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像； 其中，所述成像器陣列和所述透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的MxN陣列； 其中，所述相機的MxN陣列中的至少一行包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；并且 其中，所述相機的MxN陣列中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。
22.如權(quán)利要求21所述的陣列相機模塊，其中: 紅顏色相機是捕捉包括具有在620nm到750nm的范圍內(nèi)的波長的電磁波的圖像數(shù)據(jù)的相機； 綠顏色相機是捕捉包括具有在495nm到570nm的范圍內(nèi)的波長的電磁波的圖像數(shù)據(jù)的相機；并且 藍顏色相機是捕捉包括具有在450nm到495nm的范圍內(nèi)的波長的電磁波的圖像數(shù)據(jù)的相機。
23.如權(quán)利要求22所述的陣列相機模塊，其中，所述陣列相機模塊內(nèi)的每個相機的光學器件被配置成使得每個相機具有場景的如下視場，該視場相對于其他相機的視場是偏移的，從而每個相機的視場相對于其他相機的視場的每個偏移被配置為包括場景的唯一亞像素偏移視域。
24.如權(quán)利要求23所述的陣列相機模塊，其中: M和N各自大于2并且M和N中的至少一個是偶數(shù)； 在所述陣列相機模塊中的相機內(nèi)實現(xiàn)顏色濾光器，使得用至少一個η濾光器群組來對所述陣列相機模塊形成圖案，所述至少一個η濾光器群組包括: 3x3相機陣列，其包括: 在所述3x3相機陣列的中心處的基準相機； 位于所述3x3相機陣列的相對側(cè)的兩個紅顏色相機； 位于所述3x3相機陣列的相對側(cè)的兩個藍顏色相機；以及 圍繞所述基準相機的四個綠顏色相機。
25.如權(quán)利要求24所述的陣列相機模塊，其中，圍繞所述基準相機的四個綠顏色相機中的每一個被部署在所述3x3相機陣列的角落位置。
26.如權(quán)利要求25所述的陣列相機模塊，其中: M為四； N為四； 4x4陣列相機模塊的第一行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和紅顏色相機； 4x4陣列相機模塊的第二行相機按順序包括紅顏色相機、綠顏色相機、紅顏色相機和綠顏色相機； 4x4陣列相機模塊的第三行相機按順序包括綠顏色相機、藍顏色相機、綠顏色相機和藍顏色相機；并且 4x4陣列相機模塊的第四行相機按順序包括藍顏色相機、綠顏色相機、紅顏色相機和綠顏色相機。
27.如權(quán)利要求25所述的陣列相機模塊，其中: M為四； N為四； 4x4陣列相機模塊的第一行相機按順序包括紅顏色相機、綠顏色相機、藍顏色相機和綠顏色相機； 4x4陣列相機模塊的第二行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和紅顏色相機； 4x4陣列相機模塊的第三行相機按順序包括藍顏色相機、綠顏色相機、藍顏色相機和綠顏色相機；并且 4x4陣列相機模塊的第四行相機按順序包括綠顏色相機、紅顏色相機、綠顏色相機和藍顏色相機。
28.如權(quán)利要求24所述的陣列相機模塊，其中，所述至少一個π濾光器群組內(nèi)的基準相機是綠顏色相機。
29.如權(quán)利要求24所述的陣列相機模塊，其中，所述至少一個π濾光器群組內(nèi)的基準相機是包含拜耳濾光器的相機。
30.如權(quán)利要求24所述的陣列相機模塊，其中，所述基準相機是以下各項之一:包含拜耳濾光器的相機，被配置為捕捉紅外光的相機，以及被配置為捕捉紫外光的相機。
31.如權(quán)利要求24所述的陣列相機模塊，其中，所述兩個紅顏色相機中的每一個位于所述3x3相機陣列的角落位置，并且其中，所述兩個藍顏色相機中的每一個位于所述3x3相機陣列的角落位置。
32.如權(quán)利要求24所述的陣列相機模塊，其中，在所述成像器陣列上實現(xiàn)至少一個顏色濾光器。
33.如權(quán)利要求24所述的陣列相機模塊，其中，在透鏡堆疊上實現(xiàn)至少一個顏色濾光器。
34.—種3x3陣列相機模塊,包括: 包括焦平面的3x3布置的3x3成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在所述成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)； 透鏡堆疊的3x3光學陣列，其中由所述透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像； 其中，所述成像器陣列和所述透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的3x3陣列； 其中，所述3x3相機陣列包括: 在所述3x3相機陣列的中心處的基準相機； 位于所述3x3相機陣列的相對側(cè)的兩個紅顏色相機； 位于所述3x3相機陣列的相對側(cè)的兩個藍顏色相機；以及 四個綠顏色相機，各自位于所述3x3相機陣列的角落位置； 其中，每個顏色相機是利用顏色濾光器來實現(xiàn)的。
35.如權(quán)利要求34所述的3x3陣列相機模塊，其中，在所述成像器陣列上實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
36.如權(quán)利要求34所述的3x3陣列相機模塊，其中，在透鏡堆疊內(nèi)實現(xiàn)至少一個顏色濾光器來實現(xiàn)顏色相機。
37.如權(quán)利要求34所述的3x3陣列相機模塊，其中，所述基準相機是綠顏色相機。
38.如權(quán)利要求34所述的3x3陣列相機模塊，其中，所述基準相機是以下各項之一:包含拜耳濾光器的相機，被配置為捕捉紅外光的相機，以及被配置為捕捉紫外光的相機。
39.一種陣列相機模塊,包括: 包括MxN個焦平面的成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在所述成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)； MxN個透鏡堆疊的光學陣列，其中由所述透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像； 其中，所述成像器陣列和所述透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的MxN陣列；并且 其中，所述相機的MxN陣列中的至少一行或者至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機。
40.如權(quán)利要求39所述的陣列相機模塊，其中: M為三； N為三； 3x3陣列相機模塊的第一行相機按順序包括藍顏色相機、綠顏色相機和綠顏色相機； 3x3陣列相機模塊的第二行相機按順序包括紅顏色相機、綠顏色相機和紅顏色相機；并且 3x3陣列相機模塊的第三行相機按順序包括綠顏色相機、綠顏色相機和藍顏色相機。
41.如權(quán)利要求39所述的陣列相機模塊，其中: M為三； N為三； 3x3陣列相機模塊的第一行相機按順序包括紅顏色相機、綠顏色相機和綠顏色相機； 3x3陣列相機模塊的第二行相機按順序包括藍顏色相機、綠顏色相機和藍顏色相機；并且 3x3陣列相機模塊的第三行相機按順序包括綠顏色相機、綠顏色相機和紅顏色相機。
42.一種陣列相機,包括: 陣列相機模塊，其包括: 包括MxN個焦平面的成像器陣列，其中每個焦平面包括多行像素，這多行像素也形成多列像素，并且每個有效焦平面被包含在所述成像器陣列的不包含來自另一焦平面的像素的區(qū)域內(nèi)； MxN個透鏡堆疊的光學陣列，其中由所述透鏡堆疊的光學陣列中的一單獨透鏡堆疊在每個焦平面上形成圖像； 其中，所述成像器陣列和所述透鏡堆疊的光學陣列形成被配置為獨立地捕捉場景的圖像的相機的MxN陣列； 其中，所述MxN相機陣列中的至少一行包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；并且 其中，所述MxN相機陣列中的至少一列包括至少一個紅顏色相機、至少一個綠顏色相機和至少一個藍顏色相機；以及 處理器，其包括圖像處理管道，該圖像處理管道包括: 視差檢測模塊；以及 超分辨率模塊； 其中，所述視差檢測模塊被配置為從所述相機模塊獲得場景的基準低分辨率圖像和該場景的至少一個替換視域圖像； 其中，所述視差檢測模塊被配置為比較所述基準圖像和所述至少一個替換視域圖像以為所述基準圖像確定深度圖和遮蔽圖；并且 其中，所述超分辨率模塊被配置為至少利用所述基準圖像、所述深度圖、所述遮蔽圖和所述至少一個替換視域圖像來合成高分辨率圖像。
【文檔編號】G06T7/00GK104335246SQ201380029203
【公開日】2015年2月4日 申請日期:2013年5月1日 優(yōu)先權(quán)日:2012年5月1日
【發(fā)明者】S·尼森佐恩, K·文卡塔拉曼 申請人:派力肯影像公司