使用陣列傳感器以傳感器的全分辨率測量多種類型數(shù)據(jù)的方法
【專利摘要】一種致動器，其被配置用于在第一位置與第二位置之間移動傳感器陣列，從而以所述傳感器陣列的全分辨率提供彩色圖像數(shù)據(jù)和其他數(shù)據(jù)。在許多實施方式中，所述傳感器陣列針對每種類型數(shù)據(jù)的輸出分辨率包括所述傳感器陣列在無移動情況下的分辨率的兩倍。所述傳感器陣列在所述第一位置與第二位置之間的交替移動提供具有比在不交替移動所述傳感器陣列情況下原本可能出現(xiàn)的偽影更少的偽影的輸出圖像。
【專利說明】使用陣列傳感器從傳感器的全分辨率測量多種類型數(shù)據(jù)的 方法 交叉引用
[0001 ]本申請要求提交于2014年6月17日的美國專利申請序列號14/306,844、提交于 2013年10月4日的序列號61/961,031、提交于2013年10月25日的序列號61/961,821?及提 交于2014年1月9日的序列號61/925,339的優(yōu)先權(quán)，上述文獻的全部公開內(nèi)容均通過引用而 并入于此。 發(fā)明背景
[0002] 傳感器是測量數(shù)據(jù)值的設(shè)備。數(shù)據(jù)可W經(jīng)由單一傳感器作為單一值測量，諸如測 量速度矢量，或者W多重數(shù)據(jù)測量的形式來測量，諸如測量某一場景中屬于某個頻帶或頻 譜內(nèi)的光的強度，或者由于對物體的某種刺激而發(fā)出的光的強度，諸如核磁共振成像 (MRI)。
[0003] 傳感器可W是一維或二維陣列的形式。二維陣列傳感器具有多個"小"測量區(qū)域或 "微傳感器"。傳統(tǒng)上，二維微傳感器陣列被制造成對某種類型的測量敏感;也就是說，該陣 列被制造用于測量單一類型的數(shù)據(jù)。由多個微傳感器形成的傳感器陣列的一個示例是日常 的相機。相機包含被稱為像素的微傳感器，它們對可見光敏感，即，每個微傳感器測量落在 其表面上的光的強度。每個微傳感器(或像素)具有光電區(qū)域，該光電區(qū)域負責收集入射光 并將其轉(zhuǎn)換成作為該光的強度的函數(shù)的電信號。因此，當光落在每個微傳感器上時，光被轉(zhuǎn) 換成作為模擬值讀取的電信號。通過使用解碼電路來完成對微傳感器的選擇W讀取其值， 該解碼電路選擇與微傳感器連接的行和列。所述值被放大、轉(zhuǎn)換成數(shù)字值，并儲存在存儲器 中，W供在可能用于不同應用的數(shù)字計算和處理系統(tǒng)中的后續(xù)使用。
[0004] 通過在每個像素上放置一個不同的光導納濾波器，可W使像素陣列對不同顏色敏 感。例如，一個濾波器可W導納綠色光譜的光，另一濾波器導納紅色光譜的光，而第Ξ濾波 器導納藍色光譜的光。貝爾圖案（"Bayer pattern")是對于在可見光譜相機中使用的二維 傳感器陣列的常用微傳感器(像素)布局。
[0005] 對兩種不同類型數(shù)據(jù)進行測量在分類上可W劃分為兩種體系:第一種直接方法是 對每種測量使用單獨的傳感器，一種傳感器用于抓取可見光圖像，而另一種傳感器用于抓 取紅外數(shù)據(jù)(用于深度計算）。第二種方法是使用測量可見光的像素與測量紅外光的像素的 混合。第一種方法存在采用單獨的傳感器的缺點。第二種方法存在兩個主要弊端。首先，由 于像素陣列在空間上由不同類型的微傳感器所共享，因此其在兩種測量中都有分辨率損 失。其次，當深度微傳感器放置在可見光微傳感器"之下"時，可見光圖像的圖像質(zhì)量可能發(fā) 生急劇下降。
[0006] 本公開內(nèi)容的各個方面、實施方式和/或配置滿足了運些需求和其他需求。

【發(fā)明內(nèi)容】

[0007] 本公開內(nèi)容設(shè)及能夠捕捉多種類型數(shù)據(jù)的圖像處理系統(tǒng)。本公開內(nèi)容的教導適用 于感光設(shè)備所采用的電荷禪合器件(CCD)和互補金屬氧化物半導體(CMOS)技術(shù)。在許多實 施方式中，致動器被配置用于在第一位置與第二位置之間移動傳感器，w便w傳感器陣列 的全分辨率提供彩色圖像數(shù)據(jù)和其他數(shù)據(jù)。在許多實施方式中，所述傳感器陣列針對每種 類型數(shù)據(jù)的輸出分辨率包括所述傳感器陣列在不移動的情況下的分辨率的兩倍。所述傳感 器陣列在所述第一位置與第二位置之間的交替移動提供具有減少的偽像的輸出圖像，所述 偽像原本可能在不交替移動所述傳感器陣列的情況下出現(xiàn)。
[0008] 在一方面，本文公開了一種裝置，包括：（a)傳感器陣列，其包括安設(shè)在第一多對相 鄰線性陣列上的用于感測貝爾圖案數(shù)據(jù)的多個貝爾圖案，具有位于所述第一多對相鄰線性 陣列之間用于感測不同類型數(shù)據(jù)的不同圖案的第二多對相鄰線性陣列；（b)致動器，其用于 將所述傳感器陣列從第一位置移動至第二位置，其中所述第一多對相鄰線性陣列的物理位 置與所述第二多對相鄰線性陣列的物理位置交替排列；W及(C)電路，其禪合至所述致動器 和所述傳感器陣列W從所述第一位置和所述第二位置中的每個位置輸出所述貝爾圖案數(shù) 據(jù)和所述不同類型數(shù)據(jù)。在一些實施方式中，所述貝爾圖案數(shù)據(jù)的每個像素關(guān)聯(lián)于所述第 一位置或所述第二位置而輸出，并且其中所述不同類型數(shù)據(jù)的每個像素關(guān)聯(lián)于所述第一位 置或所述第二位置而輸出。
[0009] 在一些實施方式中，所述不同圖案包括紅外濾波器圖案、紫外濾波器圖案、非貝爾 可見光濾波器圖案或不含濾波器的圖案中的一種或多種。
[0010] 在一些實施方式中，所述第一多對相鄰線性陣列中的每一對包括兩個相鄰對，并 且其中所述第二多對相鄰線性陣列中的每一對包括兩對相鄰線性陣列。
[0011] 在一些實施方式中，所述第一多對相鄰線性陣列中的每一對包括Ξ對或更多對相 鄰線性陣列，并且其中所述第二多對相鄰線性陣列中的每一對包括Ξ對或更多對相鄰線性 陣列。
[0012] 在一些實施方式中，所述裝置還包括用于發(fā)信號指示所述傳感器陣列何時位于所 述第一位置的第一限位開關(guān)和用于發(fā)信號指示所述傳感器陣列何時位于所述第二位置的 第二限位開關(guān)，其中所述電路被配置用于響應于所述第一限位開關(guān)感測到所述傳感器陣列 移動到所述第一位置而整合所述傳感器陣列在所述第一位置的第一復合數(shù)據(jù)，W及響應于 所述第二限位開關(guān)感測到所述傳感器移動到所述第二位置而整合所述傳感器陣列的第二 復合數(shù)據(jù)。
[0013] 在一些實施方式中，所述裝置中的所述電路被配置用于從所述第一復合數(shù)據(jù)和所 述第二復合數(shù)據(jù)生成所述貝爾圖案數(shù)據(jù)，W及從所述第一復合數(shù)據(jù)和所述第二復合數(shù)據(jù)生 成所述不同類型數(shù)據(jù)。
[0014] 在一些應用中，所述電路包括用于使所述傳感器陣列移動至所述第一位置并在所 述第一位置測量所述傳感器陣列的第一數(shù)據(jù)W及使所述傳感器陣列移動至所述第二位置 并在所述第二位置測量所述傳感器陣列的第二數(shù)據(jù)的指令，所述處理器還包括用于從具有 所述貝爾圖案所述第一多對相鄰線性陣列提供第一全帖圖像W及用于從具有不同圖案的 所述第二多對相鄰線性陣列輸出第二全帖圖像的指令，其中所述傳感器包括一定數(shù)目的像 素，并且其中所述第一全帖圖像和所述第二全帖圖像中的每一個都包括所述傳感器陣列的 該數(shù)目的像素。
[0015] 在某些實施方式中，所述裝置中的所述致動器包括微機電系統(tǒng)。
[0016] 在一些應用中，所述多個貝爾圖案中的每一個包括用于感測紅光的紅像素、用于 感測藍光的藍像素、用于感測綠光的一對對角綠像素。此外，所述第四傳感器感測紅外電磁 波，并且/或者電路禪合至可移動口W便控制所述口的運動。
[0017] 在一些實施方式中，所述裝置還包括數(shù)字數(shù)據(jù)存儲，該數(shù)字數(shù)據(jù)存儲用于儲存從 所述傳感器陣列生成的輸出。
[0018] 在某些實施方式中，所述裝置還包括數(shù)字信號處理器，該數(shù)字信號處理器用于控 制W下各項中的一個或多個:將所述輸出傳送至數(shù)字數(shù)據(jù)存儲、對所述圖像采集進行定時、 所述陣列的移動、配置所述電路、配置圖像形成W及生成圖像。
【附圖說明】
[0019] 在隨附權(quán)利要求中具體闡述了本發(fā)明的新穎特征。通過參考闡述了利用本發(fā)明原 理的說明性實施方式的W下詳細描述和附圖，將會獲得對本發(fā)明特征和優(yōu)點的更好理解， 在附圖中：
[0020] 圖1描繪了根據(jù)實施方式的微傳感器陣列;在本例中，微傳感器的陣列布置成兩種 類型的微傳感器等數(shù)交錯的矩形二維陣列的幾何布局。
[0021] 圖2描繪了根據(jù)實施方式的微傳感器陣列的一部分;在本例中，是具有光敏區(qū)域的 微傳感器陣列部分。
[0022] 圖3描繪了根據(jù)實施方式的CMOS微傳感器陣列的示例性實現(xiàn)。
[0023] 圖4描繪了根據(jù)實施方式的微傳感器陣列。
[0024] 圖5描繪了根據(jù)實施方式的微透鏡截面。
[0025] 圖6是根據(jù)實施方式的透射率(縱軸）比對波長(nm)(橫軸）的曲線圖，圖中描繪了 彩色濾波器與紅外阻隔率和導納率。
[0026] 圖7描繪了根據(jù)實施方式的圖像處理系統(tǒng)。
[0027] 圖8描繪了根據(jù)實施方式的圖像處理系統(tǒng)。
[0028] 圖9描繪了根據(jù)實施方式的4像素布置。
[0029] 圖10描繪了根據(jù)實施方式的圖像處理系統(tǒng)。
[0030] 圖11描繪了根據(jù)實施方式的彩色濾波器的布局。
[0031] 圖12描繪了根據(jù)實施方式的對可見光敏感和對紅外光敏感的像素的交錯行。
[0032] 圖13描繪了根據(jù)實施方式的、根據(jù)本公開內(nèi)容并在通過MEMS移動之前和之后的對 可見光敏感和對紅外光敏感的像素的交錯行。
[0033] 圖14描繪了根據(jù)實施方式在存儲器中寫入傳感器陣列數(shù)據(jù)的方法。
[0034] 圖15描繪了根據(jù)實施方式在存儲器中寫入傳感器陣列數(shù)據(jù)的方法。
[0035] 圖16描繪了根據(jù)實施方式在存儲器中寫入傳感器陣列數(shù)據(jù)的方法。
[0036] 圖17描繪了根據(jù)實施方式的濾光口。
[0037] 圖18描繪了根據(jù)實施方式的多個濾光口。
[0038] 圖19描繪了根據(jù)實施方式的圖像處理系統(tǒng)。
【具體實施方式】
[0039] 在一些實施方式中，本文描述的裝置、設(shè)備和系統(tǒng)包括：（a)傳感器陣列，其可操作 用于感測第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，所述第一類型的數(shù)據(jù)與第二類型的數(shù)據(jù)不相 同；W及(b)微機電系統(tǒng)(MEMS)，其用于移動W下各項中的至少一個：（i)傳感器陣列，使得 該傳感器陣列的不同傳感器在共同位置捕捉第一類型數(shù)據(jù)和第二類型數(shù)據(jù)中的不同類型 數(shù)據(jù)，W及（ii)定位在傳感器陣列的傳感器中的至少一個傳感器之上的濾波器，使得選定 的傳感器可W根據(jù)濾波器的位置而捕捉第一類型的數(shù)據(jù)或第二類型的數(shù)據(jù)。在一些實施方 式中，在第一操作模式下，由傳感器陣列捕捉第一復合帖，并且在第二操作模式下，由傳感 器陣列捕捉第二復合帖。第一復合帖和第二復合帖中的每一個都包含第一類型的數(shù)據(jù)和第 二類型的數(shù)據(jù)。在一些實施方式中，第一復合帖和第二復合帖可W分成僅包含第一類型數(shù) 據(jù)的第一帖和僅包含第二類型數(shù)據(jù)的第二帖。在進一步的實施方式中，第一帖和第二帖儲 存在不同且分立的計算機可讀介質(zhì)中。或者，第一帖和第二帖儲存在不同且不重疊的存儲 器位置中。
[0040] 在一些實施方式中，第一類型的數(shù)據(jù)是可見光（例如，紅光、藍光和綠光中的一種 或多種），而第二類型的數(shù)據(jù)可W是紅外光。傳感器陣列包括用于感測第一類型數(shù)據(jù)的第一 組傳感器和用于感測第二類型數(shù)據(jù)的第二組傳感器。第一組傳感器優(yōu)選地具有與第二組傳 感器不同的成員。在一些實施方式中，MEMS將傳感器陣列從第一位置移動至第二位置W分 別采集第一帖和第二帖。第一組傳感器和第二組傳感器可W在逐行和/或逐列的基礎(chǔ)上彼 此交錯。由MEMS對傳感器陣列進行的移動的距離和方向通常是所采用的交錯類型的函數(shù)。
[0041] 在一些實施方式中，MEMS移動定位在至少一個傳感器之上的濾波器，使得選定的 傳感器可W根據(jù)該濾波器的位置來捕捉第一類型的數(shù)據(jù)或第二類型的數(shù)據(jù)。第一類型的數(shù) 據(jù)通常是藍光、綠光和紅光中的一種或多種，而第二類型的數(shù)據(jù)通常是紅外光。在一些實施 方式中，濾波器基本上（i)阻擋藍光、綠光和紅光中的一種或多種，同時透過紅外光，或者 (ii)阻擋紅外光，同時透過藍光、綠光和紅光中的一種或多種。在第一操作模式下，MEMS將 濾波器定位在選定的傳感器之上W在光接觸選定的傳感器之前對光進行過濾，并且在第二 操作模式下，MEMS從選定的傳感器移除濾波器W使未經(jīng)過濾的光能夠接觸選定的傳感器。
[0042] 在一些實施方式中，使用多個濾波器。第一濾波器基本上阻擋藍光、綠光和紅光中 的一種或多種同時透過紅外光，而第二濾波器可W基本上阻擋紅外光同時透過藍光、綠光 和紅光中的一種或多種。在第一操作模式下，MEMS將第一濾波器而不是第二濾波器定位在 選定的傳感器之上W在光接觸選定的傳感器之前對光進行過濾，并且在第二操作模式下， MEMS將第二濾波器而不是第一濾波器定位在選定的傳感器之上W在光接觸選定的傳感器 之前對光進行過濾。
[0043] 在一些實施方式中，微傳感器陣列對接到典型數(shù)字系統(tǒng)，該系統(tǒng)讀取數(shù)據(jù)并將數(shù) 據(jù)儲存到數(shù)字存儲(存儲器)中W供后續(xù)處理，整個操作受微處理器(CPU)控制。
[0044] 根據(jù)特定方面、實施方式和/或配置，本公開內(nèi)容可W提供許多優(yōu)點?？蒞應用圖 像處理系統(tǒng)使傳感器陣列W其微傳感器的全分辨率對不止一種類型的數(shù)據(jù)敏感。全分辨率 意味著在對傳入數(shù)據(jù)的測量中使用到每個像素。 一些定義
[0045] 短語"至少一個"、"一個或多個"W及"和/或"是開放式表達，在操作中既可W是結(jié) 合性的也可W是分隔性的。舉例而言，"A、B和C中的至少一個"、"A、B或C中的至少一個"、"A、 B和C中的一個或多個"、"A、B或C中的一個或多個及"A、B和/或C'運些表達方式中的每一 種都意指單獨的A、單獨的B、單獨的C、A和B-起、A和C一起、B和C一起，或者A、B和C一起。
[0046] 術(shù)語"一種"或"一個"實體指代一個(一種)或多個(多種)該實體。同樣地，術(shù)語"一 種"（或"一個"）、"一個或多個"和"至少一個"可W在本文中互換使用。還需注意，術(shù)語"包 括"、"包含"和"具有"可W互換使用。
[0047] 本文所使用的術(shù)語"自動的"及其變體是指在執(zhí)行過程或操作時無需實質(zhì)性人為 輸入的任何過程或操作。然而，即使過程或操作的執(zhí)行使用了實質(zhì)性或非實質(zhì)性人為輸入， 倘若該輸入是在執(zhí)行過程或操作之前接收到的，則該過程或操作也可W是自動的。如果人 為輸入影響到過程或操作將會如何執(zhí)行，則運樣的輸入被認為是實質(zhì)性的。同意執(zhí)行過程 或操作的人為輸入不被認為是"實質(zhì)性的"。
[0048] 本文所使用的術(shù)語"計算機可讀介質(zhì)"是指參與向處理器提供指令W供執(zhí)行的任 何存儲和/或傳輸介質(zhì)。運樣的介質(zhì)通常是有形的和非瞬時性的，并且可W采取許多形式， 運些形式包括但不限于:非易失性介質(zhì)、易失性介質(zhì)和傳輸介質(zhì)，并且包括但不限于隨機存 取存儲器（"RAM")、只讀存儲器（"ROM")等。舉例而言，非易失性介質(zhì)包括NVRAM或者磁盤或 光盤。易失性介質(zhì)包括動態(tài)存儲器，諸如主存儲器。舉例而言，計算機可讀介質(zhì)的常見形式 包括軟盤(包括但不限于伯努利盒式磁帶(Bernoulli cadridge)、ZIP驅(qū)動器和JAZ驅(qū)動 器）、柔性盤、硬盤、磁帶或盒式磁帶，或者任何其他磁介質(zhì)、磁光介質(zhì)、數(shù)字視頻光盤(如CD- R0M)、任何其他光介質(zhì)、穿孔卡片、紙帶、具有孔圖案的任何其他物理介質(zhì)、RAM、PR0M和 EPR0M、FLA甜-EPROM、固態(tài)介質(zhì)如存儲卡、任何其他存儲器忍片或卡盒、如下文所述的載波， 或者計算機能夠從中進行讀取的任何其他介質(zhì)。電子郵件的數(shù)字文件附件或其他自含式信 息檔案或者檔案集被視為與有形存儲介質(zhì)等同的分布式介質(zhì)。當計算機可讀介質(zhì)被配置成 數(shù)據(jù)庫時，應當理解該數(shù)據(jù)庫可W是任何類型的數(shù)據(jù)庫，諸如關(guān)系型數(shù)據(jù)庫、分層數(shù)據(jù)庫、 面向?qū)ο髷?shù)據(jù)庫等。因此，本公開內(nèi)容被視為包括有形存儲介質(zhì)或分布式介質(zhì)W及現(xiàn)有技 術(shù)認可的等同物和后繼介質(zhì)，在運些介質(zhì)中儲存本公開內(nèi)容的軟件實現(xiàn)。計算機可讀存儲 介質(zhì)通常不包括瞬時性存儲介質(zhì)，特別是電信號、磁信號、電磁信號、光信號、磁光信號。
[0049] 本文所使用的術(shù)語"確定"、"推算"和"計算"及其變體可互換使用，并且包括任何 類型的方法、過程、數(shù)學操作或技術(shù)。
[0050] 本文所使用的術(shù)語"裝置"應當根據(jù)35U.S.C第112節(jié)第6段而被賦予其可能的最廣 義解釋。因此，包含術(shù)語"裝置"的權(quán)利要求應當覆蓋本文闡述的所有結(jié)構(gòu)、材料或動作及其 所有等同項。此外，所述結(jié)構(gòu)、材料或動作及其等同項應當包括
【發(fā)明內(nèi)容】
、【附圖說明】、具體實 施方式、摘要和權(quán)利要求本身中所描述的所有內(nèi)容。
[0051] 本文所使用的術(shù)語"模塊"是指任何已知或今后開發(fā)的、能夠執(zhí)行與該元件相關(guān)聯(lián) 的功能的硬件、軟件、固件、人工智能、模糊邏輯或者硬件和軟件的組合。
[0052] W上是對本公開內(nèi)容的簡要總結(jié)，W提供對本公開內(nèi)容的一些方面的理解。運一 總結(jié)并不是本公開內(nèi)容及其各個方面、實施方式和/或配置的全面或詳盡概述。其既不旨在 確定本公開內(nèi)容的關(guān)鍵或重要元素，也不旨在劃定本公開內(nèi)容的范圍，而是旨在W簡化形 式呈現(xiàn)本公開內(nèi)容的選定概念，作為對下文呈現(xiàn)的更詳細描述的介紹。應當理解，本公開內(nèi) 容的其他方面、實施方式和/或配置有可W單獨地使用，或者與上文闡述或下文詳細描述的 一個或多個特征相結(jié)合使用。此外，雖然通過示例性實施方式呈現(xiàn)了本公開內(nèi)容，但應當理 解，本公開內(nèi)容的各個方面可W分別要求保護。 圖像處理系統(tǒng)
[0053] 在一些實施方式中，本文描述的裝置、設(shè)備和系統(tǒng)包括圖像處理系統(tǒng)或其使用。所 述圖像處理系統(tǒng)包括能夠測量不止一種類型的測量的傳感器陣列。運樣的能力是通過許多 不同的技術(shù)實現(xiàn)的。在各種實施方式中，傳感器陣列包含與微機電系統(tǒng)(MEMS)禪合的不止 一種類型的微傳感器，所述微機電系統(tǒng)允許該傳感器猶如其是由單一類型的微傳感器形成 的那樣采集數(shù)據(jù)。在一些實施方式中，MEMS移動整個傳感器陣列；在其他實施方式中，MEMS 移動傳感器陣列的一個或多個元件。所述元件包括一個或多個選定的傳感器和/或定位在 一個或多個選定的傳感器之上(或整個陣列之上)的一個或多個濾光器。該圖像處理系統(tǒng)的 機械部分的移動總體上是傳感器陣列中不同類型的微傳感器的布局的函數(shù)。如本文所使 用，傳感器和微傳感器可互換使用。
[0054] 參考圖1，多個微傳感器或微傳感器陣列是矩形布局的形式，但亦可使用任何幾何 圖案。第一組微傳感器(標示為1和2)對某種類型的數(shù)據(jù)敏感，例如，如果該數(shù)據(jù)是光學數(shù) 據(jù)，則其對某一波長的光敏感，而另外的第二組微傳感器對另一類型的數(shù)據(jù)或另一光頻帶 敏感。該實施方式不依賴于所述多個微傳感器測量的數(shù)據(jù)是何種類型。此概念可W適用于 在傳統(tǒng)上測量一種類型的數(shù)據(jù)的任何微傳感器陣列。通過向陣列添加另一類型的微傳感 器，微傳感器陣列可W測量另一類型的數(shù)據(jù)。應當理解，可W向任何陣列添加多于兩種類型 的微傳感器W測量多于兩種不同類型的數(shù)據(jù)。
[0055] 繼續(xù)參考圖1，陣列具有沿著其寬度的一定數(shù)目的微傳感器(即，W微傳感器），W及 沿著其高度的一定數(shù)目的微傳感器（即，Η微傳感器），并且微傳感器在水平和垂直方向上按 2個微傳感器的間距交錯(如圖1中所示，其中標示出了 "水平間距"和"垂直間距"）。運些W和 Η尺寸和間距限定了微機電系統(tǒng)必須施加的運動的方向和幅度，W便使微傳感器陣列測量 全部兩種類型的測量而不犧牲任一測量的分辨率。換言之，測量每種類型數(shù)據(jù)的微傳感器 的數(shù)目是微傳感器的總數(shù)(W址)。 微傳感器陣歹
[0056] ~圖2中描繪了陣列的總體描述。其示出了微傳感器的概念，W及它們W二維陣列形 式的布置。圖2示出了由第一微傳感器、第二微傳感器、第Ξ微傳感器和第四微傳感器形成 的該陣列的一部分。第一微傳感器、第二微傳感器、第Ξ微傳感器和第四微傳感器中的每一 個具有由網(wǎng)格線限定的特定高度和寬度。該區(qū)域的一部分是將光轉(zhuǎn)換成電的特定部分;該 區(qū)域標示為4a和4b。該區(qū)域與微傳感器面積(寬度乘W高度)之間的比率稱為微傳感器的填 充因子(像素填充因子）。因此，當光落在運些微傳感器中的每一個上時，光被轉(zhuǎn)換成電信 號，該電信號被讀出為模擬值。對要讀出其值的微傳感器的選擇是通過選擇該微傳感器的 電路所連接到的行(標示為5)和列(標示為6)來完成的。該值經(jīng)由放大器放大，轉(zhuǎn)換成數(shù)字 值，并且儲存在存儲器中W供在數(shù)字計算和處理系統(tǒng)(未示出）中的后續(xù)使用。
[0057] 本公開內(nèi)容的教導同樣適用于被配置為CCD或CMOS的傳感器陣列，并且因此該電 路的設(shè)計不構(gòu)成對本公開內(nèi)容描述的實施方式的約束。應當理解，制造光敏傳感器陣列的 兩種主要方法是CCD(電荷禪合器件)或CMOS(互補金屬氧化物半導體）。對像素的訪問在運 兩種情況下是不同的。在CCD的情況下，由儲存在微傳感器的電路元件中并完全"禪合"至相 鄰像素的電荷產(chǎn)生所得電壓，該相鄰像素的電荷轉(zhuǎn)而被移動至其相鄰像素，并且W此類推 直到讀出整個行；因此，得名為電荷禪合器件(CCD)。在CCD中，像素被依次讀出，并且無法W 隨機次序讀取。與此相反，在CMOS中，通過選擇任何像素的行和列并讀取該像素的電壓值， 可w隨機訪問該像素。
[0058] 在CMOS傳感器的情況下，在圖3中描繪了構(gòu)成運些微傳感器中的每一個的電路的 實施方式。當光落在光敏元件上時，其負責將落在微傳感器上的光信號轉(zhuǎn)換成電壓，該元件 布局在電路中的大小限定了像素的填充因子。如果選擇該特定微傳感器(像素）的行和列， 則讀出該電壓值。行和列經(jīng)由稱為行和列解碼器(整個陣列傳感器的構(gòu)造塊)的外部電路來 選擇。電荷值的讀出機制取決于傳感器是CCD還是CMOS。讀出機制對本公開內(nèi)容的實施方式 沒有暗示或限制。
[0059] 由于在成像領(lǐng)域中CMOS傳感器正在取代CCD，因此現(xiàn)將針對CMOS傳感器解釋讀出。 當通過對陣列進行操作的外部數(shù)字電路激活行線（10)和列線（11)時，從該特定類型的微傳 感器讀出電荷。外部數(shù)字電路稱為行和列解碼器。對微傳感器的特定行和列的激活允許經(jīng) 由元件Msel(9)讀出通過二極管收集的電荷。經(jīng)由RST信號（12)來重置微傳感器W準備下次 測量。
[0060] 存在輔助微傳感器的輔助工具，尤其是光學輔助工具，用于采集光學(光)數(shù)據(jù)。運 樣的輔助工具的示例包括:透鏡組裝件、微透鏡，W及阻擋某些類型波長的光學濾波器和導 納某些類型波長的光學濾波器。運些濾波器可W發(fā)揮重要作用W使微傳感器能夠測量一種 類型或另一類型的數(shù)據(jù)。 透鏡組裝件示例
[0061] 為了使光禪合最大化，即，為了收集最大量的光學數(shù)據(jù)，可W用如圖4中所描繪的 透鏡組裝件覆蓋像素陣列。透鏡組裝件的機械組件包括光學透鏡。透鏡安置在一一通常梓 入機筒中（用于聚焦圖片），該機筒轉(zhuǎn)而覆蓋像素陣列。落在像素陣列上的光總體上僅穿過 透鏡進入。透鏡的中屯、可W位于像素陣列的中屯、。應當理解，并不能保證運是完美的，因此 它是計算機視覺領(lǐng)域公知的相機標定過程的參數(shù)之一。 微透鏡
[0062] 微透鏡，顧名思義，是安裝在每個微傳感器(像素)上的結(jié)構(gòu)。其為通常僅覆蓋一個 像素的透鏡。微透鏡可W增大在每個像素自身上采集的光量，從而提高對應的傳感器采集 更多光并因此在弱光環(huán)境中工作的能力。因此，微透鏡可W增大每個像素的信噪比。圖5示 出了微透鏡的截面。光落在微透鏡的凸面上。凸面使落到微傳感器(像素）的光敏區(qū)域上的 光準直，所述微傳感器在電學上是如上文所解釋的光電二極管。還示出了用于收集由光產(chǎn) 生的電信號的輔助性電子器件。還將填充因子描繪為光敏區(qū)域的寬度與整個像素的寬度之 比。此外，為了使光不從一個像素泄漏到另一像素，如圖所示，在像素周圍構(gòu)建了實屯、邊。 微傳感器與收集不同類型數(shù)據(jù)
[0063] 為使微傳感器(像素)對一種類型的數(shù)據(jù)敏感而同時阻擋另一類型的數(shù)據(jù)，采用光 學濾波器來導納所需要或期望的數(shù)據(jù)而同時阻擋不需要或不期望的數(shù)據(jù)。舉例而言，當所 需要或期望的數(shù)據(jù)是可見圖像數(shù)據(jù)(記作類型1數(shù)據(jù)），而不期望的數(shù)據(jù)是紅外（IR)數(shù)據(jù)(記 作類型2數(shù)據(jù))時，使用具有如圖6中所描繪的響應的濾波器。圖6示出了應用于選定的像素 的濾波器的透射率響應，用W接收和感測類型1數(shù)據(jù)而同時拒斥(或無法感測)類型2數(shù)據(jù)， 或者反之亦然。
[0064] 為了接收類型1數(shù)據(jù)并拒斥類型2數(shù)據(jù)，用于使微傳感器能夠接收藍色、綠色或紅 色波長范圍內(nèi)的光而同時拒斥紅外范圍內(nèi)的光的過濾器具有導納響應(分別針對用于導納 藍色、綠色和紅色的濾波器組）。拒斥紅外光所需的濾波器具有類似于該曲線的導納響應。 值得注意的是，IR濾波器可W是微透鏡自身上的"涂層"。
[0065] 與此相反，為了接收類型2數(shù)據(jù)并拒斥類型1數(shù)據(jù)，用于使微傳感器能夠僅接收紅 外光而同時拒斥可見光波長的濾波器導納紅外光并且在概念上類似于具有導納響應的濾 波器。 使用成像和計算機視覺領(lǐng)域的實施方式
[0066] 在成像和計算機視覺的實施方式中，通常存在需要測量的兩種不同類型的測量； 因此，一般需要兩種類型的微傳感器(像素)來測量運些類型的數(shù)據(jù)。使一種類型的微傳感 器對可見光敏感，而另一類型的微傳感器對紅外（IR)波長敏感。運在開發(fā)用于采集圖像W 及深度數(shù)據(jù)的相機中的傳感器陣列的背景下特別有益。然而，在此解釋的方法亦可適用于 使傳感器陣列W其微傳感器的全分辨率對不止一種類型的數(shù)據(jù)敏感。全分辨率意味著在對 輸入數(shù)據(jù)的測量中使用到每個像素。選擇與成像和計算機視覺領(lǐng)域相關(guān)的兩種不同類型的 數(shù)據(jù)來測量。并且運兩種類型的數(shù)據(jù)是可見光強度和紅外光強度，或者簡稱為視頻數(shù)據(jù)和 紅外數(shù)據(jù)。
[0067] 傳統(tǒng)上成像可W采集圖像并W最高質(zhì)量向用戶呈現(xiàn)該圖像。數(shù)字相機取代了膠 卷，原因是多方面的，主要是易于使用、在拍攝之前看到圖像、易于擦除和重攝圖像，W及最 重要地，圖像是數(shù)字格式W供計算機系統(tǒng)直接使用，該計算機系統(tǒng)在不同的軟件應用中采 用圖像和/或視頻剪輯，從而對運些圖像添加更多價值。
[0068] 計算機視覺已經(jīng)成為與在日常使用的若干設(shè)備上運行的不同成像應用相集成的 領(lǐng)域。計算機視覺前進到了成像之后的下一步，即，使用圖像中的信息來完成用戶所定義的 不同任務。例如，計算機視覺應用發(fā)現(xiàn)圖像中的面孔(例如，面部識別），W及發(fā)現(xiàn)與任務相 關(guān)的物體W便進行修改或增強(諸如，增強現(xiàn)實）。運些系統(tǒng)的一個絕佳例子是人類自然用 戶界面化NUI)。運些界面在被越來越多用戶采用的許多設(shè)備中得到使用。
[0069] 深度測量對于計算機視覺往往是至關(guān)重要的，并且事實上已經(jīng)成為計算機視覺研 究的圣杯。計算機視覺的許多任務需要相機所瞄準的場景的深度信息。多相機系統(tǒng)，主要是 立體視覺(立體視覺是在使用兩個相機時的情況），已經(jīng)占據(jù)運種研究的很大份額，但其存 在一些缺點，即，擁有兩個相機所造成的系統(tǒng)復雜性，并且更困難的缺點是對應問題和遮擋 問題。第一個問題是將一個相機圖像中的區(qū)域或點與另一相機圖像中的同一點相匹配的問 題。在多于兩個相機的情況下，該問題變得越來越復雜。遮擋是在另一相機中不具有用W開 始的另一點的問題，運是因為從另一相機的角度看，它被場景中的另一物體所遮擋。
[0070] 由于在依賴立體計算機視覺算法來發(fā)現(xiàn)深度時遇到了運些障礙，已經(jīng)出現(xiàn)了其他 方法，其采用在場景上投射先驗已知的光圖案(對人類視覺系統(tǒng)可見或不可見），并拍攝該 場景的圖像W分析變形和大小，W及由相機成像的運些圖案的其他性質(zhì)，從而提取關(guān)于場 景的每個點的深度的信息。使用不可見圖案來計算深度使得它們不出現(xiàn)在傳統(tǒng)圖像中更為 適宜。倘若所述系統(tǒng)是用于工業(yè)應用，則圖案可見與否無關(guān)緊要，因為運些系統(tǒng)主要關(guān)注的 是所生產(chǎn)的產(chǎn)品的質(zhì)量控制。但是如果在采集傳統(tǒng)圖片或視頻的系統(tǒng)中使用該系統(tǒng)，則在 場景上看到光圖案通常是不可接受的。針對運些系統(tǒng)最常使用的波長譜是紅外波長譜。抓 取常規(guī)視頻的相機將被稱為視頻相機，或視頻傳感器，或視頻成像儀，而抓取紅外光譜的相 機將被稱為紅外相機，或紅外傳感器，或紅外成像儀。 用于感測數(shù)據(jù)的圖像處理系統(tǒng)
[0071] 為了創(chuàng)建測量不止一種類型的測量的圖像處理系統(tǒng)，針對每種類型的測量采用單 獨的傳感器。例如，如果捕捉可見光(最佳示例是數(shù)字相機），則利用適當?shù)臑V波器來改造單 個傳感器陣列W便只捕捉可見光(通常在紅、綠和藍顏色頻帶中）。
[0072] 圖7示出了捕捉可見光W便將其呈現(xiàn)在二維陣列中的系統(tǒng)。運樣的系統(tǒng)的基本理 念是使用在微處理器或中央處理器(CPU)的控制下的二維微傳感器陣列來"感測"環(huán)境。CPU 通常在所述傳感器上編程不同參數(shù)W使其更適合于感測數(shù)據(jù)，并且還驅(qū)動定時電路，該定 時電路觸發(fā)二維陣列W使用微傳感器陣列來捕捉二維數(shù)據(jù)陣列。CPU繼而驅(qū)動定時電路W 使傳感器陣列進入讀出其所"感測"的尺寸數(shù)據(jù)的模式。該數(shù)據(jù)儲存在存儲器內(nèi)，W供后續(xù) 由將會利用所感測的數(shù)據(jù)的任何應用來使用。第一種感測數(shù)據(jù)是由相機的微傳感器(像素） 收集的可見光數(shù)據(jù)。存儲器還被稱為視頻帖存儲。數(shù)字數(shù)據(jù)經(jīng)由信號導線(在數(shù)字系統(tǒng)中亦 稱為數(shù)據(jù)總線)跨不同系統(tǒng)組件進行傳輸，所述系統(tǒng)組件即傳感器陣列、微處理器和數(shù)字存 儲元件(存儲器）。經(jīng)由信號載體在數(shù)據(jù)總線上從傳感器陣列讀出所述數(shù)據(jù)，所述信號載體 是攜帶從傳感器陣列傳出的數(shù)字數(shù)據(jù)的線路。運是設(shè)計用于感測單一類型數(shù)據(jù)的數(shù)字系統(tǒng) 的基本功能。顯然，數(shù)字相機具有更多特征并且對傳感器自身擁有許多控制，但它們可W容 易地在本文公開的實施方式中實現(xiàn)。
[0073] 為了擴展數(shù)字系統(tǒng)W便測量另一類型的數(shù)據(jù)，采用另一傳感器陣列。使用圖8示出 了運一方案。出于說明目的，用于計算場景的深度信息的另一類型的數(shù)據(jù)是紅外數(shù)據(jù)。圖8 包含W類似于圖7中所描繪的那樣操作的數(shù)字系統(tǒng)，不同之處在于CPU經(jīng)由信號導線向定時 電路(稱之為忍片控制邏輯)發(fā)送命令。除了感測第一傳感器陣列之外，定時電路還觸發(fā)使 用第二傳感器陣列感測第二類型的信息，并將其儲存在不同的存儲器存儲（圖示為深度帖 存儲）中，W便不覆蓋儲存在存儲器存儲（圖示為視頻帖存儲器）中的第一類型。經(jīng)由信號載 體從第一傳感器陣列讀出第一數(shù)據(jù)，并且經(jīng)由信號載體從第二傳感器陣列讀出第二數(shù)據(jù)。 所述第一數(shù)據(jù)和第二數(shù)據(jù)經(jīng)由信號載體傳輸?shù)竭m當?shù)拇鎯ζ?。第二?shù)據(jù)的示例是二維傳感 器陣列所瞄向的場景的紅外數(shù)據(jù)。可W隨同紅外光信號采用額外的光學透鏡來將其聚焦在 所添加的用于感測紅外數(shù)據(jù)的二維微傳感器(像素）陣列（或第二陣列）上。本質(zhì)上，單獨的 陣列將具有兩個透鏡的兩個相機定義于一個組裝件中（運大大降低了數(shù)字系統(tǒng)的緊湊性）。 Ξ維圖像傳感器及其制造方法
[0074] 在一些實施方式中，如圖9中所示，存在深度像素作為由該像素自身與分別對紅 色、綠色和藍色敏感的其他3個像素形成的方塊的第四像素。圖中示出了標示為R、G和B的Ξ 個像素，運些像素分別對紅色、綠色和藍色的對應顏色敏感，而標示為D的像素是測量紅外 信號的像素，后續(xù)將會從該紅外信號數(shù)學地計算深度數(shù)據(jù)。
[0075] 運種方法存在W下缺點：兩種測量的分辨率都將會損失分辨率，運是因為深度測 量像素將會移除一些可見光敏感像素，即R、G和B。由于所公開的實施方式是對貝爾圖案布 局的修改，因此紅色像素定位在藍色像素之下，而綠色像素從第二條線被移除。由于綠色像 素對計算強度Y(在化r饑域中，分別是強度、紅光色度、藍光色度）的貢獻最大，并且此外是 強度定義了圖片分辨率（相對于色度），因此運種類型的方法將會遭受其分辨率的大幅降 低，而分辨率是成像的最重要方面：即圖像的銳度。運是個如此有破壞性的缺點，此外一開 始的深度分辨率也將會很差，因為其將會是每四個像素中的一個像素（如圖9中所見），即， 傳感器分辨率的四分之一。除了運些缺點之外，另一缺陷是運種布局將會破壞貝爾圖案布 局。運導致必須開發(fā)用于從傳感器陣列重建視頻圖像的全新例程。貝爾圖案已成為用于從 R、G和B像素陣列進行視頻處理的標準。因此對其予W保留允許在幾乎任何可用的圖像處理 系統(tǒng)中容易地使用傳感器。與之相比，本公開內(nèi)容的傳感器組裝件可W基本上使用傳感器 陣列的全分辨率，并且使用每個傳感器來測量深度W及R、G、B信號。本公開內(nèi)容的傳感器陣 列和數(shù)字系統(tǒng)還可W保持貝爾圖案布局，運使得傳感器陣列兼容于市場上的圖像處理系 統(tǒng)。大多數(shù)像素處理硬件處理來自CCD或CMOS貝爾圖案成像儀的圖像。 僅提供深度傳感器的系統(tǒng)
[0076] 如上所述，僅使用深度傳感器的系統(tǒng)是有缺陷的。它們不提供視頻數(shù)據(jù)并且僅僅 是"距離"相機。它們通常包括光源、檢測器和信號處理器。光源根據(jù)具有參考時間點的傳輸 控制信號向目標傳輸源信號。檢測器接收來自從目標反射的源信號的反射信號。信號處理 器通過在具有從參考時間點的不同時間延遲的相應時間段期間測量反射信號的相應部分 而生成多個感測值。信號處理器確定針對感測值的最大值/最小值的相應延遲時間，W便確 定目標的距離。雖然本公開內(nèi)容的系統(tǒng)可W用作距離相機，但其亦可執(zhí)行多種多樣的成像 操作，包括提供視頻數(shù)據(jù)。 Ξ維圖像傳感器
[0077] 在一些實施方式中，本文公開的主題--本公開內(nèi)容的傳感器陣列和成像處理系 統(tǒng)可W使用單一陣列實現(xiàn)可見光和紅外光測量，而不犧牲每一測量的分辨率。運可W使得 陣列能夠定位在單一或公共忍片上，其可W提供W下主要優(yōu)點： 1- 緊湊性，因此適合于可在其中采用它們的系統(tǒng)的小型化。 2- 易于將系統(tǒng)集成到其他更大的系統(tǒng)中。 3- 解決由使用兩個不同傳感器進行測量引起的對應問題和遮擋問題。 4- 準確的深度和視頻信號匹配，因為像素之間的物理最大接近度(在實施方式1中）W 及針對圖像和深度使用相同像素(在實施方式2中），運是因為通過位于同一位置的兩種類 型的像素測量數(shù)據(jù)一一在實施方式1中通過移動傳感器像素陣列，而在實施方式2中通過移 動覆蓋像素的濾波器。因此在圖像和深度感測數(shù)據(jù)的定位之間幾乎不存在差異。 5- -組固有相機參數(shù)，因為使用了一個陣列和一個透鏡。
[0078] 在一些實施方式中，本文公開的主題解決了由使用兩個不同傳感器進行測量引起 的對應問題和遮擋問題。對應問題是將通過3D點在傳感器中的一個傳感器的圖像平面上的 投影形成的x，y位置與通過同一3D點在另一傳感器的圖像平面上的投影形成的x，y位置相 匹配的任務。在立體成像中，它是將在左側(cè)圖像上的3D點的投影的x，y位置的投影與其在右 側(cè)圖像上的x，y對應位置相匹配。在還原3D位置中，運樣的使用立體成像的對應是在同一類 型的數(shù)據(jù)上完成的，該數(shù)據(jù)即像素的R、G、B值。
[0079] 在所感測的數(shù)據(jù)為不同類型的系統(tǒng)中，比如在一個傳感器中測量R、G、B而在另一 傳感器中測量IR或渡越時間的系統(tǒng)，要進行運樣的匹配并不簡單。原因在于數(shù)據(jù)有本質(zhì)區(qū) 另IJ，因此無法對它們進行比較。此外，傳感器的分辨率可能是不同的，因此3D點在投影到R、 G、B傳感器時將會是單一像素，深度傳感器可能感測到的是該3D點周圍"區(qū)域"的深度（由于 其分辨率比R、G、B傳感器更低）。在運樣的情況下，可W運樣完成對應：即，從3D傳感器(ToF 或結(jié)構(gòu)化光)測量開始，并且采用使用將兩個傳感器相關(guān)聯(lián)、將3D位置與圖像R、G、B傳感器 相關(guān)聯(lián)的旋轉(zhuǎn)和平移矩陣的幾何變換，繼而將該3D位置投影到R、G、B圖像平面。該操作將會 需要每像素至少12次乘法和3次加法運算。運是一種計算成本高昂的方案，但也是創(chuàng)造深度 像素與R、G、B像素之間的運種對應的唯一方式，因為數(shù)據(jù)在本質(zhì)上是不同類型。
[0080] 此外，如果深度傳感器具有比R、G、B傳感器更低的分辨率，則深度像素將會對應于 空間中的"區(qū)域"，其繼而將會在R、G、B圖像空間中得到含糊確定。運將會導致場景中的"邊 緣"區(qū)域運樣的不良結(jié)果。
[0081] 本文所公開的傳感器W全部兩種測量的同一分辨率在同一位置固有地感測像素 (對應于不同類型的數(shù)據(jù)）。因此，本文公開的技術(shù)解決了對應問題，并且其創(chuàng)造出點對點匹 配而不是區(qū)域?qū)c匹配(當妥協(xié)了所述傳感器中之一的分辨率時）。 對本公開內(nèi)容的圖像處理系統(tǒng)的描述
[0082] 本描述可W分為兩個主要部分： A-微傳感器陣列設(shè)計和所使用的不同方法 B-數(shù)字電路 微傳感器(像素)陣列和陣列布局設(shè)計的不同方法
[0083] 微傳感器或像素陣列是與微機電系統(tǒng)(MEMS)禪合的、測量多種數(shù)據(jù)類型的傳感器 的核屯、。盡管僅參考兩種數(shù)據(jù)類型對系統(tǒng)進行了討論，但所述系統(tǒng)可W輕易擴展到測量更 多數(shù)據(jù)類型。在運樣的討論中使用的示例性的兩種數(shù)據(jù)類型是視頻數(shù)據(jù)和IR數(shù)據(jù)。后一種 類型的數(shù)據(jù)可W使用數(shù)學算法轉(zhuǎn)換成深度數(shù)據(jù)。
[0084] 在利用可W遞送多類型感測數(shù)據(jù)的周邊支持電路實現(xiàn)系統(tǒng)像素陣列方面存在兩 種主要體系：
[0085] 第一種方法使用類型1微傳感器(即，圖像可見光像素)與類型2微傳感器(例如，紅 外像素)之間的幾何交錯布置。運被稱為空間復用，其中圖像傳感器基板面在類型1微傳感 器(對可見光敏感的圖像像素)與類型2微傳感器(對紅外光敏感的像素)之間共享。在運樣 的情況下并且如下文所討論，微機電系統(tǒng)(MEMS)將會在一定方向上并W-定幅度移動整個 傳感器陣列，所述方向和幅度是幾何交錯圖案的函數(shù)。
[0086] 運種方法中的數(shù)據(jù)輸出是類型1數(shù)據(jù)和類型2數(shù)據(jù)的混合。
[0087] 第二種方法使用整個傳感器陣列作為類型1數(shù)據(jù)（圖像)傳感器并且還使用整個陣 列作為類型2數(shù)據(jù)(IR/深度)傳感器。運是帖復用或時間復用。在運種方法中，使用MEMS來利 用適合于測量的濾波器覆蓋陣列的每個傳感器。對于類型1數(shù)據(jù)，MEMS移動位于微傳感器上 的第一濾波器堆找，該第一濾波器堆找允許測量類型1數(shù)據(jù)并且阻擋測量類型2數(shù)據(jù)。在另 一模式下，MEMS允許在微傳感器之上設(shè)置第二濾波器組W允許測量類型2數(shù)據(jù)。第二濾波器 組可W阻擋對整個可見光光譜或其一部分的測量。存在兩種不同的實施方式來實現(xiàn)運種方 法。
[0088] 數(shù)據(jù)輸出可W全部是類型1數(shù)據(jù)或全部是類型2數(shù)據(jù)，或者是類型1數(shù)據(jù)和類型2數(shù) 據(jù)兩者。整個陣列在一個帖中充當紅外接收器，而在另一帖中充當傳統(tǒng)可見光相機傳感器。 因此，在第一帖中收集紅外光，而在第二帖中收集可見光，或者反之亦然。
[0089] 采用運兩種設(shè)計體系的細節(jié)將會在后文闡釋。
[0090] 在下面的部分中，描述了數(shù)字系統(tǒng)的實施方式，其中新的像素陣列系統(tǒng)包括單忍 片傳感器的組件。 圖像處理系統(tǒng)
[0091] 先前的傳感器陣列方法是在數(shù)字系統(tǒng)中具體化的，該數(shù)字系統(tǒng)還具有其他支持性 電路組件來實現(xiàn)所述方法的實現(xiàn)方案，并且提供使傳感器能夠遞送視頻和深度數(shù)據(jù)所需的 功能。使用圖10解釋了像素陣列和支持性電路的示例實施方式。透鏡定位在圖像處理系統(tǒng) 之上，并且采集和向整個陣列導引光信號。系統(tǒng)代表將會位于公共忍片或電路板上的組件。
[0092] 像素陣列是布置多個微傳感器W實現(xiàn)測量不止一種類型數(shù)據(jù)之處。存在不止一種 方法來設(shè)計微傳感器的布局。運些方法將會在后文闡釋。
[0093] 針對CCD和CMOS技術(shù)執(zhí)行的讀出是不同的。當傳感器是CCD技術(shù)時，讀出解碼邏輯 驅(qū)動行和列電路，其使每一行將其電荷從一個像素轉(zhuǎn)移到下一像素，直到讀出整個行。因 此，運樣的讀出解碼邏輯管理對陣列值的順序讀出。與此相比，當傳感器是CMOS技術(shù)時，行 和列解碼器而不是讀出邏輯對要從中讀出數(shù)據(jù)的(一個或多個)像素進行選擇，該讀取可W 是順序的或隨機的。在后文將會結(jié)合上述設(shè)計方法的實現(xiàn)方案來闡釋讀出順序和W保持數(shù) 據(jù)次序的方式實現(xiàn)數(shù)據(jù)在存儲器中的存儲。相關(guān)雙采樣(在CMOS傳感器中經(jīng)常使用CDS方法 來讀出數(shù)據(jù)）。
[0094] 隨著每個像素的模擬值被讀出，模擬增益電路對值進行放大。
[0095] 模數(shù)轉(zhuǎn)換器將像素模擬數(shù)據(jù)轉(zhuǎn)換成數(shù)字值，并且數(shù)字增益電路對讀出的像素數(shù)據(jù) 施加倍增因子。該模塊可W存在于忍片上，或者實現(xiàn)于系統(tǒng)的其他部分中。在將數(shù)字數(shù)據(jù)經(jīng) 由數(shù)字總線讀出到系統(tǒng)的其余部分之前，可W將其儲存在寄存器中。
[0096] 微機電系統(tǒng)(MEMS)包括MEMS控制器/電路，該MEMS控制器/電路與致動器進行信號 通信W移動陣列。MEMS可能是忍片的重要組件。MEMS移動忍片的不同部分W實現(xiàn)圖像處理 系統(tǒng)的目標，即，利用單一傳感器，W該傳感器的全空間分辨率來測量不止一種類型的數(shù) 據(jù)。根據(jù)在傳感器陣列中植入何種設(shè)計方法，MEMS將會移動不同的部件組。MEMS控制器/電 路向機電致動器提供控制。致動器通常在邏輯上分為兩個塊，運是因為它們在物理上可W 是忍片上的一個塊。
[0097] 忍片控制邏輯接收來自CPU(未示出）的數(shù)據(jù)，W經(jīng)由模塊陣列操作邏輯來編程整 個圖像處理系統(tǒng)及其組成部分(包括MEMS和傳感器陣列）如何操作。運些參數(shù)的示例是:傳 感器陣列用W采集選定類型的數(shù)據(jù)的曝光時間(運可能根據(jù)所要收集的數(shù)據(jù)類型而變化）、 由模擬和/或數(shù)字增益電路施加的用于放大所收集的傳感器數(shù)據(jù)的增益、對傳感器陣列進 行定時的速度(運可能根據(jù)所要收集的數(shù)據(jù)類型而變化)等。其他重要信息可W包括：用于 驅(qū)動MEMSW移動致動器從而使其與抓取或收集數(shù)據(jù)相同步的定時，W及要投射在場景上的 IR光圖案的定時和類型。下文結(jié)合設(shè)計傳感器陣列或圖像處理系統(tǒng)的不同方法闡釋傳感器 的MEMS運動。此外，下文還將會闡釋使用IR光圖案來還原深度信息的概念。
[0098] 數(shù)字存儲及其訪問可W是位于忍片上或忍片外或兩者的任何類型的計算機可讀 介質(zhì)。運是系統(tǒng)設(shè)計問題并且不影響傳感器陣列的功能，前提是設(shè)計是W針對從傳感器陣 列讀出數(shù)據(jù)的速度的主要考慮而完成的。在存儲器中儲存數(shù)據(jù)可W通過微處理器(未示出， 其將會讀出每個像素的每個數(shù)字數(shù)據(jù)，并將其儲存到數(shù)字存儲中）完成，或者通過具有從寄 存器卸載所收集的數(shù)字數(shù)據(jù)的"直接存儲器訪問"（DMA)數(shù)字塊來完成。
[0099] 將感測到的信息或數(shù)據(jù)載入或載出忍片的線路(總線)將數(shù)據(jù)從CPU(未示出）傳送 至圖像處理系統(tǒng)的內(nèi)部數(shù)字塊(未示出），該內(nèi)部數(shù)字塊控制圖像處理系統(tǒng)的不同操作。所 述線路還經(jīng)由所標示的數(shù)字輸出線，將從傳感器陣列讀出的數(shù)據(jù)攜載到合適的數(shù)字存儲塊 (數(shù)字存儲器）。
[0100]其他組件起到從傳感器陣列接收深度相關(guān)數(shù)據(jù)的作用，所述深度相關(guān)數(shù)據(jù)用于計 算場景或圖像的深度數(shù)據(jù)。運些組件是紅外（不可察覺)光圖案發(fā)射器，其將運些圖案向外 投射到場景或圖像上。為了實現(xiàn)最大的系統(tǒng)集成，可W在同一忍片上集成一個或多個光圖 案發(fā)射器。
[0101 ]下文更詳細地討論運兩種方法的建議實施方式。 實現(xiàn)方案的第一方法(第一實施方式）
[0102] 圖像處理系統(tǒng)包括(微）傳感器陣列，其中存在類型1與類型2微傳感器之間的混 合，例如，常規(guī)可見光顏色選擇性像素(對紅色、綠色和藍色敏感)與紅外敏感像素之間的混 合。像素位于公共襯底上，優(yōu)選地是交錯圖案。交錯圖案可W是成行的或成列的，或者兩者 皆有。
[0103] 可W使用圖11和圖12看到運樣的布置的實施方式。首先，在圖11中描繪了僅對類 型1數(shù)據(jù)（即，可見光)敏感的微傳感器(像素）的布局，其中用彩色濾波器覆蓋微傳感器W使 每個像素僅對一種類型的顏色敏感。傳感器位于公共忍片或襯底上。在陣列的選定部分中， 第一傳感器和第二傳感器對綠光敏感，第Ξ傳感器對藍光敏感，而第四傳感器對紅光敏感。 所示的圖案被稱為貝爾圖案，它是在彩色成像傳感器中使用最廣泛的圖案。
[0104] 圖12示出了如何將圖11中所示的傳感器陣列轉(zhuǎn)為不只感測可見光。運是通過使對 類型1數(shù)據(jù)敏感的微傳感器圖案（對藍色、紅色和綠色可見光敏感的像素）與對類型2數(shù)據(jù) (即，紅外光（IR))敏感的微傳感器交錯而完成的，其中所述交錯式W行完成的。因而，所述 行代表貝爾圖案，而交錯的行則是對類型2數(shù)據(jù)敏感的傳感器。因而，存在兩種類型的交錯， 第一種是對藍光、綠光和紅光敏感的像素之間的交錯，而第二種是一方面對藍光、綠光和紅 光敏感的像素與另一方面對類型2數(shù)據(jù)或紅外敏感的像素之間的交錯。
[0105] 傳感器陣列的制造遵循制造 CMOS相機的常用方式，因此對于當前的CMOS制造商而 言，生產(chǎn)運樣的傳感器將會是簡單的。該制造過程包括W下步驟： (1) 按相似布局制造所有的微傳感器(像素）， (2) A-將彩色濾波器(具有圖6中所示的標示為B、G和R的可見光濾波器導納響應)施加 于圖11中的將會用于紅色、綠色和藍色的可見光敏感性的像素。在當前實施方式中，所述像 素被施加于第0行和第1行，即在第0行上為綠色和紅色交錯像素而在第1行上為藍色和綠色 交錯像素，繼而跳過第2行和第3行，并繼而分別與第0行和第1行類似地施加于第4行和第5 行，并W此類推直至陣列的末端。 (3) B-在那些將會對可見光敏感的行上，即：在當前實施方式中，如圖12中所示，第0行、 第1行W及第4行、第5行上……一一施加 I啡a擋濾波器。 (4) 其他行一一第2行和第3行，W及繼而第6行和第7行等一一將會是對IR敏感的像素， 其中不施加 I啡且擋濾波器和彩色濾波器。見圖12。 (5) 微透鏡增大在每個像素自身采集的光量。將它們施加于整個像素陣列的每個像素 上W提高每個像素的光采集效率。
[0106] 可能W在收集類型1數(shù)據(jù)和類型2數(shù)據(jù)兩者時犧牲一半垂直分辨率的運樣一種方 式來使用傳感器。本公開內(nèi)容通過如下方式克服該問題:使用MEMS將傳感器沿著相同方向 向上(損失任何分辨率的方向，在本例中，在垂直方向上，但根據(jù)應用可w在另一方向上)移 動等于兩個像素的長度尺寸的距離，（在圖12中所示的情況下，像素的垂直維度(相對于頁 面所在平面化的距離標示為V)。應該理解，距離V并不限于兩個像素的長度尺寸，而是 可W根據(jù)應用為一個或多于兩個像素。MEMS設(shè)計是簡單的，運是因為其僅可W作用于陣列 在一個維度上的運動。應當理解，傳感器陣列的運動的距離和方向是采集不同類型數(shù)據(jù)的 不同類型像素的交錯圖案的函數(shù)。本實施方式示出了僅在垂直方向（在頁面所在平面內(nèi)）上 的交錯;然而，本公開內(nèi)容可W容易地擴展至水平交錯(在頁面所在平面內(nèi)）。在該情況下， 使傳感器陣列水平移動（在頁面所在平面內(nèi)）。其還可W使用同時在垂直方向和水平方向 (相對于頁面所在平面)上的交錯，在該情況下，使傳感器陣列同時在垂直方向和水平方向 (相對于頁面所在平面)上移動。
[0107] 換句話說，在第一時間和第一操作模式下，整個像素陣列或其一部分處于第一位 置。如微傳感器的空間布局所示，在運一位置，像素陣列讀取在某一空間位置的類型1數(shù)據(jù) 和類型2數(shù)據(jù)。在不同的第二時間和第二操作模式下，MEMS將整個像素陣列或其一部分移動 至與第一位置不同的第二位置。在運一位置，像素陣列仍然讀取類型1和類型2運兩種類型 的數(shù)據(jù)。當整個傳感器陣列或其一部分向上移動至位置2W便倒轉(zhuǎn)收集類型1數(shù)據(jù)和類型2 數(shù)據(jù)的位置，因而類型1和類型2數(shù)據(jù)測量的空間分辨率都沒有損失。
[0108] 在另一配置中，在第一時間和第一操作模式下，整個像素陣列或其一部分處于第 一位置。在該第一位置，對類型1數(shù)據(jù)敏感的像素被定位用于收集類型1數(shù)據(jù)，而對類型2數(shù) 據(jù)敏感的像素被如此定位W便不收集類型2數(shù)據(jù)。在運一位置，從對類型1數(shù)據(jù)敏感的像素 讀出類型1數(shù)據(jù)。在另一實施方式中，對類型2數(shù)據(jù)敏感的像素可W在第一操作模式下收集 類型2數(shù)據(jù)。
[0109] 在不同的第二時間和第二操作模式下，MEMS將整個像素陣列或其一部分移動至與 第一位置不同的第二位置。在該第二位置，對類型2數(shù)據(jù)敏感的像素被定位用于收集類型2 數(shù)據(jù)，而對類型1數(shù)據(jù)敏感的像素被如此定位W便不收集類型1數(shù)據(jù)。在運一位置，從對類型 2數(shù)據(jù)敏感的像素讀出類型2數(shù)據(jù)。在另一實施方式中，對類型1數(shù)據(jù)敏感的像素可W在第二 操作模式下收集類型1數(shù)據(jù)。
[0110] 運由圖13所演示，圖中還示出了為何在測量的特殊分辨率中沒有損失。圖13示出 了圖12中所描繪的像素陣列，其中示出整個陣列（左側(cè)陣列）在運動之前(或者當陣列處于 第一操作模式下和第一位置及在向上移動等于交錯量(兩行）的距離、等于兩個像素的 垂直高度的距離之后，使得像素陣列處于第二操作模式下和第二位置。
[0111] 從傳感器的交錯圖案和運動可W明白，從傳感器的兩個位置獲取的數(shù)據(jù)將會相互 補充W產(chǎn)生全分辨率的類型1數(shù)據(jù)（即，視頻數(shù)據(jù)）W及全分辨率的類型2數(shù)據(jù)（即，紅外數(shù) 據(jù)）。數(shù)據(jù)采集的運一順序可W進一步解釋如下： 該方法中像素陣列的操作順序：
[0112] 僅在圖2中所示的像素布局的情況下對當前實施方式中的圖像采集的操作進行解 釋，其中在垂直方向（頁面所在平面內(nèi)）上完成交錯，但操作對于水平方向（頁面所在平面 內(nèi)）是相同的。邏輯上，操作可W在任何其他交錯圖案中擴展。
[0113] 在其中沿著垂直方向（頁面所在平面內(nèi)）完成圖像像素和對紅外敏感的像素的交 錯的當前實現(xiàn)方案中，傳感器的圖像采集操作概括如下： 1- 捕捉帖(或帖A),并將其讀出和儲存在存儲器中（如圖10中所示，在前文部分中解釋 了存儲操作）。 2- 向上移動（頁面所在平面內(nèi)）傳感器陣列。 3- 捕捉另一帖(或帖B)，并將其讀出和儲存在存儲器中（如圖10中所示，在前文部分中 解釋了存儲操作）。 4- 使用來自運兩個帖的數(shù)據(jù)生成類型1數(shù)據(jù)的全帖(要在視頻處理中使用的可見光圖 像帖)和類型2數(shù)據(jù)的全帖(要在深度計算中使用的紅外帖）。 5- 不斷重復步驟1-步驟4,只要操作圖像處理系統(tǒng)用于采集運兩種類型的數(shù)據(jù)即可。
[0114] 在W下部分中解釋將會從傳感器輸出的混合類型數(shù)據(jù)的數(shù)字存儲的機制。 讀取和儲存混合數(shù)據(jù)
[0115] 當數(shù)據(jù)W運種方式交錯時，類型1數(shù)據(jù)和類型2數(shù)據(jù)必須W不同方式儲存在存儲器 中，使得最終類型1數(shù)據(jù)和類型2數(shù)據(jù)連續(xù)并按順序儲存在一起，如同運兩種類型的數(shù)據(jù)來 自兩個不同的傳感器并且處于正確的行次序。首先，很重要的是要理解，在傳統(tǒng)微傳感器陣 列（即，測量單一類型數(shù)據(jù))的情況下，如何按順序讀出和儲存數(shù)據(jù)。圖14示出了沿著來自單 一類型微傳感器陣列的每一行按順序而來的單一類型數(shù)據(jù)的存儲。數(shù)據(jù)一行接一行地W數(shù) 字形式儲存在數(shù)字存儲中（其中每一行儲存為一個接一個的像素，通常從陣列的左側(cè)到右 側(cè)）。第0行之后是第1行，然后是第2行，直至第η行一一即，要從陣列讀出的最后一行。因此， 同一類型的數(shù)據(jù)得到連續(xù)儲存。在本公開內(nèi)容中，期望對不止一種類型的感測數(shù)據(jù)的存儲 實現(xiàn)相同的結(jié)果。也就是說，將類型1數(shù)據(jù)(視頻數(shù)據(jù))全都連續(xù)地儲存在一起，并且還將類 型2數(shù)據(jù)(IR數(shù)據(jù))全都連續(xù)地儲存在一起?，F(xiàn)在使用圖15和圖16來解釋實現(xiàn)運一點的方法。
[0116] 參考圖15,由微傳感器陣列產(chǎn)生的數(shù)據(jù)是按順序的；即，在一行中逐像素地從傳感 器讀出數(shù)據(jù)，繼而在下一行中逐像素地讀出，繼而下一行，并依此類推直至陣列的末端。因 此，從陣列讀出的數(shù)據(jù)是類型1數(shù)據(jù)和類型2數(shù)據(jù)兩者的混合。亦即，讀出的數(shù)據(jù)是兩行視頻 數(shù)據(jù)和兩行IR數(shù)據(jù)。使用簡單的數(shù)字邏輯電路，導引所述數(shù)據(jù)W將其儲存在不同和/或單獨 的存儲中一一一個存儲用于類型1，而另一存儲用于類型2;舉例而言，類型1數(shù)據(jù)儲存在視 頻數(shù)據(jù)存儲區(qū)中，而另一類型數(shù)據(jù)則儲存在IR數(shù)據(jù)存儲區(qū)中。運必須在保持每種類型數(shù)據(jù) 的次序的情況下發(fā)生。如圖15中所描繪，其實現(xiàn)如下：將第0行和第1行的類型1數(shù)據(jù)儲存在 類型1存儲器(通過如圖15中的事務（"transaction")所示的視頻存儲器）中。在儲存第0行 和第1行之后，在存儲器中跳過足夠用W儲存同一類型數(shù)據(jù)(例如，視頻數(shù)據(jù))的第2行和第3 行的空間，運是因為該數(shù)據(jù)尚未到位(其在MEMS將傳感器陣列移動至第二位置并抓取另一 測量帖之后才可用）。繼而，將第4行和第5行儲存在類型1存儲器存儲中（如事務所示）。但 是，第2行和第3行是類型2數(shù)據(jù)；因此，在由于數(shù)據(jù)尚未到位(其在MEMS將傳感器陣列移動至 第一位置并抓取另一測量帖之后才可用）而在存儲器跳過足夠用W儲存同一類型數(shù)據(jù)（例 如，IR數(shù)據(jù))的第1行和第2行的空間之后，將類型2數(shù)據(jù)儲存在另一存儲器(IR存儲器）中。在 儲存第2行和第3行之后(如事務所示），在存儲器中跳過足夠用W儲存同一類型數(shù)據(jù)(例如， IR數(shù)據(jù)）的第4行和第5行的空間，運是因為數(shù)據(jù)尚未到位巧在MEMS將傳感器陣列移動至第 一位置并抓取另一測量帖之后才可用）。繼而，將來自當前帖的第6行和第7行儲存在類型2 存儲器存儲中，并依此類推。
[0117] 如圖17中所示，當傳感器被移動至第二位置并收集另一組數(shù)據(jù)時，物理上位于在 第2行和第3行的位置向上移動兩行之后的第4行和第5行現(xiàn)在分別用于儲存第2行和第3行 的缺失視頻數(shù)據(jù)，如事務所示。在運種情況下，第0行、第1行W及第4行和第5行是類型2數(shù) 據(jù)，并且它們儲存在針對第0行和第1行的類型2數(shù)據(jù)的適當位置上，如圖16中的事務所示。 對整個傳感器陣列垂直地應用同一概念。
[0118] 在該過程結(jié)束時，所有類型1數(shù)據(jù)都連續(xù)儲存在一個存儲器中（例如，彩色圖像行 存儲），而所有類型2數(shù)據(jù)，即傳感器的全分辨率，都儲存在存儲器中（例如，IR圖像行存儲）。
[0119] 像素布局可W根據(jù)應用而改變。例如，交錯可W沿著水平方向完成，換言之，存在 一列彩色濾波器覆蓋的像素，而下一列是對紅外敏感的像素。在運種情況下，將傳感器像素 陣列沿著水平方向移動等于像素水平長度的量。
[0120] 順著同樣的思路，還可W在相比于另一類型測量(例如，具有相對于深度數(shù)據(jù)而言 更高的分辨率的視頻數(shù)據(jù))犧牲一種類型測量的分辨率的情況下實現(xiàn)不同的像素圖案。例 如，如果使傳感器對于視頻數(shù)據(jù)具有更好的分辨率而犧牲深度數(shù)據(jù)的分辨率是優(yōu)選的，貝U 可W每四行彩色濾波器覆蓋的像素使用兩行對紅外敏感的像素。在此情況下，將像素陣列 沿著垂直方向移動兩個像素，從而重建了全貝爾圖案，同時失去紅外數(shù)據(jù)的兩行垂直分辨 率。通過在水平方向上完成交錯可W應用同一方法。應當理解，存在傳感器和系統(tǒng)架構(gòu)可W 實現(xiàn)的不同組合。但是，本公開內(nèi)容的教導保持不變：即，教導在于使微傳感器交錯并移動 傳感器W覆蓋交錯區(qū)域Γ交錯和移動"）。
[0121] 在許多實施方式中，通過限位開關(guān)(在圖10中標示為400和401)來引導陣列的移動 和停止。它們?nèi)绱诉M行操作，使得當圖像陣列被移動時，在移動引起限位開關(guān)改變狀態(tài)(例 如從關(guān)變?yōu)殚_(或者反之亦然））從而發(fā)信號指示該陣列W到達其最終目的地時，圖像陣列 的行程的末端會得到感測。運允許對陣列進行移動的致動電路停止其操作。此時陣列靜止 在其新位置上。每個限位開關(guān)禪合至對應的電路，W便從限位開關(guān)向所述電路傳輸信號，從 而根據(jù)傳感器陣列的配置來儲存?zhèn)鞲衅麝嚵械臄?shù)據(jù)。
[0122] 每個限位開關(guān)被配置用于向電路傳輸信號W指示限位開關(guān)狀態(tài)的改變。當傳感器 陣列抵達第一定位置時，限位開關(guān)向電路傳輸?shù)谝恍盘朩指示所述傳感器陣列構(gòu)成第一配 置。當傳感器陣列抵達第二位置時，限位開關(guān)向電路傳輸?shù)诙盘朩指示傳感器陣列構(gòu)成 第二配置。
[0123] 根據(jù)圖15和圖16的實施方式，當傳感器陣列與下限位開關(guān)(在圖15中標示為701) 接觸時，處于下位置的陣列構(gòu)成傳感器陣列的第一配置。當傳感器陣列移動至上位置時，傳 感器陣列構(gòu)成第二配置，其中傳感器陣列的移動在其接觸和致動上限位開關(guān)(在圖16中標 示為700)時受到限制。在許多實施方式中，在傳感器陣列抵達由開關(guān)的位置所標記的期望 位置時，限位開關(guān)向電路提供信號。根據(jù)許多實施方式，限位開關(guān)可W包括多于兩個限位開 關(guān)，例如在陣列停止在多于兩個位置的實施方式的情況中。 實現(xiàn)方案的第二方法(第二實施方式和第Ξ實施方式）
[0124] 與第一方法不同，第二方法使用相同的微傳感器來測量不同類型的數(shù)據(jù);也就是 說，同一像素既測量可見光數(shù)據(jù)又測量IR數(shù)據(jù)。運只能通過如下方式來實現(xiàn)：即，利用導納 某種類型數(shù)據(jù)并阻擋其他一種或多種類型數(shù)據(jù)的合適的濾波器來準備像素，并繼而將其改 變W導納所述其他類型而阻擋第一類型。
[0125] 運是通過使用MEMS利用濾波器覆蓋每個像素 W使像素在對紅外敏感像素與對可 見光像素敏感像素之間來回轉(zhuǎn)換而實現(xiàn)的。
[0126] 在該方法中，每個像素自身覆蓋有微透鏡，但不含彩色濾波器、IR導納濾波器或IR 阻擋濾波器。
[0127] 在紅外或第二操作模式下，像素暴露于入射光，而不受其路徑中的任何濾波器的 干擾(顯然，相機透鏡除外）。在可見光或第一操作模式下，MEMS對口進行致動，在該口上有 針對每個像素(紅、綠或藍)的IR濾波器和合適的彩色濾波器。在圖15中，使用一個像素的截 面示出運種圖像傳感器陣列概念。
[0128] 每個像素具有光電區(qū)域，該光電區(qū)域負責收集入射光并將其轉(zhuǎn)換成作為該光的強 度的函數(shù)的電信號。圖17中示出了運樣的區(qū)域的側(cè)視圖或截面圖?？蒞將攜載有I啡且擋濾 波器和可見光導納濾波器(根據(jù)像素，為紅、綠或藍之一)光過濾組裝件或?'Τ (矩形或正方 形結(jié)構(gòu)）的截面旋轉(zhuǎn)至口打開位置W使像素遭遇入射光，或者將其旋轉(zhuǎn)至口關(guān)閉位置W從 碰撞像素的光中移除IR和某些可見光譜。在口打開位置(左下側(cè)所示），像素將會對紅外光 敏感，而在口關(guān)閉位置(右下側(cè)所示），像素將會充當對可見光的期望波長譜敏感的圖像像 素，根據(jù)針對該特定像素使用的彩色濾波器，所述波長譜是紅光、綠光或藍光中之一。在放 置IR濾波器和彩色濾波器之前，在口的頂部放置一層透明材料(可W是玻璃）。由于光過濾 組裝件在其處于閉合位置時從中間打開W允許光透過的事實(右下側(cè)所示），因此放置該層 W支撐IR濾波器和彩色濾波器兩者。
[0129] 圖18描繪了作為口方法的更復雜變體的第二實施方式，其中使用兩個口，使得當 像素處于采集紅外光的模式時，將IR導納濾波器施加于該像素。在圖18中，圖18的頂部中央 存在兩個口。當相機正在采集視頻圖像時（圖18的右下側(cè)），一個口關(guān)閉而另一個口打開，W 使紅外導納濾波器"移出路徑"，并且使彩色濾波器和紅外阻擋濾波器處于撞擊像素的光的 路徑中。當相機被置于采集紅外圖像的模式時，則執(zhí)行相反操作，即，旋轉(zhuǎn)所述口 W將其移 出路徑，同時旋轉(zhuǎn)或關(guān)閉口 W使得IR導納濾波器處于撞擊像素的光的路徑中，如圖18的右 下側(cè)所示。
[0130] 該實施方式的另一第Ξ變體是使口大到足W覆蓋整個像素陣列，而不是逐像素覆 蓋。其中可W存在與由玻璃制成的口具有相同概念的兩個口，或者它們可W是用玻璃平面 覆蓋的矩形框架(取決于制造可行性），并且它們可W在整個像素陣列上關(guān)閉或打開。相比 于每個像素上的口，運種解決方案更簡單，但它可能遭受打開和關(guān)閉口所需的較大慣性，并 且將會需要像素陣列上方的垂直空間W便容納口的打開，所述口現(xiàn)在與像素陣列一樣高， 并且根據(jù)口沿著哪一側(cè)打開或關(guān)閉而與整個像素陣列一樣長(或一樣寬）。
[0131] 運兩種方法都可W提供可見光R、G、B像素陣列的全分辨率貝爾圖案W及全分辨率 紅外敏感像素陣列。因此： 1- 彩色濾波器圖案仍然保留為貝爾圖案，因此所有已經(jīng)可用的像素處理器軟件和硬件 都將兼容于該圖像/深度傳感器。運是一個重要優(yōu)點，因為貝爾圖案處理非常成熟，并且?guī)?乎是針對CM0S(W及CCD)相機的圖像處理系統(tǒng)中的標準。然而，當前實施方式亦可適用于任 何圖案，并且還值得注意的是，R、G、B光導納濾波器可W是彩色濾波器的任何其他Ξ元組 (諸如青色、品紅和黃色，或者其他顏色），只要它們的組合可W提供包括白色在內(nèi)的所有顏 色即可。 2- 在對整個傳感器進行移動的第一方法中，與常規(guī)CMOS視頻傳感器的常規(guī)制造存在有 限的偏差。因此，目前的技術(shù)已經(jīng)成熟到可w容易地實現(xiàn)該第一實施方式。此外，所需的來 自MEMS的運動也十分簡單。 從紅外測量計算深度
[0132] 本公開內(nèi)容所說的紅外測量是指使用波長屬于紅外光譜中的光，或者更確切地 說，結(jié)構(gòu)化光圖案。而運樣做的原因是為了避免運些光圖案與諸如圖像采集等其他"可感 知"或"可視"成像功能之間的干擾，從而運些光不"出現(xiàn)"在所采集的圖像中。結(jié)構(gòu)化光是將 已知的像素圖案投射到場景上的過程。運些光圖案可W是形狀、線、網(wǎng)格和/或圓的形式。運 些光圖案在撞擊表面時的變形方式允許視覺系統(tǒng)計算場景中的物體的深度和表面信息。或 者，運些形狀可W是函數(shù)的形式，諸如具有不同頻率的正弦函數(shù)或方波函數(shù)的形式的光強 度漸變。通過傳感器從所投射的光檢測到的"相位"變化是場景中該點的深度的函數(shù)。有多 種出版物設(shè)及運些算法W及對其的不同改進。在本文的本實施方式中，可W采用運些算法 中的任何一種。人類不可見(或不可感知的)結(jié)構(gòu)化光使用具有不會產(chǎn)生干擾的波長的光。 B-伴隨像素陣列的數(shù)字電路的實施方式
[0133] 本公開內(nèi)容覆蓋了用于設(shè)計單一像素陣列片上系統(tǒng)W實現(xiàn)用同一陣列測量不止 一種類型的數(shù)據(jù)的不同方法?，F(xiàn)在將要演示運樣的"忍片"的示例實施方式。本公開內(nèi)容進 一步解釋了當數(shù)據(jù)是兩種類型的感測數(shù)據(jù)的混合時，將從傳感器讀出的數(shù)據(jù)儲存到存儲器 中的方法。下文描述實現(xiàn)上述方法的數(shù)字系統(tǒng)的實施方式。
[0134] 像素陣列同時測量不止一種類型的數(shù)據(jù)（用于形成視頻圖像的可見光和用于計算 深度測量的紅外光）。陣列可W在上文解釋的任何不同實施方式中實現(xiàn)。像素陣列與MEMS- 起封裝在單一忍片上。圖像處理系統(tǒng)操作由被稱為圖像處理單元的處理單元來控制。該圖 像處理單元將圖像處理系統(tǒng)置于進行復合類型1數(shù)據(jù)(例如，可見光數(shù)據(jù)模式)和類型2數(shù)據(jù) (例如，I財莫式)感測的第一操作模式下，或者置于進行復合類型1數(shù)據(jù)和類型2數(shù)據(jù)感測的 第二操作模式下(通過移動陣列）?；蛘?，在另一實施方式中，在某一模式下感測類型1數(shù)據(jù)， 而在另一模式下感測類型2數(shù)據(jù)。圖像處理系統(tǒng)模式受圖7中的中央處理器(CPU)控制。CPU 還驅(qū)動圖10中的定時電路(經(jīng)由圖7中的線路總線），運觸發(fā)對二維陣列圖像傳感器的定時， W使其"感測"場景（拍攝圖像）。在此之后，定時電路驅(qū)動傳感器陣列W通過讀出總線從傳 感器陣列讀出在微傳感器(像素）中采集的數(shù)據(jù)。該數(shù)據(jù)可W是類型1數(shù)據(jù)和類型2數(shù)據(jù)，或 者兩者皆有(取決于傳感器設(shè)計所使用的方法）。繼而通過CPU和存儲器來處理運兩種類型 的數(shù)據(jù)(像素數(shù)據(jù)），W將其收集并儲存在其合適的類型1數(shù)據(jù)(存儲器)和類型2數(shù)據(jù)(存儲 器)對應存儲中。
[0135] 雖然在本文討論的實施方式之一中數(shù)據(jù)是W混合方式收集的，但它們并不W混合 方式儲存。類型1數(shù)據(jù)(例如，視頻數(shù)據(jù))儲存在視頻帖存儲區(qū)中，而類型2數(shù)據(jù)(例如，IR數(shù) 據(jù))儲存在深度帖存儲區(qū)中?，F(xiàn)在，圖像處理系統(tǒng)可W生成類型1數(shù)據(jù)(視頻圖像)或類型2數(shù) 據(jù)（IR圖像)一一運取決于陣列所處于的操作模式，并且圖像儲存在對應的區(qū)域中（視頻存 儲器用于視頻模式，而深度存儲器用于深度模式），兩者都在后續(xù)的應用中得到使用。CPU還 可W是像素處理器，其實現(xiàn)對視頻和IR的所有處理。在貝爾圖案視頻處理的情況下，CPU使 用像素插值來計算每個像素的顏色分量RGB。其他操作包括但不限于:數(shù)字增益、白平衡、色 彩空間轉(zhuǎn)換(從RGB到Y(jié)化Cb)W及伽馬校正。在紅外數(shù)據(jù)處理的情況下，CPU執(zhí)行數(shù)據(jù)噪聲移 除和圖案變形識別W及深度數(shù)據(jù)和/或物體形狀還原，但并不僅限于此。CPU可W使用IR圖 像來計算深度數(shù)據(jù)(使用公知的公開可用的算法），并將其儲存在深度帖存儲中，或者可w 將其傳遞到將會在構(gòu)成本文實施方式的系統(tǒng)上運行的其他應用。模塊之間的數(shù)據(jù)傳送是使 用一個或多個數(shù)字總線進行的?？偩€用于從傳感器讀出數(shù)據(jù)，并且總線用于向傳感器寫入 數(shù)據(jù)。在數(shù)字邏輯術(shù)語中，總線是多個導線，在其上讓數(shù)字數(shù)據(jù)在數(shù)字系統(tǒng)中從一個數(shù)字電 路傳送到系統(tǒng)中的另一數(shù)字電路。
[0136] 為了收集將會用于計算深度的有用IR數(shù)據(jù)，圖像處理系統(tǒng)將一個或多個光圖案投 射在場景上。因此，圖像處理系統(tǒng)可W具有一個或多個紅外光發(fā)射器。IR發(fā)射器可W放置在 像素陣列周圍。此外，每個發(fā)射器可W投射用于深度測量的不同圖案。將光圖案投射到場景 上，由像素陣列接收該圖案從場景的反射，并且利用不同的計算算法來計算場景的深度數(shù) 據(jù)。優(yōu)選地，光圖案對用戶不可見;否則，場景將會充滿用戶明顯可見的"人工"光圖案，運會 極大地干擾用戶所熟悉的傳統(tǒng)圖像拍攝和抓取。因此，場景應當不含干擾該場景并從而將 會被記錄在用戶抓取的圖像中的任何可見事物。
[0137] 如上所述，MEMS使本公開內(nèi)容的傳感器陣列能夠使用同一微傳感器(像素)陣列來 收集不同類型的數(shù)據(jù)。圖像處理系統(tǒng)通過移動所述傳感器陣列系統(tǒng)的某些部分來實現(xiàn)對運 些不同類型數(shù)據(jù)的測量。在不同實施方式中，MEMS移動一個或多個組件，所述組件可W根據(jù) 圖像處理系統(tǒng)的配置而有所不同。然而，在所有實施方式中實現(xiàn)MEMS都是用于實現(xiàn)讓同一 傳感器陣列可W遞送兩種不同類型數(shù)據(jù)的目標，運兩種類型的數(shù)據(jù)被描述為視頻圖像和IR 圖像。
[0138] 忍片上的其他感測組件可W是，但不限于： A-具有不同圖案的紅外發(fā)射器，其在圖10中被描繪為在傳感器陣列頂部上的Ξ個圓 (并且在圖17中亦有示出）。對紅外發(fā)射器的數(shù)目幾乎沒有限制，并且對紅外發(fā)射器工作的 波長頻帶和分布也沒有限制，只要它們對紅外微傳感器可見而對常規(guī)可見光微傳感器(彩 色圖像像素)不可見即可。 B-忍片上的MEMS麥克風陣列 C-X-Y-Z加速度計和X-Y-Z巧螺儀 D-頻閃光，即，閃光燈(圖19中所示），用于在采集圖像的過程中輔助提高質(zhì)量 應用：
[0139] 由于其高集成度和具有用于進行成像和深度捕捉的單忍片解決方案的優(yōu)點，所提 出的片上圖像處理系統(tǒng)可W用于但不限于W下各項： 1- 游戲;通過具有發(fā)射光并同時充當深度傳感器和視頻傳感器的單忍片而實現(xiàn)的高集 成度使得本發(fā)明能夠取代系統(tǒng)中的任何視頻相機。運促進了 3D成像應用在幾乎所有計算和 通信設(shè)備上的集成。 2- 計算和通信設(shè)備的人類用戶界面，其中它可W取代膝上型計算機和移動設(shè)備W及表 面交互計算平板上的所有相機。運將會催生新穎應用，在其中本發(fā)明設(shè)備可W用作圖像傳 感器或深度傳感器，或者同時用作兩者。 3- 增強現(xiàn)實應用將會由于設(shè)備上的3D相機的存在而得到極大的促進，從而將運些應用 編碼在移動設(shè)備、平板計算機和膝上型計算機上。運是因為3D數(shù)據(jù)、視頻數(shù)據(jù)被集成到單個 傳感器中。在增強現(xiàn)實應用中，運些數(shù)據(jù)(場景的視頻數(shù)據(jù)和Ξ維數(shù)據(jù)，它們由于來自同一 傳感器而已經(jīng)在空間上疊合在一起)與適合于視頻游戲、教育、培訓和市場營銷等不同應用 的Ξ維圖形相集成。 4- 安全/監(jiān)控，其中實現(xiàn)了對肇事者的3D跟蹤，而運可W創(chuàng)造出新穎算法。 5- 3D打印，當前傳感器可W經(jīng)由包括硬件和軟件的數(shù)字系統(tǒng)對接W打印3D數(shù)據(jù)，運些 3D數(shù)據(jù)通過傳感器采集并經(jīng)處理W從測量還原3D數(shù)據(jù)，并將其發(fā)送至打印機。
[0140] 已經(jīng)關(guān)于微傳感器陣列描述了本公開內(nèi)容的示例性系統(tǒng)和方法。然而，為了避免 不必要地混淆本公開內(nèi)容，前文的描述省略了許多已知結(jié)構(gòu)和設(shè)備。運樣的省略不應當解 釋為對權(quán)利要求的范圍的限制。闡述了具體細節(jié)W提供對本公開內(nèi)容的理解。然而，應當明 白，能夠W超出本文闡述的具體細節(jié)的多種方式來實踐本公開內(nèi)容。
[0141] 此外，雖然本文所示的示例性方面、實施方式和/或配置示出了系統(tǒng)的置于一起的 各個組件，但系統(tǒng)的某些組件可W位于遠程位置，處在諸如LAN和/或因特網(wǎng)等分布式網(wǎng)絡(luò) 的遠處部分，或者位于專用系統(tǒng)內(nèi)。因此，應當理解，系統(tǒng)的組件可W組合在一個或多個設(shè) 備中，諸如在相機或其他成像設(shè)備中，或者一起置于諸如模擬和/或數(shù)字通信網(wǎng)絡(luò)、分組交 換網(wǎng)絡(luò)或電路交換網(wǎng)絡(luò)等分布式網(wǎng)絡(luò)的特定節(jié)點上。從前文描述應當理解，并且出于計算 效率的原因，系統(tǒng)的組件可W布置在組件的分布式網(wǎng)絡(luò)內(nèi)的任何位置上而不影響系統(tǒng)的操 作。例如，各個組件可W位于服務器中、位于一個或多個計算設(shè)備中、位于一個或多個用戶 場所，或者其組合。類似地，系統(tǒng)的一個或多個功能部分可W分布在一個或多個電信設(shè)備與 相關(guān)聯(lián)的計算設(shè)備之間。
[0142] 此外，應當理解，連接元件的各個鏈路可W是有線鏈路或無線鏈路或者其任意組 合，或者是任何其他已知的或今后開發(fā)的能夠向連接的元件供應數(shù)據(jù)或從其通信數(shù)據(jù)的一 個或多個元件。運些有線或無線鏈路還可W是安全鏈路，并且可能能夠通信加密信息。例 如，用作鏈路的傳輸介質(zhì)可W是針對電信號的任何適當載體，包括同軸電纜、銅線和光纖， 并且可W采用聲波或光波的形式，諸如在無線電波和紅外數(shù)據(jù)通信期間生成的波。
[0143] 此外，雖然已經(jīng)關(guān)于特定事件順序討論和例示了流程圖，但應當理解，可W對該順 序進行改變、添加和省略而不對所公開的實施方式的操作、配置和方面產(chǎn)生實質(zhì)影響。
[0144] 可W使用本公開內(nèi)容的許多變體和修改。有可能提供本公開內(nèi)容的一些特征而不 提供其他特征。
[0145] 例如，在一個備選實施方式中，本公開內(nèi)容的傳感器陣列可W用于除了貝爾圖案 之外的圖案。
[0146] 在另一備選實施方式中，傳感器陣列保持靜止，同時在該陣列之上移動一個或多 個濾光器，W導致對期望類型數(shù)據(jù)的收集。例如，在第一模式下，在存在或不存在用于移除 類型2數(shù)據(jù)的濾光器的情況下從像素收集類型1數(shù)據(jù)，并且在第二模式下，通過陣列之上的 MEMS將用于移除類型1數(shù)據(jù)同時透過類型2數(shù)據(jù)的濾波器移動入位來收集類型2數(shù)據(jù)。
[0147] 在另一實施方式中，根據(jù)操作模式來移動傳感器陣列，并且其具有定位在陣列中 的一個或多個像素之上的不同濾光器。該實施方式實際上是圖13和圖17-圖18的實施方式 的組合。
[0148] 在又一實施方式中，本公開內(nèi)容的系統(tǒng)和方法可W結(jié)合W下各項一起實現(xiàn):專用 計算機、經(jīng)編程微處理器或微控制器W及一個或多個外圍集成電路元件、ASIC或其他集成 電路、數(shù)字信號處理器、硬接線電子或邏輯電路諸如分立元件電路、可編程邏輯器件或口陣 列諸如化〇、？1^\少?64、？4^專用計算機、任何可比的裝置等。一般而言，可^使用任何一種 或多種能夠?qū)嵤┍疚睦镜姆椒ǖ脑O(shè)備或裝置來實現(xiàn)本公開內(nèi)容的各個方面?？蓋用于所 公開的實施方式、配置和方面的示例性硬件包括計算機、手持設(shè)備、電話(例如，蜂窩電話、 支持因特網(wǎng)的電話、數(shù)字電話、模擬電話、混合電話W及其他電話）W及本領(lǐng)域已知的其他 硬件。運些設(shè)備中的一些設(shè)備包含處理器(例如，單個或多個微處理器）、存儲器、非易失性 存儲、輸入設(shè)備和輸出設(shè)備。此外，還可W構(gòu)建包括但不限于分布式處理或組件/對象分布 式處理、并行處理或虛擬機處理的替代軟件實現(xiàn)方案來實現(xiàn)本文描述的方法。
[0149] 在另一實施方式中，所公開的方法可W很容易與使用對象或面向?qū)ο筌浖_發(fā)環(huán) 境的軟件相結(jié)合實現(xiàn)，所述開發(fā)環(huán)境提供可在多種計算機或工作站平臺上使用的可移植源 代碼?；蛘?，所公開的系統(tǒng)可W部分地或完全地在使用標準邏輯電路或化SI設(shè)計的硬件中 實現(xiàn)。是使用軟件還是硬件來實現(xiàn)根據(jù)本公開內(nèi)容的系統(tǒng)取決于所采用的系統(tǒng)、特定功能 W及特定軟件或硬件系統(tǒng)或微處理器或微計算機系統(tǒng)的速度和/或效率要求。
[0150] 在又一實施方式中，所公開的方法可W部分地在可儲存于存儲介質(zhì)上的軟件中實 現(xiàn)，該軟件可W在與控制器和存儲器相協(xié)同的經(jīng)編程通用計算機、專用計算機、微處理器等 之上執(zhí)行。在運些情況下，本公開內(nèi)容的系統(tǒng)和方法可W實現(xiàn)為嵌入在個人計算機上的程 序，諸如小應用程序、JAVA?或CGI腳本或者作為資源駐留在服務器或計算機工作站上 的WC++語言編譯的軟件，作為嵌入專用測量系統(tǒng)、系統(tǒng)組件等之中的例程。還可W通過物 理地將系統(tǒng)和/或方法整合在軟件和/或硬件系統(tǒng)中來實現(xiàn)該系統(tǒng)。
[0151] 雖然本公開內(nèi)容參考特定標準和協(xié)議而描述了在各個方面、實施方式和/或配置 中實現(xiàn)的組件和功能，但運些方面、實施方式和/或配置并不限于運樣的標準和協(xié)議。還存 在本文未提及的其他相似標準和協(xié)議，并且認為其也包括在本公開內(nèi)容中。此外，本文提及 的標準和協(xié)議W及本文未提及的其他類似標準和協(xié)議不時由具有基本上相同的功能的更 快或更有效的等效物所取代。具有相同功能的運些替代標準和協(xié)議被認為是包含在本公開 內(nèi)容中的等效物。
[0152] 本公開內(nèi)容在各個方面、實施方式和/或配置中包括基本上如本文所描繪和描述 的組件、方法、過程、系統(tǒng)和/或裝置，包括其各個方面、實施方式、配置實施方式、子組合和/ 或子集。本領(lǐng)域技術(shù)人員在理解本公開內(nèi)容之后，將會理解如何制作和使用所公開的方面、 實施方式和/或配置。本公開內(nèi)容在各個方面、實施方式和/或配置中包括在缺少未在本文 或其各個方面、實施方式和/或配置中描繪和/或描述的物品的情況下提供設(shè)備和過程，包 括缺少那些可能在前述設(shè)備或過程中使用的物品，例如用于提高性能、實現(xiàn)簡易性和/或降 低實現(xiàn)成本的物品。
[0153] 前述討論是出于說明和描述的目的而呈現(xiàn)的。前述內(nèi)容并不旨在將本公開限制為 本文所公開的一種或多種形式。例如，在前文的【具體實施方式】中，本公開內(nèi)容的各個特征出 于簡化本公開內(nèi)容的目的而在一個或多個方面、實施方式和/或配置中組合在一起。本公開 內(nèi)容的方面、實施方式和/或配置的特征可W在除了上述討論之外的替代方面、實施方式 和/或配置中組合。本公開內(nèi)容的運樣的方法不應解釋為反映了權(quán)利要求需要比每個權(quán)利 要求中明確陳述的特征更多的特征的意圖。相反，如W下權(quán)利要求所反映，發(fā)明方面在于少 于單個前文公開的方面、實施方式和/或配置的所有特征之中。因而，W下權(quán)利要求特此并 入運一【具體實施方式】中，其中每個權(quán)利要求獨立地作為本公開內(nèi)容的單個優(yōu)選實施方式。
[0154] 此外，盡管描述已經(jīng)包括了對一個或多個方面、實施方式和/或配置W及某些變體 和修改的描述，但其他變體、組合和修改也在本公開內(nèi)容的范圍之內(nèi)，舉例而言，如同可w 在理解本公開內(nèi)容之后，在本領(lǐng)域的技術(shù)和知識范圍內(nèi)一樣。期望在許可的范圍內(nèi)，獲得包 括替代方面、實施方式和/或配置的權(quán)利，包括對所要保護權(quán)項的替代的、可互換的和/或等 效的結(jié)構(gòu)、功能、范圍或步驟，無論運樣的替代的、可互換的和/或等效的結(jié)構(gòu)、功能、范圍或 步驟是否在本文公開，并且并不期望公開地獻出任何可專利主題。
[0155]雖然本文已經(jīng)示出和描述了本發(fā)明的優(yōu)選實施方式，但對于本領(lǐng)域技術(shù)人員顯而 易見的是，運樣的實施方式只是W示例的方式提供的。在不偏離本發(fā)明的情況下，本領(lǐng)域技 術(shù)人員現(xiàn)將想到眾多變化、改變和替代。應當理解，在實踐本發(fā)明的過程中可W采用對本文 所描述的本發(fā)明實施方式的各種替代方案。W下權(quán)利要求旨在限定本發(fā)明的范圍，并因此 覆蓋運些權(quán)利要求范圍內(nèi)的方法和結(jié)構(gòu)及其等效項。
【主權(quán)項】
1. 一種裝置，包括： (a) 傳感器陣列，其包括安設(shè)在用于感測貝爾圖案數(shù)據(jù)的第一多對相鄰線性陣列上的 多個貝爾圖案，位于所述第一多對相鄰線性陣列之間的用于感測不同類型數(shù)據(jù)的具有不同 圖案的第二多對相鄰線性陣列； (b) 致動器，其用于將所述傳感器從第一位置移動至第二位置，其中所述第一多對相鄰 線性陣列的物理位置與所述第二多對相鄰線性陣列的物理位置交替排列；以及 (c) 電路，其耦合至所述致動器和所述傳感器陣列，以從所述第一位置和所述第二位置 中的每一位置輸出所述貝爾圖案數(shù)據(jù)和所述不同類型數(shù)據(jù)。2. 如權(quán)利要求1所述的裝置，其中所述貝爾圖案數(shù)據(jù)的每個像素關(guān)聯(lián)于所述第一位置 或所述第二位置而輸出，并且其中所述不同類型數(shù)據(jù)的每個像素關(guān)聯(lián)于所述第一位置或所 述第二位置而輸出。3. 如權(quán)利要求1所述的裝置，其中所述不同圖案包括紅外濾波器圖案、紫外濾波器圖 案、非貝爾可見光濾波器圖案或不含濾波器的圖案中的一個或多個。4. 如權(quán)利要求1所述的裝置，其中所述第一多對相鄰線性陣列的每一對包括兩個相鄰 對，并且其中所述第二多對相鄰線性陣列的每一對包括兩對相鄰的線性陣列。5. 如權(quán)利要求1所述的裝置，其中所述第一多對相鄰線性陣列的每一對包括三對或更 多對相鄰的線性陣列，并且其中所述第二多對相鄰線性陣列的每一對包括三對或更多對相 鄰的線性陣列。6. 如權(quán)利要求1所述的裝置，還包括用于發(fā)信號指示所述傳感器陣列何時位于所述第 一位置的第一限位開關(guān)以及用于發(fā)信號指示所述傳感器陣列何時位于所述第二位置的第 二限位開關(guān)，其中所述電路被配置用于響應于所述第一限位開關(guān)感測到所述傳感器陣列移 動至所述第一位置而集成位于所述第一位置的所述傳感器陣列的第一復合數(shù)據(jù)，以及響應 于所述第二限位開關(guān)感測到所述傳感器移動至所述第二位置而集成所述傳感器陣列的第 二復合數(shù)據(jù)。7. 如權(quán)利要求1所述的裝置，其中電路被配置用于從所述第一復合數(shù)據(jù)和所述第二復 合數(shù)據(jù)生成所述貝爾圖案數(shù)據(jù)，以及從所述第一復合數(shù)據(jù)和所述第二復合數(shù)據(jù)生成所述不 同類型數(shù)據(jù)。8. 如權(quán)利要求1所述的裝置，所述電路包括用于使所述傳感器陣列移動至所述第一位 置并在所述第一位置測量所述傳感器陣列的第一數(shù)據(jù)以及使所述傳感器陣列移動至所述 第二位置并在所述第二位置測量所述傳感器陣列的第二數(shù)據(jù)的指令，處理器還包括用于從 具有所述貝爾圖案的所述第一多對相鄰線性陣列提供第一全幀圖像以及用于從具有不同 圖案的所述第二多對相鄰線性陣列輸出第二全幀圖像的指令，其中所述傳感器包括一定數(shù) 目的像素，并且其中所述第一全幀圖像和所述第二全幀圖像中的每一個包括所述傳感器陣 列的該數(shù)目的像素。9. 如權(quán)利要求1所述的裝置，其中所述致動器包括微機電系統(tǒng)。10. 如權(quán)利要求1所述的裝置，其中所述多個貝爾圖案中的每一個包括用于感測紅光的 紅像素、用于感測藍光的藍像素以及用于感測綠光的一對對角綠像素。11. 如權(quán)利要求1所述的裝置，還包括用于儲存從所述傳感器陣列生成的輸出的數(shù)字數(shù) 據(jù)存儲。12. 如權(quán)利要求1所述的裝置，還包括用于控制以下各項中的一個或多個的數(shù)字信號處 理器：向數(shù)字數(shù)據(jù)存儲傳送所述輸出、對圖像采集的定時、所述陣列的移動、配置所述電路、 配置圖像形成以及生成圖像。13. -種系統(tǒng)，包括： (a) 傳感器陣列，其可操作用于感測第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，所述第一類型 數(shù)據(jù)與第二類型數(shù)據(jù)不同；以及 (b) 微機電系統(tǒng)(MEMS)，其用于以下各項中的至少一個：（1)移動所述傳感器陣列，使得 所述傳感器陣列的不同傳感器在共同位置捕捉所述第一類型數(shù)據(jù)和第二類型數(shù)據(jù)中的不 同類型的數(shù)據(jù)，以及(2)移動定位在所述傳感器陣列的至少一個傳感器之上的濾波器，使得 選定的傳感器能夠根據(jù)所述濾波器的位置而捕捉第一類型數(shù)據(jù)或第二類型數(shù)據(jù)。14. 如權(quán)利要求13所述的系統(tǒng)，其中在第一操作模式下，由所述傳感器陣列捕捉第一復 合幀，并且在第二操作模式下，由所述傳感器陣列捕捉第二復合幀，其中所述第一復合幀和 第二復合幀各自包括第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，其中所述第一復合幀和第二復合 幀分成僅包含所述第一類型數(shù)據(jù)的第一幀和僅包含所述第二類型數(shù)據(jù)的第二幀，其中所述 第一幀和第二幀儲存在不同且分立的計算機可讀介質(zhì)中，并且其中所述第一類型數(shù)據(jù)是可 見光而所述第二類型數(shù)據(jù)是紅外光。15. 如權(quán)利要求13所述的系統(tǒng)，其中在第一操作模式下，由所述傳感器陣列捕捉第一復 合幀，并且在第二操作模式下，由所述傳感器陣列捕捉第二復合幀，其中所述第一復合幀和 第二復合幀各自包括第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，其中所述第一復合幀和第二復合 幀分成僅包含所述第一類型數(shù)據(jù)的第一幀和僅包含所述第二類型數(shù)據(jù)的第二幀，其中所述 第一幀和第二幀儲存在不同且不重疊的存儲器位置，并且其中所述第一類型數(shù)據(jù)是藍光、 綠光和紅光中的一種或多種，而所述第二類型數(shù)據(jù)是紅外光。16. 如權(quán)利要求13所述的系統(tǒng)，其中所述傳感器陣列包括用于感測所述第一類型數(shù)據(jù) 的第一組傳感器和用于感測所述第二類型數(shù)據(jù)的第二組傳感器，其中所述第一組傳感器具 有與所述第二組傳感器不同的成員，并且其中所述MEMS將所述傳感器陣列從第一位置移動 至第二位置以分別收集所述第一幀和第二幀。17. 如權(quán)利要求16所述的系統(tǒng)，其中第一組傳感器和第二組傳感器彼此交錯，其中所述 交錯在逐行和/或逐列的基礎(chǔ)上完成，并且其中由所述MEMS對所述傳感器陣列的移動的距 離和方向是所采用的交錯類型的函數(shù)。18. 如權(quán)利要求13所述的系統(tǒng)，其中所述MEMS移動定位在所述傳感器中的至少一個之 上的濾波器，使得選定的傳感器能夠根據(jù)所述濾波器的位置而捕捉第一類型的數(shù)據(jù)或第二 類型的數(shù)據(jù)。19. 如權(quán)利要求18所述的系統(tǒng)，其中所述第一類型數(shù)據(jù)是藍光、綠光和紅光中的一種或 多種而所述第二類型數(shù)據(jù)是紅外光，其中所述濾波器基本上(a)阻擋藍光、綠光和紅光中的 一種或多種，同時透過紅外光，或者(b)阻擋紅外光，同時透過藍光、綠光和紅光中的一種或 多種，其中在第一操作模式下，所述MEMS將所述濾波器定位在所述選定的傳感器之上以便 在光接觸所述選定的傳感器之前對該光進行過濾，并且在第二操作模式下，所述MEMS從所 述選定的傳感器移除所述濾波器以使未經(jīng)過濾的光能夠接觸所述選定的傳感器。20. 如權(quán)利要求18所述的系統(tǒng)，其中所述第一類型數(shù)據(jù)是藍光、綠光和紅光中的一種或 多種而所述第二類型數(shù)據(jù)是紅外光，其中第一濾波器基本上阻擋藍光、綠光和紅光中的一 種或多種同時透過紅外光，而第二濾波器基本上阻擋紅外光同時透過藍光、綠光和紅光中 的一種或多種，并且其中在第一操作模式下，所述MEMS將所述第一濾波器而不是所述第二 濾波器定位在所述選定的傳感器之上以在光接觸所述選定的傳感器之前對該光進行過濾， 并且在第二操作模式下，所述MEMS將所述第二濾波器而不是所述第一濾波器定位在所述選 定的傳感器之上以在光接觸所述選定的傳感器之前對該光進行過濾。21. -種方法，包括： (a) 在第一時間間隔中，通過傳感器陣列收集第一類型的數(shù)據(jù)和/或第二類型的數(shù)據(jù)， 所述第一類型數(shù)據(jù)和第二類型數(shù)據(jù)不相同； (b) 通過微機電系統(tǒng)(MEMS)進行以下各項中的至少一個：（1)移動所述傳感器陣列，使 得所述傳感器陣列的不同傳感器在共同位置捕捉所述第一類型數(shù)據(jù)和第二類型數(shù)據(jù)中的 不同類型的數(shù)據(jù)，以及(2)移動定位在所述傳感器中的至少一個之上的濾波器，使得選定的 傳感器能夠根據(jù)所述濾波器的位置而捕捉第一類型的數(shù)據(jù)或第二類型的數(shù)據(jù)；以及 (c) 在第二時間間隔中，在由所述MEMS進行的移動之后，通過所述傳感器陣列收集第一 類型的數(shù)據(jù)和/或第二類型的數(shù)據(jù)。22. 如權(quán)利要求21所述的方法，其中在第一操作模式下，由所述傳感器陣列捕捉第一復 合幀，并且在第二操作模式下，由所述傳感器陣列捕捉第二復合幀，其中所述第一復合幀和 第二復合幀各自包括第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，其中所述第一復合幀和第二復合 幀分成僅包含所述第一類型數(shù)據(jù)的第一幀和僅包含所述第二類型數(shù)據(jù)的第二幀，其中所述 第一幀和第二幀儲存在不同且分立的計算機可讀介質(zhì)中，并且其中所述第一類型數(shù)據(jù)是可 見光而所述第二類型數(shù)據(jù)是紅外光。23. 如權(quán)利要求21所述的方法，其中在第一操作模式下，由所述傳感器陣列捕捉第一復 合幀，并且在第二操作模式下，由所述傳感器陣列捕捉第二復合幀，其中所述第一復合幀和 第二復合幀各自包括第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，其中所述第一復合幀和第二復合 幀分成僅包含所述第一類型數(shù)據(jù)的第一幀和僅包含所述第二類型數(shù)據(jù)的第二幀，其中所述 第一幀和第二幀儲存在不同且不重疊的存儲器位置，并且其中所述第一類型數(shù)據(jù)是藍光、 綠光和紅光中的一種或多種，而所述第二類型數(shù)據(jù)是紅外光。24. 如權(quán)利要求21所述的方法，其中所述傳感器陣列包括用于感測所述第一類型數(shù)據(jù) 的第一組傳感器和用于感測所述第二類型數(shù)據(jù)的第二組傳感器，其中所述第一組傳感器具 有與所述第二組傳感器不同的成員，并且其中所述MEMS將所述傳感器陣列從第一位置移動 至第二位置以分別收集所述第一幀和第二幀。25. 如權(quán)利要求24所述的方法，其中第一組傳感器和第二組傳感器彼此交錯，其中所述 交錯在逐行和/或逐列的基礎(chǔ)上完成，并且其中由所述MEMS對所述傳感器陣列的移動的距 離和方向是所采用的交錯類型的函數(shù)。26. 如權(quán)利要求21所述的方法，其中所述MEMS移動定位在所述傳感器中的至少一個之 上的濾波器，使得選定的傳感器能夠根據(jù)所述濾波器的位置而捕捉第一類型的數(shù)據(jù)或第二 類型的數(shù)據(jù)。27. 如權(quán)利要求26所述的方法，其中所述第一類型數(shù)據(jù)是藍光、綠光和紅光中的一種或 多種而所述第二類型數(shù)據(jù)是紅外光，其中所述濾波器基本上(a)阻擋藍光、綠光和紅光中的 一種或多種，同時透過紅外光，或者(b)阻擋紅外光，同時透過藍光、綠光和紅光中的一種或 多種，其中在第一操作模式下，所述MEMS將所述濾波器定位在所述選定的傳感器之上以便 在光接觸所述選定的傳感器之前對該光進行過濾，并且在第二操作模式下，所述MEMS從所 述選定的傳感器移除所述濾波器以使未經(jīng)過濾的光能夠接觸所述選定的傳感器。28. 如權(quán)利要求26所述的方法，其中所述第一類型數(shù)據(jù)是藍光、綠光和紅光中的一種或 多種而所述第二類型數(shù)據(jù)是紅外光，其中第一濾波器基本上阻擋藍光、綠光和紅光中的一 種或多種同時透過紅外光，而第二濾波器基本上阻擋紅外光同時透過藍光、綠光和紅光中 的一種或多種，并且其中在第一操作模式下，所述MEMS將所述第一濾波器而不是所述第二 濾波器定位在所述選定的傳感器之上以在光接觸所述選定的傳感器之前對該光進行過濾， 并且在第二操作模式下，所述MEMS將所述第二濾波器而不是所述第一濾波器定位在所述選 定的傳感器之上以在光接觸所述選定的傳感器之前對該光進行過濾。29. -種有形且非暫時性的計算機可讀介質(zhì)，其包括微處理器可執(zhí)行指令，該指令在由 所述微處理器執(zhí)行時可操作用于至少執(zhí)行以下步驟： (a) 在第一時間間隔中，通過傳感器陣列收集第一類型的數(shù)據(jù)和/或第二類型的數(shù)據(jù)， 所述第一類型數(shù)據(jù)和第二類型數(shù)據(jù)不相同； (b) 通過微機電系統(tǒng)(MEMS)進行以下各項中的至少一個：（1)移動所述傳感器陣列，使 得所述傳感器陣列的不同傳感器在共同位置捕捉所述第一類型數(shù)據(jù)和第二類型數(shù)據(jù)中的 不同類型的數(shù)據(jù)，以及(2)移動定位在所述傳感器中的至少一個之上的濾波器，使得選定的 傳感器能夠根據(jù)所述濾波器的位置而捕捉第一類型的數(shù)據(jù)或第二類型的數(shù)據(jù)；以及 (c) 在第二時間間隔中，在由所述MEMS進行的移動之后，通過所述傳感器陣列收集第一 類型的數(shù)據(jù)和/或第二類型的數(shù)據(jù)。30. 如權(quán)利要求29所述的計算機可讀介質(zhì)，其中在第一操作模式下，由所述傳感器陣列 捕捉第一復合幀，并且在第二操作模式下，由所述傳感器陣列捕捉第二復合幀，其中所述第 一復合幀和第二復合幀各自包括第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，其中所述第一復合幀 和第二復合幀分成僅包含所述第一類型數(shù)據(jù)的第一幀和僅包含所述第二類型數(shù)據(jù)的第二 幀，其中所述第一幀和第二幀儲存在不同且分立的計算機可讀介質(zhì)中，并且其中所述第一 類型數(shù)據(jù)是可見光而所述第二類型數(shù)據(jù)是紅外光。31. 如權(quán)利要求29所述的計算機可讀介質(zhì)，其中在第一操作模式下，由所述傳感器陣列 捕捉第一復合幀，并且在第二操作模式下，由所述傳感器陣列捕捉第二復合幀，其中所述第 一復合幀和第二復合幀各自包括第一類型的數(shù)據(jù)和第二類型的數(shù)據(jù)，其中所述第一復合幀 和第二復合幀分成僅包含所述第一類型數(shù)據(jù)的第一幀和僅包含所述第二類型數(shù)據(jù)的第二 幀，其中所述第一幀和第二幀儲存在不同且不重疊的存儲器位置，并且其中所述第一類型 數(shù)據(jù)是藍光、綠光和紅光中的一種或多種，而所述第二類型數(shù)據(jù)是紅外光。32. 如權(quán)利要求29所述的計算機可讀介質(zhì)，其中所述傳感器陣列包括用于感測所述第 一類型數(shù)據(jù)的第一組傳感器和用于感測所述第二類型數(shù)據(jù)的第二組傳感器，其中所述第一 組傳感器具有與所述第二組傳感器不同的成員，并且其中所述MEMS將所述傳感器陣列從第 一位置移動至第二位置以分別收集所述第一幀和第二幀。33. 如權(quán)利要求32所述的計算機可讀介質(zhì)，其中第一組傳感器和第二組傳感器彼此交 錯，其中所述交錯在逐行和/或逐列的基礎(chǔ)上完成，并且其中由所述MEMS對所述傳感器陣列 的移動的距離和方向是所采用的交錯類型的函數(shù)。34. 如權(quán)利要求29所述的計算機可讀介質(zhì)，其中所述MEMS移動定位在所述傳感器中的 至少一個之上的濾波器，使得選定的傳感器能夠根據(jù)所述濾波器的位置而捕捉第一類型的 數(shù)據(jù)或第二類型的數(shù)據(jù)。35. 如權(quán)利要求34所述的計算機可讀介質(zhì)，其中所述第一類型數(shù)據(jù)是藍光、綠光和紅光 中的一種或多種而所述第二類型數(shù)據(jù)是紅外光，其中所述濾波器基本上(a)阻擋藍光、綠光 和紅光中的一種或多種，同時透過紅外光，或者(b)阻擋紅外光，同時透過藍光、綠光和紅光 中的一種或多種，其中在第一操作模式下，所述MEMS將所述濾波器定位在所述選定的傳感 器之上以便在光接觸所述選定的傳感器之前對該光進行過濾，并且在第二操作模式下，所 述MEMS從所述選定的傳感器移除所述濾波器以使未經(jīng)過濾的光能夠接觸所述選定的傳感 器。36. 如權(quán)利要求34所述的計算機可讀介質(zhì)，其中所述第一類型數(shù)據(jù)是藍光、綠光和紅光 中的一種或多種而所述第二類型數(shù)據(jù)是紅外光，其中第一濾波器基本上阻擋藍光、綠光和 紅光中的一種或多種同時透過紅外光，而第二濾波器基本上阻擋紅外光同時透過藍光、綠 光和紅光中的一種或多種，并且其中在第一操作模式下，所述MEMS將所述第一濾波器而不 是所述第二濾波器定位在所述選定的傳感器之上以在光接觸所述選定的傳感器之前對該 光進行過濾，并且在第二操作模式下，所述MEMS將所述第二濾波器而不是所述第一濾波器 定位在所述選定的傳感器之上以在光接觸所述選定的傳感器之前對該光進行過濾。
【文檔編號】G06K7/10GK105830090SQ201480066621
【公開日】2016年8月3日
【申請日】2014年10月3日
【發(fā)明人】馬吉德·比沙伊（亦稱弗雷·格雷戈里）
【申請人】伊克萊瑞迪公司