本發(fā)明的領(lǐng)域總體上涉及計算科學(xué)，更具體地，涉及具有多個輸出端口的圖像傳感器。

背景技術(shù)：

圖1示出通常的移動計算系統(tǒng)平臺100。如在圖1中觀察到的，計算系統(tǒng)平臺包括具有多個通用處理核102_1到102_N的應(yīng)用處理器101、內(nèi)存控制器103、圖形處理單元104、I/O集線器105和包含多個圖像信號處理管線107_1、107_2的圖像信號處理器106。計算系統(tǒng)平臺還包括多個相機(jī)108、109，每個相機(jī)具有相應(yīng)的圖像傳感器110、111。多個相機(jī)108、109通常包括前相機(jī)和后相機(jī)。

由圖像傳感器獲得的圖像數(shù)據(jù)通常提供給圖像信號處理管線(pipeline)。圖像信號處理管線然后對圖像數(shù)據(jù)執(zhí)行各種計算以產(chǎn)生例如用于顯示的數(shù)據(jù)。圖像信號處理管線通常實(shí)現(xiàn)為并行地處理來自于圖像傳感器的不同圖像數(shù)據(jù)塊的管線(軟件、硬件或兩個)。例如，當(dāng)?shù)谝粔K正在由去馬賽克階段處理時，另一個塊可以由降噪階段處理。在圖像信號處理管線處理來自于圖像傳感器的數(shù)據(jù)之后，經(jīng)處理的數(shù)據(jù)可(例如經(jīng)由直接內(nèi)存訪問(DMA)傳輸)轉(zhuǎn)送到顯示器或例如系統(tǒng)內(nèi)存。

在此，每個圖像信號處理管線107_1、107_2專用于特定的相機(jī)和圖像傳感器。也就是說，例如，圖像信號處理管線107_1專用于處理由圖像傳感器110產(chǎn)生的圖像數(shù)據(jù)，以及，圖像信號處理管線107_2專用于處理由圖像傳感器111產(chǎn)生的圖像數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)要素：

本文描述了一種設(shè)備，其包括具有第一輸出端口和第二輸出端口的圖像傳感器。第一輸出端口與從第二輸出端口傳輸?shù)诙D像流并行地傳輸?shù)谝粓D像流。

本文描述了一種設(shè)備，其包括用于執(zhí)行由圖像傳感器執(zhí)行的方法的器件。所述設(shè)備包括用于接受用于第一圖像類型的圖像傳感器的第一圖像端口的配置信息的器件。所述設(shè)備包括用于接受用于第二圖象類型的圖像傳感器的第二圖像端口的配置信息的器件，第一圖象類型不同于第二圖像類型。所述設(shè)備包括用于從像素陣列產(chǎn)生多個模擬信號的器件。所述設(shè)備包括用于將該模擬信號轉(zhuǎn)換成數(shù)字像素值的器件。所述設(shè)備包括用于從第一輸出端口傳輸某些數(shù)字像素值的器件。所述設(shè)備包括用于從第二輸出端口傳輸其他數(shù)字像素值的器件。

附圖說明

以下的描述和附圖用來示出本發(fā)明的實(shí)施例。在附圖中：

圖1示出移動式計算系統(tǒng)平臺；

圖2a和2b示出現(xiàn)有技術(shù)的多圖像流的傳輸配置；

圖3示出改進(jìn)的移動式計算系統(tǒng)平臺；

圖4a到4d示出可在圖3的改進(jìn)的計算系統(tǒng)平臺上實(shí)施的改進(jìn)的多圖像流的傳輸配置；

圖5a到5c示出具有不止一個輸出端口的不同的圖像傳感器實(shí)施例；

圖6示出由圖3的計算系統(tǒng)平臺執(zhí)行的方法；

圖7示出更加全面的計算系統(tǒng)平臺。

具體實(shí)施方式

目前的趨勢是要通過將深度采集集成到它的成像部件中來提高計算系統(tǒng)的成像能力。深度采集可被使用，例如，用以執(zhí)行各種智能的目標(biāo)識別功能例如面部識別(例如，用于安全系統(tǒng)解鎖)或手勢識別(例如，用于非觸摸式用戶界面功能)。

根據(jù)一種深度信息采集方法，稱為“飛行時間”成像，計算系統(tǒng)發(fā)射紅外(IR)光到物體上，并且對于圖像傳感器的多個像素中的每一個，測量光的發(fā)射和它的反射在傳感器上接收之間的時間。由飛行時間像素產(chǎn)生的圖像對應(yīng)于對象的三維輪廓，其表征在每個不同像素位置(x,y)處的特定的深度測量值(Z)。

“RGBZ”圖像傳感器是一種具有吸引力的解決方案，其用于實(shí)現(xiàn)從同一相機(jī)封裝件內(nèi)獲得傳統(tǒng)圖像采集和飛行時間深度輪廓。RGBZ圖像傳感器是包括不同類型像素的圖像傳感器，其中一些(RGB像素)對可見光敏感，以及其他的(飛行時間像素)用來測量深度信息。

在通常的實(shí)施方式中，飛行時間像素被設(shè)計成對IR光敏感，因為，如以上提到的，IR光被用于測量飛行時間，以使得飛行時間測量光不會干擾用戶，并且不會妨礙RGB像素的傳統(tǒng)成像功能。飛行時間像素另外具有特別關(guān)聯(lián)的時鐘和/或時間電路，以測量在所述像素處接收到光的時間。因為飛行時間像素對IR光是敏感的，然而，還可以設(shè)想它們(例如在第二模式中)僅被用作IR像素而不是飛行時間像素(即采集IR信息，但不測量飛行時間測量)。

RGBZ圖像傳感器因此自然產(chǎn)生兩種視頻數(shù)據(jù)流(RGB視覺圖像流和深度信息(Z)流)，每種視頻數(shù)據(jù)流都具有其自身的一組流特征，例如幀尺寸、幀結(jié)構(gòu)和幀率。RGBZ傳感器目前被設(shè)計成“裝配”到圖1的平臺100中，其中，僅單一的圖像信號處理管線專用于單一的圖像傳感器。因而，當(dāng)前的RGBZ傳感器僅考慮單一的輸出端口和通信鏈路，不同類型的輸出數(shù)據(jù)流需要通過其復(fù)用(multiplex)。

問題在于，專用于RGBZ傳感器的圖像信號處理管線自身要求復(fù)用其對由RGBZ傳感器產(chǎn)生的不同數(shù)據(jù)流型的處理。圖像信號圖像處理器是相當(dāng)復(fù)雜的系統(tǒng)(通常實(shí)施為在硬件或軟件或二者中實(shí)施的多級管線)，因而，其在兩個數(shù)據(jù)流之間的復(fù)用要求在RGB流狀態(tài)和Z流狀態(tài)之間的耗時的且性能降級的來回切換。

圖2a和2b更詳細(xì)地提供了對可在單個鏈路上發(fā)生的不同類型的復(fù)用的描述。根據(jù)圖2a的“模式切換”復(fù)用，在第一組時間周期期間，第一類型流201(例如RGB視頻圖像)以較慢的幀率傳輸較大的數(shù)據(jù)幀，并且，在第二組時間周期期間，第二類型流202(例如Z視頻圖像)可以較快的幀率傳輸較小的數(shù)據(jù)幀。

在此，值得注意，在通常的實(shí)施方式中，在傳感器的表面面積上的可見光(RGB)像素的密度通常大于在傳感器的表面面積上的飛行時間像素的密度。因而，如果從傳感器讀出可見(RGB)像素的標(biāo)稱窗口，并且從所述傳感器讀出飛行時間像素的標(biāo)稱窗口，那么，視覺數(shù)據(jù)的窗口通常比深度數(shù)據(jù)的窗口包含更多的數(shù)據(jù)。如果要以相同的時鐘速率在同一鏈路內(nèi)串流不同的圖像數(shù)據(jù)類型，那么視覺RGB流將自然地具有較大的幀尺寸和較慢的幀率，而深度Z流將自然地具有較小的幀尺寸和可能較快的幀率。

關(guān)于如在圖2a中觀察到的兩種不同流在同一鏈路上的復(fù)用，這些流之間的介入時間(intervening times)會由于圖像信號處理管線必須切換其配置狀態(tài)信息而十分大。另外，傳感器通常必須使它的內(nèi)部配置狀態(tài)信息(例如，讀出模式、幀尺寸和幀率)也被切換(通常通過對傳感器的配置寄存器空間進(jìn)行編程)。

圖2b描述了如果兩種類型的流都處于“快速模式”時可以使用的另一種類型的復(fù)用方案。其中，來自于兩個不同的流的幀基于一幀接一幀地交錯，例如為了確保來自于兩個流的數(shù)據(jù)實(shí)時可觀察?？焖倌Ｊ綇?fù)用效率特別低，因為圖像信號處理器(和傳感器)必需在它處理的每個幀之間切換它的狀態(tài)信息。

圖3示出改進(jìn)的計算系統(tǒng)平臺300。如在圖3的改進(jìn)的計算系統(tǒng)平臺中觀察到的，圖像傳感器310、311具有不止一個的輸出端口313。同一圖像傳感器的不同輸出端口313可以用于例如傳輸來自不同類型的可用圖像采集模式的不同類型的流(例如第一RGB流和第二Z流)。重要地，每個圖像信號處理管線307_1到307_4可以專用于特定的圖像傳感器輸出端口，而不是整個圖像傳感器。例如，如在圖3中所示，圖像信號處理管線307_1聯(lián)接到輸出端口313_1，圖像信號處理管線307_2聯(lián)接到輸出端口313_2，圖像信號處理管線307_3聯(lián)接到輸出端口313_3，圖像信號處理管線307_4聯(lián)接到輸出端口313_4。

通過在圖3示出的布置，每個輸出端口可配置為僅傳輸特定類型的流，并且，每個對應(yīng)圖像信號處理管線可被配置為僅處理所述流。作為結(jié)果，可以避免圖像傳感器和圖像信號處理器的成本高昂的復(fù)用行為。

雖然在圖3中沒有具體示出，但是在一實(shí)施例中，每個輸出端口具有一關(guān)聯(lián)輸出鏈路，其包括若干通道，可選地，還具有時鐘，其為所述鏈路的數(shù)據(jù)在所述通道上的傳輸定時。取決于由鏈路傳輸?shù)臄?shù)據(jù)量(例如幀尺寸)，可以啟用更多通道或更少通道(例如，啟用更多的通道用于更大的幀，啟用更少的通道用于更小的幀)。另外，取決于應(yīng)用物理層接口的規(guī)格，輸出端口鏈路可以包括或不包括傳輸時鐘信號。

圖4a到4d示出通過圖3的改進(jìn)的構(gòu)架可以實(shí)現(xiàn)的不同種類的圖像流的的各種實(shí)施例。圖4a到4d的論述主要涉及這樣的實(shí)施例，其中，具有較大幀尺寸的第一流從第一端口傳輸，并且，具有較小幀尺寸的第二流從第二端口傳輸。

雖然在一種可能的實(shí)施方式中，該第一流是RGB視頻流，該第二流是深度Z流，但是可相信，若干其他可能的使用情況可適于這一一般情形。一些示例包括:1)第一流是RGB視頻流，第二流是第一流的子集(例如窗口較小或分辨率較低的圖像)；2)第一流是RGB視頻流，第二流是IR圖像流；3)第一流是RGB視頻流，第二流是相位聚焦流(例如其中，第二流由檢測用來確定自動聚焦相機(jī)的透鏡應(yīng)當(dāng)在什么方向運(yùn)動的信息的像素陣列的像素子組產(chǎn)生)；4)第一流是在一個曝光時間采集到的圖像的空間子集，第二流是在第二曝光時間采集到的圖像的空間子集(例如用于單幀HDR采集)。

另外，相應(yīng)地指出，甚至?xí)嬖谶@樣的情況，其中，在該一對流之間的幀尺寸是尺寸相同的、或尺寸至少是可比較的。例如，第一流可由上半部或左半部的RGB視頻圖像組成，而第二流可由下半部或右半部的相同RGB視頻流組成。在此，例如，來自圖像傳感器不同的行或列實(shí)質(zhì)上復(fù)用到不同的輸出端口。這樣的情況可在例如以下情況中出現(xiàn)，其中，圖像傳感器的時間或物理特性致使圖像傳感器產(chǎn)生一RGB圖像流，該圖像流具有大于單個圖像信號處理器可處理的、或已經(jīng)被配置要處理的整體數(shù)據(jù)速率。

相應(yīng)地還指出，為簡單起見，圖4a到4d的示例僅示出兩個圖像流在一對相應(yīng)的輸出端口上傳輸。其他的實(shí)施例可延伸為包括多于兩個圖像流和/或多于兩個輸出端口。例如，多于兩個圖像流可由像素陣列并行地產(chǎn)生，并且每個可在它其自身相應(yīng)的輸出端口上傳輸(例如，RGB流在第一輸出端口上傳輸，Z流在第二輸出端口上傳輸，IR流在第三輸出端口上傳輸，以及自動聚焦流在第四輸出端口上傳輸)。替代地或在組合地，來自于像素陣列的任何具體的流(例如，RGB流)可使其幀通過不止一個輸出端口“扇出”(fan out)。下文更詳細(xì)地描述有關(guān)多于兩個流和兩個相應(yīng)的輸出端口的可能實(shí)施方式的另外說明。還有，在圖4a到4d的每個實(shí)施例中，輸出端口被示出為聯(lián)接到它們各自的圖像信號處理器。這樣的聯(lián)接可以是直接的或邏輯上的。在邏輯聯(lián)接的一個示例中，例如，每個圖像傳感器端口被分配系統(tǒng)內(nèi)存空間的一區(qū)域，該端口向該區(qū)域發(fā)送其特定輸出流，例如通過直接內(nèi)存訪問(DMA)傳輸，所述直接內(nèi)存訪問傳輸通過一物理聯(lián)接到圖像傳感器的輸出端口鏈路的應(yīng)用處理器上的外圍控制器傳播。已經(jīng)分配給傳感器輸出端口的特定圖像信號處理管線然后從系統(tǒng)內(nèi)存接收所述數(shù)據(jù)。

如在圖4a中觀察到的，單個圖像傳感器410a包括第一和第二輸出端口413_1a、413_2a，每個輸出端口具有其自身相應(yīng)的鏈路，該鏈路已被配置為傳輸特定類型的流。根據(jù)一可能的實(shí)施方式，第一鏈路傳輸?shù)谝涣?01a，其對應(yīng)的類型對應(yīng)以較慢的幀率傳輸較大的數(shù)據(jù)幀，而第二鏈路和相應(yīng)的第二類型以較快的幀率傳輸具有較小的數(shù)據(jù)幀的第二流402a。關(guān)于具有多于兩個輸出端口的實(shí)施方式，注意到，具有其自身的圖像類型、幀尺寸和幀率的第三、第四等輸出流可在它們各自的相應(yīng)(第三、第四等)輸出端口上產(chǎn)生并被傳輸。

圖4b示出另一個配置，其中，類似于圖4a的配置，第一鏈路以較慢速率傳輸較大尺寸的幀，第二鏈路以較快速率傳輸較小尺寸的幀。然而，盡管圖4a的方法包括在不同鏈路上的同時傳輸各自的幀，相對而言，圖4b的方法在兩個鏈路之間交替地傳輸幀。再者，關(guān)于具有多于兩個輸出端口的實(shí)施方式，注意到，具有它們各自的圖象類型、幀尺寸和/或幀率的第三、第四等輸出流可在其自身相應(yīng)的(第三、第四等)輸出端口上產(chǎn)生并被傳輸。在該情況下，每個附加流會在該輸出端口的幀之間引入附加時間。

如在圖4a和4b之間被最佳實(shí)施的配置可以基于例如系統(tǒng)設(shè)計、系統(tǒng)條件、系統(tǒng)設(shè)定和/或圖像傳感器設(shè)計中的任一個。例如，雖然圖4a的配置能夠以較高的幀率傳輸?shù)诙?02a，但是，和圖4b的方法相比也可能更耗電并且需求更多的系統(tǒng)內(nèi)存空間。此外，如果傳感器的內(nèi)部設(shè)計能夠同時產(chǎn)生提供至兩個不同鏈路的兩種不同類型的圖像數(shù)據(jù)，則圖4a的配置更容易實(shí)現(xiàn)。相對而言，如果傳感器的內(nèi)部設(shè)計僅能夠交替地產(chǎn)生兩種不同類型的圖像數(shù)據(jù)，則圖4b的配置更容易實(shí)現(xiàn)。

圖4a和4b的方法二者都可以預(yù)計使用不同的時鐘用于它們的各自鏈路。傳感器410a、410b可產(chǎn)生用于這一對鏈路的具有不同頻率的時鐘信號，或者，主機(jī)(例如，應(yīng)用處理器)可提供該時鐘信號。不同的時鐘可以是無關(guān)的(例如，由不同的時鐘源產(chǎn)生)，或者用于較快的幀率鏈路的時鐘可以是用于較慢的幀率鏈路的時鐘的倍數(shù)(或者，用于較慢的幀率鏈路的時鐘可以是用于較快的幀率鏈路的時鐘的向下細(xì)分的版本)。如以上提到的，物理鏈路自身可包括各自的時鐘作為傳輸時鐘，或者，取決于鏈路接口的物理需求，可省略該各自的時鐘。

圖4c和4d示出另外的配置，其中，這一對鏈路具有相同的幀率。如在圖4c的配置中觀察到的，來自于不同鏈路的幀被同時傳輸。相對而言，如在圖4d的配置中觀察到的，來自于不同鏈路的幀以交錯方式傳輸。關(guān)于具有多于兩個輸出端口的實(shí)施方式，注意到，對于圖4c和4d的方法的任一個，具有其自身的圖像類型、幀尺寸和/或幀率的第三、第四等輸出流可在其自身的相應(yīng)(第三、第四等)輸出端口上產(chǎn)生并傳輸。在圖4d的方法中，每個附加流可在該輸出端口的幀之間引入附加時間。

如剛在上文進(jìn)行的4a和4b的配置之間的比較一樣，圖4c和4d的配置的任一個的使用可以基于系統(tǒng)設(shè)計、系統(tǒng)條件、系統(tǒng)設(shè)定和/或圖像傳感器設(shè)計中的任一個。如果傳感器的內(nèi)部設(shè)計能夠同時地產(chǎn)生兩個不同類型的圖像數(shù)據(jù)，則圖4c的配置更容易實(shí)現(xiàn)。相對而言，如果傳感器的內(nèi)部設(shè)計僅能夠使交替地產(chǎn)生兩個不同類型的圖像數(shù)據(jù)，則圖4d的配置更容易實(shí)現(xiàn)。因為圖4c和4d的配置二者使用了相同的幀率，因此兩個配置的第一和第二鏈路易于使用相同的時鐘頻率。再者，時鐘可在內(nèi)部產(chǎn)生或者由主機(jī)提供。

在各個實(shí)施例中，單個傳感器可支持如上所述的在圖4a到4d中的配置中的任一個或多個的操作。任何這樣的傳感器可另外支持圖2a和2b中的任一個或兩者的現(xiàn)有技術(shù)配置(例如作為“傳統(tǒng)模式”選擇)。

關(guān)于具有多于兩個輸出端口的實(shí)施方式的另一說明涉及這一事實(shí)——以上參考圖4a到4d概述的方法的任何組合可由單個圖像傳感器實(shí)現(xiàn)。例如，具有四個輸出端口的圖像傳感器可被配置為具有按照上文關(guān)于圖4b所述操作的第一對輸出端口，以及按照上文關(guān)于圖4d操作的第二對輸出端口。

圖5a到5c示出用于具有多個輸出端口513_1、513_2...513_N的圖像傳感器500的各種設(shè)計實(shí)施例，其中，每個輸出端口能夠被分開地配置為傳輸其自身的特定的數(shù)據(jù)流。圖5a到5c的每個實(shí)施例示出分開的數(shù)據(jù)路徑，其從像素陣列501發(fā)出以允許——例如具有不同類型的像素(例如RGB、自動聚焦和飛行時間)的像素陣列設(shè)計為提供彼此分開檢測的信號。如下文所述的，來自于像素陣列的分開的通道分別提供用于第一、第二(直到第N)輸出端口的第一、第二(直到第N)流。

可以存在這樣的替代實(shí)施例，其中具有來自于像素陣列501的單一信息流，其用于供給至不止一個的輸出端口(例如，當(dāng)?shù)诙魇堑谝涣鞯淖蛹瘯r，或第一和第二流交替地傳輸同一流的不同幀段時)，現(xiàn)將說明這樣的實(shí)施方式。

圖5a到5c的每個實(shí)施例還包括模數(shù)轉(zhuǎn)換(ADC)電路502。ADC電路負(fù)責(zé)將從像素陣列中的像素產(chǎn)生的模擬信號轉(zhuǎn)換為多數(shù)位數(shù)字像素值。如在下面將更詳細(xì)論述的，一些傳感器實(shí)施例可結(jié)合來自于像素陣列的不同類型的流來對ADC電路進(jìn)行分區(qū)，而其他的傳感器實(shí)施例不可以對ADC電路分區(qū)。用于處理特定類型(例如，RGB、IR、Z)的流的寬范圍的ADC構(gòu)架粒度(granularity)也是可能的。一些可能的ADC構(gòu)架顆粒度是:每一像素陣列一個ADC，像素陣列的每一組列一個ADC，像素陣列的每一列一個ADC，每一像素群一個ADC、以及每一像素一個ADC。較小的粒度(每個ADC更少的像素)對應(yīng)于用于更多并行/并發(fā)的ADC活動的更大的構(gòu)架潛力以及相應(yīng)地更大的幀和/或更快的幀率。

圖5a到5c的每個實(shí)施例還包括定時和控制電路503。定時和控制電路503負(fù)責(zé)為傳感器500內(nèi)的像素陣列501、ADC電路502、輸出端口513_1、513_2、...513_N及沿著用于所述流的數(shù)據(jù)通路的其他電路中的一個或多個提供適當(dāng)?shù)亩〞r和控制信號。圖5a到5c還示出模擬信號預(yù)處理電路551(在ADC電路502“之前”)的可選擇的包括，以及數(shù)字信號處理電路552(在ADC電路502“之后”)的可選擇的包括。模擬信號預(yù)處理電路551執(zhí)行在像素陣列501和ADC 502之間的一個或多個各種低電平(例如模擬信號)的處理任務(wù)(例如相關(guān)的二次取樣、放大、合并、黑電平控制等)。數(shù)字信號處理電路552對數(shù)字ADC的輸出值執(zhí)行一個或多個各種數(shù)字信號處理任務(wù)(例如壞像素替換、飛行時間信號處理、白平衡、濾波等)。

如下面將更詳細(xì)地描述的，像素陣列501產(chǎn)生不同類型的圖像信號的定時、ADC電路502將不同的圖像信號轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)的定時、以及數(shù)字?jǐn)?shù)據(jù)從其對應(yīng)的輸出端口傳輸?shù)亩〞r和成幀結(jié)構(gòu)可從實(shí)施例到實(shí)施例而變化，并且易于至少部分地基于輸出端口513_1、513_2已經(jīng)被配置提供的圖像數(shù)據(jù)流的特征。定時和控制回路503還產(chǎn)生同步信號，例如空白域(blank fields)、幀有效信號或者其他類型的輸出信號，接收側(cè)使用該輸出信號來理解數(shù)字像素正在根據(jù)其進(jìn)行格式化的成幀結(jié)構(gòu)。

圖5a到5c的每個實(shí)施例還可包括配置寄存器空間506。特別地，可以存在專用于輸出端口513_1、513_2...513_N中的每個的分開的配置寄存器空間506_1、506_2...506_N。因而，輸出端口513_1、513_2...513_N中的每個可以被分開地配置，例如，針對不同的幀尺寸和/或不同的幀率。其他可能的配置選擇在下面被更詳細(xì)地論述。配置寄存器空間506_1、506_2...506_N聯(lián)接到定時和控制電路503，以使得定時和控制電路503可以結(jié)合輸出端口被配置的方式而實(shí)現(xiàn)從像素陣列501到輸出端口513_1、513_2...513_N的數(shù)據(jù)的正確定時和結(jié)構(gòu)。

圖5a示出第一傳感器實(shí)施例，其中，從像素陣列501a發(fā)出的不同類型的圖像信號(例如，RGB和Z)被復(fù)用到ADC電路502a中。ADC電路502a內(nèi)的單個的ADC單元因此將兩種類型的模擬信號轉(zhuǎn)換成數(shù)字形式。在此，像素陣列501a被假定為交替地提供第一類型的圖像和第二類型的圖像。

在執(zhí)行了模擬數(shù)字轉(zhuǎn)換之后，用于兩種類型的圖像的數(shù)字像素值被多路傳輸?shù)秸_的輸出端口。例如，如果視覺圖像(visible image)將從第一端口513_1a流出，并且深度圖像將從第二端口513_2a流出，那么來自于ADC電路502a的數(shù)字RGB像素被多路傳輸?shù)降谝欢丝?13_1a，并且來自于ADC的數(shù)字Z像素被多路傳輸?shù)降诙丝?13_2a。不同的圖像類型復(fù)用到ADC電路502a中以及ADC單元在轉(zhuǎn)換RGB信號和轉(zhuǎn)換Z信號之間的交替使得圖5a的設(shè)計自然地支持圖4b和4d的實(shí)施例中的任一個，其中，幀從不同端口被交替地傳輸。圖5a的實(shí)施例可包括沿著數(shù)據(jù)通路以臨時使數(shù)據(jù)排隊(例如為了格式化的目的)的緩沖器(未示出)。

圖5b示出增強(qiáng)的圖5a的電路，其被增強(qiáng)以包括存儲緩沖器508、509...510以支持如在圖4a和4c中的任一個所示出的幀的同時傳輸。在此，例如，通過對像素陣列501b和ADC電路502b提供足夠快速的時鐘，以便以等于或大于其相應(yīng)的端口的幀率的速率將所述幀或幀的部分載入到緩沖器508的每個中，端口513_1b，513_2b...513_Nb可同時地傳輸所述幀。另外，圖5b的實(shí)施例可包括相應(yīng)的旁路路徑(未示出)，其繞過緩沖器508、509...510中的每一個，以使得當(dāng)啟用旁路路徑時，圖5b的輸出端口中的任一個像圖5a的實(shí)施例那樣操作。根據(jù)該方法，圖5b的電路能夠支持圖4a到4d中所示出的所有四個方案。

圖5c示出另一種傳感器設(shè)計，其中，ADC電路502c在邏輯上進(jìn)行分區(qū)，以使得某些ADC單元轉(zhuǎn)換第一類型的圖像信號，而其它的ADC單元轉(zhuǎn)換第二類型的圖像信號。經(jīng)分區(qū)的ADC電路502c例如可通過將比圖5a和5b的設(shè)計中的任一個更多的ADC單元結(jié)合到傳感器中而得以實(shí)現(xiàn)。通過圖5c的設(shè)計，如果像素陣列501c能夠同時地檢測并產(chǎn)生用于不同圖像的模擬信號，那么如關(guān)于圖4a和4b觀察到的幀的同時傳輸自然地發(fā)生。如在圖4b和4c中所示出的交替的幀傳輸可以通過控制像素陣列以產(chǎn)生如在兩種類型的圖像之間交替的交替形式的圖像信號而得以實(shí)現(xiàn)，或者，如果像素陣列同時提供所述不同類型的圖像數(shù)據(jù)，那么緩沖器可被用在任何數(shù)據(jù)通路上，以針對其圖像類型保持ADC的輸出，以使其可在其它(多個)類型的圖像已經(jīng)傳輸之后被傳輸。

相應(yīng)地指出，由于圖5a、5b和5c的圖像傳感器構(gòu)架示出了N個輸出端口，因此理解到，在輸出端口的接收側(cè)上理想地存在N個相應(yīng)的圖像信號處理器。那些圖像信號處理器中的一些可例如通過使用數(shù)據(jù)復(fù)用器而與在該系統(tǒng)中提供的其他相機(jī)一起使用。

相應(yīng)地指出，用于特定輸出端口的寄存器控制空間可接受配置信息用于若干不同圖像傳感技術(shù)和格式，并且，定時和控制電路可被相應(yīng)地設(shè)計成支持該若干不同圖像傳感技術(shù)和格式。一些示例包括設(shè)定幀尺寸、設(shè)定幀率、設(shè)定具體曝光時間(其建立像素要被啟用多久來感測入射光)、設(shè)定具體窗口位置(其限定實(shí)際上用于圖像產(chǎn)生的一組像素的中心)、設(shè)定具體窗口尺寸(其建立在其內(nèi)獲得圖像的傳感器表面上的像素的周界)、設(shè)定快照/靜止幀模式(其對應(yīng)于拍攝單張照片而不是圖像的連續(xù)流)或串流模式、設(shè)定預(yù)覽采集模式(其通常是低分辨率模式，通常具有在相機(jī)透鏡的不同聚焦位置處的交錯的幀，以便例如允許用戶在拍照之前快速地確定“拉近”或“拉遠(yuǎn)”的合適量)、設(shè)定跳讀模式(skipping mode)(其通過僅從例如像素陣列內(nèi)的每隔一行讀取像素來降低圖像的分辨率)、設(shè)定合并模式(binning mode)(其通過將多于一個像素的讀數(shù)結(jié)合為單個的像素值來降低圖像的分辨率)、設(shè)定像素深度(用來數(shù)字地表示像素值的數(shù)位的數(shù)目)。針對一個端口的、針對這些參數(shù)中的任一個的設(shè)定對于針對另一個端口、針對這些參數(shù)的任一個的可用設(shè)定的影響程度是設(shè)計選擇的問題，其取決于定時和控制電路希望有多精細(xì)/復(fù)雜。

還相應(yīng)地指出，雖然以上論述的視覺圖像像素已經(jīng)被描述為RGB像素(紅色-綠色-藍(lán)色)，但是其它實(shí)施例可使用各種空間布置中的不同的顏色像素方案(例如青色-品紅-黃色，或全色的)。

圖6示出可由如上所述的圖像傳感器以及其集成到其中的系統(tǒng)執(zhí)行的方法。如在圖6中觀察到的，傳感器接受用于第一圖像類型的第一圖像端口的配置信息601。傳感器還接受用于圖像傳感器的第二圖像類型的第二圖像端口的配置信息602，其中，第一圖像類型和第二圖像類型是不同的。傳感器從像素陣列產(chǎn)生多個模擬信號，并將該模擬信號轉(zhuǎn)換成數(shù)字像素值603。傳感器還從傳感器的第一輸出端口傳輸某些數(shù)字像素值，并且從傳感器的第二輸出端口傳輸其他數(shù)字像素值604。

圖7示出示例性計算系統(tǒng)700的圖示，其例如個人計算系統(tǒng)(例如桌上型電腦或膝上型電腦)或移動或手持式計算系統(tǒng)(例如平板裝置或智能手機(jī))。如在圖7中觀察到的，基本的計算系統(tǒng)可包括設(shè)置在應(yīng)用處理器或多核處理器750上的中央處理單元701(其可例如包括例如多個通用處理核)和主內(nèi)存控制器717、系統(tǒng)內(nèi)存702、顯示器703(例如觸摸屏、LCD、OLED)、本地有線點(diǎn)到點(diǎn)鏈路(例如USB)接口704、各種網(wǎng)絡(luò)I/O功能元件705(例如以太網(wǎng)接口和/或蜂窩式調(diào)制解調(diào)器子系統(tǒng))、無線局域網(wǎng)(例如WiFi)接口706，無線點(diǎn)到點(diǎn)鏈路(例如藍(lán)牙)接口707和全球定位系統(tǒng)接口708、各種傳感器709_1到709_N、第一相機(jī)710_1和第二相機(jī)710_2、電池711、電力管理控制單元712、揚(yáng)聲器和麥克風(fēng)713以及音頻編碼器/解碼器714。

應(yīng)用處理器或多核處理器750可包括在它的CPU 701內(nèi)的一個或多個通用處理核715、一個或多個圖形處理單元716、主內(nèi)存控制器717、I/O控制功能元件718、和適當(dāng)數(shù)目的圖像信號處理器管線719。通用處理核715通常執(zhí)行計算系統(tǒng)操作系統(tǒng)和應(yīng)用軟件。圖形處理單元716通常執(zhí)行圖形密集功能，例如，以便產(chǎn)生提供在顯示器703上的圖形信息。內(nèi)存控制功能元件717與系統(tǒng)內(nèi)存702接口連接。圖像信號處理管線719從相機(jī)接收圖像信息，并處理原始圖象信息以用于后續(xù)使用。電力管理控制單元712通?？刂葡到y(tǒng)700的電力消耗。

觸摸屏顯示器703、通信接口704–707、GPS接口708、傳感器709、相機(jī)710和揚(yáng)聲器/耳機(jī)編碼器713、714中的每個都可看作關(guān)于整個計算系統(tǒng)的各種形式的I/O(輸入和/或輸出)，該計算系統(tǒng)還包括(在適合的情況下)集成外圍設(shè)備(例如一個或多個相機(jī)710)。取決于實(shí)施方式，這些I/O元件的各種元件可集成在應(yīng)用處理器/多核處理器750上，或可定位在晶片以外或在應(yīng)用處理器/多核處理器750的封裝體以外。

如在圖7中觀察到的，第一相機(jī)710_1包括具有至少兩個輸出端口的圖像傳感器761，以及第二相機(jī)710_2包括具有至少兩個輸出端口的圖像傳感器762。每個輸出端口分別地聯(lián)接到其自身的在應(yīng)用處理器內(nèi)的圖像信號處理管線766–769。該聯(lián)接可以是直接的或邏輯的。在直接聯(lián)接的情況下，輸出端口直接發(fā)送它們的相應(yīng)信息到圖像信號處理器。在“邏輯”聯(lián)接的情況下，聯(lián)接可更多是間接的。例如，每個輸出端口可引導(dǎo)它們的輸出流到系統(tǒng)內(nèi)存的區(qū)域(例如借助處理器通過直接內(nèi)存訪問(DMA))，以及它們的經(jīng)分配的圖像信號處理管線設(shè)置有來自于正確區(qū)域的圖像數(shù)據(jù)。

圖像信號處理管線766-769均可通過包括操作系統(tǒng)的固件的軟件和/或驅(qū)動程序軟件和/或固件的設(shè)備而配置有適當(dāng)?shù)募拇嫫骺臻g(例如，在應(yīng)用處理器內(nèi)用于圖像信號處理管線的，和在圖像傳感器內(nèi)用于所述輸出端口的)。

如此，本發(fā)明的實(shí)施例可以包括如上所述的各種過程。所述過程可以以機(jī)器可執(zhí)行指令體現(xiàn)。所述指令可以用于促使通用任務(wù)處理器或?qū)Ｓ萌蝿?wù)處理器執(zhí)行某些過程。替代地，這些過程可以通過包含用于執(zhí)行過程的硬連線邏輯的特定硬件部件執(zhí)行，或者通過由編程的計算機(jī)部件和定制的硬件部件的任何組合來執(zhí)行。

本發(fā)明的元件還可以被提供為用于存儲機(jī)器可執(zhí)行指令的機(jī)器可讀介質(zhì)。機(jī)器可讀介質(zhì)可以包括但不限于：軟盤、光盤、CD-ROM和磁光盤、FLASH內(nèi)存、ROM、RAM、EPROM、EEPROM、磁卡或光卡、傳播介質(zhì)或其他類型的適合于存儲電子指令的介質(zhì)/機(jī)器可讀介質(zhì)。例如，本發(fā)明可以作為計算機(jī)程序被下載，該計算機(jī)程序可以通過以載波或其他傳播介質(zhì)體現(xiàn)的數(shù)據(jù)信號經(jīng)由通信鏈路(例如調(diào)制解調(diào)器或網(wǎng)絡(luò)連接)從遠(yuǎn)程計算機(jī)(例如服務(wù)器)傳送到請求計算機(jī)(例如客戶端)。

在前述說明書中，已經(jīng)參照本發(fā)明的具體示例性實(shí)施例描述了本發(fā)明。然而，顯而易見的是，在不脫離如所附權(quán)利要求中闡述的本發(fā)明的更廣泛的精神和范圍的情況下，可以對其進(jìn)行各種修改和改變。因此，說明書和附圖被認(rèn)為是說明性的而非限制性的。