背景技術(shù)：

諸如數(shù)字相機(jī)之類(lèi)的數(shù)字圖像處理設(shè)備或者具有此類(lèi)相機(jī)的設(shè)備使用自動(dòng)特征來(lái)增加在數(shù)字相機(jī)上的預(yù)覽屏幕上的圖像、所記錄的圖片、和所記錄的視頻的質(zhì)量。這包括涉及自動(dòng)白平衡（awb）、自動(dòng)聚焦（af）和自動(dòng)曝光控制（aec）的3a特征。自動(dòng)聚焦是透鏡位置相對(duì)于圖像傳感器或其他圖像捕獲介質(zhì)的自動(dòng)調(diào)整以獲得銳利清晰的圖像。

透鏡的移動(dòng)是由相機(jī)致動(dòng)器或電動(dòng)機(jī)來(lái)控制的，該相機(jī)致動(dòng)器或電動(dòng)機(jī)將電流（在音圈電動(dòng)機(jī)（vcm）致動(dòng)器的情況下）轉(zhuǎn)換成運(yùn)動(dòng)。透鏡的位置與所施加的電流（以ma計(jì)）線(xiàn)性成比例。為了執(zhí)行計(jì)算以將透鏡放置在具體位置，必須確定應(yīng)該施加多少電流以將透鏡移動(dòng)到該位置。歸因于可以在相機(jī)設(shè)備和在相機(jī)內(nèi)托住并移動(dòng)透鏡的相機(jī)的部分的制造期間發(fā)生的制造容差和/或其他誤差，當(dāng)相機(jī)被放置在不同取向時(shí)，透鏡可相對(duì)于相機(jī)內(nèi)的傳感器并且歸因于重力或其他力而移位。這可能導(dǎo)致焦距以及主點(diǎn)（principalpoint）從用于校準(zhǔn)的焦距和主點(diǎn)的不期望的改變，從而降低所捕獲或記錄的圖像的質(zhì)量以及繼而為此類(lèi)目的而提供多個(gè)相機(jī)的設(shè)備上的3d深度檢測(cè)的準(zhǔn)確性。

附圖說(shuō)明

在附圖中通過(guò)示例的方式并且不通過(guò)限制的方式來(lái)圖示本文中所述的材料。為了圖示的簡(jiǎn)潔性和清楚性，圖中圖示的元件不一定按照比例來(lái)繪制。例如，為了清楚起見(jiàn)某些元件的尺寸可能相對(duì)于其他元件被放大。此外，在適當(dāng)考慮的情況下，參考標(biāo)記已經(jīng)在各圖之間被重復(fù)以指示對(duì)應(yīng)或相似的元件。在圖中：

圖1是示出圖像捕獲設(shè)備上的透鏡的定位的示意圖；

圖2是示出多相機(jī)陣列的示意圖；

圖3是用于具有自動(dòng)聚焦的多相機(jī)陣列的透鏡校正過(guò)程的流程圖；

圖4是用于具有自動(dòng)聚焦的多相機(jī)陣列的透鏡校正過(guò)程的流程圖；

圖4a是用于具有自動(dòng)聚焦的多相機(jī)陣列的透鏡校正過(guò)程的詳細(xì)流程圖；

圖5是示出在透鏡校正過(guò)程中的多個(gè)經(jīng)糾正的（rectified）圖像的使用的示意圖；

圖6是在透鏡移位校正之前的圖像的灰度視差圖；

圖7是在透鏡移位校正之后的圖6的圖像的灰度視差圖；

圖8是在圖6-7中使用的圖像；

圖9是在透鏡移位校正之前的圖像的灰度視差圖；

圖10是在透鏡移位校正之后的圖9的圖像的灰度視差圖；

圖11是在圖9-10中使用的圖像；

圖12是在透鏡移位校正之前的對(duì)于原始和縮放圖片中的對(duì)象的縮放準(zhǔn)確度的比較；

圖13是在透鏡移位校正之后的對(duì)于原始和縮放圖片中的對(duì)象的縮放準(zhǔn)確度的比較；

圖14是在透鏡移位校正之前的圖像的另一灰度視差圖；

圖15是在透鏡移位校正之后的圖14的圖像的灰度視差圖；

圖16是示出在透鏡移位校正之前的圖片中的對(duì)象的縮放的圖片；

圖17是示出在透鏡移位校正之后的圖片中的對(duì)象的縮放的圖片；

圖18是示例系統(tǒng)的說(shuō)明性示圖；

圖19是另一示例系統(tǒng)的說(shuō)明性示圖；

圖20圖示全部根據(jù)本公開(kāi)的至少一些實(shí)施方式而布置的另一示例設(shè)備；以及

圖21是根據(jù)本文中實(shí)施方式中的至少一個(gè)且處于操作中的透鏡移位校正的方法的示圖。

具體實(shí)施方式

現(xiàn)在參考隨附的圖來(lái)描述一個(gè)或多個(gè)實(shí)施方式。盡管討論了具體配置和布置，但是應(yīng)該理解僅為了說(shuō)明性目的來(lái)執(zhí)行這點(diǎn)。相關(guān)領(lǐng)域的技術(shù)人員將會(huì)認(rèn)識(shí)到可在不偏離描述的精神和范圍的情況下采用其他配置和布置。對(duì)相關(guān)領(lǐng)域的技術(shù)人員來(lái)說(shuō)將明顯的是，還可在除了本文中所述的之外的各種其他系統(tǒng)和應(yīng)用中采用本文中描述的技術(shù)和/或布置。

盡管下面的描述闡述了例如可在諸如片上系統(tǒng)（soc）架構(gòu)之類(lèi)的架構(gòu)中表明的各種實(shí)施方式，但是本文中所述的技術(shù)和/或布置的實(shí)施方式不限于特定架構(gòu)和/或計(jì)算系統(tǒng)，并且可通過(guò)為了類(lèi)似目的的任何架構(gòu)和/或計(jì)算系統(tǒng)來(lái)實(shí)施。例如，采用例如多個(gè)集成電路（ic）芯片和/或封裝、以及/或者各種計(jì)算設(shè)備和/或消費(fèi)電子（ce）設(shè)備（諸如成像設(shè)備、數(shù)字相機(jī)、智能電話(huà)、網(wǎng)絡(luò)相機(jī)、視頻游戲面板或控制臺(tái)、機(jī)頂盒、具有多個(gè)相機(jī)的平板電腦或膝上型電腦等等）的各種架構(gòu)可實(shí)施本文中所述的技術(shù)和/或布置。此外，盡管下面的描述可闡述眾多具體細(xì)節(jié)，諸如系統(tǒng)組件的邏輯實(shí)施方式、類(lèi)型和相互關(guān)系、邏輯劃分/集成選擇等等，但是可在沒(méi)有此類(lèi)具體細(xì)節(jié)的情況下實(shí)踐所要求的主題。在其他實(shí)例中，可能未詳細(xì)示出諸如例如控制結(jié)構(gòu)和全軟件指令序列之類(lèi)的一些材料以便不模糊本文中公開(kāi)的材料?？梢砸杂布?、固件、軟件或其任何組合來(lái)實(shí)施本文中公開(kāi)的材料。

本文中公開(kāi)的材料還可被實(shí)施為計(jì)算機(jī)可讀介質(zhì)或存儲(chǔ)器上存儲(chǔ)的指令，所述指令可由一個(gè)或多個(gè)處理器讀取和執(zhí)行。機(jī)器可讀介質(zhì)可包括用于存儲(chǔ)或傳輸以由機(jī)器（例如計(jì)算設(shè)備）可讀的形式的信息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀介質(zhì)可包括只讀存儲(chǔ)器（rom）；隨機(jī)存取存儲(chǔ)器（ram）；磁盤(pán)存儲(chǔ)介質(zhì)；光存儲(chǔ)介質(zhì)；閃速存儲(chǔ)器設(shè)備；電、光、聲或其他形式的傳播信號(hào)（例如載波、紅外信號(hào)、數(shù)字信號(hào)、等等）；以及其他。以另一形式，非瞬時(shí)物品（諸如非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)）可與上面提到的任何示例或其他示例一起使用，除了它不包括瞬時(shí)信號(hào)本身之外。它確實(shí)包括除了信號(hào)本身之外的那些元件，其以“瞬時(shí)”方式臨時(shí)保持?jǐn)?shù)據(jù)，諸如ram等等。

在說(shuō)明書(shū)中對(duì)“一個(gè)實(shí)施方式”、“實(shí)施方式”、“示例實(shí)施方式”等等的參考指示所述實(shí)施方式可包括特定特征、結(jié)構(gòu)或特性，但是每個(gè)實(shí)施方式可能不一定包括該特定特征、結(jié)構(gòu)或特性。此外，此類(lèi)短語(yǔ)不一定指代相同實(shí)施方式。進(jìn)一步地，當(dāng)結(jié)合實(shí)施方式來(lái)描述特定特征、結(jié)構(gòu)或特性時(shí)，主張結(jié)合其他實(shí)施方式來(lái)實(shí)施此類(lèi)特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的知識(shí)內(nèi)，不管在本文中是否被明確描述。

系統(tǒng)、物品和方法用來(lái)提供用于相機(jī)陣列的透鏡移位校正。

如上面提到的，許多數(shù)字相機(jī)和具有此類(lèi)相機(jī)的設(shè)備提供自動(dòng)控制特征，諸如包括自動(dòng)聚焦（af）、自動(dòng)曝光控制（aec）和自動(dòng)白平衡（awb）的3a特征。本文相關(guān)的，自動(dòng)聚焦（af）使用校準(zhǔn)算法來(lái)確定在某些電流水平處透鏡的位置，以使得可以通過(guò)施加對(duì)應(yīng)電流來(lái)將透鏡驅(qū)動(dòng)到期望位置?？赏ㄟ^(guò)多相機(jī)設(shè)備（諸如平板電腦或智能電話(huà)或包括基于vcm（音圈電動(dòng)機(jī)）的自動(dòng)聚焦機(jī)制的其他圖像捕獲設(shè)備）來(lái)提供此類(lèi)特征。此類(lèi)設(shè)備可具有混合相機(jī)陣列，其中相機(jī)模塊不需要是相同的。在一些示例中，至少一個(gè)相機(jī)可具有自動(dòng)聚焦，而至少兩個(gè)其他相機(jī)具有固定焦點(diǎn)（focus）。

這些陣列的一個(gè)應(yīng)用是獲得深度數(shù)據(jù)。這可包括例如定義3d空間并使用來(lái)自提供相同真實(shí)場(chǎng)景的不同視點(diǎn)的多個(gè)相機(jī)的信息來(lái)在空間中準(zhǔn)確地定位圖片中的對(duì)象。這通過(guò)在生產(chǎn)期間校準(zhǔn)相機(jī)陣列（工廠(chǎng)校準(zhǔn)）來(lái)完成，其是估計(jì)每個(gè)相機(jī)的固有參數(shù)（焦距、主點(diǎn)、幾何失真等等）以及非固有參數(shù)（相對(duì)3d旋轉(zhuǎn)和平移等等）的過(guò)程。該校準(zhǔn)允許產(chǎn)生所謂的經(jīng)糾正的圖像，其中可以使用1d（單維）掃描線(xiàn)搜索來(lái)計(jì)算失真，其中與例如在視頻編解碼器中使用的更一般的2d搜索相對(duì)，匹配兩個(gè)圖像上的兩個(gè)對(duì)應(yīng)點(diǎn)的線(xiàn)與由兩個(gè)經(jīng)糾正的圖像形成的真實(shí)極線(xiàn)（epipolarline）平行。利用所估計(jì)的視差和校準(zhǔn)參數(shù)，該系統(tǒng)可以針對(duì)圖像的每個(gè)像素計(jì)算3d點(diǎn)，這允許許多不同應(yīng)用，包括3d測(cè)量。

如本文所使用的，真實(shí)極線(xiàn)被稱(chēng)為沿著兩個(gè)相機(jī)的從相機(jī)至相機(jī)中心的線(xiàn)存在或存在于該線(xiàn)上。因此，對(duì)于放置在公共面中的經(jīng)糾正的圖像，用連結(jié)相機(jī)中心的線(xiàn)來(lái)表示真實(shí)極線(xiàn)。進(jìn)一步地，使對(duì)應(yīng)特征點(diǎn)匹配的線(xiàn)應(yīng)該與真實(shí)極線(xiàn)平行。因此，代替陳述平行于真實(shí)極線(xiàn)的線(xiàn)，這些匹配線(xiàn)可被稱(chēng)為局部或匹配極線(xiàn)或僅僅極線(xiàn)。因此，本文中對(duì)極線(xiàn)的任何提及可以是真實(shí)極線(xiàn)或局部極線(xiàn)，這取決于上下文。而且，在本文中特征點(diǎn)被可互換地稱(chēng)為關(guān)鍵點(diǎn)。

參考圖1，提供圖像捕獲（或成像）設(shè)備10，諸如包括移動(dòng)相機(jī)的相機(jī)，諸如專(zhuān)用數(shù)字相機(jī)、安裝在智能手機(jī)或平板電腦上的相機(jī)以及具有自動(dòng)聚焦特征以使得透鏡或傳感器移動(dòng)的許多其他類(lèi)型的相機(jī)。圖像捕獲設(shè)備10可以被視為光學(xué)系統(tǒng)，所述光學(xué)系統(tǒng)具有移動(dòng)透鏡12以及由傳感器16形成的成像平面14。該透鏡12被安裝在傳感器16附近的透鏡致動(dòng)器18上。透鏡12捕獲來(lái)自距透鏡的距離為s1的感興趣的對(duì)象20的光，并且使它聚焦在傳感器16上。當(dāng)對(duì)象被聚焦到“無(wú)窮遠(yuǎn)”時(shí)從成像平面14到透鏡12的距離被稱(chēng)為焦距或者焦距離（f），并且按照慣例以毫米來(lái)指定。當(dāng)透鏡被無(wú)意地移位至位置12a（并且被聚焦至無(wú)限遠(yuǎn)而不是對(duì)象20，如所示的）而不是有意地利用音圈電動(dòng)機(jī)將透鏡移動(dòng)至該位置時(shí)，該運(yùn)動(dòng)將焦距改變?yōu)閟2，而同時(shí)3d檢測(cè)計(jì)算可能仍基于焦距（f）。

更具體地，當(dāng)校準(zhǔn)混合陣列時(shí)，透鏡被設(shè)置到由焦點(diǎn)寄存器中的一個(gè)具體值給出的特定位置。在深度模式中，透鏡被設(shè)置到相同位置。然而，例如當(dāng)諸如平板電腦上的相機(jī)處于不同于在校準(zhǔn)期間所使用的取向的取向時(shí)重力會(huì)推和拉透鏡，這促使透鏡如圖1中所示在改變有效焦距（f）的光軸的方向上移位。對(duì)于vcm的另一影響是透鏡還可以平行于傳感器平面移位（在圖1中在紙面向外或者在紙上向上和向下），這同樣歸因于取決于模塊取向的不同拉/推重力。因此，根據(jù)模塊的取向使透鏡在3d中有效地移位（平行于且正交于傳感器平面），從而將透鏡帶到在其中焦距和主點(diǎn)不再對(duì)應(yīng)于在校準(zhǔn)期間估計(jì)的焦距和主點(diǎn)的非校準(zhǔn)狀態(tài)。主點(diǎn)是通過(guò)將光軸從傳感器或相機(jī)的中心投影至圖像而在圖像上形成的點(diǎn)。通過(guò)一個(gè)示例，對(duì)于焦距該變化可以如30個(gè)像素一樣大，并且對(duì)于主點(diǎn)是5個(gè)像素，盡管對(duì)于其他自動(dòng)聚焦透鏡它可能不同。

這里提議來(lái)解決這些問(wèn)題的解決方案針對(duì)從具有其他固定焦點(diǎn)相機(jī)的相機(jī)陣列的自動(dòng)聚焦相機(jī)獲取的每個(gè)或單獨(dú)的圖片自動(dòng)估計(jì)經(jīng)糾正的圖像的2d位移以及尺度。在本文中，沿著z或光軸補(bǔ)償移位將被稱(chēng)為尺度校正，并且平行于傳感器的移位將被稱(chēng)為2d位移或簡(jiǎn)單地位移校正。自動(dòng)聚焦模塊可使用位移和尺度參數(shù)來(lái)將透鏡位置重新校準(zhǔn)至適當(dāng)校準(zhǔn)的狀態(tài)，以使得下一步驟（視差估計(jì)、3d測(cè)量等等）不會(huì)遭受歸因于透鏡移位的不準(zhǔn)確校準(zhǔn)。

基本上，假設(shè)非自動(dòng)聚焦相機(jī)不物理上移動(dòng)，并且僅有的影響是相機(jī)之一（具有自動(dòng)聚焦的一個(gè)）遭受透鏡相對(duì)于傳感器的潛在3d平移，從而影響焦距和主點(diǎn)。因此，假設(shè)來(lái)自其他非自動(dòng)聚焦相機(jī)的圖像以及極線(xiàn)不需要被調(diào)整且保持被適當(dāng)校準(zhǔn)。因此，一個(gè)原則是針對(duì)來(lái)自自動(dòng)聚焦模塊的經(jīng)糾正的圖像而估計(jì)尺度因子和2d平移或位移，而不是調(diào)整來(lái)自固定相機(jī)的圖像以最小化匹配的關(guān)鍵點(diǎn)集合的糾正誤差。

參考圖2，通過(guò)可被用于本文的透鏡移位校正方法的一個(gè)示例布置，多相機(jī)設(shè)備200具有兩個(gè)720p（其指代垂直線(xiàn)視頻顯示分辨率）固定焦點(diǎn)相機(jī)0和1，以及具有由vcm驅(qū)動(dòng)的自動(dòng)聚焦透鏡的一個(gè)8mp相機(jī)。在設(shè)備200上形成相機(jī)0-2的塊還表示圖像的相對(duì)位置和取向，以及由那些相應(yīng)相機(jī)形成的相機(jī)傳感器表面。相機(jī)0和1被示為在距相機(jī)2相同的距離處但是以如由相機(jī)0和1的中心坐標(biāo)指示的相同和相對(duì)角度處。然而，假如存在具有導(dǎo)致不穩(wěn)定透鏡的自動(dòng)聚焦的至少一個(gè)相機(jī)（并且通過(guò)一種方式，對(duì)于三個(gè)相機(jī)、僅一個(gè)自動(dòng)聚焦相機(jī)），并且存在與自動(dòng)聚焦相機(jī)不共線(xiàn)的至少兩個(gè)或更多非自動(dòng)聚焦（固定焦點(diǎn)）相機(jī)，本文中公開(kāi)的系統(tǒng)和方法將可適用于其他相機(jī)陣列。在這里，如圖2中所示自動(dòng)聚焦相機(jī)（相機(jī)2）被布置在v形中的點(diǎn)上。而且，對(duì)于本文中的過(guò)程，x和y（或位移）方向被示為相對(duì)于相機(jī)和相機(jī)傳感器表面平行，并且因此相對(duì)于由那些相機(jī)形成的圖像平行，同時(shí)方向z（或尺度）垂直于相機(jī)傳感器表面和圖像（或在紙中和紙外）。

一個(gè)其他假設(shè)是720p相機(jī)0和1被良好校準(zhǔn)，并且8mp相機(jī)2非固有性不改變。假設(shè)僅有的改變歸因于由于vcm的不穩(wěn)定性而引起的8mp相機(jī)中的3d中的透鏡移位，其包括造成不同于在校準(zhǔn)時(shí)的焦距的沿著光軸（z）的尺度移位，以及平行于傳感器平面（xy）的位移移位，其造成主點(diǎn)關(guān)于校準(zhǔn)時(shí)的主點(diǎn)的位移或平移。

參考圖3，提供用于相機(jī)陣列的透鏡移位校正的方法的過(guò)程300。在所圖示的實(shí)施方式中，過(guò)程300可包括以偶數(shù)編號(hào)的一個(gè)或多個(gè)操作、功能或動(dòng)作302-306。通過(guò)非限制示例的方式，可在本文中相應(yīng)地且在相關(guān)的情況下參考圖1、2和18的示例圖像捕獲設(shè)備10、200和1800來(lái)描述過(guò)程300。

過(guò)程300可包括“獲得多個(gè)相機(jī)的圖像數(shù)據(jù)，其中該相機(jī)中的至少一個(gè)要執(zhí)行自動(dòng)聚焦”302。圖像數(shù)據(jù)可從諸如平板電腦之類(lèi)的設(shè)備上的單個(gè)相機(jī)陣列獲得，或者可從多個(gè)設(shè)備上的多個(gè)相機(jī)獲得，其中相機(jī)的精確位置是已知的。圖像數(shù)據(jù)還可以是經(jīng)預(yù)處理且經(jīng)糾正的圖像數(shù)據(jù)，如下面解釋的。還如本文中提到的，相機(jī)陣列應(yīng)該具有至少一個(gè)自動(dòng)聚焦相機(jī)，和至少兩個(gè)固定焦點(diǎn)相機(jī)。

過(guò)程300還可包括“確定移位參數(shù)以使自動(dòng)聚焦相機(jī)的單獨(dú)的圖像的錯(cuò)位點(diǎn)的位置移位并且校正通過(guò)使用多個(gè)相機(jī)的非自動(dòng)聚焦相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)確定的位置”304，并且具體地以確定需要應(yīng)用于由自動(dòng)聚焦相機(jī)提供的圖像的校正。換言之，尺度和位移參數(shù)指示應(yīng)用于形成自動(dòng)聚焦相機(jī)的圖像像素?cái)?shù)據(jù)坐標(biāo)和經(jīng)適當(dāng)校準(zhǔn)的位置的位置校正，就像通過(guò)使用利用適當(dāng)校準(zhǔn)指示的焦距、主點(diǎn)或這二者來(lái)放置圖像像素?cái)?shù)據(jù)一樣。本文中的短語(yǔ)錯(cuò)位點(diǎn)僅僅指代基于自動(dòng)聚焦的相機(jī)的圖像上的點(diǎn)以區(qū)分這些點(diǎn)與基于固定焦點(diǎn)的圖像上的對(duì)應(yīng)匹配點(diǎn)。因?yàn)橥ㄟ^(guò)一種形式將參數(shù)應(yīng)用于基于自動(dòng)聚焦的圖像上的所有點(diǎn)，所以該所有點(diǎn)可被視為被錯(cuò)位，不管該點(diǎn)實(shí)際上是否被錯(cuò)位。

過(guò)程300可包括“通過(guò)使用參數(shù)來(lái)扭曲來(lái)自自動(dòng)聚焦相機(jī)的圖像以修改自動(dòng)聚焦相機(jī)的圖像上的錯(cuò)位點(diǎn)的位置”306。如下面所解釋的，可針對(duì)來(lái)自相機(jī)陣列的每組圖像針對(duì)自動(dòng)聚焦相機(jī)的每個(gè)或多個(gè)圖像確定位置。

參考圖4，提供用于相機(jī)陣列的透鏡移位校正的方法的示例過(guò)程400，并且圖4是該方法的框圖。在所圖示的實(shí)施方式中，過(guò)程400可包括如通過(guò)以偶數(shù)編號(hào)的操作402至416中的一個(gè)或多個(gè)所圖示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制示例的方式，可在本文中相應(yīng)地且在相關(guān)的情況下參考圖1、2和18的示例圖像捕獲設(shè)備10、200和1800來(lái)描述過(guò)程400。

過(guò)程400可包括獲得原始圖像（被示為0到2）。圖像2被示為具有相對(duì)于其他圖像的放大尺寸以表示圖像2是高分辨率圖像。過(guò)程400然后可包括糾正404，其產(chǎn)生經(jīng)糾正的圖像406并包括來(lái)自高分辨率圖像2的一個(gè)。根據(jù)陣列的當(dāng)前校準(zhǔn)來(lái)糾正原始圖像。糾正將圖像變換到公共面中以使得圖像可被并排放置以簡(jiǎn)化特征匹配。

過(guò)程400然后可包括“關(guān)鍵點(diǎn)提取和匹配”408。在該操作中，關(guān)鍵點(diǎn)被提取，并且基于固定焦點(diǎn)的圖像上的對(duì)應(yīng)點(diǎn)與基于自動(dòng)聚焦的圖像上的錯(cuò)位點(diǎn)相匹配。關(guān)鍵點(diǎn)還可被適當(dāng)?shù)剡^(guò)濾以消除對(duì)于該操作的錯(cuò)誤匹配?？梢允紫韧ㄟ^(guò)快速視網(wǎng)膜關(guān)鍵點(diǎn)（freak）、二進(jìn)制魯棒不變可縮放關(guān)鍵點(diǎn)（brisk）、尺度不變特征變換（sift）、加速魯棒特征（surf）或其他這樣的檢測(cè)程序來(lái)檢測(cè)關(guān)鍵點(diǎn)。

然后為了從圖像到圖像地匹配關(guān)鍵點(diǎn)，典型地通過(guò)匹配描述符（可以包括例如點(diǎn)的梯度、灰度、和/或rgb顏色值）的技術(shù)來(lái)匹配以及通過(guò)將一個(gè)圖像上的每個(gè)點(diǎn)與另一圖像上的每個(gè)點(diǎn)進(jìn)行比較來(lái)匹配關(guān)鍵點(diǎn)。然而，分片（tiled）匹配包括使類(lèi)似貼片位置中的關(guān)鍵點(diǎn)從圖像到圖像地匹配以使得不需要針對(duì)每個(gè)關(guān)鍵點(diǎn)來(lái)搜索整個(gè)圖像的應(yīng)用。具體地，搜索區(qū)域可被約束成一個(gè)圖像上的點(diǎn)的某些塊并且在要被匹配的另一圖像上的點(diǎn)的對(duì)應(yīng)位置附近，或者在從要被匹配的點(diǎn)至另一圖像的（局部）極線(xiàn)附近、或者這二者。用于匹配關(guān)鍵點(diǎn)的許多其他常規(guī)方法是可用的，諸如近似最近鄰搜索、二進(jìn)制搜索或蠻力一對(duì)一的匹配。

過(guò)程400然后可包括“（s，d）參數(shù)估計(jì)”410以針對(duì)單獨(dú)的圖像（并且在一個(gè)形式中，自動(dòng)聚焦相機(jī)的每個(gè)圖像）形成位移和尺度參數(shù)。不期望的透鏡移位的效果將對(duì)應(yīng)于來(lái)自相機(jī)2（8mp模塊）的原始未經(jīng)糾正的圖像的xy中的尺度因子和位移（或移位）?？梢酝ㄟ^(guò)影響來(lái)自相機(jī)2的經(jīng)糾正的圖像的xy中的尺度因子和位移來(lái)近似該效果，以使得該過(guò)程使用經(jīng)糾正的圖像來(lái)估計(jì)尺度因子和2d位移，如在圖4的方法的框圖中所示的并且如下面利用過(guò)程450（圖4a）更詳細(xì)解釋的。

一旦針對(duì)圖像確定了參數(shù)，然后過(guò)程400就可包括“針對(duì)所估計(jì)的位移和尺度而調(diào)整的hr糾正”412以通過(guò)將參數(shù)應(yīng)用于像素圖像數(shù)據(jù)來(lái)生成經(jīng)校正的高分辨率圖像2。類(lèi)似地，“位移和尺度”414也可被執(zhí)行以生成經(jīng)校正的非高分辨率圖像2。如上文提到的，位移指代平行于相機(jī)傳感器的2d校正。然后經(jīng)校正的、經(jīng)糾正的圖像416可以被用來(lái)執(zhí)行具有較高準(zhǔn)確度的特征匹配。

參考圖4a并以框圖形式提供用于相機(jī)陣列的透鏡移位校正的方法的過(guò)程450。在所圖示的實(shí)施方式中，過(guò)程400可包括如通過(guò)以偶數(shù)編號(hào)的操作452至468中的一個(gè)或多個(gè)所圖示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制示例的方式，可在本文中相應(yīng)地且在相關(guān)的情況下參考圖1、2和18的示例圖像捕獲設(shè)備10、20和1800來(lái)描述過(guò)程400。

過(guò)程450可包括“接收相同場(chǎng)景的以及具有至少一個(gè)自動(dòng)聚焦相機(jī)的相機(jī)陣列的多個(gè)圖像的非經(jīng)糾正的圖像數(shù)據(jù)”452。因此，圖像數(shù)據(jù)可來(lái)自于還沒(méi)有被糾正的原始圖像。不過(guò)，該圖像可以已經(jīng)接收預(yù)處理以使得圖像準(zhǔn)備好糾正。這可包括噪聲降低、像素線(xiàn)性化、陰影補(bǔ)償、分辨率降低、拜耳去馬賽克、暈影（vignette）消除、和/或3a相關(guān)操作（包括自動(dòng)白平衡（awb）、自動(dòng)聚焦（af）和/或其他自動(dòng)曝光（ae）等等）。這還可包括從自動(dòng)聚焦相機(jī)接收hr分辨率圖像（例如8mp）和從固定焦點(diǎn)相機(jī)接收非高分辨率圖像（例如720p）。

這還可包括接收?qǐng)D像集合或一系列圖像集合，其中每個(gè)集合都具有來(lái)自相機(jī)陣列的不同相機(jī)的圖像，其中圖像中的至少一個(gè)來(lái)自于自動(dòng)聚焦相機(jī)并且至少其他圖像來(lái)自于固定焦點(diǎn)相機(jī)。相機(jī)也以共線(xiàn)布置來(lái)布置以使得可以在三角測(cè)量類(lèi)型的算法中使用固定焦點(diǎn)相機(jī)來(lái)獲得基于自動(dòng)聚焦的圖像上的校正點(diǎn)位置，如本文中所解釋的。

過(guò)程400然后可包括“糾正圖像”454，并且如上文所解釋的。這導(dǎo)致所有三個(gè)圖像被變換到公共面以簡(jiǎn)化從圖像到圖像的特征點(diǎn)匹配。

過(guò)程400可包括“匹配關(guān)鍵點(diǎn)”456。該操作可包括檢測(cè)并提取關(guān)鍵點(diǎn)，并且然后跨圖像找到關(guān)鍵點(diǎn)匹配，如上面已經(jīng)解釋的。

參考圖5，并且考慮經(jīng)匹配的關(guān)鍵點(diǎn)集合，過(guò)程400然后可以“估計(jì)尺度和位移參數(shù)”458。具體地，該操作嘗試形成使糾正誤差最小化的參數(shù)。誤差方程可被插入超定（over-determined）線(xiàn)性系統(tǒng)中以使得可從該系統(tǒng)確定移位參數(shù)估計(jì)。對(duì)應(yīng)于相機(jī)陣列中的相機(jī)的布置（諸如設(shè)備200上的那個(gè)）的圖像500的布置可被用來(lái)解釋該過(guò)程，并且在非共線(xiàn)布置中具有三個(gè)經(jīng)糾正的圖像0、1和1（分別是502、504和506）。圖像2（506）僅為了解釋的目的而在圖5上被放大并且與圖像的實(shí)際大小無(wú)關(guān)。三個(gè)匹配點(diǎn)被示出為、、以及無(wú)意地移位的。對(duì)于的期望位置是在。經(jīng)匹配的特征點(diǎn)對(duì)中的每一個(gè)或許多在各圖像之間可具有它們自己的相似布置。

將要理解，相機(jī)的非共線(xiàn)布置以及繼而它們各自的圖像使得能夠通過(guò)使用三角測(cè)量類(lèi)型的方程來(lái)確定移位參數(shù)，因?yàn)闃O線(xiàn)（諸如圖5上的且來(lái)自于固定焦點(diǎn)相機(jī)的兩個(gè)圖像（在這里502和504）上的兩個(gè)點(diǎn)的e01和e02）被假設(shè)成正確的，并且這些兩條極線(xiàn)然后可以被用來(lái)在自動(dòng)聚焦相機(jī)的圖像506上形成經(jīng)校正的點(diǎn)，并且其對(duì)應(yīng)于圖像506上的錯(cuò)位點(diǎn)。細(xì)節(jié)如下。

參數(shù)估計(jì)操作可包括“獲得圖像的經(jīng)匹配的特征點(diǎn)數(shù)據(jù)”460。這可包括獲得針對(duì)基于自動(dòng)聚焦的圖像2上的錯(cuò)位關(guān)鍵點(diǎn)的圖像數(shù)據(jù)，以及在基于固定焦點(diǎn)圖像0和1上的其對(duì)應(yīng)匹配關(guān)鍵點(diǎn)。圖像數(shù)據(jù)可包括各點(diǎn)的坐標(biāo)。也就是說(shuō)，每個(gè)關(guān)鍵點(diǎn)都具有用于進(jìn)行匹配的描述符和圖像中的位置（x，y），其中通常關(guān)于作為（0,0）的圖像的左上角來(lái)描述該位置。盡管在操作460中，獲得經(jīng)匹配的關(guān)鍵點(diǎn)集合，并且在其他方程中，可以取關(guān)鍵點(diǎn)表示來(lái)意為在圖像中的其位置（x，y）。

匹配關(guān)鍵點(diǎn)=（1）。

糾正誤差可以被定義為從經(jīng)匹配的關(guān)鍵點(diǎn)到極線(xiàn)的正交距離，并且通過(guò)使用如通過(guò)下面的糾正誤差方程示出的經(jīng)匹配的關(guān)鍵點(diǎn)集合（方程（1））來(lái)確定，以估計(jì)尺度和位移參數(shù)：

，

其中是特征點(diǎn)和之間的糾正誤差，并且是特征點(diǎn)和之間的糾正誤差。和是從錯(cuò)位點(diǎn)至極線(xiàn)e01和e02的單位矢量正交距離。如圖5中所示，沿著極線(xiàn)的單位矢量被指示為和。將會(huì)理解，誤差方程（2）和（3）是最小二乘類(lèi)型的方程，并且替換物可以是經(jīng)加權(quán)的誤差方程。

誤差的最小化可以被表示為：

。

可在超定線(xiàn)性系統(tǒng)中求解參數(shù)，并且在一個(gè)示例形式中其使用如下面方程中的矩陣乘法：

，

其中和是來(lái)自圖像0的至極線(xiàn)的正交距離的x和y分量，并且對(duì)于來(lái)自圖像1的的分量類(lèi)似地。針對(duì)來(lái)自基于固定焦點(diǎn)的圖像（在這里圖像0和1）上的對(duì)應(yīng)點(diǎn)的每條極線(xiàn)提供方程（5）中的矩陣中的每行。因此，兩個(gè)或更多行可與基于自動(dòng)聚焦的圖像2上的單個(gè)錯(cuò)位點(diǎn)相關(guān)聯(lián)，并且所述單個(gè)錯(cuò)位點(diǎn)具有來(lái)自其他圖像的匹配對(duì)應(yīng)點(diǎn)。

下一操作可以是“建立從圖像集合的每個(gè)圖像上的點(diǎn)至自動(dòng)聚焦相機(jī)的圖像的極線(xiàn)”462。如所提到的，在這里極線(xiàn)從固定焦點(diǎn)相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)至自動(dòng)聚焦相機(jī)的圖像上的正確匹配點(diǎn)。極線(xiàn)平行于作為圖像（或相機(jī)傳感器）的中心至中心的真實(shí)極線(xiàn)而延伸，并且匹配點(diǎn)必須落在該線(xiàn)上。因此，可通過(guò)將自動(dòng)聚焦相機(jī)的圖像上的錯(cuò)位點(diǎn)從其他圖像上的對(duì)應(yīng)點(diǎn)移位至多個(gè)極線(xiàn)的交叉點(diǎn)并且延伸到自動(dòng)聚焦相機(jī)的圖像來(lái)校正該錯(cuò)位點(diǎn)。

操作458然后可包括“確定從自動(dòng)聚焦相機(jī)的圖像上的特征點(diǎn)至極線(xiàn)的至少一個(gè)距離”464，并且特別地用來(lái)形成從錯(cuò)位點(diǎn)至極線(xiàn)的正交極矢量。然后這些距離可被用于通過(guò)使用這些距離來(lái)填充方程而確定參數(shù)。通過(guò)相機(jī)陣列和圖像布置500的示例，該距離是從錯(cuò)位點(diǎn)至經(jīng)校正的點(diǎn)的2d校正。

一旦獲得了所有特定點(diǎn)數(shù)據(jù)和正交極線(xiàn)距離，該操作然后就可包括“通過(guò)使用正交距離來(lái)生成移位參數(shù)”466，并且特別地用來(lái)確定尺度s參數(shù)和位移dx和dy參數(shù)。通過(guò)一種形式，這包括通過(guò)矩陣乘法求解被填充的超定線(xiàn)性系統(tǒng)來(lái)估計(jì)參數(shù)。最后，結(jié)果是使糾正誤差和最小化的一個(gè)最終參數(shù)集合，并且將應(yīng)用于基于自動(dòng)聚焦的圖像中的所有點(diǎn)以用于圖像的校正。

一旦估計(jì)了移位參數(shù)，過(guò)程450就可包括“通過(guò)應(yīng)用參數(shù)來(lái)扭曲自動(dòng)聚焦相機(jī)的圖像”468。特別地，通過(guò)根據(jù)所估計(jì)的尺度和位移來(lái)扭曲來(lái)自相機(jī)2的經(jīng)糾正的圖像來(lái)對(duì)其進(jìn)行調(diào)整。通過(guò)一種形式，通過(guò)在尺度s和位移dx和dy值二者中進(jìn)行因式分解并且通過(guò)使用如下的2×3仿射變換扭曲矩陣來(lái)調(diào)整每一個(gè)點(diǎn)；

，

其提供基于自動(dòng)聚焦圖像2上的最終經(jīng)校正的點(diǎn)。

通過(guò)另一選項(xiàng)，還可以通過(guò)調(diào)整糾正變換以慮及尺度和位移而獲得來(lái)自相機(jī)2的高分辨率經(jīng)糾正的圖像。這可通過(guò)將所估計(jì)的參數(shù)集成到對(duì)于該圖像的糾正變換中并應(yīng)用單個(gè)扭曲步驟來(lái)完成。

可針對(duì)自動(dòng)聚焦相機(jī)的每個(gè)圖像（或者換言之來(lái)自多個(gè)相機(jī)的每個(gè)圖像集合）或以某一其他間隔（諸如每n個(gè)圖像）來(lái)重復(fù)這些操作。

參考圖8-17，示出來(lái)自測(cè)試的結(jié)果圖像。提供一些定性結(jié)果（按灰度的視差圖）和定量結(jié)果（具有已知尺寸的對(duì)象的測(cè)量結(jié)果）。利用具有類(lèi)似于圖2上示出的多個(gè)相機(jī)的平板設(shè)備來(lái)獲取圖像。

參考圖6-8，對(duì)于在具有大幅降低的偽像的透鏡移位校正之后在灰度上具有很大改進(jìn)的準(zhǔn)確變化的圖8的圖像800，在圖6-7中示出灰度視差圖600和700（分別對(duì)于透鏡移位校正之前和之后）。

參考圖9-11，對(duì)于在具有大幅降低的偽像的透鏡移位校正之后在灰度上也具有很大改進(jìn)的準(zhǔn)確變化的圖11的圖像1100，在圖9-10中示出灰度視差圖900和1000（分別對(duì)于透鏡移位校正之前和之后）。

參考圖12-13，示出在透鏡移位校正之前從原始圖像1200至特寫(xiě)（close-up）圖像1202的縮放，同時(shí)示出在透鏡移位校正之后從原始圖像1300至特寫(xiě)圖像1302的縮放。圖像1200和1202示出分別為86.12cm和265.40cm的并且由捕獲圖像的平板電腦的圖像處理系統(tǒng)自動(dòng)測(cè)量的板寬度和人高度，而圖像1300和1302示出分別在64.57cm和174.46cm處測(cè)量的相同板寬度和人高度。實(shí)際測(cè)量的寬度和高度是64cm的板寬度和175cm的人高度。從6m的距離拍攝圖片。

參考圖14-15，示出了圖像的灰度視差圖1400和1500（分別對(duì)于透鏡移位校正之前和之后），并且在透鏡校正之后的圖片1500中具有很大降低的偽像。

參考圖16-17，將分別對(duì)于透鏡移位校正之前和之后的經(jīng)縮放的圖像1600和1700與實(shí)際測(cè)量值進(jìn)行比較。在這里，在透鏡移位校正之前兩個(gè)板1602和1604具有58cm和70cm的寬度。而在透鏡移位校正之后圖像1700上的相同的板1702和1704具有65cm和62cm的相應(yīng)的寬度。實(shí)際測(cè)量結(jié)果分別是64cm和61cm。

將會(huì)認(rèn)識(shí)到，盡管在本文中使用單個(gè)設(shè)備（諸如平板電腦）上的相機(jī)陣列描述了各方法，但是所述方法可被應(yīng)用于不在單個(gè)設(shè)備上的多相機(jī)陣列，只要各相機(jī)相對(duì)于彼此的位置是精確已知的。

參考圖21，通過(guò)另一方法，過(guò)程2100圖示執(zhí)行根據(jù)本公開(kāi)的至少一些實(shí)施方式的透鏡移位校正的圖像處理系統(tǒng)1800的操作。更詳細(xì)地，以說(shuō)明的形式，過(guò)程2100可包括如通過(guò)以偶數(shù)編號(hào)的動(dòng)作2102至2120中的一個(gè)或多個(gè)所圖示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制示例的方式，在本文中將參考圖18來(lái)描述過(guò)程2100。具體地，系統(tǒng)或設(shè)備1800包括邏輯單元1804，其包括糾正單元1813、關(guān)鍵點(diǎn)單元1814和透鏡移位校正單元1812。該透鏡移位校正單元1812具有移位參數(shù)單元1815和扭曲單元1816。該系統(tǒng)的操作可以如下進(jìn)行。

過(guò)程2100提供如上所述透鏡移位校正算法的執(zhí)行，并且所述透鏡移位校正算法校正相機(jī)陣列的自動(dòng)聚焦相機(jī)中的透鏡移位。通過(guò)確定應(yīng)用于自動(dòng)聚焦相機(jī)的圖像的點(diǎn)的移位參數(shù)以及通過(guò)使用來(lái)自該陣列中的其他相機(jī)的圖像的點(diǎn)計(jì)算移位參數(shù)來(lái)執(zhí)行校正。然后可按移位參數(shù)將自動(dòng)聚焦相機(jī)的圖像扭曲到經(jīng)適當(dāng)校準(zhǔn)的狀況。

因此，過(guò)程2100可包括“接收經(jīng)糾正的圖像集合的圖像數(shù)據(jù)”2102。如上文所提到的，可通過(guò)非共線(xiàn)相機(jī)陣列來(lái)得到經(jīng)糾正的圖像，其中相機(jī)中的至少一個(gè)使用自動(dòng)聚焦，并且至少兩個(gè)其他相機(jī)是固定焦點(diǎn)相機(jī)。原始圖像數(shù)據(jù)被糾正并且來(lái)自于都拍攝于同一場(chǎng)景的圖像的集合（它們可以或者可以不是同時(shí)拍攝的）。

過(guò)程2100可包括“提取和匹配圖像上的關(guān)鍵點(diǎn)”2104。也如上文所提到的，關(guān)鍵點(diǎn)可被檢測(cè)，并且然后圖像到圖像地匹配。這可使用如上文所述的關(guān)鍵點(diǎn)描述符和匹配技術(shù)來(lái)執(zhí)行。

過(guò)程2100可包括“獲得經(jīng)匹配的關(guān)鍵點(diǎn)數(shù)據(jù)”2106。該操作可包括獲得自動(dòng)聚焦相機(jī)的圖像2上的錯(cuò)位點(diǎn)的坐標(biāo)以及固定焦點(diǎn)相機(jī)的圖像上的經(jīng)匹配的關(guān)鍵點(diǎn)的對(duì)應(yīng)坐標(biāo)。

過(guò)程2100可包括“建立從固定焦點(diǎn)相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)至自動(dòng)聚焦相機(jī)的圖像上的經(jīng)校正的點(diǎn)的極線(xiàn)”2108。特別地，因?yàn)橄鄼C(jī)陣列布置是已知的，所以從圖像到圖像的真實(shí)極線(xiàn)的角度和方向是已知的。因此，自動(dòng)聚焦相機(jī)的圖像上的任何點(diǎn)應(yīng)該位于來(lái)自固定焦點(diǎn)相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)的局部極線(xiàn)（平行于真實(shí)極線(xiàn)）的交叉點(diǎn)上。一旦極線(xiàn)被建立，則就有可能確定需要多少移位來(lái)將錯(cuò)位點(diǎn)移動(dòng)至線(xiàn)的交叉點(diǎn)。

過(guò)程2100可包括“確定從自動(dòng)聚焦圖像上的錯(cuò)位點(diǎn)至極線(xiàn)的距離”2110。該操作包括計(jì)算從錯(cuò)位點(diǎn)至每一個(gè)極線(xiàn)的正交距離。然后每個(gè)距離也可被用來(lái)確定對(duì)于每個(gè)距離的x和y分量。

過(guò)程2100可包括“使用該距離來(lái)確定尺度和位移參數(shù)”2112。因此，如方程（5）中所示，通過(guò)一個(gè)示例，使用三角測(cè)量關(guān)系，可通過(guò)嘗試使置于使用矩陣乘法的超定線(xiàn)性系統(tǒng)中的最小二乘方程中的糾正誤差最小化來(lái)確定移位參數(shù)。其他示例是可能的。對(duì)于自動(dòng)聚焦相機(jī)的圖像上的所有關(guān)鍵點(diǎn)，距離和點(diǎn)值可被插入在方程（5）中。結(jié)果是對(duì)于每個(gè)圖像的尺度s參數(shù)和位移d（或dx和dy）參數(shù)。

過(guò)程2100可包括“應(yīng)用參數(shù)來(lái)校正自動(dòng)聚焦相機(jī)的圖像”2114。因此，可將移位參數(shù)應(yīng)用于自動(dòng)聚焦相機(jī)的圖像中的關(guān)鍵點(diǎn)或所有點(diǎn)，并應(yīng)用于自動(dòng)聚焦相機(jī)的經(jīng)糾正的圖像。這可包括使用上面討論的2×3仿射變換扭曲來(lái)在計(jì)算基于自動(dòng)聚焦的圖像上的最終經(jīng)校正的點(diǎn)中對(duì)尺度和位移二者進(jìn)行因式分解。

可選地，過(guò)程2100可包括“應(yīng)用參數(shù)來(lái)校正自動(dòng)聚焦相機(jī)的未經(jīng)糾正的高分辨率圖像”2116。因此，可將移位參數(shù)應(yīng)用于也來(lái)自自動(dòng)聚焦相機(jī)的高分辨率圖像的一些或所有點(diǎn)。

過(guò)程2100可包括“向其他圖像提供經(jīng)校正的圖像以用于進(jìn)一步的應(yīng)用”2118。具體地，然后可將圖像集合移交給其他應(yīng)用，所述其他應(yīng)用可確定指示對(duì)于一個(gè)點(diǎn)從圖像到圖像的位置中的像素變化的視差圖、以及/或者形成用來(lái)測(cè)量距離和/或標(biāo)識(shí)通過(guò)使用圖像形成的3d空間中的對(duì)象的3d深度圖。上面提到了其他應(yīng)用。

過(guò)程2100可包括“下一圖像集合”2120。因此，本方法單獨(dú)地應(yīng)用于圖像，并且可應(yīng)用于由相機(jī)陣列捕獲的每個(gè)圖像或圖像集合。如上面提到的預(yù)計(jì)到其他替換。

此外，可以響應(yīng)于由一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品提供的指令來(lái)進(jìn)行圖3-4a和21的操作中的任何一個(gè)或多個(gè)。此類(lèi)程序產(chǎn)品可包括提供指令的信號(hào)承載介質(zhì)，所述指令當(dāng)被例如處理器執(zhí)行時(shí)可提供本文中所述的功能。可以以任何形式的一個(gè)或多個(gè)機(jī)器可讀介質(zhì)來(lái)提供該計(jì)算機(jī)程序產(chǎn)品。因此，例如，包括一個(gè)或多個(gè)處理器核的處理器可響應(yīng)于由一個(gè)或多個(gè)計(jì)算機(jī)或機(jī)器可讀介質(zhì)傳達(dá)給處理器的程序代碼和/或指令或指令集而進(jìn)行本文中的示例過(guò)程的操作中的一個(gè)或多個(gè)。一般來(lái)說(shuō)，機(jī)器可讀介質(zhì)可傳達(dá)以程序代碼和/或指令或指令集形式的軟件，其可使設(shè)備和/或系統(tǒng)中的任一個(gè)如本文中所述那樣來(lái)執(zhí)行。機(jī)器或計(jì)算機(jī)可讀介質(zhì)可以是非瞬時(shí)物品或介質(zhì)（諸如非瞬時(shí)計(jì)算機(jī)可讀介質(zhì)），并且可與上面提到的示例或其他示例中的任一個(gè)一起使用，除了它不包括瞬時(shí)信號(hào)本身之外。它確實(shí)包括除了信號(hào)本身之外的那些元件，其可以以“瞬時(shí)”方式臨時(shí)保持?jǐn)?shù)據(jù)，諸如ram等等。

如在本文中所述的任何實(shí)施方式中所使用的，術(shù)語(yǔ)“模塊”指代被配置成提供本文中所述的功能的軟件邏輯、固件邏輯和/或硬件邏輯的任何組合。該軟件可被具體化為軟件包、代碼和/或指令集或指令，并且如在本文中所述的任何實(shí)施方式中所使用的“硬件”可包括例如單獨(dú)地或以任何組合的硬接線(xiàn)電路、可編程電路、狀態(tài)機(jī)電路和/或存儲(chǔ)通過(guò)可編程電路執(zhí)行的指令的固件。所述模塊可共同地或單獨(dú)地被具體化為形成較大系統(tǒng)的部分的電路，例如集成電路（ic）、片上系統(tǒng)（soc）等等。例如，可經(jīng)由本文中討論的編碼系統(tǒng)的軟件、固件或硬件來(lái)在對(duì)于實(shí)施方式的邏輯電路中具體化該模塊。

如在本文中所述的任何實(shí)施方式中所使用的，術(shù)語(yǔ)“邏輯單元”指代被配置成提供本文中所述的功能的固件邏輯和/或硬件邏輯的任何組合。邏輯單元可共同地或單獨(dú)地被具體化為形成較大系統(tǒng)的部分的電路，例如集成電路（ic）、片上系統(tǒng)（soc）等等。例如，可在對(duì)于本文中討論的編碼系統(tǒng)的實(shí)施方式固件或硬件的邏輯電路中具體化該邏輯單元。本領(lǐng)域普通技術(shù)人員將會(huì)認(rèn)識(shí)到，由硬件和/或固件執(zhí)行的操作可以替代地經(jīng)由軟件來(lái)實(shí)施，該軟件可被具體化為軟件包、代碼和/或指令集或指令，并且還會(huì)認(rèn)識(shí)到邏輯單元還可利用軟件的一部分來(lái)實(shí)施其功能。

如在本文中所述的任何實(shí)施方式中所使用的，術(shù)語(yǔ)“組件”指代模塊或邏輯單元，這些術(shù)語(yǔ)如上所述。因此，術(shù)語(yǔ)“組件”可指代被配置成提供本文中所述的功能的軟件邏輯、固件邏輯和/或硬件邏輯的任何組合。例如，本領(lǐng)域普通技術(shù)人員將會(huì)認(rèn)識(shí)到，由硬件和/或固件執(zhí)行的操作可以替代地經(jīng)由軟件模塊來(lái)實(shí)施，該軟件模塊可被具體化為軟件包、代碼和/或指令集，并且還會(huì)認(rèn)識(shí)到邏輯單元還可利用軟件的一部分來(lái)實(shí)施其功能。

參考圖18，根據(jù)本公開(kāi)的至少一些實(shí)施方式來(lái)布置示例圖像處理系統(tǒng)1800。在各種實(shí)施方式中，該示例圖像處理系統(tǒng)1800可具有用來(lái)形成或接收所捕獲的圖像數(shù)據(jù)的成像設(shè)備1802。這可以以各種的方式來(lái)實(shí)施。因此，在一種形式中，圖像處理系統(tǒng)1800可以是數(shù)字相機(jī)或其他圖像捕獲設(shè)備，并且在這種情況下成像設(shè)備1802可以是相機(jī)硬件和相機(jī)傳感器軟件、模塊或組件1812。在其他示例中，成像處理系統(tǒng)1800可具有成像設(shè)備1802，其包括或者可以是相機(jī)，并且邏輯模塊1804可與成像設(shè)備1802遠(yuǎn)程通信或者可以其他方式通信耦合至成像設(shè)備1802以用于圖像數(shù)據(jù)的進(jìn)一步處理。

因此，圖像處理設(shè)備1800可以是多相機(jī)設(shè)備（諸如平板電腦）上的單個(gè)相機(jī)。另外，設(shè)備1800可以是平板電腦或具有多個(gè)相機(jī)的其他設(shè)備，其中處理發(fā)生在相機(jī)之一處或在與相機(jī)進(jìn)行通信的單獨(dú)處理位置處，無(wú)論在平板電腦上還是在平板電腦外。

在任一種情況下，此類(lèi)技術(shù)可包括相機(jī)，諸如數(shù)字相機(jī)系統(tǒng)、專(zhuān)用相機(jī)設(shè)備或成像電話(huà)或平板電腦，無(wú)論是靜止圖片還是視頻相機(jī)、或具有預(yù)覽屏幕的設(shè)備、或這些的某一組合。因此，以一種形式，成像設(shè)備1802可包括相機(jī)硬件和光學(xué)器件，其包括一個(gè)或多個(gè)傳感器以及自動(dòng)聚焦、變焦、孔徑、nd-濾波器、自動(dòng)曝光、閃光和致動(dòng)器控制。這些控制可以是傳感器模塊或用于操作傳感器的組件1806的一部分。傳感器組件1806可以是成像設(shè)備1802的一部分，或者可以是邏輯模塊1804的一部分，或者這二者。此類(lèi)傳感器組件可以被用于為取景器生成圖像（該取景器可包括預(yù)覽屏幕），并且拍攝靜止圖片或視頻。成像設(shè)備1802還可具有透鏡、具有rgbbayer型濾色器的圖像傳感器、模擬放大器、a/d轉(zhuǎn)換器、用來(lái)將入射光轉(zhuǎn)換成數(shù)字信號(hào)的其他組件、等等、以及/或者其組合。在本文中數(shù)字信號(hào)也可被稱(chēng)為原始圖像數(shù)據(jù)。

其他形式包括相機(jī)傳感器類(lèi)型的成像設(shè)備等等（例如網(wǎng)絡(luò)相機(jī)或網(wǎng)絡(luò)相機(jī)傳感器或其他互補(bǔ)金屬氧化物半導(dǎo)體型圖像傳感器（cmos）），而不使用紅-綠-藍(lán)（rgb）深度相機(jī)和/或麥克風(fēng)陣列來(lái)定位誰(shuí)正講話(huà)。相機(jī)傳感器還可支持其他類(lèi)型的電子快門(mén)，諸如附加于或替代滾動(dòng)快門(mén)的全局快門(mén)、以及許多其他快門(mén)類(lèi)型。在其他示例中，除了相機(jī)傳感器或作為相機(jī)傳感器的替代，還可能使用rgb-深度相機(jī)和/或麥克風(fēng)陣列。在一些示例中，成像設(shè)備1802可被提供有眼睛跟蹤相機(jī)。

成像設(shè)備1802還可具有透鏡致動(dòng)器1808，其具有透鏡和透鏡驅(qū)動(dòng)器或驅(qū)動(dòng)器邏輯，所述透鏡驅(qū)動(dòng)器或驅(qū)動(dòng)器邏輯接收命令以移動(dòng)透鏡和施加電流來(lái)移動(dòng)透鏡。自動(dòng)聚焦（af）控制1810也可被提供在成像設(shè)備上以便從傳感器和透鏡致動(dòng)器收集校準(zhǔn)數(shù)據(jù)，并且將該數(shù)據(jù)傳送至存儲(chǔ)器和/或af組件1812?？蛇x地，成像設(shè)備1812還可具有用來(lái)確認(rèn)透鏡位置的透鏡位置傳感器（如果需要的話(huà)）。

在所圖示的示例中，邏輯模塊1804可包括糾正單元1813、關(guān)鍵點(diǎn)單元1814和透鏡移位校正單元1812，該透鏡移位校正單元1812繼而包括執(zhí)行本文中提到的操作（諸如在過(guò)程400和450中解釋的那些）的移位參數(shù)單元1815和扭曲單元1816。af組件1817可被提供來(lái)執(zhí)行af算法以計(jì)算期望的新當(dāng)前透鏡位置以及af校準(zhǔn)以計(jì)算經(jīng)更新的eoc、soc和inf值。邏輯模塊1804還可包括自動(dòng)白平衡（awb）模塊1818和自動(dòng)曝光控制（aec）模塊1819。包括透鏡移位校正單元1812的邏輯模塊1804的組件可通過(guò)（一個(gè)或多個(gè)）處理器1820來(lái)操作，或者甚至完全或部分地位于該（一個(gè)或多個(gè)）處理器1820處，并且該（一個(gè)或多個(gè)）處理器1820可包括isp1822。該邏輯模塊可通信耦合至成像設(shè)備1802的組件，以便接收原始圖像數(shù)據(jù)。可選地，可由與原始圖像數(shù)據(jù)流分離的數(shù)據(jù)流來(lái)提供數(shù)據(jù)。在這些情況下，假設(shè)邏輯模塊1804被視為與成像設(shè)備分離。這不需要如此，并且邏輯模塊也可以被很好地視為成像設(shè)備的部分。

圖像處理系統(tǒng)1800可具有：一個(gè)或多個(gè)處理器1820，其可包括專(zhuān)用圖像信號(hào)處理器（isp）1822（諸如英特爾atom）；存儲(chǔ)器存儲(chǔ)裝置1824，其可以保持或者不保持af校準(zhǔn)緩沖器1826以及本文中提到的關(guān)鍵點(diǎn)數(shù)據(jù)1827；用來(lái)提供圖像1830的一個(gè)或多顯示器1828；編碼器1832；以及天線(xiàn)1834。在一個(gè)示例實(shí)施方式中，圖像處理系統(tǒng)100可具有：顯示器1828；通信耦合至顯示器的至少一個(gè)處理器1820；至少一個(gè)存儲(chǔ)器1824，其被通信耦合至處理器并具有緩沖器1827，通過(guò)一個(gè)示例，所述緩沖器1827用于存儲(chǔ)關(guān)鍵點(diǎn)或任何其他透鏡移位校正數(shù)據(jù)。編碼器1832和天線(xiàn)1834可以被提供用來(lái)壓縮經(jīng)修改的圖像數(shù)據(jù)以便傳輸?shù)娇娠@示或存儲(chǔ)圖像的其他設(shè)備。將會(huì)理解，該圖像處理系統(tǒng)1800還可包括解碼器（或編碼器1832可包括解碼器）以接收并解碼圖像數(shù)據(jù)以供系統(tǒng)1800處理。另外，經(jīng)處理的圖像1830可以被顯示在顯示器1828上或者被存儲(chǔ)在存儲(chǔ)器1824中。如所圖示的，這些組件中的任一個(gè)可能都能夠彼此進(jìn)行通信和/或與邏輯模塊1804和/或成像設(shè)備1802的部分進(jìn)行通信。因此，處理器1820可被通信耦合至圖像設(shè)備1802和邏輯模塊1804二者以用于操作這些組件。通過(guò)一種方法，盡管如圖18中所示圖像處理系統(tǒng)1800可包括與特定組件或模塊相關(guān)聯(lián)的一個(gè)特定塊或動(dòng)作集合，但是這些塊或動(dòng)作可與不同于本文所圖示的該特定組件或模塊的組件或模塊相關(guān)聯(lián)。

參考圖19，根據(jù)本公開(kāi)的示例系統(tǒng)1900操作本文中所述的圖像處理系統(tǒng)10、200或1800的一個(gè)或多個(gè)方面。將會(huì)從下面描述的系統(tǒng)組件的性質(zhì)理解到，此類(lèi)組件可與上面描述的圖像處理系統(tǒng)的某一或某些部分相關(guān)聯(lián)或者被用來(lái)操作該某一或某些部分。在各種實(shí)施方式中，系統(tǒng)1900可以是媒體系統(tǒng)，盡管系統(tǒng)1900不限于該上下文。例如，系統(tǒng)1900可以被合并到數(shù)字靜止相機(jī)、數(shù)字視頻相機(jī)、具有相機(jī)或視頻功能的移動(dòng)設(shè)備（諸如成像電話(huà)、網(wǎng)絡(luò)相機(jī)、個(gè)人計(jì)算機(jī)（pc）、膝上型計(jì)算機(jī)、超級(jí)膝上型計(jì)算機(jī)、具有多個(gè)相機(jī)的平板電腦、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理（pda）、蜂窩電話(huà)、組合蜂窩電話(huà)/pda、電視、智能設(shè)備（例如智能電話(huà)、智能平板電腦或智能電視）、移動(dòng)因特網(wǎng)設(shè)備（mid）、消息傳遞設(shè)備、數(shù)據(jù)通信設(shè)備等等）。

在各種實(shí)施方式中，系統(tǒng)1900包括耦合至顯示器1920的平臺(tái)1902。平臺(tái)1902可從內(nèi)容設(shè)備（諸如（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930或（一個(gè)或多個(gè)）內(nèi)容遞送設(shè)備1940或其他類(lèi)似內(nèi)容源）接收內(nèi)容。包括一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器1950可被用來(lái)與例如平臺(tái)1902和/或顯示器1920交互。下面更詳細(xì)地描述這些組件中的每一個(gè)。

在各種實(shí)施方式中，平臺(tái)1902可包括芯片集1905、處理器1910、存儲(chǔ)器1912、存儲(chǔ)裝置1914、圖形子系統(tǒng)1915、應(yīng)用程序1916和/或無(wú)線(xiàn)電裝置1918的任何組合。芯片集1905可提供在處理器1910、存儲(chǔ)器1912、存儲(chǔ)裝置1914、圖形子系統(tǒng)1915、應(yīng)用1916和/或無(wú)線(xiàn)電裝置1918之間的互相通信。例如，芯片集1905可包括能夠提供與存儲(chǔ)裝置1914的互相通信的存儲(chǔ)裝置適配器（為被描繪）。

處理器1910可被實(shí)施為復(fù)雜指令集計(jì)算機(jī)（cisc）或精簡(jiǎn)指令集計(jì)算機(jī)（risc）處理器；x86指令集兼容處理器、多核、或任何其他微處理器或中央處理單元（cpu）。在各種實(shí)施方式中，處理器1910可以是（一個(gè)或多個(gè)）雙核處理器、（一個(gè)或多個(gè)）雙核移動(dòng)處理器、等等。

存儲(chǔ)器1912可被實(shí)施為易失性存儲(chǔ)器設(shè)備，諸如但不限于隨機(jī)存取存儲(chǔ)器（ram）、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器（dram）或靜態(tài)ram（sram）。

存儲(chǔ)裝置1914可被實(shí)施為非易失性存儲(chǔ)設(shè)備，諸如但不限于磁盤(pán)驅(qū)動(dòng)器、光盤(pán)驅(qū)動(dòng)器、帶驅(qū)動(dòng)器、內(nèi)部存儲(chǔ)設(shè)備、附接的存儲(chǔ)設(shè)備、閃速存儲(chǔ)器、電池備份sdram（同步dram）、和/或網(wǎng)絡(luò)可訪(fǎng)問(wèn)存儲(chǔ)設(shè)備。在各種實(shí)施方式中，例如當(dāng)包括多個(gè)硬件驅(qū)動(dòng)器時(shí)，存儲(chǔ)裝置1914可包括用來(lái)增加對(duì)于有價(jià)值的數(shù)字媒體的存儲(chǔ)性能增強(qiáng)的保護(hù)的技術(shù)。

圖形子系統(tǒng)1915可執(zhí)行諸如靜止或視頻之類(lèi)的圖像的處理以用于顯示。例如，圖形子系統(tǒng)1915可以是圖形處理單元（gpu）或視覺(jué)處理單元（vpu）。模擬或數(shù)字接口可被用來(lái)通信耦合圖形子系統(tǒng)1915和顯示器1920。例如，該接口可以是高清晰度多媒體接口、顯示端口、無(wú)線(xiàn)hdmi和/或無(wú)線(xiàn)hd依從技術(shù)中的任一個(gè)。圖形子系統(tǒng)1915可被集成到處理器1910或芯片集1905中。在一些實(shí)施方式中，圖形子系統(tǒng)1915可以是通信耦合至芯片集1905的獨(dú)立卡。

圖形子系統(tǒng)1915還可被視為包括具有或操作利用系統(tǒng)1800描述的相機(jī)操作的應(yīng)用中的任一個(gè)。

本文中描述的圖形和/或視頻處理技術(shù)可在各種硬件架構(gòu)中實(shí)施。例如，圖形和/或視頻功能可被集成在芯片集內(nèi)。替代地，可使用分立的圖形和/或視頻處理器。作為仍另一實(shí)施方式，可通過(guò)通用處理器（包括多核處理器）來(lái)提供圖形和/或視頻功能。在另外的實(shí)施例中，可在消費(fèi)電子器件中實(shí)施該功能。

無(wú)線(xiàn)電裝置1918可包括能夠使用各種合適的無(wú)線(xiàn)通信技術(shù)來(lái)發(fā)射和/或接收信號(hào)的一個(gè)或多個(gè)無(wú)線(xiàn)電裝置。此類(lèi)技術(shù)可涉及跨一個(gè)或多個(gè)無(wú)線(xiàn)網(wǎng)絡(luò)的通信。示例無(wú)線(xiàn)網(wǎng)絡(luò)包括（但不限于）無(wú)線(xiàn)局域網(wǎng)（wlan）、無(wú)線(xiàn)個(gè)域網(wǎng)（wpan）、無(wú)線(xiàn)城域網(wǎng)（wman）、蜂窩網(wǎng)絡(luò)、和衛(wèi)星網(wǎng)絡(luò)。在跨此類(lèi)網(wǎng)絡(luò)的通信中，無(wú)線(xiàn)電裝置1918可根據(jù)處于任何版本的一個(gè)或多個(gè)可應(yīng)用標(biāo)準(zhǔn)來(lái)操作。

在各種實(shí)施方式中，顯示器1920可包括任何電視類(lèi)型的監(jiān)視器或顯示器。顯示器1920可包括例如計(jì)算機(jī)顯示屏、觸摸屏顯示器、視頻監(jiān)視器、電視類(lèi)設(shè)備和/或電視。顯示器1920可以是數(shù)字和/或模擬的。在各種實(shí)施方式中，顯示器1920可以是全息顯示器。而且，顯示器1920可以是可接收視覺(jué)投影的透明表面。此類(lèi)投影可傳達(dá)各種形式的信息、圖像和/或?qū)ο?。例如，此?lèi)投影可以是對(duì)于移動(dòng)增強(qiáng)現(xiàn)實(shí)（mar）應(yīng)用的視覺(jué)覆蓋。在一個(gè)或多個(gè)軟件應(yīng)用1916的控制下，平臺(tái)1902可在顯示器1920上顯示用戶(hù)接口1922。

在各種實(shí)施方式中，例如（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可由任何國(guó)內(nèi)、國(guó)際和/或獨(dú)立的服務(wù)來(lái)托管并且因此是經(jīng)由因特網(wǎng)對(duì)平臺(tái)1902可訪(fǎng)問(wèn)的。（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可被耦合至平臺(tái)1902和/或顯示器1920。平臺(tái)1902和/或（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可被耦合至網(wǎng)絡(luò)1960以便傳送（例如發(fā)送和/或接收）去到和來(lái)自網(wǎng)絡(luò)1960的媒體信息。（一個(gè)或多個(gè)）內(nèi)容遞送設(shè)備1940也可被耦合至平臺(tái)1902和/或顯示器1920。

在各種實(shí)施方式中，（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可包括有線(xiàn)電視盒、個(gè)人計(jì)算機(jī)、網(wǎng)絡(luò)、電話(huà)、能夠遞送數(shù)字信息和/或內(nèi)容的因特網(wǎng)使能的設(shè)備或電器、以及能夠經(jīng)由網(wǎng)絡(luò)1960或直接在內(nèi)容提供商和平臺(tái)1902和/或顯示器1920之間單向地或雙向地傳送內(nèi)容的任何其他類(lèi)似設(shè)備。將會(huì)認(rèn)識(shí)到，可經(jīng)由網(wǎng)絡(luò)1960向和自?xún)?nèi)容提供商和系統(tǒng)1900中的組件中的任一個(gè)單向地和/或雙向地傳送內(nèi)容。內(nèi)容的示例可包括任何媒體信息，包括例如視頻、音樂(lè)、醫(yī)療和游戲信息等等。

（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可接收諸如有線(xiàn)電視節(jié)目之類(lèi)的內(nèi)容，其包括媒體信息、數(shù)字信息和/或其他內(nèi)容。內(nèi)容提供商的示例可包括任何有線(xiàn)或衛(wèi)星電視或無(wú)線(xiàn)電或因特網(wǎng)內(nèi)容提供商。所提供的示例不意圖以任何方式限制根據(jù)本公開(kāi)的實(shí)施方式。

在各種實(shí)施方式中，平臺(tái)1902可從導(dǎo)航控制器1950接收控制信號(hào)，所述導(dǎo)航控制器1905具有一個(gè)或多個(gè)導(dǎo)航特征。例如，控制器1950的導(dǎo)航特征可被用來(lái)與用戶(hù)接口1922交互。在實(shí)施例中，導(dǎo)航控制器1950可以是定點(diǎn)設(shè)備，其可以是允許用戶(hù)將空間（例如連續(xù)和多維）數(shù)據(jù)輸入計(jì)算機(jī)中的計(jì)算機(jī)硬件組件（具體地，人類(lèi)接口設(shè)備）。諸如圖形用戶(hù)接口（gui）和電視和監(jiān)視器之類(lèi)的許多系統(tǒng)允許用戶(hù)使用身體姿勢(shì)來(lái)控制計(jì)算機(jī)或電視并向計(jì)算機(jī)或電視提供數(shù)據(jù)。

控制器1950的導(dǎo)航特征的移動(dòng)可通過(guò)指針、光標(biāo)、聚焦環(huán)或顯示在顯示器上的其他視覺(jué)指示器的移動(dòng)被復(fù)制在顯示器（例如顯示器1920）上。例如，在軟件應(yīng)用1916的控制下，例如位于導(dǎo)航控制器1950上的導(dǎo)航特征可被映射至顯示在用戶(hù)接口1922上的視覺(jué)導(dǎo)航特征。在實(shí)施例中，控制器1950可能不是單獨(dú)的組件，而是可被集成在平臺(tái)1902和/或顯示器1920中。然而，本公開(kāi)不限于本文所示或所述的元件或在本文所示或所述的上下文中。

在各種實(shí)施方式中，驅(qū)動(dòng)器（為示出）可包括使得用戶(hù)能夠在例如初始啟動(dòng)之后、在被啟用時(shí)利用按鈕的觸摸立即接通和斷開(kāi)平臺(tái)1902的技術(shù)。程序邏輯可允許平臺(tái)1902將內(nèi)容流式傳送到媒體適配器或（一個(gè)或多個(gè)）其他內(nèi)容服務(wù)設(shè)備1930或者（一個(gè)或多個(gè)）內(nèi)容遞送設(shè)備1940，即使當(dāng)平臺(tái)被“斷開(kāi)”時(shí)。此外，芯片集1905可包括例如對(duì)于8.1環(huán)繞聲音音頻和/或高清晰度（7.1）環(huán)繞聲音音頻的硬件和/或軟件支持。驅(qū)動(dòng)器可包括用于集成圖形平臺(tái)的圖形驅(qū)動(dòng)器。在實(shí)施例中，該圖形驅(qū)動(dòng)器可包括快速外圍組件互連（pci）圖形卡。

在各種實(shí)施方式中，系統(tǒng)1900中所示的組件中的任一個(gè)或多個(gè)可被集成。例如，平臺(tái)1902和（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可被集成，或者平臺(tái)1902和（一個(gè)或多個(gè)）內(nèi)容遞送設(shè)備1940可被集成，或者例如平臺(tái)1902、（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930和（一個(gè)或多個(gè)）內(nèi)容遞送設(shè)備1940可被集成。在各種實(shí)施例中，平臺(tái)1902和顯示器1920可以是集成單元。例如，顯示器1920和（一個(gè)或多個(gè)）內(nèi)容服務(wù)設(shè)備1930可被集成，或者顯示器1920和（一個(gè)或多個(gè)）內(nèi)容遞送設(shè)備1940可被集成。這些示例不意圖限制本公開(kāi)。

在各種實(shí)施例中，系統(tǒng)1900可被實(shí)施為無(wú)線(xiàn)系統(tǒng)、有線(xiàn)系統(tǒng)或二者的組合。當(dāng)被實(shí)施為無(wú)線(xiàn)系統(tǒng)時(shí)，系統(tǒng)1900可包括適用于通過(guò)無(wú)線(xiàn)共享介質(zhì)進(jìn)行通信的組件和接口，諸如一個(gè)或多個(gè)天線(xiàn)、發(fā)射器、接收器、收發(fā)器、放大器、濾波器、控制邏輯等等。無(wú)線(xiàn)共享介質(zhì)的示例可包括無(wú)線(xiàn)頻譜（諸如rf頻譜等等）的部分。當(dāng)被實(shí)施為有線(xiàn)系統(tǒng)時(shí)，系統(tǒng)1900可包括適用于通過(guò)有線(xiàn)通信介質(zhì)進(jìn)行通信的組件和接口，諸如輸入/輸出（i/o）適配器、將i/o適配器與對(duì)應(yīng)的有線(xiàn)通信介質(zhì)連接的物理連接器、網(wǎng)絡(luò)接口卡（nic）、盤(pán)控制器、視頻控制器、音頻控制器等等。有線(xiàn)通信介質(zhì)的示例可包括導(dǎo)線(xiàn)、電纜、金屬引線(xiàn)、印刷電路板（pcb）、背板、交換結(jié)構(gòu)、半導(dǎo)體材料、雙絞線(xiàn)、同軸電纜、光纖等等。

平臺(tái)1902可建立一個(gè)或多個(gè)邏輯或物理信道來(lái)傳送信息。該信息可包括媒體信息和控制信息。媒體信息可指代表示期望用于用戶(hù)的內(nèi)容的任何數(shù)據(jù)。內(nèi)容的示例可包括例如來(lái)自語(yǔ)音會(huì)話(huà)的數(shù)據(jù)、視頻會(huì)議、流式視頻、電子郵件（“email”）消息、語(yǔ)音郵件消息、字母數(shù)字符號(hào)、圖形、圖像、視頻、文本等等。來(lái)自語(yǔ)音會(huì)話(huà)的數(shù)據(jù)可以是例如言語(yǔ)信息、靜默時(shí)段、背景噪聲、舒適噪聲、音調(diào)等等。控制信息可指代表示期望用于自動(dòng)化系統(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可被用來(lái)將媒體信息路由通過(guò)系統(tǒng)，或者指示節(jié)點(diǎn)以預(yù)定方式處理媒體信息。然而，實(shí)施方式不限于圖19中所示或所述的元件或在圖19中所示或所述的上下文中。

參考圖20，小形狀因子設(shè)備2000是系統(tǒng)1800或1900可以其具體化的變化的物理樣式或形狀因子的一個(gè)示例。通過(guò)該方法，設(shè)備2000可被實(shí)施為具有無(wú)線(xiàn)能力的移動(dòng)計(jì)算設(shè)備。例如移動(dòng)計(jì)算設(shè)備可指代具有處理系統(tǒng)和移動(dòng)電源或電力供應(yīng)（諸如一個(gè)或多個(gè)電池）的任何設(shè)備。

如上文所述，移動(dòng)計(jì)算設(shè)備的示例可包括數(shù)字靜止相機(jī)、數(shù)字視頻相機(jī)、具有相機(jī)或視頻功能的移動(dòng)設(shè)備（諸如成像電話(huà)、網(wǎng)絡(luò)相機(jī)、個(gè)人計(jì)算機(jī)（pc）、膝上型計(jì)算機(jī)、超級(jí)膝上型計(jì)算機(jī)、平板電腦、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理（pda）、蜂窩電話(huà)、組合蜂窩電話(huà)/pda、電視、智能設(shè)備（例如智能電話(huà)、智能平板電腦或智能電視）、移動(dòng)因特網(wǎng)設(shè)備（mid）、消息傳遞設(shè)備、數(shù)據(jù)通信設(shè)備等等）、以及作為相機(jī)陣列的部分或具有相機(jī)陣列的這些中的任一個(gè)。

移動(dòng)計(jì)算設(shè)備的示例還可包括被布置成由人穿戴的計(jì)算機(jī)，諸如手腕計(jì)算機(jī)、手指計(jì)算機(jī)、戒指計(jì)算機(jī)、眼鏡計(jì)算機(jī)、帶夾計(jì)算機(jī)、臂帶計(jì)算機(jī)、鞋計(jì)算機(jī)、衣服計(jì)算機(jī)和其他可穿戴計(jì)算機(jī)。在各種實(shí)施例中，例如，移動(dòng)計(jì)算設(shè)備可被實(shí)施為能夠執(zhí)行計(jì)算機(jī)應(yīng)用、以及語(yǔ)音通信和/或數(shù)據(jù)通信的智能電話(huà)。盡管通過(guò)示例的方式可利用被實(shí)施為智能電話(huà)的移動(dòng)計(jì)算設(shè)備來(lái)描述一些實(shí)施例，但是可認(rèn)識(shí)到也可使用其他無(wú)線(xiàn)移動(dòng)計(jì)算設(shè)備來(lái)實(shí)施其他實(shí)施例。實(shí)施例不限于在該上下文中。

如圖20中所示，設(shè)備2020可包括外殼2002、包括屏幕2010的顯示器2004、輸入/輸出（i/o）設(shè)備2006、和天線(xiàn)2008。設(shè)備2000還可包括導(dǎo)航特征2012。顯示器1004可包括用于顯示適用于移動(dòng)計(jì)算設(shè)備的信息的任何合適的顯示單元。i/o設(shè)備2006可包括用于將信息輸入到移動(dòng)計(jì)算設(shè)備中的任何合適的i/o設(shè)備。用于i/o設(shè)備2006的示例可包括字母數(shù)字鍵盤(pán)、數(shù)字鍵盤(pán)、觸摸板、輸入鍵、按鈕、開(kāi)關(guān)、搖臂開(kāi)關(guān)、麥克風(fēng)、揚(yáng)聲器、語(yǔ)音識(shí)別設(shè)備和軟件、等等。信息還可通過(guò)麥克風(fēng)（未示出）的方式被輸入至設(shè)備2000中?？赏ㄟ^(guò)語(yǔ)音識(shí)別設(shè)備（未示出）來(lái)對(duì)此類(lèi)信息數(shù)字化。該實(shí)施方式不限于在該上下文中。

本文所述的各種形式的設(shè)備和過(guò)程可以使用硬件元件、軟件元件或二者的組合來(lái)實(shí)現(xiàn)。硬件元件的示例可以包括處理器、微處理器、電路、電路元件（例如，晶體管、電阻器、電容器、電感器等）、集成電路、專(zhuān)用集成電路（asic）、可編程邏輯設(shè)備（pld）、數(shù)字信號(hào)處理器（dsp）、現(xiàn)場(chǎng)可編程門(mén)陣列（fpga）、邏輯門(mén)、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片集等。軟件的示例可以包括軟件組件、程序、應(yīng)用、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、過(guò)程、軟件接口、應(yīng)用程序接口（api）、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、字、值、符號(hào)或其任何組合。確定是否使用硬件元件和/或軟件元件來(lái)實(shí)施實(shí)施方式可以根據(jù)任何數(shù)目的因素而變化，諸如期望的計(jì)算速率、功率水平、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲(chǔ)器資源、數(shù)據(jù)總線(xiàn)速度以及其他設(shè)計(jì)或性能約束。

至少一個(gè)實(shí)施方式的一個(gè)或多個(gè)方面可以由存儲(chǔ)在表示處理器內(nèi)的各種邏輯的機(jī)器可讀介質(zhì)上的代表性指令來(lái)實(shí)現(xiàn)，其在由機(jī)器讀取時(shí)使得機(jī)器構(gòu)造邏輯以執(zhí)行此處描述的技術(shù)。稱(chēng)為“ip核”的此類(lèi)表示可以被存儲(chǔ)在有形機(jī)器可讀介質(zhì)上，并且被供應(yīng)到各種客戶(hù)或制造設(shè)施以加載到實(shí)際作出邏輯或處理器的構(gòu)造機(jī)器中。

雖然已經(jīng)參考各種實(shí)施方式描述了此處闡述的特定特征，但是該描述不意在限制的意義上被解釋。因此，此處描述的實(shí)施方式的各種修改以及對(duì)本公開(kāi)所屬于的領(lǐng)域中的技術(shù)人員顯而易見(jiàn)的其他實(shí)施方式被認(rèn)為在本公開(kāi)的精神和范圍內(nèi)。

下面的示例屬于進(jìn)一步的實(shí)施方式。

通過(guò)一個(gè)示例實(shí)施方式，一種用于相機(jī)陣列的透鏡移位校正的計(jì)算機(jī)實(shí)施的方法包括：獲得多個(gè)相機(jī)的圖像數(shù)據(jù)，其中所述相機(jī)中的至少一個(gè)要執(zhí)行自動(dòng)聚焦；確定移位參數(shù)以使自動(dòng)聚焦相機(jī)的單獨(dú)的圖像的錯(cuò)位點(diǎn)的位置移位并且校正通過(guò)使用所述多個(gè)相機(jī)的非自動(dòng)聚焦相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)確定的位置；以及通過(guò)使用所述參數(shù)來(lái)扭曲來(lái)自自動(dòng)聚焦相機(jī)的圖像以修改自動(dòng)聚焦相機(jī)的圖像上的錯(cuò)位點(diǎn)的位置。

通過(guò)另一實(shí)施方式，該方法可包括其中所述移位參數(shù)指示對(duì)錯(cuò)位點(diǎn)的校正，就像錯(cuò)位點(diǎn)是通過(guò)使用先前用于校準(zhǔn)的焦距、主點(diǎn)或這二者而定位的一樣；其中所述參數(shù)從自動(dòng)聚焦相機(jī)的圖像到圖像而不同；其中所述參數(shù)是通過(guò)使用超定線(xiàn)性系統(tǒng)來(lái)確定的；其中所述參數(shù)是通過(guò)使糾正誤差方程最小化來(lái)確定的；其中以具有要被確定的參數(shù)變量的矩陣乘法形式來(lái)放置誤差方程。所述方法還可以包括：建立至少兩條極線(xiàn)，每一條都從錯(cuò)位點(diǎn)的對(duì)應(yīng)點(diǎn)并從非自動(dòng)聚焦相機(jī)的圖像延伸，并且延伸到自動(dòng)聚焦相機(jī)的圖像，其中在自動(dòng)聚焦相機(jī)的圖像上的極線(xiàn)的交叉點(diǎn)是錯(cuò)位點(diǎn)的正確位置；確定從錯(cuò)位點(diǎn)到自動(dòng)聚焦相機(jī)的圖像上的極線(xiàn)中的每一條的距離；以及使用所述距離來(lái)計(jì)算所述移位參數(shù)中的至少一個(gè)。所述方法還可以包括，其中所述相機(jī)處于非共線(xiàn)布置；其中所述移位參數(shù)包括在大體上平行于自動(dòng)聚焦相機(jī)的傳感器的平面的方向上的2d位移，或者大體上在自動(dòng)聚焦相機(jī)的光軸的方向上的尺度；并且所述方法包括以下各項(xiàng)中的至少一個(gè)：利用所述參數(shù)扭曲自動(dòng)聚焦相機(jī)的經(jīng)糾正的圖像；以及利用所述參數(shù)扭曲自動(dòng)聚焦相機(jī)的未經(jīng)糾正的高分辨率圖像。

通過(guò)另外的實(shí)施方式，一種透鏡移位校正的計(jì)算機(jī)實(shí)施的系統(tǒng)，包括：顯示器；通信耦合至顯示器的至少一個(gè)處理器；通信耦合至至少一個(gè)處理器的至少一個(gè)存儲(chǔ)器；以及

透鏡移位校正單元，其通過(guò)處理器來(lái)操作并用來(lái)：獲得多個(gè)相機(jī)的圖像數(shù)據(jù)，其中所述相機(jī)中的至少一個(gè)要執(zhí)行自動(dòng)聚焦；確定移位參數(shù)以使自動(dòng)聚焦相機(jī)的單獨(dú)的圖像的錯(cuò)位點(diǎn)的位置移位并且校正通過(guò)使用所述多個(gè)相機(jī)的非自動(dòng)聚焦相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)確定的位置；以及通過(guò)使用所述參數(shù)來(lái)扭曲來(lái)自自動(dòng)聚焦相機(jī)的圖像以修改自動(dòng)聚焦相機(jī)的圖像上的錯(cuò)位點(diǎn)的位置。

通過(guò)又另外的實(shí)施方式，所述系統(tǒng)可包括其中所述移位參數(shù)指示對(duì)錯(cuò)位點(diǎn)的校正，就像錯(cuò)位點(diǎn)是通過(guò)使用先前用于校準(zhǔn)的焦距、主點(diǎn)或這二者而定位的一樣；其中所述參數(shù)從自動(dòng)聚焦相機(jī)的圖像到圖像而不同；其中所述參數(shù)是通過(guò)使用超定線(xiàn)性系統(tǒng)來(lái)確定的；其中所述參數(shù)是通過(guò)使糾正誤差方程最小化來(lái)確定的；其中以具有要被確定的參數(shù)變量的矩陣乘法形式來(lái)放置誤差方程。所述透鏡移位校正單元還可以被提供以：建立至少兩條極線(xiàn)，每一條都從錯(cuò)位點(diǎn)的對(duì)應(yīng)點(diǎn)并從非自動(dòng)聚焦相機(jī)的圖像延伸，并且延伸到自動(dòng)聚焦相機(jī)的圖像，其中在自動(dòng)聚焦相機(jī)的圖像上的極線(xiàn)的交叉點(diǎn)是錯(cuò)位點(diǎn)的正確位置；確定從錯(cuò)位點(diǎn)到自動(dòng)聚焦相機(jī)的圖像上的極線(xiàn)中的每一條的距離；以及使用所述距離來(lái)計(jì)算所述移位參數(shù)中的至少一個(gè)；其中所述相機(jī)處于非共線(xiàn)布置；其中所述移位參數(shù)包括在大體上平行于自動(dòng)聚焦相機(jī)的傳感器的平面的方向上的2d位移，或者大體上在自動(dòng)聚焦相機(jī)的光軸的方向上的尺度。所述透鏡移位校正單元要進(jìn)行以下中的至少一個(gè)：利用所述參數(shù)扭曲自動(dòng)聚焦相機(jī)的經(jīng)糾正的圖像；以及利用所述參數(shù)扭曲自動(dòng)聚焦相機(jī)的未經(jīng)糾正的高分辨率圖像。

通過(guò)另一實(shí)施方式，一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有指令，所述指令當(dāng)被執(zhí)行時(shí)使計(jì)算設(shè)備：獲得多個(gè)相機(jī)的圖像數(shù)據(jù)，其中所述相機(jī)中的至少一個(gè)要執(zhí)行自動(dòng)聚焦；確定移位參數(shù)以使自動(dòng)聚焦相機(jī)的單獨(dú)的圖像的錯(cuò)位點(diǎn)的位置移位并且校正通過(guò)使用所述多個(gè)相機(jī)的非自動(dòng)聚焦相機(jī)的圖像上的對(duì)應(yīng)點(diǎn)確定的位置；以及通過(guò)使用所述參數(shù)來(lái)扭曲來(lái)自自動(dòng)聚焦相機(jī)的圖像以修改自動(dòng)聚焦相機(jī)的圖像上的錯(cuò)位點(diǎn)的位置。

通過(guò)又另一實(shí)施方式，所述指令可使計(jì)算設(shè)備使得其中所述移位參數(shù)指示對(duì)錯(cuò)位點(diǎn)的校正，就像錯(cuò)位點(diǎn)是通過(guò)使用先前用于校準(zhǔn)的焦距、主點(diǎn)或這二者而定位的一樣；其中所述參數(shù)從自動(dòng)聚焦相機(jī)的圖像到圖像而不同；其中所述參數(shù)是通過(guò)使用超定線(xiàn)性系統(tǒng)來(lái)確定的；其中所述參數(shù)是通過(guò)使糾正誤差方程最小化來(lái)確定的；并且其中以具有要被確定的參數(shù)變量的矩陣乘法形式來(lái)放置誤差方程。所述指令可以使計(jì)算設(shè)備：建立至少兩條極線(xiàn)，每一條都從錯(cuò)位點(diǎn)的對(duì)應(yīng)點(diǎn)并從非自動(dòng)聚焦相機(jī)的圖像延伸，并且延伸到自動(dòng)聚焦相機(jī)的圖像，其中在自動(dòng)聚焦相機(jī)的圖像上的極線(xiàn)的交叉點(diǎn)是錯(cuò)位點(diǎn)的正確位置；確定從錯(cuò)位點(diǎn)到自動(dòng)聚焦相機(jī)的圖像上的極線(xiàn)中的每一條的距離；以及使用所述距離來(lái)計(jì)算所述移位參數(shù)中的至少一個(gè)；其中所述相機(jī)處于非共線(xiàn)布置；并且其中所述移位參數(shù)包括在大體上平行于自動(dòng)聚焦相機(jī)的傳感器的平面的方向上的2d位移，或者大體上在自動(dòng)聚焦相機(jī)的光軸的方向上的尺度。所述指令還可以使計(jì)算設(shè)備進(jìn)行以下中的至少一個(gè)：利用所述參數(shù)扭曲自動(dòng)聚焦相機(jī)的經(jīng)糾正的圖像；以及利用所述參數(shù)扭曲自動(dòng)聚焦相機(jī)的未經(jīng)糾正的高分辨率圖像。

在另外的示例中，至少一個(gè)機(jī)器可讀介質(zhì)可包括多個(gè)指令，所述多個(gè)指令響應(yīng)于在計(jì)算設(shè)備上被執(zhí)行來(lái)使計(jì)算設(shè)備執(zhí)行根據(jù)上述示例中的任一個(gè)的方法。

在又另外的示例中，一種裝置可包括用于執(zhí)行根據(jù)上述示例中的任一個(gè)的方法的部件。

上述的示例可以包括特征的特定組合。然而，上述示例不限于此方面，并且在各種實(shí)施方式中，上述示例可以包括僅進(jìn)行此類(lèi)特征的子集、進(jìn)行此類(lèi)特征的不同次序、進(jìn)行此類(lèi)特征的不同組合和/或進(jìn)行除了明確列出的那些特征之外的附加特征。例如，可以關(guān)于任何示例裝置、示例系統(tǒng)和/或示例物體來(lái)實(shí)施關(guān)于本文中任何示例方法描述的所有特征，并且反之亦然。