本申請要求于2014年6月2日提交的題為“IMAGE REFOCUSING FOR CAMERA ARRAYS(用于相機(jī)陣列的圖像重對(duì)焦)”的美國專利申請序號(hào)14/293,611的優(yōu)先權(quán)，該美國專利申請以其全部內(nèi)容通過引用結(jié)合在此。

背景技術(shù)：

圖像重對(duì)焦可以用于在拍攝圖像后對(duì)其進(jìn)行重對(duì)焦。例如，這種重對(duì)焦技術(shù)可以用于事后(例如，在拍攝圖像或多個(gè)圖像后)模擬淺景深。在成像時(shí)淺景深可以提供具有在圖像中興趣部分、興趣區(qū)域或興趣對(duì)象對(duì)焦而圖像的其他一個(gè)或多個(gè)部分離焦并具有一定模糊的美學(xué)。這種美學(xué)對(duì)于用戶而言可能是可期望的。在典型的攝影術(shù)中，可以在拍攝圖像的同時(shí)使用較大的光圈和其他攝影技術(shù)來獲得這種淺景深和相關(guān)美學(xué)。

在圖像重對(duì)焦中，存在若干種用于模擬淺景深的技術(shù)。例如，全光相機(jī)可以使用放置在傳感器前方的微透鏡陣列在4D中在相機(jī)的入射光孔處對(duì)光場進(jìn)行采樣，該傳感器在以不同角度進(jìn)入的射線被傳感器取平均之前將其分開。這種技術(shù)事后通過渲染視圖允許重對(duì)焦，其中將4D光場轉(zhuǎn)變?yōu)閳D像的集成以特定的角度發(fā)生。這種技術(shù)的主要缺點(diǎn)在于最大光圈受限于主透鏡的物理光圈并且需要對(duì)相機(jī)前方的變焦透鏡進(jìn)行復(fù)雜的光學(xué)設(shè)置。此外，這種變焦透鏡難以集成在移動(dòng)平臺(tái)中。

在另一個(gè)示例中，相機(jī)陣列可以用于事后實(shí)現(xiàn)重對(duì)焦。在相機(jī)陣列方式中，可以拍攝多重圖像(例如，經(jīng)由相機(jī)陣列)，并且可以使用移位和取平均技術(shù)來實(shí)現(xiàn)重對(duì)焦。例如，重對(duì)焦至選定深度包括選擇對(duì)應(yīng)于深度的位移、使圖像(例如，經(jīng)由相機(jī)陣列獲得的多重圖像)移位、并且取這些圖像的平均值。這種技術(shù)使處于選定深度的點(diǎn)保持對(duì)齊并因此對(duì)焦，而處于其他深度的點(diǎn)將不對(duì)齊并且將顯得模糊。這種技術(shù)可以由此模擬所討論的淺景深。然而，這種技術(shù)的結(jié)果可能提供在模糊(例如，離焦)區(qū)域中顯得不自然的圖像。

如此，現(xiàn)有技術(shù)不提供容易使用和高品質(zhì)的事后重對(duì)焦。隨著在各種設(shè)備實(shí)現(xiàn)方式中獲取高品質(zhì)、美觀的圖像的期望變得更加廣泛，這種問題可能變得關(guān)鍵。

附圖說明

在附圖中通過舉例而非限制的方式展示了在此所描述的材料。為了展示的簡單和清楚，圖中所展示的元件不一定按比例繪制。例如，為清楚起見，某些元件的尺寸相對(duì)于其他元件可能被放大了。此外，在認(rèn)為適當(dāng)?shù)那闆r下，在附圖之間對(duì)參考標(biāo)記加以重復(fù)以表示相應(yīng)的或相似的元件。在附圖中：

圖1是一種用于提供圖像重對(duì)焦的示例系統(tǒng)的示意圖；

圖2展示了示例相機(jī)陣列和示例獲得圖像；

圖3展示了示例全對(duì)焦參考圖像；

圖4展示了示例基本重對(duì)焦圖像；

圖5展示了示例差值圖像；

圖6展示了示例低通差值圖像；

圖7展示了示例最終重對(duì)焦圖像；

圖8是一種用于提供圖像重對(duì)焦的示例系統(tǒng)的示意圖；

圖9展示了示例經(jīng)處理低通差分圖像金字塔；

圖10展示了基本重對(duì)焦圖像金字塔和掩碼(mask)金字塔的示例乘積；

圖11是一種用于提供圖像重對(duì)焦的示例系統(tǒng)的示意圖；

圖12是展示了用于提供圖像重對(duì)焦的示例過程的流程圖；

圖13是示例系統(tǒng)的示意圖；

圖14是示例系統(tǒng)的示意圖；以及

圖15展示了全部根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例設(shè)備。

具體實(shí)施方式

現(xiàn)在參照附圖描述一個(gè)或多個(gè)實(shí)施例或?qū)崿F(xiàn)方式。雖然對(duì)特定配置和安排進(jìn)行了討論，但應(yīng)理解，這僅出于說明目的來進(jìn)行。相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，在不背離本描述的精神和范圍的情況下可以采用其他配置和安排。將對(duì)相關(guān)領(lǐng)域的技術(shù)人員明顯的是，在此描述的技術(shù)和/或安排還可以在除了在此描述的系統(tǒng)和應(yīng)用之外的各種各樣的其他系統(tǒng)和應(yīng)用中被采用。

雖然以下描述闡述可以在如例如片上系統(tǒng)(SoC)架構(gòu)的架構(gòu)中顯現(xiàn)各實(shí)現(xiàn)方式，但在此描述的技術(shù)和/或安排的實(shí)現(xiàn)方式并不局限于具體的架構(gòu)和/或計(jì)算系統(tǒng)并且出于類似目的可以由任何架構(gòu)和/或計(jì)算系統(tǒng)實(shí)現(xiàn)。例如，采用例如多個(gè)集成電路(IC)芯片和/或封裝體、和/或各種計(jì)算設(shè)備和/或消費(fèi)電子產(chǎn)品(CE)設(shè)備(如機(jī)頂盒、智能電話等)的各架構(gòu)可以實(shí)現(xiàn)在此描述的技術(shù)和/或安排。此外，雖然以下描述可以闡述許多特定的細(xì)節(jié)(如邏輯實(shí)現(xiàn)、系統(tǒng)組件的類型和內(nèi)在關(guān)系、邏輯劃分/集成選擇等)，但要求保護(hù)的主題可以在沒有這些特定細(xì)節(jié)的情況下被實(shí)踐。在其他情形下，可以不詳細(xì)示出某些材料(如，例如，控制結(jié)構(gòu)和完整的軟件指令序列)，以便不模糊在此公開的材料。

在此公開的材料可以在硬件、固件、軟件、或其任何組合中實(shí)現(xiàn)。在此公開的材料還可以被實(shí)現(xiàn)為存儲(chǔ)于機(jī)器可讀介質(zhì)上的指令，這些指令可以被一個(gè)或多個(gè)處理器讀取或執(zhí)行。機(jī)器可讀介質(zhì)可以包括用于存儲(chǔ)或傳輸具有由機(jī)器(例如，計(jì)算設(shè)備)可讀的形式的信息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀介質(zhì)可以包括只讀存儲(chǔ)器(ROM)；隨機(jī)存取存儲(chǔ)器(RAM)；磁盤存儲(chǔ)介質(zhì)；光學(xué)存儲(chǔ)介質(zhì)；閃存設(shè)備；電氣、光學(xué)、聲學(xué)或其他形式的傳播信號(hào)(例如，載波、紅外信號(hào)、數(shù)字信號(hào)等)等。

說明書中提到“一種實(shí)現(xiàn)方式(one implementation)”、“實(shí)現(xiàn)方式(an implementation)”、“示例實(shí)現(xiàn)方式(an example implementation)”等表明所描述的實(shí)施例實(shí)現(xiàn)方式可以包括具體特征、結(jié)構(gòu)、或特性，但每個(gè)實(shí)施例可能不一定包括這個(gè)具體特征、結(jié)構(gòu)、或特性。此外，這些短語不一定指同一實(shí)現(xiàn)方式。另外，當(dāng)結(jié)合一個(gè)實(shí)施例描述特定的特征、結(jié)構(gòu)或特性時(shí)，應(yīng)理解，結(jié)合無論在此是否明確地描述的其他實(shí)現(xiàn)方式來實(shí)施這種特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的認(rèn)知范圍內(nèi)。

在此描述的方法、設(shè)備、裝置、計(jì)算平臺(tái)和制品涉及圖像重對(duì)焦并且尤其涉及基于經(jīng)由相機(jī)陣列接收的圖像的圖像重對(duì)焦。

如上所述，提供基于經(jīng)由相機(jī)陣列獲得的圖像來模擬淺景深的圖像重對(duì)焦可能是有利的。例如，淺景深和相關(guān)美學(xué)對(duì)于用戶而言可能是可期望的。同樣如所討論的，現(xiàn)有技術(shù)可能在重對(duì)焦圖像的模糊(例如，離焦)區(qū)域中提供不自然的外觀。例如，在來自移位和取平均技術(shù)的結(jié)果中，模糊區(qū)域可能顯得好像它們具有對(duì)象的多重覆蓋復(fù)制，這可能導(dǎo)致不連貫且不自然的外觀，而不是更平滑的模糊效果。

在其他情況下，使用來自于相機(jī)陣列的兩個(gè)或更多個(gè)圖像明確估計(jì)圖像中的每個(gè)像素的視差(或深度)并且使用這種經(jīng)估計(jì)的視差通過將不同的模糊量應(yīng)用于具有不同深度的像素來產(chǎn)生重對(duì)焦圖像是可能的。然而這種方式在計(jì)算方面比之前描述的轉(zhuǎn)移和取平均技術(shù)更加昂貴，因?yàn)閷?duì)視差的密集估計(jì)昂貴并且在一些情況下是不可靠的操作。

在此討論的一些實(shí)施例中，圖像重對(duì)焦可以包括由相機(jī)陣列獲取場景的多個(gè)圖像?；谶@些圖像，例如可以確定全對(duì)焦參考圖像(例如，所獲取圖像中的經(jīng)選擇圖像)和基本重對(duì)焦圖像，該基本重對(duì)焦圖像可以基于轉(zhuǎn)移和取平均技術(shù)而生成，該轉(zhuǎn)移和取平均技術(shù)包括基于與期望深度相關(guān)聯(lián)的位移來使圖像移位并且對(duì)所述經(jīng)移位的圖像取平均以生成該基本重對(duì)焦圖像?？梢匀∪珜?duì)焦參考圖像和基本重對(duì)焦圖像的差值來生成差值圖像。可以將低通濾波器應(yīng)用于差值圖像以生成低通差值圖像。可以將基于差值圖像(例如，使用差值圖像、低通差值圖像和/或額外信息生成)的空變?yōu)V波器應(yīng)用于重對(duì)焦圖像以生成最終重對(duì)焦圖像。最終重對(duì)焦圖像可以包括相對(duì)于全對(duì)焦參考圖像而言增大的模糊的區(qū)域。例如，可以使差值圖像等中的較大差值的區(qū)域比具有較小差值的另一個(gè)區(qū)域模糊更大量。在一些示例中，應(yīng)用空變?yōu)V波器包括基于拉普拉斯金字塔近似來應(yīng)用近似空變?yōu)V波器。

使用這種技術(shù)，所生成的模糊具有平滑和自然的外觀。此外，這些技術(shù)是計(jì)算效率的并且可以提供實(shí)時(shí)處理，使得用戶可以快速獲得結(jié)果和/或?qū)崟r(shí)選擇修改圖像。在一些實(shí)現(xiàn)方式中，這些技術(shù)可以應(yīng)用于實(shí)時(shí)視頻。

圖1是根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的用于提供圖像重對(duì)焦的示例系統(tǒng)100的示意圖。如圖1所示，系統(tǒng)100可以包括取差器模塊103、低通濾波器模塊105、和空變?yōu)V波器模塊107。在各個(gè)示例中，取差器模塊103、低通濾波器模塊105、和空變?yōu)V波器模塊107可以經(jīng)由一個(gè)或多個(gè)中央處理單元和/或一個(gè)或多個(gè)圖形處理單元來實(shí)現(xiàn)，如在此進(jìn)一步討論的。如圖1所示，取差器模塊103可以接收全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a。例如，全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a可以基于經(jīng)由相機(jī)陣列接收的多重圖像來確定。

圖2展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例相機(jī)陣列200和示例獲得圖像210。如圖2所示，相機(jī)陣列200可以包括用于在來自相機(jī)201-204的方向205上獲得多重圖像211-214的多個(gè)相機(jī)201-204。如所示出的，可以由相機(jī)陣列200的每個(gè)相機(jī)獲得圖像，從而經(jīng)由相機(jī)201獲得圖像211，經(jīng)由相機(jī)202獲得圖像212，經(jīng)由相機(jī)203獲得圖像213，并且經(jīng)由相機(jī)204獲得圖像214。在所展示的示例中，相機(jī)陣列200包括可以獲得四個(gè)圖像211-214的四個(gè)相機(jī)201-204，然而可以使用任何適當(dāng)數(shù)量的相機(jī)和關(guān)聯(lián)圖像。在各個(gè)示例中，相機(jī)陣列包括9個(gè)相機(jī)(例如，呈3×3網(wǎng)格)、16個(gè)相機(jī)(例如，呈4×4網(wǎng)格)等。此外，在所展示的示例中，相機(jī)陣列200包括以在中心周圍的網(wǎng)格圖形均勻間隔和安排的相機(jī)201-204，然而相機(jī)陣列200可以包括任何適當(dāng)?shù)陌才藕烷g距。例如，相機(jī)201-204可以不均勻間隔，相機(jī)201-204可以呈另一種圖案來安排(例如，圓形地、呈方形、僅沿水平線、僅沿豎直線等等)。在一些示例中，在實(shí)現(xiàn)所討論的重對(duì)焦技術(shù)中，可以提供間隔更遠(yuǎn)的相機(jī)201-204以用于更容易將對(duì)象分開。例如，相機(jī)201-204的放置可以提供類似于單個(gè)相機(jī)實(shí)現(xiàn)方式中的光圈，使得在相機(jī)201-204之間的距離越大，綜合光圈就越大(并且在所討論的重對(duì)焦技術(shù)中的提供淺景深的能力和對(duì)象分離的能力就越大)。

相機(jī)201-204可以具有用于獲得圖像211-214的任何適當(dāng)?shù)奶卣?。在?shí)施例中，相機(jī)201-204是近似全對(duì)焦的定焦相機(jī)(例如，從約60cm至1m的短距離至有效的無窮距離對(duì)焦)。此外，相機(jī)陣列200可以通信地耦合至系統(tǒng)100(例如，經(jīng)由有線或無線通信連接等)，或者相機(jī)陣列200可以與系統(tǒng)100整合。如所討論的，系統(tǒng)100可以從相機(jī)陣列200獲得圖像211-214。

返回至圖1，系統(tǒng)100可以接收圖像211-214。可以使用圖像211-214中的一者或多者來選擇參考圖像和/或參考圖像內(nèi)的興趣位置。例如，可以將圖像211-214中的一者或多者呈現(xiàn)給用戶，并且用戶可以選擇、或可以基于對(duì)所呈現(xiàn)圖像的操控被動(dòng)地選擇圖像211-214中的參考圖像。此外，用戶可以選擇參考圖像內(nèi)的興趣對(duì)象(例如，興趣面或其他興趣對(duì)象)或興趣位置。例如，所選擇的對(duì)象或位置可以是用戶經(jīng)由顯示圖像的觸摸屏來選擇的。在其他示例中，系統(tǒng)100可以選擇參考圖像和/或參考圖像內(nèi)的興趣對(duì)象或興趣位置。例如，系統(tǒng)100可以基于相機(jī)201-204的預(yù)選參考相機(jī)的位置、相機(jī)201-204的參考相機(jī)的品質(zhì)等等來從圖像211-214中選擇參考圖像。在一些示例中，系統(tǒng)100可以使用對(duì)象識(shí)別或面部識(shí)別技術(shù)等等來選擇參考圖像內(nèi)的對(duì)象或位置。

如所討論的，可以確定參考圖像(和拍攝參考圖像的關(guān)聯(lián)參考相機(jī))以及在該參考圖像內(nèi)的一個(gè)或多個(gè)對(duì)象或位置?；谒x擇的參考圖像，可以通過基于任何適當(dāng)?shù)霓D(zhuǎn)換技術(shù)將所選擇的參考圖像轉(zhuǎn)換成灰度來確定全對(duì)焦參考圖像(灰度)101?；趨⒖枷鄼C(jī)近似全對(duì)焦并且為了將參考圖像與如在此討論的生成的具有模糊區(qū)域等等的圖像加以區(qū)分，可以認(rèn)為參考圖像全對(duì)焦。在一些示例中，基于參考相機(jī)獲取圖像，參考圖像可以包括離焦或模糊區(qū)域。

圖3展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例全對(duì)焦參考圖像(灰度)101。如圖3所示，全對(duì)焦參考圖像(灰度)101可以基本上全對(duì)焦(例如，全對(duì)焦參考圖像(灰度)101中沒有部分基本上模糊或離焦)。此外，可以在全對(duì)焦參考圖像(灰度)101內(nèi)確定興趣目標(biāo)或興趣對(duì)象302。如所討論的，興趣目標(biāo)或興趣對(duì)象302可以是用戶確定或系統(tǒng)確定等等。在所展示的示例中，興趣目標(biāo)或興趣對(duì)象302是基本上在全對(duì)焦參考圖像(灰度)101的背景中的掛毯或掛毯的一部分。在其他示例中，前景對(duì)象(例如，全對(duì)焦參考圖像(灰度)101中的填充玩具猴或桌子)或中景對(duì)象(例如，全對(duì)焦參考圖像(灰度)101中的填充玩具獵豹)可以是興趣對(duì)象或興趣位置。

返回至圖1，基于在參考圖像內(nèi)的所選擇的對(duì)象或位置，可以在圖像211-214上執(zhí)行重對(duì)焦以生成基本重對(duì)焦圖像(彩色)102b和/或基本重對(duì)焦圖像(灰度)102a。例如，可以使用移位和取平均技術(shù)來執(zhí)行基本重對(duì)焦。為了討論，假設(shè)圖像211是參考圖像并且相機(jī)201是參考相機(jī)，然而圖像211-214中的任何圖像可以是參考圖像并且相機(jī)201-204中的任何相機(jī)可以是參考相機(jī)。在一些示例中，可以確定與在參考圖像211內(nèi)的所選擇的對(duì)象或位置相關(guān)聯(lián)的深度?；谏疃?，可以針對(duì)圖像212、213、214中的所有圖像或每個(gè)圖像確定位移。例如，所述(多個(gè))位移可以對(duì)應(yīng)于所確定的深度，使得所述(多個(gè))位移(在圖像211-214之間)與興趣對(duì)象或興趣位置對(duì)齊。圖像212、213、214然后可以根據(jù)所確定的(多個(gè))位移來移位并且基于分別在相機(jī)202、203、204與參考相機(jī)之間的相對(duì)距離來縮放。在移位之后，可以取在圖像211-214之間的平均值來確定基本重對(duì)焦圖像(彩色)102b和/或基本重對(duì)焦圖像(灰度)102a。移位(帶縮放)和取平均技術(shù)可以經(jīng)由在確定平均值之后將在所選擇的深度(例如，在興趣對(duì)象或興趣位置的深度處)中的點(diǎn)保持對(duì)齊并且因此對(duì)焦、同時(shí)使在不同深度處的點(diǎn)對(duì)偏從而使其顯得模糊或離焦來提供模糊。

在使用這種技術(shù)生成彩色圖像(例如，基本重對(duì)焦圖像(彩色)102b)的實(shí)施例中，可以使用任何適當(dāng)?shù)募夹g(shù)基于該彩色圖像的轉(zhuǎn)換而生成灰度圖像(例如，基本重對(duì)焦圖像(灰度)102a)。在其他實(shí)施例中，可以使用這種技術(shù)生成灰度圖像(例如，基本重對(duì)焦圖像(灰度)102a)。

圖4展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例基本重對(duì)焦圖像(灰度)102a。如圖4所示，可能已經(jīng)將模糊區(qū)域401提供在基本重對(duì)焦圖像(灰度)102a中(在基本重對(duì)焦圖像(灰度)102a)中的其他區(qū)域也具有模糊效應(yīng))。可以如所討論的基于移位和取平均技術(shù)來提供模糊區(qū)域401。如在圖4的特寫鏡頭403中所示，模糊區(qū)域401可能具有不自然且不令人期望的外觀，就好像已經(jīng)覆蓋了該圖像的多重復(fù)制，這些多重復(fù)制給基本重對(duì)焦圖像(灰度)102a的觀察者呈現(xiàn)了不連貫的效應(yīng)。此外，在基本重對(duì)焦圖像(灰度)102a中展示了興趣對(duì)象或興趣位置402。如所示出的，興趣對(duì)象或興趣位置402在應(yīng)用了所討論的移位和取平均技術(shù)之后可以保持對(duì)焦(例如，沒有模糊)。

返回至圖1，系統(tǒng)100的取差器模塊103可以取全對(duì)焦參考圖像(灰度)101與基本重對(duì)焦圖像(灰度)102a的差值以生成如圖1所示的差值圖像104。取差器模塊103可以將任何適當(dāng)?shù)牟钪祽?yīng)用至全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a，如這些圖像的絕對(duì)值差值等等。

圖5展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例差值圖像104。如圖5所示，差值圖像104可以通過在位置501、502中顯得更亮而對(duì)期望模糊效應(yīng)的那些位置(例如，在全對(duì)焦參考圖像(灰度)101的期望離焦效應(yīng)的深度處，請參見圖3)進(jìn)行表明或高亮，并且可以通過在位置503、504中顯得更暗而對(duì)不期望模糊效應(yīng)并且反而期望保持對(duì)焦的那些位置(例如，在興趣對(duì)象或興趣位置302處以及在相同或相似深度處的位置處，請參見圖3)不進(jìn)行表明或高亮。情況就是這樣，因?yàn)榛局貙?duì)焦圖像(灰度)102a在對(duì)焦區(qū)域(例如，在位置503、504處)中非常類似于全對(duì)焦參考圖像(灰度)101，從而引起小的差值，而在離焦區(qū)域(例如，在位置501、502處)存在更多差值，從而引起較大的差值。如在此進(jìn)一步討論的，可以將基于差值圖像104的空變?yōu)V波器應(yīng)用于基本重對(duì)焦圖像(彩色)102b以生成最終重對(duì)焦圖像(彩色)108(請參見圖1)，該最終重對(duì)焦圖像具有相對(duì)于全對(duì)焦參考圖像(灰度)101而言增大的模糊的區(qū)域。這種空變?yōu)V波器可以通過應(yīng)用額外的空變模糊改善重對(duì)焦圖像的品質(zhì)，該額外的空變模糊在一些區(qū)域(例如在差值圖像104中顯得更暗的在位置503、504或具有類似深度的位置處的區(qū)域)中保留對(duì)焦并且在其他區(qū)域(例如，在差值圖像104中顯得更亮的位置501、502或相對(duì)于位置503、504具有深度差值的位置處的區(qū)域)中提供更多模糊。

返回至圖1，可以經(jīng)由低通濾波器模塊105將低通濾波器應(yīng)用于差值圖像104以生成低通差值圖像106。所應(yīng)用的低通濾波器例如可以近似或提供模糊寬度。所應(yīng)用的低通濾波器可以包括任何適當(dāng)?shù)牡屯V波器，該低通濾波器使差值圖像104內(nèi)的低頻率信息通過并且減少差值圖像104內(nèi)的較高頻率的信息。例如，低通差值圖像106可以具有如經(jīng)由低通濾波器提供的基本上平滑的變化模糊。

圖6展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例低通差值圖像106。如圖6所示，低通差值圖像106可以對(duì)期望模糊效應(yīng)的位置601、602進(jìn)行表明或高亮，并且可以對(duì)不期望模糊效應(yīng)并且反而期望保持對(duì)焦的位置603、604不進(jìn)行表明或高亮，如參照圖5的位置501-504討論的。同樣如圖6所示，當(dāng)與由差值圖像104提供的更加生硬的表示相比時(shí)(請參見圖5)，低通差值圖像106可以表明或提供基本上平滑的變化模糊。

返回至圖1，空變?yōu)V波器模塊107可以基于低通差值圖像106(并由此基于差值圖像104)將空變?yōu)V波器應(yīng)用于基本重對(duì)焦圖像(彩色)102b以生成最終重對(duì)焦圖像(彩色)108。在實(shí)施例中，空變?yōu)V波器可以應(yīng)用功能，該功能估計(jì)模糊寬度并且考慮其他信息(例如，基本重對(duì)焦圖像(灰度)102a的估計(jì)噪聲級(jí)和/或基本重對(duì)焦圖像(灰度)102a的圖像梯度)，如在以下進(jìn)一步討論的。

在實(shí)施例中，空變?yōu)V波器可以基于低通差值圖像106經(jīng)由對(duì)像素取平均來應(yīng)用模糊。例如，可以在目標(biāo)像素(例如，被取平均的像素)周圍的像素窗口取平均，從而為目標(biāo)像素生成新值。取決于窗口的尺寸，可以應(yīng)用不同量的模糊。例如，可以基于針對(duì)差值圖像104或低通差值圖像106的密度視差圖來確定針對(duì)每個(gè)像素的窗口的尺寸。一個(gè)像素的窗口將不應(yīng)用模糊(例如，像素值將不產(chǎn)生改變)，小窗口將應(yīng)用一些模糊，并且較大的窗口(例如，經(jīng)由在大量像素上取平均)將提供更多模糊。通過將這種空變?yōu)V波器應(yīng)用于基本重對(duì)焦圖像(彩色)102b，一些部分可以不經(jīng)受模糊，而其他部分或區(qū)域可以經(jīng)受不同級(jí)的模糊以生成最終重對(duì)焦圖像(彩色)108。所討論的像素窗口可以基本上是任何形狀的，如方形、矩形、或圓形，其中在一些實(shí)現(xiàn)方式中循環(huán)對(duì)稱形狀是尤其有利的。此外，像素窗口可以具有任何適當(dāng)?shù)某叽缫杂糜谔峁o模糊(例如，1像素)至大量模糊(例如數(shù)十像素或數(shù)百像素等等)。例如，像素窗口的尺寸可以被描述為模糊寬度σ，從而模糊寬度越大，所應(yīng)用的模糊量就越大。如在此所討論的，通過將暗像素應(yīng)用至低模糊或無模糊并且將較亮的像素映射至更多模糊，可以由差值圖像104或其處理版本(例如，低通差值圖像106)導(dǎo)出在每個(gè)像素處必需的模糊量。

在其他實(shí)施例中，空變?yōu)V波器可以基于近似來應(yīng)用空變模糊。例如，可以經(jīng)由拉普拉斯金字塔近似技術(shù)來應(yīng)用空變?yōu)V波器，如在此進(jìn)一步討論的。例如，可以生成基于基本重對(duì)焦圖像(彩色)102b的基本重對(duì)焦圖像拉普拉斯金字塔以及基于低通差值圖像106的加權(quán)高斯金字塔?？梢源_定基本重對(duì)焦圖像拉普拉斯金字塔和加權(quán)高斯金字塔的乘積，并且可以將該乘積(金字塔)重構(gòu)以生成最終重對(duì)焦圖像(彩色)108。在一些示例中，所討論的拉普拉斯金字塔近似技術(shù)可以獨(dú)立地應(yīng)用于基本重對(duì)焦圖像(彩色)102b的每個(gè)顏色通道以生成最終重對(duì)焦圖像(彩色)108。這種近似技術(shù)可以節(jié)省實(shí)大量計(jì)算資源。這種近似與在差值圖像中為基礎(chǔ)的近似模糊映射一起可以使得能夠?qū)崟r(shí)應(yīng)用，就像在預(yù)覽輸入視頻流(例如，取景)時(shí)重對(duì)焦一樣。此外，這種近似技術(shù)可以在最終重對(duì)焦圖像(彩色)108中提供高品質(zhì)結(jié)果，非常接近于將空變寬度模糊內(nèi)核應(yīng)用至基本重對(duì)焦圖像中的每個(gè)像素的直接實(shí)現(xiàn)方式。

之前提到，除了差值圖像之外可以使用其他信息來估計(jì)模糊級(jí)。具體地，可以使用全對(duì)焦參考圖像(灰度)102a的噪聲級(jí)和梯度。噪聲級(jí)估計(jì)的目的是避免在基本重對(duì)焦圖像中被選擇成對(duì)焦的區(qū)域中引入任何額外的模糊。取經(jīng)移位的圖像的平均值的一個(gè)副作用是對(duì)焦的區(qū)域(其中位移使不同圖像中的對(duì)象適當(dāng)?shù)貙?duì)齊)將是來自若干噪聲輸入的平均值(輸入圖像通常將受噪聲影響)，從而引起受噪聲影響較小的值。因此，即使全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a兩者在對(duì)焦的區(qū)域中非常類似，由于之前詳細(xì)描述的取平均的副作用，它們將在那些區(qū)域中對(duì)其造成影響的噪聲量方面有所區(qū)別。這將產(chǎn)生差值，這些差值在差值圖像104中可能是顯而易見的并且不是由模糊中的差值而是由噪聲中的差值造成的。為了避免在這些區(qū)域中引入模糊，我們在全對(duì)焦參考圖像(灰度)101中對(duì)噪聲級(jí)進(jìn)行估計(jì)。可以將這個(gè)噪聲級(jí)使用成使得將小于噪聲級(jí)的差值分配給1像素的模糊寬度(無模糊)。例如，實(shí)現(xiàn)這一點(diǎn)的一種方式是從絕對(duì)差值中減去噪聲級(jí)，并且然后將所有負(fù)值設(shè)定成0，這將被映射至1像素的模糊寬度(無模糊)。

使用全對(duì)焦參考圖像(灰度)101的梯度的目的是避免在區(qū)域中的過量模糊，這些區(qū)域在取平均之前可能輕微地對(duì)偏但是具有強(qiáng)的強(qiáng)度不連續(xù)性。具有輕微對(duì)偏的這些區(qū)域?qū)⑿枰恍┝康念~外模糊。在其包含強(qiáng)的邊緣不連續(xù)性的情況下，即便小的對(duì)偏也可能產(chǎn)生將對(duì)應(yīng)于最好避免的大模糊(例如，否則將出現(xiàn)不令人期望的模糊)的強(qiáng)的差值圖像。全對(duì)焦參考圖像的梯度(例如，可以被估計(jì)為x方向上的梯度的平方加上y方向上的梯度的平方的平方根)提供關(guān)于具有這種強(qiáng)的強(qiáng)度不連續(xù)性的區(qū)域的信息，這種信息可以用于修正由差值圖像給出的模糊量。實(shí)現(xiàn)這一點(diǎn)的一種方式是通過我們已經(jīng)預(yù)先加上梯度圖像的平均值的梯度圖像的修改版本來將差值圖像歸一化，從而避免在歸一化過程中的數(shù)值不穩(wěn)定性，例如d/(g+meang)。

圖7展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例最終重對(duì)焦圖像108。如圖7所示，最終重對(duì)焦圖像108包括期望模糊效應(yīng)的位置701和不期望模糊效應(yīng)并且反而期望保持對(duì)焦的位置702，如上所述。如所示出的，位置701(和最終重對(duì)焦圖像108中的其他模糊區(qū)域)具有美觀和基本上平滑的模糊。此外，位置702(和其他對(duì)焦區(qū)域)基本上清晰并且保持對(duì)焦。此外，在位置701與位置703之間產(chǎn)生對(duì)比，使得位置701與位置703相比具有更大的模糊效應(yīng)。這種效應(yīng)也是美觀的，因?yàn)樗谕氖?，距如關(guān)于位置702示出的興趣點(diǎn)或興趣對(duì)象更遠(yuǎn)的對(duì)象(例如，在位置701處)與更接近興趣點(diǎn)或興趣目標(biāo)的那些對(duì)象(例如，在位置703處)相比具有更大的模糊。

在此所討論的與拉普拉斯金字塔近似相關(guān)聯(lián)的技術(shù)可以提供品質(zhì)美觀的圖像結(jié)果。此外，這些技術(shù)可以提供基本上快速的處理(例如，實(shí)時(shí)處理)。例如，對(duì)于提供1280×960(例如，1.3兆像素)分辨率圖像的2×2相機(jī)陣列，所討論的重對(duì)焦流水線(例如，圖像修正或縮放、對(duì)興趣位置的位移估計(jì)、使用取平均和移位技術(shù)對(duì)基本重對(duì)焦圖像的確定、以及使用所描述的技術(shù)來增強(qiáng)模糊)使用當(dāng)代計(jì)算系統(tǒng)可以在16毫秒或更少的時(shí)間內(nèi)執(zhí)行。

圖8是根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的用于提供圖像重對(duì)焦的示例系統(tǒng)800的示意圖。如圖8所示，系統(tǒng)800可以包括取差器模塊103、低通濾波器模塊105、和空變?yōu)V波器模塊107，如以上關(guān)于圖1所討論的。系統(tǒng)800還可以包括彩色至灰度模塊802、噪聲級(jí)估計(jì)模塊803、梯度模塊805、低通濾波器模塊807、平均值確定模塊809、噪聲級(jí)掩碼模塊811和梯度掩碼模塊812。此外，如所示出的，空變?yōu)V波器模塊107可以包括高斯金字塔模塊814、拉普拉斯金字塔模塊818、加權(quán)計(jì)算模塊816、乘積模塊820和金字塔重構(gòu)模塊821。在其他實(shí)施例中，空變?yōu)V波器模塊107可以實(shí)現(xiàn)其他模塊來執(zhí)行在此討論的操作。在一些示例中，所討論的模塊中的一個(gè)或多個(gè)模塊可以經(jīng)由一個(gè)或多個(gè)中央處理單元來實(shí)現(xiàn)，例如在此討論的那些中央處理單元。

如所示出的，彩色至灰度模塊802可以接收全對(duì)焦參考圖像(彩色)801和基本重對(duì)焦圖像(彩色)102b。全對(duì)焦參考圖像(彩色)801可以是用戶或系統(tǒng)從經(jīng)由相機(jī)陣列獲得的多重圖像(例如在此討論的經(jīng)由相機(jī)陣列200獲得的圖像211-214)中選擇的。此外，可以使用任何(多個(gè))重對(duì)焦技術(shù)(例如在此討論的移位和取平均技術(shù))來確定基本重對(duì)焦圖像(彩色)102b。彩色至灰度模塊802可以使用任何適當(dāng)?shù)?多個(gè))彩色至轉(zhuǎn)換技術(shù)(例如，如果要求的話用rgba2gray)將全對(duì)焦參考圖像(彩色)801和基本重對(duì)焦圖像(彩色)102b分別轉(zhuǎn)換成全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a。全對(duì)焦參考圖像(彩色)801和基本重對(duì)焦圖像(彩色)102b可以是在紅綠藍(lán)α(RGBA)彩色空間、紅綠藍(lán)(RGB)彩色空間等等中的彩色圖像。

如所示出的，可以將全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a提供給取差器模塊103，該取差器模塊可以取這些圖像的差值使用任何適當(dāng)?shù)?多個(gè))技術(shù)(例如，絕對(duì)值差值(例如，absdiff命令))生成差值圖像104?？梢詫⒉钪祱D像104提供給低通濾波器模塊105，該低通濾波器模塊可以將低通濾波器應(yīng)用于差值圖像104以生成低通差值圖像106。在實(shí)施例中，低通濾波器模塊105可以(例如，經(jīng)由pyrDown命令)將差值圖像104降低采樣任何次數(shù)，并且經(jīng)由內(nèi)插法(例如，經(jīng)由pyrUp命令)升高相同的次數(shù)，從而生成低通差值圖像106。

如所示出的，可以將全對(duì)焦參考圖像(灰度)101提供至噪聲級(jí)估計(jì)模塊803。例如，噪聲級(jí)評(píng)估模塊803可以評(píng)估和/或映射全對(duì)焦參考圖像(灰度)101中的噪聲以生成噪聲級(jí)804。噪聲級(jí)804可以包括一個(gè)或多個(gè)噪聲級(jí)或噪聲級(jí)掩碼。例如，噪聲級(jí)804可以表明基本重對(duì)焦圖像(灰度)102a的否則可能經(jīng)受由于空變?yōu)V波器模塊107造成的不令人期望的模糊的那些部分(例如，不存在噪聲級(jí)804)。如之前所解釋的，通過實(shí)現(xiàn)噪聲級(jí)804，在全對(duì)焦參考圖像(灰度)101中的本地噪聲可以用于適當(dāng)?shù)乇苊鈱?duì)焦區(qū)域中的由于在全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a之間的噪聲級(jí)的差值而造成的過量模糊。

此外，可以將全對(duì)焦參考圖像(灰度)101提供至梯度模塊805。例如，梯度模塊805可以估計(jì)或評(píng)估全對(duì)焦參考圖像(灰度)101中的梯度，從而生成梯度全對(duì)焦參考圖像806?？梢詫⑻荻热珜?duì)焦參考圖像806提供至低通濾波器模塊807，該低通濾波器模塊可以應(yīng)用低通濾波器以生成梯度級(jí)808。在一些示例中，低通濾波器模塊807和低通濾波器模塊105可以是同一模塊，并且在其他示例中，它們可以單獨(dú)實(shí)現(xiàn)。可以將梯度級(jí)808提供至平均值確定模塊809，該平均值確定模塊可以基于梯度級(jí)808來生成平均值，從而生成平均值梯度810。與噪聲級(jí)804一樣，梯度級(jí)808可以表明基本重對(duì)焦圖像(灰度)102a的否則可能經(jīng)受不令人期望的模糊的那些部分。通過實(shí)現(xiàn)梯度級(jí)808和/或平均值梯度810，在全對(duì)焦參考圖像(灰度)101中的邊緣等等可以用于避免在具有強(qiáng)的邊緣的區(qū)域中的過量模糊，對(duì)于邊緣小的對(duì)偏可能產(chǎn)生不令人期望的強(qiáng)的差值，如在此所討論的。

繼續(xù)圖8，可以部分地使用低通差值圖像106來估計(jì)空變?yōu)V波器。例如，可以將低通差值圖像106提供給噪聲級(jí)掩碼模塊811和梯度掩碼模塊812，該噪聲級(jí)掩碼模塊和該梯度掩碼模塊可以一起或單獨(dú)實(shí)現(xiàn)，并且該低通差值圖像可以生成具有減小的噪聲效應(yīng)和梯度效應(yīng)的經(jīng)處理低通差值圖像813。例如，通過減小噪聲效應(yīng)和梯度效應(yīng)，在全對(duì)焦參考圖像中的噪聲不連續(xù)性和強(qiáng)度不連續(xù)性的效應(yīng)將不會(huì)在最終重對(duì)焦圖像(彩色)108中產(chǎn)生不希望的額外的模糊。噪聲級(jí)掩碼模塊811還可以接收噪聲級(jí)804并且可以將噪聲級(jí)804應(yīng)用于低通差值圖像106。例如，應(yīng)用噪聲級(jí)804可以包括從低通差值圖像106中減去噪聲級(jí)804并且將任何得到的負(fù)值閾值約束至零。例如，得到的負(fù)值可以被設(shè)置為零，而正值可以保留。此外，梯度掩碼模塊812還可以接收梯度級(jí)808和/或平均值梯度810，并且可以將平均值梯度810應(yīng)用于低通差值圖像106(或由應(yīng)用噪聲級(jí)804而得到的圖像)。例如，應(yīng)用平均值梯度810可以包括將低通差值圖像106乘以平均值梯度810并且除以平均值梯度810與梯度級(jí)808之和(例如，×meang/(meang+g))并且如果需要的話應(yīng)用隨后的縮放無論何時(shí)當(dāng)梯度大時(shí)，通過梯度的這種歸一化都將減小差值圖像，從而有助于避免那些區(qū)域中的過量模糊。

可以將經(jīng)處理低通差值圖像813提供給高斯金字塔模塊814，該高通金字塔模塊可以生成經(jīng)處理低通差值圖像金字塔815。經(jīng)處理低通差值圖像金字塔815可以包括多個(gè)值，這些值與經(jīng)由空變?yōu)V波器模塊107基于所討論的拉普拉斯金字塔近似技術(shù)而將應(yīng)用的模糊寬度σ相等或成比例并且掩蔽了如所討論的噪聲級(jí)804和/或梯度級(jí)和平均值梯度810。例如，空變?yōu)V波器模塊107可以通過基于差值圖像104、低通差值圖像106和/或經(jīng)處理低通差值圖像813將更多模糊應(yīng)用于離焦區(qū)域而保留對(duì)焦區(qū)域來使基本重對(duì)焦圖像(彩色)102b精細(xì)，使得在差值圖像中的較小差值對(duì)應(yīng)于較小的應(yīng)用模糊，并且在差值圖像中的較大差值對(duì)應(yīng)于較大的應(yīng)用模糊。使用所討論的技術(shù)，最終重對(duì)焦圖像(彩色)108與基本重對(duì)焦圖像(彩色)102b相比可以具有較小的、較少的偽像或沒有偽像。

圖9展示了根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例經(jīng)處理低通差值圖像金字塔815。如圖9所示，經(jīng)處理低通差值圖像金字塔815可以包括基于金字塔圖像901-905(這些金字塔圖像具有降低的分辨率)對(duì)經(jīng)處理低通差值圖像813進(jìn)行近似。例如，金字塔圖像901-905中的每一者可以是前一圖像的分辨率的一半，例如，金字塔圖像902是金字塔圖像901的分辨率的一半，金字塔圖像903是金字塔圖像902的分辨率的一半，依此類推。如在此討論的其他金字塔(類似于拉普拉斯金字塔818)也可以包括降低的分辨率結(jié)構(gòu)。

返回至圖8，拉普拉斯金字塔模塊818可以接收基本重對(duì)焦圖像(彩色)102b并且可以生成基本重對(duì)焦圖像金字塔819。此外，加權(quán)計(jì)算模塊816可以接收經(jīng)處理低通差分圖像金字塔815并且可以生成掩碼金字塔817。乘積模塊820可以確定重對(duì)焦圖像金字塔819和掩碼金字塔817的乘積，并且金字塔重構(gòu)模塊821可以將乘積進(jìn)行重構(gòu)以生成最終重對(duì)焦圖像(彩色)108。

圖10展示了根據(jù)本公開的至少部分實(shí)現(xiàn)方式安排的基本重對(duì)焦圖像金字塔819和掩碼金字塔817的示例乘積1001。如圖10所示，可以基于基本重對(duì)焦圖像金字塔819和掩碼金字塔817確定乘積1001。如所討論的，可以基于經(jīng)處理低通差值圖像金字塔815生成掩碼金字塔817。在實(shí)施例中，掩碼金字塔817是經(jīng)處理低通差值圖像金字塔815的反轉(zhuǎn)。圖10展示了在基本重對(duì)焦圖像金字塔819、掩碼金字塔817和乘積1001中的位置1002、1003。如上所述，位置1002與期望更多模糊的區(qū)域相關(guān)聯(lián)，并且位置1003與不期望模糊(例如，維持對(duì)焦)的區(qū)域相關(guān)聯(lián)。如關(guān)于掩碼金字塔817的位置1003所示出的，掩碼金字塔817的白色的位置可以與將不向基本重對(duì)焦圖像金字塔819提供模糊的位置相關(guān)聯(lián)。此外，掩碼金字塔917的位置1002表明掩碼金字塔817的黑色的位置可以與沒有將模糊提供給基本重對(duì)焦圖像金字塔819的位置相關(guān)聯(lián)。

在一些示例中，實(shí)現(xiàn)拉普拉斯金字塔近似可以在產(chǎn)生或?qū)崿F(xiàn)模糊寬度是替代明確的像素取平均?？兆?yōu)V波器的拉普拉斯金字塔的實(shí)現(xiàn)方式可以提供具有良好品質(zhì)近似的計(jì)算效率的技術(shù)。例如，拉普拉斯金字塔可以近似或提供本地傅里葉變換，使得在變換域中，所展示的乘法實(shí)現(xiàn)允許在圖像的不同空間位置中的不同加權(quán)或模糊寬度。這種技術(shù)提供了對(duì)相對(duì)計(jì)算簡單的乘法的使用以實(shí)現(xiàn)空變?yōu)V波器的近似。

例如，根據(jù)期望的模糊寬度和掩碼金字塔817的金字塔級(jí)來提供掩碼金字塔817的系數(shù)(也可以被成為如在此討論的加權(quán))。例如，可以通過應(yīng)用具有循環(huán)對(duì)稱頻率響應(yīng)的內(nèi)核來生成加權(quán)高斯金字塔。在實(shí)施例中，可以使用圓柱模糊內(nèi)核。例如，為了產(chǎn)生圖10中展示的結(jié)果，可以應(yīng)用圓柱模糊內(nèi)核(例如，圓形模糊窗口)以生成掩碼金字塔817。在實(shí)施例中，在空間域中的圓柱模糊內(nèi)核對(duì)應(yīng)于J₁(f)/f，其中J₁是1階的第一類貝塞爾函數(shù)，頻率響應(yīng)。在其他示例中，可以使用其他內(nèi)核來確定頻率響應(yīng)，例如高斯內(nèi)核或指數(shù)內(nèi)核等等。

此外，基本重對(duì)焦圖像819、掩碼金字塔817和乘積1001的金字塔結(jié)構(gòu)可以為在金字塔的較低分辨率(例如，在所展示示例中的較小圖像)處應(yīng)用的那些加權(quán)提供較大的效應(yīng)或有效模糊并且為在金字塔的較高分辨率(例如，在所展示示例中的較大圖像)處的那些加權(quán)提供較小的效應(yīng)或有效模糊。這種金字塔結(jié)構(gòu)由此可以提供空變?yōu)V波器的有效實(shí)現(xiàn)方式。

參照圖8，如所討論的，金字塔重構(gòu)模塊821可以將乘積1001進(jìn)行重構(gòu)以生成最終重對(duì)焦圖像(彩色)108。在一些示例中，空變?yōu)V波器模塊107可以經(jīng)由基本重對(duì)焦圖像金字塔819獨(dú)立地應(yīng)用于基本重對(duì)焦圖像(彩色)102b的多個(gè)顏色通道。例如，掩碼金字塔817可以使用灰度圖像(例如，全對(duì)焦參考圖像(灰度)101和基本重對(duì)焦圖像(灰度)102a)來生成，并且可以通過乘積模塊820來應(yīng)用于基本重對(duì)焦圖像金字塔819的每個(gè)顏色通道(例如，RGB顏色通道)，其中得到的(多個(gè))乘積金字塔經(jīng)由金字塔重構(gòu)模塊821進(jìn)行重構(gòu)以生成最終重對(duì)焦圖像(彩色)108。

如所討論的，在一些示例中，可以經(jīng)由一個(gè)或多個(gè)中央處理單元來實(shí)現(xiàn)系統(tǒng)800的這些模塊中的一個(gè)或多個(gè)模塊(例如，彩色至灰度模塊802、取差器模塊103、805、低通濾波器模塊105、噪聲級(jí)估計(jì)模塊803、平均值確定模塊809、噪聲級(jí)掩碼模塊811、梯度掩碼模塊812、以及包括高斯金字塔模塊814、拉普拉斯金字塔模塊818、加權(quán)計(jì)算模塊816、乘積模塊820和金字塔重構(gòu)模塊821的空變?yōu)V波器模塊107)。在其他示例中，所討論的模塊可以經(jīng)由(多個(gè))圖像處理單元/(多個(gè))中央處理單元(GPU/CPU)混合實(shí)現(xiàn)方式來實(shí)現(xiàn)。

圖11是根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的用于提供圖像重對(duì)焦的示例系統(tǒng)1100的示意圖。在圖11中，具有單線的圓或橢圓代表經(jīng)由CPU實(shí)現(xiàn)的模塊，具有雙線的圓或橢圓代表經(jīng)由GPU實(shí)現(xiàn)的模塊，具有單線的方形或矩形代表在系統(tǒng)存儲(chǔ)器中的存儲(chǔ)器緩沖器的區(qū)域，具有雙線的方形或矩形代表在視頻存儲(chǔ)器中的存儲(chǔ)器緩沖器的區(qū)域，并且具有虛線的圓代表經(jīng)由CPU和GPU兩者實(shí)現(xiàn)的模塊(例如，相關(guān)聯(lián)操作當(dāng)GPU空閑時(shí)可以經(jīng)由GPU執(zhí)行，并且當(dāng)GPU不空閑時(shí)相關(guān)聯(lián)操作可以經(jīng)由CPU執(zhí)行)。

例如，系統(tǒng)1100可以包括經(jīng)由CPU實(shí)現(xiàn)的噪聲級(jí)估計(jì)模塊803和平均值確定模塊809以及經(jīng)由CPU和GPU兩者實(shí)現(xiàn)的構(gòu)建重對(duì)焦圖像金字塔模塊1107(使得相關(guān)聯(lián)操作當(dāng)GPU空閑時(shí)可以經(jīng)由GPU執(zhí)行，并且當(dāng)GPU不空閑時(shí)相關(guān)聯(lián)操作可以經(jīng)由CPU執(zhí)行)。此外，系統(tǒng)1100可以包括預(yù)處理模塊1101、低通濾波器模塊107、低通濾波器(和采樣)模塊807、噪聲/梯度處理模塊1105、構(gòu)建掩碼金字塔模塊1106和構(gòu)建最終圖像模塊1108。

同樣如所示出的，系統(tǒng)1100可以包括被存儲(chǔ)在系統(tǒng)存儲(chǔ)器中的存儲(chǔ)器緩存器的區(qū)域中的基本重對(duì)焦圖像(彩色)102b、全對(duì)焦參考圖像(彩色)801、基本重對(duì)焦圖像(灰度)102a、噪聲級(jí)804、采樣梯度圖像1103和平均值梯度(meang)810。此外，系統(tǒng)1100可以包括被存儲(chǔ)在視頻存儲(chǔ)器中的存儲(chǔ)器緩存器的區(qū)域中的梯度全對(duì)焦參考圖像806、差值圖像104、梯度圖像1102、低通差值圖像106、經(jīng)處理低通差值圖像813、掩碼金字塔817和基本重對(duì)焦圖像金字塔819。

如圖11所示，預(yù)處理模塊1101可以接收基本重對(duì)焦圖像(彩色)102b和全對(duì)焦參考圖像(彩色)801，并且預(yù)處理模塊1101可以生成基本重對(duì)焦圖像(灰度)102a、梯度全對(duì)焦參考圖像806和差值圖像104，如在此討論的。在實(shí)施例中，預(yù)處理模塊1101可以包括/實(shí)現(xiàn)顏色至灰度模塊802、梯度模塊805和/或取差器模塊103，如在此討論的。

噪聲級(jí)估計(jì)模塊803可以接收全對(duì)焦參考圖像(灰度)101并且可以生成噪聲級(jí)804，如在此討論的。例如，噪聲級(jí)估計(jì)模塊803可以從系統(tǒng)存儲(chǔ)器接收全對(duì)焦參考圖像(灰度)101并且可以將噪聲級(jí)804存儲(chǔ)至系統(tǒng)存儲(chǔ)器。低通濾波器(和采樣)模塊807可以接收梯度全對(duì)焦參考圖像806、可以生成梯度圖像1102和采樣梯度圖像1103。例如，梯度圖像1102可以存儲(chǔ)在視頻存儲(chǔ)器中，并且采樣梯度圖像1103可以存儲(chǔ)在系統(tǒng)存儲(chǔ)器中。如所示出的，平均值確定模塊809可以接收采樣梯度圖像1103并且可以生成平均值梯度(meang)810，如在此討論的。

如所示出的，可以將噪聲級(jí)804、梯度圖像1102和平均值梯度(meang)810提供至噪聲/梯度處理模塊1105。在實(shí)施例中，噪聲/梯度處理模塊1105可以包括或?qū)崿F(xiàn)噪聲級(jí)掩碼模塊811和/或梯度掩碼模塊812，如在此討論的。如所示出的，噪聲/梯度處理模塊1105可以生成經(jīng)處理低通差值圖像813，該經(jīng)處理低通差值圖像可以被存儲(chǔ)至視頻存儲(chǔ)器。

可以將經(jīng)處理低通差值圖像813提供給構(gòu)建掩碼金字塔模塊1106，該構(gòu)建掩碼金字塔模塊可以實(shí)現(xiàn)或包括如加權(quán)計(jì)算模塊816的模糊模塊。此外，可以將基本重對(duì)焦圖像(彩色)102b提供給構(gòu)建重對(duì)焦圖像金字塔模塊1107，該構(gòu)建重對(duì)焦圖像金字塔模塊可以實(shí)現(xiàn)或包括拉普拉斯金字塔模塊818。例如，構(gòu)建重對(duì)焦圖像金字塔模塊1107可以使用如在此討論的拉普拉斯構(gòu)建操作和/或任何技術(shù)來生成基本重對(duì)焦圖像金字塔819。在實(shí)施例中，構(gòu)建重對(duì)焦圖像金字塔模塊1107可以獨(dú)立地為基本重對(duì)焦圖像(彩色)102b的每個(gè)顏色通道生成基本重對(duì)焦圖像金字塔819。

構(gòu)建最終圖像模塊1108可以接收基本重對(duì)焦圖像(彩色)102b和掩碼金字塔817并且可以生成最終重對(duì)焦圖像(彩色)108。例如，構(gòu)建最終圖像模塊1108可以確定基本重對(duì)焦圖像(彩色)102b和掩碼金字塔817的乘積并且可以對(duì)得到的金字塔進(jìn)行重構(gòu)以生成最終重對(duì)焦圖像(彩色)108。例如，所討論的乘積和重構(gòu)操作對(duì)于最終重對(duì)焦圖像(彩色)108的每個(gè)顏色通道可以獨(dú)立地執(zhí)行。在實(shí)施例中，構(gòu)建最終圖像模塊1108可以包括或?qū)崿F(xiàn)乘積模塊820和/或金字塔重構(gòu)模塊821。

關(guān)于系統(tǒng)1100討論的操作可以并行和/或串行地執(zhí)行任意次數(shù)以生成任意數(shù)量的最終重對(duì)焦圖像。如所討論的，如最終重對(duì)焦圖像(彩色)108(請參見圖7)的所生成的最終重對(duì)焦圖像可以包括相對(duì)于全對(duì)焦參考圖像而言增大的模糊的區(qū)域。最終重對(duì)焦圖像可以有效且快速地(例如，實(shí)時(shí))生成，并且增大的模糊的區(qū)域可以平滑的并且基本上美學(xué)愉悅。

圖12是展示根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的用于提供圖像重對(duì)焦的示例過程1200的流程圖。如圖12所展示的，過程1200可以包括一個(gè)或多個(gè)操作1201-1203。過程1200可以形成重對(duì)焦過程的至少一部分。通過非限制性示例，過程1200可以形成如由在此討論的系統(tǒng)100、800或1100所進(jìn)行的針對(duì)經(jīng)由相機(jī)陣列獲得的一個(gè)或多個(gè)圖像的重對(duì)焦過程的至少一部分。此外，在此將參考圖13的系統(tǒng)1300描述過程1200。

圖13是根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例系統(tǒng)1300的示意圖。如圖13所示，系統(tǒng)1300可以包括圖形處理單元(GPU)1302、一個(gè)或多個(gè)中央處理單元(CPU)1301、系統(tǒng)存儲(chǔ)器1303以及視頻存儲(chǔ)器1304。如所示出的，CPU 1301可以包括參考圖像和基本重對(duì)焦圖像確定模塊1305，并且GPU 1302可以包括取差器模塊103和空變?yōu)V波器模塊107。在系統(tǒng)1300的示例中，如在此討論的，系統(tǒng)存儲(chǔ)器1303和/或視頻存儲(chǔ)器1304可以存儲(chǔ)諸如輸入圖像、最終結(jié)果圖像、和/或任何其他圖像數(shù)據(jù)的圖像內(nèi)容。

圖形處理單元1302可以包括任何數(shù)量和類型的圖形處理單元，這些圖形處理單元可以提供如在此討論的操作。這些操作可以經(jīng)由軟件或硬件或其組合來實(shí)現(xiàn)。例如，圖形處理單元1302可以包括專門用于操縱從系統(tǒng)存儲(chǔ)器1303和/或視頻存儲(chǔ)器1304獲得的圖像的電路。中央處理單元1301可以包括任何數(shù)量和類型的處理單元或模塊，這些處理單元或模塊可以為系統(tǒng)1300提供控制以及其他高級(jí)別的功能。系統(tǒng)存儲(chǔ)器1303和視頻存儲(chǔ)器1304可以是任何類型的存儲(chǔ)器，諸如易失性存儲(chǔ)器(例如，靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)等)或非易失性存儲(chǔ)器(例如，閃存等)等等。在非限制性示例中，系統(tǒng)存儲(chǔ)器1303和/或視頻存儲(chǔ)器1304可以由緩存存儲(chǔ)器實(shí)現(xiàn)。在實(shí)施例中，取差器模塊103和/或空變?yōu)V波器模塊107可以經(jīng)由圖形處理單元1302的執(zhí)行單元(EU)實(shí)現(xiàn)。EU可以包括例如可編程邏輯或電路，諸如可以提供廣泛的可編程邏輯功能陣列的一個(gè)或多個(gè)邏輯核。在實(shí)施例中，取差器模塊103和/或空變?yōu)V波器模塊107可以經(jīng)由諸如固定功能電路等的專用硬件來實(shí)現(xiàn)。固定功能電路可以包括專用邏輯或電路并且可以提供固定功能入口點(diǎn)的集合，所述集合可以映射到針對(duì)固定目的或功能的專用邏輯。

返回至圖12的討論，過程1200可以開始于操作1201“基于經(jīng)由相機(jī)陣列接收的圖像確定全對(duì)焦參考圖像并且生成基本重對(duì)焦圖像”，其中全對(duì)焦參考圖像和基本重對(duì)焦圖像可以基于經(jīng)由相機(jī)陣列接收的多個(gè)圖像來確定。例如，全對(duì)焦參考圖像(彩色)801、基本重對(duì)焦圖像(彩色)102b、全對(duì)焦參考圖像(灰度)101和/或基本重對(duì)焦圖像(灰度)102a可以經(jīng)由通過CPU 1301實(shí)現(xiàn)的參考圖像和基本重對(duì)焦圖像確定模塊1305來確定。在一些示例中，參考圖像和基本重對(duì)焦圖像確定模塊1305可以包括顏色至灰度模塊802，并且在其他示例中，顏色至灰度模塊802可以單獨(dú)實(shí)現(xiàn)。

過程可以在操作1202處繼續(xù)，“取全對(duì)焦參考圖像與基本重對(duì)焦圖像的差值以生成差值圖像”，其中可以取全對(duì)焦參考圖像和基本重對(duì)焦圖像的差值以生成差值圖像。例如，如經(jīng)由GPU 1302實(shí)現(xiàn)的取差器模塊103可以取得全對(duì)焦參考圖像(灰度)101與基本重對(duì)焦圖像(灰度)102a的差值以生成差值圖像104。

過程可以在操作1203處繼續(xù)，“基于差值圖像將空變?yōu)V波器應(yīng)用于基本重對(duì)焦圖像以生成最終重對(duì)焦圖像”，其中可以至少部分地基于差值圖像將空變?yōu)V波器應(yīng)用于基本重對(duì)焦圖像以生成最終重對(duì)焦圖像，該最終重對(duì)焦圖像具有相對(duì)于全對(duì)焦參考圖像而言增大的模糊的區(qū)域。例如，如在此進(jìn)一步討論的，如經(jīng)由GPU 1302實(shí)現(xiàn)的空變?yōu)V波器模塊107可以將空變?yōu)V波器實(shí)現(xiàn)至基本重對(duì)焦圖像(彩色)102b，從而生成最終重對(duì)焦圖像(彩色)108，該最終重對(duì)焦圖像(彩色)具有相對(duì)于全對(duì)焦參考圖像(彩色)801而言增大的模糊的區(qū)域或位置701(請參見圖7)。

可以針對(duì)經(jīng)由相機(jī)陣列接收的任何數(shù)量的圖像串行地或者并行地重復(fù)過程1200任何次數(shù)。

在此描述的系統(tǒng)的各種組件可以用軟件、固件、和/或硬件和/或其任何組合來實(shí)現(xiàn)。例如，系統(tǒng)100、800、1100或1300的各組件可以至少部分地由諸如可以在計(jì)算系統(tǒng)(諸如，例如，智能電話)中找到的計(jì)算片上系統(tǒng)(SoC)的硬件來提供。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，在此描述的系統(tǒng)可以包括尚未在相應(yīng)附圖中描繪的附加組件。例如，在此討論的系統(tǒng)可以包括為了清楚起見尚未被描繪的附加組件，諸如比特流復(fù)用器或解復(fù)用器模塊等。

雖然在此討論的示例過程的實(shí)現(xiàn)方式可以包括按所展示的順序進(jìn)行示出的所有操作，但是本公開并不限于這個(gè)方面，并且在各個(gè)示例中，此處的示例過程的實(shí)現(xiàn)方式可以僅包括所示操作的子集、以與所展示的順序不同的順序執(zhí)行的操作、或附加操作。

另外，在此討論的操作中的任何一個(gè)或多個(gè)操作可以響應(yīng)于由一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品提供的指令而被進(jìn)行。這樣的程序產(chǎn)品可以包括提供當(dāng)由例如處理器執(zhí)行時(shí)可以提供此處所描述的功能的指令的承載信號(hào)的介質(zhì)。計(jì)算機(jī)程序產(chǎn)品可以由一個(gè)或多個(gè)機(jī)器可讀介質(zhì)的任何形式提供。因此，例如，包括一個(gè)或多個(gè)圖形處理單元或處理器核的處理器可以響應(yīng)于由一個(gè)或多個(gè)機(jī)器可讀介質(zhì)傳達(dá)給處理器的程序代碼和/或指令或指令集而進(jìn)行此處的示例過程的塊中的一個(gè)或多個(gè)塊。通常，機(jī)器可讀介質(zhì)可以以程序代碼和/或指令或指令集的形式傳達(dá)軟件，這些程序編碼和指令集可以使在此描述的設(shè)備和/或系統(tǒng)中的任何一者實(shí)現(xiàn)系統(tǒng)100、800、1100或1300的至少多個(gè)部分、或者如在此討論的任何其他模塊或組件。

如在此描述的任何實(shí)現(xiàn)方式中所使用的，術(shù)語“模塊”指被配置成用于提供在此所描述的功能的軟件邏輯、固件邏輯、硬件邏輯和/或電路的任何組合。軟件可以具體化為軟件包、代碼和/或指令集或指令，并且如在此描述的任何實(shí)現(xiàn)方式中所使用的，“硬件”可以例如單獨(dú)地或以任何組合包括硬連線電路、可編程電路、狀態(tài)機(jī)電路、固定功能電路、執(zhí)行單元電路和/或存儲(chǔ)由可編程電路執(zhí)行的指令的固件。這些模塊可以統(tǒng)一地或單獨(dú)地具體化為形成例如，集成電路(IC)、片上系統(tǒng)(SoC)等的較大系統(tǒng)的一部分的電路。

圖14是根據(jù)本公開的至少一些實(shí)現(xiàn)方式安排的示例系統(tǒng)1400的示意圖。在各實(shí)現(xiàn)方式中，盡管系統(tǒng)1400不限于此上下文，系統(tǒng)1400可以是媒體系統(tǒng)。例如，系統(tǒng)1400可以并入個(gè)人計(jì)算機(jī)(PC)、膝上計(jì)算機(jī)、超級(jí)膝上計(jì)算機(jī)、平板機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視、智能設(shè)備(例如，智能電話、智能平板機(jī)或智能電視)、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID)、消息設(shè)備、數(shù)據(jù)通信設(shè)備、相機(jī)(自動(dòng)對(duì)焦相機(jī)、超級(jí)變焦相機(jī)、數(shù)碼單鏡頭反光(DSLR)相機(jī))等。

在各實(shí)現(xiàn)方式中，系統(tǒng)1400包括耦合到顯示器1420的平臺(tái)1402。平臺(tái)1402可以接收來自內(nèi)容設(shè)備的內(nèi)容，如(多個(gè))內(nèi)容服務(wù)設(shè)備1430或(多個(gè))內(nèi)容傳遞設(shè)備1440或者其他類似內(nèi)容源。如所示出的，在一些示例中，系統(tǒng)1400可以包括相機(jī)陣列200，并且平臺(tái)1402可以接受諸如在此討論的來自相機(jī)陣列200的圖像211-214的多個(gè)圖像。包括一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器1450可以用于例如與平臺(tái)1402和/或顯示器1420進(jìn)行交互。以下更詳細(xì)地描述這些組件中的每一個(gè)組件。

在各實(shí)現(xiàn)方式中，系統(tǒng)1400可以將使用所提出的方法而獲取最終重對(duì)焦圖像(彩色)108實(shí)時(shí)(在顯示器1420中)顯示到由用戶選擇的一個(gè)興趣區(qū)域中，從而允許在取景或預(yù)覽輸入視頻流時(shí)由于本方法的近似實(shí)現(xiàn)方式的速度而實(shí)時(shí)應(yīng)用效應(yīng)。例如，這種實(shí)時(shí)呈現(xiàn)可以為用戶提供交互式取景或預(yù)覽。

在各實(shí)現(xiàn)方式中，平臺(tái)1402可以包括芯片組1405、處理器1410、存儲(chǔ)器1412、天線1413、存儲(chǔ)設(shè)備1414、圖形子系統(tǒng)1415、應(yīng)用1416和/或無線電1418的任何組合。芯片組1405可以在處理器1410、存儲(chǔ)器1412、存儲(chǔ)設(shè)備1414、圖形子系統(tǒng)1415、應(yīng)用1416和/或無線電1418之中提供相互通信。例如，芯片組1405可以包括能夠提供與存儲(chǔ)設(shè)備1414的相互通信的存儲(chǔ)設(shè)備適配器(未描繪)。

處理器1410可以被實(shí)現(xiàn)為復(fù)雜指令集計(jì)算機(jī)(CISC)或精簡指令集計(jì)算機(jī)(RISC)處理器、x86指令集兼容處理器、多核處理器或任何其他微處理器或中央處理器單元(CPU)。在各實(shí)現(xiàn)方式中，處理器1410可以是(多個(gè))雙核處理器、(多個(gè))雙核移動(dòng)處理器等。

存儲(chǔ)器1412可以被實(shí)現(xiàn)為易失性存儲(chǔ)設(shè)備，如但不限于隨機(jī)存取存儲(chǔ)器(RAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、或靜態(tài)RAM(SRAM)。

存儲(chǔ)設(shè)備1414可以被實(shí)現(xiàn)為非易失性存儲(chǔ)設(shè)備，如但不限于磁盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、內(nèi)部存儲(chǔ)設(shè)備、附加存儲(chǔ)設(shè)備、閃存、電池應(yīng)急SDRAM(同步DRAM)和/或可接入網(wǎng)絡(luò)的存儲(chǔ)設(shè)備。在各實(shí)現(xiàn)方式中，存儲(chǔ)設(shè)備1414可以包括用于當(dāng)例如包括多個(gè)硬盤驅(qū)動(dòng)器時(shí)增加對(duì)有價(jià)值的數(shù)字媒體的存儲(chǔ)性能增強(qiáng)型保護(hù)的技術(shù)。

圖形子系統(tǒng)1415可以執(zhí)行對(duì)諸如用于顯示的靜態(tài)或視頻圖像的處理。例如，圖形子系統(tǒng)1415可以是圖形處理單元(GPU)或視覺處理單元(VPU)?？梢允褂媚M或數(shù)字接口來通信地耦合圖形子系統(tǒng)1415與顯示器1420。例如，接口可以是高清晰度多媒體接口、顯示端口、無線HDMI和/或符合無線HD的技術(shù)中的任何一個(gè)接口。圖形子系統(tǒng)1415可以集成到處理器電路1410或芯片組1405中。在一些實(shí)現(xiàn)方式中，圖形子系統(tǒng)1415可以是通信地耦合至芯片組1105的獨(dú)立設(shè)備。

在此描述的圖形和/或視頻處理技術(shù)可以用各種硬件架構(gòu)實(shí)現(xiàn)。例如，圖形和/或視頻功能可以集成到芯片組中。可替代地，可以使用離散圖形和/或視頻處理器。如又另一種實(shí)現(xiàn)方式，圖形和/或視頻功能可以由通用處理器(包括多核處理器)來提供。在進(jìn)一步的實(shí)施例中，所述功能可以在消費(fèi)電子設(shè)備中實(shí)現(xiàn)。

無線電1418可以包括能夠使用各種適當(dāng)?shù)臒o線通信技術(shù)發(fā)射并接收信號(hào)的一個(gè)或多個(gè)無線電。這種技術(shù)可以涉及跨一個(gè)或多個(gè)無線網(wǎng)絡(luò)的通信。示例無線網(wǎng)絡(luò)包括(但不限于)無線局域網(wǎng)(WLAN)、無線個(gè)人局域網(wǎng)(WPAN)、無線城域網(wǎng)(WMAN)、蜂窩網(wǎng)和衛(wèi)星網(wǎng)。在跨這種網(wǎng)絡(luò)進(jìn)行通信時(shí)，無線電1418可以根據(jù)任何版本中的一個(gè)或多個(gè)可適用標(biāo)準(zhǔn)進(jìn)行操作。

在各實(shí)現(xiàn)方式中，顯示器1420可以包括任何電視機(jī)類型的監(jiān)測器或顯示器。顯示器1420可以包括例如，計(jì)算機(jī)顯示屏、觸摸屏顯示器、視頻監(jiān)視器、類似電視機(jī)的設(shè)備和/或電視機(jī)。顯示器1420可以是數(shù)字的和/或模擬的。在各實(shí)現(xiàn)方式中，顯示器1420可以是全息顯示器。同樣，顯示器1420可以是可以接收視覺投影的透明表面。這種投影可以傳達(dá)各種形式的信息、圖像和/或?qū)ο?。例如，這種投影可以是針對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)(MAR)應(yīng)用的視覺疊加。在一個(gè)或多個(gè)軟件應(yīng)用1416的控制下，平臺(tái)1402可以在顯示器1420上顯示用戶界面1422。

在各實(shí)現(xiàn)方式中，(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以由任何國家的、國際的和/或獨(dú)立的服務(wù)托管，并因此例如經(jīng)由互聯(lián)網(wǎng)可接入平臺(tái)1402。(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以耦合至平臺(tái)1402和/或至顯示器1420。平臺(tái)1402和/或(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以耦合至網(wǎng)絡(luò)1460以便將媒體信息傳達(dá)至該網(wǎng)絡(luò)1460或者從該網(wǎng)絡(luò)傳達(dá)(例如，發(fā)送和/或接收)。(多個(gè))內(nèi)容傳遞設(shè)備1440也可以耦合至平臺(tái)1402和/或至顯示器1420。

在各實(shí)現(xiàn)方式中，(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以包括有線電視盒、個(gè)人計(jì)算機(jī)、網(wǎng)絡(luò)、電話、能夠傳遞數(shù)字信息和/或內(nèi)容的支持互聯(lián)網(wǎng)的設(shè)備或電器、以及能夠在內(nèi)容提供方與平臺(tái)1402和/或顯示器1420之間經(jīng)由網(wǎng)絡(luò)1460或直接地單向或雙向傳達(dá)內(nèi)容的任何其他類似設(shè)備。將認(rèn)識(shí)到，內(nèi)容可以經(jīng)由網(wǎng)絡(luò)1460被單向地和/或雙向地傳達(dá)到系統(tǒng)1400中的組件中的任何一個(gè)組件和內(nèi)容提供方且從系統(tǒng)中的組件中的任何一個(gè)組件和內(nèi)容提供方被傳達(dá)。內(nèi)容的示例可以包括任何媒體信息，包括例如視頻、音樂、醫(yī)療和游戲信息等。

(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以接收如包括媒體信息、數(shù)字信息和/或其他內(nèi)容的有線電視節(jié)目的內(nèi)容。內(nèi)容提供方的示例可以包括任何有線或衛(wèi)星電視或無線電或互聯(lián)網(wǎng)內(nèi)容提供方。所提供的示例并不旨在以任何方式限制根據(jù)本公開的實(shí)現(xiàn)方式。

在各實(shí)現(xiàn)方式中，平臺(tái)1402可以從具有一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器1450中接收控制信號(hào)?？刂破?450的導(dǎo)航特征可以用于例如與用戶界面1422進(jìn)行交互。在各實(shí)施例中，導(dǎo)航控制器1450可以是定點(diǎn)設(shè)備，所述定點(diǎn)設(shè)備可以是允許用戶輸入空間(例如，連續(xù)的和多維的)數(shù)據(jù)到計(jì)算機(jī)的計(jì)算機(jī)硬件組件(特別是人機(jī)接口設(shè)備)。諸如圖形用戶界面(GUI)、和電視機(jī)以及監(jiān)視器的許多系統(tǒng)允許用戶使用物理姿勢來控制計(jì)算機(jī)或電視機(jī)并向計(jì)算機(jī)或電視機(jī)提供數(shù)據(jù)。

可以通過指針、光標(biāo)、對(duì)焦環(huán)或在顯示器上顯示的其他視覺指示器的移動(dòng)在顯示器(例如，顯示器1420)上復(fù)制控制器1450的導(dǎo)航特征的移動(dòng)。例如，在軟件應(yīng)用1416的控制下，位于導(dǎo)航控制器1450上的導(dǎo)航特征可以例如被映射至用戶界面1422上顯示的虛擬導(dǎo)航特征。在各實(shí)施例中，控制器1450可以不是獨(dú)立組件但可以集成在平臺(tái)1402和/或顯示器1420內(nèi)。然而，本公開不限于在此示出或描述的元素或內(nèi)容。

在各實(shí)現(xiàn)方式中，驅(qū)動(dòng)器(未示出)可以包括使用戶能夠通過例如在初始引導(dǎo)后啟動(dòng)的按鈕的觸摸立刻打開和關(guān)閉類似電視機(jī)的平臺(tái)1402的技術(shù)。當(dāng)平臺(tái)被“關(guān)閉”時(shí)，程序邏輯可以允許平臺(tái)1402將內(nèi)容流傳輸?shù)矫襟w適配器或其他(多個(gè))內(nèi)容服務(wù)設(shè)備1430或(多個(gè))內(nèi)容傳遞設(shè)備1440。此外，芯片組1405可以包括支持例如5.1環(huán)繞聲音頻和/或高清7.1環(huán)繞聲音頻的硬件和/或軟件。驅(qū)動(dòng)器可以包括用于集成圖形平臺(tái)的圖形驅(qū)動(dòng)器。在各實(shí)施例中，圖形驅(qū)動(dòng)器可以包括外圍組件互連(PCI)快速圖形卡。

在各實(shí)現(xiàn)方式中，系統(tǒng)1400中示出的組件中的任何一個(gè)或多個(gè)組件可以是集成的。例如，平臺(tái)1402和(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以是集成的，或者平臺(tái)1402和(多個(gè))內(nèi)容傳遞設(shè)備1440可以是集成的，或者平臺(tái)1402、(多個(gè))內(nèi)容服務(wù)設(shè)備1430和(多個(gè))內(nèi)容傳遞設(shè)備1440可以例如是集成的。在各實(shí)施例中，平臺(tái)1402和顯示器1420可以是集成單元。例如，顯示器1420和(多個(gè))內(nèi)容服務(wù)設(shè)備1430可以是集成的，或者顯示器1420和(多個(gè))內(nèi)容傳遞設(shè)備1440可以是集成的。這些示例并不旨在限制本公開。

在各實(shí)施例中，系統(tǒng)1400可以被實(shí)現(xiàn)為無線系統(tǒng)、有線系統(tǒng)、或二者的組合。當(dāng)被實(shí)現(xiàn)為無線系統(tǒng)時(shí)，系統(tǒng)1400可以包括適合于通過如一個(gè)或多個(gè)天線、發(fā)送器、接收機(jī)、收發(fā)器、放大器、濾波器、控制邏輯等的無線共享介質(zhì)進(jìn)行通信的組件和接口。無線共享介質(zhì)的示例可以包括無線光譜部分，如RF光譜等。當(dāng)被實(shí)現(xiàn)為有線系統(tǒng)時(shí)，系統(tǒng)1400可以包括適用于通過有線通信介質(zhì)(如輸入/輸出(I/O)適配器、利用相應(yīng)有線通信介質(zhì)連接I/O適配器的物理連接器、網(wǎng)絡(luò)接口卡(NIC)、光盤控制器、視頻控制器、音頻控制器等)進(jìn)行通信的組件和接口。有線通信介質(zhì)的示例可以包括導(dǎo)線、電纜、金屬引線、印刷電路板(PCB)、背板、交換光纖、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等。

平臺(tái)1402可以建立一個(gè)或多個(gè)邏輯或物理信道以傳達(dá)信息。所述信息可以包括媒體信息和控制信息。媒體信息可以指表示針對(duì)用戶的內(nèi)容的任何數(shù)據(jù)。內(nèi)容的示例可以包括例如，來自語音對(duì)話、視頻會(huì)議、流媒體視頻、電子郵件(“email”)消息、語音郵件消息、字母數(shù)字符號(hào)、圖形、圖像、視頻、文字等的數(shù)據(jù)。來自語音對(duì)話的數(shù)據(jù)可以是例如，語音信息、靜默時(shí)間段、背景噪聲、舒適噪聲、聲調(diào)等。控制信息可以指表示針對(duì)自動(dòng)化系統(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可以用于通過系統(tǒng)路由媒體信息、或者指示節(jié)點(diǎn)以預(yù)定方式處理所述媒體信息。然而，各實(shí)施例不限于圖14中示出或描述的元素或上下文。

如上所述，系統(tǒng)1400可以用變化的物理風(fēng)格或形成因子來體現(xiàn)。圖15展示了可以用其具體化系統(tǒng)1500的小形成因子設(shè)備1500的實(shí)現(xiàn)方式。在各實(shí)施例中，例如，設(shè)備1500可以被實(shí)現(xiàn)為具有無線能力的移動(dòng)計(jì)算設(shè)備。例如，移動(dòng)計(jì)算設(shè)備可以指具有處理系統(tǒng)和移動(dòng)電源或電源(諸如一個(gè)或多個(gè)電池)的任何設(shè)備。在一些示例中，如在此所討論的，設(shè)備1500可以包括相機(jī)陣列(例如，相機(jī)陣列200)和/或經(jīng)由相機(jī)陣列(例如，相機(jī)陣列200)接收多個(gè)圖像(例如，圖像211-214)。

如上所述，移動(dòng)計(jì)算設(shè)備的示例可以包括個(gè)人計(jì)算機(jī)(PC)、膝上計(jì)算機(jī)、超級(jí)膝上計(jì)算機(jī)、平板機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視、智能設(shè)備(例如，智能電話、智能平板機(jī)或智能電視)、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID)、消息設(shè)備、數(shù)據(jù)通信設(shè)備、相機(jī)(自動(dòng)對(duì)焦相機(jī)、超級(jí)變焦相機(jī)、數(shù)碼單鏡頭反光(DSLR)相機(jī))等。

移動(dòng)計(jì)算設(shè)備的示例還可以包括被安排來由人穿戴的計(jì)算機(jī)，如手腕計(jì)算機(jī)、手指計(jì)算機(jī)、戒指計(jì)算機(jī)、眼鏡計(jì)算機(jī)、皮帶夾計(jì)算機(jī)、臂帶計(jì)算機(jī)、鞋計(jì)算機(jī)、服裝計(jì)算機(jī)以及其他可穿戴計(jì)算機(jī)。在各實(shí)施例中，例如移動(dòng)計(jì)算設(shè)備可以實(shí)現(xiàn)為能夠執(zhí)行計(jì)算機(jī)應(yīng)用程序、以及語音通信和/或數(shù)據(jù)通信的智能電話。舉例來講，盡管一些實(shí)施例可以用被實(shí)現(xiàn)為智能電話的移動(dòng)計(jì)算設(shè)備來描述，但可以理解的是，其他實(shí)施例也可以使用其他無線移動(dòng)計(jì)算設(shè)備來實(shí)現(xiàn)。實(shí)施例并不局限于本上下文中。

如圖15中所示，設(shè)備1500可以包括：殼體1502、顯示器1504、輸入/輸出(I/O)設(shè)備1506、和天線1508。設(shè)備1500還可以包括導(dǎo)航特征1512。顯示器1504可以包括適合于移動(dòng)計(jì)算設(shè)備的用于顯示信息的任何適當(dāng)?shù)娘@示單元。I/O設(shè)備1506可以包括用于將信息輸入移動(dòng)計(jì)算設(shè)備中的任何適當(dāng)?shù)腎/O設(shè)備。I/O設(shè)備1506的示例可以包括：字母數(shù)字鍵盤、數(shù)字小鍵盤、觸摸板、輸入鍵、按鈕、開關(guān)、搖桿式開關(guān)、麥克風(fēng)、揚(yáng)聲器、語音識(shí)別設(shè)備和軟件等。信息也可以通過麥克風(fēng)(未示出)輸入到設(shè)備1500中。這種信息可以由語音識(shí)別設(shè)備(未示出)數(shù)字化。實(shí)施例并不局限于本上下文中。

可以使用硬件元件、軟件元件、或兩者的組合來實(shí)現(xiàn)各實(shí)施例。硬件元件的示例可以包括：處理器、微處理器、電路、電路元件(例如，晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(ASIC)、可編程邏輯器件(PLD)、數(shù)字信號(hào)處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片組等。軟件的示例可以包括：軟件組件、程序、應(yīng)用、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、過程、軟件接口、應(yīng)用程序接口(API)、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、字、值、符號(hào)、或其任何組合。判定是否使用硬件元件和/或軟件元件來實(shí)現(xiàn)實(shí)施例可以根據(jù)任何數(shù)量的因子而變化，如預(yù)期的計(jì)算速率、功率電平、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲(chǔ)器資源、數(shù)據(jù)總線速度以及其他設(shè)計(jì)或性能約束。

可以由機(jī)器可讀介質(zhì)上所存儲(chǔ)的表屬性指令實(shí)現(xiàn)至少一個(gè)實(shí)施例的一個(gè)或多個(gè)方面，所述指令代表處理器內(nèi)的各種邏輯，當(dāng)被機(jī)器讀取時(shí)所述指令使所述機(jī)器制作用于執(zhí)行在此所描述的技術(shù)的邏輯。此類表示(稱為“IP核”)可以被存儲(chǔ)在有形的機(jī)器可讀介質(zhì)上并提供給各顧客或制造設(shè)施以加載至實(shí)際制作所述邏輯或處理器的制作機(jī)器中。

雖然已經(jīng)參照各實(shí)現(xiàn)方式描述了在此闡述的某些特征，但并不打算在限制性意義上解釋本說明書。因此，本公開涉及的對(duì)本領(lǐng)域技術(shù)人員而言明顯的對(duì)在此描述的實(shí)現(xiàn)方式以及其他實(shí)現(xiàn)方式的各種修改被視為是在本公開的精神和范圍內(nèi)。

下面的示例涉及進(jìn)一步的實(shí)施例。

在一個(gè)或多個(gè)第一實(shí)施例中，一種用于提供圖像重對(duì)焦的計(jì)算機(jī)實(shí)現(xiàn)的方法包括：基于經(jīng)由相機(jī)陣列接收的多個(gè)圖像確定全對(duì)焦參考圖像并且生成基本重對(duì)焦圖像；取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值以生成差值圖像；以及至少部分地基于所述差值圖像將空變?yōu)V波器應(yīng)用于所述基本重對(duì)焦圖像以生成最終重對(duì)焦圖像，所述最終重對(duì)焦圖像具有相對(duì)于所述全對(duì)焦參考圖像而言增大的模糊的區(qū)域。

進(jìn)一步針對(duì)所述第一實(shí)施例，基于所述差值圖像應(yīng)用所述空變?yōu)V波器包括在所述基本重對(duì)焦圖像的第一區(qū)域中增加比在第二區(qū)域中更大量的模糊，其中所述第一區(qū)域與在所述差值圖像中的第一差值相關(guān)聯(lián)，并且所述第二區(qū)域與在所述差值圖像中的第二差值相關(guān)聯(lián)，并且其中所述第一差值大于所述第二差值。

進(jìn)一步針對(duì)所述第一實(shí)施例，所述方法進(jìn)一步包括：將低通濾波器應(yīng)用于所述差值圖像以生成低通差值圖像，其中至少部分地基于所述差值圖像應(yīng)用所述空變?yōu)V波器包括基于所述低通差值圖像應(yīng)用所述空變?yōu)V波器。

進(jìn)一步針對(duì)所述第一實(shí)施例，應(yīng)用所述空變?yōu)V波器包括基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器。

進(jìn)一步針對(duì)所述第一實(shí)施例，應(yīng)用所述空變?yōu)V波器包括基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器，其中基于所述拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器包括：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像。

進(jìn)一步針對(duì)所述第一實(shí)施例，應(yīng)用所述空變?yōu)V波器包括基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器，其中基于所述拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器包括：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像。并且所述方法進(jìn)一步包括：將低通濾波器應(yīng)用于所述差值圖像以生成低通差值圖像；基于所述全對(duì)焦參考圖像生成噪聲級(jí)掩碼和梯度掩碼；將所述噪聲級(jí)掩碼和所述梯度掩碼應(yīng)用于所述低通差值圖像以生成具有減小的噪聲效應(yīng)和梯度效應(yīng)的經(jīng)處理低通差值圖像，其中所述掩碼金字塔基于所述經(jīng)處理低通差值圖像而生成。

進(jìn)一步針對(duì)所述第一實(shí)施例，應(yīng)用所述空變?yōu)V波器包括基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器，其中基于所述拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器包括：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像，其中生成所述掩碼金字塔包括應(yīng)用具有循環(huán)對(duì)稱頻率響應(yīng)的內(nèi)核。

進(jìn)一步針對(duì)所述第一實(shí)施例，所述空變?yōu)V波器包括噪聲級(jí)掩碼或梯度掩碼中的至少一者。

進(jìn)一步針對(duì)所述第一實(shí)施例，取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值包括取所述全對(duì)焦參考圖像的灰度版本與所述基本重對(duì)焦圖像的灰度版本的差值。

進(jìn)一步針對(duì)所述第一實(shí)施例，將所述空變?yōu)V波器應(yīng)用于所述基本重對(duì)焦圖像包括將所述空變?yōu)V波器獨(dú)立地應(yīng)用于所述基本重對(duì)焦圖像的每個(gè)顏色通道。

進(jìn)一步針對(duì)所述第一實(shí)施例，取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值包括取所述全對(duì)焦參考圖像的灰度版本與所述基本重對(duì)焦圖像的灰度版本的差值和/或其中將所述空變?yōu)V波器應(yīng)用于所述基本重對(duì)焦圖像包括將所述空變?yōu)V波器獨(dú)立地應(yīng)用于所述基本重對(duì)焦圖像的每個(gè)顏色通道。

進(jìn)一步針對(duì)所述第一實(shí)施例，所述全對(duì)焦參考圖像包括所述多個(gè)圖像之一，并且其中確定所述基本重對(duì)焦圖像包括基于與期望深度相關(guān)聯(lián)的位移使剩余的多個(gè)圖像移位并且對(duì)所述全對(duì)焦參考圖像和所述經(jīng)移位的圖像取平均以生成所述基本重對(duì)焦圖像。

在一個(gè)或多個(gè)第二實(shí)施例中，一種用于在計(jì)算設(shè)備上提供圖像重對(duì)焦的系統(tǒng)包括：中央處理單元，所述中央處理單元耦合至所述存儲(chǔ)器，其中所述中央處理單元包括參考圖像和基本重對(duì)焦圖像確定電路，所述參考圖像和基本重對(duì)焦圖像確定電路被配置成用于基于經(jīng)由相機(jī)陣列接收的多個(gè)圖像確定全對(duì)焦參考圖像并且生成基本重對(duì)焦圖像；以及圖像處理單元，所述圖像處理單元耦合至所述存儲(chǔ)器，其中所述圖形處理單元包括：取差器電路，所述取差器電路被配置成用于取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值以生成差值圖像；以及空變?yōu)V波器電路，所述空變?yōu)V波器電路被配置成用于至少部分地基于所述差值圖像將空變?yōu)V波器應(yīng)用于所述基本重對(duì)焦圖像以生成最終重對(duì)焦圖像，所述最終重對(duì)焦圖像具有相對(duì)于所述全對(duì)焦參考圖像而言增大的模糊的區(qū)域。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述圖形處理單元進(jìn)一步包括低通濾波器電路，所述低通濾波器電路被配置成用于將低通濾波器應(yīng)用于所述差值圖像以生成低通差值圖像，其中所述空變?yōu)V波器電路被配置成用于至少部分地基于所述差值圖像應(yīng)用所述空變?yōu)V波器包括所述空變?yōu)V波器電路被配置成用于基于所述低通差值圖像應(yīng)用所述空變?yōu)V波器。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述空變?yōu)V波器電路被配置成用于基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述空變?yōu)V波器電路被配置成用于基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器，并且圖形處理單元進(jìn)一步包括：金字塔電路，所述金字塔電路被配置成用于基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔并且基于所述差值圖像生成加權(quán)高斯金字塔；乘積電路，所述乘積電路被配置成用于確定所述加權(quán)高斯金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及金字塔重構(gòu)電路，所述金字塔重構(gòu)電路被配置成用于重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述空變?yōu)V波器電路被配置成用于基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器，并且圖形處理單元進(jìn)一步包括：金字塔電路，所述金字塔電路被配置成用于基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔并且基于所述差值圖像生成加權(quán)高斯金字塔；乘積電路，所述乘積電路被配置成用于確定所述加權(quán)高斯金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及金字塔重構(gòu)電路，所述金字塔重構(gòu)電路被配置成用于重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像，其中所述金字塔電路被配置成用于基于具有循環(huán)對(duì)稱頻率響應(yīng)的內(nèi)核來生成所述加權(quán)高斯金字塔。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述取差器電路被配置成用于基于所述全對(duì)焦參考圖像的灰度版本和所述基本重對(duì)焦圖像的灰度版本來取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值，并且其中所述空變?yōu)V波器電路被配置成用于將所述空變?yōu)V波器獨(dú)立地應(yīng)用于所述基本重對(duì)焦圖像的每個(gè)顏色通道。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述空變?yōu)V波器包括噪聲級(jí)掩碼或梯度掩碼中的至少一者。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述取差器電路被配置成用于基于所述全對(duì)焦參考圖像的灰度版本和所述基本重對(duì)焦圖像的灰度版本來取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述空變?yōu)V波器電路被配置成用于將所述空變?yōu)V波器獨(dú)立地應(yīng)用于所述基本重對(duì)焦圖像的每個(gè)顏色通道

進(jìn)一步針對(duì)所述第二實(shí)施例，所述全對(duì)焦參考圖像包括所述多個(gè)圖像之一，并且其中所述參考圖像和基本重對(duì)焦圖像確定電路被配置成用于通過以下方式確定所述基本重對(duì)焦圖像：所述參考圖像和基本重對(duì)焦圖像確定電路被配置成用于基于與期望深度相關(guān)聯(lián)的位移使剩余的多個(gè)圖像移位并且對(duì)所述全對(duì)焦參考圖像和所述經(jīng)移位的圖像取平均以生成所述基本重對(duì)焦圖像。

進(jìn)一步針對(duì)所述第二實(shí)施例，所述系統(tǒng)進(jìn)一步包括顯示器，所述顯示器被配置成用于將所述最終重對(duì)焦圖像實(shí)時(shí)顯示給用戶。

在一個(gè)或多個(gè)第三實(shí)施例中，一種用于在計(jì)算設(shè)備上提供圖像重對(duì)焦的系統(tǒng)包括：用于基于經(jīng)由相機(jī)陣列接收的多個(gè)圖像確定全對(duì)焦參考圖像并且生成基本重對(duì)焦圖像的裝置；用于取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值以生成差值圖像的裝置；以及用于至少部分地基于所述差值圖像將空變?yōu)V波器應(yīng)用于所述基本重對(duì)焦圖像以生成最終重對(duì)焦圖像的裝置，所述最終重對(duì)焦圖像具有相對(duì)于所述全對(duì)焦參考圖像而言增大的模糊的區(qū)域。

進(jìn)一步針對(duì)所述第三實(shí)施例，用于應(yīng)用所述空變?yōu)V波器的所述裝置包括用于基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器的裝置。

進(jìn)一步針對(duì)所述第三實(shí)施例，所述系統(tǒng)進(jìn)一步包括：用于基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔的裝置；用于基于所述差值圖像生成掩碼金字塔的裝置；用于確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積的裝置；以及用于重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像的裝置。

進(jìn)一步針對(duì)所述第三實(shí)施例，所述系統(tǒng)進(jìn)一步包括：用于基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔的裝置；用于基于所述差值圖像生成掩碼金字塔的裝置；用于確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積的裝置；用于重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像的裝置；用于將低通濾波器應(yīng)用于所述差值圖像以生成低通差值圖像的裝置；用于基于所述全對(duì)焦參考圖像生成噪聲級(jí)掩碼和梯度掩碼的裝置；以及用于將所述噪聲級(jí)掩碼和所述梯度掩碼應(yīng)用于所述低通差值圖像以生成具有減小的噪聲效應(yīng)和梯度效應(yīng)的經(jīng)處理低通差值圖像的裝置，其中所述掩碼金字塔基于所述經(jīng)處理低通差值圖像而生成。

在一個(gè)或多個(gè)第四實(shí)施例中，至少一種機(jī)器可讀介質(zhì)包括指令，所述指令響應(yīng)于在計(jì)算設(shè)備上被執(zhí)行而使所述計(jì)算設(shè)備通過以下各項(xiàng)提供圖像重對(duì)焦：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像。

進(jìn)一步針對(duì)所述第四實(shí)施例，應(yīng)用所述空變?yōu)V波器包括基于拉普拉斯金字塔近似來應(yīng)用所述空變?yōu)V波器。

進(jìn)一步針對(duì)所述第四實(shí)施例，所述機(jī)器可讀介質(zhì)進(jìn)一步包括指令，所述指令使所述計(jì)算設(shè)備通過以下各項(xiàng)提供圖像重對(duì)焦：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；以及重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像。

進(jìn)一步針對(duì)所述第四實(shí)施例，所述機(jī)器可讀介質(zhì)進(jìn)一步包括指令，所述指令使所述計(jì)算設(shè)備通過以下各項(xiàng)提供圖像重對(duì)焦：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像；將低通濾波器應(yīng)用于所述差值圖像以生成低通差值圖像；基于所述全對(duì)焦參考圖像生成噪聲級(jí)掩碼和梯度掩碼；以及將所述噪聲級(jí)掩碼和所述梯度掩碼應(yīng)用于所述低通差值圖像以生成具有減小的噪聲效應(yīng)和梯度效應(yīng)的經(jīng)處理低通差值圖像，其中所述掩碼金字塔基于所述經(jīng)處理低通差值圖像而生成。

進(jìn)一步針對(duì)所述第四實(shí)施例，所述機(jī)器可讀介質(zhì)進(jìn)一步包括指令，所述指令使所述計(jì)算設(shè)備通過以下各項(xiàng)提供圖像重對(duì)焦：基于所述基本重對(duì)焦圖像生成基本重對(duì)焦圖像拉普拉斯金字塔；基于所述差值圖像生成掩碼金字塔；確定所述掩碼金字塔與所述基本重對(duì)焦圖像拉普拉斯金字塔的乘積；重構(gòu)所述乘積以生成所述最終重對(duì)焦圖像；將低通濾波器應(yīng)用于所述差值圖像以生成低通差值圖像；基于所述全對(duì)焦參考圖像生成噪聲級(jí)掩碼和梯度掩碼；以及將所述噪聲級(jí)掩碼和所述梯度掩碼應(yīng)用于所述低通差值圖像以生成具有減小的噪聲效應(yīng)和梯度效應(yīng)的經(jīng)處理低通差值圖像，其中所述掩碼金字塔基于所述經(jīng)處理低通差值圖像而生成，其中生成所述掩碼金字塔包括應(yīng)用具有循環(huán)對(duì)稱頻率響應(yīng)的內(nèi)核。

進(jìn)一步針對(duì)所述第四實(shí)施例，所述空變?yōu)V波器包括噪聲級(jí)掩碼或梯度掩碼中的至少一者。

進(jìn)一步針對(duì)所述第四實(shí)施例，取所述全對(duì)焦參考圖像與所述基本重對(duì)焦圖像的差值包括取所述全對(duì)焦參考圖像的灰度版本與所述基本重對(duì)焦圖像的灰度版本的差值，并且其中將所述空變?yōu)V波器應(yīng)用于所述基本重對(duì)焦圖像包括將所述空變?yōu)V波器獨(dú)立地應(yīng)用于所述基本重對(duì)焦圖像的每個(gè)顏色通道。

在一個(gè)或多個(gè)第五實(shí)施例中，至少一種機(jī)器可讀介質(zhì)可以包括指令，所述指令響應(yīng)于在計(jì)算設(shè)備上被執(zhí)行而使所述計(jì)算設(shè)備執(zhí)行根據(jù)以上實(shí)施例中的任一項(xiàng)所述的方法。

在一個(gè)或多個(gè)第六實(shí)施例中，一種裝置可以包括：用于執(zhí)行根據(jù)以上實(shí)施例中的任一項(xiàng)所述的方法的裝置。

將認(rèn)識(shí)到，這些實(shí)施例不局限于如此描述的這些實(shí)施例，而是可以在不背離所附權(quán)利要求書的范圍的情況下通過修改和變更來實(shí)踐。例如，以上實(shí)施例可以包括特征的特定組合。然而，以上實(shí)施例不局限于這個(gè)方面，并且在各實(shí)現(xiàn)方式中，以上實(shí)施例可以包括僅進(jìn)行這種特征的子集、進(jìn)行這種特征的不同順序、進(jìn)行這種特征的不同組合和/或進(jìn)行除了明確例舉的那些特征之外的附加特征。因此，這些實(shí)施例的范圍應(yīng)該參照所附權(quán)利要求來確定，連同考慮這些權(quán)利要求有資格考慮的等效物的全部范圍。