各種實(shí)施例大體上涉及用于圖像的運(yùn)動(dòng)去模糊的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

在弱光條件下拍攝場(chǎng)景的圖像通常需要增加相機(jī)的曝光時(shí)間。增加相機(jī)的曝光時(shí)間可以使相機(jī)內(nèi)部的光更多，從而有助于在弱光條件下對(duì)場(chǎng)景進(jìn)行圖像拍攝。然而，如果要在弱光條件下拍攝的場(chǎng)景包括運(yùn)動(dòng)中的對(duì)象，諸如正在步行/正在跑步的人、移動(dòng)的汽車(chē)等，則如果曝光時(shí)間顯著較大，則在拍攝的圖像中引入運(yùn)動(dòng)偽像(motionartifacts)。以與運(yùn)動(dòng)相關(guān)聯(lián)的對(duì)象模糊的形式觀察到的運(yùn)動(dòng)偽像的存在降低了所拍攝圖像的質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

各種示例性實(shí)施例在權(quán)利要求中闡述。

在第一實(shí)施例中，提供了一種方法，其包括：基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定所述場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象，所述兩個(gè)或更多個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)；如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于所述場(chǎng)景中，則識(shí)別所述場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分；向第二相機(jī)提供與所述場(chǎng)景的所述一個(gè)或多個(gè)部分相關(guān)的信息，所述第二相機(jī)被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；接收由所述第二相機(jī)拍攝的所述場(chǎng)景的圖像，其中布設(shè)在所述第二相機(jī)的圖像傳感器前方的像素級(jí)快門(mén)被編程為：在所述圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)所述圖像傳感器的與所述場(chǎng)景的所述一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，周期性地打開(kāi)和關(guān)閉；以及基于所述圖像來(lái)生成與所述場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。

在第二實(shí)施例中，提供了一種裝置，其包括：至少一個(gè)處理器；以及包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為與所述至少一個(gè)處理器一起使得所述設(shè)備至少執(zhí)行：基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定所述場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象，所述兩個(gè)或更多個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)；如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于所述場(chǎng)景中，則識(shí)別所述場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分；向第二相機(jī)提供與所述場(chǎng)景的所述一個(gè)或多個(gè)部分相關(guān)的信息，所述第二相機(jī)被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；接收由所述第二相機(jī)拍攝的所述場(chǎng)景的圖像，其中布設(shè)在所述第二相機(jī)的圖像傳感器前方的像素級(jí)快門(mén)被編程為：在所述圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)所述圖像傳感器的與所述場(chǎng)景的所述一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，周期性地打開(kāi)和關(guān)閉；以及基于所述圖像來(lái)生成與所述場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。

在第三實(shí)施例中，提供了一種裝置，其包括：相機(jī)模塊，所述相機(jī)模塊包括：第一相機(jī)，被配置為拍攝與第一曝光時(shí)間相關(guān)聯(lián)的突發(fā)圖像；第二相機(jī)，被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；以及像素級(jí)快門(mén)，布設(shè)在所述第二相機(jī)的圖像傳感器前方；至少一個(gè)處理器；以及包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為與所述至少一個(gè)處理器一起使得所述裝置至少執(zhí)行：基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定所述場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象，所述兩個(gè)或更多個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)；如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于所述場(chǎng)景中，則識(shí)別所述場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分；向第二相機(jī)提供與所述場(chǎng)景的所述一個(gè)或多個(gè)部分相關(guān)的信息，所述第二相機(jī)被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；接收由所述第二相機(jī)拍攝的所述場(chǎng)景的圖像，其中布設(shè)在所述第二相機(jī)的圖像傳感器前方的像素級(jí)快門(mén)被編程為：在所述圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)所述圖像傳感器的與所述場(chǎng)景的所述一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，周期性地打開(kāi)和關(guān)閉；以及基于所述圖像來(lái)生成與所述場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。

在第四實(shí)施例中，提供了一種計(jì)算機(jī)程序產(chǎn)品，其包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括指令的集合，所述指令的集合在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得裝置至少執(zhí)行：基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定所述場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象，所述兩個(gè)或更多個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)；如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于所述場(chǎng)景中，則識(shí)別所述場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分；向第二相機(jī)提供與所述場(chǎng)景的所述一個(gè)或多個(gè)部分相關(guān)的信息，所述第二相機(jī)被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；接收由所述第二相機(jī)拍攝的所述場(chǎng)景的圖像，其中布設(shè)在所述第二相機(jī)的圖像傳感器前方的像素級(jí)快門(mén)被編程為：在所述圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)所述圖像傳感器的與所述場(chǎng)景的所述一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，周期性地打開(kāi)和關(guān)閉；以及基于所述圖像來(lái)生成與所述場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。

在第五實(shí)施例中，提供了一種裝置，其包括：用于基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定所述場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象的部件，所述兩個(gè)或更多個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)；用于如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于所述場(chǎng)景中，則識(shí)別所述場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分的部件；用于向第二相機(jī)提供與所述場(chǎng)景的所述一個(gè)或多個(gè)部分相關(guān)的信息的部件，所述第二相機(jī)被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；用于接收由所述第二相機(jī)拍攝的所述場(chǎng)景的圖像的部件，其中布設(shè)在所述第二相機(jī)的圖像傳感器前方的像素級(jí)快門(mén)被編程為：在所述圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)所述圖像傳感器的與所述場(chǎng)景的所述一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，周期性地打開(kāi)和關(guān)閉；以及用于基于所述圖像來(lái)生成與所述場(chǎng)景對(duì)應(yīng)的去模糊后的圖像的部件。

在第六實(shí)施例中，提供了一種包括程序指令的計(jì)算機(jī)程序，所述程序指令在由裝置執(zhí)行時(shí)使得所述裝置：基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定所述場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象，所述兩個(gè)或更多個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)；如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于所述場(chǎng)景中，則識(shí)別所述場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分；向第二相機(jī)提供與所述場(chǎng)景的所述一個(gè)或多個(gè)部分相關(guān)的信息，所述第二相機(jī)被配置為拍攝與第二曝光時(shí)間相關(guān)聯(lián)的單次曝光圖像，所述第二曝光時(shí)間大于所述第一曝光時(shí)間；接收由所述第二相機(jī)拍攝的所述場(chǎng)景的圖像，其中布設(shè)在所述第二相機(jī)的圖像傳感器前方的像素級(jí)快門(mén)被編程為：在所述圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)所述圖像傳感器的與所述場(chǎng)景的所述一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，周期性地打開(kāi)和關(guān)閉；以及基于所述圖像來(lái)生成與所述場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。

附圖說(shuō)明

在附圖的圖中通過(guò)示例而非限制的方式示出了各種實(shí)施例，在附圖中：

圖1示出了根據(jù)示例性實(shí)施例的設(shè)備；

圖2示出了根據(jù)示例實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的裝置；

圖3描繪了根據(jù)示例性實(shí)施例的相機(jī)模塊的部件的簡(jiǎn)化布置；

圖4a-4f描繪了用于示出根據(jù)實(shí)施例的、由第二相機(jī)拍攝圖像期間像素等級(jí)快門(mén)的操作區(qū)域的示例原理圖；

圖5示出了根據(jù)另一示例性實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的裝置；

圖6是描繪根據(jù)示例實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的示例方法的流程圖；和

圖7a-7b是描繪根據(jù)另一示例性實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的示例方法的流程圖。

具體實(shí)施方式

通過(guò)參考附圖的圖1至7b可以理解示例性實(shí)施例及其潛在的效果。

圖1示出了根據(jù)示例實(shí)施例的設(shè)備100。然而，應(yīng)當(dāng)理解，如圖所示和下文所述的設(shè)備100僅僅是可能受益于各種實(shí)施例的一種類型的設(shè)備的說(shuō)明，因此，不應(yīng)該被認(rèn)為限制實(shí)施例的范圍。因此，應(yīng)當(dāng)理解，下面結(jié)合設(shè)備100描述的至少一些組件可以是可選的，并且因此在示例實(shí)施例中可以包括與結(jié)合圖1的示例實(shí)施例所描述的那些更多、更少或不同的組件設(shè)備100可以是多種類型的移動(dòng)電子設(shè)備中的任何一種，例如便攜式數(shù)字助理(pda)、尋呼機(jī)、移動(dòng)電視、游戲設(shè)備、蜂窩電話、所有類型的計(jì)算機(jī)(例如，筆記本電腦、移動(dòng)電話計(jì)算機(jī)或臺(tái)式機(jī))、相機(jī)、音頻/視頻播放器、無(wú)線電設(shè)備、全球定位系統(tǒng)(gps)設(shè)備、媒體播放器、移動(dòng)數(shù)字助理或上述和其他類型的通信設(shè)備的任何組合。

設(shè)備100可以包括與發(fā)送器104和接收器106可操作地通信的天線102(或多個(gè)天線)。設(shè)備100還可以包括諸如控制器108或向發(fā)送器104和接收器106提供信號(hào)和從發(fā)送器104和接收器106接收信號(hào)的的其他處理設(shè)備的裝置。信號(hào)可以包括根據(jù)適用蜂窩系統(tǒng)的空中接口標(biāo)準(zhǔn)的信令信息，和/或還可以包括對(duì)應(yīng)于用戶語(yǔ)音、所接收的數(shù)據(jù)和/或用戶生成的數(shù)據(jù)的數(shù)據(jù)。在這方面，設(shè)備100可以能夠與一個(gè)或多個(gè)空中接口標(biāo)準(zhǔn)、通信協(xié)議、調(diào)制類型和接入類型一起操作。作為示例，設(shè)備100可以能夠根據(jù)多個(gè)第一代通信協(xié)議、第二代通信協(xié)議、第三代通信協(xié)議和/或第四代通信協(xié)議等中的任何一個(gè)來(lái)操作。例如，設(shè)備100可能能夠根據(jù)第二代(2g)無(wú)線通信協(xié)議is-136(時(shí)分多址(tdma))、gsm(全球移動(dòng)通信系統(tǒng))和is-95(碼分多址(cdma))、或根據(jù)通用移動(dòng)電信系統(tǒng)(umts)、cdma1000、寬帶cdma(wcdma)和時(shí)分同步cdma(td-scdma)等的第三代(3g)無(wú)線通信協(xié)議、根據(jù)3.9g無(wú)線通信協(xié)議(諸如具有第四代(4g)無(wú)線通信協(xié)議的演進(jìn)通用陸地?zé)o線接入網(wǎng)絡(luò)(e-utran)等)進(jìn)行操作。作為替代(或另外)，設(shè)備100可以能夠根據(jù)非蜂窩通信機(jī)制來(lái)操作。例如，諸如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)等計(jì)算機(jī)網(wǎng)絡(luò)；短距離無(wú)線通信網(wǎng)絡(luò)、如藍(lán)牙網(wǎng)絡(luò)、zigbee網(wǎng)絡(luò)、電氣和電子工程師協(xié)會(huì)(ieee)802.11x網(wǎng)絡(luò)等；以及諸如公共交換電話網(wǎng)(pstn)等的有線電信網(wǎng)絡(luò)。

控制器108可以包括尤其實(shí)現(xiàn)設(shè)備100的音頻和邏輯功能的電路。例如，控制器108可以包括但不限于一個(gè)或多個(gè)數(shù)字信號(hào)處理器設(shè)備、一個(gè)或多個(gè)微處理器設(shè)備、具有附帶數(shù)字信號(hào)處理器的一個(gè)或多個(gè)處理器、不伴隨數(shù)字信號(hào)處理器的一個(gè)或多個(gè)處理器、一個(gè)或多個(gè)專用計(jì)算機(jī)芯片、一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、一個(gè)或多個(gè)控制器、一個(gè)或多個(gè)專用集成電路(asic)、一個(gè)或多個(gè)計(jì)算機(jī)、各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器和/或其他支持電路。設(shè)備100的控制和信號(hào)處理功能根據(jù)它們各自的能力在這些設(shè)備之間分配。因此，控制器108還可以包括在調(diào)制和傳輸之前對(duì)消息和數(shù)據(jù)進(jìn)行卷積編碼和交織的功能?？刂破?08還可以包括內(nèi)部語(yǔ)音編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。此外，控制器108可以包括操作可以在存儲(chǔ)器中存儲(chǔ)的一個(gè)或多個(gè)軟件程序的功能。例如，控制器108可能能夠操作連接程序，諸如傳統(tǒng)的web瀏覽器。然后，連接程序可以允許設(shè)備100根據(jù)無(wú)線應(yīng)用協(xié)議(wap)、超文本傳輸協(xié)議(http)和/或類似協(xié)議來(lái)發(fā)送和接收web內(nèi)容，諸如基于位置的內(nèi)容和/或其他網(wǎng)頁(yè)內(nèi)容喜歡。在示例實(shí)施例中，控制器108可以被實(shí)現(xiàn)為諸如雙核或四核處理器的多核處理器。然而，可以在控制器108中包括任何數(shù)量的處理器。

設(shè)備100還可以包括用戶接口，其包括輸出設(shè)備，例如振鈴器110、耳機(jī)或揚(yáng)聲器112、麥克風(fēng)114、顯示器116和用戶輸入接口，其可以耦合到控制器108。允許設(shè)備100接收數(shù)據(jù)的用戶輸入接口可以包括允許設(shè)備100接收數(shù)據(jù)的多個(gè)設(shè)備中的任何一個(gè)，諸如小鍵盤(pán)118、觸摸顯示器、麥克風(fēng)或其他輸入設(shè)備。在包括小鍵盤(pán)118的實(shí)施例中，小鍵盤(pán)118可以包括數(shù)字(0-9)和相關(guān)鍵(#，*)以及用于操作設(shè)備100的其它硬鍵和軟鍵。替代地或附加地，小鍵盤(pán)118可以包括常規(guī)的qwerty鍵盤(pán)布置。小鍵盤(pán)118還可以包括具有相關(guān)功能的各種軟鍵。附加地或替代地，設(shè)備100可以包括諸如操縱桿或其他用戶輸入接口的接口設(shè)備。裝置100還包括諸如振動(dòng)電池組的電池120，其用于對(duì)用于操作設(shè)備100的各種電路供電，以及可選地提供作為可檢測(cè)輸出的機(jī)械振動(dòng)。

在示例實(shí)施例中，設(shè)備100包括與控制器108通信的至少一個(gè)媒體拍攝元件，諸如相機(jī)、視頻和/或音頻模塊。媒體拍攝元件可以是被配置用于拍攝用于存儲(chǔ)、顯示或傳輸?shù)膱D像、視頻和/或音頻的任何部件。在其中媒體拍攝元件是相機(jī)模塊122的示例實(shí)施例中，相機(jī)模塊122可以包括能夠從拍攝的圖像形成數(shù)字圖像文件的至少一個(gè)數(shù)字相機(jī)。因此，相機(jī)模塊122包括諸如透鏡或其他光學(xué)組件的所有硬件以及用于從拍攝的圖像創(chuàng)建數(shù)字圖像文件的軟件。替代地，相機(jī)模塊122可以包括查看圖像所需的硬件，而設(shè)備100的存儲(chǔ)設(shè)備存儲(chǔ)用于由軟件形式由控制器108執(zhí)行的指令以從所拍攝的圖像創(chuàng)建數(shù)字圖像文件。在示例實(shí)施例中，相機(jī)模塊122還可以包括諸如協(xié)處理器的處理元件，其協(xié)助控制器108處理圖像數(shù)據(jù)，以及用于壓縮和/或解壓縮圖像數(shù)據(jù)的編碼器和/或解碼器。編碼器和/或解碼器可以根據(jù)jpeg標(biāo)準(zhǔn)格式或其他類似格式編碼和/或解碼。對(duì)于視頻，編碼器和/或解碼器可以采用多種標(biāo)準(zhǔn)格式中的任何一種，例如與h.261、h.262/mpeg-2、h.263、h.264、h.264/mpeg-4、mpeg-4等相關(guān)聯(lián)的標(biāo)準(zhǔn)。在一些情況下，相機(jī)模塊122可以向顯示器116提供實(shí)時(shí)圖像數(shù)據(jù)。此外，在示例性實(shí)施例中，顯示器116可以位于設(shè)備100的一側(cè)，并且相機(jī)模塊122可以包括位于相對(duì)于顯示器116位于設(shè)備100的相對(duì)側(cè)的透鏡，以使相機(jī)模塊122能夠在設(shè)備100的一側(cè)拍攝圖像，并將這樣的圖像的視圖呈現(xiàn)給位于設(shè)備100的另一側(cè)上的用戶。

設(shè)備100還可以包括用戶標(biāo)識(shí)模塊(uim)124。uim124可以是具有內(nèi)置處理器的存儲(chǔ)器設(shè)備。uim124可以包括例如用戶識(shí)別模塊(sim)、通用集成電路卡(uicc)、通用用戶識(shí)別模塊(usim)、可移動(dòng)用戶標(biāo)識(shí)模塊(r-uim)或任何其他智能卡。uim124通常存儲(chǔ)與移動(dòng)用戶相關(guān)的信息元素。除了uim124之外，設(shè)備100可以配備有存儲(chǔ)器。例如，設(shè)備100可以包括易失性存儲(chǔ)器126，諸如包括用于臨時(shí)存儲(chǔ)數(shù)據(jù)的高速緩存區(qū)域的易失性隨機(jī)存取存儲(chǔ)器(ram)。設(shè)備100還可以包括其他非易失性存儲(chǔ)器128，其可以被嵌入和/或可以是可移除的。非易失性存儲(chǔ)器128可以附加地或替代地包括電可擦除可編程只讀存儲(chǔ)器(eeprom)、閃存、硬盤(pán)驅(qū)動(dòng)器等。存儲(chǔ)器可以存儲(chǔ)設(shè)備100使用以實(shí)現(xiàn)設(shè)備100的功能的任何數(shù)量的信息和數(shù)據(jù)。

圖2示出了根據(jù)示例性實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的裝置200。本文所用的術(shù)語(yǔ)“圖像的運(yùn)動(dòng)去模糊”是指從拍攝的圖像中去除運(yùn)動(dòng)模糊。運(yùn)動(dòng)模糊通常是由于圖像捕捉元件和被拍攝對(duì)象之間的相對(duì)運(yùn)動(dòng)引入的。相對(duì)運(yùn)動(dòng)可以是由于由穩(wěn)定的相機(jī)拍攝的場(chǎng)景中的運(yùn)動(dòng)對(duì)象，或來(lái)自拍攝相當(dāng)靜止對(duì)象的非穩(wěn)定相機(jī)。在一些實(shí)施例中，如本文所使用的術(shù)語(yǔ)“運(yùn)動(dòng)去模糊”是指對(duì)由于在與弱光條件相關(guān)聯(lián)的場(chǎng)景中并且被相機(jī)以非常大的曝光時(shí)間拍攝的運(yùn)動(dòng)對(duì)象引入的運(yùn)動(dòng)模糊的去除。

裝置200可以例如在圖1的設(shè)備100中使用。然而，應(yīng)當(dāng)注意，裝置200也可以用于移動(dòng)和固定兩者的各種其他設(shè)備上，因此，實(shí)施例不應(yīng)該限于在諸如圖1的設(shè)備100的設(shè)備上的應(yīng)用。替代地，可以在包括例如上面列出的設(shè)備的組合中使用實(shí)施例。因此，各種實(shí)施例可以完全體現(xiàn)在單個(gè)設(shè)備(例如設(shè)備100)或設(shè)備的組合中。此外，應(yīng)當(dāng)注意，下面描述的設(shè)備或元件可以不是強(qiáng)制性的，因此在某些實(shí)施例中可以省略某些設(shè)備或元件。

裝置200包括或以其他方式與至少一個(gè)處理器202和至少一個(gè)存儲(chǔ)器204通信。至少一個(gè)存儲(chǔ)器204的示例包括但不限于易失性和/或非易失性存儲(chǔ)器。易失性存儲(chǔ)器的一些示例包括但不限于隨機(jī)存取存儲(chǔ)器、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器、靜態(tài)隨機(jī)存取存儲(chǔ)器等。非易失性存儲(chǔ)器的一些示例包括但不限于硬盤(pán)、磁帶、光盤(pán)、可編程只讀存儲(chǔ)器、可擦除可編程只讀存儲(chǔ)器、電可擦除可編程只讀存儲(chǔ)器、閃存等。存儲(chǔ)器204可以被配置為存儲(chǔ)信息、數(shù)據(jù)、應(yīng)用程序、指令等，以使裝置200能夠根據(jù)各種示例性實(shí)施例執(zhí)行各種功能。例如，存儲(chǔ)器204可以被配置為緩存包括媒體內(nèi)容的輸入數(shù)據(jù)，以供處理器202處理。另外地或替代地，存儲(chǔ)器204可以被配置為存儲(chǔ)由處理器202執(zhí)行的指令。

處理器202的示例可以包括控制器108。處理器202可以以多種不同的方式實(shí)施。處理器202可以被實(shí)現(xiàn)為多核處理器、單核處理器；或多核處理器和單核處理器的組合。例如，處理器202可以被實(shí)現(xiàn)為各種處理部件中的一個(gè)或多個(gè)，諸如協(xié)處理器、微處理器、控制器、數(shù)字信號(hào)處理器(dsp)、具有或不具有伴隨dsp的處理電路、或包括諸如例如專用集成電路(asic)、現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、微控制器單元(mcu)、硬件加速器、專用計(jì)算機(jī)芯片等的集成電路的各種其它處理部件。在示例實(shí)施例中，多核處理器可以被配置為執(zhí)行存儲(chǔ)在存儲(chǔ)器204中的或者處理器202可訪問(wèn)的指令。替代地或另外地，處理器202可以被配置為執(zhí)行硬編碼功能。因此，無(wú)論是由硬件或軟件方法配置，還是通過(guò)其組合，處理器202可以表示例如物理上體現(xiàn)在電路中、能夠根據(jù)各種實(shí)施例進(jìn)行操作同時(shí)相應(yīng)地被配置的實(shí)體。例如，如果處理器202被實(shí)現(xiàn)為asic、fpga等中的兩個(gè)或更多個(gè)，則處理器202可以是用于進(jìn)行本文所述的操作的具體配置的硬件。替代地，作為另一示例，如果處理器202被實(shí)現(xiàn)為軟件指令的執(zhí)行器，則指令可以具體地配置處理器202來(lái)在執(zhí)行指令時(shí)執(zhí)行本文所描述的算法和/或操作。然而，在一些情況下，處理器202可以是特定設(shè)備的處理器，例如適于通過(guò)用于執(zhí)行本文描述的算法和/或操作的指令來(lái)進(jìn)一步配置處理器202來(lái)采用實(shí)施例的移動(dòng)終端或網(wǎng)絡(luò)設(shè)備。處理器202可以尤其包括時(shí)鐘、算術(shù)邏輯單元(alu)和被配置為支持處理器202的操作的邏輯門(mén)。

用戶接口206可以與處理器202通信。用戶接口206的示例包括但不限于輸入接口和/或輸出用戶接口。輸入接口被配置為接收用戶輸入的指示。輸出用戶接口向用戶提供聲音，視覺(jué)，機(jī)械或其他輸出和/或反饋。輸入接口的示例可以包括但不限于鍵盤(pán)，鼠標(biāo)，操縱桿，鍵盤(pán)，觸摸屏，軟鍵等。輸出接口的示例可以包括但不限于諸如發(fā)光二極管顯示器，薄膜晶體管(tft)顯示器，液晶顯示器，有源矩陣有機(jī)發(fā)光二極管(amoled)顯示器，顯示器麥克風(fēng)，揚(yáng)聲器，振鈴器，振動(dòng)器等。在示例實(shí)施例中，用戶接口206可以尤其包括揚(yáng)聲器，麥克風(fēng)，顯示器，鍵盤(pán)，觸摸屏等中的任何或全部的其它設(shè)備或元件。在這方面，例如，處理器202可以包括被配置為控制用戶接口206(例如揚(yáng)聲器，振鈴器，麥克風(fēng)，顯示器和/或類似物)的一個(gè)或多個(gè)元件的至少一些功能的用戶接口電路。處理器202和/或包括處理器202的用戶接口電路可以被配置為通過(guò)存儲(chǔ)在存儲(chǔ)器(例如，可處理器202可訪問(wèn)的至少一個(gè)存儲(chǔ)器204和/或類似物)上的計(jì)算機(jī)程序指令(例如軟件和/或固件)來(lái)控制用戶接口206中的一個(gè)或多個(gè)元件的一個(gè)或多個(gè)功能。

在示例性實(shí)施例中，裝置200可以包括電子設(shè)備。電子設(shè)備的一些示例包括通信設(shè)備，具有通信能力的媒體拍攝設(shè)備，計(jì)算設(shè)備，監(jiān)視設(shè)備等。電子設(shè)備的一些示例可以包括移動(dòng)電話，個(gè)人數(shù)字助理(pda)，監(jiān)視相機(jī)等。計(jì)算設(shè)備的一些示例可以包括膝上型計(jì)算機(jī)，個(gè)人計(jì)算機(jī)等。在示例實(shí)施例中，電子設(shè)備可以包括用戶接口，例如ui206，其具有用戶接口電路和用戶接口軟件，其被配置為便于用戶通過(guò)使用顯示器來(lái)控制電子設(shè)備的至少一個(gè)功能，并且進(jìn)一步配置為響應(yīng)于用戶輸入。在示例實(shí)施例中，電子設(shè)備可以包括被配置為顯示電子設(shè)備的用戶接口的至少一部分的顯示電路。顯示器和顯示電路可以被配置為便于用戶控制電子設(shè)備的至少一個(gè)功能。

在示例性實(shí)施例中，電子設(shè)備可以被實(shí)現(xiàn)為包括收發(fā)器。收發(fā)器可以是根據(jù)軟件操作的、或以硬件或硬件和軟件的組合體現(xiàn)的任何設(shè)備或電路。例如，在軟件控制下操作的處理器202或者被實(shí)現(xiàn)為專門(mén)配置為執(zhí)行本文描述的操作的asic或fpga的處理器202或其組合，從而配置裝置200或電路來(lái)執(zhí)行收發(fā)器的功能。收發(fā)器可以被配置為接收媒體內(nèi)容。媒體內(nèi)容的示例可以包括音頻內(nèi)容、視頻內(nèi)容、數(shù)據(jù)及其組合。

這些組件(202-206)可以經(jīng)由集中的電路系統(tǒng)208彼此通信，以產(chǎn)生運(yùn)動(dòng)去模糊后的圖像。集中的電路系統(tǒng)208可以是被配置為尤其提供或?qū)崿F(xiàn)裝置200的組件(202-206)之間的通信的各種設(shè)備。在某些實(shí)施例中，集中式電路系統(tǒng)208可以是中央印刷電路板(pcb)，諸如主板、主板、系統(tǒng)板或邏輯板。集中的電路系統(tǒng)208也可以或者替代地包括其它印刷電路組件(pca)或通信信道介質(zhì)。

在實(shí)施例中，裝置200與相機(jī)模塊210可操作地通信。在一個(gè)實(shí)施例中，相機(jī)模塊210可以在裝置200的外部，盡管它可以包括在電子設(shè)備內(nèi)。在一些實(shí)施例中，相機(jī)模塊210可以布設(shè)在電子設(shè)備的外部并且可以可操作地耦合到裝置200。相機(jī)模塊210被配置為促進(jìn)拍攝數(shù)字圖像和視頻。為此，相機(jī)模塊210包括第一相機(jī)212和第二相機(jī)214。第一相機(jī)212被配置為拍攝低曝光突發(fā)圖像。每個(gè)突發(fā)圖像與第一曝光時(shí)間相關(guān)聯(lián)。第二相機(jī)214配置成以第二曝光時(shí)間拍攝單次曝光圖像。第二曝光時(shí)間明顯大于第一曝光時(shí)間。在說(shuō)明性示例中，如果第二曝光時(shí)間對(duì)應(yīng)于“t”秒持續(xù)時(shí)間，則與第一曝光時(shí)間相關(guān)聯(lián)的持續(xù)時(shí)間可以在“t/50”秒左右。在另一說(shuō)明性示例中，第二曝光持續(xù)時(shí)間為500毫秒，第一曝光持續(xù)時(shí)間為10毫秒。應(yīng)當(dāng)理解，為了說(shuō)明的目的，本文提供了第二曝光持續(xù)時(shí)間和第一曝光持續(xù)時(shí)間的數(shù)值，并且不應(yīng)被認(rèn)為是限制本公開(kāi)的范圍。實(shí)際上，可以選擇用于第二曝光時(shí)間和第一曝光時(shí)間的各種這樣的持續(xù)時(shí)間值以拍攝與場(chǎng)景對(duì)應(yīng)的圖像。

相機(jī)模塊210還包括像素級(jí)快門(mén)216，也通常稱為“顫振快門(mén)(fluttershutter)”。像素級(jí)快門(mén)216是布設(shè)在圖像傳感器(例如第二相機(jī)214的圖像傳感器)的前方的透射膜(或屏幕)，并且被編程為周期性地打開(kāi)和關(guān)閉，在圖像拍攝的整個(gè)持續(xù)時(shí)間期間，用于與圖像傳感器對(duì)應(yīng)的所選擇的像素的圖像采集。例如，對(duì)于圖像傳感器的給定像素，像素電平快門(mén)216可以關(guān)于以下模式打開(kāi)或關(guān)閉：“1010000111000001010000110011110111010111001001100111”，其中“1”對(duì)應(yīng)于像素級(jí)快門(mén)216的打開(kāi)配置，“0”對(duì)應(yīng)于關(guān)閉配置，如果第二相機(jī)214的曝光時(shí)間被選擇為52毫秒并且由于上面提供的用于打開(kāi)和關(guān)閉像素級(jí)快門(mén)216的二進(jìn)制模式的長(zhǎng)度包括52個(gè)二進(jìn)制值，則像素電平快門(mén)216的周期性的打開(kāi)和關(guān)閉的頻率可被計(jì)算為1毫秒。應(yīng)當(dāng)理解，為了示例目的在本文中提供像素級(jí)快門(mén)216的操作的數(shù)值/模式，并且可以選擇各種這樣的模式來(lái)獲得拍攝的圖像的最優(yōu)去模糊。

相機(jī)模塊210還可以包括其它成像電路和/或軟件，其組合可以是設(shè)備100的相機(jī)模塊122的示例。在一個(gè)實(shí)施例中，相機(jī)模塊210的雙相機(jī)配置被布置為使得對(duì)應(yīng)于相機(jī)的透鏡、圖像傳感器和相關(guān)電路沿著公共基線布置以產(chǎn)生立體相機(jī)設(shè)置。這種設(shè)置的示例在圖3中示出。

現(xiàn)在參考圖3，根據(jù)示例性實(shí)施例，描繪了相機(jī)模塊210的組件的簡(jiǎn)化布置。如上所述，相機(jī)模塊210包括第一相機(jī)212、第二相機(jī)214和像素級(jí)快門(mén)216。出于說(shuō)明的目的，第一相機(jī)212和第二相機(jī)214中的每一個(gè)在這里被描繪為僅包括透鏡和圖像傳感器。因此，第一相機(jī)212被描繪為包括透鏡302和圖像傳感器304，并且第二相機(jī)214被描繪為包括透鏡306和圖像傳感器308。應(yīng)當(dāng)理解，每個(gè)相機(jī)可以與除了透鏡和圖像傳感器之外的多個(gè)部件相關(guān)聯(lián)。此外，應(yīng)當(dāng)理解，入射到透鏡上的光由圖3的“入射光”以示例方式所描繪地指向圖像傳感器。像素級(jí)快門(mén)216布設(shè)在第二相機(jī)214的圖像傳感器308的前方，使得來(lái)自被拍攝的場(chǎng)景的透鏡306上的入射光在被圖像傳感器308感測(cè)之前通過(guò)像素級(jí)快門(mén)216。第一相機(jī)212和第二相機(jī)214的透鏡/圖像傳感器電路沿著公共基線布設(shè)(即相機(jī)的透鏡和圖像傳感器彼此對(duì)準(zhǔn))，使得相機(jī)模塊210的雙相機(jī)配置對(duì)立體相機(jī)設(shè)置進(jìn)行配置。立體相機(jī)設(shè)置有助于從兩個(gè)不同的角度拍攝相同的被觀察場(chǎng)景，使得能夠進(jìn)行深度計(jì)算，這有助于對(duì)涉及分段、對(duì)象檢測(cè)和跟蹤等的拍攝圖像的后處理。如上所述，像素級(jí)快門(mén)216被編程為針對(duì)場(chǎng)景的所選擇的部分(或所選擇的像素)周期性地打開(kāi)和關(guān)閉，或者更具體地，選擇性地允許或拒絕由透鏡306引導(dǎo)的光朝向圖像傳感器308通過(guò)。像素級(jí)快門(mén)216的周期性打開(kāi)和關(guān)閉使得能夠保留與所拍攝的場(chǎng)景中的運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的高頻內(nèi)容。

返回參考圖2，在一個(gè)實(shí)施例中，裝置200被配置為接收對(duì)應(yīng)于由相機(jī)模塊210的第一相機(jī)212拍攝的場(chǎng)景的突發(fā)圖像。如上所述，每個(gè)突發(fā)圖像與第一曝光時(shí)間(例如，小的曝光時(shí)間)相關(guān)聯(lián)。在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起，使得裝置200基于與由第一相機(jī)212拍攝的場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象。在一個(gè)實(shí)施例中，場(chǎng)景與弱光條件相關(guān)聯(lián)。在一個(gè)實(shí)施例中，通過(guò)計(jì)算運(yùn)動(dòng)對(duì)應(yīng)信息(例如運(yùn)動(dòng)矢量信息)來(lái)執(zhí)行對(duì)一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象的存在的確定，該信息捕捉由于場(chǎng)景中的運(yùn)動(dòng)對(duì)象而引起的連續(xù)圖像之間的轉(zhuǎn)換。在一個(gè)實(shí)施例中，計(jì)算運(yùn)動(dòng)對(duì)應(yīng)信息可以包括提取與突發(fā)圖像中的對(duì)象對(duì)應(yīng)的特征并且跨連續(xù)突發(fā)圖像匹配該特征。特征的示例可以包括但不限于圖像幀的角部、邊緣或感興趣的其它區(qū)域，諸如場(chǎng)景的背景。在示例實(shí)施例中，可以使裝置200使用諸如尺度不變特征變換(sift)、哈里斯角檢測(cè)器、最小單值段同化核(susan)角檢測(cè)器、來(lái)自加速段測(cè)試(fast)的特征的算法，來(lái)提取與突發(fā)圖像相關(guān)聯(lián)的特征。替代地，提取特征可以通過(guò)對(duì)與突發(fā)圖像對(duì)應(yīng)的宏塊和一個(gè)或多個(gè)連續(xù)的突發(fā)圖像，應(yīng)用離散余弦變換(dct)、離散正弦變換(dst)、卡亨南-洛維變換(karhunen-loeve，klt)和阿達(dá)馬(hadamard)變換之一來(lái)執(zhí)行。在示例實(shí)施例中，將dct應(yīng)用于與突發(fā)圖像和一個(gè)或多個(gè)連續(xù)的突發(fā)圖像對(duì)應(yīng)的宏塊上，由此獲得的dc分量可被視為特征。在一個(gè)實(shí)施例中，可以通過(guò)對(duì)突發(fā)圖像和一個(gè)或多個(gè)連續(xù)的突發(fā)圖像進(jìn)行部分解碼來(lái)獲得dc分量。在一個(gè)實(shí)施例中，提取的特征可以例如通過(guò)使用諸如隨機(jī)樣本共有(ransac)之類的算法來(lái)導(dǎo)出突發(fā)圖像之間的對(duì)象轉(zhuǎn)換從而計(jì)算運(yùn)動(dòng)對(duì)應(yīng)信息來(lái)匹配。在一個(gè)實(shí)施例中，使用已知的熵和方差技術(shù)來(lái)執(zhí)行對(duì)場(chǎng)景中運(yùn)動(dòng)對(duì)象的存在的確定。在一個(gè)實(shí)施例中，使用光流技術(shù)來(lái)執(zhí)行對(duì)場(chǎng)景中運(yùn)動(dòng)對(duì)象的存在的確定，為了簡(jiǎn)明起見(jiàn)，這里不對(duì)其進(jìn)行討論。在示例實(shí)施例中，處理部件可以被配置為基于與由第一相機(jī)212拍攝的場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象。處理部件的示例可以包括處理器202，其可以是控制器108的示例。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起，以使如果一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于場(chǎng)景中，則裝置200識(shí)別與一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分。例如，如果從第一相機(jī)212拍攝的兩個(gè)或多個(gè)突發(fā)圖像確定諸如移動(dòng)車(chē)輛的運(yùn)動(dòng)對(duì)象的存在，則識(shí)別與移動(dòng)車(chē)輛對(duì)應(yīng)的場(chǎng)景的一部分。類似地，一些場(chǎng)景可以包括多個(gè)運(yùn)動(dòng)對(duì)象，例如在舞臺(tái)上跳舞的人、飛鳥(niǎo)群、天空中的煙花等。在這種場(chǎng)景下，裝置200可以使用諸如運(yùn)動(dòng)對(duì)應(yīng)、光流等的技術(shù)來(lái)識(shí)別與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的多個(gè)部分。在示例性實(shí)施例中，如果至少一個(gè)運(yùn)動(dòng)對(duì)象被確定存在于場(chǎng)景中，則處理部件可以被配置為識(shí)別與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分。處理部件的示例可以包括處理器202，其可以是控制器108的示例。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起，使得裝置200向第二相機(jī)214提供與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息。在一個(gè)實(shí)施例中，與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息包括與第一相機(jī)212的圖像傳感器304的像素相關(guān)聯(lián)的信息，這些像素與對(duì)象運(yùn)動(dòng)相關(guān)聯(lián)。當(dāng)對(duì)象移動(dòng)時(shí)，不同的像素集可以與對(duì)象運(yùn)動(dòng)相關(guān)聯(lián)。因此，與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息包括與對(duì)象運(yùn)動(dòng)相關(guān)聯(lián)的像素集合相關(guān)的信息(或更具體地，圖像傳感器304上的像素的位置)并且被提供給第二相機(jī)214。在一個(gè)實(shí)施例中，與場(chǎng)景的一部分相關(guān)的信息包括對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象的速度估計(jì)。例如，如果對(duì)象與突發(fā)圖像中的像素集合相關(guān)聯(lián)并且已經(jīng)移動(dòng)到連續(xù)突發(fā)圖像中的其他像素集合，則可以基于在突發(fā)曝光時(shí)間內(nèi)的像素位置中行進(jìn)的距離來(lái)確定運(yùn)動(dòng)對(duì)象的速度估計(jì)，并且這樣的信息可以被傳遞到第二相機(jī)214。在一個(gè)實(shí)施例中，與一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的像素相關(guān)的信息基本上立即被提供給第二相機(jī)214，以隨后拍攝兩個(gè)或多個(gè)突發(fā)圖像。在一個(gè)實(shí)施例中，使裝置200分析連續(xù)的突發(fā)圖像，以確定運(yùn)動(dòng)對(duì)象的存在。對(duì)運(yùn)動(dòng)對(duì)象的存在的識(shí)別和對(duì)關(guān)于與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分的信息的相應(yīng)確定被立即執(zhí)行，并且以最小的延遲實(shí)時(shí)地向第二相機(jī)214提供信息。在示例實(shí)施例中，處理部件可以被配置為向第二相機(jī)214提供與像素有關(guān)的信息。處理部件的示例可以包括處理器202，其可以是控制器108的示例。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起，使得裝置200接收由第二相機(jī)214拍攝的場(chǎng)景的圖像。更具體地，第一相機(jī)212和第二相機(jī)214在同一時(shí)刻開(kāi)始拍攝場(chǎng)景，然而，在動(dòng)態(tài)地接收到與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息后，第二相機(jī)214將信息提供給像素級(jí)快門(mén)216，其被布設(shè)在第二相機(jī)214的圖像傳感器308的前方(如圖3所示)。針對(duì)對(duì)應(yīng)于場(chǎng)景的一個(gè)或多個(gè)部分的圖像傳感器308的像素，像素級(jí)快門(mén)216被編程為在圖像拍攝的整個(gè)持續(xù)時(shí)間周期性地打開(kāi)和關(guān)閉。以這種方式拍攝的圖像保留與運(yùn)動(dòng)對(duì)象相關(guān)的高頻內(nèi)容。

在示例性實(shí)施例中，基于第一相機(jī)212和第二相機(jī)214之間的最大可允許視差(disparity)來(lái)識(shí)別對(duì)應(yīng)于場(chǎng)景的一個(gè)或多個(gè)部分的圖像傳感器308的像素。更具體地，在識(shí)別與一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分后，與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息被提供給第二相機(jī)214和像素級(jí)快門(mén)216，使得場(chǎng)景的相應(yīng)區(qū)域可以暴露于像素級(jí)快門(mén)216的操作。用于運(yùn)動(dòng)對(duì)象的第二相機(jī)214的場(chǎng)景的對(duì)應(yīng)區(qū)域是兩個(gè)相機(jī)之間的基線(或距離)和運(yùn)動(dòng)對(duì)象的深度的函數(shù)。由于運(yùn)動(dòng)對(duì)象的深度是未知的，所以基于作為兩個(gè)相機(jī)之間的基線的函數(shù)的最大可允許視差來(lái)確定第二相機(jī)214的相應(yīng)區(qū)域。例如，考慮一種情境，由此拍攝的場(chǎng)景涉及寬度“w”和高度“h”的矩形運(yùn)動(dòng)對(duì)象，并且第一圖像中的矩形運(yùn)動(dòng)對(duì)象的左上角坐標(biāo)為(xfirst,yfirst)。此外，兩個(gè)相機(jī)之間的最大可允許視差被假定為“d”。在這種情境下，像素級(jí)顫振快門(mén)216在第二圖像中的具有左上坐標(biāo)(xfirst,yfirst)的矩形區(qū)域被啟用，其中矩形區(qū)域的寬度和高度分別為‘w+d’和‘h+d’。參考示出通過(guò)運(yùn)動(dòng)對(duì)象在圖像傳感器308上形成的圖像的圖4a-4f中的示例性原理圖進(jìn)一步說(shuō)明像素級(jí)快門(mén)216的操作區(qū)域。

現(xiàn)在參考圖4a-4f，示出了根據(jù)實(shí)施例的用于示出由第二相機(jī)214拍攝圖像期間像素級(jí)快門(mén)216的操作區(qū)域的示例性示意圖。更具體地，圖4a、4b和4c描繪分別在時(shí)間t1、t2和t3通過(guò)滾動(dòng)的球408在第二相機(jī)214的圖像傳感器308上形成的圖像402、404和406。如參考圖2所解釋的，使得裝置200確定連續(xù)突發(fā)圖像中的運(yùn)動(dòng)對(duì)象的存在，并且在確定突發(fā)圖像中的運(yùn)動(dòng)對(duì)象(即滾動(dòng)的球408)的存在時(shí)，進(jìn)一步使裝置200識(shí)別與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的部分并將信息提供給第二相機(jī)214和像素級(jí)快門(mén)216。因此，在第二相機(jī)214的圖像拍攝的整個(gè)持續(xù)時(shí)間期間，像素級(jí)快門(mén)216周期性地打開(kāi)和關(guān)閉，針對(duì)與滾動(dòng)的球408相關(guān)聯(lián)的場(chǎng)景的部分相關(guān)聯(lián)的圖像傳感器308的像素。應(yīng)當(dāng)理解，像素級(jí)快門(mén)216可以利用與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息(諸如像素的位置、運(yùn)動(dòng)對(duì)象的速度等)基于如上所述的最大可允許視差來(lái)選擇操作區(qū)域。因此，針對(duì)分別對(duì)應(yīng)于在時(shí)刻t1、t2和t3與滾動(dòng)的球408相關(guān)聯(lián)的場(chǎng)景的部分對(duì)應(yīng)的圖像傳感器308的像素，像素級(jí)快門(mén)216可以周期性地打開(kāi)和關(guān)閉。圖4d、4e和4f分別示出了在時(shí)刻t1、t2和t3如區(qū)域410、412和414所描繪的像素區(qū)域快門(mén)216的操作區(qū)域(即對(duì)應(yīng)于滾動(dòng)的球408的場(chǎng)景的部分)。如上所述，以這種方式拍攝的圖像保留與運(yùn)動(dòng)對(duì)象相關(guān)的高頻內(nèi)容。

現(xiàn)在參考圖2，在一個(gè)實(shí)施例中，使裝置200確定被識(shí)別為存在于場(chǎng)景中的運(yùn)動(dòng)對(duì)象是否與勻質(zhì)表面相關(guān)聯(lián)?？梢圆捎酶鞣N已知的技術(shù)來(lái)確定被拍攝的場(chǎng)景中的對(duì)象是否與勻質(zhì)表面相關(guān)聯(lián)。例如，如果在對(duì)連續(xù)的突發(fā)圖像比較時(shí)沒(méi)有觀察到對(duì)象的紋理變化，則確定這樣的對(duì)象與勻質(zhì)表面相關(guān)聯(lián)。例如，可以將球確定為與勻質(zhì)表面相關(guān)聯(lián)的對(duì)象。然而，諸如車(chē)輛、個(gè)人等的運(yùn)動(dòng)對(duì)象可以被確定為具有不勻質(zhì)表面的對(duì)象。在一個(gè)實(shí)施例中，進(jìn)一步使裝置200向像素級(jí)快門(mén)216提供這樣的信息，像素級(jí)快門(mén)216被編程為在整個(gè)第二相機(jī)214的圖像拍攝的持續(xù)時(shí)間期間針對(duì)與對(duì)應(yīng)于與勻質(zhì)表面相關(guān)聯(lián)的運(yùn)動(dòng)對(duì)象的場(chǎng)景的一部分的邊緣相關(guān)聯(lián)的圖像傳感器308的像素周期地打開(kāi)和關(guān)閉。例如，如果運(yùn)動(dòng)對(duì)象是具有基本上勻質(zhì)表面的球，則可以將像素級(jí)快門(mén)216編程為針對(duì)與球的圓形邊緣相關(guān)聯(lián)的像素打開(kāi)和關(guān)閉。這種方案拍攝與對(duì)象邊緣相關(guān)聯(lián)的高頻內(nèi)容，這有助于對(duì)象的去模糊。由于對(duì)象與勻質(zhì)表面相關(guān)聯(lián)，對(duì)象沿其邊緣的去模糊可能足夠(因?yàn)榕c勻質(zhì)表面相關(guān)聯(lián)的對(duì)象內(nèi)的細(xì)節(jié)的模糊失真可以不顯著降低拍攝圖像的質(zhì)量)。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起，使得裝置200基于由第二相機(jī)214拍攝的圖像來(lái)生成對(duì)應(yīng)于場(chǎng)景的去模糊后的圖像。在一個(gè)實(shí)施例中，使裝置200執(zhí)行圖像的去卷積以去除由場(chǎng)景中的一個(gè)或運(yùn)動(dòng)對(duì)象引起的運(yùn)動(dòng)模糊。如上所述，成像系統(tǒng)(例如第一相機(jī)212或第二相機(jī)214)與被拍攝對(duì)象之間的相對(duì)運(yùn)動(dòng)引入了模糊效果，這使得所拍攝的圖像中的細(xì)節(jié)扭曲。在一個(gè)示例性實(shí)施例中，由光線行進(jìn)的光路(對(duì)應(yīng)于被拍攝的圖像)可以被認(rèn)為是光學(xué)上完美的并且與點(diǎn)擴(kuò)散函數(shù)(psf)進(jìn)行卷積以產(chǎn)生所拍攝的圖像。psf是描述輸入點(diǎn)源的成像系統(tǒng)的輸出的數(shù)學(xué)函數(shù)。更具體地，psf描述由于在成像系統(tǒng)中沿著光路行進(jìn)而導(dǎo)致的理論點(diǎn)光源的失真。在示例實(shí)施例中，盲去卷積方法可用于從模糊圖像估計(jì)psf，并使用psf對(duì)圖像進(jìn)行去卷積。這些方法包括諸如理查森-露西(richardson-lucy)和維納(wiener)去卷積等眾所周知的算法。

理查森-露西算法是從貝葉斯定理導(dǎo)出的迭代去卷積算法，其最小化以下估計(jì)誤差：

其中i是去模糊后的圖像，k是模糊函數(shù)，ib是所觀察的模糊圖像，并且n(.)是噪聲分布。可以使用如下定義的迭代更新算法來(lái)獲得解：

其中*是相關(guān)操作。使用理查森-露西算法的盲去卷積算法迭代地交替優(yōu)化i和k。

在示例實(shí)施例中，可以使用最小二乘估計(jì)來(lái)獲得去模糊后的圖像如下：

a＝x^-1b

其中b是所觀察的圖像，a是去模糊后的圖像，并且x是模糊函數(shù)。估計(jì)的模糊函數(shù)x的偽逆x^-1可以以最小二乘法計(jì)算，并且可以用于獲得去模糊后的圖像。

在示例實(shí)施例中，處理部件可以被配置為通過(guò)執(zhí)行拍攝圖像的去卷積來(lái)執(zhí)行運(yùn)動(dòng)去模糊。處理部件的示例可以包括處理器202，其可以是控制器108的示例。

在實(shí)施例中，對(duì)于與場(chǎng)景的一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，在整個(gè)圖像拍攝期間，圖像傳感器308前方的像素級(jí)快門(mén)216的周期性打開(kāi)和關(guān)閉被執(zhí)行以保留對(duì)應(yīng)于場(chǎng)景的運(yùn)動(dòng)對(duì)象的高頻內(nèi)容。保存的高頻內(nèi)容被配置為便于圖像的去卷積以去除運(yùn)動(dòng)模糊。更具體地，不具有高頻內(nèi)容的模糊圖像的去卷積可能在去模糊后的圖像中產(chǎn)生不期望的環(huán)狀(ringing)偽像。因此，保存的高頻內(nèi)容有助于有效地從拍攝圖像中去除運(yùn)動(dòng)模糊。在一個(gè)實(shí)施例中，從圖像中去除運(yùn)動(dòng)模糊產(chǎn)生去模糊后的圖像。在示例實(shí)施例中，處理部件可以被配置為基于圖像來(lái)生成與場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。處理部件的示例可以包括處理器202，其可以是控制器108的示例。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起使得裝置200執(zhí)行與在圖像拍攝期間暴露于像素級(jí)快門(mén)216的周期性打開(kāi)和關(guān)閉的圖像傳感器308的像素對(duì)應(yīng)的去模糊后的圖像中的一個(gè)或多個(gè)像素區(qū)域的歸一化。更具體地，如參考圖4a-4f所解釋的，對(duì)應(yīng)于拍攝圖像中的場(chǎng)景(即像素區(qū)域)的一個(gè)或多個(gè)部分的像素經(jīng)歷像素級(jí)快門(mén)216的周期性打開(kāi)和關(guān)閉。這樣拍攝圖像被去卷積以產(chǎn)生去模糊后的圖像。然后對(duì)去模糊后的圖像中的一個(gè)或多個(gè)像素區(qū)域進(jìn)行歸一化以產(chǎn)生對(duì)應(yīng)于場(chǎng)景的最終圖像。在一個(gè)實(shí)施例中，一個(gè)或多個(gè)像素區(qū)域的歸一化意味著對(duì)由于暴露于像素級(jí)快門(mén)216的周期性打開(kāi)和關(guān)閉而由一個(gè)或多個(gè)像素區(qū)域接收的減少的光執(zhí)行補(bǔ)償。對(duì)于接收的減少的光的這種補(bǔ)償涉及增加相應(yīng)像素區(qū)域的增益因子。例如，如果像素區(qū)域與50％的光減少相關(guān)聯(lián)，則該區(qū)域(或更具體地，對(duì)于該區(qū)域中的每個(gè)像素)的增益因子增大了2倍，以歸一化對(duì)應(yīng)的像素區(qū)域。在示例實(shí)施例中，處理部件可以被配置為執(zhí)行在圖像拍攝期間與暴露于像素級(jí)快門(mén)216的周期性打開(kāi)和關(guān)閉的圖像傳感器308的像素對(duì)應(yīng)的去模糊后的圖像中的一個(gè)或多個(gè)像素區(qū)域的歸一化。處理部件的示例可以包括處理器202，其可以是控制器108的示例。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起，使裝置200用于接收由第一相機(jī)212在與等于第二曝光時(shí)間的時(shí)間段內(nèi)拍攝的場(chǎng)景對(duì)應(yīng)的多個(gè)突發(fā)圖像。例如，如果第二曝光時(shí)間為t秒，則第一相機(jī)212可以繼續(xù)拍攝低曝光突發(fā)圖像(例如在t/50秒)，直到持續(xù)時(shí)間t秒完成。如此接收的多個(gè)突發(fā)圖像還包括用于確定場(chǎng)景中運(yùn)動(dòng)對(duì)象的存在的兩個(gè)或多個(gè)突發(fā)圖像。在一個(gè)實(shí)施例中，使裝置200基于多個(gè)突發(fā)圖像，通過(guò)利用一個(gè)或多個(gè)去重影(deghosting)算法，來(lái)生成與場(chǎng)景對(duì)應(yīng)的二次圖像。更具體地，多個(gè)突發(fā)圖像可以構(gòu)成突發(fā)圖像堆棧，其中對(duì)象可能已經(jīng)移動(dòng)一定距離。去重影算法可以從原始圖像中提取對(duì)象并疊加在一個(gè)或多個(gè)圖像上以便于二次圖像的產(chǎn)生。在示意性示例中，檢測(cè)包含運(yùn)動(dòng)的突發(fā)圖像中的像素(例如，如上所述)，然后在僅考慮檢測(cè)到的重影區(qū)域中的最小飽和突發(fā)圖像中的像素的同時(shí)融合突發(fā)圖像。這樣的去重影操作從生成的二次圖像中去除重影(ghosting)偽像。在另一示意性示例中，低動(dòng)態(tài)范圍(ldr)圖像在將它們組合成高動(dòng)態(tài)范圍(hdr)圖像(即二次圖像)之前對(duì)準(zhǔn)參考圖像。在一個(gè)實(shí)施例中，基于單基圖(homography)的方案被用于圖像對(duì)準(zhǔn)。在一些示例實(shí)施例中，光流算法用于在將它們組合成二次圖像之前對(duì)準(zhǔn)不同曝光的突發(fā)圖像。

分別從第一相機(jī)212和第二相機(jī)214獲得的二次圖像和最終圖像配置用于使用立體相機(jī)設(shè)置拍攝的相同場(chǎng)景的兩個(gè)圖像。在一個(gè)實(shí)施例中，基于最終圖像和二次圖像，使用已知技術(shù)來(lái)計(jì)算與場(chǎng)景對(duì)應(yīng)的深度信息。此外，在一些實(shí)施例中，可以基于所計(jì)算的深度信息來(lái)執(zhí)行場(chǎng)景中的一個(gè)或多個(gè)對(duì)象的三維(3d)重建。更具體地，可以對(duì)場(chǎng)景的運(yùn)動(dòng)對(duì)象(例如，移動(dòng)的車(chē)輛、人、鳥(niǎo)等)和非運(yùn)動(dòng)對(duì)象(例如，建筑物、自然景觀、靜物等)兩者進(jìn)行3d重建。此外，還可以在計(jì)算場(chǎng)景的深度信息和/或3d重建時(shí)實(shí)現(xiàn)諸如與分割、對(duì)象檢測(cè)和跟蹤等相關(guān)的后處理技術(shù)。

在示例實(shí)施例中，處理器202被配置為利用存儲(chǔ)器204的內(nèi)容，并且可選地與本文所述的其他組件一起使得裝置200向第二相機(jī)214提供場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示。如上所述，使裝置200基于與由第一相機(jī)212拍攝的場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象。可以利用例如運(yùn)動(dòng)對(duì)應(yīng)信息、光流等的一種或多種技術(shù)來(lái)確定場(chǎng)景中存在一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象。在一個(gè)實(shí)施例中，可以使裝置200確定場(chǎng)景中不存在運(yùn)動(dòng)對(duì)象。在這種情況下，使裝置200向第二相機(jī)214和像素電平快門(mén)216提供場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示。在一個(gè)實(shí)施例中，這種在場(chǎng)景中不存的至少一個(gè)運(yùn)動(dòng)對(duì)象的指示可以基本上即刻被提供給第二相機(jī)214和像素級(jí)快門(mén)216。在接收到指示后，對(duì)于第二相機(jī)214的圖像傳感器308的所有像素，在第二相機(jī)214的圖像拍攝的整個(gè)持續(xù)時(shí)間內(nèi)，像素級(jí)快門(mén)216被編程為保持打開(kāi)。去模糊/去卷積和/或歸一化操作可以在拍攝的圖像上被排除，然后可以配置與場(chǎng)景對(duì)應(yīng)的最終圖像。可以如上所述從由第一相機(jī)212拍攝的多個(gè)突發(fā)圖像中獲得二次圖像，此外，可以如上所述執(zhí)行與場(chǎng)景對(duì)應(yīng)的深度信息和/或3d重建。

應(yīng)當(dāng)注意，盡管使裝置200與包括圖2中的第一相機(jī)212、第二相機(jī)214和像素級(jí)快門(mén)216的相機(jī)模塊210進(jìn)行操作通信，但在一些實(shí)施例中，相機(jī)模塊210可以被配置為被包括在裝置200中。圖5中示出了用于圖像的運(yùn)動(dòng)去模糊的這種裝置。圖5的裝置500被描繪為除了處理器202、存儲(chǔ)器204、用戶接口206和集中的電路系統(tǒng)208之外，還包括相機(jī)模塊210的第一相機(jī)212、第二相機(jī)214和像素級(jí)快門(mén)216。圖5的裝置500的各種組件(諸如處理器202、存儲(chǔ)器204、用戶接口206集中的電路系統(tǒng)208、第一相機(jī)212、第二相機(jī)214和像素級(jí)快門(mén)216)執(zhí)行與圖2中所解釋的相似的功能，本文不再贅述。更具體地，可以以與圖2所述相似的方式執(zhí)行：基于由第一相機(jī)212拍攝的兩個(gè)或多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象、識(shí)別與一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的場(chǎng)景的一個(gè)或多個(gè)部分、向第二相機(jī)214提供與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息、在像素級(jí)快門(mén)216在圖像拍攝的整個(gè)持續(xù)時(shí)間期間針對(duì)圖像傳感器308的與場(chǎng)景的一個(gè)或多個(gè)部分對(duì)應(yīng)的像素周期性地打開(kāi)和關(guān)閉的同時(shí)接收由第二相機(jī)214拍攝的圖像、以及可以按照與如圖2中解釋的方式類似的方式根據(jù)拍攝的圖像來(lái)生成去模糊后的圖像。

圖6是描繪根據(jù)示例實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的示例方法600的流程圖。流程圖中描繪的方法600可以由例如圖2的裝置200執(zhí)行。

在602，方法600包括基于由第一相機(jī)(例如，第一相機(jī)212)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象。在一個(gè)實(shí)施例中，場(chǎng)景與弱光條件相關(guān)聯(lián)。在一個(gè)實(shí)施例中，通過(guò)計(jì)算運(yùn)動(dòng)對(duì)應(yīng)信息(例如運(yùn)動(dòng)矢量信息)來(lái)執(zhí)行對(duì)一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象的存在的確定，該信息捕捉由場(chǎng)景中的運(yùn)動(dòng)對(duì)象引起的連續(xù)圖像之間的轉(zhuǎn)換。在一個(gè)實(shí)施例中，計(jì)算運(yùn)動(dòng)對(duì)應(yīng)信息可以包括提取與突發(fā)圖像中的對(duì)象對(duì)應(yīng)的特征并且在連續(xù)突發(fā)圖像之間匹配特征。在一個(gè)實(shí)施例中，使用光流技術(shù)來(lái)執(zhí)行對(duì)場(chǎng)景中存在運(yùn)動(dòng)對(duì)象的確定，為了簡(jiǎn)明起見(jiàn)，這里不對(duì)這里進(jìn)行討論。

在604，如果所述至少一個(gè)運(yùn)動(dòng)對(duì)象被確定為存在于場(chǎng)景中，則識(shí)別場(chǎng)景的與所述至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的一個(gè)或多個(gè)部分。例如，如果從由第一相機(jī)拍攝的兩個(gè)或多個(gè)突發(fā)圖像確定諸如運(yùn)動(dòng)車(chē)輛的運(yùn)動(dòng)對(duì)象的存在，則識(shí)別場(chǎng)景的與運(yùn)動(dòng)車(chē)輛對(duì)應(yīng)的一部分。類似地，一些場(chǎng)景可以包括多個(gè)運(yùn)動(dòng)對(duì)象，例如在舞臺(tái)上跳舞的人、一群飛行鳥(niǎo)、天空中的煙花等。在這種情況下，可以使用諸如運(yùn)動(dòng)對(duì)應(yīng)、光流等技術(shù)來(lái)識(shí)別與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的多個(gè)部分。

在606，將與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息提供給第二相機(jī)。在一個(gè)實(shí)施例中，與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息包括與第一相機(jī)的圖像傳感器的像素相關(guān)的信息，這些像素與對(duì)象運(yùn)動(dòng)相關(guān)聯(lián)。當(dāng)對(duì)象運(yùn)動(dòng)時(shí)，不同的像素集可以與對(duì)象運(yùn)動(dòng)相關(guān)聯(lián)。因此，與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息包括關(guān)于與對(duì)象運(yùn)動(dòng)相關(guān)聯(lián)的像素集合的信息(或更具體地，關(guān)于圖像傳感器上的像素的位置的信息)并且被提供給第二相機(jī)。在一個(gè)實(shí)施例中，與場(chǎng)景的一部分相關(guān)的信息包括對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象的速度估計(jì)。例如，如果對(duì)象與突發(fā)圖像中的像素集合相關(guān)聯(lián)并且已經(jīng)運(yùn)動(dòng)到連續(xù)突發(fā)圖像中的其他像素集合，則可以基于在突發(fā)曝光時(shí)間內(nèi)的像素位置中行進(jìn)的距離來(lái)確定運(yùn)動(dòng)對(duì)象的速度估計(jì)，并且這些信息可以被傳遞到第二相機(jī)。在一個(gè)實(shí)施例中，在兩個(gè)或多個(gè)突發(fā)圖像的拍攝之后，關(guān)于與一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的像素的信息基本上立即被提供給第二相機(jī)。在一個(gè)實(shí)施例中，分析連續(xù)的突發(fā)圖像以確定運(yùn)動(dòng)對(duì)象的存在。對(duì)運(yùn)動(dòng)對(duì)象的存在的識(shí)別和對(duì)關(guān)于與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分的信息的相應(yīng)確定被立即執(zhí)行，并且以最小的延遲實(shí)時(shí)地向第二相機(jī)提供信息。

在608，接收由第二相機(jī)拍攝的場(chǎng)景的圖像。更具體地，第一相機(jī)和第二相機(jī)在同一時(shí)刻發(fā)起對(duì)場(chǎng)景的拍攝，然而，在動(dòng)態(tài)地接收到與場(chǎng)景的一個(gè)或多個(gè)部分有關(guān)的信息后，第二相機(jī)將信息提供給像素級(jí)快門(mén)，其布設(shè)在第二相機(jī)的圖像傳感器的前方(如圖3所示)。第二相機(jī)的像素級(jí)快門(mén)被編程為在圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)與場(chǎng)景的一個(gè)或多個(gè)部分對(duì)應(yīng)的圖像傳感器的像素，周期性地打開(kāi)和關(guān)閉。在示例性實(shí)施例中，基于第一相機(jī)和第二相機(jī)之間的最大可允許視差來(lái)識(shí)別對(duì)應(yīng)于場(chǎng)景的一個(gè)或多個(gè)部分的圖像傳感器的像素。更具體地，在識(shí)別與一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分后，將與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息提供給第二相機(jī)和像素級(jí)快門(mén)，使得場(chǎng)景的對(duì)應(yīng)區(qū)域可以暴露于像素級(jí)快門(mén)的操作。針對(duì)運(yùn)動(dòng)對(duì)象的第二相機(jī)的場(chǎng)景的對(duì)應(yīng)區(qū)域是兩個(gè)相機(jī)之間的基線(或距離)和運(yùn)動(dòng)對(duì)象的深度的函數(shù)。由于運(yùn)動(dòng)對(duì)象的深度未知，所以基于最大可允許視差來(lái)確定第二相機(jī)的對(duì)應(yīng)區(qū)域，該最大可允許視差是兩個(gè)相機(jī)之間的基線的函數(shù)。可以如參考圖4a-4f所解釋的那樣執(zhí)行用于能夠?qū)崿F(xiàn)使像素電平快門(mén)操作的對(duì)應(yīng)區(qū)域的確定。在一個(gè)實(shí)施例中，如果被識(shí)別出存在于場(chǎng)景中的運(yùn)動(dòng)對(duì)象與勻質(zhì)表面相關(guān)聯(lián)，則將這樣的信息提供給像素電平快門(mén)，該像素電平快門(mén)被編程為：在由第二相機(jī)拍攝圖像的整個(gè)持續(xù)時(shí)間期間，針對(duì)與勻質(zhì)表面相關(guān)聯(lián)的運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的場(chǎng)景的一部分的邊緣相關(guān)聯(lián)的圖像傳感器的像素，周期性地打開(kāi)和關(guān)閉。例如，如果運(yùn)動(dòng)對(duì)象是具有基本上勻質(zhì)表面的球，則可以將像素級(jí)快門(mén)編程為：針對(duì)與球的圓形邊緣相關(guān)聯(lián)的像素周期性地打開(kāi)和關(guān)閉。這種方案拍攝與對(duì)象邊緣相關(guān)聯(lián)的高頻內(nèi)容，這有助于對(duì)象的去模糊。由于對(duì)象與勻質(zhì)表面相關(guān)聯(lián)，因此對(duì)象的沿其邊緣的去模糊可以是足夠的(因?yàn)榕c勻質(zhì)表面相關(guān)聯(lián)的對(duì)象內(nèi)的細(xì)節(jié)的模糊失真可能不會(huì)顯著降低拍攝圖像的質(zhì)量)。

在610，基于由第二相機(jī)拍攝的圖像來(lái)生成對(duì)應(yīng)于場(chǎng)景的去模糊后的圖像。在一個(gè)實(shí)施例中，執(zhí)行圖像的去卷積以去除由場(chǎng)景中的一個(gè)或運(yùn)動(dòng)對(duì)象引起的運(yùn)動(dòng)模糊。在示例實(shí)施例中，盲去卷積方法可用于從模糊圖像估計(jì)psf，并使用psf對(duì)圖像進(jìn)行去卷積。這些方法包括諸如理查森-露西和維納去卷積等眾所周知的算法?？梢匀鐓⒄?qǐng)D2所解釋的那樣執(zhí)行圖像的去卷積，這里不再贅述。

在實(shí)施例中，在圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)與場(chǎng)景的一個(gè)或多個(gè)部分對(duì)應(yīng)的像素，圖像傳感器前方的像素級(jí)快門(mén)的周期性打開(kāi)和關(guān)閉被執(zhí)行以保留與場(chǎng)景的運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的高頻內(nèi)容。所保留的高頻內(nèi)容被配置為便于圖像的去卷積以去除運(yùn)動(dòng)模糊。更具體地，不具有高頻內(nèi)容的模糊圖像的去卷積可能在去模糊后的圖像中產(chǎn)生不期望的環(huán)狀偽像。因此，保留的高頻內(nèi)容有助于有效地從拍攝圖像中去除運(yùn)動(dòng)模糊。在一個(gè)實(shí)施例中，從圖像中去除運(yùn)動(dòng)模糊產(chǎn)生去模糊后的圖像。

在實(shí)施例中，執(zhí)行去模糊后的圖像中的一個(gè)或多個(gè)像素區(qū)域的歸一化，該像素區(qū)域?qū)?yīng)于在圖像拍攝期間暴露于像素級(jí)快門(mén)的周期性打開(kāi)和關(guān)閉的圖像傳感器的像素。一個(gè)或多個(gè)像素區(qū)域的歸一化可以如參考圖2所解釋的那樣進(jìn)行，這里不作說(shuō)明。然后對(duì)去模糊后的圖像中的一個(gè)或多個(gè)像素區(qū)域進(jìn)行歸一化以產(chǎn)生對(duì)應(yīng)于場(chǎng)景的最終圖像。

在示例性實(shí)施例中，接收多個(gè)突發(fā)圖像，所述多個(gè)突發(fā)圖像與第一相機(jī)在等于第二曝光時(shí)間的時(shí)間段內(nèi)拍攝的場(chǎng)景對(duì)應(yīng)。例如，如果第二曝光時(shí)間為t秒，則第一相機(jī)可以繼續(xù)拍攝低曝光突發(fā)圖像(例如在t/50秒)，直到t秒的持續(xù)時(shí)間完成。如此接收的多個(gè)突發(fā)圖像還包括用于確定場(chǎng)景中運(yùn)動(dòng)對(duì)象的存在的兩個(gè)或多個(gè)突發(fā)圖像。在一個(gè)實(shí)施例中，通過(guò)利用一個(gè)或多個(gè)去重影算法，基于多個(gè)突發(fā)圖像來(lái)產(chǎn)生對(duì)應(yīng)于場(chǎng)景的二次圖像。可以如參考圖2所解釋的那樣使用去重影算法來(lái)生成二次圖像，在此不再贅述。分別從第一相機(jī)和第二相機(jī)獲得的二次圖像和最終圖像配置用于使用立體相機(jī)設(shè)置拍攝的相同場(chǎng)景的兩個(gè)圖像。在一個(gè)實(shí)施例中，基于最終圖像和二次圖像，使用已知技術(shù)來(lái)計(jì)算與場(chǎng)景對(duì)應(yīng)的深度信息。此外，在一些實(shí)施例中，可以基于所計(jì)算的深度信息來(lái)執(zhí)行場(chǎng)景中的一個(gè)或多個(gè)對(duì)象(包括移動(dòng)和不運(yùn)動(dòng)對(duì)象)的三維(3d)重建。此外，還可以在計(jì)算場(chǎng)景的深度信息和/或3d重建時(shí)實(shí)現(xiàn)諸如與分割、對(duì)象檢測(cè)和跟蹤等相關(guān)的后處理技術(shù)。

在示例性實(shí)施例中，向第二相機(jī)提供場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示。如上所述，基于由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象?？梢允褂弥T如運(yùn)動(dòng)對(duì)應(yīng)信息、光流等的一種或多種技術(shù)來(lái)確定場(chǎng)景中存在一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象。在一個(gè)實(shí)施例中，確定場(chǎng)景中不存在運(yùn)動(dòng)對(duì)象。在這種情況下，向第二相機(jī)提供場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示，并且該指示從第二相機(jī)提供給像素級(jí)快門(mén)。在一個(gè)實(shí)施例中，這樣的場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示可以基本上立即被提供給第二相機(jī)和像素級(jí)快門(mén)。在接收到指示后，像素級(jí)快門(mén)被編程為在圖像拍攝的整個(gè)持續(xù)時(shí)間期間針對(duì)第二相機(jī)的圖像傳感器的所有像素保持打開(kāi)?？梢栽谂臄z的圖像上排除去模糊/去卷積和/或歸一化操作，然后可以配置與場(chǎng)景對(duì)應(yīng)的最終圖像?？梢匀缟纤鰪挠傻谝幌鄼C(jī)拍攝的多個(gè)突發(fā)圖像獲得二次圖像，此外，可以如上所述執(zhí)行對(duì)應(yīng)于場(chǎng)景的深度信息和/或3d重建。

圖7a和7b是描繪根據(jù)另一示例性實(shí)施例的用于圖像的運(yùn)動(dòng)去模糊的示例方法700的流程圖。流程圖中描繪的方法700可以由例如圖2的裝置200執(zhí)行。

在702，方法700包括接收由第一相機(jī)拍攝的與場(chǎng)景對(duì)應(yīng)的兩個(gè)或更多個(gè)突發(fā)圖像。第一相機(jī)被配置為拍攝低曝光突發(fā)圖像。在一個(gè)實(shí)施例中，場(chǎng)景與弱光條件相關(guān)聯(lián)。在704處，基于兩個(gè)或更多個(gè)突發(fā)圖像來(lái)確定場(chǎng)景中存在至少一個(gè)運(yùn)動(dòng)對(duì)象。對(duì)至少一個(gè)運(yùn)動(dòng)對(duì)象的存在的確定可以如結(jié)合方法600的602所解釋的那樣執(zhí)行，在此不再贅述。在706，檢查場(chǎng)景中是否存在至少一個(gè)運(yùn)動(dòng)對(duì)象。如果在706處確定存在至少一個(gè)運(yùn)動(dòng)對(duì)象，則執(zhí)行708。在708，識(shí)別與至少一個(gè)運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分。例如，如果從由第一相機(jī)拍攝的兩個(gè)或多個(gè)突發(fā)圖像確定存在諸如移動(dòng)車(chē)輛的運(yùn)動(dòng)對(duì)象，則識(shí)別與移動(dòng)車(chē)輛對(duì)應(yīng)的場(chǎng)景的一部分。在710，將與場(chǎng)景的一個(gè)或多個(gè)部分相關(guān)的信息提供給第二相機(jī)。將與場(chǎng)景的一個(gè)或多個(gè)部分有關(guān)的信息提供給第二相機(jī)可以如結(jié)合方法600的606所解釋的那樣進(jìn)行，在此不再贅述。對(duì)運(yùn)動(dòng)對(duì)象的存在的識(shí)別和對(duì)關(guān)于與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的場(chǎng)景的一個(gè)或多個(gè)部分的信息的相應(yīng)確定被立即執(zhí)行，并且信息被以最小的延遲實(shí)時(shí)地提供給第二相機(jī)。

在712，接收由第二相機(jī)拍攝的場(chǎng)景的圖像。更具體地，第一相機(jī)和第二相機(jī)在同一時(shí)刻發(fā)起對(duì)場(chǎng)景的拍攝，然而，在動(dòng)態(tài)地接收到與場(chǎng)景的一個(gè)或多個(gè)部分有關(guān)的信息后，第二相機(jī)將信息提供給像素級(jí)快門(mén)，其布設(shè)在第二相機(jī)的圖像傳感器的前方(如圖3所示)。第二相機(jī)的像素級(jí)快門(mén)被編程為在圖像拍攝的整個(gè)持續(xù)時(shí)間期間針對(duì)與場(chǎng)景的一個(gè)或多個(gè)部分對(duì)應(yīng)的圖像傳感器的像素周期性地打開(kāi)和關(guān)閉。以這樣的方式拍攝的圖像保留與運(yùn)動(dòng)對(duì)象相關(guān)的高頻內(nèi)容，如參考圖4a-4f所解釋。在一個(gè)實(shí)施例中，如果識(shí)別出存在于場(chǎng)景中的運(yùn)動(dòng)對(duì)象與勻質(zhì)表面相關(guān)聯(lián)，則這種信息被提供給像素級(jí)快門(mén)，像素級(jí)快門(mén)被編程為：在圖像拍攝的整個(gè)持續(xù)時(shí)間期間，針對(duì)與關(guān)聯(lián)于勻質(zhì)表面的運(yùn)動(dòng)對(duì)象對(duì)應(yīng)的場(chǎng)景的一部分的邊緣相關(guān)聯(lián)的圖像傳感器的像素，周期性地打開(kāi)和關(guān)閉。例如，如果運(yùn)動(dòng)對(duì)象是具有基本上勻質(zhì)表面的球，則可以將像素級(jí)快門(mén)編程為：針對(duì)與球的圓形邊緣相關(guān)聯(lián)的像素周期性地打開(kāi)和關(guān)閉。這種方案拍攝與對(duì)象邊緣相關(guān)聯(lián)的高頻內(nèi)容，這有助于對(duì)象的去模糊。由于對(duì)象與勻質(zhì)表面相關(guān)聯(lián)，因此對(duì)象的沿其邊緣的去模糊可以是足夠的(因?yàn)榕c勻質(zhì)表面相關(guān)聯(lián)的對(duì)象內(nèi)的細(xì)節(jié)的模糊失真可能不會(huì)顯著降低拍攝圖像的質(zhì)量)。

在714，通過(guò)對(duì)由第二相機(jī)拍攝的圖像執(zhí)行去卷積來(lái)去除由場(chǎng)景中的一個(gè)或多個(gè)運(yùn)動(dòng)對(duì)象引起的運(yùn)動(dòng)模糊，從而產(chǎn)生與場(chǎng)景對(duì)應(yīng)的去模糊后的圖像。在示例實(shí)施例中，盲去卷積方法可用于從模糊圖像估計(jì)psf，并使用psf對(duì)圖像進(jìn)行去卷積。這些方法包括諸如理查森-露西和維納去卷積等眾所周知的算法。圖像的去卷積可以如參照?qǐng)D2所解釋的那樣執(zhí)行，在此不再贅述。在716處，通過(guò)在圖像拍攝期間對(duì)與曝光到周期性地打開(kāi)和關(guān)閉像素級(jí)快門(mén)的圖像傳感器的像素對(duì)應(yīng)的去模糊后的圖像中的一個(gè)或多個(gè)像素區(qū)域進(jìn)行歸一化來(lái)生成對(duì)應(yīng)于場(chǎng)景的最終圖像。歸一化的執(zhí)行可以如參考方法600所解釋的那樣進(jìn)行，在此不再贅述。

如果在706處確定不存在至少一個(gè)運(yùn)動(dòng)對(duì)象，則執(zhí)行718。在718處，向第二相機(jī)提供場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示。在這種情況下，場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示被提供給第二相機(jī)，并且從第二相機(jī)提供給像素級(jí)快門(mén)。在一個(gè)實(shí)施例中，這樣的場(chǎng)景中不存在至少一個(gè)運(yùn)動(dòng)對(duì)象的指示可以基本上立即提供給第二相機(jī)和像素級(jí)快門(mén)。在接收到指示后，像素級(jí)快門(mén)被編程為在圖像拍攝的整個(gè)持續(xù)時(shí)間期間保持打開(kāi)。在720處，與第二相機(jī)拍攝的場(chǎng)景對(duì)應(yīng)的圖像被接收并被視為最終圖像。

在722處，接收由第一相機(jī)在等于第二曝光時(shí)間的時(shí)間段內(nèi)拍攝的與場(chǎng)景對(duì)應(yīng)的多個(gè)突發(fā)圖像。例如，如果第二曝光時(shí)間為t秒，則第一相機(jī)可以繼續(xù)拍攝低曝光突發(fā)圖像(例如在t/50秒)，直到t秒的持續(xù)時(shí)間完成。如此接收的多個(gè)突發(fā)圖像還包括用于確定場(chǎng)景中運(yùn)動(dòng)對(duì)象的存在的兩個(gè)或多個(gè)突發(fā)圖像。在724處，基于多個(gè)突發(fā)圖像通過(guò)利用一個(gè)或多個(gè)去重影算法來(lái)生成對(duì)應(yīng)于場(chǎng)景的二次圖像。在726處，基于最終圖像和二次圖像，使用已知技術(shù)來(lái)計(jì)算與場(chǎng)景對(duì)應(yīng)的深度信息。

應(yīng)當(dāng)注意，為了方便對(duì)圖6至圖7a-7b的流程圖的討論，本文描述了某些操作構(gòu)成以特定順序執(zhí)行的不同步驟。這樣的實(shí)現(xiàn)僅在于示例而非限制性的范圍。某些操作可以組合在一起并且在單個(gè)操作中執(zhí)行，并且可以以與本文所闡述的示例中使用的順序不同的順序執(zhí)行某些操作。此外，方法600和700的某些操作以自動(dòng)方式執(zhí)行。這些操作基本上不涉及與用戶的交互。方法600和700的其他操作可以以手動(dòng)方式或半自動(dòng)方式執(zhí)行。這些操作涉及經(jīng)由一個(gè)或多個(gè)用戶接口呈現(xiàn)與用戶的交互。

流程圖的操作以及流程圖中的操作的組合可以通過(guò)諸如硬件、固件、處理器、電路和/或與包括一個(gè)或多個(gè)計(jì)算機(jī)程序指令的軟件的執(zhí)行相關(guān)聯(lián)的其他設(shè)備的各種手段來(lái)實(shí)現(xiàn)。例如，可以通過(guò)計(jì)算機(jī)程序指令來(lái)體現(xiàn)各種實(shí)施例中描述的一個(gè)或多個(gè)過(guò)程。在示例實(shí)施例中，在各種實(shí)施例中描述的體現(xiàn)程序的計(jì)算機(jī)程序指令可以由設(shè)備的至少一個(gè)存儲(chǔ)設(shè)備存儲(chǔ)并由設(shè)備中的至少一個(gè)處理器執(zhí)行。任何這樣的計(jì)算機(jī)程序指令可以被加載到計(jì)算機(jī)或其他可編程設(shè)備(例如，硬件)上以產(chǎn)生機(jī)器，使得所得到的計(jì)算機(jī)或其他可編程設(shè)備實(shí)現(xiàn)用于實(shí)現(xiàn)流程圖中指定的操作的裝置。這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在可以使計(jì)算機(jī)或其他可編程裝置以特定方式運(yùn)行的計(jì)算機(jī)可讀存儲(chǔ)器(與諸如載波或電磁信號(hào)的傳輸介質(zhì)相反)中，使得存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生制造品，其執(zhí)行實(shí)現(xiàn)流程圖中指定的操作。計(jì)算機(jī)程序指令還可以被加載到計(jì)算機(jī)或其他可編程設(shè)備上，以使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行一系列操作以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過(guò)程，使得在計(jì)算機(jī)或其他可編程裝置提供用于實(shí)現(xiàn)流程圖中的操作的操作。在裝置200的幫助下描述了方法的操作。然而，可以使用任何其他裝置來(lái)描述和/或?qū)嵺`方法的操作。

不以任何方式限制下面出現(xiàn)的權(quán)利要求的范圍、解釋或應(yīng)用，本文公開(kāi)的一個(gè)或多個(gè)示例性實(shí)施例的技術(shù)效果是產(chǎn)生運(yùn)動(dòng)去模糊后的圖像。各種實(shí)施例公開(kāi)了使用雙相機(jī)設(shè)置，其中像素級(jí)快門(mén)僅對(duì)于存在對(duì)象運(yùn)動(dòng)的選擇性區(qū)域被啟用。所提出的方案被配置為使用雙相機(jī)設(shè)置來(lái)處理單個(gè)靜止圖像，其中一個(gè)圖像被正確地暴露于場(chǎng)景，其中選擇性運(yùn)動(dòng)區(qū)域被暴露于像素級(jí)快門(mén)操作。像素級(jí)快門(mén)的這種實(shí)現(xiàn)使得能夠保留場(chǎng)景中的對(duì)象的高頻內(nèi)容，這導(dǎo)致在去卷積之后更好的輸出。此外，在對(duì)象正在運(yùn)動(dòng)的部分上的選擇性像素級(jí)快門(mén)操作導(dǎo)致對(duì)于場(chǎng)景的其他區(qū)域的更高的曝光，而在傳統(tǒng)機(jī)構(gòu)中，這樣的操作在將總體曝光時(shí)間減少50％的光圈水平下被執(zhí)行，導(dǎo)致光透過(guò)損失。本文公開(kāi)的實(shí)施例使得能夠即使在當(dāng)相機(jī)的曝光時(shí)間保持非常大以在相機(jī)內(nèi)容納更多光時(shí)的弱光條件下，產(chǎn)生排除了運(yùn)動(dòng)模糊的高質(zhì)量圖像。本文公開(kāi)的技術(shù)可以特別適用于與監(jiān)視、安全性、交通監(jiān)控、自然攝影等有關(guān)的領(lǐng)域的成像應(yīng)用。

上述各種實(shí)施例可以在軟件、硬件、應(yīng)用邏輯或軟件、硬件和應(yīng)用邏輯的組合中實(shí)現(xiàn)。軟件、應(yīng)用程序邏輯和/或硬件可以駐留在至少一個(gè)存儲(chǔ)器、至少一個(gè)處理器、裝置或計(jì)算機(jī)程序產(chǎn)品上。在示例實(shí)施例中，應(yīng)用邏輯、軟件或指令集被保存在各種常規(guī)計(jì)算機(jī)可讀介質(zhì)中的任何一個(gè)上。在本文檔的上下文中，“計(jì)算機(jī)可讀介質(zhì)”可以是可以包含、存儲(chǔ)、傳送、傳播或傳送由指令執(zhí)行系統(tǒng)、裝置或設(shè)備(諸如計(jì)算機(jī))使用或與指令執(zhí)行系統(tǒng)、設(shè)備或設(shè)備(諸如計(jì)算機(jī))結(jié)合使用的指令的任何介質(zhì)或部件，其中圖1和/或2中描述和描繪了裝置的一個(gè)示例。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其可以是可以容納或存儲(chǔ)的由指令執(zhí)行系統(tǒng)、裝置或設(shè)備(諸如計(jì)算機(jī))使用或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備(諸如計(jì)算機(jī))一起使用的指令。

如果期望的話，本文討論的不同功能可以以不同的順序和/或彼此同時(shí)地執(zhí)行。此外，如果需要，上述功能中的一個(gè)或多個(gè)可以是可選的或可以組合。

盡管在獨(dú)立權(quán)利要求中闡述了各種實(shí)施例，但是其它實(shí)施例包括來(lái)自所描述的實(shí)施例和/或從屬權(quán)利要求的特征與獨(dú)立權(quán)利要求的特征的其他組合，而不僅僅是權(quán)利要求中明確陳述的組合。

這里還要注意，雖然上面描述了本發(fā)明的示例性實(shí)施例，但是這些描述不應(yīng)被視為限制性的。相反，在不脫離如所附權(quán)利要求限定的本公開(kāi)的范圍的情況下，可以進(jìn)行若干變化和修改。