專利名稱：使用圖像穩(wěn)定來(lái)校正卷簾式快門的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的各實(shí)施例一般涉及使用圖像穩(wěn)定來(lái)校正卷簾式快門。
背景技術(shù)：
圖像捕捉設(shè)備包括照像機(jī)、便攜式手持電子設(shè)備，及其他電子設(shè)備。由圖像捕捉設(shè)備捕捉到的圖像可能會(huì)被圖像捕捉設(shè)備的運(yùn)動(dòng)損害。例如，照像機(jī)的振動(dòng)、照像機(jī)抖動(dòng)或旋轉(zhuǎn)可能會(huì)使圖像模糊。一種先驗(yàn)的方法使用比較不同的幀的類似部分并基于該比較來(lái)調(diào)整輸出圖像的軟件。此方法通常補(bǔ)償平移運(yùn)動(dòng)，但是不能補(bǔ)償旋轉(zhuǎn)運(yùn)動(dòng)。某些圖像捕捉設(shè)備可以使用可被稱為卷簾式快門的東西，因?yàn)橛脕?lái)記錄每一幀的 圖像獲取的方法不是來(lái)自單一時(shí)間點(diǎn)的完整的幀的快照，而是通過(guò)垂直地或者水平地跨幀掃描，一次一行。換言之，并非圖像的所有部分都被完全同時(shí)記錄，盡管在回放過(guò)程中同時(shí)顯示整個(gè)幀。至少某些CMOS圖像傳感器具有卷簾式快門。當(dāng)物體快速移動(dòng)或當(dāng)傳感器捕捉光的快速的閃動(dòng)時(shí)，卷簾式快門產(chǎn)生可預(yù)測(cè)的失真。此方法通過(guò)跨可曝光的圖像區(qū)域滾動(dòng)(移動(dòng))快門而并非同時(shí)使圖像區(qū)域全部曝光來(lái)實(shí)現(xiàn)。卷簾式快門會(huì)導(dǎo)致諸如偏斜并擺動(dòng)之類的效應(yīng)。當(dāng)照像機(jī)或主體從一端移到另一端時(shí)圖像在一個(gè)方向或另一個(gè)方向按對(duì)角方式彎曲時(shí)，產(chǎn)生偏斜，使圖像的不同部分在不同的時(shí)間曝光。擺動(dòng)在遠(yuǎn)距離攝影情況下對(duì)于手持的鏡頭是最常見(jiàn)的，并且在照像機(jī)由于被裝到移動(dòng)的車輛中而振動(dòng)的情況下最厲害。卷簾式快門導(dǎo)致圖像奇異地?cái)[動(dòng)。這常常叫做果凍效應(yīng)(jello effect)。用于穩(wěn)定利用卷簾式快門捕捉到的圖像的以前的方法可包括后處理技術(shù)。這些技術(shù)通常補(bǔ)償平移運(yùn)動(dòng)，但是不能補(bǔ)償旋轉(zhuǎn)運(yùn)動(dòng)。

發(fā)明內(nèi)容
描述了用于穩(wěn)定圖像以及校正卷簾式快門效應(yīng)的多種方法、設(shè)備以及系統(tǒng)。在一個(gè)實(shí)施例中，圖像捕捉設(shè)備包括照像機(jī)以及運(yùn)動(dòng)估計(jì)設(shè)備。在一個(gè)實(shí)施例中，圖像捕捉設(shè)備使用照相機(jī)校準(zhǔn)數(shù)據(jù)來(lái)將圖像傳感器的圖像平面的圖像坐標(biāo)映射到坐標(biāo)空間的規(guī)范化圖像坐標(biāo)。運(yùn)動(dòng)估計(jì)設(shè)備可以確定設(shè)備的運(yùn)動(dòng)數(shù)據(jù)(例如，三維旋轉(zhuǎn)數(shù)據(jù))。設(shè)備將運(yùn)動(dòng)數(shù)據(jù)匹配到由該設(shè)備捕捉到的幀序列以確定每一幀的運(yùn)動(dòng)數(shù)據(jù)。該設(shè)備基于運(yùn)動(dòng)數(shù)據(jù)來(lái)估計(jì)設(shè)備的估計(jì)運(yùn)動(dòng)路徑。該設(shè)備基于估計(jì)運(yùn)動(dòng)路徑來(lái)構(gòu)建圖像捕捉設(shè)備的目標(biāo)運(yùn)動(dòng)路徑。該設(shè)備基于估計(jì)運(yùn)動(dòng)路徑以及目標(biāo)運(yùn)動(dòng)路徑來(lái)計(jì)算所希望的運(yùn)動(dòng)校正。然后，該設(shè)備使用照相機(jī)校準(zhǔn)數(shù)據(jù)來(lái)對(duì)每一幀進(jìn)行重新采樣，以根據(jù)所希望的運(yùn)動(dòng)校正，生成穩(wěn)定的幀的正確的序列。例如，用戶可以利用設(shè)備來(lái)捕捉圖像序列?；谶\(yùn)動(dòng)數(shù)據(jù)來(lái)構(gòu)建運(yùn)動(dòng)路徑，該運(yùn)動(dòng)路徑指出突然的移動(dòng)或細(xì)微的移動(dòng)(例如，照像機(jī)在用戶手中抖動(dòng)，照像機(jī)的振動(dòng)、旋轉(zhuǎn)，等等)。穩(wěn)定的幀在圖像捕捉期間補(bǔ)償設(shè)備的非故意的運(yùn)動(dòng)。在另一實(shí)施例中，圖像捕捉系統(tǒng)包括卷簾式快門圖像傳感器，該卷簾式快門圖像傳感器可能會(huì)產(chǎn)生卷簾式快門偽像(例如，扭曲)。該系統(tǒng)包括用于檢測(cè)運(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)估計(jì)設(shè)備，以及被配置成執(zhí)行自動(dòng)卷簾式快門校正機(jī)制的處理系統(tǒng)。校正機(jī)制基于圖像傳感器的圖像平面中的像素位置以及像素位置在坐標(biāo)空間(例如，三維空間)中的相對(duì)應(yīng)的光線之間的關(guān)系，來(lái)使用校準(zhǔn)數(shù)據(jù)，基于校準(zhǔn)數(shù)據(jù)，確定像素速度分量，以及基于像素速度分量的總和以及根據(jù)運(yùn)動(dòng)數(shù)據(jù)確定的相對(duì)應(yīng)的旋轉(zhuǎn)速度值，為每一圖像估計(jì)總的像素速度。校正機(jī)制對(duì)每一圖像進(jìn)行重新采樣，以生成基于總的像素速度的新的校正圖像。還描述了其他實(shí)施例。根據(jù)各個(gè)附圖以及隨后的詳細(xì)描述，本發(fā)明的其他特征將變得顯而易見(jiàn)。


專利或申請(qǐng)文件包含至少一個(gè)以顏色執(zhí)行的附圖。帶有彩色附圖的此專利或?qū)＠暾?qǐng)出版物的副本將由專利局應(yīng)請(qǐng)求提供，并支付必要的費(fèi)用。本發(fā)明的各實(shí)施例是作為示例說(shuō)明的，而在各個(gè)附圖的圖形中不作限制，在附圖中，類似的參考編號(hào)表示類似的元件。應(yīng)該注意，在本公開(kāi)的本發(fā)明中對(duì)“一個(gè)”實(shí)施例的引用不一定是指同一個(gè)實(shí)施例，它們意味著至少一個(gè)。圖I示出了本發(fā)明的一個(gè)實(shí)施例中的穩(wěn)定利用圖像捕捉設(shè)備捕捉到的圖像(例如，圖像、視頻的序列)的計(jì)算機(jī)實(shí)現(xiàn)的方法100的流程圖。圖2示出了本發(fā)明的一個(gè)實(shí)施例中的圖像捕捉設(shè)備的運(yùn)動(dòng)路徑的結(jié)構(gòu)。圖3示出了本發(fā)明的一個(gè)實(shí)施例中的要應(yīng)用于幀的子集的分解圖的幀重新采樣。圖4示出了本發(fā)明的一個(gè)實(shí)施例中的圖像400的示例。圖5示出了本發(fā)明的一個(gè)實(shí)施例中的對(duì)利用圖像捕捉設(shè)備捕捉到的圖像(例如，圖像、視頻的序列)進(jìn)行卷簾式快門校正的計(jì)算機(jī)實(shí)現(xiàn)的方法500的流程圖。圖6-8示出了本發(fā)明的一個(gè)實(shí)施例中的預(yù)先計(jì)算出的速度分量(例如，Vx，Vy，以及Vz)。圖9示出了本發(fā)明的一個(gè)實(shí)施例中的包括用于進(jìn)行無(wú)線通信以及用于捕捉圖像的能力的無(wú)線圖像捕捉設(shè)備。圖10是系統(tǒng)1000的本發(fā)明的一個(gè)實(shí)施例的框圖。圖11示出了本發(fā)明的一個(gè)實(shí)施例中的對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加。圖12示出了本發(fā)明的一個(gè)實(shí)施例中的基于總的像素速度矢量V1220和Uni-t0)1210生成的位移圖。圖13A-13D示出了本發(fā)明的一個(gè)實(shí)施例中的用于示出卷簾式快門校正的圖像序列。圖14以及15示出了本發(fā)明的一個(gè)實(shí)施例中的圖像捕捉設(shè)備的瞬時(shí)旋轉(zhuǎn)。
具體實(shí)施例方式描述了用于穩(wěn)定圖像以及校正卷簾式快門偽像的多種方法、設(shè)備以及系統(tǒng)。在一個(gè)實(shí)施例中，圖像捕捉設(shè)備包括圖像傳感器(例如，照像機(jī))以及運(yùn)動(dòng)估計(jì)設(shè)備。在一個(gè)實(shí)施例中，運(yùn)動(dòng)估計(jì)設(shè)備可以確定設(shè)備的運(yùn)動(dòng)數(shù)據(jù)。設(shè)備將運(yùn)動(dòng)數(shù)據(jù)匹配到由該設(shè)備捕捉到的幀序列以確定每一幀的運(yùn)動(dòng)數(shù)據(jù)。該設(shè)備基于每一幀的運(yùn)動(dòng)數(shù)據(jù)來(lái)構(gòu)建圖像捕捉設(shè)備的目標(biāo)運(yùn)動(dòng)路徑。該設(shè)備計(jì)算從運(yùn)動(dòng)數(shù)據(jù)中觀察到的估計(jì)運(yùn)動(dòng)路徑到目標(biāo)運(yùn)動(dòng)路徑的所希望的運(yùn)動(dòng)校正。然后，該設(shè)備對(duì)每一幀進(jìn)行重新采樣，以根據(jù)所希望的運(yùn)動(dòng)校正，生成穩(wěn)定的幀。在另一實(shí)施例中，圖像捕捉系統(tǒng)包括卷簾式快門圖像傳感器，該卷簾式快門圖像傳感器可能會(huì)產(chǎn)生卷簾式快門偽像(例如，扭曲)。該系統(tǒng)包括用于檢測(cè)運(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)估計(jì)設(shè)備，以及被配置成執(zhí)行自動(dòng)卷簾式快門校正機(jī)制的處理系統(tǒng)。圖I示出了本發(fā)明的一個(gè)實(shí)施例中的穩(wěn)定利用圖像捕捉設(shè)備捕捉到的圖像(例如，圖像、視頻的序列)的計(jì)算機(jī)實(shí)現(xiàn)的方法100的流程圖。計(jì)算機(jī)實(shí)現(xiàn)的方法100由處理邏輯來(lái)執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器或系統(tǒng)上運(yùn)行的那些)或兩者的組合。處理邏輯向具有微處理器和圖像傳感器的圖像感應(yīng)單元發(fā)送信息并從其接收信息。圖像感應(yīng)單元可以向處理邏輯發(fā)送元數(shù)據(jù)幀(例如，焦點(diǎn)數(shù)量、曝光時(shí)間、白平衡)。從圖像傳感器中讀取像素值以生成圖像數(shù)據(jù)。以某一時(shí)間間隔(例如，1/15秒)向處理邏輯發(fā)送幀。如下面所討論的，通過(guò)校正圖像捕捉設(shè)備的旋轉(zhuǎn)路徑來(lái)穩(wěn)定幀。 在框102，處理邏輯(例如，一個(gè)或多個(gè)處理單元)生成圖像捕捉設(shè)備的照像機(jī)的校準(zhǔn)數(shù)據(jù)。在框103，使用校準(zhǔn)數(shù)據(jù)，來(lái)將照像機(jī)的圖像傳感器的圖像平面的圖像坐標(biāo)(例如，二維像素)轉(zhuǎn)換為三維坐標(biāo)空間的規(guī)范化圖像坐標(biāo)(例如，光線)。為生成校準(zhǔn)數(shù)據(jù)，確定照像機(jī)的視場(chǎng)和徑向畸變。在一個(gè)實(shí)施例中，視場(chǎng)是60. 8x 47. 5度，徑向畸變大致是K =0. 1，K4=-O. 007。校準(zhǔn)可以是離線一次性過(guò)程。在框104，處理邏輯(例如，一個(gè)或多個(gè)處理單元)捕捉圖像的序列(例如，幀、視頻)。在框106，處理邏輯使用運(yùn)動(dòng)估計(jì)設(shè)備來(lái)確定設(shè)備的運(yùn)動(dòng)數(shù)據(jù)(例如，三維旋轉(zhuǎn)數(shù)據(jù))。在一個(gè)實(shí)施例中，運(yùn)動(dòng)估計(jì)設(shè)備可以是陀螺儀或加速度計(jì)或兩者的組合。陀螺儀可以提供三維旋轉(zhuǎn)數(shù)據(jù)，而加速度計(jì)可以提供三維平移數(shù)據(jù)(6個(gè)自由度)。確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)可包括確定每一幀的三維的旋轉(zhuǎn)速度矢量。在框108，處理邏輯將運(yùn)動(dòng)數(shù)據(jù)匹配到由圖像捕捉設(shè)備捕捉到的幀序列，以確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)。將運(yùn)動(dòng)數(shù)據(jù)匹配到幀序列可包括將運(yùn)動(dòng)估計(jì)設(shè)備的時(shí)間戳轉(zhuǎn)換為幀的視頻時(shí)間，以及還集成從運(yùn)動(dòng)估計(jì)設(shè)備接收到的旋轉(zhuǎn)速度數(shù)據(jù)(例如，旋轉(zhuǎn)速度矢量)，以估計(jì)幀之間的旋轉(zhuǎn)(例如，AQUDt5運(yùn)動(dòng)估計(jì)設(shè)備的時(shí)間戳和幀的視頻時(shí)間之間的實(shí)時(shí)偏誤估計(jì)(live bias estimate)也可以通過(guò)使用長(zhǎng)期平均(例如,5分鐘)可用。在框110，處理邏輯基于每一幀的三維運(yùn)動(dòng)數(shù)據(jù)來(lái)估計(jì)圖像捕捉設(shè)備的估計(jì)運(yùn)動(dòng)路徑(例如，觀察到的運(yùn)動(dòng)路徑)。估計(jì)運(yùn)動(dòng)路徑是為運(yùn)動(dòng)數(shù)據(jù)構(gòu)建的，指出突然的移動(dòng)或細(xì)微的移動(dòng)(例如，照像機(jī)在用戶手中抖動(dòng)、振動(dòng))。取決于照像機(jī)的移動(dòng)，估計(jì)運(yùn)動(dòng)路徑可以是粗略的或鋸齒狀的。在框111，處理邏輯基于估計(jì)運(yùn)動(dòng)路徑來(lái)構(gòu)建圖像捕捉設(shè)備的目標(biāo)運(yùn)動(dòng)路徑。目標(biāo)運(yùn)動(dòng)路徑可以是估計(jì)運(yùn)動(dòng)路徑的平滑(例如，經(jīng)過(guò)濾的)版本。在框112，處理邏輯計(jì)算從估計(jì)運(yùn)動(dòng)路徑到目標(biāo)運(yùn)動(dòng)路徑的所希望的運(yùn)動(dòng)校正。在框113，處理邏輯使用照相機(jī)校準(zhǔn)數(shù)據(jù)來(lái)對(duì)每一幀進(jìn)行重新采樣，以根據(jù)所希望的運(yùn)動(dòng)校正，生成穩(wěn)定的幀的正確的序列。在框114，在必要時(shí)，處理邏輯可任選地對(duì)穩(wěn)定的幀的未知區(qū)域(例如，暗區(qū))執(zhí)行自適應(yīng)裁剪和填充。方法100的操作提供預(yù)處理，該預(yù)處理可以是幀的壓縮算法的一部分或者也可以與壓縮算法脫離?；诜椒?00的操作，經(jīng)壓縮的視頻幀可以要求較少的存儲(chǔ)器空間或以較低的比特率提供更高的圖像質(zhì)量。
在某些實(shí)施例中，運(yùn)動(dòng)估計(jì)設(shè)備可以是單個(gè)或多個(gè)物理封裝的陀螺儀、加速度計(jì)，或其任意組合。下面將說(shuō)明圖像穩(wěn)定的附加細(xì)節(jié)。圖2示出了本發(fā)明的一個(gè)實(shí)施例中的圖像捕捉設(shè)備的運(yùn)動(dòng)路徑的結(jié)構(gòu)。處理邏輯基于每一幀的三維運(yùn)動(dòng)數(shù)據(jù)來(lái)構(gòu)建圖像捕捉設(shè)備的粗略運(yùn)動(dòng)路徑220。處理邏輯可以在每一維度應(yīng)用濾波器，諸如低通或預(yù)測(cè)濾波器，可能導(dǎo)致短延遲，以從粗略運(yùn)動(dòng)路徑200構(gòu)建平滑運(yùn)動(dòng)路徑220。平滑運(yùn)動(dòng)路徑220表示圖像捕捉設(shè)備在圖像捕捉期間的所希望的目標(biāo)路徑。圖3示出了本發(fā)明的一個(gè)實(shí)施例中的要應(yīng)用于幀的子集的分解圖的幀重新采樣。處理邏輯可以將幀重新采樣應(yīng)用到分解圖300。幀重新采樣使用平滑運(yùn)動(dòng)路徑220來(lái)校正幀320的子集330中的像素。處理邏輯可以基于運(yùn)動(dòng)路徑220和運(yùn)動(dòng)路徑200之間的差異來(lái)人工地旋轉(zhuǎn)觀察者的查看方向(例如，用戶的查看方向)。幀重新采樣使用內(nèi)插法(例如， 雙線性內(nèi)插法)來(lái)構(gòu)建新幀。幀4示出了本發(fā)明的一個(gè)實(shí)施例中的圖像400的示例。中間區(qū)域402包括要被捕捉的對(duì)象410。周圍區(qū)域403和404可以是圖像的暗區(qū)?？梢詮膱D像404中裁剪或去除區(qū)域403和404。對(duì)于這些區(qū)域，像素值可能丟失。可以基于相鄰的幀或去水印技術(shù)來(lái)填充這些值?？闪磉x地，被裁剪的區(qū)域被約束在原始幀內(nèi)。方法100提供圖像穩(wěn)定以校正圖像捕捉設(shè)備的旋轉(zhuǎn)運(yùn)動(dòng)和振動(dòng)。平移振動(dòng)考慮大致10%的振動(dòng)，并要求深度知識(shí)才能校正。旋轉(zhuǎn)振動(dòng)一般考慮大部分振動(dòng)所產(chǎn)生的失真,并不要求深度知識(shí)即可校正。短期旋轉(zhuǎn)偏移可以精確到在大致I毫弧度內(nèi)。此方法100也可以用于中間的幀生成和卷簾式快門校正。可能會(huì)產(chǎn)生卷簾式快門偽像，因?yàn)閺膱D像傳感器(例如，CMOS圖像傳感器)一次一個(gè)地讀取掃描線，照像機(jī)本身在圖像捕捉時(shí)段移動(dòng)。圖5示出了本發(fā)明的一個(gè)實(shí)施例中的對(duì)利用圖像捕捉設(shè)備捕捉到的圖像(例如，圖像、視頻的序列)進(jìn)行卷簾式快門校正的計(jì)算機(jī)實(shí)現(xiàn)的方法500的流程圖。計(jì)算機(jī)實(shí)現(xiàn)的方法500由處理邏輯來(lái)執(zhí)行，處理邏輯可以包括硬件(電路、專用邏輯等等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器或系統(tǒng)上運(yùn)行的那些)或兩者的組合。方法500確定某一時(shí)段之前或?qū)?lái)某一時(shí)段(例如，I毫秒、2毫秒)像素的值，以校正卷簾式快門效應(yīng)。在框501，處理邏輯(例如，一個(gè)或多個(gè)處理單元)校準(zhǔn)圖像捕捉設(shè)備的照像機(jī)以生成校準(zhǔn)數(shù)據(jù)。在框502，使用校準(zhǔn)數(shù)據(jù)，以便將照像機(jī)的圖像傳感器的圖像平面的圖像坐標(biāo)(例如，二維像素)轉(zhuǎn)換為三維方向矢量。校準(zhǔn)模型是描述圖像平面中的像素位置以及從照像機(jī)觀察者的角度來(lái)看這些像素位置在三維空間中的相對(duì)應(yīng)的光線之間的連接的參數(shù)方式?？梢詫?duì)方向矢量應(yīng)用三維旋轉(zhuǎn)。應(yīng)用三維旋轉(zhuǎn)和方向矢量導(dǎo)致確定像素將在三維空間中的假設(shè)照像機(jī)旋轉(zhuǎn)下移動(dòng)的位置。校準(zhǔn)可以是離線一次性過(guò)程。校準(zhǔn)參數(shù)可包括如此處所描述的很多參數(shù)。在一個(gè)實(shí)施例中，可變參數(shù)包括焦距f或等效地視場(chǎng)以及描述徑向畸變K的兩個(gè)或更多參數(shù)。視頻幀可包括在視頻幀的中間的中心點(diǎn)c (例如，對(duì)于1024x 768視頻幀，c=[512，384])。偏斜可以是零。焦距匕可以被建模為大致I. 1823*(2cx)，fy可以被建模為大致I. 1966*(2cx)?？闪磉x地，fx=fy=l. 19*(2cx)。所有徑向畸變項(xiàng)K都可以被設(shè)置為零，除了 K1=O. 1，K4=-O. 007之外。如此，獲得了將規(guī)范化像素坐標(biāo)(例如，X矢量)轉(zhuǎn)換為實(shí)際像素坐標(biāo)(例如，m矢量)的函數(shù)F,如下列公式所/Jn οm矢量=F (x矢量)F的逆將實(shí)際像素坐標(biāo)規(guī)范化為圖像平面(例如，X矢量=F-1 (m矢量))。在框504，處理邏輯將運(yùn)動(dòng)估計(jì)設(shè)備與圖像捕捉設(shè)備的照像機(jī)校準(zhǔn)并同步。此同步可包括將運(yùn)動(dòng)估計(jì)設(shè)備的時(shí)間戳轉(zhuǎn)換為捕捉到的圖像的視頻時(shí)間。運(yùn)動(dòng)估計(jì)設(shè)備的時(shí)間戳和幀的視頻時(shí)間之間的實(shí)時(shí)偏誤估計(jì)也可以通過(guò)使用長(zhǎng)期平均(例如，5分鐘)可用。在框506，處理邏輯從校準(zhǔn)數(shù)據(jù)確定預(yù)先計(jì)算出的預(yù)測(cè)像素速度分量(例如，Vx,Vy，以及Vz)?？梢詮男?zhǔn)數(shù)據(jù)確定兩個(gè)維度的像素速度分量。在框508，處理邏輯(例如，一個(gè)或多個(gè)處理單元)捕捉圖像的序列(例如，視頻、幀)。在框510，處理邏輯確定照像機(jī)在圖像的捕捉期間的運(yùn)動(dòng)數(shù)據(jù)。運(yùn)動(dòng)數(shù)據(jù)可包括旋轉(zhuǎn)速度矢量ω(例如，ωχ，coy，以及ωζ)。在框512，處理邏輯基于像素速度分量的總和來(lái)為每一圖像估計(jì)相對(duì)應(yīng)的總的像素速 度矢量V。此總和可包括分量ωχνχ，OyVy，以及ω Jz的加權(quán)總和。在一個(gè)實(shí)施例中，旋轉(zhuǎn)速度權(quán)重ωχ，coy，以及ωζ是標(biāo)量，以及像素速度分量(例如，Vx, Vy,以及Vz)是函數(shù)。在框514，處理邏輯通過(guò)為每一像素指定新的值，對(duì)每一圖像進(jìn)行重新采樣(例如，使用雙線性內(nèi)插法)來(lái)生成新圖像(例如,幀) ,如下列公式所示。新圖像 (矢量 m) = I(矢量 m-(tm - t0)*V(矢量 m))行m被捕捉的時(shí)間由tm來(lái)表示，圖像捕捉的初始任意時(shí)間(例如，第一行、中間的行等等)由h來(lái)表示。新圖像 可包括基于照像機(jī)的移動(dòng)的新像素位置。新像素位置可以不位于新圖像的網(wǎng)格位置，并且可以基于一定數(shù)量的最近鄰像素而插入。在丟失像素的情況下，外插對(duì)于計(jì)算新像素的顏色是必需的。圖6-8示出了本發(fā)明的一個(gè)實(shí)施例中的預(yù)先計(jì)算出的速度分量(例如，Vx, Vy,以及Vz)。由于照像機(jī)的估計(jì)或預(yù)測(cè)旋轉(zhuǎn)運(yùn)動(dòng)，圖6中的像素沿著y軸向上移動(dòng)(例如，速度分量601)。由于照像機(jī)的估計(jì)旋轉(zhuǎn)運(yùn)動(dòng)，圖7中的像素沿著X軸向右移動(dòng)(例如，速度分量701)。由于照像機(jī)的估計(jì)旋轉(zhuǎn)運(yùn)動(dòng)，圖8中的像素按順時(shí)針?lè)较蛞苿?dòng)(例如，速度分量801)?？梢曰谶@些速度分量來(lái)確定每一像素的路徑?？梢詮男D(zhuǎn)速度ω和分量速度圖Vx, Vy,以及Vz來(lái)計(jì)算像素速度場(chǎng)V。下面描述了變換的構(gòu)成。矢量m—矢量X—矢量X'—矢量m/圖像傳感器的圖像平面的由矢量m所表示的實(shí)際像素坐標(biāo)被映射或轉(zhuǎn)換成三維方向矢量X。可以將估計(jì)的三維旋轉(zhuǎn)應(yīng)用到方向矢量X，以生成矢量X’。例如，照像機(jī)的估計(jì)或預(yù)測(cè)旋轉(zhuǎn)可以對(duì)應(yīng)于當(dāng)人握住照像機(jī)時(shí)手振動(dòng)的人模型。此模型可以估計(jì)或預(yù)測(cè)當(dāng)在捕捉一行或多行像素的時(shí)段期間在一個(gè)或多個(gè)方向稍微轉(zhuǎn)動(dòng)他的手時(shí)照像機(jī)的旋轉(zhuǎn)。在一個(gè)實(shí)施例中，此模型被設(shè)計(jì)成預(yù)測(cè)具有小于或等于100赫茲的頻率的振動(dòng)。大于100赫茲的頻率的振動(dòng)不可能由人的旋轉(zhuǎn)運(yùn)動(dòng)所導(dǎo)致，并且這些振動(dòng)更難以校正。矢量X’利用函數(shù)F被轉(zhuǎn)換為矢量m’。速度分量(例如，VX，Vy，以及Vz)大致等于在分別圍繞x，y，以及z軸的增量旋轉(zhuǎn)下m和m’之間的差。圖11示出了本發(fā)明的一個(gè)實(shí)施例中的對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加。分量ωχνχ 1110，CoyVy 1120，以及ωζνζ 1130的加權(quán)總和生成總的像素速度矢量V1140。在一個(gè)實(shí)施例中，ωχ=0. 2弧度，oy=-0· 2 弧度，ωζ=0·8 弧度。
圖12示出了本發(fā)明的一個(gè)實(shí)施例中的基于總的像素速度矢量V1220和Uni-t0) 1210生成的位移圖。如上文所討論的，圖像傳感器的行m被捕捉的時(shí)間由^來(lái)表示，圖像捕捉的任意時(shí)間由h來(lái)表示。在不同的時(shí)間讀出圖像傳感器的每一行，這通過(guò)圖12中水平柱線來(lái)表示。對(duì)于圖像傳感器的上區(qū)域，Um-U 1210是負(fù)值。對(duì)于圖像傳感器的下區(qū)域，(tm-tQ)1210是正值。通過(guò)將總的像素速度矢量V1220和(tm-tQ)1210相乘來(lái)生成圖像傳感器的給定像素的位移圖。位移圖指出基于照像機(jī)在圖像捕捉過(guò)程中的旋轉(zhuǎn)或移動(dòng)的圖像傳感器的給定像素的位移。圖13A-13D示出了本發(fā)明的一個(gè)實(shí)施例中的用于示出卷簾式快門校正的圖像的序列。圖13A示出了利用沒(méi)有卷簾式快門校正的圖像捕捉設(shè)備(例如，iPhone 4)捕捉到的參考圖像1300，該參考圖像1300表示帶有停止符號(hào)1302的原始場(chǎng)景。參考圖像1300可包括徑向畸變。圖13B示出了帶有停止符號(hào)1312的模擬圖像1310。模擬圖像1310是在圖像捕捉設(shè)備的瞬時(shí)旋轉(zhuǎn)的效應(yīng)下使用卷簾式快門曝光度曝光的圖像1300的模擬呈現(xiàn)。圖14以及15示出了本發(fā)明的一個(gè)實(shí)施例中的圖像捕捉設(shè)備的瞬時(shí)旋轉(zhuǎn)。圖14示出了垂直軸上的旋轉(zhuǎn)度數(shù)與水平軸上的以毫秒為單位的tm - t0。例如，對(duì)于2毫秒曝光 時(shí)間，圖像捕捉設(shè)備從大致-25度旋轉(zhuǎn)到大致25度。圖15示出了垂直軸上的旋轉(zhuǎn)度數(shù)對(duì)水平軸上的圖像捕捉設(shè)備的圖像傳感器的行號(hào)碼。圖13C示出了帶有停止符號(hào)1322的已重新采樣的圖像1320。圖像1320基于可能是不完整的可用信息來(lái)模擬對(duì)圖像1310的歪斜校正(unwarping)。在此圖示中，使用帶有信噪比的不完整的旋轉(zhuǎn)信息來(lái)執(zhí)行校正，信噪比可以是10:1 (即，對(duì)于在曝光間隔內(nèi)的40度的旋轉(zhuǎn)，大致4度的誤差)。在實(shí)踐中，誤差可以由運(yùn)動(dòng)估計(jì)設(shè)備(例如，陀螺儀、加速度計(jì))測(cè)量值的噪聲以及由運(yùn)動(dòng)源(例如，場(chǎng)景中的運(yùn)動(dòng)，平移等等)所產(chǎn)生的建模誤差所導(dǎo)致的。這些運(yùn)動(dòng)源難以準(zhǔn)確地建模。圖13D示出了帶有停止符號(hào)1332的已重新采樣的圖像1330。圖像1330基于完美的可用的信息來(lái)模擬對(duì)圖像1310的歪斜校正。圖像1330示出了已恢復(fù)的或重新采樣的圖像看起來(lái)像什么模樣，給定關(guān)于瞬時(shí)旋轉(zhuǎn)的完全信息且沒(méi)有其他運(yùn)動(dòng)源(例如，觀察者的平移或環(huán)境中的移動(dòng))。從此模擬的圖像1330中已經(jīng)去除了徑向畸變。本發(fā)明的各實(shí)施例中的許多方法可以利用諸如數(shù)字處理系統(tǒng)(例如，常規(guī)、通用計(jì)算機(jī)系統(tǒng))之類的圖像捕捉設(shè)備來(lái)執(zhí)行。也可以使用被設(shè)計(jì)或編程為只執(zhí)行一個(gè)功能的專用計(jì)算機(jī)。在某些實(shí)施例中，本發(fā)明的方法、系統(tǒng)，以及設(shè)備可以在下列各種設(shè)備中實(shí)現(xiàn)，包括電子設(shè)備、消費(fèi)者設(shè)備、數(shù)據(jù)處理系統(tǒng)、臺(tái)式計(jì)算機(jī)、便攜式計(jì)算機(jī)、無(wú)線設(shè)備、蜂窩式設(shè)備、平板設(shè)備、手持式設(shè)備、多點(diǎn)觸摸設(shè)備、多點(diǎn)觸摸數(shù)據(jù)處理系統(tǒng)，這些設(shè)備的任意組合，或其他類似的設(shè)備。圖9和10示出了這些設(shè)備中的一些示例，這些設(shè)備能夠捕捉靜止圖像和視頻來(lái)實(shí)現(xiàn)本公開(kāi)的方法。方法(例如，100，500)基于圖像穩(wěn)定和卷簾式快門校正來(lái)增強(qiáng)捕捉圖像、捕捉視頻、視頻呼叫等等的用戶體驗(yàn)。圖9示出了本發(fā)明的一個(gè)實(shí)施例中的包括用于進(jìn)行無(wú)線通信以及用于捕捉圖像的能力的無(wú)線圖像捕捉設(shè)備。無(wú)線設(shè)備900可包括天線系統(tǒng)901。無(wú)線設(shè)備900也可以包括耦合到天線系統(tǒng)901的數(shù)字和/或模擬射頻(RF)收發(fā)器902，以通過(guò)天線系統(tǒng)901發(fā)射和/或接收語(yǔ)音、數(shù)字?jǐn)?shù)據(jù)和/或媒體信號(hào)。
無(wú)線設(shè)備900也可以包括數(shù)字處理系統(tǒng)903以控制數(shù)字RF收發(fā)器以及管理語(yǔ)音、數(shù)字?jǐn)?shù)據(jù)和/或媒體信號(hào)。數(shù)字處理系統(tǒng)903例如可以是諸如例如微處理器或控制器之類的通用處理系統(tǒng)。數(shù)字處理系統(tǒng)903也可以是諸如ASIC (專用集成電路)、FPGA (現(xiàn)場(chǎng)可編程門陣列)或DSP (數(shù)字信號(hào)處理器)之類的特殊用途處理系統(tǒng)。數(shù)字處理系統(tǒng)903也可以包括如在本領(lǐng)域內(nèi)已知的其他設(shè)備以與無(wú)線設(shè)備900的其他組件對(duì)接。例如，數(shù)字處理系統(tǒng)903可包括模擬-數(shù)字和數(shù)字-模擬轉(zhuǎn)換器以與無(wú)線設(shè)備900的其他組件對(duì)接。數(shù)字處理系統(tǒng)903可包括媒體處理系統(tǒng)909，該媒體處理系統(tǒng)909也可以包括通用或特殊用途處理系統(tǒng)以管理諸如音頻數(shù)據(jù)文件之類的媒體。無(wú)線設(shè)備900也可以包括耦合到數(shù)字處理系統(tǒng)的存儲(chǔ)設(shè)備904，以存儲(chǔ)無(wú)線設(shè)備900的數(shù)據(jù)和/或操作程序。存儲(chǔ)設(shè)備904可以是，例如，任何類型的固態(tài)或磁存儲(chǔ)器設(shè)備。存儲(chǔ)設(shè)備904可以是或包括機(jī)器可讀介質(zhì)。機(jī)器可讀介質(zhì)包括用于以機(jī)器(例如，計(jì)算機(jī))可讀的形式存儲(chǔ)或傳輸信息的任何機(jī)制。例如，機(jī)器使用機(jī)器可讀介質(zhì)，諸如機(jī)器存儲(chǔ)介質(zhì)(例如，磁盤；光盤；隨機(jī)存取存儲(chǔ)器；只讀存儲(chǔ)器；閃速存儲(chǔ)器設(shè)備；相位變化存儲(chǔ)器)，來(lái)存儲(chǔ)和傳遞(內(nèi)部，以及通過(guò)網(wǎng)絡(luò) 與其他設(shè)備)代碼和數(shù)據(jù)。無(wú)線設(shè)備900也可以包括耦合到數(shù)字處理系統(tǒng)903的一個(gè)或多個(gè)輸入設(shè)備905，以接受用戶輸入(例如，電話號(hào)碼、姓名、地址、媒體選擇等等)。輸入設(shè)備905可以是，例如小鍵盤、觸摸板、觸摸屏、與顯示設(shè)備相結(jié)合的指示設(shè)備中的一項(xiàng)或多項(xiàng)，或類似的輸入設(shè)備。
無(wú)線設(shè)備900也可以包括耦合到數(shù)字處理系統(tǒng)903的至少一個(gè)顯示設(shè)備906，以顯示諸如消息、電話呼叫信息、聯(lián)系人信息、相片、電影和/或標(biāo)題或通過(guò)輸入設(shè)備905選擇的媒體的其他指示符之類的信息。顯示設(shè)備906可以是，例如，LCD顯示設(shè)備。在一個(gè)實(shí)施例中，顯不設(shè)備906和輸入設(shè)備905可以被集成在同一個(gè)設(shè)備中(例如，與諸如LCD顯不設(shè)備之類的顯示設(shè)備集成的諸如多點(diǎn)觸摸輸入面板之類的觸摸屏LCD)。顯示設(shè)備906可包括背光906A以在某些情況下照明顯示設(shè)備906?？梢岳斫?，無(wú)線設(shè)備900可包括多個(gè)顯示器。無(wú)線設(shè)備900也可以包括電池907以給系統(tǒng)的下列組件提供工作電能，包括數(shù)字RF收發(fā)器902、數(shù)字處理系統(tǒng)903、存儲(chǔ)設(shè)備904、輸入設(shè)備905、麥克風(fēng)905A、音頻轉(zhuǎn)換器908、媒體處理系統(tǒng)909、一個(gè)或多個(gè)傳感器910，以及顯示設(shè)備906、圖像傳感器959 (例如，CXD (電荷耦合器件)、CMOS傳感器)。圖像傳感器可以與圖像處理單元960集成。顯示設(shè)備906可包括液晶顯示器(IXD)，該液晶顯示器可以被用來(lái)顯示由無(wú)線圖像捕捉設(shè)備900捕捉或記錄的圖像。IXD充當(dāng)照像機(jī)的取景器(例如，透鏡963、圖像傳感器959、以及單元960的組合)，在設(shè)備900上可以可任選地有其他類型的可以充當(dāng)取景器的圖像顯示設(shè)備。設(shè)備900還包括可以以光學(xué)方式耦合到圖像傳感器959的成像透鏡963。處理系統(tǒng)903控制設(shè)備900的操作；并且，它可以通過(guò)執(zhí)行存儲(chǔ)在ROM 957，或存儲(chǔ)在處理系統(tǒng)903，或存儲(chǔ)在ROM 957和處理系統(tǒng)903兩者中的軟件程序來(lái)達(dá)到這一目的。處理系統(tǒng)903控制圖像處理操作；并且，它控制捕捉到的圖像在存儲(chǔ)設(shè)備904中的存儲(chǔ)。處理系統(tǒng)903還控制圖像數(shù)據(jù)(可能或者也可能沒(méi)有經(jīng)過(guò)顏色校正)向外部通用計(jì)算機(jī)或特殊用途計(jì)算機(jī)的導(dǎo)出。處理系統(tǒng)903還對(duì)用戶命令(例如，通過(guò)捕捉圖像傳感器上的一個(gè)或多個(gè)圖像并將其存儲(chǔ)在存儲(chǔ)器中來(lái)“拍攝”相片或視頻的命令或選定用于對(duì)比度增強(qiáng)和色彩平衡調(diào)整的命令)作出響應(yīng)。ROM 957可以存儲(chǔ)軟件指令，這些軟件指令供處理系統(tǒng)903執(zhí)行以執(zhí)行本公開(kāi)中所討論的自動(dòng)圖像穩(wěn)定和卷簾式快門校正機(jī)制。存儲(chǔ)設(shè)備904被用來(lái)存儲(chǔ)從圖像傳感器959接收到的捕捉/記錄圖像?？梢岳斫?，照像機(jī)的其他備選體系結(jié)構(gòu)也可以與本發(fā)明的各實(shí)施例一起使用。電池907可以是，例如，可再充電的或非可再充電的鋰或鎳金屬氫化物電池。無(wú)線設(shè)備900也可以包括音頻轉(zhuǎn)換器908 (該音頻轉(zhuǎn)換器908可包括一個(gè)或多個(gè)揚(yáng)聲器)、以及至少一個(gè)麥克風(fēng)905A，以及加速度計(jì)946。設(shè)備900還包括運(yùn)動(dòng)或朝向檢測(cè)器940 (例如，加速度計(jì)、陀螺儀，或其任意組合)，用于確定設(shè)備900的運(yùn)動(dòng)數(shù)據(jù)或朝向。在一個(gè)實(shí)施例中，圖像捕捉設(shè)備900被設(shè)計(jì)成穩(wěn)定圖像和視頻。圖像捕捉設(shè)備900包括感測(cè)圖像的帶有相關(guān)聯(lián)的校準(zhǔn)數(shù)據(jù)的圖像傳感器959，存儲(chǔ)捕捉到的圖像的存儲(chǔ)設(shè)備904，檢測(cè)設(shè)備的運(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)估計(jì)設(shè)備940，以及耦合到存儲(chǔ)設(shè)備和運(yùn)動(dòng)估計(jì)設(shè)備的處理系統(tǒng)903。處理系統(tǒng)被配置成通過(guò)使用運(yùn)動(dòng)估計(jì)設(shè)備來(lái)確定圖像捕捉設(shè)備的運(yùn)動(dòng)數(shù)據(jù)，將 運(yùn)動(dòng)數(shù)據(jù)匹配到由圖像捕捉設(shè)備捕捉到的幀序列以確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)，以及基于每一幀的三維運(yùn)動(dòng)數(shù)據(jù)來(lái)估計(jì)圖像捕捉設(shè)備的估計(jì)運(yùn)動(dòng)路徑(例如，粗略運(yùn)動(dòng)路徑)，來(lái)執(zhí)行自動(dòng)圖像穩(wěn)定機(jī)制。確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)包括確定每一幀的三維旋轉(zhuǎn)速度矢量。處理系統(tǒng)進(jìn)一步被配置成基于系統(tǒng)的估計(jì)運(yùn)動(dòng)路徑來(lái)構(gòu)建系統(tǒng)的目標(biāo)運(yùn)動(dòng)路徑(例如，平滑運(yùn)動(dòng)路徑)。構(gòu)建目標(biāo)運(yùn)動(dòng)路徑可包括對(duì)估計(jì)運(yùn)動(dòng)路徑進(jìn)行過(guò)濾。處理系統(tǒng)進(jìn)一步被配置成計(jì)算從估計(jì)的運(yùn)動(dòng)路徑到目標(biāo)運(yùn)動(dòng)路徑的所希望的運(yùn)動(dòng)校正。處理系統(tǒng)進(jìn)一步被配置成基于校準(zhǔn)數(shù)據(jù)和所希望的運(yùn)動(dòng)校正(該所希望的運(yùn)動(dòng)校正可以基于系統(tǒng)的目標(biāo)運(yùn)動(dòng)路徑和估計(jì)運(yùn)動(dòng)路徑之間的差來(lái)確定)來(lái)校正圖像平面的圖像坐標(biāo)，從原始圖像坐標(biāo)到已校正的圖像坐標(biāo)為每一幀應(yīng)用重新采樣，以生成穩(wěn)定的幀，以及在必要時(shí)，自適應(yīng)地裁剪和填充穩(wěn)定的幀的未知區(qū)域?；谛?zhǔn)數(shù)據(jù)和估計(jì)運(yùn)動(dòng)路徑和目標(biāo)運(yùn)動(dòng)路徑之間的差來(lái)校正圖像平面的圖像坐標(biāo)包括使用校準(zhǔn)數(shù)據(jù)以將表示二維像素的圖像坐標(biāo)映射到表示光線的坐標(biāo)空間的規(guī)范化圖像坐標(biāo)，根據(jù)估計(jì)運(yùn)動(dòng)路徑和目標(biāo)運(yùn)動(dòng)路徑之間的差來(lái)將所希望的旋轉(zhuǎn)應(yīng)用到全部光線，以及使用校準(zhǔn)數(shù)據(jù)來(lái)將這些旋轉(zhuǎn)的光線映射回到圖像平面。將運(yùn)動(dòng)數(shù)據(jù)匹配到由圖像捕捉設(shè)備捕捉到的幀序列以確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)可包括將運(yùn)動(dòng)估計(jì)設(shè)備的時(shí)間戳轉(zhuǎn)換為幀的視頻時(shí)間，以及集成從運(yùn)動(dòng)估計(jì)設(shè)備接收到的旋轉(zhuǎn)速度數(shù)據(jù)，以估計(jì)幀之間的旋轉(zhuǎn)。在另一實(shí)施例中，圖像捕捉系統(tǒng)(例如，圖像捕捉設(shè)備900)被設(shè)計(jì)成校正卷簾式快門效應(yīng)(例如，扭曲)，并補(bǔ)償圖像捕捉系統(tǒng)的振動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)。圖像捕捉系統(tǒng)包括感測(cè)圖像的圖像傳感器959，耦合到圖像傳感器的存儲(chǔ)設(shè)備904。存儲(chǔ)設(shè)備存儲(chǔ)捕捉到的圖像。運(yùn)動(dòng)估計(jì)設(shè)備940 (例如，陀螺儀、加速度計(jì))檢測(cè)運(yùn)動(dòng)數(shù)據(jù)。處理系統(tǒng)903耦合到存儲(chǔ)設(shè)備和運(yùn)動(dòng)估計(jì)設(shè)備。處理系統(tǒng)被配置成執(zhí)行自動(dòng)圖像傳感器校正機(jī)制，以基于圖像傳感器的圖像平面中的像素位置以及所述像素位置在三維空間中的相對(duì)應(yīng)的光線之間的關(guān)系，使用校準(zhǔn)數(shù)據(jù)，來(lái)基于校準(zhǔn)數(shù)據(jù)確定像素速度分量，以及基于像素速度分量的總和，為每一圖像估計(jì)總的像素速度。像素速度分量(例如，Vx、Vy，以及Vz)包括預(yù)先計(jì)算出的預(yù)測(cè)速度分量，這些分量是在感測(cè)圖像之前計(jì)算出的。確定像素速度分量可包括從校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖?；谙袼厮俣确至康目偤蛠?lái)為每一圖像估計(jì)總的像素速度包括將對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值(例如ωχ，(Oy，以及ωζ)的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和相加。處理系統(tǒng)進(jìn)一步被配置成對(duì)每一圖像進(jìn)行重新采樣，以生成新圖像，以執(zhí)行卷簾式快門校正機(jī)制。對(duì)每一圖像進(jìn)行重新采樣以生成新圖像是基于當(dāng)前圖像和總的像素速度來(lái)進(jìn)行的。新圖像補(bǔ)償了圖像捕捉系統(tǒng)的卷簾式快門效應(yīng)、振動(dòng)，以及旋轉(zhuǎn)運(yùn)動(dòng)。圖10是系統(tǒng)1000的本發(fā)明的一個(gè)實(shí)施例的框圖，該系統(tǒng)1000 —般包括一種或多種計(jì)算機(jī)可讀介質(zhì)1001、處理系統(tǒng)1004、輸入/輸出(I/O)子系統(tǒng)1006、射頻(RF)電路1008、音頻電路1010，以及圖像傳感器1059 (例如，CXD (電荷耦合器件)、CMOS傳感器)。圖像傳感器可以與圖像處理單元1060集成。圖像傳感器1059在光學(xué)上耦合以接收來(lái)自透鏡1063的光，光可以用于利用圖像傳感器來(lái)捕捉圖像。運(yùn)動(dòng)估計(jì)設(shè)備1040確定系統(tǒng)1000的三維空間中的運(yùn)動(dòng)數(shù)據(jù)。這些組件可以通過(guò)一種或多種通信總線或信號(hào)線1003來(lái)耦合。顯而易見(jiàn)，如圖10所示的體系結(jié)構(gòu)只是系統(tǒng)1000的一個(gè)示例體系結(jié)構(gòu)，系統(tǒng)1000可以具有比所示出的多一些或少一些組件，或者具有組件的不同的配置。如圖10所示的各種組件可以以硬件、軟件、固件或其任意組合來(lái)實(shí)現(xiàn)，包括一種或多種信號(hào)處理和/或?qū)Ｓ眉呻娐?。RF電路1008被用來(lái)通過(guò)無(wú)線鏈路或網(wǎng)絡(luò)向一個(gè)或多個(gè)其他設(shè)備發(fā)送和從它們接收信息，并包括已知的用于執(zhí)行此功能的電路。RF電路1008和音頻電路1010通過(guò)外圍設(shè)備接口 1016耦合到處理系統(tǒng)1004。接口 1016包括用于在外圍設(shè)備和處理系統(tǒng)1004之間確立和維持通信的各種已知組件。音頻電路1010耦合到音頻揚(yáng)聲器1050和麥克風(fēng)1052，并包括用于處理從接口 1016接收到的語(yǔ)音信號(hào)以使用戶能夠?qū)崟r(shí)地與其他用戶進(jìn)行通信的已知電路。在某些實(shí)施例中，音頻電路1010包括耳機(jī)插孔(未示出)。外圍設(shè)備接口 1016將系統(tǒng)的輸入和輸出外圍設(shè)備耦合到一個(gè)或多個(gè)處理單元1018和計(jì)算機(jī)可讀介質(zhì)1001。一個(gè)或多個(gè)處理單元1018通過(guò)控制器1520與一種或多種計(jì)算機(jī)可讀介質(zhì)1001進(jìn)行通信。計(jì)算機(jī)可讀介質(zhì)1001可以是可以存儲(chǔ)供一個(gè)或多個(gè)處理單元1018使用的代碼和/或數(shù)據(jù)的任何設(shè)備或介質(zhì)(例如，存儲(chǔ)設(shè)備、存儲(chǔ)介質(zhì))。介質(zhì)1001可包括存儲(chǔ)器層次結(jié)構(gòu)，包括但不僅限于高速緩存、主存儲(chǔ)器和輔助存儲(chǔ)器。存儲(chǔ)器層次結(jié)構(gòu)可以使用RAM (例如，SRAM、DRAM、DDRAM), ROM、FLASH,磁和/或光存儲(chǔ)設(shè)備，如磁盤驅(qū)動(dòng)器、磁帶、CD和DVD的任意組合來(lái)實(shí)現(xiàn)。介質(zhì)1001也可以包括用于攜帶表示計(jì)算機(jī)指令或數(shù)據(jù)(有或者沒(méi)有在其上調(diào)制信號(hào)的載波)的信息承載信號(hào)的傳輸介質(zhì)。例如，傳輸介質(zhì)可包括通信網(wǎng)絡(luò)，包括，但不僅限于因特網(wǎng)(也被稱為萬(wàn)維網(wǎng))、內(nèi)聯(lián)網(wǎng)、局域網(wǎng)(LAN)、廣域局域網(wǎng)(WLAN)、存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)、城域網(wǎng)(MAN)等等。一個(gè)或多個(gè)處理單元1018運(yùn)行存儲(chǔ)在介質(zhì)1001中的各種軟件組件，以執(zhí)行系統(tǒng)1000的各種功能。在某些實(shí)施例中，軟件組件包括操作系統(tǒng)1022、通信模塊(或指令集)1024、觸摸處理模塊(或指令集)1026、圖形模塊(或指令集)1028、一個(gè)或多個(gè)應(yīng)用程序(或指令集)1030，以及模塊[或指令集]1038和1039。圖像穩(wěn)定模塊1038以及卷簾式快門校正模塊1039各自都對(duì)應(yīng)于用于執(zhí)行上文所描述的一個(gè)或多個(gè)功能以及在本申請(qǐng)中所描述的方法(例如，此處所描述的計(jì)算機(jī)實(shí)現(xiàn)的方法及其他信息處理方法)的一組指令。這些模塊(即，指令集)不必作為單獨(dú)的軟件程序、過(guò)程或模塊來(lái)實(shí)現(xiàn)，因此，在各實(shí)施例中，可以組合或以別的方式重新排列這些模塊的各種子集。在某些實(shí)施例中，介質(zhì)1001可以存儲(chǔ)上文所標(biāo)識(shí)的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此夕卜，介質(zhì)1001還可以存儲(chǔ)上文沒(méi)有描述的額外的模塊和數(shù)據(jù)結(jié)構(gòu)。操作系統(tǒng)1022包括各種過(guò)程、指令集、軟件組件和/或用于控制和管理一般系統(tǒng)任務(wù)(例如，存儲(chǔ)器管理、存儲(chǔ)設(shè)備控制、電源管理等等)的驅(qū)動(dòng)程序并促進(jìn)各種硬件和軟件組件之間的通信。通信模塊1024通過(guò)一個(gè)或多個(gè)外部端口 1036或通過(guò)RF電路1008促進(jìn)與其他設(shè)備的通信，并包括用于處理從RF電路1008和/或外部端口 1036接收到的數(shù)據(jù)的各種軟件組件。圖形模塊1028包括用于在顯示器表面上呈現(xiàn)、動(dòng)畫化和顯示圖形對(duì)象的各種已知軟件組件。在其中觸摸I/o設(shè)備1012是觸敏顯示器(例如，觸摸屏)的各實(shí)施例中，圖形 模塊1028包括用于在觸敏顯示器上呈現(xiàn)、顯示，以及動(dòng)畫化對(duì)象的組件。一個(gè)或多個(gè)應(yīng)用程序1030可包括安裝在系統(tǒng)1000上的任何應(yīng)用程序,包括但不僅限于瀏覽器、地址簿、聯(lián)系人列表、電子郵件、即時(shí)消息、文字處理、鍵盤仿真、小部件、啟用JAVA的應(yīng)用程序、加密、數(shù)字權(quán)限管理、語(yǔ)音識(shí)別、語(yǔ)音復(fù)制、位置確定能力(諸如由全球定位系統(tǒng)(GPS)所提供的)，音樂(lè)播放器等等。觸摸處理模塊1026包括用于執(zhí)行與觸摸I/O設(shè)備1012相關(guān)聯(lián)的各種任務(wù)(包括但不僅限于通過(guò)觸摸I/o設(shè)備控制器1032接收和處理從I/O設(shè)備1012接收到的觸摸輸入)的各種軟件組件。系統(tǒng)1000可包括用于執(zhí)行此處參考圖1-10所描述的方法/功能的圖像穩(wěn)定模塊1038、卷簾式快門校正模塊1039，以及圖像捕捉單元1060。圖像捕捉單元1060與系統(tǒng)1000集成，并可以耦合到如圖10所示的外圍接口 1016，或與I/O設(shè)備1012或1014中的一個(gè)集成。在一個(gè)實(shí)施例中，計(jì)算機(jī)可讀介質(zhì)1001包含可執(zhí)行的計(jì)算機(jī)程序指令(例如，模塊1038)，當(dāng)由數(shù)據(jù)處理系統(tǒng)1000執(zhí)行這些指令時(shí)，導(dǎo)致所述系統(tǒng)執(zhí)行方法。該方法使用系統(tǒng)的照像機(jī)的校準(zhǔn)數(shù)據(jù)來(lái)將照像機(jī)的圖像傳感器的圖像平面的圖像坐標(biāo)映射到三維坐標(biāo)空間的規(guī)范化圖像坐標(biāo)。該方法使用運(yùn)動(dòng)估計(jì)設(shè)備1040 (例如，陀螺儀、加速度計(jì))來(lái)確定系統(tǒng)的運(yùn)動(dòng)數(shù)據(jù)。使用校準(zhǔn)數(shù)據(jù)可包括將表示二維像素的圖像坐標(biāo)映射到表示光線的三維坐標(biāo)空間的規(guī)范化圖像坐標(biāo)。確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)可包括確定每一幀的三維的旋轉(zhuǎn)速度矢量。該方法還將運(yùn)動(dòng)數(shù)據(jù)匹配到由系統(tǒng)所捕捉到的幀序列，以確定每一幀的三維運(yùn)動(dòng)數(shù)據(jù)，基于每一幀的三維運(yùn)動(dòng)數(shù)據(jù)來(lái)估計(jì)系統(tǒng)的運(yùn)動(dòng)路徑(例如，粗略運(yùn)動(dòng)路徑)，基于每一幀的運(yùn)動(dòng)數(shù)據(jù)來(lái)構(gòu)建系統(tǒng)的目標(biāo)運(yùn)動(dòng)路徑(例如，平滑運(yùn)動(dòng)路徑)，并計(jì)算從在運(yùn)動(dòng)數(shù)據(jù)中觀察到的估計(jì)運(yùn)動(dòng)路徑到目標(biāo)運(yùn)動(dòng)路徑的所希望的運(yùn)動(dòng)校正。該方法基于所希望的運(yùn)動(dòng)校正來(lái)校正圖像平面的圖像坐標(biāo)，并基于已校正的圖像坐標(biāo)來(lái)生成穩(wěn)定的幀。將運(yùn)動(dòng)數(shù)據(jù)匹配到幀序列可包括將運(yùn)動(dòng)估計(jì)設(shè)備的時(shí)間戳轉(zhuǎn)換為幀的視頻時(shí)間。構(gòu)建目標(biāo)運(yùn)動(dòng)路徑可包括在每一維度將低通或預(yù)測(cè)濾波器應(yīng)用到用來(lái)構(gòu)建估計(jì)的運(yùn)動(dòng)路徑的三維運(yùn)動(dòng)數(shù)據(jù)(可能會(huì)導(dǎo)致延遲)，以及基于估計(jì)運(yùn)動(dòng)路徑來(lái)估計(jì)所需的校正。該方法還基于所希望的運(yùn)動(dòng)校正來(lái)人工地旋轉(zhuǎn)用戶的查看方向，應(yīng)用雙線性內(nèi)插法，以基于已校正的圖像坐標(biāo)來(lái)生成穩(wěn)定的幀，以及如果存在穩(wěn)定的幀的未知的區(qū)域(例如，暗的像素)，則自適應(yīng)地裁剪并填充未知的區(qū)域。在另一實(shí)施例中，計(jì)算機(jī)可讀介質(zhì)包含可執(zhí)行的計(jì)算機(jī)程序指令(例如，模塊1039)，當(dāng)由數(shù)據(jù)處理系統(tǒng)1000執(zhí)行這些指令時(shí)導(dǎo)致所述系統(tǒng)執(zhí)行方法。該方法通過(guò)將圖像傳感器的圖像平面中的二維像素位置轉(zhuǎn)換為三維方向矢量來(lái)使用具有圖像傳感器1061和運(yùn)動(dòng)估計(jì)設(shè)備1040 (例如陀螺儀、加速度計(jì))的系統(tǒng)的校準(zhǔn)數(shù)據(jù)。該方法基于校準(zhǔn)數(shù)據(jù)來(lái)確定像素速度分量，利用系統(tǒng)來(lái)捕捉圖像的序列，在圖像捕捉過(guò)程中利用運(yùn)動(dòng)估計(jì)設(shè)備來(lái)確定運(yùn)動(dòng)數(shù)據(jù)，并基于三維的像素速度分量和相對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)的總和來(lái)為每一圖像估計(jì)總的像素速度。估計(jì)可包括對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加。像素速度分量可包括預(yù)先計(jì)算出的速度分量，這些分量是在捕捉圖像的序列之前計(jì)算出的。確定像素速度分量可包括從校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖。該方法還包括對(duì)每一圖像進(jìn)行重新采樣，以生成新圖像。 對(duì)每一圖像進(jìn)行重新采樣可以利用二進(jìn)制內(nèi)插法來(lái)進(jìn)行，以生成基于當(dāng)前圖像和總的像素速度的新圖像。可以使用硬件、軟件、固件或其任何組合來(lái)具體化模塊1038和1039。雖然模塊1038和1039被示為駐留在介質(zhì)1001內(nèi)，但是，模塊1038和1039的全部或某些部分可以在系統(tǒng)1000內(nèi)的其他組件內(nèi)具體化，或者也可以完全作為系統(tǒng)1000內(nèi)的單獨(dú)的組件來(lái)具體化。I/O子系統(tǒng)1006耦合到觸摸I/O設(shè)備1012和用于控制或執(zhí)行各種功能的一個(gè)或多個(gè)其他I/o設(shè)備1014。觸摸I/O設(shè)備1012通過(guò)觸摸I/O設(shè)備控制器1032來(lái)與處理系統(tǒng)1004進(jìn)行通信，觸摸I/O設(shè)備控制器1032包括用于處理用戶觸摸輸入的各種組件(例如，掃描硬件)。一個(gè)或多個(gè)其他輸入控制器1034從其他I/O設(shè)備1014接收電信號(hào)/向它們發(fā)送電信號(hào)。其他I/O設(shè)備1014可包括物理按鈕、撥號(hào)盤、滑塊開(kāi)關(guān)、手柄、鍵盤、觸摸板、額外的顯示屏幕，或其任意組合。如果作為觸摸屏來(lái)具體化，則觸摸I/O設(shè)備1012以⑶I向用戶顯示可視輸出?？梢曒敵隹砂ㄎ谋尽D形、視頻，以及其任意組合?？梢曒敵龅哪承┗蛉靠梢詫?duì)應(yīng)于用戶接口對(duì)象。觸摸I/o設(shè)備1012構(gòu)成接受來(lái)自用戶的觸摸輸入的觸敏表面。觸摸I/O設(shè)備1012和觸摸屏控制器1032(與介質(zhì)1001中的任何相關(guān)聯(lián)的模塊和/或指令集一起)檢測(cè)和跟蹤觸摸I/O設(shè)備1012上的觸摸或接近觸摸(以及觸摸的任何移動(dòng)或釋放)，并將檢測(cè)到的觸摸輸入轉(zhuǎn)換為與諸如一個(gè)或多個(gè)用戶接口對(duì)象之類的圖形對(duì)象的交互。在其中設(shè)備1012作為觸摸屏具體化的情況下，用戶可以直接與顯示在觸摸屏上的圖形對(duì)象進(jìn)行交互。可另選地，在其中設(shè)備1012作為除觸摸屏以外的觸摸設(shè)備(例如，觸摸板)具體化的情況下，用戶可以間接地與顯示在作為I/O設(shè)備1014具體化的單獨(dú)的顯示屏幕上的圖形對(duì)象進(jìn)行交互。在其中觸摸I/O設(shè)備1012是觸摸屏的實(shí)施例中，觸摸屏可以使用IXD (液晶顯示器)技術(shù)、LPD (發(fā)光聚合物顯示器)技術(shù)、OLED (有機(jī)LED)或OEL (有機(jī)電致發(fā)光)，雖然在其他實(shí)施例中也可以使用其他顯示技術(shù)?？梢杂捎|摸I/O設(shè)備1012基于用戶的觸摸輸入以及正在顯示什么狀態(tài)和/或計(jì)算系統(tǒng)的狀態(tài)來(lái)提供反饋。反饋可以以光學(xué)方式傳輸(例如，光信號(hào)或顯示的圖像)，以機(jī)械方式傳輸(觸覺(jué)反饋、接觸反饋、力反饋等等)，以電的方式傳輸(例如，電刺激)，通過(guò)嗅覺(jué)，聽(tīng)覺(jué)(例如，蜂鳴聲等等)，等等或其任何組合并以可變的或非可變的方式來(lái)傳輸。系統(tǒng)1000還包括用于為各種硬件組件供電的電源系統(tǒng)1044，并可包括電源管理系統(tǒng)、一個(gè)或多個(gè)電源、再充電系統(tǒng)、電源故障檢測(cè)電路、電源轉(zhuǎn)換器或倒相器、電源狀態(tài)指示燈，以及通常與便攜式設(shè)備中的電能的產(chǎn)生、管理和分配相關(guān)聯(lián)的任何其他組件。在某些實(shí)施例中，外圍設(shè)備接口 1016、一個(gè)或多個(gè)處理單元1018，以及存儲(chǔ)器控制器1020可以在諸如處理系統(tǒng)1004之類的單一芯片上實(shí)現(xiàn)。在某些其他實(shí)施例中，它們可以在單獨(dú)的芯片上實(shí)現(xiàn)。本發(fā)明可以涉及用于執(zhí)行此處所描述的操作中的一項(xiàng)或多項(xiàng)的設(shè)備?？梢詾樗璧挠猛緦ｉT地設(shè)計(jì)此設(shè)備，也可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序有選擇地激活和/或重新配置的通用計(jì)算機(jī)。這樣的計(jì)算機(jī)程序可以存儲(chǔ)在機(jī)器(例如，計(jì)算機(jī))可讀的存儲(chǔ)介質(zhì)中，諸如，但不僅限于，任何類型的磁(光)盤，包括軟盤、光盤、CD-ROM,以及磁性光盤、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、可擦除可編程ROM(EPROM)、電可擦除可編程只讀存儲(chǔ)器(EEPR0M)、閃速存儲(chǔ)器、磁卡或光卡，或適于存儲(chǔ)電子指令的任何類 型的介質(zhì)，它們都各自耦合到總線。機(jī)器可讀的介質(zhì)包括用于以機(jī)器(例如，計(jì)算機(jī))可讀的形式存儲(chǔ)或傳輸信息的任何機(jī)制。例如，機(jī)器使用機(jī)器可讀的介質(zhì)，諸如機(jī)器存儲(chǔ)介質(zhì)(例如，磁盤；光盤；隨機(jī)存取存儲(chǔ)器；只讀存儲(chǔ)器；閃速存儲(chǔ)器設(shè)備；相位變化存儲(chǔ)器)，來(lái)存儲(chǔ)和傳遞(內(nèi)部，以及通過(guò)網(wǎng)絡(luò)與其他設(shè)備)代碼和數(shù)據(jù)。根據(jù)本發(fā)明，提供了一種計(jì)算機(jī)實(shí)現(xiàn)的用于對(duì)利用圖像捕捉設(shè)備捕捉到的圖像執(zhí)行卷簾式快門校正的設(shè)備。所述設(shè)備包括用于使用圖像捕捉設(shè)備的照像機(jī)的校準(zhǔn)數(shù)據(jù)來(lái)將所述照像機(jī)的圖像傳感器的圖像平面中的圖像坐標(biāo)轉(zhuǎn)換為方向矢量的裝置；用于基于所述校準(zhǔn)數(shù)據(jù)，確定預(yù)先計(jì)算出的像素速度分量的裝置；用于利用所述圖像捕捉設(shè)備捕捉圖像的序列的裝置；以及用于基于所述預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)總的像素速度的裝置。其中，所述預(yù)先計(jì)算出的像素速度分量是在捕捉所述圖像的序列之前預(yù)先計(jì)算出的。其中，用于確定所述預(yù)先計(jì)算出的像素速度分量的裝置包括用于從所述校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖的裝置。其中，用于基于所述預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)所述總的像素速度的裝置包括用于對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加的裝置。所述設(shè)備還包括用于對(duì)每一圖像進(jìn)行重新采樣以生成新圖像來(lái)執(zhí)行卷簾式快門校正的裝置。所述設(shè)備還包括用于利用運(yùn)動(dòng)估計(jì)設(shè)備來(lái)確定三維的運(yùn)動(dòng)數(shù)據(jù)的裝置；以及用于基于所述運(yùn)動(dòng)數(shù)據(jù)，來(lái)確定所述旋轉(zhuǎn)速度值的裝置，以及其中，所述運(yùn)動(dòng)估計(jì)設(shè)備還包括陀螺儀、加速度計(jì)，或其任意組合。在前面的說(shuō)明中，參考特定的示例性實(shí)施例描述了本發(fā)明。顯而易見(jiàn)的是，在不偏離如下面的權(quán)利要求所闡述的本發(fā)明的更廣泛的精神和范圍的情況下，可以作出各種修改。相應(yīng)地，說(shuō)明書和附圖應(yīng)被視為說(shuō)明性的，而不是限制性的。
權(quán)利要求
1.一種計(jì)算機(jī)實(shí)現(xiàn)的用于對(duì)利用圖像捕捉設(shè)備捕捉到的圖像執(zhí)行卷簾式快門校正的方法，包括 使用圖像捕捉設(shè)備的照像機(jī)的校準(zhǔn)數(shù)據(jù)來(lái)將所述照像機(jī)的圖像傳感器的圖像平面中的圖像坐標(biāo)轉(zhuǎn)換為方向矢量； 基于所述校準(zhǔn)數(shù)據(jù)，確定預(yù)先計(jì)算出的像素速度分量； 利用所述圖像捕捉設(shè)備捕捉圖像的序列；以及 基于所述預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)總的像素速度。
2.如權(quán)利要求I所述的方法，其中，所述預(yù)先計(jì)算出的像素速度分量是在捕捉所述圖像的序列之前預(yù)先計(jì)算出的。
3.如權(quán)利要求I所述的方法，其中，確定所述預(yù)先計(jì)算出的像素速度分量包括 從所述校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖。
4.如權(quán)利要求3所述的方法，其中，基于所述預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)所述總的像素速度包括對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和相加。
5.如權(quán)利要求4所述的方法，還包括 對(duì)每一圖像進(jìn)行重新采樣以生成新圖像來(lái)執(zhí)行卷簾式快門校正。
6.如權(quán)利要求4所述的方法，還包括 利用運(yùn)動(dòng)估計(jì)設(shè)備來(lái)確定三維的運(yùn)動(dòng)數(shù)據(jù)；以及 基于所述運(yùn)動(dòng)數(shù)據(jù)，來(lái)確定所述旋轉(zhuǎn)速度值，以及其中，所述運(yùn)動(dòng)估計(jì)設(shè)備還包括陀螺儀、加速度計(jì)，或其任意組合。
7.一種數(shù)據(jù)處理系統(tǒng)，包括 用于使用校準(zhǔn)數(shù)據(jù)來(lái)將圖像傳感器的圖像平面中的二維像素坐標(biāo)轉(zhuǎn)換為方向矢量的裝置； 用于基于校準(zhǔn)數(shù)據(jù)來(lái)確定像素速度分量的裝置； 用于獲取捕捉到的圖像的序列的裝置； 用于獲取利用運(yùn)動(dòng)估計(jì)設(shè)備所確定的捕捉到的圖像的運(yùn)動(dòng)數(shù)據(jù)的裝置；以及用于基于所述像素速度分量以及相對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù)來(lái)為每一圖像估計(jì)總的像素速度的裝置。
8.如權(quán)利要求7所述的系統(tǒng)，其中，所述像素速度分量包括預(yù)先計(jì)算出的速度分量，所述預(yù)先計(jì)算出的速度分量是在捕捉所述圖像的序列之前計(jì)算出的。
9.如權(quán)利要求7所述的系統(tǒng)，其中，用于確定所述像素速度分量的裝置包括 用于從所述校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖的裝置。
10.如權(quán)利要求7所述的系統(tǒng)，其中，用于基于預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)所述總的像素速度的裝置包括用于對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加的裝置。
11.如權(quán)利要求10所述的系統(tǒng)，還包括 用于對(duì)每一圖像進(jìn)行重新采樣以生成新圖像來(lái)執(zhí)行卷簾式快門校正的裝置。
12.如權(quán)利要求11所述的系統(tǒng)，其中，用于對(duì)每一圖像進(jìn)行重新采樣的裝置使用二進(jìn)制內(nèi)插法以生成新圖像，是基于當(dāng)前圖像和所述總的像素速度進(jìn)行的。
13.如權(quán)利要求7所述的系統(tǒng)，其中，所述運(yùn)動(dòng)估計(jì)設(shè)備還包括陀螺儀、加速度計(jì)，或其任意組合。
14.一種圖像捕捉系統(tǒng),包括 用于感測(cè)圖像的卷簾式快門圖像傳感器； 耦合到所述圖像傳感器的存儲(chǔ)設(shè)備，所述存儲(chǔ)設(shè)備存儲(chǔ)捕捉到的圖像； 檢測(cè)運(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)估計(jì)設(shè)備；以及 耦合到所述存儲(chǔ)設(shè)備和所述運(yùn)動(dòng)估計(jì)設(shè)備的處理系統(tǒng)，所述處理系統(tǒng)被配置成執(zhí)行自動(dòng)卷簾式快門校正機(jī)制，所述自動(dòng)卷簾式快門校正機(jī)制基于所述圖像傳感器的圖像平面中的像素位置以及所述像素位置在坐標(biāo)空間中的相對(duì)應(yīng)的光線之間的關(guān)系，使用校準(zhǔn)數(shù)據(jù)來(lái)基于所述校準(zhǔn)數(shù)據(jù)確定像素速度分量；以及基于所述像素速度分量的總和，為每一圖像估計(jì)總的像素速度。
15.如權(quán)利要求14所述的系統(tǒng)，其中，所述像素速度分量包括預(yù)先計(jì)算出的速度分量，所述預(yù)先計(jì)算出的速度分量是在感測(cè)圖像之前計(jì)算出的。
16.如權(quán)利要求14所述的系統(tǒng)，其中，確定所述像素速度分量包括 從所述校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖。
17.如權(quán)利要求16所述的系統(tǒng)，其中，基于所述像素速度分量的總和來(lái)為每一圖像估計(jì)所述總的像素速度包括對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加，以及其中，所述處理系統(tǒng)被配置成基于所述運(yùn)動(dòng)數(shù)據(jù)來(lái)確定每一維度的所述旋轉(zhuǎn)速度值。
18.如權(quán)利要求17所述的系統(tǒng)，還包括 對(duì)每一圖像進(jìn)行重新采樣，以生成新圖像。
19.如權(quán)利要求18所述的系統(tǒng)，其中，對(duì)每一圖像進(jìn)行重新采樣以生成新圖像是基于當(dāng)前圖像和所述總的像素速度進(jìn)行的。
20.如權(quán)利要求14所述的系統(tǒng)，其中，所述運(yùn)動(dòng)估計(jì)設(shè)備還包括陀螺儀、加速度計(jì)，或其任意組合。
21.一種計(jì)算機(jī)實(shí)現(xiàn)的用于對(duì)利用圖像捕捉設(shè)備捕捉到的圖像執(zhí)行卷簾式快門校正的設(shè)備，包括 用于使用圖像捕捉設(shè)備的照像機(jī)的校準(zhǔn)數(shù)據(jù)來(lái)將所述照像機(jī)的圖像傳感器的圖像平面中的圖像坐標(biāo)轉(zhuǎn)換為方向矢量的裝置； 用于基于所述校準(zhǔn)數(shù)據(jù)，確定預(yù)先計(jì)算出的像素速度分量的裝置； 用于利用所述圖像捕捉設(shè)備捕捉圖像的序列的裝置；以及 用于基于所述預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)總的像素速度的裝直。
22.如權(quán)利要求21所述的設(shè)備，其中，所述預(yù)先計(jì)算出的像素速度分量是在捕捉所述圖像的序列之前預(yù)先計(jì)算出的。
23.如權(quán)利要求21所述的設(shè)備，其中，用于確定所述預(yù)先計(jì)算出的像素速度分量的裝置包括 用于從所述校準(zhǔn)數(shù)據(jù)構(gòu)建像素速度圖的裝置。
24.如權(quán)利要求23所述的設(shè)備，其中，用于基于所述預(yù)先計(jì)算出的像素速度分量的總和來(lái)為每一圖像估計(jì)所述總的像素速度的裝置包括用于對(duì)利用對(duì)應(yīng)于每一維度的旋轉(zhuǎn)速度值的權(quán)重的每一預(yù)先計(jì)算出的像素速度的加權(quán)總和進(jìn)行相加的裝置。
25.如權(quán)利要求24所述的設(shè)備，還包括 用于對(duì)每一圖像進(jìn)行重新采樣以生成新圖像來(lái)執(zhí)行卷簾式快門校正的裝置。
26.如權(quán)利要求24所述的設(shè)備，還包括 用于利用運(yùn)動(dòng)估計(jì)設(shè)備來(lái)確定三維的運(yùn)動(dòng)數(shù)據(jù)的裝置；以及 用于基于所述運(yùn)動(dòng)數(shù)據(jù)，來(lái)確定所述旋轉(zhuǎn)速度值的裝置，以及其中，所述運(yùn)動(dòng)估計(jì)設(shè)備還包括陀螺儀、加速度計(jì)，或其任意組合。
全文摘要
本發(fā)明涉及使用圖像穩(wěn)定來(lái)校正卷簾式快門。描述了用于校正卷簾式快門偽像的多種方法、設(shè)備以及系統(tǒng)。在一個(gè)實(shí)施例中，圖像捕捉系統(tǒng)包括卷簾式快門圖像傳感器，該卷簾式快門圖像傳感器可能會(huì)產(chǎn)生卷簾式快門偽像(例如，扭曲)。該系統(tǒng)包括處理系統(tǒng)，該處理系統(tǒng)被配置成執(zhí)行自動(dòng)卷簾式快門校正機(jī)制，該機(jī)制基于圖像傳感器的圖像平面中的像素位置以及像素位置在坐標(biāo)空間中的相對(duì)應(yīng)的光線之間的關(guān)系來(lái)使用校準(zhǔn)數(shù)據(jù)。卷簾式快門機(jī)制基于校準(zhǔn)數(shù)據(jù)來(lái)確定像素速度分量，并基于像素速度分量的總和來(lái)為每一圖像估計(jì)總的像素速度。
文檔編號(hào)H04N5/243GK102821252SQ20121018398
公開(kāi)日2012年12月12日 申請(qǐng)日期2012年6月6日 優(yōu)先權(quán)日2011年6月6日
發(fā)明者W·E·曼佐, K·I·格林鮑姆, G·K·馬林斯 申請(qǐng)人:蘋果公司