圖像穩(wěn)定設(shè)備及方法
【專利摘要】提供了一種圖像穩(wěn)定設(shè)備及方法。所述圖像穩(wěn)定設(shè)備通過(guò)使用圖像傳感器和運(yùn)動(dòng)傳感器二者執(zhí)行圖像穩(wěn)定。圖像失真和圖像運(yùn)動(dòng)通過(guò)使用由圖像傳感器和圖像處理提取的特征點(diǎn)的位置和由運(yùn)動(dòng)傳感器預(yù)測(cè)的特征點(diǎn)的移動(dòng)位置二者被穩(wěn)定地校正。
【專利說(shuō)明】圖像穩(wěn)定設(shè)備及方法
[0001 ] 本申請(qǐng)要求于2015年3月23日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2015-0040206號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，所述韓國(guó)專利申請(qǐng)的公開(kāi)通過(guò)引用完整地包含于此。
技術(shù)領(lǐng)域
[0002]與示例性實(shí)施例相一致的設(shè)備和方法涉及通過(guò)使用傳感器融合方案穩(wěn)定由一個(gè)或更多個(gè)相機(jī)捕捉的圖像。
【背景技術(shù)】
[0003]通常，校正由于各種原因而發(fā)生的圖像抖動(dòng)的圖像穩(wěn)定方案使用一種在兩個(gè)圖像中匹配或追蹤對(duì)應(yīng)點(diǎn)的方法。
[0004]然而，這種圖像穩(wěn)定方案非常易受外部沖擊、圖像質(zhì)量退化等的影響。此外，當(dāng)捕捉的圖像中存在運(yùn)動(dòng)對(duì)象時(shí)，針對(duì)該運(yùn)動(dòng)對(duì)象的圖像校正可能不會(huì)被適當(dāng)?shù)貓?zhí)行。
[0005]特別地，在基于圖像處理校正運(yùn)動(dòng)的方法的情況下，當(dāng)從追蹤區(qū)域或追蹤窗口的尺寸偏離的運(yùn)動(dòng)發(fā)生時(shí)，運(yùn)動(dòng)很難被校正。

【發(fā)明內(nèi)容】

[0006]本發(fā)明構(gòu)思的示例性實(shí)施例提供這樣的設(shè)備及方法，其中，通過(guò)使用傳感器融合方案，即使在圖像質(zhì)量退化、在圖像捕捉設(shè)備上發(fā)生外部沖擊、以及在捕捉到的圖像中存在運(yùn)動(dòng)對(duì)象的情況下，也輸出不含圖像運(yùn)動(dòng)(諸如抖動(dòng))的穩(wěn)定圖像。
[0007]本發(fā)明構(gòu)思的各種方面將會(huì)部分地在以下描述中闡明，并將會(huì)部分地從描述中清楚或者可以通過(guò)本示例性實(shí)施例的實(shí)踐而領(lǐng)會(huì)。
[0008]根據(jù)一個(gè)或更多個(gè)示例性實(shí)施例，提供了一種圖像穩(wěn)定設(shè)備，所述圖像穩(wěn)定設(shè)備可包括:特征點(diǎn)提取器，被配置為在由圖像捕捉設(shè)備捕捉的第一輸入圖像中提取特征點(diǎn);移動(dòng)量檢測(cè)器，被配置為響應(yīng)于圖像捕捉設(shè)備的運(yùn)動(dòng)檢測(cè)圖像捕捉設(shè)備的移動(dòng)量;移動(dòng)位置預(yù)測(cè)器，被配置為在由圖像捕捉設(shè)備捕捉的第二輸入圖像中預(yù)測(cè)提取的特征點(diǎn)被預(yù)期通過(guò)圖像捕捉設(shè)備的運(yùn)動(dòng)而移動(dòng)到的移動(dòng)位置;對(duì)應(yīng)位置檢測(cè)器，被配置為確定在圖像捕捉設(shè)備的運(yùn)動(dòng)之后在第二輸入圖像中對(duì)應(yīng)特征點(diǎn)的位置，所述對(duì)應(yīng)特征點(diǎn)與第一輸入圖像中的提取的特征點(diǎn)相對(duì)應(yīng);比較器，被配置為將預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置進(jìn)行比較；圖像穩(wěn)定器，被配置為基于比較的結(jié)果，校正由于圖像捕捉設(shè)備的運(yùn)動(dòng)造成的第二輸入圖像中的圖像失真。
[0009]如果預(yù)測(cè)的移動(dòng)位置和對(duì)應(yīng)特征點(diǎn)的位置之間的距離在預(yù)定的范圍內(nèi)，則所述比較器可確定對(duì)應(yīng)特征點(diǎn)的位置是準(zhǔn)確的，并且如果所述距離在預(yù)定的范圍內(nèi)，則圖像穩(wěn)定器可基于對(duì)應(yīng)特征點(diǎn)的位置校正圖像失真。但是，如果所述距離超出預(yù)定的范圍，則對(duì)應(yīng)特征點(diǎn)的位置不被用作用于校正圖像失真的有效數(shù)據(jù)。
[0010]根據(jù)一個(gè)或更多個(gè)示例性實(shí)施例，提供了一種在圖像捕捉設(shè)備中執(zhí)行圖像穩(wěn)定的方法。所述方法可包括:通過(guò)特征點(diǎn)提取器，在由圖像捕捉設(shè)備捕捉的第一輸入圖像中提取特征點(diǎn);通過(guò)移動(dòng)量檢測(cè)器，響應(yīng)于圖像捕捉設(shè)備的運(yùn)動(dòng)檢測(cè)圖像捕捉設(shè)備的物理移動(dòng)量；通過(guò)移動(dòng)位置預(yù)測(cè)器，在由圖像捕捉設(shè)備捕捉的第二輸入圖像中預(yù)測(cè)提取的特征點(diǎn)被預(yù)期通過(guò)圖像捕捉設(shè)備的運(yùn)動(dòng)而移動(dòng)到的移動(dòng)位置;通過(guò)對(duì)應(yīng)位置檢測(cè)器，確定在圖像捕捉設(shè)備的運(yùn)動(dòng)之后在第二輸入圖像中對(duì)應(yīng)特征點(diǎn)的位置，所述對(duì)應(yīng)特征點(diǎn)與第一輸入圖像中的提取的特征點(diǎn)相對(duì)應(yīng);通過(guò)比較器，將預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置進(jìn)行比較;通過(guò)圖像穩(wěn)定器，基于比較的結(jié)果，校正由于圖像捕捉設(shè)備的運(yùn)動(dòng)造成的第二輸入圖像中的圖像失真。
[0011]所述方法還可包括:如果預(yù)測(cè)的移動(dòng)位置和對(duì)應(yīng)特征點(diǎn)的位置之間的距離在預(yù)定的范圍內(nèi)，則確定對(duì)應(yīng)特征點(diǎn)的位置是準(zhǔn)確的；如果所述距離在預(yù)定的范圍內(nèi)，則可基于對(duì)應(yīng)特征點(diǎn)的位置執(zhí)行校正圖像失真。但是，如果所述距離超出預(yù)定的范圍，則對(duì)應(yīng)特征點(diǎn)的位置不被用作用于校正圖像失真的有效數(shù)據(jù)。
【附圖說(shuō)明】
[0012]這些和/或其它方面將通過(guò)以下結(jié)合附圖的示例性實(shí)施例的描述變得清楚和更容易理解，在附圖中:
[0013]圖1示出用于解釋根據(jù)示例性實(shí)施例的圖像捕捉設(shè)備的運(yùn)動(dòng)的發(fā)生的示圖；
[0014]圖2示出根據(jù)示例性實(shí)施例的圖像穩(wěn)定設(shè)備的內(nèi)部配置；
[0015]圖3示出根據(jù)示例性實(shí)施例的在圖像穩(wěn)定設(shè)備中通過(guò)使用圖像傳感器和運(yùn)動(dòng)傳感器二者執(zhí)行圖像穩(wěn)定的主要概念；
[0016]圖4示出在圖像穩(wěn)定設(shè)備中使用的運(yùn)動(dòng)傳感器的示例；
[0017]圖5示出根據(jù)示例性實(shí)施例的在其中實(shí)施圖像穩(wěn)定設(shè)備的圖像處理設(shè)備的內(nèi)部配置；
[0018]圖6示出根據(jù)示例性實(shí)施例的用于在圖像穩(wěn)定設(shè)備中校正圖像抖動(dòng)的掃描線的特性；
[0019]圖7是示出根據(jù)示例性實(shí)施例的在圖像捕捉設(shè)備中執(zhí)行圖像穩(wěn)定的方法的流程圖；
[0020]圖8是示出根據(jù)示例性實(shí)施例的作為圖像捕捉設(shè)備的示例的數(shù)碼相機(jī)的配置的框圖。
【具體實(shí)施方式】
[0021 ]現(xiàn)在將對(duì)示例性實(shí)施例作詳細(xì)參考，這些示例性實(shí)施例被示出在附圖中，其中相同的標(biāo)號(hào)始終表示相同的元件。在這點(diǎn)上，本實(shí)施例可具有不同的形式并且不應(yīng)解釋為限于這里闡明的描述。因此，以下僅通過(guò)參考附圖描述示例性實(shí)施例，以解釋發(fā)明構(gòu)思的各種方面。如在這里使用的，術(shù)語(yǔ)“和/或”包括一個(gè)或更多個(gè)相關(guān)的所列項(xiàng)目的任意組合和所有組合。
[0022]圖1示出用于解釋根據(jù)示例性實(shí)施例的圖像捕捉設(shè)備的運(yùn)動(dòng)的發(fā)生的示圖。
[0023]參照?qǐng)D1，當(dāng)圖像捕捉設(shè)備運(yùn)動(dòng)或由于外部沖擊等被移動(dòng)時(shí)，可發(fā)生旋轉(zhuǎn)或平移(R/T)運(yùn)動(dòng)S120。圖1示出圖像捕捉設(shè)備針對(duì)對(duì)象100在時(shí)間t從初始位置SlOO有意地或無(wú)意地移動(dòng)到在時(shí)間t2的位置S110的情況。
[0024]當(dāng)圖像捕捉設(shè)備如圖1所示移動(dòng)時(shí)，在圖像捕捉設(shè)備的移動(dòng)發(fā)生之前的時(shí)間^捕捉到的圖像與在圖像捕捉設(shè)備的移動(dòng)發(fā)生之后的時(shí)間t2捕捉到的圖像之間可能發(fā)生失真。作為示例，對(duì)象100的特征點(diǎn)P可在圖像捕捉設(shè)備的移動(dòng)發(fā)生之前的時(shí)間^在相機(jī)的輸入圖像SlOl中的P1點(diǎn)5102被檢測(cè)到。然而，對(duì)象100的特征點(diǎn)P可在圖像捕捉設(shè)備的移動(dòng)發(fā)生之后的時(shí)間t2在相機(jī)的輸入圖像SI 11中的P2 Asi 12被檢測(cè)到。
[0025]根據(jù)示例性實(shí)施例，圖像穩(wěn)定設(shè)備可通過(guò)使用傳感器融合方案穩(wěn)定圖像。圖像穩(wěn)定設(shè)備可通過(guò)使用圖像傳感器和運(yùn)動(dòng)傳感器二者去除由圖像捕捉設(shè)備的各種運(yùn)動(dòng)(諸如搖晃或抖動(dòng))造成的失真來(lái)穩(wěn)定圖像。圖像穩(wěn)定設(shè)備可在圖像捕捉設(shè)備(諸如機(jī)器人、車輛、軍事裝備、相機(jī)、移動(dòng)電話、智能電話、膝上型計(jì)算機(jī)、平板電腦、手持設(shè)備，但不限制于此)中被實(shí)施。根據(jù)示例性實(shí)施例，圖像捕捉設(shè)備可通過(guò)使用諸如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的圖像傳感器捕捉圖像，圖像傳感器并不限制于此。
[0026]以下將相機(jī)作為圖像穩(wěn)定設(shè)備的示例進(jìn)行描述。圖3示出在圖像穩(wěn)定設(shè)備中通過(guò)使用圖像傳感器和運(yùn)動(dòng)傳感器二者執(zhí)行圖像穩(wěn)定的主要概念。
[0027 ]參照?qǐng)D3，相機(jī)在相機(jī)運(yùn)動(dòng)前捕捉的先前圖像中檢測(cè)特征點(diǎn)Pi310。
[0028]此外，當(dāng)相機(jī)由于風(fēng)吹、外部沖擊或用戶的手部晃動(dòng)而移動(dòng)時(shí)，相機(jī)通過(guò)使用運(yùn)動(dòng)傳感器檢測(cè)相機(jī)的物理移動(dòng)量。在這里，物理移動(dòng)可以指相機(jī)的有意地或無(wú)意地傾斜、平移、旋轉(zhuǎn)、和/或任意其它移動(dòng)。接下來(lái)，相機(jī)基于檢測(cè)到的物理移動(dòng)量預(yù)測(cè)在運(yùn)動(dòng)發(fā)生后捕捉的當(dāng)前圖像中的特征點(diǎn)Pi310被預(yù)期移動(dòng)或?qū)?huì)移動(dòng)到的移動(dòng)位置P2320。
[0029]此后，相機(jī)在由相機(jī)在運(yùn)動(dòng)發(fā)生后捕捉的當(dāng)前圖像中檢測(cè)與在先前圖像中檢測(cè)到的特征點(diǎn)Ρι310相對(duì)應(yīng)的對(duì)應(yīng)特征點(diǎn)P3330。
[0030]當(dāng)預(yù)測(cè)的移動(dòng)位置P2320與對(duì)應(yīng)特征點(diǎn)P3330的位置之間的距離在預(yù)定范圍內(nèi)時(shí)，相機(jī)確定對(duì)應(yīng)特征點(diǎn)P3330的位置是準(zhǔn)確的，并使用對(duì)應(yīng)特征點(diǎn)P3330的位置作為校正失真的有效數(shù)據(jù)。
[0031]然而，當(dāng)預(yù)測(cè)的移動(dòng)位置P2320與對(duì)應(yīng)特征點(diǎn)P3330的位置之間的距離超過(guò)預(yù)定范圍時(shí)，相機(jī)確定對(duì)應(yīng)特征點(diǎn)P3330的位置是不準(zhǔn)確的或?qū)?yīng)特征點(diǎn)P3330是運(yùn)動(dòng)對(duì)象的特征點(diǎn)，并且不使用對(duì)應(yīng)特征點(diǎn)P3330的數(shù)據(jù)。
[0032]圖2示出根據(jù)示例性實(shí)施例的圖像穩(wěn)定設(shè)備200的內(nèi)部配置。
[0033]參照?qǐng)D2，圖像穩(wěn)定設(shè)備200可包括特征點(diǎn)提取器210、移動(dòng)量檢測(cè)器220、對(duì)應(yīng)位置檢測(cè)器230、移動(dòng)位置預(yù)測(cè)器240、比較器250和圖像穩(wěn)定器260。
[0034]特征點(diǎn)提取器210從輸入到圖像捕捉設(shè)備的圖像信號(hào)提取特征點(diǎn)。根據(jù)示例性實(shí)施例，可通過(guò)使用一般的特征點(diǎn)提取方案在輸入圖像中提取特征點(diǎn)。
[0035]當(dāng)圖像捕捉設(shè)備有意地或無(wú)意地運(yùn)動(dòng)時(shí)，移動(dòng)量檢測(cè)器220通過(guò)使用安裝在圖像捕捉設(shè)備中的運(yùn)動(dòng)傳感器檢測(cè)圖像捕捉設(shè)備的物理移動(dòng)量。例如，運(yùn)動(dòng)傳感器可以是陀螺儀傳感器。陀螺儀傳感器可以是三維(3D)陀螺儀傳感器。此外，如在圖4中所示，慣性測(cè)量單元(MU)傳感器410(見(jiàn)圖4)可被用來(lái)測(cè)量移動(dòng)量、運(yùn)動(dòng)等。
[0036]移動(dòng)位置預(yù)測(cè)器240通過(guò)使用由移動(dòng)量檢測(cè)器220檢測(cè)的物理移動(dòng)量確定局部運(yùn)動(dòng)矢量S311(見(jiàn)圖3)。此外，移動(dòng)位置預(yù)測(cè)器240通過(guò)使用確定的局部運(yùn)動(dòng)矢量S311預(yù)測(cè)特征點(diǎn)PdKK見(jiàn)圖3)通過(guò)圖像捕捉設(shè)備的運(yùn)動(dòng)被預(yù)期移動(dòng)到的移動(dòng)位置P2320(見(jiàn)圖3)。
[0037]對(duì)應(yīng)位置檢測(cè)器230確定與特征點(diǎn)PdliK見(jiàn)圖3)相對(duì)應(yīng)的對(duì)應(yīng)特征點(diǎn)P3330(見(jiàn)圖3)的位置，對(duì)應(yīng)特征點(diǎn)P3330通過(guò)使用在圖像捕捉設(shè)備移動(dòng)后由圖像捕捉設(shè)備捕捉的輸入圖像而在輸入圖像中被提取。
[0038]在這種情況下，對(duì)應(yīng)位置檢測(cè)器230通過(guò)使用由特征點(diǎn)提取器210提取的包括特征點(diǎn)的特征點(diǎn)組和包括對(duì)應(yīng)特征點(diǎn)的對(duì)應(yīng)特征點(diǎn)組計(jì)算全局運(yùn)動(dòng)矢量SI30(見(jiàn)圖1)。
[0039]根據(jù)另一示例性實(shí)施例，對(duì)應(yīng)位置檢測(cè)器230可包括低通濾波器(LPF)和高通濾波器(HPF)中的至少一個(gè)，用于確定輸入圖像的失真是由相機(jī)的用戶造成的還是由外部環(huán)境造成的。
[0040]根據(jù)示例性實(shí)施例，因?yàn)橹T如用戶的手部晃動(dòng)的運(yùn)動(dòng)可能分布于低頻域，所以諸如用戶的手部晃動(dòng)的運(yùn)動(dòng)可由LPF提取。此外，因?yàn)橹T如風(fēng)吹的由外部環(huán)境造成的運(yùn)動(dòng)可能分布于高頻域，所以由外部環(huán)境造成的運(yùn)動(dòng)可由HPF提取。
[0041]比較器250將由移動(dòng)位置預(yù)測(cè)器240通過(guò)使用運(yùn)動(dòng)傳感器預(yù)測(cè)的移動(dòng)位置P2320(見(jiàn)圖3)與由對(duì)應(yīng)位置檢測(cè)器2 30確定的對(duì)應(yīng)特征點(diǎn)P3 330 (見(jiàn)圖3)的位置進(jìn)行比較。當(dāng)對(duì)應(yīng)特征點(diǎn)P3330的位置在預(yù)定范圍內(nèi)時(shí)，比較器250確定對(duì)應(yīng)特征點(diǎn)P3330的位置是準(zhǔn)確的，并且當(dāng)對(duì)應(yīng)特征點(diǎn)P3330的位置超過(guò)預(yù)定范圍時(shí)，比較器250確定對(duì)應(yīng)特征點(diǎn)P3330的位置是不準(zhǔn)確的。
[0042]根據(jù)另一示例性實(shí)施例，比較器250可將局部運(yùn)動(dòng)矢量S311與全局運(yùn)動(dòng)矢量S130進(jìn)行比較，以確定這兩個(gè)矢量之間的差異是否在給定的范圍內(nèi)。當(dāng)差異在給定范圍內(nèi)時(shí)，比較器250可確定對(duì)應(yīng)特征點(diǎn)P3330的位置是準(zhǔn)確的，并且當(dāng)差異超過(guò)給定范圍時(shí)，比較器250可確定對(duì)應(yīng)特征點(diǎn)P3330的位置是不準(zhǔn)確的。
[0043]圖像穩(wěn)定器260基于由比較器250執(zhí)行的比較的結(jié)果通過(guò)使用關(guān)于對(duì)應(yīng)特征點(diǎn)P3330(見(jiàn)圖3)的位置信息校正圖像失真。根據(jù)示例性實(shí)施例，圖像穩(wěn)定器260通過(guò)使用CMOS傳感器的滾動(dòng)快門(mén)效應(yīng)和掃描線的特性執(zhí)行失真校正。這將稍后參照?qǐng)D6進(jìn)行詳細(xì)描述。
[0044]圖4示出根據(jù)示例性實(shí)施例的在實(shí)施圖像穩(wěn)定設(shè)備的相機(jī)中使用頂U(kuò)傳感器410作為運(yùn)動(dòng)傳感器的示例的示例。
[0045]圖5示出根據(jù)示例性實(shí)施例的實(shí)施圖像穩(wěn)定設(shè)備的圖像處理設(shè)備500的內(nèi)部配置。
[0046]參照?qǐng)D5，圖像處理設(shè)備500接收?qǐng)D像信號(hào)(S500)并隨后提取特征點(diǎn)(510)。此后，圖像處理設(shè)備500通過(guò)使用MU傳感器510預(yù)測(cè)提取的特征點(diǎn)被預(yù)期通過(guò)圖像處理設(shè)備500的諸如抖動(dòng)的運(yùn)動(dòng)而移動(dòng)到的移動(dòng)點(diǎn)(511)。通過(guò)這種處理，圖像處理設(shè)備500通過(guò)使用預(yù)測(cè)的移動(dòng)點(diǎn)(511)和在先前圖像中提取的特征點(diǎn)(510)計(jì)算局部運(yùn)動(dòng)矢量。
[0047]此外，圖像處理設(shè)備500將在先前圖像中提取的特征點(diǎn)(510)和與在當(dāng)前圖像中提取的特征點(diǎn)對(duì)應(yīng)的部分進(jìn)行匹配(513)。
[0048]為確定計(jì)算的局部運(yùn)動(dòng)矢量(S510)是否是準(zhǔn)確的，確定基于由運(yùn)動(dòng)傳感器測(cè)量的圖像處理設(shè)備500的物理移動(dòng)量預(yù)測(cè)的運(yùn)動(dòng)點(diǎn)的位置(511)與由圖像傳感器在當(dāng)前圖像中提取的對(duì)應(yīng)特征點(diǎn)的位置(513)之間的距離是否在預(yù)定的范圍內(nèi)(520和530)。
[0049]如果所述距離在預(yù)定的范圍內(nèi)，則圖像處理設(shè)備500通過(guò)使用關(guān)于由圖像傳感器提取的對(duì)應(yīng)特征點(diǎn)的信息(513)校正圖像失真，然后輸出穩(wěn)定后的圖像(S520)。
[0050]另一方面，如果所述距離超過(guò)預(yù)定的范圍，則圖像處理設(shè)備500確定關(guān)于在當(dāng)前圖像中提取的對(duì)應(yīng)特征點(diǎn)的信息(513)是不正確的或者特征點(diǎn)是在運(yùn)動(dòng)對(duì)象中提取的特征點(diǎn)，并且不使用該信息(S531)。
[0051]圖6示出根據(jù)示例性實(shí)施例的用于在圖像穩(wěn)定設(shè)備中校正圖像變形的掃描線的特性。
[0052]參照?qǐng)D6，掃描線具有如下特性:與參考圖像中的掃描線Iref610對(duì)應(yīng)的線IwcibbIed620存在于搖晃的輸入圖像中。此外，掃描線具有如下特性:與參考圖像中的掃描線Ire3f1中的點(diǎn)Pr 611對(duì)應(yīng)的點(diǎn)Pw 621存在于搖晃的輸入圖像中的線IirobbIed 620中。
[0053]圖7是示出根據(jù)示例性實(shí)施例的在圖像捕捉設(shè)備中執(zhí)行圖像穩(wěn)定的方法的流程圖。
[0054]參照?qǐng)D7，圖像捕捉設(shè)備在圖像捕捉設(shè)備移動(dòng)之前的時(shí)間的先前圖像中提取特征點(diǎn)(S710)。當(dāng)圖像捕捉設(shè)備由于用戶操作、手部晃動(dòng)、風(fēng)吹或外部沖擊而移動(dòng)時(shí)，圖像捕捉設(shè)備通過(guò)使用諸如IMU傳感器或陀螺儀傳感器的運(yùn)動(dòng)傳感器(見(jiàn)圖2的220)檢測(cè)圖像捕捉設(shè)備的物理移動(dòng)量(S720)。
[0055]圖像捕捉設(shè)備的移動(dòng)位置預(yù)測(cè)器(見(jiàn)圖2的240)使用檢測(cè)的物理移動(dòng)量來(lái)計(jì)算表示圖像捕捉設(shè)備的移動(dòng)量的局部運(yùn)動(dòng)矢量(S730)。此后，圖像捕捉設(shè)備使用局部運(yùn)動(dòng)矢量來(lái)預(yù)測(cè)提取的特征點(diǎn)被預(yù)期通過(guò)圖像捕捉設(shè)備的運(yùn)動(dòng)而移動(dòng)到的移動(dòng)位置(S740)。
[0056]此外，根據(jù)示例性實(shí)施例，當(dāng)圖像捕捉設(shè)備移動(dòng)時(shí)，圖像捕捉設(shè)備通過(guò)在對(duì)應(yīng)位置檢測(cè)器(見(jiàn)圖2的230)中的圖像處理提取在時(shí)間^的當(dāng)前圖像中的特征點(diǎn)(S750)。對(duì)應(yīng)位置檢測(cè)器(見(jiàn)圖2的230)在從當(dāng)前圖像中提取的特征點(diǎn)中檢測(cè)與在先前圖像中提取的特征點(diǎn)相對(duì)應(yīng)的對(duì)應(yīng)特征點(diǎn)(S760)。在這個(gè)過(guò)程中，對(duì)應(yīng)位置檢測(cè)器(見(jiàn)圖2的230)可通過(guò)使用在先前圖像中提取的一組特征點(diǎn)和在當(dāng)前圖像中提取的一組對(duì)應(yīng)特征點(diǎn)來(lái)計(jì)算全局運(yùn)動(dòng)矢量。
[0057]圖像捕捉設(shè)備的比較器通過(guò)確定對(duì)應(yīng)特征點(diǎn)的位置與預(yù)測(cè)的移動(dòng)位置之間的距離是否在預(yù)定的范圍內(nèi)來(lái)確定對(duì)應(yīng)特征點(diǎn)是否是有效數(shù)據(jù)(S770)。此后，圖像捕捉設(shè)備通過(guò)使用關(guān)于在預(yù)定的范圍內(nèi)的對(duì)應(yīng)特征點(diǎn)的位置信息校正圖像失真(S780)。
[0058]圖8是示出根據(jù)示例性實(shí)施例的作為圖像捕捉設(shè)備的示例的數(shù)碼相機(jī)的配置的框圖。
[0059]參照?qǐng)D8，數(shù)碼相機(jī)可包括:光學(xué)模塊11，用于輸入來(lái)自對(duì)象的光信號(hào)；圖像傳感器
12,用于將通過(guò)光學(xué)模塊輸入的光信號(hào)轉(zhuǎn)換為電信號(hào);輸入信號(hào)處理器13，用于對(duì)由圖像傳感器12提供的電信號(hào)執(zhí)行諸如降噪和模數(shù)(A/D)轉(zhuǎn)換的信號(hào)處理操作；電動(dòng)機(jī)14，用于驅(qū)動(dòng)光學(xué)單元11;驅(qū)動(dòng)器15，用于控制電動(dòng)機(jī)14的操作。
[0060]此外，數(shù)碼相機(jī)還可包括:用戶輸入(UI)模塊20，用于輸入用戶的操作信號(hào)；同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM)30，暫時(shí)存儲(chǔ)輸入圖像數(shù)據(jù)、用于處理操作的數(shù)據(jù)和處理結(jié)果;閃存40，用于存儲(chǔ)數(shù)碼相機(jī)的操作所需的算法;安全數(shù)字(SD)/緊湊式閃存(CF)/智能媒體(SM)卡50，作為用于存儲(chǔ)圖像文件的記錄介質(zhì)。
[0061]此外，數(shù)碼相機(jī)可配有液晶顯示器(IXD)60作為顯示器。此外，數(shù)碼相機(jī)還可包括:音頻信號(hào)處理器71，用于將聲音轉(zhuǎn)換為數(shù)字信號(hào)或?qū)?lái)自聲源的數(shù)字信號(hào)轉(zhuǎn)換為模擬信號(hào)，并產(chǎn)生音頻文件;揚(yáng)聲器(SPK)72，用于輸出聲音;麥克風(fēng)(MIC)73，用于輸入聲音。此外，數(shù)碼相機(jī)還可包括用于控制數(shù)碼相機(jī)的操作的數(shù)字信號(hào)處理器(DSP)80。
[0062]現(xiàn)在將對(duì)每個(gè)組件的配置和功能作更詳細(xì)的描述。
[0063]電動(dòng)機(jī)14可以由驅(qū)動(dòng)器15進(jìn)行控制。驅(qū)動(dòng)器15可響應(yīng)于從DSP80接收的控制信號(hào)控制電動(dòng)機(jī)14的操作。
[0064]圖像傳感器12可從光學(xué)模塊11接收光信號(hào)并形成對(duì)象的圖像。圖像傳感器12可包括CMOS傳感器或電荷耦合器件(CXD)傳感器。
[0065]輸入信號(hào)處理器13可包括用于將由圖像傳感器12(諸如CMOS或CXD傳感器)作為模擬信號(hào)提供的電信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的A/D轉(zhuǎn)換器。此外，輸入信號(hào)處理器13還可包括用于針對(duì)由圖像傳感器12提供的電信號(hào)執(zhí)行諸如增益控制或波形整形的信號(hào)處理的電路。
[0066]DSP 80可對(duì)輸入圖像數(shù)據(jù)執(zhí)行圖像信號(hào)處理操作。圖像信號(hào)處理操作可包括伽瑪校正、濾色器陣列插值、顏色矩陣、顏色校正、顏色增強(qiáng)、晃動(dòng)參數(shù)的估計(jì)、以及基于估計(jì)的晃動(dòng)參數(shù)的圖像恢復(fù)。此外，DSP 80可將通過(guò)圖像信號(hào)處理獲取的圖像數(shù)據(jù)壓縮為圖像文件或從圖像文件恢復(fù)原始圖像數(shù)據(jù)?？赏ㄟ^(guò)使用可逆算法或不可逆算法壓縮圖像。
[0067]DSP 80可執(zhí)行上述的圖像信號(hào)處理并根據(jù)處理結(jié)果或響應(yīng)于通過(guò)UI模塊20輸入的用戶控制信號(hào)控制每個(gè)組件。
[0068]如上所述，根據(jù)以上示例性實(shí)施例，圖像穩(wěn)定設(shè)備可補(bǔ)償由外部沖擊和諸如三軸旋轉(zhuǎn)和平移的相機(jī)運(yùn)動(dòng)造成的圖像運(yùn)動(dòng)(如圖像的移、平面內(nèi)旋轉(zhuǎn)、抖動(dòng))。
[0069]此外，根據(jù)以上示例性實(shí)施例，圖像穩(wěn)定設(shè)備及其方法可在用于主要的國(guó)家設(shè)施(諸如軍事機(jī)場(chǎng)、港口、道路和橋梁)、地鐵、公交、建筑屋頂、體育場(chǎng)、停車場(chǎng)、汽車、移動(dòng)裝置、以及機(jī)器人中的各種智能圖像監(jiān)控系統(tǒng)中提供穩(wěn)定的圖像信號(hào)。
[0070]根據(jù)示例性實(shí)施例，以上參考附圖描述的方法可被實(shí)現(xiàn)為能被計(jì)算機(jī)執(zhí)行的程序代碼，所述程序代碼可被存儲(chǔ)在各種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中并被提供給每個(gè)裝置以被處理器執(zhí)行。例如，可提供非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，在所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中，用于向透明顯示器與第一主體重疊的第一區(qū)域和作為透明顯示器的其余部分的第二區(qū)域提供不同的用戶交互功能的程序響應(yīng)于第二主體從第一主體滑動(dòng)以開(kāi)啟第一主體而被存儲(chǔ)。非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)指的是可半永久地存儲(chǔ)數(shù)據(jù)而非短時(shí)間存儲(chǔ)數(shù)據(jù)的介質(zhì)(諸如寄存器、高速緩存、存儲(chǔ)器)，并且可由設(shè)備讀取。具體地，上述的各種應(yīng)用或程序可在非暫時(shí)性可記錄介質(zhì)(諸如光盤(pán)(CD)、數(shù)字多功能盤(pán)(DVD)、硬盤(pán)、藍(lán)光盤(pán)、通用串行總線(USB)、存儲(chǔ)卡、只讀存儲(chǔ)器(ROM)等)中被存儲(chǔ)和提供。
[0071]根據(jù)示例性實(shí)施例，由圖2所示的方框所表示的組件、元件或單元中的至少一個(gè)可被實(shí)施為分別執(zhí)行上述功能的各種數(shù)量的硬件、軟件和/或固件結(jié)構(gòu)。例如，這些組件、元件或單元中的至少一個(gè)可使用可通過(guò)一個(gè)或更多個(gè)微處理器或其它控制設(shè)備的控制來(lái)執(zhí)行各自的功能的直接電路結(jié)構(gòu)(諸如存儲(chǔ)器、處理設(shè)備、邏輯單元、查找表等)。此外，這些組件、元件或單元中的至少一個(gè)可通過(guò)包含用于執(zhí)行特定邏輯功能的一個(gè)或更多個(gè)可執(zhí)行指令的模塊、程序、或者部分代碼被具體實(shí)施，并通過(guò)一個(gè)或更多個(gè)微處理器或其它控制設(shè)備被執(zhí)行。此外，這些組件、元件或單元中的至少一個(gè)還可包括執(zhí)行各自功能的諸如中央處理單元(CPU)的處理器、微處理器等。這些組件、元件或單元中的兩個(gè)或更多個(gè)可被合并成一個(gè)單獨(dú)的組件、元件或單元，所述一個(gè)單獨(dú)的組件、元件或單元執(zhí)行所合并的兩個(gè)或更多個(gè)組件、元件或單元的所有操作或功能。此外，這些組件、元件或單元中的至少一個(gè)的至少部分功能可以由這些組件、元件或單元中的另一個(gè)執(zhí)行。此外，盡管在以上框圖中未示出總線，但是組件、元件或單元之間的通信可通過(guò)總線來(lái)執(zhí)行。以上示例性實(shí)施例的功能方面可在一個(gè)或更多個(gè)處理器上執(zhí)行的算法中被實(shí)施。此外，由方框或處理步驟表示的組件、元件或單元可采用任何數(shù)量的相關(guān)領(lǐng)域技術(shù)進(jìn)行電子學(xué)配置、信號(hào)處理和/或控制、數(shù)據(jù)處理等。
[0072]這里使用的專業(yè)術(shù)語(yǔ)只為描述示例性實(shí)施例的目的，而不意圖限制其含義或由權(quán)利要求限定的本發(fā)明構(gòu)思的范圍。雖然一個(gè)或更多個(gè)示例性實(shí)施例已經(jīng)參考附圖被描述，但是本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可在形式和細(xì)節(jié)上進(jìn)行各種改變。
[0073]應(yīng)該理解，這里描述的示例性實(shí)施例應(yīng)被看作僅有描述意義，而不是為了限制的目的。每個(gè)示例性實(shí)施例中的特征或方面的描述通常應(yīng)被看作可用于在其它示例性實(shí)施例中的其它類似的特征或方面。
【主權(quán)項(xiàng)】
1.一種圖像穩(wěn)定設(shè)備，包括: 特征點(diǎn)提取器，被配置為在由圖像捕捉設(shè)備捕捉的第一輸入圖像中提取特征點(diǎn)； 移動(dòng)量檢測(cè)器，被配置為響應(yīng)于圖像捕捉設(shè)備的運(yùn)動(dòng)檢測(cè)圖像捕捉設(shè)備的移動(dòng)量； 移動(dòng)位置預(yù)測(cè)器，被配置為在由圖像捕捉設(shè)備捕捉的第二輸入圖像中預(yù)測(cè)提取的特征點(diǎn)被預(yù)期通過(guò)圖像捕捉設(shè)備的運(yùn)動(dòng)而移動(dòng)到的移動(dòng)位置； 對(duì)應(yīng)位置檢測(cè)器，被配置為確定在圖像捕捉設(shè)備的運(yùn)動(dòng)之后在第二輸入圖像中對(duì)應(yīng)特征點(diǎn)的位置，所述對(duì)應(yīng)特征點(diǎn)與第一輸入圖像中的提取的特征點(diǎn)相對(duì)應(yīng)； 比較器，被配置為將預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置進(jìn)行比較； 圖像穩(wěn)定器，被配置為基于比較的結(jié)果校正由圖像捕捉設(shè)備的運(yùn)動(dòng)造成的第二輸入圖像中的圖像失真。2.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，第一輸入圖像在圖像捕捉設(shè)備的運(yùn)動(dòng)前的一刻被捕捉，第二輸入圖像在圖像捕捉設(shè)備的運(yùn)動(dòng)后的一刻被捕捉。3.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，比較器被配置為:如果預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置之間的距離在預(yù)定的范圍內(nèi)，則確定對(duì)應(yīng)特征點(diǎn)的位置是準(zhǔn)確的。4.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，圖像穩(wěn)定器被配置為:如果預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置之間的距離在預(yù)定的范圍內(nèi)，則基于對(duì)應(yīng)特征點(diǎn)的位置校正圖像失真。5.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，比較器被配置為:如果預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置之間的距離超過(guò)預(yù)定的范圍，則確定對(duì)應(yīng)特征點(diǎn)是在第二輸入圖像中出現(xiàn)的運(yùn)動(dòng)對(duì)象的特征點(diǎn)。6.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器包括:低通濾波器(LPF)和高通濾波器(HPF)，被配置為確定第二輸入圖像中的失真是由圖像捕捉設(shè)備的用戶造成的還是由施加到圖像捕捉設(shè)備的外部沖擊造成的。7.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器包括:低通濾波器(LPF)，被配置為確定第二輸入圖像中的失真是否是由圖像捕捉設(shè)備的用戶造成的。8.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器包括:高通濾波器(HPF)，被配置為確定第二輸入圖像中的失真是否是由施加到圖像捕捉設(shè)備的外部沖擊造成的。9.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，移動(dòng)位置預(yù)測(cè)器被配置為通過(guò)使用檢測(cè)的移動(dòng)量來(lái)計(jì)算局部運(yùn)動(dòng)矢量，以預(yù)測(cè)移動(dòng)位置。10.如權(quán)利要求9所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器被配置為通過(guò)使用第一輸入圖像中的提取的特征點(diǎn)和第二輸入圖像中的對(duì)應(yīng)特征點(diǎn)計(jì)算全局運(yùn)動(dòng)矢量。11.如權(quán)利要求10所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器被配置為通過(guò)使用包括提取的特征點(diǎn)的特征點(diǎn)組和包括對(duì)應(yīng)特征點(diǎn)的對(duì)應(yīng)特征點(diǎn)組計(jì)算全局運(yùn)動(dòng)矢量。12.如權(quán)利要求11所述的圖像穩(wěn)定設(shè)備，其中，圖像穩(wěn)定器被配置為:如果全局運(yùn)動(dòng)矢量和局部運(yùn)動(dòng)矢量之間的差異在給定的范圍內(nèi)，則通過(guò)使用全局運(yùn)動(dòng)矢量校正第二輸入圖像中的圖像失真。13.如權(quán)利要求11所述的圖像穩(wěn)定設(shè)備，其中，圖像穩(wěn)定器被配置為:如果全局運(yùn)動(dòng)矢量和局部運(yùn)動(dòng)矢量之間的差異在給定的范圍內(nèi)，則確定對(duì)應(yīng)特征點(diǎn)的位置是準(zhǔn)確的。14.如權(quán)利要求11所述的圖像穩(wěn)定設(shè)備，其中，如果全局運(yùn)動(dòng)矢量和局部運(yùn)動(dòng)矢量之間的差異超出給定的范圍，則圖像穩(wěn)定器確定對(duì)應(yīng)特征點(diǎn)是在第二輸入圖像中出現(xiàn)的運(yùn)動(dòng)對(duì)象的特征點(diǎn)。15.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器被配置為通過(guò)使用第一輸入圖像中的提取的特征點(diǎn)和第二輸入圖像中的對(duì)應(yīng)特征點(diǎn)確定全局運(yùn)動(dòng)矢量。16.如權(quán)利要求15所述的圖像穩(wěn)定設(shè)備，其中，對(duì)應(yīng)位置檢測(cè)器被配置為通過(guò)使用包括提取的特征點(diǎn)的特征點(diǎn)組和包括對(duì)應(yīng)特征點(diǎn)的對(duì)應(yīng)特征點(diǎn)組計(jì)算全局運(yùn)動(dòng)矢量。17.如權(quán)利要求1所述的圖像穩(wěn)定設(shè)備，還包括被配置為檢測(cè)圖像捕捉設(shè)備的物理移動(dòng)量的運(yùn)動(dòng)傳感器。18.如權(quán)利要求17所述的圖像穩(wěn)定設(shè)備，其中，運(yùn)動(dòng)傳感器是陀螺儀傳感器。19.一種在圖像捕捉設(shè)備中執(zhí)行圖像穩(wěn)定的方法，所述方法包括: 通過(guò)特征點(diǎn)提取器，在由圖像捕捉設(shè)備捕捉的第一輸入圖像中提取特征點(diǎn)； 通過(guò)移動(dòng)量檢測(cè)器，響應(yīng)于圖像捕捉設(shè)備的運(yùn)動(dòng)檢測(cè)圖像捕捉設(shè)備的物理移動(dòng)量； 通過(guò)移動(dòng)位置預(yù)測(cè)器，在由圖像捕捉設(shè)備捕捉的第二輸入圖像中預(yù)測(cè)提取的特征點(diǎn)被預(yù)期通過(guò)圖像捕捉設(shè)備的運(yùn)動(dòng)移動(dòng)到的移動(dòng)位置； 通過(guò)對(duì)應(yīng)位置檢測(cè)器，確定在圖像捕捉設(shè)備的運(yùn)動(dòng)之后在第二輸入圖像中對(duì)應(yīng)特征點(diǎn)的位置，所述對(duì)應(yīng)特征點(diǎn)與第一輸入圖像中的提取的特征點(diǎn)相對(duì)應(yīng)； 通過(guò)比較器，將預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置進(jìn)行比較； 通過(guò)圖像穩(wěn)定器，基于比較的結(jié)果校正由于圖像捕捉設(shè)備的運(yùn)動(dòng)造成的第二輸入圖像中的圖像失真。20.如權(quán)利要求19所述的方法，其中，所述校正的步驟包括:如果預(yù)測(cè)的移動(dòng)位置與對(duì)應(yīng)特征點(diǎn)的位置之間的距離在預(yù)定的范圍內(nèi)，則基于對(duì)應(yīng)特征點(diǎn)的位置校正圖像失真。
【文檔編號(hào)】G06T5/00GK105989581SQ201511019761
【公開(kāi)日】2016年10月5日
【申請(qǐng)日】2015年12月30日
【發(fā)明人】柳然杰, 樸相志, 李活石
【申請(qǐng)人】韓華泰科株式會(huì)社