圖像處理裝置、圖像處理方法、程序和成像裝置制造方法
【專利摘要】本發(fā)明涉及圖像處理裝置、圖像處理方法、程序和成像裝置。提供了一種圖像處理裝置，包括：圖像獲取單元，被配置為獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
【專利說明】圖像處理裝置、圖像處理方法、程序和成像裝置
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2013年3月25日提交的日本在先專利申請(qǐng)JP2013-062088的優(yōu)先權(quán)，該專利申請(qǐng)的全部?jī)?nèi)容以引用的方式并入本文。

【技術(shù)領(lǐng)域】
[0003]本公開涉及圖像處理裝置、圖像處理方法、程序和成像裝置。

【背景技術(shù)】
[0004]在拍攝(攝影)圖像時(shí)，已知一種用于通過疊加多個(gè)連續(xù)拍攝的圖像(幀)來獲得具有降低了的噪聲的圖像的技術(shù)。作為例子，這多個(gè)圖像被疊加在要處理的圖像(在下文中適當(dāng)?shù)乇环Q為目標(biāo)圖像)上，并且在拍攝目標(biāo)圖像之前或之后被連續(xù)地拍攝的并且通過運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償來對(duì)準(zhǔn)的這多個(gè)圖像被疊加。在這種情況下，在時(shí)間方向上對(duì)彼此基本上相同的圖像進(jìn)行積分，由此，在每個(gè)圖像中隨機(jī)地包含的噪聲被抵消，從而降低了噪聲。在下文中，通過這種方法實(shí)現(xiàn)的降噪(NR)被稱為幀NR處理。
[0005]對(duì)于在目標(biāo)圖像中設(shè)置的目標(biāo)塊，通過使用估計(jì)的局部運(yùn)動(dòng)矢量來計(jì)算在兩個(gè)圖像之間的表示在整個(gè)圖像之上的變換的全局運(yùn)動(dòng)。全局運(yùn)動(dòng)通常表示作為圖像的靜止圖像部分的背景的運(yùn)動(dòng)和運(yùn)動(dòng)量。
[0006]作為使用全局運(yùn)動(dòng)的技術(shù)，有一種在JP2009-290827A中公開的技術(shù)。在JP2009-290827A中公開的技術(shù)中，圖像被分離成靜止背景圖像部分和運(yùn)動(dòng)被攝體部分，使用與從全局運(yùn)動(dòng)產(chǎn)生的全局運(yùn)動(dòng)矢量匹配的局部運(yùn)動(dòng)矢量來產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像(適當(dāng)?shù)乇环Q為MC圖像)，并且MC圖像和目標(biāo)圖像被疊加。在這種技術(shù)中，通過適應(yīng)地使用全局運(yùn)動(dòng)矢量和局部運(yùn)動(dòng)矢量，產(chǎn)生MC圖像，并且執(zhí)行疊加處理。


【發(fā)明內(nèi)容】

[0007]作為例子，當(dāng)在具有低照度的暗場(chǎng)所執(zhí)行圖像拍攝的情況下，執(zhí)行準(zhǔn)確的運(yùn)動(dòng)估計(jì)是非常困難的，因此，運(yùn)動(dòng)矢量的可靠性降低。如果基于具有低可靠性的運(yùn)動(dòng)矢量的MC圖像被疊加在目標(biāo)圖像上，則存在通過該處理獲得的圖像的質(zhì)量劣化的問題。
[0008]因此，本公開的一個(gè)實(shí)施例提供一種能夠產(chǎn)生要疊加在目標(biāo)圖像上的適當(dāng)?shù)膱D像的圖像處理裝置、圖像處理方法、程序和成像裝置。
[0009]根據(jù)本公開，為了實(shí)現(xiàn)上述目的，提供一種圖像處理裝置，包括:圖像獲取單元，被配置為獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率(blendrat1)將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
[0010]根據(jù)本公開，例如，提供一種圖像處理裝置中的圖像處理方法，該圖像處理方法包括:獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及通過以預(yù)定的混合比將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
[0011]根據(jù)本公開，例如，提供一種用于使計(jì)算機(jī)執(zhí)行圖像處理裝置中的圖像處理方法的程序，該圖像處理方法包括:獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及通過以預(yù)定的混合比將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
[0012]根據(jù)本公開，例如，提供一種成像裝置，該成像裝置包括:成像單元；圖像獲取單元，被配置為獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像，該第二圖像是通過成像單元獲得的；以及圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比將第一圖像與第二圖像混合來產(chǎn)生第三圖像；以及圖像加法器，被配置為將第三圖像和目標(biāo)圖像相加。
[0013]根據(jù)本公開的實(shí)施例中的一個(gè)或多個(gè)，可以產(chǎn)生要被疊加在目標(biāo)圖像上的適當(dāng)?shù)膱D像。

【專利附圖】

【附圖說明】
[0014]圖1是幀NR處理的例子的概念圖；
[0015]圖2是用于說明在拍攝靜止圖像時(shí)的幀NR處理的例子的示圖；
[0016]圖3是用于說明在拍攝運(yùn)動(dòng)圖像時(shí)的幀NR處理的例子的示圖；
[0017]圖4是用于說明典型的幀NR處理的例子的示圖；
[0018]圖5是用于說明根據(jù)實(shí)施例的幀NR處理的例子的示圖；
[0019]圖6是示出根據(jù)實(shí)施例的主要處理的流程的流程圖；
[0020]圖7是示出局部運(yùn)動(dòng)矢量的例子的示圖；
[0021]圖8是用于說明評(píng)估運(yùn)動(dòng)矢量的可靠性的方法的例子的示圖；
[0022]圖9是示出全局運(yùn)動(dòng)矢量的例子的示圖；
[0023]圖10是示出針對(duì)幀的每個(gè)塊獲得的局部運(yùn)動(dòng)矢量的例子的示圖；
[0024]圖11是示出對(duì)巾貞的每個(gè)塊應(yīng)用局部運(yùn)動(dòng)矢量或全局運(yùn)動(dòng)矢量的例子的示圖；
[0025]圖12是用于說明評(píng)估目標(biāo)塊的背景匹配程度的方法的例子的示圖；
[0026]圖13是示出為了獲得運(yùn)動(dòng)補(bǔ)償圖像而執(zhí)行的處理流程的例子的流程圖；
[0027]圖14是用于說明高效地執(zhí)行塊匹配處理的方法的例子的示圖；
[0028]圖15A是示出根據(jù)照度的輸入圖像的電平變化的例子的示圖；
[0029]圖15B是示出根據(jù)照度的設(shè)置增益的例子的示圖；
[0030]圖15C是示出其增益被調(diào)整的輸入圖像的電平的例子的示圖；
[0031]圖16A是示出其增益被調(diào)整的輸入圖像的電平的例子的示圖；
[0032]圖16B是示出根據(jù)照度設(shè)置混合比的例子的示圖；
[0033]圖17是示出成像裝置的示例性配置的框圖；
[0034]圖18是示出增益調(diào)整器的示例性配置的框圖；
[0035]圖19是示出運(yùn)動(dòng)矢量估計(jì)部的示例性配置的框圖；
[0036]圖20是示出目標(biāo)塊緩沖器的示例性配置的框圖；
[0037]圖21是示出參考?jí)K緩沖器的示例性配置的框圖；
[0038]圖22是示出被加圖像產(chǎn)生部的示例性配置的框圖；以及
[0039]圖23是示出圖像加法器的示例性配置的框圖。

【具體實(shí)施方式】
[0040]在下文中，將參照附圖詳細(xì)地描述本公開的優(yōu)選實(shí)施例。要注意，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的構(gòu)成要素用相同的附圖標(biāo)記表示，并且省略對(duì)這些構(gòu)成要素的重復(fù)說明。
[0041 ] 將按照以下順序進(jìn)行描述。
[0042]< 1.實(shí)施例〉
[0043]< 2.變型例 >
[0044]下面描述的實(shí)施例和變型例是本公開的優(yōu)選的說明性例子，并且本公開并不是要局限于這些實(shí)施例和變型例。
[0045]< 1.實(shí)施例〉
[0046](實(shí)施例的概要)
[0047]在描述本公開的實(shí)施例的概要之前，下面將描述典型的幀降噪(NR)處理。圖1是典型的幀NR處理的概念圖。在幀NR處理中，連續(xù)地拍攝的多個(gè)圖像Pl至P3在位置上對(duì)準(zhǔn)(運(yùn)動(dòng)補(bǔ)償)，然后被相互疊加，從而提供具有降低的噪聲的圖像Pmix。在多個(gè)連續(xù)地拍攝的圖像疊加時(shí)噪聲被降低了，因?yàn)樵跁r(shí)間方向上對(duì)彼此基本上相同的圖像進(jìn)行積分，從而在每一個(gè)圖像中隨機(jī)地包含的噪聲被抵消。
[0048]要疊加的多個(gè)圖像Pl至P3的數(shù)量并不限于3，而可以使用兩個(gè)圖像或者四個(gè)以上的圖像。作為例子，當(dāng)成像裝置捕獲靜止圖像時(shí)，如圖2所示，高速連續(xù)地捕獲的多個(gè)圖像之中的第一捕獲圖像P1變成目標(biāo)圖像。第二和后續(xù)的捕獲圖像(例如，圖像P20和P30)充當(dāng)參考圖像，并且被順次地疊加在目標(biāo)圖像PlO上。目標(biāo)圖像有時(shí)被稱為目標(biāo)幀，并且參考圖像有時(shí)被稱為參考中貞。
[0049]作為例子，當(dāng)成像裝置捕獲圖像時(shí)，順次地捕獲的連續(xù)幀的圖像中的每一個(gè)變成目標(biāo)圖像，如圖3所示。目標(biāo)圖像(例如，圖像P50)的前一幀的圖像(例如，圖像P60)充當(dāng)參考圖像，并且被疊加在目標(biāo)圖像上。換句話說，一個(gè)幀的圖像可以是目標(biāo)圖像，并且當(dāng)另一中貞的圖像是目標(biāo)圖像時(shí)可以是參考圖像。
[0050]這樣，在連續(xù)地捕獲的圖像被疊加的幀NR處理中，要疊加的目標(biāo)圖像和參考圖像之間的位置對(duì)準(zhǔn)(運(yùn)動(dòng)補(bǔ)償)是重要的。在一些情況下，對(duì)于這些圖像，例如，由于攝影者的照相機(jī)抖動(dòng)等，可能會(huì)發(fā)生圖像位置的位移(圖像模糊)。此外，在一些情況下，對(duì)于每個(gè)圖像，由于被攝體自身的移動(dòng)，也發(fā)生位移。因此，在根據(jù)實(shí)施例的幀NR處理中，例如，對(duì)于通過分割目標(biāo)圖像產(chǎn)生的多個(gè)目標(biāo)塊中的每一個(gè)，以塊為單位估計(jì)運(yùn)動(dòng)矢量。此外，針對(duì)每一個(gè)塊，執(zhí)行以塊為單位反映運(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償。
[0051]圖4示出典型的幀NR處理的概要。設(shè)置目標(biāo)圖像PlOO和與目標(biāo)圖像PlOO相應(yīng)的參考圖像P200。執(zhí)行運(yùn)動(dòng)估計(jì)(ME)(有時(shí)被稱為運(yùn)動(dòng)檢測(cè))，該運(yùn)動(dòng)估計(jì)將目標(biāo)圖像PlOO與參考圖像P200進(jìn)行比較并估計(jì)其運(yùn)動(dòng)。通過執(zhí)行運(yùn)動(dòng)估計(jì)來獲得運(yùn)動(dòng)矢量(MV)。對(duì)參考圖像P200執(zhí)行使用運(yùn)動(dòng)矢量的運(yùn)動(dòng)補(bǔ)償(MC)，由此獲得運(yùn)動(dòng)補(bǔ)償圖像P300。
[0052]然后，執(zhí)行用于將目標(biāo)圖像PlOO與運(yùn)動(dòng)補(bǔ)償圖像P300相加的圖像相加處理。在圖像相加處理中，可以執(zhí)行用于以像素為單位確定相加比率α的相加比率確定處理。通過執(zhí)行圖像相加處理來獲得經(jīng)過幀NR處理的輸出圖像P400。輸出圖像P400變成了具有降低的噪聲的圖像。
[0053]參考圖像有時(shí)被稱為非運(yùn)動(dòng)補(bǔ)償圖像或非運(yùn)動(dòng)補(bǔ)償幀，因?yàn)樗菦]有經(jīng)過運(yùn)動(dòng)補(bǔ)償處理的圖像。另外，要與目標(biāo)圖像相加的圖像(圖4的例子中的運(yùn)動(dòng)補(bǔ)償圖像P300)有時(shí)被稱為要相加的圖像或者被加圖像。
[0054]在上述的JP2009-290827A中公開的技術(shù)中，當(dāng)局部運(yùn)動(dòng)矢量的可靠性高時(shí)，從局部運(yùn)動(dòng)矢量獲得的運(yùn)動(dòng)補(bǔ)償圖像被用作要相加的圖像。另外，當(dāng)局部運(yùn)動(dòng)矢量的可靠性低時(shí)，不使用局部運(yùn)動(dòng)矢量，而是從全局運(yùn)動(dòng)矢量獲得的運(yùn)動(dòng)補(bǔ)償圖像被用作要相加的圖像。因此，幀NR處理應(yīng)當(dāng)是穩(wěn)定的。
[0055]在這一方面，當(dāng)捕獲靜止圖像時(shí)，通過ISO敏感度自動(dòng)控制，像素值的動(dòng)態(tài)范圍將在一定程度上恒定。但是，當(dāng)在暗場(chǎng)所捕獲圖像的情況下，由于光量不足，動(dòng)態(tài)范圍可能減小。當(dāng)捕獲運(yùn)動(dòng)圖像時(shí)，因?yàn)榭扉T速度被固定，由于被攝體上的照度而導(dǎo)致像素值的動(dòng)態(tài)范圍減小，從而，通過在暗場(chǎng)所的圖像捕獲而記錄的圖像的像素值變成非常小的值。
[0056]因此，在JP2009-290827A或現(xiàn)有技術(shù)中公開的技術(shù)中，當(dāng)使用通過在暗場(chǎng)所進(jìn)行圖像捕獲而獲得的圖像時(shí)，適當(dāng)?shù)貓?zhí)行運(yùn)動(dòng)估計(jì)是非常困難的。在典型的運(yùn)動(dòng)估計(jì)技術(shù)中，在假設(shè)當(dāng)難以識(shí)別在暗場(chǎng)所等中的物體時(shí)運(yùn)動(dòng)矢量的可靠性原本低的情況下，利用不使用運(yùn)動(dòng)矢量的方法。但是，如果對(duì)于幀NR處理應(yīng)用這種方法，則例如存在如下問題。
[0057]如果在幀NR處理中沒有產(chǎn)生MC圖像，則難以執(zhí)行圖像相加。因此，不使用運(yùn)動(dòng)矢量非常困難。即使運(yùn)動(dòng)矢量的可靠性低，產(chǎn)生要相加的任何圖像也是必要的。例如，即使當(dāng)針對(duì)其運(yùn)動(dòng)矢量的可靠性低的部分(塊)原樣地使用參考圖像時(shí)，使用MC圖像相加的部分和使用參考圖像相加的部分也混合在畫面中，從而不能確保最終圖像的質(zhì)量。
[0058]對(duì)于其運(yùn)動(dòng)矢量的可靠性低的部分，例如可以認(rèn)為，通過全局運(yùn)動(dòng)矢量來使用MC圖像，但是全局運(yùn)動(dòng)矢量的可靠性原本在低照度處低。
[0059]運(yùn)動(dòng)矢量的可靠性由輸入圖像中的物體的識(shí)別度來確定，因此，存在這樣的可能性，即，即使當(dāng)用戶捕獲相同環(huán)境中的圖像時(shí)，根據(jù)是否容易對(duì)捕獲的被攝體執(zhí)行運(yùn)動(dòng)估計(jì)，最終圖像也會(huì)出現(xiàn)差異。要注意，物體的識(shí)別度是指識(shí)別物體的特征的容易度。
[0060]此外，由于可以獲得有效運(yùn)動(dòng)矢量的閾值而發(fā)生獵振現(xiàn)象(huntingphenomenon),相應(yīng)地啟用或禁用巾貞NR處理,從而出現(xiàn)處理時(shí)間的不連續(xù)。另外，雖然存在用以應(yīng)對(duì)動(dòng)態(tài)范圍的缺乏的魯棒運(yùn)動(dòng)估計(jì)技術(shù)，但是用戶可能原本在暗房間里捕獲圖像，由此，可能不能獲得運(yùn)動(dòng)矢量或者其可靠性可能降低。雖然存在執(zhí)行諸如通過在運(yùn)動(dòng)矢量的可靠性低時(shí)將時(shí)間連續(xù)性引入到運(yùn)動(dòng)矢量的估計(jì)中的內(nèi)插的處理的技術(shù)，但是運(yùn)動(dòng)矢量的可靠性在低照度處仍保持低，因此，內(nèi)插將是不可用的。在實(shí)施例中，產(chǎn)生要相加的適當(dāng)?shù)膱D像，以應(yīng)對(duì)上述的問題。
[0061]下面的表I旨在示出通過在低照度和高照度處捕獲圖像獲得的運(yùn)動(dòng)補(bǔ)償幀的圖像和非運(yùn)動(dòng)補(bǔ)償幀(參考幀)的圖像之間的差異的例子。
[0062]表I
[0063]

【權(quán)利要求】
1.一種圖像處理裝置，包括: 圖像獲取單元，被配置為獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得所述運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及 圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，還包括: 檢測(cè)器，被配置為檢測(cè)輸入圖像的亮度；以及 混合比率設(shè)置單元，被配置為基于輸入圖像的亮度來設(shè)置所述混合比率。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中當(dāng)輸入圖像的亮度大于閾值時(shí)，混合比率設(shè)置單元將第二圖像相對(duì)于第一圖像的混合比率設(shè)置為零。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中混合比率設(shè)置單元設(shè)置所述混合比率，使得第二圖像相對(duì)于第一圖像的混合比率隨著輸入圖像的亮度增加而減小。
5.根據(jù)權(quán)利要求1所述的信息處理裝置，還包括: 圖像加法器，被配置為將第三圖像和目標(biāo)圖像相加。
6.根據(jù)權(quán)利要求2所述的信息處理裝置，還包括: 增益設(shè)置單元，被配置為基于輸入圖像的亮度設(shè)置對(duì)于輸入圖像的增益， 其中，混合比率設(shè)置單元根據(jù)按所設(shè)置的增益調(diào)整的輸入圖像的電平來設(shè)置所述混合比率。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中第一圖像是通過使用第一運(yùn)動(dòng)矢量和與第一運(yùn)動(dòng)矢量不同的第二運(yùn)動(dòng)矢量中的至少一個(gè)獲得的。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置， 其中第一運(yùn)動(dòng)矢量是針對(duì)圖像被分割成多個(gè)區(qū)域得到的每個(gè)塊獲得的局部運(yùn)動(dòng)矢量，并且 其中第二運(yùn)動(dòng)矢量是基于一個(gè)或多個(gè)所述局部運(yùn)動(dòng)矢量獲得的全局運(yùn)動(dòng)矢量。
9.一種圖像處理裝置中的圖像處理方法，該圖像處理方法包括: 獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及 通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
10.一種使計(jì)算機(jī)執(zhí)行圖像處理裝置中的圖像處理方法的程序，該圖像處理方法包括: 獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像；以及 通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像。
11.一種成像裝置，包括: 成像單元； 圖像獲取單元，被配置為獲取使用指示幀之間的運(yùn)動(dòng)的運(yùn)動(dòng)矢量獲得的第一圖像和用作用于獲得該運(yùn)動(dòng)矢量的參考圖像的第二圖像，第二圖像是通過成像單元獲得的； 圖像產(chǎn)生器，被配置為通過以預(yù)定的混合比率將第一圖像與第二圖像混合來產(chǎn)生第三圖像；以及圖像加法器， 被配置為將第三圖像和目標(biāo)圖像相加。
【文檔編號(hào)】H04N19/527GK104079940SQ201410100425
【公開日】2014年10月1日 申請(qǐng)日期:2014年3月18日 優(yōu)先權(quán)日:2013年3月25日
【發(fā)明者】沼田憐 申請(qǐng)人:索尼公司