攝像設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種攝像設(shè)備及其控制方法，尤其設(shè)及用W生成高動(dòng)態(tài)范圍圖像的技 術(shù)。
【背景技術(shù)】
[0002] 已知有被稱為高動(dòng)態(tài)范圍化DR)合成的技術(shù)，其中在該技術(shù)中，通過合成在不同 的曝光（曝光不足和過度曝光）下所拍攝到的多個(gè)圖像來增大圖像的動(dòng)態(tài)范圍。利用該技 術(shù)，合成各種圖像的適當(dāng)曝光部分，W抑制高光溢出和暗部缺失并且獲得從暗區(qū)域到亮區(qū) 域呈現(xiàn)良好色調(diào)的圖像。
[0003] 皿R合成技術(shù)不僅適用于拍攝靜止圖像，而且還適用于拍攝視頻。存在用于在拍攝 視頻師R視頻拍攝）時(shí)進(jìn)行皿R合成的結(jié)構(gòu)，其中一個(gè)已知示例是在W交替方式對(duì)視頻的 帖應(yīng)用不同的曝光（曝光不足和過度曝光）的情況下拍攝視頻的結(jié)構(gòu)。
[0004]日本特開2012-049600公開了用W對(duì)視頻帖應(yīng)用白平衡控制、并且使用應(yīng)用了白 平衡控制的圖像來進(jìn)行皿R合成的技術(shù)。另一方面，日本特開2009-278524公開了用W在 改變曝光的情況下連續(xù)進(jìn)行攝像、并且使用在時(shí)間上相鄰的多個(gè)圖像來進(jìn)行皿R合成的技 術(shù)。在與皿R合成有關(guān)的處理中，針對(duì)在時(shí)間上相鄰的圖像的處理重疊；運(yùn)樣，在下一皿R 合成中重復(fù)使用最初進(jìn)行處理后的圖像的處理結(jié)果，因而高效地執(zhí)行了該處理。
[0005] 利用日本特開2012-049600所公開的技術(shù)，使皿R合成處理延遲，直至針對(duì)所有帖 完成了諸如顏色信息的提取、光源信息的估計(jì)和白平衡增益的設(shè)置等的白平衡控制所需的 處理為止。因此，在使用曝光不同的兩個(gè)帖的圖像來進(jìn)行皿R合成的情況下，帖頻減半。另 一方面，利用日本特開2009-278524所公開的技術(shù)，由于重復(fù)使用針對(duì)在時(shí)間上相鄰的圖 像其中之一的處理，因而實(shí)際上可W維持帖頻。然而，由于在皿R合成中重復(fù)使用一個(gè)圖像 的圖像處理結(jié)果，因此在顏色和亮度隨時(shí)間的經(jīng)過而發(fā)生改變的場景中，因無法應(yīng)用適當(dāng) 的圖像處理而導(dǎo)致預(yù)期會(huì)W例如色調(diào)跳躍（tonejump)的形式發(fā)生與顏色和亮度相關(guān)聯(lián)的 圖像質(zhì)量的劣化。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明是考慮到上述問題而作出的，并且實(shí)現(xiàn)用W即使在皿R視頻拍攝期間顏色 和亮度發(fā)生改變的場景中也能減輕所生成圖像的圖像質(zhì)量的劣化的技術(shù)。
[0007] 為了解決上述問題，本發(fā)明提供一種攝像設(shè)備，包括：攝像單元；攝像控制單元， 用于控制所述攝像單元W對(duì)曝光不同的帖圖像進(jìn)行重復(fù)攝像；顯像單元，用于對(duì)所拍攝到 的帖圖像各自應(yīng)用顯像處理；W及合成單元，用于通過合成所述顯像單元顯像后的在時(shí)間 上連續(xù)的圖像來生成合成圖像，其中，所述顯像單元根據(jù)所拍攝到的帖圖像其中之一來生 成與不同的顯像參數(shù)相關(guān)聯(lián)的第一圖像和第二圖像，W及所述合成單元合成根據(jù)在時(shí)間上 連續(xù)的所拍攝到的帖圖像所生成的圖像中的、使用同一顯像參數(shù)所生成的圖像。
[000引為了解決上述問題，本發(fā)明提供一種攝像設(shè)備的控制方法，所述控制方法包括W 下步驟：攝像步驟，其中在所述攝像步驟中，攝像單元進(jìn)行攝像；攝像控制步驟，用于控制 所述攝像單元W對(duì)曝光不同的帖圖像進(jìn)行重復(fù)攝像；顯像步驟，用于對(duì)所拍攝到的帖圖像 各自應(yīng)用顯像處理；W及合成步驟，用于通過合成所述顯像步驟中顯像后的在時(shí)間上連續(xù) 的圖像來生成合成圖像，其中，所述顯像步驟根據(jù)所拍攝到的帖圖像其中之一來生成與不 同的顯像參數(shù)相關(guān)聯(lián)的第一圖像和第二圖像，W及所述合成步驟合成根據(jù)在時(shí)間上連續(xù)的 所拍攝到的帖圖像所生成的圖像中的、使用同一顯像參數(shù)所生成的圖像。
[0009] 根據(jù)本發(fā)明，即使在皿R視頻拍攝期間顏色和亮度發(fā)生改變的場景中，也可W減 輕所生成圖像的圖像質(zhì)量的劣化
[0010] 通過W下（參考附圖）對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0011] 包含在說明書中并構(gòu)成說明書一部分的附圖示出了本發(fā)明的實(shí)施例，并和說明書 一起用來解釋本發(fā)明的原理。
[0012] 圖IA是用作根據(jù)本發(fā)明實(shí)施例的攝像設(shè)備的示例的數(shù)字照相機(jī)100的截面圖。
[0013] 圖IB是示出用作根據(jù)本發(fā)明實(shí)施例的攝像設(shè)備的示例的數(shù)字照相機(jī)100的示例 功能結(jié)構(gòu)的框圖。
[0014] 圖2是示出根據(jù)第一實(shí)施例的皿R視頻拍攝處理的一系列操作的流程圖。
[0015] 圖3示出根據(jù)第一實(shí)施例的所獲得的測(cè)光所用的信號(hào)和區(qū)域的分割。
[0016] 圖4是用于確定根據(jù)第一實(shí)施例的皿R視頻拍攝處理中的曝光條件的程序圖。
[0017] 圖5是用于說明攝像帖頻減半的皿R視頻的圖。
[0018] 圖6是用于說明維持了攝像帖頻的皿R視頻的圖。
[0019] 圖7是用于說明顯像結(jié)果作為下一皿R合成中所使用的帖的重復(fù)使用的圖。
[0020] 圖8是示出根據(jù)第一實(shí)施例的顯像處理和合成處理所用的示例功能結(jié)構(gòu)的框圖。
[0021] 圖9是用于說明根據(jù)第一實(shí)施例的使用模式改變的白平衡系數(shù)的在顯像之后的 皿R合成的圖。
[0022] 圖10示出皿R合成處理中的兩個(gè)圖像的合成比例的示例。
[0023] 圖11是示出根據(jù)第二實(shí)施例的皿R視頻拍攝處理的一系列操作的流程圖。
[0024] 圖12A和12B是示出根據(jù)第二實(shí)施例的顯像處理和合成處理所用的示例功能結(jié)構(gòu) 的框圖。
[00巧]圖13A和13B示出根據(jù)第二實(shí)施例的用于生成色調(diào)校正中所使用的查找表的方 法。
[0026] 圖14示出根據(jù)第二實(shí)施例的使用顏色/亮度調(diào)整所用的查找表的在顯像之后的 皿R合成。
[0027] 圖15是示出根據(jù)第S實(shí)施例的皿R視頻拍攝處理的一系列操作的流程圖。
[002引圖16示出根據(jù)第S實(shí)施例的通過對(duì)移動(dòng)物體進(jìn)行多重擅染（render)的皿R合成 的示例。
[0029] 圖17是示出根據(jù)第=實(shí)施例的移動(dòng)物體應(yīng)對(duì)處理所用的示例功能結(jié)構(gòu)的框圖。
[0030] 圖18A和18B示出根據(jù)第S實(shí)施例的合成比率和基準(zhǔn)亮度之間的關(guān)系。
[0031] 圖19示出根據(jù)第=實(shí)施例的噪聲降低處理的強(qiáng)度根據(jù)合成比率的變化的示例。
[0032] 圖20是示出根據(jù)第=實(shí)施例的顯像處理和合成處理所用的示例功能結(jié)構(gòu)的框 圖。
[0033] 圖21是示出根據(jù)第S實(shí)施例的噪聲降低處理所用的示例功能結(jié)構(gòu)的框圖。
[0034] 圖22示出根據(jù)第S實(shí)施例的噪聲降低處理之后的圖像比例與合成比率之間的關(guān) 系。
【具體實(shí)施方式】
[00巧] 第一連施例
[0036] W下參考附圖來詳細(xì)說明本發(fā)明的典型實(shí)施例。應(yīng)當(dāng)注意，W下說明關(guān)于將本發(fā) 明應(yīng)用于作為攝像設(shè)備的示例的具有可W在改變曝光的情況下獲得視頻的攝像功能的數(shù) 字照相機(jī)的示例。然而，本發(fā)明所設(shè)及的攝像設(shè)備不限于數(shù)字照相機(jī)，并且可W是具有運(yùn)種 攝像功能的任何電子裝置。運(yùn)種電子裝置的示例例如可W包括移動(dòng)電話裝置、游戲機(jī)、平板 終端、個(gè)人計(jì)算機(jī)W及腕表型或眼鏡型信息終端。
[oow]1.撒辛照巧化的結(jié)構(gòu)
[003引圖IA是示出用作根據(jù)實(shí)施例的攝像設(shè)備的示例的數(shù)字照相機(jī)100的主要是光學(xué) 構(gòu)件和傳感器等的配置的截面圖。數(shù)字照相機(jī)100是使用可更換鏡頭的所謂的數(shù)字單鏡頭 反光照相機(jī)，并且包括照相機(jī)本體1和可更換鏡頭2。
[0039] 照相機(jī)本體1的圖像傳感器10例如是CMOS圖像傳感器或CCD圖像傳感器，并且 內(nèi)部排列有多個(gè)像素（儲(chǔ)存型光電轉(zhuǎn)換元件）。除配置在光接收部中的像素外，例如在圖像 傳感器10中還形成有針對(duì)像素信號(hào)的放大電路和信號(hào)處理所用的周邊電路。通過調(diào)整針 對(duì)像素的電荷的累積時(shí)間段和電荷的讀取，圖像傳感器10實(shí)現(xiàn)了使得能夠利用圖像傳感 器來進(jìn)行曝光控制的電子快口功能。在各像素中，對(duì)可更換鏡頭2中所包括的攝像光學(xué)系 統(tǒng)所形成的被攝體的光學(xué)圖像應(yīng)用光電轉(zhuǎn)換；結(jié)果，W像素為單位輸出圖像信號(hào)。
[0040] 在圖像傳感器10的前方附近設(shè)置機(jī)械快口 11，并且該機(jī)械快口 11調(diào)節(jié)圖像傳感 器10的曝光時(shí)刻和曝光時(shí)間段。在攝像時(shí)，半透過性的主鏡3和配置于主鏡3的背面的第 一反射鏡7上翻。第二反射鏡8進(jìn)一步反射第一反射鏡7所反射的光束，由此使該光束入 射到AF傳感器9上。AF傳感器9例如可W是像素?cái)?shù)比圖像傳感器10的像素?cái)?shù)小的圖像傳 感器。第一反射鏡7、第二反射鏡8和AF傳感器9是用于在攝像畫面內(nèi)的任意位置處使用 相位差檢測(cè)方法來進(jìn)行焦點(diǎn)檢測(cè)的構(gòu)成元件。應(yīng)當(dāng)注意，在實(shí)時(shí)取景顯示和視頻記錄時(shí)，主 鏡3始終處于上翻狀態(tài)，因而使用攝像面的圖像信息來進(jìn)行曝光控制和焦點(diǎn)調(diào)節(jié)控制。
[0041]AE傳感器6是測(cè)光傳感器，并且通過接收五棱鏡4和第S反射鏡5所反射的來自 被攝體的光束來進(jìn)行測(cè)光。AE傳感器6可W將光接收部分割成多個(gè)區(qū)域并且W區(qū)域?yàn)閱挝?輸出被攝體的亮度信息。
[0042] 五棱鏡4構(gòu)成取景器光學(xué)系統(tǒng)?？蒞經(jīng)由未示出的目鏡來觀察五棱鏡4所反射的 被攝體的光學(xué)圖像。此外，在五棱鏡4所反射的光束中，主鏡3所反射的并且因聚焦屏12 而發(fā)生擴(kuò)散的光線的一部分從光軸偏轉(zhuǎn)并且入射到AE傳感器6上。
[0043] 可更換鏡頭2是可移除鏡頭，并且根據(jù)需要經(jīng)由照相機(jī)本體1中所安裝的鏡頭卡 口的接點(diǎn)來與照相機(jī)本體1進(jìn)行通信。
[0044] 圖IB是示出圖IA所示的數(shù)字照相機(jī)100的照相機(jī)本體1和相應(yīng)的可更換鏡頭2 的功能結(jié)構(gòu)的示例的框圖。應(yīng)當(dāng)注意，圖IB所示的功能塊中的一個(gè)或多個(gè)可W利用諸如ASIC和可編程邏輯陣列（PLA)等的硬件來實(shí)現(xiàn)、或者可W通過諸如CPU和MPU等的可編程 處理器執(zhí)行軟件來實(shí)現(xiàn)。此外，運(yùn)些功能塊中的一個(gè)或多個(gè)可W利用軟件和硬件的組合來 實(shí)現(xiàn)。因此，在W下說明中，盡管不同的功能塊可W用作操作的執(zhí)行主體，但運(yùn)些功能塊也 可W由用作執(zhí)行主體的相同硬件來實(shí)現(xiàn)。
[0045] 控制單元21例如是設(shè)置有諸如算術(shù)和邏輯單元（ALU) 33、ROM34、RAM35、A/D轉(zhuǎn) 換器31、計(jì)時(shí)器32和串行通信端口（SPI)36等的內(nèi)置構(gòu)成元件的單片微計(jì)算機(jī)?？刂茊卧?21通過例如執(zhí)行ROM34中所存儲(chǔ)的程序來控制照相機(jī)本體1和可更換鏡頭2的操作。例 如，控制單元21控制照相機(jī)本體1的構(gòu)成元件W執(zhí)行后面所述的與皿R視頻拍攝有關(guān)的處 理。將來自AF傳感器9和AE傳感器6的輸出信號(hào)輸入至控制單元21的A/D轉(zhuǎn)換器31。
[0046] 信號(hào)處理單元25根據(jù)來自控制單元21的指示來控制圖像傳感器10,并且通過向 從圖像傳感器10輸出的信號(hào)應(yīng)用A/D轉(zhuǎn)換和信號(hào)處理來獲得圖像信號(hào)。為了記錄所獲得 的圖像信號(hào)，信號(hào)處理單元