專利名稱：攝像裝置和攝像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對曝光量不同的多個(gè)圖像進(jìn)行合成、生成動態(tài)范圍寬的圖像的技術(shù)。
背景技術(shù)：
以往，公知有這樣的控制方法在具有將曝光量不同的多個(gè)圖像進(jìn)行連續(xù)攝影來 合成的第1模式和使曝光時(shí)間恒定來進(jìn)行攝影的第2模式的攝像裝置中，在圖像內(nèi)的亮度 差大的情況下，切換到第1模式(日本特開平1-60156號公報(bào))。然而，例如，當(dāng)被攝體亮度降低時(shí)，需要增加曝光時(shí)間，然而在該情況下，在現(xiàn)有技 術(shù)中，在對多個(gè)圖像進(jìn)行合成來生成動態(tài)范圍寬的圖像的情況下，不能在全部亮度范圍內(nèi) 平滑地顯示或記錄動態(tài)范圍寬的圖像。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述問題而作成的，本發(fā)明的目的是提供一種能根據(jù)被攝體亮度或 攝像幀速率平滑地顯示或記錄動態(tài)范圍寬的圖像的技術(shù)。本發(fā)明的一個(gè)方式涉及的攝像裝置，該攝像裝置通過圖像合成生成擴(kuò)展了動態(tài)范 圍的圖像，所述攝像裝置具有攝像部，其通過對由攝像元件接收到的光束進(jìn)行光電轉(zhuǎn)換來 獲得圖像數(shù)據(jù)；動態(tài)范圍擴(kuò)展判斷部，其在被攝體亮度為預(yù)定亮度以上和攝像幀速率為預(yù) 定的幀速率以上中的至少一方成立、且所述被攝體亮度為高于所述預(yù)定亮度的上限亮度以 下的情況下，判斷為擴(kuò)展圖像的動態(tài)范圍；曝光控制部，其根據(jù)是否要擴(kuò)展所述動態(tài)范圍 的判斷結(jié)果，控制所述攝像元件的曝光；圖像合成部，在判斷為要擴(kuò)展所述動態(tài)范圍的情況 下，該圖像合成部對曝光時(shí)間不同的多個(gè)幀的圖像數(shù)據(jù)進(jìn)行合成，生成合成圖像數(shù)據(jù)；以及 處理部，其顯示或記錄所述合成圖像數(shù)據(jù)。本發(fā)明的另一方式涉及的攝像方法，該攝像方法通過圖像合成生成擴(kuò)展了動態(tài)范 圍的圖像，所述攝像方法具有以下步驟通過對由攝像元件接收到的光束進(jìn)行光電轉(zhuǎn)換來 獲得圖像數(shù)據(jù)的步驟；在被攝體亮度為預(yù)定亮度以上和攝像幀速率為預(yù)定的幀速率以上中 的至少一方成立、且所述被攝體亮度為高于所述預(yù)定亮度的上限亮度以下的情況下，判斷 為要擴(kuò)展圖像的動態(tài)范圍的步驟；根據(jù)是否要擴(kuò)展所述動態(tài)范圍的判斷結(jié)果，控制所述攝 像元件的曝光的步驟；在判斷為要擴(kuò)展所述動態(tài)范圍的情況下，對曝光時(shí)間不同的多個(gè)幀 的圖像數(shù)據(jù)進(jìn)行合成，生成合成圖像數(shù)據(jù)的步驟；以及顯示或記錄所述合成圖像數(shù)據(jù)的步 馬聚ο根據(jù)本發(fā)明，可在維持動態(tài)圖像的平滑的同時(shí)，顯示或記錄擴(kuò)展了動態(tài)范圍后的 圖像。


圖1是示出一個(gè)實(shí)施方式涉及的攝像裝置即數(shù)字照相機(jī)的結(jié)構(gòu)的框圖。圖2是示出合成處理電路的詳細(xì)結(jié)構(gòu)的框圖。
圖3是示出圖像處理電路的詳細(xì)結(jié)構(gòu)的框圖。圖4是示出由一個(gè)實(shí)施方式中的數(shù)字照相機(jī)執(zhí)行的處理內(nèi)容的流程圖。圖5是決定了被攝體亮度(LV)與曝光時(shí)間的關(guān)系的程序線圖。圖6是示出在對通過短時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比Ws與在對 通過長時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比W^的關(guān)系的一例的圖。圖7是示出在被攝體亮度是LV8的情況下的時(shí)序圖的圖。圖8是示出在被攝體亮度是LV7的情況下的時(shí)序圖的圖。圖9是示出在被攝體亮度是LV6. 5的情況下的時(shí)序圖的圖。圖10是示出在被攝體亮度是LV6的情況下的時(shí)序圖的圖。圖11是示出在被攝體亮度是LV5. 5的情況下的時(shí)序圖的圖。圖12是示出被攝體亮度與合成圖像的動態(tài)范圍的擴(kuò)展量的關(guān)系的圖。圖13是示出在基于動態(tài)圖像攝影模式的動態(tài)圖像攝影時(shí)、由一個(gè)實(shí)施方式中的 數(shù)字照相機(jī)執(zhí)行的處理內(nèi)容的流程圖。
具體實(shí)施例方式圖1是示出一個(gè)實(shí)施方式涉及的攝像裝置即數(shù)字照相機(jī)的結(jié)構(gòu)的框圖。該數(shù)字照 相機(jī)具有攝像部1，A/D轉(zhuǎn)換部2，微計(jì)算機(jī)3，RAM4, R0M5，合成處理電路6，圖像處理電路 7，操作部8，背面液晶監(jiān)視器9，電子取景器10 (EVFlO)，存儲器接口 11 (以下稱為接口 11)， 記錄介質(zhì)12，以及總線13。攝像部1由在構(gòu)成各像素的光電二極管的前面配置有多個(gè)濾色器的單板式彩色 攝像元件(以下簡稱為攝像元件)、攝影光學(xué)系統(tǒng)以及它們的驅(qū)動部等構(gòu)成。濾色器例如采 用拜爾排列來排列。拜爾排列是這樣構(gòu)成的具有在水平方向交替配置有R像素和G(Gr) 像素的行、和交替配置有G((ib)像素和B像素的行，而且在垂直方向也交替配置該2個(gè)行。 攝像元件通過使用構(gòu)成像素的光電二極管接收由未圖示的透鏡收集的光并進(jìn)行光電轉(zhuǎn)換， 將光的量作為電荷量輸出到A/D轉(zhuǎn)換部2。另外，攝像元件可以是CMOS方式的攝像元件，也 可以是CCD方式的攝像元件。并且，濾色器可以由拜爾排列以外的排列構(gòu)成，也可以由R、 G、B以外的顏色構(gòu)成。A/D轉(zhuǎn)換部2將從攝像部1所輸出的電信號轉(zhuǎn)換成數(shù)字圖像信號(以下稱為圖像 數(shù)據(jù))。微計(jì)算機(jī)3是進(jìn)行數(shù)字照相機(jī)的整體控制的控制部。例如，微計(jì)算機(jī)3進(jìn)行攝像 部1內(nèi)部的攝影光學(xué)系統(tǒng)的焦點(diǎn)控制和攝像元件的曝光控制、將圖像數(shù)據(jù)記錄在記錄介質(zhì) 12內(nèi)時(shí)的記錄控制、將圖像數(shù)據(jù)顯示在背面液晶監(jiān)視器9和EVFlO上時(shí)的顯示控制等。RAM4是暫時(shí)存儲有在A/D轉(zhuǎn)換部2中獲得的圖像數(shù)據(jù)、由后述的合成處理電路6 和圖像處理電路7處理后的圖像數(shù)據(jù)等的各種數(shù)據(jù)的存儲部。在R0M5內(nèi)存儲有數(shù)字照相 機(jī)的動作所需要的各種參數(shù)、決定在對多個(gè)圖像進(jìn)行合成時(shí)的合成比的合成比表、以及在 微計(jì)算機(jī)3執(zhí)行的各種程序。微計(jì)算機(jī)3根據(jù)存儲在R0M5內(nèi)的程序，從R0M5中讀入各種 順序需要的參數(shù)，執(zhí)行各處理。合成處理電路6通過對多個(gè)圖像數(shù)據(jù)進(jìn)行合成，生成合成圖像數(shù)據(jù)。在本實(shí)施方 式中，假定以下情況進(jìn)行說明合成處理電路6通過對曝光量不同的2個(gè)圖像數(shù)據(jù)進(jìn)行合成，生成擴(kuò)展了動態(tài)范圍的合成圖像。圖2是示出合成處理電路6的詳細(xì)結(jié)構(gòu)的框圖。合成處理電路6具有位置偏差量 檢測部21和合成部22。位置偏差量檢測部21檢測進(jìn)行合成處理的2個(gè)圖像數(shù)據(jù)間的位置偏差量。在圖2 所示的例子中，經(jīng)由總線13輸入的、按拜爾排列順序讀出的圖像數(shù)據(jù)由A/D轉(zhuǎn)換部2進(jìn)行 了 AD轉(zhuǎn)換后的圖像數(shù)據(jù)即拜爾數(shù)據(jù)1和拜爾數(shù)據(jù)2是進(jìn)行合成處理的2個(gè)圖像數(shù)據(jù)。該 2個(gè)圖像數(shù)據(jù)間的位置偏差量可使用已知方法來檢測。合成部22根據(jù)由位置偏差量檢測部21檢測出的拜爾數(shù)據(jù)1與拜爾數(shù)據(jù)2之間的 位置偏差量，校正2個(gè)圖像數(shù)據(jù)間的位置偏差量，之后在合成部22對2個(gè)圖像數(shù)據(jù)進(jìn)行合 成，從而生成合成圖像數(shù)據(jù)。在圖2所示的例子中，拜爾數(shù)據(jù)3是合成圖像數(shù)據(jù)。合成圖像 數(shù)據(jù)經(jīng)由總線13被發(fā)送到RAM4并被記錄在RAM4內(nèi)。圖像處理電路7對從RAM4讀出的圖像數(shù)據(jù)實(shí)施各種圖像處理。后面描述在圖像 處理電路7進(jìn)行的圖像處理的詳情。在圖像處理電路7被實(shí)施了圖像處理后的圖像數(shù)據(jù)經(jīng) 由接口 11被記錄在記錄介質(zhì)12內(nèi)。記錄介質(zhì)12是例如由可對數(shù)字照相機(jī)主體拆裝的存 儲卡構(gòu)成的記錄介質(zhì)，然而不限定于此。操作部8是電源按鈕、釋放按鈕、各種輸入鍵等的操作部件。通過由用戶對操作部 8的任一操作部件進(jìn)行操作，微計(jì)算機(jī)3執(zhí)行與用戶操作對應(yīng)的各種順序。電源按鈕是用于 進(jìn)行該數(shù)字照相機(jī)的電源的接通/斷開指示的操作部件。當(dāng)按下了電源按鈕時(shí)，微計(jì)算機(jī)3 接通或斷開該數(shù)字照相機(jī)的電源。釋放按鈕構(gòu)成為具有第一釋放開關(guān)和第二釋放開關(guān)的2 級開關(guān)。半按下釋放按鈕，在第一釋放開關(guān)接通的情況下，微計(jì)算機(jī)3進(jìn)行AE (自動曝光) 處理、AF(自動對焦)處理等的攝影準(zhǔn)備順序。并且，全按下釋放按鈕，在第二釋放開關(guān)接 通的情況下，微計(jì)算機(jī)3執(zhí)行攝影順序來進(jìn)行攝影?？偩€13是用于將在數(shù)字照相機(jī)內(nèi)部產(chǎn)生的各種數(shù)據(jù)傳送到數(shù)字照相機(jī)內(nèi)的各部 的傳送路徑?？偩€13與攝像部1、A/D轉(zhuǎn)換部2、微計(jì)算機(jī)3、RAM4、R0M5、合成處理電路6、 圖像處理電路7、操作部8、背面液晶監(jiān)視器9、EVFlO以及接口 11連接。圖3是示出圖像處理電路7的詳細(xì)結(jié)構(gòu)的框圖。圖像處理電路7具有降噪部(圖 中，NR部)31，白平衡校正部(圖中，WB部)32，同步處理部33，顏色轉(zhuǎn)換部34，灰度轉(zhuǎn)換部 35，YC轉(zhuǎn)換部36，邊緣提取部37，邊緣強(qiáng)調(diào)部38，加法部39，尺寸調(diào)整部40，JPEG壓縮部 41，以及JPEG解壓縮部42。降噪部31對存儲在RAM4內(nèi)的圖像數(shù)據(jù)進(jìn)行降低噪聲的處理。存儲在RAM4內(nèi)的圖 像數(shù)據(jù)，在合成處理電路6進(jìn)行了合成處理的情況下，是由合成圖像數(shù)據(jù)構(gòu)成的拜爾數(shù)據(jù)， 在未進(jìn)行合成處理的情況下，是由經(jīng)A/D轉(zhuǎn)換部2轉(zhuǎn)換后的圖像數(shù)據(jù)構(gòu)成的拜爾數(shù)據(jù)。該 噪聲降低處理例如是校正攝像元件的像素缺陷的處理、以及降低在攝像時(shí)產(chǎn)生的隨機(jī)噪聲 的處理。其中，可以進(jìn)行校正攝像元件的像素缺陷的處理、以及降低在攝像時(shí)產(chǎn)生的隨機(jī)噪 聲的處理中的至少一種處理，也可以進(jìn)行其它噪聲降低處理。白平衡校正部32進(jìn)行校正噪聲降低后的圖像數(shù)據(jù)的白平衡的處理。同步處理部33進(jìn)行從基于拜爾排列的圖像數(shù)據(jù)向按照每1像素由R、G、B的信息 構(gòu)成的圖像數(shù)據(jù)同步的處理。同步后的圖像數(shù)據(jù)在顏色轉(zhuǎn)換部34進(jìn)行預(yù)定的顏色轉(zhuǎn)換處 理，之后在灰度轉(zhuǎn)換部35進(jìn)行灰度轉(zhuǎn)換處理?；叶绒D(zhuǎn)換部35根據(jù)圖像的亮度分布，進(jìn)行適于處理對象的圖像的灰度轉(zhuǎn)換處理。YC轉(zhuǎn)換部36將灰度轉(zhuǎn)換處理后的圖像數(shù)據(jù)轉(zhuǎn)換成Y (亮度)信號和C (顏色)信 號。轉(zhuǎn)換后的Y信號被輸出到加法部39，C信號被輸出到尺寸調(diào)整部40。邊緣提取部37進(jìn)行從在降噪部31進(jìn)行了噪聲降低處理后的圖像數(shù)據(jù)中提取邊緣 的處理。邊緣強(qiáng)調(diào)部38進(jìn)行向在邊緣提取部37提取出的邊緣的數(shù)據(jù)乘以預(yù)定增益的邊緣 強(qiáng)調(diào)處理。加法部39對從YC轉(zhuǎn)換部36輸出的Y信號加上從邊緣強(qiáng)調(diào)部38輸出的邊緣數(shù)據(jù)。尺寸調(diào)整部40將從加法部39輸出的Y信號和從YC轉(zhuǎn)換部36輸出的C信號與記 錄或顯示時(shí)的圖像尺寸相符地進(jìn)行尺寸調(diào)整。JPEG壓縮部41對尺寸調(diào)整后的Y信號和C 信號進(jìn)行JPEG壓縮。JPEG壓縮后的數(shù)據(jù)經(jīng)由總線13，經(jīng)過接口 11被記錄在記錄介質(zhì)12 內(nèi)。JPEG解壓縮部42經(jīng)由總線13輸入記錄在記錄介質(zhì)12內(nèi)的JPEG壓縮數(shù)據(jù)，進(jìn)行返回 到壓縮前的狀態(tài)的解壓縮處理。圖4是示出由一個(gè)實(shí)施方式中的數(shù)字照相機(jī)執(zhí)行的處理內(nèi)容的流程圖。當(dāng)由用戶 按下數(shù)字照相機(jī)的電源按鈕、電源接通時(shí)，微計(jì)算機(jī)3開始步驟SlO的處理。在步驟SlO中，判定第一釋放開關(guān)是否接通。當(dāng)判定為第一釋放開關(guān)未接通時(shí)，進(jìn) 到步驟S20。步驟S20以后的處理是用于進(jìn)行所謂的實(shí)時(shí)瀏覽顯示的處理。在步驟S20中，進(jìn)行用于獲得攝影時(shí)的適當(dāng)曝光量的已知的AE處理。在步驟S30中，根據(jù)在步驟S20的AE處理時(shí)求出的被攝體亮度，判定是否要進(jìn)行 擴(kuò)展圖像的動態(tài)范圍的處理。使用圖5來說明該判定方法。圖5是決定了被攝體亮度(Lightness Value :LV，亮度值)與曝光時(shí)間(秒)的 關(guān)系的程序線圖。另外，曝光時(shí)間是不僅考慮被攝體亮度，而且考慮光圈和ISO感光度的值 來決定的，然而為了容易說明，這里假定光圈和一般表示為ISO值的ISO感光度固定為預(yù)定 值來進(jìn)行說明。在R0M5內(nèi)記錄有圖5所示的決定了被攝體亮度和曝光時(shí)間的關(guān)系的程序 線圖。另外，一般，在照相機(jī)的說明書和小冊子等中，有時(shí)表示與實(shí)際攝影中的曝光時(shí)間 不同的數(shù)值。例如，在曝光時(shí)間表示為1/125(秒)的情況下，實(shí)際的曝光時(shí)間為攝像幀速 率的倒數(shù)即1/120(秒)。在曝光時(shí)間表示為1/250(秒)的情況下，實(shí)際的曝光時(shí)間也為攝 像幀速率的倒數(shù)即1Λ40(秒)。S卩，在圖5中，采用依照一般的表示慣例的表示，然而實(shí)際 攝影中的曝光時(shí)間是攝像幀速率的倒數(shù)的值。實(shí)線51表示與被攝體亮度對應(yīng)的適當(dāng)?shù)臉?biāo)準(zhǔn)曝光時(shí)間。點(diǎn)線52表示以比標(biāo)準(zhǔn)曝 光時(shí)間短的曝光時(shí)間進(jìn)行攝影時(shí)的曝光時(shí)間，點(diǎn)線53表示以比標(biāo)準(zhǔn)曝光時(shí)間長的曝光時(shí) 間進(jìn)行攝影時(shí)的曝光時(shí)間。如后所述，這里，在被攝體亮度是LV6以上、且是上限被攝體亮 度的LV16以下的情況下，進(jìn)行擴(kuò)展動態(tài)范圍的處理，當(dāng)被攝體亮度小于LV6時(shí)，不進(jìn)行擴(kuò)展 動態(tài)范圍的處理。因此，在圖4的步驟S30中，根據(jù)被攝體亮度是否是LV6以上且LV16以下，判定是 否進(jìn)行擴(kuò)展圖像的動態(tài)范圍的處理。當(dāng)判定為進(jìn)行擴(kuò)展動態(tài)范圍的處理時(shí)，進(jìn)到步驟S50， 當(dāng)判定為不進(jìn)行時(shí)，進(jìn)到步驟S150。另外，如圖5所示，在將光圈和ISO感光度固定為預(yù)定值的情況下，根據(jù)被攝體亮 度決定包含實(shí)時(shí)瀏覽的動態(tài)圖像的幀速率。一般，當(dāng)被攝體亮度降低時(shí)，開放光圈，使ISO感光度上升到上限，當(dāng)被攝體亮度進(jìn)一步降低時(shí)，動態(tài)圖像的幀速率也降低。如圖5所示， 被攝體亮度是LV6以上對應(yīng)于攝像幀速率是60fps以上。由此，在圖4的步驟S30中，在攝 像幀速率是60fps以上、且被攝體亮度是LV16以下的情況下，可以判定為擴(kuò)展動態(tài)范圍。在步驟S50中，以比與被攝體亮度對應(yīng)的標(biāo)準(zhǔn)曝光時(shí)間短的曝光時(shí)間進(jìn)行攝影。 通過根據(jù)在步驟S20的AE處理時(shí)求出的被攝體亮度，參照圖5所示的程序線圖來求出比標(biāo) 準(zhǔn)曝光時(shí)間短的曝光時(shí)間。例如，在被攝體亮度是LV7的情況下，曝光時(shí)間為1/250秒。在步驟S60中，讀出通過步驟S50的攝影獲得的圖像數(shù)據(jù)。在步驟S70中，以比與被攝體亮度對應(yīng)的標(biāo)準(zhǔn)曝光時(shí)間長的曝光時(shí)間進(jìn)行攝影。 通過根據(jù)在步驟S20的AE處理時(shí)求出的被攝體亮度，參照圖5所示的程序線圖來求出比標(biāo) 準(zhǔn)曝光時(shí)間長的曝光時(shí)間。例如，在被攝體亮度是LV7的情況下，曝光時(shí)間為1/60秒。在步驟S80中，讀出通過步驟S70的攝影獲得的圖像數(shù)據(jù)。在步驟S90中，檢測在步驟S60讀出的圖像數(shù)據(jù)與在步驟S80讀出的圖像數(shù)據(jù)之 間的位置偏差量。該處理由合成處理電路6內(nèi)部的位置偏差量檢測部21進(jìn)行。在步驟SlOO中，計(jì)算在對通過短時(shí)間曝光獲得的圖像數(shù)據(jù)和通過長時(shí)間曝光獲 得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比。圖6是示出在對通過短時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比Ws與在對 通過長時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比I的關(guān)系的一例的圖。粗的點(diǎn)線61 表示在對通過長時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比I，細(xì)的點(diǎn)線62表示在對通 過短時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比Ws。在圖6中，Imax是可表現(xiàn)為圖像數(shù) 據(jù)的最大像素值。并且，設(shè)比標(biāo)準(zhǔn)曝光時(shí)間長的曝光時(shí)間為Exp (L)，設(shè)比標(biāo)準(zhǔn)曝光時(shí)間短的 曝光時(shí)間為Exp(S)，則Rexp由下式(1)表示。Rexp = Exp (S) /Exp (L) (1)如圖6所示，在像素值是ImaxXRexpXO. 5以下的情況下，合成比I是1.0。當(dāng)像 素值大于ImaxXRexpXO. 5時(shí)，合成比I逐漸小于1.0，當(dāng)像素值是ImaxXRexp以上時(shí)，合成 比\為0。并且，在像素值是ImaxXRexpXO. 5以下的情況下，合成比Ws是0，當(dāng)像素值大于 ImaxX RexpX 0. 5時(shí)，合成比Ws逐漸增大，當(dāng)像素值是Imax X Rexp以上時(shí)，合成比Ws為1. 0。在 R0M5內(nèi)存儲有圖6所示的決定了像素值和合成比的關(guān)系的合成比表。使用該合成比表，針 對每個(gè)像素，參照合成比表，從而計(jì)算在對通過短時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的 合成比Ws與在對通過長時(shí)間曝光獲得的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比I。在步驟SllO中，根據(jù)在步驟S90檢測出的位置偏差量，校正在步驟S60讀出的圖 像數(shù)據(jù)與在步驟S80讀出的圖像數(shù)據(jù)之間的位置偏差，執(zhí)行以在步驟SlOO計(jì)算出的合成 比對校正了位置偏差的圖像進(jìn)行合成的處理。設(shè)通過短時(shí)間曝光獲得的圖像數(shù)據(jù)的像素 為Is(χ，y)，設(shè)通過長時(shí)間曝光獲得的圖像數(shù)據(jù)的像素為IJx，y)，設(shè)2個(gè)圖像間的χ坐標(biāo) 方向的位置偏差量為dx，設(shè)y坐標(biāo)方向的位置偏差量為dy，則通過合成獲得的圖像的像素 Ic(x，y)由下式(2)表示。其中，Ws(Is(x，y))是與像素Is(x，y)對應(yīng)的合成比，WJUx+dx， y+dy))是與位置偏差校正后的圖像數(shù)據(jù)的像素lL(x+dx，y+dy)的合成比。Ic(X，y) = Is (X，y) Xffs (Is (x, y))+IL(x+dx, y+dy) XffL(IL(x+dx, y+dy)) X Rexp (2)根據(jù)式( 進(jìn)行全部像素的合成。之后，在下一步驟S120的處理前，進(jìn)行降噪部31的噪聲降低處理、白平衡校正部32的白平衡校正處理、同步處理部33的同步處理、顏色 轉(zhuǎn)換部34的顏色轉(zhuǎn)換處理、以及灰度轉(zhuǎn)換部35的灰度轉(zhuǎn)換處理。步驟S120和步驟S130的處理由YC轉(zhuǎn)換部36進(jìn)行。在步驟S120中，設(shè)定YC轉(zhuǎn) 換處理所需要的參數(shù)。在步驟S130中，使用在步驟S120所設(shè)定的參數(shù)，進(jìn)行YC轉(zhuǎn)換處理。 之后，進(jìn)行邊緣強(qiáng)調(diào)部38的邊緣強(qiáng)調(diào)處理和尺寸調(diào)整部40的尺寸調(diào)整處理。在步驟S140中，執(zhí)行將進(jìn)行了尺寸調(diào)整處理的圖像數(shù)據(jù)顯示在背面液晶監(jiān)視器9 和EVFlO上的處理。在步驟S150中，以與被攝體亮度對應(yīng)的標(biāo)準(zhǔn)曝光時(shí)間進(jìn)行攝影。通過參照圖5所 示的程序線圖來求出與被攝體亮度對應(yīng)的標(biāo)準(zhǔn)曝光時(shí)間。在步驟S160中，讀出通過步驟S150的攝影獲得的圖像數(shù)據(jù)。之后，進(jìn)行降噪部31 的噪聲降低處理、白平衡校正部32的白平衡校正處理、同步處理部33的同步處理、顏色轉(zhuǎn) 換部34的顏色轉(zhuǎn)換處理、以及灰度轉(zhuǎn)換部35的灰度轉(zhuǎn)換處理。另一方面，在步驟SlO中，由用戶半按下釋放按鈕，當(dāng)判定為第一釋放開關(guān)接通的 情況下，進(jìn)到步驟S170。在步驟S170中，判定第二釋放開關(guān)是否接通。由用戶全按下釋放 按鈕，當(dāng)判定為第二釋放開關(guān)未接通時(shí)，進(jìn)到步驟S40。步驟S180以后的處理是靜態(tài)圖像攝影時(shí)的處理。從步驟S180到步驟S260的處 理由于與從步驟S50到步驟S130的處理相同，因而省略詳細(xì)說明。在步驟S270中，利用JPEG壓縮部41，對通過YC轉(zhuǎn)換處理生成的Y信號和C信號 進(jìn)行JPEG壓縮。在步驟S280中，將JPEG壓縮后的數(shù)據(jù)經(jīng)由接口 11記錄在記錄介質(zhì)12內(nèi)。在步驟S290中，再次按下數(shù)字照相機(jī)的電源按鈕，判定電源是否斷開。當(dāng)判定為 電源未斷開時(shí)，回到步驟S10，重復(fù)進(jìn)行上述處理，直到電源斷開為止。另一方面，當(dāng)判定為 電源斷開時(shí)，結(jié)束流程圖的處理。接下來，說明按被攝體亮度從攝影到圖像顯示的時(shí)序圖。圖7是示出在被攝體亮度是LV8的情況下的時(shí)序圖的圖。如上所述，根據(jù)被攝體 亮度決定包含實(shí)時(shí)瀏覽的動態(tài)圖像的幀速率。如圖5所示，在被攝體亮度是LV8的情況下， 動態(tài)圖像的幀速率是60fps。即，攝像間隔是幀速率的倒數(shù)即1/60(秒)。參照圖5所示的程序線圖，在被攝體亮度是LV8的情況下，短曝光的曝光時(shí)間是 1/500 (秒)，長曝光的曝光時(shí)間是1/125 (秒)。如圖7所示，首先，進(jìn)行短曝光的攝影(Si)， 接下來，讀出通過攝影獲得的圖像數(shù)據(jù)(Rl)。接下來，在從短曝光的攝影(Si)起1/60(秒) 后，進(jìn)行長曝光的攝影(L2)，讀出通過攝影獲得的圖像數(shù)據(jù)(R2)。所讀出的2個(gè)圖像數(shù)據(jù)在合成處理電路6進(jìn)行合成處理(Cl2)，之后在圖像處理電 路7進(jìn)行圖像處理(IP12)，顯示在背面液晶監(jiān)視器9和EVFlO上(D12)。并且，在從長曝光的攝影(U)起1/60(秒)后，進(jìn)行短曝光的攝影(S3)，讀出通過 攝影獲得的圖像數(shù)據(jù)(舊)。在R2和R3所讀出的圖像數(shù)據(jù)在合成處理電路6進(jìn)行合成處理 (C23)，之后在圖像處理電路7進(jìn)行圖像處理(IP23)，顯示在背面液晶監(jiān)視器9和EVFlO上 (D23)。以后，重復(fù)進(jìn)行相同處理。由此，動態(tài)范圍被擴(kuò)展后的合成圖像顯示在背面液晶監(jiān) 視器9和EVFlO上。圖8是示出在被攝體亮度是LV7的情況下的時(shí)序圖的圖。如圖5所示，在被攝體亮度是LV7的情況下，動態(tài)圖像的幀速率也是60fps。即，攝像間隔是1/60(秒)。并且，參照 圖5所示的程序線圖，短曝光的曝光時(shí)間是1/250(秒)，長曝光的曝光時(shí)間是1/60(秒)。在該情況下，由于長曝光的曝光時(shí)間和攝像間隔相同，因而當(dāng)長曝光的攝影結(jié)束 時(shí)，立即開始短曝光的攝影。關(guān)于合成處理、圖像處理、圖像顯示的處理時(shí)刻，與圖7所示的 時(shí)序圖相同。圖9是示出在被攝體亮度是LV6. 5的情況下的時(shí)序圖的圖。如圖5所示，在被攝體 亮度是LV6. 5的情況下，動態(tài)圖像的幀速率也是60fps。即，攝像間隔是1/60(秒)。并且，參 照圖5所示的程序線圖，短曝光的曝光時(shí)間是1/125(秒)，長曝光的曝光時(shí)間是1/60(秒)。由于標(biāo)準(zhǔn)曝光時(shí)間隨著被攝體亮度降低而變長，因而長曝光的曝光時(shí)間也隨著被 攝體亮度降低而變長。不過，如圖5所示，當(dāng)被攝體亮度下降到LV7時(shí)，攝像間隔和長曝光 的曝光時(shí)間相同。因此，如圖5的程序線圖所示，在動態(tài)圖像的幀速率是60fps的條件下， 即使被攝體亮度小于LV7，也將長曝光的曝光時(shí)間維持在1/60(秒)，不比其長。另外，關(guān)于 合成處理、圖像處理、圖像顯示的處理時(shí)刻，與圖7和圖8所示的時(shí)序圖相同。圖10是示出在被攝體亮度是LV6的情況下的時(shí)序圖的圖。在被攝體亮度是LV6 的情況下，動態(tài)圖像的幀速率也是60fps。即，攝像間隔是1/60(秒)。并且，參照圖5所示 的程序線圖，短曝光的曝光時(shí)間是1/60(秒)，長曝光的曝光時(shí)間是1/60(秒)。與被攝體亮度對應(yīng)的標(biāo)準(zhǔn)曝光時(shí)間隨著被攝體亮度降低而變長，當(dāng)被攝體亮度下 降到LV6時(shí)，標(biāo)準(zhǔn)曝光時(shí)間是攝像幀速率的倒數(shù)即曝光時(shí)間1/60 (秒)。因此，在被攝體亮度 是從LV7到LV6期間，長曝光的曝光時(shí)間維持在攝像幀速率的倒數(shù)即曝光時(shí)間1/60 (秒)。 并且，在標(biāo)準(zhǔn)曝光時(shí)間與攝像幀速率的倒數(shù)即曝光時(shí)間1/60(秒)一致的被攝體亮度(LV6) 時(shí)，短曝光的曝光時(shí)間為1/60 (秒)。在該情況下，由于短曝光的曝光時(shí)間和長曝光的曝光時(shí)間相同，因而即使將2個(gè) 圖像進(jìn)行合成，動態(tài)范圍也不擴(kuò)展。圖11是示出在被攝體亮度是LV5. 5的情況下的時(shí)序圖的圖。如上所述，在圖5所 示的程序線圖中，設(shè)定成，當(dāng)被攝體亮度下降到LV6時(shí)，短曝光的曝光時(shí)間和長曝光的曝光 時(shí)間一致。因此，當(dāng)被攝體亮度小于LV6時(shí)，不進(jìn)行合成處理，進(jìn)行基于與被攝體亮度對應(yīng) 的標(biāo)準(zhǔn)曝光時(shí)間的攝影。如圖5所示，動態(tài)圖像的幀速率是30fps，攝像間隔是1/30(秒)。在該情況下，首先，進(jìn)行基于標(biāo)準(zhǔn)曝光時(shí)間的攝影(m)，讀出通過攝影獲得的圖像 數(shù)據(jù)(Rl)。所讀出的圖像數(shù)據(jù)在圖像處理電路7進(jìn)行圖像處理(IPl)，之后顯示在背面液 晶監(jiān)視器9和EVFlO上(Dl)。以后，重復(fù)進(jìn)行相同處理。圖12是示出被攝體亮度(LV =Light Value，亮度值)與合成圖像的動態(tài)范圍的擴(kuò) 展量(EV :Exposure Value，曝光值)的關(guān)系的圖。這里，“LV”、“EV”是為了容易計(jì)算曝光量而使用對應(yīng)的APEX法的方法來表現(xiàn)的。 并且，合成圖像的動態(tài)范圍的擴(kuò)展量是以通過基于標(biāo)準(zhǔn)曝光的攝影獲得的圖像的動態(tài)范圍 為基準(zhǔn)的擴(kuò)展量。例如，在被攝體亮度是LV8的情況下，參照圖5所示的程序線圖，標(biāo)準(zhǔn)曝光時(shí)間是 1/250 (秒)，短曝光時(shí)間是1/500 (秒)，長曝光時(shí)間是1/125 (秒)，因而針對標(biāo)準(zhǔn)曝光，動 態(tài)范圍在EV時(shí)擴(kuò)展2。如圖12所示，在一個(gè)實(shí)施方式中的由攝像裝置獲得的合成圖像中，對于通過基于標(biāo)準(zhǔn)曝光的攝影獲得的圖像的動態(tài)范圍，動態(tài)范圍最大以EV擴(kuò)展3。并且，對于被攝體亮度 的變化，動態(tài)范圍的擴(kuò)展量不會急劇變化，而是平滑變化。以上，根據(jù)一個(gè)實(shí)施方式中的攝像裝置，在被攝體亮度為預(yù)定亮度以上和攝像幀 速率為預(yù)定的幀速率以上中的任一方至少成立、且被攝體亮度為高于預(yù)定亮度的上限亮度 以下的情況下，判斷為擴(kuò)展圖像的動態(tài)范圍。然后，根據(jù)是否要擴(kuò)展動態(tài)范圍的判斷結(jié)果， 控制攝像元件的曝光，并在判斷為要擴(kuò)展動態(tài)范圍的情況下，對曝光時(shí)間不同的多個(gè)幀的 圖像數(shù)據(jù)進(jìn)行合成，生成合成圖像數(shù)據(jù)。由此，可在維持動態(tài)圖像的平滑的同時(shí)，顯示或記 錄擴(kuò)展了動態(tài)范圍后的圖像。即，在被攝體亮度不到預(yù)定亮度、或者攝像幀速率不到預(yù)定 的幀速率的情況下，不生成合成圖像，因而不會使動態(tài)圖像的幀速率下降，可進(jìn)行平滑的動 態(tài)圖像顯示。并且，在被攝體亮度是預(yù)定亮度以上、或者攝像幀速率是預(yù)定的幀速率以上、 且被攝體亮度是上限亮度以下的情況下，通過對曝光時(shí)間不同的多個(gè)幀的圖像數(shù)據(jù)進(jìn)行合 成，可生成擴(kuò)展了動態(tài)范圍后的圖像。并且，隨著被攝體亮度降低，逐漸增加長曝光圖像數(shù)據(jù)的曝光時(shí)間和短曝光圖像 數(shù)據(jù)的曝光時(shí)間，當(dāng)長曝光圖像數(shù)據(jù)的曝光時(shí)間與根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間 (攝像幀速率的倒數(shù))一致時(shí)，即使被攝體亮度進(jìn)一步降低，也仍使長曝光圖像數(shù)據(jù)的曝光 時(shí)間維持根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間。因而不會使動態(tài)圖像的幀速率下降，可進(jìn) 行平滑的動態(tài)圖像顯示。由此，不會使攝像幀速率下降，可生成擴(kuò)展了動態(tài)范圍后的圖像。 并且，可防止隨著被攝體亮度的下降、動態(tài)范圍急劇變化，可防止圖像的畫質(zhì)急劇變化。而且，隨著被攝體亮度降低，逐漸增加與被攝體亮度對應(yīng)的適當(dāng)曝光時(shí)間，使長曝 光圖像數(shù)據(jù)的曝光時(shí)間維持根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間，直到與被攝體亮度對應(yīng) 的適當(dāng)曝光時(shí)間與根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間(攝像幀速率的倒數(shù))一致為止。 由此，可更有效地防止隨著被攝體亮度的下降、動態(tài)范圍急劇變化，可防止圖像的畫質(zhì)急劇 變化。并且，隨著被攝體亮度降低，逐漸增加短曝光圖像數(shù)據(jù)的曝光時(shí)間，進(jìn)行控制，使 得在與被攝體亮度對應(yīng)的適當(dāng)曝光時(shí)間與根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間一致的被 攝體亮度中，短曝光圖像數(shù)據(jù)的曝光時(shí)間與根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間一致。由 此，可更有效地防止隨著被攝體亮度的下降、動態(tài)范圍急劇變化，可防止圖像的畫質(zhì)急劇變 化。另外，在上述的一個(gè)實(shí)施方式的說明中，作為攝像裝置進(jìn)行的處理以基于硬件的 處理為前提，然而無需限定于這樣的結(jié)構(gòu)。例如，也能是這樣的結(jié)構(gòu)使用計(jì)算機(jī)，單獨(dú)利用 軟件進(jìn)行處理。在該情況下，計(jì)算機(jī)具有CPU、RAM等的主存儲裝置、存儲有用于實(shí)現(xiàn)上述處 理的全部或一部分的程序的計(jì)算機(jī)可讀取的存儲介質(zhì)。這里，將該程序稱為攝像程序。然 后，CPU讀出存儲在上述存儲介質(zhì)內(nèi)的攝像程序，執(zhí)行信息的加工和運(yùn)算處理，從而實(shí)現(xiàn)與 上述的攝像裝置相同的處理。這里，計(jì)算機(jī)可讀取的存儲介質(zhì)是指磁盤、光磁盤、⑶-ROM、DVD-ROM、半導(dǎo)體存儲 器等。并且，可以將該攝像程序通過通信線路發(fā)布給計(jì)算機(jī)，接收到該發(fā)布的計(jì)算機(jī)可以執(zhí) 行該攝像程序。本發(fā)明不限定于上述的一個(gè)實(shí)施方式，可在不背離本發(fā)明主旨的范圍內(nèi)進(jìn)行各種 變型和應(yīng)用。例如，在圖4所示的流程圖中，說明了動態(tài)圖像顯示的一個(gè)方式即實(shí)時(shí)瀏覽顯示的處理流程，然而動態(tài)圖像攝影和記錄時(shí)的處理流程也大致相同。圖13是示出在基于動態(tài)圖像攝影模式的動態(tài)圖像攝影時(shí)、由一個(gè)實(shí)施方式中的 數(shù)字照相機(jī)執(zhí)行的處理內(nèi)容的流程圖。關(guān)于進(jìn)行與圖4所示的流程圖的處理相同處理的步 驟，附上相同標(biāo)號而省略詳細(xì)說明。當(dāng)由用戶按下了操作部8內(nèi)包含的動態(tài)圖像攝影開始 按鈕時(shí)，開始步驟S20的處理。從步驟S20到步驟S160的處理與圖4所示的流程圖的處理 相同。當(dāng)在步驟S140進(jìn)行了將圖像數(shù)據(jù)顯示在背面液晶監(jiān)視器9和EVFlO上的處理時(shí)，進(jìn) 到步驟S1300。在步驟S1300中，將進(jìn)行了在步驟S140之前的處理的圖像數(shù)據(jù)經(jīng)由接口 11 記錄在記錄介質(zhì)12內(nèi)。本申請主張基于在2010年1月15日提交到日本專利局的日本特願2010-007137 號的優(yōu)先權(quán)，該申請的全部內(nèi)容通過參照被納入到本說明書中。
權(quán)利要求
1.一種攝像裝置，其通過圖像合成生成擴(kuò)展了動態(tài)范圍的圖像，所述攝像裝置具有 攝像部，其通過對由攝像元件接收到的光束進(jìn)行光電轉(zhuǎn)換來獲得圖像數(shù)據(jù)；動態(tài)范圍擴(kuò)展判斷部，在被攝體亮度為預(yù)定亮度以上和攝像幀速率為預(yù)定幀速率以上 中的至少一方成立、且所述被攝體亮度為高于所述預(yù)定亮度的上限亮度以下的情況下，該 動態(tài)范圍擴(kuò)展判斷部判斷為要擴(kuò)展圖像的動態(tài)范圍；曝光控制部，其根據(jù)是否要擴(kuò)展所述動態(tài)范圍的判斷結(jié)果，控制所述攝像元件的曝光；圖像合成部，在判斷為要擴(kuò)展所述動態(tài)范圍的情況下，該圖像合成部對曝光時(shí)間不同 的多個(gè)幀的圖像數(shù)據(jù)進(jìn)行合成，生成合成圖像數(shù)據(jù)；以及 處理部，其顯示或記錄所述合成圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其中， 所述曝光控制部隨著所述被攝體亮度降低，逐漸增加曝光時(shí)間比與被攝體亮度對應(yīng)的適當(dāng)曝光時(shí)間長 的長曝光圖像數(shù)據(jù)的曝光時(shí)間和曝光時(shí)間比與被攝體亮度對應(yīng)的適當(dāng)曝光時(shí)間短的短曝 光圖像數(shù)據(jù)的曝光時(shí)間，當(dāng)所述長曝光圖像數(shù)據(jù)的曝光時(shí)間與根據(jù)攝像幀速率決定的預(yù)定 曝光時(shí)間一致時(shí)，即使所述被攝體亮度再降低，也仍使所述長曝光圖像數(shù)據(jù)的曝光時(shí)間維 持根據(jù)所述攝像幀速率決定的預(yù)定曝光時(shí)間。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 所述曝光控制部隨著所述被攝體亮度降低，逐漸增加與被攝體亮度對應(yīng)的適當(dāng)曝光時(shí)間，使所述長曝 光圖像數(shù)據(jù)的曝光時(shí)間維持根據(jù)所述攝像幀速率決定的預(yù)定曝光時(shí)間，直到所述適當(dāng)曝光 時(shí)間與根據(jù)所述攝像幀速率決定的預(yù)定曝光時(shí)間一致為止。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其中， 所述曝光控制部隨著所述被攝體亮度降低，逐漸增加所述短曝光圖像數(shù)據(jù)的曝光時(shí)間，并進(jìn)行控制，使 得在所述適當(dāng)曝光時(shí)間與根據(jù)所述攝像幀速率決定的預(yù)定曝光時(shí)間一致的被攝體亮度中， 所述短曝光圖像數(shù)據(jù)的曝光時(shí)間與根據(jù)所述攝像幀速率決定的預(yù)定曝光時(shí)間一致。
5.根據(jù)權(quán)利要求3所述的攝像裝置，其中，在根據(jù)所述被攝體亮度逐漸增加所述短曝光圖像數(shù)據(jù)的曝光時(shí)間，直到所述短曝光圖 像數(shù)據(jù)的曝光時(shí)間與根據(jù)攝像幀速率決定的預(yù)定曝光時(shí)間一致為止的情況下，按照擴(kuò)展所 述動態(tài)范圍的低亮度極限的亮度，使所述短曝光圖像數(shù)據(jù)的曝光時(shí)間與所述長曝光圖像數(shù) 據(jù)的曝光時(shí)間一致。
6.根據(jù)權(quán)利要求3所述的攝像裝置，其中，根據(jù)所述攝像幀速率決定的預(yù)定曝光時(shí)間 是成為所述攝像幀速率的倒數(shù)的時(shí)間。
7.根據(jù)權(quán)利要求3至權(quán)利要求6中的任一項(xiàng)所述的攝像裝置，其中，所述攝像裝置還具有合成比計(jì)算部，該合成比計(jì)算部計(jì)算在對所述曝光時(shí)間不同的多 個(gè)幀的圖像數(shù)據(jù)進(jìn)行合成時(shí)的合成比，所述圖像合成部根據(jù)由所述合成比計(jì)算部計(jì)算出的合成比，對所述多個(gè)幀的圖像數(shù)據(jù) 進(jìn)行合成。
8. 一種攝像方法，通過圖像合成生成擴(kuò)展了動態(tài)范圍的圖像，所述攝像方法具有以下 步驟通過對由攝像元件接收到的光束進(jìn)行光電轉(zhuǎn)換來獲得圖像數(shù)據(jù)的步驟； 在被攝體亮度為預(yù)定亮度以上和攝像幀速率為預(yù)定幀速率以上中的至少一方成立、且 所述被攝體亮度為高于所述預(yù)定亮度的上限亮度以下的情況下，判斷為要擴(kuò)展圖像的動態(tài) 范圍的步驟；根據(jù)是否要擴(kuò)展所述動態(tài)范圍的判斷結(jié)果，控制所述攝像元件的曝光的步驟； 在判斷為要擴(kuò)展所述動態(tài)范圍的情況下，對曝光時(shí)間不同的多個(gè)幀的圖像數(shù)據(jù)進(jìn)行合 成，生成合成圖像數(shù)據(jù)的步驟；以及顯示或記錄所述合成圖像數(shù)據(jù)的步驟。
全文摘要
本發(fā)明提供攝像裝置和攝像方法。在被攝體亮度低的情況下，當(dāng)生成擴(kuò)展了動態(tài)范圍的圖像時(shí)，到生成擴(kuò)展了動態(tài)范圍的圖像為止需要長時(shí)間。在圖像數(shù)據(jù)的值為預(yù)定值以上、或者攝像幀速率為預(yù)定的幀速率以上的情況下、而且在圖像數(shù)據(jù)的值為大于預(yù)定值的預(yù)定的上限值以下的情況下，判斷為要擴(kuò)展圖像的動態(tài)范圍。然后，在判斷為要擴(kuò)展動態(tài)范圍的情況下，對曝光時(shí)間不同的多個(gè)幀的圖像數(shù)據(jù)進(jìn)行合成，生成合成圖像數(shù)據(jù)，顯示或記錄合成圖像數(shù)據(jù)。
文檔編號H04N5/235GK102131056SQ201110005098
公開日2011年7月20日 申請日期2011年1月11日 優(yōu)先權(quán)日2010年1月15日
發(fā)明者豊田哲也 申請人:奧林巴斯映像株式會社