專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及圖像處理設(shè)備、圖像處理方法和用于圖像處理的計(jì)算機(jī)程序。
背景技術(shù)：
曰本未審查專利申請(qǐng)公開2005-354166號(hào)、2004-219765號(hào)(對(duì)應(yīng)于US7295232B2)、 2006-86933號(hào)(對(duì)應(yīng)于US 2006062433A1 )以及2006-174069號(hào)(對(duì)應(yīng)于US2006127084A1 )是現(xiàn)有技術(shù)的例子。
長(zhǎng)時(shí)間曝光技術(shù)作為攝影或圖像抓取技術(shù)是公知的。在此技術(shù)中，連續(xù)進(jìn)行曝光達(dá)諸如幾秒到幾十秒或甚至超過(guò)幾十分鐘的某一段時(shí)間。
長(zhǎng)時(shí)間曝光技術(shù)也#1用于提供攝影表現(xiàn)(photographic representation )以及調(diào)整對(duì)象的亮度。
例如，通過(guò)長(zhǎng)曝光時(shí)間抓取了夜景。由于光量低，增加曝光時(shí)間以收集足夠的光量來(lái)獲得夜景的拍攝。
長(zhǎng)時(shí)間曝光技術(shù)也可以被用于其他目的。例如，有意地將光圈設(shè)置得低或者降低圖像抓取靈敏度以表示對(duì)象的運(yùn)動(dòng)或者對(duì)焦多個(gè)運(yùn)動(dòng)物體之中的靜止物體。
諸如在長(zhǎng)時(shí)間曝光期間使用閃光(閃光設(shè)備)來(lái)實(shí)現(xiàn)諸如前簾(first-curtain )同步、后簾(second-curtain )同步和多閃光之類的各種效果的圖像抓取技術(shù)也是公知的。

發(fā)明內(nèi)容
然而，用戶難以使用長(zhǎng)時(shí)間曝光圖像抓取來(lái)獲得他們所期望的圖像。一些最新的圖像抓取設(shè)備(比如數(shù)碼相機(jī))被設(shè)計(jì)使得照相機(jī)在正常圖像抓取過(guò)程中進(jìn)行測(cè)量以確定合適的曝光設(shè)置(光圈和快門速度)。然而，在包含長(zhǎng)時(shí)間曝光的暗條件下，光線級(jí)別在由相機(jī)所確定的測(cè)量范圍之外，并且未提供曝光設(shè)置。在這些情況下，用戶需要根據(jù)其經(jīng)驗(yàn)和直覺來(lái)確定諸如曝光時(shí)間和快門時(shí)間之類的設(shè)置。在實(shí)踐中，這對(duì)于沒經(jīng)驗(yàn)的用戶是很困難的。
日本未審查專利申請(qǐng)公開2005-354166號(hào)公開了 一種用于使用組合處理來(lái)實(shí)現(xiàn)長(zhǎng)時(shí)間曝光的圖像效果的技術(shù)。
該技術(shù)包括在曝光期間作為由固態(tài)圖像抓取元件接收到的光的結(jié)果而正在產(chǎn)生的圖像的實(shí)時(shí)觀察、在曝光期間分割地產(chǎn)生的圖像抓取后的多個(gè)圖像的選擇和組合、以及在曝光期間不希望的圖像的去除。
該技術(shù)使用在對(duì)象不運(yùn)動(dòng)(幾乎不存在運(yùn)動(dòng)或者由于曝光時(shí)間足夠長(zhǎng)，因此即使對(duì)象運(yùn)動(dòng)，也沒有運(yùn)動(dòng)模糊發(fā)生)的圖像抓取條件下的長(zhǎng)時(shí)間曝光攝影來(lái)提供滿意的圖像。這對(duì)于使用長(zhǎng)時(shí)間曝光抓取諸如夜景的非運(yùn)動(dòng)場(chǎng)景是有效的。
然而，當(dāng)用戶希望抓取運(yùn)動(dòng)對(duì)象的靜止圖像，例如表示對(duì)象的運(yùn)動(dòng)的圖像或者其中在多個(gè)運(yùn)動(dòng)的物體中對(duì)焦靜止的物體的圖像時(shí)，難以獲得喜愛的圖像。
也難以獲得通過(guò)在曝光期間去除不希望的圖像來(lái)提供運(yùn)動(dòng)的平滑表示的靜止圖像(比如當(dāng)周圍由經(jīng)過(guò)的車輛的前燈照亮?xí)r所抓取的夜景的圖像)。
盡管使用以上所述的前簾同步、后簾同步和多閃光效果作為攝影或者圖像抓取呈現(xiàn)技術(shù)，但是用戶需要根據(jù)其經(jīng)驗(yàn)和直覺來(lái)確定諸如快門時(shí)間、曝光時(shí)間和閃光量的設(shè)置，以便獲得他們希望的圖像。這對(duì)于沒有經(jīng)驗(yàn)的用戶也是很難的。
由于實(shí)際上在公共空間中存在諸如博物館的"禁止閃光"的環(huán)境，因此可能不能獲得具有諸如前簾同步、后簾同步和多閃光的效果的圖像。
此外，由于閃光(firing a flash)消耗功率，因此需要用于閃光的電池或者電容器。這可能約束設(shè)備尺寸、功率消耗和成本的降低。
此外，在長(zhǎng)時(shí)間曝光期間經(jīng)常需要使用三腳架來(lái)支撐照相機(jī)以防止相機(jī)移動(dòng)。因此拍攝者或用戶除了照相機(jī)主體之外還要購(gòu)買諸如三腳架之類的附件，并且還要攜帶這些附件。對(duì)于用戶來(lái)說(shuō)，照相機(jī)和附件的運(yùn)送將成為負(fù)擔(dān)，使得用戶對(duì)準(zhǔn)備長(zhǎng)曝光時(shí)間的抓取圖像感到氣餒。
5此外，在長(zhǎng)時(shí)間曝光期間，對(duì)象的運(yùn)動(dòng)、相機(jī)抖動(dòng)等可能引起抓取的圖
像中的所有運(yùn)動(dòng)圖像的模糊。因此，難以獲得用于抓取希望的圖像的充分圖像抓取條件。
此外，在長(zhǎng)時(shí)間曝光圖像抓取期間，例如，另一個(gè)拍攝者的閃光或者來(lái)自經(jīng)過(guò)的車輛的瞬間照明將不能提供滿意的合成圖像。
因此希望允許不是專家的 一般用戶容易地實(shí)現(xiàn)各種圖像效果，具體地，與長(zhǎng)時(shí)間曝光效果類似的圖像效果或者諸如前簾同步、后簾同步和多閃光之類的使用長(zhǎng)時(shí)間曝光實(shí)現(xiàn)的圖像效果。還希望允許用戶容易地獲得他們希望的圖像。
在本發(fā)明的實(shí)施例中，圖像處理設(shè)備包括預(yù)組合處理單元，被配置以
進(jìn)行預(yù)組合處理，使得在時(shí)間上具有連續(xù)性的圖像數(shù)據(jù)的多個(gè)幀被用作要組
合的組合使用圖像數(shù)據(jù)；操作檢測(cè)單元，被配置以檢測(cè)用于組合處理的操作輸入信息；存儲(chǔ)單元，被配置以存儲(chǔ)每個(gè)具有被分配給幀的圖像數(shù)據(jù)的加權(quán)系數(shù)的樣式的系數(shù)模板；模板管理單元，被配置以根據(jù)由操作檢測(cè)單元檢測(cè)的操作輸入信息來(lái)選擇存儲(chǔ)單元中所存儲(chǔ)的系數(shù)模板中之一；以及組合處理單元，被配置以使用由模板管理單元選擇的系數(shù)模板對(duì)預(yù)組合處理中獲得的多個(gè)幀的組合使用圖像數(shù)據(jù)進(jìn)行組合處理，以生成表示靜止圖像的組合圖像數(shù)據(jù)。
系數(shù)模板可以包括具有其中高的加權(quán)系數(shù)分配給連續(xù)幀中的起始幀并且其中低的加權(quán)系數(shù)分配給剩余幀的加權(quán)系數(shù)的樣式的系數(shù)模板。即，獲得了用于實(shí)現(xiàn)前簾同步效果的加權(quán)系數(shù)樣式。
系數(shù)模板可以包含具有高的加權(quán)系數(shù)分配給連續(xù)幀中的末尾幀而低的加權(quán)系數(shù)分配給剩余幀的加權(quán)系數(shù)的樣式的系數(shù)模板。即，獲得了用于實(shí)現(xiàn)后簾同步效果的加權(quán)系數(shù)樣式。
系數(shù)模板可以包含具有高加權(quán)系數(shù)和低加權(quán)系數(shù)被周期性地分配給連續(xù)幀的加權(quán)系數(shù)的樣式的系數(shù)模板。即，獲得了用于實(shí)現(xiàn)多閃光效果的加權(quán)系數(shù)樣式。
在預(yù)組合處理中，預(yù)組合處理單元可以獲得記錄在記錄介質(zhì)上的、具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)，并且可以將所獲得的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)。
該圖像處理設(shè)備還可以包括圖像抓取單元，其被配置為抓取對(duì)象的圖
6像以獲得圖像數(shù)據(jù)；以及記錄回放單元，其被配置為將圖像抓取單元獲得的圖像數(shù)據(jù)記錄到記錄介質(zhì)上，以及從該記錄介質(zhì)回放圖像抓取單元獲得的圖像數(shù)據(jù)。在預(yù)組合處理中，預(yù)組合處理單元可以從記錄在記錄介質(zhì)上的多幀圖像數(shù)據(jù)檢測(cè)多個(gè)連續(xù)或間斷幀的圖像數(shù)據(jù)，并且可以將檢測(cè)到的多個(gè)連續(xù)或間斷幀的圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)。
該圖像處理設(shè)備還可以包括顯示控制單元，其被配置為生成用于從所述系數(shù)模板選擇系數(shù)模板的顯示數(shù)據(jù)并且將生成的顯示數(shù)據(jù)輸出為用于顯示的圖像數(shù)據(jù)。
該顯示控制單元可以生成用于從所述系數(shù)模板選擇系數(shù)模板的顯示數(shù)據(jù)，以便于包含使用所示的系數(shù)模板而取得組合效果的圖像，并且將生成的顯示數(shù)據(jù)輸出為用于顯示的圖像數(shù)據(jù)。
在本發(fā)明的另一實(shí)施例中，圖像處理方法包括以下步驟執(zhí)行預(yù)組合處理，以便于將具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)；檢測(cè)用于組合處理的操作輸入信息；根據(jù)操作輸入信息選擇一個(gè)系數(shù)模板，其中，每一個(gè)系數(shù)才莫板均被存儲(chǔ)為分配給幀圖像數(shù)據(jù)的加權(quán)系數(shù)的樣式；以及使用所選擇的系凄M莫板，對(duì)預(yù)組合處理中獲得的多幀的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以便于生成表示靜止圖像的經(jīng)組合圖像數(shù)據(jù)。
在本發(fā)明的再另 一實(shí)施例中，程序使得運(yùn)算處理設(shè)備執(zhí)行上述步驟。
在本發(fā)明的實(shí)施例中，組合具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)，即已經(jīng)以影片方式抓取的圖像數(shù)據(jù)的序列，以獲得應(yīng)用了長(zhǎng)時(shí)間曝光效果的組合圖像。
在此情況下，首先，在預(yù)組合處理中，獲得多幀圖像數(shù)據(jù)作為組合使用的圖像數(shù)據(jù)。例如，通過(guò)圖像抓取操作獲得的圖像數(shù)據(jù)、或者使用用戶的設(shè)備或任意其他設(shè)備抓取的并被記錄到某個(gè)記錄介質(zhì)上的圖像數(shù)據(jù)的序列可以用作組合使用的圖像數(shù)據(jù)。
在組合處理中，用戶進(jìn)行操作輸入以選擇系數(shù)模板。系數(shù)模板被存儲(chǔ)為適合于諸如前簾同步效果、后簾同步效果、和多閃光效果之類的各種效果的加權(quán)系數(shù)的樣式。
在組合處理中，使用所選擇的系數(shù)模板進(jìn)行組合處理。具體地，在系數(shù)模板中指定的加權(quán)系數(shù)被分配給多幀的組合使用圖像數(shù)據(jù)，以便產(chǎn)生表示靜止圖像的組合圖像數(shù)據(jù)。因此，用戶可以僅通過(guò)選擇系數(shù)模板就獲得具有所希望的效果的圖像?？梢栽诎ㄖT如數(shù)碼相機(jī)之類的圖像抓取設(shè)備和諸如個(gè)人計(jì)算機(jī)之類的處理方法。
因此，根據(jù)本發(fā)明的實(shí)施例， 一般用戶可以容易地獲得類似于長(zhǎng)時(shí)間曝光和其他特定效果的、可能僅由相關(guān)技術(shù)中的專家實(shí)現(xiàn)的圖像效果和在現(xiàn)有技術(shù)的圖像抓取中還不能實(shí)現(xiàn)的圖像效果。例如，可以促進(jìn)增強(qiáng)的攝影表現(xiàn)或者更有創(chuàng)造性的攝影表現(xiàn)，具體地，在組合處理中，用戶可以僅通過(guò)選擇系數(shù)模板就獲得具有希望的效果的圖像。因此，與使用高性能圖像抓取技術(shù)而獲得的圖像等效的圖像。
另外，作為用于幫助選擇系數(shù)模板的輸出圖像向用戶顯示其中示出了使用系數(shù)模板實(shí)現(xiàn)的組合效果的圖像。因此，即使不熟悉各種高性能圖像抓取技術(shù)的用戶也能夠容易地獲得該技術(shù)的效果。


圖1是根據(jù)本發(fā)明的實(shí)施例的圖像抓取設(shè)備的框圖2A和圖2B分別是根據(jù)所述實(shí)施例的圖像抓取設(shè)備的外部前視圖和后
視圖3是示出根據(jù)所述實(shí)施例的圖像抓取設(shè)備中的中央處理單元(CPU)的功能性結(jié)構(gòu)的框圖4是示出根據(jù)所述實(shí)施例的圖像抓取設(shè)備的模式操作的圖5是示出根據(jù)所述實(shí)施例的圖像抓取設(shè)備的相機(jī)模式處理的流程圖6是示出使用根據(jù)所述實(shí)施例的圖像抓取設(shè)備抓取的圖像的圖7是示出根據(jù)所述實(shí)施例的組合預(yù)備處理的流程圖8是示出根據(jù)所述實(shí)施例的組合處理的流程圖9是示出根據(jù)所述實(shí)施例的調(diào)節(jié)處理的流程圖IO是示出根據(jù)所述實(shí)施例的、在回放開始時(shí)獲得的組合工作圖像的
圖11是示出根據(jù)所述實(shí)施例的、當(dāng)指定組合開始位置時(shí)獲得的組合工作圖像的圖12是示出根據(jù)所述實(shí)施例的、當(dāng)指定組合結(jié)束位置時(shí)獲得的組合工作圖像的圖； '圖13是示出在根據(jù)所述實(shí)施例的調(diào)節(jié)處理中的初始狀態(tài)下獲得的組合
工作圖像(具有長(zhǎng)時(shí)間曝光效果)的圖14是示出根據(jù)所述實(shí)施例的、當(dāng)改變加權(quán)系數(shù)以便實(shí)現(xiàn)前簾同步效果時(shí)獲得的組合工作圖像的圖15是示出根據(jù)所述實(shí)施例的、當(dāng)在圖14中所示的狀態(tài)中改變組合范圍時(shí)獲得的組合工作圖像的圖16是示出根據(jù)所述實(shí)施例的、當(dāng)改變加權(quán)系數(shù)以便實(shí)現(xiàn)后簾同步效果時(shí)獲得的組合工作圖像的圖17是示出根據(jù)所述實(shí)施例的、當(dāng)在圖16中所示的狀態(tài)中改變組合范圍時(shí)獲得的組合工作圖像的圖18是示出根據(jù)所述實(shí)施例的、當(dāng)改變加權(quán)系數(shù)以便實(shí)現(xiàn)多閃光效果時(shí)獲得的組合工作圖像的圖19是示出根據(jù)所述實(shí)施例的、用于在調(diào)節(jié)處理中在改變之前顯示所組合圖像的示例性處理的流程圖20是示出根據(jù)所述實(shí)施例的、當(dāng)在調(diào)節(jié)處理中顯示改變之前的所組合圖像時(shí)獲得的組合工作圖像的圖21是示出根據(jù)所述實(shí)施例的系數(shù)模板選擇屏幕的圖22是示出根據(jù)所述實(shí)施例的、使用系數(shù)模板的示例性處理的流程圖23是示出根據(jù)所述實(shí)施例的、在圖像抓取期間的系數(shù)模板選擇屏幕的
圖24A到圖24D是示出根據(jù)所述實(shí)施例的、在使用電子快門和不使用電子快門的情況下獲得的組合圖像的圖25A到圖25D是示出根據(jù)所迷實(shí)施例的曝光調(diào)節(jié)控制方法的示例的
圖26A到圖26D是示出根據(jù)所述實(shí)施例的、優(yōu)選地使用除了電子快門之外的功能的曝光調(diào)節(jié)控制方法的圖27是示出根據(jù)所述實(shí)施例的、優(yōu)選地使用除了電子快門之外的功能的曝光調(diào)節(jié)控制的流程圖28A到圖28D是示出根據(jù)所述實(shí)施例的、以固定幀速使用分開曝光而獲得的組合圖像的圖29A到圖29C是示出根據(jù)所述實(shí)施例的、以固定幀速使用分開曝光的幀的產(chǎn)生的圖30A到圖30D是示出根據(jù)所述實(shí)施例的、使用連續(xù)和不連續(xù)曝光時(shí)間
獲得的組合圖像的圖31A到圖31C是示出根據(jù)所述實(shí)施例的可變幀速操作的圖32A到圖32D是示出根據(jù)所述實(shí)施例的、使用可變幀速的曝光調(diào)節(jié)方
法的圖33是示出根據(jù)所述實(shí)施例的、使用可變幀速的曝光調(diào)節(jié)控制的流程
圖34A到圖34D是示出根據(jù)所述實(shí)施例的、在使用幀間內(nèi)插和不使用幀
間內(nèi)插的情況下獲得的組合圖像的圖35A和圖35B是示出根據(jù)所述實(shí)施例的幀間內(nèi)插的圖36是示出根據(jù)所述實(shí)施例的、包括幀內(nèi)插的示例性處理的流程圖37是示出根據(jù)所迷實(shí)施例的、當(dāng)執(zhí)行閃光去除(flashremoval)時(shí)獲
得的組合工作圖像的圖38是示出根據(jù)所述實(shí)施例的、包括閃光去除的示例性處理的流程圖； 圖39是示出根據(jù)所述實(shí)施例的、當(dāng)執(zhí)行閃光校正(flash correction )時(shí)
獲得的組合工作圖像的圖40是示出根據(jù)所述實(shí)施例的、包括閃光校正的示例性處理的流程圖41是示出根據(jù)所述實(shí)施例的組合工作圖像的圖42是示出根據(jù)所述實(shí)施例的、當(dāng)實(shí)現(xiàn)多閃光效果時(shí)獲得的組合工作圖
像的圖43是示出根據(jù)所述實(shí)施例的、當(dāng)執(zhí)行基于距離的閃光校正時(shí)獲得的組 合工作圖像的圖44是示出根據(jù)所述實(shí)施例的、包括基于距離的閃光校正的示例性處理 的流程圖45是示出根據(jù)所述實(shí)施例的、對(duì)于全部圖像執(zhí)行基于距離的校正時(shí)獲 得的組合工作圖像的圖46是示出根據(jù)所述實(shí)施例的、當(dāng)組合閃光圖像時(shí)獲得的組合工作圖像 的圖； '
圖47是示出根據(jù)所述實(shí)施例的、當(dāng)執(zhí)行基于距離的閃光校正時(shí)獲得的組 合工作圖像的圖；圖48A到圖48C是示出根據(jù)所述實(shí)施例的、其中出現(xiàn)模糊的組合圖像的
圖49是示出根據(jù)所述實(shí)施例的、其中顯示受相機(jī)抖動(dòng)影響的組合圖像的 組合工作圖像的圖50是示出根據(jù)所述實(shí)施例的、其中顯示相機(jī)抖動(dòng)校正之后的組合圖像 的組合工作圖像的圖51是示出根據(jù)所述實(shí)施例的、其中顯示相機(jī)抖動(dòng)校正之后應(yīng)用了多閃 光效果的組合圖像的組合工作圖像的圖52是示出根據(jù)所述實(shí)施例的、包括相機(jī)抖動(dòng)校正的示例性處理的流程
圖53是示出根據(jù)所述實(shí)施例的、其中顯示受對(duì)象模糊影響的組合圖像的 組合工作圖像的圖54是示出根據(jù)所述實(shí)施例的、包括對(duì)象模糊校正的示例性處理的流程
圖55是示出根據(jù)所述實(shí)施例的、包括相機(jī)抖動(dòng)校正和對(duì)象模糊校正的示 例性處理的流程圖56是示出根據(jù)所述實(shí)施例的、包括相機(jī)抖動(dòng)校正和對(duì)象模糊校正的另 一示例性處理的流程圖；以及
圖57是示出根據(jù)本發(fā)明的實(shí)施例的信息處理設(shè)備的示例結(jié)構(gòu)的示意具體實(shí)施例方式
在下文中將以如下順序描述
具體實(shí)施例方式
1、 圖像抓取設(shè)備的結(jié)構(gòu)
2、 操作模式
3、 相機(jī)模式處理
4、 組合模式處理 4-1:組合預(yù)備處理 4-2:組合處理
4-3:使用改變之前和之后的顯示圖像的示例性調(diào)節(jié)處理
5、 基于模板的處理
6 、以固定幀速的圖像抓取操作7、以可變幀速的圖形抓取操作8、示例性組合模式處理幀內(nèi)插
9、示例性組合模式處理閃光去除/校正
10、示例性組合模式處理:基于距離的校正
11、示例性組合模式處理模糊校正
12、信息處理設(shè)備
1、圖像抓取設(shè)備的結(jié)構(gòu)
現(xiàn)在將參照?qǐng)D1到圖3，在數(shù)碼相機(jī)的結(jié)構(gòu)的情況下，描述根據(jù)本發(fā)明 的實(shí)施例的圖像抓取設(shè)備的結(jié)構(gòu)。
圖2A和2B分別是根據(jù)本發(fā)明的實(shí)施例的圖像抓取設(shè)備1的外部前視圖 和后視圖。如圖2A和2B所示，圖像抓取設(shè)備1可以是例如非專業(yè)的普通用 戶經(jīng)常使用的數(shù)碼相機(jī)。
圖像抓取設(shè)備l包括位于其前側(cè)的圖像抓取鏡頭單元21a和閃光單元15 以及位于其后側(cè)的顯示面板6。顯示面板6可以是液晶面板、有機(jī)電致發(fā)光 (EL)面板等。圖像抓取設(shè)備l進(jìn)一步包括用于用戶操作的合適位置處的操 作器(operator)。例如，操作鍵5a、 5b、 5c、 5d、 5f和5g用作提供多種操作 功能的按鍵，包括快門操作鍵、模式操作鍵、廣角/遠(yuǎn)距操作鍵、菜單操作鍵、 曝光校正指示鍵和回放鍵。還放置了其他操作器，包括轉(zhuǎn)盤操作單元5h和十 字鍵(cross key) 5i。轉(zhuǎn)盤操作單元5h用于例如圖像抓取模式的選擇等。十 字鍵5i用于諸如顯示面板6上顯示的操作菜單條目的選擇/設(shè)置之類的多種操 作。
將參照例如圖1,描述圖像抓取設(shè)備l的示例結(jié)構(gòu)。
如圖l所示，圖像抓取設(shè)備l包括圖像抓取系統(tǒng)2、控制系統(tǒng)3、相機(jī)數(shù) 字信號(hào)處理器(DSP) 4、操作單元5、顯示面板6、顯示控制器7、外部接口 (I/F) 8、同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM) 9和介質(zhì)接口 10。
圖像抓取系統(tǒng)2被配置為執(zhí)行圖像抓取操作。圖像抓取系統(tǒng)2包括鏡頭 機(jī)構(gòu)單元21、光圈/中性密度(ND, neutral density)濾光片機(jī)構(gòu)22、圖像抓 取元件單元23、模擬信號(hào)處理單元24、模擬數(shù)字(A/D)轉(zhuǎn)換單元25、鏡頭 驅(qū)動(dòng)單元26、鏡頭位置檢測(cè)單元27、定時(shí)產(chǎn)生電路28、才莫糊檢測(cè)單元13、 發(fā)光驅(qū)動(dòng)單元14、閃光單元15、鏡頭驅(qū)動(dòng)器17、光圈/ND驅(qū)動(dòng)器18和圖像抓取元件驅(qū)動(dòng)器19。
通過(guò)鏡頭機(jī)構(gòu)單元21和光圈/ND濾光片機(jī)構(gòu)22將來(lái)自對(duì)象的入射光引 至圖像抓取元件單元23 。
鏡頭機(jī)構(gòu)單元21被集成到圖2A中所示的圖像抓取鏡頭單元21a中，并 且具有多個(gè)光學(xué)透鏡，包括保護(hù)鏡頭(cover lens )、對(duì)焦鏡頭和變焦鏡頭。鏡 頭驅(qū)動(dòng)單元26用作將對(duì)焦鏡頭或變焦鏡頭沿光軸移動(dòng)的鏡頭移動(dòng)機(jī)構(gòu)。當(dāng)通 過(guò)使用鏡頭驅(qū)動(dòng)器17來(lái)施加驅(qū)動(dòng)功率時(shí)，鏡頭驅(qū)動(dòng)單元26移動(dòng)對(duì)焦鏡頭或 變焦鏡頭。由中央處理單元(CPU) 31 (這將在下面描述)來(lái)控制鏡頭驅(qū)動(dòng) 器17以執(zhí)行對(duì)焦控制或變焦操作。
光圏/ND濾光片機(jī)構(gòu)22包括光圈機(jī)構(gòu)和被插入到鏡頭光學(xué)系統(tǒng)中以減 弱(調(diào)節(jié))入射光量的ND濾光片機(jī)構(gòu)。光圈/ND濾光片機(jī)構(gòu)22被配置為調(diào) 節(jié)光強(qiáng)。
光圈/ND驅(qū)動(dòng)器18通過(guò)開啟和關(guān)閉光圈機(jī)構(gòu)來(lái)調(diào)節(jié)入射光量。光圈/ND 驅(qū)動(dòng)器18還通過(guò)插入和去除沿入射光的光軸的ND濾光片來(lái)調(diào)節(jié)入射光量。 CPU 31控制光圈/ND驅(qū)動(dòng)器18以驅(qū)動(dòng)光圈機(jī)構(gòu)或ND濾光片來(lái)控制入射光 量(或執(zhí)行曝光調(diào)節(jié)控制)。
通過(guò)鏡頭機(jī)構(gòu)單元21和光圈/ND濾光片機(jī)構(gòu)22來(lái)傳送來(lái)自對(duì)象的光通 量(light flux )，并且在圖像抓取元件單元23上形成對(duì)象圖像。
圖像抓取元件單元23光電地轉(zhuǎn)換所形成的對(duì)象圖像，并輸出與對(duì)象圖像 對(duì)應(yīng)的所抓取的圖像信號(hào)。
圖像抓取元件單元23具有由多個(gè)像素形成的矩形圖像抓取區(qū)域，并且在 逐個(gè)像素的基礎(chǔ)上，順序地將圖像信號(hào)輸出到模擬信號(hào)處理單元24，所述圖 像信號(hào)的每一個(gè)均為與像素之一中累積的電荷量相對(duì)應(yīng)的模擬信號(hào)。圖像抓 取元件單元23可以由例如電荷耦合裝置(CCD )傳感器陣列、互補(bǔ)金屬氧化 物半導(dǎo)體(CMOS)傳感器陣列等實(shí)施。
模擬信號(hào)處理單元24包括諸如相關(guān)雙采樣(CDS )電路和自動(dòng)增益控制 (AGC)電路之類的內(nèi)部電路。模擬信號(hào)處理單元24對(duì)從圖像抓取元件單元 23輸入的圖像信號(hào)執(zhí)行預(yù)定的模擬處理。
A/D轉(zhuǎn)換單元25將模擬信號(hào)處理單元24處理的模擬信號(hào)轉(zhuǎn)換為數(shù)字信 號(hào)，并將數(shù)字信號(hào)提供到相機(jī)DSP4。
由CPU31控制定時(shí)產(chǎn)生電路28以控制圖像抓取元件單元23、模擬信號(hào)
13處理單元24和A/D轉(zhuǎn)換單元25的操作的定時(shí)。
具體地說(shuō)，定時(shí)產(chǎn)生電路28通過(guò)圖像抓取元件驅(qū)動(dòng)器19將用于控制圖 像抓取元件單元23的圖像抓取搡作的定時(shí)的信號(hào)(如，曝光/電荷讀定時(shí)信 號(hào)、用于提供電子快門功能的定時(shí)信號(hào)、傳送時(shí)鐘信號(hào)和根據(jù)幀速的同步信 號(hào))提供到圖像抓取元件單元23。定時(shí)產(chǎn)生電路28還將定時(shí)信號(hào)提供到模 擬信號(hào)處理單元24以便模擬信號(hào)處理單元24可以與來(lái)自圖像抓取元件單元 23的圖像信號(hào)的傳送相同步地執(zhí)行處理。
CPU 31可以控制由定時(shí)產(chǎn)生電路2 8產(chǎn)生的定時(shí)信號(hào)，以改變用于圖像 抓取的幀速或者執(zhí)行電子快門控制(曝光時(shí)間的幀內(nèi)可變控制)。此外，例如, CPU 31可以通過(guò)定時(shí)產(chǎn)生電路28將增益控制信號(hào)施加于模擬信號(hào)處理單元 24,以執(zhí)行所抓取圖像信號(hào)的可變?cè)鲆婵刂啤?br> 模糊沖全測(cè)單元13被配置為檢測(cè)相機(jī)抖動(dòng)的量。模糊檢測(cè)單元23由例如 加速傳感器(acceleration sensor )、振動(dòng)傳感器等形成，并將檢測(cè)到的信息作 為模糊量提供到CPU 31。
閃光單元15由發(fā)光驅(qū)動(dòng)單元14驅(qū)動(dòng)以發(fā)光。CPU 31指示發(fā)光驅(qū)動(dòng)單元 14在用戶操作等中指定的預(yù)定時(shí)間處閃光，以便可以從閃光單元15發(fā)出光。
相機(jī)DSP 4對(duì)從圖像抓取系統(tǒng)2的A/D轉(zhuǎn)換單元25輸入的所抓取的圖 像信號(hào)執(zhí)行多種數(shù)字信號(hào)處理。
在相機(jī)DSP4中，例如，如圖l所示，諸如圖像信號(hào)處理單元41、壓縮 /解壓縮處理單元42、 SDRAM控制器43和信息產(chǎn)生單元44之類的處理功能 由內(nèi)部硬件或軟件實(shí)施。
圖像信號(hào)處理單元41對(duì)輸入的所抓取的圖像信號(hào)執(zhí)行處理。例如，圖像 信號(hào)處理單元41使用所抓取的圖像信號(hào)執(zhí)行用于控制圖像抓取系統(tǒng)2的驅(qū)動(dòng) 的算術(shù)處理，如自動(dòng)對(duì)焦處理和自動(dòng)光圈(auto-iris)(自動(dòng)曝光(AE))處理， 并且還執(zhí)行用于輸入的所抓取圖像信號(hào)本身的處理，如自動(dòng)白平衡(AWB) 處理。
例如，在自動(dòng)對(duì)焦處理，圖像信號(hào)處理單元41執(zhí)行輸入的所抓取圖像信 號(hào)的對(duì)比度檢測(cè)，并將檢測(cè)到的信息發(fā)送到CPU 31。作為自動(dòng)對(duì)焦控制方法， 多種控制技術(shù)都是可用的。在所謂的對(duì)比度AF技術(shù)中，在強(qiáng)行移動(dòng)對(duì)焦鏡 頭的情況下，在每一個(gè)時(shí)間點(diǎn)執(zhí)行所抓取圖像信號(hào)的對(duì)比度檢測(cè)，并確定在 最佳對(duì)比度狀態(tài)中對(duì)焦鏡頭的位置。具體地說(shuō)，在圖像抓取操作之前，CPU 31執(zhí)行控制以便檢查圖像信號(hào)處理單元41檢測(cè)到的對(duì)比度檢測(cè)值，同時(shí)控制對(duì) 焦鏡頭的移動(dòng)，并且將最佳對(duì)比度狀態(tài)處的位置設(shè)置為最佳對(duì)焦位置。
在圖像抓取期間，CPU 31可以使用所謂的擺動(dòng)AF ( wobbling AF )的檢 測(cè)方法來(lái)執(zhí)行對(duì)焦控制。在圖像抓取操作期間，CPU31檢查由圖像信號(hào)處理 單元41檢測(cè)到的對(duì)比度檢測(cè)值，同時(shí)使對(duì)焦鏡頭不斷輕微地前后移動(dòng)。盡管 對(duì)焦鏡頭的最佳位置可能根據(jù)對(duì)象的狀況而變化，但是通過(guò)輕微地前后移動(dòng) 對(duì)焦鏡頭的位置可以執(zhí)行對(duì)比度檢測(cè)，由此根據(jù)對(duì)象的改變來(lái)確定對(duì)焦控制 方向中的改變。因此，可以根據(jù)對(duì)象情形來(lái)執(zhí)行自動(dòng)對(duì)焦。
注意，鏡頭驅(qū)動(dòng)單元26中的鏡頭移動(dòng)機(jī)構(gòu)被分配用于各個(gè)移動(dòng)位置的地 址，并且使用移動(dòng)位置的地址來(lái)識(shí)別鏡頭位置。
鏡頭位置檢測(cè)單元27識(shí)別對(duì)焦鏡頭的當(dāng)前鏡頭位置的地址，以計(jì)算到焦 點(diǎn)對(duì)準(zhǔn)對(duì)象(in-focus subject)的距離，并將關(guān)于計(jì)算出的距離的距離信息提 供到CPU31。因此，CPU31可以確定到焦點(diǎn)對(duì)準(zhǔn)的主要對(duì)象的距離。
在由相機(jī)DSP4的圖像信號(hào)處理單元41執(zhí)行的自動(dòng)光圈處理中，例如， 計(jì)算對(duì)象亮度。例如，計(jì)算輸入的所抓取的圖像信號(hào)的平均亮度，并且將關(guān) 于計(jì)算出的平均亮度的對(duì)象亮度信息或曝光信息提供到CPU31。可以使用多 種方法來(lái)計(jì)算平均亮度，如計(jì)算所抓取圖像數(shù)據(jù)的一幀的所有像素的亮度信 號(hào)的平均值，或者計(jì)算當(dāng) 一權(quán)重被分配到圖像的中央部分時(shí)亮度信號(hào)的平均 值。
CPU31可以基于曝光信息來(lái)執(zhí)行自動(dòng)曝光控制。具體地說(shuō)，使用光圈機(jī) 構(gòu)、ND濾光片、圖像抓取單元23中的電子快門控制或用于模擬信號(hào)處理單 元24的增益控制來(lái)執(zhí)行曝光調(diào)節(jié)。
除了產(chǎn)生用于自動(dòng)對(duì)焦操作和自動(dòng)光圈操作的信號(hào)的處理之外，相機(jī) DSP4的圖像信號(hào)處理單元41還執(zhí)行對(duì)所抓取圖像信號(hào)本身的信號(hào)處理，如 自動(dòng)白平衡、伽瑪(Y )校正、邊緣增強(qiáng)和相機(jī)抖動(dòng)校正。
相機(jī)DSP 4中的壓縮/解壓縮處理單元42對(duì)所抓取的圖像信號(hào)執(zhí)行壓縮 處理，或者對(duì)經(jīng)壓縮的圖像數(shù)據(jù)執(zhí)行解壓縮處理。例如，壓縮/解壓縮處理單 元42根據(jù)諸如聯(lián)合圖像專家組(JPEG)或運(yùn)動(dòng)圖像專家組(MPEG)技術(shù)之 類的技術(shù)來(lái)執(zhí)行壓縮處理/解壓縮處理。
SDRAM控制器43執(zhí)行對(duì)SDRAM 9的寫/讀。SDRAM 9用于例如臨時(shí) 存儲(chǔ)從圖像抓取系統(tǒng)2輸入的所抓取的圖像信號(hào)、在圖像信號(hào)處理單元41或壓縮/解壓縮處理單元42執(zhí)行的處理中存儲(chǔ)數(shù)據(jù)或保留工作區(qū)域、或者存儲(chǔ)
由信息產(chǎn)生單元44獲得的信息。SDRAM控制器43對(duì)SDRAM 9執(zhí)行這種數(shù) 據(jù)的寫/讀。
信息產(chǎn)生單元44在下面描述的組合處理中產(chǎn)生用于多種操作的信息。例 如，信息產(chǎn)生單元44產(chǎn)生表示到所抓取的圖像信號(hào)屏幕中的對(duì)象的距離的距 離分布信息。距離分布信息可以是例如關(guān)于以像素為單位到該對(duì)象的距離以 及到主要對(duì)象的距離的信息。所述信息還可以被稱為深度圖。
在上述擺動(dòng)AF等期間，通過(guò)分析模糊量可以執(zhí)行用于產(chǎn)生距離分布信 息的基于像素的距離信息的確定?？商娲兀梢蕴峁┍慌渲脼榘l(fā)射具有非 可見光的特定波長(zhǎng)的輔助光的發(fā)光單元(未示出)，并且可以測(cè)量在其期間特
對(duì)象的距離。
控制系統(tǒng)3包括CPU31、隨機(jī)存取存儲(chǔ)器(RAM) 32、閃速只讀存儲(chǔ) 器(ROM) 33和時(shí)鐘電路34?？刂葡到y(tǒng)3中的每一個(gè)單元、相機(jī)DSP4中 的每一個(gè)單元、圖像抓取系統(tǒng)2中的每一個(gè)單元、顯示控制器7、外部接口 8 和介質(zhì)"l妻口 ( media interface ) l(M皮配置為經(jīng)由系統(tǒng)總線;波此傳送圖像數(shù)據(jù)或 控制信息。
CPU31控制圖像抓取設(shè)備1的整體操作。具體地說(shuō)，CPU31根據(jù)內(nèi)部 ROM等中存儲(chǔ)的程序以及根據(jù)使用操作單元5的用戶操作來(lái)執(zhí)行多種算術(shù)處 理或與對(duì)應(yīng)單元交換控制信號(hào)等，以便使所述單元執(zhí)行必要的操作。CPU 31 還執(zhí)行用于下面描述的圖像組合的進(jìn)一步處理，如算術(shù)處理和圖像分析處理。
RAM32臨時(shí)存儲(chǔ)由相機(jī)DSP4處理的所抓取的圖像信號(hào)(每一幀的圖 像數(shù)據(jù))，或者存儲(chǔ)用于下面描述的組合處理的圖像數(shù)據(jù)以及與CPU 31的多 種處理對(duì)應(yīng)的其他信息。
閃速ROM33用于存儲(chǔ)要以非易失性方式保存的、表示所抓取的圖像(已 經(jīng)由用戶作為靜止圖像或運(yùn)動(dòng)圖像抓取)的圖像數(shù)據(jù)或其他信息。閃速ROM 33還可以用于存儲(chǔ)控制圖像抓取設(shè)備1的軟件程序、相機(jī)設(shè)置數(shù)據(jù)等。閃速 ROM 33還用于存儲(chǔ)下面描述的組合處理所使用的系數(shù);模板。
時(shí)鐘電路34執(zhí)行時(shí)間計(jì)數(shù)，以確定當(dāng)前時(shí)間信息(年、月、日、時(shí)、分 和秒)。
操作單元5包括圖2A和2B所示的操作器以及用于根據(jù)操作器的操作產(chǎn)
16生信號(hào)的信號(hào)產(chǎn)生單元。將基于操作器的用戶操作信息從操作單元5傳送到
CPU 31。
操作單元5可以被配置為允許觸摸面板操作以及使用操作器的操作。具 體地說(shuō)，可以向顯示面板6提供觸摸傳感器，以便可以響應(yīng)于用戶對(duì)屏幕的 觸摸來(lái)執(zhí)行操作輸入。
在CPU 31的控制之下，顯示控制器7使顯示面板6執(zhí)行必要的顯示操 作。顯示面板6上的顯示操作的示例可以包括監(jiān)視器的顯示(所謂的實(shí)況視 圖顯示或運(yùn)動(dòng)圖像/靜止圖像抓取監(jiān)視器的顯示)、從記錄介質(zhì)90或閃速ROM 33讀取的回放圖像的顯示、操作菜單的顯示、多種圖標(biāo)的顯示、時(shí)間和曰期 的顯示以及關(guān)于下面描述的組合處理的顯示。
在CPU31的控制之下，介質(zhì)接口 IO執(zhí)行對(duì)記錄介質(zhì)90 (如，置于圖像 抓取設(shè)備l中的存儲(chǔ)卡(卡型可拆卸存儲(chǔ)器))的數(shù)據(jù)的讀/寫。例如，介質(zhì) 接口 10執(zhí)行將作為圖像抓取結(jié)果獲得的靜止圖像數(shù)據(jù)或運(yùn)動(dòng)圖像數(shù)據(jù)記錄 到記錄介質(zhì)90上的操作。介質(zhì)接口 10進(jìn)一步執(zhí)行從記錄介質(zhì)90讀取用于下 面描述的組合處理的圖像數(shù)據(jù)的操作。
雖然作為示例，記錄介質(zhì)90作為便攜式存儲(chǔ)卡來(lái)實(shí)施，但是記錄介質(zhì) 卯也可以是記錄要作為圖像抓取的結(jié)果保存的靜止圖像或運(yùn)動(dòng)圖像的圖像數(shù) 據(jù)的任何其他記錄介質(zhì)。例如，可以使用便攜式盤介質(zhì)(如光盤)，或者可以 集成硬盤驅(qū)動(dòng)器(HDD)并用于記錄。
外部接口 8根據(jù)一信號(hào)標(biāo)準(zhǔn)(如通用串行總線(USB )標(biāo)準(zhǔn))、經(jīng)由預(yù)定 線纜向外部裝置發(fā)送多種數(shù)據(jù)，或者從外部裝置接收多種數(shù)據(jù)。外部接口 8 可以是遵從除了 USB之外的標(biāo)準(zhǔn)(如電氣和電子工程師協(xié)會(huì)(正EE) 1394 標(biāo)準(zhǔn))的外部接口。
代替有線傳送接口，外部接口 8可以是無(wú)線傳送接口 (如紅外傳送接口 或近場(chǎng)通4言4妻口 )。
圖像抓取設(shè)備1被配置為經(jīng)由外部接口 8向個(gè)人計(jì)算機(jī)或其他多種裝置 發(fā)送數(shù)據(jù)，或者從個(gè)人計(jì)算機(jī)或其他多種裝置接收數(shù)據(jù)。例如，圖像抓取設(shè) 備1可以將所抓取的圖像數(shù)據(jù)或作為組合處理的結(jié)果荻得的圖像數(shù)據(jù)傳送到 外部裝置。
在本實(shí)施例的圖像抓取設(shè)備1中，CPU31根據(jù)在其中存儲(chǔ)的程序，執(zhí)行 圖像抓取操作控制或算術(shù)處理以及對(duì)于下面描述的多種操作的控制。圖3示出了由CPU 31的算術(shù)處理實(shí)施的操作功能。具體地說(shuō)，將圖像抓取控制單元
51、預(yù)組合處理單元52、組合處理單元53、記錄/回放/傳送控制單元54、操 作檢測(cè)單元55、顯示控制單元56和模板管理單元57形成為軟件功能塊。
圖像抓取控制單元51執(zhí)行圖像抓取操作控制。具體地說(shuō)，圖像抓取控制 單元51控制圖像抓取系統(tǒng)2中或相機(jī)DSP4中的每一個(gè)單元以抓取對(duì)象圖 像。圖像抓取控制單元51執(zhí)行其他處理，如自動(dòng)對(duì)焦處理、自動(dòng)曝光調(diào)節(jié)處 理和閃光控制處理。
預(yù)組合處理單元52可以執(zhí)行預(yù)組合處理，以便將用于下面描述的組合處 理的、具有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)用作待組合的圖像數(shù)據(jù)(在下文 中，稱為"組合使用圖像數(shù)據(jù)，，)。例如，預(yù)組合處理單元52可以獲得在記錄 介質(zhì)90上記錄的、具有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)，并使用所獲得的多 個(gè)幀的圖像數(shù)據(jù)作為組合使用圖像數(shù)據(jù)。術(shù)語(yǔ)"具有時(shí)間連續(xù)性的多個(gè)幀的 圖像數(shù)據(jù)"指的是可以從通過(guò)一系列時(shí)間連續(xù)圖像抓取動(dòng)作獲得的多個(gè)幀中 提取的圖像數(shù)據(jù)的多個(gè)連續(xù)或間斷的幀。預(yù)組合處理單元52可以獲得從外部 裝置提供的圖像數(shù)據(jù)的序列作為用于組合處理的目標(biāo)。
預(yù)組合處理單元52可以對(duì)用作組合使用圖像數(shù)據(jù)的、具有時(shí)間連續(xù)性的 多個(gè)幀的圖像數(shù)據(jù)中的每一個(gè)的圖像數(shù)據(jù)進(jìn)一步執(zhí)行亮度調(diào)節(jié)處理。亮度調(diào) 節(jié)處理可以是均衡用作組合使用圖像數(shù)據(jù)的所有或部分幀的圖像數(shù)據(jù)的圖像 數(shù)據(jù)的平均亮度級(jí)別的處理。特別地，在不使用閃光的情況下抓取的圖像數(shù) 據(jù)的幀可以從用作組合使用圖像數(shù)據(jù)的多個(gè)幀的圖像數(shù)據(jù)之中提取，并且可 以均衡所提取的圖像數(shù)據(jù)的平均亮度級(jí)別。
組合處理單元53根據(jù)操作輸入信息，可以對(duì)由預(yù)組合處理單元52在預(yù) 組合處理中獲得的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以便產(chǎn)生表示靜止圖像 的組合圖像數(shù)據(jù)。
例如，組合處理單元53可以對(duì)具有時(shí)間連續(xù)性的組合使用圖像數(shù)據(jù)之 中，由操作輸入信息指定的時(shí)間軸上的范圍內(nèi)的多個(gè)幀的組合使用圖像數(shù)據(jù) 執(zhí)行組合處理，以便產(chǎn)生表示靜止圖像的組合圖像數(shù)據(jù)。
此外，組合處理單元53可以使用由操作輸入信息指定的加權(quán)系數(shù)、對(duì)多 個(gè)幀中的每一個(gè)的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以便產(chǎn)生表示靜止圖像 的組合圖像數(shù)據(jù)。
組合處理單元53可以使用經(jīng)加權(quán)的平均值、對(duì)多個(gè)幀中的每一個(gè)的組合
18使用圖像數(shù)據(jù)進(jìn)一步執(zhí)行組合處理，以便產(chǎn)生表示靜止圖像的組合圖像數(shù)據(jù)。
除了上述處理之外，組合處理單元53可以執(zhí)行用于下面描述的多種組合
處理的算術(shù)運(yùn)算。
記錄/回放/傳送控制單元54指示介質(zhì)接口 10控制從記錄介質(zhì)90的讀取 或向記錄介質(zhì)90的寫入。例如，記錄/回放/傳送控制單元54可以指示介質(zhì)接 口 10:記錄介質(zhì)90上記錄的、具有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)被讀取， 以便被預(yù)組合處理單元52獲得。
記錄/回放/傳送控制單元54可以進(jìn)一步執(zhí)行將組合處理單元53產(chǎn)生的組 合圖像數(shù)據(jù)記錄在記錄介質(zhì)90上的處理或經(jīng)由外部接口 8將組合圖像數(shù)據(jù)傳 送到外部裝置的處理。
操作檢測(cè)單元55檢測(cè)由用戶提供的操作輸入信息。具體地說(shuō)，操作檢測(cè) 單元55檢測(cè)來(lái)自操作單元5的輸入信息?；诓僮?全測(cè)單元55檢測(cè)到的操 作輸入信息，執(zhí)行圖像抓取控制單元51中的圖像抓取操作控制、預(yù)組合處理 單元52中的預(yù)組合處理、組合處理單元53中的組合處理以及記錄/回放/傳送 控制單元54中的控制處理。
顯示控制單元56指示顯示控制器7執(zhí)行顯示面板6上的必要顯示。例如， 執(zhí)行圖像抓取或回放圖像的顯示期間的監(jiān)視器顯示。
在組合處理單元53的組合處理中，顯示控制單元56產(chǎn)生組合工作圖像 數(shù)據(jù)并將其輸出到顯示控制器7，以在顯示面板6上顯示組合工作圖像。
組合工作圖像數(shù)據(jù)可以是包括包含在預(yù)組合處理中獲得的多個(gè)幀的組合 使用圖像數(shù)據(jù)的回放運(yùn)動(dòng)圖像、用于指定時(shí)間軸上的范圍的圖4象(所述范圍 是在多個(gè)幀的組合使用圖像數(shù)據(jù)之中在組合處理中使用的組合使用圖像數(shù)據(jù) 的范圍)、包括加權(quán)系數(shù)(其每一個(gè)被分配到多個(gè)幀中之一的組合使用圖像數(shù) 據(jù))的表現(xiàn)的圖像、以及在使用多個(gè)幀的組合使用圖像數(shù)據(jù)執(zhí)行的組合處理 中產(chǎn)生的組合圖像(如作為組合處理的結(jié)果獲得的預(yù)覽圖像)的顯示數(shù)據(jù)。 當(dāng)執(zhí)行給定的組合處理時(shí)，顯示控制單元56可以進(jìn)一步產(chǎn)生組合工作圖像數(shù) 據(jù)，以^_包括在給定組合處理之前和之后獲得的圖像二者，并且可以將產(chǎn)生 的組合工作圖像數(shù)據(jù)輸出到顯示控制器7以在顯示面板6上顯示對(duì)應(yīng)的圖像。
顯示控制單元56可以進(jìn)一步將組合處理中最終產(chǎn)生的組合圖像數(shù)據(jù)輸 出到顯示控制器7作為用于顯示的圖像數(shù)據(jù)，并且可以在顯示面板6上顯示 對(duì)應(yīng)的圖像。^f莫板管理單元57 ^皮配置為管理準(zhǔn)備的系數(shù);f莫板以簡(jiǎn)化組合處理中的用 戶操作，并且選擇系數(shù)模板。
如下面描述的那樣，可以將加權(quán)系數(shù)分配到待組合的多個(gè)幀的圖像數(shù)據(jù) 中的每一個(gè)。例如，創(chuàng)建用于實(shí)現(xiàn)諸如前簾同步效果、后簾同步效果和多閃 光效果之類的圖像效果的加權(quán)系數(shù)樣式(pattern)作為在例如閃速ROM33 等中存儲(chǔ)的模板。在諸如當(dāng)操作檢測(cè)單元55檢測(cè)到用戶操作時(shí)或者當(dāng)通過(guò)使 用顯示控制單元56顯示來(lái)自模板的用于選擇的圖像時(shí)之類的情況下，模板管 理單元57根據(jù)用戶操作執(zhí)行選擇系數(shù)模板的處理并將所選擇的系數(shù)模板發(fā) 送到組合處理單元53，以便所選擇的系數(shù)模板可以用在組合處理中。
2、操作模式
圖4示出了本實(shí)施例的圖像抓取設(shè)備1的操作模式。在本實(shí)施例的圖像 抓取設(shè)備1中，根據(jù)用戶操作，將操作模式改變到相機(jī)模式、回放模式和組 合模式。在實(shí)踐中，可以提供諸如允許與外部裝置通信的通信模式之類的其 他模式，為了說(shuō)明的簡(jiǎn)化而將其省略。
相機(jī)模式是在其中圖像抓取系統(tǒng)2執(zhí)行圖像抓取的模式。也就是說(shuō)，相
機(jī)模式是在其中用戶使用相機(jī)正常抓取圖像的操作模式。在相機(jī)模式中，如 圖4所示的多種圖像抓取模式都是可用的。
組合模式圖像抓取是在其中抓取用于在下面描述的組合處理的圖像的圖 像抓取模式，這是本實(shí)施例特有的操作。抓取具有時(shí)間連續(xù)性的多個(gè)幀，并 且將多個(gè)幀的圖fJt據(jù)記錄在記錄介質(zhì)90上。
在下面的描述中，在圖像抓取操作中，將作為圖像抓取的結(jié)果獲得的圖 像數(shù)據(jù)存儲(chǔ)在記錄介質(zhì)90上。圖像數(shù)據(jù)可以存儲(chǔ)在閃速ROM33中，而非記 錄介質(zhì)卯中?？梢允褂昧硪环N操作方法，其中將圖像數(shù)據(jù)正常地記錄在記錄 介質(zhì)卯上，并且在沒有^:置記錄介質(zhì)90時(shí)將其記錄在閃速ROM 33中。
自動(dòng)模式是在其中使用圖像抓取設(shè)備l自動(dòng)地執(zhí)行諸如光圈值、快門速 度和國(guó)際標(biāo)準(zhǔn)化組織(ISO)靈敏度之類的最佳設(shè)置的圖像抓取模式。
人像模式是在其中使用對(duì)于提供人的拍攝來(lái)說(shuō)最佳的設(shè)置來(lái)執(zhí)行圖像抓 取的圖像抓取模式。
風(fēng)景模式是在其中使用對(duì)于提供風(fēng)景的拍攝來(lái)說(shuō)最佳的設(shè)置來(lái)執(zhí)行圖像 抓取的圖像抓取模式。微距模式(macro mode)是在其中使用對(duì)于提供比通常更接近于相機(jī)的 對(duì)象的拍攝來(lái)說(shuō)最佳的設(shè)置來(lái)執(zhí)行圖像抓取的圖像抓取模式。可以提供特殊 的微距模式，即用于提供花和昆蟲的清楚且生動(dòng)的微距拍攝的自然微距模式。
運(yùn)動(dòng)模式是在其中使用對(duì)于提供動(dòng)作的拍攝來(lái)說(shuō)最佳的設(shè)置來(lái)執(zhí)行圖像 抓取的圖像抓取模式。
日落景象模式是在其中使用對(duì)于提供日落景象的拍攝來(lái)說(shuō)最佳的設(shè)置來(lái) 執(zhí)行圖像抓取的圖像抓取模式。 一
夜景模式是在其中使用對(duì)于提供夜景的拍攝來(lái)說(shuō)最佳的設(shè)置來(lái)執(zhí)行圖像 抓取的圖像抓取模式。
影片模式是在其中抓取運(yùn)動(dòng)圖像的圖像抓取模式。
可以提供其他模式，如適用于在夜景中提供人的拍攝的夜間人像模式以 及適用于提供焰火的拍攝的焰火模式。
在設(shè)置相機(jī)模式之后，用戶從上述圖像抓取模式之中選擇期望的圖像抓 取模式，由此執(zhí)行圖像抓取操作以獲得適用于對(duì)象類別或情形的所抓取的圖 像。
為了獲得具有特殊效果(如下面描述的長(zhǎng)時(shí)間曝光效果、前簾同步效果、 后簾同步效果或多閃光效果)的圖像，在后面的組合處理中，用戶執(zhí)行組合
模式圖像抓取以創(chuàng)建具有期望效果的圖像。
在相機(jī)模式中，CPU31中的圖像抓取控制單元51、操作檢測(cè)單元55、 顯示控制單元56和記錄/回放/傳送控制單元54彼此配合以控制圖像抓取系統(tǒng) 2,并控制記錄操作和顯示操作以抓取圖像，顯示所抓取的圖像數(shù)據(jù)的圖像， 并記錄所抓取的圖像數(shù)據(jù)。
回放模式是在其中回放所抓取的、記錄在記錄介質(zhì)90上或閃速ROM 33 中的圖像的操作模式。
根據(jù)用戶操作，CPU 31執(zhí)行控制以讀取記錄在記錄介質(zhì)90或閃速ROM 33中的圖像，回放并且在顯示面板6上顯示圖像。
在回放模式中，CPU31中的操作檢測(cè)單元55、顯示控制單元56和記錄 /回放/傳送控制單元54彼此配合以控制回放操作和顯示操作，以執(zhí)行圖像數(shù) 據(jù)的顯示等。
組合模式是在其中具有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)用作組合使用圖 像數(shù)據(jù)以執(zhí)行組合處理的操作模式。CPU31根據(jù)用戶操作前進(jìn)到(advance)
21組合處理。
在組合模式中，在步驟ST1和ST2， CPU31執(zhí)行預(yù)組合處理。首先，在 步驟STl, CPU31執(zhí)行目標(biāo)圖像選擇/獲取處理。例如，選擇在組合模式圖像 抓取中抓取的、具有時(shí)間連續(xù)性的圖像數(shù)據(jù)的序列，并將其獲取為組合處理 中使用的組合使用圖像數(shù)據(jù)。
在步驟ST2, CPU31執(zhí)行組合預(yù)備處理。如下面描述的那樣，組合預(yù)備 處理是用于執(zhí)行例如所獲取的圖像數(shù)據(jù)的序列的亮度調(diào)節(jié)(曝光調(diào)節(jié))并均 衡圖像數(shù)據(jù)的所述序列的圖像數(shù)據(jù)元素的亮度狀態(tài)，以便圖像數(shù)據(jù)元素變?yōu)?處于適于組合處理的狀態(tài)的處理。
在步驟ST1和ST2中的預(yù)組合處理已經(jīng)完成之后，在步驟ST3, CPU31 執(zhí)行組合處理。在這種情況下，CPU31根據(jù)用戶操作、使用組合使用圖像數(shù) 據(jù)的序列，前進(jìn)到組合處理。還將在下面詳細(xì)地描述該組合處理。
當(dāng)使用組合處理產(chǎn)生作為組合的最終結(jié)果的組合圖像數(shù)據(jù)時(shí)，在步驟 ST4， CPU31執(zhí)行組合圖像記錄處理。
具體地說(shuō)，CPU31通過(guò)介質(zhì)接口 IO將使用組合處理產(chǎn)生的組合圖像數(shù) 據(jù)記錄在記錄介質(zhì)90上。可替代地，可以將組合圖像數(shù)據(jù)記錄在閃速ROM33 中。因此，其后，用戶可以如期望的那樣回放組合圖像。
CPU31還可以將組合圖像數(shù)據(jù)發(fā)送到與外部接口 8連接的外部裝置。因 此，例如，可以將組合圖像數(shù)據(jù)記錄在預(yù)定的記錄介質(zhì)上，或者可以使用外 部裝置來(lái)顯示和輸出對(duì)應(yīng)的圖像。
在組合模式中，在步驟ST1和ST2， CPU31中的預(yù)組合處理單元52、 操作檢測(cè)單元55、顯示控制單元56和記錄/回放/傳送控制單元54彼此配合 以執(zhí)行必要的處理操作。
在步驟ST3， CPU31中的組合處理單元53、操作檢測(cè)單元55和顯示控 制單元56彼此配合以執(zhí)行必要的處理操作。在使用系數(shù)模板的情況下，模板 管理單元57工作。
在步驟ST4， CPU31中的組合處理單元53、操作檢測(cè)單元55、顯示控 制單元56和記錄/回放/傳送控制單元54彼此配合以執(zhí)行必要的處理操作。
3、相機(jī)模式處理
首先，將參照?qǐng)D5描述相機(jī)模式中的CPU 31的處理。在步驟FIO、 F11和F12, CPU31監(jiān)^f見用戶操作。
在步驟FIO, CPU31監(jiān)視圖像抓取模式的操作。如上所述，諸如組合模 式、自動(dòng)模式和人像模式之類的多種模式可用作圖像抓取模式，并且用戶可 以根據(jù)圖像抓取目的來(lái)選擇期望的圖像抓取模式?？梢酝ㄟ^(guò)例如操作圖2B中 所示的表盤操作單元5h或選擇顯示面板6上的菜單顯示中的模式來(lái)選擇模 式。
當(dāng)用戶選擇圖像抓取模式時(shí)，CPU31進(jìn)行到步驟F13，并根據(jù)所選擇的 圖像抓取模式來(lái)執(zhí)行操作設(shè)置。例如，CPU31控制圖像抓取系統(tǒng)2中的每一 個(gè)單元以確定諸如曝光量、曝光方法、電子快門設(shè)置、幀速和增益之類的設(shè) 置。特別地，當(dāng)選擇組合模式圖像抓取時(shí)，還執(zhí)行連續(xù)圖像抓取的設(shè)置。
在步驟Fll， CPU31監(jiān)視用戶執(zhí)行的快門操作。當(dāng)檢測(cè)到用戶執(zhí)行的快 門操作時(shí)，在步驟F14， CPU31使處理根據(jù)當(dāng)前圖像抓取模式是否為組合模 式圖像抓取來(lái)轉(zhuǎn)移(branch )。
如果當(dāng)前圖像抓取模式不是組合模式圖像抓取，則在步驟F16，執(zhí)行圖 像抓取處理。具體地說(shuō)，CPU31控制相機(jī)DSP4、介質(zhì)接口 IO和任何其他 合適的單元，以便將快門操作時(shí)獲得的 一幀圖像存儲(chǔ)為所抓取的圖像數(shù)據(jù) (即，靜止圖像數(shù)據(jù))。
組合模式圖像抓取是獲得用于之后的組合處理的圖^^數(shù)據(jù)的圖像抓取模 式。當(dāng)在組合模式圖像抓取中執(zhí)行快門操作時(shí)，CPU31進(jìn)行到步驟F15,并 執(zhí)行連續(xù)的圖像抓取處理作為組合模式圖像抓取。連續(xù)的圖像抓取處理可以 是類似影片的抓取操作，其中將圖像抓取系統(tǒng)2連續(xù)獲得的每一幀存儲(chǔ)為記 錄介質(zhì)90等上的圖像數(shù)據(jù)。根據(jù)幀速的設(shè)置，例如，可以存儲(chǔ)諸如每隔一幀 的間斷幀。將所抓取的圖像數(shù)據(jù)存儲(chǔ)為大量靜止圖像或運(yùn)動(dòng)圖像。
當(dāng)，在步驟F15，連續(xù)地將幀存儲(chǔ)為所抓取的圖像數(shù)據(jù)時(shí)，作為示例， 對(duì)于如下時(shí)間段執(zhí)行圖像抓取
(1 )從用戶執(zhí)行快門操作時(shí)到用戶執(zhí)行第二次快門操作時(shí)的時(shí)間段的圖 像數(shù)據(jù)的幀被存儲(chǔ)為所抓取的圖像。
(2) 從用戶執(zhí)行快門操作時(shí)到CPU31計(jì)數(shù)的時(shí)間已經(jīng)達(dá)到預(yù)設(shè)的計(jì)時(shí) 器值時(shí)的時(shí)間段的圖像數(shù)據(jù)的幀被存儲(chǔ)為所抓取的圖像。預(yù)設(shè)的計(jì)時(shí)器值可 以是固定的，也可以由用戶選擇。
(3) 在其期間用戶持續(xù)快門操作(持續(xù)按下快門釋放鍵)的時(shí)間段的圖像數(shù)據(jù)的幀被存儲(chǔ)為所抓取的圖像。當(dāng)用戶釋放快門釋放鍵(shutter release button)時(shí)，結(jié)束圖4象抓取。
通過(guò)執(zhí)行步驟F15中的組合模式圖像抓取，抓取并存儲(chǔ)了具有時(shí)間連續(xù) 性的多個(gè)幀的圖像數(shù)據(jù)。
將多個(gè)幀的圖像數(shù)據(jù)彼此相關(guān)聯(lián)地存儲(chǔ)，以便將其識(shí)別為具有時(shí)間連續(xù) 性的圖像數(shù)據(jù)的序列。
例如，可以向每一幀的圖像數(shù)據(jù)分配序列號(hào)，并且可以記錄每一幀的圖 像數(shù)據(jù)，并且可以添加關(guān)于包括序列號(hào)的范圍的管理信息。可替代地，通過(guò) 添加指示 一 系列圖像抓取動(dòng)作所獲得的圖像數(shù)據(jù)的元數(shù)據(jù)，多個(gè)幀的圖像數(shù) 據(jù)可以彼此相關(guān)聯(lián)。
在圖像抓取期間，不是必須執(zhí)行這樣的關(guān)聯(lián)。在下面描述的組合處理中， 可以提取在圖像抓取時(shí)間下順序連續(xù)的幀的圖像數(shù)據(jù)以讀取連續(xù)幀的圖像數(shù) 據(jù)。在由時(shí)鐘電路34進(jìn)^f亍的時(shí)間計(jì)數(shù)中獲得的時(shí)間和日期信息被添加到待抓 取和記錄的每一幀的圖像數(shù)據(jù)。因此，也可以執(zhí)行讀操作中的這樣的關(guān)聯(lián)。
此外，將元數(shù)據(jù)添加到待抓取的每一幀的圖像數(shù)據(jù)。元數(shù)據(jù)可以是關(guān)于 來(lái)自閃光單元15的閃光的信息。閃光由CPU31根據(jù)用戶操作、設(shè)置等來(lái)控 制。
也可以將圖像抓取操作中獲得的信息作為元數(shù)據(jù)添加到每一 幀的圖像數(shù) 據(jù)，例如，由鏡頭位置檢測(cè)單元27測(cè)量的、關(guān)于到主要對(duì)象的距離的信息， 以及由信息產(chǎn)生單元44產(chǎn)生的距離分布信息。
用戶可以執(zhí)行除了圖像抓取模式操作和快門操作之外的多種操作。如果 在步驟F12檢測(cè)到這樣的其他操作中的任意一種，則CPU 31進(jìn)行到步驟F17， 并執(zhí)行與所檢測(cè)到的操作對(duì)應(yīng)的處理。例如，當(dāng)執(zhí)行將模式改變到回放模式 或組合模式的操作時(shí)，執(zhí)行模式改變處理。CPU31根據(jù)多種操作執(zhí)行必要的 處理，例如，曝光量的手動(dòng)設(shè)置、變焦操作、手動(dòng)對(duì)焦設(shè)置和使用閃光/不4吏 用閃光/自動(dòng)照明的設(shè)置。
在相機(jī)模式中，根據(jù)上述圖5中所示的處理，在多種圖像抓取模式中執(zhí) 行圖像抓取，并且將所抓取的圖像數(shù)據(jù)存儲(chǔ)在記錄介質(zhì)90上。
圖6示出了其中將記錄介質(zhì)90上存儲(chǔ)的多種類型的圖像數(shù)據(jù)進(jìn)行回放并 將其顯示為圖像的示例。與在正常圖像抓取模式(如自動(dòng)模式和人像模式) 中抓取的圖像PCT1、 PCT2和PCT4的圖像數(shù)據(jù)一起，由用戶選擇的、在組合模式圖像抓取中抓取的圖像數(shù)據(jù)組(如圖像PCT3的圖像數(shù)據(jù))被存儲(chǔ)在
記錄介質(zhì)90上。用戶執(zhí)行回放模式中的操作以回放并在顯示面板6上顯示對(duì) 應(yīng)的圖像用于確認(rèn)。
在組合模式圖像抓取中抓取的圖像PCT3的圖像數(shù)據(jù)是作為具有時(shí)間連 續(xù)性而相關(guān)聯(lián)的一組圖像數(shù)據(jù)元素，例如由圖像數(shù)據(jù)元素#0、 #1和#2指示。
當(dāng)用戶在回放模式中回放并觀看所抓取的圖像時(shí)，順序地回放圖像 PCT1、 PCT2、 PCT3、 PCT4等的圖像數(shù)據(jù)。對(duì)于在組合模式圖像抓取中獲得 的圖像PCT3的圖像數(shù)據(jù)來(lái)說(shuō)，可以回放并顯示實(shí)際記錄的圉像數(shù)據(jù)元素#0、 #1、 #2等之中的代表性圖像。例如，可顯示頂部圖像數(shù)據(jù)元素#0。
此外，為了有助于用戶理解在組合模式圖像抓取中實(shí)際存儲(chǔ)了大量的圖 像數(shù)據(jù)元素(#0、 #1、 #2等)，如圖6所示，在回放期間，在顯示屏幕上顯 示指示在組合模式圖像抓取中抓取的圖像數(shù)據(jù)的標(biāo)記MK。
用戶可以使用標(biāo)記MK來(lái)理解圖像PCT3的圖像數(shù)據(jù)實(shí)際上包括可以用 于組合處理的大量時(shí)間連續(xù)的圖像。
也就是說(shuō)，在執(zhí)行組合模式圖像抓取之后，用戶回放圖像并使用標(biāo)記 MK來(lái)選擇圖像以執(zhí)行作為下面描述的組合模式中的 一種操作的組合工作。
4、組合模式處理
4-1:組合預(yù)備處理
現(xiàn)在將描述組合模式中執(zhí)行的處理。
如以上參照?qǐng)D4所述的那樣，在組合模式中，CPU31執(zhí)行目標(biāo)圖像選擇 /獲取處理(ST1)、組合預(yù)備處理(ST2)、組合處理(ST3)和組合圖像記錄 處理(ST4)。
目標(biāo)圖像選擇/獲取處理(ST1)和組合預(yù)備處理(ST2)是先于實(shí)際組 合處理的預(yù)組合處理。首先，在目標(biāo)圖像選擇/獲取處理(ST1)中，CPU31 (預(yù)組合處理單元52 )抓取組合使用圖像數(shù)據(jù)。
例如，如圖6所示，當(dāng)用戶通過(guò)選擇在組合模式圖像抓取中抓取的圖像 (例如，圖6中所示的圖像PCT3)，并指示組合處理來(lái)執(zhí)ff回放所抓取的圖 像的操作時(shí)，CPU31開始組合模式中的處理。在這種情況下，CPU31抓取 由用戶操作選擇的圖像作為組合使用圖像數(shù)據(jù)。具體地說(shuō)，當(dāng)選擇圖6中所 示的圖像PCT3時(shí)，CPU 31從記錄介質(zhì)90讀取與圖像PCT3相關(guān)聯(lián)的、作為具有時(shí)間連續(xù)性的圖像數(shù)據(jù)元素#0、 #1、 #2等的序列，并將它們獲取為組合 使用圖像數(shù)據(jù)。然后，將圖像數(shù)據(jù)元素#0、 #1、 #2等設(shè)置為待組合的圖像數(shù) 據(jù)。
在組合預(yù)備處理(ST2)中，對(duì)所抓取的組合使用圖像數(shù)據(jù)(圖像數(shù)據(jù) 元素#0、 #1、 #2等)執(zhí)行亮度調(diào)節(jié)處理。在該處理中，均衡圖像數(shù)據(jù)元素糾、 #1、 #2等的曝光量(屏幕強(qiáng)度)。
在這種情況下，例如，CPU31 (預(yù)組合處理單元52)執(zhí)行圖7所示的處理。
首先，在步驟F101, CPU31從作為用于組合的目標(biāo)抓取的圖像數(shù)據(jù)元
素#0、 #1、 #2........存n中提取非閃光(non-flash)圖像。非閃光圖像是在
不使用閃光的情況下已經(jīng)抓取的圖像數(shù)據(jù)。如上所述，由于關(guān)于圖像抓取期 間閃光的信息被作為元數(shù)據(jù)添加到圖像數(shù)據(jù)，因此CPU31可以通過(guò)檢查所抓 取的圖像數(shù)據(jù)元素糾、#1、 #2........弁n的元數(shù)據(jù)來(lái)提取非閃光圖像。
注意，非閃光圖像基于關(guān)于已經(jīng)執(zhí)行了圖像抓取的裝置(即，圖像抓取 設(shè)備l)是否已經(jīng)使用閃光執(zhí)行了圖像抓取(在下文中，稱為"自閃光圖像 抓取")的信息，并且不包括由突然變?yōu)榕c閃光狀態(tài)下一樣高的屏幕強(qiáng)度引起 的圖像。
例如，在圖像抓取期間，由另一個(gè)攝像者的閃光照亮或由經(jīng)過(guò)的汽車前 燈照亮的對(duì)象的圖像不是使用自閃光圖像抓取獲得的圖像，并且將其處理為 非閃光圖像。
如圖7所示，如果在圖像數(shù)據(jù)元素糾、#1........弁n之中，在圖像數(shù)據(jù)
元素#2的時(shí)間處執(zhí)行自閃光圖像抓取(即，如果給出閃光指示作為圖像數(shù)據(jù) 元素#2的元數(shù)據(jù))，則提取除了圖像數(shù)據(jù)元素#2之外的圖像數(shù)據(jù)元素#0、 #1、 #3........ #n。
然后，在步驟F102, CPU31對(duì)于所提取的圖像數(shù)據(jù)元素(例如，圖像 數(shù)據(jù)元素#0、 #1、 #3........ #n)計(jì)算平均亮度值。
在這種情況下，對(duì)于每一個(gè)圖像數(shù)據(jù)元素可以計(jì)算所有像素的亮度信號(hào) 值的平均值，或者可以對(duì)屏幕內(nèi)的每一個(gè)區(qū)域執(zhí)行加權(quán)，并且可以計(jì)算加權(quán) 的平均亮度值。在這種情況下，使用與用于所謂的自動(dòng)曝光調(diào)節(jié)的計(jì)算亮度 級(jí)別的技術(shù)類似的技術(shù)，可以對(duì)于每一個(gè)圖像數(shù)據(jù)元素計(jì)算平均亮度值。
在步驟F103， CPU31通過(guò)平均亮度值分類圖像數(shù)據(jù)元素，并選擇代表
26性組。例如，如圖7所示，在亮度級(jí)別的步驟中設(shè)置組Yg0、 Ygl.......Yg5
(從低亮度級(jí)別側(cè)到高亮度級(jí)別側(cè))，并且根據(jù)平均亮度值將圖像數(shù)據(jù)元素分 類為多個(gè)組。例如，在圖7中，假設(shè)呈現(xiàn)28個(gè)圖像數(shù)據(jù)元素作為所提取的圖
像數(shù)據(jù)元素#0、 #1、 #3........ #n，并且將25個(gè)圖像數(shù)據(jù)元素分類為組Ygl，
將兩個(gè)圖像數(shù)據(jù)元素分類為組Yg4,并且將一個(gè)圖像數(shù)據(jù)元素分類為Yg5。 基于分類的結(jié)果選擇代表性的一組。作為示例，組Ygl用作代表性的一組。
組合使用圖像數(shù)據(jù)的序列是時(shí)間上連續(xù)的多個(gè)幀的圖像數(shù)據(jù)，并且在圖 5中所示的步驟F15中的圖像抓取期間連續(xù)地抓取。因此，通常不會(huì)出現(xiàn)亮 度級(jí)別的極大差異。因此，在不使用自閃光圖像抓取的情況下獲得的多個(gè)幀 的圖像數(shù)據(jù)通常被分為相同的組。然而，在某些情況下，由于偶然原因(如 另一個(gè)拍:f聶者的閃光、使用經(jīng)過(guò)的汽車前燈的對(duì)象的瞬時(shí)照明、以及突然穿 過(guò)云層的光束)引起在圖像抓取期間對(duì)象亮度級(jí)別可能突然大大改變。作為 圖7中所示的分類的結(jié)果，將被分類為組Yg4和Yg5的圖像看作是由于上述 原因所引起的曝光量中的這樣的瞬時(shí)改變而獲得的圖像。
如果包括具有對(duì)象亮度級(jí)別中的很大差異的這樣的圖像，則在組合處理 中可以僅對(duì)圖像進(jìn)行突出等，這可能不能如期望的那樣實(shí)施組合。
因此，在步驟F104和后面的步驟中，對(duì)于每一個(gè)圖像數(shù)據(jù)元素執(zhí)行亮度調(diào)節(jié)。
首先，在步驟F104， CPU31計(jì)算代表性組(Ygl )中包括的圖像數(shù)據(jù)元 素的平均亮度值的平均值。將計(jì)算出的平均值設(shè)置為基準(zhǔn)平均亮度級(jí)別。
在步驟F105, CPU31選擇與步驟FIOI中提取的非閃光圖像對(duì)應(yīng)的圖像
數(shù)據(jù)元素糾、#1、 #3、.......弁n中之一(例如，圖像數(shù)據(jù)元素糾)作為用于
校正的目標(biāo)。在步驟F106, CPU31確定作為目標(biāo)選擇的圖像數(shù)據(jù)元素糾的 平均亮度值與基準(zhǔn)平均亮度級(jí)別的比值，并根據(jù)該比值計(jì)算校正系數(shù)。
然后，在步驟F107， CPU31將圖像數(shù)據(jù)元素糾的所有像素的亮度值乘 以校正系數(shù)以執(zhí)行圖像數(shù)據(jù)元素#0的亮度校正。
在步驟F108,如果仍然存在未處理的圖像數(shù)據(jù)元素，則CPU31返回到 步驟F105，并對(duì)下一圖像數(shù)據(jù)元素(例如，圖像數(shù)據(jù)元素#1 )執(zhí)行類似的處 理。
具體地說(shuō)，在步驟F105、 F106和F107,關(guān)于作為非閃光圖像提取的所 有圖像數(shù)據(jù)元素順序地執(zhí)行亮度校正。當(dāng)對(duì)于所有圖像數(shù)據(jù)元素完成所述處理時(shí)，圖7中所示的處理結(jié)束。
根據(jù)圖7中所示的組合預(yù)備處理，均衡作為組合使用圖像數(shù)據(jù)獲取的、 作為非閃光圖像提取的所有圖像數(shù)據(jù)元素的亮度級(jí)別，以產(chǎn)生適于下面描述 的組合處理的圖像數(shù)據(jù)。
在該實(shí)施例中，由于已經(jīng)由圖像的拍攝者有意地執(zhí)行了自閃光圖像抓取， 因此不對(duì)使用自閃光圖像抓取獲得的圖像執(zhí)行校正。
在某些情況下，可以校正所有組合使用圖像數(shù)據(jù)，以均衡亮度級(jí)別而不 管閃光。
在其他情況下，如果包括使用閃光抓取的多個(gè)幀的圖像數(shù)據(jù)，則可以校 正多個(gè)幀的閃光圖像數(shù)據(jù)，以均衡亮度級(jí)別。
4-2:》且合處理
現(xiàn)在將描述圖4中所示的步驟ST3中的組合處理。在本實(shí)施例的組合處 理中，執(zhí)行圖像處理，以便在產(chǎn)生組合圖像之前平均(或加權(quán))對(duì)應(yīng)像素的 值，而不是筒單地將多個(gè)幀的圖像數(shù)據(jù)的對(duì)應(yīng)像素的值相加。
在步驟ST3的組合處理中，CPU31中的組合處理單元53、顯示控制單 元56和操作一企測(cè)單元55彼此配合以執(zhí)行圖8中所示的處理。
首先，在步驟F201, CPU31使用組合工作圖像開始組合使用圖像數(shù)據(jù) 的回方文和顯示。
圖IO到圖18示出了在顯示面板6上顯示的組合工作圖像70的示例。
在回放開始時(shí)，最初，顯示圖10中所示的組合工作圖像70。圖10中所 示的組合工作圖像70包括圖像顯示區(qū)域71和72、時(shí)間線(timeline) 73和 回》文位置沖示記74。
圖像顯示區(qū)域71用于回放圖像的顯示等。
圖像顯示區(qū)域72用于組合圖像的預(yù)覽顯示等。
時(shí)間線73表示多個(gè)時(shí)間連續(xù)幀的組合使用圖像數(shù)據(jù)的時(shí)間寬度。
回放位置標(biāo)記74表示時(shí)間線73上的當(dāng)前回放位置。
在回放開始時(shí)，最初，如圖IO中所示，從時(shí)間上的第一幀開始，以影片 的方式在圖像顯示區(qū)域71中順序地回放并顯示組合使用圖像數(shù)據(jù)中的圖像。
例如，如果假設(shè)組合使用圖像數(shù)據(jù)包括圖像數(shù)據(jù)元素#0、 #1、 #2....... #n,
則CPU31從圖像數(shù)據(jù)元素糾開始，順次在圖像顯示區(qū)域71中順序地顯示與圖像數(shù)據(jù)元素#1、 #2、 #3.......對(duì)應(yīng)的圖像，以便可以以影片的方式表示圖
像數(shù)據(jù)元素糾到弁n的序列。隨著回放的進(jìn)程，回放位置標(biāo)記74沿時(shí)間線73 移動(dòng)到左側(cè)。
用戶在觀看回放圖像的同時(shí)，在某一時(shí)間處指定組合開始位置。例如， 用戶可以通過(guò)按下快門操作鍵來(lái)指定組合開始位置。
在步驟F201中開始回放和顯示之后，在步驟F202， CPU31根據(jù)由用戶 執(zhí)行的、用于指定組合開始位置的操作，設(shè)置組合開始位置。
例如，如圖ll所示，在回放過(guò)程中的一時(shí)間點(diǎn)處，用戶指定組合開始位 置。然后，將與該時(shí)間點(diǎn)處的回放圖像對(duì)應(yīng)的圖像數(shù)據(jù)元素弁x設(shè)置為組合開 始位置處的圖像(在下文中，稱為"組合開始圖像，，)。進(jìn)一步顯示組合開始 標(biāo)記75。
連續(xù)地執(zhí)行圖像顯示區(qū)域71中的圖像的回放和顯示。
在設(shè)置了組合開始位置之后，CPU31繼續(xù)步驟F203和F204的處理，直 到在步驟F205檢測(cè)到設(shè)置組合結(jié)束位置的操作為止。
在步驟F203中的預(yù)覽圖像組合是將組合開始圖像直到當(dāng)前在圖像顯示 區(qū)域71中回放的圖^象進(jìn)行組合的處理。
步驟F204中的預(yù)覽圖像顯示是在圖像顯示區(qū)域72中將組合圖像顯示為 預(yù)覽的處理。
具體地說(shuō)，組合從組合開始圖像到當(dāng)前正被回放的幀的所有圖像，并且 以圖12中所示的方式在圖像顯示區(qū)域72中顯示結(jié)果的組合圖像作為預(yù)覽。
由于回放仍然處于進(jìn)程中，因此隨著回放的進(jìn)程，組合范圍的大小增加 一幀。具體地說(shuō)，每次對(duì)回放圖像進(jìn)行回放時(shí)，增加對(duì)應(yīng)像素的值，并且將 產(chǎn)生的和除以所回放的回放圖像的數(shù)量。執(zhí)行這樣的組合以產(chǎn)生預(yù)覽圖像。 因此，獲得了與使用長(zhǎng)時(shí)間曝光抓取的圖像類似的未加權(quán)的圖像，并且將其 顯示為預(yù)覽圖像。
在圖像數(shù)據(jù)元素糾到紐的序列表示其中對(duì)象從右移動(dòng)到左的圖像的情 況下，如圖12所示，根據(jù)圖像顯示區(qū)域71中回放的進(jìn)程，在圖像顯示區(qū)域 72中顯示其中對(duì)象從右移動(dòng)到左的長(zhǎng)時(shí)間曝光圖像作為通過(guò)將組合開始圖像 直到當(dāng)前圖像進(jìn)行組合而獲得的組合圖像。
在觀看回放和預(yù)覽圖像的同時(shí)，用戶指定組合結(jié)束位置。 用戶可以通過(guò)例如按下快門操作鍵以指定組合開始位置然后釋放快門操
29作鍵來(lái)設(shè)置組合結(jié)束位置。
在按下快門操作鍵之后，CPU31重復(fù)步驟F203和F204的處理。當(dāng)釋放 快門操作鍵時(shí)，將此時(shí)獲得的回放圖像設(shè)置為組合結(jié)束位置處的圖像(在下 文中，稱為"組合結(jié)束圖像")。然后，如圖12所示，顯示指示組合結(jié)束位置 的組合結(jié)束標(biāo)記76。此后，CPU31從步驟F205進(jìn)行到步驟F206。
可以通過(guò)(但不限于)按下快門操作鍵來(lái)執(zhí)行設(shè)置組合開始位置/組合結(jié) 束位置的操作。例如，可以按下快門操作鍵一次以設(shè)置組合開始位置，并且 可以再次按下快門操作鍵以設(shè)置組合結(jié)束位置。
可替代地，可以從第一幀到最后一幀中預(yù)先選擇連續(xù)幀的組合使用圖像 數(shù)據(jù)，或者可以通過(guò)用戶操作來(lái)設(shè)置組合開始位置，并且可以當(dāng)用于預(yù)覽圖 像或圖像組合的緩沖存儲(chǔ)器的容量變滿時(shí)設(shè)置組合結(jié)束位置。
在步驟F207中執(zhí)行最終圖像組合處理之前，通過(guò)簡(jiǎn)單的設(shè)置(如加權(quán)設(shè) 置)可以執(zhí)行預(yù)覽圖像的產(chǎn)生和顯示，這將在下面描述，或者可以通過(guò)足以 允許用戶預(yù)先確認(rèn)設(shè)置的效果的圖像尺寸來(lái)簡(jiǎn)單地執(zhí)行。
當(dāng)在直到步驟F205的處理中設(shè)置組合開始位置和組合結(jié)束位置時(shí)，CPU 31進(jìn)行到步驟F206,并執(zhí)行調(diào)節(jié)處理。圖9示出了調(diào)節(jié)處理的細(xì)節(jié)。
首先，在步驟F220, CPU31顯示組合工作圖像70中的選擇圖像列表和 權(quán)重條。
如圖13所示，在時(shí)間線73中的選擇圖像列表視圖中顯示從組合開始圖 像到組合結(jié)束圖像的組合范圍中的圖像。
例如，在該示例中，作為示例，將圖像數(shù)據(jù)元素#5用作組合開始圖像， 而將圖像數(shù)據(jù)元素#11用作組合結(jié)束圖像。在時(shí)間線73中的選擇圖像列表視 圖中顯示圖像數(shù)據(jù)元素#5、 #6、 #7........ #11。
在實(shí)踐中，盡管在時(shí)間線13中可能不顯示組合范圍中的所有圖像，但是 對(duì)選擇圖像列表自動(dòng)地調(diào)節(jié)大小，以便在時(shí)間線73中顯示。在可視性方面， 例如，選擇圖像列表是可以左右滾動(dòng)以示出圖像，以便防止尺寸的過(guò)度減小。 可替代地，待選擇的圖像的之前幀和之后幀也可以在選擇圖像列表中并排顯 示，以便用戶可以在調(diào)節(jié)操作中容易地檢查待選擇的幀。
當(dāng)顯示權(quán)重條時(shí)，顯示分別與圖像數(shù)據(jù)元素#5、 #6、 #7........ #11相
對(duì)應(yīng)的權(quán)重條w5、 w6、 w7、……、wll。例如，每一個(gè)權(quán)重條具有表示加權(quán) 系數(shù)的高度。 在步驟F220的初始狀態(tài)下，不向特定圖像數(shù)據(jù)元素分配權(quán)重。換句話說(shuō), 均等地加權(quán)各個(gè)圖像數(shù)據(jù)元素。
在本實(shí)施例中，在連續(xù)描述中，權(quán)重條適于表示加權(quán)系數(shù)。表示分配到 每一個(gè)圖像數(shù)據(jù)元素的加權(quán)系數(shù)的圖像不限于權(quán)重條。例如，可以顯示指示 加權(quán)系數(shù)的任何其他形狀(如圓圖形狀)或數(shù)值。
可替代地，不是必須顯示僅表示加權(quán)系數(shù)的獨(dú)立圖像。例如，通過(guò)使用
諸如根據(jù)加權(quán)系數(shù)來(lái)改變與選擇圖像列表中顯示的圖像數(shù)據(jù)元素#5 、 #6、
#7........ #11對(duì)應(yīng)的圖像的光亮度級(jí)別(lighting level)之類的技術(shù)，可以
實(shí)施表示分配到每一個(gè)圖像數(shù)據(jù)元素的加權(quán)系數(shù)的圖像。
在圖9中所示的處理中，CPU31在步驟F221、 F222和F223中監(jiān)碎見用 戶操作。
在圖13中所示的組合工作圖像70中，用戶可以執(zhí)行改變圖像數(shù)據(jù)元素 的加權(quán)系數(shù)的操作、改變組合范圍的操作或任何其他合適的操作。
例如，用戶可以執(zhí)行這樣的操作執(zhí)行圖2B中所示的十字鍵5i的左右 操作，以在選擇圖像列表中選擇期望圖像的圖像數(shù)據(jù)，然后執(zhí)行十字鍵5i的 上下操作，以改變所選擇的圖像數(shù)據(jù)的加權(quán)系數(shù)。
當(dāng)用戶執(zhí)行選擇某一圖像并改變對(duì)應(yīng)的加權(quán)系數(shù)的操作時(shí)，CPU 31將處 理從步驟F221前進(jìn)到步驟F224。
在根據(jù)操作的顯示處理中，CPU31改變與所選擇的圖像數(shù)據(jù)元素# (x) 對(duì)應(yīng)的權(quán)重條w (x)的高度。
CPU31進(jìn)一步改變?yōu)樗x擇的圖像數(shù)據(jù)元素# (x)設(shè)置的加權(quán)系數(shù)。
除了反映改變的加權(quán)系數(shù)之外，CPU 31還使用組合范圍內(nèi)的圖像數(shù)據(jù)元 素的加權(quán)平均來(lái)進(jìn)一步執(zhí)行組合處理，以產(chǎn)生預(yù)覽圖像，并在圖像顯示區(qū)域 72中顯示預(yù)覽圖像。
例如，用戶在圖13中所示的狀態(tài)下執(zhí)行選擇圖像數(shù)據(jù)元素#5并增大對(duì) 應(yīng)的加權(quán)系數(shù)的操作。然后，CPU31執(zhí)行步驟F224的處理，以便以圖14中 所示的方式增大權(quán)重條w5,將為圖像數(shù)據(jù)元素#5設(shè)置的加權(quán)系數(shù)改變到高 值，并執(zhí)行組合范圍內(nèi)圖像數(shù)據(jù)元素(#5到#11)的組合處理，以產(chǎn)生預(yù)覽 圖像，然后將所述預(yù)覽圖像顯示在圖像顯示區(qū)域72中。
用戶進(jìn)一步執(zhí)行選擇剩余圖像數(shù)據(jù)元素#6到#11,并減小對(duì)應(yīng)的加權(quán)系 數(shù)的操作。然后，CPU31根據(jù)單獨(dú)的操作來(lái)執(zhí)行步驟F224的處理，以便以
31圖14中所示的方式減小權(quán)重條w6到wll的高度，以便將為圖像數(shù)據(jù)元素#6
到#11設(shè)置的加權(quán)系數(shù)改變?yōu)榈椭?，并且此后?zhí)行組合范圍內(nèi)的圖像數(shù)據(jù)元
素(#5到#11)的組合處理，以產(chǎn)生預(yù)覽圖像，然后將所述預(yù)覽圖像顯示在 圖像顯示區(qū)域72中。
當(dāng)用戶對(duì)于圖像數(shù)據(jù)元素#5到#11執(zhí)行上述加權(quán)系數(shù)運(yùn)算時(shí)，執(zhí)行組合 以便由高于剩余圖像數(shù)據(jù)元素#6到# 11的權(quán)重來(lái)突出組合范圍中時(shí)間上的第 一個(gè)圖像數(shù)據(jù)元素#5。如圖14中的預(yù)覽圖像所示，獲得了具有所謂的前簾同 步效果的組合圖像。
前簾同步效果是其中僅在長(zhǎng)時(shí)間曝光開始時(shí)通過(guò)閃光來(lái)提供時(shí)間上第一 個(gè)狀態(tài)的清晰表現(xiàn)的圖像抓取技術(shù)。在本實(shí)施例中，通過(guò)將組合范圍內(nèi)的連 續(xù)幀的圖像數(shù)據(jù)進(jìn)行組合以便將高加權(quán)系數(shù)分配到第一幀的圖像數(shù)據(jù)而將低 加權(quán)系數(shù)分配到后面的剩余幀的圖像數(shù)據(jù)來(lái)獲得前簾同步效果。
可以通過(guò)例如8位變化(256個(gè)級(jí)別)來(lái)改變加權(quán)系數(shù)，以實(shí)現(xiàn)精細(xì)調(diào) 節(jié)。為了用戶操作的更加簡(jiǎn)便，可以使用兩個(gè)級(jí)別(即，亮和暗)或三個(gè)級(jí) 別(即，高、中和低)。可以在級(jí)別中添加零的權(quán)重的系數(shù)設(shè)置。
可以設(shè)置加權(quán)系數(shù)，以便在不去除連續(xù)圖像抓取期間的不期望圖像(如 當(dāng)正在抓取夜景的拍攝者的周圍被經(jīng)過(guò)的汽車前燈照亮?xí)r獲得的圖像)的情 況下，如期望地那樣調(diào)節(jié)圖像的曝光量或光亮度。在本實(shí)施例中，在上述組 合預(yù)備處理中預(yù)先校正不適于組合的圖像。例如，可以由用戶手動(dòng)地執(zhí)行加 權(quán)系數(shù)的調(diào)節(jié)。
在用戶操作中，可以改變由組合開始標(biāo)記75和組合結(jié)束標(biāo)記76限定的 組合范圍。
例如，當(dāng)選擇組合開始位置處的圖像數(shù)據(jù)元素(#5)時(shí)，用戶可以執(zhí)行 十字鍵5i的左右操作，同時(shí)按下特定鍵，以將組合開始位置移動(dòng)到圖像數(shù)據(jù) 的時(shí)間上之前或之后的幀。同樣地，當(dāng)選擇組合結(jié)束位置處的圖像數(shù)據(jù)元素 (#11)時(shí)，用戶可以執(zhí)行十字鍵5i的左右操作，同時(shí)按下特定鍵，以將組 合結(jié)束位置移動(dòng)到圖像數(shù)據(jù)的時(shí)間上之前或之后的幀。
可替代地，可以執(zhí)行用戶操作以直接將組合開始標(biāo)記75或組合結(jié)束標(biāo)記 76沿時(shí)間線73左右移動(dòng)。
當(dāng)用戶執(zhí)行改變組合范圍的操作時(shí)，CPU31將處理從步驟F222前進(jìn)到 步驟F225。然后，根據(jù)操作，CPU31改變用于組合的目標(biāo)的圖像范圍，在新的組合范圍中執(zhí)行圖像數(shù)據(jù)元素的組合處理，以產(chǎn)生預(yù)覽圖像，并在圖像 顯示區(qū)域72中顯示預(yù)覽圖像。
例如，假設(shè)用戶在圖14中所示的狀態(tài)下，執(zhí)行將組合結(jié)束圖像改變到圖 像數(shù)據(jù)元素#7的操作。然后，CPU 31執(zhí)行步驟F225的才喿作以便以圖15中 所示的方式、在新的組合范圍中執(zhí)行圖像數(shù)據(jù)元素(#5到#7)的組合處理， 并在圖像顯示區(qū)域72中顯示預(yù)覽圖像。移動(dòng)組合結(jié)束標(biāo)記76,以便指定圖 像數(shù)據(jù)元素#7。
在這種情況下，如從圖14和圖15中所示的預(yù)覽圖像之間的比較可以看 出的那樣，在圖15中，由于縮短了組合范圍，因此實(shí)現(xiàn)了在前簾同步中減小 曝光時(shí)間的圖像效果。
如上所述，用戶對(duì)組合工作圖像70執(zhí)行多種操作，由此通過(guò)CPU執(zhí)行 的步驟F224和F225的處理，相應(yīng)地將多個(gè)組合圖像顯示為預(yù)覽。
圖16、圖17和圖18示出其他示例。
圖16示出了當(dāng)例如用戶在圖13中所示的狀態(tài)下執(zhí)行選擇圖像數(shù)據(jù)元素 #11并增大對(duì)應(yīng)的加權(quán)系數(shù)的操作，并且還執(zhí)行單獨(dú)地選擇剩余圖像數(shù)據(jù)元 素#5到#10并減小對(duì)應(yīng)的加權(quán)系數(shù)的操作時(shí)獲得的組合工作圖像70的示例。
CPU 31根據(jù)用于圖像數(shù)據(jù)元素#5到#11的單獨(dú)加權(quán)系數(shù)運(yùn)算，執(zhí)行步驟 F224的處理。
在這種情況下，執(zhí)行組合以便由高于剩余圖像數(shù)據(jù)元素#5到#10的權(quán)重 突出組合范圍中時(shí)間上的最后一個(gè)圖像數(shù)據(jù)元素#11。如圖16中所示的預(yù)覽 圖像所示，獲得了具有所謂的后簾同步效果的組合圖像。
后簾同步效果是其中僅在長(zhǎng)時(shí)間曝光結(jié)束時(shí)通過(guò)閃光來(lái)提供時(shí)間上最后 狀態(tài)的清晰表現(xiàn)的圖像抓取技術(shù)。在本實(shí)施例中，通過(guò)在組合范圍中組合連 續(xù)幀的圖像數(shù)據(jù)以便高加權(quán)系數(shù)被分配到最后一幀的圖像數(shù)據(jù)而低加權(quán)系數(shù) 被分配到剩余幀的圖像數(shù)據(jù)，來(lái)獲得后簾同步效果。
圖17示出了當(dāng)用戶在圖16中所示的狀態(tài)下執(zhí)行改變組合范圍的操作時(shí) 獲得的組合工作圖像70的示例。當(dāng)用戶執(zhí)行將組合范圍改變到圖像數(shù)據(jù)元素 #9到#11的范圍的操作時(shí)，CPU31執(zhí)行步驟F225的處理，以執(zhí)行新組合范 圍中的圖像數(shù)據(jù)元素的組合處理，以產(chǎn)生預(yù)覽圖像，然后將所迷預(yù)覽圖像顯 示在圖像顯示區(qū)域72中。
在這種情況下，如從圖16和圖17中所示的預(yù)覽圖像之間的比較可以看出的那樣，在圖17中，由于縮短了組合范圍，因此實(shí)現(xiàn)了在后簾同步中減小 曝光時(shí)間的圖像效果。
圖18示出了當(dāng)例如用戶在圖13中所示的狀態(tài)下執(zhí)行增大圖像數(shù)據(jù)元素
#5、 #8和#11的加權(quán)系數(shù)并減小剩余的圖像數(shù)據(jù)元素#6、 #7、 #9和#10的加 權(quán)系數(shù)的操作時(shí)獲得的組合工作圖像70的示例。
CPU 31根據(jù)用于圖像數(shù)據(jù)元素#5到#11的單獨(dú)加權(quán)系數(shù)運(yùn)算，執(zhí)行步驟 F224的處理。
在這種情況下，執(zhí)行組合以便周期性地突出組合范圍中的圖像。如圖18 中所示的預(yù)覽圖像所示，獲得了具有所謂的多閃光效果的組合圖像。
多閃光效果是其中在長(zhǎng)時(shí)間曝光期間通過(guò)周期性地閃光來(lái)提供對(duì)象的狀 態(tài)的清晰表現(xiàn)的圖像抓取技術(shù)。在本實(shí)施例中，通過(guò)在組合范圍中組合連續(xù) 幀的圖像數(shù)據(jù)以便將高和低加權(quán)系數(shù)周期性地分配到圖像數(shù)據(jù)，來(lái)獲得多閃 光效果。
如上述示例性說(shuō)明中那樣，用戶可以對(duì)組合工作圖像70執(zhí)行期望的操作 以嘗試多種組合圖像的產(chǎn)生，并可以將它們確認(rèn)為預(yù)覽圖像。也就是說(shuō)，通 過(guò)嘗試多種圖像效果的視覺觀察，用戶可以容易地產(chǎn)生期望的圖像。
當(dāng)獲得作為預(yù)覽圖像的滿意的組合圖像時(shí)，用戶可以執(zhí)行調(diào)節(jié)終止處理。 用戶可以通過(guò)例如按下十字鍵5i的中心處的設(shè)置鍵來(lái)執(zhí)行調(diào)節(jié)終止操作。
當(dāng);f全測(cè)到調(diào)節(jié)終止操作時(shí)，CPU31結(jié)束從步驟F223的圖9中所示的處 理，并進(jìn)行到圖8中所示的步驟F207。
在步驟F207, CPU31執(zhí)行最終組合處理。具體地說(shuō)，CPU31使用調(diào)節(jié) 處理結(jié)束時(shí)獲得的組合范圍中的圖像數(shù)據(jù)元素以及為所述圖像數(shù)據(jù)元素設(shè)置 的加權(quán)系數(shù)來(lái)執(zhí)行組合。在這種情況下，將組合范圍中每一幀的圖像數(shù)據(jù)的 像素值乘以所設(shè)置的加權(quán)系數(shù)。然后，相加每一幀的圖像數(shù)據(jù)的像素值，并 將產(chǎn)生的和除以幀的數(shù)量。也就是說(shuō)，執(zhí)行加權(quán)的平均處理。
注意，在加法或除法處理中可以應(yīng)用曝光校正，以便待產(chǎn)生的組合圖像 具有指定的光亮度?？商娲兀梢孕Ｕ?jì)算之后獲得的組合圖像數(shù)據(jù)。
在使用上述圖8中所示的處理執(zhí)行圖4中所示的步驟ST3中的組合處理 之后，在步驟ST4， CPU31執(zhí)行組合圖像記錄處理。具體地說(shuō)，CPU31執(zhí) 行控制，以便將以上述方式產(chǎn)生的組合圖像數(shù)據(jù)通過(guò)介質(zhì)接口 IO記錄在記錄 介質(zhì)90上。由此結(jié)束組合模式中的 一 系列處理。 上述組合模式中的操作可以實(shí)現(xiàn)如下優(yōu)點(diǎn)
首先，即使通過(guò)缺乏經(jīng)驗(yàn)的拍攝者，也能夠容易地實(shí)現(xiàn)與使用長(zhǎng)時(shí)間曝 光圖像抓取獲得的效果等效的效果(在現(xiàn)有技術(shù)中是很難的，因?yàn)橛捎谕ㄟ^(guò) 使用抓取之后的圖像執(zhí)行圖像組合，所以必須通過(guò)使用拍攝者的經(jīng)驗(yàn)和直覺 來(lái)確定曝光時(shí)間/快門定時(shí)等)。另外，可以進(jìn)行許多嘗試或再試，直到獲得 滿意的圖像效果為止。
此外，由于可以如期望的那樣設(shè)置圖像抓取之后、待組合的圖像數(shù)據(jù)元 素的加權(quán)系數(shù)，因此可以容易地實(shí)現(xiàn)諸如前簾同步效果、后簾同步效果和多 閃光效果之類的圖像效果，這在現(xiàn)有技術(shù)中，在不使用閃光的情況下是很難 實(shí)現(xiàn)的。
此外，即使在具有對(duì)象的運(yùn)動(dòng)的圖像情形(如旨在提供對(duì)象的運(yùn)動(dòng)的表 現(xiàn)或在運(yùn)動(dòng)對(duì)象之中對(duì)焦靜止對(duì)象的圖像抓取情形)下，也可以實(shí)現(xiàn)滿意的 圖像。
4-3:使用改變之前和之后所顯示的圖像的示例性調(diào)節(jié)處理
在上述示例性組合處理中，當(dāng)用戶改變組合工作圖像70中的加權(quán)系數(shù)等 時(shí)獲得的預(yù)覽圖像被顯示在圖像顯示區(qū)域72中。最好還同時(shí)顯示緊接在已經(jīng) 改變加權(quán)系數(shù)等之前獲得的組合圖像(之前預(yù)覽圖像)，以允許用戶同時(shí)觀看 在改變操作之前和之后獲得的組合圖像。
因此，可以以圖19中所示的方式而非使用圖9中所示的示例來(lái)執(zhí)行圖8 中所示的步驟F206中執(zhí)行的調(diào)節(jié)處理。
圖19示出了由CPU31執(zhí)行的示例性調(diào)節(jié)處理。在圖19中，向與圖9 相同或類似的處理步驟指定相同的標(biāo)記，并且省略其描述。
圖19與圖9的區(qū)別在于當(dāng)用戶執(zhí)行改變加權(quán)系數(shù)的操作時(shí)執(zhí)行的步驟 F224A的處理以及當(dāng)用戶執(zhí)行改變組合范圍的操作時(shí)執(zhí)行的步驟F225A的處 理。
當(dāng)用戶執(zhí)行改變加權(quán)系數(shù)的操作時(shí)，在步驟F224A, CPU31改變與所選 擇的圖像數(shù)據(jù)元素# (x)對(duì)應(yīng)的權(quán)重條w (x)的高度。CPU31還改變?yōu)樗?選擇的圖像數(shù)據(jù)元素# (x)設(shè)置的加權(quán)系數(shù)。除了反映改變的加權(quán)系數(shù)之外， CPU 31使用組合范圍中圖像數(shù)據(jù)元素的加權(quán)平均來(lái)進(jìn)一步執(zhí)行組合處理，以產(chǎn)生預(yù)覽圖像，并且在圖像顯示區(qū)域72中顯示預(yù)覽圖像。
CPU31進(jìn)一步在圖像顯示區(qū)域71中顯示之前組合圖像，其已經(jīng)緊接在 該處理之前在圖像顯示區(qū)域72中被顯示為預(yù)覽圖像。
具體地說(shuō)，不丟棄而是存儲(chǔ)顯示為之前預(yù)覽圖像的組合圖像，并且與作 為當(dāng)前預(yù)覽圖像獲得的組合圖像一起，分別并排顯示在圖像顯示區(qū)域71和 72中，如圖20所示。
圖20示出了當(dāng)例如用戶執(zhí)行增大圖像數(shù)據(jù)元素#11的加權(quán)系數(shù)的操作時(shí) 獲得的組合工作圖像70。在這種情況下，在圖像顯示區(qū)域72中顯示當(dāng)前組 合圖像(具有后簾同步效果的圖像)作為加權(quán)改變之后獲得的預(yù)覽圖像，并 且在圖像顯示區(qū)域71中顯示之前組合圖像(具有去除了后簾同步效果的圖 像)。
以圖20中所示的方式，同時(shí)顯示加權(quán)系數(shù)的改變之前和之后獲得的組合 圖像，由此允許用戶容易地檢查所改變的加權(quán)系數(shù)的合適性。
此外，當(dāng)用戶執(zhí)行改變組合范圍的操作時(shí)，在步驟F225A， CPU31根據(jù) 操作改變待組合的圖像的范圍，并且執(zhí)行用于新組合范圍中的圖像數(shù)據(jù)元素 的組合處理，以產(chǎn)生預(yù)覽圖像，并在圖像顯示區(qū)域72中顯示預(yù)覽圖像。在圖 像顯示區(qū)域71中進(jìn)一步顯示之前組合圖像，其已經(jīng)緊接在該處理之前在圖像 顯示區(qū)域72中被顯示為預(yù)覽圖像。
此外，在這種情況下，用戶可以比較最初的和改變后的組合范圍。
例如，以這種方式，當(dāng)選擇待組合的圖像的范圍或分配權(quán)重時(shí)，通過(guò)比 較檢查組合之前和之后獲得的圖像。對(duì)于用戶嘗試多種圖像效果的實(shí)施來(lái)說(shuō)， 這是很有用的。
例如，當(dāng)用戶比較兩個(gè)圖像，并確定最初的圖像更好時(shí)，可以執(zhí)行取消 當(dāng)前圖像組合并恢復(fù)最初組合狀態(tài)的操作。
此外，可以允許用戶如期望的那樣，選擇用于并排顯示組合之前和之后 獲得的圖像的圖19中所示的處理或上述圖9中所示的處理。
5、基于模板的處理
在上述組合處理中，通過(guò)如期望的那樣執(zhí)行改變每一個(gè)圖像數(shù)據(jù)元素的 加權(quán)系數(shù)的操作，用戶可以創(chuàng)建具有諸如前簾同步效果、后簾同步效果或多 閃光效果之類的圖像效果的組合圖像。 一些用戶可能不能確定用以獲得期望
36的圖像效果的權(quán)重值。即使能夠確定權(quán)重的值的用戶也可能覺得逐個(gè)選擇圖 像數(shù)據(jù)元素并改變加權(quán)系數(shù)的操作太耗時(shí)。
因此，可以使用這樣的操作技術(shù)準(zhǔn)備每個(gè)都具有用于實(shí)現(xiàn)預(yù)定圖像效 果的加權(quán)系數(shù)的樣式的系數(shù)模板，以便用戶可以選擇系數(shù)模板中之一。
在下面的描述中，假設(shè)準(zhǔn)備了用于長(zhǎng)時(shí)間曝光效果、前簾同步效果、后 簾同步效果和多閃光效果的四個(gè)系數(shù)模板。
例如，將與長(zhǎng)時(shí)間曝光效果、前簾同步效果、后簾同步效果和多閃光效
果對(duì)應(yīng)的加權(quán)系數(shù)樣式作為系數(shù)模板存儲(chǔ)在閃速ROM33中。例如，用于前 簾同步效果的系數(shù)模板表示其中將高權(quán)重分配到第 一個(gè)圖像而將低權(quán)重分配 到后面的圖像的加權(quán)系數(shù)樣式。CPU31的模板管理單元57管理這樣的系數(shù) 模板。
CPU31以圖22中所示的方式而不是使用圖9中所示的示例，來(lái)執(zhí)行圖 8中所示的步驟F206中的調(diào)節(jié)處理。
在圖8中所示的步驟F206， CPU31執(zhí)行圖22中所示的處理。首先，在 步驟F301, CPU31 (模板管理單元57和顯示控制單元56)在顯示面板6上 顯示用于選擇效果的系數(shù)模板。
圖21示出了顯示的示例。顯示與用于長(zhǎng)時(shí)間曝光效果、前簾同步效果、 后簾同步效果和多閃光效果的四個(gè)系數(shù)模板對(duì)應(yīng)的圖像。
此時(shí)，顯示每一個(gè)均指示使用對(duì)應(yīng)的系數(shù)模板獲得的圖像效果的效果建 模圖像。如圖21所示，將具有長(zhǎng)時(shí)間曝光效果的圖像、具有前簾同步效果的 圖像、具有后簾同步效果的圖像和具有多閃光效果的圖像用作效果建模圖像, 由此允許用戶識(shí)別圖像效果的細(xì)節(jié)。特別地，這適用于不熟悉多種圖像效果 的用戶。
可以將用于從系數(shù)模板中選擇的圖像顯示為預(yù)設(shè)的效果建模圖像的列 表，所述預(yù)設(shè)的效果建模圖像中的每一個(gè)均具有表示系數(shù)模板之一的圖像數(shù)據(jù)。
可替代地，文本術(shù)語(yǔ)"長(zhǎng)時(shí)間曝光效果"、"前簾同步效果"、"后簾同步 效果，，和"多閃光效果"可以出現(xiàn)在菜單中，而不顯示效果建模圖像，并且 可以選擇它們中之一。
響應(yīng)于圖21中所示的顯示，例如，用戶操作十字鍵5i以選擇期望的效 果建模圖像，并執(zhí)行確定操作以選擇一個(gè)系數(shù)模板。根據(jù)用戶的選擇和確定操作，CPU 31將處理從步驟F302前進(jìn)到步驟 F303。在這種情況下，CPU31的模板管理單元57將所選擇的系數(shù)模板的加 權(quán)系數(shù)樣式應(yīng)用于組合處理單元53,并且組合處理單元53將加權(quán)系數(shù)樣式 應(yīng)用于組合范圍中的各個(gè)圖像。
如上所述，如參照直到圖12所述的那樣，當(dāng)用戶確定組合范圍(組合開 始位置和組合結(jié)束位置)時(shí)，即在將組合工作圖像70從圖12中所示的狀 態(tài)改變到圖13中所示的狀態(tài)的時(shí)候，CPU31進(jìn)行到圖8中所示的步驟F206 中的調(diào)節(jié)處理，這在圖22中示出。
當(dāng)用戶選^奪系數(shù)模板時(shí)，如圖13所示，在顯示選擇圖像列表和權(quán)重條的 同時(shí)，CPU 31的組合處理單元53將模板的加權(quán)系數(shù)樣式應(yīng)用為與圖像數(shù)據(jù) 元素對(duì)應(yīng)的加權(quán)系數(shù)，并且將應(yīng)用了加權(quán)系數(shù)的、使用加權(quán)平均獲得的組合 圖像顯示為預(yù)覽圖像。
圖22中所示的步驟F220到F223的處理之后的處理與圖9中所示的處 理類似，并且省略其冗余描述。
以這種方式，用戶選擇系數(shù)模板，由此在不調(diào)節(jié)組合范圍中的圖像數(shù)據(jù) 元素的加權(quán)系數(shù)的情況下，初步實(shí)現(xiàn)了期望圖像效果的預(yù)覽圖像。因此可以 大大地改善用戶操作的方便性或操作效率。
此外，即使不熟悉諸如前簾同步效果之類的圖像效果的細(xì)節(jié)的用戶也可 以通過(guò)選擇系數(shù)模板來(lái)實(shí)施多種圖像效果。
在圖22中所示的步驟F220之后的處理中，類似于圖9,根據(jù)圖像數(shù)據(jù) 元素可以單獨(dú)地如期望地那樣改變加權(quán)系數(shù)，或者可以如期望地那樣改變組 合范圍。由此，用戶可以基于通過(guò)選擇系數(shù)模板獲得的組合圖像更加獨(dú)創(chuàng)性 地創(chuàng)建組合圖像。
在選擇系數(shù)模板之后，可以調(diào)節(jié)由系數(shù)模板指定的系數(shù)樣式。
例如，關(guān)于用于多閃光效果的加權(quán)系數(shù)^^莫板，在模板的選擇之后，發(fā)光 間隔(高加權(quán)的幀的間隔)是可調(diào)節(jié)的。該調(diào)節(jié)操作可以通過(guò)將對(duì)應(yīng)功能添 加到操作按鈕之一或通過(guò)從菜單選擇對(duì)應(yīng)條目來(lái)實(shí)施。可替代地，通過(guò)執(zhí)行 諸如在按下快門釋放按鈕的同時(shí)按下左右按鈕之類的操作，可以如期望的那 樣設(shè)置發(fā)光間隔(高加權(quán)的幀的間隔)。
此外，可以準(zhǔn)備用于特定用途(如高爾夫揮桿檢查)的系數(shù)模板。
還可以在除了組合處理之外的處理中(如相機(jī)模式下的圖像抓取期間)選擇系數(shù)模板。
例如，當(dāng)在相機(jī)模式下選擇圖像抓取模式時(shí)，在顯示面板6上顯示如圖 23中所示的模式選擇屏幕。
在這種情況下，除了諸如圖4中所示的自動(dòng)模式圖像抓取、人像模式圖 像抓取、日落景象模式圖像抓取和微距模式圖像抓取之類的正常圖像抓取模 式之外，諸如長(zhǎng)時(shí)間曝光效果、前簾同步效果、后簾同步效果和多閃光效果 也是可選擇的。
當(dāng)選擇了長(zhǎng)時(shí)間曝光效果、前簾同步效果、后簾同步效果和多閃光效果
之一時(shí)，在圖5中所示的步驟F15,在組合模式圖像抓取中抓取多個(gè)幀的圖 像。在圖像抓取期間，對(duì)于要記錄的圖像數(shù)據(jù)組，使用元數(shù)據(jù)等記錄關(guān)于所 選擇的效果的信息。
然后，此后，諸如當(dāng)在圖8所示的組合處理中的步驟F203執(zhí)行預(yù)覽圖像 組合時(shí)或者當(dāng)CPU 31進(jìn)行到步驟F206時(shí)，使用所選擇的圖像效果的系數(shù)模 板可以執(zhí)行加權(quán)的組合。
例如，當(dāng)在圖像抓取期間用戶期望實(shí)現(xiàn)前簾同步效果時(shí)，在圖像抓取期 間預(yù)先選擇用于前簾同步效果的系數(shù)模板，由此使用用于前簾同步效果的加 權(quán)系數(shù)樣式來(lái)執(zhí)行預(yù)覽圖像組合。由此，可以改善操作效率。
此外，在圖像抓取階段以這種方式選擇前簾同步效果、后簾同步效果或 多閃光效果的情況下，CPU31可以參照系數(shù)模板的加權(quán)系數(shù)樣式以設(shè)置定 時(shí)，并且可以在圖5中所示的步驟F15中的連續(xù)巾貞圖像抓取期間在所設(shè)置的 定時(shí)實(shí)際地執(zhí)行閃光控制。
6、固定幀速的圖像抓取操作
在諸如數(shù)碼攝像機(jī)或數(shù)碼相機(jī)之類的圖像抓取設(shè)備中，控制進(jìn)入圖像抓 取元件的入射光通量和電荷累積時(shí)間段以調(diào)節(jié)曝光時(shí)間。
例如，在攝像機(jī)中， 一般而言，根據(jù)幀速以恒定的曝光時(shí)間段來(lái)連續(xù)地 拍攝圖像。然而，使用提供比幀速限定的曝光時(shí)間(例如，對(duì)于60幀每秒(fps ) 來(lái)說(shuō)，約l/60秒)更短的曝光時(shí)間(例如，1/250秒)的電子快門可以抓取 高亮度的對(duì)象。
在這種情況下，不執(zhí)行記錄長(zhǎng)達(dá)等于通過(guò)從幀速限定的曝光時(shí)間中減去 電子快門的實(shí)際曝光時(shí)間而獲得的時(shí)間的時(shí)間。這可能導(dǎo)致包括凹凸不平(jaggy)的運(yùn)動(dòng)圖像。為了防止這樣的運(yùn)動(dòng)圖像的產(chǎn)生，通常執(zhí)行曝光控制。 然而，除非運(yùn)動(dòng)圖像看起來(lái)"凹凸不平"，否則通常使用電子快門執(zhí)行圖像抓 取長(zhǎng)達(dá)短于幀速限定的曝光時(shí)間的電荷累積時(shí)間。
這里，作為組合模式圖像抓取，將考慮本實(shí)施例的圖像抓取設(shè)備1中圖 像數(shù)據(jù)的連續(xù)幀的抓取。
圖24B和圖24D示出了在圖像抓取期間以固定幀速的連續(xù)幀的抓取，其 中一幀時(shí)間段是FR。
圖24B示出了在幀時(shí)間段FR中不使用電子快門功能并且圖像抓取元素 的曝光時(shí)間段為R1 (其中R1基本上等于FR)的情況。也就是說(shuō)，除了由于 曝光引起的電荷傳送所必需的最小時(shí)間段之外，在幀時(shí)間段內(nèi)連續(xù)地曝光圖 像抓取元件以發(fā)光。在下面的描述中，為了描述的簡(jiǎn)便，省略在其期間由于 電荷傳送而使得不曝光圖像抓取元素以發(fā)光的少量時(shí)間段。
圖24D示出了當(dāng)由于對(duì)象亮度的增大而必須減少曝光量時(shí)使用電子快門 功能執(zhí)行自動(dòng)曝光調(diào)節(jié)的情況。在這種情況下，如R2所示的那樣，縮短幀時(shí) 間段FR內(nèi)的曝光時(shí)間。由陰影指示的時(shí)間段是在其期間不執(zhí)行曝光的時(shí)間 段。
圖24A和圖24C示出了當(dāng)例如使用上述組合處理執(zhí)行如圖24B和圖24D 中所示的連續(xù)幀抓取時(shí)獲得的組合圖像的示例。當(dāng)通過(guò)將相等的加權(quán)系數(shù)分 配到多個(gè)幀的圖像數(shù)據(jù)來(lái)實(shí)現(xiàn)長(zhǎng)時(shí)間曝光效果時(shí)獲得圖24A和圖24C中所示 的組合圖像。
基于在不使用電子快門功能的情況下抓取的圖像數(shù)據(jù)的組合圖像(如圖 24B所示)導(dǎo)致平滑的長(zhǎng)時(shí)間曝光效果圖像(如圖24A所示)。
另一方面，基于使用電子快門功能的情況下抓取的圖像數(shù)據(jù)的組合圖像 (如圖24D所示)導(dǎo)致非平滑的長(zhǎng)時(shí)間曝光效果圖像(如圖24C所示)。 這是因?yàn)閷?duì)于由陰影指示的非曝光時(shí)間段，沒有獲得關(guān)于對(duì)象圖像的信息。
這里，將參照?qǐng)D25A到圖25D描述在其中使用電子快門功能執(zhí)行自動(dòng)曝 光調(diào)節(jié)(如圖24D所示)的情況下的曝光控制操作。
圖像抓取設(shè)備1可以使用光圈/ND濾光片機(jī)構(gòu)22中的光圈機(jī)構(gòu)和/或ND 濾光片機(jī)構(gòu)、通過(guò)使用定時(shí)產(chǎn)生電路28來(lái)控制圖像抓取元件單元23的操作 而執(zhí)行的電子快門功能、或者要由模擬信號(hào)處理單元24施加到圖像抓取元件單元23獲得的圖像抓取信號(hào)的可變?cè)鲆鎭?lái)執(zhí)行曝光調(diào)節(jié)。
在圖25A和圖25B中，橫坐標(biāo)軸表示對(duì)象亮度級(jí)別。圖25A示出了在 圖像抓取期間由幀速限定的一幀F(xiàn)R的時(shí)間段。在這種情況下，將幀時(shí)間段 FR設(shè)置為l/60秒，不論對(duì)象亮度級(jí)別如何，其都是固定的。
圖25B示出了電子快門SH (具有幀時(shí)間段的曝光時(shí)間或"幀內(nèi)曝光時(shí) 間")和增益級(jí)別G。圖25D示意性地示出了光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的操 作狀態(tài)。
圖25C示出了與對(duì)象亮度級(jí)別中的變化對(duì)應(yīng)的曝光控制方法。
在具有最低對(duì)象亮度級(jí)別的區(qū)域(區(qū)域A)中，使用光圈機(jī)構(gòu)來(lái)執(zhí)行曝 光調(diào)節(jié)。具體地說(shuō)，通過(guò)改變光圈機(jī)構(gòu)的開口量來(lái)調(diào)節(jié)入射光的量。
在僅使用光圈機(jī)構(gòu)難以調(diào)節(jié)入射光的量的區(qū)域B中，使用光圈機(jī)構(gòu)和 ND濾光片機(jī)構(gòu)二者。具體地說(shuō)，通過(guò)改變光圈機(jī)構(gòu)的開口量和進(jìn)入ND濾光 片機(jī)構(gòu)的入射光通量的量來(lái)調(diào)節(jié)入射光的量。
在具有太高的對(duì)象亮度級(jí)別以至于不能僅使用光圈機(jī)構(gòu)和ND濾光片機(jī) 構(gòu)來(lái)調(diào)節(jié)入射光的量的區(qū)域C中，使用電子快門功能。例如，使用電子快門 功能來(lái)執(zhí)行控制，以便當(dāng)對(duì)象亮度級(jí)別增大時(shí)，減小幀內(nèi)曝光時(shí)間SH(其最 初被設(shè)置為1/60秒)。例如，控制幀內(nèi)曝光時(shí)間SH以便使其降低到1/500秒。
區(qū)域D是具有格外高的對(duì)象亮度級(jí)別的亮度區(qū)域，其中即使使用電子快 門功能也難以執(zhí)行曝光調(diào)節(jié)。在區(qū)域D中，改變?cè)鲆婕?jí)別G。
當(dāng)幀速固定時(shí)，例如，圖像抓取設(shè)備l可以執(zhí)行如上所述的曝光調(diào)節(jié)控 制。然后，當(dāng)對(duì)象亮度級(jí)別在區(qū)域C內(nèi)時(shí)使用電子快門功能。在這種狀態(tài)下， 執(zhí)行圖像抓取，由此引起上述圖24C和圖24D中所示的情形。由此，獲得了 具有長(zhǎng)時(shí)間曝光效果的非平滑組合圖像。
因此，本實(shí)施例的圖像抓取設(shè)備被配置為在至少要執(zhí)行組合模式圖像抓 取的情況下(即，在要執(zhí)行圖5中所示的步驟F15中的連續(xù)幀抓取的情況下) 執(zhí)行如圖26A到圖26D中所示的曝光調(diào)節(jié)控制。
如圖25A、圖25B、圖25C和圖25D中那樣，圖26A、圖26B、圖26C 和圖26D示出了幀時(shí)間段FR(其被設(shè)置為1/60秒)、增益級(jí)別G、由電子快 門限定的曝光時(shí)間SH、曝光控制方法和光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的操作狀 態(tài)，其中橫坐標(biāo)軸表示對(duì)象亮度級(jí)別。
在具有最低對(duì)象亮度級(jí)別的區(qū)域A中，使用光圈機(jī)構(gòu)執(zhí)行曝光調(diào)節(jié)。具
41體地說(shuō)，通過(guò)改變光圈機(jī)構(gòu)的開口量來(lái)調(diào)節(jié)入射光的量。
在僅使用光圈機(jī)構(gòu)難以調(diào)節(jié)入射光的量的區(qū)域B中，使用光圈機(jī)構(gòu)和
ND濾光片機(jī)構(gòu)二者。具體地說(shuō)，通過(guò)改變光圈機(jī)構(gòu)的開口量和進(jìn)入ND濾光 片機(jī)構(gòu)的入射光通量的量來(lái)調(diào)節(jié)入射光的量。
在具有太高的對(duì)象亮度級(jí)別以至于不能僅使用光圈機(jī)構(gòu)和ND濾光片機(jī) 構(gòu)來(lái)執(zhí)行調(diào)節(jié)的區(qū)域C中，在不使用電子快門功能的情況下，通過(guò)可變地控 制增益級(jí)別G來(lái)執(zhí)行調(diào)節(jié)。
由于增益調(diào)節(jié)可能引起電子噪聲以導(dǎo)致缺乏灰度(gradation)和精細(xì)度 的所抓取的圖像，期望的是，增益調(diào)節(jié)包括諸如設(shè)置極限或執(zhí)行降噪處理之 類的方法。
僅在具有格外高的對(duì)象亮度級(jí)別的區(qū)域D中(通過(guò)改變?cè)鲆婕?jí)別直到極 限也將不能解決)，使用電子快門功能執(zhí)行曝光調(diào)節(jié)。
為了執(zhí)行如上所述的曝光調(diào)節(jié)，在上述圖5中所示的步驟F15中的圖像 抓取處理中，CPU 31 (圖像抓取控制單元51 )執(zhí)行圖27中所示的曝光調(diào)節(jié) 處理。圖27中所示的處理在連續(xù)地抓取幀的時(shí)間段期間連續(xù)地執(zhí)行。
在步驟F301， CPU31確定對(duì)象亮度級(jí)別。例如，CPU31獲得關(guān)于在相 機(jī)DSP4中當(dāng)前正被抓取和處理的幀的、由圖像信號(hào)處理單元41計(jì)算的曝光 量信息(如平均亮度信息)，并且將其與關(guān)于之前幀的曝光量信息進(jìn)行比較， 以確定對(duì)象亮度級(jí)別是已經(jīng)增大了還是已經(jīng)減小了 。
如果確定對(duì)象亮度級(jí)別沒有發(fā)生改變，則CPU 31通過(guò)步驟F302和F306 返回到步驟F301,并確定下一幀的對(duì)象亮度級(jí)別。
如果確定對(duì)象亮度級(jí)別已經(jīng)增大，則CPU31從步驟F302進(jìn)行到步驟 F303,并確定當(dāng)前區(qū)域的曝光調(diào)節(jié)方法是否已經(jīng)達(dá)到其控制極限。具體地說(shuō)， 檢查對(duì)象光強(qiáng)度的當(dāng)前增大是否對(duì)應(yīng)于如圖26C所示的、從區(qū)域A到區(qū)域B、 從區(qū)域B到區(qū)域C和從區(qū)域C到區(qū)域D的增大中之一 。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法還沒有達(dá)到其控制極限，則CPU31進(jìn)行 到步驟F310,并使用當(dāng)前曝光調(diào)節(jié)方法來(lái)解決對(duì)象亮度級(jí)別的增大。
具體地說(shuō)，如果當(dāng)前區(qū)域是區(qū)域A，則減小光圈機(jī)構(gòu)的開口量。如果當(dāng) 前區(qū)域是區(qū)域B,則使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的組合來(lái)減'J、入射光的 量。如果當(dāng)前區(qū)域是區(qū)域C，則執(zhí)行控制以便減小增益級(jí)別。如果當(dāng)前區(qū)域 是區(qū)域D，則執(zhí)行控制以便使用電子快門功能來(lái)縮短幀內(nèi)曝光時(shí)間。如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法已經(jīng)達(dá)到其控制極限，則處理在步驟F304
和F305轉(zhuǎn)移。
具體地說(shuō)，如果在從區(qū)域A到區(qū)域B的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng) 增大，則CPU 31進(jìn)行到步驟F311 。然后，CPU 31從僅使用光圈機(jī)構(gòu)的曝光 調(diào)節(jié)切換到使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)二者的曝光調(diào)節(jié)，并執(zhí)行控制以 解決對(duì)象亮度級(jí)別的增大。
如果在從區(qū)域B到區(qū)域C的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)增大，貝'J CPU31進(jìn)行到步驟F312。然后，CPU31從使用光圏機(jī)構(gòu)和ND濾光片機(jī)構(gòu) 二者的曝光調(diào)節(jié)切換到使用可變?cè)鲆婕?jí)別的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì) 象亮度級(jí)別的增大。
如果在從區(qū)域C到區(qū)域D的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)增大，貝'j CPU31進(jìn)行到步驟F313。然后，CPU31從使用可變?cè)鲆婕?jí)別的曝光調(diào)節(jié)切 換到使用電子快門功能的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象亮度級(jí)別的增大。
如果作為步驟F301的確定結(jié)果而確定對(duì)象亮度級(jí)別已經(jīng)減小，則CPU 從步驟F302進(jìn)行到步驟F306,并確定當(dāng)前區(qū)域的曝光調(diào)節(jié)方法是否已經(jīng)達(dá) 到其控制極限。具體地說(shuō)，檢查對(duì)象光強(qiáng)度的當(dāng)前減小是否對(duì)應(yīng)于從區(qū)域B 到區(qū)域A、從區(qū)域C到區(qū)域B和從區(qū)域D到區(qū)域C (如圖26C中所示)的減 小中之一。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法還沒有達(dá)到其控制極限，則CPU 31進(jìn)行 到步驟F310,并使用當(dāng)前曝光調(diào)節(jié)方法解決對(duì)象亮度級(jí)別的減小。
具體地說(shuō)，如果當(dāng)前區(qū)域是區(qū)域A，則增大光圈機(jī)構(gòu)的開口量。如果當(dāng) 前區(qū)域是區(qū)域B,則使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的組合來(lái)增大入射光的 量。如果當(dāng)前區(qū)域是區(qū)域C，則執(zhí)行控制以便增大增益級(jí)別。如果當(dāng)前區(qū)域 是區(qū)域D,則執(zhí)行控制以便使用電子快門功能來(lái)增大幀內(nèi)曝光時(shí)間。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法已經(jīng)達(dá)到其控制極限，則處理在步驟F308 和F309轉(zhuǎn)移。
具體地說(shuō)，如果在從區(qū)域C到區(qū)域B的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng) 減小，則CPU31進(jìn)行到步驟F311。然后，CPU31從使用可變?cè)鲆婕?jí)別的曝 光調(diào)節(jié)切換到使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)二者的曝光調(diào)節(jié)，并執(zhí)行控制 以解決對(duì)象亮度級(jí)別的減小。
如果在從區(qū)域D到區(qū)域C的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)減小，貝'JCPU31進(jìn)行到步驟F312。然后，CPU31從使用電子快門功能的曝光調(diào)節(jié)切 換到使用可變?cè)鲆婕?jí)別的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象亮度級(jí)別的減小。 如果在從區(qū)域B到區(qū)域A的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)減小，貝'J CPU31進(jìn)行到步驟F314。然后，CPU31從使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu) 二者的曝光調(diào)節(jié)切換到僅使用光圈機(jī)構(gòu)的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象 亮度級(jí)別的減小。
CPU31執(zhí)行這樣的處理以執(zhí)行圖26A到圖26D中所示的曝光調(diào)節(jié)。
具體地說(shuō)，CPU31使圖像抓取系統(tǒng)2以固定幀速抓取具有時(shí)間連續(xù)性的 多個(gè)幀的圖像數(shù)據(jù)，并通過(guò)使用優(yōu)先于電子快門功能的曝光調(diào)節(jié)功能(光圈 機(jī)構(gòu)、ND濾光片機(jī)構(gòu)和增益級(jí)別控制)以執(zhí)行曝光調(diào)節(jié)控制來(lái)在抓取期間根 據(jù)對(duì)象亮度級(jí)別執(zhí)行曝光調(diào)節(jié)控制。
在圖5中所示的步驟Fl5中的圖像抓取處理中執(zhí)行這樣的曝光調(diào)節(jié)控制， 即盡可能不使用電子快門功能。由此，在大多數(shù)情況下實(shí)現(xiàn)了如圖24B中所 示的圖像抓取操作。
根據(jù)后面的組合處理，如圖24A所示，可以獲得與使用長(zhǎng)時(shí)間曝光而實(shí) 際抓取的圖像可比較的平滑圖像。特別地，在抓取運(yùn)動(dòng)對(duì)象的圖像的情況下， 可以獲得平滑的長(zhǎng)時(shí)間曝光圖像。
特別地，在假設(shè)固定幀速的圖像抓取時(shí)執(zhí)行該操作，所述固定幀速的圖 像抓取適于組合模式圖像抓取和運(yùn)動(dòng)圖像的抓取的組合。
在例如從作為抓取的結(jié)果而記錄的運(yùn)動(dòng)圖像數(shù)據(jù)中提取多個(gè)幀，并將其 用在組合處理中的情況下，可以執(zhí)行上述曝光調(diào)節(jié)控制以獲得滿足以固定幀 速抓取的合適的運(yùn)動(dòng)圖像數(shù)據(jù)和適于組合處理的圖像數(shù)據(jù)這兩個(gè)條件的圖像 數(shù)據(jù)。
雖然在區(qū)域D中使用電子快門功能，但區(qū)域D是在通常情況下幾乎不出 現(xiàn)的高亮度區(qū)域，并且在多數(shù)情況下將不使用電子快門功能。由此，作為組 合的結(jié)果獲得平滑的組合圖像。
然而，如果在步驟F15中的組合模式圖像抓取中執(zhí)行連續(xù)幀抓取，則可 以禁止電子快門功能的使用。也就是說(shuō)，在圖26C所示的區(qū)域D中，可以不 再執(zhí)行曝光調(diào)節(jié)，或者可以進(jìn)一 步減小增益級(jí)別以執(zhí)行調(diào)節(jié)。
還可以在步驟F16中以及步驟F15中的圖像抓取中執(zhí)行上述曝光調(diào)節(jié)控 制，或者可以在步驟F16中執(zhí)行圖25A到圖25D所示的曝光調(diào)節(jié)控制。雖然在圖26和圖27中使用除了電子快門功能之外的三種曝光調(diào)節(jié)因素 (光圈機(jī)構(gòu)、ND濾光片機(jī)構(gòu)和可變?cè)鲆?，但是不是必須使用所有三種因素， 例如，可不使用ND濾光片^f凡構(gòu)。
在固定幀速的圖像抓取中，還可以執(zhí)行下面示例性的圖^f象抓取操作。
通過(guò)使用電子快門功能、在固定幀速限定的曝光時(shí)間段內(nèi)連續(xù)地執(zhí)行分 開曝光和組合通過(guò)分開曝光獲得的多個(gè)幀的圖像數(shù)據(jù)以產(chǎn)生 一 幀的圖像數(shù) 據(jù)，可以以固定幀速抓取具有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)。
現(xiàn)在將參照?qǐng)D28A到圖29C來(lái)描述該操作。
如上所述，在不使用電子快門的情況下的曝光調(diào)節(jié)控制可能導(dǎo)致圖像抓 取元件(如CCD元件)中的超過(guò)其極限的電荷累積，從而導(dǎo)致飽和。
在這種情況下，電荷的飽和以這樣一種形式出現(xiàn)電荷溢出，并且可能 形成處于"乳白情形(whiteout condition )，，的過(guò)曝光圖像。由此，將不能獲 得滿意的圖像。
因此難以將這樣的電荷溢出圖像還原到原始狀態(tài)，以獲得滿意的組合圖像。
在這種情況下，例如，可以執(zhí)行電子快門功能來(lái)執(zhí)行圖像抓取，以便在 圖像抓取元件(如CCD元件)中的電荷可以不超過(guò)極限(不會(huì)發(fā)生飽和)。
然而，如果以通常的方式使用電子快門功能，則可能獲得如圖28A和圖 28B中所示的、使用不連續(xù)曝光時(shí)間抓取的組合圖像。例如，如圖28B所示， 曝光時(shí)間段R3和非曝光時(shí)間段(陰影部分)存在于一幀F(xiàn)R1的時(shí)間段中。 由于缺少關(guān)于非曝光時(shí)間段中的對(duì)象的信息，因此可能獲得如圖28A中所示 的不平滑組合圖像(與上述圖24C和圖24D中所示的情況類似)。
因此，如圖28D所示，在以特定幀速的幀時(shí)間段FR1中，例如，以曝光 時(shí)間段R4指示的方式執(zhí)行分開曝光，使得可以不出現(xiàn)非曝光時(shí)間段。
在這種情況下，在圖像抓取元件單元23中，例如，每三個(gè)曝光時(shí)間段 R4 (將幀時(shí)間段FR1分為三個(gè)曝光時(shí)間段R4)傳送電荷，并且將結(jié)果的所 抓I^又的圖像數(shù)據(jù)存儲(chǔ)在例如相機(jī)DSP4中。在圖像抓取元件單元23中，緊接 在電荷傳送之后曝光繼續(xù)，并且以類似的方式執(zhí)行曝光時(shí)間段R4中的曝光。
然后，在相機(jī)DSP 4中組合每一個(gè)均與曝光時(shí)間段R4對(duì)應(yīng)的三個(gè)所抓 取的圖像數(shù)據(jù)元素，以產(chǎn)生一幀的圖像數(shù)據(jù)。
通過(guò)該操作，獲得了以固定幀速的每一幀(#1、 #2.......)的所抓取的圖像數(shù)據(jù)。此外，可以獲得在圖像抓取元件單元23中去除了飽和的、不缺少 非曝光時(shí)間段引起的信息的所抓取的圖像數(shù)據(jù)。
因此，當(dāng)在組合處理中使用多個(gè)幀(#1、 #2.......)的圖像數(shù)據(jù)時(shí)，可
以獲得圖28C所示的平滑長(zhǎng)時(shí)間曝光效果圖像。
在該操作中，可以以多種方式設(shè)置分開曝光時(shí)間段?？梢缘确只虿坏确?每一個(gè)幀時(shí)間段FR1。在實(shí)踐中，通過(guò)考慮固定幀速、在圖像抓取期間獲得 的對(duì)象亮度級(jí)別、圖像抓取元件單元23中電荷的飽和時(shí)間等，可以執(zhí)行適應(yīng) 性控制。
例如，在相機(jī)DSP 4組合通過(guò)使用分開曝光獲得的多個(gè)所抓取的圖像數(shù) 據(jù)元素以產(chǎn)生一幀圖像數(shù)據(jù)的情況下，期望根據(jù)分開曝光時(shí)間來(lái)執(zhí)行加權(quán)組 合。
圖29A示出了在每一個(gè)曝光時(shí)間段R4中的分開曝光，其中將一幀時(shí)間 段FR1等分為三個(gè)部分。
在這種情況下，如圖29A所示，使用相同的權(quán)重(一次冪)來(lái)組合形成
一幀的三個(gè)所抓取的圖像數(shù)據(jù)元素，以產(chǎn)生各個(gè)幀(#0、 #1、 #2.......)的
所抓取的圖像數(shù)據(jù)。
圖29B示出了在曝光時(shí)間段R5、 R6和R7中的分開曝光的示例，其中 將一幀時(shí)間段FR1不等分為三個(gè)部分。如果時(shí)間段R5、 R6和R7具有3: 2: 1的比例，則執(zhí)行組合以便將1/3的權(quán)重施加到在曝光時(shí)間段R5中獲得的圖 像數(shù)據(jù)元素，將2/3的權(quán)重施加到在曝光時(shí)間段R6中獲得的圖像數(shù)據(jù)元素， 并將1的權(quán)重施加到在曝光時(shí)間段R7中獲得的圖像數(shù)據(jù)元素。
圖29C示出了在曝光時(shí)間段R8和R9中的分開曝光的示例，其中將一幀 時(shí)間段FR1部分地不等分為三個(gè)部分。如果時(shí)間段R8和R9具有3: l的比 例，則執(zhí)行組合，以便將1/3的權(quán)重施加到在曝光時(shí)間段R8中獲得的兩個(gè)圖 像數(shù)據(jù)元素，而將1的權(quán)重施加到在曝光時(shí)間段R9中獲得的圖像數(shù)據(jù)元素。
7、可變幀速的圖像抓取操作 現(xiàn)在將描述考慮可變幀速的示例性圖像抓取操作。
例如，在圖5所示的步驟F15中的圖像抓取中，如果根據(jù)對(duì)象亮度級(jí)別 將電子快門功能用于自動(dòng)曝光調(diào)節(jié)，則如上所述，當(dāng)使用通過(guò)圖像抓取獲得 的多個(gè)幀的圖像數(shù)據(jù)來(lái)執(zhí)行組合處理時(shí)獲得不平滑的組合圖像。圖30A和圖
4630B示出了使用不連續(xù)曝光抓取的組合圖像，在所述不連續(xù)曝光中，例如，
一幀時(shí)間段是FRl,并且使用電子快門功能限定一幀內(nèi)的曝光時(shí)間段R3。當(dāng) 使用通過(guò)利用這樣的圖像抓取獲得的圖像數(shù)據(jù)來(lái)執(zhí)行組合時(shí)，由于缺少由陰 影指示的非曝光時(shí)間段的信息，因此獲得了如圖30A所示的組合圖像。
這里，假設(shè)在組合模式圖像抓取中，不是必須使用固定幀速來(lái)獲得在組 合處理中使用的多個(gè)連續(xù)幀的圖像數(shù)據(jù)。然后，可以以圖30D所示的方式執(zhí) 行圖像抓取。具體地說(shuō)， 一幀時(shí)間段FR1是不固定的，并且當(dāng)對(duì)象亮度級(jí)別 增大時(shí)縮短一幀時(shí)間段(即，可變幀速)，并且對(duì)于一幀時(shí)間段連續(xù)地執(zhí)行曝 光。
在圖30D中，改變幀速以便一幀時(shí)間段FR2可以等于曝光時(shí)間段R3， 并且基本上實(shí)現(xiàn)了等效于圖30B中所示的效果的曝光調(diào)節(jié)效果。然后，在圖 30D中，由于在幀時(shí)間段FR2中不存在非曝光時(shí)間段，因此在不缺少對(duì)象信 息的情況下記錄每一幀的圖像數(shù)據(jù)。將通過(guò)這樣的圖像抓取獲得的圖像數(shù)據(jù) 用于執(zhí)行組合，導(dǎo)致圖30C中所示的平滑長(zhǎng)時(shí)間曝光效果組合圖像。
具體地說(shuō)，當(dāng)使圖像抓取系統(tǒng)2在圖5所示的步驟F15中抓取具有時(shí)間 連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)時(shí)，CPU31 (圖像抓取控制單元51 )執(zhí)行控制以 根據(jù)抓取期間對(duì)象亮度級(jí)別的變化來(lái)改變幀速。然后，將通過(guò)圖像抓取操作 抓取的、具有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)用作組合使用圖像數(shù)據(jù)以執(zhí)行 組合處理。由此，作為產(chǎn)生組合圖像為靜止圖像的結(jié)果，獲得了平滑長(zhǎng)時(shí)間 曝光效果圖像。
圖31A到圖31C示出了對(duì)象亮度級(jí)別變化與幀速之間的關(guān)系的示例。
現(xiàn)在假設(shè)，如圖31A所示，從時(shí)間tO開始對(duì)象亮度級(jí)別逐漸增大，并且 在時(shí)間tl之后變?yōu)榛竞愣?。在這種情況下，通過(guò)以圖31B所示的方式改變 幀速以控制一幀時(shí)間段，來(lái)執(zhí)行自動(dòng)曝光調(diào)節(jié)。具體地說(shuō)，執(zhí)行曝光調(diào)節(jié)， 以便對(duì)于從時(shí)間tO到時(shí)間tl的時(shí)間段(在其期間對(duì)象亮度級(jí)別逐漸增大)，
以FR1、 FR2、 FR3.......的順序逐漸縮短一幀時(shí)間段。由于在一幀時(shí)間段中
不存在非曝光時(shí)間段，因此根據(jù)一幀時(shí)間段的長(zhǎng)度，以R1、 R2、 R3.......
的順序來(lái)縮短一幀曝光時(shí)間段。
例如，如果在時(shí)間tl之后對(duì)象亮度級(jí)別沒有變化，則可以以幀時(shí)間段 FR8 (曝光時(shí)間段R8)來(lái)維持后面的時(shí)間段。
圖32A到圓32D示出了在將如上所述的可變幀速控制用于自動(dòng)曝光調(diào)節(jié)的情況下的示例性操作。
在圖32A、圖32B、圖32C和圖32D中，橫坐標(biāo)軸表示對(duì)象亮度級(jí)別。 圖32A示出了幀周期FR,圖32B示出了增益級(jí)別G,圖32C示出了曝光控 制方法，而圖32D示出了光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的操作狀態(tài)。
注意，沒有示出電子快門功能，這是因?yàn)榧僭O(shè)在一個(gè)時(shí)間段從頭至尾(除 了電荷傳送的短時(shí)間段之外)執(zhí)行曝光，并且一幀時(shí)間段內(nèi)的曝光時(shí)間不短 于一幀時(shí)間段。
在具有最低對(duì)象亮度級(jí)別的區(qū)域A中，使用光圏機(jī)構(gòu)執(zhí)行曝光調(diào)節(jié)。具 體地說(shuō)，通過(guò)改變光圈機(jī)構(gòu)的開口量來(lái)調(diào)節(jié)入射光的量。
在僅使用光圈機(jī)構(gòu)難以調(diào)節(jié)入射光的量的區(qū)域B中，使用光圈機(jī)構(gòu)和 ND濾光片機(jī)構(gòu)二者。具體地說(shuō)，通過(guò)改變光圈機(jī)構(gòu)的開口量以及進(jìn)入ND濾 光片機(jī)構(gòu)的入射光通量的量來(lái)調(diào)節(jié)入射光的量。
在具有太高對(duì)象亮度級(jí)別以至于不能僅使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu) 來(lái)執(zhí)行調(diào)節(jié)的區(qū)域C中，也通過(guò)可變地控制幀速來(lái)執(zhí)行調(diào)節(jié)。具體地說(shuō)，當(dāng) 對(duì)象亮度級(jí)別增大時(shí)，減小一幀時(shí)間段FR。例如，當(dāng)對(duì)象亮度級(jí)別很低時(shí)， 將幀時(shí)間段FR設(shè)置到1/60秒，并且隨著對(duì)象亮度級(jí)別增大，控制幀時(shí)間段 FR以將其可變地減小到1/500秒。
僅在具有格外高的對(duì)象亮度級(jí)別的區(qū)域D中(這將不能通過(guò)改變幀時(shí)間 段FR到1/500秒來(lái)解決)，使用可變?cè)鲆婵刂苼?lái)執(zhí)行曝光調(diào)節(jié)。
為了執(zhí)行如上所述的曝光調(diào)節(jié)，在上述圖5所示的步驟F15中的圖像抓 取中，CPU31 (圖像抓取控制單元51)執(zhí)行圖33所示的曝光調(diào)節(jié)處理。圖 33所示的處理連續(xù)地執(zhí)行一時(shí)間段，在所述時(shí)間段期間連續(xù)地抓取幀。
步驟F301到F311以及F314與上述圖27所示的步驟類似。執(zhí)行步驟F320 的處理而非圖27中所示的F313,執(zhí)行步驟F321的處理而非圖27中所示的 步驟F312。由于特定處理步驟的部分是不同的(如步驟F310)，因此在下文 中將描述所有處理步驟。
在步驟F301， CPU31確定對(duì)象亮度級(jí)別。例如，CPU31獲取關(guān)于在相 機(jī)DSP4中當(dāng)前被抓取和處理的幀的、由圖像信號(hào)處理單元41計(jì)算的曝光量 信息(如平均亮度信息)，并且將其與關(guān)于之前幀的曝光量信息進(jìn)行比較，以 確定對(duì)象亮度級(jí)別是已經(jīng)增大了還是已經(jīng)減小了 。
如果確定對(duì)象亮度級(jí)別沒有發(fā)生改變，則CPU 31通過(guò)步驟F302和F306返回到步驟F301,并確定下一幀的對(duì)象亮度級(jí)別。
如果確定對(duì)象亮度級(jí)別已經(jīng)增大，則CPU31從步驟F302進(jìn)行到步驟 F303,并確定當(dāng)前區(qū)域的曝光調(diào)節(jié)方法是否已經(jīng)達(dá)到其控制極限。具體地說(shuō), 檢查對(duì)象光強(qiáng)度的當(dāng)前增大是否對(duì)應(yīng)于如圖32C所示的、從區(qū)域A到區(qū)域B 、 從區(qū)域B到區(qū)域C和從區(qū)域C到區(qū)域D的增大中之一。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法還沒有達(dá)到其控制極限，則CPU 31進(jìn)行 到步驟F310,并使用當(dāng)前曝光調(diào)節(jié)方法來(lái)解決(address)對(duì)象亮度級(jí)別的增 大。
具體地說(shuō)，如果當(dāng)前區(qū)域是區(qū)域A，則減小光圈機(jī)構(gòu)的開口量。如果當(dāng) 前區(qū)域是區(qū)域B,則使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的組合來(lái)減'J 、入射光的 量。如果當(dāng)前區(qū)域是區(qū)域C,則執(zhí)行控制以便改變幀速以縮短一幀時(shí)間段。 如果當(dāng)前區(qū)域是區(qū)域D,則執(zhí)行控制以減小增益級(jí)別。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法已經(jīng)達(dá)到其控制極限，則處理在步驟F304 和F305轉(zhuǎn)移。
具體地說(shuō)，如果在從區(qū)域A到區(qū)域B的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng) 增大，則CPU 31進(jìn)行到步驟F311 。然后，CPU 31從僅使用光圈機(jī)構(gòu)的曝光 調(diào)節(jié)切換到使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)二者的曝光調(diào)節(jié)，并執(zhí)行控制以 解決對(duì)象亮度級(jí)別的增大。
如果在從區(qū)域B到區(qū)域C的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)增大，貝寸 CPU31進(jìn)行到步驟F321。然后，CPU31從使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu) 二者的曝光調(diào)節(jié)切換到使用可變幀速的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象亮 度級(jí)別的增大。如果在從區(qū)域C到區(qū)域D的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng) 增大，則CPU31進(jìn)行到步驟F320。然后，CPU31從使用可變幀速的曝光調(diào) 節(jié)切換到使用可變?cè)鲆婕?jí)別的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象亮度級(jí)別的 增大。
如果作為步驟F301的確定結(jié)果而確定對(duì)象亮度級(jí)別已經(jīng)減小，則CPU 從步驟F302進(jìn)行到步驟F306，并確定當(dāng)前區(qū)域的曝光調(diào)節(jié)方法是否已經(jīng)達(dá) 到其控制極限。具體地說(shuō)，檢查對(duì)象光強(qiáng)度的當(dāng)前減小是否對(duì)應(yīng)于從區(qū)域B 到區(qū)域A、從區(qū)域C到區(qū)域B和從區(qū)域D到區(qū)域C (如圖32C中所示)的減 小中之一。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法還沒有達(dá)到其控制極限，則CPU31進(jìn)行
49到步驟F310，并使用當(dāng)前曝光調(diào)節(jié)方法解決對(duì)象亮度級(jí)別的減小。
具體地說(shuō)，如果當(dāng)前區(qū)域是區(qū)域A,則增大光圈機(jī)構(gòu)的開口量。如果當(dāng)
前區(qū)域是區(qū)域B,則使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)的組合來(lái)增大入射光的
量。如果當(dāng)前區(qū)域是區(qū)域C，則通過(guò)改變幀速來(lái)增大一幀時(shí)間段。如果當(dāng)前
區(qū)域是區(qū)域D,則執(zhí)行控制以便增大增益級(jí)別。
如果當(dāng)前區(qū)域的曝光調(diào)節(jié)方法已經(jīng)達(dá)到其控制極限，則處理在步驟F308
和F309轉(zhuǎn)移。
具體地說(shuō)，如果在從區(qū)域C到區(qū)域B的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng) 減小，則CPU31進(jìn)行到步驟F311。然后，CPU31 乂人^使用可變幀速的曝光調(diào) 節(jié)切換到使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu)二者的曝光調(diào)節(jié)，并執(zhí)行控制以解 決對(duì)象亮度級(jí)別的減小。
如果在從區(qū)域D到區(qū)域C的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)減小，貝'J CPU31進(jìn)行到步驟F321。然后，CPU31從使用可變?cè)鲆婕?jí)別的曝光調(diào)節(jié)切 換到使用可變幀速的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象亮度級(jí)別的減小。
如果在從區(qū)域B到區(qū)域A的轉(zhuǎn)換的情況下對(duì)象亮度級(jí)別已經(jīng)減小，貝寸 CPU31進(jìn)行到步驟F314。然后，CPU31從使用光圈機(jī)構(gòu)和ND濾光片機(jī)構(gòu) 二者的曝光調(diào)節(jié)切換到僅使用光圈機(jī)構(gòu)的曝光調(diào)節(jié)，并執(zhí)行控制以解決對(duì)象 亮度級(jí)別的減小。
CPU 31執(zhí)行這樣的處理以執(zhí)行圖32A到圖32D所示的曝光調(diào)節(jié)。
具體地說(shuō)，CPU31使圖像抓取系統(tǒng)2抓取具有時(shí)間連續(xù)性的多個(gè)幀的圖 像數(shù)據(jù)，并通過(guò)可變地控制幀速，以及使用光圈機(jī)構(gòu)、ND濾光片機(jī)構(gòu)和增益 級(jí)別控制以執(zhí)行曝光調(diào)節(jié)控制來(lái)在抓取期間根據(jù)對(duì)象亮度級(jí)別執(zhí)行曝光調(diào)節(jié) 控制。
在圖5中所示的步驟F15中的圖像抓取處理中執(zhí)行這樣的曝光調(diào)節(jié)控制， 由此根據(jù)對(duì)象亮度級(jí)別可以執(zhí)行合適的曝光調(diào)節(jié)，另外，所抓取的多個(gè)幀的 圖像數(shù)據(jù)不缺少由于非曝光時(shí)間段引起的信息。
因此，根據(jù)后面的組合處理，如圖30C所示，可以獲得與使用長(zhǎng)時(shí)間曝 光而實(shí)際抓取的圖像可比較的平滑圖像。特別地，在抓取運(yùn)動(dòng)對(duì)象的圖像的 情況下，可以獲得平滑的長(zhǎng)時(shí)間曝光圖像。
在區(qū)域D中，使用可變?cè)鲆鎴?zhí)行曝光調(diào)節(jié)。如上所述，增益調(diào)節(jié)可能導(dǎo) 致電子噪聲。然而，區(qū)域D是在通常情況下幾乎不出現(xiàn)的高亮度區(qū)域，并且在多數(shù)情況下將不執(zhí)行使用可變?cè)鲆娴钠毓庹{(diào)節(jié)。由此，可以認(rèn)為，如果不 使用諸如降噪處理之類的特殊技術(shù)，則在實(shí)踐中基本上不存在由于可變?cè)鲆?引起的噪聲的影響。
還可以在步驟F16中以及步驟F15中的圖像抓取中執(zhí)行上述曝光調(diào)節(jié)控制。
雖然在圖32和圖33中使用除了可變幀速之外的三種曝光調(diào)節(jié)因素(光 圈機(jī)構(gòu)、ND濾光片機(jī)構(gòu)和可變?cè)鲆?，但是不是必須使用所有三種因素，例 如，可以不使用ND濾光片機(jī)構(gòu)。
在使用通過(guò)如上所述可變地控制巾貞速而獲得的圖像數(shù)據(jù)元素的組合處理 中，最好根據(jù)與圖像數(shù)據(jù)元素對(duì)應(yīng)的幀時(shí)間段來(lái)分配加權(quán)系數(shù)。具體地說(shuō)， 將被確定為圖像抓取期間圖像數(shù)據(jù)元素的幀時(shí)間段長(zhǎng)度的比例的倒數(shù)的加權(quán) 系數(shù)分配到組合處理中使用的圖像數(shù)據(jù)元素，以執(zhí)行組合處理。
例如，如圖31C所示，當(dāng)使用可變幀速獲得的圖像數(shù)據(jù)元素#1到#22被 用作待組合的圖像來(lái)執(zhí)行組合處理，以產(chǎn)生組合圖像數(shù)據(jù)時(shí)，分配圖31A到 圖31C所示的加權(quán)系數(shù)。例如，假設(shè)與圖像數(shù)據(jù)元素弁l對(duì)應(yīng)的幀時(shí)間段FR1 是幀時(shí)間段FR8的五倍，如果要分配到幀時(shí)間段FR8中的圖像數(shù)據(jù)元素弁8 到#22的加權(quán)系數(shù)是1，則將加權(quán)系數(shù)1/5分配到圖像數(shù)據(jù)元素弁1。假設(shè)與圖 像數(shù)據(jù)元素粒對(duì)應(yīng)的幀時(shí)間段FR2是幀時(shí)間段FR8的(10/3 )倍，將加權(quán)系 數(shù)3/10分配到圖像數(shù)據(jù)元素#2。
以這種方式，根據(jù)一幀的時(shí)間段的長(zhǎng)度，將被確定為反比(inverse ratio ) 的加權(quán)系數(shù)分配到圖像數(shù)據(jù)元素以產(chǎn)生組合圖像數(shù)據(jù)，并且基于組合圖像數(shù) 據(jù)可以產(chǎn)生平滑圖像。
為了在組合處理中設(shè)置這樣的加權(quán)系數(shù)，期望的是，在圖像抓取期間要 添加到每一個(gè)圖像數(shù)據(jù)元素的元數(shù)據(jù)中包括關(guān)于幀速的信息。
8、示例性組合模式處理幀內(nèi)插
現(xiàn)在將描述在上述組合^^莫式處理中可應(yīng)用的多種示例。首先，將描述幀 內(nèi)插。
在組合^^莫式圖像抓取中，可以使用用于曝光調(diào)節(jié)等的電子快門功能來(lái)抓 取具有時(shí)間連續(xù)性的多個(gè)幀的圖像。
電子快門功能可以用在諸如當(dāng)使用圖25A到圖25D所示的曝光調(diào)節(jié)方法時(shí)、當(dāng)在圖26C所示的曝光調(diào)節(jié)方法中獲得區(qū)域D中的對(duì)象亮度級(jí)別時(shí)、以 及當(dāng)用戶執(zhí)行電子快門功能的設(shè)置時(shí)之類的情況下。在這樣的情況下，如上 所述，即使執(zhí)行連續(xù)幀抓取，也會(huì)在幀時(shí)間段中出現(xiàn)非曝光時(shí)間段，導(dǎo)致缺 少關(guān)于非曝光時(shí)間段的對(duì)象信息。
此外，即使在不使用電子快門功能的情況下，例如，在不是每幀執(zhí)行而
是間斷地(如每隔一幀)執(zhí)行圖5所示的步驟F15中的連續(xù)圖像抓取的情況 下，具有時(shí)間連續(xù)性的多個(gè)幀的圖像凄t據(jù)的序列也缺少對(duì)象信息。
在這種情況下，如果待組合的圖像數(shù)據(jù)元素的序列缺少對(duì)象信息，則獲 得具有不平滑性的組合圖像。
然而，如果使用上述圖26A到圖26D或圖32A到圖32D中所示的曝光 調(diào)節(jié)方法，并且如果對(duì)于所有幀執(zhí)行圖5所示的步驟F15中的連續(xù)圖像抓取， 則所抓取的圖像數(shù)據(jù)元素的序列不缺少(或基本上不缺少)對(duì)象信息。
圖像數(shù)據(jù)元素的序列可以用于獲取表示對(duì)象的平滑運(yùn)動(dòng)的組合圖像。對(duì) 于改善的平滑性存在另 一要求。
因此，最好使用幀內(nèi)插處理來(lái)執(zhí)行組合處理。將參照?qǐng)D34A到35B來(lái)描 述幀內(nèi)插處理。
圖34C示出了已經(jīng)實(shí)際地抓取并記錄在記錄介質(zhì)90等之上的圖像數(shù)據(jù) 元素#1、 #2、 #3和#4的序列。
組合圖像數(shù)據(jù)元素#1、弁2、 #3和#4，由此獲得了圖34A所示的組合圖像。 也就是說(shuō)，獲得了具有長(zhǎng)時(shí)間曝光效果的不平滑圖像。
這里，執(zhí)行內(nèi)插處理以產(chǎn)生圖34D所示的內(nèi)插幀弁h12、弁h23和弁h34。
從圖像數(shù)據(jù)元素#1和#2產(chǎn)生內(nèi)插幀他12。從圖像數(shù)據(jù)元素#2和#3產(chǎn)生 內(nèi)插幀他23。從圖像數(shù)據(jù)元素#3和#4產(chǎn)生內(nèi)插幀他34。
使用通常用在諸如MPEG技術(shù)之類的編解碼方案中的幀間(場(chǎng)間)內(nèi)插 技術(shù)，通過(guò)使用利用運(yùn)動(dòng)矢量的空間預(yù)測(cè)在兩個(gè)幀之間內(nèi)插像素值，可以創(chuàng) 建內(nèi)插幀。
圖34B示出了通過(guò)將圖像數(shù)據(jù)元素#1、弁hl2、 #2、 #h23、 #3、 #h34和#4 進(jìn)行組合而獲得的圖像。通過(guò)除了幀之外還使用內(nèi)插幀來(lái)執(zhí)行組合，可以實(shí) 現(xiàn)更平滑的組合圖像。
在除了幀之外還使用內(nèi)插幀的組合處理中，根據(jù)圖像抓取間隔或曝光時(shí) 間，基于添加到圖像數(shù)據(jù)元素#1、 #2、 #3和#4中的每一個(gè)的元凄t據(jù)(例如，可交4奐圖1^象文1"牛才各式(exchangeable image file format, Exif)數(shù)據(jù)),可以執(zhí)
行力口權(quán)。
例如，圖35A示出了使用電子快門功能對(duì)于40msec的曝光時(shí)間段R和 20 msec的非曝光時(shí)間段(陰影部分)的圖像數(shù)據(jù)元素#1、 #2、 #3和斜的圖 像抓取，其中一幀時(shí)間段FR1是固定的。
在這種情況下，內(nèi)插幀他12、弁h23和他34用于內(nèi)插對(duì)于20msec的時(shí)間 段的幀，這些幀還沒有被實(shí)際抓取?？梢允褂镁哂姓_的曝光的、對(duì)于40msec 的時(shí)間段已經(jīng)實(shí)際抓取的幀，以創(chuàng)建內(nèi)插幀的正確圖像。
在使用圖像數(shù)據(jù)元素#1、 #2、 #3和#4以及內(nèi)插幀他12、他23和存h34的 組合處理中，根據(jù)曝光時(shí)間的比例來(lái)分配系數(shù)。
例如，圖像數(shù)據(jù)元素#1、內(nèi)插幀弁hl2和圖像數(shù)據(jù)元素弁2在時(shí)間軸上具有 2: 1: 2的關(guān)系。根據(jù)比例倒數(shù)的計(jì)算，如圖35A所示，分配0.5: 1: 0.5的 權(quán)重。由此，根據(jù)對(duì)象的實(shí)際運(yùn)動(dòng)可以重現(xiàn)曝光時(shí)間。
使用多個(gè)圖像的亮度信號(hào)之和或者使用元數(shù)據(jù)中記錄的曝光或快門速 度，可以計(jì)算權(quán)重。
圖3 5B示出了在一 幀時(shí)間段FR2中不使用非曝光時(shí)間段的情況下圖像數(shù) 據(jù)元素#1、 #2、 #3和#4的圖像抓取。
由于不存在非曝光時(shí)間段，因此為了獲得更平滑的組合圖像的目的而使 用內(nèi)插幀存hl2、弁h23和弁h34。在這種情況下，如圖35B所示，通過(guò)向圖像數(shù) 據(jù)元素#1、 #2、 #3和#4以及內(nèi)插幀弁h12、 #h23和他34分配相等的權(quán)重來(lái)執(zhí) 行組合處理。
圖36示出了 CPU31的示例性處理，包括上述幀內(nèi)插處理。
例如，在圖8所示的步驟F206中的調(diào)節(jié)處理中，CPU 31執(zhí)行圖36中所 示的處理而非圖9中所示的示例。
在圖8所示的步驟F206, CPU31執(zhí)行圖36中所示的處理。首先，在步 驟F220,如圖9中那樣，CPU31顯示選擇圖像列表和權(quán)重條。例如，組合 工作圖像70從圖12中所示的狀態(tài)改變到圖13中所示的狀態(tài)。
此時(shí)，在圖像顯示區(qū)域72中待顯示為預(yù)覽圖像的組合圖像是使用步驟 F230和F231中的幀內(nèi)插處理而產(chǎn)生的圖像。
具體地說(shuō)，在步驟F230中，CPU31使用當(dāng)前組合范圍中的圖像數(shù)據(jù)元 素的序列來(lái)創(chuàng)建參照?qǐng)D34D描述的內(nèi)插幀。在步驟F231, CPU31以參照?qǐng)D35A或圖35B描述的方式設(shè)置預(yù)定的加權(quán)系數(shù)，以執(zhí)行組合處理。由此，在 圖13中所示的組合工作圖像70的圖像顯示區(qū)域72中顯示的組合圖像是例如 通過(guò)與幀內(nèi)插處理一起執(zhí)行組合處理而獲得的組合圖像。
圖36中所示的步驟F221到F225A的后續(xù)處理與圖19中所示的處理類 似，省略其冗余描述。然而，當(dāng)在步驟F224A和F225A中執(zhí)行預(yù)覽圖像組合 時(shí)，使用在步驟F230中產(chǎn)生的內(nèi)插幀來(lái)執(zhí)行組合。
此外，當(dāng)在執(zhí)行圖36中所示的調(diào)節(jié)處理之后在圖8中所示的步驟F207 中執(zhí)行最終組合處理時(shí)，也使用用在步驟F206 (圖36)中的調(diào)節(jié)處理的最終 階段中的內(nèi)插幀來(lái)執(zhí)行組合處理。
通過(guò)幀內(nèi)插處理的額外使用，可以獲得與使用長(zhǎng)時(shí)間曝光而實(shí)際抓取的 圖像可比較的、更平滑的圖像作為組合圖像。
特別地，當(dāng)快速運(yùn)動(dòng)對(duì)象是目標(biāo)時(shí)，更有利的是，使用上述幀內(nèi)插處理 可以表示組合圖像中的平滑運(yùn)動(dòng)。
在上述示例中，在圖8中所示的步驟F206中的圖36所示的處理中，將 必須使用內(nèi)插幀的組合圖像顯示為預(yù)覽圖像。然而，在該調(diào)節(jié)處理中，包括 內(nèi)插幀的產(chǎn)生和使用的圖像組合可以僅在用戶操作期望時(shí)執(zhí)行。
此外，在圖8中所示的步驟F206中的調(diào)節(jié)處理中不是必須執(zhí)行幀內(nèi)插。 作為替代，在步驟F207的最終組合處理中，可以產(chǎn)生并使用內(nèi)插幀來(lái)執(zhí)行圖 像組合。
此外，在調(diào)節(jié)處理中，在組合工作圖像70中，可以與原始圖像數(shù)據(jù)一起， 在組合圖像列表上顯示內(nèi)插幀，以及對(duì)應(yīng)的權(quán)重條，以便使用其以與原始圖 像數(shù)據(jù)中類似的方式改變加權(quán)系數(shù)，或者設(shè)置組合開始位置/組合結(jié)束位置。
可替代地，相反，可以隱藏用戶內(nèi)插幀的存在。
9、示例性組合模式處理閃光去除/校正
用戶可以使用閃光來(lái)執(zhí)行組合模式圖像抓取(圖5中所示的步驟F15中 的圖像抓取)。根據(jù)后面的組合處理，例如，在不使用閃光的情況下可以實(shí)現(xiàn) 前簾同步效果等。然而，在諸如當(dāng)一些用戶希望最初實(shí)現(xiàn)前簾同步效果等而 不在組合工作中改變加權(quán)系數(shù)等或者想要獲得通過(guò)使用閃光的圖像表現(xiàn)時(shí)之 類的情況下，他們可能使用閃光來(lái)執(zhí)行圖像抓取。
然而，在這樣的情況下，必須根據(jù)拍攝者的經(jīng)驗(yàn)和直覺來(lái)確定設(shè)置，如閃光時(shí)間和曝光量。在實(shí)踐中，用戶(拍攝者)可能不一定獲得所期望的圖 像。
此外，在用戶使用閃光實(shí)際地抓取圖像之后，用戶可能隨后改變他或她 的主意，并想要使用在不利用閃光的情況下抓取的圖像來(lái)產(chǎn)生組合圖像。
此外，由于圖像抓取設(shè)備的性能或用戶設(shè)置可能使得閃光的實(shí)際量不夠。 因此，對(duì)于用戶來(lái)說(shuō)，期望在組合處理中能夠去除或校正閃光圖像抓取。
圖38示出了用于在圖8所示的組合處理中的步驟F206中的調(diào)節(jié)處理中 使能閃光去除的、CPU31的示例性處理。
圖38中所示的步驟F220到F225A與圖19中的相應(yīng)步驟類似。在圖38 中，將步驟F240到F245添加到圖19中所示的處理。
當(dāng)正在調(diào)節(jié)處理中顯示組合工作圖像70時(shí)，除了上述改變加權(quán)系數(shù)或改 變組合范圍的操作之外，用戶可以執(zhí)行閃光去除操作?？梢酝ㄟ^(guò)例如操作預(yù) 定操作鍵或選擇菜單條目來(lái)執(zhí)行閃光去除操作。
當(dāng)檢測(cè)到用戶執(zhí)行的閃光去除操作時(shí)，CPU將處理從步驟F240前進(jìn)到 步驟F241。
在步驟F241到F244，對(duì)于組合范圍內(nèi)的每一個(gè)圖像數(shù)據(jù)元素，改變用 于去除閃光的加權(quán)系數(shù)。
在步驟F241, CPU31提取組合范圍中的圖像數(shù)據(jù)元素之一作為處理目 標(biāo)。在步驟F242, CPU31確定所提取的圖像數(shù)據(jù)元素是使用閃光抓取的圖 像數(shù)據(jù)元素(在下文中，稱為"閃光圖像")還是不使用閃光抓取的圖像數(shù)據(jù) 元素(在下文中，稱為"非閃光圖像，，)。如上所述，可以通過(guò)檢查在圖像抓 取期間添加到圖像數(shù)據(jù)元素的元數(shù)據(jù)來(lái)執(zhí)行閃光圖像或非閃光圖像的確定。
在步驟F243, CPU 31根據(jù)閃光圖像或非閃光圖像來(lái)改變加權(quán)系數(shù)。
具體地說(shuō)，如果當(dāng)前圖像數(shù)據(jù)元素是閃光圖像，則減小加權(quán)系數(shù)以便去 除或忽略閃光效果。如果當(dāng)前圖像數(shù)據(jù)元素是非閃光圖像，則增大加權(quán)系數(shù)。
為了在閃光圖像與非閃光圖像之間消除整體圖像亮度級(jí)別上的差異的目 的而使用加權(quán)系數(shù)。由此，根據(jù)閃光圖像與非閃光圖像之間整體圖像亮度級(jí) 別的相對(duì)差異，確定閃光圖像的加權(quán)系數(shù)的減小量和非閃光圖像的加權(quán)系數(shù) 的增大量。在某些情況下，當(dāng)閃光圖像的加權(quán)系數(shù)減小同時(shí)非閃光圖像的加 權(quán)系數(shù)保持不變時(shí)，閃光圖像的整體亮度級(jí)別可能等效于非閃光圖像的整體 亮度級(jí)別。在對(duì)于一個(gè)圖像數(shù)據(jù)元素已經(jīng)完成所述處理之后，CPU31從步驟F244 返回到步驟F241,并對(duì)于組合范圍中的下一個(gè)圖像數(shù)據(jù)元素執(zhí)行類似的處理。
當(dāng)對(duì)于組合范圍中的所有圖像數(shù)據(jù)元素完成了上述處理時(shí)，為各個(gè)圖像 數(shù)據(jù)元素設(shè)置的加權(quán)系數(shù)用于均衡各個(gè)圖像數(shù)據(jù)元素之間整體屏幕亮度級(jí)別 上的差異。也就是說(shuō)，向各個(gè)圖像數(shù)據(jù)元素分配加權(quán)系數(shù)，以便閃光圖像變 得與非閃光圖像一樣亮。
在這種狀態(tài)下，在步驟F245， CPU31改變與圖像數(shù)據(jù)元素對(duì)應(yīng)的權(quán)重 條的高度。CPU 31使用與圖像數(shù)據(jù)元素對(duì)應(yīng)的加權(quán)系數(shù)進(jìn)一步執(zhí)行組合處 理，以產(chǎn)生閃光去除的組合圖像，并在圖像顯示區(qū)域72中顯示組合圖像作為 預(yù)覽圖像。
進(jìn)一步在圖像顯示區(qū)域71中顯示已經(jīng)在圖像顯示區(qū)域72中顯示的圖像 (即，之前組合圖像)作為閃光去除之前的組合圖像的預(yù)覽圖像。
圖37示出了在閃光去除處理之后獲得的組合工作圖像70。
如圖37所示，假設(shè)，在時(shí)間線73中作為選擇圖像列表顯示的、組合范 圍中的圖像數(shù)據(jù)元素#5到#11之中，圖像數(shù)據(jù)元素#11是閃光圖像。
首先，當(dāng)開始圖38中所示的調(diào)節(jié)處理時(shí)，即當(dāng)向圖像數(shù)據(jù)元素#5到 #11分配相等的加權(quán)系數(shù)(例如，如圖13所示，在加權(quán)系數(shù)相等并且權(quán)重條 具有相同高度的最初狀態(tài)下)時(shí)，在圖37所示的圖像顯示區(qū)域71中顯示的、 具有后簾同步效果的組合圖像被顯示在圖像顯示區(qū)域72中作為組合圖像的
預(yù)覽圖像。
然后，當(dāng)用戶執(zhí)行閃光去除操作以執(zhí)行步驟F241到F245的處理時(shí)，獲 得圖37中所示的組合工作圖像70。
具體地說(shuō)，增大作為非閃光圖像的圖像數(shù)據(jù)元素#5到#10的加權(quán)系數(shù)， 這通過(guò)增大權(quán)重條w5到wlO來(lái)表示。此外，減小作為閃光圖像的圖像數(shù)據(jù) 元素#11的加權(quán)系數(shù)，這通過(guò)減小權(quán)重條wll來(lái)表示。
然后，在圖像顯示區(qū)域72中顯示在閃光去除處理之后獲得的組合圖像， 并且在圖像顯示區(qū)域71中顯示閃光去除之前獲得的組合圖像。
如圖37所示，閃光去除處理之后獲得的組合圖像是去除了后簾同步效果 的長(zhǎng)時(shí)間曝光效果圖像。也就是說(shuō)，產(chǎn)生組合圖像，以便作為閃光圖像的圖 像數(shù)據(jù)元素#11的整體亮度級(jí)別也可以等于非閃光圖像的整體亮度級(jí)別。
以這種方式，即使當(dāng)用戶使用閃光抓取圖像時(shí)，用戶也可以如期望地那樣在組合處理中容易地去除閃光效果。
例如，當(dāng)作為閃光圖像抓取的結(jié)果，用戶獲得了不期望的圖像時(shí)，用戶 可以僅執(zhí)行閃光去除操作以分配非閃光圖像的權(quán)重來(lái)獲得組合圖像。
可以使用連續(xù)幀中之前和之后幀的圖像數(shù)據(jù)的亮度分布(亮度信號(hào)之和)
等而非元數(shù)據(jù)來(lái)執(zhí)行步驟F242中的閃光圖像或非閃光圖像的確定。
例如，可以檢測(cè)、監(jiān)視或觀察連續(xù)抓取的圖像的亮度信號(hào)之和，以檢測(cè) 亮度信號(hào)中的變化。
盡管間接地，但是也可以通過(guò)檢測(cè)曝光控制中的光控制功能(如光圏機(jī)
構(gòu)、ND濾光片機(jī)構(gòu)或液晶光圈)、快門速度、電子快門速度、增益等來(lái)執(zhí)行 通過(guò)閃光而抓取的幀的確定。
當(dāng)通過(guò)才全測(cè)亮度信號(hào)的超時(shí)的變化率(the rate of overtime changes )(或 所抓取圖像的景象的光亮度)而發(fā)現(xiàn)快速變化時(shí)，確定已經(jīng)閃光。例如，當(dāng) 發(fā)現(xiàn)在1/60時(shí)間段內(nèi)從明亮條件到黑暗條件的改變時(shí)，可以確定已經(jīng)閃光。
以這種方式，例如，在除了由圖像抓取設(shè)備l進(jìn)行的閃光之外的情況下， 例如當(dāng)從靠近圖像抓取設(shè)備1的另一裝置閃光時(shí)，或者當(dāng)由經(jīng)過(guò)的汽車前燈 瞬間照亮了對(duì)象時(shí)，通過(guò)基于幀之間的亮度比較、曝光控制條件或其他條件 的確定，可以確定閃光的使用或未使用。
因此，例如，假設(shè)在組合處理中去除或忽略在大量拍攝者靠近用戶的情 況下，由于用戶的非故意事件引起的閃光，則最好基于幀之間的亮度比較、 曝光控制條件等來(lái)確定閃光圖像或非閃光圖像。也就是說(shuō)，不論圖像抓取條 件如何，可以容易地獲得取消了周圍圖像抓取條件的組合圖像。
現(xiàn)在將參照?qǐng)D39和圖40描述用于使能閃光校正的示例性處理。
在即使用戶使用閃光抓取圖像但閃光量仍不足的情況下，在組合處理中 可能獲得不期望的圖像效果組合圖像。
因此，期望在組合處理中校正閃光圖像。
圖40示出了用于在圖8所示的組合處理中在步驟F206中的調(diào)節(jié)處理中 使能閃光校正的CPU 31的示例性處理。
圖38中所示的步驟F220到F225A與圖19中的類似。在圖38中，將步 驟F250到F255添加到圖19中所示的處理。
當(dāng)在調(diào)節(jié)處理中顯示組合工作圖像70時(shí)，除了上述改變加權(quán)系數(shù)或改變 組合范圍之外，用戶可以執(zhí)行閃光校正操作。例如，可以通過(guò)操作預(yù)定的操作鍵或選擇菜單條目來(lái)執(zhí)行閃光校正操作。
當(dāng)檢測(cè)到用戶執(zhí)行的閃光校正操作時(shí)，CPU 31將處理從步驟F250前進(jìn) 到步驟F251。
在步驟F251到F255,從組合范圍中的圖像數(shù)據(jù)元素之中提取閃光圖像, 并且改變加一又系數(shù)。
在步驟F251, CPU 31提取組合范圍中的圖像數(shù)據(jù)元素中之一作為處理 目標(biāo)。在步驟F252, CPU31確定所提取的圖像數(shù)據(jù)元素是閃光圖像還是非 閃光圖Y象。如上所迷，通過(guò)^r查在圖像4爪取期間添加到圖像數(shù)據(jù)元素的元數(shù) 據(jù)來(lái)執(zhí)行閃光圖像或非閃光圖像的確定?？商娲兀缟纤觯_定可以基 于幀之間的亮度比較、曝光控制條件或其他條件等。
如果當(dāng)前目標(biāo)圖像數(shù)據(jù)元素是閃光圖像，則CPU31進(jìn)行到步驟F253， 并改變加權(quán)系數(shù)。在這種情況下，強(qiáng)加權(quán)閃光圖像的幀以執(zhí)行校正，使得以 合適的光量來(lái)閃光。
如果當(dāng)前目標(biāo)圖像數(shù)據(jù)元素是非閃光圖像，則不具體地改變加權(quán)系數(shù)。
在已經(jīng)對(duì)于一個(gè)圖像數(shù)據(jù)元素完成了所述處理之后，CPU31從步驟F254 返回到步驟F251 ，并對(duì)組合范圍中的下一個(gè)圖像數(shù)據(jù)元素執(zhí)行類似的處理。
當(dāng)已經(jīng)對(duì)于組合范圍中的所有圖像數(shù)據(jù)元素完成了上述處理時(shí)，使用為 各個(gè)圖像數(shù)據(jù)元素設(shè)置的加權(quán)系數(shù)來(lái)執(zhí)行校正，以便可以改善閃光圖像的亮 度級(jí)別。
在該示例中，不改變非閃光圖像的加權(quán)系數(shù)。然而，可以改變非閃光圖 像的加權(quán)系數(shù)以便對(duì)其進(jìn)行減小等來(lái)突出閃光圖像。
在已經(jīng)對(duì)與組合范圍中的所有圖像數(shù)據(jù)元素完成了步驟F251到F254的 處理之后，在步驟F255， CPU31改變與圖像數(shù)據(jù)元素對(duì)應(yīng)的權(quán)重條的高度。 CPU 31進(jìn)一步使用改變的加權(quán)系數(shù)來(lái)組合各個(gè)圖像數(shù)據(jù)元素，以產(chǎn)生校正了 閃光的組合圖像，并在圖像顯示區(qū)域72中將組合圖像顯示為預(yù)覽圖像。
進(jìn)一步在圖像顯示區(qū)域71中顯示沒有校正閃光效果的組合圖像(即，緊 接在閃光校正處理之前已經(jīng)在圖像顯示區(qū)域72中顯示為組合圖像的預(yù)覽圖 像的圖像)。
圖39示出了在閃光校正之后獲得的組合工作圖像70。 如圖39所示，假設(shè)在時(shí)間線73中顯示為選擇圖像列表的、組合范圍中 的圖像數(shù)據(jù)元素#5到#11之中，圖像數(shù)據(jù)元素#11是閃光圖像。首先，當(dāng)開始圖40中所示的調(diào)節(jié)處理，即當(dāng)向圖像數(shù)據(jù)元素#5到#11 分配相等的加權(quán)系數(shù)(例如，如圖13所示，在加權(quán)系數(shù)相等并且權(quán)重條具有 相同高度的初始狀態(tài)下)時(shí)，在圖像顯示區(qū)域72中顯示圖39所示的圖像顯 示區(qū)域71中顯示的、具有后簾同步效果的組合圖像作為組合圖像的預(yù)覽圖 像。在這種情況下，由于圖像抓取期間閃光量不足，因此圖像數(shù)據(jù)元素#11 的整體亮度級(jí)別很低，并且沒有顯著地突出后簾同步效果。
然后，當(dāng)用戶執(zhí)行閃光校正操作以執(zhí)行步驟F251到F255的處理時(shí)，獲 得圖39中所示的組合工作圖像70。
具體地說(shuō)，增大作為閃光圖像的圖像數(shù)據(jù)元素#11的加權(quán)系數(shù)，這通過(guò) 增大權(quán)重條wll來(lái)表示。
然后，在圖像顯示區(qū)域72中顯示閃光校正處理之后獲得的組合圖像，并 且在圖像顯示區(qū)域71中顯示閃光校正之前獲得的組合圖像。
如圖39所示，在閃光校正處理之后獲得的組合圖像是其中后簾同步效果 顯而易見的圖像。
以這種方式，即使當(dāng)用戶使用閃光抓取圖像時(shí)，由于閃光的性能、到對(duì) 象的距離等而引起圖像的對(duì)象亮度級(jí)別不足，用戶也可以在組合處理中容易 地、如期望的那樣校正閃光效果。
在該實(shí)施例中，在光量不足的情況下，已經(jīng)介紹了在實(shí)現(xiàn)了充足的圖像 亮度級(jí)別的情況下的閃光校正。相反，當(dāng)閃光量太大時(shí)，可以執(zhí)行校正以便 可以減小屏幕強(qiáng)度。
此外，可以由CPU31自動(dòng)地計(jì)算閃光圖像的加權(quán)系數(shù)的校正量，或者 可以由用戶逐步地調(diào)節(jié)閃光圖像的加權(quán)系數(shù)的校正量。
在自動(dòng)計(jì)算的情況下，例如，可以預(yù)先設(shè)置閃光圖像和非閃光圖像的亮
度級(jí)別的總和之間的標(biāo)準(zhǔn)差，并且可以調(diào)節(jié)閃光和非閃光圖像的力口權(quán)系數(shù)以 便可以獲得所述差。
在由用戶調(diào)節(jié)的情況下，可以對(duì)于加權(quán)系數(shù)設(shè)置固定變化量，并且每次 執(zhí)行閃光校正操作時(shí)，可以將閃光圖像的加權(quán)系數(shù)改變所述固定量。用戶僅 重復(fù)閃光校正操作，直到已經(jīng)獲得期望的狀態(tài)為止。
由于通過(guò)改變加權(quán)系數(shù)來(lái)實(shí)施上述閃光去除和閃光校正處理，因此用戶 還可以通過(guò)在組合工作圖像70中選擇圖像數(shù)據(jù)元素并手動(dòng)地改變加權(quán)系數(shù) 來(lái)執(zhí)行所述處理。然而，實(shí)際上，對(duì)于用戶來(lái)說(shuō)，改變大量圖像數(shù)據(jù)元素的各個(gè)加權(quán)系數(shù)是耗時(shí)的。通過(guò)根據(jù)閃光去除操作、閃光校正操作等來(lái)執(zhí)行上 述處理，顯著地改善了組合工作的操作性。
10、示例性組合模式處理基于距離的校正
現(xiàn)在將參照?qǐng)D41到44,描述圖像抓取期間根據(jù)到對(duì)象的距離來(lái)校正加 權(quán)系數(shù)的示例性處理。
為了執(zhí)行該處理，在圖5所示的步驟F15中的圖像抓取中，在添加到每 一幀的圖像數(shù)據(jù)的元數(shù)據(jù)(例如，Exif數(shù)據(jù))中包括圖像抓取期間到焦點(diǎn)對(duì) 準(zhǔn)平面的距離(在下文中，稱為"圖像抓取距離")。如上所述，在圖像抓取 期間，使用自動(dòng)對(duì)焦控制來(lái)對(duì)焦主要對(duì)象。此時(shí)，鏡頭位置檢測(cè)單元27從鏡 頭地址執(zhí)行反向操作，以確定到主要對(duì)象的距離。CPU31添加關(guān)于距離的信 息作為元數(shù)據(jù)。
現(xiàn)在，在組合處理中圖8所示的步驟F206中的調(diào)節(jié)處理中，假設(shè)在圖 41所示的時(shí)間線73中顯示為選擇圖像列表的圖像數(shù)據(jù)元素#5到#11在組合 范圍中。
假設(shè)圖像數(shù)據(jù)元素#5到#11示出了對(duì)象正逐漸接近圖像抓取設(shè)備1同時(shí) 從屏幕的右上方運(yùn)動(dòng)到左下方的景象。
在圖像顯示區(qū)域72中顯示通過(guò)向圖像數(shù)據(jù)元素#5到#11分配相同的加權(quán) 系數(shù)而產(chǎn)生的組合圖像作為預(yù)覽圖像。
這里，如圖42所示，假設(shè)用戶執(zhí)行加權(quán)系數(shù)運(yùn)算以增大圖像數(shù)據(jù)元素#5、 #8和#11的加權(quán)系數(shù)并減小剩余的圖像數(shù)據(jù)元素#6、 #7、 #9和#10的加權(quán)系 數(shù)來(lái)應(yīng)用多閃光效果，以便產(chǎn)生顯示為預(yù)覽圖像的圖像。
由于在不使用閃光的情況下已經(jīng)抓取了圖像數(shù)據(jù)元素#5到#11,因此使 用加權(quán)系數(shù)來(lái)實(shí)現(xiàn)多閃光效果。這里，將考慮在圖像抓取期間實(shí)際閃光。
在閃光圖像抓取中，實(shí)際上，隨著到對(duì)象的距離增大，到達(dá)對(duì)象的光量 減小，如果光量不足則導(dǎo)致黑暗拍攝。為了避免這樣的問(wèn)題，需要更大的閃 光，這可能抑制尺寸和功耗的降低。
在本實(shí)施例中，相反，通過(guò)執(zhí)行如圖42所示的圖像組合可以克服現(xiàn)有技 術(shù)中由于實(shí)際閃光引起的問(wèn)題。也就是說(shuō)，在不使用大閃光的情況下，可以 獲得與在充足光量情況下抓取的圖像類似的圖像。
可能存在對(duì)于與在閃光的情況下抓取的圖像類似的圖像來(lái)說(shuō)的另 一要求在不使用閃光的情況下更真實(shí)地再現(xiàn)。也就是說(shuō)，可以考慮這樣的要求 使用現(xiàn)有技術(shù)的閃光圖像抓取而實(shí)現(xiàn)的多閃光效果的更真實(shí)的再現(xiàn)。
因此，期望校正閃光效果。圖43示出了具有多閃光效果的組合圖像，這 與在閃光的情況下實(shí)際抓取的圖像類似，其中根據(jù)元數(shù)據(jù)(例如，Exif數(shù)據(jù)) 中記載的關(guān)于圖像抓取距離的信息增大施加了閃光效果的圖像數(shù)據(jù)元素(#5、 #8和#11)的加權(quán)系數(shù)，同時(shí)根據(jù)圖像抓取距離調(diào)節(jié)加權(quán)系數(shù)(在下文中， 稱為"基于距離的閃光校正，，)。具體地說(shuō)，在圖43中，如權(quán)重條w5、 w8和 wU所示，調(diào)節(jié)加權(quán)系數(shù)以便當(dāng)圖像抓取距離增大時(shí)將其減小。由此，如圖 像顯示區(qū)域72中的預(yù)覽圖像(其在基于距離的閃光校正之后獲得)中所示， 產(chǎn)生組合圖像，以便當(dāng)距離增大時(shí)，減小閃光效果。將基于距離的閃光校正 之前獲得的組合圖像(即，圖42中所示的狀態(tài)下獲得的組合圖像)顯示在圖 像顯示區(qū)域71中。如從兩個(gè)組合圖像之間的比較可以看到的那樣，使用基于 距離的閃光校正，可以實(shí)現(xiàn)組合圖像的更真實(shí)的表現(xiàn)。
圖44示出了用于實(shí)施上述基于距離的閃光校正的CPU31的處理。圖44 示出了用于在圖8所示的組合處理中的步驟F206中的調(diào)節(jié)處理中使能基于距 離的閃光^t正的示例性處理。
圖44中所示的步驟F220和F225與圖9中所示的步驟類似。在圖44中， 將步驟F260到F266添加到圖9中所示的處理。
當(dāng)正在調(diào)節(jié)處理中示出組合工作圖像70時(shí)，如上所述，除了改變加權(quán)系 數(shù)或改變組合范圍的操作之外，用戶可以執(zhí)行基于距離的閃光校正操作。例 如，可以通過(guò)操作預(yù)定的操作鍵或者選擇菜單條目來(lái)執(zhí)行閃光校正操作。
例如，用戶可以執(zhí)行加權(quán)校正操作(或選擇多閃光效果的系數(shù)模板)以 便以圖42所示的方式將多閃光效果施加到組合圖像。多閃光效果僅僅是個(gè)示 例，并且通過(guò)分配到組合范圍中的某一圖像數(shù)據(jù)元素的高加權(quán)系數(shù)，可以施 加諸如前簾同步效果、后簾同步效果或閃光效果之類的任何其他效果。
在這種情況下，通過(guò)執(zhí)行基于距離的閃光校正操作，用戶可以實(shí)現(xiàn)更真 實(shí)的圖像表現(xiàn)。
當(dāng)檢測(cè)到用戶執(zhí)行的基于距離的閃光校正操作時(shí)，CPU31將處理從步驟 F260前進(jìn)到步驟F261。
在步驟F261到F264，從組合范圍中的圖像數(shù)據(jù)元素之中提取具有使用 加權(quán)系數(shù)而施加的閃光效果的圖像，并且改變加權(quán)系數(shù)。在步驟F261, CPU 31提取組合范圍中的圖像數(shù)據(jù)元素中之一作為處理 目標(biāo)。在步驟F262, CPU31確定所提取的圖像數(shù)據(jù)元素是否為具有使用加 權(quán)系數(shù)而施加的閃光效果的圖像(在下文中，稱為"施加了閃光效果的圖像" 或"施加了閃光效果的圖像數(shù)據(jù)元素")。
如果當(dāng)前目標(biāo)圖像數(shù)據(jù)元素是施加了閃光效果的圖像，則CPU 31進(jìn)行 到步驟F263 ，并且根據(jù)圖像數(shù)據(jù)元素的元數(shù)據(jù)來(lái)確定關(guān)于對(duì)象的圖像數(shù)據(jù)元 素的圖像抓取距離。然后，在步驟F264， CPU31根據(jù)圖像抓取距離來(lái)計(jì)算 加權(quán)系數(shù)的校正值，并將其存儲(chǔ)為圖像數(shù)據(jù)元素的加權(quán)系數(shù)的校正值。
如果當(dāng)前目標(biāo)圖像數(shù)據(jù)不是施加了閃光效果的圖像，則不執(zhí)行步驟F263 或F264的處理。
在已經(jīng)對(duì)于一個(gè)圖像數(shù)據(jù)元素完成了所述處理之后，CPU31從步驟F265 返回到步驟F261,并且關(guān)于組合范圍中的下一個(gè)圖像數(shù)據(jù)元素執(zhí)行類似的處 理。
當(dāng)對(duì)于組合范圍中的所有圖像數(shù)據(jù)元素完成了上述處理時(shí)，就已經(jīng)對(duì)于 組合范圍中的所有施加了閃光效果的圖像數(shù)據(jù)元素(在圖42中，圖像數(shù)據(jù)元 素#5、 #8和#11)計(jì)算了基于圖像抓取距離的加權(quán)系數(shù)的校正值。
在已經(jīng)對(duì)于組合范圍中的所有圖像數(shù)據(jù)元素完成了步驟F261到F265的 處理之后，在步驟F266， CPU31根據(jù)基于圖像抓取距離的加權(quán)系數(shù)的校正 值，校正施加了閃光效果的圖像數(shù)據(jù)元素的加權(quán)系數(shù)。
在校正之后，CPU31改變與圖像數(shù)據(jù)元素對(duì)應(yīng)的權(quán)重條的高度。CPU 31進(jìn)一 步使用經(jīng)校正的加權(quán)系數(shù)來(lái)組合各個(gè)圖像數(shù)據(jù)元素以產(chǎn)生組合圖像， 并在圖像顯示區(qū)域72中顯示組合圖像。
進(jìn)一步在圖像顯示區(qū)域71中顯示基于距離的閃光校正之前獲得的組合 圖像(即，緊接在所述處理之前，已經(jīng)在圖像顯示區(qū)域72中顯示為組合圖像 的預(yù)覽圖像的圖像)。
通過(guò)上述處理，獲得了圖43中所示的組合工作圖像70。由此，顯示經(jīng) 歷了基于距離的閃光校正的組合圖像。
在步驟F266中的組合中，為了防止加權(quán)系數(shù)校正之后產(chǎn)生的組合圖像的 光亮度整體改變，可以自動(dòng)地調(diào)節(jié)所有加權(quán)系數(shù)，以便獲得合適的明亮的組 合圖像。
在圖44中所示的處理中，根據(jù)距離僅校正施加了閃光效果的圖像數(shù)據(jù)元素的加權(quán)系數(shù)?？商娲兀鶕?jù)圖像抓取距離，可以計(jì)算組合范圍中的所有 圖像數(shù)據(jù)元素的加權(quán)系數(shù)的校正值，并且可以校正加權(quán)系數(shù)。具體地說(shuō)，可
以省略圖44中所示的步驟F262的處理，并且可以對(duì)于組合范圍中的所有圖
像數(shù)據(jù)元素執(zhí)行步驟F263和F264的處理。
在這種情況下，在基于距離的校正之后獲得圖45中所示的組合工作圖像
70。具體地說(shuō)，如權(quán)重條w5到wll所示，根據(jù)圖像抓取距離校正圖像數(shù)據(jù)
元素#5到#11的加權(quán)系數(shù)，并且在圖像顯示區(qū)域72中顯示基于經(jīng)校正的加權(quán)
系數(shù)的組合圖像。
在實(shí)際中，所發(fā)射閃光的閃光到達(dá)距離具有如下的關(guān)系 閃光到達(dá)距離(m)=閃光指數(shù)(guidenumber) (ISO 100) +光圈設(shè)置
值
一旦指定了閃光指數(shù)，則基于閃光量與距離的平方成反比的事實(shí)，可以 設(shè)置加權(quán)系數(shù)的校正值。
考慮到圖像表現(xiàn)，最好根據(jù)用戶操作給出的指示來(lái)指定虛擬(virtual) 閃光指數(shù)。閃光指數(shù)還可以根據(jù)對(duì)象的距離分布而自動(dòng)地選擇。例如，當(dāng)對(duì) 象分布于短距離到中距離時(shí)，減小閃光指數(shù)；當(dāng)對(duì)象分布于短距離到長(zhǎng)距離 時(shí)，增大閃光指數(shù)。
也可以預(yù)設(shè)閃光指數(shù)，如"閃光指數(shù)28"。"閃光指數(shù)"僅僅是個(gè)示例， 并且也可以指定暗示閃光量的任意其他值，如閃光到達(dá)距離。或者，可以指 定與實(shí)際拍攝中使用的光圈值不同的光圈設(shè)置值。由此，實(shí)現(xiàn)了虛擬閃光效果。
當(dāng)以上述方式選擇系數(shù)才莫板時(shí)，通過(guò)參照所抓取的圖像數(shù)據(jù)的元數(shù)據(jù)根 據(jù)圖像抓取距離也可以確定加權(quán)。
可以自動(dòng)地設(shè)置多閃光效果，以便在選擇系數(shù)模板之后可以調(diào)節(jié)發(fā)光間 隔(高加權(quán)幀的間隔)，并且根據(jù)調(diào)節(jié)的發(fā)光間隔、基于圖像抓取距離可以確 定力口權(quán)。
通過(guò)將對(duì)應(yīng)的操作功能添加到預(yù)定的操作器或者通過(guò)從菜單中選擇對(duì)應(yīng) 的條目，可以實(shí)施調(diào)節(jié)操作?？商娲?，通過(guò)執(zhí)行諸如按下十字鍵5i的左右 按鈕同時(shí)按下快門操作鍵5a之類的操作，可以如期望地那樣設(shè)置發(fā)光時(shí)間段。
此外，區(qū)域提取可以用于根據(jù)圖像抓取距離僅對(duì)焦點(diǎn)對(duì)準(zhǔn)對(duì)象應(yīng)用加權(quán)， 由此實(shí)現(xiàn)了閃光效果的更真實(shí)再現(xiàn)。 '可以獲得諸如所謂的深度圖(對(duì)于每一個(gè)像素來(lái)說(shuō)的到對(duì)象的測(cè)量距離) 之類的距離分布信息作為關(guān)于圖像抓取距離的信息，由此根據(jù)如下關(guān)系將加 權(quán)分配到每一個(gè)像素
閃光到達(dá)距離(m)=閃光指數(shù)(ISO100) +光圈設(shè)置值 具體地說(shuō)，除了在圖像組合期間使用加權(quán)來(lái)獲取長(zhǎng)時(shí)間曝光圖像之外， 使用基于圖像抓取距離的區(qū)域提取或諸如深度圖之類的距離分布信息，根據(jù) 一個(gè)組合圖像內(nèi)的距離可以改變權(quán)重，由此實(shí)現(xiàn)閃光效果的更真實(shí)再現(xiàn)。
如上所述，在圖像抓取期間由相機(jī)DSP4的信息產(chǎn)生單元44可以產(chǎn)生距 離分布信息。
此外，可以強(qiáng)加權(quán)具有短圖像抓取距離的幀，而弱加權(quán)具有長(zhǎng)圖像抓取 距離的幀，以減小圖像處理負(fù)荷。在不使用區(qū)域提取或深度圖的情況下，通 過(guò)對(duì)整個(gè)屏幕執(zhí)行加權(quán)可以減小處理負(fù)荷。
在用于表示運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)的、使用長(zhǎng)時(shí)間曝光抓取的圖像中，在圖像 抓取方面，背景區(qū)域中可能不包含運(yùn)動(dòng)，或者甚至背景區(qū)域中包含的運(yùn)動(dòng)可 能不一定重要。由此，在所抓取的一些景象中，如果通過(guò)對(duì)整個(gè)屏幕來(lái)執(zhí)行 加權(quán)以執(zhí)行圖像組合，則不會(huì)出現(xiàn)問(wèn)題。
根據(jù)參照?qǐng)D41到圖45的上述示例性處理，根據(jù)對(duì)象距離信息執(zhí)行圖像 組合的加權(quán)。由此，與使用閃光而實(shí)際抓取的圖像類似的圖像可以在不使用 閃光的情況下獲得。因此，可以實(shí)現(xiàn)具有多閃光效果、前簾同步效果、后簾 同步效果、期望時(shí)刻處的發(fā)光效果等的組合圖像的更真實(shí)的表現(xiàn)。
現(xiàn)在將參照?qǐng)D46和圖47描述另一個(gè)示例性處理。
例如，假設(shè)在圖46中所示的組合范圍中的圖像數(shù)據(jù)元素#5到#11之中， 圖像數(shù)據(jù)元素#5、 #8和#11已經(jīng)使用閃光實(shí)際地抓取。
此外，由于充足的閃光量，因此假設(shè)沒有獲得具有長(zhǎng)圖像抓取距離的幀 的滿意的、合適的曝光圖像。在該示例中，假設(shè)圖像數(shù)據(jù)元素#11 (其中對(duì)象 接近圖像抓取設(shè)備1 )的閃光量是充足的，而圖像數(shù)據(jù)元素#8和#5 (其中對(duì) 象很遙遠(yuǎn))的光量是不充足的(圖像數(shù)據(jù)元素#5的光量最小)。
在這種情況下，當(dāng)通過(guò)應(yīng)用相等的加權(quán)系數(shù)以執(zhí)行組合時(shí)，如圖46所示， 獲得了具有閃光效果的圖像，其中當(dāng)對(duì)象更接近于圖像抓取設(shè)備1時(shí)對(duì)象更 明顯。
盡管該組合圖像提供了多閃光效果的更真實(shí)的表現(xiàn)，但是一些用戶可能期望無(wú)論圖像抓取距離如何都清晰而不是真實(shí)的發(fā)光效果的表現(xiàn)。因此，可 以執(zhí)行校正，以便與上述示例相反，可以校正通過(guò)閃光實(shí)際地執(zhí)行圖像抓取 而獲得的真實(shí)圖像，以提高閃光效果。
為了執(zhí)行該處理，在圖5所示的步驟F15中的圖像抓取中，圖像抓取距 離(在圖像抓取期間，到焦點(diǎn)對(duì)準(zhǔn)平面的距離)被包括在添加到每一幀圖像 數(shù)據(jù)的元數(shù)據(jù)中。也可以包括關(guān)于是否已經(jīng)閃光的信息作為元數(shù)據(jù)。
通過(guò)^f務(wù)改上述圖44中所示的處理，可以實(shí)施CPU31的實(shí)際示例性處理。 具體地說(shuō)，在步驟F262,確定所提取的圖像數(shù)據(jù)元素是否為已經(jīng)通過(guò)實(shí) 際地閃光而抓取的閃光圖像。如果所提取的圖像數(shù)據(jù)元素是閃光圖像，則在 步驟F263,確定到對(duì)象的距離。在步驟F264，根據(jù)所述距離計(jì)算加權(quán)系數(shù)的 校正值。此時(shí)，與上述示例相反，確定用于校正加權(quán)系數(shù)以便提供充足光量 而不是根據(jù)距離減小閃光量的校正值。
然后，在計(jì)算了所有閃光圖像的加權(quán)系數(shù)的校正值之后，在步驟F266, 使用校正值可以校正閃光圖像的加權(quán)系數(shù)，并且在校正之后，可以執(zhí)行組合 處理。
圖47示出了校正之后獲得的組合工作圖像70的示例。在圖像顯示區(qū)域 72中顯示經(jīng)校正的組合圖像。在校正之后獲得的組合圖像中，如從與校正之 前獲得的組合圖像的比較可以看出的那樣，即使對(duì)于針對(duì)遙遠(yuǎn)的對(duì)象、通過(guò) 不足的閃光量實(shí)際抓取的圖像來(lái)說(shuō)，也可以獲得閃光效果的更清晰表示。
如權(quán)重條w5到wll所示，校正加權(quán)系數(shù)，以便將更高的加權(quán)系數(shù)分配 到其中在閃光圖像#5、 #8和#11之中對(duì)象更遙遠(yuǎn)的圖像數(shù)據(jù)元素。也就是說(shuō)， 執(zhí)行校正，以便提供具有大量光的閃光。
在步驟F266中的組合中，為了防止加權(quán)系數(shù)校正之后產(chǎn)生的組合圖像的 光亮度整體變化，可以自動(dòng)地調(diào)節(jié)所有的加權(quán)系數(shù)，以便獲得合適的明亮的 組合圖像。
在這種情況下，可以如下執(zhí)行閃光圖像的加權(quán)系數(shù)的校正(步驟F264 中校正值的計(jì)算)。
根據(jù)以下關(guān)系，確定是否需要校正使用閃光抓取的閃光圖像(是否需要 改變加權(quán)系數(shù))
閃光到達(dá)距離(m)=閃光指數(shù)(ISO 100) +光圈設(shè)置值
例如，如果圖像抓取距離(m)小于閃光到達(dá)距離(m)，則確定閃光量不足并且需要校正(加權(quán))。
如果需要校正，則基于閃光量反比于距離的平方的事實(shí)以及關(guān)系"閃光
到達(dá)距離(m)=閃光指數(shù)(ISO 100) +光圈設(shè)置值"來(lái)執(zhí)行校正。
在該校正中，指定閃光指數(shù)以基于閃光量反比于距離的平方的事實(shí)來(lái)執(zhí)
行力口權(quán)。
考慮到圖像表示，最好根據(jù)用戶操作給出的指示來(lái)指定虛擬閃光指數(shù)。 也可以根據(jù)對(duì)象的距離分布來(lái)自動(dòng)地選擇閃光指數(shù)。例如，當(dāng)對(duì)象分布于短
距離到中距離時(shí)，減小閃光指數(shù)；而當(dāng)對(duì)象分布于短距離到長(zhǎng)距離時(shí)，增大 閃光指數(shù)。
也可以預(yù)設(shè)閃光指數(shù)，如"閃光指數(shù)28"。
"閃光指數(shù)"僅僅是個(gè)示例，也可以指定暗示閃光量的任意其他值，如 閃光到達(dá)距離?；蛘?，可以指定與實(shí)際拍攝中使用的光圈值不同的光圈設(shè)置 值。由此，實(shí)現(xiàn)了虛擬閃光效果。
可以使用以下處理作為示例性加權(quán)系數(shù)校正處理。
通過(guò)根據(jù)圖像的亮度分布來(lái)確定校正系數(shù)、使用元數(shù)據(jù)和校正系數(shù)來(lái)執(zhí) 行校正(加權(quán))，可以確定通過(guò)閃光而抓取的幀(閃光圖像)所需的校正(加 權(quán))的程度。
之前和之后幀的亮度分布(亮度信號(hào)之和)等的。
此外，通過(guò)參照添加到圖像數(shù)據(jù)元素的元數(shù)據(jù)，可以執(zhí)行通過(guò)閃光而抓 取的幀(閃光圖像)的確定，并且基于連續(xù)圖像的之前和之后幀的亮度分布 (亮度信號(hào)之和)等，可以執(zhí)行通過(guò)不想要的發(fā)光(如，(由另一個(gè)攝像者等 進(jìn)行的)另一個(gè)閃光，或者由經(jīng)過(guò)的汽車燈的瞬時(shí)照明)而抓取的幀的確定。 通過(guò)該確定，即使在意外照明條件下(如由另一個(gè)拍攝者進(jìn)行的閃光)，也可 以獲得滿意的組合圖像。
不僅可以由存儲(chǔ)為元數(shù)據(jù)(例如，Exif數(shù)據(jù))的圖像抓取距離(在圖像 抓取期間到焦點(diǎn)對(duì)準(zhǔn)平面的距離)來(lái)實(shí)施關(guān)于圖像抓取距離的信息，而且可 以由例如，使用區(qū)域提取技術(shù)或所謂的距離分布信息(深度圖)獲得的、到 焦點(diǎn)對(duì)準(zhǔn)對(duì)象的圖像抓取距離來(lái)實(shí)施關(guān)于圖像抓取距離的信息。
使用區(qū)域提取或基于距離分布信息的距離信息，并使用關(guān)系"閃光到達(dá) 距離(m)=閃光指數(shù)(ISO 100) +光圈設(shè)置值"，可以執(zhí)行通過(guò)閃光而抓取的幀的校正必要性的確定。如果保持"距離信息(m) <閃光到達(dá)距離(m)", 則確定閃光量不足，并且必須校正加權(quán)系數(shù)。
如果校正是必需的，則基于閃光量反比于距離的平方的事實(shí)來(lái)確定校正 值。此外，在這種情況下，使用區(qū)域提取或基于距離分布信息的距離信息， 可以對(duì)一 區(qū)域或每一個(gè)^f象素凈丸行加斗又。
也就是說(shuō)，不僅通過(guò)執(zhí)行加權(quán)，而且通過(guò)根據(jù)基于圖像抓取距離的區(qū)域 提取或距離信息(如距離分布信息)，根據(jù)一個(gè)圖像內(nèi)的距離來(lái)改變權(quán)重，來(lái) 在圖像組合中獲得長(zhǎng)時(shí)間曝光圖像，由此實(shí)現(xiàn)閃光效果的更滿意再現(xiàn)。
此外，通過(guò)確定閃光是否已經(jīng)到達(dá)，并且減小關(guān)于具有圖像抓取距離(在 其之內(nèi)，閃光已經(jīng)到達(dá))的圖像的加權(quán)，也可以執(zhí)行上述閃光去除。
此外，在閃光去除中，通過(guò)使用區(qū)域提取或基于距離分布信息的距離信 息，對(duì)一區(qū)域或每一個(gè)像素執(zhí)行加權(quán)，可以獲得更滿意的圖像。
閃光到達(dá)距離具有這樣的關(guān)系"閃光到達(dá)距離(m )=閃光指數(shù)(ISO 100 ) +光圈設(shè)置值"，并且閃光量反比于距離的平方。由此，使用元數(shù)據(jù)中記錄的 閃光量可以計(jì)算每一個(gè)距離的校正值。
在校正期間，根據(jù)閃光量反比于距離的平方的事實(shí)，通過(guò)指定閃光指數(shù)， 可以執(zhí)行加權(quán)。通過(guò)參照顯示實(shí)際的閃光指數(shù)以便將其改變的元數(shù)據(jù)，或者 通過(guò)鍵入一期望的閃光指數(shù)(不同于實(shí)際閃光的閃光指數(shù))可以指定閃光指 數(shù)。由此，實(shí)現(xiàn)了多種圖像表示。
11、示例性組合模式處理模糊校正
現(xiàn)在將描述包括模糊校正的示例性組合模式處理。
圖48A、圖48B和圖48C示出了使用組合處理獲得的組合圖像的示例。 這里，組合圖像中的對(duì)象包括從屏幕的右上方運(yùn)動(dòng)到左下方的主要對(duì)象(具 有運(yùn)動(dòng)的動(dòng)態(tài)對(duì)象)以及在其背景中的靜態(tài)對(duì)象。這里所使用的術(shù)語(yǔ)"靜態(tài) 對(duì)象，，意味著在圖像抓取期間用戶"不希望運(yùn)動(dòng)"的物體，而不是在背景中 出現(xiàn)的物體或"不運(yùn)動(dòng)或靜止的，，物體(如建筑物或風(fēng)景)。靜止對(duì)象還可以 包括例如，人和動(dòng)物。因此，靜止對(duì)象是這樣的對(duì)象在組合圖像中其模糊 是不期望的。
圖48A示出了用戶期望的圖像，其中對(duì)于動(dòng)態(tài)對(duì)象實(shí)現(xiàn)了長(zhǎng)時(shí)間曝光， 而對(duì)于背景中的靜態(tài)對(duì)象看來(lái)是靜止的。在圖5所示的步驟F15中的連續(xù)圖像抓取中，對(duì)于某一時(shí)間段執(zhí)行圖像
抓取。由此，由于用戶手的抖動(dòng)或?qū)ο蟮倪\(yùn)動(dòng)，使得在產(chǎn)生的組合圖像中靜 態(tài)對(duì)象可能會(huì)模糊。
圖48B示出了在例如其中圖像抓取設(shè)備1沒有被三腳架等固定的情況 下，由于相機(jī)抖動(dòng)引起的背景中靜態(tài)對(duì)象的模糊。
圖48C示出了由于各個(gè)對(duì)象的任意運(yùn)動(dòng)引起的靜態(tài)對(duì)象的模糊(在下文 中稱為"對(duì)象模糊，，)。例如，即使圖像抓取設(shè)備l被三腳架等固定，在組合 圖像中也可能由于其運(yùn)動(dòng)S1起靜態(tài)對(duì)象非故意地模糊。
在下面的示例性處理中，作為示例，校正這樣的相機(jī)抖動(dòng)或?qū)ο竽：?影響。
首先，當(dāng)拍攝者抖動(dòng)圖像抓取設(shè)備1時(shí)產(chǎn)生相機(jī)抖動(dòng)圖像。在這種情況 下，在組合圖像中，背景中的靜態(tài)對(duì)象類似地模糊。
通過(guò)根據(jù)在每一個(gè)組合使用圖像數(shù)據(jù)元素中檢測(cè)到的靜態(tài)對(duì)象的運(yùn)動(dòng)矢 量，對(duì)組合范圍中的每一個(gè)圖像數(shù)據(jù)元素執(zhí)行坐標(biāo)變換，然后將組合使用圖 像數(shù)據(jù)元素進(jìn)行組合來(lái)校正這樣的相機(jī)抖動(dòng)。
由于各個(gè)對(duì)象的任意運(yùn)動(dòng)引起對(duì)象模糊。也就是說(shuō)，靜態(tài)對(duì)象不同地模糊。
通過(guò)從組合范圍中的每一個(gè)圖像數(shù)據(jù)元素中提取動(dòng)態(tài)對(duì)象的區(qū)域，并執(zhí) 行組合處理以將從組合使用圖像數(shù)據(jù)元素中提取的動(dòng)態(tài)對(duì)象的圖像區(qū)域與一 個(gè)組合使用圖像數(shù)據(jù)元素進(jìn)行組合來(lái)解決這樣的對(duì)象模糊。
首先，將參照?qǐng)D49到圖52來(lái)描述校正相機(jī)抖動(dòng)的示例性處理。 圖49示出了在圖像顯示區(qū)域72中顯示通過(guò)將組合范圍中的圖像數(shù)據(jù)元 素#5到#11進(jìn)行組合而獲得的組合圖像作為預(yù)覽圖像的組合工作圖像70。在 這種情況下，在圖像抓取期間由于相機(jī)抖動(dòng)引起背景對(duì)象模糊(出現(xiàn)用戶的 非故意模糊)。
雖然為了描述的方便在此使用術(shù)語(yǔ)"相機(jī)抖動(dòng)"，但是即使實(shí)際上相機(jī)不 抖動(dòng)，連續(xù)圖像抓取中的幀成分移動(dòng)(frame composition shift)也將弓1起組合 圖像中類似的模糊。
使用運(yùn)動(dòng)矢量來(lái)執(zhí)行相機(jī)抖動(dòng)校正。圖52示出了包括用于校正這樣的相 機(jī)抖動(dòng)的處理的示例性處理。在圖52中，步驟F220到F225類似于圖9中的 步驟。在圖52中，步驟F270到F274 ^皮添加到圖9中所示的處理。例如，當(dāng)在調(diào)節(jié)處理中正在顯示圖49所示的組合工作圖像70時(shí)，如上
所述，除了改變加權(quán)系數(shù)或改變組合范圍的操作之外，用戶還可以執(zhí)行模糊 校正操作?？梢酝ㄟ^(guò)例如，操作預(yù)定操作鍵或選擇菜單條目來(lái)執(zhí)行模糊校正 操作。
當(dāng)檢測(cè)到用戶執(zhí)行的模糊校正操作時(shí)，CPU 31將處理從步驟F270前進(jìn) 到步驟F271，并首先執(zhí)行基準(zhǔn)圖像選擇處理。
基準(zhǔn)圖像選擇處理可以是用于從組合范圍中的圖像數(shù)據(jù)元素#5到#11之 中選擇用于校正的基準(zhǔn)圖像數(shù)據(jù)元素的處理。
作為基準(zhǔn)圖像，從組合開始位置和組合結(jié)束位置限定的選擇圖像列表中 選擇頂部幀(top frame )。基準(zhǔn)圖像也可以是中心幀。可替代地，可以允許用 戶選擇基準(zhǔn)圖像，以便可以使用用戶喜歡的背景條件執(zhí)行圖像組合。
然后，在步驟F272, CPU31執(zhí)行特定點(diǎn)提取處理。在該處理中，CPU31 在每一個(gè)圖像數(shù)據(jù)元素#5到#11中提取特定點(diǎn)，并關(guān)于基準(zhǔn)圖像上的特定點(diǎn)， 檢測(cè)在非基準(zhǔn)圖像的圖像上特定點(diǎn)的位移量。
特定點(diǎn)是靜態(tài)對(duì)象中的特征部分，并且位移量與關(guān)于基準(zhǔn)圖像數(shù)據(jù)的、 每一個(gè)圖像數(shù)據(jù)上特定點(diǎn)的運(yùn)動(dòng)矢量相對(duì)應(yīng)。
可以通過(guò)從多個(gè)圖像數(shù)據(jù)元素中選擇高亮度高對(duì)比度圖像(邊緣檢測(cè)) 來(lái)提取特定點(diǎn)，或可以通過(guò)用戶使用觸摸板、光標(biāo)等來(lái)選擇?？商娲?，可 以自動(dòng)地提取多個(gè)坐標(biāo)，并且可以允許用戶選擇它們中之一。
對(duì)于非基準(zhǔn)圖像的圖像，發(fā)現(xiàn)并提取基準(zhǔn)圖像或靠近基準(zhǔn)圖像的圖像(例 如，相鄰幀)中特定點(diǎn)的位置坐標(biāo)附近(由圖像抓取設(shè)備1的焦距限定的、 由于相機(jī)抖動(dòng)引起的幀成分模糊的范圍內(nèi))的相同圖像。
使用回放圖像選擇并檢查幀。由此，可以檢查所提取的特定點(diǎn)。
通過(guò)操作觸摸板、光標(biāo)等可以修改非基準(zhǔn)圖像的圖像中的所提取的特定點(diǎn)。
此外，代替僅僅從基準(zhǔn)圖像中提取/選擇特定點(diǎn)，也可以從非基準(zhǔn)圖像的 圖像中提取可能的特定點(diǎn)，并且可以選擇具有最小運(yùn)動(dòng)的特定點(diǎn)。也可以以 運(yùn)動(dòng)的升序來(lái)排列可能的特定點(diǎn)，并且可以允許用戶選擇它們中之一。
此外，可以在基準(zhǔn)圖像與非基準(zhǔn)圖像的圖像之間執(zhí)行相關(guān)性算術(shù)運(yùn)算， 以獲得作為運(yùn)動(dòng)矢量的對(duì)應(yīng)像素中的變化作為特定點(diǎn)的變化。
在自動(dòng)地設(shè)置或由用戶設(shè)置特定點(diǎn)的情況下，可以選擇多個(gè)特定點(diǎn)，而不是一個(gè)特定點(diǎn)。
可以選擇多個(gè)點(diǎn)而不是一個(gè)點(diǎn)作為特定點(diǎn)，并且可以將所述點(diǎn)處的運(yùn)動(dòng)
矢量的平均值或標(biāo)量的最小值設(shè)置為特定點(diǎn)的變化。
可以加權(quán)多個(gè)所選擇的特定點(diǎn)，以獲得運(yùn)動(dòng)矢量的加權(quán)平均值。
在步驟F272， CPU31以上述方式提取每一個(gè)圖像數(shù)據(jù)元素#5到#11的 特定點(diǎn)，并計(jì)算關(guān)于基準(zhǔn)圖像的、非基準(zhǔn)圖像數(shù)據(jù)元素中特定點(diǎn)的位移量。 例如，如果假設(shè)圖像平面是XY坐標(biāo)平面，則位移量可以是X和Y軸上的移 動(dòng)量。當(dāng)以上述方式檢測(cè)到特定點(diǎn)和位移量時(shí)，在步驟F273, CPU31根據(jù) 檢測(cè)結(jié)果執(zhí)行非基準(zhǔn)圖像的圖像的坐標(biāo)變換。
例如，首先，如果將圖像數(shù)據(jù)元素#5用作基準(zhǔn)圖像，則已經(jīng)確定關(guān)于基 準(zhǔn)圖像數(shù)據(jù)元素#5中特定點(diǎn)處圖像的、在圖像數(shù)據(jù)元素#6中特定點(diǎn)處圖像的 位移量。由此，通過(guò)對(duì)應(yīng)的位移量，對(duì)圖像數(shù)據(jù)元素#6執(zhí)行坐標(biāo)變換。具體 地說(shuō)，執(zhí)行坐標(biāo)變換(在XY坐標(biāo)上移動(dòng)圖像)，以便圖像數(shù)據(jù)元素糾中特定 點(diǎn)的位置(XY坐標(biāo)值)可以匹配圖像數(shù)據(jù)元素#5中特定點(diǎn)的位置。還對(duì)于 圖像數(shù)據(jù)元素#7到#11以類似的方式執(zhí)行坐標(biāo)變換，以便在每一個(gè)圖像數(shù)據(jù) 元素#7到#11中的特定點(diǎn)的位置可以匹配圖像數(shù)據(jù)元素#5中特定點(diǎn)的位置。
然后，在步驟F274,對(duì)于每一個(gè)圖像數(shù)據(jù)元素#5到#11執(zhí)行組合處理， 并且在圖像顯示區(qū)域72上顯示產(chǎn)生的圖像作為預(yù)覽圖像。
圖50示出了在這種情況下獲得的組合工作圖像70。如圖50所示，在圖 像顯示區(qū)域72中顯示已經(jīng)校正了相機(jī)抖動(dòng)的影響的組合圖像。
相機(jī)抖動(dòng)也可能影響具有運(yùn)動(dòng)的主要對(duì)象。然而，在坐標(biāo)變換之后的組
合中克服了相機(jī)抖動(dòng)關(guān)于主要對(duì)象的影響。由此，可以實(shí)現(xiàn)平滑的長(zhǎng)時(shí)間曝 光效果圖像。
關(guān)于非基準(zhǔn)圖像數(shù)據(jù)的圖像數(shù)據(jù)的坐標(biāo)變換可能導(dǎo)致其中圖像彼此不重 疊的部分。為了防止這樣的部分的出現(xiàn)，可以向圖像數(shù)據(jù)應(yīng)用修正處理 (trimming process )。
在上述示例中，描述了從圖像數(shù)據(jù)本身檢測(cè)特定點(diǎn)的運(yùn)動(dòng)矢量的技術(shù)。 可替代地，傳感器輸出(例如，用于檢測(cè)模糊檢測(cè)單元13檢測(cè)到的相機(jī)抖動(dòng) 的量和方向的傳感器輸出)可以被包括在每一個(gè)圖像數(shù)據(jù)元素的元數(shù)據(jù)中， 以便使用傳感器輸出的值可以確定關(guān)于基準(zhǔn)圖像數(shù)據(jù)元素的、每一個(gè)圖像數(shù) 據(jù)元素的位移量以執(zhí)行坐標(biāo)變換。圖51示出了在已經(jīng)執(zhí)行了模糊校正之后，根據(jù)由用戶執(zhí)行的加權(quán)系數(shù)運(yùn) 算產(chǎn)生的多閃光效果組合圖像的示例。
通過(guò)圖52所示的處理，在以上述方式執(zhí)行模糊校正之后，用戶可以荻得 期望的圖像效果。
現(xiàn)在將描述用于校正對(duì)象模糊的示例性處理。
通過(guò)從組合范圍中的每一個(gè)圖像數(shù)據(jù)元素提取動(dòng)態(tài)對(duì)象的圖像區(qū)域并且 執(zhí)行組合處理以將從組合使用圖像數(shù)據(jù)元素中提取的動(dòng)態(tài)對(duì)象的圖像區(qū)域與 一個(gè)組合使用圖像數(shù)據(jù)元素進(jìn)行組合來(lái)解決對(duì)象模糊。
圖53示出了在圖像顯示區(qū)域72中顯示通過(guò)將組合范圍中的圖像數(shù)據(jù)元 素#5到#11進(jìn)行組合而獲得的組合圖像作為預(yù)覽圖像的組合工作圖像70。在 這種情況下，在圖像抓取期間，由于對(duì)象模糊引起背景對(duì)象模糊。
因此，執(zhí)行對(duì)象模糊校正。圖54示出了包括用于校正對(duì)象模糊的處理的 示例性處理。在圖54中，步驟F220到F225類似于圖9中的步驟。在圖54 中，步驟F280到F284被添加到圖9中所示的處理。
例如，當(dāng)在調(diào)節(jié)處理中正在顯示圖53中所示的組合工作圖像70時(shí)，如 上所述，除了改變加權(quán)系數(shù)或改變組合范圍的操作之外，用戶可以通過(guò)操作 預(yù)定操作鍵或選擇菜單條目來(lái)執(zhí)行模糊校正操作。
當(dāng)檢測(cè)到由用戶執(zhí)行的模糊校正操作時(shí)，CPU31將處理從步驟F280前 進(jìn)到步驟F281,并首先執(zhí)行基準(zhǔn)圖像選擇處理。
基準(zhǔn)圖像選擇處理可以與相機(jī)抖動(dòng)校正中的上述處理類似，并且可以是 從組合范圍中的圖像數(shù)據(jù)元素#5到#11中選擇用于校正的基準(zhǔn)圖像數(shù)據(jù)元素 的處理。
作為基準(zhǔn)圖像，從組合開始位置和組合結(jié)束位置限定的選擇圖像列表中 選擇頂部幀?；鶞?zhǔn)圖像也可以是中心幀?？商娲?，可以允許用戶選擇基準(zhǔn) 圖像，以便可以使用用戶喜歡的背景條件(即，在對(duì)象不運(yùn)動(dòng)的情況下，在 該狀態(tài)下長(zhǎng)時(shí)間曝光的幀)執(zhí)行圖像組合。
然后，在步驟F282, CPU31執(zhí)行運(yùn)動(dòng)圖像選擇處理。
在例如基準(zhǔn)圖像或任何其他圖像中，可以允許用戶通過(guò)操作觸摸板、光 標(biāo)等來(lái)選擇一對(duì)象，所述對(duì)象的運(yùn)動(dòng)要通過(guò)使用長(zhǎng)時(shí)間曝光來(lái)表示。根據(jù)用 戶操作，CPU31確定運(yùn)動(dòng)圖像。
然后，在步驟F283, CPU31在每一個(gè)圖像數(shù)據(jù)元素#5到#11中提取運(yùn)元素弁5到弁11內(nèi)提取
包括指定的運(yùn)動(dòng)圖像的坐標(biāo)范圍的處理。
可以基于作為運(yùn)動(dòng)圖像的輪廓(outline)的確定來(lái)執(zhí)行區(qū)域提取。 在圖像抓取期間，也可以獲得距離分布信息作為元數(shù)據(jù)，并且可以確定
在距離信息中具有很大差異的部分作為輪廓部分以提取區(qū)域。
可替代地，可以提取可作為區(qū)域提取的候選者，并且可以提示用戶選擇
它們中之一。
對(duì)于除了首先設(shè)置區(qū)域提取的圖像之外的圖像，發(fā)現(xiàn)并提取最初設(shè)置的 圖像或靠近最初設(shè)置的圖像的圖像(例如，相鄰幀)中所提取的區(qū)域的位置 坐標(biāo)附近(由圖像抓取設(shè)備1的焦距限定的、對(duì)象模糊的范圍內(nèi))的相同圖 像。
使用回放圖像選擇并檢查幀。由此，可以檢查所提取的區(qū)域。也可以通 過(guò)操作觸摸板、光標(biāo)等來(lái)修改所提取的區(qū)域。
在自動(dòng)設(shè)置或由用戶選擇運(yùn)動(dòng)圖像區(qū)域的情況下，可以選擇多個(gè)區(qū)域而 不是一個(gè)區(qū)域。
如果抓取到了其中用作運(yùn)動(dòng)圖像的對(duì)象正在橫穿屏幕(在視角內(nèi))的景 象，則連續(xù)抓取的圖像數(shù)據(jù)元素可以包括其中要表示其運(yùn)動(dòng)的對(duì)象沒有出現(xiàn) 的圖像數(shù)據(jù)元素。在這種情況下，對(duì)于其中沒有運(yùn)動(dòng)圖像區(qū)域可提取的幀來(lái) 說(shuō)，通過(guò)在顯示屏幕上顯示通知來(lái)向用戶通知，在屏幕上沒有發(fā)現(xiàn)可提取的 候選者。此外，由于用作運(yùn)動(dòng)圖像的對(duì)象的快速運(yùn)動(dòng)，對(duì)象可能僅出現(xiàn)在一 幀中。在這種情況下，可以向用戶通知，可提取的候選者僅出現(xiàn)在一個(gè)圖像 數(shù)據(jù)元素中。
也就是說(shuō)，不是必須對(duì)于所有幀執(zhí)行區(qū)域提取，而是可能僅對(duì)一個(gè)圖像 執(zhí)行區(qū)域提取。
在執(zhí)行了區(qū)域提取之后，在步驟F284, CPU31執(zhí)行組合處理。在這種 情況下，CPU31執(zhí)行將包括從每一個(gè)圖像數(shù)據(jù)元素^5到弁11中提取的運(yùn)動(dòng)圖 像區(qū)域的數(shù)據(jù)(即，其運(yùn)動(dòng)要通過(guò)長(zhǎng)時(shí)間曝光效果來(lái)表示的對(duì)象)與基準(zhǔn)圖 像數(shù)據(jù)元素進(jìn)行組合的處理。也就是說(shuō)，僅使用基準(zhǔn)圖像數(shù)據(jù)元素的整個(gè)屏 幕和從剩余圖像數(shù)據(jù)元素中提取的區(qū)域執(zhí)行組合。
在該處理中，僅使用基準(zhǔn)圖像數(shù)據(jù)元素的背景以產(chǎn)生除了所提取的運(yùn)動(dòng) 圖像之外的背景，并且將要表示其運(yùn)動(dòng)的主要對(duì)象的圖像(所提取的區(qū)域的圖像)添加到基準(zhǔn)圖像數(shù)據(jù)元素的背景。
然后，在圖像顯示區(qū)域72中顯示通過(guò)上述組合獲得的預(yù)覽圖像。例如， 如圖50所示，獲得了沒有背景對(duì)象的模糊的組合圖像。由于僅使用基準(zhǔn)圖像 數(shù)據(jù)元素來(lái)形成背景圖像(靜態(tài)對(duì)象)，因此不出現(xiàn)模糊。
在以上述方式執(zhí)行模糊校正之后，根據(jù)用戶操作，改變圖像數(shù)據(jù)元素#5
到#11的加權(quán)系數(shù)。由此，可以實(shí)現(xiàn)多種攝影表現(xiàn)。
注意，根據(jù)用于組合的區(qū)域及其亮度級(jí)別，自動(dòng)地調(diào)節(jié)組合圖像的光亮 度或色彩，由此獲得具有合適的光亮度/色彩的組合圖像。例如，如果所提取 的區(qū)域發(fā)白或很亮，則將獲得整體組合圖像的高亮度信息?；诹炼刃畔⒂?jì) 算用于執(zhí)行曝光不足校正的值。
運(yùn)動(dòng)圖像根據(jù)運(yùn)動(dòng)而改變。例如，當(dāng)對(duì)象是人或動(dòng)物時(shí)，身體大小或姿
勢(shì)根據(jù)圖像數(shù)據(jù)元素#5到#11而不同。因此期望通過(guò)使用首先作為基準(zhǔn)提取
的運(yùn)動(dòng)圖像，并提取包括與每一個(gè)剩余圖像數(shù)據(jù)元素中的運(yùn)動(dòng)圖像類似的圖 像的區(qū)域來(lái)從每一個(gè)圖像數(shù)據(jù)元素執(zhí)行區(qū)域提取。
可以將所提取的區(qū)域存儲(chǔ)在圖像抓取設(shè)備1的存儲(chǔ)器(例如，閃速ROM 33)中，并且可以用于后續(xù)的圖像抓取或圖像組合處理。
亮度信號(hào)的強(qiáng)度或閾值。例如，可以使用亮度信號(hào)作為閾值來(lái)執(zhí)行區(qū)域提取。 這可以提供與使用長(zhǎng)時(shí)間曝光抓取的、在夜景中運(yùn)動(dòng)的光束的圖像(例如， 汽車前燈)類似的組合圖像。
接下來(lái)，將參照?qǐng)D55描述用于校正相機(jī)抖動(dòng)和對(duì)象模糊二者的示例性處理。
這里，作為示例，將描述這樣的組合處理從具有時(shí)間連續(xù)性的組合范 圍中的每一個(gè)圖像數(shù)據(jù)元素提取動(dòng)態(tài)對(duì)象的圖像區(qū)域；根據(jù)圖像數(shù)據(jù)元素中 靜態(tài)對(duì)象的所檢測(cè)到的運(yùn)動(dòng)矢量，對(duì)于動(dòng)態(tài)對(duì)象的每一個(gè)所提取的圖像區(qū)域 執(zhí)行坐標(biāo)變換；然后將動(dòng)態(tài)對(duì)象的圖像區(qū)域與一個(gè)基準(zhǔn)圖像數(shù)據(jù)元素組合。
圖55示出了 CPU 31的處理。步驟F290到F296示出了在模糊校正操作 中包含的處理(剩余步驟，即步驟F220到F225，與圖9中所示的步驟類似)。
當(dāng)檢測(cè)到由用戶執(zhí)行的模糊校正操作時(shí)，CPU31將處理從步驟F290前 進(jìn)到步驟F291,并首先以與圖52和圖54中所示的示例類似的方式執(zhí)行基準(zhǔn) 圖像選擇處理。然后，在步驟F292， CPU31以與圖54中所示的示例類似的方式執(zhí)行運(yùn) 動(dòng)對(duì)象選擇處理。然后，在步驟F293, CPU31在每一個(gè)圖像數(shù)據(jù)元素中提 取運(yùn)動(dòng)圖像區(qū)域。
在步驟F294，如圖52中的示例那樣，CPU31提取靜態(tài)對(duì)象的特定點(diǎn)， 并檢測(cè)特定點(diǎn)的位移量。具體地說(shuō)，檢測(cè)關(guān)于基準(zhǔn)圖像數(shù)據(jù)元素中特定點(diǎn)的 坐標(biāo)位置的、在除了基準(zhǔn)圖像數(shù)據(jù)元素之外的每一個(gè)圖像數(shù)據(jù)元素中靜態(tài)對(duì) 象的特定點(diǎn)的坐標(biāo)位置的移動(dòng)量。
在步驟F295， CPU31通過(guò)使用位移量，來(lái)執(zhí)行從除了基準(zhǔn)圖像數(shù)據(jù)元 素之外的各個(gè)圖像數(shù)據(jù)元素作為運(yùn)動(dòng)圖像提取的區(qū)域的坐標(biāo)變換。
例如，首先，如果圖像數(shù)據(jù)元素#5被用作基準(zhǔn)圖像數(shù)據(jù)元素，則使用關(guān) 于基準(zhǔn)圖像數(shù)據(jù)元素#5中特定點(diǎn)的、所檢測(cè)到的圖像數(shù)據(jù)元素#6中特定點(diǎn)的 位移量，對(duì)從圖像數(shù)據(jù)元素#6提取的運(yùn)動(dòng)圖像區(qū)域執(zhí)行坐標(biāo)變換。還以類似 的方式對(duì)從圖像數(shù)據(jù)元素#7到#11提取的運(yùn)動(dòng)圖像區(qū)域執(zhí)行坐標(biāo)變換。
然后，在步驟F296， CPU31執(zhí)行組合處理。在這種情況下，CPU31執(zhí) 行將已經(jīng)從圖像數(shù)據(jù)元素#5到#11提取的、并且已經(jīng)在步驟F295進(jìn)行了坐標(biāo) 變換的運(yùn)動(dòng)圖像區(qū)域的數(shù)據(jù)(即，要通過(guò)長(zhǎng)時(shí)間曝光效果來(lái)表示其運(yùn)動(dòng)的對(duì) 象)與基準(zhǔn)圖像數(shù)據(jù)元素進(jìn)行組合的處理。也就是說(shuō)，使用基準(zhǔn)圖像數(shù)據(jù)元 素的整個(gè)屏幕和從剩余圖像數(shù)據(jù)元素提取的區(qū)域來(lái)執(zhí)行組合。
在圖像顯示區(qū)域72中顯示通過(guò)上述組合獲得的預(yù)覽圖像。例如，如圖 50所示，獲得了沒有背景對(duì)象的模糊的組合圖像。由于僅通過(guò)基準(zhǔn)圖像數(shù)據(jù) 元素來(lái)形成背景圖像(靜態(tài)圖像)，因此不會(huì)出現(xiàn)相機(jī)抖動(dòng)或?qū)ο竽：挠绊憽?此外，在坐標(biāo)變換之后組合用作運(yùn)動(dòng)圖像的主要對(duì)象的圖像，并且不會(huì)出現(xiàn) 相機(jī)抖動(dòng)的影響。
接下來(lái)，將參照?qǐng)D56描述用于校正相機(jī)抖動(dòng)和對(duì)象模糊二者的另 一個(gè)示 例性處理。
在該處理中，在對(duì)具有時(shí)間連續(xù)性的組合范圍中的每一個(gè)圖像數(shù)據(jù)元素 執(zhí)行基于圖像數(shù)據(jù)元素內(nèi)的靜態(tài)對(duì)象的運(yùn)動(dòng)矢量的坐標(biāo)變換之后，從每一個(gè) 圖像數(shù)據(jù)元素中提取動(dòng)態(tài)對(duì)象的圖像區(qū)域，并且執(zhí)行組合處理，以便從圖像 數(shù)據(jù)元素提取的動(dòng)態(tài)對(duì)象的區(qū)域圖像與 一個(gè)基準(zhǔn)圖像數(shù)據(jù)元素組合。
圖56示出了 CPU31的處理。步驟F290、 F291、 F292、 F297、 F298、 F299和F296示出了在^^莫糊校正操作中包含的處理(剩余步驟，即步驟F220到F225,與圖9中所示的步驟類似)。
當(dāng)檢測(cè)到由用戶執(zhí)行的模糊校正操作時(shí)，CPU31將處理從步驟F2卯前 進(jìn)到步驟F291,并首先以與圖52和圖54所示的示例中類似的方式執(zhí)行基準(zhǔn) 圖像選擇處理。
然后，在步驟F292， CPU31以與圖54所示的示例中類似的方式執(zhí)行運(yùn) 動(dòng)圖像選擇處理。
然后，在步驟F297,如圖52中所示的示例那樣，CPU31提取靜態(tài)對(duì)象 的特定點(diǎn)，并檢測(cè)所述特定點(diǎn)的位移量。具體地說(shuō)，檢測(cè)關(guān)于基準(zhǔn)圖像數(shù)據(jù) 元素中特定點(diǎn)的坐標(biāo)位置的、在除了基準(zhǔn)圖像數(shù)據(jù)元素之外的每一個(gè)圖像數(shù) 據(jù)元素中靜態(tài)對(duì)象的特定點(diǎn)的坐標(biāo)位置的移動(dòng)量。
然后，在步驟F298， CPU31使用位移量，對(duì)除了基準(zhǔn)圖像數(shù)據(jù)元素之 外的各個(gè)圖像數(shù)據(jù)元素執(zhí)行坐標(biāo)變換。
例如，如果圖像數(shù)據(jù)元素#5被用作基準(zhǔn)圖像數(shù)據(jù)元素，則首先使用關(guān)于 基準(zhǔn)圖像數(shù)據(jù)元素#5中特定點(diǎn)的、所檢測(cè)到的圖像數(shù)據(jù)元素#6中特定點(diǎn)的位 移量，來(lái)對(duì)于整個(gè)圖像數(shù)據(jù)元素#6執(zhí)行坐標(biāo)變換。還以類似的方式對(duì)于圖像 數(shù)據(jù)元素#7到#11執(zhí)行坐標(biāo)變換。
在對(duì)于除了基準(zhǔn)圖像數(shù)據(jù)元素之外的各個(gè)圖像數(shù)據(jù)元素執(zhí)行坐標(biāo)變換之 后，在步驟F299, CPU31從每一個(gè)圖像數(shù)據(jù)元素弁5到針1中提取運(yùn)動(dòng)圖像 區(qū)域。
然后，在步驟F296， CPU31執(zhí)行組合處理。在這種情況下，CPU31執(zhí) 行將從圖像數(shù)據(jù)元素#5到#11中提取的、運(yùn)動(dòng)圖像區(qū)域的數(shù)據(jù)(即，要通過(guò) 長(zhǎng)時(shí)間曝光效果來(lái)表示其運(yùn)動(dòng)的對(duì)象)與基準(zhǔn)圖像數(shù)據(jù)元素進(jìn)行組合的處理。 也就是說(shuō)，使用基準(zhǔn)圖像數(shù)據(jù)元素的整個(gè)屏幕和從剩余圖像數(shù)據(jù)元素提取的 區(qū)域來(lái)執(zhí)行組合。
在圖像顯示區(qū)域72中顯示通過(guò)上述組合獲得的預(yù)覽圖像。例如，如圖 50所示，獲得了沒有背景對(duì)象的模糊的組合圖像。由于僅通過(guò)基準(zhǔn)圖像數(shù)據(jù) 元素來(lái)形成背景圖像(靜態(tài)對(duì)象)，因此不會(huì)出現(xiàn)相機(jī)抖動(dòng)或?qū)ο竽：挠绊憽?此外，從已經(jīng)進(jìn)行了坐標(biāo)變換的圖像數(shù)據(jù)元素#5到#11中提取用作運(yùn)動(dòng)圖像 的主要對(duì)象的圖像，也已經(jīng)克服了相機(jī)抖動(dòng)的影響。
通過(guò)上述示例性處理，可以獲得已經(jīng)克服了相機(jī)抖動(dòng)或?qū)ο竽：挠绊?的組合圖像，并且用戶可以更容易地獲得他/她期望的組合圖像。特別地，在圖像抓取技術(shù)中缺乏經(jīng)驗(yàn)的用戶可以獲得組合圖像，或者可以校正圖像抓取 期間背景對(duì)象的不期望的運(yùn)動(dòng)。
12、信息處理設(shè)備
在前述實(shí)施例中，使用圖像抓取設(shè)備l來(lái)執(zhí)行圖像抓取和組合處理。可
以使用除了圖像抓取設(shè)備1之外的裝置來(lái)執(zhí)行組合處理。圖57示出了用作被 配置為執(zhí)行組合處理的設(shè)備的示例的信息處理設(shè)備，例如，個(gè)人計(jì)算機(jī)200。
圖57示出了個(gè)人計(jì)算機(jī)(在下文中稱為"PC" ) 200的示例結(jié)構(gòu)。
如圖57所示，PC200包括中央處理單元(CPU) 211、存儲(chǔ)器單元212、 網(wǎng)絡(luò)接口單元213、顯示控制器214、輸入裝置接口單元215、硬盤驅(qū)動(dòng)器 (HDD)接口單元216、鍵盤217、鼠標(biāo)218、 HDD219、顯示裝置220、總 線221 、外部裝置接口單元222和存儲(chǔ)卡接口單元223 。
可以作為PC 200的主控制器的CPU 211根據(jù)存儲(chǔ)器單元212中存儲(chǔ)的 程序來(lái)執(zhí)行多種控制處理。CPU211經(jīng)由總線221連接到其它單元。
總線221上的每一臺(tái)裝置具有唯一的存儲(chǔ)地址或輸入/輸出(I/O)地址， 并且CPU211可以使用所述地址以存取所述裝置?？偩€221的示例可以是外 圍纟且J牛互連標(biāo)準(zhǔn)(peripheral component interconnect, PCI)總線。
存儲(chǔ)器單元212被配置為包括易失性存儲(chǔ)器和非易失性存儲(chǔ)器二者。存 儲(chǔ)器單元212包括非易失性存儲(chǔ)器，如，用于存儲(chǔ)程序的ROM、用作多種數(shù) 據(jù)的計(jì)算工作區(qū)域或臨時(shí)存儲(chǔ)的RAM、以及電可擦除可編程只讀存儲(chǔ)器 (EEPROM )。
200唯一的標(biāo)識(shí)信息)，或者用作通信數(shù)據(jù)的緩沖區(qū)域或用作當(dāng)執(zhí)行工作數(shù)據(jù) 時(shí)工作數(shù)據(jù)的工作區(qū)域。
網(wǎng)絡(luò)接口單元213根據(jù)諸如以太網(wǎng)(注冊(cè)商標(biāo))之類的預(yù)定通信協(xié)議將 PC200連接到諸如因特網(wǎng)或局域網(wǎng)(LAN)之類的網(wǎng)絡(luò)。CPU211可以與經(jīng) 由網(wǎng)絡(luò)接口單元213連接到網(wǎng)絡(luò)的設(shè)備通信。
顯示控制器214是用于實(shí)際地處理CPU 211發(fā)布的呈現(xiàn)命令(rendering command)的專用控制器。例如，顯示控制器214支持與高級(jí)視頻圖形陣列 (super video graphic array, SVGA )或擴(kuò)展圖形陣歹'J ( extended graphic array, XGA)標(biāo)準(zhǔn)對(duì)應(yīng)的位圖呈現(xiàn)功能。將顯示控制器214中處理的呈現(xiàn)數(shù)據(jù)臨時(shí)地寫入例如幀緩沖器(未示出)，然后將其輸出到顯示裝置220。顯示裝置220 可以是例如有機(jī)EL顯示器、陰極射線管(CRT)顯示器、液晶顯示器等。
輸入裝置接口單元215是用于將包括鍵盤217和鼠標(biāo)218的用戶輸入裝 置連接到實(shí)施為PC 200的計(jì)算機(jī)系統(tǒng)的裝置。
具體地說(shuō)，使用鍵盤217和鼠標(biāo)218來(lái)執(zhí)行輸入到PC 200的用戶操作， 并且經(jīng)由輸入裝置接口單元215將操作輸入信息提供到CPU211。
HDD接口單元216執(zhí)行用于在HDD 219上執(zhí)行寫/讀的接口處理。
作為本領(lǐng)域的公知常識(shí)，HDD219是其中固定地安裝用作存儲(chǔ)介質(zhì)的石茲 盤的外部存儲(chǔ)裝置，并且具有比其它外部存儲(chǔ)裝置更大的存儲(chǔ)容量和更快的 數(shù)據(jù)傳輸速率。將軟件程序以可執(zhí)行狀態(tài)放置在HDD219上被稱為"安裝" 程序到系統(tǒng)。 一般而言，HDD219以非易失狀態(tài)存儲(chǔ)由CPU211執(zhí)行的操作 系統(tǒng)(OS)的程序代碼、應(yīng)用程序、裝置驅(qū)動(dòng)器等。
例如，當(dāng)PC200啟動(dòng)時(shí)或者當(dāng)啟動(dòng)用戶層的應(yīng)用程序時(shí)，在存儲(chǔ)器單元 212中展開(develop)在HDD 219中存儲(chǔ)的程序。CPU 211基于在存儲(chǔ)器單 元212中展開的程序執(zhí)行處理。
外部裝置接口單元222被配置為與根據(jù)諸如USB標(biāo)準(zhǔn)之類的標(biāo)準(zhǔn)連接的 外部裝置接口連接。
在本實(shí)施例中，外部裝置的示例可以包括例如，數(shù)碼相機(jī)、攝像機(jī)和視 頻播放器。
PC 200可以通過(guò)經(jīng)由外部裝置接口單元222的通信，從數(shù)碼相機(jī)等獲取 圖像數(shù)據(jù)。
外部裝置接口單元222支持的標(biāo)準(zhǔn)不限于USB標(biāo)準(zhǔn)，而是可以是任何其 它接口標(biāo)準(zhǔn)，如電氣和電子工程師協(xié)會(huì)(正EE) 1394。
存儲(chǔ)卡接口單元223被配置為從記錄介質(zhì)90 (如存儲(chǔ)卡)讀數(shù)據(jù)，或者 向記錄介質(zhì)90寫數(shù)據(jù)。
例如，放置用于數(shù)碼相機(jī)(例如，上述圖像抓取設(shè)備l)、攝像機(jī)等的記 錄介質(zhì)90。然后，可以從記錄介質(zhì)90讀圖像數(shù)據(jù)。
在具有上述結(jié)構(gòu)的PC 200中，執(zhí)行基于CPU 211中的軟件配置(即諸 如應(yīng)用程序、OS和裝置驅(qū)動(dòng)器之類的軟件)的算術(shù)處理/控制操作，以執(zhí)行 多種操作。
在本實(shí)施例中，作為圖4所示的組合模式中的處理描述的步驟ST1到ST4的處理(即，目標(biāo)圖像選擇/獲取處理(ST1 )、組合預(yù)備處理(ST2 )、組合處 理(ST3)和組合圖像記錄處理(ST4))是可執(zhí)行的。將用于執(zhí)行所述處理 的程序安裝到例如HDD219,并且當(dāng)啟動(dòng)所述程序時(shí)在存儲(chǔ)器單元212中進(jìn) 行展開。CPU 211根據(jù)在存儲(chǔ)器單元212中展開的程序執(zhí)行必要的算術(shù)處理 或控制處理。
然后，在CPU211中，當(dāng)啟動(dòng)程序時(shí)，程序允許圖3所示的預(yù)組合處理 單元52、組合處理單元53、記錄/回放/傳送控制單元54、操作檢測(cè)單元55、 顯示控制單元56和模板管理單元57被配置為功能塊。
換句話說(shuō)，在CPU211中執(zhí)行參照?qǐng)D7、 8和9描述的處理以及參照?qǐng)D 19、 22、 36、 38、 40、 44、 52、 54、 55和56描述的處理。
因此，用戶可以使用PC 200以執(zhí)行用于獲得如上所述的多種圖像效果的 組合處理。
用于使CPU 211執(zhí)行上述處理的程序可以預(yù)先記錄在用作集成在諸如 PC 200之類的設(shè)備中的記錄介質(zhì)的HDD、或具有CPU的微處理器中的ROM、 閃存等上。
可替代地，可以將程序臨時(shí)地或永久地存儲(chǔ)(記錄)在可拆卸記錄介質(zhì) 上，如軟盤、壓縮盤只讀存儲(chǔ)器(CD-ROM )、磁光(MO)盤、數(shù)字多功能 盤(DVD)、藍(lán)光盤、磁盤、半導(dǎo)體存儲(chǔ)器或存儲(chǔ)卡?？梢蕴峁┻@樣的可拆卸 記錄介質(zhì)作為所謂的封裝軟件。
也可以經(jīng)由網(wǎng)絡(luò)(如LAN或因特網(wǎng))從下載站點(diǎn)下載程序并且將其從可 拆卸記錄介質(zhì)安裝到個(gè)人計(jì)算機(jī)等。
在具有上述結(jié)構(gòu)的PC200中，例如，HDD219可以存儲(chǔ)多種類型的圖 像內(nèi)容。例如，可以獲取由用戶使用數(shù)碼相機(jī)或攝像機(jī)抓取的圖像內(nèi)容，并 將其記錄在HDD 219中。由此，用戶可以使用PC 200欣賞回放的所抓取的 圖像。
例如，PC 200的外部接口單元222可以連接到圖像抓取設(shè)備1的外部接 口 8 ，以便可以將使用圖像抓取設(shè)備1抓取的圖像數(shù)據(jù)傳送到PC 200,并且 獲取所述圖像數(shù)據(jù)。
也可以在存儲(chǔ)卡接口單元223中放置用在圖像抓取設(shè)備l中的記錄介質(zhì) 90 (存儲(chǔ)卡)，以便PC 200可以從記錄介質(zhì)90獲取使用圖像抓取設(shè)備1抓取 的圖像數(shù)據(jù)。除了由用戶抓取的圖像內(nèi)容之外，例如，使用外部視頻播放器等回放的、
并且從外部接口單元222獲取的圖像內(nèi)容或者使用網(wǎng)絡(luò)接口單元213經(jīng)由網(wǎng) 絡(luò)從外部服務(wù)器下載的圖像內(nèi)容也可以存儲(chǔ)在HDD 219中，并對(duì)其進(jìn)行回放。 也就是說(shuō)，在PC200中，例如，已經(jīng)使用數(shù)碼相機(jī)或攝像機(jī)抓取的、具 有時(shí)間連續(xù)性的多個(gè)幀的圖像數(shù)據(jù)可以被加載到例如HDD 219以供使用。用 戶可以使用PC 200以與上述示例中類似的方式對(duì)所加載的圖像數(shù)據(jù)執(zhí)行組 合處理。
例如，用戶使用圖像抓取設(shè)備l執(zhí)行圖5所示的步驟F15中的組合模式 圖像抓取，然后將多個(gè)所抓取的幀的圖像加載到PC200。然后，用戶啟動(dòng)用 于執(zhí)行組合處理的軟件，以使得CPU211執(zhí)行作為圖4所示的組合模式中的 處理描述的步驟ST1到ST4的處理。因此，可以在更高操作性環(huán)境中執(zhí)行多 種類型的圖像組合，以創(chuàng)建具有多種圖像效果的組合圖像。
此外，不僅可以對(duì)用戶自己抓取的圖像，而且可以對(duì)PC200上可獲取的 多種類型的圖像數(shù)據(jù)(運(yùn)動(dòng)圖像內(nèi)容)執(zhí)行組合處理。
例如，可以回》t通過(guò)任何方式(如下載)加載到HDD 219的運(yùn)動(dòng)圖像數(shù) 據(jù)，或者可以連接DVD驅(qū)動(dòng)器、藍(lán)光盤驅(qū)動(dòng)器等(在圖57中未示出)以便 可以回放在光盤(如DVD或藍(lán)光盤)上記錄的圖像內(nèi)容。在這種情況下，對(duì) 光盤上記錄的運(yùn)動(dòng)圖像內(nèi)容執(zhí)行組合處理，由此產(chǎn)生具有期望的圖像表示(如 長(zhǎng)時(shí)間曝光效果、前簾同步效果、后簾同步效果或多閃光效果)的組合圖像。 此外，集成了或連接到電視廣播調(diào)諧器等的設(shè)備可以產(chǎn)生廣播內(nèi)容的組合圖 像。
在本實(shí)施例中，作為示例，將個(gè)人計(jì)算機(jī)用作信息處理設(shè)備。使用圖像 數(shù)據(jù)的其他多種信息處理設(shè)備(如移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、游戲單
元和視頻編輯器)可以以與上述類似的方式執(zhí)行圖像組合。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)要求和其他因素，可以出現(xiàn)多種 修改、組合、子組合和變更，只要它們落在所附權(quán)利要求及其等效物的范圍 內(nèi)即可。
79
權(quán)利要求
1. 一種圖像處理設(shè)備，包括預(yù)組合處理單元，其被配置為執(zhí)行預(yù)組合處理，以便于將具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)；操作檢測(cè)單元，其被配置為檢測(cè)用于組合處理的操作輸入信息；存儲(chǔ)單元，其被配置為存儲(chǔ)其每一個(gè)均具有分配給幀圖像數(shù)據(jù)的加權(quán)系數(shù)的樣式的系數(shù)模板；模板管理單元，其被配置為根據(jù)操作輸入信息，選擇存儲(chǔ)單元中存儲(chǔ)的系數(shù)模板之一；以及組合處理單元，其被配置為使用模板管理單元選擇的系數(shù)模板，對(duì)預(yù)組合處理中獲得的多幀的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以便于生成表示靜止圖像的組合圖像數(shù)據(jù)。
2. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，系數(shù)模板包含具有高的加權(quán)系數(shù)被分配給連續(xù)幀中的起始幀而低的加權(quán)系數(shù)被分配給剩余幀的加權(quán)系數(shù)的樣式的系數(shù)模板。
3. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，系數(shù)模板包含具有高加權(quán)系數(shù)被分配給連續(xù)幀中的末尾幀而低加權(quán)系數(shù)被分配給剩余幀的加權(quán)系數(shù)的樣式的系數(shù)模板。
4. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，系數(shù)模板包含具有高加權(quán)系數(shù)和低加權(quán)系數(shù)被周期性地分配給連續(xù)幀的加權(quán)系數(shù)的樣式的系數(shù)模板。
5. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，在預(yù)組合處理中，預(yù)組合處理單元獲得記錄在記錄介質(zhì)上的、具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)，并且將所獲得的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)。
6. 如權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括圖像抓取單元，其被配置為抓取對(duì)象的圖像以獲得圖像數(shù)據(jù)；以及記錄回放單元，其被配置為將圖像抓取單元獲得的圖像數(shù)據(jù)記錄到記錄介質(zhì)上，以及從該記錄介質(zhì)回放圖像抓取單元獲得的圖像數(shù)據(jù)，其中，在預(yù)組合處理中，預(yù)組合處理單元從記錄在該記錄介質(zhì)上的多幀圖像數(shù)據(jù)檢測(cè)多個(gè)連續(xù)或間斷幀的圖像數(shù)據(jù)，并且將檢測(cè)到的多個(gè)連續(xù)或間斷幀的圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)。
7. 如權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括顯示控制單元，其被配置為生成用于從所述系數(shù)模板選擇系數(shù)模板的顯示數(shù)據(jù)并且將生成的顯示數(shù)據(jù)輸出為用于顯示的圖像數(shù)據(jù)。
8. 如權(quán)利要求7所述的圖像處理設(shè)備，其中，顯示控制單元生成用于從所述系數(shù)模板選擇系數(shù)模板的顯示數(shù)據(jù)，以便于包含示出使用系數(shù)模板而取得的組合效果的圖像，并且將生成的顯示數(shù)據(jù)輸出為用于顯示的圖像數(shù)據(jù)。
9. 一種圖像處理方法，包括以下步驟執(zhí)行預(yù)組合處理，以便于將具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)；檢測(cè)用于組合處理的操作輸入信息；根據(jù)操作輸入信息選擇一個(gè)系數(shù)模板，其中，每一個(gè)系數(shù)模板均被存儲(chǔ)為分配給幀圖像數(shù)據(jù)的加權(quán)系數(shù)的樣式；以及使用所選擇的系數(shù)模板，對(duì)預(yù)組合處理中獲得的多幀的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以^t于生成表示靜止圖像的組合圖像數(shù)據(jù)。
10. —種用于促使計(jì)算機(jī)執(zhí)行圖像處理方法的程序，該圖像處理方法包括以下步驟執(zhí)行預(yù)組合處理，以便于將具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)；檢測(cè)用于組合處理的操作輸入信息；根據(jù)操作輸入信息選擇一個(gè)系數(shù)模板，其中，每一個(gè)系數(shù)模板均被存儲(chǔ)為分配給幀圖像數(shù)據(jù)的加權(quán)系數(shù)的樣式；以及使用所選擇的系數(shù)模板，對(duì)預(yù)組合處理中獲得的多幀的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以便于生成表示靜止圖像的組合圖像數(shù)據(jù)。
全文摘要
公開了圖像處理設(shè)備、圖像處理方法和程序，該圖像處理設(shè)備包括預(yù)組合處理單元，其被配置為執(zhí)行預(yù)組合處理，以便于將具有時(shí)間連續(xù)性的多幀圖像數(shù)據(jù)用作待組合的組合使用圖像數(shù)據(jù)；操作檢測(cè)單元，其被配置為檢測(cè)用于組合處理的操作輸入信息；存儲(chǔ)單元，其被配置為存儲(chǔ)其每一個(gè)均具有分配給幀圖像數(shù)據(jù)的加權(quán)系數(shù)的樣式的系數(shù)模板；模板管理單元，其被配置為根據(jù)操作輸入信息，選擇存儲(chǔ)單元中存儲(chǔ)的系數(shù)模板之一；以及組合處理單元，其被配置為使用模板管理單元選擇的系數(shù)模板，對(duì)預(yù)組合處理中獲得的多幀的組合使用圖像數(shù)據(jù)執(zhí)行組合處理，以便于生成表示靜止圖像的經(jīng)組合圖像數(shù)據(jù)。
文檔編號(hào)G06T5/00GK101547309SQ200910127700
公開日2009年9月30日 申請(qǐng)日期2009年3月25日 優(yōu)先權(quán)日2008年3月25日
發(fā)明者牧井達(dá)郎 申請(qǐng)人:索尼株式會(huì)社