圖像處理裝置及其控制方法
【技術領域】
[0001]本發(fā)明涉及從拍攝的運動圖像生成靜止圖像的技術。
【背景技術】
[0002]近年來，能夠拍攝運動圖像的攝像裝置中的像素數(shù)迅速增加。能夠拍攝全高清(Full HD)運動圖像的攝像裝置已經(jīng)普及，并且能夠拍攝4K或2K運動圖像的攝像裝置現(xiàn)在也開始出現(xiàn)在市場上。
[0003]由于這種高清運動圖像的發(fā)展，近年來，運動圖像的各幀圖像具有足以用作靜止圖像的充足的像素數(shù)。因此，預計用于從運動圖像的各幀生成靜止圖像的方法在將來會更普及。
[0004]在從運動圖像生成靜止圖像時的一個問題是:用戶難以確定哪個幀圖像最適合作為靜止圖像。例如，由于在圖像被視為運動圖像的一部分的情況下的幀之間的連續(xù)轉換而未注意到的照相機抖動或離焦圖像，在圖像被視為靜止圖像時常常超過可接受的程度。因此，對于用戶來說逐一檢查各幀是非常繁瑣的。
[0005]為了解決這種問題，日本特開第2010-252078號公報公開了以下方法:首先，在運動圖像的回放期間，讀取在運動圖像的記錄期間已經(jīng)記錄的照相機圖像狀態(tài)信息。然后，從按下用于記錄靜止圖像的開關時的時間前后拍攝的幀之中，選擇最適合作為靜止圖像的圖像。
[0006]然而，雖然上述傳統(tǒng)的示例公開了如下概念:與運動圖像的記錄同步地記錄AF、AE、AWB、抖動等的狀態(tài)信息，使得狀態(tài)信息能夠用于在運動圖像的回放期間選擇靜止圖像，但是該示例不包含任何關于如何生成狀態(tài)信息的具體披露。
【發(fā)明內(nèi)容】
[0007]本發(fā)明是鑒于上述問題而作出的，并提供了一種使得用戶能夠容易地從構成已拍攝的運動圖像的圖像之中，選擇最適合作為靜止圖像的圖像的圖像處理裝置。
[0008]根據(jù)本發(fā)明的第一方面，提供了一種圖像處理裝置，所述圖像處理裝置包括:第一計算單元，其被構造為通過使用從抖動檢測單元輸出的抖動信號，來計算運動圖像的抖動校正量；第二計算單元，其被構造為通過使用從所述抖動檢測單元輸出的抖動信號，來計算靜止圖像的抖動校正量；生成單元，其被構造為基于所述運動圖像的抖動校正量與所述靜止圖像的抖動校正量之間的比較結果，來生成作為用于從所述運動圖像的幀圖像當中提取靜止圖像的指標的評價值；以及記錄單元，其被構造為將所述評價值與所述運動圖像的各幀圖像相關聯(lián)地記錄。
[0009]根據(jù)本發(fā)明的第二方面，提供了一種圖像處理裝置，所述圖像處理裝置包括:第一計算單元，其被構造為通過使用從抖動檢測單元輸出的抖動信號，來計算運動圖像的抖動校正量；第二計算單元，其被構造為通過使用從所述抖動檢測單元輸出的抖動信號，來計算相比于所述運動圖像的抖動校正量實現(xiàn)更高防振性能的抖動校正量；生成單元，其被構造為基于所述運動圖像的抖動校正量與相比于所述運動圖像的抖動校正量實現(xiàn)更高防振性能的抖動校正量之間的比較結果，生成作為用于從所述運動圖像的幀圖像當中提取靜止圖像的指標的評價值；以及記錄單元，其被構造為將所述評價值與所述運動圖像的各幀圖像相關聯(lián)地記錄。
[0010]根據(jù)本發(fā)明的第三方面，提供了一種圖像處理裝置的控制方法，所述控制方法包括:第一計算步驟，通過使用從抖動檢測單元輸出的抖動信號，來計算運動圖像的抖動校正量；第二計算步驟，通過使用從所述抖動檢測單元輸出的抖動信號，來計算靜止圖像的抖動校正量；生成步驟，基于所述運動圖像的抖動校正量與所述靜止圖像的抖動校正量之間的比較結果，生成作為用于從所述運動圖像的幀圖像當中提取靜止圖像的指標的評價值；以及記錄步驟，將所述評價值與所述運動圖像的幀圖像相關聯(lián)地記錄。
[0011]根據(jù)本發(fā)明的第四方面，提供了一種圖像處理裝置的控制方法，所述控制方法包括:第一計算步驟，通過使用從抖動檢測單元輸出的抖動信號，來計算運動圖像的抖動校正量；第二計算步驟，通過使用從所述抖動檢測單元輸出的抖動信號，來計算相比于所述運動圖像的抖動校正量實現(xiàn)更高防振性能的抖動校正量；生成步驟，基于所述運動圖像的抖動校正量與相比于所述運動圖像的抖動校正量實現(xiàn)更高防振性能的抖動校正量之間的比較結果，生成作為用于從所述運動圖像的幀圖像當中提取靜止圖像的指標的評價值；以及記錄步驟，將所述評價值與所述運動圖像的幀圖像相關聯(lián)地記錄。
[0012]根據(jù)以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0013]圖1是示出作為根據(jù)本發(fā)明的攝像裝置的實施例的攝像機的結構的框圖。
[0014]圖2A和圖2B是例示計算聚焦元數(shù)據(jù)的方法的示例的圖。
[0015]圖3A至圖3C是例示計算曝光元數(shù)據(jù)的方法的示例的圖。
[0016]圖4A至圖4C是例示計算白平衡元數(shù)據(jù)的方法的示例的圖。
[0017]圖5A和圖5B是示出用于計算抖動元數(shù)據(jù)的結構的框圖。
[0018]圖6是例示來自抖動校正量計算單元和抖動量計算單元的輸出的圖。
[0019]圖7A至圖7C是例示計算抖動元數(shù)據(jù)的方法的示例的圖。
[0020]圖8A至圖8C是例示計算抖動元數(shù)據(jù)的方法的另一示例的圖。
[0021]圖9A和圖9B是例示計算平移(panning)速度的方法的圖。
[0022]圖10A至圖10C是例示在考慮到平移速度的情況下，由抖動量計算單元進行的計算的圖。
[0023]圖11是用于通過使用元數(shù)據(jù)從運動圖像生成靜止圖像的流程圖。
[0024]圖12是示出用于向用戶通知幀作為靜止圖像的適合度的顯示的示例的圖。
【具體實施方式】
[0025]以下參照附圖，來對本發(fā)明的實施例提供詳細的描述。圖1是示出作為根據(jù)本發(fā)明的攝像裝置的實施例的、能夠拍攝運動圖像的攝像機的結構的框圖。圖1示出了用于運動圖像的拍攝的攝像裝置的各個功能塊。參照圖1，以下對攝像裝置100的結構和在運動圖像的拍攝期間攝像裝置100的操作提供具體的描述。
[0026]在圖1中，攝像裝置100包括沿著光軸的方向布置的變倍透鏡101、光學校正系統(tǒng)102、光圈103和聚焦透鏡104。這些元件和附圖中未示出的其他光學系統(tǒng)構成了攝像光學系統(tǒng)。
[0027]變倍透鏡101是通過沿著光軸方向移動來改變倍率的透鏡。聚焦透鏡104是具有校正隨著倍率變化的焦平面的移動的功能和聚焦功能的透鏡。光圈103是例如用于調(diào)整入射光量的虹膜光圈。
[0028]圖像傳感器105被布置在聚焦透鏡104的后面。圖像傳感器105通過光電轉換來拍攝被攝體的圖像。圖像傳感器105例如被構造為XY尋址方式的互補金屬氧化物半導體(CMOS)圖像傳感器。將通過圖像傳感器105的光電轉換得到的信號，在圖像傳感器105內(nèi)轉換為數(shù)字信號，然后將該信號提供給信號處理單元111。信號處理單元111對從圖像傳感器105輸出的圖像信息，進行諸如伽馬校正和色彩校正等的各種信號處理。
[0029]系統(tǒng)控制單元121控制整個攝像裝置100。例如，系統(tǒng)控制單元121響應于從信號處理單元111接收到亮度值、色彩等的信息，進行各種計算處理。稍后將描述由系統(tǒng)控制單元121進行的控制的詳情。
[0030]變焦驅(qū)動單元106是用于移動變倍透鏡101的驅(qū)動源，并且根據(jù)來自系統(tǒng)控制單元121的指令進行變焦操作。系統(tǒng)控制單元121根據(jù)用戶對變焦操作單元(附圖中未示出)進行的操作，將指令發(fā)送到變焦驅(qū)動單元106。
[0031]聚焦驅(qū)動單元109是用于移動聚焦透鏡104的驅(qū)動源，并且根據(jù)來自系統(tǒng)控制單元121的指令進行驅(qū)動。系統(tǒng)控制單元121根據(jù)從距離信息生成單元117提供的信號，來確定聚焦透鏡104的驅(qū)動位置。距離信息生成單元117通過使用由信號處理單元111對圖像傳感器105獲取的圖像信號進行的信號處理的結果，來生成指示攝像裝置100與被攝體之間的距離的距離信息?？梢酝ㄟ^諸如使用圖像傳感器105上的多個像素進行相位差AF的方法等的已知方法，來生成距離信息。作為另選方案，可以通過使用諸如專用于進行相位差AF的傳感器或IR傳感器等的距離信息獲取裝置，來生成距離信息。
[0032]光圈驅(qū)動單元108是用于驅(qū)動光圈103并調(diào)整入射到圖像傳感器105的光量的驅(qū)動源，并且根據(jù)來自系統(tǒng)控制單元121的指令進行驅(qū)動。圖像傳感器驅(qū)動單元110根據(jù)來自系統(tǒng)控制單元121的指令，向圖像傳感器105提供例如用于驅(qū)動圖像傳感器105的驅(qū)動脈沖，并且進行例如圖像傳感器105中累積的電荷的讀取和曝光時間(S卩，快門速度)的調(diào)整。圖像傳感器105通常在被施加了快門脈沖時，進行移除像素中累積的信號電荷的電子快門操作，在直到下一次讀取為止的期間在其中累積由光學圖像的光電轉換產(chǎn)生的電荷。累積期間的長度為前述快門速度。當由于被攝體的低亮度水平而不能設置適當?shù)目扉T速度時，通過對從圖像傳感器105輸出的圖像信號的水平調(diào)整(S卩，增益調(diào)整)來校正由于光線不足引起的非最佳曝光。
[0033]AE信號生成單元118通過進行主要包括計算各像素的數(shù)字信號的累積總和的計算處理，來計算與被攝體的明度相對應的測光值，并且向系統(tǒng)控制單元121提供測光值。系統(tǒng)控制單元121根據(jù)由AE信號生成單元118生成的測光值