專利名稱：圖像處理設(shè)備和方法、記錄介質(zhì)、和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法、記錄介質(zhì)、和程序，并更具體地，涉及能夠通過抑制由于成像操作引起的模糊所造成的圖像質(zhì)量的降低(模糊的圖像)而非常清晰地顯示經(jīng)過幀頻變換的視頻圖像的圖像處理設(shè)備和方法、記錄介質(zhì)、和程序。
背景技術(shù)：
最近，在用于顯示視頻圖像(運動畫面)的視頻信號變換設(shè)備中，作為即使輸入側(cè)的電視系統(tǒng)和輸出側(cè)的電視系統(tǒng)之間不存在幀頻或場頻的恒定同步關(guān)系、也在不降低圖像質(zhì)量的情況下顯示視頻圖像的方法，考慮了幀頻調(diào)節(jié)方法(下面稱為“幀頻變換方法”)(見專利文獻(xiàn)1)。
日本未審專利申請公開號7-59054發(fā)明內(nèi)容本發(fā)明要解決的問題然而，在不考慮成像操作引起的運動模糊(下面稱為“成像模糊”)的情況下，作出了通過利用例如專利文獻(xiàn)1中公開的已知幀頻變換方法的幀頻的改善。因此，由成像模糊引起的圖像質(zhì)量的降低(模糊的圖像)仍然沒有被特別改善，并因此很難在顯示裝置上顯示清晰的視頻圖像。
考慮到以上背景，本發(fā)明的目的是通過抑制由成像模糊所引起的圖像質(zhì)量的降低(模糊的圖像)而非常清晰地顯示經(jīng)過幀頻變換的視頻圖像。
用于解決上述問題的手段本發(fā)明的第一圖像處理設(shè)備是用于基于存取單元處理由預(yù)定拍攝裝置拍攝的運動畫面的圖像處理設(shè)備。該第一圖像處理設(shè)備包括高速率變換部件，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測部件，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正部件，用于在高速率變換部件執(zhí)行的高速率變換處理之前或之后，基于由檢測部件檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
該高速率變換部件可通過使用檢測部件所檢測的參數(shù)值而執(zhí)行高速率變換處理。
該第一速率可以是當(dāng)該拍攝裝置拍攝運動畫面時的存取單元的速率。
對于形成該運動畫面的多個存取單元中的每一個，該檢測部件可以檢測形成每一主體存取單元的像素中的至少一個像素的運動矢量作為參數(shù)值。
作為至少部分高速率變換處理，該高速率變換部件可以通過使用檢測部件所檢測的運動矢量而執(zhí)行運動補償幀內(nèi)插處理。
該檢測部件可以檢測作為該參數(shù)值的當(dāng)拍攝裝置拍攝形成運動畫面的多個存取單元中的每一個時的拍攝裝置的快門速度。
對于形成該運動畫面的多個存取單元中的每一個，該校正部件可以將形成該主體存取單元的像素中的主體像素設(shè)置為聚焦像素。該校正部件可包括濾波器特性變換部件，用于根據(jù)檢測部件所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；逆濾波器生成部件，用于生成由濾波器特性變換部件變換其特性的低通濾波器的逆濾波器；和濾波部件，用于通過將逆濾波器生成部件生成的逆濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，而校正該聚焦像素的像素值。
對于形成該運動畫面的多個存取單元中的每一個，該校正部件可以將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素。該校正部件可包括濾波器特性變換部件，用于根據(jù)檢測部件所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；濾波部件，用于將由濾波器特性變換部件變換其特性的低通濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，以輸出該聚焦像素的校正像素值作為第一值；減法部件，用于計算校正前的聚焦像素的像素值和從濾波部件輸出的第一值之間的差值，以將得到的差值作為第二值輸出；和加法部件，用于將從減法部件輸出的第二值與校正前的聚焦像素的像素值相加，以輸出得到的加法值作為校正后的聚焦像素的像素值。
對于形成該運動畫面的多個存取單元中的每一個，該校正部件可以將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素。該校正部件可包括第一延遲部件，用于依次接收與其中沿著預(yù)定方向連續(xù)定位包括聚焦像素的像素的主體存取單元的像素組對應(yīng)的第一圖像信號，并用于將所接收的第一圖像信號延遲與N個像素(N是1或大于1的整數(shù))對應(yīng)的第一延遲時間，以輸出得到的第二圖像信號；第二延遲部件，用于依次接收從第一延遲單元輸出的第二圖像信號，并用于將所接收的第二圖像信號延遲與M個像素(M是包括N的1或大于1的整數(shù))對應(yīng)的第二延遲時間，以輸出得到的第三圖像信號；像素值校正單元，用于通過利用輸入到第一延遲部件的第一圖像信號、從第一延遲部件輸出并輸入到第二延遲部件中的第二圖像信號、和從第二延遲部件輸出的第三圖像信號，而校正聚焦像素的像素值；和延遲時間改變部件，用于根據(jù)檢測部件所檢測的參數(shù)值中的對應(yīng)于聚焦像素的值來改變第一延遲部件的第一延遲時間和第二延遲部件的第二延遲時間。
第一速率可以是30Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是240Hz。
第一速率可以是50Hz，而第二速率可以是100Hz。
第一速率可以是50Hz，而第二速率可以是200Hz。
本發(fā)明的用于圖像處理設(shè)備的圖像處理方法是一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備用于基于存取單元處理由預(yù)定拍攝裝置拍攝的運動畫面。該圖像處理方法包括高速率變換步驟，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測步驟，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于由檢測步驟的處理所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
該高速率變換步驟可以是通過使用檢測步驟中的處理所檢測的參數(shù)值而執(zhí)行高速率變換處理的步驟。
該第一速率可以是當(dāng)該拍攝裝置拍攝運動畫面時的存取單元的速率。
對于形成該運動畫面的多個存取單元中的每一個，該檢測步驟可以包括用于檢測形成每一主體存取單元的像素中的至少一個像素的運動矢量作為參數(shù)值的處理。
該高速率變換步驟可以是通過使用檢測步驟中的處理所檢測的運動矢量而執(zhí)行運動補償幀內(nèi)插處理作為至少部分高速率變換處理的步驟。
該檢測步驟可以包括用于檢測作為該參數(shù)值的當(dāng)拍攝裝置拍攝形成運動畫面的多個存取單元中的每一個時的拍攝裝置的快門速度的處理。
對于形成該運動畫面的多個存取單元中的每一個，該校正步驟可以將形成該主體存取單元的像素中的主體像素設(shè)置為聚焦像素。所述用于聚焦像素的步驟可包括濾波器特性變換步驟，用于根據(jù)檢測步驟中的處理所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；逆濾波器生成步驟，用于生成由濾波器特性變換步驟中的處理變換其特性的低通濾波器的逆濾波器；和濾波步驟，用于通過將逆濾波器生成步驟中的處理所生成的逆濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，而校正該聚焦像素的像素值。
對于形成該運動畫面的多個存取單元中的每一個，該校正步驟可以將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素。所述用于聚焦像素的步驟可包括濾波器特性變換步驟，用于根據(jù)檢測步驟中的處理所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；濾波步驟，用于將由濾波器特性變換步驟中的處理變換其特性的低通濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，以輸出該聚焦像素的校正像素值作為第一值；減法步驟，用于計算校正前的聚焦像素的像素值和作為濾波步驟的處理結(jié)果輸出的第一值之間的差值，以將得到的差值作為第二值輸出；和加法步驟，用于將作為減法步驟的處理結(jié)果的結(jié)果輸出的第二值與校正前的聚焦像素的像素值相加，以輸出得到的加法值作為校正后的聚焦像素的像素值。
對于形成該運動畫面的多個存取單元中的每一個，該校正步驟可以將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素。所述用于聚焦像素的步驟可包括第一延遲步驟，用于依次接收與其中沿著預(yù)定方向連續(xù)定位包括聚焦像素的像素的主體存取單元的像素組對應(yīng)的第一圖像信號，并用于將所接收的第一圖像信號延遲與N個像素(N是1或大于1的整數(shù))對應(yīng)的第一延遲時間，以輸出得到的第二圖像信號；第二延遲步驟，用于依次接收作為第一延遲步驟的處理結(jié)果而輸出的第二圖像信號，并用于將所接收的第二圖像信號延遲與M個像素(M是包括N的1或大于1的整數(shù))對應(yīng)的第二延遲時間，以輸出得到的第三圖像信號；像素值校正步驟，用于通過利用作為要在第一延遲步驟中處理的主體而輸入的第一圖像信號、作為第一延遲步驟的處理結(jié)果而輸出并作為要在第二延遲步驟中處理的主體而輸入的第二圖像信號、和作為第二延遲步驟的處理結(jié)果而輸出的第三圖像信號，而校正聚焦像素的像素值；和延遲時間改變步驟，用于根據(jù)檢測步驟中的處理所檢測的參數(shù)值中的對應(yīng)于聚焦像素的值來改變第一延遲步驟中的第一延遲時間和第二延遲步驟中的第二延遲時間。
第一速率可以是30Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是240Hz。
第一速率可以是50Hz，而第二速率可以是100Hz。
第一速率可以是50Hz，而第二速率可以是200Hz。
本發(fā)明的第一記錄介質(zhì)的程序是要由計算機執(zhí)行的程序，用于控制基于存取單元對預(yù)定拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理。該程序包括高速率變換步驟，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測步驟，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于由檢測步驟的處理所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
本發(fā)明的第一程序是一種要由計算機執(zhí)行的程序，用于控制基于存取單元對預(yù)定拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理。該第一程序包括高速率變換步驟，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測步驟，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于由檢測步驟中的處理所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
根據(jù)本發(fā)明的第一圖像處理設(shè)備和方法、第一記錄介質(zhì)和第一程序，基于存取單元對預(yù)定拍攝裝置拍攝的運動畫面執(zhí)行圖像處理。更具體地，執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理。對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值。在高速率變換處理之前或之后，基于所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
本發(fā)明的第二圖像處理設(shè)備是一種圖像處理設(shè)備，用于當(dāng)從不同的圖像處理設(shè)備接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，對該拍攝裝置拍攝的運動畫面執(zhí)行處理。該第二圖像處理設(shè)備包括高速率變換部件，用于執(zhí)行將從該不同圖像處理設(shè)備提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正部件，用于在高速率變換部件執(zhí)行的高速率變換處理之前或之后，基于從該不同圖像處理設(shè)備提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成從該不同圖像處理設(shè)備提供的運動畫面的每一主體存取單元的每一像素值。
第一速率可以是30Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是240Hz。
第一速率可以是50Hz，而第二速率可以是100Hz。
第一速率可以是50Hz，而第二速率可以是200Hz。
用于第二圖像處理設(shè)備的圖像處理方法是一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備用于當(dāng)從不同的圖像處理設(shè)備接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，對該拍攝裝置拍攝的運動畫面執(zhí)行處理。該圖像處理方法包括高速率變換步驟，用于執(zhí)行將從該不同圖像處理設(shè)備提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于從該不同圖像處理設(shè)備提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成從該不同圖像處理設(shè)備提供的運動畫面的每一主體存取單元的每一像素值。
第一速率可以是30Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是120Hz。
第一速率可以是60Hz，而第二速率可以是240Hz。
第一速率可以是50Hz，而第二速率可以是100Hz。
第一速率可以是50Hz，而第二速率可以是200Hz。
本發(fā)明的第二記錄介質(zhì)的程序是要由計算機執(zhí)行的程序，用于當(dāng)接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，控制對該拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理。該程序包括高速率變換步驟，用于執(zhí)行將所提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于所提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成所提供的運動畫面的每一主體存取單元的每一像素值。
本發(fā)明的第二程序是要由計算機執(zhí)行的程序，用于當(dāng)接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，控制對該拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理。該程序包括高速率變換步驟，用于執(zhí)行將所提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于所提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成所提供的運動畫面的每一主體存取單元的每一像素值。
根據(jù)本發(fā)明的第二圖像處理設(shè)備和方法、第二記錄介質(zhì)、和第二程序，當(dāng)接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，對該拍攝裝置拍攝的運動畫面執(zhí)行圖像處理。更具體地，執(zhí)行將所提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理。在高速率變換處理之前或之后，基于所提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成所提供的運動畫面的每一主體存取單元的每一像素值。
優(yōu)點從以上描述可以看出，根據(jù)本發(fā)明，運動畫面的幀頻可被變換為比輸入運動畫面的幀頻高的幀頻。特別是，通過抑制由成像模糊引起的圖像質(zhì)量的降低(模糊的圖像)，可非常清晰地顯示經(jīng)過幀頻變換之后的運動畫面。


圖1是圖示了應(yīng)用了本發(fā)明的圖像處理設(shè)備的功能配置的示例的方框圖。
圖2圖示了在人的視網(wǎng)膜上形成的圖像的模糊的頻率特性。
圖3是圖示了圖1所示圖像處理設(shè)備所執(zhí)行的圖像處理的流程圖。
圖4圖示了根據(jù)運動矢量(運動速度)的成像模糊的頻率特性。
圖5是圖示了圖1所示圖像處理設(shè)備的成像模糊抑制處理器的功能配置的例子的方框圖。
圖6是圖示了與圖5所示不同的、圖1所示圖像處理設(shè)備的成像模糊抑制處理器的功能配置的例子的方框圖。
圖7是圖示了與圖5或6所示不同的、圖1所示圖像處理設(shè)備的成像模糊抑制處理器的功能配置的例子的方框圖。
圖8是圖示了形成圖7所示成像模糊抑制處理器的各元件的輸出信號的例子的時序圖。
圖9是圖示了與圖5、6、或7所示不同的、圖1所示圖像處理設(shè)備的成像模糊抑制處理器的功能配置的例子的方框圖。
圖10是圖示了圖9所示成像模糊抑制處理器的各元件的輸出信號的例子的時序圖。
圖11圖示了相機的快門速度和成像模糊特性。
圖12是圖示了與圖1所示不同的、應(yīng)用了本發(fā)明的圖像處理設(shè)備的功能配置的示例的方框圖。
圖13是圖示了與圖1或12所示不同的、應(yīng)用了本發(fā)明的圖像處理設(shè)備的功能配置的示例的方框圖。
圖14是圖示了與圖1、12、或13所示不同的、應(yīng)用了本發(fā)明的圖像處理設(shè)備的功能配置的示例的方框圖。
圖15是圖示了與圖1、12、13、或14所示不同的、應(yīng)用了本發(fā)明的圖像處理設(shè)備的功能配置的示例的方框圖。
圖16是圖示了應(yīng)用了本發(fā)明的圖像處理設(shè)備的整體或部分的硬件配置的例子的方框圖。
附圖標(biāo)記1圖像處理設(shè)備，11高幀頻變換器，12成像模糊特性檢測器，13成像模糊抑制處理器，21移動平均值濾波器(低通濾波器)特性變換器，22反向移動平均值濾波器(高通濾波器)發(fā)生器，23移動平均值濾波器(高通濾波器)，31移動平均值濾波器(低通濾波器)特性變換器，32移動平均值濾波器(低通濾波器)，33加法器，34加法器，51輸入單元，52可變DL單元，53可變DL單元，54-1，54-2校正單元，55延遲時間改變單元，56輸出單元，101，102，112，131圖像處理設(shè)備，201CPU，202ROM，203RAM，208存儲單元，211可去除記錄介質(zhì)具體實施方式
下面參考附圖來描述本發(fā)明的實施例。
圖1圖示了應(yīng)用了本發(fā)明的圖像處理設(shè)備的功能配置的例子。
圖像處理設(shè)備1基于存取單元而對運動畫面數(shù)據(jù)執(zhí)行各種圖像處理操作。所述存取單元是運動畫面的單元(例如幀或場)，并更具體地，是形成運動畫面的每一幀(靜止圖像)的整體或部分。為了便于描述，假設(shè)圖像處理設(shè)備1以幀為單位對運動畫面數(shù)據(jù)執(zhí)行各種圖像處理操作。
圖像處理設(shè)備1包括圖1所示高幀頻變換器11、成像模糊特性檢測器12、和成像模糊抑制處理器13。
例如，運動畫面信號(例如電視廣播信號)作為運動畫面數(shù)據(jù)以幀為單位被輸入到高幀頻變換器11。
其后，運動畫面和對應(yīng)運動畫面數(shù)據(jù)被統(tǒng)稱為“運動畫面”，除非必須單獨區(qū)分它們。類似地，幀和對應(yīng)幀數(shù)據(jù)被統(tǒng)稱為“幀”，除非必須單獨區(qū)分它們。
當(dāng)輸入具有第一幀頻的運動畫面時，高幀頻變換器11對輸入運動畫面執(zhí)行高幀頻變換處理，并將具有比第一幀頻高的第二幀頻的結(jié)果運動畫面提供到成像模糊特性檢測器12和成像模糊抑制處理器13。
當(dāng)輸入運動畫面的第一幀頻低于輸出(顯示的)運動畫面的第二幀頻時，執(zhí)行高幀頻變換處理。通過創(chuàng)建新幀并在輸入運動畫面的相鄰幀之間插入新幀，高幀頻變換處理用于將第一幀頻變換為比第一幀頻高的第二幀頻。
第一幀頻是當(dāng)將運動畫面輸入到高幀頻變換器11時的幀頻。因此，第一幀頻可以是任意幀頻，并且此處假設(shè)第一幀頻是當(dāng)運動畫面由成像裝置(未示出)捕獲時的運動畫面的幀頻，即第一幀頻是成像幀頻。
成像模糊特性檢測器12對于從高幀頻變換器11提供的運動畫面的每一幀檢測代表成像模糊的特性的參數(shù)值。成像模糊特性檢測器12的檢測結(jié)果(即代表成像模糊的特性的參數(shù)值)被提供到成像模糊抑制處理器13。
代表成像模糊的特性的參數(shù)沒有特別限制，并可使用各種參數(shù)。下面給定指明成像模糊的特性的參數(shù)的特定例子。
指明一幀中的成像模糊的特性的要檢測的參數(shù)值的數(shù)目沒有特別限制。例如，可對于每一幀僅檢測指明成像模糊的特性的一個參數(shù)值，或者可對于形成該幀的每一像素而檢測指明成像模糊的特性的一個參數(shù)值?？商鎿Q地，該幀可被劃分為幾塊，并且可對于每一塊檢測指明成像模糊的特性的一個參數(shù)值。
成像模糊抑制處理器13基于從成像模糊特性檢測器12所檢測的參數(shù)值中選擇的主體幀的參數(shù)值，而校正形成從高幀頻變換器11提供的運動畫面的主體幀的每一像素值。也就是說，成像模糊抑制處理器13根據(jù)主體幀的成像模糊的特性(參數(shù)值)而校正形成該主體幀的每一像素值，從而可抑制該成像模糊。
因此，通過在變換為比輸入運動畫面的第一幀頻高的第二幀頻之后校正形成每一幀的每一像素值而經(jīng)過成像模糊抑制的運動畫面被從成像模糊抑制處理器13輸出到圖像處理設(shè)備1的外部。
在圖1所示例子中，一套成像模糊特性檢測器12和成像模糊抑制處理器13與高幀頻變換器11一起使用。然而，一套成像模糊特性檢測器12和成像模糊抑制處理器13可單獨使用，或可結(jié)合另一塊(執(zhí)行預(yù)定圖像處理的另一圖像處理器)(未示出)使用。
也就是說，可通過僅利用一套成像模糊特性檢測器12和成像模糊抑制處理器13而有利地抑制成像模糊。為了使得該優(yōu)點更顯而易見，如上所述，優(yōu)選的是，一套成像模糊特性檢測器12和成像模糊抑制處理器13與高幀頻變換器11相組合。下面討論這樣做的理由。
當(dāng)顯示裝置(未示出)上顯示的運動畫面被形成為人的視網(wǎng)膜上的圖像時，這個人所識別的模糊是通過這個人跟蹤運動畫面中包括的運動物體而引起的保留型(hold-type)模糊和成像操作引起的上述成像模糊的組合。
如下參考圖4所述，成像模糊的特性可由低通濾波器表示。也就是說，發(fā)生成像模糊后的圖像信號等同于通過低通濾波器之后發(fā)生成像模糊之前的圖像信號(理想信號)。因此，發(fā)生成像模糊后的圖像信號的頻率特性低于發(fā)生成像模糊之前的圖像信號的頻率特性。也就是說，基本上，隨著發(fā)生成像模糊后的圖像信號的頻率變高，該圖像信號的增益和發(fā)生成像模糊前的圖像信號相比變低。
和成像模糊的特性一樣，保留型模糊的特性也可由低通濾波器表示。也就是說，發(fā)生保留型模糊后的圖像信號等同于通過低通濾波器之后發(fā)生保留型模糊之前的圖像信號(發(fā)生成像模糊后的圖像信號)。因此，發(fā)生保留型模糊后的圖像信號的頻率特性低于發(fā)生保留型模糊之前的圖像信號的頻率特性。也就是說，基本上，隨著發(fā)生保留型模糊后的圖像信號的頻率變高，該圖像信號的增益和發(fā)生保留型模糊前的圖像信號相比變低。應(yīng)該注意僅當(dāng)顯示裝置為固定像素(保留)型顯示裝置時，才發(fā)生保留型模糊。
由此，通過對在發(fā)生成像模糊之后、具有低頻率特性的圖像信號執(zhí)行高幀頻變換處理，可抑制保留型模糊。然而，即使這樣的高幀頻變換處理也不能降低成像模糊，而且抑制人的視網(wǎng)膜上的模糊的效果也被減半。這將在下面參考圖2進(jìn)行描述。
圖2圖示了當(dāng)在拍攝裝置(下面稱為“相機”)的拍攝范圍內(nèi)拍攝以4(像素/幀)的速率移動的實物時在人的視網(wǎng)膜上形成的圖像的模糊的頻率特性。在圖2中，橫軸指明頻率，而縱軸指明增益。應(yīng)注意橫軸上的頻率指明當(dāng)奈奎斯特頻率為1時的相對值。
在圖2中，由點劃線指明的曲線h0表示當(dāng)沒有特別執(zhí)行降低模糊(包括成像模糊和保留型模糊)的處理時在人的視網(wǎng)膜上形成的圖像的模糊的頻率特性。也就是說，在圖1的示例中，如果應(yīng)輸入到圖像處理設(shè)備1中的圖像被直接提供到顯示裝置而沒有被輸入到圖像處理設(shè)備1(沒有被處理)、并在顯示裝置上顯示，則人的視網(wǎng)膜上形成的圖像的模糊的頻率特性是曲線h0。
相反，如果例如顯示速度通過高幀頻變換處理而被加倍，則僅降低保留型模糊，并且作為結(jié)果，在人的視網(wǎng)膜上形成的圖像的模糊的頻率特性變?yōu)閳D2的虛線所示的曲線h1。也就是說，如果運動畫面被輸入到圖像處理設(shè)備1，并經(jīng)過高幀頻變換器11的高幀頻變換處理，并然后被提供到顯示裝置并在其上顯示而沒有被輸入到成像模糊抑制處理器13(不降低成像模糊)，則視網(wǎng)膜上形成的圖像的模糊的頻率特性是曲線h1。
如果通過應(yīng)用了本發(fā)明的高幀頻變換處理使得顯示速度被加倍(如果保留型模糊被降低)并且如果成像模糊被減半，則在人的視網(wǎng)膜上形成的圖像的模糊的頻率特性變?yōu)閳D2的實線所示的曲線h2。也就是說，如果輸入到圖1所示圖像處理設(shè)備1的運動畫面經(jīng)過高幀頻變換器11的高幀頻變換處理，并還由成像模糊抑制處理器13抑制了其成像模糊，并且然后該運動畫面被提供到顯示裝置并在其上顯示，則在人的視網(wǎng)膜上形成的圖像的模糊的頻率特性是曲線h2。
一旦比較了曲線h1和曲線h2，就可看出用于降低保留型模糊的高幀頻變換處理不足以改善人的視網(wǎng)膜上形成的圖像的模糊的特性，并且除了降低保留型模糊之外，仍然必須降低成像模糊。然而，如上所述，在已知方法中，僅執(zhí)行高幀頻變換處理，而不考慮降低成像模糊的必要性。
因此，和圖1所示實施例中討論的本發(fā)明的圖像形成設(shè)備一樣，在下面討論的圖12和13所示實施例中的圖像處理設(shè)備中，不僅安排高幀頻變換器11，而且安排成像模糊特性檢測器12和成像模糊抑制處理器13，從而降低成像模糊，即將人的視網(wǎng)膜上的圖像的模糊的特性從圖2的曲線h0改善為曲線h2。然而，和下面討論的圖14和15中所示實施例中一樣，成像模糊特性檢測器12對于本發(fā)明的圖像處理設(shè)備不是必須的。
更具體地，圖像模糊抑制處理器13基于從代表成像模糊特性檢測器12檢測的成像模糊的特性的參數(shù)值中選擇的主體幀的參數(shù)值，而校正主體幀的每一像素值，由此改善由經(jīng)過高幀頻變換的主體幀的成像模糊引起的降低的圖像質(zhì)量。也就是說，通過將從本發(fā)明的圖像處理設(shè)備(例如圖像處理設(shè)備1)輸出的圖像信號提供到顯示裝置(未示出)，顯示裝置可顯示具有抑制的圖像模糊(模糊的圖像)的清晰圖像作為對應(yīng)于該圖像信號的圖像。
如上所述，優(yōu)選的是，一套成像模糊特性檢測器12和成像模糊抑制處理器13可與高幀頻變換器11相組合。
現(xiàn)在參考圖3的流程圖來描述由具有圖1所示功能配置的圖像處理設(shè)備1執(zhí)行的圖像處理。
在步驟S1，該高幀頻變換器11接收具有第一幀頻的運動畫面。
在步驟S2，該高幀頻變換器11將運動畫面的幀頻變換為高于第一幀頻的第二幀頻。
當(dāng)從第一幀頻變換為第二幀頻的運動畫面從高幀頻變換器11提供到成像模糊檢測器12和成像模糊抑制處理器13時，該處理進(jìn)行到步驟S3。
在步驟S3，成像模糊特性檢測器12檢測代表運動畫面的每一幀的成像模糊的特性的至少一個參數(shù)值。
當(dāng)代表運動畫面的每一幀的成像模糊的特性的至少一個參數(shù)值從成像模糊特性檢測器12提供到成像模糊抑制處理器13時，該處理進(jìn)行到步驟S4。
在步驟S4，成像模糊抑制處理器13基于從成像模糊特性檢測器12檢測的參數(shù)值中選擇的主體幀的至少一個參數(shù)值，而校正形成從高幀頻變換器11提供的運動畫面的每一幀的每一像素值。
在步驟S5，成像模糊抑制處理器13輸出具有每一幀的校正的像素值并從第一幀頻變換為第二幀頻的運動畫面。
然后，完成圖3所示的圖像處理。
在以上討論中，為了描述簡明，在步驟S1到S5的每一步驟中的處理的處理單元是運動畫面。然而，實際上，經(jīng)常的情況是該處理單元是幀。
在圖3所示圖像處理中，在步驟S1到S5將運動畫面用作處理單元意味著從目標(biāo)步驟移動到下一步驟的條件是應(yīng)該對整個運動畫面執(zhí)行目標(biāo)步驟中的處理。
相反，在圖3所示圖像處理中，在步驟S1到S5將幀用作處理單元意味著從目標(biāo)步驟移動到下一步驟的條件是應(yīng)該對整個一幀執(zhí)行目標(biāo)步驟中的處理。換言之，在每一步驟中將幀用作處理單元意味著可獨立于其它幀(與其它幀并行)對每一幀連續(xù)執(zhí)行從步驟S1到S5的處理。在該情況下，例如，當(dāng)對第一幀執(zhí)行步驟S3時，可并行地對不同于第一幀的第二幀執(zhí)行步驟S2。
實際上，經(jīng)常的情況是形成主體幀的像素被一個接一個地依次設(shè)置為要聚焦的像素(下面稱為“聚焦像素”)，并且對聚焦像素單獨執(zhí)行至少步驟S3和S4。也就是說，經(jīng)常的情況是步驟S3和S4中的處理單元是像素。
因此，在以下描述中，目前假設(shè)步驟S3和S4中的處理單元是像素。也就是說，步驟S3是由成像模糊特性檢測器12執(zhí)行的處理，而步驟S4是由成像模糊抑制處理器13執(zhí)行的處理。由此，在以下描述中，假設(shè)成像模糊特性檢測器12和成像模糊抑制處理器13的處理單元是像素。
下面描述圖1所示圖像處理設(shè)備1的成像模糊抑制處理器13的幾種模式。更具體地，例如，下面討論當(dāng)運動矢量的絕對值(下面稱為“運動速度”)用作代表成像模糊的特性的參數(shù)時的成像模糊抑制處理器13的幾種模式。
當(dāng)運動速度用作代表成像模糊的特性的參數(shù)時，成像模糊特性檢測器12依次將形成運動畫面的每一幀的單獨像素設(shè)置為聚焦像素，以依次檢測單獨聚焦像素的運動矢量，并然后將該運動矢量依次提供到成像模糊抑制處理器13，作為代表聚焦像素的成像模糊的特性的參數(shù)值。
因此，成像模糊抑制處理器13依次將形成運動畫面的每一幀的單獨像素設(shè)置為聚焦像素，并基于從成像模糊特性檢測器12提供的運動矢量中選擇的聚焦像素的運動矢量的絕對值(即基于聚焦像素的運動速度)，而依次校正聚焦像素的像素值。
下面討論運動速度可用作代表成像模糊的特性的參數(shù)的原因。
一般地，成像模糊的特性可以由依賴于物體的運動速度的模式來代表。
物體的運動速度包括當(dāng)在物體移動而相機被固定在實空間中的同時、由相機拍攝物體時的一幀中的物體(圖像)的運動速度。這里討論的物體的運動速度還包括當(dāng)在物體固定并且相機由于手的移動而在實空間中移動的同時、或者在物體和相機都在實空間中移動的同時、由相機拍攝物體時的一幀中的物體(圖像)的相對運動速度。
因此，成像模糊的特性可以由依賴于形成物體圖像的每一像素的運動速度的模式來代表。
聚焦像素的運動速度指明主體幀中的像素和前一幀中的對應(yīng)像素(對應(yīng)點)之間的空間距離。例如，如果主體幀中的像素和前一幀(時間上靠前的一幀)中的對應(yīng)像素(對應(yīng)點)之間的空間距離為K(K是0或大于0的整數(shù))個像素，則該像素的運動速度為K[像素/幀]。
在該情況下，如果形成物體圖像的預(yù)定像素被設(shè)置為聚焦像素，則該聚焦像素的成像模糊的特性可由依賴于聚焦像素的運動速度K[像素/幀]的大小的模式來代表。
更具體地，當(dāng)聚焦像素的運動速度為2、3、和4[像素/幀]時，聚焦像素的成像模糊的頻率特性分別為圖4所示的H2到H4。
也就是說，圖4示出了當(dāng)聚焦像素的運動速度為2、3、和4[像素/幀]時的聚焦像素的成像模糊的頻率特性。在圖4中，橫軸指明頻率，而縱軸代表增益。應(yīng)該注意橫軸上的頻率指明當(dāng)奈奎斯特頻率為1時的相對值。
上面已討論了運動速度可用作代表成像模糊的特性的參數(shù)的原因。
圖4所示頻率特性H2到H4揭示了空間域中的聚焦像素的成像模糊的特性可由移動平均值濾波器(低通濾波器)代表。
更具體地，當(dāng)代表移動平均值濾波器(低通濾波器)的轉(zhuǎn)移函數(shù)(下面稱為“成像模糊轉(zhuǎn)移函數(shù)”)由H指明時，并且當(dāng)沒有成像模糊的理想圖像信號(下面稱為“發(fā)生成像模糊前的信號”)由頻域中的F指明時，并且當(dāng)從相機輸出的實際圖像信號、即具有成像模糊的圖像信號(下面稱為“發(fā)生成像模糊后的圖像信號”)由頻率中的H指明時，發(fā)生成像模糊后的信號可以由以下公式(1)表示。
G＝H×F ...(1)本發(fā)明的目標(biāo)是去除(抑制)成像模糊，并由此，為了達(dá)到本發(fā)明的目標(biāo)，通過根據(jù)發(fā)生成像模糊后的已知信號G和已知成像模糊轉(zhuǎn)移函數(shù)H進(jìn)行計算，而預(yù)測發(fā)生成像模糊前的信號F。也就是說，根據(jù)以下公式(2)進(jìn)行預(yù)測性計算。
F＝inv(H)×G...(2)在公式(2)中，inv(H)指定轉(zhuǎn)移函數(shù)H的反函數(shù)。由于成像模糊轉(zhuǎn)移函數(shù)H具有低通濾波器的特性，所以如上所述，反函數(shù)inv(H)具有高通濾波器的特性。
而且，如上所述，成像模糊轉(zhuǎn)移函數(shù)H的特性根據(jù)運動速度而改變。更具體地，例如，當(dāng)聚焦像素的運動速度為2、3、和4[像素/幀]時，聚焦像素的成像模糊轉(zhuǎn)移函數(shù)H的頻率特性不同，如圖4的曲線H2、H3、和H4所指明的那樣。
因此，成像模糊抑制處理器13根據(jù)運動速度而改變成像模糊轉(zhuǎn)移函數(shù)H的性質(zhì)，以確定改變的轉(zhuǎn)移函數(shù)H的反函數(shù)inv(H)，并利用該反函數(shù)inv(H)而執(zhí)行公式(2)所示的計算，由此實現(xiàn)本發(fā)明的目標(biāo)，即去除(抑制)成像模糊的目標(biāo)。
可替換地，由于公式(2)中的計算是頻域中的計算，所以成像模糊抑制處理器13可執(zhí)行與公式(2)所示計算等同的空間域中的處理，以實現(xiàn)本發(fā)明的目標(biāo)。更具體地，成像模糊抑制處理器13可執(zhí)行以下第一處理到第三處理。
第一處理是根據(jù)從成像模糊特性檢測器12提供的聚焦像素的運動速度而變換代表聚焦像素的成像模糊的移動平均值濾波器(低通濾波器)的特性的處理。更具體地，在第一處理中，例如，為多個運動速度中的每一個準(zhǔn)備移動平均值濾波器，并從多個移動平均值濾波器中選擇與聚焦像素的運動速度對應(yīng)的移動平均值濾波器。
第二處理包括以下處理2-1到處理2-3。
處理2-1是對其特性已由第一處理改變的移動平均值濾波器執(zhí)行傅立葉變換從而用頻率指明移動平均值濾波器。更具體地，當(dāng)聚焦像素的運動速度是2、3、和4[像素/幀]時、獲得圖4所示曲線H2、曲線H3、和曲線H4的處理是處理2-1。也就是說，在頻域中考慮，用于確定聚焦像素的成像模糊轉(zhuǎn)移函數(shù)H的處理是處理2-1。
處理2-2是用于計算由處理2-1中的頻率代表的移動平均值濾波器的倒數(shù)的處理。也就是說，在頻域中考慮，用于產(chǎn)生成像模糊轉(zhuǎn)移函數(shù)H的反函數(shù)inv(H)的處理是處理2-2。
處理2-3是用于對處理2-2中計算的由頻率代表的移動平均值濾波器的倒數(shù)執(zhí)行傅立葉變換的處理。也就是說，用于產(chǎn)生與反函數(shù)inv(H)對應(yīng)的高通濾波器(維納濾波器，Wiener filter)的處理是處理2-3。換言之，用于產(chǎn)生移動平均值濾波器的逆濾波器的處理是處理2-3。處理2-3所產(chǎn)生的高通濾波器在下面被稱為“逆移動平均值濾波器”。
第三處理如下所示。與公式(2)中的頻域中的發(fā)生成像模糊后的信號G對應(yīng)的空間域中的圖像信號g被作為輸入圖像輸入，并且由處理2-3產(chǎn)生的逆移動平均值濾波器被施加到圖像信號g。通過該第三處理，與公式(2)中的頻域中的發(fā)生成像模糊前的信號F對應(yīng)的空間域中的圖像信號f可被重構(gòu)(預(yù)測)。更具體地，通過將逆移動平均值濾波器施加到主體幀的包括聚焦像素的預(yù)定塊而校正聚焦像素的像素值的處理是第三處理。
圖5中示出了能執(zhí)行第一處理到第三處理的成像模糊抑制處理器13的功能配置的實施例。也就是說，圖5圖示了成像模糊抑制處理器13的功能配置的實施例。
圖5所示成像模糊抑制處理器13包括移動平均值濾波器(低通濾波器)特性變換器21、逆移動平均值濾波器(高通濾波器)發(fā)生器22、和逆移動平均值濾波器(高通濾波器)23。
移動平均值濾波器特性變換器21執(zhí)行上述第一處理。逆移動平均值濾波器發(fā)生器22執(zhí)行上述第二處理。逆移動平均值濾波器23執(zhí)行上述第三處理。
然而，如果如圖5所示配置成像模糊抑制處理器13，則出現(xiàn)新問題。也就是說，如圖4所示頻率特性H2到H4所示，代表成像模糊的移動平均值濾波器(其頻率特性)包括增益為0的頻率。因此，逆移動平均值濾波器發(fā)生器22很難產(chǎn)生移動平均值濾波器的完全的逆濾波器(perfct inverse filter)(完全的逆移動平均值濾波器)。
可以說圖5所示移動平均值濾波器23的處理，即將逆移動平均值濾波器(高通濾波器)施加到輸入圖像的處理，是增加輸入圖像的頻率特性的對應(yīng)頻帶中的已由代表成像模糊的低通濾波器衰減的增益。
為了解決該新問題，取代使用如圖5所示配置的成像模糊抑制處理器13，應(yīng)使用具有增加對應(yīng)頻帶中衰減的增益的功能的成像模糊抑制處理器13。更具體地，例如可使用圖6所示配置的成像模糊抑制處理器13。也就是說，圖6所示成像模糊抑制處理器13的功能配置與圖5中的不同。
換言之，為了實現(xiàn)該功能，圖6所示成像模糊抑制處理器13裝備有移動平均值濾波器(低通濾波器)特性變換器31、移動平均值濾波器(低通濾波器)32、減法器33、和加法器34。
基本上，移動平均值濾波器特性變換器31具有和圖5所示移動平均值濾波器特性變換器21類似的功能和配置。也就是說，移動平均值濾波器特性變換器31根據(jù)主體幀(輸入圖像)中的聚焦像素的運動速度而變換代表成像模糊的移動平均值濾波器(低通濾波器)的性質(zhì)。在圖6中，該運動速度由成像模糊特性檢測器12提供的參數(shù)值表示。也就是說，從成像模糊特性檢測器12提供該運動速度。
移動平均值濾波器32(低通濾波器32)通過將由移動平均值濾波器特性變換器31改變了其性質(zhì)的移動平均值濾波器施加到主體幀(輸入圖像)中的包括聚焦像素的預(yù)定塊，而校正聚焦像素的像素值。由移動平均值濾波器32校正的聚焦像素的像素值被提供到減法器33。
也就是說，在反轉(zhuǎn)移動平均值濾波器32校正的聚焦像素的像素值的極性之后，將像素值輸入到減法器中。校正之前的主體幀(輸入圖像)的聚焦像素的像素值也被輸入到減法器33中。
因此，減法器33確定校正之前的聚焦像素的像素值和移動平均值濾波器32所校正的聚焦像素的像素值之間的差值，并將該差值提供到加法器34。加法器33的輸出在下面被稱為“移動平均值濾波器前后之間的差值”。
以這種方式，移動平均值濾波器前后之間的差值被輸入到加法器34中。校正之前的主體幀(輸入圖像)的聚焦像素的像素值也被輸入到加法器34中。
然后，加法器34將移動平均值濾波器前后之間的差值與校正前的聚焦像素的像素值相加作為校正值，并輸出該相加結(jié)果作為輸出圖像(或部分輸出圖像)。也就是說，該輸出圖像是校正的像素值形成的幀或這些幀形成的運動畫面。
總而言之，圖6所示成像模糊抑制處理器13通過將移動平均值濾波器前后之間的對應(yīng)差值與像素值相加作為校正值，而校正形成運動畫面的每一主體幀的每一像素值。
如果在頻域中考慮空間域中的圖6所示成像模糊抑制處理器13的處理，則像素校正如下。
當(dāng)考慮作為加法器33的輸出信號的移動平均值濾波器前后之間的差值時，如果在頻域中對預(yù)定頻率聚焦，則加法器33的輸出信號的增益是輸入圖像信號的增益和施加了移動平均值濾波器的輸入圖像信號的增益之間的差值。加法器33的輸出信號的增益在下面被稱為“移動平均值濾波器前后之間的差值增益”。
因此，當(dāng)在頻域中考慮從圖6所示成像模糊抑制處理器13(加法器34)輸出的圖像信號時，如果在頻域中對預(yù)定頻率聚焦，則輸出圖像信號的增益是通過將移動平均值濾波器前后之間的差值增益和輸入圖像信號的增益相加而獲得的值。也就是說，在每一頻率中，與輸入圖像的增益相比，輸出圖像信號的增益被增加與移動平均值濾波器前后之間的差值增益相等的量。
換言之，在圖6所示整個成像模糊抑制處理器13中，執(zhí)行與應(yīng)用高通濾波器基本等同的處理。
作為成像模糊抑制處理器13的實施例，已討論了應(yīng)用高通濾波器的圖5所示例子和執(zhí)行與應(yīng)用高通濾波器基本等同的處理的圖6所示例子。
可以說將高通濾波器應(yīng)用到圖像信號是邊緣增強處理。也就是說，可以說成像模糊抑制處理器13所執(zhí)行的處理的目的不是增強繪圖的邊緣，而是增強由成像模糊使其變得比較不清晰的邊緣。因此，為了實現(xiàn)該目的，成像模糊抑制處理器13通過利用成像模糊和運動速度之間的上述關(guān)系(即成像模糊特性依賴于運動速度的大小)而控制邊緣增強的電平(增強量)。也就是說，可以說成像模糊抑制處理器13根據(jù)邊緣部分(對應(yīng)像素)的運動速度而改變邊緣增強的電平。例如，在圖5和6所示例子中，成像模糊抑制處理器13通過根據(jù)運動速度變換代表成像模糊的移動平均值濾波器(低通濾波器)的性質(zhì)而改變邊緣增強電平。
該邊緣增強電平對應(yīng)于每一像素值所被校正的量。
所以，在本發(fā)明中，如果成像模糊抑制處理器13根據(jù)聚焦像素的運動速度改變校正量(邊緣增強電平)并將該校正量添加到校正前(輸入時)的聚焦像素的像素值上，這是足夠的。也就是說，可以以各種模式形成成像模糊抑制處理器13，而無需被限制在圖5或6所示例子中。
例如，成像模糊抑制處理器13可包括第一延遲單元、第二延遲單元、校正單元、和延遲時間改變單元，下面將對它們進(jìn)行討論。
當(dāng)依次輸入與其中沿著運動矢量的方向連續(xù)定位像素的主體幀的像素組(包括聚焦像素的像素組)對應(yīng)的第一圖像信號時，第一延遲單元將第一圖像信號延遲第一延遲時間，并輸出得到的第二圖像信號。第一延遲時間是將與第一圖像信號的N個像素(N是1或大于1的整數(shù))對應(yīng)的部分信號輸入到第一延遲單元所需的時間。
一旦依次接收了從第一延遲單元輸出的第二圖像信號，第二延遲單元就將第二圖像信號延遲第二延遲時間，并輸出得到的第三圖像信號。第二延遲時間是將與第二圖像信號的M個像素(M是包括N的1或大于1的整數(shù))對應(yīng)的部分信號輸入到第二延遲單元所需的時間。
校正單元通過利用第一到第三信號而確定校正量，并將所確定的校正量添加到聚焦像素的像素值，由此校正聚焦像素的像素值。
延遲時間改變單元根據(jù)從成像模糊特性檢測器12提供的聚焦像素的運動速度來改變第一延遲單元的第一延遲時間和第二延遲單元的第二延遲時間。
如果第一延遲時間和第二延遲時間根據(jù)聚焦像素的運動速度而被合適地改變，則第二信號和第三信號的模式(波形)也因此而改變。利用第一信號到第三信號確定的校正量也根據(jù)聚焦像素的運動速度而改變。由此，具有成像模糊的邊緣部分可被合適地增強與成像模糊相等的量，并且作為結(jié)果，在經(jīng)過幀頻變換后的幀中，可抑制由成像模糊引起的降低的圖像質(zhì)量(模糊的圖像)。由此可能在顯示裝置上顯示清晰的圖像。
包括第一延遲單元、第二延遲單元、校正單元、和延遲時間改變單元的成像模糊抑制處理器13可被特別配置，例如如圖7所示。也就是說，圖7圖示了與圖5或6所示不同的成像模糊抑制處理器13的功能配置的實施例。
圖7所示成像模糊抑制處理器13包括輸入單元51、充當(dāng)?shù)谝谎舆t單元的可變DL單元52、充當(dāng)?shù)诙舆t單元的可變DL單元53、校正單元54-1、延遲時間改變單元55、和輸出單元56。校正單元54-1包括減法器61、全波整流器62、65和68、反相器63、66和69、減法器64、67和71、MIN輸出單元70、限幅器72、和加法器73。
下面參考圖8所示信號討論成像模糊抑制處理器13的詳細(xì)配置(各塊的連接狀態(tài))和操作。也就是說，圖8是圖示了圖7所示成像模糊抑制處理器13的各塊的輸出信號的例子的時序圖。
在圖7中，經(jīng)過高幀頻變換器11的高幀頻變換處理的輸入圖像信號(例如圖8所示信號a)被提供到輸入單元51。輸入到輸入單元51中的信號a被提供到可變DL單元52。然后，相對于信號a延遲第一延遲時間T的圖8所示信號b從DL延遲單元52輸出。然后，可變DL單元52的輸出信號b被提供到可變DL單元53。然后，相對于信號b延遲第二延遲時間T的圖8所示信號c(即相對于信號a延遲時間2T的信號c)從可變DL單元53輸出。
可變DL單元52的輸入信號a和可變DL單元53的輸出信號c被提供到減法器61。減法器61從信號c中減去信號a，并將得到的信號(例如圖8所示信號d)提供到全波整流器62。信號d還經(jīng)由全波整流器62被提供到反相器63，該反相器63將正信號變換為負(fù)信號。結(jié)果，圖8所示信號e從反相器63輸出并被提供到減法器71。
輸入信號a和可變DL單元52的輸出信號b被提供到減法器64。減法器64從信號b中減去信號a，并將得到的信號(例如圖8所示信號f)提供到全波整流器65。信號f在經(jīng)過全波整流器65和反相器66之后被進(jìn)一步變換為信號g，并然后被提供到MIN輸出單元70。
可變DL單元53的輸入信號(可變DL單元52的輸出信號b)和輸出信號被提供到減法器67。減法器67從信號c中減去信號b，并將得到的信號(例如圖8所示信號h)提供到全波整流器68。信號h在經(jīng)過全波整流器68和反相器69之后被進(jìn)一步變換為例如圖8所示信號i，并然后被提供到MIN輸出單元70。
MIN(最小值)輸出單元70提取兩個信號g和i中的較小的信號。因此，例如圖8所示信號j從MIN輸出單元70輸出并被提供到減法器71。
減法器71從反相器63提供的信號e中減去MIN輸出單元70提供的信號j，并將得到的信號(例如圖8所示信號k)提供到限幅器72。
提供到限幅器72的信號k被變換為例如圖8所示信號l，并然后被提供到加法器73。
加法器73將限幅器72提供的信號l與可變DL單元52的輸出信號b相加作為校正信號，并將得到的信號(例如圖8所示信號m)作為輸出圖像信號經(jīng)由輸出單元56輸出。
換言之，在校正單元54-1中，通過利用與從可變DL單元52輸出之后輸入到可變DL單元53的圖像信號b的聚焦像素對應(yīng)的第一部分信號、比對應(yīng)于圖像信號a的聚焦像素的部分信號輸入到可變DL單元52的時間基本上早第一延遲時間T而輸入到可變DL單元52的第二部分信號、和比對應(yīng)于圖像信號c的聚焦像素的部分信號從可變DL單元53輸出的時間基本上晚第二延遲時間T而從可變DL單元53輸出的第三部分信號，而確定第一部分信號的電平(聚焦像素的像素值)的校正量。也就是說，第一部分信號的電平(聚焦像素的像素值)的校正量是與從限幅器72輸出并輸入到加法器73的信號l的聚焦像素對應(yīng)的第四部分信號的電平。然后，加法器73將信號l的第四部分信號的電平(校正量)與信號b的第一部分信號的電平(聚焦像素的像素值)相加，由此校正第一部分信號的電平。
因此，通過根據(jù)聚焦像素的運動速度而合適地改變可變DL單元52的第一延遲時間T和可變DL單元53的第二延遲時間T，可以合適地改變聚焦像素的校正量(信號l的第四部分信號的電平)。
換言之，上述信號a的第二部分信號的電平對應(yīng)于第一不同像素的像素值，該第一不同像素沿著運動矢量的方向或反方向與聚焦像素相隔對應(yīng)于第一延遲時間T的N個像素。類似地，上述信號c的第三部分信號的電平對應(yīng)于第二不同像素的像素值，該第二不同像素沿著運動矢量的方向或反方向與聚焦像素相隔對應(yīng)于第二延遲時間T的M(＝N)個像素。
由此，可以說信號l的第四部分信號的電平是基于聚焦像素的像素值、第一不同像素的像素值、和第二不同像素的像素值確定的校正量。也可以說根據(jù)聚焦像素的運動速度改變可變DL單元52的第一延遲時間T和可變DL單元53的第二延遲時間T就是根據(jù)聚焦像素的運動速度改變第一不同像素和第二不同像素。
如上所述，通過根據(jù)聚焦像素的運動速度合適地改變第一不同像素和第二不同像素，圖7所示成像模糊抑制處理器13可以輸出具有已經(jīng)變得比輸入圖像(輸入信號a)不清晰的增強邊緣的信號作為輸出圖像(輸出信號m)。由此，由成像模糊在每一幀中引起降低的質(zhì)量(模糊的圖像)的部分可基本上被恢復(fù)為原始圖像的質(zhì)量(沒有模糊的圖像)。結(jié)果，可以在顯示裝置(未示出)上顯示清晰的圖像。
如果沒有為圖7所示成像模糊抑制處理器13提供限幅器72，則例如圖8所示信號n作為輸出圖像信號從輸出單元56輸出。在該情況下，上升脈沖的電平變高，這使得顯示裝置(未示出)上顯示的圖像不自然，并且下降脈沖的中心凹下相當(dāng)大的量，這使得顯示裝置(未示出)上顯示的圖像不自然。
相反，由于圖7所示成像模糊抑制處理器13裝備有限幅器72，所以可防止不自然的圖像的產(chǎn)生。
如上所述，圖7所示成像模糊抑制處理器13的校正單元54-1對通過對可變DL單元52和可變DL單元53的輸入信號和輸出信號中的預(yù)定兩個信號執(zhí)行相減而獲得的減法信號中的三個減法信號執(zhí)行全波整流和反相，并對得到的三個信號執(zhí)行預(yù)定計算。然后，校正單元54-1僅提取包括負(fù)信號分量的信號l，并利用該信號l作為聚焦像素的校正量。結(jié)果，可獲得沒有前沖或過沖的輸出信號，例如圖8所示輸出信號m。
也就是說，本發(fā)明的目的是(基本上)根據(jù)發(fā)生成像模糊后的圖像信號重構(gòu)發(fā)生成像模糊前的圖像信號。發(fā)生成像模糊前的圖像信號的邊緣部分沒有發(fā)生前沖或過沖。因此，如果成像模糊抑制處理器13的輸出信號發(fā)生了前沖或過沖，則輸出信號不是根據(jù)發(fā)生成像模糊前的圖像信號重構(gòu)的信號，而是作為過度校正成像模糊的結(jié)果的信號。圖7所示成像模糊抑制處理器13輸出沒有發(fā)生前沖或過沖的輸出信號，即與發(fā)生成像模糊前的圖像信號接近的圖像信號。
作為包括第一延遲單元、第二延遲單元、校正單元、和延遲時間改變單元的成像模糊抑制處理器13，已討論了圖7所示成像模糊抑制處理器13。然而，可以以各種模式形成包括第一延遲單元、第二延遲單元、校正單元、和延遲時間改變單元的成像模糊抑制處理器13，而不受到圖7所示例子的限制。
更具體地，例如可如圖9所示配置包括第一延遲單元、第二延遲單元、校正單元、和延遲時間改變單元的成像模糊抑制處理器13，而不是圖7所示配置。也就是說，圖9圖示了與圖5、6、或7所示不同的成像模糊抑制處理器13的功能配置的實施例。
在圖9所示成像模糊抑制處理器13中，與圖7所示成像模糊抑制處理器13具有相同功能和配置的元件被指定相同的附圖標(biāo)記。
圖9所示成像模糊抑制處理器13包括輸入單元51、充當(dāng)?shù)谝谎舆t單元的可變DL單元52、充當(dāng)?shù)诙舆t單元的可變DL單元53、校正單元54-2、延遲時間改變單元55、和輸出單元56。除了為圖7所示校正單元54-1提供的減法器61、全波整流器62、65和68、反相器63、66和69、減法器64、67和71、MIN輸出單元70、限幅器72、和加法器73之外，校正單元54-2還包括極性倒相器74、MAX輸出單元75和77、MIN輸出單元76和78、加法器79、81和83、倒相器放大器80和82、以及乘法器84。
也就是說，一旦比較圖9和圖7的配置，就會發(fā)現(xiàn)對應(yīng)于輸入單元51、可變DL單元52、可變DL單元53、延遲時間改變單元55、和輸出單元56、以及校正單元54-2的減法器61、全波整流器62、65和68、反相器63、66和69、減法器64、67和71、MIN輸出單元70、限幅器72、和加法器73的配置相同。
現(xiàn)在參考圖10所示信號給出對與圖7所示不同的成像模糊抑制處理器13的部分的詳細(xì)配置(各塊的連接狀態(tài))和操作的描述，即極性倒相器74、MAX輸出單元75和77、MIN輸出單元76和78、加法器79、81和83、倒相器放大器80和82、以及乘法器84。也就是說，圖10是圖示了與圖7所示不同的圖9所示成像模糊抑制處理器13的各塊的輸出信號的例子的時序圖。
現(xiàn)在例如假設(shè)與圖8所示信號l相同的圖10所示信號aa是從圖9所示限幅器72輸出的。然而，限幅器72的輸出信號aa被提供到圖9所示乘法器84而不是加法器73。
在圖10中，為了闡明信號aa到nn的時間變化，與圖8的包括信號l的信號a到n相比，包括限幅器72的輸出信號aa的信號aa到nn的大小被加倍。
與圖8所示信號f相同的圖10的信號bb是從圖9所示減法器64輸出的。減法器64的輸出信號bb不僅被提供到全波整流器65，而且被提供到MAX輸出單元75和MIN輸出單元76。
減法器67的輸出信號不僅被提供到全波整流器68，而且被提供到極性倒相器74。提供到極性倒相器74的信號的極性被反轉(zhuǎn)，并且作為結(jié)果，圖10所示信號cc被獲得并提供到MAX輸出單元77和MIN輸出單元78。
AC地電勢被提供到MAX輸出單元75、MIN輸出單元76、MAX輸出單元77和MIN輸出單元78中的每一個。
利用該配置，作為減法器64的輸出信號bb的正部分的圖10所示信號dd從MAX輸出單元75輸出并被提供到加法器79。作為減法器64的輸出信號bb的負(fù)部分的圖10所示信號gg從MIN輸出單元76輸出并被提供到加法器81。作為極性倒相器74的輸出信號cc的正部分的圖10所示信號ff從MAX輸出單元77輸出并被提供到加法器81。作為極性倒相器74的輸出信號cc的負(fù)部分的圖10所示信號ee從MIN輸出單元78輸出并被提供到加法器79。
加法器79將MAX輸出單元75的輸出信號與MIN輸出單元78的信號ee相加，并將得到的信號(例如圖10所示信號hh)提供到倒相器放大器80。加法器81將MIN輸出單元76的輸出信號gg與MAX輸出單元77的輸出信號ff相加，并將得到的信號(例如圖10所示信號jj)提供到倒相器放大器82。
倒相器放大器80反轉(zhuǎn)信號hh的極性，以將加法器79的輸出信號hh整形為矩形波，并將得到的信號(例如圖10所示信號ii)提供到加法器83。類似地，倒相器放大器82反轉(zhuǎn)輸出信號jj的極性，以將輸出信號jj整形為矩形波，并將得到的信號(例如圖10所示信號kk)提供到加法器83。
加法器83將倒相器放大器80的輸出信號ii與倒相器放大器82的輸出信號kk相加，并將得到的信號(例如圖10所示信號ll)提供到乘法器84。
一旦接收到加法器83的輸出信號ll和限幅器72的輸出信號aa，乘法器84就將信號aa和信號ll相乘，并輸出得到的信號，例如圖10所示信號mm，其中限幅器72的輸出信號aa的傾斜部分(其符號改變的部分)的極性被反轉(zhuǎn)。
然后，乘法器84的輸出信號mm作為校正信號被提供到加法器73。加法器73然后將校正信號mm與可變DL單元52的輸出信號(與圖8所示信號b相同的信號)相加，并經(jīng)由輸出單元56輸出得到的信號(例如圖10所示信號nn)作為輸出圖像信號。
如上所述，與圖7所示成像模糊抑制處理器13形成對比的是，圖9所示成像模糊抑制處理器13將減法信號bb和cc中的每一個分離為正部分和負(fù)部分，并對這些信號部分執(zhí)行預(yù)定計算以產(chǎn)生矩形波信號ll。通過利用該矩形波信號ll，成像模糊抑制處理器13控制校正信號aa的極性，由此校正輸出信號，使得輸出信號的邊緣更尖銳(鋒利)。
作為應(yīng)用了本發(fā)明的圖1所示圖像處理設(shè)備1的成像模糊抑制處理器13的實施例，已討論了具有圖5、6、7和9所示功能配置的成像模糊抑制處理器13。
在上述示例中，當(dāng)校正每一像素的像素值時，具有前述功能配置的成像模糊抑制處理器13使用運動速度(運動矢量的絕對值)作為參數(shù)。然而，可以使用除了運動速度之外的代表成像模糊的特性的另一參數(shù)。
更具體地，作為代表成像模糊的特性的參數(shù)，例如成像模糊抑制處理器13可使用當(dāng)拍攝主體運動畫面時的相機的快門速度。使用快門速度作為參數(shù)的原因在于成像模糊的級別根據(jù)快門速度的差別(例如圖11所示時間Ts)而變得不同。
也就是說，圖11的上部圖示了快門速度是1/30秒，其與幀頻相同，而圖11的下部圖示了快門速度是(1/30-Ts)秒，其比幀頻快。在圖11的上部和下部中，橫軸代表時間軸，而縱軸表示快門打開時間的比例?？扉T打開時間的比例是當(dāng)快門速度為V[秒](V是0或大于0的某一值)、當(dāng)在打開快門的第一時間時的快門打開時間的比例是0％、當(dāng)從第一時間經(jīng)過V[秒]之后關(guān)閉快門的第二時間時的快門打開時間的比例是100％、并且當(dāng)從第一時間到當(dāng)前時間的時間段是Ta[秒](Ta是范圍在0到V的某一正值)時由(Ta/V)×100[％]代表的比例。在該情況下，在圖11的上部和下部的縱軸中，縱軸與時間軸接觸的點是100[％]，而縱軸的最大值(每一直線中的最高值)是0[％]。也就是說，在圖11的上部和下部的縱軸中，隨著沿縱軸向下，快門打開時間的比例變得越大。
現(xiàn)在假定相機的一個感測元件對應(yīng)于一幀中的一個像素。在該情況下，當(dāng)如圖11的上部所示快門速度為1/30秒時，在快門打開的1/30秒期間的入射光的積分值從感測元件輸出作為對應(yīng)像素的像素值。相反，當(dāng)快門速度為(1/30-Ts)秒時，在快門打開的(1/30-Ts)秒期間的入射光的積分值從感測元件輸出作為對應(yīng)像素的像素值。
更具體地，快門速度對應(yīng)于感測元件中的光積累周期。因此，如果物體在實空間中跨越過預(yù)定感測元件，則與對應(yīng)于物體的光不同的一定量的光(例如背景光)被入射到感測元件上，該入射光量當(dāng)快門速度為1/30秒時比快門速度為(1/30-Ts)秒時多等于時間Ts[秒]的量。由此，對應(yīng)于與來自物體的光不同的例如來自背景的光的一定比例的光的積累值與從一個感測元件輸出的像素值混合，該比例當(dāng)快門速度為1/30秒時比快門速度為(1/30-Ts)秒時大，由此增加成像模糊的級別。
總而言之，隨著快門速度變慢，成像模糊的級別變大。也就是說，可以說快門速度代表成像模糊的特性。因此，如同運動速度一樣，快門速度可用作代表成像模糊的特性的參數(shù)。
當(dāng)將快門速度用作代表成像模糊的特性的參數(shù)時，圖1所示成像模糊特性檢測器12可通過分析例如添加到從高幀頻變換器11提供的運動畫面(數(shù)據(jù))上的報頭信息而檢測每一幀的快門速度，并將所檢測的快門速度作為代表成像模糊的特性的參數(shù)提供到成像模糊抑制處理器13。該成像模糊抑制處理器13可通過利用快門速度而非運動速度執(zhí)行上述一系列處理操作，而合適地校正每一像素值。當(dāng)利用快門速度時的成像模糊抑制處理器13的配置可基本上類似于當(dāng)利用運動速度時的成像模糊抑制處理器13的配置。也就是說，具有圖5、6、7或9所示功能配置的任一種的成像模糊抑制處理器13可通過利用快門速度作為參數(shù)值執(zhí)行上述一系列處理操作，而合適地校正每一像素值。
已討論了具有圖1所示功能配置的成像處理設(shè)備1作為應(yīng)用了本發(fā)明的圖像處理設(shè)備的實施例。然而，可以以各種模式形成圖像處理設(shè)備，而不限于圖1所示例子。
更具體地，例如，圖12到15圖示了應(yīng)用了本發(fā)明的圖像處理設(shè)備的其它實施例的功能塊。
例如，如同圖1所示圖像處理設(shè)備1一樣，圖12所示圖像處理設(shè)備101包括高幀頻變換器11、成像模糊特性檢測器12、和成像模糊抑制處理器13。
然而，在圖12所示圖像處理設(shè)備101中，成像模糊抑制處理器13校正輸入到圖像處理設(shè)備101中的運動畫面，即經(jīng)過高幀頻變換器11執(zhí)行的高幀頻變換之前的運動畫面。因此，成像模糊特性檢測器12從經(jīng)過高幀頻變換器11執(zhí)行的高幀頻變換之前的運動畫面中檢測代表成像模糊的特性的參數(shù)值，并將檢測結(jié)果提供到成像模糊抑制處理器13。
由此，按照圖3的圖像處理的步驟S1、S3、S4、S2、和S5的順序執(zhí)行圖12所示圖像處理設(shè)備101的圖像處理。
此外，如同圖1所示圖像處理設(shè)備1或圖12所示圖像處理設(shè)備101一樣，圖13所示圖像處理設(shè)備102包括高幀頻變換器11、成像模糊特性檢測器12、和成像模糊抑制處理器13。
在圖13所示圖像處理設(shè)備102中，如同圖1所示圖像處理設(shè)備1一樣，成像模糊抑制處理器13對作為由高幀頻變換器11對輸入運動畫面執(zhí)行高幀頻變換的結(jié)果而獲得的運動畫面進(jìn)行校正。也就是說，成像模糊抑制處理器13校正經(jīng)過高幀頻變換之后的運動畫面。
然而，圖13所示圖像處理設(shè)備102的成像模糊特性檢測器12從經(jīng)過高幀頻變換器11執(zhí)行的高幀頻變換之前的運動畫面中檢測代表成像模糊的特性的參數(shù)，并將檢測結(jié)果提供到成像模糊抑制處理器13。也就是說，成像模糊抑制處理器13通過利用從經(jīng)過高幀頻變換之前的運動畫面中檢測的參數(shù)值，而校正每一像素值。
從以上描述中可以看出，圖13所示圖像處理設(shè)備102的圖像處理也按照圖3的圖像處理的步驟S1、S2、S3、S4、和S5的順序執(zhí)行。然而，步驟S3中的處理是“從經(jīng)過高幀頻變換處理之前的運動畫面中(即從形成步驟S1中輸入的運動畫面的每一幀中)檢測代表成像模糊的特性的參數(shù)值”。
與圖12所示圖像處理設(shè)備101和圖13所示圖像處理設(shè)備102形成對比的是，圖14所示圖像處理設(shè)備112和圖15所示圖像處理設(shè)備131各自包括高幀頻變換器11和成像模糊抑制處理器13，而不包括成像模糊特性檢測器12。
如圖14和15所示，在另一圖像處理設(shè)備111(下面結(jié)合圖14和15稱為“圖像信號生成設(shè)備111”)中安排了成像模糊特性檢測器12、以及疊加器121。輸入到圖像信號生成設(shè)備111的運動畫面被提供到成像模糊特性檢測器12以及疊加器121。成像模糊特性檢測器12從運動畫面中檢測代表成像模糊的特性的參數(shù)值，并將所檢測的參數(shù)值提供到疊加器121。疊加器121將代表成像模糊的特性的參數(shù)值疊加到運動畫面上，并輸出得到的信號。
因此，在代表成像模糊的特性的參數(shù)值上疊加的運動畫面(信號)從圖像信號生成設(shè)備111提供到圖14所示圖像處理設(shè)備112或圖15所示圖像處理設(shè)備131。
然后，例如，在圖14所示圖像處理設(shè)備112中，成像模糊抑制處理器13將代表成像模糊的特性的參數(shù)值與運動畫面分離開，并基于所分離的代表成像模糊的特性的參數(shù)值而校正所分離的運動畫面的每一幀的每一像素值。
然后，高幀頻變換器11對成像模糊抑制處理器13校正的運動畫面執(zhí)行高幀頻變換，并輸出得到的運動畫面，即所校正的具有高幀頻的運動畫面。
從以上描述中可以看出，按照圖3所示圖像處理的步驟S1、S4、S2和S5的順序執(zhí)行圖14所示圖像處理設(shè)備112的圖像處理。
相反，例如，在圖15所示圖像處理設(shè)備131中，高幀頻變換器11將代表成像模糊的特性的參數(shù)值與運動畫面分離開，以對所分離的運動畫面執(zhí)行高幀頻變換，并將得到的運動畫面(即變換為高幀頻的運動畫面)提供到成像模糊抑制處理器13。在該情況下，從高幀頻變換器11分離的代表成像模糊的特性的參數(shù)值也被提供到成像模糊抑制處理器13。
然后，成像模糊抑制處理器13基于代表成像模糊的特性的參數(shù)值而校正形成變換為高幀頻的運動畫面的每一幀的每一像素值，并輸出得到的運動畫面，即所校正的具有高幀頻的運動畫面。
在圖1所示圖像處理設(shè)備1、圖12所示圖像處理設(shè)備101、圖13所示圖像處理設(shè)備102、圖14所示圖像處理設(shè)備112、或圖15所示圖像處理設(shè)備131中，高幀頻變換器11利用成像模糊特性檢測器12所檢測的參數(shù)值而執(zhí)行上變頻處理。通常，在執(zhí)行上變頻處理的同時，執(zhí)行運動補償幀內(nèi)插。如上所述，成像模糊特性檢測器12可檢測運動矢量作為參數(shù)值。因此，高幀頻變換器11利用成像模糊特性檢測器12所檢測的運動矢量而執(zhí)行運動補償幀內(nèi)插處理。
上述一系列處理操作(或一部分處理操作)可通過硬件或軟件執(zhí)行。
在該情況下，圖1所示圖像處理設(shè)備1的全體或部分(例如成像模糊抑制處理器13)、圖12所示圖像處理設(shè)備101的全體或部分、圖13所示圖像處理設(shè)備102的全體或部分、圖14所示圖像處理設(shè)備112的全體或部分、或圖15所示圖像處理設(shè)備131的全體或部分可由計算機形成，例如如圖16所示。
在圖16中，CPU(中央處理單元)201根據(jù)ROM(只讀存儲器)202中存儲的程序或從存儲單元208裝載到RAM(隨機存取存儲器)203中的程序而執(zhí)行各種處理操作。在RAM 203中，合適地存儲CPU 201執(zhí)行各種處理操作所必須的數(shù)據(jù)。
CPU 201、ROM 202、和RAM 203經(jīng)由總線204彼此連接。輸入/輸出接口205也連接到總線204。
輸入/輸出接口205連接到包括鍵盤、鼠標(biāo)等的輸入單元206、包括顯示器等的輸出單元207、包括硬盤等的存儲單元208、和包括調(diào)制解調(diào)器、終端適配器等的通信單元209。通信單元209執(zhí)行經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)與另一圖像處理設(shè)備的通信。
驅(qū)動器210如果必要的話也連接到輸入/輸出接口205，并且包括磁盤、光盤、磁光盤、或半導(dǎo)體存儲器的可拆卸記錄介質(zhì)311被合適地安裝在驅(qū)動器210中，并且如果必要的話，從可拆卸記錄介質(zhì)311讀取的計算機程序被安裝在存儲單元208中。
如果軟件用于執(zhí)行一系列處理操作，則對應(yīng)的軟件程序從網(wǎng)絡(luò)或記錄介質(zhì)而被安裝到作為專用硬件的組成部分的計算機或者能通過在其中安裝各種程序而執(zhí)行各種功能的例如通用目的計算機的計算機中。
其中包括程序的記錄介質(zhì)可以是從為用戶提供程序的設(shè)備單獨分發(fā)的如圖16所示的由磁盤(包括軟盤)、光盤(包括CD-ROM(致密盤-只讀存儲器)或DVD(數(shù)字多功能盤))、磁光盤(包括MD(迷你盤))、或半導(dǎo)體存儲器形成的可拆卸記錄介質(zhì)(封裝介質(zhì))211?？商鎿Q地，該記錄介質(zhì)可以是其上記錄程序的ROM 202或存儲單元208中包括的硬盤，它們被集成在該設(shè)備中，同時被提供給用戶。
在該說明書中，形成在記錄介質(zhì)上記錄的程序的步驟包括按照說明書中指定的時間順序執(zhí)行的處理。形成該程序的步驟也可包括并行或單獨執(zhí)行的處理。
如上所述，在該說明書中，該系統(tǒng)代表包括多個處理單元或處理器的整個設(shè)備。
在上述實施例中執(zhí)行的高幀頻變換處理中，可沒有特別限制地使用輸入視頻信號的第一幀頻(幀頻率)和輸出視頻信號的第二幀頻(幀頻率)的期望組合。更具體地，例如，輸入視頻信號的第一幀頻可以是60(或30)[Hz]，而輸出視頻信號的第二幀頻可以是120[Hz]?？商鎿Q地，輸入視頻信號的第一幀頻可以是60(或30)[Hz]，而輸出視頻信號的第二幀頻可以是240[Hz]?？商鎿Q地，輸入視頻信號的第一幀頻可以是與PAL(逐行倒相制式)制式兼容的50[Hz]，而輸出視頻信號的第二幀頻可以是100[Hz]或200[Hz]?？商鎿Q地，輸入視頻信號的第一幀頻可以是與電視電影處理兼容的48[Hz]，而輸出視頻信號的第二幀頻可以是48[Hz]或更高。
對現(xiàn)有電視系統(tǒng)中的輸入視頻信號執(zhí)行上述實施例中采用的高幀頻變換處理使得可能以高質(zhì)量顯示現(xiàn)有內(nèi)容。
權(quán)利要求
1.一種圖像處理設(shè)備，用于基于存取單元處理由預(yù)定拍攝裝置拍攝的運動畫面，包括高速率變換部件，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測部件，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正部件，用于在高速率變換部件執(zhí)行的高速率變換處理之前或之后，基于由檢測部件檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
2.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中該高速率變換部件通過使用檢測部件所檢測的參數(shù)值而執(zhí)行高速率變換處理。
3.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中該第一速率是當(dāng)該拍攝裝置拍攝運動畫面時的存取單元的速率。
4.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中對于形成該運動畫面的多個存取單元中的每一個，該檢測部件檢測形成每一主體存取單元的像素中的至少一個像素的運動矢量作為參數(shù)值。
5.根據(jù)權(quán)利要求4的圖像處理設(shè)備，其中作為至少部分高速率變換處理，該高速率變換部件通過使用檢測部件所檢測的運動矢量而執(zhí)行運動補償幀內(nèi)插處理。
6.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中該檢測部件檢測作為該參數(shù)值的當(dāng)拍攝裝置拍攝形成運動畫面的多個存取單元中的每一個時的拍攝裝置的快門速度。
7.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中對于形成該運動畫面的多個存取單元中的每一個，該校正部件將形成該主體存取單元的像素中的主體像素設(shè)置為聚焦像素，該校正部件包括濾波器特性變換部件，用于根據(jù)檢測部件所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；逆濾波器生成部件，用于生成由濾波器特性變換部件變換其特性的低通濾波器的逆濾波器；和濾波部件，用于通過將逆濾波器生成部件生成的逆濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，而校正該聚焦像素的像素值。
8.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中對于形成該運動畫面的多個存取單元中的每一個，該校正部件將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素，該校正部件包括濾波器特性變換部件，用于根據(jù)檢測部件所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；濾波部件，用于將由濾波器特性變換部件變換其特性的低通濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，以輸出該聚焦像素的校正像素值作為第一值；減法部件，用于計算校正前的聚焦像素的像素值和從濾波部件輸出的第一值之間的差值，以將得到的差值作為第二值輸出；和加法部件，用于將從減法部件輸出的第二值與校正前的聚焦像素的像素值相加，以輸出得到的加法值作為校正后的聚焦像素的像素值。
9.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中對于形成該運動畫面的多個存取單元中的每一個，該校正部件將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素，該校正部件包括第一延遲部件，用于依次接收與其中沿著預(yù)定方向連續(xù)定位包括聚焦像素的像素的主體存取單元的像素組對應(yīng)的第一圖像信號，并用于將所接收的第一圖像信號延遲與N個像素(N是1或大于1的整數(shù))對應(yīng)的第一延遲時間，以輸出得到的第二圖像信號；第二延遲部件，用于依次接收從第一延遲單元輸出的第二圖像信號，并用于將所接收的第二圖像信號延遲與M個像素(M是包括N的1或大于1的整數(shù))對應(yīng)的第二延遲時間，以輸出得到的第三圖像信號；像素值校正單元，用于通過利用輸入到第一延遲部件的第一圖像信號、從第一延遲部件輸出并輸入到第二延遲部件中的第二圖像信號、和從第二延遲部件輸出的第三圖像信號，而校正聚焦像素的像素值；和延遲時間改變部件，用于根據(jù)檢測部件所檢測的參數(shù)值中的對應(yīng)于聚焦像素的值來改變第一延遲部件的第一延遲時間和第二延遲部件的第二延遲時間。
10.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一速率是30Hz，而第二速率是120Hz。
11.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一速率是60Hz，而第二速率是120Hz。
12.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一速率是60Hz，而第二速率是240Hz。
13.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一速率是50Hz，而第二速率是100Hz。
14.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一速率是50Hz，而第二速率是200Hz。
15.一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備用于基于存取單元處理由預(yù)定拍攝裝置拍攝的運動畫面，該圖像處理方法包括高速率變換步驟，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測步驟，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于由檢測步驟的處理所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
16.根據(jù)權(quán)利要求15的圖像處理方法，其中該高速率變換步驟通過使用檢測步驟中的處理所檢測的參數(shù)值而執(zhí)行高速率變換處理的步驟。
17.根據(jù)權(quán)利要求15的圖像處理方法，其中該第一速率是當(dāng)該拍攝裝置拍攝運動畫面時的存取單元的速率。
18.根據(jù)權(quán)利要求15的圖像處理方法，其中對于形成該運動畫面的多個存取單元中的每一個，該檢測步驟包括用于檢測形成每一主體存取單元的像素中的至少一個像素的運動矢量作為參數(shù)值的處理。
19.根據(jù)權(quán)利要求18的圖像處理方法，其中該高速率變換步驟是通過使用檢測步驟中的處理所檢測的運動矢量而執(zhí)行運動補償幀內(nèi)插處理作為至少部分高速率變換處理的步驟。
20.根據(jù)權(quán)利要求15的圖像處理方法，其中該檢測步驟包括用于檢測作為該參數(shù)值的當(dāng)拍攝裝置拍攝形成運動畫面的多個存取單元中的每一個時的拍攝裝置的快門速度的處理。
21.根據(jù)權(quán)利要求15的信息處理方法，其中對于形成該運動畫面的多個存取單元中的每一個，該校正步驟將形成該主體存取單元的像素中的主體像素設(shè)置為聚焦像素，所述用于聚焦像素的步驟包括濾波器特性變換步驟，用于根據(jù)檢測步驟中的處理所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；逆濾波器生成步驟，用于生成由濾波器特性變換步驟中的處理變換其特性的低通濾波器的逆濾波器；和濾波步驟，用于通過將逆濾波器生成步驟中的處理所生成的逆濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，而校正該聚焦像素的像素值。
22.根據(jù)權(quán)利要求15的信息處理方法，其中對于形成該運動畫面的多個存取單元中的每一個，該校正步驟將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素，所述用于聚焦像素的步驟包括濾波器特性變換步驟，用于根據(jù)檢測步驟中的處理所檢測的所述至少一個參數(shù)值中的對應(yīng)于聚焦像素的值，而變換指明成像模糊的低通濾波器的特性；濾波步驟，用于將由濾波器特性變換步驟中的處理變換其特性的低通濾波器應(yīng)用到主體存取單元中的包括聚焦像素的預(yù)定塊，以輸出該聚焦像素的校正像素值作為第一值；減法步驟，用于計算校正前的聚焦像素的像素值和作為濾波步驟的處理結(jié)果輸出的第一值之間的差值，以將得到的差值作為第二值輸出；和加法步驟，用于將作為減法步驟的處理結(jié)果的結(jié)果輸出的第二值與校正前的聚焦像素的像素值相加，以輸出得到的加法值作為校正后的聚焦像素的像素值。
23.根據(jù)權(quán)利要求15的信息處理方法，其中對于形成該運動畫面的多個存取單元中的每一個，該校正步驟將形成主體存取單元的像素中的主體像素設(shè)置為聚焦像素，所述用于聚焦像素的步驟包括第一延遲步驟，用于依次接收與其中沿著預(yù)定方向連續(xù)定位包括聚焦像素的像素的主體存取單元的像素組對應(yīng)的第一圖像信號，并用于將所接收的第一圖像信號延遲與N個像素(N是1或大于1的整數(shù))對應(yīng)的第一延遲時間，以輸出得到的第二圖像信號；第二延遲步驟，用于依次接收作為第一延遲步驟的處理結(jié)果而輸出的第二圖像信號，并用于將所接收的第二圖像信號延遲與M個像素(M是包括N的1或大于1的整數(shù))對應(yīng)的第二延遲時間，以輸出得到的第三圖像信號；像素值校正步驟，用于通過利用作為要在第一延遲步驟中處理的主體而輸入的第一圖像信號、作為第一延遲步驟的處理結(jié)果而輸出并作為要在第二延遲步驟中處理的主體而輸入的第二圖像信號、和作為第二延遲步驟的處理結(jié)果而輸出的第三圖像信號，而校正聚焦像素的像素值；和延遲時間改變步驟，用于根據(jù)檢測步驟中的處理所檢測的參數(shù)值中的對應(yīng)于聚焦像素的值來改變第一延遲步驟中的第一延遲時間和第二延遲步驟中的第二延遲時間。
24.根據(jù)權(quán)利要求15的圖像處理方法，其中第一速率是30Hz，而第二速率是120Hz。
25.根據(jù)權(quán)利要求15的圖像處理方法，其中第一速率是60Hz，而第二速率是120Hz。
26.根據(jù)權(quán)利要求15的圖像處理方法，其中第一速率是60Hz，而第二速率是240Hz。
27.根據(jù)權(quán)利要求15的圖像處理方法，其中第一速率是50Hz，而第二速率是100Hz。
28.根據(jù)權(quán)利要求15的圖像處理方法，其中第一速率是50Hz，而第二速率是200Hz。
29.一種記錄介質(zhì)，其上記錄有要由計算機執(zhí)行的程序，用于控制基于存取單元對預(yù)定拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理，該程序包括高速率變換步驟，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測步驟，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于由檢測步驟的處理所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
30.一種要由計算機執(zhí)行的程序，用于控制基于存取單元對預(yù)定拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理，該程序包括高速率變換步驟，用于執(zhí)行將運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；檢測步驟，用于對于形成運動畫面的多個存取單元中的每一個，而檢測代表當(dāng)拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于由檢測步驟中的處理所檢測的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值而校正形成運動畫面的每一主體存取單元的每一像素值。
31.一種圖像處理設(shè)備，用于當(dāng)從不同的圖像處理設(shè)備接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，對該拍攝裝置拍攝的運動畫面執(zhí)行處理，該圖像處理設(shè)備包括高速率變換部件，用于執(zhí)行將從該不同圖像處理設(shè)備提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正部件，用于在高速率變換部件執(zhí)行的高速率變換處理之前或之后，基于從該不同圖像處理設(shè)備提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成從該不同圖像處理設(shè)備提供的運動畫面的每一主體存取單元的每一像素值。
32.根據(jù)權(quán)利要求31的圖像處理設(shè)備，其中第一速率是30Hz，而第二速率是120Hz。
33.根據(jù)權(quán)利要求31的圖像處理設(shè)備，其中第一速率是60Hz，而第二速率是120Hz。
34.根據(jù)權(quán)利要求31的圖像處理設(shè)備，其中第一速率是60Hz，而第二速率是240Hz。
35.根據(jù)權(quán)利要求31的圖像處理設(shè)備，其中第一速率是50Hz，而第二速率是100Hz。
36.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中第一速率是50Hz，而第二速率是200Hz。
37.一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備用于當(dāng)從不同的圖像處理設(shè)備接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，對該拍攝裝置拍攝的運動畫面執(zhí)行處理，該圖像處理方法包括高速率變換步驟，用于執(zhí)行將從該不同圖像處理設(shè)備提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于從該不同圖像處理設(shè)備提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成從該不同圖像處理設(shè)備提供的運動畫面的每一主體存取單元的每一像素值。
38.根據(jù)權(quán)利要求37的圖像處理方法，其中第一速率是30Hz，而第二速率是120Hz。
39.根據(jù)權(quán)利要求37的圖像處理方法，其中第一速率是60Hz，而第二速率是120Hz。
40.根據(jù)權(quán)利要求37的圖像處理方法，其中第一速率是60Hz，而第二速率是240Hz。
41.根據(jù)權(quán)利要求37的圖像處理方法，其中第一速率是50Hz，而第二速率是100Hz。
42.根據(jù)權(quán)利要求37的圖像處理方法，其中第一速率是50Hz，而第二速率是200Hz。
43.一種記錄介質(zhì)，其上記錄有要由計算機執(zhí)行的程序，用于當(dāng)接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，控制對該拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理，該程序包括高速率變換步驟，用于執(zhí)行將所提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于所提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成所提供的運動畫面的每一主體存取單元的每一像素值。
44.一種由計算機執(zhí)行的程序，用于當(dāng)接收運動畫面、和對于形成該運動畫面的多個存取單元中的每一個而接收代表當(dāng)預(yù)定拍攝裝置拍攝運動畫面時發(fā)生的成像模糊的特性的至少一個參數(shù)值時，控制對該拍攝裝置拍攝的運動畫面執(zhí)行的圖像處理，該程序包括高速率變換步驟，用于執(zhí)行將所提供的運動畫面的存取單元的速率從當(dāng)前第一速率變換為高于第一速率的第二速率的高速率變換處理；和校正步驟，用于在高速率變換步驟中執(zhí)行的高速率變換處理之前或之后，基于所提供的參數(shù)值中的對應(yīng)于主體存取單元的至少一個值，而校正形成所提供的運動畫面的每一主體存取單元的每一像素值。
全文摘要
一種圖像處理設(shè)備和方法、記錄介質(zhì)和程序，用于抑制由于成像模糊而將發(fā)生的圖像降級(模糊的圖像)，由此提供幀頻變換的圖像的顯著清晰的顯示。高幀頻變換部分(11)使得輸入運動圖像經(jīng)過高幀頻變換處理。對于構(gòu)成該運動圖像的多個幀中的每一個，成像模糊抑制部分(13)基于代表成像模糊特性檢測部分(12)所檢測的成像模糊特性的參數(shù)值中的對應(yīng)于要處理的幀的一個或多個值，而校正構(gòu)成要處理的幀的像素值。這可以提供這樣的運動圖像，其比輸入時具有更高的幀頻并且其像素值已被合適地校正，從而抑制成像模糊。本發(fā)明可應(yīng)用于電視系統(tǒng)。
文檔編號H04N5/21GK1860779SQ200580001098
公開日2006年11月8日 申請日期2005年7月6日 優(yōu)先權(quán)日2004年8月11日
發(fā)明者西亨, 上田和彥, 淺野光康 申請人:索尼株式會社