專利名稱：圖像處理裝置和圖像處理方法及程序的制作方法
技術領域：
本發(fā)明涉及一種圖像處理裝置和圖像處理方法及程序，涉及可以使由多個裝置構成的系統(tǒng)的性能最大化的圖像處理裝置和圖像處理方法及程序。
背景技術：
例如，進行節(jié)目的發(fā)送接收的播放系統(tǒng)由多個裝置構成，這些裝置包括拍攝圖像的照相機(數字照相機)、發(fā)送照相機輸出的圖像信號的發(fā)送裝置、接收來自發(fā)送裝置的圖像信號的接收裝置、顯示與接收裝置接收的圖像信號對應的圖像的顯示裝置。
這樣，在由多個裝置構成的系統(tǒng)中，在各個裝置之間彼此進行信號傳遞。例如，在播放系統(tǒng)中，圖像信號被從照相機發(fā)送給發(fā)送裝置，并由發(fā)送裝置接收。而且，圖像信號被從發(fā)送裝置發(fā)送給接收裝置，并由接收裝置接收。進而，圖像信號被從接收裝置發(fā)送給顯示裝置，并由顯示裝置接收。
在構成播放系統(tǒng)的各個裝置之間，按照上面所述進行圖像信號的傳遞。這樣，為了可以在各個裝置之間進行圖像信號的傳遞，以及為了在把構成播放系統(tǒng)的照相機、發(fā)送裝置、接收裝置或顯示裝置更換為其他的照相機、發(fā)送裝置、接收裝置或顯示裝置時，也能夠在各個裝置之間進行圖像信號的傳遞，關于圖像信號，其格式被規(guī)格化或標準化。
作為圖像信號的格式，例如有被稱為D1的格式(Y:Cb:Cr為4:2:2的格式)。例如，在具有可以進行D1格式的圖像信號的輸入輸出的接口的各個裝置之間，無論在哪種裝置彼此之間，都能夠傳遞圖像信號。
另一方面，在照相機、發(fā)送裝置、接收裝置、顯示裝置中，在各個裝置中進行固有的處理。
即，在照相機例如是具有一個成像器(一個CCD(ChargeCouple Device電荷耦合器件)、CMOS(Complementary MetalOxide Semiconductor互補金屬氧化物半導體)成像器等光電轉換元件)的單板式照相機的情況下，考慮到人的視覺特性，例如采用拜耳排列(ベイヤ配列)的濾色器。在采用了拜耳排列的濾色器的情況下，能夠從成像器獲得RGB(Red、Green、Blue紅、綠、藍)中G成分較多、R成分和B成分較少的、對應拜耳排列的格式(以下適當稱為拜耳格式)的圖像信號。在拜耳格式的圖像信號中，作為一個像素的像素值，只有R、G、B中任一種顏色成分、沒有其他兩種顏色成分，所以在單板式照相機中，對于各個像素對其他兩種顏色成分進行插值，進行求出作為一個像素的像素值具有R、G、B全部三種顏色成分的圖像信號的處理。
另外，在發(fā)送裝置中，例如為了實現所謂黑白播放和彩色播放的共存，進行把與亮度信號和顏色信號不同的成分信號轉換為在亮度信號上疊加了顏色信號的混合信號的處理。
并且，在接收裝置中，例如以混合信號為對象進行所謂Y/C分離處理，混合信號被轉換為成分信號。
并且，在顯示裝置中，例如以顯示圖像的顯示器的顯示格式，進行排列RGB的成分信號R、G、B的處理，由此顯示圖像。此外，作為在顯示器中顯示圖像的顯示格式即R、G、B的排列，例如有條紋狀排列、馬賽克排列、德爾塔(デルタ)排列等。
另外，條紋狀排列等固定的顯示格式的彩色液晶顯示器例如在專利文獻1中被公開(特別是第0014段)。
專利文獻1日本專利特開平10-301537號公報

發(fā)明內容
發(fā)明要解決的問題構成播放系統(tǒng)的照相機、發(fā)送裝置、接收裝置、顯示裝置，例如如上面所述，只要具有能夠進行D1格式等的被規(guī)格化或被標準化了的信號格式的圖像信號的輸入輸出接口，就不會不能進行圖像信號的傳遞。但是，即使使用具有這種接口的多個裝置構成系統(tǒng)，也未必能夠使該系統(tǒng)的性能最大化。
另外，在構成系統(tǒng)的各個裝置中進行各種處理，但是該處理不是考慮了系統(tǒng)整體的性能來進行的。即，例如在構成播放系統(tǒng)的照相機中，進行把作為一個像素的像素值只具有R、G、B中任一種顏色成分的拜耳格式的圖像信號，轉換為作為一個像素的像素值具有R、G、B中全部三種顏色成分的圖像信號(以下適當稱為RGB圖像信號)的處理，雖然該處理影響到照相機自身的性能，但是未必會影響播放系統(tǒng)整體性能的提高。
也就是說，在照相機中，把拜耳格式的圖像信號轉換為RGB圖像信號的處理只要是所謂高功能的處理，即，例如只要能夠通過該處理獲得分辨率和S/N(Signal to Noise ratio信號噪聲比)較高的RGB圖像信號，就可以說照相機自身的性能良好。
另一方面，在播放系統(tǒng)中，最終是在顯示裝置上顯示圖像，用戶視聽該圖像。因此，例如，如果視聽顯示在顯示裝置上的圖像的用戶感覺該圖像是高像質的圖像，則可以說播放系統(tǒng)的整體性能良好。
但是，即使照相機自身是高性能，即，例如即使照相機能夠輸出分辨率和S/N較高的RGB圖像信號，在其后由發(fā)送裝置、接收裝置和顯示裝置進行處理的播放系統(tǒng)中，用戶感覺為高像質的圖像也未必能夠最終顯示在顯示裝置上。
有可能反而是在照相機中不將拜耳格式的圖像信號轉換為RGB圖像信號而是直接輸出并在后級的發(fā)送裝置、接收裝置或顯示裝置中處理拜耳格式的圖像信號的情況下，更能夠將用戶感覺為高像質的圖像顯示在顯示裝置上。
本發(fā)明就是鑒于上述情況而提出的，可以提高由多個裝置構成的系統(tǒng)的性能，最好使系統(tǒng)的性能最大化。
用于解決問題的方法本發(fā)明的第一側面的圖像處理裝置，在處理圖像的圖像處理裝置中，具有顯示格式獲取單元，獲取在顯示圖像的顯示單元中顯示圖像的顯示格式；攝影圖像信號獲取單元，獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號；以及信號轉換單元，根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與在所述顯示格式獲取單元中獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理得到的所述高像質圖像信號對應的圖像的顯示格式。
本發(fā)明的第一側面的圖像處理方法或程序，是處理圖像的圖像處理方法、或使計算機執(zhí)行處理圖像的圖像處理的程序，包括以下步驟獲取在顯示圖像的顯示單元中顯示圖像的顯示格式；獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號；以及根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與所獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理獲得的所述高像質圖像信號對應的圖像的顯示格式。
在以上那樣的第一側面的圖像處理裝置、圖像處理方法或程序中，能夠獲取在顯示圖像的顯示單元中顯示圖像的顯示格式，并且獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號。并且，根據使下述信號格式和下述顯示格式相對應的對應關系信息，第1信號格式的所述攝影圖像信號被轉換為與所獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理獲得的所述高像質圖像信號對應的圖像的顯示格式。
本發(fā)明的第二側面的圖像處理裝置，在處理圖像的圖像處理裝置中，具有圖像處理決定單元，決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理；信號格式獲取單元，獲取所述攝影圖像信號的信號格式；顯示格式獲取單元，獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施由所述圖像處理決定單元決定的圖像處理而得到的圖像；以及圖像處理單元，根據所述攝影圖像信號的信號格式、用于在所述顯示單元中顯示圖像的顯示格式、和由所述圖像處理決定單元決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施由所述圖像處理決定單元決定的圖像處理。
本發(fā)明的第二側面的圖像處理方法或程序，是處理圖像的圖像處理方法或使計算機執(zhí)行的程序，包括以下步驟決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理；獲取所述攝影圖像信號的信號格式；獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施所決定的圖像處理而得到的圖像；以及根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式和所決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施所決定的圖像處理。
在以上所述的第二側面的圖像處理裝置、圖像處理方法或程序中，決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理。另外，獲取所述攝影圖像信號的信號格式，并且獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施所決定的圖像處理而得到的圖像。而且，根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式和所決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施所決定的圖像處理。
根據本發(fā)明的第一和第二側面，可以提高系統(tǒng)的性能。


圖1是表示進行圖像處理的圖像處理系統(tǒng)的第1結構示例的方框圖。
圖2是表示顯示裝置2的結構示例的方框圖。
圖3是說明顯示裝置2的處理的流程圖。
圖4是表示圖像轉換部11的結構示例的方框圖。
圖5是說明圖像轉換部11的處理的流程圖。
圖6是表示顯示格式的示例圖。
圖7是表示以條紋狀格式為基礎變形的顯示格式的示例圖。
圖8是表示以拜耳格式為基礎變形的信號格式的示例圖。
圖9是表示學習最佳的信號格式、顯示格式、抽頭系數的學習裝置的結構示例的方框圖。
圖10是表示SHD圖像和HD圖像的圖。
圖11是說明生成虛擬攝影圖像的生成方法的圖。
圖12是說明生成虛擬攝影圖像的生成方法的圖。
圖13是表示HD圖像和顯示器69的顯示畫面的圖。
圖14是表示HD圖像和顯示器69的顯示畫面的圖。
圖15是表示HD圖像和顯示器69的顯示畫面的圖。
圖16是說明評價顯示在顯示器69上的顯示圖像的評價方法的圖。
圖17是說明評價顯示在顯示器69上的顯示圖像的評價方法的圖。
圖18是說明評價顯示在顯示器69上的顯示圖像的評價方法的圖。
圖19是說明學習最佳的信號格式、顯示格式、抽頭系數的學習裝置的處理的流程圖。
圖20是具體說明步驟S33的處理的流程圖。
圖21是具體說明步驟S37的處理的流程圖。
圖22是具體說明步驟S38的處理的流程圖。
圖23是具體說明步驟S39的處理的流程圖。
圖24是表示進行圖像處理的圖像處理系統(tǒng)的第2結構示例的方框圖。
圖25是表示格式轉換部604和顯示裝置605的結構示例的方框圖。
圖26是表示信號轉換部612的結構示例的方框圖。
圖27是說明信號轉換部612的處理的流程圖。
圖28是說明格式轉換部604的處理的流程圖。
圖29是表示學習信號轉換部612使用的抽頭系數的學習裝置的結構示例的方框圖。
圖30是說明學習信號轉換部612使用的抽頭系數的學習裝置的處理的流程圖。
圖31是表示圖像轉換部621的結構示例的方框圖。
圖32是說明圖像轉換部621的處理的流程圖。
圖33是說明顯示裝置605的處理的流程圖。
圖34是表示針對各個顯示格式學習最佳的信號格式和抽頭系數的學習裝置的結構示例的方框圖。
圖35是說明針對各個顯示格式學習最佳的信號格式和抽頭系數的學習裝置的處理的流程圖。
圖36是具體說明步驟S668的處理的流程圖。
圖37是具體說明步驟S669的處理的流程圖。
圖38是表示進行圖像處理的圖像處理系統(tǒng)的第3結構示例的方框圖。
圖39是表示進行圖像處理的圖像處理系統(tǒng)的第4結構示例的方框圖。
圖40是表示顯示裝置702的結構示例的方框圖。
圖41是表示前處理部712的結構示例的方框圖。
圖42是表示圖像轉換部713的結構示例的方框圖。
圖43是說明顯示裝置702的處理的流程圖。
圖44是表示針對信號格式和顯示格式的組合，學習最佳的圖像處理、抽頭結構、前處理系數、抽頭系數的學習裝置的結構示例的方框圖。
圖45是說明針對信號格式和顯示格式的組合，學習最佳的圖像處理、抽頭結構、前處理系數、抽頭系數的學習裝置的處理的流程圖。
圖46是具體說明步驟S724的處理的流程圖。
圖47是具體說明步驟S743的處理的流程圖。
圖48是具體說明步驟S747的處理的流程圖。
圖49是具體說明步驟S748的處理的流程圖。
圖50是具體說明步驟S749的處理的流程圖。
圖51是表示進行圖像處理的圖像處理系統(tǒng)的第5結構示例的方框圖。
圖52是表示圖像轉換部1012的結構示例的方框圖。
圖53是說明圖像轉換部1012的處理的流程圖。
圖54是表示學習在圖像轉換部1012中使用的抽頭系數的學習裝置的結構示例的方框圖。
圖55是說明學習在圖像轉換部1012中使用的抽頭系數的學習裝置的處理的流程圖。
圖56是表示進行圖像處理的圖像處理系統(tǒng)的第6結構示例的方框圖。
圖57是表示進行圖像處理的圖像處理系統(tǒng)的第7結構示例的方框圖。
圖58是表示執(zhí)行進行圖像處理的程序的計算機的結構示例的方框圖。
符號說明1照相機；2顯示裝置；11圖像轉換部；12顯示控制部；13顯示器；41、42抽頭抽出部；43類分類部；44系數存儲器；45預測部；61學習數據存儲部；62虛擬攝影圖像生成部；63、64抽頭抽出部；65類分類部；66系數存儲器；67預測部；68顯示控制部；69顯示器；70光檢測器；71評價值算出部；72控制部；73圖像轉換部；255學習部；261前處理部；262圖像轉換部；601照相機；602發(fā)送裝置；603接收裝置；604格式轉換部；605顯示裝置；611信號獲取部；612信號轉換部；613顯示格式獲取部；621圖像轉換部；622顯示控制部；623顯示器；631、632抽頭抽出部；633類分類部；634系數存儲器；635預測部；636系數選擇部；641學習數據存儲部；642學習對數據生成部；643控制部；644、645抽頭抽出部；646類分類部；647正規(guī)方程式生成部；648抽頭系數算出部；651系數存儲器；661控制部；671、701照相機；702顯示裝置；711圖像處理部；712前處理部；713圖像轉換部；714顯示控制部；715顯示器；716信號格式獲取部；717顯示格式獲取部；718操作部；719控制部；731前處理抽頭抽出部；732前處理運算部；733、741系數存儲器；751學習對數據生成部；752控制部；1001照相機；1002發(fā)送裝置；1003接收裝置；1004顯示裝置；1011成像器；1012圖像轉換部；1013、1021I/F；1022圖像轉換部；1023信號處理部；1024圖像轉換部；1025、1031I/F；1032圖像轉換部；1033信號處理部；1034圖像轉換部；1035、1041I/F；1042圖像轉換部；1043顯示控制部；1044顯示器；1061、1062抽頭抽出部；1063類分類部；1064系數存儲器；1065預測部；1071學習數據存儲部；1072學習對數據生成部1073、1074抽頭抽出部；1075類分類部；1076正規(guī)方程式生成部；1077抽頭系數算出部；1101照相機；1102發(fā)送裝置；1103接收裝置；1104顯示裝置；1111圖像轉換部；1112、1121I/F；1122圖像轉換部；1123、1131I/F；1132圖像轉換部；1133、1141I/F；1201照相機；1211圖像轉換部；1212I/F；2001總線；2002CPU；2003ROM；2004RAM；2005硬盤；2006輸出部；2007輸入部；2008通信部；2009驅動器；2010輸入輸出接口；2011可移動記錄介質。
具體實施例方式
以下，說明本發(fā)明的實施方式，下面舉例說明本發(fā)明的技術特征與在說明書或附圖中記述的實施方式的對應關系。該記述用于確認支持本發(fā)明的實施方式被記載在說明書或附圖中。因此，即使存在雖然記載在說明書或附圖中，但沒有作為對應于本發(fā)明的技術特征的實施方式而記載在此處的實施方式，也不意味著該實施方式不對應于該技術特征。相反，盡管實施方式作為對應于技術特征的方式在此處進行了記載，也不意味著該實施方式不對應于該技術特征以外的技術特征。
本發(fā)明的第一側面的圖像處理裝置是處理圖像的圖像處理裝置(例如圖25中的格式轉換部604)，具有顯示格式獲取單元(例如圖25中的顯示格式獲取部613)，獲取在顯示圖像的顯示單元中顯示圖像的顯示格式；攝影圖像信號獲取單元(例如圖25中的信號獲取部611)，獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號；以及信號轉換單元(例如圖25中的信號轉換部612)，根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與在所述顯示格式獲取單元中獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理得到的所述高像質圖像信號對應的圖像的顯示格式。
第一側面的圖像處理裝置還具備所述攝影單元(例如圖25中的照相機601)。
在第一側面的圖像處理裝置中，所述信號轉換單元具有預測抽頭抽出單元(例如圖26中的抽頭抽出部631)，從所述攝影圖像信號抽出預測抽頭，該預測抽頭是在預測所述第2信號格式的圖像信號的關注像素的像素值時使用的多個像素的像素值；類抽頭抽出單元(例如圖26中的抽頭抽出部632)，從所述攝影圖像信號抽出類抽頭，該類抽頭是在將所述關注像素分類為多個類中的任一類的類分類中使用的多個像素的像素值；類分類單元(例如圖26中的類分類部633)，根據所述類抽頭進行所述關注像素的類分類；系數輸出單元(例如圖26中的系數存儲器634)，從通過學習而預先求出的多個類各自的抽頭系數中，輸出所述關注像素的類的抽頭系數；以及運算單元(例如圖26中的預測部635)，通過使用了所述關注像素的類的抽頭系數和所述預測抽頭的預測運算，求出所述關注像素的像素值。
本發(fā)明的第一側面的圖像處理方法或程序是處理圖像的圖像處理方法或使計算機執(zhí)行處理圖像的圖像處理的程序，包括以下步驟獲取在顯示圖像的顯示單元中顯示圖像的顯示格式(例如圖28中的步驟S611)；獲取來自攝影物體的攝影單元的圖像信號即攝影圖像信號(例如圖28中的步驟S612)；以及根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與所獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理獲得的所述高像質圖像信號對應的圖像的顯示格式(例如圖28中的步驟S613)。
本發(fā)明的第二側面的圖像處理裝置是處理圖像的圖像處理裝置(例如圖39中的顯示裝置702)，具有圖像處理決定單元(例如圖40中的控制部719)，決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理；信號格式獲取單元(例如圖40中的信號格式獲取部716)，獲取所述攝影圖像信號的信號格式；顯示格式獲取單元(例如圖40中的顯示格式獲取部717)，獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施由所述圖像處理決定單元決定的圖像處理而得到的圖像；以及圖像處理單元(例如圖40中的圖像處理部711)，根據所述攝影圖像信號的信號格式、用于在所述顯示單元中顯示圖像的顯示格式、和由所述圖像處理決定單元決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施由所述圖像處理決定單元決定的圖像處理。
在第二側面的圖像處理裝置中，所述圖像處理單元具有前處理單元(例如圖40中的前處理部712)，對所述攝影圖像信號實施前處理，輸出前處理后圖像信號；以及圖像轉換單元(例如圖40中的圖像轉換部713)，將所述前處理后圖像信號即第1圖像信號與通過預先進行的學習得到的抽頭系數進行運算，從而轉換為第2圖像信號。
在第二側面的圖像處理裝置中，所述前處理單元具有
前處理抽頭抽出單元(例如圖41中的前處理抽頭抽出部731)，從所述攝影圖像信號抽出前處理抽頭，該前處理抽頭是通過所述前處理求出所述前處理后圖像信號的關注像素的像素值時使用的多個像素的像素值；以及前處理運算單元(例如圖41中的前處理運算部732)，通過使用了在作為所述前處理的運算中使用的前處理系數和所述前處理抽頭的運算，求出所述關注像素的像素值。
在第二側面的圖像處理裝置中，所述圖像轉換單元具有預測抽頭抽出單元(例如圖42中的抽頭抽出部41)，從所述第1圖像信號抽出預測抽頭，該預測抽頭是在預測所述第2圖像信號的關注像素的像素值時使用的多個像素的像素值；類抽頭抽出單元(例如圖42中的抽頭抽出部42)，從所述第1圖像信號抽出類抽頭，該類抽頭是在將所述關注像素分類為多個類中的任一類的類分類中使用的多個像素的像素值；類分類單元(例如圖42中的類分類部43)，根據所述類抽頭進行所述關注像素的類分類；系數輸出單元(例如圖42中的系數存儲器741)，從通過學習而預先求出的多個類各自的抽頭系數中，輸出所述關注像素的類的抽頭系數；以及運算單元(例如圖42中的預測部45)，通過使用了所述關注像素的類的抽頭系數和所述預測抽頭的預測運算，求出所述關注像素的像素值。
本發(fā)明的第二側面的圖像處理方法或程序是處理圖像的圖像處理方法或使計算機執(zhí)行的程序，包括以下步驟決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理(例如圖43中的步驟S701)；獲取所述攝影圖像信號的信號格式(例如圖43中的步驟S702)；獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施所決定的圖像處理而得到的圖像(例如圖43中的步驟S703)；以及根據所述攝影圖像信號的信號格式、用于在所述顯示單元中顯示圖像的顯示格式和所決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施所決定的圖像處理(例如圖43中的步驟S704)。
下面，說明處理某個信號格式的圖像信號、并以某個顯示格式顯示與該處理結果得到的圖像信號對應的圖像的圖像處理系統(tǒng)，和在該圖像處理系統(tǒng)中采用的信號格式和顯示格式的求出方法。
圖1表示對圖像進行處理的圖像處理系統(tǒng)(系統(tǒng)是指多個裝置邏輯上的集合，與各結構的裝置是否在相同殼體中無關)的第一結構例。
在圖1中，圖像處理系統(tǒng)由照相機(攝像機)1和顯示裝置2構成。
照相機1對物體(被攝體)進行拍攝，輸出通過該拍攝所得到的圖像信號即攝影圖像信號。顯示裝置2接收照相機1所輸出的攝影圖像信號，將該攝影圖像信號轉換為比對應于攝影圖像信號的圖像更高像質的圖像的圖像信號即高像質圖像信號，顯示對應于該高像質圖像信號的圖像。
此外，照相機1例如是單板式照相機，輸出通過后述的學習而決定的信號格式的攝影圖像信號。
即，當通過學習決定的攝影圖像信號的信號格式例如為拜耳格式時，在照相機1中采用拜耳排列的濾色器，照相機1不將通過該拜耳排列的濾色器所得到的拜耳格式的攝影圖像信號轉換為RGB圖像信號而直接輸出。
在此，將照相機1所輸出的攝影圖像信號例如設為作為標準分辨率圖像信號的SD(Standard Definition標準清晰度)圖像信號，將通過對該SD圖像信號進行轉換而得到的高像質圖像信號設為作為高分辨率圖像信號的HD(High Definition高清晰度)圖像信號。此外，下面適當將對應于SD圖像信號的圖像稱為SD圖像，將對應于HD圖像信號的圖像稱為HD圖像。
圖2表示圖1的顯示裝置2的結構例。
顯示裝置2由圖像轉換部11、顯示控制部12、以及顯示器13構成。
圖像轉換部11通過與由預先進行的學習而得到的抽頭系數之間的運算，將來自照相機1的SD圖像信號轉換為HD圖像信號，提供給顯示控制部12。
顯示控制部12進行顯示控制，該顯示控制以由使用比HD圖像更高像質的圖像進行的學習所決定的顯示格式，使與從圖像轉換部11提供的HD圖像信號對應的HD圖像顯示在顯示器13上。
在此，下面適當將比HD圖像更高像質的圖像稱為SHD圖像(Super HD圖像(超高清晰度))，將其圖像信號稱為SHD圖像信號。
顯示器13是例如由CRT(Cathode Ray Tube陰極射線管)、LCD(Liquid Crystal Display液晶顯示器)面板等構成的顯示單元，按照顯示控制部12的控制來顯示圖像。
接著，參照圖3的流程圖，說明圖2的顯示裝置2的動作。
來自照相機1的SD圖像信號被提供到顯示裝置2中。在顯示裝置2中接收來自照相機1的SD圖像信號，提供給圖像轉換部11。
在步驟S1中，圖像轉換部11進行例如如下的圖像轉換處理，將其結果所得到的HD圖像信號提供給顯示控制部12，進入到步驟S2，其中，所述圖像轉換處理通過使用了由后述的學習所得到的抽頭系數的運算，將來自照相機1的SD圖像信號轉換為HD圖像信號。
在步驟S2中，顯示控制部12以通過使用SHD圖像進行的后述的學習所決定的顯示格式，將與從圖像轉換部11提供的HD圖像信號對應的HD圖像顯示在顯示器13上。
由此，在顯示器13中顯示HD圖像。
接著，說明由圖2的圖像轉換部11進行的圖像轉換處理。
圖像轉換部11進行以下的圖像轉換處理將第一圖像信號轉換為比對應于該第一圖像信號的圖像更高像質的圖像的第二圖像信號。
在此，圖像轉換部11將來自照相機1的SD圖像信號設為第一圖像信號，并且，將HD圖像信號設為第二圖像信號，進行將第一圖像信號轉換為第二圖像信號的圖像轉換處理，但是，根據該圖像轉換處理，可基于如何定義第一以及第二圖像信號而實現各種處理。
即，例如如果將第二圖像信號設為HD圖像信號，并且將第一圖像信號設為降低第二圖像信號分辨率和像素數的SD圖像信號，則圖像轉換處理可以是將SD圖像轉換為HD圖像的處理。另外，例如如果將第二圖像信號設為高S/N圖像信號，并且將第一圖像信號設為降低了第二圖像信號的S/N的(在第二圖像信號上添加噪聲)低S/N的圖像信號，則圖像轉換處理可以是去除噪聲的噪聲去除處理。而且，例如如果將第二圖像信號設為某個圖像信號，并且將第一圖像信號設為間除(間引く)第二圖像信號的像素數的圖像信號，則圖像轉換處理可以是放大圖像的放大處理。
圖4表示圖2的圖像轉換部11的結構例。
圖像轉換部11由抽頭抽出部41以及42、類分類部43、系數存儲器44、以及預測部45構成。
來自照相機1的SD圖像信號作為第一圖像信號提供給圖像轉換部11。并且，作為第一圖像信號的SD圖像信號被提供給抽頭抽出部41以及42。
抽頭抽出部41將對第一圖像信號進行變換而將得到的構成第二圖像信號(作為該第二圖像信號的HD圖像信號是將來求出的圖像信號，由于在現階段不存在，因此虛擬地設想)的像素，依次設為關注像素，而且從第一圖像信號抽出在預測該關注像素的像素值中使用的多個像素的像素值即預測抽頭。
具體地說，抽頭抽出部41將相對于與關注像素對應的、第一圖像信號的圖像的位置(例如拍攝有與拍攝在關注像素位置上的被攝體相同的被攝體的一部分的第一圖像信號在圖像上的位置)，具有空間上或者時間上接近的位置關系的多個像素(例如最接近與關注像素對應的、第一圖像信號在圖像上的位置的像素、以及與該像素在空間上相鄰的像素等)的像素值，作為預測抽頭來抽出。
抽頭抽出部42從第一圖像信號抽出類抽頭，該類抽頭是在進行將關注像素分類為幾個(多個)類中的某一個的類分類中使用的多個像素的像素值。
此外，在此為了使簡化說明，作為預測抽頭和類抽頭，假設采用抽頭結構相同的多個像素的像素值、即采用相對于與關注像素對應的位置的位置關系相同的多個像素的像素值。但是，預測抽頭和類抽頭能夠設為不同的抽頭結構。
由抽頭抽出部41得到的預測抽頭提供給預測部45，由抽頭抽出部42得到的類抽頭提供給類分類部43。
類分類部43根據來自抽頭抽出部42的類抽頭，將關注像素進行類分類，將與其結果所得到的類對應的類代碼提供給系數存儲器44。
在此，作為進行類分類的方法，例如可采用ADRC(AdaptiveDynamic Range Coding自適應動態(tài)范圍編碼)等。
在使用ADRC的方法中，構成類抽頭的像素的像素值被進行ADRC處理，按照其結果所得到的ADRC代碼，決定關注像素的類。
此外，在K位ADRC中，例如檢測構成類抽頭的像素的像素值的最大值MAX和最小值MIN，將DR＝MAX-MIN設為作為類抽頭的多個像素值的集合的局部動態(tài)范圍，根據該動態(tài)范圍DR，作為類抽頭的多個像素值的各個被重新量化為K位。即，從作為類抽頭的各像素值減去最小值MIN，將其減法值除以(量化)DR/2K。并且，將由此得到的作為類抽頭的K位各像素值以規(guī)定的順序排列的位串，作為ADRC代碼輸出。因而，在類抽頭例如進行了1位ADRC處理的情況下，作為該類抽頭的各像素值在減去最小值MIN之后，除以最大值MAX和最小值MIN之差的1/2(舍去小數點以下)，由此，各像素值成為1位(被2值化)。并且，作為ADRC代碼輸出將該1位的像素值以規(guī)定的順序排列的位串。
此外，在類分類部43中，例如也可以將作為類抽頭的多個像素值的水平分布圖案，直接作為類代碼輸出。但是，在該情況下，類抽頭由N個像素值構成，對各像素值分配有K位時，類分類部43所輸出的類代碼的情況的數為(2N)K個，變成與像素值的位數K成指數比例的龐大的數。
因而，在類分類部43中，最好是通過上述ADRC處理、或者向量量化等來壓縮類抽頭的信息量，使用其壓縮結果進行類分類。
另外，除了類抽頭之外，還可以根據表示與關注像素對應的第一圖像信號的圖像上的位置(下面適當稱為對應位置)附近的運動的向量(運動向量)、表示與對應位置最近的第一圖像信號的像素和對應位置之間的位置關系的向量(位置關系向量)等，進行類分類。即，例如可將類抽頭的ADRC代碼與表示作為運動向量或位置關系向量的向量量化結果的代碼(符號)的位串排列成一行而得到的位串等，設為表示關注像素的類的類代碼。
系數存儲器44存儲了通過后述的學習預先求出的每個類的抽頭系數。即，系數存儲器44關于可在類分類部43中將關注像素進行類分類的多個類，分別存儲了抽頭系數。系數存儲器44輸出每個類的抽頭系數中的從類分類部43提供的表示類代碼所表示的類、即關注像素的類的抽頭系數。
此外，抽頭系數例如相當于數字濾波器中的在所謂的抽頭中與輸入數據相乘的系數。
預測部45獲取抽頭抽出部41所輸出的預測抽頭、以及系數存儲器44所輸出的抽頭系數，使用該預測抽頭和抽頭系數，進行求出關注像素真值的預測值的規(guī)定預測運算。由此，預測部45求出關注像素的像素值(的預測值)、即構成第二圖像信號的像素的像素值并輸出。
下面，參照圖5的流程圖說明圖4的圖像轉換部11進行的圖3的步驟S1的圖像轉換處理。
在抽頭抽出部41中，將構成針對從照相機1提供的作為第一圖像信號的SD圖像信號的、作為第二圖像信號的HD圖像信號的各像素，依次作為關注像素。并且，在步驟S11中，抽頭抽出部41和42從向其提供的第一圖像信號中分別抽出作為關于關注像素的預測抽頭和類抽頭的像素的像素值。并且，預測抽頭從抽頭抽出部41提供給預測部45，類抽頭從抽頭抽出部42提供給類分類部43。
類分類部43從抽頭抽出部42接收關于關注像素的類抽頭，在步驟S12中，根據該類抽頭將關注像素進行類分類。而且，類分類部43將表示該類分類的結果所得到的關注像素的類的類代碼輸出到系數存儲器44，進入到步驟S13。
在步驟S13中，系數存儲器44讀出從類分類部43提供的類代碼所表示的類的抽頭系數、即關注像素的類的抽頭系數并輸出，進入到步驟S14。在預測部45中獲取(接收)系數存儲器44所輸出的抽頭系數。
在步驟S14中，預測部45使用抽頭抽出部41所輸出的預測抽頭、以及從系數存儲器44獲取的抽頭系數，通過進行規(guī)定的預測運算來求出關注像素的像素值、即第二圖像信號的像素的像素值。預測部45如上所述每當求出例如1幀的第二圖像信號的像素的像素值時，將作為該第二圖像信號的HD圖像信號輸出到顯示控制部12(圖2)。
如上所述，在圖像轉換部11中，從第一圖像信號抽出關于第二圖像信號的關注像素的預測抽頭和類抽頭，根據類抽頭求出關注像素的類，進行使用了該類的抽頭系數以及預測抽頭的運算，求出第二圖像信號的關注像素的像素值(的預測值)，由此，第一圖像信號被轉換為第二圖像信號。將這樣通過求出關注像素的類并進行使用了該類的抽頭系數和第一圖像信號(預測抽頭)的運算來求出關注像素的像素值的處理，稱為類分類適應處理。
在類分類適應處理中，如上所述使用抽頭系數，但是例如可通過利用了最小二乘法的學習來求出該抽頭系數。
即，例如目前作為圖像轉換處理，考慮將HD圖像信號設為第二圖像信號，并且將間除該HD圖像信號的像素、通過LPF(LowPass Filter低通濾波器)進行濾波等所得到的SD圖像信號作為第一圖像信號，從第一圖像信號抽出預測抽頭，使用該預測抽頭和抽頭系數，通過規(guī)定的預測運算求出(預測)第二圖像信號的像素值。
作為規(guī)定的預測運算，例如當采用線性1次預測運算時，可通過下面的線性1次式求出第二圖像信號的像素(下面適當稱為第二像素)的像素值y。
y=Σn=1Nwnxn...(1)]]>其中，在式(1)中，xn表示構成關于第二像素y的預測抽頭的第n個第一圖像信號像素(下面適當稱為第一像素)的像素值，wn表示與第n個第一像素的像素值相乘的第n個抽頭系數。此外，在式(1)中，預測抽頭由多個即N個第一像素的像素值x1，x2，...，xN構成。在該情況下，抽頭系數在每一類中存在N個。
在此，也可以不用式(1)所示的線性1次式，而通過2次以上的高次式求出第二像素的像素值y。
現在將第k樣本的第二像素的像素值的真值表示為yk，并且將通過式(1)得到的該真值yk的預測值表示為yk’時，由下式表示其預測誤差ek。
ek＝y(tǒng)k-yk’...(2)當前，按照式(1)來求出式(2)的預測值yk’，因此當按照式(1)來替換式(2)的yk’時，得到下式。
ek=yk-(Σn=1Nwnxn,k)...(3)]]>其中，在式(3)中，xn，k表示構成關于第k樣本的第二像素的預測抽頭的第n個第一像素的像素值。
式(3)(或者式(2))的預測誤差ek為0的抽頭系數wn最適合預測第二像素的像素值，但是關于全部的第二像素求出這種抽頭系數wn，通常是困難的。
因此，作為表示最佳的抽頭系數wn的規(guī)范，例如當采用最小二乘法時，能夠通過使由下式表示的平方誤差的總和E為最小來求出最適合的抽頭系數Wn。
E=Σk=1Kek2...(4)]]>其中，在式(4)中，K表示第二像素的像素值yk、和構成關于該第二像素的預測抽頭的第一像素的像素值x1，k、x2，k、...、xN，k的集合的樣本數(學習用的樣本數)。
式(4)的平方誤差的總和E的最小值(極小值)如式(5)所示，通過使以抽頭系數wn對總和E進行偏微分的結果為0的wn而提供。
∂E∂wn=e1∂e1∂wn+e2∂e2∂wn+...+ek∂ek∂wn=0(n=1,2,...,N)...(5)]]>另一方面，當將上述式(3)以抽頭系數wn進行偏微分時，得到下式。
∂ek∂w1=-x1,k,∂ek∂w2=-x2,k,...,∂ek∂wn=-xN,k,(k=1,2,...,K)...(6)]]>根據式(5)和式(6)得到下式。
Σk=1Kekx1,k=0,Σk=1Kekx2,k=0,...Σk=1KekxN,k=0...(7)]]>通過將式(3)代入式(7)的ek，能夠由式(8)所示的正規(guī)方程式來表示式(7)。

式(8)的正規(guī)方程式，例如通過掃除法(Gauss-Jordan的消去法)等，能夠求解抽頭系數wn。
通過對每個類創(chuàng)建式(8)的正規(guī)方程式進行求解，能夠對每個類求出最適合的抽頭系數(在此使平方誤差的總和E為最小的抽頭系數)wn。
根據類分類適應處理，通過使用如上求出的每類的抽頭系數并進行式(1)的運算，將作為第一圖像信號的SD圖像信號轉換為作為第二圖像信號的HD圖像信號。
此外，通過對每個類創(chuàng)建式(8)的正規(guī)方程式并進行求解、從而求出每類的抽頭系數的方法(下面適當稱為使用正規(guī)方程式的學習方法)，是求出每類的抽頭系數的學習的一例。在圖4的系數存儲器44中，存儲有不是使用正規(guī)方程式的學習方法、而是通過后述的循環(huán)學習所求出的每類的抽頭系數。
在此，以下圖像轉換處理只要沒有特別解釋，就假設意味著通過類分類適應處理將第一圖像信號轉換為第二圖像信號的處理。
如果只看式(1)，類分類適應處理看起來像FIR(FiniteImpulse Response有限脈沖響應)濾波器的濾波，但是例如將HD圖像信號設為第二圖像信號，并且將減少該HD圖像信號的像素數等而得到的SD圖像信號設為第二圖像信號，通過使用這些第一圖像信號和第二圖像信號的學習能夠求出與該FIR濾波器的系數(濾波器系數)相當的抽頭系數w，因此能夠再現雖然沒有包含在第一圖像信號中、但包含在第二圖像信號中的信號成分。由此，類分類適應處理(的圖像轉換處理)，可稱為是具有沒有包含在第一圖像信號中的信號成分的創(chuàng)造作用的處理。
接著，在圖1的圖像處理系統(tǒng)中，說明照相機1所輸出的SD圖像信號(攝影圖像信號)的信號格式、顯示裝置2(圖2)的顯示控制部12使顯示器13顯示的HD圖像的顯示格式、以及顯示裝置2的圖像轉換部11(圖4)在圖像轉換處理中使用的抽頭系數。
如上所述，照相機1輸出通過學習所決定的信號格式的SD圖像信號，顯示裝置2的顯示控制部12(圖2)以通過學習所決定的顯示格式，將HD圖像顯示在顯示器13上。而且，顯示裝置2的圖像轉換部11(圖4)，使用通過學習所決定的抽頭系數，進行將來自照相機1的SD圖像信號轉換為HD圖像信號的圖像轉換處理。
因而，照相機1所輸出的SD圖像信號的信號格式、將該SD圖像信號轉換為HD圖像信號的圖像轉換處理中使用的抽頭系數、以及對與由圖像轉換處理得到的HD圖像信號對應的HD圖像進行顯示的顯示格式，都通過學習來決定，為了提高圖1的圖像處理系統(tǒng)整體的性能、即為了使顯示在顯示裝置2的顯示器13(圖2)上的圖像最終成為合適的圖像(用戶感覺是高像質的圖像)，而進行信號格式、抽頭系數、以及顯示格式的學習。
在此，作為現有的顯示格式，例如有如圖6所示的顯示格式。
即，圖6表示現有的顯示格式的例子。
在普通的顯示裝置中，例如在顯示與作為1個像素的像素值具有R、G、B三個顏色成分全部的圖像信號(RGB圖像信號)對應的圖像的情況下，在相同的位置上顯示R、G、B三個顏色成分在物理上是困難的，因此在顯示裝置中，將作為1個像素的像素值的R、G、B三個顏色成分排列在不同位置上進行顯示。
即在顯示裝置中，作為顯示畫面上的1個像素的小區(qū)域被分割為分別用于R、G、B的更小的區(qū)域(下面適當稱為子像素)，作為1個像素的像素值的R、G、B分別顯示在R、G、B用的子像素上。
作為子像素排列圖案，已知有例如在從圖6的左起第一個、第二個、第三個(從右起第一個)中分別表示的排列圖案。
在從圖6的左起第一個中，將正方形狀的區(qū)域設為1個像素，將1個像素在橫方向上進行3等分的三個區(qū)域成為子像素。并且，在各像素中，從左起第一個、第二個、第三個子像素成為分別用于R、G、B的子像素，將這種子像素的排列(顯示格式)稱為條狀。
在從圖6的左起第二個中，由在橫寬的長方形狀的子像素的橫方向上排列的兩個第一和第二子像素、以及配置在該兩個第一和第二子像素的上面或者下面的只偏移了子像素的橫長度的一半的位置上的第三像素，構成1個像素。并且，這些第一至第三子像素分別成為用于R、G、B中的某個的子像素，但是相同的顏色成分的子像素不鄰接。將這種子像素的排列(顯示格式)稱為德爾塔。
在從圖6的左起第三個中，與從圖6的左起第一個條狀相同，將正方形狀的區(qū)域設為1個像素，將1個像素在橫方向上進行3等分的三個區(qū)域成為子像素。但是在從圖6的左起第一個條狀中，在縱方向上配置有相同顏色成分的子像素，但是在從圖6的第三個中使得在縱方向上相同顏色成分的子像素不鄰接，即，使得相同顏色成分的子像素排列在傾斜方向上。將這種子像素的排列(顯示格式)稱為馬賽克。
如上所述的顯示格式中的例如條狀，例如可以說適于線、圖形、文字的顯示。另外，通過馬賽克，可以說能夠得到比條狀更自然的圖像，通過德爾塔，可以說能夠得到更自然的圖像。
如上所述的現有顯示格式是例如根據對圖像進行顯示的顯示裝置的處理情況等決定的格式，因而，以現有的顯示格式顯示的圖像未必是用戶感覺為高像質的圖像。即，有可能存在用戶感覺到比以現有顯示格式顯示的圖像更高像質的、不是現有顯示格式的顯示格式。
在此，圖7示出了顯示格式不是現有顯示格式的例子。
即，圖7示出了以條狀為基準將該條狀進行變形而得到的新的顯示格式。
圖7的左上示出了與從圖6的左起第一個相同的條狀的顯示格式。
圖7的左下示出了將以圖7的左上所示的條狀子像素所顯示的顏色成分進行改變的顯示格式。即，在圖7的左上所示的條狀中，在1個像素的橫方向上排列的三個子像素按照分別顯示R、G、B的子像素的順序被排列，但是在圖7的左下的顯示格式中，按照分別顯示G、B、R的子像素的順序被排列。
圖7的右上示出了將圖7的左上所示的條狀的子像素位置在縱方向上偏移的顯示格式。即，在圖7的左上所示的條狀中，1個像素的按R、G、B的順序在橫方向上排列的三個子像素，在橫方向上配置在相同的位置上，但是在圖7的右上的顯示格式中，1個像素的按R、G、B的順序在橫方向上排列的三個子像素中的G子像素，被配置在比R和B的子像素靠下的位置上。
圖7的右下也與圖7的右上所示的顯示格式同樣，示出了將圖7的左上所示的條狀的子像素位置在縱方向上偏移的顯示格式。但是在圖7的右下的顯示格式中，1個像素的按R、G、B的順序在橫方向上排列的三個子像素中的G子像素，被配置在比R子像素靠下的位置上，且B子像素配置在比R子像素靠上的位置上。
通過學習來決定顯示控制部12使顯示器13顯示圖像的顯示格式，使得在顯示裝置2(圖2)中顯示用戶感覺是高像質的圖像。
接著，圖8(示意性地)示出了圖像信號的信號格式的例子。
圖8的上面表示拜耳格式的圖像信號。
如上所述，在單板式照相機中，由于作為1個像素的像素值只能得到R、G、B中的某一個顏色成分，因此為了對其他兩個顏色成分進行插值的處理等而決定的信號格式是拜耳格式。因而，這種拜耳格式的圖像信號由顯示裝置2的圖像轉換部11轉換為HD圖像信號而最終顯示在顯示器13上的HD圖像，未必成為合適的圖像。即，與拜耳格式等現有信號格式相比，有可能存在最終顯示在顯示器13上的HD圖像為更合適的圖像的信號格式。
在此，圖8的下面示出了信號格式不是現有信號格式的例子。
即，圖8的下面(示意性地)示出了以拜耳格式為基準將該拜耳格式進行變形而得到的新的信號格式。
圖8的下左示出了將圖8的上面所示的拜耳格式的像素位置每隔一列向下方向偏移的信號格式。另外，圖8的下右示出了將圖8的上面所示的拜耳格式的像素位置每隔1行向右(或者左)方向偏移的信號格式。
如上所述，進行照相機1所輸出的SD圖像信號的信號格式、在將該SD圖像信號轉換為HD圖像信號的圖像轉換處理中使用的抽頭系數、以及顯示與由圖像轉換處理所得到的HD圖像信號對應的HD圖像的顯示格式的學習，以便提高圖1的整個圖像處理系統(tǒng)性能，即，使得顯示裝置2的顯示器13(圖2)上所顯示的圖像最終成為合適的圖像(用戶感覺是高像質的圖像)，圖9示出了進行這種學習的學習裝置的結構例。
即，在圖9的學習裝置中，進行求出圖像轉換部11(圖2)中使用的抽頭系數的學習，以使得在顯示器13(圖2)上顯示的圖像成為合適的圖像，其中圖像轉換部11用于進行將照相機1(圖1)所輸出的SD圖像信號(攝影圖像信號)轉換為比與該SD圖像信號對應的SD圖像更高像質的圖像(HD圖像)的高像質圖像信號(HD圖像信號)的圖像轉換處理。而且，在圖9的學習裝置中，進行照相機1所輸出的SD圖像信號的信號格式、以及顯示與通過以該SD圖像信號為對象的圖像轉換處理而得到的HD圖像信號對應的HD圖像的顯示格式的學習，以使得在顯示器13(圖2)上所顯示的圖像成為合適的圖像。
具體地說，在圖9的學習裝置中，學習數據存儲部61，作為抽頭系數、信號格式、以及顯示格式的學習中使用的學習數據，存儲了SHD圖像信號(SHD圖像)。
從后述的控制部72將表示信號格式的信號格式信息提供給虛擬攝影圖像生成部62。虛擬攝影圖像生成部62將存儲在學習數據存儲部61中的SHD圖像信號的各幀圖像信號作為關注SHD圖像信號依次選擇，通過對該關注SHD圖像信號的像素數進行間除等，生成來自控制部72的信號格式信息所表示的信號格式的SD圖像信號，作為與照相機1(圖1)所輸出的攝影圖像信號相當的虛擬攝影圖像信號，提供給抽頭抽出部63以及64。
抽頭抽出部63、64、類分類部65、系數存儲器66、預測部67，構成了與圖4的圖像轉換部11進行相同的圖像轉換處理的圖像轉換部73，在該圖像轉換部73中，從虛擬攝影圖像生成部62提供的虛擬攝影圖像信號(SD圖像信號)通過與從控制部72提供的抽頭系數之間的運算，轉換為HD圖像信號。
即，抽頭抽出部63將從虛擬攝影圖像生成部62提供的虛擬攝影圖像信號設為第一圖像信號，并且將對該第一圖像信號進行轉換而將得到的高像質(高分辨率)的HD圖像信號設為第二圖像信號(作為該第二圖像信號的HD圖像信號是將來要求出的圖像信號，由于在現階段中不存在，因此虛擬地設想)，將構成第二圖像信號的像素依次設為關注像素。并且，抽頭抽出部63關于關注像素，從第一圖像信號抽出與圖4的抽頭抽出部41所抽出的預測抽頭相同的抽頭結構的預測抽頭，并提供給預測部67。
抽頭抽出部64關于關注像素，從第一圖像信號抽出與圖4的抽頭抽出部42所抽出的類抽頭相同的抽頭結構的類抽頭，并提供給類分類部65。
類分類部65根據來自抽頭抽出部64的類抽頭，用與圖4的類分類部43相同的方法，對關注像素進行類分類，并將與其結果所得到的類對應的類代碼提供給系數存儲器66。
系數存儲器66按照控制部72的控制，存儲每個類的抽頭系數。并且，系數存儲器66與圖4的系數存儲器44相同，輸出每類的抽頭系數中的從類分類部65提供的類代碼所表示的類、即關注像素的類的抽頭系數。
預測部67獲取(接收)抽頭抽出部63所輸出的預測抽頭、以及系數存儲器66所輸出的抽頭系數，使用該預測抽頭和抽頭系數，進行與圖4的預測部45相同的預測運算。由此，預測部67求出關注像素的像素值(的預測值)、即構成HD圖像信號(第二圖像信號)的像素的像素值，提供給顯示控制部68。
從控制部72將表示顯示格式的顯示格式信息提供給顯示控制部68。顯示控制部68以來自控制部72的顯示格式信息所表示的顯示格式，將與從預測部67提供的HD圖像信號對應的HD圖像顯示在顯示器69上。
顯示器69以按照顯示控制部68的控制的顯示格式，顯示作為光的HD圖像。
光檢測器70檢測(進行光電轉換)作為顯示在顯示器69上的HD圖像(顯示圖像)的光，將作為與該光對應的電信號的相當于HD圖像信號的顯示圖像信號輸出到評價值算出部71。
評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價顯示在顯示器69上的HD圖像。
即，在評價值算出部71中，除了從光檢測器70提供顯示圖像信號之外，還從學習數據存儲部61提供關注SHD圖像信號。評價值算出部71通過將來自光檢測器70的顯示圖像信號、和來自學習數據存儲部61的關注SHD圖像信號進行比較，進行作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69上的HD圖像的用戶所感覺的像質的評價的評價值算出，并提供給控制部72。
控制部72根據來自評價值算出部71的評價值，決定與照相機1(圖1)所輸出的SD圖像信號相當的、在虛擬攝影圖像生成部62中生成的虛擬攝影圖像信號的信號格式，將表示該信號格式的信號格式信息提供給虛擬攝影圖像生成部62。
另外，控制部72根據來自評價值算出部71的評價值，決定顯示控制部68將與從預測部67提供的HD圖像信號對應的HD圖像顯示在顯示器69上的顯示格式，將表示該顯示格式的顯示格式信息提供給顯示控制部68。
并且，控制部72根據來自評價值算出部71的評價值，決定圖像轉換部73用于圖像轉換處理的每類的抽頭系數，通過控制系數存儲器66，將該抽頭系數存儲在系數存儲器66中。
下面參照圖10，說明圖9的學習數據存儲部61作為學習數據所存儲的SHD圖像信號、與圖像轉換部73(的預測部67)所輸出的HD圖像信號(顯示在顯示器69上的HD圖像的HD圖像信號)之間的關系。
SHD圖像信號和HD圖像信號，例如分別如圖10的上面和下面所示，都是每1個像素具有R、G、B三個顏色成分的像素值的圖像信號。
但是，HD圖像信號是像素數比SHD圖像信號少的低分辨率的圖像信號(SHD圖像信號是像素數比HD圖像信號多的高分辨率的圖像信號)。
即，例如HD圖像信號是SHD圖像信號的6×6像素對應于1個像素的圖像信號。此外，在圖10中，為了便于理解HD圖像信號的1個像素和SHD圖像信號的6×6像素之間的對應，以相同的大小圖示了HD圖像信號的1個像素和SHD圖像信號的6×6像素，但是HD圖像信號和SHD圖像信號的像素大小本身未必是圖10所示的關系。這點對于SD圖像信號和HD圖像信號的像素大小也相同。
下面，參照圖11以及圖12，說明圖9的虛擬攝影圖像生成部62根據作為學習數據的SHD圖像信號生成虛擬攝影圖像信號(SD圖像信號)的生成方法。
虛擬攝影圖像生成部62例如通過從SHD圖像信號生成具有由圖10所說明的關系的HD圖像信號，即例如通過將SHD圖像信號的6×6像素的R、G、B各自的平均值分別作為與該6×6像素對應的HD圖像信號的1個像素的R、G、B求出、或者通過將SHD圖像信號的6×6像素中的某一個像素的R、G、B分別作為與該6×6像素對應的HD圖像信號的1個像素的R、G、B求出，從而生成HD圖像信號，進而從該HD圖像信號生成作為SD圖像信號的虛擬攝影圖像信號。
具體地說，將現在的SD圖像信號設為例如HD圖像信號的2×2像素與1個像素對應的圖像信號，從控制部72對虛擬攝影圖像生成部62提供例如表示圖8的上面所示的拜耳格式的信號格式信息時，虛擬攝影圖像生成部62例如如圖11所示，從HD圖像信號生成作為來自控制部72的信號格式信息所表示的信號格式的SD圖像信號的虛擬攝影圖像信號。
即，在該情況下，虛擬攝影圖像生成部62如圖11所示，檢測與拜耳格式的SD圖像信號的各像素對應的HD圖像信號的2×2像素，從該2×2像素求出與該2×2像素對應的SD圖像信號的1個像素的像素值，由此，生成作為虛擬攝影圖像信號的拜耳格式的SD圖像信號。
在此，拜耳格式的SD圖像信號的各像素，作為像素值只具有R、G、B中的某個顏色成分，因此虛擬攝影圖像生成部62從HD圖像信號的2×2像素，求出與該2×2像素對應的SD圖像信號的1個像素作為像素值所具有的顏色成分。
具體地說，在將拜耳格式的SD圖像信號像素中的例如作為像素值只具有G成分的像素設為關注像素的情況下，如圖11所示，作為關注像素的像素值，求出與關注像素對應的HD圖像信號的2×2像素的像素值中的G成分的平均值等。
另外，在將拜耳格式的SD圖像信號的像素中的例如作為像素值只具有B成分的像素設為關注像素的情況下，如圖11所示，作為關注像素的像素值，求出與關注像素對應的HD圖像信號的2×2像素的像素值中的B成分的平均值等。關于將拜耳格式的SD圖像信號的像素中的例如作為像素值只具有R成分的像素，也同樣地求出像素值。
此外，除此之外在從控制部72向虛擬攝影圖像生成部62提供例如圖8的下左所示的表示將拜耳格式的像素位置每隔1列向下方向偏移的信號格式的信號格式信號的情況下，虛擬攝影圖像生成部62也與圖11中說明的相同，從HD圖像信號生成作為來自控制部72的信號格式信息所表示的信號格式的SD圖像信號的虛擬攝影圖像信號。
即，虛擬攝影圖像生成部62在將圖8的下左所示的信號格式的SD圖像信號的像素中的例如作為像素值只具有G成分的像素設為關注像素的情況下，如圖12所示，作為關注像素的像素值求出與關注像素對應的HD圖像信號的2×2像素的像素值中的G成分的平均值等。
另外，在將圖8的下左所示的信號格式的SD圖像信號的像素中的例如作為像素值只具有R成分的像素設為關注像素的情況下，如圖12所示，作為關注像素的像素值求出與關注像素對應的HD圖像信號的2×2像素的像素值中的R成分的平均值等。關于圖8的下左所示的信號格式的SD圖像信號的像素中的作為像素值只具有B成分的像素，也同樣地求出像素值。
下面，在圖9的學習裝置中，顯示控制部68以從控制部72提供的顯示格式信息所表示的顯示格式，將與HD圖像信號對應的HD圖像顯示在顯示器69上。因此，顯示器69構成為能夠以各種顯示格式來顯示HD圖像。
即，圖13示出了顯示器69的顯示畫面和HD圖像之間的關系。
顯示器69如圖13的上面所示，具有將與SHD圖像的1個像素對應的區(qū)域設為能夠顯示顏色成分的最小單位即最小顯示單位的顯示畫面。如圖10所述，SHD圖像的6×6像素與HD圖像的1個像素對應，因此關于將與SHD圖像的1個像素對應的區(qū)域設為最小顯示單位的顯示畫面，該6×6個的最小顯示單位與圖13的下面所示的HD圖像的1個像素對應。此外，下面在顯示畫面中，將與HD圖像的像素對應的6×6個的最小顯示單元，適當稱為像素。
顯示控制部68例如如圖14、圖15所示，以來自控制部72的顯示格式信息所表示的顯示格式，將HD圖像顯示在顯示器69的顯示畫面上。
即，在來自控制部72的顯示格式信息例如表示圖7的左上所示的條狀的情況下，顯示控制部68如圖14所示，將顯示畫面的像素在橫方向上進行3等分的、橫×縱為2×6個的最小顯示單位設為子像素。并且，顯示控制部68如圖14所示，將HD圖像的像素的R、G、B的顏色成分分別顯示在從與該像素對應的顯示畫面的像素的左起第一、第二、第三個子像素上，由此，以來自控制部72的顯示格式信息所表示的條狀來顯示HD圖像。
另外，在來自控制部72的顯示格式信息表示例如圖7的右上所示的1個像素的按R、G、B的順序在橫方向上排列的三個子像素中的G子像素配置在比R和B子像素靠下的位置上的顯示格式的情況下，顯示控制部68如圖15所示，將顯示畫面的R、G、B這三個子像素(2×6個的最小顯示單位)，與顯示格式同樣地設定成使G子像素配置在比R和B的子像素靠下的位置上。并且，顯示控制部68如圖15所示，將HD圖像的像素的R、G、B的顏色成分顯示在顯示畫面所對應的子像素上，由此以來自控制部72的顯示格式信息所表示的顯示格式來顯示HD圖像。
下面參照圖16至圖18說明圖9的評價值算出部71的處理。
評價值算出部71如圖9所述，通過將來自光檢測器70的顯示圖像信號與來自學習數據存儲部61的關注SHD圖像信號進行比較，算出作為顯示圖像信號的評價、進而作為觀看顯示器69上顯示的HD圖像的用戶感覺到的像質的評價的評價值。
在此，光檢測部70對每個R、G、B檢測(光電轉換)作為顯示在顯示器69上的HD圖像(顯示圖像)的光，將作為HD圖像信號的顯示圖像信號輸出到評價值算出部71，其中，該HD圖像信號作為各像素的像素值具有分別與該R、G、B的光對應的電信號即R成分、G成分、B成分。
即，如圖16的上面所示，光檢測部70對每個R、G、B檢測以顯示器69的顯示畫面的6×6的最小顯示單位構成的各像素的光，將作為HD圖像信號的顯示圖像信號輸出到評價值算出部71，其中，該HD圖像信號作為各像素的像素值具有分別與該R、G、B的光對應的電信號即R成分、G成分、B成分。
另一方面，評價值算出部71從存儲在學習數據存儲部61中的關注SHD圖像信號，生成用于顯示圖像信號評價的HD圖像信號即評價用HD圖像信號。
具體地說，評價值算出部71從與HD圖像信號的像素對應的關注SHD圖像信號的6×6像素的像素值，求出設為HD圖像信號的像素的像素值的代表值。即，評價值算出部71，例如將與HD圖像信號的像素對應的關注SHD像素信號的6×6像素的R、G、B成分各自的平均值、該6×6像素中的某1個像素的R、G、B成分，作為該6×6像素的R、G、B成分各自的代表值而求出。并且，評價值算出部71作為評價用HD圖像信號，生成將關注SHD圖像信號的6×6像素的R、G、B成分的代表值分別設為所對應的像素的R、G、B成分的HD圖像信號。
而且，評價值算出部71，關于從存儲在學習數據存儲部61中的SHD圖像信號得到的評價用HD圖像信號的全部像素，求出評價用HD圖像信號的像素的像素值(R1，G1，B1)、和顯示圖像信號所對應的像素的像素值(R2，G2，B2)之間的平方誤差(R1-R2)2+(G1-G2)2+(B1-B2)2，作為評價值求出與對該全部像素的平方誤差的總和成反比例的值。
因而，在顯示器69中，在由例如作為圖14所示的顯示格式的條狀顯示HD圖像的情況下，在光檢測器70(圖9)中，如圖17所示檢測出作為顯示畫面的1個像素的6×6個最小顯示單位的R、G、B的光、即包含在顯示畫面的1個像素中的R、G、B各自的子像素(2×6個的最小顯示單位)的R、G、B的光，將作為分別與該R、G、B的光對應的電信號的R、G、B成分提供給評價值算出部71。并且，在評價值算出部71中，關于從存儲在學習數據存儲部61中的SHD圖像信號得到的評價用HD圖像信號的全部像素，求出來自評價值算出部71的R、G、B成分、和將關注SHD圖像信號的6×6像素的代表值設為像素值的評價用HD圖像信號的像素的R、G、B成分之間的平方誤差，作為評價值求出與對該全部像素的平方誤差的總和成反比例的值。
另外，在顯示器69中，在以例如圖15所示的R、G、B子像素中的G子像素被配置在比R和B子像素靠下的位置上的顯示格式來顯示HD圖像的情況下，在光檢測器70(圖9)中，如圖18所示，檢測出作為顯示畫面的1個像素的6×6個的最小顯示單位的R、G、B的光，將作為分別與該R、G、B的光對應的電信號的R、G、B成分提供給評價值算出部71。
即，在該情況下關于R，在光檢測器70中檢測出包含在顯示畫面的1個像素中的R的一個子像素(2×6個的最小顯示單位)的R的光，將作為與該R的光對應的電信號的R成分提供給評價值算出部71。關于B也與R同樣，在光檢測器70中檢測出包含在顯示畫面的1個像素中的B的一個子像素(2×6個的最小顯示單位)的B的光，將作為與該B的光對應的電信號的B成分，提供給評價值算出部71。
另外，關于G由于配置在比R和B子像素靠下的位置上，因此在顯示畫面的1個像素中包含兩個G子像素的一部分。因此關于G，在光檢測器70中檢測出將顯示畫面的1個像素中包含的B的兩個子像素(2×6個的最小顯示單位)各自的B的光的一部分進行了合成(合計)的光(在圖18中標記斜線表示的部分)，將作為與該合成的光對應的電信號的B成分，提供給評價值算出部71。
而且，在評價值算出部71中，關于從存儲在學習數據存儲部61中的SHD圖像信號得到的評價用HD圖像信號的全部像素，求出來自評價值算出部71的R、G、B成分、與將關注SHD圖像信號的6×6像素的代表值設為像素值的評價用HD圖像信號的像素的R、G、B成分的平方誤差，作為評價值求出與對關于該全部像素的平方誤差總和成反比例的值。
下面參照圖19的流程圖，說明圖9的學習裝置所進行的學習抽頭系數、信號格式、以及顯示格式的學習處理。
在步驟S31中，控制部72從多個初始信號格式中決定設為關注信號格式的初始信號格式Ai，將表示該關注信號格式Ai的信號格式信息提供給虛擬攝影圖像生成部62，進入到步驟S32。
即，在圖9的學習裝置中，作為在學習處理的最初使用的初始信號格式，設定(決定)了例如拜耳格式及現有信號格式等多個信號格式，控制部72將表示多個初始信號格式各自的信號格式信息存儲在內置的存儲器(未圖示)中。并且，控制部72，將存儲在內置的存儲器中的多個信號格式信息所表示的多個初始信號格式中的、還沒有設為關注信號格式的一個信號格式，決定(設定)為關注信號格式Ai，將表示該關注信號格式Ai的信號格式信息提供給虛擬攝影圖像生成部62。
在此，Ai表示例如多個初始信號格式中的第i個初始信號格式。
在步驟S32中，控制部72從多個初始顯示格式中決定設為關注顯示格式的初始顯示格式Bj，將表示該關注顯示格式Bj的顯示格式信息提供給顯示控制部68，進入到步驟S33。
即，在圖9的學習裝置中，作為在學習處理的最初使用的初始顯示格式，設定了例如條狀、德爾塔以及現有顯示格式等多個顯示格式，控制部72將表示多個初始顯示格式各自的顯示格式信息存儲在內置的存儲器中。并且，控制部72將存儲在內置的存儲器中的多個顯示格式信息所表示的多個初始顯示格式中的還沒有作為關注顯示格式的一個顯示格式決定為關注顯示格式Bj，將表示該關注顯示格式Bj的顯示格式信息提供給顯示控制部68。
在此，Bj表示例如多個初始顯示格式中的第j個初始顯示格式。
在步驟S33中，在學習裝置(圖9)中，關于關注信號格式Ai和關注顯示格式Bj的組合，決定臨時最佳抽頭系數的集合(式(1)的運算中使用的各類的抽頭系數(x1，x2，...，xN)的集合)Fi，j。
即，在步驟S33中，在將關注像素格式Ai的SD圖像信號設為第一圖像信號，將通過在圖4的圖像轉換部11中進行使用了抽頭系數的圖像轉換處理而得到的、作為由具有作為像素值的R、G、B各成分的像素構成的第二圖像信號的HD圖像信號所對應的HD圖像，以關注顯示格式Bj顯示在顯示器69上的情況下，關于關注信號格式Ai和關注顯示格式Bj的組合，作為臨時最佳抽頭系數的集合Fi，j，求出將通過由光檢測器70檢測出作為顯示在該顯示器69上的HD圖像的光而得到的顯示圖像信號的評價值為最高的抽頭系數的集合。
并且，從步驟S33進入到步驟S34，控制部72判斷是否已將存儲在內置的存儲器中的多個顯示格式信息所表示的多個初始顯示格式的全部作為關注顯示格式、通過步驟S33求出了抽頭系數的集合。
在步驟S34中，在判斷為還沒有將多個初始顯示格式的全部設為關注顯示格式的情況下，返回到步驟S32，控制部72將多個初始顯示格式中的還沒有設為關注顯示格式的一個初始顯示格式決定為新的關注顯示格式，將表示該關注顯示格式的顯示格式信息提供給顯示控制部68，下面重復同樣的處理。
另外，在步驟S34中，在判斷為多個初始顯示格式的全部被設為關注顯示格式的情況下，進入到步驟S35，判斷控制部72是否將存儲在內置的存儲器中的多個信號格式信息所表示的多個初始信號格式的全部作為關注信號格式、通過步驟S33求出了抽頭系數的集合。
在步驟S35中，在判斷為還沒有將多個初始信號格式的全部設為關注信號格式的情況下，返回到步驟S31，控制部72將多個初始信號格式中的還沒有設為關注信號格式的一個初始顯示格式決定為新的關注信號格式，將表示該關注信號格式的信號格式信息提供給虛擬攝影圖像生成部62，下面重復同樣的處理。
另外，在步驟S35中，在被判斷為多個初始信號格式的全部被設為關注信號格式的情況下，即關于多個初始信號格式各自和多個初始顯示格式各自之間的全部組合都通過步驟S33求出了最佳的抽頭系數的集合的情況下，進入到步驟S36，控制部72從初始信號格式和初始顯示格式、與關于該初始信號格式和初始顯示格式的組合的最佳抽頭系數的集合的組合中，臨時地決定(臨時決定)最佳的信號格式、顯示格式、以及抽頭系數的集合的組合。
即，在作為多個初始信號格式有I個信號格式、作為多個初始顯示格式有J個顯示格式的情況下，在步驟S33中，對I×J個初始信號格式和初始顯示格式之間的各個組合，求出臨時最佳抽頭系數的集合，其結果可得到I×J個初始信號格式、初始顯示格式、以及抽頭系數的集合的組合。在步驟S36中，從該I×J個初始信號格式、初始顯示格式、以及抽頭系數的集合的組合中，作為最佳的信號格式、顯示格式、以及抽頭系數的集合的組合，臨時決定顯示圖像信號的評價值為最大的組合。
在步驟S36中，臨時決定了最佳的信號格式、顯示格式、以及抽頭系數的集合的組合后，進入到步驟S37，關于當前最佳顯示格式和抽頭系數的集合的組合，進行臨時決定最佳信號格式的最佳信號格式決定處理，進入步驟S38。
在步驟S38中，關于當前的最佳信號格式和抽頭系數的集合的組合，進行臨時決定最佳顯示格式的最佳顯示格式決定處理，進入到步驟S39。
在步驟S39中，關于當前的最佳信號格式和顯示格式的組合，進行臨時決定最佳抽頭系數的集合的最佳抽頭系數集合決定處理，進入到步驟S40。
在步驟S40中，控制部72判斷由之前的步驟S37求出的當前最佳信號格式、由之前的步驟S38求出的當前最佳顯示格式、以及由之前的步驟S39求出的當前最佳抽頭系數的集合的組合，是否被最佳化。
即，在之前的步驟S39的最佳抽頭系數集合決定處理中，關于當前的臨時最佳信號格式和顯示格式的組合，作為最佳抽頭系數的集合臨時決定如后所述評價值算出部71所算出的評價值為最大的抽頭系數的集合，但是在步驟S40中，根據例如關于該最佳抽頭系數的集合的評價值是否為預先決定的最佳化判斷用的閾值以上(更大)，判斷當前的臨時最佳信號格式、當前的臨時最佳顯示格式、以及當前的臨時最佳抽頭系數的集合的組合是否被最佳化。
在步驟S40中，在判斷為當前的臨時最佳信號格式、當前的臨時最佳顯示格式、以及當前的臨時最佳抽頭系數的集合的組合沒有被最佳化的情況下，即在關于由之前的步驟S39臨時決定的最佳抽頭系數的集合的評價值不是最佳化的判斷用閾值以上的情況下，返回步驟S37，重復同樣的處理。
另外，在步驟S40中，在判斷為當前的臨時最佳信號格式、當前的臨時最佳顯示格式、以及當前的臨時最佳抽頭系數的集合的組合被最佳化的情況下，即在關于由之前的步驟S39臨時決定的最佳抽頭系數的集合的評價值是最佳化的判斷用閾值以上的情況下，控制部72將當前的臨時最佳信號格式、當前的臨時最佳顯示格式、以及當前的臨時最佳抽頭系數的集合的組合，最終地決定為(最終決定)最佳信號格式、最佳顯示格式、以及最佳抽頭系數的集合的組合，并結束學習處理。
在圖1的圖像處理系統(tǒng)中，照相機1輸出通過圖19的學習處理最終決定的最佳信號格式的攝影圖像信號(SD圖像信號)。另外，顯示裝置2的顯示控制部12(圖2)，以通過圖19的學習處理最終決定的最佳顯示格式，將HD圖像顯示在顯示器13上。而且，在顯示裝置2的圖像轉換部11的系數存儲器44中存儲有通過圖19的學習處理最終決定的最佳抽頭系數的集合，圖像轉換部11使用該抽頭系數的集合，進行圖像轉換處理。
其結果，能夠提高圖1的照相機1和顯示裝置2的組合即圖像處理系統(tǒng)的性能。即，根據作為圖1的照相機1和顯示裝置2的組合的圖像處理系統(tǒng)，姑且不論照相機1所輸出的攝影圖像信號、圖像轉換部11所輸出的HD圖像信號的S/N(Signal to Noise ratio信噪比)等，能夠將用戶感覺是高像質的圖像顯示在顯示器13上。
此外，在圖19中，在關于在最佳抽頭系數集合決定處理中求出的抽頭系數的集合的評價值是最佳化的判斷用閾值以上的情況下，判斷為信號格式、顯示格式、以及抽頭系數的集合的組合被最佳化，但是除此之外，可以例如在最佳信號格式決定處理、最佳顯示格式決定處理、以及最佳抽頭系數集合決定處理被重復了規(guī)定次數的情況下，判斷為信號格式、顯示格式、以及抽頭系數的集合的組合被最佳化。
下面，參照圖20的流程圖，詳細說明關于關注信號格式Ai和關注像素格式Bj的組合決定臨時最佳抽頭系數集合Fi，j的圖19的步驟S33的處理。
在步驟S51中，控制部72決定圖像轉換部73在圖像轉換處理中使用的每個類的抽頭系數的集合。即，例如將類的總數設為α、將各類的抽頭系數的數設為β(式(1)的N)、將抽頭系數的位數設為γ時，抽頭系數集合可能采用的情況數存在α×β×2γ個，控制部72將該α×β×2γ個抽頭系數集合中的在本次的圖20的處理中還沒有設為關注抽頭系數集合的一個集合，決定為關注抽頭系數集合。
并且，控制部72將關注抽頭系數集合提供給系數存儲器66進行存儲，從步驟S51進入到S52。
在步驟S52中，控制部72將表示關注信號格式Ai的信號格式信息提供給虛擬攝影圖像生成部62，由此在虛擬攝影圖像生成部62中生成作為關注信號格式Ai的虛擬攝影圖像信號的SD圖像信號。
即，虛擬攝影圖像生成部62，當從控制部72提供表示關注信號格式Ai的信號格式信息時，通過將存儲在學習數據存儲部61中的SHD圖像信號的像素數進行間除等，生成關注信號格式Ai的SD圖像信號，作為與照相機1(圖1)所輸出的攝影圖像信號相當的虛擬攝影圖像信號，提供給圖像轉換部73。
然后，從步驟S52進入到步驟S53，圖像轉換部73進行如下的圖像轉換處理將從虛擬攝影圖像生成部62提供的關注信號格式Ai的虛擬攝影圖像信號(SD圖像信號)設為第一圖像信號，將該第一圖像信號轉換為作為例如1個像素具有R、G、B成分全部的第二圖像信號的HD圖像信號的圖像轉換處理。
即，在步驟S53中，首先最初在步驟S531中，圖像轉換部73的抽頭抽出部63將從虛擬攝影圖像生成部62提供的虛擬攝影圖像信號設為第一圖像信號，并且將對該第一圖像信號進行變換而將要得到的高像質(高分辨率)的HD圖像信號設為第二圖像信號(作為該第二圖像信號的HD圖像信號是將來要求出的圖像信號，在現階段不存在，因此是虛擬的設想)，將構成第二圖像信號的像素依次設為關注像素。而且，抽頭抽出部63關于關注像素，從第一圖像信號抽出與圖4的抽頭抽出部41所抽出的預測抽頭相同的抽頭結構的預測抽頭，提供給預測部67。
進而，在步驟S531中，抽頭抽出部64關于關注像素，從第一圖像信號抽出與圖4的抽頭抽出部42所抽出的類抽頭相同的抽頭結構的類抽頭，提供給類分類部65。
然后，從步驟S531進入到步驟S532，類分類部65根據來自抽頭抽出部64的類抽頭，用與圖4的類分類部43相同的方法，將關注像素進行類分類，將與其結果所得到的類對應的類代碼提供給系數存儲器66，進入到步驟S533。
在步驟S533中，系數存儲器66獲取按照控制部72的控制存儲的關注抽頭系數集合中的、從類分類部65提供的類代碼所表示的類、即關注像素的類的抽頭系數，輸出到預測部67，并進入步驟S534。
在步驟S534中，預測部67獲取抽頭抽出部63所輸出的預測抽頭、以及系數存儲器66所輸出的抽頭系數，使用該預測抽頭和抽頭系數，進行與圖4的預測部45相同的預測運算、即例如進行式(1)的運算。由此預測部67求出關注像素的像素值(的預測值)、即構成HD圖像信號(第二圖像信號)的像素的像素值，提供給顯示控制部68。
在步驟S53的處理后進入到步驟S54，控制部72將表示關注顯示格式Bj的顯示格式信息提供給顯示控制部68。由此，顯示控制部68以來自控制部72的顯示格式信息所表示的關注顯示格式Bj，將與圖像轉換部73所輸出的HD圖像信號對應的HD圖像顯示在顯示器69上，從步驟S54進入步驟S55。
在步驟S55中，光檢測器70檢測出(進行光電轉換)作為顯示在顯示器69上的HD圖像(顯示圖像)的光，將作為與該光對應的電信號的與HD圖像信號相當的顯示圖像信號輸出到評價值算出部71，進入到步驟S56。
在步驟S56中，評價值算出部71評價來自光檢測器79的顯示圖像信號，進而評價顯示在顯示器69上的HD圖像。
即，評價值算出部71從學習數據存儲部61讀出與來自光檢測器70的顯示圖像信號對應的SHD圖像信號，通過比較顯示圖像信號和所對應的SHD圖像信號，算出作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69上的HD圖像的用戶所感覺到的像質的評價的評價值，并提供給控制部72。
在此，對存儲在學習數據存儲部61中的SHD圖像信號的全部幀進行步驟S52至S56的處理。而且，控制部72關于關注抽頭系數集合，求出對存儲在學習數據存儲部61中的SHD圖像信號的全部幀所得到的評價值的例如總和，并將該總和作為關于關注抽頭系數集合的最終評價值，進行臨時存儲。
然后，從步驟S56進入到步驟S57，控制部72判斷是否關于抽頭系數的集合可能采用的α×β×2γ個值的全部算出了評價值。
在步驟S57中，在判斷為還沒有關于抽頭系數的集合可能采用的α×β×2γ個值的全部算出評價值的情況下，即在α×β×2γ個抽頭系數集合中有在本次圖20的處理中還沒有設為關注抽頭系數集合的集合的情況下，返回到步驟S51，控制部72將α×β×2γ個抽頭系數集合中的在本次圖20的處理中還沒有設為關注抽頭系數集合的一個集合決定為新的關注抽頭系數集合，下面重復同樣的處理。
另外在步驟S57中，在判斷為關于抽頭系數的集合可能采用的α×β×2γ個值的全部算出了評價值的情況下，進入到步驟S58，控制部72將α×β×2γ個抽頭系數集合中的評價值最高的抽頭系數的集合，決定為關于關注信號格式Ai和關注顯示格式Bj的組合的最佳抽頭系數集合Fi，j并返回。
在此，如圖19中所述，在作為多個初始信號格式有I個信號格式、作為多個初始顯示格式有J個顯示格式的情況下，作為步驟S33的處理的圖20的處理進行I×J次，其結果可得到I×J個初始信號格式、初始顯示格式、以及抽頭系數的集合的組合。在圖19的步驟S36中，從該I×J個初始信號格式、初始顯示格式、以及抽頭系數的集合的組合中，作為最佳的信號格式、顯示格式、以及抽頭系數的集合的組合，臨時決定由圖20的處理得到的評價值為最大的組合。
此外，將如上所述的、關于抽頭系數的集合可能采用的α×β×2γ個值的全部算出評價值、求出該評價值為最高的抽頭系數的抽頭系數學習，稱為循環(huán)學習。
下面，參照圖21的流程圖，詳細說明圖19的步驟S37的最佳信號格式決定處理。
在步驟S71中，控制部將當前的臨時的(進行臨時決定的)最佳信號格式作為基準，決定最佳信號格式的多個候選。
即，例如假設拜耳格式是當前的臨時最佳信號格式時，控制部72例如如圖8所示，將拜耳格式稍微變形而得到的幾個(多個)信號格式，決定為最佳信號格式的多個候選。此外，關于為了得到最佳信號格式的多個候選應如何對當前的臨時最佳信號格式進行變形，例如預先決定了變形規(guī)則，控制部72按照該變形規(guī)則，對當前的臨時最佳信號格式進行變形，決定最佳信號格式的多個候選。
在步驟S71的處理后進入步驟S72，控制部72將最佳信號格式的多個候選中的還沒有設為關注信號格式的一個候選，決定為關注信號格式，將表示該關注信號格式的信號格式信息提供給虛擬攝影圖像生成部62，進入步驟S73。
在步驟S73中，虛擬攝影圖像生成部62通過將存儲在學習數據存儲部61中的SHD圖像信號的像素數進行間除等，生成來自控制部72的信號格式信息所表示的關注信號格式的SD圖像信號，作為與照相機1(圖1)所輸出的攝影圖像信號相當的虛擬攝影圖像信號提供給圖像轉換部73，進入到步驟S74。
在步驟S74中，控制部72將當前的臨時最佳抽頭系數的集合儲存到系數存儲器66中。并且在步驟S74中，圖像轉換部73與圖20的步驟S53同樣，將從虛擬攝影圖像生成部62提供的關注信號格式的虛擬攝影圖像信號(SD圖像信號)設為第一圖像信號，進行將該第一圖像信號通過與存儲在系數存儲器66中的當前的臨時最佳抽頭系數的集合之間的運算而轉換為作為第二圖像信號的HD圖像信號的圖像轉換處理，將其結果所得到的HD圖像信號提供給顯示控制部68。
在步驟S74的處理后，進入步驟S75，控制部72將表示當前臨時最佳顯示格式的顯示格式信息提供給顯示控制部68。由此，顯示控制部68以來自控制部72的顯示格式信息所表示的當前臨時最佳顯示格式，將與圖像轉換部73所輸出的HD圖像信號對應的HD圖像顯示在顯示器69上，從步驟S75進入步驟S76。
在步驟S76中，光檢測器70檢測出(進行光電轉換)作為顯示在顯示器69上的HD圖像(顯示圖像)的光，將作為與該光對應的電信號的與HD圖像信號相當的顯示圖像信號輸出到評價值算出部71，進入步驟S77。
在步驟S77中，評價值算出部71評價來自光檢測器70的顯示圖像信號、進而評價顯示在顯示器69上的HD圖像。
即，評價值算出部71從學習數據存儲部61讀出與來自光檢測器70的顯示圖像信號對應的SHD圖像信號，通過將顯示圖像信號和所對應的SHD圖像信號進行比較，算出作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69上的HD圖像的用戶所感覺到的像質的評價的評價值，并供給控制部72。
在此，對存儲在學習數據存儲部61中的SHD圖像信號的全部幀進行步驟S73至S77的處理。并且，控制部72關于關注信號格式，求出對存儲在學習數據存儲部61中的SHD圖像信號的全部幀所得到的評價值的例如總和，將該總和作為關于關注信號格式的最終評價值進行臨時存儲。
然后，從步驟S77進入到步驟S78，控制部72判斷關于最佳信號格式的多個候選的全部是否算出了評價值。
在步驟S78中，在判斷為還沒有關于最佳信號格式的多個候選的全部算出評價值的情況下，返回步驟S72，控制部72將最佳信號格式的多個候選中的還沒有設為關注信號格式的一個候選決定為新的關注信號格式，下面重復同樣的處理。
另外，在步驟S78中，在判斷為關于最佳信號格式的多個候選的全部算出了評價值的情況下，進入步驟S79，控制部72將最佳信號格式的多個候選中的評價值為最高的候選，臨時決定為新的對當前臨時最佳顯示格式和抽頭系數的集合的組合的最佳信號格式并返回。
下面，參照圖22的流程圖，詳細敘述圖19的步驟S38的最佳顯示格式決定處理。
在步驟S91中，控制部72以當前臨時(進行臨時決定)的最佳顯示格式為基準決定最佳顯示格式的多個候選。
即，例如假設條狀是當前的臨時最佳顯示格式時，控制部72例如如圖7所示，將條狀稍微變形所得到的幾個(多個)顯示格式決定為最佳顯示格式的多個候選。此外，關于為了得到最佳顯示格式的多個候選應如何對當前的臨時最佳顯示格式進行變形，例如預先決定了變形規(guī)則，控制部72按照該變形規(guī)則，將當前的臨時最佳顯示格式進行變形，決定最佳顯示格式的多個候選。
步驟S91的處理后進入到步驟S92，控制部72將表示當前臨時最佳信號格式的信號格式信息提供給虛擬攝影圖像生成部62。由此，虛擬攝影圖像生成部62通過將存儲在學習數據存儲部61中的SHD圖像信號的像素數進行間除等，生成來自控制部72的信號格式信號所表示的關注信號格式的SD圖像信號，作為與照相機1(圖1)所輸出的攝影圖像信號相當的虛擬攝影圖像信號，提供給圖像轉換部73，進入步驟S93。
在步驟S93中，圖像轉換部73與圖20的步驟S53同樣，將從虛擬攝影圖像生成部62提供的虛擬攝影圖像信號(SD圖像信號)設為第一圖像信號，進行將該第一圖像信號通過與存儲在系數存儲器66中的當前臨時最佳抽頭系數集合之間的運算而轉換為作為第二圖像信號的HD圖像信號的圖像轉換處理，將其結果所得到的HD圖像信號提供給顯示控制部68。
在步驟S93的處理后進入到步驟S94，控制部72將最佳顯示格式的多個候選中的還沒有設為關注顯示格式的一個候選，決定為關注顯示格式，將表示該關注顯示格式的顯示格式信息提供給顯示控制部68，進入步驟S95。
在步驟S95中，顯示控制部68以來自控制部72的顯示格式信息所表示的關注顯示格式，將與圖像轉換部73所輸出的HD圖像信號對應的HD圖像顯示在顯示器69上，進入步驟S96。
在步驟S96中，光檢測器70檢測出(進行光電轉換)作為顯示在顯示器69上的HD圖像(顯示圖像)的光，將作為與該光對應的電信號的與HD圖像信號相當的顯示圖像信號輸出到評價值算出部71，進入到步驟S97。
在步驟S97中，評價值算出部71評價來自光檢測器70的顯示圖像信號、進而評價顯示在顯示器69上的HD圖像。
即，評價值算出部71從學習數據存儲部61讀出與來自光檢測器70的顯示圖像信號對應的SHD圖像信號，通過將顯示圖像信號和所對應的SHD圖像信號進行比較，算出作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69上的HD圖像的用戶所感覺到的像質的評價的評價值，提供給控制部72。
在此，對存儲在學習數據存儲部61中的SHD圖像信號的全部幀，進行步驟S92和S93、以及S95至S97的處理。并且，控制部72關于關注顯示格式，求出對存儲在學習數據存儲部61中的SHD圖像信號的全部幀所得到的評價值的例如總和，將該總和作為關于關注顯示格式的最終評價值，進行臨時存儲。
然后，從步驟S97進入到步驟S98，控制部72判斷是否關于最佳顯示格式的多個候選的全部算出了評價值。
在步驟S98中，在判斷為還沒有對最佳顯示格式的多個候選的全部算出評價值的情況下，返回到步驟S94，控制部72將最佳顯示格式的多個候選中的還沒有設為關注顯示格式的一個候選決定為新的關注顯示格式，下面重復同樣的處理。
另外，在步驟S98中，在判斷為關于最佳顯示格式的多個候選的全部算出了評價值的情況下，進入步驟S99，控制部72將最佳顯示格式的多個候選中的評價值為最高的候選，決定為新的對當前臨時最佳信號格式和抽頭系數的集合的組合的最佳顯示格式并返回。
下面參照圖23的流程圖，詳細敘述圖19的步驟S39的最佳抽頭系數集合決定處理。
在步驟S111中，控制部72以當前臨時(進行臨時決定)的最佳抽頭系數集合為基準，決定最佳抽頭系數集合的多個候選。
即，控制部72例如選擇將當前臨時最佳抽頭系數集合的各抽頭系數設為分量的Z維向量(該情況下類總數和每1類的抽頭系數的數之積為Z)所表示的、以Z維向量空間的點為基準的規(guī)定范圍內的多個點，將分別表示該多個點的多個Z維向量(的分量)決定為最佳抽頭系數集合的多個候選。此外，關于為了得到最佳抽頭系數集合的多個候選而將與當前臨時最佳抽頭系數集合對應的Z維向量作為基準來選擇哪個范圍的哪個點，預先決定了規(guī)則，控制部72按照該規(guī)則，通過選擇將與當前臨時最佳抽頭系數集合對應的Z維向量作為基準的規(guī)定范圍內的多個點，決定最佳抽頭系數集合的多個候選。
在步驟S111的處理后進入到步驟S112，控制部72將表示當前臨時最佳信號格式的信號格式信息提供給虛擬攝影圖像生成部62。由此，虛擬攝影圖像生成部62通過將存儲在學習數據存儲部61中的SHD圖像信號的像素數進行間除等，生成來自控制部72的信號格式信號所表示的信號格式的SD圖像信號，作為與照相機1(圖1)所輸出的攝影圖像信號相當的虛擬攝影圖像信號，提供給圖像轉換部73，進入步驟S113。
在步驟S113中，控制部72將最佳抽頭系數集合的多個候選中的還沒有設為關注抽頭系數集合的一個集合決定為關注抽頭系數集合，通過控制系數存儲器66來存儲該關注抽頭系數集合，進入步驟S114。
在步驟S114中，圖像轉換部73與圖20的步驟S53同樣，將從虛擬攝影圖像生成部62提供的虛擬攝影圖像信號(SD圖像信號)設為第一圖像信號，進行將該第一圖像信號通過與存儲在系數存儲器66中的關注抽頭系數集合的運算而轉換為作為第二圖像信號的HD圖像信號的圖像轉換處理，將其結果所得到的HD圖像信號提供給顯示控制部68。
在步驟S114的處理后進入步驟S115，控制部72將表示當前臨時最佳顯示格式的顯示格式信息提供給顯示控制部68。由此，顯示控制部68以來自控制部72的顯示格式信息所表示的顯示格式，將與圖像轉換部73所輸出的HD圖像信號對應的HD圖像顯示在顯示器69上，進入步驟S116。
在步驟S116中，光檢測器70檢測出(進行光電轉換)作為顯示在顯示器69上的HD圖像(顯示圖像)的光，將作為與該光對應的電信號的與HD圖像信號相當的顯示圖像信號輸出到評價值算出部71，進入步驟S117。
在步驟S117中，評價值算出部71評價來自光檢測器70的顯示圖像信號、進而評價顯示在顯示器69上的HD圖像。
即，評價值算出部71從學習數據存儲部61讀出與來自光檢測器70的顯示圖像信號對應的SHD圖像信號，通過將顯示圖像信號和所對應的SHD圖像信號進行比較，算出作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69上的HD圖像的用戶所感覺到的像質的評價的評價值，提供給控制部72。
在此，對存儲在學習數據存儲部61中的SHD圖像信號的全部幀進行步驟S112、以及S114至S117的處理。并且，控制部72關于關注抽頭系數集合，求出對存儲在學習數據存儲部61中的SHD圖像信號的全部幀所得到的評價值的例如總和，將該總和作為關于關注抽頭系數集合的最終評價值，進行臨時存儲。
然后，從步驟S117進入步驟S118，控制部72判斷是否關于最佳抽頭系數集合的多個候選的全部算出了評價值。
在步驟S118中，在判斷為還沒有關于最佳抽頭系數集合的多個候選的全部算出評價值的情況下，返回步驟S113，控制部72將最佳抽頭系數集合的多個候選中的還沒有設為關注抽頭系數集合的一個候選決定為新的關注抽頭系數集合，下面重復同樣的處理。
另外，在步驟S118中，在判斷為關于最佳抽頭系數集合的多個候選的全部算出了評價值的情況下，進入步驟S113，控制部72將最佳抽頭系數集合的多個候選中的評價值為最高的候選，臨時決定為新的對當前臨時最佳信號格式和顯示格式的組合的最佳抽頭系數集合并返回。
如上所述，在圖9的學習裝置中，在圖19的步驟S37中進行如下的最佳信號格式決定處理(圖21)控制部72作為最佳信號格式的多個候選決定多個信號格式，關于該多個信號格式的每個，虛擬攝影圖像生成部62生成虛擬攝影圖像信號，圖像轉換部73將虛擬攝影圖像信號通過與由控制部72決定的抽頭系數(當前臨時最佳抽頭系數的集合)的運算轉換為HD圖像信號，顯示控制部68將與HD圖像信號對應的HD圖像，以由控制部72決定的某顯示格式(當前臨時最佳顯示格式)顯示在顯示器69上，光檢測器70檢測作為顯示圖像的光，輸出與該光對應的電信號即顯示圖像信號，評價值算出部71通過對顯示圖像信號進行評價，從多個信號格式中臨時決定顯示圖像信號的評價為最高的信號格式。
而且，在圖9的學習裝置中，在圖19的步驟S38中進行如下的最佳顯示格式決定處理(圖22)控制部72作為最佳顯示格式的多個候選決定多個顯示格式，虛擬攝影圖像生成部62生成由控制部72決定的信號格式(當前臨時最佳信號格式)的虛擬攝影圖像信號，圖像轉換部73將虛擬攝影圖像信號通過與由控制部72決定的抽頭系數(當前臨時最佳抽頭系數的集合)的運算而轉換為HD圖像信號，關于多個顯示格式的每個，顯示控制部68將與HD圖像信號對應的HD圖像顯示在顯示器69上，光檢測器70檢測作為顯示圖像的光，輸出與該光對應的電信號即顯示圖像信號，評價值算出部71通過對顯示圖像信號進行評價，從多個顯示格式中臨時決定顯示圖像信號的評價為最高的顯示格式。
另外，在圖9的學習裝置中，在圖19的步驟S39中進行如下的最佳抽頭系數集合決定處理(圖23)控制部72作為最佳抽頭系數集合的多個候選，決定多個抽頭系數(的集合)，虛擬攝影圖像生成部62生成由控制部72決定的信號格式(當前臨時最佳信號格式)的虛擬攝影圖像信號，關于多個抽頭系數的每個，圖像轉換部73將虛擬攝影圖像信號轉換為HD圖像信號，顯示控制部68將與HD圖像信號對應的HD圖像以由控制部72決定的顯示格式(當前臨時最佳顯示格式)顯示在顯示器69上，光檢測器70檢測作為顯示圖像的光，輸出與該光對應的電信號即顯示圖像信號，評價值算出部71通過對顯示圖像信號進行評價，從多個抽頭系數中臨時決定顯示圖像信號的評價為最高的抽頭系數。
并且，在圖9的學習裝置中，如圖19中所述，通過重復進行以上的最佳信號格式決定處理、最佳顯示格式決定處理、以及最佳抽頭系數集合決定處理，直到評價值(在此由之前的最佳抽頭系數集合決定處理得到的評價值)成為最佳化判斷用閾值以上為止，求出在進行使作為顯示在顯示器69上的HD圖像的顯示圖像更高像質的圖像轉換處理中使用的抽頭系數(的集合)、成為使用該抽頭系數進行的圖像轉換處理對象的攝影圖像信號的信號格式、以及顯示與通過以該信號格式的攝影圖像信號為對象的圖像轉換處理而得到的HD圖像信號對應的HD圖像的顯示格式。
因而，根據圖9的學習裝置，能夠求出用戶感覺顯示在顯示器69上的顯示圖像是更高像質的抽頭系數、信號格式、以及顯示格式，也就是說能夠求出進一步提高由圖1的照相機1和顯示裝置2構成的圖像處理系統(tǒng)性能的最佳(合適的)抽頭系數、信號格式、以及顯示格式。
并且，在圖1的照相機1中，輸出由圖9的學習裝置得到的最佳信號格式的攝影圖像信號，并且在圖1的顯示裝置2中，使用由圖9的學習裝置得到的最佳抽頭系數而進行圖像轉換處理，而且通過將由該圖像轉換處理得到的HD圖像以由圖9的學習裝置得到的最佳顯示格式進行顯示，從而由照相機1和顯示裝置2的組合構成圖像處理系統(tǒng)的情況下，作為該整個圖像處理系統(tǒng)，能夠發(fā)揮最大性能。
此外，在圖21的最佳信號格式決定處理中，在將當前臨時最佳信號格式設為基準而決定最佳信號格式的多個候選時，作為當前臨時最佳信號格式的變形方法，可采用如下方法當圖19的步驟S37至S39的重復次數小時，使變形很大，隨著其重復次數的增加，使得變形漸漸微小。對于顯示格式和抽頭系數的集合也同樣。
另外，在關于最佳信號格式的候選求出的評價值是不那么大的值、且?guī)缀醪辉黾拥那闆r下，能夠將當前臨時最佳信號格式較大地變形，從而決定最佳信號格式的多個候選。此時，能夠解除所謂局部最小的問題。對于顯示格式和抽頭系數的集合也同樣。
下面圖24示出了處理圖像的圖像處理系統(tǒng)的第二結構例。
圖24的圖像處理系統(tǒng)由照相機601、發(fā)送裝置602、接收裝置603和顯示裝置605構成。
照相機601拍攝物體(被攝體)，輸出通過該攝影得到的SD圖像信號即規(guī)定的信號格式的攝影圖像信號。發(fā)送裝置602將照相機601輸出的規(guī)定的信號格式的攝影圖像信號發(fā)送給接收裝置603。
接收裝置603接收從發(fā)送裝置602發(fā)送來的規(guī)定的信號格式的攝影圖像信號。另外接收裝置603具有格式轉換部604，接收裝置603接收的規(guī)定的信號格式的攝影圖像信號被提供到格式轉換部604中，并且表示該顯示裝置605顯示圖像的顯示格式的顯示格式信息被從顯示裝置605提供到格式轉換部604中。
格式轉換部604對應由接收裝置603接收的攝影圖像信號的規(guī)定的信號格式、和來自顯示裝置605的顯示格式信息所表示的顯示格式，把規(guī)定的信號格式(第1信號格式)的攝影圖像信號轉換為其他信號格式(第2信號格式)的攝影圖像信號(SD圖像信號)，提供給顯示裝置605。
顯示裝置605把從接收裝置603的格式轉換部604提供的其他信號格式的攝影圖像信號，轉換為比與該攝影圖像信號對應的圖像更高像質的HD圖像信號，顯示與該HD圖像信號對應的HD圖像。
下面，圖25表示了圖24中的格式轉換部604和顯示裝置605的結構示例。
格式轉換部604由信號獲取部611、信號轉換部612和顯示格式獲取部613構成。
信號獲取部611通過發(fā)送裝置602接收并獲取照相機601(圖24)輸出的規(guī)定的信號格式的攝影圖像信號，提供給信號轉換部612。另外，信號獲取部611檢測(識別)攝影圖像信號的信號格式，把表示該信號格式的信號格式信息提供給信號轉換部612。
信號轉換部612存儲格式對應關系信息，該格式對應關系信息表示在顯示裝置605的后述圖像轉換部621中成為圖像轉換處理的對象的SD圖像信號的信號格式、和表示與通過圖像轉換處理得到的HD圖像信號對應的HD圖像的顯示格式之間的對應關系。在此，格式對應關系信息是通過預先進行的學習求得的，表示SD圖像信號的信號格式和顯示格式之間的對應關系，該顯示格式是在顯示了與通過以該信號格式的SD圖像信號為對象的圖像轉換處理而得到的HD圖像信號對應的HD圖像的情況下，用戶感覺為最高像質的顯示格式。
信號轉換部612識別格式對應關系信息中與從顯示格式獲取部613提供的顯示格式信息所表示的顯示裝置605的顯示格式對應的信號格式(以下適當地稱為對應信號格式)，把來自信號獲取部611的規(guī)定的信號格式的攝影圖像信號轉換為作為其他信號格式的對應信號格式的攝影圖像信號，提供給顯示裝置605。
顯示格式獲取部613從顯示控制部622獲取(接收)顯示格式信息提供給信號轉換部612，該顯示格式信息表示顯示裝置605的顯示控制部622使HD圖像顯示在顯示器623中的顯示格式。
此外，內置有格式轉換部604的接收裝置603和顯示裝置605通過有線或無線相連接，但在例如每當建立了接收裝置603和顯示裝置605之間的連接時，顯示格式獲取部613從顯示裝置605獲取顯示格式信息，提供給信號轉換部612。
顯示裝置605由圖像轉換部621、顯示控制部622和顯示器623構成。
作為其他信號格式的對應信號格式的攝影圖像信號(SD圖像信號)從格式轉換部612提供給圖像轉換部621。圖像轉換部621存儲通過預先進行的學習得到的抽頭系數的集合，通過與該抽頭系數的運算，把對應信號格式的攝影圖像信號即SD圖像信號轉換為HD圖像信號，提供給顯示控制部622。
顯示控制部622進行顯示控制，使與從圖像轉換部621提供的HD圖像信號對應的HD圖像以下述顯示格式顯示在顯示器623中，所述顯示格式是例如通過使用比HD圖像更高像質的SHD圖像進行的學習而決定的顯示格式、已有的顯示格式及其他預先決定了的顯示格式。此外，顯示控制部622具有向外部輸出顯示格式信息的功能，該顯示格式信息表示顯示HD圖像的顯示格式。
顯示器623是例如利用CRT、LCD面板等構成的顯示單元，按照顯示控制部622的控制顯示圖像。
然后，構成格式轉換部604的信號轉換部612按照上面所述，把來自信號獲取部611的規(guī)定的信號格式的SD圖像信號(攝影圖像信號)，轉換為作為其他信號格式的對應信號格式的SD圖像信號。該轉換可以通過像素(包括子像素)的間除和插值來進行，也可以通過把第1圖像信號轉換為第2圖像信號的圖像轉換處理來進行。
因此，圖26表示把規(guī)定的信號格式的SD圖像信號設為第1圖像信號、并且把作為其他信號格式的對應信號格式的SD圖像信號設為第2圖像信號，而把規(guī)定的信號格式的SD圖像信號轉換為對應信號格式的SD圖像信號的信號轉換部612的結構示例。
在圖26中，信號轉換部612由抽頭抽出部631和632、類分類部633、系數存儲器634、預測部635和系數選擇部636構成。
來自信號獲取部611的規(guī)定的信號格式的SD圖像信號作為第1圖像信號提供給信號轉換部612。并且，作為第1圖像信號的SD圖像信號被提供給抽頭抽出部631和632。
抽頭抽出部631把構成將通過轉換第1圖像信號得到的、作為第2圖像信號的對應信號格式的SD圖像信號(該作為第2圖像信號的SD圖像信號是將來將要求出的圖像信號，在當前階段不存在，所以進行假想設定)的像素，依次作為關注像素，進而從第1圖像信號抽出在預測該關注像素的像素值時使用的多個像素的像素值即預測抽頭。
具體地講，抽頭抽出部631將相對于對應于關注像素的、第1圖像信號的圖像的位置(例如，拍攝有與拍攝在關注像素位置的被攝體相同的被攝體的一部分的第1圖像信號在圖像上的位置)，在空間上或時間上具有接近的位置關系的多個像素(例如最接近對應于關注像素的、第1圖像信號在圖像上的位置的像素、和在空間上與該像素相鄰的像素等)的像素值，作為預測抽頭抽出。
抽頭抽出部632從第1圖像信號，抽出在進行把關注像素分類為幾個(多個)類中任一類的類分類時使用的多個像素的像素值即類抽頭。
由抽頭抽出部631獲取的預測抽頭提供給預測部635，通過抽頭抽出部632獲取的類抽頭提供給類分類部633。
類分類部633根據來自抽頭抽出部632的類抽頭，對關注像素進行類分類，把其結果得到的關注像素的類提供給系數存儲器634。
此處，作為在類分類部633進行類分類的方法，例如可以采用在圖4的類分類部43中說明了的方法。
系數存儲器634把多個(多種)信號格式中任意兩個分別作為第1信號格式和第2信號格式，對于第1信號格式和第2信號格式的多個組合，分別存儲用于把第1信號格式的SD圖像信號轉換為第2信號格式的SD圖像信號的圖像轉換處理的抽頭系數的集合(セツト)(以下適當地稱為第1/第2轉換抽頭系數的集合)。
多個(多種)第1/第2轉換抽頭系數的集合是通過后述的學習而預先求出的每個類的抽頭系數，系數存儲器634按照系數選擇部636的控制，從多個第1/第2轉換抽頭系數的集合中，選擇把從信號獲取部611(圖25)提供的信號格式信息所表示的信號格式作為第1信號格式、并且把對應信號格式作為第2信號格式的第1/第2轉換抽頭系數的集合，作為有效的抽頭系數的集合，讀出并獲取該有效的抽頭系數的集合中從類分類部633提供的類的抽頭系數，輸出給預測部635。
預測部635獲取抽頭抽出部631輸出的預測抽頭、和系數存儲器634輸出的抽頭系數，使用該預測抽頭和抽頭系數，進行求出關注像素的真值的預測值的作為規(guī)定的預測運算的算式(1)的運算。由此，預測部635求出關注像素的像素值(的預測值)并輸出，即，在此求出構成作為第2圖像信號的對應信號格式的SD圖像信號的像素的像素值并輸出。
從信號獲取部611(圖25)向系數選擇部636提供表示照相機601所輸出的SD圖像信號的信號格式的信號格式信息(以下適當地稱為照相機信號格式信息)，并且從顯示格式獲取部613(圖25)向系數選擇部636提供表示顯示裝置605的顯示格式的顯示格式信息。系數選擇部636存儲有格式對應關系信息，在格式對應關系信息中識別與來自顯示格式獲取部613的顯示格式信息所表示的顯示裝置605的顯示格式對應的對應信號格式。并且，系數選擇部636控制系數存儲器634，從存儲在系數存儲器634中的多個第1/第2轉換抽頭系數的集合中，選擇把從信號獲取部611(圖25)提供的照相機信號格式信息所表示的信號格式設為第1信號格式、并把對應信號格式設為第2信號格式的第1/第2轉換抽頭系數的集合，作為有效的抽頭系數的集合。
下面，參照圖27的流程圖，說明圖26中的信號轉換部612進行的圖像轉換處理。
在信號轉換部612中，在步驟S601，系數選擇部636控制系數存儲器634，以在所存儲的格式對應關系信息中、識別與從顯示格式信息獲取部613(圖25)提供的顯示格式信息所表示的顯示裝置605的顯示格式對應的對應信號格式，選擇把來自信號獲取部611的照相機信號格式信息所表示的信號格式設為第1信號格式、并把對應信號格式設為第2信號格式的第1/第2轉換抽頭系數的集合，作為有效的抽頭系數的集合。由此，系數存儲器634按照系數選擇部636的控制，從多個第1/第2轉換抽頭系數的集合中，選擇把照相機信號格式信息所表示的信號格式設為第1信號格式、并把對應信號格式設為第2信號格式的第1/第2轉換抽頭系數的集合，作為有效的抽頭系數的集合，轉入步驟S602。
在步驟S602，抽頭抽出部631把從信號獲取部611(圖25)提供的SD圖像信號設為第1圖像信號，并且把將該第1圖像信號轉換為對應信號格式的SD圖像信號后的、該對應信號格式的SD圖像信號設為第2圖像信號，依次把構成作為第2圖像信號的對應信號格式的SD圖像信號的各個像素設為關注像素。并且，抽頭抽出部631和632分別從作為第1圖像信號的SD圖像信號中，抽出成為有關關注像素的預測抽頭和類抽頭的像素的像素值。預測抽頭被從抽頭抽出部631提供給預測部635，類抽頭被從抽頭抽出部632提供給類分類部633。
類分類部633從抽頭抽出部632接收有關關注像素的類抽頭，在步驟S603，根據該類抽頭對關注像素進行類分類。而且，類分類部633把該類分類的結果得到的關注像素的類輸出給系數存儲器634，轉入步驟S604。
在步驟S604中，系數存儲器634讀出并輸出有效的抽頭系數的集合中從類分類部633提供的類的抽頭系數，轉入步驟S605。在預測部635中可獲取系數存儲器634輸出的抽頭系數。
在步驟S605中，預測部635使用抽頭抽出部631輸出的預測抽頭和從系數存儲器634獲取的抽頭系數，進行作為規(guī)定的預測運算的算式(1)的運算，由此求出關注像素的像素值即第2圖像信號的像素的像素值。預測部635按照上面那樣，例如每當對一幀求出第2圖像信號的像素的像素值時，把該第2圖像信號即對應信號格式的SD圖像信號輸出給顯示裝置605(的圖像轉換部621)(圖25)。
下面，參照圖28的流程圖，說明圖25中的格式轉換部604的處理。
在格式轉換部604中，在步驟S611中，顯示格式獲取部613從顯示裝置605的顯示控制部622獲取(接收)顯示格式信息，提供給信號轉換部612，轉入步驟S612。
在步驟S612中，信號獲取部611獲取(接收)從發(fā)送裝置602(圖24)發(fā)送來的規(guī)定的信號格式的SD圖像信號，檢測該SD圖像信號的信號格式。并且，信號獲取部611把表示所檢測出的信號格式的照相機信號格式信息和該信號格式的SD圖像信號，提供給信號轉換部612，從步驟S612轉入步驟S613。
在步驟S613中，信號轉換部612例如按照圖27中說明的那樣，根據格式對應關系信息，使用第1/第2轉換抽頭系數的集合，把來自信號獲取部611的規(guī)定的信號格式(照相機信號格式信息所表示的信號格式)的SD圖像信號，轉換為對應信號格式的SD圖像信號提供給顯示裝置605，所述第1/第2轉換抽頭系數的集合把來自信號獲取部611的照相機信號格式信息所表示的信號格式設為第1信號格式，并把與來自顯示格式獲取部613的顯示格式信息所表示的顯示格式對應的對應信號格式設為第2信號格式。
下面，圖29表示進行學習處理的學習裝置的結構示例，該學習處理用于求出與存儲在圖26的系數存儲器634中的多個信號格式分別相關的抽頭系數的集合。
圖29中的學習裝置由學習數據存儲部641、學習對數據生成部642、控制部643、抽頭抽出部644和645、類分類部646、正規(guī)方程式生成部647、及抽頭系數算出部648構成，通過以使用上述正規(guī)方程式的學習方法、也就是對每個類建立算式(8)的正規(guī)方程式并求解的學習方法進行學習，求出每個類的抽頭系數。
學習數據存儲部641存儲例如SHD圖像信號(SHD圖像)、HD圖像信號或SD圖像信號，作為分別與在多個信號格式相關的抽頭系數的學習中使用的學習數據。
學習對數據生成部642按照控制部643的控制，從存儲在學習數據存儲部641中的學習數據生成作為學生信號的第1信號格式的SD圖像信號、和把該SD圖像信號的信號格式設為第2信號格式的、作為教師信號的第2信號格式的SD圖像信號，把這種作為學生信號的SD圖像信號和作為教師信號的SD圖像信號的集合作為學習對數據，提供給抽頭抽出部644和645及正規(guī)方程式生成部647。
此處，教師信號是指針對某個輸入信號的理想的輸出信號。另外，學生信號是指為了獲得教師信號而得到的輸入信號。
控制部643把表示作為學生信號的SD圖像信號的信號格式(第1信號格式)和作為教師信號的SD圖像信號的信號格式(第2信號格式)的信號格式指示信息，提供給學習對數據生成部642，由此對學習對數據生成部642控制(指示)作為教師信號和學生信號的SD圖像信號各自的信號格式。
另外，從抽頭系數算出部648向控制部643提供第1/第2轉換抽頭系數的集合，該第1/第2轉換抽頭系數的集合是把提供給學習對數據生成部642的信號格式信息所表示的第1信號格式和第2信號格式各自的SD圖像信號的集合用作學習對數據而求出的?？刂撇?43與提供給學習對數據生成部642的信號格式信息相對應地，存儲來自抽頭系數算出部648的第1/第2轉換抽頭系數的集合。
抽頭抽出部644依次把從學習對數據生成部642提供的學習對數據中作為教師信號的第2信號格式的SD圖像信號的像素作為關注像素，對于該關注像素，從學習對數據中作為學生信號的第1信號格式的SD圖像信號，抽出設為預測抽頭的像素的像素值，把與在構成圖26的信號轉換部612的抽頭抽出部631獲得的預測抽頭的抽頭結構相同的預測抽頭，提供給正規(guī)方程式生成部647。
抽頭抽出部645對于關注像素，從由學習對數據生成部642提供的第1信號格式的SD圖像信號，抽出設為類抽頭的像素的像素值，把與在構成圖26的信號轉換部612的抽頭抽出部632獲得的類抽頭的類抽頭結構相同的類抽頭，提供給類分類部646。
類分類部646根據從抽頭抽出部645提供的類抽頭，與構成圖26的信號轉換部612的類分類部633相同，對關注像素進行類分類，把其結果得到的關注像素的類提供給正規(guī)方程式生成部647。
正規(guī)方程式生成部647對從類分類部646提供的每個類進行累加，該累加以從學習對數據生成部642提供的學習對數據中作為教師信號的第2信號格式的SD圖像信號中的關注像素(的像素值)yk、和構成從抽頭抽出部631提供的關注像素的預測抽頭的像素(的像素值)xn，k為對象。
即，正規(guī)方程式生成部647對從類分類部646提供的每個類，使用構成從抽頭抽出部644提供的與關注像素相關的預測抽頭的第1信號格式的SD圖像信號的像素(以下適當地稱為第1像素)xn，k，進行算式(8)中左邊矩陣的各個第1像素的相乘(xn，kxn’，k)和相當于求和(∑)的運算。
而且，正規(guī)方程式生成部647還對從類分類部646提供的每個類，使用第1像素xn，k和第2信號格式的SD圖像信號的像素(關注像素)yk，進行算式(8)中右邊向量中的第1像素xn，k和關注像素yk的相乘(xn，kyk)以及相當于求和(∑)的運算。
即，正規(guī)方程式生成部647把對前次成為關注像素的第2信號格式的SD圖像信號的像素(以下適當地稱為第2像素)求出的、算式(8)中左邊矩陣的成分(∑xn，kxn’，k)和右邊向量中的成分(∑xn，kyk)，存儲在其內置的存儲器(未圖示)中。
并且，正規(guī)方程式生成部647將存儲在存儲器中的矩陣的成分(∑xn，kxn’，k)，與使用構成與成為新的關注像素的第2像素相關的預測抽頭的第1像素xn，k+1計算的、對應的成分xn，k+1xn’，k+1相加(進行利用算式(8)中左邊矩陣內的求和表示的相加)，并且，將存儲在存儲器中的向量的成分(∑xn，kyk)，與關于成為新的關注像素的第2像素使用該第2像素yk+1和第1像素xn，k+1計算的對應的成分xn，k+1yk+1相加(進行利用算式(8)中右邊向量內的求和表示的相加)。
正規(guī)方程式生成部647把從學習對數據生成部642提供的學習對數據中作為教師信號的第2信號格式的SD圖像信號的所有像素作為關注像素，進行上述的累加，由此對于各個類列出算式(8)所示的正規(guī)方程式，把該正規(guī)方程式提供給抽頭系數算出部648。
抽頭系數算出部648通過求解從正規(guī)方程式生成部647提供的有關各個類的正規(guī)方程式，對各個類求出最佳的抽頭系數(使算式(4)的平方誤差的總和E為最小的抽頭系數)wn的集合，作為第1/第2轉換抽頭系數的集合提供給控制部643。
下面，參照圖30的流程圖，說明圖29中的學習裝置進行的求出第1/第2轉換抽頭系數的集合的學習處理。
在圖29的學習裝置中，在步驟S621中，控制部643從預先決定的多個信號格式中，把尚未成為關注第1信號格式和關注第2信號格式的組合的一個信號格式與另一個信號格式的組合中的一個組合的一個信號格式，決定為關注第1信號格式，并且把另一個信號格式決定為關注第2信號格式，把表示該關注第1信號格式和關注第2信號格式的信號格式指示信息提供給學習對數據生成部642，轉入步驟S622。
在步驟S622中，學習對數據生成部642按照來自控制部643的信號格式指示信息，從存儲在學習數據存儲部641中的學習數據，生成作為學生信號的、信號格式指示信息所表示的關注第1信號格式的SD圖像信號、以及作為教師信號的、信號格式信息所表示的關注第2信號格式的SD圖像信號，把這種作為學生信號的SD圖像信號和作為教師信號的SD圖像信號的集合，作為學習對數據，提供給抽頭抽出部644和645及正規(guī)方程式生成部647，轉入步驟S623。
在步驟S623中，抽頭抽出部644依次把從學習對數據生成部642提供的學習對數據中作為教師信號的關注第2信號格式的SD圖像信號的像素作為關注像素，對于該關注像素，從學習對數據中作為學生信號的關注第1信號格式的SD圖像信號抽出成為預測抽頭的像素的像素值，提供給正規(guī)方程式生成部647。
另外，抽頭抽出部645對于關注像素，從學習對數據中作為學生信號的關注第1信號格式的SD圖像信號，抽出成為類抽頭的像素的像素值，提供給類分類部646。
在步驟S624中，類分類部646根據來自抽頭抽出部645的類抽頭，對關注像素進行類分類，把其結果得到的關注像素的類提供給正規(guī)方程式生成部647，轉入步驟S625。
在步驟S625中，正規(guī)方程式生成部647把來自學習對數據生成部642的學習對數據中的關注像素(的像素值)、和構成對從抽頭抽出部644提供的關注像素得到的預測抽頭的關注第1信號格式的SD圖像信號的像素(的像素值)作為對象，按照上面所述進行對從類分類部646提供的類建立的算式(8)的累加。
并且，正規(guī)方程式生成部647把從學習對數據生成部642提供的學習對數據中作為教師信號的關注第2信號格式的SD圖像信號的所有像素作為關注像素，進行步驟S625的累加時，把通過該累加得到的各個類的正規(guī)方程式(每個類的算式(8)中的左邊矩陣、右邊的向量)，提供給抽頭系數算出部648，從步驟S625轉入步驟S626。
在步驟S626中，抽頭系數算出部648通過求解從正規(guī)方程式生成部647提供的各個類的正規(guī)方程式(利用每個類的算式(8)中的左邊矩陣和右邊向量構成的每個類的正規(guī)方程式)，求出各個類的抽頭系數的集合，把該抽頭系數的集合作為第1/第2轉換抽頭系數的集合提供給控制部643，該第1/第2轉換抽頭系數的集合把關注第1信號格式設為第1信號格式、把關注第2信號格式設為第2信號格式。
控制部643把來自抽頭系數算出部648的第1/第2轉換抽頭系數的集合與關注第1信號格式和關注第2信號格式相對應進行存儲，從步驟S626轉入步驟S627。
在步驟S627中，控制部643判斷預先決定的多個信號格式中有無尚未成為關注第1信號格式和關注第2信號格式的組合的一個信號格式和另一個信號格式的組合。
在步驟S627，在判斷為預先決定的多個信號格式中有未成為關注第1信號格式和關注第2信號格式的組合的一個信號格式和另一個信號格式的組合時，返回步驟S621，控制部643從預先決定的多個信號格式中，把尚未成為關注第1信號格式和關注第2信號格式的組合的一個信號格式和另一個信號格式的組合中的一個組合的一個信號格式，決定為新的關注第1信號格式，并且把另一個信號格式決定為新的關注第2信號格式，以后重復相同的處理。
另外，在步驟S627中，在判斷為預先決定的多個信號格式中沒有未成為關注第1信號格式和關注第2信號格式的組合的一個信號格式和另一個信號格式的組合時，即，在對于從預先決定的多個信號格式中作為關注第1信號格式和關注第2信號格式的組合而獲得的所有情況，求出了第1/第2轉換抽頭系數的集合，控制部643在存儲了與第1信號格式和第2信號格式的各種組合相對應的第1/第2轉換抽頭系數的集合時，結束學習處理。
在以上的學習處理中，存儲在控制部643中的與第1信號格式和第2信號格式的各種組合相對應的第1/第2轉換抽頭系數的集合，被存儲在構成圖26中的信號轉換部612的系數存儲器634中。
并且，在具有該信號轉換部612的格式轉換部604(圖25)中，在信號獲取部611獲取照相機601輸出的SD圖像信號，并且在顯示格式獲取部613獲取顯示裝置605的顯示格式。另外，在格式轉換部604中，信號轉換部612根據照相機601輸出的SD圖像信號的信號格式和顯示裝置605的顯示格式，把來自照相機601的SD圖像信號轉換為在格式對應關系信息中與顯示裝置605的顯示格式相對應的信號格式(對應信號格式)的圖像信號。
如后面敘述的那樣，在格式對應關系信息中與顯示格式相對應的信號格式，是在以該信號格式所對應的顯示格式、顯示與通過以該信號格式的SD圖像信號為對象進行圖像轉換處理得到的HD圖像信號所對應的HD圖像時，用戶感覺為最高像質的格式。因而，通過圖像轉換部621中的圖像轉換處理把這種信號格式的SD圖像信號轉換為HD圖像信號，通過顯示控制部622把與該HD圖像信號對應的HD圖像以顯示裝置605的顯示格式顯示在顯示器623上，由此對于用戶而言可以顯示合適的HD圖像(用戶感覺為高像質的圖像)。
下面，圖31表示圖25中的圖像轉換部621的結構示例。
此外，關于圖中與圖4中的圖像轉換部11對應的部分賦予相同符號，所以以下適當省略其說明。即，圖像轉換部621與圖4中的圖像轉換部11相同，進行把第1圖像信號轉換為第2圖像信號的圖像轉換處理，具備抽頭抽出部41和42、類分類部43及預測部45，這一點與圖4中的圖像轉換部11相同。但是，與圖4中的圖像轉換部11的不同之處是，圖像轉換部621設置系數存儲器651來取代系數存儲器44。
系數存儲器651存儲通過后述圖34中的學習裝置進行的學習而預先求出的每個類的抽頭系數的集合，讀出并獲取該抽頭系數的集合中從類分類部43提供的關注像素的類的抽頭系數，提供給預測部45。
此處，在顯示裝置605中按照上面所述，在圖像轉換部621中把從格式轉換部604(的信號轉換部612)提供的對應信號格式的SD圖像信號轉換為HD圖像信號，在顯示控制部622中將與該HD圖像信號對應的HD圖像以預先決定的顯示裝置605的顯示格式(以下適當地稱為既定顯示格式)顯示在顯示器623上，存儲在系數存儲器651中的抽頭系數的集合用于進行把對應信號格式的SD圖像信號轉換為HD圖像信號的圖像轉換處理，以使用戶感覺到在顯示器623上以既定顯示格式顯示的HD圖像是高像質。
下面，參照圖32的流程圖，說明圖31中的圖像轉換部621所進行的圖像轉換處理。
從格式轉換部604(的信號轉換部612)(圖25)向圖像轉換部621提供對應信號格式的SD圖像信號，該對應信號格式的SD圖像信號被提供給抽頭抽出部41和42。
在步驟S631中，抽頭抽出部41把對應信號格式的SD圖像信號設為第1圖像信號，并且把將該SD圖像信號高像質化后的HD圖像信號設為第2圖像信號，依次把構成作為該第2圖像信號的HD圖像信號的各個像素設為關注像素。并且，抽頭抽出部41和42分別從作為第1圖像信號的對應信號格式的SD圖像信號，抽出作為與關注像素相關的預測抽頭和類抽頭的像素的像素值。預測抽頭從抽頭抽出部41提供給預測部45，類抽頭從抽頭抽出部42提供給類分類部43。
類分類部43從抽頭抽出部42接收與關注像素相關的類抽頭，在步驟S632中，根據該類抽頭對關注像素進行類分類。另外，類分類部43把該類分類的結果得到的關注像素的類輸出給系數存儲器651，轉入步驟S633。
在步驟S633中，系數存儲器651讀出并輸出從類分類部43提供的關注像素的類的抽頭系數，轉入步驟S634。在預測部45中可獲取系數存儲器651輸出的抽頭系數。
在步驟S634中，預測部45使用抽頭抽出部41輸出的預測抽頭和從系數存儲器651獲取的抽頭系數，進行作為規(guī)定的預測運算的算式(1)的運算，由此求出關注像素的像素值即第2圖像信號的像素的像素值。預測部45按照上面所述，例如每當求出一幀作為第2圖像信號的HD圖像信號的像素的像素值時，把該第2圖像信號即HD圖像信號輸出給顯示控制部622(圖25)。
下面，參照圖33的流程圖，說明圖25中的顯示裝置605的處理。
在顯示裝置605中，來自格式轉換部604的對應信號格式的SD圖像信號被提供給圖像轉換部621。在步驟S641中，圖像轉換部621按照在圖32中說明的那樣，進行把對應信號格式的SD圖像信號轉換為HD圖像信號的圖像轉換處理，把其結果得到的HD圖像信號提供給顯示控制部622。
在步驟S642中，顯示控制部622使來自圖像轉換部621的HD圖像信號以既定顯示格式顯示在顯示器623中。
下面，圖34表示學習裝置的結構示例，該學習裝置進行求出存儲在圖像轉換部621(圖31)的系數存儲器651中的抽頭系數的集合的學習。
此外，關于圖中與圖9所示情況對應的部分賦予相同符號，所以以下適當省略其說明。即，圖34中的學習裝置設置控制部661來取代控制部72，其他結構與圖9中的學習裝置相同。
在控制部661中例如設定有已有的多個信號格式，作為多個初始信號格式，控制部661根據來自評價值算出部71的評價值，從多個初始信號格式等中，決定作為使虛擬攝影圖像生成部62生成的虛擬攝影圖像信號的SD圖像信號的信號格式，把表示該信號格式的信號格式信息提供給虛擬攝影圖像生成部62。
另外，在控制部661中，作為多個初始信號格式，例如設定了包含可以連接格式轉換部604(具有格式轉換部604的接收裝置603(圖24))的顯示裝置605的顯示裝置的顯示格式的一部分或全部，控制部661依次把該多個初始信號格式作為關注顯示格式，把表示該關注顯示格式的顯示格式信息提供給顯示控制部68。
而且，控制部661根據來自評價值算出部71的評價值，決定圖像轉換部73在圖像轉換處理中使用的每個類的抽頭系數，通過控制系數存儲器66，把該抽頭系數存儲在系數存儲器66中。
下面，參照圖35的流程圖，說明圖34中的學習裝置進行的學習抽頭系數(的集合)的學習處理。
在步驟S661中，例如與圖19中的步驟S31相同，控制部661從多個初始信號格式中決定設為關注信號格式的初始信號格式Ai，把表示該初始信號格式Ai的信號格式信息提供給虛擬攝影圖像生成部62，轉入步驟S662。
在步驟S662中，例如與圖19中的步驟S32相同，控制部661從多個初始顯示格式中決定設為關注顯示格式的初始顯示格式Bj，把表示該初始顯示格式Bj的顯示格式信息提供給顯示控制部68，轉入步驟S663。
在步驟S663中，在學習裝置(圖34)中，對于關注信號格式Ai和關注顯示格式Bj的組合，決定臨時的最佳抽頭系數的集合(在算式(1)的運算中使用的各個類的抽頭系數(x1、x2、...、xN)的集合)Fi，j。
即，在步驟S663中，與在圖20的流程圖中說明的情況相同，在把關注信號格式Ai的SD圖像信號作為第1圖像信號，把通過在圖像轉換部73使用抽頭系數進行圖像轉換處理而得到的、與由具有作為像素值的R、G、B各成分的像素構成的作為第2圖像信號的HD圖像信號對應的HD圖像以關注顯示格式Bj顯示在顯示器69上的情況下，通過利用光檢測器70檢測作為顯示在該顯示器69上的HD圖像的光而得到的顯示圖像信號的評價值為最高的抽頭系數的集合，被作為關于關注信號格式Ai和關注顯示格式Bj的組合的、臨時的最佳抽頭系數的集合Fi，j而求出。
并且，從步驟S663轉入步驟S664，控制部661判斷是否已把多個初始顯示格式全部作為關注顯示格式在步驟S663求出了抽頭系數的集合。
在步驟S664中，在判斷出多個初始顯示格式尚未全部成為關注顯示格式的情況下，返回步驟S662，控制部661對關注信號格式Ai，把多個初始顯示格式中尚未成為關注顯示格式的初始顯示格式中的一個決定為新的關注顯示格式，把表示該關注顯示格式的顯示格式信息提供給顯示控制部68，以后重復相同的處理。
并且，在步驟S664中，在判斷為多個初始顯示格式已全部成為關注顯示格式的情況下，轉入步驟S665，控制部661判斷是否多個初始信號格式已全部成為關注信號格式在步驟S663求出抽頭系數的集合。
在步驟S665中，在判斷出多個初始信號格式尚未全部成為關注信號格式的情況下，返回步驟S661，控制部661把多個初始信號格式中尚未成為關注信號格式的初始信號格式中的一個決定為新的關注信號格式，把表示該關注信號格式的信號格式信息提供給虛擬攝影圖像生成部62，以后重復相同的處理。
另外，在步驟S665中，在判斷出為多個初始信號格式已全部成為關注信號格式的情況下，即，在對于多個初始信號格式中的每個和多個初始顯示格式中的每個的所有組合，在步驟S663求出了最佳抽頭系數的集合的情況下，轉入步驟S666，控制部661對于各個初始顯示格式，從初始信號格式和初始顯示格式、以及與該初始信號格式和初始顯示格式的組合相關的最佳抽頭系數的集合的組合(也就是說，初始信號格式、初始顯示格式及抽頭系數的集合的組合)中，臨時地決定(臨時決定)臨時的最佳初始信號格式和抽頭系數的集合。
即，在作為多個初始信號格式有I個信號格式，作為多個初始顯示格式有J個顯示格式的情況下，在步驟S663中，對于I×J個的初始信號格式和初始顯示格式的各種組合，分別求出臨時的最佳抽頭系數的集合，其結果，得到I×J個初始信號格式、初始顯示格式、和抽頭系數的集合的組合。在步驟S666中，從該I×J個初始信號格式、初始顯示格式、和抽頭系數的集合的組合中，對于J個初始顯示格式中的每一個，顯示圖像信號的評價值(在步驟S663得到的評價值)為最大的初始信號格式和抽頭系數的集合的組合，被決定為臨時的最佳初始信號格式和抽頭系數的集合。
在步驟S666中，對于各個初始顯示格式，在決定了臨時的最佳信號格式和抽頭系數的集合后，轉入步驟S667，控制部661再次將多個初始顯示格式中尚未成為關注顯示格式的初始顯示格式中的一個決定為關注顯示格式，轉入步驟S668。
在步驟S668中，對于關注顯示格式和與該關注顯示格式相關的當前的臨時最佳抽頭系數的集合的組合，進行臨時決定最佳信號格式的最佳信號格式決定處理，轉入步驟S669。
在步驟S669中，對于關注顯示格式和與該關注顯示格式相關的當前的臨時最佳信號格式的組合，進行臨時決定最佳抽頭系數的集合的最佳抽頭系數集合決定處理，轉入步驟S670。
在步驟S670中，控制部661對于關注顯示格式，判斷在前面步驟S668求出的當前的臨時最佳信號格式、和在前面步驟S669求出的當前的臨時最佳抽頭系數的集合是否已被最佳化。
即，在前面的步驟S669的最佳抽頭系數集合決定處理中，對于與關注顯示格式和與該關注顯示格式相關的當前的臨時最佳信號格式的組合，如后面所述，把評價值算出部71算出的評價值為最大的抽頭系數的集合臨時決定為最佳抽頭系數的集合，但在步驟S670中，例如，根據與該最佳抽頭系數的集合相關的評價值是否在預先決定的最佳化判斷用閾值以上(比其大)，對于關注顯示格式，判斷當前的臨時最佳信號格式和抽頭系數的集合是否已被最佳化。
在步驟S670中，在判斷出與關注顯示格式相關的當前的臨時最佳信號格式和抽頭系數的集合未被最佳化的情況下，即，在與前面的步驟S669中求出的最佳抽頭系數的集合相關的評價值不在最佳化判斷用閾值以上的情況下，返回步驟S668，重復相同的處理。
另外，在步驟S670中，在判斷出與關注顯示格式相關的當前的臨時最佳信號格式和抽頭系數的集合已被最佳化的情況下，即，在與前面步驟S669中求出的最佳抽頭系數的集合相關的評價值在最佳化判斷用閾值以上、已求出與關注顯示格式相關的最佳信號格式和抽頭系數的集合的情況下，控制部661生成并存儲使關注顯示格式(表示其的顯示格式信息)和對于該關注顯示格式求出的最佳信號格式(表示其的信號格式信息)相對應的格式對應關系信息，并且將關注顯示格式和對于該關注顯示格式求出的最佳抽頭系數的集合相對應存儲，轉入步驟S671。
在步驟S671中，控制部661判斷是否已把多個初始顯示格式全部作為關注顯示格式，并對于多個初始顯示格式分別求出了最佳化后的信號格式和抽頭系數的集合。
在步驟S671中，在判斷出多個初始顯示格式尚未全部成為關注顯示格式的情況下，返回步驟S667，控制部661把多個初始顯示格式中尚未成為關注顯示格式的初始顯示格式中的一個決定為新的關注顯示格式，以后重復相同的處理。
另外，在步驟S671中，在判斷出多個初始顯示格式已全部成為關注顯示格式的情況下，即已求出與多個初始顯示格式分別相關的最佳信號格式和抽頭系數的集合時，學習處理結束。
在構成圖31中的圖像轉換部621的系數存儲器651中，存儲著與在圖35的學習處理中求出的多個初始顯示格式分別相關的最佳抽頭系數的集合中的、與內置有該圖像轉換部621的顯示裝置605(圖25)相關的顯示格式的最佳抽頭系數的集合。
另外，在構成圖26中的信號轉換部612的系數選擇部636中存儲著格式對應關系信息，該信息使多個初始顯示格式分別與通過圖35的學習處理對各個初始顯示格式求出的、最適合該初始顯示格式的信號格式相對應，系數選擇部636按照上面所述，在格式對應關系信息中識別與來自顯示格式獲取部613(圖25)的顯示格式信息所表示的顯示裝置605的顯示格式對應的信號格式(對應信號格式)，并控制系數存儲器634，使其選擇把從信號獲取部611提供的照相機信號格式信息所表示的信號格式設為第1信號格式、把對應信號格式設為第2信號格式的第1/第2轉換抽頭系數的集合，作為有效的抽頭系數的集合。
并且，在內置有信號轉換部612的圖25的格式轉換部604中，把成為下述圖像轉換處理的對象的SD圖像信號的信號格式設為對應信號格式，將來自照相機601的SD圖像信號轉換為對應信號格式的SD圖像信號，其中該圖像轉換處理用于在以顯示裝置605的顯示格式顯示時獲得用戶感覺為最高像質的HD圖像信號。而且，在顯示裝置605(圖25)中，在圖像轉換部621中以對應信號格式的SD圖像信號為對象進行圖像轉換處理，在顯示控制部622中以顯示裝置605的顯示格式顯示通過該圖像轉換處理而得到的HD圖像。
因而，姑且不談對應信號格式的SD圖像信號的S/N等，作為組合了格式轉換部604和顯示裝置605的整個系統(tǒng)，能夠在顯示器623上顯示用戶感覺為高像質的圖像。
此外，在學習存儲于構成圖26的信號轉換部612的系數存儲器634中的第1/第2轉換抽頭系數的集合的、圖29的學習裝置中，如上面所述，通過圖30的學習處理，求出與第1信號格式和第2信號格式的各種組合相關的第1/第2轉換抽頭系數的集合，但在各種第2信號格式中，在通過圖35的學習處理求出的格式對應關系信息中，需要包含分別與多個初始顯示格式相對應的多個信號格式。
另外，在圖35的學習處理中，在最佳抽頭系數集合決定處理中求出的抽頭系數的集合的評價值在最佳化判斷用閾值以上的情況下，判斷出關于關注顯示格式，信號格式和抽頭系數的集合的組合已被最佳化，但除此以外，例如，可以在最佳信號格式決定處理和最佳抽頭系數集合決定處理重復了規(guī)定次數的情況下，判斷出信號格式和抽頭系數的集合的組合已被最佳化。
下面，參照圖36的流程圖，具體說明圖35中的步驟S668的最佳信號格式決定處理。
在步驟S681中，控制部661(圖34)把當前的臨時(臨時決定的)最佳信號格式作為基準，例如與圖21中的步驟S71的情況相同，決定最佳信號格式的多個候選，轉入步驟S682。
在步驟S682中，控制部661把最佳信號格式的多個候選中尚未成為關注信號格式的一個決定為關注信號格式，把表示該關注信號格式的信號格式信息提供給虛擬攝影圖像生成部62，轉入步驟S683。
在步驟S683中，虛擬攝影圖像生成部62通過將存儲在學習數據存儲部61中的SHD圖像信號的像素數間除等，生成來自控制部661的信號格式信息所表示的關注信號格式的SD圖像信號，提供給圖像轉換部73，轉入步驟S684。
在步驟S684中，控制部661把與關注顯示格式相關的當前的臨時最佳抽頭系數的集合存儲在系數存儲器66中。并且，在步驟S684中，與圖20中的步驟S53相同，圖像轉換部73把從虛擬攝影圖像生成部62提供的關注信號格式的SD圖像信號設為第1圖像信號，將該第1圖像信號與存儲在系數存儲器66中的當前的臨時最佳抽頭系數的集合進行運算，從而進行轉換為作為第2圖像信號的HD圖像信號的圖像轉換處理，把其結果得到的HD圖像信號提供給顯示控制部68。
在步驟S684的處理之后，轉入步驟S685，控制部661把表示關注顯示格式的顯示格式信息提供給顯示控制部68。由此，顯示控制部68使與圖像轉換部73輸出的HD圖像信號對應的HD圖像、以來自控制部661的顯示格式信息表示的關注顯示格式顯示在顯示器69中，從步驟S685轉入步驟S686。
在步驟S686中，光檢測器70檢測作為顯示在顯示器69中的HD圖像(顯示圖像)的光(并進行光電轉換)，把與該光對應的電氣信號即與HD圖像信號相當的顯示圖像信號輸出給評價值算出部71，轉入步驟S687。
在步驟S687中，評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價顯示器69中顯示的HD圖像。
即，評價值算出部71從學習數據存儲部61讀出與來自光檢測器70的顯示圖像信號對應的SHD圖像信號，通過比較顯示圖像信號和對應的SHD圖像信號，算出作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69中的HD圖像的用戶所感覺的像質的評價的評價值，提供給控制部661。
在此，對存儲在學習數據存儲部61中的SHD圖像信號的所有幀進行步驟S683～S687的處理。并且，控制部661對于關注信號格式，求出對于存儲在學習數據存儲部61中的SHD圖像信號的所有幀得到的評價值的例如總和，把該總和作為關注信號格式的最終評價值臨時存儲。
然后，從步驟S687轉入步驟S688，控制部661判斷是否已對最佳信號格式的多個候選全部算出評價值。
在步驟S688中，在判斷出關于最佳信號格式的多個候選尚未全部算出評價值的情況下，返回步驟S682，控制部661把最佳信號格式的多個候選中尚未成為關注信號格式的一個決定為新的關注信號格式，以后重復相同的處理。
另外，在步驟S688中，在判斷出最佳信號格式的多個候選已全部算出評價值的情況下，轉入步驟S689，控制部661把最佳信號格式的多個候選中評價值最高的候選，臨時決定為新的對于關注顯示格式(和相對該關注顯示格式的當前的臨時最佳抽頭系數的集合的組合)為最佳的信號格式，并返回。
下面，參照圖37的流程圖，詳細說明圖35中的步驟S669的最佳抽頭系數集合決定處理。
在步驟S691中，控制部661把當前的臨時(臨時決定的)最佳抽頭系數的集合作為基準，例如與圖23中的步驟S111的情況相同，決定最佳抽頭系數的集合的多個候選。
在步驟S691的處理之后轉入步驟S692，控制部661把表示相對關注顯示格式的當前的臨時最佳信號格式的信號格式信息，提供給虛擬攝影圖像生成部62。由此，虛擬攝影圖像生成部62通過將存儲在學習數據存儲部61中的SHD圖像信號的像素數間除等，生成來自控制部661的信號格式信息所表示的信號格式的SD圖像信號，提供給圖像轉換部73，轉入步驟S693。
在步驟S693中，控制部661把臨時最佳抽頭系數的集合的多個候選中尚未成為關注抽頭系數集合的一個決定為關注抽頭系數集合，通過控制系數存儲器66，存儲該關注抽頭系數集合，轉入步驟S694。
在步驟S694中，與圖20中的步驟S53相同，圖像轉換部73把從虛擬攝影圖像生成部62提供的SD圖像信號作為第1圖像信號，將該第1圖像信號與存儲在系數存儲器66中的最佳抽頭系數集合進行運算，從而進行轉換為作為第2圖像信號的HD圖像信號的圖像轉換處理，把其結果得到的HD圖像信號提供給顯示控制部68。
在步驟S694的處理之后，轉入步驟S695，控制部661把表示關注顯示格式的顯示格式信息提供給顯示控制部68。由此，顯示控制部68使與圖像轉換部73輸出的HD圖像信號對應的HD圖像以來自控制部661的顯示格式信息表示的關注顯示格式，顯示在顯示器69中，轉入步驟S696。
在步驟S696中，光檢測器70檢測作為顯示在顯示器69中的HD圖像(顯示圖像)的光(并進行光電轉換)，把與該光對應的電氣信號即與HD圖像信號相當的顯示圖像信號輸出給評價值算出部71，轉入步驟S697。
在步驟S697中，評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價在顯示器69中顯示的HD圖像。
即，評價值算出部71從學習數據存儲部61讀出與來自光檢測器70的顯示圖像信號對應的SHD圖像信號，通過比較顯示圖像信號和對應的SHD圖像信號，算出作為顯示圖像信號的評價、進而作為觀看顯示在顯示器69中的HD圖像的用戶所感覺的像質的評價的評價值，提供給控制部661。
在此，對存儲在學習數據存儲部61中的SHD圖像信號的所有幀進行步驟S692、及步驟S694～S697的處理。并且，控制部661對于關注抽頭系數集合，求出對于存儲在學習數據存儲部61中的SHD圖像信號的所有幀得到的評價值的例如總和，把該總和作為與關注抽頭系數集合相關的最終評價值進行臨時存儲。
然后，從步驟S697轉入步驟S698，控制部661判斷是否已對最佳抽頭系數集合的多個候選全部算出評價值。
在步驟S698中，在判斷出最佳抽頭系數集合的多個候選尚未全部算出評價值時，返回步驟S693，控制部661把最佳抽頭系數集合的多個候選中尚未成為關注抽頭系數集合的一個決定為新的關注抽頭系數集合，以后重復相同的處理。
另外，在步驟S698中，在判斷出關于最佳抽頭系數集合的多個候選已全部算出評價值的情況下，轉入步驟S699，控制部661把最佳抽頭系數集合的多個候選中評價值最高的候選，臨時決定為新的對于關注顯示格式(和相對該關注顯示格式的當前的臨時最佳信號格式的組合)為最佳的抽頭系數的集合，并返回。
如以上那樣，在圖34的學習裝置中，如在圖35中說明的那樣，對于各種顯示格式(多個初始顯示格式)，分別重復進行最佳信號格式決定處理和最佳抽頭系數集合決定處理，直到評價值(在此為通過前面的最佳抽頭系數集合決定處理得到的評價值)達到最佳化判斷用閾值以上，由此求出在進行使要顯示的HD圖像即顯示圖像更高像質化的圖像轉換處理時使用的抽頭系數(的集合)、成為使用該抽頭系數而進行的圖像轉換處理的對象的SD圖像信號的信號格式。
因而，根據圖34所示的學習裝置，可以求出抽頭系數和信號格式，該抽頭系數和信號格式使用戶感覺以各種顯示格式分別顯示的顯示圖像為更高像質。
此外，在圖36中的最佳信號格式決定處理中，在把當前的臨時最佳信號格式作為基準，來決定最佳信號格式的多個候選時，作為使當前的臨時最佳信號格式變形的方法，可以采用以下方法，即，在圖35的步驟S668和S669重復次數較少時，使變形較大，隨著該重復次數的增加，使變形逐漸變小。這對于抽頭系數的集合也相同。
另外，在對于最佳信號格式的候選求出的評價值為不那么大的值、幾乎不增加的情況下，可以使當前的臨時最佳信號格式較大地變形，決定最佳信號格式的多個候選。在該情況下，可以解決所謂的局部最小的問題。這對于抽頭系數的集合也相同。
下面，圖38表示處理圖像的圖像處理系統(tǒng)的第3結構示例。
此外，對圖中與圖24的圖像處理系統(tǒng)對應的部分賦予相同符號，所以以下適當省略其說明。
圖38的圖像處理系統(tǒng)由照相機671和顯示裝置605構成。
照相機671內置有格式轉換部604，從顯示裝置605向該格式轉換部604提供表示其顯示格式的顯示格式信息。
照相機671拍攝物體(被攝體)，得到通過該攝影得到的規(guī)定的信號格式的攝影圖像信號即SD圖像信號。并且，在照相機671中，其內置的格式轉換部604把規(guī)定的信號格式的SD圖像信號，轉換為與來自顯示裝置605的顯示格式信息所表示的顯示格式對應的對應信號格式的SD圖像信號，并輸出。
照相機671輸出的對應信號格式的SD圖像信號提供給顯示裝置605。在顯示裝置605中，以照相機671輸出的對應信號格式的SD圖像信號為對象進行圖像轉換處理，以顯示裝置605的顯示格式顯示與其結果得到的HD圖像信號對應的HD圖像。
因而，在圖38的圖像處理系統(tǒng)中，姑且不談照相機671輸出的對應信號格式的SD圖像信號的S/N等，作為由照相機671和顯示裝置605構成的整個圖像處理系統(tǒng)，能夠在顯示裝置605上顯示用戶感覺為高像質的圖像。
下面，圖39表示處理圖像的圖像處理系統(tǒng)的第4結構示例。
在圖39中，圖像處理系統(tǒng)由照相機(攝像機)701和顯示裝置702構成。
照相機701拍攝物體(被攝體)，輸出通過該攝影得到的圖像信號即攝影圖像信號、例如SD圖像信號。顯示裝置702接收照相機701輸出的攝影圖像信號，對該攝影圖像信號實施圖像處理，顯示與通過該圖像處理得到的圖像信號(以下適當地稱為圖像處理后圖像信號)對應的圖像。
此外，照相機701例如是單板式照相機，輸出某個信號格式的攝影圖像信號。
圖40表示圖39中的顯示裝置702的結構示例。
顯示裝置702由圖像處理部711、顯示控制部714、顯示器715、信號格式獲取部716、顯示格式獲取部717、操作部718和控制部719構成。
照相機701輸出的攝影圖像信號(此處例如為SD圖像信號)被提供給圖像處理部711。圖像處理部711例如由前處理部712和圖像轉換部713構成，對來自照相機701的攝影圖像信號實施按照控制部719的控制的圖像處理，把其結果得到的圖像處理后圖像信號提供給顯示控制部714。
即，對于圖像處理部711，從照相機701向前處理部712提供SD圖像信號。前處理部712按照來自控制部719的控制，對來自照相機701的攝影圖像信號實施用于獲得適合于后級的圖像轉換處理部713中的圖像轉換處理的信號的前處理，把該前處理的結果得到的圖像信號(以下適當地稱為前處理后攝影圖像信號)提供給圖像轉換部713。
圖像轉換部713把來自前處理部712的前處理后攝影圖像信號設為第1圖像信號，并把將要通過圖像轉換處理得到的圖像信號設為第2圖像信號，按照控制部719的控制，通過與經過預先進行的學習而得到的抽頭系數的運算，把作為第1圖像信號的前處理后攝影圖像信號轉換為第2圖像信號，作為圖像處理后圖像信號提供給顯示控制部714。
顯示控制部714進行顯示控制，使顯示器715以某個顯示格式，顯示與從圖像轉換部713提供的圖像處理后圖像信號對應的圖像。
顯示器715例如是由CRT、LCD面板等構成的顯示單元，按照顯示控制部714的控制顯示圖像。
照相機701輸出的攝影圖像信號被提供給信號格式獲取部716。信號格式獲取部716對來自照相機701的攝影圖像信號的信號格式進行檢測等而獲取該信號格式，把表示該信號格式的信號格式信息提供給控制部719。
顯示格式獲取部717從顯示控制部714獲取顯示格式信息提供給控制部719，該顯示格式信息表示顯示控制部714在顯示器715中顯示圖像的顯示格式。
操作部718由用戶操作，把表示對應用戶操作的指示的指示信號提供給控制部719。在此，指示信號例如包括指示去除噪聲、放大圖像、SD圖像向HD圖像的轉換等、對來自照相機701的攝影圖像信號實施的圖像處理(的內容)的信號。
控制部719按照從操作部718提供的指示信號，決定對攝影圖像信號實施的圖像處理，根據該圖像處理、來自信號格式獲取部716的信號格式信息及來自顯示格式獲取部717的顯示格式信息，控制圖像處理部711的前處理部712和圖像轉換部713。
下面，圖41表示圖40中的前處理部712的結構示例。
前處理部712例如由前處理抽頭抽出部731、前處理運算部732和系數存儲器733構成。
前處理抽頭抽出部731依次把構成通過對來自照相機701(圖40)的攝影圖像信號實施前處理得到的前處理后攝影圖像信號的像素作為關注像素，而且，從來自照相機701的攝影圖像信號抽出在求出該關注像素的像素值時使用的多個像素的像素值即前處理抽頭。并且，前處理抽頭抽出部731把對于關注像素得到的前處理抽頭提供給前處理運算部732。
此外，前處理抽頭抽出部731根據來自控制部719(圖40)的控制，獲得按照該控制的抽頭結構的前處理抽頭。
前處理運算部732把從前處理抽頭抽出部731提供的作為前處理抽頭的像素值作為自變量，進行由前處理系數(集合)定義的規(guī)定的前處理用的函數運算，把該前處理用的函數運算結果作為前處理后攝影圖像信號的關注像素的像素值輸出，所述前處理系數(集合)是通過使用存儲在系數存儲器733中的比HD圖像更高像質的SHD圖像進行學習而決定的。
系數存儲器733存儲有多組通過使用比HD圖像更高像質的SHD圖像進行學習而預先求出的、用于定義前處理用的函數的前處理系數集合。并且，系數存儲器733從該多組的前處理系數集合中選擇與來自控制部719(圖40)的控制相應的前處理系數集合，作為有效的前處理系數集合提供給前處理運算部732。
在此，在上述的前處理運算部732中，進行由來自系數存儲器733的有效的前處理系數集合定義的前處理用的函數運算。
此外，作為前處理用的函數f()，例如假設采用線性一次式，前處理用的函數f(x1，x2，...，xM)以 算式f(x1，x2，...，xM)＝p1x1+p2x2+...+pMxM來表示。其中，x1、x2、...、xM表示作為與關注像素相關的前處理抽頭的多個像素(M個像素)的像素值，p1、p2、...、pM表示存儲在系數存儲器733中的用于定義前處理用的函數f()的系數的集合。
下面，圖42表示圖40中的圖像轉換部713的結構示例。
此外，關于圖中與圖4圖像轉換部11對應的部分賦予相同符號，所以以下適當省略其說明。即，圖42中的圖像轉換部713設有抽頭抽出部41和42、類分類部43、及預測部45，這一點與圖4中的圖像轉換部11相同，但是與圖4中的圖像轉換部11的不同之處是，設置系數存儲器741來取代系數存儲器44。
系數存儲器741存儲多組在圖像轉換處理中使用的抽頭系數的集合。在此，存儲在系數存儲器741中的多個抽頭系數的集合是通過使用比HD圖像更高像質的SHD圖像進行學習而預先求出的。
在圖像轉換部713中，多組的抽頭系數的集合中與來自控制部719(圖40)的控制相應的抽頭系數的集合成為有效的抽頭系數的集合，使用該有效的抽頭系數的集合(有效抽頭系數的集合)進行圖像轉換處理。
即，在圖像轉換部713中，把來自前處理部712(圖40)的前處理后攝影圖像信號設為第1圖像信號、并把圖像處理后圖像信號設為第2圖像信號，抽頭抽出部41依次把作為第2圖像信號的圖像處理后圖像信號設為關注像素，對于該關注像素，從作為第1圖像信號的前處理后攝影圖像信號抽出設為預測抽頭的像素的像素值提供給預測部45。而且，抽頭抽出部42對于關注像素，從作為第1圖像信號的前處理后攝影圖像信號抽出設為類抽頭的像素的像素值提供給類分類部43。
類分類部43根據來自抽頭抽出部42的類抽頭，進行求出關注像素的類的類分類，把其結果得到的關注像素的類(表示該類的類代碼)提供給系數存儲器741。系數存儲器741讀出有效抽頭系數的集合中來自類分類部43的類的抽頭系數(的集合)，輸出給預測部45。
預測部45使用來自抽頭抽出部41的預測抽頭和來自系數存儲器741的抽頭系數，例如進行上述算式(1)的運算，由此求出(預測)作為第2圖像信號的圖像處理后圖像信號的關注像素的像素值。
下面，參照圖43的流程圖，說明圖40中的顯示裝置702的動作。
來自照相機701的攝影圖像信號被提供給顯示裝置702。在顯示裝置702中接收來自照相機701的攝影圖像信號，提供給圖像處理部711的前處理部712和信號格式獲取部716。
并且，在步驟S701中，控制部719根據從操作部718提供的指示信號，決定對來自照相機701的攝影圖像信號實施的圖像處理。即，假設把控制部719作為對攝影圖像信號實施的圖像處理而決定的圖像處理稱為決定處理，在例如通過用戶操作操作部718并從操作部718提供了指示信號的情況下，控制部719把該指示信號所指示的圖像處理決定為決定處理。另外，在沒有從操作部718提供指示信號的情況下，控制部719把此前從操作部718提供的指示信號所指示的圖像處理、或預先決定的默認的圖像處理決定為決定處理。
另一方面，在步驟S702中，信號格式獲取部716獲取來自照相機701的攝影圖像信號的信號格式，把表示該信號格式的信號格式信息提供給控制部719。另外，在步驟S703中，顯示格式獲取部717從顯示控制部714獲取表示顯示裝置702的顯示格式(顯示控制部714在顯示器715中顯示圖像的顯示格式)的顯示格式信息，提供給控制部719。
并且，控制部719根據在步驟S701中決定的決定處理、在步驟S702中從信號格式獲取部716提供的信號格式信息、以及在步驟S703中從顯示格式獲取部717提供的顯示格式信息，控制圖像處理部711。在圖像處理部711中，按照控制部719的控制，根據決定處理、信號格式信息、以及顯示格式信息，進行不同的處理，由此進行作為決定處理的圖像處理。
即，在步驟S704中，在步驟S7041中，前處理部712對來自照相機701的攝影圖像信號實施按照來自控制部719的控制的前處理，把該前處理的結果得到的前處理后圖攝影像信號提供給圖像轉換部713。
在步驟S7042中，圖像轉換部713把來自前處理部712的前處理后攝影圖像信號設為第1圖像信號、并把圖像處理后圖像信號設為第2圖像信號，進行基于控制部719的控制的圖像轉換處理。
在此，如上面那樣，控制部719根據決定處理、信號格式信息、以及顯示格式信息，控制圖像處理部711。構成圖像處理部711的前處理部712和圖像轉換部713分別根據來自控制部719的控制，即根據決定處理、信號格式信息、以及顯示格式信息，進行不同的處理，由此作為圖像處理部711整體進行決定處理。
在圖像轉換部713中通過進行圖像轉換處理而得到的圖像處理后圖像信號，被提供給顯示控制部714。
在步驟S705中，顯示控制部714將與從圖像轉換部713提供的圖像處理后圖像信號對應的圖像，以預先決定的某個顯示格式顯示在顯示器715中。
然后，顯示裝置702(圖40)的前處理部712(圖41)中的前處理抽頭抽出部731所抽出的前處理抽頭的結構、存儲在系數存儲器733中的前處理系數集合、和存儲在圖像轉換部713(圖42)的系數存儲器741中的抽頭系數的集合這三個(參數)，例如是通過使用比HD圖像更高像質的SHD圖像進行學習而決定的。
圖44表示學習裝置的結構示例，該學習裝置用于進行求出前處理抽頭的抽頭結構、前處理系數集合和抽頭系數的集合的學習。
另外，關于圖中與圖9對應的部分賦予相同符號，所以以下適當省略其說明。即，圖44中的學習裝置設置學習對數據生成部751和控制部752，分別取代虛擬攝影圖像生成部62和控制部72，并且設置學習部255來取代圖像轉換部73，其他結構與圖9中的學習裝置相同。
學習部255由前處理部261和圖像轉換部262構成。
前處理部261的結構與圖40中的前處理部712(圖41)相同，按照控制部752的控制，對從學習對數據生成部751按照后面所述提供的學習對數據中作為學生信號的虛擬攝影圖像信號實施前處理，把其結果得到的前處理后攝影圖像信號提供給圖像轉換部262。
圖像轉換部262的結構與圖40中的圖像轉換部713(圖42)相同，按照控制部752的控制，把從前處理部261提供的前處理后攝影圖像信號設為第1圖像信號，并把對該前處理后攝影圖像信號實施圖像處理得到的圖像處理后圖像信號設為第2圖像信號，進行把前處理后攝影圖像信號轉換為圖像處理后圖像信號的圖像轉換處理。而且，圖像轉換部262把通過圖像轉換處理得到的圖像處理后圖像信號提供給顯示控制部68。
從控制部752向學習對數據生成部751提供表示信號格式的信號格式信息和處理信息，該處理信息表示可以利用圖40中的操作部718輸出的指示信號進行指示的圖像處理。
學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，作為學生信號生成來自控制部752的信號格式信息表示的信號格式的圖像信號。而且，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，作為教師信號生成通過對學生信號實施來自控制部752的處理信息所表示的圖像處理而得到的所謂理想的圖像信號(作為圖像處理后圖像信號的理想圖像信號)。并且，學習對數據生成部751把作為學生信號的圖像信號和作為對應該學生信號的教師信號的圖像信號(通過對學生信號實施處理信息所表示的圖像處理而得到的教師信號)的集合，作為學習對數據提供給評價值算出部71和學習部255。
從評價值算出部71向控制部752提供評價值?？刂撇?52根據來自評價值算出部71的評價值，控制構成學習部255的前處理部261和圖像轉換部262。具體地講，控制部752進行在前處理部261的前處理中使用的前處理抽頭的抽頭結構和前處理系數集合的控制(設定)、和在圖像轉換部262的圖像轉換處理中使用的抽頭系數的集合的控制。
另外，控制部752決定顯示控制部68將與從學習部255的圖像轉換部262提供的圖像處理后圖像信號對應的圖像顯示在顯示器69中的顯示格式，把表示該顯示格式的顯示格式信息提供給顯示控制部68。而且，控制部752把信號格式信息和處理信息提供給學習對數據生成部751。
下面，參照圖45的流程圖，說明圖44中的學習裝置進行的學習前處理抽頭的抽頭結構、前處理系數集合和抽頭系數的集合的學習處理。
首先，在步驟S721中，控制部752從多個信號格式中，把尚未成為關注信號格式的信號格式中的一個決定為關注信號格式Ai，把表示該關注信號格式Ai的信號格式信息提供給學習對數據生成部751，轉入步驟S722。
在此，在圖44中的學習裝置中預先設定有在學習處理中使用的多個信號格式，控制部752從該預先決定的多個信號格式中決定關注信號格式Ai。此外，預先設定的多個信號格式例如可以是已有的信號格式，也可以是將已有的信號格式變形后的新的信號格式。
在步驟S722中，控制部752從多個顯示格式中，把尚未成為關注顯示格式的顯示格式中的一個決定為關注顯示格式Bj，把表示該關注顯示格式Bj的顯示格式信息提供給顯示控制部68，轉入步驟S723。
在此，在圖44中的學習裝置中預先設定有在學習處理中使用的多個顯示格式，控制部752從該預先決定的多個顯示格式中決定關注顯示格式Bj。此外，預先設定的多個顯示格式例如可以是已有的顯示格式，也可以是將已有的顯示格式變形后的新的顯示格式。
在步驟S723中，控制部752從多個圖像處理(的內容)中，把尚未成為關注處理的圖像處理中的一個決定為關注處理Ck，把表示該關注處理Ck的處理信息提供給學習對數據生成部751，轉入步驟S724。
在此，在圖44中的學習裝置中預先設定有在學習處理中使用的多個圖像處理(的內容)，控制部752從該預先決定的多個圖像處理中決定關注處理Ck。此外，預先設定的多個圖像處理至少包含能夠利用圖40中的操作部718輸出的指示信號進行指示的圖像處理。
在步驟S724中，在學習裝置(圖44)中，對于關注信號格式Ai、關注顯示格式Bj和關注處理Ck的組合，決定前處理抽頭的最佳抽頭結構Di，j，k、最佳前處理系數集合Ei，j，k、和最佳抽頭系數的集合(在算式(1)的運算中使用的各個類的抽頭系數(x1、x2、...、xN)的集合)Fi，j，k。
即，在步驟S724中，關于關注信號格式Ai、關注顯示格式Bj和關注處理Ck的組合，在以關注顯示格式Bj顯示與對關注信號格式Ai的圖像信號實施關注處理Ck而得到的圖像信號對應的圖像的情況下，決定在作為關注處理Ck的圖像處理即前處理和圖像轉換處理中使用的抽頭結構Di，j，k、前處理系數集合Ei，j，k、以及抽頭系數的集合Fi，j，k，以使用戶感覺為最高像質。
并且，從步驟S724轉入步驟S725，控制部752對于關注信號格式Ai和關注顯示格式Bj的組合，判斷是否已把預先設定的多個圖像處理全部設為關注處理、在步驟S724中求出(決定)抽頭結構Di，j，k、前處理系數集合Ei，j，k、抽頭系數的集合Fi，j，k。
在步驟S725中，在判斷出多個圖像處理沒有全部成為關注處理時，返回步驟S723，控制部752把多個圖像處理中尚未成為關注處理的圖像處理中的一個決定為新的關注處理，把表示該關注處理的處理信息提供給學習對數據生成部751，以后重復相同的處理。
另外，在步驟S725中，在判斷出多個圖像處理已全部成為關注處理的情況下，轉入步驟S726，控制部752對于關注信號格式Ai，判斷是否已把預先設定的多個顯示格式全部設為關注顯示格式、在步驟S724求出(決定)抽頭結構Di，j，k、前處理系數集合Ei，j，k、抽頭系數的集合Fi，j，k。
在步驟S726中，在判斷出預先設定的多個顯示格式尚未全部成為關注顯示格式的情況下，返回步驟S722，控制部752把多個顯示格式中尚未成為關注顯示格式的顯示格式中的一個決定為新的關注顯示格式，把表示該關注顯示格式的顯示格式信息提供給顯示控制部68，以后重復相同的處理。
另外，在步驟S726中，在判斷出預先設定的多個顯示格式已全部成為關注顯示格式的情況下，轉入步驟S727，控制部752判斷是否已把預先設定的多個信號格式全部設為關注信號格式、在步驟S724求出(決定)抽頭結構Di，j，k、前處理系數集合Ei，j，k、抽頭系數的集合Fi，j，k。
在步驟S727中，在判斷出預先設定的多個信號格式尚未全部成為關注信號格式的情況下，返回步驟S722，控制部752把多個信號格式中尚未成為關注信號格式的信號格式中的一個決定為新的關注信號格式，把表示該關注信號格式的信號格式信息提供給學習對數據生成部751，以后重復相同的處理。
另外，在步驟S727中，在判斷出預先設定的多個信號格式已全部成為關注信號格式的情況下，即，在已對多個信號格式、多個顯示格式和多個圖像處理的所有組合，求出最佳的抽頭結構Di，j，k、前處理系數集合Ei，j，k、以及抽頭系數的集合的情況下，學習處理結束。
圖40中的控制部719在圖45中的學習處理中，按照上面所述，存儲表示對多個信號格式、多個顯示格式和多個圖像處理的所有組合求出的最佳的抽頭結構Di，j，k、前處理系數集合Ei，j，k、以及抽頭系數的集合的控制信息。
而且，在前處理部712的系數存儲器733(圖41)中，存儲著對多個信號格式、多個顯示格式和多個圖像處理的所有組合求出的多個前處理系數集合Ei，j，k，在圖像轉換部713的系數存儲器741(圖42)中，存儲著對多個信號格式、多個顯示格式和多個圖像處理的所有組合求出的多個抽頭系數的集合。
并且，在圖40的顯示裝置702中，控制部719對于來自信號格式獲取部716的信號格式信息所表示的信號格式、來自顯示格式獲取部717的顯示格式、和來自操作部718的指示信號所指示的圖像處理的組合，通過參照控制信息識別最佳的抽頭結構、前處理系數集合和抽頭系數的集合。
而且，控制部719通過控制前處理部712，使在前處理抽頭抽出部731得到的前處理抽頭的抽頭結構形成為參照控制信息識別出的最佳的抽頭結構，并且把存儲在系數存儲器733中的多個前處理系數集合中參照控制信息識別出的最佳的前處理系數集合設為有效。
另外，控制部719通過控制圖像轉換部713，把存儲在系數存儲器741中的多個抽頭系數的集合中參照控制信息識別出的最佳的抽頭系數的集合設為有效。
由此，在前處理部712中，根據來自信號格式獲取部716的信號格式信息所表示的信號格式、來自顯示格式獲取部717的顯示格式、和來自操作部718的指示信號所指示的圖像處理的組合，進行不同的前處理(使用了不同的抽頭結構的前處理抽頭和不同的前處理系數集合的前處理)。
另外，在圖像轉換部713中，也根據來自信號格式獲取部716的信號格式信息所表示的信號格式、來自顯示格式獲取部717的顯示格式、和來自操作部718的指示信號所指示的圖像處理的組合，進行不同的圖像轉換處理(使用了不同的抽頭系數的集合的圖像轉換處理)。
并且，在圖39所示的圖像處理系統(tǒng)中，姑且不談照相機701輸出的攝影圖像信號、在前處理部712(圖40)的前處理中得到的圖像信號、在圖像轉換部713中得到的圖像信號的S/N等，作為由照相機701和顯示裝置702構成的整個圖像處理系統(tǒng)，能夠在顯示裝置702上顯示用戶感覺為高像質的圖像。
下面，參照圖46的流程圖，具體說明圖45中的步驟S724的處理。
在步驟S741中，控制部752從多個初始抽頭結構中決定作為關注抽頭結構的初始抽頭結構Dm，把表示該關注抽頭結構Dm的抽頭結構信息提供給學習部255的前處理部261，轉入步驟S742。
即，在圖44的學習裝置中，前處理抽頭的多個抽頭結構被設定(決定)為在學習處理的初期使用的初始抽頭結構，控制部752把分別表示多個初始抽頭結構的抽頭結構信息存儲在內置的存儲器(未圖示)中。并且，控制部752把存儲在內置的存儲器中的多個抽頭結構信息所表示的多個初始抽頭結構中、尚未成為關注抽頭結構的一個決定(設定)為關注抽頭結構Dm，把表示該關注抽頭結構Dm的抽頭結構信息提供給前處理部261。
具體地講，在圖44的學習裝置中，例如，像以最接近關注像素位置的像素為中心的橫×縱為3×3的像素、以最接近關注像素位置的像素為中心的橫向排列9像素縱向排列5像素等那樣的前處理抽頭的多個抽頭結構，被設定(決定)為在學習處理的初期使用的初始抽頭結構，控制部752把分別表示多個初始抽頭結構的抽頭結構信息存儲在內置的存儲器(未圖示)中。并且，控制部752把存儲在內置的存儲器中的多個抽頭結構信息所表示的多個初始抽頭結構中、尚未成為關注抽頭結構的一個決定(設定)為關注抽頭結構Dm，把表示該關注抽頭結構Dm的抽頭結構信息提供給前處理部261。
在此，Dm例如表示多個初始抽頭結構中第m個初始抽頭結構。
在步驟S742中，控制部752決定前處理部261在前處理中使用的前處理系數的集合即關注前處理系數集合En。即，例如把構成關注抽頭結構Dm的前處理抽頭的像素(的像素值)的數量設為X、并把前處理系數的比特數設為Y時，對于關注抽頭結構Dm的前處理抽頭前處理系數的集合可能采用的情況數存在X×2Y個，控制部752把該X×2Y個前處理系數的集合中尚未成為關注前處理系數集合的一個決定為關注前處理系數集合En。
并且，控制部752把關注前處理系數集合En提供給前處理部261，從步驟S742轉入步驟S743。
在步驟S743中，在學習裝置(圖44)中，對于關注抽頭結構Dm和關注前處理系數集合En的組合，決定臨時的最佳抽頭系數的集合(在算式(1)的運算中使用的各個類的抽頭系數(x1、x2、...、xN)的集合)Fm，n。
即，在步驟S743中，把通過使用關注抽頭結構Dm的前處理抽頭和關注前處理系數集合En、對SD圖像信號實施前處理得到的前處理后圖像信號設為第1圖像信號，將與通過進行使用了抽頭系數的集合的圖像轉換處理得到的作為第2圖像信號的、對第1圖像信號實施作為關注處理Ck的圖像處理而得到的理想的圖像信號(圖像處理后圖像信號)對應的圖像以關注顯示格式Bj顯示在顯示器69中，該情況下，對于關注抽頭結構Dm和關注前處理系數集合En的組合，利用光檢測器70檢測作為顯示于該顯示器69的圖像的光，求出使由此得到的顯示圖像信號的評價值為最高的抽頭系數的集合，作為臨時的最佳抽頭系數的集合Fm，n。
然后，從步驟S743轉入步驟S744，控制部752判斷是否已把對于關注抽頭結構Dm的前處理抽頭可能采用的X×2Y個前處理系數的集合全部設為關注前處理系數集合。
在步驟S744中，在判斷出尚未把對于關注抽頭結構Dm的前處理抽頭可能采用的X×2Y個前處理系數的集合全部設為關注前處理系數集合的情況下，返回步驟S742，控制部752把對于關注抽頭結構Dm的前處理抽頭可能采用的X×2Y個前處理系數的集合中尚未成為關注前處理系數集合中的一個，設定為新的關注前處理系數集合，重復相同的處理。
另外，在步驟S744中，在判斷出已把對于關注抽頭結構Dm的前處理抽頭可能采用的X×2Y個前處理系數的集合全部設為關注前處理系數集合的情況下，轉入步驟S745，控制部752判斷是否已把存儲在內置的存儲器中的多個抽頭結構信息所表示的多個初始抽頭結構全部設為關注抽頭結構。
在步驟S745中，在判斷出多個初始抽頭結構尚未全部成為關注抽頭結構的情況下，返回步驟S741，控制部752把多個初始抽頭結構中尚未成為關注抽頭結構的初始抽頭結構中的一個決定為關注抽頭結構，重復相同的處理。
另外，在步驟S745中，在判斷出多個初始抽頭結構已全部成為關注抽頭結構時，即，在步驟S743已對多個初始抽頭結構和可能采用的前處理系數集合的全部組合求出最佳的抽頭系數的集合的情況下，轉入步驟S746，控制部752從在步驟S743求出的抽頭結構、前處理系數集合和抽頭系數集合的組合中，臨時地決定(臨時決定)最佳的抽頭結構、前處理系數集合和抽頭系數集合的組合。
即，在作為初始抽頭結構有M個抽頭結構，前處理系數集合可能采用的值的情況數為N個的情況下，作為(初始)抽頭結構和前處理系數集合的組合，存在M×N個組合，在步驟S743中，對于該M×N個組合分別求出臨時的最佳抽頭系數的集合。因而，在步驟S743中，抽頭結構、前處理系數集合和抽頭系數集合的組合能得到M×N×J個，在步驟S746中，該M×N個組合(抽頭結構、前處理系數集合和抽頭系數集合的組合)中顯示圖像信號的評價值為最大的組合，被臨時決定為最佳的抽頭結構、前處理系數集合和抽頭系數集合的組合。
在步驟S746中，在臨時決定了最佳的抽頭結構、前處理系數集合和抽頭系數集合的組合后，轉入步驟S747，對于當前的最佳前處理系數集合和抽頭系數集合的組合，進行臨時決定最佳的抽頭結構的最佳抽頭結構決定處理，轉入步驟S748。
在步驟S748中，對于當前的最佳抽頭結構和抽頭系數集合的組合，進行臨時決定最佳的前處理系數集合的最佳前處理系數集合決定處理，轉入步驟S749。
在步驟S749中，對于當前的最佳抽頭結構和前處理系數集合的組合，進行臨時決定最佳的抽頭系數的集合的最佳抽頭系數集合決定處理，轉入步驟S750。
在步驟S750中，控制部752判斷在前面步驟S747中求出的當前的臨時最佳抽頭結構、在前面步驟S748中求出的當前的臨時最佳前處理系數集合、和在前面步驟S749中求出的當前的臨時最佳抽頭系數的集合的組合是否已被最佳化。
即，在前面步驟S749的最佳抽頭系數集合決定處理中，對于當前的臨時最佳抽頭結構和前處理系數集合的組合，使評價值算出部71算出的評價值為最大的抽頭系數的集合，被臨時設定為最佳的抽頭系數的集合。在步驟S750中，例如，根據與該最佳抽頭系數的集合相關的評價值是否在預先決定的最佳化判斷用閾值以上(比其大)，判斷當前的臨時最佳抽頭結構、前處理系數集合和抽頭系數的集合的組合是否已被最佳化。
在步驟S750中，在判斷出當前的臨時最佳抽頭結構、前處理系數集合和抽頭系數的集合的組合沒有被最佳化的情況下，即，與在前面的步驟S749中求出的最佳抽頭系數的集合相關的評價值不在最佳化判斷用閾值以上的情況下，返回步驟S747，重復相同的處理。
另外，在步驟S750中，在判斷出當前的臨時最佳抽頭結構、前處理系數集合和抽頭系數的集合的組合已被最佳化的情況下，即，在與在前面的步驟S749中求出的當前的臨時最佳抽頭系數的集合相關的評價值在最佳化判斷用閾值以上，抽頭結構、前處理系數集合和抽頭系數的集合的組合已被最佳化的情況下，轉入步驟S751，控制部752把該抽頭結構、前處理系數集合和抽頭系數的集合，決定為與關注信號格式Ai、關注顯示格式Bj和關注處理Ck的組合相關的最佳的抽頭結構Di，j，k、前處理系數集合Ei，j，k、抽頭系數的集合Fi，j，k，存儲在內置的存儲器中并返回。
此外，在圖46中的步驟S750中，在與通過步驟S749的最佳抽頭系數集合決定處理得到的抽頭系數的集合相關的評價值在最佳化判斷用閾值以上的情況下，判斷為抽頭結構、前處理系數集合和抽頭系數的集合的組合已被最佳化，但是除此以外，例如，也可以在步驟S749的最佳化處理重復了規(guī)定次數的情況下，判斷為抽頭結構、前處理系數集合和抽頭系數的集合的組合已被最佳化。
另外，在步驟S750中，除與通過步驟S749的最佳抽頭系數集合決定處理得到的抽頭系數相關的集合的評價值之外，也可以在與通過步驟S747的最佳抽頭結構決定處理得到的抽頭結構相關的評價值、或與通過步驟S748的最佳前處理系數集合決定處理得到的前處理系數集合相關的評價值在最佳化判斷用閾值以上的情況下，判斷為抽頭結構、前處理系數集合和抽頭系數的集合的組合已被最佳化。
下面，參照圖47的流程圖，具體說明圖46中的步驟S743的處理，該處理用于對于關注抽頭結構Dm和關注前處理系數集合En的組合決定最佳的抽頭系數的集合Fm，n。
在步驟S761中，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成來自控制部752的信號格式信息所表示的關注信號格式Ai的圖像信號(虛擬攝影圖像信號)，作為學生信號，轉入步驟S762。在步驟S762中，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成通過對學生信號實施來自控制部752的處理信息所表示的作為關注處理Ck的圖像處理而得到的圖像信號(作為圖像處理后圖像信號的理想圖像信號)，作為教師信號。
即，例如，在作為關注處理Ck的圖像處理是去除噪聲處理的情況下，學習對數據生成部751生成改善了作為學生信號的圖像信號的S/N的圖像信號，作為教師信號(生成向作為教師信號的圖像信號附加了噪聲的圖像信號作為學生信號)。
并且，學習對數據生成部751把作為學生信號的圖像信號、和與該學生信號對應的作為教師信號的圖像信號(通過對學生信號實施處理信息所表示的作為關注處理Ck的圖像處理而得到的教師信號)的集合，作為學習對數據提供給評價值算出部71和學習部255，從步驟S762轉入步驟S763。
在步驟S763中，控制部752控制前處理部261，進行基于關注抽頭結構Dm和關注前處理系數En的前處理。由此，前處理部261按照控制部752的控制，對從學習對數據生成部751提供給學習部255的學習對數據中作為學生信號的關注信號格式Ai的虛擬攝影圖像信號實施前處理，把其結果得到的前處理后攝影圖像信號提供給圖像轉換部262。
即，前處理部261依次把構成與從學習對數據生成部751提供的關注信號格式Ai的虛擬攝影圖像信號對應的前處理后攝影圖像信號的像素作為關注像素，對于該關注像素，從由學習對數據生成部751提供的關注信號格式Ai的虛擬攝影圖像信號中抽出成為關注抽頭結構Dm的前處理抽頭的多個像素的像素值。而且，前處理部261把前處理抽頭的像素值作為自變量，進行利用關注前處理系數集合En定義的前處理用的函數運算，把該前處理用的函數運算結果作為前處理后攝影圖像信號的關注像素的像素值，提供給圖像轉換部262。
并且，在步驟S764中，控制部752決定在學習部255的圖像轉換部262的圖像轉換處理中使用的每個類的抽頭系數的集合。即，例如把類的總數設為α、把各個類的抽頭系數的數量設為β、把抽頭系數的比特數設為γ時，抽頭系數的集合可能采用的情況數存在α×β×2γ個，控制部752把該α×β×2γ個抽頭系數的集合中、在此次的圖所示的處理中尚未成為關注抽頭系數集合的一個，決定為關注抽頭系數集合。
而且，控制部752把關注抽頭系數集合提供給圖像轉換部262，從步驟S764轉入步驟S765。
在步驟S765中，圖像轉換部262把從前處理部261提供的前處理后攝影圖像信號設為第1圖像信號，并把對該前處理后攝影圖像信號實施作為關注處理Ck的圖像處理而得到的圖像處理后圖像信號設為第2圖像信號，使用在前面的步驟S764中從控制部752提供的關注抽頭系數集合，進行把前處理后攝影圖像信號轉換為圖像處理后圖像信號的圖像轉換處理。并且，圖像轉換部262把通過圖像轉換處理得到的圖像處理后圖像信號提供給顯示控制部68。
在步驟S765的處理之后，轉入步驟S766，顯示控制部68使與圖像轉換部262輸出的圖像處理后圖像信號對應的圖像，以從控制部752提供的顯示格式信息所表示的關注顯示格式Bj，顯示在顯示器69中，從步驟S766轉入步驟S767。
在步驟S767中，光檢測器70檢測在顯示器69中顯示的圖像(顯示圖像)的光(并進行光電轉換)，把對應該光的電氣信號即顯示圖像信號輸出給評價值算出部71，轉入步驟S768。
在步驟S768中，評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價在顯示器69中顯示的圖像。
即，評價值算出部71從來自學習數據存儲部61的學習對數據獲得與來自光檢測器70的顯示圖像信號對應的教師信號，通過比較顯示圖像信號和對應的教師信號，算出作為顯示圖像信號的評價、進而作為觀看在顯示器69中顯示的HD圖像的用戶所感覺的像質的評價的評價值，提供給控制部752。
在此，對在步驟S761～S762生成的所有學習對數據進行步驟S765～S768的處理。并且，控制部752對于關注抽頭系數集合，求出針對所有學習對數據得到的評價值的例如總和，把該總和作為與關注抽頭系數集合相關的最終評價值而臨時存儲。
然后，從步驟S768轉入步驟S769，控制部752判斷對于抽頭系數集合可能采用的α×β×2γ個值全部是否已算出評價值。
在步驟S769中，在判斷為對于抽頭系數集合可能采用的α×β×2γ個值尚未全部算出評價值的情況下，即，在此次圖47所示處理中，α×β×2γ個抽頭系數集合中還存在沒有成為關注抽頭系數集合的集合的情況下，返回步驟S764，控制部752把α×β×2γ個抽頭系數集合中在此次圖47的處理中尚未成為關注抽頭系數集合的一個，決定為新的關注抽頭系數集合，以后重復相同的處理。
另外，在步驟S769中，在判斷為對于抽頭系數集合可能采用的α×β×2γ個值全部已算出評價值的情況下，轉入步驟S770，控制部752把α×β×2γ個抽頭系數集合中評價值最高的抽頭系數集合，決定(臨時決定)為與關注抽頭結構Dm和關注前處理系數集合En的組合相關的最佳關注抽頭系數集合Em，n，并返回。
此外，在圖46中的步驟S746中，與在圖47中的步驟S770被決定為最佳抽頭系數集合的抽頭系數的集合相關的評價值為最大的抽頭結構、前處理系數集合和抽頭系數的集合的組合，被臨時判斷為最佳的抽頭結構、前處理系數集合和抽頭系數的集合的組合。
下面，參照圖48的流程圖，詳細說明圖46中的步驟S747的最佳抽頭結構決定處理。
在步驟S781中，控制部752把當前的臨時最佳抽頭結構作為基準，按照預先決定的變形規(guī)則將該抽頭結構變形，由此決定最佳抽頭結構的多個候選。
即，例如，假設現在以最接近關注像素位置的像素為中心的橫×縱為3×3的相鄰的像素設為當前的臨時最佳抽頭結構，控制部752例如把以最接近關注像素位置的像素為中心的橫×縱為3×3的每隔一個像素的像素和每隔兩個像素的像素等的、將當前的臨時最佳抽頭結構變形后的抽頭結構，決定為最佳的抽頭結構的多個候選。
此外，關于為了獲得最佳的抽頭結構的多個候選應如何將當前的臨時最佳抽頭結構變形，例如預先決定變形規(guī)則，控制部752按照該變形規(guī)則，將當前的臨時最佳抽頭結構變形，決定最佳的抽頭結構的多個候選。
另外，在最佳的抽頭結構的多個候選中也包含當前的臨時最佳抽頭結構。
在步驟S781的處理之后轉入步驟S782，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成來自控制部752的信號格式信息所表示的關注信號格式Ai的圖像信號(虛擬攝影圖像信號)，作為學生信號，轉入步驟S783。在步驟S783中，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成通過對學生信號實施來自控制部752的處理信息所表示的作為關注處理Ck的圖像處理而得到的作為圖像處理后圖像信號的理想圖像信號，作為教師信號。并且，學習對數據生成部751把作為學生信號的圖像信號、和與該學生信號對應的作為教師信號的圖像信號(通過對學生信號實施處理信息所表示的作為關注處理Ck的圖像處理而得到的教師信號)的集合，作為學習對數據提供給評價值算出部71和學習部255，從步驟S783轉入步驟S784。
在步驟S784中，控制部752把最佳的抽頭結構的多個候選中尚未成為關注抽頭結構的一個決定為關注抽頭結構，轉入步驟S785。
在步驟S785中，控制部752控制前處理部261，使其進行基于關注抽頭結構和當前的臨時最佳前處理系數集合的前處理。由此，前處理部261按照控制部752的控制，對從學習對數據生成部751提供給學習部255的虛擬攝影圖像信號實施前處理，把其結果得到的前處理后攝影圖像信號提供給圖像轉換部262。
即，前處理部261依次把構成與從學習對數據生成部751提供的虛擬攝影圖像信號對應的前處理后攝影圖像信號的像素作為關注像素，對于該關注像素，從由學習對數據生成部751提供的虛擬攝影圖像信號中抽出成為關注抽頭結構的前處理抽頭的多個像素的像素值。而且，前處理部261把作為前處理抽頭的像素值作為自變量，進行利用當前的臨時最佳前處理系數集合定義的前處理用的函數運算，把該前處理用的函數運算結果作為前處理后攝影圖像信號的關注像素的像素值，提供給圖像轉換部262。
在步驟S786中，圖像轉換部262從控制部752接收當前的臨時最佳抽頭系數的集合的提供。而且，圖像轉換部262把從前處理部261提供的前處理后攝影圖像信號設為第1圖像信號，并把對該前處理后攝影圖像信號實施作為關注處理Ck的圖像處理而得到的圖像處理后圖像信號設為第2圖像信號，使用來自控制部752的當前的臨時最佳抽頭系數集合，進行把前處理后攝影圖像信號轉換為圖像處理后圖像信號的圖像轉換處理。并且，圖像轉換部262把通過圖像轉換處理得到的圖像處理后圖像信號提供給顯示控制部68。
在步驟S786的處理之后，轉入步驟S787，顯示控制部68使與圖像轉換部262輸出的圖像處理后圖像信號對應的圖像，以來自控制部752的顯示格式信息所表示的關注顯示格式Bj，顯示在顯示器69中，轉入步驟S788。
在步驟S788中，光檢測器70檢測作為顯示在顯示器69中的圖像(顯示圖像)的光(并進行光電轉換)，把對應該光的電氣信號即顯示圖像信號輸出給評價值算出部71，轉入步驟S789。
在步驟S789中，評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價顯示在顯示器69中的圖像。
即，評價值算出部71從來自學習對數據生成部751的學習對數據獲得與來自光檢測器70的顯示圖像信號對應的教師信號，通過比較顯示圖像信號和對應的教師信號，算出作為顯示圖像信號的評價、進而作為觀看在顯示器69中顯示的圖像的用戶所感覺的像質的評價的評價值，提供給控制部752。
在此，對在步驟S782～S783生成的所有學習對數據進行步驟S785～S789的處理。并且，控制部752對于關注抽頭結構，求出針對所有學習對數據得到的評價值的例如總和，把該總和作為關注抽頭結構的最終評價值進行臨時存儲。
然后，從步驟S789轉入步驟S790，控制部752判斷是否已對在步驟S781中決定的最佳抽頭結構的多個候選全部算出評價值。
在步驟S790中，在判斷為尚未對最佳抽頭結構的多個候選全部算出評價值的情況下，返回步驟S784，控制部752把最佳抽頭結構的多個候選中尚未成為關注抽頭結構的一個決定為新的關注抽頭結構，以后重復相同的處理。
另外，在步驟S790中，在判斷為已對最佳抽頭結構的多個候選全部算出評價值的情況下，轉入步驟S791，控制部752把最佳抽頭結構的多個候選中評價值最高的候選，臨時決定為新的對于當前的臨時最佳前處理系數集合和抽頭系數的集合的組合為最佳的抽頭結構，并返回。
下面，參照圖49的流程圖，詳細說明圖46中的步驟S748的最佳前處理系數集合決定處理。
在步驟S801中，控制部752把當前的臨時最佳前處理系數集合作為基準，根據預先決定的規(guī)則，決定最佳的前處理系數集合的多個候選。
即，控制部752例如選擇把當前的臨時最佳前處理系數集合的各個前處理系數作為分量的φ維向量空間(這種情況下作為前處理系數集合的前處理系數的總數為φ個)所表示的、以φ維向量空間的點為基準的規(guī)定范圍內的多個點，把分別表示該多個點的多個φ維向量(的分量)決定為最佳的前處理系數集合的多個候選。此外，關于為了獲得最佳的前處理系數集合的多個候選而把與當前的臨時最佳前處理系數集合對應的φ維向量作為基準、選擇什么范圍的什么點，預先決定了規(guī)則，控制部752按照該規(guī)則，選擇把與當前的臨時最佳前處理系數集合對應的φ維向量作為基準的規(guī)定范圍內的多個點，由此決定最佳的前處理系數集合的多個候選。
在步驟S801的處理之后轉入步驟S802，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成來自控制部752的信號格式信息所表示的關注信號格式Ai的圖像信號(虛擬攝影圖像信號)，作為學生信號，轉入步驟S803。在步驟S803中，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成通過對學生信號實施來自控制部752的處理信息所表示的作為關注處理Ck的圖像處理而得到的作為圖像處理后圖像信號的理想圖像信號，作為教師信號。并且，學習對數據生成部751把作為學生信號的圖像信號、和與該學生信號對應的作為教師信號的圖像信號(通過對學生信號實施處理信息所表示的作為關注處理Ck的圖像處理而得到的教師信號)的集合，作為學習對數據提供給評價值算出部71和學習部255，從步驟S803轉入步驟S804。
在步驟S804中，控制部752把最佳的前處理系數集合的多個候選中尚未成為關注前處理系數集合的一個決定為關注前處理系數集合，轉入步驟S805。
在步驟S805中，控制部752控制前處理部261，使其進行基于當前的臨時最佳抽頭結構和關注前處理系數集合的前處理。由此，前處理部261按照控制部752的控制，對從學習對數據生成部751提供給學習部255的學習對數據中作為學生信號的虛擬攝影圖像信號實施前處理，把其結果得到的前處理后攝影圖像信號提供給圖像轉換部262。
即，前處理部261依次把構成與從學習對數據生成部751提供的虛擬攝影圖像信號對應的前處理后攝影圖像信號的像素作為關注像素，對于該關注像素，從由學習對數據生成部751提供的作為學生信號的虛擬攝影圖像信號中，抽出成為當前的臨時最佳抽頭結構的前處理抽頭的多個像素的像素值。而且，前處理部261把前處理抽頭的像素值作為自變量，進行由關注前處理系數集合定義的前處理用的函數運算，把該前處理用的函數運算結果作為前處理后攝影圖像信號的關注像素的像素值，提供給圖像轉換部262。
在步驟S806中，圖像轉換部262從控制部752接收當前的臨時最佳抽頭系數的集合的提供。而且，圖像轉換部262把從前處理部261提供的前處理后攝影圖像信號設為第1圖像信號，把對該前處理后攝影圖像信號實施作為關注處理Ck的圖像處理而得到的圖像處理后圖像信號設為第2圖像信號，使用來自控制部752的當前的臨時最佳抽頭系數集合，進行把前處理后攝影圖像信號轉換為圖像處理后圖像信號的圖像轉換處理。并且，圖像轉換部262把通過圖像轉換處理得到的圖像處理后圖像信號提供給顯示控制部68。
在步驟S806的處理之后，轉入步驟S807，顯示控制部68使與圖像轉換部262輸出的圖像處理后圖像信號對應的圖像，以來自控制部752的顯示格式信息所表示的關注最佳顯示格式Bj，顯示在顯示器69中，轉入步驟S808。
在步驟S808中，光檢測器70檢測作為顯示在顯示器69中的圖像(顯示圖像)的光(并進行光電轉換)，把與該光對應的電氣信號即顯示圖像信號輸出給評價值算出部71，轉入步驟S809。
在步驟S809中，評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價在顯示器69中顯示的圖像。
即，評價值算出部71從來自學習對數據生成部751的學習對數據獲得與來自光檢測器70的顯示圖像信號對應的教師信號，通過比較顯示圖像信號和對應的教師信號，算出作為顯示圖像信號的評價、進而作為觀看在顯示器69中顯示的圖像的用戶所感覺的像質的評價的評價值，提供給控制部752。
在此，對在步驟S802～S803生成的所有學習對數據進行步驟S805～S809的處理。并且，控制部752對于關注前處理系數集合，求出針對所有學習對數據得到的評價值的例如總和，把該總和作為關注前處理系數集合的最終評價值進行臨時存儲。
然后，從步驟S809轉入步驟S810，控制部752判斷是否已對在步驟S801決定的最佳前處理系數集合的多個候選全部算出評價值。
在步驟S810中，在判斷為尚未對最佳前處理系數集合的多個候選全部算出評價值的情況下，返回步驟S804，控制部752把最佳前處理系數集合的多個候選中尚未成為關注前處理系數集合的一個決定為新的關注前處理系數集合，以后重復相同的處理。
另外，在步驟S810中，在判斷為已對最佳前處理系數集合的多個候選全部算出評價值的情況下，轉入步驟S811，控制部752把最佳前處理系數集合的多個候選中評價值最高的候選，臨時決定為新的對于當前的臨時最佳抽頭結構和抽頭系數的集合的組合為最佳的前處理系數集合，并返回。
下面，參照圖50的流程圖，說明圖46中的步驟S749的最佳抽頭系數集合決定處理。
在步驟S831中，與圖23中的步驟S111的情況相同，控制部752把當前的臨時最佳抽頭系數集合作為基準，根據預先決定的規(guī)則決定最佳抽頭系數集合的多個候選。
在步驟S831的處理之后轉入步驟S832，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成來自控制部752的信號格式信息所表示的關注信號格式Ai的圖像信號(虛擬攝影圖像信號)，作為學生信號，轉入步驟S833。在步驟S833中，學習對數據生成部751從存儲在學習數據存儲部61中的學習數據，生成通過對學生信號實施來自控制部752的處理信息所表示的作為關注處理Ck的圖像處理而得到的作為圖像處理后圖像信號的理想圖像信號，作為教師信號。并且，學習對數據生成部751把作為學生信號的圖像信號、和與該學生信號對應的作為教師信號的圖像信號(通過對學生信號實施處理信息所表示的作為關注處理Ck的圖像處理而得到的教師信號)的集合，作為學習對數據提供給評價值算出部71和學習部255，從步驟S833轉入步驟S834。
在步驟S834中，控制部752控制前處理部261(圖44)，使其進行基于當前的臨時最佳抽頭結構和前處理系數集合的前處理。由此，前處理部261按照控制部752的控制，對從學習對數據生成部751提供給學習部255的學習對數據中作為學生信號的虛擬攝影圖像信號實施前處理，把其結果得到的前處理后攝影圖像信號提供給圖像轉換部262。
即，前處理部261依次把構成與從學習對數據生成部751提供的虛擬攝影圖像信號對應的前處理后攝影圖像信號的像素作為關注像素，對于該關注像素，從由學習對數據生成部751提供的虛擬攝影圖像信號中抽出成為當前的臨時最佳抽頭結構的前處理抽頭的多個像素的像素值。而且，前處理部261把作為前處理抽頭的像素值作為自變量，進行由當前的臨時最佳前處理系數集合定義的前處理用的函數運算，把該前處理用的函數運算結果作為前處理后攝影圖像信號的關注像素的像素值，提供給圖像轉換部262。
在步驟S835，控制部752把最佳抽頭系數集合的多個候選中尚未成為關注抽頭系數集合的一個決定為關注抽頭系數集合，把該關注抽頭系數集合提供給圖像轉換部262，轉入步驟S836。
在步驟S836中，圖像轉換部262把從前處理部261提供的前處理后攝影圖像信號設為第1圖像信號，并把對該前處理后攝影圖像信號實施作為關注處理Ck的圖像處理而得到的圖像處理后圖像信號設為第2圖像信號，使用在前面的步驟S835中從控制部752提供的關注抽頭系數集合，進行把前處理后攝影圖像信號轉換為圖像處理后圖像信號的圖像轉換處理。并且，圖像轉換部262把通過圖像轉換處理得到的圖像處理后圖像信號提供給顯示控制部68。
在步驟S836的處理之后，轉入步驟S837，顯示控制部68使與學習部255輸出的圖像處理后圖像信號對應的圖像，以來自控制部752的顯示格式信息表示的關注顯示格式Bj，顯示在顯示器69中，轉入步驟S838。
在步驟S838中，光檢測器70檢測顯示在顯示器69中的作為顯示圖像的光(并進行光電轉換)，把與該光對應的電氣信號即顯示圖像信號輸出給評價值算出部71，轉入步驟S839。
在步驟S839中，評價值算出部71評價來自光檢測器70的顯示圖像信號，進而評價在顯示器69中顯示的圖像。
即，評價值算出部71從由學習對數據生成部751提供的學習對數據獲得與來自光檢測器70的顯示圖像信號對應的教師信號，通過比較顯示圖像信號和對應的教師信號，算出作為顯示圖像信號的評價、進而作為觀看在顯示器69中顯示的圖像的用戶所感覺的像質的評價的評價值，提供給控制部752。
其中，對在步驟S832～S833中生成的所有學習對數據進行步驟S834、步驟S836～S839的處理。并且，控制部752對于關注抽頭系數集合，求出針對所有學習對數據得到的評價值的例如總和，把該總和作為與關注抽頭系數集合相關的最終評價值進行臨時存儲。
然后，從步驟S839轉入步驟S840，控制部752判斷是否已對最佳抽頭系數集合的多個候選全部算出評價值。
在步驟S840中，在判斷為尚未對最佳抽頭系數集合的多個候選全部算出評價值的情況下，返回步驟S835，控制部752把最佳抽頭系數集合的多個候選中尚未成為關注抽頭系數集合的一個決定為新的關注抽頭系數集合，以后重復相同的處理。
另外，在步驟S840中，在判斷為已對最佳抽頭系數集合的多個候選全部算出評價值的情況下，轉入步驟S841，控制部752把最佳抽頭系數集合的多個候選中評價值最高的候選，臨時決定為新的對于當前的臨時最佳抽頭結構和前處理系數集合的組合為最佳的抽頭系數集合并返回。
下面，圖51表示處理圖像的圖像處理系統(tǒng)的第5結構示例。
在圖51中，圖像處理系統(tǒng)由照相機1001、發(fā)送裝置1002、接收裝置1003和顯示裝置1004構成。
照相機1001拍攝物體(被攝體)，作為通過該攝影得到的圖像信號，輸出已有的信號格式例如D1格式的SD圖像信號。
即，照相機1001由成像器1011、圖像轉換部1012和IF(Interface接口)1013構成。
成像器1011例如是CCD、CMOS成像器等光電轉換元件，對射入此處的光進行光電轉換，輸出其結果得到的電氣信號即規(guī)定信號格式的SD圖像信號，即，例如拜耳格式的SD圖像信號。
成像器1011輸出的拜耳格式的SD圖像信號提供給圖像轉換部1012。圖像轉換部1012進行圖像轉換處理，把來自成像器1011的拜耳格式的SD圖像信號轉換為可以從后級的I/F1013輸出的D1格式的SD圖像信號，把通過該圖像轉換處理得到的D1格式的SD圖像信號提供給I/F1013。
I/F1013是用于進行D1格式的SD圖像信號的輸入輸出的接口，把從圖像轉換部1012提供的D1格式的SD圖像信號輸出到外部。
從照相機1001的I/F1013輸出的D1格式的SD圖像信號通過有線或無線的通信發(fā)送給發(fā)送裝置1002。
發(fā)送裝置1002接收來自照相機1001的D1格式的SD圖像信號，將其例如作電視播放信號進行發(fā)送。
即，發(fā)送裝置1002由I/F1021、圖像轉換部1022、信號處理部1023、圖像轉換部1024和I/F1025構成。
I/F1021是用于進行D1格式的SD圖像信號的輸入輸出的接口，接收來自照相機1001(的I/F1013)的D1格式的SD圖像信號，提供給圖像轉換部1022。
圖像轉換部1022進行圖像轉換處理，把成分信號即來自I/F1021的D1格式的SD圖像信號轉換為可以在后級的信號處理部1023處理的例如混合信號的SD圖像信號，把其結果得到的混合信號的SD圖像信號提供給信號處理部1023。
信號處理部1023對來自圖像轉換部1022的混合信號的SD圖像信號實施規(guī)定的信號處理，把該信號處理的結果得到的混合信號的SD圖像信號提供給圖像轉換部1024。
圖像轉換部1024進行圖像轉換處理，把來自信號處理部1023的混合信號的SD圖像信號轉換為可以從后級的I/F1025輸出的D1格式的SD圖像信號，把通過該圖像轉換處理得到的D1格式的SD圖像信號提供給I/F1025。
I/F1025是用于進行D1格式的SD圖像信號的輸入輸出的接口，把從圖像轉換部1024提供的D1格式的SD圖像信號輸出到外部。
從發(fā)送裝置1002的I/F1025輸出的D1格式的SD圖像信號，作為電視播放信號通過有線或無線通信發(fā)送給接收裝置1003。
接收裝置1003例如是接收電視播放信號的調諧器等，接收從發(fā)送裝置1002發(fā)送來的D1格式的SD圖像信號。
即，接收裝置1003由I/F1031、圖像轉換部1032、信號處理部1033、圖像轉換部1034和I/F1035構成。
I/F1031是用于進行D1格式的SD圖像信號的輸入輸出的接口，接收來自發(fā)送裝置1002(的I/F1025)的D1格式的SD圖像信號，提供給圖像轉換部1032。
圖像轉換部1032進行圖像轉換處理，把來自I/F1031的D1格式的SD圖像信號轉換為可以在后級的信號處理部1033處理的、例如亮度信號和色差信號(以下將兩者統(tǒng)稱為Y/C信號)，把其結果得到的Y/C信號提供給信號處理部1033。
信號處理部1033對來自圖像轉換部1032的Y/C信號實施規(guī)定的信號處理，把該信號處理的結果得到的Y/C信號提供給圖像轉換部1034。
圖像轉換部1034進行圖像轉換處理，把來自信號處理部1033的Y/C信號轉換為可以從后級的I/F1035輸出的D1格式的SD圖像信號，把通過該圖像轉換處理得到的D1格式的SD圖像信號提供給I/F1035。
I/F1035是用于進行D1格式的SD圖像信號的輸入輸出的接口，把從圖像轉換部1034提供的D1格式的SD圖像信號輸出到外部。
從接收裝置1003的I/F1035輸出的D1格式的SD圖像信號通過有線或無線通信發(fā)送給顯示裝置1004。
顯示裝置1004例如接收來自接收裝置1003的D1格式的SD圖像信號，顯示對應的圖像。
即，顯示裝置1004由I/F1041、圖像轉換部1042、顯示控制部1043和顯示器1044構成。
I/F1041是用于進行D1格式的SD圖像信號的輸入輸出的接口，接收來自接收裝置1003(的I/F1035)的D1格式的SD圖像信號，提供給圖像轉換部1042。
圖像轉換部1042進行圖像轉換處理，把來自I/F1041的D1格式的SD圖像信號轉換為可以通過后級的顯示控制部1043對顯示器1044進行顯示的例如RGB圖像信號，把其結果得到的RGB圖像信號提供給顯示控制部1043，其中RGB圖像信號對于一個像素作為像素值具有R、G、B的顏色成分。
顯示控制部1043使與來自圖像轉換部1042的RGB圖像信號對應的圖像顯示在顯示器1044中。
顯示器1044由CRT和LCD面板等構成，利用已有的顯示格式例如條紋狀顯示圖像。
在以上那樣構成的圖像處理系統(tǒng)中，通過圖像轉換部1012的圖像轉換處理，把在照相機1001中通過攝影得到的拜耳格式的SD圖像信號，轉換為適合于在裝置之間傳遞的D1格式的SD圖像信號并輸出。
照相機1001輸出的D1格式的SD圖像信號提供給發(fā)送裝置1002。發(fā)送裝置1002通過圖像轉換部1022的圖像轉換處理，把來自照相機1001的D1格式的SD圖像信號轉換為適合于內部的信號處理部1023的信號處理的混合信號的SD圖像信號，實施信號處理。而且，發(fā)送裝置1002通過圖像轉換部1024的圖像轉換處理，把信號處理后的混合信號的SD圖像信號轉換為適合于在裝置之間傳遞的D1格式的SD圖像信號并發(fā)送。
發(fā)送裝置1002發(fā)送的D1格式的SD圖像信號在接收裝置1003中接收。接收裝置1003通過圖像轉換部1032的圖像轉換處理，把來自發(fā)送裝置1002的D1格式的SD圖像信號轉換為適合于內部的信號處理部1033的信號處理的Y/C信號，實施信號處理。而且，接收裝置1003通過圖像轉換部1034的圖像轉換處理，把信號處理后的Y/C信號轉換為適合于在裝置之間傳遞的D1格式的SD圖像信號并輸出。
接收裝置1003輸出的D1格式的SD圖像信號提供給顯示裝置1004。顯示裝置1004把來自接收裝置1003的D1格式的SD圖像信號轉換為適合于在顯示器1044上顯示的RGB圖像信號，顯示與該RGB圖像信號對應的圖像。
如以上那樣，構成圖51的圖像處理系統(tǒng)的照相機1001、發(fā)送裝置1002和接收裝置1003均輸出現有信號格式即D1格式的SD圖像信號，所以具有輸入D1格式的圖像信號的I/F的裝置，可以接受(輸入)照相機1001、發(fā)送裝置1002和接收裝置1003任一方的輸出。
另外，構成圖51的圖像處理系統(tǒng)的發(fā)送裝置1002、接收裝置1003和顯示裝置1004均可以接受現有信號格式即D1格式的SD圖像信號，所以發(fā)送裝置1002、接收裝置1003和顯示裝置1004可以接受任何具有輸出D1格式的圖像信號的I/F的裝置的輸出。
那么，在圖51所示的圖像處理系統(tǒng)中，在照相機1001、發(fā)送裝置1002、接收裝置1003和顯示裝置1004中，進行把一種信號轉換為另一種信號的處理。
即，在照相機1001中進行把拜耳格式的SD圖像信號轉換為D1格式的SD圖像信號的處理，在發(fā)送裝置1002中進行把D1格式的SD圖像信號轉換為混合信號的SD圖像信號的處理、和把混合信號的SD圖像信號轉換為D1格式的SD圖像信號的處理。另外，在接收裝置1003中進行把D1格式的SD圖像信號轉換為Y/C信號的處理、和把Y/C信號的轉換為D1格式的SD圖像信號的處理，在顯示裝置1004中進行把D1格式的SD圖像信號轉換為RGB圖像信號的處理。
在把一種信號轉換為另一種信號的處理中，通常會發(fā)生信號成分的損失(包含S/N的降低)，但根據基于類分類適應處理的圖像轉換處理，類分類適應處理如上所述是具有信號成分的創(chuàng)造作用的處理，所以能夠把信號成分的損失抑制(進一步降低)在最小限度。
因此，在圖51的圖像處理系統(tǒng)的照相機1001、發(fā)送裝置1002、接收裝置1003和顯示裝置1004中，在把一種信號轉換為另一種信號的處理中采用基于類分類適應處理的圖像轉換處理。
即，在圖51中，照相機1001的圖像轉換部1012、發(fā)送裝置1002的圖像轉換部1022和1024、接收裝置1003的圖像轉換部1032和1034、及顯示裝置1004的圖像轉換部1042，進行基于類分類適應處理的圖像轉換處理。
圖52表示圖51中的圖像轉換部1012的結構示例。
圖像轉換部1012由抽頭抽出部1061和1062、類分類部1063、系數存儲器1064、及預測部1065構成。
來自成像器1011的拜耳格式的SD圖像信號作為第1圖像信號提供給圖像轉換部1012。并且，作為第1圖像信號的SD圖像信號提供給抽頭抽出部1061和1062。
抽頭抽出部1061把轉換作為第1圖像信號的拜耳格式的SD圖像信號而得到的D1信號格式的SD圖像信號，設為第2圖像信號(該作為第2圖像信號的HD圖像信號是將來將要求出的圖像信號，在當前階段不存在，所以進行假想設定)，依次把構成該第2圖像信號的像素設為關注像素，并且，從第1圖像信號抽出在預測該關注像素的像素值時使用的多個像素的像素值即預測抽頭。
具體地講，抽頭抽出部1061將相對于與關注像素對應的第1圖像信號的圖像位置(例如，拍攝有與拍攝在關注像素位置上的被攝體相同的被攝體的一部分的第1圖像信號在圖像上的位置)，在空間上或時間上處于接近的位置關系的多個像素(例如最接近與關注像素對應的第1圖像信號在圖像上的位置的像素、和在空間上與該像素相鄰的像素等)的像素值，作為預測抽頭抽出。
抽頭抽出部1062從第1圖像信號，抽出在進行把關注像素分類為幾個(多個)類中任一類的類分類時使用的作為多個像素的像素值的類抽頭。
由抽頭抽出部1061獲取的預測抽頭提供給預測部1065，由抽頭抽出部1062獲取的類抽頭提供給類分類部1063。
類分類部1063根據來自抽頭抽出部1062的類抽頭，對關注像素進行類分類，把其結果得到的關注像素的類提供給系數存儲器1064。
在此，作為進行類分類的方法，可以采用與在圖4的類分類部43中說明的方法相同的方法。
系數存儲器1064存儲通過使用學習對數據的學習而預先求出的每個類的抽頭系數(的集合)，該學習對數據是從作為在學習中使用的學習數據而準備的高像質的圖像信號生成的、分別相當于第1圖像信號和第2圖像信號的作為學生信號的圖像信號、與作為教師信號的圖像信號的組合。即，系數存儲器1064對于可以在類分類部1063將關注像素類分類的多個類，分別存儲抽頭系數的集合。系數存儲器1064輸出每個類的抽頭系數的集合中從類分類部1063提供的類代碼所表示的類、也就是關注像素的類的抽頭系數的集合。
預測部1065獲取抽頭抽出部1061輸出的預測抽頭、和系數存儲器1064輸出的抽頭系數，使用該預測抽頭和抽頭系數，進行求出關注像素的真值的預測值的規(guī)定的預測運算。由此，預測部1065求出關注像素的像素值(的預測值)并輸出，即，求出并輸出構成第2圖像信號的像素的像素值。
下面，參照圖53的流程圖，說明圖52中的圖像轉換部1012進行的圖像轉換處理。
在抽頭抽出部1061中，構成與從成像器1011提供的作為第1圖像信號的SD圖像信號對應的、作為第2圖像信號的D1格式的SD圖像信號的各個像素，被依次設為關注像素。并且，在步驟S1001中，抽頭抽出部1061和1062分別從提供給其的第1圖像信號中抽出作為與關注像素相關的預測抽頭和類抽頭的像素的像素值。并且，預測抽頭從抽頭抽出部1061提供給預測部1065，類抽頭從抽頭抽出部1062提供給類分類部1063。
類分類部1063從抽頭抽出部1062接收與關注像素相關的類抽頭，在步驟S1002中，根據該類抽頭對關注像素進行類分類。而且，類分類部1063把該類分類的結果得到的關注像素的類輸出給系數存儲器1064，轉入步驟S1003。
在步驟S1003中，系數存儲器1064讀出并輸出從類分類部1063提供的類代碼所表示的類的抽頭系數、即關注像素的類的抽頭系數，轉入步驟S1004。系數存儲器1064輸出的抽頭系數在預測部中1065獲取。
在步驟S1004中，預測部1065使用抽頭抽出部1061輸出的預測抽頭和從系數存儲器1064獲取的抽頭系數，進行作為規(guī)定的預測運算的算式(1)的運算，由此求出關注像素的像素值即第2圖像信號的像素的像素值。預測部1065按照以上那樣，例如每求出一幀的第2圖像信號的像素的像素值，輸出該第2圖像信號即D1格式的SD圖像信號。
下面，圖54表示進行學習處理的學習裝置的結構示例，該學習處理用于求出存儲在圖52的系數存儲器1064中的抽頭系數的集合。
圖54中的學習裝置由學習數據存儲部1071、學習對數據生成部1072、抽頭抽出部1073、1074、類分類部1075、正規(guī)方程式生成部1076、及抽頭系數運算部1077構成，通過進行基于使用上述正規(guī)方程式的學習方法、即基于對每個類建立算式(8)的正規(guī)方程式并求解的學習方法的學習，求出每個類的抽頭系數。
學習數據存儲部1071存儲例如SHD圖像信號、HD圖像信號或SD圖像信號，作為學習數據。
學習對數據生成部1072依次把存儲在學習數據存儲部1071中作為學習數據的圖像信號的幀設為關注幀，從關注幀生成作為學生信號的相當于第1圖像信號的拜耳格式的SD圖像信號、和作為教師信號的相當于第2圖像信號的D1號格式的SD圖像信號，把該作為學生信號的SD圖像信號和作為教師信號的SD圖像信號的集合作為學習對數據，提供給抽頭抽出部1073和1074及正規(guī)方程式生成部1076。
抽頭抽出部1073依次把從學習對數據生成部1072提供的學習對數據中作為教師信號的D1格式的SD圖像信號的像素作為關注像素，對于該關注像素，從學習對數據中作為學生信號的拜耳格式的SD圖像信號抽出作為預測抽頭的像素的像素值，把與在構成圖52的圖像轉換部1012的抽頭抽出部1061中獲得的預測抽頭的抽頭結構相同的預測抽頭，提供給正規(guī)方程式生成部1076。
抽頭抽出部1074對于關注像素，從由學習對數據生成部1072提供的拜耳格式的SD圖像信號，抽出作為類抽頭的像素的像素值，把與在構成圖52的圖像轉換部1012的抽頭抽出部1062中獲得的類抽頭的抽頭結構相同的類抽頭，提供給類分類部1075。
類分類部1075根據從抽頭抽出部1074提供的類抽頭，與構成圖52的圖像轉換部1012的類分類部1063相同，對關注像素進行類分類，把其結果得到的關注像素的類提供給正規(guī)方程式生成部1076。
正規(guī)方程式生成部1076對從類分類部1075提供的每個類進行累加，該累加以從學習對數據生成部1072提供的學習對數據中作為教師信號的D1格式的SD圖像信號中的關注像素(的像素值)yk、和構成從抽頭抽出部1061提供的與關注像素相關的預測抽頭的像素(的像素值)xn，k為對象。
即，正規(guī)方程式生成部1076對從類分類部1075提供的每個類，使用構成從抽頭抽出部1073提供的與關注像素相關的預測抽頭的拜耳格式的SD圖像信號的像素(第1像素)xn，k，進行相當于算式(8)中左邊矩陣中的各個第1像素的相乘(xn，kxn’，k)和求和(∑)的運算。
而且，正規(guī)方程式生成部1076還對從類分類部1075提供的每個類，使用第1像素xn，k和D1格式的SD圖像信號的像素(關注像素)yk，進行相當于算式(8)中右邊的向量中的第1像素xn，k和關注像素yk的相乘(xn，kyk)以及求和(∑)的運算。
即，正規(guī)方程式生成部1076把對前次成為關注像素的D1格式的SD圖像信號的像素(第2像素)求出的、算式(8)中的左邊矩陣的成分(∑xn，kxn’，k)和右邊的向量中的成分(∑xn，kyk)，存儲到其內置的存儲器(未圖示)中。
并且，正規(guī)方程式生成部1076將存儲在存儲器中的矩陣的成分(∑xn，kxn’，k)，與使用構成與重新成為關注像素的第2像素相關的預測抽頭的第1像素xn，k+1而進行運算的對應的成分xn，k+1xn’，k+1相加(進行利用算式(8)中左邊矩陣內的求和表示的相加)，并且將存儲在存儲器中的向量的成分(∑xn，kyk)，與對重新成為關注像素的第2像素使用該第2像素yk+1和第1像素xn，k+1而進行運算的對應的成分xn，k+1yk+1相加(進行利用算式(8)中右邊向量內的求和表示的相加)。
正規(guī)方程式生成部1076把從學習對數據生成部1072提供的學習對數據中作為教師信號的D1格式的SD圖像信號的所有像素作為關注像素，并進行上述的累加，由此對于各個類建立算式(8)所示的正規(guī)方程式，把該正規(guī)方程式提供給抽頭系數算出部1077。
抽頭系數算出部1077通過求解從正規(guī)方程式生成部1076提供的與各個類相關的正規(guī)方程式，對各個類求出最佳的抽頭系數(使算式(4)的平方誤差的總和E為最小的抽頭系數)wn的集合。
下面，參照圖55的流程圖，說明圖54中的學習裝置進行的求出抽頭系數的集合的學習處理。
在圖54的學習裝置中，在步驟S1011中，學習對數據生成部1072從存儲在學習數據存儲部1071中的學習數據，生成作為學生信號的拜耳格式的SD圖像信號、和作為教師信號的D1格式的SD圖像信號，把這種作為學生信號的SD圖像信號和作為教師信號的SD圖像信號的集合，作為學習對數據，提供給抽頭抽出部1073和1074及正規(guī)方程式生成部1076，轉入步驟S1012。
在步驟S1012中，抽頭抽出部1073依次把從學習對數據生成部1072提供的學習對數據中作為教師信號的D1格式的SD圖像信號的像素設為關注像素，對于該關注像素，從學習對數據中作為學生信號的拜耳格式的SD圖像信號，抽出成為預測抽頭的像素的像素值，提供給正規(guī)方程式生成部1076。
另外，抽頭抽出部1074對于關注像素，從學習對數據中作為學生信號的拜耳格式的SD圖像信號，抽出成為類抽頭的像素的像素值，提供給類分類部1075。
在步驟S1013中，類分類部1075根據來自抽頭抽出部1074的類抽頭，對關注像素進行類分類，把其結果得到的關注像素的類提供給正規(guī)方程式生成部1075，轉入步驟S1014。
在步驟S1014中，正規(guī)方程式生成部1076把來自學習對數據生成部1072的學習對數據中的關注像素(的像素值)、和構成對從抽頭抽出部1073提供的關注像素得到的預測抽頭的拜耳格式的SD圖像信號的像素(的像素值)作為對象，按照上面所述進行對從類分類部1075提供的類而建立的算式(8)的累加。
并且，正規(guī)方程式生成部1076把從學習對數據生成部1072提供的學習對數據中作為教師信號的D1格式的SD圖像信號的所有像素設為關注像素，進行步驟S1014的累加時，把通過該累加得到的各個類的正規(guī)方程式(每個類的算式(8)中的左邊矩陣和右邊的向量)，提供給抽頭系數算出部1077，從步驟S1014轉入步驟S1015。
在步驟S1015中，抽頭系數算出部1077通過求解從正規(guī)方程式生成部1076提供的各個類的正規(guī)方程式(利用每個類的算式(8)中的左邊矩陣和右邊的向量而構成的每個類的正規(guī)方程式)，求出各個類的抽頭系數的集合。
在以上的學習處理中，通過抽頭系數算出部1077求出的抽頭系數的集合，被存儲在構成圖52中的圖像轉換部1012的系數存儲器1064中。
此外，除圖51中的照相機1001的圖像轉換部1012以外，發(fā)送裝置1002的圖像轉換部1022和1024、接收裝置1003的圖像轉換部1032和1034、及顯示裝置1004的圖像轉換部1042也按照圖52所示構成。但是，存儲在系數存儲器1064中的抽頭系數的集合，因每個圖像轉換部1012、1022、1024、1032、1034和1042而各自不同。
即，在構成把拜耳格式的SD圖像信號轉換為D1格式的圖像信號的圖像轉換部1012的系數存儲器1064中，如上所述存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的拜耳格式的SD圖像信號和D1格式的SD圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
另外，在構成把D1格式的SD圖像信號轉換為混合信號的SD圖像信號的圖像轉換部1022的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的D1格式的SD圖像信號和混合信號的SD圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
而且，在構成把混合信號的SD圖像信號轉換為D1格式的SD圖像信號的圖像轉換部1024的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的混合信號的SD圖像信號和D1格式的SD圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
同樣，在構成把D1格式的SD圖像信號轉換為Y/C信號的圖像轉換部1032的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的D1格式的SD圖像信號和Y/C信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的；在構成把Y/C信號轉換為D1格式的SD圖像信號的圖像轉換部1034的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的Y/C信號和D1格式的SD圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
另外，在構成把D1格式的SD圖像信號轉換為RGB圖像信號的圖像轉換部1042的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的D1格式的SD圖像信號和RGB圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
下面，圖56表示處理圖像的圖像處理系統(tǒng)的第6結構示例。
此外，對于圖中與圖51的情況對應的部分賦予相同符號，所以以下適當省略其說明。
在圖56中，圖像處理系統(tǒng)由照相機1101、發(fā)送裝置1102、接收裝置1103和顯示裝置1104構成。
照相機1101拍攝物體(被攝體)，作為通過該攝影得到的圖像信號，輸出已有的信號格式例如D1格式的SD圖像信號。
即，照相機1101由成像器1011、圖像轉換部1111和IF(Interface接口)1112構成。
成像器1011輸出的拜耳格式的SD圖像信號提供給圖像轉換部1111。圖像轉換部1111進行圖像轉換處理，把來自成像器1011的拜耳格式的SD圖像信號轉換為可以在后級的發(fā)送裝置1102中處理的混合信號的SD圖像信號，把通過該圖像轉換處理得到的混合信號的SD圖像信號提供給I/F1112。
I/F1112是用于進行混合信號的SD圖像信號的輸入輸出的接口，把從圖像轉換部1111提供的混合信號的SD圖像信號輸出到外部。
從照相機1101的I/F1112輸出的混合信號的SD圖像信號，通過有線或無線通信發(fā)送給發(fā)送裝置1102。
發(fā)送裝置1102接收來自照相機1101的混合信號的SD圖像信號，將其例如作為電視播放信號進行發(fā)送。
即，發(fā)送裝置1102由I/F1121、信號處理部1023、圖像轉換部1122、及I/F1123構成。
I/F1121是用于進行混合信號的SD圖像信號的輸入輸出的接口，接收來自照相機1101(的I/F1112)的混合信號的SD圖像信號，提供給可以處理混合信號的信號處理部1023。
圖像轉換部1122進行圖像轉換處理，把信號處理部1023輸出的混合信號的SD圖像信號轉換為可以在后級的接收裝置1103中處理的Y/C信號，把通過該圖像轉換處理得到的Y/C信號提供給I/F1123。
I/F1123是用于進行Y/C信號的輸入輸出的接口，把從圖像轉換部1122提供的Y/C信號輸出到外部。
從發(fā)送裝置1102的I/F1123輸出的Y/C信號，作為電視播放信號通過有線或無線通信發(fā)送給接收裝置1103。
接收裝置1103例如是接收電視播放信號的調諧器等，接收從發(fā)送裝置1102發(fā)送來的Y/C信號。
即，接收裝置1103由I/F1131、信號處理部1033、圖像轉換部1132和I/F1133構成。
I/F1131是用于進行Y/C信號的輸入輸出的接口，接收來自發(fā)送裝置1102(的I/F1123)的Y/C信號，提供給可以處理Y/C信號的信號處理部1033。
圖像轉換部1132進行圖像轉換處理，把信號處理部1033輸出的Y/C信號轉換為可以在后級的顯示裝置1104的顯示中使用的RGB圖像信號，把通過該圖像轉換處理得到的RGB圖像信號提供給I/F1133。
I/F1133是用于進行RGB圖像信號的輸入輸出的接口，把從圖像轉換部1132提供的RGB圖像信號輸出到外部。
從接收裝置1103的I/F1133輸出的RGB圖像信號通過有線或無線通信發(fā)送給顯示裝置1104。
顯示裝置1104例如接收來自接收裝置1103的RGB圖像信號，顯示對應的圖像。
即，顯示裝置1104由I/F1141、顯示控制部1043和顯示器1044構成。
I/F1141是用于進行RGB圖像信號的輸入輸出的接口，接收來自接收裝置1003(的I/F1133)的RGB圖像信號，提供給控制與RGB圖像信號對應的圖像的顯示的顯示控制部1043。
在如以上那樣構成的圖像處理系統(tǒng)中，通過圖像轉換部1111的圖像轉換處理，把在照相機1101中通過攝影得到的拜耳格式的SD圖像信號，轉換為適合于在后級的發(fā)送裝置1102中處理的混合信號的SD圖像信號并輸出。
在發(fā)送裝置1102中，在信號處理部1023中對來自照相機1101的混合信號的SD圖像信號實施信號處理，通過圖像轉換部1122的圖像轉換處理，把信號處理后的混合信號的SD圖像信號轉換為適合于在后級的接收裝置1103中處理的Y/C信號并發(fā)送。
接收裝置1003在信號處理部1133中對來自發(fā)送裝置1102的Y/C信號實施信號處理，通過圖像轉換部1132的圖像轉換處理，把信號處理后的Y/C信號轉換為適合于在后級的顯示裝置1104中處理的RGB圖像信號并輸出。
并且，在顯示裝置1104中，顯示控制部1043在顯示器1044中顯示與來自接收裝置1103的RGB圖像信號對應的圖像。
如以上那樣，在圖56的圖像處理系統(tǒng)中，照相機1101輸出適合于后級的發(fā)送裝置1102的處理的混合信號的SD圖像信號，發(fā)送裝置1102也輸出適合于后級的接收裝置1103的處理的Y/C信號。同樣，接收裝置1103也輸出適合于后級的顯示裝置1104的處理的RGB圖像信號。
因而，在圖56的圖像處理系統(tǒng)中，發(fā)送裝置1102可以構成為不設置用于把D1格式的SD圖像信號轉換為適合于信號處理部1023處理的混合信號的SD圖像信號的圖像轉換部1022(圖51)。
另外，接收裝置1103可以構成為不設置用于把D1格式的SD圖像信號轉換為適合于信號處理部1033處理的Y/C信號的圖像轉換部1032(圖51)。同樣，顯示裝置1104也可以構成為不設置用于把D1格式的SD圖像信號轉換為適合于顯示控制部1043的圖像顯示的RGB圖像信號的圖像轉換部1042(圖51)。
此外，在圖56的圖像處理系統(tǒng)的照相機1101的圖像轉換部1111、發(fā)送裝置1102的圖像轉換部1122、和接收裝置1103的圖像轉換部1132中，為了把信號成分的損失抑制在最小限度(進一步降低)，在圖像轉換處理中也可以采用類分類適應處理。
在該情況下，圖像轉換部1111、1122和1132構成為與圖52所示的圖像轉換部1012相同。但是，存儲在系數存儲器1064(圖51)中的抽頭系數的集合，因每個圖像轉換部1111、1122和1132而分別不同。
即，在構成把拜耳格式的SD圖像信號轉換為混合信號的圖像信號的圖像轉換部1111的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的拜耳格式的SD圖像信號和混合信號的SD圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
另外，在構成把混合信號的SD圖像信號轉換為Y/C信號的圖像轉換部1122的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的混合信號的SD圖像信號和Y/C信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
另外，在構成把Y/C信號轉換為RGB圖像信號的圖像轉換部1132的系數存儲器1064中，存儲著如下抽頭系數的集合，該抽頭系數的集合是通過把從作為學習數據的圖像信號生成的Y/C信號和RGB圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的。
下面，圖57表示處理圖像的圖像處理系統(tǒng)的第7結構示例。
此外，對于圖中與圖51或圖56對應的部分賦予相同符號，所以以下適當省略其說明。
在圖57中，圖像處理系統(tǒng)由照相機1201和顯示裝置1104構成。
照相機1201拍攝物體(被攝體)，作為通過該攝影得到的圖像信號，輸出可以在后級的顯示裝置1104的顯示中使用的RGB圖像信號。
即，照相機1201由成像器1011、圖像轉換部1211和I/F1212構成。
成像器1011輸出的拜耳格式的SD圖像信號提供給圖像轉換部1211。圖像轉換部1211進行圖像轉換處理，把來自成像器1011的拜耳格式的SD圖像信號轉換為可以在后級的顯示裝置1104的顯示中使用的RGB圖像信號，把通過該圖像轉換處理得到的RGB圖像信號提供給I/F1212。
I/F1212是用于進行RGB圖像信號的輸入輸出的接口，把從圖像轉換部1211提供的RGB圖像信號輸出到外部。
從照相機1201的I/F1212輸出的RGB圖像信號，通過有線或無線通信提供給顯示裝置1202。
在如以上那樣構成的圖像處理系統(tǒng)中，通過圖像轉換部1211的圖像轉換處理，把在照相機1201中通過攝影得到的拜耳格式的SD圖像信號，轉換為適合于在后級的顯示裝置1104中處理的RGB圖像信號并輸出。
并且，在顯示裝置1104中，顯示控制部1043在顯示器1044中顯示與來自照相機1201的RGB圖像信號對應的圖像。
如以上那樣，在圖57的圖像處理系統(tǒng)中，照相機1201輸出適合于在后級的顯示裝置1104中處理的RGB圖像信號。
因而，在圖57的圖像處理系統(tǒng)中，與圖56的情況相同，顯示裝置1104可以構成為不設置用于把D1格式的SD圖像信號轉換為適合于顯示控制部1043中的圖像顯示的RGB圖像信號的圖像轉換部1042(圖51)。
此外，在圖57的圖像處理系統(tǒng)的照相機1201的圖像轉換部1211中，為了把信號成分的損失抑制在最小限度(進一步降低)，圖像轉換處理也可以采用類分類適應處理。
在該情況下，圖像轉換部1211構成為與圖52所示的圖像轉換部1012相同。但是，存儲在系數存儲器1064(圖52)中的抽頭系數的集合，需要是通過把從作為學習數據的圖像信號生成的拜耳格式的SD圖像信號和RGB圖像信號分別作為學生信號和教師信號，并進行圖55的學習處理而得到的抽頭系數的集合。
如圖56、圖57的圖像處理系統(tǒng)那樣，在前級的裝置(例如，圖57中的照相機1201)中，輸出使在內部得到的某個信號格式的圖像信號(例如拜耳格式的SD圖像信號)成為適合于后級的裝置(例如，圖57中的顯示裝置1104)中的處理的信號格式的圖像信號(例如RGB圖像信號)，由此后級的裝置只能連接前級的裝置那樣的、輸出適合于后級的裝置的處理的信號格式的圖像信號的裝置(前級裝置只能連接能夠接受該前級裝置所輸出的信號格式的圖像信號的、后級裝置那樣的裝置)，在后級的裝置中，不轉換來自前級裝置的圖像信號的信號格式，即可進行信號處理。
此外，在圖56、圖57的圖像處理系統(tǒng)中，設為使其在前級裝置中輸出使在內部得到的某個信號格式的圖像信號成為適合于后級裝置中的處理的信號格式的圖像信號，但除此以外，也可以設為在前級裝置中直接輸出在內部得到的某個信號格式的圖像信號，在后級裝置中，把前級裝置輸出的圖像信號轉換為適合于后級裝置的處理的信號格式的圖像信號，然后進行信號處理。
然后，上述的一系列的處理可以通過硬件進行，也可以通過軟件進行。在通過軟件進行一系列處理的情況下，構成該軟件的程序被安裝在通用計算機等中。
因此，圖58表示安裝了執(zhí)行上述一系列處理的程序的計算機的一個實施方式的結構示例。
程序可以預先記錄在內置于計算機中的作為記錄介質的硬盤2005、ROM2003中。
或者另外，程序可以臨時或永久地保存(記錄)在軟盤、CD-ROM(Compact Disc Read Only Memory光盤只讀存儲器)、MO(Magneto Optical光磁)盤、DVD(Digital Versatile Disc)、磁盤、半導體存儲器等可移動記錄介質2011中。這種可移動記錄介質2011可以作為所謂的包軟件提供。
此外，程序除了從如上述的可移動記錄介質2011安裝在計算機上外，也可以從下載站點通過數字衛(wèi)星播放用的人工衛(wèi)星無線傳送到計算機上，通過LAN(Local Area Network局域網)、因特網等網絡有線傳送到計算機上，在計算機中通過通信部2008接收這樣傳送來的程序，并安裝在內置的硬盤2005中。
計算機內置有CPU(Central Processing Unit中央處理單元)2002。CPU2002通過總線2001連接著輸入輸出接口2010，CPU2002通過輸入輸出接口2010，通過由用戶操作由鍵盤、鼠標和麥克風等構成的輸入部2007等而輸入指令時，隨之執(zhí)行保存在ROM(Read Only Memory只讀存儲器)2003中的程序?；蛘撸硗?，CPU2002將保存在硬盤2005中的程序、從衛(wèi)星或網絡傳送并由通信部2008接收后安裝的硬盤2005中的程序、或從安裝在驅動器2009上的可移動記錄介質2011讀出并安裝的硬盤2005中的程序，載入到RAM(Random Access Memory隨機存取存儲器)2004中并執(zhí)行。由此，CPU2002進行基于上述流程圖的處理、或通過上述方框圖的結構進行的處理。并且，CPU2002根據需要，將該處理結果例如通過輸入輸出接口2010，從利用LCD(LiquidCrystal Display液晶顯示器)、揚聲器等構成的輸出部2006輸出，或者從通信部2008發(fā)送，并且記錄在硬盤2005中等。
在此，在本說明書中，用于記述使計算機執(zhí)行各種處理的程序的處理步驟，未必一定需要在時間序列上按照作為流程圖而記載的順序進行處理，也包含并行或獨立執(zhí)行的處理(例如并行處理或基于目標的處理)。
另外，程序可以通過一臺計算機處理，也可以通過多臺計算機分散處理。另外，程序還可以傳送到遠程計算機上執(zhí)行。
此外，本發(fā)明的實施方式不限于上述實施方式，可以在不脫離本發(fā)明宗旨的范圍內進行各種變更。
權利要求
1.一種處理圖像的圖像處理裝置，具有顯示格式獲取單元，獲取在顯示圖像的顯示單元中顯示圖像的顯示格式；攝影圖像信號獲取單元，獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號；以及信號轉換單元，根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與在所述顯示格式獲取單元中獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理得到的所述高像質圖像信號對應的圖像的顯示格式。
2.根據權利要求1所述的圖像處理裝置，還具備所述攝影單元。
3.根據權利要求1所述的圖像處理裝置，所述信號轉換單元具有預測抽頭抽出單元，從所述攝影圖像信號抽出預測抽頭，該預測抽頭是在預測所述第2信號格式的圖像信號的關注像素的像素值時使用的多個像素的像素值；類抽頭抽出單元，從所述攝影圖像信號抽出類抽頭，該類抽頭是在將所述關注像素分類為多個類中的任一類的類分類中使用的多個像素的像素值；類分類單元，根據所述類抽頭進行所述關注像素的類分類；系數輸出單元，從通過學習而預先求出的多個類各自的抽頭系數中，輸出所述關注像素的類的抽頭系數；以及運算單元，通過使用了所述關注像素的類的抽頭系數和所述預測抽頭的預測運算，求出所述關注像素的像素值。
4.一種處理圖像的圖像處理方法，包括以下步驟獲取在顯示圖像的顯示單元中顯示圖像的顯示格式；獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號；以及根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與所獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理獲得的所述高像質圖像信號對應的圖像的顯示格式。
5.一種使計算機執(zhí)行處理圖像的圖像處理的程序，使計算機執(zhí)行包括以下步驟的圖像處理獲取在顯示圖像的顯示單元中顯示圖像的顯示格式；獲取來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號；以及根據使下述信號格式和下述顯示格式相對應的對應關系信息，把第1信號格式的所述攝影圖像信號轉換為與所獲取的顯示格式對應的信號格式即第2信號格式的圖像信號，所述信號格式是成為下述圖像轉換處理的對象的圖像信號的信號格式，所述圖像轉換處理把圖像信號轉換為比對應于所述圖像信號的圖像更高像質的圖像的高像質圖像信號，所述顯示格式是顯示與通過所述圖像轉換處理獲得的所述高像質圖像信號對應的圖像的顯示格式。
6.一種處理圖像的圖像處理裝置，具有圖像處理決定單元，決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理；信號格式獲取單元，獲取所述攝影圖像信號的信號格式；顯示格式獲取單元，獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施由所述圖像處理決定單元決定的圖像處理而得到的圖像；以及圖像處理單元，根據所述攝影圖像信號的信號格式、用于在所述顯示單元中顯示圖像的顯示格式、和由所述圖像處理決定單元決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施由所述圖像處理決定單元決定的圖像處理。
7.根據權利要求6所述的圖像處理裝置，所述圖像處理單元具有前處理單元，對所述攝影圖像信號實施前處理，輸出前處理后圖像信號；以及圖像轉換單元，將所述前處理后圖像信號即第1圖像信號，通過與通過預先進行的學習得到的抽頭系數進行運算，轉換為第2圖像信號。
8.根據權利要求7所述的圖像處理裝置，所述前處理單元具有前處理抽頭抽出單元，從所述攝影圖像信號抽出前處理抽頭，該前處理抽頭是通過所述前處理求出所述前處理后圖像信號的關注像素的像素值時使用的多個像素的像素值；以及前處理運算單元，通過使用了在作為所述前處理的運算中使用的前處理系數和所述前處理抽頭的運算，求出所述關注像素的像素值。
9.根據權利要求8所述的圖像處理裝置，所述前處理抽頭抽出單元根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式、和由所述圖像處理決定單元決定的圖像處理，抽出相對于所述關注像素為不同的位置關系的多個像素的像素值，作為所述前處理抽頭。
10.根據權利要求8所述的圖像處理裝置，所述前處理運算單元通過進行根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式、和由所述圖像處理決定單元決定的圖像處理而使用不同的所述前處理系數的運算，求出所述關注像素的像素值。
11.根據權利要求7所述的圖像處理裝置，所述圖像轉換單元具有預測抽頭抽出單元，從所述第1圖像信號抽出預測抽頭，該預測抽頭是在預測所述第2圖像信號的關注像素的像素值時使用的多個像素的像素值；類抽頭抽出單元，從所述第1圖像信號抽出類抽頭，該類抽頭是在將所述關注像素分類為多個類中的任一類的類分類中使用的多個像素的像素值；類分類單元，根據所述類抽頭進行所述關注像素的類分類；系數輸出單元，從通過學習而預先求出的多個類各自的抽頭系數中，輸出所述關注像素的類的抽頭系數；以及運算單元，通過使用了所述關注像素的類的抽頭系數和所述預測抽頭的預測運算，求出所述關注像素的像素值。
12.根據權利要求11所述的圖像處理裝置，所述圖像轉換單元通過進行根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式、和由所述圖像處理決定單元決定的圖像處理而使用不同的所述抽頭系數的運算，求出所述關注像素的像素值。
13.一種處理圖像的圖像處理方法，包括以下步驟決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理；獲取所述攝影圖像信號的信號格式；獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施所決定的圖像處理而得到的圖像；以及根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式和所決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施所決定的圖像處理。
14.一種使計算機執(zhí)行的程序，使計算機執(zhí)行包括以下步驟的處理決定對來自對物體進行拍攝的攝影單元的圖像信號即攝影圖像信號實施的圖像處理；獲取所述攝影圖像信號的信號格式；獲取顯示格式，該顯示格式用于在顯示單元中顯示通過對所述攝影圖像信號實施所決定的圖像處理而得到的圖像；以及根據所述攝影圖像信號的信號格式、在所述顯示單元中顯示圖像的顯示格式和所決定的圖像處理，進行不同的處理，由此對所述攝影圖像信號實施所決定的圖像處理。
全文摘要
本發(fā)明提供一種圖像處理裝置和圖像處理方法及程序，使由多個裝置構成的系統(tǒng)的性能提高?？刂撇繘Q定對來自對物體進行拍攝的照相機的攝影圖像信號實施的圖像處理。信號格式獲取部獲取攝影圖像信號的信號格式，顯示格式獲取部獲取顯示格式，該顯示格式用于在顯示器中顯示通過對攝影圖像信號實施由控制部決定的圖像處理而得到的圖像。圖像處理部根據攝影圖像信號的信號格式、用于在顯示器中顯示圖像的顯示格式、和由控制部決定的圖像處理，進行不同的處理，由此對攝影圖像信號實施由控制部決定的圖像處理。本發(fā)明例如可以適用于由照相機和顯示通過該照相機得到的圖像的顯示裝置構成的圖像處理系統(tǒng)等。
文檔編號G09G5/36GK1997111SQ20071000030
公開日2007年7月11日 申請日期2007年1月8日 優(yōu)先權日2006年1月6日
發(fā)明者近藤哲二郎 申請人:索尼株式會社