專利名稱：圖像處理方法、圖像處理裝置及圖像處理程序的制作方法
技術領域：
本發(fā)明涉及一種圖像測量/認識、圖像生成等圖像處理，特別涉及從原圖像生成信息量超過原圖像的信息量高密化圖像的技術。
背景技術：
近年來，由于各種圖像設備、影像設備的數(shù)字化和網(wǎng)絡間的普及，正在形成計算機和家電設備相互連接，遠程操作和媒體合并等所謂的無所不在的網(wǎng)絡社會。圖像設備的規(guī)格，從其機構、攜帶性、功能等的不同涉及到許多方面，因此，具有各種格式的圖像信息正在流通。例如，在面向攜帶式電話的一段(one-segment)地上數(shù)字放送中，必須要將1920像素×1080行的HDTV(High Definition Television)圖像下變頻(down-conversion)為例如320像素×240行的圖像，顯示在攜帶式電話的顯示裝置上。也就是說，必須根據(jù)圖像設備的規(guī)格，變換空間解像度。并且，除了空間解像度以外，有時也要變換因更新速度(refresh rate)的不同而產(chǎn)生的時間解像度。例如，將每秒24幀的電影影片格式變換成每秒30幀的視頻格式的電視電影工序就是一個例子。
在解像度變換中，將生成超過取樣時的解像度的數(shù)據(jù)的操作稱為“超解像”。例如，當想將用DV格式(576像素×480行)記錄的影像顯示在HDTV時，需要像素數(shù)約為2倍，行數(shù)約為2.5倍的超解像處理。并且，對于印刷用原稿必須要高解像度的圖像，例如，當用600dpi的解像度印刷在A4格式紙(297mm×210mm)時，必須準備7128像素×5040行的原稿。由于很多攝影機的解像度都低于此，因此，可以認為例如在從數(shù)字靜像攝影機向打印機的直接打印等中，必須進行超解像處理。由于這兩個例子將解像度取為像素數(shù)和行數(shù)，因此定義為“空間定義域超解像”。另一方面，也有需要使時間解像度高于取樣時的“時間定義域超解像”的時候。例如，當將用隔行掃描(交替)方式記錄的影像顯示在順序掃描(順序的)方式的顯示裝置上時，必須要兩倍倍率的時間定義域超解像處理。這樣的處理被較多地應用在例如將邏輯放送題材挪用到數(shù)字放送時等。
這樣的超解像處理，被作為從現(xiàn)有數(shù)據(jù)來生成新數(shù)據(jù)的內(nèi)插問題對待。內(nèi)插方法的基本想法是從存在于新數(shù)據(jù)近旁的現(xiàn)有數(shù)據(jù)來推測自身的方法。若為空間定義域超解像的話，則從水平、垂直、傾斜方向的鄰接像素所具有的信號值來推測自身的信號值。若為時間定義域超解像的話，則從正前面的數(shù)據(jù)和下一個數(shù)據(jù)來推測自身的數(shù)據(jù)。作為空間定義域超解像的具體方法，一般有最近區(qū)域法、雙線性法、雙立方體(bi-cubic)法等(非專利文獻1)。并且，還提出了用高頻率成分的補充來補償因這些內(nèi)插法的不正常而引起的質(zhì)量劣化的提案(專利文獻1)。
另一方面，還提出了收集多數(shù)含有重復區(qū)域的低解像度的數(shù)據(jù)，以對應點連在一起，來實現(xiàn)超解像處理的手法(專利文獻2)。
非專利文獻1荒屋真二著，「明解3次元計算機圖解」，共立出版，2003年9月25日，p.144-14專利文獻1日本特開2002-116271號公報(圖2)專利文獻2日本特開平8-226879號公報(圖2)但是，在上述非專利文獻1和專利文獻1中所述的超解像處理技術中，對于物體表面的樣子和光澤等，不作任何考慮，在超解像后的圖像中沒有包含保存原圖像的樣子和光澤等的結構。也就是說，有可能因超解像處理，原圖像紋理的印象發(fā)生變質(zhì)，攝在圖像中的物體的質(zhì)感不同。
并且，在專利文獻2所述的技術中，存在必須進行多次攝影，造成操作數(shù)目增加的問題。

發(fā)明內(nèi)容
如上所鑒，本發(fā)明的目的在于提供一種在不使原圖像的圖像特征變質(zhì)的情況下，生成超過原圖像的信息量的圖像的圖像處理技術。
為了解決上述課題，本發(fā)明，解析原圖像的圖像特征(例如，濃度分布、頻率分布、對比度等)，利用所解析的圖像特征、和從圖像信息量(例如，像素數(shù)、灰度數(shù)、彩色信道數(shù)等)超過原圖像的信息量高密化圖像所獲得的圖像特征，進行增加圖像信息量的信息量高密化處理。特別是，當使圖像信息量為解像度時，解析輸入圖像的紋理(樣子和光澤等屬性的總稱)，利用所解析的紋理特征量、和從空間解像度或者時間解像度更高的超解像圖像所獲得的超解像紋理特征量，生成空間定義域超解像圖像或者時間定義域超解像圖像。
(發(fā)明的效果)根據(jù)本發(fā)明，能夠生成在原圖像的圖像特征不發(fā)生變質(zhì)的情況下所保存的超過原圖像的圖像信息量的信息量高密化圖像。特別是，當使圖像信息量為解像度時，能夠在原封不動地保存原圖像所具有的紋理印象的狀態(tài)下，生成空間定義域超解像圖像或者時間定義域超解像圖像。
附圖的簡單說明

圖1為示出了本發(fā)明的第1實施例所涉及的圖像處理裝置的結構的框圖。
圖2為圖1的信息量高密化部的結構的一個例子。
圖3為本發(fā)明的第1實施例所涉及的空間定義域超解像處理的概念圖。
圖4為示出了進行本發(fā)明的第1實施例所涉及的空間定義域超解像處理的圖像處理裝置的概要結構的框圖。
圖5為示出了圖4的紋理解析部的結構和處理的一個例圖。
圖6為示出了圖4的超解像處理部的結構和處理的一個例圖。
圖7為示出了圖4的圖像生成部的結構和處理的一個例圖。
圖8為示出了本發(fā)明的第2實施例所涉及的圖像處理裝置的紋理的框圖。
圖9為示出了進行本發(fā)明的第2實施例所涉及的空間定義域超解像處理的圖像處理裝置的概要結構的框圖。
圖10為示出了在圖9的結構中，算出基本紋理特征量加權系數(shù)的方法的一個例圖。
圖11為示出了本發(fā)明的第3實施例所涉及的圖像處理裝置的結構的圖。
圖12為示出了圖11的紋理特征量向量變換表的制作方法的一個例圖。
圖13為示出了本發(fā)明的第1結構例的圖。
圖14為示出了本發(fā)明的第2結構例的圖。
圖15為示出了本發(fā)明的第3結構例的圖。
(符號的說明)10-圖像特征解析部；20、20A-信息量高密化部；30-圖像生成部；40-紋理解析部(圖像特征解析部)；50、50A-超解像處理部(信息量高密化部)；60-圖像生成部；71-紋理特征量數(shù)據(jù)庫；72-紋理特征量向量變換表；IIN-輸入圖像(原圖像)；FI-圖像特征量；SFI-高密化圖像特征量；IOUT-輸出圖像(高密化圖像)；FVT-紋理特征量向量(圖像特征量)；SFVT-超解像化紋理特征量向量(高密化圖像特征量)。
具體實施例方式
在本發(fā)明的第1形態(tài)中，提供一種圖像處理方法，包括進行原圖像的圖像特征解析，獲得與圖像坐標獨立的圖像特征量的第1步驟；對在上述第1步驟中所獲得的圖像特征量進行信息量高密化，獲得高密化圖像特征量的第2步驟；以及基于在上述第2步驟中所獲得的高密化圖像特征量，生成對上述原圖像進行了信息量高密化的高密化圖像的第3步驟。
在本發(fā)明的第2形態(tài)中，提供上述第1形態(tài)的圖像處理方法，在上述第2步驟中，從預先準備的多個圖像特征范疇中選定上述圖像特征量所屬的圖像特征范疇，從高密化圖像特征量數(shù)據(jù)庫將所選定的圖像特征范疇中的被信息量高密化的基本圖像特征量作為上述高密化圖像特征量讀出。
在本發(fā)明的第3形態(tài)中，提供上述第1形態(tài)的圖像處理方法，在上述第2步驟中，對于上述圖像特征量，分別算出與預先準備的多個圖像特征范疇的相似度，根據(jù)所算出的相似度對上述各圖像特征范疇中的基本圖像特征量進行加權加法，來生成上述高密化圖像特征量。
在本發(fā)明的第4形態(tài)中，提供上述第1形態(tài)的圖像處理方法，在上述第2步驟中，從預先準備的多個圖像特征范疇中選定上述圖像特征量所屬的圖像特征范疇，參照變換表數(shù)據(jù)庫，利用用于所選定的圖像特征范疇中的特征量變換的變換表，將上述圖像特征量變換成上述高密化圖像特征量。
在本發(fā)明的第5形態(tài)中，提供上述第4形態(tài)的圖像處理方法，上述多個圖像特征范疇，以圖像中所攝的物體材質(zhì)為單位設置。
在本發(fā)明的第6形態(tài)中，提供上述第1形態(tài)的圖像處理方法，利用空間解像度或者時間解像度作為上述圖像特征量。
在本發(fā)明的第7形態(tài)中，提供上述第6形態(tài)的圖像處理方法，利用傅里葉變換，求出空間頻率應答或者時間頻率應答。
在本發(fā)明的第8形態(tài)中，提供上述第6形態(tài)的圖像處理方法，利用波率變換，求出空間頻率應答或者時間頻率應答。
在本發(fā)明的第9形態(tài)中，提供上述第6形態(tài)的圖像處理方法，利用分度、相位及空間的方向性中的至少一個不同的多個空間濾波器，求出空間頻率應答或者時間頻率應答。
在本發(fā)明的第10形態(tài)中，提供一種圖像處理裝置，包括進行原圖像的圖像特征解析，獲得與圖像坐標獨立的圖像特征量的圖像特征解析部；對由上述圖像特征解析部得到的圖像特征量進行信息量高密化，獲得高密化圖像特征量的信息量高密化部；以及基于由上述信息量高密化部得到的高密化圖像特征量，生成對上述原圖像進行了信息量高密化的高密化圖像的圖像生成部。
在本發(fā)明的第11形態(tài)中，提供使計算機執(zhí)行下述步驟的圖像處理程序，進行原圖像的圖像特征解析，獲得與圖像坐標獨立的圖像特征量的第1步驟；對在上述第1步驟中所獲得的圖像特征量進行信息量高密化，獲得高密化圖像特征量的第2步驟；以及基于在上述第2步驟中所獲得的高密化圖像特征量，生成對上述原圖像進行了信息量高密化的高密化圖像的第3步驟。
以下，參照附圖對本發(fā)明的實施例加以說明。
(第1實施例)圖1為示出了本發(fā)明的第1實施例所涉及的圖像處理裝置的結構的框圖。圖1所示的圖像處理裝置是生成超過原圖像的信息量的信息量高密化圖像的裝置。
這里，在本案說明書中，“信息量高密化”是指增加所提供的圖像的圖像信息量的處理，根據(jù)情況可記載為“超信息處理”或者“超信息化”。圖像信息量是指例如像素數(shù)、灰度數(shù)、彩色信道數(shù)等。若以像素數(shù)為例，對于320像素×240行的像素，同時在水平方向和垂直方向進行擴大到4倍的信息量高密化處理的話，則生成總像素數(shù)成為16倍的1280像素×960行的圖像。當為灰度數(shù)時，例如，將各像素128灰度的輸入圖像擴大到256灰度的處理，相當于兩倍的信息量高密化處理。當為彩色信道數(shù)時，將單色圖像(彩色信道數(shù)為1)變換成RGB圖像的處理，相當于3倍的信息量高密化處理。
組合上述3個例子，將「由128灰度的一個彩色信道構成的320像素×240行的單色圖像」變換成「由256灰度的3個彩色信道構成的1280像素×960行的RGB圖像」的處理，為使圖像信息量增加到96倍(＝16×2×3)的信息量高密化處理。
在圖1的結構中，圖像特征解析部10解析作為原圖像的輸入圖像IIN的圖像特征，輸出圖像特征量FI(第1步驟)。這里，圖像特征是例如濃度分布、頻率應答、對比度等，其特征量分別由濃度直方圖、頻率譜、最明亮部分和黑暗部分的比來表示。信息量高密化部20進行對應于圖像特征量FI的信息量高密化處理，輸出高密化圖像特征量SFI(第2步驟)。由于直接對圖像特征量FI進行信息量高密化，因此能夠在不使圖像特征自身發(fā)生變質(zhì)的情況下，實現(xiàn)圖像的信息量高密化。圖像生成部30將高密化圖像特征量SFI可見化，生成作為高密化圖像的輸出圖像IOUT(第3步驟)。
圖2為圖1的信息量高密化部20的結構的一個例子。在圖2中，圖像特征范疇選定部21，從預先分類的圖像特征范疇中選定圖像特征量FI所屬的范疇，將表示所選定的圖像特征范疇的種類的圖像特征索引ID輸出。圖像特征索引ID被提供給高密化圖像特征量數(shù)據(jù)庫22，與圖像特征索引ID相對應的被信息量高密化的圖像特征量，從高密化圖像特征量數(shù)據(jù)庫22作為高密化圖像特征量SFI輸出。
具體地說，例如，將圖像特征量記為向量(例如，使?jié)舛戎狈綀D的頻度為向量要素)，利用任意分類手法(例如，K-mean法)匯集類似的向量進行范疇形成。并且，通過向量量子化選定范疇的手法比較有效。高密化圖像特征量數(shù)據(jù)庫22在執(zhí)行信息量高密化處理之前作成。圖像信息量預先準備超過輸入圖像的高密樣本圖像，求出例如濃度直方圖等圖像特征量。例如，當將320像素×240行的輸入圖像變換成1280像素×960行的高密化圖像時，只要將1280像素×960行的圖像作為高密樣本圖像準備好就行。適用于圖像特征范疇選定部21和高密化圖像特征量數(shù)據(jù)庫22的向量記載方法、分類手法、圖像特征索引的給予方法，是共通的。
圖3為概念地示出了使用空間解像度作為圖像信息量的空間定義域超解像處理的圖。假設用行L來觀察低解像度圖像X的濃度分布的結果是獲得了濃度分布X。這里，為了方便說明，將行L中的像素數(shù)設為8像素。并且，這里的濃度分布，不是正確地反映圖示的圖像數(shù)據(jù)的濃度分布，是為了說明概念而模式地示出的濃度分布，在以后的說明中也是一樣。
當使像素數(shù)為4倍的超解像處理時，每行的像素數(shù)成為32像素，必須要32個濃度級，因此，必須要用某些形式補充24個像素的濃度數(shù)據(jù)。此時，例如如濃度分布A所示，能夠考慮以4個像素為單位等間隔地設置低解像度圖像X的濃度，其間的像素通過線形內(nèi)插來補充的方法。此時，雖然沿著行L的濃度變化的增減圖案被保存起來，但由于坡度平滑，因此如圖像A那樣，成了不正常的圖像。這是雖然圖像信息量變成了4倍，但為圖像特征的紋理印象發(fā)生了變質(zhì)的情況。
另一方面，濃度分布B與成為低頻成分的濃度分布X的波形形狀無關，作為高頻成分形成。由于濃度級的變化變大，比濃度分布A變化劇烈，因此生成圖像B那樣的細微紋理。但是，由于波形與濃度分布A相差太大，因此紋理印象發(fā)生變質(zhì)。
濃度分布C是將濃度分布A作為低頻成分保存起來，再將空間頻率高于濃度分布A的高頻成分重疊的情況。此時，由于低頻成分跟蹤(trace)紋理的基本圖案，而且高頻成分加上細微的紋理圖案，因此能夠在原封不動地保存紋理印象的狀態(tài)下，補充不足的24個像素的濃度級。
另外，由于上述說明對于圖像的水平方向也一樣適用，因此在此省略說明。
其次，參照圖4、圖5、圖6及圖7對具體地實現(xiàn)圖3所述的「對低頻成分重疊高頻成分的技術思想(濃度分布C)」的方法加以說明。
圖4為示出了進行將空間解像度用作圖像信息量的空間定義域超解像處理的圖像處理裝置的概要紋理的框圖。為輸入圖像IIN的圖像特征的紋理，以像素單位由作為圖像特征解析部的紋理解析部40解析，被記述為紋理特征量向量FVT。作為信息量高密化部的超解像處理部50在紋理特征量空間中執(zhí)行超解像處理，將作為圖像特征量的紋理特征量向量FVT變換成作為高密化圖像特征量的超解像化紋理特征量向量SFVT。圖像生成部60將超解像化紋理特征量向量SFVT可見化，將輸出圖像IOUT輸出。
圖5為示出了圖4的紋理解析部40的結構和處理的一個例圖。如圖5所示，紋理解析部40利用空間頻率應答進行紋理解析。輸入圖像IIN在空間頻率成分分解部41中被分配到多個信道中，提供給各空間頻帶，可獲得空間頻率應答量FRS。紋理特征量向量生成部42將空間頻率應答量FRS作為要素生成紋理特征量向量FVT。紋理特征量向量FVT，在以各空間頻帶的應答信道為軸的紋理特征量空間內(nèi)具有方向和大小，以該屬性記述紋理。另外，當特征量的各要素相互獨立時，由于成為沒有重復、高效率的特征量表現(xiàn)，因此傅里葉變換和波率變換等對空間頻率成分的分解比較有效。并且，也可以利用分度、相位及空間的方向性中的至少一個不同的多個空間濾波器，求出空間頻率應答。
圖6為示出了圖4的超解像處理部50的結構和處理的一個例圖。在圖6中，超解像化紋理特征量數(shù)據(jù)庫51，以多個圖像特征范疇為單位，分別收納有從超過輸入圖像IIN的解像度的樣本圖像生成的紋理特征量向量。對各紋理特征量向量分別標注用以特定圖像特征范疇的索引1～M。紋理范疇選定部52將記述了輸入圖像IIN的紋理的紋理特征量向量FVT與被收納在超解像化紋理特征量數(shù)據(jù)庫51的各紋理特征量向量進行比較。
這里，由于輸入圖像IIN比樣本圖像解像度低，因此紋理特征量向量FVT對高頻成分不具有有意義的應答(大于等于任意提供的閾值的應答)，對直流成分到中間頻率(在此例中的頻率w)成分為止具有應答。于是，紋理范疇選定部52，具體地說，紋理特征量向量FVT在具有應答的低解像度成分之間取得向量的內(nèi)積，將此設為相似度。將內(nèi)積最大(相似度最高)的索引(此例中的索引S)選定為紋理特征量索引IDT，將被標注了此紋理特征量索引IDT的紋理特征量向量作為超解像化紋理特征量向量SFVT輸出。由于超解像化紋理特征量向量SFVT對超過頻率w的頻帶也具有應答，因此為在紋理特征量空間完成了超解像處理。另外，在圖6中，用0～100的動態(tài)范圍示出了應答量。
圖7為示出了圖4的圖像生成部60的結構和處理的一個例圖。如圖7所示，這里的處理為與圖5所示的空間頻率分解相反的處理。也就是說，對于超解像化紋理特征量向量SFVT的各要素，在空間頻率的各頻帶中取得與基本函數(shù)的積，使全信道的和為輸出圖像IOUT。另外，當在紋理解析部40中使用了傅里葉變換和波率變換等時，在圖像生成部60中執(zhí)行它們的逆變換。
如上所述，根據(jù)本實施例，將輸入圖像的紋理記述為空間頻率向量，與從超過輸入圖像的解像度的超解像樣本圖像生成的空間頻率向量進行比較，進行紋理選定。因此，能夠確實地獲得超解像處理后的圖像紋理，其印象與輸入圖像一致的效果。
另外，這里，對用空間解像度作為圖像特征量的空間定義域超解像處理加以了說明，用時間解像度作為圖像特征量的時間定義域超解像處理也能夠與這里所述的空間定義域超解像處理同樣進行。此時，紋理是從隨時間變化的影像信號級的不同而產(chǎn)生的。因此，圖4的紋理解析部40由時間定義域構成，進行時間頻率分解。展開到時間定義域以后的處理與圖4～圖7所述的一樣，在這里省略說明。
(第2實施例)圖8為示出了本發(fā)明的第2實施例所涉及的圖像處理裝置的結構的框圖。圖8所示的圖像處理裝置也與圖1的圖像處理裝置一樣，生成超過輸入圖像的信息量的信息量高密化圖像。在圖8中，對與圖1共通的構成要素標注與圖1相同的符號，這里，將其詳細說明省略。
信息量高密化部20A，包括高密化圖像特征量數(shù)據(jù)庫25、基本圖像特征量加權系數(shù)計算部26、及圖像特征量內(nèi)插部27。高密化圖像特征量數(shù)據(jù)庫25，以多個圖像特征范疇為單位，收納有從信息量超過輸入圖像IIN的高密樣本圖像生成的被信息量高密化的基本圖像特征量?；緢D像特征量加權系數(shù)計算部26，分別計算出從輸入圖像IIN獲得的圖像特征量FI、和被收納在高密化圖像特征量數(shù)據(jù)庫25中的各基本圖像特征量的相似度，基于此相似度，求出基本圖像特征量加權系數(shù)群GWC。基本圖像特征量加權系數(shù)群GWC被提供給圖像特征量內(nèi)插部27。與此同時，高密化圖像特征量數(shù)據(jù)庫25將收納的基本圖像特征量群GSFI提供給圖像特征量內(nèi)插部27。圖像特征量內(nèi)插部27，利用基本圖像特征量加權系數(shù)群GWC對基本圖像特征量群GSFI進行線形加權加法運算，作為高密化圖像特征量SFI輸出。
也就是說，在本實施例中，信息量高密化是通過圖像特征量空間中的線形內(nèi)插執(zhí)行的。因此，輸入圖像IIN的圖像特征在被信息量高密化的圖像IOUT中也被保存。并且，由于利用基本圖像特征量加權系數(shù)將多個基本圖像特征量內(nèi)插，因此能夠更精密地生成被信息量高密化的圖像特征量。
圖9為示出了進行將空間解像度用作圖像信息量的空間定義域超解像處理的圖像處理裝置的概要結構的框圖。在圖9中，對與圖4共通的構成要素標注與圖4相同的符號，這里，將其詳細說明省略。
作為信息量高密化部的超解像處理部50A，包括超解像化紋理特征量數(shù)據(jù)庫55、基本紋理特征量加權系數(shù)計算部56及紋理特征量內(nèi)插部57。超解像化紋理特征量數(shù)據(jù)庫55，以多個圖像特征范疇為單位，收納有從解像度超過輸入圖像IIN的超解像樣本圖像生成的被超解像化的基本紋理特征量向量，作為基本圖像特征量?；炯y理特征量加權系數(shù)計算部56，分別計算出從輸入圖像IIN獲得的紋理特征量向量FVT、和被收納在超解像化紋理特征量數(shù)據(jù)庫55中的基本紋理特征量向量的相似度，基于此相似度求出基本紋理特征量加權系數(shù)群GWCT?；炯y理特征量加權系數(shù)群GWCT被提供給紋理特征量內(nèi)插部57。與此同時，超解像化紋理特征量數(shù)據(jù)庫55將收納的基本紋理特征量向量群GSFVT提供給紋理特征量內(nèi)插部57。紋理特征量內(nèi)插部57，利用基本紋理特征量加權系數(shù)群GWCT對基本紋理特征量向量群GSFVT進行線形加權加法運算，作為超解像化紋理特征量向量SFVT輸出。
也就是說，超解像處理是通過紋理特征量空間中的線形內(nèi)插執(zhí)行的。因此，輸入圖像IIN的紋理在被超解像化的圖像IOUT中也被保存。并且，由于利用基本紋理特征量加權系數(shù)將多個基本紋理特征量內(nèi)插，因此能夠更精密地生成被信息量高密化的圖像特征量。
圖10為示出了算出基本紋理特征量加權系數(shù)的方法的一個例圖。基本紋理特征量加權系數(shù)計算部56，對于記述了輸入圖像IIN的紋理的紋理特征量向量FVT，算出與超解像化紋理特征量數(shù)據(jù)庫55所具有的基本紋理特征量向量群GSFVT的相似度。紋理特征量向量FVT對高頻成分不具有有意義的應答(大于等于任意提供的閾值的應答)，對直流成分到中間頻率(在此例中的頻率w)成分為止具有應答。于是，基本紋理特征量加權系數(shù)計算部56，具體地說，紋理特征量向量FVT在具有應答的低解像度成分之間取得向量的內(nèi)積，將此設為相似度。并且，進行使內(nèi)積的和成為1的正規(guī)化(normalization)，作為基本紋理特征量向量加權系數(shù)群GWCT輸出。由于基本紋理特征量向量群GSFVT對超過頻率w的頻帶也具有應答，因此為在紋理特征量空間完成了超解像處理。另外，在圖10中，用0～100的動態(tài)范圍示出了應答量。
如上所述，根據(jù)本實施例，將輸入圖像的紋理記述為空間頻率向量，利用從相似度求出的加權系數(shù)對從超過輸入圖像的解像度的超解像樣本圖像生成的基本紋理特征量向量進行線形內(nèi)插，來算出超解像化紋理特征量向量。因此，能夠確實地獲得超解像處理后的圖像紋理，其印象與輸入圖像一致的效果。
另外，這里，對用空間解像度作為圖像特征量的空間定義域超解像處理加以了說明，用時間解像度作為圖像特征量的時間定義域超解像處理也能夠與這里所述的空間定義域超解像處理同樣進行。此時，紋理是從隨時間變化的影像信號級的不同產(chǎn)生的。因此，圖9的紋理解析部40由時間定義域構成，進行時間頻率分解。展開到時間定義域以后的處理與圖9所述的一樣，在這里省略說明。
(第3實施例)圖11為示出了本發(fā)明的第3實施例所涉及的圖像處理裝置的結構圖。圖11所示的圖像處理裝置生成超過輸入圖像IIN的解像度的超解像圖像IOUT。對與圖4共通的構成要素標注與圖4相同的符號。信息量高密化部由紋理特征量數(shù)據(jù)庫71及紋理特征量向量變換表72構成。為輸入圖像IIN的圖像特征的紋理，以像素單位由紋理解析部40解析，被記述為紋理特征量向量FVT。紋理解析部40的內(nèi)部動作，與圖5一樣，從空間頻率應答量FRS生成紋理特征量向量FVT。
紋理特征量數(shù)據(jù)庫71，預先從i類解像度和j類材質(zhì)，合計(i×j)個樣本圖像作成。通過紋理解像部40將(i×j)個樣本圖像變換成紋理特征量向量，以樣本圖像為單位將其直方圖登記到紋理特征量數(shù)據(jù)庫71中。也就是說，以樣本圖像的像素為單位通過紋理解像部40求出紋理特征量向量，以全部像素為對象求出紋理特征量向量的頻度。藉此方法，對每個在圖像中所攝的材質(zhì)種類規(guī)定多個圖像特征范疇M_1～M_j。
這里，解像度不同的i類樣本圖像中的至少一個超過輸入圖像IIN的解像度，成為超解像化的條件。并且，材質(zhì)是例如木紋、紙、石頭、沙子等，可以從物理特性來定義它們，也可以從人目視的感覺來定義。并且，即使相同的木紋，也能夠考慮紋理粗躁的木紋、表面平滑的木紋和明亮的木紋等表現(xiàn)，有關材料種類的表現(xiàn)多種多樣。本發(fā)明對其表現(xiàn)并不作限制，接受任意的定義。
另外，當具有相同紋理特征量向量的像素較少，特征量直方圖的各要素頻率較低時，若利用分類手法(例如，K-mean法)匯總類似的向量構成直方圖的話，則能夠在不使紋理特征變質(zhì)的情況下，減少數(shù)據(jù)量。
對于象這樣預先準備的紋理特征量數(shù)據(jù)庫71，進行與從輸入圖像IIN的全部像素的紋理特征量向量FVT求出的特征量直方圖的比較(直方圖的相似度比較方法隨意)。在圖11中，材質(zhì)M_2、解像度R_2的特征量直方圖H1，被選作與輸入圖像IIN的特征量直方圖的相似度最高的。為了不使為圖像特征的紋理印象變質(zhì)進行超解像，只要在同一材質(zhì)(此時是材質(zhì)M_2)的圖像特征范疇中，選擇超過輸入圖像IIN的解像度的特征量直方圖就行。在此例中，選擇解像度R_i的特征量直方圖H2。
另外，這里，由于利用直方圖進行處理，因此即使在執(zhí)行時、學習時也就是紋理特征量數(shù)據(jù)庫71的作成時，空間信息(空間坐標)不一致，也能夠適用。
其次，為了將輸入圖像IIN的紋理特征量超解像化，利用紋理特征量向量變換表72。紋理特征量向量變換表72設置成與紋理特征量數(shù)據(jù)庫71成對，收納有由i類解像度和j類材質(zhì)構成的(i×j)個變換表?，F(xiàn)在，由于將「材質(zhì)M_2、解像度R_2」的特征量直方圖H1選定為與輸入圖像IIN的紋理特征量向量FVT相似度最高的，因此為了將其變換為「材料性質(zhì)M_2、解像度R_i」的特征量直方圖H2，參照「(M_2-R_2)→(M_2-R_i)」變換表TB。紋理特征量向量變換表72的輸出是超解像化紋理特征量向量SFVT，通過圖像生成部60可見化，這樣一來，能夠獲得輸出圖像IOUT。
圖12為示出了紋理特征量向量變換表72的作成方法的一個例圖。首先，從解像度最高的圖像開始，由「低通濾波器+次取樣」階段性地作成低解像度圖像。這里，使為解像度最高的圖像的解像度R_i圖像通過低通濾波器81，由次取樣82降低解像度，獲得解像度R_i-1圖像。同樣，使解像度R_i-1圖像通過低通濾波器83，由次取樣84降低解像度，獲得解像度R_i-2圖像。
并且，對各圖像進行紋理解析，求出紋理特征量向量。在圖12中，用標號號碼表示紋理特征量向量的種類。從解像度R_i圖像，能夠獲得以像素為單位具有標號號碼的標號圖像A。同樣，從解像度R_i-1圖像能夠獲得標號圖像B，從解像度R_i-2圖像能夠獲得標號圖像C。另外，由于對標號圖像A、標號圖像B、標號圖像C，在這里的說明中不需要示出全部像素，因此模式地示出了其一部分。
將解像度R_i-1圖像變換成解像度R_i圖像的紋理特征量向量變換表，例如，如下所示，由標號圖像B和標號圖像A的標號號碼的對應關系來構筑。現(xiàn)在，如<標號對應例1>所示，標號圖像B的標號號碼「5」，存在于兩個像素，且對應于標號圖像A的標號號碼「3」、「5」、「7」、「8」4種紋理特征量向量。各自的頻度為1、2、4、1。因此，使取得最大頻度的標號號碼「7」的紋理特征量向量為超解像化紋理特征量向量。例如，能夠通過這樣單純的選擇處理，作成紋理特征量向量變換表。
并且，若根據(jù)頻度取得各紋理特征量向量的加權線形和的話，則能夠?qū)崿F(xiàn)以發(fā)生頻度為準的超解像，雖然另外產(chǎn)生計算量，但是紋理保存效果變高。
在這兩個方法中，標號之間是一對一對應，將一個紋理特征量向量變換成一個超解像化紋理特征量向量。所以，在圖12的例子中，由于標號圖像B的一個像素對應于標號圖像A的4個像素，因此對標號圖像A的4個像素平均分配紋理特征量向量。但是，為了更進一步地發(fā)揮出超解像的效果，最好分別對4個像素分配超解像化紋理特征量向量。
作為其具體方法，例如，能夠考慮根據(jù)標號頻度將超解像化紋理特征量向量分配給各像素的方法。也就是說，對與標號圖像B的標號「5」相對應的標號圖像A的8個像素中的一個像素分配標號「3」、兩個像素分配標號「5」、4個像素分配標號「7」、一個像素分配標號「8」。
不過，由于在紋理特征量數(shù)據(jù)庫71作成時和輸入圖像IIN的超解像執(zhí)行時，紋理圖案在空間上位于相同位置的情況極少，因此利用標號圖像A的空間位置信息并不一定恰當。因此，當根據(jù)標號頻度將超解像化紋理特征量向量分配給每個像素時，最好通過隨機數(shù)產(chǎn)生等手段隨機進行。另外，雖然像素的選擇是隨機決定的，但是被選擇的超解像化紋理特征量向量和其頻度是根據(jù)標號的對應關系決定的。
另一方面，將解像度R_i-2圖像變換成解像度R_i圖像的紋理特征量向量變換表，由標號圖像C和標號圖像A的標號號碼組合來構筑。例如，若將標號圖像C的標號號碼「11」和標號圖像A的標號組合的話，則頻度成為<標號對應例2>。由于頻度成為最大的是標號號碼「7」「9」兩個，因此例如只要使標號「7」「9」的兩個紋理特征量向量的平均為超解像化紋理特征量向量就行。并且，作為其它方法，也可以使用在將解像度R_i-1圖像變換成解像度R_i圖像的變換表的作成中已經(jīng)說明的方法。
如上所述，根據(jù)本實施例，由于對每個材質(zhì)將紋理特征量超解像化，因此能夠不使紋理的材質(zhì)感變質(zhì)來實現(xiàn)超解像處理。并且，由于對于多個解像度分別準備有紋理特征量，因此能夠從低解像度(也就是，輸入圖像)的紋理選定和高解像度(也就是，輸出圖像)的圖像生成的兩個方面來實現(xiàn)沒有紋理變質(zhì)的超解像處理。
另外，可以利用專門的硬件來實現(xiàn)本發(fā)明所涉及的圖像處理裝置的各個手段、或者本發(fā)明所涉及的圖像處理方法的各步驟的全部或一部分，也可以通過計算機的程序軟件地實現(xiàn)。
以下，舉出實現(xiàn)本發(fā)明的結構例。
(第1結構例)圖13為示出了第1結構例的圖，為利用個人計算機進行本發(fā)明所涉及的圖像處理的結構的一個例子。攝影機101的解像度低于顯示裝置102的解像度，為了最大限度地發(fā)揮顯示裝置102的顯示能力，利用被裝入主存儲器103中的本發(fā)明所涉及的圖像處理程序來作成超解像圖像。由攝影機101取入的低解像度圖像被記錄在圖像存儲器104中。預先對外部存儲裝置105準備好超解像紋理特征量數(shù)據(jù)庫105a，以便能夠從主存儲器103的圖像處理程序參照。通過存儲器總線106讀入圖像存儲器104的低解像度圖像，按顯示裝置102的解像度變換成高解像度圖像，再次經(jīng)由存儲器總線106傳送到圖像存儲器107。被傳送到圖像存儲器107的高解像度圖像能夠通過顯示裝置102看見。另外，圖像處理程序的動作、數(shù)據(jù)庫的內(nèi)容和作成方法等，為在上述實施例中所示的任意一個，在此省略說明。
另外，本發(fā)明并不限于圖13的結構，能夠采用各種結構。例如，也可以從連接在其它個人計算機上的外部存儲裝置通過網(wǎng)絡108取得超解像化紋理特征量數(shù)據(jù)庫105a。并且，低解像度圖像，也可以通過網(wǎng)絡108取得。
(第2結構例)圖14為示出了第2結構例的圖，是利用服務器客戶程序系統(tǒng)進行本發(fā)明所涉及的圖像處理的結構的一個例子。攝影機111的解像度低于顯示裝置112的解像度，為了最大限度地發(fā)揮顯示裝置112的顯示能力，在服務器客戶程序系統(tǒng)中執(zhí)行超解像處理。服務器113包括紋理解析部114及超解像處理部115，將輸入圖像IIN的紋理特征量FT超解像化，作為超解像化紋理特征量SFT經(jīng)由網(wǎng)絡發(fā)到顧客117。顧客117通過圖像生成電路118將收到的超解像化紋理特征量SFT可見化，將獲得的超解像圖像顯示在顯示裝置112上。另外，紋理解析、超解像處理和超解像化紋理特征量數(shù)據(jù)庫的內(nèi)容、作成方法等，為上述實施例所示的任意一個，在此省略說明。
另外，本發(fā)明并不限于圖14的結構，能夠采取各種結構。例如，攝影機111也可以是顧客117的一部分。
(第3結構例)圖15為示出了第3結構例的圖，是利用帶照相機的攜帶式電話和電視進行本發(fā)明所涉及的圖像處理的結構的一個例子。帶照相機的攜帶式電話121能夠通過網(wǎng)絡122或存儲卡123將圖像數(shù)據(jù)傳送到電視124。帶照相機的攜帶式電話121的解像度低于電視124，為了最大限度地發(fā)揮電視124的顯示能力，利用實際安裝在電視內(nèi)部電路中的紋理特征量解析電路、超解像化紋理特征量數(shù)據(jù)庫、圖像生成電路來作成超解像圖像，顯示在畫面上。另外，詳細的紋理特征量解析、超解像化紋理特征量數(shù)據(jù)庫、圖像生成，為在上述實施例中所述的任意一個，在此省略說明。
另外，本發(fā)明并不限于圖15的結構，能夠采取各種結構。例如，帶照相機的攜帶式電話121也可以是數(shù)字靜像攝影機和影像視頻攝影機(video movie camera)。
如上所述，本發(fā)明，能夠在廣泛普及的個人計算機、服務器客戶程序型系統(tǒng)或帶照相機的攜帶式電話、數(shù)字靜像攝影機、影像視頻攝影機、電視機等整個影像設備中執(zhí)行，不需要特別的設備、運用、管理等。并且，對于專門硬件的實際安裝、軟件和硬件的組合等、系統(tǒng)構筑方法、設備連接形態(tài)、設備內(nèi)部的結構等并不作限制。
(實用性)本發(fā)明，由于在不使圖像特征變質(zhì)的情況下，制作出信息量更多的圖像，因此能夠在視覺信息量被重視的各種應用領域?qū)嶋H運用。例如，在電子交易中，能夠出示消費者注目的商品細節(jié)，能夠用數(shù)字檔案準確地向鑒賞者出示展品的細節(jié)，具有在影像制作中提高影像表現(xiàn)的可能性，在放送中保證各種影像格式互換性等的效果。
權利要求
1.一種圖像處理方法，其特征在于包括進行原圖像的圖像特征解析，獲得與圖像坐標獨立的圖像特征量的第1步驟；對在上述第1步驟中所獲得的圖像特征量進行信息量高密化，獲得高密化圖像特征量的第2步驟；以及基于在上述第2步驟中所獲得的高密化圖像特征量，生成對上述原圖像進行了信息量高密化的高密化圖像的第3步驟。
2.根據(jù)權利要求1所述的圖像處理方法，其特征在于上述第2步驟，從預先準備的多個圖像特征范疇中選定上述圖像特征量所屬的圖像特征范疇，從高密化圖像特征量數(shù)據(jù)庫將所選定的圖像特征范疇中的被信息量高密化的基本圖像特征量作為上述高密化圖像特征量讀出。
3.根據(jù)權利要求1所述的圖像處理方法，其特征在于上述第2步驟，對于上述圖像特征量，分別算出與預先準備的多個圖像特征范疇的相似度，根據(jù)所算出的相似度對上述各圖像特征范疇中的基本圖像特征量進行加權加法運算，來生成上述高密化圖像特征量。
4.根據(jù)權利要求1所述的圖像處理方法，其特征在于上述第2步驟，從預先準備的多個圖像特征范疇中選定上述圖像特征量所屬的圖像特征范疇，參照變換表數(shù)據(jù)庫，利用用于所選定的圖像特征范疇中的特征量變換的變換表，將上述圖像特征量變換成上述高密化圖像特征量。
5.根據(jù)權利要求4所述的圖像處理方法，其特征在于上述多個圖像特征范疇，以圖像中所攝的物體材料性質(zhì)為單位設置。
6.根據(jù)權利要求1所述的圖像處理方法，其特征在于利用空間解像度或者時間解像度作為上述圖像特征量。
7.根據(jù)權利要求6所述的圖像處理方法，其特征在于利用傅里葉變換，求出空間頻率應答或者時間頻率應答。
8.根據(jù)權利要求6所述的圖像處理方法，其特征在于利用波率變換，求出空間頻率應答或者時間頻率應答。
9.根據(jù)權利要求6所述的圖像處理方法，其特征在于利用分度、相位及空間方向性中的至少一個不同的多個空間濾波器，求出空間頻率應答或者時間頻率應答。
10.一種圖像處理裝置，其特征在于包括進行原圖像的圖像特征解析，獲得與圖像坐標獨立的圖像特征量的圖像特征解析部；對由上述圖像特征解析部得到的圖像特征量進行信息量高密化，獲得高密化圖像特征量的信息量高密化部；以及基于由上述信息量高密化部得到的高密化圖像特征量，生成對上述原圖像進行了信息量高密化的高密化圖像的圖像生成部。
11.一種圖像處理程序，其特征在于使計算機執(zhí)行下述步驟進行原圖像的圖像特征解析，獲得與圖像坐標獨立的圖像特征量的第1步驟；對在上述第1步驟中所獲得的圖像特征量進行信息量高密化，獲得高密化圖像特征量的第2步驟；以及基于在上述第2步驟中所獲得的高密化圖像特征量，生成對上述原圖像進行了信息量高密化的高密化圖像的第3步驟。
全文摘要
本發(fā)明公開了一種圖像處理方法、圖像處理裝置及圖像處理程序。圖像特征解析部(10)進行輸入圖像(IIN)的圖像特征解析，生成與圖像坐標獨立的圖像特征量(FI)。信息量高密化部(20)對圖像特征量(FI)進行信息量高密化，生成高密化圖像特征量(SFI)。圖像生成部(30)基于高密化圖像特征量(SFI)，生成對輸入圖像(IIN)進行了信息量高密化的圖像(IOUT)。
文檔編號G06T1/00GK1748416SQ200480003919
公開日2006年3月15日 申請日期2004年12月24日 優(yōu)先權日2004年1月9日
發(fā)明者本村秀人, 金森克洋, 三宅洋一, 津村德道, 中口俊哉, 菅谷隆 申請人:松下電器產(chǎn)業(yè)株式會社