專利名稱：圖象處理方法及圖象處理裝置、圖象放大方法、服務(wù)器－客戶機(jī)系統(tǒng)、以及顯示終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖象處理方法，特別涉及對(duì)例如通過(guò)放大處理等獲得的圖象進(jìn)行銳化(鮮明化)的技術(shù)。
背景技術(shù)：
隨著數(shù)字映相機(jī)器網(wǎng)絡(luò)的普及，用各種輸出入機(jī)器處理不同規(guī)格形式的數(shù)字圖象，已經(jīng)司空見慣。特別是圖象的尺寸，從低清晰度到超高清晰度，種類繁多。作為低清晰度的圖象，有在手機(jī)搭載的照相機(jī)及顯示器中使用的QCIF(176×144象素)、QVGA(320×240象素)、CIF(352×288象素)等。作為標(biāo)準(zhǔn)的清晰度的圖象，有PC顯示器顯示尺寸——VGA(640×480)、XGA(1024×768)、SXGA(1280×1024)等。作為高清晰度的圖象，有在投影儀及特殊的LCD等中使用的UXGA(1600×1200)、QXGA(2048×1536象素)、HDTV(1920×1080)等。最近，作為面向醫(yī)學(xué)及印刷領(lǐng)域的顯示器，甚至存在著QSXGA(2560×2048)、QXGA(2048×1536)、QUXGA(3200×2400)、QUXGA-wide(3840×2400)這種超高清晰度的圖象。
在這里，假設(shè)需要用高精細(xì)的QUXGA(3200×2400)顯示手機(jī)拍攝的QVGA(320×240象素)象素。這時(shí)，需要進(jìn)行將原圖象的縱橫尺寸分別數(shù)字性地?cái)U(kuò)大十倍的這種現(xiàn)有技術(shù)中不曾有過(guò)的高倍率的圖象放大處理?？墒?，在現(xiàn)有技術(shù)的通常的數(shù)字性的放大處理中，設(shè)想的放大率，是從標(biāo)準(zhǔn)TV清晰度到HDTV清晰度的2×2倍左右，最大也只研究4×4倍左右的放大率(例如(非專利文獻(xiàn)2)等)。
另外，在廣播行業(yè)中，圖象的單源多用途的思想深入人心。就是說(shuō)，切出先拍攝的圖象中的一部分，在別的用途中使用的現(xiàn)象，屢見不鮮。例如用廣角透鏡拍攝足球等體育運(yùn)動(dòng)情景，根據(jù)它來(lái)放大各個(gè)選手的圖象后切出顯示等時(shí)，就需要進(jìn)行現(xiàn)有技術(shù)所沒(méi)有的高倍率的圖象放大處理。這種圖象切出用途中的放大率，其目標(biāo)值是沒(méi)有上限的。
這樣，圖象的放大，可以說(shuō)是數(shù)字圖象處理中的一大課題。其技術(shù)性的含義，就是將低清晰度圖象變換成高清晰度圖象。而且根據(jù)究竟重視圖象輸入系統(tǒng)和圖象顯示系統(tǒng)中的哪一個(gè)，還可以將該圖象放大即高清晰度化分成兩種。
第1種是重視圖象輸入系統(tǒng)的放大、高清晰度化，所謂的“超清晰”領(lǐng)域即屬于它。所謂“數(shù)字性的超清晰”，是通過(guò)從在攝象中使元件微小振動(dòng)或連續(xù)性的動(dòng)畫圖象中獲取被拍攝體信息等的手法，收集超過(guò)攝象元件的取樣極限的信息，經(jīng)過(guò)圖象處理后統(tǒng)合、收斂，將原圖象高精細(xì)化的處理。它適合于醫(yī)療及遙感中的科學(xué)性的圖象計(jì)測(cè)。
第2種是重視圖象顯示系統(tǒng)的放大處理，它與圖象的忠實(shí)的高清晰度化相比，是旨在將鈍化圖象(模糊圖象)變換成在視覺(jué)上鮮明而且令人滿意的圖象的圖象銳化處理。在上述的將用手機(jī)照相機(jī)拍攝的圖象在高解象顯示器的顯示或?qū)?biāo)準(zhǔn)TV圖象在HDTV畫面上顯示等時(shí)使用。在民用的圖象機(jī)器中，制作出這種能夠進(jìn)行高清晰度顯示的品質(zhì)的圖象放大處理，至關(guān)重要。本發(fā)明就屬于重視該圖象顯示系統(tǒng)的處理。
作為本領(lǐng)域的現(xiàn)有技術(shù)，人們對(duì)三次方插補(bǔ)法等線性插補(bǔ)濾波器、保存邊緣避免鈍化地放大圖象的邊緣保存非線性濾波器等，進(jìn)行了長(zhǎng)期的研究。可是，這些手法卻無(wú)法復(fù)原推定低清晰度圖象中欠缺的高頻成分。為了進(jìn)行高頻成分復(fù)原處理，近幾年來(lái)，人們正在研究使用在低清晰度和高清晰度的取樣中進(jìn)行學(xué)習(xí)的手法。下面，講述其兩個(gè)例子。
在(專利文獻(xiàn)1)中，公開了根據(jù)低清晰度圖象生成高清晰度圖象的方法。首先，進(jìn)行初始圖象插補(bǔ)即標(biāo)度放大，生成具有所需的圖象尺寸的低清晰度圖象。再將該低清晰度圖象分割成重疊的低清晰度片(patch)，生成除去各低清晰度片中的高頻成分的中波片。然后，一邊掃描圖象，一邊生成將被反差歸一化的中波片內(nèi)的象素M和已預(yù)測(cè)的鄰接的高波片H串行連接的探索矢量，從練習(xí)用數(shù)據(jù)庫(kù)中輸出最接近的高頻片。將該高頻片和上述的低清晰度片相加合成，逐一生成與鄰接的片具有連接性的高清晰度片，從而生成高清晰度圖象。
在(非專利文獻(xiàn)1)中，公開了為了銳化模糊圖象而采用了小波變換的手法。首先，對(duì)每一個(gè)銳化圖象和邊緣模糊的劣化圖象，實(shí)施3級(jí)離散二進(jìn)型的二維小波變換，在圖象內(nèi)的各坐標(biāo)獲得十六維的多重清晰度矢量。為了只將圖象內(nèi)的邊緣部分作為對(duì)象，而將除去了平滑化成分的數(shù)據(jù)，作為M個(gè)學(xué)習(xí)矢量。將從鈍化圖象的M個(gè)學(xué)習(xí)矢量中選擇的N個(gè)代表矢量，作為分析代碼簿，將根據(jù)銳化圖象的M個(gè)學(xué)習(xí)矢量生成的N個(gè)代表矢量，作為臨時(shí)再生代碼簿，通過(guò)量化索引做媒介，從分析代碼簿中減去臨時(shí)再生代碼簿，從而實(shí)現(xiàn)銳化過(guò)程。
專利文獻(xiàn)1日本國(guó)特開2003-18398號(hào)非專利文獻(xiàn)1阿部淑人、菊池久和、佐佐木重信、渡邊宏道、齋騰義明《使用多重清晰度矢量量化的輪廓協(xié)調(diào)》電子信息通信學(xué)會(huì)論文雜志Vol.J79A 1996/5(1032-1040頁(yè))非專利文獻(xiàn)2中靜真、江部裕路、菊池久和、石井郁夫、牧野秀夫《多重標(biāo)度亮度梯度平面中的圖象高清晰度化》電子信息通信學(xué)會(huì)論文雜志D-II、Vol.J81 D-II No.10(2249-2258頁(yè)) 可是，在現(xiàn)有技術(shù)中，存在著下述問(wèn)題。
就是說(shuō)，在使用通過(guò)對(duì)圖象內(nèi)的象素值的中波頻率的矢量及小波變換系數(shù)矢量等圖象波形信號(hào)分析后產(chǎn)生的特征量矢量的方式中，結(jié)果只不過(guò)是加工圖象輸入信息而已。因此，放大倍率特別大時(shí)，和現(xiàn)有技術(shù)的三次方插補(bǔ)法等的線性圖象處理相比，難以獲得特別好的結(jié)果。
為了更加有效地實(shí)現(xiàn)圖象的銳化即將鈍化圖象變換成視覺(jué)上鮮明而且令人滿意的圖象的處理，本發(fā)明人想到了在圖象處理中，需要在圖象信息以外，準(zhǔn)確反映被圖象反映的被拍攝體的材質(zhì)及到照相機(jī)的距離等特性。
另外，先將低清晰度圖象插補(bǔ)放大后，通過(guò)對(duì)這種圖象進(jìn)行的銳化處理，能夠根據(jù)圖象尺寸小的低清晰度圖象，生成可以適應(yīng)高清晰度顯示的放大圖象。

發(fā)明內(nèi)容
鑒于上述問(wèn)題，本發(fā)明的目的在于，作為圖象處理，將實(shí)現(xiàn)有效地反映被拍攝體的特性即其材質(zhì)及到照相機(jī)的距離等的圖象的銳化。
本發(fā)明，作為圖象處理，對(duì)原圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量，取得被所述原圖象反映的被拍攝體的特性，根據(jù)取得的被拍攝體的特性，求出所述原圖象的物理特性參數(shù)，參照所述物理特性參數(shù)，將所述原圖象銳化地變換所述圖象特征量矢量，對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
采用本發(fā)明后，取得被原圖象反映的被拍攝體的特性，根據(jù)該被拍攝體特性，求出原圖象的物理特性參數(shù)。然后，通過(guò)規(guī)定的矢量變換，根據(jù)原圖象求出的圖象特征量矢量，使原圖象銳化地進(jìn)行變換。但是這時(shí)，物理特性參數(shù)被參照。而且，根據(jù)變換后的圖象特征量矢量，進(jìn)行規(guī)定的矢量變換的逆變換，生成新的圖象。這樣，就能夠?qū)崿F(xiàn)準(zhǔn)確地反映被拍攝體特性的圖象的銳化。

另外，取得的被拍攝體的特性，最好是被拍攝體的材質(zhì)信息及從照相機(jī)到被拍攝體的距離信息中的至少某一個(gè)。這樣，能夠?qū)崿F(xiàn)富有材質(zhì)感的圖象銳化或者考慮了距離導(dǎo)致的紋理尺寸變化的圖象銳化。
另外，最好將所述圖象特征量矢量，分成分別與所述原圖象的紋理部和邊緣輪廓部對(duì)應(yīng)的紋理矢量和邊緣輪廓矢量后求出。
進(jìn)而，對(duì)于所述紋理矢量，最好至少按照被所述物理特性參數(shù)包含的、所述被拍攝體的材質(zhì)涉及的信息及所述被拍攝體和照相機(jī)的距離涉及的信息中一個(gè)進(jìn)行變換?；蛘?，對(duì)于所述邊緣輪廓矢量，最好按照指定的情景信息進(jìn)行變換。
另外，本發(fā)明作為圖象放大，將圖象插補(bǔ)放大，將插補(bǔ)放大的圖象作為原圖象，實(shí)行所述本發(fā)明涉及的圖象處理。
采用本發(fā)明后，由于在進(jìn)行圖象特征量矢量的變換之際，參照根據(jù)被拍攝體特性求出的原圖象的物理特性參數(shù)，所以能夠?qū)崿F(xiàn)準(zhǔn)確地反映拍攝體特性的圖象的銳化處理。另外，在插補(bǔ)放大圖象的基礎(chǔ)上，再進(jìn)行這種圖象的銳化，從而能夠根據(jù)圖象尺寸小的低清晰度圖象，生成可以達(dá)到高清晰度顯示質(zhì)量的放大圖象。


圖1是表示本發(fā)明的一種實(shí)施方式涉及的圖處理方法的圖形。
圖2是表示本發(fā)明的一種實(shí)施方式涉及的圖象處理裝置結(jié)構(gòu)圖。
圖3是表示使用了小波變換的矢量變換的一個(gè)例子的圖形。
圖4是表示使用了小波變換的矢量變換的一個(gè)例子的圖形。
圖5是表示圖2中的特性取得部的詳細(xì)結(jié)構(gòu)的圖形。
圖6是為了講述材質(zhì)判定處理的一個(gè)例子而繪制的圖形。
圖7是為了講述材質(zhì)判定處理的一個(gè)例子而繪制的圖形。
圖8是室外的人物情景的圖象的一個(gè)例子。
圖9是圖8的圖象中的物理特性參數(shù)的一個(gè)例子。
圖10是表示圖2的圖象合成部的詳細(xì)結(jié)構(gòu)的圖形。
圖11是表示紋理矢量的變換處理的示意圖。
圖12是表示邊緣輪廓矢量的變換處理的示意圖。
圖13是采用本發(fā)明的一種實(shí)施方式獲得的擴(kuò)大圖象的形象圖。
圖14是為了講述代碼簿的生成方法而繪制的圖形。
圖15是表示圖14時(shí)的量化索引。
圖16是為了具體講述代碼簿的編制而繪制的圖形。
圖17是為了具體講述代碼簿的編制而繪制的圖形。
圖18是為了講述旨在取得學(xué)習(xí)矢量的鈍化圖象及銳化圖象的取得方法而繪制的圖形。
圖19是表示考慮了距離的被拍攝體的學(xué)習(xí)的圖形。
圖20是實(shí)行本發(fā)明涉及的圖象處理的第1構(gòu)成例的圖形。
圖21是表示利用RFID標(biāo)簽取得被拍攝體特性的結(jié)構(gòu)的圖形。
圖22是實(shí)行本發(fā)明涉及的圖象處理的第2構(gòu)成例的圖形。
圖23是實(shí)行本發(fā)明涉及的圖象處理的第3構(gòu)成例的圖形。
圖24是表示可以取得被拍攝體特性的照相機(jī)的結(jié)構(gòu)的圖形。
圖25是實(shí)行本發(fā)明涉及的圖象處理的第4構(gòu)成例的圖形。
圖26是實(shí)行本發(fā)明涉及的圖象處理的第5構(gòu)成例的圖形。
圖27是表示帶人體傳感器的照相機(jī)的結(jié)構(gòu)的圖形。
圖28是表示帶人體傳感器的照相機(jī)的結(jié)構(gòu)的圖形。
符號(hào)說(shuō)明 IN輸入圖象ELI放大圖象ITP插補(bǔ)圖象PR物理特性參數(shù)M材質(zhì)參數(shù)L距離參數(shù)
TV紋理矢量EV邊緣輪廓矢量STV銳化紋理矢量SEV銳化邊緣輪廓矢量nt，ne量化索引SID情景指定信息S1圖象取得工序S2圖象插補(bǔ)放大工序S3圖象特征量矢量變換工序S4邊緣輪廓·紋理分離工序S5取得被拍攝體特性的工序S6物理特性參數(shù)的計(jì)算工序S7情景指定工序S8物理圖象合成工序11插補(bǔ)部12變換部13情景指定部20圖象合成部22紋理解析代碼簿(解析代碼簿)23紋理再生代碼簿組(再生代碼簿組)23a紋理再生代碼簿(再生代碼簿)27邊緣輪廓再生代碼簿組(再生代碼簿組)27a邊緣輪廓再生代碼簿(再生代碼簿)30特性取得部31傳感器部32材質(zhì)判定部33距離判定部123服務(wù)器124客戶機(jī)131矢量量化部
132解析代碼簿133矢量再生部134再生代碼簿152攝像元件163顯示終端172顯示終端182攝像元件192攝像元件
具體實(shí)施例方式在本發(fā)明的第1樣態(tài)中，作為圖象處理方法，具備下述工序?qū)υ瓐D象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量的第1工序；取得被所述原圖象反映的被拍攝體的特性，根據(jù)取得的被拍攝體的特性，求出所述原圖象的物理特性參數(shù)的第2工序；參照所述物理特性參數(shù)，將所述原圖象銳化地變換所述圖象特征量矢量的第3工序；對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象的第4工序。
在本發(fā)明的第2樣態(tài)中，提供第1樣態(tài)的圖象處理方法，其特征在于取得的被拍攝體的特性，是被拍攝體的材質(zhì)信息及從照相機(jī)到被拍攝體的距離信息中的至少某一個(gè)。
在本發(fā)明的第3樣態(tài)中，提供第1樣態(tài)的圖象處理方法，其特征在于所述規(guī)定的矢量變換，使用拉普拉斯算子角錐解析或小波解析。
在本發(fā)明的第4樣態(tài)中，提供第1樣態(tài)的圖象處理方法，其特征在于所述第1工序，將所述圖象特征量矢量，分成分別與所述圖象的紋理部和邊緣輪廓部對(duì)應(yīng)的紋理矢量和邊緣輪廓矢量后求出；所述第3工序，對(duì)于所述紋理矢量和所述邊緣輪廓矢量，單獨(dú)進(jìn)行變換；所述第4工序，使變換后的所述紋理矢量和所述邊緣輪廓矢量一致，進(jìn)行所述逆變換。
在本發(fā)明的第5樣態(tài)中，提供第4樣態(tài)的圖象處理方法，其特征在于所述第3工序，對(duì)于所述紋理矢量，至少按照被所述物理特性參數(shù)包含的、所述被拍攝體的材質(zhì)涉及的信息及所述被拍攝體和照相機(jī)的距離涉及的信息中一個(gè)進(jìn)行變換。
在本發(fā)明的第6樣態(tài)中，提供第4樣態(tài)的圖象處理方法，其特征在于所述第3工序，對(duì)于所述邊緣輪廓矢量，按照指定的情景信息進(jìn)行變換。
在本發(fā)明的第7樣態(tài)中，提供第3樣態(tài)的圖象處理方法，其特征在于，所述第3工序具備參照解析代碼簿，將所述圖象特征量矢量矢量量化，求出量化索引的步驟；從預(yù)先準(zhǔn)備的再生代碼簿組中，按照所述物理特性參數(shù)，選擇最佳的再生代碼簿的步驟；使用所述量化索引，查閱選擇的再生代碼簿，求出變換后的圖象特征量矢量的步驟。
在本發(fā)明的第8樣態(tài)中，作為圖象放大方法，提供具備插補(bǔ)放大圖象的步驟；和按照第1樣態(tài)的圖象處理方法，將插補(bǔ)放大的圖象作為所述原圖象，進(jìn)行圖象處理的步驟。
在本發(fā)明的第9樣態(tài)中，作為圖象處理裝置，提供具備下述部件的產(chǎn)品變換部，該變換部對(duì)原圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量；特性取得部，該特性取得部取得被所述原圖象反映的被拍攝體的特性，根據(jù)取得的被拍攝體的特性，求出所述原圖象的物理特性參數(shù)；圖象合成部，該圖象合成部參照所述物理特性參數(shù)，使所述原圖象銳化地變換所述圖象特征量矢量，對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
在本發(fā)明的第10樣態(tài)中，提供第9樣態(tài)的圖象處理裝置，其特征在于所述特性取得部，作為所述被拍攝體特性，取得被拍攝體的材質(zhì)信息。
在本發(fā)明的第11樣態(tài)中，提供第10樣態(tài)的圖象處理裝置，其特征在于所述特性取得部，具備可以觀測(cè)分光特性的傳感器部，使用該傳感器部的輸出，取得被拍攝體的材質(zhì)信息。
在本發(fā)明的第12樣態(tài)中，提供第10樣態(tài)的圖象處理裝置，其特征在于所述特性取得部，具備攝像元件(該攝像元件具備具有與規(guī)定的材質(zhì)對(duì)應(yīng)的固有的分光靈敏度的象素)，使用該攝像元件，取得被拍攝體的材質(zhì)信息。
在本發(fā)明的第13樣態(tài)中，提供第10樣態(tài)的圖象處理裝置，其特征在于所述特性取得部，讀取被所述被拍攝體附帶的無(wú)線標(biāo)簽記錄的材質(zhì)信息。
在本發(fā)明的第14樣態(tài)中，提供第9樣態(tài)的圖象處理裝置，其特征在于所述特性取得部，作為所述被拍攝體特性，取得從照相機(jī)到被拍攝體的距離信息。
在本發(fā)明的第15樣態(tài)中，提供第9樣態(tài)的圖象處理裝置，其特征在于取得被拍攝體特性之際的清晰度、低于所述原圖象的清晰度。
在本發(fā)明的第16樣態(tài)中，提供具備服務(wù)器和客戶機(jī)，作為放大輸入圖象的服務(wù)器一客戶機(jī)系統(tǒng)，所述服務(wù)器，將所述輸入圖象插補(bǔ)放大，對(duì)插補(bǔ)放大的圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量，將所述圖象特征量矢量矢量量化，求出量化索引，通過(guò)網(wǎng)絡(luò)做媒介，發(fā)送所述量化索引；所述客戶機(jī)，通過(guò)網(wǎng)絡(luò)做媒介，接收所述量化索引和所述輸入圖象的物理特性參數(shù)，參照所述物理特性參數(shù)，使用所述量化索引，查閱再生代碼簿，求出使所述插補(bǔ)圖象銳化地變換的圖象特征量矢量，對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
在本發(fā)明的第17樣態(tài)中，作為放大從外部接收的輸入圖象的顯示終端，提供具備下述部件的顯示終端插補(bǔ)部，該插補(bǔ)部插補(bǔ)放大所述輸入圖象；變換部，該變換部對(duì)所述插補(bǔ)部輸出的插補(bǔ)圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量；圖象合成部，該圖象合成部參照和所述輸入圖象一起從外部接收的物理特性參數(shù)，使所述插補(bǔ)圖象銳化地變換所述圖象特征量矢量，對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
在本發(fā)明的第18樣態(tài)中，作為從外部接收對(duì)原圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量，生成圖象的顯示終端，提供具備下述部件的顯示終端圖象合成部，該圖象合成部使用和所述圖象特征量矢量一起從外部接收的物理特性參數(shù)，使所述原圖象銳化地變換所述圖象特征量矢量，對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
下面，參照附圖，講述本發(fā)明的實(shí)施方式。
圖1是表示本發(fā)明的第1實(shí)施方式涉及的圖處理方法的圖形。在圖1中，在圖象取得工序S1中，拍攝被拍攝體情景SC，取得輸入圖象IN。在圖象插補(bǔ)放大工序S2中，使用三次方法等，將輸入圖象IN插補(bǔ)放大成目的圖象尺寸。插補(bǔ)放大后的圖象，由于只具有輸入圖象IN的頻率成分，所以當(dāng)然成為模糊的圖象。
在圖象特征量矢量變換工序S3中，對(duì)作為原圖象的插補(bǔ)放大圖象進(jìn)行規(guī)定的矢量變換，求出特征量矢量的集合體(圖象特征量矢量)。該圖象特征量矢量，最好象多重清晰度矢量那樣，包含圖象的空間區(qū)域中的頻率信息和定標(biāo)(清晰度)信息。因此，例如最好使用拉普拉斯算子角錐解析或小波變換等，進(jìn)行變換。然后，在邊緣輪廓·紋理分離工序S4中，將在工序S3中求出的圖象特征量矢量分離成與圖象的邊緣輪廓部對(duì)應(yīng)的邊緣輪廓矢量和與圖象的紋理部對(duì)應(yīng)的紋理矢量。圖1的工序S3、S4，構(gòu)成本發(fā)明的第1工序。
另外，在取得被拍攝體特性的工序S5中，取得被輸入圖象IN拍攝的被拍攝體的特性。然后，在物理特性參數(shù)的計(jì)算工序S6中，根據(jù)工序S5取得的被拍攝體的特性，求出插補(bǔ)擴(kuò)大圖象的物理特性參數(shù)。圖1的工序S5、S6，構(gòu)成本發(fā)明的第2工序。
另外，在情景指定工序S7中，輸入指定的情景信息。在這里，所謂“情景”，是表示拍攝的對(duì)象、拍攝時(shí)的照明、構(gòu)圖等綜合性的攝影環(huán)境。在本實(shí)施方式中，作為情景信息，用戶指定人物攝影、遠(yuǎn)景攝影、靜物攝影等攝影模式。即使是相同的構(gòu)圖，也可以有與情景相符的(不同的)創(chuàng)作意圖，例如在人物攝影情景中，要圓滑地進(jìn)行邊緣再現(xiàn)，而在靜物攝影情景中，則要突出邊緣等。因此，要利用情景信息，調(diào)整圖象的輪廓邊緣部分的強(qiáng)調(diào)程度。
然后，在物理圖象合成工序S8中，根據(jù)工序S4獲得的輪廓邊緣矢量和紋理矢量，使用工序S6獲得的物理特性參數(shù)及工序S7獲得的情景信息，生成放大圖象ELI。圖1的工序S8，構(gòu)成本發(fā)明的第3及第4工序。
在這里，在工序S5中取得的被拍攝體特性，例如是被拍攝體的材質(zhì)信息、從照相機(jī)到被拍攝體的距離信息等。材質(zhì)信息也可以根據(jù)被拍攝體的分光特性信息、近紅外、遠(yuǎn)紅外信息等獲得。另外，取得被拍攝體特性之際的清晰度，既可以與插補(bǔ)放大圖象的清晰度一致，也可以不一致。就是說(shuō)，可以比插補(bǔ)放大圖象的清晰度低。
圖2是表示本實(shí)施方式涉及的圖象處理裝置結(jié)構(gòu)的圖形。在圖2中，插補(bǔ)部11對(duì)輸入圖象IN進(jìn)行插補(bǔ)放大處理，生成和所需的放大圖象ELI相同尺寸的插補(bǔ)圖象ITP。如上所述，該插補(bǔ)圖象ITP成為鈍化圖象。變換部12對(duì)插補(bǔ)圖象ITP進(jìn)行規(guī)定的矢量變換，作為圖象特征矢量，生成紋理矢量TV及邊緣輪廓矢量EV。生成的紋理矢量TV及邊緣輪廓矢量EV，被供給圖象合成部20。
圖3及圖4是表示圖2的變換部12中的矢量變換的一個(gè)例子。這里的矢量變換，利用在(非專利文獻(xiàn)1)中使用的、在時(shí)間空間區(qū)域中不進(jìn)行間隔抽取的離散二進(jìn)小波展開。該手法和通常的小波變換不同，保證并進(jìn)不變性，定標(biāo)為3級(jí)時(shí)，原來(lái)的圖象被分割成16個(gè)帶域圖象BI。
就是說(shuō)，如圖4所示，在第1級(jí)(標(biāo)度)中，原來(lái)的插補(bǔ)圖象ITP經(jīng)過(guò)X、Y方向的小波變換后，被分解成和插補(bǔ)圖象ITP相同尺寸的H1H1、H1L1、L1H1、L1L1的4成分圖象。在第2級(jí)(標(biāo)度)中，4成分中X、Y兩方向的高頻成分H1H1以外的成分，被進(jìn)一步分解。這時(shí)，與只有L1L1再次被X、Y兩方向分解不同，H1L1和L1H1只向一個(gè)方向分解，成為合計(jì)8個(gè)成分。進(jìn)而，在第3級(jí)(標(biāo)度)中，H1H2、H2H1、H2H2以外的成分被分解。這時(shí)，只有L2L2被X、Y兩個(gè)方向分解，其余的被只向一個(gè)方向分解，成為合計(jì)12個(gè)成分。在這里，隨著標(biāo)度的增加，被再分解成2個(gè)、4個(gè)的數(shù)據(jù)(用虛線圖示)，能夠通過(guò)以后的合成生成。
經(jīng)過(guò)這種小波變換后，插補(bǔ)圖象ITP被分解成圖3所示的16個(gè)成分的圖象(帶域圖象BI)。然后，對(duì)插補(bǔ)圖象ITP的某個(gè)象素P，將歸納與其象素位置對(duì)應(yīng)的16個(gè)成分的數(shù)據(jù)，作為象素P的多重清晰度矢量MRV。
進(jìn)而，在本實(shí)施方式中，對(duì)于該多重清晰度矢量MRV，定義規(guī)范(絕對(duì)值)，判斷該規(guī)范為規(guī)定的上限值以上的矢量，表現(xiàn)輪廓邊緣，除次以外則表現(xiàn)紋理。就是說(shuō)，按照該規(guī)范，將獲得的多重清晰度矢量MRV，分類成紋理矢量TV和邊緣輪廓矢量EV。在圖3中，將象素P的多重清晰度矢量MRV分類成紋理矢量TV。
返回圖2的結(jié)構(gòu)，特性取得部30取得被插補(bǔ)圖象ITP拍攝的被拍攝體的特性，根據(jù)取得的被拍攝體的特性，求出插補(bǔ)圖象ITP的物理特性參數(shù)PR。在本實(shí)施方式中，作為物理特性參數(shù)PR，求出被拍攝體的材質(zhì)涉及的材質(zhì)參數(shù)M和照相機(jī)到被拍攝體的距離涉及的距離參數(shù)L(以下適當(dāng)?shù)赜涀鳌癙R(M，L)”)。特性取得部30具備傳感器部31、材質(zhì)判定部32及距離判定部33。求出的物理特性參數(shù)PR，被供給圖象合成部20。
圖5是表示特性取得部30的詳細(xì)結(jié)構(gòu)的圖形。如圖5所示，傳感器部31具備矢量信息取得部311及投光部312，材質(zhì)判定部32具備識(shí)別部321、投光控制部322及類似度計(jì)算部323，距離判定部33具備亮度量化部331及距離數(shù)值量化部332。
投光部312，在距離數(shù)值量化部332的控制下，在對(duì)被拍攝體進(jìn)行攝影時(shí)，發(fā)出特定波長(zhǎng)的閃光。矢量信息取得部311與投光部312的發(fā)光同步，用多矢量取得來(lái)自被拍攝體的反射光。識(shí)別部321根據(jù)反射光的分光特性和投射光的分光特性，識(shí)別被拍攝體的分光反射率。類似度計(jì)算部323根據(jù)該分光反射率，求出表示和特定材質(zhì)類似的材質(zhì)參數(shù)M。該材質(zhì)參數(shù)M，被圖象的象素單位生成。在這里，作為特定材質(zhì)，使用人的皮膚f、頭發(fā)h、植物p、皮革s、纖維t、塑料d及金屬m。就是說(shuō)，用下列公式表示材質(zhì)參數(shù)M。
M＝(f，h，p，s，t，d，m)這時(shí)，作為矢量信息取得部311，可以使用具有多種與特定材質(zhì)對(duì)應(yīng)的特殊濾波器的攝象元件。
圖6及圖7是為了講述材質(zhì)判定部32中的處理的一個(gè)例子而繪制的圖形。在圖6中，R(λ)是被拍攝體的分光反射率，Rf(λ)是典型的人的皮膚的分光反射率，Rp(λ)是典型的植物的分光反射率。現(xiàn)在，假設(shè)矢量信息取得部311只取的有限的狹窄區(qū)域(A)(B)(C)中的觀測(cè)值。在這里，首先計(jì)算被拍攝體和各材質(zhì)的分光反射率之差——顏色信號(hào)空間內(nèi)距離。例如被拍攝體和人的皮膚的分光反射率的平方距離，成為如下所示。
E2＝[R(A)-Rf(A)]2+[R(B)-Rf(B)]2+[R(C)-Rf(C)]2 接著，按照?qǐng)D7那樣的變換，對(duì)求出的距離進(jìn)行閾值處理，作為和皮膚f的類似度，獲得0～1的范圍的數(shù)值。對(duì)于其它的材質(zhì)——頭發(fā)h、植物p、皮革s、纖維t、塑料d及金屬m，也實(shí)行同樣的處理，從而能夠求出材質(zhì)參數(shù)M。例如，理想的人的皮膚時(shí)，可以成為M＝(1，0，0，0，0，0，0) 另一方面，在距離判定部33中，根據(jù)投光導(dǎo)致的圖象的亮度值的高低，判定照相機(jī)和被拍攝體的大概距離。亮度量化部331將與投光部312的發(fā)光同步獲得的圖象的亮度量化。距離數(shù)值量化部332根據(jù)該量化的亮度值，生成幾個(gè)階段的距離參數(shù)L。該距離參數(shù)L，按照各圖象的象素輸出。
這樣，生成材質(zhì)參數(shù)M和距離參數(shù)L的對(duì)——物理特性參數(shù)PR(M，L)。此外，物理特性參數(shù)PR在圖象中只能夠用于比較平坦的紋理部的處理，而不能夠用于邊緣輪廓部。因此，用比輸入圖象低的清晰度取得物理特性參數(shù)PR也沒(méi)有關(guān)系。
圖9表示出在圖8的那種室外的人物情景圖象中取得的物理特性參數(shù)PR的一個(gè)例子。
返回圖2，圖象合成部20使用特性取得部30輸出的物理特性參數(shù)PR及情景指定部13輸出的情景指定信息SID，使插補(bǔ)圖象ITP銳化地變換紋理矢量TV及邊緣輪廓矢量EV。而且，對(duì)于變換后的矢量TV、EV，進(jìn)行變換部12中的矢量變換的逆變換，變換成圖象。其結(jié)果，生成高清晰度的放大圖象ELI。
在這里，為了進(jìn)行紋理矢量TV及邊緣輪廓矢量EV的變換，利用預(yù)先學(xué)習(xí)的矢量間的對(duì)應(yīng)表即代碼簿。
圖10是表示圖象合成部20的詳細(xì)結(jié)構(gòu)的圖形。在圖10中，矢量再生部21將紋理矢量TV變換成銳化紋理矢量STV。這時(shí)，參照選擇部24從紋理解析代碼簿22及紋理再生代碼簿23中選擇的紋理再生代碼簿。選擇部24，選擇與被物理特性參數(shù)PR表示的材質(zhì)及距離對(duì)應(yīng)的紋理再生代碼簿。
另外，邊緣輪廓再生部25將邊緣輪廓矢量EV變換成銳化紋理矢量SEV。這時(shí)，參照選擇部28從邊緣輪廓解析代碼簿26及邊緣輪廓再生代碼簿27中選擇的邊緣輪廓再生代碼簿。選擇部28，選擇與被輸出的情景指定信息SID指定的情景對(duì)應(yīng)的邊緣輪廓再生代碼簿。
圖11是表示紋理矢量TV的變換處理的示意圖。如圖11所示，查閱紋理解析代碼簿22后，讀出將紋理矢量TV矢量量化時(shí)的量化索引nt。該量化索引nt，根據(jù)圖象的信號(hào)波形處理求出，不反映物理特性信息。另一方面，在紋理再生代碼簿組23中，按照皮膚f、頭發(fā)h等各材質(zhì)，還按照各距離L，準(zhǔn)備著紋理再生代碼簿。因此，按照被給予的物理特性參數(shù)PR表示的材質(zhì)及距離，選擇最佳的再生代碼簿23a。而且，根據(jù)量化索引nt，查閱選擇的最佳的再生代碼簿23a，求出銳化紋理矢量STV。
這時(shí)，取代選擇一個(gè)最佳的再生代碼簿，也可以選擇多個(gè)再生代碼簿，使用物理特性參數(shù)PR，加權(quán)插補(bǔ)合成根據(jù)選擇的各再生代碼簿讀出的矢量。就是說(shuō)，如果將材質(zhì)參數(shù)M視作一個(gè)加權(quán)系數(shù)矢量，對(duì)于和各材質(zhì)對(duì)應(yīng)的再生代碼簿而言，將應(yīng)用量化索引nt時(shí)的再生矢量作為ZM后，最終合成的銳化紋理矢量Z，就可以用下列公式表示。
Z＝M·ZM＝f·Zf+h·Zp+p·Zp+s·Zs+t·Zt+d·Zd+m·Zm對(duì)于距離參數(shù)L，也可以進(jìn)行同樣的插補(bǔ)。
圖12是表示的邊緣輪廓矢量的變換處理的示意圖。如圖12所示查閱邊緣輪廓解析代碼簿26，讀出將邊緣輪廓矢量EV矢量量化時(shí)的量化索引ne。另一方面，在邊緣輪廓再生代碼簿組27中，按照每個(gè)情景，準(zhǔn)備著邊緣輪廓再生代碼簿。于是，按照給予的情景指定信息SID表示的情景，選擇最佳的邊緣輪廓再生代碼簿27a。然后，根據(jù)量化索引ne，查閱選擇的邊緣輪廓再生代碼簿27a，求出銳化邊緣輪廓矢量SEV。
返回圖10，圖象變換部29合成銳化紋理矢量STV和銳化邊緣輪廓矢量SEV。該合成例如也可以是相當(dāng)于多重清晰度矢量的加法的處理。然后，對(duì)于合成后的多重清晰度矢量，進(jìn)行規(guī)定的矢量變換的逆變換，從而生成放大圖象ELI。該逆變換還可以是工序S3中的矢量變換的逆變換，例如可以使用拉普拉斯算子角錐解析的合成過(guò)程及小波逆變換等。
圖13是采用本實(shí)施方式獲得的擴(kuò)大圖象的形象圖。如圖13所示，先將被拍攝體的臉的輸入圖象IN插補(bǔ)放大后(插補(bǔ)圖象ITP)，進(jìn)行銳化處理。這時(shí)，判定被拍攝體是人、其材質(zhì)是皮膚(材質(zhì)f)時(shí)，放大成具有接近人的皮膚的紋理的圖象IA。另一方面，判定被拍攝體例如是服裝模特兒、其材質(zhì)是塑料(材質(zhì)d)時(shí)，放大成具有接近服裝模特兒的臉的紋理的圖象IB。
此外，在本實(shí)施方式中，以插補(bǔ)放大輸入圖象IN，將該插補(bǔ)放大的圖象ITP作為原圖象，實(shí)行銳化處理，生成放大圖象ELI為例，進(jìn)行了講述。但是本發(fā)明涉及的圖象處理的使用范圍，并不局限于圖象放大處理。在圖象放大以外，使模糊的圖象鮮明時(shí)，以及變更圖象的尺寸或者有時(shí)縮小圖象時(shí)，也有效。
<編制代碼簿>
下面，使用圖14～圖17，講述對(duì)于紋理及邊緣輪廓而言的解析代碼簿及再生代碼簿的編制方法。
圖14是講述J維的多重矢量空間內(nèi)的解析代碼簿和再生代碼簿的基本生成方法的圖形。首先，對(duì)于鈍化圖象和銳化圖象的圖象對(duì)，分別實(shí)施時(shí)多重清晰度矢量變換，作為樣品獲得象素?cái)?shù)個(gè)的多重清晰度矢量。在這里，所謂“鈍化圖象”，是指在相同的情景的數(shù)字圖象中，比較多地包含低頻成分的圖象；所謂“銳化圖象”，是指比較多地包含高頻成分、視覺(jué)性良好的圖象。
然后，從銳化圖象涉及的多重清晰度矢量中，選擇V個(gè)學(xué)習(xí)矢量Fs(v)，使用該學(xué)習(xí)矢量Fs(v)，編制臨時(shí)再生代碼簿。在這里，v是學(xué)習(xí)矢量的索引。接著，使用從鈍化圖象涉及的多重清晰度矢量中和Fs(v)同一個(gè)位置選擇的學(xué)習(xí)矢量Gs(v)，編制解析代碼簿。
接著，將各自的代碼簿量化。就是說(shuō)，將學(xué)習(xí)矢量Fs(v)、Gs(v)的每一個(gè)的矢量空間，分成N個(gè)分割區(qū)域后量化，將各分割區(qū)域的代表矢量分別作為zn，yn。由于V個(gè)學(xué)習(xí)矢量屬于某個(gè)區(qū)域，所以對(duì)于第v個(gè)學(xué)習(xí)矢量，將獲得的臨時(shí)再生代碼簿的量化索引作為IF(v)，將解析代碼簿的量化索引作為IG(v)。如下式所示，根據(jù)使用頻度，向與鈍化圖象的索引n的每一個(gè)對(duì)應(yīng)的臨時(shí)再生代碼簿加權(quán)。然后，進(jìn)行規(guī)范的規(guī)一化，求出再生代碼簿。
ωn=ΣIG(v)=nzIF(v)|ΣIG(v)=nzIF(v)|]]> 圖15是表示圖14時(shí)的量化索引的表。這樣，再生代碼簿成為下式所示。
ω1=z1+2z2|z1+2z2|,ω2=2z1+z2|2z1+z2|]]> 下面，使用圖16及圖17，以編制將由100象素構(gòu)成的鈍化圖象變換成相同象素的銳化圖象之際的解析代碼簿和再生代碼簿為例，講述以上的過(guò)程。
對(duì)于鈍化圖象和銳化圖象，按照100象素的各象素位置，變換成多重清晰度矢量。將它定為U1～U100、V1～V100。在矢量U1～U100和矢量V1～V100之間，由于存在象素位置相同的關(guān)系，所以可以在輸入U(xiǎn)時(shí)輸出對(duì)應(yīng)的V地編制代碼簿。但是實(shí)際上，多重清晰度矢量被矢量量化分類成代表矢量。
在圖16的例子中，鈍化圖象的矢量U，被量化成UA和UB等2種；銳化圖象的矢量V，被量化成VA和VB等2種。所謂“解析代碼簿及再生代碼簿的量化索引”，是指附加給這些量化的矢量集合的編號(hào)。而且，查閱代碼簿，輸入矢量編號(hào)V后，被量化的矢量集合的編號(hào)是1，不能獲得2的編號(hào)。另外，在量化集合VA中，附加代表矢量Z1；在量化集合VB中，附加代表矢量Z2。這些代表矢量，通過(guò)取得屬于量化集合的矢量的平均值及代表值等方法計(jì)算。
接著，通過(guò)采取上述的計(jì)算方法后，如圖17所示，生成根據(jù)矢量編號(hào)輸出量化索引(1或2)的解析代碼簿CB1和輸入量化索引(1或2)后輸出再生矢量的再生代碼簿CB2。結(jié)合使用這樣生成的解析代碼簿和再生代碼簿后，能夠?qū)⑩g化圖象的多重清晰度矢量變換成銳化圖象的多重清晰度矢量。
接著，講述為了取得學(xué)習(xí)矢量而取得鈍化圖象及銳化圖象的方法。
如圖18所示，假設(shè)對(duì)于攝影情景SC，切出被拍攝體的人的五官部分后放大的情況?，F(xiàn)在，假設(shè)情景SC整體的象素?cái)?shù)是N×N，相當(dāng)于五官部分的范圍FC的尺寸是(N/10×N/10)。
例如使用三次方插補(bǔ)法，將用范圍FC切出的圖象，數(shù)字性地放大到和原來(lái)的圖象相同尺寸(N×N)為止。這時(shí)，生成的圖象成為大量包含低頻成分的所謂鈍化圖象。該鈍化不是光學(xué)性的透鏡鈍化，而是數(shù)字性的鈍化。另一方面，使用可變焦距透鏡攝影，將范圍FC全部攝入時(shí)，能夠獲得結(jié)構(gòu)及視場(chǎng)角相同而且大量含有高頻成分(N×N)的象素的銳化圖象。
可以將這樣獲得的鈍化圖象和銳化圖象對(duì)，作為學(xué)習(xí)圖象使用，進(jìn)行多重清晰度矢量變換，編制解析代碼簿和再生代碼簿。另外，生成鈍化圖象時(shí)，通過(guò)使用和工序S2中的插補(bǔ)放大手法相同的手法，能夠獲得符合實(shí)際處理的學(xué)習(xí)圖象。
但是，所謂“使用實(shí)際的攝影情景，能夠取得學(xué)習(xí)樣品”，卻未必局限于此。因此，往往使用類似的材質(zhì)表面后學(xué)習(xí)，編制解析代碼簿及再生代碼簿。
在這里，成問(wèn)題的是照相機(jī)和拍攝體之間的距離。例如在圖8中，再生區(qū)域A4中的遠(yuǎn)處的建筑物表面粘貼的瓷磚的模樣等時(shí)，在實(shí)際情景中沒(méi)有獲得學(xué)習(xí)圖象對(duì)的情況下，需要另外拿來(lái)瓷磚，進(jìn)行事先攝影學(xué)習(xí)。這時(shí)，由于距離不明確，所以必須以改變距離的狀態(tài)學(xué)習(xí)鈍化圖象和銳化圖象對(duì)。
圖19是表示考慮了距離的被拍攝體的學(xué)習(xí)的圖形。如圖19所示，使距離從L1到L4離散性地變化，拍攝被拍攝體，編制在各距離中，從完整圖象中切出對(duì)象區(qū)域后插補(bǔ)放大的鈍化圖象和采用光學(xué)變焦的方式拍攝對(duì)象區(qū)域的銳化圖象對(duì)。而且，按照各距離進(jìn)行多重清晰度矢量的學(xué)習(xí)，編制解析代碼簿及再生代碼簿。
但是，邊緣輪廓圖象和紋理圖象中，與距離有關(guān)的是紋理圖象。這可以從下面這一點(diǎn)明白在邊緣輪廓圖象中，理想的邊緣與距離無(wú)關(guān)，是沒(méi)有粗細(xì)的線，而紋理圖象的距離空間頻率則隨著距離而不同。在上述的實(shí)施方式中，銳化紋理矢量時(shí)考慮了距離，而銳化邊緣輪廓矢量時(shí)則不考慮距離，其理由就在這里。
這樣，關(guān)于邊緣輪廓，只要將各種情景作為對(duì)象，通過(guò)鈍化圖象和銳化圖象對(duì)進(jìn)行學(xué)習(xí)就行。但是毫無(wú)疑問(wèn)，采用具有和實(shí)際拍攝時(shí)使用的被拍攝體類似的邊緣特性的被拍攝體是最理想的。例如想放大金屬被拍攝體的圖象時(shí)，最好學(xué)習(xí)金屬被拍攝體的情景；想放大西裝等布料的圖象時(shí)，最好學(xué)習(xí)布料被拍攝體的情景。因此，按照各情景編制邊緣輪廓再生代碼簿組。
(第1構(gòu)成例)圖20是作為實(shí)行本發(fā)明涉及的圖象處理的第1構(gòu)成例，表示使用個(gè)人用計(jì)算機(jī)的圖象放大裝置的結(jié)構(gòu)的圖形。在圖20中，由于照相機(jī)101的清晰度低于顯示器102的清晰度，所以為了最大限度地發(fā)揮顯示器102的顯示能力，而通過(guò)實(shí)行被主存儲(chǔ)器103下載的圖象處理程序，編制放大圖象。該圖象處理程序，是使計(jì)算機(jī)實(shí)行第1實(shí)施方式中講述的那種圖象處理。
照相機(jī)101取得的低清晰度圖象，被圖象存儲(chǔ)器104記錄。另外，被傳感器105取得的被拍攝體特性，也被圖象存儲(chǔ)器104記錄。在外部記憶裝置106中，預(yù)先準(zhǔn)備著邊緣輪廓矢量和紋理矢量的解析代碼簿及再生代碼簿106a，以便能夠根據(jù)主存儲(chǔ)器103的圖象處理程序參照。主存儲(chǔ)器103的圖象處理程序通過(guò)存儲(chǔ)器總線107做媒介，讀出圖象存儲(chǔ)器104的低清晰度圖象，變換成與顯示器102的清晰度一致的放大圖象后，再經(jīng)由存儲(chǔ)器總線107，傳輸給視頻存儲(chǔ)器108。能夠利用顯示器102，觀察被視頻存儲(chǔ)器108傳輸?shù)姆糯髨D象。
此外，為了實(shí)現(xiàn)本發(fā)明的結(jié)構(gòu)，并不局限于圖20所示，能夠采取各種結(jié)構(gòu)。例如可以通過(guò)網(wǎng)絡(luò)109做媒介，從與其它的個(gè)人用計(jì)算機(jī)連接的外部記憶裝置取得解析代碼簿或再生代碼簿中的某一個(gè)。另外，還可以通過(guò)網(wǎng)絡(luò)109做媒介，取得低清晰度圖象。另外，既可以通過(guò)網(wǎng)絡(luò)109做媒介，從與其它的個(gè)人用計(jì)算機(jī)連接的外部記憶裝置取得被拍攝體特性，還可以通過(guò)RFID標(biāo)簽?zāi)菢拥膯卧苯訌谋慌臄z體取得。
這樣，本發(fā)明能夠利用廣泛普及的個(gè)人用計(jì)算機(jī)實(shí)現(xiàn)，而不需要特別的應(yīng)用、管理等。此外，還可以安裝到專用硬件上，以及采用軟件和硬件的組合等，本發(fā)明并不局限于個(gè)人用計(jì)算機(jī)的系統(tǒng)化方法。
圖21是表示利用無(wú)線標(biāo)簽取得被拍攝體特性的結(jié)構(gòu)的圖形。在圖21中，帶照相機(jī)的手機(jī)111因?yàn)橹荒芘臄z低清晰度的攝影，而和無(wú)線標(biāo)簽用天線112連接，能夠在拍攝被拍攝體的同時(shí)，從被拍攝體附帶的無(wú)線標(biāo)簽取得被拍攝體特性的有關(guān)信息。就是說(shuō)，在帶照相機(jī)的手機(jī)111內(nèi)，構(gòu)成包含無(wú)線標(biāo)簽用天線112的特性取得部。
現(xiàn)在，假設(shè)被拍攝體是金屬制球113、塑料制球114及皮革制球115等3種。用帶照相機(jī)的手機(jī)111拍攝它們時(shí)，由于清晰度低，所以球表面的材質(zhì)感的差異不明顯，特別是放大成高清晰度畫面時(shí)，材質(zhì)感顯著劣化。因此，預(yù)先給各球113、114、115附加無(wú)線標(biāo)簽113a、113b、113c。此外，在圖中，無(wú)線標(biāo)簽附加在球表面，但是也可以安裝在內(nèi)部。在各無(wú)線標(biāo)簽113a、113b、113c中，儲(chǔ)存著各球體的表面材質(zhì)有關(guān)的信息。在這里，假設(shè)儲(chǔ)存著材質(zhì)的大體區(qū)別和具體的名稱。例如在無(wú)線標(biāo)簽113a中，儲(chǔ)存著“m銅”；在無(wú)線標(biāo)簽114a中，儲(chǔ)存著“d氯化尼綸”；在無(wú)線標(biāo)簽115a中，儲(chǔ)存著“s牛皮”之類的信息。
這些信息通過(guò)天線112讀入后，被和拍攝的圖象的被拍攝體對(duì)應(yīng)，存入帶照相機(jī)的手機(jī)內(nèi)的存儲(chǔ)器。以后的處理，例如在圖20的結(jié)構(gòu)中，通過(guò)網(wǎng)絡(luò)109做媒介，使用傳輸?shù)膱D象和被拍攝體特性實(shí)行。或者還可以象上述實(shí)施方式那樣，在帶照相機(jī)的手機(jī)111的內(nèi)部實(shí)行。
(第2構(gòu)成例)
圖22是作為實(shí)行本發(fā)明涉及的圖象處理的第2構(gòu)成例，表示使用服務(wù)器—客戶機(jī)系統(tǒng)的圖象放大裝置的結(jié)構(gòu)的圖形。在圖22中，由于照相機(jī)121的清晰度低于顯示器125的清晰度，所以為了最大限度地發(fā)揮顯示器125的顯示能力，而在服務(wù)器—客戶機(jī)系統(tǒng)中實(shí)行上述那種圖象處理。
服務(wù)器123利用插補(bǔ)部11插補(bǔ)放大輸入圖象IN后，變換部12將其變換成圖象特征量矢量即紋理矢量TV及邊緣輪廓矢量EV。插補(bǔ)部11及變換部12的動(dòng)作，和圖2所示的一樣。矢量量化部131使用服務(wù)器123內(nèi)的解析代碼簿132，將紋理矢量TV及邊緣輪廓矢量EV變換成量化索引nt、ne。獲得的量化索引nt、ne，經(jīng)由網(wǎng)絡(luò)126，發(fā)送給客戶機(jī)124。向量化索引的變換，相當(dāng)于某種圖象壓縮，這樣能夠減少發(fā)送的數(shù)據(jù)量。
另外，傳感器122取得的物理特性參數(shù)PR，經(jīng)由網(wǎng)絡(luò)126，發(fā)送給客戶機(jī)124。
在客戶機(jī)124中，矢量再生部133使用再生代碼簿134和接收的量化索引nt、ne，生成銳化紋理矢量STV及銳化邊緣輪廓矢量SEV。圖象變換部29合成銳化紋理矢量STV及銳化邊緣輪廓矢量SEV，進(jìn)行逆變換后，生成銳化放大圖象ELI。該放大圖象ELI被在顯示器125上顯示。此外，矢量量化部131、解析代碼簿132、矢量再生部133、再生代碼簿134及圖象變換部29，和圖2的圖象合成部20進(jìn)行同樣的動(dòng)作。
此外，為了實(shí)現(xiàn)本發(fā)明的結(jié)構(gòu)，并不局限于圖22所示，能夠采取各種結(jié)構(gòu)。例如照相機(jī)121還可以是客戶機(jī)124的一部分。另外，也可以取代傳感器122，通過(guò)無(wú)線標(biāo)簽?zāi)菢拥膯卧雒浇?，取得被拍攝體特性。
這樣，本發(fā)明能夠利用廣泛普及的服務(wù)器—客戶機(jī)型系統(tǒng)實(shí)現(xiàn)，而不需要特別的應(yīng)用、管理等。此外，還可以安裝到專用硬件上，以及采用軟件和硬件的組合等，本發(fā)明并不局限于個(gè)人用計(jì)算機(jī)的系統(tǒng)化方法。
(第3構(gòu)成例)
圖23是作為實(shí)行本發(fā)明涉及的圖象處理的第3構(gòu)成例，表示使用帶照相機(jī)的手機(jī)141和電視機(jī)的結(jié)構(gòu)的圖形。帶照相機(jī)的手機(jī)141，通過(guò)網(wǎng)絡(luò)142或存儲(chǔ)卡144做媒介，將圖象數(shù)據(jù)發(fā)送給電視機(jī)143。另外，帶照相機(jī)的手機(jī)141還可以采用能夠取得被拍攝體特性的結(jié)構(gòu)，通過(guò)網(wǎng)絡(luò)142或存儲(chǔ)卡144做媒介，將取得的被拍攝體特性發(fā)送給電視機(jī)143。例如，可以改造成使照相機(jī)的攝象元件的一部分象素，取得被拍攝體的矢量信息及紅外信息。
在電視機(jī)143中，內(nèi)置著可以實(shí)行上述圖象處理的圖象處理電路。帶照相機(jī)的手機(jī)141的清晰度低于電視機(jī)143的清晰度，所以為了最大限度地發(fā)揮電視機(jī)143的顯示能力，電視機(jī)143內(nèi)置的圖象處理電路編制放大的圖象，在畫面上顯示。
圖24是表示構(gòu)成可以取得被拍攝體特性的照相機(jī)的結(jié)構(gòu)的圖形。如圖24所示，照相機(jī)151的攝像元件152，除了通常的RGB彩色象素之外，還以低清晰度而且按照一定的法則，配置著具有對(duì)特定的材質(zhì)(例如皮膚f、頭發(fā)h等)具有波長(zhǎng)選擇特性的象素。這樣，能夠在拍攝圖象的同時(shí)，取得被拍攝體的材質(zhì)信息。
這樣，本發(fā)明能夠經(jīng)過(guò)對(duì)廣泛普及的帶照相機(jī)的手機(jī)、數(shù)碼相機(jī)、錄象機(jī)等加以部分改進(jìn)后，用電視機(jī)等一般的視頻機(jī)器實(shí)行，而不需要特別的應(yīng)用、管理等。此外，還可以安裝到專用硬件上，以及采用軟件和硬件的組合等，本發(fā)明并不局限于個(gè)人用計(jì)算機(jī)的系統(tǒng)化方法。
(第4構(gòu)成例)圖25是作為實(shí)行本發(fā)明涉及的圖象處理的第4構(gòu)成例，表示使用網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)的圖形。在圖25中，利用帶物理傳感器的照相機(jī)161進(jìn)行拍攝，但是由于可以拍攝的清晰度低于顯示器164的清晰度，所以為了最大限度地發(fā)揮顯示器125的顯示能力，而在顯示終端163中實(shí)行上述那種圖象處理。
在帶物理傳感器的照相機(jī)161中，附帶著能夠取得被拍攝體特性的傳感器，能夠同時(shí)取得低清晰度圖象IN及物理特性參數(shù)PR。這些信息經(jīng)由網(wǎng)絡(luò)162，發(fā)送給顯示終端163。在顯示終端163中，插補(bǔ)部11插補(bǔ)放大低清晰度圖象IN后，變換部12將該插補(bǔ)圖象變換成紋理矢量TV及邊緣輪廓矢量EV。圖象合成部20使用物理特性參數(shù)PR，對(duì)紋理矢量TV及邊緣輪廓矢量EV進(jìn)行圖象銳化變換，再進(jìn)行逆變換，生成高清晰度的放大圖象ELI。在顯示器164上顯示該放大圖象ELI。
這時(shí)，經(jīng)由網(wǎng)絡(luò)或者由存儲(chǔ)卡166那樣的記錄介質(zhì)提供解析·再生代碼簿165。這時(shí)，如果沒(méi)有存儲(chǔ)卡166提供的數(shù)據(jù)，就不能夠使圖象高畫質(zhì)化，所以能夠提供只有被認(rèn)證的用戶才能夠欣賞高畫質(zhì)映像的服務(wù)。
(第5構(gòu)成例)圖26是作為實(shí)行本發(fā)明涉及的圖象處理的第5構(gòu)成例，表示使用網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)的圖形。圖26的結(jié)構(gòu)，和圖25大致相同，不同的只是具有插補(bǔ)部11及變換部12的圖象處理裝置171，存在于網(wǎng)絡(luò)162的前級(jí)的這一點(diǎn)。
就是說(shuō)，變換部12獲得的紋理矢量TV及邊緣輪廓矢量EV，由經(jīng)該網(wǎng)絡(luò)162，由圖象處理裝置171發(fā)送給顯示終端172。這時(shí)，不使用小波變換等，也可以實(shí)行一定的圖象壓縮。
圖27(a)是表示作為帶物理傳感器的照相機(jī)的一個(gè)例子的結(jié)構(gòu)的圖形。圖27(a)的帶人體傳感器的照相機(jī)181，在取得彩色圖象IA之際，能夠使用對(duì)人物的皮膚的分光信息具有靈敏度的傳感器，取得彩色圖象IA和象素位置吻合的人物圖象IB。
攝像元件182采用瓷磚結(jié)構(gòu)，與彩色象素(RGB)的配置一致，配置著膚色檢知象素183(f)。該膚色檢知象素183，通過(guò)給攝像傳感器附加具有圖27(b)所示的那種濾波分光透過(guò)率Ff(λ)的濾波器后實(shí)現(xiàn)。彩色象素(RGB)的分光透過(guò)率，和一般的彩色傳感器一樣，而膚色檢知象素183則由于設(shè)定著類似人的皮膚(黑色素、葉紅素、血紅蛋白)的分光特性的透過(guò)率，所以可以對(duì)人的皮膚特別獲得最大的透過(guò)亮度的積分值。
此外，在這里，以彩色傳感器為例進(jìn)行了講述。但是R、G、B的各象素具有相同的分光分布后，用單色傳感器時(shí)也同樣能夠?qū)崿F(xiàn)。
圖28(a)是表示帶人體傳感器的照相機(jī)的其它結(jié)構(gòu)的圖形。圖28(a)的帶人體傳感器的照相機(jī)191，在取得單色可見圖象IC之際，使用對(duì)人物的皮膚的分光信息具有靈敏度的傳感器，能夠取得可見圖象IC和象素位置吻合的紅外圖象ID。
在這里，和圖27(a)的結(jié)構(gòu)的最大的不同，不是使用可見的分光信息檢知皮膚，而是取得與皮膚的體溫對(duì)應(yīng)的紅外放射信息這一點(diǎn)。
攝像元件192采用瓷磚結(jié)構(gòu)，在可見單色亮度象素194(Y)的配置中，具有紅外靈敏度象素195(F)。另外，為了同時(shí)拍攝紅外放射和可見光，不是搭載在紅外區(qū)域不透過(guò)的玻璃的透鏡光學(xué)系統(tǒng)，而是搭載反射鏡光學(xué)系統(tǒng)193。如圖28(b)所示，Y象素對(duì)可見區(qū)域——800nm以下具有靈敏度，而F象素對(duì)紅外區(qū)域具有靈敏度。
此外，在這里以單色傳感器為例進(jìn)行了講述，但是如果將相同的攝像傳感器3個(gè)化后，就能夠?qū)崿F(xiàn)彩色化。
在本發(fā)明中，由于能夠生成比現(xiàn)有技術(shù)更有效地反映材質(zhì)等被拍攝體特性的銳化圖象及放大圖象，所以能夠在重視視覺(jué)性的信息量的各種應(yīng)用領(lǐng)域得到廣泛采用。例如在電子商務(wù)中，能夠提示消費(fèi)者注意的商品的細(xì)微部分；在數(shù)字大容量外存儲(chǔ)器中，能夠正確地向觀賞者提示展品的細(xì)微部分。另外，在映像制作中，能夠提高映像表現(xiàn)的可能性；在廣播領(lǐng)域，能夠保證各種映像格式的互換性。
權(quán)利要求
1.一種圖象處理方法，具備對(duì)原圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量的第1工序；取得在所述原圖象中反映的被拍攝體的特性，并根據(jù)所取得的被拍攝體的特性，求出所述原圖象的物理特性參數(shù)的第2工序；參照所述物理特性參數(shù)，變換所述圖象特征量矢量使所述原圖象銳化的第3工序；以及對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象的第4工序。
2.如權(quán)利要求1所述的圖象處理方法，其特征在于取得的被拍攝體的特性，至少是被拍攝體的材質(zhì)信息及從照相機(jī)到被拍攝體之間的距離信息中的某一個(gè)。
3.如權(quán)利要求1所述的圖象處理方法，其特征在于所述規(guī)定的矢量變換，使用拉普拉斯算子角錐解析或小波解析。
4.如權(quán)利要求1所述的圖象處理方法，其特征在于所述第1工序，將所述圖象特征量矢量，分成分別與所述原圖象的紋理部和邊緣輪廓部對(duì)應(yīng)的紋理矢量和邊緣輪廓矢量后求出；所述第3工序，對(duì)于所述紋理矢量和所述邊緣輪廓矢量，單獨(dú)進(jìn)行變換；所述第4工序，將變換后的所述紋理矢量和所述邊緣輪廓矢量結(jié)合后，進(jìn)行所述逆變換。
5.如權(quán)利要求4所述的圖象處理方法，其特征在于所述第3工序，對(duì)于所述紋理矢量，按照所述物理特性參數(shù)中包含的、所述被拍攝體的材質(zhì)涉及的信息及所述被拍攝體與照相機(jī)之間的距離涉及的信息中的至少一個(gè)進(jìn)行變換。
6.如權(quán)利要求4所述的圖象處理方法，其特征在于所述第3工序，對(duì)于所述邊緣輪廓矢量，按照指定的情景信息進(jìn)行變換。
7.如權(quán)利要求1所述的圖象處理方法，其特征在于，所述第3工序具備參照解析代碼簿，對(duì)所述圖象特征量矢量進(jìn)行矢量量化，求出量化索引的步驟；從預(yù)先準(zhǔn)備的再生代碼簿組中，按照所述物理特性參數(shù)，選擇最佳的再生代碼簿的步驟；以及使用所述量化索引，查閱選擇的再生代碼簿，求出變換后的圖象特征量矢量的步驟。
8.一種圖象放大方法，具備插補(bǔ)放大圖象的步驟；和按照權(quán)利要求1的圖象處理方法，將插補(bǔ)放大后的圖象作為所述原圖象，進(jìn)行圖象處理的步驟。
9.一種圖象處理裝置，具備變換部，該變換部對(duì)原圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量；特性取得部，該特性取得部取得在所述原圖象中反映的被拍攝體的特性，并根據(jù)所取得的被拍攝體的特性，求出所述原圖象的物理特性參數(shù)；以及圖象合成部，該圖象合成部參照所述物理特性參數(shù)，變換所述圖象特征量矢量使所述原圖象銳化，并對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
10.如權(quán)利要求9所述的圖象處理裝置，其特征在于所述特性取得部，作為所述被拍攝體特性，取得被拍攝體的材質(zhì)信息。
11.如權(quán)利要求10所述的圖象處理裝置，其特征在于所述特性取得部，具備可以觀測(cè)分光特性的傳感器部，使用該傳感器部的輸出，取得被拍攝體的材質(zhì)信息。
12.如權(quán)利要求10所述的圖象處理裝置，其特征在于所述特性取得部具備攝像元件，該攝像元件具備具有與規(guī)定的材質(zhì)對(duì)應(yīng)的固有的分光靈敏度的象素，使用該攝像元件的輸出，取得被拍攝體的材質(zhì)信息。
13.如權(quán)利要求10所述的圖象處理裝置，其特征在于所述特性取得部，讀取被所述被拍攝體附帶的無(wú)線標(biāo)簽所記錄的材質(zhì)信息。
14.如權(quán)利要求9所述的圖象處理裝置，其特征在于所述特性取得部，作為所述被拍攝體特性，取得從照相機(jī)到被拍攝體之間的距離信息。
15.如權(quán)利要求9所述的圖象處理裝置，其特征在于取得被拍攝體特性之際的清晰度，低于所述原圖象的清晰度。
16.一種服務(wù)器—客戶機(jī)系統(tǒng)，具備服務(wù)器和客戶機(jī)，放大輸入圖象，所述服務(wù)器，將所述輸入圖象插補(bǔ)放大，對(duì)插補(bǔ)放大后的圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量，對(duì)所述圖象特征量矢量進(jìn)行矢量量化，求出量化索引，通過(guò)網(wǎng)絡(luò)，發(fā)送所述量化索引；所述客戶機(jī)，通過(guò)網(wǎng)絡(luò)，接收所述量化索引和所述輸入圖象的物理特性參數(shù)，參照所述物理特性參數(shù)，并使用所述量化索引，查閱再生代碼簿，求出使所述插補(bǔ)圖象銳化地變換的圖象特征量矢量，對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
17.一種顯示終端，放大從外部接收的輸入圖象，所述顯示終端具備插補(bǔ)部，該插補(bǔ)部插補(bǔ)放大所述輸入圖象；變換部，該變換部對(duì)所述插補(bǔ)部輸出的插補(bǔ)圖象進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量；以及圖象合成部，該圖象合成部參照與所述輸入圖象一起從外部接收的物理特性參數(shù)，變換所述圖象特征量矢量使所述插補(bǔ)圖象銳化，并對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
18.一種顯示終端，從外部接收通過(guò)對(duì)原圖象進(jìn)行規(guī)定的矢量變換而求出圖象特征量矢量，生成圖象，具備圖象合成部，該圖象合成部使用與所述圖象特征量矢量一起從外部接收的物理特性參數(shù)，變換所述圖象特征量矢量使所述原圖象銳化，并對(duì)變換后的圖象特征量矢量，進(jìn)行所述規(guī)定的矢量變換的逆變換，生成新的圖象。
全文摘要
對(duì)于插補(bǔ)放大圖象(IN)后獲得的插補(bǔ)圖象，進(jìn)行規(guī)定的矢量變換，求出圖象特征量矢量。另外，取得被拍攝體特性，求出插補(bǔ)圖象的物理特性參數(shù)，使用它變換圖象特征量矢量，以便銳化插補(bǔ)圖象。對(duì)于變換后的圖象特征量矢量，進(jìn)行規(guī)定的矢量變換的逆變換，生成放大圖象(ELI)。
文檔編號(hào)G06T5/20GK1965330SQ20058001876
公開日2007年5月16日 申請(qǐng)日期2005年6月7日 優(yōu)先權(quán)日2004年6月9日
發(fā)明者金森克洋, 本村秀人, 菰淵寬仁 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社