面向simd型超級并行計算處理裝置的超分辨率處理方法、裝置、程序及存儲介質(zhì)的制作方法
【專利摘要】本發(fā)明的課題是提供用于解決下述問題的方法、裝置、程序及存儲介質(zhì)：以往的基于貝葉斯(Bayse)概率論的圖像復原方法是非線性式的，其需要多次卷積計算，并不適于SIMD型超級并行計算處理裝置。本發(fā)明提供：由通用計算機使SIMD型超級并行計算處理裝置承擔基于貝葉斯(Bayse)概率論的線性方程式(3)的包括1個卷積計算在內(nèi)的計算，由此降低電視影像及圖像中所包含的光學上的劣化而復原出接近劣化前電視影像及圖像的電視影像及圖像的方法、基于該方法的裝置、用于使通用計算機執(zhí)行該方法的第一及第三程序、用于使通用計算機構成該裝置且執(zhí)行的第二及第四程序、分別存儲第一～第四程序的第一～第四存儲介質(zhì)，由此來解決上述課題。
【專利說明】
面向SIMD型超級并行計算處理裝置的超分辨率處理方法、裝 置、程序及存儲介質(zhì)
技術領域
[0001 ] 本發(fā)明設及面向SIMD(Single Instraction Multiple Data;單指令多數(shù)據(jù)）型超 級并行計算處理裝置的圖像處理，尤其設及的是，用于通過基于貝葉斯(Bayse)概率論的數(shù) 學計算處理將圖像中所包含的光學模糊和污點運些劣化信息除去從而復原出劣化前的原 圖像的、面向SIMD型超級并行計算處理裝置的超分辨率處理方法及裝置、W及面向SIMD型 超級并行計算處理裝置的電視影像超分辨率處理方法及裝置、還有第一~第四程序及第一 ~第四存儲介質(zhì)。
【背景技術】
[0002] 近年來，聲音、圖像W及影像等多種多樣的數(shù)字內(nèi)容的近乎實時加工處理技術得 到了普及，例如，在地面數(shù)字電視中，要求對超過1080i (1，920橫xl，080縱，29.97帖/秒)運 樣的2M像素/帖的數(shù)據(jù)進行近乎實時處理，面向運樣的用途，開發(fā)出了 SIMD型超級并行計算 處理裝置。SIMD型超級并行計算處理裝置具有多個可編程數(shù)值計算處理器（PE: Programmable arithmetic processor Element)，其使基于一個命令的一個計算在所有的 PE中同時并行地執(zhí)行，由此能夠進行高速計算處理，但是基于算法，數(shù)據(jù)的事先準備、所得 計算結(jié)果的后處理、及/或數(shù)據(jù)的傳輸速度成為速度瓶頸，有可能無法獲得高速性。關于 SIMD型超級并行計算處理裝置的構成的一例是下述的結(jié)構:其包括用于存儲處理對象數(shù)據(jù) 的輸入及輸出存儲塊W及PE，該PE從該輸入存儲塊W1、2、4、8比特位(b i t)等預先設定的比 特位單位讀入數(shù)據(jù)，W該比特位單位進行計算處理并將計算結(jié)果寫入到輸出存儲塊，而且， 該PE有多個，各個PEW陣列狀構成并進一步由通道相互連結(jié)，從而能夠同時并行地處理多 種計算。已量產(chǎn)的例如有瑞薩電子株式會社的MX-G、株式會社東芝的C-ViA等。
[0003] 在是地面數(shù)字電視的情況下，構成電視影像的各帖雖然沒有大幅模糊到分辨不出 映入對象的程度，但是存在含有光學模糊和污點運些劣化信息的問題。
[0004] 例如，圖1是表示電視影像的1帖所包含的光學上的劣化信息的1例的圖。在圖1中 有2張圖像，左側(cè)的圖像是僅由X光針孔相機的Y(亮度)成分構成的電視影像的1帖，右側(cè)的 圖像是根據(jù)本發(fā)明人已發(fā)明的現(xiàn)有技術(專利文獻1~2)對圖1的左側(cè)的圖像進行超分辨率 處理而使圖像復原所得的。對圖1的兩圖像進行比較可知，超分辨率處理前的電視影像中含 有光學模糊和污點運些光學上的劣化信息。
[0005] 本發(fā)明人已發(fā)明的圖像復原技術(專利文獻1~2)是，根據(jù)用于從包含光學模糊和 污點運些劣化信息的1張靜態(tài)圖像的信息中求出復原圖像的貝葉斯(Bayse)概率論的數(shù)式 反復進行迭代計算，在該過程中，通過數(shù)值計算推定出作為靜態(tài)圖像的亮度分布中最大似 然的最大似然PSF(Point Spread Function;點擴散函數(shù)）的傅立葉變換的最大似然0TF (Optical化ansfer Function;光學傳遞函數(shù))及最大似然復原圖像。但是，該圖像復原技 術是基于非線性方程式在實空間及空間頻域中進行計算的算法，從每一次迭代計算需要執(zhí) 行多次傅立葉變換、傅立葉逆變換運一情況來看，計算處理量龐大，存在著難W處理需要近 乎實時處理的電視影像的問題，還存在下述問題:數(shù)據(jù)的事先準備、計算結(jié)果的后處理w及 數(shù)據(jù)的傳輸成為SIMD型超級并行計算處理裝置使用時的速度瓶頸，不是適于SIMD型超級并 行計算處理裝置的算法。
[0006] 本發(fā)明人對本發(fā)明人已發(fā)明的圖像復原技術(專利文獻1~2)進行了改進從而能 夠進行電視影像的近乎實時處理的技術L正在專利申請過程中。該技術L是，將現(xiàn)有圖像復 原技術(專利文獻1~2)中的計算對象從復數(shù)變成實數(shù)，進一步將計算處理裝置從軟件變成 采用了FPGA(Field Programmable Gate Array;現(xiàn)場可編程口陣列）的硬件，由此能夠進行 近乎實時處理。但是，存在如下問題或擔屯、：硬件化時的邏輯口數(shù)為150萬邏輯口，數(shù)量巨 大，成本高，實裝面積大;為了實現(xiàn)近乎實時處理，6次的迭代計算次數(shù)就是極限，超分辨率 處理強度可能會不足；W及由于是基于非線性方程式的算法，所W數(shù)據(jù)的事先準備、計算結(jié) 果的后處理、數(shù)據(jù)的傳輸成為SIMD型超級并行計算處理裝置使用時的速度瓶頸，不是適于 SIMD型超級并行計算處理裝置的算法。
[0007] 關于技術L的圖像復原能力，雖然在帖內(nèi)對象沒有模糊到分辨不出的程度的情況 下技術L的圖像復原能力和圖像復原技術(專利文獻1~2)是差不多的，但是，直到圖像成為 完全復原狀態(tài)的迭代計算次數(shù)需要6次左右的情況也很多，收斂緩慢，在近乎實時地進行2 ~4K運樣的大畫面電視影像的處理的用途中，有可能在處理速度方面產(chǎn)生問題，因此需要 更加的高速性W及提高收斂速度。因此，本發(fā)明人為了使技術L更加高速化而對在圖像復原 技術(專利文獻1~2)中采用的基于貝葉斯(Bayse)概率論的非線性方程式所構成的算法進 行了改進，發(fā)明出了由基于貝葉斯(Bayse)概率論的非線性方程式構成的加速算法，并正在 進行專利申請。基于該加速算法的面向電視影像的超分辨率處理技術省略了圖像復原技術 (專利文獻1~2)及技術L中所采用的PSF復原工序，進一步通過采用與劣化圖像的劣化程度 相稱的劣化指示數(shù)相關聯(lián)的第一 PSF、W及將該第一 PSF事先銳化而得到的第二PSF，并通過 根據(jù)用于從包含劣化信息的一張靜態(tài)圖像的信息中求出復原圖像的貝葉斯(Bayse)概率論 的數(shù)式而進行的2次迭代計算，獲得與技術L同等的圖像復原能力。但是，基于加速算法的面 向電視影像的超分辨率處理技術依然是基于非線性方程式的算法，因此存在如下問題:計 算量多，且數(shù)據(jù)的事先準備、計算結(jié)果的后處理、數(shù)據(jù)的傳輸成為SIMD型超級并行計算處理 裝置使用時的速度瓶頸，不是適于SIMD型超級并行計算處理裝置的算法。
[0008] 作為由其他發(fā)明人發(fā)明并已公開的面向超級并行計算處理裝置向的算法的例子， 利用將處理器二維狀配置的MISD(Multiple Instruction stream,Single Data stream; 多指令流，單數(shù)據(jù)流)型的SAP (SYSTOLIC ARRAY PROCESSOR;脈動陣列處理器)基于數(shù)式(1) 進行圖像的模糊去除（專利文獻3)。但是，該方法是基于數(shù)式（1)的線性方程式的迭代計算 方法，由于是通過MIMD型的SAP進行處理，所W存在并不能直接應用于SIMD型超級并行計算 處理裝置的問題。
[0009] [數(shù)式U
[0010] U(n+l)=U(n)-k*(H*U(n)-Yb)-S*U(n)...(l)
[0011] 在數(shù)式（1)中，U表示原圖像，Η表示PSF，Yb表示劣化圖像，k表示反饋算子 (fee化ack operator)，S表示平滑算子（smoothing operator),運些全部通過二維的函數(shù) 由m乘η的要素構成，*表示二維卷積算子。
[0012] 此外，作為基于線性方程式的超分辨算法，例如，參照專利文獻4,其公開了 ：不推 定劣化圖像的自回歸參數(shù)而構成狀態(tài)空間模型（由原圖像構成的狀態(tài)方程式和由原圖像及 噪聲構成的觀測方程式），并對該狀態(tài)空間模型進行利用了卡爾曼濾波器的圖像復原的方 法及裝置。然而，在該方法及裝置中，存在只是針對所關注像素周邊進行復原處理，而非對 圖像全體進行復原處理的問題、W及有可能并不是面向SIMD型超級并行計算處理裝置開發(fā) 的。
[0013] 現(xiàn)有技術文獻
[0014] 專利文獻
[0015] 專利文獻1:國際公開號：日本專利第4568730號(W02006/041127)
[0016] 專利文獻2:國際公開號：日本專利第4575387號(W02006/041126)
[0017] 專利文獻3:專利公開號:W02005/069217A3
[0018] 專利文獻4:專利公開號：日本特開2011-165013

【發(fā)明內(nèi)容】

[0019] 專利文獻1~4所記載的方法都存在下述問題，即：無法利用成本低廉的作為批量 生產(chǎn)產(chǎn)品的SIMD型超級并行計算處理裝置從圖像及影像中近乎實時地使圖像及影像全體 降低光學上的劣化而復原成劣化之前的圖像及影像。因此，本發(fā)明的課題是提供用于解決 上述運些問題的面向SIMD型超級并行計算裝置的超分辨率處理方法及裝置、W及面向SIMD 型超級并行計算處理裝置的電視影像超分辨率處理方法和裝置、W及第一~第四程序和第 一~第四存儲介質(zhì)。
[0020] 為了解決上述課題，本發(fā)明的第一發(fā)明提供面向SIMD型超級并行計算裝置的超分 辨率處理方法。該面向SIMD型超級并行計算裝置的超分辨率處理方法與權利要求1中記載 的方法相同，其根據(jù)用可執(zhí)行且可讀入并能解讀的語言描述的第一程序由通用計算機使 SIMD型超級并行計算處理裝置承擔基于貝葉斯(Bayse)概率論的線性方程式的數(shù)式(3)(后 述)的計算，由此在近乎實時的時間內(nèi)降低全體劣化圖像中所包含的光學上的劣化從而復 原出接近劣化前圖像的圖像。
[0021] 面向SIMD型超級并行計算裝置的超分辨率處理方法的特征在于，包括：（S1)劣化 圖像準備工序，從指定的劣化圖像文件中準備由亮度分布構成的劣化圖像，并進一步使劣 化圖像顯示于顯示器；（S2)PSF(點擴散函數(shù))準備工序，一邊觀察顯示器一邊確定與劣化圖 像的劣化狀況相適的PSF; (S3)復原圖像初始值準備工序，復制劣化圖像并使其成為復原圖 像初始值；（S4)最大迭代計算次數(shù)設定工序，從通用計算機設定最大迭代計算次數(shù)；（S5)I 重置工序，將對迭代計算次數(shù)進行計數(shù)的I計數(shù)器設定為0而重置；（S6)PSF大小取得工序， 取得PSF的大小而求出PSF大小；（S7)復原圖像初始值修正工序，首先復制復原圖像初始值 并使其成為修正復原圖像初始值，然后根據(jù)PSF大小通過計算而求出在將PSF向修正復原圖 像初始值進行卷積計算時成為除外區(qū)域的區(qū)域，并將該區(qū)域W鏡像對稱的方式轉(zhuǎn)印到修正 復原圖像初始值的外側(cè)，由此來修正修正復原圖像初始值；（S8)數(shù)據(jù)準備工序，W針對1次 迭代計算用的數(shù)據(jù)組能夠?qū)?shù)據(jù)W最大效率配置在SIMD型超級并行計算處理裝置內(nèi)的執(zhí) 行用數(shù)據(jù)存儲區(qū)域中的方式創(chuàng)建并準備計算用數(shù)據(jù)；（S9)圖像復原工序，將計算用數(shù)據(jù)傳 輸給SIMD型超級并行計算處理裝置內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域并進行計算，求得復原圖像； (SIO)I加算工序，對I計數(shù)器累加1;(S11)I判定工序，對I計數(shù)器的值為最大迭代計算次數(shù) W上運一假設進行檢驗，若檢驗結(jié)果為假，則前往(S12)，若檢驗結(jié)果為真，則前往(S14); (S12)替換工序，將復原圖像替換復原圖像初始值；（S13)返回工序(S7)的跳轉(zhuǎn)工序；（S14) 輸出復原圖像的輸出工序；（S15)最大似然復原圖像化工序，根據(jù)劣化圖像文件及復原圖像 求出RGB格式的最大似然復原圖像；（S16)文件化工序，將最大似然復原圖像形成最大似然 復原圖像文件；（S17)存儲工序，將最大似然復原圖像文件向指定了的存儲區(qū)域存儲。
[0022] 為了解決上述課題，本發(fā)明的第二發(fā)明提供面向SIMD型超級并行計算裝置的超分 辨率處理裝置。該面向SIMD型超級并行計算裝置的超分辨率處理裝置與權利要求2中記載 的裝置相同，其根據(jù)作為本發(fā)明的第一發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處 理方法，根據(jù)用可執(zhí)行且可讀入解讀的語言記述的第二程序由通用計算機W使SIMD型超級 并行計算處理裝置承擔計算的方式構成所有單元且執(zhí)行運些所有單元，由此在近乎實時的 時間內(nèi)降低劣化圖像中所包含的光學上的劣化從而復原出接近劣化前圖像的圖像。
[0023] 面向SIMD型超級并行計算裝置的超分辨率處理裝置的特征在于，包括：（W1)劣化 圖像準備單元，從指定的劣化圖像文件中準備由亮度分布構成的劣化圖像，并進一步使劣 化圖像顯示于顯示器；（W2)點擴散函數(shù)準備單元，一邊觀察顯示器一邊確定與劣化圖像的 劣化狀況相適的點擴散函數(shù)；（W3)復原圖像初始值準備單元，復制劣化圖像并使其成為復 原圖像初始值；（W4)最大迭代計算次數(shù)設定單元，從通用計算機設定最大迭代計算次數(shù)； (W5)I重置單元，將對迭代計算次數(shù)進行計數(shù)的I計數(shù)器設定為0而重置；（W6)點擴散函數(shù)大 小取得單元，取得點擴散函數(shù)的大小而求出點擴散函數(shù)大小；（W7)復原圖像初始值修正單 元，首先復制復原圖像初始值并使其成為修正復原圖像初始值，然后根據(jù)點擴散函數(shù)大小 通過計算而求出在將點擴散函數(shù)向修正復原圖像初始值進行卷積計算時成為除外區(qū)域的 區(qū)域，并將該區(qū)域W鏡像對稱的方式轉(zhuǎn)印到修正復原圖像初始值的外側(cè)，由此來修正修正 復原圖像初始值；（W8)數(shù)據(jù)準備單元，W針對1次迭代計算用的數(shù)據(jù)組能夠?qū)?shù)據(jù)W最大效 率配置在SIMD型超級并行計算處理裝置內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域中的方式創(chuàng)建并準備計 算用數(shù)據(jù)；（W9)圖像復原單元，將計算用數(shù)據(jù)傳輸給SIMD型超級并行計算處理裝置內(nèi)的執(zhí) 行用數(shù)據(jù)存儲區(qū)域并進行計算，求得復原圖像；（WIO)I加算單元，對I計數(shù)器累加 判定單元，對I計數(shù)器的值為最大迭代計算次數(shù)W上運一假設進行檢驗，若檢驗結(jié)果為假， 則前往(W12)，若檢驗結(jié)果為真，則前往(W14); (W12)替換單元，將復原圖像替換復原圖像初 始值；（W13)返回單元(W7)的跳轉(zhuǎn)單元；（W14)輸出復原圖像的輸出單元；（W15)最大似然復 原圖像化單元，從劣化圖像文件及復原圖像求出RGB格式的最大似然復原圖像；（W16)文件 化單元，將最大似然復原圖像形成最大似然復原圖像文件；（W17)存儲單元，將最大似然復 原圖像文件向指定了的存儲區(qū)域存儲。
[0024] 為了解決上述課題，本發(fā)明的第Ξ發(fā)明提供第一程序。該第一程序與權利要求3所 記載的程序相同，用于使通用計算機執(zhí)行第一發(fā)明的面向SIMD型超級并行計算裝置的超分 辨率處理方法。
[0025] 為了解決上述課題，本發(fā)明的第四發(fā)明提供第一存儲介質(zhì)。該第一存儲介質(zhì)與權 利要求4所記載的存儲介質(zhì)相同，其存儲第Ξ發(fā)明的第一程序且能夠與通用計算機連接且 能夠由通用計算機讀取并執(zhí)行。
[0026] 為了解決上述課題，本發(fā)明的第五發(fā)明提供第二程序。該第二程序與權利要求5所 記載的程序相同，用于使通用計算機作為第二發(fā)明的面向SIMD型超級并行計算裝置的超分 辨率處理裝置發(fā)揮作用。
[0027] 為了解決上述課題，本發(fā)明的第六發(fā)明提供第二存儲介質(zhì)。該第二存儲介質(zhì)與權 利要求6所記載的存儲介質(zhì)相同，其存儲第五發(fā)明的第二程序且能夠與通用計算機連接且 能夠由通用計算機讀取并執(zhí)行。
[0028] 為了解決上述課題，本發(fā)明的第屯發(fā)明提供面向SIMD型超級并行計算裝置的電視 影像超分辨率處理方法。該面向SIMD型超級并行計算裝置的電視影像超分辨率處理方法與 權利要求7中記載的方法相同，其利用第一發(fā)明的面向SIMD型超級并行計算裝置的超分辨 率處理方法，在近乎實時的時間內(nèi)降低全體電視影像的光學上的劣化，從而復原出接近劣 化前電視影像的電視影像。
[0029] 面向SIMD型超級并行計算裝置的電視影像超分辨率處理方法的特征在于，包括： (S20)劣化帖取得工序，從電視影像信號中提取1帖的由亮度分布構成的劣化圖像，并使從 電視影像信號中去除了 1帖的信號后的其余的電視影像信號帖延遲并輸出，并進一步存 儲劣化圖像的色差U及V，而后使劣化圖像顯示于顯示器，另一方面對劣化圖像進行去伽馬 處理；（S21)利用構成面向SIMD型超級并行計算裝置的超分辨率處理方法的工序S2~S14所 構成的圖像復原計算工序，由用戶確定由最大迭代計算次數(shù)及劣化指示數(shù)構成的超分辨率 處理條件，并根據(jù)該超分辨率處理條件從劣化圖像求出復原圖像的工序；（S22)第二最大似 然復原圖像化工序，對從圖像復原計算工序的輸出工序輸出的復原圖像進行伽馬處理，然 后從該復原圖像、W及通過劣化帖取得工序存儲的劣化圖像的色差U及V求出RGB格式的最 大似然復原圖像；（S23)復原電視影像信號輸出工序，由RGB格式的最大似然復原圖像及延 遲了的其余的電視影像信號合成1帖的復原電視影像信號并輸出。
[0030] 為了解決上述課題，本發(fā)明的第八發(fā)明提供面向SIMD型超級并行計算裝置的電視 影像超分辨率處理裝置。該面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝置與 權利要求8中記載的裝置相同，其根據(jù)第屯發(fā)明的面向SIMD型超級并行計算裝置的電視影 像超分辨率處理方法，在近乎實時的時間內(nèi)降低電視影像的光學上的劣化，從而復原出接 近劣化前電視影像的電視影像。
[0031] 面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝置的特征在于，包括： (W20)劣化帖取得單元，從電視影像信號中提取1帖的由亮度分布構成的劣化圖像，并使從 電視影像信號中去除了 1帖的信號后的其余的電視影像信號帖延遲并輸出，并進一步存 儲劣化圖像的色差U及V，而后使劣化圖像顯示于顯示器，另一方面對劣化圖像進行去伽馬 處理；（W21)利用構成面向SIMD型超級并行計算裝置的超分辨率處理裝置的單元W2~W14所 構成的圖像復原計算單元，由用戶確定由最大迭代計算次數(shù)及劣化指示數(shù)構成的超分辨率 處理條件，并根據(jù)該超分辨率處理條件從劣化圖像求出復原圖像的單元；（W22)第二最大似 然復原圖像化單元，對從圖像復原計算單元的輸出單元輸出的復原圖像進行伽馬處理，然 后從該復原圖像、W及通過劣化帖取得單元存儲的劣化圖像的色差U及V求出RGB格式的最 大似然復原圖像；（W23)復原電視影像信號輸出單元，由RGB格式的最大似然復原圖像及延 遲了的其余的電視影像信號合成1帖的復原電視影像信號并輸出。
[0032] 為了解決上述課題，本發(fā)明的第九發(fā)明提供第Ξ程序。該第Ξ程序與權利要求9所 記載的程序相同，其使通用計算機執(zhí)行第屯發(fā)明的面向SIMD型超級并行計算裝置的電視影 像超分辨率處理方法。
[0033] 為了解決上述課題，本發(fā)明的第十發(fā)明提供第Ξ存儲介質(zhì)。該第Ξ存儲介質(zhì)與權 利要求10所記載的存儲介質(zhì)相同，其存儲第九發(fā)明的第Ξ程序且能夠與所述通用計算機連 接且能夠由所述通用計算機讀取并執(zhí)行。
[0034] 為了解決上述課題，本發(fā)明的第十一發(fā)明提供第四程序。該第四程序與權利要求 11所記載的程序相同，其使通用計算機作為第十發(fā)明的面向SIMD型超級并行計算裝置的電 視影像超分辨率處理裝置發(fā)揮作用。
[0035] 為了解決上述課題，本發(fā)明的第十二發(fā)明提供第四存儲介質(zhì)。該第四存儲介質(zhì)與 權利要求12所記載的存儲介質(zhì)相同，其存儲第十一發(fā)明的第四程序且能夠與所述通用計算 機連接且能夠由所述通用計算機讀取并執(zhí)行。
[0036] 發(fā)明效果
[0037] 本發(fā)明是根據(jù)貝葉斯(Bayse)概率論的線性方程式僅從劣化圖像的信息中去除光 學上的劣化信息的方法，與四則運算相比，計算量龐大的卷積運算為1次，數(shù)據(jù)的事先準備、 計算結(jié)果的后處理、數(shù)據(jù)的傳輸不會成為SIMD型超級并行計算處理裝置使用時的速度瓶 頸，從而能夠使用成本低廉的批量生產(chǎn)產(chǎn)品SIMD型超級并行計算處理裝置。因此，能夠至少 部分地實現(xiàn)下述所列的效果:基于批量生產(chǎn)且開發(fā)工具集完備的現(xiàn)成的SIMD型超級并行計 算處理裝置的使用而帶來的經(jīng)濟效果及開發(fā)期間縮短所帶來的省力的效果;基于只進行1 次卷積運算而帶來的高速計算處理效果;此外，關于本發(fā)明，只要是電視方式的影像，與線 源無關，任何影像都可W，因此通過紅外線相機、X射線相機產(chǎn)生的影像也可W，適用范圍廣 泛。
【附圖說明】
[0038] 圖1是示出電視影像的1帖所包含的光學上的劣化信息的1例的圖。
[0039] 圖2是示出本發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處理方法的處理步 驟的1例的流程圖。
[0040] 圖3是示出本發(fā)明的劣化圖像準備工序的處理步驟的1例的流程圖。
[0041] 圖4是示出本發(fā)明的PSF準備工序的處理步驟的1例的流程圖。
[0042] 圖5是示出關于本發(fā)明的超分辨率處理窗口的構成的1例的圖。
[0043] 圖6是示出通過本發(fā)明中所采用的卷積計算而產(chǎn)生的除外區(qū)域的產(chǎn)生狀況及其修 正方法的1例的圖。
[0044] 圖7是示出本發(fā)明的復原圖像初始值修正工序的處理步驟的1例的流程圖。
[0045] 圖8是示出本發(fā)明的數(shù)據(jù)準備工序的處理步驟的1例的流程圖。
[0046] 圖9是示出在本發(fā)明的數(shù)據(jù)準備工序中，針對復原圖像初始值的像素的掃描方法 的1例的圖。
[0047] 圖10是示出通過本發(fā)明的數(shù)據(jù)準備工序創(chuàng)建的第一數(shù)據(jù)集及第二數(shù)據(jù)集的1例的 圖。
[0048] 圖11是示出本發(fā)明的圖像復原工序的處理步驟的1例的流程圖。
[0049] 圖12是示出在本發(fā)明的圖像復原工序中由SIMD型超級并行計算處理裝置進行的 并行計算方法的1例的圖。
[0050] 圖13是示出本發(fā)明的最大似然復原圖像化工序的處理步驟的1例的流程圖。
[0051] 圖14是示出本發(fā)明的文件化工序的處理步驟的1例的流程圖。
[0052] 圖15是示出關于面向SIMD型超級并行計算裝置的超分辨率處理裝置的構成的1例 的圖。
[0053] 圖16是示出關于在本發(fā)明中使用的通用計算機的構成的1例的圖。
[0054] 圖17是示出關于本發(fā)明的第二程序的構造的1例的圖。
[0055] 圖18是示出關于本發(fā)明的劣化圖像準備單元的構成的1例的圖。
[0056] 圖19示出關于本發(fā)明的PSF準備單元的構成的1例的圖。
[0057] 圖20是示出關于本發(fā)明的復原圖像初始值修正單元的構成的1例的圖。
[0058] 圖21是示出關于本發(fā)明的數(shù)據(jù)準備單元的構成的1例的圖。
[0059] 圖22是示出關于本發(fā)明的圖像復原單元的構成的1例的圖。
[0060] 圖23是示出關于本發(fā)明的最大似然復原圖像化單元的構成的1例的圖。
[0061] 圖24是示出關于本發(fā)明的文件化單元的構成的1例的圖。
[0062] 圖25是示出本發(fā)明的面向SIMD型超級并行計算裝置的電視影像超分辨率處理方 法的處理步驟的1例的流程圖。
[0063] 圖26是示出關于本發(fā)明的面向SIMD型超級并行計算裝置的電視影像超分辨率處 理裝置的構成的1例的圖。
[0064] 圖27是將本發(fā)明的實施例1的面向SIMD型超級并行計算裝置的超分辨率處理裝置 中的超分辨率處理步驟的1例作為事務表示出的圖。
[0065] 圖28是示出本發(fā)明實施例1的面向SIMD型超級并行計算裝置的超分辨率處理裝置 中的超分辨率處理后的處理步驟的1例的流程圖。
[0066] 圖29是示出本發(fā)明實施例1的面向SIMD型超級并行計算裝置的超分辨率處理裝置 所進行的超分辨率處理的1個效果確認例的圖。
[0067] 圖30是示出關于本發(fā)明實施例2的電視影像超分辨率處理裝置的構成的1例的圖。
【具體實施方式】
[0068] 首先，利用附圖詳細地說明用于實施本發(fā)明的最佳方式。
[0069] 圖2是關于面向SIMD型超級并行計算裝置的超分辨率處理方法的處理步驟的1例 的流程圖。圖2的面向SIMD型超級并行計算裝置的超分辨率處理方法的特征在于，包括： (S1)從被指定的劣化圖像文件2中準備由亮度分布構成的劣化圖像1，并進一步將劣化圖像 1顯示于顯示器3的劣化圖像準備工序；（S2) -邊觀察顯示器3-邊確定適于劣化圖像1的劣 化狀況的PSF4的PSF準備工序；（S3)復制劣化圖像1并使其成為復原圖像初始值5的復原圖 像初始值準備工序；（S4)從通用計算機8設定最大迭代計算次數(shù)7的最大迭代計算次數(shù)設定 工序；（S5)將對迭代計算次數(shù)進行計數(shù)的I計數(shù)器9設定為0而重置的I重置工序；（S6)取得 PSF4的大小并求出PSF大小10的PSF大小取得工序；（S7)首先復制復原圖像初始值5并使其 成為修正復原圖像初始值6,然后根據(jù)PSF大小10通過計算而求出進行向修正復原圖像初始 值6卷積PSF4的卷積計算時成為除外區(qū)域的區(qū)域，并將該區(qū)域W成為鏡像對稱的方式轉(zhuǎn)印 到修正復原圖像初始值6的外側(cè)，由此來對修正復原圖像初始值6進行修正的復原圖像初始 值修正工序；（S8)W能夠?qū)?次迭代計算用的數(shù)據(jù)組在SIMD型超級并行計算處理裝置11內(nèi) 的執(zhí)行用數(shù)據(jù)存儲區(qū)域12中W最大效率配置數(shù)據(jù)的方式創(chuàng)建并準備計算用數(shù)據(jù)13的數(shù)據(jù) 準備工序；（S9)將計算用數(shù)據(jù)13傳輸至SIMD型超級并行計算處理裝置11內(nèi)的執(zhí)行用數(shù)據(jù)存 儲區(qū)域12并計算而求出復原圖像14的圖像復原工序；（S10)對I計數(shù)器9加1的I累加工序； (S11)對I計數(shù)器9的值為最大迭代計算次數(shù)7W上運一假設進行檢驗，若檢驗結(jié)果為假，貝U 前往(S12)，若檢驗結(jié)果為真，則前往(S14)的I判定工序；（S12)將復原圖像14替換復原圖像 初始值5的替換工序；（S13)返回工序(S7)的跳轉(zhuǎn)工序；（S14)輸出復原圖像14的輸出工序； (S15)從劣化圖像文件2及復原圖像14求出RGB(S原色光)格式的最大似然復原圖像15的最 大似然復原圖像化工序；（S16)將最大似然復原圖像15形成最大似然復原圖像文件16的文 件化工序；（S17)將最大似然復原圖像文件16向指定的存儲區(qū)域存儲的存儲工序。
[0070]本發(fā)明第一發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處理方法是下述方 法，即：從無光學劣化的原圖像F通過PSF Η而劣化變成劣化圖像G的模型式的數(shù)式(2)導出 數(shù)式(3)，基于該數(shù)式(3)利用SIMD型超級并行計算處理裝置11執(zhí)行η次迭代計算，在該過程 中推定出作為第η次復原圖像的最大似然復原圖像15,該方法比現(xiàn)有的方法速度快。
[007。[數(shù)式 2]
[0072] g=F(*)H...(2)
[0073] [數(shù)式 3]
[0074] 化+1=化+G-Fn(*)H...(3)
[0075] (n = 0，l，2...k)
[0076] 在數(shù)式（2)及（3)中，F(xiàn)表示原圖像，F(xiàn)n表示復原圖像，Η表示PSF,G表示劣化圖像， (*)表示卷積計算。此外，在數(shù)式(3)中，F(xiàn)0表示復原圖像初始值5"F、化及G的像素尺寸相 同，構成圖像的像素沒有邊緣，能夠通過坐標指定，若將F、化及G依次重合，則相同坐標的像 素在相同的位置處沿上下方向重合。Η由與F、Fn及G相同像素尺寸的沒有邊緣的像素構成， 各像素能夠由坐標指定，Η具有與FJn及G同等的圖像尺寸，或是在Η為點對稱且平移不變性 成立的情況下，Η具有比F、化及G小的圖像尺寸。
[0077] 劣化圖像準備工序S1進一步由多個被細分出的多個子工序構成。圖3將劣化圖像 準備工序S1中的處理步驟的1例作為流程圖而圖示出。圖3的劣化圖像準備工序S1的特征在 于，包括讀取劣化圖像文件2,并從該劣化圖像文件2中提取出由RGB像素數(shù)據(jù)構成 的RGB劣化圖像17的RGB劣化圖像提取工序；（S1 -2)對RGB劣化圖像17進行YUV轉(zhuǎn)換，分別提 取出由Y(亮度)成分構成的Y劣化圖像18、由U(藍色差）成分構成的U劣化圖像19、由V(紅色 差)成分構成的V劣化圖像20的YUV轉(zhuǎn)換工序；（S1-3)對Y劣化圖像18進行去伽馬處理，并將 經(jīng)去伽馬處理后的Y劣化圖像18作為劣化圖像1的去伽馬工序；（S1-4)在顯示器3上顯示劣 化圖像1的劣化圖像顯示工序。在圖3中，由于RGB劣化圖像提取工序S1-1等工序是劣化圖像 準備工序S1的子工序，所W W帶的形式表示分支編號。
[0078] 在本發(fā)明中，作為對象的劣化圖像1是未壓縮且沒有接受任何人工加工的圖像，從 文件中提取后的圖像只要是24比特位或32比特位的RGB格式的位圖即可。此外，YUV444形式 的也可W，但是在該情況下，需要將RGB劣化圖像提取工序S1-1改進成能夠處理YUV圖像，因 此在圖3例子的對象范圍之外。在本發(fā)明中，將由圖像亮度分布構成的劣化圖像1作為處理 對象的理由是，因為若將RGB的各原色劣化圖像作為處理對象，則有可能在顏色構成上產(chǎn)生 變化。根據(jù)經(jīng)驗可知，即使運樣也能夠獲得充分的超分辨效果。此外，在本發(fā)明中，從RGB向 YUV的轉(zhuǎn)換及其逆轉(zhuǎn)換、W及伽馬轉(zhuǎn)換和去伽馬轉(zhuǎn)換是根據(jù)社團法人電波產(chǎn)業(yè)協(xié)會1987年8 月審定、2009年7月Cl.ο改定的標準規(guī)格BTA S-OOIC 1.0版《1125/60高清晰度電視方式演 播室標準》內(nèi)的表3.5。測色參數(shù)"化t1:p: //www. arib. or. jp/engl ish/html/overview/doc/ 2-BTA_S-001_Cl_0. p壯)進行的。
[0079] 圖4將PSF準備工序S2中的處理步驟的1例作為流程圖進行了圖示。圖4的PSF準備 工序S2的特征在于，包括：（S2-1)用戶21-邊觀察顯示器3-邊從通用計算機8設定與劣化 圖像1的劣化狀況相適的劣化指示數(shù)22的劣化指示數(shù)設定工序；（S2-2)從PSF數(shù)據(jù)庫23中選 定且提取與劣化指示數(shù)22相適應的PSF4的PSF提取工序，所述PSF數(shù)據(jù)庫23是W使PSF相對 于劣化指示數(shù)建立關聯(lián)的方式整理PSF而生成的。
[0080] 在本發(fā)明中，由于并不W對象劣化到不鮮明而無法分辨的程度的情況為對象，所 W，將5X5像素尺寸且中屯、為最大亮度的二維正態(tài)分布的PSF用作PSF4。但是，不限于該例 子，只要PSF4的大小不超過劣化圖像，任何大小都可W使用，但是隨著PSF大小10的增大，計 算速度會變慢。
[0081] 劣化指示數(shù)22是0~255的整數(shù)，0是光學上無劣化的情況，255是光學上最大程度 地劣化的情況。劣化指示數(shù)22的設定是經(jīng)由通用計算機8而進行的，具體地說，操作顯示器3 上的超分辨率處理窗口 24內(nèi)的劣化指示數(shù)設定按鈕27來進行設定。超分辨率處理窗口 24是 第一程序51起動后由通用計算機8在顯示器3上構成的，關于超分辨率處理的所有操作都能 夠在超分辨率處理窗口 24上進行。
[0082] 圖5圖示出了關于超分辨率處理窗口24的構成的1例。圖5的超分辨率處理窗口 24 構成為包括：圖像窗口 25,用于顯示劣化圖像1及最大似然復原圖像15等;信息窗口 26,用于 顯示當前日期時間、超分辨條件、劣化圖像文件名W及來自系統(tǒng)的消息等，且在右端設有上 下滾動條;劣化指示數(shù)設定按鈕27,用于通過從下拉菜單(本發(fā)明的下拉菜單默認為W淡藍 色背景顯示。）中指定1個數(shù)字來指定0~255運256個灰階中的某一個，從而設定劣化指示數(shù) 22;最大迭代計算次數(shù)設定按鈕28，點擊后組合框打開，因此用于選擇列表中的值或是從顯 示在文本框中的默認值上直接輸入最大迭代計算次數(shù)7來進行設定;劣化圖像文件指定按 鈕29，點擊后，文件管理系統(tǒng)窗口打開而顯示文件，因此能夠通過從中指定1件來進行文件 的指定;最大似然復原圖像文件保存按鈕30,在點擊顯示在圖像窗口 25中的最大似然復原 圖像15而進行指定之后點擊該按鈕，由此文件管理系統(tǒng)窗口打開，因此指定所希望的目錄， 在文件管理系統(tǒng)窗口中的文件名輸入欄中輸入文件名并進一步指定文件格式并點擊保存， 由此將最大似然復原圖像15保存于指定的目錄中；超分辨率處理開始按鈕31，為了使超分 辨率處理基于已設定的條件開始而點擊;超分辨率處理中斷按鈕32,為了中斷超分辨率處 理而點擊;超分辨率處理再開始按鈕33,用于使已中斷的超分辨率處理再次開始;超分辨率 處理停止按鈕34,為了使超分辨率處理停止而點擊;幫助按鈕35,用于打開幫助窗口，檢索 幫助內(nèi)容并顯示；圖像放大/縮小按鈕36,在點擊圖像窗口25內(nèi)的欲縮小/放大的圖像而進 行了指定之后，若點按該按鈕內(nèi)的+，則指定的圖像被放大，若點按-，則指定的圖像被放大， 若點按0,則返回成默認倍率，并顯示指定的圖像;圖像顯示模式指定按鈕37,為了從下拉菜 單中選擇圖像窗口 25內(nèi)的圖像的顯示模式的平鋪或重疊顯示中的某一個而使用;關閉按鈕 38，為了關閉超分辨率處理窗口 24而使用。
[0083] 在最大迭代計算次數(shù)設定工序S4中，對超分辨率處理窗口 24內(nèi)的最大迭代計算次 數(shù)設定按鈕28進行操作來設定最大迭代計算次數(shù)7。
[0084] 復原圖像初始值修正工序S7是用于消除在按照數(shù)式(4)~（5)向修正復原圖像初 始值6卷積PSF4時產(chǎn)生的無法計算的除外區(qū)域的工序，通過預先將除外區(qū)域內(nèi)的像素 W鏡 像對稱的方式轉(zhuǎn)印到修正復原圖像初始值6的最外周的外側(cè)，能夠?qū)⑿拚龔驮瓐D像初始值6 的最外周移動到除外區(qū)域的外側(cè)從而消除除外區(qū)域。
[0085] [數(shù)式 4]
[0086] 嚷鷄麵靡議;鑛;辛鑛義I山:愛緣f
[0087] [數(shù)式引
[008引
[0089] 在數(shù)式(4)~（5)中，G表示劣化圖像，G(i，j)表示坐標（i，j)的劣化圖像的像素 ，F(xiàn) 表示復原圖像，F(xiàn)(i-m，j-n)表示坐標（i-m，j-n)的復原圖像的像素，Η表示PSF，H(m，n)表示 坐標(m，n)的PSF的像素，空屯、圓中記入星號而成的記號表示卷積計算，中點"·" 表示乘法運算，此外，i、j、m、n、M及N為正整數(shù)。
[0090] 根據(jù)數(shù)式(5)，PSF大小為橫像素數(shù)2M+1、縱像素數(shù)2N+1。在該情況下，除外區(qū)域可 W由數(shù)式(6)~(7)求得，縱像素數(shù)為化、橫像素數(shù)為EW。
[00川[數(shù)式6]
[0092] 化=INT((2 化 1)/2)...(6)
[0093] [數(shù)式 7]
[0094] EW=INT((2M+l)/2)---(7)
[00M]在數(shù)式(6)~(7)中，INTO是僅提取括號內(nèi)數(shù)值的整數(shù)部分的函數(shù)。在本發(fā)明中， 由于PSF大小為5X5,所W相當于N=M=2。在該情況下，化= EW = 2,除外區(qū)域為復原圖像初 始值5的外周2像素的區(qū)域。
[0096] 圖6是示出因本發(fā)明中采用的卷積計算而產(chǎn)生的除外區(qū)域的產(chǎn)生狀況及其修正方 法的1例的圖。在圖6的例子中，W進行將5X5的PSF向修正復原圖像初始值6的卷積計算時 的左上角附近的狀況為說明例，但是運樣的除外區(qū)域是修正復原圖像初始值的外周2像素 的區(qū)域全體。在圖6的例子中，示出了復制復原圖像初始值5并作為修正復原圖像初始值6之 后的狀態(tài)，通過將修正復原圖像初始值6的外周2像素 W鏡像對稱的方式轉(zhuǎn)印到除外區(qū)域而 進行修正，并進一步使原點移動，由此來消除修正復原圖像初始值6的除外區(qū)域。運樣，卷積 計算后的原點與修正前的修正復原圖像初始值6的原點、即復原圖像初始值5的原點一致。
[0097] 圖7將復原圖像初始值修正工序S7中的處理步驟的1例作為流程圖進行了圖示。圖 7的復原圖像初始值修正工序S7構成為包括：（S7-1)將PSF大小10作為由橫像素數(shù)冊及縱像 素數(shù)化構成的數(shù)值而求出的Η大小計算工序；（S7-2)基于PSF大小10,將用2除HW所得的商的 整數(shù)部分作為橫向大小修正值Cw，將用2除化所得的商的整數(shù)部分作為縱向大小修正值C1 的修正值計算工序；（S7-3)將從修正復原圖像初始值6的上邊緣起在內(nèi)側(cè)的C1個像素行W 鏡像對稱的方式轉(zhuǎn)印到修正復原圖像初始值6的上邊緣外側(cè)的第1F修正工序；（S7-4)將從 修正復原圖像初始值6的右邊緣起在內(nèi)側(cè)的Cw個像素列W鏡像對稱的方式轉(zhuǎn)印到修正復原 圖像初始值6的右邊緣的外側(cè)而創(chuàng)建，并將其更新成為修正復原圖像初始值6的第2F修正工 序；（S7-5)將從修正復原圖像初始值6的下邊緣起在內(nèi)側(cè)的C1個像素行W鏡像對稱的方式 復制到修正復原圖像初始值6的下邊緣的外側(cè)而創(chuàng)建，并將其更新成為修正復原圖像初始 值6的第3F修正工序；（S7-6)將從修正復原圖像初始值6的左邊緣起在內(nèi)側(cè)的Cw個像素列W 鏡像對稱的方式復制到修正復原圖像初始值6的左邊緣的外側(cè)而創(chuàng)建，并將其更新成為修 正復原圖像初始值6的第4F修正工序。
[0098] 在數(shù)據(jù)準備工序S8中，計算用數(shù)據(jù)13是1次迭代計算用的數(shù)據(jù)組，是為了通過SIMD 型超級并行計算處理裝置11計算出數(shù)式(3)的等號右邊而必需的數(shù)據(jù)組。需要數(shù)據(jù)準備工 序S8的理由是，SIMD型超級并行計算處理裝置11是W2比特位、4比特位、8比特位、16比特 位……等預先設定的規(guī)定單位、W預先設定的并行度同時并行地進行在SIMD型超級并行計 算處理裝置11內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域12中存儲的數(shù)據(jù)的四則計算及LUT(L〇〇k Up 化ble;查找表)邏輯計算的計算裝置。因此，為了 SIMD型超級并行計算處理裝置11能夠計 算，需要向執(zhí)行用數(shù)據(jù)存儲區(qū)域12事先傳輸并存儲計算用數(shù)據(jù)13。該計算用數(shù)據(jù)13是W在 執(zhí)行用數(shù)據(jù)存儲區(qū)域12中W最大效率配置數(shù)據(jù)的方式事先創(chuàng)建的。
[0099] 在本發(fā)明中，執(zhí)行用數(shù)據(jù)存儲區(qū)域12 W每計算單元512比特位的左右2個存儲體 (bank)具有共計1024比特位的容量，對左右存儲體賦予1~512的X地址和1024的Y地址，指 定左右存儲體中的某一個并進一步指定地址(Χ，Υ)，由此能夠選擇指定的存儲體內(nèi)的任意 的寄存器，計算單元進行2比特位的四則計算及LUT計算，計算單元及執(zhí)行用數(shù)據(jù)存儲區(qū)域 12的并行計算度為1024。因此，W使用該SIMD型超級并行計算處理裝置11時的計算用數(shù)據(jù) 13的創(chuàng)建為例，來說明關于數(shù)據(jù)準備工序S8的構成的1例。
[0100] 圖8將數(shù)據(jù)準備工序S8中的處理步驟的1例作為流程圖進行了圖示。圖8的數(shù)據(jù)準 備工序S8構成為包括下述工序：（S8-1)取入復原圖像初始值5的基于像素數(shù)的圖像尺寸，并 W復原圖像初始值5的左上角的像素為原點，W在橫向上從左端的像素到右端的像素、接著 在縱向上向下移動1像素的量、而后返回到橫向上的左端、再從左端的像素到右端的像素運 樣的方式生成像素的坐標^，7);(58-2)^修正復原圖像初始值6的坐標^，7)的像素為原 點，讀入包含該原點在內(nèi)的橫向右側(cè)5像素 X向下5像素的8比特位寬度的像素值并形成FC (i，j);(S8-3)讀入PSF4的5X5像素的8比特位寬度的像素值，并使其成為W左上角的像素 為原點的H(i，j)，一邊為了能夠?qū)C(i，j)的像素值和與之相同坐標的H(i，j)的像素值相 乘，W從原點起沿縱向從上至下、接著沿橫向錯開1個后繼續(xù)沿縱向從上至下運樣的方式操 作H(i，j)及FC(i，j)的坐標，一邊關于所有的i(l~5的整數(shù))及j(l~5的整數(shù)）的組合制作 由FC(i，j)的值8比特位、與之相同坐標的FC(i，j)的值8比特位、W及用于寫入兩者的積的 12比特位的區(qū)域按該順序相連而形成為1個的數(shù)據(jù)集，使最初的17個數(shù)據(jù)集成為用于向執(zhí) 行用數(shù)據(jù)存儲區(qū)域12的左存儲體傳輸并存儲的第一數(shù)據(jù)集39,使其余的8個數(shù)據(jù)集成為用 于向執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體傳輸并存儲的第二數(shù)據(jù)集40; (S8-4)形成累積和計 算用區(qū)域43,所述累積和計算用區(qū)域43由用于從第一數(shù)據(jù)集39及第二數(shù)據(jù)集40的積存儲區(qū) 域1個1個地W不重復的方式讀入并對其進行累加運算的12比特位寬度的第一累積和計算 用區(qū)域41、及用于存儲累加運算計算后的和的12比特位寬度的第二累積和計算用區(qū)域42相 連續(xù)而成；（S8-5)W劣化圖像1的像素平面的左上角為原點，劣化圖像1的任意像素由G(x， y)表示，W復原圖像初始值5的像素平面的左上角為原點，復原圖像初始值5的任意像素由F (x，y)表示，此時，G(x，y)的化k特位寬度的像素值和F(x，y)的8比特位寬度的像素值W能夠 進行加法運算的方式形成數(shù)據(jù)對，為了存儲該結(jié)果，再加上空的12比特位寬度的區(qū)域相連 續(xù)而形成加算用數(shù)據(jù)集44; (S8-6)創(chuàng)建12比特位寬度的復原圖像像素值區(qū)域45,所述復原 圖像像素值區(qū)域45用于存儲從加算用數(shù)據(jù)集44中的結(jié)果存儲區(qū)域內(nèi)的值減去存儲在累積 和計算用第一區(qū)域41中的結(jié)果而得的結(jié)果，即存儲復原圖像14的像素值；（S8-7)在第二數(shù) 據(jù)集40之后連接累積和計算用區(qū)域43并進一步與之接續(xù)地連接加算用數(shù)據(jù)集44,再進一步 與之接續(xù)地連接復原圖像像素值區(qū)域45從而形成1個數(shù)據(jù)集；（S8-8)從X及y生成及 運樣的標簽，并給第一數(shù)據(jù)集39賦予，給第二數(shù)據(jù)集40賦予; (S8- 9)對復原圖像初始值5中沒有殘留未計算的像素運一假設進行檢驗，若檢驗結(jié)果為假，則返 回S8-1，否則若檢驗結(jié)果為真，則結(jié)束。
[0101] 第一數(shù)據(jù)集39及第二數(shù)據(jù)集40是同一計算單元用的數(shù)據(jù)對，是復原圖像14的1像 素量的計算用數(shù)據(jù)。
[0102] 圖9是示出在工序S8-1中生成復原圖像初始值5的像素的坐標時對像素進行掃描 的方法的1例的圖。圖9中示出了：在逐個生成復原圖像初始值5的所有像素的坐標時，W復 原圖像初始值5的左上角的像素為原點，W沿橫向從左端像素向右端像素、接著沿縱向向下 移動1像素量而后進一步返回到橫向左端、再從左端像素到右端像素運樣的方式進行掃描 的方法。但是，該掃描方向并不局限于該例子，是自由的。在圖9中，復原圖像初始值5的圖像 尺寸是，橫向總像素數(shù)為Wx，縱向總像素數(shù)為Ly，像素用F(x、y)表示，X是1~Wx的整數(shù)，y是1 ~Ly的整數(shù)。
[0103] 圖10是示出通過數(shù)據(jù)準備工序S8創(chuàng)建的第一數(shù)據(jù)集39及第二數(shù)據(jù)集40的1例的 圖。根據(jù)圖10,第一數(shù)據(jù)集39及第二數(shù)據(jù)集40中的同一 Y地址的數(shù)據(jù)集是用于按照數(shù)式(3) 的右側(cè)式子計算復原圖像14的特定的1像素量的數(shù)據(jù)集。全體的Y地址是1024像素量的數(shù)據(jù) 集。左存儲體的X地址為1~504及右存儲體的X地址為1~224的區(qū)域是卷積計算中的積分計 算用的數(shù)據(jù)集，由用于存儲修正復原圖像初始值6的像素 FC(i，j)、PSF4的像素 H(i，j)W及 它們的積的區(qū)域構成，右存儲體的X地址為253~276的區(qū)域是累積和計算用區(qū)域43,右存儲 體的X地址為277~304的區(qū)域為加算用數(shù)據(jù)集44,右存儲體的X地址為305~316的區(qū)域為復 原圖像像素值區(qū)域45。
[0104] 圖11將圖像復原工序S9中的處理步驟的1例作為流程圖進行了圖示。圖11的圖像 復原工序S9構成為包括下述工序：（S9-1)取入復原圖像初始值5的基于像素數(shù)的圖像尺寸， 并按照圖9所示的掃描方法，W復原圖像初始值5的左上角的像素為原點，一邊W沿橫向從 左端像素到右端像素、接著沿縱向向下移動1像素量然后返回到左端像素、再從該左端像素 沿橫向到右端像素運樣的方式使讀入對象像素坐標變化，一邊W1024像素間隔生成復原圖 像初始值5的像素的坐標(x，y)46,并將之存儲在大容量高速存儲器54的變量x()及變量y() 中；（S9-2)W像素坐標(x，y)46為開始像素，通過圖9所示的掃描方法生成包含原點像素坐 標(x，y)46在內(nèi)的坐標，同時根據(jù)該坐標生成標簽及，讀入1024像素的量或 最大像素數(shù)的量的第一數(shù)據(jù)集39及第二數(shù)據(jù)集40,并將第一數(shù)據(jù)集39向執(zhí)行用數(shù)據(jù)存儲區(qū) 域12的左存儲體、將第二數(shù)據(jù)集40向執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體、分別W左對齊的 方式FIF0(First In First Out;先進先出）傳輸1024像素的量或最大像素數(shù)的量的數(shù)據(jù)； (S9-3)在SIMD型超級并行計算處理裝置11中，命令SIMD型超級并行計算處理裝置11執(zhí)行如 下計算且檢測計算完成情況，所述計算是:利用傳輸來的第一數(shù)據(jù)集39及第二數(shù)據(jù)集40，首 先W1024像素的量并行地進行構成卷積計算的積分運算，然后W1024像素的量并行地求出 上述25個積的累積和，接著W1024像素的量并行地進行劣化圖像1與復原圖像初始值5的加 法運算，從作為其結(jié)果的1024像素的量的和中Wl次計算減去1024像素的量的累積和，并將 其結(jié)果作為復原圖像14的1024像素的量的像素存儲在執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體 復原圖像像素值區(qū)域45的列中；（S9-4)按照圖9所示的掃描方法，W原點像素坐標(x，y)46 為開始像素，生成包含該像素在內(nèi)的1024像素的量或最大像素數(shù)的量的坐標(xl，yl)并將 各個坐標保存于大容量高速存儲器54的變量xl及變量yl中，另一方面根據(jù)運些xl及yl創(chuàng)建 "F-xl-yl"標簽，并創(chuàng)建1024像素的量或最大像素數(shù)的量的W該標簽為變量名的用于保存 復原圖像14的像素值的變量F-xl-yl()，在大容量高速存儲器54內(nèi)創(chuàng)建由能夠按照創(chuàng)建的 順序縱向排列地存儲1024個或最大像素數(shù)的量的像素值的變量組構成的列、即復原像素臨 時保存區(qū)域47,然后從執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體的復原圖像像素值區(qū)域45的列中 讀取1024個或最大像素數(shù)的量的復原圖像14的像素值，并FIFO傳輸至復原像素臨時保存區(qū) 域47; (S9-5)首先在大容量高速存儲器54內(nèi)定義復原圖像存儲區(qū)域92,所述復原圖像存儲 區(qū)域92由與復原圖像初始值存儲區(qū)域90相同大小的存儲區(qū)域構成且W左上角為原點，由與 復原圖像14的像素坐標相對應的像素值存儲區(qū)域構成，接著，將從復原像素臨時保存區(qū)域 47按順序讀取1像素量的像素數(shù)據(jù)、解析標簽并生成像素坐標(X，y )、在與該像素坐標(X，y) 相對應的復原圖像存儲區(qū)域92的存儲區(qū)域中存儲像素值運樣的過程反復進行1024個或最 大像素數(shù)的量；（S9-6)參照復原圖像初始值5的圖像尺寸，按照圖9的掃描法，根據(jù)復原圖像 初始值5的像素的坐標(x，y)46對沒有第1024像素的像素存在運一假設進行檢驗，若檢驗結(jié) 果為假，則返回數(shù)據(jù)準備工序S9-1，否則若檢驗結(jié)果為真，則結(jié)束。
[0105] 圖12是示出在工序S9-4中進行的利用了第一數(shù)據(jù)集39及第二數(shù)據(jù)集40的SIMD型 超級并行計算處理裝置11中的并行計算方法的1例的圖。在圖12中，第一數(shù)據(jù)集39及第二數(shù) 據(jù)集40是與圖10相同的配置，積分運算、加法運算及減法運算是W列為單位(寄存器的Y地 址1~1024)并行地同時執(zhí)行，累積和通過執(zhí)行下述工序（1)~（3)而求得，即：（1)進行作為 積分運算N(N為整數(shù)，1^N^ 25)的結(jié)果的積N與第一累積和計算用區(qū)域41的加法運算，并將 該和存儲在第二累積和計算用區(qū)域42中；（2)將第二累積和計算用區(qū)域42的數(shù)據(jù)傳輸至第 一累積和計算用區(qū)域41; (3)反復進行（1)~(2)，直到N為25。
[0106] 最大似然復原圖像化工序S15由進一步細分的工序構成，關于最大似然復原圖像 化工序S15的處理步驟的1例作為流程圖在圖13中示出。圖13的最大似然復原圖像化工序 S15包括下述工序：（S15-1)從劣化圖像文件2中提取RGB格式的劣化圖像1，進一步進行YUV 轉(zhuǎn)換而提取出由U色差構成的U劣化圖像19及由V色差構成的V劣化圖像20; (S15-2)將由亮 度分布(Y)構成的復原圖像14從大容量高速存儲器54內(nèi)的復原圖像存儲區(qū)域92中讀出，并 對該復原圖像14進行伽馬修正；（S15-3)由伽馬修正后的復原圖像14、U劣化圖像19及V劣化 圖像20合成YUB格式的最大似然復原圖像15,并在大容量高速存儲器54內(nèi)的最大似然復原 圖像存儲區(qū)域114中定義出與該最大似然復原圖像15的圖像尺寸相適合的存儲區(qū)域后進行 存儲；（S15-4)從最大似然復原圖像存儲區(qū)域114中讀取出YUB格式的最大似然復原圖像15， 并在將其轉(zhuǎn)換成RGB格式后存儲在最大似然復原圖像存儲區(qū)域114中并輸出；（S15-5)從RGB 圖像存儲區(qū)域84中讀取RGB劣化圖像17,并將其調(diào)整成圖像窗口 25的左半部分，然后從最大 似然復原圖像存儲區(qū)域114中讀入RGB格式的最大似然復原圖像15,并將其調(diào)整成圖像窗口 25的右半部分，然后在使顯示器3初始化后進行顯示。
[0107] 圖14將文件化工序S16的處理步驟的1例作為流程圖進行了圖示。圖13的文件化工 序S16包括下述工序：（S16-1)始終監(jiān)視超分辨率處理窗口 24的圖像窗口 25內(nèi)的最大似然復 原圖像15被點擊指定情況；（S16-2)對最大似然復原圖像15已被指定運一假設進行檢驗，若 檢驗結(jié)果為假，則返回工序S16-1，否則若檢驗結(jié)果為真，則向工序S16-3前進；（S16-3)始終 監(jiān)視最大似然復原圖像文件保存按鈕30被點擊情況；（S16-4)對最大似然復原圖像文件保 存按鈕30已被點擊運一假設進行檢驗，若檢驗結(jié)果為假，則返回工序S16-3,否則若檢驗結(jié) 果為真，則向工序S16-5前進；（S16-5)打開E邱loreH瀏覽器）；（S16-6)在存儲工序S17中， 若用戶21保存最大似然復原圖像15文件16,貝化xplorer關閉，但始終監(jiān)視該E邱lorer關閉 的情況；（S16-7)對文件保存完成而E邱lorer關閉運一假設進行檢驗，若檢驗結(jié)果為假，貝U 向工序S16-8前進，否則若檢驗結(jié)果為真，則結(jié)束；（S16-8)在信息窗口 26顯示"文件保存失 敗。若再次保存，請點擊最大似然復原圖像文件保存按鈕30。若取消，請按通用計算機8的鍵 盤48的ESC(退出）按鈕49"運一消息；（S16-9)始終監(jiān)視鍵盤48的ESC(退出）按鈕49被按壓的 情況；（S16-10)對鍵盤48的ESC(退出）按鈕49已被按壓運一假設進行檢驗，若檢驗結(jié)果為 假，則向工序S16-11前進，否則若檢驗結(jié)果為真，則結(jié)束；（S16-11)始終監(jiān)視最大似然復原 圖像文件保存按鈕30被點擊的情況；（S16-12)對最大似然復原圖像文件保存按鈕30已被點 擊運一假設進行檢驗，若檢驗結(jié)果為假，則返回工序S16-9，否則若檢驗結(jié)果為真，則返回工 序S16-5，在超分辨率處理窗口 24中，當超分辨率處理完成而在圖像窗口 25中顯示最大似然 復原圖像15時，用戶21為了保存該圖像，通過點擊圖像窗口 25的最大似然復原圖像15來進 行指定，然后，一旦點擊最大似然復原圖像文件保存按鈕30,則由于本發(fā)明使用的是微軟 (Microsoft)(注冊商標）公司0S(操作系統(tǒng)），所W該0S提供的名稱為巧xploreH注冊商 標r的文件系統(tǒng)窗口就會打開，在存儲工序S17中，用戶21指定文件系統(tǒng)窗口內(nèi)的合適的目 錄，并進一步輸入文件名，再選擇合適的圖像文件格式，然后點擊保存，由此完成了保存處 理。
[0108] 圖15對關于面向SIMD型超級并行計算裝置的超分辨率處理裝置50的構成的1例進 行了圖示。圖15的面向SIMD型超級并行計算裝置的超分辨率處理裝置50是:按照作為本發(fā) 明的第一發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處理方法，根據(jù)W可執(zhí)行且可讀 入解讀的語言記述的第二程序80,由通用計算機8使SIMD型超級并行計算處理裝置11承擔 計算，由此降低劣化圖像1所包含的光學上的劣化從而復原出劣化前的圖像的裝置。此外， 在圖15中，黑點表示禪合，粗實線表示執(zhí)行順序的關系。
[0109] 圖15的面向SIMD型超級并行計算裝置的超分辨率處理裝置50包括：（W1)劣化圖像 準備單元，從被指定的劣化圖像文件2中準備由亮度分布構成的劣化圖像1，并進一步將劣 化圖像1顯示在顯示器3上；（W2)PSF準備單元，一邊觀察顯示器3-邊選定與劣化圖像1的劣 化狀況相適的PSF4;(W3)復原圖像初始值準備單元，復制劣化圖像1并將其作為復原圖像初 始值5; (W4)最大迭代計算次數(shù)設定單元，通過通用計算機8設定最大迭代計算次數(shù)7; (W5)I 重置單元，將對迭代計算次數(shù)進行計數(shù)的I計數(shù)器9設定為0而使之重置；（W6)PSF大小取得 單元，取得PSF4的大小并求出PSF大小10; (W7)復原圖像初始值修正單元，首先復制復原圖 像初始值5并將其作為修正復原圖像初始值6,然后根據(jù)PSF大小10通過計算而求得將PSF4 向修正復原圖像初始值6進行卷積計算時成為除外區(qū)域的區(qū)域，并將該區(qū)域W鏡像對稱的 方式轉(zhuǎn)印到修正復原圖像初始值6的外側(cè)，由此對修正復原圖像初始值6進行修正；（W8)數(shù) 據(jù)準備單元，W能夠?qū)?次迭代計算用的數(shù)據(jù)組W最大效率配置在SIMD型超級并行計算處 理裝置11內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域12中的方式創(chuàng)建并準備計算用數(shù)據(jù)13; (W9)圖像復原單 元，將計算用數(shù)據(jù)13傳輸給SIMD型超級并行計算處理裝置11內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域12并 進行計算而求得復原圖像14; (WIO)I加算單元，對I計數(shù)器9加1; (W11)1判定單元，對I計數(shù) 器9的值為最大迭代計算次數(shù)7W上運一假設進行檢驗，若檢驗結(jié)果為假，則向(W12)前進， 若檢驗結(jié)果為真，則向（W14)前進；（W12)替換單元，將復原圖像14替換復原圖像初始值5; (W13)跳轉(zhuǎn)單元，返回單元(W7); (W14)輸出單元，輸出復原圖像14; (W15)最大似然復原圖像 化單元，從劣化圖像文件2及復原圖像14求出RGB格式的最大似然復原圖像15; (W16)文件化 單元，將最大似然復原圖像15形成最大似然復原圖像文件16; (W17)存儲單元，將最大似然 復原圖像文件16向被指定的存儲區(qū)域52中存儲。
[0110] 作為本發(fā)明第二發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處理裝置50是 基于作為本發(fā)明的第一發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處理方法的裝置 的1例，具有構成上必要充分的最小構成單元，能夠高速地生成從RGB格式的劣化圖像文件2 中去除了光學上的劣化信息的RGB格式的最大似然復原圖像文件16。
[0111] 圖16對關于在本發(fā)明中采用的通用計算機8的構成的1例進行了圖示，在圖16中， SIMD型超級并行計算處理裝置11也作為構成要素而包含在其中。圖16的通用計算機8由下 述所有的部分構成，即：帶觸控傳感器的顯示器3; SIMD型超級并行計算處理裝置11; PSF數(shù) 據(jù)庫23;鍵盤48;第二程序80;能夠高速隨機存取及寫入讀取W及擦除和編輯的具有1T字節(jié) W上容量的皿D(Hard Disk Drive;硬盤驅(qū)動器）53;由SDRAM(Synch;ronous Dynamic Randoumn Access Memoir;同步動態(tài)隨機存儲器）、PSRAM(Psued Static Randoumn Access Memory;偽靜態(tài)隨機存儲器）、SRAM(Static Randoumn Access Memory;靜態(tài)隨機存取存儲 器）W及閃存構成的大容量高速存儲器54;具有4個W上CPU核的2G化W上時鐘頻率的64比 特位指令集的32比特位CPU55;進行數(shù)據(jù)通信、大容量高速存儲器的管理及總線控制等的周 邊電路56;內(nèi)置TCP/lP(Transmission Conhol Protocol;傳輸控制協(xié)議)調(diào)制解調(diào)器且支 持USB(Universal Serial Bus;通用串行總線）I/0(Input/0utput Inte;rface;輸入/輸出 接口）、LAN(L〇cal Area Network;局域網(wǎng)）1/0、公共線路 1/0、皿MUHigh-Definition Multimedia Intedace;高清晰度多媒體接口、注冊商標）1/0、與鍵盤48的通信1/0、存儲卡 1/0、能夠進行CD、DVD、抓的播放、記錄、擦除的全能光盤模塊1/0、向顯示器3提供視頻數(shù)據(jù) 并將從顯示器3的觸控傳感器發(fā)送來的數(shù)據(jù)發(fā)送給CPU55的顯示器I/0W及音頻1/0等多種 1/0的通信1/0電路57;進行視頻數(shù)據(jù)的收發(fā)、編碼和解碼W及多種圖像處理的視頻加速電 路58;雙向總線59;全能光盤模塊60;存儲器插槽61;電源電路62;根據(jù)來自CPU55的命令進 行合適的冷卻的冷卻裝置63;LAN端子64;USB端子65~67;鼠標68;微軟公司制Windows(注 冊商標)8的0/S 69;微軟公司制Visual Studio 2010(注冊商標）（包括Visual C++2010) 70;微軟公司制Office 2013(注冊商標）{Excel 2013(注冊商標）、Word 2013(注冊商標）、 Power Point 2013(注冊商標）}71;WiFi(Wireless Fidelity;無線保真）和藍牙（注冊商 標)等無線通信模塊72;揚聲器73;麥克風74;電源開關75;電源線纜76; USB線纜77 ;MDMI (注 冊商標)線纜78;開發(fā)環(huán)境Hi曲-performance Embedded Workshop軟件79。
[0112] 在圖16中，PSF數(shù)據(jù)庫23、第一程序51、Windows(注冊商標）8的0/S 69、Visual Studio 2010(注冊商標）70、0ffice 2013(注冊商標）71 W及開發(fā)環(huán)境Hi曲-performance Embedded Workshop軟件79處于已存儲于皿D53中的狀態(tài)。
[0113] 圖16的通用計算機8可W使用市面上銷售的Windows(注冊商標）系筆記本PC及臺 式PC等多種產(chǎn)品，此外，SIMD型超級并行計算處理裝置11可W使用例如瑞薩電子株式會社 制的"Super RISC engine family用MX開發(fā)工具集（toolkit)"，在本發(fā)明中也使用了該工 具集。該工具集由稱為MX內(nèi)核的為了驅(qū)動搭載了 SIMD型超級并行計算處理裝置11的基板W 及該電路基板內(nèi)的硬件而必需的軟件、例如將用C語言寫成的源程序轉(zhuǎn)換成通過MX內(nèi)核能 夠執(zhí)行的目標程序的"MX代碼生成工具"、W及調(diào)試程序和模擬程序構成。在本發(fā)明的面向 SIMD型超級并行計算裝置的超分辨率處理裝置50中，如圖16所示那樣通過USB線纜77將通 用計算機8與SIMD型超級并行計算處理裝置11之間連接起來，并進一步在通用計算機8中事 先安裝為了從通用計算機8側(cè)起動SIMD型超級并行計算處理裝置11而必需的綜合開發(fā)環(huán)境 High-performance Embedded Workshop軟件79。
[0114] 本發(fā)明的第Ξ發(fā)明是用于使通用計算機8執(zhí)行第一發(fā)明的面向SIMD型超級并行計 算裝置的超分辨率處理方法的第一程序51。該第一程序51使用C++、HTML、XTML及JAVA(注冊 商標)記述。
[0115] 本發(fā)明的第四發(fā)明是特征在于能夠存儲第Ξ發(fā)明的第一程序且能夠與通用計算 機8連接且能夠由通用計算機8讀取并執(zhí)行的第一存儲介質(zhì)。該第一存儲介質(zhì)能夠使用DVD (Digital Versatile Disc;數(shù)字視頻光盤）、CD(Compact Disc;壓縮光盤）、閃存卡、SD存儲 卡、USB存儲器等。能夠?qū)Φ谝怀绦蜻M行加密存儲，保持加密狀態(tài)讀入到通用計算機8中，在 通用計算機8中解密后安裝。此外，還可W使用內(nèi)置加密/解密電路且能夠進行密碼 (password)鎖定的USB存儲器或SDHC存儲卡。在本發(fā)明中使用了內(nèi)置加密/解密電路的USB 存儲器。此外，密鑰可W使用25化k特位密鑰強度的AES、DES等。
[0116] 本發(fā)明的第五發(fā)明是使通用計算機8作為第二發(fā)明的面向SIMD型超級并行計算裝 置的超分辨率處理裝置50發(fā)揮作用的第二程序80,其通過與第一程序51相同的語言記述。
[0117] 圖17對關于第二程序80的構造的1例進行了圖示。圖17的第二程序80構成為包括： 圖像復原裝置程序81，在通用計算機8內(nèi)虛擬地形成構成面向SIMD型超級并行計算裝置的 超分辨率處理裝置50的所有單元;超分辨率處理窗口生成程序82，生成超分辨率處理窗口 24并使之顯示于顯示器3;超分辨率處理窗口監(jiān)視程序83，始終監(jiān)視超分辨率處理窗口 24內(nèi) 的圖像及按鈕、W及鍵盤48中的ESC鍵49、Enter鍵、上翻頁鍵及下翻頁鍵，并與圖像復原裝 置程序81協(xié)調(diào)地執(zhí)行必要的處理。此外，在圖17中，粗實線表示執(zhí)行順序的關系。
[0118] 本發(fā)明的第六發(fā)明是特征在于能夠存儲第五發(fā)明的第二程序80且能夠與通用計 算機8連接且能夠由通用計算機8讀取并執(zhí)行的第二存儲介質(zhì)。第二存儲介質(zhì)可W使用與第 一存儲介質(zhì)相同的存儲介質(zhì)，在本發(fā)明中，第二存儲介質(zhì)使用與第一存儲介質(zhì)同樣的內(nèi)置 加密/解密電路的USB存儲器。
[0119] 圖18對關于劣化圖像準備單元W1的構成的1例進行了圖示。圖18的劣化圖像準備 單元W1由RGB劣化圖像提取單元W1-UYUV轉(zhuǎn)換單元W1-2、去伽馬單元W1-3及劣化圖像顯示 單元W1-4構成，"RGB劣化圖像提取單元Wl-r讀入劣化圖像文件2并將其存儲在皿D53,從存 儲在該皿D53中的劣化圖像文件2提取由RGB像素數(shù)據(jù)構成的RGB劣化圖像17，在大容量高速 存儲器54內(nèi)將與RGB劣化圖像17的圖像尺寸相適合的存儲區(qū)域設定為RGB圖像存儲區(qū)域84、 Y劣化圖像存儲區(qū)域85、U劣化圖像存儲區(qū)域86、V劣化圖像存儲區(qū)域87及劣化圖像存儲區(qū)域 88,然后將RGB劣化圖像17存儲在RGB圖像存儲區(qū)域84中；"YUV轉(zhuǎn)換單元W1-2"對存儲在RGB 圖像存儲區(qū)域84中的RGB劣化圖像17進行YUV轉(zhuǎn)換，提取由Υ(亮度)成分構成的Υ劣化圖像18 并將其存儲在Υ劣化圖像存儲區(qū)域85中，提取由U(青色差)成分構成的U劣化圖像19并將其 存儲在U劣化圖像存儲區(qū)域86中，提取由V(紅色差)成分構成的V劣化圖像20并將其存儲在V 劣化圖像存儲區(qū)域87中；"去伽馬單元W1-3"對存儲在Υ劣化圖像存儲區(qū)域85中的Υ劣化圖像 18進行去伽馬處理，并將去伽馬處理后的Υ劣化圖像18存儲在劣化圖像存儲區(qū)域88中，由此 形成劣化圖像1;"劣化圖像顯示單元W1-4"從劣化圖像存儲區(qū)域88中讀取劣化圖像1并將其 顯示在顯示器3上。此外，在圖18中，粗實線表示執(zhí)行順序的關系。
[0120] 圖19對關于PSF準備單元W2的構成的1例進行了圖示。圖19的PSF準備單元W2包括： (W2-1)劣化指示數(shù)設定單元，供用戶21-邊觀察顯示在通用計算機8的顯示器3上的超分辨 率處理窗口 24內(nèi)的圖像窗口 25內(nèi)的劣化圖像1，一邊操作超分辨率處理窗口 24內(nèi)的劣化指 示數(shù)設定按鈕27,從而來設定與劣化圖像1的劣化狀況相應的劣化指示數(shù)22; (W2-2)PSF提 取單元，W使PSF相對于劣化指示數(shù)建立關聯(lián)的方式進行整理而生成的PSF數(shù)據(jù)庫23預先存 儲在HDD53中，從該HDD53內(nèi)的PSF數(shù)據(jù)庫23中檢索與劣化指示數(shù)22相適應的PSF4,并取得符 合條件的PSF4將其存儲在大容量高速存儲器54內(nèi)的PSF存儲區(qū)域89中，由此選定且提取出 與劣化指示數(shù)22相適應的PSF4。此外，在圖19中，粗實線表示執(zhí)行順序的關系。
[0121] 關于復原圖像初始值準備單元W3內(nèi)的處理的1例是，從劣化圖像存儲區(qū)域88讀取 劣化圖像1，并在大容量高速存儲器54內(nèi)的復原圖像初始值存儲區(qū)域90中準備與劣化圖像1 的圖像尺寸相適合的存儲區(qū)域，然后將劣化圖像1存儲在復原圖像初始值存儲區(qū)域90中，再 進一步從復原圖像初始值存儲區(qū)域90中將劣化圖像1作為復原圖像初始值5而讀出，由此形 成復原圖像初始值5。復原圖像初始值存儲區(qū)域90由比劣化圖像1的所有像素數(shù)大的二維數(shù) 組構成，劣化圖像1的像素坐標與二維數(shù)組的坐標一一對應。此外，復原圖像初始值存儲區(qū) 域90在實際存儲前聲明使數(shù)組大小與復原圖像初始值5的圖像尺寸相適應，由此能夠自由 地變化。
[0122] 關于最大迭代計算次數(shù)設定單元W4內(nèi)的處理的1例是，當用戶操作在通用計算機8 的顯示器3上顯示的超分辨率處理窗口 24內(nèi)的最大迭代計算次數(shù)設定按鈕28從而選擇任意 的最大迭代計算次數(shù)7時，將其存儲在大容量高速存儲器54內(nèi)的變量I_max中，通過運樣，最 大迭代計算次數(shù)7能夠由通用計算機8設定。
[0123] 關于對I重置單元W5內(nèi)的迭代計算次數(shù)進行計數(shù)的I計數(shù)器9，例如，在大容量高速 存儲器54內(nèi)預先準備整數(shù)型的變量I，在通過向該I輸入0而進行重置后，執(zhí)行PSF大小取得 單元W6~圖像復原單元W9,然后執(zhí)行I加算單元W10而使I加1，然后執(zhí)行I判定單元W11，若I 的值為最大迭代計算次數(shù)7W上，則執(zhí)行輸出單元W14,或者執(zhí)行替換單元W12~跳轉(zhuǎn)單元 W13,通過運樣的使用方法，變量I成為計數(shù)器。運樣的使用方法被廣為知曉。
[0124] 關于PSF大小取得單元W6的構成的1例的特征在于，包括：（W6-1)H大小計算單元， 讀取在PSF存儲區(qū)域89中存儲的PSF4,并根據(jù)該PSF4將PSF大小10作為由橫像素數(shù)HW及縱像 素數(shù)化構成的數(shù)值而求出，并分別存儲到大容量高速存儲器54內(nèi)的變量HW及變量化中； (W6-2)修正值計算單元，基于PSF大小10,將用2除HW所得的商的整數(shù)部分作為橫向大小修 正值Cw，并將其存儲到大容量高速存儲器54內(nèi)的變量Cw中，再者，將用2除化所得的商的整 數(shù)部分作為縱向大小修正值C1，并將其存儲到大容量高速存儲器54內(nèi)的變量C1中。
[0125] 圖20對關于復原圖像初始值修正單元W7的構成的1例進行了圖示。圖20的復原圖 像初始值修正單元W7構成為包括：（W7-1)第IF修正單元，讀入在復原圖像初始值存儲區(qū)域 90中存儲的復原圖像初始值5,將大容量高速存儲器54內(nèi)的修正復原圖像初始值存儲區(qū)域 91的大小設定成對復原圖像初始值5的橫向大小加上2CW所得的值乘W對縱向大小加上2C1 而得的值，然后將從復原圖像初始值5的上邊緣起向內(nèi)側(cè)的C1個像素行W鏡像對稱的方式 轉(zhuǎn)印到復原圖像初始值5的上邊緣的外側(cè)從而生成修正復原圖像初始值6,將該生成的修正 復原圖像初始值6存儲到修正復原圖像初始值存儲區(qū)域91中；（W7-2)第2F修正單元，讀取在 修正復原圖像初始值存儲區(qū)域91中存儲的修正復原圖像初始值6,將從修正復原圖像初始 值6的右邊緣起內(nèi)側(cè)的Cw個像素列W鏡像對稱的方式復制到修正復原圖像初始值6的右邊 的外側(cè)而創(chuàng)建，并將其存儲到修正復原圖像初始值存儲區(qū)域91中；（W7-3)第3F修正單元，讀 取在修正復原圖像初始值存儲區(qū)域91中存儲的修正復原圖像初始值6,并將從修正復原圖 像初始值6的下邊緣起內(nèi)側(cè)的C1個像素行W鏡像對稱的方式復制到修正復原圖像初始值6 的下邊緣的外側(cè)而創(chuàng)建，并將其存儲到修正復原圖像初始值存儲區(qū)域91中；（W7-4)第4F修 正單元，讀入在修正復原圖像初始值存儲區(qū)域91中存儲的修正復原圖像初始值6,并將從修 正復原圖像初始值6的左邊緣起內(nèi)側(cè)的Cw個像素列W鏡像對稱的方式復制到修正復原圖像 初始值6的左邊緣的外側(cè)而創(chuàng)建，并將其存儲到修正復原圖像初始值存儲區(qū)域91中。此外， 在圖20中，黑點表示禪合，粗實線表示執(zhí)行順序的關系。
[0126]圖21對關于數(shù)據(jù)準備單元W8的構成的1例進行了圖示。圖21的數(shù)據(jù)準備單元W8構 成為包括如下單元：（W8-1)讀入在復原圖像初始值存儲區(qū)域90中存儲的復原圖像初始值5， 并取入該復原圖像初始值5的基于像素數(shù)的圖像尺寸，W復原圖像初始值5的左上角像素為 原點，按照圖9的方法，W沿橫向從左端像素到右端像素、接著沿縱向向下移動1像素的量而 后返回到左端像素、從該左端像素起沿橫向到右端像素運樣的方式生成像素的坐標(x，y)， 并將其存儲到大容量高速存儲器54內(nèi)的變量X及變量y中的單元；（W8-2)如下所述的單元： 首先讀入在修正復原圖像初始值存儲區(qū)域91中存儲的修正復原圖像初始值6,在該修正復 原圖像初始值6的像素中，將W在大容量高速存儲器54內(nèi)的變量X及變量y中存儲的X及y為 坐標的坐標(x，y)的像素更新為原點（i = 1，j = 1)，讀入包含該原點（i = 1，j = 1)在內(nèi)的橫 向右側(cè)5像素 α為從巧化的范圍）及向下5像素(j為從巧化的范圍）的區(qū)域的8比特位寬度的 像素值，將其存儲到5X5的二維數(shù)組變量FC(i，j)中，由此形成FC(i，j)的單元；（W8-3)讀入 在PSF存儲區(qū)域89中存儲的PSF4的5 X 5像素（功從巧化的范圍，j為從巧化的范圍）的8比特 位寬度的像素值，并將其存儲在W左上角像素為原點（1，1)的5X5的二維數(shù)組變量H(i，j) 中，由此形成H(i，j)，為了能夠?qū)C(i，j)的像素值和坐標與其相同的H(i，j)的像素值進行 乘法運算，一邊W從原點起沿縱向從上至下、接著沿橫向錯開1個繼續(xù)沿縱向從上至下運樣 的方式操作H(i，j)及FC(i，j)的坐標，一邊關于所有的i(l~5的整數(shù))及j(l~5的整數(shù)）的 組合制作由FC(i，j)的值8比特位、坐標與之相同的FC(i，j)的值8比特位、W及用于寫入兩 者的積的12比特位的積存儲區(qū)域按該順序相連而形成為1個的數(shù)據(jù)集DS，并分別存儲到大 容量高速存儲器54內(nèi)的二維變量數(shù)組DS( i，j)中，由按照i與j之和從小到大順序最初的17 個數(shù)據(jù)集DS(i，j)W該順序連接成1個而成的數(shù)據(jù)集作為第一數(shù)據(jù)集39定義在大容量高速 存儲器54內(nèi)，所述第一數(shù)據(jù)集39是用于W左對齊方式傳輸并存儲在執(zhí)行用數(shù)據(jù)存儲區(qū)域12 的左存儲體的規(guī)定Y地址的區(qū)域中的，由按照i與j之和從小到大的順序最初的第18個~第 25個數(shù)據(jù)集DS(i，j)構成的其余的8個數(shù)據(jù)集DS(i，j)W該順序連接成1個而成的數(shù)據(jù)集作 為第二數(shù)據(jù)集40定義在大容量高速存儲器54內(nèi)，所述第二數(shù)據(jù)集40是用于W左對齊方式傳 輸并存儲在與左存儲體的Y地址相同Y地址的執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體中的；（W8- 4)通過在大容量高速存儲器54內(nèi)定義累積和計算用區(qū)域43而生成累積和計算用區(qū)域43的 單元，所述累積和計算用區(qū)域43由用于從第一數(shù)據(jù)集39及第二數(shù)據(jù)集40的積存儲區(qū)域1個1 個地W不重復的方式讀入并對其進行累加運算的12比特位寬度的第一累積和計算用區(qū)域 41、及用于存儲累加運算計算后的和的12比特位寬度的第二累積和計算用區(qū)域42相連續(xù)而 成；（W8-5)通過在大容量高速存儲器54內(nèi)定義加算用數(shù)據(jù)集44用區(qū)域而創(chuàng)建加算用數(shù)據(jù)集 44用區(qū)域的單元，當W在劣化圖像存儲區(qū)域88中存儲的劣化圖像1的像素平面左上角為原 點、劣化圖像1的任意像素用G(x，y)表示、W在復原圖像初始值存儲區(qū)域90中存儲的復原圖 像初始值5的像素平面左上角為原點、復原圖像初始值5的任意像素用F(x，y)表示時，G(x， y)的8比特位寬度的像素值與F(x，y)的8比特位寬度的像素值W能夠進行加法運算的方式 形成數(shù)據(jù)對，再加上用于收納該結(jié)果的空的12比特位寬度的區(qū)域相連續(xù)而形成上述加算用 數(shù)據(jù)集44用區(qū)域；（W8-6)從加算用數(shù)據(jù)集44中的結(jié)果存儲區(qū)域內(nèi)的值減去在累積和計算用 第一區(qū)域中最后存儲的結(jié)果，并將用于存儲該結(jié)果即復原圖像14的像素值的12比特位寬度 的復原圖像像素值區(qū)域45定義在大容量高速存儲器54內(nèi)而創(chuàng)建該復原圖像像素值區(qū)域45 的單元；（W8-7)在第二數(shù)據(jù)集40之后連接累積和計算用區(qū)域43,并進一步與之接續(xù)地連接 加算用數(shù)據(jù)集44,再進一步與之接續(xù)地連接復原圖像像素值區(qū)域45從而形成1個數(shù)據(jù)集，將 該數(shù)據(jù)集更新為第二數(shù)據(jù)集40并定義在大容量高速存儲器54內(nèi)而創(chuàng)建該第二數(shù)據(jù)集40的 單元；（W8-8)根據(jù)X及y生成及的標簽，并對第一數(shù)據(jù)集39賦予，對 第二數(shù)據(jù)集40賦予的單元；（W8-9)對復原圖像初始值5中沒有殘留未計算的像素運 樣的假設進行檢驗，若檢驗結(jié)果為假，則返回W8-1，否則若檢驗結(jié)果為真，則結(jié)束的單元。此 夕h在圖21中，黑點表示禪合，粗實線表示執(zhí)行順序的關系。
[0127]執(zhí)行用數(shù)據(jù)存儲區(qū)域12的左存儲體及右存儲體W左上角為原點，在X地址1~512、 Y地址1~1024的交點存在1比特位的寄存器(圖10、圖12)。在本發(fā)明中，像素 A地址運樣 的規(guī)則進行數(shù)據(jù)的設定及計算，在復原圖像像素值區(qū)域45中存儲有復原圖像14的像素值。 因此，第一數(shù)據(jù)集39及第二數(shù)據(jù)集40被分別傳輸給1個Y地址的執(zhí)行用數(shù)據(jù)存儲區(qū)域12的左 存儲體及右存儲體。此外，對第一數(shù)據(jù)集39及第二數(shù)據(jù)集40賦予標簽，對于第一數(shù)據(jù)集39及 第二數(shù)據(jù)集40向執(zhí)行用數(shù)據(jù)存儲區(qū)域12的左存儲體及右存儲體的傳輸、W及從復原圖像像 素值區(qū)域45的復原圖像14的像素值的傳輸是有益的。所創(chuàng)建出的第一數(shù)據(jù)集39及第二數(shù)據(jù) 集40的1例在圖10中示出。
[012引通過單元W8-8，對大容量高速存儲器54內(nèi)的第一數(shù)據(jù)集39重新賦予運一 標簽。其能夠通過如下實現(xiàn):預先準備二進制(binary)聲明而創(chuàng)建出的512比特位寬度的、 變量名為的變量l-x-y()，讀出大容量高速存儲器54內(nèi)的第一數(shù)據(jù)集39并向1-x-y 0復制。該方法作為一般的程序生成方法的一部分被知曉。
[0129]圖22對關于圖像復原單元W9的構成的1例進行了圖示。圖22的圖像復原單元W9構 成為包括下述單元：（W9-1)取入在復原圖像初始值存儲區(qū)域90中存儲的復原圖像初始值5 的基于像素數(shù)的圖像尺寸，按照圖9所示的掃描方法，一邊W沿橫向從左端像素向右端像 素、接著沿縱向向下移動1像素的量而后返回到左端像素、再從該左端像素沿橫向到右端像 素運樣的方式使讀入對象像素坐標變化，一邊W1024像素間隔生成復原圖像初始值5的像 素坐標(X，y) 46，并存儲在大容量高速存儲器54的變量X()及變量y ()中的單元；（W9-2) w坐 標(x，y)46為開始像素，W圖9所示的掃描方法生成包含原點像素坐標(x，y)46在內(nèi)的坐標， 同時根據(jù)該坐標生成標簽及"2-x-y"，并從大容量高速存儲器54中讀入1024像素量 或最大像素數(shù)的量的第一數(shù)據(jù)集39及第二數(shù)據(jù)集40,并將第一數(shù)據(jù)集39向執(zhí)行用數(shù)據(jù)存儲 區(qū)域12的左存儲體、將第二數(shù)據(jù)集40向執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體、分別W左對齊 的方式FIFO傳輸1024像素量或最大像素數(shù)的量的數(shù)據(jù)的單元；（W9-3)在SIMD型超級并行計 算處理裝置11中，命令SIMD型超級并行計算處理裝置11進行如下計算并檢測計算完成情況 的單元，所述計算是:利用所傳輸?shù)牡谝粩?shù)據(jù)集39及第二數(shù)據(jù)集40，首先W1024像素量并行 地進行構成卷積計算的積分，然后W1024像素量并行地求出運25個積的累積和，接著W 1024像素量并行地進行劣化圖像1與復原圖像初始值5的加法運算，從其結(jié)果、即1024像素 量的和中通過1次計算減去1024像素量的累積和，將其結(jié)果作為復原圖像14的1024像素量 的像素而存儲在執(zhí)行用數(shù)據(jù)存儲區(qū)域12的右存儲體復原圖像像素值區(qū)域45的列中；（W9-4) 按照圖9所示的掃描方法，W像素坐標(x，y)46為開始像素，生成包含該像素在內(nèi)的1024像 素量或最大像素數(shù)的量的坐標(XI，yl)，并將各個坐標保存到大容量高速存儲器54的變量 χ1及變量yl中，另一方面根據(jù)運些χ1及yl創(chuàng)建"F-xl-yl"標簽，并創(chuàng)建1024像素的量或最大 像素數(shù)的量的W該標簽為變量名的用于保存復原圖像14的像素值的變量F-xl-yl()，在大 容量高速存儲器54內(nèi)創(chuàng)建由能夠按照創(chuàng)建的順序縱向排列地存儲1024個或最大像素數(shù)的 量的像素值的變量組構成的列、即復原像素臨時保存區(qū)域47,然后從執(zhí)行用數(shù)據(jù)存儲區(qū)域 12的右存儲體的復原圖像像素值區(qū)域45的列中讀取1024個或最大像素數(shù)的量的復原圖像 14的像素值，并FIFO傳輸至復原像素臨時保存區(qū)域47的單元；（W9-5)首先在大容量高速存 儲器54內(nèi)定義復原圖像存儲區(qū)域92,所述復原圖像存儲區(qū)域92由與復原圖像初始值存儲區(qū) 域90相同大小的存儲區(qū)域構成且W左上角為原點，由與復原圖像14的像素坐標相對應的像 素值存儲區(qū)域構成，接著，將從復原像素臨時保存區(qū)域47按順序讀取1像素量的像素數(shù)據(jù)、 解析標簽并生成像素坐標(x，y)、在與該像素坐標(x，y)相對應的復原圖像存儲區(qū)域92中存 儲像素值運樣的過程反復進行1024個或最大像素數(shù)的量的單元；（W9-6)參照復原圖像初始 值5的圖像尺寸，按照圖9的掃描法，根據(jù)復原圖像初始值5的像素的坐標(x，y)46對沒有第 1024像素的像素存在運一假設進行檢驗，若檢驗結(jié)果為假，則返回數(shù)據(jù)準備單元W9-1，否則 若檢驗結(jié)果為真，則結(jié)束的單元。通過圖像復原單元W9進行的計算的1例在圖12中示出。圖 像復原單元W9W1024像素或最大像素數(shù)為單位進行計算并將復原圖像14存儲在復原圖像 存儲區(qū)域92中而構成。此外，在圖22中，黑點表示禪合，粗實線表示執(zhí)行順序的關系。
[0130] 關于替換單元W12的處理步驟的1例是:通過將在復原圖像存儲區(qū)域92中存儲的復 原圖像14FIF0傳輸給復原圖像初始值存儲區(qū)域90,將復原圖像14替換復原圖像初始值5。
[0131] 最大似然復原圖像化單元W15由進一步細分的單元構成，關于最大似然復原圖像 化單元W15的構成的1例在圖23中示出。圖23的最大似然復原圖像化單元W15包括下述單元： (W15-1)從劣化圖像文件2提取RGB格式的劣化圖像1，進一步進行YUV轉(zhuǎn)換而提取出由U色差 構成的U劣化圖像19及由V色差構成的V劣化圖像20的單元；（W15-2)將由亮度分布(Y)構成 的復原圖像14從大容量高速存儲器54內(nèi)的復原圖像存儲區(qū)域92中讀出，并對該復原圖像14 進行伽馬修正的單元；（W15-3)由伽馬修正后的復原圖像14、U劣化圖像19及V劣化圖像20合 成YUB格式的最大似然復原圖像15,并在大容量高速存儲器54內(nèi)的最大似然復原圖像存儲 區(qū)域114中定義出與該最大似然復原圖像15的圖像尺寸相適合的存儲區(qū)域，并進行存儲的 單元；（W15-4)從最大似然復原圖像存儲區(qū)域114中讀取出YUB格式的最大似然復原圖像15， 并在將其轉(zhuǎn)換成RGB格式后存儲在最大似然復原圖像存儲區(qū)域114中并輸出的單元；（W15- 5)從RGB圖像存儲區(qū)域84中讀取RGB劣化圖像17,并將其調(diào)整成圖像窗口 25的左半部分，然 后從最大似然復原圖像存儲區(qū)域114中讀入RGB格式的最大似然復原圖像15,并將其調(diào)整成 圖像窗口25的右半部分，然后在使顯示器3初始化后進行顯示的單元。此外，在圖23中，粗實 線表示執(zhí)行順序的關系。
[0132] 圖24對關于文件化單元W16的構成的1例進行了圖示。圖24的文件化單元W16包括 下述單元：（W16-1)始終監(jiān)視超分辨率處理窗口 24的圖像窗口 25內(nèi)的最大似然復原圖像15 被點擊指定情況的單元；（W16-2)對最大似然復原圖像15已被指定運一假設進行檢驗，若檢 驗結(jié)果為假，則返回單元W16-1，否則若檢驗結(jié)果為真，則向單元W16-3前進的單元；（W16-3) 始終監(jiān)視最大似然復原圖像文件保存按鈕30被點擊情況的單元；（W16-4)對最大似然復原 圖像文件保存按鈕30已被點擊運一假設進行檢驗，若檢驗結(jié)果為假，則返回單元W16-3，否 則若檢驗結(jié)果為真，則向單元W16-5前進的單元；（W16-5)打開E邱lorer(瀏覽器）的單元； (W16-6)在存儲單元S17中，若用戶21保存最大似然復原圖像15文件16,貝化xplorer關閉，但 始終監(jiān)視該E邱lorer關閉的情況的單元；（W16-7)對文件保存完成并且E邱lorer關閉運一 假設進行檢驗，若檢驗結(jié)果為假，則向單元W16-8前進，否則若檢驗結(jié)果為真，則結(jié)束的單 元；（W16-8)在信息窗口26顯示"文件保存失敗。若再次保存，請點擊最大似然復原圖像文件 保存按鈕30。若取消，請按通用計算機8的鍵盤48的ESC(退出）按鈕49"運一消息的單元； (W16-9)始終監(jiān)視鍵盤48的ESC(退出）按鈕49被按壓的情況的單元；（W16-10)對鍵盤48的 ESC(退出）按鈕49已被按壓運一假設進行檢驗，若檢驗結(jié)果為假，則向單元WS16-11前進，否 則若檢驗結(jié)果為真，則結(jié)束的單元；（W16-11)始終監(jiān)視最大似然復原圖像文件保存按鈕30 被點擊的情況的單元；（W16-12)對最大似然復原圖像文件保存按鈕30已被點擊運一假設進 行檢驗，若檢驗結(jié)果為假，則返回單元W16-9,否則若檢驗結(jié)果為真，則返回單元W16-5的單 元，在超分辨率處理窗口24中，當超分辨率處理完成而在圖像窗口 25中顯示最大似然復原 圖像15時，用戶21為了保存該圖像，通過點擊圖像窗口 25的最大似然復原圖像15來進行指 定，然后，當點擊最大似然復原圖像文件保存按鈕30時，由于本發(fā)明使用的是微軟 (Microsoft)(注冊商標)公司0S(操作系統(tǒng))所W該0S提供的名稱為巧xplorer(注冊商標r 的文件系統(tǒng)窗口就會打開，在存儲單元S17中，用戶21指定文件系統(tǒng)窗口內(nèi)的合適的目錄， 并進一步輸入文件名，再選擇合適的圖像文件格式，然后點擊保存，由此完成了保存處理。 此外，在圖24中，粗實線表示執(zhí)行順序的關系。
[0133] 圖25將關于作為本發(fā)明的第屯發(fā)明的面向SIMD型超級并行計算裝置的電視影像 超分辨率處理方法的處理步驟的1例作為流程圖進行了圖示。面向SIMD型超級并行計算裝 置的電視影像超分辨率處理方法是利用第一發(fā)明的面向SIMD型超級并行計算裝置的超分 辨率處理方法去除電視影像的光學劣化的方法。
[0134] 圖25的面向SIMD型超級并行計算裝置的電視影像超分辨率處理方法的特征在于 包括如下工序：（S20)劣化帖取得工序，從電視影像信號93中提取由1帖的亮度分布構成的 劣化圖像1，并使從電視影像信號93中去除了 1帖信號而成的其余的電視影像信號94W1帖 延遲地輸出，再將劣化圖像1的色差U95及色差V96進行存儲，然后將劣化圖像1顯示在顯示 器3上，另一方面對劣化圖像1進行去伽馬處理；（S21)利用由面向SIMD型超級并行計算裝置 的超分辨率處理方法的構成工序S2~S14組成的圖像復原計算工序，由用戶21確定由最大 迭代計算次數(shù)7及劣化指示數(shù)22構成的超分辨率處理條件，依照該超分辨率處理條件從劣 化圖像1求出復原圖像14的工序；（S22)第二最大似然復原圖像化工序，對從圖像復原計算 工序S21的輸出工序S14輸出的復原圖像14進行伽馬處理，然后從該復原圖像14、通過劣化 帖取得工序存儲的劣化圖像的色差U95及色差V96求得RGB格式的最大似然復原圖像15; (S23)復原電視影像信號輸出工序，由RGB格式的最大似然復原圖像15及延遲了的其余的電 視影像信號94合成1帖的復原電視影像信號97并輸出。此外，在圖25中，粗實線表示執(zhí)行順 序的關系。
[0135] 關于第二最大似然復原圖像化工序S22的處理步驟的1例如下所示。第二最大似然 復原圖像化工序S22包括下述工序：（S22-1)對由亮度分布(Y)構成的復原圖像14進行伽馬 修正的工序；（S22-2)由伽馬修正后的復原圖像14、色差U95及色差V96合成YUB格式的最大 似然復原圖像15的工序；（S22-3)將YUB格式的最大似然復原圖像15轉(zhuǎn)換成RGB格式的工序。
[0136] 圖26對關于作為本發(fā)明的第八發(fā)明的面向SIMD型超級并行計算裝置的電視影像 超分辨率處理裝置98的構成的1例進行了圖示。面向SIMD型超級并行計算裝置的電視影像 超分辨率處理裝置98是按照第屯發(fā)明的面向SIMD型超級并行計算裝置的電視影像超分辨 率處理方法去除電視影像的光學劣化的裝置。
[0137] 圖26的面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝置98的特征在 于包括：（W20)從電視影像信號93中提取由1帖的亮度分布構成的劣化圖像1，并使從電視影 像信號93中去除了 1帖信號而成的其余的電視影像信號94W1帖延遲地輸出，再將劣化圖像 1的色差U95及色差V96進行存儲，然后將劣化圖像1顯示在顯示器3上，另一方面對劣化圖像 1進行去伽馬處理；（W21)利用由面向SIMD型超級并行計算裝置的超分辨率處理裝置50的構 成單元W2~W14組成的圖像復原計算單元，由用戶21確定由最大迭代計算次數(shù)7及劣化指示 數(shù)22構成的超分辨率處理條件，依照該超分辨率處理條件從劣化圖像1求出復原圖像14的 單元；（W22)第二最大似然復原圖像化單元，對從圖像復原計算單元W21的輸出單元W14輸出 的復原圖像14進行伽馬處理，然后根據(jù)該復原圖像14、通過劣化帖取得單元存儲的劣化圖 像的色差U95及色差V96求得RGB格式的最大似然復原圖像15; (W23)復原電視影像信號輸出 單元，由RGB格式的最大似然復原圖像15及延遲了的其余的電視影像信號94合成1帖的復原 電視影像信號97并輸出。
[0138] 關于第二最大似然復原圖像化單元W22的構成的1例如下所示。第二最大似然復原 圖像化單元W22包括：（W22-1)對由亮度分布(Y)構成的復原圖像14進行伽馬修正的單元； (W22-2)由伽馬修正后的復原圖像14、色差U95及色差V96合成YUB格式的最大似然復原圖像 15的單元;（W22-3)將YUB格式的最大似然復原圖像15轉(zhuǎn)換成RGB格式的單元。
[0139] 本發(fā)明的第九發(fā)明是用于使通用計算機8執(zhí)行第屯發(fā)明的面向SIMD型超級并行計 算裝置的電視影像超分辨率處理方法的第Ξ程序，其通過與第一程序51相同的語言記述。
[0140] 本發(fā)明的第十發(fā)明是特征在于能夠存儲第九發(fā)明的第Ξ程序且能夠與通用計算 機8連接且能夠由通用計算機8讀取并執(zhí)行的第Ξ存儲介質(zhì)。第Ξ存儲介質(zhì)使用與第一存儲 介質(zhì)相同的存儲介質(zhì)。
[0141] 本發(fā)明的第十一發(fā)明是使通用計算機8作為第八發(fā)明的面向SIMD型超級并行計算 裝置的電視影像超分辨率處理裝置98發(fā)揮作用的第四程序，其通過與第一程序51相同的語 言記述。
[0142] 本發(fā)明的第十二發(fā)明是特征在于能夠存儲第十發(fā)明的第四程序且能夠與通用計 算機8連接且能夠由通用計算機8讀取并執(zhí)行的第四存儲介質(zhì)。第四存儲介質(zhì)使用與第一存 儲介質(zhì)相同的存儲介質(zhì)。
[0143] 實施例
[0144] 實施例1是本發(fā)明的面向SIMD型超級并行計算裝置的超分辨率處理裝置50。面向 SIMD型超級并行計算裝置的超分辨率處理裝置50通過第二程序80而在圖15所示的通用計 算機8中虛擬地構成。為了在通用計算機8中構成面向SIMD型超級并行計算裝置的超分辨率 處理裝置50,首先，從第二存儲介質(zhì)將第二程序80安裝到通用計算機8中，然后執(zhí)行第二程 序80。于是，第二程序80內(nèi)的圖像復原裝置程序81在通用計算機8內(nèi)虛擬地構成面向SIMD型 超級并行計算裝置的超分辨率處理裝置50的所有單元，接著，第二程序80內(nèi)的超分辨率處 理窗口生成程序82起動從而將超分辨率處理窗口 24顯示在顯示器3上，然后，超分辨率處理 窗口監(jiān)視程序83起動，始終監(jiān)視超分辨率處理窗口 24內(nèi)的按鈕及圖像窗口 25內(nèi)的舉動，若 檢測到舉動則進行與之相對應的合適的處置，用戶21能夠經(jīng)由超分辨率處理窗口 24進行關 于超分辨率處理的所有操作，面向SIMD型超級并行計算裝置的超分辨率處理裝置50成為待 機狀態(tài)。在實施例1中，將16G字節(jié)的能夠加密/解密的USB存儲器作為第二存儲介質(zhì)來使用， 但是能夠加密/解密的SDHC存儲卡也可WdUSB存儲器或SDHC存儲卡有多家制造商批量生產(chǎn) 銷售的多個種類，只要能夠與通用計算機8連接并能夠讀入，則可W使用任何一種。
[0145] 圖27將本發(fā)明的實施例1的面向SIMD型超級并行計算裝置的超分辨率處理裝置50 中的超分辨率處理步驟的1例作為事務表進行了圖示。圖25的事務表由關于用戶21的操作 的時間軸(實線）、關于面向SIMD型超級并行計算裝置的超分辨率處理裝置50的響應及處理 的時間軸(虛線）、W及在兩時間軸之間沿一方向伸出來的箭頭構成。
[0146] 在圖27中，用戶21為了進行超分辨率處理而進行W下操作（實線箭頭），面向SIMD 型超級并行計算裝置的超分辨率處理裝置50的響應及處理(虛線箭頭）向用戶21反饋。所述 操作為：（1)用戶21觸摸顯示器3內(nèi)的面向SIMD型超級并行計算裝置的超分辨率處理裝置50 的圖標，使通用計算機8的面向SIMD型超級并行計算裝置的超分辨率處理裝置50起動，（A) 面向SIMD型超級并行計算裝置的超分辨率處理裝置50使圖5的超分辨率處理窗口 24在顯示 器3上顯示，（2)用戶21觸摸超分辨率處理窗口 24的劣化圖像文件指定按鈕29，（B)面向SIMD 型超級并行計算裝置的超分辨率處理裝置50打開E邱lorer，（3)用戶21觸摸并選擇認為是 對象的劣化圖像文件2,（C)面向SIMD型超級并行計算裝置的超分辨率處理裝置50將所選擇 的劣化圖像文件2的顏色反轉(zhuǎn)顯示，（4)用戶21觸摸E邱lorer的打開按鈕，（D)面向SIMD型超 級并行計算裝置的超分辨率處理裝置50讀入劣化圖像文件2,并進一步將顯示在最表面的 E邱lorer關掉，取而代之使劣化圖像與圖像窗口 25相適應的狀態(tài)顯示，（5)用戶21-邊 確認圖像窗口25內(nèi)的劣化圖像1，一邊觸摸劣化指示數(shù)設定按鈕27,化)面向SIMD型超級并 行計算裝置的超分辨率處理裝置50使劣化指示數(shù)設定按鈕27的下拉菜單展開顯示，（6)用 戶21選擇與劣化圖像1的劣化程度相應的劣化指示數(shù)22(默認值為255灰階中的60)，（F)面 向SIMD型超級并行計算裝置的超分辨率處理裝置50讀入劣化指示數(shù)22,并進一步關閉劣化 指示數(shù)設定按鈕27的下拉菜單，（7)用戶21觸摸最大迭代計算次數(shù)設定按鈕28,（G)面向 SIMD型超級并行計算裝置的超分辨率處理裝置50打開組合框，（8)用戶21設定最大迭代計 算次數(shù)7(默認值為5)，化)面向SIMD型超級并行計算裝置的超分辨率處理裝置50記錄所設 定的最大迭代計算次數(shù)7并進一步關閉組合框，（9)用戶21觸摸超分辨率處理開始按鈕31， (I)面向SIMD型超級并行計算裝置的超分辨率處理裝置50開始超分辨率處理，將復原圖像 14W與劣化圖像1并排的狀態(tài)顯示在圖像窗口 25中，并結(jié)束處理。
[0147] 圖27的超分辨率處理步驟直到超分辨率處理結(jié)束，之后按照超分辨率處理品質(zhì)進 行處理。圖28將超分辨率處理后的處理步驟的1例作為流程圖進行了圖示。（步驟1)用戶21 確認在圖像窗口 25上顯示的復原圖像14,若不滿意超分辨率處理品質(zhì)而想從最開始進行超 分辨率處理則前往步驟2,若想追加復原圖像14進行超分辨則前往步驟4,若超分辨率處理 的品質(zhì)良好而要保存，則前往步驟5,（步驟2)用戶21因為不滿意超分辨率處理品質(zhì)而觸摸 圖像窗口 25內(nèi)的復原圖像14,于是面向SIMD型超級并行計算裝置的超分辨率處理裝置50對 圖像窗口 25內(nèi)的復原圖像14的周邊進行強調(diào)表現(xiàn)，（步驟3)用戶21按壓鍵盤48的Delete(刪 除)按鈕，于是面向SIMD型超級并行計算裝置的超分辨率處理裝置50刪去復原圖像14,因此 此后用戶21觸摸超分辨率處理窗口 24內(nèi)的劣化指示數(shù)設定按鈕27而返回圖27的巧），（步驟 4)用戶21認為噪聲多而要進行追加迭代計算，因此用戶21觸摸復原圖像14,于是，面向SIMD 型超級并行計算裝置的超分辨率處理裝置50對圖像窗口 25內(nèi)的復原圖像14的周邊進行強 調(diào)表現(xiàn)，用戶21觸摸超分辨率處理窗口 24內(nèi)的劣化指示數(shù)設定按鈕27,然后返回圖27的 (5)，（步驟5)用戶21觸摸并選擇圖像窗口25內(nèi)的復原圖像14,于是，面向SIMD型超級并行計 算裝置的超分辨率處理裝置50對圖像窗口 25內(nèi)的復原圖像14的周邊進行強調(diào)表現(xiàn)，（步驟 6)用戶21觸摸劣化圖像文件指定按鈕29,于是，面向SIMD型超級并行計算裝置的超分辨率 處理裝置50打開E邱lorer，（步驟7)用戶21選擇或者創(chuàng)建合適的目錄，然后輸入文件名，進 一步選擇bmp、ttf、(1化、jpg等圖像文件格式，而后點擊E邱lorer的保存，于是，面向SIMD型 超級并行計算裝置的超分辨率處理裝置50將復原圖像14作為最大似然復原圖像文件16保 存在合適的目錄下，進一步將顯示在最表面的E邱lorer關閉，再在圖像窗口 25中顯示W(wǎng)并 排狀態(tài)顯示了復原圖像14及劣化圖像1的狀態(tài)的超分辨率處理窗口24,（步驟8)在繼續(xù)進行 超分辨率處理的情況下，用戶21觸摸超分辨率處理窗口 24的劣化圖像文件指定按鈕29而返 回圖27的（2)，否則在停止超分辨率處理、關閉超分辨率處理窗口 24、且使面向SIMD型超級 并行計算裝置的超分辨率處理裝置50停止的情況下，前往步驟9,（步驟9)觸摸關閉按鈕38， 于是面向SIMD型超級并行計算裝置的超分辨率處理裝置50將所有打開的文件安全關閉，進 而釋放存儲區(qū)域并結(jié)束處理。
[0148] 在面向SIMD型超級并行計算裝置的超分辨率處理裝置50中，圖像的放大/縮小對 超分辨率處理沒有影響，只是使圖像窗口 25內(nèi)的圖像的大小放大/縮小，因此，用戶21直接 在該倍率下進行超分辨率處理。
[0149] 用戶21-邊確認圖像窗口 25內(nèi)的劣化圖像1，一邊觸摸劣化指示數(shù)設定按鈕27選 擇255灰階內(nèi)的30(默認值為60)來作為與劣化圖像1的劣化程度相應的劣化指示數(shù)22,接下 來，觸摸最大迭代計算次數(shù)設定按鈕28并設定2(默認值為5)來作為最大迭代計算次數(shù)7。接 著，用戶21觸摸超分辨率處理開始按鈕31而開始超分辨率處理。于是，復原圖像1位即W與 劣化圖像1并排的狀態(tài)顯示在圖像窗口25中。用戶21對其進行確認，認為已經(jīng)良好地超分辨 了，則觸摸圖像窗口 25內(nèi)的復原圖像14而進行選擇，接著，觸摸劣化圖像文件指定按鈕29而 打開E邱lorer，選擇或生成合適的目錄，接著輸入文件名，進一步選擇bmp、ttf、dib、化g等 圖像文件格式并觸摸Explorer的保存，由此復原圖像14作為最大似然復原圖像文件16而被 保存在合適的目錄中，關閉顯示在最表面的E邱lorer，在圖像窗口25中顯示W(wǎng)并排狀態(tài)顯 示了復原圖像14及劣化圖像1的狀態(tài)的超分辨率處理窗口 24。
[0150] 圖29對本發(fā)明實施例1的面向SIMD型超級并行計算裝置的超分辨率處理裝置50的 超分辨率處理效果的1個確認例進行了圖示。根據(jù)圖29,通過內(nèi)窺鏡拍攝到的圖像(左圖）利 用面向SIMD型超級并行計算裝置的超分辨率處理裝置50、通過劣化指示數(shù)22為40且最大迭 代計算次數(shù)7為2次的迭代計算接受超分辨率處理，形成右圖所示那樣的復原圖像。可W看 出，在右圖的復原圖像中，左圖中不明確的組織的詳細部分、血管等被鮮明地復原了，因此 取得了充分的圖像復原效果及超分辨率處理效果。
[0151] 實施例2是應用了本發(fā)明的面向SIMD型超級并行計算裝置的電視影像超分辨率處 理裝置98的電視影像超分辨率處理裝置99。圖30對關于電視影像超分辨率處理裝置99的構 成的1例進行了圖示。圖30的電視影像超分辨率處理裝置99是在面向SIMD型超級并行計算 裝置的電視影像超分辨率處理裝置98中增設了如下部分而成的，即增設了：電視影像方式 轉(zhuǎn)換電路100,從HDMI (注冊商標)端子101接收數(shù)字電視影像信號，自動地判斷該數(shù)字電視 影像信號是隔行方式還是逐行方式，并始終輸出逐行方式的數(shù)字電視影像信號93;數(shù)字電 視影像信號輸入用的皿MI(注冊商標)端子101;超分辨率處理窗口 24上的輸出圖像模式選 擇按鈕103,用于指定劣化圖像1及最大似然復原圖像15的顯示模式;輸出再構成電路104， 根據(jù)通過輸出圖像選擇按鈕103從電視影像信號93及復原電視影像信號97中選擇的顯示模 式調(diào)整劣化圖像1及最大似然復原圖像15的顯示構成，并輸出調(diào)整了顯示構成的復原電視 影像信號97;復原電視影像信號97的輸出用HDMI(注冊商標)端子102;分出向HDMK注冊商 標)端子102的輸出的外部顯示器用輸出端子的HDMI(注冊商標)端子105, W帖為單位進行 超分辨率處理，并將復原電視影像信號97輸出給HDMI(注冊商標)端子102。
[0152] 圖30中，作為電視影像輸入源的內(nèi)窺鏡106、地面數(shù)字電視107、監(jiān)控攝像機108、網(wǎng) 絡攝像機109、顯微鏡110、藍光刻錄機111經(jīng)由選擇器112、皿MI (注冊商標）線纜W及皿MI (注冊商標)端子101而與電視影像方式轉(zhuǎn)換電路100連接，作為顯示器的外部顯示器113連 接于HDMI (注冊商標)端子105,地面數(shù)字電視107連接于HDMI(注冊商標)端子102。此外，對 于劣化圖像1及最大似然復原圖像15,通過顯示器3也能夠始終進行監(jiān)視。
[0153] 輸出圖像模式選擇按鈕103是在面向SIMD型超級并行計算裝置的電視影像超分辨 率處理裝置98中新增設超分辨率處理窗口 24而成的，當點擊時，示出"模式1:將劣化圖像1 和最大似然復原圖像15W并排的狀態(tài)進行顯示模式2:只顯示劣化圖像Γ^"模式3:只 顯示最大似然復原圖像15"^返回模式1運樣的舉動。此外，輸出圖像模式選擇按鈕103與其 他按鈕一樣，任何時候都可W改變，在超分辨率處理中也可W改變。
[0154] 關于面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝置98,將第四存儲 介質(zhì)連接于通用計算機8使之讀入第四程序而進行安裝。于是，在顯示器3上顯示出面向 SIMD型超級并行計算裝置的電視影像超分辨率處理裝置98的起動用圖標。用戶21只需點擊 該面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝置98的起動用圖標，就能夠在 任何時候使第四程序起動來虛擬地構成面向SIMD型超級并行計算裝置的電視影像超分辨 率處理裝置98并使之起動。用戶21點擊面向SIMD型超級并行計算裝置的電視影像超分辨率 處理裝置98的起動用圖標后，首先，第四程序內(nèi)的電視影像超分辨率處理裝置程序起動，從 而在通用計算機8內(nèi)虛擬地構成面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝 置98的所有單元，然后，第四程序內(nèi)的超分辨率處理窗口生成程序起動，從而使超分辨率處 理窗口 24顯示于顯示器3，接下來，超分辨率處理窗口監(jiān)視程序起動，對超分辨率處理窗口 24內(nèi)的按鈕及圖像窗口 25內(nèi)的舉動始終進行監(jiān)視，一旦檢測到舉動就進行與之相對應的合 適的處置，用戶21能夠通過超分辨率處理窗口 24進行關于超分辨率處理的所有操作，面向 SIMD型超級并行計算裝置的電視影像超分辨率處理裝置98處于待機狀態(tài)。面向SIMD型超級 并行計算裝置的電視影像超分辨率處理裝置98的待機步驟與圖27所示的一樣，此外，超分 辨率處理后的操作步驟也與圖28的一樣。在圖像窗口25中，由連續(xù)的劣化圖像1構成的劣化 影像和由連續(xù)的復原圖像14構成的復原影像并排地顯示。因此，在圖像窗口 25中能夠確認 復原計算中的狀況。
[01W]電視影像方式轉(zhuǎn)換電路100及輸出再構成電路104是使用FPGA(Fi eld Programmable Gate Array;現(xiàn)場可編程口陣列）及必要的高頻用IC(Integrated Cir州it; 集成電路)構成的硬件，只需供給電源就能夠在任何時候進行動作，與待機的面向SIMD型超 級并行計算裝置的電視影像超分辨率處理裝置98聯(lián)動地進行處理，從而構成電視影像超分 辨率處理裝置99。通過運樣構成，能夠近乎實時地進行超分辨率處理。
[0156] 選擇器112包括多個輸入用HDMI(注冊商標)端子及1個W上的輸出用HDMK注冊商 標)端子，是通過基于專用命令行進行的手動切換或是根據(jù)來自通用計算機8的命令進行的 自動切換能夠?qū)⑤斎霟o噪聲地切換成內(nèi)窺鏡106、地面數(shù)字電視107等任意1個的電視影像 輸入源的裝置。運樣的裝置，有多種產(chǎn)品由多家制造商銷售，可W使用任意一種。
[0157] 關于實施例2的電視影像超分辨率處理裝置99的超分辨率處理能力，通過取出電 視影像信號93的1帖W及與之對應的復原電視影像信號97進行比較就能夠評價，其例子與 圖29所示的是一樣的。
[015引工業(yè)實用性
[0159] 關于本發(fā)明，只要是利用電視影像，則任何用途都能夠適用本發(fā)明，能夠在進行攝 像機和數(shù)碼相機的開發(fā)、制造的精密設備產(chǎn)業(yè)及電子設備產(chǎn)業(yè)、應用程序和游戲等的軟件 開發(fā)產(chǎn)業(yè)、內(nèi)窺鏡、MRI等醫(yī)療設備產(chǎn)業(yè)、顯示器等信息設備產(chǎn)業(yè)、監(jiān)控攝像機等防災、防犯 罪設備產(chǎn)業(yè)、文檔存儲(archive)產(chǎn)業(yè)等中加 W利用。
[0160] 附圖標記說明
[0161] 1劣化圖像、2劣化圖像文件、3顯示器、4 PSF、5復原圖像初始值、6修正復原圖像初 始值、7最大迭代計算次數(shù)、8通用計算機、9 I計數(shù)器、10 PSF大小、11 SIMD型超級并行計算 處理裝置、12執(zhí)行用數(shù)據(jù)存儲區(qū)域、13計算用數(shù)據(jù)、14復原圖像、15最大似然復原圖像、16最 大似然復原圖像文件、17 RGB劣化圖像、18 Y劣化圖像、19 U劣化圖像、20 V劣化圖像、21用 戶、22劣化指示數(shù)、23 PSF數(shù)據(jù)庫、24超分辨率處理窗口、25圖像窗口、26信息窗口、27劣化 指示數(shù)設定按鈕、28最大迭代計算次數(shù)設定按鈕、29劣化圖像文件指定按鈕、30最大似然復 原圖像文件保存按鈕、31超分辨率處理開始按鈕、32超分辨率處理中斷按鈕、33超分辨率處 理再開始按鈕、34超分辨率處理停止按鈕、35幫助按鈕、36圖像放大/縮小按鈕、37圖像顯示 模式指定按鈕、38關閉按鈕、39第一數(shù)據(jù)集、40第二數(shù)據(jù)集、41第一累積和計算用區(qū)域、42第 二累積和計算用區(qū)域、43累積和計算用區(qū)域、44加算用數(shù)據(jù)集、45復原圖像像素值區(qū)域、46 復原圖像初始值5的像素坐標(x，y)、47復原像素臨時保存區(qū)域、48鍵盤、49 ESC(退出）按 鈕、50面向SIMD型超級并行計算處理裝置的圖像復原裝置、51第一程序、52存儲區(qū)域、53 HDD、54大容量高速存儲器、55 CPU、56周邊電路、57通信I/O電路、58視頻加速電路、59雙向 總線、60全能光盤模塊、61存儲器插槽、62電源電路、63冷卻裝置、64 LAN端子、65 USB端子、 66 USB端子、67 USB端子、68鼠標、69 Windows(注冊商標）8 0/S、70 Visual SUidio 2010 (注冊商標）、71 Office 2013(注冊商標）、72無線模塊、73揚聲器、74麥克風、75電源開關、 76電源線纜、77 USB端子線纜、78 MDMI線纜、79開發(fā)環(huán)境Hi曲-performance Embedded Workshop軟件、80第二程序、81圖像復原裝置程序、82超分辨率處理窗口生成程序、83超分 辨率處理窗口監(jiān)視程序、84 RGB圖像存儲區(qū)域、85Y劣化圖像存儲區(qū)域、86 U劣化圖像存儲 區(qū)域、87 V劣化圖像存儲區(qū)域、88劣化圖像存儲區(qū)域、89 PSF存儲區(qū)域、90復原圖像初始值 存儲區(qū)域、91修正復原圖像初始值存儲區(qū)域、92復原圖像存儲區(qū)域、93電視影像信號、94其 余的電視影像信號、95色差U、96色差V、97復原電視影像信號、98面向SIMD型超級并行計算 裝置的電視影像超分辨率處理裝置、99電視影像超分辨率處理裝置、100電視影像方式轉(zhuǎn)換 電路、101 HDMI (注冊商標)端子、102 HDMI (注冊商標)端子、103輸出圖像模式選擇按鈕、 104輸出再構成電路、105 HDMI(注冊商標)端子、106內(nèi)窺鏡、107地面數(shù)字電視、108監(jiān)控攝 像機、109網(wǎng)絡攝像機、110顯微鏡、111藍光刻錄機、112選擇器、113外部顯示器、114最大似 然復原圖像存儲區(qū)域、（1)~(9)用戶21的操作、(A)~（I)面向SIMD型超級并行計算裝置的 超分辨率處理裝置50的響應及處理、1-x-y標簽、2-x-y標簽、F-xl-yl標簽、C1縱向大小修正 值、Cw橫向大小修正值、Explorer瀏覽器、F(X，y)復原圖像初始值像素、FC( i，j)修正復原圖 像初始值像素、G(X，y)劣化圖像像素、Η(i，j)PSF像素、化PSF縱向大小、冊PSF橫向大小、I 變量、I_max變量、X變量、X1變量、y變量、y 1變量、步驟1~9步驟、S1劣化圖像準備工序、S1 - 1RGB劣化圖像提取工序、S1-2YUV轉(zhuǎn)換工序、S1-3去伽馬工序、S1-4劣化圖像顯示工序、 S2PSF準備工序、S2-1劣化指示數(shù)設定工序、S2-2PSF提取工序、S3復原圖像初始值準備工 序、S4最大迭代計算次數(shù)設定工序、S5I重置工序、S6PSF大小取得工序、S7復原圖像初始值 修正工序、S7-1H大小計算工序、S7-2修正值計算工序、S7-3第1F修正工序、S7-4第2F修正工 序、S7-5第3F修正工序、S7-6第4F修正工序、S8數(shù)據(jù)準備工序、S8-1~9工序、S9圖像復原工 序、S9-1~5工序、S10I加算工序、S11I判定工序、S12替換工序、S13跳轉(zhuǎn)工序、S14輸出工序、 S15最大似然復原圖像化工序、S15-1~4工序、S16文件化工序、S16-1~12工序、S17存儲工 序、S20~23工序、W1劣化圖像準備單元、W1-1 RGB劣化圖像提取單元、W1-2 YUV轉(zhuǎn)換單元、 W1-3去伽馬單元、W1-4劣化圖像顯示單元、W2 PSF準備單元、W2-1劣化指示數(shù)設定單元、W2- 2 PSF提取單元、W3復原圖像初始值準備單元、W4最大迭代計算次數(shù)設定單元、W5 I重置單 元、W6復原圖像初始值修正單元、W6-1 Η大小計算單元、W6-2修正值計算單元、W7復原圖像 初始值修正單元、W7-1第1F修正單元、W7-2第2F修正單元、W7-3第3F修正單元、W7-4第4F修 正單元、W8數(shù)據(jù)準備單元、W8-1~9單元、W9圖像復原單元、W10 I加算單元、W11圖像復原單 元、W12替換單元、W13跳轉(zhuǎn)單元、W14輸出單元、W15最大似然復原圖像化單元、W15-1~4單 元、W16文件化單元、W16-1~12單元、W17存儲單元、W20劣化帖取得單元、W21~23單元。
【主權項】
1. 一種面向SMD型超級并行計算裝置的超分辨率處理方法，其根據(jù)用可執(zhí)行且可讀入 解讀的語言記述的第一程序由通用計算機使sn?型超級并行計算處理裝置承擔計算，由此 在近乎實時的時間內(nèi)降低劣化圖像中所包含的光學上的劣化從而復原出接近劣化前圖像 的圖像，其中，所述SIMD為:Single Instruction Multiple Data，其特征在于，包括： (51) 劣化圖像準備工序，從指定的劣化圖像文件中準備由亮度分布構成的劣化圖像， 并進一步使所述劣化圖像顯示于顯示器； (52) 點擴散函數(shù)準備工序，一邊觀察所述顯示器一邊確定與所述劣化圖像的劣化狀況 相適的點擴散函數(shù)； (53) 復原圖像初始值準備工序，復制所述劣化圖像并使其成為復原圖像初始值； (54) 最大迭代計算次數(shù)設定工序，從所述通用計算機設定最大迭代計算次數(shù)； (55) I重置工序，將對迭代計算次數(shù)進行計數(shù)的I計數(shù)器設定為0而重置； (56) 點擴散函數(shù)大小取得工序，取得所述點擴散函數(shù)的大小而求出點擴散函數(shù)大??； (57) 復原圖像初始值修正工序，首先復制所述復原圖像初始值并使其成為修正復原圖 像初始值，然后根據(jù)所述點擴散函數(shù)大小通過計算而求出在將所述點擴散函數(shù)向所述修正 復原圖像初始值進行卷積計算時成為除外區(qū)域的區(qū)域，并將該區(qū)域以鏡像對稱的方式轉(zhuǎn)印 到所述修正復原圖像初始值的外側(cè)，由此來修正所述修正復原圖像初始值； (58) 數(shù)據(jù)準備工序，以針對1次迭代計算用的數(shù)據(jù)組能夠?qū)?shù)據(jù)以最大效率配置在所 述SIMD型超級并行計算處理裝置內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域中的方式創(chuàng)建并準備計算用數(shù) 據(jù)； (59) 圖像復原工序，將所述計算用數(shù)據(jù)傳輸?shù)剿鯯MD型超級并行計算處理裝置內(nèi)的 執(zhí)行用數(shù)據(jù)存儲區(qū)域并進行計算，求得復原圖像； (510) I加算工序，對所述I計數(shù)器累加1; (511) I判定工序，對所述I計數(shù)器的值為所述最大迭代計算次數(shù)以上這一假設進行檢 驗，若檢驗結(jié)果為假，則前往(S12)，若所述檢驗結(jié)果為真，則前往(S14); (512) 替換工序，將所述復原圖像替換所述復原圖像初始值； (513) 返回工序(S7)的跳轉(zhuǎn)工序； (514) 輸出所述復原圖像的輸出工序； (515) 最大似然復原圖像化工序，根據(jù)所述劣化圖像文件及所述復原圖像求出RGB格式 的最大似然復原圖像； (516) 文件化工序，將所述最大似然復原圖像形成最大似然復原圖像文件； (517) 存儲工序，將所述最大似然復原圖像文件向指定了的存儲區(qū)域存儲。2. -種面向SMD型超級并行計算裝置的超分辨率處理裝置，根據(jù)權利要求1所述的面 向S頂D型超級并行計算裝置的超分辨率處理方法， 根據(jù)用可執(zhí)行且可讀入解讀的語言記述的第二程序由通用計算機以使SMD型超級并 行計算處理裝置承擔計算的方式構成所有單元且執(zhí)行這些所有單元，由此在近乎實時的時 間內(nèi)降低劣化圖像中所包含的光學上的劣化從而復原出接近劣化前圖像的圖像，所述面向 SB?型超級并行計算裝置的超分辨率處理裝置的特征在于，包括： (W1)劣化圖像準備單元，從指定的劣化圖像文件中準備由亮度分布構成的劣化圖像， 并進一步使所述劣化圖像顯示于顯示器； (W2)點擴散函數(shù)準備單元，一邊觀察所述顯示器一邊確定與所述劣化圖像的劣化狀況 相適的點擴散函數(shù)； (W3)復原圖像初始值準備單元，復制所述劣化圖像并使其成為復原圖像初始值； (W4)最大迭代計算次數(shù)設定單元，從所述通用計算機設定最大迭代計算次數(shù)； (W5) I重置單元，將對迭代計算次數(shù)進行計數(shù)的I計數(shù)器設定為0而重置； (W6)點擴散函數(shù)大小取得單元，取得所述點擴散函數(shù)的大小而求出點擴散函數(shù)大?。?(W7)復原圖像初始值修正單元，首先復制所述復原圖像初始值并使其成為修正復原圖 像初始值，然后根據(jù)所述點擴散函數(shù)大小通過計算而求出在將所述點擴散函數(shù)向所述修正 復原圖像初始值進行卷積計算時成為除外區(qū)域的區(qū)域，并將該區(qū)域以鏡像對稱的方式轉(zhuǎn)印 到所述修正復原圖像初始值的外側(cè)，由此來修正所述修正復原圖像初始值； (W8)數(shù)據(jù)準備單元，以針對1次迭代計算用的數(shù)據(jù)組能夠?qū)?shù)據(jù)以最大效率配置在所 述SIMD型超級并行計算處理裝置內(nèi)的執(zhí)行用數(shù)據(jù)存儲區(qū)域中的方式創(chuàng)建并準備計算用數(shù) 據(jù)； (W9)圖像復原單元，將所述計算用數(shù)據(jù)傳輸給所述SMD型超級并行計算處理裝置內(nèi)的 執(zhí)行用數(shù)據(jù)存儲區(qū)域并進行計算，求得復原圖像； (W10) I加算單元，對所述I計數(shù)器累加1; (Wll)I判定單元，對所述I計數(shù)器的值為所述最大迭代計算次數(shù)以上這一假設進行檢 驗，若檢驗結(jié)果為假，則前往(W12)，若所述檢驗結(jié)果為真，則前往(W14); (W12)替換單元，將所述復原圖像替換所述復原圖像初始值； (W13)返回單元(W7)的跳轉(zhuǎn)單元； (W14)輸出所述復原圖像的輸出單元； (W15)最大似然復原圖像化單元，根據(jù)所述劣化圖像文件及所述復原圖像求出RGB格式 的最大似然復原圖像； (W16)文件化單元，將所述最大似然復原圖像形成最大似然復原圖像文件； (W17)存儲單元，將所述最大似然復原圖像文件向指定了的存儲區(qū)域存儲。3. 第一程序，使所述通用計算機執(zhí)行權利要求1所述的面向SIMD型超級并行計算裝置 的超分辨率處理方法。4. 第一存儲介質(zhì)，其特征在于，存儲權利要求3所述的第一程序且能夠與所述通用計算 機連接且能夠由所述通用計算機讀取并執(zhí)行。5. 第二程序，使所述通用計算機作為權利要求2所述的面向SIMD型超級并行計算裝置 的超分辨率處理裝置而發(fā)揮作用。6. 第二存儲介質(zhì)，其特征在于，存儲權利要求5所述的第二程序且能夠與所述通用計算 機連接且能夠由所述通用計算機讀取并執(zhí)行。7. -種面向SIMD型超級并行計算裝置的電視影像超分辨率處理方法，利用權利要求1 所述的面向SMD型超級并行計算裝置的超分辨率處理方法，在近乎實時的時間內(nèi)降低電視 影像的光學上的劣化，從而復原出接近劣化前電視影像的電視影像，其特征在于，包括： (S20)劣化幀取得工序，從電視影像信號中提取1幀的由亮度分布構成的劣化圖像，并 使從所述電視影像信號中去除了 1幀的信號后的其余的電視影像信號以1幀延遲并輸出，并 進一步存儲所述劣化圖像的色差U及V，而后使所述劣化圖像顯示于顯示器，另一方面對所 述劣化圖像進行去伽馬處理； (521) 利用構成所述面向SIMD型超級并行計算裝置的超分辨率處理方法的所述工序S2 ~S14所構成的圖像復原計算工序，由用戶確定由最大迭代計算次數(shù)及劣化指示數(shù)構成的 超分辨率處理條件，并根據(jù)該超分辨率處理條件從所述劣化圖像求出復原圖像（14)的工 序； (522) 第二最大似然復原圖像化工序，對從所述圖像復原計算工序的所述輸出工序輸 出的所述復原圖像進行伽馬處理，然后從該復原圖像、以及通過所述劣化幀取得工序存儲 的所述劣化圖像的所述色差U及V求出RGB格式的最大似然復原圖像； (523) 復原電視影像信號輸出工序，由所述RGB格式的最大似然復原圖像及延遲了的所 述其余的電視影像信號合成1幀的復原電視影像信號并輸出。8. -種面向SIMD型超級并行計算裝置的電視影像超分辨率處理裝置，根據(jù)權利要求7 所述的面向SMD型超級并行計算裝置的電視影像超分辨率處理方法，在近乎實時的時間內(nèi) 降低電視影像的光學上的劣化，從而復原出接近劣化前電視影像的電視影像，所述面向 SB?型超級并行計算裝置的電視影像超分辨率處理裝置的特征在于，包括： (W20)劣化幀取得單元，從電視影像信號中提取1幀的由亮度分布構成的劣化圖像，并 使從所述電視影像信號中去除了 1幀的信號后的其余的電視影像信號以1幀延遲并輸出，并 進一步存儲所述劣化圖像的色差U及V，而后使所述劣化圖像顯示于顯示器，另一方面對所 述劣化圖像進行去伽馬處理； (W21)利用構成所述面向SIMD型超級并行計算裝置的超分辨率處理裝置的單元W2~ W14所構成的圖像復原計算單元，由所述用戶確定由所述最大迭代計算次數(shù)及所述劣化指 示數(shù)構成的超分辨率處理條件，并根據(jù)該超分辨率處理條件從所述劣化圖像求出復原圖像 的單元； (W22)第二最大似然復原圖像化單元，對從所述圖像復原計算單元的所述輸出單元輸 出的所述復原圖像進行伽馬處理，然后從該復原圖像、以及通過所述劣化幀取得單元存儲 的所述劣化圖像的所述色差U及V求出RGB格式的最大似然復原圖像； (W23)復原電視影像信號輸出單元，由所述RGB格式的最大似然復原圖像及延遲了的所 述其余的電視影像信號合成1幀的復原電視影像信號并輸出。9. 第三程序，使所述通用計算機執(zhí)行權利要求7所述的面向SMD型超級并行計算裝置 的電視影像超分辨率處理方法。10. 第三存儲介質(zhì)，其特征在于，存儲權利要求9所述的第三程序且能夠與所述通用計 算機連接且能夠由所述通用計算機讀取并執(zhí)行。11. 第四程序，使所述通用計算機作為權利要求8所述的面向SIMD型超級并行計算裝置 的電視影像超分辨率處理裝置而發(fā)揮作用。12. 第四存儲介質(zhì)，其特征在于，存儲權利要求11所述的第四程序且能夠與所述通用計 算機連接且能夠由所述通用計算機讀取并執(zhí)行。
【文檔編號】G06T5/00GK105874775SQ201480070772
【公開日】2016年8月17日
【申請日】2014年12月26日
【發(fā)明人】江口滿男
【申請人】來特榮國際有限公司, 江口滿男