基于fpga的圖像超分辨率的實現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像超分辨率的實現(xiàn)方法，具體涉及一種基于FPGA的圖像超分 辨率的實現(xiàn)方法。
【背景技術(shù)】
[0002] 通常的圖像顯示設(shè)備具有固定的分辨率，低分辨率的圖像數(shù)據(jù)需要進(jìn)行超分辨率 處理，獲得與顯示設(shè)備相匹配的分辨率才能正常顯示（如HDTV, High-Definition TV)，這 一過程本質(zhì)上就是一種圖像超分辨處理。
[0003] 圖像超分辨率技術(shù)在各個領(lǐng)域中得到廣泛應(yīng)用，如公共安全、醫(yī)學(xué)成像、軍事、地 質(zhì)、工業(yè)及消費電子等產(chǎn)業(yè)。通過該技術(shù)盡可能提高圖像的分辨率，達(dá)到更好的圖像識別能 力和識別精度。
[0004] 隨著圖像數(shù)據(jù)量的增大，對圖像處理速度提出了更高的要求，利用硬件實現(xiàn)圖像 處理已經(jīng)逐漸成為圖形處理研究的重要課題。
[0005] FPGA由于強悍的數(shù)據(jù)處理能力得到廣泛關(guān)注，其對數(shù)據(jù)采用并行流水式處理方 式，加快數(shù)據(jù)處理速度。用一般軟件對圖像實時處理小于等于一幀每秒，F(xiàn)PGA硬件化處理 能夠?qū)崟r達(dá)到25~30幀每秒。因而圖像處理的FPGA硬件化值得研究。
[0006] FPGA實現(xiàn)圖像處理算法需要在算法性能和資源使用量之間尋求平衡。傳統(tǒng)的線性 插值算法包括最近鄰插值、雙線性插值、四點雙三次插值以及六點雙三次插值，其中最近鄰 插值的超分辨圖像效果不理想，高次插值方法復(fù)雜度高不便于硬件實現(xiàn)。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是提供一種基于FPGA的圖像超分辨率的實現(xiàn)方法，基于FPGA的圖 像超分辨率雙線性插值實現(xiàn)方式，提出了基于單輸入雙輸出端口 RAM緩沖的二級循環(huán)調(diào)度 機制，用以實現(xiàn)共享資源分配和并行流水處理。
[0008] 本發(fā)明提供了如下的技術(shù)方案：
[0009] -種基于FPGA的圖像超分辨率的實現(xiàn)方法，循環(huán)控制模塊控制RAM模塊的循環(huán)調(diào) 度實現(xiàn)數(shù)據(jù)寫入；
[0010] RAM模塊讀取數(shù)據(jù)時，采用單輸入雙輸出端口的RAM，定義所述單輸入雙輸出端口 的RAM的深度為源圖像一行的像素點數(shù)，寬度為像素數(shù)據(jù)寬度，實現(xiàn)源數(shù)據(jù)相鄰兩行像素 的存儲；
[0011]由位置分析模塊得到的權(quán)值是歸一化的小數(shù)，將權(quán)值映射到整數(shù)范圍內(nèi)運算。
[0012] 優(yōu)選的，所述單輸入雙輸出端口的RAM在雙線性插值硬件結(jié)構(gòu)圖中定義了四個單 輸入雙輸出端口的RAM0-3,其中RAM0、RAM1加權(quán)運算對應(yīng)目標(biāo)圖像的插值像素值時，RAM2、 RAM3寫入目標(biāo)圖像下一行運算所需的源圖像的像素值；RAM0、RAM1運算結(jié)束后，RAM2、RAM3 進(jìn)行加權(quán)運算，RAMO、RAMl開始寫入源圖像像素值，在時間上實現(xiàn)數(shù)據(jù)連續(xù)運算輸出，空間 上實現(xiàn)RAM空間的并行復(fù)用，提高運算效率。
[0013] 進(jìn)一步的，循環(huán)控制模塊控制四個RAM模塊的循環(huán)調(diào)度實現(xiàn)數(shù)據(jù)寫入，分別為 RAMO、RAMl 和 RAM2、RAM3 之間以及 RAM0RAM1 之間、RAM2RAM3 之間；RAMO、RAMl 和 RAM2、 RAM3之間在運算目標(biāo)圖像像素值和寫入源圖像像素值功能間循環(huán)切換；RAM0RAM1之間、 RAM2RAM3之間實現(xiàn)源圖像像素值循環(huán)寫入。這樣的結(jié)構(gòu)設(shè)計充分利用了 FPGA并行流水復(fù) 用的特征，既保證了數(shù)據(jù)帶寬的充分利用，又節(jié)省了 FPGA的空間資源。
[0014] 進(jìn)一步的，整個運算過程中，權(quán)值基于浮點數(shù)運算得到，將浮點數(shù)整數(shù)化，即可將 運算都整數(shù)化；浮點數(shù)的整數(shù)化是將對應(yīng)的浮點數(shù)左移相應(yīng)的位數(shù)，在乘法運算結(jié)束后右 移相應(yīng)的位數(shù)。
[0015] 本發(fā)明的有益效果是：本發(fā)明基于FPGA的圖像超分辨率雙線性插值實現(xiàn)方式，提 出了基于單輸入雙輸出端口 RAM緩沖的二級循環(huán)調(diào)度機制，用以實現(xiàn)共享資源分配和并行 流水處理。提高了圖像處理速率，實現(xiàn)了超分辨率。
【附圖說明】
[0016] 附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實 施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：
[0017] 圖1是雙線性插值硬件結(jié)構(gòu)圖；
[0018] 圖2是RAM循環(huán)調(diào)度機制圖；
[0019] 圖3 FPGA資源占用圖；
[0020]圖4算法模塊建立保持時間圖；
[0021] 圖5是插值前的Lena圖，源圖像的分辨率為512x512 ;
[0022] 圖6是插值后的Lena圖，插值后分辨率為1024x1024 ;
[0023] 圖7是插值前Lena圖的直方圖；
[0024] 圖8是插值后Lena圖的直方圖。
【具體實施方式】
[0025] FPGA具有兩個對立的性能：（1)具有并彳丁處理和流水線技術(shù)，能夠達(dá)到尚性能的 處理，但M倍的性能要耗費M倍邏輯；(2)具有復(fù)用技術(shù)，能夠減少邏輯，但控制復(fù)雜度上 升?；贔PGA的功能特性，本發(fā)明提出基于單輸入雙輸出端口 RAM緩沖的二級循環(huán)調(diào)度機 制實現(xiàn)共享資源分配和并行流水處理。同時Xilinx的FPGA基于LUT結(jié)構(gòu)，可以實現(xiàn)浮點 運算以及乘法運算，但會造成資源的嚴(yán)重浪費。本文將所有浮點數(shù)都整數(shù)化，在整數(shù)領(lǐng)域進(jìn) 行數(shù)據(jù)運算。
[0026] 雙線性插值通過四點確定一個平面，是個過約束問題，所以在一個矩形柵格上的 一階插值需要用到雙線性函數(shù)。令f(x，y)為兩個變量的函數(shù)，定義為四點形成的正方形內(nèi) 的任意值，令雙線性方程
[0027] f (x, y) = ax+by+cxy+d (I)
[0028] 定義一個雙曲拋物面與已知點擬合。
[0029] 圖像雙線性插值算法的實現(xiàn)經(jīng)過采樣、水平和垂直線性插值三步驟來完成。設(shè)Xs、 \分別為源圖像在X、Y上的尺寸，X d、Yd分別為目標(biāo)圖像在X、Y上的尺寸，定義兩者的縮放 因子S，則水平方向、垂直方向的縮放因子分別為
[0030] Sx=XsAd (2)
[0031] Sy=YsAd (3)
[0032] 定義源圖像水平方向采樣的像素點位置集合
[0033]
(4)
[0034] 定義目標(biāo)圖像水平方向采樣的像素點位置集合
[0035]
(5)
[0036] 定義兩者圖像像素點之間的映射關(guān)系為則根據(jù)公式（2)可得
[0037]
⑷）
[0038] 由此可得目標(biāo)圖像水平方向第XJi)點位置映射到原圖像的像素點位置為
[0039] R(Xd(i)) = Xd (i) XSx (7)
[0040] 得到的R(xd(i))是實數(shù)，該目標(biāo)圖像水平方向第XJi)點像素插值在 源圖像[R(XJi))]和（[R(X dW)]+l)之間，同時（R(XJi)MR(XdW)])和 ([R(Xd(i))]+l-R(X d(i)))對應(yīng)于目標(biāo)圖像第Xd(i)點與源圖像第[R(Xd(i))]點和第 ([R(X d(i))]+l)點之間相對距離的歸一化值。
[0041] 令 F (Xd ⑴）=R (Xd ⑴）-[R (Xd ⑴）] (8)
[0042] 令目標(biāo)圖像像素值為Vd，源圖像像素值為Vs，則
[0043] Vd (Xd (i)) = Vs ([R (Xd (i)) ]) X F (Xd (i)) +
[0044] Vs ([R (Xd (i)) ] +1) X (1-F (Xd ⑴）） (9)
[0045] 同理在垂直方向的插值為
[0046] Vd(Xd(i), Yd(j)) = Vs(Xd(i), R[Yd(j)]) XG(Yd(j))
[0047] +Vs([Xji)，R(Yd(j)