本技術(shù)實施例涉及圖像處理領(lǐng)域，特別涉及基于多級聯(lián)單查表的圖像超分辨率方法、設(shè)備及存儲介質(zhì)。
背景技術(shù)：
：：1、隨著成像科學(xué)與技術(shù)的不斷進步，人們對圖像有了更高質(zhì)量的要求。在實際應(yīng)用中受到成像設(shè)備和環(huán)境的，或是傳輸帶寬的限制，圖像存在細(xì)節(jié)信息的損失，實際采集圖像的分辨率時常偏低，會影響后續(xù)圖像的分析與理解。圖像超分辨率(super-resolution，sr)技術(shù)的核心目標(biāo)在于從低分辨率(low-resolution，lr)圖像中生成高分辨率(high-resolution，hr)圖像，以增強圖像的細(xì)節(jié)和清晰度。2、相關(guān)技術(shù)提供了大量圖像超分辨率方法，其中包括基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法，但它們的效果不夠理想。基于插值的sr方法因簡單快速而廣泛應(yīng)用，但其忽略了像素間的復(fù)雜關(guān)聯(lián)性，導(dǎo)致重建圖像的細(xì)節(jié)損失。隨后，稀疏編碼技術(shù)被引入超分辨率領(lǐng)域，通過學(xué)習(xí)lr圖像塊的稀疏表示來重建hr圖像，但計算稀疏表示所需的高度復(fù)雜優(yōu)化運算在一定程度上影響了其在實際應(yīng)用中的處理速度和效率。深度神經(jīng)網(wǎng)絡(luò)因其卓越的靈活性和可擴展性，在sr領(lǐng)域取得了顯著進展，該技術(shù)通過訓(xùn)練集自適應(yīng)學(xué)習(xí)圖像的深層特征，建立高低分辨率圖像之間的映射關(guān)系，并保留更多的高頻特征信息。然而，深度網(wǎng)絡(luò)的計算負(fù)擔(dān)增加，依賴于高性能硬件如gpu和npu，高昂的硬件成本和功耗阻礙了其在邊緣設(shè)備上的廣泛應(yīng)用。3、查表(look-up?table，lut)圖像超分辨率方法作為一種新穎的實時超分辨率技術(shù)備受關(guān)注。該方法通過神經(jīng)網(wǎng)絡(luò)預(yù)先建立lr圖像塊與hr圖像塊之間的空間映射關(guān)系，并將這些映射關(guān)系存儲在lut中，通過直接訪問移動設(shè)備內(nèi)存的方式查找lr圖像塊對應(yīng)的hr圖像塊，設(shè)備訪問內(nèi)存的操作替代了復(fù)雜的計算，顯著提高了實用性。然而，lut的存儲受限于設(shè)備內(nèi)存，隨著索引維度的增加，其所需的存儲空間會呈指數(shù)級增長。這種增長限制了lut的索引容量，進而限制了可緩存的超分辨率網(wǎng)絡(luò)能夠覆蓋的感受野范圍，限制了超分辨率精度的提高。技術(shù)實現(xiàn)思路1、本技術(shù)實施例提供一種基于多級聯(lián)單查表的圖像超分辨率方法、設(shè)備及存儲介質(zhì)，解決查表圖像超分辨率的存儲容量限制超分辨率精度的問題。2、一方面，本技術(shù)提供一種基于多級聯(lián)單查表的圖像超分辨率方法，所述方法用于包含n層級聯(lián)的查表lut結(jié)構(gòu)和推理模型，所述lut結(jié)構(gòu)存儲使用低分辨率lr圖像查找高分辨率hr圖像的空間映射關(guān)系；3、其中前n-1層級聯(lián)的lut結(jié)構(gòu)中，前層lut結(jié)構(gòu)中存儲向后層lut結(jié)構(gòu)中查詢映射關(guān)系的索引值，第n層lut結(jié)構(gòu)中存儲有hr圖像的像素值；n是不小于3的正整數(shù)；4、向所述推理模型輸入lr圖像進行推理查詢時，所述推理模型基于n層級lut結(jié)構(gòu)進行逐級索引查詢，從第n層lut結(jié)構(gòu)中得到相應(yīng)的hr像素值。5、具體的，所述推理模型基于如下索引機制查詢lut結(jié)構(gòu)：6、v＝lut(n)[lut(n-1)[…lut(2)[lut(1)(ilr)]]]7、v表示索引機制獲取的hr像素值，n表示lut結(jié)構(gòu)數(shù)量，ilr表示輸入推理模型的lr圖像，第k層查表輸出值i*k作為第k+1層lut(k+1)結(jié)構(gòu)的索引輸入；k是大于零的正整數(shù)。8、具體的，所述前n-1層級聯(lián)的lut結(jié)構(gòu)中，lut(k)結(jié)構(gòu)和lut(k+1)中的索引值分別包含若干條索引，每條索引包含q維的索引組index和與之相匹配的索引值value；9、lut(k)結(jié)構(gòu)中的q條value組成lut(k+1)結(jié)構(gòu)中的一個index，依次類推。10、具體的，所述推理模型對所述lut結(jié)構(gòu)以24均勻采樣存儲；前n-1層lut結(jié)構(gòu)的存儲空間容量si表示為：11、si＝n×(24+1)n?byte12、其中的i表示第i層lut結(jié)構(gòu)，且i是不大于n-1的正整數(shù)，n表示lut結(jié)構(gòu)的維度：13、第n層lut結(jié)構(gòu)lut(n)的存儲容量sn表示為：14、sn＝(24+1)n×r2?byte15、其中的r表示lr圖像到hr圖像的放大系數(shù)。16、具體的，所述推理模型的網(wǎng)絡(luò)結(jié)構(gòu)包含級聯(lián)的第一卷積塊、第二卷積塊、多尺度特征增強mfem模塊和亞像素上采樣模塊；所述第一卷積塊和第二卷積塊利用卷積層的小感受野提取低維特征；所述mfem模塊用于提取不同尺度的特征信息，提取高維特征；所述亞像素上采樣模塊將低分辨率通道和并為高分辨率通道，提高圖像分辨率。17、具體的，所述第一卷積塊和第二卷積塊分別包含一層2×2卷積和五層1×1卷積，用于在卷積層上的映射塊生成特征映射，生成的特征映射關(guān)系表示為：18、f1＝conv(ilr)19、f2＝conv(f1)20、其中的f1和f2分別表示第一和第二卷積塊的卷積輸出，conv表示卷積塊的卷積激活操作，根據(jù)映射塊的輸入和輸出之間的映射關(guān)系建立lut結(jié)構(gòu)。21、具體的，所述mfem模塊包含級聯(lián)的非對稱卷積特征融合塊acfb、g層殘差通道注意力塊rcab，和1×1卷積層；其中的acfb輸出與1×1卷積層輸入之間設(shè)置長跳躍連接：22、所述acfb對輸入的特征圖像進行多尺度淺層特征提取和特征融合拼接；所述rcab用于識別不同通道間的特征重要性差異，捕捉圖像的高頻信息；1×1卷積層用于降維輸出特征圖。23、具體的，所述acfb包括三個非對稱卷積層，分別為1×2的橫向卷積chor、2×1的縱向卷積cvert和2×2的主對角卷積cdiag；每個非對稱卷積分別級聯(lián)歸一化bn層和激活層；三路激活層輸出共同通過連接層concat進行特征拼接融合，表示如下：24、25、其中的cat[·]表示沿通道維度的拼接操作；26、第g層rcab特征識別hg表示如下：27、fg＝hg(fg-1)＝hg(hg-1(…h(huán)1(facfb)…))28、其中的hg(·)表示第g層rcab函數(shù)，fg-1和fg表示第g個rcab的輸入和輸出，長跳躍連接將淺層特征facfb與深層特征fg融合；29、所述亞像素上采樣輸出結(jié)果s表示如下：30、s＝ps[c1×1(facfb+fg)]31、其中的c1×1表示1×1卷積，ps表示亞像素上操作。32、另一方面，本技術(shù)提供一種計算機設(shè)備，所述計算機設(shè)備包括處理器和存儲器，所述存儲器中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由所述處理器加載并執(zhí)行以實現(xiàn)上述方面所述的基于多級聯(lián)單查表的圖像超分辨率方法。33、又一方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，所述可讀存儲介質(zhì)中存儲有至少一條指令、至少一段程序、代碼集或指令集，所述至少一條指令、所述至少一段程序、所述代碼集或指令集由處理器加載并執(zhí)行以實現(xiàn)上述方面所述的基于多級聯(lián)單查表的圖像超分辨率方法。34、本技術(shù)實施例提供的技術(shù)方案帶來的有益效果至少包括：35、使用級聯(lián)查表結(jié)構(gòu)逐級存儲低分辨率和高分辨率的索引參數(shù)信息，通過直接訪問移動設(shè)備內(nèi)存的方式查找圖像塊，顯著提高訪問速度；36、采用多層索引的方式逐層查找，每級lut的索引值作為后級的一個索引維度參數(shù)，使得lut存儲壓力得以緩解，空間隨感受野的擴大線性增長；37、引入rcab來動態(tài)調(diào)整通道的權(quán)重，提高網(wǎng)絡(luò)的鑒別能力，多層的堆疊能夠提高模型的性能并優(yōu)化特征表示。當(dāng)前第1頁12當(dāng)前第1頁12