本技術(shù)涉及人工智能，尤其涉及一種基于降噪流的圖片生成方法及裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、近年來生成式模型在各大領(lǐng)域，尤其是計算機視覺領(lǐng)域大放異彩。現(xiàn)有的生成式框架主要包括生成式對抗網(wǎng)絡(luò)(generative?adversarial?network，gan)和似然模型(likelihood-based?models)，如自回歸模型(auto-regressive?models，ar)、標準化流模型(normalizing?flow，nf)、擴散模型(diffusion?models)等。

2、目前，gan模型通常都加入了非常多的人類的先驗知識的介入(如：判別器從哪些角度對生成器的生成結(jié)果進行判別、各項損失函數(shù)之間的權(quán)重調(diào)整)，但依舊面臨著模式崩塌等訓練難題，尤其在擴大模型規(guī)?；蚋淖償?shù)據(jù)集時，模式崩塌問題常常需要很多精細的參數(shù)調(diào)整才能克服。不止于此，由于gan模型結(jié)構(gòu)的特殊性，模型本身的可解釋性低。由于gan模型存在的訓練穩(wěn)定性差和可解釋性低的問題，在訓練過程中容易出現(xiàn)不穩(wěn)定，可能會導致生成結(jié)果的質(zhì)量下降，甚至出現(xiàn)訓練失敗的情況，最終影響圖片生成的質(zhì)量，因此，如何提高圖片生成的質(zhì)量，成為了亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例的主要目的在于提出一種基于降噪流的圖片生成方法及裝置、電子設(shè)備及存儲介質(zhì)，旨在提高圖片生成的質(zhì)量。

2、為實現(xiàn)上述目的，本技術(shù)實施例的第一方面提出了一種基于降噪流的圖片生成方法，所述方法采用圖片生成模型，所述圖片生成模型包括流結(jié)構(gòu)和降噪自編碼器，所述方法包括：

3、獲取圖片樣本；

4、對所述圖片樣本進行加噪處理，得到帶噪圖片樣本；

5、通過所述流結(jié)構(gòu)對所述帶噪圖片樣本進行第一損失計算，得到第一損失值；

6、通過所述降噪自編碼器對所述帶噪圖片樣本進行第二損失計算，得到第二損失值；

7、根據(jù)所述第一損失值和所述第二損失值對所述圖片生成模型進行調(diào)參，得到目標生成模型；

8、從所述目標生成模型訓練產(chǎn)生的第一變量向量中進行隨機采樣，得到第二變量向量；

9、通過所述目標生成模型對所述第二變量向量進行解碼處理，得到目標圖片。

10、在一些實施例，所述流結(jié)構(gòu)包括降噪編碼器和先驗網(wǎng)絡(luò)，所述通過所述流結(jié)構(gòu)對所述帶噪圖片樣本進行第一損失計算，得到第一損失值，包括：

11、通過所述降噪編碼器對所述帶噪圖片樣本進行編碼處理，得到第一隱變量向量；

12、通過所述先驗網(wǎng)絡(luò)對所述第一隱變量向量進行向量化正變換，得到第一變量向量；

13、根據(jù)所述第一變量向量，計算得到所述第一損失值。

14、在一些實施例，所述降噪自編碼器包括所述降噪編碼器和降噪解碼器，所述通過所述降噪自編碼器對所述帶噪圖片樣本進行第二損失計算，得到第二損失值，包括：

15、通過所述降噪編碼器對所述帶噪圖片樣本進行編碼處理，得到第一隱變量向量；

16、通過所述降噪解碼器對所述第一隱變量向量進行解碼處理，得到還原圖片；

17、根據(jù)所述還原圖片和所述圖片樣本，計算得到所述第二損失值。

18、在一些實施例，所述降噪解碼器包括圖片內(nèi)容生成結(jié)構(gòu)和圖片細節(jié)生成結(jié)構(gòu)，所述通過所述降噪解碼器對所述第一隱變量向量進行解碼處理，得到還原圖片，包括：

19、通過所述圖片內(nèi)容生成結(jié)構(gòu)對所述第一隱變量向量進行內(nèi)容重構(gòu)處理，得到第一圖片內(nèi)容向量；

20、通過所述圖片細節(jié)生成結(jié)構(gòu)對所述第一隱變量向量和所述第一圖片內(nèi)容向量進行細節(jié)重構(gòu)處理，得到所述還原圖片。

21、在一些實施例，所述根據(jù)所述還原圖片和所述圖片樣本，計算得到第二損失值，包括：

22、根據(jù)所述圖片樣本和所述第一圖片內(nèi)容向量，計算得到圖片內(nèi)容生成損失值；

23、根據(jù)所述圖片樣本和所述還原圖片，計算得到圖片細節(jié)生成損失值；

24、根據(jù)所述圖片內(nèi)容生成損失值和所述圖片細節(jié)生成損失值，計算得到所述第二損失值。

25、在一些實施例，所述通過所述目標生成模型對所述第二變量向量進行解碼處理，得到目標圖片，包括：

26、通過所述先驗網(wǎng)絡(luò)對所述第二變量向量進行向量化逆變換，得到第二隱變量向量；

27、通過所述降噪解碼器對所述第二隱變量向量進行解碼處理，得到所述目標圖片。

28、在一些實施例，所述通過所述降噪解碼器對所述第二隱變量向量進行解碼處理，得到所述目標圖片，包括：

29、通過所述圖片內(nèi)容生成結(jié)構(gòu)對所述第二隱變量向量進行內(nèi)容重構(gòu)處理，得到第二圖片內(nèi)容向量；

30、通過所述圖片細節(jié)生成結(jié)構(gòu)對所述第二隱變量向量和所述第二圖片內(nèi)容向量進行細節(jié)重構(gòu)處理，得到所述目標圖片。

31、為實現(xiàn)上述目的，本技術(shù)實施例的第二方面提出了一種基于降噪流的圖片生成裝置，所述裝置采用圖片生成模型，所述圖片生成模型包括流結(jié)構(gòu)和降噪自編碼器，所述裝置包括：

32、圖片獲取模塊，用于獲取圖片樣本；

33、圖片加噪模塊，用于對所述圖片樣本進行加噪處理，得到帶噪圖片樣本；

34、第一損失計算模塊，用于通過所述流結(jié)構(gòu)對所述帶噪圖片樣本進行第一損失計算，得到第一損失值；

35、第二損失計算模塊，用于通過所述降噪自編碼器對所述帶噪圖片樣本進行第二損失計算，得到第二損失值；

36、模型調(diào)參模塊，用于根據(jù)所述第一損失值和所述第二損失值對所述圖片生成模型進行調(diào)參，得到目標生成模型；

37、隨機采樣模塊，用于從所述目標生成模型訓練產(chǎn)生的第一變量向量中進行隨機采樣，得到第二變量向量；

38、目標圖片生成模塊，用于通過所述目標生成模型對所述第二變量向量進行解碼處理，得到目標圖片。

39、為實現(xiàn)上述目的，本技術(shù)實施例的第三方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述第一方面所述的基于降噪流的圖片生成方法。

40、為實現(xiàn)上述目的，本技術(shù)實施例的第四方面提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第一方面所述的基于降噪流的圖片生成方法。

41、本技術(shù)提出的基于降噪流的圖片生成方法及裝置、電子設(shè)備及存儲介質(zhì),其通過對圖片樣本進行加噪處理，得到帶噪圖片樣本，然后通過流結(jié)構(gòu)對帶噪圖片樣本進行第一損失計算，得到第一損失值，通過降噪自編碼器對帶噪圖片樣本進行第二損失計算，得到第二損失值，根據(jù)第一損失值和第二損失值對圖片生成模型進行調(diào)參，得到目標生成模型，然后從目標生成模型訓練產(chǎn)生的第一變量向量中進行隨機采樣，得到第二變量向量，最后通過目標生成模型對第二變量向量進行解碼處理，得到目標圖片，相較于現(xiàn)有的gan模型，圖片生成模型不僅結(jié)構(gòu)非常簡單，可解釋度高，而且訓練非常穩(wěn)定，因此，在訓練階段就能提高訓練的穩(wěn)定性，避免出現(xiàn)訓練失敗的情況，在圖片生成階段，將第二變量向量輸入到目標生成模型中進行解碼，就能生成高質(zhì)量的目標圖片，從而達到提高圖片生成質(zhì)量的目的。