本技術涉及圖像處理，特別是涉及一種圖像生成模型的訓練方法及圖像生成方法。

背景技術：

1、通常，為了阻隔紅外線產生的熱量，以及減少紫外線對空間內人員的傷害，可以在空間所設置的用于透光的窗戶所安裝的玻璃內側進行貼膜，例如，為了提升乘客的乘車體驗，可以在車輛前擋風玻璃內側進行貼膜等。進而，當對貼膜的窗戶進行圖像采集時，由于自然光的折射、反射等原因，往往可能在所采集到的圖像中形成彩虹紋，以遮擋圖像中的面部圖像、物體圖像等，降低圖像識別的準確率。

2、以貼有車膜的車窗為例，當自然光照射到車窗表面時，一部分光線在車窗表面反射，而另一部分光線穿過車窗玻璃到達車窗內側所貼的車膜。其中，上述到達車膜的光線為部分偏振光，其一部分發(fā)生晶體雙折射后射回車外，另一部分穿過車膜射入到車內，并在經過車內物體的反射后射回車外，而上述射回車外的光線可以被圖像采集設備的鏡頭所接收。而上述發(fā)生晶體雙折射后射回車外的光，在經過鏡頭所設置的ir（infrared，紅外）偏振片時，可以發(fā)生干涉現(xiàn)象在所采集到的車窗圖像中形成彩虹紋。

3、通常，可以將不存在彩虹紋的圖像稱為干凈圖像，而將存在彩虹紋的圖像稱為彩虹紋圖像。例如，如圖3（a）為干凈圖像，而如圖3（b）和圖3（c）為彩虹紋圖像。由于彩虹紋圖像中的彩虹紋會遮擋圖像背景層中的人物、物體等對象的細節(jié)，因此，在圖像識別場景下，為了提高圖像識別的準確率，需要訓練用于消除彩虹紋圖像中的彩虹紋的圖像處理模型，而為了訓練上述圖像處理模型，需要提前獲取大量的彩虹紋圖像，基于此，如何訓練得到的一圖像生成模型，以生成具有較高保真度的彩虹紋圖像，成為當前亟待解決的技術問題。

技術實現(xiàn)思路

1、本技術實施例的目的在于提供一種圖像生成模型的訓練方法及圖像生成方法，以訓練得到的一圖像生成模型，以生成具有較高保真度的彩虹紋車窗圖像。具體技術方案如下：

2、第一方面，本技術實施例提供了一種圖像生成模型的訓練方法，所述方法包括：

3、獲取第一樣本圖像；其中，所述第一樣本圖像為干凈圖像；

4、將所述第一樣本圖像輸入待訓練的圖像生成模型，以使所述圖像生成模型對所述第一樣本圖像進行編碼，得到圖像特征向量，基于所述圖像特征向量，利用預設的干凈圖像先驗碼本，預測干凈圖像編碼，并基于所述圖像特征向量，利用預設的彩虹紋圖像先驗碼本，預測彩虹紋圖像編碼，對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標彩虹紋圖像編碼，對所述目標彩虹紋圖像編碼進行解碼，得到彩虹紋圖像；

5、基于所述第一樣本圖像和所述彩虹紋圖像，計算第一損失值，并基于所述第一損失值，調整所述圖像生成模型的模型參數(shù)；

6、其中，所述干凈圖像先驗碼本是離散向量生成模型對預先獲取的干凈圖像進行離散向量編碼得到的離散向量碼本，所述彩虹紋圖像先驗碼本是所述離散向量生成模型對預先獲取的彩虹紋圖像進行離散向量編碼得到的離散向量碼本；所述離散向量生成模型是利用第二樣本圖像，對待訓練的離散向量生成模型進行訓練得到的；所述第二樣本圖像包括：干凈圖像和彩虹紋圖像。

7、可選的，一種具體實現(xiàn)方式中，所述圖像生成模型包括transforemer模塊；

8、所述圖像生成模型基于所述圖像特征向量，利用預設的干凈圖像先驗碼本，預測干凈圖像編碼，并基于所述圖像特征向量，利用預設的彩虹紋圖像先驗碼本，預測彩虹紋圖像編碼，包括：

9、利用所述transforemer模塊對所述圖像特征向量進行特征計算，得到所述圖像特征向量對應的編碼序列；

10、針對每個編碼序列，在預設的干凈圖像先驗碼本中，檢索與該編碼序列的相似度最高的干凈車窗代碼項，并利用所檢索到的所述干凈車窗代碼項，對該編碼序列進行預測，得到干凈圖像編碼；

11、針對每個編碼序列，在預設的彩虹紋圖像先驗碼本中，檢索與該編碼序列的相似度最高的彩虹紋車窗代碼項，并利用所檢索到的所述彩虹紋車窗代碼項，對該編碼序列進行預測，得到彩虹紋圖像編碼。

12、可選的，一種具體實現(xiàn)方式中，所述transforemer模塊包括：多個自注意力子模塊；

13、所述利用所述transforemer模塊對所述圖像特征向量進行特征計算，得到所述圖像特征向量對應的編碼序列，包括：

14、基于所述圖像特征向量，依次利用所述多個自注意力子模塊進行指定計算，得到最后一個自注意力模塊輸出的計算結果；

15、利用線性層將所述計算結果投影到與所述圖像特征向量的維度相匹配的特定維度，得到所述圖像特征向量對應的編碼序列；其中，所述特定維度為：，表示與的乘積，所述圖像特征向量的維度為。

16、可選的，一種具體實現(xiàn)方式中，每個自注意力子模塊基于所述圖像特征向量進行指定計算的方式，包括：

17、每個自注意力子模塊利用第一公式基于所述圖像特征向量進行指定計算；其中，所述第一公式為：

18、；

19、其中，為所述圖像特征向量，為第s個自注意力自模塊的計算結果，為第s+1個自注意力自模塊的計算結果，0≤s≤m-1，m為所述多個自注意力子模塊的數(shù)量；為的query值，為的key值，為的value值。

20、可選的，一種具體實現(xiàn)方式中，所述圖像生成模型對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標彩虹紋圖像編碼，包括：

21、利用第二公式，計算滿足優(yōu)化目標的目標彩虹紋圖像編碼；

22、其中，所述第二公式為：

23、；

24、其中，為所述目標彩虹紋圖像編碼，為所述彩虹紋圖像編碼中的第個編碼序列，是所述彩虹紋圖像編碼中的第個編碼序列，為所述干凈圖像編碼中的第個編碼序列，是所述干凈圖像編碼中的第個編碼序列，為預設參數(shù)，n為預設的碼本維度；

25、所述優(yōu)化目標為：

26、+；

27、其中，為所述目標彩虹紋圖像編碼，是預設的自洽數(shù)據(jù)保真度且，為所述干凈圖像先驗碼本，為所述彩虹紋圖像先驗碼本，為的權重系數(shù)，為的權重系數(shù)。

28、可選的，一種具體實現(xiàn)方式中，所述離散向量生成模型的訓練方式，包括：

29、獲取第二樣本圖像；其中，所述第二樣本圖像包括：干凈圖像和彩虹紋圖像；

30、針對每個第二樣本圖像，執(zhí)行如下步驟：

31、將該第二樣本圖像輸入待訓練的離散向量生成模型，以使所述離散向量生成模型對該第二樣本圖像進行編碼，得到該第二樣本圖像的中間特征向量，在預設離散向量碼本中，檢索與所述中間特征向量的每一個編碼位置距離最近的離散向量，利用所檢索到的離散向量，生成該第二樣本圖像的離散編碼向量，對所述離散編碼向量進行解碼，得到該第二樣本圖像對應的重建圖像；其中，所述預設離散向量碼本記錄有已生成的第二樣本圖像的離散編碼向量；

32、基于所述重建圖像與該第二樣本圖像，計算第二損失值，并基于所述第二損失值，調整所述離散向量生成模型的模型參數(shù)。

33、可選的，一種具體實現(xiàn)方式中，在所述基于所述第一損失值，調整所述圖像生成模型的模型參數(shù)之前，所述方法還包括：

34、將所述彩虹紋圖像輸入圖像分類模型，以使所述圖像分類模型輸出所述彩虹紋圖像的置信度損失值；其中，所述圖像分類模型是基于預先獲取的樣本干凈圖像和樣本彩虹紋圖像，對待訓練的分類模型進行訓練得到的；

35、所述基于所述第一損失值，調整所述圖像生成模型的模型參數(shù)，包括：

36、基于所述第一損失值和所述置信度損失值，調整所述圖像生成模型的模型參數(shù)。

37、第二方面，本技術實施例提供了一種圖像生成方法，所述方法包括：

38、獲取初始圖像；其中，所述初始圖像為干凈圖像；

39、將所述初始圖像輸入預設的圖像生成模型，以使所述圖像生成模型對所述初始圖像進行編碼，得到初始圖像特征向量，基于所述初始圖像特征向量，利用預設的干凈圖像先驗碼本，預測初始干凈圖像編碼，并基于所述初始圖像特征向量，利用彩虹紋圖像先驗碼本，預測初始彩虹紋圖像編碼，對述初始干凈圖像編碼和所述初始彩虹紋圖像編碼進行對比，得到初始背景層編碼和初始彩虹紋層編碼，對所述初始背景層編碼和所述初始彩虹紋層編碼進行編碼融合，確定待生成彩虹紋圖像編碼，對所述待生成彩虹紋圖像編碼進行解碼，得到目標彩虹紋圖像；

40、獲取所述圖像生成模型輸出的所述目標彩虹紋圖像；

41、其中，所述圖像生成模型為：基于上述第一方面提供的任一訓練方法訓練得到的模型。

42、第三方面，本技術實施例提供了一種圖像生成模型的訓練裝置，所述裝置包括：

43、樣本圖像獲取模塊，用于獲取第一樣本圖像；其中，所述第一樣本圖像為干凈圖像；

44、第一輸入模塊，用于將所述第一樣本圖像輸入待訓練的圖像生成模型，以使所述圖像生成模型對所述第一樣本圖像進行編碼，得到圖像特征向量，基于所述圖像特征向量，利用預設的干凈圖像先驗碼本，預測干凈圖像編碼，并基于所述圖像特征向量，利用預設的彩虹紋圖像先驗碼本，預測彩虹紋圖像編碼，對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標彩虹紋圖像編碼，對所述目標彩虹紋圖像編碼進行解碼，得到彩虹紋圖像；

45、第一計算模塊，用于基于所述第一樣本圖像和所述彩虹紋圖像，計算第一損失值，并基于所述第一損失值，調整所述圖像生成模型的模型參數(shù)；

46、其中，所述干凈圖像先驗碼本是離散向量生成模型對預先獲取的干凈圖像進行離散向量編碼得到的離散向量碼本，所述彩虹紋圖像先驗碼本是所述離散向量生成模型對預先獲取的彩虹紋圖像進行離散向量編碼得到的離散向量碼本；所述離散向量生成模型是利用第二樣本圖像，對待訓練的離散向量生成模型進行訓練得到的；所述第二樣本圖像包括：干凈圖像和彩虹紋圖像。

47、第四方面，本技術實施例提供了一種圖像生成裝置，所述裝置包括：

48、第一初始圖像獲取模塊，用于獲取初始圖像；其中，所述初始圖像為干凈圖像；

49、第二輸入模塊，用于將所述初始圖像輸入預設的圖像生成模型，以使所述圖像生成模型對所述初始圖像進行編碼，得到初始圖像特征向量，基于所述初始圖像特征向量，利用預設的干凈圖像先驗碼本，預測初始干凈圖像編碼，并基于所述初始圖像特征向量，利用彩虹紋圖像先驗碼本，預測初始彩虹紋圖像編碼，對述初始干凈圖像編碼和所述初始彩虹紋圖像編碼進行對比，得到初始背景層編碼和初始彩虹紋層編碼，對所述初始背景層編碼和所述初始彩虹紋層編碼進行編碼融合，確定待生成彩虹紋圖像編碼，對所述待生成彩虹紋圖像編碼進行解碼，得到目標彩虹紋圖像；

50、第一目標圖像獲取模塊，用于獲取所述圖像生成模型輸出的所述目標彩虹紋圖像；

51、其中，所述圖像生成模型為：基于上述第一方面提供的任一訓練方法訓練得到的模型。

52、第五方面，本技術實施例提供了一種圖像生成方法，所述方法包括：

53、獲取初始圖像；其中，所述初始圖像為干凈圖像；

54、將所述初始圖像輸入訓練完成的圖像生成模型，以使所述圖像生成模型基于所述初始圖像、預設的干凈圖像先驗碼本和預設的彩虹紋圖像先驗碼本，生成以所述初始圖像為背景層的目標彩虹紋圖像；

55、獲取所述圖像生成模型輸出的所述目標彩虹紋圖像；

56、其中，所述圖像生成模型是基于第一樣本圖像、所述干凈圖像先驗碼本和所述彩虹紋圖像先驗碼本，對預設的圖像生成模型進行訓練得到的，所述第一樣本圖像為干凈圖像；所述干凈圖像先驗碼本是離散向量生成模型對預先獲取的干凈圖像進行離散向量編碼得到的離散向量碼本，所述彩虹紋圖像先驗碼本是所述離散向量生成模型對預先獲取的彩虹紋圖像進行離散向量編碼得到的離散向量碼本；所述離散向量生成模型是利用第二樣本圖像，對待訓練的離散向量生成模型進行訓練得到的；所述第二樣本圖像包括：干凈圖像和彩虹紋圖像。

57、第六方面，本技術實施例提供了一種圖像生成裝置，所述裝置包括：

58、第二初始獲取模塊，用于獲取初始圖像；其中，所述初始圖像為干凈圖像；

59、第三輸入模塊，用于將所述初始圖像輸入訓練完成的圖像生成模型，以使所述圖像生成模型基于所述初始圖像、預設的干凈圖像先驗碼本和預設的彩虹紋圖像先驗碼本，生成以所述初始圖像為背景層的目標彩虹紋圖像；

60、第二目標圖像獲取模塊，用于獲取所述圖像生成模型輸出的所述目標彩虹紋圖像；

61、其中，所述圖像生成模型是基于第一樣本圖像、所述干凈圖像先驗碼本和所述彩虹紋圖像先驗碼本，對預設的圖像生成模型進行訓練得到的，所述第一樣本圖像為干凈圖像；所述干凈圖像先驗碼本是離散向量生成模型對預先獲取的干凈圖像進行離散向量編碼得到的離散向量碼本，所述彩虹紋圖像先驗碼本是所述離散向量生成模型對預先獲取的彩虹紋圖像進行離散向量編碼得到的離散向量碼本；所述離散向量生成模型是利用第二樣本圖像，對待訓練的離散向量生成模型進行訓練得到的；所述第二樣本圖像包括：干凈圖像和彩虹紋圖像。

62、第七方面，本技術實施例提供了一種電子設備，包括：

63、存儲器，用于存放計算機程序；

64、處理器，用于執(zhí)行存儲器上所存放的程序時，實現(xiàn)上述第一方面、第二方面和/或第五方面提供的任一方法。

65、第八方面，本技術實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第一方面和/或第二方面提供的任一方法。

66、第九方面，本技術實施例提供了一種包含指令的計算機程序產品，當其在計算機上運行時，使得計算機執(zhí)行上述第一方面和/或第二方面提供的任一方法。

67、本技術實施例有益效果：

68、以上可見，應用本技術實施例提供的方案，可以預先構建干凈圖像先驗碼本和所述彩虹紋圖像先驗碼本，進而，利用上述作為樣本圖像的干凈圖像，以及上述干凈圖像先驗碼本和彩虹紋圖像先驗碼本，對待訓練的圖像生成模型進行訓練。其中，在訓練過程中，圖像生成模型對樣本圖像進行編碼，得到圖像特征向量，基于圖像特征向量，利用預設的干凈圖像先驗碼本，預測干凈圖像編碼，并基于圖像特征向量，利用預設的彩虹紋圖像先驗碼本，預測彩虹紋圖像編碼，對干凈圖像編碼和彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對背景層編碼和彩虹紋層編碼進行編碼融合，對目標彩虹紋圖像編碼進行解碼，得到彩虹紋圖像。進而，可以基于所得到的彩虹紋圖像和樣本圖像，計算第一損失值，并基于第一損失值調整上述圖像生成模型的模型參數(shù)。

69、基于此，在上述圖像生成模型收斂時，便可以得到訓練完成的圖像生成模型，而該訓練完成的圖像生成模型可以基于干凈圖像生成以該干凈圖像為背景層的彩虹紋圖像。其中，由于上述圖像生成模型的訓練是基于干凈圖像和彩虹紋圖像的先驗知識（干凈圖像先驗碼本和彩虹紋圖像先驗碼本）訓練得到的，因而，在利用上述圖像生成模型生成彩虹紋圖像時，仍然會使用上述先驗知識，從而，可以使得所生成的彩虹紋圖像的彩虹紋層具有高保真性。這樣，應用本技術實施例提供的方案，可以基于無監(jiān)督的訓練方法，訓練得到的一圖像生成模型，以實現(xiàn)將干凈圖像退化到帶有彩虹紋的彩虹紋圖像，并使退化的彩虹紋圖像中的彩虹紋分布與真實的彩虹紋圖像的彩虹紋分布的差異較小，同時，使生成的彩虹紋圖像的背景層與干凈圖像具有較高的保真度，即可以利用訓練得到的圖像生成模型，使用干凈圖像，生成具有較高保真度的彩虹紋圖像。

70、此外，相較于彩虹紋處理的相關技術中，通過手動調參分離彩虹紋圖像中的彩虹紋層，提取彩虹紋形狀、彩虹紋顏色等單獨特征的方式，在本技術實施例中，上述圖像生成模型是直接利用干凈圖像生成完整彩虹紋圖像的，因此，彩虹紋圖像的生成是端到端的，可以不局限于彩虹紋形狀、彩虹紋顏色等顯示進行彩虹紋圖像生成。并且，在本技術實施例中，在訓練上述圖像生成模型時，不依賴于干凈圖像與彩虹紋圖像的配對數(shù)據(jù)進行圖像模型訓練，從而，使得所訓練得到的圖像生成模型可以具有更高的泛化性，而采用離散向量編碼壓縮技術，可以減少圖像生成模型的計算資源消耗，使圖像生成模型可以在大量數(shù)據(jù)集上進行訓練、增加模型迭代次數(shù)和模型迭代效率，提高模型的推理效果。

71、當然，實施本技術的任一產品或方法并不一定需要同時達到以上所述的所有優(yōu)點。