本發(fā)明屬于計算機(jī)視覺和圖像分類；具體涉及一種圖像任意藝術(shù)風(fēng)格遷移的方法。

背景技術(shù)：

1、風(fēng)格遷移是計算機(jī)視覺基本任務(wù)之一，圖像任意藝術(shù)風(fēng)格遷移旨在通過將給定照片渲染成目標(biāo)藝術(shù)風(fēng)格，創(chuàng)造出新的藝術(shù)圖像，現(xiàn)有方法僅基于全局統(tǒng)計或局部分塊來簡單地學(xué)習(xí)風(fēng)格，缺乏對實踐中繪畫過程的仔細(xì)考慮。因此，風(fēng)格化結(jié)果要么無法捕捉豐富多樣的局部風(fēng)格模式，要么包含了風(fēng)格圖像中不期望的語義信息，偏離了全局風(fēng)格分布。為了解決這一問題，我們提出了一個圖像任意風(fēng)格遷移的兩段感知特征方法，首先，以分塊方式交換局部特征，豐富局部風(fēng)格細(xì)節(jié)，然后通過對齊內(nèi)容和風(fēng)格特征的全局統(tǒng)計信息，微調(diào)全局風(fēng)格特征。通過這些創(chuàng)新，我們的方法能夠生成視覺上更加吸引人、細(xì)節(jié)更加豐富的藝術(shù)風(fēng)格遷移圖像。

技術(shù)實現(xiàn)思路

1、1.一種圖像任意風(fēng)格遷移的兩段感知特征方法，其特征在于具體包括以下步驟：

2、步驟1：獲取公認(rèn)的公開圖像數(shù)據(jù)集，對數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)裁切的預(yù)處理操作，數(shù)據(jù)集包括內(nèi)容圖像和風(fēng)格圖像；

3、步驟2：將預(yù)處理的內(nèi)容圖像ic和風(fēng)格圖像is傳入經(jīng)過預(yù)訓(xùn)練的vgg-19編碼器e中，具體計算公式如下：

4、fc＝e(ic)，fs＝e(is)；

5、步驟3：構(gòu)建圖像任意風(fēng)格遷移的兩段感知特征網(wǎng)絡(luò)模型，包括注意力模塊和全局統(tǒng)計信息對齊模塊；

6、步驟3.1：構(gòu)建注意力模塊，該階段首先將fc和fs進(jìn)行正則化后做卷積操作得到fq、fk、fv，令fq做代理令牌a，代理令牌首先作為查詢令牌fq的代理，從fk和fv聚合信息，然后將信息廣播回fq，具體計算公式如下：

7、oa＝attns(q，a，attns(a，k，v))，

8、

9、其中softmax是激活函數(shù)，fattn是提出的注意力模塊得出的注意力分?jǐn)?shù)特征圖；

10、步驟3.2：構(gòu)建全局統(tǒng)計信息對齊模塊，計算每個點的加權(quán)統(tǒng)計量，計算方式如下：

11、

12、fcs＝std·norm(fc)+mean；

13、其中softmax是激活函數(shù)，norm表示均值方差標(biāo)準(zhǔn)化；

14、步驟4：構(gòu)建解碼器，解碼器與編碼器是對稱設(shè)計的，對fcs特征圖進(jìn)行圖像重建；

15、步驟5：使用經(jīng)過預(yù)訓(xùn)練的vgg-19提取生成圖像的特征，計算損失函數(shù)，具體公式如下：

16、

17、其中是內(nèi)容損失，是風(fēng)格損失，是身份損失，分別計算如下：

18、步驟5.1：內(nèi)容損失計算公式如下：

19、

20、其中φi從預(yù)訓(xùn)練的vgg-19網(wǎng)絡(luò)的第i層中提取的特征；

21、步驟5.2：風(fēng)格損失計算公式如下：

22、

23、其中，μ(·)表示特征的平均值，φi表示從預(yù)先訓(xùn)練好的vgg-19網(wǎng)絡(luò)的第i層中提取的特征，σ(·)表示特征的方差；

24、步驟5.3：身份損失計算公式如下：

25、

26、其中，icc和iss分別表示當(dāng)輸入為相同的內(nèi)容和樣式圖像時生成的復(fù)合結(jié)果；φi是指從vgg網(wǎng)絡(luò)的relui_1(i∈[1-5])層中提取的特征，而λid1和λid2是超參數(shù)；

27、步驟6：訓(xùn)練模型，根據(jù)損失函數(shù)生成模型權(quán)重和解碼器權(quán)重文件；

28、步驟7：訓(xùn)練好的模型接收任意分辨率的內(nèi)容圖像和風(fēng)格圖像，輸出高質(zhì)量的藝術(shù)風(fēng)格遷移照片。

29、本發(fā)明提出了一種圖像任意風(fēng)格遷移的兩段感知特征方法，提供的技術(shù)方案帶來的有益效果至少包括:

30、本發(fā)明實施例中,構(gòu)建用于圖像任意藝術(shù)風(fēng)格遷移的神經(jīng)網(wǎng)絡(luò)模型：注意力模塊和全局統(tǒng)計信息對齊模塊。注意力模塊先提取內(nèi)容圖像和風(fēng)格圖像的紋理、顏色、結(jié)構(gòu)信息。將深層和淺層特征以分塊方式交換局部特征，再對內(nèi)容特征和風(fēng)格特征進(jìn)行全局統(tǒng)計信息對齊自適應(yīng)歸一化處理，使其局部特征統(tǒng)計量與全局的特征統(tǒng)計量相匹配。注意力模塊綜合了風(fēng)格圖像和內(nèi)容圖像的淺層和深層卷積神經(jīng)網(wǎng)絡(luò)特征，同時達(dá)成了內(nèi)容特征與樣式特征的逐點特征統(tǒng)計匹配。全局統(tǒng)計信息對齊在局部塊交換階段后調(diào)整特征圖的均值和方差來實現(xiàn)全局圖像信息微調(diào)。

31、總之，本發(fā)明主要優(yōu)點：

32、1.提出了兩段感知特征的方法，分兩步來實現(xiàn)風(fēng)格遷移的任務(wù)。

33、2.提出了注意力模塊和全局統(tǒng)計信息對齊模塊，其中注意力模塊著重于捕捉局部風(fēng)格特征，全局統(tǒng)計信息對齊模塊對齊內(nèi)容和風(fēng)格特征的全局統(tǒng)計信息，顯著的提升了圖像風(fēng)格化的效果。

技術(shù)特征：

1.一種圖像任意風(fēng)格遷移的兩段感知特征方法，其特征在于具體包括以下步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種圖像任意風(fēng)格遷移的兩段感知特征方法，旨在通過對給定的照片應(yīng)用目標(biāo)藝術(shù)風(fēng)格來創(chuàng)造出新的藝術(shù)作品，本方法首先利用注意力模塊提取內(nèi)容圖像和風(fēng)格圖像的特征來增強(qiáng)表示,通過注意力機(jī)制來豐富局部風(fēng)格細(xì)節(jié)，根據(jù)內(nèi)容特征分布來調(diào)整風(fēng)格特征分布，在風(fēng)格化過程中保留內(nèi)容圖像中的語義關(guān)系來實現(xiàn)更好的內(nèi)容保留，再使用全局統(tǒng)計信息對齊模塊來微調(diào)全局圖像風(fēng)格。公開圖像數(shù)據(jù)集上的對比實驗驗證了本發(fā)明可以實現(xiàn)高質(zhì)量的圖像藝術(shù)風(fēng)格遷移。

技術(shù)研發(fā)人員：李根,李玉鑑,劉寶龍,霍霈霖,李川
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2