本發(fā)明屬于圖像處理，具體涉及基于深度學(xué)習(xí)的工筆畫(huà)圖像風(fēng)格遷移方法、系統(tǒng)。

背景技術(shù)：

1、圖像風(fēng)格遷移的目標(biāo)是建立一個(gè)映射，輸入一個(gè)圖像域的圖片，輸出另一個(gè)圖像域的圖片。深度學(xué)習(xí)作為圖像風(fēng)格遷移領(lǐng)域的研究手段，主要有基于卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)風(fēng)格的遷移，及基于生成對(duì)抗網(wǎng)絡(luò)來(lái)進(jìn)行風(fēng)格遷移。

2、然而，目前圖像風(fēng)格遷移方法仍然存在局限性：1）圖像細(xì)節(jié)的提取不夠精確，特別是在處理中國(guó)畫(huà)風(fēng)格時(shí)，精細(xì)的筆劃邊界特征無(wú)法很好地表示出來(lái)。2）生成的圖像有時(shí)可能會(huì)發(fā)生語(yǔ)義變化，導(dǎo)致轉(zhuǎn)換前后內(nèi)容表達(dá)不一致。以及可能會(huì)限制風(fēng)格轉(zhuǎn)換的程度，導(dǎo)致風(fēng)格化圖像無(wú)法完全捕捉目標(biāo)風(fēng)格的所有特征。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供基于深度學(xué)習(xí)的工筆畫(huà)圖像風(fēng)格遷移方法、系統(tǒng)。

2、本發(fā)明的技術(shù)方案如下：

3、本發(fā)明提供一種基于深度學(xué)習(xí)的工筆畫(huà)圖像風(fēng)格遷移方法，包括以下步驟：

4、s1：獲取第一圖像域的圖像，經(jīng)第一次風(fēng)格遷移，得到第二圖像域的生成圖像；

5、所述風(fēng)格遷移，操作如下：

6、待處理圖像依次經(jīng)第一二維卷積、層歸一化、第一卷積處理、第一次下采樣、第一卷積處理、第二次下采樣、第二卷積處理、第三次下采樣、第一卷積處理后，得到多尺度特征；

7、多尺度特征經(jīng)力矩捷徑處理后，依次經(jīng)反卷積、第一二維卷積、第一激活函數(shù)處理，得到處理后的圖像；

8、所述下采樣，具體為：

9、第一卷積處理或第二卷積處理后的特征依次經(jīng)第二二維卷積、位置歸一化處理、實(shí)列正則化、第二激活函數(shù)處理，得到下采樣后的特征；

10、s2：生成圖像經(jīng)第二次風(fēng)格遷移，得到第一圖像域的重構(gòu)圖像，計(jì)算重構(gòu)圖像與獲取的第一圖像域的圖像的損失，將滿(mǎn)足第一預(yù)設(shè)條件的重構(gòu)圖像進(jìn)行標(biāo)記，將標(biāo)記的重構(gòu)圖像對(duì)應(yīng)的生成圖像作為目標(biāo)生成圖像；

11、s3：目標(biāo)生成圖像經(jīng)第四二維卷積后，得到特征圖；

12、特征圖經(jīng)全局平均池化處理，得到第一特征圖；

13、特征圖經(jīng)全局最大池化處理，得到第二特征圖；

14、第一特征圖、第二特征圖經(jīng)共享權(quán)重后，分別得到第一注意力特征圖、第二注意力特征圖；

15、第一注意力特征圖、第二注意力特征圖分別與特征圖相乘，拼接，得到注意力特征圖；

16、注意力特征圖經(jīng)第五二維卷積后，得到待判別圖像；

17、s4：獲取第二圖像域的真實(shí)圖像，計(jì)算待判別圖像與真實(shí)圖像的損失，將滿(mǎn)足第二預(yù)設(shè)條件的待判別圖像作為風(fēng)格遷移圖像。

18、所述步驟s1位置歸一化處理，為根據(jù)公式：，計(jì)算特征空間位置的均值；

19、根據(jù)公式：，計(jì)算特征空間位置的標(biāo)準(zhǔn)差；

20、基于特征空間位置的均值和標(biāo)準(zhǔn)差，經(jīng)公式：，對(duì)特征空間位置進(jìn)行歸一化處理；

21、式中，為特征空間位置的均值；為通道總數(shù)；為第二二維卷積后的特征；為批量大??；c為通道數(shù)，c=1,2,……,；為高度；為寬度；為特征空間位置的標(biāo)準(zhǔn)差；用于防止分母為零；為位置歸一化處理后的特征。

22、所述步驟s1多尺度特征經(jīng)力矩捷徑處理，具體為：

23、根據(jù)公式：，將位置信息補(bǔ)充至多尺度特征；

24、式中，為力矩捷徑處理后的特征；為多尺度特征；為特征空間位置的均值；為特征空間位置的標(biāo)準(zhǔn)差。

25、所述步驟s1第一卷積處理或第二卷積處理，具體為：

26、待卷積處理的特征依次經(jīng)深度可分離二維卷積、層歸一化、第三二維卷積、第三激活函數(shù)處理、第三二維卷積后，與待卷積處理的特征逐元素相加，得到一次卷積處理后的特征，根據(jù)第一卷積處理或第二卷積處理預(yù)設(shè)的處理次數(shù)，完成第一卷積處理或第二卷積處理。

27、所述步驟s3目標(biāo)生成圖像經(jīng)第四二維卷積后，得到特征圖，具體為：

28、目標(biāo)生成圖像依次經(jīng)具有核大小為4、步長(zhǎng)為2和堆疊數(shù)量為64的卷積處理、頻譜歸一化、激活函數(shù)處理、具有核大小為4、步長(zhǎng)為2和堆疊數(shù)量為128的卷積處理、頻譜歸一化、激活函數(shù)處理、具有核大小為4、步長(zhǎng)為2和堆疊數(shù)量為256的卷積處理、頻譜歸一化、激活函數(shù)處理、具有核大小為4、步長(zhǎng)為1和堆疊數(shù)量為512的卷積處理后，得到特征圖。

29、所述步驟s3注意力特征圖經(jīng)第五二維卷積后，得到待判別圖像，具體為：

30、注意力特征圖依次經(jīng)具有步長(zhǎng)為1的1×1內(nèi)核的卷積處理、頻譜歸一化、激活函數(shù)處理、具有步長(zhǎng)為1的4×4內(nèi)核的卷積處理后，得到待判別圖像。

31、若第一圖像域?yàn)樽匀痪坝^(guān)圖像，則第二圖像域?yàn)橹袊?guó)工筆畫(huà)圖像；

32、若第一圖像域?yàn)橹袊?guó)工筆畫(huà)圖像，則第二圖像域?yàn)樽匀痪坝^(guān)圖像。

33、本發(fā)明還提供一種基于深度學(xué)習(xí)的工筆畫(huà)圖像風(fēng)格遷移系統(tǒng)，包括：

34、第二圖像域的圖像生成模塊：用于獲取第一圖像域的圖像，經(jīng)第一次風(fēng)格遷移，得到第二圖像域的生成圖像；

35、所述風(fēng)格遷移，操作如下：

36、待處理圖像依次經(jīng)第一二維卷積、層歸一化、第一卷積處理、第一次下采樣、第一卷積處理、第二次下采樣、第二卷積處理、第三次下采樣、第一卷積處理后，得到多尺度特征；

37、多尺度特征經(jīng)力矩捷徑處理后，依次經(jīng)反卷積、第一二維卷積、第一激活函數(shù)處理，得到處理后的圖像；

38、所述下采樣，具體為：

39、第一卷積處理或第二卷積處理后的特征依次經(jīng)第二二維卷積、位置歸一化處理、實(shí)列正則化、第二激活函數(shù)處理，得到下采樣后的特征；

40、目標(biāo)生成圖像確定模塊：用于生成圖像經(jīng)第二次風(fēng)格遷移，得到第一圖像域的重構(gòu)圖像，計(jì)算重構(gòu)圖像與獲取的第一圖像域的圖像的損失，將滿(mǎn)足第一預(yù)設(shè)條件的重構(gòu)圖像進(jìn)行標(biāo)記，將標(biāo)記的重構(gòu)圖像對(duì)應(yīng)的生成圖像作為目標(biāo)生成圖像；

41、待判別圖像生成模塊：用于目標(biāo)生成圖像經(jīng)第四二維卷積后，得到特征圖；

42、特征圖經(jīng)全局平均池化處理，得到第一特征圖；

43、特征圖經(jīng)全局最大池化處理，得到第二特征圖；

44、第一特征圖、第二特征圖經(jīng)共享權(quán)重后，分別得到第一注意力特征圖、第二注意力特征圖；

45、第一注意力特征圖、第二注意力特征圖分別與特征圖相乘，拼接，得到注意力特征圖；

46、注意力特征圖經(jīng)第五二維卷積后，得到待判別圖像；

47、風(fēng)格遷移圖像確定模塊：用于獲取第二圖像域的真實(shí)圖像，計(jì)算待判別圖像與真實(shí)圖像的損失，將滿(mǎn)足第二預(yù)設(shè)條件的待判別圖像作為風(fēng)格遷移圖像。

48、有益效果：本發(fā)明將卷積處理與下采樣進(jìn)行交叉堆疊設(shè)置以準(zhǔn)確提取筆劃特征，并結(jié)合位置歸一化處理以提取結(jié)構(gòu)化位置信息，得到多尺度特征；多尺度特征經(jīng)力矩捷徑處理，將結(jié)構(gòu)化位置信息補(bǔ)充至多尺度特征，以緩解下采樣過(guò)程中結(jié)構(gòu)化丟失的潛在問(wèn)題，進(jìn)而提高圖像的風(fēng)格遷移水平。

49、本發(fā)明還通過(guò)對(duì)經(jīng)全局平均池化處理、全局最大池化處理的特征圖共享權(quán)重，更好地保留原始圖像的語(yǔ)義表達(dá)，并捕獲圖像風(fēng)格化的更多細(xì)節(jié)，進(jìn)一步提高圖像的風(fēng)格化水平。