本發(fā)明屬于圖像處理，具體涉及到基于擴(kuò)散模型的古代壁畫線描畫生成方法。

背景技術(shù)：

1、壁畫線描畫在輔助壁畫修復(fù)的過程中具有重要的作用。然而，由于古代壁畫的線條及輪廓粗細(xì)不均，交錯(cuò)復(fù)雜，色彩多樣，現(xiàn)有的圖像邊緣提取方法在提取壁畫線描畫的過程中會(huì)丟失局部特征信息，使得壁畫的線描畫及構(gòu)圖難以精確完整的呈現(xiàn)。因此，如何借助現(xiàn)代技術(shù)手段，實(shí)現(xiàn)古代壁畫線描畫的高質(zhì)量生成與重現(xiàn)，成為了文物保護(hù)領(lǐng)域亟待解決的問題。

2、當(dāng)前大多數(shù)方法主要關(guān)注于自然圖像的邊緣提取與線描畫生成方面，caixiazhou等人提出了一種不確定性邊緣檢測器(uaed)，uaed可以與各種編碼器-解碼器主干網(wǎng)絡(luò)相結(jié)合實(shí)現(xiàn)自然圖像的邊緣提取。mengyang?pu等人提出了一種基于transformer的邊緣檢測器edter,旨在通過同時(shí)利用完整的圖像上下文信息和詳細(xì)的局部線索，提取清晰、鮮明的物體邊界。然而，這些基于學(xué)習(xí)的方法獲取的圖像邊緣或線描圖像中的線條太厚，無法直接應(yīng)用在壁畫線描畫的生成方面。最近，baokai?liu等人提出了基于自注意力機(jī)制與卷積結(jié)合的新型邊緣檢測器，該方法設(shè)計(jì)了殘差自注意力與卷積混合模塊用于將局部和全局特征合并到特征圖上，并且采用密集連接的主干提取網(wǎng)絡(luò)，有效地將淺層富含邊緣特征的信息傳播到深層，最終實(shí)現(xiàn)了敦煌壁畫線描畫的生成。

3、盡管基于深度學(xué)習(xí)的邊緣提取或線描畫生成方法已經(jīng)取得了顯著的進(jìn)步，但當(dāng)用于生成語義豐富、紋理線條復(fù)雜的古代壁畫對應(yīng)的線描畫時(shí)，仍存在生成的線描畫不準(zhǔn)確，邊緣線條較厚，以及局部信息丟失、無法充分利用壁畫的上下文信息等問題，從而造成生成的壁畫線描畫具有不清晰或不規(guī)則線條的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題在于解決現(xiàn)有技術(shù)的缺點(diǎn)，提供一種訓(xùn)練過程平穩(wěn)、生成線條準(zhǔn)確和清晰的基于擴(kuò)散模型的古代壁畫線描畫生成方法。

2、解決上述技術(shù)問題所采用的技術(shù)方案是：一種基于擴(kuò)散模型的古代壁畫線描畫生成方法，由下述步驟組成：

3、步驟1.構(gòu)建古代壁畫數(shù)據(jù)集；

4、所述古代壁畫數(shù)據(jù)集包含古代壁畫圖像數(shù)據(jù)集和對應(yīng)的線描畫數(shù)據(jù)集；

5、步驟2.選取古代壁畫數(shù)據(jù)集中90％的圖像進(jìn)行圖像增強(qiáng)，作為訓(xùn)練數(shù)據(jù)集，剩下的10％的圖像作為測試數(shù)據(jù)集；

6、步驟3.配置變分自編碼模型的超參數(shù)，采用訓(xùn)練數(shù)據(jù)集在變分自編碼模型上進(jìn)行訓(xùn)練并獲取訓(xùn)練好的編碼器和解碼器；

7、步驟4.構(gòu)建與訓(xùn)練古代壁畫線描畫的生成模型；

8、步驟4.1古代壁畫線描畫生成模型由擴(kuò)散模型和步驟3中訓(xùn)練好的編碼器、解碼器構(gòu)成，所述編碼器的輸出端與所述擴(kuò)散模型的輸入端相連接，所述擴(kuò)散模型的輸出端與所述解碼器的輸入端相連接；所述編碼器用于將輸入的壁畫圖像編碼到隱空間，所述擴(kuò)散模型用于實(shí)現(xiàn)在隱空間中將壁畫邊緣特征與噪聲成分分離，所述解碼器用于將隱空間中的特征解碼為壁畫線描畫；

9、步驟4.2使用訓(xùn)練數(shù)據(jù)集訓(xùn)練所述古代壁畫線描畫的生成模型，在訓(xùn)練過程中，采用聯(lián)合損失函數(shù)對所述古代壁畫線描畫生成模型進(jìn)行約束與優(yōu)化，直至所述古代壁畫線描畫生成模型達(dá)到最大的迭代次數(shù)，即完成訓(xùn)練；

10、步驟5.生成古代壁畫的線描畫

11、將測試數(shù)據(jù)集中古代壁畫圖像輸入到訓(xùn)練好的古代壁畫線描畫生成模型中，輸出與之對應(yīng)壁畫的線描畫。

12、作為一種優(yōu)選的技術(shù)方案，步驟2中所述圖像增強(qiáng)方法包括對圖像進(jìn)行隨機(jī)裁減后調(diào)整到512×512像素大小的操作和隨機(jī)水平翻轉(zhuǎn)操作。

13、作為一種優(yōu)選的技術(shù)方案，步驟3中所述變分自編碼模型包含編碼器和解碼器；

14、所述編碼器的編碼方法為：

15、z＝gau(qua(en(x)))

16、式中，x和z表示編碼器操作的輸入和輸出，en()表示編碼操作，qua()表示量化操作，gau()表示對角化高斯分布操作；

17、所述解碼器的解碼方法為：

18、o＝de(qua(z))

19、式中，o表示解碼器的輸出，de表示解碼操作；

20、作為一種優(yōu)選的技術(shù)方案，步驟4.1所述擴(kuò)散模型采用帶條件輸入編碼的u-net網(wǎng)絡(luò)作為噪聲估計(jì)器。

21、作為一種優(yōu)選的技術(shù)方案，所述u-net網(wǎng)絡(luò)由收縮模塊、第一隱空間濾波模塊、第二隱空間濾波模塊、第一擴(kuò)展模塊、第二擴(kuò)展模塊、元素級加法操作單元構(gòu)成；所述收縮模塊的輸出分兩支，一支輸出到所述第一隱空間濾波模塊，另一只輸出到所述第二隱空間濾波模塊，所述第一隱空間濾波模塊輸出到所述第一擴(kuò)展模塊，所述第二隱空間濾波模塊輸出到所述第二擴(kuò)展模塊，所述第一擴(kuò)展模塊和所述第二擴(kuò)展模塊均輸出到元素級加法操作單元，元素級加法操作單元的輸出作為u-net網(wǎng)絡(luò)的輸出。

22、作為一種優(yōu)選的技術(shù)方案，所述u-net網(wǎng)絡(luò)的條件輸入編碼方式為：

23、e＝swintt(ic)

24、式中，ic表示輸入的古代壁畫圖像，e表示經(jīng)過swintt操作后得到的編碼，swintt表示最小版本的swin?transformer操作。

25、作為一種優(yōu)選的技術(shù)方案，步驟4.2中所述聯(lián)合損失函數(shù)由重構(gòu)損失li、加權(quán)二元交叉熵?fù)p失lw、蒸餾損失ldill按照下式構(gòu)成，

26、ljoin＝ρ1li+ρ2lw+ρ3ldill

27、式中，ljoin表示聯(lián)合損失函數(shù)，ρ1、ρ1和ρ3為權(quán)重參數(shù)；

28、所述重構(gòu)損失li是計(jì)算第一擴(kuò)展模塊輸出iu與目標(biāo)線描畫igt的l2范數(shù)再與第二擴(kuò)展模塊輸出nu與噪聲分布n～n(0，i)的l2范數(shù)求和，計(jì)算方式為：

29、

30、n(0，i)為標(biāo)準(zhǔn)正態(tài)分布；

31、所述加權(quán)二元交叉熵?fù)p失lw計(jì)算了真實(shí)的壁畫線描畫與模型預(yù)測的壁畫線描畫之間的交叉熵：

32、

33、式中，w表示權(quán)重參數(shù)，p表示生成真實(shí)的壁畫線描畫的概率，表示模型預(yù)測的壁畫線描畫的概率；

34、所述蒸餾損失ldill用于計(jì)算第一擴(kuò)展模塊輸出iu與目標(biāo)線描畫igt的kl散度：

35、

36、式中，為logsoftmax操作，kl()表示kullback-leibler散度操作。

37、作為一種優(yōu)選的技術(shù)方案，所述第一隱空間濾波模塊用于在頻率域中自適應(yīng)的濾除壁畫邊緣特征與噪聲成分，計(jì)算方式為：

38、xo＝α1*fifft(fcomp(amplitude(xi)，phase(xi)))+α2*fc(xi)

39、式中，xi，xo表示隱空間濾波模塊的輸入與輸出，fcomp()表示計(jì)算復(fù)數(shù)張量操作，fifft()表示反向快速傅里葉變換操作，fc表示核大小為1×1的卷積操作，α1，α2表示可學(xué)習(xí)的權(quán)重參數(shù)，amplitude()表示振幅分量操作，phase()表示相位分量操作；

40、所述第二隱空間濾波模塊和所述第一隱空間濾波模塊的計(jì)算方式相同。

41、作為一種優(yōu)選的技術(shù)方案，所述振幅分量操作amplitude()為：

42、amplitude()＝ft(fa(ffft(xi)))*fcos(ft(fp(ffft(xi))))

43、式中，ft()表示放射變換操作，fa()表示絕對值操作，ffft()表示快速傅里葉變換操作，fp()表示計(jì)算張量的角度操作，fcos()表示余弦函數(shù)操作；

44、所述相位分量操作phase()為：

45、phase()＝ft(fp(ffft(xi)))*fsin(ft(fa(ffft(xi))))

46、fsin()表示正弦函數(shù)操作。

47、作為一種優(yōu)選的技術(shù)方案，所述放射變換操作ft為：

48、x2＝lrelu(bcn((acmix(x1))))

49、式中，x1，x2表示放射變換操作ft的輸入與輸出，acmix()表示自注意力與卷積混合注意力操作，bcn()表示批通道歸一化操作，lrelu()表示leaky?relu激活函數(shù)操作。

50、本發(fā)明的有益效果如下：

51、本發(fā)明通過使用變分自編碼模型和擴(kuò)散模型的結(jié)合，使訓(xùn)練過程更加穩(wěn)定，減少了訓(xùn)練過程中的波動(dòng)。通過在隱空間濾波模塊中將壁畫特征圖從空間域變換到頻率域，實(shí)現(xiàn)了邊緣特征與噪聲特征的有效分離，從而使生成的線描畫線條更準(zhǔn)確。利用聯(lián)合損失函數(shù)對模型進(jìn)行訓(xùn)練，包括重構(gòu)損失、加權(quán)二元交叉熵?fù)p失和蒸餾損失，使得生成的線描畫線條更加清晰，由于生成的線描畫質(zhì)量較高，因此不再需要對生成的線描畫進(jìn)行額外的后期圖像處理。

52、本發(fā)明生成的線描畫在結(jié)構(gòu)上更加清晰，線條更加精細(xì)，能夠捕捉到壁畫的細(xì)微特征，具有生成壁畫線描畫準(zhǔn)確的特點(diǎn)，節(jié)省了人工繪制的時(shí)間和成本，有助于文物的數(shù)字化保護(hù)和研究，為文物修復(fù)和保護(hù)提供了新的技術(shù)支持。

53、本發(fā)明不僅適用于古代壁畫的線描畫生成，還可以推廣到其他類型的線描畫生成任務(wù)，適用范圍廣。