本技術(shù)屬于計(jì)算機(jī)，尤其涉及一種三視圖生成方法、系統(tǒng)、設(shè)備和介質(zhì)。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，三維建模與渲染技術(shù)已成為數(shù)字內(nèi)容創(chuàng)作不可或缺的一部分。在產(chǎn)品設(shè)計(jì)、建筑設(shè)計(jì)、影視特效等多個(gè)領(lǐng)域，精確且富有細(xì)節(jié)的三視圖展示對(duì)于提升用戶體驗(yàn)和決策效率至關(guān)重要。傳統(tǒng)方法多依賴于手工建模或基于規(guī)則的自動(dòng)化生成，這些方法不僅耗時(shí)費(fèi)力，且難以保證視圖間的一致性和細(xì)節(jié)豐富度。近年來(lái)，深度學(xué)習(xí)尤其是diffusion模型在圖像生成領(lǐng)域取得了顯著進(jìn)展，但其直接應(yīng)用于復(fù)雜三視圖生成時(shí)，仍存在細(xì)節(jié)模糊、視圖間不一致等問(wèn)題。

2、現(xiàn)有技術(shù)中，構(gòu)建三維圖的三視圖，通常包括以下三種方法，(一)卷積自動(dòng)編碼極限學(xué)習(xí)機(jī)(cae-elm)方法，該方法結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)(cnn)、自動(dòng)編碼機(jī)(auto?encoder)和極限學(xué)習(xí)機(jī)(elm)的特點(diǎn)，能夠同時(shí)抽取三維圖的兩種不同的三視圖，并通過(guò)將兩種三視圖進(jìn)行結(jié)合，進(jìn)而優(yōu)化分類性能。上述卷積自動(dòng)編碼極限學(xué)習(xí)機(jī)方法具備訓(xùn)練速度快、連接數(shù)量少和旋轉(zhuǎn)不變性等優(yōu)點(diǎn)。(二)多核學(xué)習(xí)方法，該方法通過(guò)對(duì)不同的視圖構(gòu)造不同的基核，并通過(guò)線性或非線性方式找出不同視圖間的結(jié)構(gòu)關(guān)聯(lián)，有效融合多視圖信息得到一致性核，以提高聚類性能。(三)基于圖模型的多視圖聚類算法，該方法通過(guò)構(gòu)建不同視圖下的圖結(jié)構(gòu)，然后學(xué)習(xí)融合全部視圖拓?fù)浣Y(jié)構(gòu)的一致圖，將聚類問(wèn)題轉(zhuǎn)化為圖分割問(wèn)題。

3、上述三種方法中，方法(一)采用基于卷積神經(jīng)網(wǎng)絡(luò)或生成對(duì)抗網(wǎng)絡(luò)直接生成不同視角下圖像的方法，難以捕捉并精細(xì)呈現(xiàn)復(fù)雜物體在不同視角下的細(xì)微差別，導(dǎo)致生成的視圖在細(xì)節(jié)上不夠豐富。此外，缺乏有效的機(jī)制來(lái)確保不同視圖間的相關(guān)性和正確性，影響了最終的三維展示效果。方法(二)如何選擇合適的核函數(shù)以及如何有效地組合多個(gè)核函數(shù)是兩個(gè)關(guān)鍵問(wèn)題，而選擇合適的核函數(shù)往往依賴于研究者的經(jīng)驗(yàn)和對(duì)數(shù)據(jù)的直觀理解，這種主觀性導(dǎo)致在某些情況下選擇的核函數(shù)并非最優(yōu)，從而影響聚類效果。方法(三)中聚類結(jié)果的解釋性依賴于圖的初始化，而初始圖的質(zhì)量通常難以得到保障。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種三視圖生成方法、系統(tǒng)、設(shè)備和介質(zhì)，可以解決上述現(xiàn)有技術(shù)問(wèn)題之一。

2、第一方面，本技術(shù)實(shí)施例提供了一種三視圖生成方法，包括：

3、將文本提示輸入文本編碼器獲得文本特征，將參考視圖輸入圖像編碼器獲得第一圖像特征；

4、將所述第一圖像特征輸入自注意力模塊獲得第一注意力；

5、將所述第一注意力與所述第一圖像特征進(jìn)行相加，獲得第二圖像特征；

6、將所述文本特征和所述第二圖像特征輸入跨注意力模塊獲得第二注意力；

7、將所述第二注意力、所述文本特征和所述第二圖像特征進(jìn)行相加獲得第三圖像特征；

8、將所述第三圖像特征輸入反饋模塊獲得三視圖圖像。

9、進(jìn)一步的，所述自注意力模塊包括第一歸一化層和自注意力層；

10、所述將所述第一圖像特征輸入自注意力模塊獲得第一注意力，包括：

11、將所述第一圖像特征輸入所述第一歸一化層，獲得第一標(biāo)準(zhǔn)特征；

12、將所述第一圖像特征和所述第一標(biāo)準(zhǔn)特征進(jìn)行相加，獲得自注意力層輸入特征；

13、將所述自注意力層輸入特征輸入所述自注意力層進(jìn)行自注意力計(jì)算，獲得第一注意力。

14、進(jìn)一步的，所述將所述自注意力層輸入特征輸入所述自注意力層進(jìn)行自注意力計(jì)算，獲得第一注意力，包括：

15、通過(guò)細(xì)節(jié)信息矩陣學(xué)習(xí)所述自注意力層輸入特征的細(xì)節(jié)特征，通過(guò)紋理特征矩陣學(xué)習(xí)所述自注意力層輸入特征的紋理特征；

16、所述第一注意力的計(jì)算公式如下：

17、

18、其中，at1表示第一注意力，i1表示自注意力層輸入特征，w表示紋理特征矩陣，x表示細(xì)節(jié)信息矩陣，*表示按位相乘。

19、進(jìn)一步的，所述跨注意力模塊包括第二歸一化層和跨注意力層；

20、所述將所述文本特征和所述第二圖像特征輸入跨注意力模塊獲得第二注意力，包括：

21、將所述第二圖像特征輸入所述第二歸一化層，獲得第二標(biāo)準(zhǔn)特征；

22、將所述第二標(biāo)準(zhǔn)特征和所述文本特征進(jìn)行特征相關(guān)計(jì)算，獲得跨注意力層輸入特征；

23、將所述跨注意力層輸入特征輸入所述跨注意力層進(jìn)行跨注意力計(jì)算，獲得第二注意力。

24、進(jìn)一步的，所述獲得跨注意力層輸入特征的計(jì)算公式如下：

25、

26、其中，i2表示第二圖像特征，i3表示文本特征，i4表示跨注意力層輸入特征，m1和m2表示可學(xué)習(xí)的掩碼矩陣，*表示按位相乘。

27、進(jìn)一步的，所述將所述第二標(biāo)準(zhǔn)特征和所述文本特征進(jìn)行特征相關(guān)計(jì)算，獲得跨注意力層輸入特征，包括：

28、通過(guò)細(xì)節(jié)相關(guān)度矩陣學(xué)習(xí)所述文本特征與所述第二標(biāo)準(zhǔn)特征的細(xì)節(jié)特征之間的相關(guān)度，通過(guò)紋理相關(guān)度矩陣學(xué)習(xí)所述文本特征與所述第二標(biāo)準(zhǔn)特征的紋理特征之間的相關(guān)度；

29、所述第二注意力的計(jì)算公式如下：

30、

31、其中，at2表示第二注意力，i4表示跨注意力層輸入特征，y表示細(xì)節(jié)相關(guān)度矩陣，t表示紋理相關(guān)度矩陣，m3表示可學(xué)習(xí)的掩碼矩陣，*表示按位相乘。

32、進(jìn)一步的，所述反饋模塊包括第三歸一化層和反饋層；

33、所述將所述第三圖像特征輸入反饋模塊獲得三視圖圖像，包括：

34、將所述第三圖像特征輸入所述第三歸一化層，獲得第三標(biāo)準(zhǔn)特征；

35、將所述第三標(biāo)準(zhǔn)特征輸入所述反饋層，獲得三視圖圖像。

36、第二方面，本技術(shù)實(shí)施例提供了一種三視圖生成系統(tǒng)，包括：

37、第一處理模塊：用于將文本提示輸入文本編碼器獲得文本特征，將參考視圖輸入圖像編碼器獲得第一圖像特征；

38、第二處理模塊：用于將所述第一圖像特征輸入自注意力模塊獲得第一注意力；

39、第三處理模塊：用于將所述第一注意力與所述第一圖像特征進(jìn)行相加，獲得第二圖像特征；

40、第四處理模塊：用于將所述文本特征和所述第二圖像特征輸入跨注意力模塊獲得第二注意力；

41、第五處理模塊：用于將所述第二注意力、所述文本特征和所述第二圖像特征進(jìn)行相加獲得第三圖像特征；

42、第六處理模塊：用于將所述第三圖像特征輸入反饋模塊獲得三視圖圖像。

43、第三方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述三視圖生成方法。

44、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述三視圖生成方法。

45、本技術(shù)實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是：

46、本技術(shù)的一種三視圖生成方法，通過(guò)設(shè)置三視圖生成模塊，并設(shè)計(jì)了相關(guān)算法，使該三視圖生成模塊可以與任何一種生成模型結(jié)合進(jìn)行訓(xùn)練，進(jìn)而使得最終訓(xùn)練而成的三視圖生成模型能夠以用戶提供的參考視圖以及文本提示為參考生成其他視圖，并循環(huán)迭代，不斷細(xì)化各處細(xì)節(jié)。此外，本技術(shù)通過(guò)引入細(xì)節(jié)信息矩陣和紋理特征矩陣，保證了三視圖生成模型在訓(xùn)練的過(guò)程中可以保證學(xué)習(xí)到參考視圖對(duì)細(xì)節(jié)信息和紋理信息的控制，進(jìn)而保證三視圖的細(xì)節(jié)信息和紋理信息的準(zhǔn)確性，此外，還引入了細(xì)節(jié)相關(guān)度矩陣和紋理相關(guān)度矩陣，保證了圖像特征和文本特征的相似度，進(jìn)一步保證了三視圖的相關(guān)性和正確性。