本技術(shù)涉及圖像生成，應(yīng)用于以描述文本生成圖像場景中，尤其涉及一種圖像生成方法、裝置、設(shè)備及其存儲介質(zhì)。

背景技術(shù)：

1、圖片生成是計算機(jī)視覺領(lǐng)域的研究方向之一，利用擴(kuò)散模型生成圖像比gan更具多樣性，而且質(zhì)量更高，擴(kuò)散模型的訓(xùn)練過程也更加穩(wěn)定，逐漸發(fā)展成了圖像生成領(lǐng)域的主流方法。擴(kuò)散模型本身是一種多模態(tài)的模型，在短時間就被開發(fā)出了多模態(tài)圖像生成的應(yīng)用，包括文字生成圖像，圖像轉(zhuǎn)換圖像，文字生成視頻等。

2、由于基于擴(kuò)散模型生成的圖像多樣性強(qiáng)，內(nèi)容包含多種多樣，造成了有些圖片合規(guī)性、安全性存在問題或者隱患，例如：存在著衣著暴露、隱私信息等問題的圖片。目前，為了解決該類問題，多采用離線生成圖片后經(jīng)人工校驗后構(gòu)建圖庫，但是，該方案不僅費時費力，在圖片生成監(jiān)管上，也存在監(jiān)管困難的問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例的目的在于提出一種圖像生成方法、裝置、設(shè)備及其存儲介質(zhì)，以解決現(xiàn)有在以描述文本進(jìn)行圖像生成時，不僅費時費力，在圖片生成監(jiān)管上，也存在監(jiān)管困難的問題。

2、為了解決上述技術(shù)問題，本技術(shù)實施例提供圖像生成方法，采用了如下所述的技術(shù)方案：

3、一種圖像生成方法，包括下述步驟：

4、步驟201，獲取用于圖像生成的文本描述數(shù)據(jù)；

5、步驟202，將所述文本描述數(shù)據(jù)輸入到預(yù)訓(xùn)練完成的文本類別預(yù)測模型，獲得所述文本類別預(yù)測模型輸出的文本類型；

6、步驟203，若所述文本類型非為預(yù)設(shè)的目標(biāo)文本類型，則向目標(biāo)端發(fā)送修改所述文本描述數(shù)據(jù)的提示內(nèi)容；

7、步驟204，若所述文本類型為所述目標(biāo)文本類型，則將所述文本描述數(shù)據(jù)轉(zhuǎn)發(fā)到預(yù)設(shè)的圖像生成模型，獲得所述圖像生成模型生成的所有待分類圖像；

8、步驟205，將所述所有待分類圖像輸入到預(yù)訓(xùn)練完成的圖像分類模型，識別出目標(biāo)輸出類型的圖像；

9、步驟206，將所有目標(biāo)輸出類型的圖像輸出到所述目標(biāo)端。

10、進(jìn)一步的，在執(zhí)行所述將所述文本描述數(shù)據(jù)輸入到預(yù)訓(xùn)練完成的文本類別預(yù)測模型，獲得所述文本類別預(yù)測模型輸出的文本類型的步驟之前，所述方法還包括：

11、構(gòu)建包含正負(fù)樣本數(shù)據(jù)的文本訓(xùn)練集，其中，正樣本數(shù)據(jù)指未包含違禁描述文本的文本描述數(shù)據(jù)，負(fù)樣本數(shù)據(jù)指包含了違禁描述文本的文本描述數(shù)據(jù)；

12、將所述文本訓(xùn)練集輸入到待訓(xùn)練的文本類別預(yù)測模型中，進(jìn)行二分類學(xué)習(xí)訓(xùn)練，訓(xùn)練出正樣本數(shù)據(jù)和負(fù)樣本數(shù)據(jù)分別對應(yīng)的輸出節(jié)點；

13、將正樣本數(shù)據(jù)對應(yīng)的輸出節(jié)點設(shè)置為目標(biāo)文本類型對應(yīng)的輸出節(jié)點；

14、將負(fù)樣本數(shù)據(jù)對應(yīng)的輸出節(jié)點設(shè)置為非目標(biāo)文本類型對應(yīng)的輸出節(jié)點；

15、獲得預(yù)訓(xùn)練完成的文本類別預(yù)測模型；

16、所述將所述文本描述數(shù)據(jù)輸入到預(yù)訓(xùn)練完成的文本類別預(yù)測模型，獲得所述文本類別預(yù)測模型輸出的文本類型的步驟，具體包括：

17、將所述文本描述數(shù)據(jù)輸入到所述預(yù)訓(xùn)練完成的文本類別預(yù)測模型；

18、通過所述預(yù)訓(xùn)練完成的文本類別預(yù)測模型，預(yù)測出所述文本描述數(shù)據(jù)對應(yīng)的輸出節(jié)點；

19、根據(jù)所述文本描述數(shù)據(jù)對應(yīng)的輸出節(jié)點，確定所述文本描述數(shù)據(jù)對應(yīng)的文本類型。

20、進(jìn)一步的，在執(zhí)行所述向目標(biāo)端發(fā)送修改所述文本描述數(shù)據(jù)的提示內(nèi)容的步驟之后，所述方法還包括：

21、獲取所述目標(biāo)端修改后的文本描述數(shù)據(jù)；

22、將所述修改后的文本描述數(shù)據(jù)重新輸入到所述預(yù)訓(xùn)練完成的文本分類模型。

23、進(jìn)一步的，所述圖像生成模型包括基于擴(kuò)散模型的以文生圖模型，在執(zhí)行所述將所述文本描述數(shù)據(jù)轉(zhuǎn)發(fā)到預(yù)設(shè)的圖像生成模型，獲得所述圖像生成模型生成的所有待分類圖像的步驟之前，所述方法還包括：

24、在所述圖像生成模型中輸入所述目標(biāo)端要求的圖片輸出數(shù)量作為第一配置參數(shù)；

25、選擇超量生成模式作為所述圖像生成模型的可選生成模式，并設(shè)置超量生成參數(shù)作為第二配置參數(shù)，其中，所述可選生成模式包括縮量生成模式、等量生成模式和超量生成模式；

26、所述將所述文本描述數(shù)據(jù)轉(zhuǎn)發(fā)到預(yù)設(shè)的圖像生成模型，獲得所述圖像生成模型生成的所有待分類圖像的步驟，包括：

27、根據(jù)預(yù)設(shè)的計算公式：

28、q＝|l1×l2|，

29、生成數(shù)量為q的待分類圖像，其中，q表示所述所有待分類圖像的數(shù)量，l1表示所述第一配置參數(shù)，l2表示所述第二配置參數(shù)，l1為正整數(shù)，l2為大于1的任意倍數(shù)，|l1×l2|表示對l1乘以l2的結(jié)果進(jìn)行向上取整。

30、進(jìn)一步的，在執(zhí)行所述將所述所有待分類圖像輸入到預(yù)訓(xùn)練完成的圖像分類模型，識別出目標(biāo)輸出類型的圖像的步驟之前，所述方法還包括：

31、構(gòu)建包含正負(fù)樣本圖像的圖像訓(xùn)練集，其中，正樣本圖像指未包含違禁內(nèi)容的圖像，負(fù)樣本圖像指包含了違禁內(nèi)容的圖像，所述違禁內(nèi)容包括違禁文本和違禁畫面；

32、將所述圖像訓(xùn)練集輸入到待訓(xùn)練的圖像分類模型，進(jìn)行二分類學(xué)習(xí)訓(xùn)練，訓(xùn)練出正樣本圖像和負(fù)樣本圖像分別對應(yīng)的輸出節(jié)點；

33、將正樣本圖像對應(yīng)的輸出節(jié)點設(shè)置為目標(biāo)輸出類型的圖像對應(yīng)的輸出節(jié)點；

34、將負(fù)樣本圖像對應(yīng)的輸出節(jié)點設(shè)置為非目標(biāo)輸出類型的圖像對應(yīng)的輸出節(jié)點；

35、獲得預(yù)訓(xùn)練完成的圖像分類模型；

36、所述將所述所有待分類圖像輸入到預(yù)訓(xùn)練完成的圖像分類模型，識別出目標(biāo)輸出類型的圖像的步驟，具體包括：

37、將所述所有待分類圖像輸入到所述預(yù)訓(xùn)練完成的圖像分類模型；

38、通過所述預(yù)訓(xùn)練完成的圖像分類模型，預(yù)測出所述所有待分類圖像分別對應(yīng)的輸出節(jié)點；

39、根據(jù)所述所有待分類圖像分別對應(yīng)的輸出節(jié)點，從所述所有待分類圖像中識別出目標(biāo)輸出類型的圖像。

40、進(jìn)一步的，在執(zhí)行所述將所有目標(biāo)輸出類型的圖像輸出到所述目標(biāo)端的步驟之前，所述方法還包括：

41、步驟401，統(tǒng)計所有目標(biāo)輸出類型的圖像的數(shù)量，記為待輸出圖像數(shù)量；

42、步驟402，比較所述待輸出圖像數(shù)量與所述第一配置參數(shù)的大小關(guān)系；

43、步驟403，若所述待輸出圖像數(shù)量等于所述第一配置參數(shù)，則將所有目標(biāo)輸出類型的圖像輸出到所述目標(biāo)端；

44、步驟404，若所述待輸出圖像數(shù)量大于所述第一配置參數(shù)，則采用圖像分辨率篩選方式，從所述待輸出圖像數(shù)量中篩選出與所述第一配置參數(shù)數(shù)量相同的最優(yōu)分辨率圖像，更新為待輸出圖像；

45、步驟405，若所述待輸出圖像數(shù)量小于所述第一配置參數(shù)，則根據(jù)預(yù)設(shè)的增量更新方式，對所述所有目標(biāo)輸出類型的圖像進(jìn)行增量更新處理，并在增量更新處理之后，重新執(zhí)行步驟401至步驟402，直到所述待輸出圖像數(shù)量不小于所述第一配置參數(shù)，停止增量更新處理。

46、進(jìn)一步的，所述根據(jù)預(yù)設(shè)的增量更新方式，對所述所有目標(biāo)輸出類型的圖像進(jìn)行增量更新處理的步驟，具體包括：

47、計算所述待輸出圖像數(shù)量與所述第一配置參數(shù)的差值；

48、在所述圖像生成模型中輸入所述差值作為進(jìn)行增量更新時的圖片輸出數(shù)量；

49、以所述差值替換所述第一配置參數(shù)，并繼續(xù)執(zhí)行步驟204至步驟205，獲得最新識別出的目標(biāo)輸出類型的圖像；

50、將所述最新識別出的目標(biāo)輸出類型的圖像與在先識別出的目標(biāo)輸出類型的圖像緩存到一起，將緩存的所有圖像作為增量更新處理后所獲得的所有目標(biāo)輸出類型的圖像。

51、進(jìn)一步的，在執(zhí)行所述將所有目標(biāo)輸出類型的圖像輸出到所述目標(biāo)端的步驟之后，所述方法還包括：

52、獲取所述目標(biāo)端回傳的批量非偏好型圖像；

53、對所述批量非偏好型圖像進(jìn)行共性圖像特征提?。?/p>

54、將所述共性圖像特征作為所述負(fù)樣本圖像對應(yīng)的輸出節(jié)點的增補(bǔ)分類特征，更新所述圖像分類模型。

55、為了解決上述技術(shù)問題，本技術(shù)實施例還提供圖像生成裝置，采用了如下所述的技術(shù)方案：

56、一種圖像生成裝置，包括：

57、文本描述數(shù)據(jù)獲取模塊，用于獲取用于圖像生成的文本描述數(shù)據(jù)；

58、文本類型預(yù)測模塊，用于將所述文本描述數(shù)據(jù)輸入到預(yù)訓(xùn)練完成的文本類別預(yù)測模型，獲得所述文本類別預(yù)測模型輸出的文本類型；

59、第一分支處理模塊，用于若所述文本類型非為預(yù)設(shè)的目標(biāo)文本類型，則向目標(biāo)端發(fā)送修改所述文本描述數(shù)據(jù)的提示內(nèi)容；

60、第二分支處理模塊，用于若所述文本類型為所述目標(biāo)文本類型，則將所述文本描述數(shù)據(jù)轉(zhuǎn)發(fā)到預(yù)設(shè)的圖像生成模型，獲得所述圖像生成模型生成的所有待分類圖像；

61、目標(biāo)圖像識別模塊，用于將所述所有待分類圖像輸入到預(yù)訓(xùn)練完成的圖像分類模型，識別出目標(biāo)輸出類型的圖像；

62、目標(biāo)圖像輸出模塊，用于將所有目標(biāo)輸出類型的圖像輸出到所述目標(biāo)端。

63、為了解決上述技術(shù)問題，本技術(shù)實施例還提供一種計算機(jī)設(shè)備，采用了如下所述的技術(shù)方案：

64、一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計算機(jī)可讀指令，所述處理器執(zhí)行所述計算機(jī)可讀指令時實現(xiàn)上述所述的圖像生成方法的步驟。

65、為了解決上述技術(shù)問題，本技術(shù)實施例還提供一種計算機(jī)可讀存儲介質(zhì)，采用了如下所述的技術(shù)方案：

66、一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)可讀指令，所述計算機(jī)可讀指令被處理器執(zhí)行時實現(xiàn)如上述所述的圖像生成方法的步驟。

67、與現(xiàn)有技術(shù)相比，本技術(shù)實施例主要有以下有益效果：

68、本技術(shù)實施例所述圖像生成方法，通過獲取用戶提供的用于圖像生成的文本描述數(shù)據(jù)；將所述文本描述數(shù)據(jù)輸入到預(yù)訓(xùn)練完成的文本類別預(yù)測模型，獲得所述文本類別預(yù)測模型輸出的文本類型；若所述文本類型非為預(yù)設(shè)的目標(biāo)文本類型，則向目標(biāo)端發(fā)送修改所述文本描述數(shù)據(jù)的提示內(nèi)容；若所述文本類型為所述目標(biāo)文本類型，則將所述文本描述數(shù)據(jù)轉(zhuǎn)發(fā)到預(yù)設(shè)的圖像生成模型，獲得所述圖像生成模型生成的所有待分類圖像；將所述所有待分類圖像輸入到預(yù)訓(xùn)練完成的圖像分類模型，識別出目標(biāo)輸出類型的待分類圖像以及將所有目標(biāo)輸出類型的待分類圖像輸出到所述目標(biāo)端。本技術(shù)所述的圖像生成方法，結(jié)合文本類別預(yù)測模型、圖像生成模型和圖像分類模型，以避免后續(xù)生成的圖像中存在違禁內(nèi)容，保證生成的圖像滿足網(wǎng)絡(luò)監(jiān)管要求。