本技術(shù)涉及圖像生成，尤其涉及一種模型構(gòu)建方法、圖像生成方法、裝置、設(shè)備、介質(zhì)。

背景技術(shù)：

1、對(duì)于一些圖像生成任務(wù)來說，該任務(wù)可以借助預(yù)先構(gòu)建的模型，比如生成對(duì)抗網(wǎng)絡(luò)(generative?adversarial?networks，gan)模型，進(jìn)行實(shí)現(xiàn)。

2、另外，對(duì)于具有較好的圖像生成性能的模型來說，其通常需要依賴于爆炸性的計(jì)算復(fù)雜性，如此導(dǎo)致部署這種具有大量資源需求的模型是一項(xiàng)艱巨的任務(wù)，尤其是在硬件受限的情況下，從而導(dǎo)致如何緩解這個(gè)問題成為一項(xiàng)亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種模型構(gòu)建方法、圖像生成方法、裝置、設(shè)備、介質(zhì)。

2、為了實(shí)現(xiàn)上述目的，本技術(shù)提供的技術(shù)方案如下：

3、本技術(shù)提供一種模型構(gòu)建方法，所述方法包括：

4、獲取訓(xùn)練數(shù)據(jù)集；所述訓(xùn)練數(shù)據(jù)集包括第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息；

5、利用所述訓(xùn)練數(shù)據(jù)集對(duì)超網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

6、從已訓(xùn)練的超網(wǎng)絡(luò)中搜索教師模型和學(xué)生模型；

7、依據(jù)所述訓(xùn)練數(shù)據(jù)集、所述教師模型以及所述學(xué)生模型進(jìn)行模型蒸餾，得到圖像生成模型。

8、在一種可能的實(shí)施方式下，所述超網(wǎng)絡(luò)的訓(xùn)練過程，包括：

9、從所述超網(wǎng)絡(luò)中確定教師生成器和學(xué)生生成器；

10、依據(jù)所述訓(xùn)練數(shù)據(jù)集、所述教師生成器和所述學(xué)生生成器進(jìn)行模型蒸餾，得到已訓(xùn)練的超網(wǎng)絡(luò)。

11、在一種可能的實(shí)施方式下，所述從所述超網(wǎng)絡(luò)中確定教師生成器和學(xué)生生成器，包括：

12、從所述超網(wǎng)絡(luò)中采樣第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)；所述第一子網(wǎng)絡(luò)的網(wǎng)絡(luò)尺寸大于所述第二子網(wǎng)絡(luò)的網(wǎng)絡(luò)尺寸；

13、根據(jù)所述第一子網(wǎng)絡(luò)，確定所述教師生成器；

14、根據(jù)所述第二子網(wǎng)絡(luò)，確定所述學(xué)生生成器。

15、在一種可能的實(shí)施方式下，所述第一子網(wǎng)絡(luò)包括最大子網(wǎng)絡(luò)；

16、所述第二子網(wǎng)絡(luò)包括最小子網(wǎng)絡(luò)和隨機(jī)子網(wǎng)絡(luò)中的至少一個(gè)。

17、在一種可能的實(shí)施方式下，所述訓(xùn)練數(shù)據(jù)集還包括第二樣本圖像；

18、所述依據(jù)所述訓(xùn)練數(shù)據(jù)集、所述教師生成器和所述學(xué)生生成器進(jìn)行模型蒸餾，得到已訓(xùn)練的超網(wǎng)絡(luò)，包括：

19、利用所述第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息，確定所述教師生成器的損失表征數(shù)據(jù)；

20、利用所述第二樣本圖像和所述第二樣本圖像對(duì)應(yīng)的第一偽標(biāo)簽，確定所述學(xué)生生成器的損失表征數(shù)據(jù)；所述第一偽標(biāo)簽是由所述教師生成器針對(duì)所述第二樣本圖像進(jìn)行處理所得到的；

21、根據(jù)所述教師生成器的損失表征數(shù)據(jù)和所述學(xué)生生成器的損失表征數(shù)據(jù)，更新所述超網(wǎng)絡(luò)、所述教師生成器以及所述學(xué)生生成器。

22、在一種可能的實(shí)施方式下，所述更新所述超網(wǎng)絡(luò)、所述教師生成器以及所述學(xué)生生成器之后，所述方法還包括：

23、繼續(xù)執(zhí)行所述利用所述第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息，確定所述教師生成器的損失表征數(shù)據(jù)的步驟，直至達(dá)到第一停止條件。

24、在一種可能的實(shí)施方式下，所述訓(xùn)練數(shù)據(jù)集還包括第二樣本圖像；

25、所述依據(jù)所述訓(xùn)練數(shù)據(jù)集、所述教師生成器和所述學(xué)生生成器進(jìn)行模型蒸餾，得到已訓(xùn)練的超網(wǎng)絡(luò)，包括：

26、利用所述第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息，更新所述教師生成器；

27、利用所述第二樣本圖像和所述第二樣本圖像對(duì)應(yīng)的第二偽標(biāo)簽，確定所述學(xué)生生成器的損失表征數(shù)據(jù)；所述第二偽標(biāo)簽是由更新后的教師生成器針對(duì)所述第二樣本圖像進(jìn)行處理所得到的；

28、根據(jù)所述學(xué)生生成器的損失表征數(shù)據(jù)，更新所述超網(wǎng)絡(luò)、所述教師生成器以及所述學(xué)生生成器，并繼續(xù)執(zhí)行所述利用所述第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息，更新所述教師生成器的步驟，直至達(dá)到第二停止條件。

29、在一種可能的實(shí)施方式下，所述從已訓(xùn)練的超網(wǎng)絡(luò)中搜索教師模型和學(xué)生模型，包括：

30、依據(jù)第一模型約束，從已訓(xùn)練的所述超網(wǎng)絡(luò)中搜索所述學(xué)生模型，以使所述學(xué)生模型滿足所述第一模型約束；

31、依據(jù)所述第二模型約束，從已訓(xùn)練的所述超網(wǎng)絡(luò)中搜索至少一個(gè)教師模型，以使各所述教師模型均滿足所述第一模型約束，所述至少一個(gè)教師模型滿足預(yù)設(shè)模型架構(gòu)條件。

32、在一種可能的實(shí)施方式下，所述至少一個(gè)教師模型包括滿足預(yù)設(shè)模型深度條件的教師模型和滿足預(yù)設(shè)模型寬度條件的教師模型；

33、和/或，

34、所述第二模型約束是根據(jù)所述第一模型約束所確定的，以使各所述教師模型與所述學(xué)生模型在一個(gè)或者多個(gè)模型指標(biāo)上滿足預(yù)設(shè)倍數(shù)條件。

35、在一種可能的實(shí)施方式下，所述訓(xùn)練數(shù)據(jù)集還包括第二樣本圖像；

36、所述依據(jù)所述訓(xùn)練數(shù)據(jù)集、所述教師模型以及所述學(xué)生模型進(jìn)行模型蒸餾，得到圖像生成模型，包括：

37、利用所述第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息，更新所述教師模型；

38、利用所述第二樣本圖像和所述第二樣本圖像對(duì)應(yīng)的第三偽標(biāo)簽，更新所述學(xué)生模型，并繼續(xù)執(zhí)行所述利用所述第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息，更新所述教師模型的步驟，直至在達(dá)到第三停止條件時(shí)，根據(jù)所述學(xué)生模型，確定所述圖像生成模型；所述第三偽標(biāo)簽是由更新后的教師模型針對(duì)所述第二樣本圖像進(jìn)行處理所得到的。

39、在一種可能的實(shí)施方式下，所述利用所述第二樣本圖像和所述第二樣本圖像對(duì)應(yīng)的第三偽標(biāo)簽，更新所述學(xué)生模型，包括：

40、利用所述第一樣本圖像、所述第一樣本圖像對(duì)應(yīng)的第四偽標(biāo)簽、所述第二樣本圖像以及所述第二樣本圖像對(duì)應(yīng)的第三偽標(biāo)簽，更新所述學(xué)生模型；所述第四偽標(biāo)簽是由更新后的教師模型針對(duì)所述第一樣本圖像進(jìn)行處理所得到的。

41、在一種可能的實(shí)施方式下，所述學(xué)生模型的更新過程，包括：

42、利用所述第二樣本圖像和所述第二樣本圖像對(duì)應(yīng)的第三偽標(biāo)簽，確定所述學(xué)生模型的第一蒸餾損失；

43、根據(jù)所述第一蒸餾損失，確定所述學(xué)生模型的損失表征數(shù)據(jù)；

44、根據(jù)所述學(xué)生模型的損失表征數(shù)據(jù)，更新所述學(xué)生模型。

45、在一種可能的實(shí)施方式下，所述根據(jù)所述第一蒸餾損失，確定所述學(xué)生模型的損失表征數(shù)據(jù)，包括：

46、根據(jù)所述第一蒸餾損失以及所述第一蒸餾損失對(duì)應(yīng)的加權(quán)權(quán)重，確定所述學(xué)生模型的損失表征數(shù)據(jù)；所述加權(quán)權(quán)重是根據(jù)所述第三偽標(biāo)簽的置信度所確定的；所述置信度是根據(jù)更新后的教師模型、更新后的教師模型對(duì)應(yīng)的判別器以及所述第二樣本圖像所確定的。

47、在一種可能的實(shí)施方式下，所述加權(quán)權(quán)重的確定過程，包括：

48、若所述置信度低于置信度閾值，則從預(yù)設(shè)區(qū)間中隨機(jī)選擇一個(gè)數(shù)值，確定為所述加權(quán)權(quán)重；

49、若所述置信度不低于所述置信度閾值，則將預(yù)設(shè)數(shù)值確定為所述加權(quán)權(quán)重。

50、在一種可能的實(shí)施方式下，所述置信度閾值的確定過程，包括：

51、利用更新后的教師模型對(duì)至少一個(gè)圖像數(shù)據(jù)進(jìn)行處理，得到各個(gè)圖像數(shù)據(jù)對(duì)應(yīng)的生成圖像；所述至少一個(gè)圖像數(shù)據(jù)包括所述第二樣本圖像和/或所述第一樣本圖像；

52、利用更新后的教師模型對(duì)應(yīng)的判別器對(duì)各所述生成圖像進(jìn)行判別處理，得到各所述生成圖像對(duì)應(yīng)的判別結(jié)果；

53、針對(duì)至少一個(gè)所述生成圖像對(duì)應(yīng)的判別結(jié)果進(jìn)行數(shù)據(jù)分析處理，得到所述置信度閾值。

54、本技術(shù)提供了一種圖像生成方法，所述方法包括：

55、獲取待處理圖像；

56、利用預(yù)先構(gòu)建的圖像生成模型對(duì)所述待處理圖像進(jìn)行處理，得到圖像生成結(jié)果；所述圖像生成模型是利用本技術(shù)提供的模型構(gòu)建方法所構(gòu)建的。

57、本技術(shù)提供了一種模型構(gòu)建裝置，包括：

58、第一獲取單元，用于獲取訓(xùn)練數(shù)據(jù)集；所述訓(xùn)練數(shù)據(jù)集包括第一樣本圖像和所述第一樣本圖像對(duì)應(yīng)的標(biāo)簽信息；

59、第一訓(xùn)練單元，用于利用所述訓(xùn)練數(shù)據(jù)集對(duì)超網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

60、網(wǎng)絡(luò)搜索單元，用于從已訓(xùn)練的超網(wǎng)絡(luò)中搜索教師模型和學(xué)生模型；

61、第二訓(xùn)練單元，用于依據(jù)所述訓(xùn)練數(shù)據(jù)集、所述教師模型以及所述學(xué)生模型進(jìn)行模型蒸餾，得到圖像生成模型。

62、本技術(shù)提供了一種圖像生成裝置，包括：

63、第二獲取單元，用于獲取待處理圖像；

64、圖像生成單元，用于利用預(yù)先構(gòu)建的圖像生成模型對(duì)所述待處理圖像進(jìn)行處理，得到圖像生成結(jié)果；所述圖像生成模型是利用本技術(shù)提供的模型構(gòu)建方法所構(gòu)建的。

65、本技術(shù)提供了一種電子設(shè)備，所述設(shè)備包括：處理器和存儲(chǔ)器；

66、所述存儲(chǔ)器，用于存儲(chǔ)指令或計(jì)算機(jī)程序；

67、所述處理器，用于執(zhí)行所述存儲(chǔ)器中的所述指令或計(jì)算機(jī)程序，以使得所述電子設(shè)備執(zhí)行本技術(shù)提供的模型構(gòu)建方法或者圖像生成方法。

68、本技術(shù)提供了一種計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)中存儲(chǔ)有指令或計(jì)算機(jī)程序，當(dāng)所述指令或計(jì)算機(jī)程序在設(shè)備上運(yùn)行時(shí)，使得所述設(shè)備執(zhí)行本技術(shù)提供的模型構(gòu)建方法或者圖像生成方法。

69、本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，其包括承載在非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包含用于執(zhí)行本技術(shù)提供的模型構(gòu)建方法或者圖像生成方法的程序代碼。

70、與現(xiàn)有技術(shù)相比，本技術(shù)至少具有以下優(yōu)點(diǎn)：

71、本技術(shù)提供的技術(shù)方案中，在獲取到訓(xùn)練數(shù)據(jù)集(比如，一些具有標(biāo)簽信息的圖像樣本和一些不具有標(biāo)簽信息的圖像樣本)之后，先利用該訓(xùn)練數(shù)據(jù)集對(duì)超網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以使已訓(xùn)練的超網(wǎng)絡(luò)中的各個(gè)子網(wǎng)絡(luò)均具有較好的圖像生成性能(比如，圖像生成性能等)；再?gòu)囊延?xùn)練的超網(wǎng)絡(luò)中搜索教師模型和學(xué)生模型，以使該教師模型與該學(xué)生模型也具有較好的圖像生成性能；最后，依據(jù)該訓(xùn)練數(shù)據(jù)集、該教師模型以及該學(xué)生模型進(jìn)行模型蒸餾，得到圖像生成模型，以使該圖像生成模型不僅具有較好的圖像生成性能，而且該圖像生成模型的計(jì)算復(fù)雜性比較低，從而使得該圖像生成模型在確保性能的前提下具有比較高的模型效率(比如，在部署該圖像生成模型時(shí)所需的資源比較少等)，從而使得該圖像生成模型可以部署在硬件受限的設(shè)備上。

72、另外，因已訓(xùn)練的超網(wǎng)絡(luò)中的各個(gè)子網(wǎng)絡(luò)均具有較好的圖像生成性能，使得從該超網(wǎng)絡(luò)中搜索所得的教師模型和學(xué)生模型均具有比較好的圖像生成性能，從而使得后續(xù)只需針對(duì)該教師模型和學(xué)生模型進(jìn)行微調(diào)處理即可，如此能夠有效地避免從頭開始優(yōu)化教師模型和學(xué)生模型所導(dǎo)致的不良影響(比如，模型收斂速度比較慢等)，從而有利于提高模型訓(xùn)練效率。

73、此外，因超網(wǎng)絡(luò)能夠提供各種各樣的大量的網(wǎng)絡(luò)結(jié)構(gòu)，以使本技術(shù)可以從該超網(wǎng)絡(luò)中搜索到滿足不同約束的學(xué)生模型和教師模型，如此能夠有效地消除因手動(dòng)設(shè)計(jì)和配置教師模型而帶來的額外資源消耗(比如，人力資源消耗、時(shí)間消耗等)，從而有利于節(jié)省資源。