本技術(shù)涉及人工智能,尤其涉及一種圖像元素生成方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、圖片生成是計(jì)算機(jī)視覺領(lǐng)域的非常活躍且有較多實(shí)際應(yīng)用場(chǎng)景的研究,其中擴(kuò)散模型(diffusion)生成圖像比對(duì)抗網(wǎng)絡(luò)(gan)生成圖像更具多樣性,而且質(zhì)量更高,diffusion模型的訓(xùn)練過程也更加穩(wěn)定,使得圖像元素生成服務(wù)業(yè)務(wù)如金融業(yè)務(wù)推廣營(yíng)銷、創(chuàng)意設(shè)計(jì)等成為了現(xiàn)實(shí)。
2、相關(guān)技術(shù)中,由于diffusion生成過程的隨機(jī)性、以及領(lǐng)域適配能力欠缺等問題,生成結(jié)果往往不能直接滿足業(yè)務(wù)需求,通常需要二次修改創(chuàng)作等,將其中有用的元素提取出來用于設(shè)計(jì)稿的完成。故,亟待提供一種圖像元素生成以解決上述技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例的主要目的在于提出一種圖像元素生成方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì),可以提高生成的圖像元素與業(yè)務(wù)的相關(guān)性,提升生成的圖像元素的準(zhǔn)確性和實(shí)用性。
2、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第一方面提出了一種圖像元素生成方法,所述方法包括:
3、獲取目標(biāo)圖像,將所述目標(biāo)圖像輸入至元素評(píng)分模型,確定所述目標(biāo)圖像中每一候選元素的元素評(píng)分;
4、基于每一候選元素的元素評(píng)分,從多個(gè)所述候選元素中篩選出目標(biāo)元素;
5、確定每一所述目標(biāo)元素與歷史元素的相似度;
6、基于每一所述目標(biāo)元素與歷史元素的相似度,從多個(gè)所述目標(biāo)元素中篩選出差異元素;
7、將所述目標(biāo)元素中的所述差異元素剔除,得到生成元素。
8、在一些實(shí)施例,所述將所述目標(biāo)圖像輸入至元素評(píng)分模型,確定所述目標(biāo)圖像中每一候選元素的元素評(píng)分,包括:
9、將所述目標(biāo)圖像輸入至元素評(píng)分模型,以對(duì)所述目標(biāo)圖像進(jìn)行圖像編碼,得到圖像特征;
10、獲取每一元素類型的預(yù)設(shè)元素對(duì)應(yīng)的預(yù)設(shè)元素特征;
11、匹配每一所述預(yù)設(shè)元素特征與所述圖像特征,從所述預(yù)設(shè)元素中篩選出與圖像特征匹配的候選元素;
12、確定每一所述候選元素在所述目標(biāo)圖像中所處的候選位置;
13、基于每一所述候選元素的候選元素類型以及對(duì)應(yīng)的候選位置,確定每一所述候選元素的元素評(píng)分。
14、在一些實(shí)施例,在所述將所述目標(biāo)元素中的所述差異元素剔除,得到生成元素之后,還包括:
15、響應(yīng)于參考元素獲取指令,獲取參考元素以及元素期望描述;
16、提取所述參考元素的參考信息;
17、將所述參考信息以及所述元素期望描述輸入至圖像元素生成模型,以生成期望元素。
18、在一些實(shí)施例,在所述響應(yīng)于參考元素獲取指令,獲取參考元素以及元素期望描述之前,還包括:
19、在指定界面內(nèi)展示每一所述生成元素;
20、所述響應(yīng)于參考元素獲取指令,獲取參考元素以及元素期望描述,包括:
21、響應(yīng)于針對(duì)所述生成元素的選取操作,確定所述選取操作所選取的目標(biāo)生成元素,將所述目標(biāo)生成元素確定為參考元素;
22、在所述指定界面內(nèi)展示一期望描述控件;
23、響應(yīng)于針對(duì)于所述期望描述控件的輸入指令,確定所述輸入指令在所述期望描述控件內(nèi)的描述內(nèi)容,將所述描述內(nèi)容確定為元素期望描述。
24、在一些實(shí)施例,在所述在指定界面內(nèi)展示每一所述生成元素之前,還包括:
25、獲取每一所述生成元素的使用頻率;
26、所述在指定界面內(nèi)展示每一所述生成元素,包括:
27、按照使用頻率從大到小的順序,確定每一所述生成元素的展示順序;
28、按照所述生成元素的展示順序,在所述指定界面內(nèi)展示每一所述生成元素。
29、在一些實(shí)施例,所述基于每一候選元素的元素評(píng)分,從多個(gè)所述候選元素中篩選出目標(biāo)元素,包括:
30、按照評(píng)分從大到小的順序?qū)λ龊蜻x元素進(jìn)行排序,將排序處于前第一預(yù)設(shè)占比的候選元素確定為目標(biāo)元素。
31、在一些實(shí)施例,所述基于每一所述目標(biāo)元素與歷史元素的相似度,從多個(gè)所述目標(biāo)元素中篩選出差異元素,包括:
32、按照相似度從大到小的順序?qū)λ瞿繕?biāo)元素進(jìn)行排序,將排序處于后第二預(yù)設(shè)占比的目標(biāo)元素確定為差異元素。
33、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第二方面提出了一種圖像元素生成裝置,包括:
34、第一獲取單元,用于獲取目標(biāo)圖像,將所述目標(biāo)圖像輸入至元素評(píng)分模型,確定所述目標(biāo)圖像中每一候選元素的元素評(píng)分;
35、第一篩選單元,用于基于每一候選元素的元素評(píng)分,從多個(gè)所述候選元素中篩選出目標(biāo)元素;
36、確定單元,用于確定每一所述目標(biāo)元素與歷史元素的相似度;
37、第二篩選單元,用于基于每一所述目標(biāo)元素與歷史元素的相似度,從多個(gè)所述目標(biāo)元素中篩選出差異元素;
38、剔除單元,用于將所述目標(biāo)元素中的所述差異元素剔除,得到生成元素。
39、在一些實(shí)施例,第一篩選單元,用于:
40、將所述目標(biāo)圖像輸入至元素評(píng)分模型,以對(duì)所述目標(biāo)圖像進(jìn)行圖像編碼,得到圖像特征;
41、獲取每一元素類型的預(yù)設(shè)元素對(duì)應(yīng)的預(yù)設(shè)元素特征;
42、匹配每一所述預(yù)設(shè)元素特征與所述圖像特征,從所述預(yù)設(shè)元素中篩選出與圖像特征匹配的候選元素;
43、確定每一所述候選元素在所述目標(biāo)圖像中所處的候選位置;
44、基于每一所述候選元素的候選元素類型以及對(duì)應(yīng)的候選位置,確定每一所述候選元素的元素評(píng)分。
45、在一些實(shí)施例,所述裝置,還包括:
46、第二獲取單元,用于響應(yīng)于參考元素獲取指令,獲取參考元素以及元素期望描述;
47、提取單元,用于提取所述參考元素的參考信息;
48、輸入單元,用于將所述參考信息以及所述元素期望描述輸入至圖像元素生成模型,以生成期望元素。
49、在一些實(shí)施例,所述裝置,還包括:
50、顯示單元,用于在指定界面內(nèi)展示每一所述生成元素;
51、所述響應(yīng)單元,包括:
52、第一確定子單元,用于響應(yīng)于針對(duì)所述生成元素的選取操作,確定所述選取操作所選取的目標(biāo)生成元素,將所述目標(biāo)生成元素確定為參考元素;
53、展示子單元,用于在所述指定界面內(nèi)展示一期望描述控件;
54、第二確定子單元,用于響應(yīng)于針對(duì)于所述期望描述控件的輸入指令,確定所述輸入指令在所述期望描述控件內(nèi)的描述內(nèi)容,將所述描述內(nèi)容確定為元素期望描述。
55、在一些實(shí)施例,所述裝置,還包括:
56、第三獲取單元,用于獲取每一所述生成元素的使用頻率;
57、所述展示子單元,用于:
58、按照使用頻率從大到小的順序,確定每一所述生成元素的展示順序;
59、按照所述生成元素的展示順序,在所述指定界面內(nèi)展示每一所述生成元素。
60、在一些實(shí)施例,所述第一篩選單元,用于:
61、按照元素評(píng)分從大到小的順序?qū)λ龊蜻x元素進(jìn)行排序,將排序處于前第一預(yù)設(shè)占比的候選元素確定為目標(biāo)元素。
62、在一些實(shí)施例,所述第二篩選單元,用于:
63、按照相似度從大到小的順序?qū)λ瞿繕?biāo)元素進(jìn)行排序,將排序處于后第二預(yù)設(shè)占比的目標(biāo)元素確定為差異元素。
64、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第三方面提出了一種電子設(shè)備,所述電子設(shè)備包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述第一方面所述的方法。
65、為實(shí)現(xiàn)上述目的,本技術(shù)實(shí)施例的第四方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的方法。
66、本技術(shù)提出的圖像元素生成方法和裝置、電子設(shè)備及存儲(chǔ)介質(zhì),其通過獲取目標(biāo)圖像,將所述目標(biāo)圖像輸入至元素評(píng)分模型,確定所述目標(biāo)圖像中每一候選元素的元素評(píng)分;基于每一候選元素的元素評(píng)分,從多個(gè)所述候選元素中篩選出目標(biāo)元素;確定每一所述目標(biāo)元素與歷史元素的相似度;基于每一所述目標(biāo)元素與歷史元素的相似度,從多個(gè)所述目標(biāo)元素中篩選出差異元素;將所述目標(biāo)元素中的所述差異元素剔除,得到生成元素。以此,通過評(píng)分篩選以及相似度篩選的方式來逐步篩選出高質(zhì)量且與業(yè)務(wù)貼近的元素,可以提高生成的圖像元素與業(yè)務(wù)的相關(guān)性,提升生成的圖像元素的準(zhǔn)確性和實(shí)用性。