本發(fā)明屬于服裝流行趨勢預(yù)測，具體涉及一種基于圖像和文本的服裝流行趨勢預(yù)測方法及系統(tǒng)。

背景技術(shù)：

1、隨著經(jīng)濟(jì)高質(zhì)量發(fā)展和消費升級，時尚已成為影響人們生活方式的重要因素，并在大部分消費領(lǐng)域中占據(jù)重要地位，成為城市競爭的主戰(zhàn)場之一。為了緊抓市場熱點，引領(lǐng)服裝業(yè)高質(zhì)量發(fā)展，急需突破服裝流行趨勢預(yù)測的技術(shù)瓶頸。

2、現(xiàn)有技術(shù)中，對于服裝流行趨勢的預(yù)測依靠的數(shù)據(jù)單一，例如：單獨依靠服裝圖像數(shù)據(jù)進(jìn)行服裝流行趨勢預(yù)測，或者，單獨依靠文本數(shù)據(jù)進(jìn)行服裝流行趨勢預(yù)測。但是，單獨依靠服裝圖像數(shù)據(jù)來預(yù)測服裝流行趨勢存在缺乏上下文信息、動態(tài)特征捕捉不足和處理復(fù)雜度高等不足，而單獨依靠服裝文本數(shù)據(jù)來預(yù)測服裝流行趨勢存在缺乏視覺特征、歧義和噪聲問題、文化和語言差異等問題，這兩種預(yù)測方式均降低了模型預(yù)測準(zhǔn)確度和預(yù)測性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于圖像和文本的服裝流行趨勢預(yù)測方法及系統(tǒng)，旨在解決現(xiàn)有技術(shù)中服裝流行趨勢的預(yù)測依靠的數(shù)據(jù)單一，導(dǎo)致預(yù)測模型的性能和預(yù)測準(zhǔn)確度均較差的問題。

2、為了解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案為：

3、第一方面，本發(fā)明提供了一種基于圖像和文本的服裝流行趨勢預(yù)測方法，包括以下步驟：

4、s100、通過網(wǎng)絡(luò)爬蟲收集最新的服裝圖像和服裝文本關(guān)鍵詞；

5、s200、將所述服裝圖像輸入到訓(xùn)練后的yolov5模型中；所述yolov5模型提取所述服裝圖像的服裝特征向量；根據(jù)所述服裝特征向量進(jìn)行k-means聚類分析，獲得每個簇的特征向量，分析每個簇代表的服裝款式或顏色；

6、s300、將所述服裝文本關(guān)鍵詞輸入到訓(xùn)練后的lstm模型中，所述lstm模型根據(jù)所述服裝文本關(guān)鍵詞輸出關(guān)鍵詞的概率值分類；

7、s400、結(jié)合所述步驟s200中每個簇代表的服裝款式或顏色，以及所述步驟s300中所述lstm模型輸出的關(guān)鍵詞的概率值分類，預(yù)測出未來服裝的流行趨勢。

8、進(jìn)一步的方案：在所述步驟s200中，所述服裝特征向量包括服裝款式維度、顏色維度、材質(zhì)維度；

9、所述yolov5模型提取的每個所述服裝圖像的服裝特征向量可以用公式表示為：

10、x＝{x1，x2，x3，...，xn}；

11、其中，所述x表示一個所述服裝圖像的服裝特征向量；所述{x1，x2，x3，...，xn}表示每個所述服裝特征向量中包括n個維度。

12、基于上述方案，對所述服裝圖像進(jìn)行服裝特征提取能夠獲得所述服裝圖像的有效特征表示，降低計算的復(fù)雜度，從而用于k-means聚類分析。

13、進(jìn)一步的方案：在所述步驟s200中，所述k-means聚類分析包括：

14、設(shè)定不同的k值，并計算不同k值的簇內(nèi)誤差平方和，采用的計算公式為：其中，所述sse(k)表示不同k值的簇內(nèi)誤差平方和；所述k表示簇的數(shù)量；所述ci表示第i個簇；所述μi代表第i個簇的質(zhì)心；所述x代表ci的服裝特征向量；

15、根據(jù)所述sse(k)繪制sse曲線，選取所述sse曲線中位于肘部出的k值為最優(yōu)k值；

16、確定所述最優(yōu)k值后，選擇k個初始質(zhì)心，將輸入到所述yolov5模型中的每個所述服裝圖像分配到最近的質(zhì)心所在的簇；更新每個簇ci的定義，計算新的質(zhì)心；

17、以計算出的新的質(zhì)心為初始質(zhì)心，重新將每個所述服裝圖像分配到最近的質(zhì)心所在的簇；更新每個簇ci的定義，再次計算新的質(zhì)心；直至計算出的新的質(zhì)心不在變化，或者直至達(dá)到設(shè)置的迭代次數(shù)；獲得每個簇的特征向量；

18、其中，計算新的質(zhì)心采用的公式為：

19、基于上述方案，通過選擇最優(yōu)k值和不斷更新質(zhì)心，可以提高聚類分析的準(zhǔn)確性和質(zhì)量，使得通過所述服裝圖像能夠進(jìn)行更準(zhǔn)確的流行趨勢預(yù)測。

20、進(jìn)一步的方案：在所述步驟s200中獲得訓(xùn)練后的yolov5模型之前，以及在所述s300中獲得訓(xùn)練后的lstm模型之前，先通過爬蟲收集歷史的服裝圖片數(shù)據(jù)和文本數(shù)據(jù)；

21、分別對所述服裝圖片數(shù)據(jù)和文本數(shù)據(jù)進(jìn)行預(yù)處理，獲得圖片樣本和文本樣本；使用所述圖片樣本對yolov5模型進(jìn)行訓(xùn)練，獲得訓(xùn)練后的yolov5模型；使用所述文本樣本對lstm模型進(jìn)行訓(xùn)練，獲得訓(xùn)練后的lstm模型。

22、進(jìn)一步的方案：對所述服裝圖片數(shù)據(jù)進(jìn)行預(yù)處理的內(nèi)容包括：

23、對所述服裝圖片數(shù)據(jù)中的服裝圖片按照對應(yīng)的款式和顏色進(jìn)行達(dá)標(biāo)并劃；采用最小外接矩形框?qū)γ糠N服裝款式和顏色進(jìn)行類別標(biāo)記和位置標(biāo)記；

24、對標(biāo)記后的服裝圖片進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)縮放、隨機(jī)剪裁、直方圖均衡化和歸一化，并關(guān)聯(lián)服裝款式和顏色，獲得所述圖片樣本。

25、基于上述方案，通過對所述服裝圖片進(jìn)行預(yù)處理能夠提高所述服裝圖片的數(shù)據(jù)質(zhì)量，為yolov5模型的訓(xùn)練奠定基礎(chǔ)，以獲得性能更好的yolov5模型。

26、進(jìn)一步的方案：對所述文本數(shù)據(jù)進(jìn)行預(yù)處理的內(nèi)容包括：

27、將所述文本數(shù)據(jù)中的服裝款式、顏色和材質(zhì)按照時間線排列呈時間序列數(shù)據(jù)；

28、將所述時間序列數(shù)據(jù)進(jìn)行歸一化，獲得呈正態(tài)分布形式的文本樣本；

29、其中，將所述時間序列數(shù)據(jù)進(jìn)行歸一化采用的公式為：

30、

31、所述sn(ti)表示歸一化后且呈正態(tài)分布形式的文本樣本；所述(ti)表示時間，i＝1，2，3...n；所述s表示文本數(shù)據(jù)；所述max()表示最大值；所述min()表示最小值。

32、基于上述方案，將所述文本數(shù)據(jù)處理成時間序列數(shù)據(jù)，能夠提升lstm模型的訓(xùn)練效果和性能，增強(qiáng)lstm模型根據(jù)文本數(shù)據(jù)對流行趨勢的分析和預(yù)測。

33、進(jìn)一步的方案：在使用所述圖片樣本訓(xùn)練yolov5模型之前先構(gòu)建yolov5模型；

34、構(gòu)建yolov5模型的步驟包括：

35、第一步：設(shè)置yolov5模型中的性能指標(biāo)，根據(jù)所述性能指標(biāo)構(gòu)建yolov5模型中的特征提取單元；其中，所述性能指標(biāo)包括精確度、召回率、平均精度、浮點運算量和參數(shù)量；

36、第二步：在構(gòu)建的所述特征提取單元后加入特征融合單元；

37、第三步：通過熱力圖測試方式選擇出適合圖像檢查任務(wù)的注意力機(jī)制單元，并將選擇出的所述注意力機(jī)制單元添加在所述融合單元后面，完成yolov5模型的構(gòu)建；

38、在構(gòu)建出的yolov5模型中設(shè)置學(xué)習(xí)率和優(yōu)化器的參數(shù)，使用所述圖片樣本對構(gòu)建出的yolov5模型進(jìn)行訓(xùn)練，獲得所述步驟s200中訓(xùn)練后的yolov5模型。

39、基于上述方案，選擇性能較好的單元共同構(gòu)建出yolov5模型，也提升了yolov5模型的整體性能，進(jìn)而提高yolov5模型根據(jù)服裝圖像對于流行趨勢的預(yù)測能力。

40、進(jìn)一步的方案：使用所述文本樣本對lstm模型進(jìn)行訓(xùn)練的步驟包括：

41、步驟一：使用網(wǎng)格搜索方法生成超參數(shù)組合列表；其中，所述超參數(shù)包括滯后大小、隱藏層的數(shù)量、神經(jīng)元的數(shù)量、丟棄率、學(xué)習(xí)率、批量大小和epoch大?。?/p>

42、步驟二：將所述文本樣本中的時間序列數(shù)據(jù)轉(zhuǎn)換成監(jiān)督式學(xué)習(xí)，根據(jù)所述滯后大小，將所述時間序列數(shù)據(jù)轉(zhuǎn)換成一組輸入格式和輸出格式；其中，輸入格式表示為sinput＝[s1，s2，...，sn-l]，所述輸出格式表示為soutput＝[o1，o2，...，on-l]，所述表示滯后大小，所述n表示輸入或輸出的數(shù)據(jù)點的數(shù)量；

43、步驟三：根據(jù)所述步驟一中的所述超參數(shù)組合列表中的每組超參數(shù)組合均構(gòu)建一層lstm神經(jīng)網(wǎng)絡(luò)，獲得多層lstm神經(jīng)網(wǎng)絡(luò)；

44、步驟四：使用所述步驟二中的所述時間序列數(shù)據(jù)對所述多層lstm神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，評估所述多層lstm神經(jīng)網(wǎng)絡(luò)中每層lstm神經(jīng)網(wǎng)絡(luò)，并選擇出最優(yōu)的一層lstm神經(jīng)網(wǎng)絡(luò)，獲得所述步驟s300中訓(xùn)練后的lstm模型。

45、基于上述方案，通過網(wǎng)格搜索方法生成超參數(shù)組合列表，解決了多層lstm神經(jīng)網(wǎng)絡(luò)中需要手工調(diào)參的問題，能夠提高多層lstm神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和魯棒性。

46、進(jìn)一步的方案：在所述步驟四中，通過均方根誤差評估每層lstm神經(jīng)網(wǎng)絡(luò)；并選擇均方根誤差最小的一層lstm神經(jīng)網(wǎng)絡(luò)為最優(yōu)的一層lstm神經(jīng)網(wǎng)絡(luò)；

47、所述均方根誤差的公式為：

48、其中，所述yt表示所述時間序列數(shù)據(jù)在時間t的實際值；所述表示所述時間序列數(shù)據(jù)在時間t的預(yù)測值；所述n表示所述時間序列數(shù)據(jù)。

49、第二方面，本發(fā)明提供了一種基于圖像和文本的服裝流行趨勢預(yù)測系統(tǒng)，用于執(zhí)行如第一方面任意所述的一種基于圖像和文本的服裝流行趨勢預(yù)測方法；所述服裝流行趨勢預(yù)測系統(tǒng)包括數(shù)據(jù)采集模塊和流行趨勢預(yù)測模塊；

50、所述數(shù)據(jù)采集模塊通過網(wǎng)絡(luò)爬蟲收集最新的服裝圖像和服裝文本關(guān)鍵詞；并將所述服裝圖像和服裝文本關(guān)鍵詞傳輸?shù)剿隽餍汹厔蓊A(yù)測模塊中；

51、所述流行趨勢預(yù)測模塊包括訓(xùn)練后的yolov5模型和訓(xùn)練后的lstm模型；

52、訓(xùn)練后的yolov5模型接收所述服裝圖像，并提取所述服裝圖像的服裝特征向量；根據(jù)所述服裝特征向量進(jìn)行k-means聚類分析，獲得每個簇的特征向量，分析每個簇代表的服裝款式或顏色；

53、訓(xùn)練后的lstm模型接收所述服裝文本關(guān)鍵詞，并根據(jù)所述服裝文本關(guān)鍵詞輸出關(guān)鍵詞的概率值分類；

54、所述流行趨勢預(yù)測模塊結(jié)合訓(xùn)練后的yolov5模型中每個簇代表的服裝款式或顏色，以及所述訓(xùn)練后的lstm模型輸出的關(guān)鍵詞的概率值分類，預(yù)測出未來服裝的流行趨勢。

55、本發(fā)明的有益效果為：

56、1、本發(fā)明中采用了兩種模態(tài)的數(shù)據(jù)作為流行趨勢預(yù)測的依據(jù)。其中，訓(xùn)練后的yolov5模型根據(jù)所述服裝圖像進(jìn)行流行趨勢預(yù)測，訓(xùn)練后的lstm模型根據(jù)服裝文本關(guān)鍵詞進(jìn)行流行趨勢預(yù)測，兩者結(jié)合起來，從而預(yù)測出準(zhǔn)確度更高的流行趨勢，可以有效解決現(xiàn)有技術(shù)中單一數(shù)據(jù)預(yù)測產(chǎn)生動態(tài)特征捕捉不足、處理復(fù)雜度高、缺乏視覺特征、歧義和噪聲等問題。

57、2、本發(fā)明中采用yolov5模型處理服裝圖像，能夠解決現(xiàn)有技術(shù)中預(yù)測模型檢測速度慢、計算量大、訓(xùn)練過程繁瑣的問題，進(jìn)一步提高了發(fā)明中流行趨勢預(yù)測系統(tǒng)的性能和準(zhǔn)確性。