本發(fā)明涉及庫存預測，尤其涉及一種基于時間提示增強的大語言模型的集成電路物料庫存預測方法和系統(tǒng)。

背景技術(shù)：

1、集成電路（ic）是現(xiàn)代電子產(chǎn)品中不可或缺的組成部分，由于集成電路物料具有小批量、多品種、多型號、迭代時間快的特點，導致物料供應(yīng)鏈長尾、物料市場需求隨時間變化幅度大。為了克服這些問題，集成電路物料庫存預測成為至關(guān)重要的解決方法。

2、從時間序列維度分析的庫存預測是利用歷史物料數(shù)據(jù)推理物料庫存隨時間的變化，通過分析銷售數(shù)量、采購數(shù)量和其他相關(guān)信息在一段歷史時間的變化趨勢，預測模型可以生成一系列預測結(jié)果，幫助庫存管理做出更明智的決策。傳統(tǒng)的時間分析法，如自回歸積分移動平均模型（arima模型）只能輸入一段時間序列數(shù)據(jù)，無法考慮非線性和更高維復雜的影響因素。另一方面，以神經(jīng)網(wǎng)絡(luò)為代表的深度學習方法增加了非線性分析能力，如cnn-lstm（convolutional?neural?network-long?short?term?memory?neural?network）模型可以從時間序列維度之上分析大量特征指標，但是目前研究中提出的神經(jīng)網(wǎng)絡(luò)仍面臨全局學習能力不足、模型泛化性差等問題。

3、精準的庫存預測是庫存管理的核心組成部分，尤其在集成電路行業(yè)物料庫存管理中，隨著國內(nèi)人工智能芯片技術(shù)的迅速發(fā)展以及消費者電子產(chǎn)品更新迭代的頻繁，改進現(xiàn)有的預測技術(shù)和模型應(yīng)對復雜場景，可以有效保障供應(yīng)商和制造商的正常生產(chǎn)運營，進而增強市場的穩(wěn)定性。

技術(shù)實現(xiàn)思路

1、為解決上述問題，本發(fā)明提出了一種基于時間提示增強的大語言模型的集成電路物料庫存預測方法和系統(tǒng)。所述方法利用大語言模型上下文學習（in-context?learning，icl）技術(shù)與改進的cnn-lstm模型構(gòu)建時間提示工程作為時間提示，改進微調(diào)大語言模型的prompt模板。同時，利用p-tuning微調(diào)技術(shù)讓大語言模型學習現(xiàn)有集成電路物料文檔?；谝陨细倪M，所述方法增強了通用大語言模型全局特征挖掘能力和泛化性，克服了通用大語言模型在時間序列分析中敏感性不足的缺陷。此外，所述改進的cnn-lstm模型中，特征提取網(wǎng)絡(luò)引入scalegraph模塊，通過頻域注意力卷積增強周期性特征指標提取能力；時間序列分析網(wǎng)絡(luò)引入dropout正則化模塊層，有效過濾前向傳播參數(shù)，提高了時間序列分析的泛化能力，減輕模型過擬合程度。

2、本發(fā)明的技術(shù)方案如下：一種基于時間提示增強的大語言模型的集成電路物料庫存預測方法，包括以下步驟：

3、收集現(xiàn)有集成電路物料相關(guān)數(shù)據(jù)和文檔，根據(jù)數(shù)據(jù)構(gòu)建數(shù)據(jù)倉庫，根據(jù)文檔構(gòu)建json片段集；

4、根據(jù)數(shù)據(jù)倉庫計算出帶時間戳的歷史庫存數(shù)據(jù)，構(gòu)建物料庫存時序數(shù)據(jù)集；

5、根據(jù)所述json片段集微調(diào)通用大語言模型，得到微調(diào)大語言模型；

6、根據(jù)所述物料庫存時序數(shù)據(jù)集訓練改進的cnn-lstm模型網(wǎng)絡(luò)，用于構(gòu)建時間提示數(shù)據(jù)；

7、將所述改進的cnn-lstm模型網(wǎng)絡(luò)生成的時間提示數(shù)據(jù)結(jié)合大語言模型上下文學習技術(shù)構(gòu)建時間提示工程；根據(jù)所述時間提示工程，改進微調(diào)大語言模型的prompt模板，對微調(diào)大語言模型進行few-shot學習；

8、將few-shot學習后的微調(diào)大語言模型作為基于時間提示增強的大語言模型，將待預測的物料數(shù)據(jù)輸入所述基于時間提示增強的大語言模型，實時生成預測結(jié)果。

9、所述改進的cnn-lstm模型網(wǎng)絡(luò)包括改進特征提取網(wǎng)絡(luò)和改進時間序列分析網(wǎng)絡(luò)；

10、所述改進特征提取網(wǎng)絡(luò)為基于cnn-lstm模型改進其特征提取部分，引入scalegraph模塊挖掘多個時間序列的相關(guān)性；

11、所述改進時間序列分析網(wǎng)絡(luò)為基于cnn-lstm模型改進其時間序列分析部分，引入隨機失活技術(shù)，設(shè)置dropout正則化模塊。

12、所述改進特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)包括1層二維卷積、1層scalegraph模塊和1層最大池化層，具體為：

13、所述1層二維卷積：采用conv2d卷積核，通道數(shù)為1，卷積核大小為3*n，n為特征向量個數(shù)；

14、所述1層scalegraph模塊對經(jīng)1層二維卷積后的特征向量組<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>x</mi><mi>conv</mi></msub><msub><mi>=[x</mi><mi>conv1</mi></msub><msub><mi>,...,x</mi><msub><mi>conv</mi><mi>n</mi></msub></msub><mi>]</mi></mstyle>進行快速傅里葉變換，記作特征向量組<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>x</mi><mi>fft</mi></msub><msub><mi>=[x</mi><mi>fft1</mi></msub><msub><mi>,...,x</mi><msub><mi>fft</mi><mi>n</mi></msub></msub><mi>]</mi></mstyle>；特征向量組以n個不同頻域周期t作為尺度，采用多尺度圖卷積核進行特征提取得到n個尺度張量；將n個尺度張量基于多頭注意力機制進行相互投影并生成融合注意力機制的特征向量組<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>x</mi><mi>mha</mi></msub><msub><mi>=[x</mi><mi>mha1</mi></msub><msub><mi>,...,x</mi><msub><mi>mha</mi><mi>n</mi></msub></msub><mi>]</mi></mstyle>；最后采用softmax函數(shù)歸一化，記作特征向量組<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>x</mi><mi>sc</mi></msub><msub><mi>=[x</mi><mi>sc1</mi></msub><msub><msub><mi>,...,x</mi><mi>sc</mi></msub><mi>n</mi></msub><mi>]</mi></mstyle>；

15、所述1層最大池化層對特征向量組進行最大池化處理，記作特征向量組；池化窗口大小為2*2，步長為1，采用函數(shù)作為激活函數(shù)。

16、所述改進時間序列分析網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)包括2個lstm層和1個dropout正則化模塊層，所述dropout正則化模塊層布置于2個lstm層中間，具體為：

17、將特征向量組輸入第一層lstm層，其過程表示為：

18、<msub><mi>f</mi><mi>t</mi></msub><mi>=</mi><mi>tanh</mi><mi>(</mi><msub><mi>w</mi><mi>f</mi></msub><mi>*[</mi><msub><mi>h</mi><mi>t-1</mi></msub><mi>,</mi><msub><mi>x</mi><mi>t</mi></msub><mi>])</mi>

19、其中，是遺忘門輸出的值，是上一時間步的隱藏狀態(tài)，是當前時間步的輸入，是遺忘門權(quán)重矩陣，是激活函數(shù)；

20、<msub><mi>i</mi><mi>t</mi></msub><mi>=σ(</mi><msub><mi>w</mi><mi>i</mi></msub><mi>*[</mi><msub><mi>h</mi><mi>t-1</mi></msub><mi>,</mi><msub><mi>x</mi><mi>t</mi></msub><mi>])</mi>

21、其中，是輸入門輸出的值，?是輸入門權(quán)重矩陣；

22、<mover><msub><mi>c</mi><mi>t</mi></msub><mo stretchy="true">?</mo></mover><mi>=tan</mi><mi>h</mi><mi>(</mi><msub><mi>w</mi><mi>c</mi></msub><mi>*[</mi><msub><mi>h</mi><mi>t-1</mi></msub><mi>,</mi><msub><mi>x</mi><mi>t</mi></msub><mi>]+</mi><msub><mi>b</mi><mi>c</mi></msub><mi>)</mi>

23、

24、其中，是候選細胞狀態(tài)，是更新后的細胞狀態(tài)，是上一時間步的細胞狀態(tài)，是候選細胞權(quán)重矩陣，是偏置項；

25、

26、其中，是輸出門輸出的值，是當前時間步的隱藏狀態(tài)；

27、將特征向量組輸入所述dropout正則化模塊層中，在dropout正則化模塊層內(nèi)設(shè)置一個概率閥值，控制在前向傳播過程中第一層ltsm層每個神經(jīng)元被留下的概率；

28、所述dropout正則化模塊層為隨機失活構(gòu)造器；所述隨機失活構(gòu)造器將和伯努利隨機變量相乘作為隨機概率消除第二層lstm層受第一層lstm層提取特征影響的依據(jù)，將隨機失活構(gòu)造器輸出結(jié)果記作特征向量組；

29、將特征向量組輸入第二層lstm層，第二層lstm層結(jié)構(gòu)與第一層lstm層結(jié)構(gòu)相同，用于增強時間序列數(shù)據(jù)特征的表示。

30、所述微調(diào)模塊根據(jù)所述json片段集，采用p-tuning技術(shù)對大語言模型進行微調(diào)，改變大語言模型內(nèi)部權(quán)重參數(shù)，得到微調(diào)大語言模型。

31、所述時間提示工程基于微調(diào)大語言模型的prompt模板增加學習推理數(shù)據(jù)說明和特征指標說明；

32、所述學習推理數(shù)據(jù)說明為根據(jù)改進的cnn-lstm模型網(wǎng)絡(luò)生成的時間提示數(shù)據(jù)；所述特征指標說明為所述物料庫存時序數(shù)據(jù)集中提取所得影響庫存量的特征指標；將時間提示數(shù)據(jù)和影響庫存量的特征指標動態(tài)嵌入微調(diào)大語言模型的prompt模板，得到改進后的prompt模板；根據(jù)改進后的prompt模板，對微調(diào)大語言模型進行few-shot學習，用于引導大語言模型在執(zhí)行預測任務(wù)時增加對時間序列數(shù)據(jù)的注意力。

33、所述構(gòu)建數(shù)據(jù)倉庫包括：

34、數(shù)據(jù)提?。翰杉N售訂單系統(tǒng)、采購訂單系統(tǒng)、生產(chǎn)管理系統(tǒng)、物料管理系統(tǒng)、企業(yè)資源計劃系統(tǒng)、產(chǎn)品信息管理系統(tǒng)、客戶關(guān)系系統(tǒng)和供應(yīng)商關(guān)系系統(tǒng)中與物料庫存相關(guān)的數(shù)據(jù)；

35、構(gòu)建數(shù)倉模型：針對集成電路物料數(shù)據(jù)小批量、多品種、多型號、迭代時間快的特點，構(gòu)建星型拓撲結(jié)構(gòu)數(shù)倉模型；所述星型拓撲結(jié)構(gòu)數(shù)倉模型以事實表為星型中心，所有維度表通過uuid與事實表關(guān)聯(lián)；

36、所述事實表包括銷售訂單事實表、采購訂單事實表和生產(chǎn)訂單事實表；

37、所述維度表被3個事實表共同關(guān)聯(lián)；以銷售訂單事實表為中心，其對應(yīng)構(gòu)建的維度表包含產(chǎn)品維度表、客戶維度表和時間維度表；以采購訂單事實表為中心，其對應(yīng)構(gòu)建的維度表包含產(chǎn)品維度表、供應(yīng)商維度表和時間維度表；以生產(chǎn)訂單事實表為中心，其對應(yīng)構(gòu)建的維度表包含產(chǎn)品維度表、工藝維度表、員工維度表、設(shè)備維度表、倉庫維度表、時間維度表和質(zhì)量維度表。

38、所述構(gòu)建json片段集包括：

39、從現(xiàn)有文檔中篩選8000-10000條包含集成電路物料庫存預測相關(guān)信息的文字片段，將所有文字片段轉(zhuǎn)變?yōu)閖son格式，構(gòu)建為json片段集；

40、所述json格式為{“question”:"...","summary":"..."},"summary"文字不超過500個漢字。

41、所述物料庫存時序數(shù)據(jù)集從所述數(shù)據(jù)倉庫中統(tǒng)計過去60個月的數(shù)據(jù)，統(tǒng)計頻率為每月2次，選取日期為當月15日和30日，其中2月份沒有第30日取當月最后一天，時間序列共計120個時間步；

42、數(shù)據(jù)集選取6個影響庫存量的特征指標，所述特征指標包括銷售物料數(shù)量、實際交貨數(shù)量、采購物料數(shù)量、實際到貨數(shù)量、生產(chǎn)物料數(shù)量以及對應(yīng)指標的歷史庫存量；

43、數(shù)據(jù)集每個特征指標的通道數(shù)設(shè)置為1。

44、一種基于時間提示增強的大語言模型的集成電路物料庫存預測系統(tǒng)，包括以下模塊：

45、數(shù)據(jù)采集模塊：用于從現(xiàn)有企業(yè)的信息系統(tǒng)中采集與整合數(shù)據(jù)，將數(shù)據(jù)結(jié)構(gòu)化處理后存儲至數(shù)據(jù)倉庫；根據(jù)文檔構(gòu)建json片段集；

46、特征提取模塊：用于分析歷史數(shù)據(jù)的變化趨勢，提取關(guān)鍵特征指標，構(gòu)建物料庫存時序數(shù)據(jù)集；

47、改進大語言模型模塊：用于構(gòu)建所述基于時間提示增強的大語言模型；根據(jù)所述json片段集微調(diào)通用大語言模型，得到微調(diào)大語言模型；根據(jù)所述物料庫存時序數(shù)據(jù)集訓練改進的cnn-lstm模型網(wǎng)絡(luò)，用于構(gòu)建時間提示數(shù)據(jù)；所述改進的cnn-lstm模型網(wǎng)絡(luò)包括改進特征提取網(wǎng)絡(luò)和改進時間序列分析網(wǎng)絡(luò)；所述改進特征提取網(wǎng)絡(luò)為基于cnn-lstm模型改進其特征提取部分，引入scalegraph模塊挖掘多個時間序列的相關(guān)性；所述改進時間序列分析網(wǎng)絡(luò)為基于cnn-lstm模型改進其時間序列分析部分，引入隨機失活技術(shù)，設(shè)置dropout正則化模塊；

48、將所述改進的cnn-lstm模型網(wǎng)絡(luò)生成的時間提示數(shù)據(jù)結(jié)合大語言模型上下文學習技術(shù)構(gòu)建時間提示工程；根據(jù)所述時間提示工程，改進微調(diào)大語言模型的prompt模板，對微調(diào)大語言模型進行few-shot學習；將few-shot學習后的微調(diào)大語言模型作為基于時間提示增強的大語言模型；

49、預測結(jié)果生成模塊：輸入待預測數(shù)據(jù)，基于時間提示增強的大語言模型輸出未來庫存預測結(jié)果。

50、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

51、通過在通用大語言模型內(nèi)部增加微調(diào)模塊，得到微調(diào)大語言模型為大語言模型提供集成電路物料庫存預測專業(yè)領(lǐng)域知識增強的效果；根據(jù)微調(diào)大語言模型，本發(fā)明基于icl技術(shù)和改進的cnn-lstm模型結(jié)合用于生成時間提示并構(gòu)建時間提示工程，改進了大語言模型原生的prompt模板，對微調(diào)大語言模型進行few-shot學習，增強了大語言模型在執(zhí)行預測任務(wù)時對時間序列數(shù)據(jù)的注意力。本發(fā)明所述的方法有效增強了大語言模型的全局特征提取能力，使其能夠更有效地捕捉庫存預測中的時間序列特征信息，同時，本發(fā)明所述的方法也增強了系統(tǒng)在不同應(yīng)用場景下的泛化能力，從而提高了庫存預測的準確性和可靠性。