本發(fā)明屬于離線強(qiáng)化學(xué)習(xí)和在線微調(diào)領(lǐng)域，尤其是一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法和模型。

背景技術(shù)：

1、近年來(lái)，人工智能的發(fā)展使得機(jī)器學(xué)習(xí)模型在各個(gè)領(lǐng)域都取得了顯著進(jìn)展。特別是在決策系統(tǒng)領(lǐng)域，如何使模型能夠從歷史經(jīng)驗(yàn)中學(xué)習(xí)并持續(xù)適應(yīng)新環(huán)境，已成為研究的重點(diǎn)方向。離線強(qiáng)化學(xué)習(xí)作為一種從歷史數(shù)據(jù)中學(xué)習(xí)最優(yōu)決策策略的方法，可以有效解決在線學(xué)習(xí)中數(shù)據(jù)采集效率低、成本高、風(fēng)險(xiǎn)大等問題。同時(shí)，通過(guò)持續(xù)在線微調(diào)，模型能夠不斷適應(yīng)環(huán)境變化，保持決策的時(shí)效性和準(zhǔn)確性。這種結(jié)合離線學(xué)習(xí)和在線微調(diào)的混合范式，對(duì)于構(gòu)建高效、穩(wěn)定、可持續(xù)的智能決策系統(tǒng)具有重要的研究意義。

2、目前的研究主要集中在單一模態(tài)的離線強(qiáng)化學(xué)習(xí)或簡(jiǎn)單的在線微調(diào)方法上。傳統(tǒng)的離線強(qiáng)化學(xué)習(xí)方法通常采用行為克隆或保守q學(xué)習(xí)等技術(shù)，但這些方法往往難以處理復(fù)雜的多模態(tài)數(shù)據(jù)，且在知識(shí)遷移方面存在局限性。在線微調(diào)方法多采用梯度下降或簡(jiǎn)單的經(jīng)驗(yàn)回放機(jī)制，缺乏對(duì)模型穩(wěn)定性和可塑性的系統(tǒng)考慮。一些研究嘗試將遷移學(xué)習(xí)引入強(qiáng)化學(xué)習(xí)中，但主要關(guān)注單任務(wù)場(chǎng)景，難以應(yīng)對(duì)多任務(wù)動(dòng)態(tài)變化的實(shí)際需求。此外，現(xiàn)有方法在處理大規(guī)模歷史數(shù)據(jù)時(shí)，往往采用隨機(jī)采樣或簡(jiǎn)單的優(yōu)先級(jí)機(jī)制，未能充分利用數(shù)據(jù)中的深層信息。

3、現(xiàn)有技術(shù)仍然存在以下具體問題：首先，在特征提取和融合方面，現(xiàn)有方法難以準(zhǔn)確捕捉多模態(tài)數(shù)據(jù)間的深層語(yǔ)義關(guān)聯(lián)，導(dǎo)致特征表示不夠充分；其次，在知識(shí)遷移過(guò)程中，缺乏有效的機(jī)制來(lái)平衡模型的穩(wěn)定性和可塑性，容易出現(xiàn)災(zāi)難性遺忘或過(guò)度適應(yīng)；第三，現(xiàn)有的記憶池更新策略往往過(guò)于簡(jiǎn)單，無(wú)法有效識(shí)別和保留具有長(zhǎng)期價(jià)值的關(guān)鍵樣本；第四，在參數(shù)優(yōu)化過(guò)程中，缺乏對(duì)參數(shù)敏感性的精確評(píng)估和自適應(yīng)調(diào)整機(jī)制，導(dǎo)致優(yōu)化效率低下；第五有系統(tǒng)缺乏細(xì)粒度的資源管理和性能監(jiān)控機(jī)制，難以保證在復(fù)雜環(huán)境下的持續(xù)穩(wěn)定運(yùn)行。另外，針對(duì)多維度的分布偏移，比如狀態(tài)空間分布偏移、動(dòng)作空間分布偏移、獎(jiǎng)勵(lì)函數(shù)分布偏移和環(huán)境動(dòng)態(tài)性偏移等問題，尚無(wú)較好的解決方法。當(dāng)前方案在選擇代表性樣本時(shí)僅考慮了特征均值距離，沒有考慮樣本的稀有性和多樣性，缺乏對(duì)關(guān)鍵決策點(diǎn)附近樣本的特殊處理。當(dāng)前方案假設(shè)新舊任務(wù)之間存在較強(qiáng)的相關(guān)性，對(duì)于差異較大的任務(wù)可能會(huì)產(chǎn)生負(fù)遷移，缺乏任務(wù)相關(guān)性的評(píng)估機(jī)制。這些技術(shù)問題嚴(yán)重制約了離線強(qiáng)化學(xué)習(xí)和在線微調(diào)在實(shí)際應(yīng)用中的效果和效率。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的，提供一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法和模型，以解決現(xiàn)有技術(shù)存在的上述問題。

2、技術(shù)方案，一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，包括如下步驟：

3、s1、獲取原始文本-圖像對(duì)數(shù)據(jù)，分別進(jìn)行文本標(biāo)準(zhǔn)化處理和圖像增強(qiáng)編碼，得到標(biāo)準(zhǔn)化文本序列和標(biāo)準(zhǔn)化圖像特征；獲取歷史軌跡數(shù)據(jù)，包含狀態(tài)序列、動(dòng)作序列和獎(jiǎng)勵(lì)序列；將標(biāo)準(zhǔn)化文本序列、標(biāo)準(zhǔn)化圖像特征與狀態(tài)序列進(jìn)行多模態(tài)融合，得到增強(qiáng)狀態(tài)序列；對(duì)增強(qiáng)狀態(tài)序列、動(dòng)作序列和獎(jiǎng)勵(lì)序列進(jìn)行分布特征提取和校準(zhǔn)處理，得到校準(zhǔn)后狀態(tài)序列、校準(zhǔn)后動(dòng)作序列和校準(zhǔn)后獎(jiǎng)勵(lì)序列；基于校準(zhǔn)后狀態(tài)序列、校準(zhǔn)后動(dòng)作序列和校準(zhǔn)后獎(jiǎng)勵(lì)序列，構(gòu)建任務(wù)特征并計(jì)算相似度，得到任務(wù)相似度矩陣；

4、s2、基于增強(qiáng)狀態(tài)序列、校準(zhǔn)后動(dòng)作序列、校準(zhǔn)后獎(jiǎng)勵(lì)序列和任務(wù)相似度矩陣，采用多層級(jí)注意力機(jī)制進(jìn)行特征提取，得到融合注意力特征；基于融合注意力特征，構(gòu)建分層預(yù)測(cè)網(wǎng)絡(luò)，進(jìn)行序列預(yù)測(cè)，得到預(yù)測(cè)結(jié)果序列；基于預(yù)配置的初始模型和校準(zhǔn)后狀態(tài)序列，構(gòu)建記憶緩沖池，得到優(yōu)化記憶池；基于優(yōu)化記憶池，進(jìn)行多任務(wù)知識(shí)蒸餾，得到學(xué)生模型參數(shù)；基于任務(wù)相似度矩陣，對(duì)學(xué)生模型參數(shù)進(jìn)行任務(wù)適應(yīng)性增強(qiáng)，得到適應(yīng)性模型參數(shù)；基于預(yù)測(cè)結(jié)果序列和適應(yīng)性模型參數(shù)，進(jìn)行離線序列預(yù)測(cè)訓(xùn)練，得到預(yù)訓(xùn)練模型參數(shù)和代表性樣本集；

5、s3、分析預(yù)訓(xùn)練模型參數(shù)在歷史任務(wù)上的表現(xiàn)，得到穩(wěn)定性評(píng)估報(bào)告；基于預(yù)存儲(chǔ)的新任務(wù)數(shù)據(jù)，計(jì)算可塑性需求，得到可塑性控制參數(shù)；基于穩(wěn)定性評(píng)估報(bào)告和可塑性控制參數(shù)，對(duì)模型進(jìn)行在線知識(shí)遷移，得到遷移后模型參數(shù)；基于遷移后模型參數(shù)、代表性樣本集和優(yōu)化記憶池，進(jìn)行經(jīng)驗(yàn)回放和參數(shù)優(yōu)化，得到優(yōu)化后模型參數(shù)；

6、s4、基于優(yōu)化后模型參數(shù)，進(jìn)行多維度模型性能評(píng)估，得到綜合性能指標(biāo)；基于綜合性能指標(biāo)，動(dòng)態(tài)調(diào)整模型參數(shù)，得到調(diào)優(yōu)后參數(shù)；基于調(diào)優(yōu)后參數(shù)，收集系統(tǒng)資源使用狀態(tài)，得到資源占用數(shù)據(jù)；基于資源占用數(shù)據(jù)，優(yōu)化資源分配策略，得到優(yōu)化配置參數(shù)；基于優(yōu)化配置參數(shù)，監(jiān)控系統(tǒng)運(yùn)行狀態(tài)，檢測(cè)和處理異常情況，得到系統(tǒng)狀態(tài)報(bào)告。

7、一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策模型，包括：

8、至少一個(gè)處理器；以及，

9、與至少一個(gè)所述處理器通信連接的存儲(chǔ)器；其中，

10、所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的指令，所述指令用于被所述處理器執(zhí)行以實(shí)現(xiàn)所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法。

11、有益效果，本發(fā)明實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量的優(yōu)化和特征表示的增強(qiáng)，提高了模型的預(yù)測(cè)能力和知識(shí)遷移效率，實(shí)現(xiàn)了模型在持續(xù)學(xué)習(xí)過(guò)程中的動(dòng)態(tài)平衡，保證了系統(tǒng)的穩(wěn)定運(yùn)行和持續(xù)優(yōu)化；不僅提升了模型的學(xué)習(xí)效率和泛化能力，還保證了系統(tǒng)的可靠性和可持續(xù)性，為復(fù)雜場(chǎng)景下的智能決策提供了強(qiáng)有力的技術(shù)支持。

技術(shù)特征：

1.一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s1進(jìn)一步為：

3.根據(jù)權(quán)利要求2所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s2進(jìn)一步為：

4.根據(jù)權(quán)利要求3所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s3進(jìn)一步為：

5.根據(jù)權(quán)利要求4所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s4進(jìn)一步為：

6.根據(jù)權(quán)利要求5所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s11進(jìn)一步為：

7.根據(jù)權(quán)利要求5所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s14進(jìn)一步為：

8.根據(jù)權(quán)利要求5所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s22進(jìn)一步為：

9.根據(jù)權(quán)利要求5所述的離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法，其特征在于，步驟s31進(jìn)一步為：

10.一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策模型，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種離線強(qiáng)化學(xué)習(xí)和持續(xù)在線微調(diào)的決策方法和模型，該方法包括獲取原始文本?圖像對(duì)數(shù)據(jù)和歷史軌跡數(shù)據(jù)，通過(guò)特征匹配驗(yàn)證和標(biāo)準(zhǔn)化處理得到增強(qiáng)狀態(tài)序列；利用多層級(jí)注意力機(jī)制進(jìn)行序列預(yù)測(cè)，并通過(guò)知識(shí)蒸餾和任務(wù)適應(yīng)性增強(qiáng)得到預(yù)訓(xùn)練模型參數(shù)；基于穩(wěn)定性評(píng)估和可塑性控制對(duì)模型進(jìn)行在線知識(shí)遷移，結(jié)合經(jīng)驗(yàn)回放優(yōu)化得到優(yōu)化后模型參數(shù)；最后進(jìn)行多維度性能評(píng)估和資源優(yōu)化。本發(fā)明通過(guò)多模態(tài)特征融合、動(dòng)態(tài)知識(shí)遷移和自適應(yīng)優(yōu)化機(jī)制，有效解決了特征表示不充分、災(zāi)難性遺忘和優(yōu)化效率低等問題，提高了模型的學(xué)習(xí)效率和泛化能力。

技術(shù)研發(fā)人員：胡慶浩,丁嘉慕,王培松,李成華,程健
受保護(hù)的技術(shù)使用者：中科南京人工智能創(chuàng)新研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6