本發(fā)明涉及電源管理，尤其涉及一種用于芯片的電源轉(zhuǎn)換控制方法及系統(tǒng)。

背景技術(shù)：

1、隨著集成電路技術(shù)的不斷發(fā)展，芯片的功能日益復(fù)雜，對(duì)電源的要求也越來(lái)越高，為了滿足芯片的供電需求，通常需要使用電源轉(zhuǎn)換電路將外部電源轉(zhuǎn)換為芯片所需的工作電壓，然而，傳統(tǒng)的電源轉(zhuǎn)換控制方法存在著一些局限性，難以適應(yīng)現(xiàn)代芯片的高性能、低功耗、高可靠性等要求；

2、現(xiàn)有技術(shù)中，電源轉(zhuǎn)換控制通常采用固定的控制策略，如固定的轉(zhuǎn)換頻率、固定的占空比等，現(xiàn)有的控制方式控制方式缺乏靈活性，無(wú)法根據(jù)芯片的實(shí)際工作狀態(tài)進(jìn)行動(dòng)態(tài)調(diào)整，導(dǎo)致電源轉(zhuǎn)換效率低下，能量損耗較大，同時(shí)，固定的控制策略難以應(yīng)對(duì)芯片工作環(huán)境的變化，如溫度波動(dòng)、負(fù)載變化等，可能引起電源輸出不穩(wěn)定，影響芯片的正常工作；

3、因此，亟需一種方案解決現(xiàn)有技術(shù)中存在的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種用于芯片的電源轉(zhuǎn)換控制方法及系統(tǒng)，至少能解決現(xiàn)有技術(shù)中存在的部分問(wèn)題。

2、本發(fā)明實(shí)施例的第一方面，提供一種用于芯片的電源轉(zhuǎn)換控制方法，包括：

3、基于近端策略優(yōu)化算法，結(jié)合時(shí)序差分學(xué)習(xí)和多步自舉返回技術(shù)構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的電源轉(zhuǎn)換優(yōu)化模型，結(jié)合芯片的電源轉(zhuǎn)換控制特點(diǎn)確定所述電源轉(zhuǎn)換優(yōu)化模型的狀態(tài)空間、動(dòng)作函數(shù)和獎(jiǎng)勵(lì)值，隨機(jī)生成模型訓(xùn)練樣本并結(jié)合近端策略優(yōu)化算法對(duì)所述電源轉(zhuǎn)換優(yōu)化模型進(jìn)行預(yù)訓(xùn)練，生成初始策略網(wǎng)絡(luò)參數(shù)和初始價(jià)值網(wǎng)絡(luò)參數(shù)，結(jié)合遷移學(xué)習(xí)技術(shù)將訓(xùn)練得到的參數(shù)遷移至實(shí)際控制環(huán)境中，得到訓(xùn)練完成的電源轉(zhuǎn)換優(yōu)化模型；

4、獲取待測(cè)芯片的工作狀態(tài)參數(shù)和外部電源電壓添加至所述電源轉(zhuǎn)換優(yōu)化模型，通過(guò)前向推理生成最優(yōu)轉(zhuǎn)換控制策略，基于所述最優(yōu)轉(zhuǎn)換控制策略和智能過(guò)零檢測(cè)算法，通過(guò)轉(zhuǎn)換執(zhí)行單元調(diào)整所述外部電源電壓，結(jié)合閉環(huán)反饋控制機(jī)制對(duì)所述待測(cè)芯片的工作電壓進(jìn)行調(diào)整，生成第二工作狀態(tài)參數(shù)，提取所述第二工作狀態(tài)參數(shù)對(duì)應(yīng)的狀態(tài)變化特征并判斷是否發(fā)生顯著變化，若是，則重新生成所述最優(yōu)轉(zhuǎn)換控制策略，否則將所述第二工作狀態(tài)參數(shù)和所述最優(yōu)轉(zhuǎn)換控制策略打包，生成運(yùn)行日志；

5、對(duì)于所述運(yùn)行日志，通過(guò)自然語(yǔ)言處理技術(shù)進(jìn)行語(yǔ)義解析和關(guān)鍵信息提取，確定關(guān)鍵參數(shù)并通過(guò)時(shí)間序列分析算法對(duì)所述第二工作狀態(tài)參數(shù)進(jìn)行特征工程，確定時(shí)序特征并通過(guò)關(guān)聯(lián)規(guī)則挖掘算法確定關(guān)聯(lián)規(guī)則，生成優(yōu)化控制規(guī)則集，基于所述優(yōu)化控制規(guī)則集訓(xùn)練預(yù)先設(shè)置的基學(xué)習(xí)器并組合得到集成優(yōu)化模型，將所述集成優(yōu)化模型與所述電源轉(zhuǎn)換優(yōu)化模型融合，結(jié)合主動(dòng)學(xué)習(xí)機(jī)制，根據(jù)預(yù)測(cè)不確定性選擇芯片工況并進(jìn)行增量學(xué)習(xí)，得到候選轉(zhuǎn)換模型并通過(guò)專家知識(shí)庫(kù)中的測(cè)試數(shù)據(jù)集進(jìn)行優(yōu)化效果評(píng)估，重復(fù)評(píng)估直至達(dá)到預(yù)設(shè)的最大迭代次數(shù)，將具有最高優(yōu)化效果的候選轉(zhuǎn)換模型的參數(shù)作為最優(yōu)參數(shù)進(jìn)行反饋并對(duì)當(dāng)前待測(cè)芯片進(jìn)行電源轉(zhuǎn)換。

6、在一種可選的實(shí)施方式中，

7、基于近端策略優(yōu)化算法，結(jié)合時(shí)序差分學(xué)習(xí)和多步自舉返回技術(shù)構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的電源轉(zhuǎn)換優(yōu)化模型，結(jié)合芯片的電源轉(zhuǎn)換控制特點(diǎn)確定所述電源轉(zhuǎn)換優(yōu)化模型的狀態(tài)空間、動(dòng)作函數(shù)和獎(jiǎng)勵(lì)值，隨機(jī)生成模型訓(xùn)練樣本并結(jié)合近端策略優(yōu)化算法對(duì)所述電源轉(zhuǎn)換優(yōu)化模型進(jìn)行預(yù)訓(xùn)練，生成初始策略網(wǎng)絡(luò)參數(shù)和初始價(jià)值網(wǎng)絡(luò)參數(shù)，結(jié)合遷移學(xué)習(xí)技術(shù)將訓(xùn)練得到的參數(shù)遷移至實(shí)際控制環(huán)境中，得到訓(xùn)練完成的電源轉(zhuǎn)換優(yōu)化模型包括：

8、基于近端策略優(yōu)化算法，結(jié)合時(shí)序差分學(xué)習(xí)和多步自舉返回技術(shù)構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的電源轉(zhuǎn)換優(yōu)化模型，在所述電源轉(zhuǎn)換優(yōu)化模型中設(shè)置策略網(wǎng)絡(luò)、價(jià)值網(wǎng)絡(luò)和經(jīng)驗(yàn)回放緩沖區(qū)；

9、基于電源系統(tǒng)的狀態(tài)變量設(shè)置狀態(tài)空間，基于操作控制定義動(dòng)作函數(shù)，基于電源轉(zhuǎn)換需求設(shè)置性能指標(biāo)，基于所述性能指標(biāo)確定獎(jiǎng)勵(lì)值，其中，所述狀態(tài)空間包括電壓、電流、溫度和負(fù)載條件，所述操作控制包括電壓轉(zhuǎn)換曲線參數(shù)和轉(zhuǎn)換時(shí)序控制參數(shù)，所述性能指標(biāo)包括芯片性能，能耗水平和芯片溫升；

10、基于芯片信息構(gòu)建電源轉(zhuǎn)換仿真環(huán)境，在所述電源轉(zhuǎn)換仿真環(huán)境中采集芯片對(duì)應(yīng)的狀態(tài)參數(shù)，電源轉(zhuǎn)換控制參數(shù)和性能指標(biāo)，隨機(jī)生成初始訓(xùn)練樣本并通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)在所述初始訓(xùn)練樣本中添加隨機(jī)擾動(dòng)并對(duì)相鄰樣本數(shù)據(jù)進(jìn)行插值計(jì)算，得到構(gòu)建完成的模型訓(xùn)練樣本集；

11、基于所述模型訓(xùn)練樣本集對(duì)所述電源轉(zhuǎn)換優(yōu)化模型進(jìn)行預(yù)訓(xùn)練，通過(guò)所述的策略網(wǎng)絡(luò)在所述模型訓(xùn)練樣本集中進(jìn)行采樣，得到多個(gè)軌跡數(shù)據(jù)，其中，所述軌跡數(shù)據(jù)包含多個(gè)狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)信息，對(duì)每個(gè)軌跡中的狀態(tài)和動(dòng)作計(jì)算優(yōu)勢(shì)函數(shù)值和重要性采樣比，對(duì)所述重要性采樣比進(jìn)行截?cái)?，基于截?cái)嗪蟮闹匾圆蓸颖群退鰞?yōu)勢(shì)函數(shù)值計(jì)算策略網(wǎng)絡(luò)的損失函數(shù)值，基于策略網(wǎng)絡(luò)對(duì)應(yīng)的損失函數(shù)對(duì)策略網(wǎng)絡(luò)參數(shù)求梯度并結(jié)合優(yōu)化器進(jìn)行參數(shù)更新，得到所述初始策略網(wǎng)絡(luò)參數(shù)；

12、使用當(dāng)前價(jià)值網(wǎng)絡(luò)對(duì)所述模型訓(xùn)練樣本集中的每個(gè)狀態(tài)估計(jì)對(duì)應(yīng)的價(jià)值函數(shù)值，結(jié)合時(shí)序差分學(xué)習(xí)原理，通過(guò)每個(gè)狀態(tài)的即時(shí)獎(jiǎng)勵(lì)和下一狀態(tài)的估計(jì)值計(jì)算時(shí)序差分學(xué)習(xí)目標(biāo)值，將所述時(shí)序差分學(xué)習(xí)目標(biāo)值作為狀態(tài)價(jià)值函數(shù)的學(xué)習(xí)目標(biāo)，基于所述價(jià)值函數(shù)值和所述時(shí)序差分學(xué)習(xí)目標(biāo)值求解價(jià)值網(wǎng)絡(luò)的梯度并結(jié)合優(yōu)化器進(jìn)行參數(shù)更新，得到所述初始價(jià)值網(wǎng)絡(luò)參數(shù)；

13、基于所述初始策略網(wǎng)絡(luò)參數(shù)和所述初始價(jià)值網(wǎng)絡(luò)參數(shù)，通過(guò)遷移學(xué)習(xí)加載至實(shí)際控制環(huán)境的模型中作為初始參數(shù)，在實(shí)際控制環(huán)境中運(yùn)行電源控制系統(tǒng)，采集數(shù)據(jù)并生成目標(biāo)域訓(xùn)練樣本，通過(guò)所述目標(biāo)域訓(xùn)練樣本對(duì)所述策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)進(jìn)行訓(xùn)練，重復(fù)訓(xùn)練直至達(dá)到預(yù)設(shè)的最大訓(xùn)練次數(shù)或模型性能達(dá)標(biāo)，得到優(yōu)化模型參數(shù)并添加至電源轉(zhuǎn)換優(yōu)化模型中，得到訓(xùn)練完成的電源轉(zhuǎn)換優(yōu)化模型。

14、在一種可選的實(shí)施方式中，

15、基于截?cái)嗪蟮闹匾圆蓸颖群退鰞?yōu)勢(shì)函數(shù)值計(jì)算策略網(wǎng)絡(luò)的損失函數(shù)值如下公式所示：

16、；

17、其中， l( θ)表示損失函數(shù)值， θ表示策略網(wǎng)絡(luò)當(dāng)前的參數(shù)， n表示采樣得到的狀態(tài)-動(dòng)作對(duì)， a i表示第 i個(gè)狀態(tài)-動(dòng)作對(duì)的優(yōu)勢(shì)函數(shù)值，表示在當(dāng)前策略 π θ下，給定狀態(tài) s i時(shí)采取動(dòng)作 a i的概率，表示在上一次的迭代策略下，給定狀態(tài) s i時(shí)采取動(dòng)作 a i的概率， ε表示一個(gè)超參數(shù)，用于控制重要性采樣比的截?cái)喾秶?

18、在一種可選的實(shí)施方式中，

19、獲取待測(cè)芯片的工作狀態(tài)參數(shù)和外部電源電壓添加至所述電源轉(zhuǎn)換優(yōu)化模型，通過(guò)前向推理生成最優(yōu)轉(zhuǎn)換控制策略，基于所述最優(yōu)轉(zhuǎn)換控制策略和智能過(guò)零檢測(cè)算法，通過(guò)轉(zhuǎn)換執(zhí)行單元調(diào)整所述外部電源電壓，結(jié)合閉環(huán)反饋控制機(jī)制對(duì)所述待測(cè)芯片的工作電壓進(jìn)行調(diào)整，生成第二工作狀態(tài)參數(shù)，提取所述第二工作狀態(tài)參數(shù)對(duì)應(yīng)的狀態(tài)變化特征并判斷是否發(fā)生顯著變化，若是，則重新生成所述最優(yōu)轉(zhuǎn)換控制策略，否則將所述第二工作狀態(tài)參數(shù)和所述最優(yōu)轉(zhuǎn)換控制策略打包，生成運(yùn)行日志包括：

20、通過(guò)預(yù)先設(shè)置的數(shù)據(jù)采集模塊實(shí)時(shí)采集待測(cè)芯片的工作狀態(tài)參數(shù)和外部電源的實(shí)時(shí)電壓值，其中，所述工作狀態(tài)參數(shù)包括芯片的電壓、電流、溫度和負(fù)載條件，將所述實(shí)時(shí)電壓值作為轉(zhuǎn)換控制的基準(zhǔn)電壓，對(duì)采集到的工作狀態(tài)參數(shù)進(jìn)行特征提取和歸一化處理，轉(zhuǎn)換為所述電源轉(zhuǎn)換優(yōu)化模型的輸入格式并將轉(zhuǎn)換后的工作狀態(tài)參數(shù)和外部電源電壓組合為輸入向量，添加至所述電源轉(zhuǎn)換優(yōu)化模型中；

21、基于所述輸入向量，所述電源轉(zhuǎn)換優(yōu)化模型中的策略網(wǎng)絡(luò)通過(guò)前向傳播計(jì)算生成動(dòng)作概率分布，對(duì)所述動(dòng)作概率分布進(jìn)行采樣生成轉(zhuǎn)換控制動(dòng)作并作為當(dāng)前狀態(tài)下的最優(yōu)轉(zhuǎn)換控制策略，將所述最優(yōu)轉(zhuǎn)換控制策略解碼為電壓轉(zhuǎn)換曲線和轉(zhuǎn)換時(shí)序控制參數(shù)，基于智能過(guò)零檢測(cè)算法確定電壓過(guò)零點(diǎn)的時(shí)間和位置，結(jié)合所述電壓轉(zhuǎn)換曲線和所述轉(zhuǎn)換時(shí)序控制參數(shù)生成電源轉(zhuǎn)換控制指令序列，轉(zhuǎn)換執(zhí)行單元根據(jù)所述電源轉(zhuǎn)換控制指令序列在電壓過(guò)零點(diǎn)進(jìn)行開(kāi)關(guān)切換和參數(shù)調(diào)整，結(jié)合閉環(huán)反饋控制機(jī)制實(shí)時(shí)監(jiān)測(cè)芯片的工作電壓并與目標(biāo)電壓進(jìn)行比較，計(jì)算電壓誤差并生成反饋控制信號(hào)，將所述反饋控制信號(hào)與所述電源轉(zhuǎn)換控制指令序列進(jìn)行融合，對(duì)所述轉(zhuǎn)換執(zhí)行單元的控制參數(shù)進(jìn)行動(dòng)態(tài)調(diào)整；

22、在閉環(huán)反饋控制機(jī)制完成后，獲取芯片最新工作狀態(tài)參數(shù)作為第二工作狀態(tài)參數(shù)并提取狀態(tài)變化特征，其中，所述狀態(tài)變化特征包括電壓和電流偏度，將所述狀態(tài)變化特征與預(yù)先設(shè)置的波動(dòng)閾值進(jìn)行比較，若所述狀態(tài)變化特征大于所述波動(dòng)閾值，則認(rèn)為芯片工作狀態(tài)發(fā)生明顯變化，將所述第二工作狀態(tài)添加至所述電源轉(zhuǎn)換優(yōu)化模型中并前向傳播生成所述最優(yōu)轉(zhuǎn)換控制策略，否則保留當(dāng)前最優(yōu)轉(zhuǎn)換控制策略，將所述第二工作狀態(tài)參數(shù)和當(dāng)前的最優(yōu)轉(zhuǎn)換控制策略打包，生成運(yùn)行日志。

23、在一種可選的實(shí)施方式中，

24、獲取芯片最新工作狀態(tài)參數(shù)作為第二工作狀態(tài)參數(shù)并提取狀態(tài)變化特征如下公式所示：

25、；

26、其中， t表示當(dāng)前時(shí)間點(diǎn)， g表示時(shí)間窗口內(nèi)的任意時(shí)間點(diǎn)， m表示時(shí)間窗口大小， v( g)表示時(shí)間點(diǎn) g的電壓值， i( g)表示時(shí)間點(diǎn) g的電流值， μ v( t)表示時(shí)間窗口內(nèi)的加權(quán)電壓均值， μ i( t)表示時(shí)間窗口內(nèi)的加權(quán)電流均值， σ v( t)表示時(shí)間窗口內(nèi)的加權(quán)電壓標(biāo)準(zhǔn)差， σ i( t)表示時(shí)間窗口內(nèi)的加權(quán)電流標(biāo)準(zhǔn)差， w g表示時(shí)間點(diǎn) g的權(quán)重。

27、在一種可選的實(shí)施方式中，

28、對(duì)于所述運(yùn)行日志，通過(guò)自然語(yǔ)言處理技術(shù)進(jìn)行語(yǔ)義解析和關(guān)鍵信息提取，確定關(guān)鍵參數(shù)并通過(guò)時(shí)間序列分析算法對(duì)所述第二工作狀態(tài)參數(shù)進(jìn)行特征工程，確定時(shí)序特征并通過(guò)關(guān)聯(lián)規(guī)則挖掘算法確定關(guān)聯(lián)規(guī)則，生成優(yōu)化控制規(guī)則集，基于所述優(yōu)化控制規(guī)則集訓(xùn)練預(yù)先設(shè)置的基學(xué)習(xí)器并組合得到集成優(yōu)化模型，將所述集成優(yōu)化模型與所述電源轉(zhuǎn)換優(yōu)化模型融合，結(jié)合主動(dòng)學(xué)習(xí)機(jī)制，根據(jù)預(yù)測(cè)不確定性選擇芯片工況并進(jìn)行增量學(xué)習(xí)，得到候選轉(zhuǎn)換模型并通過(guò)專家知識(shí)庫(kù)中的測(cè)試數(shù)據(jù)集進(jìn)行優(yōu)化效果評(píng)估，重復(fù)評(píng)估直至達(dá)到預(yù)設(shè)的最大迭代次數(shù)，將具有最高優(yōu)化效果的候選轉(zhuǎn)換模型的參數(shù)作為最優(yōu)參數(shù)進(jìn)行反饋并對(duì)當(dāng)前待測(cè)芯片進(jìn)行電源轉(zhuǎn)換包括：

29、對(duì)所述運(yùn)行日志進(jìn)行預(yù)處理，結(jié)合自然語(yǔ)言處理技術(shù)進(jìn)行語(yǔ)義解析，識(shí)別關(guān)鍵實(shí)體、屬性和關(guān)系，結(jié)合領(lǐng)域本體和知識(shí)圖譜對(duì)提取得到的實(shí)體和關(guān)系進(jìn)行語(yǔ)義關(guān)聯(lián)和推理，構(gòu)建所述運(yùn)行日志的語(yǔ)義表示，結(jié)合關(guān)鍵詞提取和文本摘要技術(shù)從所述語(yǔ)義表示中提取關(guān)鍵參數(shù)和關(guān)鍵信息并進(jìn)行結(jié)構(gòu)化表示和存儲(chǔ)，得到運(yùn)行日志的結(jié)構(gòu)化特征；

30、對(duì)所述第二工作狀態(tài)參數(shù)進(jìn)行時(shí)間序列分解，提取趨勢(shì)項(xiàng)、周期項(xiàng)和隨機(jī)項(xiàng)，確定長(zhǎng)期趨勢(shì)，結(jié)合偏自相關(guān)分析算法計(jì)算所述第二工作狀態(tài)參數(shù)的偏自相關(guān)系數(shù)并確定短期依賴關(guān)系，通過(guò)平穩(wěn)性檢驗(yàn)判斷所述第二工作狀態(tài)參數(shù)的平穩(wěn)性并根據(jù)所述平穩(wěn)性選擇差分階數(shù)進(jìn)行平穩(wěn)化處理，對(duì)平穩(wěn)化處理后的第二工作狀態(tài)參數(shù)進(jìn)行特征提取，結(jié)合時(shí)間延遲技術(shù)構(gòu)建所述第二工作狀態(tài)參數(shù)對(duì)應(yīng)的時(shí)間序列特征，得到所述時(shí)序特征；

31、基于所述結(jié)構(gòu)化特征和所述時(shí)序特征構(gòu)建專家知識(shí)庫(kù)，通過(guò)關(guān)聯(lián)規(guī)則挖掘算法確定運(yùn)行日志特征之間的頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則，對(duì)所述關(guān)聯(lián)規(guī)則進(jìn)行評(píng)估和篩選，選擇強(qiáng)關(guān)聯(lián)規(guī)則并進(jìn)行語(yǔ)義解釋和優(yōu)化，確定優(yōu)化控制對(duì)則，對(duì)每個(gè)優(yōu)化控制規(guī)則進(jìn)行沖突檢測(cè)和一致性驗(yàn)證，得到所述優(yōu)化控制規(guī)則集；

32、基于所述優(yōu)化控制規(guī)則集，結(jié)合所述時(shí)序特征和所述結(jié)構(gòu)化特征訓(xùn)練多個(gè)異構(gòu)的基學(xué)習(xí)器，將所述基學(xué)習(xí)器通過(guò)集成學(xué)習(xí)算法進(jìn)行組合，得到候選集成模型，對(duì)所述候選集成模型進(jìn)行超參數(shù)優(yōu)化和模型選擇，得到具有最佳性能的集成優(yōu)化模型，將所述集成優(yōu)化模型與所述電源轉(zhuǎn)換優(yōu)化模型融合，結(jié)合主動(dòng)學(xué)習(xí)機(jī)制和在電源轉(zhuǎn)換優(yōu)化模型運(yùn)行中記錄的預(yù)測(cè)不確定性，對(duì)芯片工況進(jìn)行排序和篩選，選擇具有最高預(yù)測(cè)不確定性的工況作為待標(biāo)注的樣本，對(duì)被選擇的樣本進(jìn)行人工標(biāo)注，得到增量學(xué)習(xí)數(shù)據(jù)集，將所述增量學(xué)習(xí)數(shù)據(jù)集添加至原有的訓(xùn)練數(shù)據(jù)集中，對(duì)融合后的集成優(yōu)化模型和電源轉(zhuǎn)換優(yōu)化模型進(jìn)行增量學(xué)習(xí)和參數(shù)調(diào)整，得到所述候選轉(zhuǎn)換模型；

33、對(duì)于所述候選轉(zhuǎn)換模型，通過(guò)專家知識(shí)庫(kù)中的測(cè)試數(shù)據(jù)集進(jìn)行優(yōu)化效果評(píng)估，計(jì)算每個(gè)評(píng)估指標(biāo)對(duì)應(yīng)的數(shù)據(jù)得到評(píng)估結(jié)果，將所述評(píng)估結(jié)果與所述專家知識(shí)庫(kù)中的性能基準(zhǔn)進(jìn)行比較，若所述評(píng)估結(jié)果大于所述性能基準(zhǔn)，則將當(dāng)前候選轉(zhuǎn)換模型作為最優(yōu)轉(zhuǎn)換模型，當(dāng)前候選轉(zhuǎn)換模型的參數(shù)作為最優(yōu)參數(shù)，通過(guò)所述最優(yōu)轉(zhuǎn)換模型對(duì)當(dāng)前待測(cè)芯片進(jìn)行電源轉(zhuǎn)換，將所述最優(yōu)參數(shù)作為反饋信息對(duì)所述電源轉(zhuǎn)換優(yōu)化模型進(jìn)行反饋調(diào)節(jié)。

34、在一種可選的實(shí)施方式中，

35、結(jié)合偏自相關(guān)分析算法計(jì)算所述第二工作狀態(tài)參數(shù)的偏自相關(guān)系數(shù)如下公式所示：

36、；

37、其中， pacf( k)表示滯后階數(shù)為 k的條件下的偏自相關(guān)系數(shù)， h表示樣本總數(shù)量， j表示樣本索引， x t( j)為時(shí)間序列在時(shí)刻 j的觀測(cè)值，表示在時(shí)間點(diǎn) t的實(shí)際數(shù)據(jù)，表示在滯后階數(shù)為 k的條件下對(duì) x t( j)的預(yù)測(cè)值， x t-k( j)為時(shí)間序列在時(shí)刻 j的滯后 k時(shí)刻的觀測(cè)值，表示在時(shí)間點(diǎn) t-k的實(shí)際數(shù)據(jù)，表示在滯后階數(shù)為 k的條件下對(duì) x t-k( j)的預(yù)測(cè)值。

38、本發(fā)明實(shí)施例的第二方面，提供一種用于芯片的電源轉(zhuǎn)換控制系統(tǒng)，包括：

39、第一單元，用于基于近端策略優(yōu)化算法，結(jié)合時(shí)序差分學(xué)習(xí)和多步自舉返回技術(shù)構(gòu)建基于深度強(qiáng)化學(xué)習(xí)的電源轉(zhuǎn)換優(yōu)化模型，結(jié)合芯片的電源轉(zhuǎn)換控制特點(diǎn)確定所述電源轉(zhuǎn)換優(yōu)化模型的狀態(tài)空間、動(dòng)作函數(shù)和獎(jiǎng)勵(lì)值，隨機(jī)生成模型訓(xùn)練樣本并結(jié)合近端策略優(yōu)化算法對(duì)所述電源轉(zhuǎn)換優(yōu)化模型進(jìn)行預(yù)訓(xùn)練，生成初始策略網(wǎng)絡(luò)參數(shù)和初始價(jià)值網(wǎng)絡(luò)參數(shù)，結(jié)合遷移學(xué)習(xí)技術(shù)將訓(xùn)練得到的參數(shù)遷移至實(shí)際控制環(huán)境中，得到訓(xùn)練完成的電源轉(zhuǎn)換優(yōu)化模型；

40、第二單元，用于獲取待測(cè)芯片的工作狀態(tài)參數(shù)和外部電源電壓添加至所述電源轉(zhuǎn)換優(yōu)化模型，通過(guò)前向推理生成最優(yōu)轉(zhuǎn)換控制策略，基于所述最優(yōu)轉(zhuǎn)換控制策略和智能過(guò)零檢測(cè)算法，通過(guò)轉(zhuǎn)換執(zhí)行單元調(diào)整所述外部電源電壓，結(jié)合閉環(huán)反饋控制機(jī)制對(duì)所述待測(cè)芯片的工作電壓進(jìn)行調(diào)整，生成第二工作狀態(tài)參數(shù)，提取所述第二工作狀態(tài)參數(shù)對(duì)應(yīng)的狀態(tài)變化特征并判斷是否發(fā)生顯著變化，若是，則重新生成所述最優(yōu)轉(zhuǎn)換控制策略，否則將所述第二工作狀態(tài)參數(shù)和所述最優(yōu)轉(zhuǎn)換控制策略打包，生成運(yùn)行日志；

41、第三單元，用于對(duì)于所述運(yùn)行日志，通過(guò)自然語(yǔ)言處理技術(shù)進(jìn)行語(yǔ)義解析和關(guān)鍵信息提取，確定關(guān)鍵參數(shù)并通過(guò)時(shí)間序列分析算法對(duì)所述第二工作狀態(tài)參數(shù)進(jìn)行特征工程，確定時(shí)序特征并通過(guò)關(guān)聯(lián)規(guī)則挖掘算法確定關(guān)聯(lián)規(guī)則，生成優(yōu)化控制規(guī)則集，基于所述優(yōu)化控制規(guī)則集訓(xùn)練預(yù)先設(shè)置的基學(xué)習(xí)器并組合得到集成優(yōu)化模型，將所述集成優(yōu)化模型與所述電源轉(zhuǎn)換優(yōu)化模型融合，結(jié)合主動(dòng)學(xué)習(xí)機(jī)制，根據(jù)預(yù)測(cè)不確定性選擇芯片工況并進(jìn)行增量學(xué)習(xí)，得到候選轉(zhuǎn)換模型并通過(guò)專家知識(shí)庫(kù)中的測(cè)試數(shù)據(jù)集進(jìn)行優(yōu)化效果評(píng)估，重復(fù)評(píng)估直至達(dá)到預(yù)設(shè)的最大迭代次數(shù)，將具有最高優(yōu)化效果的候選轉(zhuǎn)換模型的參數(shù)作為最優(yōu)參數(shù)進(jìn)行反饋并對(duì)當(dāng)前待測(cè)芯片進(jìn)行電源轉(zhuǎn)換。

42、本發(fā)明實(shí)施例的第三方面，

43、提供一種電子設(shè)備，包括：

44、處理器；

45、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

46、其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行前述所述的方法。

47、本發(fā)明實(shí)施例的第四方面，

48、提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述所述的方法。

49、本發(fā)明中，通過(guò)引入深度強(qiáng)化學(xué)習(xí)技術(shù)，構(gòu)建了一個(gè)智能化的電源轉(zhuǎn)換優(yōu)化模型，可以根據(jù)芯片的實(shí)際工作狀態(tài)進(jìn)行動(dòng)態(tài)調(diào)整，實(shí)現(xiàn)電源轉(zhuǎn)換的智能優(yōu)化，提高轉(zhuǎn)換效率，降低能量損耗，結(jié)合了近端策略優(yōu)化算法、時(shí)序差分學(xué)習(xí)和多步自舉返回技術(shù)，使電源轉(zhuǎn)換優(yōu)化模型具備自適應(yīng)的控制決策能力，可以保證電源輸出的穩(wěn)定性，提高芯片的可靠性，通過(guò)時(shí)間序列分析和關(guān)聯(lián)規(guī)則挖掘等技術(shù)，全面感知芯片的工作狀態(tài)，可以獲取更豐富、更全面的狀態(tài)信息，為控制決策提供充分的數(shù)據(jù)支持，實(shí)現(xiàn)更精準(zhǔn)的電源轉(zhuǎn)換優(yōu)化，持續(xù)學(xué)習(xí)和優(yōu)化的能力使電源轉(zhuǎn)換控制始終保持高效、可靠，通過(guò)動(dòng)態(tài)調(diào)整電源轉(zhuǎn)換策略，可以延緩芯片老化進(jìn)程，延長(zhǎng)其使用壽命，提高芯片的可靠性和穩(wěn)定性，綜上，本發(fā)明顯著提高了電源轉(zhuǎn)換效率和可靠性，延長(zhǎng)了芯片的使用壽命，為芯片的電源管理提供了一種高效、可靠、智能化的解決方案，具有廣泛的應(yīng)用前景，可以推動(dòng)芯片技術(shù)的進(jìn)一步發(fā)展和優(yōu)化。