本發(fā)明涉及直流微電網領域，尤其是涉及一種基于遷移學習的無模型微電網控制方法、系統(tǒng)及介質。

背景技術：

1、直流微電網由于不存在交流微電網中的無功、頻率等問題，在能源分配和電能質量控制方面更具優(yōu)勢。同時，直流微電網具有控制簡單、系統(tǒng)成本低、可靠性高、效率高等特點，這使其在多種應用場景中表現出色。例如，在可再生能源接入和儲能系統(tǒng)集成方面，直流微電網能夠更高效地處理來自光伏發(fā)電、風能發(fā)電等分布式能源的電力輸出，減少了能量轉換過程中的損耗，從而提高了整體能源利用效率。此外，直流微電網還能簡化電力電子設備的結構設計，降低設備制造和維護成本。為了兼顧直流微電網的瞬態(tài)和穩(wěn)態(tài)性能，現有方法可分為以下幾類：

2、1.采用基于模型的控制方法，如中國專利cn117424284b一種基于fcs-mpc的光儲直流微電網系統(tǒng)控制方法，基于有限控制集模型預測控制，分別構建分布式光伏發(fā)電單元的開關管控制預測模型和分布式儲能單元的開關管控制預測模型，并基于所構建模型進行預測控制；基于光儲直流微電網系統(tǒng)不同的運行模式，利用分布式光伏發(fā)電單元的開關管控制預測模型和分布式儲能單元的開關管控制預測模型進行預測控制，分別改變分布式光伏發(fā)電單元和分布式儲能單元的開關管狀態(tài)，使得光儲直流微電網系統(tǒng)的功率平衡，實現光儲直流微電網中多臺分布式光伏發(fā)電單元、分布式儲能單元的輸出功率在無需通訊的情況下按照預先設定自動分配，提高了光儲直流微電網中各個單元的利用率，且動態(tài)響應優(yōu)越，魯棒性強。這類方法通過對電力電子系統(tǒng)精確建模來描述系統(tǒng)動態(tài)行為的控制策略，具有高精度、快速響應、較強的適應性和魯棒性等優(yōu)點。但是存在對精確模型的依賴、計算復雜度高等缺點。

3、2.基于無模型的控制方法，如中國專利cn118263842b公開了一種基于多代理系統(tǒng)和深度強化學習的直流微網協(xié)調控制方法，以基于分布式控制架構的孤島直流微電網電壓穩(wěn)定和電流均流為目標，引入多代理系統(tǒng)的管理體系及通信機制，同時采用了深度確定性策略梯度算法(ddpg)，對直流微電網進行控制，以實現目標任務。該方法改進了傳統(tǒng)直流微電網下垂控制的局限性，可以解決孤立微電網負荷分配無法同時滿足高精度功率均衡及調壓要求，極大提高直流微電網的穩(wěn)定性。這類方法可以不需要對系統(tǒng)進行建模，直接在實際控制的過程中進行學習和優(yōu)化，大大提高了直流微電網控制的實用性和魯棒性，同時也大大減少了電力電子控制器設計領域中需要探索的設計空間，主要包括深度強化學習等。但是其性能在很大程度上取決于訓練數據的多樣性和覆蓋范圍，目前仍然存在數據稀缺和樣本復雜度不足等問題。

技術實現思路

1、本發(fā)明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于遷移學習的無模型微電網控制方法、系統(tǒng)及介質，提高深度強化學習控制器的瞬態(tài)性能、穩(wěn)態(tài)性能和泛化性能。

2、本發(fā)明的目的可以通過以下技術方案來實現：

3、一種基于遷移學習的無模型微電網控制方法，其特征在于，包括以下步驟：

4、將直流微電網分割為多個變換器，構建變換器仿真模型；

5、結合所述變換器仿真模型實現深度強化學習ddqn算法，構建獎勵函數、動作空間和狀態(tài)空間，并對所述狀態(tài)空間進行歸一化處理；

6、調整所述深度強化學習ddqn算法參數；

7、使用所述深度強化學習ddqn算法和獎勵函數訓練所述變換器，重構映射函數；

8、在所述映射函數中輸入動作空間，輸出占空比到pwm中，通過動態(tài)調節(jié)所述占空比來調節(jié)變換器輸出電壓及輸出功率，實現對所述直流微電網的無模型控制。

9、進一步地，所述深度強化學習ddqn算法參數包括訓練回合數、學習率、經驗緩沖區(qū)長度、平滑因子、折扣因子、獎勵函數獎勵項及懲罰項和獎勵函數子目標。

10、進一步地，所述獎勵函數如下式：

11、

12、式中，e(t)為輸出電壓與母線參考電壓之間的跟蹤誤差，α1～4分別代表對應子任務的獎勵項，τ1～5分別代表分解后的子任務的臨界范圍，β代表每個子任務的懲罰項。

13、進一步地，所述母線參考電壓由下垂控制得到，計算公式如下：

14、vdroop＝voutref-kdipi

15、式中，vdroop為母線參考電壓，voutref為指定參考電壓，pi為第i個變換器的輸出功率，kdi為第i個變換器的下垂系數；

16、所述跟蹤誤差的計算公式如下：

17、e(t)＝vdroop-v0(t)

18、式中，v0(t)為所述變換器的輸出電壓。

19、進一步地，所述狀態(tài)空間如下式：

20、

21、式中，st為狀態(tài)空間，為輸出電壓的延遲信號，v′0(t)為輸出電壓對時間的導數，edelay(t)為跟蹤誤差的延遲信號，e′(t)為跟蹤誤差對時間的導數。

22、進一步地，將所述狀態(tài)空間進行歸一化處理，表達式如下：

23、

24、式中，s′i為進行歸一化之后的狀態(tài)輸出，si為輸入的未經歸一化的狀態(tài)，smin為當前輸入狀態(tài)空間的最小值，smax為當前輸入狀態(tài)空間的最大值。

25、進一步地，使用深度強化學習ddqn算法訓練所述變換器的訓練步驟如下：

26、將直流微電網看作是n個變換器的組合，然后將其分割為n個變換器；

27、若為首次使用深度強化學習訓練，直接訓練第一個變換器，然后使用電壓電流雙閉環(huán)pi控制其余的變換器；訓練完成后，提取第一個智能體的權重和偏置，重構為映射函數；

28、若為訓練第j個變換器，先將前j-1個映射函數應用到對應的變換器上，然后使用深度強化學習ddqn算法訓練變換器j，對于剩下的變換器，仍然使用電壓電流雙閉環(huán)pi控制；

29、重復上述步驟，直到所有的pi控制器被所述映射函數所取代。

30、進一步地，所述映射函數如下式：

31、

32、式中，w為權重向量，b為偏置項，x為輸入特征向量，a為加權和，y為神經元最終輸出，max(0,a)為relu激活函數。

33、按照本發(fā)明的另一方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執(zhí)行時，能實現所述的基于遷移學習的無模型微電網控制方法。

34、按照本發(fā)明的另一方面，提供了一種基于遷移學習的無模型微電網智能控制系統(tǒng)，包括：

35、仿真模型構建模塊，用于將直流微電網分割為多個變換器，構建變換器仿真模型；

36、深度強化學習控制器設計模塊，用于結合所述變換器仿真模型實現深度強化學習ddqn算法，構建獎勵函數、動作空間和狀態(tài)空間，并對所述狀態(tài)空間進行歸一化處理；

37、算法參數調整模塊，用于調整所述深度強化學習ddqn算法參數；

38、變換器訓練模塊，用于使用所述深度強化學習ddqn算法和獎勵函數訓練所述變換器，重構映射函數；

39、無模型控制模塊，用于在所述映射函數中輸入動作空間，輸出占空比到pwm中，通過動態(tài)調節(jié)所述占空比來調節(jié)變換器輸出電壓及輸出功率，實現對所述直流微電網的無模型控制。

40、與現有技術相比，本發(fā)明具有以下有益效果：

41、1.本發(fā)明通過將直流微電網分割為多個變換器，構建變換器仿真模型并實現深度強化學習ddqn算法，調整算法參數并對狀態(tài)空間進行歸一化處理，提出了一種基于遷移學習的領域自適應的交互式訓練方法，利用其它控制器逐步引導深度強化學習控制器的學習，從而提高其在不同工作條件下的泛化性能。

42、2.本發(fā)明通過應用無模型深度強化學習技術，將從動作空間輸出的相應占空比信號反饋到pwm發(fā)生器中，pwm發(fā)生器據此生成控制信號，用于調節(jié)變換器的輸出電壓及輸出功率，所提出的深度強化學習控制器可以自適應地調節(jié)直流母線電壓并實現精確的功率分配，從而顯著提高其瞬態(tài)和穩(wěn)態(tài)性能。