專利名稱：基于強化學習自適應(yīng)比例積分微分配電靜止同步補償器控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種配電靜止同步補償器的控制方法，特別涉及一種
基于強化學習自適應(yīng)PID的配電靜止同步補償器(DSTATC0M)的控制方法。
背景技術(shù)：
隨著科學技術(shù)的發(fā)展，我國電力系統(tǒng)發(fā)展非常迅速，在工業(yè)和生 活用電負載中，感性負載占有很大的比例，而感性負載必須吸收無功 功率才能正常工作，同時這些負載產(chǎn)生的大量諧波電流也要消耗無功 功率。大量無功功率的消耗引起了配電網(wǎng)的電壓波動、閃變和三相不 平衡等一系列電能質(zhì)量問題。同時在配電系統(tǒng)中存在大量的快速沖擊 負荷，如電弧爐負荷，會引起電壓閃變，引起系統(tǒng)電流與電壓的不平 衡性。另一方面，隨著我國國民經(jīng)濟及科技水平的快速發(fā)展，各行各 業(yè)對電能質(zhì)量的要求越來越高，特別是隨著各種電子裝置和精密設(shè)備 的廣泛應(yīng)用，使得用戶希望供電企業(yè)能夠提供高效優(yōu)質(zhì)的電能。 一旦 出現(xiàn)電能質(zhì)量問題，輕則造成設(shè)備故障，重則造成整個系統(tǒng)的損壞， 由此帶來的損失難以估量。所以電能質(zhì)量問題已經(jīng)關(guān)系到整個電力系 統(tǒng)及設(shè)備的安全、穩(wěn)定、經(jīng)濟、可靠運行，并關(guān)系到整個國民經(jīng)濟的 總體效益和發(fā)展戰(zhàn)略。在電力系統(tǒng)迫切需要先進的輸配電技術(shù)來提高電能質(zhì)量和系統(tǒng)穩(wěn)定性的時候，隨著電力電子技術(shù)和現(xiàn)代控制技術(shù)的
迅猛發(fā)展， 一種改變輸配電能力的新技術(shù)-一系統(tǒng)(FACTS)悄然興起。 這樣配電靜止同步補償器(DSTATC0M)代表了未來電力系統(tǒng)無功補償 裝置的發(fā)展趨勢，利用電力電子技術(shù)和現(xiàn)代控制技術(shù)相結(jié)合能綜合的 解決配電網(wǎng)中的多種電能質(zhì)量問題。配電網(wǎng)靜止同步補償器的常規(guī)控 制器設(shè)計是基于其局部線性化模型，由于DSTATC0M模型的非線性和 等效參數(shù)的不確定性特征，使其控制非常困難復雜。目前應(yīng)用較多的 是傳統(tǒng)的PID控制，而采用PID控制時，當?shù)刃?shù)測量不準確或發(fā) 生變動時，控制器的性能會降低甚至不穩(wěn)定，更嚴重會出現(xiàn)控制的誤 操作，燒壞DSTATC0M裝置。所以實現(xiàn)DSTATC0M控制器的自適應(yīng)能力， 具有重要的意義。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種具有良好動態(tài)和靜態(tài)性 能的基于強化學習自適應(yīng)PID的配電靜止同步補償器控制方法，以實 現(xiàn)DSTATC0M控制器的自適應(yīng)能力。
為解決上述技術(shù)問題，本發(fā)明提供一種基于強化學習自適應(yīng)比例 積分微分配電靜止同步補償器控制方法，根據(jù)瞬時功率平衡原理，列 出配電靜止同步補償器數(shù)學模型，并將其從靜止坐標系通過轉(zhuǎn)化矩陣 轉(zhuǎn)換到dq0坐標系中，得出配電靜止同步補償器系統(tǒng)是一個典型的兩 輸入兩輸出的耦合非線性系統(tǒng)，其特征在于將電壓指令值與實際測 量值的誤差經(jīng)強化學習自適應(yīng)比例積分微分調(diào)節(jié)后形成無功指令電 流信號；直流側(cè)電容電壓指令值與實際測量值的誤差經(jīng)強化學習自適應(yīng)比例積分微分調(diào)節(jié)后形成有功指令電流信號，無功指令電流信號和 有功指令電流信號經(jīng)數(shù)學模型中電壓與電流的關(guān)系變換后，形成無功 指令電壓信號和有功指令電壓信號，無功指令電壓信號和有功指令電 壓信號經(jīng)兩/"&坐標變換后作為調(diào)制信號，經(jīng)三角載波調(diào)制后產(chǎn)生脈 寬調(diào)制PWM驅(qū)動信號去控制智能功率模塊的動作，產(chǎn)生需要補償?shù)碾?壓，從而維持了直流側(cè)電容電壓和公共連接點PCC電壓的恒定。
本發(fā)明在DSTATC0M的控制方法中引入強化學習自適應(yīng)PID控制 算法。其中在控制過程中通過強化學習算法對^、《,和^^進行訓練 和學習，并在學習的同時加入解耦要求，使得控制系統(tǒng)能夠根據(jù)模型 參數(shù)的變化來自動調(diào)節(jié)^、 ^和《D的值，使系統(tǒng)達到滿意的控制 結(jié)果。
本發(fā)明所述的基于強化學習自適應(yīng)PID的DSTATC0M控制方法， 維持了直流側(cè)電容電壓和系統(tǒng)節(jié)點電壓的恒定，實現(xiàn)了有效的無功功 率補償。該控制算法根據(jù)瞬時功率平衡原理推導出dq0坐標下的電流 一電壓模型，并提出了適合于此控制系統(tǒng)的強化學習自適應(yīng)PID控制 算法，該控制方法避免了傳統(tǒng)PID控制中等效參數(shù)發(fā)生變動時，控制 器性能不穩(wěn)定的情況，很好的實現(xiàn)了控制器的自適應(yīng)能力，提高了控 制的精確度。


圖1是本發(fā)明的DSTATC0M主電路結(jié)構(gòu)圖2是本發(fā)明控制系統(tǒng)原理圖3是強化學習自適應(yīng)PID的控制算法流程圖
具體實施例方式
參照圖1， w表示電網(wǎng)的三相電壓；e禾卩/則分別表示DSTATCOM 的三相輸出電壓和電流；電阻i 和電感Z分別表示裝置損耗和線路電 抗及連接變壓器漏抗。假設(shè)系統(tǒng)三相電壓為
w0sin W
w =sin— — 2;r / 3)
sin(6^ + 2;r/3)
假設(shè)DSTATCOM輸出電壓為
sin(W —。
= shi一 — 2;r/3 -5)
sin—/ + 2;r — ^
式(2)中，《為變比系數(shù)，5為DSTATCOM輸出電壓^與系統(tǒng)電 壓w,夾角，為可控量。
根據(jù)瞬時功率平衡式得到dq0坐標系中電流一電壓轉(zhuǎn)換公式如
下所示
根據(jù)功率平衡原理，DSTATCOM輸出功率應(yīng)等于注入系統(tǒng)的功 率和等效電阻、電抗消耗的功率之和，艮口 尸,尸。+尸, (3) 2ra+e/ (4)
選擇同步旋轉(zhuǎn)坐標系的"軸與PCC接入點電壓向量重合，可得 = w =0 (5)
將(5)式代入功率平衡式得出
(6)
上式實現(xiàn)了在d-《坐標系中電流^,/,到電壓^, 的轉(zhuǎn)換。由上兩式可以看出，DSTATCOM的電壓控制指令^，e。的形成與等效參數(shù)凡丄密切相關(guān)。如果采用常規(guī)PID控制形成的/:和/:，在等效參數(shù)測量準確并保持不變時，控制器性能優(yōu)越，但是等效參數(shù)可能因難以精確測量、運行工況的變化、由于長期運行引起的器件老化等原因而造成了等效參數(shù)的不確定性。為了提高控制器對系統(tǒng)主要參數(shù)擾動的魯棒性，實現(xiàn)系統(tǒng)的自適應(yīng)能力，本發(fā)明提出了基于強化學習自適應(yīng)PID的DSTATCOM控制方法。
參照圖2，將電壓指令值"V,與實際測量值^^的誤差經(jīng)強化學習PID調(diào)節(jié)后形成無功指令電流信號《；直流側(cè)電容電壓指令值t/;與
實際測量值f^的誤差經(jīng)強化學習PID調(diào)節(jié)后形成有功指令電流信號
/:。 c,/;;經(jīng)數(shù)學模型中電壓與電流的關(guān)系變換后，形成無功指令電壓
信號《和有功指令電壓信號^。 <和^經(jīng)^/"^坐標變換后作為調(diào)制信號，經(jīng)三角載波調(diào)制后產(chǎn)生脈寬調(diào)制PWM驅(qū)動信號去控制智能功率模塊的動作，產(chǎn)生需要補償?shù)碾妷?，從而維持了直流側(cè)電容電壓和公共連接點PCC電壓的恒定。
強化學習自適應(yīng)PID控制算法的介紹
強化學習又稱為增強學習，是一種以環(huán)境反饋作為輸入的、特殊的、適應(yīng)環(huán)境的機器學習方法，試湊搜尋和延時報酬是強化學習的兩個重要特征。其中Q學習算法是強化學習算法中效果比較好的一種，在Q學習中，主要學習動作評估函數(shù)2^")，定義為它的值是從狀態(tài)s開始并使用作為第一個動作"時的最大折算累計回報。g的值為從狀態(tài)執(zhí)行動作的立即回報加上以后遵循最優(yōu)策略的值(用y折算)。強化學習過程完成后，系統(tǒng)對相應(yīng)的狀態(tài)，通過對Q矩陣映射，得到相對最優(yōu)的動作。
在傳統(tǒng)的PID參數(shù)的調(diào)整中，都是使用固定的公式，調(diào)整效果不
是非常理想，難以適應(yīng)多變的電網(wǎng)環(huán)境，將強化學習算法應(yīng)用于PID參數(shù)的調(diào)整中，可以使PID參數(shù)具有更好的適應(yīng)性。用Q學習算法
對PID的參數(shù)^、 ^和i^分別進行調(diào)整，步驟如下，
1. 初始化參數(shù)的Q值矩陣，Q值矩陣記錄狀態(tài)s及在該狀態(tài)下選擇動作a所預期獲得的累積獎賞。其中狀態(tài)即該時刻的《p、 ^和a:。的值，動作a即調(diào)整該參數(shù)值，輸出相應(yīng)的i^、 ^和^的值。同時初始化學習因子a和折扣因子y ;
2. 根據(jù)當前狀態(tài)s和動作選擇策略e選擇并執(zhí)行動作a;
3. 根據(jù)輸入的^、《,和^的值計算報酬r，并進入新的狀態(tài)^
4. 使用公式0^,")=(1-a)x0C^)+ax(r+"腿g^',"))更新Q值；其中a
為學習因子，該學習因子隨著學習迭代次數(shù)的增加而逐漸減少，最后為零，意味著學習過程的結(jié)束，因為Q值將不再被更新；
從公式中可以看出，Q學習算法的迭代是策略無關(guān)的，它總是選擇最大的Q值作為迭代輸入。同樣經(jīng)過反復迭代后，2b,。,)將逐步逼近理想的e&";)。調(diào)整學習因子，返回步驟2，直到學習因子為0。
5. 輸出合理的^、《,和尺。的值；
6. PID控制器采用增量式PID控制算法控制偏差
)=";a.nw，其中=<formula>formula see original document page 10</formula>
在強化學習自適應(yīng)PID控制算法的訓練和學習的過程中，加入解耦控制的要求，使其訓練和學習的結(jié)果同時也滿足解耦控制的功能。提高了系統(tǒng)的控制精度。
權(quán)利要求
1、一種基于強化學習自適應(yīng)比例積分微分配電靜止同步補償器控制方法，首先根據(jù)瞬時功率平衡原理，列出配電靜止同步補償器數(shù)學模型，并將其從靜止坐標系通過轉(zhuǎn)化矩陣轉(zhuǎn)換到dq0坐標系中，其特征在于將電壓指令值與實際測量值的誤差經(jīng)強化學習自適應(yīng)比例積分微分控制算法調(diào)節(jié)后形成無功指令電流信號；直流側(cè)電容電壓指令值與實際測量值的誤差經(jīng)強化學習自適應(yīng)比例積分微分調(diào)節(jié)后形成有功指令電流信號；當獲得無功指令電流信號和有功電流信號后，無功指令電流信號和有功指令電流信號經(jīng)數(shù)學模型中電壓與電流的關(guān)系變換后，形成無功指令電壓信號和有功指令電壓信號，無功指令電壓信號和有功指令電壓信號經(jīng)dq/abc坐標變換后作為調(diào)制信號，經(jīng)三角載波調(diào)制后產(chǎn)生脈寬調(diào)制PWM驅(qū)動信號去控制智能功率模塊的動作，產(chǎn)生需要補償?shù)碾妷骸?br> 2、 根據(jù)權(quán)利要求1所述的基于強化學習自適應(yīng)比例積分微分配 電靜止同步補償器控制方法，其特征在于強化學習自適應(yīng)比例積分 微分控制算法的實現(xiàn)過程如下(1) 初始化參數(shù)的Q值矩陣，Q值矩陣記錄狀態(tài)S及在該狀態(tài)下 選擇動作a所預期獲得的累積獎賞；(2) 根據(jù)當前狀態(tài)s和動作選擇策略^選擇并執(zhí)行動作a;(3) 根據(jù)輸入的A, 、 &和&的值計算報酬r，并進入新的狀態(tài)A ;(4) 使用公式0[^) = (1-a)xQ^,")+ax(""maxW,力)更新Q值；經(jīng)過反復迭代后，2(&",;)將逐步逼近2(s,";);調(diào)整學習因子，返回步驟2，直到學習因子為0;(5) 輸出合理的^、 K,和i^的值；(6) 將輸出的^、 A:,和^的值送入自適應(yīng)比例積分微分控制器，采用增量式自適應(yīng)比例積分微分控制算法進行控制。
全文摘要
一種基于強化學習自適應(yīng)比例積分微分配電靜止同步補償器控制方法，首先根據(jù)瞬時功率平衡式推導出在d-q坐標系中電流—電壓的轉(zhuǎn)換公式，在控制實現(xiàn)的過程中，將電壓給定值與實際測量值的誤差和直流側(cè)電容電壓指令值與實際測量值的誤差分別通過強化學習自適應(yīng)PID控制算法調(diào)節(jié)后得到有功指令信號和無功指令信號，在經(jīng)數(shù)學模型中的電壓與電流的關(guān)系變換后，得到電壓信號，在經(jīng)坐標變換后得到所需的電壓調(diào)制信號。其中系統(tǒng)采用強化學習自適應(yīng)PID控制算法避免了傳統(tǒng)PID控制中等效參數(shù)發(fā)生變動時，控制器性能不穩(wěn)定的情況，很好的實現(xiàn)了控制器的自適應(yīng)能力，提高了控制的精確度。
文檔編號G05B11/42GK101667012SQ20081005113
公開日2010年3月10日 申請日期2008年9月3日 優(yōu)先權(quán)日2008年9月3日
發(fā)明者孫貴新, 孟祥萍, 秀 紀, 譚萬禹 申請人:長春工程學院;吉林省電力有限公司電力科學研究院