基于強(qiáng)化學(xué)習(xí)補(bǔ)償?shù)娘L(fēng)力發(fā)電變槳距控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及的是一種風(fēng)力發(fā)電技術(shù)領(lǐng)域的控制方法，具體地說，涉及一種基于強(qiáng) 化學(xué)習(xí)補(bǔ)償算法的滑模槳距角控制方法。
【背景技術(shù)】
[0002] 風(fēng)電機(jī)組變槳距系統(tǒng)通過槳距控制器，完成葉片節(jié)距角的控制，在切入風(fēng)速以上 到額定風(fēng)速以下范圍內(nèi)時(shí)，保持風(fēng)力機(jī)槳距角不變，通過改變發(fā)電機(jī)轉(zhuǎn)速使風(fēng)力機(jī)運(yùn)行在 最佳葉尖速比下來實(shí)現(xiàn)最大風(fēng)能跟蹤控制；在額定風(fēng)速以上到切出風(fēng)速時(shí)，使轉(zhuǎn)速維持在 額定轉(zhuǎn)速附近，通過調(diào)節(jié)槳距角使發(fā)電機(jī)組輸出保持功率恒定，當(dāng)風(fēng)速大于切出風(fēng)速時(shí)，進(jìn) 行停機(jī)保護(hù)。
[0003] 由于風(fēng)速的隨機(jī)性、風(fēng)電機(jī)組參數(shù)的時(shí)變性，塔影、風(fēng)切變、偏航回轉(zhuǎn)等引起的負(fù) 載擾動(dòng)，變槳距調(diào)節(jié)槳的往復(fù)動(dòng)作，驅(qū)動(dòng)大質(zhì)量葉輪負(fù)載的慣性環(huán)節(jié)，使得變槳距控制系統(tǒng) 具有參數(shù)非線性、參數(shù)時(shí)變性、滯后性等特點(diǎn)，造成風(fēng)電機(jī)組輸出功率的不穩(wěn)定。
[0004] 此外，隨著風(fēng)力發(fā)電機(jī)組單機(jī)容量的增加，不平衡載荷引起的風(fēng)力機(jī)疲勞失效成 為風(fēng)電運(yùn)行維護(hù)成本的主要來源。如何減少風(fēng)力機(jī)疲勞失效和磨損，延長各部件的使用壽 命是控制領(lǐng)域技術(shù)人員目前需要考慮解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0005] 技術(shù)問題：風(fēng)力發(fā)電系統(tǒng)具有時(shí)變非線性等不穩(wěn)定特性，機(jī)組內(nèi)部參數(shù)攝動(dòng)和外 部擾動(dòng)使得槳距角很難達(dá)到精確控制，加之硬件具有延時(shí)性，難以保證整體機(jī)組安全穩(wěn)定 優(yōu)化運(yùn)行。
[0006] 技術(shù)方案：為了克服上述問題，將強(qiáng)化學(xué)習(xí)和滑模變結(jié)構(gòu)控制結(jié)合起來，應(yīng)用到風(fēng) 力發(fā)電變槳距控制中，滑模變結(jié)構(gòu)控制完成對(duì)槳距角的基本控制，強(qiáng)化學(xué)習(xí)用來自適應(yīng)補(bǔ) 償擾動(dòng)、攝動(dòng)和未建模部分對(duì)整體性能的影響，達(dá)到優(yōu)化控制的目的，彌補(bǔ)傳統(tǒng)方法基于模 型的不足，使得系統(tǒng)魯棒性強(qiáng)，具有良好的動(dòng)態(tài)品質(zhì)，保證風(fēng)電機(jī)組正常、高效和可靠地優(yōu) 化運(yùn)行。
[0007] 本發(fā)明提出的基于強(qiáng)化學(xué)習(xí)補(bǔ)償?shù)淖儤嘧詫W(xué)習(xí)控制方法與系統(tǒng)，其特征在于該 變槳距控制系統(tǒng)采用滑?？刂茷榛A(chǔ)，強(qiáng)化學(xué)習(xí)補(bǔ)償為輔助，控制系統(tǒng)結(jié)構(gòu)圖如附圖1所 示，用風(fēng)速風(fēng)向傳感器采集關(guān)于風(fēng)速等數(shù)據(jù)信號(hào)，當(dāng)風(fēng)速信號(hào)超過額定值且滿足風(fēng)力機(jī)運(yùn) 行條件時(shí)，則啟動(dòng)風(fēng)機(jī)的變槳距調(diào)節(jié)，測量機(jī)組輸出功率，根據(jù)功率偏差求得滑模輸入變量 s，控制系統(tǒng)分為兩階段進(jìn)行學(xué)習(xí)，階段實(shí)現(xiàn)如下： 階段1:初始化控制系統(tǒng)各項(xiàng)參數(shù)，包括滑模變結(jié)構(gòu)控制參數(shù)和強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)各項(xiàng)參 數(shù)，其中一些參數(shù)影響著整體學(xué)習(xí)效果，需要特別調(diào)試?；Ｗ兘Y(jié)構(gòu)控制是準(zhǔn)滑動(dòng)模態(tài)控制 實(shí)現(xiàn)，其中邊界層參數(shù)A是個(gè)重要參數(shù)，需要不斷調(diào)試，過大可以消除大部分滑模抖動(dòng)，但 是會(huì)消弱控制效果；過小會(huì)導(dǎo)致滑模抖動(dòng)變大，但是相應(yīng)控制效果較好。強(qiáng)化學(xué)習(xí)利用神經(jīng) 網(wǎng)絡(luò)來實(shí)現(xiàn)，中心的初始值對(duì)整個(gè)學(xué)習(xí)有著重要影響，無法較準(zhǔn)確的設(shè)置中心值會(huì)導(dǎo)致整 個(gè)算法無法收斂，一般采用均值法或者k-means法進(jìn)行初步設(shè)置。強(qiáng)化信號(hào)中的容許誤差 帶e是整個(gè)影響整體控制效果的參數(shù)，它決定著控制器學(xué)習(xí)所需達(dá)到的目標(biāo)，也即控制器 能把誤差降低在多少之下。e選取較大，此時(shí)也就意味著系統(tǒng)可以接受的誤差較大，控制器 學(xué)習(xí)時(shí)間較短，收斂速度快，但是控制效果較差；e選取較小，則系統(tǒng)要求精度較高，收斂 速度變慢，整體控制效果較好，可是存在一個(gè)問題，實(shí)際風(fēng)電控制系統(tǒng)難以做到高速的槳距 角變換，所以較高的精度無法實(shí)現(xiàn)。
[0008] 各項(xiàng)參數(shù)調(diào)試完畢后，即可進(jìn)行在線學(xué)習(xí)。根據(jù)風(fēng)機(jī)轉(zhuǎn)速反饋構(gòu)建狀態(tài)輸入向量 x作為控制器的輸入，控制器根據(jù)權(quán)利要求1中所述方法對(duì)控制結(jié)構(gòu)進(jìn)行在線優(yōu)化。
[0009] 階段2:控制器學(xué)習(xí)實(shí)際是對(duì)強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)參數(shù)優(yōu)化的過程。準(zhǔn)滑動(dòng)模態(tài)控制利 用邊界層思想，在滑模面建立邊界層，在邊界層內(nèi)使用連續(xù)控制，這樣有效的減少了狀態(tài)穿 越對(duì)控制結(jié)構(gòu)的影響，使?fàn)顟B(tài)流向更加平滑。然而在鄰域內(nèi)使用連續(xù)狀態(tài)的反饋控制會(huì)消 除滑模變結(jié)構(gòu)控制本身的魯棒性，在滑模控制信號(hào)上再疊加一個(gè)強(qiáng)化學(xué)習(xí)的信號(hào)，對(duì)不確 定性和攝動(dòng)進(jìn)行補(bǔ)償，兩種控制信號(hào)疊加在一起共同對(duì)風(fēng)力發(fā)電機(jī)組系統(tǒng)進(jìn)行控制。這種 思想既利用了滑模變結(jié)構(gòu)控制縮短了單獨(dú)的強(qiáng)化學(xué)習(xí)收斂時(shí)間，同時(shí)在系統(tǒng)魯棒性上取得 了較好的成效。
[0010] 算法結(jié)構(gòu)：本發(fā)明控制方法包括準(zhǔn)滑?？刂破髟诰€學(xué)習(xí)算法和強(qiáng)化學(xué)習(xí)補(bǔ)償尋優(yōu) 算法。
[0011] 準(zhǔn)滑?？刂破髟诰€學(xué)習(xí)算法： 首先取滑模面為：
【主權(quán)項(xiàng)】
1. 一種風(fēng)力發(fā)電機(jī)組變獎(jiǎng)距控制方法，其特征在于該方法包括：將強(qiáng)化學(xué)習(xí)和滑模變 結(jié)構(gòu)控制結(jié)合起來，采用滑模變結(jié)構(gòu)控制器完成對(duì)風(fēng)電機(jī)組獎(jiǎng)距角的基本控制，運(yùn)用強(qiáng)化 學(xué)習(xí)補(bǔ)償尋優(yōu)算法，用來自適應(yīng)補(bǔ)償擾動(dòng)、攝動(dòng)和系統(tǒng)未建模部分對(duì)整體性能的影響，達(dá)到 優(yōu)化控制的目的，彌補(bǔ)傳統(tǒng)方法基于模型的不足。
2. 根據(jù)權(quán)利1要求的一種滑?？刂破髟诰€學(xué)習(xí)算法，其特征在于包括；通過測量風(fēng)力 機(jī)轉(zhuǎn)速反饋與參照速度得出轉(zhuǎn)速偏差，經(jīng)過狀態(tài)轉(zhuǎn)換后，作為滑?？刂破鞯妮斎肓浚刂破?根據(jù)偏差發(fā)出獎(jiǎng)距角控制量命令，獎(jiǎng)距角的控制量計(jì)算公式為
其中
cl為滑模系數(shù)，X2為系統(tǒng)狀態(tài)，V為 風(fēng)速，kg為增益系數(shù)，sgn(s)為符號(hào)函數(shù)，《 e為電磁角速度，Np為發(fā)電機(jī)轉(zhuǎn)子的極對(duì)數(shù)， P為空氣的密度，Cp為風(fēng)能利用系數(shù)，B是發(fā)電機(jī)的摩擦系數(shù)，J是風(fēng)輪發(fā)電機(jī)整體轉(zhuǎn)動(dòng)慣 量，R為風(fēng)力機(jī)葉片半徑，V為風(fēng)速； 準(zhǔn)滑動(dòng)模態(tài)控制采用飽和函數(shù)sat (S)代替理想滑動(dòng)模態(tài)中的符號(hào)函數(shù)sgn(s) W減少 由符號(hào)函數(shù)引起的劇烈抖振；
強(qiáng)化學(xué)習(xí)補(bǔ)償尋優(yōu)算法由兩部分組成；動(dòng)作（Actor)網(wǎng)絡(luò)和評(píng)價(jià)（化itic)網(wǎng)絡(luò)； Actor-化itic算法中使用RBF網(wǎng)絡(luò)來逼近動(dòng)作函數(shù)和評(píng)價(jià)函數(shù)； 使用強(qiáng)化學(xué)習(xí)算法在線補(bǔ)償滑模控制量的步驟如下： Stepl初始化系統(tǒng)參數(shù)W。，W。，b，C，h，學(xué)習(xí)因子和折扣率等 Step2采集當(dāng)前環(huán)境狀態(tài)x(t)，利用神經(jīng)網(wǎng)絡(luò)計(jì)算Actor和化itic模塊輸出u"(t)和 V(t)； Step3通過化itic模塊計(jì)算得到高斯干擾n (t)，將其與u"(t)相加得到實(shí)際控制信號(hào) u(t)，將控制信號(hào)輸入到風(fēng)力發(fā)電控制系統(tǒng)里； Step4觀測環(huán)境狀態(tài)變化，得到下一狀態(tài)X (t+1)，同時(shí)計(jì)算強(qiáng)化信號(hào)值r (t); Step5利用神經(jīng)網(wǎng)絡(luò)計(jì)算x(t+l)時(shí)化itic模塊輸出V(t+1); steps利用相鄰V值和強(qiáng)化信號(hào)計(jì)算TD誤差5 (t)，并進(jìn)行權(quán)值更新； Step7判斷當(dāng)前學(xué)習(xí)是否滿足結(jié)束要求，如果不滿足則返回第二步，t+1 - t。 通過上述不斷的迭代跟新控制結(jié)構(gòu)參數(shù)W實(shí)現(xiàn)最優(yōu)結(jié)構(gòu)；

最后得到總的控制信號(hào)為：
目為準(zhǔn)滑動(dòng)模態(tài)控制器輸出的獎(jiǎng)距角控制量，U(t)為強(qiáng)化學(xué)習(xí)在線補(bǔ)償量； 在W該準(zhǔn)滑動(dòng)模態(tài)控制器為基本作用下控制系統(tǒng)系統(tǒng)開始在線強(qiáng)化學(xué)習(xí)補(bǔ)償優(yōu)化，學(xué) 習(xí)步驟如下： Stepl結(jié)合風(fēng)電機(jī)組各項(xiàng)特性系數(shù)，初始化滑模變結(jié)構(gòu)控制和強(qiáng)化學(xué)習(xí)各項(xiàng)參數(shù)； Step2利用傳感器采得風(fēng)機(jī)轉(zhuǎn)速值，控制系統(tǒng)分別計(jì)算滑模變結(jié)構(gòu)控制和強(qiáng)化學(xué)習(xí)控 制輸出的控制信號(hào)； Step3將疊加的控制信號(hào)作用到獎(jiǎng)距角執(zhí)行機(jī)構(gòu)中； Step4繼續(xù)采得風(fēng)機(jī)轉(zhuǎn)速值，得到下一時(shí)刻狀態(tài)變量； steps控制器根據(jù)內(nèi)部算法對(duì)自身參數(shù)進(jìn)行更新，優(yōu)化結(jié)構(gòu)； steps判斷當(dāng)前控制器是否滿足控制要求； Step7如果滿足則控制器學(xué)習(xí)完畢，否則繼續(xù)運(yùn)行St巧2 ; 控制器根據(jù)不同的外界環(huán)境，通過迭代在線調(diào)整控制器參數(shù)，實(shí)現(xiàn)系統(tǒng)的不斷優(yōu)化。
【專利摘要】本發(fā)明針對(duì)風(fēng)力發(fā)電系統(tǒng)變槳距控制問題，提出了一種基于強(qiáng)化學(xué)習(xí)補(bǔ)償算法的滑模變槳距控制方法。本發(fā)明提出的強(qiáng)化學(xué)習(xí)補(bǔ)償算法是將滑模變結(jié)構(gòu)控制和強(qiáng)化學(xué)習(xí)算法結(jié)合起來，基于模型的滑模變結(jié)構(gòu)控制具有強(qiáng)魯棒性和快速動(dòng)態(tài)響應(yīng)的特點(diǎn)，在滑模控制信號(hào)上疊加一個(gè)利用RBF神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的Actor-Critic強(qiáng)化學(xué)習(xí)算法，該強(qiáng)化學(xué)習(xí)算法可以對(duì)系統(tǒng)中的不確定性、擾動(dòng)和未建模部分進(jìn)行動(dòng)態(tài)補(bǔ)償，滑模變結(jié)構(gòu)控制保證初始控制性能，加快了整體算法收斂速度，利用梯度下降法更新網(wǎng)絡(luò)的各項(xiàng)參數(shù)。本發(fā)明具有抗干擾好、對(duì)變化參數(shù)魯棒性強(qiáng)以及速度快等優(yōu)點(diǎn),在保證功率輸出穩(wěn)定在額定值附近的同時(shí)，實(shí)現(xiàn)槳距角的平穩(wěn)調(diào)節(jié)，減輕了機(jī)組疲勞度和組件間的磨損。
【IPC分類】F03D7-00
【公開號(hào)】CN104595106
【申請(qǐng)?zhí)枴緾N201410209306
【發(fā)明人】秦斌, 王欣, 李鵬程, 朱萬力
【申請(qǐng)人】湖南工業(yè)大學(xué)
【公開日】2015年5月6日
【申請(qǐng)日】2014年5月19日