本發(fā)明屬于智能疏浚，具體而言是涉及一種基于數(shù)據(jù)驅(qū)動(dòng)的疏浚過程控制優(yōu)化方法。

背景技術(shù)：

1、疏浚作為水下作業(yè)，工藝調(diào)控參量眾多，目前國內(nèi)疏浚自動(dòng)化程度不高，仍以人工操作為主，但由于影響泥漿流動(dòng)狀態(tài)的因素錯(cuò)綜復(fù)雜，諸如泥漿濃度、泥漿流速、泥沙粒徑、不同泥沙的沉降速度和管道性能等，即使經(jīng)驗(yàn)豐富的操作人員，也無法有針對(duì)性的快速做出高效的疏浚動(dòng)作，致使疏浚生產(chǎn)一直處于低產(chǎn)低效且高能耗高排放狀態(tài)。因此，提高疏浚自動(dòng)化程度在今天顯得尤為迫切。智能疏浚是一種將現(xiàn)代信息技術(shù)、自動(dòng)控制技術(shù)、傳感器技術(shù)、人工智能算法等集成應(yīng)用于疏浚工程的先進(jìn)技術(shù)。它旨在提高疏浚作業(yè)的效率、精度和安全性，但現(xiàn)有的智能疏浚方法，由于數(shù)據(jù)集單一從而導(dǎo)致的模型過擬合等問題，在實(shí)際疏浚過程中使用效果仍然不佳。

技術(shù)實(shí)現(xiàn)思路

1、為克服現(xiàn)有技術(shù)中智能疏浚方法中數(shù)據(jù)集單一從而導(dǎo)致的模型過擬合等問題，本發(fā)明提供如下技術(shù)方案：

2、一種基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，包括如下步驟：

3、s1-初始數(shù)據(jù)的獲?。?/p>

4、通過船舶監(jiān)測(cè)系統(tǒng)獲取疏浚狀態(tài)參數(shù)、疏浚動(dòng)作參數(shù)以及環(huán)境參數(shù)；

5、s2-歷史數(shù)據(jù)訓(xùn)練集的形成：

6、將相鄰時(shí)間間隔的疏浚狀態(tài)參數(shù)以及該時(shí)間間隔內(nèi)的疏浚動(dòng)作參數(shù)整合作為歷史數(shù)據(jù)集，設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)與歷史數(shù)據(jù)集相聯(lián)系形成歷史經(jīng)驗(yàn)回放記憶庫，并從歷史經(jīng)驗(yàn)回放記憶庫中抽取數(shù)據(jù)，形成歷史數(shù)據(jù)訓(xùn)練集；

7、s3-元強(qiáng)化學(xué)習(xí)模型的訓(xùn)練：

8、搭建初始強(qiáng)化學(xué)習(xí)模型，利用歷史數(shù)據(jù)訓(xùn)練集對(duì)初始強(qiáng)化學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到元強(qiáng)化學(xué)習(xí)模型；

9、s4-疏浚初期的探索：

10、疏浚初期，利用元強(qiáng)化學(xué)習(xí)模型對(duì)實(shí)際疏浚工地進(jìn)行環(huán)境探索，得到當(dāng)前數(shù)據(jù)訓(xùn)練集；

11、s5-貪婪強(qiáng)化模型的訓(xùn)練：

12、混合抽取歷史數(shù)據(jù)訓(xùn)練集以及當(dāng)前數(shù)據(jù)訓(xùn)練集中的數(shù)據(jù)，對(duì)元強(qiáng)化學(xué)習(xí)模型進(jìn)行進(jìn)一步訓(xùn)練，得到貪婪強(qiáng)化模型；

13、s6-控制實(shí)地疏浚：

14、利用貪婪強(qiáng)化模型結(jié)合當(dāng)前疏浚狀態(tài)參數(shù)對(duì)船舶進(jìn)行疏浚控制。

15、進(jìn)一步的，所述步驟s1-初始數(shù)據(jù)的獲取中，所述疏浚狀態(tài)參數(shù)包括耙唇角度，泥泵轉(zhuǎn)速以及航速；所述疏浚動(dòng)作參數(shù)為疏浚狀態(tài)參數(shù)的增加、減少或不變；所述環(huán)境參數(shù)包括土質(zhì)以及挖深。

16、進(jìn)一步的，所述步驟s2-歷史數(shù)據(jù)訓(xùn)練集的形成，包括如下步驟：

17、s2.1-設(shè)置疏浚狀態(tài)參數(shù)的電子圍欄：

18、根據(jù)船舶動(dòng)力系統(tǒng)以及疏浚機(jī)具的不同類型，設(shè)置疏浚狀態(tài)參數(shù)的電子圍欄；

19、s2.2-疏浚狀態(tài)參數(shù)的離散化：

20、根據(jù)疏浚狀態(tài)參數(shù)的電子圍欄，將疏浚狀態(tài)參數(shù)進(jìn)行離散化；

21、s2.3-疏浚動(dòng)作參數(shù)離散化：

22、所述疏浚動(dòng)作參數(shù)對(duì)應(yīng)疏浚狀態(tài)參數(shù)的增加，減少或不變，并據(jù)此得到動(dòng)作集；

23、s2.4-歷史數(shù)據(jù)集的整合：

24、整合離散化后的疏浚狀態(tài)參數(shù)以及動(dòng)作集形成歷史數(shù)據(jù)集；

25、s2.5-獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)：

26、基于真空絕對(duì)值設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)；

27、s2.6-歷史經(jīng)驗(yàn)回放記憶庫的形成：

28、以同一時(shí)刻所對(duì)應(yīng)的疏浚狀態(tài)參數(shù)、動(dòng)作集和獎(jiǎng)勵(lì)函數(shù)值以及下一時(shí)刻的疏浚狀態(tài)參數(shù)為基礎(chǔ)，形成歷史經(jīng)驗(yàn)回放記憶庫；

29、s2.7-歷史數(shù)據(jù)訓(xùn)練集的形成：

30、抽取歷史經(jīng)驗(yàn)回放記憶庫中數(shù)據(jù)，形成歷史數(shù)據(jù)訓(xùn)練集。

31、進(jìn)一步的，所述步驟s3-元強(qiáng)化學(xué)習(xí)模型的訓(xùn)練，包括如下步驟：

32、s3.1-初始強(qiáng)化學(xué)習(xí)模型的搭建：

33、搭建基于神經(jīng)網(wǎng)絡(luò)的初始強(qiáng)化學(xué)習(xí)模型，所述初始強(qiáng)化學(xué)習(xí)模型包括當(dāng)前q網(wǎng)絡(luò)以及目標(biāo)q網(wǎng)絡(luò)；

34、s3.2-初始強(qiáng)化學(xué)習(xí)模型的初始化：

35、令θ＝θ′,完成初始強(qiáng)化學(xué)習(xí)模型的初始化；

36、s3.3-預(yù)設(shè)條件的設(shè)置：

37、所述第一預(yù)設(shè)條件為θ′參數(shù)更新的迭代次數(shù)k；

38、所述第二預(yù)設(shè)條件為θ參數(shù)或θ′參數(shù)的最大更新次數(shù)x或y；

39、s3.4-模型訓(xùn)練：

40、基于所述歷史數(shù)據(jù)訓(xùn)練集，通過反向傳播算法計(jì)算更新所述θ參數(shù)；滿足所述第一預(yù)設(shè)條件時(shí)，將θ參數(shù)復(fù)制給θ′參數(shù)；

41、滿足第二預(yù)設(shè)條件時(shí)，模型停止訓(xùn)練，并將當(dāng)前的θ參數(shù)和θ′參數(shù)的取值確定為元強(qiáng)化學(xué)習(xí)模型的參數(shù)。

42、進(jìn)一步的，所述步驟s4-疏浚初期的探索，包括如下步驟：

43、s4.1-元強(qiáng)化學(xué)習(xí)模型輸出動(dòng)作：

44、選取最大的動(dòng)作值所對(duì)應(yīng)的動(dòng)作集作為元強(qiáng)化學(xué)習(xí)模型的輸出動(dòng)作；

45、s4.2-探索度函數(shù)的設(shè)置：

46、基于貪婪算法設(shè)計(jì)探索度函數(shù)μ；

47、s4.3-疏浚動(dòng)作的確定：

48、以μ概率選取所述輸出動(dòng)作作為疏浚動(dòng)作；

49、以1-μ的概率在動(dòng)作空間中隨機(jī)一個(gè)動(dòng)作作為疏浚動(dòng)作；

50、通過選取的疏浚動(dòng)作控制疏浚機(jī)具動(dòng)作；

51、s4.4-當(dāng)前數(shù)據(jù)訓(xùn)練集的形成：

52、以疏浚動(dòng)作、疏浚動(dòng)作工作前后的疏浚狀態(tài)參數(shù)以及疏浚動(dòng)作所對(duì)應(yīng)的獎(jiǎng)勵(lì)函數(shù)值為基礎(chǔ),形成當(dāng)前數(shù)據(jù)訓(xùn)練集。

53、進(jìn)一步的，所述步驟s5-貪婪強(qiáng)化模型的訓(xùn)練中，混合抽取當(dāng)前數(shù)據(jù)訓(xùn)練集以及歷史數(shù)據(jù)訓(xùn)練集中的數(shù)據(jù)對(duì)元強(qiáng)化學(xué)習(xí)模型進(jìn)行進(jìn)一步的訓(xùn)練，得到貪婪強(qiáng)化模型。

54、進(jìn)一步的，所述步驟s2-訓(xùn)練集的形成，還包括如下步驟：

55、s2.8-數(shù)據(jù)分類：

56、根據(jù)步驟s1獲取的環(huán)境參數(shù)，劃分不同土質(zhì)、挖深所對(duì)應(yīng)的不同工況，并結(jié)合不同工況和不同船型，對(duì)步驟s2.6所得到的歷史經(jīng)驗(yàn)回放記憶庫進(jìn)行數(shù)據(jù)劃分，在步驟s2.7中抽取歷史經(jīng)驗(yàn)回放記憶庫中同一船型相同工況的數(shù)據(jù)，進(jìn)行模型訓(xùn)練，使得模型可以根據(jù)不同工況與船型進(jìn)行預(yù)調(diào)參，從而實(shí)現(xiàn)模型的快速收斂。

57、本發(fā)明通過獲取耙吸挖泥船的狀態(tài)參數(shù)及環(huán)境參數(shù)，利用訓(xùn)練好的模型獲取疏浚過程控制優(yōu)化參數(shù)；按照獲取的參數(shù)，控制耙吸船相關(guān)設(shè)備，以驅(qū)動(dòng)疏浚設(shè)備達(dá)到最優(yōu)工況點(diǎn)，達(dá)到挖泥尋優(yōu)智能控制的目的。

技術(shù)特征：

1.一種基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，所述步驟s1-初始數(shù)據(jù)的獲取中，所述疏浚狀態(tài)參數(shù)包括耙唇角度，泥泵轉(zhuǎn)速以及航速；所述疏浚動(dòng)作參數(shù)為疏浚狀態(tài)參數(shù)的增加、減少或不變；所述環(huán)境參數(shù)包括土質(zhì)以及挖深。

3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，所述步驟s2-歷史數(shù)據(jù)訓(xùn)練集的形成，包括如下步驟：

4.根據(jù)權(quán)利要求3所述的基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，所述步驟s3-元強(qiáng)化學(xué)習(xí)模型的訓(xùn)練，包括如下步驟：

5.根據(jù)權(quán)利要求4所述的基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，所述步驟s4-疏浚初期的探索，包括如下步驟：

6.根據(jù)權(quán)利要求5所述的基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，所述步驟s5-貪婪強(qiáng)化模型的訓(xùn)練中，混合抽取當(dāng)前數(shù)據(jù)訓(xùn)練集以及歷史數(shù)據(jù)訓(xùn)練集中的數(shù)據(jù)對(duì)元強(qiáng)化學(xué)習(xí)模型進(jìn)行進(jìn)一步的訓(xùn)練，得到貪婪強(qiáng)化模型。

7.根據(jù)權(quán)利要求3所述的基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，其特征在于，所述步驟s2-訓(xùn)練集的形成，還包括如下步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種基于數(shù)據(jù)驅(qū)動(dòng)的耙吸挖泥船疏浚過程控制優(yōu)化方法，具體包括：通過船舶監(jiān)測(cè)系統(tǒng)獲取疏浚狀態(tài)參數(shù)、疏浚動(dòng)作參數(shù)以及環(huán)境參數(shù)；設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)與歷史數(shù)據(jù)集相聯(lián)系形成歷史經(jīng)驗(yàn)回放記憶庫，并從歷史經(jīng)驗(yàn)回放記憶庫中抽取數(shù)據(jù)，形成歷史數(shù)據(jù)訓(xùn)練集；混合抽取歷史數(shù)據(jù)訓(xùn)練集以及當(dāng)前數(shù)據(jù)訓(xùn)練集中的數(shù)據(jù)，對(duì)元強(qiáng)化學(xué)習(xí)模型進(jìn)行進(jìn)一步訓(xùn)練，得到貪婪強(qiáng)化模型；利用貪婪強(qiáng)化模型結(jié)合當(dāng)前疏浚狀態(tài)參數(shù)對(duì)船舶進(jìn)行疏?？刂?。本發(fā)明通過獲取耙吸挖泥船的狀態(tài)參數(shù)及環(huán)境參數(shù)，利用訓(xùn)練好的模型獲取疏浚過程控制優(yōu)化參數(shù)；按照獲取的參數(shù)，控制耙吸船相關(guān)設(shè)備，以驅(qū)動(dòng)疏浚設(shè)備達(dá)到最優(yōu)工況點(diǎn)，達(dá)到挖泥尋優(yōu)智能控制的目的。

技術(shù)研發(fā)人員：吳易,龐景墩,繆袁泉,林直,周昭旭,何彥行,徐慶,于康康,周振燕
受保護(hù)的技術(shù)使用者：中交疏浚技術(shù)裝備國家工程研究中心有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9