本發(fā)明涉及燃料電池汽車熱管理控制，具體是智能網(wǎng)聯(lián)燃料電池汽車熱-電集成式優(yōu)化控制方法。

背景技術(shù)：

1、隨著全球能源危機(jī)和環(huán)境問題的日益嚴(yán)重，新能源汽車產(chǎn)業(yè)已經(jīng)成為全球汽車行業(yè)的關(guān)注焦點(diǎn)。其中氫燃料電池汽車以其高效和環(huán)保特性，被看作是未來新能源清潔動(dòng)力汽車的重要發(fā)展方向。其核心技術(shù)在于燃料電池系統(tǒng)，這是實(shí)現(xiàn)其自主研發(fā)和產(chǎn)業(yè)化的關(guān)鍵。

2、車用燃料電池系統(tǒng)必須具備在零下低溫環(huán)境中的穩(wěn)定高效運(yùn)行能力，對熱穩(wěn)定性和能耗均有較高要求，低溫環(huán)境適應(yīng)性是燃料電池汽車商業(yè)化必須解決的問題，燃料電池?zé)峁芾硐到y(tǒng)是其中需要攻關(guān)的關(guān)鍵技術(shù)之一?？刂迫剂想姵睾侠淼倪M(jìn)氣溫度，對于提高燃料電池堆的效率和穩(wěn)定性至關(guān)重要。此外，電機(jī)、電池、增壓空氣和其他電子部件也需要合理的冷卻和加熱回路。然而，過多的獨(dú)立回路會(huì)增加熱管理系統(tǒng)的重量和體積，降低續(xù)航里程和能耗經(jīng)濟(jì)性。因此，具有合理控制策略的車輛集成熱管理系統(tǒng)對于燃料電池汽車的穩(wěn)定運(yùn)行和能耗經(jīng)濟(jì)性具有重要意義。

3、目前，已公開的關(guān)于燃料電池汽車熱管理系統(tǒng)的發(fā)明主要聚焦于余熱回收和整車供暖系統(tǒng)的集成設(shè)計(jì)，這些設(shè)計(jì)在確保電池溫度處于安全范圍內(nèi)和提高能源利用率方面取得了一定成效，但它們在處理復(fù)雜的熱-電多域系統(tǒng)動(dòng)態(tài)工況控制方面存在顯著不足。具體來說，這些方案通常未能充分考慮電池系統(tǒng)的節(jié)能需求，導(dǎo)致在實(shí)際應(yīng)用中能源利用效率較低，造成了不必要的能量浪費(fèi)，從而影響了電池系統(tǒng)的經(jīng)濟(jì)性。

4、現(xiàn)有車輛熱-電協(xié)同優(yōu)化控制研究大多采用分層式控制架構(gòu)，這種架構(gòu)雖然簡化了問題的復(fù)雜度，但因其層級間可能產(chǎn)生的次優(yōu)解而難以保證系統(tǒng)整體的最優(yōu)性能。此外，對于復(fù)雜的熱-電多域系統(tǒng)，一般的優(yōu)化算法往往面臨收斂速度慢的挑戰(zhàn)，這不僅影響了系統(tǒng)的實(shí)時(shí)響應(yīng)能力，也限制了其在實(shí)際應(yīng)用中的表現(xiàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出智能網(wǎng)聯(lián)燃料電池汽車熱-電集成式優(yōu)化控制方法，該方法不僅考慮了燃料電池、乘員艙和動(dòng)力電池之間的復(fù)雜熱耦合關(guān)系，還解決了各子系統(tǒng)供熱存在的電耦合問題。通過采用強(qiáng)化學(xué)習(xí)actor-critic算法，本發(fā)明能夠有效應(yīng)對熱管理系統(tǒng)的能耗最小化溫度控制問題。

2、術(shù)語解釋：熱管理：熱管理是根據(jù)具體對象的要求，利用加熱或冷卻手段對其溫度或溫差進(jìn)行調(diào)節(jié)和控制的過程。

3、強(qiáng)化學(xué)習(xí)：強(qiáng)化學(xué)習(xí)（reinforcement?learning,?rl）是機(jī)器學(xué)習(xí)的一個(gè)領(lǐng)域，它研究智能體（agent）如何在一個(gè)環(huán)境中通過試錯(cuò)（trial-and-error）的方式學(xué)習(xí)行為策略，以最大化從環(huán)境中獲得的累積獎(jiǎng)勵(lì)（reward）。

4、離線學(xué)習(xí)：離線學(xué)習(xí)（offline?learning）是一種機(jī)器學(xué)習(xí)的方法，與在線學(xué)習(xí)相對。在離線學(xué)習(xí)中，模型是使用歷史數(shù)據(jù)進(jìn)行訓(xùn)練的，訓(xùn)練完成后再用該模型進(jìn)行預(yù)測或分類等任務(wù)。簡而言之，離線學(xué)習(xí)是在沒有實(shí)時(shí)數(shù)據(jù)流的情況下進(jìn)行的，它依賴于預(yù)先收集好的數(shù)據(jù)集。

5、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

6、智能網(wǎng)聯(lián)燃料電池汽車熱-電集成式優(yōu)化控制方法，所述方法包括以下步驟：

7、1）建立面向滾動(dòng)時(shí)域的速度預(yù)測模型；

8、2）建立面向控制的電池?zé)峁芾硐到y(tǒng)模型；

9、3）建立能量熱量優(yōu)化管理問題；

10、4）使用強(qiáng)化學(xué)習(xí)進(jìn)行求解；

11、5）基于車載域控制器的并行計(jì)算控制策略。

12、作為本發(fā)明進(jìn)一步的技術(shù)方案，建立面向滾動(dòng)時(shí)域的速度預(yù)測模型的步驟包括：

13、首先通過智能網(wǎng)聯(lián)技術(shù)獲取燃料電池汽車未來狀態(tài)的車速，通過汽車功率平衡公式，忽略坡度阻力，可以獲取車輛的驅(qū)動(dòng)需求功率；

14、；

15、式中：-車輛質(zhì)量，-滾動(dòng)阻力系數(shù)，-空氣阻力系數(shù)，-迎風(fēng)面積，-旋轉(zhuǎn)質(zhì)量換算系數(shù)，-車輛加速度；

16、通過功率分配關(guān)系得到燃料電池和動(dòng)力電池所需提供的驅(qū)動(dòng)功率；

17、由于車輛驅(qū)動(dòng)需求功率只和速度有關(guān)，因此可以看做的函數(shù)，即，同理，燃料電池和動(dòng)力電池所需提供的驅(qū)動(dòng)功率都可以看做關(guān)于速度的函數(shù)。

18、作為本發(fā)明進(jìn)一步的技術(shù)方案，建立面向控制的電池?zé)峁芾硐到y(tǒng)模型的步驟包括：

19、得到燃料電池和動(dòng)力電池需要提供的牽引力功率后，針對熱管理系統(tǒng)建立動(dòng)力電池的熱模型、燃料電池?zé)崮Ｐ汀⒊藛T艙熱模型和電池；

20、2.1）動(dòng)力電池的熱模型：

21、風(fēng)扇冷卻管道流入動(dòng)力電池的氣體質(zhì)量流量表示如下：

22、；

23、式中，是動(dòng)力電池風(fēng)扇冷卻系統(tǒng)的功率，是動(dòng)力電池風(fēng)扇冷卻系統(tǒng)的最大功率，通常認(rèn)為是一個(gè)定值，是風(fēng)扇冷卻管道流入動(dòng)力電池的最大氣體質(zhì)量流量；

24、通過風(fēng)扇冷卻方式，動(dòng)力電池對外界空氣傳熱率為:

25、；

26、式中，是為空氣熱容，為動(dòng)力電池溫度，為周圍環(huán)境溫度，在該模型中假設(shè)周圍環(huán)境溫度為恒定溫度，為空氣的傳熱系數(shù)，為空氣與電池的接觸面積；

27、水泵冷卻管道流入動(dòng)力電池的質(zhì)量流量表示如下：

28、；

29、式中，是動(dòng)力電池水泵冷卻系統(tǒng)的功率，是動(dòng)力電池水泵冷卻系統(tǒng)的最大功率，通常認(rèn)為是一個(gè)定值，是水泵冷卻管道流入動(dòng)力電池的最大質(zhì)量流量；

30、通過水泵冷卻方式，動(dòng)力電池對冷卻液傳熱率為:

31、；

32、式中，為冷卻液熱容，為冷卻液溫度，在該模型中假設(shè)周圍冷卻液溫度為恒定溫度。為冷卻液的傳熱系數(shù)，為冷卻液與電池的接觸面積；

33、動(dòng)力電池的總功率，其中是空調(diào)的功率，動(dòng)力電池的充放電soc表示為：

34、；

35、式中，代表動(dòng)力電池的內(nèi)阻，為動(dòng)力電池輸出電流，是開路電壓，是動(dòng)力電池總的電荷量，和都是電池荷電狀態(tài)和溫度的函數(shù)，這些函數(shù)通常通過實(shí)驗(yàn)生成的map表（即查找表）來建模，因此表示為：

36、；

37、動(dòng)力電池溫度的動(dòng)態(tài)方程為：

38、；

39、；

40、式中，為動(dòng)力電池的質(zhì)量；為動(dòng)力電池?zé)崛萘浚?/p>

41、動(dòng)力電池的傳熱率為：

42、；

43、2.2）燃料電池的熱模型：

44、風(fēng)扇冷卻管道流入燃料電池的氣體質(zhì)量流量表示如下：

45、；

46、式中，是燃料電池風(fēng)扇冷卻系統(tǒng)的功率，是燃料電池風(fēng)扇冷卻系統(tǒng)的最大功率，通常認(rèn)為是一個(gè)定值，是風(fēng)扇冷卻管道流入燃料電池的最大氣體質(zhì)量流量；

47、通過風(fēng)扇冷卻方式，燃料電池對外界空氣傳熱率為:

48、；

49、式中，為燃料電池溫度，為空氣與燃料電池的接觸面積；

50、水泵冷卻管道流入燃料電池的質(zhì)量流量表示如下：

51、；

52、式中，是燃料電池水泵冷卻系統(tǒng)的功率，是燃料電池水泵冷卻系統(tǒng)的最大功率，通常認(rèn)為是一個(gè)定值，是水泵冷卻管道流入燃料電池的最大質(zhì)量流量；

53、通過水泵冷卻方式，燃料電池對冷卻液傳熱率為:

54、；

55、式中，為冷卻液與燃料電池的接觸面積；

56、燃料電池的充放電電流是燃料電池功率的函數(shù)，通常通過實(shí)驗(yàn)生成的map表（即查找表）來建模；

57、燃料電池溫度的動(dòng)態(tài)方程為：

58、；

59、；

60、式中，為燃料電池內(nèi)阻，為燃料電池的質(zhì)量；為燃料電池?zé)崛萘浚?/p>

61、燃料電池的傳熱率為：

62、；

63、2.3）乘員艙發(fā)熱模型；

64、燃料電池系統(tǒng)通過熱交換器1傳遞到熱泵空調(diào)系統(tǒng)的余熱傳熱率為：

65、；

66、式中，是熱交換器1的效率；

67、動(dòng)力電池系統(tǒng)通過熱交換器2傳遞到熱泵空調(diào)系統(tǒng)的余熱傳熱率為：

68、；

69、式中，是熱交換器2的效率；

70、熱泵空調(diào)自身的傳熱率為：

71、；

72、式中，是空調(diào)的功率，是熱泵空調(diào)的最大功率，是熱泵空調(diào)最大制冷量；

73、在低溫環(huán)境下，與乘員艙溫度變化有關(guān)的因素有熱泵空調(diào)、燃料電池和乘員艙的余熱和車速，因此乘員艙的熱量的動(dòng)態(tài)方程為：

74、；

75、式中，是速度對乘員艙溫度的影響系數(shù)；

76、乘員艙的溫度的動(dòng)態(tài)方程為：

77、；

78、；

79、式中，是空氣的密度，是乘員艙的體積，是乘員艙的熱容。

80、作為本發(fā)明進(jìn)一步的技術(shù)方案，建立能量熱量優(yōu)化管理問題的步驟包括：

81、選取控制輸入變量，建立能量熱量優(yōu)化管理問題描述，確定優(yōu)化問題的約束條件；

82、3.1）建立能量熱量優(yōu)化管理問題描述：

83、這一優(yōu)化過程旨在實(shí)現(xiàn)兩個(gè)目標(biāo)：一是保持電池在最佳溫度范圍內(nèi)運(yùn)行，以提高其性能和安全性；二是優(yōu)化熱管理系統(tǒng)的電耗，以提高整車的能源利用效率；通過綜合考慮這兩個(gè)方面，可以實(shí)現(xiàn)電池?zé)峁芾硐到y(tǒng)的優(yōu)化，為電動(dòng)汽車的可靠性和經(jīng)濟(jì)性提供有力保障。因此本發(fā)明選取氫燃料電池汽車的動(dòng)力電池、燃料電池和乘員艙的溫度以及動(dòng)力電池soc作為狀態(tài)變量，選取控制量為風(fēng)扇控制功率、水泵控制功率和熱泵空調(diào)控制功率，優(yōu)化目標(biāo)最小化全局時(shí)間范圍內(nèi)溫度與最優(yōu)溫度之間的跟蹤誤差和控制能耗：；

84、；

85、其中，是預(yù)測時(shí)域的起始時(shí)間，是預(yù)測時(shí)域的終止時(shí)間，狀態(tài)變量，，其中分別是動(dòng)力電池、燃料電池和乘員艙的最佳工作溫度，控制輸入，q和m是正定加權(quán)矩陣，其中q為，m為，是動(dòng)力電池的熱模型、燃料電池?zé)崮Ｐ?、乘員艙熱模型和電池的集合，是預(yù)測時(shí)域是指在控制算法中考慮的未來時(shí)間長度，描述了在虛擬預(yù)測時(shí)間步中，從當(dāng)前時(shí)間步開始的狀態(tài)和控制；

86、3.2）確定優(yōu)化問題的約束條件：

87、需要滿足動(dòng)力電池溫度的動(dòng)態(tài)方程及安全約束：

88、；

89、其中，是保證動(dòng)力電池安全的最低溫度，是保證動(dòng)力電池安全的最高溫度，是動(dòng)力電池在k時(shí)刻的溫度，為初始時(shí)間，為動(dòng)力電池的初始溫度；

90、需要滿足氫燃料電池溫度的動(dòng)態(tài)方程及安全約束：

91、；

92、其中，是保證燃料電池安全的最低溫度，是保證燃料電池安全的最高溫度，是燃料電池在k時(shí)刻的溫度，為燃料電池的初始溫度，為初始時(shí)間；

93、需要滿足乘員艙溫度的動(dòng)態(tài)方程及安全約束：

94、；

95、其中，是保證乘員艙舒適的最低溫度，是保證乘員艙舒適的最高溫度，是乘員艙在k時(shí)刻的溫度，為乘員艙的初始溫度，為初始時(shí)間；

96、需要滿足風(fēng)扇冷卻控制功率和水泵冷卻控制功率約束：

97、；

98、其中，是在k時(shí)刻燃料電池水泵冷卻系統(tǒng)的功率，是在k時(shí)刻燃料電池風(fēng)扇冷卻系統(tǒng)的功率，是在k時(shí)刻動(dòng)力電池水泵冷卻系統(tǒng)的功率，是在k時(shí)刻動(dòng)力電池風(fēng)扇冷卻系統(tǒng)的功率，是燃料電池水泵冷卻系統(tǒng)的最大功率，是燃料電池風(fēng)扇冷卻系統(tǒng)的最大功率，是動(dòng)力電池水泵冷卻系統(tǒng)的最大功率，是動(dòng)力電池風(fēng)扇冷卻系統(tǒng)的最大功率；

99、需要滿足動(dòng)力電池約束：

100、；

101、其中，是動(dòng)力電池最低值，是動(dòng)力電池最高值，是動(dòng)力電池在k時(shí)刻的，為動(dòng)力電池的初始，為初始時(shí)間。

102、作為本發(fā)明進(jìn)一步的技術(shù)方案，使用強(qiáng)化學(xué)習(xí)進(jìn)行求解的步驟包括：

103、4.1）建立強(qiáng)化學(xué)習(xí)問題描述：

104、結(jié)合上述確定的優(yōu)化問題及其約束條件，將這一復(fù)雜的系統(tǒng)控制問題轉(zhuǎn)化為強(qiáng)化學(xué)習(xí)框架下的求解問題。由于該問題具有多個(gè)約束條件和高維狀態(tài)空間，采用actor-critic方法是一種合適的選擇，轉(zhuǎn)化后的強(qiáng)化學(xué)習(xí)問題形式為：

105、；

106、；

107、；

108、；

109、是的集合，表示了所有的約束，

110、；

111、分別對應(yīng)于actor和critic，分別由θ和w參數(shù)化，通常以神經(jīng)網(wǎng)絡(luò)的形式出現(xiàn)；

112、；

113、；

114、式中，為t時(shí)刻對應(yīng)的控制量，為t時(shí)刻對應(yīng)的代價(jià)。

115、4.2）解決強(qiáng)化學(xué)習(xí)問題：

116、為了解決轉(zhuǎn)換后的rl問題，采用策略迭代框架，其中采用策略評估和策略改進(jìn)兩個(gè)過程交替更新actor和critic，由于critic更新是一個(gè)可以通過普通梯度下降方法進(jìn)行優(yōu)化的無約束問題，因此主要關(guān)注actor更新，它由于其大尺度的參數(shù)空間、非線性性質(zhì)和數(shù)量多的狀態(tài)約束而具有挑戰(zhàn)性；為了解決這個(gè)問題，本發(fā)明通過廣義外點(diǎn)法來處理約束，廣義外點(diǎn)法的基本思想是通過引入一個(gè)“懲罰項(xiàng)”或“懲罰函數(shù)”，將不等式約束轉(zhuǎn)化為等式約束，從而將原始的約束優(yōu)化問題轉(zhuǎn)化為新的無約束優(yōu)化問題，這個(gè)無約束問題可以通過迭代的方式來逼近最優(yōu)解，其中每一步迭代都要在原優(yōu)化問題的局部近似上增加一個(gè)“外點(diǎn)”，以確保迭代可以逐步逼近最優(yōu)解，通過外部懲罰函數(shù)將有約束問題的actor轉(zhuǎn)換為無約束問題如下：

117、；

118、；

119、；

120、；

121、其中，為懲罰函數(shù)，為懲罰因子，然后，通過執(zhí)行梯度下降迭代來優(yōu)化策略參數(shù)；

122、4.3）離線訓(xùn)練：

123、對于每次迭代次數(shù)i，有critic網(wǎng)絡(luò)和actor網(wǎng)絡(luò)與隨機(jī)參數(shù)，學(xué)習(xí)率，對于每個(gè)環(huán)境步驟執(zhí)行，，執(zhí)行來獲取，計(jì)算，最后更新參數(shù)，，；

124、4.4）在線應(yīng)用：

125、得到由離線訓(xùn)練出的最優(yōu)控制策略和最優(yōu)評價(jià)函數(shù)，當(dāng)前狀態(tài)，應(yīng)用獲得最優(yōu)的風(fēng)扇功率、水泵功率和熱泵空調(diào)功率以及所需的代價(jià)。

126、作為本發(fā)明進(jìn)一步的技術(shù)方案，基于車載域控制器的并行計(jì)算控制策略的步驟包括：

127、為了提高算法的實(shí)時(shí)性和計(jì)算效率，本發(fā)明基于車載域控制器引入了并行計(jì)算控制策略，基于多核處理器的車載域控制器，將燃料電池?zé)峁芾硐到y(tǒng)的熱電協(xié)同優(yōu)化任務(wù)分配至soc的三個(gè)核以及mcu的兩個(gè)核中并行，其中soc是指system?on?a?chip，稱為系統(tǒng)級芯片，mcu是指microcontroller?unit，即微控制單元，也稱為微控制器，由于actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性和soc算力的局限性，直接使用soc進(jìn)行訓(xùn)練可能會(huì)面臨挑戰(zhàn)。因此，本發(fā)明首先利用離線訓(xùn)練的方式，在高性能的計(jì)算環(huán)境中對actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，以獲得性能優(yōu)異的網(wǎng)絡(luò)模型，接下來，利用soc來訓(xùn)練新的場景，將基于智能網(wǎng)聯(lián)技術(shù)的速度預(yù)測任務(wù)以及功率預(yù)測任務(wù)分配至soc的第一個(gè)核cpu0中并行；將燃料電池集成式熱管理系統(tǒng)熱電耦合模型分配至soc的第二個(gè)核cpu1中并行；將訓(xùn)練actor-critic網(wǎng)絡(luò)任務(wù)分配至soc的第三、四個(gè)核cpu2和cpu3中并行；同時(shí)，考慮到自動(dòng)駕駛對實(shí)時(shí)性要求極高，本發(fā)明將訓(xùn)練好的actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)模型部署到mcu上，在mcu中進(jìn)行actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)模型的應(yīng)用，mcu以其卓越的實(shí)時(shí)性和低功耗特性，能夠確保這些網(wǎng)絡(luò)模型在實(shí)際應(yīng)用中快速、準(zhǔn)確地響應(yīng)，從而滿足實(shí)時(shí)性要求。將actor網(wǎng)絡(luò)應(yīng)用任務(wù)分配至mcu的第一個(gè)核cpu0中并行；將critic網(wǎng)絡(luò)應(yīng)用任務(wù)分配至mcu的第二個(gè)核cpu1中并行。

128、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

129、熱-電耦合一體化集成式優(yōu)化：

130、在低溫環(huán)境下，針對一種新型的集成式熱管理系統(tǒng)，考慮余熱回收，可以實(shí)現(xiàn)燃料電池產(chǎn)生的熱量和能量的高效利用，顯著減少能量浪費(fèi)，并延長燃料電池的使用壽命。綜合考慮燃料電池汽車的耦合熱電需求，實(shí)現(xiàn)系統(tǒng)性能的優(yōu)化，提升整車的續(xù)航里程、舒適性、可靠性和安全性。

131、強(qiáng)化學(xué)習(xí)控制策略：

132、引入強(qiáng)化學(xué)習(xí)技術(shù)，使系統(tǒng)具備自適應(yīng)學(xué)習(xí)能力，能夠靈活適應(yīng)不同工況和環(huán)境下的熱電協(xié)同需求。無需依賴精確的車輛模型，降低了對模型準(zhǔn)確性的依賴，同時(shí)減少了建模的復(fù)雜性和工作量。提高了系統(tǒng)的實(shí)時(shí)響應(yīng)性和穩(wěn)定性，確保在各種條件下都能保持高效運(yùn)行。

133、并行計(jì)算控制策略：

134、通過對actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的高效訓(xùn)練和實(shí)時(shí)應(yīng)用，顯著提高了算法的實(shí)時(shí)性和計(jì)算效率。利用車載域控制器能夠同時(shí)處理和管理汽車中的多個(gè)不同域的優(yōu)勢，將不同的任務(wù)或任務(wù)子集分配給各個(gè)處理核心，實(shí)現(xiàn)并行處理，進(jìn)一步提升系統(tǒng)性能。

135、綜上所述，本發(fā)明提出的智能網(wǎng)聯(lián)燃料電池汽車整車-系統(tǒng)集成式熱管理系統(tǒng)的熱-電耦合一體化集成式優(yōu)化控制方法，在燃料電池汽車熱-電協(xié)同優(yōu)化控制領(lǐng)域具有重要的創(chuàng)新意義和應(yīng)用價(jià)值。通過引入強(qiáng)化學(xué)習(xí)控制策略和并行計(jì)算控制分配策略，可以實(shí)現(xiàn)對燃料電池汽車熱電協(xié)同需求的精準(zhǔn)控制和高效利用，為提升整車性能、降低能耗和減少排放提供了有效的技術(shù)支撐。