本發(fā)明涉及基于正態(tài)分布綜合評(píng)估的腎臟替代治療策略推薦方法，屬于醫(yī)療大數(shù)據(jù)、人工智能領(lǐng)域，尤其適用于基于正態(tài)分布綜合評(píng)估的腎臟替代治療策略推薦。

背景技術(shù)：

1、人工智能(artificial?intelligence，簡(jiǎn)稱ai)和機(jī)器學(xué)習(xí)(machine?learning，簡(jiǎn)稱ml)技術(shù)的快速發(fā)展給醫(yī)學(xué)領(lǐng)域帶來(lái)了革命性的影響。這些技術(shù)已經(jīng)在醫(yī)學(xué)圖像分類、生物分子結(jié)構(gòu)分析、基因組學(xué)、自動(dòng)診斷、康復(fù)結(jié)果預(yù)測(cè)等方面取得了重大進(jìn)展。腎替代治療(renal?replacement?therapy，簡(jiǎn)稱rrt)作為一項(xiàng)至關(guān)重要的生命支持技術(shù)，已經(jīng)成為全球數(shù)百萬(wàn)患有腎臟疾病患者生命維持的重要治療方法。據(jù)估計(jì)，全球約有228.4萬(wàn)人面臨因缺乏rrt而可能導(dǎo)致的過早死亡的威脅。隨著技術(shù)的發(fā)展和醫(yī)療需求的增加，預(yù)計(jì)到2030年，全球使用rrt的患者數(shù)量將超過540萬(wàn)。慢性腎臟病評(píng)估與管理臨床實(shí)踐指南(kidneydisease：improving?global?outcomes，簡(jiǎn)稱kdigo)已經(jīng)開始關(guān)注ai技術(shù)的潛在應(yīng)用，并認(rèn)識(shí)到其在改進(jìn)患者預(yù)后方面的巨大潛力。具體的，人工智能在腎臟超聲領(lǐng)域的應(yīng)用尤為顯著，包括對(duì)腎臟的自動(dòng)分割、體積測(cè)量、功能預(yù)測(cè)以及疾病診斷等方面。展望到腎替代治療，特別是連續(xù)性腎替代治療(continuous?renal?replacement?therapy，簡(jiǎn)稱crrt)的應(yīng)用，ai技術(shù)已經(jīng)開始在預(yù)測(cè)crrt需求、預(yù)測(cè)死亡率和腎功能恢復(fù)、識(shí)別危險(xiǎn)因素、動(dòng)態(tài)監(jiān)測(cè)與預(yù)測(cè)并發(fā)癥等研究領(lǐng)域展現(xiàn)出其研究潛力。盡管如此，針對(duì)crrt的大部分人工智能相關(guān)的創(chuàng)新研究仍舊處于設(shè)計(jì)或早期驗(yàn)證階段。

2、選擇適合的rrt模式，如crrt、間歇性腎替代治療(intermittent?renalreplacement?therapy，簡(jiǎn)稱irrt)等，將直接影響到患者的治療效果、成本以及舒適度，甚至腎臟恢復(fù)的可能性。而與irrt相比，crrt更有可能提供更優(yōu)的腎功能恢復(fù)機(jī)會(huì)，從而對(duì)患者的生活質(zhì)量和醫(yī)療費(fèi)用產(chǎn)生重大影響，能夠有效降低對(duì)長(zhǎng)期透析的依賴。此外，在處理危重癥患者的嚴(yán)重急性腎損傷(acute?kidney?injury，簡(jiǎn)稱aki)中，rrt模式的選擇更是至關(guān)重要，它將直接影響死亡率和腎功能恢復(fù)等關(guān)鍵結(jié)果。

3、傳統(tǒng)的患者健康評(píng)估方法通常只采用了部分統(tǒng)計(jì)信息和生理指標(biāo)，例如順序器官衰竭評(píng)估(sequential?organ?failure?assessment，簡(jiǎn)稱sofa)評(píng)分、急性生理和慢性健康評(píng)估ii(acute?physiology?and?chronic?health?evaluation?ii，簡(jiǎn)稱apache?ii)評(píng)分、簡(jiǎn)化急性生理學(xué)評(píng)分ii(simplified?acute?physiology?score?ii，簡(jiǎn)稱saps?ii)等。這些方法各自側(cè)重不同的評(píng)估維度，難以直接用來(lái)全面評(píng)估ai控制下的rrt模式對(duì)應(yīng)的評(píng)估患者的健康狀況。同時(shí)，值得注意的是，醫(yī)療健康數(shù)據(jù)通常存在高噪聲、數(shù)據(jù)缺失等質(zhì)量問題，對(duì)此類問題的傳統(tǒng)處理方法主要是數(shù)據(jù)清洗和各種插值。通過刪除超過某一閾值的數(shù)據(jù)作為常見的數(shù)據(jù)清洗方法，雖然簡(jiǎn)便但很容易會(huì)導(dǎo)致丟失數(shù)據(jù)的關(guān)鍵特征，而常見的插值方法很難滿足特征的準(zhǔn)確提取。

4、因此，目前在腎替代治療策略上缺乏一個(gè)高效、實(shí)時(shí)、準(zhǔn)確的評(píng)價(jià)標(biāo)準(zhǔn)和智能推薦方法，尤其是針對(duì)數(shù)據(jù)缺失等情形。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了基于正態(tài)分布綜合評(píng)估的腎臟替代治療策略推薦方法，旨在首先利用矩陣分解技術(shù)重構(gòu)缺失數(shù)據(jù)，然后利用綜合正態(tài)評(píng)分(comprehensivenormalization?score，簡(jiǎn)稱cns)構(gòu)建強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)函數(shù)，進(jìn)而直接評(píng)估患者動(dòng)態(tài)健康狀態(tài)變化，最后通過綜合比較矩陣方法的多指標(biāo)評(píng)估體系更準(zhǔn)確地識(shí)別“最佳”和“最差”ai策略，實(shí)現(xiàn)腎臟替代治療策略推薦，最終實(shí)現(xiàn)智能的推薦腎臟替代治療策略以及預(yù)警的及時(shí)性和準(zhǔn)確性。

2、為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

3、基于正態(tài)分布綜合評(píng)估的腎臟替代治療策略推薦方法，結(jié)合圖1，其特征在于，該方法包含以下步驟：

4、s1：將體征監(jiān)測(cè)按照患者、特征和時(shí)序進(jìn)行預(yù)處理，得到患者數(shù)據(jù)矩陣；

5、s2：將統(tǒng)計(jì)患者數(shù)據(jù)矩陣中每個(gè)特征按照缺失率的θ-多數(shù)原則，篩選患者待評(píng)估矩陣；

6、s3：采用矩陣分解的方法，對(duì)患者待評(píng)估矩陣進(jìn)行缺失值填充；

7、s4：采用cns評(píng)分方法對(duì)填充后的待評(píng)估矩陣進(jìn)行逐個(gè)時(shí)刻的評(píng)分，并將該時(shí)刻的評(píng)分作為新的特征并入到患者時(shí)序數(shù)據(jù)中；

8、s5：將相鄰時(shí)刻的cns評(píng)分差作為獎(jiǎng)勵(lì)函數(shù)，rrt工作模式為動(dòng)作，患者特征作為狀態(tài)，建立q值模型；

9、s6：將患者時(shí)序數(shù)據(jù)輸入到q值模型進(jìn)行訓(xùn)練，通過比較q值，得到當(dāng)前輪次的最佳策略和最差策略，并記錄q值模型參數(shù)；

10、s7：計(jì)算當(dāng)前輪次每個(gè)患者的正激勵(lì)率ρep，根據(jù)ρep將患者時(shí)序數(shù)據(jù)分別標(biāo)注成超ρep治療方案和次ρep治療方案；

11、s8：遍歷所有輪次選擇的最佳策略、最差策略以及對(duì)應(yīng)的超ρep、次ρep治療方案的標(biāo)注，分別計(jì)算每批次的綜合比較矩陣，比較篩選出全局最佳策略與全局最差策略；

12、s9：重復(fù)步驟s6～步驟s8，直到q值模型滿足η-極優(yōu)終止準(zhǔn)則；

13、s10：利用全局最佳策略和全局最差策略對(duì)應(yīng)的q值模型參數(shù)構(gòu)建q值模型，實(shí)現(xiàn)對(duì)患者腎臟替代治療策略推薦。

14、進(jìn)一步，步驟s1所述的預(yù)處理為：

15、s101：將患者的體征監(jiān)測(cè)按照唯一標(biāo)識(shí)id進(jìn)行篩選；

16、s102：按照時(shí)序?qū)γ總€(gè)患者進(jìn)行數(shù)據(jù)排序，并做歸一化處理；

17、s103：將每個(gè)患者的時(shí)序數(shù)據(jù)按行為特征和列為時(shí)間構(gòu)造成一個(gè)矩陣m其中，未知元素設(shè)定為缺失值。

18、進(jìn)一步，步驟s2中所述具體計(jì)算為：

19、s201：計(jì)算患者時(shí)序數(shù)據(jù)中每個(gè)特征的缺失率，即缺失率＝缺失值數(shù)量/時(shí)序數(shù)據(jù)總數(shù)；

20、s202：按照θ-多數(shù)原則，將矩陣m中缺失率小于θ的行，逐行提取出來(lái)重新構(gòu)造成待評(píng)估矩陣mc，其中，θ為閾值超參數(shù)。

21、進(jìn)一步，步驟s3中所述的矩陣分解方法具體為：

22、(1)按照待評(píng)估矩陣mc的維度隨機(jī)生成兩個(gè)矩陣，和w；其中，mc為m×n維的矩陣，f和w分別為m×r和r×n的矩陣，r為待學(xué)習(xí)超參數(shù)；

23、(2)通過迭代更新，和w，直到m*＝f·w與待評(píng)估矩陣mc中已知元素對(duì)應(yīng)位置的元素的誤差小于閾值要求；

24、(3)根據(jù)m*對(duì)待評(píng)估矩陣mc中未知元素位置的元素進(jìn)行對(duì)應(yīng)的填充。

25、可優(yōu)選的是，步驟(2)所述的誤差為待評(píng)估矩陣mc所有已知元素與對(duì)應(yīng)位置m*元素差值的一范數(shù)、二范數(shù)或它們的線性組合。

26、所述的cns評(píng)分方法具體為：

27、s401：獲取待評(píng)估矩陣中各個(gè)特征對(duì)應(yīng)的醫(yī)學(xué)上定義的正常值參考區(qū)間；

28、s402：對(duì)于任意的一個(gè)特征，假定正常值參考區(qū)間為[l，u]，利用統(tǒng)計(jì)方法，計(jì)算出該特征的基線區(qū)間[min,max]；其中，l和u分別是下界和上界，min和max分別是待評(píng)估矩陣中該特征的最大值和最小值；

29、s403：如果l、u中任一值為負(fù)，則將參考區(qū)間和基線區(qū)間都進(jìn)行平移，否則執(zhí)行步驟s404；所述的平移操作具體為：l＝l+|min|，u＝u+|min|，min＝0，max＝max+|min|；

30、s404：利用冪函數(shù)對(duì)參考區(qū)間和基線區(qū)間進(jìn)行等比縮放；具體為：計(jì)算一個(gè)實(shí)數(shù)k使得：

31、l′＝lk，u′＝uk，min′＝mink，max′＝maxk；

32、其中u′-max′＝min′-l′；

33、s405：將參考區(qū)間和基線區(qū)間的中心分別平移到原點(diǎn)，具體為：

34、

35、s406：利用雙曲線正弦函數(shù)和將參考區(qū)間和基線區(qū)間進(jìn)行正態(tài)化；所述的正態(tài)化操作具體為：

36、如果maxs＞3·us，則正態(tài)化為：

37、l*＝tanhα(ls)，u*＝tanhα(us)，min*＝tanhα(mins)，max*＝tanhα(maxs)；

38、否則，正態(tài)化為：

39、l*＝sinhα(ls)，u*＝sinhα(us)，min*＝sinhα(mins)，max*＝sinhα(maxs)；

40、其中，α為超參數(shù)；

41、s407：標(biāo)準(zhǔn)正態(tài)分布化參考區(qū)間以及基線區(qū)間；具體為：

42、

43、s408：對(duì)于待評(píng)估矩陣中該特征對(duì)應(yīng)的任意的元素v，按照s406的正態(tài)化分支計(jì)算其對(duì)應(yīng)標(biāo)準(zhǔn)正態(tài)分布化為或者

44、s409：計(jì)算待評(píng)估矩陣中該特征標(biāo)準(zhǔn)化得分向量(dr，dm，de)，其中dr是待評(píng)估矩陣中該特征不在參考區(qū)間內(nèi)的元素?cái)?shù)量占該特征所有元素的比率，dm和de分別是不在區(qū)間[-1，1]的所有v*的絕對(duì)平均值和協(xié)方差；

45、s4010：根據(jù)標(biāo)準(zhǔn)化得分向量計(jì)算cns評(píng)分：cns(vs)＝0.6dr+0.3dm+0.1de，其中vs為計(jì)算dr，dm和de所對(duì)應(yīng)的特征。

46、進(jìn)一步，步驟s5所述相鄰時(shí)刻狀態(tài)的cns評(píng)分差為：rt＝cns(st)-cns(st+1)，所述的q值模型為double?deep?q?network(ddqn)模型，由q網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)和經(jīng)驗(yàn)緩沖池構(gòu)成；所述的q網(wǎng)絡(luò)輸入為經(jīng)驗(yàn)緩沖池中的當(dāng)前狀態(tài)st和當(dāng)前動(dòng)作αt，輸出為預(yù)測(cè)q值q(st，at；θ)，其中，θ為q網(wǎng)絡(luò)訓(xùn)練參數(shù)；從經(jīng)驗(yàn)緩沖池中獲取下一時(shí)刻狀態(tài)st+1，輸入q網(wǎng)絡(luò)得到該狀態(tài)下采取各個(gè)動(dòng)作分別獲得的q值，取所有q值中最大的那個(gè)q值所對(duì)應(yīng)的動(dòng)作a′，與經(jīng)驗(yàn)緩沖池中的下一時(shí)刻狀態(tài)st+1一起輸入所述的目標(biāo)網(wǎng)絡(luò)，得到最佳的q值q(st+1，a′；θ′)，其中，θ′為目標(biāo)網(wǎng)絡(luò)訓(xùn)練參數(shù)；將數(shù)據(jù)集中的時(shí)序數(shù)據(jù)以(st，at，rt，st+1)的形式，作為經(jīng)驗(yàn)存入所述的經(jīng)驗(yàn)緩沖池中；訓(xùn)練時(shí)，會(huì)隨機(jī)給出一批下標(biāo)，然后從經(jīng)驗(yàn)緩沖池中提取出下標(biāo)對(duì)應(yīng)的經(jīng)驗(yàn)；其中，狀態(tài)st對(duì)應(yīng)t時(shí)刻的體征監(jiān)測(cè)數(shù)據(jù)，動(dòng)作at對(duì)應(yīng)t時(shí)刻的rrt工作模式，獎(jiǎng)勵(lì)rt對(duì)應(yīng)t時(shí)刻狀態(tài)st與狀態(tài)st+1的cxsofa評(píng)分差，狀態(tài)st+1對(duì)應(yīng)t時(shí)刻在狀態(tài)st執(zhí)行動(dòng)作at后轉(zhuǎn)移的下一狀態(tài)。

47、進(jìn)一步，ddqn的網(wǎng)絡(luò)更新過程分為以下部分：

48、[1].網(wǎng)絡(luò)參數(shù)同步：將q網(wǎng)絡(luò)的參數(shù)θ更新到目標(biāo)網(wǎng)絡(luò)的參數(shù)θ′中，采取軟更新(soft?update)的更新方式，即引入一個(gè)更新率t，將q網(wǎng)絡(luò)參數(shù)和目標(biāo)網(wǎng)絡(luò)參數(shù)做加權(quán)平均后的值賦值給目標(biāo)網(wǎng)絡(luò)，即：θ′＝τ*θ+(1-τ)θ′；

49、[2].梯度更新：對(duì)q網(wǎng)絡(luò)的隱藏層參數(shù)進(jìn)行更新，采用mse算法計(jì)算損失函數(shù)l＝(rt+γ·q(st+1，a′；θ′)-q(st，at；θ))2；其中，rt為t時(shí)刻的獎(jiǎng)勵(lì)函數(shù)值，即t時(shí)刻和t-1時(shí)刻的cxsofa評(píng)分差；γ為折扣因子，是超參數(shù)。

50、更進(jìn)一步，步驟s5所述的q值模型為deep?q?network(dqn)模型，由q網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)和經(jīng)驗(yàn)緩沖池構(gòu)成；所述的q網(wǎng)絡(luò)為更新的網(wǎng)絡(luò)，通過預(yù)測(cè)q值實(shí)現(xiàn)訓(xùn)練生成最佳的狀態(tài)與動(dòng)作值，其輸入為經(jīng)驗(yàn)緩沖池中的當(dāng)前狀態(tài)st和當(dāng)前動(dòng)作at，輸出為預(yù)測(cè)q值q(st，at；θ)，其中，θ為q網(wǎng)絡(luò)訓(xùn)練參數(shù)；所述的目標(biāo)網(wǎng)絡(luò)從經(jīng)驗(yàn)緩沖池中獲取下一時(shí)刻狀態(tài)st+1，并從該狀態(tài)執(zhí)行的所有動(dòng)作a′中計(jì)算出最佳的q值maxq(st+1，a′；θ′)，其中，θ′為q網(wǎng)絡(luò)訓(xùn)練參數(shù)；所述的經(jīng)驗(yàn)緩沖池將(st，at，rt，st+1)作為經(jīng)驗(yàn)存入其中，訓(xùn)練時(shí)，會(huì)隨機(jī)給出一批下標(biāo)，然后從經(jīng)驗(yàn)緩沖池中提取出下標(biāo)對(duì)應(yīng)的經(jīng)驗(yàn)。其中，狀態(tài)st對(duì)應(yīng)t時(shí)刻的體征監(jiān)測(cè)作為狀態(tài)，動(dòng)作at對(duì)應(yīng)t時(shí)刻的rrt工作模式。

51、進(jìn)一步，dqn網(wǎng)絡(luò)的更新過程分為以下部分：

52、[1]網(wǎng)絡(luò)參數(shù)同步：將q網(wǎng)絡(luò)的參數(shù)θ更新到目標(biāo)網(wǎng)絡(luò)的參數(shù)θ′中，采取的更新方式為軟更新(soft?update)，即引入一個(gè)更新率τ，將q網(wǎng)絡(luò)參數(shù)和目標(biāo)網(wǎng)絡(luò)參數(shù)做加權(quán)平均后的值賦值給目標(biāo)網(wǎng)絡(luò)；具體的更新公式為：θ′＝τ*θ+(1-τ)θ′。

53、[2]梯度更新：對(duì)q網(wǎng)絡(luò)的隱層參數(shù)進(jìn)行更新，采用mse算法計(jì)算損失函數(shù)l＝(rt+γ·maxq(st+1，a′；θ′)-q(st，at；θ))2；其中，rt為t時(shí)刻的獎(jiǎng)勵(lì)函數(shù)值，即t時(shí)刻和t-1時(shí)刻的評(píng)分差；γ為折扣因子，是超參數(shù)。

54、更進(jìn)一步，步驟s5所述的q值模型為behavior?cloning?with?q-values(bcq)模型，由q網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)、行為克隆和經(jīng)驗(yàn)回放池構(gòu)成；所述的q網(wǎng)絡(luò)為更新的網(wǎng)絡(luò)，通過預(yù)測(cè)q值實(shí)現(xiàn)訓(xùn)練生成最佳的狀態(tài)與動(dòng)作值，其輸入為經(jīng)驗(yàn)緩沖池中的當(dāng)前狀態(tài)st和當(dāng)前動(dòng)作at，輸出為預(yù)測(cè)q值q(st，at；θ)，其中，θ為q網(wǎng)絡(luò)訓(xùn)練參數(shù)；所述的目標(biāo)網(wǎng)絡(luò)從經(jīng)驗(yàn)緩沖池中獲取下一時(shí)刻狀態(tài)st+1，并從該狀態(tài)執(zhí)行的所有動(dòng)作α′中計(jì)算出最佳的q值maxq(st+1，a′；θ′)，其中，θ′為q網(wǎng)絡(luò)訓(xùn)練參數(shù)；所述的經(jīng)驗(yàn)緩沖池將(st，at，rt，st+1)作為經(jīng)驗(yàn)存入其中，訓(xùn)練時(shí)，會(huì)隨機(jī)給出一批下標(biāo)，然后從經(jīng)驗(yàn)緩沖池中提取出下標(biāo)對(duì)應(yīng)的經(jīng)驗(yàn)；所述的行為克隆為通過模仿專家策略來(lái)學(xué)習(xí)動(dòng)作選擇，即直接學(xué)習(xí)從狀態(tài)到動(dòng)作的映射，無(wú)需通過試錯(cuò)過程。其中，狀態(tài)st對(duì)應(yīng)t時(shí)刻的體征監(jiān)測(cè)作為狀態(tài)，動(dòng)作at對(duì)應(yīng)t時(shí)刻的rrt工作模式。

55、進(jìn)一步，dqn網(wǎng)絡(luò)的更新過程分為以下部分：

56、[1]網(wǎng)絡(luò)參數(shù)同步：將q網(wǎng)絡(luò)的參數(shù)θ更新到目標(biāo)網(wǎng)絡(luò)的參數(shù)θ′中，采取的更新方式為軟更新(soft?update)，即引入一個(gè)更新率τ，將q網(wǎng)絡(luò)參數(shù)和目標(biāo)網(wǎng)絡(luò)參數(shù)做加權(quán)平均后的值賦值給目標(biāo)網(wǎng)絡(luò)；具體的更新公式為：θ′＝τ*θ+(1-τ)θ′。

57、[2]梯度更新：對(duì)q網(wǎng)絡(luò)的隱層參數(shù)進(jìn)行更新，采用mse算法計(jì)算損失函數(shù)l＝(rt+γ·maxq(st+1，a′；θ′)-q(st，at；θ))2；其中，rt為t時(shí)刻的獎(jiǎng)勵(lì)函數(shù)值，即t時(shí)刻和t-1時(shí)刻的評(píng)分差；γ為折扣因子，是超參數(shù)。

58、進(jìn)一步，步驟s6所述的比較q值得到當(dāng)前輪次最佳策略和最差策略，具體為：對(duì)任意的狀態(tài)s，計(jì)算狀態(tài)s以及動(dòng)作a下的輸出q值，即q(s，a)，根據(jù)和選出q值最大和最小的策略，即最佳策略π*、最差策略π′，其中a為動(dòng)作空間。

59、進(jìn)一步，所述的步驟s7具體如下：

60、s701：統(tǒng)計(jì)當(dāng)前輪次的患者時(shí)序數(shù)據(jù)的正激勵(lì)數(shù)ng，即rt≥0的狀態(tài)個(gè)數(shù)；

61、s702：計(jì)算正激勵(lì)率：ρep＝ng/n；其中，n為當(dāng)前輪次的患者時(shí)序數(shù)據(jù)的狀態(tài)總數(shù)；

62、s703：設(shè)定一個(gè)閾值τ∈[0.5,1]作為正激勵(lì)率閾值，當(dāng)ρep≥τ時(shí)，將對(duì)應(yīng)時(shí)刻的患者時(shí)序數(shù)據(jù)稱為超ρep治療方案，加入pb中，否則稱為次ρep治療方案，加入pg中。

63、進(jìn)一步，結(jié)合表1、表2，所述的步驟s8具體為：

64、s801：計(jì)算體征監(jiān)測(cè)數(shù)據(jù)st在最佳策略π*的動(dòng)作π*(st)與t時(shí)刻的超ρeep治療方案at的動(dòng)作相似度＝其中，idx(*)表示*的下標(biāo)，n為當(dāng)前輪次的患者時(shí)序數(shù)據(jù)的狀態(tài)總數(shù)，p∈pg，pg為當(dāng)前輪次愈后效果良好的時(shí)序數(shù)據(jù)的集合，將pg包含的時(shí)序數(shù)據(jù)數(shù)量記作|pg|；

65、s802：計(jì)算體征監(jiān)測(cè)數(shù)據(jù)st在最佳策略π*的動(dòng)作π*(st)與t時(shí)刻的次ρep治療方案at的動(dòng)作相似度＝p∈pb，pb為當(dāng)前輪次愈后效果不好的時(shí)序數(shù)據(jù)的集合，將pb包含的時(shí)序數(shù)據(jù)數(shù)量記作|pb|；

66、s803：計(jì)算體征監(jiān)測(cè)數(shù)據(jù)st在最差策略π′的動(dòng)作π′(st)與t時(shí)刻的超ρep治療方案at的動(dòng)作相似度＝

67、s804：計(jì)算體征監(jiān)測(cè)數(shù)據(jù)st在最差策略π′的動(dòng)作π′(st)與t時(shí)刻的次ρep治療方案at的動(dòng)作相似度＝

68、s805：計(jì)算優(yōu)極差異ξ°＝og-ob、劣極差異ξw＝wb-wg、綜合置信度和綜合偏倚μ＝(og-wg)-(wb-ob)；

69、s806：遍歷所有輪次，對(duì)于任意的i≠j的兩個(gè)輪次，如果ξo(πi)≥ξo(πj)并且ξw(πi)≥ξw(πj)，就認(rèn)為策略πi比策略πj要好，否則，如果σ(πi)≥σ(πj)，也認(rèn)為策略πi比策略πj要好，選出全局最佳策略是全局最差策略是π′i。

70、可優(yōu)選的是，步驟s806所述的篩選全局最佳策略的方法可以通過引入臨時(shí)變量存儲(chǔ)全局最佳策略，只比較當(dāng)前輪次和臨時(shí)變量，進(jìn)而判斷出全局最佳策略。

71、進(jìn)一步，步驟s9所述的η極優(yōu)終止準(zhǔn)則具體為：設(shè)定一個(gè)超參數(shù)η≥1，如果通過步驟s8選擇的全局最佳策略和全局最差策略是在最近的η輪次之中得到的，則繼續(xù)下一輪q值模型的訓(xùn)練；否則就終止訓(xùn)練。

72、所述步驟s10具體為：根據(jù)終止準(zhǔn)則達(dá)到時(shí)對(duì)應(yīng)的全局最佳策略和全局最差策略，選取對(duì)應(yīng)的q值模型參數(shù)來(lái)構(gòu)建q值模型，進(jìn)而實(shí)現(xiàn)對(duì)腎臟替代治療策略推薦。

73、

74、本發(fā)明的有益效果：本發(fā)明提供了一種基于強(qiáng)化學(xué)習(xí)的腎臟替代治療策略推薦方法，首先通過矩陣分解填補(bǔ)數(shù)據(jù)集中的缺失值，然后提出cns評(píng)分方法設(shè)計(jì)了恰當(dāng)?shù)莫?jiǎng)勵(lì)函數(shù)使得策略，并使用η-極優(yōu)終止準(zhǔn)則確定q值模型的收斂性，同時(shí)引入綜合比較矩陣對(duì)q值模型進(jìn)行準(zhǔn)確的綜合評(píng)價(jià)，智能的篩選出最優(yōu)的網(wǎng)絡(luò)參數(shù)，保障了模型輸出策略的及時(shí)性和準(zhǔn)確性。本發(fā)明方法摒棄了基于sofa評(píng)分機(jī)制的刻板模式，從統(tǒng)計(jì)學(xué)意義上給出了最優(yōu)的ai策略推薦，能夠更加智能的輔助醫(yī)務(wù)人員采取有效的治療措施。