本發(fā)明涉及電磁敏感測(cè)試，特別是涉及一種基于強(qiáng)化學(xué)習(xí)的電磁最敏感波形測(cè)試方法。

背景技術(shù)：

1、電磁敏感性(ems)指的是設(shè)備、器件或系統(tǒng)因電磁干擾可能導(dǎo)致工作性能降級(jí)的特性，已成為影響電子設(shè)備可靠性和完整性的關(guān)鍵因素。電磁敏感性可以通過對(duì)電子設(shè)備開展ems測(cè)試獲得，該測(cè)試將對(duì)被試品(eut)施加一定功率的干擾信號(hào)，當(dāng)干擾功率超過某一閾值后被試品發(fā)生了工作性能降級(jí)，則該閾值被定義為敏感度門限，用以反映被試品的電磁敏感性。隨著設(shè)備的集成度越來越高、所處的電磁環(huán)境越來越復(fù)雜，揭示設(shè)備的電磁敏感性對(duì)不同干擾信號(hào)的細(xì)微差別對(duì)保障設(shè)備安全穩(wěn)定工作至關(guān)重要。因此，尋找一種能以更低功率激發(fā)eut電磁敏感性的信號(hào)波形是非常有意義的。

2、現(xiàn)有的ems測(cè)試標(biāo)準(zhǔn)使用固定的波形進(jìn)行掃頻測(cè)試以獲得不同頻率的敏感度門限。如gjb-151b建議使用占空比為50、脈沖重復(fù)頻率為1khz、調(diào)制深度為100％的脈沖幅度調(diào)制(pm)信號(hào)。國(guó)際電工委員會(huì)標(biāo)準(zhǔn)iec?61000-4-3建議采用調(diào)制頻率為1khz，調(diào)制深度為80％的正弦波調(diào)幅(am)波形。這些標(biāo)準(zhǔn)推薦的這些波形來自現(xiàn)實(shí)世界中可能存在的干擾。gjb-151b推薦的波形類似于開關(guān)電源引起的干擾，而iec?61000-4-3推薦的波形可能是am廣播信號(hào)引起的干擾。此外，調(diào)頻(fm)廣播或調(diào)頻連續(xù)波雷達(dá)產(chǎn)生的干擾可能會(huì)引發(fā)電磁敏感。雖然這些標(biāo)準(zhǔn)推薦的固定波形易于實(shí)施和推廣，但它們可能無法完全捕獲某些eut的具體電磁敏感性特征。

3、國(guó)內(nèi)外已有一些研究用復(fù)雜測(cè)試波形對(duì)特定eut進(jìn)行了測(cè)試。如單載波頻分多址、正交相移鍵控和濾波噪聲等信號(hào)波形在航空電子系統(tǒng)輻射敏感性測(cè)試中的應(yīng)用。此外，還有學(xué)者研究了電快速瞬變脈沖干擾下can網(wǎng)絡(luò)的電磁敏感性、雙指數(shù)電磁脈沖干擾下個(gè)人計(jì)算機(jī)系統(tǒng)的電磁敏感性、以及基本發(fā)射要素波形干擾下溫度傳感器的電磁敏感性。上述研究考慮了實(shí)際環(huán)境中可能產(chǎn)生的各種復(fù)雜波形，但它們可能不是eut的最敏感波形。

4、一些研究已經(jīng)利用優(yōu)化算法來確定最敏感波形的參數(shù)。例如，貝葉斯優(yōu)化可用于無人機(jī)數(shù)據(jù)鏈路的自適應(yīng)敏感度測(cè)試，它被用來搜尋復(fù)雜電磁環(huán)境中導(dǎo)致無人機(jī)數(shù)據(jù)鏈路敏感的干擾波形參數(shù)的組合，并預(yù)測(cè)敏感度門限。在已知eut工作原理的情況下，傳統(tǒng)優(yōu)化方法可以得到激發(fā)eut電磁敏感的最敏感波形，然而，對(duì)于原理未知的eut，在巨大的波形參數(shù)空間中掃描參數(shù)或進(jìn)行優(yōu)化會(huì)帶來難以承受的計(jì)算開銷。

5、強(qiáng)化學(xué)習(xí)在高維空間的優(yōu)化能力和對(duì)復(fù)雜環(huán)境的適應(yīng)性使其適合于ems測(cè)試中波形參數(shù)的搜尋。強(qiáng)化學(xué)習(xí)可以在復(fù)雜的高維空間中確定最優(yōu)策略，即使在巨大的參數(shù)空間中也表現(xiàn)出了很強(qiáng)的學(xué)習(xí)和優(yōu)化能力。最近的研究表明，強(qiáng)化學(xué)習(xí)在電磁兼容領(lǐng)域具有很大的應(yīng)用潛力，它已用于pcb接地通孔布局優(yōu)化和芯片系統(tǒng)級(jí)封裝中的引腳分配優(yōu)化。

6、綜上所述，現(xiàn)有標(biāo)準(zhǔn)測(cè)試方法無法獲取最敏感波形，現(xiàn)有優(yōu)化方法在搜尋最敏感波形時(shí)暴露出一些局限性，因此亟需發(fā)展一種新的智能測(cè)試方法去解決這些問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于強(qiáng)化學(xué)習(xí)的電磁最敏感波形測(cè)試方法，在所劃定的調(diào)制波形集中能夠快速搜尋出使得被試品敏感度門限最低的最敏感波形。

2、本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于強(qiáng)化學(xué)習(xí)的電磁最敏感波形測(cè)試方法，包括以下步驟：

3、s1.建立電磁敏感性測(cè)試的強(qiáng)化學(xué)習(xí)架構(gòu)，構(gòu)建狀態(tài)空間、動(dòng)作空間；

4、所述步驟s1包括：

5、將ems測(cè)試中的射頻信號(hào)源作為強(qiáng)化學(xué)習(xí)中的智能體，其目標(biāo)是學(xué)習(xí)如何在每一步中進(jìn)行動(dòng)作以最大化累積獎(jiǎng)勵(lì)，最小化測(cè)試波形所激發(fā)的被試品敏感度門限；

6、將ems測(cè)試中的測(cè)試系統(tǒng)作為強(qiáng)化學(xué)習(xí)中的環(huán)境，用以接收射頻信號(hào)源的信號(hào)波形輸出，并返回被試品的敏感狀態(tài)；

7、將ems測(cè)試中的信號(hào)源波形參數(shù)和被試品敏感狀態(tài)作為強(qiáng)化學(xué)習(xí)中的狀態(tài)，共計(jì)8種波形參數(shù)和2種敏感狀態(tài)參數(shù)，共同構(gòu)成了強(qiáng)化學(xué)習(xí)中的狀態(tài)空間，狀態(tài)空間中每一種參數(shù)為一個(gè)狀態(tài)，共計(jì)10個(gè)狀態(tài)，每個(gè)狀態(tài)的值均在[-1,1]的范圍內(nèi)；

8、將ems測(cè)試中的波形參數(shù)變化作為強(qiáng)化學(xué)習(xí)中的動(dòng)作，其目的是改變智能體當(dāng)前狀態(tài)以期獲得更大的獎(jiǎng)勵(lì)；共計(jì)8種動(dòng)作，對(duì)應(yīng)于8種波形參數(shù)的改變量，分別為載波頻率的改變量、調(diào)制類型參數(shù)的改變量、調(diào)制波形參數(shù)的改變量、調(diào)制頻率的改變量、調(diào)制深度的改變量、頻率偏移的改變量、脈沖占空比的改變量和脈沖周期的改變量；這8種動(dòng)作的值均在[-1,1]的范圍內(nèi)，構(gòu)成了強(qiáng)化學(xué)習(xí)中的動(dòng)作空間。

9、所述8種波形參數(shù)包括：

10、載波頻率：符號(hào)為s(1)，表示歸一化的載波頻率值，取值范圍為[-1,1]；設(shè)真實(shí)載波頻率的物理范圍為[fmin,fmax]，根據(jù)s(1和物理范圍[fmin,fmax]，真實(shí)載波頻率為：?jiǎn)挝粸閙hz；

11、調(diào)制類型：符號(hào)為s(2)，取值范圍為[-1,1]，取值范圍劃分為四個(gè)區(qū)間：[-1、-0.5)，[-0.5、0)，[0、0.5)，[0.5、1]；每一個(gè)區(qū)間對(duì)應(yīng)于一種真實(shí)的調(diào)制類型，所述真實(shí)的調(diào)制類型包括不調(diào)制、調(diào)幅、調(diào)頻、脈沖調(diào)制；

12、調(diào)制波形：符號(hào)為s(3)，取值范圍為[-1,1]，取值范圍劃分為五個(gè)區(qū)間：[-1、-0.6)，[-0.6、-0.2)，[-0.2、0.2)，[0.2、0.6)，[-0.6、1)；每一個(gè)區(qū)間對(duì)應(yīng)于一種真實(shí)的波形，所述波形包括正弦、三角、方波、正斜坡、負(fù)斜坡；

13、調(diào)制頻率：符號(hào)為s(4)，表示歸一化的調(diào)制頻率值，取值范圍為[-1,1]；設(shè)真實(shí)調(diào)制頻率的物理范圍為根據(jù)s(4)和物理范圍真實(shí)調(diào)制頻率為：?jiǎn)挝粸閙hz；

14、調(diào)制深度：符號(hào)為s(5)，表示歸一化的調(diào)制深度值，取值范圍為[-1,1]；設(shè)真實(shí)調(diào)制深度的物理范圍為[amin,amax]，根據(jù)s(5)和物理范圍[amin,amax]，真實(shí)調(diào)制深度為：?jiǎn)挝粸椋ィ?/p>

15、頻率偏移：符號(hào)為s(6)，表示歸一化的頻率偏移值，取值范圍為[-1,1]；設(shè)真實(shí)頻率偏移的物理范圍為根據(jù)s(6)和物理范圍真實(shí)頻率偏移為：?jiǎn)挝粸閙hz；

16、脈沖占空比：符號(hào)為s(7)，表示歸一化的脈沖占空比值，取值范圍為[-1,1]；設(shè)真實(shí)脈沖占空比的物理范圍為[kmin,kmax]，根據(jù)s(7)和物理范圍[kmin,kmax]，真實(shí)脈沖占空比為：?jiǎn)挝粸椋ィ?/p>

17、脈沖周期：符號(hào)為s(8)，表示歸一化的脈沖周期值，取值范圍為[-1,1]，設(shè)真實(shí)脈沖周期的物理范圍為[tmin,tma，根據(jù)s(8)和物理范圍[tmin,tma，真實(shí)脈沖周期為：?jiǎn)挝粸閙s；

18、2種敏感狀態(tài)參數(shù)包括：

19、敏感性，符號(hào)為s(9)，表示被試品在當(dāng)前測(cè)試波形下是否發(fā)生敏感，取值范圍為[-1,1]；取值范圍劃分為兩個(gè)區(qū)間：[-1、0)，[0、1]，分別表示被試品在當(dāng)前測(cè)試波形下敏感、被試品在當(dāng)前測(cè)試波形下不敏感；

20、敏感度門限，符號(hào)為s(10)，表示歸一化的敏感度門限值，取值范圍為[-1,1]，設(shè)真實(shí)敏感度門限的物理范圍為[pmin,pmax]，根據(jù)s(10)和物理范圍[pmin,pmax]，真實(shí)敏感度門限為：?jiǎn)挝粸閐bm。

21、s2.基于雙延遲深度確定性策略梯度網(wǎng)絡(luò)建立強(qiáng)化學(xué)習(xí)的模型；

22、所述步驟s2中基于雙延遲深度確定性策略梯度網(wǎng)絡(luò)，即td3網(wǎng)絡(luò)，包括一個(gè)在線學(xué)習(xí)網(wǎng)絡(luò)和一個(gè)目標(biāo)網(wǎng)絡(luò)，每一個(gè)網(wǎng)絡(luò)內(nèi)部都含有一個(gè)演員網(wǎng)絡(luò)和一個(gè)雙q網(wǎng)絡(luò)，其中雙q網(wǎng)絡(luò)含有兩個(gè)評(píng)論家網(wǎng)絡(luò)；

23、演員網(wǎng)絡(luò)和評(píng)論家網(wǎng)絡(luò)均為含兩個(gè)隱藏層的全連接神經(jīng)網(wǎng)絡(luò)，每個(gè)隱藏層含nhidden個(gè)神經(jīng)元；演員網(wǎng)絡(luò)的輸入維度為10，用于輸入狀態(tài)，輸出維度為8，用于輸出動(dòng)作，而評(píng)論家網(wǎng)絡(luò)的輸入維度為18，用于輸入狀態(tài)+動(dòng)作，輸出維度為1，用于輸出q值；演員網(wǎng)絡(luò)的激活函數(shù)為雙曲正切函數(shù)，而評(píng)論家網(wǎng)絡(luò)的激活函數(shù)為relu函數(shù)。

24、s3.搭建敏感度門限自動(dòng)化閉環(huán)測(cè)試環(huán)境；

25、所述步驟s3包括：

26、射頻信號(hào)源的輸出信號(hào)通過功率放大器進(jìn)行放大，功率放大后的信號(hào)接入定向耦合器中，定向耦合器的直通端接入被試品，將信號(hào)功率直接注入進(jìn)被試品中，定向耦合器的耦合端通過一個(gè)衰減器接入信號(hào)接收機(jī)中，用以測(cè)量實(shí)際注入功率，通過直流電源為功率放大器供電。通過測(cè)試臺(tái)固定被試品以提高實(shí)驗(yàn)的重復(fù)性；

27、自動(dòng)閉環(huán)測(cè)試的核心是一臺(tái)控制計(jì)算機(jī)，它從微控制器處獲取被試品的敏感狀態(tài)，并通過信號(hào)接收機(jī)監(jiān)測(cè)當(dāng)前測(cè)試頻率下的功率，根據(jù)所獲得的信息，進(jìn)行智能決策，控制射頻信號(hào)源改變輸出的信號(hào)波形；新波形所激發(fā)的敏感性實(shí)時(shí)反饋到控制計(jì)算機(jī)，以支撐下一步智能決策，從而形成一個(gè)閉環(huán)來搜尋使被試品敏感度門限最低的最敏感波形。

28、s4.構(gòu)建電磁敏感獎(jiǎng)勵(lì)函數(shù)，設(shè)計(jì)基礎(chǔ)獎(jiǎng)勵(lì)函數(shù)及整形獎(jiǎng)勵(lì)函數(shù)；

29、所述步驟s4包括：

30、獎(jiǎng)勵(lì)函數(shù)用以引導(dǎo)智能體實(shí)現(xiàn)目標(biāo)，若被試品出現(xiàn)了電磁敏感現(xiàn)象，則智能體將會(huì)獲得獎(jiǎng)勵(lì)；考慮到大部分波形并不會(huì)激發(fā)被試品的電磁敏感性，會(huì)導(dǎo)致稀疏獎(jiǎng)勵(lì)的問題，因此采用獎(jiǎng)勵(lì)整形方法：通過將總獎(jiǎng)勵(lì)分為基本獎(jiǎng)勵(lì)rib和整形獎(jiǎng)勵(lì)ris來實(shí)現(xiàn)；

31、基本獎(jiǎng)勵(lì)函數(shù)rib將使智能體在當(dāng)前狀態(tài)接近smin時(shí)獲得較大的獎(jiǎng)勵(lì)，其中smin表示當(dāng)前為止最敏感波形狀態(tài)；

32、獎(jiǎng)勵(lì)主要考慮最敏感波形的載波頻率smin(1)，第i步的基本獎(jiǎng)勵(lì)函數(shù)定義為：

33、

34、其中*表示非歸一化值，為當(dāng)前為止最敏感波形的敏感度門限；

35、最敏感波形的狀態(tài)在初始階段是未知的，因此設(shè)計(jì)如下的整形獎(jiǎng)勵(lì)函數(shù)來引導(dǎo)智能體尋找更低的敏感度門限：

36、

37、其中平方項(xiàng)幫助智能體搜尋在一步中降低最大敏感度門限的動(dòng)作，從而加速最敏感波形的搜尋，當(dāng)?shù)趇步的敏感度門限是目前為止最低的時(shí)候，會(huì)給智能體一個(gè)巨大的獎(jiǎng)勵(lì)ris＝ris+100；

38、此外還有以下整形獎(jiǎng)勵(lì)函數(shù)用來加速收斂：

39、ris＝ris+1ifsi+1(9)＝＝1

40、ris＝ris-1ifsi+1(9)＝＝-1

41、ris＝ris+5ifsi+1(9)＝＝1andsi(9)＝＝-1

42、ris＝ris-10ifsi+1(9)＝＝-1andsi(9)＝＝1

43、最后，總獎(jiǎng)勵(lì)表示為：

44、ri＝rib+μris

45、式中μ為獎(jiǎng)勵(lì)整形衰減因子，μ從1開始，根據(jù)總步長(zhǎng)線性衰減到0。

46、s5.開始電磁最敏感波形測(cè)試與強(qiáng)化學(xué)習(xí)訓(xùn)練，獲得最敏感波形。

47、所述步驟s5包括：

48、s501.開始電磁最敏感波形測(cè)試并同步訓(xùn)練所構(gòu)建的強(qiáng)化學(xué)習(xí)模型，訓(xùn)練總共分為nep局，每一局有ns步，環(huán)境在每一局開始時(shí)需要進(jìn)行重置：射頻信號(hào)源的輸出被關(guān)閉，狀態(tài)被重置為均勻分布在-1到1之間的隨機(jī)數(shù)，并且局結(jié)束標(biāo)志bdone被重置為0；nwarm步內(nèi)作為預(yù)熱階段，在此期間，動(dòng)作是均勻分布在-1到1之間的隨機(jī)數(shù)，而不是由td3網(wǎng)絡(luò)中演員網(wǎng)絡(luò)推理得到；在非預(yù)熱階段，基于當(dāng)前狀態(tài)si使用在線網(wǎng)絡(luò)中的演員網(wǎng)絡(luò)推理出動(dòng)作；在動(dòng)作中加入均值為0，方差為en的高斯噪聲作為探索噪聲；當(dāng)前波形參數(shù)狀態(tài)基于所得到的動(dòng)作ai進(jìn)行更新：

49、si+1(1:8)＝si(1:8)+βai

50、其中β表示動(dòng)作的最大步長(zhǎng)，更新后的波形狀態(tài)si+1(1:8)需要裁剪到[-1,1]的范圍內(nèi)；

51、s502.通過控制射頻信號(hào)源，輸出載波功率為pmax的波形，波形參數(shù)為狀態(tài)si+1(1:8)所表示的物理真實(shí)值，信號(hào)輸出停留2秒后觀察eut的敏感性，如果eut不敏感，則設(shè)si+1(9)＝-1和si+1(10)＝1；

52、否則設(shè)si+1(9)＝1，并在[pmin,pmax]范圍內(nèi)進(jìn)行二分搜索；每次載波功率的變化應(yīng)停留2秒；利用二分搜索法改變載波功率共bn次以找出敏感度門限，其精度達(dá)到

53、將敏感度門限由[pmin,pmax]歸一化到[-1,1]，記錄在si+1(10)中；

54、s503.根據(jù)步驟s4計(jì)算獎(jiǎng)勵(lì)ri，如果敏感度門限是迄今為止最低的，則當(dāng)前狀態(tài)應(yīng)記錄在smin中；

55、如果這一局已經(jīng)結(jié)束，令bdone＝1，否則令bdone＝0；

56、s504.將si、ai、ri、si+1和bdone記錄到經(jīng)驗(yàn)回放緩沖區(qū)中，進(jìn)入下一步循環(huán)，直到每一局均結(jié)束后，得到最敏感波形狀態(tài)smin；

57、在測(cè)試的過程中，每隔lrdelay步以lrγ衰減學(xué)習(xí)率lr，每隔nen步以γen衰減探索噪聲方差en，在tstart步之后，每隔ttrain步訓(xùn)練一次td3網(wǎng)絡(luò)，訓(xùn)練方法包括：

58、從經(jīng)驗(yàn)回放緩沖區(qū)中獲取一批nbatch樣本si、ai、ri、si+1，將si+1送入目標(biāo)網(wǎng)絡(luò)的演員網(wǎng)絡(luò)中得到ai+1，將si+1和ai+1送入目標(biāo)網(wǎng)絡(luò)的評(píng)論家網(wǎng)絡(luò)中得到q*1和q*2，取q*1和q*2的最小值作為q，根據(jù)貝爾曼公式計(jì)算得到目標(biāo)q值qt＝ri+(～bdone)γq，其中～bdone表示對(duì)bdone取反，γ表示折扣因子；

59、將si和ai送入在線網(wǎng)絡(luò)的雙q網(wǎng)絡(luò)中得到q1和q2，計(jì)算mse?loss1＝qt-q1，mseloss2＝qt-q2，總損失loss＝mse?loss1+mse?loss2，以loss作為損失函數(shù)，通過反向傳播算法更新在線網(wǎng)絡(luò)中的雙q網(wǎng)絡(luò)參數(shù)；

60、在線網(wǎng)絡(luò)中演員網(wǎng)絡(luò)的參數(shù)在訓(xùn)練期間每tdelay步更新一次，更新過程如下：將si送入在線網(wǎng)絡(luò)的演員網(wǎng)絡(luò)中，得到將si和送入在線網(wǎng)絡(luò)的雙q網(wǎng)絡(luò)中，僅獲得其中第一個(gè)評(píng)論家網(wǎng)絡(luò)的值，將其負(fù)數(shù)作為損失函數(shù)，通過反向傳播算法更新在線網(wǎng)絡(luò)中的演員網(wǎng)絡(luò)參數(shù)；

61、目標(biāo)網(wǎng)絡(luò)的權(quán)重參數(shù)通過軟更新過程在訓(xùn)練期間每tdelay步更新一次，這些參數(shù)與在線網(wǎng)絡(luò)的參數(shù)以(1-τ):τ的比例合并。

62、本發(fā)明的有益效果是：本發(fā)明相對(duì)于電磁敏感性標(biāo)準(zhǔn)測(cè)試方法和基于遺傳算法的優(yōu)化測(cè)試方法，能夠在所劃定的調(diào)制信號(hào)集中搜尋出使得被試品敏感度門限最低的最敏感波形。本發(fā)明同時(shí)將強(qiáng)化學(xué)習(xí)的相關(guān)概念引入到ems測(cè)試中，構(gòu)建了基于雙延遲深度確定性策略梯度網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)框架，并設(shè)計(jì)了針對(duì)電磁敏感測(cè)試的獎(jiǎng)勵(lì)函數(shù)。本發(fā)明能夠更快確定最敏感波形，同時(shí)所確定的最敏感波形敏感度門限更低。