本發(fā)明屬于automl自動(dòng)化機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及一種面向航空發(fā)動(dòng)機(jī)損傷檢測(cè)的深度學(xué)習(xí)模型自動(dòng)推薦方法。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，各種復(fù)雜模型層出不窮，人們對(duì)模型的準(zhǔn)確率要求不斷提高。在航空發(fā)動(dòng)機(jī)損傷檢測(cè)領(lǐng)域，這種趨勢(shì)尤為明顯。準(zhǔn)確的損傷檢測(cè)是保障飛行安全的關(guān)鍵環(huán)節(jié)之一，它能夠幫助工程師及時(shí)發(fā)現(xiàn)潛在的問題并采取必要的維護(hù)措施。然而，在研究人員開發(fā)出新的網(wǎng)絡(luò)結(jié)構(gòu)后，模型的性能往往需要通過精細(xì)調(diào)整多個(gè)超參數(shù)來進(jìn)一步提升。這些超參數(shù)包括批量大小、data?augmentation、epoch等。每一個(gè)超參數(shù)的設(shè)置都可能對(duì)模型的最終表現(xiàn)產(chǎn)生顯著影響，因此，找到最佳的超參數(shù)組合對(duì)于提升模型性能至關(guān)重要。

2、然而，這一過程通常需要進(jìn)行大量的實(shí)驗(yàn)和調(diào)優(yōu)，耗費(fèi)了研究人員大量的時(shí)間和計(jì)算資源。為了簡(jiǎn)化這一過程，自動(dòng)化機(jī)器學(xué)習(xí)(automl)方法應(yīng)運(yùn)而生。automl方法旨在自動(dòng)化地搜索和優(yōu)化深度學(xué)習(xí)模型的超參數(shù)和架構(gòu)，從而減輕研究人員的工作負(fù)擔(dān)。然而，現(xiàn)有的大多數(shù)automl方法主要集中在神經(jīng)網(wǎng)絡(luò)架構(gòu)的搜索上，而非超參數(shù)的優(yōu)化。這些方法在處理小數(shù)據(jù)集時(shí)表現(xiàn)尚可，但當(dāng)面對(duì)像航空發(fā)動(dòng)機(jī)損傷檢測(cè)這樣的復(fù)雜任務(wù)時(shí)，它們往往需要不可接受的能源消耗。大規(guī)模數(shù)據(jù)集上的模型訓(xùn)練和優(yōu)化不僅耗時(shí)長(zhǎng)，而且對(duì)計(jì)算資源的需求也極高，導(dǎo)致現(xiàn)有的automl方法在實(shí)際應(yīng)用中受到限制。

3、此外，研究表明，相同的神經(jīng)網(wǎng)絡(luò)在不同的硬件設(shè)備上運(yùn)行時(shí)，其性能可能會(huì)有顯著差異。這種差異可能是由硬件的架構(gòu)、計(jì)算能力、內(nèi)存帶寬等因素引起的。然而，目前的研究還未能系統(tǒng)地揭示硬件設(shè)備與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)之間的關(guān)系。這一問題使得研究人員在選擇和優(yōu)化硬件時(shí)面臨巨大挑戰(zhàn)，難以確定哪種硬件設(shè)備能夠最有效地運(yùn)行特定的神經(jīng)網(wǎng)絡(luò)模型。這不僅影響了模型的性能，還可能導(dǎo)致資源的浪費(fèi)和能源消耗的增加。因此，研究人員需要開發(fā)更加高效和智能的自動(dòng)化調(diào)優(yōu)方法，不僅能夠在大規(guī)模數(shù)據(jù)集上有效工作，還能考慮硬件與網(wǎng)絡(luò)結(jié)構(gòu)的相互影響。這將為航空發(fā)動(dòng)機(jī)損傷檢測(cè)中的深度學(xué)習(xí)模型的開發(fā)和優(yōu)化提供強(qiáng)有力的支持，推動(dòng)人工智能技術(shù)在航空領(lǐng)域的進(jìn)一步發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出一種面向航空發(fā)動(dòng)機(jī)損傷檢測(cè)的深度學(xué)習(xí)模型自動(dòng)推薦方法，以應(yīng)對(duì)人們對(duì)模型性能需求；本發(fā)明提出的方法通過綜合利用大量研究人員的先驗(yàn)知識(shí)，采用度量的方式量化深度學(xué)習(xí)模型的各個(gè)指標(biāo)，構(gòu)建一個(gè)系統(tǒng)化的度量元系統(tǒng)。該系統(tǒng)能夠捕捉模型性能與各個(gè)組件之間的關(guān)系，并通過優(yōu)化算法自動(dòng)尋找最優(yōu)的組件組合和參數(shù)設(shè)置，從而提升模型性能。通過實(shí)現(xiàn)面向航空發(fā)動(dòng)機(jī)損傷檢測(cè)的深度學(xué)習(xí)模型自動(dòng)推薦方法，可以在原有模型的基礎(chǔ)上，通過調(diào)整模型參數(shù)提高模型性能，以滿足開發(fā)者的需求，幫助他們?cè)诓煌布拗葡?，快速?gòu)建深度學(xué)習(xí)模型。

2、為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明提出如下的技術(shù)方案：

3、一種面向航空發(fā)動(dòng)機(jī)損傷檢測(cè)的深度學(xué)習(xí)模型自動(dòng)推薦方法，包括：

4、s1、基于深度學(xué)習(xí)模型結(jié)構(gòu)的特征，設(shè)計(jì)針對(duì)航空發(fā)動(dòng)機(jī)損傷檢測(cè)模型的度量元系統(tǒng)；

5、s2、集成自動(dòng)化提取度量元技術(shù)，并結(jié)合人工標(biāo)注流程提取公開模型的度量元數(shù)據(jù)，得到度量元信息集；所述公開模型為：公開的面向航空發(fā)動(dòng)機(jī)損傷檢測(cè)的深度學(xué)習(xí)模型；

6、s3、數(shù)據(jù)預(yù)處理；先進(jìn)行數(shù)據(jù)清洗，處理步驟s2提取到的度量元數(shù)據(jù)中的異常值和缺失值；再對(duì)文本特征進(jìn)行編碼，最后進(jìn)行數(shù)據(jù)的歸一化和標(biāo)準(zhǔn)化；

7、s4、構(gòu)建隨機(jī)森林回歸模型對(duì)航空發(fā)動(dòng)機(jī)損傷檢測(cè)模型進(jìn)行靜態(tài)性能評(píng)估，并進(jìn)行度量元重要性分析；

8、s5、基于度量元數(shù)據(jù)集特征，對(duì)貝葉斯優(yōu)化算法進(jìn)行改進(jìn)，記為αβ-bo；通過αβ-bo搜索能夠?qū)崿F(xiàn)最佳性能的模型配置。

9、進(jìn)一步地，步驟s1具體包括以下步驟：

10、s11、收集和分析已有的公開的面向航空發(fā)動(dòng)機(jī)損傷檢測(cè)的深度學(xué)習(xí)模型，整理出可能影響模型性能的度量元；

11、s12、將整理出的度量元模型分類，分為模型結(jié)構(gòu)、訓(xùn)練超參數(shù)、框架、數(shù)據(jù)集、硬件五個(gè)類別；

12、s13、將初步設(shè)計(jì)的度量元系統(tǒng)應(yīng)用于實(shí)際案例，通過相關(guān)性分析驗(yàn)證各個(gè)度量元的有效性，并根據(jù)驗(yàn)證結(jié)果剔除與top-1準(zhǔn)確率不相關(guān)的度量元，形成最終的度量元系統(tǒng)。

13、更為具體的，步驟s13中所述最終的度量元系統(tǒng)，由步驟s12中所述的五個(gè)類別，共20種度量元組成，具體包括：

14、模型結(jié)構(gòu)：歸一化層、初始化方式、卷積層、跳躍連接、激活函數(shù)、池化層、前饋神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、輸出函數(shù)；

15、訓(xùn)練超參數(shù)：學(xué)習(xí)率策略、優(yōu)化器、參數(shù)量、正則化方式、epoch、批量大小、學(xué)習(xí)率、數(shù)據(jù)增強(qiáng)方式；

16、框架：框架；

17、數(shù)據(jù)集：數(shù)據(jù)集；

18、硬件：硬件種類。

19、進(jìn)一步地，步驟s2具體包括以下步驟：

20、s21、搜索gitee、github模型存儲(chǔ)網(wǎng)站，收集與目標(biāo)任務(wù)相關(guān)的模型倉庫鏈接；所述目標(biāo)任務(wù)為航空發(fā)動(dòng)機(jī)損傷檢測(cè)任務(wù)；

21、s22、從每個(gè)模型倉庫鏈接中提取代碼地址和說明文檔，將不包含代碼地址或說明文檔的數(shù)據(jù)剔除；

22、s23、遍歷代碼倉庫中的readme文件和代碼文件，基于kmp算法進(jìn)行格式化數(shù)據(jù)匹配，提取度量元信息，包括：框架、數(shù)據(jù)集、epoch、批量大小、學(xué)習(xí)率、數(shù)據(jù)增強(qiáng)方式；

23、s24、遍歷說明文檔的實(shí)驗(yàn)設(shè)置部分，提取度量元信息，包括：歸一化層、初始化方式、卷積層、跳躍連接、激活函數(shù)、池化層、前饋神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、輸出函數(shù)、學(xué)習(xí)率策略、優(yōu)化器、參數(shù)量、正則化方式、硬件種類以及數(shù)據(jù)集、框架、學(xué)習(xí)率信息；將提取到的數(shù)據(jù)集、框架、學(xué)習(xí)率度量元信息與上一步提取到的進(jìn)行對(duì)比校驗(yàn)，檢查是否相同或?yàn)橥x詞，若不同則人工提取度量元；

24、s25、將缺失的度量元信息人工填充。

25、進(jìn)一步地，步驟s3具體包括以下步驟：

26、s31、將步驟s2得到的度量元信息集中的epoch、批量大小、學(xué)習(xí)率、硬件種類度量元中的缺失值使用同類均值插補(bǔ)法填充，剔除剩余有缺失值的數(shù)據(jù)、重復(fù)數(shù)據(jù)和異常數(shù)據(jù)；

27、s32、將參數(shù)量度量元中的單位統(tǒng)一轉(zhuǎn)化為兆，將學(xué)習(xí)率統(tǒng)一轉(zhuǎn)化為小數(shù)；

28、s33、將文本數(shù)據(jù)使用ont-hot編碼、二進(jìn)制編碼、多項(xiàng)式編碼數(shù)值化；

29、s34、使用最大最小歸一化將各個(gè)度量元數(shù)據(jù)歸一化處理。

30、進(jìn)一步地，步驟s4具體包括以下步驟：

31、s41、計(jì)算各個(gè)航空發(fā)動(dòng)機(jī)組件與其對(duì)應(yīng)模型之間的top-1準(zhǔn)確率，再計(jì)算top-1準(zhǔn)確率的spearman相關(guān)系數(shù)，并基于層次聚類法剔除冗余特征；

32、s42、使用經(jīng)過步驟s3數(shù)據(jù)預(yù)處理后的度量元信息集構(gòu)建隨機(jī)森林回歸模型，訓(xùn)練模型并評(píng)估其性能；

33、s43、使用貝葉斯優(yōu)化算法對(duì)隨機(jī)森林回歸模型的超參數(shù)進(jìn)行調(diào)優(yōu)，運(yùn)行多次優(yōu)化過程，記錄每次優(yōu)化后的結(jié)果和性能指標(biāo)，找到最優(yōu)超參數(shù)組合；

34、s44、基于最優(yōu)的隨機(jī)森林回歸模型計(jì)算permutaion?importance，得到各個(gè)度量元的重要性排序。

35、進(jìn)一步地，步驟s5具體包括以下步驟：

36、s51、使用步驟s4得到的隨機(jī)森林回歸模型作為目標(biāo)函數(shù)，使用高斯過程作為代理模型，構(gòu)建改進(jìn)的貝葉斯優(yōu)化模型；所述高斯過程定義為：

37、f(x)～gp(m(x),k(x,x′))；

38、其中，m(x)是均值函數(shù)；k(x,x')是核函數(shù)，設(shè)置其為協(xié)方差函數(shù)。

39、s52、使用改進(jìn)的搜索策略尋找下一個(gè)探查點(diǎn)；

40、s53、在數(shù)據(jù)集上測(cè)試不同的參數(shù)組合，重新訓(xùn)練和驗(yàn)證模型，得到最優(yōu)的參數(shù)設(shè)置；

41、s54、根據(jù)步驟s4中度量元重要性分析結(jié)果，選擇最重要的5個(gè)度量元做為被推薦度量元；

42、s55、使用αβ-bo尋找最重要的五個(gè)度量元的最優(yōu)配置，終止條件設(shè)置為模型已經(jīng)收斂或搜索次數(shù)達(dá)到閾值，每次搜索后檢查是否達(dá)到終止條件；

43、s56、將達(dá)到終止條件時(shí)的度量元的最優(yōu)配置根據(jù)編碼過程進(jìn)行逆向解碼，得到度量元的最佳組合。

44、更為具體的，步驟s52中所述搜索策略具體為：

45、設(shè)定以ω的概率進(jìn)行隨機(jī)搜索以防止局部收斂，ω的公式定義如下：

46、ω＝1-k×p；

47、其中，變量k表示重復(fù)隨機(jī)探索的次數(shù)，如果一次探索不是隨機(jī)的，則k減少為1；p表示用戶輸入隨機(jī)探索的可能性；

48、以1-ω的概率使用采集函數(shù)尋找探查點(diǎn)，所述采集函數(shù)γei設(shè)計(jì)為：

49、

50、其中，fbest是當(dāng)前觀測(cè)到的最佳目標(biāo)值，σ(x)是高斯過程在位置x的標(biāo)準(zhǔn)差，p(f(x)|x,d)是目標(biāo)值的概率分布，α、β是設(shè)定的比例系數(shù)。

51、更為具體的，對(duì)步驟s52中所述采集函數(shù)γei作進(jìn)一步推導(dǎo)，使其計(jì)算過程更適應(yīng)于高維數(shù)據(jù)，具體包括：

52、定義一個(gè)向量用向量z替換f(x)，則有

53、

54、其中，是多元正態(tài)分布的累積分布函數(shù)；使用標(biāo)準(zhǔn)正態(tài)分布的累積分布函數(shù)cdf，此公式可以進(jìn)一步推導(dǎo)為以下形式：

55、

56、使用上述推導(dǎo)后的采集函數(shù)γei對(duì)下一個(gè)探查點(diǎn)進(jìn)行搜尋。

57、更為具體的，步驟s55具體包括：

58、s551、將模型初始化，根據(jù)ω計(jì)算隨機(jī)搜索概率，若判斷為隨機(jī)搜索，則在未探查區(qū)域中隨機(jī)選擇一點(diǎn)作為下一個(gè)探查點(diǎn)；

59、s552、若不進(jìn)行隨機(jī)搜索，則計(jì)算采集函數(shù)γei的取值，選擇采集函數(shù)γei最大值的點(diǎn)作為下一個(gè)探查點(diǎn)；

60、s553、檢測(cè)采集函數(shù)是否頻繁在一定范圍內(nèi)取得最大值，若是，則認(rèn)為達(dá)到終止條件得到最優(yōu)配置，結(jié)束搜索；否則，加入新探查點(diǎn)更新模型，重復(fù)上述步驟直到模型收斂或者達(dá)到搜素次數(shù)閾值。

61、基于上述的技術(shù)方案，本發(fā)明具有以下有益效果：

62、本發(fā)明使用自動(dòng)化搜索和優(yōu)化算法，顯著提高了航空發(fā)動(dòng)機(jī)損傷檢測(cè)模型的性能，節(jié)省了傳統(tǒng)調(diào)參方法所需的大量時(shí)間和資源。

63、通過度量元系統(tǒng)將深度學(xué)習(xí)模型量化，提高了深度學(xué)習(xí)模型的可解釋性；對(duì)數(shù)據(jù)進(jìn)行科學(xué)的預(yù)處理并且構(gòu)建隨機(jī)森林回歸模型，低成本的得到模型性能。

64、本發(fā)明通過改進(jìn)的貝葉斯優(yōu)化算法，在高維參數(shù)空間中尋找最優(yōu)解，顯著提升了搜索任務(wù)的效果和效率。