本發(fā)明涉及自動(dòng)化機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及基于三元比較代理輔助的粒子群神經(jīng)架構(gòu)搜索方法和系統(tǒng)。

背景技術(shù)：

1、深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域扮演了關(guān)鍵角色。它在計(jì)算機(jī)視覺的多個(gè)方面都取得了成功，包括但不限于圖像分類、目標(biāo)檢測、邊界檢測、語義分割和姿態(tài)估計(jì)。這些成就主要?dú)w功于深度神經(jīng)網(wǎng)絡(luò)，它們實(shí)現(xiàn)了特征工程的自動(dòng)化。深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)通常是針對特定任務(wù)量身定制的，其相關(guān)權(quán)重通過學(xué)習(xí)過程獲得。為了在目標(biāo)任務(wù)上實(shí)現(xiàn)最佳性能，網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重必須同時(shí)達(dá)到最優(yōu)狀態(tài)。然而，設(shè)計(jì)一個(gè)有效的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)是一個(gè)復(fù)雜的過程，它需要在深度學(xué)習(xí)和特定問題上都有深入的了解，并且需要對大量的超參數(shù)進(jìn)行長時(shí)間的調(diào)整。這些為特定任務(wù)設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)往往不能很好地適用于其他應(yīng)用領(lǐng)域。例如，一個(gè)為圖像分類設(shè)計(jì)的網(wǎng)絡(luò)架構(gòu)可能在目標(biāo)檢測任務(wù)上表現(xiàn)不佳。此外，還需要在有限的計(jì)算資源（如延遲、內(nèi)存、浮點(diǎn)運(yùn)算次數(shù)等）下為不同的部署環(huán)境設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)。手工設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)效率低下，無法探索所有可能的選項(xiàng)。

2、基于手工設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)效率低下的問題，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索開始受到廣泛的關(guān)注。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索作為一種自動(dòng)化機(jī)器學(xué)習(xí)的方法，它關(guān)注于在給定數(shù)據(jù)集上以自動(dòng)的方式搜索針對于特定任務(wù)有效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。雖然神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索在自動(dòng)化設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)方面展示了很大的潛力，但是巨大的架構(gòu)搜索成本成為了其發(fā)展的最大障礙。評估候選架構(gòu)的性能是影響搜索成本的最大因素，因?yàn)槊總€(gè)候選架構(gòu)的評估都需要對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行完整的訓(xùn)練和驗(yàn)證。早期研究人員采取了早停止法、降低輸入圖像的分辨率、使用完整訓(xùn)練集的子集、減少網(wǎng)絡(luò)通道數(shù)等低保真度估計(jì)方法，但是它們可能導(dǎo)致候選網(wǎng)絡(luò)的評估不準(zhǔn)確，特別是對于復(fù)雜和大型的網(wǎng)絡(luò)架構(gòu)；后來又提出了權(quán)重繼承的方法，從而讓網(wǎng)絡(luò)架構(gòu)跳過權(quán)重訓(xùn)練的過程，但此類方法非常依賴超網(wǎng)的設(shè)計(jì)、存在額外優(yōu)化的開銷、搜索空間具有局限性、不適用于特定或復(fù)雜操作的搜索空間。因此基于代理輔助方法的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索成為了一個(gè)合適的選擇，它通過使用代理模型來預(yù)測神經(jīng)網(wǎng)絡(luò)的性能，從而降低神經(jīng)網(wǎng)絡(luò)性能的真實(shí)評估的時(shí)間開銷。

3、使用代理模型作為神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的性能預(yù)測器的方法通常有以下通病：代理模型的訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)，而這些數(shù)據(jù)本身就是昂貴資源，因?yàn)槊總€(gè)數(shù)據(jù)都需要神經(jīng)網(wǎng)絡(luò)架構(gòu)的真實(shí)性能；代理模型的預(yù)測準(zhǔn)確度無法達(dá)到絕對準(zhǔn)確，所以存在把高性能架構(gòu)預(yù)測成低性能架構(gòu)的情況，而這種情況往往會讓模型的搜索方向受到影響。因此，提出一種基于三元比較代理輔助的粒子群神經(jīng)架構(gòu)搜索方法是十分必要的。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供基于三元比較代理輔助的粒子群神經(jīng)架構(gòu)搜索方法和系統(tǒng)。所述方法包括以下步驟：

2、步驟1，在搜索空間中初始化粒子種群，每個(gè)粒子代表一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)，使用粒子群算法演化g代并真實(shí)評估種群內(nèi)的所有架構(gòu)個(gè)體，獲得真實(shí)性能，并記錄所有被真實(shí)評估的架構(gòu)性能數(shù)據(jù)；

3、步驟2，將經(jīng)過真實(shí)評估過的架構(gòu)做成三元組樣本，一個(gè)三元組樣本包含三個(gè)架構(gòu)，根據(jù)真實(shí)性能之差為每個(gè)三元組中的兩兩組合打上性能差標(biāo)簽，從而作為代理模型的訓(xùn)練數(shù)據(jù)集，并訓(xùn)練代理模型；

4、步驟3，通過粒子群算法的更新公式，繼續(xù)產(chǎn)生架構(gòu)個(gè)體，并利用代理模型對當(dāng)前架構(gòu)與當(dāng)前粒子的局部最優(yōu)架構(gòu)進(jìn)行雙重比較并采取松弛操作，從而得到當(dāng)前架構(gòu)與當(dāng)前粒子的局部最優(yōu)架構(gòu)之間的優(yōu)劣關(guān)系，當(dāng)局部最優(yōu)發(fā)生更替時(shí)，再將當(dāng)前架構(gòu)與粒子群的全局最優(yōu)架構(gòu)放入代理模型做雙重比較，并采取松弛操作來判斷是否更替全局最優(yōu)架構(gòu)；

5、步驟4，每當(dāng)發(fā)生局部最優(yōu)架構(gòu)更替時(shí)，則評估更新后的局部最優(yōu)架構(gòu)的真實(shí)性能，并將該更新后的局部最優(yōu)架構(gòu)加入架構(gòu)池中，當(dāng)架構(gòu)池中不同架構(gòu)數(shù)量達(dá)到設(shè)定的閾值時(shí)，則使用最新架構(gòu)性能數(shù)據(jù)更新代理模型，優(yōu)化模型的性能以適應(yīng)不同搜索階段；

6、步驟5，重復(fù)步驟3至步驟4，直至滿足停止條件，輸出全局最優(yōu)架構(gòu)。

7、步驟1中，初始化一個(gè)粒子種群，ni代表第i個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)，n為種群粒子數(shù)量；同時(shí)隨機(jī)初始化的位置和速度，ni的位置表示為，為第個(gè)粒子在第維上的位置；的速度為，為第個(gè)粒子在第維上的速度；

8、步驟1中，就是粒子群算法中的粒子群的實(shí)體，在初始化粒子種群后，使用粒子群算法中的狀態(tài)更新公式更新每個(gè)粒子的位置以及速度，每個(gè)粒子的速度決定粒子架構(gòu)演化的方向，位置則是該粒子的架構(gòu)表示。用粒子群算法對種群演化代，這里設(shè)置2≤g≤3，在這演化的g代中對每個(gè)粒子的適應(yīng)度值的計(jì)算等價(jià)于對每個(gè)粒子代表的網(wǎng)絡(luò)架構(gòu)進(jìn)行真實(shí)評估。在這個(gè)過程中評估得到每一個(gè)架構(gòu)在任務(wù)數(shù)據(jù)集上的性能指標(biāo)，并保存在架構(gòu)池中，其中n是架構(gòu)池archive中架構(gòu)性能對的總對數(shù)，（archi，yi）表示一個(gè)架構(gòu)性能對，archi是記錄里的第i個(gè)架構(gòu)，yi是第i個(gè)架構(gòu)對應(yīng)的性能。任務(wù)數(shù)據(jù)集指的是專門為了評估和訓(xùn)練神經(jīng)網(wǎng)絡(luò)架構(gòu)而設(shè)計(jì)的一組數(shù)據(jù)。這個(gè)數(shù)據(jù)集被用來測試和衡量神經(jīng)網(wǎng)絡(luò)架構(gòu)在處理特定任務(wù)時(shí)的性能。例如，如果任務(wù)是圖像識別，那么數(shù)據(jù)集可能包含各種標(biāo)記好的圖像，用于訓(xùn)練和評估神經(jīng)網(wǎng)絡(luò)識別圖像中的對象，常見的圖像識別任務(wù)數(shù)據(jù)集有cifar-10、imagenet、coco等。之所以初始演化代數(shù)g設(shè)置為2≤g≤3，是因?yàn)楫?dāng)g過大時(shí)就意味著需要真實(shí)評估的架構(gòu)就會增加，而架構(gòu)的真實(shí)評估又是昂貴操作，這有違使用代理輔助優(yōu)化的初衷；當(dāng)g過小的時(shí)候會導(dǎo)致提供給代理模型訓(xùn)練的數(shù)據(jù)過少，這很可能導(dǎo)致代理模型訓(xùn)練不充分、學(xué)習(xí)到的特征無法很好的擬合整個(gè)搜索空間、代理模型訓(xùn)練過擬合的風(fēng)險(xiǎn)。

9、步驟2中，首先需要將架構(gòu)池中帶性能指標(biāo)的架構(gòu)重新排列組合得到三元組樣本列表，這不僅有利于代理模型的訓(xùn)練，更是解決了使用代理輔助方法替代真實(shí)評估過程的最大瓶頸問題：代理模型的訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)，而這些數(shù)據(jù)本身就是昂貴資源，因?yàn)槊總€(gè)數(shù)據(jù)都需要神經(jīng)網(wǎng)絡(luò)架構(gòu)的真實(shí)性能。因?yàn)槿M樣本組合方式可以得到數(shù)量級為n3的三元組訓(xùn)練數(shù)據(jù)集，n是架構(gòu)池archive中的架構(gòu)個(gè)數(shù)。得到充分的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)樣本后，就對代理模型進(jìn)行有監(jiān)督的訓(xùn)練。步驟2具體包括：

10、步驟2.1，制作三元組訓(xùn)練數(shù)據(jù)集：

11、對于架構(gòu)池archive中的架構(gòu)無重復(fù)的組合成數(shù)量級為n3的三元組訓(xùn)練數(shù)據(jù)集，單個(gè)三元組，對應(yīng)的三元組標(biāo)簽為,其中為了保證不會產(chǎn)生同類三元組，嚴(yán)格要求上述滿足；

12、步驟2.2，設(shè)計(jì)代理模型的結(jié)構(gòu)：

13、代理模型的模型結(jié)構(gòu)設(shè)計(jì)直接決定其對輸入數(shù)據(jù)信息提取充分程度，所以設(shè)計(jì)一個(gè)符合運(yùn)用場景的模型結(jié)構(gòu)是十分必要的。圖神經(jīng)網(wǎng)絡(luò)能夠處理圖結(jié)構(gòu)數(shù)據(jù)，自然地捕捉節(jié)點(diǎn)間的連接關(guān)系和拓?fù)浣Y(jié)構(gòu)，這對于理解神經(jīng)網(wǎng)絡(luò)架構(gòu)的特征非常有用。

14、所述代理模型包括架構(gòu)特征提取器和性能差預(yù)測器，所述架構(gòu)特征提取器和性能差預(yù)測器相互耦合，共同訓(xùn)練和完成架構(gòu)特征提取和性能差預(yù)測的任務(wù)；

15、所述架構(gòu)特征提取器包括圖卷積層，所述架構(gòu)特征提取器基于節(jié)點(diǎn)間信息的傳輸和聚合完成對神經(jīng)網(wǎng)絡(luò)架構(gòu)特征的提取，獲得架構(gòu)表示；

16、所述性能差預(yù)測器包括全連接層，所述性能差預(yù)測器基于架構(gòu)表示的學(xué)習(xí)完成對輸入的一對神經(jīng)網(wǎng)絡(luò)架構(gòu)性能差預(yù)測；

17、在圖卷積層中，節(jié)點(diǎn)信息為每個(gè)節(jié)點(diǎn)特有的特征向量，節(jié)點(diǎn)之間的信息傳遞操作稱作聚合操作，聚合操作公式為：

18、，

19、其中，是激活函數(shù)；是含自環(huán)的圖的鄰接矩陣；是所有節(jié)點(diǎn)構(gòu)成的度矩陣，度矩陣是圖論中的一個(gè)矩陣，它描述了圖中每個(gè)節(jié)點(diǎn)的度數(shù)，度數(shù)表示與某個(gè)節(jié)點(diǎn)相連的邊的數(shù)量。是一個(gè)含自環(huán)的度矩陣，是第l層架構(gòu)特征提取器的可訓(xùn)練權(quán)重矩陣；表示第l層架構(gòu)特征提取器的節(jié)點(diǎn)特征向量，并且，表示整個(gè)架構(gòu)特征提取器的輸入就是初始的節(jié)點(diǎn)特征向量x；通過圖卷積層提取到的節(jié)點(diǎn)特征信息，再經(jīng)過一個(gè)全局池化層整合所有特征信息，從而獲得架構(gòu)圖在隱空間中的表示；

20、接著，架構(gòu)表示將被輸入到性能差預(yù)測器中，預(yù)測兩個(gè)架構(gòu)之間的性能差；

21、步驟2.3，設(shè)計(jì)損失函數(shù)，指導(dǎo)代理模型的訓(xùn)練過程：

22、為代理模型設(shè)計(jì)損失函數(shù)是至關(guān)重要的，因?yàn)樗苯雨P(guān)聯(lián)到模型訓(xùn)練的目標(biāo)和效果。一個(gè)特定設(shè)計(jì)的損失函數(shù)能夠確保模型學(xué)習(xí)的方向與任務(wù)需求緊密對齊，從而優(yōu)化模型在特定任務(wù)上的表現(xiàn)。

23、設(shè)計(jì)代理模型的損失函數(shù)，表示為：

24、，

25、，

26、，

27、其中，為交叉熵?fù)p失函數(shù)，是輸入數(shù)據(jù)的批量大小，是代理模型預(yù)測的性能差值，是第個(gè)架構(gòu)對應(yīng)的真實(shí)性能差；為設(shè)計(jì)的符號損失函數(shù)，其中，函數(shù)是下限為0的鉸鏈函數(shù)，函數(shù)是符號函數(shù)；和是控制兩個(gè)不同損失函數(shù)之間重要性的自適應(yīng)權(quán)重系數(shù)；采用總損失函數(shù)指導(dǎo)代理模型的訓(xùn)練，直至收斂。

28、符號損失函數(shù)的設(shè)計(jì)主要是為了保證代理模型在做雙重比較時(shí)能夠保證性能差值的符號的正確性，而這與松弛操作相呼應(yīng)；交叉熵?fù)p失函數(shù)的設(shè)計(jì)主要是為了保證在引入錨架構(gòu)的第二重比較的情況下性能差之間的比較依然能保證高準(zhǔn)確性，該損失對模型的高要求能夠讓模型在預(yù)測階段的松弛操作得到更加好的預(yù)測準(zhǔn)確度；和兩個(gè)自適應(yīng)權(quán)重系數(shù)的設(shè)計(jì)是為了保證交叉熵?fù)p失與符號損失在數(shù)量級上不平衡問題，幫助模型梯度更加穩(wěn)定的更新。

29、步驟3中，采用粒子群算法作為神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索策略的原因在于其作為演化計(jì)算方法，能有效應(yīng)對全局優(yōu)化挑戰(zhàn)，對局部最優(yōu)不敏感，非常適合處理深度學(xué)習(xí)模型的架構(gòu)設(shè)計(jì)問題，這類問題通常是不可微分且非凸的。粒子群算法因其簡單易實(shí)現(xiàn)和快速收斂的特性，在處理復(fù)雜優(yōu)化問題方面顯示出巨大潛力，逐漸超越了傳統(tǒng)的遺傳算法。在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的背景下，某些參數(shù)，如卷積層的過濾器數(shù)量，具有廣泛的線性可調(diào)范圍，這些參數(shù)被稱為序數(shù)。粒子群算法通過平滑的參數(shù)更新機(jī)制，能夠直觀地處理這些序數(shù)參數(shù)，有效地在大范圍內(nèi)搜索最優(yōu)值。

30、步驟3具體包括：

31、步驟3.1，通過粒子群算法的更新公式對種群中粒子的狀態(tài)進(jìn)行更新；

32、步驟3.2，利用代理模型預(yù)測新生成的架構(gòu)與局部最優(yōu)架構(gòu)之間的性能差，以及新生成的架構(gòu)與全局最優(yōu)架構(gòu)之間的性能差；

33、步驟3.3，基于雙重比較和松弛操作判斷是否需要對新生成的架構(gòu)進(jìn)行真實(shí)評估；

34、步驟3.4，根據(jù)新生成的架構(gòu)的真實(shí)評估的結(jié)果進(jìn)一步判斷是否需要更替局部最優(yōu)架構(gòu)，以及全局最優(yōu)架構(gòu)。

35、步驟3.1中，所述粒子群算法的更新公式為：

36、，

37、，

38、其中，為慣性因子；表示當(dāng)前迭代的次數(shù)；，是加速系數(shù)；、為0~1之間的隨機(jī)數(shù)；為第代第個(gè)粒子在第維上的速度，為第代第個(gè)粒子在第維上的位置；pbestid是第個(gè)粒子在第維的個(gè)體極值點(diǎn)的位，gbestd是整個(gè)種群在第d維的全體極值點(diǎn)的位置。

39、步驟3.2中，遍歷當(dāng)前種群中的全部個(gè)體，對于任意個(gè)體ni，將ni和ni所對應(yīng)的局部最優(yōu)架構(gòu)分別進(jìn)行one-hot編碼，得到的編碼結(jié)構(gòu)分別為，將直接連接，構(gòu)成代理模型輸入，將代理模型輸入inputip送入代理模型中得到對應(yīng)的新生成的架構(gòu)與局部最優(yōu)架構(gòu)之間的性能差的預(yù)測值outputip；將當(dāng)前迭代代數(shù)的全局最優(yōu)架構(gòu)gbesti進(jìn)行one-hot編碼，得到的編碼為，將直接連接，構(gòu)成代理模型輸入，將代理模型輸入inputig送入代理模型中得到對應(yīng)的新生成的架構(gòu)與全局最優(yōu)架構(gòu)之間的性能差的預(yù)測值outputig；從架構(gòu)池archive中直接獲取pbesti的真實(shí)性能yip與gbesti的真實(shí)性能yig，并得到真實(shí)性能差yipg=yip?-?yig；最后根據(jù)outputip、outputig、yipg來直接判斷當(dāng)前粒子個(gè)體是否要對局部最優(yōu)架構(gòu)與全局最優(yōu)架構(gòu)進(jìn)行更替。

40、步驟3.3中，通過outputip、outputig、yipg計(jì)算得到,，其中sign1是對當(dāng)前粒子新生成的架構(gòu)與當(dāng)前粒子的局部最優(yōu)架構(gòu)之間性能差值做松弛操作后得到的差值符號，符號為正，則說明當(dāng)前粒子新生成的架構(gòu)性能比當(dāng)前粒子的局部最優(yōu)架構(gòu)性能要高，符號為負(fù)，則說明當(dāng)前粒子新生成的架構(gòu)性能比當(dāng)前粒子的局部最優(yōu)架構(gòu)性能要低；sign2是以當(dāng)前全局最優(yōu)架構(gòu)作為錨點(diǎn)，并借助已知真實(shí)性能差yipg，從而間接比較當(dāng)前粒子新生成的架構(gòu)性能與當(dāng)前粒子的局部最優(yōu)架構(gòu)性能的高低，sign2同樣是一個(gè)差值符號，符號為正，則說明當(dāng)前粒子新生成的架構(gòu)性能比當(dāng)前粒子的局部最優(yōu)架構(gòu)性能要高，符號為負(fù)，則說明當(dāng)前粒子新生成的架構(gòu)性能比當(dāng)前粒子的局部最優(yōu)架構(gòu)性能要低；基于sign1與sign2的雙重比較得到的符號做一真即真的判斷，也就是sign1與sign2中只要有一個(gè)為正號就對當(dāng)前粒子新生成的架構(gòu)進(jìn)行真實(shí)評估，獲得其真實(shí)性能，最后再判斷是否需要更新當(dāng)前粒子的局部最優(yōu)架構(gòu)與當(dāng)前種群的全局最優(yōu)架構(gòu)。

41、步驟3.4中，當(dāng)新生成架構(gòu)的真實(shí)評估的性能yi大于架構(gòu)池archive中獲取到的新生成架構(gòu)對應(yīng)粒子的局部最優(yōu)架構(gòu)的真實(shí)評估的性能時(shí)，則使用ni替代新生成架構(gòu)對應(yīng)粒子的局部最優(yōu)架構(gòu)pbesti；當(dāng)yi大于架構(gòu)池archive中獲取到全局最優(yōu)架構(gòu)的真實(shí)評估的性能ygbest，則使用ni替代全局最優(yōu)架構(gòu)gbest。

42、步驟4中，當(dāng)新生成架構(gòu)進(jìn)行了真實(shí)評估，得到真實(shí)評估的性能yi后，則將架構(gòu)性能對去重的存入架構(gòu)池archive，當(dāng)架構(gòu)池archive中架構(gòu)性能對（archi，yi）的數(shù)量達(dá)到閾值t時(shí)（t一般取60），則重復(fù)步驟3，利用架構(gòu)池archive中的架構(gòu)性能對（archi，yi）做成三元組的訓(xùn)練數(shù)據(jù)集，從而對代理模型進(jìn)行重新訓(xùn)練，以保證代理模型的預(yù)測準(zhǔn)確度。

43、步驟4中，出現(xiàn)局部最優(yōu)架構(gòu)被更替時(shí)對新架構(gòu)進(jìn)行真實(shí)評估，不僅可以積累優(yōu)秀架構(gòu)的真實(shí)性能指標(biāo)，還可以保證演化算法的演化方向的正確性。積累優(yōu)秀架構(gòu)的真實(shí)性能指標(biāo)主要是用于代理模型的重訓(xùn)練，在架構(gòu)搜索過程中會進(jìn)行重訓(xùn)練的代理模型稱為在線代理模型。在線代理模型可以根據(jù)最新的數(shù)更新參數(shù)，這樣可以更準(zhǔn)確地反映當(dāng)前的搜索狀態(tài)和趨勢，而離線代理模型通常是基于歷史數(shù)據(jù)構(gòu)建的，可能無法及時(shí)反映最新的變化；在線代理模型提供了更高的靈活性，可以在搜索過程中根據(jù)需要添加新的數(shù)據(jù)點(diǎn)或者調(diào)整模型結(jié)構(gòu)，而離線代理模型通常在搜索開始前就已經(jīng)確定好了所有的參數(shù)和結(jié)構(gòu)。所以在架構(gòu)搜索過程中對代理模型進(jìn)行更新是十分必要的操作。

44、步驟5中，粒子群迭代至目標(biāo)代數(shù)后，將對當(dāng)前全局最優(yōu)架構(gòu)使用任務(wù)數(shù)據(jù)集進(jìn)行重新訓(xùn)練，并作為算法最后搜索出來的最優(yōu)架構(gòu)。

45、本發(fā)明還提供了基于三元比較代理輔助的粒子群神經(jīng)架構(gòu)搜索系統(tǒng)，包括：

46、基于粒子群算法的演化模塊：用于產(chǎn)生新的神經(jīng)網(wǎng)絡(luò)架構(gòu)以及推動(dòng)粒子群的迭代；

47、基于圖神經(jīng)網(wǎng)絡(luò)的架構(gòu)特征提取模塊：用于提取網(wǎng)絡(luò)架構(gòu)的拓?fù)浣Y(jié)構(gòu)信息和操作信息，從而生成一個(gè)能完整表述網(wǎng)絡(luò)結(jié)構(gòu)信息的編碼；

48、基于三元組的代理模型訓(xùn)練模塊：用于產(chǎn)生代理模型的訓(xùn)練數(shù)據(jù)樣本，基于三元組的數(shù)據(jù)增強(qiáng)可以讓代理模型學(xué)習(xí)到更加豐富的特征；

49、基于雙重比較和松弛操作的神經(jīng)網(wǎng)絡(luò)架構(gòu)性能差值預(yù)測模塊：使用代理模型的預(yù)測結(jié)果替代真實(shí)評估，從而降低架構(gòu)評估的時(shí)間成本。

50、本發(fā)明提出了一種創(chuàng)新的基于三元組的雙重比較代理模型，為了應(yīng)對當(dāng)前神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索領(lǐng)域中架構(gòu)評估所面臨的高昂成本問題。這一方法通過構(gòu)建三元組形式的訓(xùn)練數(shù)據(jù)集，實(shí)現(xiàn)了數(shù)據(jù)的有效增強(qiáng)，與傳統(tǒng)方法相比，顯著提高了訓(xùn)練樣本的數(shù)量，從根本上解決了代理模型訓(xùn)練樣本匱乏的難題。通過實(shí)施雙重比較機(jī)制，該模型能夠更準(zhǔn)確地評估兩個(gè)架構(gòu)之間的優(yōu)劣，確保優(yōu)秀的架構(gòu)被有效保留在架構(gòu)池中。這種機(jī)制不僅提高了評估的精確度，還大幅降低了對真實(shí)評估過程的依賴，使代理模型能夠在更大程度上替代傳統(tǒng)評估方式，從而顯著縮短了架構(gòu)評估所需的時(shí)間成本。

51、本發(fā)明的有益效果是：本發(fā)明提出了一種創(chuàng)新的粒子群優(yōu)化與三元比較代理輔助相結(jié)合的算法，用于神經(jīng)網(wǎng)絡(luò)架構(gòu)的搜索，該算法借助三元比較代理模型，顯著提高了搜索效率和準(zhǔn)確性。在這一方法中，神經(jīng)網(wǎng)絡(luò)架構(gòu)被建模為有向無環(huán)圖，并利用圖神經(jīng)網(wǎng)絡(luò)作為特征提取器。通過圖神經(jīng)網(wǎng)絡(luò)的信息傳播機(jī)制，該方法能夠全面捕捉并整合網(wǎng)絡(luò)架構(gòu)的拓?fù)浣Y(jié)構(gòu)和操作信息，將這些信息轉(zhuǎn)化為能夠準(zhǔn)確反映架構(gòu)性能的特征編碼。這些編碼隨后被輸入到一個(gè)性能差異預(yù)測器中，以預(yù)測架構(gòu)的性能。編碼器與預(yù)測器的緊密結(jié)合確保了特征表示與性能預(yù)測之間的一致性和準(zhǔn)確性。為了生成代理模型的訓(xùn)練樣本，本發(fā)明采用了三元組策略，這不僅降低了成本，還確保了充足的樣本供應(yīng)，從而提高了模型訓(xùn)練的質(zhì)量和效率。此外，本發(fā)明將粒子群算法與雙重比較預(yù)測機(jī)制相結(jié)合，使用代理模型的預(yù)測結(jié)果來評估粒子的適應(yīng)度，以及與局部最優(yōu)架構(gòu)的比較結(jié)果。這種結(jié)合不僅增強(qiáng)了演化算法在神經(jīng)架構(gòu)搜索中的適用性，而且還通過在代理模型預(yù)測性能差異時(shí)引入松弛操作，進(jìn)一步提高了預(yù)測的準(zhǔn)確性?？傮w來看，本發(fā)明為神經(jīng)網(wǎng)絡(luò)架構(gòu)評估這一關(guān)鍵問題提供了一種高效的解決方案，推動(dòng)了神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)的進(jìn)步。