本技術(shù)涉及人工智能領(lǐng)域,尤其涉及一種聯(lián)邦學(xué)習(xí)的方法、系統(tǒng)以及相關(guān)裝置。
背景技術(shù):
1、由于第五代(5th?generation,5g)通信技術(shù)的高帶寬、萬物互聯(lián)、低功耗等特點,除移動通信系統(tǒng)以外,5g通信技術(shù)還可以擴展應(yīng)用到網(wǎng)絡(luò)運維場景。目前基于5g通信技術(shù)的網(wǎng)絡(luò)運維架構(gòu)中一般包含三層,即:網(wǎng)元(network?element,ne)、網(wǎng)元管理系統(tǒng)(elementmanagement?system,ems),以及網(wǎng)絡(luò)管理系統(tǒng)(network?management?system,nms)。
2、網(wǎng)絡(luò)運維包括網(wǎng)絡(luò)優(yōu)化,以專家經(jīng)驗為主的傳統(tǒng)優(yōu)化方案在日趨復(fù)雜的通信場景中難以獲得令人滿意的效果。為了給客戶帶來更好的網(wǎng)絡(luò)體驗,提升運維效率,引入人工智能(artificial?intelligence,ai)進行網(wǎng)絡(luò)運維已經(jīng)成為主流趨勢。機器學(xué)習(xí)是人工智能的一個分支。機器學(xué)習(xí),是使用算法來解析數(shù)據(jù)、從中學(xué)習(xí),然后對真實世界中的事件做出決策和預(yù)測。在網(wǎng)絡(luò)優(yōu)化場景中,機器學(xué)習(xí)模型做出的決策和預(yù)測就是優(yōu)化建議,即網(wǎng)絡(luò)中設(shè)備的參數(shù)值的變更。
3、然而,在實際的運維網(wǎng)絡(luò)環(huán)境中,各網(wǎng)元的參數(shù)值組合往往高度雷同。比如,大部分參數(shù)都是出廠設(shè)置的默認(rèn)值。并且參數(shù)調(diào)整的頻率不高,調(diào)整的值相對參數(shù)定義的取值范圍來說非常有限,比如,某參數(shù)的取值范圍是0到100,而在實際的運維網(wǎng)絡(luò)中,可能將該參數(shù)集中設(shè)置為8到20。這導(dǎo)致了在實際的運維網(wǎng)絡(luò)中,產(chǎn)生的數(shù)據(jù)的多樣性嚴(yán)重不足,即便收集很長時間,數(shù)據(jù)量達到很大的規(guī)模,但仍有大量數(shù)據(jù)雷同。從這樣的訓(xùn)練數(shù)據(jù)中難以學(xué)習(xí)到高價值的“知識”,導(dǎo)致訓(xùn)練后得到的機器學(xué)習(xí)模型的使用效果不好。
技術(shù)實現(xiàn)思路
1、本技術(shù)提供一種聯(lián)邦學(xué)習(xí)的方法、系統(tǒng)以及相關(guān)裝置,用于在聯(lián)邦學(xué)習(xí)的過程中,針對不同的客戶端采用適配的數(shù)據(jù)采樣策略,從而使多個不同的客戶端可以學(xué)習(xí)到具有多樣性的高價值知識,得到使用效果更好的模型。
2、有鑒于此,第一方面,本技術(shù)提供一種聯(lián)邦學(xué)習(xí)方法,包括:首先,接收獲取策略,該獲取策略指示采集通信網(wǎng)絡(luò)的運行期數(shù)據(jù),如表示通信網(wǎng)絡(luò)中的網(wǎng)絡(luò)狀態(tài)的數(shù)據(jù)或者環(huán)境數(shù)據(jù)等,該獲取策略可以是進行聯(lián)邦學(xué)習(xí)過程中的服務(wù)器發(fā)送的;隨后,即可基于獲取策略采集運行期數(shù)據(jù);隨后參加至少一次基于所述運行期數(shù)據(jù)的聯(lián)邦訓(xùn)練,得到第一機器學(xué)習(xí)模型,該第一機器學(xué)習(xí)模型可以用于管理通信網(wǎng)絡(luò)。
3、本技術(shù)實施方式中,以客戶端和服務(wù)器執(zhí)行聯(lián)邦訓(xùn)練為例,可以由服務(wù)器向客戶端下發(fā)獲取策略,或者說采樣策略??蛻舳丝梢曰诮邮盏降牟蓸硬呗詠聿杉糜诼?lián)邦學(xué)習(xí)的通信網(wǎng)絡(luò)的運行期數(shù)據(jù)。因此不同的客戶端可以采集到與其所處的通信網(wǎng)絡(luò)的運行狀態(tài)或者環(huán)境適配的樣本,從而基于更適配的樣本來進行聯(lián)邦學(xué)習(xí)。因此不同的客戶端可以采集到多樣化的運行期數(shù)據(jù),實現(xiàn)多樣化的端側(cè)學(xué)習(xí),從而學(xué)習(xí)到更高價值的“知識”,提高模型的性能。且通過更高質(zhì)量的訓(xùn)練樣本進行聯(lián)邦訓(xùn)練,可以使模型更快地收斂。
4、在一種可能的實施方式中,前述的至少一次聯(lián)邦訓(xùn)練中的其中一次聯(lián)邦訓(xùn)練,可以包括:在采集到運行期數(shù)據(jù)后,根據(jù)運行期數(shù)據(jù)訓(xùn)練本地維護或者保存的第二機器學(xué)習(xí)模型,得到第三機器學(xué)習(xí)模型,該第二機器學(xué)習(xí)模型可以是接收到的機器學(xué)習(xí)模型,也可以是本地保存的初始的機器模型;隨后發(fā)送第三機器學(xué)習(xí)模型,具體可以發(fā)送第三機器學(xué)習(xí)模型的參數(shù)集合,如模型的權(quán)重參數(shù)或者結(jié)構(gòu)參數(shù)等,該第三機器學(xué)習(xí)模型可以用于確定第一機器學(xué)習(xí)模型,如服務(wù)器可以對多個客戶端發(fā)送的模型進行融合,得到第一機器學(xué)習(xí)模型。
5、本實施方式中,在一次聯(lián)邦學(xué)習(xí)的過程中,服務(wù)器可以對不同客戶端發(fā)送的模型參數(shù)進行融合,并將融合后的模型參數(shù)下發(fā)至各個客戶端,從而更新各個客戶端的本地模型,并使用本地模型進行通信網(wǎng)絡(luò)的參數(shù)優(yōu)化,且使各個客戶端可以使用融合后的模型參數(shù)進行下一步訓(xùn)練。
6、在一種可能的實施方式中,接收第一機器學(xué)習(xí)模型,可以使用接收到的第一機器學(xué)習(xí)模型的參數(shù)集合來更新本地維護的第三機器學(xué)習(xí)模型。如可以將第三機器學(xué)習(xí)模型直接替換為第一機器學(xué)習(xí)模型,或者對第一機器學(xué)習(xí)模型的參數(shù)集合與第三機器學(xué)習(xí)模型的參數(shù)集合進行融合等,從而得到使本地的維護的模型為在最新的機器學(xué)習(xí)模型。
7、在一種可能的實施方式中,不同的發(fā)送的訓(xùn)練后的模型參數(shù)可以用于服務(wù)器更新獲取策略,在下一次聯(lián)邦學(xué)習(xí)的過程中,即可接收新的獲取策略。本實施方式中,服務(wù)器可以基于不同客戶端發(fā)送的模型的參數(shù)來確定并更新適配的獲取策略,因此各個客戶端可以使用適配的獲取策略來采集數(shù)據(jù)訓(xùn)練本地維護的模型,不同客戶端可以訓(xùn)練得到與其所在通信網(wǎng)絡(luò)的狀態(tài)或者其所處環(huán)境適配的本地模型,可以提高融合后模型所學(xué)習(xí)到的知識多樣性,提高得到的模型性能。
8、在一種可能的實施方式中,上述方法還可以包括:獲取運行期數(shù)據(jù)的數(shù)據(jù)特征,該數(shù)據(jù)特征可以包括客戶端采集樣本的開始時間、結(jié)束時間或者不同場景下的樣本條數(shù)(或者稱為數(shù)量)等;向發(fā)送數(shù)據(jù)特征,該數(shù)據(jù)特征可以用于服務(wù)器更新獲取策略,在下一次聯(lián)邦學(xué)習(xí)的過程中,即可接收新的獲取策略。本實施方式中,可以獲取本地采集到的運行期數(shù)據(jù)的數(shù)據(jù)特征,并向服務(wù)器上傳數(shù)據(jù)特征,使服務(wù)器可以基于各個客戶端上傳的數(shù)據(jù)特征確定適配的獲取策略,因此各個客戶端可以使用適配的獲取策略來采集數(shù)據(jù)訓(xùn)練本地維護的模型參數(shù),不同客戶端可以訓(xùn)練得到與所處環(huán)境適配的本地模型,可以提高融合后模型所學(xué)習(xí)到的知識多樣性,提高得到的模型的性能。
9、在一種可能的實施方式中,前述的通信網(wǎng)絡(luò)的運行期數(shù)據(jù)包括表示通信網(wǎng)絡(luò)的運行狀態(tài)的數(shù)據(jù)和/或指示通信網(wǎng)絡(luò)中的設(shè)備所處環(huán)境的數(shù)據(jù)。
10、在一種可能的實施方式中,運行期數(shù)據(jù)可以包括通信網(wǎng)絡(luò)中被管理網(wǎng)元的網(wǎng)絡(luò)配置參數(shù),被配置網(wǎng)絡(luò)配置參數(shù)前被管理網(wǎng)元所處的網(wǎng)絡(luò)狀態(tài),以及被配置網(wǎng)絡(luò)配置參數(shù)后被管理網(wǎng)元所處的網(wǎng)絡(luò)狀態(tài)。因此,本技術(shù)實施方式中,運行期數(shù)據(jù)可以反映被管理網(wǎng)元在執(zhí)行網(wǎng)絡(luò)配置參數(shù)后的網(wǎng)絡(luò)狀態(tài)變化情況,即基于該網(wǎng)絡(luò)變化情況訓(xùn)練本地維護的模型,可以訓(xùn)練本地維護的模型使其輸出的網(wǎng)絡(luò)配置參數(shù)可以使通信網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)更優(yōu)。相當(dāng)于通過觀察網(wǎng)元配置了機器學(xué)習(xí)模型輸出的參數(shù)后的網(wǎng)絡(luò)狀態(tài)變化情況,來反向更新機器學(xué)習(xí)模型,使機器學(xué)習(xí)模型輸出的參數(shù)與各個設(shè)備所處的環(huán)境更適配,從而優(yōu)化通信網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)。
11、在一種可能的實施方式中,前述的通信網(wǎng)絡(luò)可以包括網(wǎng)線網(wǎng)絡(luò),該無線網(wǎng)絡(luò)具體可以包括網(wǎng)絡(luò)管理系統(tǒng)nms、網(wǎng)元管理系統(tǒng)ems或者網(wǎng)元ne中的至少兩種設(shè)備。本技術(shù)實施方式中,可以在通信網(wǎng)絡(luò)的nms、ems或者網(wǎng)元中部署聯(lián)邦學(xué)習(xí)方法,從而在無需進行通信網(wǎng)絡(luò)的運行期數(shù)據(jù)交互的情況下,學(xué)習(xí)到各個設(shè)備采集到的數(shù)據(jù)所包括的“知識”。
12、在一種可能的實施方式中,本技術(shù)提供的方法可以由客戶端執(zhí)行,可以與服務(wù)器共同執(zhí)行聯(lián)邦訓(xùn)練,服務(wù)器可以部署于網(wǎng)絡(luò)管理系統(tǒng)nms中,客戶端可以部署于網(wǎng)元管理系統(tǒng)ems中。因此,本技術(shù)提供的方法可以部署于通信網(wǎng)絡(luò)中,可以通過聯(lián)邦學(xué)習(xí)訓(xùn)練得到可以用于對通信網(wǎng)絡(luò)中的設(shè)備進行管理的模型,通過不同客戶端的多樣化獲取策略,實現(xiàn)對不同網(wǎng)元的多樣化管理,提高通信網(wǎng)絡(luò)中的ems管理效果。
13、在一種可能的實施方式中,本技術(shù)提供的方法可以由客戶端執(zhí)行,服務(wù)器被部署在網(wǎng)元管理系統(tǒng)ems中,客戶端被部署在網(wǎng)元ne上。因此,本技術(shù)提供的方法可以部署于通信網(wǎng)絡(luò)中,可以通過聯(lián)邦學(xué)習(xí)訓(xùn)練得到可以用于對通信網(wǎng)絡(luò)中的設(shè)備進行管理的模型,通過不同客戶端的多樣化獲取策略,實現(xiàn)對不同網(wǎng)元的多樣化管理,提高通信網(wǎng)絡(luò)中的ne管理效果。
14、在一種可能的實施方式中,獲取策略可以指示以下一項或者多項:采集數(shù)量,是指數(shù)據(jù)采集的結(jié)果的數(shù)量;探索比例,是指數(shù)據(jù)采集的結(jié)果中,基于探索機制采集到的數(shù)據(jù)所占的比例,該基于探索機制采集到的數(shù)據(jù)是指為通信網(wǎng)絡(luò)配置未配置過的配置參數(shù)后進行數(shù)據(jù)采集采集到的數(shù)據(jù),或者說用于學(xué)習(xí)新知識的部分和用于鞏固已學(xué)到知識部分之間的數(shù)量比例;采集模式,是指數(shù)據(jù)采集的模式為周期性采集、指定采集或者自適應(yīng)采集等。因此,可以為各個客戶端配置適配的運行期數(shù)據(jù)總數(shù)目、探索比例或者采集模式等,從而采集到可以用于聯(lián)邦訓(xùn)練的數(shù)據(jù)。
15、在一種可能的實施方式中,獲取策略還可以指示采樣周期或者采樣場景數(shù)量,該采樣周期可以包括采集運行期數(shù)據(jù)的周期,該采樣場景數(shù)量可以包括各個采樣場景的數(shù)據(jù)的采樣數(shù)量(或者條數(shù))。
16、在一種可能的實施方式中,第一機器學(xué)習(xí)模型具體可以用于生成或更新通信網(wǎng)絡(luò)的配置參數(shù)。
17、在一種可能的實施方式中,當(dāng)該通信網(wǎng)絡(luò)包括無線網(wǎng)絡(luò)時,該配置參數(shù)具體可以包括但不限于以下一項或者多項:調(diào)度類參數(shù)、射頻rf參數(shù)或切換類參數(shù),調(diào)度類參數(shù)包括指示對無線網(wǎng)絡(luò)的資源進行分配的參數(shù),rf參數(shù)包括指示對無線網(wǎng)絡(luò)的射頻進行調(diào)整的參數(shù),切換類參數(shù)包括用于指示無線網(wǎng)絡(luò)中的終端進行小區(qū)切換的參數(shù)。因此,可以通過機器學(xué)習(xí)模型輸出的參數(shù)對通信網(wǎng)絡(luò)的各個維度的參數(shù)進行調(diào)整,使通信網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)達到更優(yōu)。
18、第二方面,本技術(shù)提供一種聯(lián)邦學(xué)習(xí)方法,包括:首先,發(fā)送獲取策略,如可以向共同執(zhí)行聯(lián)邦訓(xùn)練的客戶端發(fā)送該獲取策略,該獲取策略為對通信網(wǎng)絡(luò)進行數(shù)據(jù)采集以獲得用于聯(lián)邦訓(xùn)練的數(shù)據(jù)的策略;隨后發(fā)起至少一次基于根據(jù)獲取策略采集到的通信網(wǎng)絡(luò)的運行期數(shù)據(jù)的聯(lián)邦訓(xùn)練,得到第一機器學(xué)習(xí)模型,該第一機器學(xué)習(xí)模型可以用于管理通信網(wǎng)絡(luò)。
19、本技術(shù)實施方式中,可以通過下發(fā)獲取策略的方式來控制客戶端采集數(shù)據(jù)的方式,因此采集用于進行聯(lián)邦訓(xùn)練的數(shù)據(jù)的方式可調(diào)。以客戶端和服務(wù)器來進行聯(lián)邦學(xué)習(xí)為例,服務(wù)器可以基于客戶端所處的環(huán)境的數(shù)據(jù)特性來確定適配的獲取策略,從而使各個客戶端采集高價值學(xué)習(xí)數(shù)據(jù),如采集到表示其所在通信網(wǎng)絡(luò)的運行狀態(tài)的數(shù)據(jù)或者與所處環(huán)境的數(shù)據(jù)特性適配的數(shù)據(jù)等。因此各個客戶端在訓(xùn)練本地模型時,即可使用更適配的運行期數(shù)據(jù)進行訓(xùn)練,從而學(xué)習(xí)到與各個客戶端的數(shù)據(jù)特性適配的知識,并通過對各個客戶端訓(xùn)練的模型參數(shù)進行融合,使得到的機器學(xué)習(xí)模型實現(xiàn)多樣化的知識學(xué)習(xí),提高最終得到的模型的性能。
20、在一種可能的實施方式中,前述的和客戶端基于運行期數(shù)據(jù)共同執(zhí)行至少一次聯(lián)邦訓(xùn)練,可以包括:接收至少一組第三機器學(xué)習(xí)模型,具體可以接收第三機器學(xué)習(xí)模型的參數(shù)集合,如模型的結(jié)構(gòu)參數(shù)或者權(quán)重參數(shù)等,該至少一組第三機器學(xué)習(xí)模型可以包括不同的客戶端發(fā)送的機器學(xué)習(xí)模型,每組第三機器學(xué)習(xí)模型可以為客戶端基于采集到的運行期數(shù)據(jù)對本地維護的模型進行訓(xùn)練得到;隨后,對不同的客戶端發(fā)送的訓(xùn)練后的模型參數(shù)進行融合處理,得到第一機器學(xué)習(xí)模型。
21、本實施方式中,在一次聯(lián)邦學(xué)習(xí)的過程中,可以對不同客戶端發(fā)送的模型參數(shù)進行融合,并將融合后的模型參數(shù)下發(fā)至各個客戶端,使各個客戶端可以使用融合后的模型參數(shù)進行下一步訓(xùn)練。
22、在一種可能的實施方式中,還可以發(fā)送第一機器學(xué)習(xí)模型,從而使客戶端可以基于接收到的最新的機器學(xué)習(xí)模型更新本地的機器學(xué)習(xí)模型,使客戶端的模型可以保持最新。
23、在一種可能的實施方式中,上述方法還可以包括:根據(jù)第三機器學(xué)習(xí)模型的參數(shù)更新獲取策略,如可以根據(jù)不同的客戶端發(fā)送的訓(xùn)練后的模型參數(shù)更新不同客戶端對應(yīng)的獲取策略。本實施方式中,可以基于不同客戶端發(fā)送的模型參數(shù)來確定并更新適配的獲取策略,因此各個客戶端可以使用適配的獲取策略來采集數(shù)據(jù)訓(xùn)練本地維護的模型參數(shù),不同客戶端可以訓(xùn)練得到與所處環(huán)境適配的本地模型,可以提高融合后模型所學(xué)習(xí)到的知識多樣性,提高得到的模型性能。
24、在一種可能的實施方式中,上述方法還可以包括:接收數(shù)據(jù)特征,該數(shù)據(jù)特征可以是客戶端發(fā)送的其采集到的運行期數(shù)據(jù)的特征;根據(jù)該數(shù)據(jù)特征確定更新獲取策略,新的獲取策略可以用于在下一次聯(lián)邦學(xué)習(xí)過程中。本實施方式中,客戶端可以獲取本地采集到的運行期數(shù)據(jù)的數(shù)據(jù)特征,并向上傳數(shù)據(jù)特征,使可以基于各個客戶端上傳的數(shù)據(jù)特征確定適配的獲取策略,因此各個客戶端可以使用適配的獲取策略來采集數(shù)據(jù)訓(xùn)練本地維護的模型參數(shù),不同客戶端可以訓(xùn)練得到與所處環(huán)境適配的本地模型,可以提高融合后模型所學(xué)習(xí)到的知識多樣性,提高得到的模型性能。
25、在一種可能的實施方式中,前述的通信網(wǎng)絡(luò)包括無線網(wǎng)絡(luò),該無線網(wǎng)絡(luò)可以包括網(wǎng)絡(luò)管理系統(tǒng)nms、網(wǎng)元管理系統(tǒng)ems或者網(wǎng)元ne中的至少兩種設(shè)備。
26、在一種可能的實施方式中,本技術(shù)提供的方法可以由服務(wù)器執(zhí)行,服務(wù)器被部署在網(wǎng)絡(luò)管理系統(tǒng)nms中,客戶端被部署在網(wǎng)元管理系統(tǒng)ems中。因此,本技術(shù)提供的方法可以部署于通信網(wǎng)絡(luò)中,可以通過聯(lián)邦學(xué)習(xí)訓(xùn)練對通信網(wǎng)絡(luò)中的設(shè)備進行管理的模型,通過不同客戶端的多樣化獲取策略,實現(xiàn)對不同網(wǎng)元的多樣化管理,提高通信網(wǎng)絡(luò)中的ems管理效果。
27、在一種可能的實施方式中,本技術(shù)提供的方法可以由服務(wù)器執(zhí)行,服務(wù)器被部署在網(wǎng)元管理系統(tǒng)ems中,客戶端被部署在網(wǎng)元ne上。因此,本技術(shù)提供的方法可以部署于通信網(wǎng)絡(luò)中,可以通過聯(lián)邦學(xué)習(xí)訓(xùn)練對通信網(wǎng)絡(luò)中的設(shè)備進行管理的模型,通過不同客戶端的多樣化獲取策略,實現(xiàn)對不同網(wǎng)元的多樣化管理,提高通信網(wǎng)絡(luò)中的ne管理效果。
28、在一種可能的實施方式中,運行期數(shù)據(jù)可以包括ems管理的ne的當(dāng)前網(wǎng)絡(luò)狀態(tài),ems管理的ne的網(wǎng)絡(luò)配置參數(shù),以及執(zhí)行網(wǎng)絡(luò)配置參數(shù)后ems管理的ne所處的網(wǎng)絡(luò)狀態(tài)。當(dāng)不同客戶端通過適配的獲取策略采集數(shù)據(jù)時,可以采集到與各個客戶端適配的數(shù)據(jù),客戶端在訓(xùn)練本地模型時,即可基于適配策略采集到的數(shù)據(jù)進行訓(xùn)練,可以學(xué)習(xí)到與客戶端環(huán)境適配的知識,實現(xiàn)通信網(wǎng)絡(luò)的多樣化管理。
29、在一種可能的實施方式中,獲取策略可以指示以下一項或者多項:采集數(shù)量,指示數(shù)據(jù)采集的結(jié)果的數(shù)量;探索比例,指示基于探索機制采集到的數(shù)據(jù)所占的比例,該基于探索機制采集到的數(shù)據(jù)是指為通信網(wǎng)絡(luò)配置未配置過的配置參數(shù)后進行數(shù)據(jù)采集采集到的數(shù)據(jù),或者說數(shù)據(jù)采集的結(jié)果中,用于學(xué)習(xí)新指示的部分和用于鞏固已學(xué)到知識部分之間的數(shù)量比例;采集模式,指示數(shù)據(jù)采集的模式為周期性采集、指定采集或者自適應(yīng)采集等。因此,可以為各個客戶端配置適配的運行期數(shù)據(jù)總數(shù)目、探索比例或者采集模式等。
30、在一種可能的實施方式中,獲取策略還指示采樣周期或者采樣場景數(shù)量,該采樣周期可以包括采集數(shù)據(jù)的周期,即相鄰兩次對所述通信網(wǎng)絡(luò)進行所述數(shù)據(jù)采集的時間間隔,該采樣場景數(shù)量可以包括在采樣場景中應(yīng)采集的數(shù)據(jù)的數(shù)量或者條數(shù)。
31、在一種可能的實施方式中,聯(lián)邦學(xué)習(xí)得到的模型可以用于生成或者更新通信網(wǎng)絡(luò)的配置參數(shù),即前述的第一機器學(xué)習(xí)模型可以用于生成或者更新通信網(wǎng)絡(luò)的配置參數(shù)。
32、在一種可能的實施方式中,當(dāng)通信網(wǎng)絡(luò)包括無線網(wǎng)絡(luò)時,通信網(wǎng)絡(luò)的配置參數(shù)具體可以包括但不限于以下一項或者多項:調(diào)度類參數(shù)、射頻rf參數(shù)或切換類參數(shù),該調(diào)度類參數(shù)可以包括用于調(diào)度通信網(wǎng)絡(luò)中的資源的參數(shù),該rf參數(shù)可以包括指示通信網(wǎng)絡(luò)中的無線資源的參數(shù),該切換類參數(shù)包括用于指示通信網(wǎng)絡(luò)中的設(shè)備進行資源切換的參數(shù)。因此,可以通過機器學(xué)習(xí)模型輸出的參數(shù)對通信網(wǎng)絡(luò)的各個維度的參數(shù)進行調(diào)整,使通信網(wǎng)絡(luò)的網(wǎng)絡(luò)狀態(tài)達到更優(yōu)。
33、第三方面,本技術(shù)提供一種聯(lián)邦學(xué)習(xí)方法,包括:
34、服務(wù)器向客戶端發(fā)送獲取策略,獲取策略為對通信網(wǎng)絡(luò)進行數(shù)據(jù)采集以獲得用于聯(lián)邦訓(xùn)練的數(shù)據(jù)的策略;
35、客戶端根據(jù)接收到的獲取策略采集通信網(wǎng)絡(luò)的運行期數(shù)據(jù);
36、服務(wù)器和客戶端基于運行期數(shù)據(jù)共同執(zhí)行至少一次聯(lián)邦訓(xùn)練,得到第一機器學(xué)習(xí)模型,第一機器學(xué)習(xí)模型用于管理通信網(wǎng)絡(luò)。
37、其中,通信網(wǎng)絡(luò)中的設(shè)備可以包括服務(wù)器和至少一個客戶端,本技術(shù)實施方式中以一個客戶端為例進行示例性介紹,即此處的客戶端僅泛指通信網(wǎng)絡(luò)中的任意一個客戶端,并不作為限定
38、其中,第三方面以及第三方面任一可選實施方式所實現(xiàn)的效果可以參閱前述第一方面或者第二方面中任一可選實施方式所描述的效果,此處不再贅述。
39、在一種可能的實施方式中,一次聯(lián)邦訓(xùn)練,可以包括:
40、客戶端基于運行期數(shù)據(jù)訓(xùn)練第二機器學(xué)習(xí)模型,得到第三機器學(xué)習(xí)模型;
41、客戶端向服務(wù)器發(fā)送第三機器學(xué)習(xí)模型,第三機器學(xué)習(xí)模型用于確定第一機器學(xué)習(xí)模型;
42、服務(wù)器對客戶端發(fā)送的第三機器學(xué)習(xí)模型進行融合處理,得到第一機器學(xué)習(xí)模型。在一種可能的實施方式中,前述方法還可以包括:服務(wù)器向客戶端發(fā)送第一機器學(xué)習(xí)模型。
43、在一種可能的實施方式中,運行期數(shù)據(jù)包括表示通信網(wǎng)絡(luò)的運行狀態(tài)的數(shù)據(jù)和/或指示通信網(wǎng)絡(luò)中的設(shè)備所處的環(huán)境的數(shù)據(jù)。
44、在一種可能的實施方式中,運行期數(shù)據(jù)可以包括:通信網(wǎng)絡(luò)中被管理網(wǎng)元的網(wǎng)絡(luò)配置參數(shù),被配置網(wǎng)絡(luò)配置參數(shù)前被管理網(wǎng)元所處的網(wǎng)絡(luò)狀態(tài),以及被配置網(wǎng)絡(luò)配置參數(shù)后被管理網(wǎng)元所處的網(wǎng)絡(luò)狀態(tài)。
45、在一種可能的實施方式中,上述方法還可以包括:服務(wù)器根據(jù)第三機器學(xué)習(xí)模型更新獲取策略,服務(wù)器可以向客戶端下發(fā)新的獲取策略。
46、在一種可能的實施方式中,上述方法還可以包括:
47、客戶端獲取運行期數(shù)據(jù)的數(shù)據(jù)特征;
48、客戶端向服務(wù)器發(fā)送數(shù)據(jù)特征;
49、服務(wù)器根據(jù)數(shù)據(jù)特征更新獲取策略。
50、在一種可能的實施方式中,獲取策略可以指示以下一項或者多項:采集數(shù)量,指示數(shù)據(jù)采集的結(jié)果的數(shù)量;探索比例,是指基于探索機制采集到的數(shù)據(jù)所占的比例,該基于探索機制采集到的數(shù)據(jù)是指為通信網(wǎng)絡(luò)配置未配置過的配置參數(shù)后進行數(shù)據(jù)采集采集到的數(shù)據(jù),或者指示數(shù)據(jù)采集的結(jié)果中,用于學(xué)習(xí)新指示的部分和用于鞏固已學(xué)到知識部分之間的數(shù)量比例;采集模式,指示數(shù)據(jù)采集的模式為周期性采集、指定采集或者自適應(yīng)采集等。
51、在一種可能的實施方式中,獲取策略還指示采樣周期或者場景采樣數(shù)量,采樣周期為相鄰兩次對通信網(wǎng)絡(luò)進行數(shù)據(jù)采集的時間間隔,場景采樣數(shù)量包括在采樣場景中應(yīng)采集的數(shù)據(jù)的數(shù)量(或者稱為條數(shù))。
52、在一種可能的實施方式中,通信網(wǎng)絡(luò)包括網(wǎng)絡(luò)管理系統(tǒng)nms、網(wǎng)元管理系統(tǒng)ems或者網(wǎng)元ne中的至少兩種。
53、在一種可能的實施方式中,聯(lián)邦學(xué)習(xí)得到的模型可以用于生成或者更新通信網(wǎng)絡(luò)的配置參數(shù),即前述的第一機器學(xué)習(xí)模型可以用于生成或者更新通信網(wǎng)絡(luò)的配置參數(shù)。
54、在一種可能的實施方式中,通信網(wǎng)絡(luò)的配置參數(shù)包括以下一項或多項:調(diào)度類參數(shù)、射頻rf參數(shù)或切換類參數(shù),調(diào)度類參數(shù)包括指示對無線網(wǎng)絡(luò)的資源進行分配的參數(shù),rf參數(shù)包括指示對無線網(wǎng)絡(luò)的射頻進行調(diào)整的參數(shù),切換類參數(shù)包括用于指示無線網(wǎng)絡(luò)中的終端進行小區(qū)切換的參數(shù)。
55、第四方面,本技術(shù)提供了一種客戶端。該客戶端可以用于執(zhí)行上述第一方面以及第一方面提供的任一種可能的實施方式中客戶端執(zhí)行的步驟。
56、在一種可能的設(shè)計方式中,本技術(shù)可以根據(jù)上述第一方面以及第一方面提供的任一種可能的實施方式,對客戶端進行功能模塊的劃分。例如,可以對應(yīng)各個功能劃分各個功能模塊,也可以將兩個或兩個以上的功能集成在一個處理模塊中。
57、示例性的,本技術(shù)可以按照功能將客戶端劃分為收發(fā)模塊和處理模塊等。上述劃分的各個功能模塊執(zhí)行的可能的技術(shù)方案和有益效果的描述均可以參考上述第一方面或其相應(yīng)的可能的實施方式提供的技術(shù)方案,此處不再贅述。
58、在另一種可能的設(shè)計中,該客戶端包括:存儲器和處理器,存儲器和處理器耦合。存儲器用于存儲計算機指令,處理器用于調(diào)用該計算機指令,以執(zhí)行如第一方面或其相應(yīng)的可能的實施方式提供的方法。
59、第五方面,本技術(shù)提供了一種服務(wù)器。該服務(wù)器可以用于執(zhí)行上述第二方面以及第二方面提供的任一種可能的實施方式中服務(wù)器執(zhí)行的步驟。
60、在一種可能的設(shè)計方式中,本技術(shù)可以根據(jù)上述第二方面以及第二方面提供的任一種可能的實施方式,對服務(wù)器進行功能模塊的劃分。例如,可以對應(yīng)各個功能劃分各個功能模塊,也可以將兩個或兩個以上的功能集成在一個處理模塊中。
61、示例性的,本技術(shù)可以按照功能將服務(wù)器劃分為收發(fā)模塊和處理模塊等。上述劃分的各個功能模塊執(zhí)行的可能的技術(shù)方案和有益效果的描述均可以參考上述第二方面或其相應(yīng)的可能的實施方式提供的技術(shù)方案,此處不再贅述。
62、在另一種可能的設(shè)計中,該服務(wù)器包括:存儲器和處理器,存儲器和處理器耦合。存儲器用于存儲計算機指令,處理器用于調(diào)用該計算機指令,以執(zhí)行如第二方面或其相應(yīng)的可能的實施方式提供的方法。
63、第六方面,本技術(shù)提供了一種通信系統(tǒng),該通信系統(tǒng)也可以稱為聯(lián)邦學(xué)習(xí)系統(tǒng)或者通信網(wǎng)絡(luò)等,該通信系統(tǒng)中可以包括服務(wù)器以及至少一個客戶端,服務(wù)器可以用于執(zhí)行前述第二方面或第二方面任一可選實施方式中的方法步驟,客戶端可以用于執(zhí)行前述第一方面或第一方面任一可選實施方式中的方法步驟。
64、第七方面,本技術(shù)提供了一種計算機可讀存儲介質(zhì),如計算機非瞬態(tài)的可讀存儲介質(zhì)。其上儲存有計算機程序(或指令),當(dāng)該計算機程序(或指令)在計算機設(shè)備上運行時,使得該計算機設(shè)備執(zhí)行如第一方面或其相應(yīng)的可能的實施方式提供的方法,或者執(zhí)行第二方面或其相應(yīng)的可能的實施方式提供的方法。
65、第八方面,本技術(shù)提供了一種計算機程序產(chǎn)品,當(dāng)其在計算機設(shè)備上運行時,使得如第一方面或其相應(yīng)的可能的實施方式提供的方法被執(zhí)行,或者使得第二方面或其相應(yīng)的可能的實施方式提供的方法被執(zhí)行。
66、第九方面,本技術(shù)提供了一種芯片系統(tǒng),包括:處理器,處理器用于從存儲器中調(diào)用并運行該存儲器中存儲的計算機程序,執(zhí)行如第一方面或其相應(yīng)的可能的實施方式提供的方法,或者執(zhí)行如第二方面或其相應(yīng)的可能的實施方式提供的方法。
67、可以理解的是,上述提供的任一種系統(tǒng)、裝置、計算機存儲介質(zhì)、計算機程序產(chǎn)品或芯片系統(tǒng)等均可以應(yīng)用于第一方面或第二方面提供的對應(yīng)的方法。
68、對于本技術(shù)第四方面至第九方面以及各種可能實現(xiàn)方式的具體實現(xiàn)步驟,以及每種可能實現(xiàn)方式所帶來的有益效果,均可以參考第一方面或第二方面中各種可能的實現(xiàn)方式中的描述,此處不再一一贅述。