本發(fā)明屬于邊緣計算領域，具體涉及一種基于原型的異構邊端協作學習方法及邊端系統(tǒng)。

背景技術：

1、云邊端協同學習是目前主流的端設備訓練架構，它利用端設備資源在本地進行訓練，邊緣服務器進行小規(guī)模知識聚合，最終由云端進行處理和分發(fā)。這種架構雖然有效利用了端設備的資源，但仍然存在通信延遲高、傳輸負擔重的問題。邊端協作人工智能技術將云端的功能遷移到邊緣服務器，通過邊緣服務器和端設備之間持續(xù)的知識共享，共同訓練模型。邊緣服務器和端設備都進行模型訓練和推理，邊緣服務器的模型規(guī)模越大，輔助端設備推理的潛力就越大。只與邊緣服務器通信，而不是與云端通信，在許多商業(yè)和工業(yè)場景中可以減少通信延遲，提高用戶體驗。

2、在實際中邊端協作的知識傳輸負擔必須被考慮，因為它直接影響延遲和能耗，進一步決定資源有限的邊緣端設備能否完成預期的訓練任務。當前方法通過傳輸梯度和模型、中間結果如logits和處理后的訓練數據進行訓練。然而，由于每輪都需要共享模型，梯度和模型共享的傳輸負擔巨大，無法支持異構模型訓練。此外，雖然logits可以提高異構模型的性能，但其傳輸成本與數據量成正比，這通常是終端設備無法接受的。處理訓練數據傳輸來訓練模型不可避免地會產生高昂的傳輸成本和潛在的用戶隱私泄露。相比之下，原型被計算為屬于同一類的數據的平均特征向量，大大減少了傳輸負擔。此外，它還用于進行少樣本學習，因為它可以應對數據異構性，展示了其在邊端協同異構學習方面的巨大潛力。然而，目前基于原型的研究只關注提高端模型性能，而不是邊端異構模型，忽略了具有多個邊緣和多個終端設備的資源受限場景。

技術實現思路

1、針對現有技術的缺點，本發(fā)明提出一種基于原型的邊端協作學習方法，適合應用于包含多個端側設備和多個邊側服務器所組成的邊端系統(tǒng)中，目的是為了減少邊端協作學習的傳輸負擔，只通過傳輸輕量化的原型來實現邊端異構模型的協作學習。

2、本發(fā)明還提供一種相應的邊緣系統(tǒng)。

3、為了實現以上發(fā)明目的，本發(fā)明的技術方案如下：

4、第一方面，提供一種基于原型的異構邊端協作學習方法，所述方法包括：

5、(1)終端設備和所有邊緣服務器確認所屬關系，所有邊緣服務器隨機選取一個服務器作為聚合邊緣服務器；

6、(2)終端設備初始化本地模型，結合上一輪下發(fā)的全局原型進行本地訓練，將本地訓練后的端原型發(fā)送給所屬的對應邊緣服務器，所述端原型是終端設備本地模型訓練后按類別對所有樣本的特征向量進行劃分并逐個按類別求取的平均值；

7、(3)邊緣服務器將管轄范圍內所有終端設備的端原型聚合為邊緣原型，將邊緣原型發(fā)給聚合邊緣服務器，所述邊緣原型是按照終端設備數據的類別分布按照類別對端原型進行聚合得到的；

8、(4)聚合邊緣服務器按照邊緣服務器的類別分布，將所有邊緣服務器的邊緣模型聚合為全局原型；

9、(5)聚合邊緣服務器將全局原型下發(fā)給邊緣服務器，邊緣服務器將全局原型下發(fā)給終端設備；

10、(6)所有邊緣服務器利用全局原型和預先訓練的生成模型在指定類別原型上生成數據，訓練邊緣模型；

11、(7)判斷邊端模型是否滿足收斂條件，如果不收斂則回到步驟(2)繼續(xù)訓練，否則結束訓練。

12、進一步的，終端設備初始化本地模型，結合上一輪下發(fā)的全局原型進行本地訓練，包括：

13、終端設備初始化本地模型，準備訓練數據，通過和邊緣服務器交互判斷是否有全局原型，如果有則將全局原型作為訓練過程中接近的目標，結合本地數據進行訓練，如果沒有全局原型則只使用本地數據進行訓練。

14、進一步的，每個終端設備在自己的本地數據上進行局部訓練，以最小化自身的損失函數，損失函數的計算公式為其中是交叉熵損失函數；是終端設備模型對樣本數據x的輸出，y是樣本數據x對應的標簽；表示全局原型和端原型之間的距離；λ是損失的控制參數。

15、進一步的，終端設備產生的端原型計算公式為其中是終端設備n發(fā)送給邊緣服務器e的第j個類的原型；下標ne代表了終端設備n和邊緣服務器e相關聯；和fne(x)分別代表了終端設備n所擁有的第j類數據和數據x經過特征提取后的特征向量。

16、進一步的，邊緣服務器產生邊緣原型的計算公式為其中代表邊緣服務器e所對應的第j個類的原型向量；ne和各自代表了屬于邊緣服務器e管轄的終端設備集合以及相應的第j個類樣本數目。

17、進一步的，聚合邊緣服務器進行全局原型的聚合公式為其中代表邊緣服務器e擁有的第j個類的樣本數目，e為邊緣服務器集合。

18、進一步的，所有邊緣服務器利用全局原型和預先訓練的生成模型在指定類別原型上生成數據，包括：

19、所有邊緣服務器利用高斯分布隨機生成若干個噪聲向量，將若干個噪聲向量和全局原型組合成為新的特征向量，并將這些新的特征向量作為輸入提供給預先訓練的生成模型按類別進行數據生成，生成的數據將用于邊緣服務器上異構的邊緣模型的訓練。

20、第二方面，提供一種邊端系統(tǒng)，包括若干終端設備和若干邊緣服務器，所述若干終端設備和所述若干邊緣服務器通過協作完成模型訓練；

21、在一輪迭代中，所述終端設備被配置為：初始化本地模型，結合上一輪下發(fā)的全局原型進行本地訓練，將本地訓練后的端原型發(fā)送給所屬的對應邊緣服務器，所述端原型是終端設備本地模型訓練后按類別對所有樣本的特征向量進行劃分并逐個按類別求取的平均值；

22、所述邊緣服務器被配置為：將管轄范圍內所有終端設備的端原型聚合為邊緣原型，將邊緣原型發(fā)給聚合邊緣服務器，所述邊緣原型是按照終端設備數據的類別分布按照類別對端原型進行聚合得到的，所述聚合邊緣服務器是從若干邊緣服務器中隨機選取的一臺服務器；以及從聚合邊緣服務器接收全局原型并將全局原型下發(fā)給終端設備；以及根據全局原型，利用預先訓練的生成模型在指定類別原型上生成數據，訓練邊緣模型；

23、所述聚合邊緣服務器被配置為：按照邊緣服務器的類別分布，將所有邊緣服務器的邊緣模型聚合為全局原型；將全局原型下發(fā)給邊緣服務器。

24、有益效果：本發(fā)明提出了一種適用于多個終端設備和多個邊緣服務器框架下，僅依賴于輕量級原型傳輸就實現異構邊端協作學習的方法，方法首先通過終端設備獲得端原型，再匯聚得到邊緣原型，邊緣原型接著匯聚為全局原型。全局原型不僅可以用于端設備的訓練還可以作為多維空間的中心向量，與隨機噪聲混合得到不同的向量。然后，生成模型對這些向量進行處理以生成樣本，這些生成的樣本用于訓練邊緣模型。方法分別依賴于聚合的原型和基于原型的數據生成完成了異構模型訓練，和現有技術相比具有如下的優(yōu)點：

25、(1)本方法的通信代價低，適合邊端通信，傳輸原型的代價至少降至傳輸模型/梯度/樣本代價的的1/20，這大大節(jié)約了邊端協作學習的通信開銷，在帶寬有限情況下可以允許更多客戶端和一個邊緣交互；

26、(2)本方法傳輸的原型為多個樣本的特征之和的平均值，攻擊者在獲得原型后無法從聚合的原型推斷單個樣本的特征。得益于只有原型的傳輸，基于模型/梯度/樣本的攻擊方法都不會對本發(fā)明的協作學習造成隱私破壞；

27、(3)本發(fā)明具有良好的拓展性，它不僅通過傳輸輕量級原型來提高異構邊端模型的性能，還可以與其他基于logits的方法結合以進一步提升性能。此外，它可以取代當前云端架構中的邊端學習組件，并通過共享原型來支持異構模型在各個行業(yè)領域內協作，給大小模型協同的知識分享方式帶來了新的思路。