本發(fā)明涉及工業(yè)物聯(lián)網(wǎng)，特別是涉及一種面向工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同智能優(yōu)化及資源調(diào)度方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)前工業(yè)物聯(lián)網(wǎng)(iiot)的快速發(fā)展背景下，端邊云協(xié)同架構(gòu)已成為實現(xiàn)智能化、自動化生產(chǎn)的關(guān)鍵技術(shù)之一。在這一架構(gòu)中，端設(shè)備負(fù)責(zé)收集生產(chǎn)現(xiàn)場的實時數(shù)據(jù)，邊緣設(shè)備提供局部數(shù)據(jù)處理和快速響應(yīng)，云端則負(fù)責(zé)大規(guī)模數(shù)據(jù)處理和復(fù)雜決策支持。然而，現(xiàn)有端邊云協(xié)同系統(tǒng)在處理高實時性任務(wù)、資源分配不均衡以及模型泛化能力不足等問題時，仍然面臨諸多挑戰(zhàn)。

2、具體的，端設(shè)備在數(shù)據(jù)收集和初步處理方面發(fā)揮著重要作用，但其計算能力和存儲能力有限，難以處理大規(guī)模或高復(fù)雜度的數(shù)據(jù)分析任務(wù)。邊緣設(shè)備雖然能夠緩解部分計算壓力，但其資源配置和作業(yè)調(diào)度能力有限，無法適應(yīng)生產(chǎn)現(xiàn)場快速變化的需求，導(dǎo)致資源分配效率低下和作業(yè)調(diào)度的次優(yōu)性。此外，云端中心在執(zhí)行數(shù)據(jù)分析和模型訓(xùn)練時，現(xiàn)有技術(shù)未能充分利用端邊云的協(xié)同計算資源，這不僅影響了訓(xùn)練效率，也限制了模型的泛化潛力。

3、在資源分配方面，傳統(tǒng)的資源配置策略通常是基于靜態(tài)的資源分配計劃，缺乏對實時數(shù)據(jù)特性和網(wǎng)絡(luò)狀態(tài)變化的適應(yīng)性。這導(dǎo)致在面對生產(chǎn)過程中的突發(fā)事件或資源競爭時，系統(tǒng)難以做出快速有效的響應(yīng)，從而影響生產(chǎn)效率和產(chǎn)品質(zhì)量。在模型泛化方面，由于工業(yè)環(huán)境中的數(shù)據(jù)往往是非獨立同分布的，現(xiàn)有技術(shù)難以實現(xiàn)模型在不同設(shè)備和場景間的有效遷移和應(yīng)用，限制了模型的泛化能力和智能決策的準(zhǔn)確性。此外，隨著數(shù)據(jù)的流通與共享，如何在確保數(shù)據(jù)隱私的前提下，實現(xiàn)數(shù)據(jù)的高效利用和智能決策，是技術(shù)發(fā)展中亟待解決的問題?，F(xiàn)有的數(shù)據(jù)保護和隱私保護機制往往以犧牲數(shù)據(jù)處理效率為代價，難以滿足工業(yè)物聯(lián)網(wǎng)對實時性和隱私性雙重要求。

技術(shù)實現(xiàn)思路

1、基于此，為了解決上述技術(shù)問題，提供一種面向工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同智能優(yōu)化及資源調(diào)度方法及系統(tǒng)，可以解決工業(yè)物聯(lián)網(wǎng)在端設(shè)備、邊緣設(shè)備和云端之間高效協(xié)同的問題。

2、一種面向工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同智能優(yōu)化及資源調(diào)度方法，所述方法包括：

3、端設(shè)備使用神經(jīng)網(wǎng)絡(luò)加速器硬件，對深度學(xué)習(xí)模型進行稀疏化和量化處理，得到壓縮后的模型；所述端設(shè)備收集原始數(shù)據(jù)，并將所述原始數(shù)據(jù)輸入到所述壓縮后的模型中進行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)；

4、所述端設(shè)備利用特征提取網(wǎng)絡(luò)，使用知識提取技術(shù)提取出所述預(yù)處理后的數(shù)據(jù)中的特征數(shù)據(jù)，并將所述特征數(shù)據(jù)進行上傳；

5、邊緣設(shè)備中部署有輕量級的推理模型和路由模型；所述邊緣設(shè)備接收從所述端設(shè)備傳輸來的所述特征數(shù)據(jù)，通過所述輕量級的推理模型對所述特征數(shù)據(jù)進行初步分類，得到分類后的數(shù)據(jù)；

6、所述邊緣設(shè)備將所述分類后的數(shù)據(jù)輸入至所述路由模型；通過所述路由模型識別出困難數(shù)據(jù)并發(fā)送至云端，所述云端對所述困難數(shù)據(jù)進行處理，并根據(jù)處理后的困難數(shù)據(jù)對存儲在所述云端內(nèi)部的全局模型進行更新；

7、所述云端分別與所述端設(shè)備、所述邊緣設(shè)備連接，實時對所述端設(shè)備、所述邊緣設(shè)備進行性能監(jiān)測，通過執(zhí)行深度學(xué)習(xí)算法進行帶寬分配、任務(wù)分割對所述端設(shè)備、所述邊緣設(shè)備的運行進行動態(tài)調(diào)整，并對所述全局模型進行優(yōu)化。

8、在其中一個實施例中，所述端設(shè)備使用神經(jīng)網(wǎng)絡(luò)加速器硬件，對深度學(xué)習(xí)模型進行稀疏化和量化處理，得到壓縮后的模型，包括：

9、所述端設(shè)備使用神經(jīng)網(wǎng)絡(luò)加速器硬件，在深度學(xué)習(xí)模型中引入若干零值，通過各個所述零值對所述深度學(xué)習(xí)模型的原始梯度進行調(diào)整，完成稀疏化處理；

10、所述端設(shè)備使用神經(jīng)網(wǎng)絡(luò)加速器硬件，將深度學(xué)習(xí)模型的浮點數(shù)進行精度降低處理，完成量化處理。

11、在其中一個實施例中，所述端設(shè)備利用特征提取網(wǎng)絡(luò)，使用知識提取技術(shù)提取出所述預(yù)處理后的數(shù)據(jù)中的特征數(shù)據(jù)，包括：

12、所述端設(shè)備將所述預(yù)處理后的數(shù)據(jù)輸入至特征提取網(wǎng)絡(luò)中，確定所述預(yù)處理后的數(shù)據(jù)中，數(shù)據(jù)點的數(shù)量以及特征維度；

13、通過所述特征提取網(wǎng)絡(luò)基于所述數(shù)據(jù)點的數(shù)量以及特征維度確定被選中的原始特征數(shù)據(jù)，生成原始特征數(shù)據(jù)矩陣；

14、利用知識提取技術(shù)根據(jù)所述預(yù)處理后的數(shù)據(jù)、原始特征數(shù)據(jù)矩陣提取出特征數(shù)據(jù)。

15、在其中一個實施例中，所述邊緣設(shè)備接收從所述端設(shè)備傳輸來的所述特征數(shù)據(jù)，通過所述輕量級的推理模型對所述特征數(shù)據(jù)進行初步分類，包括：

16、所述邊緣設(shè)備接收從所述端設(shè)備傳輸來的所述特征數(shù)據(jù)，并接收從所述云端傳輸來的全局模型的原始完成模型；

17、所述邊緣設(shè)備根據(jù)所述特征數(shù)據(jù)確定剪枝閾值，并根據(jù)所述剪枝閾值對所述原始完成模型進行剪枝操作，得到輕量級的推理模型；

18、使用所述輕量級的推理模型對所述特征數(shù)據(jù)進行初步分類。

19、在其中一個實施例中，所述方法還包括：

20、所述邊緣設(shè)備確定所述特征數(shù)據(jù)的難易程度，并基于所述路由模型確定模型對所述特征數(shù)據(jù)的置信度；

21、所述邊緣設(shè)備獲取置信度閾值，并根據(jù)所述難易程度、置信度完成所述路由模型的決策。

22、在其中一個實施例中，所述方法包括：

23、所述邊緣設(shè)備根據(jù)所述置信度閾值，基于布爾變量識別出所述特征數(shù)據(jù)中的困難數(shù)據(jù)，并將所述困難數(shù)據(jù)發(fā)送至所述云端。

24、在其中一個實施例中，所述方法還包括：

25、所述云端確定各個所述邊緣設(shè)備集合，獲取各個所述邊緣設(shè)備的計算能力和當(dāng)前的任務(wù)需求；

26、所述云端基于云端計算資源、所述邊緣設(shè)備的計算能力和當(dāng)前的任務(wù)需求，根據(jù)關(guān)聯(lián)函數(shù)、計算成本函數(shù)動態(tài)確定在所述邊緣設(shè)備上執(zhí)行的任務(wù)以及在所述云端上執(zhí)行的任務(wù)；

27、所述云端根據(jù)所述邊緣設(shè)備的帶寬確定帶寬閾值，根據(jù)所述帶寬閾值，基于卸載函數(shù)、帶寬函數(shù)、任務(wù)集合將在所述邊緣設(shè)備上執(zhí)行的任務(wù)卸載至邊緣設(shè)備中。

28、在其中一個實施例中，所述云端對所述端設(shè)備、所述邊緣設(shè)備的運行進行動態(tài)調(diào)整，包括：

29、所述云端實時收集所述邊緣設(shè)備的性能數(shù)據(jù)，并確定性能評估指標(biāo)；

30、所述云端獲取性能評估權(quán)重系數(shù)，并基于所述性能評估權(quán)重系數(shù)對所述性能評估指標(biāo)進行更新，得到所述性能評估指標(biāo)對應(yīng)的變化趨勢；

31、所述云端根據(jù)所述變化趨勢，運用深度學(xué)習(xí)算法對所述端設(shè)備、所述邊緣設(shè)備的運行進行動態(tài)調(diào)整。

32、在其中一個實施例中，所述云端對所述全局模型進行優(yōu)化，包括：

33、所述邊緣設(shè)備中部署有局部模型，所述云端中部署有全局模型；

34、所述云端確定所述局部模型與所述全局模型之間的距離度量，并基于所述距離度量進行全局模型優(yōu)化。

35、一種面向工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同智能優(yōu)化及資源調(diào)度系統(tǒng)，所述系統(tǒng)包括：

36、端設(shè)備，用于使用神經(jīng)網(wǎng)絡(luò)加速器硬件，對深度學(xué)習(xí)模型進行稀疏化和量化處理，得到壓縮后的模型；所述端設(shè)備收集原始數(shù)據(jù)，并將所述原始數(shù)據(jù)輸入到所述壓縮后的模型中進行預(yù)處理，得到預(yù)處理后的數(shù)據(jù)；

37、所述端設(shè)備還用于利用特征提取網(wǎng)絡(luò)，使用知識提取技術(shù)提取出所述預(yù)處理后的數(shù)據(jù)中的特征數(shù)據(jù)，并將所述特征數(shù)據(jù)進行上傳；

38、部署有輕量級的推理模型和路由模型的邊緣設(shè)備，用于接收從所述端設(shè)備傳輸來的所述特征數(shù)據(jù)，通過所述輕量級的推理模型對所述特征數(shù)據(jù)進行初步分類，得到分類后的數(shù)據(jù)；

39、所述邊緣設(shè)備還用于將所述分類后的數(shù)據(jù)輸入至所述路由模型；通過所述路由模型識別出困難數(shù)據(jù)并發(fā)送至云端，所述云端對所述困難數(shù)據(jù)進行處理，并根據(jù)處理后的困難數(shù)據(jù)對存儲在所述云端內(nèi)部的全局模型進行更新；

40、所述云端分別與所述端設(shè)備、所述邊緣設(shè)備連接，實時對所述端設(shè)備、所述邊緣設(shè)備進行性能監(jiān)測，通過執(zhí)行深度學(xué)習(xí)算法進行帶寬分配、任務(wù)分割對所述端設(shè)備、所述邊緣設(shè)備的運行進行動態(tài)調(diào)整，并對所述全局模型進行優(yōu)化。

41、上述面向工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同智能優(yōu)化及資源調(diào)度方法及系統(tǒng)，通過在端設(shè)備上利用加速器硬件對模型參數(shù)進行稀疏化處理和量化，減少模型的存儲和傳輸需求，同時保持模型的準(zhǔn)確性；通過知識提取技術(shù)，端設(shè)備能夠提煉出數(shù)據(jù)中的關(guān)鍵信息，為后續(xù)的數(shù)據(jù)處理和模型訓(xùn)練提供高質(zhì)量的輸入；通過在邊緣設(shè)備中部署輕量級的推理模型和路由模型，能夠?qū)ι蟼鲾?shù)據(jù)進行初步分類，僅將難以處理的數(shù)據(jù)發(fā)送至云端，從而在保持準(zhǔn)確性的同時，最大限度地減少總體延遲；通過云端實時對端設(shè)備、邊緣設(shè)備進行性能監(jiān)測以及帶寬分配、任務(wù)分割，負(fù)責(zé)全局的模型優(yōu)化和資源調(diào)度，以實現(xiàn)最優(yōu)性能。