本發(fā)明涉及計(jì)算機(jī)，特別涉及基于云邊協(xié)同的數(shù)據(jù)處理方法和系統(tǒng)。

背景技術(shù)：

1、隨著大數(shù)據(jù)和人工智能技術(shù)的迅猛發(fā)展，智算已經(jīng)成為推動(dòng)社會(huì)進(jìn)步的關(guān)鍵力量。在智算背景下，數(shù)據(jù)處理與分析的重要性日益凸顯，對(duì)數(shù)據(jù)處理效率也提出了更高的要求。邊緣計(jì)算和云邊協(xié)同作為新興技術(shù)，正逐漸成為行業(yè)焦點(diǎn)，其重要性不言而喻。

2、目前，傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)主要是通過(guò)云端處理模塊、邊緣計(jì)算模塊和通信模塊，來(lái)實(shí)現(xiàn)數(shù)據(jù)的協(xié)同處理與高效傳輸。

3、然而，傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)在處理海量、高維度以及復(fù)雜結(jié)構(gòu)的數(shù)據(jù)時(shí)處理速度較慢，從而導(dǎo)致數(shù)據(jù)處理效率較低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了基于云邊協(xié)同的數(shù)據(jù)處理方法和系統(tǒng)，能夠提高數(shù)據(jù)處理效率。

2、第一方面，本發(fā)明實(shí)施例提供了一種基于云邊協(xié)同的數(shù)據(jù)處理方法，該方法包括：

3、利用協(xié)同調(diào)度模塊，針對(duì)云端和邊緣端所接收到的至少一個(gè)任務(wù)進(jìn)行屬性分析和任務(wù)優(yōu)先級(jí)劃分；

4、確定所述云端和所述邊緣端的計(jì)算資源狀態(tài)；

5、基于所述任務(wù)優(yōu)先級(jí)和所述計(jì)算資源狀態(tài)，確定該任務(wù)對(duì)應(yīng)的目標(biāo)調(diào)度位置，其中，所述目標(biāo)調(diào)度位置包括所述云端和所述邊緣端；

6、將所述至少一個(gè)任務(wù)調(diào)度至所述目標(biāo)調(diào)度位置；

7、利用智能緩存模塊獲取用戶的歷史訪問(wèn)數(shù)據(jù)；

8、基于所述歷史訪問(wèn)數(shù)據(jù)，確定至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，其中，所述熱點(diǎn)識(shí)別指數(shù)用于反映每個(gè)數(shù)據(jù)項(xiàng)所對(duì)應(yīng)的緩存優(yōu)先級(jí)；

9、基于所述歷史訪問(wèn)數(shù)據(jù)和所述至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，確定目標(biāo)緩存位置，其中，所述目標(biāo)緩存位置包括高速緩存區(qū)和低速緩存區(qū)；

10、基于所述至少一個(gè)任務(wù)，利用云端處理模塊和邊端計(jì)算模塊，分別對(duì)所述目標(biāo)緩存位置的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。

11、優(yōu)選地，

12、所述利用協(xié)同調(diào)度模塊，針對(duì)云端和邊緣端所接收到的至少一個(gè)任務(wù)進(jìn)行屬性分析和任務(wù)優(yōu)先級(jí)劃分，包括：

13、利用所述協(xié)同調(diào)度模塊，確定第一執(zhí)行腳本，其中，所述第一執(zhí)行腳本用于確定每個(gè)所述任務(wù)的計(jì)算復(fù)雜度、數(shù)據(jù)類型和實(shí)時(shí)性要求信息中的至少一個(gè)；

14、基于所述第一執(zhí)行腳本，確定所述至少一個(gè)任務(wù)的所述計(jì)算復(fù)雜度、所述數(shù)據(jù)類型和所述實(shí)時(shí)性要求信息中的至少一個(gè)；

15、基于所述計(jì)算復(fù)雜度、所述數(shù)據(jù)類型和所述實(shí)時(shí)性要求信息以及第一公式，確定所述任務(wù)優(yōu)先級(jí)，所述第一公式為：

16、p＝α1×c+β1×t1+γ×r；

17、其中，α1為所述計(jì)算復(fù)雜度的權(quán)重系數(shù)，β1為所述數(shù)據(jù)類型的權(quán)重系數(shù)，γ為所述實(shí)時(shí)性要求的權(quán)重系數(shù)，c為所述計(jì)算復(fù)雜度，t1為所述數(shù)據(jù)類型，r為所述實(shí)時(shí)性要求，p為所述任務(wù)優(yōu)先級(jí)。

18、優(yōu)選地，

19、所述基于所述歷史訪問(wèn)數(shù)據(jù)，確定至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，其中，所述熱點(diǎn)識(shí)別指數(shù)用于反映每個(gè)數(shù)據(jù)項(xiàng)所對(duì)應(yīng)的緩存優(yōu)先級(jí)，包括：

20、基于所述歷史訪問(wèn)數(shù)據(jù)，確定數(shù)據(jù)的訪問(wèn)頻率和訪問(wèn)時(shí)間間隔；

21、基于所述數(shù)據(jù)的訪問(wèn)頻率和所述訪問(wèn)時(shí)間間隔和下述第二公式，確定至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，所述第二公式為：

22、

23、其中，α2為所述數(shù)據(jù)的訪問(wèn)頻率的權(quán)重系數(shù)，β2為所述訪問(wèn)時(shí)間間隔的權(quán)重系數(shù)，f為所述所述數(shù)據(jù)的訪問(wèn)頻率，t2為所述訪問(wèn)時(shí)間間隔，h為所述熱點(diǎn)識(shí)別指數(shù)。

24、優(yōu)選地，

25、所述確定所述云端和所述邊緣端的計(jì)算資源狀態(tài)，包括：

26、確定所述云端和所述邊緣端的計(jì)算資源的占用情況、存儲(chǔ)資源的剩余量和網(wǎng)絡(luò)帶寬的實(shí)時(shí)狀況；

27、優(yōu)選地，

28、在所述利用智能緩存模塊獲取用戶的歷史訪問(wèn)數(shù)據(jù)之前，進(jìn)一步包括：

29、利用分布式加載模塊，確定是否存在大型數(shù)據(jù)集；

30、在存在所述大型數(shù)據(jù)集時(shí)，將所述大型數(shù)據(jù)集劃分為至少一個(gè)數(shù)據(jù)子集；

31、將劃分好的所述至少一個(gè)數(shù)據(jù)子集分發(fā)至所述云端和所述邊緣端所對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)。

32、第二方面，本發(fā)明實(shí)施例提供了一種基于云邊協(xié)同的數(shù)據(jù)處理系統(tǒng)，其特征在于，該系統(tǒng)包括：

33、協(xié)同調(diào)度模塊，用于針對(duì)云端和邊緣端所接收到的至少一個(gè)任務(wù)進(jìn)行屬性分析和任務(wù)優(yōu)先級(jí)劃分，確定所述云端和所述邊緣端的計(jì)算資源狀態(tài)，基于所述任務(wù)優(yōu)先級(jí)和所述計(jì)算資源狀態(tài)，確定該任務(wù)對(duì)應(yīng)的目標(biāo)調(diào)度位置，其中，所述目標(biāo)調(diào)度位置包括所述云端和所述邊緣端；將所述至少一個(gè)任務(wù)調(diào)度至所述目標(biāo)調(diào)度位置；

34、智能緩存模塊，用于獲取用戶的歷史訪問(wèn)數(shù)據(jù)，基于所述歷史訪問(wèn)數(shù)據(jù)，確定至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，其中，所述熱點(diǎn)識(shí)別指數(shù)用于反映每個(gè)數(shù)據(jù)項(xiàng)所對(duì)應(yīng)的緩存優(yōu)先級(jí)，基于所述歷史訪問(wèn)數(shù)據(jù)和所述至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，確定目標(biāo)緩存位置，其中，所述目標(biāo)緩存位置包括高速緩存區(qū)和低速緩存區(qū)；

35、處理模塊，用于基于所述協(xié)同調(diào)度模塊的所述至少一個(gè)任務(wù)，分別對(duì)所述目標(biāo)緩存位置的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。

36、優(yōu)選地，

37、所述協(xié)同調(diào)度模塊，用于執(zhí)行：

38、利用所述協(xié)同調(diào)度模塊，確定第一執(zhí)行腳本，其中，所述第一執(zhí)行腳本用于確定每個(gè)所述任務(wù)的計(jì)算復(fù)雜度、數(shù)據(jù)類型和實(shí)時(shí)性要求信息中的至少一個(gè)；

39、基于所述第一執(zhí)行腳本，確定所述至少一個(gè)任務(wù)的所述計(jì)算復(fù)雜度、所述數(shù)據(jù)類型和所述實(shí)時(shí)性要求信息；

40、基于所述計(jì)算復(fù)雜度、所述數(shù)據(jù)類型和所述實(shí)時(shí)性要求信息以及第一公式，確定所述任務(wù)優(yōu)先級(jí)，所述第一公式為：

41、p＝α1×c+β1×t1+γ×r；

42、其中，α1為所述計(jì)算復(fù)雜度的權(quán)重系數(shù)，β1為所述數(shù)據(jù)類型的權(quán)重系數(shù)，γ為所述實(shí)時(shí)性要求的權(quán)重系數(shù)，c為所述計(jì)算復(fù)雜度，t1為所述數(shù)據(jù)類型，r為所述實(shí)時(shí)性要求，p為所述任務(wù)優(yōu)先級(jí)。

43、優(yōu)選地，

44、所述智能緩存模塊，用于執(zhí)行：

45、基于所述歷史訪問(wèn)數(shù)據(jù)，確定數(shù)據(jù)的訪問(wèn)頻率和訪問(wèn)時(shí)間間隔；

46、基于所述數(shù)據(jù)的訪問(wèn)頻率和所述訪問(wèn)時(shí)間間隔和下述第二公式，確定至少一個(gè)熱點(diǎn)識(shí)別指數(shù)，所述第二公式為：

47、

48、其中，α2為所述數(shù)據(jù)的訪問(wèn)頻率的權(quán)重系數(shù)，β2為所述訪問(wèn)時(shí)間間隔的權(quán)重系數(shù)，f為所述所述數(shù)據(jù)的訪問(wèn)頻率，t2為所述訪問(wèn)時(shí)間間隔，h為所述熱點(diǎn)識(shí)別指數(shù)。

49、優(yōu)選地，

50、所述協(xié)同調(diào)度模塊，用于執(zhí)行：

51、確定所述云端和所述邊緣端的計(jì)算資源的占用情況、存儲(chǔ)資源的剩余量和網(wǎng)絡(luò)帶寬的實(shí)時(shí)狀況；

52、優(yōu)選地，

53、進(jìn)一步包括：分布式加載模塊；

54、所述分布式加載模塊，用于執(zhí)行：

55、確定是否存在大型數(shù)據(jù)集；

56、在存在所述大型數(shù)據(jù)集時(shí)，將所述大型數(shù)據(jù)集劃分為至少一個(gè)數(shù)據(jù)子集；

57、將劃分好的所述至少一個(gè)數(shù)據(jù)子集分發(fā)至所述云端和所述邊緣端所對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)。

58、第三方面，本發(fā)明實(shí)施例提供了一種基于云邊協(xié)同的數(shù)據(jù)處理系統(tǒng)，包括：至少一個(gè)存儲(chǔ)器和至少一個(gè)處理器；

59、所述至少一個(gè)存儲(chǔ)器，用于存儲(chǔ)機(jī)器可讀程序；

60、所述至少一個(gè)處理器，用于調(diào)用所述機(jī)器可讀程序，執(zhí)行第一方面中任一所述的方法。

61、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令在被處理器執(zhí)行時(shí)，使所述處理器執(zhí)行第一方面中任一所述的方法。

62、本發(fā)明實(shí)施例提供了一種基于云邊協(xié)同的數(shù)據(jù)處理方法，利用協(xié)同調(diào)度模塊，可以根據(jù)數(shù)據(jù)處理需求和網(wǎng)絡(luò)狀態(tài)動(dòng)態(tài)調(diào)度處理任務(wù)。此外，該方法還采用智能緩存模塊，在云端處理模塊與邊緣計(jì)算模塊間建立緩存機(jī)制，以及利用分布式加載模塊對(duì)大型數(shù)據(jù)集進(jìn)行劃分和分發(fā)，實(shí)現(xiàn)并行處理。通過(guò)上述方式可以實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)調(diào)整和優(yōu)化協(xié)同調(diào)度、智能緩存以及分布式加載策略，將云計(jì)算與邊緣計(jì)算相結(jié)合，形成云邊協(xié)同的架構(gòu)，可以提高數(shù)據(jù)處理的效率。