本發(fā)明涉及數(shù)據(jù)智能處理，特別是指一種基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理方法、基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理裝置、電子設備和計算機可讀存儲介質(zhì)。

背景技術：

1、數(shù)據(jù)處理任務，例如數(shù)據(jù)清洗、數(shù)據(jù)分析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)集成、數(shù)據(jù)存儲、數(shù)據(jù)安全與隱私保護、數(shù)據(jù)可視化和數(shù)據(jù)挖掘等，是數(shù)據(jù)智能處理的重要組成部分。隨著數(shù)據(jù)量的日益增長，如何高效地處理這些數(shù)據(jù)，尤其是如何合理地分配和處理ai任務，成為了一個亟待解決的問題。

2、傳統(tǒng)的數(shù)據(jù)處理方法往往依賴于固定的規(guī)則和預設的流程，難以適應復雜多變的數(shù)據(jù)處理需求。比如公開號為cn109947556a的發(fā)明專利提供了一種任務分配方法：向所述數(shù)據(jù)處理裝置的節(jié)點芯片發(fā)送計算任務命令；數(shù)據(jù)處理裝置的各節(jié)點芯片根據(jù)各自任務進行運算；數(shù)據(jù)處理裝置向外部控制裝置返回運算結(jié)果。該技術則是需要向串聯(lián)的對應節(jié)點芯片發(fā)送相應任務分配指令，以此通過較少的指令交互實現(xiàn)串聯(lián)節(jié)點芯片的計算任務的分配。而這種任務分配，僅僅適應于固定流程（也就是其節(jié)點芯片之間明確了交互流程的模式）的任務分配。

3、然而，在現(xiàn)有大數(shù)據(jù)的數(shù)據(jù)數(shù)據(jù)中，包含各種需求的數(shù)據(jù)處理任務，比如大數(shù)據(jù)的清洗、按需分析、各權限或?qū)I(yè)的數(shù)據(jù)處理，往往涉及到若干個計算節(jié)點（甚至成百上千），若是采用根據(jù)任務屬性向?qū)嬎愎?jié)點發(fā)送計算任務命令的模式，則無疑在前期進行任務分配之時，會占用大量時間進行任務分配計算，降低了數(shù)據(jù)處理的效率。

4、此外，在任務分配過程中，還需要管理員監(jiān)控任務的分配進程和正確性，需要進行任務分配后的確認。管理員需要審核所分配的任務以及任務分配結(jié)果，這無疑依舊會占用較多的人工審核時間，導致任務延遲下發(fā)、分配，造成數(shù)據(jù)處理任務執(zhí)行延遲，且效率低下。

技術實現(xiàn)思路

1、為了解決現(xiàn)有技術存在的技術問題，本發(fā)明提供了如下技術方案：

2、一方面，提供了一種基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理方法，該方法由電子設備實現(xiàn)，該方法包括：

3、s1、基于歷史任務分配大數(shù)據(jù)，構建并部署任務ai分配模型；

4、s2、接收并解析任務數(shù)據(jù)包，得到若干數(shù)據(jù)處理任務；

5、s3、通過預設的所述任務ai分配模型，遍歷各個所述數(shù)據(jù)處理任務，識別并輸出所述數(shù)據(jù)處理任務的任務分配特征；

6、s4、讀取所述數(shù)據(jù)處理任務的所述任務分配特征中的任務屬性，并按照所述任務屬性將所述數(shù)據(jù)處理任務分配至對應的任務節(jié)點；

7、s5、同步將所述數(shù)據(jù)處理任務的所述任務分配特征發(fā)送至所分配的所述任務節(jié)點。

8、優(yōu)選地，s1、基于歷史任務分配大數(shù)據(jù)，構建并部署任務ai分配模型，包括：

9、從任務日志庫中收集若干歷史任務的分配日志數(shù)據(jù)，經(jīng)過預處理后，得到所述歷史任務分配大數(shù)據(jù)，其中，所述分配日志數(shù)據(jù)包括如下至少一種任務信息：任務屬性以及所分配的任務節(jié)點，所述任務屬性包含任務類型、父子任務關系、任務權限、任務大小和/或任務文本關鍵詞；

10、對所述歷史任務分配大數(shù)據(jù)進行特征提取，獲取所述歷史任務分配大數(shù)據(jù)的任務分配特征集，包括：

11、遍歷所述歷史任務分配大數(shù)據(jù)中的各個歷史任務的分配日志數(shù)據(jù)；

12、通過文本挖掘算法，挖掘并提取各個歷史任務的分配日志數(shù)據(jù)中的任務分配特征，并經(jīng)過特征整合處理后，得到由各個歷史任務的所述任務分配特征組成的所述任務分配特征集；

13、按照預設比例，將所述任務分配特征集劃分為訓練集和驗證集；

14、將所述訓練集輸入預設的深度學習模型中，使用所述訓練集中的任務分配特征對所模型進行學習訓練，當達到預設的優(yōu)化迭代停止條件，停止訓練，生成所述任務ai分配模型；

15、使用所述驗證集對所述任務ai分配模型進行性能驗證：

16、若驗證通過，則部署所述任務ai分配模型至任務管理器中，并配置模型應用參數(shù)；

17、反之，重復上述模型訓練步驟。

18、優(yōu)選地，在從任務日志庫中收集若干歷史任務的分配日志數(shù)據(jù)之時，還包括：

19、根據(jù)所述分配日志數(shù)據(jù)的任務屬性，構建用于收集所述分配日志數(shù)據(jù)的檢索詞和檢索條件；

20、基于所述檢索詞和所述檢索條件，生成大語言模型提示詞，并將所述大語言模型提示詞輸入預設的llm大語言模型；

21、通過所述llm大語言模型，基于所述大語言模型提示詞搜索所述任務日志庫，從所述任務日志庫中檢索并收集相應歷史任務的所述分配日志數(shù)據(jù)，并輸出。

22、優(yōu)選地，s2、接收并解析任務數(shù)據(jù)包，得到若干數(shù)據(jù)處理任務，包括：

23、通過任務接收器接收管理員下發(fā)的任務數(shù)據(jù)包；

24、解析所述任務數(shù)據(jù)包，得到若干所述數(shù)據(jù)處理任務之后，將各個所述數(shù)據(jù)處理任務依次發(fā)送至所述任務管理器。

25、優(yōu)選地，s4、讀取所述數(shù)據(jù)處理任務的所述任務分配特征中的任務屬性，并按照所述任務屬性將所述數(shù)據(jù)處理任務分配至對應的任務節(jié)點，包括：

26、通過所述任務管理器依次讀取并識別所述數(shù)據(jù)處理任務的所述任務分配特征，從所述任務分配特征中識別其任務屬性，并將當前所述數(shù)據(jù)處理任務及其任務屬性發(fā)送至路由器；

27、通過所述路由器接收當前所述數(shù)據(jù)處理任務，并按照所述任務屬性中的任務類型、父子任務關系、任務權限、任務大小和/或任務文本關鍵詞，將當前所述數(shù)據(jù)處理任務轉(zhuǎn)發(fā)至對應的所述任務節(jié)點。

28、優(yōu)選地，所述路由器中預先配置有各個任務節(jié)點所適配的數(shù)據(jù)處理任務的任務屬性。

29、另一方面，提供了一種基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理裝置，所述基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理裝置用于實現(xiàn)上述所述基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理方法，所述裝置包括：

30、任務接收器，用于接收并解析任務數(shù)據(jù)包，得到若干數(shù)據(jù)處理任務；

31、任務管理器，用于通過預設的所述任務ai分配模型，遍歷各個所述數(shù)據(jù)處理任務，識別并輸出所述數(shù)據(jù)處理任務的任務分配特征；

32、路由器，用于讀取所述數(shù)據(jù)處理任務的所述任務分配特征中的任務屬性，并按照所述任務屬性將所述數(shù)據(jù)處理任務分配至對應的任務節(jié)點；以及，同步將所述數(shù)據(jù)處理任務的所述任務分配特征發(fā)送至所分配的所述任務節(jié)點。

33、另一方面，提供一種電子設備，所述電子設備包括：處理器；存儲器，所述存儲器上存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執(zhí)行時，實現(xiàn)如上述基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理方法中的任一項方法。

34、另一方面，提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條指令，所述至少一條指令由處理器加載并執(zhí)行以實現(xiàn)上述基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理方法中的任一項方法。

35、本發(fā)明實施例提供的技術方案帶來的有益效果至少包括：

36、本發(fā)明提出了一種基于深度學習模型的數(shù)據(jù)處理任務ai分配與處理方法，旨在通過深度學習模型的自適應和學習能力，基于歷史任務分配日志形成的大數(shù)據(jù)，進行深度學習模型訓練，構建任務ai分配模型，并利用任務ai分配模型識別實時任務的任務特征，便于讓系統(tǒng)根據(jù)各個數(shù)據(jù)處理任務的任務特征來進行對應節(jié)點分配，以此利用任務ai分配模型實現(xiàn)智能化地任務分配，取代人工分配而大大提高數(shù)據(jù)處理任務分配效率。且本發(fā)明能夠同步將對應任務的任務特征同步至相應的任務節(jié)點，便于讓任務節(jié)點基于任務特征進行任務深度處理，根據(jù)任務特征實現(xiàn)對應的數(shù)據(jù)分析，實現(xiàn)對數(shù)據(jù)處理任務的智能分配和高效處理。