本申請(qǐng)涉及分布式計(jì)量，特別是涉及一種對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、由于計(jì)算環(huán)境的復(fù)雜性與動(dòng)態(tài)變化的需求，出現(xiàn)了分布式計(jì)量技術(shù)。分布式計(jì)量是一種在分布式系統(tǒng)中進(jìn)行數(shù)據(jù)收集和處理的方法，可以高效、實(shí)時(shí)地收集和處理數(shù)據(jù)。

2、在對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量時(shí)，可以借助多個(gè)計(jì)算節(jié)點(diǎn)完成對(duì)數(shù)據(jù)集計(jì)量任務(wù)，不過(guò)，傳統(tǒng)的處理方式難以兼顧計(jì)量的可擴(kuò)展性以及計(jì)量效率。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的方法，包括：

3、對(duì)各計(jì)量要素進(jìn)行封裝處理，得到所述各計(jì)量要素對(duì)應(yīng)的計(jì)量算子；

4、選取相應(yīng)的計(jì)量算子進(jìn)行組合，得到每一計(jì)量工具并部署在多個(gè)計(jì)算節(jié)點(diǎn)上；

5、將數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集；

6、將所述多個(gè)數(shù)據(jù)子集發(fā)送不同計(jì)算節(jié)點(diǎn)，以使各計(jì)算節(jié)點(diǎn)根據(jù)相應(yīng)計(jì)量工具對(duì)所述數(shù)據(jù)子集進(jìn)行計(jì)量。

7、在其中一個(gè)實(shí)施例中，所述將數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，包括：

8、獲取所述數(shù)據(jù)集的總量；

9、根據(jù)所述計(jì)算節(jié)點(diǎn)的計(jì)算能力，得到所述計(jì)算節(jié)點(diǎn)的可處理數(shù)據(jù)量；

10、根據(jù)所述總量和所述可處理數(shù)據(jù)量，將所述數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集。

11、在其中一個(gè)實(shí)施例中，所述根據(jù)所述總量和所述可處理數(shù)據(jù)量，將所述數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，包括：

12、根據(jù)所述總量和所述計(jì)算節(jié)點(diǎn)的數(shù)量，得到數(shù)據(jù)均分量；

13、當(dāng)所述數(shù)據(jù)均分量小于所述可處理數(shù)據(jù)量時(shí)，根據(jù)所述數(shù)據(jù)均分量，將所述數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集；

14、當(dāng)所述數(shù)據(jù)均分量大于所述可處理數(shù)據(jù)量時(shí)，根據(jù)所述可處理數(shù)據(jù)量和所述計(jì)算節(jié)點(diǎn)的數(shù)量，將所述數(shù)據(jù)集劃分為多批數(shù)據(jù)集，并根據(jù)所述可處理數(shù)據(jù)量和所述計(jì)算節(jié)點(diǎn)的數(shù)量將各批數(shù)據(jù)集劃分為相應(yīng)的數(shù)據(jù)子集。

15、在其中一個(gè)實(shí)施例中，所述根據(jù)所述數(shù)據(jù)均分量，將所述數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，包括：

16、獲取所述數(shù)據(jù)集中每筆數(shù)據(jù)的處理時(shí)間等級(jí)；

17、根據(jù)所述數(shù)據(jù)集中每筆數(shù)據(jù)的處理時(shí)間等級(jí)，對(duì)所述數(shù)據(jù)集進(jìn)行劃分，得到不同處理時(shí)間等級(jí)對(duì)應(yīng)的第一類數(shù)據(jù)集；

18、按所述計(jì)算節(jié)點(diǎn)的數(shù)量，對(duì)每個(gè)處理時(shí)間等級(jí)對(duì)應(yīng)的第一類數(shù)據(jù)集進(jìn)行平均劃分，得到相應(yīng)的多個(gè)第二類數(shù)據(jù)集；

19、根據(jù)不同處理時(shí)間等級(jí)各自對(duì)應(yīng)的多個(gè)第二類數(shù)據(jù)集，得到多個(gè)數(shù)據(jù)子集。

20、在其中一個(gè)實(shí)施例中，所述獲取所述數(shù)據(jù)集中每筆數(shù)據(jù)的處理時(shí)間等級(jí)，包括：

21、根據(jù)每筆數(shù)據(jù)進(jìn)行計(jì)量所需的計(jì)量工具，得到每筆數(shù)據(jù)對(duì)應(yīng)的處理預(yù)估時(shí)間；

22、根據(jù)處理預(yù)估時(shí)間與處理時(shí)間等級(jí)之間的對(duì)應(yīng)關(guān)系，確定每筆數(shù)據(jù)對(duì)應(yīng)的處理時(shí)間等級(jí)。

23、在其中一個(gè)實(shí)施例中，所述根據(jù)不同處理時(shí)間等級(jí)各自對(duì)應(yīng)的多個(gè)第二類數(shù)據(jù)集，得到多個(gè)數(shù)據(jù)子集，包括：

24、分別從不同處理時(shí)間等級(jí)各自對(duì)應(yīng)的多個(gè)第二類數(shù)據(jù)集中任選一個(gè)第二類數(shù)據(jù)集；

25、根據(jù)選出的第二類數(shù)據(jù)集，形成單個(gè)數(shù)據(jù)子集，以得到多個(gè)數(shù)據(jù)子集。

26、在其中一個(gè)實(shí)施例中，所述方法還包括：

27、獲取每一數(shù)據(jù)子集中每筆數(shù)據(jù)的計(jì)量結(jié)果；

28、根據(jù)每筆數(shù)據(jù)關(guān)聯(lián)的賬戶冊(cè)，對(duì)不同數(shù)據(jù)子集中每筆數(shù)據(jù)的計(jì)量結(jié)果進(jìn)行匯總。

29、第二方面，本申請(qǐng)還提供了一種對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的裝置，包括：

30、計(jì)量算子獲取模塊，用于對(duì)各計(jì)量要素進(jìn)行封裝處理，得到所述各計(jì)量要素對(duì)應(yīng)的計(jì)量算子；

31、計(jì)算單元部署模塊，用于選取相應(yīng)的計(jì)量算子進(jìn)行組合，得到每一計(jì)量工具并部署在多個(gè)計(jì)算節(jié)點(diǎn)上；

32、數(shù)據(jù)子集獲取模塊，用于將數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集；

33、數(shù)據(jù)子集計(jì)量模塊，用于將所述多個(gè)數(shù)據(jù)子集發(fā)送不同計(jì)算節(jié)點(diǎn)，以使各計(jì)算節(jié)點(diǎn)根據(jù)相應(yīng)計(jì)量工具對(duì)所述數(shù)據(jù)子集進(jìn)行計(jì)量。

34、第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行上述方法。

35、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行上述方法。

36、第五方面，本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行上述方法。

37、上述對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，對(duì)各計(jì)量要素進(jìn)行封裝處理，得到各計(jì)量要素對(duì)應(yīng)的計(jì)量算子；選取相應(yīng)的計(jì)量算子進(jìn)行組合，得到每一計(jì)量工具并部署在多個(gè)計(jì)算節(jié)點(diǎn)上；將數(shù)據(jù)集劃分為多個(gè)數(shù)據(jù)子集；將多個(gè)數(shù)據(jù)子集發(fā)送不同計(jì)算節(jié)點(diǎn)，以使各計(jì)算節(jié)點(diǎn)根據(jù)相應(yīng)計(jì)量工具對(duì)數(shù)據(jù)子集進(jìn)行計(jì)量。本申請(qǐng)對(duì)各計(jì)量要素進(jìn)行封裝處理，得到各計(jì)量要素對(duì)應(yīng)的計(jì)量算子，選取相應(yīng)的計(jì)量算子進(jìn)行組合，得到每一計(jì)量工具，降低計(jì)量要素之間的耦合度；當(dāng)需要生成新的計(jì)量工具時(shí)，可以根據(jù)需求選取相應(yīng)的計(jì)量算子進(jìn)行組合，從而得到新的計(jì)量工具，提高了計(jì)量的可擴(kuò)展性；將數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，將所述多個(gè)數(shù)據(jù)子集發(fā)送不同計(jì)算節(jié)點(diǎn)，使每個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)處理量相同，充分利用運(yùn)算資源，提高了計(jì)量效率。

技術(shù)特征：

1.一種對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述總量和所述可處理數(shù)據(jù)量，將所述數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)均分量，將所述數(shù)據(jù)集平均劃分為多個(gè)數(shù)據(jù)子集，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述獲取所述數(shù)據(jù)集中每筆數(shù)據(jù)的處理時(shí)間等級(jí)，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)不同處理時(shí)間等級(jí)各自對(duì)應(yīng)的多個(gè)第二類數(shù)據(jù)集，得到多個(gè)數(shù)據(jù)子集，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

8.一種對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及分布式計(jì)量技術(shù)領(lǐng)域，提供一種對(duì)數(shù)據(jù)集進(jìn)行分布式計(jì)量的方法、裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)。所述方法包括：對(duì)各計(jì)量要素進(jìn)行封裝處理，得到各計(jì)量要素對(duì)應(yīng)的計(jì)量算子；選取相應(yīng)的計(jì)量算子進(jìn)行組合，得到每一計(jì)量工具并部署在多個(gè)計(jì)算節(jié)點(diǎn)上；將數(shù)據(jù)集劃分為多個(gè)數(shù)據(jù)子集；將多個(gè)數(shù)據(jù)子集發(fā)送不同計(jì)算節(jié)點(diǎn)，以使各計(jì)算節(jié)點(diǎn)根據(jù)相應(yīng)計(jì)量工具對(duì)數(shù)據(jù)子集進(jìn)行計(jì)量。采用本方法能夠降低計(jì)量要素之間的耦合度，提高計(jì)量效率。

技術(shù)研發(fā)人員：張行行,趙提
受保護(hù)的技術(shù)使用者：中電金信軟件有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2