本申請涉及大數(shù)據(jù)，適用于金融領(lǐng)域，尤其涉及一種大數(shù)據(jù)框架的編譯方法、大數(shù)據(jù)框架的編譯裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、spark是一種在金融領(lǐng)域內(nèi)被廣泛應(yīng)用的大數(shù)據(jù)框架，隨著金融領(lǐng)域中數(shù)據(jù)量和業(yè)務(wù)規(guī)模的迅速增長，spark的研發(fā)迭代需求持續(xù)增強(qiáng)。目前spark的編譯過程主要采用手動的方式來完成。例如，開發(fā)者需要在自己本地主機(jī)上安裝各種編譯環(huán)境和依賴，然后手動執(zhí)行編譯命令；或者，開發(fā)團(tuán)隊為成員配置一臺公用編譯機(jī)，開發(fā)人員統(tǒng)一在編譯機(jī)上完成手動編譯。

2、上述編譯方法容易由于開發(fā)者本地環(huán)境差異較大，spark所依賴的不同版本的大量軟件包和庫的原因，會出現(xiàn)編譯失敗的問題，且錯誤原因難以定位。此外，由于開發(fā)團(tuán)隊共用一臺編譯機(jī)的方式無法支持多個研發(fā)人員同時編譯，因此編譯效率較低。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝艘环N大數(shù)據(jù)框架的編譯方法、大數(shù)據(jù)框架的編譯裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)，旨在提高大數(shù)據(jù)框架的編譯效率及正確率。

2、為實現(xiàn)上述目的，本申請還提供一種大數(shù)據(jù)框架的編譯方法，包括：

3、通過容器技術(shù)為所述大數(shù)據(jù)框架搭建編譯環(huán)境鏡像，得到容器化的大數(shù)據(jù)框架編譯環(huán)境；

4、接收用戶提交的構(gòu)建任務(wù)，并根據(jù)預(yù)設(shè)的任務(wù)調(diào)度規(guī)則將所述構(gòu)建任務(wù)分配至所述大數(shù)據(jù)框架編譯環(huán)境中對應(yīng)的目標(biāo)節(jié)點；其中，所述構(gòu)建任務(wù)至少包括編譯任務(wù)；

5、控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，以對所述大數(shù)據(jù)框架進(jìn)行編譯，得到編譯結(jié)果。

6、為實現(xiàn)上述目的，本申請還提供一種大數(shù)據(jù)框架的編譯裝置，包括：

7、編譯環(huán)境搭建模塊，所述編譯環(huán)境搭建模塊用于通過容器技術(shù)為所述大數(shù)據(jù)框架搭建編譯環(huán)境鏡像，得到容器化的大數(shù)據(jù)框架編譯環(huán)境；

8、任務(wù)分配模塊，所述任務(wù)分配模塊用于接收用戶提交的構(gòu)建任務(wù)，并根據(jù)預(yù)設(shè)的任務(wù)調(diào)度規(guī)則將所述構(gòu)建任務(wù)分配至所述大數(shù)據(jù)框架編譯環(huán)境中對應(yīng)的目標(biāo)節(jié)點；其中，所述構(gòu)建任務(wù)至少包括編譯任務(wù)；

9、編譯模塊，所述編譯模塊用于控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，以對所述大數(shù)據(jù)框架進(jìn)行編譯，得到編譯結(jié)果。

10、此外，為實現(xiàn)上述目的，本申請還提供一種計算機(jī)設(shè)備，所述計算機(jī)設(shè)備包括存儲器和處理器；所述存儲器，用于存儲計算機(jī)程序；所述處理器，用于執(zhí)行所述的計算機(jī)程序并在執(zhí)行所述的計算機(jī)程序時實現(xiàn)本申請實施例提供的任一項所述的大數(shù)據(jù)框架的編譯方法的步驟。

11、此外，為實現(xiàn)上述目的，本申請還提供一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時使所述處理器實現(xiàn)本申請實施例提供的任一項所述的大數(shù)據(jù)框架的編譯方法的步驟。

12、本申請實施例公開的大數(shù)據(jù)框架的編譯方法、大數(shù)據(jù)框架的編譯裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)。其中，方法包括通過容器技術(shù)為所述大數(shù)據(jù)框架搭建編譯環(huán)境鏡像，得到容器化的大數(shù)據(jù)框架編譯環(huán)境；

13、接收用戶提交的構(gòu)建任務(wù)，并根據(jù)預(yù)設(shè)的任務(wù)調(diào)度規(guī)則將所述構(gòu)建任務(wù)分配至所述大數(shù)據(jù)框架編譯環(huán)境中對應(yīng)的目標(biāo)節(jié)點；其中，所述構(gòu)建任務(wù)至少包括編譯任務(wù)；

14、控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，以對所述大數(shù)據(jù)框架進(jìn)行編譯，得到編譯結(jié)果。

15、本申請?zhí)峁┮环N大數(shù)據(jù)框架的編譯方法、大數(shù)據(jù)框架的編譯裝置、計算機(jī)設(shè)備及計算機(jī)可讀存儲介質(zhì)，通過通過容器技術(shù)為大數(shù)據(jù)框架搭建編譯環(huán)境鏡像，得到容器化的大數(shù)據(jù)框架編譯環(huán)境，并接收用戶提交的構(gòu)建任務(wù)，根據(jù)預(yù)設(shè)的任務(wù)調(diào)度規(guī)則將構(gòu)建任務(wù)分配至大數(shù)據(jù)框架編譯環(huán)境中對應(yīng)的目標(biāo)節(jié)點；其中，構(gòu)建任務(wù)至少包括編譯任務(wù)。由此，可控制目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行構(gòu)建任務(wù)，以對大數(shù)據(jù)框架進(jìn)行編譯，得到編譯結(jié)果。以上方式，通過容器技術(shù)創(chuàng)建編譯環(huán)境鏡像，可以確保大數(shù)據(jù)框架編譯過程中的環(huán)境一致性，避免了因環(huán)境配置差異導(dǎo)致的編譯問題。根據(jù)預(yù)設(shè)的任務(wù)調(diào)度規(guī)則將構(gòu)建任務(wù)分配到大數(shù)據(jù)框架編譯環(huán)境中的目標(biāo)節(jié)點，使得編譯任務(wù)能夠高效地分配和執(zhí)行，提高了整體的編譯效率。通過容器化的編譯環(huán)境和預(yù)設(shè)腳本，能夠自動化地控制目標(biāo)節(jié)點執(zhí)行構(gòu)建任務(wù)，減少了人工干預(yù)的需求，降低了編譯過程中的人為錯誤。由此，能夠提高大數(shù)據(jù)框架的編譯效率及正確率。

技術(shù)特征：

1.一種大數(shù)據(jù)框架的編譯方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過容器技術(shù)為所述大數(shù)據(jù)框架搭建編譯環(huán)境鏡像，得到容器化的大數(shù)據(jù)框架編譯環(huán)境，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，還包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，還包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述隊列信息確定所述任務(wù)緩存隊列中是否存在代碼編譯任務(wù)之后，還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述任務(wù)調(diào)度規(guī)則包括但不限于時間觸發(fā)規(guī)則、代碼提交觸發(fā)規(guī)則。

8.一種大數(shù)據(jù)框架的編譯裝置，其特征在于，所述編譯裝置包括：

9.一種計算機(jī)設(shè)備，其特征在于，包括：存儲器和處理器；其中，所述存儲器與所述處理器連接，用于存儲程序所述處理器用于通過運行所述存儲器中存儲的程序，實現(xiàn)如權(quán)利要求1-7中任一項所述的大數(shù)據(jù)框架的編譯方法的步驟。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時使所述處理器實現(xiàn)如權(quán)利要求1-7中任一項所述的大數(shù)據(jù)框架的編譯方法的步驟。

技術(shù)總結(jié)
本發(fā)明實施例提供一種大數(shù)據(jù)框架的編譯方法、裝置、設(shè)備及存儲介質(zhì)。方法包括：通過容器技術(shù)為所述大數(shù)據(jù)框架搭建編譯環(huán)境鏡像，得到容器化的大數(shù)據(jù)框架編譯環(huán)境；接收用戶提交的構(gòu)建任務(wù)，并根據(jù)預(yù)設(shè)的任務(wù)調(diào)度規(guī)則將所述構(gòu)建任務(wù)分配至所述大數(shù)據(jù)框架編譯環(huán)境中對應(yīng)的目標(biāo)節(jié)點；其中，所述構(gòu)建任務(wù)至少包括編譯任務(wù)；控制所述目標(biāo)節(jié)點利用預(yù)設(shè)腳本執(zhí)行所述構(gòu)建任務(wù)，以對所述大數(shù)據(jù)框架進(jìn)行編譯，得到編譯結(jié)果。本申請實施例旨在提高大數(shù)據(jù)框架的編譯效率及正確率。

技術(shù)研發(fā)人員：王文娟
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6