本說明書涉及數(shù)據(jù)處理，尤其涉及一種計算流程的處理方法及裝置。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，各種大數(shù)據(jù)計算平臺涌現(xiàn)，以為各企業(yè)、單位提供數(shù)據(jù)處理服務(wù)。為了更好的為各企業(yè)、單位提供給優(yōu)質(zhì)的數(shù)據(jù)處理服務(wù)，如何為各企業(yè)、單位的各業(yè)務(wù)計算流程提供更便利的編排部署方案至關(guān)重要。

技術(shù)實現(xiàn)思路

1、本說明書一個或多個實施例提供了一種計算流程的處理方法及裝置，以實現(xiàn)對涉及離線計算和在線計算的混合計算流程進行更便利的編排部署，提高用戶體驗。

2、根據(jù)第一方面，提供一種計算流程的處理方法，其中，所述方法包括：

3、獲取計算流程對應(yīng)的關(guān)系圖，其中，所述關(guān)系圖中的各節(jié)點分別表征所述計算流程中涉及的各算子，各有向邊分別表征所連接節(jié)點之間的依賴關(guān)系，所述算子包括離線類型的第一算子和在線類型的第二算子；

4、根據(jù)所述關(guān)系圖中各個節(jié)點對應(yīng)的算子類型，分割所述關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄所述第一子圖與所述第二子圖之間的關(guān)聯(lián)關(guān)系，其中，所述第一子圖中的節(jié)點均對應(yīng)于第一算子，所述第二子圖中的節(jié)點均對應(yīng)于第二算子；

5、基于所述第一子圖、第二子圖、以及所述關(guān)聯(lián)關(guān)系，運行所述計算流程。

6、根據(jù)第二方面，提供一種計算流程的處理裝置，其中，所述裝置包括：

7、獲取模塊，配置為獲取計算流程對應(yīng)的關(guān)系圖，其中，所述關(guān)系圖中的各節(jié)點分別表征所述計算流程中涉及的各算子，各有向邊分別表征所連接節(jié)點之間的依賴關(guān)系，所述算子包括離線類型的第一算子和在線類型的第二算子；

8、分割記錄模塊，配置為根據(jù)所述關(guān)系圖中各個節(jié)點對應(yīng)的算子類型，分割所述關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄所述第一子圖與所述第二子圖之間的關(guān)聯(lián)關(guān)系，其中，所述第一子圖中的節(jié)點均對應(yīng)于第一算子，所述第二子圖中的節(jié)點均對應(yīng)于第二算子；

9、運行模塊，配置為基于所述第一子圖、第二子圖、以及所述關(guān)聯(lián)關(guān)系，運行所述計算流程。

10、根據(jù)第三方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，當(dāng)所述計算機程序在計算機中執(zhí)行時，令計算機執(zhí)行第一方面所述的方法。

11、根據(jù)第四方面，提供一種計算設(shè)備，包括存儲器和處理器，其中，所述存儲器中存儲有可執(zhí)行代碼，所述處理器執(zhí)行所述可執(zhí)行代碼時，實現(xiàn)第一方面所述的方法。

12、根據(jù)本說明書實施例提供的計算流程的處理方法及裝置，獲取涉及離線計算和在線計算的計算流程對應(yīng)的關(guān)系圖，其中，關(guān)系圖中的各節(jié)點分別表征計算流程中涉及的離線類型的各第一算子和在線類型的各第二算子，各有向邊分別表征所連接節(jié)點之間的依賴關(guān)系；根據(jù)關(guān)系圖中各個節(jié)點對應(yīng)的算子類型，分割關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，其中，第一子圖中的節(jié)點均對應(yīng)于第一算子，第二子圖中的節(jié)點均對應(yīng)于第二算子；基于第一子圖、第二子圖、以及關(guān)聯(lián)關(guān)系，運行計算流程。上述過程，基于涉及離線計算和在線計算的計算流程的關(guān)系圖，實現(xiàn)對一個計算流程中涉及的離線計算子流程和在線計算子流程的統(tǒng)一管理，并實現(xiàn)對該類混合計算流程的統(tǒng)一編排，在部署過程中，基于關(guān)系圖中各個節(jié)點對應(yīng)的算子類型，分割關(guān)系圖，并記錄分割所得的第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，以實現(xiàn)對計算流程中的離線計算子流程和在線計算子流程之間的關(guān)聯(lián)關(guān)系的自動化關(guān)聯(lián)，降低混合計算流程編排部署的復(fù)雜度。

技術(shù)特征：

1.一種計算流程的處理方法，其中，所述方法包括：

2.如權(quán)利要求1所述的方法，其中，所述基于所述第一子圖、第二子圖、以及所述關(guān)聯(lián)關(guān)系，運行所述計算流程，包括：

3.如權(quán)利要求1所述的方法，其中，所述關(guān)系圖為有向無環(huán)圖。

4.如權(quán)利要求1所述的方法，其中，所述根據(jù)所述關(guān)系圖中各個節(jié)點對應(yīng)的算子類型，分割所述關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖，包括：

5.如權(quán)利要求4所述的方法，其中，所述查找到各自所對應(yīng)的算子類型不同、且互為前序節(jié)點和后繼節(jié)點的至少一對目標(biāo)節(jié)點對，包括：

6.如權(quán)利要求5所述的方法，在所述確定所述第二節(jié)點與其前序節(jié)點為一對目標(biāo)節(jié)點對之后，還包括：

7.如權(quán)利要求6所述的方法，其中，所述基于各分割位置，從所述關(guān)系圖中得到關(guān)聯(lián)的第一子圖和第二子圖，包括：

8.如權(quán)利要求7所述的方法，其中，所述構(gòu)建第一子圖或第二子圖，包括：

9.如權(quán)利要求7所述的方法，所述基于各分割位置，從所述關(guān)系圖中得到關(guān)聯(lián)的第一子圖和第二子圖，還包括：

10.如權(quán)利要求4所述的方法，其中，所述記錄各第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，包括：

11.如權(quán)利要求1-10任一項所述的方法，還包括：

12.一種計算流程的處理裝置，其中，所述裝置包括：

13.一種計算設(shè)備，包括存儲器和處理器，其中，所述存儲器中存儲有可執(zhí)行代碼，所述處理器執(zhí)行所述可執(zhí)行代碼時，實現(xiàn)權(quán)利要求1-11中任一項所述的方法。

技術(shù)總結(jié)
本說明書實施例提供一種計算流程的處理方法及裝置，該方法包括：獲取涉及離線計算和在線計算的計算流程對應(yīng)的關(guān)系圖，其中，關(guān)系圖中的各節(jié)點分別表征計算流程中涉及的離線類型的各第一算子和在線類型的各第二算子，各有向邊分別表征所連接節(jié)點之間的依賴關(guān)系；根據(jù)關(guān)系圖中各個節(jié)點對應(yīng)的算子類型，分割關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，其中，第一子圖中的節(jié)點均對應(yīng)于第一算子，第二子圖中的節(jié)點均對應(yīng)于第二算子；基于第一子圖、第二子圖、以及關(guān)聯(lián)關(guān)系，運行計算流程，以實現(xiàn)對涉及離線計算和在線計算的混合計算流程進行更便利的編排部署，提高用戶體驗。

技術(shù)研發(fā)人員：武斌,王天雨,史可新,于源,孫善祿
受保護的技術(shù)使用者：螞蟻區(qū)塊鏈科技（上海）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9