本發(fā)明涉及大數(shù)據(jù)處理分析，具體為一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法及系統(tǒng)。

背景技術：

1、隨著信息技術的飛速發(fā)展，大數(shù)據(jù)處理和分析已經成為許多行業(yè)的關鍵需求。flink被設計用于運行在所有常見的集群環(huán)境上，并且能夠以流處理數(shù)據(jù)，同時也支持批處理數(shù)據(jù)，這使得它非常適合用于實時數(shù)據(jù)處理和分析。

2、盡管flink提供了強大的數(shù)據(jù)處理能力，但對于非技術用戶來說，編寫和維護flink作業(yè)的代碼仍然是一個挑戰(zhàn)。這促使了可視化數(shù)據(jù)處理工具的發(fā)展，這些工具允許用戶通過圖形界面而不是編程來定義數(shù)據(jù)處理邏輯。

3、因此，需要提供一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法。通過該方法，用戶可以利用圖形界面進行操作，即可生成用于實時數(shù)據(jù)處理任務的sql。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法及系統(tǒng)，以解決上述背景技術中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法，所述方法包括以下步驟：

3、數(shù)據(jù)源管理，用于管理數(shù)據(jù)源分類目錄；

4、數(shù)據(jù)類型管理，用于對多種數(shù)據(jù)庫管理數(shù)據(jù)類型的轉換；

5、可視化sql配置，用于將數(shù)據(jù)源管理系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表和數(shù)據(jù)類型管理系統(tǒng)中的數(shù)據(jù)類型信息，使用可視化的方式進行組合調整，最終生成可用于flink環(huán)境中執(zhí)行的sql。

6、優(yōu)選的，數(shù)據(jù)源管理包括：

7、數(shù)據(jù)域管理，用于管理數(shù)據(jù)源分類目錄；包括：數(shù)據(jù)域目錄信息，包括數(shù)據(jù)域目錄名稱、數(shù)據(jù)域目錄編碼、數(shù)據(jù)域目錄描述；

8、數(shù)據(jù)源管理，用于管理數(shù)據(jù)源信息，包括創(chuàng)建、導入、編輯、啟用、停用、查詢操作；包括：數(shù)據(jù)源名稱、數(shù)據(jù)源類型、數(shù)據(jù)源ip、所屬目錄、連接狀態(tài)、編輯時間信息；支持注冊、配置、測試、監(jiān)控、維護以及管理數(shù)據(jù)源的權限和版本。

9、優(yōu)選的，數(shù)據(jù)類型管理包括：

10、數(shù)據(jù)庫類型管理，負責數(shù)據(jù)庫類型的管理，包括創(chuàng)建、編輯、刪除、查詢操作；

11、數(shù)據(jù)類型管理，根據(jù)數(shù)據(jù)庫不同的類型進行與flink的相關類型進行匹配管理。

12、優(yōu)選的，可視化sql配置包括：

13、作業(yè)目錄管理，用于對要進行配置的sql進行管理，包括創(chuàng)建、編輯功能；

14、流程配置設計，包括源端算子、處理算子和目標端算子；

15、數(shù)據(jù)源查詢，根據(jù)用戶選擇數(shù)據(jù)庫類型，進行相關的數(shù)據(jù)源信息查詢；

16、數(shù)據(jù)類型配置，通用接口查詢數(shù)據(jù)類型的對應字段，并在頁面分別展示和調整。

17、優(yōu)選的，流程配置設計的圖形化界面中設置數(shù)據(jù)源欄、算子欄和目標端欄，用戶通過拖拽操作，快速構建出flink?sql語句的基本結構；

18、為每個算子都提供了詳細的配置選項，用戶根據(jù)需要進行設置，包括但不限于數(shù)據(jù)源連接信息、數(shù)據(jù)格式、處理邏輯、輸出目標；

19、根據(jù)用戶的選擇和配置信息，自動生成對應的flink?sql語句，生成的sql語句直接在flink環(huán)境中執(zhí)行，實現(xiàn)實時數(shù)據(jù)處理。

20、一種用于flink實時數(shù)據(jù)處理的可視化sql生成系統(tǒng)，所述系統(tǒng)包括：

21、數(shù)據(jù)源管理系統(tǒng)，用于管理數(shù)據(jù)源分類目錄；

22、數(shù)據(jù)類型管理系統(tǒng)，用于對多種數(shù)據(jù)庫管理數(shù)據(jù)類型的轉換；

23、可視化sql配置系統(tǒng)，用于將數(shù)據(jù)源管理系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表和數(shù)據(jù)類型管理系統(tǒng)中的數(shù)據(jù)類型信息，使用可視化的方式進行組合調整，最終生成可用于flink環(huán)境中執(zhí)行的sql。

24、優(yōu)選的，數(shù)據(jù)源管理系統(tǒng)包括：

25、數(shù)據(jù)域管理模塊，用于管理數(shù)據(jù)源分類目錄；包括：數(shù)據(jù)域目錄信息，包括數(shù)據(jù)域目錄名稱、數(shù)據(jù)域目錄編碼、數(shù)據(jù)域目錄描述；

26、數(shù)據(jù)源管理模塊，用于管理數(shù)據(jù)源信息，包括創(chuàng)建、導入、編輯、啟用、停用、查詢操作，包括：數(shù)據(jù)源名稱、數(shù)據(jù)源類型、數(shù)據(jù)源ip、所屬目錄、連接狀態(tài)、編輯時間信息；支持注冊、配置、測試、監(jiān)控、維護以及管理數(shù)據(jù)源的權限和版本。

27、優(yōu)選的，數(shù)據(jù)類型管理系統(tǒng)包括：

28、數(shù)據(jù)庫類型管理模塊，負責數(shù)據(jù)庫類型的管理，包括創(chuàng)建、編輯、刪除、查詢操作；

29、數(shù)據(jù)類型管理模塊，根據(jù)數(shù)據(jù)庫不同的類型進行與flink的相關類型進行匹配管理。

30、優(yōu)選的，可視化sql配置系統(tǒng)包括：

31、作業(yè)目錄管理模塊，用于對要進行配置的sql進行管理，包括創(chuàng)建、編輯功能；

32、流程配置設計模塊，包括源端算子、處理算子和目標端算子；

33、數(shù)據(jù)源查詢模塊，根據(jù)用戶選擇數(shù)據(jù)庫類型，進行相關的數(shù)據(jù)源信息查詢；

34、數(shù)據(jù)類型配置模塊，通用接口查詢數(shù)據(jù)類型的對應字段，并在頁面分別展示和調整。

35、優(yōu)選的，流程配置設計模塊的圖形化界面中設置數(shù)據(jù)源欄、算子欄和目標端欄，用戶通過拖拽操作，快速構建出flink?sql語句的基本結構；

36、系統(tǒng)為每個算子都提供了詳細的配置選項，用戶根據(jù)需要進行設置，包括但不限于數(shù)據(jù)源連接信息、數(shù)據(jù)格式、處理邏輯、輸出目標；

37、系統(tǒng)根據(jù)用戶的選擇和配置信息，自動生成對應的flink?sql語句，生成的sql語句可以直接在flink環(huán)境中執(zhí)行，實現(xiàn)實時數(shù)據(jù)處理。

38、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

39、本發(fā)明提出的用于flink實時數(shù)據(jù)處理的可視化sql生成方法及系統(tǒng)，降低技術門檻，非技術用戶也能輕松定義數(shù)據(jù)處理邏輯，無需編寫復雜的flink代碼，降低使用flink的門檻；提高開發(fā)效率，視覺化操作界面簡化了數(shù)據(jù)處理流程，縮短開發(fā)周期，提高開發(fā)效率；易于理解，sql語言通俗易懂，用戶更容易理解數(shù)據(jù)處理邏輯，減少溝通成本。靈活擴展，支持多種數(shù)據(jù)源和目標，方便用戶接入不同的數(shù)據(jù)系統(tǒng)，適應多樣化的業(yè)務需求。易于維護，代碼生成方式便于后續(xù)維護和修改，降低維護成本。實時數(shù)據(jù)處理，基于flink框架，支持實時數(shù)據(jù)處理，滿足實時數(shù)據(jù)分析和應用的需求。數(shù)據(jù)清洗和去重，支持數(shù)據(jù)清洗和去重等功能，提高數(shù)據(jù)質量。數(shù)據(jù)可視化，可視化界面直觀展示數(shù)據(jù)處理流程，方便用戶理解數(shù)據(jù)流向和邏輯。權限管理，支持數(shù)據(jù)源權限管理，確保數(shù)據(jù)安全。易于部署，系統(tǒng)易于部署和使用，降低使用成本。代碼復用，生成的sql代碼可復用，提高開發(fā)效率。

技術特征：

1.一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法，其特征在于：所述方法包括以下步驟：

2.根據(jù)權利要求1所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法，其特征在于：數(shù)據(jù)源管理包括：

3.根據(jù)權利要求1所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法，其特征在于：數(shù)據(jù)類型管理包括：

4.根據(jù)權利要求1所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法，其特征在于：可視化sql配置包括：

5.根據(jù)權利要求4所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成方法，其特征在于：流程配置設計的圖形化界面中設置數(shù)據(jù)源欄、算子欄和目標端欄，用戶通過拖拽操作，快速構建出flink?sql語句的基本結構；

6.一種根據(jù)權利要求1-5任意一項所述的用于flink實時數(shù)據(jù)處理的可視化sql生成方法的用于flink實時數(shù)據(jù)處理的可視化sql生成系統(tǒng)，其特征在于：所述系統(tǒng)包括：

7.根據(jù)權利要求6所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成系統(tǒng)，其特征在于：數(shù)據(jù)源管理系統(tǒng)包括：

8.根據(jù)權利要求6所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成系統(tǒng)，其特征在于：數(shù)據(jù)類型管理系統(tǒng)包括：

9.根據(jù)權利要求6所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成系統(tǒng)，其特征在于：可視化sql配置系統(tǒng)包括：

10.根據(jù)權利要求9所述的一種用于flink實時數(shù)據(jù)處理的可視化sql生成系統(tǒng)，其特征在于：流程配置設計模塊的圖形化界面中設置數(shù)據(jù)源欄、算子欄和目標端欄，用戶通過拖拽操作，快速構建出flink?sql語句的基本結構；

技術總結
本發(fā)明涉及大數(shù)據(jù)處理分析技術領域，具體為一種用于FLINK實時數(shù)據(jù)處理的可視化SQL生成方法及系統(tǒng)，包括以下步驟：數(shù)據(jù)源管理，用于管理數(shù)據(jù)源分類目錄；數(shù)據(jù)類型管理，用于對多種數(shù)據(jù)庫管理數(shù)據(jù)類型的轉換；可視化SQL配置，用于將數(shù)據(jù)源管理系統(tǒng)中的數(shù)據(jù)源、數(shù)據(jù)庫、數(shù)據(jù)表和數(shù)據(jù)類型管理系統(tǒng)中的數(shù)據(jù)類型信息，使用可視化的方式進行組合調整，最終生成可用于Flink環(huán)境中執(zhí)行的SQL；有益效果為：本發(fā)明提出的用于FLINK實時數(shù)據(jù)處理的可視化SQL生成方法及系統(tǒng)，降低技術門檻，非技術用戶也能輕松定義數(shù)據(jù)處理邏輯，無需編寫復雜的Flink代碼，降低使用Flink的門檻；提高開發(fā)效率，視覺化操作界面簡化了數(shù)據(jù)處理流程，縮短開發(fā)周期，提高開發(fā)效率。

技術研發(fā)人員：秦利濱,潘心冰,齊前前,時孝全
受保護的技術使用者：浪潮云信息技術股份公司
技術研發(fā)日：
技術公布日：2025/1/6