本發(fā)明涉及指標管理，具體為一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法。

背景技術(shù)：

1、指標是用來衡量某種現(xiàn)象、特征或績效的一種量化標準，可以反映出某種現(xiàn)象或特征的數(shù)量、比例、趨勢、變化率等方面的信息，是管理和決策中非常重要的工具。

2、現(xiàn)有的相似技術(shù)的指標管理系統(tǒng)一般只是用來做數(shù)據(jù)指標的管理、主要用來解決數(shù)據(jù)中臺構(gòu)建過程中數(shù)據(jù)指標中同名不同義、同義不同名、指標計算邏輯不一致等各種數(shù)據(jù)指標管理問題，對于指標數(shù)據(jù)的使用查詢更多是基于數(shù)據(jù)派生指標的查詢、派生指標的定義更傾向于使用完整四部分：原子指標+業(yè)務(wù)限定+統(tǒng)計周期+維度或維度的組合(統(tǒng)計粒度)。

3、但是目前的指標管理和指標數(shù)據(jù)查詢中使用完整四部分定義派生指標造成派生指標的數(shù)量很多、創(chuàng)建及錄入費時；派生指標數(shù)據(jù)生成都是通過調(diào)度在預計算階段生成、造成預計算階段計算量很大；不能滿足上游系統(tǒng)對指標數(shù)據(jù)的靈活性組裝查詢需求。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，解決了上述背景技術(shù)中提出的問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，包括以下具體步驟：

3、s1：從業(yè)務(wù)系統(tǒng)中通過數(shù)據(jù)采集系統(tǒng)采集數(shù)據(jù)，且經(jīng)過數(shù)據(jù)檢驗和數(shù)據(jù)清洗至數(shù)據(jù)倉庫的ods層表中；

4、s2：創(chuàng)建維度邏輯表(數(shù)據(jù)倉庫dim層)以及事實邏輯表(數(shù)據(jù)倉庫dwd層)；

5、s3：基于數(shù)據(jù)倉庫dim層維度表信息在指標管理系統(tǒng)中錄入維度表元數(shù)據(jù)，存入到指標維度表中、錄入維度表字段元數(shù)據(jù)，存入到維度字段表中、錄入維度屬性枚舉值元數(shù)據(jù)，存入到維度屬性枚舉值表中；

6、s4：基于數(shù)據(jù)倉庫dwd層事實邏輯表信息在指標管理系統(tǒng)中錄入原子指標元數(shù)據(jù)后創(chuàng)建派生指標，只使用兩部分創(chuàng)建和錄入派生指標，其中派生指標＝統(tǒng)計周期+原子指標，創(chuàng)建的派生指標信息存入到指標管理系統(tǒng)的派生指標表中；

7、在s4中現(xiàn)有的派生指標＝統(tǒng)計周期+統(tǒng)計粒度+原子指標，而在本實施例內(nèi)，將統(tǒng)計粒度的分組計算放入預計算內(nèi)，使得派生指標的創(chuàng)建和錄入更快速和靈活；

8、s5：根據(jù)錄入的派生指標的定義、對派生指標通過編碼，配置調(diào)度加工出派生指標數(shù)據(jù)存入到數(shù)據(jù)倉庫dws層；

9、s6：對指標數(shù)據(jù)進行查詢中，對派生指標進行合并，之后進行統(tǒng)計粒度分組計算的預計算，具體為按子業(yè)務(wù)粒度合并、按指標粒度合并、按子業(yè)務(wù)和指標粒度合并，并設(shè)置業(yè)務(wù)限定計算的過濾邏輯，根據(jù)拼裝的業(yè)務(wù)限定動態(tài)拼裝指標數(shù)據(jù)獲取sql、根據(jù)sql動態(tài)查詢派生指標的二次加工數(shù)據(jù)。

10、本發(fā)明技術(shù)方案的進一步改進在于：所述s1中數(shù)據(jù)檢驗和數(shù)據(jù)清洗完成對數(shù)據(jù)采集系統(tǒng)所采集數(shù)據(jù)的數(shù)據(jù)清洗、格式轉(zhuǎn)換以及標定校準，使得該類數(shù)據(jù)能夠作為業(yè)務(wù)系統(tǒng)的核心特征分析業(yè)務(wù)。

11、本發(fā)明技術(shù)方案的進一步改進在于：所述指標數(shù)據(jù)查詢對接目標為上游系統(tǒng)，所述上游系統(tǒng)查詢派生指標表可以獲取到所有的派生指標，所述上游系統(tǒng)查詢指標維度表可以查詢到指標所有的維度，所述上游系統(tǒng)查詢維度枚舉指標可以查詢到維度的枚舉值。

12、本發(fā)明技術(shù)方案的進一步改進在于：所述上游系統(tǒng)通過自定義選擇任一指標、任一指標對應(yīng)的維度、任一維度對應(yīng)的枚舉值完成查詢各種維度屬性枚舉值對應(yīng)的業(yè)務(wù)限定的派生指標數(shù)據(jù)。

13、本發(fā)明技術(shù)方案的進一步改進在于：所述上游系統(tǒng)傳參來動態(tài)生成業(yè)務(wù)限定，基于動態(tài)sql拼裝、執(zhí)行sql去獲取指標數(shù)據(jù)。

14、本發(fā)明技術(shù)方案的進一步改進在于：所述s6中查詢指標數(shù)據(jù)中對派生指標進行合并以及統(tǒng)計粒度的分組計算的預計算基于即席查詢階段，所述預計算包括構(gòu)造指標計算請求、發(fā)起指標計算、獲得指標計算結(jié)果，保存數(shù)據(jù)到dws層。

15、本發(fā)明技術(shù)方案的進一步改進在于：所述子業(yè)務(wù)粒度合并對于指標數(shù)據(jù)查詢中子業(yè)務(wù)從逐一查詢合并為所有子業(yè)務(wù)同時查詢。

16、本發(fā)明技術(shù)方案的進一步改進在于：所述按指標粒度合并對于指標數(shù)據(jù)查詢中dws表內(nèi)多個指標逐一查詢合并為所有指標同時查詢，所述按子業(yè)務(wù)和指標粒度合并對于指標數(shù)據(jù)查詢中dws表內(nèi)兩個角度一次多個子業(yè)務(wù)的多個指標逐一查詢合并為多個角度多個子業(yè)務(wù)的多個指標同時查詢。

17、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：通過調(diào)整派生指標的定義減少了派生指標的數(shù)量、減少了創(chuàng)建派生指標的時間成本及維護成本；根據(jù)上游系統(tǒng)傳參靈活拼裝業(yè)務(wù)限定、根據(jù)拼裝的業(yè)務(wù)限定動態(tài)拼裝指標數(shù)據(jù)獲取sql、根據(jù)sql動態(tài)查詢派生指標的二次加工數(shù)據(jù)，配合調(diào)整了派生指標定義、把派生指標中的業(yè)務(wù)限定計算過濾邏輯放入到即席查詢階段、上游系統(tǒng)傳參來動態(tài)生成業(yè)務(wù)限定，然后進行動態(tài)sql拼裝、執(zhí)行sql去獲取指標數(shù)據(jù)保證指標數(shù)據(jù)獲取的靈活性；

18、可應(yīng)用于集成市場現(xiàn)有指標管理系統(tǒng)，用于提升上游系統(tǒng)獲取指標數(shù)據(jù)的靈活度、減少派生指標的創(chuàng)建及錄入數(shù)量、減少派生指標數(shù)據(jù)生成預計算階段的計算量。

技術(shù)特征：

1.一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于，包括以下具體步驟：

2.根據(jù)權(quán)利要求1所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述s1中數(shù)據(jù)檢驗和數(shù)據(jù)清洗完成對數(shù)據(jù)采集系統(tǒng)所采集數(shù)據(jù)的數(shù)據(jù)清洗、格式轉(zhuǎn)換以及標定校準，使得該類數(shù)據(jù)能夠作為業(yè)務(wù)系統(tǒng)的核心特征分析業(yè)務(wù)。

3.根據(jù)權(quán)利要求1所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述指標數(shù)據(jù)查詢對接目標為上游系統(tǒng)，所述上游系統(tǒng)查詢派生指標表可以獲取到所有的派生指標，所述上游系統(tǒng)查詢指標維度表可以查詢到指標所有的維度，所述上游系統(tǒng)查詢維度枚舉指標可以查詢到維度的枚舉值。

4.根據(jù)權(quán)利要求2所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述上游系統(tǒng)通過自定義選擇任一指標、任一指標對應(yīng)的維度、任一維度對應(yīng)的枚舉值完成查詢各種維度屬性枚舉值對應(yīng)的業(yè)務(wù)限定的派生指標數(shù)據(jù)。

5.根據(jù)權(quán)利要求2所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述上游系統(tǒng)傳參來動態(tài)生成業(yè)務(wù)限定，基于動態(tài)sql拼裝、執(zhí)行sql去獲取指標數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述s6中查詢指標數(shù)據(jù)中對派生指標進行合并以及統(tǒng)計粒度的分組計算的預計算基于即席查詢階段，所述預計算包括構(gòu)造指標計算請求、發(fā)起指標計算、獲得指標計算結(jié)果，保存數(shù)據(jù)到dws層。

7.根據(jù)權(quán)利要求1所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述子業(yè)務(wù)粒度合并對于指標數(shù)據(jù)查詢中子業(yè)務(wù)從逐一查詢合并為所有子業(yè)務(wù)同時查詢。

8.根據(jù)權(quán)利要求7所述的一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，其特征在于：所述按指標粒度合并對于指標數(shù)據(jù)查詢中dws表內(nèi)多個指標逐一查詢合并為所有指標同時查詢，所述按子業(yè)務(wù)和指標粒度合并對于指標數(shù)據(jù)查詢中dws表內(nèi)兩個角度一次多個子業(yè)務(wù)的多個指標逐一查詢合并為多個角度多個子業(yè)務(wù)的多個指標同時查詢。

技術(shù)總結(jié)
本發(fā)明公開了一種指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，本發(fā)明涉及指標管理技術(shù)領(lǐng)域。該指標管理及指標數(shù)據(jù)查詢的優(yōu)化方法，具體步驟如下：從業(yè)務(wù)系統(tǒng)通過采集系統(tǒng)采集數(shù)據(jù)至數(shù)據(jù)倉庫的ODS層表中，創(chuàng)建維度邏輯表以及事實邏輯表，在指標管理系統(tǒng)中錄入維度表元數(shù)據(jù)，存入到指標維度表、維度字段表、維度屬性枚舉值表中，在指標管理系統(tǒng)中錄入原子指標元數(shù)據(jù)后創(chuàng)建派生指標，根據(jù)錄入的派生指標的定義、對派生指標通過編碼，配置調(diào)度加工出派生指標數(shù)據(jù)存入到數(shù)據(jù)倉庫DWS層，對指標數(shù)據(jù)進行查詢中，對派生指標進行合并，之后進行統(tǒng)計粒度分組計算的預計算。本發(fā)明通過調(diào)整派生指標的定義減少派生指標的數(shù)量、減少創(chuàng)建派生指標的時間成本及維護成本。

技術(shù)研發(fā)人員：雷永峰,楊志雄,舒曉華,馬輝
受保護的技術(shù)使用者：杭州伍炬科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2