一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法
【專利說明】一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及一種即時應(yīng)用方法，具體涉及一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法。
【背景技術(shù)】
[0003]隨著電力企業(yè)業(yè)務(wù)信息系統(tǒng)應(yīng)用的逐步深入，業(yè)務(wù)數(shù)據(jù)量將逐漸龐大，各個網(wǎng)省的業(yè)務(wù)數(shù)據(jù)都是分散存儲于本地業(yè)務(wù)系統(tǒng)，目前無法將所有分散的數(shù)據(jù)統(tǒng)一展現(xiàn)應(yīng)用，給用戶的使用和體驗帶來不便。
[0004]數(shù)據(jù)倉庫和OLAP技術(shù)已經(jīng)成為多維分析研究的熱點，各個廠商都提供了自己的數(shù)據(jù)倉庫解決方案以及自己決策分析工具，如微軟的Analysis Manager和OLAP Service、BO公司的Business Object Explorer以及國內(nèi)的一些產(chǎn)品等。然而這些技術(shù)只針對數(shù)據(jù)倉庫集中式存儲進(jìn)行分析展現(xiàn)。
[0005]在數(shù)據(jù)多維分析領(lǐng)域，常見的分析方法利用數(shù)據(jù)立方體(Cube)進(jìn)行聚合運(yùn)算，但不能分析處理分散存儲于各個業(yè)務(wù)系統(tǒng)庫中的數(shù)據(jù)。在內(nèi)存計算領(lǐng)域，常見的分析方法是利用內(nèi)存數(shù)據(jù)庫，內(nèi)存數(shù)據(jù)庫通過內(nèi)存計算技術(shù)以及軟硬件結(jié)合的一體機(jī)技術(shù)，實現(xiàn)高性能的數(shù)據(jù)查詢與分析，滿足用戶對大數(shù)據(jù)處理的實時性需求。然而，內(nèi)存計算平臺基于全新架構(gòu)，在與已有數(shù)據(jù)庫系統(tǒng)軟件改造方面迀移工作量巨大。

【發(fā)明內(nèi)容】

[0006]為了解決上述技術(shù)問題，本發(fā)明提供了一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法。
[0007]為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案是:
一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法，包括以下步驟，
步驟一，業(yè)務(wù)對象建模；
按照業(yè)務(wù)邏輯關(guān)系創(chuàng)建兩種對象模型，一種是針對業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)對象模型，一種是針對業(yè)務(wù)任務(wù)的任務(wù)對象模型；
步驟二，分布式對象緩存；
報表引擎服務(wù)啟動初始化，加載對象模型、路由及公共維度數(shù)據(jù)；
步驟三，啟動分布式數(shù)據(jù)請求；
當(dāng)客戶端發(fā)起請求報表展現(xiàn)時，從歷史快照中根據(jù)請求過期時間范圍查找，如果存在就直接返回，否則繼續(xù)向報表引擎請求，報表引擎根據(jù)請求對象的指標(biāo)、維度和條件構(gòu)造生成計算請求對象；
步驟四，動態(tài)路由；
報表引擎從路由表中查找各個地區(qū)的請求地址，通過Hessain異步發(fā)送計算請求對象； 步驟五，代理計算；
每個計算代理節(jié)點在初始化時，將業(yè)務(wù)數(shù)據(jù)預(yù)加載，當(dāng)收到報表引擎的計算請求時，先判斷所請求資源是否已被緩存，如果被緩存，計算代理從緩存中取資源數(shù)據(jù)，通過聚合計算、編碼轉(zhuǎn)換、日期聚合轉(zhuǎn)換，將計算得出中間結(jié)果集發(fā)送給主站消息隊列；
步驟六，匯總和聚合計算；
報表引擎將消息隊列中的中間結(jié)果集匯總，插入到一張臨時表的內(nèi)存數(shù)據(jù)庫來計算，報表引擎為每個生成的計算單元格執(zhí)行內(nèi)存表達(dá)式計算，每個單元格由其約束條件生成一條SQL語句，將內(nèi)存數(shù)據(jù)庫的臨時表匯總查詢值填充到每個計算單元格，最終將報表單元格集合返回給請求的客戶端。
[0008]按邏輯關(guān)系，對象分為單對象和對象集，單對象之間沒有邏輯關(guān)系，對象集中的對象之間存在邏輯關(guān)系。
[0009]計算代理采用內(nèi)存計算數(shù)據(jù)庫進(jìn)行計算。
[0010]本發(fā)明所達(dá)到的有益效果:本發(fā)明相比于現(xiàn)有技術(shù)，具有擴(kuò)展性能好，任務(wù)實時性能高，多維度多角度數(shù)據(jù)分析查詢靈活，為OMS系統(tǒng)報表展現(xiàn)提供實時數(shù)據(jù)抽取，避免了分散數(shù)據(jù)人工填報工作量，能快速變更報表維度及查詢條件，比較友好地拖拽式構(gòu)建查詢報表。
【附圖說明】
[0011]圖1為本發(fā)明流程圖。
[0012]圖2為系統(tǒng)架構(gòu)圖。
【具體實施方式】
[0013]下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，而不能以此來限制本發(fā)明的保護(hù)范圍。
[0014]如圖1所示，一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法，包括以下步驟，
步驟一，業(yè)務(wù)對象建模。
[0015]按照業(yè)務(wù)邏輯關(guān)系創(chuàng)建兩種對象模型，一種是針對業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)對象模型，一種是針對業(yè)務(wù)任務(wù)的任務(wù)對象模型。按邏輯關(guān)系，對象分為單對象和對象集，單對象耦合度低，單對象之間沒有邏輯關(guān)系，可以完成某一類任務(wù)，對象集耦合度高，對象集中的對象之間存在邏輯關(guān)系，多個對象一起才能完成某一類任務(wù)。
[0016]步驟二，分布式對象緩存。
[0017]報表引擎服務(wù)啟動初始化，加載對象模型、路由及公共維度數(shù)據(jù)。
[0018]步驟三，啟動分布式數(shù)據(jù)請求。
[0019]當(dāng)客戶端發(fā)起請求報表展現(xiàn)時，從歷史快照中根據(jù)請求過期時間范圍查找，如果存在就直接返回，否則繼續(xù)向報表引擎請求，報表引擎根據(jù)請求對象的指標(biāo)、維度和條件構(gòu)造生成計算請求對象。
[0020]步驟四，動態(tài)路由。
[0021]報表引擎從路由表中查找各個地區(qū)的請求地址，通過Hessain異步發(fā)送計算請求對象。
[0022]步驟五，代理計算。
[0023]每個計算代理節(jié)點在初始化時，將業(yè)務(wù)數(shù)據(jù)預(yù)加載，當(dāng)收到報表引擎的計算請求時，先判斷所請求資源是否已被緩存，如果被緩存，計算代理從緩存中取資源數(shù)據(jù)，通過聚合計算、編碼轉(zhuǎn)換、日期聚合轉(zhuǎn)換，將計算得出中間結(jié)果集發(fā)送給主站消息隊列。
[0024]計算代理采用內(nèi)存計算數(shù)據(jù)庫進(jìn)行計算，它把數(shù)據(jù)存放在服務(wù)器的內(nèi)存中，可以直接在代理節(jié)點對數(shù)據(jù)進(jìn)行分析查詢操作，不需要把代理節(jié)點的數(shù)據(jù)下載下來，減少了數(shù)據(jù)傳輸?shù)臅r間。
[0025]步驟六，匯總和聚合計算；
報表引擎將消息隊列中的中間結(jié)果集匯總，插入到一張臨時表的內(nèi)存數(shù)據(jù)庫來計算，報表引擎為每個生成的計算單元格執(zhí)行內(nèi)存表達(dá)式計算，每個單元格由其約束條件生成一條SQL語句，將內(nèi)存數(shù)據(jù)庫的臨時表匯總查詢值填充到每個計算單元格，最終將報表單元格集合返回給請求的客戶端。
[0026]上述方法主要由客戶端瀏覽器、報表引擎、和分布式計算代理三部分相互協(xié)作完成。
[0027]客戶端瀏覽器:
瀏覽器主要功能有報表發(fā)布、應(yīng)用管理、統(tǒng)一存儲及分析模型配置和報表展現(xiàn)。其中包括報表模型建模，創(chuàng)建業(yè)務(wù)對象模型，數(shù)據(jù)源、維度和指標(biāo)集；基于業(yè)務(wù)對象生成維度、指標(biāo)和報表；屏蔽底層不同數(shù)據(jù)源存儲方式的差異，完成內(nèi)存對象數(shù)據(jù)的持久化，通過一套模型獲取不同地區(qū)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。
[0028]報表引擎:
報表引擎由數(shù)據(jù)服務(wù)、模型解析、模型緩存、任務(wù)調(diào)度、智能路由、維度管理和聚合計算組成。其中模型解析基于模型描述規(guī)范構(gòu)建與解析，并緩存于H2內(nèi)存管理組件，維度管理主要分兩種私有維度和公共維度，維度值數(shù)據(jù)由分布式方式匯總得到的。聚合計算實現(xiàn)了對聚集表的管理，主要針對OLAP緩存的管理，其緩存了各個計算代理的查詢結(jié)果，即單元格數(shù)據(jù)集合，如果計算模塊所需的數(shù)據(jù)不在緩存中，從相應(yīng)的代理節(jié)點進(jìn)行查詢獲取數(shù)據(jù)并緩存。
[0029]分布式計算代理:
分布式計算代理組件由路由監(jiān)聽、請求解析、數(shù)據(jù)獲取、聚合計算組件和計算單元格對象組成，負(fù)責(zé)接收主站發(fā)送的計算請求，將系統(tǒng)業(yè)務(wù)數(shù)據(jù)加載到內(nèi)存中進(jìn)行預(yù)計算，包括聚合計算、編碼轉(zhuǎn)換、日期聚合轉(zhuǎn)換，得出中間結(jié)果集，異步發(fā)送給主站系統(tǒng)的消息隊列。
[0030]在計算代理中采用數(shù)據(jù)同步與緩存機(jī)制，緩存存放的數(shù)據(jù)一般是對存儲在數(shù)據(jù)庫的數(shù)據(jù)對其處理數(shù)據(jù)的拷貝，就可以讀寫緩存中的數(shù)據(jù)，提升讀取性能。計算代理每次回答主站的計算請求時，要在底層關(guān)系數(shù)據(jù)庫中執(zhí)行很多SQL語句來構(gòu)建多維查詢結(jié)果，因此應(yīng)該盡可能利用已查詢到的結(jié)果集，已節(jié)省物理數(shù)據(jù)庫的訪問時間。由于用戶查詢遵循一定規(guī)則，下一次查詢經(jīng)常會用到最近的查詢結(jié)果，因此將緩存機(jī)制引入的計算代理中是提尚性能的有效方法。
[0031]上述方法相比于現(xiàn)有技術(shù)，具有擴(kuò)展性能好，任務(wù)實時性能高，多維度多角度數(shù)據(jù)分析查詢靈活。
[0032]以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項】
1.一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法，其特征在于:包括以下步驟， 步驟一，業(yè)務(wù)對象建模； 按照業(yè)務(wù)邏輯關(guān)系創(chuàng)建兩種對象模型，一種是針對業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)對象模型，一種是針對業(yè)務(wù)任務(wù)的任務(wù)對象模型； 步驟二，分布式對象緩存； 報表引擎服務(wù)啟動初始化，加載對象模型、路由及公共維度數(shù)據(jù)； 步驟三，啟動分布式數(shù)據(jù)請求； 當(dāng)客戶端發(fā)起請求報表展現(xiàn)時，從歷史快照中根據(jù)請求過期時間范圍查找，如果存在就直接返回，否則繼續(xù)向報表引擎請求，報表引擎根據(jù)請求對象的指標(biāo)、維度和條件構(gòu)造生成計算請求對象； 步驟四，動態(tài)路由； 報表引擎從路由表中查找各個地區(qū)的請求地址，通過Hessain異步發(fā)送計算請求對象； 步驟五，代理計算； 每個計算代理節(jié)點在初始化時，將業(yè)務(wù)數(shù)據(jù)預(yù)加載，當(dāng)收到報表引擎的計算請求時，先判斷所請求資源是否已被緩存，如果被緩存，計算代理從緩存中取資源數(shù)據(jù)，通過聚合計算、編碼轉(zhuǎn)換、日期聚合轉(zhuǎn)換，將計算得出中間結(jié)果集發(fā)送給主站消息隊列； 步驟六，匯總和聚合計算； 報表引擎將消息隊列中的中間結(jié)果集匯總，插入到一張臨時表的內(nèi)存數(shù)據(jù)庫來計算，報表引擎為每個生成的計算單元格執(zhí)行內(nèi)存表達(dá)式計算，每個單元格由其約束條件生成一條SQL語句，將內(nèi)存數(shù)據(jù)庫的臨時表匯總查詢值填充到每個計算單元格，最終將報表單元格集合返回給請求的客戶端。2.根據(jù)權(quán)利要求1所述的一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法，其特征在于:按邏輯關(guān)系，對象分為單對象和對象集，單對象之間沒有邏輯關(guān)系，對象集中的對象之間存在邏輯關(guān)系。3.根據(jù)權(quán)利要求1所述的一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法，其特征在于:計算代理采用內(nèi)存計算數(shù)據(jù)庫進(jìn)行計算。
【專利摘要】本發(fā)明公開了一種用于多級存儲數(shù)據(jù)的即時應(yīng)用方法，包括以下步驟，步驟一，業(yè)務(wù)對象建模；步驟二，分布式對象緩存；步驟三，啟動分布式數(shù)據(jù)請求；步驟四，動態(tài)路由；步驟五，代理計算；步驟六，匯總和聚合計算。本發(fā)明相比于現(xiàn)有技術(shù)，具有擴(kuò)展性能好，任務(wù)實時性能高，多維度多角度數(shù)據(jù)分析查詢靈活，為OMS系統(tǒng)報表展現(xiàn)提供實時數(shù)據(jù)抽取，避免了分散數(shù)據(jù)人工填報工作量，能快速變更報表維度及查詢條件，比較友好地拖拽式構(gòu)建查詢報表。
【IPC分類】G06F17/30
【公開號】CN105138686
【申請?zhí)枴緾N201510592013
【發(fā)明人】項玉良, 任開銀, 劉士進(jìn), 何翔, 張明明, 黃高攀
【申請人】國家電網(wǎng)公司, 南京南瑞集團(tuán)公司, 南京南瑞信息通信科技有限公司, 江蘇省電力公司信息通信分公司
【公開日】2015年12月9日
【申請日】2015年9月17日