欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種增量式數(shù)據(jù)處理的方法和裝置的制造方法

文檔序號(hào):9750988閱讀:597來源:國知局
一種增量式數(shù)據(jù)處理的方法和裝置的制造方法【
技術(shù)領(lǐng)域
】[0001]本發(fā)明涉及計(jì)算機(jī)
技術(shù)領(lǐng)域
,特別地涉及一種增量式數(shù)據(jù)處理的方法和裝置。【
背景技術(shù)
】[0002]隨著互聯(lián)網(wǎng)及電商的快速發(fā)展、業(yè)務(wù)形式的多樣化以及人們對(duì)互聯(lián)網(wǎng)依賴程度的增加,企業(yè)數(shù)據(jù)倉庫所承載的數(shù)據(jù)量呈現(xiàn)爆發(fā)式的增長,海量數(shù)據(jù)的存儲(chǔ)與加工也對(duì)集群資源帶來了非常大的挑戰(zhàn)。另外,某個(gè)業(yè)務(wù)流程,可能經(jīng)查出現(xiàn)各種"意外",導(dǎo)致某個(gè)環(huán)節(jié)重新進(jìn)行或者長時(shí)間鎖定,需要跨天甚至跨多天才能完成。但是有些事實(shí)表往往不需要保留流程細(xì)節(jié),尤其不需要保留錯(cuò)誤的細(xì)節(jié),只需要保留某個(gè)業(yè)務(wù)單號(hào)最終的現(xiàn)象。因此,高效地針對(duì)跨業(yè)務(wù)線、跨多天、常反復(fù)進(jìn)行的業(yè)務(wù)進(jìn)行加工和存儲(chǔ),不僅能夠極大地節(jié)省集群資源,也能使后續(xù)業(yè)務(wù)系統(tǒng)更清晰地了解數(shù)據(jù)的組織結(jié)構(gòu)以及使用方法。[0003]以倉儲(chǔ)系統(tǒng)中訂單在庫房的生產(chǎn)過程為例,用戶下單,訂單下傳到庫房,會(huì)經(jīng)歷倉庫管理系統(tǒng)WMS(WarehouseManagementSystem的縮寫)接收一定位一分配一打印一揀貨一復(fù)核一打包一派工等一系列流程,每一個(gè)流程都有可能而且很容易出現(xiàn)問題,導(dǎo)致整個(gè)流程或個(gè)別流程需要重新進(jìn)行。甚至由于斷電、機(jī)器故障、網(wǎng)絡(luò)、以及訂單取消、鎖定等原因,某些訂單甚至需要幾個(gè)月的時(shí)間才能生產(chǎn)完畢,為了保證事實(shí)表中數(shù)據(jù)的正確性與完整性,現(xiàn)在的方法為每天全量加工所有訂單在庫房的生產(chǎn)過程。所謂全量加工,指的是對(duì)所有的歷史數(shù)據(jù)進(jìn)行加工。[0004]以倉儲(chǔ)系統(tǒng)的訂單生產(chǎn)事實(shí)表T-Tab(Target_table的簡(jiǎn)稱)為例進(jìn)行說明。T-Tab以時(shí)間日期dt為分區(qū),訂單生產(chǎn)表涉及的底層拉鏈表(用于記錄一個(gè)事物從開始一直到當(dāng)前狀態(tài)的所有變化信息的表)有出貨單表(Tab1),訂單預(yù)分揀表(Tab2),訂單取消表(TabN)等N個(gè)表。Tab1、Tab2、…、TabN等N個(gè)表均為拉鏈表,創(chuàng)建時(shí)間(createdate)即是業(yè)務(wù)時(shí)間。同一訂單,從下傳到WMS,到派工,可能跨越不同的日期,即跨天,甚至由于訂單鎖定、取消等原因,會(huì)跨越多天,因此,無法進(jìn)行準(zhǔn)確的增量加工,即:按照一定的條件為標(biāo)準(zhǔn),只加工符合該條件的數(shù)據(jù),不符合該條件的數(shù)據(jù)不進(jìn)行加工。目前的方案就是每天全量加工N個(gè)表中的所有數(shù)據(jù),放入目標(biāo)表的dt分區(qū)。[0005]即:該事實(shí)表每天的加工過程如下,假設(shè)數(shù)據(jù)是在2015-09-21號(hào)進(jìn)行加工,數(shù)據(jù)的加工過程如圖1所示。T-Tab以dt為數(shù)據(jù)分區(qū),其存儲(chǔ)方式如下面的表1所示。[0006]表1現(xiàn)有技術(shù)中數(shù)據(jù)的存儲(chǔ)方式[0007]~按照如表1所示的存儲(chǔ)方式進(jìn)行全量加工后數(shù)據(jù)的存儲(chǔ),在后續(xù)使用這些數(shù)據(jù)時(shí)/只需要取最新的分區(qū),再找到所需要的業(yè)務(wù)時(shí)間(即:創(chuàng)建時(shí)間),就可得到想要的結(jié)果。[0009]然而,在使用過程中發(fā)現(xiàn),現(xiàn)有的數(shù)據(jù)全量加工的處理方式存在很多缺陷,主要如下:[0010]1、加工效率低:因無法控制訂單生產(chǎn)過程中可能經(jīng)歷的各種"意外"以及無法把控流程完成所需時(shí)間,無法進(jìn)行每天增量加工。只能進(jìn)行每天全量加工,雖然能夠保證數(shù)據(jù)的準(zhǔn)確性,但是對(duì)于已經(jīng)完成生產(chǎn)的訂單來說,屬于重復(fù)加工,極大地降低了數(shù)據(jù)加工的效率;[0011]2、存儲(chǔ)資源浪費(fèi):每天全量加工,伴隨著的就是每天全量存儲(chǔ),即任何一天的分區(qū)中,都保存該日期之前的所有當(dāng)前數(shù)據(jù),對(duì)于一些已經(jīng)完成庫房生產(chǎn)的訂單,造成了重復(fù)存儲(chǔ)情況,浪費(fèi)了集群資源;[0012]3、使用效率低下:對(duì)于事實(shí)表的使用,由于數(shù)據(jù)是全量存儲(chǔ),即使只取一天的數(shù)據(jù)也需要在全部庫房訂單中掃描,大大降低了使用效率?!?br/>發(fā)明內(nèi)容】[0013]有鑒于此,本發(fā)明提供一種增量式數(shù)據(jù)處理的方法和裝置,能夠在保證數(shù)據(jù)完整及準(zhǔn)確的前提下,提高業(yè)務(wù)數(shù)據(jù)的加工效率,降低存儲(chǔ)空間,提高使用效率,進(jìn)而極大地節(jié)省了集群資源。[0014]為實(shí)現(xiàn)上述目的,根據(jù)本發(fā)明的一個(gè)方面,提供了一種增量式數(shù)據(jù)處理的方法。[0015]一種增量式數(shù)據(jù)處理的方法,用于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行處理,每個(gè)業(yè)務(wù)具有預(yù)定的完成期限且每個(gè)業(yè)務(wù)的數(shù)據(jù)集包括一個(gè)或多個(gè)數(shù)據(jù)元素,每個(gè)數(shù)據(jù)元素設(shè)有創(chuàng)建日期,所述方法包括:獲得該業(yè)務(wù)的完成期限M,M是正整數(shù),表示完成該業(yè)務(wù)的單位時(shí)間數(shù)目;讀取該業(yè)務(wù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)集中創(chuàng)建日期為最近前M+N個(gè)單位時(shí)間的所有數(shù)據(jù)元素,并按照預(yù)定的業(yè)務(wù)邏輯加工所述數(shù)據(jù)元素,其中,N為正數(shù);當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間是第前M+N個(gè)單位時(shí)間時(shí),則建立當(dāng)前時(shí)間單位的增量數(shù)據(jù)分區(qū)并且把加工后的數(shù)據(jù)元素插入到該增量數(shù)據(jù)分區(qū)。[0016]可選地,還包括:當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間不是第前M+N個(gè)單位時(shí)間時(shí),把加工后的數(shù)據(jù)元素插入到預(yù)設(shè)的暫存數(shù)據(jù)分區(qū)。[0017]可選地,所述單位時(shí)間是日,且N=l。[0018]可選地,利用當(dāng)前日期前一日的日期表示來作為所述增量數(shù)據(jù)分區(qū)的標(biāo)識(shí)。[0019]可選地,所述日期表示的形式為yyyy-mm-dd。[0020]可選地,所述數(shù)據(jù)元素是關(guān)系數(shù)據(jù)庫的表,所述業(yè)務(wù)數(shù)據(jù)集是表的集合。[0021]根據(jù)本發(fā)明的另一方面,提供了一種增量式數(shù)據(jù)處理的裝置。[0022]一種增量式數(shù)據(jù)處理的裝置,用于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行處理,每個(gè)業(yè)務(wù)具有預(yù)定的完成期限且每個(gè)業(yè)務(wù)的數(shù)據(jù)集包括一個(gè)或多個(gè)數(shù)據(jù)元素,每個(gè)數(shù)據(jù)元素設(shè)有創(chuàng)建日期,所述裝置包括:業(yè)務(wù)期限獲取模塊,用于獲得該業(yè)務(wù)的完成期限M,M是正整數(shù),表示完成該業(yè)務(wù)的單位時(shí)間數(shù)目;數(shù)據(jù)加工模塊,用于讀取該業(yè)務(wù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)集中創(chuàng)建日期為最近前Μ+Ν個(gè)單位時(shí)間的所有數(shù)據(jù)元素,并按照預(yù)定的業(yè)務(wù)邏輯加工所述數(shù)據(jù)元素,其中,Ν為正數(shù);數(shù)據(jù)存儲(chǔ)模塊,用于當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間是第前Μ+Ν個(gè)單位時(shí)間時(shí),則建立當(dāng)前時(shí)間單位的增量數(shù)據(jù)分區(qū)并且把加工后的數(shù)據(jù)元素插入到該增量數(shù)據(jù)分區(qū)。[0023]可選地,所述數(shù)據(jù)存儲(chǔ)模塊還用于:當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間不是第前M+N個(gè)單位時(shí)間時(shí),把加工后的數(shù)據(jù)元素插入到預(yù)設(shè)的暫存數(shù)據(jù)分區(qū)。[0024]可選地,所述單位時(shí)間是日,且N=l。[0025]可選地,利用當(dāng)前日期前一日的日期表示來作為所述增量數(shù)據(jù)分區(qū)的標(biāo)識(shí)。[0026]可選地,所述日期表示的形式為yyyy-mm-dd。[0027]可選地,所述數(shù)據(jù)元素是關(guān)系數(shù)據(jù)庫的表,所述業(yè)務(wù)數(shù)據(jù)集是表的集合。[0028]根據(jù)本發(fā)明的技術(shù)方案,通過確定業(yè)務(wù)數(shù)據(jù)集涉及的數(shù)據(jù)元素處理完成所需要的最長時(shí)間,可以確定數(shù)據(jù)分區(qū)存儲(chǔ)的數(shù)據(jù)范圍;并根據(jù)各個(gè)數(shù)據(jù)元素的創(chuàng)建時(shí)間(即:業(yè)務(wù)時(shí)間)獲取固定時(shí)間區(qū)間的數(shù)據(jù)進(jìn)行處理及歸檔,從而實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)增量加工和存儲(chǔ)。采用本發(fā)明的技術(shù)方案,無需每天全量加工所有歷史數(shù)據(jù),僅進(jìn)行合理的增量加工,每天歸檔不再變化的數(shù)據(jù),提高了加工效率;暫存數(shù)據(jù)分區(qū)dt='4712-12-31'存儲(chǔ)了可能會(huì)發(fā)生變化的數(shù)據(jù),其他數(shù)據(jù)分區(qū)分別存儲(chǔ)部分不再變化數(shù)據(jù),且相互之間不重不漏,節(jié)省了存儲(chǔ)空間;使用該業(yè)務(wù)的數(shù)據(jù)表時(shí),只需要了解該表的存儲(chǔ)結(jié)構(gòu),就能夠根當(dāng)前第1頁1 2 3 
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
陆川县| 怀安县| 朔州市| 郴州市| 昌图县| 安图县| 平潭县| 西充县| 彭泽县| 平阴县| 芦溪县| 长治市| 巴楚县| 新和县| 宾阳县| 涟源市| 吉林市| 大英县| 长治市| 河间市| 阿巴嘎旗| 深圳市| 沅江市| 疏勒县| 夹江县| 昔阳县| 安溪县| 且末县| 芜湖市| 旌德县| 曲阜市| 鄯善县| 渑池县| 赞皇县| 胶州市| 上栗县| 丽江市| 廉江市| 平定县| 大余县| 三都|