= '2015-06-10'的數(shù)據(jù)，且dt = '2015-09-20'數(shù)據(jù)分區(qū)之前的數(shù)據(jù)不會(huì)發(fā)生變化；同時(shí)，還變更了dt='4712-12-31'數(shù) 據(jù)分區(qū)的相關(guān)數(shù)據(jù)，即該數(shù)據(jù)分區(qū)存儲(chǔ)了creat edate>='2015-06-11'的所有數(shù)據(jù)。同理， 到2015-09-22時(shí)，事實(shí)表T-Tab會(huì)新增dt= ' 2015-09-21'的數(shù)據(jù)分區(qū)，且該數(shù)據(jù)分區(qū)存儲(chǔ)的 是createdate =' 2015-06-11 '的數(shù)據(jù)，同時(shí)變更dt= '4712-12-31 '數(shù)據(jù)分區(qū)下的數(shù)據(jù)，且 該數(shù)據(jù)分區(qū)存儲(chǔ)的是createdate〉='2015-06-12 '的數(shù)據(jù)。如此循環(huán)，即可實(shí)現(xiàn)數(shù)據(jù)的增量 加工及存儲(chǔ)。
[0050] 根據(jù)上述的方法進(jìn)行數(shù)據(jù)的增量加工及存儲(chǔ)，相應(yīng)的事實(shí)表T-Tab的存儲(chǔ)方式如 下表2所示。
[00511表2數(shù)據(jù)增量加工的存儲(chǔ)方式 [0052]
[0053]按照如表2所示的存儲(chǔ)方式進(jìn)行數(shù)據(jù)存儲(chǔ)，后續(xù)當(dāng)需要使用該事實(shí)表的時(shí)候，可根 據(jù)需求確定自己要讀取的數(shù)據(jù)的業(yè)務(wù)時(shí)間（即：創(chuàng)建時(shí)間）范圍，從而對(duì)該事實(shí)表進(jìn)行合理 的分區(qū)限定，以提高搜索效率，節(jié)省集群資源。
[0054]圖4根據(jù)本發(fā)明實(shí)施例的一種增量式數(shù)據(jù)處理的裝置的主要模塊示意圖。如圖4所 示，本發(fā)明的增量式數(shù)據(jù)處理的裝置40主要包括業(yè)務(wù)期限獲取模塊41、數(shù)據(jù)加工模塊42、數(shù) 據(jù)存儲(chǔ)模塊43。
[0055]業(yè)務(wù)期限獲取模塊41用于獲得該業(yè)務(wù)的完成期限M，M是正整數(shù)，表示完成該業(yè)務(wù) 的單位時(shí)間數(shù)目；數(shù)據(jù)加工模塊42用于讀取該業(yè)務(wù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)集中創(chuàng)建日期為最近前 M+N個(gè)單位時(shí)間的所有數(shù)據(jù)元素，并按照預(yù)定的業(yè)務(wù)邏輯加工所述數(shù)據(jù)元素，其中，N為正 數(shù);數(shù)據(jù)存儲(chǔ)模塊43用于當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間是第前M+N個(gè) 單位時(shí)間時(shí)，則建立當(dāng)前時(shí)間單位的增量數(shù)據(jù)分區(qū)并且把加工后的數(shù)據(jù)元素插入到該增量 數(shù)據(jù)分區(qū)。
[0056]所述數(shù)據(jù)存儲(chǔ)模塊43還可以用于當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建 時(shí)間不是第前M+N個(gè)單位時(shí)間時(shí)，把加工后的數(shù)據(jù)元素插入到預(yù)設(shè)的暫存數(shù)據(jù)分區(qū)。
[0057]根據(jù)本發(fā)明實(shí)施例的技術(shù)方案，所述單位時(shí)間是日，且N=l?？梢岳卯?dāng)前日期前 一日的日期表示來作為所述增量數(shù)據(jù)分區(qū)的標(biāo)識(shí)。并且，所述日期表示的形式為yyyy-mm-dd〇
[0058] 其中，所述數(shù)據(jù)元素是關(guān)系數(shù)據(jù)庫的表，所述業(yè)務(wù)數(shù)據(jù)集是表的集合。
[0059] 根據(jù)本發(fā)明實(shí)施例的技術(shù)方案，通過確定業(yè)務(wù)數(shù)據(jù)集涉及的數(shù)據(jù)元素處理完成所 需要的最長(zhǎng)時(shí)間，可以確定數(shù)據(jù)分區(qū)存儲(chǔ)的數(shù)據(jù)范圍；并根據(jù)各個(gè)數(shù)據(jù)元素的創(chuàng)建時(shí)間 (即：業(yè)務(wù)時(shí)間）獲取固定時(shí)間區(qū)間的數(shù)據(jù)進(jìn)行處理及歸檔，從而實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)增量加工 和存儲(chǔ)。采用本發(fā)明的技術(shù)方案，無需每天全量加工所有歷史數(shù)據(jù)，僅進(jìn)行合理的增量加 工，每天歸檔不再變化的數(shù)據(jù)，提高了加工效率;暫存數(shù)據(jù)分區(qū)dt='4712-12-31'存儲(chǔ)了可 能會(huì)發(fā)生變化的數(shù)據(jù)，其他數(shù)據(jù)分區(qū)分別存儲(chǔ)部分不再變化數(shù)據(jù)，且相互之間不重不漏，節(jié) 省了存儲(chǔ)空間；使用該業(yè)務(wù)的數(shù)據(jù)表時(shí)，只需要了解該表的存儲(chǔ)結(jié)構(gòu)，就能夠根據(jù)具體需 求，快速找到想要的數(shù)據(jù)所在分區(qū)，提高了使用效率。
[0060] 上述【具體實(shí)施方式】，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明 白的是，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何 在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍 之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種增量式數(shù)據(jù)處理的方法，用于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行處理，每個(gè)業(yè)務(wù)具有預(yù)定的完成 期限且每個(gè)業(yè)務(wù)的數(shù)據(jù)集包括一個(gè)或多個(gè)數(shù)據(jù)元素，每個(gè)數(shù)據(jù)元素設(shè)有創(chuàng)建日期，所述方 法的特征在于，包括： 獲得該業(yè)務(wù)的完成期限M，M是正整數(shù)，表示完成該業(yè)務(wù)的單位時(shí)間數(shù)目； 讀取該業(yè)務(wù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)集中創(chuàng)建日期為最近前M+N個(gè)單位時(shí)間的所有數(shù)據(jù)元素， 并按照預(yù)定的業(yè)務(wù)邏輯加工所述數(shù)據(jù)元素，其中，N為正數(shù)； 當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間是第前M+N個(gè)單位時(shí)間時(shí)，則建立 當(dāng)前時(shí)間單位的增量數(shù)據(jù)分區(qū)并且把加工后的數(shù)據(jù)元素插入到該增量數(shù)據(jù)分區(qū)。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括： 當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間不是第前M+N個(gè)單位時(shí)間時(shí)，把加 工后的數(shù)據(jù)元素插入到預(yù)設(shè)的暫存數(shù)據(jù)分區(qū)。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述單位時(shí)間是日，且N= 1。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，利用當(dāng)前日期前一日的日期表示來作為所 述增量數(shù)據(jù)分區(qū)的標(biāo)識(shí)。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述日期表示的形式為yyyy-mm-dd。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)元素是關(guān)系數(shù)據(jù)庫的表，所述業(yè) 務(wù)數(shù)據(jù)集是表的集合。7. -種增量式數(shù)據(jù)處理的裝置，用于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行處理，每個(gè)業(yè)務(wù)具有預(yù)定的完成 期限且每個(gè)業(yè)務(wù)的數(shù)據(jù)集包括一個(gè)或多個(gè)數(shù)據(jù)元素，每個(gè)數(shù)據(jù)元素設(shè)有創(chuàng)建日期，所述裝 置的特征在于，包括： 業(yè)務(wù)期限獲取模塊，用于獲得該業(yè)務(wù)的完成期限M，M是正整數(shù)，表示完成該業(yè)務(wù)的單位 時(shí)間數(shù)目； 數(shù)據(jù)加工模塊，用于讀取該業(yè)務(wù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)集中創(chuàng)建日期為最近前M+N個(gè)單位時(shí) 間的所有數(shù)據(jù)元素，并按照預(yù)定的業(yè)務(wù)邏輯加工所述數(shù)據(jù)元素，其中，N為正數(shù)； 數(shù)據(jù)存儲(chǔ)模塊，用于當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間是第前M+N個(gè) 單位時(shí)間時(shí)，則建立當(dāng)前時(shí)間單位的增量數(shù)據(jù)分區(qū)并且把加工后的數(shù)據(jù)元素插入到該增量 數(shù)據(jù)分區(qū)。8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述數(shù)據(jù)存儲(chǔ)模塊還用于： 當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間不是第前M+N個(gè)單位時(shí)間時(shí)，把加 工后的數(shù)據(jù)元素插入到預(yù)設(shè)的暫存數(shù)據(jù)分區(qū)。9. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述單位時(shí)間是日，且N= 1。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，利用當(dāng)前日期前一日的日期表示來作為 所述增量數(shù)據(jù)分區(qū)的標(biāo)識(shí)。11. 根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述日期表示的形式為yyyy-mm-dd。12. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述數(shù)據(jù)元素是關(guān)系數(shù)據(jù)庫的表，所述業(yè) 務(wù)數(shù)據(jù)集是表的集合。
【專利摘要】本發(fā)明提供一種增量式數(shù)據(jù)處理的方法和裝置，能夠在保證數(shù)據(jù)完整及準(zhǔn)確的前提下，提高業(yè)務(wù)數(shù)據(jù)的加工效率，降低存儲(chǔ)空間，提高使用效率，進(jìn)而極大地節(jié)省了集群資源。該方法用于對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行處理，每個(gè)業(yè)務(wù)具有預(yù)定的完成期限且每個(gè)業(yè)務(wù)的數(shù)據(jù)集包括一個(gè)或多個(gè)數(shù)據(jù)元素，每個(gè)數(shù)據(jù)元素設(shè)有創(chuàng)建日期，該方法包括：獲得該業(yè)務(wù)的完成期限M；讀取該業(yè)務(wù)對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)集中創(chuàng)建日期為最近前M+N個(gè)單位時(shí)間的所有數(shù)據(jù)元素，并按照預(yù)定的業(yè)務(wù)邏輯加工所述數(shù)據(jù)元素；當(dāng)所讀取的數(shù)據(jù)元素的創(chuàng)建時(shí)間中最早的創(chuàng)建時(shí)間是第前M+N個(gè)單位時(shí)間時(shí)，則建立當(dāng)前時(shí)間單位的增量數(shù)據(jù)分區(qū)并且把加工后的數(shù)據(jù)元素插入到該增量數(shù)據(jù)分區(qū)。
【IPC分類】G06F17/30
【公開號(hào)】CN105512313
【申請(qǐng)?zhí)枴緾N201510931383
【發(fā)明人】侍建超
【申請(qǐng)人】北京京東尚科信息技術(shù)有限公司, 北京京東世紀(jì)貿(mào)易有限公司
【公開日】2016年4月20日
【申請(qǐng)日】2015年12月15日