專利名稱：數(shù)據(jù)采集系統(tǒng)的存儲管理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電信領(lǐng)域的數(shù)據(jù)采集系統(tǒng)，尤其涉及一種數(shù)據(jù)采集 系統(tǒng)的存儲管理方法。
背景技術(shù)：
在電信領(lǐng)域很多的原始數(shù)據(jù)都是通過運(yùn)行設(shè)備的原始話單提供的，這樣的數(shù)據(jù)的處理有幾個特點(diǎn)數(shù)據(jù)量大，幾個月的數(shù)據(jù)就 可達(dá)T級；處理性能要求高，處理速度要求幾千條記錄/秒。這些數(shù)據(jù)需要進(jìn)行實(shí)時查詢、匯總計算和建立lt據(jù)倉庫，需要 滿足數(shù)據(jù)實(shí)時入庫的同時，還要支持對入庫數(shù)據(jù)的即時查詢。為了 滿足較快的查詢速度，就需要對查詢的關(guān)4建字上建立索引；但當(dāng)數(shù) 據(jù)表建立索引后，數(shù)據(jù)加載的速度將受影響，影響程度和索引的數(shù) 據(jù)相關(guān)。測試數(shù)據(jù)顯示，增加數(shù)個索引，入庫速度將降低到幾分之 一，就可能導(dǎo)致處理速度跟不上數(shù)據(jù)的產(chǎn)生速度。所以存在一個入 庫速度和提高查詢速度的矛盾。因此，需要一種海量數(shù)據(jù)采集系統(tǒng)的存儲管理方案，用于解決 話單數(shù)據(jù)采集系統(tǒng)的入庫速度和實(shí)時查詢需求的矛盾問題，同時增 加存儲數(shù)據(jù)的可維護(hù)性。發(fā)明內(nèi)容本發(fā)明的主要目的在于提供一種數(shù)據(jù)采集系統(tǒng)的存儲管理方 法，用于解決海量數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)存儲、維護(hù)存在的問題，以 及數(shù)據(jù)入庫速度和查詢速度之間的矛盾問題。為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)采集系統(tǒng)的存儲管理方法。該存^f諸管理方法包4舌以下步驟步驟S102，設(shè)置一個或多個數(shù)據(jù)庫表，將數(shù)據(jù)庫表按時間范圍 進(jìn)行分區(qū)；步驟S104,設(shè)置數(shù)據(jù)庫表的索引，索引按照與數(shù)據(jù)庫表進(jìn)行分 區(qū)的^L則 一致的MJ'J進(jìn)4亍分區(qū)；步驟S106,在需要增加不包括在已有時間范圍內(nèi)的數(shù)據(jù)時，創(chuàng) 建新的數(shù)據(jù)庫表分區(qū)，加入數(shù)據(jù)庫表，在需要增加包括在已有時間 范圍內(nèi)的數(shù)據(jù)時，將新數(shù)據(jù)加入時間上對應(yīng)的數(shù)據(jù)庫表分區(qū)；步驟S108，當(dāng)數(shù)據(jù)庫表分區(qū)對應(yīng)的數(shù)據(jù)采集完成之后，對數(shù)據(jù) 庫表分區(qū)建立索引。優(yōu)選地，在步驟S102中，將不同的數(shù)據(jù)庫表設(shè)置為存儲不同 類型的數(shù)據(jù)。優(yōu)選地，在步驟S102中，同一數(shù)據(jù)庫表的分區(qū)都存放在同一 表空間上，不同數(shù)據(jù)庫表使用不同表空間。步驟S106還可以包括如果存在數(shù)據(jù)庫表分區(qū)的時間超過在 線保留時間，則刪除數(shù)據(jù)庫表分區(qū)，如果存儲數(shù)據(jù)庫表的存儲空間的使用率超過使用率閾值，則刪除最早時間的數(shù)據(jù)庫表分區(qū)，直到 使用率低于使用率閾值。優(yōu)選地，在步驟S108中，當(dāng)數(shù)據(jù)庫表分區(qū)對應(yīng)的數(shù)據(jù)采集完 成之前，不對數(shù)據(jù)庫表分區(qū)建立索引。可選地，在步驟S108中，采用索引信息表記錄各個數(shù)據(jù)庫表 分區(qū)對應(yīng)的索引，以進(jìn)行索引的維護(hù)?？蛇x地，在步驟S108中， 通過索引空間維護(hù)定時任務(wù)來定時維護(hù)索引。索引信息表可以包 括數(shù)據(jù)庫表標(biāo)識、數(shù)據(jù)庫表分區(qū)的時間標(biāo)識、以及數(shù)據(jù)庫表分區(qū) 對應(yīng)的索引一犬態(tài)。索引狀態(tài)可以包^舌初始狀態(tài)，表示尚未建立索 引；未完成狀態(tài)，表示執(zhí)行過索引建立任務(wù)但未完成；完成狀態(tài)， 表示索引已成功建立?？蛇x地，定時將當(dāng)前時間的數(shù)據(jù)庫表分區(qū)的索引加入索引信息 表，查詢索引信息表中時間小于當(dāng)前時間并且索引狀態(tài)為初始狀態(tài) 或未完成狀態(tài)的數(shù)據(jù)庫表分區(qū)，并在數(shù)據(jù)庫表分區(qū)的數(shù)據(jù)采集完成 的情況下為其建立對應(yīng)的索引，并將其索引狀態(tài)改為完成狀態(tài)。通過上述技術(shù)方案，本發(fā)明有效的提高了話單大數(shù)據(jù)存儲的可 行性、可維護(hù)性，最重要的是解決了數(shù)據(jù)入庫和數(shù)據(jù)查詢性能的矛 盾問題，整個處理方法清晰，易于實(shí)現(xiàn)。


此處所il明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申 請的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并 不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中圖1是根據(jù)本發(fā)明的數(shù)據(jù)采集系統(tǒng)的存儲管理方法的流程圖；圖2是根據(jù)本發(fā)明實(shí)施例的話單數(shù)據(jù)的存儲示意圖； 圖3是根據(jù)本發(fā)明實(shí)施例的索引信息表；以及 圖4是根據(jù)本發(fā)明實(shí)施例的話單數(shù)據(jù)入庫和索引維護(hù)示意圖。
具體實(shí)施方式
下面將參考附圖詳細(xì)i兌明本發(fā)明。參照圖1，根據(jù)本發(fā)明的數(shù)據(jù)采集系統(tǒng)的存儲管理方法包括以 下步驟步驟S102， i殳置一個或多個數(shù)據(jù)庫表，將凄t據(jù)庫表按時間范圍 進(jìn)行分區(qū)。優(yōu)選地，將不同的數(shù)據(jù)庫表設(shè)置為存儲不同類型的數(shù)據(jù)?？蛇x地，時間上相鄰的兩個^:據(jù)庫表之間的時間間隔為一天。優(yōu)選地，同一數(shù)據(jù)庫表的分區(qū)都存放在同一表空間上，不同數(shù) 才居庫表4吏用不同表空間。步驟S104,設(shè)置數(shù)據(jù)庫表的索引，索引按照與數(shù)據(jù)庫表進(jìn)行分 區(qū)的^L則 一致的*見則進(jìn)4于分區(qū)。步驟S106，在需要增加不包括在已有時間范圍內(nèi)的數(shù)據(jù)時，創(chuàng) 建新的數(shù)據(jù)庫表分區(qū)，加入數(shù)據(jù)庫表，在需要增加包括在已有時間 范圍內(nèi)的數(shù)據(jù)時，將新數(shù)據(jù)加入時間上對應(yīng)的數(shù)據(jù)庫表分區(qū)?？蛇x地，如果存在數(shù)據(jù)庫表分區(qū)的時間超過在線保留時間，則 刪除數(shù)據(jù)庫表分區(qū)?？蛇x地，如果存儲數(shù)據(jù)庫表的存儲空間的使用率超過使用率閾 值，則刪除最早時間的數(shù)據(jù)庫表分區(qū)，直到使用率低于使用率閾值。步驟S108，當(dāng)數(shù)據(jù)庫表分區(qū)對應(yīng)的數(shù)據(jù)采集完成之后，對數(shù)據(jù) 庫表分區(qū)建立索引。優(yōu)選地，當(dāng)數(shù)據(jù)庫表分區(qū)對應(yīng)的數(shù)據(jù)采集完成之前，不對數(shù)據(jù) 庫表分區(qū)建立索引?？蛇x地，采用索引信息表記錄各個數(shù)據(jù)庫表分區(qū)對應(yīng)的索引， 以進(jìn)行索引的維護(hù)。可選地，通過索引空間維護(hù)定時任務(wù)來定時維 護(hù)索引。索引信息表可以包括數(shù)據(jù)庫表標(biāo)識、數(shù)據(jù)庫表分區(qū)的時間標(biāo) 識、以及數(shù)據(jù)庫表分區(qū)對應(yīng)的索引狀態(tài)。索引狀態(tài)可以包括初始 狀態(tài)，表示尚未建立索引；未完成狀態(tài)，表示執(zhí)行過索引建立任務(wù) ^f旦未完成；完成4犬態(tài)，表示索引已成功建立?？蛇x地，定時將當(dāng)前時間的數(shù)據(jù)庫表分區(qū)的索引加入索引信息 表，查詢索引信息表中時間小于當(dāng)前時間并且索引狀態(tài)為初始狀態(tài) 或未完成狀態(tài)的數(shù)據(jù)庫表分區(qū)，并在數(shù)據(jù)庫表分區(qū)的數(shù)據(jù)采集完成 的情況下為其建立對應(yīng)的索引，并將其索引狀態(tài)改為完成狀態(tài)。本發(fā)明涉及一種海量數(shù)據(jù)采集系統(tǒng)中的數(shù)據(jù)存儲管理方法，尤 其涉及電信領(lǐng)域的話單數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)的存儲管理。本發(fā)明的 基本i殳計思想是針對電信業(yè)務(wù)^:據(jù)的^:據(jù)量大、凄t據(jù)的時間關(guān)聯(lián)性 強(qiáng)等特點(diǎn)，存儲數(shù)據(jù)的數(shù)據(jù)庫表根據(jù)時間進(jìn)行分區(qū)劃分和管理，達(dá) 到平衡數(shù)據(jù)庫表索引對輸入入庫和數(shù)據(jù)查詢的速度的影響，提供了 一種數(shù)據(jù)的存儲管理和索引管理的方法，本方案分幾步進(jìn)行步驟一話單數(shù)據(jù)存儲的設(shè)計包括存書者空間管理和凄t據(jù)庫索引的管理，對安照以下原則進(jìn)行劃分不同類型的話單數(shù)據(jù)存方文到不同的數(shù)據(jù)庫表中，存儲話單數(shù)據(jù) 的數(shù)據(jù)庫表按時間范圍進(jìn)行分區(qū)，相鄰兩個分區(qū)間的時間間隔為一 個時間窗口 ，這個時間窗口需要才艮據(jù)話單^t據(jù)的時間特點(diǎn)和即時查 詢的要求來定，通常時間窗口的單位為天。采用按時間范圍進(jìn)行數(shù) 據(jù)的分區(qū)，既能減少了數(shù)據(jù)操縱時的影響范圍從而提高效率，也增 加了數(shù)據(jù)的可維護(hù)性；對這些話單數(shù)據(jù)的操作有個特點(diǎn)，對數(shù)據(jù)主要進(jìn)行插入(采集 數(shù)據(jù)時)和刪除(數(shù)據(jù)過期時)4乘作，很少進(jìn)行更新，對數(shù)據(jù)進(jìn)行 分區(qū)也便于進(jìn)行并發(fā)訪問。在需要刪除過期數(shù)據(jù)時，可以通過將過 期凄t據(jù)分區(qū)移除的方法，避免了從大數(shù)據(jù)表中刪除部分過期lt據(jù)的 巨大開銷。數(shù)據(jù)庫表建立的索引也按時間進(jìn)行分區(qū)，分區(qū)的規(guī)則與數(shù)據(jù)分 區(qū)一致。同 一個數(shù)據(jù)庫表的分區(qū)都存放在同 一個表空間上，不同的數(shù)據(jù) 庫表使用不同的表空間，這樣可以有效的利用存儲空間，又能方便的將不同凄t據(jù)庫表的在物理存書者上分開，達(dá)到均橫no的目的。數(shù)據(jù)存儲設(shè)計見圖2。 步驟二數(shù)據(jù)庫表分區(qū)的管理凄t據(jù)庫表分區(qū)的管理包括兩個方面新分區(qū)的增加和過期分區(qū) 的刪除。由于每個分區(qū)都占有比較大的存儲空間(通常為幾G字節(jié))， 這么大的數(shù)據(jù)庫存儲空間在分配時的初始化工作是比較費(fèi)時的，如 預(yù)先創(chuàng)建很多的分區(qū)也需要更大的存儲空間，所以新分區(qū)在系統(tǒng)運(yùn) 4亍過,呈中逐步力口入。由于一個數(shù)據(jù)庫表對應(yīng)的存儲空間總大小很大， 一次要將整個 數(shù)據(jù)文件添加到數(shù)據(jù)庫的表空間中是很費(fèi)時，因此新的數(shù)據(jù)文件也 是隨系鄉(xiāng)充的運(yùn)4亍逐步力口入。過期的分區(qū)的刪除基于兩個原則數(shù)據(jù)的在線保留時間和存儲 空間的使用情況。超過在線保留時間的數(shù)據(jù)對應(yīng)的分區(qū)需要刪除； 如果總的存儲空間比較緊張，為了保證有足夠的剩余空間存放即將 入庫的新分區(qū)，對每個存儲空間i殳一個使用率的門限，當(dāng)前^f吏用率 越過門限時，將最早時間的分區(qū)刪除直到使用率低于門限值。步驟三索引空間的管理話單表的索引是對話單數(shù)據(jù)入庫性能影響很大的一個因素，為 了避免索引建立對數(shù)據(jù)入庫的影響。采取以下策略當(dāng)某分區(qū)對應(yīng) 的數(shù)據(jù)采集完之前，此分區(qū)不建立索引，此時數(shù)據(jù)入庫時沒有索引 建立的開銷；當(dāng)數(shù)據(jù)都采集完畢后，索引空間維護(hù)的定時任務(wù)再自 動建立此分區(qū)的索引。各個分區(qū)對應(yīng)的索引采用一個索引信息表記錄其索引的狀態(tài)， 索引空間維護(hù)定時任務(wù)根據(jù)索引信息表來進(jìn)行索引的維護(hù)，見圖3。下面以一個實(shí)際的電信業(yè)務(wù)分析系統(tǒng)中的話單采集為例，對本 發(fā)明的技術(shù)方案的實(shí)施作進(jìn)一步的詳細(xì)描述系統(tǒng)使用的數(shù)據(jù)庫采用ORACLE(其它數(shù)據(jù)庫也有類似的機(jī)制 來支持)。我們以一個話單數(shù)據(jù)表為例說明整個過程，SMSCMOMT表用于存放某短消息中心的話單數(shù)據(jù)，我們按話單記錄的時間字段進(jìn)行范圍分區(qū)，每個分區(qū)內(nèi)存放一天的數(shù)據(jù)，數(shù)據(jù)庫表建表腳本如 CREATE TABLE SMSCMOMT(SESSIONID VARCHAR2(10) 而LL，CHARGEDUSERNUMBER VARCHAR2(16) NULL,BEG證IME DATE NULL,)storage(initial 10M next 50M MAXEXTENTS UNLIMITED) partition by range (BEGINTIME)(partition smscmomt—20031201 values less than(to一date('2003-12-01'，'yyyy-mm-dd')));對表SMSCMOMT建立索引，索引采用本地索引，它也4安話單 表一樣進(jìn)行分區(qū)CREATE INDEX IDX—SMSCMOMT ON SMSCMOMT(BEGINTIME,CHARGEDUSERNUMBER)LOCAL;SMSCMOMT表存放在表空間 TS—SMSCMOMT 中， TS一SMSCMOMT表空間的數(shù)據(jù)文件有多個8192M字節(jié)大小的數(shù)據(jù) 文件構(gòu)成。表SMSCMOMT與其分區(qū)，索引分區(qū)以及表空間之間的關(guān)系見圖2。分區(qū)的維護(hù)分區(qū)維護(hù)定時任務(wù)周期運(yùn)行，每天執(zhí)行一次新分區(qū)和數(shù)據(jù)文件 的添力口，增加存放第二天數(shù)據(jù)的分區(qū)，如可用的數(shù)據(jù)文件都添加到 表空間中了就只是增加分區(qū)而不添加數(shù)據(jù)文件。但此時需要修改對 應(yīng)的索引分區(qū)狀態(tài)為不可用，這樣當(dāng)新采集^t據(jù)入到此分區(qū)時入庫 速度不受索引的影響。表分區(qū)的命名按照表名叫分區(qū)名的原則進(jìn)行命名，表 SMSCMOMT的分區(qū)命名頭見則為SMSCMOMT—YYYYMMDD (YYYY為年，MM為月，DD為日)，表示此分區(qū)類存在的數(shù)據(jù)的 范圍分區(qū)字^史的值為此天內(nèi)的4fet據(jù)。分區(qū)清理任務(wù)也是周期運(yùn)行，運(yùn)行頻率可以比新增分區(qū)的任務(wù) 高，如一天兩次，這樣在存儲空間比較滿時也能保證新數(shù)據(jù)入庫時 有足夠的空閑空間。分區(qū)清除任務(wù)根據(jù)兩個參數(shù)來決定是否將舊分 區(qū)移去， 一個是數(shù)據(jù)保存的最長時間n天，這個時間根據(jù)業(yè)務(wù)需 要和總的存儲空間大小而定；另外一個是表空間的最高使用率 m% ，此門限的取值根據(jù)總的存儲空間大小以及一個分區(qū)清除任務(wù) 時間窗口內(nèi)可能需要的最大存儲空間與數(shù)據(jù)采集的速度而定，即保 證剩余的存儲空間在在下 一次分區(qū)清除任務(wù)執(zhí)行前存放此時間段 采集的數(shù)據(jù)是足夠的。當(dāng)保存的最舊的數(shù)據(jù)的時間為n天前時，需要刪除對應(yīng)的分區(qū)； 當(dāng)表空間的當(dāng)前使用率達(dá)到或超過m %時，依次刪除存放最久數(shù)據(jù) 的分區(qū)，直到^吏用率4氐于此門限。索引的維護(hù)索引信息表中按話單數(shù)據(jù)表、分區(qū)劃分的每個時間窗口和分區(qū) 對應(yīng)的索引狀態(tài)來記錄信息，索引狀態(tài)有三個狀態(tài)值2,為初始狀態(tài)，表示此分區(qū)索引未建立；1,為執(zhí)行過此分區(qū)索引建立任務(wù) ^旦未完成，原因可能是對應(yīng)的分區(qū)時間窗口內(nèi)的凄t據(jù)未采集完畢， 也可能時執(zhí)行任務(wù)時其它原罔導(dǎo)致建立索引失?。?，索引已成功 建立。見圖3。索引維護(hù)定時任務(wù)執(zhí)行頻率與分區(qū)的時間窗口大d 、 一致，這里 為每天運(yùn)4亍一次。^壬務(wù)觸發(fā)時，首先前一個時間窗口的分區(qū)索引初 始記錄插入索引信息表中，其它索引狀態(tài)值為2。然后查詢索引信 息表中時間小于當(dāng)前分區(qū)時間窗口的所有狀態(tài)為l或2的記錄。沖艮 據(jù)查詢結(jié)果對每一條記錄進(jìn)行處理，檢查記錄對應(yīng)的時間窗口的數(shù) 據(jù)是否采集完成，如采集完成則建立對應(yīng)分區(qū)的索引。見圖4中， 數(shù)據(jù)采集的的當(dāng)前時間窗口對應(yīng)分區(qū)SMSCMOMT—20060503，話 單采集系統(tǒng)還需要入到此分區(qū)；從索引信息表中查詢到滿足條件的 記錄對應(yīng)的分區(qū)為SMSCMOMT—20060502,所以索引維護(hù)定時任 務(wù)執(zhí)行此分區(qū)的索引建立任務(wù)。進(jìn)4亍凄U居查詢時如查詢凄t據(jù)為時間窗口 (這里就是當(dāng)天的數(shù) 據(jù))之前的數(shù)據(jù)，由于索引已經(jīng)建立，所以速度很快。即使查詢當(dāng) 前正在處理的凄t據(jù)，由于凄史據(jù)量相對小些，有限時間中也能查詢出 結(jié)果。由于分區(qū)索引都是在數(shù)據(jù)入庫后一次性建立，所以索引結(jié)構(gòu) 比較好，索引的查詢速度更快，并且索引占用的存儲空間相對小些。本發(fā)明描述的話單數(shù)據(jù)采集系統(tǒng)的存儲管理方法，針對了電信 業(yè)務(wù)數(shù)據(jù)的特點(diǎn)數(shù)據(jù)量巨大，業(yè)務(wù)系統(tǒng)處理速度要求高，數(shù)據(jù)的 采集既要滿足實(shí)時性又要滿足業(yè)務(wù)查詢的需求，它常常用于混合性 需求的系統(tǒng)(OLAP和OLTP系統(tǒng)需求同時存在)中。本方法4是高 了系統(tǒng)的數(shù)據(jù)采集處理能力同時也能滿足對數(shù)據(jù)的查詢需求，解決 了話單數(shù)據(jù)采集系統(tǒng)的入庫速度和實(shí)時查詢需求的矛盾問題，同時 也增加了存儲數(shù)據(jù)的可維護(hù)性。以上所述僅又為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā) 明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。 凡在本發(fā)明的精神和原則之內(nèi)，所作的任何-修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1. 一種數(shù)據(jù)采集系統(tǒng)的存儲管理方法，其特征在于，包括以下步驟步驟S102，設(shè)置一個或多個數(shù)據(jù)庫表，將所述數(shù)據(jù)庫表按時間范圍進(jìn)行分區(qū)；步驟S104，設(shè)置所述數(shù)據(jù)庫表的索引，所述索引按照與所述數(shù)據(jù)庫表進(jìn)行分區(qū)的規(guī)則一致的規(guī)則進(jìn)行分區(qū)；步驟S106，在需要增加不包括在已有時間范圍內(nèi)的數(shù)據(jù)時，創(chuàng)建新的數(shù)據(jù)庫表分區(qū)，加入所述數(shù)據(jù)庫表，在需要增加包括在已有時間范圍內(nèi)的數(shù)據(jù)時，將所述新數(shù)據(jù)加入時間上對應(yīng)的數(shù)據(jù)庫表分區(qū)；步驟S108，當(dāng)所述數(shù)據(jù)庫表分區(qū)對應(yīng)的數(shù)據(jù)采集完成之后，對所述數(shù)據(jù)庫表分區(qū)建立索引。
2. 根據(jù)權(quán)利要求1所述的存儲管理方法，其特征在于，在步驟 S102中，將不同的所述數(shù)據(jù)庫表設(shè)置為存儲不同類型的數(shù)據(jù)。
3. 根據(jù)權(quán)利要求1或2所述的存儲管理方法，其特征在于，在步 艱《S102中，同一翁:據(jù)庫表的分區(qū)都存》丈在同一表空間上，不 同數(shù)據(jù)庫表使用不同表空間。
4. 根據(jù)權(quán)利要求1所述的存儲管理方法，其特征在于，步驟S106 還包括如果存在數(shù)據(jù)庫表分區(qū)的時間超過在線保留時間，貝'J 刪除所述數(shù)據(jù)庫表分區(qū)，如果存4諸所述數(shù)據(jù)庫表的存儲空間的 使用率超過使用率閾值，則刪除最早時間的所述數(shù)據(jù)庫表分 區(qū)，直到所述使用率低于所述使用率閾值。
5. 根據(jù)權(quán)利要求1所述的存儲管理方法，其特征在于，在步驟 S108中，當(dāng)所述凄t據(jù)庫表分區(qū)對應(yīng)的凄t據(jù)采集完成之前，不 對所迷數(shù)椐卑衣分區(qū)建立索引。
6. 根據(jù)權(quán)利要求1所述的存儲管理方法，其特征在于，在步驟 S108中，采用索引信息表記錄各個所述數(shù)據(jù)庫表分區(qū)對應(yīng)的 索引，以進(jìn)行索引的維護(hù)。
7. 根據(jù)權(quán)利要求1或6所述的存儲管理方法，其特征在于，在步 驟S108中，通過索引空間維護(hù)定時4壬務(wù)來定時維護(hù)索引。
8. 根據(jù)權(quán)利要求6所述的存儲管理方法，其特征在于，所述索引 信息表包括凄t據(jù)庫表標(biāo)識、所述凄t據(jù)庫表分區(qū)的時間標(biāo)識、 以及所述數(shù)據(jù)庫表分區(qū)對應(yīng)的索引狀態(tài)。
9. 根據(jù)權(quán)利要求8所述的存儲管理方法，其特征在于，所述索引 狀態(tài)包括初始狀態(tài)，表示尚未建立索引；未完成狀態(tài)，表示 執(zhí)行過索引建立任務(wù)但未完成；完成狀態(tài)，表示索引已成功建 立。
10. 根據(jù)權(quán)利要求9所述的存儲管理方法，其特征在于，定時將當(dāng) 前時間的所述數(shù)據(jù)庫表分區(qū)的索引加入所述索引信息表，查詢 所述索引信息表中時間小于當(dāng)前時間并且索引狀態(tài)為初始狀 態(tài)或未完成狀態(tài)的所述數(shù)據(jù)庫表分區(qū)，并在所述數(shù)據(jù)庫表分區(qū) 的數(shù)據(jù)采集完成的情況下為其建立對應(yīng)的索引，并將其索引狀 態(tài) 文為完成4犬態(tài)。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)采集系統(tǒng)的存儲管理方法。步驟S102，設(shè)置一個或多個數(shù)據(jù)庫表，將數(shù)據(jù)庫表按時間范圍進(jìn)行分區(qū)；步驟S104，設(shè)置數(shù)據(jù)庫表的索引，索引按照與數(shù)據(jù)庫表進(jìn)行分區(qū)的規(guī)則一致的規(guī)則進(jìn)行分區(qū)；步驟S106，在需要增加不包括在已有時間范圍內(nèi)的數(shù)據(jù)時，創(chuàng)建新的數(shù)據(jù)庫表分區(qū)，加入數(shù)據(jù)庫表，在需要增加包括在已有時間范圍內(nèi)的數(shù)據(jù)時，將新數(shù)據(jù)加入時間上對應(yīng)的數(shù)據(jù)庫表分區(qū)；步驟S108，當(dāng)數(shù)據(jù)庫表分區(qū)對應(yīng)的數(shù)據(jù)采集完成之后，對數(shù)據(jù)庫表分區(qū)建立索引。提高了系統(tǒng)的數(shù)據(jù)采集處理能力同時也能滿足對數(shù)據(jù)的查詢需求，解決了話單數(shù)據(jù)采集系統(tǒng)的入庫速度和實(shí)時查詢需求的矛盾問題，同時也增加了存儲數(shù)據(jù)的可維護(hù)性。
文檔編號G06F17/30GK101216821SQ200710000199
公開日2008年7月9日 申請日期2007年1月5日 優(yōu)先權(quán)日2007年1月5日
發(fā)明者唐文彬, 文秀林, 杜賢俊, 珂 田 申請人:中興通訊股份有限公司