專(zhuān)利名稱(chēng)：一種海量數(shù)據(jù)管理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)運(yùn)行系統(tǒng)，尤其涉及一種海量數(shù)據(jù)管理方法。
背景技術(shù)：
傳統(tǒng)大型應(yīng)用軟件系統(tǒng)對(duì)其應(yīng)用的管理對(duì)象采集的數(shù)據(jù)進(jìn)行管理和查詢(xún)分析，一般而言，管理和查詢(xún)的數(shù)據(jù)量都非常巨大。如導(dǎo)入和查詢(xún)移動(dòng)短信網(wǎng)關(guān)的CDR(Call Detail Record話(huà)單詳單)數(shù)據(jù)等。在現(xiàn)有的技術(shù)中，從網(wǎng)關(guān)取得的移動(dòng)短信CDR數(shù)據(jù)文件直接插入數(shù)據(jù)庫(kù)時(shí)，由于CDR中存在一些無(wú)效數(shù)據(jù)，比如無(wú)效行，無(wú)效字段等，而CDR中有二十多個(gè)字段，每個(gè)字段出錯(cuò)都會(huì)導(dǎo)致插入數(shù)據(jù)失敗，應(yīng)用程序因此會(huì)拋出例外，例外處理會(huì)占用計(jì)算機(jī)較多的處理時(shí)間，因而影響數(shù)據(jù)庫(kù)的插入速度。另一方面，每次插入一條CDR記錄，由于每次和數(shù)據(jù)庫(kù)交互都存在在較大的開(kāi)銷(xiāo)，因此插入效率非常低下。當(dāng)移動(dòng)CDR每天幾百萬(wàn)條數(shù)據(jù)在插入一個(gè)空的數(shù)據(jù)庫(kù)表的時(shí)候，插入速度較快，隨著日期的推移，表中的數(shù)據(jù)會(huì)越來(lái)越多，插入速度也會(huì)越來(lái)越慢，從而導(dǎo)致數(shù)據(jù)積壓，不能及時(shí)處理。表中數(shù)據(jù)的增加又直接影響了對(duì)數(shù)據(jù)的查詢(xún)和和統(tǒng)計(jì)分析的速度。

發(fā)明內(nèi)容
本發(fā)明的目的，在于解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，提供一種新的海量數(shù)據(jù)管理方法。
本發(fā)明的目的是這樣實(shí)現(xiàn)的一種海量數(shù)據(jù)管理方法，包括以下步驟A、把一個(gè)數(shù)據(jù)庫(kù)大表分成多個(gè)分區(qū)，每個(gè)分區(qū)相當(dāng)于一個(gè)數(shù)據(jù)庫(kù)小表，按日期劃分分區(qū)，數(shù)據(jù)插入按分區(qū)順序進(jìn)行并在分區(qū)號(hào)范圍內(nèi)循環(huán)更新；B、建立五個(gè)數(shù)據(jù)庫(kù)表空間，一個(gè)分區(qū)使用一個(gè)表空間，相隔五個(gè)號(hào)的分區(qū)使用相同的表空間，即第6個(gè)分區(qū)使用和第1個(gè)分區(qū)相同的表空間，其他類(lèi)推；C、建立好數(shù)據(jù)庫(kù)表空間后，每隔15分鐘，從短信網(wǎng)關(guān)通過(guò)FTP協(xié)議，取CDR文件到本地指定目錄，取得數(shù)據(jù)庫(kù)的連接，設(shè)置數(shù)據(jù)庫(kù)的自動(dòng)提交模式為False，保證不是每條記錄都自動(dòng)提交，以降低和數(shù)據(jù)庫(kù)交互的開(kāi)銷(xiāo)，提高插入速度；D、讀入一條CDR記錄，檢查記錄是否合法，檢查各字段是否正確；E、字段校驗(yàn)通過(guò)后，根據(jù)CDR的申請(qǐng)時(shí)間計(jì)算數(shù)據(jù)要插入的分區(qū)號(hào)，把該條記錄加入批處理命令中，如果已有1000條批命令未處理，或已到達(dá)文件的結(jié)尾，則執(zhí)行批處理，將批記錄提交到數(shù)據(jù)庫(kù)，插入的記錄自動(dòng)根據(jù)每條記錄的分區(qū)號(hào)，插入到數(shù)據(jù)庫(kù)的不同分區(qū)中；F、如果未達(dá)到1000條的批命令，則繼續(xù)處理下一條記錄直到該文件處理完畢；G、按同樣的方法處理下一個(gè)文件，直到處理完目錄下的全部文件。
步驟A中所述的分區(qū)為91個(gè)，用于保存連續(xù)90天的數(shù)據(jù)，每天的數(shù)據(jù)依序插入各個(gè)分區(qū)，當(dāng)90天的數(shù)據(jù)分別插入90個(gè)分區(qū)后，第91天的數(shù)據(jù)插入第91個(gè)分區(qū)，然后刪除第1個(gè)分區(qū)的數(shù)據(jù)，實(shí)現(xiàn)始終保存最近90天的數(shù)據(jù)。
本發(fā)明海量數(shù)據(jù)管理方法能夠避免由于數(shù)據(jù)量大而降低整個(gè)應(yīng)用系統(tǒng)性能，進(jìn)而降低整個(gè)軟件系統(tǒng)運(yùn)行平臺(tái)的費(fèi)用，提高其運(yùn)行效率。例如當(dāng)將分區(qū)設(shè)置為91個(gè)時(shí)，由于90天的CDR數(shù)據(jù)被分別插到90個(gè)分區(qū)里，每個(gè)分區(qū)只有一天的數(shù)據(jù)，使得數(shù)據(jù)插入速度大大提高。批處理的應(yīng)用又降低了和數(shù)據(jù)庫(kù)交互的開(kāi)銷(xiāo)，進(jìn)一步極大地提高了插入的速度。分區(qū)上建有索引，數(shù)據(jù)的查詢(xún)和統(tǒng)計(jì)分析時(shí)可根據(jù)日期計(jì)算要查詢(xún)的分區(qū)號(hào)，根據(jù)分區(qū)號(hào)查找指定分區(qū)的數(shù)據(jù)，由于每個(gè)分區(qū)的數(shù)據(jù)量只相當(dāng)于總數(shù)據(jù)的九十分之一，因此查詢(xún)速度也得到了極大的提高，系統(tǒng)還能自動(dòng)保存90天的數(shù)據(jù)。


圖1為本發(fā)明的應(yīng)用程序流程圖。
具體實(shí)施例方式
本發(fā)明的核心是把一個(gè)數(shù)據(jù)庫(kù)大表分成多個(gè)分區(qū)，每個(gè)分區(qū)相當(dāng)一個(gè)數(shù)據(jù)庫(kù)小表，數(shù)據(jù)插入按分區(qū)進(jìn)行，按日期劃分分區(qū)。如需保存90天的數(shù)據(jù)，則建立91個(gè)分區(qū)，每天的數(shù)據(jù)插入各自的分區(qū)，當(dāng)90天的數(shù)據(jù)分別插入90個(gè)分區(qū)后，第91天的數(shù)據(jù)插入第91個(gè)分區(qū)，然后刪除第一個(gè)分區(qū)的數(shù)據(jù)，這樣始終能保存最近90天的數(shù)據(jù)。分區(qū)號(hào)根據(jù)日期產(chǎn)生且值在1-91之間循環(huán)。為進(jìn)一步提高數(shù)據(jù)庫(kù)并行插入和查詢(xún)效率，我們建立五個(gè)數(shù)據(jù)表空間，一個(gè)分區(qū)一個(gè)表空間，相隔五個(gè)的分區(qū)號(hào)使用相同的表空間，即第六個(gè)分區(qū)使用和第一個(gè)分區(qū)相同的表空間，其他類(lèi)推。
本發(fā)明的應(yīng)用程序流程如圖1所示。建立好數(shù)據(jù)庫(kù)表空間后，每隔15分鐘，從短信網(wǎng)關(guān)通過(guò)FTP協(xié)議，取CDR文件到本地指定目錄，取得數(shù)據(jù)庫(kù)的連接，設(shè)置數(shù)據(jù)庫(kù)的自動(dòng)提交模式為False，保證不是每條記錄都自動(dòng)提交，以降低和數(shù)據(jù)庫(kù)交互的開(kāi)銷(xiāo)，提高插入速度。讀入一條CDR記錄，檢查記錄是否合法，檢查各字段是否正確，字段校驗(yàn)通過(guò)后，根據(jù)CDR的申請(qǐng)時(shí)間計(jì)算數(shù)據(jù)要插入的分區(qū)號(hào)，把該條記錄加入批處理命令中，如果已有1000條批命令未處理，或已到達(dá)文件的結(jié)尾，則執(zhí)行批處理，這批記錄被一次提交到數(shù)據(jù)庫(kù)，插入的記錄自動(dòng)根據(jù)每條記錄各自的分區(qū)號(hào)，插入到數(shù)據(jù)庫(kù)的不同的分區(qū)中。如果未達(dá)到1000條的批命令，則繼續(xù)處理下一條記錄直到該文件處理完。然后按同樣的方法處理下一個(gè)文件，直到處理完目錄下的全部文件。
表中的數(shù)據(jù)查詢(xún)方法是，根據(jù)日期計(jì)算該日期數(shù)據(jù)庫(kù)表對(duì)應(yīng)的分區(qū)號(hào)，從指定的分區(qū)中查找用戶(hù)需要的數(shù)據(jù)。
權(quán)利要求
1.一種海量數(shù)據(jù)管理方法，其特征在于，包括以下步驟A、把一個(gè)數(shù)據(jù)庫(kù)大表分成多個(gè)分區(qū)，每個(gè)分區(qū)相當(dāng)于一個(gè)數(shù)據(jù)庫(kù)小表，按日期劃分分區(qū)，數(shù)據(jù)插入按分區(qū)順序進(jìn)行并在分區(qū)號(hào)范圍內(nèi)循環(huán)更新；B、建立五個(gè)數(shù)據(jù)庫(kù)表空間，一個(gè)分區(qū)使用一個(gè)表空間，相隔五個(gè)號(hào)的分區(qū)使用相同的表空間，即第6個(gè)分區(qū)使用和第1個(gè)分區(qū)相同的表空間，其他類(lèi)推；C、建立好數(shù)據(jù)庫(kù)表空間后，每隔15分鐘，從短信網(wǎng)關(guān)通過(guò)FTP協(xié)議，取CDR文件到本地指定目錄，取得數(shù)據(jù)庫(kù)的連接，設(shè)置數(shù)據(jù)庫(kù)的自動(dòng)提交模式為False，保證不是每條記錄都自動(dòng)提交，以降低和數(shù)據(jù)庫(kù)交互的開(kāi)銷(xiāo)，提高插入速度；D、讀入一條CDR記錄，檢查記錄是否合法，檢查各字段是否正確；E、字段校驗(yàn)通過(guò)后，根據(jù)CDR的申請(qǐng)時(shí)間計(jì)算數(shù)據(jù)要插入的分區(qū)號(hào)，把該條記錄加入批處理命令中，如果已有1000條批命令未處理，或已到達(dá)文件的結(jié)尾，則執(zhí)行批處理，將批記錄提交到數(shù)據(jù)庫(kù)，插入的記錄自動(dòng)根據(jù)每條記錄的分區(qū)號(hào)，插入到數(shù)據(jù)庫(kù)的不同分區(qū)中；F、如果未達(dá)到1000條的批命令，則繼續(xù)處理下一條記錄直到該文件處理完畢；G、按同樣的方法處理下一個(gè)文件，直到處理完目錄下的全部文件。
2.根據(jù)權(quán)利要求1所述的一種海量數(shù)據(jù)管理方法，其特征在于步驟A中所述的分區(qū)為91個(gè)，用于保存連續(xù)90天的數(shù)據(jù)，每天的數(shù)據(jù)依序插入各個(gè)分區(qū)，當(dāng)90天的數(shù)據(jù)分別插入90個(gè)分區(qū)后，第91天的數(shù)據(jù)插入第91個(gè)分區(qū)，然后刪除第1個(gè)分區(qū)的數(shù)據(jù)，實(shí)現(xiàn)始終保存最近90天的數(shù)據(jù)。
全文摘要
本發(fā)明提供了一種海量數(shù)據(jù)管理方法，該方法將一個(gè)數(shù)據(jù)庫(kù)大表分成多個(gè)分區(qū)，每個(gè)分區(qū)相當(dāng)于一個(gè)數(shù)據(jù)庫(kù)小表，按日期劃分分區(qū)，數(shù)據(jù)插入按分區(qū)順序進(jìn)行并在分區(qū)號(hào)范圍內(nèi)循環(huán)更新；另外建立五個(gè)數(shù)據(jù)庫(kù)表空間，以進(jìn)一步提高數(shù)據(jù)庫(kù)并行插入和查詢(xún)效率。采用本發(fā)明的方法能夠避免由于數(shù)據(jù)量大而降低整個(gè)應(yīng)用系統(tǒng)性能，進(jìn)而降低整個(gè)軟件系統(tǒng)運(yùn)行平臺(tái)的費(fèi)用，提高其運(yùn)行效率。
文檔編號(hào)G06F17/30GK101086732SQ20061002756
公開(kāi)日2007年12月12日 申請(qǐng)日期2006年6月11日 優(yōu)先權(quán)日2006年6月11日
發(fā)明者馮謐 申請(qǐng)人:上海全成通信技術(shù)有限公司