專利名稱：巨量數(shù)據(jù)一次性快速寫入數(shù)據(jù)庫的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)庫系統(tǒng)應(yīng)用領(lǐng)域，具體涉及一種巨量數(shù)據(jù)一次性、快速寫入數(shù)據(jù)庫方法。
背景技術(shù)：
當(dāng)前，計算機越來越普及，應(yīng)用面也越來越廣。隨著信息系統(tǒng)的廣泛應(yīng)用，由于文 件在冗余度、操作方便性等方面的限制，使用數(shù)據(jù)庫存取數(shù)據(jù)是一種較為普遍的方式。既然 用數(shù)據(jù)來存到數(shù)據(jù)，開發(fā)人員永遠無法回避的一個問題就是向數(shù)據(jù)庫寫入數(shù)據(jù)。由于數(shù)據(jù) 庫管理系統(tǒng)的性能越來越高，使得存取少量數(shù)據(jù)的速度較快，但是當(dāng)瞬間寫入巨量數(shù)據(jù)到 數(shù)據(jù)庫的時候，數(shù)據(jù)庫管理系統(tǒng)還是需要一定的時間來處理，而這時間有時候是用戶難以 忍受的。為了解決上述問題，我們提出了一次性、快速寫入巨量數(shù)據(jù)到數(shù)據(jù)庫方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種巨量數(shù)據(jù)一次性快速寫入數(shù)據(jù)庫的方法。本發(fā)明的目的是按以下方式實現(xiàn)的，支持方法的系統(tǒng)結(jié)構(gòu)包括臨時表生成和處 理單元，臨時表和目的表處理單元，其中臨時表生成和處理單元是核心，根據(jù)寫入的數(shù)據(jù)量，動態(tài)生成臨時表，并把數(shù)據(jù)寫 入到生成的臨時表中；臨時表是暫時存放寫入數(shù)據(jù)的中間體；目的表處理單元判斷計算機負載情況，負載較低時，從臨時表中取得數(shù)據(jù)，寫入到 目的表中，具體操作步驟如下當(dāng)巨量數(shù)據(jù)要寫入數(shù)據(jù)庫中的目的表時，先通過臨時表生成和處理單元，根據(jù)寫 入的數(shù)據(jù)量，先動態(tài)生成多個臨時表，并且把表名寫到臨時名稱表中，然后啟動多個線程把 數(shù)據(jù)分組寫到各個臨時表中，由于是寫入多個表，所以能在較短時間內(nèi)完成，目的表處理單 元自動判斷計算機負載情況，系統(tǒng)空閑時，執(zhí)行寫入目的表操作，先從臨時名稱表中讀取出 來臨時表的表名，然后根據(jù)表名，循環(huán)從每個表中讀取出來所有記錄，寫入到目的表中，至 此，完成操作。臨時表生成和處理單元根據(jù)數(shù)據(jù)量動態(tài)生成的，臨時表的個數(shù)由寫入數(shù)據(jù)量決定 的，臨時表的表名會單獨存在臨時名稱表中。目的表處理單元自動判斷計算機負載情況，系統(tǒng)空閑時執(zhí)行，執(zhí)行完成后，刪除所 有臨時表，清空臨時名稱表。本發(fā)明的優(yōu)異效果是解決大量數(shù)據(jù)一次性寫入數(shù)據(jù)庫時速度較慢的問題，通過 動態(tài)生成多個臨時表，達到加快數(shù)據(jù)寫入速度，進而實現(xiàn)快速寫入。


附圖1為現(xiàn)有技術(shù)的寫入大量數(shù)據(jù)的數(shù)據(jù)流圖；附圖2為基于動態(tài)臨時表的一次性、快速寫入巨量數(shù)據(jù)到數(shù)據(jù)庫的數(shù)據(jù)流圖。
具體實施例方式參照說明書附圖對本發(fā)明的方法作以下詳細地說明。下面參照附圖2，對本發(fā)明的內(nèi)容以一個具體實例來描述實現(xiàn)這一方法的過程。正如發(fā)明內(nèi)容中所描述的，本發(fā)明的體系結(jié)構(gòu)主要包括臨時表生成和處理單元， 臨時表，目的表處理單元。其中臨時表生成和處理單元是該方法的核心，根據(jù)寫入的數(shù)據(jù)量，動態(tài)生成臨時表，并 把數(shù)據(jù)寫入到生成的臨時表中。臨時表是此方法中的一個中間體，暫時存入寫入的數(shù)據(jù)。目的表處理單元判斷系統(tǒng)負載情況，系統(tǒng)空閑時，從臨時表中取得數(shù)據(jù)，寫入到目 的表中。一次性、快速寫入巨量數(shù)據(jù)到數(shù)據(jù)庫中的實現(xiàn)方式或操作步驟描述如下當(dāng)巨量數(shù)據(jù)要寫入數(shù)據(jù)庫中的目的表時，先通過臨時表生成和處理單元，根據(jù)寫 入的數(shù)據(jù)量，先動態(tài)生成多個臨時表，并且把表名寫到臨時名稱表中，然后啟動多個線程把 數(shù)據(jù)分組寫到各個臨時表中。由于是寫入多個表，所以能在較短時間內(nèi)完成。目的表處理 單元自動判斷計算機負載情況，系統(tǒng)空閑時，執(zhí)行寫入目的表操作。先從臨時名稱表中讀取 出來臨時表的表名，然后根據(jù)表名，循環(huán)從每個表中讀取出來所有記錄，寫入到目的表中， 至此，完成操作。
權(quán)利要求
巨量數(shù)據(jù)一次性快速寫入數(shù)據(jù)庫的方法，其特征在于，支持方法的系統(tǒng)結(jié)構(gòu)包括臨時表生成和處理單元，臨時表和目的表處理單元，其中臨時表生成和處理單元是核心，根據(jù)寫入的數(shù)據(jù)量，動態(tài)生成臨時表，并把數(shù)據(jù)寫入到生成的臨時表中；臨時表是暫時存放寫入數(shù)據(jù)的中間體；目的表處理單元判斷計算機負載情況，負載較低時，從臨時表中取得數(shù)據(jù)，寫入到目的表中，具體步驟如下當(dāng)巨量數(shù)據(jù)要寫入數(shù)據(jù)庫中的目的表時，先通過臨時表生成和處理單元，根據(jù)寫入的數(shù)據(jù)量，先動態(tài)生成多個臨時表，并且把表名寫到臨時名稱表中，然后啟動多個線程把數(shù)據(jù)分組寫到各個臨時表中，由于是寫入多個表，所以能在較短時間內(nèi)完成，目的表處理單元自動判斷計算機負載情況，系統(tǒng)空閑時，執(zhí)行寫入目的表操作，先從臨時名稱表中讀取出來臨時表的表名，然后根據(jù)表名，循環(huán)從每個表中讀取出來所有記錄，寫入到目的表中，至此，完成操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于臨時表生成和處理單元根據(jù)數(shù)據(jù)量動態(tài) 生成的，臨時表的個數(shù)由寫入數(shù)據(jù)量決定的，臨時表的表名會單獨存在臨時名稱表中。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于目的表處理單元自動判斷計算機負載情 況，系統(tǒng)空閑時執(zhí)行，執(zhí)行完成后，刪除所有臨時表，清空臨時名稱表。
全文摘要
本發(fā)明提供一種巨量數(shù)據(jù)一次性快速寫入數(shù)據(jù)庫的方法，操作步驟如下當(dāng)巨量數(shù)據(jù)要寫入數(shù)據(jù)庫中的目的表時，先通過臨時表生成和處理單元，根據(jù)寫入的數(shù)據(jù)量，先動態(tài)生成多個臨時表，并且把表名寫到臨時名稱表中，然后啟動多個線程把數(shù)據(jù)分組寫到各個臨時表中，由于是寫入多個表，所以能在較短時間內(nèi)完成，目的表處理單元自動判斷計算機負載情況，系統(tǒng)空閑時，執(zhí)行寫入目的表操作，先從臨時名稱表中讀取出來臨時表的表名，然后根據(jù)表名，循環(huán)從每個表中讀取出來所有記錄，寫入到目的表中，至此，完成操作。
文檔編號G06F17/30GK101799832SQ20101013663
公開日2010年8月11日 申請日期2010年3月31日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者王理想 申請人:山東高效能服務(wù)器和存儲研究院