專利名稱：基于列存儲技術的數(shù)據(jù)庫建立方法及系統(tǒng)的制作方法
基于列存儲技術的數(shù)據(jù)庫建立方法及系統(tǒng)技術領域：
本發(fā)明涉及一種基于列存儲技術的數(shù)據(jù)庫建立方法及系統(tǒng)。背景技術：
隨著互聯(lián)網(wǎng)技術的發(fā)展，IT技術的不斷更新，社會信息化的不斷深入，數(shù)據(jù)迎來了爆發(fā)式的增長，傳統(tǒng)的關系型數(shù)據(jù)庫已經(jīng)不適用這種巨大存儲和計算要求。新興的大數(shù)據(jù)存儲數(shù)據(jù)庫有兩種選擇基于“記錄”的行存儲和列存儲。對于行存儲技術，基本操作數(shù)據(jù)是一條記錄(多列構成)，其數(shù)據(jù)的結構性更強，對數(shù)據(jù)的更改操作(如刪除、修改)、數(shù)據(jù)的強一致性的實現(xiàn)更方便，但對大批量數(shù)據(jù)的存儲、分析檢索的便捷性較差，不適合用于建立數(shù)據(jù)庫。·
有鑒于此，本發(fā)明提供一種基于列存儲技術的數(shù)據(jù)庫建立方法及系統(tǒng)。
發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明的目的是提供一種基于列存儲技術的數(shù)據(jù)庫建立方法。本發(fā)明的另一目的是提供一種基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)。其中，本發(fā)明的基于列存儲技術的數(shù)據(jù)庫建立方法包括以下步驟
建立表；
在所述表中建立描述數(shù)據(jù)結構的組成列信息的列文件；
存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)；
對表中所有的字節(jié)數(shù)組列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件。作為本發(fā)明的進一步改進，所述表是對應關系數(shù)據(jù)庫中的一個二維表，其以目錄的形式存儲，目錄名為表名。作為本發(fā)明的進一步改進，所述列文件分塊后，每塊有一個信息“索引區(qū)”，記錄該塊的位置、長度、熱點詞是否有出現(xiàn)及出現(xiàn)頻率的信息；每個列文件中有塊索引區(qū)的區(qū)域鏈表，記錄各塊索引區(qū)的位置，長度。作為本發(fā)明的進一步改進，在所述“存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)”步驟后，還包括
增加一個記錄刪除標記列文件，對列文件中的每條記錄生成一個記錄刪除標記標記列，對刪除的列文件中的記錄進行標記。作為本發(fā)明的進一步改進，所述“對表中所有的字節(jié)數(shù)組列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件”步驟還包括
對于字節(jié)數(shù)組元數(shù)據(jù)，如果數(shù)量大于預設閾值，則單獨存儲該數(shù)組元文件(多有大于閾值的，放在一個單獨的塊中)。相應地，本發(fā)明的基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)包括
表建立單兀，用于建立表；
列文件建立單元，用于在所述表中建立描述數(shù)據(jù)結構的組成列信息的列文件；存儲單元，用于存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)；
數(shù)組單元，用于對表中所有的字節(jié)數(shù)組列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件。作為本發(fā)明的進一步改進，所述表是對應關系數(shù)據(jù)庫中的一個二維表，其以目錄的形式存儲，目錄名為表名。作為本發(fā)明的進一步改進，所述存儲單元還用于，所述列文件分塊后，每塊有一個信息“索引區(qū)”，記錄該塊的位置、長度、熱點詞是否有出現(xiàn)及出現(xiàn)頻率的信息；每個列文件中有塊索引區(qū)的區(qū)域鏈表，記錄各塊索引區(qū)的位置，長度。作為本發(fā)明的進一步改進，所述系統(tǒng)還包括記錄刪除標記單元，用于增加一個列文件，對列文件中的每條記錄生成一個標記列，對刪除的列文件中的記錄進行標記。作為本發(fā)明的進一步改進，所述數(shù)組單元還用于對于字節(jié)數(shù)組元數(shù)據(jù)，如果數(shù)量大于預設閾值，則單獨存儲該數(shù)組元文件。相比于現(xiàn)有技術，本發(fā)明基于列存儲技術進行建庫，極大的提高了數(shù)據(jù)庫的存儲、分析檢索的便捷性。

圖I是本發(fā)明一實施例的基于列存儲技術的數(shù)據(jù)庫建立方法的流程 圖2是本發(fā)明一實施例的基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)的模塊圖。
具體實施方式
為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面結合附圖和具體實施例對本發(fā)明進行詳細描述。如圖I所示，在本發(fā)明一實施例中的基于列存儲技術的數(shù)據(jù)庫建立方法包括
51、建立表，所述表是對應關系數(shù)據(jù)庫中的一個二維表，其以目錄的形式存儲，目錄名為表名(系統(tǒng)中唯一);
52、在所述表中建立描述數(shù)據(jù)結構的組成列信息的列文件；這個列文件在表被創(chuàng)建的時候建立，它記錄如下信息
權利要求
1.一種基于列存儲技術的數(shù)據(jù)庫建立方法，其特征在于，所述方法包括 建立表； 在所述表中建立描述數(shù)據(jù)結構的組成列信息的列文件； 存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)； 對表中所有的字節(jié)數(shù)組列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件。
2.根據(jù)權利要求I所述的基于列存儲技術的數(shù)據(jù)庫建立方法，其特征在于，所述表是對應關系數(shù)據(jù)庫中的一個二維表，其以目錄的形式存儲，目錄名為表名。
3.根據(jù)權利要求I所述的基于列存儲技術的數(shù)據(jù)庫建立方法，其特征在于，所述列文件分塊后，每塊有一個信息“索引區(qū)”，記錄該塊的位置、長度、熱點詞是否有出現(xiàn)及出現(xiàn)頻率的信息；每個列文件中有塊索引區(qū)的區(qū)域鏈表，記錄各塊索引區(qū)的位置，長度。
4.根據(jù)權利要求I所述的基于列存儲技術的數(shù)據(jù)庫建立方法，其特征在于，在所述“存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)”步驟后，還包括 增加一個記錄刪除標記列文件，對記錄刪除標記列文件中的每條記錄生成一個標記列，對刪除的列文件中的記錄進行標記。
5.根據(jù)權利要求4所述的基于列存儲技術的數(shù)據(jù)庫建立方法，其特征在于，所述“對表中所有的字節(jié)數(shù)組列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件”步驟還包括 對于字節(jié)數(shù)組元數(shù)據(jù)，如果數(shù)量大于預設閾值，則單獨存儲該數(shù)組元文件。
6.一種基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)，其特征在于，所述方法包括 表建立單兀，用于建立表； 列文件建立單元，用于在所述表中建立描述數(shù)據(jù)結構的組成列信息的列文件； 存儲單元，用于存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)； 數(shù)組單元，用于對表中所有的字節(jié)數(shù)組列和記錄刪除標記列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件。
7.根據(jù)權利要求6所述的基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)，其特征在于，所述表是對應關系數(shù)據(jù)庫中的一個二維表，其以目錄的形式存儲，目錄名為表名。
8.根據(jù)權利要求6所述的基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)，其特征在于，所述存儲單元還用于，所述列文件分塊后，每塊有一個信息“索引區(qū)”，記錄該塊的位置、長度、熱點詞是否有出現(xiàn)及出現(xiàn)頻率的信息；每個列文件中有塊索引區(qū)的區(qū)域鏈表，記錄各塊索引區(qū)的位置，長度。
9.根據(jù)權利要求6所述的基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)，其特征在于，所述系統(tǒng)還包括記錄刪除標記單元，用于增加一個列文件，對列文件中的每條記錄生成一個標記列，對刪除的列文件中的記錄進行標記。
10.根據(jù)權利要求6所述的基于列存儲技術的數(shù)據(jù)庫建立系統(tǒng)，其特征在于，所述數(shù)組單元還用于對于字節(jié)數(shù)組元數(shù)據(jù)，如果數(shù)量大于預設閾值，則單獨存儲該數(shù)組元文件。
全文摘要
本發(fā)明提供了一種基于列存儲技術的數(shù)據(jù)庫建立方法及系統(tǒng)，其中，所述方法包括建立表；在所述表中建立描述數(shù)據(jù)結構的組成列信息的列文件；存儲所述組成列信息的列元數(shù)據(jù)至所述列文件，并對所述列文件分塊，每塊存儲固定數(shù)量的列元數(shù)據(jù)；對表中所有的字節(jié)數(shù)組列，生成一個數(shù)組，對該數(shù)組的每個數(shù)組元數(shù)據(jù)計算一個散列值并存儲這個散列值至列文件。相比于現(xiàn)有技術，本發(fā)明基于列存儲技術進行建庫，極大的提高了數(shù)據(jù)庫的存儲、分析檢索的便捷性。
文檔編號G06F17/30GK102890721SQ201210391988
公開日2013年1月23日 申請日期2012年10月16日 優(yōu)先權日2012年10月16日
發(fā)明者何澤華, 連琨 申請人:蘇州邁科網(wǎng)絡安全技術股份有限公司