一種基于海量氣象數(shù)據(jù)的存儲與檢索方法
【專利摘要】本發(fā)明針對傳統(tǒng)的數(shù)據(jù)集中存儲單點(diǎn)查詢的問題，公開了一種基于海量氣象數(shù)據(jù)的存儲與檢索方法，利用Hadoop平臺，通過對分布式非關(guān)系型數(shù)據(jù)庫Hbase建立二級索引，并且將數(shù)據(jù)通過轉(zhuǎn)換、遷移導(dǎo)入到云平臺，實(shí)現(xiàn)海量數(shù)據(jù)的可靠存儲與快速檢索。本發(fā)明包括如下步驟：數(shù)據(jù)過濾；在Hbase中定義對應(yīng)的表格式；建立二級索引；分情況進(jìn)行數(shù)據(jù)導(dǎo)入；分情況進(jìn)行數(shù)據(jù)檢索。本發(fā)明既能實(shí)現(xiàn)數(shù)據(jù)的實(shí)時查詢，也避免以往存儲和維護(hù)大量數(shù)據(jù)所產(chǎn)生的高昂成本，在保證敏感數(shù)據(jù)安全的前提下能夠更經(jīng)濟(jì)高效地實(shí)時查詢海量氣象數(shù)據(jù)。
【專利說明】一種基于海量氣象數(shù)據(jù)的存儲與檢索方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于云存儲【技術(shù)領(lǐng)域】，具體涉及一種基于海量氣象數(shù)據(jù)的存儲與檢索方 法。

【背景技術(shù)】
[0002] 云計算技術(shù)起源于企業(yè)界，由于其強(qiáng)大的處理大數(shù)據(jù)的能力，成為了計算機(jī)技術(shù) 發(fā)展的趨勢，因此受到了業(yè)界與學(xué)術(shù)界的關(guān)注。隨著云計算的發(fā)展，云存儲的重要性和價值 也日益顯著。衡量系統(tǒng)的可用性通常用系統(tǒng)的正常服務(wù)時間與總運(yùn)行時間的比值表示，即 如下計算方式：

【權(quán)利要求】
1. 一種基于海量氣象數(shù)據(jù)的存儲與檢索方法，其特征在于，包括如下步驟： 步驟（1)，對不同的采集終端所收集到的氣象數(shù)據(jù)進(jìn)行歸類和校驗(yàn)，去除掉錯誤數(shù)據(jù)、 重復(fù)數(shù)據(jù)； 步驟（2)，按照采集的氣象數(shù)據(jù)結(jié)構(gòu)，在HBase中建立對應(yīng)的表，其中，RowKey為能唯一 標(biāo)識的字符串，列簇按對應(yīng)的氣象數(shù)據(jù)的格式預(yù)先定義； 步驟（3)，建立主表的同時創(chuàng)建一張索引表Index，索引表的行鍵與主表的對應(yīng)列值相 關(guān)聯(lián)并且包含主表的行鍵值； 步驟（4)，導(dǎo)入數(shù)據(jù)：若是已經(jīng)存在HDFS文件系統(tǒng)上的tsv，csv格式文件，則將數(shù)據(jù)封 裝成Hfile后加載到Hbase上；本地文件系統(tǒng)上的數(shù)據(jù)需要先上傳到HDFS再導(dǎo)入Hbase;對 于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)，使用ETL工具kettle完成數(shù)據(jù)導(dǎo)入； 步驟（5)，檢索數(shù)據(jù)時，根據(jù)索引表信息判斷被檢索的列是否有索引，如果有則直接通 過索引表查詢；如果被檢索的列沒有索引，貝1J利用Hive通過Mapreduce框架進(jìn)行全表的查 詢。
2. 根據(jù)權(quán)利要求1所述的基于海量氣象數(shù)據(jù)的存儲與檢索方法，其特征在于：所述步 驟（2)建立的表中的列簇下面的列在數(shù)據(jù)導(dǎo)入時動態(tài)添加。
3. 根據(jù)權(quán)利要求1或2所述的基于海量氣象數(shù)據(jù)的存儲與檢索方法，其特征在于：所 述步驟（3)中創(chuàng)建的索引表的行鍵rowkey構(gòu)成為：{:開始地址+索引表名稱+索引列值+ 主表行鍵值}。
4. 根據(jù)權(quán)利要求1或2所述的基于海量氣象數(shù)據(jù)的存儲與檢索方法，其特征在于：在 所述步驟（2)建立的主表中插入數(shù)據(jù)時先在索引表中插入相關(guān)索引信息，再完成主表插入 工作；當(dāng)主表被分割的時候，對應(yīng)索引表自動分割，并且保證索引表的region與對應(yīng)主表 的region在同一個regionserver上；在主表數(shù)據(jù)發(fā)生更新時，索引表里的對應(yīng)記錄也同 時更新。
5. 根據(jù)權(quán)利要求1或2所述的基于海量氣象數(shù)據(jù)的存儲與檢索方法，其特征在于：所 述步驟（5)中通過索引表查詢時，通過Coprocessor創(chuàng)建scanner并設(shè)置起止范圍，在索引 表中查找到具體的rowkey之后，根據(jù)此rowkey具體關(guān)聯(lián)的主表Rowkey，在主表region中 查找實(shí)際的數(shù)據(jù)。
【文檔編號】G06F17/30GK104376053SQ201410611227
【公開日】2015年2月25日 申請日期:2014年11月4日 優(yōu)先權(quán)日:2014年11月4日
【發(fā)明者】馬廷淮, 徐熙超, 田偉, 薛羽, 鐘水明, 曹杰 申請人:南京信息工程大學(xué)