一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)，特別是指一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法及
目.0
【背景技術(shù)】
[0002]大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)，是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合，是基于云計算的數(shù)據(jù)處理與應(yīng)用模式，通過數(shù)據(jù)的集成共享，交叉復(fù)用形成的智力資源和知識服務(wù)能力;從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。
[0003]傳統(tǒng)的數(shù)據(jù)采集技術(shù)，因為數(shù)據(jù)來源比較單一，主要是數(shù)據(jù)庫和文件方式進(jìn)行存儲，且數(shù)據(jù)量較小，而大數(shù)據(jù)不僅數(shù)據(jù)量巨大，而且數(shù)據(jù)來源豐富，包括批量日志數(shù)據(jù)、實時數(shù)據(jù)、流式數(shù)據(jù)等，同時數(shù)據(jù)類型多樣，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等。傳統(tǒng)的并行數(shù)據(jù)庫追求高度一致性和容錯性，根據(jù)CAP理論，難以同時保證其可用性、擴(kuò)展性和高性能，并不能夠直接應(yīng)用于大數(shù)據(jù)處理中。因此，需求一種數(shù)據(jù)存儲方法，以適應(yīng)大數(shù)據(jù)時代的需求。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明的目的在于提出一種適用于復(fù)雜數(shù)據(jù)的、基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法及裝置。
[0005]基于上述目的本發(fā)明提供的一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法，包括以下步驟:
[0006]采集數(shù)據(jù)文件；
[0007]請求可用的數(shù)據(jù)節(jié)點(diǎn)；
[0008]獲取單個數(shù)據(jù)塊大小，將所述數(shù)據(jù)文件依據(jù)所述單個數(shù)據(jù)塊大小分塊，得到多個數(shù)據(jù)塊；
[0009]獲取數(shù)據(jù)塊副本數(shù)η，采用流式寫入將所述數(shù)據(jù)塊寫入所述數(shù)據(jù)節(jié)點(diǎn)，并為每個所述數(shù)據(jù)塊創(chuàng)建η個副本。
[0010]進(jìn)一步，采用流式寫入將所述數(shù)據(jù)塊寫入所述數(shù)據(jù)節(jié)點(diǎn)的步驟包括以下子步驟:[0011 ]將第一數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)；
[0012]將第二數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)，第一節(jié)點(diǎn)選取與其相鄰的第二節(jié)點(diǎn)，將所述第一數(shù)據(jù)塊發(fā)送至所述第二節(jié)點(diǎn)；
[0013]將第三數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)，第一節(jié)點(diǎn)將所述第二數(shù)據(jù)塊發(fā)送至所述第二節(jié)點(diǎn)，第二節(jié)點(diǎn)選取與其相鄰的第三節(jié)點(diǎn)，將所述第一數(shù)據(jù)塊發(fā)送至所述第三節(jié)點(diǎn)；
[0014]重復(fù)上述過程直至全部數(shù)據(jù)塊發(fā)送完畢，并使每個數(shù)據(jù)塊具備η個副本。
[0015]進(jìn)一步，采集數(shù)據(jù)文件包括以下子步驟:
[0016]監(jiān)聽數(shù)據(jù)流；
[0017]判斷數(shù)據(jù)流當(dāng)前數(shù)據(jù)類型；
[0018]根據(jù)數(shù)據(jù)類型的不同采用不同的數(shù)據(jù)采集策略；
[0019]其中所述數(shù)據(jù)采集策略包括:
[0020]數(shù)據(jù)庫采集策略，用于采集關(guān)系型數(shù)據(jù)，將數(shù)據(jù)備份至備份庫后，生成數(shù)據(jù)文件，從備份庫采集關(guān)系型數(shù)據(jù)文件；
[0021 ]文件采集策略，用于采集文件型數(shù)據(jù)，監(jiān)聽服務(wù)器的文件目錄，定時從所述文件目錄采集文件型數(shù)據(jù)文件；
[0022]系統(tǒng)數(shù)據(jù)采集策略，用于采集系統(tǒng)產(chǎn)生的實時數(shù)據(jù)，監(jiān)聽數(shù)據(jù)流，從所述數(shù)據(jù)流中直接采集系統(tǒng)數(shù)據(jù)文件。
[0023 ]進(jìn)一步，所述數(shù)據(jù)庫采集策略包括以下步驟:
[0024]監(jiān)聽數(shù)據(jù)流，獲取關(guān)系型數(shù)據(jù)文件；
[0025]將關(guān)系型數(shù)據(jù)文件保存至服務(wù)器；
[0026]將關(guān)系型數(shù)據(jù)文件備份至備份庫；
[0027]從備份庫采集關(guān)系型數(shù)據(jù)文件。
[0028]進(jìn)一步，所述文件采集策略包括以下步驟:
[0029]監(jiān)聽數(shù)據(jù)流，獲取文件型數(shù)據(jù)文件；
[0030]將文件型數(shù)據(jù)文件保存至服務(wù)器；
[0031]制定監(jiān)聽服務(wù)器列表；
[0032]監(jiān)聽所述監(jiān)聽服務(wù)器列表的服務(wù)器中的文件目錄；
[0033]定時從所述文件目錄采集文件型數(shù)據(jù)文件。
[0034]進(jìn)一步，還包括以下步驟:
[0035]檢測服務(wù)器負(fù)載，當(dāng)服務(wù)器整體負(fù)載低時，線性減少啟用的服務(wù)器數(shù)量，當(dāng)服務(wù)器整體負(fù)載高時，線性增加啟用的服務(wù)器數(shù)量。
[0036]本發(fā)明提供的一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲裝置，包括:
[0037]服務(wù)器，用于臨時存儲數(shù)據(jù)文件；
[0038]備份庫，設(shè)置有多個數(shù)據(jù)節(jié)點(diǎn)；
[0039]服務(wù)器用于向備份庫請求可用的數(shù)據(jù)節(jié)點(diǎn)；
[0040]服務(wù)器用于獲取單個數(shù)據(jù)塊大小，將所述數(shù)據(jù)文件依據(jù)所述單個數(shù)據(jù)塊大小分塊，得到多個數(shù)據(jù)塊；
[0041]服務(wù)器用于獲取數(shù)據(jù)塊副本數(shù)n，采用流式寫入將所述數(shù)據(jù)塊寫入所述數(shù)據(jù)節(jié)點(diǎn)，并為每個所述數(shù)據(jù)塊創(chuàng)建η個副本。
[0042]進(jìn)一步，服務(wù)器用于將第一數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)；
[0043]服務(wù)器用于將第二數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)，備份庫用于控制所述第一節(jié)點(diǎn)選取與其相鄰的第二節(jié)點(diǎn)，將所述第一數(shù)據(jù)塊發(fā)送至所述第二節(jié)點(diǎn)；
[0044]服務(wù)器用于將第三數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)，備份庫用于控制第一節(jié)點(diǎn)將所述第二數(shù)據(jù)塊發(fā)送至所述第二節(jié)點(diǎn)，第二節(jié)點(diǎn)選取與其相鄰的第三節(jié)點(diǎn)，將所述第一數(shù)據(jù)塊發(fā)送至所述第三節(jié)點(diǎn);重復(fù)上述過程直至全部數(shù)據(jù)塊發(fā)送完畢，并使每個數(shù)據(jù)塊具備η個副本。
[0045]從上面所述可以看出，本發(fā)明提供的一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法及裝置通過將網(wǎng)絡(luò)數(shù)據(jù)分流存儲，充分利用了服務(wù)器資源，提高資源存儲效率和安全性。
【附圖說明】
[0046]圖1為本發(fā)明提供的一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲裝置的實施例的模塊示意圖；
[0047]圖2為本發(fā)明提供的一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法的實施例的流程示意圖；
[0048]圖3為本發(fā)明提供的一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法的實施例中數(shù)據(jù)采集步驟的流程示意圖。
【具體實施方式】
[0049]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0050]需要說明的是，本發(fā)明實施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個相同名稱非相同的實體或者非相同的參量，可見“第一” “第二”僅為了表述的方便，不應(yīng)理解為對本發(fā)明實施例的限定，后續(xù)實施例對此不再一一說明。
[0051 ]本實施例包括依次連接的業(yè)務(wù)模塊1、數(shù)據(jù)接口 2、服務(wù)器3和備份庫4，下面對各部分分別進(jìn)行介紹。
[0052]服務(wù)器3和備份庫4均用于數(shù)據(jù)文件的存儲，服務(wù)器3用于直接各類存儲數(shù)據(jù)文件，備份庫4用于存儲文件型數(shù)據(jù)文件的副本。
[0053]業(yè)務(wù)模塊I包括用戶接口、網(wǎng)絡(luò)接口等交互接口，用于獲取數(shù)據(jù)并將數(shù)據(jù)上傳至數(shù)據(jù)接口 2，業(yè)務(wù)模塊I獲取的數(shù)據(jù)包括但不限于:用戶的操作記錄及操作過程中產(chǎn)生的數(shù)據(jù)，廣域網(wǎng)、局域網(wǎng)和/或其他網(wǎng)絡(luò)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，本數(shù)據(jù)采集裝置自身運(yùn)行產(chǎn)生的系統(tǒng)數(shù)據(jù)。業(yè)務(wù)模塊I將獲取的全部數(shù)據(jù)以數(shù)據(jù)流發(fā)送至數(shù)據(jù)接口 2。
[0054]數(shù)據(jù)接口2對數(shù)據(jù)流進(jìn)行初步分析和分類，分類標(biāo)準(zhǔn)包括但不限于:關(guān)系型數(shù)據(jù)、文件型數(shù)據(jù)、系統(tǒng)數(shù)據(jù)。系統(tǒng)數(shù)據(jù)指本數(shù)據(jù)采集裝置在運(yùn)行時產(chǎn)生的數(shù)據(jù)，具有高時效性，需要及時進(jìn)行分析、存儲;文件型數(shù)據(jù)指本數(shù)據(jù)采集裝置定時對獲取到的數(shù)據(jù)流進(jìn)行處理生成的數(shù)據(jù)文件，多為音視頻文件、文本文件等常見格式的文件;關(guān)系型數(shù)據(jù)多為大容量的結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)類型復(fù)雜，需要耗費(fèi)大量系統(tǒng)資源進(jìn)行采集。
[0055]數(shù)據(jù)接口 2包括關(guān)系型數(shù)據(jù)處理單元21、文件型數(shù)據(jù)處理單元22、系統(tǒng)數(shù)據(jù)處理單元23，分別用于處理上述三類數(shù)據(jù)。數(shù)據(jù)接口 2接收數(shù)據(jù)流時，對數(shù)據(jù)流的當(dāng)前數(shù)據(jù)類型進(jìn)行判斷，若當(dāng)前數(shù)據(jù)類型為關(guān)系型數(shù)據(jù)，則啟用關(guān)系型數(shù)據(jù)處理單元21，關(guān)系型數(shù)據(jù)處理單元21監(jiān)聽數(shù)據(jù)流，獲取關(guān)系型數(shù)據(jù)文件，將關(guān)系型數(shù)據(jù)文件保存至服務(wù)器;若當(dāng)前數(shù)據(jù)類型為文件型數(shù)據(jù)，則啟用文件型數(shù)據(jù)處理單元22，文件型數(shù)據(jù)處理單元22監(jiān)聽數(shù)據(jù)流，獲取文件型數(shù)據(jù)文件，將文件型數(shù)據(jù)文件保存至服務(wù)器;若當(dāng)前數(shù)據(jù)類型為系統(tǒng)數(shù)據(jù)，則啟用系統(tǒng)數(shù)據(jù)處理單元23，系統(tǒng)數(shù)據(jù)處理單元23監(jiān)聽數(shù)據(jù)流，直接獲取并采集系統(tǒng)數(shù)據(jù)文件。
[0056]對上述各文件進(jìn)行采集前，需要將部分文件保存至備份庫，故本實施例提供了一種數(shù)據(jù)存儲方法。
[0057]如圖1所示，本實施例提供一種基于大數(shù)據(jù)技術(shù)框架的數(shù)據(jù)存儲方法，包括以下步驟:
[0058]SlOO，采集數(shù)據(jù)文件；
[0059]S200，請求可用的數(shù)據(jù)節(jié)點(diǎn)；
[0060]S300，獲取單個數(shù)據(jù)塊大小，將所述數(shù)據(jù)文件依據(jù)所述單個數(shù)據(jù)塊大小分塊，得到多個數(shù)據(jù)塊;為了保證存儲效率，單個數(shù)據(jù)塊的大小通常不小于64Mb。
[0061]S400，獲取數(shù)據(jù)塊副本數(shù)η，采用流式寫入將所述數(shù)據(jù)塊寫入所述數(shù)據(jù)節(jié)點(diǎn)，并為每個所述數(shù)據(jù)塊創(chuàng)建η個副本。通常η的取值為3。
[0062]進(jìn)一步，采用流式寫入將所述數(shù)據(jù)塊寫入所述數(shù)據(jù)節(jié)點(diǎn)的步驟包括以下子步驟:
[0063]S410，將第一數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)；
[0064]S420，將第二數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)，第一節(jié)點(diǎn)選取與其相鄰的第二節(jié)點(diǎn)，將所述第一數(shù)據(jù)塊發(fā)送至所述第二節(jié)點(diǎn)；
[0065]S430，將第三數(shù)據(jù)塊發(fā)送至第一節(jié)點(diǎn)，第一節(jié)點(diǎn)將所述第二數(shù)據(jù)塊發(fā)送至所述第二節(jié)點(diǎn)，第二節(jié)點(diǎn)選取與其相鄰的第三節(jié)點(diǎn)，將所述第一數(shù)據(jù)塊發(fā)送至所述第三節(jié)點(diǎn)；
[0066]S440，重復(fù)上述過程直至全部數(shù)據(jù)塊發(fā)送完畢，并使每個數(shù)據(jù)塊具備η個副本。
[0067]流式存儲能夠盡可能地提高存取效率，即采用一次寫入、多次讀取的模式從而達(dá)到最高效率。每個數(shù)據(jù)塊均具備多個副本，當(dāng)某組節(jié)點(diǎn)失效，從而導(dǎo)致其保存的數(shù)據(jù)塊備份失效后，備份庫選取新的節(jié)點(diǎn)，并重新創(chuàng)建這些失效數(shù)據(jù)塊的備份，保證每個數(shù)據(jù)塊始終擁有η個副本。
[0068