本發(fā)明涉及一種基于磁盤的對象存儲系統(tǒng),屬于計算機存儲領(lǐng)域。
背景技術(shù):
隨著信息技術(shù)的飛速發(fā)展,數(shù)據(jù)爆炸已成為一個突出問題,大數(shù)據(jù)存儲和管理技術(shù)已經(jīng)是近幾年的研究熱點之一。傳統(tǒng)的數(shù)據(jù)存儲與管理方式已經(jīng)很難滿足大數(shù)據(jù)存儲在在容量、性能、存儲效率和安全性等方面的要求。而且大部分數(shù)據(jù)采集系統(tǒng),比如雷達回波信號數(shù)據(jù)采集、數(shù)字視頻信號處理及高碼率衛(wèi)星數(shù)據(jù)信號的采集等,都要求對數(shù)據(jù)進行實時的傳輸與存儲,這就對數(shù)據(jù)采集存儲系統(tǒng)的采集速率、傳輸速度、存儲速度、存儲容量以及數(shù)據(jù)存儲的可靠性等方面提出了更高的要求。因此,對高速大數(shù)據(jù)存儲技術(shù)的研究就越發(fā)顯得重要。大數(shù)據(jù)高效存儲是未來的存儲應用趨勢。
目前市場上大多數(shù)的存儲方案大部分是基于購買商業(yè)硬件或是使用一些比較成熟的分布式存儲技術(shù)方案,購買商業(yè)的硬件設備方案的優(yōu)點是穩(wěn)定性比較高,缺點是價格昂貴,一般除了銀行這種對數(shù)據(jù)正確性要求極高的行業(yè)比較適合。分布式存儲技術(shù)的方案采用的是軟件實現(xiàn)方法,將多個硬件設備聚集起來使用,能夠擴充其存儲容量,但是在讀寫效率方面略遜與商業(yè)存儲方案,還需要不斷的完善。
技術(shù)實現(xiàn)要素:
為了解決上述問題,本發(fā)明提供一種基于磁盤的對象存儲系統(tǒng)。
本發(fā)明采用的技術(shù)方案為一種基于磁盤的對象存儲系統(tǒng),包括:輸入模塊、元數(shù)據(jù)服務器、內(nèi)核層模塊和磁盤模塊,其中,輸入模塊連接元數(shù)據(jù)服務器,元數(shù)據(jù)服務器通過內(nèi)核層模塊連接磁盤模塊;輸入模塊輸出待存儲數(shù)據(jù)至元數(shù)據(jù)服務器;元數(shù)據(jù)服務器基于對象存儲技術(shù)處理待存儲數(shù)據(jù),標記該處理后的數(shù)據(jù)為對象數(shù)據(jù),通過內(nèi)核層模塊獲取磁盤的存儲空間信息,基于存儲空間信息存儲對象數(shù)據(jù)。
優(yōu)選地,所述輸入模塊還包括web單元,用于通過web瀏覽器獲取待存儲數(shù)據(jù)。
優(yōu)選地,所述元數(shù)據(jù)服務器解析待存儲數(shù)據(jù),基于預設的分塊規(guī)則將數(shù)據(jù)分塊,基于分塊數(shù)據(jù)的屬性輸出對象信息,結(jié)合對象信息和分塊數(shù)據(jù),標記其為對象數(shù)據(jù)。
優(yōu)選地,所述內(nèi)核層模塊基于內(nèi)核函數(shù)讀取磁盤的存儲空間信息并反饋至元數(shù)據(jù)服務器,元數(shù)據(jù)服務器基于存儲空間信息生成分塊規(guī)則。
優(yōu)選地,所述存儲空間信息包括磁盤容量和磁道位置。
本發(fā)明的有益效果為提供一個元數(shù)據(jù)服務器,將對數(shù)據(jù)進行處理以實現(xiàn)對象存儲,基于內(nèi)核層直接將數(shù)據(jù)存儲進入磁盤,不經(jīng)過其他的緩存結(jié)構(gòu),能夠顯著提高數(shù)據(jù)傳輸?shù)男屎退俣取?/p>
附圖說明
圖1所示為基于本發(fā)明實施例的一種基于磁盤的對象存儲系統(tǒng)示意圖。
具體實施方式
以下結(jié)合實施例對本發(fā)明進行說明。
基于發(fā)明的實施例,如圖1所示一種基于磁盤的對象存儲系統(tǒng),包括:輸入模塊、元數(shù)據(jù)服務器、內(nèi)核層模塊和磁盤模塊,其中,輸入模塊連接元數(shù)據(jù)服務器,元數(shù)據(jù)服務器通過內(nèi)核層模塊連接磁盤模塊;輸入模塊輸出待存儲數(shù)據(jù)至元數(shù)據(jù)服務器;元數(shù)據(jù)服務器基于對象存儲技術(shù)處理待存儲數(shù)據(jù),標記該處理后的數(shù)據(jù)為對象數(shù)據(jù),通過內(nèi)核層模塊獲取磁盤的存儲空間信息,基于存儲空間信息存儲對象數(shù)據(jù)。
輸入模塊為數(shù)據(jù)的來源,元數(shù)據(jù)服務器為數(shù)據(jù)處理的中心,內(nèi)核層模塊為承接元數(shù)據(jù)服務器命令并在內(nèi)核層次進行硬件/接口方面操作的模塊;元數(shù)據(jù)服務器獲取數(shù)據(jù)之后,首先是對數(shù)據(jù)進行處理,因為要實現(xiàn)對象存儲,需要對所存儲的數(shù)據(jù)進行屬性的區(qū)別和基于該區(qū)別的存儲映射;第一步解析數(shù)據(jù),獲取數(shù)據(jù)的一些基本屬性的信息,例如數(shù)據(jù)量的大小,數(shù)據(jù)的標簽內(nèi)容,數(shù)據(jù)的類型等,基于這部分信息,生成一個標記,結(jié)合標記和數(shù)據(jù)生成一個集合體,即對象存儲的基本數(shù)據(jù)單元(對象數(shù)據(jù)),然后通過內(nèi)核層模塊的相關(guān)的內(nèi)核函數(shù),獲取磁盤的存儲信息,例如磁道位置,磁盤大小等;將對象數(shù)據(jù)存儲入磁盤,例如磁頭以某一個規(guī)定的順序運行,然后依次將數(shù)據(jù)存入,同時返回寫入的位置信息,將位置信息與對象數(shù)據(jù)進行映射,即完成對象存儲的過程。
將磁盤驅(qū)動器作為對象存儲數(shù)據(jù),更接近操作系統(tǒng)的底層,也就是在內(nèi)核層直接將從服務器接收到的數(shù)據(jù)保存到磁盤上,在整個系統(tǒng)運行過程中充分利用磁盤的讀寫性能,以至少提高一倍的效率讀寫數(shù)據(jù),因為不需要經(jīng)過系統(tǒng)的緩存了,減少了內(nèi)存到磁盤的一次中轉(zhuǎn),其性能的最大發(fā)揮只取決于磁盤的參數(shù)等硬件指標。
所述輸入模塊還包括web單元,用于通過web瀏覽器獲取待存儲數(shù)據(jù)。
輸入模塊除了能將本地存儲的數(shù)據(jù)輸出之外,還設有遠程的數(shù)據(jù)傳輸單元,通過網(wǎng)絡接收web瀏覽器輸出的數(shù)據(jù)。
所述元數(shù)據(jù)服務器解析待存儲數(shù)據(jù),基于預設的分塊規(guī)則將數(shù)據(jù)分塊,基于分塊數(shù)據(jù)的屬性輸出對象信息,結(jié)合對象信息和分塊數(shù)據(jù),標記其為對象數(shù)據(jù)。
對數(shù)據(jù)進行分塊,然后進行標記,是現(xiàn)在分布式文件的基本的內(nèi)容,而分塊的規(guī)則一般采用數(shù)據(jù)的類型(即同類信息放一起)、大小、時鐘信息(一定時間內(nèi)的數(shù)據(jù)分在一起),數(shù)據(jù)的標簽(即數(shù)據(jù)本身具有標簽說明數(shù)據(jù)內(nèi)容,同標簽則分在一起),基于上述規(guī)則分塊的數(shù)據(jù),輸出對象信息(例如屬于那個類型的,第幾個分塊,分塊時間等),結(jié)合對象信息和數(shù)據(jù)本身,則形成對象數(shù)據(jù)。
所述內(nèi)核層模塊基于內(nèi)核函數(shù)讀取磁盤的存儲空間信息并反饋至元數(shù)據(jù)服務器,元數(shù)據(jù)服務器基于存儲空間信息生成分塊規(guī)則。
內(nèi)核層模塊獲取磁盤的存儲屬性的信息之后,反饋到元數(shù)據(jù)服務器,服務器根據(jù)存儲信息進行分析,例如磁盤大小為100MB,而本次輸入的數(shù)據(jù)為96,則可以分為2個塊各48,然后剩下的4mb則作為存儲其他合適數(shù)據(jù)塊的分塊,因為是根據(jù)對象屬性進行映射對應的方式,所以存儲在不同磁盤也不會對數(shù)據(jù)的連續(xù)性造成太大的影響。
所述存儲空間信息包括磁盤容量和磁道位置。
以上所述,只是本發(fā)明的較佳實施例而已,本發(fā)明并不局限于上述實施方式,只要其以相同的手段達到本發(fā)明的技術(shù)效果,都應屬于本發(fā)明的保護范圍。在本發(fā)明的保護范圍內(nèi)其技術(shù)方案和/或?qū)嵤┓绞娇梢杂懈鞣N不同的修改和變化。