數(shù)據(jù)存儲方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)存儲方法、裝置及系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有的網(wǎng)絡(luò)存儲技術(shù)通常以分片數(shù)據(jù)的形式存儲文件或其他數(shù)據(jù)，即將較小的文件或較大文件分片后得到的分片數(shù)據(jù)存儲在多個存儲節(jié)點上。例如谷歌公司的GFS (GoogleFile System，谷歌文件系統(tǒng))，即通過對分片數(shù)據(jù)的進(jìn)行哈希后，根據(jù)哈希值定位到相應(yīng)的存儲節(jié)點，然后將分片數(shù)據(jù)發(fā)送至該存儲節(jié)點存儲。
[0003]然而，該數(shù)據(jù)存儲方法由于是根據(jù)分片數(shù)據(jù)的哈希值選擇存儲節(jié)點(基本等同于隨機(jī)選取)，使得在某些存儲節(jié)點帶寬不夠或存儲負(fù)載較高或存儲空間不足時，存儲效率較低，即時重新選擇存儲節(jié)點，而重新選擇的過程也導(dǎo)致存儲效率較低。

【發(fā)明內(nèi)容】

[0004]基于此，有必要提供一種能夠提高存儲效率的數(shù)據(jù)存儲方法。
[0005]一種數(shù)據(jù)存儲方法，包括:
[0006]接收上傳的分片數(shù)據(jù)，提取所述分片數(shù)據(jù)的數(shù)據(jù)標(biāo)識；
[0007]獲取存儲節(jié)點的存儲狀態(tài)，根據(jù)所述存儲狀態(tài)選取存儲節(jié)點，根據(jù)所述數(shù)據(jù)標(biāo)識向存儲節(jié)點請求分配存儲空間；
[0008]接收所述存儲節(jié)點返回的與所述數(shù)據(jù)標(biāo)識對應(yīng)的存儲地址標(biāo)識，所述存儲地址標(biāo)識與存儲節(jié)點為所述數(shù)據(jù)標(biāo)識分配的存儲單元上的偏移位置對應(yīng)；
[0009]將所述分片數(shù)據(jù)發(fā)送至所述存儲地址標(biāo)識對應(yīng)的存儲位置進(jìn)行存儲。
[0010]此外，還有必要提供一種能夠提高存儲效率的數(shù)據(jù)存儲裝置。
[0011]—種數(shù)據(jù)存儲裝置，包括:
[0012]數(shù)據(jù)接收模塊，用于接收上傳的分片數(shù)據(jù)，提取所述分片數(shù)據(jù)的數(shù)據(jù)標(biāo)識；
[0013]存儲節(jié)點選擇模塊，用于獲取存儲節(jié)點的存儲狀態(tài)，根據(jù)所述存儲狀態(tài)選取存儲節(jié)點，根據(jù)所述數(shù)據(jù)標(biāo)識向存儲節(jié)點請求分配存儲空間；
[0014]存儲地址獲取模塊，用于接收所述存儲節(jié)點返回的與所述數(shù)據(jù)標(biāo)識對應(yīng)的存儲地址標(biāo)識，所述存儲地址標(biāo)識與存儲節(jié)點為所述數(shù)據(jù)標(biāo)識分配的存儲單元上的偏移位置對應(yīng)；
[0015]數(shù)據(jù)存儲模塊，用于將所述分片數(shù)據(jù)發(fā)送至所述存儲地址標(biāo)識對應(yīng)的存儲位置進(jìn)行存儲。
[0016]此外，還有必要提供一種能夠提高存儲效率的數(shù)據(jù)存儲系統(tǒng)。
[0017]一種數(shù)據(jù)存儲系統(tǒng)，包括門面節(jié)點和存儲節(jié)點，其中:
[0018]門面節(jié)點用于接收上傳的分片數(shù)據(jù)，獲取存儲節(jié)點的存儲狀態(tài)，根據(jù)所述存儲狀態(tài)選取存儲節(jié)點，向所述存儲節(jié)點發(fā)送存儲空間分配請求；
[0019]存儲節(jié)點用于為所述存儲空間分配請求分配存儲單元，并獲取所述存儲單元上的空閑的存儲位置的偏移量，根據(jù)所述分配的存儲單元和偏移量生成存儲地址標(biāo)識，返回所述門面節(jié)點。
[0020]門面節(jié)點用于將所述分片數(shù)據(jù)發(fā)送至所述存儲地址標(biāo)識對應(yīng)的存儲節(jié)點；
[0021]存儲節(jié)點用于根據(jù)所述存儲地址標(biāo)識存儲所述分片數(shù)據(jù)。
[0022]此外，還有必要提供一種能夠提高存儲效率的數(shù)據(jù)存儲方法。
[0023]一種數(shù)據(jù)存儲方法，包括:
[0024]門面節(jié)點接收上傳的分片數(shù)據(jù)，獲取存儲節(jié)點的存儲狀態(tài)，根據(jù)所述存儲狀態(tài)選取存儲節(jié)點，向所述存儲節(jié)點發(fā)送存儲空間分配請求；
[0025]存儲節(jié)點用于為所述存儲空間分配請求分配存儲單元，并獲取所述存儲單元上的空閑的存儲位置的偏移量，根據(jù)所述分配的存儲單元和偏移量生成存儲地址標(biāo)識，返回所述門面節(jié)點。
[0026]所述門面節(jié)點將所述分片數(shù)據(jù)發(fā)送至所述存儲地址標(biāo)識對應(yīng)的存儲節(jié)點；
[0027]所述存儲節(jié)點根據(jù)所述存儲地址標(biāo)識存儲所述分片數(shù)據(jù)。
[0028]上述數(shù)據(jù)存儲方法及裝置中，門面節(jié)點在選擇存儲節(jié)點時，根據(jù)存儲節(jié)點的存儲狀態(tài)進(jìn)行選擇，也就是說總是會選擇存儲速度較快的或剩余存儲空間較大的存儲節(jié)點進(jìn)行存儲，使得存儲效率得到提高。
[0029]同時，由于同一時間存儲節(jié)點的存儲狀態(tài)不會發(fā)生突發(fā)性的改變，使得在存儲大文件的多個連續(xù)的分片數(shù)據(jù)時，通常會存儲在同一個存儲節(jié)點上，因此在存儲節(jié)點搬遷或存儲節(jié)點上的數(shù)據(jù)進(jìn)行遷移時，涉及到的關(guān)聯(lián)的存儲節(jié)點的數(shù)量較小，從而降低了搬遷成本。
【附圖說明】
[0030]圖1為一個實施例中一種數(shù)據(jù)存儲系統(tǒng)的架構(gòu)圖；
[0031]圖2為一個實施例中一種數(shù)據(jù)存儲方法的流程圖；
[0032]圖3為一個實施例中存儲節(jié)點的內(nèi)部架構(gòu)示意圖；
[0033]圖4為一個實施例中獲取存儲狀態(tài)的過程示意圖；
[0034]圖5為一個實施例中分配存儲單元的過程示意圖；
[0035]圖6為一個實施例中創(chuàng)建索引的過程示意圖；
[0036]圖7為一個實施例中存儲和下載過程的時序圖；
[0037]圖8為另一個實施例中一種數(shù)據(jù)存儲系統(tǒng)的架構(gòu)圖；
[0038]圖9為一個實施例中一種數(shù)據(jù)存儲裝置的結(jié)構(gòu)示意圖；
[0039]圖10為一個實施例中數(shù)據(jù)存儲方法的流程圖；
[0040]圖11為一個實施例中運行上述數(shù)據(jù)存儲方法的服務(wù)器硬件環(huán)境圖。
【具體實施方式】
[0041]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0042]具體的，在本實施例中，為了能夠提高存儲效率，特提出了一種數(shù)據(jù)存儲方法，該方法的實現(xiàn)可依賴計算機(jī)程序，可運行于基于馮諾依曼體系的計算機(jī)系統(tǒng)上。如圖1所示，該計算機(jī)系統(tǒng)可以是圖2所示的文件管理系統(tǒng)中的門面節(jié)點。
[0043]圖1展示了一種文件管理系統(tǒng)，包括門面節(jié)點10和存儲節(jié)點20，可提供數(shù)據(jù)存儲和數(shù)據(jù)下載服務(wù)。門面節(jié)點10可與終端30連接，終端30可向門面節(jié)點10上傳文件或下載文件。門面節(jié)點10則將終端30上傳的數(shù)據(jù)轉(zhuǎn)發(fā)至存儲節(jié)點20。存儲節(jié)點20包含有多個存儲單元，如圖1中存儲節(jié)點24包含存儲單元24A至存儲單元24C，存儲節(jié)點可將數(shù)據(jù)存儲在存儲單元中。
[0044]存儲節(jié)點20上的存儲單元可以是獨立的磁盤、磁帶或存儲服務(wù)器硬件實體，也可以是與同一磁盤上的不同存儲區(qū)域?qū)?yīng)的邏輯存儲塊。例如，在一個應(yīng)用場景中，可以獨立的磁盤(例如ITB大小的硬盤)作為存儲單元,每塊磁盤即為一個存儲單元。在另一個應(yīng)用場景中，則可在大型的存儲服務(wù)器上劃分多個ITB的邏輯存儲塊，每個ITB的邏輯存儲塊即為存儲空間大小為ITB的存儲單元。
[0045]需要說明的是，門面節(jié)點10可以是單一的服務(wù)器硬件實體設(shè)備，也可以是多個服務(wù)器構(gòu)成的服務(wù)器集群，該服務(wù)器集群中的服務(wù)器可分別實現(xiàn)門面節(jié)點的多個邏輯功能，單一服務(wù)器場景中的函數(shù)調(diào)用即可通過多服務(wù)器之間的通信實現(xiàn)。
[0046]具體的，如圖2所示，該方法包括:
[0047]步驟S102:接收上傳的分片數(shù)據(jù)，提取分片數(shù)據(jù)的數(shù)據(jù)標(biāo)識。
[0048]分片數(shù)據(jù)可以是較小的獨立的文件，也可以是文件片段。例如，若預(yù)先設(shè)置4kb大小的數(shù)據(jù)段為一個分片數(shù)據(jù)，則一個大小只有3kb的文檔文件為一個分片數(shù)據(jù)，而一個大小為4mb的mp3音頻文件則可被劃分為1000個大小為4kb的分片數(shù)據(jù)。
[0049]在本實施例中，分片數(shù)據(jù)的數(shù)據(jù)標(biāo)識可以是文件名或文件的摘要編碼。如前例中，接收用戶上傳的該3kb的文檔文件后，可將該文件的文件名加入上傳時間戳的字段，然后將加入了上傳時間戳字段的文件名作為該3kb文檔文件的數(shù)據(jù)標(biāo)識。下載時，用戶即可