專(zhuān)利名稱(chēng)：數(shù)據(jù)復(fù)制方法及數(shù)據(jù)存儲(chǔ)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明實(shí)施例涉及計(jì)算機(jī)信息存儲(chǔ)技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)復(fù)制方法以及采用該方法的存儲(chǔ)系統(tǒng)。
背景技術(shù)：
計(jì)算機(jī)技術(shù)以及網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，使得全球信息存儲(chǔ)量以每年超過(guò)30%的速度急劇增長(zhǎng)。網(wǎng)絡(luò)存儲(chǔ)成為存儲(chǔ)技術(shù)領(lǐng)域的必然趨勢(shì)，而通過(guò)網(wǎng)絡(luò)在線(xiàn)播放媒體資訊成為了用戶(hù)的生活常態(tài)。其中，以對(duì)象存儲(chǔ)結(jié)構(gòu)為基礎(chǔ)構(gòu)建的大型分布式文件系統(tǒng)，能提供較強(qiáng)的并發(fā)數(shù)據(jù)處理能力，因此，元數(shù)據(jù)服務(wù)管理在大型分布式文件系統(tǒng)中顯得非常重要。但是，傳統(tǒng)的元數(shù)據(jù)管理只是采用靜態(tài)元數(shù)據(jù)分割以及分布存儲(chǔ)，不能較好地實(shí)現(xiàn)負(fù)載的均衡，從而在高并發(fā)時(shí)出現(xiàn)用戶(hù)媒資內(nèi)容播放不穩(wěn)定的問(wèn)題。

發(fā)明內(nèi)容
有鑒于此，有必要提供一種數(shù)據(jù)復(fù)制方法及存儲(chǔ)系統(tǒng)，能夠解決媒資內(nèi)容播放過(guò)程中高并發(fā)的問(wèn)題，提高播放穩(wěn)定性。本發(fā)明實(shí)施例提供一種用于存儲(chǔ)系統(tǒng)的數(shù)據(jù)復(fù)制方法，包括:響應(yīng)客戶(hù)端的讀取文件請(qǐng)求；獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息；基于所述分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ) 節(jié)點(diǎn)向所述客戶(hù)端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件；將已匹配的所述多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步式或列隊(duì)式向客戶(hù)端傳輸。優(yōu)選地，該數(shù)據(jù)復(fù)制方法進(jìn)一步包括:獲取待讀取文件的熱度；如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。優(yōu)選地，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲(chǔ)節(jié)點(diǎn)刪除，而各文件塊僅留一份副本。優(yōu)選地,該數(shù)據(jù)復(fù)制方法進(jìn)一步包括:獲取待讀取文件的熱度，如果所述熱度大于第三熱度閾值，則增加所述待讀取文件的文件分塊數(shù)量，并將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。優(yōu)選地，該數(shù)據(jù)復(fù)制方法進(jìn)一步包括:更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號(hào)、各文件塊的副本數(shù)及各文件塊副本在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息。優(yōu)選地，所述獲取待讀取文件的熱度的步驟，具體包括:在單位時(shí)間內(nèi)，每收到一次來(lái)自客戶(hù)端的讀取文件請(qǐng)求，則將所述讀取文件及其所屬文件塊的熱度增加1，而如果在單位時(shí)間內(nèi)，未收到來(lái)自客戶(hù)端的讀取文件請(qǐng)求，則將所述讀取文件及其所屬文件塊的熱度減少I(mǎi)。同時(shí)，本發(fā)明實(shí)施例還提供一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括:響應(yīng)模塊，用于響應(yīng)客戶(hù)端的讀取文件請(qǐng)求；屬性獲取模塊，用于獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息；策略匹配模塊，用于基于所述分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ)節(jié)點(diǎn)向所述客戶(hù)端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件；傳送模塊，用于將已匹配的所述多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步式或列隊(duì)式向客戶(hù)端傳輸。優(yōu)選地，該數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步包括:熱度獲取模塊，用于獲取待讀取文件的熱度；副本擴(kuò)增模塊，如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。優(yōu)選地，該數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步包括:副本刪除模塊，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲(chǔ)節(jié)點(diǎn)刪除，而各文件塊僅留一份副本。

優(yōu)選地，該數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步包括:屬性更新模塊，用于更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號(hào)、各文件塊的副本數(shù)及各文件塊副本在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信
肩、O采用上述方案，由于結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，并將待讀取文件的各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)分布存儲(chǔ)，可以提高存儲(chǔ)系統(tǒng)高并發(fā)時(shí)的應(yīng)對(duì)能力。此外，由于本發(fā)明實(shí)施例動(dòng)態(tài)獲取待讀取文件的熱度，并同時(shí)匹配存儲(chǔ)節(jié)點(diǎn)的負(fù)載度動(dòng)態(tài)調(diào)整各文件塊的分布存儲(chǔ)，實(shí)現(xiàn)了存儲(chǔ)節(jié)點(diǎn)的在線(xiàn)擴(kuò)容，提升了媒資內(nèi)容播放過(guò)程中的穩(wěn)定性，進(jìn)一步提升了用戶(hù)體驗(yàn)。


圖1為本發(fā)明實(shí)施例用于存儲(chǔ)系統(tǒng)的數(shù)據(jù)復(fù)制方法的流程示意圖；圖2為圖1所示數(shù)據(jù)復(fù)制方法中基于熱點(diǎn)數(shù)據(jù)判斷的具體操作流程示意圖；圖3為本發(fā)明實(shí)施例數(shù)據(jù)存儲(chǔ)系統(tǒng)的模塊結(jié)構(gòu)示意圖；以及圖4為本發(fā)明實(shí)施例數(shù)據(jù)存儲(chǔ)系統(tǒng)的一個(gè)應(yīng)用例的示意圖。
具體實(shí)施例方式為了便于理解本發(fā)明，下面結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明進(jìn)行更詳細(xì)的說(shuō)明。附圖中給出了本發(fā)明的較佳的實(shí)施例。但是，本發(fā)明可以以許多不同的形式來(lái)實(shí)現(xiàn)，并不限于本說(shuō)明書(shū)所描述的實(shí)施例。相反地，提供這些實(shí)施例的目的是使對(duì)本發(fā)明的公開(kāi)內(nèi)容的理解更加透徹全面。需要說(shuō)明的是，除非另有定義，本說(shuō)明書(shū)所使用的所有的技術(shù)和科學(xué)術(shù)語(yǔ)與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。在本發(fā)明的說(shuō)明書(shū)中所使用的術(shù)語(yǔ)只是為了描述具體的實(shí)施例的目的，不是用于限制本發(fā)明。本說(shuō)明書(shū)所使用的術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)相關(guān)的所列項(xiàng)目的任意的和所有的組合。本發(fā)明實(shí)施例提供一種數(shù)據(jù)復(fù)制方法及其存儲(chǔ)系統(tǒng)，該方法結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，并將待讀取文件的各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)分布存儲(chǔ)，提高了存儲(chǔ)系統(tǒng)高并發(fā)時(shí)的穩(wěn)定性。由于動(dòng)態(tài)獲取待讀取文件的熱度，并進(jìn)行動(dòng)態(tài)分布式存儲(chǔ)，實(shí)現(xiàn)了存儲(chǔ)節(jié)點(diǎn)的在線(xiàn)擴(kuò)容，進(jìn)一步提升了用戶(hù)體驗(yàn)。以下分別進(jìn)行詳細(xì)說(shuō)明。請(qǐng)結(jié)合參看圖1，本發(fā)明實(shí)施例用于存儲(chǔ)系統(tǒng)的數(shù)據(jù)復(fù)制方法的流程示意圖，包括如下步驟:步驟102，響應(yīng)客戶(hù)端的讀取文件請(qǐng)求。客戶(hù)端例如可以為遠(yuǎn)程的用戶(hù)終端，如桌面電腦、移動(dòng)電腦及智能手機(jī)等。用戶(hù)通過(guò)搜索選定需要在線(xiàn)播放或者需要離線(xiàn)下載的多媒體文件，向存儲(chǔ)系統(tǒng)發(fā)出讀取文件請(qǐng)求。其中，該多媒體文件的格式包括但不限于AV1、MPG、MP4、RM、RMVB, WMV, MOV、DAT、MTV、VOB等?？蛻?hù)端與存儲(chǔ)系統(tǒng)之間通訊的網(wǎng)絡(luò)連接方式可以采用有線(xiàn)網(wǎng)絡(luò)，也可以采用無(wú)線(xiàn)網(wǎng)絡(luò)，如3G、Wifi等網(wǎng)絡(luò)，在此不做限制。步驟104，獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信
肩、O存儲(chǔ)系統(tǒng)收到客戶(hù)端的讀取文件請(qǐng)求之后，通過(guò)文件管理表查對(duì)待讀取文件的相關(guān)屬性信息，其中的 待讀取文件是指客戶(hù)端所請(qǐng)求讀取的文件。文件管理表可以?xún)?nèi)置于元數(shù)據(jù)控制器內(nèi)，也可以為單獨(dú)的模塊。文件管理表的屬性項(xiàng)具體包括但不受限于:待讀取文件的名稱(chēng)、大小、類(lèi)型、文件塊數(shù)量；各文件塊的編號(hào)、存儲(chǔ)位置、副本數(shù)量、各副本存儲(chǔ)位置，優(yōu)選地還可包括修改時(shí)間、創(chuàng)建日期、所有者、版權(quán)人、版權(quán)信息、持續(xù)時(shí)間、分辨率、幀數(shù)據(jù)等屬性項(xiàng)。例如，下表給出一個(gè)待讀取文件A.AVI在文件管理表中的屬性信息的示例，該表中待讀取文件的分塊及存儲(chǔ)模式與下文將提到的圖4類(lèi)似，具體可以同步參照?qǐng)D4:
文件名稱(chēng) λΦ [H I文件塊數(shù)量 A.AVI3GMEDIA 3
文件塊編號(hào)副本數(shù)量各副本存儲(chǔ)位置
A.AV1-AlIG3T1、T2、T3
A.AV1-A2IG2T1、T2
A.AV1-A3IG2T2、T3該不例中，文件管理表具體包括兩個(gè)子表，一個(gè)子表記錄待讀取文件A.AVI的大小、類(lèi)型及文件塊數(shù)量信息，該表中顯示的待讀取文件A.AVI大小為3G，文件類(lèi)型為MEDIA，即媒體類(lèi)型，文件塊數(shù)量為3。另一個(gè)子表記錄文件分塊的信息，示例顯示了待讀取文件A.AVI的三個(gè)文件塊A.AV1-AU A.AV1-A2、A.AV1-A3大小均為1G，其中文件塊A.AV1-Al有三個(gè)副本，分別存放于存儲(chǔ)節(jié)點(diǎn)Tl、T2和T3 ;文件塊A.AV1-A2有兩個(gè)副本，分別存放于存儲(chǔ)節(jié)點(diǎn)Tl和T2 ;文件塊A.AV1-A3有兩個(gè)副本，分別存放于存儲(chǔ)節(jié)點(diǎn)T2和T3。步驟106，基于所述分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ)節(jié)點(diǎn)向客戶(hù)端傳送整套文件塊，整套文件塊組合而成為待讀取文件。其中，存儲(chǔ)節(jié)點(diǎn)的負(fù)載度例如主要與存儲(chǔ)節(jié)點(diǎn)的隊(duì)列長(zhǎng)度、磁盤(pán)負(fù)載、CPU負(fù)載、內(nèi)存負(fù)載和網(wǎng)絡(luò)負(fù)載等相關(guān)?？梢詫⒋鎯?chǔ)節(jié)點(diǎn)的各相關(guān)因素進(jìn)行歸一化處理，經(jīng)由特定的加權(quán)算法，將每一個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度歸整到O至100之間，以供元數(shù)據(jù)控制器隨時(shí)統(tǒng)計(jì)以及調(diào)用。例如可以通過(guò)設(shè)定第一負(fù)載度閾值為60將存儲(chǔ)節(jié)點(diǎn)進(jìn)行分類(lèi)，負(fù)載度大于或等于60的存儲(chǔ)節(jié)點(diǎn)定義為高負(fù)載度存儲(chǔ)節(jié)點(diǎn)，負(fù)載度小于60的存儲(chǔ)節(jié)點(diǎn)定義為低負(fù)載度存儲(chǔ)節(jié)點(diǎn)。高負(fù)載度存儲(chǔ)節(jié)點(diǎn)代表用戶(hù)的并發(fā)請(qǐng)求較高、文件讀取負(fù)荷較大的存儲(chǔ)節(jié)點(diǎn)。相應(yīng)地，低負(fù)載度存儲(chǔ)節(jié)點(diǎn)代表用戶(hù)的并發(fā)請(qǐng)求較低、文件讀取負(fù)荷較小的存儲(chǔ)節(jié)點(diǎn)。此步驟所說(shuō)的整套文件塊優(yōu)選指組合后不多不少正好能成為待讀取文件的一組文件塊。比如上文提到的示例 ，存儲(chǔ)節(jié)點(diǎn)Tl處的文件塊A.AV1-A2、存儲(chǔ)節(jié)點(diǎn)T2處的文件塊A.AV1-A3以及存儲(chǔ)節(jié)點(diǎn)T3處的文件塊A.AV1-Al，三者組合正好可以形成整個(gè)待讀取文件。在此步驟中，假設(shè)存儲(chǔ)節(jié)點(diǎn)T1、T2、T3均為低負(fù)載度存儲(chǔ)節(jié)點(diǎn)，則元數(shù)據(jù)控制器可以做出以下匹配傳送策略:存儲(chǔ)節(jié)點(diǎn)Tl向客戶(hù)端傳送文件塊A.AV1-A2、存儲(chǔ)節(jié)點(diǎn)Τ2向客戶(hù)端傳送文件塊A.AV1-A3，存儲(chǔ)節(jié)點(diǎn)Τ3向客戶(hù)端傳送文件塊A.AV1-Al。而假設(shè)存儲(chǔ)節(jié)點(diǎn)Tl為高負(fù)載度存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)Τ2、Τ3為低負(fù)載度存儲(chǔ)節(jié)點(diǎn)，則元數(shù)據(jù)控制器可以做出以下匹配傳送策略:存儲(chǔ)節(jié)點(diǎn)Τ2向客戶(hù)端傳送文件塊A.AV1-A2和文件塊A.AV1-A3，存儲(chǔ)節(jié)點(diǎn)Τ3向客戶(hù)端傳送文件塊A.AV1-Al。步驟108，將已匹配的多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步式或列隊(duì)式向客戶(hù)端傳輸。在本步驟中，基于步驟106所形成的匹配傳送策略進(jìn)行文件塊傳送。其中同步傳送或者隊(duì)列式傳送具體可由客戶(hù)端控制，也可以由元數(shù)據(jù)控制器默認(rèn)設(shè)置，比如如果客戶(hù)端允許多線(xiàn)程同步下載則優(yōu)選進(jìn)行同步傳送。在本實(shí)施例中，通過(guò)匹配低負(fù)載度存儲(chǔ)節(jié)點(diǎn)向客戶(hù)傳送文件塊，可以解決并發(fā)較高帶來(lái)的傳送、播放不連續(xù)、不穩(wěn)定問(wèn)題。此外，優(yōu)選地在本實(shí)施例的步驟102之前，還可包括文件分塊以及分布存儲(chǔ)的步驟。待讀取文件的主本首次上傳到存儲(chǔ)系統(tǒng)之后，需要由元數(shù)據(jù)控制器依據(jù)預(yù)定的分塊策略進(jìn)行文件分塊處理，并將分塊后的各文件塊隨機(jī)地存儲(chǔ)于各存儲(chǔ)節(jié)點(diǎn)。也可以選定負(fù)載度低于特定負(fù)載度閾值的若干存儲(chǔ)節(jié)點(diǎn)來(lái)隨機(jī)地存儲(chǔ)各文件塊，或者在每一個(gè)低負(fù)載度的存儲(chǔ)節(jié)點(diǎn)上均制作各文件塊的副本。此處提到的分塊策略，比如可以是以100兆、200兆或300兆等為一個(gè)文件塊。請(qǐng)參閱圖2，為圖1所示數(shù)據(jù)復(fù)制方法中基于熱點(diǎn)數(shù)據(jù)判斷的具體操作流程示意圖。步驟112，獲取待讀取文件的熱度。
本實(shí)施例中，熱度為待讀取文件被請(qǐng)求讀取的頻繁程度。熱度的具體數(shù)值形成規(guī)則可由元數(shù)據(jù)控制器預(yù)先定義。例如，在預(yù)定單位時(shí)間比如I分鐘、5分鐘或者I小時(shí)內(nèi)，每收到一次來(lái)自客戶(hù)端的讀取文件請(qǐng)求，則將該待讀取文件及其所屬文件塊的熱度增加1，而如果在該單位時(shí)間內(nèi)，未收到來(lái)自客戶(hù)端的讀取文件請(qǐng)求，則將該待讀取文件及其所屬文件塊的熱度減少I(mǎi)。步驟114，判定熱度大小。在此步驟中，預(yù)先定義三個(gè)熱度閾值:第一熱度閾值、第二熱度閾值以及第三熱度閾值。熱度閾值的設(shè)定與用于統(tǒng)計(jì)的預(yù)定單位時(shí)間相關(guān)聯(lián)。比如單位時(shí)間為5分鐘時(shí)，可分別設(shè)置第一熱度閾值、第二熱度閾值以及第三熱度閾值為200、50和300。比如,如果熱度大于第一熱度閾值200，則可認(rèn)為該待讀取文件為熱點(diǎn)數(shù)據(jù)。如果熱度小于第二熱度閾值50，則可認(rèn)為該待讀取文件為冷點(diǎn)數(shù)據(jù)。如果熱度大于第三熱度閾值300，則可認(rèn)為該待讀取文件為超熱點(diǎn)數(shù)據(jù)。步驟116，如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。在本步驟中，主要完成熱點(diǎn)數(shù)據(jù)的副本擴(kuò)增制作。其中第二負(fù)載閾值可以根據(jù)情況設(shè)定為60、50、40、30、20或10等。對(duì)于大型分布式存儲(chǔ)系統(tǒng)而言，考慮到低負(fù)載存儲(chǔ)節(jié)點(diǎn)數(shù)量較大，可以采取隨機(jī)制作副本的形式，具體的隨機(jī)模式可由元數(shù)據(jù)控制器預(yù)定。對(duì)于低負(fù)載存儲(chǔ)節(jié)點(diǎn)數(shù)量不多的情況，則可以設(shè)置在每個(gè)存儲(chǔ)節(jié)點(diǎn)上均制作副本。通過(guò)將熱點(diǎn)數(shù)據(jù)在低負(fù)載的存儲(chǔ)節(jié)點(diǎn)上制作副本，來(lái)提升熱點(diǎn)數(shù)據(jù)的傳播速度及穩(wěn)定性，同時(shí)還可以平衡各存儲(chǔ)節(jié)點(diǎn)之間的負(fù)荷。步驟118，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲(chǔ)節(jié)點(diǎn)刪除，而各文件塊僅留一份副本。在本步驟中，主要完成冷點(diǎn)數(shù)據(jù)的副本刪除操作。對(duì)于冷點(diǎn)數(shù)據(jù)，由于用戶(hù)讀取頻率較低，通過(guò)及時(shí)刪除文件塊的多余副本，可以釋放存儲(chǔ)空間，以便供熱點(diǎn)數(shù)據(jù)擴(kuò)增副本使用。需要注意的是，不能刪除全部的文件塊，至少需要保留一份副本，以便供用戶(hù)請(qǐng)求讀取文件時(shí)不至于落空。步驟120，如果所述熱度大于第三熱度閾值，則增加所述待讀取文件的文件分塊數(shù)量，并將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。在本步驟中，主要完成超熱點(diǎn)數(shù)據(jù)的細(xì)化分塊以及副本擴(kuò)增制作。對(duì)于超熱點(diǎn)數(shù)據(jù)，由于用戶(hù)訪(fǎng)問(wèn)頻率很高，僅通過(guò)分配低負(fù)載存儲(chǔ)節(jié)點(diǎn)還不能完全滿(mǎn)足播放穩(wěn)定性的情況下，需要進(jìn)一步細(xì)化文件分塊。比如，如果對(duì)于熱點(diǎn)數(shù)據(jù)是以600兆為一個(gè)塊的分塊策略，則對(duì)于超熱點(diǎn)數(shù)據(jù)可以采用300兆、200兆甚至100兆為一個(gè)塊的分塊策略。本步驟中，副本擴(kuò)增制作的過(guò)程與前文同，在此不再介紹。步驟122，更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號(hào)、各文件塊的副本數(shù)及各文件塊副本在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息。對(duì)上述的熱點(diǎn)數(shù)據(jù)、冷點(diǎn)數(shù)據(jù)以及超熱點(diǎn)數(shù)據(jù)進(jìn)行數(shù)據(jù)復(fù)制或刪除操作之后，需要在文件管理表中進(jìn)行屬性更新，以便于后續(xù)的查詢(xún)以及傳送匹配策略制定。前文已經(jīng)對(duì)文件管理表的屬性信息進(jìn)行 過(guò)相關(guān)介紹，在此不再重復(fù)。
本實(shí)施例通過(guò)將熱點(diǎn)數(shù)據(jù)在低負(fù)載的存儲(chǔ)節(jié)點(diǎn)上制作副本，來(lái)提升熱點(diǎn)數(shù)據(jù)的傳播速度及穩(wěn)定性，同時(shí)還可以平衡各存儲(chǔ)節(jié)點(diǎn)之間的負(fù)荷。對(duì)于冷點(diǎn)數(shù)據(jù)，由于用戶(hù)讀取頻率較低，通過(guò)及時(shí)刪除文件塊的多余副本，可以釋放存儲(chǔ)空間，以便供熱點(diǎn)數(shù)據(jù)擴(kuò)增副本使用。而對(duì)于超熱點(diǎn)數(shù)據(jù)，則通過(guò)進(jìn)一步細(xì)化文件分塊以及副本擴(kuò)增的方式來(lái)解決傳播速度及穩(wěn)定性問(wèn)題。需要強(qiáng)調(diào)說(shuō)明的是，這里所說(shuō)的基于熱點(diǎn)數(shù)據(jù)判斷的具體操作步驟112至122優(yōu)選在圖1的步驟104之后進(jìn)行。當(dāng)然，不受限于此，也可以在步驟108之后進(jìn)行?；蛘咴O(shè)置預(yù)定時(shí)間間隔比如I小時(shí)或2小時(shí)，由元數(shù)據(jù)控制器定期啟動(dòng)該基于熱點(diǎn)數(shù)據(jù)判斷的相關(guān)數(shù)據(jù)復(fù)制或刪除步驟，以實(shí)現(xiàn)最優(yōu)化的熱點(diǎn)數(shù)據(jù)傳送。請(qǐng)參閱圖3，是本發(fā)明實(shí)施例數(shù)據(jù)存儲(chǔ)系統(tǒng)200的模塊結(jié)構(gòu)示意圖。數(shù)據(jù)存儲(chǔ)系統(tǒng)200包括響應(yīng)模塊202、屬性獲取模塊204、策略匹配模塊206及傳送模塊208。優(yōu)選地，可進(jìn)一步包括熱度獲取模塊210、副本擴(kuò)增模塊212、副本刪除模塊214及屬性更新模塊216。其中，響應(yīng)模塊202用于響應(yīng)客戶(hù)端的讀取文件請(qǐng)求；屬性獲取模塊204用于獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息；策略匹配模塊206用于基于所述分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ)節(jié)點(diǎn)向所述客戶(hù)端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件；傳送模塊208用于將已匹配的所述多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步式或列隊(duì)式向客戶(hù)端傳輸。在優(yōu)選實(shí)施例中，熱度獲取模塊210用于獲取待讀取文件的熱度；副本擴(kuò)增模塊212用于，如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值 的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。副本刪除模塊214用于，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲(chǔ)節(jié)點(diǎn)刪除，而各文件塊僅留一份副本。屬性更新模塊216用于更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號(hào)、各文件塊的副本數(shù)及各文件塊副本在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息。請(qǐng)參閱圖4，為本發(fā)明實(shí)施例數(shù)據(jù)存儲(chǔ)系統(tǒng)300的一個(gè)應(yīng)用例的示意圖。其中為了下文清楚說(shuō)明起見(jiàn)，同時(shí)示意顯示了存儲(chǔ)系統(tǒng)控制客戶(hù)端。數(shù)據(jù)存儲(chǔ)系統(tǒng)300工作時(shí)，元數(shù)據(jù)控制器首先接收來(lái)自存儲(chǔ)系統(tǒng)控制客戶(hù)端的讀取文件請(qǐng)求，再基于該請(qǐng)求從文件管理表查詢(xún)得到待讀取文件的分塊信息以及存儲(chǔ)分布信息，基于該分塊信息以及分布存儲(chǔ)信息匹配制定出文件塊傳送策略。然后再將該傳送策略發(fā)送至控制客戶(hù)端，控制客戶(hù)端基于該傳送策略直接向各存儲(chǔ)節(jié)點(diǎn)Tl、T2、T3獲取相應(yīng)的文件分塊1、分塊2及分塊3。獲取全套文件分塊之后，在客戶(hù)端將文件分塊1、分塊2及分塊3組合成待讀取文件，進(jìn)而進(jìn)行播放使用。當(dāng)然，在客戶(hù)端也不排除使用邊下載邊播放的模式。其中，元數(shù)據(jù)控制器還可以同步進(jìn)行基于熱點(diǎn)數(shù)據(jù)判斷的數(shù)據(jù)復(fù)制或刪除操作。圖4中顯示了存儲(chǔ)節(jié)點(diǎn)2正在將熱點(diǎn)數(shù)據(jù)文件塊I在存儲(chǔ)節(jié)點(diǎn)I和存儲(chǔ)節(jié)點(diǎn)3上制作副本。需要說(shuō)明的是，上述裝置和系統(tǒng)內(nèi)的各單元、各模塊之間的信息交互、執(zhí)行過(guò)程等內(nèi)容，由于與本發(fā)明方法實(shí)施例基于同一構(gòu)思，具體內(nèi)容可參見(jiàn)本發(fā)明方法實(shí)施例中的敘述，此處不再贅述。采用上述方案，由于結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，并將待讀取文件的各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)分布存儲(chǔ)，可以提高存儲(chǔ)系統(tǒng)高并發(fā)時(shí)的應(yīng)對(duì)能力。此外，由于本發(fā)明實(shí)施例動(dòng)態(tài)獲取待讀取文件的熱度，并同時(shí)匹配存儲(chǔ)節(jié)點(diǎn)的負(fù)載度動(dòng)態(tài)調(diào)整各文件塊的分布存儲(chǔ)，實(shí)現(xiàn)了存儲(chǔ)節(jié)點(diǎn)的在線(xiàn)擴(kuò)容，提升了媒資內(nèi)容播放過(guò)程中的穩(wěn)定性，進(jìn)一步提升了用戶(hù)體驗(yàn)。需要說(shuō)明的是，盡管本說(shuō)明書(shū)以多媒體播放應(yīng)用場(chǎng)景進(jìn)行示意介紹，但是，本發(fā)明的應(yīng)用領(lǐng)域不受限于此。比如本發(fā)明可以適用于大文件(大于100兆)、超大文件(大于1G)的云端服務(wù)器分布式讀取。還可以適用于比如石油勘探、醫(yī)院病人檢查數(shù)據(jù)中的數(shù)據(jù)處理等。此外，本發(fā)明各實(shí)施例對(duì)相關(guān)負(fù)載度、熱度、閾值及其預(yù)設(shè)值不做額外限制，只需依據(jù)實(shí)際應(yīng)用情況對(duì)其進(jìn)行定義即可。本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括:只讀存儲(chǔ)器(ROM，Read Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，RandomAccess Memory)、磁盤(pán)或光盤(pán)等。需要說(shuō)明的是，上述各技術(shù)特征繼續(xù)相互組合，形成未在上面列舉的各種實(shí)施例，均視為本發(fā)明說(shuō)明書(shū)記載的范圍；并且，對(duì)本領(lǐng)域普通技術(shù)人員來(lái)說(shuō)，可以根據(jù)上述說(shuō)明加以改進(jìn)或變換，而所有這 些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種用于存儲(chǔ)系統(tǒng)的數(shù)據(jù)復(fù)制方法，其特征在于，包括: 響應(yīng)客戶(hù)端的讀取文件請(qǐng)求； 獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息； 基于所述分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ)節(jié)點(diǎn)向所述客戶(hù)端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件； 將已匹配的所述多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步式或列隊(duì)式向客戶(hù)端傳輸。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)復(fù)制方法，其特征在于，所述方法進(jìn)一步包括: 獲取待讀取文件的熱度； 如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)復(fù)制方法，其特征在于，所述方法進(jìn)一步包括: 如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲(chǔ)節(jié)點(diǎn)刪除，而各文件塊僅留一份副本。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)復(fù)制方法，其特征在于，所述方法進(jìn)一步包括: 獲取待讀取文件的熱度，如果所述熱度大于第三熱度閾值，則增加所述待讀取文件的文件分塊數(shù)量，并將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或 者隨機(jī)制作副本。
5.根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的數(shù)據(jù)復(fù)制方法，其特征在于，所述方法進(jìn)一步包括: 更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號(hào)、各文件塊的副本數(shù)及各文件塊副本在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息。
6.根據(jù)權(quán)利要求2至4中任一項(xiàng)所述的數(shù)據(jù)復(fù)制方法，其特征在于，所述獲取待讀取文件的熱度的步驟，具體包括:在單位時(shí)間內(nèi)，每收到一次來(lái)自客戶(hù)端的讀取文件請(qǐng)求，則將所述讀取文件及其所屬文件塊的熱度增加I，而如果在單位時(shí)間內(nèi)，未收到來(lái)自客戶(hù)端的讀取文件請(qǐng)求，則將所述待讀取文件及其所屬文件塊的熱度減少I(mǎi)。
7.一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，包括: 響應(yīng)模塊，用于響應(yīng)客戶(hù)端的讀取文件請(qǐng)求； 屬性獲取模塊，用于獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息； 策略匹配模塊，用于基于所述分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ)節(jié)點(diǎn)向所述客戶(hù)端傳送整套文件塊，所述整套文件塊組合而成為所述待讀取文件； 傳送模塊，用于將已匹配的所述多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步式或列隊(duì)式向客戶(hù)端傳輸。
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步包括: 熱度獲取模塊，用于獲取待讀取文件的熱度； 副本擴(kuò)增模塊，如果所述熱度大于第一熱度閾值，則將所述待讀取文件所屬的各文件塊在負(fù)載度低于第二負(fù)載度閾值的存儲(chǔ)節(jié)點(diǎn)上均制作副本或者隨機(jī)制作副本。
9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步包括副本刪除模塊，如果所述熱度小于第二熱度閾值，則將所述待讀取文件所屬的各文件塊的副本在各存儲(chǔ)節(jié)點(diǎn)刪除，而各文件塊僅留一份副本。
10.根據(jù)權(quán)利要求8或9所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)一步包括屬性更新模塊， 用于更新待讀取文件的屬性信息，所述屬性信息包括所述待讀取文件所屬的各文件塊的編號(hào)、各文件塊的副本數(shù)及各文件塊副本在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息。
全文摘要
本發(fā)明實(shí)施例提供一種數(shù)據(jù)復(fù)制方法及其存儲(chǔ)系統(tǒng)，該方法包括響應(yīng)客戶(hù)端的讀取文件請(qǐng)求；獲取待讀取文件的各文件塊編號(hào)及各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)的分布信息；基于分布信息，并結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，匹配負(fù)載度低于第一負(fù)載度閾值的多個(gè)存儲(chǔ)節(jié)點(diǎn)向所述客戶(hù)端傳送整套文件塊；將已匹配的多個(gè)存儲(chǔ)節(jié)點(diǎn)上的各文件塊同步或列隊(duì)向客戶(hù)端傳輸。本發(fā)明實(shí)施例由于結(jié)合相應(yīng)存儲(chǔ)節(jié)點(diǎn)的負(fù)載度信息，并將待讀取文件的各文件塊在相應(yīng)存儲(chǔ)節(jié)點(diǎn)分布存儲(chǔ)，提高了存儲(chǔ)系統(tǒng)高并發(fā)時(shí)的穩(wěn)定性。由于動(dòng)態(tài)獲取待讀取文件的熱度，并進(jìn)行動(dòng)態(tài)分布式存儲(chǔ)，實(shí)現(xiàn)了存儲(chǔ)節(jié)點(diǎn)的在線(xiàn)擴(kuò)容，進(jìn)一步提升了用戶(hù)體驗(yàn)。
文檔編號(hào)H04L29/08GK103220367SQ20131017806
公開(kāi)日2013年7月24日 申請(qǐng)日期2013年5月13日 優(yōu)先權(quán)日2013年5月13日
發(fā)明者羅學(xué)波 申請(qǐng)人:深圳市中博科創(chuàng)信息技術(shù)有限公司