1.一種云存儲平臺的醫(yī)藥數(shù)據(jù)處理方法,其特征在于,包括:
在數(shù)據(jù)在寫入前通過存儲負載平衡策略確定存儲節(jié)點,在數(shù)據(jù)寫入后根據(jù)訪問頻率或節(jié)點存儲容量重新分配副本存儲節(jié)點。
2.根據(jù)權(quán)利要求1的方法,其特征在于,該方法進一步包括:在云存儲平臺的文件系統(tǒng)中設(shè)置節(jié)點選擇與調(diào)度監(jiān)視器,其中節(jié)點選擇策略實現(xiàn)于名字節(jié)點之中,由名字節(jié)點在選擇業(yè)務(wù)節(jié)點時調(diào)用,調(diào)度監(jiān)視器用來監(jiān)視服務(wù)器集群運行狀況,包括數(shù)據(jù)塊的訪問頻率以及業(yè)務(wù)節(jié)點的存儲容量,系統(tǒng)在閑置狀態(tài)時,管理節(jié)點根據(jù)數(shù)據(jù)訪問頻率和系統(tǒng)容量,調(diào)度副本存放位置;
文件上傳之前,業(yè)務(wù)節(jié)點向名字節(jié)點發(fā)出寫數(shù)據(jù)請求,名字節(jié)點調(diào)用節(jié)點選擇模型,通過調(diào)度監(jiān)視器,獲取服務(wù)器集群運行信息,計算節(jié)點的存儲比例,計算每個機架節(jié)點的存儲比例,并按照備份因子個數(shù),優(yōu)先選擇存儲比例最高的節(jié)點組成節(jié)點隊列發(fā)送給客戶端,由客戶端將待存儲的數(shù)據(jù)分割成多個數(shù)據(jù)塊,存儲在不同的業(yè)務(wù)節(jié)點上;
在所有文件已經(jīng)保存于服務(wù)器集群之后,通過調(diào)度監(jiān)視器收集服務(wù)器集群運行信息,獲取到所有節(jié)點的數(shù)據(jù)訪問頻率及所有節(jié)點的存儲容量,若數(shù)據(jù)的訪問頻率超過預(yù)定義閾值,則將副本放置在訪問頻率最低的節(jié)點上;若系統(tǒng)剩余容量低于閾值,則將副本放置在存儲比例最高的節(jié)點;
服務(wù)器集群運行信息通過云存儲平臺運行信息測量和展示框架進行監(jiān)視,所述框架監(jiān)測和調(diào)度云存儲平臺相關(guān)的任務(wù);客戶端在節(jié)點選擇分為兩種方式:客戶端在服務(wù)器集群節(jié)點上的選擇策略與客戶端在服務(wù)器集群節(jié)點外的選擇方式,具體實現(xiàn)方式如下:
在n個機架服務(wù)器集群的每個機架設(shè)置TR臺業(yè)務(wù)節(jié)點,副本數(shù)為r;若客戶端在服務(wù)器集群業(yè)務(wù)節(jié)點上,則
a)客戶端向管理節(jié)點發(fā)出寫數(shù)據(jù)請求;
b)管理節(jié)點根據(jù)文件內(nèi)容及系統(tǒng)配置情況,計算客戶端所在機架的所有業(yè)務(wù)節(jié)點存儲比例,過程如下:
設(shè)客戶端在第i臺機架,初始化被選節(jié)點集合SDN為空;
該機架第j個節(jié)點的剩余容量為CLij,存儲的塊數(shù)為BLij,節(jié)點的存儲優(yōu)選比例RSij=CLij/BLij,將存儲優(yōu)選比最高的兩個節(jié)點放入被選節(jié)點集合,即SDN={DNia、DNib};其中DNia、DNib表示第i個機架上的a和b業(yè)務(wù)節(jié)點,
c)從剩余每個機架中計算r-2個存儲比最大的節(jié)點,排序后選擇最大的r-2個節(jié)點放入被選節(jié)點集合SDN,共r個節(jié)點,用來存放數(shù)據(jù)塊及其副本;
d)管理節(jié)點將SDN集合中的節(jié)點分配業(yè)務(wù)節(jié)點給客戶端,由客戶端來寫入;
當客戶端不在業(yè)務(wù)節(jié)點上時,則直接計算服務(wù)器集群中所有節(jié)點的存儲比例,選擇前r個最大的節(jié)點,即為數(shù)據(jù)存儲節(jié)點;從個節(jié)點中,根據(jù)RSij=CLij/BLij選出存儲比例最高的r個節(jié)點,放入SDN列表中,即為選中的最優(yōu)節(jié)點。