欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種數(shù)據(jù)云存儲系統(tǒng)及方法與流程

文檔序號:11386343閱讀:355來源:國知局
一種數(shù)據(jù)云存儲系統(tǒng)及方法與流程

本發(fā)明涉及數(shù)據(jù)云處理技術(shù)領(lǐng)域,尤其涉及一種數(shù)據(jù)云存儲系統(tǒng)及方法。



背景技術(shù):

隨著信息技術(shù)的不斷發(fā)展,以社交網(wǎng)絡(luò)為代表的在線數(shù)據(jù)密集型應(yīng)用迅速發(fā)展并普遍被人們接受。在線密集型數(shù)據(jù)對數(shù)據(jù)的實時性、交互性、準(zhǔn)確性等均有較高的要求,而現(xiàn)有的采用磁盤訪問的數(shù)據(jù)云存儲系統(tǒng)具有較高的延遲,已經(jīng)稱為大數(shù)據(jù)時代影響計算機性能的瓶頸。nosql等新型數(shù)據(jù)庫系統(tǒng)以及云計算的出現(xiàn),虛擬化和分布式的處理方式的產(chǎn)生均大大提升了計算機系統(tǒng)的服務(wù)性能,但都未能從根本上解決計算機磁盤的延遲問題。

隨著硬件技術(shù)的發(fā)展,內(nèi)存快速傳輸?shù)奶攸c稱為了取代磁盤的選擇之一,云系統(tǒng)的存儲技術(shù)也得以發(fā)展。常用的云系統(tǒng)存儲技術(shù)ramcloud內(nèi)存云技術(shù)中,云系統(tǒng)的數(shù)據(jù)中心被從磁盤遷移至內(nèi)存(即動態(tài)隨機存儲器dram)中,并且利用固態(tài)硬盤(ssd)或者機械硬盤(hdd)作為數(shù)據(jù)備份的載體,從而能夠?qū)崿F(xiàn)數(shù)據(jù)在內(nèi)存系統(tǒng)中的快速訪問。但是這種內(nèi)存云系統(tǒng)的構(gòu)建受到內(nèi)存高昂價格的影響,并且內(nèi)存容量較低,功耗較大,使得大規(guī)模的內(nèi)存云集群成本過高,并且無法大規(guī)模應(yīng)用在海量的在線密集型應(yīng)用的數(shù)據(jù)存儲中。同時,隨著用戶量和用戶數(shù)據(jù)量的增長以及時間的推移,必須使用更多的dram來放置和處理數(shù)據(jù)。例如,第一年需要使用1pb的dram處理數(shù)據(jù),以及需要使用2pb的ssd/hdd進行數(shù)據(jù)備份,假設(shè)每年增加的用戶量以及用戶數(shù)據(jù)量相同,那么到第五年,當(dāng)用戶增加的時候,仍然需要添加1pb的dram以及2pb的ssd/hdd。

另外一種云存儲方案是在內(nèi)存云的基礎(chǔ)上,采用分級存儲管理的方式,引入ssd作為二級存儲介質(zhì),并通過各種處理策略對存儲空間內(nèi)的數(shù)據(jù)的重要性或者訪問頻繁程度進行排名,選取重要性最高或者訪問最頻繁的部分數(shù)據(jù)(例如15%的數(shù)據(jù))遷移至內(nèi)存中,次之的部分數(shù)據(jù)(例如45%的數(shù)據(jù))遷移至ssd中,其余數(shù)據(jù)被保存到hdd中,然后在hdd中再對所有數(shù)據(jù)進行備份。這種解決方法雖然在一定程度上解決了內(nèi)存云的成本和功耗等問題,但是會因為被放入ssd或者hdd中的數(shù)據(jù)存在較長的讀取延時而給用戶體驗帶來較大的影響。并且,上述對數(shù)據(jù)進行重要性或者訪問頻繁程度的統(tǒng)計和排名通常只是短時期的分析,分析結(jié)果均為易失性的(因為處理器和內(nèi)存均是易失性的),因此這種統(tǒng)計分析并不能很好地真正反映用戶的訪問特征。同時,為了滿足用戶量以及用戶數(shù)據(jù)量的不斷增長,同樣需要搭建更龐大的存儲結(jié)構(gòu)。例如,第一年需要使用1pb的dram、1pb的ssd以及1pb的hdd,假設(shè)每年用戶量以及數(shù)據(jù)量的增長固定,則到了第五年,當(dāng)用戶增加的時候,仍然需要分別添加1pb的dram、ssd以及hdd。并且隨著時間的推移以及使用次數(shù)的增加,ssd的壽命在降低,無效的存儲塊越來越多,從而使得可用的ssd容量越來越小,這同樣使得整個存儲架構(gòu)中需要添加更多的ssd來滿足用戶的需求。



技術(shù)實現(xiàn)要素:

根據(jù)現(xiàn)有技術(shù)中存在的上述問題,現(xiàn)提供一種數(shù)據(jù)云存儲系統(tǒng)及方法的技術(shù)方案,旨在擴大數(shù)據(jù)中心的數(shù)據(jù)存儲容量,通過長期自學(xué)習(xí)統(tǒng)計提升數(shù)據(jù)存儲的可靠性和合理性,滿足用戶的需求,保證用戶體驗。

上述技術(shù)方案具體包括:

一種數(shù)據(jù)云存儲系統(tǒng),應(yīng)用于數(shù)據(jù)中心的服務(wù)器中;其中,包括:

數(shù)據(jù)存儲單元,用于保存數(shù)據(jù);

數(shù)據(jù)遷移單元,連接所述數(shù)據(jù)存儲單元,用于將所述數(shù)據(jù)存儲單元中保存的部分數(shù)據(jù)遷移至連接所述數(shù)據(jù)遷移單元的一數(shù)據(jù)備份單元中進行保存;

保存于所述數(shù)據(jù)存儲單元中的數(shù)據(jù)的實時性要求高于保存于所述數(shù)據(jù)備份單元中的數(shù)據(jù)的實時性要求;

自學(xué)習(xí)單元,連接所述數(shù)據(jù)存儲單元,用于持續(xù)統(tǒng)計使用者對所述數(shù)據(jù)存儲單元中的數(shù)據(jù)的操作狀態(tài),并根據(jù)所述操作狀態(tài)統(tǒng)計得到用于表示所述使用者對所述數(shù)據(jù)存儲單元中保存的數(shù)據(jù)的實時性要求的統(tǒng)計結(jié)果,所述自學(xué)習(xí)單元將所述統(tǒng)計結(jié)果保存于一連接所述自學(xué)習(xí)單元的結(jié)果存儲單元中;

所述數(shù)據(jù)遷移單元還連接所述結(jié)果存儲單元,用于從所述結(jié)果存儲單元中獲取所述統(tǒng)計結(jié)果,并根據(jù)所述統(tǒng)計結(jié)果選擇將部分數(shù)據(jù)遷移至所述數(shù)據(jù)備份單元中進行保存;

所述自學(xué)習(xí)單元持續(xù)更新所述結(jié)果存儲單元中的所述統(tǒng)計結(jié)果;

所述結(jié)果存儲單元被設(shè)置在非易失性存儲器中。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,所述數(shù)據(jù)存儲單元包括至少一個動態(tài)隨機存儲器。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,所述數(shù)據(jù)備份單元包括至少一個固態(tài)硬盤存儲器和/或至少一個機械硬盤存儲器。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,所述自學(xué)習(xí)單元進一步包括:

數(shù)據(jù)采集模塊,用于持續(xù)采集得到所述使用者對所述數(shù)據(jù)存儲單元中保存的數(shù)據(jù)進行操作的操作狀態(tài),并輸出操作狀態(tài)信息;

時段設(shè)定模塊,用于設(shè)定一數(shù)據(jù)采集周期;

自學(xué)習(xí)模塊,分別連接所述數(shù)據(jù)采集模塊和所述時段設(shè)定模塊,用于根據(jù)每個所述數(shù)據(jù)采集周期內(nèi)采集得到的所述操作狀態(tài)信息不斷處理得到所述統(tǒng)計結(jié)果;

更新模塊,連接所述自學(xué)習(xí)模塊,用于根據(jù)所述統(tǒng)計結(jié)果對所述結(jié)果存儲單元進行更新。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,所述操作狀態(tài)信息中包括用于表示使用者對所述數(shù)據(jù)存儲單元中的數(shù)據(jù)是否存在延時的反饋信息。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,所述數(shù)據(jù)遷移單元和所述自學(xué)習(xí)單元被設(shè)置于所述服務(wù)器的處理器中。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,于所述服務(wù)器中設(shè)置一可配置多功能數(shù)據(jù)處理單元,所述可配置多功能數(shù)據(jù)處理單元設(shè)置在南橋以下;

于所述可配置多功能數(shù)據(jù)處理單元中包括至少一個應(yīng)用處理器,所述數(shù)據(jù)遷移單元和所述自學(xué)習(xí)單元被設(shè)置于所述應(yīng)用處理器中。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,于每個所述應(yīng)用處理器下分別連接至少一個輔助處理單元,所述數(shù)據(jù)遷移單元和所述自學(xué)習(xí)單元同樣被設(shè)置于所述輔助處理單元中。

優(yōu)選的,該數(shù)據(jù)云存儲系統(tǒng),其中,采用現(xiàn)場可編程門陣列實現(xiàn)所述數(shù)據(jù)遷移單元和所述自學(xué)習(xí)單元的功能。

一種數(shù)據(jù)云存儲方法,應(yīng)用于數(shù)據(jù)中心的服務(wù)器中;其中,采用一數(shù)據(jù)存儲單元保存所述服務(wù)器中的數(shù)據(jù),還包括:

步驟s1,采用一自學(xué)習(xí)單元持續(xù)統(tǒng)計使用者對所述數(shù)據(jù)存儲單元中的數(shù)據(jù)的操作狀態(tài),并根據(jù)所述操作狀態(tài)統(tǒng)計得到用于表示所述使用者對所述數(shù)據(jù)存儲單元中保存的數(shù)據(jù)的實時性要求的統(tǒng)計結(jié)果;

步驟s2,采用一數(shù)據(jù)遷移單元根據(jù)所述統(tǒng)計結(jié)果,將所述數(shù)據(jù)存儲單元中的部分數(shù)據(jù)遷移至一數(shù)據(jù)備份單元中保存;

所述數(shù)據(jù)存儲單元中保存的數(shù)據(jù)的實時性要求高于所述數(shù)據(jù)備份單元中保存的數(shù)據(jù)的實時性要求;

所述統(tǒng)計結(jié)果被保存在一非易失性存儲器中,并采用所述自學(xué)習(xí)單元持續(xù)更新所述非易失性存儲器中保存的所述統(tǒng)計結(jié)果。

優(yōu)選的,該數(shù)據(jù)云存儲方法,其中,所述數(shù)據(jù)存儲單元中包括至少一個動態(tài)隨機存儲器;

所述數(shù)據(jù)備份單元中包括至少一個固態(tài)硬盤存儲器和/或至少一個機械硬盤存儲器。

上述技術(shù)方案的有益效果是:

1)提供一種數(shù)據(jù)云存儲系統(tǒng),能夠擴大數(shù)據(jù)中心的數(shù)據(jù)存儲容量,通過長期自學(xué)習(xí)統(tǒng)計提升數(shù)據(jù)存儲的可靠性和合理性,滿足用戶的需求,保證用戶體驗;

2)提供一種數(shù)據(jù)云存儲方法,能夠支持上述數(shù)據(jù)云存儲系統(tǒng)工作。

附圖說明

圖1是本發(fā)明的較佳的實施例中,一種數(shù)據(jù)云存儲系統(tǒng)的總體結(jié)構(gòu)示意圖;

圖2是本發(fā)明的較佳的實施例中,自學(xué)習(xí)模塊的結(jié)構(gòu)示意圖;

圖3是本發(fā)明的較佳的實施例中,一種數(shù)據(jù)云存儲方法的流程示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例。基于本發(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動的前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。

需要說明的是,在不沖突的情況下,本發(fā)明中的實施例及實施例中的特征可以相互組合。

下面結(jié)合附圖和具體實施例對本發(fā)明作進一步說明,但不作為本發(fā)明的限定。

根據(jù)現(xiàn)有技術(shù)中存在的上述問題,現(xiàn)提供一種數(shù)據(jù)云存儲系統(tǒng),該系統(tǒng)應(yīng)用在數(shù)據(jù)中心的服務(wù)器中,具體地應(yīng)用在云存儲系統(tǒng)中。該系統(tǒng)的結(jié)構(gòu)具體如圖1中所示,包括:

數(shù)據(jù)存儲單元1,用于保存數(shù)據(jù);

數(shù)據(jù)遷移單元2,連接數(shù)據(jù)存儲單元1,用于將數(shù)據(jù)存儲單元1中保存的部分數(shù)據(jù)遷移至連接數(shù)據(jù)遷移單元2的一數(shù)據(jù)備份單元3中進行保存;

保存于數(shù)據(jù)存儲單元中1的數(shù)據(jù)的實時性要求高于保存于數(shù)據(jù)備份單元3中的數(shù)據(jù)的實時性要求;

自學(xué)習(xí)單元4,連接數(shù)據(jù)存儲單元1,用于持續(xù)統(tǒng)計使用者對數(shù)據(jù)存儲單元1中的數(shù)據(jù)的操作狀態(tài),并根據(jù)操作狀態(tài)統(tǒng)計得到用于表示使用者對數(shù)據(jù)存儲單元中保存的數(shù)據(jù)的實時性要求的統(tǒng)計結(jié)果,自學(xué)習(xí)單元將統(tǒng)計結(jié)果保存于一連接自學(xué)習(xí)單元的結(jié)果存儲單元5中;

數(shù)據(jù)遷移單元2還連接結(jié)果存儲單元5,用于從結(jié)果存儲單元5中獲取統(tǒng)計結(jié)果,并根據(jù)統(tǒng)計結(jié)果選擇將部分數(shù)據(jù)遷移至數(shù)據(jù)備份單元3中進行保存;

自學(xué)習(xí)單元4持續(xù)更新結(jié)果存儲單元中的統(tǒng)計結(jié)果;

結(jié)果存儲單元5被設(shè)置在非易失性存儲器中。

具體地,本實施例中,上述數(shù)據(jù)云存儲系統(tǒng)應(yīng)用在數(shù)據(jù)中心的服務(wù)器中,因此相對于用戶端而言,該數(shù)據(jù)云存儲系統(tǒng)實際為一個云存儲和數(shù)據(jù)云處理的系統(tǒng)。

上述數(shù)據(jù)云存儲系統(tǒng)中首先包括一個數(shù)據(jù)處理單元1,該數(shù)據(jù)處理單元1用于保存數(shù)據(jù)。

相應(yīng)地,在上述數(shù)據(jù)云存儲系統(tǒng)中還包括一個數(shù)據(jù)備份單元3,該數(shù)據(jù)備份單元3同樣用于保存數(shù)據(jù)。

則在上述數(shù)據(jù)存儲單元1和數(shù)據(jù)備份單元3之間設(shè)置一個數(shù)據(jù)遷移單元2,該數(shù)據(jù)遷移單元2的作用在于將數(shù)據(jù)存儲單元1中保存的數(shù)據(jù)遷移至數(shù)據(jù)備份單元3中。

本實施例中,上述保存于數(shù)據(jù)存儲單元1中的數(shù)據(jù)的實時性要求需要高于保存在數(shù)據(jù)備份單元3中的數(shù)據(jù)的實時性要求,即對于一些實時性要求比較高的數(shù)據(jù),數(shù)據(jù)遷移單元2將其遷移到數(shù)據(jù)存儲單元1中,而對于一些實時性要求較低的數(shù)據(jù),數(shù)據(jù)遷移單元2將其遷移到數(shù)據(jù)備份單元3中。因此,為了保證數(shù)據(jù)處理的實時性,上述數(shù)據(jù)存儲單元1應(yīng)當(dāng)包括至少一個動態(tài)隨機存儲器(dynamicrandomaccessmemory,dram),即將上述實時性要求較高的數(shù)據(jù)保存在服務(wù)器的內(nèi)存中。而相應(yīng)地,上述數(shù)據(jù)備份單元2應(yīng)當(dāng)包括至少一個固態(tài)硬盤存儲器(solidstatedisk,ssd),優(yōu)選的實施例中還可以包括一個或多個機械硬盤存儲器(harddiskdrive,hdd)。

本實施例中,還包括一個自學(xué)習(xí)單元4,該自學(xué)習(xí)單元4通過長期持續(xù)采集使用者針對數(shù)據(jù)存儲單元1中數(shù)據(jù)的操作狀態(tài),判斷使用者對于不同數(shù)據(jù)的實時性要求,該自學(xué)習(xí)單元4之后將用于表示使用者對于不同數(shù)據(jù)的實時性要求的統(tǒng)計結(jié)果保存入一連接自學(xué)習(xí)單元的結(jié)果存儲單元5中,并且根據(jù)持續(xù)采集的使用者對數(shù)據(jù)的操作狀態(tài)持續(xù)進行統(tǒng)計分析,以持續(xù)得到分析結(jié)果并保存在結(jié)果存儲單元5中,即對結(jié)果存儲單元5中的統(tǒng)計結(jié)果進行持續(xù)更新。

隨后,本實施例中,上述數(shù)據(jù)遷移單元2連接結(jié)果存儲單元5,并從結(jié)果存儲單元5中讀取統(tǒng)計結(jié)果,根據(jù)統(tǒng)計結(jié)果將數(shù)據(jù)存儲單元3中實時性要求較低的數(shù)據(jù)遷移至數(shù)據(jù)備份單元4中。具體地,可以采用預(yù)先設(shè)定閾值的方式判斷數(shù)據(jù)的實時性要求的高低,或者采用預(yù)先設(shè)定閾值范圍的方式來進行判斷,具體的判斷方式在下文中會詳述。

本實施例中,為了保證統(tǒng)計分析的長期性,上述結(jié)果存儲單元5可以被設(shè)置在非易失性存儲器中,即上述統(tǒng)計結(jié)果可以被保存在非易失性存儲器中,從而保證系統(tǒng)掉電不丟失。

則本實施例中,上述自學(xué)習(xí)單元4可以根據(jù)一預(yù)設(shè)的更新周期對結(jié)果存儲單元5中的統(tǒng)計結(jié)果進行更新,上述更新周期可以為每天、每周或者每月等,并且可以由使用者自行設(shè)定,并且由于存儲介質(zhì)掉電不丟失,整個統(tǒng)計分析過程的持續(xù)時間可以以年來計算,從而彌補現(xiàn)有技術(shù)中只能實現(xiàn)短期統(tǒng)計分析導(dǎo)致無法完全反映用戶需求的缺陷。

本發(fā)明的較佳的實施例中,如圖2中所示,上述自學(xué)習(xí)單元4進一步包括:

數(shù)據(jù)采集模塊41,用于持續(xù)采集得到使用者對數(shù)據(jù)存儲單元1中保存的數(shù)據(jù)進行操作的操作狀態(tài),并輸出操作狀態(tài)信息;

時段設(shè)定模塊42,用于設(shè)定一數(shù)據(jù)采集周期;

自學(xué)習(xí)模塊43,分別連接數(shù)據(jù)采集模塊41和時段設(shè)定模塊42,用于根據(jù)每個數(shù)據(jù)采集周期內(nèi)采集得到的操作狀態(tài)信息不斷處理得到統(tǒng)計結(jié)果;

更新模塊44,連接自學(xué)習(xí)模塊43,用于根據(jù)統(tǒng)計結(jié)果對結(jié)果存儲單元5進行更新。

具體地,本實施例中,上述數(shù)據(jù)采集模塊41持續(xù)獲取使用者對數(shù)據(jù)存儲單元1中保存的隸屬于不同的應(yīng)用程序的不同的應(yīng)用數(shù)據(jù)的實時性要求的操作狀態(tài)信息并不斷處理得到統(tǒng)計結(jié)果。

進一步地,上述操作狀態(tài)信息中包括用于表示使用者對所述數(shù)據(jù)存儲單元中的數(shù)據(jù)是否存在延時的反饋信息。具體地,上述反饋信息為使用者反饋的是否在意數(shù)據(jù)延時的信息。例如,使用者在觀看視頻時,對于視頻信息的延時比較在意,則使用者會向系統(tǒng)發(fā)送一個反饋信息,該反饋信息用于表示使用者對該視頻信息的實時性要求較高。該反饋信息的表示方式可以為使用者投訴該視頻信息延時的投訴信息。

相應(yīng)地,可以設(shè)定一個投訴信息的次數(shù)閾值,當(dāng)使用者對于同一個應(yīng)用程序下相同類型的應(yīng)用數(shù)據(jù)的投訴的次數(shù)達到上述閾值,則表示使用者對于該應(yīng)用數(shù)據(jù)的實時性要求較高,該應(yīng)用數(shù)據(jù)需要保留在數(shù)據(jù)存儲單元1中。相反地,當(dāng)使用者對于同一個應(yīng)用程序下相同類型的應(yīng)用數(shù)據(jù)的投訴的次數(shù)未達到上述閾值,則可以將其遷移至數(shù)據(jù)備份單元3中保存。

或者

可以設(shè)定一個投訴信息的次數(shù)閾值范圍,當(dāng)使用者對于同一個應(yīng)用程序下相同類型的應(yīng)用數(shù)據(jù)的投訴的次數(shù)處于該范圍內(nèi)時,則表示使用者對于該應(yīng)用數(shù)據(jù)的實時性要求較高,該應(yīng)用數(shù)據(jù)需要保留在數(shù)據(jù)存儲單元1中。相反地,當(dāng)使用者對于同一個應(yīng)用程序下相同類型的應(yīng)用數(shù)據(jù)的投訴的次數(shù)處于該范圍外時,則可以將其遷移至數(shù)據(jù)備份單元3中保存。

當(dāng)然,數(shù)據(jù)遷移單元2還可以將數(shù)據(jù)備份單元3中的數(shù)據(jù)遷移回數(shù)據(jù)存儲單元1中。例如,使用者初始對于某個應(yīng)用數(shù)據(jù)的實時性要求不高,該數(shù)據(jù)被遷移至數(shù)據(jù)備份單元3中保存。但隨著時間的變化,統(tǒng)計結(jié)果顯示使用者轉(zhuǎn)而開始關(guān)注該應(yīng)用數(shù)據(jù)的實時性,此時就需要將保存在數(shù)據(jù)備份單元3中的數(shù)據(jù)遷移回數(shù)據(jù)存儲單元1中。

本發(fā)明的較佳的實施例中,上述統(tǒng)計結(jié)果是針對一定時間周期(例如一年)內(nèi)的同一個應(yīng)用程序的相同應(yīng)用數(shù)據(jù)進行實時性要求統(tǒng)計后得到的結(jié)果。

本發(fā)明的一個較佳的實施例中,上述數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4可以被設(shè)置在服務(wù)器的處理器中。即采用服務(wù)器的處理器(cpu和/或gpu)來實現(xiàn)上述數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4的功能。

本發(fā)明的另一個較佳的實施例中,上述數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4還可以被設(shè)置在處于南橋以下的一可配置多功能數(shù)據(jù)處理單元中。

具體地,該可配置多功能數(shù)據(jù)處理單元中設(shè)置有至少一個應(yīng)用處理器,可以采用該應(yīng)用處理器來處理應(yīng)用數(shù)據(jù),并且采用該應(yīng)用處理器來實現(xiàn)上述數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4的功能。

并且,由于上述可配置多功能數(shù)據(jù)處理單元設(shè)置在南橋以下,因此當(dāng)服務(wù)器處于空閑時段(即服務(wù)器中的處理器和內(nèi)存均關(guān)閉時),依然可以執(zhí)行自學(xué)習(xí)的統(tǒng)計分析處理和數(shù)據(jù)遷移處理。

本發(fā)明的另一個較佳的實施例中,于上述設(shè)置在南橋以下的可配置多功能數(shù)據(jù)處理單元中配置至少一個應(yīng)用處理器,以及于每個應(yīng)用處理器下再配置多個輔助處理單元。上述數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4同樣被設(shè)置在輔助處理單元中。因此,可以采用應(yīng)用處理器和輔助處理單元共同實現(xiàn)數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4的功能,增強數(shù)據(jù)處理的能力。

具體地,上述輔助處理單元中可以包括一現(xiàn)場可編程門陣列(fieldprogrammablegatearray,fpga)。則可以采用fpga來實現(xiàn)上述數(shù)據(jù)遷移單元2和自學(xué)習(xí)單元4的功能。優(yōu)選的,上述現(xiàn)場可編程門陣列可以為非易失性的現(xiàn)場可編程門陣列(nvfpga),因此,上述自學(xué)習(xí)單元4是基于新型存儲器實現(xiàn)的自學(xué)習(xí)單元。

則本發(fā)明的較佳的實施例中,上述自學(xué)習(xí)并進行統(tǒng)計分析的過程可以是在線(on-line)的,即通過服務(wù)器的處理器實現(xiàn);也可以是離線(off-line)的,即通過設(shè)置在南橋以下的可配置多功能數(shù)據(jù)處理單元實現(xiàn)。

本發(fā)明的一個較佳的實施例中,在數(shù)據(jù)中心的服務(wù)器中,初始設(shè)置1pb的dram作為數(shù)據(jù)存儲單元,以及設(shè)置2pb容量的ssd作為數(shù)據(jù)備份單元。則經(jīng)過一定時間(例如經(jīng)過一年)的自學(xué)習(xí)之后發(fā)現(xiàn)用戶a在時間t1內(nèi)對應(yīng)用程序a_x的數(shù)據(jù)a_x_y的延時并不關(guān)心,即用戶a可以接受將數(shù)據(jù)a_x_y放入ssd中,那么數(shù)據(jù)遷移單元2就可以將數(shù)據(jù)a_x_y放入ssd中。同樣地,通過統(tǒng)計分析發(fā)現(xiàn)用戶b在時間t2內(nèi)對應(yīng)用程序b_x的數(shù)據(jù)b_x_y的延時并不關(guān)心,則也可以將數(shù)據(jù)b_x_y放入ssd中。經(jīng)過長時間的自學(xué)習(xí)后,越來越多不同用戶的數(shù)據(jù)被放入ssd中,那么原來的dram就可以放入更多新的數(shù)據(jù)進行處理。假設(shè)經(jīng)過一定時間的自學(xué)習(xí)后,放入ssd中的數(shù)據(jù)為0.5pb,那么就相當(dāng)于dram的容量變相增加了0.5pb,從而變成1.5pb。

并且,隨著時間的推移,在第二年及以后,當(dāng)用戶量以及用戶數(shù)據(jù)量增加的時候,只需要再增加0.5pb的dram就可以滿足用戶需求,這與現(xiàn)有技術(shù)中的云存儲解決方案相比大大降低了增加dram帶來的成本和功耗。

本發(fā)明的較佳的實施例中,基于上文中所述的數(shù)據(jù)云存儲系統(tǒng),現(xiàn)提供一種數(shù)據(jù)云存儲方法,該方法同樣應(yīng)用在數(shù)據(jù)中心的服務(wù)器中,于服務(wù)器中首先設(shè)置一數(shù)據(jù)存儲單元,該數(shù)據(jù)存儲單元用于保存服務(wù)器中的數(shù)據(jù)。

則該方法具體如圖3所述,包括:

步驟s1,采用一自學(xué)習(xí)單元持續(xù)統(tǒng)計使用者對數(shù)據(jù)存儲單元中的數(shù)據(jù)的操作狀態(tài),并根據(jù)操作狀態(tài)統(tǒng)計得到用于表示使用者對數(shù)據(jù)存儲單元中保存的數(shù)據(jù)的實時性要求的統(tǒng)計結(jié)果;

步驟s2,采用一數(shù)據(jù)遷移單元根據(jù)統(tǒng)計結(jié)果,將數(shù)據(jù)存儲單元中的部分數(shù)據(jù)遷移至一數(shù)據(jù)備份單元中保存;

數(shù)據(jù)存儲單元中保存的數(shù)據(jù)的實時性要求高于數(shù)據(jù)備份單元中保存的數(shù)據(jù)的實時性要求;

統(tǒng)計結(jié)果被保存在一非易失性存儲器中,并采用自學(xué)習(xí)單元持續(xù)更新非易失性存儲器中保存的統(tǒng)計結(jié)果。

本發(fā)明的較佳的實施例中:

數(shù)據(jù)存儲單元中包括至少一個動態(tài)隨機存儲器;

數(shù)據(jù)備份單元中包括至少一個固態(tài)硬盤存儲器和/或至少一個機械硬盤存儲器。

以上所述僅為本發(fā)明較佳的實施例,并非因此限制本發(fā)明的實施方式及保護范圍,對于本領(lǐng)域技術(shù)人員而言,應(yīng)當(dāng)能夠意識到凡運用本發(fā)明說明書及圖示內(nèi)容所作出的等同替換和顯而易見的變化所得到的方案,均應(yīng)當(dāng)包含在本發(fā)明的保護范圍內(nèi)。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
东海县| 射洪县| 灌云县| 玛多县| 工布江达县| 耿马| 修水县| 湛江市| 饶阳县| 惠水县| 石楼县| 弋阳县| 仁化县| 南澳县| 太康县| 宣汉县| 固始县| 灌云县| 双柏县| 万年县| 红安县| 伊金霍洛旗| 横峰县| 凤凰县| 铅山县| 沙湾县| 安吉县| 当阳市| 启东市| 佛坪县| 尤溪县| 遂川县| 萍乡市| 宁河县| 湖南省| 海晏县| 吐鲁番市| 浙江省| 乌鲁木齐县| 乐平市| 柯坪县|