本發(fā)明涉及存儲技術(shù)領(lǐng)域,具體涉及分布式數(shù)據(jù)處理方法、數(shù)據(jù)中心及其系統(tǒng)。
背景技術(shù):現(xiàn)在很多大中型企業(yè),有許多物理位置分離數(shù)據(jù)中心,這些數(shù)據(jù)中心的數(shù)據(jù)需要進行存儲和備份管理,現(xiàn)有技術(shù)中,數(shù)據(jù)中心更多的是本地做備份,備份技術(shù)也只是簡單的拷貝到另外的硬盤和磁帶中,很顯然這樣的方式,存在著較大的數(shù)據(jù)丟失風險;數(shù)據(jù)管理混亂,無法控制;而且多個異地的數(shù)據(jù)中心的數(shù)據(jù)流通也存在問題,如何在有效的利用現(xiàn)有資源的情況下,又可以實現(xiàn)分布式的存儲,中心數(shù)據(jù)中心控制管理,既能夠提供安全可控的存儲,又能提高數(shù)據(jù)中心之間的傳輸效率,給企業(yè)節(jié)省成本,是許多企業(yè)迫切需求的。
技術(shù)實現(xiàn)要素:本發(fā)明提供一種分布式數(shù)據(jù)處理方法、數(shù)據(jù)中心及其系統(tǒng),用于實現(xiàn)數(shù)據(jù)中心之間數(shù)據(jù)的安全備份。本發(fā)明提供的一種分布式數(shù)據(jù)處理方法,包括:數(shù)據(jù)中心獲取原始數(shù)據(jù),數(shù)據(jù)中心對所述原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊。對每個數(shù)據(jù)塊進行加密處理,生成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù),對N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,M為大于N的正整數(shù),M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù),將M份子數(shù)據(jù)中至少N份子數(shù)據(jù)存儲于數(shù)據(jù)中心,剩余子數(shù)據(jù)存儲于分布式數(shù)據(jù)集群系統(tǒng)的其他數(shù)據(jù)中心。本發(fā)明還提供的一種數(shù)據(jù)中心,包括至少一個服務器,所述服務器包括:獲取單元,用于獲取原始數(shù)據(jù)或從其他數(shù)據(jù)中心獲取子數(shù)據(jù);切片單元,用于對所述原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊,加密單元,用于對所述每個數(shù)據(jù)塊進行加密處理,生成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù)糾刪單元,用于對所述N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,所述M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù),M為大于N的正整數(shù),存儲單元,用于存儲所述M份子數(shù)據(jù)中的至少N份子數(shù)據(jù),或者,存儲從其他數(shù)據(jù)中心獲取的子數(shù)據(jù);發(fā)送單元,用于將所述M-N份子數(shù)據(jù)發(fā)送至其他數(shù)據(jù)中心。本發(fā)明還提供一種一種分布式數(shù)據(jù)集群系統(tǒng),包括,中心數(shù)據(jù)中心及從數(shù)據(jù)中心,其特征在于,所述中心數(shù)據(jù)中心及從數(shù)據(jù)中心分別包括至少一個服務器,所述服務器包括:獲取單元,用于獲取原始數(shù)據(jù)或從其他數(shù)據(jù)中心獲取子數(shù)據(jù);切片單元,用于對所述原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊,加密單元,用于對所述每個數(shù)據(jù)塊進行加密處理,生成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù),糾刪單元,用于對所述N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,所述M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù),M為大于N的正整數(shù),存儲單元,用于存儲所述M份子數(shù)據(jù)中的至少N份子數(shù)據(jù),或者,存儲從其他數(shù)據(jù)中心獲取的子數(shù)據(jù);發(fā)送單元,用于將所述M-N份子數(shù)據(jù)發(fā)送至其他數(shù)據(jù)中心。本發(fā)明實施例中,通過將原始數(shù)據(jù)進行切片、加密、糾刪處理生成可以還原為原始數(shù)據(jù)的多份子數(shù)據(jù),并且,將可以還原為原始數(shù)據(jù)的部分子數(shù)據(jù)存儲于本地數(shù)據(jù)中心,其他子數(shù)據(jù)存儲于數(shù)據(jù)集群中的其他數(shù)據(jù)中心,當需要還原原始數(shù)據(jù)中,首先可以從本地數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),如果本地數(shù)據(jù)中心的子數(shù)據(jù)無法還原為原始數(shù)據(jù),則可以從數(shù)據(jù)集群系統(tǒng)的其他數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),利用本發(fā)明實施例的方法,一方面,首先從本地獲得還原原始數(shù)據(jù)的子數(shù)據(jù),保證了還原原媽數(shù)據(jù)的效率,另一方面,通過將可以還原為原始數(shù)據(jù)的子數(shù)據(jù)存儲于數(shù)據(jù)集群中的其他數(shù)據(jù)中心,保證了數(shù)據(jù)存儲的安全性。此外,在本發(fā)明實施例中,通過將數(shù)據(jù)中心分為中心數(shù)據(jù)中心與從數(shù)據(jù)中心,并在數(shù)據(jù)不需要備份保存時,將從數(shù)據(jù)中心的數(shù)據(jù)遷移至中心數(shù)據(jù)中心,保證了數(shù)據(jù)的安全性和魯棒性,同時,選擇中心數(shù)據(jù)中心與從數(shù)據(jù)中收傳輸數(shù)據(jù)的在帶寬比較閑的時機,進行數(shù)據(jù)傳輸,有效地利用了企業(yè)的帶寬,避免影響企業(yè)的正常業(yè)務。附圖說明為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其它的附圖。圖1是本發(fā)明實施例分布式數(shù)據(jù)處理方法流程圖;圖2是本發(fā)明實施例數(shù)據(jù)中心服務器結(jié)構(gòu)示意圖;圖3是本發(fā)明實施例分布式數(shù)據(jù)集群系統(tǒng)結(jié)構(gòu)示意圖。具體實施方式下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本發(fā)明保護的范圍。請結(jié)合參看圖1,本發(fā)明實施例提供一種分布式數(shù)據(jù)處理方法,通過將原始數(shù)據(jù)進行處理,并將處理后的可還原為原始數(shù)據(jù)的子數(shù)據(jù)存儲于不同的數(shù)據(jù)中心,實現(xiàn)數(shù)據(jù)的安全可靠備份。本發(fā)明實施例的方法包括:步驟101,數(shù)據(jù)中心獲取原始數(shù)據(jù)。在本發(fā)明實施例中,數(shù)據(jù)中心可以包括至少一個服務器,數(shù)據(jù)中心通過服務器獲取原始數(shù)據(jù),這些原始數(shù)據(jù)可以是用戶通過網(wǎng)絡連接或本地連接上傳的文件或數(shù)據(jù)包等。步驟103,數(shù)據(jù)中心對所述原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊。在本發(fā)明實施例中,數(shù)據(jù)中心的服務器獲取到原始數(shù)據(jù)后,可以根據(jù)預先設(shè)定的大小,將原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊。數(shù)據(jù)中心服務器對原始數(shù)據(jù)進行切片處理可以采用現(xiàn)有的切片算法。步驟105,對每個數(shù)據(jù)塊進行加密處理,生成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù)。在本發(fā)明實施例中,數(shù)據(jù)中心的服務器對生成的至少兩個數(shù)據(jù)塊進行加密處理,每個數(shù)據(jù)塊可以被分成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù)。數(shù)據(jù)中心服務器對數(shù)據(jù)塊進行加密處理可以采用現(xiàn)有的加密算法。步驟107,對N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,M為大于N的正整數(shù),M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù)。在本發(fā)明實施例中,數(shù)據(jù)中心的服務器采用糾刪算法對N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,M為大于N的正整數(shù),M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù)。步驟109,將M份子數(shù)據(jù)中至少N份子數(shù)據(jù)存儲于數(shù)據(jù)中心,剩余子數(shù)據(jù)存儲于分布式數(shù)據(jù)集群系統(tǒng)的其他數(shù)據(jù)中心。在本發(fā)明實施例中,數(shù)據(jù)中心的服務器將M份子數(shù)據(jù)中的至少N份子數(shù)據(jù)存儲,并將剩余的子數(shù)據(jù)通過數(shù)據(jù)集群系統(tǒng)的網(wǎng)絡連接發(fā)送至其他數(shù)據(jù)中心的服務器,由其他數(shù)據(jù)中心進行存儲,其中,剩余的M-N份子數(shù)據(jù),可以存儲于數(shù)據(jù)集群系統(tǒng)中的多個其他數(shù)據(jù)中心??蛇x地,在本發(fā)明實施例中,當數(shù)據(jù)集群系統(tǒng)的任意一個數(shù)據(jù)中心的服務器收到還原原始數(shù)據(jù)的請求時,接收還原原始數(shù)據(jù)請求的數(shù)據(jù)中心的服務器可以利用自身存儲的子數(shù)據(jù)進行糾刪處理,還原得到原始數(shù)據(jù),如果還原原始數(shù)據(jù)失敗,則可以從集群系統(tǒng)中存儲有子數(shù)據(jù)的其他數(shù)據(jù)中心獲取還原原始數(shù)據(jù)所需要的子數(shù)據(jù),并進行糾刪處理,還原得到原始數(shù)據(jù)??蛇x地,在本發(fā)明實施例中,將獲取原始數(shù)據(jù)的數(shù)據(jù)中心或存儲有最多份子數(shù)據(jù)的數(shù)據(jù)中心設(shè)置為中心數(shù)據(jù)中心,所述集群系統(tǒng)中的其他數(shù)據(jù)中心為從數(shù)據(jù)中心,當中心數(shù)據(jù)中心與從數(shù)據(jù)中心進行數(shù)據(jù)傳輸時,可以選擇帶寬比較閑的時候進行數(shù)據(jù)傳輸??蛇x地,在本發(fā)明實施例中,所述中心數(shù)據(jù)中心與從數(shù)據(jù)中心進行子數(shù)據(jù)傳輸,主要包括:中心數(shù)據(jù)中心獲取從數(shù)據(jù)中心不再保存的子數(shù)據(jù),或者,中心數(shù)據(jù)中心將子數(shù)據(jù)存儲于從數(shù)據(jù)中心,比如,根據(jù)設(shè)置配置,可以規(guī)定從數(shù)據(jù)中心可以保留的數(shù)據(jù)大小及數(shù)據(jù)的壽命,對于超過規(guī)定壽命的數(shù)據(jù),可以遷移到中心數(shù)據(jù)中心來,這樣就可以控制從數(shù)據(jù)中心的規(guī)模,并且保證了數(shù)據(jù)的安全性和魯棒性。再比如,在中心數(shù)據(jù)將子數(shù)據(jù)發(fā)送到從數(shù)據(jù)中心存入數(shù)據(jù)時,可以根據(jù)設(shè)置,將這部分的網(wǎng)絡數(shù)據(jù)傳輸延遲到帶寬比較閑的時候,這樣不會影響企業(yè)正常的業(yè)務帶寬。本發(fā)明實施例中,通過將原始數(shù)據(jù)進行切片、加密、糾刪處理生成可以還原為原始數(shù)據(jù)的多份子數(shù)據(jù),并且,將可以還原為原始數(shù)據(jù)的部分子數(shù)據(jù)存儲于本地數(shù)據(jù)中心,其他子數(shù)據(jù)存儲于數(shù)據(jù)集群中的其他數(shù)據(jù)中心,當需要還原原始數(shù)據(jù)中,首先可以從本地數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),如果本地數(shù)據(jù)中心的子數(shù)據(jù)無法還原為原始數(shù)據(jù),則可以從數(shù)據(jù)集群系統(tǒng)的其他數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),利用本發(fā)明實施例的方法,一方面,首先從本地獲得還原原始數(shù)據(jù)的子數(shù)據(jù),保證了還原原媽數(shù)據(jù)的效率,另一方面,通過將可以還原為原始數(shù)據(jù)的子數(shù)據(jù)存儲于數(shù)據(jù)集群中的其他數(shù)據(jù)中心,保證了數(shù)據(jù)存儲的安全性。此外,在本發(fā)明實施例中,通過將數(shù)據(jù)中心分為中心數(shù)據(jù)中心與從數(shù)據(jù)中心,并在數(shù)據(jù)不需要備份保存時,將從數(shù)據(jù)中心的數(shù)據(jù)遷移至中心數(shù)據(jù)中心,保證了數(shù)據(jù)的安全性和魯棒性,同時,選擇中心數(shù)據(jù)中心與從數(shù)據(jù)中收傳輸數(shù)據(jù)的在帶寬比較閑的時機,進行數(shù)據(jù)傳輸,有效地利用了企業(yè)的帶寬,避免影響企業(yè)的正常業(yè)務。請結(jié)合參看圖2,在本發(fā)明實施例中,提供一種數(shù)據(jù)中心,包括:至少一個服務器,所述服務器包括:獲取單元201,用于獲取原始數(shù)據(jù)或從其他數(shù)據(jù)中心獲取子數(shù)據(jù);切片單元202,用于對所述原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊,加密單元203,用于對所述每個數(shù)據(jù)塊進行加密處理,生成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù)糾刪單元204,用于對所述N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,所述M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù),M為大于N的正整數(shù),存儲單元205,用于存儲所述M份子數(shù)據(jù)中的至少N份子數(shù)據(jù),或者,存儲從其他數(shù)據(jù)中心獲取的子數(shù)據(jù);發(fā)送單元206,用于將所述M-N份子數(shù)據(jù)發(fā)送至其他數(shù)據(jù)中心。可選地,在本發(fā)明實施例中,還包括,還原單元207,用于接收還原原始數(shù)據(jù)的請求,并利用所述存儲單元存儲的子數(shù)據(jù)進行糾刪處理,還原得到原始數(shù)據(jù),如果還原原始數(shù)據(jù)失敗,則利用所述獲取單元從存儲有子數(shù)據(jù)的其他數(shù)據(jù)中心獲取還原原始數(shù)據(jù)所需要的子數(shù)據(jù)及所述存儲單元存儲的子數(shù)據(jù),并進行糾刪處理,還原得到原始數(shù)據(jù)??蛇x地,在本發(fā)明實施例中,該數(shù)據(jù)中心可以根據(jù)數(shù)據(jù)集群系統(tǒng)的設(shè)置,分為中心數(shù)據(jù)中心或從數(shù)據(jù)中心,中心數(shù)據(jù)中心可以是企業(yè)需求的主要數(shù)據(jù)中心,比如是企業(yè)的主要的數(shù)據(jù)中心,這個可以通過設(shè)置指定,也可以將獲取原始數(shù)據(jù)的數(shù)據(jù)中心或存儲有最多份子數(shù)據(jù)的數(shù)據(jù)中心設(shè)置為中心數(shù)據(jù)中心,所述集群系統(tǒng)中的其他數(shù)據(jù)中心為從數(shù)據(jù)中心。本發(fā)明實施例中的數(shù)據(jù)中心,可以用于實施上述方法實施例,數(shù)據(jù)中心在實施上述方法實施例所執(zhí)行的處理如上述方法實施例中的各步驟所述,在此不再累述。本發(fā)明實施例中,通過數(shù)據(jù)中心服務器將原始數(shù)據(jù)進行切片、加密、糾刪處理生成可以還原為原始數(shù)據(jù)的多份子數(shù)據(jù),并且,可以還原為原始數(shù)據(jù)的分別存儲于不同數(shù)據(jù)中心,當需要還原原始數(shù)據(jù)中,首先可以從本地數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),如果本地數(shù)據(jù)中心的子數(shù)據(jù)無法還原為原始數(shù)據(jù),則可以從數(shù)據(jù)集群系統(tǒng)的其他數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),利用本發(fā)明實施例的方法,一方面,首先從本地獲得還原原始數(shù)據(jù)的子數(shù)據(jù),保證了還原原媽數(shù)據(jù)的效率,另一方面,通過將可以還原為原始數(shù)據(jù)的子數(shù)據(jù)存儲于數(shù)據(jù)集群中的其他數(shù)據(jù)中心,保證了數(shù)據(jù)存儲的安全性。請結(jié)合參看圖3,本發(fā)明實施例提供的分布式數(shù)據(jù)集群系統(tǒng)。本發(fā)明實施例的分布式數(shù)據(jù)集群系統(tǒng)包括:中心數(shù)據(jù)中心301及從數(shù)據(jù)中心303,其中,中心數(shù)據(jù)中心及從數(shù)據(jù)中心分別包括至少一個服務器,所述服務器包括:獲取單元,用于獲取原始數(shù)據(jù)或從其他數(shù)據(jù)中心獲取子數(shù)據(jù);切片單元,用于對所述原始數(shù)據(jù)進行切片處理,生成至少兩個數(shù)據(jù)塊,加密單元,用于對所述每個數(shù)據(jù)塊進行加密處理,生成N個子數(shù)據(jù)塊,其中,N為大于2的正整數(shù),糾刪單元,用于對所述N個子數(shù)據(jù)塊進行糾刪處理,生成M份子數(shù)據(jù),其中,所述M份子數(shù)據(jù)中的N份子數(shù)據(jù)可用于還原為原始數(shù)據(jù),M為大于N的正整數(shù),存儲單元,用于存儲所述M份子數(shù)據(jù)中的至少N份子數(shù)據(jù),或者,存儲從其他數(shù)據(jù)中心獲取的子數(shù)據(jù);發(fā)送單元,用于將所述M-N份子數(shù)據(jù)發(fā)送至其他數(shù)據(jù)中心??蛇x地,本發(fā)明實施例中,獲取原始數(shù)據(jù)的數(shù)據(jù)中心或存儲有最多份子數(shù)據(jù)的數(shù)據(jù)中心為中心數(shù)據(jù)中心,集群系統(tǒng)中的其他數(shù)據(jù)中心為從數(shù)據(jù)中心,中心數(shù)據(jù)中心與從數(shù)據(jù)中心在寬帶比較閑的時候進行子數(shù)據(jù)的傳輸??蛇x地,本發(fā)明實施例中,中心數(shù)據(jù)中心與從數(shù)據(jù)中心進行子數(shù)據(jù)傳輸,包括:中心數(shù)據(jù)中心獲取從數(shù)據(jù)中心不再保存的子數(shù)據(jù),或者,中心數(shù)據(jù)中心將子數(shù)據(jù)存儲于從數(shù)據(jù)中心??蛇x地,本發(fā)明實施例中,如果所述中心數(shù)據(jù)中心及從數(shù)據(jù)中心分別包括至少兩個服務器,則,所述中心數(shù)據(jù)中心及從數(shù)據(jù)中心內(nèi)的服務器通過局域網(wǎng)通信,所述所述中心數(shù)據(jù)中心及從數(shù)據(jù)中心間通過互聯(lián)網(wǎng)進行通信。本發(fā)明實施例中,通過數(shù)據(jù)集群系統(tǒng)的數(shù)據(jù)中心服務器將原始數(shù)據(jù)進行切片、加密、糾刪處理生成可以還原為原始數(shù)據(jù)的多份子數(shù)據(jù),并且,可以還原為原始數(shù)據(jù)的分別存儲于不同數(shù)據(jù)中心,當需要還原原始數(shù)據(jù)中,首先可以從本地數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),如果本地數(shù)據(jù)中心的子數(shù)據(jù)無法還原為原始數(shù)據(jù),則可以從數(shù)據(jù)集群系統(tǒng)的其他數(shù)據(jù)中心獲取所需要的子數(shù)據(jù),利用本發(fā)明實施例的方法,一方面,首先從本地獲得還原原始數(shù)據(jù)的子數(shù)據(jù),保證了還原原媽數(shù)據(jù)的效率,另一方面,通過將可以還原為原始數(shù)據(jù)的子數(shù)據(jù)存儲于數(shù)據(jù)集群中的其他數(shù)據(jù)中心,保證了數(shù)據(jù)存儲的安全性。需要說明的是,上述終端各單元及模塊之間的信息交互、執(zhí)行過程等內(nèi)容,由于與本發(fā)明方法實施例基于同一構(gòu)思,具體內(nèi)容可參見本發(fā)明方法實施例中的敘述,此處不再贅述。本發(fā)明中的各個單元或模塊能作為單獨的硬件或軟件來實現(xiàn),并且可以根據(jù)需要使用單獨的硬件或軟件來實現(xiàn)各個模塊功能的組合。本領(lǐng)域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成,該程序可以存儲于一計算機可讀存儲介質(zhì)中,存儲介質(zhì)可以包括:只讀存儲器(ROM,ReadOnlyMemory)、隨機存取存儲器(RAM,RandomAccessMemory)、磁盤或光盤等。以上對本發(fā)明實施例所提供的應用程序分發(fā)方法和終端設(shè)備,進行了詳細介紹,本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想;同時,對于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實施方式及應用范圍上均會有改變之處,綜上所述,本說明書內(nèi)容不應理解為對本發(fā)明的限制。