數(shù)據(jù)管理裝置及方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)管理裝置，包括：數(shù)據(jù)鏡像管理單元、數(shù)據(jù)高速分發(fā)單元、數(shù)據(jù)緩存單元、數(shù)據(jù)永久存儲(chǔ)單元等。數(shù)據(jù)鏡像管理單元用以接收和分發(fā)海量數(shù)據(jù)訪問(wèn)請(qǐng)求，并進(jìn)行數(shù)據(jù)存在性查詢判斷；數(shù)據(jù)高速分發(fā)單元用以計(jì)算并提供到達(dá)最終用戶的最短數(shù)據(jù)傳輸路徑；數(shù)據(jù)緩存單元用以加快數(shù)據(jù)的讀寫速度，以及緩存經(jīng)數(shù)據(jù)處理單元處理的結(jié)果數(shù)據(jù)；數(shù)據(jù)永久存儲(chǔ)單元用以永久存儲(chǔ)數(shù)據(jù)鏡像管理單元從外部的客戶數(shù)據(jù)系統(tǒng)中獲取的數(shù)據(jù)，并為該數(shù)據(jù)管理裝置提供原始形態(tài)的數(shù)據(jù)。本發(fā)明大大降低了數(shù)據(jù)永久存儲(chǔ)單元和數(shù)據(jù)處理單元的請(qǐng)求壓力，以完全非侵入式方式訪問(wèn)和處理位于客戶自定義單元中的數(shù)據(jù)，逐步降低直至完全消除對(duì)客戶數(shù)據(jù)系統(tǒng)的依賴性。
【專利說(shuō)明】數(shù)據(jù)管理裝置及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明關(guān)于一種云計(jì)算技術(shù)，特別是涉及一種數(shù)據(jù)管理裝置及方法。

【背景技術(shù)】
[0002]經(jīng)過(guò)近20年的發(fā)展，互聯(lián)網(wǎng)技術(shù)如今已經(jīng)非常成熟，并隨著近年來(lái)移動(dòng)設(shè)備特別是智能手機(jī)的快速普及所導(dǎo)致的數(shù)據(jù)產(chǎn)生門檻下降，全社會(huì)的數(shù)據(jù)總量快速增加。2011年全球的數(shù)據(jù)總量已達(dá)1800 E B，預(yù)計(jì)2015年將達(dá)7900 E B，保持每?jī)赡攴环乃俣取?br> [0003]隨著數(shù)據(jù)總量的飛速遞增，社會(huì)對(duì)于云存儲(chǔ)服務(wù)的需求越來(lái)越強(qiáng)烈。云存儲(chǔ)服務(wù)可以以低廉的單位存儲(chǔ)成本管理海量的數(shù)據(jù)，且不會(huì)隨著數(shù)據(jù)量的發(fā)展而導(dǎo)致訪問(wèn)性能的逐漸下降。
[0004]對(duì)于在云存儲(chǔ)服務(wù)普及之前已經(jīng)采用傳統(tǒng)方式管理著大量數(shù)據(jù)的企業(yè)而言，如何在保持服務(wù)不中斷的前提下平滑而安全的將歷史數(shù)據(jù)遷移至云存儲(chǔ)系統(tǒng)中已成為他們之前最大的一道障礙。
[0005]現(xiàn)有的技術(shù)已經(jīng)在業(yè)界廣泛使用的是內(nèi)容分發(fā)網(wǎng)絡(luò)。通過(guò)將所有對(duì)源數(shù)據(jù)系統(tǒng)的請(qǐng)求路由到內(nèi)容分發(fā)網(wǎng)絡(luò)，內(nèi)容分發(fā)網(wǎng)絡(luò)可以感知頻繁被訪問(wèn)的內(nèi)容并存儲(chǔ)到內(nèi)容分發(fā)網(wǎng)絡(luò)的緩存節(jié)點(diǎn)，從而同時(shí)達(dá)到降低對(duì)源站訪問(wèn)壓力和提高訪問(wèn)性能的目的。但內(nèi)容分發(fā)網(wǎng)絡(luò)無(wú)法完全脫離對(duì)源數(shù)據(jù)系統(tǒng)的依賴性，從而無(wú)法達(dá)成非常廣泛的普適性。
[0006]海量數(shù)據(jù)的存儲(chǔ)、訪問(wèn)、處理這三大問(wèn)題通常同時(shí)出現(xiàn)，只解決其中一到兩個(gè)問(wèn)題并不能解決復(fù)雜的數(shù)據(jù)管理技術(shù)問(wèn)題。隨著數(shù)據(jù)量的迅速增加，原先搭建的數(shù)據(jù)處理基礎(chǔ)設(shè)施已經(jīng)不堪使用，頻繁出現(xiàn)用戶訪問(wèn)量大增時(shí)，經(jīng)常導(dǎo)致數(shù)據(jù)處理系統(tǒng)反應(yīng)遲鈍，無(wú)法及時(shí)響應(yīng)用戶對(duì)數(shù)據(jù)的訪問(wèn)。因此發(fā)明一種可以在不完全推翻原有基礎(chǔ)設(shè)施的前提下將數(shù)據(jù)平滑遷移到先進(jìn)的云存儲(chǔ)系統(tǒng)的方法已變得非常急迫。


【發(fā)明內(nèi)容】

[0007]為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明提出一種數(shù)據(jù)管理裝置，包括:數(shù)據(jù)鏡像管理單元、數(shù)據(jù)高速分發(fā)單元、數(shù)據(jù)緩存單元、數(shù)據(jù)永久存儲(chǔ)單元以及數(shù)據(jù)處理單元，其中，
[0008]數(shù)據(jù)鏡像管理單元用以接收和分發(fā)海量數(shù)據(jù)訪問(wèn)請(qǐng)求，并進(jìn)行數(shù)據(jù)存在性查詢判斷；
[0009]數(shù)據(jù)高速分發(fā)單元用以計(jì)算并提供到達(dá)最終用戶的最短數(shù)據(jù)傳輸路徑；
[0010]數(shù)據(jù)緩存單元用以加快數(shù)據(jù)的讀寫速度，以及緩存經(jīng)數(shù)據(jù)處理單元處理的結(jié)果數(shù)據(jù)；
[0011]數(shù)據(jù)永久存儲(chǔ)單元用以永久存儲(chǔ)數(shù)據(jù)鏡像管理單元從外部的客戶數(shù)據(jù)系統(tǒng)中獲取的數(shù)據(jù)，并為該數(shù)據(jù)管理裝置提供原始形態(tài)的數(shù)據(jù)；
[0012]數(shù)據(jù)處理單元用以根據(jù)計(jì)算壓力在海量的計(jì)算節(jié)點(diǎn)之間的負(fù)載進(jìn)行均衡，按訪問(wèn)請(qǐng)求附帶的數(shù)據(jù)處理需求對(duì)輸入的原始數(shù)據(jù)進(jìn)行相應(yīng)處理，并作為輸出寫入到目標(biāo)位置。
[0013]進(jìn)一步地，數(shù)據(jù)處理單元包括有一數(shù)據(jù)處理掛載模塊，用以掛載具體的數(shù)據(jù)處理程序，實(shí)現(xiàn)在高并發(fā)場(chǎng)景下仍然能夠以穩(wěn)定的效率執(zhí)行數(shù)據(jù)處理過(guò)程。
[0014]進(jìn)一步地，所述數(shù)據(jù)高速分發(fā)單元還支持上傳下載雙向傳輸加速功能，用以將數(shù)據(jù)進(jìn)行高速分發(fā)。
[0015]進(jìn)一步地，所述數(shù)據(jù)永久存儲(chǔ)單元為一次性獲取客戶數(shù)據(jù)并永久保存。
[0016]進(jìn)一步地，所述數(shù)據(jù)鏡像管理單元還從外部的客戶數(shù)據(jù)系統(tǒng)中抓取尚不存在于數(shù)據(jù)永久存儲(chǔ)單元中的相應(yīng)數(shù)據(jù)并放入數(shù)據(jù)永久存儲(chǔ)單元。
[0017]本發(fā)明還提供一種數(shù)據(jù)的管理方法，包括如下步驟:
[0018]I)在數(shù)據(jù)鏡像管理單元中配置使用環(huán)境；
[0019]2 )響應(yīng)用戶對(duì)數(shù)據(jù)的訪問(wèn)請(qǐng)求。
[0020]進(jìn)一步地,步驟I)包括:
[0021 ] 在數(shù)據(jù)鏡像管理單元上配置用于遷移數(shù)據(jù)的存儲(chǔ)空間；
[0022]在數(shù)據(jù)鏡像管理單元上配置外部的客戶數(shù)據(jù)系統(tǒng)的訪問(wèn)模式和訪問(wèn)地址；
[0023]將外部的客戶數(shù)據(jù)系統(tǒng)的原域名解析指向配置完成的數(shù)據(jù)鏡像管理單元，將原先直接指向外部的客戶數(shù)據(jù)系統(tǒng)的數(shù)據(jù)訪問(wèn)調(diào)整到統(tǒng)一通過(guò)數(shù)據(jù)鏡像管理單元進(jìn)行訪問(wèn)。
[0024]進(jìn)一步地,步驟2)包括:
[0025]判斷訪問(wèn)請(qǐng)求的數(shù)據(jù)是否已經(jīng)存在于數(shù)據(jù)緩存單元中，若存在，則直接讀取并返回給用戶；若不存在，則
[0026]查詢數(shù)據(jù)永久存儲(chǔ)單元，并返回訪問(wèn)請(qǐng)求結(jié)果。
[0027]進(jìn)一步地，查詢數(shù)據(jù)永久存儲(chǔ)單元，并返回訪問(wèn)請(qǐng)求結(jié)果步驟中包括:
[0028]若訪問(wèn)請(qǐng)求的目標(biāo)數(shù)據(jù)存在于數(shù)據(jù)永久存儲(chǔ)單元，則返回訪問(wèn)請(qǐng)求結(jié)果；
[0029]若目標(biāo)數(shù)據(jù)均不存在于數(shù)據(jù)永久存儲(chǔ)單元中，則數(shù)據(jù)鏡像管理單元將遠(yuǎn)程查詢外部的客戶數(shù)據(jù)系統(tǒng)，如果目標(biāo)數(shù)據(jù)的原始形態(tài)存在于外部的客戶數(shù)據(jù)系統(tǒng)中，則將訪問(wèn)請(qǐng)求結(jié)果返回給用戶，并將返回的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)永久存儲(chǔ)單元中；
[0030]若目標(biāo)數(shù)據(jù)并不存在于外部的客戶數(shù)據(jù)系統(tǒng)中，則數(shù)據(jù)鏡像管理單元向用戶返回?cái)?shù)據(jù)不存在的相關(guān)信息。
[0031]進(jìn)一步地，若訪問(wèn)請(qǐng)求的目標(biāo)數(shù)據(jù)的原始形態(tài)存在于數(shù)據(jù)永久存儲(chǔ)單元，但不存在于數(shù)據(jù)緩存單元，根據(jù)訪問(wèn)請(qǐng)求中是否包含數(shù)據(jù)處理規(guī)則描述，確定是否在將目標(biāo)數(shù)據(jù)從數(shù)據(jù)永久存儲(chǔ)單元提升到數(shù)據(jù)緩存單元之前先經(jīng)由數(shù)據(jù)處理單元變換出符合最終需求的數(shù)據(jù)形態(tài)。
[0032]與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)效果如下:
[0033]1、設(shè)置了數(shù)據(jù)鏡像管理單元，為數(shù)據(jù)永久存儲(chǔ)單元加入數(shù)據(jù)管理功能。
[0034]2、數(shù)據(jù)緩存單元加快了數(shù)據(jù)的讀寫，大大降低了數(shù)據(jù)永久存儲(chǔ)單元和數(shù)據(jù)處理單元的請(qǐng)求壓力。
[0035]3、引入數(shù)據(jù)管理流程，達(dá)到以完全非侵入式方式訪問(wèn)和處理位于客戶自定義單元中的數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)加速的目標(biāo)，以及逐步降低直至完全消除對(duì)客戶數(shù)據(jù)系統(tǒng)的依賴性。

【專利附圖】

【附圖說(shuō)明】
[0036]圖1為本發(fā)明一種數(shù)據(jù)管理裝置的系統(tǒng)架構(gòu)圖；
[0037]圖2為本發(fā)明一種數(shù)據(jù)管理方法的步驟流程圖。

【具體實(shí)施方式】
[0038]以下通過(guò)特定的具體實(shí)例并結(jié)合【專利附圖】

【附圖說(shuō)明】本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說(shuō)明書所揭示的內(nèi)容輕易地了解本發(fā)明的其它優(yōu)點(diǎn)與功效。本發(fā)明亦可通過(guò)其它不同的具體實(shí)例加以施行或應(yīng)用，本說(shuō)明書中的各項(xiàng)細(xì)節(jié)亦可基于不同觀點(diǎn)與應(yīng)用，在不背離本發(fā)明的精神下進(jìn)行各種修飾與變更。
[0039]圖1為本實(shí)施例的數(shù)據(jù)管理裝置的系統(tǒng)架構(gòu)圖。該數(shù)據(jù)管理裝置I包括數(shù)據(jù)鏡像管理單元13、數(shù)據(jù)處理單元14、數(shù)據(jù)高速分發(fā)單元15、數(shù)據(jù)緩存單元12以及數(shù)據(jù)永久存儲(chǔ)單元11，其中，數(shù)據(jù)鏡像管理單元13組合上述若干單元，以接收和分發(fā)海量數(shù)據(jù)訪問(wèn)請(qǐng)求，并進(jìn)行數(shù)據(jù)存在性查詢判斷。必要時(shí)完成從客戶數(shù)據(jù)系統(tǒng)2中抓取相應(yīng)數(shù)據(jù)并放入數(shù)據(jù)永久存儲(chǔ)單元11中。
[0040]在使用該數(shù)據(jù)管理裝置時(shí)，配置好用于遷移數(shù)據(jù)的存儲(chǔ)空間；客戶數(shù)據(jù)系統(tǒng)2的訪問(wèn)模式和訪問(wèn)地址；將客戶數(shù)據(jù)系統(tǒng)2的原域名解析指向配置完成的數(shù)據(jù)鏡像管理單元13，將原先直接指向客戶數(shù)據(jù)系統(tǒng)2的數(shù)據(jù)訪問(wèn)調(diào)整到通過(guò)數(shù)據(jù)鏡像管理單元13進(jìn)行訪問(wèn)。當(dāng)外面的用戶向數(shù)據(jù)管理裝置I發(fā)起訪問(wèn)請(qǐng)求后，數(shù)據(jù)鏡像管理單元13即可開始執(zhí)行訪問(wèn)任務(wù)。
[0041]數(shù)據(jù)高速分發(fā)單元15用以計(jì)算并提供到達(dá)最終用戶的最短數(shù)據(jù)傳輸路徑，同時(shí)還支持上傳下載雙向傳輸加速功能，解決了能夠在多個(gè)節(jié)點(diǎn)上傳數(shù)據(jù)而不會(huì)導(dǎo)致數(shù)據(jù)不一致性問(wèn)題。
[0042]數(shù)據(jù)緩存單元12用以加快數(shù)據(jù)的讀寫速度，以及緩存經(jīng)數(shù)據(jù)處理單元處理的結(jié)果數(shù)據(jù)。數(shù)據(jù)緩存單元12可以明顯降低對(duì)于數(shù)據(jù)永久存儲(chǔ)單元11和數(shù)據(jù)處理單元14的請(qǐng)求壓力。
[0043]數(shù)據(jù)永久存儲(chǔ)單元11用以從外部的客戶數(shù)據(jù)系統(tǒng)中獲取數(shù)據(jù)，并為該數(shù)據(jù)管理裝置提供原始形態(tài)數(shù)據(jù)。實(shí)際使用時(shí)，可以用于永久存儲(chǔ)從客戶數(shù)據(jù)系統(tǒng)2中一次性獲取的數(shù)據(jù)。數(shù)據(jù)永久存儲(chǔ)單元11中存儲(chǔ)的數(shù)據(jù)不會(huì)像傳統(tǒng)的內(nèi)容分發(fā)網(wǎng)絡(luò)那樣，會(huì)因?yàn)閿?shù)據(jù)緩存單元12的存儲(chǔ)空間限制而導(dǎo)致階段性的刪除，而是保持永久有效，大大降低并最終消除對(duì)客戶數(shù)據(jù)系統(tǒng)2的依賴。
[0044]為了進(jìn)一步提高本實(shí)施例中數(shù)據(jù)管理裝置I的計(jì)算性能，數(shù)據(jù)管理裝置I還可以設(shè)置有數(shù)據(jù)處理單元14，提供一種根據(jù)計(jì)算壓力在海量計(jì)算節(jié)點(diǎn)之間進(jìn)行自動(dòng)負(fù)載均衡的機(jī)制，按訪問(wèn)請(qǐng)求附帶的數(shù)據(jù)處理需求對(duì)輸入的原始數(shù)據(jù)進(jìn)行相應(yīng)處理，并作為輸出寫入到目標(biāo)位置。并附有一數(shù)據(jù)處理掛載模塊(未圖示)，用以掛載具體的數(shù)據(jù)處理程序，如以符合數(shù)據(jù)處理單元14所定義的標(biāo)準(zhǔn)接口協(xié)議實(shí)現(xiàn)常規(guī)的或客戶自定義的數(shù)據(jù)處理算法，由數(shù)據(jù)處理單元14進(jìn)行調(diào)度和執(zhí)行，完成所需的數(shù)據(jù)處理過(guò)程。從而實(shí)現(xiàn)在高并發(fā)場(chǎng)景下仍然能夠以穩(wěn)定的效率處理數(shù)據(jù)。
[0045]請(qǐng)參見圖2，圖2為本實(shí)施例的數(shù)據(jù)管理方法的步驟流程圖，為了進(jìn)一步展開說(shuō)明本實(shí)施例的技術(shù)效果，下面以本實(shí)施例中的數(shù)據(jù)管理裝置I對(duì)訪問(wèn)請(qǐng)求的工作流程進(jìn)行詳細(xì)的說(shuō)明。
[0046]步驟S 1，首先，在數(shù)據(jù)鏡像管理單元中配置使用環(huán)境。其中，包括如下步驟:
[0047]1.在數(shù)據(jù)鏡像管理單元上配置用于遷移數(shù)據(jù)的存儲(chǔ)空間；
[0048]2.在數(shù)據(jù)鏡像管理單元上配置外部的客戶數(shù)據(jù)系統(tǒng)的訪問(wèn)模式和訪問(wèn)地址；
[0049]3.將外部的客戶數(shù)據(jù)系統(tǒng)的原域名解析指向配置完成的數(shù)據(jù)鏡像管理單元，將原先直接指向外部的客戶數(shù)據(jù)系統(tǒng)的數(shù)據(jù)訪問(wèn)調(diào)整到通過(guò)數(shù)據(jù)鏡像管理單元進(jìn)行訪問(wèn)。
[0050]步驟S 2，用戶向數(shù)據(jù)管理裝置發(fā)起訪問(wèn)請(qǐng)求，數(shù)據(jù)管理裝置根據(jù)用戶的訪問(wèn)請(qǐng)求，完整執(zhí)行鏡像數(shù)據(jù)訪問(wèn)業(yè)務(wù)流程。
[0051]步驟S 0，訪問(wèn)完成。
[0052]下面詳細(xì)說(shuō)明數(shù)據(jù)管理裝置執(zhí)行用戶訪問(wèn)請(qǐng)求的步驟:
[0053]步驟S 20:首先，用戶請(qǐng)求訪問(wèn)數(shù)據(jù)鏡像管理單元13以及數(shù)據(jù)緩存單元12 ；
[0054]步驟S 21:如果訪問(wèn)的目標(biāo)數(shù)據(jù)存在于數(shù)據(jù)緩存單元12，則執(zhí)行步驟S 210，即將數(shù)據(jù)緩存單元12中的數(shù)據(jù)讀取，返回給用戶，進(jìn)入步驟S 0，讀取完成。
[0055]在步驟S 21中，如果訪問(wèn)的目標(biāo)數(shù)據(jù)不存在于數(shù)據(jù)緩存單元12中，則進(jìn)入步驟S22。
[0056]步驟S 22及步驟S 23，訪問(wèn)數(shù)據(jù)永久存儲(chǔ)單元11并進(jìn)行判斷，若訪問(wèn)請(qǐng)求的目標(biāo)數(shù)據(jù)存在于數(shù)據(jù)永久存儲(chǔ)單元11中，則進(jìn)入步驟S 230。
[0057]步驟S 230，對(duì)數(shù)據(jù)進(jìn)行處理，根據(jù)訪問(wèn)請(qǐng)求中是否包含數(shù)據(jù)處理規(guī)則描述，確定是否在將目標(biāo)數(shù)據(jù)從數(shù)據(jù)永久存儲(chǔ)單元提升到數(shù)據(jù)緩存單元之前先經(jīng)由數(shù)據(jù)處理單元變換出符合最終需求的數(shù)據(jù)形態(tài)，如視頻文件轉(zhuǎn)碼、圖片縮放與剪切、日志文件壓縮和解壓縮等等。如果需要進(jìn)行處理，則進(jìn)入步驟S 231，對(duì)數(shù)據(jù)進(jìn)行處理，處理完畢，進(jìn)入步驟S 232。
[0058]步驟S 232，將訪問(wèn)到的數(shù)據(jù)或者經(jīng)過(guò)步驟S 231處理過(guò)的數(shù)據(jù)寫入數(shù)據(jù)緩存單元12并返回給用戶，進(jìn)入步驟S O訪問(wèn)完成。
[0059]在步驟S 23中，若訪問(wèn)請(qǐng)求的目標(biāo)數(shù)據(jù)不存在于數(shù)據(jù)永久存儲(chǔ)單元11中，進(jìn)入步驟S 24以及步驟S 240，數(shù)據(jù)鏡像管理單元13將遠(yuǎn)程查詢外部的客戶數(shù)據(jù)系統(tǒng)2。如果目標(biāo)數(shù)據(jù)的原始形態(tài)存在于外部的客戶數(shù)據(jù)系統(tǒng)2中，則進(jìn)入步驟S 242，將訪問(wèn)請(qǐng)求結(jié)果存儲(chǔ)到數(shù)據(jù)永久存儲(chǔ)單元11中，然后進(jìn)入步驟S 230。
[0060]在步驟S 240中，若目標(biāo)數(shù)據(jù)并不存在于外部的客戶數(shù)據(jù)系統(tǒng)2中，則進(jìn)入步驟S241，數(shù)據(jù)鏡像管理單元13向用戶返回?cái)?shù)據(jù)不存在的相關(guān)信息，比如返回“文件不存在”的錯(cuò)誤信息，最后訪問(wèn)完成。
[0061]綜上所述，本發(fā)明的一種數(shù)據(jù)管理系統(tǒng)及方法其效果包括如下:
[0062]1、設(shè)置了數(shù)據(jù)鏡像管理單元，為數(shù)據(jù)永久存儲(chǔ)單元加入數(shù)據(jù)管理功能。
[0063]2、數(shù)據(jù)緩存單元加快了數(shù)據(jù)的讀寫，大大降低了數(shù)據(jù)永久存儲(chǔ)單元和數(shù)據(jù)處理單元的請(qǐng)求壓力。
[0064]3、引入數(shù)據(jù)管理流程，達(dá)到以完全非侵入式方式訪問(wèn)和處理位于客戶自定義單元中的數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)加速的目標(biāo)，以及逐步降低直至完全消除對(duì)客戶數(shù)據(jù)系統(tǒng)的依賴性。
[0065]上述實(shí)施例僅例示性說(shuō)明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何本領(lǐng)域技術(shù)人員均可在不違背本發(fā)明的精神及范疇下，對(duì)上述實(shí)施例進(jìn)行修飾與改變。因此，本發(fā)明的權(quán)利保護(hù)范圍，應(yīng)如權(quán)利要求書所列。
【權(quán)利要求】
1.一種數(shù)據(jù)管理裝置，其特征在于，包括:數(shù)據(jù)鏡像管理單元、數(shù)據(jù)高速分發(fā)單元、數(shù)據(jù)緩存單元、數(shù)據(jù)永久存儲(chǔ)單元以及數(shù)據(jù)處理單元，其中， 數(shù)據(jù)鏡像管理單元用以接收和分發(fā)海量數(shù)據(jù)訪問(wèn)請(qǐng)求，并進(jìn)行數(shù)據(jù)存在性查詢判斷； 數(shù)據(jù)高速分發(fā)單元用以計(jì)算并提供到達(dá)最終用戶的最短數(shù)據(jù)傳輸路徑； 數(shù)據(jù)緩存單元用以加快數(shù)據(jù)的讀寫速度，以及緩存經(jīng)數(shù)據(jù)處理單元處理的結(jié)果數(shù)據(jù)；數(shù)據(jù)永久存儲(chǔ)單元用以永久存儲(chǔ)數(shù)據(jù)鏡像管理單元從外部的客戶數(shù)據(jù)系統(tǒng)中獲取的數(shù)據(jù)，并為該數(shù)據(jù)管理裝置提供原始形態(tài)的數(shù)據(jù)； 數(shù)據(jù)處理單元用以根據(jù)計(jì)算壓力在海量的計(jì)算節(jié)點(diǎn)之間的負(fù)載進(jìn)行均衡，按訪問(wèn)請(qǐng)求附帶的數(shù)據(jù)處理需求對(duì)輸入的原始數(shù)據(jù)進(jìn)行相應(yīng)處理，并作為輸出寫入到目標(biāo)位置。
2.如權(quán)利要求1所述的數(shù)據(jù)管理裝置，其特征在于:數(shù)據(jù)處理單元包括有一數(shù)據(jù)處理掛載模塊，用以掛載具體的數(shù)據(jù)處理程序，實(shí)現(xiàn)在高并發(fā)場(chǎng)景下仍然能夠以穩(wěn)定的效率執(zhí)行數(shù)據(jù)處理過(guò)程。
3.如權(quán)利要求1所述的數(shù)據(jù)管理裝置，其特征在于:所述數(shù)據(jù)高速分發(fā)單元還支持上傳下載雙向傳輸加速功能，用以將數(shù)據(jù)進(jìn)行高速分發(fā)。
4.如權(quán)利要求1所述的數(shù)據(jù)管理裝置，其特征在于:所述數(shù)據(jù)永久存儲(chǔ)單元為一次性獲取客戶數(shù)據(jù)并永久保存。
5.如權(quán)利要求1所述的數(shù)據(jù)管理裝置，其特征在于:所述數(shù)據(jù)鏡像管理單元還從外部的客戶數(shù)據(jù)系統(tǒng)中抓取尚不存在于數(shù)據(jù)永久存儲(chǔ)單元中的相應(yīng)數(shù)據(jù)并放入數(shù)據(jù)永久存儲(chǔ)單元。
6.一種數(shù)據(jù)的管理方法，其特征在于，包括如下步驟: 1)在數(shù)據(jù)鏡像管理單元中配置使用環(huán)境； 2)響應(yīng)用戶對(duì)數(shù)據(jù)的訪問(wèn)請(qǐng)求。
7.如權(quán)利要求6所述的一種數(shù)據(jù)的管理方法，其特征在于，步驟I)包括: 在數(shù)據(jù)鏡像管理單元上配置用于遷移數(shù)據(jù)的存儲(chǔ)空間； 在數(shù)據(jù)鏡像管理單元上配置外部的客戶數(shù)據(jù)系統(tǒng)的訪問(wèn)模式和訪問(wèn)地址； 將外部的客戶數(shù)據(jù)系統(tǒng)的原域名解析指向配置完成的數(shù)據(jù)鏡像管理單元，將原先直接指向外部的客戶數(shù)據(jù)系統(tǒng)的數(shù)據(jù)訪問(wèn)調(diào)整到統(tǒng)一通過(guò)數(shù)據(jù)鏡像管理單元進(jìn)行訪問(wèn)。
8.如權(quán)利要求6所述的一種數(shù)據(jù)的管理方法，其特征在于，步驟2)包括: 判斷訪問(wèn)請(qǐng)求的數(shù)據(jù)是否已經(jīng)存在于數(shù)據(jù)緩存單元中，若存在，則直接讀取并返回給用戶；若不存在，則 查詢數(shù)據(jù)永久存儲(chǔ)單元，并返回訪問(wèn)請(qǐng)求結(jié)果。
9.如權(quán)利要求8所述的一種數(shù)據(jù)的管理方法，其特征在于，查詢數(shù)據(jù)永久存儲(chǔ)單元，并返回訪問(wèn)請(qǐng)求結(jié)果步驟中包括: 若訪問(wèn)請(qǐng)求的目標(biāo)數(shù)據(jù)存在于數(shù)據(jù)永久存儲(chǔ)單元，則返回訪問(wèn)請(qǐng)求結(jié)果； 若目標(biāo)數(shù)據(jù)均不存在于數(shù)據(jù)永久存儲(chǔ)單元中，則數(shù)據(jù)鏡像管理單元將遠(yuǎn)程查詢外部的客戶數(shù)據(jù)系統(tǒng)，如果目標(biāo)數(shù)據(jù)的原始形態(tài)存在于外部的客戶數(shù)據(jù)系統(tǒng)中，則將訪問(wèn)請(qǐng)求結(jié)果返回給用戶，并將返回的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)永久存儲(chǔ)單元中； 若目標(biāo)數(shù)據(jù)并不存在于外部的客戶數(shù)據(jù)系統(tǒng)中，則數(shù)據(jù)鏡像管理單元向用戶返回?cái)?shù)據(jù)不存在的相關(guān)信息。
10.如權(quán)利要求9所述的一種數(shù)據(jù)的管理方法，其特征在于，若訪問(wèn)請(qǐng)求的目標(biāo)數(shù)據(jù)的原始形態(tài)存在于數(shù)據(jù)永久存儲(chǔ)單元，但不存在于數(shù)據(jù)緩存單元，根據(jù)訪問(wèn)請(qǐng)求中是否包含數(shù)據(jù)處理規(guī)則描述，確定是否在將目標(biāo)數(shù)據(jù)從數(shù)據(jù)永久存儲(chǔ)單元提升到數(shù)據(jù)緩存單元之前先經(jīng)由數(shù)據(jù)處理單元變換出符合最終需求的數(shù)據(jù)形態(tài)。
【文檔編號(hào)】H04L29/08GK104378396SQ201310355089
【公開日】2015年2月25日 申請(qǐng)日期:2013年8月15日 優(yōu)先權(quán)日:2013年8月15日
【發(fā)明者】呂桂華, 許式偉 申請(qǐng)人:上海七牛信息技術(shù)有限公司