本發(fā)明涉及數(shù)據(jù)遷移,具體涉及一種物流平臺(tái)的數(shù)據(jù)遷移處理方法及系統(tǒng)。
背景技術(shù):
1、物流企業(yè)右多個(gè)分散的業(yè)務(wù)系統(tǒng),如倉(cāng)庫(kù)管理系統(tǒng)、運(yùn)輸管理系統(tǒng)和財(cái)務(wù)管理系統(tǒng)等。通過(guò)數(shù)據(jù)遷移,可以將這些分散的數(shù)據(jù)整合到一個(gè)統(tǒng)一的物流平臺(tái)上,實(shí)現(xiàn)數(shù)據(jù)的集中管理和共享。然而,物流平臺(tái)業(yè)務(wù)數(shù)據(jù)遷移過(guò)程存在以下問(wèn)題:1、數(shù)據(jù)量大且復(fù)雜的問(wèn)題。因?yàn)樯婕按罅康臉I(yè)務(wù)數(shù)據(jù),包括訂單信息、貨物跟蹤數(shù)據(jù)、客戶信息、運(yùn)輸路線、庫(kù)存狀態(tài)等。這些數(shù)據(jù)通常具有復(fù)雜的結(jié)構(gòu)和關(guān)系,如訂單與貨物的關(guān)聯(lián)、運(yùn)輸路線與車(chē)輛的匹配等。2、數(shù)據(jù)兼容性的問(wèn)題。由于在不同的物流平臺(tái)可能采用不同的數(shù)據(jù)格式、數(shù)據(jù)庫(kù)系統(tǒng)和技術(shù)架構(gòu)。因此,在數(shù)據(jù)遷移過(guò)程中,需要解決數(shù)據(jù)兼容性問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明實(shí)施例提供的一種物流平臺(tái)的數(shù)據(jù)遷移處理方法及系統(tǒng),能將不同平臺(tái)的業(yè)務(wù)數(shù)據(jù)進(jìn)行遷移,并在數(shù)據(jù)遷移過(guò)程中能保證數(shù)據(jù)的準(zhǔn)確性和一致性。
2、第一方面,本發(fā)明實(shí)施例提供的一種物流平臺(tái)的數(shù)據(jù)遷移處理方法,包括:
3、獲取不同的管理平臺(tái)和業(yè)務(wù)平臺(tái)數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù);
4、將業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)轉(zhuǎn)換,得到轉(zhuǎn)換后的數(shù)據(jù),對(duì)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行備份;
5、采用遷移工具將轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行遷移,并對(duì)遷移數(shù)據(jù)進(jìn)行數(shù)據(jù)同步、數(shù)據(jù)雙寫(xiě)和數(shù)據(jù)一致性校驗(yàn);
6、驗(yàn)證通過(guò)后的數(shù)據(jù)傳輸?shù)綐?gòu)建的可操作數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)倉(cāng)庫(kù)。
7、第二方面,本發(fā)明實(shí)施例提供的一種物流平臺(tái)的數(shù)據(jù)遷移處理系統(tǒng),包括:數(shù)據(jù)獲取模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)遷移模塊和存儲(chǔ)模塊;
8、所述數(shù)據(jù)獲取模塊用于獲取不同的管理平臺(tái)和業(yè)務(wù)平臺(tái)數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù);
9、所述數(shù)據(jù)處理模塊用于將業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)轉(zhuǎn)換,得到轉(zhuǎn)換后的數(shù)據(jù),對(duì)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行備份;
10、所述數(shù)據(jù)遷移模塊用于采用遷移工具將轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行遷移,并對(duì)遷移數(shù)據(jù)進(jìn)行數(shù)據(jù)同步、數(shù)據(jù)雙寫(xiě)和數(shù)據(jù)一致性校驗(yàn);
11、所述存儲(chǔ)模塊用于驗(yàn)證通過(guò)后的數(shù)據(jù)傳輸?shù)綐?gòu)建的可操作數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)倉(cāng)庫(kù)。
12、本發(fā)明的有益效果:
13、本發(fā)明實(shí)施例提供的一種物流平臺(tái)的數(shù)據(jù)遷移處理方法及系統(tǒng),能將不同平臺(tái)的業(yè)務(wù)數(shù)據(jù)進(jìn)行遷移,并在數(shù)據(jù)遷移過(guò)程中能保證數(shù)據(jù)的準(zhǔn)確性和一致性。
1.一種物流平臺(tái)的數(shù)據(jù)遷移處理方法,其特征在于,包括:
2.如權(quán)利要求1所述的物流平臺(tái)的數(shù)據(jù)遷移處理方法,其特征在于,所述業(yè)務(wù)數(shù)據(jù)包括:字典數(shù)據(jù)、司機(jī)數(shù)據(jù)、車(chē)輛數(shù)據(jù)、訂單數(shù)據(jù)、運(yùn)單數(shù)據(jù)、派車(chē)單和磅單。
3.如權(quán)利要求2所述的物流平臺(tái)的數(shù)據(jù)遷移處理方法,其特征在于,所述將業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理的具體方法包括:
4.如權(quán)利要求3所述的物流平臺(tái)的數(shù)據(jù)遷移處理方法,其特征在于,所述將業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換的具體方法包括:
5.如權(quán)利要求1所述的物流平臺(tái)的數(shù)據(jù)遷移處理方法,其特征在于,所述對(duì)遷移數(shù)據(jù)進(jìn)行數(shù)據(jù)雙寫(xiě)的具體方法包括:
6.一種物流平臺(tái)的數(shù)據(jù)遷移處理系統(tǒng),其特征在于,包括:數(shù)據(jù)獲取模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)遷移模塊和存儲(chǔ)模塊;
7.如權(quán)利要求6所述的系統(tǒng),其特征在于,所述業(yè)務(wù)數(shù)據(jù)包括:字典數(shù)據(jù)、司機(jī)數(shù)據(jù)、車(chē)輛數(shù)據(jù)、訂單數(shù)據(jù)、運(yùn)單數(shù)據(jù)、派車(chē)單和磅單。
8.如權(quán)利要求7所述的系統(tǒng),其特征在于,所述數(shù)據(jù)處理模塊包括處理單元,所述處理單元用于刪除業(yè)務(wù)數(shù)據(jù)中存在重復(fù)數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和不必要的數(shù)據(jù),對(duì)存在信息缺失的數(shù)據(jù)采用全局變量、平均值或中位數(shù)的方法進(jìn)行填補(bǔ)。
9.如權(quán)利要求8所述的系統(tǒng),其特征在于,所述數(shù)據(jù)處理模塊包括轉(zhuǎn)換單元,所述轉(zhuǎn)換單元用于字典數(shù)據(jù)、司機(jī)數(shù)據(jù)和車(chē)輛數(shù)據(jù)以管理平臺(tái)為準(zhǔn)進(jìn)行映射轉(zhuǎn)換,將管理平臺(tái)和業(yè)務(wù)平臺(tái)中的業(yè)務(wù)單據(jù)數(shù)據(jù)統(tǒng)一編號(hào),將業(yè)務(wù)平臺(tái)中的訂單數(shù)據(jù)、運(yùn)單數(shù)據(jù)、派車(chē)單和磅單生成新的編號(hào)。
10.如權(quán)利要求6所述的系統(tǒng),其特征在于,所述數(shù)據(jù)遷移模塊包括數(shù)據(jù)雙寫(xiě)單元,所述數(shù)據(jù)雙寫(xiě)單元用于配置主數(shù)據(jù)庫(kù)和備份數(shù)據(jù)庫(kù),將可操作數(shù)據(jù)存儲(chǔ)作為主數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù)作為備份數(shù)據(jù)庫(kù),所述主數(shù)據(jù)庫(kù)負(fù)責(zé)所有的讀寫(xiě)操作,備份數(shù)據(jù)庫(kù)負(fù)責(zé)接收主數(shù)據(jù)庫(kù)的寫(xiě)入數(shù)據(jù)并進(jìn)行備份;