本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)處理方法、電子設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、隨著數(shù)字化技術(shù)的發(fā)展，數(shù)據(jù)越來越繁雜，為了便于訪問和分析，數(shù)據(jù)集成平臺將多個不同數(shù)據(jù)源的數(shù)據(jù)整合到一個統(tǒng)一的、易于訪問和分析的數(shù)據(jù)存儲庫中。數(shù)據(jù)整合的過程是將各數(shù)據(jù)源的數(shù)據(jù)經(jīng)過處理后，轉(zhuǎn)存入另一個數(shù)據(jù)存儲庫中。

2、目前對存儲數(shù)據(jù)進行轉(zhuǎn)存的處理方式是在系統(tǒng)中調(diào)取一數(shù)據(jù)源的全部數(shù)據(jù)，再將調(diào)取的全部數(shù)據(jù)寫入另一個數(shù)據(jù)存儲庫中。但是這種方式需要占用系統(tǒng)大量的存儲空間去存儲調(diào)取的數(shù)據(jù)。

技術(shù)實現(xiàn)思路

1、本申請主要解決的技術(shù)問題是提供一種數(shù)據(jù)處理方法、電子設(shè)備及計算機可讀存儲介質(zhì)，能夠減少數(shù)據(jù)占用的存儲空間。

2、為解決上述技術(shù)問題，本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法、電子設(shè)備及計算機可讀存儲介質(zhì)。

3、在一實施例中，一種數(shù)據(jù)處理方法應(yīng)用于數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)包括數(shù)據(jù)處理模塊，第一數(shù)據(jù)存儲模塊和第二數(shù)據(jù)存儲模塊，所述數(shù)據(jù)處理模塊的一端與所述第一數(shù)據(jù)存儲模塊連接，另一端與所述第二數(shù)據(jù)存儲模塊連接，所述方法包括：所述數(shù)據(jù)處理模塊根據(jù)獲取的數(shù)據(jù)存儲指令從所述第一數(shù)據(jù)存儲模塊中獲取待存儲數(shù)據(jù)，所述待存儲數(shù)據(jù)中包括待存儲的初始數(shù)值和所述初始數(shù)值對應(yīng)的待存儲字段；將所述初始數(shù)值存儲至預(yù)設(shè)的預(yù)設(shè)數(shù)組中，得到初始數(shù)組，所述初始數(shù)組中包括數(shù)值不同的初始數(shù)值；根據(jù)所述初始數(shù)組以及各初始數(shù)值對應(yīng)的待存儲字段構(gòu)建目標(biāo)數(shù)據(jù)結(jié)構(gòu)；根據(jù)所述第二數(shù)據(jù)存儲模塊的數(shù)據(jù)存儲規(guī)則從所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取目標(biāo)數(shù)值寫入所述第二數(shù)據(jù)存儲模塊中。

4、在一實施例中，所述將所述初始數(shù)值存儲至預(yù)設(shè)的預(yù)設(shè)數(shù)組中，得到初始數(shù)組的步驟包括：確定所述預(yù)設(shè)數(shù)組中是否存在與所述待存儲的初始數(shù)值相同的數(shù)值；若不存在，則將所述初始數(shù)值存儲至所述預(yù)設(shè)數(shù)組中，得到初始數(shù)組；若存在，則將相同數(shù)值作為存儲至所述預(yù)設(shè)數(shù)組中的初始數(shù)值，并將所述相同數(shù)值在所述預(yù)設(shè)數(shù)組中的存儲位置作為所述初始數(shù)值在所述預(yù)設(shè)數(shù)組中的存儲位置，得到所述初始數(shù)組。

5、在一實施例中，所述根據(jù)所述初始數(shù)組以及各初始數(shù)值對應(yīng)的待存儲字段構(gòu)建目標(biāo)數(shù)據(jù)結(jié)構(gòu)的步驟包括：根據(jù)所述初始數(shù)值在所述初始數(shù)組中的存儲位置確定字段偏移量；根據(jù)所述初始數(shù)值對應(yīng)的待存儲字段和所述初始數(shù)值對應(yīng)的字段偏移量構(gòu)建所述待存儲字段對應(yīng)的初始表結(jié)構(gòu)；根據(jù)預(yù)設(shè)數(shù)據(jù)變換規(guī)則對所述初始表結(jié)構(gòu)和/或初始數(shù)組進行規(guī)則變化處理，獲得目標(biāo)數(shù)據(jù)結(jié)構(gòu)。

6、在一實施例中，所述預(yù)設(shè)數(shù)據(jù)變換規(guī)則包括字段重命名規(guī)則、字段修改規(guī)則、字段新增規(guī)則和字段刪除規(guī)則中的至少一種，所述根據(jù)預(yù)設(shè)數(shù)據(jù)變換規(guī)則對所述初始表結(jié)構(gòu)和/或初始數(shù)組進行規(guī)則變化處理，獲得目標(biāo)數(shù)據(jù)結(jié)構(gòu)的步驟，包括：根據(jù)所述字段重命名規(guī)則對所述初始表結(jié)構(gòu)中的字段進行重命名處理，獲得第一目標(biāo)表結(jié)構(gòu)；和/或，根據(jù)所述字段修改規(guī)則對所述初始數(shù)組中的初始數(shù)值進行變化處理，獲取目標(biāo)數(shù)值；和/或，根據(jù)所述字段刪除規(guī)則對所述初始表結(jié)構(gòu)中的字段進行刪除處理，獲得第二目標(biāo)表結(jié)構(gòu)；和/或，根據(jù)所述字段新增規(guī)則對所述初始表結(jié)構(gòu)中的字段進行新增處理，獲得第三目標(biāo)表結(jié)構(gòu)；根據(jù)所述第一目標(biāo)表結(jié)構(gòu)、所述第二目標(biāo)表結(jié)構(gòu)、所述第三目標(biāo)表結(jié)構(gòu)和/或所述目標(biāo)數(shù)值確定目標(biāo)數(shù)據(jù)結(jié)構(gòu)。

7、在一實施例中，所述字段重命名規(guī)則包括第一字段名和所述第一字段名對應(yīng)的目標(biāo)字段名，所述根據(jù)所述字段重命名規(guī)則對所述初始表結(jié)構(gòu)中的字段進行重命名處理，獲得第一目標(biāo)表結(jié)構(gòu)的步驟包括：根據(jù)所述第一字段名從所述初始表結(jié)構(gòu)中匹配出待替換字段名；將所述初始表結(jié)構(gòu)中的所述待替換字段名替換為對應(yīng)的目標(biāo)字段名，得到第一目標(biāo)表結(jié)構(gòu)。

8、在一實施例中，所述字段修改規(guī)則包括第二字段名和所述第二字段名對應(yīng)的算法，所述根據(jù)所述字段修改規(guī)則對所述初始數(shù)組中的初始數(shù)值進行變化處理，獲取目標(biāo)數(shù)值的步驟包括；根據(jù)所述第二字段名從所述初始表結(jié)構(gòu)中匹配出待處理字段名；根據(jù)所述初始表結(jié)構(gòu)中的所述待處理字段名對應(yīng)的字段偏移量從初始數(shù)組中確定待修改的初始數(shù)值；根據(jù)所述第二字段名對應(yīng)的算法對所述待修改的初始數(shù)值進行計算，得到所述目標(biāo)數(shù)值。

9、在一實施例中，所述根據(jù)所述第二數(shù)據(jù)存儲模塊的數(shù)據(jù)存儲規(guī)則從所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取目標(biāo)數(shù)值寫入所述第二數(shù)據(jù)存儲模塊中的步驟包括：根據(jù)所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取的目標(biāo)數(shù)值獲取待寫入數(shù)據(jù)；響應(yīng)于所述第二數(shù)據(jù)存儲模塊的目標(biāo)存儲格式與所述待寫入數(shù)據(jù)的格式不一致，根據(jù)所述目標(biāo)存儲格式對所述待寫入數(shù)據(jù)進行格式轉(zhuǎn)換，獲得轉(zhuǎn)換后的數(shù)據(jù)；將所述轉(zhuǎn)換后的數(shù)據(jù)寫入所述第二數(shù)據(jù)存儲模塊中。

10、在一實施例中，所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)包括目標(biāo)表結(jié)構(gòu)在所述數(shù)據(jù)處理模塊中的存儲位置和目標(biāo)數(shù)組，所述目標(biāo)數(shù)組中包括數(shù)值不同的目標(biāo)數(shù)值，所述根據(jù)所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取的目標(biāo)數(shù)值獲取待寫入數(shù)據(jù)的步驟包括：根據(jù)所述目標(biāo)表結(jié)構(gòu)在所述數(shù)據(jù)處理模塊中的存儲位置從所述目標(biāo)表結(jié)構(gòu)中確定目標(biāo)存儲字段和所述目標(biāo)存儲字段對應(yīng)的字段偏移量；根據(jù)所述字段偏移量從所述目標(biāo)數(shù)組中調(diào)取所述目標(biāo)數(shù)值；根據(jù)所述目標(biāo)存儲字段對所述目標(biāo)數(shù)值進行格式轉(zhuǎn)換處理，獲得所述待寫入數(shù)據(jù)。

11、為解決上述技術(shù)問題，本申請?zhí)峁┮环N電子設(shè)備，包括存儲器和處理器，所述存儲器存儲有程序指令，所述處理器從所述存儲器調(diào)取所述程序指令以執(zhí)行上述的數(shù)據(jù)處理方法。

12、為解決上述技術(shù)問題，本申請?zhí)峁┮环N計算機可讀存儲介質(zhì)，包括：儲存有程序數(shù)據(jù)，所述程序數(shù)據(jù)被處理器執(zhí)行時用于實現(xiàn)上述的數(shù)據(jù)處理方法。

13、上述方案，根據(jù)獲取的數(shù)據(jù)存儲指令從第一數(shù)據(jù)存儲模塊中獲取待存儲數(shù)據(jù)，待存儲數(shù)據(jù)中包括待存儲的初始數(shù)值和初始數(shù)值對應(yīng)的待存儲字段；將初始數(shù)值存儲至預(yù)設(shè)的預(yù)設(shè)數(shù)組中，得到初始數(shù)組，初始數(shù)組中包括數(shù)值不同的初始數(shù)值；根據(jù)初始數(shù)組以及各初始數(shù)值對應(yīng)的待存儲字段構(gòu)建目標(biāo)數(shù)據(jù)結(jié)構(gòu)；根據(jù)第二數(shù)據(jù)存儲模塊的數(shù)據(jù)存儲規(guī)則從目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取目標(biāo)數(shù)值寫入第二數(shù)據(jù)存儲模塊中。一方面，從初始數(shù)組以及待存儲字段構(gòu)建的目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)用目標(biāo)數(shù)值，再寫入第二數(shù)據(jù)存儲模塊，實現(xiàn)了存儲數(shù)據(jù)的轉(zhuǎn)存。另一方面，采用初始數(shù)組存儲數(shù)值不同的初始數(shù)值，能夠避免相同數(shù)值的重復(fù)存儲，減少數(shù)據(jù)的存儲空間，進而實現(xiàn)在存儲數(shù)據(jù)的轉(zhuǎn)存過程中減少數(shù)據(jù)的存儲空間。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)包括數(shù)據(jù)處理模塊，第一數(shù)據(jù)存儲模塊和第二數(shù)據(jù)存儲模塊，所述數(shù)據(jù)處理模塊的一端與所述第一數(shù)據(jù)存儲模塊連接，另一端與所述第二數(shù)據(jù)存儲模塊連接，所述方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述將所述初始數(shù)值存儲至預(yù)設(shè)數(shù)組中，得到初始數(shù)組的步驟包括：

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述初始數(shù)組以及各初始數(shù)值對應(yīng)的待存儲字段構(gòu)建目標(biāo)數(shù)據(jù)結(jié)構(gòu)的步驟包括：

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述預(yù)設(shè)數(shù)據(jù)變換規(guī)則包括字段重命名規(guī)則、字段修改規(guī)則、字段新增規(guī)則和字段刪除規(guī)則中的至少一種，所述根據(jù)預(yù)設(shè)數(shù)據(jù)變換規(guī)則對所述初始表結(jié)構(gòu)和/或初始數(shù)組進行規(guī)則變化處理，獲得目標(biāo)數(shù)據(jù)結(jié)構(gòu)的步驟，包括：

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述字段重命名規(guī)則包括第一字段名和所述第一字段名對應(yīng)的目標(biāo)字段名，所述根據(jù)所述字段重命名規(guī)則對所述初始表結(jié)構(gòu)中的字段進行重命名處理，獲得第一目標(biāo)表結(jié)構(gòu)的步驟包括：

6.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述字段修改規(guī)則包括第二字段名和所述第二字段名對應(yīng)的算法，所述根據(jù)所述字段修改規(guī)則對所述初始數(shù)組中的初始數(shù)值進行變化處理，獲取目標(biāo)數(shù)值的步驟包括；

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述第二數(shù)據(jù)存儲模塊的數(shù)據(jù)存儲規(guī)則從所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取目標(biāo)數(shù)值寫入所述第二數(shù)據(jù)存儲模塊中的步驟包括：

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)處理方法，其特征在于，所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)包括目標(biāo)表結(jié)構(gòu)在所述數(shù)據(jù)處理模塊中的存儲位置和目標(biāo)數(shù)組，所述目標(biāo)數(shù)組中包括數(shù)值不同的目標(biāo)數(shù)值，所述根據(jù)所述目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取的目標(biāo)數(shù)值獲取待寫入數(shù)據(jù)的步驟包括：

9.一種電子設(shè)備，其特征在于，包括：存儲器和處理器，其中，所述存儲器存儲有程序指令，所述處理器從所述存儲器調(diào)取所述程序指令以執(zhí)行如權(quán)利要求1-8任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，包括：存儲有程序數(shù)據(jù)，所述程序數(shù)據(jù)被處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1-8任一項所述的方法。

技術(shù)總結(jié)
本申請公開了一種數(shù)據(jù)處理方法、電子設(shè)備及計算機可讀存儲介質(zhì)。該方法包括：根據(jù)獲取的數(shù)據(jù)存儲指令從第一數(shù)據(jù)存儲模塊中獲取待存儲數(shù)據(jù)，待存儲數(shù)據(jù)中包括待存儲的初始數(shù)值和初始數(shù)值對應(yīng)的待存儲字段；將初始數(shù)值存儲至預(yù)設(shè)的預(yù)設(shè)數(shù)組中，得到初始數(shù)組，初始數(shù)組中包括數(shù)值不同的初始數(shù)值；根據(jù)初始數(shù)組以及各初始數(shù)值對應(yīng)的待存儲字段構(gòu)建目標(biāo)數(shù)據(jù)結(jié)構(gòu)；根據(jù)第二數(shù)據(jù)存儲模塊的數(shù)據(jù)存儲規(guī)則從目標(biāo)數(shù)據(jù)結(jié)構(gòu)中調(diào)取目標(biāo)數(shù)值寫入所述第二數(shù)據(jù)存儲模塊中。由此，能夠減少數(shù)據(jù)占用的存儲空間。

技術(shù)研發(fā)人員：李原,王亮,斯奇能
受保護的技術(shù)使用者：浙江大華技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6