一種數(shù)據(jù)同步方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)同步技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)同步方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著電子商務(wù)的發(fā)展，越來(lái)越多的人選擇在網(wǎng)絡(luò)交易平臺(tái)上進(jìn)行日常購(gòu)物交易以及其他各種類型的交易。隨著網(wǎng)絡(luò)交易量的不斷增加，保存在電商數(shù)據(jù)庫(kù)中的交易數(shù)據(jù)量也在逐步增加。在這種情況下，若商戶需要進(jìn)行交易數(shù)據(jù)的查詢或者下載，通常面對(duì)的是海量的數(shù)據(jù)存儲(chǔ)量，從而會(huì)因?yàn)楦鞣N原因(例如需要查找的數(shù)據(jù)量過(guò)大從而占用數(shù)據(jù)庫(kù)的較多的查詢語(yǔ)句，或者下載的數(shù)據(jù)量過(guò)大從而占用過(guò)多的硬件資源)使得數(shù)據(jù)庫(kù)在接收查詢或者下載請(qǐng)求時(shí)的響應(yīng)非常慢，甚至出現(xiàn)死機(jī)的情況，因此降低查詢的效率，并降低使用者的使用體驗(yàn)。

【發(fā)明內(nèi)容】

[0003]根據(jù)現(xiàn)有技術(shù)中存在的上述問(wèn)題，現(xiàn)提供一種數(shù)據(jù)同步方法及系統(tǒng)的技術(shù)方案，旨在提升查詢響應(yīng)速度，改善查詢處理效率，從而提升使用者的使用體驗(yàn)。
[0004]上述技術(shù)方案具體包括:
[0005]—種數(shù)據(jù)同步方法，其中，包括一第一存儲(chǔ)單元，用于保存待操作數(shù)據(jù)以及所述待操作數(shù)據(jù)的查詢時(shí)間；
[0006]分別設(shè)置多個(gè)不同的時(shí)間段，以及設(shè)置一預(yù)設(shè)數(shù)據(jù)量，還包括:
[0007]步驟SI，獲取外部輸入的多個(gè)數(shù)據(jù)操作請(qǐng)求，以及分別關(guān)聯(lián)于每個(gè)所述數(shù)據(jù)操作請(qǐng)求的所述待操作數(shù)據(jù)的所述查詢時(shí)間；
[0008]步驟S2，按照對(duì)應(yīng)的所述查詢時(shí)間，將多個(gè)所述數(shù)據(jù)操作請(qǐng)求分別包括在對(duì)應(yīng)不同的所述時(shí)間段的請(qǐng)求批次中；
[0009]步驟S3，于所述第一存儲(chǔ)單元中查詢得到對(duì)應(yīng)一個(gè)所述請(qǐng)求批次的所述時(shí)間段內(nèi)包括的所述待操作數(shù)據(jù)的數(shù)據(jù)量，并判斷所述數(shù)據(jù)量是否大于所述預(yù)設(shè)數(shù)據(jù)量:
[0010]若是，則以所述預(yù)設(shè)數(shù)據(jù)量為單位將查詢得到的所述待操作數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)批次，并依次將每個(gè)所述數(shù)據(jù)批次傳輸至一第二存儲(chǔ)單元，隨后依據(jù)所述數(shù)據(jù)操作請(qǐng)求進(jìn)行操作；
[0011 ]若否，則將查詢得到的所有所述待操作數(shù)據(jù)傳輸至所述第二存儲(chǔ)單元，隨后依據(jù)所述數(shù)據(jù)操作請(qǐng)求進(jìn)行操作；
[0012]步驟S4，轉(zhuǎn)向下一個(gè)所述請(qǐng)求批次，并返回所述步驟S3。
[0013]優(yōu)選的，該數(shù)據(jù)同步方法，其中，所述數(shù)據(jù)操作請(qǐng)求包括:
[0014]針對(duì)所述待操作數(shù)據(jù)的查詢請(qǐng)求;和/或
[0015]針對(duì)所述待操作數(shù)據(jù)的下載請(qǐng)求。
[0016]優(yōu)選的，該數(shù)據(jù)同步方法，其中，所述時(shí)間段以每小時(shí)為單位進(jìn)行劃分;或者
[0017]所述時(shí)間段以每天為單位進(jìn)行劃分;或者
[0018]所述時(shí)間段以每月為單位進(jìn)行劃分。
[0019]優(yōu)選的，該數(shù)據(jù)同步方法，其中，所述步驟S2中，對(duì)每個(gè)所述請(qǐng)求批次生成一個(gè)對(duì)應(yīng)的批次號(hào)，并記錄在對(duì)應(yīng)的同步日志中，以供使用者查詢同步進(jìn)度。
[0020]優(yōu)選的，該數(shù)據(jù)同步方法，其中，所述預(yù)設(shè)數(shù)據(jù)量為5000條所述待操作數(shù)據(jù)。
[0021]一種數(shù)據(jù)同步系統(tǒng)，其中，包括:
[0022]第一存儲(chǔ)單元，用于保存待操作數(shù)據(jù)以及所述待操作數(shù)據(jù)的查詢時(shí)間；
[0023]設(shè)置單元，用于分別設(shè)置多個(gè)不同的時(shí)間段，以及設(shè)置一預(yù)設(shè)數(shù)據(jù)量；
[0024]獲取單元，獲取外部輸入的多個(gè)數(shù)據(jù)操作請(qǐng)求，以及分別關(guān)聯(lián)于每個(gè)所述數(shù)據(jù)操作請(qǐng)求的所述待操作數(shù)據(jù)的所述查詢時(shí)間；
[0025]劃分單元，分別連接所述設(shè)置單元和所述獲取單元，用于按照對(duì)應(yīng)的所述查詢時(shí)間，將多個(gè)所述數(shù)據(jù)操作請(qǐng)求分別包括在對(duì)應(yīng)不同的所述時(shí)間段的請(qǐng)求批次中；
[0026]查詢單元，分別連接所述劃分單元和所述第一存儲(chǔ)單元，用于在所述第一存儲(chǔ)單元中查詢得到對(duì)應(yīng)一個(gè)所述請(qǐng)求批次的所述時(shí)間段內(nèi)包括的所述待操作數(shù)據(jù)的數(shù)據(jù)量；
[0027]判斷單元，分別連接所述查詢單元和所述設(shè)置單元，用于判斷所述數(shù)據(jù)量是否大于所述預(yù)設(shè)數(shù)據(jù)量，并輸出判斷結(jié)果；
[0028]處理單元，連接判斷單元，以及連接一第二存儲(chǔ)單元，用于根據(jù)所述判斷結(jié)果，在:
[0029]在所述數(shù)據(jù)量大于所述預(yù)設(shè)數(shù)據(jù)量時(shí)，以所述預(yù)設(shè)數(shù)據(jù)量為單位將查詢得到的所述待操作數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)批次，并依次將每個(gè)所述數(shù)據(jù)批次傳輸至一第二存儲(chǔ)單元，隨后依據(jù)所述數(shù)據(jù)操作請(qǐng)求進(jìn)行操作；以及
[0030]在所述數(shù)據(jù)量不大于所述預(yù)設(shè)數(shù)據(jù)量時(shí)，將查詢得到的所有所述待操作數(shù)據(jù)傳輸至所述第二存儲(chǔ)單元，隨后依據(jù)所述數(shù)據(jù)操作請(qǐng)求進(jìn)行操作。
[0031]優(yōu)選的，該數(shù)據(jù)同步系統(tǒng)，其中，所述數(shù)據(jù)操作請(qǐng)求包括:
[0032]針對(duì)所述待操作數(shù)據(jù)的查詢請(qǐng)求;和/或
[0033]針對(duì)所述待操作數(shù)據(jù)的下載請(qǐng)求。
[0034]優(yōu)選的，該數(shù)據(jù)同步系統(tǒng)，其中，所述時(shí)間段以每小時(shí)為單位進(jìn)行劃分;或者
[0035]所述時(shí)間段以每天為單位進(jìn)行劃分;或者
[0036]所述時(shí)間段以每月為單位進(jìn)行劃分。
[0037]優(yōu)選的，該數(shù)據(jù)同步系統(tǒng)，其中，所述劃分單元中包括:
[0038]標(biāo)記模塊，用于對(duì)每個(gè)所述請(qǐng)求批次生成一個(gè)對(duì)應(yīng)的批次號(hào)，并記錄在對(duì)應(yīng)的同步日志中，以供使用者查詢同步進(jìn)度。
[0039]優(yōu)選的，該數(shù)據(jù)同步系統(tǒng)，其中，所述預(yù)設(shè)數(shù)據(jù)量為5000條所述待操作數(shù)據(jù)。
[0040]上述技術(shù)方案的有益效果是:
[0041 ] I)提供一種數(shù)據(jù)同步方法，能夠提升查詢響應(yīng)速度，改善查詢處理效率，從而提升使用者的使用體驗(yàn)；
[0042]2)提供一種數(shù)據(jù)同步系統(tǒng)，能夠支持實(shí)現(xiàn)上述數(shù)據(jù)同步方法。
【附圖說(shuō)明】
[0043]圖1是本發(fā)明的較佳的實(shí)施例中，一種數(shù)據(jù)同步方法的總體流程示意圖；
[0044]圖2是本發(fā)明的較佳的實(shí)施例中，一種數(shù)據(jù)同步系統(tǒng)的總體結(jié)構(gòu)示意圖；
[0045]圖3是本發(fā)明的較佳的實(shí)施例中，于圖2的基礎(chǔ)上，數(shù)據(jù)同步系統(tǒng)中的劃分單元的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0046]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0047]需要說(shuō)明的是，在不沖突的情況下，本發(fā)明中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0048]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，但不作為本發(fā)明的限定。
[0049]基于上文中所述的現(xiàn)有技術(shù)中的缺陷，目前通常會(huì)采用一個(gè)獨(dú)立于數(shù)據(jù)庫(kù)的查詢數(shù)據(jù)庫(kù)，并將數(shù)據(jù)同步到查詢數(shù)據(jù)庫(kù)中專門供使用者進(jìn)行查詢或者下載。但是由于電商數(shù)據(jù)庫(kù)中保存的交易數(shù)據(jù)的數(shù)據(jù)量通常非常大，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步到另外一個(gè)查詢數(shù)據(jù)庫(kù)中同樣會(huì)因?yàn)檎加眠^(guò)多的硬件資源以及占用部分SQL查詢語(yǔ)句導(dǎo)致系統(tǒng)響應(yīng)緩慢，并不能從根本上改變上文中提及的現(xiàn)有技術(shù)中存在的缺陷。
[0050]本發(fā)明的較佳的實(shí)施例中，基于上文中提到的現(xiàn)有技術(shù)中存在的問(wèn)題，現(xiàn)提供一種數(shù)據(jù)同步方法，該方法中，首先包括一第一存儲(chǔ)單元，用于保存待操作數(shù)據(jù)以及待操作數(shù)據(jù)的查詢時(shí)間；
[0051]分別設(shè)置多個(gè)不同的時(shí)間段，以及設(shè)置一預(yù)設(shè)數(shù)據(jù)量。
[0052]則如圖1所示，上述數(shù)據(jù)同步方法具體包括:
[0053]步驟SI，獲取外部輸入的多個(gè)數(shù)據(jù)操作請(qǐng)求，以及分別關(guān)聯(lián)于每個(gè)數(shù)據(jù)操作請(qǐng)求的待操作數(shù)據(jù)的查詢時(shí)間；
[0054]步驟S2，按照對(duì)應(yīng)的查詢時(shí)間，將多個(gè)數(shù)據(jù)操作請(qǐng)求分別包括在對(duì)應(yīng)不同的時(shí)間段的請(qǐng)求批次中；
[0055]步驟S3，于第一存儲(chǔ)單元中查詢得到對(duì)應(yīng)一個(gè)請(qǐng)求批次的時(shí)間段內(nèi)包括的待操作數(shù)據(jù)的數(shù)據(jù)量，并判斷數(shù)據(jù)量是否大于預(yù)設(shè)數(shù)據(jù)量:
[0056]若是，則以預(yù)設(shè)數(shù)據(jù)量為單位將查詢得到的待操作數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)批次，并依次將每個(gè)數(shù)據(jù)批次傳輸至一第二存儲(chǔ)單元，隨后依據(jù)數(shù)據(jù)操作請(qǐng)求進(jìn)行操作；
[0057]若否，則將查詢得到的所有待操作數(shù)據(jù)傳輸至第二存儲(chǔ)單元，隨后依據(jù)數(shù)據(jù)操作請(qǐng)求進(jìn)行操作；
[0058]步驟S4，轉(zhuǎn)向下一個(gè)請(qǐng)求批次，并返回步驟S3。
[0059]在一個(gè)具體實(shí)施例中，首先設(shè)置一個(gè)第一存儲(chǔ)單元，作為存儲(chǔ)上述待操作數(shù)據(jù)的數(shù)據(jù)庫(kù)。所謂待操作數(shù)據(jù)，根據(jù)不同的操作領(lǐng)域可以為不同的數(shù)據(jù)，例如在電商數(shù)據(jù)庫(kù)中，上述待操作數(shù)據(jù)可以為交易數(shù)據(jù)。
[0060]在該實(shí)施例中，預(yù)先設(shè)置多個(gè)不同的時(shí)間段，以及設(shè)置一預(yù)設(shè)數(shù)據(jù)量。
[0061]在該實(shí)施例中，首先獲取外部輸入的多個(gè)數(shù)據(jù)操作請(qǐng)求。所謂數(shù)據(jù)操作請(qǐng)求，其中可以包括對(duì)上述待操作數(shù)據(jù)進(jìn)行查詢的查詢請(qǐng)求，也可以包括對(duì)上述待操作數(shù)據(jù)進(jìn)行下載的下載請(qǐng)求。獲取上述多個(gè)數(shù)據(jù)操作請(qǐng)求后，獲取每個(gè)數(shù)據(jù)操作請(qǐng)求對(duì)應(yīng)的待操作數(shù)據(jù)的查詢時(shí)間。上述查詢時(shí)間可以為使用者在輸入數(shù)據(jù)操作請(qǐng)求的同時(shí)輸入的時(shí)間，例如使用者希望查詢XX年XX月XX日的待操作數(shù)據(jù)，則該“XX年XX月XX日”就為對(duì)應(yīng)該數(shù)據(jù)操作請(qǐng)求的查詢時(shí)間。
[0062]在該實(shí)施例中，在獲取多個(gè)數(shù)據(jù)操作請(qǐng)求，以及分別對(duì)應(yīng)每個(gè)數(shù)據(jù)操作請(qǐng)求的查詢時(shí)間后，按照不同的查詢時(shí)間，將多個(gè)數(shù)據(jù)操作請(qǐng)求分別包括在對(duì)應(yīng)不同的時(shí)間段的請(qǐng)求批次中。例如，以一天為單位劃分時(shí)間段，則可以將查詢時(shí)間處于同一天的多個(gè)數(shù)據(jù)操作請(qǐng)求包括在同一個(gè)請(qǐng)求批次中。上述操作可以將數(shù)量眾多的數(shù)據(jù)操作請(qǐng)求劃分成包括在不同的請(qǐng)求批次中，從而完成第一次分批的操作。
[0063]在該實(shí)施例中，隨后，進(jìn)一步地，分別對(duì)每個(gè)請(qǐng)求批次進(jìn)行判斷:選擇一個(gè)請(qǐng)求批次，并根據(jù)對(duì)應(yīng)該請(qǐng)求批次的時(shí)間段，判斷該時(shí)間段內(nèi)保存上述第一存儲(chǔ)單元中的待操作數(shù)據(jù)的數(shù)據(jù)量。上述預(yù)先進(jìn)行的數(shù)據(jù)量的查詢，只需要查詢到特定時(shí)間段內(nèi)在上述第一存儲(chǔ)單元中保存的數(shù)據(jù)量即可，因此不需要耗費(fèi)太多的系統(tǒng)資源。上述步驟S3中，查詢得到關(guān)聯(lián)于一個(gè)請(qǐng)求批次的待操作數(shù)據(jù)的數(shù)據(jù)量后，將該數(shù)據(jù)量與上述預(yù)設(shè)數(shù)據(jù)量進(jìn)行比較:
[0064]若查詢得到的數(shù)據(jù)量大于上述預(yù)設(shè)數(shù)據(jù)量，則表示該請(qǐng)求批次對(duì)應(yīng)的數(shù)據(jù)量過(guò)大，需要進(jìn)行二次分批。此時(shí)根據(jù)上述預(yù)設(shè)數(shù)據(jù)量對(duì)查詢得到的數(shù)據(jù)量進(jìn)行分批操作。例如，預(yù)設(shè)數(shù)據(jù)量為5000條，而查詢得到的數(shù)據(jù)量為20000條，大大超出了預(yù)設(shè)數(shù)據(jù)量。則以5000條為依據(jù)對(duì)20000條的查詢得到的待操作數(shù)據(jù)的數(shù)據(jù)量進(jìn)行分割，即將上述查詢得到的待操作數(shù)據(jù)劃分為1-5000,5001-1000,10001-15000以及15001-20000四批，并依次放入一第二存儲(chǔ)單元中。本發(fā)明的其他實(shí)施例中，上述預(yù)設(shè)數(shù)據(jù)量還可以為其他預(yù)設(shè)的值，以一次向第二存儲(chǔ)單元傳輸?shù)臄?shù)據(jù)總量不會(huì)占用太多系統(tǒng)資源為最佳