數(shù)據(jù)傳輸方法及服務(wù)器系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)傳輸方法及服務(wù)器系統(tǒng)。
【背景技術(shù)】
[0002]目前，互聯(lián)網(wǎng)、數(shù)據(jù)傳輸、數(shù)據(jù)同步等技術(shù)領(lǐng)域當(dāng)中，緩存服務(wù)器的使用十分重要。以帶有查詢功能的大型旅游網(wǎng)站為例，建立緩存服務(wù)器的目的是為了減輕數(shù)據(jù)庫壓力和加快查詢服務(wù)器建立本地緩存的速度。緩存服務(wù)器負(fù)責(zé)從數(shù)據(jù)庫中同步數(shù)據(jù)，作為查詢服務(wù)器本地緩存建立的數(shù)據(jù)來源。
[0003]在查詢服務(wù)器建立本地緩存時(shí)，需要從緩存服務(wù)器獲取大量的數(shù)據(jù)，在查詢服務(wù)器集群數(shù)量增長(zhǎng)過快時(shí)，為了使查詢服務(wù)器緩存建立時(shí)間不明顯下降，需要增加大量緩存服務(wù)器來擴(kuò)充服務(wù)能力，這對(duì)于緩存服務(wù)器集群的增長(zhǎng)以及網(wǎng)絡(luò)容量擴(kuò)充壓力較大，同時(shí)增加了對(duì)緩存服務(wù)器的維護(hù)成本。
[0004]而且，如果查詢服務(wù)器集群發(fā)生集體當(dāng)機(jī)，在災(zāi)難恢復(fù)時(shí)，所有的查詢服務(wù)器(38臺(tái)以上)向緩存服務(wù)器發(fā)送數(shù)據(jù)請(qǐng)求用以重建緩存。每臺(tái)緩存服務(wù)器都需要傳輸大量的數(shù)據(jù)，網(wǎng)絡(luò)帶寬將成為瓶頸，使得查詢服務(wù)器在恢復(fù)數(shù)據(jù)時(shí)極為緩慢。

【發(fā)明內(nèi)容】

[0005]本發(fā)明要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中緩存服務(wù)器集群的增長(zhǎng)以及網(wǎng)絡(luò)容量擴(kuò)充壓力較大，緩存服務(wù)器的維護(hù)成本高，緩存服務(wù)器為查詢服務(wù)器傳輸數(shù)據(jù)時(shí)耗較長(zhǎng)的缺陷，提供一種提高服務(wù)器數(shù)據(jù)傳輸速度并減少緩存服務(wù)器的使用數(shù)量以及維護(hù)成本的數(shù)據(jù)傳輸方法及服務(wù)器系統(tǒng)。
[0006]本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題:一種數(shù)據(jù)傳輸方法，所述數(shù)據(jù)傳輸方法利用一第一服務(wù)器向若干第二服務(wù)器傳輸若干數(shù)據(jù)，其特點(diǎn)在于，每一數(shù)據(jù)對(duì)應(yīng)一 ID (身份標(biāo)識(shí)號(hào)碼)，所述數(shù)據(jù)傳輸方法包括:
[0007]S1、對(duì)于每一數(shù)據(jù)，所述第一服務(wù)器將所述數(shù)據(jù)劃分為若干份數(shù)據(jù)包，每一份數(shù)據(jù)包設(shè)有編號(hào)且大小不超過多播傳輸?shù)膱?bào)文大小的上限；
[0008]S2、所述第一服務(wù)器通過多播的方式向所述若干第二服務(wù)器傳輸所述若干數(shù)據(jù)的全部數(shù)據(jù)包；
[0009]S3、每一第二服務(wù)器根據(jù)ID以及編號(hào)合并數(shù)據(jù)包為數(shù)據(jù)。
[0010]其中，第一服務(wù)器可以為緩存服務(wù)器，第二服務(wù)器可以為查詢服務(wù)器?，F(xiàn)有技術(shù)中，緩存服務(wù)器向查詢服務(wù)器傳輸數(shù)據(jù)是通過TCP (傳輸控制協(xié)議)協(xié)議以一對(duì)一的方式。利用這種方式為全部查詢服務(wù)器提供數(shù)據(jù)時(shí)，數(shù)據(jù)傳輸緩慢，即使增加一定數(shù)量的緩存服務(wù)器依然不能有效地縮短數(shù)據(jù)傳輸時(shí)間，而且增加緩存服務(wù)器還會(huì)增加運(yùn)營(yíng)成本。
[0011]本發(fā)明利用多播技術(shù)，第一服務(wù)器只需將數(shù)據(jù)發(fā)送一次，所有的第二服務(wù)器均能夠得到數(shù)據(jù)，從而達(dá)到節(jié)約帶寬、提高傳輸速度的作用。本發(fā)明可以將所有的第二服務(wù)器加入多播組，并向第一服務(wù)器請(qǐng)求數(shù)據(jù)同步，由于多播傳輸報(bào)文的大小限制，本發(fā)明在利用多播的方式傳輸數(shù)據(jù)時(shí)需要對(duì)數(shù)據(jù)進(jìn)行劃分處理以滿足多播傳輸報(bào)文對(duì)大小的規(guī)定。
[0012]現(xiàn)有的數(shù)據(jù)傳輸中，通常將數(shù)據(jù)按照不同的參數(shù)進(jìn)行劃分，并對(duì)劃分后的參數(shù)進(jìn)行壓縮以滿足多播傳輸報(bào)文對(duì)大小的限定，但是這種方式常會(huì)出現(xiàn)數(shù)據(jù)壓縮后也無法滿足大小的限定，且數(shù)據(jù)傳輸報(bào)文到達(dá)順序不一致所產(chǎn)生的數(shù)據(jù)傳輸不穩(wěn)定，即數(shù)據(jù)傳輸過程中容易引起第一服務(wù)器和第二服務(wù)器兩端邏輯復(fù)雜化。
[0013]本發(fā)明將數(shù)據(jù)按照小于多播傳輸?shù)膱?bào)文大小的上限進(jìn)行劃分，并對(duì)數(shù)據(jù)包編號(hào)，使得數(shù)據(jù)能夠利用多播技術(shù)進(jìn)行傳輸，且第二服務(wù)器利用ID以及編號(hào)能夠準(zhǔn)確的拼接出數(shù)據(jù)。本發(fā)明的編號(hào)可以是連續(xù)的正整數(shù)，但并不局限于此，只要第二服務(wù)器能夠利用編號(hào)及ID拼接出數(shù)據(jù)的編號(hào)方式，均落入本發(fā)明所保護(hù)的范圍。
[0014]較佳地，所述編號(hào)為全局順序編號(hào)，步驟S2包括:
[0015]S21、所述第一服務(wù)器通過多播的方式按照全局順序編號(hào)，順序地向所述若干第二服務(wù)器傳輸所述若干數(shù)據(jù)的全部數(shù)據(jù)包；
[0016]S22、對(duì)于每一第二服務(wù)器，所述第二服務(wù)器根據(jù)所述全局順序編號(hào)判斷是否有缺失的數(shù)據(jù)包，若是則執(zhí)行步驟S23，若否則執(zhí)行步驟S3 ；
[0017]S23、對(duì)于有缺失數(shù)據(jù)包的第二服務(wù)器，設(shè)所述第二服務(wù)器缺失的數(shù)據(jù)包的全局順序編號(hào)為a，若第二服務(wù)器在接收到全局順序編號(hào)為a+b的數(shù)據(jù)包時(shí)仍未收到全局順序編號(hào)為a的數(shù)據(jù)包，則向所述第一服務(wù)器請(qǐng)求全局順序編號(hào)為a的數(shù)據(jù)包；
[0018]S24、所述第一服務(wù)器根據(jù)第二服務(wù)器的請(qǐng)求向第二服務(wù)器傳輸數(shù)據(jù)包。
[0019]為了提高數(shù)據(jù)傳輸?shù)姆€(wěn)定性，所述編號(hào)為全局順序編號(hào)，即任意兩個(gè)數(shù)據(jù)包具有不同的全局順序編號(hào)，而且利用所述全局順序編號(hào)第二服務(wù)器可以分辨出第一服務(wù)器傳輸數(shù)據(jù)包的次序，方便查找缺失的數(shù)據(jù)包。例如，全局順序編號(hào)分別為01、02、03、04的四個(gè)數(shù)據(jù)包被第一服務(wù)器傳輸出來，當(dāng)?shù)诙?wù)器接收到全局順序編號(hào)為01、03、04的數(shù)據(jù)包時(shí)，就可以判斷出編號(hào)為02的數(shù)據(jù)包為缺失的數(shù)據(jù)包，本發(fā)明的全局順序編號(hào)可以是連續(xù)的正整數(shù)，但并不局限于此，只要第二服務(wù)器能夠利用全局順序編號(hào)判斷出缺失數(shù)據(jù)包的編號(hào)方式，均落入本發(fā)明所保護(hù)的范圍。
[0020]第一服務(wù)器順序地向第二服務(wù)器傳輸數(shù)據(jù)包，可以更方便地查找缺失的數(shù)據(jù)包，并提高數(shù)據(jù)傳輸?shù)男?。例如全局順序編?hào)分別為99、98、…、01、00的100個(gè)數(shù)據(jù)包被第一服務(wù)器傳輸出來，當(dāng)?shù)诙?wù)器判斷缺少編號(hào)為98的數(shù)據(jù)包時(shí)，a為98，設(shè)a+b為01，當(dāng)?shù)诙?wù)器在收到編號(hào)為01的數(shù)據(jù)包時(shí)仍未收到編號(hào)為98的數(shù)據(jù)包時(shí)，向第一服務(wù)器請(qǐng)求編號(hào)為98的數(shù)據(jù)包，可以看出由于第一服務(wù)器是順序地傳輸數(shù)據(jù)包，因此全局順序編號(hào)并不局限于連續(xù)的正整數(shù)。利用全局順序編號(hào)以及順序地傳輸數(shù)據(jù)，可以有效解決多播傳輸報(bào)文傳輸穩(wěn)定性差，報(bào)文到達(dá)順序不一致的問題。
[0021]其中第二服務(wù)器向第一服務(wù)器請(qǐng)求數(shù)據(jù)包的請(qǐng)求命令以及第一服務(wù)器向第二服務(wù)器傳輸請(qǐng)求的數(shù)據(jù)包均可以通過TCP協(xié)議以一對(duì)一的方式在第二服務(wù)器和第一服務(wù)器之間進(jìn)行傳輸。
[0022]較佳地，步驟S24后包括:
[0023]S25、對(duì)于有缺失數(shù)據(jù)包的第二服務(wù)器，若第二服務(wù)器在接收到全局順序編號(hào)為a+c的數(shù)據(jù)包時(shí)仍未收到全局順序編號(hào)為a的數(shù)據(jù)包，則向所述第一服務(wù)器請(qǐng)求與全局順序編號(hào)為a的數(shù)據(jù)包ID相同的全部數(shù)據(jù)包，其中全局順序編號(hào)為a+b的數(shù)據(jù)包比全局順序編號(hào)為a+c的數(shù)據(jù)包領(lǐng)先傳輸η個(gè)數(shù)據(jù)包，η大于500小于15000 ；
[0024]S26、所述第一服務(wù)器根據(jù)第二服務(wù)器的請(qǐng)求向第二服務(wù)器傳輸與全局順序編號(hào)為a的數(shù)據(jù)包ID相同的全部數(shù)據(jù)包。
[0025]若第二服務(wù)器在接收到全局順序編號(hào)為a+c的數(shù)據(jù)包時(shí)仍未收到全局順序編號(hào)為a的數(shù)據(jù)包，則第二服務(wù)器不會(huì)再等待接收單獨(dú)的數(shù)據(jù)包，而是向第一服務(wù)器請(qǐng)求與全局順序編號(hào)為a的數(shù)據(jù)包ID相同的全部數(shù)據(jù)包，也就是重新請(qǐng)求包括全局順序編號(hào)為a的數(shù)據(jù)包的數(shù)據(jù)。從而進(jìn)一步的提高數(shù)據(jù)傳輸?shù)姆€(wěn)定性。
[0026]較佳地，所述第一服務(wù)器為一緩存服務(wù)器，所述緩存服務(wù)器用于將一數(shù)據(jù)庫的數(shù)據(jù)通過多播的方式向所述若干第二服務(wù)器傳輸，所述第二服務(wù)器為查詢服務(wù)器。
[0027]本發(fā)明可以應(yīng)用于大型旅游網(wǎng)站的服務(wù)器系統(tǒng)當(dāng)中，例如攜程網(wǎng)站的服務(wù)器系統(tǒng)。
[0028]較佳地，所述數(shù)據(jù)傳輸方法包括:
[0029]Stl