專利名稱：一種實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)網(wǎng)絡(luò)中的網(wǎng)絡(luò)數(shù)據(jù)流量優(yōu)化領(lǐng)域，具體涉及一種實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，用于解決數(shù)據(jù)中心網(wǎng)間大規(guī)模數(shù)據(jù)傳輸造成的網(wǎng)間帶寬資源開銷過大的問題。
背景技術(shù)：
伴隨著云計(jì)算服務(wù)的興起，現(xiàn)有數(shù)據(jù)中心中存儲的業(yè)務(wù)數(shù)據(jù)規(guī)模也與日劇增。據(jù)最新統(tǒng)計(jì)顯示，美國國家海洋和大氣管理局(NOAA)存儲著超過20PB的全球海洋信息數(shù)據(jù)(請參考 National Oceanic and AtmosphericAdministration, http://www.noaa.gov/)；Facebook每天在30萬臺服務(wù)器上整理25TB的日志數(shù)據(jù)(請參考Facebook Statistics,http://www.facebook.com/press/info.php statistics) ;YouTube 全球用戶每天上傳168TB 的視頻數(shù)據(jù)(請參考 Youtube Statistics, http://www. youtube, com/)。海量數(shù)據(jù)·不僅可以用于氣象預(yù)測和科學(xué)計(jì)算，同時(shí)也蘊(yùn)含了巨大的商業(yè)價(jià)值。因此，為保證數(shù)據(jù)中心數(shù)據(jù)的高可靠性和高可用性，海量數(shù)據(jù)及其副本信息會被周期性地分散存儲到分布在全球各地的數(shù)據(jù)中心內(nèi)。但由于海量數(shù)據(jù)規(guī)模巨大(TB-PB級)，對應(yīng)的數(shù)據(jù)備份或遷移操作往往會對現(xiàn)有的稀缺數(shù)據(jù)中心骨干網(wǎng)帶寬資源造成嚴(yán)重負(fù)擔(dān)(請參考 A. Mahimkar, A. Chiu, R. Doverspike, M. Feuer, P. Magill, E. Mavrogiorgis,J. Pastor, S. Woodward, J. Yates, Bandwidth on Demand for Inter-Data CenterCommunication, in Proceedingof ACM HotNets,2011 和 Y. CHen, S. Jain, V. K. Adhikari,Z. -L. Zhang, and K. Xu,A First Look at Inter-Data Center Traffic CharacteristicsviaYahoo ! Datasets, in Proceeding of IEEE INFOCOM 2011),進(jìn)而影響到其他數(shù)據(jù)中心其他業(yè)務(wù)數(shù)據(jù)的傳輸,并且增加了數(shù)據(jù)中心之間的帶寬開銷成本(請參考A. Greenberg,J. Hamiltion,D. A. Maltz,and P. Patel. The Cost of aCloud Research Problems in DataCenter Networks, in ACM SIGCOMM computercommunication review,39(I),2009)。與此同時(shí)，數(shù)據(jù)中心骨干網(wǎng)帶寬資源往往按照其峰值開銷進(jìn)行配置，導(dǎo)致其消耗呈現(xiàn)強(qiáng)烈的“潮汐效應(yīng)”，即伴隨用戶訪問量的周期性波動，白天數(shù)據(jù)中心帶寬資源緊缺，夜間由于用戶訪問規(guī)模下降，帶寬資源反而又比較富裕，從而導(dǎo)致了數(shù)據(jù)中心骨干網(wǎng)帶寬資源平均利用率較低(請參考 N. Laoutaris, M. Sirivianos, X. Yang, and P. Rodriguez,Inter-Datacenter Bulk Transferswith NetStitcher, in Proceeding of ACM SIGCOMM,2011)。骨干網(wǎng)帶寬資源的平均利用率低的現(xiàn)狀不能滿足大規(guī)模數(shù)據(jù)傳輸對帶寬資源的強(qiáng)烈需求。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，利用動態(tài)的空閑網(wǎng)間帶寬資源完成大規(guī)模數(shù)據(jù)傳輸，其目的是提高數(shù)據(jù)中心骨干網(wǎng)帶寬資源的平均利用率、減少大規(guī)模數(shù)據(jù)傳輸對日常業(yè)務(wù)數(shù)據(jù)傳輸所造成的負(fù)面影響以及降低數(shù)據(jù)中心運(yùn)營商數(shù)據(jù)備份、遷移等操作的傳輸開銷。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的一種實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，所述方法包括以下步驟輸入數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湫畔⒑蛿?shù)據(jù)中心網(wǎng)間帶寬資源開銷(即鏈路帶寬資源開銷)的預(yù)測信息；步驟1，基于對數(shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測信息，利用時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法將具有動態(tài)空閑帶寬資源的網(wǎng)絡(luò)轉(zhuǎn)換為靜態(tài)流網(wǎng)絡(luò)；步驟2，基于所述靜態(tài)流網(wǎng)絡(luò)，對多個大規(guī)模數(shù)據(jù)傳輸請求建立最大化最小公平多商品流線性規(guī)劃模型；
步驟3，迭代地求解所述最大化最小公平多商品流線性規(guī)劃模型，得出各大規(guī)模數(shù)據(jù)傳輸請求的最大傳輸流量以及對應(yīng)的數(shù)據(jù)傳輸路徑。所述步驟I中所述時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法是這樣實(shí)現(xiàn)的將網(wǎng)絡(luò)資源從時(shí)間維度進(jìn)行延展，使具有動態(tài)空閑帶寬資源的網(wǎng)絡(luò)的動態(tài)帶寬資源和節(jié)點(diǎn)的存儲資源能力統(tǒng)一轉(zhuǎn)化到一張靜態(tài)流網(wǎng)絡(luò)上。所述步驟2是這樣實(shí)現(xiàn)的將多個大規(guī)模數(shù)據(jù)傳輸請求建模為下面的最大化最小公平多商品流線性規(guī)劃模型
maximize λ[_ si. XX/；<C, VeGEjGPi (I)Σ fp " ^demI，yri G Runsat ⑵
PePiΣ fp ^ K- 'demi，外 € Rsat ⑶
p^P；>0,A>0,Vp G Pi=L_K(4)其中，是一個大規(guī)模數(shù)據(jù)傳輸請求，R是所有大規(guī)模數(shù)據(jù)傳輸請求的集合，Pi為每個^可用的數(shù)據(jù)傳輸路徑集合，/纟表示在路徑P上分配給1^的帶寬值，(；代表鏈路e的帶寬資源，E = Ie1, e2，. . .，em}，是網(wǎng)絡(luò)中所有鏈路e的集合，λ為飽和的帶寬分配比例值(又稱為流量值)，Clemi是&傳輸?shù)臄?shù)據(jù)量，Rmsat為非飽和請求集合，為已經(jīng)求得最大
傳輸流量的那些請求所對應(yīng)的λ值，Rsat為飽和請求集合；(I)、⑵、(3)和(4)這四個式子為約束條件。所述步驟3包括以下步驟SI :設(shè)定飽和請求集合Rsat為空、非飽和請求集合Runsat包含所有大規(guī)模數(shù)據(jù)傳輸請求ri;根據(jù)輸入的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湫畔⑶蠼獬雒總€的全部傳輸路徑；S2 :對最大化最小公平多商品流線性規(guī)劃模型進(jìn)行求解，即在同時(shí)滿足(I)、(2)、(3)和(4)這四個式子的前提下，求出最大的λ值；S3 :篩選出沒有多余連接能力的請求集合Rtmp 根據(jù)傳輸請求現(xiàn)有的傳輸路徑帶寬資源的利用情況，若某傳輸請求的帶寬資源已被全部占滿，則將其選入請求集合Rtmp ；S4 :針對Rtmp中的每個請求&，將Rmsat設(shè)定為只包含一個請求Rsat則設(shè)定為包
含請求集合R中除去請求^以外的剩余的全部請求，其中原有的已飽和請求的飽和值
維持不變，未飽和請求的飽和值則設(shè)定為λ，利用這些值更新(2)式和(3)式后得到更新后的最大化最小公平多商品流線性規(guī)劃模型； S5:求解所述更新后的最大化最小公平多商品流線性規(guī)劃模型，得到新的帶寬分配比例值λ tmp ;若λ tmp與λ相等,則請求A被判定為真正飽和,將Iri加入到Rsat,并記錄對應(yīng)的λ，若λ _與λ不相等，則轉(zhuǎn)入步驟S4 ；S6 :多次重復(fù)步驟S2到步驟S5，直至Runsat為空，得到最優(yōu)的λ ;S7:輸出最大傳輸流量以及對應(yīng)的數(shù)據(jù)傳輸路徑，所述最大傳輸流量是指所述最
優(yōu)的λ和鏈路帶寬的乘積；所述數(shù)據(jù)傳輸路徑包含在與最優(yōu)的λ對應(yīng)的/纟中。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是本發(fā)明方法大大提高了數(shù)據(jù)中心網(wǎng)間帶寬資源的平均利用率，并且縮短了多個數(shù)據(jù)傳輸任務(wù)的平均傳輸時(shí)間。


圖1-1是時(shí)間延展網(wǎng)絡(luò)方法實(shí)例圖中的一個一個擁有3個節(jié)點(diǎn)和2條鏈路的物理網(wǎng)絡(luò) G(V，E)。圖1-2是圖1-1所示物理網(wǎng)絡(luò)對應(yīng)的5倍時(shí)間延展網(wǎng)絡(luò)G5(V5，E5)。圖2-1是Softlayer數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)?。圖2-2是對應(yīng)圖2-1中的各地?cái)?shù)據(jù)中心可用帶寬資源。圖3是單天最大傳輸數(shù)據(jù)量比較結(jié)果。圖4是平均傳輸完成時(shí)間比較結(jié)果。圖5-1是本發(fā)明實(shí)施例中的各鏈路的帶寬資源情況圖。圖5-2是本發(fā)明實(shí)施例中的節(jié)點(diǎn)帶寬資源可用情況圖。圖5-3是本發(fā)明實(shí)施例中的傳輸?shù)臅r(shí)序圖。圖6是本發(fā)明實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法的步驟框圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)描述如圖6所示，本發(fā)明方法包括以下步驟步驟1，基于對數(shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測情況，利用時(shí)間延展網(wǎng)絡(luò)方法將動態(tài)空閑帶寬資源的網(wǎng)絡(luò)轉(zhuǎn)換為靜態(tài)流網(wǎng)絡(luò)；步驟2，基于靜態(tài)流網(wǎng)絡(luò)，對多個大規(guī)模數(shù)據(jù)傳輸請求建立最大化最小公平多商品流(Max-Min Fair Multi-Commodity Flow, MMF-MCF)線性規(guī)劃模型(請參考 M. Allaloufand Y. Shavitt. Centralized and distributed algorithmsfor routing and weightedmax-min fair bandwidth allocation,in IEEE/ACMTransaction on Networking,vol. 16,no. 5, pp. 1015-1024,2008)；步驟3，設(shè)計(jì)最優(yōu)的大規(guī)模數(shù)據(jù)傳輸多任務(wù)求解算法，對該模型進(jìn)行求解得出各請求的最大傳輸流量及對應(yīng)的數(shù)據(jù)傳輸路徑。下面具體對每個步驟進(jìn)行解釋。步驟1，基于對數(shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測情況，利用時(shí)間延展網(wǎng)絡(luò)方法將動態(tài)空閑帶寬資源的網(wǎng)絡(luò)轉(zhuǎn)換為靜態(tài)流網(wǎng)絡(luò)。基于時(shí)間延展網(wǎng)絡(luò)方法的動態(tài)靜態(tài)網(wǎng)絡(luò)轉(zhuǎn)換方法如下雖然數(shù)據(jù)中心網(wǎng)間空閑帶寬資源具有一定的周期性，但仍舊是動態(tài)的，這種動態(tài)性一方面造成數(shù)據(jù)的發(fā)送和接收方可用帶寬資源在時(shí)間上的異步性，另一方面也為后續(xù)數(shù)據(jù)傳輸調(diào)度算法的設(shè)計(jì)提出了很大挑戰(zhàn)。因此首先引入節(jié)點(diǎn)的存儲能力用于實(shí)現(xiàn)數(shù)據(jù) 的存儲-轉(zhuǎn)發(fā)；同時(shí)利用時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法(請參考L. Fleischer and M. Skutella,Quickest Flows Over Time, SIAM J. Computing, vol. 36, no. 6, pp. 1600-1630, 2007),將網(wǎng)絡(luò)資源從時(shí)間維度進(jìn)行延展，使存儲能力和動態(tài)帶寬資源統(tǒng)一轉(zhuǎn)化到一張靜態(tài)網(wǎng)絡(luò)上，以方便后續(xù)調(diào)度算法的決策。時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法的具體步驟如下給定網(wǎng)絡(luò)G(V,E),其中V = (VijV2,...,VnI代表網(wǎng)絡(luò)中所有節(jié)點(diǎn)V集合，E= Ie1, e2，. . .，em}代表網(wǎng)絡(luò)中所有鏈路e的集合，Ce代表鏈路e的帶寬資源，S(V)代表節(jié)點(diǎn)V的存儲資源。當(dāng)生成T倍時(shí)間延展網(wǎng)絡(luò)Gt(VT，Et)時(shí)，首先對原始網(wǎng)絡(luò)的節(jié)點(diǎn)在時(shí)間維度上復(fù)制T倍；若原始網(wǎng)絡(luò)上的鏈路(Vi，Vj)資源在t=1,2,...T時(shí)刻仍然可以使用，則在Gt (VT，Et)上對應(yīng)時(shí)刻的節(jié)點(diǎn)拷貝上，對該邊同樣進(jìn)行復(fù)制，并賦予其t時(shí)刻的可用帶寬資源值；最后，對任意的(7，vt+1)兩點(diǎn)添加T-I條鏈路，鏈路上賦予其在t時(shí)刻的可用存儲資源值。這樣便完成了從原始物理網(wǎng)絡(luò)向時(shí)間延展網(wǎng)絡(luò)的轉(zhuǎn)換，通過這步轉(zhuǎn)換，動態(tài)的帶寬資源以及節(jié)點(diǎn)的存儲資源能力都被統(tǒng)一的表示在一張靜態(tài)流網(wǎng)絡(luò)拓?fù)渖希瑥亩阌诤罄m(xù)請求調(diào)度算法的設(shè)計(jì)。圖1-1和圖1-2給出一個時(shí)間延展網(wǎng)絡(luò)方法實(shí)例。圖1-1表示一個擁有3個節(jié)點(diǎn)和2條鏈路的物理網(wǎng)絡(luò)G (V，E)，節(jié)點(diǎn)Vl，V2和V3的存儲資源分別為無窮，200和無窮，鏈路θι和e2的帶寬資源分別為10和5，上述資源在從I至5的任意時(shí)刻均可用。圖1-2表示對應(yīng)的5倍時(shí)間延展網(wǎng)絡(luò)G5 (V5，E5)。步驟2，基于靜態(tài)流網(wǎng)絡(luò)，對多個大規(guī)模數(shù)據(jù)傳輸請求建立最大化最小公平多商品流(Max-Min Fair Multi-Commodity Flow,簡稱為 MMF-MCF)線性規(guī)劃模型。建立多個大規(guī)模數(shù)據(jù)傳輸任務(wù)線性規(guī)劃模型(就是指上面的“最大化最小公平多商品流線性規(guī)劃模型”)如下轉(zhuǎn)換完成時(shí)間延展網(wǎng)絡(luò)后，利用Max-Min Fair思想(請參考D. BertsekasandR. Gallager, Data Networks, 2nd ed.，Englewood Cliffs, NJ :Prentice_Hall, 1992),將多個數(shù)據(jù)傳輸請求建模為Max-Min FairMulti-Commodity Flow模型,在使各個請求盡可能多的獲取網(wǎng)絡(luò)帶寬資源的同時(shí)，又保證了請求之間資源獲取的公平性。在給定的時(shí)間延展網(wǎng)絡(luò)Gt (就是指Gt (Vt, Et))，假定有K個數(shù)據(jù)傳輸請求，每個請求r = (src, dest, dem)是一個三元組的表達(dá)形式,其中src表示數(shù)據(jù)發(fā)送源點(diǎn)，dest表示數(shù)據(jù)接受目的點(diǎn)，dem表示請求傳輸?shù)臄?shù)據(jù)量。每個請求可用的數(shù)據(jù)傳輸路徑集合為Pi (每個請求可能有多條不同的傳輸路徑，這些路徑組成的集合就是該請求的候選路徑集合)，/纟表示在路徑P上分配給請求η的帶寬值，對應(yīng)的MMF-MCF模型如下
權(quán)利要求
1.一種實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，其特征在于所述方法包括以下步驟 輸入數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湫畔⒑蛿?shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測信息； 步驟1，基于對數(shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測信息，利用時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法將具有動態(tài)空閑帶寬資源的網(wǎng)絡(luò)轉(zhuǎn)換為靜態(tài)流網(wǎng)絡(luò)； 步驟2，基于所述靜態(tài)流網(wǎng)絡(luò)，對多個大規(guī)模數(shù)據(jù)傳輸請求建立最大化最小公平多商品流線性規(guī)劃模型； 步驟3，迭代地求解所述最大化最小公平多商品流線性規(guī)劃模型，得出各大規(guī)模數(shù)據(jù)傳輸請求的最大傳輸流量以及對應(yīng)的數(shù)據(jù)傳輸路徑。
2.根據(jù)權(quán)利要求I所述的實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，其特征在于所述步驟I中所述時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法是這樣實(shí)現(xiàn)的將網(wǎng)絡(luò)資源從時(shí)間維度進(jìn)行延展，使具有動態(tài)空閑帶寬資源的網(wǎng)絡(luò)的動態(tài)帶寬資源和節(jié)點(diǎn)的存儲資源能力統(tǒng)一轉(zhuǎn)化到一張靜態(tài)流網(wǎng)絡(luò)上。
3.根據(jù)權(quán)利要求2所述的實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，其特征在于所述步驟2是這樣實(shí)現(xiàn)的 將多個大規(guī)模數(shù)據(jù)傳輸請求建模為下面的最大化最小公平多商品流線性規(guī)劃模型
4.根據(jù)權(quán)利要求3所述的實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，其特征在于所述步驟3包括以下步驟 SI :設(shè)定飽和請求集合Rsat為空、非飽和請求集合Runsat包含所有大規(guī)模數(shù)據(jù)傳輸請求ri;根據(jù)輸入的數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湫畔⑶蠼獬雒總€^的全部傳輸路徑； S2:對最大化最小公平多商品流線性規(guī)劃模型進(jìn)行求解，即在同時(shí)滿足(I)、(2)、(3)和(4)這四個式子的前提下，求出最大的λ值；S3:篩選出沒有多余連接能力的請求集合Rtmp :根據(jù)傳輸請求現(xiàn)有的傳輸路徑帶寬資源的利用情況，若某傳輸請求的帶寬資源已被全部占滿，則將其被選入請求集合Rtmp; S4:針對Rtmp中的每個請求&，將Rmsat設(shè)定為只包含一個請求Rsat則設(shè)定為包含請求集合R中除去請求A以外的剩余的全部請求，其中原有的已飽和請求的if值維持不變， 未飽和請求的飽和值則設(shè)定為λ，利用這些值更新(2)式和(3)式后得到更新后的最大化最小公平多商品流線性規(guī)劃模型； S5:求解所述更新后的最大化最小公平多商品流線性規(guī)劃模型，得到新的入_;若Atmp與λ相等，則請求A被判定為真正飽和,將!Ti加入到Rsat,并記錄對應(yīng)的λ，若Xtmp與λ不相等，則轉(zhuǎn)入步驟S4; S6:多次重復(fù)步驟S2到步驟S5，直至Rmsat為空，得到最優(yōu)的λ ; S7 :輸出最大傳輸流量以及對應(yīng)的數(shù)據(jù)傳輸路徑，所述最大傳輸流量是指所述最優(yōu)的λ和鏈路帶寬的乘積；所述數(shù)據(jù)傳輸路徑包含在與最優(yōu)的λ對應(yīng)的/纟中。
全文摘要
本發(fā)明提供了一種實(shí)現(xiàn)大規(guī)模數(shù)據(jù)傳輸?shù)亩嗳蝿?wù)調(diào)度方法，屬于計(jì)算機(jī)網(wǎng)絡(luò)中的網(wǎng)絡(luò)數(shù)據(jù)流量優(yōu)化領(lǐng)域。所述方法包括輸入數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湫畔⒑蛿?shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測信息；步驟1，基于對數(shù)據(jù)中心網(wǎng)間帶寬資源開銷的預(yù)測信息，利用時(shí)間延展網(wǎng)絡(luò)轉(zhuǎn)換方法將具有動態(tài)空閑帶寬資源的網(wǎng)絡(luò)轉(zhuǎn)換為靜態(tài)流網(wǎng)絡(luò)；步驟2，基于所述靜態(tài)流網(wǎng)絡(luò)，對多個大規(guī)模數(shù)據(jù)傳輸請求建立最大化最小公平多商品流線性規(guī)劃模型；步驟3，迭代地求解所述最大化最小公平多商品流線性規(guī)劃模型，得出各大規(guī)模數(shù)據(jù)傳輸請求的最大傳輸流量以及對應(yīng)的數(shù)據(jù)傳輸路徑。本發(fā)明方法大大提高了數(shù)據(jù)中心網(wǎng)間帶寬資源的平均利用率，并縮短了多個數(shù)據(jù)傳輸任務(wù)的平均傳輸時(shí)間。
文檔編號H04L29/08GK102946443SQ20121052158
公開日2013年2月27日 申請日期2012年12月6日 優(yōu)先權(quán)日2012年12月6日
發(fā)明者蘇森, 雙鍇, 王藝文, 徐鵬, 王玉龍 申請人:北京郵電大學(xué)