專利名稱：應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計算機(jī)網(wǎng)絡(luò)領(lǐng)域，尤其是一種應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法和裝置。
背景技術(shù)：
隨著3G，WiFi, WiMax等網(wǎng)絡(luò)的普及，以及令人眼花繚亂的智能終端和豐富的動態(tài)應(yīng)用的不斷出現(xiàn)(例如手機(jī)閱讀、移動電視、移動商務(wù)等)，這給運營商的網(wǎng)絡(luò)帶來巨大的挑戰(zhàn)。根據(jù)國際電聯(lián)2012年I月發(fā)布的報告，2011年年底時全球手機(jī)用戶為59億，移動寬帶用戶接近12億。根據(jù)2012年I月中國互聯(lián)網(wǎng)絡(luò)信息中心在京發(fā)布的報告顯示，截至2011年12月底，中國網(wǎng)民數(shù)量突破5億，其中手機(jī)網(wǎng)民規(guī)模達(dá)到3.56億，同比增長17.5%。如

圖1所示，傳統(tǒng)的網(wǎng)絡(luò)服務(wù)模式中，用戶和內(nèi)容提供商位于服務(wù)的兩端，網(wǎng)絡(luò)服務(wù)提供商將兩者聯(lián)系起來。用戶利用傳統(tǒng)的網(wǎng)絡(luò)模式訪問網(wǎng)站的過程如下:首先，用戶向瀏覽器提供要訪問網(wǎng)站的域名。然后，瀏覽器向域名服務(wù)器請求對域名進(jìn)行解析，以得到此域名對應(yīng)的IP地址。接著，瀏覽器使用所得到的IP地址，向網(wǎng)站服務(wù)器發(fā)出數(shù)據(jù)訪問請求。最后，瀏覽器根據(jù)網(wǎng)站服務(wù)器返回的數(shù)據(jù)顯示網(wǎng)頁的內(nèi)容。用戶發(fā)出服務(wù)請求后，需要經(jīng)過DNS服務(wù)器進(jìn)行域名解析后得到所訪問網(wǎng)站的真實IP，然后利用這個IP訪問網(wǎng)站。在這種訪問模式下，網(wǎng)站服務(wù)器處于中心地位，所有的訪問者都必須直接和網(wǎng)站服務(wù)器連接才能訪問相關(guān)內(nèi)容，這會帶來如下幾個問題:第一，由于網(wǎng)站服務(wù)器可容納的訪問量是有限的，如果網(wǎng)站發(fā)布了重大或者熱點消息時，將會帶來大量用戶的涌入，網(wǎng)站的流量會在短時間內(nèi)急劇上升，導(dǎo)致網(wǎng)站訪問速度下降，甚至癱瘓。第二，如果網(wǎng)站服務(wù)器假設(shè)在離用戶很遠(yuǎn)的位置，用戶訪問請求就必須經(jīng)過廣域網(wǎng)較多網(wǎng)絡(luò)節(jié)點，導(dǎo)致長時間的延時。第三，當(dāng)兩個用戶使用不同網(wǎng)絡(luò)服務(wù)提供商提供的服務(wù)時，這兩個用戶可能有不同的服務(wù)感受(或質(zhì)量)。為了解決這些問題，學(xué)者們提出了許多方法。目前，CDN (內(nèi)容分發(fā)網(wǎng)絡(luò))技術(shù)是最常用的技術(shù)，關(guān)于CND系統(tǒng)及其概念是已知的。圖2所示為⑶N網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)圖。如圖2所示，⑶N網(wǎng)絡(luò)主要由原始服務(wù)器和若干與原始服務(wù)器連接的邊緣服務(wù)器構(gòu)成。原始服務(wù)器包括CDN網(wǎng)管中心和全局負(fù)載均衡DNS重定向解析系統(tǒng)，負(fù)責(zé)整個⑶N網(wǎng)絡(luò)的分發(fā)及管理。邊緣服務(wù)器主要指異地分發(fā)節(jié)點，由負(fù)載均衡設(shè)備、高速緩存服務(wù)器兩部分組成。CDN通過將網(wǎng)站內(nèi)容發(fā)布到靠近用戶的邊緣節(jié)點上，使得不同地域的用戶在訪問相同頁面是可以就近獲取。這樣不僅可以減輕源服務(wù)器的負(fù)擔(dān)，而且可以減少整個網(wǎng)絡(luò)中流量分布不均的情況，進(jìn)而改善整個網(wǎng)絡(luò)的性能。圖3所示為圖2中CDN系統(tǒng)的訪問流程，如圖3所示，步驟1:用戶向瀏覽器提供要訪問網(wǎng)站的域名，域名解析的請求被發(fā)往本地DNS進(jìn)行域名解析；步驟2:CDN對域名解析過程進(jìn)行了智能調(diào)整，解析得到的是該域名對應(yīng)的別名CNAME記錄，為了得到實際IP地址，瀏覽器通過CNAME域名進(jìn)行解析以得到實際的邊緣節(jié)點IP地址；在此過程中，使用的全局負(fù)載均衡DNS解析，可以根據(jù)訪問用戶的地理位置和實際的網(wǎng)絡(luò)流量信息，使用戶得到最可能合理的邊緣服務(wù)器IP地址。瀏覽器在得到實際的IP地址以后，向邊緣服務(wù)器發(fā)出訪問請求；邊緣服務(wù)器根據(jù)瀏覽器提供的訪問請求，判斷是否能夠直接處理響應(yīng)，或通過原始服務(wù)器協(xié)調(diào)處理。邊緣服務(wù)器一方面將請求在本地進(jìn)行保存，以備以后使用，另一方面把獲取的數(shù)據(jù)返回給客戶端，完成數(shù)據(jù)服務(wù)過程；用戶端得到由邊緣服務(wù)器返回的數(shù)據(jù)以后顯示出來并完成整個瀏覽的數(shù)據(jù)請求過程。原理上第一次訪問，CDN系統(tǒng)的邊緣服務(wù)器將回到原始服務(wù)器獲取用戶請求的數(shù)據(jù)并發(fā)給用戶。當(dāng)有其他用戶再次訪問同樣內(nèi)容時，CDN系統(tǒng)將直接將數(shù)據(jù)返回給客戶，完成請求/服務(wù)過程。通過以上的分析我們可以看出，CDN服務(wù)對網(wǎng)站訪問提供加速的同時，可以實現(xiàn)對普通訪問用戶透明，即加入緩存以后用戶客戶端無需進(jìn)行任何設(shè)置，直接輸入被加速網(wǎng)站原有的域名即可訪問。在⑶N系統(tǒng)中，數(shù)據(jù)安置是一個比較關(guān)鍵的問題，其目標(biāo)是將數(shù)據(jù)放置到合適的邊緣服務(wù)器之中，以便使用戶訪問請求的總時延最小。如果用戶請求類型包含很少的更新，那么CDN系統(tǒng)可以將數(shù)據(jù)復(fù)制到邊緣服務(wù)器，比較好地改善用戶請求時延問題。但是，如果數(shù)據(jù)族(數(shù)據(jù)服務(wù))有大量的更新請求和少量的讀請求時，增加復(fù)制數(shù)據(jù)的范圍越大，將會降低系統(tǒng)性能。因為更新數(shù)據(jù)可能并不是正在訪問的某個邊緣服務(wù)器用戶，而是來自于別的用戶訪問其他邊緣服務(wù)器。因此，根據(jù)這種情況，需要將數(shù)據(jù)單元安置到最常發(fā)生更新的邊緣服務(wù)器上，并且把這個邊緣服務(wù)器作為此類數(shù)據(jù)族的主服務(wù)器。此外，如果系統(tǒng)負(fù)載比較低時，數(shù)據(jù)單元可以被復(fù)制到許多地方以便改進(jìn)用戶時延。但是，如果系統(tǒng)負(fù)載比較高時，安置更多的數(shù)據(jù)將會帶來比較大的系統(tǒng)開銷。因此，此時就需要減少不必要的副本安置，以便減小服務(wù)器負(fù)載，改善內(nèi)部時延。因此，本領(lǐng)域技術(shù)人員急切的期待一種合適的數(shù)據(jù)安置方法，該方法能夠按需復(fù)制數(shù)據(jù)到邊緣服務(wù)器中，既能夠滿足CDN系統(tǒng)具有較小的時延，又不會給服務(wù)器帶來較大的負(fù)載。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的不足，本發(fā)明的目的是要提供應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法，期待該方法能夠在服務(wù)器負(fù)載與系統(tǒng)時延中作出較佳的平衡?；诖耍景l(fā)明第一方面提供了一種應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法，所述內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)包括原始服務(wù)器和若干與所述原始服務(wù)器連接的邊緣服務(wù)器，該方法包括以下步驟:將主服務(wù)器的數(shù)據(jù)庫中的數(shù)據(jù)分成若干個數(shù)據(jù)單元(D1, D2, D3, , DJ ；將所述數(shù)據(jù)單元(D1, D2, D3, , DJ組成若干數(shù)據(jù)族；計算各從服務(wù)器的讀寫請求數(shù)量的總和T，其中，m為所述邊緣服務(wù)器的數(shù)量，r,為用戶通過邊緣服務(wù)器對數(shù)據(jù)單元Di進(jìn)行讀操作的數(shù)量，Wi為用戶通過邊緣服務(wù)器對數(shù)據(jù)單元Di進(jìn)行寫操作的數(shù)量；如果從服務(wù)器對所述主服務(wù)器中的數(shù)據(jù)單元Di的訪問數(shù)量大于或者等于Τ* (X/100)，并且A大于或者等于Wi，則將數(shù)據(jù)單元Di所在的數(shù)據(jù)族復(fù)制于該從服務(wù)器之中，其中，X1為一設(shè)定值。相應(yīng)的，本發(fā)明第二方面提供了一種應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置裝置，包括:數(shù)據(jù)單元模塊，用于將原始服務(wù)器中的數(shù)據(jù)庫中的數(shù)據(jù)分成若干個數(shù)據(jù)單元(D1, D2, D3,…，Dj ；數(shù)據(jù)族模塊，用于根據(jù)對所述數(shù)據(jù)單元他，D2, D3, , DJ的訪問形式將所述數(shù)據(jù)單元(D1, D2, D3,, Dj組成若干數(shù)據(jù)族；計算模塊，用于計算各邊緣服務(wù)器的讀寫請求數(shù)量的總和T，
權(quán)利要求
1.一種應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法，其特征在于，該方法包括以下步驟: 將主服務(wù)器的數(shù)據(jù)庫中的數(shù)據(jù)分成若干個數(shù)據(jù)單元{Di，D2, D3, , DJ ； 將所述數(shù)據(jù)單元ID1, D2, D3, , DJ組成若干數(shù)據(jù)族； 計算各從服務(wù)器的讀寫請求數(shù)量的總和T，
2.如權(quán)利要求1所述的應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法，其特征在于，將數(shù)據(jù)單元(D1, D2, D3, , DJ組成若干個數(shù)據(jù)族包括以下步驟: 提供用于表征數(shù)據(jù)單元01的訪問形式的空間向量A1，其中: Ai=Irijl, ri；2—,ri；m, wia, - ,WijJ ； 根據(jù)數(shù)據(jù)單元Di的空間向量為Ai和數(shù)據(jù)單元Dj的空間向量Aj計算數(shù)據(jù)單元Di和數(shù)據(jù)單元Dj的相似度Sim (i, j),
3.一種應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置裝置，其特征在于，包括: 數(shù)據(jù)單元模塊，用于將原始服務(wù)器中的數(shù)據(jù)庫中的數(shù)據(jù)分成若干個數(shù)據(jù)單元(D1, D2, D3,…，Dj ； 數(shù)據(jù)族模塊，用于根據(jù)對所述數(shù)據(jù)單元的訪問形式將所述數(shù)據(jù)單元(D1, D2, D3,...，DJ組成若干數(shù)據(jù)族； 計算模塊，用于計算各邊緣服務(wù)器的讀寫請求數(shù)量的總和T，
4.如權(quán)利要求3所述的應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置裝置，其特征在于，所述數(shù)據(jù)族模塊包括: 第一模塊，用于提供一用于表征數(shù)據(jù)單元Di的訪問形式的空間向量^，其中: Ai=Irijl, ri；2..., ri；m, wi；1,..., wi；m}； 其中，^為用戶通過邊緣服務(wù)器對數(shù)據(jù)單元Di進(jìn)行讀操作的數(shù)量； Wi為用戶通過邊緣服務(wù)器對數(shù)據(jù)單元Di進(jìn)行寫操作的數(shù)量； 第二模塊，用于根據(jù) 數(shù)據(jù) 單元Di的空間向量為Ai和數(shù)據(jù)單元Dj的空間向量。
全文摘要
本發(fā)明屬于計算機(jī)網(wǎng)絡(luò)領(lǐng)域，具體公開了一種應(yīng)用于內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)中的數(shù)據(jù)安置方法及裝置。所述數(shù)據(jù)安置方法通過將數(shù)據(jù)分成若干個數(shù)據(jù)族并根據(jù)從服務(wù)器對主服務(wù)器的訪問頻率對數(shù)據(jù)進(jìn)行安置。該網(wǎng)絡(luò)訪問加速方法通過將常用的訪問對象緩存于邊緣服務(wù)器之中，并且通過上述的數(shù)據(jù)安置方法將原始服務(wù)器中的數(shù)據(jù)族復(fù)制至邊緣服務(wù)器之中并轉(zhuǎn)換成對象緩存于邊緣服務(wù)器的緩存中，從而有效地提高了互聯(lián)網(wǎng)的訪問速度。
文檔編號H04L29/08GK103152396SQ20131004734
公開日2013年6月12日 申請日期2013年2月5日 優(yōu)先權(quán)日2013年2月5日
發(fā)明者范冰冰, 陳振洲, 柳楊 申請人:華南師范大學(xué)