一種蜂窩網(wǎng)絡(luò)中基于傳輸代價(jià)的分布式基站緩存替換方法
【專利摘要】本發(fā)明公開了一種蜂窩網(wǎng)絡(luò)中基于傳輸代價(jià)的分布式基站緩存替換方法，屬于通信領(lǐng)域。它的步驟為：用戶請(qǐng)求獲得業(yè)務(wù)時(shí)，服務(wù)基站將請(qǐng)求發(fā)送給網(wǎng)絡(luò)中其他基站，其他基站將存儲(chǔ)的業(yè)務(wù)數(shù)據(jù)傳輸給服務(wù)基站，同時(shí)服務(wù)基站更新緩存中的存儲(chǔ)內(nèi)容以使得網(wǎng)絡(luò)傳輸總代價(jià)最小。其中基站在進(jìn)行緩存更新時(shí)，考慮當(dāng)前存儲(chǔ)狀態(tài)和之前請(qǐng)求業(yè)務(wù)數(shù)據(jù)時(shí)與其他基站的交互信息，估計(jì)可能的緩存替換策略對(duì)網(wǎng)絡(luò)傳輸總代價(jià)的影響，通過Q學(xué)習(xí)（Q-learning）的方法做出緩存替換的決策。各個(gè)基站分布式進(jìn)行緩存替換，不需要基站間關(guān)于緩存數(shù)據(jù)內(nèi)容進(jìn)行額外的信息交互。本發(fā)明可用于移動(dòng)蜂窩系統(tǒng)，具有存儲(chǔ)功能的基站中，基于業(yè)務(wù)信息的基站緩存替換方法。
【專利說明】一種蜂窩網(wǎng)絡(luò)中基于傳輸代價(jià)的分布式基站緩存替換方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及無線通信領(lǐng)域，具體涉及無線蜂窩系統(tǒng)中基于傳輸代價(jià)的分布式基站緩存替換方法。
【背景技術(shù)】
[0002]在過去的20年里，通信技術(shù)得到了迅猛的發(fā)展和廣泛的應(yīng)用，極大地推動(dòng)了社會(huì)的發(fā)展，并為人們的生活方式帶來深刻的影響。隨著無線應(yīng)用數(shù)量的飛速增長，傳輸?shù)臄?shù)據(jù)量不斷增多，這對(duì)蜂窩網(wǎng)絡(luò)造成了極大的負(fù)擔(dān)，并且易造成延遲、掉話等狀況導(dǎo)致用戶的服務(wù)質(zhì)量(QoS)變差。新型移動(dòng)多媒體業(yè)務(wù)的不斷涌現(xiàn)，如何在有限帶寬資源上提供滿足人們物質(zhì)文化需求的移動(dòng)業(yè)務(wù)，將對(duì)移動(dòng)通信技術(shù)的發(fā)展提出巨大的挑戰(zhàn)。
[0003]為克服有限帶寬對(duì)移動(dòng)通信系統(tǒng)容量的限制，滿足不斷豐富的業(yè)務(wù)類型和不斷增長的用戶需求，人們開始考慮在移動(dòng)通信系統(tǒng)中采用流量本地化技術(shù)以降低網(wǎng)絡(luò)負(fù)載，并進(jìn)行了許多研究。研究表明在移動(dòng)通信系統(tǒng)中將業(yè)務(wù)主動(dòng)存儲(chǔ)于基站中可以減小無線傳輸部分的流量，進(jìn)而緩解蜂窩系統(tǒng)中的流量負(fù)載、改善系統(tǒng)的性能。
[0004]在蜂窩網(wǎng)絡(luò)中，用戶通常直接從服務(wù)器下載需要的應(yīng)用，當(dāng)網(wǎng)絡(luò)發(fā)生擁塞時(shí)，服務(wù)質(zhì)量會(huì)變得難以忍受。傳統(tǒng)的降低網(wǎng)絡(luò)負(fù)載的解決方案正如S.Androutsellis和Theotokis 在論文“A survey of peer-to-peer file sharing technologies，，中所述，米用對(duì)等網(wǎng)絡(luò)(P2P)技術(shù)，由節(jié)點(diǎn)間進(jìn)行數(shù)據(jù)交互。然而在蜂窩網(wǎng)絡(luò)中用戶通過無線鏈路共享內(nèi)容，P2P方式將極大地增加空口上行鏈路負(fù)載。因此用戶之間的P2P數(shù)據(jù)交互是不現(xiàn)實(shí)的，可行方法的是將業(yè)務(wù)存儲(chǔ)在基站中，從而降低網(wǎng)絡(luò)流量。
[0005]基站主動(dòng)存儲(chǔ)就是將一些熱點(diǎn)業(yè)務(wù)主動(dòng)存儲(chǔ)于基站的存儲(chǔ)器中，用戶請(qǐng)求到來時(shí)，由小區(qū)基站將業(yè)務(wù)直接提供給用戶。既避免了直接從服務(wù)器下載時(shí)網(wǎng)絡(luò)擁塞的風(fēng)險(xiǎn)，又避免了采用P2P方式增加的無線上行鏈路負(fù)載。
[0006]采用基站主動(dòng)存儲(chǔ)技術(shù)時(shí)，文件的存儲(chǔ)分配過程就是對(duì)傳輸代價(jià)和存儲(chǔ)空間的折中，既要保證網(wǎng)絡(luò)內(nèi)的每個(gè)用戶都能以合理的代價(jià)獲得需要的業(yè)務(wù)，又要控制存儲(chǔ)文件時(shí)系統(tǒng)中過分冗余的文件副本。
[0007]對(duì)不同業(yè)務(wù)，用戶的關(guān)注程度是不一樣的；而對(duì)于同一業(yè)務(wù)在隨時(shí)間的推移，用戶的關(guān)注也會(huì)改變。因此為了實(shí)現(xiàn)存儲(chǔ)效率的最優(yōu)，需要根據(jù)用戶對(duì)不同業(yè)務(wù)關(guān)注度的變化動(dòng)態(tài)地調(diào)整業(yè)務(wù)在各基站緩存中的存儲(chǔ)分配。從而在考慮業(yè)務(wù)動(dòng)態(tài)特性的情況下，實(shí)現(xiàn)存儲(chǔ)效率的最優(yōu)。已有一些文獻(xiàn)對(duì)緩存更新方法進(jìn)行了研究，常用的緩存替換算法主要分為以下三類:
[0008]I)基于業(yè)務(wù)的最近使用(recency)和請(qǐng)求頻率(frequency)管理緩存
[0009]這是一類最為簡單也很有效的方法，所考慮的兩方面因素也是代表業(yè)務(wù)關(guān)注度信息的最重要部分。
[0010]2)基于文件函數(shù)的緩存替換算法
[0011]除上述因素外，決定文件是否被替換掉的因素還有很多，如文件大小、傳輸代價(jià)和失效時(shí)間等等。通過設(shè)定函數(shù)對(duì)這些因素進(jìn)行綜合考慮，可以適應(yīng)在不同場景下的需求。不過在設(shè)置函數(shù)時(shí)也會(huì)引入額外的復(fù)雜度。
[0012]3)隨機(jī)化的替換策略
[0013]基于一些隨機(jī)化方案來進(jìn)行數(shù)據(jù)替換，不需要文件特定數(shù)據(jù)結(jié)構(gòu)的支持，易于實(shí)現(xiàn)。缺點(diǎn)在于，性能波動(dòng)相對(duì)較大，難以評(píng)估。
[0014]以上三類方法都是將整個(gè)業(yè)務(wù)文件基于整體進(jìn)行替換，但是可能會(huì)因個(gè)別基站過載或鏈路擁塞造成無法接收數(shù)據(jù)的風(fēng)險(xiǎn)；另外，由于各業(yè)務(wù)文件大小不一致，整體替換會(huì)造成存儲(chǔ)空間的浪費(fèi)，通過文件分組的部分替換，系統(tǒng)存儲(chǔ)空間得到了最優(yōu)利用。

【發(fā)明內(nèi)容】

[0015]本發(fā)明的目的是利用Q學(xué)習(xí)方法，設(shè)計(jì)出一種蜂窩網(wǎng)絡(luò)中基于傳輸代價(jià)的分布式
基站緩存替換方法。
[0016]蜂窩網(wǎng)絡(luò)中基于傳輸代價(jià)的分布式基站緩存替換方法，步驟如下:
[0017]I)當(dāng)蜂窩系統(tǒng)中有業(yè)務(wù)s的請(qǐng)求到達(dá)時(shí)，收到請(qǐng)求的本地基站i根據(jù)自身與系統(tǒng)中其他基站間的傳輸代價(jià)(^，其中j = 1，2，...，N，N為蜂窩系統(tǒng)中基站數(shù)量，向相應(yīng)基站發(fā)出請(qǐng)求獲得業(yè)務(wù)數(shù)據(jù)分組；發(fā)送請(qǐng)求時(shí)，基站i檢索自身索引表中其他基站的對(duì)業(yè)務(wù)s的存儲(chǔ)信息，并按照代價(jià)由小到大依次發(fā)送請(qǐng)求，直至得到全部的數(shù)據(jù)分組K(S)為止；
[0018]2)當(dāng)各基 站收到來自基站i的數(shù)據(jù)業(yè)務(wù)請(qǐng)求時(shí),各基站依照請(qǐng)求發(fā)送業(yè)務(wù)s的數(shù)據(jù)分組給基站i ;各業(yè)務(wù)在緩存中以網(wǎng)絡(luò)編碼的方式進(jìn)行存儲(chǔ)，以保證傳輸不會(huì)受到個(gè)別基站過載或個(gè)別鏈路擁塞的影響，基站i只需接收足量的數(shù)據(jù)分組進(jìn)行解碼即可恢復(fù)業(yè)務(wù)s的原始數(shù)據(jù)；
[0019]3)基站i接收到數(shù)據(jù)分組并成功解碼后，基站i根據(jù)此次請(qǐng)求更新緩存中各業(yè)務(wù)存儲(chǔ)比例，即增大業(yè)務(wù)s的數(shù)據(jù)分組數(shù)量，減少其他業(yè)務(wù)的存儲(chǔ)量；首先基站i的感知自身的存儲(chǔ)狀態(tài)Ini = (IHi(S1)7Iiii(S2),...,Ini (S1)),確定其在當(dāng)前時(shí)刻t的決策行為aj,由于存儲(chǔ)空間的有限性，其中決策矢量 < 中元素之和必須為零；基站決策行為 < 的確定應(yīng)以最大化系統(tǒng)時(shí)間累積回報(bào)V*為準(zhǔn)，采用Q學(xué)習(xí)的方法(Q-1earning)來確定每次請(qǐng)求時(shí)基站的決策行為，最終得到系統(tǒng)各狀態(tài)下基站的最優(yōu)決策行為集合；基站i做出決策行為后，根據(jù)決策行為At進(jìn)行緩存更新，得到新的狀態(tài)矢量Hli'；
[0020]4)在各基站向請(qǐng)求基站i發(fā)送業(yè)務(wù)s的數(shù)據(jù)分組時(shí)，也同時(shí)附加發(fā)送其對(duì)各業(yè)務(wù)的存儲(chǔ)信息，基站i在接收到該信息后更新自身索引表，即其他基站的存儲(chǔ)信息hu(s)，以保證存儲(chǔ)整個(gè)系統(tǒng)中各基站最新的存儲(chǔ)信息；
[0021]所述的步驟2)中各業(yè)務(wù)存儲(chǔ)信息方法為:
[0022]各業(yè)務(wù)以網(wǎng)絡(luò)編碼的方式存儲(chǔ)于基站中，以保證傳輸過程不會(huì)受到個(gè)別基站過載或個(gè)別鏈路擁塞的影響，請(qǐng)求基站只需接收足量的數(shù)據(jù)分組進(jìn)行解碼即可恢復(fù)業(yè)務(wù)s的原始數(shù)據(jù)；
[0023]存儲(chǔ)時(shí)各業(yè)務(wù)采用隨機(jī)線性網(wǎng)絡(luò)編碼的方式進(jìn)行存儲(chǔ)，選擇存儲(chǔ)的有限域?yàn)镚F (q)，原始的業(yè)務(wù)數(shù)據(jù)文件被分為M個(gè)數(shù)據(jù)分組，基站應(yīng)接收K個(gè)數(shù)據(jù)分組以進(jìn)行解碼(K ^ M)，則基站能夠成功解碼的概率為:[0024]
【權(quán)利要求】
1.一種蜂窩網(wǎng)絡(luò)中基于傳輸代價(jià)的分布式基站緩存替換方法，其特征在于， 1)當(dāng)蜂窩系統(tǒng)中有業(yè)務(wù)S的請(qǐng)求到達(dá)時(shí)，收到請(qǐng)求的本地基站i根據(jù)自身與系統(tǒng)中其他基站間的傳輸代價(jià)(^，其中j = 1，2，...，N，N為蜂窩系統(tǒng)中基站數(shù)量，向相應(yīng)基站發(fā)出請(qǐng)求獲得業(yè)務(wù)數(shù)據(jù)分組；發(fā)送請(qǐng)求時(shí)，基站i檢索自身索引表中其他基站的對(duì)業(yè)務(wù)s的存儲(chǔ)信息，并按照代價(jià)由小到大依次發(fā)送請(qǐng)求，直至得到全部的數(shù)據(jù)分組K(S)為止； 2)當(dāng)各基站收到來自基站i的數(shù)據(jù)業(yè)務(wù)請(qǐng)求時(shí)，各基站依照請(qǐng)求發(fā)送業(yè)務(wù)s的數(shù)據(jù)分組給基站i ;各業(yè)務(wù)在緩存中以網(wǎng)絡(luò)編碼的方式進(jìn)行存儲(chǔ)，以保證傳輸不會(huì)受到個(gè)別基站過載或個(gè)別鏈路擁塞的影響，基站i只需接收足量的數(shù)據(jù)分組進(jìn)行解碼即可恢復(fù)業(yè)務(wù)s的原始數(shù)據(jù)； 3)基站i接收到數(shù)據(jù)分組并成功解碼后，基站i根據(jù)此次請(qǐng)求更新緩存中各業(yè)務(wù)存儲(chǔ)比例，即增大業(yè)務(wù)s的數(shù)據(jù)分組數(shù)量，減少其他業(yè)務(wù)的存儲(chǔ)量；首先基站i的感知自身的存儲(chǔ)狀態(tài)Ini = (IHi(S1)7Iiii(S2),...,Ini (S1)),確定其在當(dāng)前時(shí)刻t的決策行為aj,由于存儲(chǔ)空間的有限性，其中決策矢量 < 中元素之和必須為零；基站決策行為aj的確定應(yīng)以最大化系統(tǒng)時(shí)間累積回報(bào)V*為準(zhǔn)，采用Q學(xué)習(xí)的方法(Q-1earning)來確定每次請(qǐng)求時(shí)基站的決策行為，最終得到系統(tǒng)各狀態(tài)下基站的最優(yōu)決策行為集合；基站i做出決策行為后，根據(jù)決策行為 < 進(jìn)行緩存更新，得到新的狀態(tài)矢量Hli ； 4)在各基站向請(qǐng)求基站i發(fā)送業(yè)務(wù)s的數(shù)據(jù)分組時(shí)，也同時(shí)附加發(fā)送其對(duì)各業(yè)務(wù)的存儲(chǔ)信息，基站i在接收到該信息后更新自身索引表，即其他基站的存儲(chǔ)信息hu (S)，以保證存儲(chǔ)整個(gè)系統(tǒng)中各基站最新的存儲(chǔ)信息。
2.根據(jù)權(quán)利要求1所述的基站緩存替換方法，其特征在于，所述的步驟3)中基站決策行為的確定應(yīng)以最大化系統(tǒng)時(shí)間累積回報(bào)V*為準(zhǔn),采用Q學(xué)習(xí)(Q-1earning)來確定每次請(qǐng)求時(shí)基站決策行為的方法為: 由于各基站i獨(dú)立且分布式確定決策行為，對(duì)于每個(gè)基站i得到的系統(tǒng)時(shí)間累積回報(bào)Vi* 為:
OO Vi^YjYtRf
t=o 為了得到最大的系統(tǒng)時(shí)間累積回報(bào)，對(duì)每一個(gè)狀態(tài)-行為對(duì)定義Q值，對(duì)于基站i，最優(yōu)Q值如下: QKmL^i) = E[Rimi, at)}+ y〉Pm ^n Aai) max b)

/ ^ l> 1 beA

TTifEM 其中，Hii為i基站當(dāng)前狀態(tài),m' i為采用決策行為a后的基站轉(zhuǎn)移狀態(tài)，PmilTni'為兩狀態(tài)間的轉(zhuǎn)移概率；因此，最優(yōu)累積回報(bào)Vi*可以用Q值表示為V廣=maxae^ Q-(Tniia);因此，如果在每一個(gè)基站狀態(tài)和決策行為條件下的最優(yōu)Q值已知，則可以得到系統(tǒng)最優(yōu)策略Ti*(m) — arg maxa￡i4 Q[ (in, a)； Q學(xué)習(xí)算法以遞歸的方式對(duì)每一個(gè)基站的Q值進(jìn)行更新，更新準(zhǔn)則如下:
3.根據(jù)權(quán)利要求1所述的基站緩存替換方法，其特征在于，所述的步驟3)中計(jì)算決策行為獲得的相應(yīng)報(bào)酬函數(shù)的方法為: 由于最終目標(biāo)是最小化蜂窩網(wǎng)絡(luò)的傳輸代價(jià)，我們用傳輸代價(jià)的改變量來衡量決策行為的報(bào)酬；基站i的報(bào)酬函數(shù)由如下四部分組成:
【文檔編號(hào)】H04W28/02GK103781115SQ201410036819
【公開日】2014年5月7日 申請(qǐng)日期:2014年1月25日 優(yōu)先權(quán)日:2014年1月25日
【發(fā)明者】王瑋, 顧競雄, 黃愛蘋, 單杭冠, 張朝陽 申請(qǐng)人:浙江大學(xué)