本發(fā)明屬于數(shù)據(jù)處理，特別涉及一種車(chē)聯(lián)網(wǎng)中基于異步聯(lián)邦學(xué)習(xí)和社交感知的智能合作緩存策略。

背景技術(shù)：

1、隨著車(chē)聯(lián)網(wǎng)和邊緣計(jì)算的發(fā)展，緩存技術(shù)已成為支持汽車(chē)享受智能導(dǎo)航、高效模式識(shí)別、豐富的多媒體娛樂(lè)體驗(yàn)等多元化多媒體實(shí)時(shí)應(yīng)用的關(guān)鍵技術(shù)，大大提高了駕駛的便利性和娛樂(lè)性?？紤]到車(chē)載應(yīng)用程序?qū)τ?jì)算、通信和存儲(chǔ)資源的高需求，對(duì)服務(wù)響應(yīng)速度和網(wǎng)絡(luò)帶寬的要求是非常嚴(yán)格的。智能車(chē)輛依靠其強(qiáng)大的計(jì)算和緩存能力，通過(guò)c-v2x、lte-v等通信技術(shù)，實(shí)現(xiàn)了與邊緣設(shè)備、行人和車(chē)輛的實(shí)時(shí)交互。邊緣緩存技術(shù)減少了重復(fù)的數(shù)據(jù)傳輸，優(yōu)化了傳輸效率，響應(yīng)了遠(yuǎn)程信息通信數(shù)據(jù)的挑戰(zhàn)，減少了系統(tǒng)負(fù)擔(dān)和能源消耗，并滿足了計(jì)算密集、低延遲的車(chē)內(nèi)應(yīng)用程序的需求。此外，邊緣緩存容量有限，這使得設(shè)計(jì)一個(gè)高效的協(xié)同緩存方案成為一個(gè)重要的研究熱點(diǎn)。

2、在協(xié)同緩存系統(tǒng)中，服務(wù)節(jié)點(diǎn)的選擇和緩存內(nèi)容的更新是亟待解決的兩個(gè)關(guān)鍵問(wèn)題。聯(lián)邦學(xué)習(xí)和一些學(xué)習(xí)算法的興起解決了部分難題。例如，一些研究利用聯(lián)邦學(xué)習(xí)算法選擇高質(zhì)量服務(wù)節(jié)點(diǎn)，聚合所有車(chē)輛模型，構(gòu)建全局模型。基于此模型預(yù)測(cè)流行內(nèi)容，提前緩存至合作車(chē)輛或路側(cè)單元，通過(guò)協(xié)作緩存減少訪問(wèn)延遲，提升車(chē)輛服務(wù)質(zhì)量。在傳統(tǒng)聯(lián)邦學(xué)習(xí)中，全局模型可以通過(guò)聚合所有車(chē)輛的本地模型來(lái)周期性地更新全局模型。然而，車(chē)輛可能會(huì)經(jīng)常駛出邊緣服務(wù)器的覆蓋范圍而無(wú)法按預(yù)期來(lái)上傳所有的本地模型，這會(huì)導(dǎo)致全局模型的精度下降。異步聯(lián)邦學(xué)習(xí)可以無(wú)需聚合所有車(chē)輛的本地模型，上傳越多的本地模型可以獲得越高準(zhǔn)確率的全局模型，車(chē)輛移動(dòng)性會(huì)大幅的影響異步聯(lián)邦學(xué)習(xí)的性能。同時(shí)，智能交通的興起也將深度強(qiáng)化學(xué)習(xí)方法應(yīng)用于邊緣緩存系統(tǒng)，引入強(qiáng)化學(xué)習(xí)緩存策略，各路側(cè)單元智能體獨(dú)立選擇緩存動(dòng)作，優(yōu)化資源以最大化累積獎(jiǎng)勵(lì)。然而在學(xué)習(xí)算法中龐大的狀態(tài)-動(dòng)作空間導(dǎo)致資源消耗問(wèn)題日益凸顯。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種車(chē)聯(lián)網(wǎng)中基于異步聯(lián)邦學(xué)習(xí)和社交感知的智能合作緩存策略，加入車(chē)輛之間的社交感知，通過(guò)異步聯(lián)邦學(xué)習(xí)框架下的深度強(qiáng)化學(xué)習(xí)訓(xùn)練進(jìn)行協(xié)同更新緩存，可以降低請(qǐng)求內(nèi)容的傳輸延遲，提升緩存命中率。

2、為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用如下技術(shù)方案：

3、一種車(chē)聯(lián)網(wǎng)中基于異步聯(lián)邦學(xué)習(xí)和社交感知的智能合作緩存策略，包括：

4、用戶車(chē)輛向本地rsu發(fā)送緩存請(qǐng)求；

5、本地rsu接收到緩存請(qǐng)求后，判斷自身的緩存內(nèi)容中是否有所述緩存請(qǐng)求對(duì)應(yīng)的請(qǐng)求內(nèi)容：若有，則將請(qǐng)求內(nèi)容發(fā)送給用戶車(chē)輛；若沒(méi)有，則按預(yù)設(shè)優(yōu)先級(jí)選擇有請(qǐng)求內(nèi)容的附近用戶車(chē)輛、鄰近rsu或宏基站，以響應(yīng)用戶車(chē)輛的緩存請(qǐng)求，另外還將請(qǐng)求內(nèi)容發(fā)送給本地rsu；

6、本地rsu覆蓋范圍內(nèi)的各用戶車(chē)輛：在接收到各自緩存請(qǐng)求對(duì)應(yīng)的請(qǐng)求內(nèi)容后，采用車(chē)輛本地的局部緩存更新模型來(lái)更新車(chē)輛本地的緩存內(nèi)容，并基于車(chē)輛本地的當(dāng)前經(jīng)驗(yàn)池?cái)?shù)據(jù)對(duì)車(chē)輛本地的局部緩存更新模型進(jìn)行更新訓(xùn)練；

7、被選擇的每個(gè)車(chē)輛在更新完成局部緩存更新模型后，即上傳至本地rsu；所述被選擇的每個(gè)車(chē)輛，均是由其本地rsu根據(jù)車(chē)輛在其覆蓋范圍內(nèi)的停留時(shí)間選擇得到；

8、本地rsu接收到任意局部緩存更新模型時(shí)，基于對(duì)應(yīng)的車(chē)輛權(quán)重更新全局緩存更新模型；

9、本地rsu使用當(dāng)前的全局緩存更新模型，基于其服務(wù)區(qū)域內(nèi)所有用戶車(chē)輛的緩存請(qǐng)求所對(duì)應(yīng)的請(qǐng)求內(nèi)容，更新本地rsu的緩存內(nèi)容。

10、進(jìn)一步的，所述預(yù)設(shè)優(yōu)先級(jí)，從高到低依次為：附近用戶車(chē)輛、鄰近rsu和宏基站，發(fā)送請(qǐng)求內(nèi)容的方法分別為：

11、附近用戶車(chē)輛利用車(chē)輛之間的社交感知，將請(qǐng)求內(nèi)容發(fā)送給用戶車(chē)輛；

12、鄰近rsu先將請(qǐng)求內(nèi)容發(fā)送給本地rsu，再由本地rsu發(fā)送給用戶車(chē)輛；

13、宏基站接收用戶車(chē)輛的緩存請(qǐng)求，然后直接將請(qǐng)求內(nèi)容發(fā)送給用戶車(chē)輛。

14、進(jìn)一步的，將車(chē)輛的局部緩存更新模型簡(jiǎn)記為局部模型，rsu的全局緩存更新模型簡(jiǎn)記為全局模型；各車(chē)輛的初始局部模型，均通過(guò)下載本地rsu的全局模型得到；全局模型和局部模型采用深度強(qiáng)化學(xué)習(xí)算法來(lái)決策是否更新各自的緩存內(nèi)容；

15、全局模型采用深度強(qiáng)化學(xué)習(xí)算法來(lái)決策是否更新緩存內(nèi)容的定義為：

16、狀態(tài)：包括預(yù)設(shè)多個(gè)緩存內(nèi)容的緩存狀態(tài)和請(qǐng)求狀態(tài)，表示為其中，表示第n個(gè)rsu的全局模型在t時(shí)隙的狀態(tài)，表示第n個(gè)rsu對(duì)應(yīng)全局模型在t時(shí)隙對(duì)k個(gè)預(yù)設(shè)緩存內(nèi)容的緩存狀態(tài)，表示第n個(gè)rsu的全局模型在t時(shí)隙對(duì)第k個(gè)預(yù)設(shè)緩存內(nèi)容的緩存狀態(tài)，代表已緩存，代表未緩存；表示第i個(gè)用戶車(chē)輛在t時(shí)隙對(duì)k個(gè)預(yù)設(shè)緩存內(nèi)容的請(qǐng)求狀態(tài)，表示第i個(gè)車(chē)輛在t時(shí)隙對(duì)第k個(gè)預(yù)設(shè)緩存內(nèi)容的請(qǐng)求狀態(tài)，代表發(fā)送請(qǐng)求，代表未發(fā)送請(qǐng)求；pk表示第k個(gè)預(yù)設(shè)緩存內(nèi)容的緩存位置；v為第n個(gè)rsu覆蓋范圍內(nèi)的用戶車(chē)輛編號(hào)集；

17、動(dòng)作為：預(yù)設(shè)多個(gè)緩存內(nèi)容是否替換為緩存請(qǐng)求對(duì)應(yīng)的請(qǐng)求內(nèi)容，表示為其中，表示第n個(gè)rsu的全局模型在t時(shí)隙的動(dòng)作，表示第n個(gè)rsu的全局模型在t時(shí)隙對(duì)第k個(gè)預(yù)設(shè)緩存內(nèi)容是否替換為當(dāng)前接收第i個(gè)用戶車(chē)輛的緩存請(qǐng)求所對(duì)應(yīng)的請(qǐng)求內(nèi)容，表示替換，表示不替換；

18、獎(jiǎng)勵(lì)為：最小化各用戶車(chē)輛的緩存請(qǐng)求延遲；

19、第i個(gè)用戶車(chē)輛的局部模型采用深度強(qiáng)化學(xué)習(xí)算法來(lái)決策是否更新緩存內(nèi)容的定義為：

20、狀態(tài)：包括預(yù)設(shè)多個(gè)緩存內(nèi)容的緩存狀態(tài)和請(qǐng)求狀態(tài)，表示為其中，表示當(dāng)前局部模型在t時(shí)隙的狀態(tài)，表示當(dāng)前局部模型在t時(shí)隙對(duì)k個(gè)預(yù)設(shè)緩存內(nèi)容的緩存狀態(tài)，表示當(dāng)前局部模型在t時(shí)隙對(duì)第k個(gè)預(yù)設(shè)緩存內(nèi)容的緩存狀態(tài)，代表已緩存，代表未緩存；表示第i個(gè)用戶車(chē)輛在t時(shí)隙對(duì)k個(gè)預(yù)設(shè)緩存內(nèi)容的請(qǐng)求狀態(tài)，表示第i個(gè)車(chē)輛在t時(shí)隙對(duì)第k個(gè)預(yù)設(shè)緩存內(nèi)容的請(qǐng)求狀態(tài)，代表發(fā)送請(qǐng)求，代表未發(fā)送請(qǐng)求；pk表示第k個(gè)預(yù)設(shè)緩存內(nèi)容的緩存位置；v為第n個(gè)rsu覆蓋范圍內(nèi)的用戶車(chē)輛編號(hào)集；

21、動(dòng)作為：預(yù)設(shè)多個(gè)緩存內(nèi)容是否替換為緩存請(qǐng)求對(duì)應(yīng)的請(qǐng)求內(nèi)容，表示為其中，表示當(dāng)前局部模型在t時(shí)隙的動(dòng)作，表示當(dāng)前局部模型在t時(shí)隙對(duì)第k個(gè)預(yù)設(shè)緩存內(nèi)容是否替換為緩存請(qǐng)求得到的請(qǐng)求內(nèi)容，表示替換，表示不替換；

22、獎(jiǎng)勵(lì)為：最小化第i個(gè)用戶車(chē)輛的緩存請(qǐng)求延遲。

23、進(jìn)一步的，全局模型和各局部模型的獎(jiǎng)勵(lì)函數(shù)為：

24、

25、式中，在全局模型的獎(jiǎng)勵(lì)函數(shù)中，(st,at)取在局部模型的獎(jiǎng)勵(lì)函數(shù)中，(st,at）取dt表示t時(shí)刻的延遲獎(jiǎng)勵(lì)；λ1、λ2、λ3、λ4分別表示附近車(chē)輛、本地rsu、附近rsu、宏基站響應(yīng)緩存請(qǐng)求的獎(jiǎng)勵(lì)函數(shù)中的學(xué)習(xí)率，dv，i、dr，i、dm，i分別表示附近車(chē)輛、本地rsu、附近rsu、宏基站響應(yīng)第i個(gè)車(chē)輛緩存請(qǐng)求的傳輸延遲。

26、進(jìn)一步的，附近車(chē)輛響應(yīng)第i個(gè)車(chē)輛緩存請(qǐng)求的傳輸延遲dv，i的計(jì)算式為：

27、

28、

29、式中，s表示響應(yīng)緩存請(qǐng)求的請(qǐng)求內(nèi)容的大??；rv，i表示附近車(chē)輛v與第i個(gè)車(chē)輛vi之間的傳輸速率；α表示附近車(chē)輛v的接觸率，即附近車(chē)輛v與車(chē)輛vi建立通信的概率；表示本地rsu覆蓋范圍內(nèi)在t時(shí)隙緩存有請(qǐng)求內(nèi)容的車(chē)輛總數(shù)，nt表示本地rsu覆蓋范圍內(nèi)在t時(shí)隙的車(chē)輛總數(shù)；b為可用帶寬；pv表示附近車(chē)輛使用的發(fā)射功率電平，dis(v，vi)表示附近車(chē)輛v與車(chē)輛vi之間的距離，hi(dis(v，vi))表示車(chē)輛vi與附近車(chē)輛v之間的通道增益，為噪聲功率；

30、本地rsu響應(yīng)第i個(gè)車(chē)輛緩存請(qǐng)求的傳輸延遲dr，i的計(jì)算式為：

31、

32、

33、式中，rr，i表示本地rsu與用戶車(chē)輛vi之間的傳輸速率；pb表示本地rsu使用的發(fā)射功率電平；dis(s，vi)表示本地rsu與車(chē)輛vi之間的距離，hi(dis(s，vi))表示本地rsu與車(chē)輛vi之間的通道增益；

34、附近rsu響應(yīng)第i個(gè)車(chē)輛緩存請(qǐng)求的傳輸延遲的計(jì)算式為：

35、

36、式中，rr-r表示相鄰rsu之間的傳輸速率；

37、宏基站響應(yīng)第i個(gè)車(chē)輛緩存請(qǐng)求的傳輸延遲dm，i的計(jì)算式為：

38、

39、

40、式中，rb，i表示宏基站與用戶車(chē)輛vi之間的傳輸速率；pm表示宏基站使用的發(fā)射功率電平；dis(m，vi)表示宏基站與車(chē)輛vi之間的距離，hi(dis(m，vi))表示宏基站與車(chē)輛vi之間的通道增益。

41、進(jìn)一步的，設(shè)x＝v，m，s分別代表附近車(chē)輛、宏基站、局部rsu，則附近車(chē)輛、本地rsu、宏基站與車(chē)輛vi之間的通道增益計(jì)算式為：

42、hi(dis(x，vi))＝αi(dis(x，vi))gi

43、式中，αi(dis(x，vi))為包含路徑損耗和陰影的大規(guī)模衰落效應(yīng)，其中路徑損耗計(jì)算公式為128.1+37.6log10(dis(x，vi))，陰影服從對(duì)數(shù)正態(tài)分布；gi為小尺度衰落效應(yīng)。

44、進(jìn)一步的，本地rsu根據(jù)車(chē)輛在其覆蓋范圍內(nèi)的停留時(shí)間選擇車(chē)輛的方法為：

45、計(jì)算任意車(chē)輛vi在本地rsu覆蓋范圍內(nèi)的停留時(shí)間

46、

47、式中，ls是本地rsu的覆蓋范圍，pi為用戶車(chē)輛vi當(dāng)前輪在局部rsu覆蓋范圍內(nèi)穿過(guò)的距離，si為用戶車(chē)輛vi的速度；

48、若車(chē)輛vi在本地rsu覆蓋范圍內(nèi)的停留時(shí)間大于平均訓(xùn)練時(shí)間tt和推理時(shí)間ti之和，則車(chē)輛vi作為被選擇車(chē)輛參與異步聯(lián)邦訓(xùn)練。

49、進(jìn)一步的，用于更新全局緩存更新模型的車(chē)輛權(quán)重，計(jì)算式為：

50、

51、式中，χi為用戶車(chē)輛vi的權(quán)重；μ1和μ2分別是位置權(quán)重和傳輸權(quán)重的系數(shù)，μ1+μ2＝1；ls是本地rsu的覆蓋范圍，pi為用戶車(chē)輛vi當(dāng)前輪在局部rsu覆蓋范圍內(nèi)穿過(guò)的距離，rr，i表示本地rsu與用戶車(chē)輛vi之間的傳輸速率；rr，i′表示本地rsu與其覆蓋范圍內(nèi)任意車(chē)輛vi′之間的傳輸速率，v′為本地rsu覆蓋范圍內(nèi)被選擇車(chē)輛的編號(hào)集。

52、一種車(chē)聯(lián)網(wǎng)中基于異步聯(lián)邦學(xué)習(xí)和社交感知的智能合作緩存系統(tǒng)，包括宏基站、若干rsu和若干用戶車(chē)輛，每個(gè)rsu的覆蓋范圍內(nèi)有若干用戶車(chē)輛，用戶車(chē)輛向所在覆蓋范圍的rsu發(fā)送緩存請(qǐng)求，且接收該緩存請(qǐng)求的rsu為本地rsu，其余rsu為附近rsu；所述車(chē)聯(lián)網(wǎng)中基于異步聯(lián)邦學(xué)習(xí)和社交感知的智能合作緩存系統(tǒng)用于實(shí)現(xiàn)上述任一所述的車(chē)聯(lián)網(wǎng)中基于異步聯(lián)邦學(xué)習(xí)和社交感知的智能合作緩存策略。

53、與現(xiàn)有技術(shù)相比，本發(fā)明的顯著優(yōu)點(diǎn)包括：

54、1、通過(guò)考慮車(chē)輛的位置和速度等移動(dòng)特性，提出了一種異步聯(lián)邦學(xué)習(xí)算法來(lái)提高全局模型的精度。

55、2、使用dqn強(qiáng)化學(xué)習(xí)算法來(lái)學(xué)習(xí)每個(gè)邊緣設(shè)備中車(chē)輛用戶的請(qǐng)求內(nèi)容數(shù)據(jù)，dqn可以做出最優(yōu)的緩存決策，降低車(chē)輛平均請(qǐng)求時(shí)延和提高每個(gè)邊緣設(shè)備的緩存性能。

56、3、利用車(chē)輛用戶的社交網(wǎng)絡(luò)獲取不同區(qū)域的車(chē)輛接觸率，并根據(jù)內(nèi)容請(qǐng)求的變化動(dòng)態(tài)感知內(nèi)容的受歡迎程度。同時(shí)，利用機(jī)會(huì)性的v2v通信，以及由車(chē)輛社交網(wǎng)絡(luò)概念形成的數(shù)據(jù)共享，集成了多種車(chē)載通信方式，顯著提高了緩存利用率。

57、4、本發(fā)明提出的基于異步聯(lián)邦和深度強(qiáng)化學(xué)習(xí)的協(xié)作緩存策略(afdqn)充分利用路面閑置資源，極大的提高邊緣緩存性能，降低車(chē)輛平均請(qǐng)求時(shí)延。且實(shí)驗(yàn)結(jié)果表明，afdqn在高度動(dòng)態(tài)的車(chē)輛網(wǎng)絡(luò)環(huán)境中其緩存命中率和車(chē)輛平均請(qǐng)求時(shí)延優(yōu)于其他基線緩存方案。