一種基于q學(xué)習(xí)的車載網(wǎng)mac協(xié)議的實(shí)現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及車載自組織網(wǎng)絡(luò)通信協(xié)議中基于Q學(xué)習(xí)的車載網(wǎng)MAC協(xié)議的實(shí)現(xiàn)方 法，屬于物聯(lián)網(wǎng)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 近年來(lái)，隨著交通運(yùn)輸行業(yè)的迅速發(fā)展，汽車數(shù)量急劇增加。遍布廣泛的汽車為 人們?nèi)粘３鲂袔?lái)方便的同時(shí)，也出現(xiàn)了安全和交通擁堵等各種問(wèn)題。上個(gè)世紀(jì)80年代， 美國(guó)加利福尼亞大學(xué)首次提出了智能交通系統(tǒng)（ITS)的概念，用以提高交通運(yùn)輸效率、緩 解交通擁塞、減少交通事故。智能交通系統(tǒng)和無(wú)線通信技術(shù)高速發(fā)展的今天，車聯(lián)網(wǎng)應(yīng)運(yùn) 而生，它是繼互聯(lián)網(wǎng)、物聯(lián)網(wǎng)之后的另一個(gè)未來(lái)智慧城市的標(biāo)志。車聯(lián)網(wǎng)中，道路車輛和路 邊基礎(chǔ)設(shè)施都安裝有短程無(wú)線收發(fā)器，具有無(wú)線通信功能，所以可形成一個(gè)無(wú)線網(wǎng)絡(luò)，即車 載自組織網(wǎng)（即VANET)，VANET是移動(dòng)自組織網(wǎng)的子類，沒(méi)有固定的拓?fù)浣Y(jié)構(gòu)，車輛可通過(guò) V2V(即車與車）通信或V2I(即車與路邊基礎(chǔ)設(shè)施）通信獲取信息和服務(wù)。VANET通過(guò)車一 車通信和車一路通信實(shí)現(xiàn)人一車一路的協(xié)同，有效改善了交通安全，提高了交通效率，為用 戶提供娛樂(lè)和Internet接入服務(wù)等。
[0003] IEEE802. 1lp是由IEEE802. 11標(biāo)準(zhǔn)擴(kuò)充的主要用于車載通信的通信協(xié)議。 IEEE802.lip針對(duì)車載環(huán)境對(duì)IEEE802. 11的物理層和MAC層的相關(guān)參數(shù)做了些許調(diào)整， 因而能更適用于車載環(huán)境中的無(wú)線通信。IEEE802.lip是WAVE(WirelessAccessinthe VehicularEnvironment)協(xié)議棧的底層協(xié)議，已廣泛應(yīng)用于V2V通信。在任一網(wǎng)絡(luò)環(huán)境中， 通信協(xié)議棧的重要因素之一就是MAC層，IEEE802.lipMAC協(xié)議主要解決的是車輛對(duì)信道 接入的競(jìng)爭(zhēng)問(wèn)題，它決定了某一時(shí)刻允許哪一節(jié)點(diǎn)接入無(wú)線信道。由于節(jié)點(diǎn)的高速移動(dòng)性、 通信環(huán)境的快速變化性及節(jié)點(diǎn)密度和節(jié)點(diǎn)分布的多變性等，對(duì)VANETs共享無(wú)線信道的接 入控制極具挑戰(zhàn)性。因此，設(shè)計(jì)高可靠性的MAC協(xié)議對(duì)VANETs尤為重要。為VANET環(huán)境設(shè) 計(jì)MAC協(xié)議所面臨的挑戰(zhàn)主要有：在車輛位置和信道特征不斷變化的VANET中，實(shí)現(xiàn)既高效 又公平的信道接入；對(duì)不同密度的交通流具有可擴(kuò)展性；能滿足各種不同的應(yīng)用需求。
[0004] 現(xiàn)有技術(shù)中有一種退避算法一一基于鄰居節(jié)點(diǎn)數(shù)估計(jì)的最小競(jìng)爭(zhēng)窗口調(diào)整算法， 該算法改變了CW的調(diào)整規(guī)則，并根據(jù)網(wǎng)絡(luò)信道的使用情況動(dòng)態(tài)地調(diào)整CW_，通過(guò)估計(jì)車載 網(wǎng)中的競(jìng)爭(zhēng)節(jié)點(diǎn)數(shù)來(lái)動(dòng)態(tài)地選擇合適的CW_，若數(shù)據(jù)傳輸成功，則根據(jù)競(jìng)爭(zhēng)節(jié)點(diǎn)數(shù)來(lái)確定 CW_;若失敗，則通過(guò)估計(jì)車輛密度來(lái)控制競(jìng)爭(zhēng)窗口的增加，還推導(dǎo)出最大退避階數(shù)、信道 由于碰撞被檢測(cè)為繁忙的平均時(shí)間和競(jìng)爭(zhēng)節(jié)點(diǎn)數(shù)這三個(gè)參數(shù)與最優(yōu)CW_的函數(shù)關(guān)系，節(jié)點(diǎn) 成功發(fā)送數(shù)據(jù)后，根據(jù)函數(shù)計(jì)算出適應(yīng)車載網(wǎng)絡(luò)狀況的最優(yōu)的〇1_值。利用文中提出的算 法在數(shù)據(jù)包重傳之后選擇合理的CW，縮短了競(jìng)爭(zhēng)節(jié)點(diǎn)等待重傳的時(shí)間，使網(wǎng)絡(luò)吞吐量增加。 現(xiàn)有技術(shù)中有基于統(tǒng)計(jì)次數(shù)的退避算法newBEB和基于相對(duì)距離的退避算法RBA。在newBEB 算法中設(shè)定了一個(gè)門限值，即發(fā)送節(jié)點(diǎn)傳輸成功和傳輸失敗的最大次數(shù)。當(dāng)節(jié)點(diǎn)連續(xù)發(fā)送 成功的次數(shù)超過(guò)傳輸成功的最大次數(shù)時(shí)，就增加競(jìng)爭(zhēng)窗口值，降低其競(jìng)爭(zhēng)信道的能力，而當(dāng) 節(jié)點(diǎn)連續(xù)發(fā)送失敗的次數(shù)超過(guò)傳輸失敗的最大次數(shù)時(shí)，就減少競(jìng)爭(zhēng)窗口值，增強(qiáng)其競(jìng)爭(zhēng)信 道的能力。通過(guò)仿真對(duì)比分析，newBEB算法有效提高了節(jié)點(diǎn)接入信道的公平性。RBA算法 中，每個(gè)節(jié)點(diǎn)根據(jù)自己與鄰居節(jié)點(diǎn)距離的平均值動(dòng)態(tài)地調(diào)整競(jìng)爭(zhēng)窗口的大小，仿真結(jié)果表 明RBA算法提高了節(jié)點(diǎn)接入信道的公平性，降低了丟包率，在一定程度上提高了網(wǎng)絡(luò)吞吐 量?，F(xiàn)有技術(shù)中提出一種CW的控制方法--DBM-ACW方法（基于密度調(diào)整CW的方法），該 方法根據(jù)網(wǎng)絡(luò)中的交通密度選擇CW值，通過(guò)數(shù)據(jù)包的傳輸狀態(tài)來(lái)估測(cè)信道條件，并將估測(cè) 結(jié)果存儲(chǔ)在CS(信道狀態(tài)）矢量中。DBM-ACW中，每發(fā)生一次丟幀、碰撞或計(jì)數(shù)器超時(shí)，CW 值就擴(kuò)大一倍；更新CS狀態(tài)前，CS數(shù)組中包含兩個(gè)連續(xù)的1，則CW乘以A，若為兩個(gè)連續(xù)的 0,則乘以B;除此之外，每接收一次ACK幀，CW值就重設(shè)為CW_。根據(jù)信道擁塞的嚴(yán)重程度， CW值的倍乘系數(shù)范圍為0. 2到2,或重設(shè)為CW_。信道十分擁塞時(shí)，CW值的倍乘系數(shù)選擇 上限值，可減少節(jié)點(diǎn)選擇相同退避數(shù)的概率；當(dāng)信道密度降低時(shí)，CW值的倍乘系數(shù)選擇下 限值或重設(shè)為CW_，避免節(jié)點(diǎn)在信道占用率較低時(shí)等待較長(zhǎng)的時(shí)間接入信道。經(jīng)仿真對(duì)比 分析，其整體性能優(yōu)于其他協(xié)議，尤其是網(wǎng)絡(luò)密度較大時(shí)，性能優(yōu)勢(shì)尤為突出?，F(xiàn)有技術(shù)中 提出一種基于距離動(dòng)態(tài)調(diào)整CW值的方法，適用于在網(wǎng)絡(luò)負(fù)載較重的車載自組織網(wǎng)中廣播 實(shí)時(shí)性緊急消息。文中推導(dǎo)出某節(jié)點(diǎn)和前一節(jié)點(diǎn)之間的距離d和動(dòng)態(tài)競(jìng)爭(zhēng)窗口CWd之間的 關(guān)系，利用這一關(guān)系式為不斷移動(dòng)的車輛節(jié)點(diǎn)動(dòng)態(tài)地分配不同的CW值，可減少由于碰撞需 要重傳數(shù)據(jù)包的次數(shù)，此外，還能降低數(shù)據(jù)包碰撞概率、端到端時(shí)延及網(wǎng)絡(luò)負(fù)載等，最終使 帶寬得到有效利用。仿真結(jié)果表明，此方法在高速公路交通流中就吞吐量、端到端時(shí)延和網(wǎng) 絡(luò)負(fù)載而言，網(wǎng)絡(luò)性能得到有效改善。
[0005] 但是上述現(xiàn)有技術(shù)都是在BEB算法的基礎(chǔ)上進(jìn)行了改進(jìn)，總的來(lái)說(shuō)，數(shù)據(jù)發(fā)生碰 撞要退避時(shí)還是倍乘CW值，數(shù)據(jù)成功發(fā)送后CW就恢復(fù)為15,若有多個(gè)節(jié)點(diǎn)都同時(shí)成功發(fā)送 完數(shù)據(jù)，CW值都恢復(fù)為15,再次發(fā)送數(shù)據(jù)時(shí)又發(fā)生碰撞。網(wǎng)絡(luò)負(fù)載情況考慮較少，不適用于 不同負(fù)載程度的網(wǎng)絡(luò)，即對(duì)不同密度的交通流不具可擴(kuò)展性，且信道接入公平性也沒(méi)有得 到有效改善。而本發(fā)明能夠很好地解決上面的問(wèn)題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對(duì)上述現(xiàn)有技術(shù)存在的一些問(wèn)題，提出了一種基于Q學(xué)習(xí)的車載網(wǎng)MAC 協(xié)議的實(shí)現(xiàn)方法，該方法是基于Q學(xué)習(xí)的IEEE802.lipMAC層數(shù)據(jù)傳輸方法--QL-MAC算 法，它完全不同于以往傳統(tǒng)的BEB算法，而是利用Q學(xué)習(xí)算法，使節(jié)點(diǎn)（Agent)不斷地與周 圍環(huán)境交互學(xué)習(xí)。車輛節(jié)點(diǎn)在VANETs環(huán)境中不斷地反復(fù)試錯(cuò)，根據(jù)從周圍環(huán)境中獲得的反 饋信號(hào)（即獎(jiǎng)賞值），動(dòng)態(tài)地調(diào)整競(jìng)爭(zhēng)窗口（CW)，使節(jié)點(diǎn)總能以最佳的CW(即從周圍環(huán)境中 獲得獎(jiǎng)賞值最大時(shí)所選的CW值）接入信道，以減少數(shù)據(jù)幀碰撞率和傳輸時(shí)延，提高節(jié)點(diǎn)接 入信道的公平性。
[0007]本發(fā)明解決其技術(shù)問(wèn)題所采取的技術(shù)方案是：基于Q學(xué)習(xí)的車載網(wǎng)MAC協(xié)議的實(shí) 現(xiàn)方法，該方法包括如下步驟：
[0008] 步驟1:在VANETs環(huán)境中，當(dāng)前車輛節(jié)點(diǎn)有消息要發(fā)送時(shí)，將其競(jìng)爭(zhēng)窗口初始化為 CWmin后發(fā)送數(shù)據(jù)；
[0009] 步驟2:判斷數(shù)據(jù)是否成功發(fā)送；
[0010] 步驟3 :若接收節(jié)點(diǎn)成功接收到消息，發(fā)送節(jié)點(diǎn)則獲得一個(gè)正的獎(jiǎng)賞值并更新其Q表，然后判斷是否還有數(shù)據(jù)需要發(fā)送；
[0011] 步驟4 :若沒(méi)有數(shù)據(jù)需要發(fā)送，則流程結(jié)束；
[0012] 步驟5 :若還有消息需要發(fā)送，則減小當(dāng)前競(jìng)爭(zhēng)窗口（即競(jìng)爭(zhēng)窗口為15時(shí)不再減 ?。?，繼續(xù)發(fā)送消息，返回執(zhí)行步驟2 ;
[0013] 步驟6:若接收節(jié)點(diǎn)沒(méi)有成功接收到消息，發(fā)送節(jié)點(diǎn)獲得一個(gè)負(fù)的獎(jiǎng)賞值并更新 其Q表，然后增加當(dāng)前競(jìng)爭(zhēng)窗口（即競(jìng)爭(zhēng)窗口為1023時(shí)不再增加）再次發(fā)送數(shù)據(jù)，返回執(zhí) 行步驟2。
[0014] 進(jìn)一步的，本發(fā)明所述VANETs環(huán)境中，車輛節(jié)點(diǎn)利用Q學(xué)習(xí)算法在周圍環(huán)境中通 過(guò)反復(fù)試錯(cuò)與環(huán)境不斷交互學(xué)習(xí)，根據(jù)VANETs環(huán)境給予的反饋信號(hào)，在節(jié)點(diǎn)退避過(guò)程中動(dòng) 態(tài)地調(diào)整競(jìng)爭(zhēng)窗口（即CW)，使節(jié)點(diǎn)總能以最佳的CW(即從周圍環(huán)境中獲得的獎(jiǎng)賞值最大時(shí) 所選的CW值）接入信道。
[0015] 有益效果：
[0016] 1、本發(fā)明的車輛節(jié)點(diǎn)利用Q學(xué)習(xí)算法與周圍環(huán)境不斷交互，根據(jù)網(wǎng)絡(luò)環(huán)境反饋的 獎(jiǎng)賞信號(hào)，動(dòng)態(tài)地調(diào)整競(jìng)爭(zhēng)窗口，使節(jié)點(diǎn)下次發(fā)送數(shù)據(jù)時(shí)總能以最佳的CW值接入信道，提 高了數(shù)據(jù)成功發(fā)送的概率，減少了退避次數(shù)，數(shù)據(jù)包接收率及端到端傳輸時(shí)延問(wèn)題等都得 到有效改善。
[0017] 2、采用本發(fā)明提出的QL-MAC算法的通信節(jié)點(diǎn)能快速適應(yīng)未知環(huán)境，數(shù)據(jù)包接收 率和數(shù)據(jù)包傳輸時(shí)延都得到有效改善，更重要的是QL-MAC算法能為節(jié)點(diǎn)接入信道提供更 高的公平性，適用于各種不同負(fù)載程度的網(wǎng)絡(luò)環(huán)境。
[0018] 3、本發(fā)明減少了數(shù)據(jù)幀碰撞率和傳輸時(shí)延，提高了節(jié)點(diǎn)接入信道的公平性。
【附圖說(shuō)明】
[0019] 圖1為本發(fā)明的Q學(xué)習(xí)狀態(tài)轉(zhuǎn)移圖。
[0020] 圖2為本發(fā)明的方法流程圖。
【具體實(shí)施方式】
[0021] 下面結(jié)合說(shuō)明書附圖對(duì)本發(fā)明創(chuàng)造作進(jìn)一步的詳細(xì)說(shuō)明。
[0022] QL-MAC算法包括如下內(nèi)容：
[0023] QL-MAC方法通過(guò)動(dòng)態(tài)調(diào)整競(jìng)爭(zhēng)窗口來(lái)解決碰撞率和時(shí)延的問(wèn)題，它利用 Q-Learning算法學(xué)習(xí)最佳的競(jìng)爭(zhēng)窗口，由于鄰近節(jié)點(diǎn)之間互換信標(biāo)消息可獲得鄰居節(jié)點(diǎn)的 位置信息，所以假設(shè)每個(gè)節(jié)點(diǎn)已知其一跳鄰居節(jié)點(diǎn)的位置信息，在節(jié)點(diǎn)成功發(fā)送