專利名稱：一種無線自組織網(wǎng)絡(luò)表驅(qū)動跨層路由學(xué)習(xí)方法
技術(shù)領(lǐng)域：
本發(fā)明是一種提高無線自組織網(wǎng)絡(luò)表驅(qū)動路由協(xié)議在線學(xué)習(xí)能力的算法，屬于無線通信和信息傳播技術(shù)領(lǐng)域。
背景技術(shù)：
Ad Hoc無線自組織網(wǎng)絡(luò)是一種沒有基礎(chǔ)網(wǎng)絡(luò)設(shè)施的移動網(wǎng)絡(luò)，可以在任何時(shí)間任何地點(diǎn)快速構(gòu)建。在這種網(wǎng)絡(luò)中，路由技術(shù)對整個(gè)網(wǎng)絡(luò)系統(tǒng)的性能具有決定性作用。由于Ad hoc網(wǎng)絡(luò)面臨比較復(fù)雜的無線環(huán)境，其路由協(xié)議的研究一直是業(yè)界的重點(diǎn)。
表驅(qū)動路由算法是Ad hoc路由協(xié)議的重要組成部分。在實(shí)時(shí)性要求較高的應(yīng)用場合，一般選用表驅(qū)動路由協(xié)議。在典型的表驅(qū)動路由協(xié)議(如0LSR)中，每個(gè)節(jié)點(diǎn)實(shí)時(shí)掌握全網(wǎng)的拓?fù)湫畔⒉⒁罁?jù)這些信息計(jì)算路由表。計(jì)算路由表時(shí)，一般依據(jù)到達(dá)目標(biāo)節(jié)點(diǎn)的距離，選擇最短的下一跳作為中繼，距離可以指跳數(shù)、延時(shí)、鏈路狀態(tài)等一些性能指標(biāo)。每個(gè)節(jié)點(diǎn)通過定期廣播Hello分組和拓?fù)淇刂品纸M將拓?fù)渥兓嬷W(wǎng)。Hello機(jī)制負(fù)責(zé)鏈路檢測和鄰居發(fā)現(xiàn)任務(wù)，拓?fù)淇刂品纸M的處理機(jī)制負(fù)責(zé)建立和維護(hù)全網(wǎng)拓?fù)湫畔⒈?。在表?qū)動路由協(xié)議中，路由選擇沒有考慮MAC層和物理層信息，不能適應(yīng)網(wǎng)絡(luò)的動態(tài)變化情況，也不能依據(jù)網(wǎng)絡(luò)擁塞信息和信道情況合理選擇下一跳節(jié)點(diǎn)。在動態(tài)變化的網(wǎng)絡(luò)環(huán)境中，網(wǎng)絡(luò)鏈路可能隨時(shí)中斷，此類協(xié)議沒有有效解決鏈路修復(fù)時(shí)間過長的問題，從而導(dǎo)致丟包率大，網(wǎng)絡(luò)吞吐量不高等問題。另外，在某些情況下，跳數(shù)最短的路徑并不一定是最優(yōu)路徑，最優(yōu)路徑一般受網(wǎng)絡(luò)擁塞和鏈路質(zhì)量等多種因素的影響。由此可見，當(dāng)前典型的表驅(qū)動路由協(xié)議缺乏對環(huán)境的在線學(xué)習(xí)能力，使得此類路由算法的應(yīng)用受到很大限制。強(qiáng)化學(xué)習(xí)算法通過感知環(huán)境狀態(tài)和從環(huán)境中獲得不確定的信息來學(xué)習(xí)動態(tài)系統(tǒng)的最優(yōu)策略。環(huán)境僅對某一動作的好壞做出評價(jià)，并不告知如何產(chǎn)生最優(yōu)動作。由于強(qiáng)化學(xué)習(xí)技術(shù)具有較好的自適應(yīng)性，已經(jīng)在無線自組織網(wǎng)絡(luò)路由領(lǐng)域得到關(guān)注。如Brian Russel在 learning-based route management in wireless ad hoc networks 中，基于強(qiáng)化學(xué)習(xí)技術(shù)，提出了一種針對反應(yīng)式路由的Warp-5自適應(yīng)無線網(wǎng)絡(luò)協(xié)議；張彬彬在基于強(qiáng)化學(xué)習(xí)的adhoc網(wǎng)絡(luò)QOS路由算法研究中，基于強(qiáng)化學(xué)習(xí)技術(shù)，針對反應(yīng)式路由設(shè)計(jì)了具有學(xué)習(xí)能力的路由算法。針對當(dāng)前表驅(qū)動路由協(xié)議缺乏對環(huán)境的學(xué)習(xí)適應(yīng)能力問題，本發(fā)明提出一種無線自組織網(wǎng)絡(luò)表驅(qū)動跨層路由學(xué)習(xí)方法。該方法基于表格型迭代學(xué)習(xí)算法，通過將Mac層、物理層的信息反饋到行為動作參考值值中，以提高協(xié)議對網(wǎng)絡(luò)環(huán)境的適應(yīng)能力，有效降低數(shù)據(jù)包的傳輸延時(shí)和丟包率。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決Ad Hoc網(wǎng)絡(luò)表驅(qū)動路由協(xié)議缺乏學(xué)習(xí)能力的問題，以有效提高網(wǎng)絡(luò)傳輸性能。該方法利用跨層信息通過迭代學(xué)習(xí)算法降低Ad Hoc網(wǎng)絡(luò)傳輸端到端時(shí)延，并提高通信協(xié)議對網(wǎng)絡(luò)環(huán)境的自適應(yīng)能力，在網(wǎng)絡(luò)環(huán)境惡化時(shí)自適應(yīng)選擇合適的下一跳中繼節(jié)點(diǎn)。本發(fā)明涉及到的Ad Hoc網(wǎng)絡(luò)節(jié)點(diǎn)采用TCP/IP協(xié)議模型，即層次結(jié)構(gòu)分成五層應(yīng)用層、傳輸層、網(wǎng)絡(luò)層、數(shù)據(jù)鏈路層、物理層。假設(shè)網(wǎng)絡(luò)層的IP協(xié)議采用某種表驅(qū)動路由協(xié)議，如OLSR，DSDV協(xié)議等，且表驅(qū)動路由協(xié)議定期廣播拓?fù)湫畔ⅲ⒁罁?jù)接收到的信息實(shí)時(shí)建立或更新全網(wǎng)拓?fù)湫畔?。本發(fā)明的表驅(qū)動跨層路由學(xué)習(xí)方法需要完成跨層信息提取，并基于跨層信息構(gòu)建迭代學(xué)習(xí)模型。表驅(qū)動跨層路由學(xué)習(xí)所傳輸?shù)臄?shù)據(jù)包處理流程如圖I示，源節(jié)點(diǎn)的應(yīng)用層產(chǎn)生的用戶數(shù)據(jù)包被傳遞到網(wǎng)絡(luò)層后，網(wǎng)絡(luò)層根據(jù)其要到達(dá)的目標(biāo)地址，依據(jù)一定的策略選出下一跳中繼節(jié)點(diǎn)，同時(shí)對數(shù)據(jù)包進(jìn)行處理后向下傳遞給鏈路層。當(dāng)該數(shù)據(jù)包到達(dá)鏈路層的MAC子層時(shí)，MAC子層完成該數(shù)據(jù)包的傳輸，并將該數(shù)據(jù)包的重傳次數(shù)反饋到網(wǎng)絡(luò)層，從而實(shí)現(xiàn)跨層信息的提取。當(dāng)任意節(jié)點(diǎn)的MAC層收到來自底層的數(shù)據(jù)包時(shí)，如果此數(shù)據(jù)包需要上傳給網(wǎng)絡(luò)層，則將此數(shù)據(jù)包上傳，并把本節(jié)點(diǎn)接收此數(shù)據(jù)包時(shí)的跨層信息上傳給網(wǎng)絡(luò)層，跨層信息包括信噪比、MAC層緩存隊(duì)列長度、丟包率等信息。網(wǎng)絡(luò)層將數(shù)據(jù)包從其上一 跳到本節(jié)點(diǎn)之間的傳輸延時(shí)作為回報(bào)值，并將其和MAC層上傳的跨層信息處理并保存。一定時(shí)間間隔后，該節(jié)點(diǎn)網(wǎng)絡(luò)層將這些信息廣播給鄰居節(jié)點(diǎn)的網(wǎng)絡(luò)層，鄰居節(jié)點(diǎn)網(wǎng)絡(luò)層收到這些信息后依據(jù)迭代模型進(jìn)行迭代學(xué)習(xí)，為下一次選擇中繼節(jié)點(diǎn)提供決策依據(jù)。當(dāng)數(shù)據(jù)包轉(zhuǎn)發(fā)到其它中繼節(jié)點(diǎn)時(shí)，其它中繼節(jié)點(diǎn)也按這種方式進(jìn)行同樣的處理，直到數(shù)據(jù)包到達(dá)目標(biāo)節(jié)點(diǎn)。當(dāng)路由拓?fù)湫畔l(fā)生變化時(shí)，例如增加或失去拓?fù)滏溌窌r(shí)，需要對迭代學(xué)習(xí)模型中的狀態(tài)進(jìn)行更新，以保證迭代學(xué)習(xí)模型進(jìn)行正確決策。一、跨層信息提取節(jié)點(diǎn)網(wǎng)絡(luò)層向下傳遞數(shù)據(jù)包時(shí)可以在IP數(shù)據(jù)包首部選中一個(gè)標(biāo)識位RF，用以指示是否要將該數(shù)據(jù)包的重傳次數(shù)返回給網(wǎng)絡(luò)層。MAC層收到來自本節(jié)點(diǎn)網(wǎng)絡(luò)層傳遞的數(shù)據(jù)包時(shí)，對該數(shù)據(jù)包的RF標(biāo)識位進(jìn)行判斷，如果網(wǎng)絡(luò)層要求MAC層反饋該數(shù)據(jù)包的重傳次數(shù)，則MAC層完成該數(shù)據(jù)包傳輸后，向網(wǎng)絡(luò)層上傳該數(shù)據(jù)包的重傳次數(shù)retry，網(wǎng)絡(luò)層使用該信息更新轉(zhuǎn)發(fā)該數(shù)據(jù)包的中繼節(jié)點(diǎn)擁塞度信息。如果MAC層收到來自物理層的數(shù)據(jù)包需要傳輸給網(wǎng)絡(luò)層時(shí)，MAC層將同時(shí)向網(wǎng)絡(luò)層傳遞該數(shù)據(jù)包和接收該數(shù)據(jù)包時(shí)的跨層信息，網(wǎng)絡(luò)層使用這些信息更新迭代算法的收斂因子。二、迭代學(xué)習(xí)模型圖2例示了多條路由的路由模型。在表驅(qū)動路由協(xié)議中，因?yàn)槊總€(gè)節(jié)點(diǎn)都掌握了全網(wǎng)的拓?fù)湫畔ⅲ钥偪梢酝ㄟ^圖論的相關(guān)算法找出到達(dá)目標(biāo)節(jié)點(diǎn)的路徑。如果節(jié)點(diǎn)數(shù)目足夠多，則可以建立多條到達(dá)目標(biāo)節(jié)點(diǎn)的路由。對于某些節(jié)點(diǎn)，到達(dá)目標(biāo)節(jié)點(diǎn)的中繼節(jié)點(diǎn)可能有多個(gè)。如圖2所示,節(jié)點(diǎn)nn可以經(jīng)過節(jié)點(diǎn)n21和節(jié)點(diǎn)n22到達(dá)目標(biāo)節(jié)點(diǎn)d。本發(fā)明把可能的下一跳中繼節(jié)點(diǎn)稱之為狀態(tài)s，把動作或行為a定義為選擇下一跳中繼節(jié)點(diǎn)并轉(zhuǎn)發(fā)相應(yīng)的數(shù)據(jù)包。動作的目的是最大程度的降低從源節(jié)點(diǎn)到達(dá)目標(biāo)節(jié)點(diǎn)的傳輸時(shí)延和丟包率，為此，給每個(gè)動作定義一個(gè)狀態(tài)行為值函數(shù)Q。節(jié)點(diǎn)網(wǎng)絡(luò)層執(zhí)行動作a后將從中繼節(jié)點(diǎn)收到一個(gè)回報(bào)值，節(jié)點(diǎn)同時(shí)利用該回報(bào)值按一定策略更新Q值。該Q值反映了選擇某一個(gè)動作的累積回報(bào)，每次選擇動作時(shí)總選擇最優(yōu)Q值的動作，以期獲得最優(yōu)的回報(bào)。迭代學(xué)習(xí)模型包括迭代學(xué)習(xí)過程和狀態(tài)更新。2. I迭代模型用到的表結(jié)構(gòu)
在實(shí)現(xiàn)本發(fā)明方法中，需要構(gòu)建如下幾種類型的表結(jié)構(gòu)(I)狀態(tài)Q值表每個(gè)節(jié)點(diǎn)均要維護(hù)若干個(gè)狀態(tài)Q值表，每個(gè)狀態(tài)Q值表對應(yīng)一個(gè)目標(biāo)節(jié)點(diǎn)。每個(gè)狀態(tài)Q值表包含若干表項(xiàng)，每個(gè)表項(xiàng)對應(yīng)一個(gè)鄰居節(jié)點(diǎn)。每個(gè)表項(xiàng)至少含兩個(gè)字段，一個(gè)字段為某個(gè)鄰居節(jié)點(diǎn)的IP地址，另外一個(gè)字段為對應(yīng)的Q值。狀態(tài)Q值表在路由信息發(fā)生變化時(shí)被更新。(2) QTable 表為了便于管理狀態(tài)Q值表，每個(gè)節(jié)點(diǎn)尋路之前構(gòu)建一個(gè)QTable表。該QTable表保存了所有本節(jié)點(diǎn)正在通信的目標(biāo)節(jié)點(diǎn)的狀態(tài)Q值表。每個(gè)QTable表項(xiàng)包含兩個(gè)字段，即目標(biāo)IP地址和到達(dá)該IP地址的狀態(tài)Q值表。如果某個(gè)狀態(tài)Q值表在一定時(shí)間內(nèi)沒有被訪問或更新，則刪除QTable表對應(yīng)的表項(xiàng)。 (3)鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表如圖2所示，源節(jié)點(diǎn)S可能有很多一跳鄰居節(jié)點(diǎn)，通過這些鄰居節(jié)點(diǎn)可以到達(dá)其它節(jié)點(diǎn)。鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表保存了所有通過某一個(gè)鄰居節(jié)點(diǎn)可到達(dá)的所有節(jié)點(diǎn)。每個(gè)表項(xiàng)由可達(dá)節(jié)點(diǎn)IP地址和本節(jié)點(diǎn)經(jīng)該鄰居節(jié)點(diǎn)到達(dá)該可達(dá)節(jié)點(diǎn)的最小跳數(shù)組成。此最小跳數(shù)，可通過求解最短路徑的算法獲得，如Floyd、Dijkstra算法等。一個(gè)節(jié)點(diǎn)可能有多個(gè)鄰居節(jié)點(diǎn)，因此會建立多張鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表。鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表只有在更新狀態(tài)Q值表的狀態(tài)時(shí)才建立。(4)回報(bào)信息表在迭代模型中，每個(gè)上一跳節(jié)點(diǎn)經(jīng)過本節(jié)點(diǎn)轉(zhuǎn)發(fā)數(shù)據(jù)包時(shí)，本節(jié)點(diǎn)根據(jù)上一節(jié)點(diǎn)的要求給出一個(gè)延時(shí)回報(bào)。另外，本節(jié)點(diǎn)利用接收數(shù)據(jù)包時(shí)的一些信息，如信噪比、MAC層緩存隊(duì)列、丟包率等，更新累積折扣因子?；貓?bào)信息表中的每個(gè)表項(xiàng)結(jié)構(gòu)體如下所示IPAddress dst ；// 目標(biāo)節(jié)點(diǎn)的 IP 地址IPAddress src ；//本節(jié)點(diǎn)的上一跳節(jié)點(diǎn)IP地址float qValue ;//本節(jié)點(diǎn)到達(dá)目標(biāo)的最小Q值float reWard ;//本節(jié)點(diǎn)所給出的累積折扣回報(bào)float alpha ;//本節(jié)點(diǎn)給出的累積折扣因子為了減少控制分組的數(shù)量，對回報(bào)值采用了折扣累積的處理辦法。經(jīng)過一定時(shí)間的累積后，把回報(bào)信息表中的所有回報(bào)信息表項(xiàng)經(jīng)過廣播形式廣播給鄰居節(jié)點(diǎn)。鄰居節(jié)點(diǎn)收到回報(bào)信息表后，查看是否有給予本節(jié)點(diǎn)的回報(bào)值，如果有則更新對應(yīng)目標(biāo)節(jié)點(diǎn)的狀態(tài)Q值表。因?yàn)槎鄶?shù)表驅(qū)動協(xié)議都有定時(shí)向鄰居廣播HELLO信息的功能，因此減少控制分組的一個(gè)方法是將該信息封裝在ffiLLO分組內(nèi)。2. 2迭代學(xué)習(xí)過程當(dāng)網(wǎng)絡(luò)層收到上層數(shù)據(jù)包時(shí)，獲取目標(biāo)節(jié)點(diǎn)地址后，查詢本節(jié)點(diǎn)的Q-Table表。如果查詢結(jié)果為空，則建立到達(dá)該目標(biāo)節(jié)點(diǎn)的狀態(tài)Q值表項(xiàng)，并加入到Q-Table表中，否則按如下學(xué)習(xí)算法過程進(jìn)行迭代Step I :用能到達(dá)目標(biāo)節(jié)點(diǎn)的所有鄰居節(jié)點(diǎn)對狀態(tài)Q值表進(jìn)行初始化，同時(shí)初始化狀態(tài)行為值函數(shù)Qtl (s’，a)和學(xué)習(xí)因子a ^，令Qtl (s，a) = HXT，= 0. 5，其中H表示經(jīng)過s到目標(biāo)節(jié)點(diǎn)的最小跳數(shù)，T表示整個(gè)網(wǎng)絡(luò)相鄰兩個(gè)節(jié)點(diǎn)間的平均傳輸時(shí)間；
Step 2 :對數(shù)據(jù)包當(dāng)前所在節(jié)點(diǎn)Sh,根據(jù)某種策略n Q，如貪心行為選擇策略，選擇h時(shí)刻的行為ah。在選擇動作時(shí)，遍歷狀態(tài)Q值表，首先確定到達(dá)目的節(jié)點(diǎn)的最小跳數(shù)，如果能找到與該最小跳數(shù)相同且從未被選為中繼的節(jié)點(diǎn)，則從這種節(jié)點(diǎn)中選擇一個(gè)作為下一跳路由；如果沒 有找到這樣的節(jié)點(diǎn)，則選擇Q值最小的那個(gè)節(jié)點(diǎn)作為中繼節(jié)點(diǎn)。選擇中繼節(jié)點(diǎn)后，數(shù)據(jù)包被傳遞到MAC層。Step 3 :MAC層收到上層傳遞的數(shù)據(jù)包時(shí)，向中繼節(jié)點(diǎn)轉(zhuǎn)發(fā)該數(shù)據(jù)包。如果上層需要MAC層返回重傳次數(shù)，則MAC層在轉(zhuǎn)發(fā)該數(shù)據(jù)包后向網(wǎng)絡(luò)層上傳其重傳次數(shù)retry。Step 4 :網(wǎng)絡(luò)層從MAC層得到數(shù)據(jù)包重傳次數(shù)retry后,使用C= (1_Y)*C+Y*1/retry來更新到對應(yīng)中繼節(jié)點(diǎn)的擁塞度，其中C表示擁塞度。Y表示折扣常數(shù)，若重傳次數(shù)超過最大重傳次數(shù)，說明此時(shí)執(zhí)行ah動作時(shí)不能成功傳輸數(shù)據(jù)包，則給出一個(gè)嚴(yán)厲的懲罰
-^bad Step 5h+l時(shí)亥lj，網(wǎng)絡(luò)層根據(jù)數(shù)據(jù)包中的時(shí)間戳信息向傳遞該數(shù)據(jù)包的上一跳節(jié)點(diǎn)給出延時(shí)回報(bào)值rt，并根據(jù)a tmp = SNRX (I-Pl) / (SNRmaxXL)、a hop =(I- Y ) X a hop+ y X a tmp和Re = (I- y ) Re+ y Xrt更新計(jì)算a h所需的相關(guān)參數(shù),其中Re表示一段時(shí)間內(nèi)的累積回報(bào)。L表示數(shù)據(jù)包到達(dá)時(shí)Mac層緩存區(qū)隊(duì)列長度，SNR為接收數(shù)據(jù)包時(shí)的信噪比，Pl為MAC層丟包率，SNRmax為整個(gè)網(wǎng)絡(luò)信道的最大信噪比，ahop反映了接收當(dāng)前數(shù)據(jù)包時(shí)，相鄰節(jié)點(diǎn)間鏈路情況的優(yōu)劣，rt、a _被保存于回報(bào)信息表中；Step 6 :在某個(gè)固定周期后，本節(jié)點(diǎn)向一跳鄰居節(jié)點(diǎn)廣播本節(jié)點(diǎn)回報(bào)信息表；Step 7 :其它節(jié)點(diǎn)收到回報(bào)信息表后，按a h = (I-Qhop) XC更新回報(bào)信息表中目的節(jié)點(diǎn)的 Q 值表收斂因子，同時(shí)按 Q(sh,ah) = Q(sh, ah) + a h[Rh(sh+ah) + y Q(sh+1, ah+1)-Q(sh,ah)]更新行為狀態(tài)值函數(shù)；Step 8 :判斷數(shù)據(jù)包在h+1時(shí)刻是否到達(dá)目標(biāo)節(jié)點(diǎn)，如果不是則繼續(xù)從St印2執(zhí)行，如果是目標(biāo)節(jié)點(diǎn)，則完成本次傳輸任務(wù)。2. 3狀態(tài)更新狀態(tài)Q值表建立后，隨著網(wǎng)絡(luò)拓?fù)涞淖兓?，其中的某些狀態(tài)可能會發(fā)生變化，從而應(yīng)該對狀態(tài)Q值表進(jìn)行更新。例如由于某些節(jié)點(diǎn)的移動或者失效，則應(yīng)該將這些節(jié)點(diǎn)從狀態(tài)Q值表中刪除；或者由于其它節(jié)點(diǎn)的靠近，有可能增加到達(dá)目標(biāo)節(jié)點(diǎn)的新路由，則應(yīng)該增加狀態(tài)Q值表的表項(xiàng)。因此當(dāng)路由拓?fù)浒l(fā)生變化時(shí)，應(yīng)該對Q-Table表中的每一個(gè)狀態(tài)Q值表進(jìn)行更新。在進(jìn)行狀態(tài)更新時(shí)，首先計(jì)算所有鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表。如果狀態(tài)Q值表的目標(biāo)節(jié)點(diǎn)在某一個(gè)鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表中存在，且該鄰居節(jié)點(diǎn)不在此狀態(tài)Q值表中，則將此鄰居節(jié)點(diǎn)加入狀態(tài)Q值表；如果狀態(tài)Q值表的某個(gè)狀態(tài)已經(jīng)不是本節(jié)點(diǎn)的鄰居節(jié)點(diǎn)，則刪除此狀態(tài)。
權(quán)利要求
1.一種適用于無線自組織網(wǎng)絡(luò)的具有學(xué)習(xí)能力的表驅(qū)動跨層路由方法，其特征在于跨層信息提取，迭代學(xué)習(xí)模型構(gòu)建、狀態(tài)更新三個(gè)步驟 (a)跨層信息提取MAC層收到來自本節(jié)點(diǎn)網(wǎng)絡(luò)層傳遞的數(shù)據(jù)包時(shí)，對網(wǎng)絡(luò)層的數(shù)據(jù)包標(biāo)識位RF進(jìn)行判斷，如果網(wǎng)絡(luò)層要求MAC層反饋該數(shù)據(jù)包的重傳次數(shù)，則MAC層完成該數(shù)據(jù)包傳輸后，向網(wǎng)絡(luò)層上傳該數(shù)據(jù)包的重傳次數(shù)retry，網(wǎng)絡(luò)層使用該信息更新數(shù)據(jù)包所選擇中繼的擁塞度信息，如果MAC層收到來自物理層的數(shù)據(jù)包需要傳輸給網(wǎng)絡(luò)層時(shí)，MAC層將同時(shí)向網(wǎng)絡(luò)層傳遞該數(shù)據(jù)包和接收該數(shù)據(jù)包時(shí)的信噪比、本節(jié)點(diǎn)MAC層緩存隊(duì)列長度和丟包率等信息，網(wǎng)絡(luò)層使用這些信息更新迭代算法的收斂因子； (b)迭代學(xué)習(xí)模型構(gòu)建當(dāng)有數(shù)據(jù)包傳輸時(shí)，若目標(biāo)節(jié)點(diǎn)是鄰居節(jié)點(diǎn)，則直接發(fā)送數(shù)據(jù)包，否則開始構(gòu)建迭代學(xué)習(xí)模型，迭代學(xué)習(xí)模型在網(wǎng)絡(luò)層通過狀態(tài)行為值函數(shù)Q(s，a)實(shí)現(xiàn)，狀態(tài)s屬于下一跳節(jié)點(diǎn)構(gòu)成的集合，動作或行為a指對某個(gè)中繼節(jié)點(diǎn)的選擇，狀態(tài)行為值函數(shù)反映了在當(dāng)前網(wǎng)絡(luò)狀態(tài)下，某個(gè)動作的累積回報(bào)，通過對狀態(tài)行為值函數(shù)的不斷迭代，給中繼選擇提供依據(jù)，狀態(tài)行為值函數(shù)以表格的形式保存，形成狀態(tài)Q值表，迭代學(xué)習(xí)算法的具體步驟如下 Step I :構(gòu)建迭代模型時(shí)，首先創(chuàng)建狀態(tài)Q值表并用能到達(dá)目標(biāo)節(jié)點(diǎn)的所有鄰居節(jié)點(diǎn)對其進(jìn)行初始化，同時(shí)初始化狀態(tài)行為值函數(shù)Qo(s’，a)和學(xué)習(xí)因子a C1，令Qtl(SA) =HXT,其中H表示經(jīng)過s到目標(biāo)節(jié)點(diǎn)的最小跳數(shù)，T表示整個(gè)網(wǎng)絡(luò)相鄰兩個(gè)節(jié)點(diǎn)間的平均傳輸時(shí)間； Step 2 :對數(shù)據(jù)包當(dāng)前所在節(jié)點(diǎn)Sh，根據(jù)某種策略Q選擇h時(shí)刻的行為ah，在選擇動作時(shí)，遍歷狀態(tài)Q值表，首先確定到達(dá)目的節(jié)點(diǎn)的最小跳數(shù)，如果能找到與該最小跳數(shù)相同且從未被選為中繼的節(jié)點(diǎn)，則從這種節(jié)點(diǎn)中選擇一個(gè)作為下一跳路由；如果沒有找到這樣的節(jié)點(diǎn)，則選擇Q值最小的那個(gè)節(jié)點(diǎn)作為中繼節(jié)點(diǎn)，選擇中繼節(jié)點(diǎn)后，數(shù)據(jù)包被傳遞到MAC層； Step 3 MAC層收到上層傳遞的數(shù)據(jù)包時(shí)，向中繼節(jié)點(diǎn)轉(zhuǎn)發(fā)該數(shù)據(jù)包，如果上層需要MAC層返回重傳次數(shù)，則MAC層在轉(zhuǎn)發(fā)該數(shù)據(jù)包后向網(wǎng)絡(luò)層上傳其重傳次數(shù)retry ; Step 4 :網(wǎng)絡(luò)層從MAC層得到數(shù)據(jù)包重傳次數(shù)retry后，使用C = (I- y )*C+ y *1/retry來更新到對應(yīng)中繼節(jié)點(diǎn)的擁塞度，其中C表示擁塞度，Y表示折扣常數(shù)，若重傳次數(shù)超過最大重傳次數(shù)，說明此時(shí)執(zhí)行ah動作時(shí)不能成功傳輸數(shù)據(jù)包，則給出一個(gè)嚴(yán)厲的懲罰 Step 5h+l時(shí)刻，網(wǎng)絡(luò)層根據(jù)數(shù)據(jù)包中的時(shí)間戳信息向傳遞該數(shù)據(jù)包的上一跳節(jié)點(diǎn)給出延時(shí)回報(bào)值rt，并根據(jù)a tmp = SNRX (I-PlV(SNRmaxXL)、a hop =(I- Y ) X a hop+ y X a tmp和Re = (I- y ) Re+ y Xrt更新計(jì)算a h所需的相關(guān)參數(shù),其中Re表示一段時(shí)間內(nèi)的累積回報(bào)。L表示數(shù)據(jù)包到達(dá)時(shí)Mac層緩存隊(duì)列長度，SNR為接收數(shù)據(jù)包時(shí)的信噪比，Pl為MAC層丟包率，SNRmax為整個(gè)網(wǎng)絡(luò)信道的最大信噪比，ahop反映了接收當(dāng)前數(shù)據(jù)包時(shí)，相鄰節(jié)點(diǎn)間鏈路的質(zhì)量情況，rt、a _被保存于回報(bào)信息表中； Step 6 :在某個(gè)固定周期后，本節(jié)點(diǎn)向一跳鄰居節(jié)點(diǎn)廣播本節(jié)點(diǎn)回報(bào)信息表； Step 7:其它節(jié)點(diǎn)收到回報(bào)信息表后，按Cih= (I-Citop) X C更新回報(bào)信息表中目的節(jié)點(diǎn)的 Q 值表收斂因子，同時(shí)按 Q (sh, ah) = Q(sh, ah) + a h[Rh(sh+ah) + y Q (sh+1, ah+1) -Q (sh, ah)]更新行為狀態(tài)值函數(shù)；Step 8:判斷數(shù)據(jù)包在h+1時(shí)刻是否到達(dá)目標(biāo)節(jié)點(diǎn)，如果不是則繼續(xù)從Step 2執(zhí)行，如果是目標(biāo)節(jié)點(diǎn)，則完成本次傳輸任務(wù)； (c)狀態(tài)更新狀態(tài)Q值表建立后，隨著網(wǎng)絡(luò)拓?fù)涞淖兓渲械哪承顟B(tài)可能會發(fā)生變化，從而應(yīng)該對狀態(tài)Q值表進(jìn)行更新，在進(jìn)行狀態(tài)更新時(shí)，首先計(jì)算所有鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表，該表保存了所有通過某一個(gè)鄰居節(jié)點(diǎn)可到達(dá)的所有節(jié)點(diǎn)，每個(gè)表項(xiàng)由可達(dá)節(jié)點(diǎn)IP地址和本節(jié)點(diǎn)經(jīng)該鄰居節(jié)點(diǎn)到達(dá)該可達(dá)節(jié)點(diǎn)的最小跳數(shù)組成，如果狀態(tài)Q值表的目標(biāo)節(jié)點(diǎn)在 某一個(gè)鄰居節(jié)點(diǎn)可達(dá)節(jié)點(diǎn)表中存在，且該鄰居節(jié)點(diǎn)不在此狀態(tài)Q值表中，則將此鄰居節(jié)點(diǎn)加入狀態(tài)Q值表；如果狀態(tài)Q值表的某個(gè)狀態(tài)已經(jīng)不是本節(jié)點(diǎn)的鄰居節(jié)點(diǎn)，則刪除此狀態(tài)。
全文摘要
由于ad-hoc網(wǎng)絡(luò)表驅(qū)動路由具有延時(shí)較低的優(yōu)勢，在諸如戰(zhàn)場或搶險(xiǎn)等場合具有重要應(yīng)用價(jià)值，但目前ad-hoc網(wǎng)絡(luò)的表驅(qū)動路由缺乏對環(huán)境的學(xué)習(xí)適應(yīng)能力。對此，本發(fā)明公開了一種無線自組織網(wǎng)絡(luò)表驅(qū)動跨層路由學(xué)習(xí)方法，屬于無線通信和信息傳播技術(shù)領(lǐng)域，主要包括提取網(wǎng)絡(luò)層和MAC層跨層信息，基于跨層信息構(gòu)建迭代模型并利用迭代模型進(jìn)行路由選擇，當(dāng)網(wǎng)絡(luò)情況發(fā)生變化時(shí)對迭代模型的狀態(tài)進(jìn)行更新。本發(fā)明利用迭代模型提高了表驅(qū)動路由算法對環(huán)境的學(xué)習(xí)適應(yīng)能力，可以提高網(wǎng)絡(luò)的傳輸性能。本發(fā)明適應(yīng)于Ad hoc自組織網(wǎng)絡(luò)的表驅(qū)動路由協(xié)議。
文檔編號H04W84/18GK102711285SQ20121013877
公開日2012年10月3日 申請日期2012年4月28日 優(yōu)先權(quán)日2012年4月28日
發(fā)明者張曉琴, 李強(qiáng), 江虹, 許文舉, 黃玉清 申請人:西南科技大學(xué)