一種基于增強學(xué)習的無線體域網(wǎng)路由方法
【專利摘要】本發(fā)明提供一種基于增強學(xué)習的無線體域網(wǎng)自組織路由方法，該方法將人體節(jié)點看成是智能化節(jié)點，將整個無線體域網(wǎng)構(gòu)成類似多智能化節(jié)點的系統(tǒng)，在實施中綜合考慮節(jié)點跳數(shù)、位置、人體節(jié)點的剩余能量、節(jié)點通信損耗能量，采用Q學(xué)習算法建立或更新Q值表，尋找最優(yōu)路徑。本發(fā)明能夠在保證數(shù)據(jù)順利傳輸?shù)幕A(chǔ)上，防止無線體域網(wǎng)部分節(jié)點過早死亡，均衡了網(wǎng)絡(luò)能量，提高了網(wǎng)絡(luò)生存周期。
【專利說明】—種基于增強學(xué)習的無線體域網(wǎng)路由方法【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種無線體域網(wǎng)路由方法，主要利用增強學(xué)習來解決提高無線體域網(wǎng)的能量效率問題，屬于無線體域網(wǎng)、機器學(xué)習的交叉技術(shù)應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002]微電子、計算機和無線通信技術(shù)的進步，推動了低功耗多功能傳感器的快速發(fā)展，使其在微小體積內(nèi)能夠集成信息采集，數(shù)據(jù)處理，和無線通信等多種功能，無線體域網(wǎng)是由部署在監(jiān)測人體區(qū)域內(nèi)的廉價微型傳感器節(jié)點組成，通過無線通信方式形成的一個多跳的自組織網(wǎng)絡(luò)系統(tǒng)，其目的是協(xié)作感知，采集和處理網(wǎng)絡(luò)覆蓋人體區(qū)域中感知對象的信息，并發(fā)送給觀察者。如果說因特網(wǎng)構(gòu)成了邏輯上的信息世界，改變了人與人之間的溝通方式，那么無線體域網(wǎng)網(wǎng)絡(luò)就是將邏輯上的信息世界與客觀上的物理世界融合在一起，改變?nèi)祟惻c自然界的交互方式。人們可以通過傳感器網(wǎng)絡(luò)客觀的感知世界，從而極大地擴展了現(xiàn)有網(wǎng)絡(luò)的功能和人類認識世界的能力。因此無線體域網(wǎng)在未來的應(yīng)用中有著巨大的潛力。
[0003]網(wǎng)絡(luò)的迅猛發(fā)展，對于網(wǎng)絡(luò)的使用范圍越來越寬廣，而集傳感器技術(shù)、微機電系統(tǒng)技術(shù)、無線通信技術(shù)、嵌入式計算機技術(shù)、分布式信息處理技術(shù)和無線通信技術(shù)于一體的無線傳感器網(wǎng)絡(luò)就成為當今研究的熱點。無線體域網(wǎng)網(wǎng)絡(luò)是一個多學(xué)科交叉的綜合性科學(xué)研究領(lǐng)域，對于其人體網(wǎng)絡(luò)所分布的區(qū)域內(nèi)的各種身體指標和檢測對象的信息能夠進行實吋的監(jiān)控、感知和采集，并且將這些信息先進行處理，然后通過無線方式傳輸給監(jiān)控主機或者需要使用這些信息的醫(yī)護人員。
[0004]無線體域網(wǎng)網(wǎng)絡(luò)是一種自組織網(wǎng)絡(luò)，它通過路由算法以多跳的方式傳送信息。路由算法在無線體域網(wǎng)中發(fā)揮著重要作用，它對各節(jié)點的能耗，壽命以及質(zhì)量起著決定性的作用。建立理想路由的前提是要探測到傳感器網(wǎng)絡(luò)的拓撲結(jié)構(gòu)。
[0005]增強學(xué)習(Q學(xué)習)是這樣的一種學(xué)習方式，它是一個通過與環(huán)境的不斷交互得到反饋，從而不斷試錯，最終找到最優(yōu)解的過程。增強學(xué)習算法分為有模型學(xué)習算法以及無模型學(xué)習算法，本人通過調(diào)研國內(nèi)外文獻，發(fā)現(xiàn)比較與無線體域網(wǎng)相近的無線傳感網(wǎng)以及無線自組織網(wǎng)絡(luò)中的路由算法。增強學(xué)習的算法一開始是根據(jù)瞬時分差算法，并將特征值設(shè)置為O改進而來的，也是只考慮一步狀態(tài)。根據(jù)智能化節(jié)點所處環(huán)境的不同，在網(wǎng)絡(luò)系統(tǒng)中馬爾可夫決策實際上就是指智能化節(jié)點從當前的某一狀態(tài)轉(zhuǎn)換到下一個狀態(tài)的狀態(tài)轉(zhuǎn)移概率和立即回報值，這些值僅取決于目前的狀態(tài)以及后續(xù)動作，以前的狀態(tài)對于這些參數(shù)及函數(shù)沒有任何影響。動態(tài)規(guī)劃算法也是基于馬爾科夫決策過程的，同時也是基于模型化的，屬于有模型學(xué)習折扣型的技術(shù)，動態(tài)規(guī)劃法則利用值函數(shù)尋求最優(yōu)解，利用相關(guān)函數(shù)即可適用迭代法。動態(tài)規(guī)劃法是基于有模型的增強學(xué)習算法，系統(tǒng)利用動態(tài)規(guī)劃法必須有特定的環(huán)境被感知到，在無線體域網(wǎng)中，環(huán)境是可變的，并不適用于動態(tài)規(guī)劃方法。
[0006]增強學(xué)習算法是由沃特金森在1989年提出的增強學(xué)習算法，作為馬爾可夫過程的一種，是馬爾科夫決策過程的不同變換形式，被業(yè)內(nèi)專家也稱作是離策略瞬時分差學(xué)習。增強學(xué)習算法相對于其他學(xué)習算法來說是較為簡單的，并且非常方便研究人員使用，原因在于增強學(xué)習函數(shù)收斂速度較快，這也使得增強學(xué)習算法成為近期研究的重點以及熱點，在增強學(xué)習領(lǐng)域，被稱作引領(lǐng)增強學(xué)習發(fā)展的風向標。
[0007]增強學(xué)習的實質(zhì)上就是將智能化節(jié)點通過對其狀態(tài)和動作這兩個比較對來重新計算增強學(xué)習中所包含的值函數(shù)，并進行新的學(xué)習，在與環(huán)境的交互中，不斷更新Q值表，最終找到最終最優(yōu)解方法。
[0008]在增強學(xué)習算法中，系統(tǒng)中智能化節(jié)點都已設(shè)置完成，不斷感知周圍環(huán)境，首先初始化內(nèi)部Q值表，智能化節(jié)點在t時刻，處于某一狀態(tài)S下以特定概率選擇目前為止最高的Q值表，得到關(guān)于狀態(tài)、動作、獎賞值、以及概率組成的四元組，利于增強學(xué)習函數(shù)進行收斂。
[0009]綜上所述，Q值的更新根據(jù)不斷的迭代學(xué)習才可以獲得Q值的最優(yōu)解，那么只要無線體域網(wǎng)中的智能化節(jié)點達到了系統(tǒng)所要求的目標狀態(tài)，可以認為第一次學(xué)習結(jié)束，即將進入第二次學(xué)習狀態(tài)，這樣周而復(fù)始的迭代，使得無線體域網(wǎng)智能化節(jié)點不斷地感知周圍環(huán)境進行學(xué)習，不斷循環(huán)整個學(xué)習過程，直到取得最優(yōu)Q值解，完成整個的增強學(xué)習過程。
[0010]增強學(xué)習應(yīng)用在多個領(lǐng)域，其中有智能化足球、排課系統(tǒng)、以及網(wǎng)絡(luò)中的路由選擇都有利用增強學(xué)習算法的先例，實現(xiàn)自身系統(tǒng)的最優(yōu)目標。以網(wǎng)絡(luò)系統(tǒng)為例，目前定向擴散路由、智能蜂群路由都是利用增強學(xué)習算法延長網(wǎng)絡(luò)生存周期的例子。目前已證明增強學(xué)習算法在無線傳感器網(wǎng)絡(luò)以及無線自組織網(wǎng)絡(luò)中的可行性，在此研究基礎(chǔ)上，發(fā)現(xiàn)無線體域網(wǎng)與以上網(wǎng)絡(luò)有著極大的相似性，并且鑒于增強學(xué)習算法可以運用在小型規(guī)模系統(tǒng)的網(wǎng)絡(luò)中，并且無需指導(dǎo)就可完成自身學(xué)習改進。將增強學(xué)習算法融入到無線體域網(wǎng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)系統(tǒng)中的智能化節(jié)點可快速選擇路由構(gòu)成網(wǎng)絡(luò)，減少能量損耗，延長網(wǎng)絡(luò)生存周期。

【發(fā)明內(nèi)容】

[0011]技術(shù)問題:本發(fā)明的目的是提供一種基于增強學(xué)習的無線體域網(wǎng)路由方法，解決上述問題。無線體域網(wǎng)節(jié)點一般要監(jiān)測人體狀況，諸如血壓、體溫、脈搏等，但節(jié)點一般供電受限，一旦能量耗盡，人體的重要數(shù)據(jù)得不到有效傳遞，所以高效的路由規(guī)劃是非常重要的網(wǎng)絡(luò)設(shè)計問題之一。
[0012]技術(shù)方案:本發(fā)明所述的基于增強學(xué)習的無線體域網(wǎng)自組織路由方法利用增強學(xué)習算法，在考慮節(jié)點剩余能量以及通信所要消耗的能量的基礎(chǔ)上，節(jié)點不斷向鄰居節(jié)點發(fā)送學(xué)習包，從而獲得所需回報值，選擇累積回報值最高的路徑為最優(yōu)路徑。
[0013]本發(fā)明所述的基于增強學(xué)習的無線體域網(wǎng)路由方法步驟如下:
[0014]步驟1:用戶在人體上部署匯聚節(jié)點和傳感器節(jié)點，在傳感器節(jié)點中指定需要發(fā)送人體消息的源節(jié)點，在每個傳感器節(jié)點上預(yù)先存儲其鄰居傳感器節(jié)點的編號和位置、到鄰居傳感器節(jié)點的通信能耗值；
[0015]步驟2:用戶啟動匯聚節(jié)點和所有傳感器節(jié)點，指定網(wǎng)絡(luò)運行的最大輪次t，匯聚節(jié)點定義一系列Q值，依次為Q、Qp Q2、…、Qk、…、Qt，這些值均設(shè)置為0，k表示路徑選擇的當前輪次，Q是匯聚節(jié)點一個變量，Qi是匯聚節(jié)點第i輪對應(yīng)的變量；每個傳感器節(jié)點定義一個集合D和一個Q值，該集合存放鄰居節(jié)點號和對應(yīng)的已計算好的到該鄰居節(jié)點的回報值，最初所有回報值為O ;然后設(shè)置每個傳感器節(jié)點的Q值為0，對于傳感器節(jié)點i，它到
鄰居節(jié)點j的回報值R(j)=Rj/Ei,j,R(j)是鄰居節(jié)點j的剩余能量&與傳感器節(jié)點i到鄰居節(jié)點j的傳輸能耗值Eu = (2LE1+LEad 0)ehop(J)/hop(i)的比值，其中i和j是節(jié)點的編號，E1表示線路發(fā)送或接收數(shù)據(jù)損耗的能量，hop (i)表示節(jié)點i到匯聚節(jié)點的跳數(shù)，hop (j)表示的是節(jié)點j到匯聚節(jié)點的跳數(shù)，d表示的是兩節(jié)點之間的距離，L代表著發(fā)送信息的比特數(shù)，Ea是能量放大系數(shù)，一般來說Ea取值小于I ; Θ是一個參數(shù)，用戶設(shè)定閾值dO，當d小于Cltl時，θ取值為2，當d大于Cltl時，θ取值為4，所述Q值是存儲在匯聚節(jié)點或傳感器節(jié)點中的一個數(shù)值，用于選擇后續(xù)路徑；
[0016]步驟3:當網(wǎng)絡(luò)運行的最大輪次超過t時，網(wǎng)絡(luò)停止工作；當網(wǎng)絡(luò)運行的最大輪次沒有超過t時，需要發(fā)送人體消息的源節(jié)點從集合D中依次取每一個鄰居節(jié)點判定到該鄰居節(jié)點的回報值是否為0，若源節(jié)點到該鄰居節(jié)點的回報值不為0，則取下一個鄰居節(jié)點進行判定；若源節(jié)點到該鄰居節(jié)點的回報值為0，則源節(jié)點向該鄰居節(jié)點發(fā)送握手信息，當在用戶指定的閾值時間內(nèi)收到該鄰居節(jié)點回復(fù)的握手信息，則計算源節(jié)點到該鄰居節(jié)點的回報值，當在用戶指定的閾值時間內(nèi)沒有收到該鄰居節(jié)點的回復(fù)信息，則將源節(jié)點到該鄰居節(jié)點的回報值置為-1 ;需要發(fā)送人體消息的源節(jié)點完成判定到每一個鄰居節(jié)點的回報值是否為O的工作后，將回報值最大的任意一個鄰居節(jié)點確定為下一跳路由節(jié)點，設(shè)置Q值為上述的最大的回報值，將該Q值發(fā)送給確定好的下一跳路由節(jié)點；
[0017]步驟4:當前已確定好的 下一跳路由節(jié)點是傳感器節(jié)點，進入步驟5 ;當前已確定好的下一跳路由節(jié)點是匯聚節(jié)點，進入步驟6 ;
[0018]步驟5:已確定好的作為下一跳路由節(jié)點的當前傳感器節(jié)點將接收到的上一跳路由節(jié)點發(fā)送來的Q值賦值給自己的Q值，并向其鄰居節(jié)點廣播發(fā)送握手信息，當在用戶指定的閾值時間內(nèi)收到該鄰居節(jié)點回復(fù)的握手信息，則計算當前傳感器節(jié)點到其鄰居節(jié)點的回報值，當在用戶指定的閾值時間內(nèi)沒有收到該鄰居節(jié)點的回復(fù)信息，則將當前傳感器節(jié)點到該鄰居節(jié)點的回報值置為-1 ;當前傳感器節(jié)點完成判定到每一個鄰居節(jié)點的回報值是否為O的工作后，將回報值最大的任意一個鄰居節(jié)點確定為下一跳路由節(jié)點，將上述最大的回報值增加到當前傳感器節(jié)點Q值中，當前傳感器節(jié)點將該更新后的Q值發(fā)送給確定好的下一跳路由節(jié)點，進入步驟4 ；
[0019]步驟6:已確定好的下一跳路由節(jié)點是匯聚節(jié)點，則表示尋址成功，匯聚節(jié)點將接收到的上一跳路由節(jié)點發(fā)送來的Q值賦值給自己的Q值，若匯聚節(jié)點首次接收到上一跳路由節(jié)點發(fā)送來的Q值，則自己的Q值賦值給Ql ;否則，匯聚節(jié)點在第k次接收到上一跳路由節(jié)點發(fā)送來的Q值，通過Qk = (l-α Wk-^a maxQ計算獲取Qk ;所述α是學(xué)習因子，由用戶指定，其取值范圍在0-1之間，取值越大，學(xué)習效率越高，感知環(huán)境的能力越強，但相反會引起數(shù)據(jù)收發(fā)的延遲；maxQ是匯聚節(jié)點在第i次接收到上一跳路由節(jié)點發(fā)送來的Q值時，Q1,Q2、…、Qlri中的最大值；Qk代表匯聚節(jié)點在i次更新所得到的數(shù)值，Qlri代表匯聚節(jié)點在第k-Ι次更新所得到的數(shù)值；
[0020]步驟7:用戶指定一輪穩(wěn)定傳輸信息的時間閾值T，匯聚節(jié)點選取Qp Q2、…、Qk中最大值對應(yīng)的路徑向源節(jié)點發(fā)送通知消息，讓源節(jié)點在時間閾值T范圍內(nèi)沿著上述路徑穩(wěn)定傳輸信息；源節(jié)點穩(wěn)定傳輸信息，當傳輸信息的時間超過時間閾值T時，進入步驟3。
[0021]有益效果:本發(fā)明提出了一種基于Q學(xué)習的無線體域網(wǎng)自組織路由方法。通過使用本發(fā)明所提出的路由方法實現(xiàn)無線體域網(wǎng)的路徑尋優(yōu)，也就是綜合考慮節(jié)點的剩余能量以及通信所需損耗能量，所設(shè)計的基于Q學(xué)習的無線體域網(wǎng)自組織路由方法能夠很好得解決網(wǎng)絡(luò)中能量消耗不均勻的問題，從而延長網(wǎng)絡(luò)生存周期。具體來說，本發(fā)明所述的方法具有如下的有益效果:
[0022](I)本發(fā)明所述的基于Q學(xué)習的無線體域網(wǎng)自組織路由方法，夠很好得解決網(wǎng)絡(luò)中能量消耗不均勻的問題，節(jié)省網(wǎng)絡(luò)能量。
[0023](2)本發(fā)明所述的基于Q學(xué)習的無線體域網(wǎng)自組織路由方法，綜合考慮節(jié)點的剩余能量以及通信所需損耗能量，實現(xiàn)無線體域網(wǎng)的路徑尋優(yōu)。
[0024](3)本發(fā)明所述的基于Q學(xué)習的無線體域網(wǎng)自組織路由方法，采用Q學(xué)習機制提出的路由算法，隨著節(jié)點數(shù)的增大，網(wǎng)絡(luò)生存周期越來越大，所消耗的路由能量逐漸減小，選擇的路由的機會增多，通過不斷得更新回報值，選擇最優(yōu)路徑，網(wǎng)絡(luò)生存周期也得到了提
聞。
[0025](4)本發(fā)明所述的基于Q學(xué)習的無線體域網(wǎng)自組織路由方法，根據(jù)路徑的剩余能量、跳數(shù)、節(jié)點距離等因素，采取回報值進行評價下一跳的選擇，采用此方法，無線傳感器網(wǎng)絡(luò)的傳輸可靠性會比現(xiàn)有方法略有提高。
【專利附圖】

【附圖說明】
[0026]圖1.基于增強學(xué)習的無線體域網(wǎng)路由方法流程圖，
[0027]圖2.體域網(wǎng)節(jié)點拓撲圖。
【具體實施方式】
[0028]下面根據(jù)附圖和實施例對本發(fā)明作更詳細的描述。
[0029]所述無線體域網(wǎng)由一個匯聚節(jié)點和多個傳感器節(jié)點組成，所有節(jié)點被部署在一個人體區(qū)域內(nèi)，如圖2體域網(wǎng)節(jié)點拓撲圖所示，所構(gòu)成的網(wǎng)絡(luò)具有如下要求:(I)所有節(jié)點根據(jù)人體生理性分布，任意一個節(jié)點在固定后不發(fā)生移動；(2)匯聚節(jié)點位于腰部位置，該節(jié)點與傳感器節(jié)點相比能力充足；(3)所有節(jié)點相對人體不發(fā)生移動，人體可以發(fā)生移動；
(4)所有節(jié)點之間的通信是雙向的；(5)傳感器節(jié)點直接或者以多跳的方式向匯聚節(jié)點傳輸消息；(6)無線體域網(wǎng)的結(jié)構(gòu)是單層結(jié)構(gòu)。
[0030]圖1給出本發(fā)明所述方法的流程圖，以圖2為實例，其【具體實施方式】為:
[0031]步驟1:用戶在人體上部署匯聚節(jié)點和傳感器節(jié)點，在具體實施中，每個傳感器節(jié)點都記錄下其鄰居傳感器節(jié)點編號及到鄰居傳感器節(jié)點的能耗值，同時設(shè)定每個傳感器節(jié)點的能耗閾值。
[0032]步驟2:位于人體腰部的匯聚節(jié)點以相同的周期向相鄰的節(jié)點發(fā)送學(xué)習評估消息，初始化無線體域網(wǎng)環(huán)境，啟動所有傳感器節(jié)點，并設(shè)置每個傳感器節(jié)點的回報值為O。
[0033]步驟3:在具體實施中，傳感器節(jié)點定義一個集合D，用以存放已經(jīng)進行學(xué)習的節(jié)點信息，17號節(jié)點向鄰居節(jié)點6、節(jié)點9、節(jié)點16發(fā)送學(xué)習信息，并且判斷該節(jié)點是否存在于
集合D，分別計算其到每個鄰居節(jié)點的回報值R⑶=襲= (2ffii+/五】V_';>/H，節(jié)點6反饋給
節(jié)點17的回報值最大，從而選取回報值高的鄰居節(jié)點6號節(jié)點作為下一跳路由的傳感器節(jié)點。
[0034]步驟4:傳感器節(jié)點從選取的鄰居節(jié)點出發(fā)按照步驟3的方法計算該節(jié)點自身鄰居節(jié)點，探測下一跳路由，依次尋址，直到找到最終的匯聚節(jié)點14號節(jié)點。
[0035]步驟5:路徑選擇完畢后，存儲下這條路徑的Q值Qi = (1-cOQh+amaxQ。當選取路徑中的傳感器節(jié)點9或節(jié)點10的剩余能量低于設(shè)定的閾值時，則按照選取的路徑反向向源傳感器節(jié)點發(fā)送消息，使節(jié)點放棄選擇這條路徑，而是選取Q值次大的6、7、10路徑作為發(fā)送信息的路徑。
[0036]步驟6:節(jié)點17選取Q值大的路徑向匯聚傳感器節(jié)點進行穩(wěn)定傳輸信息過程，同時更新每個傳感器節(jié)點的剩余能量信息。
[0037]步驟7:匯聚節(jié)點14號節(jié)點周期性發(fā)送學(xué)習消息，源節(jié)點根據(jù)其消息探測路徑、選取路徑、以及發(fā)送消息到匯聚節(jié)點，節(jié)點匯報值的改變影響了 Q值的大小，Q值更新后存儲于匯聚節(jié)點中。
【權(quán)利要求】
1.一種基于增強學(xué)習的無線體域網(wǎng)路由方法，其特征在于該方法所包含的步驟為:步驟1:用戶在人體上部署匯聚節(jié)點和傳感器節(jié)點，在傳感器節(jié)點中指定需要發(fā)送人體消息的源節(jié)點，在每個傳感器節(jié)點上預(yù)先存儲其鄰居傳感器節(jié)點的編號和位置、到鄰居傳感器節(jié)點的通信能耗值； 步驟2:用戶啟動匯聚節(jié)點和所有傳感器節(jié)點，指定網(wǎng)絡(luò)運行的最大輪次t，匯聚節(jié)點定義一系列Q值，依次為Q、Ql、Q2、…、Qk、…、Qt，這些值均設(shè)置為O，k表示路徑選擇的當前輪次，Q是匯聚節(jié)點一個變量，Qi是匯聚節(jié)點第i輪對應(yīng)的變量；每個傳感器節(jié)點定義一個集合D和一個Q值，該集合存放鄰居節(jié)點號和對應(yīng)的已計算好的到該鄰居節(jié)點的回報值，最初所有回報值為O ;然后設(shè)置每個傳感器節(jié)點的Q值為O，對于傳感器節(jié)點i，它到鄰

R. 居節(jié)點j的回報值及，RU)是鄰居節(jié)點j的剩余能量Rj與傳感器節(jié)點i到鄰居節(jié)


ij點j的傳輸能耗值Ei^ = (2LE1+LEade)ehop(J)/hop(i)的比值，其中i和j是節(jié)點的編號，El表示線路發(fā)送或接收數(shù)據(jù)損耗的能量，hop (i)表示節(jié)點i到匯聚節(jié)點的跳數(shù)，hop (j)表示的是節(jié)點j到匯聚節(jié)點的跳數(shù)，d表示的是兩節(jié)點之間的距離，L代表著發(fā)送信息的比特數(shù)，Ea是能量放大系數(shù)，一般來說Ea取值小于I ; Θ是一個參數(shù)，用戶設(shè)定閾值dO，當d小于dO時，Θ取值為2，當d大于dO時，Θ取值為4，所述Q值是存儲在匯聚節(jié)點或傳感器節(jié)點中的一個數(shù)值，用于選擇后續(xù)路徑； 步驟3:當網(wǎng)絡(luò)運行的最大輪次超過t時，網(wǎng)絡(luò)停止工作；當網(wǎng)絡(luò)運行的最大輪次沒有超過t時，需要發(fā)送人體消息的源節(jié)點從集合D中依次取每一個鄰居節(jié)點判定到該鄰居節(jié)點的回報值是否為0，若源節(jié)點到該鄰居節(jié)點的回報值不為0，則取下一個鄰居節(jié)點進行判定；若源節(jié)點到該鄰居節(jié)點的回報值為0，則源節(jié)點向該鄰居節(jié)點發(fā)送握手信息，當在用戶指定的閾值時間內(nèi)收到該鄰居節(jié)點回復(fù)的握手信息，則計算源節(jié)點到該鄰居節(jié)點的回報值，當在用戶指定的閾值時間內(nèi)沒有收到該鄰居節(jié)點的回復(fù)信息，則將源節(jié)點到該鄰居節(jié)點的回報值置為-1 ;需要發(fā)送人體消息的源節(jié)點完成判定到每一個鄰居節(jié)點的回報值是否為O的工作后，將回報值最大的任意一個鄰居節(jié)點確定為下一跳路由節(jié)點，設(shè)置Q值為上述的最大的回報值，將該Q值發(fā)送給確定好的下一跳路由節(jié)點； 步驟4:當前已確定好的下一跳路由節(jié)點是傳感器節(jié)點，進入步驟5 ;當前已確定好的下一跳路由節(jié)點是匯聚節(jié)點，進入步驟6 ; 步驟5:已確定好的作為下一跳路由節(jié)點的當前傳感器節(jié)點將接收到的上一跳路由節(jié)點發(fā)送來的Q值賦值給自己的Q值，并向其鄰居節(jié)點廣播發(fā)送握手信息，當在用戶指定的閾值時間內(nèi)收到該鄰居節(jié)點回復(fù)的握手信息，則計算當前傳感器節(jié)點到其鄰居節(jié)點的回報值，當在用戶指定的閾值時間內(nèi)沒有收到該鄰居節(jié)點的回復(fù)信息，則將當前傳感器節(jié)點到該鄰居節(jié)點的回報值置為-1 ;當前傳感器節(jié)點完成判定到每一個鄰居節(jié)點的回報值是否為O的工作后，將回報值最大的任意一個鄰居節(jié)點確定為下一跳路由節(jié)點，將上述最大的回報值增加到當前傳感器節(jié)點Q值中，當前傳感器節(jié)點將該更新后的Q值發(fā)送給確定好的下一跳路由節(jié)點，進入步驟4; 步驟6:已確定好的下一跳路由節(jié)點是匯聚節(jié)點，則表示尋址成功，匯聚節(jié)點將接收到的上一跳路由節(jié)點發(fā)送來的Q值賦值給自己的Q值，若匯聚節(jié)點首次接收到上一跳路由節(jié)點發(fā)送來的Q值，則自己的Q值賦值給Ql ;否則，匯聚節(jié)點在第k次接收到上一跳路由節(jié)點發(fā)送來的Q值，通過Qk= (l-cOQk-1+amaxQ計算獲取Qk;所述α是學(xué)習因子，由用戶指定，其取值范圍在0-1之間，取值越大，學(xué)習效率越高，感知環(huán)境的能力越強，但相反會引起數(shù)據(jù)收發(fā)的延遲；maxQ是匯聚節(jié)點在第i次接收到上一跳路由節(jié)點發(fā)送來的Q值時，QUQ2、…、Qk-1中的最大值；Qk代表匯聚節(jié)點在i次更新所得到的數(shù)值，Qk^1代表匯聚節(jié)點在第k-Ι次更新所得到的數(shù)值； 步驟7:用戶指定一輪穩(wěn)定傳輸信息的時間閾值T，匯聚節(jié)點選取Ql、Q2、…、Qk中最大值對應(yīng)的路徑向源節(jié)點發(fā)送通知消息，讓源節(jié)點在時間閾值T范圍內(nèi)沿著上述路徑穩(wěn)定傳輸信息；源節(jié)點穩(wěn) 定傳輸信息，當傳輸信息的時間超過時間閾值T時，進入步驟3。
【文檔編號】H04W84/18GK103974366SQ201410176028
【公開日】2014年8月6日 申請日期:2014年4月28日 優(yōu)先權(quán)日:2014年4月28日
【發(fā)明者】陳志 , 寶磊, 王東, 岳文靜, 朱彥沛, 高陽陽, 高顯強 申請人:南京郵電大學(xué)