本發(fā)明涉及異構(gòu)網(wǎng)絡(luò)的選擇領(lǐng)域，尤其涉及一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法及裝置。

背景技術(shù)：

異構(gòu)網(wǎng)絡(luò)通過(guò)不同的網(wǎng)絡(luò)技術(shù)來(lái)分發(fā)負(fù)載來(lái)提高網(wǎng)絡(luò)的整體性能，為高密度覆蓋地區(qū)成本、密集、大面積或臨時(shí)變化事件提供支持。但是當(dāng)前異構(gòu)網(wǎng)絡(luò)網(wǎng)絡(luò)選擇所面臨的主要挑戰(zhàn)包括：移動(dòng)數(shù)據(jù)流量呈爆炸式的增長(zhǎng)導(dǎo)致網(wǎng)絡(luò)負(fù)荷不斷增加；網(wǎng)絡(luò)資源利用率低；不同類型網(wǎng)絡(luò)演進(jìn)使得網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，網(wǎng)絡(luò)協(xié)同效率不佳。因此，如何優(yōu)化網(wǎng)絡(luò)傳輸技術(shù)的選擇是異構(gòu)網(wǎng)絡(luò)面臨的一項(xiàng)主要挑戰(zhàn)。

為了應(yīng)對(duì)異構(gòu)網(wǎng)絡(luò)傳輸技術(shù)選擇帶來(lái)的網(wǎng)絡(luò)整體容量不高，利用率低和網(wǎng)絡(luò)的協(xié)同效率差，從而使異構(gòu)網(wǎng)絡(luò)的性能達(dá)不到預(yù)期?，F(xiàn)在異構(gòu)網(wǎng)絡(luò)的傳輸技術(shù)主要有：微蜂窩網(wǎng)絡(luò)中的微網(wǎng)絡(luò)通過(guò)較低發(fā)射功率提高頻率復(fù)用；異構(gòu)網(wǎng)絡(luò)采用無(wú)線特性來(lái)分配網(wǎng)絡(luò)之間的數(shù)據(jù)；通過(guò)拆分?jǐn)?shù)據(jù)提高網(wǎng)絡(luò)容量；車載網(wǎng)絡(luò)推選節(jié)點(diǎn)作為網(wǎng)關(guān)轉(zhuǎn)發(fā)數(shù)據(jù)包，由于不同的網(wǎng)絡(luò)采用不同的標(biāo)準(zhǔn)和數(shù)據(jù)格式，這些方法需要異構(gòu)網(wǎng)絡(luò)通過(guò)一個(gè)新的機(jī)制在不同的網(wǎng)絡(luò)間交換控制信息，存在時(shí)延較高、能耗較大，不能較好解決容量低、效率低和協(xié)同性差的問(wèn)題。

因此，提供一個(gè)能夠解決異構(gòu)網(wǎng)絡(luò)傳輸技術(shù)中時(shí)延高、能耗大，容量低、效率低和協(xié)同性差等問(wèn)題的方法及裝置為本領(lǐng)域技術(shù)人員需要解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法及裝置，結(jié)合強(qiáng)化學(xué)習(xí)理論來(lái)優(yōu)化傳輸技術(shù)的選擇，提出一個(gè)新的強(qiáng)化學(xué)習(xí)算法來(lái)允許每個(gè)節(jié)點(diǎn)學(xué)習(xí)之前的操作來(lái)提高網(wǎng)絡(luò)性能。

本發(fā)明實(shí)施例提供了一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法，包括：

S1：獲取到參數(shù)Exp＝true、標(biāo)志標(biāo)量FlagW＝true、計(jì)數(shù)變量Expcount＝0；

S2：獲取數(shù)據(jù)包后，判斷是否參數(shù)Exp＝true，若是，則執(zhí)行S3，若不是，則執(zhí)行S7；

S3：判斷是否標(biāo)志標(biāo)量FlagW＝true，若是，則執(zhí)行S4，若不是則執(zhí)行S5；

S4：選擇使用第二網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝flase，再執(zhí)行S6；

S5：選擇使用第一網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝true，再執(zhí)行S6；

S6：將計(jì)數(shù)變量Expcount加一，判斷計(jì)數(shù)變量Expcount是否大于預(yù)置閾值，若大于，令Exp＝flase并比較通過(guò)預(yù)置公式對(duì)第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進(jìn)行計(jì)算得到的Q值大小，令較大的Q值為第一Q值，令較小的Q值為第二Q值，選擇與第一Q值對(duì)應(yīng)的網(wǎng)絡(luò)為當(dāng)前最優(yōu)網(wǎng)絡(luò)，并執(zhí)行S2，若不大于，則執(zhí)行S2；

S7：獲取到新的數(shù)據(jù)包后，通過(guò)預(yù)置公式對(duì)當(dāng)前最優(yōu)網(wǎng)絡(luò)進(jìn)行計(jì)算得到第三Q值，并比較第二Q值與第三Q值的大小，得到最大Q值，并選擇與最大Q值對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包發(fā)送。

優(yōu)選地，所述預(yù)置公式為：

Q(t_i)＝(1-α)Q(t_i-1)+α[SR(t_i-1-t_i)+CQ(t_i)-Q(t_i-1)]

其中，Q(t_i)為在時(shí)間t_i異構(gòu)節(jié)點(diǎn)訪問(wèn)網(wǎng)絡(luò)信道的概率；α為學(xué)習(xí)率；SR(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β?；CQ(t_i)為在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量。

優(yōu)選地，所述異構(gòu)節(jié)點(diǎn)在時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β蔛R(t_i-1-t_i)的計(jì)算公式為：

SR(t_i-1-t_i)＝ST(t_i-1-t_i)/TT(t_i-1-t_i)

其中，ST(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i的數(shù)據(jù)包的成功傳輸數(shù)；TT(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從t_i-1到t_i期間的全部數(shù)據(jù)包傳輸數(shù)。

優(yōu)選地，所述在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量CQ(t_i)的計(jì)算公式為：

CQ(t_i)＝R(t_i)/R_max

其中，R(t_i)為異構(gòu)節(jié)點(diǎn)在時(shí)間t_i網(wǎng)絡(luò)的傳輸速率；R_max為網(wǎng)絡(luò)傳輸技術(shù)可以支持的最大傳輸速率。

優(yōu)選地，本發(fā)明實(shí)施例還提供額一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇裝置，包括：

獲取單元，用于獲取到參數(shù)Exp＝true、標(biāo)志標(biāo)量FlagW＝true、計(jì)數(shù)變量Expcount＝0；

第一判斷單元，用于獲取數(shù)據(jù)包后，判斷是否參數(shù)Exp＝true，若是，則觸發(fā)第二判斷單元，若不是，則觸發(fā)第二計(jì)算單元；

第二判斷單元，用于判斷是否標(biāo)志標(biāo)量FlagW＝true，若是，則觸發(fā)第一選擇單元，若不是則觸發(fā)第二選擇單元；

第一選擇單元，用于選擇使用第二網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝flase，再觸發(fā)第一計(jì)算單元；

第二選擇單元，用于選擇使用第一網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝true，再觸發(fā)第一計(jì)算單元；

第一計(jì)算單元，用于將計(jì)數(shù)變量Expcount加一，判斷計(jì)數(shù)變量Expcount是否大于預(yù)置閾值，若大于，令Exp＝flase并比較通過(guò)預(yù)置公式對(duì)第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進(jìn)行計(jì)算得到的Q值大小，令較大的Q值為第一Q值，令較小的Q值為第二Q值，選擇與第一Q值對(duì)應(yīng)的網(wǎng)絡(luò)為當(dāng)前最優(yōu)網(wǎng)絡(luò)，并觸發(fā)第一判斷單元，若不大于，則觸發(fā)第一判斷單元；

第二計(jì)算單元，用于獲取到新的數(shù)據(jù)包后，通過(guò)預(yù)置公式對(duì)當(dāng)前最優(yōu)網(wǎng)絡(luò)進(jìn)行計(jì)算得到第三Q值，并比較第二Q值與第三Q值的大小，得到最大Q值，并選擇與最大Q值對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包發(fā)送。

優(yōu)選地，所述預(yù)置公式為：

Q(t_i)＝(1-α)Q(t_i-1)+α[SR(t_i-1-t_i)+CQ(t_i)-Q(t_i-1)]

其中，Q(t_i)為在時(shí)間t_i異構(gòu)節(jié)點(diǎn)訪問(wèn)網(wǎng)絡(luò)信道的概率；α為學(xué)習(xí)率；SR(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β?；CQ(t_i)為在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量。

優(yōu)選地，所述異構(gòu)節(jié)點(diǎn)在時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β蔛R(t_i-1-t_i)的計(jì)算公式為：

SR(t_i-1-t_i)＝ST(t_i-1-t_i)/TT(t_i-1-t_i)

其中，ST(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i的數(shù)據(jù)包的成功傳輸數(shù)；TT(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從t_i-1到t_i期間的全部數(shù)據(jù)包傳輸數(shù)。

優(yōu)選地，所述在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量CQ(t_i)的計(jì)算公式為：

CQ(t_i)＝R(t_i)/R_max

其中，R(t_i)為異構(gòu)節(jié)點(diǎn)在時(shí)間t_i網(wǎng)絡(luò)的傳輸速率；R_max為網(wǎng)絡(luò)傳輸技術(shù)可以支持的最大傳輸速率。

從以上技術(shù)方案可以看出，本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn)：

本發(fā)明實(shí)施例提供了一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法及裝置，其中，該用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法包括：S1：獲取到參數(shù)Exp＝true、標(biāo)志標(biāo)量FlagW＝true、計(jì)數(shù)變量Expcount＝0；S2：獲取數(shù)據(jù)包后，判斷是否參數(shù)Exp＝true，若是，則執(zhí)行S3，若不是，則執(zhí)行S7；S3：判斷是否標(biāo)志標(biāo)量FlagW＝true，若是，則執(zhí)行S4，若不是則執(zhí)行S5；S4：選擇使用第二網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝flase，再執(zhí)行S6；S5：選擇使用第一網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝true，再執(zhí)行S6；S6：將計(jì)數(shù)變量Expcount加一，判斷計(jì)數(shù)變量Expcount是否大于預(yù)置閾值，若大于，令Exp＝flase并比較通過(guò)預(yù)置公式對(duì)第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進(jìn)行計(jì)算得到的Q值大小，令較大的Q值為第一Q值，令較小的Q值為第二Q值，選擇與第一Q值對(duì)應(yīng)的網(wǎng)絡(luò)為當(dāng)前最優(yōu)網(wǎng)絡(luò)，并執(zhí)行S2，若不大于，則執(zhí)行S2；S7：獲取到新的數(shù)據(jù)包后，通過(guò)預(yù)置公式對(duì)當(dāng)前最優(yōu)網(wǎng)絡(luò)進(jìn)行計(jì)算得到第三Q值，并比較第二Q值與第三Q值的大小，得到最大Q值，并選擇與最大Q值對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包發(fā)送。本發(fā)明實(shí)施例結(jié)合強(qiáng)化學(xué)習(xí)理論，基于每個(gè)網(wǎng)絡(luò)的參數(shù)，學(xué)習(xí)之前的網(wǎng)絡(luò)狀態(tài)，優(yōu)化傳輸技術(shù)的選擇，提高了網(wǎng)絡(luò)容量，降低開(kāi)銷，解決效率低和協(xié)同性差的問(wèn)題。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為本發(fā)明實(shí)施例提供的一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法的流程示意圖；

圖2為本發(fā)明實(shí)施例提供的一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

本發(fā)明實(shí)施例提供了一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法及裝置，結(jié)合強(qiáng)化學(xué)習(xí)理論來(lái)優(yōu)化傳輸技術(shù)的選擇，提出一個(gè)新的強(qiáng)化學(xué)習(xí)算法來(lái)允許每個(gè)節(jié)點(diǎn)學(xué)習(xí)之前的操作來(lái)提高網(wǎng)絡(luò)性能。

為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，下面所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而非全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1，本發(fā)明實(shí)施例提供的一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法的一個(gè)實(shí)施例，包括：

101、獲取到參數(shù)Exp＝true、標(biāo)志標(biāo)量FlagW＝true、計(jì)數(shù)變量Expcount＝0；

獲取到預(yù)設(shè)好的參數(shù)Exp＝true、標(biāo)志標(biāo)量FlagW＝true、計(jì)數(shù)變量Expcount＝0。

102、獲取數(shù)據(jù)包后，判斷是否參數(shù)Exp＝true，若是，則執(zhí)行103，若不是，則執(zhí)行107；

獲取數(shù)據(jù)包后，判斷是否參數(shù)Exp＝true，若是，則執(zhí)行步驟103，若不是，則執(zhí)行步驟107。

103、判斷是否標(biāo)志標(biāo)量FlagW＝true，若是，則執(zhí)行104，若不是則執(zhí)行105；

在判斷參數(shù)Exp＝true后，判斷是否標(biāo)志標(biāo)量FlagW＝true，若是，則執(zhí)行步驟104，若不是則執(zhí)行步驟105。

104、選擇使用第二網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝flase，再執(zhí)行106；

判斷FlagW＝true后，選擇使用第二網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝flase，再執(zhí)行步驟106。

105、選擇使用第一網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝true，再執(zhí)行106；

判斷FlagW＝flase后，選擇使用第一網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝true，再執(zhí)行步驟106。

106、將計(jì)數(shù)變量Expcount加一，判斷計(jì)數(shù)變量Expcount是否大于預(yù)置閾值，若大于，令Exp＝flase并比較通過(guò)預(yù)置公式對(duì)第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進(jìn)行計(jì)算得到的Q值大小，令較大的Q值為第一Q值，令較小的Q值為第二Q值，選擇與第一Q值對(duì)應(yīng)的網(wǎng)絡(luò)為當(dāng)前最優(yōu)網(wǎng)絡(luò)，并執(zhí)行102，若不大于，則執(zhí)行102；

107、獲取到新的數(shù)據(jù)包后，通過(guò)預(yù)置公式對(duì)當(dāng)前最優(yōu)網(wǎng)絡(luò)進(jìn)行計(jì)算得到第三Q值，并比較第二Q值與第三Q值的大小，得到最大Q值，并選擇與最大Q值對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包發(fā)送。

判斷Exp＝flase后，獲取到新的數(shù)據(jù)包后，通過(guò)預(yù)置公式對(duì)當(dāng)前最優(yōu)網(wǎng)絡(luò)進(jìn)行計(jì)算得到第三Q值，并比較第二Q值與第三Q值的大小，得到最大Q值，并選擇與最大Q值對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包發(fā)送。

進(jìn)一步地，預(yù)置公式為：

Q(t_i)＝(1-α)Q(t_i-1)+α[SR(t_i-1-t_i)+CQ(t_i)-Q(t_i-1)]

其中，Q(t_i)為在時(shí)間t_i異構(gòu)節(jié)點(diǎn)訪問(wèn)網(wǎng)絡(luò)信道的概率；α為學(xué)習(xí)率；SR(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β?；CQ(t_i)為在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量。

進(jìn)一步地，異構(gòu)節(jié)點(diǎn)在時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β蔛R(t_i-1-t_i)的計(jì)算公式為：

SR(t_i-1-t_i)＝ST(t_i-1-t_i)/TT(t_i-1-t_i)

其中，ST(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i的數(shù)據(jù)包的成功傳輸數(shù)；TT(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從t_i-1到t_i期間的全部數(shù)據(jù)包傳輸數(shù)。

進(jìn)一步地，在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量CQ(t_i)的計(jì)算公式為：

CQ(t_i)＝R(t_i)/R_max

其中，R(t_i)為異構(gòu)節(jié)點(diǎn)在時(shí)間t_i網(wǎng)絡(luò)的傳輸速率；R_max為網(wǎng)絡(luò)傳輸技術(shù)可以支持的最大傳輸速率。

上面是對(duì)一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法進(jìn)行的詳細(xì)說(shuō)明，為便于理解，下面將以一具體應(yīng)用場(chǎng)景對(duì)一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇方法的應(yīng)用進(jìn)行說(shuō)明，應(yīng)用例包括：

①首先初始算法參數(shù)，參數(shù)預(yù)設(shè)值：t_i＝0；Exp＝true；FlagW＝true；Expcount＝0；Q(t_i)＝0；CQ(t_i)＝0；SR(t_i-1-t_i)＝0。

②進(jìn)入探索階段，探索階段使用不同的網(wǎng)絡(luò)發(fā)送特定數(shù)量的數(shù)據(jù)包，一個(gè)標(biāo)志變量(FlagW)是用來(lái)指示使用哪個(gè)網(wǎng)絡(luò)，通過(guò)標(biāo)準(zhǔn)變量，交替使用數(shù)據(jù)包訓(xùn)練兩個(gè)網(wǎng)絡(luò)，然后一個(gè)計(jì)數(shù)變量(Expcount)是用來(lái)控制在這個(gè)階段所要求完成的探索數(shù)，當(dāng)沒(méi)使用一個(gè)數(shù)據(jù)包時(shí)，Expcount加1，當(dāng)Expcount達(dá)到閾值時(shí)，設(shè)置Exp為false，然后分別計(jì)算兩個(gè)網(wǎng)絡(luò)的Q值，找出目前最優(yōu)網(wǎng)絡(luò)，完成探索階段。

③完成探索階段后，因?yàn)镋xp＝false，算法開(kāi)始了學(xué)習(xí)階段，在這個(gè)階段，當(dāng)有新的數(shù)據(jù)包到來(lái)時(shí)，異構(gòu)網(wǎng)絡(luò)節(jié)點(diǎn)使用上個(gè)階段的最優(yōu)網(wǎng)絡(luò)來(lái)計(jì)算新的Q值，然后和上個(gè)階段另外一個(gè)網(wǎng)絡(luò)的Q值進(jìn)行比較，最后選擇Q值較大的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)。

需要說(shuō)明的是，步驟②中：

a、計(jì)算Q值的公式如下：

Q(t_i)＝(1-α)Q(t_i-1)+α[SR(t_i-1-t_i)+CQ(t_i)-Q(t_i-1)]

其中，Q(t_i)代表在時(shí)間t_i，節(jié)點(diǎn)訪問(wèn)網(wǎng)絡(luò)信道的概率；α是學(xué)習(xí)率，SR(t_i-1-t_i)是節(jié)點(diǎn)在t_i-1的狀態(tài)到t_i的狀態(tài)以來(lái)的數(shù)據(jù)包傳輸?shù)某晒β?；CQ(t_i)是在時(shí)間點(diǎn)t_i的網(wǎng)絡(luò)信道質(zhì)量。

b、SR(t_i-1-t_i)的計(jì)算公式如下：

SR(t_i-1-t_i)＝ST(t_i-1-t_i)/TT(t_i-1-t_i)

其中，ST(t_i-1-t_i)是節(jié)點(diǎn)從t_i-1到t_i的數(shù)據(jù)包的成功傳輸數(shù)，TT(t_i-1-t_i)是節(jié)點(diǎn)在t_i-1到t_i期間的全部數(shù)據(jù)包傳輸數(shù)。

c、CQ(t_i)的計(jì)算公式如下：

CQ(t_i)＝R(t_i)/R_max

其中，R(t_i)是節(jié)點(diǎn)在t_i時(shí)網(wǎng)絡(luò)的傳輸速率，R_max是網(wǎng)絡(luò)傳輸技術(shù)可以支持的最大傳輸速率。

請(qǐng)參閱圖2，本發(fā)明實(shí)施例提供的一種用于異構(gòu)網(wǎng)絡(luò)的動(dòng)態(tài)最優(yōu)網(wǎng)絡(luò)選擇裝置的一個(gè)實(shí)施例，包括：

獲取單元201，用于獲取到參數(shù)Exp＝true、標(biāo)志標(biāo)量FlagW＝true、計(jì)數(shù)變量Expcount＝0；

第一判斷單元202，用于獲取數(shù)據(jù)包后，判斷是否參數(shù)Exp＝true，若是，則觸發(fā)第二判斷單元203，若不是，則觸發(fā)第二計(jì)算單元207；

第二判斷單元203，用于判斷是否標(biāo)志標(biāo)量FlagW＝true，若是，則觸發(fā)第一選擇單元204，若不是則觸發(fā)第二選擇單元205；

第一選擇單元204，用于選擇使用第二網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝flase，再觸發(fā)第一計(jì)算單元206；

第二選擇單元205，用于選擇使用第一網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包，并令FlagW＝true，再觸發(fā)第一計(jì)算單元206；

第一計(jì)算單元206，用于將計(jì)數(shù)變量Expcount加一，判斷計(jì)數(shù)變量Expcount是否大于預(yù)置閾值，若大于，令Exp＝flase并比較通過(guò)預(yù)置公式對(duì)第一網(wǎng)絡(luò)和第二網(wǎng)絡(luò)進(jìn)行計(jì)算得到的Q值大小，令較大的Q值為第一Q值，令較小的Q值為第二Q值，選擇與第一Q值對(duì)應(yīng)的網(wǎng)絡(luò)為當(dāng)前最優(yōu)網(wǎng)絡(luò)，并觸發(fā)第一判斷單元202，若不大于，則觸發(fā)第一判斷單元202；

第二計(jì)算單元207，用于獲取到新的數(shù)據(jù)包后，通過(guò)預(yù)置公式對(duì)當(dāng)前最優(yōu)網(wǎng)絡(luò)進(jìn)行計(jì)算得到第三Q值，并比較第二Q值與第三Q值的大小，得到最大Q值，并選擇與最大Q值對(duì)應(yīng)的網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)包發(fā)送。

進(jìn)一步地，預(yù)置公式為：

Q(t_i)＝(1-α)Q(t_i-1)+α[SR(t_i-1-t_i)+CQ(t_i)-Q(t_i-1)]

其中，Q(t_i)為在時(shí)間t_i異構(gòu)節(jié)點(diǎn)訪問(wèn)網(wǎng)絡(luò)信道的概率；α為學(xué)習(xí)率；SR(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β?；CQ(t_i)為在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量。

進(jìn)一步地，異構(gòu)節(jié)點(diǎn)在時(shí)間t_i-1到時(shí)間t_i之間數(shù)據(jù)包傳輸?shù)某晒β蔛R(t_i-1-t_i)的計(jì)算公式為：

SR(t_i-1-t_i)＝ST(t_i-1-t_i)/TT(t_i-1-t_i)

其中，ST(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從時(shí)間t_i-1到時(shí)間t_i的數(shù)據(jù)包的成功傳輸數(shù)；TT(t_i-1-t_i)為異構(gòu)節(jié)點(diǎn)從t_i-1到t_i期間的全部數(shù)據(jù)包傳輸數(shù)。

進(jìn)一步地，在時(shí)間t_i的網(wǎng)絡(luò)信道質(zhì)量CQ(t_i)的計(jì)算公式為：

CQ(t_i)＝R(t_i)/R_max

其中，R(t_i)為異構(gòu)節(jié)點(diǎn)在時(shí)間t_i網(wǎng)絡(luò)的傳輸速率；R_max為網(wǎng)絡(luò)傳輸技術(shù)可以支持的最大傳輸速率。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的系統(tǒng)，裝置和單元的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)，裝置和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，RandomAccess Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。