專利名稱：對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法
技術(shù)領(lǐng)域：
本發(fā)明涉及無線通信領(lǐng)域，尤其涉及用于分布式無中心認(rèn)知無線網(wǎng)絡(luò)通信領(lǐng)域。
背景技術(shù)：
無線電頻譜資源是一種寶貴的自然資源，一般由政府授權(quán)使用。但隨著通信技術(shù) 的迅猛發(fā)展，頻譜資源緊缺已經(jīng)成為一個(gè)不可回避的問題。認(rèn)知無線電是緩解頻譜資源缺 乏與日益增長的無線接入需求之間矛盾的有效手段。認(rèn)知無線電是一個(gè)智能無線通信系 統(tǒng)。它能夠感知外界環(huán)境，并使用人工智能技術(shù)從環(huán)境中學(xué)習(xí)，通過實(shí)時(shí)改變某些操作參數(shù) (比如傳輸功率、載波頻率和調(diào)制技術(shù)等)，使其內(nèi)部狀態(tài)適應(yīng)接收到的無線信號(hào)的統(tǒng)計(jì)性 變化，以達(dá)到能在任何時(shí)間任何地點(diǎn)且對頻譜資源的有效利用的基礎(chǔ)上，完成高度可靠通 信。并且在此基礎(chǔ)上給出了包括頻譜感知、頻譜分析、頻譜決策三個(gè)步驟的認(rèn)知環(huán)模型。
認(rèn)知無線電的動(dòng)態(tài)頻譜接入思想就是二級用戶不斷感知空閑頻譜，進(jìn)行頻譜分析 和決策來進(jìn)行頻譜接入。當(dāng)感知發(fā)現(xiàn)原來的頻段被授權(quán)用戶(主用戶)占用后，二級用戶 就按照認(rèn)知步驟，再次開始感知空閑頻譜、分析、接入的循環(huán)過程；這種動(dòng)態(tài)利用頻譜的方 式稱為"動(dòng)態(tài)頻譜接入"。 動(dòng)態(tài)頻譜接入按照著重點(diǎn)的不同有以下三種分類方式
(1)按照網(wǎng)絡(luò)架構(gòu)劃分中心式、分布式。
中心式網(wǎng)絡(luò)結(jié)構(gòu)通過中心實(shí)體如基站或者網(wǎng)絡(luò)接入點(diǎn)來控制二級用戶的接入過程。 分布式網(wǎng)絡(luò)結(jié)構(gòu)不需要中心基礎(chǔ)架構(gòu)，每個(gè)二級用戶根據(jù)局部頻譜策略分配頻 譜和接入。
(2)按照接入行為來劃分合作式、非合作式。
合作接入行為考慮二級用戶對其他二級用戶的影響，共享對其他二級用戶的干
擾信息。所有中心式基本上都是合作，但也有分布式合作方案。合作相對于非合作方式的
性能優(yōu)越更接近于最優(yōu)解，但是要在公共控制信道中傳輸更多的交互信息。
非合作式接入行為與合作式相比，只考慮二級用戶本身的利益，假定二級用戶是
自私的，這將導(dǎo)致頻譜利用率降低，但二級用戶之間在公共控制信道上僅需要較小的開銷，
甚至可以不需要公共控制信道。 (3)覆蓋式(overlay)、平鋪式(underlay) 覆蓋式(overlay):采用的頻譜接入技術(shù)，二級用戶接入的頻段是沒有被授權(quán)用 戶所使用的，此時(shí)對授權(quán)用戶的干擾最小化。 平鋪式(underlay):利用擴(kuò)頻技術(shù)，二級用戶與授權(quán)用戶同用一個(gè)頻帶通信，但 其傳輸功率被授權(quán)用戶當(dāng)作噪聲。 在動(dòng)態(tài)頻譜接入的概念基礎(chǔ)上，現(xiàn)有研究方法主要有以下三種 (1)利用最優(yōu)化方法它把頻譜接入問題歸結(jié)為在一定限制條件下的求最優(yōu)解的
問題。通過最優(yōu)解的獲得找到一種最優(yōu)策略，從而完成動(dòng)態(tài)頻譜接入的任務(wù)。雖然這種方
5法直觀且易懂，但是面對多個(gè)目標(biāo)求最優(yōu)解時(shí)常常會(huì)導(dǎo)致計(jì)算復(fù)雜度高的問題。
(2)馬爾科夫建模將授權(quán)用戶和二級用戶的動(dòng)態(tài)頻譜接入過程建模成馬爾科夫
模型。用二維或者多維的馬爾科夫鏈精確的描述接入過程。
(3)利用博弈理論將授權(quán)用戶和二級用戶的動(dòng)態(tài)頻譜接入過程類比成雙人或者
多人博弈，采用合作和非合作博弈方式，來整體規(guī)劃認(rèn)知無線電網(wǎng)絡(luò)性能。 無線電認(rèn)知技術(shù)中存在很多特殊限制，首先在認(rèn)知無線電網(wǎng)絡(luò)中，授權(quán)用戶和二
級用戶往往是獨(dú)立占用信道，二級用戶在初始時(shí)刻無法準(zhǔn)確了解環(huán)境模型；其次在認(rèn)知無
線電網(wǎng)絡(luò)中的公共控制信道不易獲?。蛔詈鬄榱藵M足二級用戶的便攜性和移動(dòng)性，需要限
制頻譜感知的能量和硬件復(fù)雜度。這三方面的原因?qū)е露売脩糁荒軌蚋兄糠诸l段，二
級用戶如何智能的決定感知頻段和接入行動(dòng)成為研究的重點(diǎn)和難點(diǎn)，現(xiàn)有的分布式非合作
方式的認(rèn)知無線電動(dòng)態(tài)頻譜接入方法均建立在環(huán)境模型已知的基礎(chǔ)上，對于環(huán)境模型未知
的的情況，此方法不能適用。

發(fā)明內(nèi)容
本發(fā)明為了克服現(xiàn)有的分布式非合作方式的認(rèn)知無線電動(dòng)態(tài)頻譜接入方法不能 對于環(huán)境模型未知的情況進(jìn)行處理，不能進(jìn)行可靠的通信，還對授權(quán)用戶造成嚴(yán)重的干擾 的問題，提供了一種對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法。
對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法的具體步驟如下
步驟A、建立授權(quán)用戶占用信道的環(huán)境模型每條信道之間是彼此獨(dú)立的，且每條 信道被授權(quán)用戶占用的情況服從馬爾科夫(MARKOV)轉(zhuǎn)移過程； 步驟B、每個(gè)二級用戶通過統(tǒng)計(jì)學(xué)習(xí)的方法，建立該二級用戶關(guān)于授權(quán)用戶信道轉(zhuǎn) 移模型通過中心極限定理求解出采樣個(gè)數(shù)ri，通過信道i在ri次采樣的采樣狀態(tài)建立最 大似然函數(shù)，然后對最大似然函數(shù)進(jìn)行求解，解出步驟A所述的每條信道被授權(quán)用戶占用 的馬爾科夫轉(zhuǎn)移過程的轉(zhuǎn)換概率； 步驟C、二級用戶利用部分觀測馬爾科夫決策過程(P0MDP)做出最優(yōu)策略，所述部 分觀測馬爾科夫決策過程(P0MDP)為利用觀測歷史產(chǎn)生的相信矩陣來描述授權(quán)用戶對信 道的占用情況，然后二級用戶在增大單位時(shí)間吞吐量的目標(biāo)下，利用報(bào)酬效用函數(shù)來決策 在T個(gè)時(shí)刻內(nèi)采用的最優(yōu)行動(dòng)集合，實(shí)現(xiàn)環(huán)境模型未知的認(rèn)知無線電態(tài)智能頻譜接入。
本發(fā)明應(yīng)用在認(rèn)知無線電技術(shù)中，解決了動(dòng)態(tài)智能頻譜接入的問題。本發(fā)明采用 分布非合作的方式，通過機(jī)器學(xué)習(xí)中的統(tǒng)計(jì)學(xué)習(xí)方法構(gòu)建環(huán)境模型，然后結(jié)合感知?dú)v史應(yīng) 用部分觀測馬爾科夫決策過程智能決定感知和接入行動(dòng)，實(shí)現(xiàn)動(dòng)態(tài)智能頻譜接入。


圖1為本發(fā)明的流程圖。圖2為授權(quán)用戶占用信道的馬爾科夫轉(zhuǎn)換過程的示意圖。 圖3為信道數(shù)目N = 2時(shí)，具體實(shí)施方式
四與具體實(shí)施方式
五的吞吐量仿真對比圖，其中實(shí) 線1表示具體實(shí)施方式
四的吞吐量隨時(shí)間變化曲線，虛線2表示具體實(shí)施方式
五的吞吐量 隨時(shí)間變化曲線。圖4為信道數(shù)目N = 3時(shí)，具體實(shí)施方式
四與具體實(shí)施方式
五的吞吐量 仿真對比圖，其中平滑實(shí)線3表示具體實(shí)施方式
四的吞吐量隨時(shí)間變化曲線，帶有星號(hào)標(biāo) 記的曲線4表示具體實(shí)施方式
五的吞吐量隨時(shí)間變化曲線。
具體實(shí)施例方式
具體實(shí)施方式
一 結(jié)合圖1說明本實(shí)施方式，本實(shí)施方式所述的對未知環(huán)境模型 特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法的具體步驟如下 步驟A、建立授權(quán)用戶占用信道的環(huán)境模型每條信道之間是彼此獨(dú)立的，且每條 信道被授權(quán)用戶占用的情況服從馬爾科夫(MARKOV)轉(zhuǎn)移過程； 步驟B、每個(gè)二級用戶通過統(tǒng)計(jì)學(xué)習(xí)的方法，建立該二級用戶關(guān)于授權(quán)用戶信道轉(zhuǎn) 移模型通過中心極限定理求解出采樣個(gè)數(shù)iv通過信道i在ri次采樣的采樣狀態(tài)建立最 大似然函數(shù)，然后對最大似然函數(shù)進(jìn)行求解，解出步驟A所述的每條信道被授權(quán)用戶占用 的馬爾科夫轉(zhuǎn)移過程的轉(zhuǎn)換概率； 步驟C、二級用戶利用部分觀測馬爾科夫決策過程(POMDP)做出最優(yōu)策略，所述部 分觀測馬爾科夫決策過程(POMDP)為利用觀測歷史產(chǎn)生的相信矩陣來描述授權(quán)用戶對信 道的占用情況，然后二級用戶在增大單位時(shí)間吞吐量的目標(biāo)下，利用報(bào)酬效用函數(shù)來決策 在T個(gè)時(shí)刻內(nèi)采用的最優(yōu)行動(dòng)集合，實(shí)現(xiàn)環(huán)境模型未知的認(rèn)知無線電態(tài)智能頻譜接入。
結(jié)合圖2對本實(shí)施方式中的步驟A做進(jìn)一步說明。信道i任何時(shí)刻處在以下兩種 狀態(tài)的一種忙或閑，忙為被授權(quán)用戶占用，用"0"表示，閑為不被授權(quán)用戶占用，用"1"表 示，信道i狀態(tài)從"0"變?yōu)?1"的概率為a i，則信道i保持"0"狀態(tài)不變的概率為1-a i， 信道i保持"l"狀態(tài)不變的概率為Pi，則信道i狀態(tài)從"l"變?yōu)?O"的概率為l-Pi。
對于信道數(shù)目N = 2時(shí)，信道有(O，O)、 (O，l)、 (l，O)和(l，l)四種狀態(tài)，對應(yīng)的 轉(zhuǎn)換概率可以求得，對應(yīng)信道數(shù)目N > 3的情況，信道狀態(tài)的轉(zhuǎn)換概率按照此種方法可以求 得。 本實(shí)施方式中的步驟B做進(jìn)一步說明
步驟Bl、由中心極限定理 。0
2>
4=1
4 TV(O，l)
獲得信道i的采樣次數(shù)ri
。=
。-
2
(1-a,)(丄4)， 其中，相對估計(jì)偏差S和置信概率Pc由用戶根據(jù)需要設(shè)定，①( )是標(biāo)準(zhǔn)正態(tài)累 計(jì)分布函數(shù)，ri0是采樣次數(shù)ri中檢測信道狀態(tài)值為"O"的次數(shù)，Yk是k時(shí)刻的信道觀測值， 取值為0或1，當(dāng)Yk = 0表示信道i在k時(shí)刻狀態(tài)觀測值是"0"，在k+1時(shí)刻狀態(tài)》 是"0"的情況；當(dāng)Yk = 1表示信道i在k時(shí)刻狀態(tài)觀測值是"O"，在k+1時(shí)刻狀態(tài)》 "l"的情況； 步驟B2、通過信道i在&次采樣的采樣狀態(tài)，建立最大似然函數(shù)
值也 值是
== &; ^") . [(l - ^)m。.《1 . (1 _ a )附3 ] 其中，f =(《，X2，...， J^.)為信道狀態(tài)的采樣值，并且XkG (1，0hri是信道i的
采樣個(gè)數(shù)，1= (、， Pi)為似然函數(shù)，m。，ivm2，m3代表4種不同轉(zhuǎn)移形式(Xk，Xk—》=(0， 0)、 (O，l)、 (l，O)禾P (l，l)的發(fā)生次數(shù)； 步驟B3、將步驟B2建立的最大似然函數(shù)分別對a i和P i求導(dǎo)，令其導(dǎo)數(shù)為0 j 、？ ' 求解獲得a ,和|3 ,的最大似然估計(jì)量《和戎。
= m， /(m, + mn)
乂 ？ u = m2 /()w2 + m3) 公式中的相對估計(jì)偏差S和置信概率Pe由用戶根據(jù)需要進(jìn)行設(shè)定，相對估計(jì)偏 差S越小，置信概率Pe越高，則信道狀態(tài)的準(zhǔn)確度越高，但時(shí)間消耗越長，相反相對估計(jì)偏 差S越大，置信概率Pe越低，則信道狀態(tài)的準(zhǔn)確度越低，但時(shí)間消耗越短。通過統(tǒng)計(jì)學(xué)習(xí) 的方法，二級用戶建立了完整的信道轉(zhuǎn)移模型。 本實(shí)施方式中步驟Bl檢測信道狀態(tài)值為"1 "情況與檢測信道狀態(tài)值為"0"情況 對應(yīng)，每個(gè)二級用戶同樣可以通過統(tǒng)計(jì)學(xué)習(xí)的方法，建立該二級用戶關(guān)于授權(quán)用戶信道轉(zhuǎn) 移模型。 具體實(shí)施方式
二 本實(shí)施方式是對具體實(shí)施方式
一中的步驟C的進(jìn)一步說明
步驟Cl、在時(shí)刻t，二級用戶通過貝葉斯準(zhǔn)則，利用相信矩陣A (t)=[入批…，
入M(t)] a(, + d么r(a(01 a,⑨(, +丄)，...,& (, + w IX(OAjPr
& 0 +1) = - 對環(huán)境模型進(jìn)行估計(jì)，其中，M = 2 表示信道數(shù)目為N時(shí)，N條信道狀態(tài)組合的 數(shù)目，入j(t)表示在時(shí)刻t外部環(huán)境處于狀態(tài)j的概率值，r(A(t)la， e)表示相信矩陣 A (t)是行動(dòng)a和狀態(tài)觀測值9的函數(shù)，Pk,j表示外部環(huán)境從狀態(tài)k轉(zhuǎn)移到狀態(tài)j的概率， Pr[ j,a= 9]表示外部環(huán)境處于狀態(tài)j時(shí)，二級用戶采取行動(dòng)a能得到狀態(tài)觀測值為e 的概率值； 步驟C2、將t時(shí)刻，外部環(huán)境處于狀態(tài)j，采取行動(dòng)a的情況下得到狀態(tài)觀測值為 9的吞吐量 0,","0 =》,,， 作為優(yōu)化目標(biāo)，其中Bi代表信道i的帶寬，Sjt)代表信道i在t時(shí)刻是否可用， 可用時(shí)Sjt) = l，否則Si(t) = 0 ;
步驟C3、利用報(bào)酬效用函數(shù)
8
K(A( )) = max{ j>".2>[ ^ = + ^,(r(A( ) | a")))} 確定在總共T個(gè)時(shí)刻內(nèi)，在每一個(gè)時(shí)刻使總的期望收益rj", e (t)最大時(shí)，對應(yīng)的 感知信道；即獲得在每一個(gè)時(shí)刻的最優(yōu)行動(dòng)所感知的信道； 步驟C4、在T個(gè)時(shí)刻內(nèi)的所有最優(yōu)行動(dòng)組成的行動(dòng)集合表示為最優(yōu)策略* :
;r* =arg max & 即所應(yīng)該感知的最優(yōu)信道集合，然后根據(jù)獲得的最優(yōu)信道集合實(shí)現(xiàn)環(huán)境模型未 知的認(rèn)知無線電態(tài)智能頻譜接入。 由于部分觀測馬爾科夫決策過程的下一個(gè)內(nèi)部狀態(tài)是未知的，所以在時(shí)刻t的開 始時(shí)，二級用戶對通過相信矩陣A (t) = [、(t)， A， AM(t)]對環(huán)境模型進(jìn)行估計(jì)。吞吐 量表示單位時(shí)間內(nèi)傳輸?shù)谋忍財(cái)?shù)，吞吐量越大對二級用戶越有利。 Vt(A(t))由兩個(gè)部分組成第一部分在t時(shí)刻的瞬時(shí)收益，它由 ^和P t 定義，當(dāng)網(wǎng)絡(luò)狀態(tài)位于j，用戶感知信道i并且狀態(tài)觀測值 j,a G {0，1}，從而獲得到瞬 時(shí)收益為 j,aBi。第二部分長久收益，即最大的期望剩余收益Vw(A(t+l))， A(t+1)= r (A (t) |a， j,a))表示t+l時(shí)刻獲得的一個(gè)新的相信矩陣，這個(gè)相信矩陣是在聯(lián)合了 t時(shí) 刻的觀測與行動(dòng)、及反饋收益的基礎(chǔ)上獲得的。 本實(shí)施方式的計(jì)算量比較大，因?yàn)樽銐虻慕y(tǒng)計(jì)數(shù)據(jù)A的維數(shù)隨著信道數(shù)目n的增 加而呈現(xiàn)指數(shù)級別的增長，使得本實(shí)施方式的辦法的實(shí)時(shí)性不好，很難使二級用戶本身實(shí) 時(shí)適應(yīng)頻譜占用情況的改變。
具體實(shí)施方式
三本實(shí)施方式是對具體實(shí)施方式
一中的步驟C的進(jìn)一步說明，步 驟C的具體有以下步驟完成 步驟C一、在時(shí)刻t，在給定感知和決策歷史的基礎(chǔ)上，信道i的可用概率為相信矩 陣
爭i) i[ Wl (" i),..., (" i)] ^ r(, i". (o, a. (0)
1 if a* 0) = /, ", (0 = 1w, 0 + 1) = JO ifa*0) = /，G)。.0) = 0
，(OA + (1 _ w, O))a,if仏0) # /
公式表示如果信道i通過報(bào)酬效用函數(shù)后被證明不是最優(yōu)行動(dòng)所感知的信道，即 a*(t) # i，那么信道i的可用性概率根據(jù)馬爾科夫轉(zhuǎn)移模型進(jìn)行升級；如果信道i通過報(bào)酬 效用函數(shù)后確定信道i為感知的信道，即a*(t) = i，那么結(jié)果分兩種，當(dāng)感知結(jié)果為1時(shí)，
t+i時(shí)刻的信道i的相信矩陣Wi a+i)為i，即信道可用，反之，結(jié)果為o時(shí)，即信道繁忙，t+i
時(shí)刻的信道i的相信矩陣Wi (t+1)為0，即信道不可用； 步驟C 二、將單位時(shí)間的信道i的吞吐量作為優(yōu)化目標(biāo)，利用步驟Cll求得信道i
的相信矩陣Q ，求得T個(gè)時(shí)刻內(nèi)的信道i的吞吐量之和為 a (t) = (Wi (t) P i+ (1—Wi (t)) a》Bi 利用報(bào)酬效用函數(shù) 『,(Q) = K. + (1 — w。.) .風(fēng)，
9
<formula>formula see original document page 10</formula>
<formula>formula see original document page 10</formula>
<formula>formula see original document page 10</formula>
<formula>formula see original document page 10</formula> 確定在總共T個(gè)時(shí)刻內(nèi)，在每一個(gè)時(shí)刻使總的期望收益最大時(shí)，對應(yīng)的感知信道； 即獲得在每一個(gè)時(shí)刻的最優(yōu)行動(dòng)所感知的信道； 步驟C三、時(shí)刻t的最優(yōu)行動(dòng)是使時(shí)刻t的瞬時(shí)收益最大而采取的行動(dòng)，由T個(gè)時(shí) 刻內(nèi)的最優(yōu)行動(dòng)集合組成了最優(yōu)策略a,為
a* 0) = arg " ^(w' (OA + (1 — w, ) g 最優(yōu)策略即所應(yīng)該感知的最優(yōu)信道集合，然后根據(jù)獲得的最優(yōu)信道集合實(shí)現(xiàn)環(huán)境 模型未知的認(rèn)知無線電態(tài)智能頻譜接入。 本實(shí)施方式在保證吞吐量的同時(shí)又降低了計(jì)算量，通過簡化相信矩陣使得計(jì)算復(fù) 雜度從2N降低到N。 對比本實(shí)施方式和具體實(shí)施方式
二的方法，參見圖3和圖4。 當(dāng)環(huán)境模型未知時(shí)，信道數(shù)目N = 2， 二級用戶在T個(gè)時(shí)刻內(nèi)，在固定的馬爾科夫轉(zhuǎn) 移概率(ai， Pi)，第一信道和第二信道的轉(zhuǎn)移概率cii分別為0.44和0.28，第一信道和 第二信道的轉(zhuǎn)移概率P i分別為0. 23和0. 12，第一信道和第二信道的帶寬Bi分別為1和 2，即a =
， P =
， B = [1，2]的情況下，信道i的T個(gè)時(shí)刻的采 樣狀態(tài)，通過仿真可以看出二級用戶在完全陌生的模型中利用具體實(shí)施方式
五所述的方法 得到的平均吞吐量僅僅比利用具體實(shí)施方式
四的平均吞吐量低6%左右。
當(dāng)信道數(shù)目N = 3， 二級用戶在T個(gè)時(shí)刻內(nèi)，在固定的馬爾科夫轉(zhuǎn)移概率(a ,， Pi)，第一信道、第二信道和第三信道的轉(zhuǎn)移概率Qi分別為O. 1、0. l和0.8，第一信道、第二 信道和第三信道的轉(zhuǎn)移概率P i分別為0. 5、0. 4和0. 3，第一信道、第二信道和第三信道的 帶寬Bi分別為0. 9、0. l和0.8，即a =
， P =
， B =
的情況下，信道i的T個(gè)時(shí)刻的采樣狀態(tài)，通過仿真可以看出二級用戶利用具體實(shí) 施方式五所述的方法得到的平均吞吐量僅僅比利用具體實(shí)施方式
四的平均吞吐量僅低2% 左右。
權(quán)利要求
對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法，其特征在于具體步驟如下步驟A、建立授權(quán)用戶占用信道的環(huán)境模型每條信道之間是彼此獨(dú)立的，且每條信道被授權(quán)用戶占用的情況服從馬爾科夫轉(zhuǎn)移過程；步驟B、每個(gè)二級用戶通過統(tǒng)計(jì)學(xué)習(xí)的方法，建立該二級用戶關(guān)于授權(quán)用戶信道轉(zhuǎn)移模型通過中心極限定理求解出采樣個(gè)數(shù)ri，通過信道i在ri次采樣的采樣狀態(tài)建立最大似然函數(shù)，然后對最大似然函數(shù)進(jìn)行求解，解出步驟A所述的每條信道被授權(quán)用戶占用的馬爾科夫轉(zhuǎn)移過程的轉(zhuǎn)換概率；步驟C、二級用戶利用部分觀測馬爾科夫決策過程做出最優(yōu)策略，所述部分觀測馬爾科夫決策過程為利用觀測歷史產(chǎn)生的相信矩陣來描述授權(quán)用戶對信道的占用情況，然后二級用戶在增大單位時(shí)間吞吐量的目標(biāo)下，利用報(bào)酬效用函數(shù)來決策在T個(gè)時(shí)刻內(nèi)采用的最優(yōu)行動(dòng)集合，實(shí)現(xiàn)環(huán)境模型未知的認(rèn)知無線電態(tài)智能頻譜接入。
2. 根據(jù)權(quán)利要求1所述的對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法，其特征在于步驟A中每條信道i任何時(shí)刻處在以下兩種狀態(tài)的一種忙或閑，忙為被授權(quán)用戶占用，用"O"表示，閑為不被授權(quán)用戶占用，用"l"表示，信道i狀態(tài)從"O"變?yōu)?l"的 概率為a i，則信道i保持"0"狀態(tài)不變的概率為l-a i，信道i保持"l"狀態(tài)不變的概率為e i，則信道i狀態(tài)從"i"變?yōu)?o"的概率為i-e i。
3. 根據(jù)權(quán)利要求1所述的對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法， 其特征在于步驟B的具體步驟如下步驟B1、由中心極限定理<formula>formula see original document page 2</formula>獲得信道i的采樣次數(shù)A<formula>formula see original document page 2</formula>其中，相對估計(jì)偏差S和置信概率Pc由用戶根據(jù)需要設(shè)定，是標(biāo)準(zhǔn)正態(tài)累計(jì) 分布函數(shù)，是采樣次數(shù)ri中檢測信道狀態(tài)值為"0"的次數(shù)，Yk是k時(shí)刻的信道觀測值， 取值為0或1，當(dāng)Yk = 0表示信道i在k時(shí)刻狀態(tài)觀測值是"O"，在k+l時(shí)刻狀態(tài) 是"0"的情況；當(dāng)Yk = 1表示信道i在k時(shí)刻狀態(tài)觀測值是"0"，在k+l時(shí)刻狀態(tài) "1"的情況。步驟B2、通過信道i在ri次采樣的采樣狀態(tài)，建立最大似然函數(shù)<formula>formula see original document page 2</formula>其中，f = (^， ^;》為信道狀態(tài)的采樣值，并且XkG (1，0hri是信道i的采樣個(gè)數(shù)，孓=(a" e》為似然函數(shù)，m。，ivm2，m3代表4種不同轉(zhuǎn)移形式(Xk， Xk—》=(O，O)、 (O，l)、 (l，O)禾P (l，l)的發(fā)生次數(shù)。步驟B3、將步驟B2建立的最大似然函數(shù)分別對a i和13 i求導(dǎo)，令其導(dǎo)數(shù)為0 附(^)/3a,. =0 附(f)/執(zhí)=0求解獲得a i和P i的最大似然估計(jì)量《和A 。 4 =附j(luò) /(, +=附2 /(附2 +附3)
4.根據(jù)權(quán)利要求1所述的對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法，其特征在于步驟C的具體步驟如下步驟Cl、在時(shí)刻t，二級用戶通過貝葉斯準(zhǔn)則，利用相信矩陣A(t) = [Ajt)，…， 入M(t)]<formula>formula see original document page 3</formula>對環(huán)境模型進(jìn)行估計(jì)，其中，M = 2 表示信道數(shù)目為N時(shí)，N條信道狀態(tài)組合的數(shù)目， 入j(t)表示在時(shí)刻t外部環(huán)境處于狀態(tài)j的概率值，r (A (t) |a， e)表示相信矩陣A (t) 是行動(dòng)a和狀態(tài)觀測值e的函數(shù)，Pk,j表示外部環(huán)境從狀態(tài)k轉(zhuǎn)移到狀態(tài)j的概率，Pr[Qj,a=e]表示外部環(huán)境處于狀態(tài)j時(shí)，二級用戶采取行動(dòng)a能得到狀態(tài)觀測值為e的概率值。步驟C2、將t時(shí)刻，外部環(huán)境處于狀態(tài)j，采取行動(dòng)a的情況下得到狀態(tài)觀測值為e的吞吐量作為優(yōu)化目標(biāo)，其中Bi代表信道i的帶寬，Sjt)代表信道i在t時(shí)刻是否可用，可用 時(shí)Sjt) = l，否則Si(t) = 0。 步驟C3、利用報(bào)酬效用函數(shù)<formula>formula see original document page 3</formula>確定在總共T個(gè)時(shí)刻內(nèi)，在每一個(gè)時(shí)刻使總的期望收益rj", e (t)最大時(shí)，對應(yīng)的感知 信道；即獲得在每一個(gè)時(shí)刻的最優(yōu)行動(dòng)所感知的信道；步驟C4、在T個(gè)時(shí)刻內(nèi)的所有最優(yōu)行動(dòng)組成的行動(dòng)集合表示為最優(yōu)策略Ji * : r<formula>formula see original document page 3</formula>即所應(yīng)該感知的最優(yōu)信道集合，然后根據(jù)獲得的最優(yōu)信道集合實(shí)現(xiàn)環(huán)境模型未知的 認(rèn)知無線電態(tài)智能頻譜接入。
5.根據(jù)權(quán)利要求1所述的對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法， 其特征在于步驟C的具體步驟如下步驟C 一、在時(shí)刻t，在給定感知和決策歷史的基礎(chǔ)上，信道i的可用概率為相信矩陣<formula>formula see original document page 4</formula>公式表示如果信道i通過報(bào)酬效用函數(shù)后被證明不是最優(yōu)行動(dòng)所感知的信道，即 a*(t) # i，那么信道i的可用性概率根據(jù)馬爾科夫轉(zhuǎn)移模型進(jìn)行升級；如果信道i通過報(bào)酬 效用函數(shù)后確定信道i為感知的信道，即a*(t) = i，那么結(jié)果分兩種，當(dāng)感知結(jié)果為1時(shí)，t+i時(shí)刻的信道i的相信矩陣Wi a+i)為i，即信道可用，反之，結(jié)果為o時(shí)，即信道繁忙，t+i 時(shí)刻的信道i的相信矩陣Wi a+i)為o，即信道不可用；步驟c二、將單位時(shí)間的信道i的吞吐i信矩陣Q ，求得T個(gè)時(shí)刻內(nèi)的信道i的吞吐3 rjt) = (Wi(t) Pi+(1—Wi(t)) a》Bi利用報(bào)酬效用函數(shù):作為優(yōu)化目標(biāo)，利用步驟cii求得信道i的相<formula>formula see original document page 4</formula>確定在總共T個(gè)時(shí)刻內(nèi)，在每一個(gè)時(shí)刻使總的期望收益最大時(shí)，對應(yīng)的感知信道；即 獲得在每一個(gè)時(shí)刻的最優(yōu)行動(dòng)所感知的信道；步驟C三、時(shí)刻t的最優(yōu)行動(dòng)是使時(shí)刻t的瞬時(shí)收益最大而采取的行動(dòng)，由T個(gè)時(shí)刻內(nèi) 的最優(yōu)行動(dòng)集合組成了最優(yōu)策略a*為<formula>formula see original document page 4</formula>最優(yōu)策略即所應(yīng)該感知的最優(yōu)信道集合，然后根據(jù)獲得的最優(yōu)信道集合實(shí)現(xiàn)環(huán)境模型 未知的認(rèn)知無線電態(tài)智能頻譜接入。
全文摘要
對未知環(huán)境模型特性的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入方法，它涉及用于分布式無中心認(rèn)知無線網(wǎng)絡(luò)通信領(lǐng)域，解決了現(xiàn)有的分布式非合作方式的認(rèn)知無線電動(dòng)態(tài)頻譜接入方法不能對于環(huán)境模型未知的情況進(jìn)行處理的問題，具體步驟如下A、建立授權(quán)用戶占用信道的環(huán)境模型假定信道彼此獨(dú)立，且授權(quán)用戶占用信道的情況服從馬爾科夫轉(zhuǎn)移過程；B、二級用戶通過統(tǒng)計(jì)學(xué)習(xí)的方法，建立完整的信道轉(zhuǎn)移模型通過中心極限定理求解出采樣個(gè)數(shù)，通過信道的采樣狀態(tài)建立最大似然函數(shù)，對最大似然函數(shù)進(jìn)行求解，解出馬爾科夫轉(zhuǎn)換過程的轉(zhuǎn)換概率；C、二級用戶利用部分觀測馬爾科夫決策過程做出最優(yōu)策略。適用于環(huán)境模型特性未知的認(rèn)知無線電動(dòng)態(tài)智能頻譜接入。
文檔編號(hào)H04W16/18GK101711032SQ20091007324
公開日2010年5月19日 申請日期2009年11月23日 優(yōu)先權(quán)日2009年11月23日
發(fā)明者劉法, 張欽宇, 汪洋, 沙學(xué)軍, 潘啟飛 申請人:哈爾濱工業(yè)大學(xué)