基于pomdp的受控?zé)o線網(wǎng)絡(luò)系統(tǒng)動(dòng)態(tài)資源分配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于部分可觀察馬爾可夫決策過程（P0MDP)的受控?zé)o線通信網(wǎng) 絡(luò)系統(tǒng)動(dòng)態(tài)資源分配方法，通過P0MDP方法，設(shè)計(jì)一種有利于無線通信網(wǎng)絡(luò)的資源分配的 選擇方案，屬于受控?zé)o線網(wǎng)絡(luò)與通信資源分配研究的相關(guān)領(lǐng)域。
【背景技術(shù)】
[0002] 移動(dòng)通信在近幾十年來得到了迅猛發(fā)展，用戶對(duì)無線通信網(wǎng)絡(luò)的服務(wù)質(zhì)量需求也 在不斷提高，促使無線通信系統(tǒng)正在從2G、3G、B3G、4G以及5G演進(jìn)，網(wǎng)絡(luò)主體也將從語音主 導(dǎo)的網(wǎng)絡(luò)向著高速數(shù)據(jù)為主導(dǎo)的網(wǎng)絡(luò)轉(zhuǎn)型。與此同時(shí)，移動(dòng)多媒體業(yè)務(wù)對(duì)帶寬的要求越來 越高，"寬帶化"成為移動(dòng)通信技術(shù)的發(fā)展趨勢(shì)。目前，影響無線通信網(wǎng)絡(luò)服務(wù)質(zhì)量（Quality ofService，QoS)主要有以下三個(gè)方面：第一，無線移動(dòng)通信網(wǎng)絡(luò)的高動(dòng)態(tài)性、用戶位置的 隨機(jī)改變帶來的頻繁切換操作和網(wǎng)絡(luò)拓?fù)涞囊鬃冃?，將?huì)導(dǎo)致數(shù)據(jù)傳輸速率和連通性的不 穩(wěn)定；第二，無線通信網(wǎng)絡(luò)的信道衰落和移動(dòng)終端的功率或能量受限等特性，導(dǎo)致小區(qū)用戶 接收到基站的功率損耗占有很大比重；第三，受基站和用戶間的信道衰落、基站和用戶的天 線開啟數(shù)、用戶的信噪比等影響，數(shù)據(jù)傳輸中的誤碼率也會(huì)受很大影響，從而影響數(shù)據(jù)鏈路 傳輸?shù)目煽啃?。多年來，盡管業(yè)內(nèi)對(duì)無線通信網(wǎng)絡(luò)的設(shè)計(jì)算法等不斷優(yōu)化改進(jìn)，提出了諸多 改善網(wǎng)絡(luò)服務(wù)質(zhì)量的方法，推動(dòng)了無線通信網(wǎng)絡(luò)設(shè)計(jì)向前發(fā)展，但始終無法徹底解決諸如 網(wǎng)絡(luò)功耗損失、數(shù)據(jù)傳輸可靠性等問題，因此，基于傳統(tǒng)的無線通信網(wǎng)絡(luò)系統(tǒng)架構(gòu)以及通信 分層協(xié)議體系的設(shè)計(jì)和部署已不能更有效解決這些矛盾。
[0003] 在控制工程領(lǐng)域，反饋控制策略作為最基本的控制方法，成為閉環(huán)控制系統(tǒng)的核 心，對(duì)系統(tǒng)各個(gè)節(jié)點(diǎn)狀態(tài)的控制、調(diào)節(jié)起到了至關(guān)重要的作用。反饋策略從提出之始，便在 工業(yè)系統(tǒng)的閉環(huán)控制、信息論以及信道編碼等領(lǐng)域獲得了廣泛而深入的應(yīng)用。借助于反饋 策略，控制系統(tǒng)本身具備了自調(diào)整、自適應(yīng)和自鎮(zhèn)定的能力，系統(tǒng)性能指標(biāo)得到了全面的提 高。與此同時(shí)，無線網(wǎng)絡(luò)控制系統(tǒng)（WirelessNetworkControlSystems,WNCS)的研究引 起國(guó)內(nèi)外學(xué)者的高度關(guān)注。德國(guó)凱澤斯勞滕大學(xué)的L.Litz教授和A.Chamaken博士提出 將無線通信網(wǎng)絡(luò)嵌入工業(yè)控制系統(tǒng)中，設(shè)計(jì)滿足控制系統(tǒng)性能指標(biāo)需求的系統(tǒng)架構(gòu)、控制 算法以及無線通信網(wǎng)絡(luò)架構(gòu)和通信協(xié)議，從而提升系統(tǒng)的傳感器、控制器和執(zhí)行器之間對(duì) 信息的處理和對(duì)系統(tǒng)的控制，實(shí)現(xiàn)了對(duì)工業(yè)控制系統(tǒng)的預(yù)測(cè)和優(yōu)化。意大利拉奎拉大學(xué)的 M.D.DiBenedetto等學(xué)者對(duì)WNCS設(shè)計(jì)有深入研究，他們提出了一個(gè)相關(guān)代價(jià)函數(shù)，利用該 函數(shù)，首先將控制系統(tǒng)的噪聲、編碼、調(diào)制方式以及系統(tǒng)功率等參數(shù)映射到無線網(wǎng)絡(luò)中，然 后選擇適當(dāng)?shù)臒o線網(wǎng)絡(luò)類型，從而滿足提升控制系統(tǒng)的魯棒性和靈活性的需要。
[0004] 部分可觀察馬爾可夫決策過程（P0MDP)是通過引入信念狀態(tài)空間將非馬爾可夫 鏈問題轉(zhuǎn)化為馬爾可夫鏈問題來求解，其最大的特點(diǎn)在于假設(shè)系統(tǒng)的狀態(tài)信息不能直接觀 測(cè)得到，是部分可知的，對(duì)只有不完全狀態(tài)信息的系統(tǒng)建模，依據(jù)當(dāng)前的不完全狀態(tài)信息做 出決策，從而獲得最大收益。這種狀態(tài)轉(zhuǎn)移模型更符合于無線通信網(wǎng)絡(luò)場(chǎng)景中的部分狀態(tài) 信息不完全可知，需要通過觀測(cè)從而獲得最優(yōu)資源分配的特點(diǎn)。
[0005] 綜上所述，本發(fā)明的主要目的是引入控制反饋優(yōu)化策略，將P0MDP模型應(yīng)用于受 控?zé)o線通信網(wǎng)絡(luò)系統(tǒng)，通過給定小區(qū)用戶接入數(shù)構(gòu)成的狀態(tài)轉(zhuǎn)移概率矩陣和反饋網(wǎng)絡(luò)QoS 服務(wù)指標(biāo)（用戶接收功率和用戶傳輸誤碼率）構(gòu)成的觀測(cè)概率矩陣，并根據(jù)某時(shí)刻的小區(qū) 用戶接入狀態(tài)（BeliefState)和對(duì)應(yīng)的基站開啟天線數(shù)的收益，從而預(yù)測(cè)判斷下一時(shí)刻小 區(qū)用戶最優(yōu)接入數(shù)；同時(shí)，根據(jù)最大收益，判決此時(shí)刻小區(qū)基站天線開啟數(shù)，最終達(dá)到小區(qū) 內(nèi)基站天線、用戶接入的最優(yōu)資源分配。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的主要目的是在小區(qū)通信網(wǎng)絡(luò)最優(yōu)資源分配的角度上，考慮小區(qū)網(wǎng)絡(luò)中存 在一個(gè)多天線基站和多個(gè)用戶的情況下，以每時(shí)刻接入用戶數(shù)與小區(qū)開啟天線數(shù)動(dòng)態(tài)資源 分配最優(yōu)為優(yōu)化目標(biāo)，通過P0MDP模型以及控制反饋策略的應(yīng)用，完成小區(qū)基站天線開啟 與接入用戶的最優(yōu)資源分配策略。本方法解決了在小區(qū)網(wǎng)絡(luò)中有多個(gè)天線的基站和多個(gè)通 信用戶的情況下，如何選擇確定最優(yōu)資源分配的問題，并通過最優(yōu)資源分配獲得小區(qū)無線 通信網(wǎng)絡(luò)系統(tǒng)的最大收益。
[0007] 本發(fā)明所適應(yīng)的小區(qū)環(huán)境場(chǎng)景模型見圖1。
[0008] 本發(fā)明技術(shù)方案中的系統(tǒng)運(yùn)行原理流程圖見圖2。
[0009] 本發(fā)明系統(tǒng)用戶接收功率基站情況對(duì)比圖見圖3。
[0010] 本發(fā)明系統(tǒng)誤碼率情況對(duì)比圖見圖4。
[0011] 本發(fā)明系統(tǒng)小區(qū)內(nèi)不同條件下平均收益對(duì)比圖見圖5。
[0012] 本發(fā)明系統(tǒng)小區(qū)接入用戶數(shù)情況與基站開啟天線數(shù)對(duì)比圖見圖6。
[0013] 本發(fā)明的小區(qū)環(huán)境場(chǎng)景模型示意圖如圖1所示，基于P0MDP的受控?zé)o線網(wǎng)絡(luò)系統(tǒng) 動(dòng)態(tài)資源分配方法，其特點(diǎn)在于：在某個(gè)通信小區(qū)內(nèi)，包含有一個(gè)具有N根天線的基站和 M個(gè)單天線的用戶，當(dāng)已知小區(qū)用戶接入數(shù)的狀態(tài)轉(zhuǎn)移概率矩陣和反饋網(wǎng)絡(luò)QoS指標(biāo)（用 戶接收功率和用戶傳輸誤碼率）的觀測(cè)矩陣后，依據(jù)某一時(shí)刻用戶接入數(shù)的信度狀態(tài)概率 (beliefstate，BS)，從而獲得此時(shí)刻具有最大收益的基站天線開啟數(shù)和下一時(shí)刻小區(qū)用 戶最優(yōu)接入數(shù)，具體依次按以下步驟實(shí)現(xiàn)：
[0014] 步驟（1)，系統(tǒng)初始化，根據(jù)實(shí)際情況有：
[0015] 小區(qū)內(nèi)包含有M個(gè)單天線用戶，某一時(shí)刻，需要接入基站的用戶數(shù)表示為Sl，s2，~ ，Sni，…，sM，Sni表示有m個(gè)用戶接入基站，同時(shí)，包含有一個(gè)N根天線的基站，開啟天線數(shù)表示 為1'1，1'2，~，1；，一，1；，1；表示基站開啟11根天線?；九c各用戶之間的傳輸帶寬為8，信道 衰落系數(shù)均為hSiD，基站發(fā)送功率為Ptotal，各發(fā)送天線均相同，對(duì)應(yīng)每根天線的發(fā)送功率P& =Ptotal/N，系統(tǒng)噪聲功率表示為〇 ;
[0016] 步驟（2)，構(gòu)造用戶接入基站數(shù)的狀態(tài)轉(zhuǎn)移矩陣：根據(jù)基站開啟各個(gè)天線數(shù)，確定 小區(qū)內(nèi)用戶接入數(shù)的轉(zhuǎn)移概率矩陣，當(dāng)基站開啟天線數(shù)為1；時(shí)，小區(qū)用戶接入數(shù)轉(zhuǎn)移概率 矩陣Sn可以表示為：
[0017]
[0018] 用Si表示當(dāng)前時(shí)亥I」，用戶接入基站數(shù)為i(l彡i彡M)個(gè)，s' .j表示下一時(shí)亥I」，用戶 接入基站數(shù)為j(1 <j<M)個(gè)，Pu表示用戶接入基站數(shù)從i個(gè)到j(luò)個(gè)的概率，其計(jì)算方法 表示如下：
[0019] 當(dāng)基站開啟天線數(shù)為1；時(shí)，隨機(jī)重復(fù)A次觀測(cè)，觀察用戶接入數(shù)轉(zhuǎn)移情況，當(dāng)用戶 接入基站數(shù)從i個(gè)轉(zhuǎn)移到j(luò)個(gè)共有B(B<A)次時(shí)，概率Plj表示為：
[0020]
[0021] 步驟（3)，構(gòu)造反饋觀測(cè)矩陣：根據(jù)反饋控制策略，針對(duì)系統(tǒng)待優(yōu)化的反饋QoS目 標(biāo)，即用戶接收功率和用戶傳輸誤碼率，確定觀測(cè)矩陣，具體步驟如下：
[0022] 步驟（3. 1)，當(dāng)開啟天線數(shù)為!；，用戶接入基站數(shù)為m時(shí)，計(jì)算用戶接收功率，表示 為：
[0023]
[0024] 其中，基站的發(fā)射功率為Ptotal，每一根天線的發(fā)射功率可以表示為Ptl=Ptotal/N， ln為基站與用戶之間的距離，Hn為用戶天線