專利名稱：模擬用戶行為的WAP業(yè)務(wù)用戶感知體驗QoE評測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對無線應(yīng)用協(xié)議WAP (Wireless Application Protocol)業(yè)務(wù)的用戶體驗感知QoE (Quality of Experience)的測評方法,確切地說,涉及一種使用客觀方法模擬用戶行為的WAP業(yè)務(wù)用戶感知體驗QoE的評測方法，屬于移動通信網(wǎng)絡(luò)業(yè)務(wù)質(zhì)量評估的技術(shù)領(lǐng)域。
背景技術(shù)：
隨著通信網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，移動通信網(wǎng)絡(luò)中的WAP應(yīng)用越來越廣泛，例如WAP網(wǎng)頁的瀏覽、上傳、下載與流媒體等等。時至今日，WAP應(yīng)用已經(jīng)成為移動網(wǎng)絡(luò)中的主流應(yīng)用之一。對于WAP業(yè)務(wù)質(zhì)量好與壞的評價，用戶和網(wǎng)絡(luò)運營商有著不同的理解因為用戶更關(guān)心實際感受到的WAP業(yè)務(wù)質(zhì)量，具體參數(shù)包括頁面的打開速度，頁面是否能夠完全打開，下載速度如何，也就是用戶體驗感知QoE的相關(guān)參數(shù)，然而網(wǎng)絡(luò)運營商更注重網(wǎng)絡(luò)側(cè)的網(wǎng)元設(shè)備的服務(wù)質(zhì)量QoS (Quality of Service)。顯然，由于網(wǎng)絡(luò)側(cè)的性能參數(shù)并沒有直接與用戶體驗感知相互關(guān)聯(lián)，傳統(tǒng)業(yè)務(wù)質(zhì)量好壞的評測是基于網(wǎng)絡(luò)側(cè)的QoS參數(shù)(例如網(wǎng)絡(luò)時延、抖動等)，因此，其不能反映用戶使用業(yè)務(wù)時的真實感知。這種情況下，業(yè)務(wù)運營商和網(wǎng)絡(luò)運營商都無法根據(jù)用戶的業(yè)務(wù)使用的真實體驗來對網(wǎng)絡(luò)參數(shù)進行實時調(diào)整，以改進業(yè)務(wù)質(zhì)量和提升用戶感知。所以，對于網(wǎng)絡(luò)運營商來說，還需要建立一套真實、精準(zhǔn)的WAP業(yè)務(wù)的用戶體驗質(zhì)量客觀評測方案，用于評測其業(yè)務(wù)性能及用戶的感知體驗情況，進而根據(jù)評測結(jié)果優(yōu)化網(wǎng)絡(luò)性能，以提高服務(wù)質(zhì)量。隨著網(wǎng)絡(luò)運營商對用戶感知體驗情況的日益重視，現(xiàn)在已經(jīng)出現(xiàn)一些WAP業(yè)務(wù)質(zhì)量評測方法的現(xiàn)有技術(shù)，下面介紹其具體狀況有些業(yè)內(nèi)公司提出了對WAP業(yè)務(wù)用戶質(zhì)量評測的解決方案。例如，文獻《WAP業(yè)務(wù)性能分析模型及用戶感知評級體系研究》(刊于《郵電設(shè)計技術(shù)》，2010，01)介紹了 WAP業(yè)務(wù)性能優(yōu)化方法及用戶感知的評價體系，并對WAP業(yè)務(wù)應(yīng)用過程中返回原因值進行了歸類。文獻《基于3G移動業(yè)務(wù)的用戶體驗映射體系研究》(刊于《移動通信》，2011年第3 4期)提出了兩種QoS到QoE的映射體系及映射方法，其中一種是基于權(quán)重的QoS到QoE的映射，方法簡單，但是應(yīng)用環(huán)境較為單一，若場景或應(yīng)用發(fā)生變化，結(jié)果很可能不夠準(zhǔn)確。另一種是QoS到QoE映射的智能模型，需要以大量的數(shù)據(jù)和經(jīng)驗值作為基礎(chǔ)，準(zhǔn)確度完全依賴于使用的映射方法，適應(yīng)性不好。國內(nèi)科研院所也對WAP業(yè)務(wù)質(zhì)量評價有所研究。文獻《WAP業(yè)務(wù)用戶行為模型分析》(刊于《信息與電腦》，2009年第9期)，通過數(shù)據(jù)采集得到WAP用戶的行為模型，與現(xiàn)有已知曲線吻合較好，成功建立了 WAP業(yè)務(wù)的用戶使用習(xí)慣模型。但是，其考慮的應(yīng)用種類單一，實用性不強，有待進一步分析。另一文獻《實現(xiàn)移動產(chǎn)品運行質(zhì)量端到端量化分析的方法》(刊于《移動業(yè)務(wù)》，2011年第9期)對移動產(chǎn)品運行質(zhì)量分析，通過關(guān)鍵質(zhì)量指標(biāo)的開發(fā)及分解、產(chǎn)品健康度量化取值兩個階段建立質(zhì)量評估模型。然而，該方法中健康度量化僅通過簡單的線性函數(shù)擬合，與實際的用戶感知不太一致。
通過以上分析可以看出，目前的現(xiàn)有技術(shù)大多存在缺陷，或者僅考慮QoS參數(shù)，或者其應(yīng)用范圍不廣，或者其模型較為簡單，因此需要提出一種新的WAP業(yè)務(wù)的用戶體驗質(zhì)量評測方法。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的是提供一種模擬用戶行為的WAP業(yè)務(wù)用戶感知體驗QoE評測方法，本發(fā)明是針對目前基于網(wǎng)絡(luò)QoS參數(shù)的評測方法無法真實反映用戶體驗的缺陷，采用一種客觀方法模擬并評測用戶使用WAP業(yè)務(wù)的感知體驗情況，分別從接入性、保持性和完整性三方面建立關(guān)鍵體驗指標(biāo)KEI(KeyExperience Indicator),并對這些指標(biāo)進行綜合分析，最終得到類似于國際標(biāo)準(zhǔn)平均意見值MOS (Mean Opinion Score)的5分制WAP業(yè)務(wù)QoE值。為了達到上述發(fā)明目的，本發(fā)明提供了一種模擬用戶行為的WAP業(yè)務(wù)用業(yè)戶感知體驗QoE評測方法，其特征在于先設(shè)置一套分別包括網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的WAP業(yè)務(wù)各自的業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整三方面體驗性能參數(shù)所組成的QoE 測評指標(biāo)體系，然后，利用測試終端模擬用戶使用WAP業(yè)務(wù)的整個過程，分別采集與計算WAP業(yè)務(wù)的關(guān)鍵性能指標(biāo)KPI (KeyPerformance Indicator),進而計算其相應(yīng)的業(yè)務(wù)關(guān)鍵質(zhì)量指標(biāo)KQI (Key QualityIndicator),并利用心理模型對KQI進行綜合運算而獲得相應(yīng)的WAP業(yè)務(wù)關(guān)鍵體驗指標(biāo)KEI (Key Experience Indicator),然后對這些KEI指標(biāo)進行綜合分析，獲得等效于國際標(biāo)準(zhǔn)平均意見分值MOS (Mean Opinion Score)的5分制WAP業(yè)務(wù)QoE 值。所述WAP業(yè)務(wù)QoE測評指標(biāo)體系中的網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的WAP業(yè)務(wù)各自的業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整三方面體驗性能參數(shù)完全相同，其中業(yè)務(wù)接入性能參數(shù)設(shè)有3項取決于接入通用分組無線業(yè)務(wù)GPRS時長的接入時延，取決于GPRS附著Attach結(jié)束狀態(tài)和分組數(shù)據(jù)協(xié)議PDP激活結(jié)束狀態(tài)的接通率，以及取決于域名解析DNS響應(yīng)率的請求成功率；業(yè)務(wù)保持性能參數(shù)設(shè)有5項取決于承載網(wǎng)絡(luò)是否在線的在線率，取決于服務(wù)響應(yīng)率的傳輸完成率，平均傳輸速率，取決于速率標(biāo)準(zhǔn)差的速率穩(wěn)定度和取決于信號電平標(biāo)準(zhǔn)差的信號穩(wěn)定度；業(yè)務(wù)完整性能參數(shù)設(shè)有I項；取決于傳輸文件完整率的信息完好率。所述方法包括下述步驟(I)測試終端采集和計算多次WAP業(yè)務(wù)每種應(yīng)用的關(guān)鍵性能指標(biāo)KPI參數(shù)，且每次模擬用戶接入WAP業(yè)務(wù)后，多次使用WAP的網(wǎng)頁瀏覽、文件上傳或文件下載的三種應(yīng)用過程;(2)根據(jù)WAP業(yè)務(wù)QoE測評指標(biāo)體系中的WAP業(yè)務(wù)三種應(yīng)用中各自分別采集的關(guān) 鍵性能指標(biāo)KPI,逐步計算其業(yè)務(wù)關(guān)鍵質(zhì)量指標(biāo)KQI和利用心理|吳型對KQI進彳了綜合運算，從而獲得相應(yīng)的關(guān)鍵體驗指標(biāo)KEI，最終獲得模擬用戶多次使用WAP業(yè)務(wù)的QoE值；(3)在不同時間和/或不同地點分別執(zhí)行步驟(2)的操作后，對獲得的多次WAP業(yè)務(wù)的不同QoE值進行分析與統(tǒng)計，獲得在設(shè)定時間和/或設(shè)定地區(qū)的WAP業(yè)務(wù)用戶感知體驗的質(zhì)量狀況。所述步驟(I)中，測試終端采集和計算的WAP業(yè)務(wù)三種應(yīng)用的關(guān)鍵性能指標(biāo)KPI包括下述各個參數(shù)接入通用分組無線業(yè)務(wù)GPRS(General Packet Radio Service)時長為接入GPRS的結(jié)束時間與開始時間的差值，單位為秒(s)；GPRS附著(Attach)結(jié)束狀態(tài)所述附著是根據(jù)移動終端的簽約數(shù)據(jù)，系統(tǒng)確定是否允許移動終端在當(dāng)前請求的區(qū)域中進行數(shù)據(jù)業(yè)務(wù)訪問；若允許，即為附著成功，標(biāo)明測試終端已經(jīng)連接到GPRS，其數(shù)值為1，否則為0 ;分組數(shù)據(jù)協(xié)議F1DP (Packet Data Protocol)激活結(jié)束狀態(tài)所述激活是終端在傳送數(shù)據(jù)前向系統(tǒng)服務(wù)器申請IP地址資源和隧道標(biāo)志，建立用戶分組傳輸路由的過程；申請成功的數(shù)值為1，申請失敗的數(shù)值為0 ;域名解析DNS響應(yīng)率為DNS解析狀態(tài)與TCP連接狀態(tài)交集中數(shù)值為I的次數(shù)與測試次數(shù)的比值； 承載網(wǎng)絡(luò)狀態(tài)為通信網(wǎng)絡(luò)是否處于連接狀態(tài)，網(wǎng)絡(luò)在線時的數(shù)值為1，網(wǎng)絡(luò)掉線時的數(shù)值為0 ;服務(wù)響應(yīng)率為頁面顯示或文件上傳/下載完成狀態(tài)的數(shù)值為I的次數(shù)與測試次數(shù)的比值，頁面成功打開或文件上傳/下載完成時其數(shù)值為1，否則為0 ;平均傳輸速率為測試時間段內(nèi)傳輸速率的均值，即顯示頁面的字節(jié)長度或上傳/下載文件的字節(jié)長度與傳輸時長的比值，單位為KB/秒；速率標(biāo)準(zhǔn)差為測試時間段內(nèi)速率的均方差，單位為KB/秒；"[目號電平標(biāo)準(zhǔn)差為測試時間段內(nèi)"[目號電平的均方差，單位為dBm；傳輸文件完整率為衡量網(wǎng)頁顯示或文件上傳/下載是否完整的指標(biāo)，其數(shù)值為傳輸完成時的文件字節(jié)長度與完整文件的字節(jié)長度的比值。所述步驟(2)進一步包括下列操作內(nèi)容(21)利用測試終端采集到的WAP業(yè)務(wù)三種應(yīng)用中的KPI分別計算其對應(yīng)的各個KQI的下述測試參數(shù)接入時延為接入GPRS時長；接通率為Attach狀態(tài)與PDP激活狀態(tài)的交集值為I的個數(shù)與其交集值不為_1的個數(shù)之比，其交集值的數(shù)值范圍為{_1、0、1}，其中，“-I”表示未發(fā)生接通行為，即Attach或PDP激活行為未發(fā)生，“0”表示Attach狀態(tài)與PDP狀態(tài)中至少有一個為0，“ I ”表示兩個狀態(tài)值均為I ;請求成功率為DNS狀態(tài)與TCP連接狀態(tài)交集值為I的個數(shù)與其交集值不為_1的個數(shù)之比，其交集值的數(shù)值范圍為{_1、0、1}，其中，“-I ”表示未發(fā)生請求行為，即DNS或TCP連接行為未發(fā)生，“0”表示DNS狀態(tài)與TCP連接狀態(tài)中至少有一個為0，“ I”表示兩個狀態(tài)值均為I ;在線率為承載網(wǎng)絡(luò)狀態(tài)數(shù)值為I的個數(shù)與測試總次數(shù)的比值；傳輸完成率為頁面顯示或文件上傳/下載狀態(tài)數(shù)值為I的個數(shù)與其數(shù)值不為-I的個數(shù)之比，其狀態(tài)數(shù)值的范圍為{-1、0、1}，其中，“-I”表示未發(fā)生傳輸行為，“0”表示頁面顯示或文件上傳/下載失敗，“I”表示頁面顯示或文件上傳/下載成功；平均速率為平均傳輸速率；速率穩(wěn)定度為傳輸速率的標(biāo)準(zhǔn)差系數(shù)，用于表示單位平均傳輸速率的偏離度；苴計算公式為-速率穩(wěn)定度=速率標(biāo)準(zhǔn)差
一 TT舁A A1刀.L 1 L /t/又平均傳輸速率，信號穩(wěn)定度為信號電平標(biāo)準(zhǔn)差系數(shù)，用于表示單位信號電平均值的偏離度；其
、1檢八n信號電平標(biāo)準(zhǔn)差
計算:公式力:fa7穩(wěn)疋度=信號電平均值，信息完好率即傳輸文件的完整率，為傳輸完成時的文件字長與完整文件字節(jié)長度之比；在一次接入、多次應(yīng)用時，其數(shù)值為每次應(yīng)用的信息完好率的均值；(22)先將KQI指標(biāo)分為兩類實測指標(biāo)參數(shù)值越大、用戶的感知體驗性能越好的正向指標(biāo)和實測指標(biāo)參數(shù)值越大、用戶的感知體驗性能越差的反向指標(biāo)；其中正向指標(biāo)包括接通狀態(tài)、請求成功率、在線狀態(tài)、傳輸完成率、平均速率和信號完好率，反向指標(biāo)包括 接入時延、速率穩(wěn)定度和信號穩(wěn)定度；再將每項KQI指標(biāo)與其期望值相比較，并按照滿意度映射函數(shù)計算每個KQI的滿意度值KQImqs、即等效于其取值區(qū)間為
的MOS數(shù)值；(23)利用每個KQI的滿意度值KQImqs和層次分析法AHP (AnalyticHierarchyProcess),按照公式KEI= E JQImqs, i計算其KEI ;式中，系數(shù)《 i是由下標(biāo)i區(qū)分的網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的各自性能參數(shù)的各個KQI的權(quán)重，％均是利用AHP方法構(gòu)造各個KQI相對重要性關(guān)系判斷矩陣，再計算該判斷矩陣的最大特征值與其對應(yīng)的特征向量，并對該特征值進行一致性檢驗，且在滿足一致性檢驗后，對該特征向量進行歸一化處理后得到的特征向量，即各個KQI對應(yīng)的權(quán)重％ ;計算得到的KEI的取值區(qū)間為
；(24)按照下述公式加權(quán)計算用戶使用WAP各業(yè)務(wù)的QoE值QoE= E WjKEIj=Gj接入性KEI接人性+ 保持性KEI保持性+ 完整性KEI完整性；該步驟的操作與步驟(23)相同，也是利用AHP
方法先構(gòu)造KEI關(guān)系判斷矩陣，再計算該判斷矩陣的最大特征值與其對應(yīng)的特征向量，最后分別得到業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整的三個性能參數(shù)的權(quán)重；但是，當(dāng)任意一個KEI數(shù)值為0時，則其對應(yīng)的QoE即為O。所述期望值是根據(jù)人的主觀體驗、并由評估者對于不同類型業(yè)務(wù)應(yīng)用進行差異化設(shè)置的數(shù)值；所述滿意度映射函數(shù)是根據(jù)人的主觀體驗?zāi)Ｐ?，即取決于各項KQI實測值與其期望值之比而確定的下述兩種S型分段曲線函數(shù)式
0，KOL=O正向指標(biāo)滿意度映射函數(shù)式為'KQhtm= 1 +二厚，肌￡(0，勵%);
5.AT；/,,. >100%
-W TO
0,KQlur > 200%反向指標(biāo)滿意度映射函數(shù)式為K0IXU)S= ; 5h 2_Kan , KQL G (100%,200%);式
I + QC
5,KQLo < 100%
中，系數(shù)a取決于初始值，且a > 0 ;系數(shù)b決定S型曲線變化率；變量KQIst為KQI實測值與其期望值之比；其中正向指標(biāo)滿意度映射函數(shù)式表示當(dāng)KQI值低于期望值而高于設(shè)定數(shù)值時，對人的主觀體驗性能影響??；當(dāng)KQI值降低到該設(shè)定數(shù)值后仍繼續(xù)下降，人的主觀體驗性能急劇下降；當(dāng)KQI值繼續(xù)降低到另一設(shè)定數(shù)值后再繼續(xù)下降，人的主觀體驗性能變化平穩(wěn)；反向指標(biāo)滿意度映射函數(shù)公式表示當(dāng)KQI值高于期望值而低于設(shè)定數(shù)值時，對人的主觀體驗性能影響??；當(dāng)KQI值高于該設(shè)定數(shù)值后仍繼續(xù)增高，人的主觀體驗性能急劇下降；當(dāng)KQI值繼續(xù)增高到另一設(shè)定數(shù)值后再繼續(xù)增高，人的主觀體驗性能變化平穩(wěn)。本發(fā)明模擬用戶行為的WAP業(yè)務(wù)用戶感知體驗QoE的評測方法的優(yōu)點是該測評方法選用的參數(shù)標(biāo)準(zhǔn)客觀、實用，操作步驟簡單、容易實現(xiàn)；且該測評方法不需改變現(xiàn)有的移動通信網(wǎng)絡(luò)的組成架構(gòu)，只需用戶使用測試終端在任意時間和/或任意地點進行WAP業(yè)務(wù)不同應(yīng)用的評測，就可采集到所需的各種測評數(shù)據(jù)，再根據(jù)這些測評參數(shù)逐步計算KPI、KQI、KEI和QoE，就可以模擬用戶行為得到最終用戶相對客觀、公正的的體驗質(zhì)量、測評結(jié)果。而且，本發(fā)明的全部操作過程完全模擬用戶使用WAP業(yè)務(wù)的全部操作步驟，貼近業(yè)務(wù)的全部使用過程，包括一次接入網(wǎng)絡(luò)，多次使用不同應(yīng)用的各種過程。因此，本發(fā)明能夠?qū)崟r評測用戶業(yè)務(wù)的感知體驗水平，方便運營商據(jù)此對現(xiàn)網(wǎng)實現(xiàn)優(yōu)化?？傊景l(fā)明方法的操作步驟簡單、實用、計算復(fù)雜度低，還易于集成，且其應(yīng)用廣泛，具有較好的推廣價值和應(yīng)用前
旦
o


圖I是本發(fā)明模擬用戶行為的WAP業(yè)務(wù)用業(yè)戶感知體驗QoE評測方法操作步驟流程圖。圖2是本發(fā)明方法中的WAP業(yè)務(wù)評測指標(biāo)體系架構(gòu)圖。圖3 (A)、(B)分別是本發(fā)明方法實施例中的KQI實測數(shù)值與其期望值之比值的正向KQI滿意度值和反向KQI滿意度值的變化趨勢示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細(xì)描述。本發(fā)明是一種模擬用戶行為的WAP業(yè)務(wù)用業(yè)戶感知體驗QoE評測方法先設(shè)置一套分別包括網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的WAP業(yè)務(wù)各自的業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整三方面體驗性能參數(shù)所組成的QoE測評指標(biāo)體系，然后，利用測試終端模擬用戶使用WAP業(yè)務(wù)的整個過程，分別采集與計算WAP業(yè)務(wù)的關(guān)鍵性能指標(biāo)KPI，進而計算其相應(yīng)的業(yè)務(wù)關(guān)鍵質(zhì)量指標(biāo)KQI，并利用心理模型對KQI進行綜合運算而獲得相應(yīng)的WAP業(yè)務(wù)關(guān)鍵體驗指標(biāo)KEI，然后對這些KEI指標(biāo)進行綜合分析，獲得等效于國際標(biāo)準(zhǔn)平均意見分值MOS的5分制WAP業(yè)務(wù)QoE值。下面參見圖I和圖2，以WAP瀏覽為主要應(yīng)用，同時也附帶有WAP文件上傳和WAP文件下載為實施例，說明本發(fā)明方法的三個具體操作步驟(需要說明的是=WAP文件上傳和WAP文件下載的體驗質(zhì)量評測與WAP瀏覽基本相同，其區(qū)別只是略有差異的個別測試參數(shù)，其操作步驟完全相同)步驟I :測試終端采集和計算用戶一次WAP業(yè)務(wù)(包括多次使用)的KPI參數(shù)首先新建WAP網(wǎng)頁瀏覽測試任務(wù)，設(shè)置下述模擬用戶瀏覽WAP網(wǎng)頁行為的測試條件和參數(shù):WAP連接超時的設(shè)定時長為30s, web url地址(實施例為http://wap, sina. com,或者也可瀏覽其他網(wǎng)頁)，本次接入訪問url的次數(shù)3次，每次訪問url的間隔時間30s、訪問url的超時時間為30s、WAP斷開連接的超時設(shè)定時長為30s、終端選擇等，然后，存儲并執(zhí)行測試任務(wù)，終端完成3次WAP瀏覽為主的KPI測試數(shù)據(jù)的采集，如下表I所示。

權(quán)利要求
1.一種模擬用戶行為的WAP業(yè)務(wù)用業(yè)戶感知體驗QoE評測方法，其特征在于先設(shè)置一套分別包括網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的WAP業(yè)務(wù)各自的業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整三方面體驗性能參數(shù)所組成的QoE測評指標(biāo)體系，然后，利用測試終端模擬用戶使用WAP業(yè)務(wù)的整個過程，分別采集與計算WAP業(yè)務(wù)的關(guān)鍵性能指標(biāo)KPI(Key Performance Indicator),進而計算其相應(yīng)的業(yè)務(wù)關(guān)鍵質(zhì)量指標(biāo)KQI (Key QualityIndicator)，并利用心理模型對KQI進行綜合運算而獲得相應(yīng)的WAP業(yè)務(wù)關(guān)鍵體驗指標(biāo)KEI(Key ExperienceIndicator),然后對這些KEI指標(biāo)進行綜合分析,獲得等效于國際標(biāo)準(zhǔn)平均意見分值MOS (Mean Opinion Score)的5分制WAP業(yè)務(wù)QoE值。
2.根據(jù)權(quán)利要求I所述的評測方法，其特征在于所述WAP業(yè)務(wù)QoE測評指標(biāo)體系中的網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的WAP業(yè)務(wù)各自的業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整三方面體驗性能參數(shù)完全相同，其中業(yè)務(wù)接入性能參數(shù)設(shè)有3項取決于接入通用分組無線業(yè)務(wù)GPRS時長的接入時延，取決于GPRS附著Attach結(jié)束狀態(tài)和分組數(shù)據(jù)協(xié)議I3DP激活結(jié)束狀態(tài)的接通率，以及取決于域名解析DNS響應(yīng)率的請求成功率；業(yè)務(wù)保持性能參數(shù)設(shè)有5項取決于承載網(wǎng)絡(luò)是否在線的在線率，取決于服務(wù)響應(yīng)率的傳輸完成率，平均傳輸速率，取決于速率標(biāo)準(zhǔn)差的速率穩(wěn)定度和取決于彳目號電平標(biāo)準(zhǔn)差的彳目號穩(wěn)定度；業(yè)務(wù)完整性能參數(shù)設(shè)有I項取決于傳輸文件完整率的信息完好率。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述方法包括下述步驟 (1)測試終端采集和計算多次WAP業(yè)務(wù)每種應(yīng)用的關(guān)鍵性能指標(biāo)KPI參數(shù)，且每次模擬用戶接入WAP業(yè)務(wù)后，多次使用WAP的網(wǎng)頁瀏覽、文件上傳或文件下載的三種應(yīng)用過程； (2)根據(jù)WAP業(yè)務(wù)QoE測評指標(biāo)體系中的WAP業(yè)務(wù)三種應(yīng)用中各自分別采集的關(guān)鍵性能指標(biāo)KPI，逐步計算其業(yè)務(wù)關(guān)鍵質(zhì)量指標(biāo)KQI和利用心理模型對KQI進行綜合運算，從而獲得相應(yīng)的關(guān)鍵體驗指標(biāo)KEI，最終獲得模擬用戶多次使用WAP業(yè)務(wù)的QoE值； (3)在不同時間和/或不同地點分別執(zhí)行步驟(2)的操作后，對獲得的多次WAP業(yè)務(wù)的不同QoE值進行分析與統(tǒng)計，獲得在設(shè)定時間和/或設(shè)定地區(qū)的WAP業(yè)務(wù)用戶感知體驗的質(zhì)量狀況。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于所述步驟(I)中，測試終端采集和計算的WAP業(yè)務(wù)三種應(yīng)用的關(guān)鍵性能指標(biāo)KPI包括下述各個參數(shù) 接入通用分組無線業(yè)務(wù)GPRS時長為接入GPRS的結(jié)束時間與開始時間的差值，単位為秒(S)； GPRS附著(Attach)結(jié)束狀態(tài)所述附著是根據(jù)移動終端的簽約數(shù)據(jù)，系統(tǒng)確定是否允許移動終端在當(dāng)前請求的區(qū)域中進行數(shù)據(jù)業(yè)務(wù)訪問；若允許，即為附著成功，標(biāo)明測試終端已經(jīng)連接到GPRS，其數(shù)值為1，否則為O ; 分組數(shù)據(jù)協(xié)議PDP激活結(jié)束狀態(tài)所述激活是終端在傳送數(shù)據(jù)前向系統(tǒng)服務(wù)器申請IP地址資源和隧道標(biāo)志，建立用戶分組傳輸路由的過程；申請成功的數(shù)值為1，申請失敗的數(shù)值為O ; 域名解析DNS響應(yīng)率為DNS解析狀態(tài)與TCP連接狀態(tài)交集中數(shù)值為I的次數(shù)與測試次數(shù)的比值； 承載網(wǎng)絡(luò)狀態(tài)為通信網(wǎng)絡(luò)是否處于連接狀態(tài)，網(wǎng)絡(luò)在線時的數(shù)值為1，網(wǎng)絡(luò)掉線時的數(shù)值為O ;服務(wù)響應(yīng)率為頁面顯示或文件上傳/下載完成狀態(tài)的數(shù)值為I的次數(shù)與測試次數(shù)的比值，頁面成功打開或文件上傳/下載完成時，其數(shù)值為1，否則為O ; 平均傳輸速率為測試時間段內(nèi)傳輸速率的均值，即顯示頁面的字節(jié)長度或上傳/下載文件的字節(jié)長度與傳輸時長的比值，単位為KB/秒； 速率標(biāo)準(zhǔn)差為測試時間段內(nèi)速率的均方差，單位為KB/秒； 信號電平標(biāo)準(zhǔn)差為測試時間段內(nèi)信號電平的均方差，單位為dBm ； 傳輸文件完整率為衡量網(wǎng)頁顯示或文件上傳/下載是否完整的指標(biāo)，其數(shù)值為傳輸完成時的文件字節(jié)長度與完整文件的字節(jié)長度的比值。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于所述步驟(2)進ー步包括下列操作內(nèi)容 (21)利用測試終端采集到的WAP業(yè)務(wù)三種應(yīng)用中的KPI分別計算其對應(yīng)的各個KQI的下述測試參數(shù) 接入時延為接入GPRS時長； 接通率為Attach狀態(tài)與PDP激活狀態(tài)的交集值為I的個數(shù)與其交集值不為-I的個數(shù)之比，其交集值的數(shù)值范圍為{_1、0、1}，其中，“-1”表示未發(fā)生接通行為，即Attach或PDP激活行為未發(fā)生，“O”表示Attach狀態(tài)與PDP狀態(tài)中至少有ー個為O，“I”表示兩個狀態(tài)值均為I ; 請求成功率為DNS狀態(tài)與TCP連接狀態(tài)交集值為I的個數(shù)與其交集值不為-I的個數(shù)之比，其交集值的數(shù)值范圍為{_1、0、1}，其中，“-1”表示未發(fā)生請求行為，即DNS或TCP連接行為未發(fā)生，“O”表示DNS狀態(tài)與TCP連接狀態(tài)中至少有ー個為O，“I”表示兩個狀態(tài)值均為I ; 在線率為承載網(wǎng)絡(luò)狀態(tài)數(shù)值為I的個數(shù)與測試總次數(shù)的比值； 傳輸完成率為頁面顯示或文件上傳/下載狀態(tài)數(shù)值為I的個數(shù)與其數(shù)值不為-I的個數(shù)之比，其狀態(tài)數(shù)值的范圍為{-1、0、1}，其中，“-1”表示未發(fā)生傳輸行為，“O”表示頁面顯示或文件上傳/下載失敗，“I”表示頁面顯示或文件上傳/下載成功； 平均速率為平均傳輸速率； 速率穩(wěn)定度為傳輸速率的標(biāo)準(zhǔn)差系數(shù)，用于表示単位平均傳輸速率的偏離度；其計算公式為請臟 信號穩(wěn)定度為信號電平標(biāo)準(zhǔn)差系數(shù)，用于表示単位信號電平均值的偏離度；其計算ハ+1信號電平標(biāo)準(zhǔn)差·么、式力疋反=信號電平均值， 信息完好率即傳輸文件的完整率，為傳輸完成時的文件字長與完整文件字節(jié)長度之比；在一次接入、多次應(yīng)用時，其數(shù)值為每次應(yīng)用的信息完好率的均值； (22)先將KQI指標(biāo)分為兩類實測指標(biāo)參數(shù)值越大、用戶的感知體驗性能越好的正向指標(biāo)和實測指標(biāo)參數(shù)值越大、用戶的感知體驗性能越差的反向指標(biāo)；其中正向指標(biāo)包括接通狀態(tài)、請求成功率、在線狀態(tài)、傳輸完成率、平均速率和信號完好率，反向指標(biāo)包括接入時延、速率穩(wěn)定度和信號穩(wěn)定度； 再將每項KQI指標(biāo)與其期望值進行比較，并按照滿意度映射函數(shù)計算每個KQI的滿意度值KQImqs、即等效于其取值區(qū)間為[O，5]的MOS數(shù)值；(23)利用每個KQI的滿意度值KQIhb和層次分析法AHP，按照公式KEI=Σ ω計算其KEI ;式中，系數(shù)Oi.由下標(biāo)i區(qū)分的網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的各自性能參數(shù)的各個KQI的權(quán)重，ω i均是利用AHP方法構(gòu)造各項KQI相對重要性關(guān)系判斷矩陣，再計算該判斷矩陣的最大特征值與其對應(yīng)的特征向量，并對該特征值進行一致性檢驗，且在滿足一致性檢驗后，對該特征向量進行歸一化處理后得到的特征向量，即各KQI對應(yīng)的權(quán)重Qi ;該KEI的取值區(qū)間為
； (24)按照下述公式加權(quán)計算用戶使用WAP各業(yè)務(wù)的QoE值 QoE= Σ ω jKEIj= ω接入性KEI接入性+ ω保持性KEI保持性+ ω完整性KEI完整性；該步驟的操作與步驟(23)相同，也是利用AHP方法先構(gòu)造KEI關(guān)系判斷矩陣，再計算該判斷矩陣的最大特征值與其對應(yīng)的特征向量，最后分別得到業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整的三個性能參數(shù)的權(quán)重；但是，當(dāng)任意ー個KEI數(shù)值為O時，則其對應(yīng)的QoE即為O。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于所述期望值是根據(jù)人的主觀體驗、并由評估者對于不同類型業(yè)務(wù)應(yīng)用進行差異化設(shè)置的數(shù)值；所述滿意度映射函數(shù)是根據(jù)人的主觀體驗?zāi)Ｐ?，即取決于各項KQI實測值與其期望值之比而確定的下述兩種S型分段曲線函數(shù)式 正向指標(biāo)滿意度映射函數(shù)式為:
全文摘要
一種模擬用戶行為的WAP業(yè)務(wù)用戶感知體驗QoE評測方法，是先設(shè)置一套分別包括網(wǎng)頁瀏覽、文件上傳和文件下載三種應(yīng)用的WAP業(yè)務(wù)各自的業(yè)務(wù)接入、業(yè)務(wù)保持和業(yè)務(wù)完整三方面體驗性能參數(shù)所組成的QoE測評指標(biāo)體系，然后，利用測試終端模擬用戶使用WAP業(yè)務(wù)的整個過程，分別采集與計算WAP業(yè)務(wù)的關(guān)鍵性能指標(biāo)KPI，進而計算其相應(yīng)的業(yè)務(wù)關(guān)鍵質(zhì)量指標(biāo)KQI，并利用心理模型對KQI進行綜合運算，獲得相應(yīng)WAP業(yè)務(wù)關(guān)鍵體驗指標(biāo)KEI，獲得等效于國際標(biāo)準(zhǔn)平均意見分值MOS的5分制WAP業(yè)務(wù)QoE值。本發(fā)明選用的測評參數(shù)標(biāo)準(zhǔn)客觀、實用，操作步驟簡單、計算復(fù)雜度低、容易實現(xiàn)和易于集成；能夠模擬用戶行為得到相對客觀、公正的用戶體驗感知質(zhì)量。
文檔編號H04W24/06GK102685791SQ20121016051
公開日2012年9月19日 申請日期2012年5月22日 優(yōu)先權(quán)日2012年5月22日
發(fā)明者亓玉嬌, 劉勇, 葉艷柯, 周小毛, 孟欣欣, 徐靜濤, 李湘平, 杜海清, 王永峰, 胡文, 許克輝 申請人:北京東方文駿軟件科技有限責(zé)任公司, 北京郵電大學(xué)