專利名稱:遠距離相關(guān)參數(shù)的實時估計的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及以實時方式估計參數(shù)的一種方法,這些參數(shù)是用于說明數(shù)據(jù)流中那種遠距離相關(guān)(LRD)過程的。更具體地說,本發(fā)明涉及實時地估計電信數(shù)據(jù)通信序列中赫斯特(H)參數(shù)和尺寸參數(shù)cf的一種方法,它能幫助分析長途通信業(yè)務應用中的數(shù)據(jù)。
隨著人們在各種類型的數(shù)據(jù)和通信信息中發(fā)現(xiàn)自相似和遠距離相關(guān)特性,LRD現(xiàn)象引起了電信領(lǐng)域的強烈興趣。關(guān)于這一現(xiàn)象對電信網(wǎng)絡性能的影響的調(diào)查顯現(xiàn)了對LRD參數(shù)非常精確和具有很高計算效率的估計算法的需要。
人們已經(jīng)知道遠距離相關(guān)存在于大量推廣類型的數(shù)據(jù)中,包括高速電信網(wǎng)中的數(shù)據(jù)通信信號。在數(shù)據(jù)集合之間存在強相關(guān)的情況下,LRD的存在使得人們能夠預測數(shù)據(jù)通信的趨勢。LRD的一個常用定義是,平穩(wěn)隨機時間序列{xi}自協(xié)方差函數(shù)的緩慢、冪律一樣的衰減??梢詫⑺葍r地定義為以下序列譜起始點的冪律散度fx(V)~cf|V|-a,|V|→O ( 1 )或者~Cf|V1-2H,|V|→O其中H=(1+α)/2是赫斯特參數(shù),0.5<H<1,α是“尺度”參數(shù),cf是“尺寸”參數(shù)。
LRD現(xiàn)象主要說的是從任意給定時刻開始所有下游相關(guān)的和總是可以察覺的,即使這些相關(guān)單個地都很小。重要的是它意味著根本不可能定義一個特征時間尺度,超過它以后相關(guān)就基本消失,就象自相關(guān)函數(shù)按指數(shù)規(guī)律衰減過程這種情形一樣,這也是經(jīng)典假設。這樣,例如,人們無法找到一個基準時間單位,在這一基準之上數(shù)據(jù)的一些特性能夠可靠地測量出來。LRD的特征在于參數(shù)α決定的尺度不變特性,而不是單個重要的時間尺度,這個參數(shù)α描述的是尺度之間的關(guān)系。
LRD的最簡單定義涉及到前面介紹過的兩個參數(shù)α和cf,其中α更重要。
由于α因而H出現(xiàn)在(1)式的指數(shù)中,因此,它定義了LRD現(xiàn)象的存在,并支配著LRD過程的特征尺度行為以及從它導出的統(tǒng)計量,包括序列抽樣平均這樣的基本量。這樣,H給出了數(shù)據(jù)集合之間相關(guān)的衰減速率的一個度量。因此正確地估計α非常重要。
參數(shù)cf在確定LRD產(chǎn)生的效應的絕對尺寸里起著主要作用,它的一般特性由H決定。估計cf對量化分析非常重要,但是也存在著H估計所固有的統(tǒng)計困難。
赫斯特參數(shù)有基于時域或者基于頻域的估計值,它的統(tǒng)計性能很差,包括高偏差和/或很大的方差。
但是,利用小波分析的估計器會以一種無偏差的方式給出自然的,在統(tǒng)計意義上和計算方面具有高效率的赫斯特參數(shù)H估計。小波分析是一種工具,直接通過尺度一時間聯(lián)合小波分解來研究數(shù)據(jù)跟尺度有關(guān)的特性。通過進行多尺度分析,小波分解考慮了過程的尺度特性。這樣,關(guān)于其中的過程不需要進行許多假設。如果找到了LRD跡象,它就會給出一個無偏差半?yún)?shù)估計器,這可以用離散多分辨率分析(MRA)中的技術(shù)來高效實現(xiàn)(見P.Abry,P.Goncalves和P.Flandrin的“小波、頻譜估計、1/f過程”,統(tǒng)計學演講記錄,小波和統(tǒng)計學,1995年,第105卷,第15~30頁)。
然而,這樣的小波估計器只將直到特定時刻的數(shù)據(jù)集或者某一時間段內(nèi)的數(shù)據(jù)集的“靜態(tài)”分析考慮在內(nèi)。因此,它是一種離線處理,需要大量的存儲器儲存用于這一分析的所有數(shù)據(jù)組。如果在已有的數(shù)據(jù)集中需要添加新的數(shù)據(jù)組然后進行分析,那就仍然需要保留所有的數(shù)據(jù)組,從而需要更多的存儲器來儲存這些數(shù)據(jù)組。隨著添加越來越多的數(shù)據(jù)組,擁有巨大的存儲器儲存裝置陣列變得越來越不現(xiàn)實。
有必要能夠分析實時數(shù)據(jù),例如長途通信業(yè)務數(shù)據(jù),其中增加的數(shù)據(jù)對電信網(wǎng)絡的影響可以當時就考慮進去,而不需要在一個特定的時間段內(nèi)儲存大量的數(shù)據(jù)集。
本發(fā)明在小波分析的基礎上提供一種實時方法,用于估計在線數(shù)據(jù)流的LRD參數(shù),而不需要很大的存儲器,并且能夠以足夠塊的速度處理高速率數(shù)據(jù)。
該方法自然地確定尺度,這樣,當數(shù)據(jù)傳輸速率隨著時間遷移變得更高的時候,從速度和存儲器容量方面考慮,該方法將是既可行又有效的。
一方面,本發(fā)明提供了一種方法,用于實時估計遠距離相關(guān)(LRD)參數(shù),比方說數(shù)據(jù)流的赫斯特參數(shù)H和尺寸參數(shù)cf,該方法包括以下步驟將所述數(shù)據(jù)流的每一個數(shù)據(jù)塊輸入到一個實時離散小波分解裝置中去;提取所述小波分解裝置產(chǎn)生的每一塊輸入數(shù)據(jù)的小波系數(shù);對于許多尺度中的每一個尺度,維持所述小波系數(shù)的一個平方和,并維持所述和中合并了的元素個數(shù);需要進行估計的時候,該方法還包括以下步驟對于許多尺度中的每一個,計算所述小波系數(shù)平方的平均值;在一個尺度范圍內(nèi)用所述平均值進行加權(quán)線性回歸分析;和在所述線性回歸分析的基礎上計算LRD參數(shù)的估計。
第二方面,本發(fā)明提供了對LRD參數(shù),比方說數(shù)據(jù)流的H和cf參數(shù),進行實時估計的一種方法,該方法包括以下步驟從所述數(shù)據(jù)流中提取數(shù)據(jù)包;在一個n階時間間隔上將數(shù)據(jù)包聚集起來,產(chǎn)生一個數(shù)據(jù)點x(n);將所有數(shù)據(jù)點x(n)輸入給一個實時離散小波分解裝置;從所述分解裝置提取產(chǎn)生的每一個數(shù)據(jù)點x(n)的小波系數(shù)dj;針對許多尺度中的每一個尺度j,維持所述小波系數(shù)的平方d2j的一個和Sj,并維持每一和Sj中使用的數(shù)據(jù)點的個數(shù)nj;需要進行估計的時候,該方法還包括以下步驟針對每一個尺度j,從所述和Sj計算所述小波系數(shù)平方d2j的平均值;在一個尺度范圍內(nèi)用所述平均值進行線性回歸分析;和在所述線性回歸的基礎上計算LRD參數(shù)的估計。
該方法還可以包括為所述估計計算置信區(qū)間。最好在計算完所述小波系數(shù)的平均值以后丟棄小波系數(shù)。最好在進行線性回歸分析的步驟以前,選擇一個尺度范圍,在這一個范圍內(nèi)畫出線性回歸曲線。選擇尺度范圍的步驟可以在長時間尺度上手工完成,或者按照一個適當?shù)乃惴ㄗ詣油瓿伞?br>
小波分解裝置可以包括一個多分辨率算法裝置或者通用濾波器組裝置。這一小波分解裝置可以用軟件或者用硬件實現(xiàn),例如,用一個數(shù)字信號處理芯片實現(xiàn)。
本發(fā)明還提供對數(shù)據(jù)流的LRD參數(shù),比方說H和cf,進行實時估計的裝置,所述裝置包括接收所述數(shù)據(jù)流的數(shù)據(jù)包的裝置;在一些時間間隔內(nèi)聚集收到的數(shù)據(jù)包,產(chǎn)生相應的數(shù)據(jù)點x(n)的預處理器裝置;接收所有數(shù)據(jù)點x(n)的一個實時離散小波分解裝置;該分解裝置為每一個收到的數(shù)據(jù)點x(n)產(chǎn)生小波系數(shù)dj;在許多尺度的每一個尺度j上,計算所述系數(shù)平方d2j的和Sj,并得到用于所述和Sj中的數(shù)據(jù)點的個數(shù)nj的裝置;儲存Sj和nj的存儲器裝置;其中需要LRD參數(shù)的估計的時候,所述計算裝置(a)從所述和Sj計算每一個尺度j上所述系數(shù)平方d2j的平均;(b)在一個尺度范圍內(nèi)用所述平均值進行線性回歸分析,和(c)在所述線性回歸分析的基礎上計算LRD參數(shù)的估計。
下面將參考以下附圖介紹本發(fā)明的一個優(yōu)選實施方案,在這些附圖中
圖1中的框圖說明的是從數(shù)據(jù)信息流計算LRD參數(shù)的算法;圖2中的原理圖說明的是進行離散小波變換、計算小波系數(shù)的金字塔狀濾波器組形式的小波分解裝置;圖3是用于實現(xiàn)圖1所示算法的硬件的框圖;圖4中的流程圖說明的是用離線算法計算LRD參數(shù)時所用的步驟;圖5是yj隨j變化的一個線性回歸分析圖,和圖6是以太網(wǎng)數(shù)據(jù)的對數(shù)一對數(shù)圖。
在圖1里,給出了一個流程圖10,它描述了從最初輸入的要分析的數(shù)據(jù)流開始,實時計算LRD參數(shù)H和cf的一系列步驟。
在步驟20中,這一過程開始于跟攜帶以太網(wǎng)通信信號的物理媒介進行接口,以便提取通信信號數(shù)據(jù)包。然后在步驟30中對這些通信信號數(shù)據(jù)包濾波,提取相關(guān)數(shù)據(jù)。然后這一過程進行到步驟40,在那里在n階時間間隔上將相關(guān)數(shù)據(jù)聚集起來,產(chǎn)生要分析的序列的下一個數(shù)據(jù)點x(n)。在步驟50中將產(chǎn)生的每一個數(shù)據(jù)點x(n)輸入一個實時濾波器組,該濾波器組是用于提取和更新離散小波變換(DWT)系數(shù)的,下面將參考圖2進行介紹。為每一個數(shù)據(jù)點x(n)計算出系數(shù)以后,在步驟60中針對每一尺度j將每一個新的數(shù)據(jù)點加到已有的數(shù)據(jù)點個數(shù)上去,這樣(nj+1)替換掉nj,作為新的更新后的數(shù)據(jù)點總數(shù)。平方和Sj也被更新,以包括這一尺度上新的系數(shù)平方。已有系數(shù)上的信息被丟棄。最后在步驟70里,在適當?shù)臅r間間隔上,計算每一j的時間平均μj,并計算LRD參數(shù)H和cf,下面要進行討論。
在每一個數(shù)據(jù)點x(n)上進行離散小波變換(DWT),其中利用實時濾波器組通過一個小波分解過程產(chǎn)生許多小波系數(shù)。
小波變換可以理解為更加靈活的傅里葉變換,其中的原始信號不是被變換到頻域,而是變換到時間-尺度小波域。傅里葉理論里的正弦函數(shù)被小波基函數(shù)取代,這些小波基函數(shù)是通過將母小波ψ0進行簡單的平移和伸縮得到的,母波自己則是通過多分辨率理論定義的(見I.Daubechies的“小波十講”,SIAM,1992)。小波變換可以被看成同時在不同尺度或者分辨率j上觀察信號的一種方法。每一個數(shù)據(jù)點x(n)的小波系數(shù)主要包括每一尺度j上的細節(jié)dj和近似aj。
在圖2里給出了一個小波分解裝置200,它可以是一個實時濾波器形式的多分辨率算法。在一個時間段上要分析的序列中的每一個數(shù)據(jù)點x(n)被輸入到小波分解裝置200,并饋入帶通濾波器(BPF)202和向下采樣器204。第一個尺度上數(shù)據(jù)點的小波系數(shù)即細節(jié)d1被輸出。輸入數(shù)據(jù)點x(n)的一部分被饋入低通濾波器(LPF)206,通過向下采樣器208然后再一次分裂。一部分被輸入到BPF210和向下采樣器212以提取尺度2上的系數(shù)d2。另一部分被輸入給LPF214和向下采樣器216。這一過程重復下去,直到提取出尺度j的系數(shù)。于是,每隔一個新的數(shù)據(jù)點x(n)輸出d1都被更新,每隔三個新的x(n)更新輸出d2,每隔2j-1個新的x(n),都要更新輸出dj。
在小波分解裝置200中的每一個BPF和LPF都具有一個有限長度K,這樣,只有K個輸入值保存在每一個BPF或者LPF的存儲器里。一旦輸入到BPF202里的一個值例如x(n)自己經(jīng)過了濾波器,這個值就被丟掉或者拋棄。于是每一個濾波器的存儲量要求就固定下來,總共在濾波器組里儲存了K.log2(n)個值。每一個濾波器都可以用有限沖擊響應(FIR)濾波器來實現(xiàn)。這一小波分解裝置可以用軟件或者硬件來實現(xiàn),例如在一個DSP芯片上實現(xiàn)。
參考圖1,步驟50中在實時濾波器組里利用x(n)更新了DWT系數(shù)dj以后,在步驟60中進行許多步驟。對于針對每一尺度j更新的每一個x(n)-這一個尺度上小波系數(shù)增加一個,也就是說,nj用(nj+1)替換;-用(Sj+d2j)替換系數(shù)平方的和Sj,產(chǎn)生一個更新了的平方和。然后系數(shù)值dj被丟棄,因為再也不需要它了。
于是,需要儲存在存儲器里的就只有更新過的和Sj和數(shù)據(jù)點數(shù)nj。要注意,只有在步驟50中dj被更新以后,才進入下一步驟60,計算新的nj和Sj,然后丟棄dj。新值nj、Sj儲存在RAM中的存儲器里。
在步驟70中,在適合于用戶的各種時間間隔中,針對每一j利用儲存的Sj和nj計算出一個時間平均值μj,其中μj=1nj(Σdj2)=Sjnj-----------(2)]]>然后,利用(nj)和(μj)的值,用基于小波的聯(lián)合估計器或者離線算法估計LRD參數(shù)H和cf,下面將詳細介紹。
圖3用框圖的形式說明了用于實現(xiàn)圖1所示算法的硬件。一個網(wǎng)絡接口卡(NIC)302用于跟以太網(wǎng)300連接,并從中捕獲通信數(shù)據(jù)包。這一以太網(wǎng)可以是無屏蔽雙絞線以太網(wǎng)或者同軸電纜以太網(wǎng)。然后將它提供給PC 304,它包括一個英特爾奔騰PC,運行著叫做免費BSD的一個UNIX(R)操作系統(tǒng)版本。PC 304運行著用C編寫的通信分析軟件,進行必要的計算,以獲得平方d2j的和Sj,導出和Sj中所用的數(shù)據(jù)點數(shù)nj。這樣的軟件也可以用于針對每一尺度計算d2j的平均值,從而完成線性回歸分析,計算出H和cf的一個估計值,并在新數(shù)據(jù)點x(n)到達時計算Sj和nj的新值?;蛘撸梢杂肈SP這樣的硬件,針對每一尺度j,計算平方d2j的和Sj,導出nj并計算出d2j的平均μj。PC304包括一個軟件預處理器306、一個DWT估計器單元308和存儲器單元310。預處理器306利用伯克利數(shù)據(jù)包濾波器對通信信號測量結(jié)果進行預處理,并輸出每一時間間隔內(nèi)字節(jié)數(shù)的一個時間序列。預處理過的通信信號測量結(jié)果被傳遞給單元308,更新正在進行的小波分解、累計統(tǒng)計和赫斯特參數(shù)估計,并將結(jié)果周期性地輸出給打印機、繪圖儀或者其它裝置。存儲器單元310的形式是RAM,用于儲存預處理過的通信信號測量結(jié)果、從測量結(jié)果獲得的小波系數(shù)和累計統(tǒng)計。注意,針對每一尺度只需要N個最新的測量結(jié)果和系數(shù),這里N是用于實現(xiàn)這一小波分解過程中使用的LPF和BPF的FIR濾波器的長度。其余的數(shù)據(jù)已經(jīng)濃縮并儲存在累計統(tǒng)計中。
在圖4里,給出了利用“基于小波的遠距離相關(guān)參數(shù)聯(lián)合估計器,D.Veitch和P.Abry 1997年的技術(shù)報告SERC-0043”中描述的基于小波的聯(lián)合估計器估計LRD參數(shù)H和cf所采取的步驟的流程圖400。步驟410~470不需要解釋就會明白,后面是這些步驟的詳細說明。
小波估計器在LRD現(xiàn)象的分析過程中,這一個小波基函數(shù)族的以下兩個特征(F1、F2)至關(guān)重要F1從母小波ψ0產(chǎn)生的那族小波基函數(shù)是通過以下運算符的伸縮或者改變構(gòu)成的ψj,0(t)=2-j12ψ0(2-jt) (3)這意味著這一分析族在結(jié)構(gòu)上表現(xiàn)出了尺度不變性特性。這一LRD現(xiàn)象可以理解為在靠近原點的頻率范圍內(nèi)沒有任何特征頻率(因而沒有任何尺度)。于是這一LPD特性可以被解釋為尺度不變性特性,能夠用小波進行有效的分析。
F2ψ0有N個消失矩,它們可以自由選擇,只要N≥1。從定義上講,這意味著∫tkψ0(t)dt≡0,k=0,……,N-1(但對于k≥N則不這樣),或者等價于在原點ψ0的傅里葉變換滿足|ψ0(υ)|=O(|υ|N)。這一特性可以用于控制原點處由于具有冪律譜的過程導致的散度。
對于LRD過程這樣的冪律譜過程,這些特性在冪律尺度成立的尺度范圍2j,j=j1……j2內(nèi),產(chǎn)生了小波系數(shù)dj的以下關(guān)鍵特性。
P1由于F1,尺度不變性(冪律特性)可以精確地表示為IEd2j=2jαcfC (4)其中C=∫|υ|-α|ψ0(υ)|2dυ (5)精確地重新得到這一冪律不是毫無價值的,它直接源自設計小波基所采用的伸縮運算符?;跁r間-頻率或者周期圖的估計不會有這樣的特點。
P2由于F1和F2,這些dj是準去相關(guān)隨機變量的一個集合(見P.Flandrin于1992年在IEEE信息理論學報IT-38第910~917上發(fā)表的文章“小波分析和分維布朗運動綜合”)。特別是,時域表示中存在的遠距離相關(guān)在小波系數(shù)平面{j,k}上根本不存在。
對特性P2的詳細討論說明了時間-尺度平面里的相關(guān)在所有方向上都至少以雙曲線規(guī)律衰減,其指數(shù)由消失矩的個數(shù)控制,對應于近距離相關(guān)。由于按照定義倍頻程j=log2(尺度),因此這意味著在倍頻程j范圍上的指數(shù)衰減。
從這以后,log2表示以2為底的對數(shù),而ln則表示自然對數(shù)。
估計器的直覺基可以通過分析等式(4)來找出。將它重新寫成log2(IEdx(j,.)2)=jα+log2(cfC),很容易就可以看出估計(α,cf)的一種線性回歸方法,顯然這一回歸線的斜率估計為α,截距則跟cf有關(guān)。當指數(shù)是感興趣的對象時,采用對數(shù)-對數(shù)圖的方法極其常見。真正關(guān)心的是,一旦考慮進了不可避免的復雜性,得到的估計器中這一簡單線性形式能夠?qū)崿F(xiàn)到什么程度。
第一個復雜化,也是主要的復雜化,當然是IEd2j是未知的,但必須估計,它是可以跟x的譜相關(guān)的一個二階量。在這里,這是主要困難,因為眾所周知(見J.Beran,Chapman和Hall 1994年的“長記憶過程統(tǒng)計學”)在遠距離相關(guān)情形中二階(以及其它)量的估計是非常棘手的工作。而在這里,特性P2,dj的準去相關(guān),則允許我們有效地使用簡單的“時間平均”μj=1njΣdj2----------(6)]]>其中nj是可以用于分析的倍頻程j處的系數(shù)個數(shù)。這一個量是IEd2j的一個無偏差的相容估計值。(注意μj是變量dj的一個抽樣,因為從F2可知對于所有j,dj的期望等于0。
這樣,計算小波分解在尺度j的nj個抽樣的抽樣數(shù)據(jù)dj的平方并加起來,然后用nj除,得到“時間平均”。
第二個復雜化是log2引入的非線性性,它使估計出現(xiàn)了偏差。在下面我們會看到這一問題如何也能在合理的假設下加以解決。略微簡化一下,我們證實我們的估計器的基本方法確實是log2(2j)=j上log2(μj)的一個線性回歸。一個加權(quán)線性回歸將用作隨j變化的log2(μj)的變量。
線性回歸線性回歸的基本假設是IEyj=bxj+a.我們定義S=Σ1/σj2,]]>Sx=Σxj/σj2]]>以及Sxx=Σxj2/σj2,]]>其中σj2]]>是跟yj有關(guān)的任意一個權(quán)。通常的(b,a)的無偏差估計器(_,_)為b^=Σyj(Sxj-Sx)/σj2SSxx-Sx2=Σwjyj,----------(8)]]>a^=Σyj(SxxSxx)/σj2SSxx-Sx2=Σvjyj,--------(9)]]>其中權(quán)wj和vj滿足∑wj=∑jυj=0,∑jwj=∑υj=1。注意,這些條件意味著nj和wj總是有正值和負值的。
如果除此以外yj是相互獨立的,那么,協(xié)方差矩陣就由下式給出Var(b^)=Σσj2wj2=SSSxx-Sx2′--------(10)]]>Var(a^)=Σσj2υj2=SxxSSxx-Sx2′--------(11)]]>Cov(a^,b^)=Σσj2wjυj=-SxSSxx-Sx2′------(12)]]>r=-Sx/SSxx′----------(13)]]>其中r是相關(guān)系數(shù)。如果對于所有的j都有xj≥0,就會很容易地看出r取負值,而且如果x1很大,它的幅度就很大,因為斜率“向右”改變一點點,就會導致截距在符號的相反方向改變很多。
最后,如果我們設定σ2j=Var(yj),那么(_,_)就是具有上述協(xié)方差矩陣的最小方差無偏差估計器(MVUE)(見Prentice-Hall 1993年出版的S.M.Kay的書“統(tǒng)計信號處理基礎”)。
注意,如果σ2j的值誤差很小,而且yj之間的相關(guān)很小,那么這一估計器就仍然是無偏差的,而且它的協(xié)方差矩陣可以用剛剛給出的表達式精確地估計。
到此為止,我們已經(jīng)說明了log2(μj)是滿足IEyj=bj+a的所需線性回歸的變量yj。因為總的來說,IE log2(μj)≠log2(IEμj)=jα+log2(cfC),所以這不可能完全正確,盡管在以下條件H1~H3下,并假設nj很大,可以估計log2(μj)d-N(jc+log2cfC2j-1nln22)]]>其中d表示分布相同,N(μ,σ2)是一個高斯隨機變量。而在LRD情形中,大尺度常常是最重要的,而且nj確實不大。這里,通過更加仔細地查看log2(μj)的分布而去掉了條件nj。結(jié)果是,這樣做只是稍微改進了α的估計,但是對cf的估計卻有著非常重要的意義。
在整個分析過程中,牢牢記住當尺度加倍的時候,可以得到的細節(jié)系數(shù)個數(shù)nj基本上會減半這一點是有指導意義的,也就是說nj-1≈nj/2,于是,nj+1≈n2-j,這里n是初始數(shù)據(jù)的長度。
我們假定以下補充假設成立。
H1過程x,于是過程d(j,.),是高斯過程。
H2對于固定的j,過程d(j,.)是iid。
H3如果j≠j’,那么過程d(j,.)跟d(j’,.)相互獨立。
說明這一方法對x的邊緣分布形式非常敏感的數(shù)字證據(jù)使得假設H1成立..特性P2使得假設H2和H3也成立(將它們分開的目的是使得在什么地方需要什么特性更加清楚)。
盡管第一眼看來對它們的限制似乎非常嚴,但是,在實際中這些附加的條件事實上非常合理,跟模擬結(jié)果一樣。其原因是該方法固有的效率來自P1和P2,增加H1~H3只是為了擴展定量分析。
令χ平方變量XvdXv2的密度表示為fυ(x)=(12υ/2Γ(υ/2))xυ/2-1e-υ/2•]]>這樣一個變量的平均值和方差分別是v和2v。還設zj=2jacfC。從H1和H2以及等式4和6,我們得到μjd-zjnjXnj---------(14)]]>其中IEμj=zj,因為是μj無偏差的,于是log2(μj)dlog2zj-log2nj+log2Xnjdjα+log2cfC-log2nj+lnXnj/ln2(15)這樣,對log2(μj)的研究縮減為對χ平方變量的對數(shù)的研究。利用關(guān)系 (見學院出版社1980年更正和擴版,I.S.Gradshteyn和I.M.Ryzhik的書“積分、數(shù)列和乘積表”中的等式∮4.352),以及 (前面引用的等式2,∮4.358),這里ψ(z)=r*(z)/г(z)是ψ函數(shù),而ζ(z,V)則是廣義的黎曼ζ函數(shù),從前面fv(x)的定義很容易就能看出IE lnXv=ψ(v/2)+ln2 (16)Var(lnXv)=ζ(2,v/2) (17)于是IE log2(μj)=jα+log2cfC+gj(18)Var (log2(μj))=ζ(2,nj/2)/ln22 (19)其中g(shù)j=ψ(nj/2)/ln2-log2(nj/2)(20)只是nj的一個負函數(shù),能夠針對所有的nj值很容易地計算出來。
gj這一項是一個很小的修正項,它被減去,以補償log引入的非線性失真。
為了供以后參考,下面給出了大nj情形下上述量的漸近形式gj~-1njln2----(21)]]>Var(log2(μj))-2njln22----(22)]]>將變量yj定義為yj≡log2(μj)-gj(23)我們從以上描述中可以看出,很明顯在假設H1和H2下,它們滿足IEyj=jα+log2cfC (24)Var(yj)=ζ(2,nj/2)/ln22 (25)因此,滿足加權(quán)線性回歸的要求。
在j=xj處對yj的加權(quán)回歸估計(_,_)是根據(jù)等式8和9進行的,其中σ2j=Var(yj)。
利用模擬數(shù)據(jù)組的一個回歸擬合實例在圖5中給出,其中以j為自變量畫出了yi=log2(μj)-gj,并畫出了95%的置信區(qū)間??梢钥闯?,在每一個倍頻程j處用垂直線表示的每一個yj的95%置信區(qū)間隨著j的增大而增大。這可以從等式(22)來理解,只要記住nj≈n2-j,它意味著j每增加1,數(shù)據(jù)點數(shù)就減半。這些間隔是在高斯假設下從估計yj的已知抽樣方差σ2j得到的。LRD過程的尺度顯然處于4和10之間,而強SRD或者進程相關(guān)的尺度顯然小于4,特別是對于范圍j=1到j=3.對于yj,每一個倍頻程上的垂直棒都給出了95%的置信區(qū)間。在d=0.25(α=0.50)和ψ=[-2,-1],意味著cf=6.38,的情況下模擬了這一數(shù)列(0,d,2)。選擇(j1,j2)=(4,10)就確定了有關(guān)的尺度范圍,允許進行精確的估計,而不管很強的SRD_=0 53±0.7,c^f=6.0]]>with4.5<Cf^<7.8]]>。
在圖6里,畫出了真實以太網(wǎng)數(shù)據(jù)的一個對數(shù)-對數(shù)圖。這些數(shù)據(jù)來源于一個以太網(wǎng)記錄,包括3千萬個以上的觀測數(shù)據(jù),分析它們只需要幾秒鐘。圖中畫的是以j為自變量的log2(μj)。它給出了連續(xù)時間以太網(wǎng)數(shù)據(jù)基于小波的尺度分析的一個實例。在倍頻程j=14處進入LRD的漸近線特征。自相似參數(shù)H=1-β|2的估計是H=0.8。
通過利用小波分解裝置,這一靜態(tài)LRD估計方法在存儲器存儲量、存儲器利用率和計算時間方面擁有明顯的優(yōu)點。利用這一方法,輸入數(shù)據(jù)可以分成塊,進行分析然后重新組合,這樣在處理任意長度n的數(shù)據(jù)時,就不會碰到存儲器問題。這一方法在運行時間不復雜,數(shù)量級為n或者O(n),使得它非常適合于分析非常大的數(shù)據(jù)組。這些優(yōu)點使得這一方法適合于實時使用,其中的數(shù)據(jù)收集,LRD參數(shù)估計以一種連續(xù)的不間斷方式進行。將來,當要處理的數(shù)據(jù)總量從兆比特上升到吉比特甚至兆兆比特時,不會出現(xiàn)存儲容量問題,因為實時算法的要求隨著數(shù)據(jù)長度的對數(shù)變化而變化。
這里描述的實時版以及有指導意義的優(yōu)選實施方案說明了這些潛在的實時優(yōu)勢可以在實際中發(fā)揮出來。
權(quán)利要求
1.一種方法,用于對數(shù)據(jù)流的遠距離相關(guān)(LRD)參數(shù),諸如赫斯特參數(shù)H和尺寸參數(shù)cf,進行實時估計,該方法包括以下步驟將所述數(shù)據(jù)流的每一塊數(shù)據(jù)輸入給一個實時離散小波分解裝置;提取所述小波分解裝置產(chǎn)生的每一塊輸入數(shù)據(jù)的小波系數(shù);在許多尺度中的每一個尺度上,維持所述小波系數(shù)的一個平方和,并維持所述和中合并了的元素的個數(shù);在需要進行估計的時候,該方法還包括以下步驟在許多尺度中的每一個尺度上,計算所述小波系數(shù)的所述平方的平均值;在一個尺度范圍上用所述平均值進行加權(quán)線性回歸分析;和在這一線性回歸分析的基礎上計算LRD參數(shù)的估計值。
2.權(quán)利要求1的方法,其中對于每一個更新過的尺度,已有的小波系數(shù)平方和被一個新的平方和取代,它等于每一個新小波系數(shù)的平方再加上已有的和。
3.權(quán)利要求1或2的方法,其中對于每一個更新過的尺度,在已有的和里合并了的元素的已有個數(shù)被增加每一尺度上新元素的個數(shù)。
4.權(quán)利要求2或3的方法,其中每一次更新以后每一個系數(shù)的值不再保留或者儲存。
5.以上權(quán)利要求中任意一個的方法,其中輸入到分解裝置中的每一塊數(shù)據(jù)都不保留或者儲存。
6.以上權(quán)利要求中任意一個的方法,其中計算平均值的步驟包括在每一個尺度上計算一個時間平均值的步驟,該平均值等于更新過的系數(shù)平方和除以更新過的和里合并的元素的更新過的個數(shù)。
7.以上權(quán)利要求中任意一個的方法,其中的線性回歸結(jié)果被畫出圖來,并在加權(quán)線性回歸分析步驟之前,選擇一個尺度范圍。
8.以上權(quán)利要求中任意一個的方法,還包括計算得到的每一個估計的置信區(qū)間的步驟。
9.一種方法,用于對數(shù)據(jù)流里的LRD參數(shù),比方說H和cf,進行實時估計,該方法包括以下步驟從所述數(shù)據(jù)流中提取數(shù)據(jù)包;在一個n階時間間隔上將數(shù)據(jù)包聚集起來,產(chǎn)生一個數(shù)據(jù)點x(n);將每一個數(shù)據(jù)點x(n)輸入給一個實時離散小波分解裝置;提取所述分解裝置為每一個數(shù)據(jù)點x(n)產(chǎn)生的小波系數(shù)dj;在許多尺度中的每一個尺度j上,維持所述小波系數(shù)的平方d2j的一個和Sj,并維持用于所述和Sj的數(shù)據(jù)點的個數(shù)nj;需要估計的時候,該方法還包括以下步驟對于每一個尺度j,從所述和Sj計算所述小波系數(shù)的平方d2j的一個平均值;在一個尺度范圍內(nèi)利用所述平均值進行線性回歸分析;和在所述線性回歸分析的基礎上,計算LRD參數(shù)的估計。
10.權(quán)利要求9的方法,對于每一個更新過的尺度j,和Sj被替換成一個新的和(Sj+d2j),從而獲得更新過的平方和。
11.權(quán)利要求9或10的方法,其中對于在尺度j上更新過的每一個x(n),數(shù)據(jù)點的個數(shù)nj,或者等價地在尺度j上系數(shù)的個數(shù),被加一,從而使nj被替換成(nj+1)。
12.權(quán)利要求9~11中任意一個的方法,其中每一個dj的值在每一次更新后都不保留或者儲存。
13.權(quán)利要求9~12中任意一個的方法,其中輸入到分解裝置中的每一個數(shù)據(jù)點x(n)都不保留或者儲存。
14.權(quán)利要求9~13中任意一個的方法,其中計算平均值的步驟包括利用維持的每一個尺度的Sj和nj,在每一個尺度j上形成一個時間平均μj的步驟,從而使μj=1nj(Σdj2)=Sjnj]]>。
15.權(quán)利要求14的方法,還包括計算一個隨機變量yj的步驟,其中yj=log2(μj)-gj這里,gj是一個很小的修正項。
16.權(quán)利要求15的方法,還包括以j為自變量,畫出yj的曲線,以及關(guān)于j在σj的基礎上畫出置信區(qū)間的步驟,其中σ2j是一個跟j有關(guān)的任意權(quán)。
17.權(quán)利要求16的方法,其中在畫出曲線的步驟以后,選擇一個尺度范圍,線性回歸分析在這一尺度范圍內(nèi)進行。
18.權(quán)利要求17的方法,其中在選擇好尺度范圍以后,用權(quán)σ2j在選定的尺度范圍內(nèi)關(guān)于j對yj進行加權(quán)線性回歸分析。
19.權(quán)利要求18的方法,其中H(或者α,這里α=2H-1)的估計是從回歸曲線的斜率獲得的,cf的估計是從回歸曲線的截距獲得的。
20.權(quán)利要求19的方法,還包括計算LRD參數(shù)H和cf的估計的置信區(qū)間的步驟。
21.對數(shù)據(jù)流的LRD參數(shù),比方說H和cf,進行實時估計的裝置,該裝置包括接收所述數(shù)據(jù)流的數(shù)據(jù)包的裝置;預處理器裝置,用于將時間間隔上收到的數(shù)據(jù)包聚集起來產(chǎn)生對應的數(shù)據(jù)點x(n);一個實時離散小波分解裝置,用于接收每一個數(shù)據(jù)點x(n);為每一個收到的數(shù)據(jù)點x(n)產(chǎn)生小波系數(shù)dj的所述分解裝置;在許多尺度中的每一個尺度j上,計算所述系數(shù)的平方d2j的和Sj,并得到用于所述和Sj中的數(shù)據(jù)點的個數(shù)nj的裝置;用于儲存Sj和nj的存儲器裝置;其中需要LRD參數(shù)的估計的時候,所述計算裝置(a)在每一個尺度j上用所述和Sj計算所述系數(shù)的平方d2j的平均值;(b)在一個尺度范圍內(nèi)用所述平均值進行線性回歸分析,和(c)在所述線性回歸分析的基礎上計算LRD參數(shù)的估計。
22.權(quán)利要求21的裝置,其中對于每一個更新過的j,和Sj被一個新的和(Sj+d2j)所取代,從而得到一個更新過的平方和,這一新的和隨后存入所述存儲器裝置。
23.權(quán)利要求21或22的裝置,其中對于尺度j上更新過的每一個x(n),數(shù)據(jù)點的個數(shù)nj,或者等價地尺度j上系數(shù)的個數(shù),被增加1,從而使每一個nj都被替換成(nj+1),更新過的值(nj+1)被隨后存入所述存儲器裝置。
24.權(quán)利要求21~23中任意一個的裝置,其中的計算裝置是用軟件實現(xiàn)的。
25.權(quán)利要求21~23中任意一個的裝置,其中的計算裝置用硬件計算和Sj,得到nj并形成所述平均,并用軟件進行線性回歸分析和所述估計。
26.權(quán)利要求21~25中任意一個的裝置,其中每一dj的值都不保留或者儲存在所述存儲器裝置中。
27.權(quán)利要求21~26中任意一個的裝置,其中的分解裝置收到的每一個數(shù)據(jù)點x(n)隨后都不被所述存儲器裝置保留或者儲存。
28.權(quán)利要求21~27中任意一個的裝置,其中的預處理裝置、分解裝置和存儲器裝置都是PC這樣的計算處理器的一部分。
29.權(quán)利要求21~28中任意一個的裝置,其中的分解裝置包括一個多分辨率算法裝置。
30.權(quán)利要求29的裝置,其中的多分辨率算法裝置是一個實時濾波器組,包括一系列的低通濾波器(LPF)和帶通濾波器(BPF)。
31.權(quán)利要求30的裝置,其中的LPF和BPF都是有限沖擊響應濾波器。
32.基本上就象前面參考附圖所介紹的一種方法或者系統(tǒng)。
全文摘要
對數(shù)據(jù)流里的遠距離相關(guān)參數(shù),比方說赫斯特參數(shù)H和尺寸參數(shù)c
文檔編號H04L12/54GK1296688SQ99804819
公開日2001年5月23日 申請日期1999年2月5日 優(yōu)先權(quán)日1998年2月6日
發(fā)明者D·N·維特克, M·羅漢, P·阿布賴 申請人:愛立信澳大利亞股份有限公司, 皇家墨爾本技術(shù)研究所, 法國國家科學研究中心