本發(fā)明涉及自適應(yīng)信號(hào)處理領(lǐng)域，特別涉及一種基于在線式admm的分布式參數(shù)估計(jì)方法。

背景技術(shù)：

1、在線分布式參數(shù)估計(jì)技術(shù)涉及在分布式網(wǎng)絡(luò)中通過本地計(jì)算和數(shù)據(jù)交換來(lái)進(jìn)行參數(shù)估計(jì)。這些參數(shù)可以是信號(hào)特征、信道參數(shù)等。在這種網(wǎng)絡(luò)中，節(jié)點(diǎn)不僅需要基于各自的觀測(cè)數(shù)據(jù)進(jìn)行參數(shù)估計(jì)，還需與相鄰節(jié)點(diǎn)協(xié)作，以實(shí)現(xiàn)全局參數(shù)的估計(jì)。分布式參數(shù)估計(jì)的理論在目標(biāo)定位與跟蹤、分布式語(yǔ)音增強(qiáng)、頻譜感知和分布式圖像處理等領(lǐng)域具有重要應(yīng)用。

2、一個(gè)關(guān)鍵挑戰(zhàn)是如何根據(jù)實(shí)際問題有效建模網(wǎng)絡(luò)中各節(jié)點(diǎn)上待估計(jì)參數(shù)的關(guān)系。目前，分布式參數(shù)估計(jì)理論已經(jīng)探究了稀疏性、聯(lián)合稀疏性和子空間約束等模型，然而這些模型的適用范圍有限。在分布式語(yǔ)音增強(qiáng)和分布式神經(jīng)網(wǎng)絡(luò)等場(chǎng)景中，待估計(jì)參數(shù)向量往往具有結(jié)構(gòu)上的相似性，適合用低秩矩陣來(lái)建模，即網(wǎng)絡(luò)中所有節(jié)點(diǎn)的待估計(jì)參數(shù)向量形成的矩陣為低秩矩陣。通過將低秩關(guān)系融入分布式參數(shù)估計(jì)算法的設(shè)計(jì)中，可以顯著提升自適應(yīng)濾波器的估計(jì)精度。因此，如何在實(shí)時(shí)流數(shù)據(jù)處理中，設(shè)計(jì)具有低計(jì)算復(fù)雜度且高準(zhǔn)確性的分布式自適應(yīng)濾波方法，以應(yīng)對(duì)低秩關(guān)系，是一個(gè)亟待研究的重要問題，對(duì)實(shí)際應(yīng)用具有顯著影響。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)分布式網(wǎng)絡(luò)中的低秩模型，提供一種基于在線式admm的分布式參數(shù)估計(jì)方法，以克服現(xiàn)有算法對(duì)低秩空間基底的先驗(yàn)信息的需求以及計(jì)算復(fù)雜度高的缺陷。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種基于在線admm的分布式參數(shù)估計(jì)方法，包括：

4、針對(duì)由多個(gè)節(jié)點(diǎn)組成的分布式網(wǎng)絡(luò)，利用節(jié)點(diǎn)上的實(shí)際代價(jià)函數(shù)構(gòu)造節(jié)點(diǎn)上的局部?jī)?yōu)化問題；所述局部?jī)?yōu)化問題用于求解在目標(biāo)函數(shù)值達(dá)到最小值時(shí)所述實(shí)際代價(jià)函數(shù)的優(yōu)化變量；

5、基于正則化架構(gòu)和節(jié)點(diǎn)上的局部?jī)?yōu)化問題，構(gòu)造節(jié)點(diǎn)上新的局部?jī)?yōu)化問題；

6、利用所述新的局部?jī)?yōu)化問題，基于局部參數(shù)矩陣、局部參數(shù)矩陣分解得到的低秩矩陣以及拉格朗日乘子矩陣在節(jié)點(diǎn)上構(gòu)造增廣拉格朗日函數(shù)，通過對(duì)增廣拉格朗日函數(shù)中局部參數(shù)矩陣、低秩矩陣以及拉格朗日乘子矩陣的迭代更新，以求解所述優(yōu)化變量。

7、進(jìn)一步地，所述每個(gè)節(jié)點(diǎn)上的實(shí)際代價(jià)函數(shù)，表示為：

8、

9、其中，wk表示待求解的優(yōu)化變量，gk表示損失函數(shù)，sk,n表示n時(shí)刻節(jié)點(diǎn)k上計(jì)算gk(wk；sk,n)時(shí)所使用的隨機(jī)數(shù)據(jù)，表示求期望值。

10、進(jìn)一步地，當(dāng)分布式參數(shù)估計(jì)方法應(yīng)用于分布式網(wǎng)絡(luò)中的聲學(xué)系統(tǒng)辨識(shí)時(shí)，所述實(shí)際代價(jià)函數(shù)中的損失函數(shù)采用最小均方誤差代價(jià)函數(shù)：

11、

12、其中，符號(hào)表示轉(zhuǎn)置，dk,n表示觀測(cè)信號(hào)，它是輸入數(shù)據(jù)xk,n經(jīng)過后得到的帶噪觀測(cè)，xk,n,dk,n滿足線性模型zk,n表示加性噪聲，為待求解的優(yōu)化變量的真值，在信道辨識(shí)問題中表示信道參數(shù)；

13、分布式網(wǎng)絡(luò)中的節(jié)點(diǎn)k獲取每一時(shí)刻的觀測(cè)信號(hào)dk,n以及輸入信號(hào)xk,n，并構(gòu)造最小均方誤差代價(jià)函數(shù)，然后利用分布式參數(shù)估計(jì)方法得到wk。

14、進(jìn)一步地，所述利用節(jié)點(diǎn)上的實(shí)際代價(jià)函數(shù)構(gòu)造節(jié)點(diǎn)上的局部?jī)?yōu)化問題，包括：

15、每個(gè)節(jié)點(diǎn)k上的局部?jī)?yōu)化問題的目標(biāo)函數(shù)可表示為：

16、

17、上式中，表示求解使得函數(shù)達(dá)到最小值時(shí)的取值，表示所有屬于節(jié)點(diǎn)k的鄰域內(nèi)的節(jié)點(diǎn)l的帶求解的優(yōu)化變量，jl(wl)表示節(jié)點(diǎn)l上的實(shí)際代價(jià)函數(shù)，||.||*表示矩陣的核范數(shù)，矩陣γk表示正則化參數(shù)。

18、進(jìn)一步地，所述基于正則化架構(gòu)和節(jié)點(diǎn)上的局部?jī)?yōu)化問題，構(gòu)造節(jié)點(diǎn)上新的局部?jī)?yōu)化問題，包括：

19、

20、s.t.wk＝ukvk

21、在上式中，wk表示的估計(jì)值，稱為局部參數(shù)矩陣，是由節(jié)點(diǎn)k的鄰域內(nèi)所有節(jié)點(diǎn)的優(yōu)化變量真值構(gòu)成的局部參數(shù)真值矩陣的長(zhǎng)度為l×1，的秩記為表示k的鄰域的勢(shì)，uk與vk表示wk矩陣分解的低秩矩陣，表示矩陣的frobenius范數(shù)的平方，是uk和vk的frobenius范數(shù)的平方和，它替換了原始的核范數(shù)||wk||*，并作為代價(jià)函數(shù)的正則項(xiàng)來(lái)表征矩陣wk的低秩特性；矩陣uk維度為l×sk，矩陣vk維度為sk取值為

22、進(jìn)一步地，利用所述新的局部?jī)?yōu)化問題，基于局部參數(shù)矩陣、局部參數(shù)矩陣分解得到的低秩矩陣以及拉格朗日乘子矩陣在節(jié)點(diǎn)上構(gòu)造增廣拉格朗日函數(shù)，表示為：

23、

24、其中，<·,·>表示矩陣點(diǎn)積，λk表示拉格朗日乘子矩陣，維度為ρ表示懲罰因子；

25、按迭代時(shí)刻n＝0,1,2,3...執(zhí)行wk,uk,vk,λk的迭代，其中，wk,λk在初始時(shí)刻均為零矩陣；uk,vk在初始時(shí)刻均為隨機(jī)矩陣，每個(gè)元素服從區(qū)間(0,1)上的均勻分布。

26、進(jìn)一步地，采用基于svrg誤差方差縮減機(jī)制的隨機(jī)梯度下降法對(duì)局部參數(shù)矩陣wk按列更新；更新整個(gè)分布式網(wǎng)絡(luò)內(nèi)所有節(jié)點(diǎn)k的局部參數(shù)矩陣wk后，采用單任務(wù)組合策略計(jì)算每個(gè)節(jié)點(diǎn)在n+1時(shí)刻參數(shù)向量的估計(jì)值。

27、進(jìn)一步地，采用共軛梯度法對(duì)低秩矩陣uk按行進(jìn)行迭代更新。

28、進(jìn)一步地，采用共軛梯度法對(duì)低秩矩陣vk按列進(jìn)行迭代更新。

29、進(jìn)一步地，利用懲罰因子以及局部參數(shù)矩陣wk、低秩矩陣uk、低秩矩陣vk對(duì)拉格朗日乘子矩陣λk進(jìn)行更新。

30、一種終端設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中的計(jì)算機(jī)程序；處理器被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)所述基于在線admm的分布式參數(shù)估計(jì)方法。

31、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序；計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)所述基于在線admm的分布式參數(shù)估計(jì)方法。

32、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

33、本發(fā)明提供一種基于在線admm的分布式參數(shù)估計(jì)方法，它將原始矩陣分解成兩個(gè)低秩矩陣的乘積后，利用這兩個(gè)低秩矩陣frobenius范數(shù)的平方和作為正則化項(xiàng)，并利用在線admm算法求解低秩空間基底與參數(shù)。為進(jìn)一步減少計(jì)算復(fù)雜度，本方案采用了共軛梯度法來(lái)求解admm算法執(zhí)行時(shí)得到的子優(yōu)化問題；為提高參數(shù)估計(jì)的準(zhǔn)確性，本方案采用了svrg誤差方差縮減機(jī)制。本方案較好地解決了現(xiàn)有技術(shù)中必須依賴低秩空間基底的先驗(yàn)信息以及計(jì)算復(fù)雜度高的問題，在低秩分布式網(wǎng)絡(luò)的在線參數(shù)估計(jì)問題中表現(xiàn)出優(yōu)異的估計(jì)性能。

技術(shù)特征：

1.一種基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，所述每個(gè)節(jié)點(diǎn)上的實(shí)際代價(jià)函數(shù)，表示為：

3.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，當(dāng)分布式參數(shù)估計(jì)方法應(yīng)用于分布式網(wǎng)絡(luò)中的聲學(xué)系統(tǒng)辨識(shí)時(shí)，所述實(shí)際代價(jià)函數(shù)中的損失函數(shù)采用最小均方誤差代價(jià)函數(shù)：

4.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，所述利用節(jié)點(diǎn)上的實(shí)際代價(jià)函數(shù)構(gòu)造節(jié)點(diǎn)上的局部?jī)?yōu)化問題，包括：

5.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，所述基于正則化架構(gòu)和節(jié)點(diǎn)上的局部?jī)?yōu)化問題，構(gòu)造節(jié)點(diǎn)上新的局部?jī)?yōu)化問題，包括：

6.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，利用所述新的局部?jī)?yōu)化問題，基于局部參數(shù)矩陣、局部參數(shù)矩陣分解得到的低秩矩陣以及拉格朗日乘子矩陣在節(jié)點(diǎn)上構(gòu)造增廣拉格朗日函數(shù)，表示為：

7.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，采用基于svrg誤差方差縮減機(jī)制的隨機(jī)梯度下降法對(duì)局部參數(shù)矩陣wk按列更新；更新整個(gè)分布式網(wǎng)絡(luò)內(nèi)所有節(jié)點(diǎn)k的局部參數(shù)矩陣wk后，采用單任務(wù)組合策略計(jì)算每個(gè)節(jié)點(diǎn)在n+1時(shí)刻參數(shù)向量的估計(jì)值。

8.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，采用共軛梯度法對(duì)低秩矩陣uk、vk按行進(jìn)行迭代更新。

9.根據(jù)權(quán)利要求1所述的基于在線admm的分布式參數(shù)估計(jì)方法，其特征在于，利用懲罰因子以及局部參數(shù)矩陣wk、低秩矩陣uk、低秩矩陣vk對(duì)拉格朗日乘子矩陣λk進(jìn)行更新。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序；其特征在于，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)所述基于在線admm的分布式參數(shù)估計(jì)方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于在線ADMM的分布式參數(shù)估計(jì)方法，包括：針對(duì)由多個(gè)節(jié)點(diǎn)組成的分布式網(wǎng)絡(luò)，利用節(jié)點(diǎn)上的實(shí)際代價(jià)函數(shù)構(gòu)造節(jié)點(diǎn)上的局部?jī)?yōu)化問題；所述局部?jī)?yōu)化問題用于求解在目標(biāo)函數(shù)值達(dá)到最小值時(shí)所述實(shí)際代價(jià)函數(shù)的優(yōu)化變量；基于正則化架構(gòu)和節(jié)點(diǎn)上的局部?jī)?yōu)化問題，構(gòu)造節(jié)點(diǎn)上新的局部?jī)?yōu)化問題；利用所述新的局部?jī)?yōu)化問題，基于局部參數(shù)矩陣、局部參數(shù)矩陣分解得到的低秩矩陣以及拉格朗日乘子矩陣在節(jié)點(diǎn)上構(gòu)造增廣拉格朗日函數(shù)，通過對(duì)增廣拉格朗日函數(shù)中矩陣的迭代更新，以求解所述優(yōu)化變量。本發(fā)明采用的基于Frobenius范數(shù)正則項(xiàng)的分布式、在線式ADMM算法能以較低計(jì)算復(fù)雜度求解低秩分布式網(wǎng)絡(luò)的參數(shù)估計(jì)問題，并具有較高的參數(shù)估計(jì)精度。

技術(shù)研發(fā)人員：陳奕彤,陳捷,靳丹琦
受保護(hù)的技術(shù)使用者：西北工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2