一種黎曼流形上的快速優(yōu)化方法
【專利摘要】本發(fā)明公開一類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其既能降低計算的復(fù)雜度，又能減少迭代步數(shù)，節(jié)約運算時間。其包括步驟：(1)給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)；(2)采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對復(fù)合目標(biāo)函數(shù)的最優(yōu)值進行逼近；(3)給出初始點X0，利用線搜索獲得X1。當(dāng)k≥2時，用提升算子表示點Xk?1指向Xk?2的向量，而且這個向量是一個上升方向，它的負(fù)方向就是一個下降方向，從點Xk?1出發(fā)，沿著下降方向走一個指定步長(tk?1)/tk+1，其中t1＝1，生成新的點然后通過拉回函數(shù)把點從映射到黎曼流形上，記為Yk。再從Yk出發(fā)，通過線搜索生成新的迭代點Xk；(4)當(dāng)指定條件被滿足，迭代停止。
【專利說明】
一種黎曼流形上的快速優(yōu)化方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計算機視覺和算法優(yōu)化的技術(shù)領(lǐng)域，具體地涉及一類復(fù)合函數(shù)在黎曼 流形上快速優(yōu)化方法。
【背景技術(shù)】
[0002] 黎曼流形上的優(yōu)化問題已受到人們的廣泛關(guān)注。黎曼優(yōu)化是把有約束的問題，比 如正交性約束，正定性約束，固定秩約束，通過分析約束條件的黎曼幾何結(jié)構(gòu)，轉(zhuǎn)化成相應(yīng) 黎曼流形上的無約束優(yōu)化問題，從而獲得更精確的數(shù)值結(jié)果。目前，黎曼優(yōu)化已經(jīng)應(yīng)用于機 器學(xué)習(xí)，計算機視覺和數(shù)據(jù)挖掘，包括固定秩優(yōu)化，黎曼字典學(xué)習(xí)，計算機視覺和張量聚類。
[0003] -般地，歐式空間中有約束的優(yōu)化問題所在的空間維度遠大于由約束所定義流形 的維度。因此流形上的優(yōu)化算法具有更低的計算復(fù)雜度和更良好的數(shù)值屬性。黎曼流形上 的優(yōu)化方法在中進行了廣泛的研究。事實上，基于歐式空間的優(yōu)化方法，比如最速下降法、 共輒梯度法、信賴域法、以及牛頓法已經(jīng)推廣到黎曼流形上，而且在近二十年中已經(jīng)建立了 比較完整的理論體系。目前一般的算法實現(xiàn)是公開可用的，詳見http://www.manopt.org。
[0004] 最速下降法是黎曼流形上的一個基本的優(yōu)化方法。最速下降法雖然計算簡單，但 是收斂速度非常慢，特別是對于現(xiàn)代機器學(xué)習(xí)中的大規(guī)模復(fù)雜優(yōu)化問題。相反，牛頓法和 BFGS擬牛頓法(BFGS秩2更新）具有較高的收斂率，但在實際應(yīng)用中，二階Hessian矩陣信息 的計算量大到難以使用。
[0005] 為了獲得一種方法既具備較高的收斂率，又可以避免計算Hessian矩陣的逆， Abs i 1等提出黎曼流形上的信賴域方法。例如在中使用Gras smann流形上的信賴域方法對矩 陣填充問題進行優(yōu)化。信賴域方法在每一步迭代中都要解決黎曼牛頓方程，從而增加了運 算的復(fù)雜度。Huang等推廣對稱秩1的信賴域方法到d-維黎曼流形上，由對稱秩1矩陣更新生 成近似的Hessian矩陣，避免求解黎曼牛頓方程。雖然其收斂性是超線性，但遺憾的是由于 其自身的局限性并不能適用于矩陣流形上。
[0006] -般來說，使用二階函數(shù)信息的優(yōu)化算法比僅使用一階函數(shù)信息的優(yōu)化算法收斂 速度更快，但同時也很大程度的增加了計算復(fù)雜度。黎曼流形上的Fletcher-Reeves共輒梯 度法是使用一階函數(shù)信息，達到超線性收斂，但沒有達到想要的二階收斂速度。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提供一種黎曼流形上的快速優(yōu) 化方法，其既能降低計算的復(fù)雜度，又能減少迭代步數(shù)，節(jié)約運算時間。
[0008] 本發(fā)明的技術(shù)解決方案是:這類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其包括 以下步驟：
[0009] (1)給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)；
[0010] (2)采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值(極小值)對復(fù)合目標(biāo)函數(shù)的 最優(yōu)值進行逼近；
[0011] (3)給出初始點Χ〇,利用線搜索得出Xi。當(dāng)k22時，用提升算子I、Xm(X,W3)表示點 Xk-i指向Xk-2的向量，而且這個向量是一個上升方向，它的負(fù)方向-就是一個下 降方向，從點Xk-ι出發(fā)，沿著下降方向'·走一個指定步長，這個步長是（tk-1)/ tk+1，
。生成新的點Y|，Y| €: 然后通過拉回函數(shù) 把點別映射到黎曼流形Μ上，記為Yk。再從Yk出發(fā)，通過線搜索生成 新的迭代點Xk;
[0012 ](4)當(dāng)指定條件被滿足，迭代停止。
[0013 ]其中Μ表示黎曼流形，'2?.4 Α'?是流形Λ4在點X k - i處的切空間。提升算子 .-?.?.. 4?….2)表示流形Λ.1:上的點Xk-2映射到切空間…fΜ上的點，也可表示點在切空間 屑上點xk-:指向(Χ^)的向量。拉回函數(shù)表示把切空間3?.. ;別上的 點映射到流形AI中。
[0014] 本發(fā)明針對黎曼流形上的復(fù)合目標(biāo)函數(shù)，提出僅使用目標(biāo)函數(shù)的一階信息，對線 性搜索實施加速策略，達到二階收斂的效果。因為不使用函數(shù)的二階信息，故能降低計算的 復(fù)雜度;而且具有二階的收斂率，故能減少迭代步數(shù)，節(jié)約運算時間。
【具體實施方式】
[0015] 這類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其包括以下步驟：
[0016] (1)給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)；
[0017] (2)采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對復(fù)合目標(biāo)函數(shù)的最優(yōu)值進 行逼近；
[0018] (3)給出初始點Xo,利用線搜索獲得X1(3k2 2時，用提升算子表示點Xh 指向Xk-2的向量，而且這個向量是一個上升方向，它的負(fù)方向-就是一個下降方 向，從點Xk-Ι出發(fā)，沿著下降方向一(.?...?.)走一個指定步長，這個步長是（tk-1)/tk+1， 其中11 = 1
，生成新的點Y|，. 然后通過拉回函數(shù) 把點Ymikw加映射到黎曼流形入|上，記為Yk。再從Yk出發(fā)，通過線搜索生成 新的迭代點Xk;
[0019] (4)當(dāng)指定條件被滿足，迭代停止。
[0020] 其中Α?表示黎曼流形，Tkw A'!是流形Μ在點Xk- i處的切空間。提升算子 表示流形A4:上的點Xk-2映射到切空間TxV>f上的點，也可表示點在切空間 巧-別上點Xk-ι指向;的向量。拉回函數(shù)我Xm I表示把切空間上的 點Y1映射到流形中。
[0021] 本發(fā)明針對黎曼流形上的復(fù)合目標(biāo)函數(shù)，提出僅使用目標(biāo)函數(shù)的一階信息，對線 性搜索實施加速策略，達到二階收斂的效果，因為不使用函數(shù)的二階信息，故能降低計算的 復(fù)雜度;而且具有二階的收斂率，故能減少迭代步數(shù)，節(jié)約運算時間。
[0022] 優(yōu)選地，所述步驟(1)中的復(fù)合目標(biāo)函數(shù)為公式(1)
[0024] 其中別表示黎曼流形；g:敎Χ?? ·、- μ是連續(xù)凸函數(shù);/; ιτ^i：是二階連續(xù)可 導(dǎo)的凸函數(shù)，存在一個有限的正實數(shù)L(f)，滿足Amax(HHL(f)，其中λ ΜΧ(Η)是函數(shù)f的 Hessian矩陣的最大奇異值；F(X)滿足F(X)泛打Y)十〈狀(X), L.y (X)〉，其中 V' X/Y € A彳，黎曼流形上的提升算子LY(X)表示把黎曼流形上的點X投影到切空間TV^4上 的點，或表示為Γγ >Λ4上Υ指向Ly (X)的向量。
[0025]優(yōu)選地，所述步驟(2)中
[0026] 對任意的α>〇和給定的點Y s M:，考慮目標(biāo)函數(shù)F(X)=f(X)+g(X)的二次近似
[0028] 其局部最優(yōu)點記為Ρα(Υ)，令YiXk-i，局部最優(yōu)點為
[0029] Xk = Pa(Xk-i) (2)
[0030] 其中1/a表示步長，且a滿足
[0031] F(Pa(Xk-l)) <Qa(Pa(Xk-l),Xk-l) (3)。
[0032] 優(yōu)選地，所述步驟（3)中第k步迭代的加速方向是指定步長是（tk_
[0033] 優(yōu)選地，該優(yōu)化方法的收斂速度是二次的。
[0034] 優(yōu)選地，所述步驟(4)中的指定條件為以下任意一個條件，迭代停止：
[0035] (l)(F(Xk-i)-F(Xk))/F(Xk-i) < e1;
[0036] (2)l/ak< e2；
[0037] (3)迭代次數(shù)2 N
[0038] 其中F(X)表示目標(biāo)函數(shù)值，l/ak是第k步線搜索的步長，表示容忍值，N是 預(yù)先給定的最大迭代步數(shù)。
[0039]以下對本發(fā)明進行更詳細的說明。
[0040]考慮復(fù)合的目標(biāo)函數(shù)
[0042] 其中人彳:表示黎曼流形。下面對目標(biāo)函數(shù)做合理的假設(shè)：
[0043] (1) :g:紀(jì)、_"? 4 S是連續(xù)凸函數(shù)，但可能是非光滑的。
[0044] (2): f:默w4竅是二階連續(xù)可導(dǎo)的凸函數(shù)，存在一個有限的正實數(shù)L(f)，滿足 Amax(H)< L(f)，其中λ_(Η)是函數(shù)f的Hessian矩陣的最大奇異值。
[0045] (3) :F⑴滿足.R:X)之.FXY)十〈游XX) J,Y(X)>，其中X J 形Λ4上的提升算子，表示把黎曼流形.Λ4上的點X投影到切空間:ΓΥ At上的點，也可以表示 為TVA彳上Y指向LY(X)的向量。
[0046] 1 近端黎曼梯度法（proximal Riemannian gradient method)
[0047] -般情況下直接求解目標(biāo)函數(shù)（1)是比較困難的，比如矩陣填充和低秩表示的目 標(biāo)函數(shù)中。如果引入輔助變量，通常需要計算逆矩陣(逆矩陣的計算復(fù)雜度是C?_ S))。采用 近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對目標(biāo)函數(shù)最優(yōu)值進行逼近。
[0048] 對任意的α>〇和給定的點Y € A4,考慮下面目標(biāo)函數(shù)F(X)=f(X)+g(X)的二次近 似
[0050] 其局部最優(yōu)點記為Ρα(Υ)，令YiXk-i，局部最優(yōu)點為
[0051] Xk = Pa(Xk-l) (2)
[0052] 其中1/a表示步長，且a滿足
[0053] F(Pa(Xk-i)) <Qa,(Pa(Xk-i),Xk-i) (3)
[0054] 2快速優(yōu)化算法
[0055] 由（2)式生成的函數(shù)值數(shù)列{F(Xk)}是單調(diào)遞減的.因為對任意的k21，都有
[0057]對于優(yōu)化算法，特別關(guān)注的是收斂速度。而由（3) (4)式得到收斂的數(shù)列{Xk}和單 調(diào)下降的函數(shù)值數(shù)列{F(Xk)}，其收斂速度是線性的。希望通過加速優(yōu)化算法，改善{F(Xk)} 的收斂速度。根據(jù)歐式空間的加速算法，研究黎曼流形上的加速算法?？紤]到黎曼流形并不 是線性空間，
【申請人】提出給出初始點Χο,利用線搜索得出X:。當(dāng)k 2 2時，用提升算子 表示點Χμ指向Xk-2的向量，而且這個向量是一個上升方向，它的負(fù)方向 2)就是一個下降方向。從點Xk-i出發(fā)，沿著下降方向―..,(?...?)走一個特殊 的步長(關(guān)于步長的設(shè)置，取輔助參數(shù)ti=l，
則第k步迭代時所需步長是 (伙-1)八15+1。），生成新的點％，'^￡'心,..1>1:。:然后通過拉回函數(shù).％,.、」1^)把點％從 'Γχ^Α?映射到黎曼流形上，記為Yk。接下來利用（2)式把替換成Yk，生成新的迭代點 Xk。下面給出了定理1保證快速優(yōu)化算法的收斂速度是二次的。
[0058]定理1數(shù)列{Xk}和{F(Xk)}是由快速優(yōu)化算法生成，點X*是{xk}的收斂點。則對于任 意的k 2 1，都有下式成立
[0060]其中表示提升算子在X*處的范數(shù)。
[0061 ] 3停止條件
[0062] 當(dāng)下列任意一個條件被滿足，迭代將停止。
[0063] l.(F(Xk-i)-F(Xk))/F(Xk-i) < ^ι；
[0064] 2.1/ak< e2；
[0065] 3.迭代次數(shù)21
[0066] 其中F(X)表示目標(biāo)函數(shù)值，l/ak是第k步線搜索的步長，表示容忍值，N是 預(yù)先給定的最大迭代步數(shù)。
[0067] 本文在模擬數(shù)據(jù)，兩個人臉數(shù)據(jù)庫做了相應(yīng)的實驗。這些實驗說明了快速優(yōu)化方 法的有效性。其中，利用模擬數(shù)據(jù)進行低秩矩陣填充實驗時，提出LRGe 〇mF0A(Fast Optimization algorithm for low-rank completion)方法，涉及的對比方法有：qGeomMC (A quotient geometry for low-rank matrix completion),LRGeomCG(Conjugate gradient mothod on geometry manifold for low-rank matrix completion)和 LRGeomSD(Speed descent method on geometry manifold for low-rank matrix completion)。在人臉數(shù)據(jù)庫上進行了低秩表示實驗，提出了SP-RPRG(ALM)方法，涉及到的 對比方法有 LRR(Low_rank representation) , SP-RPRG( Sub space pursuit robust proximal Riemannian gradient)。并對SP-RPRG和SP-RPRG(ALM)兩種方法分別基于共輒梯 度法和快速優(yōu)化方法做了對比實驗。
[0068] 1矩陣填充
[0069]
失的矩陣，僅在集合{1，.. .m} X {1，.. .η}的子集合Ω的元素位置上已知矩陣A的元素。且投 影算子Ρω表示當(dāng)時，ΡΩ(ΧΜ)=ΧΜ，否則為〇。
【附圖說明】
[0070] 圖 1 是966〇禮(：、1^66〇11^6、1^66〇11150、1^66〇11^(^四種方法的實驗結(jié)果比較圖。
[0071 ] 實驗中，一般取m = n，過采樣因子0S(0versampling factor)大于2。從圖lb、ld中， 兩次實驗結(jié)果可以得出快速優(yōu)化方法用時最少。從圖la、lc中可以得出，與用一階函數(shù)信息 的方法比較迭代步數(shù)最少(qGeomMC用到了二階信息）。這說明了快速優(yōu)化方法的有效性。 [0072] 2 Extended Yale B和C0IL-20數(shù)據(jù)庫上的聚類
[0073]實驗中應(yīng)用了以下兩個數(shù)據(jù)庫：
[0074] ?Extended Yale B數(shù)據(jù)庫
[0075] (http://www.cad.zju.edu.cn/home/dengcai/Data/FaceData.html)
[0076] 數(shù)據(jù)庫
[0077] ( http://www.cs.columbia.edu/CAVE/software/softlib/coil_20.php)
[0078]選擇Extended Yale B數(shù)據(jù)庫前10個人的640張正面人臉圖像作為實驗數(shù)據(jù)(每人 64張圖片）。每幅圖像的像素由192 X 168下采樣到48 X 42。然后向量化為2016維的向量。
[0079] Columbia Object Image Library(C0IL-20)數(shù)據(jù)庫包含 1440張圖片，其中有20個 不同種類的物體，通過不同的的角度每個物體采集72副圖像。每幅圖像的像素是128X128， 下采樣到32X32。然后向量化為1024維的向量。
[0080] 考慮的低秩表示模型是
[0082]其中| |x| I*表示矩陣X的核范數(shù)，D表示數(shù)據(jù)矩陣，I |E| |21表示矩陣的正則項， 表示最大秩為r的低秩矩陣曲體(Low-rank matrix variety)。該模型通過增廣拉格朗日法 (ALM)轉(zhuǎn)化成
[0084] 其中Xe 是拉格朗日乘子，〈·，·〉表示內(nèi)積，λ，ρ>〇是懲罰參數(shù)。通過交 替迭代法求解，其中變量X € 是黎曼子流形的閉集，可以保證有最優(yōu)解。而..Me.的 幾何特征已經(jīng)給出，因此求解變量X可以運用加速優(yōu)化算法。參數(shù)E，U是有封閉解的。
[0085] 在Extended Yale B數(shù)據(jù)庫上的人臉聚類實驗中，對LRR程序設(shè)定參數(shù)λ = 〇.1，在 SP-RPRG程序中設(shè)置參數(shù)λ = 〇. 〇 1，p = 1，以及在SP-RPRG (ALM)程序中設(shè)置參數(shù)λ = 〇. 〇〇 1，ρ =0 · 5〇
[0086] 表1中，Extended Yale Β數(shù)據(jù)庫上前0={2,3,5,8，10}類的聚類誤差率（％)，以及 運行的時間（秒）。
[0088]表 1
[0089] 在C0IL-20數(shù)據(jù)庫上的物體聚類實驗中，隨機選取2到11類，每類從72張樣本中隨 機選36張樣本作為實驗數(shù)據(jù)，重復(fù)實驗50次得出表2的結(jié)果。其中對LRR程序設(shè)定參數(shù)λ = 0.1，在SP-RPRG程序中設(shè)置參數(shù)λ = 〇. 〇〇 1，ρ = 2，以及在SP-RPRG(ALM)程序中設(shè)置參數(shù)λ = 0 · 001，Ρ = 1 〇
[0090]
[0091] 表 2
[0092] 從表1和表2中可以看出本文提出的快速方法用在SP-RPRG和SP-RPRG (ALM)中都取 得較好的效果。而且本文提出的SP-RPRG(ALM)方法在實驗中的誤差率也有顯著減低。這說 明本發(fā)明的方法和SP-RPRG(ALM)是有意義的。
[0093]以上所述，僅是本發(fā)明的較佳實施例，并非對本發(fā)明作任何形式上的限制，凡是依 據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬本發(fā)明 技術(shù)方案的保護范圍。
【主權(quán)項】
1. 一類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其特征在于:其包括以下步驟： (1) 給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)； (2) 采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對復(fù)合目標(biāo)函數(shù)的最優(yōu)值進行逼 近； (3) 給出初始點XQ，利用線搜索得出X1; ik Μ時，用提升算子表示點xk-^ 向Xk-2的向量，而且這個向量是一個上升方向，它的負(fù)方向-就是一個下降方 向，從點Xk-1出發(fā)，沿著下降方向一.【私..,(Xfc... "2):走一個指定步長（tk-l)/tk+i其中ti=l， = 生成新的點mu ，然后通過拉回函數(shù)Βχυ?Ο把點Μ從 Α4映射到黎曼流形Μ上，記為Yk;再從Yk出發(fā)，通過線搜索生成新的迭代點Xk; (4) 當(dāng)指定條件被滿足，迭代停止。 其中A··婊示黎曼流形是流形創(chuàng)在點Xh處的切空間；提升算子 表示流形Μ上的點Xk-2映射到切空間:Γχ.?:" .s Μ上的點，或表示點在切空間Α?上點xk-：l 指向1^..,(：^...2)的向量;拉回函數(shù)ΒΧΑ:...:?(Υ|;)表示把切空間:1'^..,沏上的點Y!峽射到流形 A-'l 中。2. 根據(jù)權(quán)利要求1所述的黎曼流形上的快速優(yōu)化方法，其特征在于:所述步驟（1)中的 復(fù)合目標(biāo)函數(shù)為公式(1)(1) 其中Μ表示黎曼流形；f :敎―骹是連續(xù)凸函數(shù)；/ :政^# -欺是二階連續(xù)可導(dǎo)的 凸函數(shù)，存在一個有限的正實數(shù)L(f)，滿足Amax(H) < L(f)，其中Amax(H)是函數(shù)f的Hessian矩 陣的最大奇異值;F(X)滿足F(X)之F(Y)十@Ρ(Χ.Μ〕υ{Χ)>，其中X，Y € MLY(X)是黎曼 流形A4上的提升算子，表示把黎曼流形Ai上的點X投影到切空間7V>|:上的點，或表示為 2VM上Y指向LY(X)的向量。3. 根據(jù)權(quán)利要求2所述的黎曼流形上的快速優(yōu)化方法，其特征在于:所述步驟(2)中 對任意的α>〇和給定的點YS.M，考慮目標(biāo)函數(shù)F(X)=f(X)+g(X)的二次近似其局部最優(yōu)點(極小值點），記為P。(Y)，令Y=Xk4，局部最優(yōu)點為 Xk=Pa(Xk-l) (2) 其中1/a表示步長，且a滿足 F(Pa(Xk-l)) <Qa(Pa(Xk-l),Xk-l) (3)。4. 根據(jù)權(quán)利要求3所述的黎曼流形上的快速優(yōu)化方法，其特征在于:給出初始點Xo，利用 線搜索得出Χι;當(dāng)k 2 2時，用提升算子表示點Xk-i指向Xk-2的向量，而且這個向 量是一個上升方向，它的負(fù)方向-丨-.X i ( X η)就是一個下降方向，從點Xk -1出發(fā)，沿著下降 方向走一個指定步長(tk-i)/tk+i，其中ti=i，.ι:?Η4.: 從而生成新 的點然后通過拉回函把點從映射到黎曼流形 上，記為Yk;再從Yk出發(fā)，通過線搜索生成新的迭代點Xk。5. 根據(jù)權(quán)利要求4所述的黎曼流形上的快速優(yōu)化方法，其特征在于:該優(yōu)化方法的收斂 速度是二次的。6. 根據(jù)權(quán)利要求5所述的黎曼流形上的快速優(yōu)化方法，其特征在于:所述步驟(4)中的 指定條件為以下任意一個條件，迭代停止： (1) (F(Xk-i)-F(Xk))/F(Xk-i) < ei； (2) l/〇k < ； (3) 迭代次數(shù)2 N 其中F(X)表示目標(biāo)函數(shù)值，l/ak是第k步線搜索的步長，表示容忍值，N是預(yù)先 給定的最大迭代步數(shù)。
【文檔編號】G06F17/16GK105868162SQ201610196488
【公開日】2016年8月17日
【申請日】2016年3月31日
【發(fā)明人】陳浩然, 孫艷豐, 胡永利, 尹寶才
【申請人】北京工業(yè)大學(xué)