專利名稱：一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法
技術領域：
本發(fā)明屬于模式識別技術領域，特別涉及一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法。

背景技術：
作為模式識別關鍵技術之一的特征提取方法，是將原始的高維數(shù)據(jù)映射到一個低維的特征空間，這已經成為機器學習和模式識別的一個研究熱點。常用的特征提取方法可以分為兩類基于全局結構信息的分析方法和基于局部結構信息的分析方法。在基于全局結構信息的分析方法中，主成分分析方法(PCA)是一種經典的特征提取和數(shù)據(jù)表示技術，它保留了原始數(shù)據(jù)空間的全局結構，而且投影矩陣任意兩個互異的基向量是統(tǒng)計不相關的。不相關是模式識別中非常重要的特性，不相關能使數(shù)據(jù)具有最小的冗余。局部保持投影方法(LPP)基于數(shù)據(jù)的局部結構進行分析，是最近發(fā)展的一種線性的特征提取方法，算法簡單且易于實現(xiàn)，其方法是首先構造原始數(shù)據(jù)的鄰接圖，建立圖的拉普拉斯矩陣，然后以在原始空間中距離接近的兩個數(shù)據(jù)點，投影后在特征空間中的距離更近為準則，求得變換矩陣，獲取數(shù)據(jù)集的局部結構信息。
經對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，X.He等人在《IEEE Trans.on Pattern Analysis andMachine Intelligence》(模式分析與機器智能IEEE雜志，2005，vol.27，no.3，pp.328-340)上發(fā)表的文章“Face Recognition Using Laplacianfaces”(基于拉普拉斯臉的人臉識別方法)中，首先提出了局部保持投影特征提取方法。文章通過實驗說明，該方法能夠得到優(yōu)于主成分分析的識別結果。但是，局部保持投影方法的投影矩陣的基向量是統(tǒng)計相關的，因此提取的特征含有冗余，交迭的信息會導致特征的實際分布發(fā)生歪曲，這個缺點嚴重影響了局部保持投影算法的性能。另外，局部保持投影方法沒有用到類別信息，是一種無監(jiān)督的特征提取方法，而對于模式識別問題，類別信息一般都非常重要。因此尋求一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法具有重要的意義。在進一步的檢索中尚未發(fā)現(xiàn)面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法。


發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法，使其用于模式識別，能夠提高識別的精度。
本發(fā)明解決其技術問題所采用的技術方案是提供一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法，包括加權鄰接圖構造模塊、訓練樣本的矩陣構造模塊、投影矩陣獲得模塊和數(shù)據(jù)分類模塊，其中 加權鄰接圖構造模塊將每個訓練樣本作為一個頂點，建立一個加權鄰接圖，根據(jù)類別信息獲得任意兩個頂點間的相似性權值，并將相似性權值傳輸給訓練樣本的矩陣構造模塊； 訓練樣本的矩陣構造模塊接收相似性權值并根據(jù)最近鄰原則，使得每個頂點都只與其相似性權值最小的若干個頂點連接，建立訓練樣本的相似矩陣，再由訓練樣本的相似矩陣建立訓練樣本的度矩陣、圖的拉普拉斯矩陣，并將上述矩陣傳輸給投影矩陣獲得模塊； 投影矩陣獲得模塊接收度矩陣和圖的拉普拉斯矩陣，再根據(jù)局部保持投影方法，加入統(tǒng)計不相關性的約束條件，通過迭代過程，解特征值問題，每次迭代選取最小的特征值對應的特征向量，最后將這些特征向量作為基向量，構成面向鑒別的具有統(tǒng)計不相關性的局部保持投影矩陣，并將投影矩陣傳輸給數(shù)據(jù)分類模塊； 數(shù)據(jù)分類模塊接收投影矩陣、輸入的訓練數(shù)據(jù)和測試數(shù)據(jù)，并將訓練數(shù)據(jù)和測試數(shù)據(jù)投影到投影矩陣中，獲得訓練系數(shù)矩陣和測試系數(shù)矩陣，采用最小距離分類器，識別出測試數(shù)據(jù)所屬的類別。
所述加權鄰接圖構造模塊，其根據(jù)類別信息獲得任意兩個頂點間的相似性權值，是指設每個訓練樣本代表一個頂點xi，建立任意兩個頂點之間的相似性權值，這些相似性權值可以表示成
相似性權值的構造利用了訓練數(shù)據(jù)的類別信息，較好地反映了相連接的兩個數(shù)據(jù)點間的相似程度，相似性權值越大說明這兩個數(shù)據(jù)點越相似，越有可能屬于同一類別。
所述訓練樣本的矩陣構造模塊，其建立訓練樣本的相似矩陣、度矩陣、圖的拉普拉斯矩陣，具體如下 矩陣構造模塊接收相似性權值，在相似性權值中按照最近鄰原則，找出每個頂點的k個近鄰頂點，即找出與頂點xi間的相似性權值最小的前k個頂點，使得頂點xi只與這k個頂點連接，建立訓練數(shù)據(jù)集的相似矩陣W，W的元素表示為
頂點xi的度為n為訓練數(shù)據(jù)點的個數(shù)，建立鄰接圖的度矩陣為D＝diag(d1，d2，…，dn)，建立圖的拉普拉斯矩陣為L＝D-W，即
所述投影矩陣獲得模塊，其通過迭代過程，解特征值問題，獲得面向鑒別的具有統(tǒng)計不相關性的局部保持投影矩陣，是指設訓練樣本集X＝{x1，x2，…，xn}，ST＝E[(X-EX)(X-EX)T]為訓練樣本的協(xié)方差陣，記SL＝XLXT，SD＝XDXT。局部保持投影方法的投影矩陣可以通過求解如下特征值問題的特征向量獲得 SLφ＝λSDφ(4) 其中，φ為特征值λ對應的特征向量。
然后引入統(tǒng)計不相關的約束條件 采用拉格朗日乘子法，聯(lián)合以上條件進行求解。
設{φ1，φ2，…，φk-1}是已求得的前k-1個投影基向量，記Φk-1＝[φ1，φ2，…，φk-1]，則滿足統(tǒng)計不相關性的投影向量φk，可以按照如下步驟迭代獲得 (a)矩陣SD-1SL的最小特征值對應的特征向量作為投影向量φ1。
(b)求解如下特征方程的特征值，并取最小特征值對應的特征向量作為不相關的投影向量φk。
R(k)SLφ＝λSDφ (5) 其中， (c)重復第(b)步，直至得到d個滿足統(tǒng)計不相關性的向量{φ1，φ2，…，φd}。
最后，得到面向鑒別的具有統(tǒng)計不相關性的局部保持投影矩Φ＝[φ1，φ2，...，φd]。
有益效果 本發(fā)明在構造加權鄰接圖時，引入了訓練數(shù)據(jù)的類別信息，可以更準確地刻畫數(shù)據(jù)間的關系，而且本發(fā)明可以提取出滿足統(tǒng)計不相關性的特征，從而提取的特征能夠在保留原始數(shù)據(jù)空間的局部信息的同時，具有最小的冗余，應用到識別問題中，可以提高識別性能。
本發(fā)明可應用于視頻監(jiān)控系統(tǒng)、視頻會議系統(tǒng)、軍事目標跟蹤識別系統(tǒng)等各類民用及軍用系統(tǒng)中，具有廣闊的市場前景和應用價值。



圖1為本發(fā)明方法的工作流程。
圖2為本發(fā)明方法在航天器圖像庫中進行識別的結果與直接用矩特征進行識別，分別用線性鑒別分析方法(LDA)及局部保持投影方法(LPP)進行識別的結果比較圖。其中橫坐標為最近鄰個數(shù)，縱坐標為識別率。

具體實施例方式 下面結合具體實施例，進一步闡述本發(fā)明。應理解，這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應理解，在閱讀了本發(fā)明講授的內容之后，本領域技術人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權利要求書所限定的范圍。
本實施例應用于對STK模型庫中的航天器模型進行識別，STK是美國AGI公司出品的衛(wèi)星仿真工具包，此工具包不但可以對衛(wèi)星的軌道、姿態(tài)和通信鏈路進行計算，還可以根據(jù)真實的星歷信息計算各天體的位置和實際的光照。此外，工具包內包含很多天體表面紋理信息和航天器模型，因而可以對空間視景進行模擬。
在仿真中，從STK模型庫中選取了4類有代表性的航天器模型，利用STK8.0計算得到航天器模擬圖像，每類航天器模型有100幅圖像。計算每幅圖像的Hu不變矩作為觀測數(shù)據(jù)進行實驗。
如圖1所示，將觀測數(shù)據(jù)分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集，然后進行如下操作 步驟一，構造加權鄰接圖 鄰接圖中的每個頂點xi對應于航天器訓練數(shù)據(jù)集中的一個數(shù)據(jù)點，建立任意兩個頂點之間的相似性權值，這些相似性權值可以表示成
相似性權值的構造利用了航天器訓練數(shù)據(jù)的類別信息，較好地反映了相連接的兩個數(shù)據(jù)點間的相似程度，相似性權值越大說明這兩個數(shù)據(jù)點越相似，越有可能屬于同一種航天器。
步驟二，根據(jù)步驟一中得到的航天器訓練數(shù)據(jù)集任意兩個頂點之間的相似性權值，建立相似矩陣、度矩陣和圖的拉普拉斯矩陣，具體如下 在相似性權值中按照最近鄰原則，找出與頂點xi間的相似性權值最小的前k(實驗中取k＝1…40)個頂點，使得頂點xi只與這k個頂點連接，建立航天器訓練數(shù)據(jù)集的相似矩陣W，W的元素表示為
頂點xi的度為n為航天器訓練數(shù)據(jù)點的個數(shù)，建立鄰接圖的度矩陣為D＝diag(d1，d2，…，dn)，建立圖的拉普拉斯矩陣為L＝D-W，即
步驟三，根據(jù)步驟二得到的度矩陣和拉普拉斯矩陣，將統(tǒng)計不相關的約束條件引入到局部保持投影法中，通過迭代過程，解特征值問題，獲得面向鑒別的具有統(tǒng)計不相關性的局部保持投影矩陣 設訓練樣本集X＝{x1，x2，…，xn}，SL＝XLXT，SD＝XDXT，I＝diag(1，1，...，1)，協(xié)方差矩陣ST＝E[(X-EX)(X-EX)T]，Φ＝[φ1，φ2，...，φk]為投影矩陣，并定義 Φk-1＝[φ1，φ2，...，φk-1] (10) 局部保持投影方法的目標函數(shù)是 其中，yi是頂點xi對應于低維空間的投影結果。通過一些簡單的幾何知識，上述目標函數(shù)可化為如下的最小化問題 滿足最小化目標函數(shù)的投影矩陣可以轉化為一般的特征值問題 XLXTΦ＝λXDXTΦ (13) 為了得到不相關的投影向量φk，在式(13)的基礎上增加統(tǒng)計不相關約束 為了消除φk的任意性，局部保持投影方法又增加了一個約束 采用拉格朗日乘子法，聯(lián)合式(14)、式(15)進行求解，問題等價于求φk使下述函數(shù)取到最大值 關于φk求導數(shù)，并令導數(shù)為零，可得到 在式(17)的兩邊左乘上φkT，利用式(14)的約束，可知后兩項為零，于是可解得 問題就是要使λ取到最大值。
再在式(17)的兩邊分別左乘上φjTSTSD-1，推導整理可得 其中，j＝1，2，...，k-1。
設γ＝[γ1，γ2，...，γk-1]，則式(19)可表示成 由(20)求出γ，并根據(jù)式(17)進一步表示為 2SLφk-2λSDφk-STΦk-1γ＝0(21) 將γ的解代入式(21)，并經過一系列推導和整理，最終，不相關的投影向量φk可按照如下步驟迭代獲得 (a)矩陣SD-1SL的最小特征值對應的特征向量作為投影向量φ1。
(b)求解如下特征方程的特征值，并取最小特征值對應的特征向量作為不相關的投影向量φk。
R(k)SLφ＝λSDφ(22) 其中 最后，得到面向鑒別的具有統(tǒng)計不相關性的局部保持投影矩陣Φ＝[φ1，φ2，...，φd]。
步驟四，執(zhí)行投影變換，提取特征，進行識別 投影過程如下x→y＝ΦTx，則y為樣本x的d維表示。將航天器的訓練數(shù)據(jù)和測試數(shù)據(jù)分別利用步驟三生成的投影矩陣Φ投影到特征空間中，得到訓練系數(shù)矩陣和測試系數(shù)矩陣，采用最小距離分類器，以訓練系數(shù)矩陣為標準，即可識別出航天器測試數(shù)據(jù)所屬的類別。
圖2是采用本實施例方法(SULPP)在航天器圖像庫中進行識別的結果與直接用矩特征進行識別，以及分別用線性鑒別分析方法(LDA)、局部保持投影方法(LPP)進行識別的結果，其中橫坐標為最近鄰個數(shù)，縱坐標為識別率。從圖中可看出，本發(fā)明提出的方法明顯優(yōu)于直接用矩特征(Invmoments)的方法和用LDA、LPP提取特征的方法，能獲得更具鑒別性的特征，可以提高識別性能。
權利要求
1.一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法，其特征在于，包括下列模塊
(1)加權鄰接圖構造模塊將每個訓練樣本作為一個頂點，建立一個加權鄰接圖，根據(jù)類別信息獲得任意兩個頂點間的相似性權值，并將相似性權值傳輸給訓練樣本的矩陣構造模塊；
(2)訓練樣本的矩陣構造模塊接收相似性權值并根據(jù)最近鄰原則，使得每個頂點都只與與其相似性權值最小的頂點連接，建立訓練樣本的相似矩陣，再由訓練樣本的相似矩陣建立訓練樣本的度矩陣、圖的拉普拉斯矩陣，并將上述矩陣傳輸給投影矩陣獲得模塊；
(3)投影矩陣獲得模塊接收度矩陣和圖的拉普拉斯矩陣，再根據(jù)局部保持投影方法，加入統(tǒng)計不相關性的約束條件，通過迭代過程，解特征值問題，每次迭代選取最小的特征值對應的特征向量，最后將這些特征向量作為基向量，構成面向鑒別的具有統(tǒng)計不相關性的局部保持投影矩陣，并將投影矩陣傳輸給數(shù)據(jù)分類模塊；
(4)數(shù)據(jù)分類模塊接收投影矩陣、輸入的訓練數(shù)據(jù)和測試數(shù)據(jù)，并將訓練數(shù)據(jù)和測試數(shù)據(jù)投影到投影矩陣中，獲得訓練系數(shù)矩陣和測試系數(shù)矩陣，采用最小距離分類器，識別出測試數(shù)據(jù)所屬的類別。
2.根據(jù)權利要求1所述的一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法，其特征在于所述的加權鄰接圖構造模塊，其根據(jù)類別信息獲得任意兩個頂點間的相似性權值，是指設每個訓練樣本代表一個頂點xi，建立任意兩個頂點之間的相似性權值，這些相似性權值可以表示成
全文摘要
本發(fā)明涉及一種面向鑒別的具有統(tǒng)計不相關性的局部保持投影方法，包括加權鄰接圖構造模塊、訓練樣本的矩陣構造模塊、投影矩陣獲得模塊和數(shù)據(jù)分類模塊。本發(fā)明在構造加權鄰接圖時，引入了訓練數(shù)據(jù)的類別信息，可以更準確地刻畫數(shù)據(jù)間的關系，而且本發(fā)明可以提取出滿足統(tǒng)計不相關性的特征，從而提取的特征能夠在保留原始數(shù)據(jù)空間的局部信息的同時，具有最小的冗余，應用到識別問題中，可以提高識別性能。本發(fā)明可應用于視頻監(jiān)控系統(tǒng)、視頻會議系統(tǒng)、軍事目標跟蹤識別系統(tǒng)等各類民用及軍用系統(tǒng)中，具有廣闊的市場前景和應用價值。
文檔編號G06K9/62GK101515328SQ200810207239
公開日2009年8月26日 申請日期2008年12月18日 優(yōu)先權日2008年12月18日
發(fā)明者孫韶媛, 方建安, 谷小婧 申請人:東華大學