專利名稱：從低維類模型集合中選擇對(duì)象類的特定模型的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及對(duì)采樣數(shù)據(jù)建模，特別是涉及用低維模型表示高維數(shù)據(jù)。
背景技術(shù)：
如圖1所示，非線性降維(NLDR)從高維采樣數(shù)據(jù)101產(chǎn)生低維表示120。數(shù)據(jù)101對(duì)嵌入在環(huán)境空間RD110中的d維流形(ddimensional manifold)M 105采樣，其中D＞d。目的是將嵌入的非本征幾何(即流形M 105如何在環(huán)境空間RD內(nèi)成形)與它的本征幾何(即流形M的d維坐標(biāo)系120)分開115。流形可以表示104為具有由邊緣(edge)130連接的頂點(diǎn)125的圖，如圖理論領(lǐng)域中所熟知的。頂點(diǎn)125表示高維坐標(biāo)系內(nèi)流形上的采樣數(shù)據(jù)點(diǎn)101，而邊緣130為連接頂點(diǎn)125的線或弧。因此，圖被嵌入流形。術(shù)語“圖”(graph)不應(yīng)該與如在解析幾何內(nèi)的函數(shù)圖(即曲線圖(plot))相混淆。
例如，如果已知諸如人的面部之類的對(duì)象的流形怎樣嵌入面部圖像的環(huán)境空間，就可用模型的本征幾何對(duì)面部圖像進(jìn)行編輯、比較和分類，而可用非本征幾何來檢測圖像內(nèi)的面部和合成新的面部圖像。
作為另一個(gè)例子，可用嵌入在語音空間內(nèi)的元音對(duì)象的流形來對(duì)元音內(nèi)的聲音變化的空間建模，這可用來區(qū)分元音的類(class)。
已知的通過嵌入圖和將數(shù)據(jù)流形浸在低維空間內(nèi)產(chǎn)生高維數(shù)據(jù)的低維模型的頻譜法由于約束集合不充分和/或約束集合在數(shù)字方面情況不好從而是不穩(wěn)定的。
在度量約束下嵌入圖在NLDR、自組織無線網(wǎng)絡(luò)映射和關(guān)系數(shù)據(jù)的視覺化中是一種頻繁操作。盡管在頻譜嵌入法方面有一些進(jìn)步，但現(xiàn)有技術(shù)的NLDR方法還是不實(shí)際和不可靠的。與NLDR關(guān)聯(lián)的一個(gè)困難是自動(dòng)產(chǎn)生使問題能被很好提出、很好調(diào)整和用切合實(shí)際的時(shí)間可解決的嵌入約束。很好提出的約束保證唯一解(solution)。很好調(diào)整的約束使解在數(shù)字上可與次最優(yōu)解可分開。
兩個(gè)問題表現(xiàn)為在嵌入約束的譜中特征間隙(eigengap)很小甚至為零，這表明圖(即模型)實(shí)際上是非剛性(non-rigid)的，并且存在解的特征空間，在該空間中最優(yōu)解難以與其他解分開。很小的特征間隙使得很難甚至不可能將一個(gè)解與它的變形模式分開。
圖嵌入在拉普拉斯算符那樣的局部到整體的圖嵌入中，每個(gè)圖頂點(diǎn)的嵌入受該頂點(diǎn)的近鄰(即，在圖理論術(shù)語中，頂點(diǎn)的1-環(huán))的嵌入的限制。為了降維，頂點(diǎn)是從在環(huán)境高維樣本空間內(nèi)以某種方式卷起(roll-up)的流形采樣的數(shù)據(jù)點(diǎn)，而圖嵌入約束被設(shè)計(jì)成再現(xiàn)該流形的局部仿射結(jié)構(gòu)，同時(shí)將流形在較低維的目標(biāo)空間內(nèi)“打開”。
現(xiàn)有技術(shù)的局部到整體的圖嵌入的例子包括Tutte的方法，見W.T.Tutte的“How to draw a graph”，Proc.London MathematicalSociety，13743-768，1963；拉普拉斯特征映射，見Belkin等人的“Laplacian elgenmaps for dimensionality reduction and datarepresentation”，volume 14 of Advances in Neural InformationProcessing Systems，2002；局部線性嵌入(LLE)，見Roweis等人的“Nonlinear dimensionality reduction by locally linear embedding”，Science，2902323-2326，December 22 2000；Hessian LLE，見Donoho等人的“Hessian eigenmaps”，Proceedings，National Academy ofSciences)；作圖，見Brand的“charting amanifold”，Advances inNeural Information Processing Systems，volume 15，2003；線性正切空間對(duì)準(zhǔn)(LTSA)，見Zhang等人的“Nonlinear dimension reductionvia local tangent space alignment”，Proc.，Conf.on Intelligent DataEngineering and Automated Learning，number 2690 in Lecture Noteson Computer Science，pages 477-481，Springer-Verlag，2003；以及短程線零空間分析(GNA)，見Brand的“From subspaces tosubmanifolds”，Proceedings，British Machine Vision Conference，2004。
以上所列的最后這三種方法構(gòu)成最大可能秩的局部仿射約束，導(dǎo)致基本上穩(wěn)定的解。
LTSA和GNA取嵌入在環(huán)境空間RD中的N頂點(diǎn)圖，頂點(diǎn)位置為X＝[x1，...，xN]∈RD×N，并將圖重新嵌入較低維空間Rd，新的頂點(diǎn)位置為Y＝[y1，…，yN]∈Rd×N，保留局部仿射結(jié)構(gòu)。通常，通過某種試探法從點(diǎn)數(shù)據(jù)(諸如k個(gè)最近鄰居)構(gòu)成圖。
嵌入如下工作。取k個(gè)點(diǎn)的一個(gè)這樣的鄰域，用例如局部主分量分析(PCA)構(gòu)成局部d維坐標(biāo)系Xm[xi，xj，...]∈Rd×k。PCA產(chǎn)生一個(gè)具有與坐標(biāo)系Xm的行和常數(shù)向量1正交的正交列的零空間矩陣Qm∈Rk×(k-d-1)。這個(gè)零空間(nullspace)還與局部坐標(biāo)系的任何仿射變換A(Xm)正交，使得維護(hù)局部坐標(biāo)系內(nèi)平行線的任何變換、旋轉(zhuǎn)或延伸都滿足A(Xm)Qm＝0。于是，任何其他變換T(Xm)可以分離成一個(gè)仿射分量A(Xm)加上非線性失真N(Xm)＝T(Xm)QmQmT。
LTSA和GNA方法將零空間投影QmQmT，m＝1，2，...匯編成在圖內(nèi)所有鄰域上對(duì)非線性失真求和(LTSA)或加權(quán)平均的稀疏矩陣K∈RN×N。
嵌入基(embedding base)V∈Rd×N具有正交的并橫越[K，1]的列零空間的行向量；即，VVT＝I和V[K，1]＝0?？梢缘贸?，如果嵌入基V存在并且作為將圖嵌入Rd的基礎(chǔ)提供，則該嵌入中的每個(gè)鄰域?qū)⑾鄬?duì)它的原始局部坐標(biāo)系具有零非線性失真，見以上Zhang等人的論文。
此外，如果鄰域充分交疊，使得圖在Rd內(nèi)成為仿射剛性的，那么從原始數(shù)據(jù)X到嵌入基V的變換就以相同的方式“伸展”圖的每個(gè)鄰域。然后，線性變換T∈Rd×d消除該伸展，給出較低維頂點(diǎn)位置Y＝TV，使得從較高維數(shù)據(jù)X到較低維嵌入Y的變換只包括局部鄰域的剛性變換，即嵌入Y是等距的。當(dāng)在這過程中有任何類型的噪聲或測量誤差時(shí)，可以通過K∈RN×N的瘦奇異值分解(SVD)或K的零空間的瘦特征值分解(EVD)(即KKT)得到最小平方最佳近似嵌入基V。由于矩陣K是非常稀疏的，具有O(N)個(gè)非零值，迭代子空間估計(jì)器通常呈現(xiàn)O(N)倍縮放。在稀疏矩陣K用GNA構(gòu)成時(shí)，對(duì)應(yīng)的奇異值SN-1，SN-2，...測量按維的在點(diǎn)范圍上的平均失真。
現(xiàn)有技術(shù)的圖嵌入的核心問題之一是KKT以及局部NLDR中的任何約束矩陣的特征值在λ0＝0附近(其是提供嵌入基V的譜的末端)二次性增長，附錄A是KKT的特征值的二次增長的證明。二次增長意味著特征值曲線在譜的低端幾乎是平坦的(λi+1-λi≈0)，使得將嵌入基與其他特征向量分離的特征間隙可以忽略。在簡單的圖拉普拉斯算符的譜內(nèi)可以觀察到類似的結(jié)果，它們也是S形的，在零附近二次增長。
在圖嵌入中，約束矩陣起著與有限元方法中的硬度(stiffness)矩陣類似的作用，而且在兩種情況下都是與零附近的特征值關(guān)聯(lián)的特征向量規(guī)定了最佳參數(shù)化，即解，以及解的次最佳失真模式，也稱為“振動(dòng)”。面對(duì)特征解算器(eigensolver)或任何其他零空間估計(jì)器的問題是收斂速度是相對(duì)特征間隙|λc-λc+1|λmax-λmin]]>或所需與其余主特征值之間的特征比(eigenratio) 的線性函數(shù)，見Knyazev的“Toward The optimalpreconditioned eigensolver”，SIAM Journal on Scientific Computing，23(2)517-541，2001。特征向量的數(shù)字穩(wěn)定性同樣取決于特征間隙。如上面所說明的那樣，對(duì)于局部到整體的NLDR來說，特征間隙和特征比兩個(gè)都非常小，使得難以將解(即高維數(shù)據(jù)的最佳低維模型)與解的失真模式(即振動(dòng))分開。
直觀上，低頻率振動(dòng)造成圖內(nèi)一些非常平滑的彎曲，它們?cè)诰植考s束層次產(chǎn)生非常小的變形的不利后果。由于圖的特征值將那些不利后果加了起來，與變形的低頻率模式關(guān)聯(lián)的特征值具有非常小的值，導(dǎo)致不良的數(shù)值調(diào)整和特征解算器的緩慢收斂。在精細(xì)鄰域結(jié)構(gòu)導(dǎo)致緊密間隔的特征值的情況下，這個(gè)問題在規(guī)模上增大成較大的問題，使得迭代特征解算器不能精確確定表示最優(yōu)最佳解(即振動(dòng)最小甚至沒有振動(dòng)的最佳模型)的最小特征值和向量。
因此，需要有一種從對(duì)象類的低維模型集合中選擇特定的低維模型的方法，其中低維模型集合是從高維采樣數(shù)據(jù)得出的。
發(fā)明內(nèi)容
本發(fā)明從類的低維模型集合中選擇對(duì)象類的特定模型，其中模型是圖，每個(gè)圖包括表示類中對(duì)象的多個(gè)頂點(diǎn)和連接這些頂點(diǎn)的邊緣。測量類中對(duì)象的高維樣本子集之間的第一距離。將第一距離與類的低維模型集合組合，以產(chǎn)生受第一距離約束的模型子集，并且從模型子集中選擇具有最為分散的頂點(diǎn)的特定模型。
圖1為非線性降維的基本步驟的方框圖；圖2為產(chǎn)生對(duì)象類的低維模型集合的現(xiàn)有技術(shù)方法的方框圖；圖3為按照本發(fā)明設(shè)計(jì)的從表示對(duì)象類的模型集合中選擇特定模型的方法的方框圖；圖4為按照本發(fā)明設(shè)計(jì)的遞歸鄰域擴(kuò)張的方框圖；圖5為表示對(duì)象類的非剛性圖的框圖；以及圖6為按照本發(fā)明的根據(jù)高維數(shù)據(jù)從表示對(duì)象類的低維模型的集合中選擇特定模型的方法的框圖。
具體實(shí)施例方式
用NLDR產(chǎn)生輸入類模型本發(fā)明取對(duì)象的低維模型集合中的一個(gè)，即下面還要詳細(xì)說明的表示對(duì)象類的局部到整體嵌入的集合，作為輸入。模型集合用非線性降維(NLDR)產(chǎn)生。在優(yōu)選實(shí)施例中，模型集合用短程線零空間分析(GNA)或可任選的線性正切空間對(duì)準(zhǔn)(LTSA)產(chǎn)生，因?yàn)樗衅渌阎木植康秸w嵌入方法均采用LTSA和GNA的仿射約束的一個(gè)子集。
圖2示出了一種用短程線零空間分析(GNA)產(chǎn)生模型301的集合的現(xiàn)有技術(shù)方法，這種方法可參見本申請(qǐng)的受讓方擁有的2004年9月2遞交的美國專利申請(qǐng)No.10/932,791“Method for generating aLow-Dimensional Representation of High-Dimensional Data”，該申請(qǐng)全部在這里列為參考予以引用。為了用GNA產(chǎn)生模型301的輸入集合，從嵌入在環(huán)境空間中的d維流形對(duì)在高維環(huán)境空間RD內(nèi)存在的類中的對(duì)象201進(jìn)行采樣210，其中D＞d，從而產(chǎn)生樣本211的集合。例如，樣本211是一些面部圖像。對(duì)于每個(gè)面部有至少一個(gè)圖像(樣本)。每個(gè)樣本包括表示對(duì)象特征的多個(gè)數(shù)據(jù)值，例如圖像內(nèi)像素的亮度值，或許還有顏色。因此，每個(gè)樣本可以包括好幾百萬的數(shù)據(jù)值。每個(gè)樣本的數(shù)據(jù)值被組織成向量。對(duì)于圖像來說，這可以用傳統(tǒng)的掃描線變換實(shí)現(xiàn)。NLRD的目標(biāo)是分離嵌入的非本征幾何。也就是說，希望從流形的本征幾何，即流形上的原有(native)d維坐標(biāo)系，確定流形在環(huán)境空間RD內(nèi)的形狀。
流形對(duì)于目標(biāo)空間Rd的開子集是局部等距的(isometric)，并且通過未知的二次函數(shù)C2嵌入在環(huán)境歐幾里得空間RD＞d中。流形M是環(huán)境空間RD的黎曼幾何子流形。
流形在環(huán)境空間RD內(nèi)具有非本征曲率，但是零特征曲率。然而，流形在目標(biāo)空間Rd內(nèi)的等距浸入可以具有帶凹邊界的不平凡形狀。
用X[x1，…，xN]∈RD×N表示的樣本集合211記錄了在環(huán)境空間RD內(nèi)流形的N個(gè)樣本的位置。
樣本集合Yiso[y1，...，yN]∈Rd×N的等距浸入消除了集合的非本征曲率，以便恢復(fù)等距直到目標(biāo)空間Rd中的剛性運(yùn)動(dòng)。
將樣本211組成220一些樣本子集，即鄰域，使得每個(gè)子集與至少一個(gè)其他子集交疊。每個(gè)樣本子集具有k個(gè)樣本，其中k可以不同。當(dāng)且僅當(dāng)?shù)趎個(gè)點(diǎn)在第m個(gè)子集內(nèi)，成組(grouping)220由鄰接矩陣M＝[m1，...，mM]∈RN×M確定(Mnm＞0)。
為每個(gè)樣本子集221確定230子集參數(shù)化Xm∈Rd×k231。子集參數(shù)化231可以含有在第m個(gè)子集內(nèi)的k個(gè)樣本的局部等距參數(shù)化。參數(shù)化內(nèi)的歐幾里得成對(duì)距離等于流形上的最短程線距離。
在進(jìn)行最短程線零空間分析時(shí)，對(duì)等距低維參數(shù)化的零空間加以平均240，以得到具有包含對(duì)象類的低維模型301集合的零空間的矩陣。本發(fā)明的一個(gè)目的是提供一種從模型301集合中選擇特定模型331的方法。可以理解，集合301內(nèi)的每個(gè)模型可以用在低維目標(biāo)空間Rd內(nèi)的對(duì)象的圖表示。本發(fā)明改善了現(xiàn)有技術(shù)的從集合301中選擇特定模型的方法。
鄰域擴(kuò)展利用施加到嵌入在環(huán)境空間RD中的d維流形圖中頂點(diǎn)和邊緣的擴(kuò)展子集上的較長范圍約束，本發(fā)明有效地硬化了低維目標(biāo)空間Rd內(nèi)對(duì)象的圖(即模型)的頂點(diǎn)和邊緣的網(wǎng)狀結(jié)構(gòu)(mesh)。
如圖3所示，按照本發(fā)明的方法300使從模型301的集合中選擇的模型302的樣本子集成組310。子圖311包括所選擇的模型302(即，表示嵌入在環(huán)境空間RD中的d維流形的圖)的頂點(diǎn)和邊緣的交疊鄰域的集合。對(duì)于從子圖中選出的錨頂點(diǎn)312-315的集合，確定320子圖參數(shù)化321。在優(yōu)選實(shí)施例中，錨頂點(diǎn)是子圖周邊上的頂點(diǎn)，然而，錨頂點(diǎn)的位置并不局限于周邊。將子圖參數(shù)化321與模型301的輸入集合組合，以識(shí)別特定模型331。
如上面對(duì)圖2所作的說明那樣，在對(duì)原始樣本集合210施加GNA時(shí)，對(duì)等距低維參數(shù)化的零空間進(jìn)行平均，以得到具有包含對(duì)象類的低維模型301集合的零空間的矩陣?；氐綀D3，按照本發(fā)明的一個(gè)實(shí)施例的組合330對(duì)子圖參數(shù)化321的零空間和輸入模型301集合的零空間進(jìn)行平均。由于在距離分開得比原始樣本子集221大的樣本之間確定子圖參數(shù)化321，因此不在零空間內(nèi)的特征值在組合330后具有較大的值，從而增大了特定模型331與模型集合301內(nèi)其余模型之間的特征間隙。
如圖4所示，通過為近似或完全覆蓋401所選擇的模型302的多個(gè)子圖311確定參數(shù)化，本發(fā)明可以應(yīng)用于整個(gè)所選擇的類模型302，但是只對(duì)所有頂點(diǎn)中的一個(gè)小的子集例如錨頂點(diǎn)增添一些約束。多個(gè)子圖的參數(shù)化用與圖3所示的相同方式加以組合330?？梢砸赃f歸方式對(duì)所選擇的模型302應(yīng)用尺寸增大的進(jìn)一步子圖參數(shù)化402。尺寸較大的子圖的錨頂點(diǎn)只從先前遞歸的錨頂點(diǎn)中選擇。
在優(yōu)選實(shí)施例中，對(duì)于每個(gè)子圖尺寸，選擇頂點(diǎn)中的恒定比例的頂點(diǎn)作為錨頂點(diǎn)，例如獨(dú)立于子圖的尺寸，為每個(gè)遞歸選擇1/4的頂點(diǎn)。
如果在每個(gè)遞歸將子圖和錨頂點(diǎn)的數(shù)目減半，則可以在不多于K矩陣內(nèi)非零數(shù)的數(shù)目加倍的O(N)次中執(zhí)行多級(jí)硬化。
用邊緣長度約束來規(guī)則化低維類模型即使對(duì)模型(即圖)進(jìn)行硬化，也可能存在這個(gè)圖本質(zhì)上是非剛性的情況。這一般在用諸如k個(gè)最近鄰居之類的試探法產(chǎn)生圖時(shí)發(fā)生。在這樣的情況下，嵌入基V∈Rc×N具有比目標(biāo)空間Rd大的維c(c＞d)。例如，如圖5所示，如果具有d＝2的模型510的頂點(diǎn)和邊緣的子集501是共線的(co-linear)，它們產(chǎn)生軸502，允許在Rd中流形內(nèi)的各種折疊(fold)，例如圖內(nèi)的折疊503。在這種情況下，模型的集合橫跨所有可能的折疊形態(tài)504。因此，嵌入姿態(tài)不良，需要進(jìn)行規(guī)則化來從模型的集合中選擇最為打開的模型。
圖6示出了從模型集合602中選擇具有分散最開的頂點(diǎn)的模型631，即最打開的圖。對(duì)高維樣本601的子集之間的第一距離611進(jìn)行測量610?？梢岳斫?，高維樣本與低維模型中的頂點(diǎn)對(duì)應(yīng)。將第一距離與模型集合組合620。組合620標(biāo)識(shí)了受第一距離約束、具有在與高維樣本的子集對(duì)應(yīng)的頂點(diǎn)之間的距離的模型的子集。在優(yōu)選實(shí)施例中，第一距離標(biāo)識(shí)了具有受第一距離約束的邊緣長度的模型的子集。從模型子集中選擇630所有頂點(diǎn)之間的距離最大的特定模型631。在優(yōu)選實(shí)施例中，在特定模型中每個(gè)頂點(diǎn)與每個(gè)頂點(diǎn)的所有4跳鄰居之間的距離達(dá)到最大。因此選擇作為模型的最打開的圖滿足在矩陣K內(nèi)編碼的仿射約束，使在互斥頂點(diǎn)子集之間的距離達(dá)到最大，并滿足對(duì)特定邊緣子集的精確距離約束。
任選的是，可以將高維樣本601的第二子集之間的距離的第二集合612與特定模型631內(nèi)對(duì)應(yīng)的距離例如邊緣長度相比較。如果與高維樣本的第二子集對(duì)應(yīng)的頂點(diǎn)之間的距離受第二距離約束，就存在匹配650，確認(rèn)特定模型的選擇630是正確的。如果沒有匹配，則重復(fù)651方法，其中第二距離612與模型集合和第一距離組合620。
形式上，混合矩陣U∈Rc×d具有任意非零范數(shù)的正交列。誤差向量σ＝[σ1，...，σc]T含有與其左奇異向量相關(guān)聯(lián)的矩陣K的奇異值，即嵌入基V的行?；旌暇仃嘦從由嵌入基V的行跨越的可能解的空間中選擇度量正確的嵌入。
目標(biāo)嵌入Y＝[y1，…，yN]UTV∈Rd×N具有總失真‖UTσ‖和任何兩個(gè)頂點(diǎn)之間的距離‖yi-yj‖＝‖UT(vi-vj)‖(vi為嵌入基V的第i列)。優(yōu)化問題是使失真減到最小，同時(shí)使分散達(dá)到最大U*=maxU-||UTσ||2+Σpqrpq2||yp-yq||2---(1)]]>對(duì)于加權(quán)rpq≥0的特定選擇，使距離ij∈EdgeSubset‖yi-yj‖≤Dij(2)保持在形成Rd內(nèi)非零列單形體(simplex)的至少d個(gè)邊緣上，否則嵌入在有些維就可能崩潰。邊緣長度可以是不相等的，因?yàn)樽鳛橹本€距離測量的邊緣距離Dij是在環(huán)境空間RD內(nèi)的弦而不是在流形內(nèi)的最短線，因此可能與低維嵌入不一致。
這種不相等允許有些邊緣稍有縮短，以有利于散得更開從而更平坦的低維嵌入。實(shí)施與圖中邊緣的所有或隨機(jī)樣本對(duì)應(yīng)的距離約束。距離約束不必形成連通圖。
恒等式‖Y‖F(xiàn)2＝‖UTV‖F(xiàn)2＝trace(UTVVTU)＝trace(VVTUUT)應(yīng)用于式1-2產(chǎn)生對(duì)客體 的半定程序(SDP)
maxGtrace((C-diag(σ)2)G)---(3)]]>with C=.Σpqrpq2(vp-vq)(vp-vq)T---(4)]]>∀i,j∈EdgeSubscttrace((vi-vj)(vi-vj)TG)≤Dij2---(5)]]>特別是，如果所有頂?shù)瘸?pqrpq＝1)，則C＝VVT＝I，而且trace(CG)＝∑pq‖yp-yq‖2＝‖Y‖F(xiàn)2。由于V1，嵌入是居中的。
在c＝d的極值處，在U＝T是對(duì)等距的升級(jí)的情況下，SDP是不必要的。在c＝D-1，施加半定圖嵌入，其中range(V)＝span(RN1)代替居中約束，因此LTSA/GNA是不必要的。其間，有稱為非剛性對(duì)準(zhǔn)(NA)的調(diào)和。利用迭代特征解，LTSA/GNA取O(N)倍，但是需要整體剛性的約束集合。半定圖嵌入不需要?jiǎng)傂约s束，但是具有O(N6)倍的縮放。
非剛性對(duì)準(zhǔn)非剛性對(duì)準(zhǔn)(NA)用LTSA/GNA構(gòu)建大大縮小半定程序的嵌入基。此外，將不完全的鄰域集合與不完全的邊緣長度約束集合組合的選項(xiàng)是可行的，這進(jìn)一步簡化了兩個(gè)問題。雖然這種方法需要初始LTSA/GNA的局部維的估計(jì)，但這種方法從半定圖嵌入繼承了較高維數(shù)據(jù)X的譜給出整體嵌入維的陡峭估計(jì)的特性，因?yàn)榍度胧怯汕度牖鵙跨越的。局部維可以過估計(jì)，這降低了局部零空間維，從而降低了整體剛性，但是能因此在SDP問題上有附加的自由度。
減少SDP約束可以以矩陣向量形式將SDP等式約束改寫為ATsvec(G)＝b，其中svec(G)用對(duì)角線外的元素乘以，從X的上三角形成列向量。在這里，約束矩陣A的每個(gè)列含有對(duì)于特定邊緣ij的向量化邊緣長度約束(例如，對(duì)于等式約束的svec((vi-vj)(vi-vj)T)；向量b的對(duì)應(yīng)元素含有值Dij2。SDP解算器的主要花費(fèi)在對(duì)可能有大量線性冗余列的矩陣A∈Rc2×e]]>的操作上。
在問題具有精確解(式5作為等式是合理的)時(shí)，這花費(fèi)可以通過投影減小設(shè)F∈Re×f，f＜＜e對(duì)于約束矩陣A的主行子空間是列正交基，這可以通過瘦SVD以O(shè)(ef2c2)次估計(jì)。從Mirsky-Eckart定理可以得出f等式約束，F(xiàn)TATvec(G)＝FTb (6)是原始等式約束的等效或最小平方最佳逼近。對(duì)于大的精確可解問題，通?？梢詫⒓s束集合的基數(shù)(cardinality)降低97％，而沒有信息損失。
在問題沒有精確解，即式5只可作為不等式時(shí)，SDP問題可以用隨機(jī)選取的邊緣長度不等式約束的小子集來求解。結(jié)合子空間V所施加的仿射約束，這足以滿足大多數(shù)其余未實(shí)施的長度約束。被違反的那些可以添加給活動(dòng)集合，再解SDP，重復(fù)直到全部滿足。
應(yīng)用于語音數(shù)據(jù)TIMIT語音數(shù)據(jù)庫是一個(gè)可廣泛獲得的數(shù)據(jù)庫，收集了600多個(gè)說話者說出的2000多個(gè)句子的音頻波形和語音錄音。本發(fā)明的一個(gè)應(yīng)用是對(duì)元音中聲音變化的空間建模。從標(biāo)準(zhǔn)表示開始，對(duì)于在錄音中標(biāo)為元音的每個(gè)10毫秒幀確定D＝13mel-cepstral特征的向量。
為了降低錄音誤差和共發(fā)音現(xiàn)象，將數(shù)據(jù)縮減到每個(gè)元音段的中間一半，得到R13內(nèi)大致N＝240,000個(gè)樣本。多次將PCA應(yīng)用于隨機(jī)數(shù)據(jù)鄰域表明，數(shù)據(jù)是局部5維的。具有5維鄰域和25維基的7個(gè)近似最近鄰居圖的NA嵌入用不到11分鐘的時(shí)間確定。譜是陡峭的，在7維中方差為＞99％，在5維中＞95％，而在2維中＞75％。
原始數(shù)據(jù)的PCA旋轉(zhuǎn)分別在13、9和4維與這些百分比匹配。注意到所估計(jì)的局部維度和整體嵌入維度之間的偏差，引入了具有少量不利的松弛變量來研究圖沒有完全打開的可能性。
在語音識(shí)別中的長期經(jīng)驗(yàn)法則是全協(xié)方差高斯型(Gaussian)與3或4個(gè)對(duì)角協(xié)方差高斯型[LRS83]的混合體競爭。重要的經(jīng)驗(yàn)問題是，NA表示是否提供比PCA更好的類分離。這可以通過對(duì)每個(gè)音素類應(yīng)用高斯型并計(jì)算各類之間經(jīng)對(duì)稱化的KL發(fā)散性加以量化(與任何下游語音處理無關(guān))。
較高的發(fā)散性意味著需要較少的比特來描述由(高斯型)二次分類器形成的分類錯(cuò)誤。在d＝5NA表示中的類之間發(fā)散性平均為在d＝5PCA表示時(shí)類之間發(fā)散性的2.2倍，而沒有NA表示變得不好的實(shí)例。對(duì)于d的其他值甚至d＝1和d＝D也可觀察到類似的優(yōu)點(diǎn)。
雖然本發(fā)明是以優(yōu)選實(shí)施例為例進(jìn)行說明的，但可以理解，在本發(fā)明的精神實(shí)質(zhì)和專利保護(hù)范圍內(nèi)可以作出各種其他調(diào)整和修改。因此，所附權(quán)利要求書的目的是將所有這樣的變動(dòng)和修改包括在本發(fā)明的精神實(shí)質(zhì)和專利保護(hù)范圍之內(nèi)。
附錄A可以將約束矩陣K看作對(duì)候選嵌入Z與濾波器的卷積的離散近似。如果畫出K的列，這個(gè)濾波器就類似一個(gè)逆拉普拉斯算符。分析表明確實(shí)是這種情況命題4設(shè)Z[z1，...，zN]∈Rd×N，zi＝z(yj)是由在本征坐標(biāo)yi上的C2多值映射zM→Rd給出的數(shù)據(jù)參數(shù)化。設(shè)K=·(ΣmSmQmQmTdiag(wm)SmT)diag(ΣmSmwm)-1---(7)]]>其中二元的索引矩陣Sm∈{0，1}N×k選擇形成第m個(gè)鄰域的k個(gè)點(diǎn)，而鄰域加權(quán)向量wm∈Rk按照點(diǎn)離鄰域中心的距離賦予點(diǎn)加權(quán)({Wm}i∞exp(-||{Xm}i-Xm‾||2/2σ2/σ).]]>K的每個(gè)列是高斯型算符的離散差，參數(shù)化誤差‖ZK‖F(xiàn)2近似‖z-G*z-2G*z‖2，它本身經(jīng)平滑的形式a與z之差減去它與高斯-拉普拉斯算符的卷積。
證明(命題4)為簡單起見，將首先考慮每隔一定間隔采樣的1D流形的情況?；叵胍幌?，K是各呈現(xiàn)為形式Nm=QmQmT]]>=I-1k11T-PmPmT]]>的鄰域零空間投影的平均，其中Pk∈Rk×d為居中局部坐標(biāo) 的正交基。由于正交化是線性運(yùn)算，因此 與點(diǎn)i和j離群集中心的距離的乘積||{Xm}i-Xm‾||·||{Xm}j-Xm‾||]]>成正比。將矩陣PmPmT的元素看作表面高度，就有一個(gè)二次的鞍表面，最大的正值在左上和右下角，而最大的負(fù)值在右上和左下角。在這種經(jīng)簡化的情況下，Pm＝k-1/2·[-j，1-j，...，j-1，j]T，其中k＝2j+1為各鄰域的大小，而K的各列中的元素為Nm的對(duì)角的高斯加權(quán)和。確切地說，對(duì)于第p個(gè)非邊界鄰域，K的一個(gè)列內(nèi)的第n個(gè)非零子對(duì)角元素為
Kp+n,p=-1kΣi=ni=2j(1+(i-j)(i-j-n)3j(j+1))e-(i-j)2]]>=-1k3j(j+1)Σi=ni=2j{(1-(i-j)2)e-(i-j)2]]>-(1-n(i-j))e-(i-j)2+j(j+1)3e-(i-j)2]]>注意，(1-i-j)2)e-(i-j)2為高斯-拉普拉斯算符，如果保持i＝n和對(duì)n(K內(nèi)一個(gè)列的各元素)迭代，就得到各有有限支持的高斯型和LoG型的差；對(duì)i的求和給出這些各有不同支持的曲線的疊加。為了推廣到不規(guī)則采樣，只要將增量i加大相鄰點(diǎn)之間的差。為了推廣到多維流形，注意到以上自變量適用于形成M上短程線的點(diǎn)的任何子集，以及由于K和拉普拉斯算符的線性，以上自變量適用于形成不同短程線的點(diǎn)的不同子集的任何線性組合。
命題5I-G-2G的近零特征值二次增長證明(命題5)考慮諧波等式，其描述圖如何在與它的嵌入正交的空間內(nèi)振動(dòng)-(I-G-2G)Y(x，t)＝d2Y(x，t)/d2t，Y(x，t)為時(shí)間t和位置x(在流形本征坐標(biāo)內(nèi))的偏移。對(duì)于周期運(yùn)動(dòng)，設(shè)Y(x，t)＝sin(ωt)·Y(x)，其中Y(x)是振動(dòng)模式。在代入和通約后，諧波等式簡化為(I-G-2G)Y(x)＝ω2·Y(x)，確認(rèn)模式Y(jié)(x)為算符I-G-2G的特征函數(shù)?？梢酝ㄟ^代入驗(yàn)證Y(x)＝sin(at+b)為解(特征向量)的正交基，特征值在S形曲線ω2=1-(1+a2/2π)e-a2]]>上，其中a∈{1，2，...，N}，b∈R。在a＝0附近的級(jí)數(shù)展開顯示出主導(dǎo)項(xiàng)為二次的。
證明(命題1)擴(kuò)展產(chǎn)生新的鄰域，它的參數(shù)化對(duì)于其組成鄰域是仿射的，因此它的零空間與K是正交的。
證明(命題2)由于減半，在任何比例上，在每個(gè)鄰域擴(kuò)展中頂點(diǎn)的數(shù)目平均起來是一個(gè)常數(shù)v＜＜n，其僅由原始局部鄰域的本征維度和平均大小確定。減半也保證了鄰域擴(kuò)展的總數(shù)為Σi(12)iN<N.]]>合起來，這些形成O(N)倍。在少于N個(gè)鄰域擴(kuò)展的每一個(gè)中，一個(gè)點(diǎn)平均接收來自新鄰居的d個(gè)約束，與它在N個(gè)原始鄰域中的每個(gè)中接收的相同或少一些。
證明(命題3)由于F為約束的方差保留旋轉(zhuǎn)，因此總是可以旋轉(zhuǎn)F＝[f1，...，ff]的f維行空間，使得ifiTb＞0。于是，任何不可行的解 可以用z＞0縮放，使得∀ifiTATsvec(zG~)≤fiTb,]]>其中任何差由非負(fù)松弛變量構(gòu)成。
權(quán)利要求
1.一種從對(duì)象類的低維模型的集合中選擇對(duì)象類的特定模型的方法，其中模型是圖，每個(gè)圖包括表示類中對(duì)象的多個(gè)頂點(diǎn)和連接所述頂點(diǎn)的邊緣，所述方法包括測量類中對(duì)象的高維樣本子集之間的距離，將第一距離與類的低維模型集合組合，以產(chǎn)生受第一距離約束的模型子集，以及從模型子集中選擇具有最為分散的頂點(diǎn)的特定模型。
全文摘要
從類的低維模型集合中選擇對(duì)象類的特定模型，其中模型是圖，每個(gè)圖包括表示類中對(duì)象的多個(gè)頂點(diǎn)和連接這些頂點(diǎn)的邊緣。測量類中對(duì)象的高維樣本子集之間的第一距離。將第一距離與類的低維模型集合組合，以產(chǎn)生受第一距離約束的模型子集，并且從模型子集中選擇具有最為分散的頂點(diǎn)的特定模型。
文檔編號(hào)G06K9/62GK1940968SQ20061014152
公開日2007年4月4日 申請(qǐng)日期2006年9月29日 優(yōu)先權(quán)日2005年9月30日
發(fā)明者馬修·E·布蘭德 申請(qǐng)人:三菱電機(jī)株式會(huì)社