專利名稱：基于線性規(guī)劃的高效超平面分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識(shí)別、機(jī)器學(xué)習(xí)領(lǐng)域，尤其是基于線性規(guī)劃實(shí)現(xiàn)的高效分類方法。
背景技術(shù)：
超平面常用于構(gòu)建分類器，如在二分類情況時(shí)，根據(jù)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小原則，可簡(jiǎn)單地尋找一個(gè)超平面使得錯(cuò)分樣本最少(F. W. SMITH, 1968.)。由于根據(jù)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小原則確定的超平面常常推廣能力較弱，不適應(yīng)現(xiàn)代模式識(shí)別發(fā)展需要。為此，在結(jié)構(gòu)風(fēng)險(xiǎn)最小原則下，基于最優(yōu)超平面提出了支持向量機(jī)(V. N. Vapnik, 1998)。支持向量機(jī)旨在尋找一超平面，在超平面垂直方向兩類樣本的兩個(gè)最近鄰點(diǎn)具有最大距離。支持向量機(jī)推廣能力佳， 已獲得較廣泛應(yīng)用，但是在使用支持向量機(jī)時(shí)需要求解二次數(shù)學(xué)規(guī)劃問(wèn)題，計(jì)算量大，尤其是具有海量訓(xùn)練樣本時(shí)，支持向量機(jī)的訓(xùn)練問(wèn)題往往成為應(yīng)用桎梏。在優(yōu)化規(guī)模相同時(shí)，一次規(guī)劃問(wèn)題相對(duì)于二次規(guī)劃問(wèn)題常具有較高求解效率。結(jié)合一次規(guī)劃和支持向量機(jī)優(yōu)點(diǎn)， Q. mi等提出了一次規(guī)劃支持向量機(jī)(Q. Wu and D. -X. Zhou, 2005)，可適應(yīng)大規(guī)模樣本的分類。一次規(guī)劃支持向量機(jī)具有多種形式，有些以減小超平面一次項(xiàng)系數(shù)向量的二次范數(shù)為目的(V. N. Vapnik, 1998)，把規(guī)模為k的二次規(guī)劃問(wèn)題等價(jià)為規(guī)模為k2的一次規(guī)劃問(wèn)題；有些僅以增大最近鄰樣本的距離為目的(W. Zhou, L. Siang & L. Jiao, 2002)，與支持向量機(jī)的優(yōu)化效果具有明顯卻別，支持向量機(jī)不僅使得最近鄰樣本在某個(gè)方向相距最大，同時(shí)也考慮了使得兩類樣本易于區(qū)分的整體優(yōu)化效應(yīng)。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)不足，提供基于線性規(guī)劃的高效超平面分類方法， 包括兩類共五個(gè)分類器。第一類基于線性規(guī)劃的高效超平面分類方法包括兩個(gè)分類器，其實(shí)現(xiàn)步驟如下 (a) 尋找一個(gè)超平面，使得兩類樣本分別在超平面正負(fù)兩邊，且兩類樣本離超平面
距離和盡量遠(yuǎn)，用以下一次規(guī)劃問(wèn)題確定超平面
權(quán)利要求
1.基于線性優(yōu)化實(shí)現(xiàn)的快速超平面分類方法可歸為兩類，分別需要一個(gè)和兩個(gè)超平面，其特征在于1)建立超平面時(shí)，優(yōu)化各樣本與超平面的距離和；2)用數(shù)學(xué)一次規(guī)劃方法求解超平面，求解速度快；3)用松弛參數(shù)提高分類方法的非線性分類適應(yīng)性；4)用核方法進(jìn)一步提高分類方法非線性分類能力。
2.根據(jù)權(quán)利要求1所述優(yōu)化各樣本與超平面距離和，其特征在于優(yōu)化各樣本 ^與超平面￡ . ^Ix + h = 0的距離和時(shí)，優(yōu)化[^3" +b而不是優(yōu)化
3.根據(jù)權(quán)利要求1所述的第一類快速超平面分類方法，包括兩個(gè)分類器LPHC-1-1和 LPHC-1-2，其特征在于包括以下步驟步驟1 對(duì)線性可分的兩類樣本建立一超平面L :y=wTx+b,使得yi=l的正樣本Xi滿足 wTXi+b>0, Yi=-I的負(fù)樣本Xi滿足wTXi+b<0，并且為使得所建立超平面具有好的分類推廣能力，盡量增大各樣本與超平面的距離和Igma^bEi IwVbUBP 對(duì)于線性可分情況我們提出LPHC-I分類器，其超平面L :y=wTx+b從以下關(guān)系解出步驟2 =LPHC-I分類器不適于對(duì)線性不可分樣本進(jìn)行分類，為此引入松弛參數(shù)IiX) 和Jli彡0，允許少部分yi=l的正樣本位于超平面L的負(fù)方向，wTXi+b>-〖i ；少部分7嚴(yán)-1的負(fù)樣本位于超平面L的正方向，W1X^ni ；且錯(cuò)分的樣本應(yīng)盡可能少，因此從LPHC-I衍生出第一類快速超平面分類方法的第一個(gè)分類器步驟3 線性優(yōu)化速度與變量個(gè)數(shù)密切相關(guān)，為加快求解速度，對(duì)LPHC-1-1中ξ i > 0 和Hi > 0分別用一個(gè)數(shù)ξ > 0和η > 0替代，得到第二個(gè)分類器
4.根據(jù)權(quán)利要求1所述的第二類快速超平面分類方法，包括LPHC-2-1、LPHC-2-2和 LPHC-2-3三個(gè)分類器，其特征在于步驟1 建立兩個(gè)超平面Ll和L2，使得Ll緊貼yi=l的正樣本，盡量遠(yuǎn)離yi=_l的負(fù)樣本；L2緊貼yi=-l的負(fù)樣本，遠(yuǎn)離yi=l的正樣本，即從以下優(yōu)化問(wèn)題中求解Ll和L2
5.根據(jù)權(quán)利要求 1 所述的進(jìn)一步提高 LPHC-1-1、LPHC-1-2, LPHC-2-1、LPHC-2-2、 LPHC-2-3非線性分類能力的核方法，其特征在于
全文摘要
本發(fā)明公開(kāi)了五個(gè)基于線性規(guī)劃的高效超平面分類器，五個(gè)分類器需要用線性規(guī)劃高效地確定一個(gè)或二個(gè)超平面。在線性可分條件下，用線性規(guī)劃確定一超平面，使得兩類樣本到超平面的距離和最大。為弱化線性可分條件，兩種不同策略得到兩個(gè)分類器。在線性可分假設(shè)下，用線性規(guī)劃求解出兩超平面，一個(gè)超平面貼近一類樣本。兩超平面組成的分類器易解決異或問(wèn)題，三種不同的弱化線性可分假設(shè)條件的策略產(chǎn)生另外三個(gè)分類器。測(cè)試表明這些分類器具有很高求解效率，第一類分類器的分類能力接近支持向量機(jī)，第二類分類器適合解決異或問(wèn)題。
文檔編號(hào)G06F17/30GK102236704SQ20111015753
公開(kāi)日2011年11月9日 申請(qǐng)日期2011年6月13日 優(yōu)先權(quán)日2011年6月13日
發(fā)明者劉怡光 申請(qǐng)人:劉怡光