專利名稱：：分類器動態(tài)選擇與循環(huán)集成方法
技術領域：
：本發(fā)明提出了一種新的分類器選擇與集成方^^分類器動態(tài)選擇與循環(huán)集成方法，它能更好地提高多分類器系統(tǒng)的性能和泛化能力，可以應用于文字識別,識別生物特征識別醫(yī)療診斷軍事上的自動目標識別和地簾預測等涉及到模式識別的各個方面。
背景技術：
：多分類器系統(tǒng)是模式識別中的一個重要方向，近年來取得很大進展，大量的理論和實驗結果都表明，多分類器系統(tǒng)不但可以提髙分類的正確率，而且可以提高模式識別系統(tǒng)的泛化能力和魯棒性。多分類器系統(tǒng)設計的關鍵在于分類器子集選擇和集成方法，目前的多分類器系統(tǒng)都是首先構造一定數(shù)量的單分類器(或稱候選分類器)，然后從中選擇一個最優(yōu)(或次優(yōu))的子集，再采用某種集成方法對其進行集成i^+方法存在兩個主要問題一是效率問題，二是靈活性問題首先，由于子集選擇中采用最優(yōu)化方法，根據(jù)某種準則尋找一個最優(yōu)或次優(yōu)的子集，使得集成后的多分類器系統(tǒng)性能最佳，而最優(yōu)化方法如遺傳算法分支定界等都是隨機搜索，需要經(jīng)過大量的嘗試才能找到最優(yōu)解，這就使得分類器子集的選擇要付出很大的時間代價梨fc這種方法中分類器子集一.曰.選定，便由該子集中的分類器構成多分類器系統(tǒng)，用于完成識別任務，也就是說，由此構成的多分類器系統(tǒng)的結構是固定的，無論待識別目標的難易程度如何，入選的分類器都要參與識別任務而在實際應用中，絕大部分目標僅用少量的分類器就能取得很好的識別效果，而少部分難以識別的目標則需要更多的分類器參與集成現(xiàn)有的方法對分類器的選擇是靜態(tài)的，入選分類器的數(shù)目是固定的，集成方法中一般只對入選分類器使用一次，因此在實際應用中，不僅缺乏足夠的靈活性，也會降低整個系統(tǒng)的效率。
發(fā)明內(nèi)容針對目前多分類器系統(tǒng)設計中最優(yōu)子集選擇的效率低下ftfS方法缺乏足夠的靈活性等問題，本發(fā)明提出了一種新的分類器選擇與集成方^^分類器動態(tài)選擇與循環(huán)集成方法，該方法包括兩個主要部分一是候選分類器排序，二是動態(tài)分類器子集選擇和循環(huán)集成。為了實現(xiàn)分類器的動態(tài)選擇，我們提出了描述分類器互補性的互補指數(shù)，首先根據(jù)互補指數(shù)對候選分類器進行排序，然后再根據(jù)待識別目標的具體情況動態(tài)選擇分類器子集，最后通過循環(huán)集成方法得到識別結果劍門所提出的方法至少在以下三個方面比現(xiàn)有方法有明顯優(yōu)勢第一，選擇效率大幅度提高現(xiàn)有的方法對子集的選擇采用的都是隨機搜索，所以耗時多効率差，而我們提出的互補指數(shù)及選擇方法采用的是啟發(fā)式搜索，耗費少效率高t，現(xiàn)有方法對分類器的選擇是靜態(tài)的，即一旦選擇完成后，入選分類器就固定了。對T待識別目標，無論其難易程度如何，入選分類器都要參與集成^應用中，大部分目標是比較容易識別的，此時僅需要少量分類器就能準確識別；而少量難以識別的目標則需要更多的分類器參與識別，靜態(tài)的選擇方法會分別造成分類器資源的浪費和不足而我們提出的方法則會根據(jù)待識別目標的難易程度動態(tài)的選擇分類器，從而避免上述問題的出現(xiàn)第三，在集成過程中，現(xiàn)有方法一般只對入選分類器使用一次，使得某些識別效果好的分類器的作用不能充分發(fā)揮我們提出的循環(huán)集成方法，根據(jù)樣本難易程度的不同，可以多次使用某些分類器，提髙入選分類器的利用效率。分類器動態(tài)選擇與循環(huán)集成方法，可以針對不同的待識別目標，挑選出不同數(shù)目的分類器進行集成和識別對于較易識別的目標，可能只選出一個或少數(shù)幾個分類器就能解決問題；而對較難識別的目標，則選出大量的分類器，并循環(huán)集成多次使用，盡可能得到正確的識別結果S^方法靈活高效，易于實現(xiàn)，可以大大提髙多分類器系統(tǒng)的效率、識別率和泛化能力。分類器動態(tài)選擇與循環(huán)集成方法具體實現(xiàn)如下首先，利用互補指數(shù)對候選分類器進行排序然后，根據(jù)對目標的識別情況動態(tài)選擇分類器子集最后，通過循環(huán)集成方法得到識別結果?；パa指數(shù)定義如下考慮兩個單分類器Ef和Ej,設樣本集S中被兩個分類器錯分的樣本集合分別為Si和Sj(Si和Sj令為非空集合)，CI為兩個分類器的互補指數(shù)，D(S)為集合S中所包含的樣本個數(shù)，則互補指數(shù)定義如<table>tableseeoriginaldocumentpage4</column></row><table>分類器動態(tài)選擇與循環(huán)集成方法算法AlgorithmInput:待識別樣本，排序戶，初始闞值P。，步長A-;Output:識別結果；〃S^為輸出向量Y的最大分量值，ifc被選入分類器個數(shù)BeginInitializeD-^W-^'it-l'S^^;"-/^!)]for(P=e0;6^0:^-P—AP)for(ifc=l;ifc《w:it++)選擇尸中前it個分類器；對ifc個分類器集成Y-tiifS,〉A:1110return識別結果endforendforend;候選分類器排序算法首先，選擇識別率最髙的分類器C,放入D;其次，從剩余的候選集中選擇分類器e,使得e加入D中后，平均互補指數(shù)值最大然后，重復選擇e，直到所有候選分類器都被選入D。各分類器入選的順序即為排序結果尸。分類器動態(tài)選擇與循環(huán)集成方法算法首先，設定初始閾值&,令0=&,將待識別樣本輸入，根據(jù)排序戶依次動態(tài)選入分類器對樣本進行集成識別，只要當滿足輸出條件5皿>^*0,則輸出識別結果。如果所有分類器都已經(jīng)選入仍然不滿足輸出條件，則降低閩值0=0-A0，再重復上述步驟，直到滿足輸出條件，則輸出識別結果，算法結束。具體實施方式按照上述算法設計軟件，實現(xiàn)本發(fā)明提出的方法。權利要求1.分類器動態(tài)選擇與循環(huán)集成方法，特征是首先根據(jù)互補指數(shù)對候選分類器進行排序，然后再根據(jù)對目標的識別情況動態(tài)選擇分類器子集，最后通過循環(huán)集成方法得到識別結果。該方法對于較易識別的目標，可能只選出一個或少數(shù)幾個分類器就能解決問題；而對較難識別的目標，則選出大量的分類器，并循環(huán)集成多次使用，盡可能得到正確的識別結果。2.根據(jù)權利要求l所述定義，互補指數(shù)定義為C^--^~~^~~^~~",平均互補指數(shù)定義—W為cj=t!!11^*分類器抻序算法的特征是首先，將識別率最高的分類器排在第一位，其次，從剰余的候選集中選擇下一個分類器排在第二位，然后，重復選擇，直到所有候選分類器都被排序，選擇的標準是它與前面分類器所構成集合的平均互補指數(shù)值最大。3.根據(jù)權利要求l所述定義，分類器動態(tài)選擇與循環(huán)集成算法的特征是:根據(jù)分類器排序算法得到的順序，選擇第一個分類器對目標進行識別，當輸出結果滿足5>先*0時，則輸出識別結果，否則依次選擇下一個分類器進行集成.如果所有分類器都已經(jīng)選入仍然不能滿足輸出條件，則降低閾值0-0再重復上述步驟，直至得到識別結果.全文摘要該發(fā)明提出了一種新的分類器選擇與集成方法——分類器的動態(tài)選擇與循環(huán)集成方法，屬于計算機科學
技術領域：
?，F(xiàn)有的分類器選擇與集成方法，雖然在一定程度上提高了多分類器系統(tǒng)的識別能力，但存在最優(yōu)子集選擇的效率低下、集成方法缺乏足夠的靈活性等問題。為了更好地提高多分類器系統(tǒng)的性能，針對現(xiàn)有方法的缺陷，本發(fā)明提出了一種新的分類器選擇與集成方法——分類器動態(tài)選擇與循環(huán)集成方法。這種新方法首先利用互補指數(shù)對候選分類器進行排序，然后根據(jù)對目標的識別情況動態(tài)選擇分類器子集，最后通過循環(huán)集成方法得到識別結果。這種新方法可以針對不同的待識別目標，挑選出不同數(shù)目的分類器進行集成和識別。對于較易識別的目標，可能只選出一個或少數(shù)幾個分類器就能解決問題；而對較難識別的目標，則選出大量的分類器，并循環(huán)集成多次使用，盡可能得到正確的識別結果。這種新方法靈活高效，易于實現(xiàn)，可以大大提高多分類器系統(tǒng)的效率、識別率和泛化能力。可以應用于文字識別、圖像識別、生物特征識別、醫(yī)療診斷、軍事上的自動目標識別和地震預測等涉及到模式識別的各個方面。文檔編號G06K9/00GK101154266SQ20061015263公開日2008年4月2日申請日期2006年9月25日優(yōu)先權日2006年9月25日發(fā)明者郝紅衛(wèi),陳志強申請人:郝紅衛(wèi);陳志強