專利名稱：一種基于mcmc的并行分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)分類技術(shù)，尤其涉及一種基于MCMC的并行分類方法。
背景技術(shù)：
針對(duì)數(shù)據(jù)分類問題，目前存在許多分類方法，單一的分類方法主要包括決策樹、貝葉斯、人工神經(jīng)網(wǎng)絡(luò)、K-近鄰、支持向量機(jī)和基于關(guān)聯(lián)規(guī)則的分類等。另外還有用于組合單一分類方法的集成學(xué)習(xí)方法，如Bagging方 法和Boosting方法等。在諸多分類方法中，貝葉斯分類算法是一類利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類的算法。當(dāng)面對(duì)大數(shù)據(jù)的分類問題時(shí)，基于統(tǒng)計(jì)學(xué)的貝葉斯算法就顯現(xiàn)出了它的優(yōu)勢(shì)。貝葉斯算法基本思想是通過貝葉斯規(guī)則(參見公式I)進(jìn)行參數(shù)后驗(yàn)證概率推斷的過程。
權(quán)利要求
1.一種基于MCMC的并行分類方法,應(yīng)用于包括N行處理器和P列處理器構(gòu)成的運(yùn)算系統(tǒng)中，每個(gè)處理器至少包含一條馬爾科夫鏈和一個(gè)特征，同一行中的P個(gè)處理器具有相同的馬爾科夫鏈，同一列中的N個(gè)處理器具有相同的個(gè)體特征，其特征在于 根據(jù)初始狀態(tài)計(jì)算似然估計(jì)； 根據(jù)似然估計(jì)計(jì)算出參數(shù)的后驗(yàn)概率； 根據(jù)所述后驗(yàn)概率進(jìn)行MCMC模擬運(yùn)算，以當(dāng)前狀態(tài)為基礎(chǔ)，產(chǎn)生新狀態(tài)； 根據(jù)所述新狀態(tài)計(jì)算接受概率，并通過第一隨機(jī)數(shù)產(chǎn)生器產(chǎn)生第一隨機(jī)數(shù)，所述同一行中的處理器具有相同的第一隨機(jī)數(shù)產(chǎn)生器； 判斷所述接受概率和所述第一隨機(jī)數(shù)的比較結(jié)果，當(dāng)所述第一隨機(jī)數(shù)小于所述接受概率時(shí)，則下一時(shí)刻的狀態(tài)為所述新狀態(tài)，否則保持原狀態(tài)不變； 通過第二隨機(jī)數(shù)產(chǎn)生器產(chǎn)生準(zhǔn)備進(jìn)行交換的馬爾科夫鏈的標(biāo)號(hào)，所述每個(gè)處理器具有相同的第二隨機(jī)數(shù)產(chǎn)生器； 當(dāng)處理器中包含的馬爾科夫鏈參與了交換，則同一列中的處理器計(jì)算出交換概率，并利用第二隨機(jī)數(shù)產(chǎn)生器產(chǎn)生第二隨機(jī)數(shù)，判斷所述交換概率和所述第二隨機(jī)數(shù)的比較結(jié)果，當(dāng)所述第二隨機(jī)數(shù)小于所述交換概率時(shí)，則交換兩條馬爾科夫鏈的加熱參數(shù)，否則交換不發(fā)生。
2.根據(jù)權(quán)利要求1所述的并行分類方法，其特征在于，所述根據(jù)初始狀態(tài)計(jì)算似然估計(jì)步驟包括 所述同一行中的處理器根據(jù)初始狀態(tài)和部分?jǐn)?shù)據(jù)計(jì)算出局部似然估計(jì)； 所述同一行中的處理器將所述局部似然估計(jì)合并為全局似然估計(jì)。
3.根據(jù)權(quán)利要求1所述的并行分類方法，其特征在于，所述根據(jù)所述似然估計(jì)計(jì)算出參數(shù)的后驗(yàn)概率步驟包括 根據(jù)所述似然估計(jì)利用公式/Vf I計(jì)算出參數(shù)的后驗(yàn)概率， 其中，E是包含測(cè)試數(shù)據(jù)的訓(xùn)練數(shù)據(jù)集，H是參數(shù)，P(E)是數(shù)據(jù)集的非條件概率，P(H)是根據(jù)數(shù)據(jù)計(jì)算的先驗(yàn)概率，P(ElH)是根據(jù)預(yù)先設(shè)置的模型計(jì)算的參數(shù)似然估計(jì)，P(H|E)是參數(shù)的后驗(yàn)概率。
4.根據(jù)權(quán)利要求1所述的并行分類方法，其特征在于，所述根據(jù)所述新狀態(tài)計(jì)算接受概率步驟包括根據(jù)所述新狀態(tài)利用公4十算出所述接受概率。
5.根據(jù)權(quán)利要求1所述的并行分類方法，其特征在于，所述則同一列中的處理器計(jì)算出交換概率步驟包括 同一列中的處理器根據(jù)公式f =計(jì)算出交換概率。
6.根據(jù)權(quán)利要求1所述的并行分類方法，其特征在于，所述當(dāng)所述第二隨機(jī)數(shù)小于所述交換概率時(shí)，則交換兩條馬爾科夫鏈的加熱參數(shù)的步驟包括當(dāng)交換的兩條馬爾科夫鏈在同一處理器中時(shí)，則直接進(jìn)行加熱參數(shù)的交換，否則，通過處理器間的通訊來進(jìn)行加熱參數(shù)的交換。
全文摘要
本發(fā)明公開了一種基于MCMC的并行分類方法，包括根據(jù)初始狀態(tài)計(jì)算似然估計(jì)；根據(jù)似然估計(jì)計(jì)算出參數(shù)的后驗(yàn)概率；根據(jù)后驗(yàn)概率進(jìn)行MCMC模擬運(yùn)算，以當(dāng)前狀態(tài)為基礎(chǔ)，產(chǎn)生新狀態(tài)；根據(jù)新狀態(tài)計(jì)算接受概率，并產(chǎn)生第一隨機(jī)數(shù)，當(dāng)?shù)谝浑S機(jī)數(shù)小于接受概率時(shí)，則下一時(shí)刻的狀態(tài)為新狀態(tài)，否則保持當(dāng)前狀態(tài)不變；產(chǎn)生同一列處理器中準(zhǔn)備進(jìn)行交換的馬爾科夫鏈的標(biāo)號(hào)；當(dāng)處理器中的馬爾科夫鏈參與了交換，則計(jì)算出交換概率，并產(chǎn)生第二隨機(jī)數(shù)，判斷交換概率和第二隨機(jī)數(shù)的比較結(jié)果，當(dāng)?shù)诙S機(jī)數(shù)小于交換概率時(shí)，則交換處理中的馬爾科夫鏈的加熱參數(shù)，否則交換不發(fā)生。本發(fā)明縮短了MC3算法和MCMC算法的執(zhí)行時(shí)間，并減小了通訊開銷。
文檔編號(hào)G06F17/18GK102999477SQ20121056342
公開日2013年3月27日 申請(qǐng)日期2012年12月21日 優(yōu)先權(quán)日2012年12月21日
發(fā)明者遲學(xué)斌, 周純葆, 郎顯宇, 王玨, 鄧筍根 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心