本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域,特別涉及一種網(wǎng)管信息處理服務(wù)器、方法和系統(tǒng)。
背景技術(shù):
在網(wǎng)絡(luò)運(yùn)營(yíng)過(guò)程中,將產(chǎn)生大量的網(wǎng)管信息。對(duì)網(wǎng)管信息進(jìn)行管理是網(wǎng)絡(luò)運(yùn)營(yíng)過(guò)程中必不可少的一部分。目前,網(wǎng)管信息的管理方式主要是,在各個(gè)網(wǎng)段設(shè)置各自的管理系統(tǒng),通過(guò)管理系統(tǒng)管理各自的網(wǎng)段數(shù)據(jù)?,F(xiàn)有的這種網(wǎng)管信息管理方式,并不能對(duì)網(wǎng)管信息進(jìn)行統(tǒng)一管理。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種網(wǎng)管信息處理服務(wù)器、方法和系統(tǒng),實(shí)現(xiàn)了對(duì)網(wǎng)管信息的統(tǒng)一管理。
一種網(wǎng)管信息處理服務(wù)器,包括:設(shè)置單元和分配處理單元,其中,
所述設(shè)置單元,用于設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;
所述分配處理單元,用于確定所述設(shè)置單元設(shè)置的至少兩個(gè)主題以及每一個(gè)所述主題對(duì)應(yīng)的數(shù)據(jù)類型,當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型,根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ)。
優(yōu)選地,所述分配處理單元,包括:劃分分區(qū)子單元、計(jì)算子單元和存儲(chǔ)子單元,其中,
所述劃分分區(qū)子單元,用于為每一個(gè)所述設(shè)置單元設(shè)置的主題劃分出至少兩個(gè)分區(qū),為每一個(gè)所述分區(qū)分配對(duì)應(yīng)的區(qū)間;
所述計(jì)算子單元,用于當(dāng)接收到外部發(fā)送的存儲(chǔ)請(qǐng)求時(shí),根據(jù)下述第一計(jì)算公式組,計(jì)算隨機(jī)數(shù);
第一計(jì)算公式組:
其中,n表征存儲(chǔ)次數(shù);x0表征基礎(chǔ)計(jì)算值;α表征分配系數(shù);M表征取余參數(shù);
所述存儲(chǔ)子單元,用于確定所述劃分分區(qū)子單元為每一個(gè)所述分區(qū)分配的對(duì)應(yīng)區(qū)間,確定所述計(jì)算子單元計(jì)算出的所述隨機(jī)數(shù)屬于的目標(biāo)區(qū)間,并將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)。
優(yōu)選地,所述分配處理單元,進(jìn)一步包括:去重子單元,其中,
所述去重子單元,用于接收外部發(fā)送的存儲(chǔ)請(qǐng)求,從所述存儲(chǔ)請(qǐng)求中解析出主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)、網(wǎng)管信息線程號(hào)以及網(wǎng)管信息ID,在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū),根據(jù)所述目標(biāo)分區(qū)存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重;
所述存儲(chǔ)子單元,進(jìn)一步用于根據(jù)所述去重子單元去重的結(jié)果,存儲(chǔ)去重后的網(wǎng)管信息。
優(yōu)選地,所述去重子單元,進(jìn)一步用于:
根據(jù)下述第二計(jì)算公式組,計(jì)算網(wǎng)管信息的哈希值;
其中,MsgKey表征網(wǎng)管信息關(guān)鍵值;combine()表征合并函數(shù);host表征主機(jī)編號(hào);process表征網(wǎng)管信息進(jìn)程號(hào);thread表征網(wǎng)管信息線程號(hào);msg id表征網(wǎng)管信息ID;hash()表征哈希值計(jì)算函數(shù);
根據(jù)下述第三計(jì)算公式,計(jì)算網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);
BrokerID=mod(Index)
其中,BrokerID表征網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);mod()表征取余函數(shù);Index表征第二計(jì)算公式組計(jì)算得到的結(jié)果;
根據(jù)所述分區(qū)編號(hào)對(duì)應(yīng)的目標(biāo)分區(qū)中存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重。
一種網(wǎng)管信息處理方法,設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;還包括:
當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型;
根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ)。
優(yōu)選地,上述方法進(jìn)一步包括:為每一個(gè)所述主題劃分出至少兩個(gè)分區(qū),為每一個(gè)所述分區(qū)分配對(duì)應(yīng)的區(qū)間;
當(dāng)接收到外部發(fā)送的存儲(chǔ)請(qǐng)求時(shí),根據(jù)下述第一計(jì)算公式組,計(jì)算隨機(jī)數(shù);
第一計(jì)算公式組:
其中,n表征存儲(chǔ)次數(shù);x0表征基礎(chǔ)計(jì)算值;α表征分配系數(shù);M表征取余參數(shù);
所述將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ),包括:
確定計(jì)算出的所述隨機(jī)數(shù)屬于的目標(biāo)區(qū)間,并將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)。
優(yōu)選地,所述將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū),包括:
解析出主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)、網(wǎng)管信息線程號(hào)以及網(wǎng)管信息ID;
在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū);
根據(jù)所述目標(biāo)分區(qū)存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重,并根據(jù)所述去重的結(jié)果,存儲(chǔ)去重后的網(wǎng)管信息。
優(yōu)選地,所述在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū),包括:
根據(jù)下述第二計(jì)算公式組,計(jì)算網(wǎng)管信息的哈希值;
其中,MsgKey表征網(wǎng)管信息關(guān)鍵值;combine()表征合并函數(shù);host表征主機(jī)編號(hào);process表征網(wǎng)管信息進(jìn)程號(hào);thread表征網(wǎng)管信息線程號(hào);msg id表征網(wǎng)管信息ID;hash()表征哈希值計(jì)算函數(shù);
根據(jù)下述第三計(jì)算公式,計(jì)算網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);
BrokerID=mod(Index)
其中,BrokerID表征網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);mod()表征取余函數(shù);Index表征第二計(jì)算公式組計(jì)算得到的結(jié)果;
確定計(jì)算得到的所述分區(qū)編號(hào)對(duì)應(yīng)的分區(qū)為目標(biāo)分區(qū)。
一種網(wǎng)管信息處理系統(tǒng),包括:至少一個(gè)網(wǎng)段、至少一個(gè)采集節(jié)點(diǎn)和至少一個(gè)上述任一所述的網(wǎng)管信息處理服務(wù)器,其中,
所述至少一個(gè)網(wǎng)段中,每一個(gè)所述網(wǎng)段與所述至少一個(gè)采集節(jié)點(diǎn)相連;
所述至少一個(gè)采集節(jié)點(diǎn)中,每一個(gè)所述采集節(jié)點(diǎn),與所述至少一個(gè)網(wǎng)管信息處理服務(wù)器相連,用于采集所連接的網(wǎng)段中的網(wǎng)管信息,并將采集到的所述網(wǎng)管信息發(fā)送給所連接的所述網(wǎng)管信息處理服務(wù)器。
優(yōu)選地,每一個(gè)所述網(wǎng)管信息處理服務(wù)器,用于:
將存儲(chǔ)的網(wǎng)管信息同步到其他所述網(wǎng)管信息處理服務(wù)器中。
本發(fā)明實(shí)施例提供了一種網(wǎng)管信息處理服務(wù)器、方法和系統(tǒng),通過(guò)設(shè)置單元設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;通過(guò)分配處理單元確定所述設(shè)置單元設(shè)置的至少兩個(gè)主題以及每一個(gè)所述主題對(duì)應(yīng)的數(shù)據(jù)類型,當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型,根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ),能夠按照不同的主題存儲(chǔ)網(wǎng)管信息,實(shí)現(xiàn)了對(duì)網(wǎng)管信息的統(tǒng)一管理。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明一個(gè)實(shí)施例提供的一種網(wǎng)管信息處理服務(wù)器的結(jié)構(gòu)示意圖;
圖2是本發(fā)明另一個(gè)實(shí)施例提供的網(wǎng)管信息處理服務(wù)器的結(jié)構(gòu)示意圖;
圖3是本發(fā)明又一個(gè)實(shí)施例提供的網(wǎng)管信息處理服務(wù)器的結(jié)構(gòu)示意圖;
圖4是本發(fā)明一個(gè)實(shí)施例提供的一種網(wǎng)管信息處理方法的流程圖;
圖5是本發(fā)明另一個(gè)實(shí)施例提供的一種網(wǎng)管信息處理方法的流程圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例,基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
如圖1所示,本發(fā)明實(shí)施例提供了一種網(wǎng)管信息處理服務(wù)器,該網(wǎng)管信息處理服務(wù)器,包括:設(shè)置單元101和分配處理單元102,其中,
所述設(shè)置單元101,用于設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;
所述分配處理單元102,用于確定所述設(shè)置單元101設(shè)置的至少兩個(gè)主題以及每一個(gè)所述主題對(duì)應(yīng)的數(shù)據(jù)類型,當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型,根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ)。
在圖1所示的實(shí)施例中,通過(guò)設(shè)置單元設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;通過(guò)分配處理單元確定所述設(shè)置單元設(shè)置的至少兩個(gè)主題以及每一個(gè)所述主題對(duì)應(yīng)的數(shù)據(jù)類型,當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型,根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ),能夠按照不同的主題存儲(chǔ)網(wǎng)管信息,實(shí)現(xiàn)了對(duì)網(wǎng)管信息的統(tǒng)一管理。
如圖2所示,在本發(fā)明另一實(shí)施例中,所述分配處理單元102,包括:劃分分區(qū)子單元201、計(jì)算子單元202和存儲(chǔ)子單元203,其中,
所述劃分分區(qū)子單元201,用于為每一個(gè)所述設(shè)置單元101設(shè)置的主題劃分出至少兩個(gè)分區(qū),為每一個(gè)所述分區(qū)分配對(duì)應(yīng)的區(qū)間;
所述計(jì)算子單元202,用于當(dāng)接收到外部發(fā)送的存儲(chǔ)請(qǐng)求時(shí),根據(jù)下述計(jì)算公式組(1),計(jì)算隨機(jī)數(shù);
其中,n表征存儲(chǔ)次數(shù);x0表征基礎(chǔ)計(jì)算值;α表征分配系數(shù);M表征取余參數(shù);
所述存儲(chǔ)子單元203,用于確定所述計(jì)算子單元202計(jì)算出的所述隨機(jī)數(shù)屬于的目標(biāo)區(qū)間,并將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)。
如圖3所示,在本發(fā)明又一實(shí)施例中,所述分配處理單元102,進(jìn)一步包括:去重子單元301,其中,
所述去重子單元301,用于確定所述劃分分區(qū)子單元201為每一個(gè)所述分區(qū)分配的對(duì)應(yīng)區(qū)間,接收外部發(fā)送的存儲(chǔ)請(qǐng)求,從所述存儲(chǔ)請(qǐng)求中解析出主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)、網(wǎng)管信息線程號(hào)以及網(wǎng)管信息ID,在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū),根據(jù)所述目標(biāo)分區(qū)存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重;
所述存儲(chǔ)子單元203,進(jìn)一步用于根據(jù)所述去重子單元301去重的結(jié)果,存儲(chǔ)去重后的網(wǎng)管信息。
在本發(fā)明又一實(shí)施例中,所述去重子單元301,進(jìn)一步用于:
根據(jù)下述計(jì)算公式組(2),計(jì)算網(wǎng)管信息的哈希值;
其中,MsgKey表征網(wǎng)管信息關(guān)鍵值;combine()表征合并函數(shù);host表征主機(jī)編號(hào);process表征網(wǎng)管信息進(jìn)程號(hào);thread表征網(wǎng)管信息線程號(hào);msg id表征網(wǎng)管信息ID;hash()表征哈希值計(jì)算函數(shù);
根據(jù)下述計(jì)算公式(3),計(jì)算網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);
BrokerID=mod(Index) (3)
其中,BrokerID表征網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);mod()表征取余函數(shù);Index表征第二計(jì)算公式組計(jì)算得到的結(jié)果;
根據(jù)所述分區(qū)編號(hào)對(duì)應(yīng)的目標(biāo)分區(qū)中存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重。
上述裝置內(nèi)的各單元之間的信息交互、執(zhí)行過(guò)程等內(nèi)容,由于與本發(fā)明方法實(shí)施例基于同一構(gòu)思,具體內(nèi)容可參見(jiàn)下述本發(fā)明方法實(shí)施例中的敘述,此處不再贅述。
如圖4所示,本發(fā)明實(shí)施例提供一種網(wǎng)管信息處理方法,該方法可以包括如下步驟:
步驟401:設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;
步驟402:當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型;
步驟403:根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ)。
在本發(fā)明一個(gè)實(shí)施例中,為了實(shí)現(xiàn)對(duì)網(wǎng)管信息進(jìn)行分區(qū)存儲(chǔ),同時(shí)使各個(gè)分區(qū)的均衡負(fù)載,上述方法進(jìn)一步包括:為每一個(gè)所述主題劃分出至少兩個(gè)分區(qū),為每一個(gè)所述分區(qū)分配對(duì)應(yīng)的區(qū)間;當(dāng)接收到外部發(fā)送的存儲(chǔ)請(qǐng)求時(shí),根據(jù)下述計(jì)算公式組(1),計(jì)算隨機(jī)數(shù);
其中,n表征存儲(chǔ)次數(shù);x0表征基礎(chǔ)計(jì)算值;α表征分配系數(shù);M表征取余參數(shù);
步驟403所述將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ),一種可選的實(shí)施方式包括:確定計(jì)算出的所述隨機(jī)數(shù)屬于的目標(biāo)區(qū)間,并將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)。通過(guò)上述過(guò)程,實(shí)現(xiàn)了利用隨機(jī)原則選定分區(qū),以使網(wǎng)管信息能夠在各個(gè)分區(qū)中進(jìn)行均衡的存儲(chǔ)。
在本發(fā)明一個(gè)實(shí)施例中,所述將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū),包括:解析出主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)、網(wǎng)管信息線程號(hào)以及網(wǎng)管信息ID;在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū);根據(jù)所述目標(biāo)分區(qū)存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重,并根據(jù)所述去重的結(jié)果,存儲(chǔ)去重后的網(wǎng)管信息。在網(wǎng)管信息傳輸過(guò)程中,傳輸意外中斷時(shí),為了避免續(xù)傳過(guò)程中相同的網(wǎng)管信息存儲(chǔ)到不同的分區(qū),造成網(wǎng)管信息的重復(fù)存儲(chǔ)。在進(jìn)行網(wǎng)管信息傳輸過(guò)程中,會(huì)先向根據(jù)主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)確定目標(biāo)分區(qū),該目標(biāo)分區(qū)為已經(jīng)存儲(chǔ)有當(dāng)前網(wǎng)管信息的分區(qū),通過(guò)去重,避免了網(wǎng)管信息存儲(chǔ)的重復(fù)性。
在本發(fā)明一個(gè)實(shí)施例中,為了能夠找準(zhǔn)目標(biāo)分區(qū),所述在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū),包括:根據(jù)下述計(jì)算公式組(2),計(jì)算網(wǎng)管信息的哈希值;
其中,MsgKey表征網(wǎng)管信息關(guān)鍵值;combine()表征合并函數(shù);host表征主機(jī)編號(hào);process表征網(wǎng)管信息進(jìn)程號(hào);thread表征網(wǎng)管信息線程號(hào);msg id表征網(wǎng)管信息ID;hash()表征哈希值計(jì)算函數(shù);
根據(jù)下述計(jì)算公式(3),計(jì)算網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);
BrokerID=mod(Index) (3)
其中,BrokerID表征網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);mod()表征取余函數(shù);Index表征第二計(jì)算公式組計(jì)算得到的結(jié)果;
確定計(jì)算得到的所述分區(qū)編號(hào)對(duì)應(yīng)的分區(qū)為目標(biāo)分區(qū)。
即通過(guò)網(wǎng)管信息的一些特征如所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)等來(lái)計(jì)算哈希值,并通過(guò)計(jì)算的哈希值來(lái)計(jì)算分區(qū)編號(hào),使得該分區(qū)編號(hào)與網(wǎng)管信息相關(guān),那么相同的網(wǎng)管信息肯定會(huì)被分配給同一個(gè)分區(qū),那么,就可以在目標(biāo)分區(qū)中對(duì)網(wǎng)管信息進(jìn)行去重。
本發(fā)明另一實(shí)施例提供一種網(wǎng)管信息處理方法,如圖5所示,該方法可以包括如下步驟:
步驟501:設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;
該步驟在配置過(guò)程中,可以按照網(wǎng)管信息的不同如來(lái)源不同、網(wǎng)元不同等,將各個(gè)服務(wù)器劃分到不同的主題下面,以實(shí)現(xiàn)對(duì)不同數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行分類存儲(chǔ)。
步驟502:為每一個(gè)所述主題劃分出至少兩個(gè)分區(qū),為每一個(gè)所述分區(qū)分配對(duì)應(yīng)的區(qū)間;
該步驟的過(guò)程主要是為了后續(xù)同一個(gè)主題下的不同服務(wù)器能夠?qū)崿F(xiàn)均衡負(fù)載。另外,不同分區(qū)間可以進(jìn)行數(shù)據(jù)轉(zhuǎn)移,以保證一個(gè)分區(qū)出現(xiàn)問(wèn)題,可以將該分區(qū)中的數(shù)據(jù)轉(zhuǎn)移到另外的分區(qū)中。
步驟503:當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型;
步驟504:根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,確定目標(biāo)主題;
步驟505:當(dāng)接收到外部發(fā)送的存儲(chǔ)請(qǐng)求時(shí),計(jì)算隨機(jī)數(shù);
該步驟主要是通過(guò)下述計(jì)算公式組(1)實(shí)現(xiàn):
其中,n表征存儲(chǔ)次數(shù);x0表征基礎(chǔ)計(jì)算值;α表征分配系數(shù);M表征取余參數(shù)。
步驟506:確定計(jì)算出的所述隨機(jī)數(shù)屬于的目標(biāo)區(qū)間,在目標(biāo)主題下,確定所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū);
步驟505和步驟506主要是為了初步得到目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū),比如:確定的主題A中具有分區(qū)1、分區(qū)2、分區(qū)3、分區(qū)4等,其中,分區(qū)1對(duì)應(yīng)的區(qū)間為(0.1,0.5);分區(qū)2對(duì)應(yīng)的區(qū)間為(0.2,0.5);分區(qū)3對(duì)應(yīng)的區(qū)間為(0.5,0.6);分區(qū)4對(duì)應(yīng)的區(qū)間為(0.3,0.6)等,計(jì)算出的隨機(jī)數(shù)為0.4,則對(duì)應(yīng)分區(qū)1、分區(qū)2以及分區(qū)3。
步驟507:解析出主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)、網(wǎng)管信息線程號(hào)以及網(wǎng)管信息ID;
該步驟解析出的各種信息為Json格式,如:
步驟508:根據(jù)所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào),計(jì)算網(wǎng)管信息的哈希值;
該步驟主要通過(guò)下述計(jì)算公式(2)實(shí)現(xiàn):
其中,MsgKey表征網(wǎng)管信息關(guān)鍵值;combine()表征合并函數(shù);host表征主機(jī)編號(hào);process表征網(wǎng)管信息進(jìn)程號(hào);thread表征網(wǎng)管信息線程號(hào);msg id表征網(wǎng)管信息ID;hash()表征哈希值計(jì)算函數(shù)。
步驟509:計(jì)算網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);
該步驟主要通過(guò)下述計(jì)算公式(3)實(shí)現(xiàn):
BrokerID=mod(Index) (3)
其中,BrokerID表征網(wǎng)管信息ID對(duì)應(yīng)的分區(qū)編號(hào);mod()表征取余函數(shù)。
步驟510:在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,確定計(jì)算得到的所述分區(qū)編號(hào)對(duì)應(yīng)的分區(qū)為目標(biāo)分區(qū);
上述步驟508至步驟510的過(guò)程主要是為了確定出目標(biāo)分區(qū),該目標(biāo)分區(qū)主要是已經(jīng)存儲(chǔ)有當(dāng)前預(yù)存儲(chǔ)的網(wǎng)管信息的分區(qū),例如:分區(qū)5中存儲(chǔ)有網(wǎng)管信息a,而預(yù)存儲(chǔ)的網(wǎng)管信息a’與網(wǎng)管信息a的主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)以及網(wǎng)管信息線程號(hào)等等相同,則說(shuō)明網(wǎng)管信息a’與網(wǎng)管信息a可能存在重合的地方,則通過(guò)上述步驟508至步驟510可以為網(wǎng)管信息a’確定出分區(qū)5。
步驟511:根據(jù)所述目標(biāo)分區(qū)存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重;
該過(guò)程避免了信息的重復(fù)存儲(chǔ)。
另外,除了避免重復(fù)存儲(chǔ),當(dāng)對(duì)某網(wǎng)管信息讀取過(guò)程中,通過(guò)去重,還可以避免重復(fù)讀取。該避免重復(fù)讀取的過(guò)程主要是,同一服務(wù)器從上次記錄的結(jié)束位置讀取分區(qū)中的網(wǎng)管消息,之后只依賴內(nèi)部保存的結(jié)束位置,防止重復(fù)讀取。
步驟512:根據(jù)所述去重的結(jié)果,存儲(chǔ)去重后的網(wǎng)管信息到目標(biāo)分區(qū)。
本發(fā)明實(shí)施例提供一種網(wǎng)管信息處理系統(tǒng),該網(wǎng)管信息處理系統(tǒng),包括:至少一個(gè)網(wǎng)段、至少一個(gè)采集節(jié)點(diǎn)和至少一個(gè)上述任一所述的網(wǎng)管信息處理服務(wù)器,其中,
所述至少一個(gè)網(wǎng)段601中,每一個(gè)所述網(wǎng)段601與所述至少一個(gè)采集節(jié)點(diǎn)602相連;
所述至少一個(gè)采集節(jié)點(diǎn)602中,每一個(gè)所述采集節(jié)點(diǎn)602,與所述至少一個(gè)網(wǎng)管信息處理服務(wù)器603相連,用于采集所連接的網(wǎng)段601中的網(wǎng)管信息,并將采集到的所述網(wǎng)管信息發(fā)送給所連接的所述網(wǎng)管信息處理服務(wù)器603。
在本發(fā)明一個(gè)實(shí)施例中,每一個(gè)所述網(wǎng)管信息處理服務(wù)器,用于將存儲(chǔ)的網(wǎng)管信息同步到其他所述網(wǎng)管信息處理服務(wù)器中。
另外,上述采集節(jié)點(diǎn)與網(wǎng)管信息處理服務(wù)器可以通過(guò)卡夫卡消息總線(Kafka消息總線)連接,從而可以通過(guò)配置Kafka消息總線的組件實(shí)現(xiàn)上述方法。
本發(fā)明還提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),存儲(chǔ)用于使一機(jī)器執(zhí)行如本文所述的程序代碼的審核方法的指令。具體地,可以提供配有存儲(chǔ)介質(zhì)的系統(tǒng)或者裝置,在該存儲(chǔ)介質(zhì)上存儲(chǔ)著實(shí)現(xiàn)上述實(shí)施例中任一實(shí)施例的功能的軟件程序代碼,且使該系統(tǒng)或者裝置的計(jì)算機(jī)(或CPU或MPU)讀出并執(zhí)行存儲(chǔ)在存儲(chǔ)介質(zhì)中的程序代碼。
在這種情況下,從存儲(chǔ)介質(zhì)讀取的程序代碼本身可實(shí)現(xiàn)上述實(shí)施例中任何一項(xiàng)實(shí)施例的功能,因此程序代碼和存儲(chǔ)程序代碼的存儲(chǔ)介質(zhì)構(gòu)成了本發(fā)明的一部分。
用于提供程序代碼的存儲(chǔ)介質(zhì)實(shí)施例包括軟盤、硬盤、磁光盤、光盤(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁帶、非易失性存儲(chǔ)卡和ROM??蛇x擇地,可以由通信網(wǎng)絡(luò)從服務(wù)器計(jì)算機(jī)上下載程序代碼。
此外,應(yīng)該清楚的是,不僅可以通過(guò)執(zhí)行計(jì)算機(jī)所讀出的程序代碼,而且可以通過(guò)基于程序代碼的指令使計(jì)算機(jī)上操作的操作系統(tǒng)等來(lái)完成部分或者全部的實(shí)際操作,從而實(shí)現(xiàn)上述實(shí)施例中任意一項(xiàng)實(shí)施例的功能。
此外,可以理解的是,將由存儲(chǔ)介質(zhì)讀出的程序代碼寫到插入計(jì)算機(jī)內(nèi)的擴(kuò)展板中所設(shè)置的存儲(chǔ)器中或者寫到與計(jì)算機(jī)相連接的擴(kuò)展單元中設(shè)置的存儲(chǔ)器中,隨后基于程序代碼的指令使安裝在擴(kuò)展板或者擴(kuò)展單元上的CPU等來(lái)執(zhí)行部分和全部實(shí)際操作,從而實(shí)現(xiàn)上述實(shí)施例中任一實(shí)施例的功能。
根據(jù)上述方案,本發(fā)明的各實(shí)施例,至少具有如下有益效果:
1.通過(guò)設(shè)置單元設(shè)置至少兩個(gè)主題,為每一個(gè)所述主題設(shè)置對(duì)應(yīng)的數(shù)據(jù)類型;通過(guò)分配處理單元確定所述設(shè)置單元設(shè)置的至少兩個(gè)主題以及每一個(gè)所述主題對(duì)應(yīng)的數(shù)據(jù)類型,當(dāng)接收到外部的采集節(jié)點(diǎn)發(fā)送的網(wǎng)管信息時(shí),確定所述網(wǎng)管信息的數(shù)據(jù)類型,根據(jù)所述網(wǎng)管信息的數(shù)據(jù)類型,將所述網(wǎng)管信息分配給所述數(shù)據(jù)類型對(duì)應(yīng)的所述主題存儲(chǔ),能夠按照不同的主題存儲(chǔ)網(wǎng)管信息,實(shí)現(xiàn)了對(duì)網(wǎng)管信息的統(tǒng)一管理。
2.通過(guò)為每一個(gè)所述主題劃分出至少兩個(gè)分區(qū),為每一個(gè)所述分區(qū)分配對(duì)應(yīng)的區(qū)間;當(dāng)接收到外部發(fā)送的存儲(chǔ)請(qǐng)求時(shí),根據(jù)計(jì)算隨機(jī)數(shù);確定計(jì)算出的所述隨機(jī)數(shù)屬于的目標(biāo)區(qū)間,并將所述網(wǎng)管信息存儲(chǔ)到所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū),通過(guò)隨機(jī)數(shù)為網(wǎng)管信息分配對(duì)應(yīng)的分區(qū),實(shí)現(xiàn)各個(gè)分區(qū)的均衡負(fù)載。
3.通過(guò)解析出主機(jī)信息、網(wǎng)管信息進(jìn)程號(hào)、網(wǎng)管信息線程號(hào)以及網(wǎng)管信息ID;在所述目標(biāo)區(qū)間對(duì)應(yīng)的分區(qū)中,檢索所述主機(jī)信息、所述網(wǎng)管信息進(jìn)程號(hào)以及所述網(wǎng)管信息線程號(hào)對(duì)應(yīng)的目標(biāo)分區(qū);根據(jù)所述目標(biāo)分區(qū)存儲(chǔ)的網(wǎng)管信息,對(duì)所述網(wǎng)管信息ID對(duì)應(yīng)的網(wǎng)管信息進(jìn)行去重,并根據(jù)所述去重的結(jié)果,存儲(chǔ)去重后的網(wǎng)管信息,實(shí)現(xiàn)了對(duì)網(wǎng)管信息的去重,同時(shí),避免了分區(qū)的重復(fù)存儲(chǔ)。
需要說(shuō)明的是,在本文中,諸如第一和第二之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái),而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)〃·····”限定的要素,并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同因素。
本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成,前述的程序可以存儲(chǔ)在計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),執(zhí)行包括上述方法實(shí)施例的步驟;而前述的存儲(chǔ)介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)中。
最后需要說(shuō)明的是:以上所述僅為本發(fā)明的較佳實(shí)施例,僅用于說(shuō)明本發(fā)明的技術(shù)方案,并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替換、改進(jìn)等,均包含在本發(fā)明的保護(hù)范圍內(nèi)。