本發(fā)明涉及通信大數(shù)據(jù)領(lǐng)域，具體涉及一種通信大數(shù)據(jù)的處理系統(tǒng)及方法。

背景技術(shù)：

近年來(lái)，大數(shù)據(jù)成為通信領(lǐng)域廣泛探究的話(huà)題，因?yàn)楫?dāng)前的移動(dòng)通信系統(tǒng)正處于大數(shù)據(jù)環(huán)境背景下，大數(shù)據(jù)極具資源價(jià)值、信息商業(yè)價(jià)值，已經(jīng)成為通信企業(yè)一項(xiàng)有價(jià)值的資產(chǎn)，成為移動(dòng)通信行業(yè)實(shí)力與競(jìng)爭(zhēng)力的體現(xiàn)，具有一定的經(jīng)濟(jì)價(jià)值和作用。但是現(xiàn)有通信數(shù)據(jù)處理往往要對(duì)海量數(shù)據(jù)進(jìn)行處理，存在效率低、運(yùn)算量低的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種通信大數(shù)據(jù)的處理系統(tǒng)及方法，可以對(duì)海量的通信大數(shù)據(jù)進(jìn)行高效快速的處理。

本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種通信大數(shù)據(jù)的處理系統(tǒng)，包括采集模塊、過(guò)濾模塊、分類(lèi)模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊，

所述采集模塊，其用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；

所述過(guò)濾模塊，其用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；

所述分類(lèi)模塊，其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；

所述存儲(chǔ)模塊，其用于分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；

所述解析模塊，其用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；

所述分發(fā)模塊，其用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

本發(fā)明的有益效果是：本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)采用分類(lèi)的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理，同時(shí)在處理前，去掉重復(fù)、無(wú)效的數(shù)據(jù)，可以提高對(duì)通信大數(shù)據(jù)處理的效率。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

進(jìn)一步，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線(xiàn)性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)。

進(jìn)一步，所述存儲(chǔ)模塊包括網(wǎng)格存儲(chǔ)單元、線(xiàn)性存儲(chǔ)單元和樹(shù)形存儲(chǔ)單元，所述網(wǎng)格存儲(chǔ)單元、線(xiàn)性存儲(chǔ)單元和樹(shù)形存儲(chǔ)單元分別對(duì)應(yīng)存儲(chǔ)網(wǎng)格結(jié)構(gòu)、線(xiàn)性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)。

進(jìn)一步，網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析。

進(jìn)一步，線(xiàn)性結(jié)構(gòu)的通信大數(shù)據(jù)采用線(xiàn)性的方式進(jìn)行解析。

進(jìn)一步，樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹(shù)形的方式進(jìn)行解析。

基于上述一種通信大數(shù)據(jù)的處理系統(tǒng)，本發(fā)明還提供一種通信大數(shù)據(jù)的處理方法。

一種通信大數(shù)據(jù)的處理方法，包括以下步驟，

s1，以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；

s2，對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；

s3，根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；

s4，分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；

s5，采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；

s6，對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

本發(fā)明的有益效果是：本發(fā)明一種通信大數(shù)據(jù)的處理方法采用分類(lèi)的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理，同時(shí)在處理前，去掉重復(fù)、無(wú)效的數(shù)據(jù)，可以提高對(duì)通信大數(shù)據(jù)處理的效率。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

進(jìn)一步，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線(xiàn)性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)。

進(jìn)一步，網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線(xiàn)性結(jié)構(gòu)的通信大數(shù)據(jù)和樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線(xiàn)性和樹(shù)形的形式進(jìn)行存儲(chǔ)。

進(jìn)一步，網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析，線(xiàn)性結(jié)構(gòu)的通信大數(shù)據(jù)采用線(xiàn)性的方式進(jìn)行解析，樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹(shù)形的方式進(jìn)行解析。

附圖說(shuō)明

圖1為本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)的結(jié)構(gòu)框圖；

圖2為本發(fā)明一種通信大數(shù)據(jù)的處理方法的流程圖。

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

如圖1所示，一種通信大數(shù)據(jù)的處理系統(tǒng)，包括采集模塊、過(guò)濾模塊、分類(lèi)模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊，所述采集模塊，其用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；所述過(guò)濾模塊，其用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；所述分類(lèi)模塊，其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；所述存儲(chǔ)模塊，其用于分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；所述解析模塊，其用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；所述分發(fā)模塊，其用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

在本具體實(shí)施例中，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線(xiàn)性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)。所述存儲(chǔ)模塊包括網(wǎng)格存儲(chǔ)單元、線(xiàn)性存儲(chǔ)單元和樹(shù)形存儲(chǔ)單元，所述網(wǎng)格存儲(chǔ)單元、線(xiàn)性存儲(chǔ)單元和樹(shù)形存儲(chǔ)單元分別對(duì)應(yīng)存儲(chǔ)網(wǎng)格結(jié)構(gòu)、線(xiàn)性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析。線(xiàn)性結(jié)構(gòu)的通信大數(shù)據(jù)采用線(xiàn)性的方式進(jìn)行解析。樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹(shù)形的方式進(jìn)行解析。

本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)采用分類(lèi)的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理，同時(shí)在處理前，去掉重復(fù)、無(wú)效的數(shù)據(jù)，可以提高對(duì)通信大數(shù)據(jù)處理的效率。

基于上述一種通信大數(shù)據(jù)的處理系統(tǒng)，本發(fā)明還提供一種通信大數(shù)據(jù)的處理方法。

一種通信大數(shù)據(jù)的處理方法，包括以下步驟，

s1，以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；

s2，對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；

s3，根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；

s4，分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；

s5，采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；

s6，對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。

具體的，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線(xiàn)性結(jié)構(gòu)和樹(shù)形結(jié)構(gòu)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線(xiàn)性結(jié)構(gòu)的通信大數(shù)據(jù)和樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線(xiàn)性和樹(shù)形的形式進(jìn)行存儲(chǔ)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進(jìn)行解析，線(xiàn)性結(jié)構(gòu)的通信大數(shù)據(jù)采用線(xiàn)性的方式進(jìn)行解析，樹(shù)形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹(shù)形的方式進(jìn)行解析。

本發(fā)明一種通信大數(shù)據(jù)的處理方法采用分類(lèi)的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理，同時(shí)在處理前，去掉重復(fù)、無(wú)效的數(shù)據(jù)，可以提高對(duì)通信大數(shù)據(jù)處理的效率。

以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明涉及一種通信大數(shù)據(jù)的處理系統(tǒng)及方法，其系統(tǒng)包括采集模塊、過(guò)濾模塊、分類(lèi)模塊、存儲(chǔ)模塊、解析模塊和分發(fā)模塊，采集模塊用于以隊(duì)列持久化的方式采集通信大數(shù)據(jù)；過(guò)濾模塊用于對(duì)采集的通信大數(shù)據(jù)進(jìn)行過(guò)濾，去除重復(fù)、無(wú)效的通信大數(shù)據(jù)；分類(lèi)模用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對(duì)過(guò)濾后的通信大數(shù)據(jù)進(jìn)行分類(lèi)；存儲(chǔ)模塊用于分類(lèi)存儲(chǔ)通信大數(shù)據(jù)；解析模塊用于采用異步抓取的方式從所述存儲(chǔ)模塊中獲取通信大數(shù)據(jù)，并采用對(duì)應(yīng)的解析方式解析通信大數(shù)據(jù)；分發(fā)模塊用于對(duì)解析后的通信大數(shù)據(jù)按照對(duì)應(yīng)的協(xié)議鏈路進(jìn)行分發(fā)傳輸。本發(fā)明系統(tǒng)采用分類(lèi)的方式對(duì)通信大數(shù)據(jù)進(jìn)行處理，同時(shí)在處理前，去掉重復(fù)、無(wú)效的數(shù)據(jù)，可以提高對(duì)通信大數(shù)據(jù)處理的效率。

技術(shù)研發(fā)人員：周發(fā)輝;李衛(wèi)群;張佳杰;文川;蘭海翔;陳軍
受保護(hù)的技術(shù)使用者：周發(fā)輝
技術(shù)研發(fā)日：2017.04.13
技術(shù)公布日：2017.08.18