專利名稱：基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種海量數(shù)據(jù)處理方法，尤其涉及一種基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法。
背景技術(shù)：
現(xiàn)有集中抄表系統(tǒng)的網(wǎng)關(guān)系統(tǒng)，大多只是鏈接幾百個(gè)甚至上千個(gè)終端(集中器)； 為了滿足對(duì)上萬個(gè)的終端(集中器)進(jìn)行通信，處理各個(gè)終端的登陸、心跳、下線、通信命令、 告警任務(wù)等，還要接收一個(gè)主站(或多個(gè)主站)的命令并傳達(dá)給相應(yīng)的終端，這就要求網(wǎng)關(guān)程序的處理能力強(qiáng)、響應(yīng)速度快、并發(fā)性能好；為此需要對(duì)網(wǎng)關(guān)軟件進(jìn)行很好的設(shè)計(jì)，其中重要的就是實(shí)現(xiàn)海量鏈接并收、并發(fā)的技術(shù)，也就是對(duì)于上萬個(gè)終端的命令能同時(shí)接收、同時(shí)發(fā)送。圖1所示為現(xiàn)有的網(wǎng)關(guān)系統(tǒng)海量數(shù)據(jù)處理的系統(tǒng)組成示意圖，其中一個(gè)網(wǎng)關(guān)主系統(tǒng)下分了多個(gè)網(wǎng)關(guān)子系統(tǒng)，如網(wǎng)關(guān)子系統(tǒng)A、網(wǎng)關(guān)子系統(tǒng)B及網(wǎng)關(guān)子系統(tǒng)C，每個(gè)網(wǎng)關(guān)子系統(tǒng)服務(wù)器又管理多個(gè)終端。該方案采用多個(gè)網(wǎng)關(guān)子系統(tǒng)來實(shí)現(xiàn)，進(jìn)行分層處理，并設(shè)置網(wǎng)關(guān)主系統(tǒng)的配置和多個(gè)子系統(tǒng)之間的配置，通過一對(duì)多的架構(gòu)實(shí)現(xiàn)對(duì)終端的管理。因此，為保證網(wǎng)關(guān)主系統(tǒng)的處理速度和性能穩(wěn)定，在網(wǎng)關(guān)服務(wù)器上配置多個(gè)網(wǎng)關(guān)子系統(tǒng)服務(wù)器，每個(gè)網(wǎng)關(guān)子系統(tǒng)服務(wù)器又負(fù)責(zé)不同的多個(gè)終端，這種結(jié)構(gòu)設(shè)置增加了網(wǎng)關(guān)主系統(tǒng)的配置和協(xié)調(diào)工作，增加網(wǎng)關(guān)主系統(tǒng)服務(wù)器和網(wǎng)關(guān)子系統(tǒng)服務(wù)器、通信網(wǎng)絡(luò)設(shè)備的硬件成本，增加服務(wù)器的維護(hù)數(shù)量、通信網(wǎng)絡(luò)的故障率及故障查找困難性。

發(fā)明內(nèi)容
本發(fā)明旨在解決現(xiàn)有技術(shù)中網(wǎng)關(guān)系統(tǒng)配置和協(xié)調(diào)工作量大、硬件成本高、故障率多的技術(shù)問題，提供一種基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，能夠有效減少網(wǎng)關(guān)系統(tǒng)的配置協(xié)調(diào)工作量，有效降低其硬件成本及有效減少其故障率。本發(fā)明提供一種基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，首先，把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針；
其次，終端登陸后產(chǎn)生一個(gè)鏈接，系統(tǒng)就創(chuàng)建一個(gè)對(duì)象，分配內(nèi)存空間、給變量賦值、確定接收函數(shù)指針及發(fā)送函數(shù)指針；
再次，接收終端命令后進(jìn)行報(bào)文解析、處理；
最后，接收到上級(jí)系統(tǒng)命令后傳達(dá)給相應(yīng)的終端，再將終端的應(yīng)答數(shù)據(jù)組合報(bào)文發(fā)送給上級(jí)系統(tǒng)。優(yōu)選地，在步驟把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針之后，具體包括以下步驟
步驟一，創(chuàng)建對(duì)象，網(wǎng)關(guān)多進(jìn)程啟動(dòng)； 步驟二，終端同時(shí)海量鏈接、接入的處理；
步驟三，接收?qǐng)?bào)文，對(duì)基本命令信息和傳輸數(shù)據(jù)信息進(jìn)行分類并行處理；步驟四，報(bào)文解析及記錄入庫；
步驟五，請(qǐng)求命令下發(fā)，送入發(fā)送隊(duì)列，進(jìn)行并發(fā)。優(yōu)選地，所述步驟三具體包括 終端接入處理并接收?qǐng)?bào)文；
將報(bào)文信息分成兩類基本命令信息和傳輸數(shù)據(jù)信息；
對(duì)于傳輸數(shù)據(jù)信息，送入接收隊(duì)列，等待解析；同時(shí)并行處理基本命令信息的確認(rèn)。優(yōu)選地，所述基本命令信息包括終端的登陸信息、心跳信息、上線信息、下線信息、 流量統(tǒng)計(jì)信息及標(biāo)志信息；所述傳輸數(shù)據(jù)信息包含數(shù)據(jù)信息和事件記錄。優(yōu)選地，所述步驟四具體包括
對(duì)接收?qǐng)?bào)文的傳輸數(shù)據(jù)信息進(jìn)行解析，并判斷報(bào)文解析是否處理，若判斷為是，則進(jìn)入下面的步驟；若判斷為否，則繼續(xù)對(duì)報(bào)文進(jìn)行解析處理； 將解析后的信息記錄入庫并向上級(jí)系統(tǒng)上報(bào)信息。優(yōu)選地，所述步驟五具體包括
將解析后的信息記錄入庫后，形成應(yīng)答報(bào)文，送入發(fā)送隊(duì)列，進(jìn)行并發(fā)。請(qǐng)求下發(fā)命令；
當(dāng)基本命令信息得到確認(rèn)并確認(rèn)報(bào)文入發(fā)送隊(duì)列時(shí)，向終端發(fā)送隊(duì)列并發(fā)報(bào)文； 判斷該終端是否第一次接入，若判斷結(jié)果為是，則返回所述步驟一；若判斷結(jié)果為否， 返回所述步驟二。優(yōu)選地，在所述報(bào)文接收的過程中，采用了 Linux下的EPOLL技術(shù)來實(shí)現(xiàn)一個(gè)端口上接入上萬個(gè)以上的鏈接，專門使用一個(gè)線程來處理同時(shí)接入事件，處理臨界區(qū)數(shù)據(jù)。優(yōu)選地，所述報(bào)文并發(fā)處理的過程，由線程控制發(fā)送隊(duì)列，同時(shí)分派給多個(gè)終端對(duì)象，每個(gè)終端對(duì)象獨(dú)立發(fā)送。以上所述技術(shù)方案，通過對(duì)終端進(jìn)行定義，然后將報(bào)文的內(nèi)容和基本命令信息的確認(rèn)進(jìn)行并行處理后再進(jìn)行報(bào)文的解析和記錄入庫、上報(bào)信息，成功實(shí)現(xiàn)上萬個(gè)終端的鏈接、登陸、心跳、收發(fā)報(bào)文、告警處理等，整個(gè)網(wǎng)關(guān)系統(tǒng)完成了多個(gè)子系統(tǒng)的工作量，降低了系統(tǒng)通信網(wǎng)絡(luò)的復(fù)雜性，同時(shí)有效降低了通信網(wǎng)絡(luò)設(shè)備的硬件成本和服務(wù)器的維護(hù)數(shù)量、 有效降低了通信網(wǎng)絡(luò)的故障率及故障查找困難性。


圖1是現(xiàn)有技術(shù)中網(wǎng)關(guān)系統(tǒng)的硬件結(jié)構(gòu)示意圖。圖2是本發(fā)明一種實(shí)施例的網(wǎng)關(guān)系統(tǒng)的結(jié)構(gòu)示意圖。圖3是本發(fā)明一種實(shí)施例的網(wǎng)關(guān)海量數(shù)據(jù)處理方法的流程圖。圖4是本發(fā)明另一種實(shí)施例的網(wǎng)關(guān)海量數(shù)據(jù)處理方法的流程圖。
具體實(shí)施例方式為了使本發(fā)明所解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖2所示，本發(fā)明的一種實(shí)施例的網(wǎng)關(guān)系統(tǒng)結(jié)構(gòu)示意圖，其中包括一個(gè)網(wǎng)關(guān)主
5系統(tǒng)服務(wù)器1，與網(wǎng)關(guān)主系統(tǒng)服務(wù)器1相連接的上萬個(gè)終端2，所述網(wǎng)關(guān)主系統(tǒng)服務(wù)器與上萬個(gè)終端同時(shí)進(jìn)行通訊，處理各個(gè)終端的登陸、心跳、下線、上線、通訊命令、告警任務(wù)等，還要接受一個(gè)主站(或多個(gè)主站)的命令并傳達(dá)給相應(yīng)的終端。這就要求網(wǎng)關(guān)程序的處理能力強(qiáng)、響應(yīng)速度快、并發(fā)性能好，為此需要對(duì)網(wǎng)關(guān)軟件進(jìn)行很好的設(shè)計(jì)，其中重要的就是實(shí)現(xiàn)海量鏈接并收、并發(fā)的技術(shù)，也就是對(duì)于上萬個(gè)終端的命令能同時(shí)接收、同時(shí)發(fā)送。圖3所示為網(wǎng)關(guān)系統(tǒng)的一種實(shí)施例的海量數(shù)據(jù)處理方法，首先，把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針；
其次，終端登陸后產(chǎn)生一個(gè)鏈接，系統(tǒng)就創(chuàng)建一個(gè)對(duì)象，分配內(nèi)存空間、給變量賦值、確定函數(shù)指針；
再次，接收終端命令后進(jìn)行報(bào)文解析、處理；
最后，接收到上級(jí)系統(tǒng)命令后傳達(dá)給相應(yīng)的終端，再將終端的應(yīng)答數(shù)據(jù)組合報(bào)文發(fā)送給上級(jí)系統(tǒng)。進(jìn)一步地，結(jié)合圖3和圖4所示，在步驟把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針之后，具體包括以下步驟
步驟Si，創(chuàng)建對(duì)象，網(wǎng)關(guān)多進(jìn)程啟動(dòng)。先把每個(gè)終端定義成一個(gè)對(duì)象，然后創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針等，然后網(wǎng)關(guān)多進(jìn)程啟動(dòng)。步驟S2，終端同時(shí)海量鏈接、接入的處理；網(wǎng)關(guān)多進(jìn)程啟動(dòng)后，終端開始海量鏈接、接入網(wǎng)關(guān)系統(tǒng)。步驟S3，系統(tǒng)接收?qǐng)?bào)文，處理基本命令信息；網(wǎng)關(guān)系統(tǒng)開始接受終端的報(bào)文信號(hào)， 該報(bào)文信號(hào)具有命令信息和內(nèi)容數(shù)據(jù)信息，為了提供網(wǎng)關(guān)系統(tǒng)的運(yùn)行速率和處理速度，將兩部分的信息進(jìn)行并行分開處理，其中內(nèi)容數(shù)據(jù)信息通過接收隊(duì)列，接收?qǐng)?bào)文進(jìn)行相應(yīng)處理，而命令信息需要進(jìn)行確認(rèn)處理，所述命令信息包括終端的登陸信息、心跳信息、上線信息、下線信息、流量統(tǒng)計(jì)信息及標(biāo)志信息等。步驟S4,報(bào)文解析及處理上報(bào)；將接收的報(bào)文數(shù)據(jù)信息進(jìn)行解析，并將解析后的報(bào)文信息進(jìn)行記錄入庫、上報(bào)信息處理并傳送到上級(jí)系統(tǒng)。步驟S5，上級(jí)系統(tǒng)請(qǐng)求命令下發(fā)，發(fā)送隊(duì)列、并發(fā)報(bào)文。作為一種優(yōu)選實(shí)施例，所述步驟S3具體包括
S301，終端接入處理并接收?qǐng)?bào)文；將報(bào)文信息分成兩類第一類是基本命令信息和第二類是傳輸數(shù)據(jù)信息；
對(duì)于傳輸數(shù)據(jù)信息，送入接收隊(duì)列，等待解析；同時(shí)執(zhí)行步驟S302，并行處理基本命令信息的確認(rèn)。作為進(jìn)一步優(yōu)選地，所述步驟S4具體包括
步驟S500，對(duì)接收?qǐng)?bào)文的傳輸數(shù)據(jù)信息進(jìn)行解析，并判斷報(bào)文解析是否處理，若判斷為是，則進(jìn)入，步驟S600 ；若判斷為否，則繼續(xù)對(duì)報(bào)文進(jìn)行解析處理； 步驟S600，將解析后的信息記錄入庫并向上級(jí)系統(tǒng)上報(bào)信息。作為更進(jìn)一步優(yōu)選地，所述步驟S5具體包括
步驟S700，將解析后的信息記錄入庫后，形成應(yīng)答報(bào)文，送入發(fā)送隊(duì)列，進(jìn)行并發(fā)； 步驟S800，上級(jí)系統(tǒng)請(qǐng)求下發(fā)命令；步驟S900，當(dāng)基本命令信息得到確認(rèn)并確認(rèn)報(bào)文入發(fā)送隊(duì)列時(shí)，向終端發(fā)送隊(duì)列并發(fā)報(bào)文；
步驟S1000，系統(tǒng)判斷該終端是否第一次接入，若判斷結(jié)果為是，則返回所述步驟一； 若判斷結(jié)果為否，返回所述步驟二。優(yōu)選地，在所述步驟S900中，報(bào)文并發(fā)處理的過程，由系統(tǒng)獨(dú)立開辟線程控制發(fā)送隊(duì)列，線程控制并發(fā)報(bào)文是同時(shí)分派給多個(gè)終端對(duì)象進(jìn)行，每個(gè)終端對(duì)象獨(dú)立發(fā)送。所述發(fā)送隊(duì)列并發(fā)報(bào)文是發(fā)送報(bào)文執(zhí)行過程中不需要等待上一報(bào)文發(fā)送完成才進(jìn)行發(fā)送；所述并發(fā)報(bào)文是分派給該報(bào)文所屬終端對(duì)象，由終端對(duì)象完成發(fā)送；所述終端對(duì)象為權(quán)利要求2所述對(duì)象。在實(shí)現(xiàn)報(bào)文接收的過程中，采用了 Linux下的EPOLL技術(shù)來實(shí)現(xiàn)一個(gè)端口上接入1 萬個(gè)以上的鏈接，專門使用一個(gè)線程來處理同時(shí)接入事件，處理臨界區(qū)數(shù)據(jù)，確保鏈接不丟失，海量鏈接同時(shí)接入時(shí)速度也明顯提高。在實(shí)現(xiàn)報(bào)文發(fā)送的過程中，由鏈接對(duì)象直接發(fā)送，利用各個(gè)對(duì)象相對(duì)獨(dú)立的特點(diǎn)， 可以同時(shí)獨(dú)立發(fā)送，在邊緣模式下，發(fā)送函數(shù)就變成了一個(gè)可重入的函數(shù)。在海量鏈接同時(shí)發(fā)送時(shí)，使用頻率非常之高，必須用互斥量來加鎖，防止變量使用沖突。由于采用面向?qū)ο蟮脑O(shè)計(jì)思想，各個(gè)對(duì)象相對(duì)獨(dú)立又都依賴EPOLL技術(shù)，各個(gè)對(duì)象可以時(shí)發(fā)送報(bào)文；
本發(fā)明通過一套先進(jìn)的算法、先進(jìn)的處理機(jī)制，采用報(bào)文并發(fā)處理機(jī)制，實(shí)現(xiàn)上萬個(gè)終端鏈接、登錄、心跳、收發(fā)數(shù)據(jù)，有效解決了現(xiàn)有技術(shù)中網(wǎng)關(guān)系統(tǒng)中終端鏈接、登錄、甚至收發(fā)報(bào)文經(jīng)常出現(xiàn)等待的技術(shù)問題。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，首先，把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針；其次，終端登陸后產(chǎn)生一個(gè)鏈接，系統(tǒng)就創(chuàng)建一個(gè)對(duì)象，分配內(nèi)存空間、給變量賦值、確定接收函數(shù)指針及發(fā)送函數(shù)指針；再次，接收終端命令后進(jìn)行報(bào)文解析、處理；最后，接收到上級(jí)系統(tǒng)命令后傳達(dá)給相應(yīng)的終端，再將終端的應(yīng)答數(shù)據(jù)形成報(bào)文發(fā)送給上級(jí)系統(tǒng)。
2.根據(jù)權(quán)利要求1所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，在步驟把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針之后， 具體包括以下步驟步驟一，創(chuàng)建對(duì)象，網(wǎng)關(guān)多進(jìn)程啟動(dòng)； 步驟二，終端同時(shí)海量鏈接、接入的處理；步驟三，接收?qǐng)?bào)文，對(duì)基本命令信息和傳輸數(shù)據(jù)信息進(jìn)行分類并行處理；步驟四，報(bào)文解析及記錄入庫；步驟五，請(qǐng)求命令下發(fā)，送入發(fā)送隊(duì)列，進(jìn)行并發(fā)。
3.根據(jù)權(quán)利要求2所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟三具體包括終端接入處理并接收?qǐng)?bào)文；將報(bào)文信息分成兩類基本命令信息和傳輸數(shù)據(jù)信息；對(duì)于傳輸數(shù)據(jù)信息，送入接收隊(duì)列，等待解析；同時(shí)并行處理基本命令信息的確認(rèn)。
4.根據(jù)權(quán)利要求3所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，所述基本命令信息包括終端的登陸信息、心跳信息、上線信息、下線信息、流量統(tǒng)計(jì)信息及標(biāo)志信息；所述傳輸數(shù)據(jù)信息包含數(shù)據(jù)信息和事件記錄。
5.根據(jù)權(quán)利要求2所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟四具體包括對(duì)接收?qǐng)?bào)文的傳輸數(shù)據(jù)信息進(jìn)行解析，并判斷報(bào)文解析是否處理，若判斷為是，則進(jìn)入下面的步驟；若判斷為否，則繼續(xù)對(duì)報(bào)文進(jìn)行解析處理； 將解析后的信息記錄入庫并向上級(jí)系統(tǒng)上報(bào)信息。
6.根據(jù)權(quán)利要求2所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，所述步驟五具體包括將解析后的信息記錄入庫后，形成應(yīng)答報(bào)文，送入發(fā)送隊(duì)列，進(jìn)行并發(fā)； 請(qǐng)求下發(fā)命令；當(dāng)基本命令信息得到確認(rèn)并確認(rèn)報(bào)文入發(fā)送隊(duì)列時(shí)，向終端發(fā)送隊(duì)列并發(fā)報(bào)文； 判斷該終端是否第一次接入，若判斷結(jié)果為是，則返回所述步驟一；若判斷結(jié)果為否， 返回所述步驟二。
7.根據(jù)權(quán)利要求2所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，在所述報(bào)文接收的過程中，采用了 Linux下的EPOLL技術(shù)來實(shí)現(xiàn)一個(gè)端口上接入上萬個(gè)以上的鏈接，專門使用一個(gè)線程來處理同時(shí)接入事件，處理臨界區(qū)數(shù)據(jù)。
8.根據(jù)權(quán)利要求6所述的基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，其特征在于，所述報(bào)文并發(fā)處理的過程，由線程控制發(fā)送隊(duì)列，同時(shí)分派給多個(gè)終端對(duì)象，每個(gè)終端對(duì)象獨(dú)立發(fā)送。
全文摘要
本發(fā)明提供了一種基于網(wǎng)關(guān)的海量數(shù)據(jù)處理方法，首先，把每個(gè)終端定義成一個(gè)對(duì)象，創(chuàng)建對(duì)象的結(jié)構(gòu)成員、結(jié)構(gòu)變量、接收函數(shù)指針、發(fā)送函數(shù)指針；其次，終端登陸后產(chǎn)生一個(gè)鏈接，系統(tǒng)就創(chuàng)建一個(gè)對(duì)象，分配內(nèi)存空間、給變量賦值、確定接收發(fā)送函數(shù)指針；再次，接收終端命令后進(jìn)行報(bào)文解析、處理；最后，接收到上級(jí)系統(tǒng)命令后傳達(dá)給相應(yīng)的終端，再將終端的應(yīng)答數(shù)據(jù)形成報(bào)文發(fā)送給上級(jí)系統(tǒng)。該技術(shù)方案有效降低了通信網(wǎng)絡(luò)設(shè)備的硬件成本和服務(wù)器的維護(hù)數(shù)量、有效降低了通信網(wǎng)絡(luò)的故障率及故障查找困難性。
文檔編號(hào)H04L12/66GK102215181SQ20111015659
公開日2011年10月12日 申請(qǐng)日期2011年6月13日 優(yōu)先權(quán)日2011年6月13日
發(fā)明者周啟華 申請(qǐng)人:航天科工深圳(集團(tuán))有限公司