專利名稱：物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及物聯(lián)網(wǎng)領(lǐng)域與分布式服務(wù)器集群管理領(lǐng)域，特別涉及一種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法。
背景技術(shù)：
物聯(lián)網(wǎng)技術(shù)是新一代信息技術(shù)的重要組成 部分，其核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展的網(wǎng)絡(luò)，物聯(lián)網(wǎng)采集 終端通過有線網(wǎng)絡(luò)或無線網(wǎng)絡(luò)與數(shù)據(jù)采集中心監(jiān)控管理服務(wù)器相連接。在大型物聯(lián)網(wǎng)系統(tǒng)應(yīng)用中，一臺服務(wù)器遠(yuǎn)不能滿足系統(tǒng)應(yīng)用的需求，對于多臺服務(wù)器的集群，如何監(jiān)控管理集群服務(wù)器以及平衡服務(wù)器的工作負(fù)載，涉及到分布式同步、負(fù)載均衡、任務(wù)自動分配和接管等各種問題。目前已存在一些數(shù)據(jù)分布式的采集系統(tǒng)，但這些采集系統(tǒng)主要負(fù)責(zé)數(shù)據(jù)接收エ作，缺少分布式管理的自動機(jī)制，存在以下不足I、當(dāng)有新的物聯(lián)網(wǎng)采集終端增加時，只能人工為其指定采集服務(wù)器，難以保證集群服務(wù)器的整體負(fù)載均衡；2、目前的分布式采集系統(tǒng)由于沒有實(shí)現(xiàn)實(shí)時監(jiān)管和負(fù)載均衡機(jī)制，因而無法自動地將高負(fù)載的采集服務(wù)器中的エ作任務(wù)分配到其他低負(fù)載的采集服務(wù)器中以降低單臺服務(wù)器的壓カ并保持系統(tǒng)的平穩(wěn)運(yùn)行；3、當(dāng)采集服務(wù)器出現(xiàn)故障吋，目前主要采用人工的方法啟動新的機(jī)器，并且人工設(shè)置新的采集任務(wù)，而沒有提供對集群內(nèi)采集服務(wù)器的實(shí)時監(jiān)管以及自動切換功能；4、將采集服務(wù)器的連接方式固化在采集終端里，采集服務(wù)器無法自動獲取任務(wù)列表來進(jìn)行采集エ作，尤其當(dāng)采集服務(wù)器出現(xiàn)故障的時候，需要采用人工的方式重新對采集終端設(shè)定新采集服務(wù)器的連接方式，不僅加大維護(hù)的工作量，而且會不可避免地出現(xiàn)人工設(shè)置錯誤。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是針對物聯(lián)網(wǎng)中海量數(shù)據(jù)的自動采集問題，提供一種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，以對數(shù)據(jù)采集中心服務(wù)器集群進(jìn)行實(shí)時監(jiān)控和管理，從而實(shí)現(xiàn)數(shù)據(jù)采集任務(wù)自動分配、集群負(fù)載均衡分配、失效任務(wù)自動接管。本發(fā)明解決上述問題所采用的技術(shù)方案為一種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，包括以下步驟
(1)、預(yù)先將所有與采集服務(wù)器連接的物聯(lián)網(wǎng)采集終端的ID存儲到關(guān)系數(shù)據(jù)庫中；
(2)、利用分布式協(xié)同服務(wù)Zookeeper建立樹形存儲結(jié)構(gòu)；該樹形存儲結(jié)構(gòu)在根節(jié)點(diǎn)下設(shè)立采集服務(wù)器、管理服務(wù)器、采集任務(wù)列表和配置文件四個子節(jié)點(diǎn)，分別用于存放相關(guān)的采集服務(wù)器信息、管理服務(wù)器信息、采集任務(wù)列表信息和系統(tǒng)配置信息；
(3)、啟動Zookeeper協(xié)同服務(wù)；
(4)、啟動集群中管理服務(wù)器和采集服務(wù)器與Zooke印er協(xié)同服務(wù)的連接任務(wù)，并在Zookeeper中建立與連接相對應(yīng)的子臨時節(jié)點(diǎn)；
(5)、主管理服務(wù)器讀取數(shù)據(jù)庫中預(yù)存的采集終端ID并將采集終端ID平均分配給每臺可提供采集服務(wù)的采集服務(wù)器；(6)、主管理服務(wù)器監(jiān)聽來自采集終端的連接，當(dāng)有采集終端通過網(wǎng)絡(luò)連接到主管理服務(wù)器時，主管理服務(wù)器返回該采集終端所歸屬的采集服務(wù)器的IP和端ロ并由路由設(shè)備轉(zhuǎn)發(fā)給采集終端；
(7)、采集終端與主管理服務(wù)器指定的采集服務(wù)器進(jìn)行連接通信；
(8)、姆臺采集服務(wù)器均定時將本機(jī)的狀態(tài)信息寫入Zookeeper中對應(yīng)的節(jié)點(diǎn)；
(9)、主管理服務(wù)器通過Zookeeper對采集服務(wù)器進(jìn)行監(jiān)控，當(dāng)發(fā)現(xiàn)有采集服務(wù)器過載時，主管理服務(wù)器根據(jù)當(dāng)前集群中其他采集服務(wù)器的負(fù)載狀況，及時調(diào)整每臺采集服務(wù)器的工作負(fù)載；當(dāng)發(fā)現(xiàn)有采集服務(wù)器無法提供服務(wù)時，主管理服務(wù)器判斷當(dāng)前集群中是否有備用采集服務(wù)器，若有備用采集服務(wù)器，啟用備用采集服務(wù)器；若沒有備用采集服務(wù)器，主管理服務(wù)器將該采集服務(wù)器負(fù)責(zé)的采集終端任務(wù)平均分配給集群內(nèi)其它可提供采集服務(wù)的采集服務(wù)器； (10)、步驟(9)采集終端任務(wù)重新分配后，采集終端與原采集服務(wù)器的連接可能失敗，若采集終端與原采集服務(wù)器嘗試連接失敗，采集終端會再次向主管理服務(wù)器請求連接，主管理服務(wù)器返回新的采集服務(wù)器的IP和端ロ。還包括以下步驟
(11)、從管理服務(wù)器通過Zooke印er對主管理服務(wù)器進(jìn)行監(jiān)控，若主管理服務(wù)器與Zookeeper失去連接，從管理服務(wù)器升為主管理服務(wù)器，備管理服務(wù)器升為從管理服務(wù)器；
(12)、備管理服務(wù)器通過Zooke印er對從管理服務(wù)器進(jìn)行監(jiān)控，若從管理服務(wù)器升為主管理服務(wù)器或與Zookeeper失去連接，備管理服務(wù)器升為從管理服務(wù)器；
(13)、失去連接的管理服務(wù)器恢復(fù)后成為備管理服務(wù)器。步驟(4)中所述在Zookeeper中建立與連接相對應(yīng)的子臨時節(jié)點(diǎn)是指,姆臺管理服務(wù)器與Zook^per連接后均在管理服務(wù)器節(jié)點(diǎn)下建立一子臨時節(jié)點(diǎn)，每臺采集服務(wù)器與Zookeeper連接后均在采集服務(wù)器節(jié)點(diǎn)和采集任務(wù)列表節(jié)點(diǎn)下各建立一子臨時節(jié)點(diǎn)。步驟(5)具體操作步驟為
①、主管理服務(wù)器分別從數(shù)據(jù)庫和配置文件中讀取所有的采集終端ID和采集服務(wù)器列表；
②、主管理服務(wù)器將采集終端平均分配給每臺可提供采集服務(wù)的采集服務(wù)器；
③、主管理服務(wù)器將分配好后的采集任務(wù)列表信息寫入采集任務(wù)列表節(jié)點(diǎn)下相應(yīng)的各個采集服務(wù)器子臨時節(jié)點(diǎn)中；
④、各采集服務(wù)器監(jiān)聽到采集任務(wù)列表節(jié)點(diǎn)下相應(yīng)的子臨時節(jié)點(diǎn)中的數(shù)據(jù)發(fā)生變化，從各自對應(yīng)的子臨時節(jié)點(diǎn)中讀取采集任務(wù)列表信息。步驟(9)具體操作步驟為
(一)、主管理服務(wù)器通過Zook^per對采集服務(wù)器進(jìn)行監(jiān)控，發(fā)現(xiàn)有采集服務(wù)器過載，管理服務(wù)器根據(jù)當(dāng)前集群中其他采集服務(wù)器的負(fù)載狀況，及時調(diào)整每臺采集服務(wù)器的工作負(fù)載；
(ニ)、主管理服務(wù)器通過Zooke^er對采集服務(wù)器進(jìn)行監(jiān)控，發(fā)現(xiàn)有采集服務(wù)器與Zookeeper失去連接
(a),Zookeeper自動刪除與該采集服務(wù)器對應(yīng)的節(jié)點(diǎn)并通知主管理服務(wù)器；
(b)、主管理服務(wù)器接到Zookeeper的通知后啟動ー個定時器,判斷在規(guī)定時間內(nèi)失去連接的采集服務(wù)器是否自動恢復(fù)；
(C)、若步驟(b)判斷失去連接的采集服務(wù)器在規(guī)定時間內(nèi)自動恢復(fù)，主管理服務(wù)器不采取任何操作；若步驟(b)判斷失去連接的采集服務(wù)器在規(guī)定時間內(nèi)沒有自動恢復(fù)，主管理服務(wù)器判定該采集服務(wù)器宕機(jī)，主管理服務(wù)器判斷當(dāng)前集群中是否有備用采集服務(wù)器；
(d)、若步驟(C)判斷當(dāng)前集群中有備用采集服務(wù)器，主管理服務(wù)器啟用備用采集服務(wù)器，并將原先采集服務(wù)器所負(fù)責(zé)的采集終端列表寫入到新啟用的采集服務(wù)器對應(yīng)的Zookeeper節(jié)點(diǎn)中；若步驟(C)判斷當(dāng)前集群中沒有備用服務(wù)器，主管理服務(wù)器將原先采集服務(wù)器負(fù)責(zé)的采集終端任務(wù)平均分配給集群內(nèi)其它可提供采集服務(wù)的采集服務(wù)器，并將每臺采集服務(wù)器所負(fù)責(zé)的新采集終端列表寫入Zookeeper內(nèi)相應(yīng)的節(jié)點(diǎn)中；
(e)、宕機(jī)的采集服務(wù)器恢復(fù)并重啟后歸入備用采集服務(wù)器列表，當(dāng)備用采集服務(wù)器超過ー定數(shù)目吋，主管理服務(wù)器從備用采集服務(wù)器列表中選取部分安排工作。 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于第一、當(dāng)増加新的物聯(lián)網(wǎng)采集終端時，可以根據(jù)集群內(nèi)采集服務(wù)器的運(yùn)行狀態(tài)進(jìn)行采集任務(wù)的自動分配，保證集群服務(wù)器的整體負(fù)載均衡；第二、可以通過對采集服務(wù)器的運(yùn)營狀態(tài)的實(shí)時監(jiān)控并調(diào)整工作復(fù)雜；第三、通過建立相互備份機(jī)制，當(dāng)采集服務(wù)器無法提供服務(wù)的時候，自動將其任務(wù)遷移到備份服務(wù)器或其他低負(fù)載的采集服務(wù)器；第四、無需為物聯(lián)網(wǎng)采集終端手動分配連接IP和端ロ，采集終端可通過管理服務(wù)器自動獲取其需要連接的采集服務(wù)器，即時采集服務(wù)器無法連上后，采集終端可再次自動地從管理服務(wù)器獲取新的連接方式。


圖I是本發(fā)明中所涉及的監(jiān)控和管理系統(tǒng)的物理結(jié)構(gòu)圖。圖2是本發(fā)明的實(shí)施步驟流程圖。圖3是本發(fā)明中Zooke^er的集群服務(wù)器節(jié)點(diǎn)信息結(jié)構(gòu)圖。圖4是本發(fā)明中采集終端發(fā)送數(shù)據(jù)給采集服務(wù)器的流程圖。
具體實(shí)施例方式為便于說明本發(fā)明的控制方法，下面結(jié)合附圖，對本發(fā)明物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器 集群的監(jiān)控和管理方法做詳細(xì)說明
本發(fā)明所基于的物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理系統(tǒng)如圖I所示，采集服務(wù)器和管理服務(wù)器作為客戶端與Zook^per服務(wù)器集群相連，ZooKeeper是ー個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，Zookeeper集群提供了對管理服務(wù)器和采集服務(wù)器的全局監(jiān)控、配置和管理備用機(jī)等服務(wù)。Zookeeper集群可以通過心跳協(xié)議實(shí)時地檢測采集服務(wù)器的狀態(tài)、資源使用率和工作負(fù)載等信息。采集服務(wù)器上線時，從Zooke印er集群中下載全局配置信息，并從中讀取自己所負(fù)責(zé)的采集終端列表，然后與該列表中的采集終端進(jìn)行數(shù)據(jù)通訊并采集相關(guān)數(shù)據(jù)。管理服務(wù)器與Zookeeper集群連接,并通過Zookeeper負(fù)責(zé)動態(tài)更新全局配置信息和監(jiān)測采集服務(wù)器的狀態(tài)。管理服務(wù)器包括主、從、備三臺，其中，只有主管理服務(wù)器提供服務(wù)。當(dāng)發(fā)現(xiàn)有采集服務(wù)器宕機(jī)吋，管理服務(wù)器使用備用服務(wù)器替換當(dāng)前宕機(jī)的采集服務(wù)器，并將原宕機(jī)的采集服務(wù)器所負(fù)責(zé)的采集終端列表分配給新的服務(wù)器。管理服務(wù)器定時查詢數(shù)據(jù)庫服務(wù)器中的采集終端信息，并將最新的數(shù)據(jù)同步到Zooke^er集群中。采集服務(wù)器、管理服務(wù)器以及Zooke印er集群處于同一個內(nèi)網(wǎng)，該內(nèi)網(wǎng)與外網(wǎng)之間通過路由器轉(zhuǎn)發(fā)數(shù)據(jù)包，采集終端通過路由器與管理服務(wù)器相連，采集終端向管理服務(wù)器請求采集服務(wù)器的IP和端ロ，然后與采集服務(wù)器進(jìn)行數(shù)據(jù)通訊。本發(fā)明物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，包括以下步驟
(1)、預(yù)先將所有與采集服務(wù)器連接的物聯(lián)網(wǎng)采集終端的ID存儲到關(guān)系數(shù)據(jù)庫中；當(dāng)有新的物聯(lián)網(wǎng)采集終端增加時，也將ID存儲進(jìn)關(guān)系數(shù)據(jù)庫，以供管理服務(wù)器定時查詢；
(2)、利用分布式協(xié)同服務(wù)Zookeeper建立樹形存儲結(jié)構(gòu)；如圖3所示，該樹形存儲結(jié)構(gòu)在根節(jié)點(diǎn)(Root)下設(shè)立采集服務(wù)器(Cserver)、管理服務(wù)器(Cmaster)、采集任務(wù)列表(ConcentratorList)和配置文件(Configure)四個子節(jié)點(diǎn)。Root ZNode為最高節(jié)點(diǎn)。CServer節(jié)點(diǎn)以臨時節(jié)點(diǎn)方式存儲所有采集服務(wù)器相關(guān)信息，包括所有當(dāng)前提供采集服務(wù)的機(jī)器和未提供采集服務(wù)的備份機(jī)器。CMaster以臨時節(jié)點(diǎn)方式存儲主、從、備三個管理服務(wù)器信息。ConcentratorList以臨時節(jié)點(diǎn)方式存儲所有采集服務(wù)器的采集任務(wù)信息。Configure以永久節(jié)點(diǎn)方式存儲本發(fā)明所基于的物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理 系統(tǒng)的所有配置信息。Configure節(jié)點(diǎn)下存放三類信息，第一類是采集服務(wù)器的統(tǒng)ー配置信息，存放在名為Same的節(jié)點(diǎn)下；第二類針對不同的采集服務(wù)器設(shè)定不同的配置信息，存放在名為Distinct的臨時性子節(jié)點(diǎn)中；第三類配置信息存放在Extension節(jié)點(diǎn)中，用于以后的配置擴(kuò)展；
(3)、啟動Zookeeper協(xié)同服務(wù)；
(4)、啟動集群中管理服務(wù)器和采集服務(wù)器與Zooke印er協(xié)同服務(wù)的連接任務(wù)，并在Zookeeper中建立與連接相對應(yīng)的子臨時節(jié)點(diǎn)；
(5)、主管理服務(wù)器讀取數(shù)據(jù)庫中預(yù)存的采集終端ID并將采集終端ID平均分配給每臺可提供采集服務(wù)的采集服務(wù)器；
(6)、主管理服務(wù)器監(jiān)聽來自采集終端的連接，當(dāng)有采集終端通過網(wǎng)絡(luò)連接到主管理服務(wù)器時，主管理服務(wù)器返回該采集終端所歸屬的采集服務(wù)器的IP和端ロ并由路由設(shè)備轉(zhuǎn)發(fā)給采集終端；
(7)、采集終端與主管理服務(wù)器指定的采集服務(wù)器進(jìn)行連接通信；之后除非與該采集服務(wù)器連接失敗否則無需再與主管理服務(wù)器進(jìn)行連接；
(8)、姆臺采集服務(wù)器姆_兩分鐘均向Zookeeper結(jié)構(gòu)中的Cserver下對應(yīng)的子臨時節(jié)點(diǎn)寫入本機(jī)的負(fù)載信息、狀態(tài)信息、CPU使用率、內(nèi)存使用率和IO信息等；
(9)、主管理服務(wù)器通過Zookeeper對采集服務(wù)器進(jìn)行監(jiān)控，當(dāng)發(fā)現(xiàn)有采集服務(wù)器過載時，主管理服務(wù)器根據(jù)當(dāng)前集群中其他采集服務(wù)器的負(fù)載狀況，及時調(diào)整每臺采集服務(wù)器的工作負(fù)載；當(dāng)發(fā)現(xiàn)有采集服務(wù)器無法提供服務(wù)時，主管理服務(wù)器判斷當(dāng)前集群中是否有備用采集服務(wù)器，若有備用采集服務(wù)器，啟用備用采集服務(wù)器；若沒有備用采集服務(wù)器，主管理服務(wù)器將該采集服務(wù)器負(fù)責(zé)的采集終端任務(wù)平均分配給集群內(nèi)其它可提供采集服務(wù)的采集服務(wù)器；
(10)、步驟(9)采集終端任務(wù)重新分配后，采集終端與原采集服務(wù)器的連接可能失敗，若采集終端與原采集服務(wù)器嘗試連接失敗，采集終端會再次向主管理服務(wù)器請求連接，主管理服務(wù)器返回新的采集服務(wù)器的IP和端ロ。還包括以下步驟(11)、從管理服務(wù)器通過Zooke印er對主管理服務(wù)器進(jìn)行監(jiān)控，若主管理服務(wù)器與Zookeeper失去連接，從管理服務(wù)器升為主管理服務(wù)器，備管理服務(wù)器升為從管理服務(wù)器；
(12)、備管理服務(wù)器通過Zooke印er對從管理服務(wù)器進(jìn)行監(jiān)控，若從管理服務(wù)器升為主管理服務(wù)器或與Zookeeper失去連接，備管理服務(wù)器升為從管理服務(wù)器；
(13)、失去連接的管理服務(wù)器恢復(fù)后成為備管理服務(wù)器。步驟(4)中所述在Zookeeper中建立與連接相對應(yīng)的子臨時節(jié)點(diǎn)是指,姆臺管理服務(wù)器與Zookeeper連接后均在管理服務(wù)器節(jié)點(diǎn)(Cmaster)下建立一子臨時節(jié)點(diǎn)(包括主M、從M、備M),姆臺采集服務(wù)器與Zookeeper連接后均在采集服務(wù)器節(jié)點(diǎn)(Cserver)和采集任務(wù)列表節(jié)點(diǎn)(ConcentratorList)下各建立一子臨時節(jié)點(diǎn)(包括建立在Cserver節(jié)點(diǎn)下的SI…Sn和建立在ConcentratorList節(jié)點(diǎn)下的LI…Ln)。步驟(5)具體操作步驟為
①、主管理服務(wù)器分別從數(shù)據(jù)庫和配置文件中讀取所有的采集終端ID和采集服務(wù)器列表；主管理服務(wù)器在第一次讀取數(shù)據(jù)庫中所有的采集終端ID后仍會定時查詢數(shù)據(jù)庫服務(wù)器中的采集終端信息，并將最新的數(shù)據(jù)同步到Zookeeper中以便對新増加的采集終端進(jìn)行自動分配；
②、主管理服務(wù)器將采集終端平均分配給每臺可提供采集服務(wù)的采集服務(wù)器，并在內(nèi)存中建立(采集服務(wù)器主機(jī)，采集終端列表)的采集服務(wù)器哈希表和(采集終端ID，采集服務(wù)器IP =Port)的采集終端哈希表；
③、主管理服務(wù)器將采集服務(wù)器哈希表寫入采集任務(wù)列表節(jié)點(diǎn)(ConcentratorList)下相應(yīng)的各個采集服務(wù)器子臨時節(jié)點(diǎn)中；
④、各采集服務(wù)器監(jiān)聽到采集任務(wù)列表節(jié)點(diǎn)(ConcentratorList)下相應(yīng)的子臨時節(jié)點(diǎn)中的數(shù)據(jù)發(fā)生變化，從各自對應(yīng)的子臨時節(jié)點(diǎn)中讀取采集任務(wù)列表信息。步驟(9 )具體操作步驟為
(一)、主管理服務(wù)器通過Zook^per對采集服務(wù)器進(jìn)行監(jiān)控，發(fā)現(xiàn)有采集服務(wù)器過載，管理服務(wù)器根據(jù)當(dāng)前集群中其他采集服務(wù)器的負(fù)載狀況，及時調(diào)整每臺采集服務(wù)器的工作負(fù)載；
(ニ)、主管理服務(wù)器通過Zooke^er對采集服務(wù)器進(jìn)行監(jiān)控，發(fā)現(xiàn)有采集服務(wù)器與Zookeeper失去連接
(a),Zookeeper自動刪除與該采集服務(wù)器對應(yīng)的節(jié)點(diǎn)并通知主管理服務(wù)器；
(b)、主管理服務(wù)器接到Zookeeper的通知后啟動ー個定時器,判斷在規(guī)定時間內(nèi)失去連接的采集服務(wù)器是否自動恢復(fù)；
(C)、若步驟(b)判斷失去連接的采集服務(wù)器在規(guī)定時間內(nèi)自動恢復(fù)，主管理服務(wù)器不采取任何操作；若步驟(b)判斷失去連接的采集服務(wù)器在規(guī)定時間內(nèi)沒有自動恢復(fù)，主管理服務(wù)器判定該采集服務(wù)器宕機(jī)，主管理服務(wù)器判斷當(dāng)前集群中是否有備用采集服務(wù)器；
(d)、若步驟(C)判斷當(dāng)前集群中有備用采集服務(wù)器，主管理服務(wù)器啟用備用采集服務(wù)器，并將原先采集服務(wù)器所負(fù)責(zé)的采集終端列表寫入到新啟用的采集服務(wù)器對應(yīng)的Zookeeper節(jié)點(diǎn)中，即新啟用的采集服務(wù)器建立在ConcentratorList下的子臨時節(jié)點(diǎn)；若步驟(C)判斷當(dāng)前集群中沒有備用服務(wù)器，主管理服務(wù)器將原先采集服務(wù)器負(fù)責(zé)的采集終端任務(wù)平均分配給集群內(nèi)其它可提供采集服務(wù)的采集服務(wù)器，并將每臺采集服務(wù)器所負(fù)責(zé)的新采集終端列表寫入Zooke^er內(nèi)相應(yīng)的節(jié)點(diǎn)中，即每臺采集服務(wù)器建立在ConcentratorList下的各個子臨時節(jié)點(diǎn)；
(e)、宕機(jī)的采集服務(wù)器恢復(fù)并重啟后歸入備用采集服務(wù)器列表，當(dāng)備用采集服務(wù)器超過ー定數(shù)目吋，主管理服務(wù)器從備用采集服務(wù)器列表中選取部分安排工作。上述步驟中所述的監(jiān)聽、監(jiān)控均是利用了 Zookeeper的事件通知機(jī)制，當(dāng)在相應(yīng)節(jié)點(diǎn)注入watcher (Zookeeper監(jiān)聽器)之后，Zookeeper即會將該節(jié)點(diǎn)數(shù)據(jù)發(fā)生的變化通知給相應(yīng)的服務(wù)器。圖3中的虛線表示watcher的分布。圖4為采集終端發(fā)送數(shù)據(jù)給采集服務(wù)器的流程，在該流程中有采集終端、路由器、管理服務(wù)器和采集服務(wù)器四種參與者。步驟I :當(dāng)采集終端上線時，通過路由器向管理服務(wù)器發(fā)送請求連接；
步驟2:路由器將該連接請求映射到管理服務(wù)器；
步驟3 :管理服務(wù)器根據(jù)當(dāng)前采集服務(wù)器集群的工作負(fù)載狀態(tài)和采集服務(wù)器的分配策略，為該集中器分配一個采集服務(wù)器；
步驟4 :路由器將步驟3中的信息轉(zhuǎn)發(fā)給采集終端；
步驟5 :采集終端收到連接的采集服務(wù)器IP和端口號后，與管理服務(wù)器斷開連接； 步驟6 :管理服務(wù)器監(jiān)聽到連接斷開，關(guān)閉socket ；
步驟7:采集終端向接收到的采集服務(wù)器發(fā)送連接請求；
步驟8 :路由器轉(zhuǎn)發(fā)采集終端的連接請求；
步驟9 :采集服務(wù)器接收到采集終端的連接請求后，監(jiān)測該采集終端ID是否在它所負(fù)責(zé)的采集終端列表中，如果在，則接受該采集終端的連接請求，否則拒絕；
步驟10 :路由器轉(zhuǎn)發(fā)步驟9的響應(yīng)幀；
步驟11 :采集終端收到響應(yīng)幀后，發(fā)送確認(rèn)幀；
步驟12 :路由轉(zhuǎn)發(fā)確認(rèn)幀，采集服務(wù)器接收到確認(rèn)幀后，連接成功；
步驟13 :如果采集終端與采集服務(wù)器失去連接，則最多重復(fù)步驟7兩次，如果還是連不上則轉(zhuǎn)入步驟14 ；
步驟14 :如果重復(fù)兩次步驟7均未成功，則重復(fù)步驟I。
權(quán)利要求
1.一種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，其特征在于包括以下步驟 (1)、預(yù)先將所有與采集服務(wù)器連接的物聯(lián)網(wǎng)采集終端的ID存儲到關(guān)系數(shù)據(jù)庫中； (2)、利用分布式協(xié)同服務(wù)Zookeeper建立樹形存儲結(jié)構(gòu)；該樹形存儲結(jié)構(gòu)在根節(jié)點(diǎn)下設(shè)立采集服務(wù)器、管理服務(wù)器、采集任務(wù)列表和配置文件四個子節(jié)點(diǎn)，分別用于存放相關(guān)的采集服務(wù)器信息、管理服務(wù)器信息、采集任務(wù)列表信息和系統(tǒng)配置信息； (3)、啟動Zookeeper協(xié)同服務(wù)； (4)、啟動集群中管理服務(wù)器和采集服務(wù)器與Zooke印er協(xié)同服務(wù)的連接任務(wù)，并在Zookeeper中建立與連接相對應(yīng)的子臨時節(jié)點(diǎn)； (5)、主管理服務(wù)器讀取數(shù)據(jù)庫中預(yù)存的采集終端ID并將采集終端ID平均分配給每臺可提供采集服務(wù)的采集服務(wù)器； (6)、主管理服務(wù)器監(jiān)聽來自采集終端的連接，當(dāng)有采集終端通過網(wǎng)絡(luò)連接到主管理服務(wù)器時，主管理服務(wù)器返回該采集終端所歸屬的采集服務(wù)器的IP和端ロ并由路由設(shè)備轉(zhuǎn)發(fā)給采集終端； (7)、采集終端與主管理服務(wù)器指定的采集服務(wù)器進(jìn)行連接通信； (8)、姆臺采集服務(wù)器均定時將本機(jī)的狀態(tài)信息寫入Zookeeper中對應(yīng)的節(jié)點(diǎn)； (9)、主管理服務(wù)器通過Zookeeper對采集服務(wù)器進(jìn)行監(jiān)控，當(dāng)發(fā)現(xiàn)有采集服務(wù)器過載時，主管理服務(wù)器根據(jù)當(dāng)前集群中其他采集服務(wù)器的負(fù)載狀況，及時調(diào)整每臺采集服務(wù)器的工作負(fù)載；當(dāng)發(fā)現(xiàn)有采集服務(wù)器無法提供服務(wù)時，主管理服務(wù)器判斷當(dāng)前集群中是否有備用采集服務(wù)器，若有備用采集服務(wù)器，啟用備用采集服務(wù)器；若沒有備用采集服務(wù)器，主管理服務(wù)器將該采集服務(wù)器負(fù)責(zé)的采集終端任務(wù)平均分配給集群內(nèi)其它可提供采集服務(wù)的采集服務(wù)器； (10)、步驟(9)采集終端任務(wù)重新分配后，采集終端與原采集服務(wù)器的連接可能失敗，若采集終端與原采集服務(wù)器嘗試連接失敗，采集終端會再次向主管理服務(wù)器請求連接，主管理服務(wù)器返回新的采集服務(wù)器的IP和端ロ。
2.根據(jù)權(quán)利要求I所述的ー種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，其特征在于 還包括以下步驟 (11)、從管理服務(wù)器通過Zooke印er對主管理服務(wù)器進(jìn)行監(jiān)控，若主管理服務(wù)器與Zookeeper失去連接，從管理服務(wù)器升為主管理服務(wù)器； (12)、備管理服務(wù)器通過Zooke印er對從管理服務(wù)器進(jìn)行監(jiān)控，若從管理服務(wù)器升為主管理服務(wù)器或與Zookeeper失去連接，備管理服務(wù)器升為從管理服務(wù)器； (13)、失去連接的管理服務(wù)器恢復(fù)后成為備管理服務(wù)器。
3.根據(jù)權(quán)利要求I所述的ー種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，其特征在于步驟(4)中所述在Zookeeper中建立與連接相對應(yīng)的子臨時節(jié)點(diǎn)是指,姆臺管理服務(wù)器與Zookeeper連接后均在管理服務(wù)器節(jié)點(diǎn)下建立一子臨時節(jié)點(diǎn)，每臺采集服務(wù)器與Zookeeper連接后均在采集服務(wù)器節(jié)點(diǎn)和采集任務(wù)列表節(jié)點(diǎn)下各建立一子臨時節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求I所述的ー種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，其特征在于步驟(5)具體操作步驟為 ①、主管理服務(wù)器分別從數(shù)據(jù)庫和配置文件中讀取所有的采集終端ID和采集服務(wù)器列表； ②、主管理服務(wù)器將采集終端平均分配給每臺可提供采集服務(wù)的采集服務(wù)器； ③、主管理服務(wù)器將分配好后的采集任務(wù)列表信息寫入采集任務(wù)列表節(jié)點(diǎn)下相應(yīng)的各個采集服務(wù)器子臨時節(jié)點(diǎn)中； ④、各采集服務(wù)器監(jiān)聽到采集任務(wù)列表節(jié)點(diǎn)下相應(yīng)的子臨時節(jié)點(diǎn)中的數(shù)據(jù)發(fā)生變化，從各自對應(yīng)的子臨時節(jié)點(diǎn)中讀取采集任務(wù)列表信息。
5.根據(jù)權(quán)利要求I所述的ー種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，其特征在于步驟(9)具體操作步驟為 (一)、主管理服務(wù)器通過Zook^per對采集服務(wù)器進(jìn)行監(jiān)控，發(fā)現(xiàn)有采集服務(wù)器過載，管理服務(wù)器根據(jù)當(dāng)前集群中其他采集服務(wù)器的負(fù)載狀況，及時調(diào)整每臺采集服務(wù)器的工作負(fù)載； (ニ)、主管理服務(wù)器通過Zooke^er對采集服務(wù)器進(jìn)行監(jiān)控，發(fā)現(xiàn)有采集服務(wù)器與Zookeeper失去連接 (a),Zookeeper自動刪除與該采集服務(wù)器對應(yīng)的節(jié)點(diǎn)并通知主管理服務(wù)器； (b)、主管理服務(wù)器接到Zookeeper的通知后啟動ー個定時器,判斷在規(guī)定時間內(nèi)失去連接的采集服務(wù)器是否自動恢復(fù)； (C)、若步驟(b)判斷失去連接的采集服務(wù)器在規(guī)定時間內(nèi)自動恢復(fù)，主管理服務(wù)器不采取任何操作；若步驟(b)判斷失去連接的采集服務(wù)器在規(guī)定時間內(nèi)沒有自動恢復(fù)，主管理服務(wù)器判定該采集服務(wù)器宕機(jī)，主管理服務(wù)器判斷當(dāng)前集群中是否有備用采集服務(wù)器； (d)、若步驟(C)判斷當(dāng)前集群中有備用采集服務(wù)器，主管理服務(wù)器啟用備用采集服務(wù)器，并將原先采集服務(wù)器所負(fù)責(zé)的采集終端列表寫入到新啟用的采集服務(wù)器對應(yīng)的Zookeeper節(jié)點(diǎn)中；若步驟(C)判斷當(dāng)前集群中沒有備用服務(wù)器，主管理服務(wù)器將原先采集服務(wù)器負(fù)責(zé)的采集終端任務(wù)平均分配給集群內(nèi)其它可提供采集服務(wù)的采集服務(wù)器，并將每臺采集服務(wù)器所負(fù)責(zé)的新采集終端列表寫入Zookeeper內(nèi)相應(yīng)的節(jié)點(diǎn)中； (e)、宕機(jī)的采集服務(wù)器恢復(fù)并重啟后歸入備用采集服務(wù)器列表，當(dāng)備用采集服務(wù)器超過ー定數(shù)目吋，主管理服務(wù)器從備用采集服務(wù)器列表中選取部分安排工作。
全文摘要
針對物聯(lián)網(wǎng)中海量數(shù)據(jù)的自動采集問題，提供一種物聯(lián)網(wǎng)數(shù)據(jù)采集服務(wù)器集群的監(jiān)控和管理方法，以對數(shù)據(jù)采集中心服務(wù)器集群進(jìn)行實(shí)時監(jiān)控和管理，從而實(shí)現(xiàn)數(shù)據(jù)采集任務(wù)自動分配、集群負(fù)載均衡分配、失效任務(wù)自動接管。
文檔編號H04L12/24GK102739775SQ201210170849
公開日2012年10月17日 申請日期2012年5月29日 優(yōu)先權(quán)日2012年5月29日
發(fā)明者左敬超, 王寬, 貝毅君, 陳華 申請人:寧波東冠科技有限公司