一種基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及物聯(lián)網(wǎng)/大數(shù)據(jù)管理技術(shù)領(lǐng)域，尤其是指一種基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)及方法。
【背景技術(shù)】
[0002]“物聯(lián)網(wǎng)概念”是在“互聯(lián)網(wǎng)概念”的基礎(chǔ)上，將其用戶端延伸和擴(kuò)展到任何物品與物品之間，進(jìn)行信息交換和通信的一種網(wǎng)絡(luò)概念。W1-Fi探針的原理是利用智能設(shè)備商W1-FI模塊所發(fā)出的無線廣播信號進(jìn)行設(shè)備的感知，就像是網(wǎng)站上的Cookie，他會(huì)記錄你的訪問行為和軌跡。不同的是，通過手機(jī)MAC地址所采集的是你的線下行為軌跡。
[0003]大數(shù)據(jù)處理過程是一個(gè)復(fù)雜的過程，大數(shù)據(jù)的處理方法通常是將一個(gè)大的任務(wù)通過切分，變成多個(gè)可以并行的子任務(wù)，用多臺機(jī)器并行的計(jì)算，最后將結(jié)構(gòu)進(jìn)行匯總，重復(fù)的進(jìn)行上述處理，得到最終的結(jié)果。一般分兩種場景，一個(gè)對歷史的數(shù)據(jù)進(jìn)行分析計(jì)算。另外一種是對實(shí)時(shí)的數(shù)據(jù)進(jìn)行處理計(jì)算。針對物聯(lián)網(wǎng)在線應(yīng)用數(shù)據(jù)的處理方式主要采用實(shí)時(shí)的數(shù)據(jù)數(shù)據(jù)處理方式，這就需要系統(tǒng)就有持續(xù)并及時(shí)的數(shù)據(jù)收集能力和分析能力。
[0004]在物聯(lián)網(wǎng)的時(shí)代，大量傳感器會(huì)源源不斷的發(fā)送回?cái)?shù)據(jù)，不同的傳感器發(fā)回的數(shù)據(jù)往往會(huì)包含對相同或相似對象的描述信息。需將多對象的信息進(jìn)行歸并、整理，以便提高數(shù)據(jù)的準(zhǔn)確度，提升數(shù)據(jù)質(zhì)量。因此，如何針對海量傳感器發(fā)送回的無線設(shè)備信號強(qiáng)度信息，實(shí)現(xiàn)一種高效、低延時(shí)的調(diào)度分析算法，進(jìn)而快速定位設(shè)備的位置，是本領(lǐng)域亟待解決的問題。

【發(fā)明內(nèi)容】

[0005]有鑒于上述問題，本發(fā)明提供了一種基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)，包括:
[0006]設(shè)置于需要進(jìn)行數(shù)據(jù)管理的區(qū)域內(nèi)的多個(gè)傳感器，用于采集待管理的移動(dòng)設(shè)備發(fā)射至該傳感器位置的信號強(qiáng)度數(shù)據(jù)；
[0007]數(shù)據(jù)收集器，與所述多個(gè)傳感器通信連接，用于收集每一個(gè)所述傳感器采集到的信號強(qiáng)度數(shù)據(jù)，并將所述信號強(qiáng)度數(shù)據(jù)進(jìn)行數(shù)據(jù)化處理；
[0008]核心數(shù)據(jù)分發(fā)服務(wù)器，與所述數(shù)據(jù)收集器通信連接，用于將所述數(shù)據(jù)收集器數(shù)據(jù)化處理后的信號強(qiáng)度數(shù)據(jù)進(jìn)行分析，獲得不同移動(dòng)設(shè)備的設(shè)備標(biāo)識，根據(jù)不同移動(dòng)設(shè)備的設(shè)備標(biāo)識為每一個(gè)移動(dòng)設(shè)備創(chuàng)建一個(gè)對應(yīng)的信息隊(duì)列，并將各個(gè)移動(dòng)設(shè)備的信號強(qiáng)度數(shù)據(jù)發(fā)送到相應(yīng)的信息隊(duì)列中；
[0009]時(shí)序隊(duì)列服務(wù)器，與所述核心數(shù)據(jù)分發(fā)服務(wù)器通信連接，用于將每一個(gè)信息隊(duì)列中的信號強(qiáng)度數(shù)據(jù)根據(jù)時(shí)序進(jìn)行排序以形成時(shí)序隊(duì)列，并根據(jù)預(yù)設(shè)的時(shí)間窗口從所述時(shí)序隊(duì)列中選取對應(yīng)數(shù)量的信號強(qiáng)度數(shù)據(jù)以數(shù)據(jù)組合的方式進(jìn)行輸出，用來對移動(dòng)設(shè)備進(jìn)行定位使用。
[0010]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)，專為海量高并發(fā)的傳感器實(shí)時(shí)數(shù)據(jù)收集任務(wù)而設(shè)計(jì)，海量的傳感器首先將信號強(qiáng)度數(shù)據(jù)匯聚在邊緣節(jié)點(diǎn)的數(shù)據(jù)收集器上，數(shù)據(jù)收集器在采集到信號強(qiáng)度數(shù)據(jù)后，將信號強(qiáng)度數(shù)據(jù)進(jìn)行打包，集中分發(fā)到后端的核心數(shù)據(jù)分發(fā)服務(wù)器上。核心分發(fā)服務(wù)器將信號強(qiáng)度數(shù)據(jù)進(jìn)行解包，按照數(shù)據(jù)中包含的設(shè)備標(biāo)識，按照設(shè)備對象的不同將對應(yīng)的信號強(qiáng)度數(shù)據(jù)分發(fā)到不同的信息隊(duì)列中。在發(fā)明中信息隊(duì)列的入隊(duì)列操作，是將無線設(shè)備的單個(gè)信號強(qiáng)度數(shù)據(jù)進(jìn)行入隊(duì)列，而出隊(duì)列時(shí)是獲取時(shí)間窗口內(nèi)的一組信號強(qiáng)度數(shù)據(jù)作為數(shù)據(jù)組合。信息隊(duì)列保證了數(shù)據(jù)的時(shí)序性，防止因?yàn)槭占说臄?shù)據(jù)時(shí)間不一致導(dǎo)致的數(shù)據(jù)時(shí)序混亂的問題。提供了高效低延遲的數(shù)據(jù)中轉(zhuǎn)，實(shí)現(xiàn)一種基于海量實(shí)時(shí)傳感器數(shù)據(jù)的分析調(diào)度算法。
[0011]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)的進(jìn)一步改進(jìn)在于，還包括:優(yōu)先級調(diào)度服務(wù)器，與所述時(shí)序隊(duì)列服務(wù)器通信連接，用于管理所述時(shí)序隊(duì)列的狀態(tài)以及設(shè)置所述預(yù)設(shè)的時(shí)間窗口的大小。
[0012]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)的進(jìn)一步改進(jìn)在于，還包括:數(shù)據(jù)定位服務(wù)器，與所述優(yōu)先級調(diào)度服務(wù)器通信連接，用于根據(jù)所述數(shù)據(jù)組合對移動(dòng)設(shè)備進(jìn)行定位。
[0013]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)的進(jìn)一步改進(jìn)在于，所述核心數(shù)據(jù)分發(fā)服務(wù)器的數(shù)量為多個(gè)，多個(gè)所述核心數(shù)據(jù)分發(fā)服務(wù)器對數(shù)據(jù)化處理后的信號強(qiáng)度數(shù)據(jù)分流進(jìn)行處理。即本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)中的核心數(shù)據(jù)分發(fā)服務(wù)器具有無狀態(tài)特性，集群中不需要控制服務(wù)器，在一組數(shù)據(jù)分發(fā)服務(wù)器中可以隨時(shí)的增加和減少服務(wù)器數(shù)量，而不影響整個(gè)業(yè)務(wù)的邏輯的正確性。并且本過程無需人工干預(yù)，自動(dòng)實(shí)現(xiàn)負(fù)載的自動(dòng)均衡。
[0014]本發(fā)明還提供了一種基于位置信息的大數(shù)據(jù)任務(wù)的管理方法，包括:
[0015]在需要進(jìn)行數(shù)據(jù)管理的區(qū)域內(nèi)設(shè)置多個(gè)傳感器，所述傳感器用于采集待管理的移動(dòng)設(shè)備發(fā)射至該傳感器位置的信號強(qiáng)度數(shù)據(jù)；
[0016]收集每一個(gè)所述傳感器采集到的信號強(qiáng)度數(shù)據(jù)，并將所述信號強(qiáng)度數(shù)據(jù)進(jìn)行數(shù)據(jù)化處理；
[0017]將數(shù)據(jù)化處理后的信號強(qiáng)度數(shù)據(jù)進(jìn)行分析，獲得不同移動(dòng)設(shè)備的設(shè)備標(biāo)識，根據(jù)不同移動(dòng)設(shè)備的設(shè)備標(biāo)識為每一個(gè)移動(dòng)設(shè)備創(chuàng)建一個(gè)對應(yīng)的信息隊(duì)列，并將各個(gè)移動(dòng)設(shè)備的信號強(qiáng)度數(shù)據(jù)發(fā)送到相應(yīng)的信息隊(duì)列中；
[0018]將每一個(gè)信息隊(duì)列中的信號強(qiáng)度數(shù)據(jù)根據(jù)時(shí)序進(jìn)行排序以形成時(shí)序隊(duì)列，并根據(jù)預(yù)設(shè)的時(shí)間窗口從所述時(shí)序隊(duì)列中選取對應(yīng)數(shù)量的信號強(qiáng)度數(shù)據(jù)以數(shù)據(jù)組合的方式輸出，用來對移動(dòng)設(shè)備進(jìn)行定位使用。
[0019]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理方法，專為海量高并發(fā)的傳感器實(shí)時(shí)數(shù)據(jù)收集任務(wù)而設(shè)計(jì)，海量的傳感器首先將信號強(qiáng)度數(shù)據(jù)匯聚在邊緣節(jié)點(diǎn)的數(shù)據(jù)收集器上，在采集到信號強(qiáng)度數(shù)據(jù)后，將信號強(qiáng)度數(shù)據(jù)進(jìn)行打包，再集中進(jìn)行解包，按照數(shù)據(jù)中包含的設(shè)備標(biāo)識，按照設(shè)備對象的不同將對應(yīng)的信號強(qiáng)度數(shù)據(jù)分發(fā)到不同的信息隊(duì)列中。在發(fā)明中信息隊(duì)列的入隊(duì)列操作，是將無線設(shè)備的單個(gè)信號強(qiáng)度信息進(jìn)行入隊(duì)列，而出隊(duì)列時(shí)是獲取時(shí)間窗口內(nèi)的一組信號強(qiáng)度內(nèi)的數(shù)據(jù)。信息隊(duì)列保證了數(shù)據(jù)的時(shí)序性，防止因?yàn)槭占说臄?shù)據(jù)時(shí)間不一致導(dǎo)致的數(shù)據(jù)時(shí)序混亂的問題。提供高效低延遲的數(shù)據(jù)中轉(zhuǎn)，實(shí)現(xiàn)一種基于海量實(shí)時(shí)傳感器數(shù)據(jù)的分析調(diào)度算法。
[0020]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理方法的進(jìn)一步改進(jìn)在于，收集每一個(gè)所述傳感器采集到的信號強(qiáng)度數(shù)據(jù)，包括:根據(jù)一預(yù)設(shè)的時(shí)間間隔，收集每一個(gè)所述傳感器采集到的信號強(qiáng)度數(shù)據(jù)。
[0021]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理方法的進(jìn)一步改進(jìn)在于，所述傳感器還用于記錄所述信號強(qiáng)度數(shù)據(jù)的采集時(shí)間。
[0022]本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理方法的進(jìn)一步改進(jìn)在于，將所述時(shí)序隊(duì)列中的信號強(qiáng)度數(shù)據(jù)根預(yù)設(shè)的時(shí)間窗口以數(shù)據(jù)組合的方式進(jìn)行輸出，包括:以推送的方式將所述數(shù)據(jù)組合進(jìn)行輸出。即隊(duì)列輸入數(shù)據(jù)是單條采集數(shù)據(jù)，而隊(duì)列的輸出是滿足預(yù)設(shè)標(biāo)準(zhǔn)(以時(shí)間窗口為預(yù)設(shè)標(biāo)準(zhǔn))的一組采集數(shù)據(jù)進(jìn)行輸出。
【附圖說明】
[0023]圖1是本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)的結(jié)構(gòu)框圖。
[0024]圖2是本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理方法的流程圖。
[0025]圖3是本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)的傳感器的操作示意圖。
[0026]圖4是本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)的時(shí)序隊(duì)列的操作示意圖。
[0027]圖5是本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)中數(shù)據(jù)收集服務(wù)對比于傳統(tǒng)的集群服務(wù)的對比示意圖。
【具體實(shí)施方式】
[0028]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0029]配合參看圖1所示，圖1是本發(fā)明基于位置信息的大數(shù)據(jù)任務(wù)的管理系統(tǒng)