一種彈性傳感數(shù)據(jù)平臺的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對傳感數(shù)據(jù)的存儲和應(yīng)用平臺，尤其涉及一種基于用戶貢獻(xiàn)傳感數(shù)據(jù) 的彈性存儲和應(yīng)用平臺，屬于物聯(lián)網(wǎng)和傳感信息數(shù)據(jù)管理領(lǐng)域。
【背景技術(shù)】
[0002] 隨著智慧城市應(yīng)用及個人智能移動裝置的普及，我們正處在一個傳感數(shù)據(jù)爆炸的 年代。雖然目前已存在一些傳感數(shù)據(jù)存儲和管理平臺，但數(shù)據(jù)的真正價值并沒有被充分挖 掘。目前沒有一個平臺，能在數(shù)據(jù)存儲的基礎(chǔ)上，將數(shù)據(jù)轉(zhuǎn)化為可用的產(chǎn)品，這成為大數(shù)據(jù) 和傳感網(wǎng)絡(luò)中的一個重要課題。在本發(fā)明針對目前面臨的主要問題和需求，并提出解決方 案：彈性傳感數(shù)據(jù)平臺。在此平臺中，用彈性的傳感數(shù)據(jù)存儲，靈活的傳感數(shù)據(jù)檢索，方便的 應(yīng)用開發(fā)環(huán)境，和有效的數(shù)據(jù)產(chǎn)品市場，來支持從傳感大數(shù)據(jù)到數(shù)據(jù)產(chǎn)品的整個生命周期。 系統(tǒng)可以讓使用者融合不同來源的傳感數(shù)據(jù)，整合多樣的分析模型，快速建構(gòu)出數(shù)據(jù)應(yīng)用 產(chǎn)品。
[0003] 傳感網(wǎng)絡(luò)是用傳感器獲得關(guān)于某個物理、工程或者社會系統(tǒng)數(shù)據(jù)的一種基礎(chǔ)設(shè) 施。近年來，傳感網(wǎng)絡(luò)在污染檢測、安全監(jiān)控、健康醫(yī)療、城市規(guī)劃等很多領(lǐng)域得到廣泛應(yīng) 用。在此領(lǐng)域，大致經(jīng)歷了以下三代系統(tǒng)的發(fā)展過程：
[0004] 第一代傳感數(shù)據(jù)平臺著重于數(shù)據(jù)存儲和查詢，如Aurora和Cougar,這類平臺提供 了基本的數(shù)據(jù)查詢功能，但對用戶間的數(shù)據(jù)分享和協(xié)作沒有做明確定義。
[0005] 在第二代系統(tǒng)中，數(shù)據(jù)來源比較固定，然而增強了用戶數(shù)據(jù)分享和協(xié)作的功能，例 如CitySense為用戶提供了一個開放的基礎(chǔ)設(shè)施，使得用戶可以在城市尺度下隊現(xiàn)有傳感 網(wǎng)絡(luò)進(jìn)行重新編碼和應(yīng)用。DiscoveryNet使得用戶可以對其傳感數(shù)據(jù)進(jìn)行工作流開發(fā)，并 提供了一些數(shù)據(jù)融合功能，用戶可以分享其數(shù)據(jù)和分析結(jié)果。
[0006] 在第三代系統(tǒng)中，任何用戶都可以提供傳感數(shù)據(jù)，并進(jìn)行分享和協(xié)作。例如 Xively(早先叫Pachube及Cosm)使得用戶可以任意注冊傳感數(shù)據(jù)源，并實時分享這些數(shù)據(jù) 源，且提供了包括實時觸發(fā)器等的數(shù)據(jù)分析工具。
[0007] 隨著這些發(fā)展，傳感器及傳感網(wǎng)絡(luò)正變得無處不在，傳感數(shù)據(jù)量爆炸式增長。類似 智慧城市的概念越來越普遍，越來越多的政府、企業(yè)和組織，開始部署其傳感網(wǎng)絡(luò)，收集他 們感興趣的數(shù)據(jù)，及開展其所需的數(shù)據(jù)分析和應(yīng)用。
[0008] 個人也開始參與其中：智能手機變得越來越普遍，而智能手機上裝載了越來越多 的傳感器，例如定位裝置，光照傳感器等。同時，除智能手機之外的各種低價、輕便、容易 使用的傳感器設(shè)備走進(jìn)個人生活，使用戶更清楚地了解自己，例如我們現(xiàn)在可以用Emotiv EEG在家檢測自己的腦電波，或者用Fitbit來記錄每天的運動量。
[0009] 這些傳感數(shù)據(jù)，從微觀上說，可以為這些社會單位或個人創(chuàng)造價值；從宏觀上說， 這些數(shù)據(jù)反映了整體社會的動態(tài)性，提供了決策的依據(jù)，例如將用戶的出行數(shù)據(jù)進(jìn)行整合 分析之后，就能對城市整體交通規(guī)劃提供依據(jù)。
[0010] 然而，目前這些數(shù)據(jù)仍沒有發(fā)揮其最大的作用，其中的主要問題包括： toon] 1)大數(shù)據(jù)環(huán)境下的數(shù)據(jù)收集和管理：毫無疑問，數(shù)據(jù)對于收集者來說是有價值 的，收集者往往也是（唯一的）使用者。然而目前這種"數(shù)據(jù)收集者即使用者"的模式漸漸 收到挑戰(zhàn)：一方面，這些數(shù)據(jù)對其他用戶來說也存在價值；另一方面，不同數(shù)據(jù)融合時常能 創(chuàng)造更大的價值。所以，我們需要將數(shù)據(jù)開放，將數(shù)據(jù)收集者和使用者角色分離。為了實現(xiàn) 這種開放，需要解決很多問題：如何為用戶存儲數(shù)據(jù)，特別當(dāng)用戶數(shù)量和數(shù)據(jù)容量非常大， 從而造成大數(shù)據(jù)問題時，如何檢索和發(fā)現(xiàn)數(shù)據(jù)，用什么手段鼓勵用戶開放數(shù)據(jù)，以及在開放 的環(huán)境下，如何保護私隱數(shù)據(jù)等。
[0012] 2)多源、異構(gòu)數(shù)據(jù)融合與檢索：當(dāng)用戶開始開放數(shù)據(jù)時，對同一個對象，會出描述 現(xiàn)多源數(shù)據(jù)，例如當(dāng)一個交通堵塞發(fā)生時，數(shù)據(jù)源可以包括GPS數(shù)據(jù)，攝像頭數(shù)據(jù)，用戶報 告等等。這些數(shù)據(jù)擁有不同的采樣率、精度、語義、格式、存儲位置等；為了理解目標(biāo)對象，并 進(jìn)行查詢，分析和應(yīng)用，我們該如何融合數(shù)據(jù)，特別是在數(shù)據(jù)維度非常高，數(shù)據(jù)容量非常大， 且數(shù)據(jù)存儲是分布式的情況下。
[0013] 3)傳感大數(shù)據(jù)的應(yīng)用和產(chǎn)品：Tim O'Reilly認(rèn)為數(shù)據(jù)是下一個"Intel Inside"， 即計算的動力。然而事實上動力并非來自于數(shù)據(jù)，而在于利用數(shù)據(jù)。雖然目前有很多建立 在數(shù)據(jù)之上的應(yīng)用，我們?nèi)匀蝗狈Ψ奖愕臄?shù)據(jù)產(chǎn)品構(gòu)建工具；更為重要的是，目前缺乏一個 經(jīng)濟模型，或生態(tài)環(huán)境，來鼓勵將數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)產(chǎn)品的過程。
[0014] 這些問題阻礙了傳感數(shù)據(jù)更一步地發(fā)揮作用。雖然存在一些研究和工業(yè)實踐，對 于以上的某些問題提供了解決方法，但仍缺乏對傳感數(shù)據(jù)整個生命周期的支持，在實際應(yīng) 用中缺乏有效的平臺。針對這些問題，本發(fā)明設(shè)計了彈性傳感數(shù)據(jù)平臺，它包含了從數(shù)據(jù)存 儲到檢索，從數(shù)據(jù)應(yīng)用開發(fā)到數(shù)據(jù)產(chǎn)品市場的不同層次，可以支持從數(shù)據(jù)到數(shù)據(jù)產(chǎn)品的整 個生命周期。

【發(fā)明內(nèi)容】

[0015] 本發(fā)明所涉及的彈性傳感數(shù)據(jù)平臺實現(xiàn)了以下功能和需求：
[0016] 1.異構(gòu)數(shù)據(jù)存儲：平臺在數(shù)據(jù)存儲上采用多用戶模式，任何用戶都能利用平臺存 儲其數(shù)據(jù)。從單用戶模式到多用戶模式：在單用戶模式中，對于數(shù)據(jù)使用者來說，數(shù)據(jù)語義 是明確的，格式是規(guī)范的，數(shù)據(jù)是一致的；而在多用戶模式中，不同的數(shù)據(jù)源有不同的語義、 格式、數(shù)據(jù)值等。
[0017] 2.容量和性能：從數(shù)據(jù)容量和性能上來說，多用戶模式帶來大數(shù)據(jù)，以及更頻繁 的數(shù)據(jù)訪問，所以對系統(tǒng)的容量和性能要求更高。
[0018] 3.用戶協(xié)作和開放：當(dāng)采用多用戶模式之后，用戶不僅可見自己的數(shù)據(jù)，也能發(fā) 現(xiàn)其他用戶的數(shù)據(jù)。系統(tǒng)設(shè)計鼓勵用戶去發(fā)現(xiàn)其他用戶的數(shù)據(jù)，同時更開放地共享自己的 數(shù)據(jù)，并提供工具以促進(jìn)用戶間的協(xié)作，及提供社會網(wǎng)工具，協(xié)助用戶在平臺上交流。
[0019] 4.數(shù)據(jù)融合：同一目標(biāo)對象的多數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，為此系統(tǒng)需要一個機制來溝 通不同格式、不同語義的數(shù)據(jù)，本發(fā)明采用的方式是為每個數(shù)據(jù)源建立語義，并通過語義融 合的方式進(jìn)行數(shù)據(jù)融合。
[0020] 5.數(shù)據(jù)查詢和發(fā)現(xiàn)：平臺需要支持對大數(shù)據(jù)、異構(gòu)數(shù)據(jù)的統(tǒng)一查詢方式，從而促 進(jìn)數(shù)據(jù)的進(jìn)一步分析利用。查詢中需要支持語義，進(jìn)行基本的推理。且傳感數(shù)據(jù)往往根據(jù) 地理位置進(jìn)行索引，故系統(tǒng)的查詢需要支持基于地理位置的查詢。另外，數(shù)據(jù)的查詢結(jié)果如 何呈現(xiàn)，如何幫助用戶發(fā)現(xiàn)其感興趣的數(shù)據(jù)，也是系統(tǒng)設(shè)計中需要考慮的問題。
[0021] 6.數(shù)據(jù)分析模型：當(dāng)數(shù)據(jù)被用于推理、決策等任務(wù)時，我們需要對數(shù)據(jù)做分析、建 模等處理。雖然目前有很多針對不同領(lǐng)域的專門數(shù)據(jù)分析處理工具，本發(fā)明提供了平臺級 的，統(tǒng)一的分析框架，提供了一個靈活機制來鼓勵用戶創(chuàng)建、使用和分享其數(shù)據(jù)模型。
[0022] 7.數(shù)據(jù)應(yīng)用開發(fā)支持：目前，數(shù)據(jù)應(yīng)用的開發(fā)者需要建立自己的開發(fā)環(huán)境和部署 環(huán)境（包括基于云的環(huán)境），自行連接數(shù)據(jù)源，分析處理數(shù)據(jù)，編寫應(yīng)用程序邏輯，并發(fā)布應(yīng) 用；本發(fā)明為應(yīng)用開發(fā)提供更好的支持，簡化開發(fā)的過程，節(jié)省應(yīng)用程序開發(fā)的資源消耗。
[0023] 8.經(jīng)濟模型支持：Hal Varian認(rèn)為阻礙數(shù)據(jù)被進(jìn)一步利用的障礙不在于技術(shù)，而 在于缺乏經(jīng)濟模型。我們認(rèn)為，從數(shù)據(jù)到數(shù)據(jù)產(chǎn)品的整個生命周期，亦是一個數(shù)據(jù)的增值過 程：從未經(jīng)清理的數(shù)據(jù)到清理過的數(shù)據(jù)，從未整合的數(shù)據(jù)到整合過的數(shù)據(jù)，從未建模的數(shù)據(jù) 到數(shù)據(jù)模型，從數(shù)據(jù)模型到模型的應(yīng)用，每一個步驟，參與者都通過其計算、操作、分析等工 作，為數(shù)據(jù)添加附加價值。相應(yīng)地，本發(fā)明建立此生態(tài)環(huán)境，為每一個步驟的參與者提供回 報，保證此回報合理，并激勵參與者的進(jìn)一步參與。
[0024] 為了滿足前述需求，在彈性傳感數(shù)據(jù)平臺中，其中從下到上主要包括四個層次 (附圖1):數(shù)據(jù)存儲、數(shù)據(jù)檢索、數(shù)據(jù)應(yīng)用開發(fā)和數(shù)據(jù)產(chǎn)品市場，支持了從傳感數(shù)據(jù)到數(shù)據(jù) 產(chǎn)品的整個生命周期。數(shù)據(jù)存儲層提供了海量傳感數(shù)據(jù)的多用戶海量存儲，支持靈活的數(shù) 據(jù)語義格式，及通用的數(shù)據(jù)訪問接口；數(shù)據(jù)檢索層，實現(xiàn)了數(shù)據(jù)融合以及數(shù)據(jù)的通用檢索； 在數(shù)據(jù)應(yīng)用開發(fā)層，提供