本發(fā)明涉及一種可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)及方法，屬于數(shù)據(jù)挖掘的技術(shù)領(lǐng)域。

背景技術(shù)：

隨著互聯(lián)網(wǎng)以及移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的飛速發(fā)展，人類社會的數(shù)據(jù)種類和規(guī)模正以前所未有的速度增長。許多組織已經(jīng)也已經(jīng)有超大型數(shù)據(jù)庫，并且這些數(shù)據(jù)庫在不斷變化和增長。移動(dòng)設(shè)備也越來越被人們認(rèn)可和使用，移動(dòng)數(shù)據(jù)的數(shù)據(jù)量也越來越大。大量的數(shù)據(jù)是沒有有用的，它是一個(gè)巨大的計(jì)算和財(cái)務(wù)負(fù)擔(dān)，但其真正的價(jià)值不是在存儲的數(shù)據(jù)，而是在于提取有用的信息，并找到有效的發(fā)展趨勢和相關(guān)性的能力。數(shù)據(jù)挖掘就是為了順應(yīng)這種需要應(yīng)用而生發(fā)展起來的數(shù)據(jù)處理技術(shù)。數(shù)據(jù)挖掘是從存貯在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其它信息倉庫中的，大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖據(jù)技術(shù)近幾年在國內(nèi)的發(fā)展趨近成熟，然而在數(shù)據(jù)挖掘過程中還面臨各種挑戰(zhàn)，包括對移動(dòng)設(shè)備實(shí)時(shí)數(shù)據(jù)挖掘的低效率以及對隨時(shí)更新數(shù)據(jù)挖掘的實(shí)時(shí)性很低。因此，在數(shù)據(jù)挖據(jù)過程中有效的為移動(dòng)用戶提供高效率、高實(shí)時(shí)性的服務(wù)顯得尤為重要。

如在文獻(xiàn)《一種基于Web的數(shù)據(jù)挖據(jù)系統(tǒng)及其控制方法》，申請?zhí)枺?00610022668.1的文中，提供了一種基于Web的數(shù)據(jù)挖據(jù)系統(tǒng)及其控制方法，實(shí)現(xiàn)了針對不同數(shù)據(jù)和不同數(shù)據(jù)挖掘任務(wù)的各種數(shù)據(jù)挖掘算法，Web層提供一個(gè)和用戶交互的界面，接受用戶的輸入、提供挖掘過程的人機(jī)交互界面和展示挖掘分析的結(jié)果。該系統(tǒng)能夠提供在線的、基于Internet的數(shù)據(jù)挖掘及結(jié)果分析服務(wù)。但其不足之處在于，針對基于Web的數(shù)據(jù)挖掘系統(tǒng)及方法，其數(shù)據(jù)挖掘?qū)σ苿?dòng)數(shù)據(jù)的挖掘效率比較低，客戶的滿意度低。

而在文獻(xiàn)《數(shù)據(jù)挖掘方法及系統(tǒng)》，申請?zhí)枺?01110406892.1的文件中，提供了一種數(shù)據(jù)挖掘的方法及系統(tǒng)，系統(tǒng)獲取對應(yīng)不同的數(shù)據(jù)挖掘子過程的多個(gè)程序腳本，按照數(shù)據(jù)挖掘子程序的執(zhí)行順序，確定對應(yīng)的多個(gè)程序腳本的調(diào)用順序，按照其調(diào)用順序依次調(diào)用多個(gè)程序腳本。但其不足之處在于，現(xiàn)在的數(shù)據(jù)實(shí)時(shí)更新的比較快，無論是互聯(lián)網(wǎng)還是物聯(lián)網(wǎng)，對于實(shí)時(shí)數(shù)據(jù)挖掘要求處理快速。此系統(tǒng)對實(shí)時(shí)更新的數(shù)據(jù)不能有效的挖掘，這樣導(dǎo)致其挖掘的實(shí)時(shí)性很低，對此客戶滿意度將會大大的降低。

因此，在現(xiàn)有的技術(shù)中，數(shù)據(jù)挖據(jù)的效率不佳，并且實(shí)時(shí)性的數(shù)據(jù)處理不夠及時(shí)，無法實(shí)現(xiàn)對設(shè)備的實(shí)時(shí)數(shù)據(jù)挖掘的高效率以及對隨時(shí)更新數(shù)據(jù)挖掘的高實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的不足，提供一種可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)及方法，解決現(xiàn)有技術(shù)中數(shù)據(jù)挖掘的效率不佳，并且實(shí)時(shí)性的數(shù)據(jù)處理不夠及時(shí)，無法實(shí)現(xiàn)對隨時(shí)更新數(shù)據(jù)挖掘的高實(shí)時(shí)性的問題。

本發(fā)明具體采用以下技術(shù)方案解決上述技術(shù)問題：

一種可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)，包括：

數(shù)據(jù)處理模塊，包括數(shù)據(jù)預(yù)處理單元、挖掘計(jì)劃生成單元及挖掘執(zhí)行單元，其中數(shù)據(jù)預(yù)處理單元用于對輸入的實(shí)時(shí)數(shù)據(jù)預(yù)處理；所述挖掘計(jì)劃生成單元，用于根據(jù)挖掘目的生成挖掘計(jì)劃；所述挖掘執(zhí)行單元，用于根據(jù)挖掘計(jì)劃對預(yù)處理后的實(shí)時(shí)數(shù)據(jù)進(jìn)行挖掘，或根據(jù)接收的更新數(shù)據(jù)對數(shù)據(jù)進(jìn)行重新挖掘獲得挖掘結(jié)果；

數(shù)據(jù)管理模塊，包括數(shù)據(jù)整合單元及數(shù)據(jù)存儲單元，其中數(shù)據(jù)整合單元用于將挖掘結(jié)果進(jìn)行整合；所述數(shù)據(jù)存儲單元，用于存儲整合后的挖掘結(jié)果；

數(shù)據(jù)檢測模塊，包括適應(yīng)器單元、上下文管理單元、配置文件管理單元、資源監(jiān)視單元，其中所述適應(yīng)器單元用于接收所述整合后的挖掘結(jié)果；所述上下文管理單元，用于從適應(yīng)器單元所接收的整合后挖掘結(jié)果中獲取設(shè)備信息；所述配置文件管理單元，用于從適應(yīng)器單元所接收的整合后挖掘結(jié)果中獲取配置文件信息；所述資源監(jiān)視單元，用于從適應(yīng)器單元所接收的整合后挖掘結(jié)果中監(jiān)視獲取本地資源信息；所述適應(yīng)器單元還用于將采集的上下文管理單元所得設(shè)備信息、配置文件管理單元所得配置文件信息及資源監(jiān)視單元所得本地資源信息作為更新數(shù)據(jù)發(fā)送至挖掘執(zhí)行單元重新挖掘；

可視化模塊，用于顯示挖掘結(jié)果。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述數(shù)據(jù)預(yù)處理單元包括對輸入的實(shí)時(shí)數(shù)據(jù)進(jìn)行降維、降噪及處理數(shù)據(jù)流中丟失的值處理。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述挖掘計(jì)劃生成單元中挖掘目的由數(shù)據(jù)結(jié)構(gòu)和語義價(jià)值形成。

本發(fā)明還提出了一種可視化實(shí)時(shí)數(shù)據(jù)挖掘方法，包括以下步驟：

步驟1、對輸入的實(shí)時(shí)數(shù)據(jù)預(yù)處理；

步驟2、根據(jù)挖掘目的生成挖掘計(jì)劃，及根據(jù)挖掘計(jì)劃對預(yù)處理后的實(shí)時(shí)數(shù)據(jù)進(jìn)行挖掘，獲得挖掘結(jié)果；

步驟3、將挖掘結(jié)果進(jìn)行整合，且存儲和顯示整合后的挖掘結(jié)果；

步驟4、根據(jù)接收的所述整合后的挖掘結(jié)果，從整合后的挖掘結(jié)果中獲取設(shè)備信息、配置文件信息，以及監(jiān)視獲得本地資源信息；將可用資源信息、采集的設(shè)備信息、配置文件信息及本地資源信息作為更新數(shù)據(jù)發(fā)送；

步驟5、對接收的更新數(shù)據(jù)重新挖掘，獲得挖掘結(jié)果；

步驟6、將步驟5所得挖掘結(jié)果可視化顯示。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟1中預(yù)處理包括對輸入的實(shí)時(shí)數(shù)據(jù)進(jìn)行降維、降噪及處理數(shù)據(jù)流中丟失的值。

本發(fā)明采用上述技術(shù)方案，能產(chǎn)生如下技術(shù)效果：

本發(fā)明所提供一種可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)及方法，首先將數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)輸入數(shù)據(jù)預(yù)處理。數(shù)據(jù)在數(shù)據(jù)預(yù)處理后，根據(jù)數(shù)據(jù)挖掘目的形成數(shù)據(jù)挖掘計(jì)劃。按照生成的挖掘計(jì)劃對數(shù)據(jù)進(jìn)行挖掘，并將挖掘的結(jié)果進(jìn)行整合，存儲并且通過可視化的模塊，把結(jié)果更好的呈現(xiàn)給客戶，及數(shù)據(jù)挖掘過程中對實(shí)時(shí)更新的數(shù)據(jù)進(jìn)行挖掘，保證挖掘結(jié)果的實(shí)時(shí)性，以及提高數(shù)據(jù)挖掘過程對移動(dòng)數(shù)據(jù)的效率，實(shí)現(xiàn)高效率、高實(shí)時(shí)性的實(shí)時(shí)數(shù)據(jù)挖掘?？梢允沟脭?shù)據(jù)挖掘效率更高，挖掘的數(shù)據(jù)更準(zhǔn)確，系統(tǒng)結(jié)構(gòu)簡單，成本低，可以更好地用于移動(dòng)設(shè)備或互聯(lián)網(wǎng)的數(shù)據(jù)挖掘中，高效地實(shí)現(xiàn)對隨時(shí)更新數(shù)據(jù)挖掘的高實(shí)時(shí)性的問題。

附圖說明

圖1為本發(fā)明的可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)的模塊示意圖。

具體實(shí)施方式

下面結(jié)合說明書附圖對本發(fā)明的實(shí)施方式進(jìn)行描述。

如圖1所示，本發(fā)明設(shè)計(jì)來了一種可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)，具體地，系統(tǒng)包括數(shù)據(jù)處理模塊、數(shù)據(jù)管理模塊、數(shù)據(jù)檢測模塊、可視化模塊，以實(shí)現(xiàn)數(shù)據(jù)挖掘過程中對實(shí)時(shí)更新的數(shù)據(jù)進(jìn)行挖掘，保證挖掘結(jié)果的實(shí)時(shí)性作用。

具體地，所示數(shù)據(jù)處理模塊，包括數(shù)據(jù)預(yù)處理單元、挖掘計(jì)劃生成單元及挖掘執(zhí)行單元，其中數(shù)據(jù)預(yù)處理單元用于對輸入的實(shí)時(shí)數(shù)據(jù)預(yù)處理；所述挖掘計(jì)劃生成單元，用于根據(jù)挖掘目的生成挖掘計(jì)劃；所述挖掘執(zhí)行單元，用于根據(jù)挖掘計(jì)劃對預(yù)處理后的實(shí)時(shí)數(shù)據(jù)進(jìn)行挖掘，或根據(jù)接收的更新數(shù)據(jù)對數(shù)據(jù)進(jìn)行重新挖掘獲得挖掘結(jié)果。

所述數(shù)據(jù)管理模塊，包括數(shù)據(jù)整合單元及數(shù)據(jù)存儲單元，其中數(shù)據(jù)整合單元用于將挖掘結(jié)果進(jìn)行整合；所述數(shù)據(jù)存儲單元，用于存儲整合后的挖掘結(jié)果。

所述數(shù)據(jù)檢測模塊，包括適應(yīng)器單元、上下文管理單元、配置文件管理單元、資源監(jiān)視單元，其中所述適應(yīng)器單元用于接收所述整合后的挖掘結(jié)果；所述上下文管理單元，用于從適應(yīng)器單元所接收的整合后挖掘結(jié)果中獲取設(shè)備信息；所述配置文件管理單元，用于從適應(yīng)器單元所接收的整合后挖掘結(jié)果中獲取配置文件信息；所述資源監(jiān)視單元，用于從適應(yīng)器單元所接收的整合后挖掘結(jié)果中監(jiān)視獲取本地資源信息；所述適應(yīng)器單元還用于將采集的上下文管理單元所得設(shè)備信息、配置文件管理單元所得配置文件信息及資源監(jiān)視單元所得本地資源信息作為更新數(shù)據(jù)發(fā)送至挖掘執(zhí)行單元重新挖掘。

可視化模塊，用于顯示挖掘結(jié)果。

所述系統(tǒng)的原理是，首先將數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)輸入數(shù)據(jù)預(yù)處理。數(shù)據(jù)在數(shù)據(jù)預(yù)處理后，根據(jù)數(shù)據(jù)挖掘目的形成數(shù)據(jù)挖掘計(jì)劃。由挖掘執(zhí)行單元按照生成的挖掘計(jì)劃對數(shù)據(jù)進(jìn)行挖掘，并由數(shù)據(jù)整合單元將挖掘的結(jié)果進(jìn)行整合，由數(shù)據(jù)存儲單元存儲并且通過可視化的模塊，把結(jié)果更好的呈現(xiàn)。及數(shù)據(jù)挖掘過程中，數(shù)據(jù)檢測模塊對實(shí)時(shí)更新的數(shù)據(jù)進(jìn)行檢測和傳輸至挖掘執(zhí)行單元重新挖掘，適應(yīng)器單元可接收所述整合后的挖掘結(jié)果中的數(shù)據(jù)，并可傳輸至上下文管理單元、配置文件管理單元獲取和更新可用資源信息，且還采集來自上下文管理單元和配置文件管理單元的信息、資源監(jiān)視單元獲取的本地資源信息，一并作為更新數(shù)據(jù)發(fā)送至挖掘執(zhí)行單元重新執(zhí)行挖掘，可以保證挖掘結(jié)果的實(shí)時(shí)性，以及提高數(shù)據(jù)挖掘過程對移動(dòng)數(shù)據(jù)的效率。該系統(tǒng)可用于移動(dòng)設(shè)備和互聯(lián)網(wǎng)中的數(shù)據(jù)挖掘過程，使得其可以對實(shí)時(shí)數(shù)據(jù)有效更新和挖掘。

進(jìn)一步地，所述數(shù)據(jù)預(yù)處理單元包括對輸入的實(shí)時(shí)數(shù)據(jù)進(jìn)行降維、降噪及處理數(shù)據(jù)流中丟失的值處理，使得處理后的數(shù)據(jù)精度更好，便于數(shù)據(jù)挖掘。

并且，所述挖掘計(jì)劃生成單元中挖掘目的由數(shù)據(jù)結(jié)構(gòu)和語義價(jià)值形成?？梢愿鶕?jù)數(shù)據(jù)結(jié)構(gòu)和語義價(jià)值形成符合用戶需要的挖掘計(jì)劃，由此可以使得挖掘過程更符合要求，達(dá)到更好的挖掘準(zhǔn)確性。

在此系統(tǒng)基礎(chǔ)上，本發(fā)明還提出一種可視化實(shí)時(shí)數(shù)據(jù)挖掘方法，該方法可以用于上述系統(tǒng)中，具體地，所述方法具體包括以下步驟：

步驟1、對輸入的實(shí)時(shí)數(shù)據(jù)預(yù)處理。

步驟2、根據(jù)挖掘目的生成挖掘計(jì)劃，及根據(jù)挖掘計(jì)劃對預(yù)處理后的實(shí)時(shí)數(shù)據(jù)進(jìn)行挖掘，獲得挖掘結(jié)果。

步驟3、將挖掘結(jié)果進(jìn)行整合，且存儲和顯示整合后的挖掘結(jié)果。

步驟4、接收所述整合后的挖掘結(jié)果中，并從整合后的挖掘結(jié)果中獲取設(shè)備信息、配置文件信息，以及監(jiān)視獲得本地資源信息；將可用資源信息、采集的設(shè)備信息、配置文件信息、本地資源信息作為更新數(shù)據(jù)上傳發(fā)送。

步驟5、對發(fā)送的更新數(shù)據(jù)重復(fù)步驟2中的數(shù)據(jù)挖掘過程，實(shí)現(xiàn)重新挖掘，獲得挖掘結(jié)果。

步驟6、將步驟5所得挖掘結(jié)果可視化顯示。

優(yōu)選地，所述步驟1中預(yù)處理包括對輸入的實(shí)時(shí)數(shù)據(jù)進(jìn)行降維、降噪及處理數(shù)據(jù)流中丟失的值。以及，所述輸入的實(shí)時(shí)數(shù)據(jù)可以為移動(dòng)設(shè)備數(shù)據(jù)，或互聯(lián)網(wǎng)的數(shù)據(jù)，使得本方法可以適用于不同類型的數(shù)據(jù)挖掘過程中。

由此，在數(shù)據(jù)挖掘過程中對實(shí)時(shí)更新的數(shù)據(jù)進(jìn)行挖掘，保證挖掘結(jié)果的實(shí)時(shí)性，以及提高數(shù)據(jù)挖掘過程對移動(dòng)數(shù)據(jù)的效率，實(shí)現(xiàn)高效率、高實(shí)時(shí)性的實(shí)時(shí)數(shù)據(jù)挖掘。

綜上，本發(fā)明所提供一種可視化實(shí)時(shí)數(shù)據(jù)挖掘系統(tǒng)及方法，可以在數(shù)據(jù)挖掘過程中對實(shí)時(shí)更新的數(shù)據(jù)進(jìn)行挖掘，保證挖掘結(jié)果的實(shí)時(shí)性，以及提高數(shù)據(jù)挖掘過程對移動(dòng)數(shù)據(jù)的效率，并可視化地呈現(xiàn)，實(shí)現(xiàn)高效率、高實(shí)時(shí)性的實(shí)時(shí)數(shù)據(jù)挖掘。可以使得數(shù)據(jù)挖掘效率更高，挖掘的數(shù)據(jù)更準(zhǔn)確。

上面結(jié)合附圖對本發(fā)明的實(shí)施方式作了詳細(xì)說明，但是本發(fā)明并不限于上述實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。