專利名稱：一種基于時間序列異常檢測技術的海洋信息管理系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及海洋信息數(shù)據(jù)的預處理方法，時間序列異常檢測技術和海洋數(shù)據(jù)管理方法。
背景技術：
目前數(shù)據(jù)挖掘的研究主要集中在 數(shù)據(jù)挖掘算法的探討，而忽視了對數(shù)據(jù)預處理的研究。而實際系統(tǒng)中的數(shù)據(jù)一般很少能直接滿足數(shù)據(jù)挖掘算法的要求，嚴重影響了數(shù)據(jù)挖掘算法的執(zhí)行效率，甚至會造成挖掘結果的偏差。據(jù)統(tǒng)計，數(shù)據(jù)預處理所花費的時間和成本占數(shù)據(jù)挖掘全過程的60%左右。因此，對數(shù)據(jù)源進行有效的歸納和預處理，已經(jīng)成為數(shù)據(jù)挖掘系統(tǒng)實現(xiàn)過程中的關鍵問題。隨著國家用海需求的日益增長及海洋經(jīng)濟的快速發(fā)展，對海洋局的管理和服務能力提出了更高的要求。為了滿足海洋局對海洋數(shù)據(jù)管理和海洋數(shù)據(jù)分析統(tǒng)計的需求，建設海洋信息管理系統(tǒng)勢在必行。然而，高質量的決策必然依賴于高質量的數(shù)據(jù)，如何提高海洋數(shù)據(jù)的質量控制效率和水平，更高效的利用海洋數(shù)據(jù)，使之符合挖掘算法的規(guī)范和要求，是國家973項目的ー個重要研究內容。海洋數(shù)據(jù)質量的好壞直接影響海洋信息管理系統(tǒng)決策的科學性，目前國內還沒有系統(tǒng)的海洋數(shù)據(jù)質量控制方法，一般采用手工校正處理進行控制，針對大量的海洋數(shù)據(jù)，使用基于累計變化量的時間序列異常檢測技木，對采集的海洋數(shù)據(jù)進行異常檢測，將合格的數(shù)據(jù)及異常修正后的合法數(shù)據(jù)，存儲到海洋信息數(shù)據(jù)庫中，對海洋數(shù)據(jù)進行管理及應用展示。

發(fā)明內容
本發(fā)明提供ー種基于時間序列異常檢測技術的海洋信息管理系統(tǒng)。該系統(tǒng)主要包括數(shù)據(jù)采集、數(shù)據(jù)預處理、異常檢測、數(shù)據(jù)存儲、數(shù)據(jù)管理和數(shù)據(jù)展示六個功能模塊。其中，數(shù)據(jù)預處理是為海洋信息管理系統(tǒng)提供高質量數(shù)據(jù)的關鍵。海洋數(shù)據(jù)質量直接影響海洋信息管理系統(tǒng)的科學性。由于海洋信息數(shù)據(jù)庫數(shù)據(jù)量太大，往往易受噪聲、丟失數(shù)據(jù)和不一致數(shù)據(jù)的侵擾，因此，提出了一種基于累積變化量的時間序列異常檢測方法，能夠有效的檢測出海洋數(shù)據(jù)中的異常點，再選擇適當?shù)男拚椒▽Ξ惓｜c進行修正，為海洋信息數(shù)據(jù)庫提供干凈、準確、簡潔的數(shù)據(jù)，從而建立一套完善的海洋信息管理系統(tǒng)，有效的對海洋數(shù)據(jù)進行管理，為我國的數(shù)字海洋建設提供有力支持。


圖I為本發(fā)明的海洋信息管理系統(tǒng)架構圖。圖2為本發(fā)明的基于累計變化量的時間序列異常點檢測方法的流程圖。
具體實施例方式本發(fā)明公開了ー種基于時間序列異常檢測技術的海洋信息管理系統(tǒng)，下面結合附圖對實施方式進行說明。請參考圖I。圖I為本發(fā)明的海洋信息管理系統(tǒng)架構圖。包含數(shù)據(jù)采集，數(shù)據(jù)預處理，異常檢測，數(shù)據(jù)存儲，數(shù)據(jù)管理，數(shù)據(jù)展示六個功能模塊。數(shù)據(jù)采集模塊包括氣象傳感器、水文傳感器和生物傳感器。氣象傳感器采集氣象類數(shù)據(jù)，包括風速風向，氣溫，降水量和霧等數(shù)據(jù)；水文傳感器采集數(shù)據(jù)包括水溫、鹽度、海流、波浪、潮位、含沙量和懸沙等；生物傳感器采集浮游動物、浮游植物和底棲生物等數(shù)據(jù)。通過分析，發(fā)現(xiàn)海洋信息管理系統(tǒng)中的元數(shù)據(jù)存在以下問題
I.海洋信息管理系統(tǒng)的數(shù)據(jù)庫在某些字段上存在空值。所以需要對這些數(shù)據(jù)進行一些轉換和集成工作，對空值字段需進行數(shù)據(jù)的智能填充。2.各個站點關于臺站信息的數(shù)據(jù)在結構上基本相同，但在數(shù)據(jù)的完整性和一致性上很差。3.來自不同數(shù)據(jù)表的同類數(shù)據(jù)，具有不同的數(shù)據(jù)類型。如同樣是表示日期數(shù)據(jù)，有的用日期型，有的用字符型。4.各臺站的海洋數(shù)據(jù)中或多或少的含有噪聲數(shù)據(jù)，在裝入數(shù)據(jù)倉庫前必須進行清洗。綜上所述，海洋信息管理系統(tǒng)中的原始數(shù)據(jù)存在數(shù)據(jù)不一致性、數(shù)據(jù)空缺、數(shù)據(jù)冗余等情況。可見，海洋數(shù)據(jù)并不能直接用于后繼的數(shù)據(jù)開采，對海洋數(shù)據(jù)的預處理是進行數(shù)據(jù)挖掘的前提。數(shù)據(jù)預處理模塊主要是通過對數(shù)據(jù)進行清理、集成、變換和歸約等四個方面的エ作來實現(xiàn)。數(shù)據(jù)清理例程通過填寫缺失的值、光滑噪聲數(shù)據(jù)、識別或刪除離群點并解決不一致性來“清理”數(shù)據(jù)。主要是達到如下目標格式標準化，異常數(shù)據(jù)清除，錯誤糾正，重復數(shù)據(jù)的清除。數(shù)據(jù)集成例程將多個數(shù)據(jù)源中的數(shù)據(jù)結合起來并統(tǒng)一存儲，建立數(shù)據(jù)倉庫的過程實際上就是數(shù)據(jù)集成。通過平滑聚集，數(shù)據(jù)概化，規(guī)范化等方式將數(shù)據(jù)轉換成適用于數(shù)據(jù)挖掘的形式。數(shù)據(jù)挖掘時往往數(shù)據(jù)量非常大，在少量數(shù)據(jù)上進行挖掘分析需要很長的時間，數(shù)據(jù)歸約技術可以用來得到數(shù)據(jù)集的歸約表示，它小得多，但仍然接近于保持原數(shù)據(jù)的完整性，并結果與歸約前結果相同或幾乎相同。異常檢測模塊主要是使用基于累計變化量的時間序列異常點檢測方法，對采集的海洋數(shù)據(jù)進行異常檢測，對于合格的數(shù)據(jù)進行數(shù)據(jù)存儲，對于不合格的數(shù)據(jù)，對其進行異常點存儲，并進行異常分析，再選擇適當?shù)男拚椒▽Ξ惓｜c進行修正。數(shù)據(jù)存儲模塊主要是將經(jīng)過時間序列異常檢測后的合格數(shù)據(jù)及異常修正后的合法數(shù)據(jù)，存儲到海洋信息數(shù)據(jù)庫中。數(shù)據(jù)管理模塊包括海洋氣象、海洋水文和海洋生物等數(shù)據(jù)進行查詢，數(shù)據(jù)分析。對于查詢功能，通過精確查詢和模糊查詢兩種查詢方式，實現(xiàn)對海洋數(shù)據(jù)進行全方位多條件的查詢。數(shù)據(jù)分析功能是通過臺站比較和多年比較，對某一海洋要素的某一歷史時間變化趨勢和某一海洋要素正常值進行分析，將海洋數(shù)據(jù)的規(guī)律總結出來，并給予用戶提示信息，為決策者提供幫助。另外，還可以對數(shù)據(jù)進行增加，刪除，修改，數(shù)據(jù)導入，統(tǒng)計打印等功能。其中，數(shù)據(jù)導入功能可以對數(shù)據(jù)進行批量增加，可以將整個Excel表中的數(shù)據(jù)導入到數(shù)據(jù)庫中，使得批量數(shù)據(jù)的導入工作更加快捷方便，提高工作效率。數(shù)據(jù)展示模塊將數(shù)據(jù)分析模塊的結果通過圖表多種形式進行展示，展示的客戶端包括涉海單位、政府用戶、公眾等。數(shù)據(jù)展示模塊和數(shù)據(jù)管理模塊之間采用GIS服務器，Web服務器，移動信息服務器等實現(xiàn)實時通信和展示。請參考圖2。圖2為本發(fā)明的基于累計變化量的時間序列異常點檢測方法的流程圖。在數(shù)據(jù)挖掘過程中，常常存在與數(shù)據(jù)模型或數(shù)據(jù)一般規(guī)律不符合的數(shù)據(jù)對象，這類與其它數(shù)據(jù)不一致的數(shù)據(jù)對象就稱為異常數(shù)據(jù)，它們往往容易被人們所忽略。然而，這些數(shù)據(jù)對象可能是具有特殊意義的，而且相對于那些普通的數(shù)據(jù)而言，這類異常的數(shù)據(jù)往往提供了更多的有用信息，它們往往更具有研 究價值。按照異常的表現(xiàn)形式不同，時間序列的異?？梢苑譃樾蛄挟惓?，點異常和模式異常。本發(fā)明主要是針對海洋時間序列數(shù)據(jù)的特點，設計了基于累計變化量的時間序列異常點檢測方法，用于檢測海洋時間序列中的異常點。定義I :海洋時間序列異常點定義給定一段海洋時間序列X = <xl = (vl,tl) ,x2 = (v2, t2), ...，xn= (vn, tn) >,點xi = <vi, ti>表示時間序列在ti時刻的觀測值為vi。用〈NI, N2, .··, Nk)表示點xi的k個鄰居點集合，其觀測值集合記為〈vNl，vN2,…，vNk>，給定閾值T，若點xi與其k個鄰居點的累積變化量(Accumulative Change)大于T,則判定點xi為這段時間序列中的一個異常點，這ー判定條件用公式表示為
叫· Iv, l+w2-| V,-Vw I 十…+Wi-I V,-V I-!---- > T
Accumulative Change =W1+W2+".+ wん式中的<wl，w2，…，wk>為權值向量，賦予每個變化量不同的權重。一般來說，在時間軸上，越接近點xi的鄰居點賦予的權值越大；閾值T是用戶給定的ー個常量，點xi的累積變化量和閾值的大小關系，是判定Xi是否為一個異常點的依據(jù)。本發(fā)明涉及ー個平均變化量的統(tǒng)計量，該變量是各個相鄰觀測值之間的差值和的平均值。在定義I的基礎上，本發(fā)明提出了一種基于累積變化量的海洋時間序列異常點檢測方法。主要步驟如圖2所示?；诶塾嬜兓康臅r間序列異常點檢測方法的步驟首先讀取數(shù)據(jù)，并計算數(shù)據(jù)的平均變化量。然后遍歷每ー個數(shù)據(jù)點，查找到其鄰居點，計算累積變化量的值，根據(jù)平均變化量計算出閾值T，比較累積變化量和T的大小關系，判定異常點并存儲。異常數(shù)據(jù)產(chǎn)生的原因很多，可能是由于在數(shù)據(jù)閱讀、記錄、計算、誤操作時產(chǎn)生的錯誤等人為因素，還可能是由于數(shù)據(jù)內在特性而造成。根據(jù)定義1，ー個海洋時間序列中的點Xi被判定為ー個異常點，則點Xi與其鄰居點的累積變化量的值一般較大，導致這ー結果的原因也有很多種，結合海洋時間序列數(shù)據(jù)的特點可能的原因歸為以下三類I.數(shù)據(jù)錄入時的錯誤導致。2.自然因素導致。3.其它人為因素導致。經(jīng)過分析，異常點的修正方法主要有以下四種I.根據(jù)其它數(shù)據(jù)來源，手工修正，或由領域專家估計修正，但過程復雜、耗時長、代價高。
2.用該序列其它時間數(shù)據(jù)平均值補修正。但是，對于連續(xù)的異常點，有時該方法也不能達到滿意的效果。3.用其它相關序列的數(shù)據(jù)平均值補缺失。4.可以通過回歸分析、貝葉斯形式化方法工具或判定樹推導出可能數(shù)據(jù)值以修正
異常值。綜上所述，本發(fā)明通過對海洋信息管理系統(tǒng)中的元數(shù)據(jù)進行詳細的分析，發(fā)現(xiàn)海洋信息數(shù)據(jù)庫中大量的海洋數(shù)據(jù)存在數(shù)據(jù)不一致、數(shù)據(jù)空缺和數(shù)據(jù)冗余等問題。為了更好地對海洋數(shù)據(jù)進行有效的歸納和預處理，提出 了一種基于累積變化量的時間序列異常點檢測方法。這種方法能夠有效的檢測出海洋數(shù)據(jù)中的異常點，然后對異常點進行分析，再選擇適當?shù)男拚椒▽Ξ惓｜c進行修正，保證了海洋數(shù)據(jù)的質量，再進ー步將異常檢測后的合格數(shù)據(jù)及異常修正后的合法數(shù)據(jù)存儲到海洋信息數(shù)據(jù)庫中，對數(shù)據(jù)進行管理及展示，建立了一套完善的海洋信息管理系統(tǒng)。該系統(tǒng)可以指導海洋相關部門業(yè)務流程的科學化和規(guī)范化，為海洋相關部門管理決策提供科學的支持。
權利要求
1.ー種基于時間序列異常檢測技術的海洋信息理系統(tǒng)，其特征在于，應該包括 一數(shù)據(jù)采集模塊，負責采集海洋數(shù)據(jù)； 一數(shù)據(jù)預處理模塊，負責對海洋數(shù)據(jù)進行預處理； 一異常檢測模塊，負責檢測海洋數(shù)據(jù)中的異常點； 一數(shù)據(jù)存儲模塊，負責存儲海洋數(shù)據(jù)； ー數(shù)據(jù)管理模塊，負責對海洋數(shù)據(jù)進行查詢、分析、增、刪、改及統(tǒng)計打印等操作； ー數(shù)據(jù)展示模塊，負責對海洋數(shù)據(jù)的分析與查詢結果進行展示。
2.根據(jù)權利要求I所述的數(shù)據(jù)采集裝置，其特征在于包括臺站，浮標，船舶，衛(wèi)星等海洋數(shù)據(jù)采集裝置，具體包括各種傳感器氣象傳感器，水文傳感器、生物傳感器等海洋數(shù)據(jù)采集中用到的各類傳感器。
3.根據(jù)權利要求I所述的數(shù)據(jù)預處理方法，其特征在于包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)交換和數(shù)據(jù)歸約四個步驟。
4.根據(jù)權利要求I所述的異常檢測模塊，其特征在于使用基于累計變化量的時間序列異常點檢測方法，對海洋數(shù)據(jù)進行異常檢測，對于合格的數(shù)據(jù)進行數(shù)據(jù)存儲，對于不合格的數(shù)據(jù)進行異常點存儲、分析及修正。
5.根據(jù)權利要求I所述的數(shù)據(jù)存儲裝置，其特征在 于使用傳統(tǒng)的數(shù)據(jù)存儲。針對經(jīng)過異常檢測后的合格數(shù)據(jù)及異常修正后的合法數(shù)據(jù)，統(tǒng)ー采用傳統(tǒng)的數(shù)據(jù)庫(例如oracle)行存儲，再對存儲的數(shù)據(jù)進行數(shù)據(jù)管理。
6.根據(jù)權利要求I所述的數(shù)據(jù)管理模塊，其特征在于包括對傳統(tǒng)數(shù)據(jù)的統(tǒng)計分析和查詢。根據(jù)涉海部門、政府部門、以及公眾用戶提出的要求進行分析。具體分析包括某一海洋要素的某ー歷史時間變化趨勢預測和分析，某一海洋要素正常值分析。并對海洋數(shù)據(jù)進行増加、刪除、修改、數(shù)據(jù)導入和統(tǒng)計打印等管理。
7.根據(jù)權利要求I所述的數(shù)據(jù)展示模塊，其特征在于根據(jù)用戶需求，對權利要求6的數(shù)據(jù)分析及查詢等結果進行展示。通過WEB服務器，移動信息服務器，無線網(wǎng)絡將結果在終端進行展示。終端展示模塊包括計算機、智能手機、PDA等移動終端智能設備。
全文摘要
本發(fā)明提供一種基于時間序列異常檢測技術的海洋信息管理系統(tǒng)。該系統(tǒng)主要包括數(shù)據(jù)采集、數(shù)據(jù)預處理、異常檢測、數(shù)據(jù)存儲、數(shù)據(jù)管理和數(shù)據(jù)展示六個功能模塊。海洋數(shù)據(jù)質量直接影響海洋信息管理系統(tǒng)的科學性。由于海洋信息數(shù)據(jù)庫數(shù)據(jù)量太大，往往易受噪聲、丟失數(shù)據(jù)和不一致數(shù)據(jù)的侵擾，因此，提出了一種基于累積變化量的時間序列異常檢測方法，能夠有效的檢測出海洋數(shù)據(jù)中的異常點，再選擇適當?shù)男拚椒▽Ξ惓｜c進行修正，為海洋信息數(shù)據(jù)庫提供干凈、準確、簡潔的數(shù)據(jù)，從而建立一套完善的海洋信息管理系統(tǒng)，有效的對海洋數(shù)據(jù)進行管理，為我國的數(shù)字海洋建設提供有力支持。
文檔編號G06Q10/00GK102651093SQ20121009308
公開日2012年8月29日 申請日期2012年3月31日 優(yōu)先權日2012年3月31日
發(fā)明者王建, 田瑜基, 黃冬梅 申請人:上海海洋大學