專利名稱：一種智能分揀服務器及統(tǒng)計數(shù)據(jù)的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及數(shù)據(jù)統(tǒng)計技術領域，特別涉及一種智能分揀服務器及統(tǒng)計數(shù)據(jù)的方法和系統(tǒng)。
背景技術：
目前，由于對數(shù)據(jù)的實時性和統(tǒng)計性能要求不斷提高，使得人們對數(shù)據(jù)的統(tǒng)計時 間粒度和統(tǒng)計的數(shù)據(jù)處理能力的要求不斷提高。時間粒度的提高，必然造成過多的統(tǒng)計數(shù) 據(jù)。大量的統(tǒng)計數(shù)據(jù)，使得數(shù)據(jù)的統(tǒng)計性能下降，增加了統(tǒng)計分析的難度。在實際的統(tǒng)計 中，對實時的要求不斷提高，使人們需要準確知道某個短時間內(nèi)的統(tǒng)計情況，要求統(tǒng)計時間 粒度不斷減少。同時要求統(tǒng)計的快速準確性，要求統(tǒng)計時處理的數(shù)據(jù)盡可能的少，統(tǒng)計本身 用時盡可能的小。然而，在現(xiàn)在的統(tǒng)計方法中，時間粒度小，可以提高統(tǒng)計的精確度，但是大大增加 了統(tǒng)計數(shù)據(jù)量，造成統(tǒng)計時處理數(shù)據(jù)的性能降低。如果增大統(tǒng)計時間粒度，可以減少統(tǒng)計的 數(shù)據(jù)量，使得統(tǒng)計時處理數(shù)據(jù)的壓力大大減少，但是這樣無法了解詳細的統(tǒng)計情況，無法滿 足高精度的要求，使得統(tǒng)計時的性能大大降低。傳統(tǒng)的現(xiàn)有統(tǒng)計，在數(shù)據(jù)采樣的時候，會綜 合考慮實際情況，采用合理的時間間隔來采集數(shù)據(jù)。總之，現(xiàn)在大數(shù)據(jù)量的統(tǒng)計，普遍存在的問題是統(tǒng)計精度和統(tǒng)計性能之間的矛盾。 對于統(tǒng)計精度的高要求，必然導致統(tǒng)計時處理的數(shù)據(jù)量的增加，從而造成了低性能。同樣 的，提高性能就要求處理少量的數(shù)據(jù)，從而損失了精度。目前常見的方法有，數(shù)據(jù)庫優(yōu)化，如 數(shù)據(jù)庫索引的使用；對冗余數(shù)據(jù)的丟棄，例如長時間沒有變化的數(shù)據(jù)丟棄；對數(shù)據(jù)庫進行 分庫的形式。綜合來看，目前已經(jīng)使用的方法，會對原始數(shù)據(jù)造成丟失，造成精度上的降低， 增加了數(shù)據(jù)庫的復雜度，很難達到不損失原始數(shù)據(jù)，不降低統(tǒng)計精度，又提高統(tǒng)計性能的要 求。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種智能分揀服務器，能夠在保證統(tǒng)計精度的前提下，減 少需要被處理的數(shù)據(jù)量，提高服務器的數(shù)據(jù)處理性能。本發(fā)明的另一目的在于，提供一種智能分揀服務器的統(tǒng)計數(shù)據(jù)的方法，能夠在保 證統(tǒng)計精度的前提下，減少需要被處理的數(shù)據(jù)量，提高服務器的數(shù)據(jù)處理性能。本發(fā)明的又一目的在于，提供一種包含智能分揀服務器的系統(tǒng)，能夠在保證統(tǒng)計 精度的前提下，減少需要被處理的數(shù)據(jù)量，提高服務器的數(shù)據(jù)處理性能。本發(fā)明的智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，包括下列步驟步驟A 服務器按第一時間粒度tl對實時產(chǎn)生的需要被采集的原始數(shù)據(jù)進行采集 并存入數(shù)據(jù)庫；步驟B 相隔預定時間粒度1后，對數(shù)據(jù)庫中前一時間粒度ty的存儲數(shù)據(jù)進行統(tǒng) 計分析處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于當前時間粒度tm的數(shù)據(jù)庫，直到達到預先設定好的第η時間粒度tn，或者服務器的負荷已達到預設的門限，其中1 <m<n。其中，所述統(tǒng)計分析處理，是采用函數(shù)運算法則、平均值法則、最大最小值法則之 一對所述存儲數(shù)據(jù)進行處理。其中，所述數(shù)據(jù)庫為一個數(shù)據(jù)庫，用于分別存儲相應時間粒度下的數(shù)據(jù)；或者，所 述數(shù)據(jù)庫為相應于各個時間粒度的多個數(shù)據(jù)庫。其中，所述服務器存在的系統(tǒng)中包括多臺服務器，如果第一服務器未達 到預先設 定的時間粒度，其負荷已達到預設的門限時，則查找系統(tǒng)中其它的可用服務器，并在找到的 相應服務器上完成余下相應時間粒度的統(tǒng)計分析處理。其中，在服務器負荷大于預設的門限時，相應增大統(tǒng)計分析處理的時間粒度；在服 務器負荷小于預設的門限時，相應減小統(tǒng)計分析處理的時間粒度。本發(fā)明的智能分揀服務器，包括數(shù)據(jù)采集單元、統(tǒng)計分析處理單元，以及數(shù)據(jù)庫， 其中，所述數(shù)據(jù)采集單元，以第一時間粒度tl對實時產(chǎn)生的需要被采集的原始數(shù)據(jù)進行采 集；所述統(tǒng)計分析處理單元，用于在相隔預定時間粒度1后，對數(shù)據(jù)庫中前一時間粒度ty 的存儲數(shù)據(jù)進行統(tǒng)計分析處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于當前時間粒度tm的數(shù) 據(jù)庫，直到達到預先設定好的第η時間粒度tn，或者服務器的負荷已達到預設的門限，其中 1 <m<n ；所述數(shù)據(jù)庫，用于分別存儲相應時間粒度的數(shù)據(jù)。其中，所述統(tǒng)計分析處理單元中的統(tǒng)計分析處理，是采用函數(shù)運算法則、平均值法 貝1J、最大最小值法則之一對所述存儲數(shù)據(jù)進行處理。其中，所述數(shù)據(jù)庫為一個數(shù)據(jù)庫，用于分別存儲相應時間粒度下的數(shù)據(jù)；或者，所 述數(shù)據(jù)庫為相應于各個時間粒度的多個數(shù)據(jù)庫。其中，在服務器負荷大于預設的門限時，相應增大統(tǒng)計分析處理的時間粒度；在服 務器負荷小于預設的門限時，相應減小統(tǒng)計分析處理的時間粒度。本發(fā)明的包含上述智能分揀服務器的系統(tǒng)，是在系統(tǒng)中包括多臺服務器，如果第 一服務器未達到預先設定的時間粒度，其負荷已達到預設的門限時，則查找系統(tǒng)中其它的 可用服務器，并在找到的相應服務器上完成余下相應時間粒度的統(tǒng)計分析處理。本發(fā)明的有益效果是依照本發(fā)明的智能分揀服務器及統(tǒng)計數(shù)據(jù)的方法和系統(tǒng)， 能夠充分利用服務器資源，在同一臺服務器上，將服務器的負荷均勻分擔到各個時間段，使 得服務器在保證統(tǒng)計精度的前提下，減少需要被處理的數(shù)據(jù)量，提高服務器的數(shù)據(jù)處理性 能；另外，在本發(fā)明中，可以根據(jù)實際情況配置時間間隔1到n，靈活的實現(xiàn)各種常用時間間 隔的統(tǒng)計，進一步減少需要被處理的數(shù)據(jù)量；另外，本發(fā)明還可以作進一步擴展，即適用多 臺服務器，將負荷均勻分擔到各個服務器上，從而進一步提高系統(tǒng)的數(shù)據(jù)處理性能。


圖1為本發(fā)明實施例的系統(tǒng)結(jié)構示意圖；圖2為本發(fā)明實施例的智能分揀服務器的結(jié)構示意圖；圖3為本發(fā)明實施例的數(shù)據(jù)處理流程；圖4為本發(fā)明實施例的智能統(tǒng)計負載均衡數(shù)據(jù)流程；圖5為本發(fā)明實施例的統(tǒng)計分析處理單元的負載均衡流程圖。其中，附圖標記如下
101需要研究的對象102 服務器1103數(shù)據(jù)庫1104 服務器2105數(shù)據(jù)庫2106 服務器m107數(shù)據(jù)庫m108 服務器η109數(shù)據(jù)庫η 110當前統(tǒng)計的數(shù)據(jù)對象
具體實施例方式以下，參考附圖1 5詳細描述本發(fā)明的智能分揀服務器及統(tǒng)計數(shù)據(jù)的方法和系
統(tǒng)。如圖2所示，本發(fā)明的智能分揀服務器，包括數(shù)據(jù)采集單元、統(tǒng)計分析處理單元， 以及數(shù)據(jù)庫。其中，數(shù)據(jù)采集單元，以第一時間粒度tl對實時產(chǎn)生的需要被采集的原始數(shù)據(jù)進 行采集。統(tǒng)計分析處理單元，用于在相隔第二時間粒度t2后，對數(shù)據(jù)庫中第一時間粒度tl 的存儲數(shù)據(jù)進行統(tǒng)計分析處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于第二時間粒度t2的 數(shù)據(jù)庫；在相隔第三時間粒度t3后，對數(shù)據(jù)庫中第二時間粒度t2的存儲數(shù)據(jù)進行統(tǒng)計分析 處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于第三時間粒度t2的數(shù)據(jù)庫；以此類推，直到達 到預先設定好的第η時間粒度tn，或者服務器的性能降低到預先設定好的值。數(shù)據(jù)庫，用于分別存儲相應時間粒度的數(shù)據(jù)。其中，統(tǒng)計分析處理單元中的統(tǒng)計分析處理，是根據(jù)使用者的需要，使用相應的統(tǒng) 計方法對采集的數(shù)據(jù)進行處理，包括函數(shù)運算法則、平均值法則、最大最小值法則等。其中，數(shù)據(jù)庫可以為一個數(shù)據(jù)庫，用于分別存儲相應時間粒度下的數(shù)據(jù)；或者，數(shù) 據(jù)庫為相應于各個時間粒度的多個數(shù)據(jù)庫。此外，本發(fā)明的系統(tǒng)中，可以包括多臺服務器，如果第一服務器未達到預先設定的 時間粒度，其負荷已達到預設的門限時，則查找系統(tǒng)中其它的可用服務器，并在找到的相應 服務器上完成余下相應時間粒度的統(tǒng)計分析處理。另外，還可以根據(jù)當前服務器的負荷情況，對服務器的統(tǒng)計分析處理的時間粒度 進行調(diào)整，例如，在服務器負荷大于預設的門限時，可相應增大統(tǒng)計分析處理的時間粒度； 在服務器負荷小于預設的門限時，可相應減小統(tǒng)計分析處理的時間粒度，從而提高服務器 的數(shù)據(jù)處理性能。本發(fā)明的智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，包括下列步驟步驟100 服務器按時間粒度(即時間間隔)1對實時產(chǎn)生的需要被采集的原始數(shù) 據(jù)進行采集。其中，在步驟100中，服務器可以通過有線或無線方式采集原始數(shù)據(jù)。例如地面 控制器接收飛行器的實時數(shù)據(jù)(例如各種飛行參數(shù))，將該實時數(shù)據(jù)發(fā)送給服務器。另外， 服務器還可以進行自身或遠程的數(shù)據(jù)的采集，例如自身服務器的流量存儲信息、讀寫磁盤 的頻率等，以及采集最大連接數(shù)等。此外，如果此時服務器的性能已經(jīng)達不到要求，就必須使用性能更高的服務器。步驟200 相隔時間間隔t2后，獲取數(shù)據(jù)庫中時間間隔tl采集到的數(shù)據(jù)，進行處理。其中，該處理可以根據(jù)具體使用者的需要，使用相應的統(tǒng)計方法處理，將處理后的數(shù)據(jù) 存入數(shù)據(jù)庫，并且在相應的數(shù)據(jù)庫記錄上打上時間間隔t2的標志。步驟300 相隔時間間隔t2后，獲取數(shù)據(jù)庫中打上時間間隔t2標志的數(shù)據(jù)，對這 些少量數(shù)據(jù)處理分析。同步驟200，處理數(shù)據(jù)后，存入數(shù)據(jù)庫，同樣的，在相應的數(shù)據(jù)庫記錄 上打上時間間隔t3的標志。 例如，采集的原始數(shù)據(jù)為速度信息，時間間隔tl為2秒，時間間隔t2為4秒，時間 間隔t3為8秒，相應的統(tǒng)計方法處理是平均值算法或者最大值MAX算法，則分別在數(shù)據(jù)庫 中存入每隔2秒的平均值或最大值，并在相應記錄上打上時間間隔為2秒的標志；在數(shù)據(jù)庫 中存入每隔4秒的平均值或最大值，并在相應記錄上打上時間間隔為4秒的標志；在數(shù)據(jù)庫 中存入每隔8秒的平均值或最大值，并在相應記錄上打上時間間隔為8秒的標志。重復上述步驟，直到達到預先設定好的時間間隔tn，或者服務器的性能降低到預 先設定好的值(例如預先設定CPU使用率90%，現(xiàn)在cpu使用率達到90% )。但是上述方案，可能存在服務器自身的性能瓶頸，還沒有達到預先設定好的時間 間隔tn，性能就已經(jīng)降低到某個值。因此，本發(fā)明作如下擴展，對于多服務器的情況，包括下 列步驟步驟100，同單服務器步驟100 ；步驟200，同單服務器步驟200 ；步驟300，同單服務器步驟300 ；重復上述步驟，直到達到預先設定好的時間間隔tn，或者服務器的性能降低到預 先設定好的值(例如預先設定，cpu使用率90%，現(xiàn)在cpu使用率達到90% )。如果沒有達到預先設定好的時間間隔tn，例如在時間間隔tm的時候(tm < tn)， 性能就已經(jīng)下降到預先設定好的值，查找可以使用的其他服務器(例如找到服務器2)，從 步驟m開始，步驟m到步驟η在服務器2上實現(xiàn)。同樣的，如果服務器2上也沒有達到時間 間隔tn，性能就下降到指定值，尋找是否存在服務器3，以此類推，只要有足夠多的可用服 務器，理論上性能可以無限提高，不存在性能瓶頸。具體地，如圖3所示，為本發(fā)明實施例的數(shù)據(jù)處理流程，包括以下步驟S201 按照時間間隔1，對研究對象數(shù)據(jù)做采集；S202 生成采集數(shù)據(jù)，存入數(shù)據(jù)庫1中；S203 從數(shù)據(jù)庫1中獲取數(shù)據(jù)，按照時間間隔2，對數(shù)據(jù)處理分析；S204 生成按照時間間隔t2為采樣時間間隔的新數(shù)據(jù)，存入數(shù)據(jù)庫2中；S205 從數(shù)據(jù)庫2中獲取數(shù)據(jù)，按照時間間隔tm，對數(shù)據(jù)處理分析；S206 生成按照時間間隔tm為采樣時間間隔的新數(shù)據(jù)，存入數(shù)據(jù)庫m中；S207 從數(shù)據(jù)庫m中獲取數(shù)據(jù)，按照時間間隔tn，對數(shù)據(jù)處理分析；S208 生成按照時間間隔tn為采樣時間間隔的新數(shù)據(jù)，存入數(shù)據(jù)庫中。圖4是本發(fā)明實施例的智能統(tǒng)計負載均衡數(shù)據(jù)流程。如圖3所示，該流程包括如 下步驟S301 按時間粒度1采集數(shù)據(jù)；S302 按時間粒度1采集的數(shù)據(jù)存入數(shù)據(jù)庫1 ；S303 處理分析按時間粒度1采集的數(shù)據(jù)；
S304 生成時間粒度2的數(shù)據(jù)存入數(shù)據(jù)庫庫2 ；S305 處理分析按時間粒度2采集的數(shù)據(jù)；......S306 生成時間粒度m的數(shù)據(jù)存入數(shù)據(jù)庫m ；......S307 處理分析按時間粒度m采集的數(shù)據(jù)；S308 生成時間粒度η的數(shù)據(jù)存入數(shù)據(jù)庫η ；S309 檢測到自身過負荷；S310 調(diào)整自身的最大分析時間粒度η為時間粒度m ；S311 時間粒度m的數(shù)據(jù)存入數(shù)據(jù)庫m ；圖5為本發(fā)明實施例的統(tǒng)計服務器和數(shù)據(jù)為一臺服務器的負載均衡流程。如圖所示，該流程包括以下步驟S401 服務器按照時間間隔tl采集數(shù)據(jù)，并且存入數(shù)據(jù)中；S402 服務器按照時間間隔t2采集數(shù)據(jù)，并且存入數(shù)據(jù)中；......S403 服務器按照時間間隔tm采集數(shù)據(jù)，并且存入數(shù)據(jù)中；......S404 判斷此時服務器是否過負荷，如果過負荷，跳轉(zhuǎn)到時間間隔tm，減少統(tǒng)計的 性能壓力，等到負荷降低的時候，再繼續(xù)跳轉(zhuǎn)到時間間隔tn ；S405 服務器按照時間間隔tn采集數(shù)據(jù)，并且存入數(shù)據(jù)中。綜上所述，依照本發(fā)明的智能分揀服務器及統(tǒng)計數(shù)據(jù)的方法和系統(tǒng)，能夠充分利 用服務器資源，在同一臺服務器上，將服務器的負荷均勻分擔到各個時間段，使得服務器在 保證統(tǒng)計精度的前提下，減少需要被處理的數(shù)據(jù)量，提高服務器的數(shù)據(jù)處理性能；另外，在 本發(fā)明中，可以根據(jù)實際情況配置時間間隔1到n，靈活的實現(xiàn)各種常用時間間隔的統(tǒng)計， 進一步減少需要被處理的數(shù)據(jù)量；另外，本發(fā)明還可以作進一步擴展，即適用多臺服務器， 將負荷均勻分擔到各個服務器上，從而進一步提高系統(tǒng)的數(shù)據(jù)處理性能。以上是為了使本領域普通技術人員理解本發(fā)明，而對本發(fā)明所進行的詳細描述， 但可以想到，在不脫離本發(fā)明的權利要求所涵蓋的范圍內(nèi)還可以做出其它的變化和修改， 這些變化和修改均在本發(fā)明的保護范圍內(nèi)。
權利要求
一種智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，其特征在于，包括下列步驟步驟A服務器按第一時間粒度t1對實時產(chǎn)生的需要被采集的原始數(shù)據(jù)進行采集并存入數(shù)據(jù)庫；步驟B相隔預定時間粒度tm后，對數(shù)據(jù)庫中前一時間粒度tm-1的存儲數(shù)據(jù)進行統(tǒng)計分析處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于當前時間粒度tm的數(shù)據(jù)庫，直到達到預先設定好的第n時間粒度tn，或者服務器的負荷已達到預設的門限，其中1＜m＜n。
2.如權利要求1所述的智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，其特征在于，所述統(tǒng)計分析 處理，是采用函數(shù)運算法則、平均值法則、最大最小值法則之一對所述存儲數(shù)據(jù)進行處理。
3.如權利要求1所述的智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，其特征在于，所述數(shù)據(jù)庫為 一個數(shù)據(jù)庫，用于分別存儲相應時間粒度下的數(shù)據(jù)；或者，所述數(shù)據(jù)庫為相應于各個時間粒 度的多個數(shù)據(jù)庫。
4.如權利要求1至3中任一項所述的智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，其特征在于，所 述服務器存在的系統(tǒng)中包括多臺服務器，如果第一服務器未達到預先設定的時間粒度，其 負荷已達到預設的門限時，則查找系統(tǒng)中其它的可用服務器，并在找到的相應服務器上完 成余下相應時間粒度的統(tǒng)計分析處理。
5.如權利要求4所述的智能分揀服務器統(tǒng)計數(shù)據(jù)的方法，其特征在于， 在服務器負荷大于預設的門限時，相應增大統(tǒng)計分析處理的時間粒度； 在服務器負荷小于預設的門限時，相應減小統(tǒng)計分析處理的時間粒度。
6.一種智能分揀服務器，其特征在于，包括數(shù)據(jù)采集單元、統(tǒng)計分析處理單元，以及數(shù) 據(jù)庫，其中，所述數(shù)據(jù)采集單元，以第一時間粒度tl對實時產(chǎn)生的需要被采集的原始數(shù)據(jù)進行采集；所述統(tǒng)計分析處理單元，用于在相隔預定時間粒度1后，對數(shù)據(jù)庫中前一時間粒度ty 的存儲數(shù)據(jù)進行統(tǒng)計分析處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于當前時間粒度tm的數(shù) 據(jù)庫，直到達到預先設定好的第η時間粒度tn，或者服務器的負荷已達到預設的門限，其中 1 < m < η ；所述數(shù)據(jù)庫，用于分別存儲相應時間粒度的數(shù)據(jù)。
7.如權利要求6所述的智能分揀服務器，其特征在于，所述統(tǒng)計分析處理單元中的統(tǒng) 計分析處理，是采用函數(shù)運算法則、平均值法則、最大最小值法則之一對所述存儲數(shù)據(jù)進行處理。
8.如權利要求6所述的智能分揀服務器，其特征在于，所述數(shù)據(jù)庫為一個數(shù)據(jù)庫，用于 分別存儲相應時間粒度下的數(shù)據(jù)；或者，所述數(shù)據(jù)庫為相應于各個時間粒度的多個數(shù)據(jù)庫。
9.如權利要求6至8中任一項所述的智能分揀服務器，其特征在于， 在服務器負荷大于預設的門限時，相應增大統(tǒng)計分析處理的時間粒度； 在服務器負荷小于預設的門限時，相應減小統(tǒng)計分析處理的時間粒度。
10.一種包含如權利要求6所述的智能分揀服務器的系統(tǒng)，其特征在于，在系統(tǒng)中包括 多臺服務器，如果第一服務器未達到預先設定的時間粒度，其負荷已達到預設的門限時，則 查找系統(tǒng)中其它的可用服務器，并在找到的相應服務器上完成余下相應時間粒度的統(tǒng)計分 析處理。
全文摘要
本發(fā)明提供一種智能分揀服務器及統(tǒng)計數(shù)據(jù)的方法和系統(tǒng)，其中，該方法包括下列步驟服務器按第一時間粒度t1對實時產(chǎn)生的需要被采集的原始數(shù)據(jù)進行采集并存入數(shù)據(jù)庫；相隔預定時間粒度tm后，對數(shù)據(jù)庫中前一時間粒度tm-1的存儲數(shù)據(jù)進行統(tǒng)計分析處理，將統(tǒng)計分析處理后的數(shù)據(jù)存入相應于當前時間粒度tm的數(shù)據(jù)庫，直到達到預先設定好的第n時間粒度tn，或者服務器的負荷已達到預設的門限，其中1＜m＜n。本發(fā)明能夠在保證統(tǒng)計精度的前提下，減少需要被處理的數(shù)據(jù)量，提高服務器的數(shù)據(jù)處理性能。
文檔編號G06F17/30GK101819586SQ20101013680
公開日2010年9月1日 申請日期2010年3月31日 優(yōu)先權日2010年3月31日
發(fā)明者何君臣, 張大海 申請人:中興通訊股份有限公司