專利名稱：一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及IT技術(shù)領(lǐng)域，特別涉及一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法及系統(tǒng)。
背景技術(shù)：
隨著網(wǎng)絡(luò)管理技術(shù)的發(fā)展，其管理范疇，除傳統(tǒng)通信、計算和存儲等網(wǎng)元的管理以夕卜，還包括設(shè)備上承載業(yè)務(wù)的管理。在網(wǎng)絡(luò)管理系統(tǒng)中，業(yè)務(wù)分析是業(yè)務(wù)管理的主要功能之一，業(yè)務(wù)分析的數(shù)據(jù)來源于網(wǎng)絡(luò)管理系統(tǒng)對各設(shè)備或系統(tǒng)數(shù)據(jù)的采集，而現(xiàn)在的業(yè)務(wù)分析越來越復(fù)雜。傳統(tǒng)的網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)采集方法對所有的數(shù)據(jù)進行輪詢采集，同一業(yè)務(wù)分析所需要的數(shù)據(jù)采集時間跨度會比較大，使數(shù)據(jù)分析不能及時處理，導(dǎo)致數(shù)據(jù)分析實時性差；而且，先采集的數(shù)據(jù)還可能會失效，導(dǎo)致業(yè)務(wù)分析結(jié)果與實際有偏差。隨著網(wǎng)絡(luò)管理系統(tǒng)的發(fā)展，需要新的采集方法來滿足更復(fù)雜的業(yè)務(wù)分析需求。中國第200410034524號專利公開了一種網(wǎng)絡(luò)管理中配置數(shù)據(jù)的采集系統(tǒng)及其方法，在這種方法中，通過根據(jù)不同的網(wǎng)元配置不同的采集和設(shè)置不同的刷新模板和模板解析器，以解決網(wǎng)元信息采集的擴展性。中國第200910173983號專利公開了簡單網(wǎng)絡(luò)管理協(xié)議設(shè)備的數(shù)據(jù)并行采集歸并方法及系統(tǒng)，此系統(tǒng)包括并行控制實體和一個或多個并行采集實體，并行控制實體完成對并行采集實體的管理與對各并行采集實體返回的性能數(shù)據(jù)進行統(tǒng)一歸并處理，并行采集實體以并行方式從各采集點上采集數(shù)據(jù)，以提升了采集效率以及系統(tǒng)的可用性。中國第200810117931號專利公開了一種數(shù)據(jù)采集方法及數(shù)據(jù)采集設(shè)備，所述方法將所有被采集的網(wǎng)元的信息封裝成采集任務(wù)放入一個任務(wù)隊列中，并啟動網(wǎng)元采集線程池，通過線程池的監(jiān)聽端口采集所述任務(wù)隊列中每個網(wǎng)元的數(shù)據(jù)，以提高數(shù)據(jù)采集的效率。通過對現(xiàn)有技術(shù)和專利分析，現(xiàn)有公開的技術(shù)以提高網(wǎng)絡(luò)管理數(shù)據(jù)采集的效率、可擴展性為目標(biāo)，但是，所公開的方法都未涉及到數(shù)據(jù)采集與業(yè)務(wù)關(guān)聯(lián)或基于業(yè)務(wù)的采集方法，這將導(dǎo)致網(wǎng)絡(luò)管理業(yè)務(wù)數(shù)據(jù)分析的時效性和準(zhǔn)確性較差，且不能為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐。因此，本專利將公開一種基于業(yè)務(wù)的數(shù)據(jù)采集方法及系統(tǒng)，本發(fā)明的技術(shù)方案可以提高網(wǎng)絡(luò)管理業(yè)務(wù)數(shù)據(jù)分析的時效性和準(zhǔn)確性，為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐。

發(fā)明內(nèi)容
本發(fā)明的目的在于，為克服現(xiàn)有技術(shù)以提高網(wǎng)絡(luò)管理數(shù)據(jù)采集的效率、可擴展性為目標(biāo)，卻均未涉及到數(shù)據(jù)采集與業(yè)務(wù)關(guān)聯(lián)或基于業(yè)務(wù)的采集方法，從而導(dǎo)致網(wǎng)絡(luò)管理業(yè)務(wù)數(shù)據(jù)分析的時效性和準(zhǔn)確性較差，且不能為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐的問題，從而提供一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法及系統(tǒng)。本發(fā)明要解決的技術(shù)問題是:在減少數(shù)據(jù)采集的次數(shù)的前提下，提高網(wǎng)絡(luò)管理業(yè)務(wù)數(shù)據(jù)分析的實時性與準(zhǔn)確性，以下技術(shù)方案中用DS隊列表示采集過程隊列。為解決上述技術(shù)問題，本發(fā)明提出一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法，該方法將數(shù)據(jù)采集過程與業(yè)務(wù)相關(guān)聯(lián)用于為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐，所述方法為:步驟1，用于生成數(shù)據(jù)項隊列的步驟，該步驟將屬于同一業(yè)務(wù)的多個待采集的數(shù)據(jù)項連續(xù)放置，屬于不同業(yè)務(wù)的共有的待采集數(shù)據(jù)項放置在兩種業(yè)務(wù)分別對應(yīng)的數(shù)據(jù)項之間；步驟2，用于采用若干組線程啟動數(shù)據(jù)采集過程順序調(diào)度數(shù)據(jù)項隊列放置的各項，完成業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集的步驟。其中，所述數(shù)據(jù)項為被采集的最小獨立單元。上述技術(shù)方案中，所述步驟I進一步包含如下步驟:步驟1-1，將每個數(shù)據(jù)采集業(yè)務(wù)分別對應(yīng)一個采集過程，且將采集周期相同的多個采集過程劃分在同一 DS隊列；步驟1-2，將每個DS隊列包含的多個采集過程依據(jù)采集過程間的數(shù)據(jù)項共有關(guān)系進行采集過程排序；步驟1-3，將每個采集過程依據(jù)該采集過程與相近采集過程間的數(shù)據(jù)項共有關(guān)系進行該采集過程內(nèi)數(shù)據(jù)項排序。其中，所述每個DS隊列分別對應(yīng)一個采集線程組?？蛇x的，所述采集過程均采用如下四元組描述:DS = (S, T, Td, D)；其中，S代表 業(yè)務(wù)；T代表數(shù)據(jù)采集周期；Td代表能接受的數(shù)據(jù)采集時間延遲，且T^Td山代表業(yè)務(wù)包含的數(shù)據(jù)項集合，D不能為空，S卩，一個業(yè)務(wù)所關(guān)聯(lián)的數(shù)據(jù)項不能為空，D中不同業(yè)務(wù)共有的數(shù)據(jù)項的屬性標(biāo)記為“被復(fù)用”?；谏鲜鏊脑M描述，所述步驟1-1判斷采集過程對應(yīng)的四元組中的T是否相同，如果相同將兩個業(yè)務(wù)對應(yīng)的采集過程劃分在同一 DS隊列中；所述步驟1-2，將每個DS隊列清空；在03隊列中插入兩個采集過程DSpDS2，滿足采集過程DS1和DS2共有的數(shù)據(jù)項與該DS隊列對應(yīng)的任意兩個采集過程共有的數(shù)據(jù)項相比最多；插入下一個采集過程DSi,滿足當(dāng)前DS隊列置頂處，窗口長度為Wi = QXTdi的數(shù)據(jù)項集合與采集過程DSi共有的數(shù)據(jù)項最多，其中，q表示采集能力的期望；重復(fù)插入采集過程，直到所有的采集過程都插入到對應(yīng)的DS隊列中；所述步驟1-3，將每個采集過程對應(yīng)的每個“被復(fù)用”數(shù)據(jù)項，在前后窗口寬度都為Wi = QXTdi范圍內(nèi)，判斷與該采集過程共有該數(shù)據(jù)項的采集過程的位置，如果在前則在該采集過程內(nèi)向前調(diào)動該數(shù)據(jù)項的位置，如果在后則在該采集過程內(nèi)向后調(diào)動該數(shù)據(jù)項的位置，如果在前在后同時存在則向中間調(diào)動該數(shù)據(jù)項的位置?？蛇x的，所述采集線程組包含的線程數(shù)目采用下式確定:
權(quán)利要求
1.一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法，該方法將數(shù)據(jù)采集過程與業(yè)務(wù)相關(guān)聯(lián)用于為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐，所述方法為: 步驟1，用于生成數(shù)據(jù)項隊列的步驟，該步驟將屬于同一業(yè)務(wù)的多個待采集的數(shù)據(jù)項連續(xù)放置，屬于不同業(yè)務(wù)的共有的待采集數(shù)據(jù)項放置在兩種業(yè)務(wù)分別對應(yīng)的數(shù)據(jù)項之間；步驟2，用于采用若干采集線程組啟動數(shù)據(jù)采集過程順序調(diào)度數(shù)據(jù)項隊列放置的各項，完成業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集的步驟； 其中，所述數(shù)據(jù)項為被采集的最小獨立單元。
2.根據(jù)權(quán)利要求1所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法，其特征在于，所述步驟I進一步包含如下步驟: 步驟1-1，將每個數(shù)據(jù)采集業(yè)務(wù)分別對應(yīng)一個采集過程，且將采集周期相同的多個采集過程劃分在同一采集過程隊列； 步驟1-2，將每個采集過程隊列包含的多個采集過程依據(jù)采集過程間的數(shù)據(jù)項共有關(guān)系進行采集過程排序； 步驟1-3，將每個采集過程依據(jù)該采集過程與相近采集過程間的數(shù)據(jù)項共有關(guān)系進行該采集過程內(nèi)數(shù)據(jù)項排序，得到最終數(shù)據(jù)項隊列； 其中，所述每個采集過程隊列分別對應(yīng)一個采集線程組。
3.根據(jù)權(quán)利要求1或2所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法，其特征在于，所述采集過程均采用如下四元組描述:DS = (S， T, Td, D)； 其中，S代表業(yè)務(wù)；T代表數(shù)據(jù)采集周期；Td代表能接受的數(shù)據(jù)采集時間延遲，且T STd ;D代表業(yè)務(wù)包含的數(shù)據(jù)項集合，D不能為空，S卩，一個業(yè)務(wù)所關(guān)聯(lián)的數(shù)據(jù)項不能為空，D中不同業(yè)務(wù)共有的數(shù)據(jù)項的屬性標(biāo)記為“被復(fù)用”； 所述步驟1-1判斷采集過程對應(yīng)的四元組中的T是否相同，如果相同將兩個業(yè)務(wù)對應(yīng)的采集過程劃分在同一采集過程隊列中； 所述步驟1-2，將每個采集過程隊列清空；在采集過程隊列中插入兩個采集過程DSpDS2,滿足采集過程DS1和DS2共有的數(shù)據(jù)項與該采集過程隊列對應(yīng)的任意兩個采集過程共有的數(shù)據(jù)項相比最多；插入下一個采集過程DSi,滿足當(dāng)前采集過程隊列置頂處，窗口長度為Wi = qXTdi的數(shù)據(jù)項集合與采集過程DSi共有的數(shù)據(jù)項最多，其中，q表示采集能力的期望；重復(fù)插入采集過程，直到所有的采集過程都插入到對應(yīng)的采集過程隊列中； 所述步驟1-3，將每個采集過程對應(yīng)的每個“被復(fù)用”數(shù)據(jù)項，在前后窗口寬度都為Wi =qXTdi范圍內(nèi)，判斷與該采集過程共有該數(shù)據(jù)項的采集過程的位置，如果在前則在該采集過程內(nèi)向前調(diào)動該數(shù)據(jù)項的位置，如果在后則在該采集過程內(nèi)向后調(diào)動該數(shù)據(jù)項的位置，如果在前在后同時存在則向中間調(diào)動該數(shù)據(jù)項的位置。
4.根據(jù)權(quán)利要求3所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法，其特征在于，所述采集線程組包含的線程數(shù)目采用下式確定:M= YjXlTdJT ；i=\ 其中，M為一組采集線程的線程數(shù)，j為采集過程隊列所包含的業(yè)務(wù)數(shù)目，λ i為可設(shè)置的時效性參數(shù)，值越小，采集的時間越短，通常:0 < Xi < I ;T代表數(shù)據(jù)采集周期。
5.根據(jù)權(quán)利要求3所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法，其特征在于，所述步驟2進一步包含如下步驟: 步驟2-1，當(dāng)啟動的數(shù)據(jù)采集過程執(zhí)行數(shù)據(jù)采集時，首先，查看該數(shù)據(jù)項屬性是否為“被復(fù)用”，如果是“被復(fù)用”，進入下一步驟；否則進行數(shù)據(jù)采集； 步驟2-2，將進一步驗證該數(shù)據(jù)項的數(shù)據(jù)更新時間，以確定是否重新采集該數(shù)據(jù)項；如果系統(tǒng)時間與該數(shù)據(jù)項的數(shù)據(jù)更新時間差大于該數(shù)據(jù)項所屬采集過程的Td，該采集線程將重新采集該數(shù)據(jù)項，反之，不再進行采集。
6.一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集系統(tǒng)，該系統(tǒng)將數(shù)據(jù)采集過程與業(yè)務(wù)相關(guān)聯(lián)用于為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐，所述系統(tǒng)為: 數(shù)據(jù)項隊列生成子系統(tǒng)，該子系統(tǒng)將屬于同一業(yè)務(wù)的多個待采集的數(shù)據(jù)項連續(xù)放置，屬于不同業(yè)務(wù)的共有的待采集數(shù)據(jù)項放置在兩個業(yè)務(wù)分別對應(yīng)的數(shù)據(jù)項之間，輸出生成的數(shù)據(jù)項隊列；和 數(shù)據(jù)采集子系統(tǒng)，該子系統(tǒng)采用若干組線程啟動數(shù)據(jù)采集過程順序調(diào)度數(shù)據(jù)項隊列生成子系統(tǒng)輸出的數(shù)據(jù)項隊列，完成業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集。
7.根據(jù)權(quán)利要求6所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)項隊列生成子系統(tǒng)進一步包含: 采集過程隊列生成模塊，用于將每個數(shù)據(jù)采集業(yè)務(wù)分別對應(yīng)一個采集過程，且將采集周期相同的多個采集過程劃分在同一采集過程隊列；和 采集過程隊列排序模塊，用于將每個采集過程隊列包含的多個采集過程依據(jù)采集過程間的數(shù)據(jù)項共有關(guān)系進行采集過程排序，然后再將每個采集過程依據(jù)該采集過程與相近采集過程間的數(shù)據(jù)項共有關(guān)系進行該采集過程內(nèi)數(shù)據(jù)項排序； 其中，所述每個采集過程隊列分別對應(yīng)一個采集線程組。
8.根據(jù)權(quán)利要求6或7所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述采集過程均采用如下四元組描述:DS = (S，T, Td, D)； 其中，S代表業(yè)務(wù)；T代表數(shù)據(jù)采集周期；Td代表能接受的數(shù)據(jù)采集時間延遲，且T STd ;D代表業(yè)務(wù)包含的數(shù)據(jù)項集合，D不能為空，S卩，一個業(yè)務(wù)所關(guān)聯(lián)的數(shù)據(jù)項不能為空，D中不同業(yè)務(wù)共有的數(shù)據(jù)項的屬性標(biāo)記為“被復(fù)用”； 所述采集過程隊列生成模塊還用于判斷采集過程對應(yīng)的四元組中的T是否相同，如果相同將兩個業(yè)務(wù)對應(yīng)的采集過程劃分在同一采集過程隊列中； 所述采集過程隊列排序模塊還用于，將每個采集過程隊列清空；在采集過程隊列中插入兩個采集過程DSp DS2，滿足采集過程DS1和DS2共有的數(shù)據(jù)項與該采集過程隊列對應(yīng)的任意兩個采集過程共有的數(shù)據(jù)項相比最多；插入下一個采集過程DSi,滿足當(dāng)前采集過程隊列置頂處，窗口長度為Wi = QXTdi的數(shù)據(jù)項集合與采集過程DSi共有的數(shù)據(jù)項最多，其中，q表示采集能力的期望；重復(fù)插入采集過程，直到所有的采集過程都插入到對應(yīng)的采集過程隊列中； 所述采集過程隊列排序模塊還用于，將每個采集過程對應(yīng)的每個“被復(fù)用”數(shù)據(jù)項，在前后窗口寬度都為Wi = QXTdi范圍內(nèi)，判斷與該采集過程共有該數(shù)據(jù)項的采集過程的位置，如果在前則在該采集過程內(nèi)向前調(diào)動該數(shù)據(jù)項的位置，如果在后則在該采集過程內(nèi)向后調(diào)動該數(shù)據(jù)項的位置，如果在前在后同時存在則向中間調(diào)動該數(shù)據(jù)項的位置。
9.根據(jù)權(quán)利要求8所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集子系統(tǒng)進一步包含: 數(shù)據(jù)項狀態(tài)查詢及策略生成模塊，用于查看數(shù)據(jù)項屬性是否為“被復(fù)用”，如果是“被復(fù)用”，將該采集項輸入確認(rèn)采集模塊；否則進行數(shù)據(jù)采集；和 確認(rèn)采集模塊，用于進一步驗證該數(shù)據(jù)項的數(shù)據(jù)更新時間，以確定是否重新采集該數(shù)據(jù)項；如果系統(tǒng)時間與該數(shù)據(jù)項的數(shù)據(jù)更新時間差大于該數(shù)據(jù)項所屬采集過程的Td，該采集線程將重新采集該數(shù)據(jù)項，反之，不再進行采集。
10.根據(jù)權(quán)利要求8所述的基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集系統(tǒng)，其特征在于，所述數(shù)據(jù)采集子系統(tǒng)還包含線程數(shù)目確定模塊，該模塊依據(jù)下式確定各采集線程組包含的線程數(shù)目:
全文摘要
本發(fā)明涉及一種基于業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集方法及系統(tǒng)，該方法將數(shù)據(jù)采集過程與業(yè)務(wù)相關(guān)聯(lián)用于為更復(fù)雜的網(wǎng)絡(luò)管理業(yè)務(wù)分析提供數(shù)據(jù)支撐，所述方法為用于生成數(shù)據(jù)項隊列的步驟，該步驟將屬于同一業(yè)務(wù)的多個待采集的數(shù)據(jù)項連續(xù)放置，屬于不同業(yè)務(wù)的共有的待采集數(shù)據(jù)項放置在兩種業(yè)務(wù)分別對應(yīng)的數(shù)據(jù)項之間；用于采用若干采集線程組啟動數(shù)據(jù)采集過程順序調(diào)度數(shù)據(jù)項隊列放置的各項，完成業(yè)務(wù)關(guān)聯(lián)的數(shù)據(jù)采集的步驟。本發(fā)明解決了業(yè)務(wù)關(guān)聯(lián)數(shù)據(jù)采集不同步的問題，即在設(shè)定時間段內(nèi)完成采集業(yè)務(wù)關(guān)聯(lián)的所有數(shù)據(jù)項，提高了業(yè)務(wù)數(shù)據(jù)分析的時效性和準(zhǔn)確性，同時將業(yè)務(wù)不相關(guān)數(shù)據(jù)的采集時間離散化，降低了數(shù)據(jù)采集的并發(fā)壓力。
文檔編號H04L12/24GK103152189SQ20111040196
公開日2013年6月12日 申請日期2011年12月6日 優(yōu)先權(quán)日2011年12月6日
發(fā)明者劉學(xué), 蓋炳帥, 王勁林, 程鋼, 徐開誠 申請人:中國科學(xué)院聲學(xué)研究所, 上海尚恩華科網(wǎng)絡(luò)科技股份有限公司