專利名稱：一種提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及大數(shù)據(jù)量數(shù)據(jù)處理技術(shù)，特別是涉及在網(wǎng)管領(lǐng)域中一種提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法。
背景技術(shù)：
在網(wǎng)管系統(tǒng)中，經(jīng)常出現(xiàn)歷史數(shù)據(jù)占用空間過大的情況。例如對于一個(gè)DWDM(Dense Wave Division Multiplexing，密集波分復(fù)用)網(wǎng)管系統(tǒng)，網(wǎng)元的每塊單板每隔15分鐘就產(chǎn)生一次15分鐘歷史性能上報(bào)網(wǎng)管，即使按照工程最低要求數(shù)據(jù)庫中保留3個(gè)月的歷史性能數(shù)據(jù)，在32波滿配和100個(gè)網(wǎng)元的情況下的歷史性能也有8G左右。
數(shù)據(jù)量大導(dǎo)致的問題是通訊帶寬、CPU處理時(shí)間、存儲(chǔ)容量等均被占用，網(wǎng)管系統(tǒng)的管理效率大大降低。
為此，亟待提出了一種解決方案，以有效降低歷史性能的數(shù)據(jù)庫空間的占用。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，用于解決現(xiàn)有技術(shù)中大數(shù)據(jù)量數(shù)據(jù)庫表數(shù)據(jù)占用空間過大，資源耗費(fèi)嚴(yán)重，查詢/修改速度都很慢的問題。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供了一種提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，包括數(shù)據(jù)庫數(shù)據(jù)壓縮的步驟，其特征在于，所述數(shù)據(jù)壓縮的步驟又包括步驟一，把數(shù)據(jù)庫表的字段分為可壓縮字段和非可壓縮字段；步驟二，調(diào)整所述可壓縮字段和所述非可壓縮字段的順序；步驟三，拼接所述可壓縮字段生成拼接字段，并取代所述可壓縮字段；步驟四，對所述拼接字段進(jìn)行壓縮處理生成新字段，并取代所述拼接字段。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述步驟一中，作為所述可壓縮字段的數(shù)據(jù)庫表的字段不作為查詢限制條件、排序條件、計(jì)算條件、分組條件和所述數(shù)據(jù)庫表之外的表的外鍵。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述步驟二中，所述調(diào)整順序?yàn)樗兴隹蓧嚎s字段連續(xù)起來并排在所有所述非可壓縮字段的后面。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述步驟三中，當(dāng)所述可壓縮字段包含變長字段的個(gè)數(shù)不同時(shí)，拼接所述可壓縮字段的方法可采用如下拼接方式之一，包括方式一，當(dāng)所述可壓縮字段中沒有變長字段時(shí)，直接拼接；或方式二，當(dāng)所述可壓縮字段中只有一個(gè)變長字段時(shí)，調(diào)整所述可壓縮字段的順序，把該變長字段放到所述可壓所字段的最后，然后拼接；或方式三，當(dāng)所述可壓縮字段中有兩個(gè)或多個(gè)變長字段時(shí)，對該變長字段編碼后再拼接。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，通過在該變長字段前面加上一個(gè)或多個(gè)記錄該變長字段的長度的字節(jié)對該變長字段進(jìn)行編碼。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述步驟四中，所述新字段的字段類型根據(jù)對所述拼接字段進(jìn)行壓縮處理時(shí)采用的壓縮算法確定。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述新字段的字段類型為是varbinary。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述步驟四中，還包括一采用RFC1952壓縮算法對所述拼接字段進(jìn)行壓縮處理的步驟。
所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其中，所述網(wǎng)管系統(tǒng)適用于密集波分復(fù)用網(wǎng)管系統(tǒng)。
本發(fā)明的技術(shù)效果在于使用本發(fā)明方法可以有效減少數(shù)據(jù)的數(shù)據(jù)庫空間占用。例如，表的總字段長度為A，可壓縮字段的總長度為B，而壓縮后的由可壓縮字段拼接成的字段的長度是C，在A、B、C都是常數(shù)的情況下，節(jié)省數(shù)據(jù)庫空間占用的百分比為((B-C)/A)*100％從上述公式可以得出，在數(shù)據(jù)庫表數(shù)據(jù)容量過大，而且不作為檢索條件的字段的數(shù)據(jù)容量占表數(shù)據(jù)總?cè)萘勘壤^高時(shí)，且這些字段的可壓縮率比較高時(shí)，采用本發(fā)明方法具有如下優(yōu)點(diǎn)(1)，節(jié)省數(shù)據(jù)庫空間；節(jié)省比例與可壓縮字段空間占總字段空間比例和可壓縮字段可壓縮比率有關(guān)；(2)，不影響檢索；所有用來檢索的字段保持不變，不影響原來的檢索功能。
以下結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述，但不作為對本發(fā)明的限定。


圖1為本發(fā)明調(diào)整數(shù)據(jù)庫表的可壓縮字段和非可壓縮字段順序后的表設(shè)置示意圖；圖2為本發(fā)明對數(shù)據(jù)庫表的可壓縮字段拼接后的表設(shè)置示意圖；圖3為本發(fā)明對數(shù)據(jù)庫表的拼接字段壓縮后的最終表設(shè)置示意圖；圖4為本發(fā)明對數(shù)據(jù)庫表的可壓縮字段先拼接后壓縮的方法流程圖；圖5為圖1的一個(gè)歷史性能數(shù)據(jù)方面的實(shí)施例；圖6為圖2的一個(gè)歷史性能數(shù)據(jù)方面的實(shí)施例；圖7為圖3的一個(gè)歷史性能數(shù)據(jù)方面的實(shí)施例。
其中，主要附圖標(biāo)記如下非可壓縮字段1可壓縮字段 2可壓縮字段拼接成的字段3被拼接字段壓縮后的字段4非可壓縮字段1的個(gè)數(shù) n1可壓縮字段2的個(gè)數(shù) n21001，1002，...10n1是非可壓縮字段1，非可壓縮字段2，...，非可壓縮字段n12001，2002，...20n2是可壓縮字段1，可壓縮字段2，...，可壓縮字段n2
具體實(shí)施例方式
圖1所示為本發(fā)明調(diào)整數(shù)據(jù)庫表的可壓縮字段和非可壓縮字段順序后的表設(shè)置示意圖。
對數(shù)據(jù)庫表進(jìn)行重新設(shè)置，調(diào)整所有字段的順序，使所有的可壓縮字段2連續(xù)起來并排在所有的非可壓縮字段1的后面，即表字段順序設(shè)置為“非可壓縮字段1(1001)，非可壓縮字段2(1002)，...，非可壓縮字段n1(10n1)，可壓縮字段1(2001)，可壓縮字段2(2002)，...，可壓縮字段n2(20n2)”，其中n1是非可壓縮字段1的個(gè)數(shù)，n2是可壓縮字段2的個(gè)數(shù)。
圖2所示為本發(fā)明對數(shù)據(jù)庫表的可壓縮字段拼接后的表設(shè)置示意圖，并結(jié)合圖1所示。
將圖1所示的可壓縮字段2拼接成一個(gè)字段3，并取代可壓縮字段2；將可壓縮字段1(2001)，可壓縮字段2(2002)，...，可壓縮字段n2(20n2)拼接成一個(gè)字段3，并取代所有的可壓縮字段2，其中n2是可壓縮字段2的個(gè)數(shù)，也即是，數(shù)據(jù)庫表可壓縮字段拼接處理后，其表字段設(shè)置為“非可壓縮字段1(1001)，非可壓縮字段2(1002)，...，非可壓縮字段n1(10n1)，可壓縮字段拼接成的一個(gè)字段3”，其中n1是非可壓縮字段1的個(gè)數(shù)。
圖3所示為本發(fā)明對數(shù)據(jù)庫表的拼接字段壓縮后的最終表設(shè)置示意圖；并結(jié)合圖2所示。
將圖2所示對拼接后的字段3采用壓縮算法進(jìn)行壓縮處理，并將壓縮生成的新字段4取代拼接后的字段3；數(shù)據(jù)庫表最終設(shè)置為“非可壓縮字段1(1001)，非可壓縮字段2(1002)，...，非可壓縮字段n1(10n1)，拼接字段壓縮后生成的新字段4”，其中n1是非可壓縮字段1的個(gè)數(shù)。
新字段4的字段類型與壓縮算法有關(guān)，一般是varbinary。
圖4所示為對數(shù)據(jù)庫表的可壓縮字段先拼接后壓縮的方法流程圖。并結(jié)合圖1、2、3，該方法流程具體包括如下步驟步驟401，把數(shù)據(jù)庫表的所有字段分為可壓縮字段2和非可壓縮字段1兩種。
數(shù)據(jù)庫表字段可以分為兩種字段所有表索引所在字段組成的索引字段；及索引字段以外的其他字段組成的非索引字段。
索引字段通常是查詢表所用的字段。把索引字段加上非索引字段中需要用來查詢的字段一起作為非可壓縮字段1；非可壓縮字段1以外的剩下的字段稱為可壓縮字段2。作為可壓縮字段2必須滿足如下條件(1)，不作為查詢限制條件(不出現(xiàn)在WHERE和HAVING子句里)；(2)，不作為排序條件(不出現(xiàn)在ORDER BY子句里)；(3)，不作為計(jì)算條件(不出現(xiàn)在COMPUTE子句里)；(4)，不作為分組條件(不出現(xiàn)在GROUP BY子句里)；及(5)，不作為其他表的外鍵(不出現(xiàn)在其他表的REFERENCE限制中)。
上述WHERE和HAVING子句、ORDER BY子句、COMPUTE子句、GROUP BY子句、REFERENCE均為SQL(Structured Query Language，結(jié)構(gòu)化查詢語言)。
比如，網(wǎng)管系統(tǒng)的歷史性能數(shù)據(jù)，DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)大小常常在4G字節(jié)以上。如果歷史15分鐘表的字段定義如下時(shí)間 INT網(wǎng)元IDINT槽位SMALLINT性能號 SMALLINT性能1 INT性能2 INT性能3 INT性能4 INT則可以把時(shí)間、網(wǎng)元ID、槽位和性能號這四個(gè)字段作為非可壓縮字段1，而性能1、性能2、性能3、性能4四個(gè)性能值字段不作為檢索條件，并且符合可壓縮字段的條件時(shí)，可以作為可壓縮字段2。
步驟402，調(diào)整非可壓縮字段1和可壓縮字段2的順序；該步驟具體為對數(shù)據(jù)庫表進(jìn)行重新設(shè)置，調(diào)整所有字段的順序，使所有的可壓縮字段2連續(xù)起來并排在所有的非可壓縮字段1的后面，表字段順序設(shè)置如圖1所示。
對于如上所述DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)的表，經(jīng)過步驟402的設(shè)置處理后，四個(gè)性能值字段作為可壓縮字段2，它們連續(xù)并且排在非可壓縮字段1的后面。
步驟403，將可壓縮字段2拼接成一個(gè)字段3，并取代可壓縮字段2；
表字段經(jīng)過再經(jīng)過該步驟處理后，表設(shè)置如圖2所示；并且針對可壓縮字段2中包含變長字段/變長的字段個(gè)數(shù)的不同拼接的方式也分為下面三種情況情況一，若可壓縮字段2中沒有變長的字段(varchar，varbinary，text，image)，則直接拼接。這樣做的目的是拼接字段以后經(jīng)過壓縮，解壓時(shí)可壓縮字段2可以按照各字段的字節(jié)長度對齊。
情況二，若可壓縮字段2中只有一個(gè)變長的字段(varchar，varbinary，text，image)，則調(diào)整字段的順序，把變長的字段放到可壓縮字段2的最后，然后拼接。這樣做的目的是拼接字段以后經(jīng)過壓縮，解壓時(shí)可壓縮字段2的前面定長的字段可以按照各字段的字節(jié)長度對齊，剩下的內(nèi)容是變長字段的內(nèi)容。
情況三，若可壓縮字段2中有兩個(gè)或兩個(gè)以上的變長的字段(varchar，varbinary，text，image)，則需要對變長的字段編碼，如在該變長的字段前面加上一個(gè)或幾個(gè)字節(jié)記錄本字段的長度，然后拼接。這樣做的目的是以后拼接字段經(jīng)過壓縮，解壓時(shí)可壓縮字段2中的定長的字段可以按照各字段的字節(jié)長度對齊，變長字段按照編碼規(guī)則對齊自己的內(nèi)容。
對于如上所述的DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)的表，經(jīng)過步驟402和步驟403的設(shè)置處理后，四個(gè)性能值字段作為可壓縮字段2，因性能值都是固定4個(gè)字節(jié)，所以可以直接拼接成一個(gè)字段。拼接示例如下如果性能1的值為0x00000000，性能2的值為0x11111111，性能3的值為0x22222222，性能4的值為0x33333333，則直接拼接生成的字段的內(nèi)容是0x00000000111111112222222233333333。
步驟404，將拼接字段3壓縮，生成新字段4，并取代拼接字段3。
其中，對拼接后的字段3采用壓縮算法壓縮，壓縮生成的新字段4的字段類型與壓縮算法有關(guān)，一般是varbinary，并使用壓縮生成的新字段4取代拼接后的字段3。表最終設(shè)置如圖3所示。
對于如上所述的DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)的表，經(jīng)過步驟401至步驟404設(shè)置處理后，拼接性能是固定16個(gè)字節(jié)，實(shí)驗(yàn)證明性能類數(shù)據(jù)采用RFC(Request For Comments，請求注解)1952(gzip format)壓縮算法的可壓縮比在10∶1以上，拼接性能壓縮在4個(gè)字節(jié)內(nèi)應(yīng)該沒有問題，壓縮后的性能字段可以設(shè)置為“VARBINARY(4)*”。新的表設(shè)置可以為
時(shí)間INT網(wǎng)元ID INT槽位SMALLINT性能號 SMALLINT壓縮性能VARBINARY(4)*其中“*”表示VARBINARY(4)中的4表示字段長度是4個(gè)字節(jié)。
通過步驟401至步驟404處理后，實(shí)現(xiàn)改進(jìn)前后的數(shù)據(jù)空間比例是7∶4以上，即最少節(jié)約了42％的空間。
圖5所示為圖1的一個(gè)歷史性能數(shù)據(jù)方面的實(shí)施例。結(jié)合圖1、4所示。
對于圖1中的DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)的表，經(jīng)過圖4所示的步驟402的設(shè)置處理后，四個(gè)性能值字段作為可壓縮字段2，它們連續(xù)并且排在非可壓縮字段1的后面。
圖6所示為圖2的一個(gè)歷史性能數(shù)據(jù)方面的實(shí)施例。結(jié)合圖2、4所示。
對于圖2中的DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)的表，經(jīng)過圖4所示的步驟403的設(shè)置處理后，四個(gè)性能值字段作為可壓縮字段2，因性能值都是固定4個(gè)字節(jié)，可以直接拼接成一個(gè)字段，成為拼接字段。
圖7所示為圖3的一個(gè)歷史性能數(shù)據(jù)方面的實(shí)施例。結(jié)合圖3、4所示。
對于圖3中的DWDM網(wǎng)管系統(tǒng)的歷史15分鐘性能數(shù)據(jù)的表，經(jīng)過圖4所示的步驟404的設(shè)置處理后，對拼接字段進(jìn)行壓縮處理，生成新字段，取代拼接字段作為壓縮后的字段。
采用本發(fā)明提出的把數(shù)據(jù)庫表的可壓縮字段先拼接后壓縮的方法，能夠節(jié)省數(shù)據(jù)庫空間，大大減少資源耗費(fèi)，有效提高查詢和修改速度，且不影響數(shù)據(jù)庫數(shù)據(jù)的檢索。
當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，包括數(shù)據(jù)庫數(shù)據(jù)壓縮的步驟，其特征在于，所述數(shù)據(jù)壓縮的步驟又包括步驟一，把數(shù)據(jù)庫表的字段分為可壓縮字段和非可壓縮字段；步驟二，調(diào)整所述可壓縮字段和所述非可壓縮字段的順序；步驟三，拼接所述可壓縮字段生成拼接字段，并取代所述可壓縮字段；步驟四，對所述拼接字段進(jìn)行壓縮處理生成新字段，并取代所述拼接字段。
2.根據(jù)權(quán)利要求1所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述步驟一中，作為所述可壓縮字段的數(shù)據(jù)庫表的字段不作為查詢限制條件、排序條件、計(jì)算條件、分組條件和所述數(shù)據(jù)庫表之外的表的外鍵。
3.根據(jù)權(quán)利要求1所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述步驟二中，所述調(diào)整順序?yàn)樗兴隹蓧嚎s字段連續(xù)起來并排在所有所述非可壓縮字段的后面。
4.根據(jù)權(quán)利要求1、2或3所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述步驟三中，當(dāng)所述可壓縮字段包含變長字段的個(gè)數(shù)不同時(shí)，拼接所述可壓縮字段的方法可采用如下拼接方式之一，包括方式一，當(dāng)所述可壓縮字段中沒有變長字段時(shí)，直接拼接；或方式二，當(dāng)所述可壓縮字段中只有一個(gè)變長字段時(shí)，調(diào)整所述可壓縮字段的順序，把該變長字段放到所述可壓所字段的最后，然后拼接；或方式三，當(dāng)所述可壓縮字段中有兩個(gè)或多個(gè)變長字段時(shí)，對該變長字段編碼后再拼接。
5.根據(jù)權(quán)利要求4所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，通過在該變長字段前面加上一個(gè)或多個(gè)記錄該變長字段的長度的字節(jié)對該變長字段進(jìn)行編碼。
6.根據(jù)權(quán)利要求1、2、3或5所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述步驟四中，所述新字段的字段類型根據(jù)對所述拼接字段進(jìn)行壓縮處理時(shí)采用的壓縮算法確定。
7.根據(jù)權(quán)利要求6所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述新字段的字段類型為是varbinary。
8.根據(jù)權(quán)利要求1、2、3或5所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述步驟四中，還包括一采用RFC1952壓縮算法對所述拼接字段進(jìn)行壓縮處理的步驟。
9.根據(jù)權(quán)利要求1、2、3或5所述的提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，其特征在于，所述網(wǎng)管系統(tǒng)適用于密集波分復(fù)用網(wǎng)管系統(tǒng)。
全文摘要
本發(fā)明公開了一種提高網(wǎng)管系統(tǒng)數(shù)據(jù)處理效率的方法，包括對數(shù)據(jù)庫數(shù)據(jù)壓縮的步驟，其特征在于，所述數(shù)據(jù)壓縮的步驟又包括步驟一，把數(shù)據(jù)庫表的字段分為可壓縮字段和非可壓縮字段；步驟二，調(diào)整所述可壓縮字段和所述非可壓縮字段的順序；步驟三，拼接所述可壓縮字段生成拼接字段，并取代所述可壓縮字段；及步驟四，對所述拼接字段進(jìn)行壓縮處理生成新字段，并取代所述拼接字段。采用本發(fā)明提出的把數(shù)據(jù)庫表的可壓縮字段先拼接后壓縮的方法，能夠節(jié)省數(shù)據(jù)庫空間，大大減少資源耗費(fèi)，有效提高查詢和修改速度，且不影響數(shù)據(jù)庫數(shù)據(jù)的檢索。
文檔編號H04J14/02GK101043353SQ20061006007
公開日2007年9月26日 申請日期2006年3月25日 優(yōu)先權(quán)日2006年3月25日
發(fā)明者袁虎 申請人:中興通訊股份有限公司