專利名稱：歷史數(shù)據(jù)歸檔和查詢裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種歷史數(shù)據(jù)的歸檔和查詢方法。
背景技術(shù)：
歷史數(shù)據(jù)的歸檔和查詢?cè)谌魏未笮完P(guān)系型數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)中都是一個(gè)不可或缺的功能。尤其在通訊行業(yè)，為了評(píng)估系統(tǒng)的近期性能必須要有性能歷史數(shù)據(jù)。利用這些性能歷史數(shù)據(jù)可進(jìn)行故障的區(qū)段定位。當(dāng)積累了較多的性能歷史數(shù)據(jù)后，對(duì)性能歷史數(shù)據(jù)的查詢分析可預(yù)測(cè)將來(lái)可能發(fā)生的故障，對(duì)系統(tǒng)的維護(hù)是很有用的。
現(xiàn)有的應(yīng)用系統(tǒng)一般是通過(guò)數(shù)據(jù)庫(kù)管理系統(tǒng)DBMS(如Sybase和Microsoft SQL Server)的備份歸檔工具實(shí)現(xiàn)。以Microsoft SQL Server為例，機(jī)械工業(yè)出版社出版的《SQL Server 7關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)管理與開(kāi)發(fā)指南》提供了三種歸檔方式完全歸檔——?dú)w檔所有數(shù)據(jù)庫(kù)對(duì)象、事務(wù)日志和數(shù)據(jù)；增量歸檔——?dú)w檔從最近一次完全歸檔開(kāi)始以來(lái)所有的數(shù)據(jù)；日志歸檔——?dú)w檔從最近一次日志歸檔開(kāi)始以來(lái)所有日志。
以上三種方式都是對(duì)整個(gè)數(shù)據(jù)庫(kù)進(jìn)行歸檔，包括數(shù)據(jù)庫(kù)對(duì)象、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)都進(jìn)行了歸檔。如果用戶要求對(duì)部分庫(kù)表，甚至單個(gè)庫(kù)表進(jìn)行歸檔，則現(xiàn)有的方式不能滿足要求。而且該三種方式不支持直接查詢歸檔文件，如果用戶要求查詢歸檔文件中滿足條件的記錄，則只能將歷史數(shù)據(jù)全部恢復(fù)到數(shù)據(jù)庫(kù)中再查詢，顯然效率低下，也費(fèi)時(shí)費(fèi)力。另外由于歷史數(shù)據(jù)量大，如果將歷史數(shù)據(jù)全部恢復(fù)到數(shù)據(jù)庫(kù)中再查詢極易造成表空間滿、表溢出的情況。最后，現(xiàn)有工具面向具有數(shù)據(jù)庫(kù)系統(tǒng)知識(shí)的數(shù)據(jù)庫(kù)管理員，對(duì)于普通用戶不易掌握。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是克服現(xiàn)有技術(shù)中不能對(duì)部分庫(kù)表，甚至單個(gè)庫(kù)表進(jìn)行歸檔，以及效率低下、容易造成數(shù)據(jù)庫(kù)中表空間滿表溢出、用戶掌握復(fù)雜的缺點(diǎn)，以期提出一種能夠有效對(duì)部分庫(kù)表直接查詢歸檔、高效高穩(wěn)定性而且簡(jiǎn)單的歷史數(shù)據(jù)歸檔和查詢裝置及方法。
本發(fā)明所述歷史數(shù)據(jù)查詢和歸檔裝置包括歸檔備注文件、歸檔模塊和歸檔管理裝載器；所述歸檔備注文件在每完成一種類型的歸檔后，記錄所歸檔的歷史表名、歸檔字段、歸檔時(shí)間范圍和歸檔記錄數(shù)等信息；所述歸檔模塊具體完成數(shù)據(jù)的歸檔和裝載，在查詢歸檔文件時(shí)，為了提高查詢效率，將歸檔數(shù)據(jù)裝載到數(shù)據(jù)庫(kù)管理系統(tǒng)的臨時(shí)庫(kù)中；所述歸檔裝載管理器負(fù)責(zé)在裝載歸檔文件時(shí)，判斷臨時(shí)數(shù)據(jù)庫(kù)是否有足夠的自由空間，如果不滿足則刪除最近未使用的裝載表。
所述歷史數(shù)據(jù)查詢和歸檔方法包括以下步驟第一步準(zhǔn)備工作(1)在數(shù)據(jù)庫(kù)中建立歷史表元數(shù)據(jù)信息表；(2)建立歷史表記錄限制鏈表，保存歷史表記錄大小。
(3)在數(shù)據(jù)庫(kù)中建立歸檔裝載信息表；(4)建立歸檔裝載信息鏈表。
第二步歸檔歷史數(shù)據(jù)(1)根據(jù)具體情況選擇歸檔類型、歸檔方式；(2)根據(jù)歸檔類型查找歷史表元數(shù)據(jù)信息表得到需要?dú)w檔的歷史表和歷史表的歸檔字段。在數(shù)據(jù)庫(kù)中以表的形式保存需要?dú)w檔的歷史表、歷史表的歸檔字段及上次進(jìn)行歸檔操作的時(shí)間。如果歸檔方式為增量歸檔，依據(jù)該信息表，得出此次歸檔的時(shí)間范圍為上次歸檔操作的時(shí)間到當(dāng)前時(shí)間。如果歸檔為全量歸檔，需歸檔所有數(shù)據(jù)，時(shí)間范圍也需包括所有數(shù)據(jù)；(3)查找歸檔字段在此時(shí)間范圍的記錄，將記錄以文本文件的方式保存在本地硬盤上；(4)將本次歸檔的歷史表名，歸檔字段名，時(shí)間范圍，記錄數(shù)以文本文件的方式保存在歸檔備注文件中，同時(shí)修改歷史表元數(shù)據(jù)信息表中相應(yīng)歷史表的歸檔時(shí)間。
第三步檢索歸檔文件(1)根據(jù)具體情況靈活選擇查詢的歸檔類型和時(shí)間范圍，形成查詢條件；(2)根據(jù)查詢條件檢索歸檔目錄下的歸檔備注文件，找出滿足條件的歸檔文件；(3)根據(jù)歸檔文件名得到裝載的數(shù)據(jù)庫(kù)表；(3.1)查找歸檔是否已裝載到臨時(shí)數(shù)據(jù)庫(kù)，如找到，則修改歸檔裝載信息表的訪問(wèn)時(shí)間，轉(zhuǎn)(4)；(3.2)判斷臨時(shí)數(shù)據(jù)庫(kù)是否有足夠的自由空間；(3.3)如不滿足步驟(3.2)所述條件，根據(jù)歸檔裝載信息鏈表中的各裝載數(shù)據(jù)表的訪問(wèn)時(shí)間刪除最近未訪問(wèn)的數(shù)據(jù)表，直到滿足對(duì)臨時(shí)數(shù)據(jù)庫(kù)自由空間的要求；(3.4)在臨時(shí)數(shù)據(jù)庫(kù)中創(chuàng)建數(shù)據(jù)庫(kù)表，將數(shù)據(jù)恢復(fù)到該表；(3.5)將創(chuàng)建的庫(kù)表信息加入歸檔裝載信息鏈表，并修改訪問(wèn)時(shí)間(4)返回表中滿足條件的記錄。
本發(fā)明所述方法與現(xiàn)有的歸檔技術(shù)相比，可自由選擇任意歸檔類型、任意時(shí)間范圍的歷史數(shù)據(jù)。而且由于使用歸檔備注文件的方式記錄每次歸檔的信息，使裝載歷史數(shù)據(jù)時(shí)可有條件的選擇部分?jǐn)?shù)據(jù)進(jìn)行裝載。由于使用歸檔裝載管理器，可提供高效快速地從歸檔文件查詢滿足條件的歷史數(shù)據(jù)，充分利用了臨時(shí)數(shù)據(jù)庫(kù)的資源，避免了數(shù)據(jù)空間的浪費(fèi)。另外，用戶查詢某個(gè)歸檔數(shù)據(jù)文件前，可查看歸檔備注文件，以確定是否查詢。本發(fā)明所述方法支持不同的數(shù)據(jù)庫(kù)，不同的操作平臺(tái)。對(duì)操作人員的要求不高，無(wú)需知道數(shù)據(jù)庫(kù)的結(jié)構(gòu)和對(duì)象就可進(jìn)行歸檔操作。查詢歸檔文件時(shí)只需選擇歸檔類型輸入查詢的時(shí)間范圍即可。本發(fā)明適用于大型數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)中對(duì)歷史數(shù)據(jù)需要?dú)w檔及查詢的情況。


圖1是本發(fā)明所述方法中歸檔歷史數(shù)據(jù)流程圖。
圖2是本發(fā)明所述方法中查詢歸檔歷史數(shù)據(jù)的流程圖。
圖3是本發(fā)明所述方法中歸檔裝載管理器的流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施實(shí)例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述1)準(zhǔn)備工作1.根據(jù)數(shù)據(jù)來(lái)源劃分歷史表所屬的歸檔類型告警類型、性能類型和日志類型；2.歸檔方式分為全量歸檔和增量歸檔；3.在數(shù)據(jù)庫(kù)中建立歷史表元數(shù)據(jù)信息表，字段包括歸檔類型、歷史表的表名、歸檔字段、歸檔時(shí)間。歸檔操作完成后需修改相應(yīng)歷史表的歸檔時(shí)間。
4.建立歷史表記錄限制鏈表，保存歷史表記錄大小。
5.在數(shù)據(jù)庫(kù)中建立歸檔裝載信息表，字段包括歸檔目錄、歸檔名稱、起始時(shí)間、終止時(shí)間、裝載表名、裝載表記錄數(shù)、裝載表訪問(wèn)時(shí)間。主要是在歸檔裝載管理器中對(duì)其進(jìn)行訪問(wèn)。歸檔裝載信息表保存了歸檔裝載的信息，每裝載一個(gè)歸檔需同步修改歸檔裝載信息表，在卸載歸檔時(shí)也需同步修改歸檔裝載信息表。
6.建立歸檔裝載信息鏈表，保存已經(jīng)裝載的轉(zhuǎn)儲(chǔ)信息，與歸檔裝載信息表進(jìn)行同步修改。
2)歸檔歷史數(shù)據(jù)圖1給出了具體歸檔流程。
步驟1輸入歸檔類型和歸檔方式；步驟2檢索歷史表元數(shù)據(jù)信息表，找出該歸檔類型的歷史表；步驟3對(duì)每一個(gè)歷史表進(jìn)行歸檔，如下表所示

步驟3.1如果是增量歸檔，從歷史表元數(shù)據(jù)信息表的歸檔時(shí)間字段得到上次歸檔時(shí)間，則本次歸檔時(shí)間范圍為上次歸檔時(shí)間到當(dāng)前時(shí)間。如果是全量歸檔，需歸檔全部記錄，時(shí)間范圍從1970年1月1日0點(diǎn)0分開(kāi)始到當(dāng)前時(shí)間。
步驟3.2根據(jù)時(shí)間范圍從歷史表中找出滿足條件的記錄。
步驟3.3將字段名寫(xiě)入數(shù)據(jù)文件第一行。
步驟3.4讀取每一條記錄，依字段順序，寫(xiě)入各個(gè)字段的值。
步驟4將本次操作的歸檔表名，歸檔字段，時(shí)間范圍，記錄數(shù)等以文本文件的方式保存在歸檔備注文件中。并修改歷史表元數(shù)據(jù)信息表中相應(yīng)歷史表的歸檔時(shí)間。
下表給出了歸檔備注文件的格式。

3)查詢歸檔歷史數(shù)據(jù)圖2給出了查詢歸檔數(shù)據(jù)的流程。
步驟1輸入歸檔類型、起始時(shí)間和終止時(shí)間；步驟2從歷史表元數(shù)據(jù)信息表中檢索出該歸檔類型的歷史表。搜索歸檔目錄下所有的歸檔備注文件，找出歷史表在此時(shí)間范圍的歸檔文件名；步驟3檢索歸檔裝載信息表，根據(jù)歸檔文件名得到裝載的數(shù)據(jù)庫(kù)表，同時(shí)修改歸檔訪問(wèn)時(shí)間為當(dāng)前時(shí)間。對(duì)于沒(méi)有裝載的歸檔文件，需通過(guò)歸檔裝載管理器進(jìn)行裝載。歸檔裝載管理器的流程圖如圖3所示；步驟3.1檢索歸檔裝載信息表，根據(jù)歸檔文件名得到裝載的數(shù)據(jù)庫(kù)表，同時(shí)修改歸檔訪問(wèn)時(shí)間為當(dāng)前時(shí)間。轉(zhuǎn)步驟4；步驟3.2對(duì)于沒(méi)找到裝載表的歸檔文件，需進(jìn)行裝載。
步驟3.2.1讀取該歸檔的備注文件，得到歸檔數(shù)據(jù)文件的記錄數(shù)；步驟3.2.2根據(jù)歷史表記錄限制鏈表計(jì)算歸檔數(shù)據(jù)所需的空間；步驟3.2.3檢查臨時(shí)庫(kù)是否有足夠的未使用空間，如果不滿足，需檢索歸檔裝載信息鏈表，根據(jù)歸檔訪問(wèn)時(shí)間卸載臨時(shí)庫(kù)中最近未訪問(wèn)的歸檔，卸載的同時(shí)修改歸檔裝載信息鏈表和歸檔裝載信息表。當(dāng)臨時(shí)庫(kù)滿足對(duì)自由空間的要求時(shí)停止卸載操作；步驟3.2.4在臨時(shí)庫(kù)中創(chuàng)建臨時(shí)表并裝載歸檔數(shù)據(jù)文件，同時(shí)修改歸檔裝載信息表和歸檔裝載信息鏈表。
步驟4返回裝載表中滿足時(shí)間范圍的記錄。
權(quán)利要求
1.一種歷史數(shù)據(jù)查詢和歸檔裝置，其特征在于，包括歸檔備注文件、歸檔模塊和歸檔管理裝載器；所述歸檔備注文件在每完成一種類型的歸檔后，記錄所歸檔的歷史表名、歸檔字段、歸檔時(shí)間范圍和歸檔記錄數(shù)等信息；所述歸檔模塊具體完成數(shù)據(jù)的歸檔和裝載，將歸檔數(shù)據(jù)裝載到數(shù)據(jù)庫(kù)管理系統(tǒng)的臨時(shí)庫(kù)中；所述歸檔裝載管理器負(fù)責(zé)在裝載歸檔文件時(shí)，判斷臨時(shí)數(shù)據(jù)庫(kù)是否有足夠的自由空間，如果不滿足則刪除最近未使用的裝載表。
2.一種歷史數(shù)據(jù)查詢和歸檔方法，其特征在于，包括以下步驟第一步準(zhǔn)備工作；第二步歸檔歷史數(shù)據(jù)；(1)根據(jù)具體情況選擇歸檔類型、歸檔方式；(2)根據(jù)歸檔類型查找歷史表元數(shù)據(jù)信息表，得到需要?dú)w檔的歷史表和歷史表的歸檔字段，在數(shù)據(jù)庫(kù)中以表的形式保存需要?dú)w檔的歷史表、歷史表的歸檔字段及上次進(jìn)行歸檔操作的時(shí)間；(3)查找歸檔字段在此時(shí)間范圍的記錄，將記錄以文本文件的方式保存在本地硬盤上；(4)將本次歸檔的歷史表名、歸檔字段名、時(shí)間范圍、記錄數(shù)以文本文件的方式保存在歸檔備注文件中，同時(shí)修改歷史表元數(shù)據(jù)信息表中相應(yīng)歷史表的歸檔時(shí)間；第三步檢索歸檔文件(1)根據(jù)具體情況靈活選擇查詢的歸檔類型和時(shí)間范圍，形成查詢條件；(2)根據(jù)查詢條件檢索歸檔目錄下的歸檔備注文件，找出滿足條件的歸檔文件；(3)根據(jù)歸檔文件名得到裝載的數(shù)據(jù)庫(kù)表；(4)返回表中滿足條件的記錄。
3.根據(jù)權(quán)利要求2所述的歷史數(shù)據(jù)查詢和歸檔方法，其特征在于，所述第一步進(jìn)一步包括以下步驟(1)在數(shù)據(jù)庫(kù)中建立歷史表元數(shù)據(jù)信息表；(2)建立歷史表記錄限制鏈表，保存歷史表記錄大??；(3)在數(shù)據(jù)庫(kù)中建立歸檔裝載信息表；(4)建立歸檔裝載信息鏈表。
4.根據(jù)權(quán)利要求2所述的歷史數(shù)據(jù)查詢和歸檔方法，其特征在于，所述第二步(2)中，如果歸檔方式為增量歸檔，依據(jù)該信息表，得出此次歸檔的時(shí)間范圍為上次歸檔操作的時(shí)間到當(dāng)前時(shí)間；如果歸檔為全量歸檔，需歸檔所有數(shù)據(jù)，時(shí)間范圍也需包括所有數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的歷史數(shù)據(jù)查詢和歸檔方法，其特征在于，所述第三步(3)進(jìn)一步包括以下步驟(3.1)查找歸檔是否已裝載到臨時(shí)數(shù)據(jù)庫(kù)，如找到，則修改歸檔裝載信息表的訪問(wèn)時(shí)間，轉(zhuǎn)(4)；(3.2)判斷臨時(shí)數(shù)據(jù)庫(kù)是否有足夠的自由空間；(3.3)如不滿足步驟(3.2)所述條件，根據(jù)歸檔裝載信息鏈表中的各裝載數(shù)據(jù)表的訪問(wèn)時(shí)間刪除最近未訪問(wèn)的數(shù)據(jù)表，直到滿足對(duì)臨時(shí)數(shù)據(jù)庫(kù)自由空間的要求；(3.4)在臨時(shí)數(shù)據(jù)庫(kù)中創(chuàng)建數(shù)據(jù)庫(kù)表，將數(shù)據(jù)恢復(fù)到該表；(3.5)將創(chuàng)建的庫(kù)表信息加入歸檔裝載信息鏈表，并修改訪問(wèn)時(shí)間。
全文摘要
本發(fā)明公開(kāi)了一種計(jì)算機(jī)領(lǐng)域中歷史數(shù)據(jù)查詢和歸檔裝置及方法，所述方法中歸檔部分包括(1)根據(jù)具體情況選擇歸檔類型、歸檔方式；(2)根據(jù)歸檔類型查找歷史表元數(shù)據(jù)信息表得到需要?dú)w檔的歷史表和歷史表的歸檔字段；(3)查找歸檔字段在此時(shí)間范圍的記錄，將記錄以文本文件的方式保存在本地硬盤上；(4)將本次歸檔的歷史表名，歸檔字段名，時(shí)間范圍，記錄數(shù)以文本文件的方式保存在歸檔備注文件中，同時(shí)修改歷史表元數(shù)據(jù)信息表中相應(yīng)歷史表的歸檔時(shí)間。本發(fā)明克服現(xiàn)有技術(shù)中不能對(duì)部分庫(kù)表，甚至單個(gè)庫(kù)表進(jìn)行歸檔，及效率低下、容易造成數(shù)據(jù)庫(kù)中表空間滿表溢出、用戶掌握復(fù)雜的缺點(diǎn)，能夠有效對(duì)部分庫(kù)表直接查詢歸檔、高效高穩(wěn)定性而且簡(jiǎn)單。
文檔編號(hào)G06F17/30GK1783063SQ20041009625
公開(kāi)日2006年6月7日 申請(qǐng)日期2004年11月29日 優(yōu)先權(quán)日2004年11月29日
發(fā)明者郭文君 申請(qǐng)人:中興通訊股份有限公司