專利名稱：一種在嵌入式虛擬磁帶庫(kù)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)壓縮和解壓縮的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種在嵌入式虛擬磁帶庫(kù)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)壓縮和解壓縮方法和系統(tǒng)。
背景技術(shù)：
隨著信息數(shù)據(jù)快速增長(zhǎng)，數(shù)據(jù)的存儲(chǔ)、移動(dòng)以及安全性變得越來(lái)越重要，巨大的數(shù) 據(jù)量對(duì)于運(yùn)行軟件的計(jì)算機(jī)提出了更高的要求。例如對(duì)于一個(gè)具有2000個(gè)變量的中型系 統(tǒng)來(lái)說(shuō)，如果每分鐘采集一次數(shù)據(jù)，則一個(gè)小時(shí)之后，2000個(gè)變量的數(shù)據(jù)量將達(dá)到30M左 右。目前解決這一難題的有效途徑是數(shù)據(jù)的壓縮與解壓技術(shù)，即將發(fā)送端待傳輸?shù)臄?shù)據(jù)進(jìn) 行壓縮，而接收端將接收到的壓縮數(shù)據(jù)解壓以獲得原始數(shù)據(jù)。在一定的數(shù)據(jù)存儲(chǔ)空間要求 下，將相對(duì)龐大的原始數(shù)據(jù)，重組為滿足前述空間要求的數(shù)據(jù)集合，使得從該數(shù)據(jù)集合中恢 復(fù)出來(lái)的信息，能夠與原始數(shù)據(jù)相一致，或者能夠獲得與原始數(shù)據(jù)相同的使用品質(zhì)。相對(duì)于 未采用壓縮技術(shù)，采用不同的壓縮技術(shù)之后，存儲(chǔ)和傳輸中的數(shù)據(jù)會(huì)顯著縮小，網(wǎng)絡(luò)系統(tǒng)和 存儲(chǔ)系統(tǒng)的利用率因此提高。歷史數(shù)據(jù)的壓縮技術(shù)應(yīng)用，可以減輕主系統(tǒng)負(fù)荷、提高生產(chǎn)系統(tǒng)的效率，其次根據(jù) 其數(shù)據(jù)的歷史生命周期，對(duì)不同使用頻率的數(shù)據(jù)采用不同的壓縮比率進(jìn)行壓縮，在保證使 用的前提下，盡最大的可能合理壓縮數(shù)據(jù)。這種數(shù)據(jù)存儲(chǔ)方式既沒有占用大量的一級(jí)存儲(chǔ)， 節(jié)約了成本，同時(shí)也解決了低廉的二級(jí)存儲(chǔ)方案不能滿足管理查詢和分析的問題。為了在 網(wǎng)絡(luò)中傳輸數(shù)據(jù)，也必須先將數(shù)據(jù)壓縮，再進(jìn)行傳輸，否則巨大的數(shù)據(jù)包將造成系統(tǒng)長(zhǎng)時(shí)間 的等待，影響系統(tǒng)的性能穩(wěn)定。

發(fā)明內(nèi)容
本發(fā)明提供一種在嵌入式虛擬磁帶庫(kù)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)壓縮和解壓縮方法和系統(tǒng)。 虛擬磁帶庫(kù)通過壓縮和解壓縮方法，實(shí)現(xiàn)在線數(shù)據(jù)的壓縮和解壓縮。本方法包含壓縮和解 壓縮兩個(gè)過程。壓縮存在備份過程中，備份的數(shù)據(jù)通過虛擬磁帶機(jī)程序進(jìn)入硬件壓縮卡中， 壓縮卡通過壓縮芯片將數(shù)據(jù)壓縮，虛擬磁帶機(jī)程序繼續(xù)將壓縮后的數(shù)據(jù)寫入虛擬磁帶中。 解壓縮存在于數(shù)據(jù)恢復(fù)過程中，虛擬磁帶的數(shù)據(jù)被虛擬磁帶機(jī)程序讀出并傳入硬件壓縮卡 中，壓縮卡通過壓縮芯片將數(shù)據(jù)解壓縮，虛擬磁帶機(jī)程序繼續(xù)將解壓縮后的數(shù)據(jù)傳遞給存 儲(chǔ)接口。虛擬磁帶機(jī)程序通過雙壓縮隊(duì)列實(shí)現(xiàn)高性能壓縮和解壓縮。對(duì)于同樣的存儲(chǔ)空 間要求，采用壓縮處理后，實(shí)際的物理存儲(chǔ)空間能夠顯著減小，能明顯提高存儲(chǔ)空間的利用 率，同時(shí)硬盤驅(qū)動(dòng)器的數(shù)量降低，也使得整個(gè)存儲(chǔ)系統(tǒng)的可靠性得到增強(qiáng)。壓縮數(shù)據(jù)單次處理的數(shù)據(jù)長(zhǎng)度不限。設(shè)計(jì)上采用FPGA技術(shù)實(shí)現(xiàn)Soul LZM壓縮算法，F(xiàn)PGA的壓縮芯片的有多個(gè)邏輯部 分組成，包括兩個(gè)壓縮及解壓縮處理單元。壓縮和解壓縮處理流程采用異步方式，用以提高系統(tǒng)的高性能和大吞吐量，充分利用硬件壓縮卡的性能。虛擬磁帶機(jī)程序?qū)⒋龎嚎s數(shù)據(jù)加入工作描述符隊(duì)列，當(dāng)前的指令的上下問被保存在虛擬程序的工作隊(duì)列中，虛擬磁帶機(jī)隨后處理其他的SCSI指令。硬件壓 縮卡通過描述符隊(duì)列處理數(shù)據(jù)，完成后通過中段的方式通知驅(qū)動(dòng)程序，驅(qū)動(dòng)程序通知虛擬 磁帶機(jī)虛擬程序，磁帶機(jī)虛擬程序通過完成后續(xù)處理。壓縮卡驅(qū)動(dòng)實(shí)現(xiàn)了易用的接口，易于實(shí)現(xiàn)壓縮和非壓縮的兼容壓縮卡驅(qū)動(dòng)以內(nèi)核 模塊的方式存在，提供對(duì)外接口，供磁帶機(jī)虛擬程序使用。壓縮和解壓縮針對(duì)的二進(jìn)制數(shù) 據(jù)，對(duì)文本數(shù)據(jù)、圖像數(shù)據(jù)、數(shù)據(jù)庫(kù)等壓縮比例依賴算法本身。所述壓縮和解壓縮系統(tǒng)，從嵌入式虛擬磁帶庫(kù)接口獲得數(shù)據(jù)，虛擬磁帶機(jī)程序?qū)?數(shù)據(jù)傳入壓縮卡的驅(qū)動(dòng)程序，壓縮卡通過描述符隊(duì)列，對(duì)要進(jìn)行的壓縮數(shù)據(jù)進(jìn)行排隊(duì)，當(dāng)請(qǐng) 求隊(duì)列有數(shù)據(jù)時(shí)，取出隊(duì)列中的數(shù)據(jù)，壓縮處理后，放入指定的內(nèi)存之中，并中斷通知虛擬程序。本系統(tǒng)是嵌入式虛擬磁帶庫(kù)系統(tǒng)的子系統(tǒng)，主要組成部分由驅(qū)動(dòng)器虛擬程序，壓 縮卡驅(qū)動(dòng)，PCI接口的壓縮卡等構(gòu)成。本方法實(shí)施方案中包含嵌入式主板、硬件壓縮卡、嵌 入式操作系統(tǒng)、磁帶機(jī)虛擬程序等。


圖1本發(fā)明數(shù)據(jù)壓縮流程示意圖；圖2本發(fā)明系統(tǒng)壓縮卡FPGA處理芯片邏輯結(jié)構(gòu)示意圖；圖3本發(fā)明系統(tǒng)壓縮及解壓縮處理單元芯片邏輯結(jié)構(gòu)示意圖；圖4本發(fā)明系統(tǒng)壓縮異步處理時(shí)序結(jié)構(gòu)圖；圖5本發(fā)明系統(tǒng)邏輯結(jié)構(gòu)示意圖；圖6本發(fā)明實(shí)施例系統(tǒng)結(jié)構(gòu)圖。
具體實(shí)施例方式為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例的方案，下面結(jié)合附圖和實(shí)施 方式對(duì)本發(fā)明實(shí)施例作進(jìn)一步的詳細(xì)說(shuō)明。首先，參照?qǐng)D1，是本發(fā)明數(shù)據(jù)壓縮流程示意圖，主要包括以下步驟步驟101，備份數(shù)據(jù)到來(lái)。步驟102，虛擬磁帶機(jī)程序?qū)?shù)據(jù)內(nèi)存地址傳遞給硬件壓縮卡。步驟103，壓縮卡完成后將數(shù)據(jù)寫回內(nèi)存。步驟104，虛擬磁帶機(jī)程序?qū)?shù)據(jù)寫入磁盤中。參照?qǐng)D2，是本發(fā)明系統(tǒng)壓縮卡FPGA處理芯片邏輯結(jié)構(gòu)示意圖，采用FPGA實(shí)現(xiàn) Soul LZM壓縮算法，F(xiàn)PGA的壓縮芯片的有多個(gè)邏輯部分組成，主要包括以下步驟步驟201、步驟202，數(shù)據(jù)從內(nèi)存中經(jīng)過PCI控制器，被DMA單元讀入。步驟203、步驟204，處理完的數(shù)據(jù)經(jīng)過PCI控制器，被DMA單元寫到內(nèi)存中。步驟205，實(shí)現(xiàn)壓縮和解壓縮。參照?qǐng)D3，是本發(fā)明系統(tǒng)壓縮及解壓縮處理單元芯片邏輯結(jié)構(gòu)示意圖，采用FPGA 采用兩個(gè)壓縮及解壓縮處理單元，主要包括以下步驟步驟301、步驟302，壓縮解壓縮單元。
步驟303、步驟304，描述符控制單元。步驟305，DMA讀取數(shù)據(jù)單元。步驟306，DMA寫入數(shù)據(jù)單元。步驟307，內(nèi)存訪問仲裁單元。參照?qǐng)D4，是本發(fā)明系統(tǒng)壓縮異步處理時(shí)序結(jié)構(gòu)圖，異步壓縮和解壓縮處理流程，可以提高系統(tǒng)的高性能和大吞吐量，充分利用硬件壓縮卡的性能。虛擬磁帶機(jī)虛擬程序?qū)?待壓縮數(shù)據(jù)加入工作描述符隊(duì)列，當(dāng)前的指令的上下問被保存在虛擬程序的工作隊(duì)列中， 虛擬磁帶機(jī)隨后處理其他的SCSI指令。硬件壓縮卡通過描述符隊(duì)列處理數(shù)據(jù)，完成后通過 中段的方式通知驅(qū)動(dòng)程序，驅(qū)動(dòng)程序通知虛擬磁帶機(jī)虛擬程序，磁帶機(jī)虛擬程序通過完成 后續(xù)處理，主要包括以下步驟步驟401，待處理數(shù)據(jù)通過DMA傳給壓縮卡。步驟402，壓縮卡通過中斷通知壓縮卡驅(qū)動(dòng)，驅(qū)動(dòng)完成后續(xù)處理。參照?qǐng)D5，是發(fā)明系統(tǒng)邏輯結(jié)構(gòu)示意圖，主要包括以下步驟步驟501、步驟502，壓縮卡驅(qū)動(dòng)描述符隊(duì)列1，每個(gè)描述符描述需要壓縮的數(shù)據(jù)及 壓縮后的存儲(chǔ)位置。步驟503、步驟504，壓縮卡處理引擎1，實(shí)現(xiàn)硬件壓縮解壓縮邏輯。步驟505，壓縮后的數(shù)據(jù)存儲(chǔ)位置。參照?qǐng)D6，是本發(fā)明實(shí)施例系統(tǒng)結(jié)構(gòu)圖，步驟601，嵌入式虛擬磁帶庫(kù)系統(tǒng)。步驟602，嵌入式操作系統(tǒng)。以上對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體實(shí)施方式
對(duì)本發(fā)明進(jìn)行 了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的系統(tǒng)及方法；同時(shí)，對(duì)于本領(lǐng)域的 一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所 述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
一種嵌入式虛擬磁帶庫(kù)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)壓縮和解壓縮方法，其特征在于，包含壓縮和解壓縮兩個(gè)過程。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法壓縮存在備份過程中，備份的數(shù) 據(jù)通過虛擬磁帶機(jī)程序進(jìn)入硬件壓縮卡中，壓縮卡通過壓縮芯片將數(shù)據(jù)壓縮，虛擬磁帶機(jī) 程序繼續(xù)將壓縮后的數(shù)據(jù)寫入虛擬磁帶中。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述解壓縮方法存在于數(shù)據(jù)恢復(fù)過程中， 虛擬磁帶的數(shù)據(jù)被虛擬磁帶機(jī)程序讀出并傳入硬件壓縮卡中，壓縮卡通過壓縮芯片將數(shù)據(jù) 解壓縮，虛擬磁帶機(jī)程序繼續(xù)將解壓縮后的數(shù)據(jù)傳遞給存儲(chǔ)接口
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述虛擬磁帶機(jī)程序通過雙壓縮隊(duì)列實(shí) 現(xiàn)高性能壓縮和解壓縮。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)壓縮和解壓縮方法采用異步方 式處理壓縮和解壓縮流程。
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述壓縮數(shù)據(jù)單次處理數(shù)據(jù)長(zhǎng)度不限。
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)壓縮和解壓縮方法采用Soul LZM壓縮算法。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)壓縮和解壓縮方法采用FPGA技 術(shù)實(shí)現(xiàn)Soul LZM壓縮算法，F(xiàn)PGA的壓縮芯片的有多個(gè)邏輯部分組成。
9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述FPGA技術(shù)實(shí)現(xiàn)包括兩個(gè)壓縮及解壓 縮處理單元。
10.一種嵌入式虛擬磁帶庫(kù)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)壓縮和解壓系統(tǒng)，其特征在于，所述系統(tǒng)是 嵌入式虛擬磁帶庫(kù)系統(tǒng)的子系統(tǒng)，由虛擬磁帶機(jī)程序，壓縮卡驅(qū)動(dòng)和PCI接口的壓縮卡等 構(gòu)成。
11.根據(jù)權(quán)利要求10所述的方法所述系統(tǒng)，從嵌入式虛擬磁帶庫(kù)接口獲得數(shù)據(jù)，虛擬 磁帶機(jī)程序?qū)?shù)據(jù)傳入壓縮卡的驅(qū)動(dòng)程序，壓縮卡通過描述符隊(duì)列，對(duì)要進(jìn)行的壓縮數(shù)據(jù) 進(jìn)行排隊(duì)，當(dāng)請(qǐng)求隊(duì)列有數(shù)據(jù)時(shí)，取出隊(duì)列中的數(shù)據(jù)，壓縮處理后，放入指定的內(nèi)存之中，并 中斷通知虛擬程序。
12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述系統(tǒng)實(shí)施方案中包含嵌入式主板、 硬件壓縮卡、嵌入式操作系統(tǒng)、虛擬磁帶機(jī)程序等。
全文摘要
本發(fā)明提供一種在嵌入式虛擬磁帶庫(kù)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)壓縮和解壓縮方法和系統(tǒng)，包含壓縮和解壓縮兩個(gè)過程。壓縮存在備份過程中，備份的數(shù)據(jù)通過虛擬磁帶機(jī)程序進(jìn)入硬件壓縮卡中，壓縮卡通過壓縮芯片將數(shù)據(jù)壓縮，虛擬磁帶機(jī)程序繼續(xù)將壓縮后的數(shù)據(jù)寫入虛擬磁帶中。解壓縮存在于數(shù)據(jù)恢復(fù)過程中，虛擬磁帶的數(shù)據(jù)被虛擬磁帶機(jī)程序讀出并傳入硬件壓縮卡中，壓縮卡通過壓縮芯片將數(shù)據(jù)接壓縮，虛擬磁帶機(jī)程序繼續(xù)將接壓縮后的數(shù)據(jù)傳遞給存儲(chǔ)接口。本系統(tǒng)是嵌入式虛擬磁帶庫(kù)系統(tǒng)的子系統(tǒng)，由驅(qū)動(dòng)器虛擬程序，壓縮卡驅(qū)動(dòng)，PCI接口的壓縮卡等構(gòu)成，實(shí)施方案中包含嵌入式主板、硬件壓縮卡、嵌入式操作系統(tǒng)、虛擬磁帶機(jī)程序等。
文檔編號(hào)G06F3/06GK101859231SQ200910131888
公開日2010年10月13日 申請(qǐng)日期2009年4月9日 優(yōu)先權(quán)日2009年4月9日
發(fā)明者張慶敏, 胡剛, 謝海威, 鄭志文 申請(qǐng)人:北京眾志和達(dá)信息技術(shù)有限公司