專利名稱：虛擬光盤庫系統(tǒng)及虛擬光盤數據流網絡傳輸方法
技術領域：
本發(fā)明涉及一種虛擬光盤庫系統(tǒng)，以及實現虛擬光盤庫光盤數據流網絡傳輸的傳輸方法。
背景技術：
光盤作為一種存儲介質，具有存儲量大，攜帶方便，交換性強，成本低等諸多優(yōu)點，因此成為一種深受用戶歡迎且廣泛使用的存儲體。為了提高光盤的使用效率并解決光盤信息的共享問題，產生了光盤鏡像服務器技術且與推出了相關的產品。如在申請?zhí)枮?2117665.5的中國專利申請中，披露了一種直接聯網虛擬鏡像服務器的實現方法，光盤鏡像服務器通過光盤鏡像的方式把光盤的數據保存到硬盤上，使用戶能夠以訪問硬盤的速度訪問光盤，但是，由于光盤鏡像服務器只注重服務器端的技術和性能，較少考慮網絡和客戶端的技術，因此，在使用的過程中有許多不便，具體體現在以下幾個方面1、該實現方法是給每一張存儲在光盤鏡像服務器內的虛擬鏡像光盤加載虛擬設備驅動程序，這種方式占用了服務器的大量存儲空間，而且直接在服務器上虛擬驅動光盤，也大量占用了CPU的資源，加重CPU的運行負擔，導致系統(tǒng)運行速度下降，用戶響應時間長，訪問速度慢。
2、由于網絡傳輸是建立在通用的網絡傳輸協議CIFS/SMB上，CIF/SMB網絡協議雖然功能強大，但其復雜的功能會導致效率的降低，用戶響應時間長，另外對光盤共享而言，絕大多數功能沒有必要；該協議的防病毒采用網上鄰居方式，容易受到病毒攻擊；該協議只能在局域網內實現光盤數據的共享，無法實現基于TCP/IP的互聯網上共享，限制了光盤資源的使用。
3、在鏡像光盤的使用過程中，由于是通過映射網絡驅動器，采用文件級的共享使用方式，同樣導致數據傳輸效率低，同時光盤的一些物理特性丟失，導致使用上很不方便，而且一些單機版的光盤不能使用。

發(fā)明內容
為克服現有技術的不足，提供一種既可以在互聯網上共享光盤資源、對客戶端而言又完全等同于物理光驅的虛擬光盤數據流的網絡傳輸方法；為此本發(fā)明提出了以下技術方案一種虛擬光盤庫系統(tǒng)，由客戶端和服務器組成，服務器包括光盤流服務器模塊，用于對客戶端的光盤數據支持，客戶端包括光盤流客戶端模塊，用于在客戶端虛擬一個或多個光盤驅動器，直接處理客戶端的大部分光驅執(zhí)行命令，對不能執(zhí)行的命令則傳輸到所述虛擬光盤庫服務器模塊進行處理。
上述客戶端還包括管理客戶端模塊，服務器包括管理服務器模塊；服務器還包括虛擬光盤庫服務器模塊，用于對客戶端的光盤數據支持，管理客戶端模塊用于提供客戶端的管理界面，接收管理命令和數據，并將命令和數據通過TCP/IP協議發(fā)送給所述管理服務器模塊，管理服務器根據接收到的不同命令執(zhí)行不同的處理程序，并將結果返回管理客戶端模塊顯示。
上述服務器端還包括光盤鏡像模塊和磁盤管理模塊；光盤鏡像模塊用于監(jiān)測服務器的光盤驅動器，對新光盤按照不同的光盤類型和配置策略，進行不同的鏡像處理；磁盤管理模塊用于在服務器啟動時自動檢測物理磁盤的信息，對新的物理磁盤進行分區(qū)和格式化操作，并加載檢測到的已經分區(qū)和格式化的物理磁盤。
本發(fā)明同時提出了一種虛擬光盤數據流的網絡傳輸方法直接在客戶端虛擬光盤驅動器，由虛擬光驅直接處理接收到的大部分SCSI命令，對虛擬光驅不能處理的SCSI命令才傳輸到服務器端進行處理。
其數據傳輸過程包括以下步驟(1)用戶程序通過Windows API接口向操作系統(tǒng)發(fā)送請求；(2)操作系統(tǒng)將接收到的命令轉換為SCSI命令發(fā)給虛擬光盤驅動；(3)虛擬光盤驅動器對收到的命令進行判斷，能夠處理的直接虛擬一個結果，然后將其返回操作系統(tǒng)；不能夠虛擬處理的命令轉發(fā)給網絡TCP層；(4)網絡TCP層再將客戶端虛擬光驅不能處理的SCSI命令發(fā)給光盤流服務器；(5)光盤流服務器處理前述SCSI命令，并將結果返回給客戶端的網絡TCP層；(6)網絡TCP層再將結果返回虛擬光盤驅動；(7)虛擬光盤驅動再將結果返回操作系統(tǒng)；(8)操作系統(tǒng)再將結果返回給用戶程序。
上述光盤流服務器還建立有Cache及Cache管理模塊、訪問控制模塊；當客戶端需要請求服務器上的光盤數據時，它通過網絡向服務器發(fā)送請求；服務器上的網絡TCP層接收到客戶端的請求后，將請求轉發(fā)給訪問控制模塊；訪問控制模塊接收到客戶端的請求后，進行合法性驗證，如果通過就將請求發(fā)給Cache管理模塊；Cache管理模塊接收到請求后，首先查詢Cache，如果Cache不命中，就從磁盤將光盤文件數據讀入Cache中，將請求的數據發(fā)給網絡TCP層；如果Cache命中，將請求的數據發(fā)給網絡TCP層；網絡TCP層再將請求的數據發(fā)送給客戶端。
由于本發(fā)明的虛擬光盤數據流的網絡傳輸方法，在客戶端虛擬光盤驅動器，能夠在客戶端計算機上虛擬一系列光驅，這些光驅可以完全等同物理光驅，且能夠實時地將遠程虛擬光盤庫上的光盤鏡像文件映射到虛擬光驅上；這樣，用戶使用虛擬光盤庫上的光盤就如同使用本地光盤一樣，有一些特殊的光盤，它們只能夠在本地物理光盤驅動器上使用，導致在以前的光盤鏡像服務器不能夠使用，通過采用虛擬化技術，能夠完全支持這些光盤。
其網絡傳輸協議是基于TCP/IP網絡協議，能夠有效地阻止病毒的攻擊；避免了以前使用SMB協議訪問服務器響應時間長的問題；只要光盤流服務器上的虛擬光盤庫連接到Internet上，任何Internet上的計算機都能夠訪問服務器，完全沒有地域限制，實現真正的光盤資源共享。
由于本發(fā)明提供了管理客戶端模塊和管理服務器模塊，可以方便地實現系統(tǒng)的各項管理功能，如用戶管理、計費服務等；采用光盤鏡像模塊實現了完全自動鏡像功能，而磁盤管理模塊允許自動監(jiān)測存儲空間的擴展，大大減少了人為干預，提高效率。


圖1虛擬光盤庫系統(tǒng)模塊劃分圖；圖2IoMeter測試小于128字節(jié)的包百分比柱形圖；圖3光盤流協議小于128字節(jié)的包百分比柱形圖；圖4客戶端同服務器連接建立與斷開過程圖；
圖5光盤流協議用戶請求處理過程圖；圖6客戶端請求在服務器上的處理過程流程圖；具體實施方式
為進一步說明本發(fā)明的傳輸方法，以下結合附圖進行詳細描述。
如圖1所示的虛擬光盤庫系統(tǒng)，按照功能可以劃分為六個模塊光盤流客戶端模塊，光盤流服務器模塊，管理客戶端模塊，管理服務器模塊，光盤鏡像模塊，磁盤管理模塊。
光盤流客戶端模塊主要功能是在用戶的客戶端計算機上虛擬一個或多個光盤驅動器，用戶訪問此光盤驅動器上的光盤時，操作系統(tǒng)就光盤流客戶端提供的服務接口，此接口接收到操作系統(tǒng)的請求后，就將此請求轉發(fā)給光盤流服務器程序，并將光盤流服務器程序返回的光盤數據返回給操作系統(tǒng)，操作系統(tǒng)就將此光盤數據返回給用戶程序，從而完成虛擬光盤驅動的工作。
光盤流服務器模塊負責對光盤流客戶端的光盤數據支持，它采用多線程的方式支持多用戶同時訪問，對每一個用戶連接，都創(chuàng)建一個對應的處理線程，來處理此用戶的請求，同時它還提供對用戶的按照訪問時間計費，而且支持對用戶進行流量限制，同時支持對用戶IP的限制。并采用Cache技術來提高整體性能。
管理客戶端模塊負責給管理員提供一個客戶端的管理界面，它接收管理員的命令和數據，并將命令和數據通過TCP協議發(fā)送給管理服務器，并負責顯示管理服務器返回的結果。
管理服務器模塊負責接收管理客戶端的命令和數據，根據不同命令執(zhí)行不同的處理程序，并將執(zhí)行的結果返回管理客戶端。
光盤鏡像模塊負責監(jiān)測服務器的光盤驅動器，如果發(fā)現一張新光盤，就按照不同的光盤類型和管理員不同的配置策略，進行不同的鏡像處理。
磁盤管理模塊在服務器啟動時自動執(zhí)行，檢測物理磁盤的信息，如果發(fā)現新的磁盤，或者根據管理員的設置能夠對物理磁盤進行自動分區(qū)和格式化操作，此功能方便管理員在服務器上添加新的磁盤。
原來的SMB用戶響應時間長，我們針對自己的特點自定義一種網絡傳輸協議，用來實現客戶端虛擬光盤啟動程序到光盤服務器之間的數據通信。同時自己開發(fā)的數據流服務器程序能夠實現更加靈活的管理，實現用戶的靈活權限共享，能夠實現用戶流量限制和用戶訪問計費等功能。
目前用于IP存儲的協議主要有iSCSI、SEP(SCSI封裝協議)、FCIP。iSCSI可以看作是SCSI協議的擴展，它的出現大大拓寬了SCSI協議的應用范圍。SCSI協議是一種的廣泛應用的工業(yè)標準，但是傳統(tǒng)的SCSI協議有以下缺點使之不適合構建存儲網絡1、SCSI是點對點的、直接相連的計算機到存儲器的設備接口，不適用于主機到存儲器的存儲網絡通訊；2、SCSI總線的長度被限制在25米以內，對于Ultra SCSI長度限制為12米，不適于構造各種網絡拓撲結構；3、SCSI總線上設備數限制為15，不適用于多服務器對多存儲設備的網絡結構。
iSCSI協議的出現很好的解決了上述問題。iSCSI協議定義的是SCSI到TCP/IP的映射，即將主機的SCSI命令封裝成IP數據包，在IP網絡上傳輸，到達目的節(jié)點后，再恢復成封裝前的SCSI命令，從而實現SCSI命令在IP網絡上的直接、透明傳輸。由于TCP/IP協議的飛速發(fā)展，iSCSI協議已經成為構建IP-SAN的重要協議。
iSCSI協議實質是在一個IP隧道上跑SCSI命令，它要求Target端是一個SCSI設備，是一種SCSI遠程過程調用模型，對所有的Initiator端的SCSI命令不進行任何處理。這樣，因為SCSI命令中有很多控制命令，這些命令的包都很小，另一方面，在網絡上傳輸小包比較浪費網絡物理帶寬，圖2是采用IoMeter測試工具對iSCSI協議測試得到的IP包長度分布的情況，每種長度的測試時間為10分鐘，讀70％寫30％。通過圖2可以看出將近一半的網絡包小于127字節(jié)，而以太網數據包最大長度為1518字節(jié)，在這個范圍內，大包同小包的傳輸時間基本上沒有很大差別。
針對光盤流服務器的特定應用，為了提高網絡傳輸的性能，采用簡化iSCSI協議的方法，設計了一個高性能的光盤流協議，主要方法是通過采用虛擬技術，在客戶端虛擬SCSI光盤驅動器，并將接收到的大部分能夠處理的SCSI命令在客戶端直接處理，只有讀光盤數據等少數幾個客戶端不能夠處理的命令才傳輸到服務器端。這樣，能夠大大減少網絡傳輸過程中的小的數據包，從而減少傳輸時間。圖3是對光盤流協議測試得到的IP包長度分布的情況。
客戶端同服務器連接建立與斷開過程如圖4。首先，在客戶端虛擬光驅程序啟動時創(chuàng)建一個工作線程，同樣，服務器程序啟動時創(chuàng)建一個網絡監(jiān)聽主線程。當虛擬光驅工作線程啟動后，它主動連接服務器指定的端口，服務器主線程同時在此端口接收客戶端的連接，并為此連接創(chuàng)建一個對應的處理線程，下面的對應此連接的處理工作就由此處理線程完成，這樣雙方就能夠創(chuàng)建一個連接，如步驟(1)；當連接成功后，客戶端就向服務器發(fā)送登錄命令，如步驟(2)；服務器端接收到登錄命令后，進行用戶驗證，驗證通過就向客戶端發(fā)登錄的確認信息，如步驟(3)；到此，客戶端同服務器連接建立過程就完成。然后，客戶端就可以循環(huán)向服務器發(fā)送命令，并得到服務器的返回結果，如步驟(4)；當客戶端需要斷開連接時，它首先向服務器發(fā)送退出命令，如步驟(5)；服務器接收到退出命令后，釋放此連接所占用的資源，并向客戶端發(fā)送確認信息，如步驟(6)，服務器此連接的處理線程就主動退出，同時，客戶端接收到退出的確認信息后，虛擬光驅工作線程也主動退出，到此，整個連接的斷開過程就完成。
請求數據流傳輸的處理過程如圖5，用戶程序通過Windows API接口向操作系統(tǒng)發(fā)送請求，如步驟(1)；操作系統(tǒng)將接收到的命令轉換為SCSI命令發(fā)給虛擬光盤驅動，如步驟(2)；虛擬光盤驅動采用虛擬技術將收到的命令能夠處理的直接虛擬一個結果，然后將其返回操作系統(tǒng)，如步驟(7)；只有READ_CD、READ_TOC、READ_CAPACITY等少數幾個不能夠虛擬處理的命令轉發(fā)給網絡TCP層，如步驟(3)；網絡TCP層再將READ_CD等SCSI命令發(fā)給光盤流服務器，如步驟(4)；光盤流服務器處理READ_CD等SCSI命令，并將結果返回給客戶端的網絡TCP層，如步驟(5)；網絡TCP層再將結果返回虛擬光盤驅動，如步驟(6)；虛擬光盤驅動再將將結果返回操作系統(tǒng)，如步驟(7)；最后，操作系統(tǒng)再將結果返回給用戶程序，如步驟(8)，至此，用戶的一個請求過程完成。
服務器處理客戶端請求的過程如圖6，當客戶端需要請求服務器上的光盤數據時，它通過網絡向服務器發(fā)送請求，如步驟(1)；服務器上的網絡TCP層接收到客戶端的請求后，將請求轉發(fā)給訪問控制模塊，如步驟(2)；訪問控制模塊接收到客戶端的請求后，進行合法性驗證，如果通過就將請求發(fā)給Cache管理模塊，如步驟(3)；Cache管理模塊接收到請求后，首先查詢Cache，如果Cache不命中，就從磁盤將光盤文件數據讀入Cache中，如步驟(4)；然后，將請求的數據發(fā)給網絡TCP層，如步驟(5)，如果Cache命中，就直接執(zhí)行步驟(5)；網絡TCP層再將請求的數據發(fā)送給客戶端，如步驟(6)，客戶端收到請求的數據，完成一次請求過程。
權利要求
1.一種虛擬光盤庫系統(tǒng)，由客戶端和服務器組成，所述服務器包括光盤流服務器模塊，用于對客戶端的光盤數據支持，其特征在于所述客戶端包括光盤流客戶端模塊，用于在客戶端虛擬一個或多個光盤驅動器，直接處理客戶端的大部分光驅執(zhí)行命令，對不能執(zhí)行的命令則傳輸到所述光盤流服務器模塊進行處理。
2.根據權利要求1所述的虛擬光盤庫系統(tǒng)，其特征在于所述客戶端還包括管理客戶端模塊，所述服務器還包括管理服務器模塊；所述管理客戶端模塊用于提供客戶端的管理介面，接收管理命令和數據，并將命令和數據通過TCP/IP協議發(fā)送給所述管理服務器模塊，所述管理服務器根據接收到的不同命令執(zhí)行不同的處理程序，并將結果返回所述管理客戶端模塊顯示。
3.根據權利要求2所述的虛擬光盤庫系統(tǒng)，其特征在于所述服務器端還包括光盤鏡像模塊，所述光盤鏡像模塊用于監(jiān)測服務器的光盤驅動器，對新光盤按照不同的光盤類型和配置策略，進行不同的鏡像處理。
4.根據權利要求2或3所述的虛擬光盤庫系統(tǒng)，其特征在于所述服務器端還包括磁盤管理模塊，所述磁盤管理模塊用于在服務器啟動時自動檢測物理磁盤的信息，對新的物理磁盤進行分區(qū)和格式化操作，并加載檢測到的已經分區(qū)和格式化的物理磁盤。
5.根據權利要求1-3中任一項所述的虛擬光盤庫系統(tǒng)，其特征在于所述光盤流服務器包括Cache、Cache管理模塊、訪問控制模塊；服務器上的網絡TCP層接收到客戶端的請求后，將請求轉發(fā)給訪問控制模塊；訪問控制模塊接收到客戶端的請求后，進行合法性驗證，如果通過就將請求發(fā)給Cache管理模塊；Cache管理模塊接收到請求后，首先查詢Cache，如果Cache不命中，就從磁盤將光盤文件數據讀入Cache中，將請求的數據發(fā)給網絡TCP層；如果Cache命中，將請求的數據發(fā)給網絡TCP層；網絡TCP層再將請求的數據發(fā)送給客戶端。
6.一種虛擬光盤數據流的網絡傳輸方法，其特征在于直接在客戶端虛擬光盤驅動器，直接處理接收到的大部分SCSI命令，對虛擬光驅不能處理的SCSI命令才傳輸到服務器端進行處理。
7.根據權利要求6所述的一種虛擬光盤數據流的網絡傳輸方法，其特征在于，傳輸過程包括以下步驟(1)用戶程序通過Windows API接口向操作系統(tǒng)發(fā)送請求；(2)操作系統(tǒng)將接收到的命令轉換為SCSI命令發(fā)給虛擬光盤驅動；(3)虛擬光盤驅動對收到的命令進行判斷，能夠處理的直接虛擬一個結果，然后將其返回操作系統(tǒng)；不能夠虛擬處理的命令轉發(fā)給網絡TCP層；(4)網絡TCP層再將客戶端虛擬光盤驅動不能處理的SCSI命令發(fā)給光盤流服務器；(5)光盤流服務器處理前述SCSI命令，并將結果返回給客戶端的網絡TCP層；(6)網絡TCP層再將結果返回虛擬光盤驅動；(7)虛擬光盤驅動再將結果返回操作系統(tǒng)；(8)操作系統(tǒng)再將結果返回給用戶程序。
8.根據權利要求7所述的一種虛擬光盤數據流的網絡傳輸方法，其特征在于所述光盤服務器還建立有Cache及Cache管理模塊、訪問控制模塊；當客戶端需要請求服務器上的光盤數據時，它通過網絡向服務器發(fā)送請求；服務器上的網絡TCP層接收到客戶端的請求后，將請求轉發(fā)給訪問控制模塊；訪問控制模塊接收到客戶端的請求后，進行合法性驗證，如果通過就將請求發(fā)給Cache管理模塊；Cache管理模塊接收到請求后，首先查詢Cache，如果Cache不命中，就從磁盤將光盤文件數據讀入Cache中，將請求的數據發(fā)給網絡TCP層；如果Cache命中，將請求的數據發(fā)給網絡TCP層；網絡TCP層再將請求的數據發(fā)送給客戶端。
全文摘要
本發(fā)明公開了一種虛擬光盤庫系統(tǒng)及虛擬光盤數據流的網絡傳輸方法，系統(tǒng)由客戶端和服務器組成，客戶端包括光盤流客戶端模塊，用于在客戶端虛擬一個或多個光盤驅動器，直接處理客戶端的大部分光驅執(zhí)行命令，對不能執(zhí)行的命令則傳輸到光盤流服務器模塊，在客戶端計算機上的虛擬一系列光驅可以完全等同物理光驅，且能夠實時地將遠程虛擬光盤庫上的光盤鏡像文件映射到虛擬光驅上；這樣，用戶使用光盤流服務器虛擬光盤庫上的光盤就如同使用本地光盤一樣方便、快捷；網絡傳輸協議是基于TCP/IP網絡協議，任何Internet上的計算機都能夠訪問服務器，完全沒有地域限制，實現真正的光盤資源共享。
文檔編號G06F12/08GK1545037SQ20031011094
公開日2004年11月10日 申請日期2003年11月10日 優(yōu)先權日2003年11月10日
發(fā)明者譚志虎, 萬繼光, 劉瑞芳, 謝長勇, 謝長生, 楊慶, 寧劍 申請人:深圳市東湖存儲技術有限公司