欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種文件下載系統(tǒng)及文件下載方法與流程

文檔序號:11138867閱讀:308來源:國知局
一種文件下載系統(tǒng)及文件下載方法與制造工藝

本發(fā)明文件傳輸技術(shù)領(lǐng)域,尤其是一種文件下載系統(tǒng)及文件下載方法。



背景技術(shù):

用戶在使用超級計算中心的計算資源進行計算時,一般輸出的結(jié)果文件會比較大(達到數(shù)GB、甚至TB),通常用戶需要將這些結(jié)果文件下載到本地來使用。鑒于超級計算中心的網(wǎng)絡(luò)特點,用戶和超級計算中心之間通過建立固定的VPN鏈路進行通訊,故用戶與超級計算中心間的文件傳輸也只能采用scp/winscp、ftp這樣的單線程下載工具,對于單個大文件來說,單線程的下載方式耗時太長,效率過低。

目前常見的一種單線程下載文件的改進方法,如圖1所示,超級計算中心與客戶端之間通過固定的VPN鏈路進行通訊(在圖中以矩形框表示VPN通道),當要下載文件時,先在超級計算中心端對文件進行分片,例如將一個大文件分片處理得到4個分片文件,然后用戶再使用諸如scp/winscp、ftp這樣的工具,分別下載多個分片文件,當所有的分片文件都下載到本地后,組裝得到大文件。這樣的做法雖然解決了單線程下載的問題,但受制于VPN鏈路,所有的分片文件都必須通過僅有的一條VPN通道進行傳輸,無法進一步提升文件傳輸效率。



技術(shù)實現(xiàn)要素:

為此,本發(fā)明提供了一種文件下載系統(tǒng)及文件下載方法,以力圖解決或者至少緩解上面存在的至少一個問題。

根據(jù)本發(fā)明的一個方面,提供了一種文件下載系統(tǒng),包括:客戶端,適于向超級計算中心發(fā)送文件下載請求、還適于根據(jù)超級計算中心返回的第一消息從超級計算中心下載第一個分片文件和分片文件映射表;超級計算中心,包括:連接管理單元,適于接收客戶端發(fā)送的文件下載請求;控制單元,適于在接收到文件下載請求后,根據(jù)預定規(guī)則對所請求下載的文件進行分片處理得到多個分片文件,并生成分片文件映射表以存儲各個分片文件在所請求下載的文件中的位置;連接管理單元還適于發(fā)送第一消息給客戶端,其中第一消息包括第一個分片文件和分片文件映射表的下載地址,還適于將除第一個分片文件外的其他分片文件分別發(fā)送至對應(yīng)的文件緩存服務(wù)器、并在每個分片文件在相應(yīng)文件緩存服務(wù)器上緩存之后發(fā)送第二消息給調(diào)度服務(wù)器,其中第二消息包括該分片文件在相應(yīng)文件緩存服務(wù)器上的地址;調(diào)度服務(wù)器,適于在接收到第二消息后,生成對應(yīng)分片文件的下載地址、并發(fā)送下載地址給客戶端以響應(yīng)客戶端對分片文件緩存進度的查詢;多個文件緩存服務(wù)器,每個文件緩存服務(wù)器適于分別存儲由超級計算中心發(fā)送的各分片文件;客戶端還適于在接收到分片文件映射表后向調(diào)度服務(wù)器發(fā)送查詢請求,以及在接收到由調(diào)度服務(wù)器發(fā)送的下載地址時,根據(jù)該下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件,并根據(jù)分片文件映射表拼接第一個分片文件及所下載的其他分片文件,以得到完整的下載文件。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,超級計算中心以第一網(wǎng)絡(luò)連接方式與客戶端、文件緩存服務(wù)器和調(diào)度服務(wù)器分別建立連接;以及客戶端以第二網(wǎng)絡(luò)連接方式與調(diào)度服務(wù)器和文件緩存服務(wù)器分別建立連接。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,第一網(wǎng)絡(luò)連接方式的速度小于第二網(wǎng)絡(luò)連接方式的速度;以及第一網(wǎng)絡(luò)連接方式是虛擬專用網(wǎng)絡(luò)連接。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,在超級計算中心中,控制單元還適于判斷所請求下載的文件大小是否大于閾值,若大于閾值則對所述文件進行分片處理得到第一數(shù)目個分片文件,其中,第一數(shù)目根據(jù)文件緩存服務(wù)器的數(shù)目得到。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,在超級計算中心中,控制單元還適于根據(jù)預置分片大小對所述文件進行分片處理,得到至少一個分片文件。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,在超級計算中心中,控制單元還適于為每個分片文件生成校驗碼以作為該分片文件的文件名,并在分片文件映射表中與分片文件的位置關(guān)聯(lián)存儲。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,調(diào)度服務(wù)器還適于在接收到第二消息時,根據(jù)分片文件的文件名和該分片文件所在的文件緩存服務(wù)器的地址生成下載地址。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,客戶端還適于根據(jù)下載地址指向的文件緩存服務(wù)器的地址從該文件緩存服務(wù)器下載該分片文件。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,客戶端還適于在接收到分片文件映射表后向調(diào)度服務(wù)器發(fā)送查詢請求包括:客戶端還適于向調(diào)度服務(wù)器查詢多個分片文件的緩存進度,直到接收到由調(diào)度服務(wù)器發(fā)送的下載地址為止。

可選地,在根據(jù)本發(fā)明的文件下載系統(tǒng)中,客戶端還適于查找分片文件映射表中是否存在所下載分片文件的校驗碼;若存在則按照分片文件映射表中存儲的位置信息拼接分片文件;以及若不存在則重新下載對應(yīng)的分片文件。

根據(jù)本發(fā)明的又一方面,提供了一種文件下載方法,該方法在文件下載系統(tǒng)中執(zhí)行,該系統(tǒng)包括客戶端、超級計算中心、調(diào)度服務(wù)器和多個文件緩存服務(wù)器,該方法包括步驟:超級計算中心接收到由客戶端發(fā)送的文件下載請求時,根據(jù)預定規(guī)則對所請求下載的文件進行分片處理得到多個分片文件;超級計算中心生成分片文件映射表以存儲各個分片文件在所請求下載的文件中的位置;超級計算中心發(fā)送第一消息給所述客戶端,其中,第一消息包括第一個分片文件和分片文件映射表的下載地址,以便客戶端根據(jù)第一消息下載第一個分片文件和分片文件映射表;超級計算中心將除第一個分片文件外的其他分片文件分別發(fā)送至對應(yīng)的文件緩存服務(wù)器;超級計算中心在每個分片文件在相應(yīng)文件緩存服務(wù)器上緩存之后發(fā)送第二消息給所述調(diào)度服務(wù)器,以便調(diào)度服務(wù)器生成該分片文件的下載地址、并發(fā)送該下載地址給客戶端以響應(yīng)客戶端對分片文件緩存進度的查詢,其中第二消息包括該分片文件在相應(yīng)文件緩存服務(wù)器上的地址;客戶端在接收到分片文件映射表后向調(diào)度服務(wù)器發(fā)送查詢請求;客戶端在接收到由調(diào)度服務(wù)器發(fā)送的下載地址時,根據(jù)該下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件;以及客戶端根據(jù)分片文件映射表拼接第一個分片文件及所下載的其他分片文件,得到完整的下載文件。

可選地,在根據(jù)本發(fā)明的文件下載方法中,還包括步驟:超級計算中心分別以第一網(wǎng)絡(luò)連接方式與客戶端、文件緩存服務(wù)器和調(diào)度服務(wù)器建立連接;以及客戶端分別以第二網(wǎng)絡(luò)連接方式與調(diào)度服務(wù)器和文件緩存服務(wù)器建立連接。

可選地,在根據(jù)本發(fā)明的文件下載方法中,第一網(wǎng)絡(luò)連接方式的速度小于第二網(wǎng)絡(luò)連接方式的速度;以及第一網(wǎng)絡(luò)連接方式是虛擬專用網(wǎng)絡(luò)連接。

可選地,在根據(jù)本發(fā)明的文件下載方法中,超級計算中心根據(jù)預定規(guī)則對所請求下載文件進行分片處理得到多個分片文件的步驟包括:超級計算中心判斷所請求下載的文件大小是否大于閾值,若大于閾值則對所述文件進行分片處理得到第一數(shù)目個分片文件,其中,第一數(shù)目根據(jù)文件緩存服務(wù)器的數(shù)目得到。

可選地,在根據(jù)本發(fā)明的文件下載方法中,超級計算中心根據(jù)預定規(guī)則對所請求下載文件進行分片處理得到多個分片文件的步驟包括:超級計算中心根據(jù)預置分片大小對文件進行分片處理,得到至少一個分片文件。

可選地,在根據(jù)本發(fā)明的文件下載方法中,超級計算中心生成分片文件映射表以存儲各個分片文件在所請求下載的文件中的位置的步驟還包括:超級計算中心為每個分片文件生成校驗碼以作為該分片文件的文件名,并在分片文件映射表中與分片文件的位置關(guān)聯(lián)存儲。

可選地,在根據(jù)本發(fā)明的文件下載方法中,在超級計算中心發(fā)送第二消息給調(diào)度服務(wù)器的步驟之后,還包括步驟:調(diào)度服務(wù)器根據(jù)分片文件的文件名和該分片文件所在的文件緩存服務(wù)器的地址生成下載地址。

可選地,在根據(jù)本發(fā)明的文件下載方法中,客戶端根據(jù)該下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件的步驟包括:客戶端根據(jù)下載地址指向的文件緩存服務(wù)器的地址從該文件緩存服務(wù)器下載對應(yīng)的分片文件。

可選地,在根據(jù)本發(fā)明的文件下載方法中,客戶端在接收到分片文件映射表后向調(diào)度服務(wù)器發(fā)送查詢請求的步驟包括步驟:客戶端向調(diào)度服務(wù)器查詢多個分片文件的緩存進度,直到接收到由調(diào)度服務(wù)器發(fā)送的下載地址為止。

可選地,在根據(jù)本發(fā)明的文件下載方法中,在客戶端根據(jù)下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件的步驟之后,還包括步驟:客戶端查找分片文件映射表中是否存在所下載分片文件的校驗碼;若存在則按照分片文件映射表中存儲的位置拼接分片文件;以及若不存在則重新下載對應(yīng)的分片文件。

根據(jù)本發(fā)明的文件下載方案,在具有超級計算中心這樣的VPN鏈路環(huán)境中進行文件下載時,先對單個大文件進行分片處理,將各個分片文件緩存到多個文件緩存服務(wù)器上,再經(jīng)由這多個文件緩存服務(wù)器將各個分片文件并行地傳送給客戶端。既突破了單一VPN鏈路的限制,又支持多線程下載,最大限度地提升了文件下載的效率。

附圖說明

為了實現(xiàn)上述以及相關(guān)目的,本文結(jié)合下面的描述和附圖來描述某些說明性方面,這些方面指示了可以實踐本文所公開的原理的各種方式,并且所有方面及其等效方面旨在落入所要求保護的主題的范圍內(nèi)。通過結(jié)合附圖閱讀下面的詳細描述,本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。遍及本公開,相同的附圖標記通常指代相同的部件或元素。

圖1示出了現(xiàn)有單線程下載文件的改進方案的示意圖;

圖2示出了根據(jù)本發(fā)明一個實施例的文件下載系統(tǒng)200的示意圖;以及

圖3示出了根據(jù)本發(fā)明一個實施例的文件下載系統(tǒng)200執(zhí)行文件下載方法300的交互圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例,然而應(yīng)當理解,可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。

圖2示出了根據(jù)本發(fā)明一個實施例的文件下載系統(tǒng)200的示意圖。

如圖2所示,該系統(tǒng)200包括:客戶端210、超級計算中心220、調(diào)度服務(wù)器230和多個文件緩存服務(wù)器240,超級計算中心220布置在遠程的計算集群,用以執(zhí)行客戶端210提交的作業(yè),并生成作業(yè)運行的結(jié)果文件,本發(fā)明對系統(tǒng)200內(nèi)各部件的數(shù)量不作限制。其中,超級計算中心220以第一網(wǎng)絡(luò)連接方式與客戶端210、多個文件緩存服務(wù)器240和調(diào)度服務(wù)器230分別建立連接,客戶端210以第二網(wǎng)絡(luò)連接方式與調(diào)度服務(wù)器230和文件緩存服務(wù)器240分別建立連接。

根據(jù)本發(fā)明的實施方式,由于超級計算中心220網(wǎng)絡(luò)隔離,故超級計算中心220只能通過VPN鏈路(即,第一網(wǎng)絡(luò)連接方式)與客戶端210進行通訊,為進一步突破VPN通訊鏈路的限制,讓文件的一部分可以通過普通的互聯(lián)網(wǎng)鏈路進行多線程的下載,在超級計算中心220和客戶端210之間布置了多個文件緩存服務(wù)器240,多個文件緩存服務(wù)器240與超級計算中心220之間仍通過VPN鏈路進行通訊,但多個文件緩存服務(wù)器240與多個客戶端210之間采用普通的互聯(lián)網(wǎng)鏈路(即,第二網(wǎng)絡(luò)連接方式)進行通訊。同時,增加調(diào)度服務(wù)器230,用于監(jiān)控文件的緩存進度,同樣地,調(diào)度服務(wù)器230與客戶端210之間采用普通的互聯(lián)網(wǎng)鏈路通訊,與超級計算中心210之間采用VPN鏈路通訊。

由于通過VPN鏈路進行通訊(如,下載文件)的速度小于通過普通互聯(lián)網(wǎng)鏈路(如,HTTP協(xié)議)進行通訊的速度,故,若客戶端210不是直接從超級計算中心220上下載結(jié)果文件,而是從文件緩存服務(wù)器240上下載文件,將能大大提高文件下載的速度。

概括來講,在系統(tǒng)200中,客戶端210向超級計算中心220發(fā)送文件下載請求。

超級計算中心220按照一系列規(guī)則對請求下載的文件進行分片,并記載各分片文件的位置,而后將各分片文件發(fā)送給對應(yīng)的每個文件緩存服務(wù)器240。

文件緩存服務(wù)器240分別存儲由超級計算中心220發(fā)送的各分片文件。

調(diào)度服務(wù)器230監(jiān)控各分片文件的緩存進度,在接收到超級計算中心220發(fā)送的某一分片文件在相應(yīng)文件緩存服務(wù)器上的地址(即,第二消息)時,作為對客戶端210查詢分片文件緩存進度的響應(yīng),生成該分片文件的下載地址給客戶端210,以便客戶端210去文件緩存服務(wù)器240上下載該分片文件。

客戶端210在接收到分片文件映射表后,向調(diào)度服務(wù)器230查詢多個分片文件的緩存進度,直到接收到由調(diào)度服務(wù)器發(fā)送的下載地址為止。

客戶端210將下載的各分片文件依其位置信息進行拼接,最終得到完整的下載文件。

根據(jù)本發(fā)明的實施方式,超級計算中心220包括:連接管理單元222和控制單元224,如圖2所示。

其中,連接管理單元222接收客戶端210發(fā)送的文件下載請求??刂茊卧?24在接收到文件下載請求后,根據(jù)預定規(guī)則對所請求下載的文件進行分片處理得到多個分片文件,并生成分片文件映射表以存儲各個分片文件在所請求下載的文件中的位置。

根據(jù)本發(fā)明的一個實施例,控制單元224判斷所請求下載的文件大小是否大于閾值,若大于閾值則對該文件進行分片處理得到第一數(shù)目個分片文件,其中,第一數(shù)目根據(jù)文件緩存服務(wù)器240的數(shù)目得到。例如,設(shè)置當文件大小超過200M時就對文件進行分片,并且參考文件緩存服務(wù)器240的數(shù)目,若文件緩存服務(wù)器240有n個,則將文件分成(n+1)個分片。

或者,控制單元224根據(jù)預置分片大小對文件進行分片處理,得到至少一個分片文件。例如,設(shè)置固定的分片大小為200M,則按照每片200M大小對文件進行分片,要注意的是,最后一個分片可能會小于200M。

可選地,分片文件映射表中可以存儲分片文件序號作為分片文件的位置信息。控制單元224為每個分片文件生成校驗碼以作為該分片文件的文件名,并在分片文件映射表中與分片文件的位置關(guān)聯(lián)存儲。如表1示例性地給出一個分片文件映射表的示例。本發(fā)明對分片文件生成校驗碼的方式不做限制。

表1文件映射表

連接管理單元222發(fā)送第一消息給客戶端210,其中第一消息包括第一個分片文件和分片文件映射表的下載地址。

客戶端210根據(jù)超級計算中心220返回的第一消息從超級計算中心220下載第一個分片文件和分片文件映射表。

連接管理單元222將除第一個分片文件外的其他分片文件分別發(fā)送至對應(yīng)的文件緩存服務(wù)器240。

客戶端210在接收到分片文件映射表后還會向調(diào)度服務(wù)器230發(fā)送查詢請求,查詢多個分片文件的緩存進度,知道接收到調(diào)度服務(wù)器230發(fā)送的下載地址為止。

同時,連接管理單元222在每個分片文件在相應(yīng)文件緩存服務(wù)器上緩存之后發(fā)送第二消息給調(diào)度服務(wù)器230,其中第二消息包括該分片文件在相應(yīng)文件緩存服務(wù)器240上的地址。

根據(jù)本發(fā)明的一個實施例,客戶端210還可以查找分片文件映射表中是否存在所下載分片文件的校驗碼:若存在則按照分片文件映射表中存儲的位置信息拼接分片文件;若不存在則重新下載對應(yīng)的分片文件。

下面將更為詳細地介紹系統(tǒng)200在執(zhí)行文件下載方法時的流程。圖3示出了根據(jù)本發(fā)明一個實施例的在文件下載系統(tǒng)200中執(zhí)行文件下載方法300的交互圖。

如圖3所示,在步驟S301中,客戶端210發(fā)送文件下載請求給超級計算中心220。

隨后在步驟S302中,超級計算中心220接收到由客戶端210發(fā)送的文件下載請求,根據(jù)預定規(guī)則對所請求下載的文件進行分片處理得到多個分片文件,并且,超級計算中心220生成分片文件映射表以存儲各個分片文件在所請求下載的文件中的位置。

根據(jù)本發(fā)明的一個實施例,預定規(guī)則是,判斷所請求下載的文件大小是否大于閾值,若大于閾值則對該文件進行分片處理得到第一數(shù)目個分片文件,其中,第一數(shù)目根據(jù)文件緩存服務(wù)器240的數(shù)目得到。例如,設(shè)置當文件大小超過200M時就對文件進行分片,并且參考文件緩存服務(wù)器240的數(shù)目,若文件緩存服務(wù)器240有n個,則將文件分成(n+1)個分片。

根據(jù)本發(fā)明的另一個實施例,預定規(guī)則是,根據(jù)預置分片大小對文件進行分片處理,得到至少一個分片文件。例如,設(shè)置固定的分片大小為200M,則按照每片200M大小對文件進行分片,要注意的是,最后一個分片可能會小于200M。

根據(jù)一種實現(xiàn)方式,超級計算中心220為每個分片文件生成校驗碼以作為該分片文件的文件名,并在分片文件映射表中與分片文件的位置關(guān)聯(lián)存儲。分片文件映射表如表1所示,以文件分片序號表征分片文件在所請求下載的文件中的位置,對每個分片文件生成校驗碼,如“abc”“def”“acd”,作為分片文件的文件名。應(yīng)當注意的是,本發(fā)明對生成校驗碼的方式不做限制。

隨后在步驟S303中,超級計算中心220發(fā)送第一消息給客戶端210,其中,第一消息包括第一個分片文件(即,分片文件序號為0)和分片文件映射表的下載地址。

隨后在步驟S304中,客戶端210根據(jù)第一消息從超級計算中心220上下載第一個分片文件和分片文件映射表。此時,客戶端210是通過VPN鏈路向超級計算中心220下載文件。

隨后在步驟S305中,超級計算中心220將除第一個分片文件外的其他分片文件分別發(fā)送至對應(yīng)的文件緩存服務(wù)器240。根據(jù)本發(fā)明的實施例,超級計算中心220依序?qū)⒁粋€分片文件發(fā)送給一個文件緩存服務(wù)器240,也就是說,超級計算中心220與多個文件緩存服務(wù)器240之間構(gòu)成多條VPN鏈路,并行地將多個分片文件發(fā)送至文件緩存服務(wù)器240。

隨后在步驟S306中,超級計算中心220在每個分片文件在相應(yīng)文件緩存服務(wù)器240上緩存之后發(fā)送第二消息給調(diào)度服務(wù)器230,其中第二消息包括該分片文件在相應(yīng)文件緩存服務(wù)器240上的地址。根據(jù)本發(fā)明的一個實施例,設(shè)某個已緩存的分片文件的文件名(即,校驗碼)為abc,該分片文件所在的文件緩存服務(wù)器的地址為FCS1,超級計算中心220將分片文件文件名abc及對應(yīng)的文件緩存服務(wù)器地址FCS1發(fā)送給調(diào)度服務(wù)器230。

在步驟S307中,客戶端210在接收到分片文件映射表后就會向調(diào)度服務(wù)器230查詢所述多個分片文件的緩存進度,直到接收到由調(diào)度服務(wù)器230發(fā)送的下載地址(即,步驟S308)為止。

在步驟S308中,調(diào)度服務(wù)器230在接收到第二消息后,生成該分片文件的下載地址、并發(fā)送該下載地址給客戶端210以響應(yīng)步驟S307。

根據(jù)本發(fā)明的一種實施方式,調(diào)度服務(wù)器230根據(jù)分片文件的文件名和該分片文件所在的文件緩存服務(wù)器的地址生成下載地址。例如,設(shè)某個分片文件的文件名為abc,對應(yīng)的文件緩存服務(wù)器的地址為FCS1,那么,生成對應(yīng)的下載地址就是:URL:http://FCS1/abc。

隨后在步驟S309中,客戶端210在接收到由調(diào)度服務(wù)器230發(fā)送的下載地址時,根據(jù)該下載地址指向的文件緩存服務(wù)器的地址從該文件緩存服務(wù)器下載對應(yīng)分片文件。根據(jù)本發(fā)明的實施例,客戶端210只要接收到一個下載地址,就啟動下載該分片文件,同時,客戶端210還會繼續(xù)向調(diào)度服務(wù)器230查詢是否有分片文件完成緩存,若有,則根據(jù)下一個分片文件的下載地址并行地進行下載,直至所有的分片文件都完成下載。

在系統(tǒng)200中,客戶端210與多個文件緩存服務(wù)器240之間以普通的互聯(lián)網(wǎng)連接方式相連,故,客戶端可以多線程地從文件緩存服務(wù)器上下載分片文件,提高下載速度和效率。

最后在步驟S310中,當所有分片文件都下載完畢時,客戶端210根據(jù)分片文件映射表拼接第一個分片文件及所下載的其他分片文件,得到完整的下載文件。

根據(jù)本發(fā)明的實施例,客戶端210在根據(jù)下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件后,客戶端還會查找分片文件映射表中是否存在所下載分片文件的校驗碼:若存在則按照分片文件映射表中存儲的位置拼接分片文件;若不存在則重新下載對應(yīng)的分片文件。

根據(jù)本發(fā)明的文件下載方案,在具有超級計算中心這樣的VPN鏈路環(huán)境中進行文件下載時,先對單個大文件進行分片處理,將各個分片文件緩存到多個文件緩存服務(wù)器上,經(jīng)由這多個文件緩存服務(wù)器將各個分片文件并行地傳送給客戶端。既突破了單一VPN鏈路的限制,又支持多線程下載,最大限度地提升了文件下載的效率。

應(yīng)當理解,為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個,在上面對本發(fā)明的示例性實施例的描述中,本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而,并不應(yīng)將該公開的方法解釋成反映如下意圖:即所要求保護的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多特征。更確切地說,如下面的權(quán)利要求書所反映的那樣,發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此,遵循具體實施方式的權(quán)利要求書由此明確地并入該具體實施方式,其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。

本領(lǐng)域那些技術(shù)人員應(yīng)當理解在本文所公開的示例中的設(shè)備的模塊或單元或組件可以布置在如該實施例中所描述的設(shè)備中,或者可替換地可以定位在與該示例中的設(shè)備不同的一個或多個設(shè)備中。前述示例中的模塊可以組合為一個模塊或者此外可以分成多個子模塊。

本領(lǐng)域那些技術(shù)人員可以理解,可以對實施例中的設(shè)備中的模塊進行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中??梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件,以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外,可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進行組合。除非另外明確陳述,本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。

本發(fā)明還公開了:

A6、如A1-5中任一項所述的系統(tǒng),其中,在超級計算中心中,控制單元還適于為每個分片文件生成校驗碼以作為該分片文件的文件名,并在分片文件映射表中與分片文件的位置關(guān)聯(lián)存儲。

A7、如A6所述的系統(tǒng),其中,調(diào)度服務(wù)器還適于在接收到第二消息時,根據(jù)分片文件的文件名和該分片文件所在的文件緩存服務(wù)器的地址生成下載地址。

A8、如A7所述的系統(tǒng),其中,客戶端還適于根據(jù)下載地址指向的文件緩存服務(wù)器的地址從該文件緩存服務(wù)器下載該分片文件。

A9、如A1-8中任一項所述的系統(tǒng),客戶端還適于在接收到分片文件映射表后向調(diào)度服務(wù)器發(fā)送查詢請求包括:客戶端還適于向調(diào)度服務(wù)器查詢多個分片文件的緩存進度,直到接收到由調(diào)度服務(wù)器發(fā)送的下載地址為止。

A10、如A6-9中任一項所述的系統(tǒng),其中,客戶端還適于查找分片文件映射表中是否存在所下載分片文件的校驗碼;若存在則按照分片文件映射表中存儲的位置信息拼接分片文件;以及若不存在則重新下載對應(yīng)的分片文件。

B16、如B11-15中任一項中任一項所述的方法,其中,超級計算中心生成分片文件映射表以存儲各個分片文件在所請求下載的文件中的位置的步驟還包括:超級計算中心為每個分片文件生成校驗碼以作為該分片文件的文件名,并在分片文件映射表中與分片文件的位置關(guān)聯(lián)存儲。

B17、如B16所述的方法,在超級計算中心發(fā)送第二消息給所述調(diào)度服務(wù)器的步驟之后,還包括步驟:調(diào)度服務(wù)器根據(jù)分片文件的文件名和該分片文件所在的文件緩存服務(wù)器的地址生成下載地址。

B18、如B17所述的方法,其中,客戶端根據(jù)該下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件的步驟包括:客戶端根據(jù)下載地址指向的文件緩存服務(wù)器的地址從該文件緩存服務(wù)器下載對應(yīng)的分片文件。

B19、如B11-18中任一項所述的方法,其中,客戶端在接收到分片文件映射表后向調(diào)度服務(wù)器發(fā)送查詢請求的步驟包括:客戶端向調(diào)度服務(wù)器查詢多個分片文件的緩存進度,直到接收到由調(diào)度服務(wù)器發(fā)送的下載地址為止。

B20、如B16-19中任一項所述的方法,在客戶端根據(jù)下載地址從文件緩存服務(wù)器下載對應(yīng)分片文件的步驟之后,還包括步驟:客戶端查找所述分片文件映射表中是否存在所下載分片文件的校驗碼;若存在則按照分片文件映射表中存儲的位置拼接分片文件;以及若不存在則重新下載對應(yīng)的分片文件。

此外,本領(lǐng)域的技術(shù)人員能夠理解,盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征,但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如,在下面的權(quán)利要求書中,所要求保護的實施例的任意之一都可以以任意的組合方式來使用。

此外,所述實施例中的一些在此被描述成可以由計算機系統(tǒng)的處理器或者由執(zhí)行所述功能的其它裝置實施的方法或方法元素的組合。因此,具有用于實施所述方法或方法元素的必要指令的處理器形成用于實施該方法或方法元素的裝置。此外,裝置實施例的在此所述的元素是如下裝置的例子:該裝置用于實施由為了實施該發(fā)明的目的的元素所執(zhí)行的功能。

如在此所使用的那樣,除非另行規(guī)定,使用序數(shù)詞“第一”、“第二”、“第三”等等來描述普通對象僅僅表示涉及類似對象的不同實例,并且并不意圖暗示這樣被描述的對象必須具有時間上、空間上、排序方面或者以任意其它方式的給定順序。

盡管根據(jù)有限數(shù)量的實施例描述了本發(fā)明,但是受益于上面的描述,本技術(shù)領(lǐng)域內(nèi)的技術(shù)人員明白,在由此描述的本發(fā)明的范圍內(nèi),可以設(shè)想其它實施例。此外,應(yīng)當注意,本說明書中使用的語言主要是為了可讀性和教導的目的而選擇的,而不是為了解釋或者限定本發(fā)明的主題而選擇的。因此,在不偏離所附權(quán)利要求書的范圍和精神的情況下,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。對于本發(fā)明的范圍,對本發(fā)明所做的公開是說明性的,而非限制性的,本發(fā)明的范圍由所附權(quán)利要求書限定。

當前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
铁岭县| 镇江市| 阳原县| 靖安县| 永善县| 闽侯县| 鹤山市| 扶沟县| 黄浦区| 瑞金市| 霞浦县| 临猗县| 新干县| 阳曲县| 邳州市| 同心县| 明光市| 镶黄旗| 手游| 玛曲县| 丽水市| 龙南县| 堆龙德庆县| 阜阳市| 桃源县| 专栏| 乐陵市| 黄大仙区| 镇江市| 额尔古纳市| 黑水县| 临泉县| 若羌县| 年辖:市辖区| 武山县| 嘉鱼县| 蓬溪县| 郁南县| 淮阳县| 澄江县| 襄垣县|