專利名稱：基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種涉及搜索引擎和多源下載的技術(shù)，確切地說，涉及一種基于元搜
索引擎的個性化搜索的多源下載互聯(lián)網(wǎng)資源的裝置及方法，屬于互聯(lián)網(wǎng)資源下載的技術(shù)領(lǐng) 域。
背景技術(shù)：
網(wǎng)絡(luò)下載技術(shù)，又稱為網(wǎng)絡(luò)文件共享技術(shù)，是現(xiàn)有互聯(lián)網(wǎng)最廣泛的應(yīng)用。最先出現(xiàn) 的文件共享主要通過Web技術(shù)實(shí)現(xiàn)，即把共享的文件放到服務(wù)器上，構(gòu)成中心化的文件存 儲模型后，客戶機(jī)通過超文本傳輸協(xié)議HTTP (Hyper TextTransfer Protocol)和文本傳輸 協(xié)議FTP (File Transfer Protocol)等協(xié)議從服務(wù)器下載這些文件，這就是所謂用戶到服 務(wù)器的P2S(Peer to Server)結(jié)構(gòu)模式。隨著網(wǎng)絡(luò)應(yīng)用及網(wǎng)絡(luò)用戶的大量增加，中心化的 文件存儲服務(wù)器需要對非常多的用戶訪問提供支持，這就使得負(fù)載均衡問題成為這類下載 技術(shù)的最大瓶頸。 這種情況下，以資源分散、負(fù)載均衡和非中心化為特點(diǎn)的對等網(wǎng)絡(luò)P2P (Peerto Peer)技術(shù)在文件共享領(lǐng)域得到了廣泛應(yīng)用，該技術(shù)的特征是以客戶端身份下載了文件的 對等端，隨后，又以服務(wù)器身份使這些文件供其他對等端使用。 一般而言，基于P2P技術(shù)的 文件共享的中心問題是定位資源。P2P技術(shù)可以充分利用參與結(jié)點(diǎn)的帶寬，通過大量結(jié)點(diǎn)之 間互相傳遞數(shù)據(jù)、合作下載的方式提高網(wǎng)絡(luò)中傳送大容量文件的效率。
雖然P2P技術(shù)是以去中心化為研究重點(diǎn)，但其連接的不可控性使得基于該技術(shù)的 在線下載缺乏穩(wěn)定性。為了結(jié)合P2S模式與P2P模式的網(wǎng)絡(luò)下載的優(yōu)勢，出現(xiàn)了一種所謂 用戶對服務(wù)器與用戶模式的P2SP(Peer to Server and Peer)技術(shù)。簡單地說，P2SP技術(shù) 就是下載不再像傳統(tǒng)方式那樣只能依賴服務(wù)器，內(nèi)容的傳遞可以在網(wǎng)絡(luò)上的各個終端中進(jìn) 行。P2SP除了包含P2P以外，P2SP的"S"是指服務(wù)器。P2SP有效地把原本孤立的服務(wù)器 與其鏡像資源以及P2P資源都整合在一起。也就是說，在下載的穩(wěn)定性和下載的速度上，都 比傳統(tǒng)的P2P或P2S都有了非常大的提高。在國內(nèi)以迅雷為代表的P2SP技術(shù)取得了巨大 成功，類似的還有0rbit、PPgou、Tuotu等. 對應(yīng)以上網(wǎng)絡(luò)技術(shù)的發(fā)展，就國內(nèi)最普遍的應(yīng)用而言，可分為三種形式 第一種為集中式，以超文本傳輸協(xié)議HTTP、文件傳輸協(xié)議FTP下載為主。由于受到
服務(wù)器帶寬的限制，這種下載模式會嚴(yán)重影響下載的速度。 第二種為分布式，以BT和eMule為代表，主要特征是資源分布在眾多個人終端電
腦上，這種方式避免了單一帶寬對下載速度的影響，但不能保證服務(wù)的穩(wěn)定性。 第三種為混合式，以迅雷、超級旋風(fēng)、脫兔等為代表。整合了網(wǎng)絡(luò)搜索、HTTP下
載、FTP下載和P2P下載等多種技術(shù)，這種方式將多個中心化的資源服務(wù)器和客戶一起組成
P2SP網(wǎng)絡(luò)，保證了下載的速度和穩(wěn)定性。 對現(xiàn)有的文件共享軟件進(jìn)行歸總，通常采用兩種途徑獲得文件源地址第一種是 P2P協(xié)議疊加網(wǎng)的洪泛式搜索與分布式哈希路由表DHT(DistributedHash Table)式搜索，第二種是集中式的多媒體檢索數(shù)據(jù)庫服務(wù)器。根據(jù)現(xiàn)在共享軟件的用戶數(shù)量分析，迅雷、騰訊、旋風(fēng)等以多媒體檢索數(shù)據(jù)庫為中心的共享軟件占據(jù)了絕大部分市場份額，說明運(yùn)營性質(zhì)的源地址索引功能對下載軟件十分重要。 搜索引擎的出現(xiàn)，大大提高了人們對互聯(lián)網(wǎng)信息檢索的能力和效率，已經(jīng)成為當(dāng)前最普遍的輔助人們檢索信息的工具。據(jù)中國互聯(lián)網(wǎng)網(wǎng)絡(luò)信息中心發(fā)布的"2008年中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告"，中國網(wǎng)民搜索引擎的使用率為72.4%，并仍然處于高速增長中。而在互聯(lián)網(wǎng)高度普及的美國，網(wǎng)民對搜索引擎的使用率已達(dá)91%。可見，搜索引擎已經(jīng)成為網(wǎng)民不可或缺的工具。 目前，搜索引擎領(lǐng)域主要有以下幾種技術(shù) (1)通用搜索引擎目前應(yīng)用最廣泛，且用戶數(shù)量最多，主要代表有谷歌(www.google, com)、百度(www. baidu. com)、雅虎(cn. yahoo, com)等。 通用搜索引擎采用網(wǎng)絡(luò)爬行器對萬維網(wǎng)遍歷查詢和信息采集，然后對結(jié)果進(jìn)行存儲和預(yù)處理，最后由服務(wù)系統(tǒng)將符合要求的結(jié)果返回給用戶。 隨著Web信息的迅速增長，用戶可以通過搜索引擎獲得豐富的資源，但是該類搜索服務(wù)存在局限性通用搜索引擎不可能解析、索引網(wǎng)絡(luò)上的所有網(wǎng)頁，用戶需要調(diào)用多個搜索引擎才能獲取滿意的搜索結(jié)果，降低了檢索效率。 (2)元搜索引擎(Meta-Search-Engine):為了彌補(bǔ)通用搜索引擎的不足，出現(xiàn)了元搜索弓l擎，其主要代表有國夕卜的MetaCrawler(www. metacawler. com) 、 Dogpile(www.dogpile. com)禾口國內(nèi)的比比3苗(www. bbmao. com)等。 元搜索引擎是通過一個統(tǒng)一的界面將用戶檢索請求同時發(fā)送給多個搜索引擎，再將它們的各自搜索結(jié)果匯集在一起返回給用戶的搜索技術(shù)。它綜合了多個獨(dú)立搜索引擎的搜索結(jié)果，從而提高了搜索結(jié)構(gòu)在整個網(wǎng)絡(luò)資源上的覆蓋率，省去了用戶自己逐個調(diào)用不同搜索引擎進(jìn)行查詢的麻煩。但是，該類搜索引擎與通用搜索引擎都是向用戶提供海量的無序網(wǎng)頁，并且，用同一模式服務(wù)于不同用戶，這樣的通用性無法滿足用戶有差別的個性化需求。 (3)垂直搜索(Vertical Search Engine):為了彌補(bǔ)傳統(tǒng)搜索引擎和元搜索引擎的不足，給用戶提供更為精準(zhǔn)的搜索服務(wù)，人們提出垂直搜索引擎的思想。該類搜索引擎是針對某一主題的信息進(jìn)行爬行、索引和整合，并提取所需的數(shù)據(jù)進(jìn)行處理，以滿足不同用戶的個性化需求，所以又被稱個性化搜索引擎。垂直搜索引擎的定位不是整個Web網(wǎng)絡(luò)，而是與某個主題相關(guān)的網(wǎng)絡(luò)，這樣具有很強(qiáng)的針對性，其次，運(yùn)用機(jī)器學(xué)習(xí)等智能化技術(shù)手段滿足用戶個性化需求，因此它比通用搜索引擎與元搜索引擎更加有效。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的是提供一種基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置及方法，本發(fā)明充分利用互聯(lián)網(wǎng)的元搜索引擎技術(shù)來發(fā)現(xiàn)文件源地址，以減弱軟件本身對中心服務(wù)器的依賴性和脫離服務(wù)被動選擇的模式。 一方面，利用各類搜索引擎的發(fā)展，提高文件下載地址的搜索效率。另一方面利用多源下載技術(shù)提供更快的穩(wěn)定的下載服務(wù)。
為了達(dá)到上述目的，本發(fā)明提供了一種基于搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置，其特征在于，所述裝置設(shè)有用戶單元、疊加網(wǎng)單元、搜索單元與下載單元，其中
用戶單元，完成用戶個性化的搜索參數(shù)與下載參數(shù)的設(shè)置，并提供用戶操作接口
界面和存儲各種設(shè)置參數(shù)與文件，以及展示搜索到的供用戶選擇的下載地址列表和目標(biāo)文
件；設(shè)有四個模塊搜索設(shè)置模塊、下載設(shè)置模塊、用戶界面模塊和用戶數(shù)據(jù)庫； 疊加網(wǎng)單元，完成客戶端加入對等網(wǎng)絡(luò)P2P疊加網(wǎng)的操作，并維護(hù)和管理P2P疊加
網(wǎng)的信息與用戶文件，設(shè)有三個模塊初始化模塊、信息維護(hù)模塊和文件管理模塊； 搜索單元，完成文件下載地址的搜索，設(shè)有定位型地址搜索模塊和下載型地址搜
索模塊，其中定位型地址搜索模塊根據(jù)用戶單元獲取的地址檢索詞搜索相關(guān)文件的下載地
址，再通過用戶單元的用戶界面模塊向用戶展示；下載型地址搜索模塊根據(jù)用戶選擇的、由
定位型搜索模塊提供的下載地址進(jìn)行相同文件的其它地址的二次搜索，包括對P2P疊加網(wǎng)
內(nèi)共享文件的搜索；且在搜索地址過程中，根據(jù)可用性原則與優(yōu)選原則對獲取到的地址進(jìn)
行篩選； 下載單元，完成文件的下載操作，設(shè)有并行下載和資源合成的兩個模塊，并行下載模塊根據(jù)獲取鏈接的數(shù)量與文件大小對文件進(jìn)行分塊下載，其中文件下載地址是由下載型地址搜索模塊提供的，并參照用戶數(shù)據(jù)庫中存儲的下載設(shè)置參數(shù)執(zhí)行下載過程；資源合成模塊用于將并行下載模塊獲取的文件信息進(jìn)行整合處理，形成完整的文件后，交由疊加網(wǎng)單元的文件管理模塊進(jìn)行存儲。 為了達(dá)到上述目的，本發(fā)明還提供了一種采用基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置的搜索方法，其特征在于所述裝置在用戶的選擇和操作下，利用元搜索引擎定位目標(biāo)文件與進(jìn)行同一資源的多個地址搜索，再通過多源下載技術(shù)進(jìn)行目標(biāo)資源的并行下載與整合處理；其中，資源的地址與搜索都是基于用戶設(shè)置，以滿足用戶的個性化需求；所述方法包括下列操作步驟 (1)用戶單元根據(jù)用戶輸入完成搜索參數(shù)與下載參數(shù)的設(shè)置，并將設(shè)置的參數(shù)存儲于用戶數(shù)據(jù)庫； (2)完成客戶端的P2P疊加網(wǎng)的入網(wǎng)和更新路由表； (3)搜索單元將用戶輸入的檢索詞按照各個獨(dú)立搜索引擎的要求格式分發(fā)出去，并根據(jù)該檢索詞搜索相關(guān)文件地址和收集返回的結(jié)果，然后將該返回結(jié)果轉(zhuǎn)換成統(tǒng)一的格式； (4)用戶單元將用于定位型文件地址的搜索結(jié)果列表，供用戶選擇； (5)搜索單元根據(jù)用戶選擇的下載地址進(jìn)行相同文件其他地址的二次搜索，并對
搜索結(jié)果進(jìn)行篩選，選擇優(yōu)化的下載地址； (6)搜索單元根據(jù)用戶定位的下載地址和設(shè)置的下載參數(shù)，執(zhí)行多個文件地址的并行下載和文件整合的操作； (7)在下載過程中和完成下載后，疊加網(wǎng)單元執(zhí)行資源保存與文件共享信息發(fā)布的操作。 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)勢在于 本發(fā)明是借鑒P2SP思路，基于元搜索引擎技術(shù)，充分獲取并利用了互聯(lián)網(wǎng)上大量的FTP服務(wù)器和文件服務(wù)器作為共享文件的提供中心，以P2P疊加網(wǎng)文件共享為輔助下載中心，為多源下載提供快捷、穩(wěn)定的服務(wù)。 本發(fā)明通過元搜索引擎同時獲取多個成員搜索引擎的搜索結(jié)果，并能夠根據(jù)檢索
7內(nèi)容的不同，合理地選取相應(yīng)的搜索引擎，從而提高了搜索結(jié)果的覆蓋度和檢索的準(zhǔn)確性，降低了檢索內(nèi)容的重復(fù)率。 本發(fā)明裝置的文件下載地址的發(fā)現(xiàn)是基于現(xiàn)有的搜索引擎，運(yùn)行在客戶端。因此，本發(fā)明基于元搜索引擎的互聯(lián)網(wǎng)資源的多源下載裝置脫離了對集中式多媒體檢索數(shù)據(jù)庫的依賴，能夠最大限度地利用搜索引擎的發(fā)展，進(jìn)行互聯(lián)網(wǎng)下載應(yīng)用；同時解決了搜索資源的覆蓋面和下載源的穩(wěn)定等問題。如果多個客戶端組建構(gòu)成P2P疊加網(wǎng)，本發(fā)明使得文件
源的搜索能延伸到該網(wǎng)絡(luò)，增加網(wǎng)絡(luò)內(nèi)部資源復(fù)用率。因此，本發(fā)明具有很好的推廣應(yīng)用前
旦豕。


圖1是本發(fā)明應(yīng)用場景的網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)組成示意圖。
圖2是本發(fā)明基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置結(jié)構(gòu)示意圖。
圖3是本發(fā)明裝置的互聯(lián)網(wǎng)資源多源下載方法的操作流程圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)描述。 參見圖l，介紹本發(fā)明基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置的應(yīng)用環(huán)境-網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)組成。該系統(tǒng)分為三個部分 利用BT協(xié)議組建的P2P疊加網(wǎng)，P2P網(wǎng)絡(luò)中的各節(jié)點(diǎn)分別保留路由目錄和共享其擁有的資源，各節(jié)點(diǎn)之間直接相連；疊加網(wǎng)內(nèi)各個用戶可以實(shí)現(xiàn)資源的共享。用戶是通過查詢搜索網(wǎng)絡(luò)上存在的穩(wěn)定資源，再下載鏈接得到相應(yīng)文件數(shù)據(jù)。資源的下載為分塊下載，加速資源獲取，其優(yōu)點(diǎn)是結(jié)合C/S與P2P網(wǎng)絡(luò)的優(yōu)勢進(jìn)行資源共享；不足是存在服務(wù)管理缺陷。 文件源為互聯(lián)網(wǎng)內(nèi)包括Web文件服務(wù)器、FTP文件服務(wù)器、流媒體服務(wù)器等能提供文件下載的服務(wù)器。 元搜索引擎包括的多個搜索引擎，各搜索引擎為節(jié)點(diǎn)提供文件下載地址的搜索應(yīng)用。 參見圖2，介紹本發(fā)明基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置，該裝置設(shè)有用戶單元、疊加網(wǎng)單元、搜索單元與下載單元，其中 用戶單元完成用戶個性化的搜索參數(shù)與下載參數(shù)的設(shè)置，獲取用戶文件地址的檢索詞，并提供用戶操作接口界面和存儲各種設(shè)置參數(shù)與文件，以及展示搜索到的供用戶選擇的下載地址列表和目標(biāo)文件。設(shè)有四個模塊搜索設(shè)置模塊、下載設(shè)置模塊、用戶界面模塊和用戶數(shù)據(jù)庫；其中 搜索設(shè)置模塊用于完成元搜索引擎所包括的各種搜索引擎、向用戶顯示的結(jié)果總數(shù)和每個搜索引擎的返回結(jié)果占本次搜索總條數(shù)的比例的各種搜索參數(shù)的選擇和設(shè)置，并將設(shè)置的搜索參數(shù)存儲于用戶數(shù)據(jù)庫；該模塊的設(shè)置將作用于定位型地址搜索模塊。
下載設(shè)置模塊用于完成包括用戶執(zhí)行下載操作的網(wǎng)絡(luò)類型、超級節(jié)點(diǎn)地址、下載或上傳的傳輸帶寬與速度限制，以及下載文件的分塊原則的選擇和設(shè)置，并將設(shè)置的下載參數(shù)存儲于用戶數(shù)據(jù)庫；該模塊的設(shè)置將作用于并行下載模塊。 用戶界面模塊用于提供用戶人機(jī)交互界面，將用戶的用戶文件地址檢索詞或文件下載地址的檢索請求轉(zhuǎn)換為搜索引擎所能理解的格式，并分別發(fā)送給定位型地址搜索模塊與下載型地址搜索模塊，使其根據(jù)檢索內(nèi)容選擇合適的搜索引擎，并向用戶展示搜索到的下載地址列表和目標(biāo)文件；搜索設(shè)置模塊和下載設(shè)置模塊都是經(jīng)由該界面接收用戶輸入的相關(guān)設(shè)置參數(shù)。 用戶數(shù)據(jù)庫負(fù)責(zé)存儲用戶設(shè)置的各種搜索參數(shù)和下載參數(shù)，以及疊加網(wǎng)的路由表信息和下載的文件內(nèi)容。 疊加網(wǎng)單元完成客戶端加入P2P疊加網(wǎng)的操作、并維護(hù)和管理P2P疊加網(wǎng)的信息與共享的用戶文件。設(shè)有三個模塊初始化模塊、信息維護(hù)模塊和文件管理模塊；其中，
初始化模塊利用用戶數(shù)據(jù)庫中保存的超級節(jié)點(diǎn)完成客戶端加入P2P疊加網(wǎng)的入網(wǎng)操作，如果超級節(jié)點(diǎn)不可用，則利用用戶數(shù)據(jù)庫中保存的路由表內(nèi)節(jié)點(diǎn)信息加入P2P疊加網(wǎng)；執(zhí)行路由表的初始化和更新操作，再把更新后的路由表存儲于用戶數(shù)據(jù)庫；該路由表內(nèi)存儲有疊加網(wǎng)內(nèi)的鄰居節(jié)點(diǎn)信息，鄰居節(jié)點(diǎn)為下載通信過程所發(fā)現(xiàn)的疊加網(wǎng)內(nèi)的其他節(jié)點(diǎn)，鄰居節(jié)點(diǎn)可以輔助客戶端入網(wǎng)與客戶端共享文件信息的發(fā)布。 信息維護(hù)模塊是根據(jù)初始化后的路由表完成P2P疊加網(wǎng)內(nèi)其他鄰居節(jié)點(diǎn)的文件信息的維護(hù)和查找，以及本地文件共享信息的發(fā)布。 文件管理模塊完成客戶端文件的存儲及上傳，并通過信息維護(hù)模塊將文件共享信息在疊加網(wǎng)內(nèi)進(jìn)行發(fā)布。 搜索單元完成文件下載地址的搜索。設(shè)有定位型地址搜索模塊和下載型地址搜索模塊，前者根據(jù)用戶輸入的地址檢索詞搜索相關(guān)文件的下載地址，再通過用戶單元的用戶界面模塊向用戶展示；后者根據(jù)用戶選擇的下載地址進(jìn)行相同文件的其它地址的二次搜索，包括對P2P疊加網(wǎng)內(nèi)共享文件的搜索；且在搜索地址過程中，根據(jù)可用性原則與優(yōu)選原則對獲取到的地址進(jìn)行篩選。 下載單元完成文件的下載操作。設(shè)有并行下載和資源合成的兩個模塊，并行下載模塊根據(jù)獲取鏈接的數(shù)量與文件大小對文件進(jìn)行分塊下載，其中文件下載地址是由下載型地址搜索模塊提供的，并參照用戶數(shù)據(jù)庫中存儲的下載設(shè)置參數(shù)執(zhí)行下載過程；資源合成模塊用于將并行下載模塊獲取的文件信息進(jìn)行整合處理，形成完整的文件后，交由疊加網(wǎng)單元的文件管理模塊進(jìn)行存儲。 本發(fā)明基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置的搜索方法是在用戶的選擇和操作下，利用元搜索引擎定位目標(biāo)文件與進(jìn)行同一資源的多個地址搜索，再通過多源下載技術(shù)進(jìn)行目標(biāo)資源的并行下載與整合處理；其中，資源的地址與搜索都是基于用戶設(shè)置，以滿足用戶的個性化需求。 參見圖3，結(jié)合基于搜索引擎的互聯(lián)網(wǎng)多源下載系統(tǒng)，介紹本發(fā)明一實(shí)施例的操作流程，其執(zhí)行的操作步驟如下 步驟1、用戶單元根據(jù)用戶輸入完成搜索參數(shù)與下載參數(shù)的設(shè)置，并將設(shè)置的參數(shù)存儲于用戶數(shù)據(jù)庫。 該步驟的搜索參數(shù)與下載參數(shù)的設(shè)置操作既可以在下載之前完成，也可以在下載過程中完成。設(shè)置的搜索參數(shù)包括各種搜索引擎(百度、谷歌、雅虎、必應(yīng)等)類型、搜索結(jié)果的總條數(shù)和每個搜索引擎的返回結(jié)果所占的比例。設(shè)置的下載參數(shù)包括執(zhí)行下載的網(wǎng)絡(luò)類型(教育網(wǎng)、移動、聯(lián)通、電信等)、超級節(jié)點(diǎn)地址、下載過程的文件分塊原則、下載的上行與下行的帶寬和限制速度。
步驟2、用戶單元接收用戶輸入，完成客戶端的P2P疊加網(wǎng)的入網(wǎng)和更新路由表。
該步驟的入網(wǎng)操作有兩種方式一種是利用在客戶端固化的疊加網(wǎng)超級節(jié)點(diǎn)進(jìn)行入網(wǎng)操作；另一種是用維護(hù)的鄰居節(jié)點(diǎn)加入入網(wǎng)操作，后者作為前者的補(bǔ)充，僅用于疊加網(wǎng)超級節(jié)點(diǎn)不可用時。 步驟3、搜索單元將用戶輸入的檢索詞按照各個獨(dú)立搜索引擎的要求格式分發(fā)出去，并根據(jù)該檢索詞搜索相關(guān)文件地址和收集返回的結(jié)果，然后將該返回結(jié)果轉(zhuǎn)換成統(tǒng)一的格式。該步驟包括下列操作內(nèi)容 (31)基于用戶選擇的檢索內(nèi)容，采用分類分組法選擇元搜索引擎中的搜索引擎本發(fā)明在元搜索引擎上增設(shè)一個信息類別選項(xiàng)，系統(tǒng)預(yù)先設(shè)置的該信息類別包括影音、圖片、文檔、軟件與其他，再在各類別下分別列出供用戶選擇、設(shè)定的搜索引擎組合，以滿足用戶個性化需求，又避免不必要的搜索，提高搜索效率和準(zhǔn)確度。
(32)將用戶輸入的搜索詞語按照各個獨(dú)立搜索引擎的要求格式分發(fā)出去。
(33)根據(jù)該檢索詞搜索相關(guān)文件地址，將收集到的各個成員搜索引擎的搜索結(jié)果轉(zhuǎn)換為統(tǒng)一格式，再對其進(jìn)行刪除重復(fù)的處理。 步驟4、用戶單元將用于定位型文件地址的搜索結(jié)果列表，供用戶選擇。
步驟5、搜索單元根據(jù)用戶選擇的下載地址進(jìn)行相同文件其他地址的二次搜索，并對搜索結(jié)果進(jìn)行篩選，選擇優(yōu)化的下載地址。該步驟的定位地址二次搜索分為搜索引擎搜索與疊加網(wǎng)搜索，具體包括下列操作內(nèi)容 (51)返回的搜索結(jié)果是普通的超文本標(biāo)記語言HTML地址時，搜索單元通過分析關(guān)鍵詞或網(wǎng)絡(luò)爬蟲獲取供下載的資源鏈接地址；或 (52)返回的搜索結(jié)果是超文本傳輸協(xié)議http資源下載地址、BT協(xié)議的資源鏈接地址時，提取這些下載地址或鏈接地址； (53)根據(jù)可用性原則與優(yōu)選原則對獲取到的下載地址或鏈接地址進(jìn)行篩選；這里的可用性原則是對獲取的地址鏈接隨機(jī)下載部分文件，如果鏈接不能連通，或者該部分文件與目標(biāo)鏈接的對應(yīng)文件塊不對應(yīng)，則表明不符合該原則，放棄該地址鏈接；優(yōu)選原則是根據(jù)下載型地址所對應(yīng)的邏輯地址信息和連接的時間延遲進(jìn)行優(yōu)化。 步驟6、搜索單元根據(jù)用戶定位的下載地址和設(shè)置的下載參數(shù)，執(zhí)行多個文件地址的并行下載和文件整合的操作。該步驟包括下列操作內(nèi)容 (61)根據(jù)文件大小和步驟1設(shè)置的下載文件的分塊原則，設(shè)定滿足一定冗余性的下載分塊原則，并從對應(yīng)鏈接獨(dú)立進(jìn)行文件分塊下載。
(62)對下載完成的分塊進(jìn)行整合處理，在整合過程中進(jìn)行數(shù)據(jù)校驗(yàn)。 步驟7、在下載過程中和完成下載后，疊加網(wǎng)單元執(zhí)行資源保存與文件共享信息發(fā)
布的操作。 本發(fā)明已經(jīng)進(jìn)行了多次實(shí)施試驗(yàn)，試驗(yàn)的結(jié)果是成功的，實(shí)現(xiàn)了發(fā)明目的。
權(quán)利要求
一種基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置，其特征在于，所述裝置設(shè)有用戶單元、疊加網(wǎng)單元、搜索單元與下載單元，其中用戶單元，完成用戶個性化的搜索參數(shù)與下載參數(shù)的設(shè)置，并提供用戶操作接口界面和存儲各種設(shè)置參數(shù)與文件，以及展示搜索到的供用戶選擇的下載地址列表和目標(biāo)文件；設(shè)有四個模塊搜索設(shè)置模塊、下載設(shè)置模塊、用戶界面模塊和用戶數(shù)據(jù)庫；疊加網(wǎng)單元，完成客戶端加入對等網(wǎng)絡(luò)P2P疊加網(wǎng)的操作，并維護(hù)和管理P2P疊加網(wǎng)的信息與用戶文件，設(shè)有三個模塊初始化模塊、信息維護(hù)模塊和文件管理模塊；搜索單元，完成文件下載地址的搜索，設(shè)有定位型地址搜索模塊和下載型地址搜索模塊，其中定位型地址搜索模塊根據(jù)用戶單元獲取的地址檢索詞搜索相關(guān)文件的下載地址，再通過用戶單元的用戶界面模塊向用戶展示；下載型地址搜索模塊根據(jù)用戶選擇的、由定位型搜索模塊提供的下載地址進(jìn)行相同文件的其它地址的二次搜索，包括對P2P疊加網(wǎng)內(nèi)共享文件的搜索；且在搜索地址過程中，根據(jù)可用性原則與優(yōu)選原則對獲取到的地址進(jìn)行篩選；下載單元，完成文件的下載操作，設(shè)有并行下載和資源合成的兩個模塊，并行下載模塊根據(jù)獲取鏈接的數(shù)量與文件大小對文件進(jìn)行分塊下載，其中文件下載地址是由下載型地址搜索模塊提供的，并參照用戶數(shù)據(jù)庫中存儲的下載設(shè)置參數(shù)執(zhí)行下載過程；資源合成模塊用于將并行下載模塊獲取的文件信息進(jìn)行整合處理，形成完整的文件后，交由疊加網(wǎng)單元的文件管理模塊進(jìn)行存儲。
2. 根據(jù)權(quán)利要求l所述的裝置，其特征在于所述用戶單元中的各軟件模塊功能如下搜索設(shè)置模塊，用于完成元搜索引擎所包括的各種搜索引擎、向用戶顯示的結(jié)果總數(shù) 和每個搜索引擎的返回結(jié)果占本次搜索總條數(shù)的比例的各種搜索參數(shù)的選擇和設(shè)置，并將 設(shè)置的搜索參數(shù)存儲于用戶數(shù)據(jù)庫；下載設(shè)置模塊，用于完成包括用戶執(zhí)行下載操作的網(wǎng)絡(luò)類型、超級節(jié)點(diǎn)地址、下載或上 傳的傳輸帶寬與速度限制，以及下載文件的分塊原則的選擇和設(shè)置，并將設(shè)置的下載參數(shù) 存儲于用戶數(shù)據(jù)庫；用戶界面模塊，用于提供用戶人機(jī)交互界面，將用戶的檢索請求轉(zhuǎn)換為搜索引擎所能 理解的格式，根據(jù)檢索內(nèi)容選擇合適的搜索引擎，并向用戶展示搜索到的下載地址列表和 目標(biāo)文件；搜索設(shè)置模塊和下載設(shè)置模塊都是經(jīng)由該界面接收用戶輸入的相關(guān)設(shè)置參數(shù)；用戶數(shù)據(jù)庫，負(fù)責(zé)存儲用戶設(shè)置的各種搜索參數(shù)和下載參數(shù)，以及疊加網(wǎng)的路由表信 息和下載的文件內(nèi)容。
3. 根據(jù)權(quán)利要求1所述的裝置，其特征在于所述疊加網(wǎng)單元中的各軟件模塊功能如下初始化模塊，利用用戶數(shù)據(jù)庫中保存的超級節(jié)點(diǎn)完成客戶端加入P2P疊加網(wǎng)的入網(wǎng)操 作，如果超級節(jié)點(diǎn)不可用，則利用用戶數(shù)據(jù)庫中保存的路由表內(nèi)節(jié)點(diǎn)信息加入P2P疊加網(wǎng)； 執(zhí)行路由表的初始化和更新操作，再把更新后的路由表存儲于用戶數(shù)據(jù)庫；所述路由表內(nèi) 存儲有疊加網(wǎng)內(nèi)的鄰居節(jié)點(diǎn)信息；信息維護(hù)模塊，根據(jù)初始化后的路由表完成P2P疊加網(wǎng)內(nèi)其他鄰居節(jié)點(diǎn)的文件信息的 維護(hù)和查找，以及本地文件信息的發(fā)布；文件管理模塊，完成客戶端文件的存儲及上傳，并通過信息維護(hù)模塊將文件信息在疊 加網(wǎng)內(nèi)進(jìn)行發(fā)布。
4. 根據(jù)權(quán)利要求1所述的裝置，其特征在于所述下載型地址搜索模塊在搜索下載型 地址過程中，根據(jù)可用性原則與優(yōu)選原則對獲取到的下載或鏈接地址進(jìn)行篩選時，所述可 用性原則是對獲取的下載或鏈接地址隨機(jī)下載部分文件，如果鏈接不能連通，或者該部分 文件與目標(biāo)鏈接的對應(yīng)文件塊不對應(yīng)，則標(biāo)明不符合該原則，放棄該地址；優(yōu)選原則是根據(jù) 下載型地址所對應(yīng)的邏輯地址信息和連接的時間延遲進(jìn)行優(yōu)化。
5. —種采用權(quán)利要求1所述的基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置的搜索 方法，其特征在于所述裝置在用戶的選擇和操作下，利用元搜索引擎定位目標(biāo)文件與進(jìn)行 同一資源的多個地址搜索，再通過多源下載技術(shù)進(jìn)行目標(biāo)資源的并行下載與整合處理；其 中，資源的地址與搜索都是基于用戶設(shè)置，以滿足用戶的個性化需求；所述方法包括下列操 作步驟(1) 用戶單元根據(jù)用戶輸入完成搜索參數(shù)與下載參數(shù)的設(shè)置，并將設(shè)置的參數(shù)存儲于 用戶數(shù)據(jù)庫；(2) 完成客戶端的P2P疊加網(wǎng)的入網(wǎng)和更新路由表；(3) 搜索單元將用戶輸入的檢索詞按照各個獨(dú)立搜索引擎的要求格式分發(fā)出去，并根 據(jù)該檢索詞搜索相關(guān)文件地址和收集返回的結(jié)果，然后將該返回結(jié)果轉(zhuǎn)換成統(tǒng)一的格式；(4) 用戶單元將用于定位型文件地址的搜索結(jié)果列表，供用戶選擇；(5) 搜索單元根據(jù)用戶選擇的下載地址進(jìn)行相同文件其他地址的二次搜索，并對搜索 結(jié)果進(jìn)行篩選，選擇優(yōu)化的下載地址；(6) 搜索單元根據(jù)用戶定位的下載地址和設(shè)置的下載參數(shù)，執(zhí)行多個文件地址的并行 下載和文件整合的操作；(7) 在下載過程中和完成下載后，疊加網(wǎng)單元執(zhí)行資源保存與文件共享信息發(fā)布的操作。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(1)中的搜索參數(shù)與下載參 數(shù)的設(shè)置操作是在下載之前完成的，或者是在下載過程中完成的；所述搜索參數(shù)包括元 搜索引擎所包括百度、谷歌、雅虎、必應(yīng)的各種搜索引擎的類型、向用戶顯示的搜索結(jié)果的 總條數(shù)和每個搜索引擎的返回結(jié)果所占的比例；所述下載參數(shù)包括包括教育網(wǎng)、移動、聯(lián) 通、電信的執(zhí)行下載的網(wǎng)絡(luò)類型、超級節(jié)點(diǎn)地址、下載文件過程中的分塊原則、下載的上行 與下行的帶寬和限制速度。
7. 根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(2)中的入網(wǎng)操作有兩種方式 一種是利用在客戶端固化的疊加網(wǎng)超級節(jié)點(diǎn)進(jìn)行入網(wǎng)操作；另一種是用維護(hù)的鄰居節(jié)點(diǎn)加 入入網(wǎng)操作，后者作為前者的補(bǔ)充，僅用于疊加網(wǎng)超級節(jié)點(diǎn)不可用時。
8. 根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(3)進(jìn)一步包括下列操作內(nèi)容(31) 基于用戶選擇的檢索內(nèi)容，采用分類分組法選擇元搜索引擎中的搜索引擎在元 搜索引擎上增設(shè)一個信息類別選項(xiàng)，系統(tǒng)預(yù)先設(shè)置的該信息類別包括影音、圖片、文檔、軟 件與其他，再在各類別下分別列出供用戶選擇、設(shè)定的搜索引擎組合，以滿足用戶個性化需 求，又避免不必要的搜索，提高搜索效率和準(zhǔn)確度；(32) 將用戶輸入的搜索詞語按照各個獨(dú)立搜索引擎的要求格式分發(fā)出去；(33)根據(jù)該檢索詞搜索相關(guān)文件地址，將收集到的各個成員搜索引擎的搜索結(jié)果轉(zhuǎn)換 為統(tǒng)一格式，再對其進(jìn)行刪除重復(fù)的處理。
9. 根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(5)中的二次搜索進(jìn)一步包括 下列操作內(nèi)容(51) 返回的搜索結(jié)果是普通的超文本標(biāo)記語言HTML地址時，搜索單元通過分析關(guān)鍵 詞或網(wǎng)絡(luò)爬蟲獲取供下載的資源鏈接地址；或(52) 返回的搜索結(jié)果是超文本傳輸協(xié)議http的資源下載地址、BT協(xié)議的資源鏈接地 址時，提取這些下載地址或鏈接地址；(53) 根據(jù)可用性原則與優(yōu)選原則對獲取到的下載地址或鏈接地址進(jìn)行篩選；所述可 用性原則是對獲取的地址鏈接隨機(jī)下載部分文件，如果鏈接不能連通，或者該部分文件與 目標(biāo)鏈接的對應(yīng)文件塊不對應(yīng)，則表明不符合該原則，放棄該地址鏈接；優(yōu)選原則是根據(jù)下 載型地址所對應(yīng)的邏輯地址信息和連接的時間延遲進(jìn)行優(yōu)化。
10. 根據(jù)權(quán)利要求5所述的方法，其特征在于所述步驟(6)進(jìn)一步包括下列操作內(nèi)容(61) 根據(jù)文件大小和步驟(1)中設(shè)置的下載文件的分塊原則，設(shè)定滿足一定冗余性的 下載分塊原則，并從對應(yīng)鏈接獨(dú)立進(jìn)行文件分塊下載；(62) 對下載完成的分塊進(jìn)行整合處理，在整合過程中進(jìn)行數(shù)據(jù)校驗(yàn)。
全文摘要
一種基于元搜索引擎的多源下載互聯(lián)網(wǎng)資源的裝置及方法，該裝置設(shè)有用戶單元、疊加網(wǎng)單元、搜索單元與下載單元，所有單元或軟件模塊均部署在客戶端，并在客戶端完成所有下載操作，以弱化現(xiàn)有的下載裝置對中心服務(wù)器或多媒體檢索數(shù)據(jù)庫的依賴和脫離服務(wù)被動選擇的模式，并充分利用元搜索引擎的發(fā)展，開展互聯(lián)網(wǎng)的下載應(yīng)用。該裝置充分利用互聯(lián)網(wǎng)的元搜索引擎定位發(fā)現(xiàn)文件源地址，并對目標(biāo)文件進(jìn)行同一資源的多個地址搜索，通過多源下載技術(shù)進(jìn)行目標(biāo)資源的并行下載與合并。做到了既利用各類搜索引擎的發(fā)展，提高搜索結(jié)果的準(zhǔn)確度；又利用多源下載技術(shù)提供更快、更穩(wěn)定的下載服務(wù)。而且，資源的地址與搜索都基于用戶的設(shè)置，能滿足用戶的個性化需求。
文檔編號G06F17/30GK101764807SQ20091024193
公開日2010年6月30日 申請日期2009年12月16日 優(yōu)先權(quán)日2009年12月16日
發(fā)明者張世棟, 張冬梅, 魏更宇 申請人:北京郵電大學(xué)