動(dòng)態(tài)部署下載機(jī)方法和動(dòng)態(tài)部署下載機(jī)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體而言，涉及一種動(dòng)態(tài)部署下載機(jī)方法和一種動(dòng)態(tài)部署下載機(jī)裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的出現(xiàn)，人們的工作和生活方式也隨之發(fā)生了越來越多的改變。今天，豐富而實(shí)時(shí)的網(wǎng)絡(luò)新聞與各種博客、論壇、微博等新興媒介，正隨時(shí)隨地帶給人們以海量的資訊與信息。正因如此，及時(shí)準(zhǔn)確地獲取及分析這些信息更為重要。
[0003]若想準(zhǔn)確地采集和分析這些廣泛而實(shí)時(shí)更新的信息，目前普遍采用的策略是分布式系統(tǒng)。這種系統(tǒng)主要部分包括調(diào)度、下載、解析等部分，其中在部署下載機(jī)時(shí)，采用固定部署方式用于抓取頁面信息。這樣的部署網(wǎng)絡(luò)下載機(jī)所付出的巨大代價(jià)就是需要更多的物理設(shè)備、消耗更多的電能和管理成本。

【發(fā)明內(nèi)容】

[0004]考慮到相關(guān)技術(shù)中出現(xiàn)的技術(shù)問題，本發(fā)明提供了一種下載機(jī)部署技術(shù)，可根據(jù)信息量、下載任務(wù)情況動(dòng)態(tài)部署下載機(jī)。
[0005]根據(jù)本發(fā)明的一個(gè)方面，提供了一種動(dòng)態(tài)部署下載機(jī)方法，包括:監(jiān)測下載任務(wù)狀態(tài)；根據(jù)所述下載任務(wù)狀態(tài)控制分布式系統(tǒng)中的下載機(jī)的開關(guān)狀態(tài)。
[0006]分布式系統(tǒng)中具有多個(gè)下載機(jī)，在傳統(tǒng)方法中，采用固定部署方式來部署這些下載機(jī)，沒有考慮當(dāng)前的信息量以及下載情況，因此造成極大的資源浪費(fèi)以及功耗，本發(fā)明實(shí)時(shí)監(jiān)測下載任務(wù)狀態(tài)，根據(jù)當(dāng)前的下載任務(wù)狀態(tài)來控制下載機(jī)的開關(guān)狀態(tài)，例如根據(jù)當(dāng)前的待下載任務(wù)量來開啟合適數(shù)量的下載機(jī)，其他下載機(jī)可處于關(guān)機(jī)狀態(tài)，從而實(shí)現(xiàn)動(dòng)態(tài)部署下載機(jī)，減少了資源浪費(fèi)。
[0007]在上述技術(shù)方案中，優(yōu)選的，所述下載任務(wù)狀態(tài)包括當(dāng)前待下載任務(wù)的數(shù)量、實(shí)時(shí)刷新出的任務(wù)數(shù)量、預(yù)定時(shí)間段內(nèi)的落地文件的數(shù)量和/或不同時(shí)間段對應(yīng)的網(wǎng)絡(luò)信息量。
[0008]在上述技術(shù)方案中，優(yōu)選的，在所述下載任務(wù)狀態(tài)滿足預(yù)設(shè)條件時(shí)，啟動(dòng)所述分布式系統(tǒng)中所需的下載機(jī)，否則，關(guān)閉所述分布式系統(tǒng)中的指定下載機(jī)。
[0009]任務(wù)頻繁發(fā)生的時(shí)間段不一樣，例如每天晚上6點(diǎn)至8點(diǎn)的任務(wù)發(fā)生數(shù)較其他時(shí)段多，當(dāng)進(jìn)入晚上6點(diǎn)至8點(diǎn)時(shí)，可開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)，來滿足當(dāng)前的需要。當(dāng)出了上述時(shí)間段之后，關(guān)閉這些下載機(jī)，節(jié)約資源和能耗。
[0010]在上述技術(shù)方案中，優(yōu)選的，所述預(yù)設(shè)條件包括當(dāng)前待下載任務(wù)的數(shù)量大于第一閾值、實(shí)時(shí)刷新出的任務(wù)數(shù)量大于第二閾值，預(yù)定時(shí)間段內(nèi)的落地文件大于第三閾值和/或當(dāng)前時(shí)間點(diǎn)處于網(wǎng)絡(luò)信息量大于第四閾值的時(shí)間段。
[0011]在上述任一技術(shù)方案中，優(yōu)選的，監(jiān)測所述分布式系統(tǒng)中各下載機(jī)的狀態(tài)，所述狀態(tài)包括待機(jī)狀態(tài)、工作狀態(tài)、關(guān)機(jī)狀態(tài)；判斷所述分布式系統(tǒng)中處于開機(jī)狀態(tài)的下載機(jī)是否可完成與所述下載任務(wù)狀態(tài)對應(yīng)的下載量；在不滿足所述下載量時(shí)，開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)。
[0012]當(dāng)監(jiān)測到當(dāng)前的下載狀態(tài)時(shí)，還需要監(jiān)測當(dāng)前各下載機(jī)的狀態(tài)，如果當(dāng)前處于開啟狀態(tài)的下載機(jī)能夠完成當(dāng)前的下載任務(wù)，則不需要開啟其他處于關(guān)機(jī)狀態(tài)的下載機(jī)，否貝U，可選擇開啟合適的下載機(jī)。
[0013]根據(jù)本發(fā)明的另一方面，還提供了一種動(dòng)態(tài)部署下載機(jī)裝置，包括:監(jiān)測單元，連接至控制單元，用于監(jiān)測下載任務(wù)狀態(tài)；所述控制單元，用于根據(jù)所述下載任務(wù)狀態(tài)控制分布式系統(tǒng)中的下載機(jī)的開關(guān)狀態(tài)。
[0014]分布式系統(tǒng)中具有多個(gè)下載機(jī)，在傳統(tǒng)方法中，采用固定部署方式來部署這些下載機(jī)，沒有考慮當(dāng)前的信息量以及下載情況，因此造成極大的資源浪費(fèi)以及功耗，本發(fā)明實(shí)時(shí)監(jiān)測下載任務(wù)狀態(tài)，根據(jù)當(dāng)前的下載任務(wù)狀態(tài)來控制下載機(jī)的開關(guān)狀態(tài)，例如根據(jù)當(dāng)前的待下載任務(wù)量來開啟合適數(shù)量的下載機(jī)，其他下載機(jī)可處于關(guān)機(jī)狀態(tài)，從而實(shí)現(xiàn)動(dòng)態(tài)部署下載機(jī)，減少了資源浪費(fèi)。
[0015]在上述技術(shù)方案中，優(yōu)選的，所述下載任務(wù)狀態(tài)包括當(dāng)前待下載任務(wù)的數(shù)量、實(shí)時(shí)刷新出的任務(wù)數(shù)量、預(yù)定時(shí)間段內(nèi)的落地文件的數(shù)量和/或不同時(shí)間段對應(yīng)的網(wǎng)絡(luò)信息量。
[0016]在上述技術(shù)方案中，優(yōu)選的，所述控制單元包括:判斷單元，在所述下載任務(wù)狀態(tài)滿足預(yù)設(shè)條件時(shí)，啟動(dòng)所述分布式系統(tǒng)中所需的下載機(jī)，否則，關(guān)閉所述分布式系統(tǒng)中的指定下載機(jī)。
[0017]任務(wù)頻繁發(fā)生的時(shí)間段不一樣，例如每天晚上6點(diǎn)至8點(diǎn)的任務(wù)發(fā)生數(shù)較其他時(shí)段多，當(dāng)進(jìn)入晚上6點(diǎn)至8點(diǎn)時(shí)，可開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)，來滿足當(dāng)前的需要。當(dāng)出了上述時(shí)間段之后，關(guān)閉這些下載機(jī)，節(jié)約資源和能耗。
[0018]在上述技術(shù)方案中，優(yōu)選的，所述預(yù)設(shè)條件包括當(dāng)前待下載任務(wù)的數(shù)量大于第一閾值、實(shí)時(shí)刷新出的任務(wù)數(shù)量大于第二閾值，預(yù)定時(shí)間段內(nèi)的落地文件大于第三閾值和/或當(dāng)前時(shí)間點(diǎn)處于網(wǎng)絡(luò)信息量大于第四閾值的時(shí)間段。
[0019]在上述技術(shù)方案中，優(yōu)選的，所述監(jiān)測單元還用于監(jiān)測所述分布式系統(tǒng)中各下載機(jī)的狀態(tài)，所述狀態(tài)包括待機(jī)狀態(tài)、工作狀態(tài)、關(guān)機(jī)狀態(tài)；
[0020]所述控制單元還用于判斷所述分布式系統(tǒng)中處于開機(jī)狀態(tài)的下載機(jī)是否可完成與所述下載任務(wù)狀態(tài)對應(yīng)的下載量，在不滿足所述下載量時(shí)，開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)。
[0021]當(dāng)監(jiān)測到當(dāng)前的下載狀態(tài)時(shí)，還需要監(jiān)測當(dāng)前各下載機(jī)的狀態(tài)，如果當(dāng)前處于開啟狀態(tài)的下載機(jī)能夠完成當(dāng)前的下載任務(wù)，則不需要開啟其他處于關(guān)機(jī)狀態(tài)的下載機(jī)，否貝U，可選擇開啟合適的下載機(jī)。
[0022]本發(fā)明提供的基于分布式采集系統(tǒng)及動(dòng)態(tài)部署下載機(jī)的方法及系統(tǒng)能夠充分根據(jù)總控系統(tǒng)對當(dāng)前待下載任務(wù)的數(shù)量、落地文件數(shù)量的多少、每天不同時(shí)間段對網(wǎng)絡(luò)信息頻繁發(fā)生的情況、動(dòng)態(tài)系統(tǒng)實(shí)時(shí)刷新出來的任務(wù)數(shù)量等，來開啟和關(guān)閉整個(gè)分布式系統(tǒng)中所需要的下載機(jī)，達(dá)到動(dòng)態(tài)分布和管理的最佳實(shí)效，最大限度的節(jié)約資源與人工成本，使處于分布式的系統(tǒng)更加具有實(shí)用性和節(jié)能效果。
【附圖說明】
[0023]圖1示出了根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)方法的示意流程圖；
[0024]圖2示出了根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)裝置的示意框圖；
[0025]圖3示出了根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)系統(tǒng)的處理過程示意圖。
【具體實(shí)施方式】
[0026]為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說明的是，在不沖突的情況下，本申請的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0027]在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，本發(fā)明還可以采用其他不同于在此描述的其他方式來實(shí)施，因此，本發(fā)明并不限于下面公開的具體實(shí)施例的限制。
[0028]圖1示出了根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)方法的示意流程圖。
[0029]如圖1所示，根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)方法，可以包括以下步驟:步驟102，監(jiān)測下載任務(wù)狀態(tài)；步驟104，根據(jù)下載任務(wù)狀態(tài)控制分布式系統(tǒng)中的下載機(jī)的開關(guān)狀態(tài)。
[0030]分布式系統(tǒng)中具有多個(gè)下載機(jī)，在傳統(tǒng)方法中，采用固定部署方式來部署這些下載機(jī)，沒有考慮當(dāng)前的信息量以及下載情況，因此造成極大的資源浪費(fèi)以及功耗，本發(fā)明實(shí)時(shí)監(jiān)測下載任務(wù)狀態(tài)，根據(jù)當(dāng)前的下載任務(wù)狀態(tài)來控制下載機(jī)的開關(guān)狀態(tài)，例如根據(jù)當(dāng)前的待下載任務(wù)量來開啟合適數(shù)量的下載機(jī)，其他下載機(jī)可處于關(guān)機(jī)狀態(tài)，從而實(shí)現(xiàn)動(dòng)態(tài)部署下載機(jī)，減少了資源浪費(fèi)。
[0031]在上述技術(shù)方案中，優(yōu)選的，所述下載任務(wù)狀態(tài)包括當(dāng)前待下載任務(wù)的數(shù)量、實(shí)時(shí)刷新出的任務(wù)數(shù)量、預(yù)定時(shí)間段內(nèi)的落地文件的數(shù)量和/或不同時(shí)間段對應(yīng)的網(wǎng)絡(luò)信息量。
[0032]在上述技術(shù)方案中，優(yōu)選的，在所述下載任務(wù)狀態(tài)滿足預(yù)設(shè)條件時(shí)，啟動(dòng)所述分布式系統(tǒng)中所需的下載機(jī)，否則，關(guān)閉所述分布式系統(tǒng)中的指定下載機(jī)。
[0033]任務(wù)頻繁發(fā)生的時(shí)間段不一樣，例如每天晚上6點(diǎn)至8點(diǎn)的任務(wù)發(fā)生數(shù)較其他時(shí)段多，當(dāng)進(jìn)入晚上6點(diǎn)至8點(diǎn)時(shí)，可開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)，來滿足當(dāng)前的需要。當(dāng)出了上述時(shí)間段之后，關(guān)閉這些下載機(jī)，節(jié)約資源和能耗。
[0034]在上述技術(shù)方案中，優(yōu)選的，所述預(yù)設(shè)條件包括當(dāng)前待下載任務(wù)的數(shù)量大于第一閾值、實(shí)時(shí)刷新出的任務(wù)數(shù)量大于第二閾值，預(yù)定時(shí)間段內(nèi)的落地文件大于第三閾值和/或當(dāng)前時(shí)間點(diǎn)處于網(wǎng)絡(luò)信息量大于第四閾值的時(shí)間段。
[0035]在上述任一技術(shù)方案中，優(yōu)選的，監(jiān)測所述分布式系統(tǒng)中各下載機(jī)的狀態(tài)，所述狀態(tài)包括待機(jī)狀態(tài)、工作狀態(tài)、關(guān)機(jī)狀態(tài)；判斷所述分布式系統(tǒng)中處于開機(jī)狀態(tài)的下載機(jī)是否可完成與所述下載任務(wù)狀態(tài)對應(yīng)的下載量；在不滿足所述下載量時(shí)，開啟處于關(guān)機(jī)狀態(tài)的下載機(jī)。
[0036]當(dāng)監(jiān)測到當(dāng)前的下載狀態(tài)時(shí)，還需要監(jiān)測當(dāng)前各下載機(jī)的狀態(tài)，如果當(dāng)前處于開啟狀態(tài)的下載機(jī)能夠完成當(dāng)前的下載任務(wù)，則不需要開啟其他處于關(guān)機(jī)狀態(tài)的下載機(jī)，否貝U，可選擇開啟合適的下載機(jī)。
[0037]圖2示出了根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)裝置的示意框圖。
[0038]如圖2所示，根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)部署下載機(jī)裝置200，包括:監(jiān)測單元202，連接至控制單元204，用于監(jiān)測下載任務(wù)狀態(tài)；所述控制單元204，用于根據(jù)所述下載任務(wù)狀態(tài)控制分布式系統(tǒng)中的下載機(jī)的開關(guān)狀態(tài)。
[0039]分布式系統(tǒng)中具有多個(gè)下載機(jī)，在傳統(tǒng)方法中，采用固定部署方式來部署這些下載機(jī)，沒有考慮當(dāng)前的信息量以及下載情況，因此造成極大的資源浪費(fèi)以及功耗，本發(fā)明實(shí)時(shí)監(jiān)測下載任務(wù)狀態(tài)，根據(jù)當(dāng)前的下載任務(wù)狀態(tài)來控制下載機(jī)的開關(guān)狀態(tài)，例如根據(jù)當(dāng)前的待下載任務(wù)量來開啟合適數(shù)量的下載機(jī)，其他