一種網(wǎng)頁掃描處理方法、裝置及客戶端的制作方法
【專利摘要】本發(fā)明公開了一種網(wǎng)頁掃描處理方法、裝置及客戶端，該方法包括：客戶端控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值；以及針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行：根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則；向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪問請求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)；得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。該方案可以提高處理效率和穩(wěn)定性。
【專利說明】一種網(wǎng)頁掃描處理方法、裝置及客戶端
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信【技術(shù)領(lǐng)域】，尤指一種網(wǎng)頁(Web)掃描處理方法、裝置及客戶端。
【背景技術(shù)】
[0002]Web掃描能夠主動(dòng)對(duì)web應(yīng)用進(jìn)行漏洞發(fā)掘和檢測，幫助客戶端提升防御能力，消除安全隱患。目前，Web掃描的處理方法為:爬蟲模塊將爬取到的統(tǒng)一資源定位符(universal resource locator, URL)傳給掃描模塊,掃描模塊逐一針對(duì)每個(gè)URL向服務(wù)器發(fā)送請求，然后使用現(xiàn)有的掃描規(guī)則對(duì)服務(wù)器返回的響應(yīng)進(jìn)行掃描并給出掃描結(jié)果。
[0003]在需要處理的URL的數(shù)量很多時(shí)，該方法效率非常低，并且一旦在掃描的過程中出現(xiàn)局部錯(cuò)誤還有可能導(dǎo)致整個(gè)系統(tǒng)崩潰。因此，現(xiàn)有的網(wǎng)頁掃描處理方法效率很低，穩(wěn)定性很差。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例提供一種網(wǎng)頁掃描處理方法、裝置及客戶端，用以解決現(xiàn)有的網(wǎng)頁掃描處理方法效率很低，穩(wěn)定性很差的問題。
[0005]因此，根據(jù)本發(fā)明實(shí)施例提供一種網(wǎng)頁掃描處理方法，包括:
[0006]客戶端控制待掃描統(tǒng)一資源定位符URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值；以及
[0007]針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行:
[0008]根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則；
[0009]向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪問請求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)；
[0010]得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。
[0011]具體的，控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，具體包括:
[0012]監(jiān)控所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量；
[0013]若所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于所述最大并發(fā)數(shù)值，則從待掃描URL庫中獲取URL加入所述待掃描URL隊(duì)列中，直到所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量為所述最大并發(fā)數(shù)值。
[0014]可選的，還包括:
[0015]監(jiān)控所述待掃描URL隊(duì)列中的每個(gè)待掃描URL位于所述待掃描URL隊(duì)列中的時(shí)長是否超過掃描周期；
[0016]刪除位于所述待掃描URL隊(duì)列中的時(shí)長超過所述掃描周期的待掃描URL。
[0017]可選的，還包括:[0018]若得到的針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，存儲(chǔ)所述當(dāng)前待掃描URL的掃描結(jié)果中未存儲(chǔ)的包括所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息。
[0019]可選的，還包括:
[0020]若針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描出現(xiàn)異常，結(jié)束針對(duì)所述一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描，并從所述待掃描URL隊(duì)列中刪除所述一個(gè)待掃描URL。
[0021]可選的，還包括:
[0022]動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)。
[0023]具體的，動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)值，具體包括:
[0024]根據(jù)存儲(chǔ)的至少兩組所述客戶端的性能變量值與對(duì)應(yīng)的并發(fā)數(shù)值，確定權(quán)重因子;
[0025]根據(jù)在當(dāng)前時(shí)刻所述客戶端的性能變量值和確定出的權(quán)重因子，確定出所述當(dāng)前時(shí)刻的待定最大并發(fā)數(shù)值；
[0026]若所述待定最大并發(fā)數(shù)值與存儲(chǔ)的并發(fā)數(shù)值的差值小于或等于設(shè)定閾值，將所述最大并發(fā)數(shù)值調(diào)整為所述待定最大并發(fā)數(shù)值，并存儲(chǔ)所述當(dāng)前時(shí)刻所述客戶端的性能變量值和所述待定最大并發(fā)數(shù)值。
[0027]還提供一種網(wǎng)頁掃描處理裝置，包括:
[0028]控制單元，用于控制待掃描統(tǒng)一資源定位符URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值；
[0029]分配單元，用于針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行:根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則；
[0030]掃描單元，用于向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪問請求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)；得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，通知所述控制單元從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。
[0031]具體的，所述控制單元，具體用于:
[0032]監(jiān)控所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量；
[0033]若所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于所述最大并發(fā)數(shù)值，則從待掃描URL庫中獲取URL加入所述待掃描URL隊(duì)列中，直到所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量為所述最大并發(fā)數(shù)值。
[0034]可選的，所述控制單元，還用于:
[0035]監(jiān)控所述待掃描URL隊(duì)列中的每個(gè)待掃描URL位于所述待掃描URL隊(duì)列中的時(shí)長是否超過掃描周期；
[0036]刪除位于所述待掃描URL隊(duì)列中的時(shí)長超過所述掃描周期的待掃描URL。
[0037]可選的，所述掃描單元，還用于:
[0038]若得到的針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，存儲(chǔ)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息。[0039]可選的，還用于:
[0040]若針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描出現(xiàn)異常，結(jié)束針對(duì)所述一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描，并從所述待掃描URL隊(duì)列中刪除所述一個(gè)待掃描URL。
[0041]可選的，還用于:
[0042]動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)。
[0043]具體的，所述控制單元，用于動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)值，具體用于:
[0044]根據(jù)存儲(chǔ)的至少兩組自身所在的客戶端的性能變量值與對(duì)應(yīng)的并發(fā)數(shù)值，確定權(quán)重因子；
[0045]根據(jù)在當(dāng)前時(shí)刻所述客戶端的性能變量值和確定出的權(quán)重因子，確定出所述當(dāng)前時(shí)刻的待定最大并發(fā)數(shù)值；
[0046]若所述待定最大并發(fā)數(shù)值與存儲(chǔ)的并發(fā)數(shù)值的差值小于或等于設(shè)定閾值，將所述最大并發(fā)數(shù)值調(diào)整為所述待定最大并發(fā)數(shù)值，并存儲(chǔ)所述當(dāng)前時(shí)刻所述客戶端的性能變量值和所述待定最大并發(fā)數(shù)值。
[0047]還提供一種客戶端，包括上述網(wǎng)頁掃描處理裝置。
[0048]本發(fā)明實(shí)施例提供的網(wǎng)頁掃描處理方法、裝置及客戶端，可以控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，這樣就可以實(shí)現(xiàn)同時(shí)處理的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，從而可以提高處理效率；并且不是使用所有的掃描規(guī)則對(duì)每個(gè)待掃描URL進(jìn)行掃描，而是針對(duì)每個(gè)待掃描URL分配掃描規(guī)則，也可以節(jié)省掃描的時(shí)間，從而提高處理效率；由于針對(duì)每個(gè)待掃描URL的掃描過程是獨(dú)立的，即使在掃描過程中出現(xiàn)異常，也不會(huì)影響客戶端的性能，穩(wěn)定性較高。
【專利附圖】

【附圖說明】
[0049]圖1為本發(fā)明實(shí)施例中網(wǎng)頁掃描處理方法的流程圖；
[0050]圖2為本發(fā)明實(shí)施例中網(wǎng)頁掃描處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0051]針對(duì)現(xiàn)有的網(wǎng)頁掃描處理方法效率很低，穩(wěn)定性很差的問題，本發(fā)明實(shí)施例提供一種網(wǎng)頁掃描處理方法，該方法的執(zhí)行主體為客戶端，流程如圖1所示，執(zhí)行步驟如下:
[0052]SlO:控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值。
[0053]用戶在客戶端輸入欲訪問的網(wǎng)站對(duì)應(yīng)的URL后，客戶端向該網(wǎng)站發(fā)送訪問請求，接收到該網(wǎng)站返回的訪問響應(yīng)后，爬蟲模塊可以從該訪問響應(yīng)中爬取URL，然后將爬取到的URL加入到待掃描URL庫中，客戶端從待掃描URL庫中獲取URL加入到待掃描URL隊(duì)列中，并控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值。
[0054]其中，該最大并發(fā)數(shù)值可以為預(yù)先設(shè)定的數(shù)值，也可以是根據(jù)客戶端的性能變量實(shí)時(shí)調(diào)整的數(shù)值。
[0055]Sll:針對(duì)待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行:根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為當(dāng)前待掃描URL分配掃描規(guī)則。
[0056]在對(duì)每個(gè)待掃描URL執(zhí)行掃描前，可以為其分配掃描規(guī)則。由于目前漏洞的數(shù)量越來越多，相應(yīng)的掃描規(guī)則也越來越多，如果針對(duì)每個(gè)待掃描URL都使用所有的掃描規(guī)則進(jìn)行掃描，會(huì)浪費(fèi)很多時(shí)間。掃描規(guī)則可以分為幾個(gè)等級(jí)，例如可以分為站點(diǎn)、目錄、文件和URL這四個(gè)等級(jí)，對(duì)應(yīng)與同一網(wǎng)站的URL，該網(wǎng)站返回的信息都是相同的，因此，如果已經(jīng)對(duì)該信息進(jìn)行了掃描，后續(xù)就無需進(jìn)行重復(fù)掃描了，在分配掃描規(guī)則的時(shí)候，就無需再分配站點(diǎn)級(jí)別的掃描規(guī)則，其它級(jí)別掃描規(guī)則的分配也是同樣的。
[0057]例如，若已存儲(chǔ)了網(wǎng)站的服務(wù)器版本信息、所在地等等信息，對(duì)后續(xù)待掃描URL就無需再分配這類的掃描規(guī)則。
[0058]S12:向當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪問請求，接收到當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)后，使用為當(dāng)前待掃描URL分配的掃描規(guī)則掃描當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)。
[0059]S13:得到針對(duì)當(dāng)前待掃描URL的掃描結(jié)果后，從待掃描URL隊(duì)列中刪除當(dāng)前待掃描 URL0
[0060]這樣就可以將新的待掃描URL加入到待掃描URL隊(duì)列中。
[0061 ] 該方案中，可以控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，這樣就可以實(shí)現(xiàn)同時(shí)處理的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，從而可以提高處理效率；并且不是使用所有的掃描規(guī)則對(duì)每個(gè)待掃描URL進(jìn)行掃描，而是針對(duì)每個(gè)待掃描URL分配掃描規(guī)則，也可以節(jié)省掃描的時(shí)間，從而提高處理效率；由于針對(duì)每個(gè)待掃描URL的掃描過程是獨(dú)立的，即使在掃描過程中出現(xiàn)異常，也不會(huì)影響客戶端的性能，穩(wěn)定性較高。
[0062]具體的，上述SlO中的控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，具體包括:
[0063]監(jiān)控待掃描URL隊(duì)列中的待掃描URL的數(shù)量；
[0064]若待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于最大并發(fā)數(shù)值,則從待掃描URL庫中獲取URL加入待掃描URL隊(duì)列中，直到待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值。
[0065]可以實(shí)時(shí)監(jiān)控待掃描URL隊(duì)列中的待掃描URL的數(shù)量，當(dāng)數(shù)量小于最大并發(fā)數(shù)值時(shí)，及時(shí)從待掃描URL庫中獲取URL，保證待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，也就是確?？蛻舳说馁Y源得到充分的使用，不會(huì)浪費(fèi)客戶端的資源。
[0066]可選的，上述Web掃描處理方法，還包括:
[0067]監(jiān)控待掃描URL隊(duì)列中的每個(gè)待掃描URL位于待掃描URL隊(duì)列中的時(shí)長是否超過掃描周期；
[0068]刪除位于待掃描URL隊(duì)列中的時(shí)長超過掃描周期的待掃描URL。
[0069]可以設(shè)定掃描周期，若待掃描URL隊(duì)列中的待掃描URL位于待掃描URL隊(duì)列中的時(shí)長超過該掃描周期的話，直接刪除該待掃描URL，防止待掃描URL —直占用客戶端的資源，浪費(fèi)客戶端的資源。
[0070]可選的，上述Web掃描處理方法，還包括:若得到的針對(duì)當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，存儲(chǔ)當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息。
[0071]這樣就可以針對(duì)已獲取的信息不再進(jìn)行重復(fù)掃描，節(jié)省了處理時(shí)間，提高了處理效率。[0072]可選的，上述Web掃描處理方法，還包括:
[0073]若針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描出現(xiàn)異常，結(jié)束針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描，并從待掃描URL隊(duì)列中刪除一個(gè)待掃描URL。
[0074]這樣就可以將新的URL加入到待掃描URL隊(duì)列中，從而保證充分利用客戶端的資源，保證了處理效率。
[0075]可選的，上述Web掃描處理方法，還包括:動(dòng)態(tài)調(diào)整最大并發(fā)數(shù)。
[0076]具體的，動(dòng)態(tài)調(diào)整最大并發(fā)數(shù)值，具體包括:
[0077]根據(jù)存儲(chǔ)的至少兩組客戶端的性能變量值與對(duì)應(yīng)的并發(fā)數(shù)值，確定權(quán)重因子；
[0078]根據(jù)在當(dāng)前時(shí)刻客戶端的性能變量值和確定出的權(quán)重因子，確定出當(dāng)前時(shí)刻的待定最大并發(fā)數(shù)值；
[0079]若待定最大并發(fā)數(shù)值與存儲(chǔ)的并發(fā)數(shù)值的差值小于或等于設(shè)定閾值，將最大并發(fā)數(shù)值調(diào)整為待定最大并發(fā)數(shù)值，并存儲(chǔ)當(dāng)前時(shí)刻客戶端的性能變量值和待定最大并發(fā)數(shù)值。
[0080]要實(shí)現(xiàn)客戶端的資源的最大利用化，需要根據(jù)客戶端的性能變量值對(duì)最大并發(fā)數(shù)值進(jìn)行動(dòng)態(tài)調(diào)控。
[0081]客戶端的性能變量包括中央處理器(Central Processing Unit, CPU)占用率、內(nèi)存大小、交換空間大小、進(jìn)程總數(shù)等等，這些變量共同作用影響著某個(gè)時(shí)刻并發(fā)數(shù)的最大值。
[0082]最大并發(fā)數(shù)Y與客戶端的性能變量Xn之間的關(guān)系為:
[0083]Y= β 0+ β 1+ β 2χ2+...+ β ηχη+ ε(I)
[0084]其中，χη為客戶端的性能變量，βη為權(quán)重因子，ε為估計(jì)值與實(shí)際測量值的誤差，ε的范圍為ε~Ν(0, σ 2)，該范圍為經(jīng)驗(yàn)值。
[0085]在[tp]這段時(shí)長內(nèi)，存儲(chǔ)了多組變量Xn與7?，記為X與Y，其中:
【權(quán)利要求】
1.一種網(wǎng)頁掃描處理方法，其特征在于，包括: 客戶端控制待掃描統(tǒng)一資源定位符URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值；以及 針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行: 根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則； 向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪問請求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)； 得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。
2.如權(quán)利要求1所述的方法，其特征在于，控制待掃描URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值，具體包括: 監(jiān)控所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量； 若所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于所述最大并發(fā)數(shù)值，則從待掃描URL庫中獲取URL加入所述待掃描URL隊(duì)列中，直到所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量為所述最大并發(fā)數(shù)值。
3.如權(quán)利要求1所述的方法，其特征在于，還包括: 監(jiān)控所述待掃描URL隊(duì)列中的每個(gè)待掃描URL位于所述待掃描URL隊(duì)列中的時(shí)長是否超過掃描周期； 刪除位于所述待掃描URL隊(duì)列中的時(shí)長超過所述掃描周期的待掃描URL。
4.如權(quán)利要求1所述的方法，其特征在于，還包括: 若得到的針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，存儲(chǔ)所述當(dāng)前待掃描URL的掃描結(jié)果中未存儲(chǔ)的包括所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息。
5.如權(quán)利要求1所述的方法，其特征在于，還包括: 若針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描出現(xiàn)異常，結(jié)束針對(duì)所述一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描，并從所述待掃描URL隊(duì)列中刪除所述一個(gè)待掃描URL。
6.如權(quán)利要求1所述的方法，其特征在于，還包括: 動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)。
7.如權(quán)利要求6所述的方法，其特征在于，動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)值，具體包括: 根據(jù)存儲(chǔ)的至少兩組所述客戶端的性能變量值與對(duì)應(yīng)的并發(fā)數(shù)值，確定權(quán)重因子； 根據(jù)在當(dāng)前時(shí)刻所述客戶端的性能變量值和確定出的權(quán)重因子，確定出所述當(dāng)前時(shí)刻的待定最大并發(fā)數(shù)值； 若所述待定最大并發(fā)數(shù)值與存儲(chǔ)的并發(fā)數(shù)值的差值小于或等于設(shè)定閾值，將所述最大并發(fā)數(shù)值調(diào)整為所述待定最大并發(fā)數(shù)值，并存儲(chǔ)所述當(dāng)前時(shí)刻所述客戶端的性能變量值和所述待定最大并發(fā)數(shù)值。
8.一種網(wǎng)頁掃描處理裝置，其特征在于，包括:控制單元，用于控制待掃描統(tǒng)一資源定位符URL隊(duì)列中的待掃描URL的數(shù)量為最大并發(fā)數(shù)值； 分配單元，用于針對(duì)所述待掃描URL隊(duì)列中的每個(gè)待掃描URL執(zhí)行:根據(jù)已存儲(chǔ)的當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，為所述當(dāng)前待掃描URL分配掃描規(guī)則； 掃描單元，用于向所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站發(fā)送訪問請求，接收到所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)后，使用為所述當(dāng)前待掃描URL分配的掃描規(guī)則掃描所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)；得到針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果后，通知所述控制單元從所述待掃描URL隊(duì)列中刪除所述當(dāng)前待掃描URL。
9.如權(quán)利要求8所述的裝置，其特征在于，所述控制單元，具體用于: 監(jiān)控所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量； 若所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量小于所述最大并發(fā)數(shù)值，則從待掃描URL庫中獲取URL加入所述待掃描URL隊(duì)列中，直到所述待掃描URL隊(duì)列中的待掃描URL的數(shù)量為所述最大并發(fā)數(shù)值。
10.如權(quán)利要求8所述的裝置，其特征在于，所述控制單元，還用于: 監(jiān)控所述待掃描URL隊(duì)列中的每個(gè)待掃描URL位于所述待掃描URL隊(duì)列中的時(shí)長是否超過掃描周期； 刪除位于所述待掃描URL隊(duì)列中的時(shí)長超過所述掃描周期的待掃描URL。
11.如權(quán)利要求8所述的裝置，其特征在于，所述掃描單元，還用于: 若得到的針對(duì)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息，存儲(chǔ)所述當(dāng)前待掃描URL的掃描結(jié)果中包括未存儲(chǔ)的所述當(dāng)前待掃描URL對(duì)應(yīng)的網(wǎng)站的特征信息。
12.如權(quán)利要求8所述的裝置，其特征在于，所述掃描單元，還用于: 若針對(duì)一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描出現(xiàn)異常，結(jié)束針對(duì)所述一個(gè)待掃描URL對(duì)應(yīng)的網(wǎng)站返回的訪問響應(yīng)的掃描，并從所述待掃描URL隊(duì)列中刪除所述一個(gè)待掃描URL。
13.如權(quán)利要求8所述的裝置，其特征在于，所述控制單元，還用于: 動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)。
14.如權(quán)利要求13所述的裝置，其特征在于，所述控制單元，用于動(dòng)態(tài)調(diào)整所述最大并發(fā)數(shù)值，具體用于: 根據(jù)存儲(chǔ)的至少兩組自身所在的客戶端的性能變量值與對(duì)應(yīng)的并發(fā)數(shù)值，確定權(quán)重因子; 根據(jù)在當(dāng)前時(shí)刻所述客戶端的性能變量值和確定出的權(quán)重因子，確定出所述當(dāng)前時(shí)刻的待定最大并發(fā)數(shù)值； 若所述待定最大并發(fā)數(shù)值與存儲(chǔ)的并發(fā)數(shù)值的差值小于或等于設(shè)定閾值，將所述最大并發(fā)數(shù)值調(diào)整為所述待定最大并發(fā)數(shù)值，并存儲(chǔ)所述當(dāng)前時(shí)刻所述客戶端的性能變量值和所述待定最大并發(fā)數(shù)值。
15.一種客戶端，其特征在于，包括如權(quán)利要求8-14任一所述的網(wǎng)頁掃描處理裝置。
【文檔編號(hào)】G06F21/55GK103701815SQ201310741650
【公開日】2014年4月2日 申請日期:2013年12月27日 優(yōu)先權(quán)日:2013年12月27日
【發(fā)明者】李菲, 張龍, 楊天池 申請人:北京神州綠盟信息安全科技股份有限公司, 北京神州綠盟科技有限公司