本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法及裝置。

背景技術(shù)：

目前，隨著網(wǎng)絡(luò)與信息技術(shù)的發(fā)展，尤其是互聯(lián)網(wǎng)的廣泛普及和應(yīng)用，如電子政務(wù)、電子商務(wù)、網(wǎng)絡(luò)辦公、網(wǎng)絡(luò)媒體以及虛擬社區(qū)的出現(xiàn)，正深刻影響人類生活、工作的方式。與此同時(shí)，信息安全的重要性也在不斷提升。

在對(duì)Web站點(diǎn)進(jìn)行滲透過(guò)程中，首先需要對(duì)該站點(diǎn)的信息進(jìn)行收集，這樣就能夠有針對(duì)性的對(duì)站點(diǎn)進(jìn)行精準(zhǔn)打擊。對(duì)站點(diǎn)的架構(gòu)、所使用的中間件和部署方式等信息收集的越多對(duì)成功滲透目標(biāo)的幾率就越高，所以對(duì)web站點(diǎn)的信息收集在滲透測(cè)試過(guò)程中至關(guān)重要。然而目前要收集站點(diǎn)相關(guān)的信息都是人工來(lái)進(jìn)行信息收集，收集工作量非常大，工作效率較低，也需要大量人力成本。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法及裝置，以實(shí)現(xiàn)自動(dòng)收集web站點(diǎn)信息，節(jié)省人力成本。

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法，該方法包括：

對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址；

對(duì)所述IP地址進(jìn)行端口掃描，獲取所述IP地址對(duì)應(yīng)的端口信息；

將所述端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件。

優(yōu)選的，對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址，包括：

判斷web站點(diǎn)的URL地址是否合法，若是，獲取web站點(diǎn)的IP地址。

優(yōu)選的，所述對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址之后，還包括：

查詢web站點(diǎn)的域名信息；所述域名信息包括web站點(diǎn)的注冊(cè)信息和子域名信息。

優(yōu)選的，所述方法還包括：

采用網(wǎng)絡(luò)爬蟲(chóng)工具對(duì)web站點(diǎn)進(jìn)行信息抓取，得到web站點(diǎn)的URL地址使用的開(kāi)發(fā)框架信息。

本發(fā)明還提供一種網(wǎng)絡(luò)web站點(diǎn)信息收集裝置，該裝置包括：

地址獲取模塊，用于對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址；

端口掃描模塊，用于對(duì)所述IP地址進(jìn)行端口掃描，獲取所述IP地址對(duì)應(yīng)的端口信息；

比對(duì)模塊，用于將所述端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件。

優(yōu)選的，所述IP地址獲取模塊，用于對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址，包括：

所述地址獲取模塊，用于判斷web站點(diǎn)的URL地址是否合法，若是，獲取web站點(diǎn)的IP地址。

優(yōu)選的，所述裝置還包括：

查詢模塊，用于查詢web站點(diǎn)的域名信息；所述域名信息包括web站點(diǎn)的注冊(cè)信息和子域名信息。

優(yōu)選的，所述裝置還包括：

爬蟲(chóng)模塊，用于采用網(wǎng)絡(luò)爬蟲(chóng)工具對(duì)web站點(diǎn)進(jìn)行信息抓取，得到web站點(diǎn)的URL地址使用的開(kāi)發(fā)框架信息。

本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法及裝置，對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址；對(duì)所述IP地址進(jìn)行端口掃描，獲取所述IP地址對(duì)應(yīng)的端口信息；將所述端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件?？梢?jiàn)，不僅獲取了web站點(diǎn)的IP地址信息，而且通過(guò)端口掃描獲取端口信息，并通過(guò)指紋庫(kù)中信息比對(duì)來(lái)獲得web站點(diǎn)的操作系統(tǒng)和中間件，如此自動(dòng)獲取了IP地址信息、端口信息、操作系統(tǒng)和中間件這些多類信息，獲取的信息量很多，也極大的提高站點(diǎn)的參透效率，也不需要大量人工來(lái)進(jìn)行信息收集，如此實(shí)現(xiàn)自動(dòng)收集web站點(diǎn)信息，節(jié)省人力成本。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法的流程圖；

圖2為本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

本發(fā)明的核心是提供一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法及裝置，以實(shí)現(xiàn)自動(dòng)收集web站點(diǎn)信息，提升工作效率。

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參考圖1，圖1為本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法的流程圖，該方法包括：

S11：對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址；

S12：對(duì)IP地址進(jìn)行端口掃描，獲取IP地址對(duì)應(yīng)的端口信息；

S13：將端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件。

可見(jiàn)，該方法不僅獲取了web站點(diǎn)的IP地址信息，而且通過(guò)端口掃描獲取端口信息，并通過(guò)指紋庫(kù)中信息比對(duì)來(lái)獲得web站點(diǎn)的操作系統(tǒng)和中間件，如此自動(dòng)獲取了IP地址信息、端口信息、操作系統(tǒng)和中間件這些多類信息，獲取的信息量很多，也極大的提高站點(diǎn)的參透效率，也不需要大量人工來(lái)進(jìn)行信息收集，如此實(shí)現(xiàn)自動(dòng)收集web站點(diǎn)信息，節(jié)省人力成本。

基于上述方法，具體的，對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址的過(guò)程具體為：判斷web站點(diǎn)的URL地址是否合法，若是，獲取web站點(diǎn)的IP地址。

進(jìn)一步的，對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址之后，還包括：查詢web站點(diǎn)的域名信息；域名信息包括web站點(diǎn)的注冊(cè)信息和子域名信息。

進(jìn)一步的，所述方法還包括：采用網(wǎng)絡(luò)爬蟲(chóng)工具對(duì)web站點(diǎn)進(jìn)行信息抓取，得到web站點(diǎn)的URL地址使用的開(kāi)發(fā)框架信息。

具體的，步驟S13的過(guò)程具體為：將端口信息和端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，查找出與端口信息對(duì)應(yīng)的指紋信息，從指紋信息中獲取web站點(diǎn)使用的操作系統(tǒng)和采用的中間件。這里的指紋信息即為端口指紋信息，指紋信息中包含有web站點(diǎn)使用的操作系統(tǒng)和采用的中間件，從指紋信息中就能獲取web站點(diǎn)使用的操作系統(tǒng)和采用的中間件。web站點(diǎn)使用的操作系統(tǒng)和采用的中間件均為web站點(diǎn)的服務(wù)信息。中間件就是一類連接軟件組件和應(yīng)用的計(jì)算機(jī)軟件，它包括一組服務(wù)；中間件位于客戶機(jī)/服務(wù)器的操作系統(tǒng)之上，管理計(jì)算機(jī)資源和網(wǎng)絡(luò)通訊，是連接兩個(gè)獨(dú)立應(yīng)用程序或獨(dú)立系統(tǒng)的軟件；相連接的系統(tǒng)，即使它們具有不同的接口，但通過(guò)中間件相互之間仍能交換信息；通過(guò)中間件，應(yīng)用程序可以工作于多平臺(tái)或OS環(huán)境。網(wǎng)絡(luò)爬蟲(chóng)工具就是網(wǎng)絡(luò)爬蟲(chóng)軟件，包括Scrapy爬蟲(chóng)工具、PyRailgun爬蟲(chóng)工具或者QuickRecon爬蟲(chóng)工具。

本方法可以對(duì)站點(diǎn)進(jìn)行多方面的信息收集，包括站點(diǎn)域名、子域名注冊(cè)信息，主機(jī)、開(kāi)放端口、服務(wù)信息，http服務(wù)器信息等方面進(jìn)行信息的準(zhǔn)確采集，實(shí)現(xiàn)從站點(diǎn)主機(jī)信息收集、端口信息收集、服務(wù)信息收集、域名信息收集、web應(yīng)用信息收集等。本方法可以不受防火墻和IDS的影響，正確的收集到關(guān)于該站點(diǎn)的信息。本方法在進(jìn)行站點(diǎn)信息收集的過(guò)程中對(duì)帶寬的占用很少，不會(huì)產(chǎn)生危險(xiǎn)的分片報(bào)文影響正常的網(wǎng)絡(luò)運(yùn)行。本方法可以幫助很多信息系統(tǒng)，包括業(yè)務(wù)系統(tǒng)、門戶網(wǎng)站等，建立站點(diǎn)信息收集系統(tǒng)，幫助管理員更好的理解站點(diǎn)信息，可以嵌入到其他滲透測(cè)試系統(tǒng)中，為滲透測(cè)試提供前期的信息收集服務(wù)。

基于本方法，具體流程如下：

1、通過(guò)對(duì)目標(biāo)web站點(diǎn)進(jìn)行掃描，發(fā)現(xiàn)主機(jī)信息，包括該主機(jī)的IP地址和操作系統(tǒng)信息；

其中，輸入目標(biāo)web地址，根據(jù)該web地址獲取站點(diǎn)whois信息，解析輸入的目標(biāo)地址，判斷該目標(biāo)地址是否合法，獲取目標(biāo)站點(diǎn)的IP地址信息；

2、通過(guò)對(duì)目標(biāo)地址的IP地址進(jìn)行端口掃描，確定目標(biāo)地址開(kāi)放的端口信息；

其中，根據(jù)目標(biāo)地址獲取該地址的操作系統(tǒng)信息，端口信息，還獲取該目標(biāo)地址使用的開(kāi)發(fā)框架、采用的中間件信息；

3、通過(guò)收集到的端口信息與指紋庫(kù)中的指紋信息進(jìn)行對(duì)比，確定目標(biāo)使用的操作系統(tǒng)以及采用的中間件；

其中，根據(jù)獲取到的端口信息與端口指紋庫(kù)中的信息進(jìn)行對(duì)比，收集該站點(diǎn)的服務(wù)開(kāi)放信息即操作系統(tǒng)以及中間件；

4、通過(guò)對(duì)該站點(diǎn)的域名信息進(jìn)行收集，包含該站點(diǎn)的注冊(cè)信息和子域名信息；

5、采用自動(dòng)化的web站點(diǎn)爬蟲(chóng)，收集該站點(diǎn)的目錄結(jié)構(gòu)信息，發(fā)現(xiàn)該站點(diǎn)采用的中間件信息。

其中，根據(jù)提供的web站點(diǎn)入口地址，查找robot.txt文件，根據(jù)該文件對(duì)站點(diǎn)進(jìn)行初級(jí)抓取，根據(jù)站點(diǎn)首頁(yè)進(jìn)行頁(yè)面鏈接收集，通過(guò)抓取站點(diǎn)鏈接進(jìn)行目錄結(jié)構(gòu)信息遍歷。

圖2為本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集裝置的結(jié)構(gòu)示意圖，該裝置包括：

地址獲取模塊101，用于對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址；

端口掃描模塊102，用于對(duì)IP地址進(jìn)行端口掃描，獲取IP地址對(duì)應(yīng)的端口信息；

比對(duì)模塊103，用于將端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件。

可見(jiàn)，該裝置不僅獲取了web站點(diǎn)的IP地址信息，而且通過(guò)端口掃描獲取端口信息，并通過(guò)指紋庫(kù)中信息比對(duì)來(lái)獲得web站點(diǎn)的操作系統(tǒng)和中間件，如此自動(dòng)獲取了IP地址信息、端口信息、操作系統(tǒng)和中間件這些多類信息，獲取的信息量很多，也極大的提高站點(diǎn)的參透效率，也不需要大量人工來(lái)進(jìn)行信息收集，如此實(shí)現(xiàn)自動(dòng)收集web站點(diǎn)信息，節(jié)省人力成本。

基于上述裝置，具體的，IP地址獲取模塊，用于對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址，具體包括：用于判斷web站點(diǎn)的URL地址是否合法，若是，獲取web站點(diǎn)的IP地址。

進(jìn)一步的，所述裝置還包括：

查詢模塊，用于查詢web站點(diǎn)的域名信息；域名信息包括web站點(diǎn)的注冊(cè)信息和子域名信息。

進(jìn)一步的，所述裝置還包括：

爬蟲(chóng)模塊，用于采用網(wǎng)絡(luò)爬蟲(chóng)工具對(duì)web站點(diǎn)進(jìn)行信息抓取，得到web站點(diǎn)的URL地址使用的開(kāi)發(fā)框架信息。

具體的，比對(duì)模塊，用于將端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件，具體包括：用于將端口信息和端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，查找出與端口信息對(duì)應(yīng)的指紋信息，從指紋信息中獲取web站點(diǎn)使用的操作系統(tǒng)和采用的中間件。這里的指紋信息即為端口指紋信息，指紋信息中包含有web站點(diǎn)使用的操作系統(tǒng)和采用的中間件，從指紋信息中就能獲取web站點(diǎn)使用的操作系統(tǒng)和采用的中間件。web站點(diǎn)使用的操作系統(tǒng)和采用的中間件均為web站點(diǎn)的服務(wù)信息。

本裝置可以對(duì)站點(diǎn)進(jìn)行多方面的信息收集，包括站點(diǎn)域名、子域名注冊(cè)信息，主機(jī)、開(kāi)放端口、服務(wù)信息，http服務(wù)器信息等方面進(jìn)行信息的準(zhǔn)確采集，通過(guò)自動(dòng)化調(diào)用多個(gè)模塊相互配合，實(shí)現(xiàn)從站點(diǎn)主機(jī)信息收集、端口信息收集、服務(wù)信息收集、域名信息收集、web應(yīng)用信息收集等。本裝置可以不受防火墻和IDS的影響，正確的收集到關(guān)于該站點(diǎn)的信息。本裝置在進(jìn)行站點(diǎn)信息收集的過(guò)程中對(duì)帶寬的占用很少，不會(huì)產(chǎn)生危險(xiǎn)的分片報(bào)文影響正常的網(wǎng)絡(luò)運(yùn)行。本裝置可以幫助很多信息系統(tǒng)，包括業(yè)務(wù)系統(tǒng)、門戶網(wǎng)站等，建立站點(diǎn)信息收集系統(tǒng)，幫助管理員更好的理解站點(diǎn)信息，可以作為第三方模塊嵌入到其他滲透測(cè)試系統(tǒng)中，為滲透測(cè)試提供前期的信息收集服務(wù)。

基于本裝置，具體過(guò)程如下：

1、地址獲取模塊通過(guò)對(duì)目標(biāo)web站點(diǎn)進(jìn)行掃描，發(fā)現(xiàn)主機(jī)信息，包括該主機(jī)的IP地址和操作系統(tǒng)信息；其中，輸入目標(biāo)web地址，根據(jù)該web地址獲取站點(diǎn)whois信息，解析輸入的目標(biāo)地址，判斷該目標(biāo)地址是否合法，獲取目標(biāo)站點(diǎn)的IP地址信息；

2、端口掃描模塊通過(guò)對(duì)目標(biāo)地址的IP地址進(jìn)行端口掃描，確定目標(biāo)地址開(kāi)放的端口信息；其中，根據(jù)目標(biāo)地址獲取該地址的操作系統(tǒng)信息，端口信息，還獲取該目標(biāo)地址使用的開(kāi)發(fā)框架、采用的中間件信息；

3、比對(duì)模塊通過(guò)收集到的端口信息與指紋庫(kù)中的指紋信息進(jìn)行對(duì)比，確定目標(biāo)使用的操作系統(tǒng)以及采用的中間件；其中，根據(jù)獲取到的端口信息與端口指紋庫(kù)中的信息進(jìn)行對(duì)比，收集該站點(diǎn)的服務(wù)開(kāi)放信息即操作系統(tǒng)以及中間件；

4、查詢模塊通過(guò)對(duì)該站點(diǎn)的域名信息進(jìn)行收集，包含該站點(diǎn)的注冊(cè)信息和子域名信息；

5、爬蟲(chóng)模塊采用自動(dòng)化的web站點(diǎn)爬蟲(chóng)，收集該站點(diǎn)的目錄結(jié)構(gòu)信息，發(fā)現(xiàn)該站點(diǎn)采用的中間件信息。其中，根據(jù)提供的web站點(diǎn)入口地址，查找robot.txt文件，根據(jù)該文件對(duì)站點(diǎn)進(jìn)行初級(jí)抓取，根據(jù)站點(diǎn)首頁(yè)進(jìn)行頁(yè)面鏈接收集，通過(guò)抓取站點(diǎn)鏈接進(jìn)行目錄結(jié)構(gòu)信息遍歷。

綜上，本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法及裝置，對(duì)web站點(diǎn)進(jìn)行檢測(cè)，獲取web站點(diǎn)的IP地址；對(duì)IP地址進(jìn)行端口掃描，獲取IP地址對(duì)應(yīng)的端口信息；將端口信息與端口指紋庫(kù)中的指紋信息進(jìn)行比對(duì)，確定web站點(diǎn)使用的操作系統(tǒng)以及采用的中間件。可見(jiàn)，不僅獲取了web站點(diǎn)的IP地址信息，而且通過(guò)端口掃描獲取端口信息，并通過(guò)指紋庫(kù)中信息比對(duì)來(lái)獲得web站點(diǎn)的操作系統(tǒng)和中間件，如此自動(dòng)獲取了IP地址信息、端口信息、操作系統(tǒng)和中間件這些多類信息，獲取的信息量很多，也極大的提高站點(diǎn)的參透效率，也不需要大量人工來(lái)進(jìn)行信息收集，如此實(shí)現(xiàn)自動(dòng)收集web站點(diǎn)信息，節(jié)省人力成本。

以上對(duì)本發(fā)明所提供的一種網(wǎng)絡(luò)web站點(diǎn)信息收集方法及裝置進(jìn)行了詳細(xì)介紹。本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以對(duì)本發(fā)明進(jìn)行若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。