在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)活躍IP地址的方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)活躍IP地址的方法及裝置。該方法包括：配置網(wǎng)路爬蟲的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)則，并啟動網(wǎng)路爬蟲；網(wǎng)路爬蟲從起始URL地址開始進(jìn)行搜索，記錄符合URL記錄規(guī)則的URL地址；通過域名提取腳本從記錄的URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址；采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以該IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
【專利說明】在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)活躍IP地址的方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，特別是涉及一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)活躍IP地址的
方法及裝置。
【背景技術(shù)】
[0002]在當(dāng)前視安全如生命的信息領(lǐng)域中，為保障互聯(lián)網(wǎng)的安全運行，保護(hù)用戶的信息安全，有必要掌握互聯(lián)網(wǎng)整體的安全風(fēng)險情況。在現(xiàn)有技術(shù)中，可通過操作系統(tǒng)識別、安全漏洞檢測等手段，發(fā)現(xiàn)網(wǎng)絡(luò)中非法活動的主機、掛馬網(wǎng)站、存在安全漏洞的設(shè)備和主機等。再通過及時的調(diào)整和防護(hù)，減少這些不安全因素所帶來的危害和損失。盡可能全面地發(fā)現(xiàn)互聯(lián)網(wǎng)中活躍的設(shè)備是得到準(zhǔn)確檢測結(jié)果前提條件之一。
[0003]目前第四版網(wǎng)絡(luò)協(xié)議(Internet Protocol,簡稱為IP) IPv4地址的數(shù)量已遠(yuǎn)遠(yuǎn)無法滿足當(dāng)前及未來網(wǎng)絡(luò)對IP地址的需要，而IPv6 (第六版網(wǎng)絡(luò)協(xié)議)技術(shù)可較好地解決IPv4地址枯竭的問題。IPv6網(wǎng)絡(luò)代替IPv4網(wǎng)絡(luò)，是社會和技術(shù)發(fā)展的必然趨勢。
[0004]因此IPv6技術(shù)及IPv6網(wǎng)絡(luò)的安全問題，也越來越多的引起了國家和企業(yè)的重視。雖然IPv4網(wǎng)絡(luò)中IP地址發(fā)現(xiàn)技術(shù)已相對成熟，但I(xiàn)Pv6網(wǎng)絡(luò)的特殊性使得這些技術(shù)應(yīng)用在IPv6網(wǎng)絡(luò)中時具有較大的局限性。
[0005]首先，IPv6地址數(shù)量巨大，理論上，IPv6地址總數(shù)約為IPv4地址的數(shù)量的296倍，可為地球上每粒沙子分配一個IPv6地址。其次，目前IPv6網(wǎng)絡(luò)只進(jìn)行了小范圍的試驗，使用中的IPv6地址數(shù)量較少。再次，IPv6網(wǎng)絡(luò)具有獨有的地址分配機制，并從設(shè)計之初就建立了相對完善的安全防護(hù)措施。另外，多數(shù)IP地址發(fā)現(xiàn)技術(shù)只適合發(fā)現(xiàn)局域網(wǎng)中的IP地址。這些特點都限制了現(xiàn)有IP地址發(fā)現(xiàn)技術(shù)在IPv6互聯(lián)網(wǎng)中的使用。下面對現(xiàn)有技術(shù)中的IPv4局域網(wǎng)地址發(fā)現(xiàn)的解決方案進(jìn)行詳細(xì)說明:
[0006]目前在互聯(lián)網(wǎng)IP地址發(fā)現(xiàn)的【技術(shù)領(lǐng)域】中，僅有針對IPv4局域網(wǎng)地址發(fā)現(xiàn)的解決方案，主要采用網(wǎng)段掃描方式，圖1是現(xiàn)有技術(shù)中針對IPv4局域網(wǎng)地址發(fā)現(xiàn)處理的示意圖，如圖1所示，該方案主要流程如下:
[0007]步驟1，用戶向系統(tǒng)指定掃描網(wǎng)絡(luò)段，以192.168.73.0/24為例。
[0008]步驟2，系統(tǒng)將依次向目標(biāo) IP192.168.73.1,192.168.73.2、—,192.168.73.254
發(fā)送探測包。
[0009]步驟3，在一定時間內(nèi)，若系統(tǒng)收到回復(fù)包則說明該IP存活，反之，則暫視為無效IP0
[0010]從上述處理可以看出，針對IPv4局域網(wǎng)地址發(fā)現(xiàn)的技術(shù)方案存在以下技術(shù)問題:
[0011]1、不適用于IPv6地址網(wǎng)絡(luò)。IPv6的地址位數(shù)由IPv4的32位升級為128位，地址空間呈指數(shù)級增長，面對如此巨大的地址空間，IPv4網(wǎng)段掃描方式已經(jīng)完全不能支持IPv6網(wǎng)絡(luò)。例如，掃描一個IPv4/24子網(wǎng)的安全漏洞僅需要幾秒鐘,而現(xiàn)掃描一個IPv6/64網(wǎng)段將需要幾年的時間。因此，全面掃描發(fā)現(xiàn)IPv6地址的方法是不可行的；
[0012]2、無法高效發(fā)現(xiàn)IPv6互聯(lián)網(wǎng)中活躍IP。由于互聯(lián)網(wǎng)IP地址涉及范圍廣，分配不像局域網(wǎng)那么連續(xù)，網(wǎng)段方式掃描發(fā)現(xiàn)活躍IP概率較低，這會造成巨大的網(wǎng)絡(luò)資源浪費；
[0013]3、不能快速提取互聯(lián)網(wǎng)中真正有價值的IP?；ヂ?lián)網(wǎng)中IP地址的分配與設(shè)備類型不存在絕對的關(guān)系，但大多用戶更希望獲取到如Web服務(wù)器、郵件服務(wù)器、交換機、路由器等這些大量存在于互聯(lián)網(wǎng)中且安全性又極為重要的設(shè)備的IP地址。利用指定網(wǎng)段這種盲目掃描方式無法滿足這一需求。
[0014]因此，目前急需一種能夠有效發(fā)現(xiàn)IPv6互聯(lián)網(wǎng)中活躍IP地址的技術(shù)。
【發(fā)明內(nèi)容】
[0015]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法及裝置。
[0016]本發(fā)明提供一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法，包括:
[0017]配置網(wǎng)路爬蟲的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)則，并啟動網(wǎng)路爬蟲；
[0018]網(wǎng)路爬蟲從起始URL地址開始進(jìn)行搜索，記錄符合URL記錄規(guī)則的URL地址；
[0019]通過域名提取腳本從記錄的URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址；
[0020]采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
[0021 ] 優(yōu)選地，網(wǎng)路爬蟲從起始URL地址開始進(jìn)行搜索，記錄符合URL記錄規(guī)則的URL地址具體包括:
[0022]網(wǎng)絡(luò)爬蟲從起始URL地址開始，下載相應(yīng)URL地址對應(yīng)的超文本標(biāo)記語言HTML頁面，從HTML頁面中提取更多的URL地址，并記錄獲取的URL地址中符合URL記錄規(guī)則的URL地址。
[0023]優(yōu)選地，通過域名系統(tǒng)DNS解析腳本對提取的域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址之后，方法進(jìn)一步包括:
[0024]根據(jù)應(yīng)用服務(wù)器的種類，對獲取并記錄的IPv6地址進(jìn)行分類存儲。
[0025]優(yōu)選地，IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議ICMP包、ICMP時間戳請求包、傳輸控制協(xié)議連接請求TCP SYN包、以及傳輸控制協(xié)議確認(rèn)TCP ACK包。
[0026]優(yōu)選地，路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法、以及基于DNS的路由發(fā)現(xiàn)方法。
[0027]本發(fā)明還提供了一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的裝置，包括:
[0028]配置模塊，用于配置網(wǎng)路爬蟲模塊的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)則，并啟動網(wǎng)路爬蟲模塊；
[0029]網(wǎng)路爬蟲模塊，用于從起始URL地址開始進(jìn)行搜索，記錄符合URL記錄規(guī)則的URL地址；
[0030]提取解析模塊，用于通過域名提取腳本從記錄的URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址；[0031]獲取模塊，用于采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
[0032]優(yōu)選地，網(wǎng)絡(luò)爬蟲模塊具體用于:從起始URL地址開始，下載相應(yīng)URL地址對應(yīng)的超文本標(biāo)記語言HTML頁面，從HTML頁面中提取更多的URL地址，并記錄獲取的URL地址中符合URL記錄規(guī)則的URL地址。
[0033]優(yōu)選地，提取解析模塊進(jìn)一步用于:根據(jù)應(yīng)用服務(wù)器的種類，對獲取并記錄的IPv6地址進(jìn)行分類存儲。
[0034]優(yōu)選地，IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議ICMP包、ICMP時間戳請求包、傳輸控制協(xié)議連接請求TCP SYN包、以及傳輸控制協(xié)議確認(rèn)TCP ACK包。
[0035]優(yōu)選地，路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法、以及基于DNS的路由發(fā)現(xiàn)方法。
[0036]本發(fā)明有益效果如下:
[0037]通過網(wǎng)絡(luò)爬蟲和域名解析發(fā)現(xiàn)部分活躍的IPv6地址，并結(jié)合多種掃描方法，以這些地址為中心，發(fā)現(xiàn)更多的IPv6地址，最后使用多種路由發(fā)現(xiàn)方法獲取中間設(shè)備的IPv6地址，借助于本發(fā)明實施例的上述技術(shù)方案，能夠快速便捷地發(fā)現(xiàn)IPv6互聯(lián)網(wǎng)中活躍的IPv6地址。
[0038]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0039]通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0040]圖1是現(xiàn)有技術(shù)中針對IPv4局域網(wǎng)地址發(fā)現(xiàn)處理的示意圖；
[0041]圖2是本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法的流程圖；
[0042]圖3是本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法的詳細(xì)處理的流程圖；
[0043]圖4是本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0044]下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0045]為了解決現(xiàn)有技術(shù)中的上述問題，本發(fā)明提供了一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法及裝置，以下結(jié)合附圖以及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不限定本發(fā)明。
[0046]方法實施例[0047]根據(jù)本發(fā)明的實施例，提供了一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法，圖2是本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法的流程圖，如圖2所示，根據(jù)本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法包括如下處理:
[0048]步驟201，配置網(wǎng)路爬蟲的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)則，并啟動所述網(wǎng)路爬蟲；
[0049]步驟202，所述網(wǎng)路爬蟲從所述起始URL地址開始進(jìn)行搜索，記錄符合所述URL記錄規(guī)則的URL地址；
[0050]步驟202具體包括如下處理:
[0051]所述網(wǎng)絡(luò)爬蟲從所述起始URL地址開始，下載相應(yīng)URL地址對應(yīng)的超文本標(biāo)記語言HTML頁面，從所述HTML頁面中提取更多的URL地址，并記錄獲取的URL地址中符合所述URL記錄規(guī)則的URL地址。
[0052]步驟203，通過域名提取腳本從記錄的所述URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的所述域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址；
[0053]在進(jìn)行了上述處理之后，還根據(jù)應(yīng)用服務(wù)器的種類，對獲取并記錄的所述IPv6地址進(jìn)行分類存儲。
[0054]步驟204，采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以所述IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的所述IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
[0055]其中，所述IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議ICMP包、ICMP時間戳請求包、傳輸控制協(xié)議連接請求TCP SYN包、以及傳輸控制協(xié)議確認(rèn)TCP ACK包。所述路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法、以及基于DNS的路由發(fā)現(xiàn)方法。
[0056]以下結(jié)合附圖，對本發(fā)明實施例的上述技術(shù)方案進(jìn)行詳細(xì)說明。
[0057]圖3是本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法的詳細(xì)處理的流程圖，如圖3所示，根據(jù)本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的方法包括如下處理:
[0058]步驟1， 為網(wǎng)絡(luò)爬蟲指定起始URL，并配置爬蟲需記錄的URL的規(guī)則。網(wǎng)絡(luò)爬蟲即可下載起始URL對應(yīng)的HTML頁面，并從網(wǎng)頁中提取出更多的URL，同時在文件中記錄符合匹配規(guī)則的URL。網(wǎng)絡(luò)爬蟲繼續(xù)從新得到的URL中獲得HTML頁面，從而得到更多的URL。如此反復(fù)，可獲得大量的URL地址。
[0059]步驟2，使用腳本(例如，域名提取腳本)對這些URL進(jìn)行處理，提取出其中的域名并進(jìn)行去重處理，可得到一批沒有重復(fù)的域名。再使用腳本(例如，域名系統(tǒng)(Domain NameSystem,簡稱為DNS)解析請求腳本，也可以稱為DNS解析腳本)對這些域名進(jìn)行DNS解析，即可得到一批IPv6地址。例如，啟動DNS解析請求腳本，向指定的DNS服務(wù)器列表發(fā)出DNS解析請求，得到并記錄IPv6地址。同時可按應(yīng)用服務(wù)器的種類，對這些IPv6地址進(jìn)行分類存儲。
[0060]步驟3，通過網(wǎng)絡(luò)爬蟲方法得到一批IPv6地址后，可結(jié)合多種IP地址掃描方法，來發(fā)現(xiàn)這些IPv6地址附近的其他活躍的IPv6地址。IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議(Internet Control Message Protocol,簡稱為ICMP)包、ICMP時間戮請求包、TCP SYN包、TCP ACK包等。例如，爬蟲發(fā)現(xiàn)了 IPv6 地址 2404:6800:8005::93 后，發(fā)送 ICMP包并查看地址段2404:6800:8005::0-2404:6800:8005:: 186的回復(fù)情況，發(fā)現(xiàn)并記錄其中活躍的IPv6地址；[0061]步驟4，使用多種路由發(fā)現(xiàn)方法獲取到達(dá)這些IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法和基于DNS的路由發(fā)現(xiàn)方法等。例如，使用基于ICMP的網(wǎng)絡(luò)拓?fù)浒l(fā)現(xiàn)方法，發(fā)現(xiàn)到達(dá)2404:6800:8005::93這一 IP地址所要經(jīng)過的中間設(shè)備的IP。
[0062]重復(fù)以上流程，可發(fā)現(xiàn)大量活躍的IPv6地址。
[0063]綜上所述，本發(fā)明實施例的技術(shù)方案首先通過網(wǎng)絡(luò)爬蟲和域名解析發(fā)現(xiàn)部分活躍的IPv6地址，然后結(jié)合多種掃描方法，以這些地址為中心，發(fā)現(xiàn)更多的IPv6地址，最后使用多種路由發(fā)現(xiàn)方法獲取中間設(shè)備的IPv6地址。利用本發(fā)明所實現(xiàn)的技術(shù)方案:
[0064]1、網(wǎng)絡(luò)爬蟲技術(shù)可有效地、較為快速地發(fā)現(xiàn)IPv6網(wǎng)絡(luò)中在線的應(yīng)用服務(wù)器地址；
[0065]2、網(wǎng)絡(luò)爬蟲軟件提供靈活的配置方案，允許同時指定多個不同的起始URL地址，允許自定義URL地址類型，如指定記錄何種應(yīng)用服務(wù)器地址、何種類型的域名地址等，有針對性地發(fā)現(xiàn)IPv6地址；
[0066]3、集成了多種掃描方法，可以較大概率獲取互聯(lián)網(wǎng)中活躍的IPv6地址；
[0067]4、集成多種路由發(fā)現(xiàn)方法，可以獲得大量中間設(shè)備的IPv6地址。
[0068]本發(fā)明實施例的技術(shù)方案已在下一代教育科研網(wǎng)(CERNET2)上驗證，方法高效、智能且準(zhǔn)確，達(dá)到了預(yù)期發(fā)明目標(biāo)。
[0069]裝置實施例
[0070]根據(jù)本發(fā)明的實施例，提供了一種在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的裝置，圖4是本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的裝置的結(jié)構(gòu)示意圖，如圖4所示，根據(jù)本發(fā)明實施例的在IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)IP地址的裝置包括:配置模塊40、網(wǎng)路爬蟲模塊42、提取解析模塊44、以及獲取模塊46，以下對本發(fā)明實施例的各個模塊進(jìn)行詳細(xì)的說明。
[0071]配置模塊40，用于配置網(wǎng)路爬蟲模塊42的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)則，并啟動網(wǎng)路爬蟲模塊42 ；
[0072]網(wǎng)路爬蟲模塊42，用于從起始URL地址開始進(jìn)行搜索，記錄符合URL記錄規(guī)則的URL地址；
[0073]網(wǎng)絡(luò)爬蟲模塊具體用于:從起始URL地址開始，下載相應(yīng)URL地址對應(yīng)的超文本標(biāo)記語言HTML頁面，從HTML頁面中提取更多的URL地址，并記錄獲取的URL地址中符合URL記錄規(guī)則的URL地址。
[0074]提取解析模塊44，用于通過域名提取腳本從記錄的URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址；提取解析模塊44進(jìn)一步用于:根據(jù)應(yīng)用服務(wù)器的種類，對獲取并記錄的IPv6地址進(jìn)行分類存儲。
[0075]獲取模塊46，用于采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以所述IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
[0076]IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議ICMP包、ICMP時間戳請求包、傳輸控制協(xié)議連接請求TCP SYN包、以及傳輸控制協(xié)議確認(rèn)TCP ACK包。路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法、以及基于DNS的路由發(fā)現(xiàn)方法。
[0077]綜上所述，借助于本發(fā)明實施例的技術(shù)方案:
[0078]1、網(wǎng)絡(luò)爬蟲技術(shù)可有效地、較為快速地發(fā)現(xiàn)IPv6網(wǎng)絡(luò)中在線的應(yīng)用服務(wù)器地址；
[0079]2、網(wǎng)絡(luò)爬蟲軟件提供靈活的配置方案，允許同時指定多個不同的起始URL地址，允許自定義URL地址類型，如指定記錄何種應(yīng)用服務(wù)器地址、何種類型的域名地址等，有針對性地發(fā)現(xiàn)IPv6地址；
[0080]3、集成了多種掃描方法，可以較大概率獲取互聯(lián)網(wǎng)中活躍的IPv6地址；
[0081]4、集成多種路由發(fā)現(xiàn)方法，可以獲得大量中間設(shè)備的IPv6地址。
[0082]本發(fā)明實施例的技術(shù)方案已在下一代教育科研網(wǎng)(CERNET2)上驗證，方法高效、智能且準(zhǔn)確，達(dá)到了預(yù)期發(fā)明目標(biāo)。
[0083]顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
【權(quán)利要求】
1.一種在第六版網(wǎng)絡(luò)協(xié)議IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)活躍IP地址的方法，其特征在于，包括: 配置網(wǎng)路爬蟲的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)則，并啟動所述網(wǎng)路爬蟲； 所述網(wǎng)路爬蟲從所述起始URL地址開始進(jìn)行搜索，記錄符合所述URL記錄規(guī)則的URL地址； 通過域名提取腳本從記錄的所述URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的所述域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址； 采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以所述IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的所述IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
2.如權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)路爬蟲從所述起始URL地址開始進(jìn)行搜索，記錄符合所述URL記錄規(guī)則的URL地址具體包括: 所述網(wǎng)絡(luò)爬蟲從所述起始URL地址開始，下載相應(yīng)URL地址對應(yīng)的超文本標(biāo)記語言HTML頁面，從所述HTML頁面中提取更多的URL地址，并記錄獲取的URL地址中符合所述URL記錄規(guī)則的URL地址。
3.如權(quán)利要求1所述的方法，其特征在于，通過域名系統(tǒng)DNS解析腳本對提取的所述域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址之后，所述方法進(jìn)一步包括: 根據(jù)應(yīng)用服務(wù)器的種類，對獲取并記錄的所述IPv6地址進(jìn)行分類存儲。
4.如權(quán)利要求1所述的方法，`其特征在于，所述IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議ICMP包、ICMP時間戳請求包、傳輸控制協(xié)議連接請求TCP SYN包、以及傳輸控制協(xié)議確認(rèn)TCP ACK包。
5.如權(quán)利要求1所述的方法，其特征在于，所述路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法、以及基于DNS的路由發(fā)現(xiàn)方法。
6.一種在第六版網(wǎng)絡(luò)協(xié)議IPv6網(wǎng)絡(luò)中發(fā)現(xiàn)活躍IP地址的裝置，其特征在于，包括: 配置模塊，用于配置網(wǎng)路爬蟲模塊的起始統(tǒng)一資源定位符URL地址、以及URL記錄規(guī)貝U，并啟動所述網(wǎng)路爬蟲模塊； 網(wǎng)路爬蟲模塊，用于從所述起始URL地址開始進(jìn)行搜索，記錄符合所述URL記錄規(guī)則的URL地址； 提取解析模塊，用于通過域名提取腳本從記錄的所述URL地址中提取域名并進(jìn)行去重處理，并通過域名系統(tǒng)DNS解析腳本對提取的所述域名進(jìn)行DNS解析，獲取并記錄相應(yīng)的IPv6地址； 獲取模塊，用于采用網(wǎng)絡(luò)協(xié)議IP地址掃描方法，獲取并記錄以所述IPv6地址為中心預(yù)定范圍內(nèi)的其他活躍的IPv6地址，并采用路由發(fā)現(xiàn)方法獲取到達(dá)記錄的所述IPv6地址所經(jīng)過的中間設(shè)備的IPv6地址。
7.如權(quán)利要求6所述的裝置，其特征在于，所述網(wǎng)絡(luò)爬蟲模塊具體用于:從所述起始URL地址開始，下載相應(yīng)URL地址對應(yīng)的超文本標(biāo)記語言HTML頁面，從所述HTML頁面中提取更多的URL地址，并記錄獲取的URL地址中符合所述URL記錄規(guī)則的URL地址。
8.如權(quán)利要求6所述的裝置，其特征在于，所述提取解析模塊進(jìn)一步用于:根據(jù)應(yīng)用服務(wù)器的種類，對獲取并記錄的所述IPv6地址進(jìn)行分類存儲。
9.如權(quán)利要求6所述的裝置，其特征在于，所述IP地址掃描方法包括:發(fā)送互聯(lián)網(wǎng)控制消息協(xié)議ICMP包、ICMP時間戳請求包、傳輸控制協(xié)議連接請求TCP SYN包、以及傳輸控制協(xié)議確認(rèn)TCP ACK包。
10.如權(quán)利要求6所述的裝置，其特征在于，所述路由發(fā)現(xiàn)方法包括:基于ICMP的路由發(fā)現(xiàn)方法、以及基于DNS的路由發(fā)現(xiàn)方法。
【文檔編號】H04L29/12GK103685598SQ201310654507
【公開日】2014年3月26日 申請日期:2013年12月6日 優(yōu)先權(quán)日:2013年12月6日
【發(fā)明者】郭承青, 袁春陽, 許俊峰, 孫敏, 李欣, 李挺, 丁廣富, 候建勇, 王進(jìn), 孟強, 袁鐘怡 申請人:國家計算機網(wǎng)絡(luò)與信息安全管理中心, 北京天融信軟件有限公司, 北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司, 北京天融信科技有限公司