本發(fā)明屬于安全技術(shù)領(lǐng)域，涉及一種基于網(wǎng)頁知識發(fā)現(xiàn)的PoC程序提取方法，實現(xiàn)了安全漏洞對應(yīng)PoC程序的提取。

背景技術(shù)：

安全漏洞是信息技術(shù)、信息產(chǎn)品、信息系統(tǒng)在需求、設(shè)計、實現(xiàn)、配置、運行等過程中產(chǎn)生的缺陷，這些缺陷一旦被惡意主體利用，就會對信息系統(tǒng)的安全造成損害，從而危害信息系統(tǒng)及信息的安全。近年來由安全漏洞導(dǎo)致的網(wǎng)絡(luò)安全事件層出不同，如2014年iCloud被黑客攻擊導(dǎo)致大量私人照片泄露，2015年全球最大婚外情網(wǎng)站Ashley Madision被黑客攻擊導(dǎo)致10G用戶數(shù)據(jù)被竊取，2015年網(wǎng)易郵箱被破解導(dǎo)致近5億條用戶數(shù)據(jù)被泄露。

PoC(Proof of Concept，中文翻譯為概念驗證)程序又稱作驗證程序，在本發(fā)明中特指用于驗證安全漏洞的測試代碼。PoC程序可以驗證安全漏洞是否確實存在，還可以演示該漏洞的利用方式，因此被廣泛應(yīng)用于滲透測試(通過模擬惡意黑客的攻擊方法，來評估安全性)、安全漏洞驗證等領(lǐng)域，從而在實際應(yīng)用中，常常需要大量的PoC程序作為測試樣例。然而，目前并沒有準確、可靠的PoC程序來源。

漏洞庫是網(wǎng)絡(luò)安全隱患分析的重要資源，用于收集和整理漏洞信息。權(quán)威漏洞庫包括美國國家信息安全漏洞庫(NVD，National Vulnerability Database)、中國國家信息安全漏洞庫(CNNVD，China National Vulnerability Database of Information Security)、烏云(WooYun)漏洞庫等。截止2016年5月23日，NVD中CVE(Common Vulnerabilities&Exposures)漏洞信息共收錄76919條，CNNVD共收錄漏洞信息61437條，WooYun共收錄漏洞信息104195條。

權(quán)威漏洞庫收錄了大量漏洞信息，其中絕大部分漏洞都缺乏對應(yīng)PoC程序的直接獲取途徑，而PoC程序又隱藏在漏洞庫的各層級數(shù)據(jù)里。

綜上，為了豐富滲透測試、安全漏洞驗證等領(lǐng)域的測試樣例集，根據(jù)權(quán)威漏洞庫已有信息，快速找到有效的PoC程序就變得很有必要。而基于目前的安全技術(shù)，用于提取安全漏洞對應(yīng)PoC程序的安全漏洞驗證程序提取方法并不存在。

技術(shù)實現(xiàn)要素：

針對上述問題，本發(fā)明提供了一種基于網(wǎng)頁知識發(fā)現(xiàn)的PoC程序提取方法，用于豐富滲透測試、安全漏洞驗證等領(lǐng)域的測試樣例集。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于網(wǎng)頁知識發(fā)現(xiàn)的PoC程序提取方法，其步驟包括：

1)從權(quán)威漏洞庫中獲取所有安全漏洞對應(yīng)的網(wǎng)頁內(nèi)容，并從上述網(wǎng)頁內(nèi)容中提取得到安全漏洞描述語句集、非安全漏洞描述語句集、PoC程序描述語句集和非PoC程序描述語句集。

2)將步驟1)中得到的4個描述語句集作為訓(xùn)練樣本，提取訓(xùn)練樣本的特征集，基于深度學(xué)習(xí)框架，建立網(wǎng)頁分類器和Comment分類器，網(wǎng)頁分類器用于判斷輸入內(nèi)容是否與安全漏洞相關(guān)，Comment分類器用于判斷輸入內(nèi)容是否在描述PoC程序。

3)根據(jù)待測安全漏洞的特征，從相應(yīng)權(quán)威漏洞庫獲取該待測安全漏洞的網(wǎng)頁內(nèi)容，輸入步驟2)建立的網(wǎng)頁分類器和Comment分類器，提取待測安全漏洞的PoC程序。

進一步地，所述權(quán)威漏洞庫包括：美國國家信息安全漏洞庫(NVD)、中國國家信息安全漏洞庫(CNNVD)和烏云漏洞庫(WooYun)。

進一步地，步驟1)具體包括以下步驟：

1-1)從權(quán)威漏洞庫獲取針對所有安全漏洞的安全漏洞網(wǎng)頁集；

1-2)對步驟1-1)獲取的安全漏洞網(wǎng)頁集中的所有網(wǎng)頁內(nèi)容做分句處理，得到語句集；

1-3)在步驟1-2)得到的語句集中，將描述內(nèi)容與安全漏洞相關(guān)的語句歸入安全漏洞描述語句集，與安全漏洞無關(guān)的語句歸入非安全漏洞描述語句集；將在描述PoC程序的語句歸入PoC程序描述語句集，將未在描述PoC程序的語句歸入非PoC程序描述語句集。

進一步地，步驟2)通過以下方法提取訓(xùn)練樣本的特征集：先提取訓(xùn)練樣本中每個詞的詞向量，以此類推，一個詞對應(yīng)一個詞向量。一個句子由多個詞組成，整合每個詞的詞向量形成詞矩陣，詞矩陣即為網(wǎng)頁分類特征，而詞矩陣集即為訓(xùn)練樣本的特征集。

進一步地，所述深度學(xué)習(xí)框架的目標是訓(xùn)練網(wǎng)頁分類器和Comment分類器，因此所有得以實現(xiàn)該目標的深度學(xué)習(xí)算法均可用于該步驟，包括但不限于卷積神經(jīng)網(wǎng)絡(luò)算法。

進一步地，步驟2)中建立網(wǎng)頁分類器的步驟具體包括：

2-1-1)基于步驟1)得到的安全漏洞描述語句集和非安全漏洞描述語句集，建立網(wǎng)頁分類器的訓(xùn)練樣本集。

2-1-2)針對步驟2-1-1)建立的訓(xùn)練樣本集進行特征提取，建立網(wǎng)頁分類特征集。

2-1-3)將步驟2-1-2)建立的網(wǎng)頁分類特征集輸入深度學(xué)習(xí)框架，訓(xùn)練網(wǎng)頁分類模型，建立網(wǎng)頁分類器。

進一步地，步驟2)中建立Comment分類器的步驟具體包括：

2-2-1)基于步驟1)提供的PoC程序描述語句集合和非PoC程序描述語句集，建立Comment分類器的訓(xùn)練樣本集。

2-2-2)針對步驟2-2-1)提供的訓(xùn)練樣本集進行特征提取，建立Comment分類特征集。

2-2-3)將步驟2-2-2)提供的Comment分類特征集輸入深度學(xué)習(xí)框架，訓(xùn)練Comment分類模型，建立Comment分類器。

進一步地，步驟3)具體包括以下步驟：

3-1)分析待測安全漏洞，得到相應(yīng)權(quán)威漏洞庫來源，從權(quán)威漏洞庫獲取該待測安全漏洞對應(yīng)網(wǎng)頁的網(wǎng)頁內(nèi)容。

3-2)對步驟3-1)獲取的網(wǎng)頁內(nèi)容做分句處理，并將分句結(jié)果整合為文本語句集。

3-3)將步驟3-2)得到的文本語句集中各語句輸入網(wǎng)頁分類器進行分類預(yù)測，若網(wǎng)頁描述內(nèi)容為安全漏洞，則繼續(xù)將步驟3-2)得到的文本語句集中各語句輸入Comment分類器進行分類預(yù)測，若網(wǎng)頁內(nèi)容在描述PoC程序，則定位‘在描述PoC程序’的語句所在網(wǎng)頁中的位置，分析網(wǎng)頁結(jié)構(gòu)，提取PoC程序，若網(wǎng)頁內(nèi)容未在描述PoC程序，則繼續(xù)步驟3-4)。

3-4)提取網(wǎng)頁中的URL鏈接，生成URL集。

3-5)判斷步驟3-4)生成的URL集是否為空集，若為空集，該步驟結(jié)束，若不為空集，轉(zhuǎn)到步驟3-6)。

3-6)依次循環(huán)提取步驟3-4)生成的URL集中各URL鏈接對應(yīng)的網(wǎng)頁內(nèi)容，判定是否存在PoC程序，若存在，則提取當(dāng)前URL對應(yīng)網(wǎng)頁內(nèi)容中的PoC程序，若不存在，轉(zhuǎn)到3-7)。

3-7)針對由步驟3-6)發(fā)起的循環(huán)操作，判斷是否結(jié)束循環(huán)，若是，獲取步驟3-4)提供的URL集中各URL鏈接對應(yīng)網(wǎng)頁內(nèi)容，轉(zhuǎn)到3-2)，若否，轉(zhuǎn)到3-6)。

進一步地，步驟3-3)提取PoC程序的步驟具體包括：

3-3-1)以‘在描述PoC程序’的語句所在位置的下一行為起始位置，進行PoC程序特征檢測處理。

3-3-2)判斷是否為PoC程序源碼，若是，該PoC程序即為待測安全漏洞對應(yīng)的PoC程序，結(jié)束該步驟；否則轉(zhuǎn)到3-3-3)。

3-3-3)判斷是否為URL鏈接，若是，則進入URL鏈接對應(yīng)頁面判斷網(wǎng)頁內(nèi)容是否為程序源碼，轉(zhuǎn)到步驟3-3-4)，否則結(jié)束該步驟。

3-3-4)如果網(wǎng)頁內(nèi)容為程序源碼，則提取網(wǎng)頁內(nèi)容中的PoC程序源碼，該PoC程序即為待測安全漏洞對應(yīng)的PoC程序，否則結(jié)束該步驟。

本發(fā)明首次提出漏洞庫可以作為PoC程序的直接來源，并提供一種有效可行的提取PoC程序的方法，能方便、準確地提取待測安全漏洞對應(yīng)PoC程序，從而豐富滲透測試、安全漏洞驗證等領(lǐng)域的測試樣例集，進而促進安全漏洞領(lǐng)域的研究與應(yīng)用發(fā)展。

附圖說明

圖1是本發(fā)明基于網(wǎng)頁知識發(fā)現(xiàn)的PoC程序提取方法的架構(gòu)圖。

圖2是本發(fā)明描述語句集獲取流程圖。

圖3(a)是本發(fā)明網(wǎng)頁分類器的建立流程圖；圖3(b)是本發(fā)明Comment分類器的建立流程圖。

圖4是本發(fā)明待測安全漏洞的PoC程序提取流程圖。

圖5是本發(fā)明PoC程序具體提取流程圖。

具體實施方式

下面結(jié)合附圖，通過實施例對本發(fā)明作進一步的說明。

本發(fā)明基于網(wǎng)頁知識發(fā)現(xiàn)的PoC程序提取方法的整體架構(gòu)圖如圖1所示，該方法的輸入為待測安全漏洞，輸出為待測安全漏洞對應(yīng)PoC程序。其主要包括以下步驟：

1)獲取描述語句集。該步驟以權(quán)威數(shù)據(jù)庫為數(shù)據(jù)來源，收集漏洞庫中所有安全漏洞相關(guān)數(shù)據(jù)，獲取相應(yīng)網(wǎng)頁內(nèi)容，篩選網(wǎng)頁內(nèi)容并分類，最終得到四個描述語句集，分別為安全漏洞描述語句集、非安全漏洞描述語句集、PoC程序描述語句集和非PoC程序描述語句集。

具體地，描述語句集獲取流程圖如圖2所示，詳細說明如下：

1a)從權(quán)威漏洞庫獲取針對所有安全漏洞的安全漏洞網(wǎng)頁集，轉(zhuǎn)到1b)。

1b)針對步驟1a)提供的安全漏洞網(wǎng)頁集中的所有網(wǎng)頁內(nèi)容做數(shù)據(jù)預(yù)處理(分句)，得到語句集，隨后將語句集中的所有語句依次送入后續(xù)流程，轉(zhuǎn)到1c)。

1c)針對步驟1b)提供的語句，判斷各語句描述的內(nèi)容是否屬于安全漏洞范疇，若為是，將描述內(nèi)容屬于安全漏洞范疇的語句歸入安全漏洞描述語句集，若為否，將描述內(nèi)容不屬于安全漏洞范疇的語句歸入非安全漏洞描述語句集；判斷各語句描述的內(nèi)容是否為PoC程序，若為是，將描述內(nèi)容為PoC程序的語句歸入PoC程序描述語句集，若為否，將描述內(nèi)容不為PoC程序的語句歸入非PoC程序描述語句集，轉(zhuǎn)到1d)。

1d)該步驟結(jié)束。

2)建立網(wǎng)頁分類器和Comment分類器。以步驟1)中的描述語句集為訓(xùn)練樣本，提取訓(xùn)練樣本的特征集，基于深度學(xué)習(xí)框架，建立網(wǎng)頁分類器和Comment分類器，網(wǎng)頁分類器用于判斷該網(wǎng)頁是否用于描述安全漏洞問題，Comment分類器用于判斷該網(wǎng)頁中的文本內(nèi)容是否用于描述PoC程序。其中安全漏洞/非安全漏洞描述語句集用于建立網(wǎng)頁分類器，PoC程序/非PoC程序描述語句集用于建立Comment分類器。

特征提取方法舉例，先提取每個詞的詞向量，提取詞向量的方法如word2vec、GloVe等，以此類推，一個詞對應(yīng)一個詞向量。一個句子由多個詞組成，整合每個詞的詞向量形成詞矩陣，詞矩陣即為網(wǎng)頁分類特征。

深度學(xué)習(xí)框架舉例，卷積神經(jīng)網(wǎng)絡(luò)算法即可適用于該步驟中的深度學(xué)習(xí)框架。

具體地，網(wǎng)頁分類器的建立流程圖如圖3(a)所示，詳細說明如下：

2a)整合步驟1d)提供的安全漏洞描述語句集和步驟1g)提供的非安全漏洞描述語句集，建立網(wǎng)頁分類器的訓(xùn)練樣本集，轉(zhuǎn)到2b)。

2b)針對步驟2a)提供的訓(xùn)練樣本集進行特征提取，建立網(wǎng)頁分類特征集，轉(zhuǎn)到2c)。

2c)將步驟2b)提供的網(wǎng)頁分類特征集輸入深度學(xué)習(xí)框架，訓(xùn)練網(wǎng)頁分類模型，轉(zhuǎn)到2d)。

2d)成功建立網(wǎng)頁分類器。

Comment分類器的建立流程圖如圖3所示，詳細說明如下：

2e)整合步驟1f)提供的PoC程序描述語句集合步驟1h)提供的非PoC程序描述語句集，建立Comment分類器的訓(xùn)練樣本集，轉(zhuǎn)到2f)。

2f)針對步驟2e)提供的訓(xùn)練樣本集進行特征提取，建立Comment分類特征集，轉(zhuǎn)到2g)。

2g)將步驟2f)提供的Comment分類特征集輸入深度學(xué)習(xí)框架，訓(xùn)練Comment分類模型，轉(zhuǎn)到2h)。

2h)成功建立Comment分類器。

3)提取安全漏洞驗證程序，即PoC程序。該步驟先根據(jù)待測安全漏洞的特征，從相應(yīng)權(quán)威漏洞庫獲取該安全漏洞的網(wǎng)頁內(nèi)容，并對網(wǎng)頁內(nèi)容做數(shù)據(jù)預(yù)處理(分句)，再結(jié)合網(wǎng)頁分類器和Comment分類器，提取該待測安全漏洞的PoC程序。

待測安全漏洞的安全漏洞驗證程序(PoC程序)提取流程如圖4所示，詳細說明如下：

3a)給定待測安全漏洞，轉(zhuǎn)到3b)。

3b)分析步驟3a)提供的待測安全漏洞，得到相應(yīng)權(quán)威漏洞庫來源，從權(quán)威漏洞庫獲取該待測安全漏洞對應(yīng)網(wǎng)頁的網(wǎng)頁內(nèi)容，轉(zhuǎn)到3c)。

3c)針對網(wǎng)頁內(nèi)容做數(shù)據(jù)預(yù)處理，即分句，轉(zhuǎn)到3d)。

3d)將步驟3c)提供的分句結(jié)果整合為文本語句集，轉(zhuǎn)到3e)。

3e)將步驟3d)提供的文本語句集中各語句輸入網(wǎng)頁分類器進行分類預(yù)測，分類結(jié)果分成兩種情況：一，是安全漏洞；二，不是安全漏洞。轉(zhuǎn)到3f)。

3f)分析步驟3e)的分類結(jié)果(只要分類結(jié)果中有出現(xiàn)‘是安全漏洞’，該網(wǎng)頁的描述內(nèi)容即為安全漏洞)，判斷該網(wǎng)頁描述內(nèi)容是否為安全漏洞，若為是，轉(zhuǎn)到3g)，若為否，轉(zhuǎn)到3r)。

3g)將步驟3f)中判斷為安全漏洞的語句集中各語句輸入Comment分類器進行分類預(yù)測，分類結(jié)果分成兩種情況：一，是描述PoC程序；二，不是描述PoC程序。轉(zhuǎn)到3h)。

3h)分析步驟3g)的分類結(jié)果(只要分類結(jié)果中有出現(xiàn)‘是描述PoC程序’，則該網(wǎng)頁內(nèi)容在描述PoC程序，且PoC程序就在網(wǎng)頁正文中)，判斷該網(wǎng)頁內(nèi)容是否在描述PoC程序，若為是，轉(zhuǎn)到3i)，若為否，轉(zhuǎn)到3k)。

3i)定位分類結(jié)果為‘是描述PoC程序’的語句所在網(wǎng)頁中的位置，分析網(wǎng)頁結(jié)構(gòu)，提取PoC程序，轉(zhuǎn)到3j)，其中提取PoC程序的具體步驟如圖5所示，詳細說明如下：

3i-a)以步驟3i)提供的PoC程序描述語句所在位置的下一行為起始位置，進行PoC程序特征檢測處理，轉(zhuǎn)到3i-b)。

3i-b)判斷是否為PoC程序源碼，若為是，轉(zhuǎn)到3i-g)，若為否，轉(zhuǎn)到3i-c)。

3i-c)判斷是否為URL鏈接，若為是，轉(zhuǎn)到3i-d)，若為否，轉(zhuǎn)到3i-h)。

3i-d)進入URL鏈接對應(yīng)頁面，轉(zhuǎn)到3i-e)。

3i-e)判斷網(wǎng)頁內(nèi)容是否為程序源碼，若為是，轉(zhuǎn)到3i-f)，若為否，轉(zhuǎn)到3i-h)。

3i-f)提取網(wǎng)頁內(nèi)容中的PoC程序源碼，轉(zhuǎn)到3i-g)。

3i-g)該PoC程序即為待測安全漏洞對應(yīng)的PoC程序，轉(zhuǎn)到3i-h)。

3i-h)該步驟結(jié)束。

3j)步驟3i)得到的PoC程序即為待測安全漏洞對應(yīng)的PoC程序，轉(zhuǎn)到3r)。

3k)提取網(wǎng)頁中的URL鏈接，生成URL集，轉(zhuǎn)到3l)。

3l)判斷步驟3k)提供的URL集是否為空集，若為空集，轉(zhuǎn)到3r)，若不為空集，轉(zhuǎn)到3m)。

3m)依次循環(huán)提取步驟3k)提供的URL集中各URL鏈接對應(yīng)網(wǎng)頁內(nèi)容，轉(zhuǎn)到3n)。

3n)分析步驟3m)中提取的網(wǎng)頁內(nèi)容，判定是否存在PoC程序，具體操作同步驟3c)-3g)，若存在，轉(zhuǎn)到3o)，若不存在，轉(zhuǎn)到3p)。

3o)提取當(dāng)前URL對應(yīng)網(wǎng)頁內(nèi)容中的PoC程序，具體操作同步驟3i)，轉(zhuǎn)到3r)。

3p)針對由步驟3m)發(fā)起的循環(huán)操作，判斷是否結(jié)束循環(huán)，若為是，轉(zhuǎn)到3q)，若為否，轉(zhuǎn)到3m)。

3q)獲取步驟3k)提供的URL集中各URL鏈接對應(yīng)網(wǎng)頁內(nèi)容，轉(zhuǎn)到3c)。

3r)該步驟到此結(jié)束。

實施例

下面提供一個具體的安全漏洞對應(yīng)PoC程序提取的應(yīng)用實例：

輸入為待測安全漏洞，輸出為待測安全漏洞對應(yīng)的PoC程序。以編號為CVE-2016-2784的安全漏洞為例，具體實施步驟包括：

1)獲取描述語句集。該步驟以美國國家信息安全漏洞庫(NVD)為數(shù)據(jù)來源，收集安全漏洞相關(guān)數(shù)據(jù)，獲取相應(yīng)網(wǎng)頁內(nèi)容，篩選網(wǎng)頁內(nèi)容并分類，最終得到四個描述語句集，分別為安全漏洞描述語句集、非安全漏洞描述語句集、PoC程序描述語句集和非PoC程序描述語句集。

2)建立網(wǎng)頁分類器和Comment分類器。該步驟以步驟1)中的描述語句集為訓(xùn)練樣本，通過word2vec算法提取訓(xùn)練樣本的特征集，基于卷積神經(jīng)網(wǎng)絡(luò)算法，建立網(wǎng)頁分類器和Comment分類器，網(wǎng)頁分類器用于判斷該網(wǎng)頁是否用于描述安全漏洞問題，Comment分類器用于判斷該網(wǎng)頁中的文本內(nèi)容是否用于解釋說明PoC程序。其中安全漏洞/非安全漏洞描述語句集用于建立網(wǎng)頁分類器，PoC程序/非PoC程序描述語句集用于建立Comment分類器。

3)提取安全漏洞驗證程序，即PoC程序。首先分析待測安全漏洞基本信息，得知該安全漏洞來自NVD漏洞庫，進而從NVD漏洞庫獲取該安全漏洞的網(wǎng)頁內(nèi)容。其次對網(wǎng)頁內(nèi)容做數(shù)據(jù)預(yù)處理(分句)，將分句得到的文本語句集輸入網(wǎng)頁分類器進行分類，得出結(jié)論該網(wǎng)頁內(nèi)容為安全漏洞相關(guān)，再將分句得到的文本語句集輸入Comment分類器進行分類，得出結(jié)論該網(wǎng)頁內(nèi)容中不存在PoC程序。再次提取該網(wǎng)頁內(nèi)容中所有URL鏈接，形成非空URL集，依次循環(huán)獲取URL集中各對應(yīng)網(wǎng)頁內(nèi)容，判斷當(dāng)前網(wǎng)頁內(nèi)容是否包含PoC程序，當(dāng)循環(huán)執(zhí)行到第6個URL時，該URL對應(yīng)網(wǎng)頁內(nèi)容中包括PoC程序。最后提取PoC程序，最終得到的PoC程序如下：

步驟3)中提取到的PoC程序即為待測安全漏洞CVE-2016-2784對應(yīng)的安全漏洞PoC程序，至此，待測安全漏洞的PoC程序已提取完成。

以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其進行限制，本領(lǐng)域的普通技術(shù)人員可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本發(fā)明的精神和范圍，本發(fā)明的保護范圍應(yīng)以權(quán)利要求所述為準。