本發(fā)明涉及一種基于q學(xué)習(xí)的最佳攻擊路徑規(guī)劃方法，屬于信息安全
技術(shù)領(lǐng)域：
。
背景技術(shù)：
：在對(duì)信息系統(tǒng)網(wǎng)絡(luò)進(jìn)行滲透時(shí)，攻擊者都希望選擇代價(jià)小而回報(bào)大的攻擊路徑，其中，攻擊回報(bào)與攻擊代價(jià)只比最大的攻擊路徑為最佳攻擊路徑，目前的獲取最佳攻擊路徑的方法主要是基于攻擊圖來(lái)獲取所有的源節(jié)點(diǎn)與目標(biāo)節(jié)點(diǎn)間的攻擊路徑后，再選取這些路徑中的一條作為最佳攻擊路徑。目前，比較常用的網(wǎng)絡(luò)攻擊圖有：基于脆弱性的網(wǎng)絡(luò)攻擊圖以及基于網(wǎng)絡(luò)狀態(tài)的攻擊圖?；谏鲜鰞煞N攻擊圖的攻擊路徑或保護(hù)路徑的生成方法存在的問(wèn)題是：①生成速度慢；②為了解決狀態(tài)爆炸的問(wèn)題，采用限定攻擊路徑的方式，導(dǎo)致攻擊路徑包含不全等問(wèn)題。為了解決上述問(wèn)題對(duì)產(chǎn)生最佳攻擊路徑的影響，印度科學(xué)家nirnayghosh,sauravnanda,s.k.ghosh在2010年提出了基于最小攻擊圖(minimalattackgraph)并使用蟻群算法來(lái)對(duì)攻擊路徑進(jìn)行優(yōu)化以選取最佳攻擊路徑的方法。但是此方法由于算法開(kāi)銷太大，當(dāng)面對(duì)大規(guī)模計(jì)算機(jī)機(jī)群時(shí)，即時(shí)使用最小攻擊圖，也無(wú)法快速擬合出最佳攻擊路徑。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提出一種基于q學(xué)習(xí)的最佳攻擊路徑規(guī)劃方法，只需對(duì)網(wǎng)絡(luò)系統(tǒng)建模而不用生成攻擊圖，解決已有的最佳攻擊路徑規(guī)劃方法中存在的生成速度慢以及狀態(tài)爆炸或者攻擊路徑并非收斂到最優(yōu)等問(wèn)題。本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。本發(fā)明的一種基于q學(xué)習(xí)的最佳攻擊路徑規(guī)劃方法，具體操作步驟為：步驟一、獲取網(wǎng)絡(luò)結(jié)構(gòu)。步驟1.1：獲取網(wǎng)絡(luò)系統(tǒng)中各主機(jī)的軟件應(yīng)用，建立軟件應(yīng)用與主機(jī)對(duì)應(yīng)表。所述軟件應(yīng)用與主機(jī)對(duì)應(yīng)表包含：軟件應(yīng)用名稱和主機(jī)名稱。步驟1.2：獲取網(wǎng)絡(luò)系統(tǒng)中各主機(jī)之間的會(huì)話鏈接，建立主機(jī)間會(huì)話鏈接表。所述主機(jī)間會(huì)話鏈接表包括：源主機(jī)名和目標(biāo)主機(jī)名。步驟二、獲取網(wǎng)絡(luò)系統(tǒng)中各主機(jī)中存在的漏洞，建立主機(jī)漏洞狀態(tài)表，同時(shí)建立漏洞集合，用符號(hào)a表示。所述主機(jī)漏洞狀態(tài)表包括：主機(jī)名稱、漏洞id和攻擊成功率。步驟三、建立q學(xué)習(xí)模型，如公式(1)所示。qn+1(s,a)＝(1-δn(s,a))qn(s,a)+δn(s,a)[r(s,a,s')+γjn(s')])(1)其中，s表示當(dāng)前狀態(tài)，s'表示當(dāng)前狀態(tài)s的后繼狀態(tài)；a表示當(dāng)前漏洞；a∈a，a為步驟2.1中所述漏洞集合a；n為迭代步數(shù)，n≥0；qn+1(s,a)是第(n+1)步迭代時(shí)對(duì)當(dāng)前狀態(tài)s下利用當(dāng)前漏洞a得到的總體回報(bào)的一個(gè)估計(jì)值；qn(s,a)是第n步迭代時(shí)對(duì)當(dāng)前狀態(tài)s下利用當(dāng)前漏洞a得到的總體回報(bào)的一個(gè)估計(jì)值；δn(s,a)為第n步的學(xué)習(xí)率，通過(guò)公式(2)得到；r(s,a,s')為立即回報(bào)函數(shù)，通過(guò)公式(3)得到；γ為貼現(xiàn)因子，為人為預(yù)先設(shè)定值，γ∈[0,1)；jn(s')為延時(shí)回報(bào)函數(shù)，通過(guò)公式(4)得到。其中，α、β為人為設(shè)定值，并且其中，r(s,a,s')表示在當(dāng)前狀態(tài)s下，通過(guò)利用當(dāng)前漏洞a，到達(dá)后繼狀態(tài)s'的立即回報(bào)估計(jì)值；pr為原子攻擊成功率；i為主機(jī)的順序編碼；wi為主機(jī)i的權(quán)重；∑jwj為整個(gè)網(wǎng)絡(luò)系統(tǒng)中所有主機(jī)的權(quán)重和；m為主機(jī)i的第m種權(quán)限，m為正整數(shù)；tim表示利用當(dāng)前漏洞a獲取主機(jī)i的第m種權(quán)限對(duì)應(yīng)的評(píng)分值；∑mtim是對(duì)所有tim求和。jn(s')＝maxqn(s',b)(4)其中，jn(s')為在后繼狀態(tài)s'下，qn(s',b)的最大值；qn(s',b)表示第n步中，在后繼狀態(tài)s'下，采用后繼漏洞(用符號(hào)b表示)得到的總體回報(bào)的估計(jì)值；b∈a。步驟四、通過(guò)q學(xué)習(xí)，獲取最佳攻擊路徑路徑。具體為：步驟4.1：建立最佳攻擊路徑序列，用符號(hào)l表示，其初始值為空。步驟4.2：設(shè)置q學(xué)習(xí)模型的初始值，此時(shí)迭代步數(shù)n＝0。具體為：設(shè)置攻擊路徑的源主機(jī)以及目標(biāo)主機(jī)；從漏洞集合a中隨機(jī)選取源主機(jī)能夠一步利用的一個(gè)漏洞，作為當(dāng)前漏洞a；到主機(jī)漏洞狀態(tài)表檢索當(dāng)前漏洞a對(duì)應(yīng)的狀態(tài)，將其作為當(dāng)前狀態(tài)s；設(shè)置qn(s,a)＝0，即q0(s,a)＝0。步驟4.3：通過(guò)公式(1)計(jì)算第(n+1)步迭代時(shí)，對(duì)當(dāng)前狀態(tài)s下利用當(dāng)前漏洞a得到的總體回報(bào)的一個(gè)估計(jì)值qn+1(s,a)，同時(shí)得到后繼漏洞b的集合。步驟4.4：如果qn+1(s,a)＝qn(s,a)，則將當(dāng)前漏洞a以及步驟2.4得到的后繼漏洞b的集合，放入最佳攻擊路徑序列l(wèi)中，從而得到最佳攻擊路徑序列l(wèi)，結(jié)束操作。否則使迭代步數(shù)n自增1，重復(fù)步驟4.3至步驟4.4的操作。所述最佳攻擊路徑序列l(wèi)中最后一個(gè)漏洞位于步驟4.2中所述目標(biāo)主機(jī)中。經(jīng)過(guò)上述步驟的操作，得到從源主機(jī)到目標(biāo)主機(jī)的最佳攻擊路徑序列l(wèi)。本發(fā)明提出的基于q學(xué)習(xí)的最佳攻擊路徑規(guī)劃方法與已有技術(shù)相比較，具有以下優(yōu)點(diǎn)：①不需要收集訓(xùn)練數(shù)據(jù)，對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；②可在線學(xué)習(xí)，實(shí)時(shí)確定不同時(shí)刻不同網(wǎng)絡(luò)狀態(tài)對(duì)應(yīng)的最佳攻擊路徑；③學(xué)習(xí)率使用了退火模型，所以收斂的更加精確；④最優(yōu)攻擊路徑生成速度快；⑤由于不需要生成攻擊圖，所以可以適用于大規(guī)模計(jì)算機(jī)集群。附圖說(shuō)明圖1為本發(fā)明具體實(shí)施方式中基于q學(xué)習(xí)的最佳攻擊路徑規(guī)劃方法的操作流程圖；圖2為本發(fā)明具體實(shí)施方式中網(wǎng)絡(luò)拓?fù)鋱D。具體實(shí)施方式根據(jù)上述技術(shù)方案，下面結(jié)合附圖和實(shí)施實(shí)例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。使用本發(fā)明提出的基于q學(xué)習(xí)的最佳攻擊路徑規(guī)劃方法尋找網(wǎng)絡(luò)系統(tǒng)中的最佳攻擊路徑，其操作流程如圖1所示，具體操作步驟如下：步驟一、獲取網(wǎng)絡(luò)結(jié)構(gòu)。如圖2所示，網(wǎng)絡(luò)系統(tǒng)中設(shè)置了初始的防御策略：外網(wǎng)人員可以訪問(wèn)dmz區(qū)中主機(jī)h2，h3和h4的瀏覽器和dns域名。主機(jī)h2和h3可以訪問(wèn)h4中的mail服務(wù)以及h5和h6上的sql服務(wù)。主機(jī)h7為ftp服務(wù)器，除主機(jī)h8外，其它的主機(jī)只能讀取和下載公開(kāi)文件，不能修改文件。主機(jī)h2，h3和h4都禁止訪問(wèn)管理服務(wù)器h8。h8可以訪問(wèn)其它主機(jī)上的各種服務(wù)。步驟1.1：獲取網(wǎng)絡(luò)系統(tǒng)中各主機(jī)的軟件應(yīng)用，建立軟件應(yīng)用與主機(jī)對(duì)應(yīng)表，如表1所示。所述軟件應(yīng)用與主機(jī)對(duì)應(yīng)表包含：軟件應(yīng)用名稱和主機(jī)名稱。表1軟件應(yīng)用與主機(jī)對(duì)應(yīng)表軟件名稱主機(jī)名稱iis7.0h2，h3bind9h4sendmail8.13h4mysql5.7h5，h6serv-u10.5h7ie6.0h8步驟1.2：根據(jù)步驟1.1中的防御策略獲取網(wǎng)絡(luò)系統(tǒng)中各主機(jī)之間的會(huì)話鏈接，建立主機(jī)間會(huì)話鏈接表，如表2所示。所述主機(jī)間會(huì)話鏈接表包括：源主機(jī)名和目標(biāo)主機(jī)名。表2主機(jī)間會(huì)話鏈接表其中，1表示兩個(gè)主機(jī)間可以連通，0表示兩個(gè)主機(jī)間不可連通。步驟二、獲取網(wǎng)絡(luò)系統(tǒng)中各主機(jī)中存在的漏洞，建立主機(jī)漏洞狀態(tài)表，如表3所示；同時(shí)建立漏洞集合，用符號(hào)a表示。所述主機(jī)漏洞狀態(tài)表包括：主機(jī)名稱、漏洞id(cveid)和攻擊成功率。表3主機(jī)漏洞狀態(tài)表步驟三、建立q學(xué)習(xí)模型，如公式(1)所示。qn+1(s,a)＝(1-δn(s,a))qn(s,a)+δn(s,a)[r(s,a,s')+γjn(s')])(1)其中，s表示當(dāng)前狀態(tài)，s'表示當(dāng)前狀態(tài)s的后繼狀態(tài)；a表示當(dāng)前漏洞；a∈a，a為步驟2.1中的漏洞集合a；n為迭代步數(shù)，n≥0；qn+1(s,a)是第(n+1)步迭代中對(duì)當(dāng)前狀態(tài)s下利用當(dāng)前漏洞a得到的總體回報(bào)的一個(gè)估計(jì)值；qn(s,a)是第n步迭代中對(duì)當(dāng)前狀態(tài)s下利用當(dāng)前漏洞a得到的總體回報(bào)的一個(gè)估計(jì)值；δn(s,a)為第n步的學(xué)習(xí)率，通過(guò)公式(2)得到；r(s,a,s')為立即回報(bào)函數(shù)，通過(guò)公式(3)得到；γ為貼現(xiàn)因子，為人為預(yù)先設(shè)定值，γ∈[0,1)；jn(s')為延時(shí)回報(bào)函數(shù)，通過(guò)公式(4)得到。其中，其中，r(s,a,s')表示當(dāng)前狀態(tài)s通過(guò)利用當(dāng)前漏洞a，到達(dá)后繼狀態(tài)s'的立即回報(bào)估計(jì)值；pr為原子攻擊成功率，具體賦值如表4所示；i為主機(jī)的順序編碼；wi為主機(jī)i的權(quán)重，主機(jī)權(quán)重由主機(jī)所在網(wǎng)絡(luò)的位置以及主機(jī)所提供的服務(wù)來(lái)決定。本實(shí)施例中，初始時(shí)，各主機(jī)主機(jī)位置及服務(wù)賦值，如表5所示，主機(jī)在網(wǎng)絡(luò)的位置有internet(因特網(wǎng))、dmz(非軍事區(qū)網(wǎng)絡(luò))和intranet(內(nèi)網(wǎng))三種。主機(jī)服務(wù)有以下7種：web、dns、mail、dhcp、sql、ftp、manager。然后將這十個(gè)屬性作為輸入向量輸入到t-s模糊神經(jīng)網(wǎng)絡(luò)中，當(dāng)主機(jī)有此服務(wù)，處于此位置時(shí)，屬性值為表中對(duì)應(yīng)，沒(méi)有時(shí)為0。神經(jīng)網(wǎng)絡(luò)的輸出依據(jù)主機(jī)對(duì)網(wǎng)絡(luò)系統(tǒng)的機(jī)密性，可靠性和完整性影響分為危險(xiǎn)、高、中、低、非常低這五種模糊輸出。由于輸出也是模糊的，因此，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練只需保證網(wǎng)絡(luò)輸出與期望輸出有相同的趨勢(shì)既可。網(wǎng)絡(luò)對(duì)每個(gè)輸入屬性的平均權(quán)值即為對(duì)應(yīng)屬性的權(quán)值。最終的主機(jī)位置及服務(wù)權(quán)重如表6所示，表6的第一行為各個(gè)屬性的權(quán)重的系數(shù)，第二行為真實(shí)權(quán)重值，即用權(quán)重系數(shù)乘以對(duì)應(yīng)的初始權(quán)重。jn(s')＝maxqn(s',b)(4)其中，jn(s')為在后繼狀態(tài)s'下，qn(s',b)的最大值；qn(s',b)表示第n步中，在后繼狀態(tài)s'下，采用后繼漏洞(用符號(hào)b表示)的得到的總體回報(bào)的估計(jì)值；b∈a。表4攻擊成功率賦值標(biāo)準(zhǔn)等級(jí)pr描述10.9不需要攻擊工具，有詳細(xì)的攻擊方法20.7有可用的攻擊工具和詳細(xì)的攻擊方法30.5無(wú)攻擊工具但有詳細(xì)的攻擊方法40.3弱點(diǎn)信息發(fā)布，粗略說(shuō)明攻擊方法50.1弱點(diǎn)信息發(fā)布，未給出攻擊方法表5初始主機(jī)位置及服務(wù)權(quán)重internetdmzintranetwebdnsmaildhcpsqlftpmanagerscore1231234567表6主機(jī)位置及服務(wù)權(quán)重∑jwj為整個(gè)網(wǎng)絡(luò)系統(tǒng)中所有主機(jī)的權(quán)重和；m為主機(jī)i的第m種權(quán)限，m為正整數(shù)；tim表示利用當(dāng)前漏洞a獲取主機(jī)i的第m種權(quán)限對(duì)應(yīng)的評(píng)分值，∑mtim是對(duì)所有tim求和。所述主機(jī)i的權(quán)限類別包括：斷開(kāi)(broken)、連接(connection)、用戶權(quán)限(user)、管理員權(quán)限(root)、拒絕服務(wù)攻擊(dos)和摧毀(crash)，權(quán)限評(píng)分如表7所示。表7主機(jī)權(quán)限評(píng)分表權(quán)限類型評(píng)分broken0connection1user2root3dos4crash5步驟四、通過(guò)q學(xué)習(xí)，獲取最佳攻擊路徑路徑。具體為：步驟4.1：建立最佳攻擊路徑序列，用符號(hào)l表示，其初始值為空。步驟4.2：設(shè)置q學(xué)習(xí)模型的初始值，此時(shí)迭代步數(shù)n＝0。具體為：設(shè)置攻擊路徑的源主機(jī)以及目標(biāo)主機(jī)；從漏洞集合a中隨機(jī)選取一個(gè)源主機(jī)能夠一步利用的漏洞，如表8所示，作為當(dāng)前漏洞a(cve-2015-1635)；到主機(jī)漏洞狀態(tài)表檢索當(dāng)前漏洞a對(duì)應(yīng)的狀態(tài)，將其作為當(dāng)前狀態(tài)s；設(shè)置qn(s,a)＝0，即q0(s,a)＝0。表8源主機(jī)能夠一步利用的漏洞表漏洞名稱存在主機(jī)cve-2015-1635h2，h3cve-2015-5477h4cve-2009-4565h4步驟4.3：通過(guò)公式(1)計(jì)算第(n+1)步，對(duì)當(dāng)前狀態(tài)s下利用當(dāng)前漏洞a得到的總體回報(bào)的一個(gè)估計(jì)值qn+1(s,a)，同時(shí)得到后繼漏洞b的集合。步驟4.4：如果qn+1(s,a)＝qn(s,a)，則將當(dāng)前漏洞a以及步驟2.4得到的后繼漏洞b的集合，放入最佳攻擊路徑序列l(wèi)中，從而得到最佳攻擊路徑序列l(wèi)，結(jié)束操作。否則使迭代步數(shù)n自增1，重復(fù)步驟4.3至步驟4.4的操作。最后得到的最佳攻擊路徑為：h1,root→cve-2015-1635→h3,root→cve-2011-4800→h7,root。當(dāng)前第1頁(yè)12