一種基于http協(xié)議的電子資源服務(wù)可用性自動(dòng)化監(jiān)測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于HTTP協(xié)議的電子資源服務(wù)可用性自動(dòng)化監(jiān)測(cè)方法，用于監(jiān)測(cè)通過HTTP協(xié)議提供電子資源檢索及下載服務(wù)的網(wǎng)絡(luò)服務(wù)運(yùn)行狀態(tài)。
【背景技術(shù)】
[0002]當(dāng)前Web技術(shù)已經(jīng)深入人類的日常生活，已經(jīng)存在大量的通過HTTP協(xié)議對(duì)外提供電子資源檢索及下載服務(wù)的網(wǎng)絡(luò)服務(wù)，其中的典型代表就是各類文獻(xiàn)數(shù)據(jù)庫資源平臺(tái)，如ACM, SC1-E，Springer Link等。出于教學(xué)研究的需求，很多高等院校及科研機(jī)構(gòu)都會(huì)購買大量的文獻(xiàn)數(shù)據(jù)庫。然而，受網(wǎng)絡(luò)環(huán)境不穩(wěn)定性及網(wǎng)絡(luò)服務(wù)可用性的影響，國內(nèi)院校及科研機(jī)構(gòu)對(duì)于文獻(xiàn)數(shù)據(jù)庫的訪問時(shí)常會(huì)出現(xiàn)頁面訪問異常、搜索服務(wù)功能異常或資源下載服務(wù)功能異常等情況，直接損害了文獻(xiàn)數(shù)據(jù)庫購買者的消費(fèi)權(quán)益。人工定期監(jiān)測(cè)方法耗時(shí)耗力，效率低。
[0003]現(xiàn)有技術(shù)中，對(duì)于電子資源服務(wù)可用性的監(jiān)測(cè)方案按對(duì)所監(jiān)測(cè)服務(wù)器的控制權(quán)可分為兩大類:
[0004]第一類方案是在可控制與操作電子資源服務(wù)器及附屬網(wǎng)絡(luò)設(shè)備的情況下對(duì)網(wǎng)絡(luò)服務(wù)進(jìn)行的可用性監(jiān)測(cè)，其實(shí)現(xiàn)方式通常是監(jiān)測(cè)網(wǎng)絡(luò)服務(wù)器的CPU、內(nèi)存及硬盤等設(shè)備的使用情況以及交換機(jī)等網(wǎng)絡(luò)基礎(chǔ)服務(wù)設(shè)施的運(yùn)行狀態(tài)。此類方式僅適用于監(jiān)測(cè)自建的電子資源服務(wù)，如院校及科研院所自身的圖書館OPAC系統(tǒng)等。
[0005]第二類方案是從電子資源服務(wù)購買者角度出發(fā)，在無法獲得電子資源服務(wù)器控制權(quán)限的情況下進(jìn)行電子資源服務(wù)可用性的監(jiān)測(cè)。已有技術(shù)通過人工分析網(wǎng)頁源代碼方式獲取對(duì)應(yīng)檢索條件的控件名稱，然后通過定制網(wǎng)頁Form表單中對(duì)應(yīng)控件取值的方式提交檢索請(qǐng)求，最后通過判斷電子資源服務(wù)器能否按預(yù)想方式正確返回響應(yīng)信息來實(shí)現(xiàn)監(jiān)測(cè)。此種方式的不足之處在于需要通過人工讀取網(wǎng)頁源代碼來獲取相應(yīng)控件的名稱，而當(dāng)前的各個(gè)電子資源服務(wù)網(wǎng)站的設(shè)計(jì)框架和控件命名規(guī)則往往并不一致，這就要求使用此種監(jiān)測(cè)方案的用戶應(yīng)具有較高的專業(yè)水平，自動(dòng)化程度低，使用難度高，易用性差，難以普及應(yīng)用。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問題是如何從電子資源服務(wù)購買者角度出發(fā)，在無需人工分析電子資源服務(wù)網(wǎng)頁代碼，也無需獲得電子資源服務(wù)器控制權(quán)限的情況下，以一種自動(dòng)化程度高、易用性強(qiáng)的方式完成針對(duì)基于HTTP協(xié)議的電子資源服務(wù)可用性的監(jiān)測(cè)信息采集與監(jiān)測(cè)實(shí)施，所監(jiān)測(cè)的電子資源服務(wù)類型包括通過HTTP協(xié)議提供的電子資源檢索服務(wù)及電子資源下載服務(wù)。
[0007]為了解決上述問題，本發(fā)明以網(wǎng)絡(luò)協(xié)議分析方法為核心，分為三個(gè)階段:服務(wù)訪問行為特征自動(dòng)化采集；服務(wù)訪問行為特征存儲(chǔ)；服務(wù)訪問行為模擬與判別(即監(jiān)測(cè))；具體如下:
[0008]I)服務(wù)訪問行為特征自動(dòng)化采集，這是本發(fā)明的核心內(nèi)容。
[0009]如圖2所示，本發(fā)明所采用的服務(wù)訪問行為特征采集方案使用網(wǎng)絡(luò)設(shè)備底層驅(qū)動(dòng)程序接口獲得用戶在通過瀏覽器訪問電子資源服務(wù)的過程中所產(chǎn)生的所有網(wǎng)絡(luò)數(shù)據(jù)報(bào)文?；趯?duì)所抓取網(wǎng)絡(luò)報(bào)文的分析，本方案根據(jù)用戶的簡(jiǎn)單設(shè)置自動(dòng)獲取服務(wù)訪問行為的特征信息，即在監(jiān)測(cè)過程中需要生成的網(wǎng)絡(luò)報(bào)文信息。
[0010]用戶使用本方案進(jìn)行服務(wù)訪問行為特征采集的操作過程如圖3所示。
[0011]用戶首先設(shè)置選定的電子資源服務(wù)網(wǎng)站URL、選定的檢索字符串及選定網(wǎng)站中下載文件所對(duì)應(yīng)的鏈接顯示字符(如文獻(xiàn)數(shù)據(jù)庫檢索結(jié)果用于下載全文的超鏈接所對(duì)應(yīng)的顯示文字，如“Full Text”等)，然后啟動(dòng)服務(wù)訪問行為特征采集程序。在啟動(dòng)服務(wù)訪問行為特征采集程序后，用戶的后續(xù)網(wǎng)絡(luò)操作均被行為特征采集程序記錄。
[0012]此時(shí)，用戶只需按照常規(guī)的操作方式檢索并下載電子資源即可:通過任意一款網(wǎng)頁瀏覽器打開選定的電子資源服務(wù)網(wǎng)站，輸入選定的檢索字符串并確認(rèn)檢索，在網(wǎng)站所返回的檢索頁面中選定某一資源，通過點(diǎn)擊下載資源的超鏈接文字執(zhí)行下載操作。
[0013]在用戶完成檢索及下載電子資源的操作后，通過服務(wù)訪問行為特征采集程序的命令停止對(duì)用戶網(wǎng)絡(luò)操作的采集。此時(shí)服務(wù)訪問行為特征采集程序即可生成對(duì)應(yīng)于用戶剛才所進(jìn)行操作的服務(wù)訪問行為特征。
[0014]采用本發(fā)明的方案，在整個(gè)的監(jiān)測(cè)信息采集過程中用戶所進(jìn)行的操作是任何具有最基本上網(wǎng)經(jīng)驗(yàn)的人員都能完成的操作，完全不需要用戶對(duì)檢索頁面代碼進(jìn)行任何人工分析即可自動(dòng)完成對(duì)于檢索Form表單所有信息及下載文件的真實(shí)網(wǎng)絡(luò)地址的采集，保證了本方案具有極高的自動(dòng)化水平，在保證方案具有通用性的前提下最大程度上降低了進(jìn)行監(jiān)測(cè)信息采集的技術(shù)難度，保證了方案具有最好的易用性。
[0015]本方案持續(xù)不斷地抓取網(wǎng)絡(luò)報(bào)文直至在分析過程中獲得相應(yīng)特征信息(如檢索行為特征或下載文件的URL地址等)后停止。在此過程中，僅對(duì)用戶服務(wù)訪問過程中產(chǎn)生的，數(shù)據(jù)長(zhǎng)度大于O的TCP協(xié)議報(bào)文進(jìn)行分析處理，并將報(bào)文中“源IP地址”為本機(jī)地址的報(bào)文作為請(qǐng)求報(bào)文，將報(bào)文中“目的IP地址”為本機(jī)地址的報(bào)文作為響應(yīng)報(bào)文。對(duì)于每個(gè)需要分析的數(shù)據(jù)包，分別采用不同策略進(jìn)行處理:
[0016](I)請(qǐng)求報(bào)文處理
[0017]通過請(qǐng)求報(bào)文分析，可以得到檢索行為的特征信息。如圖4所示，本方案首先判斷請(qǐng)求報(bào)文是否為Ajax請(qǐng)求報(bào)文，在當(dāng)前TCP數(shù)據(jù)包的負(fù)載不是Ajax請(qǐng)求報(bào)文的情況下，依據(jù)用戶選定的檢索字符串及HTTP請(qǐng)求方法的不同，分三大類情況對(duì)報(bào)文采用相應(yīng)的分析方案:
[0018]a) TCP數(shù)據(jù)包的負(fù)載是HTTP報(bào)文，而HTTP報(bào)文采用的是GET請(qǐng)求方法且包含和檢索字符串，。
[0019]b) TCP數(shù)據(jù)包的負(fù)載是HTTP報(bào)文，而HTTP報(bào)文采用的是POST請(qǐng)求方法，且POST請(qǐng)求整體僅使用一個(gè)TCP數(shù)據(jù)包，同時(shí)包含檢索字符串。
[0020]c) TCP數(shù)據(jù)包的負(fù)載是HTTP報(bào)文，而HTTP報(bào)文采用的是POST請(qǐng)求方法，且POST請(qǐng)求整體使用多個(gè)TCP數(shù)據(jù)包，需要對(duì)多個(gè)數(shù)據(jù)包重組后，判別包含檢索字符串。
[0021]對(duì)于在數(shù)據(jù)包內(nèi)容分析判斷過程中發(fā)現(xiàn)不屬于以上三類情況的數(shù)據(jù)包均不處理，轉(zhuǎn)而繼續(xù)處理后續(xù)的數(shù)據(jù)包，直至獲得所有所需的行為特征信息后終止所有的數(shù)據(jù)包抓取與分析工作。
[0022](2)響應(yīng)報(bào)文處理
[0023]通過響應(yīng)報(bào)文分析，可以得到電子資源下載行為的特征信息，核心是找到用戶在服務(wù)訪問行為特征采集階段所點(diǎn)擊下載的電子資源的下載URL地址。需要注意的是，一次檢索及下載過程會(huì)產(chǎn)生多個(gè)不同的HTTP響應(yīng)消息，而一個(gè)響應(yīng)消息的內(nèi)容又有可能使用一個(gè)或多個(gè)TCP響應(yīng)報(bào)文中。
[0024]本發(fā)明需要對(duì)所有TCP數(shù)據(jù)包按照其與HTTP請(qǐng)求的應(yīng)答對(duì)應(yīng)關(guān)系進(jìn)行匯集。需要注意的是，若多個(gè)TCP數(shù)據(jù)包同樣對(duì)應(yīng)同一 HTTP請(qǐng)求，則在HTTP響應(yīng)報(bào)文沒有使用chunked編碼方式時(shí)，需要將這些TCP數(shù)據(jù)包需要通過重組形成完整的HTTP響應(yīng)報(bào)文后再進(jìn)行分析。
[0025]如圖5所示，本方案對(duì)于一個(gè)TCP響應(yīng)報(bào)文分為四種情形進(jìn)行分析:
[0026]a)對(duì)于HTTP響應(yīng)報(bào)文，首先判斷是否是僅使用一個(gè)TCP數(shù)據(jù)包。若是，則根據(jù)報(bào)文是否經(jīng)過GZIP壓縮的判斷結(jié)果，在必要情況下進(jìn)行GZIP解壓縮，最終得到HTTP報(bào)文的負(fù)載內(nèi)容，并利用正則表達(dá)式獲取HTTP負(fù)載中包含的文件下載URL地址(如果該地址在HTTP報(bào)文負(fù)載中確實(shí)存在的話)。在獲得所有所需的行為特征信息后終止所有的數(shù)據(jù)包抓取與分析工作。
[0027]b)若HTTP響應(yīng)報(bào)文使用了多個(gè)TCP數(shù)據(jù)包，并且使用了 chunked編碼方式，則在確認(rèn)HTTP響應(yīng)未使用GZIP壓縮的情況下直接分析當(dāng)前TCP數(shù)據(jù)包中內(nèi)容，并在獲得所有所需的行為特征信息后終止所有的數(shù)據(jù)包抓取與分析工作。
[0028]c)若HTTP響應(yīng)報(bào)文使用了多個(gè)TCP數(shù)據(jù)包，并且使用了 chunked編碼方式，同時(shí)又使用GZIP方式對(duì)HTTP報(bào)文負(fù)載內(nèi)容進(jìn)行了壓縮，則需要在匯集HTTP響應(yīng)報(bào)文所包含的所有TCP數(shù)據(jù)包后通過GZIP解壓縮獲得HTTP報(bào)文中的負(fù)載內(nèi)容。然后，再利用正則表達(dá)式獲取HTTP負(fù)載中包含的文件下載URL地址(如果該地址在HTTP報(bào)文負(fù)載中確實(shí)存在的話)。在獲得所有所需的行為特征信息后終止所有的數(shù)據(jù)包抓取與分析工作。