專利名稱：一種網(wǎng)站請(qǐng)求隊(duì)列管理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)站服務(wù)器系統(tǒng)管理技術(shù)領(lǐng)域，具體地，本發(fā)明涉及一種 網(wǎng)站請(qǐng)求隊(duì)列管理方法。
背景技術(shù)：
隨著網(wǎng)絡(luò)帶寬的不斷增加，網(wǎng)絡(luò)業(yè)務(wù)也日益成熟。其中，電子商務(wù)作 為企業(yè)的一種低成本商業(yè)運(yùn)作方式，得到了迅猛的發(fā)展。電子商務(wù)網(wǎng)站系
統(tǒng)一般包括數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用服務(wù)器和WEB服務(wù)器，數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ) 產(chǎn)品信息和用戶信息，應(yīng)用服務(wù)器負(fù)責(zé)電子商務(wù)網(wǎng)站的商務(wù)邏輯部分，WEB 服務(wù)器處理用戶請(qǐng)求。
在所有網(wǎng)站的WEB服務(wù)器中都需要維護(hù)一個(gè)請(qǐng)求隊(duì)列，不能及時(shí)處理 的用戶請(qǐng)求會(huì)M入此請(qǐng)求隊(duì)列中，等待服務(wù)器在有空閑資源時(shí)對(duì)其進(jìn)行 相應(yīng)處理。請(qǐng)求隊(duì)列的控制一般包括兩種算法隊(duì)列管理算法和隊(duì)列調(diào)度 算法，前者在必要時(shí)通過(guò)丟棄部^t求來(lái)管理隊(duì)列長(zhǎng)度；后者決定之后處 理哪一個(gè)請(qǐng)求。
目前的隊(duì)列管理方法可以分為兩大類被動(dòng)式隊(duì)列管理(Passive Queue Management, PQM)和主動(dòng)式隊(duì)列管理(Active Queue Management, AQM)。 PQM首先為隊(duì)列設(shè)置一個(gè)最大隊(duì)列長(zhǎng)度，然后接受請(qǐng)求進(jìn)入隊(duì)列， 當(dāng)請(qǐng)求達(dá)到隊(duì)列長(zhǎng)度的最大值時(shí)，之后如果有新請(qǐng)求到達(dá)，將采用尾丟棄(drop tail)、隨機(jī)丟棄(random drop)或頭丟棄(drop front)的方式來(lái)丟 棄部分請(qǐng)求。AQM主要用于路由器中的TCP擁塞控制，通過(guò)隊(duì)列的平均長(zhǎng) 度預(yù)測(cè)擁塞的來(lái)臨， 一旦發(fā)現(xiàn)擁塞逼近，隨機(jī)選擇一些請(qǐng)求丟棄，這樣可 以在隊(duì)列溢出前對(duì)擁塞做出反應(yīng)。可以看出，無(wú)論是PQM還是AQM，在丟 棄用戶請(qǐng)求時(shí)，都沒(méi)有考慮到被丟棄請(qǐng)求的重要程度。

發(fā)明內(nèi)容
為克服現(xiàn)有技術(shù)對(duì)網(wǎng)站請(qǐng)求隊(duì)列中的用戶請(qǐng)求隨機(jī)處理的缺陷，本發(fā) 明提出了一種網(wǎng)站請(qǐng)求隊(duì)列管理方法。 一種網(wǎng)站請(qǐng)求隊(duì)列管理方法，包括
步驟IO)、確定網(wǎng)站的目標(biāo)頁(yè)面，對(duì)網(wǎng)站中所有頁(yè)面定義出對(duì)應(yīng)的頁(yè) 面模式；
步驟20)、根據(jù)統(tǒng)計(jì)出的各頁(yè)面模式的總訪問(wèn)次數(shù)和頁(yè)面模式之間的 跳轉(zhuǎn)次數(shù)，計(jì)算每個(gè)頁(yè)面模式最終跳轉(zhuǎn)到目標(biāo)頁(yè)面的概率，分別賦予所述 每個(gè)頁(yè)面模式不同的優(yōu)先級(jí)；
步驟30)、在請(qǐng)求隊(duì)列滿時(shí)，根據(jù)用戶請(qǐng)求對(duì)應(yīng)的頁(yè)面模式的優(yōu)先級(jí) 大小，丟棄用戶請(qǐng)求。
其中，步驟10)中，目標(biāo)頁(yè)面是網(wǎng)站中訪問(wèn)者完成購(gòu)買或其它諸如注 冊(cè)的預(yù)定操作后ii^的頁(yè)面。
其中，在電子商務(wù)網(wǎng)站中，目標(biāo)頁(yè)面是用戶生成訂單后的訂單信息確 i人頁(yè)面。
其中，步驟10)進(jìn)一步包括，將網(wǎng)站中由同一個(gè)服務(wù)器腳本和不同輸 入?yún)?shù)生成的動(dòng)態(tài)頁(yè)面限定為相同頁(yè)面模式。
其中，步驟20)進(jìn)一步包括，對(duì)WEB服務(wù)器的日志逐行分析，將所述行中的URL字段與步驟IO)中定義的頁(yè)面模式進(jìn)行匹配，統(tǒng)計(jì)所迷頁(yè)面模 式的總訪問(wèn)次數(shù)。
其中，步驟20)進(jìn)一步包括，對(duì)WEB服務(wù)器的日志逐行分析，統(tǒng)計(jì)用 戶從一個(gè)頁(yè)面模式跳轉(zhuǎn)到另 一個(gè)頁(yè)面模式的次數(shù)。
其中，步驟20)進(jìn)一步包括，根據(jù)所述頁(yè)面模式的總訪問(wèn)次數(shù)和頁(yè)面 模式之間的跳轉(zhuǎn)次數(shù)，得出頁(yè)面模式之間的跳轉(zhuǎn)概率。
其中，步驟20)進(jìn)一步包括，頁(yè)面模式最終跳轉(zhuǎn)到目標(biāo)頁(yè)面的概率越 大，賦予所述頁(yè)面模式的優(yōu)先級(jí)越高。
其中，步驟30)進(jìn)一步包括，對(duì)所有新的用戶請(qǐng)求進(jìn)行頁(yè)面模式匹配， 確定所述請(qǐng)求的頁(yè)面模式，并賦予所述請(qǐng)求與頁(yè)面模式相應(yīng)的優(yōu)先級(jí)。
通過(guò)應(yīng)用本發(fā)明，使得在需要丟棄用戶請(qǐng)求的時(shí)候，選擇最不可能發(fā) 生目標(biāo)轉(zhuǎn)化的用戶請(qǐng)求進(jìn)行丟棄，從而在相同的資源情況下提高網(wǎng)站的目 標(biāo)轉(zhuǎn)化量。


圖l是本發(fā)明的一個(gè)實(shí)施例中WEB服務(wù)器處理用戶請(qǐng)求的結(jié)構(gòu)圖2是本發(fā)明的一個(gè)實(shí)施例的總體流程圖3是本發(fā)明的一個(gè)實(shí)施例的初始化流程圖4是本發(fā)明的一個(gè)實(shí)施例的WEB服務(wù)器日志文件分析的流程圖5是本發(fā)明的一個(gè)實(shí)施例的統(tǒng)計(jì)頁(yè)面訪問(wèn)次數(shù)的流程圖6是本發(fā)明的一個(gè)實(shí)施例的統(tǒng)計(jì)頁(yè)面之間跳轉(zhuǎn)次數(shù)的流釋圖7是本發(fā)明的一個(gè)實(shí)施例的計(jì)算目標(biāo)轉(zhuǎn)化概率的流程圖8是本發(fā)明的一個(gè)實(shí)施例的用戶請(qǐng)求丟棄流程具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明提供的 一種網(wǎng)站請(qǐng)求隊(duì)列管理 方法作進(jìn)一步說(shuō)明。
如圖l所示，在根據(jù)本發(fā)明的一個(gè)實(shí)施例提供的網(wǎng)站請(qǐng)求隊(duì)列管理方
法中，涉及兩類實(shí)體客戶端和WEB服務(wù)器。
其中，客戶端指一種實(shí)現(xiàn)HTTP協(xié)議的軟件實(shí)體，代替用戶向WEB服務(wù) 器發(fā)出HTTP請(qǐng)求，并將WEB服務(wù)器的處理結(jié)果展示給用戶，客戶端包括 Internet Explorer, Firefox， Opera以及其它用戶自己實(shí)現(xiàn)的或由第三 方提供的瀏覽器軟件。
WEB服務(wù)器指網(wǎng)站中直接為用戶提供網(wǎng)頁(yè)服務(wù)的軟件實(shí)體，WEB服務(wù)器 接收客戶端的HTTP請(qǐng)求，并將請(qǐng)求的處理結(jié)果返回給客戶端。在WEB服務(wù) 器中包含一個(gè)請(qǐng)求隊(duì)列，用來(lái)緩存部分未能及時(shí)處理的客戶端HTTP請(qǐng)求。
邏輯上，客戶端和WEB服務(wù)器在IP協(xié)議層上是連通的，可以互相交換 數(shù)據(jù)信息，物理上通過(guò)各種無(wú)線或有線的方式直接連接，連接方式包括 xDSL(使用電話線方式進(jìn)行數(shù)據(jù)通信的^輸機(jī)制)、無(wú)線局域網(wǎng)(WLAN) (802. lla、 802. llb和802. llg等)、無(wú)線廣域網(wǎng)(WWAN) (802. 16)以及 各種以太網(wǎng)接入方式(10Mbps、 lOOMbps、 1000Mbps以及10Gbps );另夕卜， 客戶端和WEB服務(wù)器也可以通過(guò)因特網(wǎng)上的路由器和交換機(jī)間接相連。
如圖2所示，根據(jù)本發(fā)明的實(shí)施例的一種網(wǎng)站請(qǐng)求隊(duì)列管理方法主要 包括初始化過(guò)程、WEB服務(wù)器日志分析過(guò)程、頁(yè)面業(yè)務(wù)交互概率計(jì)算過(guò)程 和請(qǐng)求丟棄過(guò)程。
在本實(shí)施例中，如圖3所示，初始化過(guò)程包括以下步驟
11)、定義網(wǎng)站的目標(biāo)頁(yè)面目標(biāo)頁(yè)面是在網(wǎng)站中只有當(dāng)訪問(wèn)者完成 購(gòu)買或其它某項(xiàng)重要操作(例如注冊(cè)、信息訪問(wèn))后才能進(jìn)入的頁(yè)面，此操作是根據(jù)業(yè)務(wù)內(nèi)容預(yù)先設(shè)定或者根據(jù)網(wǎng)站功能可以公知確認(rèn)的，例如，
在電子商務(wù)網(wǎng)站中，目標(biāo)頁(yè)面是用戶生成訂單后的訂單信息確認(rèn)頁(yè)面；
12)、定義相同頁(yè)面的模式；將網(wǎng)站中由同一個(gè)服務(wù)器腳本和不同輸 入?yún)?shù)生成的動(dòng)態(tài)頁(yè)面限定為相同頁(yè)面；另外，如果ll)中定義了多個(gè)目 標(biāo)頁(yè)面，此時(shí)也可以定義頁(yè)面模式，將多個(gè)目標(biāo)頁(yè)面限定為一個(gè)頁(yè)面來(lái)處 理。通常，WEB服務(wù)器日志中的動(dòng)態(tài)網(wǎng)頁(yè)由腳本文件名和參數(shù)表示，如 "/search. php key=xxx，，和"/search, php key=yyy，，。但是某些網(wǎng)站會(huì) 通過(guò)URL重寫手段，將網(wǎng)頁(yè)URL轉(zhuǎn)化成更適合用戶記憶和搜索引擎收錄的 形式，如"/search/xxx. html"和"/search/yyy. html"，此時(shí)，應(yīng)該根 據(jù)網(wǎng)站的WEB服務(wù)器配置屬于以上哪一種形式，定義相應(yīng)的相同頁(yè)面的模 式。在本實(shí)施例中，通過(guò)定義一系列正則表達(dá)式來(lái)表示不同的模式，匹配 同 一個(gè)正則表達(dá)式的頁(yè)面^L為同 一個(gè)頁(yè)面。
例如，對(duì)于電子商務(wù)網(wǎng)站， 一個(gè)典型的電子商務(wù)網(wǎng)站有幾千甚至幾十 萬(wàn)個(gè)頁(yè)面，其中很多頁(yè)面都是由同一個(gè)服務(wù)器腳本文件加不同的輸入?yún)?shù) 生成的，它們?cè)诰W(wǎng)站中擁有相同的重要性，將此類頁(yè)面看成同一個(gè)頁(yè)面， 可以大大減少之后計(jì)算的復(fù)雜度和增加準(zhǔn)確度。
如圖4所示，WEB服務(wù)器日志分析過(guò)程包括以下步驟 21)、根據(jù)日志文件中的URL字段統(tǒng)計(jì)各頁(yè)面的總訪問(wèn)次數(shù)將屬于 12)中定義的同一個(gè)模式的頁(yè)面當(dāng)成同一頁(yè)面模式，進(jìn)而統(tǒng)計(jì)各同一頁(yè)面 模式的總訪問(wèn)次數(shù)；如圖5所示，初始化一個(gè)空列表，用來(lái)存儲(chǔ)每個(gè)頁(yè)面 模式與其訪問(wèn)次數(shù)，從WEB服務(wù)器日志文件中讀取一行，對(duì)日志行中的URL 字段進(jìn)行模式匹配，所述模式根據(jù)12)中定義的模式，找到該頁(yè)面所屬的 模式，如果該模式已經(jīng)存在于列表中，將列表中該模式的訪問(wèn)次數(shù)計(jì)數(shù)加 1;否則，認(rèn)為是新模式，將該模式加入到列表中，計(jì)數(shù)設(shè)為l，讀取下行，直到日志文件結(jié)束。
22) 、統(tǒng)計(jì)頁(yè)面之間的跳轉(zhuǎn)關(guān)系根據(jù)日志文件中的URL字段和推薦 (referrer)字段，統(tǒng)計(jì)用戶從一個(gè)頁(yè)面跳轉(zhuǎn)到另一個(gè)頁(yè)面的次數(shù)；如圖6 所示，初始化一個(gè)空列表，用來(lái)存儲(chǔ)從某個(gè)頁(yè)面模式跳轉(zhuǎn)到另一個(gè)頁(yè)面模 式的次數(shù)；從日志文件中讀取一行，對(duì)所讀取的日志行中的URL字段和推 薦(referrer)字段進(jìn)行模式表達(dá)式匹配，如果列表中已經(jīng)存在從推薦頁(yè)面 模式跳轉(zhuǎn)到URL字段模式的記錄，將該相應(yīng)跳轉(zhuǎn)記錄的計(jì)數(shù)加1;否則， 將該記錄認(rèn)為是新的模式跳轉(zhuǎn)，加入列表，計(jì)數(shù)設(shè)為1，讀取下一行，直 到日志文件結(jié)束。
23) 、計(jì)算用戶從某個(gè)頁(yè)面模式離開網(wǎng)站的次數(shù)用21)中統(tǒng)計(jì)的頁(yè) 面模式的總訪問(wèn)次數(shù)減去22 )中統(tǒng)計(jì)的從該頁(yè)面模式跳轉(zhuǎn)到其它頁(yè)面模式 的次數(shù)和，即為用戶從該頁(yè)面模式離開網(wǎng)站的次數(shù)。
如圖7所示，頁(yè)面模式目標(biāo)轉(zhuǎn)化概率計(jì)算過(guò)程包括以下步驟
31) 、計(jì)算頁(yè)面模式之間的跳轉(zhuǎn)概率根據(jù)WEB服務(wù)器日志分析過(guò)程 統(tǒng)計(jì)出來(lái)的頁(yè)面之間的跳轉(zhuǎn)次數(shù)，計(jì)算頁(yè)面之間的跳轉(zhuǎn)概率；例如從頁(yè)面 模式A到其他頁(yè)面的總訪問(wèn)次數(shù)為a，從頁(yè)面模式A跳轉(zhuǎn)到頁(yè)面模式B的 次數(shù)為b,則從頁(yè)面模式A跳轉(zhuǎn)到頁(yè)面模式B的概率為b/a。
32) 、計(jì)算每個(gè)頁(yè)面模式的目標(biāo)轉(zhuǎn)化概率將用戶訪問(wèn)網(wǎng)站時(shí)在不同 頁(yè)面之間跳轉(zhuǎn)的過(guò)程看成是用戶狀態(tài)的變化，則用戶的最終狀態(tài)只有兩種 到達(dá)目標(biāo)頁(yè)面或到達(dá)目標(biāo)頁(yè)面之前離開網(wǎng)站，然后計(jì)算出每個(gè)頁(yè)面最終跳 轉(zhuǎn)到目標(biāo)頁(yè)面的概率。例如，可以將用戶狀態(tài)看成一個(gè)l階馬爾可夫過(guò)程， 通過(guò)狀態(tài)轉(zhuǎn)移概率矩陣求取馬爾可夫過(guò)程的穩(wěn)定狀態(tài)，可以得到各頁(yè)面模 式經(jīng)過(guò)多次跳轉(zhuǎn)最終到達(dá)目標(biāo)頁(yè)面的概率，即各頁(yè)面模式的目標(biāo)轉(zhuǎn)化概率。
33) 、根據(jù)頁(yè)面模式的目標(biāo)轉(zhuǎn)化概率大小，賦予頁(yè)面模式不同的優(yōu)先級(jí)目標(biāo)轉(zhuǎn)化概率越大，賦予的優(yōu)先級(jí)越高，在本實(shí)施例中，優(yōu)先級(jí)用正 整數(shù)表示，目標(biāo)轉(zhuǎn)化概率最大的頁(yè)面模式優(yōu)先級(jí)為1，目標(biāo)轉(zhuǎn)化概率第二 大的頁(yè)面模式優(yōu)先級(jí)為2，依此類推，賦予所有頁(yè)面模式不同的優(yōu)先級(jí)。 優(yōu)先級(jí)數(shù)值越小，表明優(yōu)先級(jí)越高。
如圖8所示，請(qǐng)求丟棄過(guò)程包括如下步驟
41) 、當(dāng)收到新的用戶請(qǐng)求Rnew時(shí)，對(duì)所述請(qǐng)求進(jìn)行模式匹配，找到 請(qǐng)求所屬的頁(yè)面模式，賦予請(qǐng)求相應(yīng)的優(yōu)先級(jí)；
42) 、判斷是否需要丟棄部分清求，在本實(shí)施例中，采用PQM方式， 當(dāng)隊(duì)列滿時(shí)，則需要丟棄請(qǐng)求，找到請(qǐng)求隊(duì)列中優(yōu)先級(jí)最低的請(qǐng)求Rmin;
43) 、丟棄新請(qǐng)求或者隊(duì)列中所有請(qǐng)求中優(yōu)先級(jí)最低的請(qǐng)求，在本實(shí) 施例中，比較Rnew和Rmin的優(yōu)先級(jí)，如果Rnew優(yōu)先級(jí)更高，則丟棄Rmin, 將Rnew加入到請(qǐng)求隊(duì)列中；否則，直接丟棄Rnew,接收下一個(gè)用戶請(qǐng)求。
本發(fā)明針對(duì)諸如電子商務(wù)的不同業(yè)務(wù)網(wǎng)站，將用戶請(qǐng)求按照最終可能 轉(zhuǎn)化到目標(biāo)頁(yè)面的概率賦予不同優(yōu)先級(jí)，這樣，在需要丟棄用戶請(qǐng)求時(shí)， 選擇優(yōu)先級(jí)低的請(qǐng)求進(jìn)行丟棄，因而在相同的條件下網(wǎng)站能完成更多的重 要業(yè)務(wù)，增加了網(wǎng)站的合理的處理能力。
最后應(yīng)說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其 限制，并且在應(yīng)用上可以延伸到其他的修改、變化、應(yīng)用和實(shí)施例，同時(shí) 認(rèn)為所有這樣的修改、變化、應(yīng)用、實(shí)施例都在本發(fā)明的精神和范圍內(nèi)。
權(quán)利要求
1、一種網(wǎng)站請(qǐng)求隊(duì)列管理方法，包括步驟10)、確定網(wǎng)站的目標(biāo)頁(yè)面，對(duì)網(wǎng)站中所有頁(yè)面定義出對(duì)應(yīng)的頁(yè)面模式；步驟20)、根據(jù)統(tǒng)計(jì)出的各頁(yè)面模式的總訪問(wèn)次數(shù)和頁(yè)面模式之間的跳轉(zhuǎn)次數(shù)，計(jì)算每個(gè)頁(yè)面模式最終跳轉(zhuǎn)到目標(biāo)頁(yè)面的概率，分別賦予所述每個(gè)頁(yè)面模式不同的優(yōu)先級(jí)；步驟30)、在請(qǐng)求隊(duì)列滿時(shí)，根據(jù)用戶請(qǐng)求對(duì)應(yīng)的頁(yè)面模式的優(yōu)先級(jí)大小，丟棄用戶請(qǐng)求。
2、 權(quán)利要求l的方法，其中，步驟10)中，目標(biāo)頁(yè)面是網(wǎng)站中訪問(wèn)者完成購(gòu)買或者其它諸如注冊(cè)的預(yù)定操作后i^A的頁(yè)面。
3、 權(quán)利要求2的方法，其中，在電子商務(wù)網(wǎng)站中，目標(biāo)頁(yè)面是用戶生 成訂單后的訂單信息確認(rèn)頁(yè)面。
4、 權(quán)利要求1的方法，其中，步驟10)進(jìn)一步包括，將網(wǎng)站中由同 一個(gè)服務(wù)器腳本和不同輸入?yún)?shù)生成的動(dòng)態(tài)頁(yè)面限定為相同頁(yè)面模式。
5、 權(quán)利要求l的方法，其中，步驟20)進(jìn)一步包括，對(duì)WEB服務(wù)器 的日志逐行分析，將所述行中的URL字段與步驟IO)中定義的頁(yè)面模式進(jìn) 行匹配，統(tǒng)計(jì)所述頁(yè)面模式的總訪問(wèn)次數(shù)。
6、 權(quán)利要求l的方法，其中，步驟20)進(jìn)一步包括，對(duì)WEB服務(wù)器 的日志逐行分析，統(tǒng)計(jì)用戶從一個(gè)頁(yè)面模式跳轉(zhuǎn)到另一個(gè)頁(yè)面模式的次數(shù)。
7、 權(quán)利要求1的方法，其中，步驟20)進(jìn)一步包括，根據(jù)所述頁(yè)面 模式的總訪問(wèn)次數(shù)和頁(yè)面模式之間的跳轉(zhuǎn)次數(shù)，得出頁(yè)面模式之間的跳轉(zhuǎn) 概率。
8、 權(quán)利要求1的方法，其中，步驟20)進(jìn)一步包括，頁(yè)面模式最終 跳轉(zhuǎn)到目標(biāo)頁(yè)面的概率越大，賦予所述頁(yè)面模式的優(yōu)先M高。
9、 權(quán)利要求1的方法，其中，步稞30)進(jìn)一步包括，對(duì)所有新的用 戶請(qǐng)求進(jìn)行頁(yè)面模式匹配，確定所述請(qǐng)求的頁(yè)面模式，并賦予所述請(qǐng)求與 頁(yè)面模式相應(yīng)的優(yōu)先級(jí)。
全文摘要
本發(fā)明提出了一種網(wǎng)站請(qǐng)求隊(duì)列管理方法，針對(duì)在緩存隊(duì)列中丟棄用戶請(qǐng)求時(shí)，沒(méi)有考慮被丟棄請(qǐng)求重要性的缺陷，通過(guò)WEB服務(wù)器日志分析、頁(yè)面業(yè)務(wù)交互概率計(jì)算和用戶請(qǐng)求丟棄等步驟，使得在需要丟棄用戶請(qǐng)求的時(shí)候，選擇最不可能發(fā)生業(yè)務(wù)交互的用戶請(qǐng)求進(jìn)行丟棄，從而在相同的資源情況下提高網(wǎng)站的交易量，增加網(wǎng)站的業(yè)務(wù)量。
文檔編號(hào)H04L12/24GK101453361SQ20071017898
公開日2009年6月10日 申請(qǐng)日期2007年12月7日 優(yōu)先權(quán)日2007年12月7日
發(fā)明者曄 李, 湯迪斌, 王勁林 申請(qǐng)人:中國(guó)科學(xué)院聲學(xué)研究所