一種網頁請求的區(qū)分方法及裝置制造方法
【專利摘要】本申請公開了一種網頁請求的區(qū)分方法及裝置，該方法包括：接收網頁請求；獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型；獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間；依據所述第一時間及所述第二生成時間生成時間間隔；依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。利用本申請?zhí)峁┑木W頁請求區(qū)分方法，可以實現將網頁請求區(qū)分為容器對象請求或內嵌對象請求。
【專利說明】一種網頁請求的區(qū)分方法及裝置
【技術領域】
[0001]本申請涉及互聯網訪問【技術領域】，尤其是一種網頁訪問請求的區(qū)分方法及裝置?！颈尘凹夹g】
[0002]隨著互聯網的普及，越來越多的用戶在日常工作生活中需要訪問互聯網網站中的網頁內容。用戶訪問的網頁通常是一個大頁面，所述大頁面中嵌入有多個小頁面，另外，所述小頁面中可能還嵌入有下一級小頁面。其中所述嵌入有小頁面的大頁面被認為是網頁容器對象，所述各個小的頁面被認為是網頁內嵌對象。
[0003]用戶訪問網頁的過程為:通過點擊瀏覽器生成訪問網站的各個請求，網絡中間設備接收并轉發(fā)所述各個請求至網站服務器，同時會接收網站服務器返回的與所述各個請求相對應的頁面對象。
[0004]所述網絡中間設備接收的請求中包含有容器對象請求，也包含有內嵌對象請求。得到用戶所需要訪問的目標網頁，需要依據所述這些請求的屬性如容器對象請求或內嵌對象請求，將與該各個請求相對應的頁面對象進行組合。因此，亟需一種區(qū)分方案對該網絡設備接收到的各個請求的屬性進行區(qū)分。

【發(fā)明內容】

[0005]有鑒于此，本申請?zhí)峁┝艘环N網頁請求的區(qū)分方法及裝置，用以對網絡中間設備接收到的各個請求如容器對象請求或內嵌對象請求的屬性進行區(qū)分。本申請?zhí)峁┑募夹g方案如下:
[0006]一種網頁請求的區(qū)分方法，包括:
[0007]接收網頁請求；
[0008]獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型；
[0009]獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間；
[0010]依據所述第一時間及所述第二生成時間生成時間間隔；
[0011]依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0012]上述方法，優(yōu)選的，所述依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值，包括:
[0013]判斷所述URL字段是否滿足預設的字段格式標準，生成第一結果；
[0014]判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果；
[0015]依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或備選容器對象請求；
[0016]當所述網頁請求為備選容器對象請求時，依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。[0017]上述方法，優(yōu)選的，所述依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值，包括:
[0018]當所述第一結果為是時，將所述網頁請求的屬性值確定為備選容器對象請求；
[0019]當所述第一結果為否且所述第二結果為是時，將所述網頁請求的屬性值確定為內嵌對象請求；
[0020]當所述第一結果為否且所述第二結果為否時，將所述網頁請求的屬性值確定為備選容器對象請求。
[0021]上述方法，優(yōu)選的，在獲取所述網頁請求的referer字段之前，還包括:
[0022]判斷所述網頁請求的referer字段是否為空；
[0023]若是，將所述網頁請求確定為備選容器對象請求，依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求；
[0024]若否,執(zhí)行所述獲取所述網頁請求的referer字段。
[0025]上述方法，優(yōu)選的，所述依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，包括:
[0026]判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，將所述備選容器對象請求確定為容器對象請求；
[0027]若否，將所述備選容器對象請求確定為內嵌對象請求。
[0028]本申請還提供了一種網頁請求的區(qū)分裝置，包括:
[0029]接收單元，用于接收網頁請求；
[0030]第一獲取單元,用于獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型；
[0031]第二獲取單元,用于獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間；
[0032]生成單元，用于依據所述第一時間及所述第二生成時間生成時間間隔；
[0033]確定單元，用于依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0034]上述裝置，優(yōu)選的，所述確定單元包括:
[0035]第一判斷子單元，用于判斷所述URL字段是否滿足預設的字段格式標準，生成第
一結果;
[0036]第二判斷子單元，用于判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果;
[0037]第一確定子單元，用于依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值；當所述網頁請求為備選容器對象請求時，觸發(fā)第二確定子單元；其中，所述屬性值為內嵌對象請求或備選容器對象請求；
[0038]第二確定子單元，用于依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0039]上述裝置，優(yōu)選的，所述第一確定子單元包括:
[0040]第一結果確定子單元，用于當所述第一結果為是時，將所述網頁請求的屬性值確定為備選容器對象請求；
[0041]第二結果確定子單元，用于當所述第一結果為否且所述第二結果為是時，將所述網頁請求的屬性值確定為內嵌對象請求；
[0042]第三結果確定子單元，用于當所述第一結果為否且所述第二結果為否時，將所述網頁請求的屬性值確定為備選容器對象請求。
[0043]上述裝置，優(yōu)選的，還包括:
[0044]第三判斷單元，用于判斷所述網頁請求的referer字段是否為空，若是，觸發(fā)第三確定單元，若否，觸發(fā)第一獲取單元；
[0045]第三確定單元，用于將所述網頁請求確定為備選容器對象請求，觸發(fā)第四確定單元;
[0046]第四確定單元，用于依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求。
[0047]上述裝置，優(yōu)選的，所述第二確定子單元包括:
[0048]判斷子單元，用于判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，觸發(fā)第一單元，若否，觸發(fā)第二單元；
[0049]第一單元，用于將所述備選容器對象請求確定為容器對象請求；
[0050]第二單元，用于將所述備選容器對象請求確定為內嵌對象請求。
[0051]由以上的技術方案可知，本申請?zhí)峁┝艘环N網頁請求的區(qū)分方法及裝置，在接收到網頁請求之后，通過獲取該網頁請求的URL字段、referer字段及該網頁請求的應答文件類型，并獲取該網頁請求的第一生成時間、與referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間，進而依據第一時間及第二生成時間生成時間間隔，并依據URL字段、時間間隔及應答文件類型，確定該網頁請求的屬性值，而該屬性值為內嵌對象請求或容器對象請求，從而實現了對接收到的網頁請求屬性值的區(qū)分。
【專利附圖】

【附圖說明】
[0052]為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0053]圖1為本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例一的流程圖；
[0054]圖2為本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例二的部分流程圖；
[0055]圖3為本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例三的流程圖；
[0056]圖4為本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例四的部分流程圖；
[0057]圖5為本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例五的結構示意圖；
[0058]圖6為本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例六的部分結構示意圖；
[0059]圖7為本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例七的結構示意圖；
[0060]圖8為本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例八的部分結構示意圖；
[0061]圖9為評價指標參數的含義圖；
[0062]圖10為三種識別方法識別容器對象請求的正確率結果圖；[0063]圖11為三種識別方法識別容器對象請求的召回率結果圖；
[0064]圖12為三種識別方法識別容器對象請求的F值結果圖。
【具體實施方式】
[0065]下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├绢I域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。
[0066]請參閱圖1，其示出了本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例一的流程圖，本實施例可以包括:
[0067]步驟101:接收網頁請求；
[0068]用戶在訪問網頁過程中，用戶點擊瀏覽器后瀏覽器自動生成網頁請求，接收所述網頁請求，所述網頁請求中可能是容器對象請求，也可能是內嵌對象請求。
[0069]步驟102:獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型；
[0070]所述網頁請求為基于HTTP協議的網頁請求，所述網頁請求中包含有URL字段，用于指定要訪問的網頁資源；還包含有referer字段,所述referer字段指向某一網頁頁面，用于表示所述某一網頁頁面與包含所述referer字段的網頁請求存在關聯。例如，網頁請求 H_1 的 referer 字段為 http: //www.sina.com.cn/，表明 http: //www.sina.com.cn/ 指向的網頁頁面與所述網頁請求H_1存在關聯，即所述http://www.sina.com.cn/指向的網頁頁面發(fā)出的所述網頁請求H_1。
[0071]需要說明的是，預設網絡和瀏覽器使能所述網頁請求中的referer字段。
[0072]當網頁請求被發(fā)送至服務器，服務器返回與網頁請求相對應的網頁資源響應數據包，所述響應數據包內包含有應答文件。解析所述響應數據包，獲取Content-Type字段，依據所述Content-Type字段確定網頁請求的應答文件的類型。應答文件的類型有多種,如html、css、jpeg、js等。依據上述過程,解析與步驟101中接收的網頁請求相對應的響應數據包，并確定所述網頁請求的應答文件的類型。
[0073]例如:接收到一個網頁請求，從所述網頁請求中獲取到的URL字段為“http://news.sina.com.cn/”，獲取到的 referer 字段為 “http://www.sina.com.cn/”,獲取到的與所述網頁請求相對應的應答文件的類型為HTML類型。
[0074]步驟103:獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間。
[0075]網頁請求中記錄有該網頁請求的生成時間。獲取步驟101中接收的網頁請求的生成時間，將所述生成時間作為第一生成時間。依據獲取的所述referer字段查找對應的網頁頁面，并進一步查找所述網頁頁面發(fā)出的最近一個網頁請求，并獲取所述最近一個網頁請求的生成時間，將所述生成時間作為第二生成時間。其中，所述第一生成時間與所述第二生成時間至少需要精確到秒。需要說明的是，所述最近一個網頁請求即網頁請求的生成時間，與步驟101中接收到的網頁請求的生成時間間隔最短。
[0076]例如:步驟101中接收的網頁請求為H_l，在所述H_1中獲取生成時間Time_l為2013-11-19 11:31:22。步驟102中獲取的referer字段指向的網頁頁面為A，所述網頁A的最近一個網頁請求為11_2，在所述H_2中獲取生成時間Time_2為2013-11-19 11:31:23。
[0077]步驟104:依據所述第一時間及所述第二生成時間生成時間間隔。
[0078]計算步驟103中獲取的所述第一時間與所述第二時間之間的時間間隔。例如，所述 Time_l 為 2013-11-19 11:31:22，所述 Time_2 為 2013-11-19 11:31:23，所述時間間隔為I秒。
[0079]步驟105:依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0080]判斷所述URL字段是否符合預設的格式標準，判斷所述時間間隔是否小于預設閾值，判斷所述應答文件類型是否符合預設類型。依據判斷結果確定所述網頁請求屬性的規(guī)則可以為:當三個判斷的結果都為是時，將所述網頁請求確定為容器對象請求，當三個判斷的結果都為否時，將所述網頁請求確定為內嵌對象請求；也可以當其中任意兩個判斷的結果為是時，將所述網頁請求確定為容器對象請求；當其中任意兩個判斷的結果為否時，將所述網頁請求確定為內嵌對象請求。當然，所述判斷規(guī)則并不限定于上述幾種方式，只要依據所述URL字段、所述時間間隔及所述應答文件類型，來確定所述網頁請求的屬性值的判斷規(guī)則都屬于本申請的保護范圍。
[0081]另外，所述判斷的次序也不做限定，即可以先判斷所述URL字段、再判斷所述時間間隔，最后判斷所述應答文件的類型；也可以先判斷所述時間間隔，再判斷所述URL字段，最后判斷所述應答文件的類型。當然，本申請并不限定于上述判斷次序，只要依據所述URL字段、所述時間間隔及所述應答文件類型，來確定所述網頁請求的屬性值的判斷次序都屬于本申請的保護范圍。
[0082]由以上技術方案可知，本申請?zhí)峁┝艘环N網頁請求的區(qū)分方法，該方法包括:通過接收網頁請求，獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型，獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間，并依據所述第一時間及所述第二生成時間生成時間間隔，依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求，從而，實現了對接收到的網頁請求屬性值的區(qū)分。
[0083]需要說明的是，所述實施例一中的步驟102、103、104、105并不限定于上述執(zhí)行步驟，可依據步驟105的判斷過程及判斷規(guī)則決定步驟102、103及104的執(zhí)行過程，即:當依據URL字段進行確定時執(zhí)行獲取URL字段；當依據時間間隔進行確定時執(zhí)行獲取referer字段、步驟103及步驟104 ;當依據應答文件類型進行確定時執(zhí)行獲取應答文件類型。
[0084]請參閱圖2，其示出了本申請?zhí)峁┑囊环N網頁區(qū)分方法實施例二的部分流程圖，實施例一中的步驟105可以包括:
[0085]步驟201:判斷所述URL字段是否滿足預設的字段格式標準，生成第一結果。
[0086]發(fā)明人通過研究發(fā)現，部分容器對象請求的URL字段具有一定的規(guī)律，如部分容器對象請求的URL字段由Host字段及“/”組成。其中，所述Host字段為網頁請求請求頭中的一個字段，用于表明所述網頁請求要發(fā)送至的目的地址，例如=Host為“http://news,sina.com.cn，，，URL 為 “http://news.sina.com.cn/，，。
[0087]將字段格式標準預設為:Host字段后加上“/”。判斷實施例一中步驟102中獲取的所述URL字段是否符合所述預設字段格式標準，并生成第一結果。
[0088]步驟202:判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果。
[0089]依據實施例一中步驟102中獲取的所述referer字段查找對應網頁頁面，并進一步查找所述網頁頁面的最近一個網頁請求。發(fā)明人通過研究發(fā)現，若所述最近一個網頁請求的生成時間與步驟101中接收到的所述網頁請求的生成時間間隔小于一定閾值時，所述網頁請求是內嵌對象請求。因此，依據所述規(guī)律，預先設定用于判斷的時間間隔。優(yōu)選的，可以設定為2秒。依據實施例一中步驟104生成的時間間隔，及所述預設時間間隔，獲取第二結果。
[0090]例如:接收的網頁請求為H_1的生成時間為2013-11-19 11:31:22，所述網頁請求的referer字段指向網頁頁面A,所述網頁頁面A的最近一個網頁請求為H_2,所述H_2中的生成時間為2013-11-19 11:31:23，兩個生成時間的時間間隔為I秒，小于預設的時間間隔2秒。
[0091]步驟203:依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或備選容器對象請求。
[0092]所述確定過程可以為:先獲取第一結果，當第一結果為是時，將所述網頁請求確定為備選容器對象請求，當第一結果為否時再獲取第二結果，當第二結果為是時，將所述網頁請求確定為內嵌對象請求，當第二結果為否時，將所述網頁請求確定為備選容器對象請求；也可以為先獲取第二結果，當第二結果為否時，將所述網頁請求確定為備選容器對象請求，當第二結果為是時再獲取第一結果，當第一結果為否時，將所述網頁請求確定為內嵌對象請求，當第一結果為是時，將所述網頁請求確定為備選容器對象請求。
[0093] 由此可見，依據所述第一結果及所述第二結果確定所述網頁請求的屬性值的過程中，并不限定于第一結果與第二結果的先后順序。但不管何種判斷順序，確定內嵌對象請求至少存在兩個判斷標準，確定備選容器對象請求至少存在一個判斷標準。
[0094]步驟204:當所述網頁請求為備選容器對象請求時，依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0095]當依據所述步驟203中的確定規(guī)則將所述網頁請求確定為備選容器對象請求時，依據實施例一中步驟102中獲取的應答文件類型，確定所述備選容器對象請求的屬性值。其中，所述確定過程可以包括:
[0096]判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，將所述備選容器對象請求確定為容器對象請求；
[0097]若否，將所述備選容器對象請求確定為內嵌對象請求。
[0098]需要說明的是，發(fā)明人通過研究發(fā)現，容器對象請求的應答文件類型為HTML文件類型，則將HTML文件類型作為判斷網頁請求類型的標準。
[0099]由步驟203得出，確定備選容器對象至少存在一個判斷標準，對備選容器對象請求的判斷即應答文件的類型的判斷得出，當判斷結果為是時，將所述備選容器對象請求確定為容器對象請求，可以得出，確定容器對象請求也至少存在兩個判斷標準。
[0100]由以上的技術方案可知，本申請?zhí)峁┝艘环N網頁請求的區(qū)分方法，該方法中，由所述URL字段獲得第一結果，由所述時間間隔獲得第二結果；依據所述第一結果及所述第二結果，確定所述網頁請求為內嵌對象請求或備選容器對象請求；當所述網頁請求為備選容器對象請求時，依據所述應答文件類型，確定所述備選容器對象請求為內嵌對象請求或容器對象請求。
[0101]將所述網頁請求最終確定為容器對象請求或內嵌對象請求都至少存在兩個判斷標準，提高了網頁請求的判斷準確性。
[0102]本申請?zhí)峁┑木W頁請求的區(qū)分方法，需要能檢測到一個網絡區(qū)域范圍內所有用戶發(fā)送的網頁請求，本申請的方法可以應用于該網絡區(qū)域內的網關設備，如局域網出口網關設備。請參閱圖3，其示出了本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例三的流程圖，本實施例可以包括:
[0103]步驟301:接收網頁請求；
[0104]用戶訪問的網頁通常是一個大頁面，所述大頁面中嵌入有多個小頁面，另外，所述小頁面中可能還嵌入有下一級小頁面。其中所述嵌入有小頁面的大頁面被認為是網頁容器對象，所述各個小的頁面被認為是網頁內嵌對象。
[0105]所述網頁請求由用戶在瀏覽器中輸入網站網址或點擊超鏈接后生成，所述網頁請求被發(fā)送至服務器，觸發(fā)服務器返回與所述網頁請求相對應的頁面對象。其中，所述網頁請求可能是容器對象請求，也可能是內嵌對象請求，分別用于請求網頁中的容器對象或內嵌對象。
[0106]步驟302:獲取所述網頁請求的URL字段。
[0107]所述網頁請求為基于HTTP協議傳輸的請求，在所述網頁請求中包含有URL字段，用于指明所述網頁請求要訪問的網頁資源地址。
[0108]步驟303:判斷所述URL字段是否滿足預設的字段格式標準，生成第一結果，當所述第一結果為是時，進入步驟304，當所述第一結果為否時，進入步驟305。
[0109]預設的字段格式標準為:H0ST字段加“/”。具體說明，請參閱實施例二中的步驟201。將步驟302中獲取的所述URL字段與預設字段格式標準進行比對獲得第一結果。依據所述第一結果決定進行步驟304或步驟305。
[0110]例如:當URL字段為“http://news.sina.com.cn/”時,符合預設字段格式標準,所述“news.sina.com.cn”部分為HOST字段，貝丨』進入步驟304 ；
[0111]當URL 字段為“http://php.weather, sina.com.cn/search.php?city=北京&dpc=l”時,所述“php.weather, sina.com.cn”部分為HOST字段,后面除“/”外還包含有“？” “ = ” 等字符，不符合預設的字段格式標準，則進入步驟305。
[0112]步驟304:將所述網頁請求的屬性值確定為備選容器對象請求，進入步驟308。
[0113]將URL字段符合預設字段格式標準的網頁請求確定為備選容器對象請求，并進入步驟310進行應答文件類型的判斷。
[0114]步驟305:獲取referer字段、所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間，依據所述第一時間及所述第二生成時間生成時間間隔。
[0115]當步驟303中的第一結果為否時，即所述網頁請求的URL字段不符合預設的字段格式標準，則進行本步驟。
[0116]網頁請求的請求頭中包含有referer字段，用于指向發(fā)出所述網頁請求的網頁頁面。獲取所述referer字段,依據所述referer字段獲取所述referer字段指向的網頁頁面，并進一步獲取所述網頁頁面發(fā)出的最近一個網頁請求的生成時間。利用所述網頁請求的生成時間及所述最近一個網頁請求的生成時間計算獲得時間間隔。具體說明，請參閱實施例一中的步驟102、103及104。例如，獲得的時間間隔為I秒。
[0117]步驟306:判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果，當所述第二結果為是時，進入步驟307，當所述第二結果為否時，進入步驟304。
[0118]發(fā)明人通過研究發(fā)現，預設時間間隔為2秒，區(qū)分效果準確度較高。優(yōu)選的，所述預設時間間隔為2秒。當然，所述預設時間間隔并不限定于上述2秒，用于區(qū)分所述網頁請求的其他長度的時間間隔都在本申請的保護范圍內。將步驟305中計算出的時間間隔與所述預設時間間隔進行比對，獲得第二結果。依據第二結果決定進行步驟307將所述網頁請求確定為內嵌對象請求或進行步驟304將所述網頁請求確定為備選容器對象請求。
[0119]例如:預設時間間隔為2秒，計算出的時間間隔為I秒，進入步驟307 ;計算出的時間間隔為3秒，進入步驟304。
[0120]步驟307:將所述網頁請求的屬性值確定為內嵌對象請求，結束所述網頁請求的區(qū)分過程。
[0121]步驟308:獲取所述網頁請求的應答文件類型，依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0122]網頁請求被發(fā)送至服務器，觸發(fā)服務器返回與所述網頁請求相對應的響應數據包，所述響應數據包中包含有響應首部及響應主體。其中:所述響應首部中包含有中包含有Content-Type字段，用于指明響應主體內容的編碼類型，如HTML、CSS、JPEG、JS等；所述響應主體中包含有網頁請求的應答文件。獲取所述響應數據包響應首部中的Content-Type字段，依據所述Content-Type字段獲取所述網頁請求的應答文件的類型。
[0123]依據獲取到的應答文件類型，確定所述備選容器對象請求的屬性值。其中，所述確定過程可以包括:
[0124]判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，將所述備選容器對象請求確定為容器對象請求；
[0125]若否，將所述備選容器對象請求確定為內嵌對象請求。
[0126]需要說明的是，發(fā)明人通過研究發(fā)現，容器對象請求的應答文件類型為HTML文件類型，則優(yōu)選的，將HTML文件類型作為判斷網頁請求類型的標準。
[0127]例如，所述網頁請求的應答文件類型為HTML，將所述網頁請求確定為容器對象請求；所述網頁請求的應答文件類型為JS，將所述網頁請求確定為內嵌對象請求。
[0128]由以上的技術方案可知，本實施例提供了一種網頁請求的區(qū)分方法，首先判斷所述網頁請求的URL字段是否滿足預設的字段格式標準，若是，則將所述網頁請求確定為備選容器對象請求，并進一步判斷所述備選容器對象請求的應答文件類型是否符合預設的標準如HTML，若是，則將所述網頁請求確定為容器對象請求，若否，則將所述網頁請求確定為內嵌對象請求；當所述網頁請求的URL字段不滿足預設的字段格式標準時，進一步判斷所述網頁請求的時間間隔參數是否小于等于預設時間間隔閾值，若是，則將所述網頁請求確定為內嵌對象請求，否則，將所述網頁請求確定為備選容器對象請求，并進一步判斷所述備選容器對象請求的應答文件類型是否滿足預設的文件類型，若是，將所述網頁請求確定為容器對象請求，否則，確定為內嵌對象請求。[0129]由此可見，本實施例中的網頁區(qū)分方法不僅能實現對網頁請求屬性值的區(qū)分，而且區(qū)分過程中要經過多個判斷標準的檢測，即URL字段參數、時間間隔參數及應答文件類型參數。相較于現有技術中使用一種判斷標準進行網頁文件的區(qū)分，大大提高了區(qū)分結果的準確度。
[0130]網頁請求中可能會出現referer字段為空的現象，通常為用戶直接在瀏覽器中直接輸入網站網址生成的容器對象請求。當接收到網頁請求時，可以先進行referer字段是否為空的判斷過程。請參閱圖4，其示出了本申請?zhí)峁┑囊环N網頁請求區(qū)分方法實施例四的部分流程示意圖，本實施例在實施例三的步驟305之前還可以包括:
[0131]步驟401:判斷所述網頁請求的referer字段是否為空；若是，進入步驟402，若否，進入實施例三中的步驟305。
[0132]網頁請求的請求頭中包含有referer字段。
[0133]步驟402:將所述網頁請求確定為備選容器對象請求，依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求，結束網頁請求的區(qū)分過程。
[0134]當所述網頁請求中referer字段為空時，可直接將所述網頁請求確定為備選容器對象請求，再依據所述備選容器對象請求的應答文件類型判斷所述備選容器對象請求的屬性值，所述判斷過程請參閱實施例三中的步驟308，在此不作贅述。當依據所述判斷過程確定所述網頁請求的屬性值后，結束所述網頁請求的區(qū)分過程。
[0135]由以上的技術方案可知，本實施例提供的一種網頁請求的區(qū)分方法，通過判斷所述網頁請求中的referer字段是否為空，當為空時，將所述網頁請求確定為備選容器對象請求，依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求。從而，實現了當所述網頁請求的referer字段為空時，依據所述網頁請求的應答文件類型對所述網頁請求進行區(qū)分，提供了網頁請求區(qū)分方法的可靠性。
[0136]請參閱圖5，其示出了本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例五的結構示意圖，本實施例可以包括:接收單元501、第一獲取單元502、第二獲取單元503、生成單元504及確定單元505。其中:
[0137]所述接收單元501，用于接收網頁請求。
[0138]用戶在訪問網頁過程中，用戶點擊瀏覽器后瀏覽器自動生成網頁請求，接收所述網頁請求，所述網頁請求中可能是容器對象請求，也可能是內嵌對象請求。
[0139]所述第一獲取單元502，用于獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型。
[0140]所述網頁請求為基于HTTP協議的網頁請求，所述網頁請求中包含有URL字段，用于指定要訪問的網頁資源；還包含有referer字段,所述referer字段指向某一網頁頁面，用于表示所述某一網頁頁面與包含所述referer字段的網頁請求存在關聯。例如，網頁請求 H_1 的 referer 字段為 http: //www.sina.com.cn/，表明 http: //www.sina.com.cn/ 指向的網頁頁面與所述網頁請求H_1存在關聯，即所述http://www.sina.com.cn/指向的網頁頁面發(fā)出的所述網頁請求H_1。
[0141]需要說明的是，預設網絡和瀏覽器使能所述網頁請求中的referer字段。[0142]當網頁請求被發(fā)送至服務器，服務器返回與網頁請求相對應的網頁資源響應數據包，所述響應數據包內包含有應答文件。解析所述響應數據包，獲取Content-Type字段，依據所述Content-Type字段確定網頁請求的應答文件的類型。應答文件的類型有多種,如html、css、jpeg、js等。依據上述過程,所述第一獲取單元502解析所述接收單元501接收的網頁請求相對應的響應數據包,并確定所述網頁請求的應答文件的類型。
[0143]例如:接收到一個網頁請求，所述第一獲取單元502從所述網頁請求中獲取到的URL 字段為 “http://news.sina.com.cn/，，,獲取到的 referer 字段為 “http://www.sina.com.cn/”獲取到的與所述網頁請求相對應的應答文件的類型為HTML類型。
[0144]所述第二獲取單元503,用于獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間。
[0145]網頁請求中記錄有該網頁請求的生成時間。所述第二獲取單元503獲取所述接收單元501接收的網頁請求的生成時間，將所述生成時間作為第一生成時間。所述第二獲取單元503依據獲取的所述referer字段確定網頁頁面，并進一步查找所述網頁頁面發(fā)出的最近一個網頁請求，并獲取所述最近一個網頁請求的生成時間，將所述生成時間作為第二生成時間。其中，所述第一生成時間與所述第二生成時間至少需要精確到秒。需要說明的是，所述最近一個網頁請求即網頁請求的生成時間，與接收單元501接收到的網頁請求的生成時間間隔最短。
[0146]例如:所述接收單元501接收的網頁請求為H_l，在所述H_1中獲取生成時間Time_l為2013-11-19 11:31:22。所述第一獲取單元501獲取的referer字段指向網頁頁面A，所述網頁頁面A發(fā)出的最近一個網頁請求為H_2，在所述H_2中獲取生成時間Time_2為 2013-11-19 11:31:23。
[0147]所述生成單元504，用于依據所述第一時間及所述第二生成時間生成時間間隔。
[0148]所述生成單元504計算所述第二獲取單元503獲取的所述第一時間與所述第二時間之間的時間間隔。例如，所述Time_l為2013-11-19 11:31:22，所述Time_2為2013-11-19 11:31:23，所述時間間隔為I秒。
[0149]所述確定單元505，用于依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0150]所述確定單元505分別與所述第一獲取單元502及所述生成單元504相連，用戶依據所述第一獲取單元502獲取的URL字段、所述應答文件類型及所述生成單元生成的時間間隔確定所述網頁請求的屬性值。判斷所述URL字段是否符合預設的格式標準，判斷所述時間間隔是否小于預設閾值，判斷所述應答文件類型是否符合預設類型。依據判斷結果確定所述網頁請求屬性的規(guī)則可以為:當三個判斷的結果都為是時，將所述網頁請求確定為容器對象請求，當三個判斷的結果都為否時，將所述網頁請求確定為內嵌對象請求；也可以當其中任意兩個判斷的結果為是時，將所述網頁請求確定為容器對象請求；當其中任意兩個判斷的結果為否時，將所述網頁請求確定為內嵌對象請求。當然，所述判斷規(guī)則并不限定于上述幾種方式，只要依據所述URL字段、所述時間間隔及所述應答文件類型，來確定所述網頁請求的屬性值的判斷規(guī)則都屬于本申請的保護范圍。
[0151]另外，所述判斷的次序也不做限定，即可以先判斷所述URL字段、再判斷所述時間間隔，最后判斷所述應答文件的類型；也可以先判斷所述時間間隔，再判斷所述URL字段，最后判斷所述應答文件的類型。當然，本申請并不限定于上述判斷次序，只要依據所述URL字段、所述時間間隔及所述應答文件類型，來確定所述網頁請求的屬性值的判斷次序都屬于本申請的保護范圍。
[0152]由以上技術方案可知，本申請?zhí)峁┝艘环N網頁請求的區(qū)分裝置，該裝置通過接收網頁請求，獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型，獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間，并依據所述第一時間及所述第二生成時間生成時間間隔，依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求，從而，實現了對接收到的網頁請求屬性值的區(qū)分。
[0153]請參閱圖6，其示出了本申請?zhí)峁┑囊环N網頁區(qū)分裝置實施例六的部分結構示意圖，實施例五中確定單元505可以包括:第一判斷子單元601、第二判斷子單元602、第一確定子單元603及第二確定子單元604。其中:
[0154]所述第一判斷子單元601，用于判斷所述URL字段是否滿足預設的字段格式標準，
生成第一結果。
[0155]發(fā)明人通過研究發(fā)現，部分容器對象請求的URL字段具有一定的規(guī)律，如部分容器對象請求的URL字段由Host字段及“/”組成。其中，所述Host字段為網頁請求請求頭中的一個字段，用于表明所述網頁請求要發(fā)送至的目的地址，例如=Host為“http://news,sina.com.cn，，，URL 為 “http://news.sina.com.cn/，，。
[0156]將字段格式標準預設為:Host字段后加上“/”。所述第一判斷子單元601判斷實施例五中的第一獲取單元502獲取的所述URL字段是否符合所述預設字段格式標準，并生
成第一結果。
[0157]所述第二判斷子單元602，用于判斷所述時間間隔是否小于等于預設時間間隔，生
成第二結果。
[0158]所述第二判斷子單元602依據實施例五中的第一獲取單元502獲取的所述referer字段查找與所述網頁請求相對應的網頁頁面，并進一步查找所述網頁頁面發(fā)出的最近一個網頁請求。發(fā)明人通過研究發(fā)現，若所述最近一個網頁請求的生成時間與實施例五中接收單元501接收到的所述網頁請求的生成時間間隔小于一定閾值時，所述網頁請求是內嵌對象請求。因此，依據所述規(guī)律，預先設定用于判斷的時間間隔。優(yōu)選的，可以設定為2秒。依據實施例五中的生成單元504生成的時間間隔，及所述預設時間間隔，獲取第二結果。
[0159]例如:接收單元501接收的網頁請求為H_1的生成時間為2013-11-19 11:31:22,所述網頁請求的referer字段指向網頁頁面A，所述網頁頁面A發(fā)出的最近一個網頁請求為H_2，所述H_2中的生成時間為2013-11-19 11:31:23，兩個生成時間的時間間隔為I秒，小于預設的時間間隔2秒。
[0160]所述第一確定子單元603，用于依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或備選容器對象請求。
[0161]所述確定過程可以為:先獲取第一結果，當第一結果為是時，將所述網頁請求確定為備選容器對象請求，當第一結果為否時再獲取第二結果，當第二結果為是時，將所述網頁請求確定為內嵌對象請求，當第二結果為否時，將所述網頁請求確定為備選容器對象請求；也可以為先獲取第二結果，當第二結果為否時，將所述網頁請求確定為備選容器對象請求，當第二結果為是時再獲取第一結果，當第一結果為否時，將所述網頁請求確定為內嵌對象請求，當第一結果為是時，將所述網頁請求確定為備選容器對象請求。
[0162]由此可見，依據所述第一結果及所述第二結果確定所述網頁請求的屬性值的過程中，并不限定于第一結果與第二結果的先后順序。但不管何種判斷順序，確定內嵌對象請求至少存在兩個判斷標準，確定備選容器對象請求至少存在一個判斷標準。
[0163]所述第二確定子單元604，用于當所述網頁請求為備選容器對象請求時，依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0164]當所述第一確定子單元603將所述網頁請求確定為備選容器對象請求時，所述第二確定子單元604依據實施例五中第一獲取單元502獲取的應答文件類型，確定所述備選容器對象請求的屬性值。其中，所述第二確定子單元可以包括:判斷子單元、第一單元及第二單元。其中:
[0165]所述判斷子單元，用于判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，觸發(fā)第一單元，若否，觸發(fā)第二單元；
[0166]所述第一單元，用于將所述備選容器對象請求確定為容器對象請求；
[0167]所述第二單元，用于將所述備選容器對象請求確定為內嵌對象請求。
[0168]需要說明的是，發(fā)明人通過研究發(fā)現，容器對象請求的應答文件類型為HTML文件類型，則優(yōu)選的，將HTML文件類型作為判斷網頁請求類型的標準。
[0169]由第一確定子單元603得出，確定備選容器對象至少存在一個判斷標準，對備選容器對象請求的判斷即應答文件的類型的判斷得出，當判斷結果為是時，將所述備選容器對象請求確定為容器對象請求，可以得出，確定容器對象請求也至少存在兩個判斷標準。
[0170]由以上的技術方案可知，本申請?zhí)峁┝艘环N網頁請求的區(qū)分裝置，該裝置由所述URL字段獲得第一結果，由所述時間間隔獲得第二結果；依據所述第一結果及所述第二結果，確定所述網頁請求為內嵌對象請求或備選容器對象請求；當所述網頁請求為備選容器對象請求時，依據所述應答文件類型，確定所述備選容器對象請求為內嵌對象請求或容器對象請求。將所述網頁請求最終確定為容器對象請求或內嵌對象請求都至少存在兩個判斷標準，提高了網頁請求的判斷準確性。
[0171]本申請?zhí)峁┑木W頁請求的區(qū)分方法，需要能檢測到一個網絡區(qū)域范圍內所有用戶發(fā)送的網頁請求，本申請的方法可以應用于該網絡區(qū)域內的網關設備，如局域網出口網關設備。請參閱圖7，其示出了本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例七的結構示意圖，本實施例可以包括:接收單元701、第一獲取單元702、第一判斷子單元703、第一結果確定子單元704、第二獲取單元705、生成單元706、第二判斷子單元707、第二結果確定子單元708、第三結果確定子單元709、第二確定子單元710。其中:
[0172]所述接收單元701，用于接收網頁請求；
[0173]用戶訪問的網頁通常是一個大頁面，所述大頁面中嵌入有多個小頁面，另外，所述小頁面中可能還嵌入有下一級小頁面。其中所述嵌入有小頁面的大頁面被認為是網頁容器對象，所述各個小的頁面被認為是網頁內嵌對象。
[0174]所述網頁請求由用戶在瀏覽器中輸入網站網址或點擊超鏈接后生成，所述網頁請求被發(fā)送至服務器，觸發(fā)服務器返回與所述網頁請求相對應的頁面對象。其中，所述網頁請求可能是容器對象請求，也可能是內嵌對象請求，分別用于請求網頁中的容器對象或內嵌對象。
[0175]所述第一獲取單元702,用于獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型。
[0176]所述網頁請求為基于HTTP協議傳輸的請求，在所述網頁請求中包含有URL字段，用于指明所述網頁請求要訪問的網頁資源地址；也包含有referer字段，用于指向發(fā)出所述網頁請求的頁面對象所在的頁面。
[0177]網頁請求被發(fā)送至服務器，觸發(fā)服務器返回與所述網頁請求相對應的響應數據包，所述響應數據包中包含有響應首部及響應主體。其中:所述響應首部中包含有中包含有Content-Type字段，用于指明響應主體內容的編碼類型，如HTML、CSS、JPEG、JS等；所述響應主體中包含有網頁請求的應答文件。所述第一獲取單元702獲取所述響應數據包響應首部中的Content-Type字段,依據所述Content-Type字段獲取所述網頁請求的應答文件的類型。
[0178]所述第一判斷子單元703，用于判斷所述URL字段是否滿足預設的字段格式標準，生成第一結果，當所述第一結果為是時，觸發(fā)所述第一結果確定子單元704，當所述第一結果為否時，觸發(fā)所述第二獲取單元705。
[0179]預設的字段格式標準為:H0ST字段加“/”。具體說明，請參閱實施例六中的第一判斷子單元601。將第一獲取單元702獲取的所述URL字段與預設字段格式標準進行比對獲得第一結果。依據所述第一結果決定觸發(fā)第一結果確定子單元704或觸發(fā)第二獲取單元705。
[0180]例如:當URL字段`為“http://news.sina.com.cn/”時,符合預設字段格式標準,所述“news.sina.com.cn”部分為HOST字段,則觸發(fā)第一結果確定子單元704 ；
[0181]當 URL 字段為“http://php.weather, sina.com.cn/search.php?city=北京&dpc=l”時,所述“php.weather, sina.com.cn”部分為HOST字段,后面除“/”外還包含有“？” “ = ” 等字符，不符合預設的字段格式標準，則觸發(fā)第二獲取單元705。
[0182]所述第一結果確定子單元704，用于將所述網頁請求的屬性值確定為備選容器對象請求，觸發(fā)第二確定子單元710。
[0183]將URL字段符合預設字段格式標準的網頁請求確定為備選容器對象請求，并觸發(fā)第二確定子單元710進行應答文件類型的判斷。
[0184]所述第二獲取單元705,用于獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間。所述生成單元706，用于依據所述第一時間及所述第二生成時間生成時間間隔。
[0185]所述第二獲取單元705與所述第一獲取單元702相連，依據所述第一獲取單元702獲取的所述referer字段,獲取所述referer字段指向的網頁頁面,并進一步獲取所述網頁頁面的最近一個網頁請求的生成時間。所述生成單元706利用所述網頁請求的生成時間及所述最近一個網頁請求的生成時間計算獲得時間間隔。例如，獲得的時間間隔為I秒。
[0186]所述第二判斷子單元707，用于判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果，當所述第二結果為是時，觸發(fā)第二結果確定子單元708，當所述第二結果為否時，觸發(fā)第三結果確定子單元709。
[0187]發(fā)明人通過研究發(fā)現，預設時間間隔為2秒，區(qū)分效果準確度較高。優(yōu)選的，所述預設時間間隔為2秒。當然，所述預設時間間隔并不限定于上述2秒，用于區(qū)分所述網頁請求的其他長度的時間間隔都在本申請的保護范圍內。所述第二判斷子單元707將生成單元706計算出的時間間隔與所述預設時間間隔進行比對，獲得第二結果。依據第二結果決定觸發(fā)第二結果確定子單元708將所述網頁請求確定為內嵌對象請求或觸發(fā)第二結果確定子單元709將所述網頁請求確定為備選容器對象請求。
[0188]例如:預設時間間隔為2秒，計算出的時間間隔為I秒，觸發(fā)第二結果確定子單元708 ;計算出的時間間隔為3秒，觸發(fā)第二結果確定子單元709。
[0189]所述第二結果確定子單元708，用于將所述網頁請求的屬性值確定為內嵌對象請求，結束所述網頁請求的區(qū)分過程。
[0190]所述第三結果確定子單元709，用于將所述網頁請求的屬性值確定為備選容器對象請求。需要說明的是，所述第一結果確定子單元704與所述第三結果確定子單元709結構功能相同。
[0191]所述第二確定子單元710:依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
[0192]需要說明的是，所述第二確定子單元710與所述第一獲取單元702相連，依據所述第一獲取單元702獲得的所述應答文件類型對所述網頁請求進行屬性值的確定。優(yōu)選的，所述第二確定子單元710可以包括:
[0193]判斷子單元，用于判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，觸發(fā)第一單元，若否，觸發(fā)第二單元；
[0194]第一單元，用于將所述備選容器對象請求確定為容器對象請求；
[0195]第二單元，用于將所述備選容器對象請求確定為內嵌對象請求。
[0196]需要說明的是，發(fā)明人通過研究發(fā)現，容器對象請求的應答文件類型為HTML文件類型，則將HTML文件類型作為判斷網頁請求類型的標準。
[0197]例如，所述網頁請求的應答文件類型為HTML，所述第二確定子單元710將所述網頁請求確定為容器對象請求；所述網頁請求的應答文件類型為JS，所述第二確定子單元710將所述網頁請求確定為內嵌對象請求。
[0198]由以上的技術方案可知，本實施例提供了一種網頁請求的區(qū)分裝置，首先判斷所述網頁請求的URL字段是否滿足預設的字段格式標準，若是，則將所述網頁請求確定為備選容器對象請求，并進一步判斷所述備選容器對象請求的應答文件類型是否符合預設的標準如HTML，若是，則將所述網頁請求確定為容器對象請求，若否，則將所述網頁請求確定為內嵌對象請求；當所述網頁請求的URL字段不滿足預設的字段格式標準時，進一步判斷所述網頁請求的時間間隔參數是否小于等于預設時間間隔閾值，若是，則將所述網頁請求確定為內嵌對象請求，否則，將所述網頁請求確定為備選容器對象請求，并進一步判斷所述備選容器對象請求的應答文件類型是否滿足預設的文件類型，若是，將所述網頁請求確定為容器對象請求，否則，確定為內嵌對象請求。
[0199]由此可見，本實施例中的網頁區(qū)分裝置不僅能實現對網頁請求屬性值的區(qū)分，而且區(qū)分過程中要經過多個判斷標準的檢測，即URL字段參數、時間間隔參數及應答文件類型參數。相較于現有技術中使用一種判斷標準進行網頁文件的區(qū)分，大大提高了區(qū)分結果的準確度。
[0200]網頁請求中可能會出現referer字段為空的現象，通常為用戶直接在瀏覽器中直接輸入網站網址生成的容器對象請求。當接收到網頁請求時，可以先進行referer字段是否為空的判斷過程。請參閱圖8，其示出了本申請?zhí)峁┑囊环N網頁請求區(qū)分裝置實施例八的部分結構示意圖，在實施例七的基礎上還可以包括:第三判斷單元801、第三確定單元802及第四確定單元803。其中:
[0201]所述第三判斷單元，用于判斷所述網頁請求的referer字段是否為空；若是，觸發(fā)所述第三確定單元802，若否，觸發(fā)所述第一獲取單元702。
[0202]網頁請求的請求頭中包含有referer字段。
[0203]所述第三確定單元802，用于將所述網頁請求確定為備選容器對象請求；所述第四確定單元803，用于依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求。
[0204]當所述網頁請求中referer字段為空時，可直接將所述網頁請求確定為備選容器對象請求，再依據所述備選容器對象請求的應答文件類型判斷所述備選容器對象請求的屬性值。優(yōu)選的，所述第四確定單元可以包括:判斷子單元，用于判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，觸發(fā)第一單元，若否，觸發(fā)第二單元;第一單元，用于將所述備選容器對象請求確定為容器對象請求；第二單元，用于將所述備選容器對象請求確定為內嵌對象請求。
[0205]由以上的技術方案可知，本實施例提供的一種網頁請求的區(qū)分裝置，通過判斷所述網頁請求中的referer字段是否為空，當為空時，將所述網頁請求確定為備選容器對象請求，依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求。從而，實現了當所述網頁請求的referer字段為空時，依據所述網頁請求的應答文件類型對所述網頁請求進行區(qū)分，提供了網頁請求區(qū)分方法的可靠性。
[0206]為驗證本發(fā)明技術方案的有效性，本發(fā)明人進行了如下實驗。
[0207]將測量點布置于一個局域網的出口網關，該局域網內共有299個用戶。用戶的所有流量都會流經該出口網關，將所述流量鏡像到測量服務器，實驗時對鏡像流量進行測量與分析。在機器設備(局域網內的上網機器設備)上安裝Firefox瀏覽器與Firebug插件。由于安裝時對Firefox瀏覽器進行了配置，Firebug插件對本機用戶的測量結果非常準確，因此將Firebug的測量結果作為基線對本發(fā)明技術方案和傳統的方案進行評價。
[0208]具體實驗過程為，在Alexa流量排名網站選擇T0P10的站點作為實驗對象。對于每一個站點，使用Firefox瀏覽器訪問所述站點的網站主頁，然后隨機點擊頁面鏈接，在訪問和點擊的同時記錄下訪問過頁面的URL (共訪問650個頁面)，這些都是真實的容器對象請求。將兩種傳統識別方法的識別結果與本發(fā)明記錄的結果進行對比。兩種傳統識別方法分別為基于超時機制及基于文件類型的方法，其中:超時機制識別方法即判斷待識別網頁請求的生成時間與前一個頁面發(fā)出的最近一個網頁請求的生成時間的時間間隔是否超過預設閾值，若是，則將該待識別網頁請求識別為容器對象請求，否則將其識別為內嵌對象請求；基于文件類型的識別方法為判斷網頁請求的請求文件類型是否為HTML類型，若是，將所述網頁請求識別為容器對象請求，若否，將所述網頁請求識別為內嵌對象請求。
[0209]在進行結果對比時，使用三個評價指標來總體評價上述三種不同方案，即正確率P、召回率R和F值。其中:所述正確率P用來評價識別出容器對象請求中有多少是真實的容器對象請求；所述召回率R用來評價真實的容器對象請求有多少被正確識別出來，所述F值用來綜合評價識別的有效性，結合了正確率P與召回率R兩個指標。請參閱圖5，其示出了指標參數的含義。其中:所述TP表示所有真實的容器對象請求中被正確識別為容器對象請求的數目，所述FP表示所有內嵌對象請求中被錯誤識別為容器對象請求的數目，所述FN表示所有容器對象請求中被錯誤識別為內嵌對象請求的數目，所述TN表示所有真實的內嵌對象請求中被正確識別為內嵌對象請求的數目?，F結合附圖9說明所述三個指標的計算方法。正確率P=TP/ (TP+FP)，召回率R=TP/ (TP+FN)，F值=2PR/ (P+R)。本實驗的測試結果如下:
[0210]請參閱圖10，其示出了三種識別方法識別容器對象請求的正確率，其中折線1001表示本發(fā)明提出的識別方法，折線1002表示基于超時機制的識別方法，折線1003表示基于文件類型的識別方法?？梢钥闯?，本發(fā)明技術方案的正確率明顯高于傳統的技術方案，正確率平均可以達到97%，而基于超時機制和基于文件類型的方法分別只有65%和38%，而且識別效果不穩(wěn)定。
[0211]請參閱圖11，其示出了三種識別方法識別容器對象請求的召回率，其中折線1101表示基于文件類型的識別方法，折線1102表示本發(fā)明提出的識別方法，折線1103表示基于超時機制的識別方法。本發(fā)明技術方案的召回率可以達到95%，比起基于超時機制的方法有明顯提高。雖然基于文件類型的方法可以做到100%，但是這種識別方法非常極端。因此下面的指標F值綜合了正確率與召回率。
[0212]請參閱圖12，其示出了三種識別方法識別容器對象請求的F值，其中折線1201表示本發(fā)明提出的識別方法，折線1202表示基于超時機制的識別方法，折線1203表示基于文件類型的識別方法。本發(fā)明技術方案的F值最好，平均可以達到96%，基于超時機制的方法只有74%，而基于文件類型的方法效果最差，僅有51%。
[0213]綜合以上三個指標，可以看出本發(fā)明技術方案識別容器對象請求是最有效的。
[0214]需要說明的是，本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。
[0215]以上對本發(fā)明所提供的一種網頁請求的區(qū)分方法及裝置進行了詳細介紹，對所公開的實施例的上述說明，使本領域專業(yè)技術人員能夠實現或使用本發(fā)明。對這些實施例的多種修改對本領域的專業(yè)技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實施例中實現。因此，本發(fā)明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
【權利要求】
1.一種網頁請求的區(qū)分方法，其特征在于，包括: 接收網頁請求； 獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型；獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間； 依據所述第一時間及所述第二生成時間生成時間間隔； 依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
2.根據權利要求1所述的方法，其特征在于，所述依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值，包括: 判斷所述URL字段是否滿足預設的字段格式標準，生成第一結果； 判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果； 依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或備選容器對象請求； 當所述網頁請求為備選容器對象請求時，依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
3.根據權利要求2所述的方法，其特征在于，所述依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值，包括: 當所述第一結果為是時，將所述網頁請求的屬性值確定為備選容器對象請求； 當所述第一結果為否且所述第二結果為是時，將所述網頁請求的屬性值確定為內嵌對象請求； 當所述第一結果為否且所述第二結果為否時，將所述網頁請求的屬性值確定為備選容器對象請求。
4.根據權利要求1所述的方法，其特征在于，在獲取所述網頁請求的referer字段之前，還包括: 判斷所述網頁請求的referer字段是否為空； 若是，將所述網頁請求確定為備選容器對象請求，依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求； 若否，執(zhí)行所述獲取所述網頁請求的referer字段。
5.根據權利要求2所述的方法，其特征在于，所述依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，包括: 判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，將所述備選容器對象請求確定為容器對象請求； 若否，將所述備選容器對象請求確定為內嵌對象請求。
6.一種網頁請求的區(qū)分裝置，其特征在于，包括: 接收單元，用于接收網頁請求； 第一獲取單元，用于獲取所述網頁請求的URL字段、referer字段及所述網頁請求的應答文件類型；第二獲取單元，用于獲取所述網頁請求的第一生成時間、所述referer字段指向的網頁頁面的最近一個網頁請求的第二生成時間； 生成單元，用于依據所述第一時間及所述第二生成時間生成時間間隔； 確定單元，用于依據所述URL字段、所述時間間隔及所述應答文件類型，確定所述網頁請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
7.根據權利要求6所述的裝置，其特征在于，所述確定單元包括: 第一判斷子單元，用于判斷所述URL字段是否滿足預設的字段格式標準，生成第一結果; 第二判斷子單元，用于判斷所述時間間隔是否小于等于預設時間間隔，生成第二結果; 第一確定子單元，用于依據所述第一結果及所述第二結果，確定所述網頁請求的屬性值；當所述網頁請求為備選容器對象請求時，觸發(fā)第二確定子單元；其中，所述屬性值為內嵌對象請求或備選容器對象請求； 第二確定子單元，用于依據所述應答文件類型，確定所述備選容器對象請求的屬性值；其中，所述屬性值為內嵌對象請求或容器對象請求。
8.根據權利要求7所述的裝置，其特征在于，所述第一確定子單元包括: 第一結果確定子單元，用于當所述第一結果為是時，將所述網頁請求的屬性值確定為備選容器對象請求；` 第二結果確定子單元，用于當所述第一結果為否且所述第二結果為是時，將所述網頁請求的屬性值確定為內嵌對象請求； 第三結果確定子單元，用于當所述第一結果為否且所述第二結果為否時，將所述網頁請求的屬性值確定為備選容器對象請求。
9.根據權利要求6所述的裝置，其特征在于，還包括: 第三判斷單元，用于判斷所述網頁請求的referer字段是否為空，若是，觸發(fā)第三確定單元，若否，觸發(fā)第一獲取單元； 第三確定單元，用于將所述網頁請求確定為備選容器對象請求，觸發(fā)第四確定單元；第四確定單元，用于依據所述備選容器對象相對應的應答文件類型，確定所述備選容器對象請求的屬性值，其中，所述屬性值為內嵌對象請求或容器對象請求。
10.根據權利要求7所述的裝置，其特征在于，所述第二確定子單元包括: 判斷子單元，用于判斷所述備選容器對象相對應的應答文件類型是否為HTML文件類型，若是，觸發(fā)第一單元，若否，觸發(fā)第二單元； 第一單元，用于將所述備選容器對象請求確定為容器對象請求； 第二單元，用于將所述備選容器對象請求確定為內嵌對象請求。
【文檔編號】G06F17/30GK103729458SQ201410012326
【公開日】2014年4月16日 申請日期:2014年1月10日 優(yōu)先權日:2014年1月10日
【發(fā)明者】徐翔, 張廣興 申請人:湖南神州祥網科技有限公司