網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)流量監(jiān)控方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體涉及數(shù)據(jù)庫的流量控制領(lǐng)域，尤其涉及網(wǎng) 絡(luò)服務(wù)的數(shù)據(jù)流量監(jiān)控方法和裝置。
【背景技術(shù)】
[0002] 在網(wǎng)絡(luò)通信中，數(shù)據(jù)庫作為互聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)介質(zhì)，其容量具有一定的限制。當(dāng)客 戶端的訪問量或訪問頻率異常突增時(shí)，服務(wù)器處理數(shù)據(jù)庫的訪問請(qǐng)求過程中數(shù)據(jù)流量的請(qǐng) 求異常突增，導(dǎo)致數(shù)據(jù)庫的CPU和內(nèi)存資源消耗過多，數(shù)據(jù)庫連接數(shù)被打滿。這時(shí)，服務(wù)器 無法處理客戶端的數(shù)據(jù)訪問請(qǐng)求，從而影響了業(yè)務(wù)處理速度和成功率。因此，需要對(duì)流量過 大或流量突增的異常請(qǐng)求進(jìn)行監(jiān)測和控制。
[0003] 現(xiàn)有的解決方案通常是當(dāng)數(shù)據(jù)庫的流量突增導(dǎo)致業(yè)務(wù)受損之后，人工介入進(jìn)行排 查，根據(jù)請(qǐng)求的執(zhí)行時(shí)間判斷造成異常的原因，并聯(lián)系前端研發(fā)人員進(jìn)行修復(fù)等處理。一方 面，人工排查的時(shí)效性較差，故障恢復(fù)時(shí)間較長，另一方面，由于人工排查過程中數(shù)據(jù)庫無 法對(duì)數(shù)據(jù)流量突增的異常請(qǐng)求進(jìn)行流量控制，客戶端不斷發(fā)出異常請(qǐng)求，進(jìn)一步拉長了故 障恢復(fù)時(shí)間。此外，人工排查方式缺乏對(duì)當(dāng)前數(shù)據(jù)的全面分析，導(dǎo)致故障識(shí)別的準(zhǔn)確性低， 在故障過程中可能對(duì)業(yè)務(wù)受損的原因產(chǎn)生誤判。

【發(fā)明內(nèi)容】

[0004] 有鑒于此，期望提供一種能夠快速、準(zhǔn)確地監(jiān)測和控制網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)流量的方 法。進(jìn)一步地，還期望能夠提供一種網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)流量的自動(dòng)監(jiān)控方法。為了解決上述 一個(gè)或多個(gè)問題，本申請(qǐng)?zhí)峁┝司W(wǎng)絡(luò)服務(wù)的數(shù)據(jù)流量監(jiān)控方法和裝置。
[0005] 第一方面，本申請(qǐng)?zhí)峁┝艘环N網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)量流量監(jiān)控方法，所述方法包括：獲 取數(shù)據(jù)流量的相關(guān)信息，所述數(shù)據(jù)流量的相關(guān)信息包括客戶端的請(qǐng)求信息和業(yè)務(wù)狀態(tài)參 數(shù)；基于業(yè)務(wù)狀態(tài)參數(shù)監(jiān)測網(wǎng)絡(luò)服務(wù)中是否存在異常請(qǐng)求；響應(yīng)于網(wǎng)絡(luò)服務(wù)中存在異常請(qǐng) 求，基于請(qǐng)求信息識(shí)別異常請(qǐng)求的類型；根據(jù)異常請(qǐng)求的類型進(jìn)行相應(yīng)的數(shù)據(jù)流量控制。
[0006] 在一些實(shí)施例中，上述業(yè)務(wù)狀態(tài)參數(shù)包括數(shù)據(jù)庫連接數(shù)和業(yè)務(wù)受損率；上述基于 所述業(yè)務(wù)狀態(tài)參數(shù)監(jiān)測網(wǎng)絡(luò)服務(wù)中是否存在異常請(qǐng)求，包括：判斷數(shù)據(jù)庫連接數(shù)是否達(dá)到 網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)庫允許的最大連接數(shù)；判斷業(yè)務(wù)受損率是否超過預(yù)設(shè)受損率閾值；若數(shù)據(jù) 庫連接數(shù)達(dá)到網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)庫允許的最大連接數(shù)且業(yè)務(wù)受損率超過預(yù)設(shè)受損率閾值，則 確定網(wǎng)絡(luò)服務(wù)中存在異常請(qǐng)求。
[0007] 在一些實(shí)施例中，異常請(qǐng)求的類型包括每秒查詢率異常和請(qǐng)求耗時(shí)異常。
[0008] 在一些實(shí)施例中，上述請(qǐng)求信息至少包括請(qǐng)求速率；上述基于請(qǐng)求信息識(shí)別異常 請(qǐng)求的類型，包括：比較客戶端的當(dāng)前請(qǐng)求速率和數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率； 若客戶端的當(dāng)前請(qǐng)求速率大于數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率，則客戶端的當(dāng)前請(qǐng)求 為每秒查詢率異常的異常請(qǐng)求；其中，數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率預(yù)先保存在網(wǎng) 絡(luò)服務(wù)的存儲(chǔ)介質(zhì)中。
[0009] 在一些實(shí)施例中，上述請(qǐng)求信息還包括請(qǐng)求耗時(shí)；上述基于請(qǐng)求信息識(shí)別異常請(qǐng) 求的類型，還包括：若客戶端的當(dāng)前請(qǐng)求速率小于數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率，則 基于請(qǐng)求速率和請(qǐng)求耗時(shí)計(jì)算所述當(dāng)前請(qǐng)求的執(zhí)行頻率；判斷當(dāng)前請(qǐng)求的執(zhí)行頻率是否 大于數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率，以及當(dāng)前請(qǐng)求的請(qǐng)求耗時(shí)是否大于預(yù)設(shè)請(qǐng)求耗 時(shí)；若當(dāng)前請(qǐng)求的執(zhí)行頻率大于數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率，且當(dāng)前請(qǐng)求的請(qǐng)求 耗時(shí)大于預(yù)設(shè)請(qǐng)求耗時(shí)，確定客戶端的當(dāng)前請(qǐng)求為請(qǐng)求耗時(shí)異常的異常請(qǐng)求；其中，數(shù)據(jù)流 量正常情況下的最大執(zhí)行頻率預(yù)先保存在網(wǎng)絡(luò)服務(wù)的存儲(chǔ)介質(zhì)中。
[0010] 在一些實(shí)施例中，上述基于請(qǐng)求信息識(shí)別異常請(qǐng)求的類型，還包括：按照請(qǐng)求耗 時(shí)對(duì)客戶端的當(dāng)前請(qǐng)求進(jìn)行排序，建立請(qǐng)求耗時(shí)由長到短的請(qǐng)求隊(duì)列；判斷當(dāng)前請(qǐng)求的執(zhí) 行頻率是否大于數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率，以及當(dāng)前請(qǐng)求的請(qǐng)求耗時(shí)是否大于 預(yù)設(shè)請(qǐng)求耗時(shí)，包括：按照上述排序依次判斷請(qǐng)求隊(duì)列中的請(qǐng)求的執(zhí)行頻率是否大于數(shù)據(jù) 流量正常情況下的最大執(zhí)行頻率，以及請(qǐng)求隊(duì)列中的請(qǐng)求的請(qǐng)求耗時(shí)是否大于預(yù)設(shè)請(qǐng)求耗 時(shí)。
[0011] 在一些實(shí)施例中，根據(jù)異常請(qǐng)求的類型進(jìn)行相應(yīng)的數(shù)據(jù)流量控制，包括：對(duì)每秒查 詢率異常的異常請(qǐng)求，判斷是否滿足第一預(yù)設(shè)條件和是否滿足第二預(yù)設(shè)條件；若滿足第一 預(yù)設(shè)條件，則將客戶端的當(dāng)前請(qǐng)求發(fā)送至數(shù)據(jù)庫，并在數(shù)據(jù)庫允許處理的請(qǐng)求余量大于0 時(shí)將數(shù)據(jù)庫允許處理的請(qǐng)求余量減1;若滿足第二預(yù)設(shè)條件，則將客戶端的當(dāng)前請(qǐng)求發(fā)送 至數(shù)據(jù)庫并將數(shù)據(jù)庫允許處理的請(qǐng)求余量減1 ;若不滿足第一預(yù)設(shè)條件且不滿足第二預(yù)設(shè) 條件，將客戶端的當(dāng)前請(qǐng)求加入緩存隊(duì)列；確定緩存隊(duì)列中請(qǐng)求的訪問對(duì)象；根據(jù)訪問對(duì) 象控制當(dāng)前請(qǐng)求的速率；其中，第一預(yù)設(shè)條件為當(dāng)前請(qǐng)求為預(yù)設(shè)類型的請(qǐng)求，第二預(yù)設(shè)條件 為緩存隊(duì)列的長度為〇且數(shù)據(jù)庫允許處理的請(qǐng)求余量大于〇。
[0012] 在一些實(shí)施例中，訪問對(duì)象包括網(wǎng)絡(luò)服務(wù)的主數(shù)據(jù)庫和從數(shù)據(jù)庫；根據(jù)訪問對(duì)象 控制當(dāng)前請(qǐng)求的速率，包括：若客戶端的當(dāng)前請(qǐng)求的訪問對(duì)象為主數(shù)據(jù)庫，則對(duì)所述客戶端 的寫請(qǐng)求的速率進(jìn)行控制；若客戶端的當(dāng)前請(qǐng)求的訪問對(duì)象為從數(shù)據(jù)庫，則對(duì)所述客戶端 讀請(qǐng)求的速率進(jìn)行控制。
[0013] 在一些實(shí)施例中，上述請(qǐng)求信息還包括請(qǐng)求內(nèi)容；根據(jù)異常請(qǐng)求的類型進(jìn)行相應(yīng) 的數(shù)據(jù)流量控制，包括：基于請(qǐng)求內(nèi)容提取請(qǐng)求耗時(shí)異常的異常請(qǐng)求以及當(dāng)前請(qǐng)求的特征 信息；將與請(qǐng)求耗時(shí)異常的異常請(qǐng)求具有類似特征信息的當(dāng)前請(qǐng)求記錄至黑名單；在第一 預(yù)定時(shí)間段之后將黑名單內(nèi)的請(qǐng)求移至紅名單；在第二預(yù)定時(shí)間段之后將紅名單內(nèi)的請(qǐng)求 移出紅名單；將黑名單內(nèi)請(qǐng)求的請(qǐng)求速率限制為0 ;將紅名單內(nèi)請(qǐng)求的請(qǐng)求速率的上限控 制為數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率。
[0014] 在一些實(shí)施例中，所述方法還包括：統(tǒng)計(jì)客戶端的請(qǐng)求速率和請(qǐng)求耗時(shí)；將異常 請(qǐng)求的請(qǐng)求速率和請(qǐng)求耗時(shí)從客戶端的請(qǐng)求速率的統(tǒng)計(jì)結(jié)果和請(qǐng)求耗時(shí)的統(tǒng)計(jì)結(jié)果中移 除；根據(jù)請(qǐng)求速率和所述請(qǐng)求耗時(shí)的統(tǒng)計(jì)結(jié)果確定流量正常情況下的最大請(qǐng)求速率以及最 大執(zhí)行頻率。
[0015] 第二方面，本申請(qǐng)?zhí)峁┝艘环N網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)流量監(jiān)控裝置，所述裝置包括：獲取 單元，配置用于獲取數(shù)據(jù)流量的相關(guān)信息，數(shù)據(jù)流量的相關(guān)信息包括客戶端的請(qǐng)求信息和 業(yè)務(wù)狀態(tài)參數(shù)；監(jiān)測單元，配置用于基于業(yè)務(wù)狀態(tài)參數(shù)監(jiān)測網(wǎng)絡(luò)服務(wù)中是否存在異常請(qǐng)求； 識(shí)別單元，配置用于響應(yīng)于網(wǎng)絡(luò)服務(wù)中存在異常請(qǐng)求，基于請(qǐng)求信息識(shí)別異常請(qǐng)求的類型； 控制單元，配置用于根據(jù)異常請(qǐng)求的類型進(jìn)行相應(yīng)的數(shù)據(jù)流量控制。
[0016] 在一些實(shí)施例中，上述業(yè)務(wù)狀態(tài)參數(shù)包括數(shù)據(jù)庫連接數(shù)和業(yè)務(wù)受損率；監(jiān)測單元 進(jìn)一步配置用于按如下方式監(jiān)測網(wǎng)絡(luò)服務(wù)中是否存在異常請(qǐng)求：判斷數(shù)據(jù)庫連接數(shù)是否達(dá) 到網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)庫允許的最大連接數(shù)；判斷業(yè)務(wù)受損率是否超過預(yù)設(shè)受損率閾值；若數(shù) 據(jù)庫連接數(shù)達(dá)到網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)庫允許的最大連接數(shù)且業(yè)務(wù)受損率超過預(yù)設(shè)受損率閾值， 則確定網(wǎng)絡(luò)服務(wù)中存在異常請(qǐng)求。
[0017] 在一些實(shí)施例中，上述異常請(qǐng)求的類型包括每秒查詢率異常和請(qǐng)求耗時(shí)異常。
[0018] 在一些實(shí)施例中，上述請(qǐng)求信息至少包括請(qǐng)求速率；識(shí)別單元包括：比較模塊，配 置用于比較客戶端的當(dāng)前請(qǐng)求速率和數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率；第一確定模 塊，配置用于響應(yīng)于客戶端的當(dāng)前請(qǐng)求速率大于數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率，確 定客戶端的當(dāng)前請(qǐng)求為每秒查詢率異常的異常請(qǐng)求；其中，數(shù)據(jù)流量正常情況下的最大請(qǐng) 求速率預(yù)先保存在網(wǎng)絡(luò)服務(wù)的存儲(chǔ)介質(zhì)中。
[0019] 在一些實(shí)施例中，上述請(qǐng)求信息還包括請(qǐng)求耗時(shí)；識(shí)別單元還包括：計(jì)算模塊，配 置用于響應(yīng)于客戶端的當(dāng)前請(qǐng)求速率小于數(shù)據(jù)流量正常情況下的最大請(qǐng)求速率，基于請(qǐng)求 速率和請(qǐng)求耗時(shí)計(jì)算當(dāng)前請(qǐng)求的執(zhí)行頻率；判斷模塊，配置用于判斷當(dāng)前請(qǐng)求的執(zhí)行頻率 是否大于數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率，以及當(dāng)前請(qǐng)求的請(qǐng)求耗時(shí)是否大于預(yù)設(shè)請(qǐng) 求耗時(shí)；第二確定模塊，配置用于響應(yīng)于當(dāng)前請(qǐng)求的執(zhí)行頻率大于數(shù)據(jù)流量正常情況下的 最大執(zhí)行頻率，且當(dāng)前請(qǐng)求的請(qǐng)求耗時(shí)大于預(yù)設(shè)請(qǐng)求耗時(shí)，確定客戶端的當(dāng)前請(qǐng)求為請(qǐng)求 耗時(shí)異常的異常請(qǐng)求；其中，數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率預(yù)先保存在網(wǎng)絡(luò)服務(wù)的 存儲(chǔ)介質(zhì)中。
[0020] 在一些實(shí)施例中，識(shí)別單元還包括：排序模塊，配置用于按照請(qǐng)求耗時(shí)對(duì)客戶端的 當(dāng)前請(qǐng)求進(jìn)行排序，建立請(qǐng)求耗時(shí)由長到短的請(qǐng)求隊(duì)列；判斷模塊進(jìn)一步按照如下方式判 斷當(dāng)前請(qǐng)求的執(zhí)行頻率是否大于數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率，以及當(dāng)前請(qǐng)求的請(qǐng) 求耗時(shí)是否大于預(yù)設(shè)請(qǐng)求耗時(shí)：按照上述排序依次判斷請(qǐng)求隊(duì)列中的請(qǐng)求的執(zhí)行頻率是否 大于數(shù)據(jù)流量正常情況下的最大執(zhí)行頻率，以及請(qǐng)求隊(duì)列中的請(qǐng)求的請(qǐng)求耗時(shí)是否大于預(yù) 設(shè)請(qǐng)求耗時(shí)。
[0021] 在一些實(shí)施例中，控制單元配置用于按如下方式進(jìn)行相應(yīng)的數(shù)據(jù)流量控制：對(duì)每 秒查詢率異常的異常請(qǐng)求，判斷是否滿足第一預(yù)設(shè)條件和是否滿足第二預(yù)設(shè)條件；若滿足 第一預(yù)設(shè)條件，則將客戶端的當(dāng)前請(qǐng)求發(fā)送至數(shù)據(jù)庫，并在數(shù)據(jù)庫允許處理的請(qǐng)求余量大 于〇時(shí)將數(shù)據(jù)庫允許處理的請(qǐng)求余量減1 ;若滿足第二預(yù)設(shè)條件，則將客戶端的當(dāng)前請(qǐng)求發(fā) 送至數(shù)據(jù)庫并將述數(shù)據(jù)庫允許處理的請(qǐng)求余量減1 ;若不滿足第一預(yù)設(shè)條件且不滿足第二 預(yù)設(shè)條件，將客戶端的當(dāng)前請(qǐng)求加入緩存隊(duì)列；確定緩存隊(duì)列中請(qǐng)求的訪問對(duì)象；根據(jù)訪 問對(duì)象控制當(dāng)前請(qǐng)求的速率；其中，第一預(yù)設(shè)條件為當(dāng)前請(qǐng)求為預(yù)設(shè)類型的請(qǐng)求，第二預(yù)設(shè) 條件為緩存隊(duì)列的長度為0且數(shù)據(jù)庫允許處理的請(qǐng)求余量大于0。
[0022] 在一些實(shí)施例中，訪問對(duì)象包括網(wǎng)絡(luò)服務(wù)的主數(shù)據(jù)庫和從數(shù)據(jù)庫；控制單元進(jìn)一 步配置用于按如下方式控制當(dāng)前請(qǐng)求的速率：若客戶端的當(dāng)前請(qǐng)求的訪問對(duì)象為主數(shù)據(jù) 庫，則對(duì)客戶端的寫請(qǐng)求的速率進(jìn)行控制；若客戶端的當(dāng)前請(qǐng)求的訪問對(duì)象為從數(shù)據(jù)庫，則 對(duì)客戶端讀請(qǐng)求的速率進(jìn)行控制。
[0023] 在一些實(shí)施例中，上述請(qǐng)求信息還包括請(qǐng)求內(nèi)容；控制單元進(jìn)一步按如下方式進(jìn) 行相應(yīng)的數(shù)據(jù)流量控制：基于請(qǐng)求內(nèi)容提取請(qǐng)求耗時(shí)異常的異常請(qǐng)求以及當(dāng)前請(qǐng)求的特征