一種基于應(yīng)用執(zhí)行單元的PaaS請求分發(fā)機(jī)制的制作方法
【技術(shù)領(lǐng)域】
:
[0001]本發(fā)明涉及一種基于應(yīng)用執(zhí)行單元的PaaS請求分發(fā)機(jī)制，適用于在PaaS平臺上更合理地分發(fā)用戶對應(yīng)用的請求，屬于軟件技術(shù)領(lǐng)域。
【背景技術(shù)】
:
[0002]為了能提供可靠、高效的應(yīng)用服務(wù)，PaaS平臺上應(yīng)用的服務(wù)往往由應(yīng)用的多個實(shí)例共同承擔(dān)完成，并且通常單個應(yīng)用實(shí)例不會獨(dú)自占盡虛擬機(jī)上的全部資源。因此，平臺需將用戶的請求根據(jù)一定的規(guī)則分發(fā)給各個應(yīng)用實(shí)例，由各個實(shí)例借助所在服務(wù)器提供的資源，完成對請求的響應(yīng)和處理，并將結(jié)果返回給用戶。
[0003]基于輪詢的負(fù)載平衡是一種較為常見的請求分發(fā)方式，它通過輪詢，將用戶請求平均地轉(zhuǎn)發(fā)給各個應(yīng)用實(shí)例。這種方法實(shí)現(xiàn)簡單，但在PaaS平臺的彈性機(jī)制中有顯著的缺點(diǎn):由于單位時間內(nèi)每個應(yīng)用實(shí)例所承擔(dān)的請求數(shù)量不固定，一個應(yīng)用實(shí)例的狀態(tài)發(fā)生改變，可能會影響整個服務(wù)器集群上相應(yīng)應(yīng)用的所有實(shí)例狀態(tài)，進(jìn)而引發(fā)不必要的彈性操作。

【發(fā)明內(nèi)容】

:
[0004]本發(fā)明提出了一種基于應(yīng)用執(zhí)行單元的PaaS請求分發(fā)機(jī)制，將PaaS平臺上應(yīng)用實(shí)例能接收到的最高請求率進(jìn)行限定，使得應(yīng)用大部分實(shí)例接收到的請求率都處于較為穩(wěn)定的狀態(tài)，各自的請求率不會相互影響，解決傳統(tǒng)的基于輪詢的負(fù)載平衡方法中各應(yīng)用實(shí)例請求率之間的耦合性，從而防止出現(xiàn)一個應(yīng)用實(shí)例狀態(tài)改變影響整個服務(wù)器集群上相應(yīng)應(yīng)用所有實(shí)例狀態(tài)的現(xiàn)象，減少了觸發(fā)的彈性操作次數(shù)，降低了由此帶來的資源開銷。
【附圖說明】
[0005]附圖為基于應(yīng)用執(zhí)行單元的請求分配方法【具體實(shí)施方式】:
[0006]本發(fā)明設(shè)計(jì)了應(yīng)用“執(zhí)行單元”作為應(yīng)用服務(wù)的基本單位，來代替基于輪詢的負(fù)載平衡方法中接收請求率大小不固定的應(yīng)用實(shí)例。一個應(yīng)用的執(zhí)行單元是指限定了最高請求率Rfflax的應(yīng)用實(shí)例。如果一個應(yīng)用執(zhí)行單元接受的請求率達(dá)到R_，則稱其處于滿負(fù)荷狀態(tài)，否則為不滿狀態(tài)，特別地，將接受請求率為零的執(zhí)行單元稱為空執(zhí)行單元。在每個請求分發(fā)周期內(nèi)，用戶請求被分發(fā)給應(yīng)用的若干執(zhí)行單元承擔(dān)，且通常只有一個處于不滿狀態(tài)。例如:假設(shè)某應(yīng)用的執(zhí)行單元最大請求率1?_設(shè)為60req/s。某一時刻用戶對該應(yīng)用的請求率達(dá)到150req/s,則分別分配60req/s的請求給2個執(zhí)行單元使之達(dá)到滿負(fù)荷狀態(tài),剩余30req/s的請求分配給I個執(zhí)行單元。
[0007]如果應(yīng)用的全部執(zhí)行單元都處于滿負(fù)荷狀態(tài)仍不足以承載所有用戶請求，則將超出執(zhí)行單元承載能力的請求推遲至下一分發(fā)周期接受處理，如下一分發(fā)周期請求數(shù)仍超過執(zhí)行單元承載能力，則繼續(xù)推遲處理，以此類推。上述推遲操作會導(dǎo)致應(yīng)用平均響應(yīng)時間增長，可以通過PaaS平臺上的彈性資源管理機(jī)制持續(xù)監(jiān)測平均響應(yīng)時間，并在其超過特定閾值時增加執(zhí)行單元以提高承載能力。
[0008]基于執(zhí)行單元的請求分配方式保證了應(yīng)用大部分實(shí)例接收到的請求率都處于較為穩(wěn)定的狀態(tài)，各自的請求率不會相互影響，解決了基于輪詢的負(fù)載平衡方法中各應(yīng)用實(shí)例請求率之間的耦合性，從而防止出現(xiàn)一個應(yīng)用實(shí)例狀態(tài)改變影響整個服務(wù)器集群上相應(yīng)應(yīng)用所有實(shí)例狀態(tài)的現(xiàn)象，減少了觸發(fā)的彈性操作次數(shù)，降低了由此帶來的資源開銷。
[0009]附圖展示了基于應(yīng)用執(zhí)行單元的請求分配方法的優(yōu)越性，某應(yīng)用A在VM1、VM2和VM3三臺虛擬機(jī)上各部署了 I個執(zhí)行單元，它們承擔(dān)的請求各有2單位的資源開銷，且均處于滿負(fù)荷狀態(tài)。當(dāng)系統(tǒng)進(jìn)行收縮操作關(guān)閉VM3時，需要將它上面的執(zhí)行單元“整體”地遷移到其他虛擬機(jī)上。在這個例子中執(zhí)行單元被遷移到了資源占用還未超過閾值的VM2上。上述過程只觸發(fā)了一次彈性操作，其彈性操作次數(shù)較少，因此彈性操作帶來的額外開銷較低。
[0010]應(yīng)用執(zhí)行單元的最高請求率Rniax決定了單位時間內(nèi)單個執(zhí)行單元可以接收到的最大請求數(shù)，進(jìn)而決定了單個執(zhí)行單元的資源開銷。因此，為應(yīng)用執(zhí)行單元確定合適的1?_值至關(guān)重要。本發(fā)明基于應(yīng)用特征以及應(yīng)用的請求率上限Rul (隨著請求率的增加，應(yīng)用所在虛擬機(jī)會有某項(xiàng)系統(tǒng)資源消耗首先超過閾值，將應(yīng)用此時的請求率定義為應(yīng)用的請求率上限，記為Rul)來確定R_。令R_ = Rul/k，其中k為正整數(shù)，將確定R_的問題轉(zhuǎn)化為確定k值。
[0011]如果k過小，則意味著滿載的執(zhí)行單元承載了較大的請求率，需要占用更多的資源量，會難以找到合適的其他應(yīng)用的執(zhí)行單元與其共同使用服務(wù)器的資源，從而喪失搭配部署的靈活性；如果k過大，則意味著滿載的執(zhí)行單元承載了較小的請求率，所需資源量較少，便能在同一個虛擬機(jī)上部署較多數(shù)目的應(yīng)用執(zhí)行單元，但由于處理器在接受各個執(zhí)行單元的請求時要不斷地進(jìn)行進(jìn)程的調(diào)度，執(zhí)行單元數(shù)目過多會導(dǎo)致進(jìn)程調(diào)度頻繁，從而增大調(diào)度開銷。因此，k值的確定需在保證搭配部署靈活性和系統(tǒng)調(diào)度開銷之間做一個權(quán)衡。另外，不同應(yīng)用的k值也會不同:對于資源開銷較大的應(yīng)用，其k值應(yīng)相對較小，否則需較多執(zhí)行單元才能滿足其資源需求，增大調(diào)度開銷。因此k值的大小需結(jié)合應(yīng)用特征確定。
【主權(quán)項(xiàng)】
1.一種基于應(yīng)用執(zhí)行單元的PaaS請求分發(fā)機(jī)制，將PaaS平臺上應(yīng)用實(shí)例能接收到的最高請求率進(jìn)行限定，使得應(yīng)用大部分實(shí)例接收到的請求率都處于較為穩(wěn)定的狀態(tài)，各自的請求率不會相互影響，解決傳統(tǒng)的基于輪詢的負(fù)載平衡方法中各應(yīng)用實(shí)例請求率之間的耦合性，從而防止出現(xiàn)一個應(yīng)用實(shí)例狀態(tài)改變影響整個服務(wù)器集群上相應(yīng)應(yīng)用所有實(shí)例狀態(tài)的現(xiàn)象，減少了觸發(fā)的彈性操作次數(shù)，降低了由此帶來的資源開銷。
【專利摘要】本發(fā)明涉及一種基于應(yīng)用執(zhí)行單元的PaaS請求分發(fā)機(jī)制，適用于在PaaS平臺上更合理地分發(fā)用戶對應(yīng)用的請求，屬于軟件技術(shù)領(lǐng)域。傳統(tǒng)的基于輪詢的負(fù)載平衡作為請求分發(fā)方式，由于單位時間內(nèi)每個應(yīng)用實(shí)例所承擔(dān)的請求數(shù)量不固定，一個應(yīng)用實(shí)例的狀態(tài)發(fā)生改變，可能會影響整個服務(wù)器集群上相應(yīng)應(yīng)用的所有實(shí)例狀態(tài)，進(jìn)而引發(fā)不必要的彈性操作。本發(fā)明提出了一種基于應(yīng)用執(zhí)行單元的PaaS請求分發(fā)機(jī)制，對PaaS平臺上應(yīng)用實(shí)例能接收到的最高請求率進(jìn)行了限定，解決了傳統(tǒng)的基于輪詢的負(fù)載平衡方法中各應(yīng)用實(shí)例請求率之間的耦合性，從而避免一個應(yīng)用實(shí)例狀態(tài)的改變影響服務(wù)器集群上相應(yīng)應(yīng)用所有實(shí)例的狀態(tài)，減少了觸發(fā)的彈性操作次數(shù)，降低了由此帶來的資源開銷。
【IPC分類】H04L29/08
【公開號】CN105100168
【申請?zhí)枴緾N201410216427
【發(fā)明人】魏豪, 張銳, 王千祥
【申請人】北京大學(xué)
【公開日】2015年11月25日
【申請日】2014年5月21日