本發(fā)明屬于計算機數(shù)據處理領域，尤其涉及一種分布式在線流處理服務的系統(tǒng)。
背景技術：
現(xiàn)在，計算機在各個領域都得到了深入應用，各行各業(yè)都使用計算機來存儲和處理各種數(shù)據。根據數(shù)據在線處理的特點分為實時處理和流式處理，其中，實時處理對數(shù)據處理的時間有嚴格的要求，需要在極短的時間內完成處理，其處理的數(shù)據量通常較小，與實時處理相對應，為流處理，其特點是對處理時間沒有嚴格的要求，其處理的數(shù)據量通常非常大，但數(shù)據的處理需要相應的處理時間，因此，當接收的數(shù)據流速率比處理的數(shù)據流速率高時，則會出現(xiàn)，待處理的數(shù)據越積越多，會引起數(shù)據阻塞。特別是隨著互聯(lián)網的飛速發(fā)展，基于網絡的音視頻傳輸流量也越來越大，網絡音、視頻流已深入到了人們的日常生活，這對流處理請求服務能夠得到及時響應提出了新的要求。一種常用的避免流數(shù)據請求被阻塞的做法是提高數(shù)據流服務的處理速度，如采用計算性能更好的數(shù)據處理單元，因而對硬件的成本要求更高，另一種常用的做法是通過調度的方式將不同的流處理請求分配給多個不同的數(shù)據處理單元，以減少流處理請求服務的延遲。因此，如何更加靈活、且不是僅依靠于提升硬件處理能力來改善在線流處理請求服務的效率的調度策略和體系結構是目前普遍關注的研究方向。
技術實現(xiàn)要素：
為了解決現(xiàn)有技術中的上述問題，本發(fā)明提出了一種分布式在線流處理服務系統(tǒng)，其用于在線處理數(shù)據流。
本發(fā)明采用的技術方案如下，包括：
流處理請求接收服務器，其通過網絡接收流處理請求方發(fā)送的流處理請求；
許可與分發(fā)服務器，其對所述接收的流處理請求是否發(fā)出許可響應，如果許可，則向請求方發(fā)送許可的響應消息，并將所述流處理請求發(fā)送給分布式流處理服務器群，如果不允許，則向請求方發(fā)送拒絕的響應消息；
分布式流處理服務器群，其接收到所述許可與分發(fā)服務器發(fā)送的流處理請求，處理數(shù)據流，并將處理完成的數(shù)據流通過網絡發(fā)送給所述請求方；
監(jiān)視服務器，其監(jiān)視分布式流處理服務器群中的流處理的工作狀態(tài)；
信息展示服務器，其用于將所述監(jiān)視服務器獲取的信息予以展示；
其中，
所述流處理請求服務器接收到流處理請求時，根據請求的參數(shù)確定所述流處理請求的優(yōu)先級，并將所述流處理器請求及其優(yōu)先級發(fā)送給所述許可與分發(fā)服務器；
所述分布式流處理器服務器群至少包括二臺獨立的流處理服務器，所述分布式流處理器服務器群將每臺流處理服務器的處理能力等級定期反饋給所述許可與分發(fā)服務器；
所述許可與分發(fā)服務器接收到所述流處理請求的優(yōu)先級，基于所述優(yōu)先級和所述流處理服務器的處理能力等級將所述流處理請求發(fā)送給相應的流處理服務器。
優(yōu)選的，當所述流處理服務器負荷低于或者等于第一預定值n1時，其處理能力等級上升二級；
當所述流處理服務器負荷大于第一預定值n1時，但小于或者等于第二預定值n2時，其處理能力等級上升一級；
當所述流處理服務器負荷大于第三預定值n3，但小于或者等于第四預定值n4時，其處理能力等級下降一級；
當所述流處理服務器負荷大于第四預定值n4時，其處理能力等級下降二級，
其中，n1＜n2＜n3＜n4，所述處理能力等級的取值范圍在0-5之間，如果取值范圍超過上限時，則取上限5，如果低于下限時，則取下限0。
優(yōu)選的，所述流處理服務器負荷P按照如下公式計算：
P＝流處理服務器接收的需要處理的數(shù)據的輸入速度S2/流處理服務器處理數(shù)據的速度S1。
優(yōu)選的，當所述分布式流處理服務器群中存在至少一個重負荷流處理服務器時，所述許可與分發(fā)服務器則不再許可新的流處理請求，并通過監(jiān)視服務器監(jiān)視分布式流處理服務器群中的每一臺流處理服務器，如果存在輕負荷流處理服務器時，則將重負荷流處理服務器處理的數(shù)據流通過拆分的方式分發(fā)給至少一臺輕負荷流處理器服務器；如果不存在輕負荷流處理服務器，所述許可與分發(fā)服務器通知所述流處理請求接收服務器停止接收流處理請求，并將所述重負荷流處理服務器處理的數(shù)據流通過拆分的方式分發(fā)給流處理請求接收服務器，由流處理請求接收服務器執(zhí)行流處理；其中，流處理服務器的流處理負荷大于第五預定值n5時，則被稱為重負荷流處理服務器，流處理負荷小于等于第一預定值n1時，且處理能力等級為處于3至5之間的流處理服務器，則被稱為輕負荷流處理服務器；
當監(jiān)視服務器監(jiān)視分布式流處理服務器群中的每一臺流處理服務器都為輕負荷流處理服務器時，如果所述流處理請求接收服務器處于執(zhí)行流處理的工作狀態(tài)時，則通知所述流處理請求接收服務器恢復接收流處理請求，并將其原先承擔的流處理任務分發(fā)給分布式流處理服務器群中的負荷最輕的流處理服務器。
優(yōu)選的，所述流處理請求服務器接收到流處理請求時，根據請求的參數(shù)確定所述流處理請求的優(yōu)先級，其中，所述請求的參數(shù)包括數(shù)據流的類型和長度，確定優(yōu)先級Sp包括如下步驟：
(1)計算分布式流處理服務器群的處理負荷PT，其中，m為分布式流處理服務器群中流處理服務器的總數(shù)，Pi為編號為i的流處理服務器的負荷；根據流處理服務器群的處理負荷PT確定優(yōu)先級等級基數(shù)K：
K＝PT+m；其中，m為調整系數(shù)；
(2)根據所述類型確定基數(shù)A,其中，當為視頻數(shù)據類型時，A＝1,當為音頻數(shù)據類型時，A＝2，其他數(shù)據類型，A＝3；
(3)可根據所述長度確定調整系數(shù)B，其中B＝1/L；
則優(yōu)先級Sp為：
Sp＝Round(A×K+B))，其中，Round為按照四舍五入的方式取整的函數(shù)。
優(yōu)選的，所述許可與分發(fā)服務器接收到所述流處理請求的優(yōu)先級，基于優(yōu)先級與處理能力等級相當?shù)脑瓌t，將所述流處理請求發(fā)送給相應的流處理服務器，所述相當?shù)脑瓌t為從所述優(yōu)先級與各流處理服務器的流處理能力等級的差值的絕對值中選擇值最小的。
優(yōu)選的，所述n1、n2、n3、n4、n5分別為：0.2、0.5、0.7、1、1.3。
優(yōu)選的，所述在線數(shù)據為下述類型的任一種：視頻、音頻。
本發(fā)明的有益效果至少包括：基于流處理服務器的負荷情況，動態(tài)調整流處理服務器的處理能力等級，避免流處理服務器出現(xiàn)數(shù)據處理不及時所引起的數(shù)據阻塞現(xiàn)象，且極大提高了流處理服務器群的執(zhí)行效率。
【附圖說明】
此處所說明的附圖是用來提供對本發(fā)明的進一步理解，構成本申請的一部分，但并不構成對本發(fā)明的不當限定，在附圖中：
圖1是本發(fā)明系統(tǒng)所應用的系統(tǒng)結構圖。
【具體實施方式】
下面將結合附圖以及具體實施例來詳細說明本發(fā)明，其中的示意性實施例以及說明僅用來解釋本發(fā)明，但并不作為對本發(fā)明的限定。
參見附圖1，其示出了本發(fā)明所述的分布式在線流處理服務系統(tǒng)的結構圖。其中，流處理請求服務器和流處理服務器群直接連接到互聯(lián)網，流處理服務器群包含多臺流處理服務器，這些服務器既可以設置在一個局域網內，也可以設置在廣域網內采用VPN方式實現(xiàn)虛擬局域網，構成分布式架構。
流處理請求服務器、許可與分發(fā)服務器、流處理服務器群、信息展示服務器和監(jiān)視服務器之間通過局域網連接。其中，流處理服務器群包括多臺流處理服務器，因而能同時處理多條流處理請求。并且，為了充分利用每臺流處理服務器的處理資源，每臺流處理服務器通常采用多核處理器以及多進程/線程技術，因此能夠承擔多個不同的流處理任務，但是，隨著所承擔的流處理任務越來越多，流處理服務器可用于執(zhí)行流處理任務的資源也將越來越少，如果流處理服務器承擔了過多的流處理任務，導致其處理資源不能夠滿足流處理任務的需求，那么就會引起待處理的數(shù)據積壓，出現(xiàn)數(shù)據阻塞的情形。本實施例中的流處理請求服務器正是為預防這種情形而獨立設置的服務器。流處理請求服務器接收來自互聯(lián)網上的請求方發(fā)送的流處理請求，其接收流處理請求后，根據流處理請求中的需要處理的數(shù)據類型和數(shù)據長度確定針對該流處理請求的優(yōu)先級，確定優(yōu)先級的方法可采取靜態(tài)設置的方式，例如將符合某中類型和長度設定為對應的優(yōu)先級，但是，這種方式屬于靜態(tài)設置，雖然較簡單，但缺乏靈活性，即使服務器處于較高的負荷下，仍然需要處理高優(yōu)先級的任務，在實踐中，會加重所述服務器的工作壓力，甚至使得該服務器出現(xiàn)由于處理資源不足而崩潰等情況。為此，本實施例提出了一個新的技術方案，其采用跟隨處理器負載情況，動態(tài)設定流處理請求的優(yōu)先級的方式，具體如下：
首先計算分布式流處理服務器群的處理負荷PT，其中，M為分布式流處理服務器群中流處理服務器的總數(shù)，Pi為編號為i的流處理服務器的負荷，且Pi＝(流處理服務器接收的需要處理的數(shù)據的輸入速度S2)/(流處理服務器處理數(shù)據的速度S1)。
根據流處理服務器群的處理負荷PT確定優(yōu)先級等級基數(shù)K：
K＝PT+m；其中，m為調整參數(shù)，用于對K進行個性化設置，可設置為0.
然后根據所述類型確定基數(shù)A,其中，當為視頻數(shù)據類型時，A＝1,當為音頻數(shù)據類型時，A＝2，其他數(shù)據類型，A＝3；
接著可根據所述長度確定調整系數(shù)B，其中B＝1/L，其中L的單位可根據應用環(huán)境所處理的數(shù)據流的長度特點設置，在本實施例中，用于對視頻數(shù)據的編解碼處理，可設置單位為吉字節(jié)(GB)；
則優(yōu)先級Sp為：
Sp＝Round(A×K+B))，其中，Round為按照四舍五入的方式取整的函數(shù)。
如下表所示的一個具體實施例，其中第1-2列的數(shù)據來自于流處理請求的參數(shù)，第5列的調整參數(shù)m值用于對流處理服務器群的處理負荷進行誤差調整，可設置為0，第3-4、6列為基于上述參數(shù)計算得到的中間值，最后1列為計算得到的流處理請求的優(yōu)先級值。
從上表可以看出，當流處理服務器群的處理負荷發(fā)生變化是，對于同一流處理請求，所確定的優(yōu)先級值卻并不相同(其中，數(shù)值越小，優(yōu)先級越高)?？梢?，接收的流處理請求的優(yōu)先級是隨著流處理服務器群的負荷情況動態(tài)設定，一般情況下，流處理服務器群的負荷較低時，所確定流處理請求的優(yōu)先級較高。
許可與分發(fā)服務器接收到由流處理請求服務器發(fā)送的流處理請求的優(yōu)先級后，基于所述優(yōu)先級與流處理服務器群中每臺流處理服務器的流處理能力等級進行流處理請求的分配。所述流處理服務器的流處理能力實質上是指其可被利用的流處理運算能力。本發(fā)明給出的具體實施方式中，將等級分為5個等級，其中，0是最低等級，5是最高等級。初始狀態(tài)時，所有的流處理服務器均設為最高等級5，隨著流處理任務的分配，每臺流處理服務器的工作負荷會發(fā)生變化，從而可利用的流處理能力也隨之發(fā)生變化。當工作負荷越大，其可被利用的流處理計算能力就越小，從而其對應的流處理能力的等級就越低。
本實施例中，流處理服務器的流處理能力等級的具體設置規(guī)則為：
當所述流處理服務器負荷低于或者等于第一預定值n1時，其處理能力等級上升二級，例如，若原等級為3，上升兩個等級則為等級5；
當所述流處理服務器負荷大于第一預定值n1時，但小于或者等于第二預定值n2時，其處理能力等級上升一級；
當所述流處理服務器負荷大于第三預定值n3，但小于或者等于第四預定值n4時，其處理能力等級下降一級，例如，原等級為1時，下降一個等級則為0；
當所述流處理服務器負荷大于第四預定值n4時，其處理能力等級下降二級，
其中，n1＜n2＜n3＜n4，所述處理能力等級的取值范圍在0-5之間，如果取值范圍超過上限時，則取上限5，如果低于下限時，則取下限0。經過測試優(yōu)選，n1、n2、n3、n4、n5分別為：0.2、0.5、0.7、1、1.3。
許可與分發(fā)服務器根據流處理請求的優(yōu)先級和流處理服務器群中的每臺流處理服務器的流處理能力等級進行適配，具體為從所述優(yōu)先級與各臺流處理服務器的流處理能力等級的差值的絕對值中選擇值最小的所對應的流處理服務器作為所述流處理請求的執(zhí)行主體。例如：
在包括5臺流處理服務器的流處理服務器群中，許可與分發(fā)服務器接收并確定一優(yōu)先級為2的流處理請求，流處理服務器群中的各個流處理服務器的處理能力等級分別為0，3，4，5，0，則所述流處理請求的優(yōu)先級與每臺流處理服務器處理能力等級的差值絕對值分別為：2，1，2，3，2?？梢?，處理能力等級為3的流處理服務器與所述流處理請求的優(yōu)先級的差值絕對值最小，因此，許可與分發(fā)服務器將所述流處理請求分發(fā)給流處理能力等級為3的流處理服務器。
本實施例改變了優(yōu)先選擇處理能力最富足的處理服務器的傳統(tǒng)方式(例如處理能力等級為5的)，而是綜合考慮流處理請求和流處理服務器的處理能力，選擇最適合的流處理服務器(即兩者差值的絕對值最小)，能有效避免流處理服務器的富余處理能力呈現(xiàn)“小碎片”的情形(即每臺流處理服務器都具有富余的處理能力，但都不能夠處理一個基本的流處理任務)，減少處理能力資源的浪費。通過上述實施例，可以看出，由于本發(fā)明采取將流處理請求動態(tài)匹配對應的流處理服務器群中的流處理服務器，從而使得流處理服務器群的執(zhí)行效率得到極大的提高。
此外，本實施例還提出了一種在流處理服務器群處理能力不足的情況下，通過將其他類型的服務器的功能轉變?yōu)閳?zhí)行流處理的功能，以補充流處理服務器群的整體處理能力。本實施例中，當所述分布式流處理服務器群中存在至少一個重負荷流處理服務器時，所述許可與分發(fā)服務器則不再許可新的流處理請求，并通過監(jiān)視服務器監(jiān)視分布式流處理服務器群中的每一臺流處理服務器，如果存在輕負荷流處理服務器時，則將重負荷流處理服務器處理的數(shù)據流通過拆分的方式分發(fā)給至少一臺輕負荷流處理器服務器；如果不存在輕負荷流處理服務器，所述許可與分發(fā)服務器通知所述流處理請求接收服務器停止接收流處理請求，并將所述重負荷流處理服務器處理的數(shù)據流通過拆分的方式分發(fā)給流處理請求接收服務器，由流處理請求接收服務器執(zhí)行流處理；其中，流處理服務器的流處理負荷大于第五預定值n5時，則被稱為重負荷流處理服務器，流處理負荷小于等于第一預定值n1時，且處理能力等級為處于3至5之間的流處理服務器，則被稱為輕負荷流處理服務器；
當監(jiān)視服務器監(jiān)視分布式流處理服務器群中的每一臺流處理服務器都為輕負荷流處理服務器時，如果所述流處理請求接收服務器處于執(zhí)行流處理的工作狀態(tài)時，則通知所述流處理請求接收服務器恢復接收流處理請求，并將其原先承擔的流處理任務分發(fā)給分布式流處理服務器群中的負荷最輕的流處理服務器。
當流處理服務器群處于重工作負荷狀態(tài)時，此時若繼續(xù)接收新的流處理請求，只會進一步加重流處理服務器的工作壓力，甚至導致部分流處理服務器崩潰的情況，從而惡化用戶使用流處理時的體驗。在上述實施例中，采取了不再接收新的流處理請求的手段，以使得流處理服務器群中的流處理服務器能夠專注處理已經接收了的流處理任務，此外，在當流處理服務器群處于重度工作負荷的情形下，將不再接收新的流處理請求的流處理請求接收服務器的功能進行轉換，將其處理能力轉變?yōu)閳?zhí)行流處理任務的流式處理能力，以加快對流處理請求的處理速度，使得處于重負荷的流處理服務器群能快速轉換到中、低負荷的狀態(tài)下，改善流處理服務器群整體負荷狀況。
本實施例中，監(jiān)視服務器實時或者定期采集流處理請求服務器和流處理服務器群的工作狀態(tài)，發(fā)送給許可與分發(fā)服務器用于工作狀態(tài)的數(shù)據分析，同時也通過信息展示服務器予以顯示，便于管理人員操作和維護。
以上所述僅是本發(fā)明的較佳實施方式，故凡依本發(fā)明專利申請范圍所述的構造、特征及原理所做的等效變化或修飾，均包括于本發(fā)明專利申請范圍內。