1.一種分布式在線流處理服務系統(tǒng),其用于流式處理在線數(shù)據(jù),其特征在于包括:
流處理請求接收服務器,其通過網(wǎng)絡接收流處理請求方發(fā)送的流處理請求;
許可與分發(fā)服務器,其與流處理請求接收服務器連接,對所述接收的流處理請求是否發(fā)出許可響應,如果許可,則向請求方發(fā)送許可的響應消息,并將所述流處理請求發(fā)送給分布式流處理服務器群,如果不允許,則向所述請求方發(fā)送拒絕的響應消息;
分布式流處理服務器群,其與許可與分發(fā)服務器連接,接收到所述許可與分發(fā)服務器發(fā)送的流處理請求,處理數(shù)據(jù)流,并將處理完成的數(shù)據(jù)流通過網(wǎng)絡發(fā)送給所述請求方;
監(jiān)視服務器,其與分布式流處理服務器群連接,監(jiān)視分布式流處理服務器群的工作狀態(tài);
信息展示服務器,其與監(jiān)視服務器連接,用于將所述監(jiān)視服務器獲取的信息予以展示;
其中,
所述流處理請求服務器接收到所述流處理請求時,根據(jù)請求的參數(shù)確定所述流處理請求的優(yōu)先級,并將所述流處理器請求及其優(yōu)先級發(fā)送給所述許可與分發(fā)服務器;
所述分布式流處理器服務器群至少包括二臺獨立的流處理服務器,所述分布式流處理器服務器群將每臺流處理服務器的處理能力等級定期反饋給所述許可與分發(fā)服務器;
所述許可與分發(fā)服務器接收到所述流處理請求的優(yōu)先級,基于所述優(yōu)先級和所述流處理服務器的處理能力等級將所述流處理請求發(fā)送給所述分布式流處理器服務器群中的相應流處理服務器。
2.如權利要求1所述的分布式在線流處理服務系統(tǒng),其特征在于:所述分布式流處理器服務器群中每一臺流處理服務器的所述處理能力等級根據(jù)其處理數(shù)據(jù)流的負荷情況動態(tài)變化,其特征在于:
當所述流處理服務器負荷低于或者等于第一預定值n1時,其處理能力等級上升二級;
當所述流處理服務器負荷大于第一預定值n1時,但小于或者等于第二預定值n2時,其處理能力等級上升一級;
當所述流處理服務器負荷大于第三預定值n3,但小于或者等于第四預定值n4時,其處理能力等級下降一級;
當所述流處理服務器負荷大于第四預定值n4時,其處理能力等級下降二級;
其中,n1<n2<n3<n4,所述處理能力等級的取值范圍在0-5之間,0為最低等級,5為最高等級,如果取值范圍超過上限時,則取上限5,如果低于下限時,則取下限0。
3.根據(jù)權利要求2所述的分布式在線流處理服務系統(tǒng),其特征在于:所述流處理服務器的負荷P按照如下公式計算:
P=流處理服務器接收的需要處理的數(shù)據(jù)的輸入速度S2/流處理服務器處理數(shù)據(jù)的速度S1。
4.根據(jù)權利要求3所述的分布式在線流處理服務系統(tǒng),其特征在于:當所述分布式流處理服務器群中存在至少一個重負荷流處理服務器時,所述許可與分發(fā)服務器則不再許可新的流處理請求,并通過監(jiān)視服務器監(jiān)視分布式流處理服務器群中的每一臺流處理服務器,如果存在輕負荷流處理服務器時,則將重負荷流處理服務器處理的數(shù)據(jù)流通過拆分的方式分發(fā)給至少一臺輕負荷流處理器服務器;如果不存在輕負荷流處理服務器,所述許可與分發(fā)服務器通知所述流處理請求接收服務器停止接收流處理請求,并將所述重負荷流處理服務器處理的數(shù)據(jù)流通過拆分的方式分發(fā)給流處理請求接收服務器,由流處理請求接收服務器執(zhí)行流處理任務;其中,流處理服務器的流處理負荷大于第五預定值n5時,則被稱為重負荷流處理服務器,流處理負荷小于等于第一預定值n1時,且處理能力等級大于3的流處理服務器,則被稱為輕負荷流處理服務器;
當監(jiān)視服務器監(jiān)視分布式流處理服務器群中的每一臺流處理服務器都為輕負荷流處理服務器時,如果所述流處理請求接收服務器處于執(zhí)行流處理任務的作狀態(tài)時,則通知所述流處理請求接收服務器恢復接收流處理請求,并將其承擔的但未完成的流處理任務轉發(fā)給分布式流處理服務器群中的負荷最輕的流處理服務器。
5.根據(jù)權利要求4所述的分布式在線流處理服務系統(tǒng),其特征在于:所述流處理請求服務器接收到流處理請求時,根據(jù)請求的參數(shù)確定所述流處理請求的優(yōu)先級,其中,所述請求的參數(shù)包括數(shù)據(jù)流的類型和長度,確定優(yōu)先級Sp包括:
步驟(1):計算分布式流處理服務器群的處理負荷PT,其中,M為分布式流處理服務器群中流處理服務器的總數(shù),Pi為編號為i的流處理服務器的負荷;根據(jù)流處理服務器群的處理負荷PT確定優(yōu)先級等級基數(shù)K:
K=PT+m;其中,m為調整系數(shù);
步驟(2):根據(jù)所述類型確定基數(shù)A,其中,當為視頻數(shù)據(jù)類型時,A=1,當為音頻數(shù)據(jù)類型時,A=2,其他數(shù)據(jù)類型,A=3;
步驟(3):根據(jù)所述長度確定調整系數(shù)B,其中B=1/L;
則優(yōu)先級Sp為:
Sp=Round(A×K+B),其中,Round為按照四舍五入的方式取整的函數(shù)。
6.根據(jù)權利要求5所述的分布式在線流處理服務系統(tǒng),其特征在于:所述許可與分發(fā)服務器接收到所述流處理請求的優(yōu)先級,計算所述優(yōu)先級與各流處理服務器的流處理能力等級的差值,并以所述差值的最小絕對值所對應的流處理服務器作為所述許可與分發(fā)服務器發(fā)送所述流處理請求的目標。
7.根據(jù)權利要求6所述的分布式在線流處理服務系統(tǒng),其特征在于:所述n1、n2、n3、n4、n5分別為:0.2、0.5、0.7、1、1.3。
8.根據(jù)權利要求7所述的分布式在線流處理服務系統(tǒng),其特征在于:所述在線數(shù)據(jù)為下述類型的任一種:視頻、音頻。