專利名稱：一種任務(wù)中斷恢復(fù)方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及通信技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)的任務(wù)中斷恢復(fù)方法和設(shè)備。
背景技術(shù)：
隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展，以及數(shù)據(jù)處理量的增長(zhǎng)，分布式數(shù)據(jù)處理系統(tǒng)得到廣泛應(yīng)用。分布式數(shù)據(jù)處理系統(tǒng)包括多個(gè)任務(wù)節(jié)點(diǎn)，多個(gè)任務(wù)節(jié)點(diǎn)可以同時(shí)進(jìn)行數(shù)據(jù)處理，大幅度提高了系統(tǒng)的數(shù)據(jù)處理效率。但是，在分布式數(shù)據(jù)處理系統(tǒng)運(yùn)行過(guò)程中，各任務(wù)節(jié)點(diǎn)在任務(wù)處理過(guò)程中有可能出現(xiàn)異常中斷的情形，而對(duì)于分布式系統(tǒng)來(lái)說(shuō)，針對(duì)異常中斷，目前還未出現(xiàn)有效的異?；謴?fù)機(jī)制，既能有效的方法確保分布式網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性，又能夠在數(shù)據(jù)傳輸或數(shù)據(jù)處理過(guò)程中意外中斷后，使得系統(tǒng)能夠自我恢復(fù)。

發(fā)明內(nèi)容
本申請(qǐng)實(shí)施例提供了 一種任務(wù)中斷恢復(fù)方法及設(shè)備，用以實(shí)現(xiàn)分布式數(shù)據(jù)處理系統(tǒng)中任務(wù)節(jié)點(diǎn)上任務(wù)異常后的自動(dòng)恢復(fù)。為此，本申請(qǐng)采用以下技術(shù)手段:本申請(qǐng)實(shí)施例提供一種任務(wù)中斷恢復(fù)方法，應(yīng)用于包含有中心服務(wù)器和多個(gè)任務(wù)節(jié)點(diǎn)的分布式數(shù)據(jù)處理系統(tǒng)，該方法包括:任務(wù)節(jié)點(diǎn)接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負(fù)載均衡策略為任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)；所述任務(wù)節(jié)點(diǎn)根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對(duì)應(yīng)的待處理數(shù)據(jù)塊，對(duì)獲取到的待處理數(shù)據(jù)塊進(jìn)行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息；當(dāng)任務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)異常中斷時(shí)，所述任務(wù)節(jié)點(diǎn)獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。本申請(qǐng)實(shí)施例還提供一種任務(wù)節(jié)點(diǎn)設(shè)備，應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，包括:接收模塊，用于接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負(fù)載均衡策略為任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)；任務(wù)處理模塊，用于根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對(duì)應(yīng)的待處理數(shù)據(jù)塊，對(duì)獲取到的待處理數(shù)據(jù)塊進(jìn)行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息；恢復(fù)處理模塊，用于當(dāng)數(shù)據(jù)處理任務(wù)異常中斷時(shí)，獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。與現(xiàn)有技術(shù)相比，本申請(qǐng)的上述實(shí)施例具有以下有益技術(shù)效果:本申請(qǐng)實(shí)施例通過(guò)任務(wù)節(jié)點(diǎn)對(duì)接收到的數(shù)據(jù)處理任務(wù)進(jìn)行處理，并保存處理狀態(tài)信息，當(dāng)數(shù)據(jù)處理任務(wù)異常中斷時(shí)，任務(wù)節(jié)點(diǎn)獲取所述數(shù)據(jù)處理狀態(tài)信息，并根據(jù)所述記錄的數(shù)據(jù)處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理，從而在系統(tǒng)出問(wèn)題時(shí)能夠自動(dòng)識(shí)別并及時(shí)處理余下未處理的數(shù)據(jù)，實(shí)現(xiàn)了系統(tǒng)的自我修復(fù)，使系統(tǒng)具有較高可靠性。


圖1為本申請(qǐng)實(shí)施例的系統(tǒng)架構(gòu)示意圖；圖2為本申請(qǐng)實(shí)施例提供的數(shù)據(jù)分區(qū)流程示意圖；圖3為本申請(qǐng)實(shí)施例提供的數(shù)據(jù)處理流程示意圖；圖4為本申請(qǐng)實(shí)施例檢測(cè)進(jìn)程運(yùn)行情況并進(jìn)行相應(yīng)處理的流程示意圖；圖5為本申請(qǐng)實(shí)施例提供的任務(wù)節(jié)點(diǎn)設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本申請(qǐng)的技術(shù)方案進(jìn)行清楚、完整的描述，顯然，所描述的實(shí)施例是本申請(qǐng)一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾?qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)的保護(hù)范圍。參見(jiàn)圖1所示，為本申請(qǐng)實(shí)施例的分布式數(shù)據(jù)處理系統(tǒng)架構(gòu)示意圖，該系統(tǒng)包括:數(shù)據(jù)分區(qū)生成器11、中心服務(wù)器12、數(shù)個(gè)任務(wù)節(jié)點(diǎn)13。其中，各組成部分的基本功能包括:數(shù)據(jù)分區(qū)生成器11，用于對(duì)源數(shù)據(jù)進(jìn)行初始化分區(qū)，得到數(shù)個(gè)分區(qū)數(shù)據(jù)(即數(shù)據(jù)塊)，各分區(qū)數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)設(shè)備上，數(shù)據(jù)分區(qū)生成器11將數(shù)據(jù)分區(qū)的信息發(fā)送給中心服務(wù)器12 ;所述數(shù)據(jù)分區(qū)的信息即為數(shù)據(jù)塊的索引信息，可包括:數(shù)據(jù)分區(qū)的標(biāo)識(shí)、數(shù)據(jù)分區(qū)的大小、存儲(chǔ)位置等。中心服務(wù)器12，用于為各任務(wù)節(jié)點(diǎn)13分配數(shù)據(jù)處理任務(wù)。通常，中心服務(wù)器一次只向一個(gè)任務(wù)節(jié)點(diǎn)分配一個(gè)數(shù)據(jù)處理任務(wù)，也可以一次向多個(gè)任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)，并可基于某種負(fù)載均衡機(jī)制分配數(shù)據(jù)處理任務(wù)給任務(wù)節(jié)點(diǎn)。任務(wù)節(jié)點(diǎn)13，用于根據(jù)中心服務(wù)器12分配的數(shù)據(jù)處理任務(wù)進(jìn)行數(shù)據(jù)處理，并記錄數(shù)據(jù)處理狀態(tài)信息。當(dāng)任務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)異常中斷時(shí)，可根據(jù)其所記錄的數(shù)據(jù)處理狀態(tài)信息，進(jìn)行任務(wù)異常中斷的恢復(fù)。本申請(qǐng)實(shí)施例中的數(shù)據(jù)處理狀態(tài)信息可包括數(shù)據(jù)塊標(biāo)識(shí)、該數(shù)據(jù)塊的處理狀態(tài)(如未處理，已分發(fā)，處理中，完成處理)或數(shù)據(jù)塊存儲(chǔ)位置等?；谏鲜鱿到y(tǒng)架構(gòu)，下面對(duì)本申請(qǐng)實(shí)施例的分布式數(shù)據(jù)處理流程進(jìn)行詳細(xì)描述。參見(jiàn)圖2，為本申請(qǐng)實(shí)施例提供的數(shù)據(jù)分區(qū)流程示意圖，如圖所示，數(shù)據(jù)分區(qū)生成器對(duì)源數(shù)據(jù)進(jìn)行數(shù)據(jù)分區(qū)的流程可包括:步驟201，數(shù)據(jù)分區(qū)生成器對(duì)系統(tǒng)需要處理的數(shù)據(jù)(源數(shù)據(jù))進(jìn)行初始化分區(qū)，將源數(shù)據(jù)劃分為數(shù)個(gè)分區(qū)數(shù)據(jù)。該分區(qū)過(guò)程可以通過(guò)建立任務(wù)數(shù)據(jù)分區(qū)模型實(shí)現(xiàn)，如表I所示:表I
權(quán)利要求
1.一種任務(wù)中斷恢復(fù)方法，應(yīng)用于包含有中心服務(wù)器和多個(gè)任務(wù)節(jié)點(diǎn)的分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，該方法包括: 任務(wù)節(jié)點(diǎn)接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負(fù)載均衡策略為任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)； 所述任務(wù)節(jié)點(diǎn)根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對(duì)應(yīng)的待處理數(shù)據(jù)塊，對(duì)獲取到的待處理數(shù)據(jù)塊進(jìn)行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息； 當(dāng)任務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)異常中斷時(shí)，所述任務(wù)節(jié)點(diǎn)獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。
2.按權(quán)利要求1所述的方法，其特征在于，所述任務(wù)節(jié)點(diǎn)將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點(diǎn)的緩存中； 當(dāng)任務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)異常中斷時(shí)，所述任務(wù)節(jié)點(diǎn)查詢其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理，包括: 當(dāng)任務(wù)節(jié)點(diǎn)中進(jìn)行數(shù)據(jù)處理的進(jìn)程運(yùn)行異常時(shí)，所述任務(wù)節(jié)點(diǎn)重啟該進(jìn)程，并從緩存中獲取所述數(shù)據(jù)處理狀態(tài)信息，根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。
3.按權(quán)利要求1所述的方法，其特征在于，所述任務(wù)節(jié)點(diǎn)維護(hù)有執(zhí)行數(shù)據(jù)處理任務(wù)的進(jìn)程的列表，所述列表中記錄有進(jìn)程句柄以及該進(jìn)程對(duì)應(yīng)的版本號(hào)，各進(jìn)程的版本號(hào)初始值相同；該方法還包括: 在設(shè)定的檢測(cè)周期到達(dá)時(shí)，當(dāng)前正常運(yùn)行的進(jìn)程將所述列表中自己的版本號(hào)遞增，各進(jìn)程所遞增的增量值相同； 檢測(cè)線程在所述列表中查找是否存在版本號(hào)與列表中的最大版本號(hào)之間的差值大于設(shè)定閾值的進(jìn)程，并在查找 到進(jìn)程時(shí)通過(guò)所述進(jìn)程句柄將所述進(jìn)程殺死，創(chuàng)建與所殺死的進(jìn)程相同數(shù)量的進(jìn)程，將各進(jìn)程的版本號(hào)設(shè)置相同的初始值。
4.按權(quán)利要求1所述的方法，其特征在于，所述任務(wù)節(jié)點(diǎn)將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點(diǎn)的緩存中，并根據(jù)設(shè)定周期將其緩存中保存的處理狀態(tài)信息寫入文件并將該文件保存于本地文件系統(tǒng)； 當(dāng)任務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)異常中斷時(shí)，所述任務(wù)節(jié)點(diǎn)查詢其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理，包括: 當(dāng)任務(wù)節(jié)點(diǎn)異常重啟時(shí)，所述任務(wù)節(jié)點(diǎn)從本地文件系統(tǒng)中記錄有處理狀態(tài)信息的文件中讀取數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)讀取到的數(shù)據(jù)塊的處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。
5.按權(quán)利要求1-4之一所述的方法，其特征在于，該方法還包括: 中心服務(wù)器周期向任務(wù)節(jié)點(diǎn)發(fā)送請(qǐng)求消息，若在設(shè)定長(zhǎng)時(shí)間內(nèi)接收到任務(wù)節(jié)點(diǎn)返回的攜帶有該任務(wù)節(jié)點(diǎn)的負(fù)載信息的響應(yīng)消息，則更新該中心服務(wù)器上保存的任務(wù)節(jié)點(diǎn)列表，所述任務(wù)節(jié)點(diǎn)列表中記錄有任務(wù)節(jié)點(diǎn)的標(biāo)識(shí)、可用狀態(tài)和負(fù)載信息；若未在設(shè)定時(shí)間內(nèi)接收到任務(wù)節(jié)點(diǎn)返回的響應(yīng)消息，則將所述任務(wù)節(jié)點(diǎn)列表中該任務(wù)節(jié)點(diǎn)的可用狀態(tài)設(shè)置為不可用； 當(dāng)中心服務(wù)器為任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)時(shí)，根據(jù)所述任務(wù)節(jié)點(diǎn)列表進(jìn)行分配。
6.一種任務(wù)節(jié)點(diǎn)設(shè)備，應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，包括: 接收模塊，用于接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負(fù)載均衡策略為任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)； 任務(wù)處理模塊，用于根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對(duì)應(yīng)的待處理數(shù)據(jù)塊，對(duì)獲取到的待處理數(shù)據(jù)塊進(jìn)行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息； 恢復(fù)處理模塊，用于當(dāng)數(shù)據(jù)處理任務(wù)異常中斷時(shí)，獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。
7.按權(quán)利要求6所述的任務(wù)節(jié)點(diǎn)設(shè)備，其特征在于，所述任務(wù)處理模塊將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點(diǎn)的緩存中； 所述恢復(fù)處理模塊具體用于，當(dāng)執(zhí)行數(shù)據(jù)處理的進(jìn)程運(yùn)行異常時(shí)，重啟該進(jìn)程，并從緩存中獲取所述數(shù)據(jù)處理狀態(tài)信息，據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。
8.按權(quán)利要求6所述的任務(wù)節(jié)點(diǎn)設(shè)備，其特征在于，所述任務(wù)處理模塊將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點(diǎn)的緩存中，并根據(jù)設(shè)定周期將其緩存中保存的處理狀態(tài)信息寫入文件并將該文件保存于本地文件系統(tǒng)； 所述恢復(fù)處理模塊具體用于，當(dāng)任務(wù)節(jié)點(diǎn)異常重啟時(shí)，從本地文件系統(tǒng)中記錄有處理狀態(tài)信息的文件中讀取數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)讀取到的數(shù)據(jù)塊的處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。
9.按權(quán)利要求6所述的任務(wù)節(jié)點(diǎn)設(shè)備，其特征在于，所述任務(wù)節(jié)點(diǎn)設(shè)備維護(hù)有執(zhí)行數(shù)據(jù)處理任務(wù)的進(jìn)程的列表，所述列表中記錄有進(jìn)程句柄以及該進(jìn)程對(duì)應(yīng)的版本號(hào)，各進(jìn)程的版本號(hào)初始值相同；所述任務(wù)節(jié)點(diǎn)設(shè)備還包括: 檢測(cè)模塊，用于在設(shè)定的檢測(cè)周期到達(dá)時(shí)，當(dāng)前正常運(yùn)行的進(jìn)程將所述列表中自己的版本號(hào)遞增，各進(jìn)程所遞增的增量值相同；在所述列表中查找是否存在版本號(hào)與列表中的最大版本號(hào)之間的差值大于設(shè)定閾值的進(jìn)程，并在查找到進(jìn)程時(shí)通過(guò)所述進(jìn)程句柄將所述進(jìn)程殺死，創(chuàng)建與所殺死的進(jìn)程相同數(shù)量的進(jìn)程，將各進(jìn)程的版本號(hào)設(shè)置相同的初始值。
10.按權(quán)利要求6-9之一所述的任務(wù)節(jié)點(diǎn)設(shè)備，其特征在于，所述接收模塊還用于，接收中心服務(wù)器周期發(fā)送的請(qǐng)求消息； 所述任務(wù)節(jié)點(diǎn)設(shè)備還包括: 發(fā)送模塊，用于在接收到中心服務(wù)器發(fā)送的所述請(qǐng)求消息后，向中心服務(wù)器返回響應(yīng)消息，其中攜帶有本設(shè)備的負(fù)載信息，以使中心服務(wù)器更新其上的用于數(shù)據(jù)處理任務(wù)分配的任務(wù)節(jié)點(diǎn)列表，所述任務(wù)節(jié)點(diǎn)列表中記錄有任務(wù)節(jié)點(diǎn)的標(biāo)識(shí)、 可用狀態(tài)和負(fù)載信息。
全文摘要
一種任務(wù)中斷恢復(fù)方法和設(shè)備，應(yīng)用于包含有中心服務(wù)器和多個(gè)任務(wù)節(jié)點(diǎn)的分布式數(shù)據(jù)處理系統(tǒng)，該方法包括任務(wù)節(jié)點(diǎn)接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負(fù)載均衡策略為任務(wù)節(jié)點(diǎn)分配數(shù)據(jù)處理任務(wù)；所述任務(wù)節(jié)點(diǎn)根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對(duì)應(yīng)的待處理數(shù)據(jù)塊，對(duì)獲取到的待處理數(shù)據(jù)塊進(jìn)行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息；當(dāng)任務(wù)節(jié)點(diǎn)的數(shù)據(jù)處理任務(wù)異常中斷時(shí)，所述任務(wù)節(jié)點(diǎn)獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進(jìn)行中斷恢復(fù)處理。本發(fā)明在系統(tǒng)出問(wèn)題時(shí)能夠自動(dòng)識(shí)別并及時(shí)處理余下未處理的數(shù)據(jù)，實(shí)現(xiàn)了系統(tǒng)的自我修復(fù)，使系統(tǒng)具有較高可靠性。
文檔編號(hào)G06F11/07GK103092712SQ201110345030
公開(kāi)日2013年5月8日 申請(qǐng)日期2011年11月4日 優(yōu)先權(quán)日2011年11月4日
發(fā)明者范屹 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司