本發(fā)明涉及云計(jì)算，尤其涉及一種事件文件的存儲(chǔ)方法、調(diào)度器的狀態(tài)恢復(fù)方法、裝置和計(jì)算設(shè)備。

背景技術(shù)：

1、調(diào)度器(scheduler)是一種計(jì)算機(jī)程序或服務(wù)，用于周期性地執(zhí)行任務(wù)或事件，并確保它們?cè)谶m當(dāng)?shù)臅r(shí)間點(diǎn)被正確地執(zhí)行。在計(jì)算機(jī)系統(tǒng)中，調(diào)度器可以用來(lái)管理各種任務(wù)和事件，如系統(tǒng)監(jiān)控、數(shù)據(jù)處理、批處理、報(bào)表生成等。

2、調(diào)度器是有狀態(tài)服務(wù)。調(diào)度器的狀態(tài)是指調(diào)度器本身的運(yùn)行狀態(tài)，用于反映調(diào)度器目前所處的運(yùn)行狀態(tài)和可用性。調(diào)度器的狀態(tài)可以分為運(yùn)行中狀態(tài)、暫停狀態(tài)、錯(cuò)誤狀態(tài)、離線狀態(tài)、重啟狀態(tài)等。調(diào)度器的狀態(tài)主要是指其管理對(duì)象的狀態(tài)，如作業(yè)的屬性信息、生命周期中的狀態(tài)變化的信息等。作業(yè)狀態(tài)變化的過(guò)程中，調(diào)度器的狀態(tài)轉(zhuǎn)換一次，會(huì)產(chǎn)生一個(gè)事件數(shù)據(jù)。

3、調(diào)度器完成一個(gè)作業(yè)時(shí)，系統(tǒng)的狀態(tài)轉(zhuǎn)換次數(shù)非常多。調(diào)度器必須將每次轉(zhuǎn)換后的狀態(tài)信息同步寫入到磁盤，以保證系統(tǒng)的狀態(tài)的完整性。調(diào)度器的吞吐量與狀態(tài)信息同步寫入的速度緊密相關(guān)。吞吐量是指單位時(shí)間內(nèi)系統(tǒng)處理的任務(wù)數(shù)量，通常與系統(tǒng)的響應(yīng)速度和資源利用率有關(guān)。調(diào)度器提高狀態(tài)信息的持久化速度可以減少調(diào)度器的阻塞等待時(shí)間，從而提高系統(tǒng)的響應(yīng)速度和資源利用率，進(jìn)而提高調(diào)度器的吞吐量。因此，調(diào)度器為了保持高吞吐量，需要盡可能地提高狀態(tài)信息的持久化速度。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述的問(wèn)題，本技術(shù)的實(shí)施例中提供了一種事件文件的存儲(chǔ)方法，將事件文件進(jìn)行合并處理，并存儲(chǔ)未完成調(diào)度器分配任務(wù)的管理對(duì)象的事件文件，可以減少事件文件占用存儲(chǔ)器的內(nèi)存，以提高持久化存儲(chǔ)事件文件的速度。另外，本技術(shù)還提供了調(diào)度器的狀態(tài)恢復(fù)方法、裝置和計(jì)算設(shè)備。

2、為此，本技術(shù)的實(shí)施例中采用如下技術(shù)方案：

3、第一方面，本技術(shù)實(shí)施例中提供一種事件文件的存儲(chǔ)方法，所述方法由計(jì)算設(shè)備執(zhí)行，所述方法包括：獲取設(shè)定數(shù)量的順序事件文件，所述順序事件文件是指按照時(shí)間順序排列的文件，所述順序事件文件包括至少一條事件文件，所述事件文件是指調(diào)度器管理的管理對(duì)象的各種事件的記錄；將所述設(shè)定數(shù)量的順序事件文件進(jìn)行合并處理，得到聚合數(shù)據(jù)文件，所述聚合數(shù)據(jù)文件包括歷史數(shù)據(jù)文件和狀態(tài)數(shù)據(jù)文件，所述歷史數(shù)據(jù)文件包括已經(jīng)完成所述調(diào)度器分配任務(wù)的管理對(duì)象的事件文件，所述狀態(tài)數(shù)據(jù)文件包括未完成所述調(diào)度器分配任務(wù)的管理對(duì)象的事件文件。

4、在該實(shí)施方式中，計(jì)算設(shè)備將事件文件按照時(shí)間順序?qū)懭氲皆O(shè)定規(guī)則排列的順序事件文件中。計(jì)算設(shè)備每次獲取設(shè)定數(shù)量的順序事件文件，利用文件整理機(jī)制對(duì)多個(gè)順序事件文件進(jìn)行合并計(jì)算，得到一份聚合結(jié)果的數(shù)據(jù)文件。計(jì)算設(shè)備將完成調(diào)度器分配任務(wù)的管理對(duì)象的事件文件整理到歷史數(shù)據(jù)文件，以及將未完成調(diào)度器分配任務(wù)的管理對(duì)象的事件文件整理到狀態(tài)數(shù)據(jù)文件。計(jì)算設(shè)備將狀態(tài)數(shù)據(jù)文件存儲(chǔ)在存儲(chǔ)器中，可以減少事件文件占用存儲(chǔ)器的內(nèi)存，以及提高計(jì)算設(shè)備持久化存儲(chǔ)事件文件的速度。

5、在一種實(shí)施方式中，所述方法還包括：刪除所述設(shè)定數(shù)量的順序事件文件。

6、在該實(shí)施方式中，計(jì)算設(shè)備構(gòu)建出歷史數(shù)據(jù)文件和狀態(tài)數(shù)據(jù)文件后，可以刪除已經(jīng)整理的多個(gè)順序事件文件，以減低占用存儲(chǔ)器的內(nèi)存。

7、在一種實(shí)施方式中，所述狀態(tài)數(shù)據(jù)文件中的相同管理對(duì)象的事件文件臨近存儲(chǔ)。

8、在該實(shí)施方式中，計(jì)算設(shè)備可以將屬于同一個(gè)管理對(duì)象的事件文件存儲(chǔ)在一起，避免不同的管理對(duì)象的事件文件混合存儲(chǔ)，造成計(jì)算設(shè)備讀取事件文件時(shí)的時(shí)延比較長(zhǎng)。

9、在一種實(shí)施方式中，所述方法還包括：第二次獲取設(shè)定數(shù)量的順序事件文件，所述第二次獲取的順序事件文件的時(shí)間位于所述獲取設(shè)定數(shù)量的順序事件文件之后；將所述狀態(tài)數(shù)據(jù)文件和所述第二次獲取設(shè)定數(shù)量的順序事件文件進(jìn)行合并處理，得到第二次合并后的聚合數(shù)據(jù)文件。

10、在該實(shí)施方式中，計(jì)算設(shè)備確定已有的狀態(tài)數(shù)據(jù)文件中的管理對(duì)象在后續(xù)順序事件文件中可能已經(jīng)完成調(diào)度器分配任務(wù)，可以將完成調(diào)度器分配任務(wù)的管理對(duì)象的事件文件整理到歷史數(shù)據(jù)文件。計(jì)算設(shè)備確定已有的狀態(tài)數(shù)據(jù)文件中的管理對(duì)象在后續(xù)順序事件文件中可能還沒(méi)有完成調(diào)度器分配任務(wù)，將仍舊未完成調(diào)度器分配任務(wù)的管理對(duì)象的事件文件整理到狀態(tài)數(shù)據(jù)文件，實(shí)現(xiàn)不斷地更新?tīng)顟B(tài)數(shù)據(jù)文件。

11、在一種實(shí)施方式中，所述方法還包括：刪除所述歷史數(shù)據(jù)文件和所述狀態(tài)數(shù)據(jù)文件。

12、在該實(shí)施方式中，計(jì)算設(shè)備在不斷地更新?tīng)顟B(tài)數(shù)據(jù)文件和歷史數(shù)據(jù)文件過(guò)程中，可以將之前的狀態(tài)數(shù)據(jù)文件和歷史數(shù)據(jù)文件刪除，減少事件文件占用存儲(chǔ)器的內(nèi)存。

13、在一種實(shí)施方式中，所述聚合數(shù)據(jù)文件分為熱文件、溫文件和冷文件，所述熱文件是指此次合并后的聚合數(shù)據(jù)文件中的狀態(tài)數(shù)據(jù)文件；所述溫文件是指此次合并后的聚合數(shù)據(jù)文件中的歷史數(shù)據(jù)文件、且上次合并后的聚合數(shù)據(jù)文件中的狀態(tài)數(shù)據(jù)文件；所述冷文件為上次合并后的聚合數(shù)據(jù)文件中的歷史數(shù)據(jù)文件。

14、在該實(shí)施方式中，計(jì)算設(shè)備可以將聚合數(shù)據(jù)文件劃分成熱文件、溫文件和冷文件。調(diào)度器重啟時(shí)，可以優(yōu)先恢復(fù)熱文件，實(shí)現(xiàn)管理對(duì)象快速的恢復(fù)執(zhí)行中斷的任務(wù)。調(diào)度器隨后再恢復(fù)溫文件，讓管理對(duì)象等待是否再次執(zhí)行任務(wù)。

15、第二方面，本技術(shù)實(shí)施例中提供一種調(diào)度器的狀態(tài)恢復(fù)方法，所述方法由計(jì)算設(shè)備執(zhí)行，所述方法包括：確定所述調(diào)度器恢復(fù)啟動(dòng)狀態(tài)；讀取存儲(chǔ)器存儲(chǔ)的狀態(tài)數(shù)據(jù)文件，所述狀態(tài)數(shù)據(jù)文件包括未完成所述調(diào)度器分配任務(wù)的管理對(duì)象的事件文件，所述狀態(tài)數(shù)據(jù)文件是基于設(shè)定數(shù)量的順序事件文件進(jìn)行合并處理得到，所述順序事件文件是指按照時(shí)間順序排列的文件，所述順序事件文件包括至少一條事件文件，所述事件文件是指調(diào)度器管理的管理對(duì)象的各種事件的記錄；響應(yīng)于所述狀態(tài)數(shù)據(jù)文件，恢復(fù)所述未完成所述調(diào)度器分配任務(wù)的管理對(duì)象的狀態(tài)。

16、在該實(shí)施方式中，計(jì)算設(shè)備檢測(cè)到調(diào)度器恢復(fù)啟動(dòng)狀態(tài)時(shí)，獲取存儲(chǔ)器中存儲(chǔ)的狀態(tài)數(shù)據(jù)文件。計(jì)算設(shè)備基于狀態(tài)數(shù)據(jù)文件，確定狀態(tài)數(shù)據(jù)文件的各個(gè)事件文件對(duì)應(yīng)的管理對(duì)象為未完成任務(wù)的管理對(duì)象，并將各個(gè)事件文件分配給對(duì)應(yīng)的管理對(duì)象，實(shí)現(xiàn)管理對(duì)象快速的恢復(fù)執(zhí)行中斷的任務(wù)。

17、在一種實(shí)施方式中，所述讀取存儲(chǔ)器存儲(chǔ)的狀態(tài)數(shù)據(jù)文件，具體包括：逆序讀取所述狀態(tài)數(shù)據(jù)文件的各個(gè)事件文件，所述逆序是指與按照時(shí)間寫入到所述存儲(chǔ)器的順序相反的順序。

18、第三方面，本技術(shù)實(shí)施例中提供一種事件文件的存儲(chǔ)裝置，包括：收發(fā)單元，用于獲取設(shè)定數(shù)量的順序事件文件，所述順序事件文件是指按照時(shí)間順序排列的文件，所述順序事件文件包括至少一條事件文件，所述事件文件是指調(diào)度器管理的管理對(duì)象的各種事件的記錄；處理單元，用于將所述設(shè)定數(shù)量的順序事件文件進(jìn)行合并處理，得到聚合數(shù)據(jù)文件，所述聚合數(shù)據(jù)文件包括歷史數(shù)據(jù)文件和狀態(tài)數(shù)據(jù)文件，所述歷史數(shù)據(jù)文件包括已經(jīng)完成所述調(diào)度器分配任務(wù)的管理對(duì)象的事件文件，所述狀態(tài)數(shù)據(jù)文件包括未完成所述調(diào)度器分配任務(wù)的管理對(duì)象的事件文件。

19、在一種實(shí)施方式中，所述處理單元，還用于刪除所述設(shè)定數(shù)量的順序事件文件。

20、在一種實(shí)施方式中，所述狀態(tài)數(shù)據(jù)文件中的相同管理對(duì)象的事件文件臨近存儲(chǔ)。

21、在一種實(shí)施方式中，所述處理單元，還用于第二次獲取設(shè)定數(shù)量的順序事件文件，所述第二次獲取的順序事件文件的時(shí)間位于所述獲取設(shè)定數(shù)量的順序事件文件之后；將所述狀態(tài)數(shù)據(jù)文件和所述第二次獲取設(shè)定數(shù)量的順序事件文件進(jìn)行合并處理，得到第二次合并后的聚合數(shù)據(jù)文件。

22、在一種實(shí)施方式中，所述處理單元，還用于刪除所述歷史數(shù)據(jù)文件和所述狀態(tài)數(shù)據(jù)文件。

23、在一種實(shí)施方式中，所述聚合數(shù)據(jù)文件分為熱文件、溫文件和冷文件，所述熱文件是指此次合并后的聚合數(shù)據(jù)文件中的狀態(tài)數(shù)據(jù)文件；所述溫文件是指此次合并后的聚合數(shù)據(jù)文件中的歷史數(shù)據(jù)文件、且上次合并后的聚合數(shù)據(jù)文件中的狀態(tài)數(shù)據(jù)文件；所述冷文件為上次合并后的聚合數(shù)據(jù)文件中的歷史數(shù)據(jù)文件。

24、第四方面，本技術(shù)實(shí)施例中提供一種調(diào)度器的狀態(tài)恢復(fù)裝置，包括：處理單元，用于確定所述調(diào)度器恢復(fù)啟動(dòng)狀態(tài)；收發(fā)單元，用于讀取存儲(chǔ)器存儲(chǔ)的狀態(tài)數(shù)據(jù)文件，所述狀態(tài)數(shù)據(jù)文件包括未完成所述調(diào)度器分配任務(wù)的管理對(duì)象的事件文件，所述狀態(tài)數(shù)據(jù)文件是基于設(shè)定數(shù)量的順序事件文件進(jìn)行合并處理得到，所述順序事件文件是指按照時(shí)間順序排列的文件，所述順序事件文件包括至少一條事件文件，所述事件文件是指調(diào)度器管理的管理對(duì)象的各種事件的記錄；所述處理單元，還用于響應(yīng)于所述狀態(tài)數(shù)據(jù)文件，恢復(fù)所述未完成所述調(diào)度器分配任務(wù)的管理對(duì)象的狀態(tài)。

25、在一種實(shí)施方式中，所述處理單元，具體用于逆序讀取所述狀態(tài)數(shù)據(jù)文件的各個(gè)事件文件，所述逆序是指與按照時(shí)間寫入到所述存儲(chǔ)器的順序相反的順序。

26、第五方面，本技術(shù)實(shí)施例中提供一種計(jì)算設(shè)備，包括：至少一個(gè)存儲(chǔ)器，至少一個(gè)處理器，所述至少一個(gè)處理器用于執(zhí)行所述至少一個(gè)存儲(chǔ)器中存儲(chǔ)的指令，以使得所述計(jì)算設(shè)備如第一方面各個(gè)可能實(shí)現(xiàn)的實(shí)施例，或第二方面各個(gè)可能實(shí)現(xiàn)的實(shí)施例。

27、第六方面，本技術(shù)實(shí)施例中提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)中執(zhí)行時(shí)，令計(jì)算機(jī)執(zhí)行第一方面各個(gè)可能實(shí)現(xiàn)的實(shí)施例，或第二方面各個(gè)可能實(shí)現(xiàn)的實(shí)施例。

28、第七方面，本技術(shù)實(shí)施例中提供一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品存儲(chǔ)有指令，所述指令在由計(jì)算機(jī)執(zhí)行時(shí)，使得所述計(jì)算機(jī)實(shí)施第一方面各個(gè)可能實(shí)現(xiàn)的實(shí)施例，或第二方面各個(gè)可能實(shí)現(xiàn)的實(shí)施例。