專利名稱：一種基于變化日志的高可靠文件同步方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于變化日志的高可靠文件同步方法，屬于電網(wǎng)調(diào)度自動(dòng)化領(lǐng)域。
背景技術(shù)：
在現(xiàn)今的電網(wǎng)調(diào)度自動(dòng)化系統(tǒng)中，存在著多個(gè)應(yīng)用，每個(gè)應(yīng)用是一份數(shù)據(jù)實(shí)體和一組對(duì)此數(shù)據(jù)實(shí)體進(jìn)行處理的服務(wù)程序的組合，比如SCADA應(yīng)用的組成有SCADA實(shí)時(shí)庫(kù)、數(shù)據(jù)服務(wù)進(jìn)程、操作服務(wù)進(jìn)程、遙信遙測(cè)及工況處理服務(wù)進(jìn)程等。為了保證系統(tǒng)的可靠性，每一個(gè)應(yīng)用運(yùn)行在不同的節(jié)點(diǎn)上，節(jié)點(diǎn)之間一般為一個(gè)主機(jī)，其余為(熱)備機(jī)。當(dāng)主機(jī)節(jié)點(diǎn)應(yīng)用程序出現(xiàn)異常情況時(shí)，會(huì)發(fā)生主備機(jī)切換，備機(jī)中的一個(gè)節(jié)點(diǎn)按照相關(guān)算法切換為主 機(jī)。文件服務(wù)是運(yùn)行在DATA_SRV (數(shù)據(jù)服務(wù))應(yīng)用下，用于滿足調(diào)度自動(dòng)化系統(tǒng)中文件存儲(chǔ)、查詢、版本管理等功能的一個(gè)服務(wù)，由于DATA_SRV應(yīng)用一般運(yùn)行在兩個(gè)或更多的節(jié)點(diǎn)上，因此文件服務(wù)還需要維護(hù)著這些節(jié)點(diǎn)之間文件的一致性。當(dāng)DATA_SRV應(yīng)用主備機(jī)發(fā)生切換后，如果沒有較好的同步方案，會(huì)引發(fā)數(shù)據(jù)不一致，甚至數(shù)據(jù)文件被破壞的情況。例如，某系統(tǒng)中存在A、B、C三個(gè)DATA_SRV應(yīng)用節(jié)點(diǎn)，節(jié)點(diǎn)A為主機(jī)，節(jié)點(diǎn)B、C為備機(jī)，當(dāng)客戶進(jìn)程P更新主機(jī)上的某文件后，DATA_SRV應(yīng)用主備機(jī)發(fā)生切換，節(jié)點(diǎn)B成DATA_SRV應(yīng)用主機(jī)，節(jié)點(diǎn)A成DATA_SRV應(yīng)用備機(jī)，另一客戶進(jìn)程q此時(shí)再次讀此文件，若沒有較好的同步方案，進(jìn)程q會(huì)讀取到舊的文件。

發(fā)明內(nèi)容
為解決現(xiàn)有技術(shù)上的不足，本發(fā)明目的是在于提供一種滿足調(diào)度自動(dòng)化系統(tǒng)中主備機(jī)之間文件同步的需要的基于變化日志的高可靠文件同步方法，滿足了調(diào)度自動(dòng)化系統(tǒng)中主備機(jī)發(fā)生切換時(shí)確保文件一致性的需要。為解決上述技術(shù)問題，本發(fā)明提供一種基于變化日志的高可靠文件同步方法。本發(fā)明的特征在于包括以下步驟
(1)文件服務(wù)接收客戶端請(qǐng)求，根據(jù)請(qǐng)求操作類型做相應(yīng)操作，并返回操作結(jié)果；
(2)文件服務(wù)記錄下每次修改操作操作日志；
(3)文件服務(wù)實(shí)時(shí)掃描日志文件，根據(jù)操作日志內(nèi)容，同步文件或目錄到其他各個(gè)DATA_SRV應(yīng)用節(jié)點(diǎn)；
(4)在夜間，當(dāng)主機(jī)值班時(shí)間超過閾值T時(shí)，主機(jī)向所有DATA_SRV應(yīng)用備機(jī)節(jié)點(diǎn)做一次
全量同步；
(5)文件服務(wù)在向任意一個(gè)節(jié)點(diǎn)增量同步或全量同步文件時(shí)，先加鎖，再同步，同步結(jié)束后，解鎖。前述的一種基于變化日志的高可靠文件同步方法，其特征在于在步驟(I)中，文件服務(wù)收到客戶請(qǐng)求時(shí)，先判斷請(qǐng)求操作的文件是否已被加鎖，若被加鎖需等待鎖解除后再進(jìn)行相關(guān)操作，若未被加鎖則直接進(jìn)行相關(guān)操作。前述的一種基于變化日志的高可靠文件同步方法，其特征在于在步驟(2)中，文件服務(wù)記錄下每次修改操作操作日志，修改操作包括增加、修改、刪除文件，修改文件屬性，增加、刪除目錄。操作日志按照操作當(dāng)時(shí)時(shí)間命名，日志內(nèi)容包括本次操作類型和操作相關(guān)文件名等。前述的一種基于變化日志的高可靠文件同步方法，其特征在于在步驟(3)中，文件服務(wù)實(shí)時(shí)掃描日志文件，根據(jù)日志文件生成時(shí)間順序依次處理每個(gè)日志文件。對(duì)于每個(gè)日志文件，根據(jù)操作日志內(nèi)容，增量同步文件或目錄到其他各個(gè)DATA_SRV節(jié)點(diǎn)，同步成功結(jié)束后刪除操作日志，若同步失敗，則保留操作日志。當(dāng)操作日志個(gè)數(shù)超過閾值N時(shí)，全量同步文件到其他各個(gè)節(jié)點(diǎn)，同步結(jié)束后刪除所有操作日志，若同步失敗，則保留操作日志。
前述的一種基于變化日志的高可靠文件同步方法，其特征在于在步驟(4)中，在夜間，且當(dāng)DATA_SRV主機(jī)值班時(shí)間超過閾值T時(shí)，主機(jī)向所有備機(jī)節(jié)點(diǎn)做一次全量同步。前述的一種基于變化日志的高可靠文件同步方法，其特征在于在步驟(5)中，文件服務(wù)在向任意一個(gè)節(jié)點(diǎn)增量同步或全量同步文件時(shí)，必須先加鎖，再同步，同步結(jié)束后，再解鎖。加鎖失敗情況下，不能進(jìn)行同步。鎖的信息中包含鎖類型、鎖范圍、鎖超時(shí)時(shí)間。本發(fā)明所達(dá)到的有益效果
本發(fā)明操作日志記錄了操作類型和操作相關(guān)文件，當(dāng)目標(biāo)節(jié)點(diǎn)發(fā)生網(wǎng)絡(luò)故障情況下，仍然保留著操作日志，一旦網(wǎng)絡(luò)恢復(fù)，文件服務(wù)可以快速同步文件到目標(biāo)節(jié)點(diǎn)；當(dāng)存在兩個(gè)或兩個(gè)以上的堆積日志文件時(shí)，文件服務(wù)按照日志文件生成的次序依次同步每個(gè)日志，確保文件操作的時(shí)序性；增量同步可以實(shí)時(shí)保證文件服務(wù)節(jié)點(diǎn)之間的一致性，降低網(wǎng)絡(luò)負(fù)載，減少對(duì)系統(tǒng)中其他應(yīng)用程序的影響；在日志文件個(gè)數(shù)大于閾值N時(shí)，采用全量同步方式可以快速同步所有變化文件，避免連續(xù)增量同步單個(gè)文件耗時(shí)過長(zhǎng)的問題；在夜間全量同步DATA_SRV應(yīng)用主機(jī)到所有DATA_SRV應(yīng)用備機(jī)，可以最大化保證文件服務(wù)節(jié)點(diǎn)之間的一致性，避免人工誤操作或網(wǎng)絡(luò)故障引起的不一致性；同步文件時(shí)，對(duì)目標(biāo)節(jié)點(diǎn)加鎖，有效地解決同步文件時(shí)主備機(jī)突然切換所引起的文件不一致問題。


圖I是本發(fā)明的高可靠文件同步方法中客戶請(qǐng)求處理流程圖。圖2是本發(fā)明的高可靠文件同步方法中日志處理流程圖。圖3是本發(fā)明的高可靠文件同步方法中文件同步流程圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的高可靠文件同步方法作進(jìn)一步詳細(xì)的介紹。圖I是同步方法中客戶請(qǐng)求處理流程圖，當(dāng)文件服務(wù)的服務(wù)端收到客戶端請(qǐng)求時(shí)，先判斷文件是否被加鎖，若被加鎖，需要等待到此文件解鎖后，再進(jìn)行后續(xù)操作。根據(jù)處理情況判斷操作類型是否屬于修改操作，若操作類型屬于修改操作，需記錄下操作日志；否則返回處理結(jié)果。圖2是同步方法中日志處理流程圖。文件服務(wù)實(shí)時(shí)掃描日志文件，若存在日志文件，再判斷日志文件個(gè)數(shù)是否超過閥值個(gè)數(shù)N :
若超過N，則進(jìn)行一次全量同步，成功同步后刪除所有日志文件，若同步失敗則保留日志文件；
若不超過N，則按照日志文件生成的時(shí)間先后順序，依次處理每個(gè)日志文件，成功同步一個(gè)日志文件所涉及的所有文件后，刪除該日志文件，同步失敗時(shí)保留此日志文件。當(dāng)節(jié)點(diǎn)為值班主機(jī)時(shí)，在夜間持續(xù)值班時(shí)間超過閥值時(shí)間T且無日志文件的情況下，對(duì)備機(jī)節(jié)點(diǎn)進(jìn)行一次全量同步。圖3是同步方法中文件同步流程圖，當(dāng)向待同步節(jié)點(diǎn)C同步文件時(shí)，先向C加鎖，若加鎖失敗，則判本次同步失?。蝗艏渔i成功，則同步文件到節(jié)點(diǎn)C，同步成功結(jié)束后，解除鎖，判本次同步成功；若同步文件發(fā)生失敗，則解除鎖，判本次同步失敗。 本實(shí)施例中，文件服務(wù)在向任意一個(gè)節(jié)點(diǎn)增量同步或全量同步文件時(shí)，必須先加鎖，再同步，同步結(jié)束后，再解鎖。加鎖失敗情況下，不能進(jìn)行同步。鎖的信息中包含鎖類型、鎖范圍、鎖超時(shí)時(shí)間。文件服務(wù)記錄下每次修改操作操作日志，修改操作包括增加、修改、刪除文件，修改文件屬性，增加、刪除目錄。操作日志按照操作當(dāng)時(shí)時(shí)間命名，日志內(nèi)容包括本次操作類型和操作相關(guān)文件名等。本發(fā)明中，操作日志記錄了操作類型和操作相關(guān)文件，當(dāng)目標(biāo)節(jié)點(diǎn)發(fā)生網(wǎng)絡(luò)故障情況下，仍然保留著操作日志，一旦網(wǎng)絡(luò)恢復(fù)，文件服務(wù)可以快速同步文件到目標(biāo)節(jié)點(diǎn)；當(dāng)存在兩個(gè)或兩個(gè)以上的堆積日志文件時(shí)，文件服務(wù)按照日志文件生成的次序依次同步每個(gè)日志，確保文件操作的時(shí)序性；并通過增量同步可以實(shí)時(shí)保證文件服務(wù)節(jié)點(diǎn)之間的一致性，降低網(wǎng)絡(luò)負(fù)載，減少對(duì)系統(tǒng)中其他應(yīng)用程序的影響。在日志文件個(gè)數(shù)大于閾值N時(shí)，采用全量同步方式可以快速同步所有變化文件，避免連續(xù)增量同步單個(gè)文件耗時(shí)過長(zhǎng)的問題；在夜間全量同步DATA_SRV應(yīng)用主機(jī)到所有DATA_SRV應(yīng)用備機(jī)，可以最大化保證文件服務(wù)節(jié)點(diǎn)之間的一致性，避免人工誤操作或網(wǎng)絡(luò)故障引起的不一致性；同步文件時(shí)，對(duì)目標(biāo)節(jié)點(diǎn)加鎖，有效地解決同步文件時(shí)主備機(jī)突然切換所引起的文件不一致問題。以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說明書中描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。
權(quán)利要求
1.一種基于變化日志的高可靠文件同步方法，包含以下步驟 (1)文件服務(wù)接收客戶端請(qǐng)求，根據(jù)請(qǐng)求操作類型做相應(yīng)操作，并返回操作結(jié)果； (2)文件服務(wù)記錄下每次修改操作操作日志； (3)文件服務(wù)實(shí)時(shí)掃描日志文件，根據(jù)操作日志內(nèi)容，同步文件或目錄到其他各個(gè)DATA_SRV應(yīng)用節(jié)點(diǎn)； (4)在夜間，當(dāng)主機(jī)值班時(shí)間超過閾值T時(shí)，主機(jī)向所有DATA_SRV應(yīng)用備機(jī)節(jié)點(diǎn)做一次全量同步； (5)文件服務(wù)在向任意一個(gè)節(jié)點(diǎn)增量同步或全量同步文件時(shí)，先加鎖，再同步，同步結(jié)束后，解鎖。
2.根據(jù)權(quán)利要求I所述的一種基于變化日志的高可靠文件同步方法，其特征在于在所述步驟(I)中，文件服務(wù)收到客戶請(qǐng)求時(shí)，先判斷請(qǐng)求操作的文件或目錄是否已被加鎖，若被加鎖需等待鎖解除后再進(jìn)行下一步驟，若未被加鎖則直接進(jìn)行下一步驟。
3.根據(jù)權(quán)利要求I所述的一種基于變化日志的高可靠文件同步方法，其特征在于在所述步驟(2)中，文件服務(wù)以日志方式記錄下每次修改操作，修改操作包括增加、修改、刪除文件、修改文件屬性、增加和刪除目錄；所述操作日志按照操作當(dāng)時(shí)時(shí)間命名，日志內(nèi)容包括本次操作類型和操作相關(guān)文件。
4.根據(jù)權(quán)利要求I所述的一種基于變化日志的高可靠文件同步方法，其特征在于在所述步驟(3)中，文件服務(wù)實(shí)時(shí)掃描日志文件，根據(jù)日志文件生成時(shí)間順序依次處理每個(gè)日志文件；對(duì)于每個(gè)日志文件，根據(jù)操作日志內(nèi)容，增量同步文件或目錄到其他各個(gè)DATA_SRV節(jié)點(diǎn)，同步成功結(jié)束后刪除操作日志，若同步失敗，則保留操作日志。
5.根據(jù)權(quán)利要求4所述的一種基于變化日志的高可靠文件同步方法，其特征在于在所述步驟(3)中，當(dāng)操作日志個(gè)數(shù)超過閾值個(gè)數(shù)時(shí)，全量同步文件到其他各個(gè)節(jié)點(diǎn)，同步結(jié)束后刪除所有操作日志，若同步失敗，則保留操作日志。
6.根據(jù)權(quán)利要求4所述的一種基于變化日志的高可靠文件同步方法，其特征在于在所述步驟(4)中，在夜間，且當(dāng)DATA_SRV主機(jī)值班時(shí)間超過閾值時(shí)間時(shí)，主機(jī)向所有備機(jī)節(jié)點(diǎn)做一次全量同步。
7.根據(jù)權(quán)利要求I所述的一種基于變化日志的高可靠文件同步方法，其特征在于在步驟(5)中，文件服務(wù)在向任意一個(gè)節(jié)點(diǎn)增量同步或全量同步文件時(shí)，需先加鎖，再同步，同步結(jié)束后，再解鎖；當(dāng)加鎖失敗情況下，不能進(jìn)行同步。
8.根據(jù)權(quán)利要求7所述的一種基于變化日志的高可靠文件同步方法，其特征在于所述加鎖的信息中包含鎖類型、鎖范圍、鎖超時(shí)時(shí)間。
全文摘要
本發(fā)明公開了一種基于變化日志的高可靠文件同步方法，其方法為文件服務(wù)收到客戶請(qǐng)求時(shí)，先判斷請(qǐng)求操作的文件是否已被加鎖，若被加鎖需等待鎖解除后再進(jìn)行相關(guān)操作;文件服務(wù)以日志方式記錄下每次修改操作的操作類型和操作文件；文件服務(wù)實(shí)時(shí)掃描日志文件，當(dāng)操作日志個(gè)數(shù)超過閾值個(gè)數(shù)時(shí)，全量同步文件到其他各個(gè)節(jié)點(diǎn)；當(dāng)操作日志個(gè)數(shù)小于閾值個(gè)數(shù)時(shí)，根據(jù)日志文件生成時(shí)間順序依次處理每個(gè)日志文件。對(duì)于每個(gè)日志文件，根據(jù)操作日志內(nèi)容，增量同步文件到其他各個(gè)節(jié)點(diǎn)；同步成功結(jié)束后刪除操作日志，若同步失敗，則保留操作日志。本發(fā)明同步文件時(shí)，對(duì)目標(biāo)節(jié)點(diǎn)加鎖，有效地解決同步文件時(shí)主備機(jī)突然切換所引起的文件不一致問題。
文檔編號(hào)G06F11/34GK102968486SQ201210486260
公開日2013年3月13日 申請(qǐng)日期2012年11月26日 優(yōu)先權(quán)日2012年11月26日
發(fā)明者雷寶龍, 彭輝, 陳鵬, 萬書鵬 申請(qǐng)人:國(guó)電南瑞科技股份有限公司