專利名稱：一種分布式系統(tǒng)中基于流水線的元數(shù)據日志的方法
技術領域：
本發(fā)明涉及分布式文件系統(tǒng)中高效元數(shù)據日志方法，具體來說，涉及一種分布式系統(tǒng)中基于流水線的元數(shù)據日志的方法。
背景技術：
在分布式文件系統(tǒng)中，元數(shù)據之間存在相關性，這表現(xiàn)在很多操作要同時修改幾部分的元數(shù)據，當只有部分數(shù)據修改時，系統(tǒng)是不一致的，即這種相關性受到破壞。當整個操作完成時，系統(tǒng)從一個一致狀態(tài)轉移到另一個一致的狀態(tài)。當系統(tǒng)處于不一致狀態(tài)時，受影響的元數(shù)據及相關的數(shù)據將不能被正確使用，甚至成為垃圾。如果系統(tǒng)不糾正該問題，而繼續(xù)運行，將造成更大的損害。為了提高元數(shù)據的可靠性，許多分布式文件系統(tǒng)采用了日志系統(tǒng)，并采用了先寫日志后應用磁盤的邏輯，當應用磁盤失敗時，可以通過應用日志來保證元數(shù)據操作的一致性。現(xiàn)有的日志系統(tǒng)，有的是應用于本地文件系統(tǒng)；應用于分布式文件系統(tǒng)的日志系統(tǒng)，則無法達成一個高效的目標。

發(fā)明內容
本發(fā)明旨在公開一種分布式系統(tǒng)中基于流水線的高效元數(shù)據日志方法，目的是提高元數(shù)據日志系統(tǒng)的數(shù)據處理能力。一種分布式系統(tǒng)中基于流水線的元數(shù)據日志的方法，元數(shù)據日志的每個階段由一個獨立的線程完成，不同階段之間使用帶信號量的隊列進行數(shù)據傳送。優(yōu)選的，所述階段包括元數(shù)據提交日志階段，寫內存階段，寫日志設備階段，寫磁盤階段和回收空間階段。優(yōu)選的，無數(shù)據時，所述信號量睡眠，當上一個階段有數(shù)據來時，則將數(shù)據插入隊列，并將該階段的線程喚醒。優(yōu)選的，所述元數(shù)據提交日志階段，申請至少一個提交隊列，當有元數(shù)據提交日志時，通過hash值分配到隊列中，之后由提交線程統(tǒng)一在隊列中收集后提交。優(yōu)選的，所述回收空間階段回收空間后，則將新的空間量作為一個寫操作傳遞給寫日志設備。本發(fā)明針對了分布式文件系統(tǒng)的元數(shù)據訪問特點，引入了流水線的概念，將元數(shù)據可靠性處理的多個階段，即寫可靠性介質.寫磁盤以及文件sync等操作進行了流水化設計，不僅充分的利用了多線程提高了并發(fā)性，同時，實現(xiàn)了非阻塞的元數(shù)據可靠性處理，極大的提高了元數(shù)據日志系統(tǒng)的數(shù)據處理能力。
具體實施例方式發(fā)明中的技術方案具體描述如下
為了實現(xiàn)多個元數(shù)據服務器上的一致性，將元數(shù)據操作的可靠性操作分為幾個階段眷保存到內存 寫入日志設備 寫入磁盤 同步到磁盤如前所述，為了實現(xiàn)日志系統(tǒng)的可靠性目標，將日志系統(tǒng)的流程分為以下幾個階段1.元數(shù)據提交日志操作2.寫入日志內存3.寫入日志設備4.寫入磁盤5.從內存及日志設備回收空間在該流程中引入流水線，即使用多線程技術。每個階段分別由獨立的線程來完成， 分另1Ji己為 commit—thd，crt_thd, wr_jnl_thd, app—disk—thd 禾口 reclaim—thd。不同階段之間使用semque (帶信號量的隊列)進行數(shù)據傳送，無數(shù)據時睡眠在信號量時，若上一個階段有數(shù)據來，則將數(shù)據插入隊列，并將該階段的線程喚醒。這樣每個元數(shù)據的操作，被切分為流水線的不同階段，每一個階段可以不斷的處理新的請求，不必等待所有的階段完成，才能開始下一個元數(shù)據的操作請求。在(1)提交日志階段，由于元數(shù)據提交是多個元數(shù)據線程進行并發(fā)提交，如果使用同一個隊列，將會使得多個線程對同一個隊列進行競爭，導致不必要的互斥，這里申請了多個commit隊列，每當元數(shù)據需要提交時，則hash到一個隊列中，這樣減少了多個元數(shù)據提交線程之間的性能。之后，由Commit_thd統(tǒng)一從各個隊列中進行收集，由于收集的幾率遠低于提交，因此，這種收集時由于互斥產生的開銷是可以忽略的。同時，由于日志設備中，不僅要記錄日志信息，還要記錄日志空間的信息，即可用空間和已用空間等信息，如果回收線程回收后，寫該信息到日志設備，則會出現(xiàn)多線程寫同一個日志文件的情形，必然要使用互斥技術如鎖來保證互斥訪問，這樣無疑無降低性能。本發(fā)明將寫日志和寫空間信息均抽象為一個寫操作，當回收線程回收空間后，則將新的空間量作為一個寫操作傳遞給寫日志設備，即所有的寫日志的操作完全由一個線程完成，這樣減少了互斥操作，提高了寫入的速度。
權利要求
1.一種分布式系統(tǒng)中基于流水線的元數(shù)據日志的方法，其特征在于元數(shù)據日志的每個階段由一個獨立的線程完成，不同階段之間使用帶信號量的隊列進行數(shù)據傳送。
2.如權利要求1所述的方法，其特征在于所述階段包括元數(shù)據提交日志階段，寫內存階段，寫日志設備階段，寫磁盤階段和回收空間階段。
3.如權利要求1所述的方法，其特征在于無數(shù)據時，所述信號量睡眠，當上一個階段有數(shù)據來時，則將數(shù)據插入隊列，并將該階段的線程喚醒。
4.如權利要求2所述的方法，其特征在于所述元數(shù)據提交日志階段，申請至少一個提交隊列，當有元數(shù)據提交日志時，通過hash值分配到隊列中，之后由提交線程統(tǒng)一在隊列中收集后提交。
5.如權利要求2所述的方法，其特征在于所述回收空間階段回收空間后，則將新的空間量作為一個寫操作傳遞給寫日志設備。
全文摘要
本發(fā)明提供了一種分布式系統(tǒng)中基于流水線的元數(shù)據日志的方法，元數(shù)據日志的每個階段由一個獨立的線程完成，不同階段之間使用帶信號量的隊列進行數(shù)據傳送。本發(fā)明針對了分布式文件系統(tǒng)的元數(shù)據訪問特點，引入了流水線的概念，將元數(shù)據可靠性處理的多個階段，即寫可靠性介質.寫磁盤以及文件sync等操作進行了流水化設計，不僅充分的利用了多線程提高了并發(fā)性，同時，實現(xiàn)了非阻塞的元數(shù)據可靠性處理，極大的提高了元數(shù)據日志系統(tǒng)的數(shù)據處理能力。
文檔編號G06F9/38GK102368210SQ20111032598
公開日2012年3月7日 申請日期2011年10月25日 優(yōu)先權日2011年10月25日
發(fā)明者劉新春, 張東陽, 張玉龍, 王勇, 苗艷超, 邵宗有 申請人:曙光信息產業(yè)(北京)有限公司