專利名稱：一種組織和訪問元數(shù)據(jù)文件日志的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及分布式文件系統(tǒng)中的日志管理，具體來說，涉及一種組織和訪問基于本地文件系統(tǒng)實(shí)現(xiàn)的分布式文件系統(tǒng)中的元數(shù)據(jù)日志方法。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)、科學(xué)計(jì)算等領(lǐng)域?qū)Υ鎯?chǔ)的要求越來越高，于是分布式文件系統(tǒng)漸漸被引入到這些領(lǐng)域，以滿足這些領(lǐng)域的存儲(chǔ)需要。考慮到實(shí)現(xiàn)的復(fù)雜性，許多分布式文件采用了基于本地文件系統(tǒng)的實(shí)現(xiàn)方式。
在分布式文件系統(tǒng)中，元數(shù)據(jù)維護(hù)著所有的目錄和文件等重要信息，因此，其可靠性非常重要。為了提高其可靠性，許多的分布式文件系統(tǒng)采用了日志系統(tǒng)來提高可靠性。
這種基于本地文件系統(tǒng)的日志系統(tǒng)，所有的日志均是本地文件系統(tǒng)中的一個(gè)普通文件。為了進(jìn)行可靠性操作，需要多次.反復(fù)的打開文件和寫入文件。由于每一次打開文件都需要進(jìn)行一次系統(tǒng)調(diào)用，因此，帶來的時(shí)間開銷非常大；同時(shí)，由于寫入文件并不能真正寫入磁盤，而必須進(jìn)行sync(同步)，而這種操作本身的時(shí)間開銷非常大。這些問題都將顯著的降低日志系統(tǒng)的性能。
紅黑樹是一種自平衡二叉查找樹，它的操作有著良好的最壞情況運(yùn)行時(shí)間，并且在實(shí)踐中是高效的它可以在0(log η)時(shí)間內(nèi)做查找，插入和刪除，這里的η是樹中元素的數(shù)目。發(fā)明內(nèi)容
本發(fā)明旨在公開一種組織和訪問基于本地文件系統(tǒng)實(shí)現(xiàn)的分布式文件系統(tǒng)中的元數(shù)據(jù)日志方法。目的是提高分布式文件系統(tǒng)中日志系統(tǒng)的性能。
—種組織和訪問元數(shù)據(jù)文件日志的方法，
使用紅黑樹組織日志系統(tǒng)的一致性操作所涉及到所有文件，選取日志文件的文件名作紅黑樹的關(guān)鍵字。
優(yōu)選的，當(dāng)日志系統(tǒng)打開未打開過的一個(gè)文件時(shí)，即在紅黑樹上申請一個(gè)節(jié)點(diǎn)，并將該文件的文件描述符號記錄到該節(jié)點(diǎn)上。
優(yōu)選的，所述日志系統(tǒng)操作時(shí)，首先在紅黑樹上進(jìn)行查詢，若查到該文件，則直接使用已有的節(jié)點(diǎn)上的文件描述符；否則，繼續(xù)加入到該紅黑樹中。
優(yōu)選的，所述文件打開的數(shù)量如果超過系統(tǒng)的上限，則選取部分的紅黑樹節(jié)點(diǎn)進(jìn)行回收。
優(yōu)選的，所述回收的方法是，記錄所有的文件的最近訪問時(shí)間，并形成一個(gè)LRU隊(duì)列，該隊(duì)列按照最近訪問的時(shí)間進(jìn)行排序，每次回收時(shí)，先回收最久未訪問的文件。
優(yōu)選的，將所述文件系統(tǒng)對同一文件的操作進(jìn)行鏈接，掛入對應(yīng)的紅黑樹節(jié)點(diǎn)上， 當(dāng)將內(nèi)存修改數(shù)據(jù)同步到磁盤時(shí)，以文件為單位同步到磁盤。
優(yōu)選的，所述文件的操作在掛入紅黑樹后，由內(nèi)核中的回刷線程將數(shù)據(jù)寫入磁盤。
本發(fā)明通過引入紅黑樹管理可靠性操作涉及到的文件，減少了可靠性操作中的文件操作次數(shù)，提高了可靠性操作的性能。同時(shí)，將多個(gè)元數(shù)據(jù)操作寫入磁盤的操作進(jìn)行了聚合管理，極大的減少了文件的sync操作，降低了可靠性操作的處理時(shí)間。
具體實(shí)施方式
發(fā)明中的技術(shù)方案具體描述如下
(1)使用紅黑樹組織日志系統(tǒng)的一致性操作所涉及到所有文件，選取日志文件的文件名作紅黑樹的關(guān)鍵字，當(dāng)日志系統(tǒng)打開未打開過的一個(gè)文件時(shí)，為紅黑樹申請一個(gè)節(jié)點(diǎn)，并將該文件對應(yīng)的文件描述符號記錄到該節(jié)點(diǎn)上，后續(xù)日志系統(tǒng)操作，首先要在紅黑樹上進(jìn)行查詢，若查到該文件，則直接使用已有的節(jié)點(diǎn)上的文件描述符，否則，繼續(xù)加入到該紅黑樹中。
若打開的文件已經(jīng)超過系統(tǒng)的上限，則選取部分的紅黑樹節(jié)點(diǎn)進(jìn)行回收?；厥盏姆椒ㄊ?，記錄所有的文件的最近訪問時(shí)間，并形成一個(gè)LRU隊(duì)列，該隊(duì)列按照最近訪問的時(shí)間進(jìn)行排序，每次回收時(shí)，先回收最久未訪問的文件，這樣使得打開的次數(shù)達(dá)到最低，提高了日志系統(tǒng)的性能。
(2)由于元數(shù)據(jù)操作具有關(guān)聯(lián)性，許多的日志操作可能是針對同一個(gè)文件進(jìn)行， 因此，本發(fā)明將所有針對同一文件的操作進(jìn)行鏈接，掛入對應(yīng)的紅黑樹節(jié)點(diǎn)上，當(dāng)修改的數(shù)據(jù)同步到磁盤時(shí)，以文件為單位，而不是以操作為單位，極大的降低的同步的次數(shù)，提高了日志系統(tǒng)的性能。
同時(shí)，由于底層的文件系統(tǒng)有后臺(tái)寫入磁盤線程，即pdflush線程，該線程會(huì)每隔一段時(shí)間(一般為30s)，在后臺(tái)將數(shù)據(jù)刷入磁盤。因此，將同步操作聚合后，進(jìn)行同步的時(shí)間間隔變大，使得可以充分利用后臺(tái)的Pdflush的寫入磁盤能力，進(jìn)一步提高了日志系統(tǒng)的寫入性能，最終加快了日志系統(tǒng)處理元數(shù)據(jù)操作。
權(quán)利要求
1.一種組織和訪問元數(shù)據(jù)文件日志的方法，其特征在于使用紅黑樹組織日志系統(tǒng)的一致性操作所涉及到所有文件，選取日志文件的文件名作紅黑樹的關(guān)鍵字。
2.如權(quán)利要求1所述的方法，其特征在于當(dāng)日志系統(tǒng)打開未打開過的一個(gè)文件時(shí)，即在紅黑樹上申請一個(gè)節(jié)點(diǎn)，并將該文件的文件描述符號記錄到該節(jié)點(diǎn)上。
3.如權(quán)利要求1或2所述的方法，其特征在于所述日志系統(tǒng)操作時(shí)，首先在紅黑樹上進(jìn)行查詢，若查到該文件，則直接使用已有的節(jié)點(diǎn)上的文件描述符；否則，繼續(xù)加入到該紅黑樹中。
4.如權(quán)利要求2所述的方法，其特征在于所述文件打開的數(shù)量如果超過系統(tǒng)的上限， 則選取部分的紅黑樹節(jié)點(diǎn)進(jìn)行回收。
5.如權(quán)利要求4所述的方法，其特征在于所述回收的方法是，記錄所有的文件的最近訪問時(shí)間，并形成一個(gè)LRU隊(duì)列，該隊(duì)列按照最近訪問的時(shí)間進(jìn)行排序，每次回收時(shí)，先回收最久未訪問的文件。
6.如權(quán)利要求1所述的方法，其特征在于將所述文件系統(tǒng)對同一文件的操作進(jìn)行鏈接，掛入對應(yīng)的紅黑樹節(jié)點(diǎn)上，當(dāng)將內(nèi)存修改數(shù)據(jù)同步到磁盤時(shí)，以文件為單位同步到磁ο
7.如權(quán)利要求6所述的方法，其特征在于所述文件的操作在掛入紅黑樹后，由內(nèi)核中的回刷線程將數(shù)據(jù)寫入磁盤。
全文摘要
本發(fā)明提供了一種組織和訪問元數(shù)據(jù)文件日志的方法，使用紅黑樹組織日志系統(tǒng)的一致性操作所涉及到所有文件，選取日志文件的文件名作紅黑樹的關(guān)鍵字。本發(fā)明通過引入紅黑樹管理可靠性操作涉及到的文件，減少了可靠性操作中的文件操作次數(shù)，提高了可靠性操作的性能。同時(shí)，將多個(gè)元數(shù)據(jù)操作寫入磁盤的操作進(jìn)行了聚合管理，極大的減少了文件的sync操作，降低了可靠性操作的處理時(shí)間。
文檔編號G06F17/30GK102541982SQ20111032605
公開日2012年7月4日 申請日期2011年10月25日 優(yōu)先權(quán)日2011年10月25日
發(fā)明者劉新春, 張東陽, 張玉龍, 王勇, 苗艷超, 邵宗有 申請人:曙光信息產(chǎn)業(yè)(北京)有限公司