專(zhuān)利名稱(chēng)：海量數(shù)據(jù)分級(jí)存儲(chǔ)評(píng)測(cè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
海量數(shù)據(jù)分級(jí)存儲(chǔ)評(píng)測(cè)系統(tǒng)屬于計(jì)算機(jī)系統(tǒng)評(píng)測(cè)領(lǐng)域，尤其涉及其中分級(jí)存儲(chǔ)系 統(tǒng)評(píng)測(cè)領(lǐng)域。
背景技術(shù)：
分級(jí)存儲(chǔ)系統(tǒng)依據(jù)對(duì)文件的訪問(wèn)頻率及文件屬性將文件在具有不同性能容量的 存儲(chǔ)設(shè)備間動(dòng)態(tài)的遷移。對(duì)海量數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)的測(cè)試，需要提供一個(gè)完整的文件系統(tǒng) 場(chǎng)景以及在這文件系統(tǒng)場(chǎng)景上的文件訪問(wèn)請(qǐng)求。其中文件系統(tǒng)場(chǎng)景是指在某一時(shí)刻，文件 系統(tǒng)中數(shù)據(jù)的大小、目錄樹(shù)結(jié)構(gòu)、文件大小分布、文件分布及文件屬性信息。分級(jí)存儲(chǔ)評(píng)測(cè) 要求文件系統(tǒng)場(chǎng)景中的基本文件屬性要與實(shí)際相符，同時(shí)文件訪問(wèn)請(qǐng)求能夠體現(xiàn)實(shí)際的文 件系統(tǒng)訪問(wèn)情況。但在實(shí)際情況中，無(wú)法同時(shí)獲得一個(gè)準(zhǔn)確的文件系統(tǒng)場(chǎng)景和后續(xù)的文件 訪問(wèn)請(qǐng)求。就目前而言，分級(jí)存儲(chǔ)系統(tǒng)的評(píng)測(cè)主要是將采集得到的訪問(wèn)請(qǐng)求播放一段時(shí)間 得到一個(gè)文件系統(tǒng)場(chǎng)景，而后在生成的文件系統(tǒng)場(chǎng)景上運(yùn)行分級(jí)存儲(chǔ)系統(tǒng)及后續(xù)訪問(wèn)進(jìn)行 系統(tǒng)的評(píng)測(cè)。這種評(píng)測(cè)方法提供的文件系統(tǒng)場(chǎng)景與真實(shí)應(yīng)用并不相符，因此不能對(duì)分級(jí)存 儲(chǔ)系統(tǒng)性能進(jìn)行完整的、正確的評(píng)測(cè)。

發(fā)明內(nèi)容
本發(fā)明的目的是設(shè)計(jì)一種新的分級(jí)存儲(chǔ)系統(tǒng)評(píng)測(cè)方法，并依據(jù)該方法實(shí)現(xiàn)一個(gè)海 量數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)評(píng)測(cè)工具。通過(guò)該方法，評(píng)測(cè)系統(tǒng)能夠提供一個(gè)真實(shí)完整的文件系統(tǒng) 場(chǎng)景，同時(shí)生成與此場(chǎng)景相對(duì)應(yīng)的相對(duì)真實(shí)的文件訪問(wèn)請(qǐng)求。在這個(gè)文件系統(tǒng)場(chǎng)景及分級(jí) 存儲(chǔ)系統(tǒng)應(yīng)用的基礎(chǔ)上，通過(guò)播放生成的文件訪問(wèn)請(qǐng)求，以模擬真實(shí)應(yīng)用中分級(jí)存儲(chǔ)系統(tǒng) 的使用情況。通過(guò)本方法，能夠有效評(píng)測(cè)分級(jí)存儲(chǔ)系統(tǒng)在真實(shí)應(yīng)用系統(tǒng)中的應(yīng)用情況。海量數(shù)據(jù)分級(jí)存儲(chǔ)評(píng)測(cè)系統(tǒng)其特征在于由在一臺(tái)計(jì)算機(jī)中的快照還原模塊、文件系統(tǒng)訪問(wèn)場(chǎng)景信息還原模塊、文件訪問(wèn)請(qǐng)求加密模塊和文件訪問(wèn)請(qǐng)求播放模塊共同組 成，其中快照還原模塊依次按照以下步驟生成快照描述文件和原始的文件系統(tǒng)訪問(wèn)請(qǐng) 求步驟(1. 1)從copy-on-write模式的快照信息中得到除文件內(nèi)容以外的、指定日 期的快照描述信息，包括文件路徑名、是否是目錄、文件最近訪問(wèn)時(shí)間、文件最近修改時(shí) 間、文件大小、文件所屬用戶(hù)和文件所屬用戶(hù)組，生成快照描述文件；步驟(1. 2)按上一步驟生成原始的文件系統(tǒng)訪問(wèn)請(qǐng)求，每個(gè)文件訪問(wèn)請(qǐng)求包括 訪問(wèn)類(lèi)型、文件路徑名、是否是目錄、訪問(wèn)起始地址、版本號(hào)差值、所屬用戶(hù)信息、所屬用戶(hù) 組信息、請(qǐng)求處理的數(shù)據(jù)大小和執(zhí)行時(shí)間，所述文件訪問(wèn)類(lèi)型包括文件讀、文件寫(xiě)、文件創(chuàng) 建、文件刪除，版本號(hào)差值表示在相鄰兩快照之間版本號(hào)的差值步驟(1.2.1)在相鄰、連續(xù)的快照A和快照B中，讀取快照A中的一個(gè)文件；步驟(1. 2. 2)判斷步驟(1. 2. 1)所讀文件在所述快照B中是否存在
若不存在，便在所述快照A和快照B的時(shí)間點(diǎn)之間生成刪除請(qǐng)求，轉(zhuǎn)入步驟 (1. 2. 4)，若存在，則判斷文件在快照A中的最近訪問(wèn)時(shí)間是否小于文件在快照B中的最近 訪問(wèn)時(shí)間若是，則生成(1.2.1)所述文件的寫(xiě)請(qǐng)求，轉(zhuǎn)步驟(1.2.3)，若不是，則轉(zhuǎn)步驟(1.2.3)；步驟(1. 2. 3)判斷步驟(1. 2. 1)中所讀文件在快照A中的最近修改時(shí)間是否小于 文件在快照B中的最近修改時(shí)間若是，則生成步驟(1.2.1)中所述文件的讀請(qǐng)求，轉(zhuǎn)步驟(1.2.4)，若不是，則轉(zhuǎn)步驟(1.2.4)；步驟(1. 2. 4)判斷快照A中的文件是否全被判斷過(guò)若是，則轉(zhuǎn)步驟(1.3)，
若不是，則返回步驟(1. 2. 1)；步驟(1. 3)，則讀取快照B中未被判斷過(guò)的文件，并生成所述文件的創(chuàng)建請(qǐng)求，按 照以下步驟處理所述文件步驟(1. 3. 1)判斷快照B中文件的最近訪問(wèn)時(shí)間是否小于文件的最近修改時(shí)間若是，則生成所述文件的寫(xiě)請(qǐng)求，若不是，則生成所述文件的讀請(qǐng)求；步驟(1. 3. 2)判斷快照B中的所有文件是否全被判斷過(guò)若不是，則轉(zhuǎn)步驟(1.3)，若是，則本流程結(jié)束；文件系統(tǒng)場(chǎng)景信息還原模塊，依次按照以下步驟還原文件系統(tǒng)的場(chǎng)景信息步驟(2. 1)在所述快照還原模塊中讀取已形成的快照描述文件中的一條文件記 錄；步驟(2. 2)判斷步驟(2. 1)中讀取的記錄中的文件的最近訪問(wèn)時(shí)間是否大于文件 的最近修改時(shí)間若是，則根據(jù)步驟(2. 1)中所讀取的文件記錄中的文件最近修改時(shí)間修改計(jì)算 機(jī)系統(tǒng)時(shí)間，并創(chuàng)建此文件，而后根據(jù)步驟(2. 1)中所讀取的文件記錄中的文件最近訪問(wèn) 時(shí)間修改計(jì)算機(jī)系統(tǒng)時(shí)間，執(zhí)行一次對(duì)所創(chuàng)建文件的讀請(qǐng)求，若不是，則根據(jù)步驟(2. 1)中所讀取的文件記錄中的文件最近訪問(wèn)時(shí)間修改計(jì) 算機(jī)系統(tǒng)時(shí)間，并創(chuàng)建此文件，而后根據(jù)步驟(2. 1)中所讀取的文件記錄中的最近修改時(shí) 間修改計(jì)算機(jī)系統(tǒng)時(shí)間，執(zhí)行一次對(duì)所創(chuàng)建文件的寫(xiě)請(qǐng)求；步驟(2. 3)判斷是否快照描述文件中的所有記錄都已處理若不是，則轉(zhuǎn)步驟(2. 1)，若是，則本流程結(jié)束；文件訪問(wèn)請(qǐng)求加密模塊按照以下步驟進(jìn)行對(duì)讀請(qǐng)求和寫(xiě)請(qǐng)求的加密步驟(3. 1)確定文件的讀寫(xiě)請(qǐng)求的次數(shù)，步驟如下步驟(3. 1. 1)讀取原始文件系統(tǒng)訪問(wèn)請(qǐng)求中一條記錄；步驟(3. 1. 2)判斷步驟(3. 1. 1)所讀記錄中的訪問(wèn)類(lèi)型若是寫(xiě)請(qǐng)求，則將步驟(3. 1. 1)所讀記錄中的版本號(hào)差值作為此文件訪問(wèn)記錄 相關(guān)文件的寫(xiě)訪問(wèn)次數(shù)，
若是讀請(qǐng)求，則將步驟(3. 1. 1)所讀記錄中的版本號(hào)差值的4倍作為此文件訪問(wèn) 記錄相關(guān)文件的讀訪問(wèn)次數(shù)；步驟(3. 1. 3)判斷原始文件記錄是否已經(jīng)讀完若不是，則轉(zhuǎn)到步驟(3. 1.1)，若是，則轉(zhuǎn)步驟(3.2)；步驟(3. 2)確定讀寫(xiě)訪問(wèn)的分布，步驟如下步驟(3. 2. 1)讀取經(jīng)過(guò)步驟(3. 1)處理后的原始文件系統(tǒng)訪問(wèn)請(qǐng)求中的一條記 錄；步驟(3. 2. 2)判斷步驟(3. 2. 1)所讀取記錄的訪問(wèn)類(lèi)型若是寫(xiě)請(qǐng)求，則在原始文件系統(tǒng)訪問(wèn)請(qǐng)求中執(zhí)行時(shí)間最早記錄的執(zhí)行時(shí)間和這 個(gè)寫(xiě)請(qǐng)求的執(zhí)行時(shí)間之間隨機(jī)確定一個(gè)時(shí)間點(diǎn)，并以此時(shí)間點(diǎn)作為中心，同時(shí)向兩個(gè)時(shí)間 邊界每隔1/P秒判斷是否在這個(gè)時(shí)間點(diǎn)添加一個(gè)相關(guān)文件的寫(xiě)請(qǐng)求，直到添加的寫(xiě)請(qǐng)求個(gè) 數(shù)達(dá)到在步驟(3. 1)中確定的訪問(wèn)個(gè)數(shù)或達(dá)到時(shí)間邊界為止，其中P值初始設(shè)置為1，而后 每增加一個(gè)時(shí)間間隔，P = ΡΧ0. 95 ；若是讀請(qǐng)求，則在原始文件系統(tǒng)訪問(wèn)請(qǐng)求中執(zhí)行時(shí)間最早記錄的執(zhí)行時(shí)間和這 個(gè)讀請(qǐng)求的執(zhí)行時(shí)間之間隨機(jī)確定一個(gè)時(shí)間點(diǎn)，并以此時(shí)間點(diǎn)作為中心，同時(shí)向兩個(gè)時(shí)間 邊界每隔1/P秒判斷是否在這個(gè)時(shí)間點(diǎn)添加一個(gè)相關(guān)文件的讀請(qǐng)求，直到添加的讀請(qǐng)求個(gè) 數(shù)達(dá)到在步驟(3. 1)中確定的訪問(wèn)個(gè)數(shù)或達(dá)到時(shí)間邊界為止，其中P值初始設(shè)置為1，而后 每增加一個(gè)時(shí)間間隔，P = ΡΧ0. 95 ；步驟(3. 3)確定讀寫(xiě)數(shù)據(jù)的大小，步驟(3. 3. 1)讀取經(jīng)過(guò)步驟(3. 2)處理后的文件訪問(wèn)請(qǐng)求中的一條記錄；步驟(3. 3. 2)判斷步驟(3. 2)中所讀記錄的訪問(wèn)類(lèi)型，若是讀請(qǐng)求，按照預(yù)先設(shè)定的概率Ps確定對(duì)此記錄相關(guān)文件的讀訪問(wèn)是順序讀 還是隨機(jī)讀，若是順序讀，則設(shè)置第一個(gè)對(duì)此文件的讀起始位置為S = 0，讀數(shù)據(jù)大小為T(mén) = IK Byte，而后讀取此文件后續(xù)的文件讀請(qǐng)求，并將讀起始位置設(shè)置為S = S+T，讀取數(shù)據(jù)大 小為T(mén) = T，如果S值大于文件大小，則將S設(shè)置為0，直到所有對(duì)此文件的讀請(qǐng)求都處理結(jié) 束，若是隨機(jī)讀，則對(duì)該文件的所有讀請(qǐng)求，在0和文件大小之間隨機(jī)確定一個(gè)值作 為文件的讀起始位置，并設(shè)置T = IK Byte，直到所有該文件的讀請(qǐng)求都處理結(jié)束；若是寫(xiě)請(qǐng)求，隨機(jī)在0和文件大小之間選擇文件寫(xiě)的起始位置S，并將文件截取 為S大小，按照預(yù)先設(shè)定的概率Ps確定對(duì)此記錄相關(guān)文件的寫(xiě)訪問(wèn)是順序?qū)戇€是隨機(jī)寫(xiě)；若是順序?qū)?，則設(shè)置第一個(gè)對(duì)此文件的寫(xiě)起始位置為S = S，寫(xiě)數(shù)據(jù)大小為T(mén) = IK Byte，而后讀取此文件后續(xù)的文件寫(xiě)請(qǐng)求，并將寫(xiě)請(qǐng)求的起始位置設(shè)置為S = S+T，寫(xiě)數(shù) 據(jù)大小為T(mén) = T，如果S值大于文件大小，則將S設(shè)置為0，直到所有對(duì)此文件的寫(xiě)請(qǐng)求都處 理結(jié)束。若是隨機(jī)寫(xiě)，則對(duì)該文件的所 有寫(xiě)請(qǐng)求，在0和文件大小之間隨機(jī)確定一個(gè)值作 為文件的寫(xiě)起始位置，并設(shè)置T = IK Byte，直到所有該文件的寫(xiě)請(qǐng)求都處理結(jié)束；步驟(3. 3. 3)判斷是否所有文件訪問(wèn)請(qǐng)求都已經(jīng)被處理過(guò)，若不是，則轉(zhuǎn)步驟(3.3. 1)，若是，則本流程結(jié)束；
文件訪問(wèn)請(qǐng)求播放模塊用于將加密后的文件訪問(wèn)在文件系統(tǒng)場(chǎng)景信息還原模塊 中還原的文件系統(tǒng)場(chǎng)景上進(jìn)行播放；步驟(4. 1)將加密后的文件訪問(wèn)請(qǐng)求按照時(shí)間順序進(jìn)行排序；步驟(4. 2)對(duì)每個(gè)所述的文件訪問(wèn)請(qǐng)求，當(dāng)請(qǐng)求執(zhí)行時(shí)間到達(dá)時(shí)，根據(jù)訪問(wèn)類(lèi)型， 播放請(qǐng)求，同時(shí)記錄請(qǐng)求執(zhí)行的時(shí)間及各種不同類(lèi)型請(qǐng)求的個(gè)數(shù)。本發(fā)明在清華大學(xué) 計(jì)算機(jī)系高性能計(jì)算技術(shù)研究所的海量數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng) PBInPos的評(píng)測(cè)中進(jìn)行了測(cè)試與應(yīng)用。測(cè)試中使用的文件系統(tǒng)快照為貝爾實(shí)驗(yàn)室的Plan 9 File System snapshots。試驗(yàn)及評(píng)測(cè)結(jié)果表明，本發(fā)明能夠模擬在真實(shí)應(yīng)用中文件系統(tǒng)的 使用情況，有效的評(píng)測(cè)分級(jí)存儲(chǔ)系統(tǒng)的性能及應(yīng)用效果。


圖1測(cè)試系統(tǒng)構(gòu)建流程。圖2測(cè)試系統(tǒng)組織結(jié)構(gòu)。圖3原始訪問(wèn)請(qǐng)求生成流程。圖4文件系統(tǒng)場(chǎng)景還原流程。圖5還原的文件系統(tǒng)特征。圖6不同訪問(wèn)請(qǐng)求加密前后對(duì)比。具體實(shí)現(xiàn)方式本發(fā)明的是針對(duì)分級(jí)存儲(chǔ)系統(tǒng)的評(píng)測(cè)而構(gòu)建的評(píng)測(cè)方法與工具。其最重要的部分 是根據(jù)快照得到指定時(shí)刻的文件系統(tǒng)場(chǎng)景的信息，從而提供一個(gè)與實(shí)際應(yīng)用相符的、真實(shí) 的系統(tǒng)應(yīng)用場(chǎng)景，同時(shí)依據(jù)相鄰快照之間的差別，模擬真實(shí)系統(tǒng)中文件的訪問(wèn)情況。其具體 構(gòu)建流程如圖1所示。評(píng)測(cè)工具的具體實(shí)現(xiàn)中包括四個(gè)模塊，快照還原模塊、文件系統(tǒng)場(chǎng)景 信息還原模塊、文件訪問(wèn)請(qǐng)求加密模塊和訪問(wèn)請(qǐng)求播放模塊，其相互關(guān)系如圖2所示?？煺者€原模塊快照還原模塊從Copy-onirite模式的快照信息中得到指定日期 的、除文件內(nèi)容外快照描述信息，同時(shí)依次根據(jù)相鄰快照之間的差別得到原始文件系統(tǒng)訪 問(wèn)信息。文件系統(tǒng)場(chǎng)景信息還原模塊文件系統(tǒng)信息還原模塊根據(jù)快照還原模塊得到的指 定日期的快照描述信息還原文件系統(tǒng)的場(chǎng)景。文件訪問(wèn)請(qǐng)求加密模塊文件訪問(wèn)請(qǐng)求加密模塊對(duì)在快照還原模塊中生成的原始 文件系統(tǒng)訪問(wèn)請(qǐng)求進(jìn)行加密處理，同時(shí)對(duì)加密后的訪問(wèn)請(qǐng)求按照已有的文件訪問(wèn)特性數(shù)據(jù) 進(jìn)行分布與處理。訪問(wèn)請(qǐng)求播放模塊訪問(wèn)請(qǐng)求播放模塊在還原的文件系統(tǒng)場(chǎng)景基礎(chǔ)上播放加密處 理后的文件訪問(wèn)請(qǐng)求，同時(shí)統(tǒng)計(jì)評(píng)測(cè)數(shù)據(jù)。1、快照描述信息與原始訪問(wèn)請(qǐng)求的生成由于目前的文件系統(tǒng)快照信息基本上采用copy-onirite (cow)模式，而當(dāng)快照 數(shù)變多時(shí)，為還原一個(gè)文件系統(tǒng)場(chǎng)景可能得花上大量的時(shí)間，且由于分級(jí)存儲(chǔ)系統(tǒng)與文件 的具體內(nèi)容無(wú)關(guān)，所以快照中每個(gè)文件的信息可以通過(guò)路徑名、是否是目錄、文件最近訪問(wèn) 時(shí)間、文件最近修改時(shí)間、文件大小、文件所屬用戶(hù)、文件所屬用戶(hù)組來(lái)描述?？煺者€原模塊 根據(jù)用戶(hù)指定的日期生成快照的描述信息。在實(shí)現(xiàn)中每個(gè)文件的描述信息使用下面結(jié)構(gòu)體描述struct entrylnfo{int version ；// 文件版本信息short uid ；// 所屬用戶(hù) IDint isDir ;//是否是目錄的標(biāo)識(shí)long Iat ;//最近訪問(wèn)時(shí)間long Imt ;//最近修改時(shí)間long size ；// 文件大小int pathLenth ；// 路徑長(zhǎng)度char relativePath [1] ；//￡各@名}；由于對(duì)分級(jí)存儲(chǔ)系統(tǒng)而言，文件的具體內(nèi)容與系統(tǒng)無(wú)關(guān)，所以在快照描述信息中 無(wú)需對(duì)內(nèi)容進(jìn)行記錄，所以在上述結(jié)構(gòu)體中沒(méi)有包括與文件內(nèi)容相關(guān)數(shù)據(jù)。在結(jié)構(gòu)體中， version代表文件的版本號(hào)，在生成原始文件系統(tǒng)訪問(wèn)請(qǐng)求時(shí)用于得到文件的寫(xiě)次數(shù)。原始文件系統(tǒng)訪問(wèn)信息通過(guò)對(duì)比相鄰兩快照描述得到。對(duì)每個(gè)原始訪問(wèn)請(qǐng)求而 言，包括文件路徑信息、是否是目錄、請(qǐng)求類(lèi)型、請(qǐng)求起始地址、請(qǐng)求數(shù)據(jù)大小及所屬用戶(hù)信 息。在實(shí)現(xiàn)中使用如下結(jié)構(gòu)體描述struct tracelnfo{short uid -J/ 所屬用戶(hù)int wcount ;//版本號(hào)差值int isDir ;//是否是目錄的標(biāo)識(shí)int actionType ;//此請(qǐng)求時(shí)讀、寫(xiě)、創(chuàng)建還是刪除long time ;//請(qǐng)求執(zhí)行時(shí)間long offset ；// 請(qǐng)求起始地址long size ；//請(qǐng)求處理的數(shù)據(jù)大小char relativePath [1] ；//文件路徑名}；其中wcount代表文件在相鄰兩快照之間版本號(hào)的差值，即代表寫(xiě)的次數(shù)。生成原 始訪問(wèn)請(qǐng)求的處理過(guò)程如圖3所示，當(dāng)文件在前一個(gè)快照中存在，而在后一個(gè)快照中不存 在時(shí)，生成一個(gè)刪除文件請(qǐng)求；當(dāng)后一個(gè)快照中文件的最近訪問(wèn)時(shí)間大于前一快照中文件 的最近訪問(wèn)時(shí)間，生成一個(gè)文件讀請(qǐng)求；當(dāng)后一個(gè)快照中的文件最近修改時(shí)間大于前一快 照文件的最近修改時(shí)間時(shí)，生成一個(gè)文件寫(xiě)請(qǐng)求；當(dāng)處理完前一快照所有文件而后一快照 中依舊有文件沒(méi)有處理時(shí)，生成這些文件的創(chuàng)建文件請(qǐng)求。在生成創(chuàng)建請(qǐng)求時(shí)，對(duì)比文件的最近訪問(wèn)時(shí)間與最近修改時(shí)間，當(dāng)最近訪問(wèn)時(shí)間大于最近修改時(shí)間時(shí)生成一個(gè)此文件的讀 請(qǐng)求，否則，則生成一個(gè)文件寫(xiě)請(qǐng)求。2、文件系統(tǒng)場(chǎng)景的還原文件系統(tǒng)場(chǎng)景還原模塊根據(jù)快照描述信息生成指定測(cè)試時(shí)刻的文件系統(tǒng)場(chǎng)景。文件系統(tǒng)的場(chǎng)景可以根據(jù)用戶(hù)指定的時(shí)間進(jìn)行生成。為使得生成的場(chǎng)景中的文件基本屬性 與快照中信息一致，對(duì)每個(gè)文件描述信息，比較其lat(最近訪問(wèn)時(shí)間)與Imt (最近修改 時(shí)間)，選擇其中較小的值與用戶(hù)預(yù)期的測(cè)試開(kāi)始時(shí)間修正值作為文件的創(chuàng)建時(shí)間，同時(shí)當(dāng) Iat值較大時(shí)，在創(chuàng)建文件后，修改系統(tǒng)時(shí)間執(zhí)行一次文件讀請(qǐng)求，而當(dāng)Imt較大時(shí)，在創(chuàng)建 文件后，修正系統(tǒng)時(shí)間執(zhí)行一次文件寫(xiě)請(qǐng)求。具體流程見(jiàn)圖4。3、訪問(wèn)請(qǐng)求的加密訪問(wèn)請(qǐng)求加密對(duì)生成的原始文件系統(tǒng)訪問(wèn)請(qǐng)求進(jìn)行加密處理，具體內(nèi)容包括讀寫(xiě) 訪問(wèn)次數(shù)的確定、讀寫(xiě)訪問(wèn)的分布情況的確定及讀寫(xiě)數(shù)據(jù)大小和起始地址的確定。對(duì)每個(gè)文件而言，文件的寫(xiě)次數(shù)可以通過(guò)原始文件系統(tǒng)訪問(wèn)請(qǐng)求中的版本號(hào)差值 wcoimt得到，從而對(duì)整個(gè)文件系統(tǒng)的寫(xiě)訪問(wèn)請(qǐng)求總數(shù)可以通過(guò)求得的所有wcoimt值之和 得到。對(duì)于每個(gè)文件的讀請(qǐng)求，根據(jù)統(tǒng)計(jì)得到的文件訪問(wèn)特征，讀訪問(wèn)請(qǐng)求是寫(xiě)訪問(wèn)請(qǐng)求的 4倍左右，通過(guò)wcoimt X 4可以得到文件的讀次數(shù)。

根據(jù)統(tǒng)計(jì)得到的文件訪問(wèn)特征，對(duì)一個(gè)文件的訪問(wèn)而言，大多數(shù)訪問(wèn)集中在某一 個(gè)時(shí)間段，而只有一小部分分散分布。在確定對(duì)一個(gè)文件的訪問(wèn)分布時(shí)，文件訪問(wèn)請(qǐng)求加密 模塊先根據(jù)最早的訪問(wèn)請(qǐng)求執(zhí)行時(shí)間和當(dāng)前文件訪問(wèn)請(qǐng)求的執(zhí)行時(shí)間隨機(jī)確定一個(gè)時(shí)間 點(diǎn)作為文件訪問(wèn)的集中區(qū)域，在加密過(guò)程中以這個(gè)時(shí)間點(diǎn)為中心，按照每隔1/P秒，按照概 率P對(duì)文件訪問(wèn)進(jìn)行加密，其中P初始值為1，而后每進(jìn)過(guò)一個(gè)時(shí)間間隔，P = p*0. 95，直到 文件的訪問(wèn)個(gè)數(shù)達(dá)到預(yù)期值或者到達(dá)最早文件訪問(wèn)執(zhí)行時(shí)間點(diǎn)和當(dāng)前訪問(wèn)執(zhí)行時(shí)間點(diǎn)為 止。在讀寫(xiě)數(shù)據(jù)的起始位置及大小方面，對(duì)于讀請(qǐng)求而言，文件請(qǐng)求加密模塊根據(jù)一 定概率對(duì)文件進(jìn)行順序讀與隨機(jī)讀的選擇。當(dāng)為順序讀取時(shí)，讀數(shù)據(jù)的大小按照固定大小 進(jìn)行讀取，下一個(gè)讀請(qǐng)求的起始位置是上一個(gè)請(qǐng)求的讀結(jié)束位置。當(dāng)為隨機(jī)讀取時(shí)，讀數(shù)據(jù) 的其實(shí)位置及大小通過(guò)隨機(jī)生成。對(duì)于寫(xiě)請(qǐng)求，文件訪問(wèn)加密模塊首先通過(guò)生成的隨機(jī)文 件大小對(duì)文件進(jìn)行截取，而后將文件的大小作為寫(xiě)請(qǐng)求的起始地址，同時(shí)按照讀請(qǐng)求的處 理模式對(duì)寫(xiě)請(qǐng)求進(jìn)行處理，使得讀寫(xiě)處理請(qǐng)求與文件系統(tǒng)訪問(wèn)特征盡可能相符合。4、訪問(wèn)請(qǐng)求的播放在生成的文件系統(tǒng)場(chǎng)景上部署分級(jí)存儲(chǔ)系統(tǒng)以后，通過(guò)播放加密后的文件訪問(wèn)請(qǐng) 求實(shí)現(xiàn)對(duì)分級(jí)存儲(chǔ)系統(tǒng)的評(píng)測(cè)。在播放訪問(wèn)請(qǐng)求中，對(duì)每個(gè)文件訪問(wèn)請(qǐng)求，當(dāng)請(qǐng)求執(zhí)行時(shí)間 到達(dá)時(shí)，訪問(wèn)請(qǐng)求播放器根據(jù)請(qǐng)求的不同類(lèi)型執(zhí)行請(qǐng)求，并統(tǒng)計(jì)請(qǐng)求的響應(yīng)時(shí)間及各種不 同請(qǐng)求的個(gè)數(shù)統(tǒng)計(jì)。在執(zhí)行請(qǐng)求前，對(duì)所有請(qǐng)求按照時(shí)間順序進(jìn)行排序，從而保證當(dāng)前一個(gè) 訪問(wèn)沒(méi)有執(zhí)行時(shí)，后面的訪問(wèn)必然不可能執(zhí)行。5、評(píng)測(cè)工具應(yīng)用測(cè)試本發(fā)明在清華大學(xué)計(jì)算機(jī)系高性能計(jì)算技術(shù)研究所的海量數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng) INPos的評(píng)測(cè)中，使用貝爾實(shí)驗(yàn)室中的Plan 9 file system snapshots進(jìn)行了測(cè)試與應(yīng)用。 Plan 9 file system snapshots包含了 1990年到2001年間每天系統(tǒng)的快照信息。在試驗(yàn) 中，我們還原了 1993年5月31日的文件系統(tǒng)場(chǎng)景，同時(shí)生成了此后一天的文件訪問(wèn)請(qǐng)求。通過(guò)對(duì)加密后的文件訪問(wèn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理我們可以看到通過(guò)還原得到的1993 年5月31日的文件系統(tǒng)場(chǎng)景中總文件數(shù)達(dá)到10天內(nèi)被訪問(wèn)過(guò)的文件只占總文件數(shù)的 2. 8%左右，而50天內(nèi)被訪問(wèn)的文件占總文件數(shù)的8. 7%左右，100天內(nèi)被訪問(wèn)過(guò)的文件占總文件數(shù)的12. 6%左右；10天內(nèi)被修改的文件占1.64%左右，50天內(nèi)被訪問(wèn)的文件占總文 件數(shù)的5. 0%左右，而100天內(nèi)被修改的文件占總文件數(shù)的8. 74%左右。這與分級(jí)存儲(chǔ)的 目標(biāo)應(yīng)用相符。加密過(guò)后的文件訪問(wèn)請(qǐng)求與原始文件系統(tǒng)訪問(wèn)請(qǐng)求相比，創(chuàng)建文件請(qǐng)求與刪除文 件請(qǐng)求總數(shù)并沒(méi)有變化，但寫(xiě)文件請(qǐng)求由646個(gè)增加至39596個(gè)，讀文件請(qǐng)求數(shù)由3449個(gè) 增加至198251個(gè)，原始文件請(qǐng)求中讀寫(xiě)請(qǐng)求比例約為5. 3 1，加密后讀寫(xiě)訪問(wèn)請(qǐng)求的比例 變?yōu)榧s5 1。這與統(tǒng)計(jì)得到的文件訪問(wèn)請(qǐng)求特性相符合。
試驗(yàn)得到結(jié)果說(shuō)明，使用本發(fā)明生成的分級(jí)存儲(chǔ)測(cè)試系統(tǒng)能夠提供一個(gè)與真實(shí)環(huán) 境相似的文件系統(tǒng)場(chǎng)景，同時(shí)通過(guò)模擬真實(shí)環(huán)境中文件的訪問(wèn)請(qǐng)求情況，能夠真實(shí)體現(xiàn)分 級(jí)存儲(chǔ)系統(tǒng)的應(yīng)用環(huán)境。這說(shuō)明本分級(jí)存儲(chǔ)測(cè)試系統(tǒng)構(gòu)建方法是一種合理的、有效的分級(jí) 存儲(chǔ)測(cè)試方法。
權(quán)利要求
1.海量數(shù)據(jù)分級(jí)存儲(chǔ)評(píng)測(cè)系統(tǒng)其特征在于由在一臺(tái)計(jì)算機(jī)中的快照還原模塊、文件 系統(tǒng)訪問(wèn)場(chǎng)景信息還原模塊、文件訪問(wèn)請(qǐng)求加密模塊和文件訪問(wèn)請(qǐng)求播放模塊共同組成， 其中快照還原模塊依次按照以下步驟生成快照描述文件和原始的文件系統(tǒng)訪問(wèn)請(qǐng)求 步驟(1. 1)從copy-onirite模式的快照信息中得到除文件內(nèi)容以外的、指定日期的 快照描述信息，包括文件路徑名、是否是目錄、文件最近訪問(wèn)時(shí)間、文件最近修改時(shí)間、文 件大小、文件所屬用戶(hù)和文件所屬用戶(hù)組，生成快照描述文件；步驟(1.2)按上一步驟生成原始的文件系統(tǒng)訪問(wèn)請(qǐng)求，每個(gè)文件訪問(wèn)請(qǐng)求包括訪問(wèn) 類(lèi)型、文件路徑名、是否是目錄、訪問(wèn)起始地址、版本號(hào)差值、所屬用戶(hù)信息、所屬用戶(hù)組信 息、請(qǐng)求處理的數(shù)據(jù)大小和執(zhí)行時(shí)間，所述文件訪問(wèn)類(lèi)型包括文件讀、文件寫(xiě)、文件創(chuàng)建、 文件刪除，版本號(hào)差值表示在相鄰兩快照之間版本號(hào)的差值步驟(1.2. 1)在相鄰、連續(xù)的快照A和快照B中，讀取快照A中的一個(gè)文件； 步驟(1. 2. 2)判斷步驟(1. 2. 1)所讀文件在所述快照B中是否存在 若不存在，便在所述快照A和快照B的時(shí)間點(diǎn)之間生成刪除請(qǐng)求，轉(zhuǎn)入步驟(1.2. 4)， 若存在，則判斷文件在快照A中的最近訪問(wèn)時(shí)間是否小于文件在快照B中的最近訪問(wèn) 時(shí)間若是，則生成(1. 2. 1)所述文件的寫(xiě)請(qǐng)求，轉(zhuǎn)步驟(1. 2. 3)， 若不是，則轉(zhuǎn)步驟(1.2.3)；步驟(1. 2. 3)判斷步驟(1. 2. 1)中所讀文件在快照A中的最近修改時(shí)間是否小于文件 在快照B中的最近修改時(shí)間若是，則生成步驟(1. 2. 1)中所述文件的讀請(qǐng)求，轉(zhuǎn)步驟(1. 2. 4)，若不是，則轉(zhuǎn)步驟(1.2.4)；步驟(1. 2. 4)判斷快照A中的文件是否全被判斷過(guò)若是，則轉(zhuǎn)步驟(1.3)，若不是，則返回步驟(1.2. 1)；步驟(1. 3)，則讀取快照B中未被判斷過(guò)的文件，并生成所述文件的創(chuàng)建請(qǐng)求，按照以 下步驟處理所述文件步驟(1. 3. 1)判斷快照B中文件的最近訪問(wèn)時(shí)間是否小于文件的最近修改時(shí)間若是，則生成所述文件的寫(xiě)請(qǐng)求，若不是，則生成所述文件的讀請(qǐng)求；步驟(1. 3. 2)判斷快照B中的所有文件是否全被判斷過(guò)若不是，則轉(zhuǎn)步驟(1.3)，若是，則本流程結(jié)束;文件系統(tǒng)場(chǎng)景信息還原模塊，依次按照以下步驟還原文件系統(tǒng)的場(chǎng)景信息 步驟(2. 1)在所述快照還原模塊中讀取已形成的快照描述文件中的一條文件記錄； 步驟(2. 2)判斷步驟(2. 1)中讀取的記錄中的文件的最近訪問(wèn)時(shí)間是否大于文件的最 近修改時(shí)間若是，則根據(jù)步驟(2. 1)中所讀取的文件記錄中的文件最近修改時(shí)間修改計(jì)算機(jī)系 統(tǒng)時(shí)間，并創(chuàng)建此文件，而后根據(jù)步驟(2. 1)中所讀取的文件記錄中的文件最近訪問(wèn)時(shí)間 修改計(jì)算機(jī)系統(tǒng)時(shí)間，執(zhí)行一次對(duì)所創(chuàng)建文件的讀請(qǐng)求，若不是，則根據(jù)步驟(2. 1)中所讀取的文件記錄中的文件最近訪問(wèn)時(shí)間修改計(jì)算機(jī) 系統(tǒng)時(shí)間，并創(chuàng)建此文件，而后根據(jù)步驟(2. 1)中所讀取的文件記錄中的最近修改時(shí)間修 改計(jì)算機(jī)系統(tǒng)時(shí)間，執(zhí)行一次對(duì)所創(chuàng)建文件的寫(xiě)請(qǐng)求；步驟(2. 3)判斷是否快照描述文件中的所有記錄都已處理若不是，則轉(zhuǎn)步驟(2. 1)，若是，則本流程結(jié)束；文件訪問(wèn)請(qǐng)求加密模塊按照以下步驟進(jìn)行對(duì)讀請(qǐng)求和寫(xiě)請(qǐng)求的加密步驟(3. 1)確定文件的讀寫(xiě)請(qǐng)求的次數(shù)，步驟如下步驟(3. 1. 1)讀取原始文件系統(tǒng)訪問(wèn)請(qǐng)求中一條記錄；步驟(3. 1. 2)判斷步驟(3. 1. 1)所讀記錄中的訪問(wèn)類(lèi)型若是寫(xiě)請(qǐng)求，則將步驟(3. 1. 1)所讀記錄中的版本號(hào)差值作為此文件訪問(wèn)記錄相關(guān) 文件的寫(xiě)訪問(wèn)次數(shù)，若是讀請(qǐng)求，則將步驟(3. 1. 1)所讀記錄中的版本號(hào)差值的4倍作為此文件訪問(wèn)記錄 相關(guān)文件的讀訪問(wèn)次數(shù)；步驟(3. 1. 3)判斷原始文件記錄是否已經(jīng)讀完 若不是，則轉(zhuǎn)到步驟(3. 1. 1)，若是，則轉(zhuǎn)步驟(3.2)； 步驟(3. 2)確定讀寫(xiě)訪問(wèn)的分布，步驟如下步驟(3. 2. 1)讀取經(jīng)過(guò)步驟(3. 1)處理后的原始文件系統(tǒng)訪問(wèn)請(qǐng)求中的一條記錄； 步驟(3. 2. 2)判斷步驟(3. 2. 1)所讀取記錄的訪問(wèn)類(lèi)型若是寫(xiě)請(qǐng)求，則在原始文件系統(tǒng)訪問(wèn)請(qǐng)求中執(zhí)行時(shí)間最早記錄的執(zhí)行時(shí)間和這個(gè)寫(xiě) 請(qǐng)求的執(zhí)行時(shí)間之間隨機(jī)確定一個(gè)時(shí)間點(diǎn)，并以此時(shí)間點(diǎn)作為中心，同時(shí)向兩個(gè)時(shí)間邊界 每隔1/P秒判斷是否在這個(gè)時(shí)間點(diǎn)添加一個(gè)相關(guān)文件的寫(xiě)請(qǐng)求，直到添加的寫(xiě)請(qǐng)求個(gè)數(shù)達(dá) 到在步驟(3. 1)中確定的訪問(wèn)個(gè)數(shù)或達(dá)到時(shí)間邊界為止，其中P值初始設(shè)置為1，而后每增 加一個(gè)時(shí)間間隔，P = PX0. 95 ；若是讀請(qǐng)求，則在原始文件系統(tǒng)訪問(wèn)請(qǐng)求中執(zhí)行時(shí)間最早記錄的執(zhí)行時(shí)間和這個(gè)讀 請(qǐng)求的執(zhí)行時(shí)間之間隨機(jī)確定一個(gè)時(shí)間點(diǎn)，并以此時(shí)間點(diǎn)作為中心，同時(shí)向兩個(gè)時(shí)間邊界 每隔1/P秒判斷是否在這個(gè)時(shí)間點(diǎn)添加一個(gè)相關(guān)文件的讀請(qǐng)求，直到添加的讀請(qǐng)求個(gè)數(shù)達(dá) 到在步驟(3. 1)中確定的訪問(wèn)個(gè)數(shù)或達(dá)到時(shí)間邊界為止，其中P值初始設(shè)置為1，而后每增 加一個(gè)時(shí)間間隔，P = PX0. 95 ；步驟(3. 3)確定讀寫(xiě)數(shù)據(jù)的大小，步驟(3. 3. 1)讀取經(jīng)過(guò)步驟(3. 2)處理后的文件訪問(wèn)請(qǐng)求中的一條記錄； 步驟(3. 3. 2)判斷步驟(3. 2)中所讀記錄的訪問(wèn)類(lèi)型，若是讀請(qǐng)求，按照預(yù)先設(shè)定的概率Ps確定對(duì)此記錄相關(guān)文件的讀訪問(wèn)是順序讀還是 隨機(jī)讀，若是順序讀，則設(shè)置第一個(gè)對(duì)此文件的讀起始位置為S = 0，讀數(shù)據(jù)大小為T(mén) = 1K Byte，而后讀取此文件后續(xù)的文件讀請(qǐng)求，并將讀起始位置設(shè)置為S = S+T，讀取數(shù)據(jù)大小 為T(mén) = T，如果S值大于文件大小，則將S設(shè)置為0，直到所有對(duì)此文件的讀請(qǐng)求都處理結(jié)束， 若是隨機(jī)讀，則對(duì)該文件的所有讀請(qǐng)求，在0和文件大小之間隨機(jī)確定一個(gè)值作為文 件的讀起始位置，并設(shè)置T = IK Byte，直到所有該文件的讀請(qǐng)求都處理結(jié)束；若是寫(xiě)請(qǐng)求，隨機(jī)在0和文件大小之間選擇文件寫(xiě)的起始位置S，并將文件截取為S大小，按照預(yù)先設(shè)定的概率Ps確定對(duì)此記錄相關(guān)文件的寫(xiě)訪問(wèn)是順序?qū)戇€是隨機(jī)寫(xiě)；若是順序?qū)懀瑒t設(shè)置第一個(gè)對(duì)此文件的寫(xiě)起始位置為S = S，寫(xiě)數(shù)據(jù)大小為T(mén) = 1K Byte，而后讀取此文件后續(xù)的文件寫(xiě)請(qǐng)求，并將寫(xiě)請(qǐng)求的起始位置設(shè)置為S = S+T，寫(xiě)數(shù)據(jù) 大小為T(mén) = T，如果S值大于文件大小，則將S設(shè)置為0，直到所有對(duì)此文件的寫(xiě)請(qǐng)求都處理結(jié)束。若是隨機(jī)寫(xiě)，則對(duì)該文件的所有寫(xiě)請(qǐng)求，在0和文件大小之間隨機(jī)確定一個(gè)值作為文 件的寫(xiě)起始位置，并設(shè)置T = IK Byte，直到所有該文件的寫(xiě)請(qǐng)求都處理結(jié)束； 步驟(3. 3. 3)判斷是否所有文件訪問(wèn)請(qǐng)求都已經(jīng)被處理過(guò)， 若不是，則轉(zhuǎn)步驟(3. 3. 1)，若是，則本流程結(jié)束；文件訪問(wèn)請(qǐng)求播放模塊用于將加密后的文件訪問(wèn)在文件系統(tǒng)場(chǎng)景信息還原模塊中還 原的文件系統(tǒng)場(chǎng)景上進(jìn)行播放；步驟(4. 1)將加密后的文件訪問(wèn)請(qǐng)求按照時(shí)間順序進(jìn)行排序； 步驟(4. 2)對(duì)每個(gè)所述的文件訪問(wèn)請(qǐng)求，當(dāng)請(qǐng)求執(zhí)行時(shí)間到達(dá)時(shí)，根據(jù)訪問(wèn)類(lèi)型，播放 請(qǐng)求，同時(shí)記錄請(qǐng)求執(zhí)行的時(shí)間及各種不同類(lèi)型請(qǐng)求的個(gè)數(shù)。
全文摘要
海量數(shù)據(jù)分級(jí)存儲(chǔ)評(píng)測(cè)系統(tǒng)屬于計(jì)算機(jī)系統(tǒng)評(píng)測(cè)領(lǐng)域，尤其涉及其中分級(jí)存儲(chǔ)系統(tǒng)評(píng)測(cè)領(lǐng)域。本發(fā)明的特征在于通過(guò)快照還原一個(gè)真實(shí)的文件系統(tǒng)場(chǎng)景，同時(shí)通過(guò)比較相鄰兩快照之間的差別確定后續(xù)將要被訪問(wèn)的文件；根據(jù)兩快照間文件屬性信息的不同和已有的文件訪問(wèn)特征對(duì)文件訪問(wèn)請(qǐng)求進(jìn)行加密處理，從而提供一個(gè)真實(shí)的文件系統(tǒng)場(chǎng)景及相應(yīng)的后續(xù)文件訪問(wèn)請(qǐng)求，并將文件訪問(wèn)請(qǐng)求在生成的文件系統(tǒng)場(chǎng)景上進(jìn)行播放，模擬真實(shí)環(huán)境中分級(jí)存儲(chǔ)系統(tǒng)的應(yīng)用情況，最終有效的實(shí)現(xiàn)對(duì)分級(jí)存儲(chǔ)系統(tǒng)的評(píng)測(cè)與分析。
文檔編號(hào)G06F11/00GK102004677SQ20101053195
公開(kāi)日2011年4月6日 申請(qǐng)日期2010年11月4日 優(yōu)先權(quán)日2010年11月4日
發(fā)明者張廣艷, 舒繼武, 邱建平 申請(qǐng)人:清華大學(xué)