本發(fā)明涉及分布式系統(tǒng)元數(shù)據(jù)性能測試技術(shù)領(lǐng)域，特別涉及一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法、腳本及工具。

背景技術(shù)：

眾所周知，分布式文件系統(tǒng)有元數(shù)據(jù)服務(wù)、數(shù)據(jù)服務(wù)和客戶端三大組成部分。分布式文件系統(tǒng)對(duì)文件(包含目錄)操作，首先會(huì)進(jìn)行元數(shù)據(jù)IO，然后進(jìn)行數(shù)據(jù)IO。這種操作流程就把元數(shù)據(jù)性能推到瓶頸點(diǎn)，特別是海量小文件IO場景，由于存儲(chǔ)架構(gòu)影響，元數(shù)據(jù)性能勢必成為瓶頸點(diǎn)。分布式文件系統(tǒng)元數(shù)據(jù)性能可通過元數(shù)據(jù)集群并發(fā)性能來提升整個(gè)文件系統(tǒng)的元數(shù)據(jù)性能。一個(gè)分布式文件系統(tǒng)的元數(shù)據(jù)性能有多高，目前還沒有統(tǒng)一的工具來測量元數(shù)據(jù)性能，另外文件系統(tǒng)提供的元數(shù)據(jù)性能上限是多少也沒有工具來測量。

綜上所述，如何測量分布式系統(tǒng)提供的元數(shù)據(jù)性能是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法、腳本及工具，可以準(zhǔn)確測量分布式系統(tǒng)提供的元數(shù)據(jù)性能。其具體方案如下：

一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法，包括：

向待測試客戶端發(fā)送線程啟動(dòng)指令，得到測試線程；

向所述測試線程發(fā)送目錄創(chuàng)建指令，得到測試目錄；

向所述測試目錄發(fā)送文件創(chuàng)建指令；

統(tǒng)計(jì)完成所述文件創(chuàng)建指令的時(shí)間；

用創(chuàng)建的文件數(shù)量除以所述時(shí)間，得到相應(yīng)的性能數(shù)據(jù)。

優(yōu)選的，所述待測試客戶端包括單客戶端、2個(gè)客戶端、4個(gè)客戶端、8個(gè)客戶端或16個(gè)客戶端。

優(yōu)選的，所述測試線程啟動(dòng)指令包括單線程啟動(dòng)指令、雙線程啟動(dòng)指令、4線程啟動(dòng)指令、8線程啟動(dòng)指令或16線程啟動(dòng)指令。

優(yōu)選的，所述文件創(chuàng)建指令為在相應(yīng)測試目錄下調(diào)用open接口創(chuàng)建預(yù)設(shè)數(shù)量的文件。

優(yōu)選的，所述文件為空文件。

本發(fā)明還公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試腳本，包括：

線程啟動(dòng)指令，用于在待測試客戶端上啟動(dòng)測試線程；

目錄創(chuàng)建指令，用于在所述測試線程上創(chuàng)建測試目錄；

文件創(chuàng)建指令，用于在所述測試目錄下創(chuàng)建文件；

時(shí)間統(tǒng)計(jì)指令，用于統(tǒng)計(jì)完成所述文件創(chuàng)建指令的時(shí)間；

性能數(shù)據(jù)計(jì)算指令，用于用創(chuàng)建的文件數(shù)量除以所述時(shí)間，得到相應(yīng)的性能數(shù)據(jù)。

本發(fā)明還公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試工具，包括上述的分布式系統(tǒng)元數(shù)據(jù)性能測試腳本。

本發(fā)明公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法，包括：向待測試客戶端發(fā)送線程啟動(dòng)指令，得到測試線程；向所述測試線程發(fā)送目錄創(chuàng)建指令，得到測試目錄；向所述測試目錄發(fā)送文件創(chuàng)建指令；統(tǒng)計(jì)完成所述文件創(chuàng)建指令的時(shí)間；用創(chuàng)建的文件數(shù)量除以所述時(shí)間，得到相應(yīng)的性能數(shù)據(jù)?？梢?，本發(fā)明依據(jù)多目錄、多線程、多客戶端思想，通過統(tǒng)計(jì)創(chuàng)建預(yù)設(shè)數(shù)量文件的創(chuàng)建時(shí)間，來計(jì)算測量分布式系統(tǒng)提供的元數(shù)據(jù)性能，最終可輸出整個(gè)文件系統(tǒng)的最高元數(shù)據(jù)性能。

本發(fā)明還公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試腳本，具有與上述方法相同的技術(shù)效果，在此不再贅述。

本發(fā)明還公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試工具，具有與上述腳本相同的技術(shù)效果，在此不再贅述。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例公開的一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法的流程示意圖；

圖2為本發(fā)明實(shí)施例公開的一種分布式系統(tǒng)元數(shù)據(jù)性能測試腳本的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明實(shí)施例公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法，參見圖1所示，包括步驟S1至S5，其中：

步驟S1：向待測試客戶端發(fā)送線程啟動(dòng)指令，得到測試線程。

分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)具體包括單客戶端和多客戶端，在實(shí)際應(yīng)用中，多客戶端包括2個(gè)客戶端、4個(gè)客戶端、8個(gè)客戶端或16個(gè)客戶端，當(dāng)然根據(jù)具體需要，多客戶端也可包括32個(gè)客戶端或64個(gè)客戶端。

當(dāng)需要對(duì)多客戶端的分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)相應(yīng)的性能進(jìn)行測試時(shí)，需要通過mpi并發(fā)工具調(diào)用客戶端，調(diào)用的客戶端即為待測試客戶端。

步驟S2：向所述測試線程發(fā)送目錄創(chuàng)建指令，得到測試目錄。

分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)具體可分為：單客戶端單線程數(shù)據(jù)服務(wù)、單客戶端多線程數(shù)據(jù)服務(wù)、多客戶端單線程數(shù)據(jù)服務(wù)和多客戶端多線程數(shù)據(jù)服務(wù)。

需要說明的是，在實(shí)際應(yīng)用中，多客戶端包括2個(gè)客戶端、4個(gè)客戶端、8個(gè)客戶端或16個(gè)客戶端，當(dāng)然根據(jù)具體需要，多客戶端也可包括32個(gè)客戶端或64個(gè)客戶端。

需要進(jìn)一步說明的是，在實(shí)際應(yīng)用中，多線程包括2線程、4線程、8線程或16線程，，當(dāng)然根據(jù)具體需要，多線程也可包括32線程或64線程。

因此，線程啟動(dòng)指令包括單線程啟動(dòng)指令、雙線程啟動(dòng)指令、4線程啟動(dòng)指令、8線程啟動(dòng)指令或16線程啟動(dòng)指令。

步驟S3：向所述測試目錄發(fā)送文件創(chuàng)建指令。

在一種具體的實(shí)施方案中，文件創(chuàng)建指令為在相應(yīng)測試目錄下調(diào)用open接口創(chuàng)建預(yù)設(shè)數(shù)量的文件。

此處的預(yù)設(shè)數(shù)量的可以根據(jù)實(shí)際需要進(jìn)行設(shè)置，例如，在上述通過open接口創(chuàng)建預(yù)設(shè)數(shù)量文件的實(shí)施方案中，預(yù)設(shè)數(shù)量的文件可以為100000個(gè)空文件，當(dāng)然也可以為其他數(shù)量的空文件。

需要說明的是，對(duì)于同一個(gè)分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)進(jìn)行性能測試，若該測試包括：單客戶端單線程、單客戶端多線程、多客戶端單線程和多客戶端多線程中的至少2個(gè)，則創(chuàng)建的文件數(shù)量的總量應(yīng)相同，例如，需要對(duì)單客戶端單線程、單客戶端2線程、4個(gè)客戶端單線程和4個(gè)客戶端雙線程進(jìn)行測試，則單客戶端單線程創(chuàng)建100000個(gè)空文件，單客戶端多線程創(chuàng)建100000個(gè)空文件、單客戶端雙線程中每個(gè)目錄創(chuàng)建50000個(gè)空文件、4個(gè)客戶端單線程中每個(gè)目錄創(chuàng)建25000個(gè)空文件，4個(gè)客戶端雙線程中每個(gè)目錄中創(chuàng)建12500個(gè)空文件，其中，4個(gè)客戶端雙線程指4個(gè)客戶端每個(gè)客戶端啟動(dòng)2個(gè)線程。

需要進(jìn)一步說明的是，創(chuàng)建的文件可以為空文件，當(dāng)然也可以創(chuàng)建預(yù)設(shè)的標(biāo)準(zhǔn)文件。

步驟S4：統(tǒng)計(jì)完成所述文件創(chuàng)建指令的時(shí)間。

對(duì)完成文件創(chuàng)建指令的全部時(shí)間進(jìn)行統(tǒng)計(jì)。在上個(gè)例子中，在4個(gè)客戶端雙線程中每個(gè)目錄中創(chuàng)建12500個(gè)空文件，由于不同線程中創(chuàng)建速度可能不同，因此統(tǒng)計(jì)時(shí)間應(yīng)該在完成最后的12500個(gè)空文件創(chuàng)建任務(wù)的時(shí)間。

步驟S5：用創(chuàng)建的文件數(shù)量除以所述時(shí)間，得到相應(yīng)的性能數(shù)據(jù)。

對(duì)于單客戶端單線程的性能數(shù)據(jù)測試，即用創(chuàng)建的文件數(shù)量除以統(tǒng)計(jì)時(shí)間；對(duì)于單客戶端多線程、多客戶端單線程和多客戶端多線程的性能數(shù)據(jù)測試，除了用創(chuàng)建的文件數(shù)量除以統(tǒng)計(jì)時(shí)間，還可對(duì)每個(gè)客戶端每個(gè)線程進(jìn)行統(tǒng)計(jì)，即用該線程中創(chuàng)建完成文件的數(shù)量除以該該線程中創(chuàng)建完成文件的時(shí)間。

本發(fā)明還公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試腳本，參見圖2所示，包括線程啟動(dòng)指令11、目錄創(chuàng)建指令12、文件創(chuàng)建指令13、時(shí)間統(tǒng)計(jì)指令14和性能數(shù)據(jù)計(jì)算指令15，其中：

線程啟動(dòng)指令11，用于在待測試客戶端上啟動(dòng)測試線程。

分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)具體包括單客戶端和多客戶端，在實(shí)際應(yīng)用中，多客戶端包括2個(gè)客戶端、4個(gè)客戶端、8個(gè)客戶端和16個(gè)客戶端，當(dāng)然根據(jù)具體需要，多客戶端也可包括32個(gè)客戶端和64個(gè)客戶端。

當(dāng)需要對(duì)多客戶端的分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)相應(yīng)的性能進(jìn)行測試時(shí)，需要通過mpi并發(fā)工具調(diào)用客戶端，調(diào)用的客戶端即為待測試客戶端。

目錄創(chuàng)建指令12，用于在所述測試線程上創(chuàng)建測試目錄。

分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)具體可分為：單客戶端單線程數(shù)據(jù)服務(wù)、單客戶端多線程數(shù)據(jù)服務(wù)、多客戶端單線程數(shù)據(jù)服務(wù)和多客戶端多線程數(shù)據(jù)服務(wù)。

需要說明的是，在實(shí)際應(yīng)用中，多客戶端包括2個(gè)客戶端、4個(gè)客戶端、8個(gè)客戶端和16個(gè)客戶端，當(dāng)然根據(jù)具體需要，多客戶端也可包括32個(gè)客戶端和64個(gè)客戶端。

需要進(jìn)一步說明的是，在實(shí)際應(yīng)用中，多線程包括2線程、4線程、8線程和16線程，，當(dāng)然根據(jù)具體需要，多線程也可包括32線程和64線程。

因此，線程啟動(dòng)指令包括單線程啟動(dòng)指令、雙線程啟動(dòng)指令、4線程啟動(dòng)指令、8線程啟動(dòng)指令、16線程啟動(dòng)指令。

文件創(chuàng)建指令13，用于在所述測試目錄下創(chuàng)建文件。

在一種具體的實(shí)施方案中，文件創(chuàng)建指令為在相應(yīng)測試目錄下調(diào)用open接口創(chuàng)建預(yù)設(shè)數(shù)量的文件。

此處的預(yù)設(shè)數(shù)量的可以根據(jù)實(shí)際需要進(jìn)行設(shè)置，例如，在上述通過open接口創(chuàng)建預(yù)設(shè)數(shù)量文件的實(shí)施方案中，預(yù)設(shè)數(shù)量的文件可以為100000個(gè)空文件，當(dāng)然也可以為其他數(shù)量的空文件。

需要說明的是，對(duì)于同一個(gè)分布式系統(tǒng)提供的元數(shù)據(jù)服務(wù)進(jìn)行性能測試，若該測試包括：單客戶端單線程、單客戶端多線程、多客戶端單線程和多客戶端多線程中的至少2個(gè)，則創(chuàng)建的文件數(shù)量的總量應(yīng)相同，例如，需要對(duì)單客戶端單線程、單客戶端2線程、4個(gè)客戶端單線程和4個(gè)客戶端雙線程進(jìn)行測試，則單客戶端單線程創(chuàng)建100000個(gè)空文件，單客戶端多線程創(chuàng)建100000個(gè)空文件、單客戶端雙線程中每個(gè)目錄創(chuàng)建50000個(gè)空文件、4個(gè)客戶端單線程中每個(gè)目錄創(chuàng)建25000個(gè)空文件，4個(gè)客戶端雙線程中每個(gè)目錄中創(chuàng)建12500個(gè)空文件，其中，4個(gè)客戶端雙線程指4個(gè)客戶端每個(gè)客戶端啟動(dòng)2個(gè)線程。

需要進(jìn)一步說明的是，創(chuàng)建的文件可以為空文件，當(dāng)然也可以創(chuàng)建預(yù)設(shè)的標(biāo)準(zhǔn)文件。

時(shí)間統(tǒng)計(jì)指令14，用于統(tǒng)計(jì)完成所述文件創(chuàng)建指令的時(shí)間。

對(duì)完成文件創(chuàng)建指令的全部時(shí)間進(jìn)行統(tǒng)計(jì)。在上個(gè)例子中，在4個(gè)客戶端雙線程中每個(gè)目錄中創(chuàng)建12500個(gè)空文件，由于不同線程中創(chuàng)建速度可能不同，因此統(tǒng)計(jì)時(shí)間應(yīng)該在完成最后的12500個(gè)空文件創(chuàng)建任務(wù)的時(shí)間。

性能數(shù)據(jù)計(jì)算指令15，用于用創(chuàng)建的文件數(shù)量除以所述時(shí)間，得到相應(yīng)的性能數(shù)據(jù)。

對(duì)于單客戶端單線程的性能數(shù)據(jù)測試，即用創(chuàng)建的文件數(shù)量除以統(tǒng)計(jì)時(shí)間；對(duì)于單客戶端多線程、多客戶端單線程和多客戶端多線程的性能數(shù)據(jù)測試，除了用創(chuàng)建的文件數(shù)量除以統(tǒng)計(jì)時(shí)間，還可對(duì)每個(gè)客戶端每個(gè)線程進(jìn)行統(tǒng)計(jì)，即用該線程中創(chuàng)建完成文件的數(shù)量除以該該線程中創(chuàng)建完成文件的時(shí)間。

本發(fā)明還公開了一種分布式系統(tǒng)元數(shù)據(jù)性能測試工具，包括上述的分布式系統(tǒng)元數(shù)據(jù)性能測試腳本。

在具體實(shí)施方案中，使用NVDIMM介質(zhì)作為元數(shù)據(jù)日志存儲(chǔ)，能保證元數(shù)據(jù)不會(huì)丟失，客戶端發(fā)送的元數(shù)據(jù)請(qǐng)求以日志的形式存儲(chǔ)到NVDIMM中，元數(shù)據(jù)處理快，客戶端能很快收到元數(shù)據(jù)消息響應(yīng)。同時(shí)，使用SSD盤存儲(chǔ)元數(shù)據(jù)，保證NVDIMM中l(wèi)og的處理速度。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上對(duì)本發(fā)明所提供的一種分布式系統(tǒng)元數(shù)據(jù)性能測試方法、腳本及工具進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。