一種存儲(chǔ)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及存儲(chǔ)技術(shù)領(lǐng)域，更具體地說，涉及一種存儲(chǔ)系統(tǒng)。
【背景技術(shù)】
[0002]人類對(duì)地球氣候的探索已經(jīng)進(jìn)入全新時(shí)代，大數(shù)據(jù)正在幫助研究人員存儲(chǔ)、分析和處理氣候數(shù)據(jù)，上演“預(yù)見未來”的壯舉。以海洋預(yù)報(bào)為例，對(duì)相關(guān)海域進(jìn)行數(shù)值天氣預(yù)報(bào)，實(shí)現(xiàn)精確的預(yù)測(cè)，減少海洋災(zāi)害帶來經(jīng)濟(jì)損失是海洋預(yù)報(bào)的一項(xiàng)重要任務(wù)。但是由于數(shù)值預(yù)報(bào)凈度受到諸多因素的影響，如實(shí)測(cè)資料、模式參數(shù)、計(jì)算速度、存儲(chǔ)方式等，其復(fù)雜性對(duì)大規(guī)模數(shù)據(jù)管理工作提出了挑戰(zhàn)，尤其是對(duì)存儲(chǔ)方式的要求很高，需要滿足氣象行業(yè)大數(shù)據(jù)應(yīng)用的特點(diǎn)。
[0003]FVCOM是無結(jié)構(gòu)三角形網(wǎng)格架構(gòu)、有限體積、自由表面、三維原始方程海洋數(shù)值模型。它包含了多種物理、水質(zhì)、生態(tài)計(jì)算模塊。FVCOM模型基于Fortran 90/95標(biāo)準(zhǔn)，且在MPI (Message Passing Interface)的框架下實(shí)現(xiàn)計(jì)算并行化，可以在共享內(nèi)存及分布式內(nèi)存多計(jì)算節(jié)點(diǎn)的高性能計(jì)算機(jī)上實(shí)現(xiàn)并行快速模擬。
[0004]而對(duì)于運(yùn)行FVCOM模型的高性能計(jì)算中生成的計(jì)算日志信息的存儲(chǔ)及讀取是保證順利運(yùn)行FVCOM模型的高性能計(jì)算的一個(gè)重要因素，現(xiàn)有技術(shù)中通常使用的存儲(chǔ)系統(tǒng)包括管理節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)及計(jì)算節(jié)點(diǎn)，管理節(jié)點(diǎn)將計(jì)算任務(wù)下發(fā)至計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)運(yùn)行與計(jì)算任務(wù)對(duì)應(yīng)的FVCOM模型的高性能計(jì)算，并將計(jì)算日志信息存儲(chǔ)至副本機(jī)制的存儲(chǔ)節(jié)點(diǎn)，在存儲(chǔ)成功之后再進(jìn)行后續(xù)操作。但是，將計(jì)算日志信息存儲(chǔ)至副本機(jī)制的存儲(chǔ)節(jié)點(diǎn)的過程需要耗費(fèi)大量的時(shí)間及系統(tǒng)性能，這并不利于整個(gè)系統(tǒng)的執(zhí)行效率。
[0005]綜上所述，現(xiàn)有技術(shù)中對(duì)于計(jì)算日志信息的處理存在耗費(fèi)時(shí)間及系統(tǒng)性能較嚴(yán)重的問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是提供一種存儲(chǔ)系統(tǒng)，以解決現(xiàn)有技術(shù)中對(duì)于計(jì)算日志信息的處理存在的耗費(fèi)時(shí)間及系統(tǒng)性能較嚴(yán)重的問題。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:
[0008]—種存儲(chǔ)系統(tǒng)，包括管理節(jié)點(diǎn)及至少一個(gè)計(jì)算節(jié)點(diǎn)，其中，所述管理節(jié)點(diǎn)包括共享目錄，所述共享目錄通過NFS共享給每個(gè)所述計(jì)算節(jié)點(diǎn)，每個(gè)所述計(jì)算節(jié)點(diǎn)內(nèi)掛載有所述共早目錄；
[0009]每個(gè)所述計(jì)算節(jié)點(diǎn)將運(yùn)行FVCOM的高性能計(jì)算中生成的計(jì)算日志信息存儲(chǔ)至所述共享目錄，或者由所述共享目錄中讀取所需的計(jì)算日志信息。
[0010]優(yōu)選的，所述存儲(chǔ)系統(tǒng)包括多個(gè)存儲(chǔ)節(jié)點(diǎn)，用于運(yùn)行FVCOM的高性能計(jì)算的源數(shù)據(jù)以及利用所述源數(shù)據(jù)運(yùn)行FVCOM的高性能計(jì)算得到的對(duì)應(yīng)的目標(biāo)數(shù)據(jù)均存儲(chǔ)在副本機(jī)制的所述存儲(chǔ)節(jié)點(diǎn)中。
[0011]優(yōu)選的，所述存儲(chǔ)系統(tǒng)還包括備用管理節(jié)點(diǎn)，所述備用管理節(jié)點(diǎn)用于在所述管理節(jié)點(diǎn)發(fā)生故障無法正常工作時(shí)，代替所述管理節(jié)點(diǎn)完成所述管理節(jié)點(diǎn)需完成的工作。
[0012]優(yōu)選的，每個(gè)所述計(jì)算節(jié)點(diǎn)中均包括掛載模塊，所述掛載模塊用于通過掃描確定所述共享目錄，將所述共享目錄掛載到對(duì)應(yīng)的計(jì)算節(jié)點(diǎn)中，并將運(yùn)行FVCOM的高性能計(jì)算中的計(jì)算日志信息的生成路徑指定為所述共享目錄。
[0013]優(yōu)選的，所述管理節(jié)點(diǎn)包括共享模塊，所述共享模塊用于建立指定文件，將確定所述管理節(jié)點(diǎn)中的一目錄為共享目錄的共享命令寫入所述指定文件中，并將所述共享目錄共享給每個(gè)所述計(jì)算節(jié)點(diǎn)。
[0014]優(yōu)選的，所述管理節(jié)點(diǎn)包括自動(dòng)激活模塊，所述自動(dòng)激活模塊用于在所述管理節(jié)點(diǎn)開機(jī)時(shí)自動(dòng)指示所述共享模塊將所述共享目錄共享給每個(gè)所述計(jì)算節(jié)點(diǎn)。
[0015]優(yōu)選的，所述共享模塊包括刪除單元，所述刪除單元用于當(dāng)所述管理節(jié)點(diǎn)中存在所述指定文件時(shí)，將所述指定文件進(jìn)行刪除，并指示所述共享模塊建立新的指定文件。
[0016]本發(fā)明提供的一種存儲(chǔ)系統(tǒng)，包括管理節(jié)點(diǎn)及至少一個(gè)計(jì)算節(jié)點(diǎn)，其中，所述管理節(jié)點(diǎn)包括共享目錄，所述共享目錄通過NFS共享給每個(gè)所述計(jì)算節(jié)點(diǎn)，每個(gè)所述計(jì)算節(jié)點(diǎn)內(nèi)掛載有所述共享目錄；每個(gè)所述計(jì)算節(jié)點(diǎn)將運(yùn)行FVCOM的高性能計(jì)算中生成的計(jì)算日志信息存儲(chǔ)至所述共享目錄，或者由所述共享目錄中讀取所需的計(jì)算日志信息。與現(xiàn)有技術(shù)相比，本申請(qǐng)無需將生成的計(jì)算日志信息存儲(chǔ)至副本機(jī)制的存儲(chǔ)節(jié)點(diǎn)中后再進(jìn)行其他計(jì)算，而是直接將計(jì)算日志信息存儲(chǔ)至通過NFS共享的共享目錄下，同時(shí)能夠從共享目錄中讀取所需的計(jì)算日志信息，對(duì)于計(jì)算日志信息的處理速度得到明顯提高，進(jìn)一步節(jié)省了時(shí)間并提升了系統(tǒng)性能。
【附圖說明】
[0017]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0018]圖1為本發(fā)明實(shí)施例提供的一種存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0020]本發(fā)明實(shí)施例提供了一種存儲(chǔ)系統(tǒng)，包括管理節(jié)點(diǎn)及至少一個(gè)計(jì)算節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)的數(shù)量可以根據(jù)實(shí)際需要進(jìn)行確定，當(dāng)計(jì)算節(jié)點(diǎn)的數(shù)量為I個(gè)時(shí)，存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖如圖1所示，包括管理節(jié)點(diǎn)11及計(jì)算節(jié)點(diǎn)12。其中，管理節(jié)點(diǎn)包括共享目錄，共享目錄通過NFS共享給每個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)內(nèi)掛載有共享目錄；
[0021]每個(gè)計(jì)算節(jié)點(diǎn)將運(yùn)行FVCOM的高性能計(jì)算中生成的計(jì)算日志信息存儲(chǔ)至共享目錄，或者由共享目錄中讀取所需的計(jì)算日志信息。
[0022]需要說明的是，NFS (Network File System，網(wǎng)絡(luò)文件系統(tǒng))，是FreeBSD支持的文件系統(tǒng)中的一種，它允許網(wǎng)絡(luò)中的計(jì)算機(jī)之間通過TCP/IP網(wǎng)絡(luò)共享資源。在NFS的應(yīng)用中，本地NFS的客戶端應(yīng)用可以透明地讀寫位于遠(yuǎn)端NFS服務(wù)器上的文件，就像訪問本地文件一樣。本申請(qǐng)中管理節(jié)點(diǎn)通過NFS將共享目錄共享給每個(gè)計(jì)算節(jié)點(diǎn)，能夠使得計(jì)算節(jié)點(diǎn)直接訪問共享目錄。
[0023]本申請(qǐng)無需將生成的計(jì)算日志信息存儲(chǔ)至副本機(jī)制的存儲(chǔ)節(jié)點(diǎn)中后再進(jìn)行其他計(jì)算，而是直接將計(jì)算日志信息存儲(chǔ)至通過NFS共享的共享目錄下，同時(shí)能夠從共享目錄中讀取所需的計(jì)算日志信息，由此，減少了高性能計(jì)算過程中計(jì)算日志信息的請(qǐng)求處理延時(shí)，對(duì)于計(jì)算日志信息的處理速度得到明顯提高，節(jié)省了時(shí)間并提升了系統(tǒng)性能，達(dá)到提升整個(gè)系統(tǒng)的執(zhí)行效率的目的。
[0024]上述實(shí)施例提供的一種存儲(chǔ)系統(tǒng)中，可以包括多個(gè)存儲(chǔ)節(jié)點(diǎn)，用于運(yùn)行FVCOM的高性能計(jì)算的源數(shù)據(jù)以及利用所述源數(shù)據(jù)運(yùn)行FVCOM的高性能計(jì)算得到的對(duì)應(yīng)的目標(biāo)數(shù)據(jù)均存儲(chǔ)在副本機(jī)制的所述存儲(chǔ)節(jié)點(diǎn)中。
[0025]存儲(chǔ)節(jié)點(diǎn)的具體數(shù)量可以根據(jù)實(shí)際需要進(jìn)行確定，其可以組成分布式存儲(chǔ)系統(tǒng)。分布式存儲(chǔ)系統(tǒng)將數(shù)據(jù)分布存儲(chǔ)于不同的存儲(chǔ)節(jié)點(diǎn)中，通過采用分布式存儲(chǔ)的方式，能夠提供數(shù)據(jù)傳輸?shù)母邘?，以保證不同的存儲(chǔ)節(jié)點(diǎn)間，或者存儲(chǔ)節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)間，或者存儲(chǔ)節(jié)點(diǎn)與管理節(jié)點(diǎn)間能夠快速傳輸數(shù)據(jù)，提高了整個(gè)存儲(chǔ)系統(tǒng)的執(zhí)行效率。
[0026]需要說明的是，本發(fā)明實(shí)施例提供的一種存儲(chǔ)系統(tǒng)中，僅僅通過NFS方式處理運(yùn)行FVCOM的高性能運(yùn)算過程中生成的計(jì)算日志信息，而不對(duì)其他任何數(shù)據(jù)進(jìn)行處理。因此，將上述與運(yùn)行FVCOM的高性能運(yùn)算對(duì)應(yīng)的源數(shù)據(jù)及目標(biāo)數(shù)據(jù)均存儲(chǔ)在副本機(jī)制的存儲(chǔ)節(jié)點(diǎn)中，即將同樣的源數(shù)據(jù)及目標(biāo)數(shù)據(jù)存儲(chǔ)在兩個(gè)存儲(chǔ)節(jié)點(diǎn)中，由此，當(dāng)任一存儲(chǔ)節(jié)點(diǎn)發(fā)生故障進(jìn)而造成數(shù)據(jù)的丟失或者損壞時(shí)，能夠由另一存儲(chǔ)節(jié)點(diǎn)中獲取丟失或者損壞的數(shù)據(jù)，以快速恢復(fù)數(shù)據(jù)，保證了數(shù)據(jù)