1.一種基于FUSE的地理影像透明緩存機(jī)制,其特征在于:包括:
計(jì)算任務(wù)發(fā)出命令進(jìn)行影像讀取時(shí),通過(guò)FUSE訪問(wèn)遙感影像分布式緩存,申請(qǐng)數(shù)據(jù)資源;
計(jì)算任務(wù)申請(qǐng)到數(shù)據(jù)資源后,將遙感影像按塊進(jìn)行存儲(chǔ),存儲(chǔ)到各個(gè)計(jì)算節(jié)點(diǎn)內(nèi)存中;
計(jì)算任務(wù)的執(zhí)行需要訪問(wèn)其他計(jì)算節(jié)點(diǎn)緩存的數(shù)據(jù)時(shí),各個(gè)計(jì)算節(jié)點(diǎn)緩存中的數(shù)據(jù)通過(guò)Gossip協(xié)議實(shí)現(xiàn)元數(shù)據(jù)信息共享,達(dá)到每個(gè)計(jì)算節(jié)點(diǎn)內(nèi)存中影像塊的元數(shù)據(jù)信息一致;
計(jì)算任務(wù)執(zhí)行將反復(fù)讀取數(shù)據(jù)進(jìn)行計(jì)算。
2.根據(jù)權(quán)利要求1所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:計(jì)算任務(wù)發(fā)出命令進(jìn)行影像讀取前,還包括:
基于FUSE創(chuàng)建遙感影像內(nèi)存式文件系統(tǒng);
建立目錄空間自動(dòng)同步機(jī)制,對(duì)于底層分布式存儲(chǔ)系統(tǒng)中的每一個(gè)目錄或文件,在所述內(nèi)存式文件系統(tǒng)之上一一對(duì)應(yīng)創(chuàng)建一個(gè)目錄或文件。
3.根據(jù)權(quán)利要求2所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:還包括:所有計(jì)算任務(wù)結(jié)束后,按照目錄空間自動(dòng)同步機(jī)制將成果以及中間成果數(shù)據(jù),寫(xiě)入底層文件存儲(chǔ)系統(tǒng)中。
4.根據(jù)權(quán)利要求2所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:所述計(jì)算任務(wù)發(fā)出命令進(jìn)行影像讀取時(shí),通過(guò)FUSE訪問(wèn)遙感影像分布式緩存,包括:
采用影像分塊機(jī)制在邏輯上對(duì)遙感影像進(jìn)行行列拆分,按塊讀取遙感數(shù)據(jù)文件;首先從遙感影像內(nèi)存式文件系統(tǒng)中進(jìn)行查找,如未找到,將透過(guò)文件系統(tǒng),轉(zhuǎn)到底層文件存儲(chǔ)系統(tǒng)讀取。
5.根據(jù)權(quán)利要求4所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:所述遙感影像的分塊策略包括:等長(zhǎng)寬分塊和滿(mǎn)行分塊。
6.根據(jù)權(quán)利要求2所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:所述計(jì)算任務(wù)申請(qǐng)到數(shù)據(jù)資源后,將遙感影像按塊進(jìn)行存儲(chǔ),存儲(chǔ)到各個(gè)計(jì)算節(jié)點(diǎn)內(nèi)存中,包括:
通過(guò)LINUX系統(tǒng)自帶的<xsl:attribute>機(jī)制給內(nèi)存的影像建立擴(kuò)展屬性,影像塊的元數(shù)據(jù)信息被存儲(chǔ)在內(nèi)存中。
7.根據(jù)權(quán)利要求2所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:所述各個(gè)計(jì)算節(jié)點(diǎn)緩存中的數(shù)據(jù)通過(guò)Gossip協(xié)議實(shí)現(xiàn)元數(shù)據(jù)信息共享,達(dá)到每個(gè)計(jì)算節(jié)點(diǎn)內(nèi)存中影像塊的元數(shù)據(jù)信息一致,包括:
在計(jì)算任務(wù)啟動(dòng)時(shí),會(huì)啟動(dòng)Gossip服務(wù),Gossip服務(wù)啟動(dòng)后會(huì)啟動(dòng)一個(gè)任務(wù)GossipTask,這個(gè)任務(wù)會(huì)周期性地與其他節(jié)點(diǎn)進(jìn)行通信;其中:
任務(wù)GossipTask運(yùn)行后,更新當(dāng)前計(jì)算節(jié)點(diǎn)的版本號(hào),然后構(gòu)造出要發(fā)送給其他節(jié)點(diǎn)的消息;
從存活節(jié)點(diǎn)中隨機(jī)選擇一個(gè)節(jié)點(diǎn)發(fā)送、從失效節(jié)點(diǎn)中隨機(jī)選取一個(gè)發(fā)送。如果當(dāng)前存活節(jié)點(diǎn)數(shù)小于種子數(shù),向其中一個(gè)種子節(jié)點(diǎn)發(fā)消息;
并檢查各節(jié)點(diǎn)狀態(tài)。
8.根據(jù)權(quán)利要求2所述的基于FUSE的地理影像透明緩存機(jī)制,其特征在于:所述建立目錄空間自動(dòng)同步機(jī)制中,所述內(nèi)存式文件系統(tǒng)與底層分布式存儲(chǔ)系統(tǒng)的映射關(guān)系是:緩存文件目錄用來(lái)表示底層文件系統(tǒng)中的目錄,其目錄屬性保存底層文件系統(tǒng)文件屬性;緩存文件用來(lái)表示底層文件系統(tǒng)中的文件,其文件屬性保存底層文件系統(tǒng)文件屬性,緩存文件內(nèi)容則用來(lái)保存元數(shù)據(jù)。