欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種征信數(shù)據(jù)存儲(chǔ)調(diào)度方法及系統(tǒng)與流程

文檔序號(hào):12819041閱讀:246來源:國(guó)知局
一種征信數(shù)據(jù)存儲(chǔ)調(diào)度方法及系統(tǒng)與流程

本發(fā)明涉及金融領(lǐng)域數(shù)據(jù)處理領(lǐng)域,具體涉及一種征信數(shù)據(jù)存儲(chǔ)調(diào)度方法及系統(tǒng)。



背景技術(shù):

大數(shù)據(jù)征信平臺(tái)使用的數(shù)據(jù)具有來源多樣化的特點(diǎn),這些數(shù)據(jù)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化并存。

征信數(shù)據(jù)涵蓋所有政府職能部門監(jiān)管信息(例如企業(yè)基本身份信息,行政許可、認(rèn)定信息,行政獎(jiǎng)罰信息,產(chǎn)品質(zhì)量監(jiān)測(cè)信息,法院判決信息,知識(shí)產(chǎn)權(quán)信息),銀行信貸信用信息(例如中國(guó)人民銀行信貸信用評(píng)價(jià)信息、各商業(yè)銀行信貸評(píng)價(jià)信息、小貸公司信貸評(píng)價(jià)信息、民間借貸信用評(píng)價(jià)信息),行業(yè)協(xié)會(huì)評(píng)價(jià)信息(例如各行業(yè)協(xié)會(huì)評(píng)價(jià)信息、水電氣電訊交通等社會(huì)公共事業(yè)單位評(píng)價(jià)信息),媒體評(píng)價(jià)信息,企業(yè)運(yùn)營(yíng)管理信息,市場(chǎng)反饋信息(例如消費(fèi)者、交易對(duì)方、合作伙伴、員工等),其內(nèi)容包括文本,版式文件等各種數(shù)據(jù)。

在這種情況下傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)表已經(jīng)無法滿足數(shù)據(jù)多樣性的存儲(chǔ)要求,迫切需要一種同時(shí)支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、及統(tǒng)一調(diào)度的存儲(chǔ)系統(tǒng)。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明實(shí)施例提供了一種征信數(shù)據(jù)存儲(chǔ)調(diào)度方法及征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng),用于滿足數(shù)據(jù)多樣性的存儲(chǔ)要求。

本發(fā)明實(shí)施例第一方面提供了一種征信數(shù)據(jù)存儲(chǔ)調(diào)度方法,包括:

接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求;

判斷所述目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù);

若所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù),則根據(jù)所述目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù);

根據(jù)所述存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù)、所述目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法為所述目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置,所述第一存儲(chǔ)位置為所述目標(biāo)數(shù)據(jù)在所述存儲(chǔ)資源池中的存儲(chǔ)位置;

根據(jù)所述目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及所述第一存儲(chǔ)位置確定所述目標(biāo)數(shù)據(jù)的寫入操作;

發(fā)送所述寫入操作至所述存儲(chǔ)資源池;

接收所述存儲(chǔ)資源池生成的寫入操作結(jié)果,所述寫入操作結(jié)果為所述存儲(chǔ)資源池根據(jù)所述目標(biāo)數(shù)據(jù)的寫入操作將所述目標(biāo)數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)位置,并建立所述第一存儲(chǔ)位置與所述第二存儲(chǔ)位置的映射關(guān)系后生成,所述第二存儲(chǔ)位置為所述目標(biāo)數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。

根據(jù)所述寫入操作結(jié)果將所述第一存儲(chǔ)位置保存至所述元數(shù)據(jù)模塊中并將所述寫入操作結(jié)果發(fā)送至所述應(yīng)用系統(tǒng)。

結(jié)合第一方面,在第一方面的第一種可能的實(shí)現(xiàn)方式中,當(dāng)所述目標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時(shí),從所述元數(shù)據(jù)模塊中獲取所述目標(biāo)數(shù)據(jù)的歸屬信息;

根據(jù)所述目標(biāo)數(shù)據(jù)的歸屬信息確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在所述存儲(chǔ)資源池中的目標(biāo)存儲(chǔ)位置;

根據(jù)所述目標(biāo)存儲(chǔ)位置向所述存儲(chǔ)資源池發(fā)起所述目標(biāo)數(shù)據(jù)的寫入操作;

接收所述存儲(chǔ)資源池生成的所述目標(biāo)數(shù)據(jù)的寫入操作結(jié)果,并將所述目標(biāo)數(shù)據(jù)的寫入操作結(jié)果發(fā)送至所述應(yīng)用系統(tǒng),所述目標(biāo)數(shù)據(jù)的寫入操作結(jié)果為所述存儲(chǔ)資源池根據(jù)目標(biāo)存儲(chǔ)位置映射關(guān)系將目標(biāo)數(shù)據(jù)發(fā)送至所述目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)之后生成,所述目標(biāo)存儲(chǔ)位置映射關(guān)系為所述目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在所述存儲(chǔ)資源池中的存儲(chǔ)位置與所述目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置的映射關(guān)系。

結(jié)合第一方面,在第一方面的第二種可能的實(shí)現(xiàn)方式中,當(dāng)應(yīng)用系統(tǒng)需要讀取數(shù)據(jù)時(shí),可以接收所述應(yīng)用系統(tǒng)發(fā)送的所述目標(biāo)數(shù)據(jù)的讀取請(qǐng)求;

判斷所述目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù);

若所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù),則根據(jù)所述目標(biāo)數(shù)據(jù)的讀取請(qǐng)求從所述元數(shù)據(jù)模塊中獲取所述目標(biāo)元數(shù)據(jù),所述目標(biāo)元數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)在所述存儲(chǔ)資源池中的第一存儲(chǔ)位置;

根據(jù)所述目標(biāo)元數(shù)據(jù)向所述存儲(chǔ)資源池發(fā)起所述目標(biāo)數(shù)據(jù)的讀取操作;

接收所述存儲(chǔ)資源池讀取到的所述目標(biāo)數(shù)據(jù)并將所述目標(biāo)數(shù)據(jù)發(fā)送至所述應(yīng)用系統(tǒng),所述目標(biāo)數(shù)據(jù)為所述存儲(chǔ)資源池根據(jù)所述第一存儲(chǔ)位置、以及所述第一存儲(chǔ)位置與第二存儲(chǔ)位置之間的映射關(guān)系來獲得所述第二存儲(chǔ)位置,并通過所述第二存儲(chǔ)位置獲得所述目標(biāo)數(shù)據(jù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置來讀取到的。

結(jié)合第一方面以及第一方面第二種可能的實(shí)現(xiàn)方式,在第一方面的第三種可能的實(shí)現(xiàn)方式中,當(dāng)所述目標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時(shí),從所述元數(shù)據(jù)模塊獲取所述目標(biāo)數(shù)據(jù)的歸屬信息;

根據(jù)所述目標(biāo)數(shù)據(jù)的歸屬信息確定所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬數(shù)據(jù)庫(kù)在所述存儲(chǔ)資源池中的第三存儲(chǔ)位置;

根據(jù)所述第三存儲(chǔ)位置向所述存儲(chǔ)資源池發(fā)起所述目標(biāo)數(shù)據(jù)的讀取操作;

接收所述存儲(chǔ)資源池讀取到的所述目標(biāo)數(shù)據(jù),且將所述目標(biāo)數(shù)據(jù)發(fā)送至所述應(yīng)用系統(tǒng),所述目標(biāo)數(shù)據(jù)為所述存儲(chǔ)資源池根據(jù)所述第三存儲(chǔ)位置、以及所述第三存儲(chǔ)位置與第四存儲(chǔ)位置之間的映射關(guān)系來獲得第四存儲(chǔ)位置,并從所述第四存儲(chǔ)位置來讀取到的,所述第四存儲(chǔ)位置為所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。

結(jié)合第一方面以及第一方面的第三種可能的實(shí)現(xiàn)方式,在第一方面的第四種可能的實(shí)現(xiàn)方式中,所述元數(shù)據(jù)模塊中預(yù)先保存有所述目標(biāo)數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)表中的位置信息與所述目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在所述存儲(chǔ)資源池中的所述第三存儲(chǔ)位置的歸屬關(guān)系;

所述存儲(chǔ)資源池中預(yù)先保存有所述目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在所述存儲(chǔ)資源池中對(duì)應(yīng)的所述第三存儲(chǔ)位置與所述目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的所述第四存儲(chǔ)位置的映射關(guān)系。,

本發(fā)明實(shí)施例第二方面提供了一種征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng),包括:

第一接收模塊,用于接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求;

第一判斷模塊,用于判斷所述目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù);

查詢模塊,用于在所述目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù),根據(jù)所述目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù);

分配模塊,用于根據(jù)所述存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù)、所述目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法為所述目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置,所述第一存儲(chǔ)位置為所述目標(biāo)數(shù)據(jù)在所述存儲(chǔ)資源池中的存儲(chǔ)位置;

第一確定模塊,用于根據(jù)所述目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及所述第一存儲(chǔ)位置確定所述目標(biāo)數(shù)據(jù)的寫入操作;

發(fā)送模塊,用于發(fā)送所述寫入操作至所述存儲(chǔ)資源池;

所述第一接收模塊還用于接收所述存儲(chǔ)資源池生成的寫入操作結(jié)果,所述寫入操作結(jié)果為所述存儲(chǔ)資源池根據(jù)所述目標(biāo)數(shù)據(jù)的寫入操作將所述目標(biāo)數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)位置,并建立所述第一存儲(chǔ)位置與所述第二存儲(chǔ)位置的映射關(guān)系后生成,所述第二存儲(chǔ)位置為所述目標(biāo)數(shù)據(jù)在所述目標(biāo)數(shù)據(jù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。

第一處理模塊,用于根據(jù)所述寫入操作結(jié)果將所述第一存儲(chǔ)位置保存至所述元數(shù)據(jù)模塊中并將所述寫入操作結(jié)果發(fā)送至所述應(yīng)用系統(tǒng)。

從以上技術(shù)方案可以看出,本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn):存儲(chǔ)虛擬化,將數(shù)據(jù)資源中的結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群虛擬化為一個(gè)統(tǒng)一的存儲(chǔ)資源池,當(dāng)應(yīng)用系統(tǒng)請(qǐng)求寫入的數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時(shí),可以將該結(jié)構(gòu)化數(shù)據(jù)寫入結(jié)構(gòu)化數(shù)據(jù)集群,結(jié)構(gòu)化數(shù)據(jù)集群為結(jié)構(gòu)化數(shù)據(jù)提供實(shí)際的物理存儲(chǔ)空間,當(dāng)應(yīng)用系統(tǒng)請(qǐng)求寫入的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時(shí),可以將該非結(jié)構(gòu)化數(shù)據(jù)寫入非結(jié)構(gòu)化數(shù)據(jù)集群,非結(jié)構(gòu)化數(shù)據(jù)集群為非結(jié)構(gòu)化數(shù)據(jù)提供實(shí)際的物理存儲(chǔ)空間,只要存儲(chǔ)空間足夠,則應(yīng)用系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)都可以寫入存儲(chǔ),滿足數(shù)據(jù)多樣化的存儲(chǔ)要求。

附圖說明

圖1為本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度方法的系統(tǒng)部署結(jié)構(gòu)示意圖;

圖2為本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度方法中數(shù)據(jù)寫入的實(shí)施例示意圖;

圖3為本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度方法中數(shù)據(jù)讀取的實(shí)施例示意圖;

圖4為本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)的一個(gè)實(shí)施例示意圖;

圖5為本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)的另一實(shí)施例示意圖。

具體實(shí)施方式

本發(fā)明實(shí)施例提供了一種征信數(shù)據(jù)存儲(chǔ)調(diào)度方法與系統(tǒng),用于滿足數(shù)據(jù)多樣性的存儲(chǔ)要求。

本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”、“第三”、“第四”等(如果存在)是用于區(qū)別類似的對(duì)象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的實(shí)施例能夠以除了在這里圖示或描述的內(nèi)容以外的順序?qū)嵤4送?,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

請(qǐng)參閱圖1,本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度方法的系統(tǒng)部署的結(jié)構(gòu)示意圖,主要由應(yīng)用系統(tǒng)、征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)以及數(shù)據(jù)資源中心組成,其中:

1、應(yīng)用系統(tǒng):包括企業(yè)征信系統(tǒng),指為企業(yè)用戶提供征信服務(wù)的系統(tǒng),可生成企業(yè)征信數(shù)據(jù)。

2、征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng):是指整合非結(jié)構(gòu)化和結(jié)構(gòu)化的存儲(chǔ)集群,對(duì)存儲(chǔ)集群的儲(chǔ)存資源進(jìn)行封裝,虛擬化為統(tǒng)一的共享存儲(chǔ)資源池,該存儲(chǔ)資源池可集中存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),為企業(yè)征信系統(tǒng)提供征信數(shù)據(jù)存儲(chǔ)服務(wù),包括元數(shù)據(jù)模塊、存儲(chǔ)調(diào)度模塊以及存儲(chǔ)資源池,其中原數(shù)據(jù)模塊主要負(fù)責(zé)保存數(shù)據(jù)在存儲(chǔ)資源池的存儲(chǔ)位置信息以及保存存儲(chǔ)資源池中的已用和空閑的情況;存儲(chǔ)調(diào)度模塊主要負(fù)責(zé)接收應(yīng)用系統(tǒng)的數(shù)據(jù)讀寫請(qǐng)求,并結(jié)合現(xiàn)有的存儲(chǔ)布局,將數(shù)據(jù)讀取請(qǐng)求快讀定位到已存的數(shù)據(jù),將數(shù)據(jù)寫入請(qǐng)求分配到存儲(chǔ)資源池的空閑存儲(chǔ)位置;存儲(chǔ)資源池為一個(gè)虛擬的存儲(chǔ)空間,負(fù)責(zé)對(duì)接物理存儲(chǔ)設(shè)備,并管理數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置與該數(shù)據(jù)在物理存儲(chǔ)設(shè)備中的實(shí)際位置的映射關(guān)系。

3、數(shù)據(jù)資源中心:指提供實(shí)際存儲(chǔ)空間的物理存儲(chǔ)設(shè)備,包括非結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群,結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群采用了分布式集群架構(gòu),當(dāng)儲(chǔ)存空間不夠時(shí),可以增加結(jié)構(gòu)化數(shù)據(jù)集群中的整合庫(kù)以及增加非結(jié)構(gòu)化數(shù)據(jù)集群中的數(shù)據(jù)節(jié)點(diǎn)來增加存儲(chǔ)容量;非結(jié)構(gòu)化數(shù)據(jù)集群存儲(chǔ)非結(jié)構(gòu)化征信數(shù)據(jù),如從各種征信數(shù)據(jù)源采集的txt格式、html格式、xm格式等數(shù)據(jù)文件,或企業(yè)征信系統(tǒng)生成的征信報(bào)告pdf文件等;結(jié)構(gòu)化數(shù)據(jù)集群存儲(chǔ)結(jié)構(gòu)化征信數(shù)據(jù),如企業(yè)用戶的注冊(cè)信息,即從txt、html、xml等數(shù)據(jù)文件中提取的企業(yè)基本信息、企業(yè)經(jīng)營(yíng)信息等需要保存到數(shù)據(jù)表的數(shù)據(jù)。

請(qǐng)參閱圖2,本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度方法中數(shù)據(jù)寫入的實(shí)施例包括:

201、接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求。

本實(shí)施例中,當(dāng)企業(yè)征信系統(tǒng)請(qǐng)求保存目標(biāo)數(shù)據(jù)時(shí),該目標(biāo)數(shù)據(jù)可以為某企業(yè)的一份企業(yè)征信報(bào)告,也可以為該企業(yè)征信系統(tǒng)采集到的一個(gè)稅務(wù)數(shù)據(jù),征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)中的存儲(chǔ)調(diào)度模塊可以接收企業(yè)征信系統(tǒng)發(fā)起的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求。

202、判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù),若是,則執(zhí)行步驟203至步驟207,若否,則執(zhí)行步驟208至步驟211。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊在接收到目標(biāo)數(shù)據(jù)之后,可以判斷該目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù),若是,則執(zhí)行步驟203至步驟207,若否,則執(zhí)行步驟208至步驟211。

203、根據(jù)目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù)。

本實(shí)施例中,當(dāng)存儲(chǔ)調(diào)度模塊確定該目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時(shí),可以根據(jù)該目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)的存儲(chǔ)布局的元數(shù)據(jù),即存儲(chǔ)資源池中哪些位置是有數(shù)據(jù)的,哪些位置是可以寫入數(shù)據(jù)。

204、根據(jù)存儲(chǔ)資源池現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù)、目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法為目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊根據(jù)查詢獲取的存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)存儲(chǔ)布局的元數(shù)據(jù),結(jié)合目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法(例如先來先服務(wù)、最短優(yōu)先、高優(yōu)先權(quán)優(yōu)先調(diào)度算法、高響應(yīng)比優(yōu)先調(diào)度算法、基于時(shí)間片的輪轉(zhuǎn)調(diào)度算法或者電梯調(diào)度算法等算法)為目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置,該第一存儲(chǔ)位置為目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置。

205、根據(jù)第一存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊在確定第一存儲(chǔ)位置后,可以根據(jù)第一存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作,例如,當(dāng)確定存儲(chǔ)資源池中的a位置為可以寫入數(shù)據(jù)的位置,可以請(qǐng)求將目標(biāo)數(shù)據(jù)寫入存儲(chǔ)資源池中的a位置。

206、接收存儲(chǔ)資源池生成的寫入操作結(jié)果。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊可以接收存儲(chǔ)資源池生成的寫入操作結(jié)果。即存儲(chǔ)資源池在接收到目標(biāo)數(shù)據(jù)的寫入操作之后,將目標(biāo)數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)位置,并建立第一存儲(chǔ)位置與第二存儲(chǔ)位置的映射關(guān)系(即目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置與目標(biāo)數(shù)據(jù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的實(shí)際存儲(chǔ)位置的映射關(guān)系),該物理設(shè)備為半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化的數(shù)據(jù)提供實(shí)際的存儲(chǔ)空間,即非結(jié)構(gòu)化數(shù)據(jù)集群,采用分布式集群架構(gòu),方便橫向擴(kuò)展存儲(chǔ)資源,該第二存儲(chǔ)位置為目標(biāo)數(shù)據(jù)在目標(biāo)數(shù)據(jù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。例如,根據(jù)數(shù)據(jù)寫入請(qǐng)求要求保存一份大小為5m的企業(yè)征信報(bào)告,存儲(chǔ)調(diào)度模塊為該請(qǐng)求分配了對(duì)應(yīng)的存儲(chǔ)位置為a,該存儲(chǔ)位置是存儲(chǔ)資源池的一個(gè)存儲(chǔ)位置;存儲(chǔ)資源池將企業(yè)征信報(bào)告發(fā)送到對(duì)應(yīng)的物理存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ),存儲(chǔ)的位置為l1,完成存儲(chǔ)后,在存儲(chǔ)資源池建立a與l1的映射關(guān)系。

需要說明的是,物理存儲(chǔ)設(shè)備可以分為兩種,一種為非結(jié)構(gòu)化數(shù)據(jù)集群,用于存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù),另一種為結(jié)構(gòu)化數(shù)據(jù)集群,用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。

207、根據(jù)寫入操作結(jié)果將第一存儲(chǔ)位置保存至元數(shù)據(jù)模塊中并將寫入操作結(jié)果發(fā)送至應(yīng)用系統(tǒng)。

本實(shí)施例中,征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)中的存儲(chǔ)調(diào)度模塊在目標(biāo)數(shù)據(jù)的保存至對(duì)應(yīng)的物理存儲(chǔ)設(shè)備之后,將目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置保存到元數(shù)據(jù)模塊,例如將企業(yè)征信報(bào)告對(duì)應(yīng)的存儲(chǔ)位置a保存到元數(shù)據(jù)模塊,這樣就相當(dāng)于標(biāo)記該存儲(chǔ)位置已用,且可用于數(shù)據(jù)讀取時(shí)快速定位,并將目標(biāo)數(shù)據(jù)的寫入結(jié)果返回給應(yīng)用系統(tǒng),即告訴應(yīng)用系統(tǒng)該目標(biāo)數(shù)據(jù)已成功進(jìn)行保存。

208、從元數(shù)據(jù)模塊中獲取目標(biāo)數(shù)據(jù)的歸屬信息。

本實(shí)施例中,當(dāng)確定目標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時(shí),征信數(shù)據(jù)調(diào)度系統(tǒng)中的存儲(chǔ)調(diào)度模塊可以從元數(shù)據(jù)模塊中查詢目標(biāo)數(shù)據(jù)的歸屬信息,例如請(qǐng)求新增加一條數(shù)據(jù)到某個(gè)數(shù)據(jù)表中,即可以從元數(shù)據(jù)模塊中查詢?cè)摋l數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表、歸屬的數(shù)據(jù)庫(kù)、及該數(shù)據(jù)表在存儲(chǔ)資源池對(duì)應(yīng)的存儲(chǔ)位置等信息。

209、根據(jù)目標(biāo)數(shù)據(jù)歸屬信息確定目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的目標(biāo)存儲(chǔ)位置。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊根據(jù)目標(biāo)數(shù)據(jù)的歸屬信息可以確定目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的目標(biāo)存儲(chǔ)位置,即確定目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的存儲(chǔ)位置。

210、根據(jù)目標(biāo)存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊根據(jù)目標(biāo)存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作,即請(qǐng)求將目標(biāo)數(shù)據(jù)寫入存儲(chǔ)資源池中的目標(biāo)數(shù)據(jù)表內(nèi)。

211、接收存儲(chǔ)資源池生成的目標(biāo)數(shù)據(jù)的寫入操作結(jié)果,并將目標(biāo)數(shù)據(jù)的寫入操作結(jié)果發(fā)送至應(yīng)用系統(tǒng)。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊請(qǐng)求將目標(biāo)數(shù)據(jù)寫入存儲(chǔ)資源池中的目標(biāo)數(shù)據(jù)表,存儲(chǔ)資源池接收目標(biāo)數(shù)據(jù)的寫入操作根據(jù)預(yù)置的目標(biāo)存儲(chǔ)映射關(guān)系將目標(biāo)數(shù)據(jù)發(fā)送到目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)(該目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備為結(jié)構(gòu)化數(shù)據(jù)提供實(shí)際的物理存儲(chǔ)空間,即結(jié)構(gòu)化數(shù)據(jù)集群,采用分布式集群架構(gòu),方便橫向擴(kuò)展存儲(chǔ)資源),并返回目標(biāo)數(shù)據(jù)的寫入操作結(jié)果,存儲(chǔ)調(diào)度模塊可以接收到目標(biāo)數(shù)據(jù)的寫入操作結(jié)果,并將該寫入操作結(jié)果返回應(yīng)用系統(tǒng),該目標(biāo)存儲(chǔ)映射關(guān)系為目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的存儲(chǔ)位置與目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置的映射關(guān)系。

綜上所述,可以看出,首先存儲(chǔ)虛擬化,將數(shù)據(jù)資源中的結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群虛擬化為一個(gè)統(tǒng)一的存儲(chǔ)資源池,只要存儲(chǔ)空間足夠,則應(yīng)用系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)都可以寫入存儲(chǔ)。其次,底層的結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群采用了分布式集群架構(gòu),當(dāng)存儲(chǔ)資源池的存儲(chǔ)空間不夠時(shí),可以通過橫向擴(kuò)展,即在數(shù)據(jù)資源中心的結(jié)構(gòu)化數(shù)據(jù)集群中的增加整合庫(kù)或者在非結(jié)構(gòu)化數(shù)據(jù)集群中來增加數(shù)據(jù)節(jié)點(diǎn),來增加存儲(chǔ)容量,從而實(shí)現(xiàn)在邏輯上的數(shù)據(jù)容量無上限,充分體現(xiàn)存儲(chǔ)虛擬化的優(yōu)勢(shì)。

請(qǐng)參閱圖3,本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度方法中數(shù)據(jù)讀取的實(shí)施例包括:

301、接收應(yīng)用系統(tǒng)發(fā)送的目標(biāo)數(shù)據(jù)的讀取請(qǐng)求。

本實(shí)施例中,當(dāng)企業(yè)征信系統(tǒng)請(qǐng)求讀取目標(biāo)數(shù)據(jù)時(shí),存儲(chǔ)調(diào)度模塊可以接收企業(yè)征信系統(tǒng)發(fā)起的目標(biāo)數(shù)據(jù)的讀取請(qǐng)求,例如企業(yè)征信系統(tǒng)請(qǐng)求讀取某企業(yè)用戶的一份企業(yè)征信報(bào)告;又例如企業(yè)征信系統(tǒng)請(qǐng)求讀取一個(gè)已采集的原始稅務(wù)數(shù)據(jù)文件。

302、判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù),若是,則執(zhí)行步驟303至步驟305,若否,則執(zhí)行步驟306至步驟309。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊可以判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù),若是,則執(zhí)行步驟303至步驟305,若否,則執(zhí)行步驟306至步驟309。

303、根據(jù)目標(biāo)數(shù)據(jù)的讀取請(qǐng)求從元數(shù)據(jù)模塊中獲取目標(biāo)元數(shù)據(jù)。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊接收目標(biāo)數(shù)據(jù)的讀取請(qǐng)求,從元數(shù)據(jù)模塊查詢目標(biāo)數(shù)據(jù)的目標(biāo)元數(shù)據(jù),該目標(biāo)元數(shù)據(jù)為目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的第一存儲(chǔ)位置,元數(shù)據(jù)模塊將目標(biāo)元數(shù)據(jù)返回給存儲(chǔ)調(diào)度模塊,例如該目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置為b,元數(shù)據(jù)模塊返回的目標(biāo)元數(shù)據(jù)即為該目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置b。

304、根據(jù)目標(biāo)元數(shù)據(jù)向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊根據(jù)查詢獲取的目標(biāo)元數(shù)據(jù)向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作,即根據(jù)目標(biāo)元數(shù)據(jù)向存儲(chǔ)資源池請(qǐng)求從目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置讀取目標(biāo)數(shù)據(jù)。

305、接收存儲(chǔ)資源池讀取到的目標(biāo)數(shù)據(jù)并將目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng)。

本實(shí)施例中,存儲(chǔ)資源池接收到目標(biāo)數(shù)據(jù)的讀取操作后,根據(jù)第一存儲(chǔ)位置、以及第一存儲(chǔ)位置與第二存儲(chǔ)位置之間的映射關(guān)系來獲得第二存儲(chǔ)位置,并通過第二存儲(chǔ)位置獲得目標(biāo)數(shù)據(jù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置,并從目標(biāo)數(shù)據(jù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置讀取該目標(biāo)數(shù)據(jù),例如根據(jù)獲取目標(biāo)數(shù)據(jù)的元數(shù)據(jù),該目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池的存儲(chǔ)位置是b,在根據(jù)該存儲(chǔ)位置b映射的物理存儲(chǔ)設(shè)備的實(shí)際存儲(chǔ)位置l2,并從l2中讀取目標(biāo)數(shù)據(jù),在讀取到目標(biāo)數(shù)據(jù)之后,可以將該目標(biāo)數(shù)據(jù)返回給存儲(chǔ)調(diào)度模塊,存儲(chǔ)調(diào)度模塊將該目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng)。

306、從元數(shù)據(jù)模塊中獲取目標(biāo)數(shù)據(jù)的歸屬信息。

本實(shí)施例中,當(dāng)確定目標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時(shí),存儲(chǔ)調(diào)度模塊可以從元數(shù)據(jù)模塊中查詢目標(biāo)數(shù)據(jù)的歸屬信息,例如請(qǐng)求從某個(gè)數(shù)據(jù)表讀取一條數(shù)據(jù),即可以從元數(shù)據(jù)模塊中查詢?cè)摋l數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表、歸屬的數(shù)據(jù)庫(kù)、以及該數(shù)據(jù)表在存儲(chǔ)資源池對(duì)應(yīng)的存儲(chǔ)位置等信息。

307、根據(jù)目標(biāo)數(shù)據(jù)的歸屬信息確定目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的第三存儲(chǔ)位置。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊根據(jù)目標(biāo)數(shù)據(jù)的歸屬信息可以確定目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的第三存儲(chǔ)位置,即確定目標(biāo)數(shù)據(jù)表在存儲(chǔ)資源池中的存儲(chǔ)位置。

308、根據(jù)第三存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊根據(jù)第三存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作,即請(qǐng)求從存儲(chǔ)資源池的第三存儲(chǔ)位置中讀取該目標(biāo)數(shù)據(jù)。

309、接收存儲(chǔ)資源池讀取到的目標(biāo)數(shù)據(jù),且將目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng)。

本實(shí)施例中,存儲(chǔ)調(diào)度模塊向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作,存儲(chǔ)資源池接收到目標(biāo)數(shù)據(jù)的讀取操作,存儲(chǔ)資源池根據(jù)第三存儲(chǔ)位置、以及第三儲(chǔ)存位置與第四存儲(chǔ)位置之間的映射關(guān)系來獲得第四存儲(chǔ)位置,并從該第四存儲(chǔ)位置讀取到目標(biāo)數(shù)據(jù),該第四存儲(chǔ)位置為目標(biāo)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置,在從第四存儲(chǔ)位置獲取到目標(biāo)數(shù)據(jù)之后,存儲(chǔ)資源池將該目標(biāo)數(shù)據(jù)發(fā)送至存儲(chǔ)調(diào)度模塊,存儲(chǔ)調(diào)度模塊將該目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng)。

需要說明的是,元數(shù)據(jù)模塊中預(yù)先保存有目標(biāo)數(shù)據(jù)在目標(biāo)數(shù)據(jù)表中的位置信息與目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的第三存儲(chǔ)位置的歸屬關(guān)系;存儲(chǔ)資源池中預(yù)先保存有目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中對(duì)應(yīng)的第三存儲(chǔ)位置與目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置的映射關(guān)系,即數(shù)據(jù)表的歸屬信息、數(shù)據(jù)表存儲(chǔ)位置的映射關(guān)系,在物理設(shè)備中創(chuàng)建數(shù)據(jù)庫(kù)時(shí),預(yù)先保存到元數(shù)據(jù)模塊和存儲(chǔ)資源池中。

綜上所述,可以看出,企業(yè)征信數(shù)據(jù)進(jìn)行征信數(shù)據(jù)讀取操作都可以通過元數(shù)據(jù)模塊來快速定位以及獲取到讀取位置,然后應(yīng)用系統(tǒng)可以讀取到所需要的數(shù)據(jù),底層的結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群采用了分布式集群架構(gòu),當(dāng)存儲(chǔ)資源池的存儲(chǔ)空間不夠時(shí),可以通過橫向擴(kuò)展,即在數(shù)據(jù)資源中心的結(jié)構(gòu)化數(shù)據(jù)集群中的增加整合庫(kù)或者在非結(jié)構(gòu)化數(shù)據(jù)集群中來增加數(shù)據(jù)節(jié)點(diǎn),來增加存儲(chǔ)容量,從而實(shí)現(xiàn)在邏輯上的數(shù)據(jù)容量無上限,充分體現(xiàn)存儲(chǔ)虛擬化的優(yōu)勢(shì)。

上面從征信數(shù)據(jù)存儲(chǔ)調(diào)度方法的角度對(duì)本發(fā)明實(shí)施例進(jìn)行描述,下面從征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)的角度對(duì)本發(fā)明實(shí)施例進(jìn)行描述。

請(qǐng)參閱圖4,圖4為本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)的一個(gè)實(shí)施例示意圖,該征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)包括:

第一接收模塊401,用于接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求;

第一判斷模塊402,用于判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù);

查詢模塊403,用于在目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù),根據(jù)目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)的存儲(chǔ)布局;

分配模塊404,用于根據(jù)存儲(chǔ)資源池中的存儲(chǔ)布局、目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法為目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置,第一存儲(chǔ)位置為目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的存儲(chǔ)位置;

第一處理模塊405,根據(jù)第一存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作;

第一處理模塊405還用于接收存儲(chǔ)資源池生成的寫入操作結(jié)果,寫入操作結(jié)果為存儲(chǔ)資源池根據(jù)目標(biāo)數(shù)據(jù)的寫入操作將目標(biāo)數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)位置,并建立第一存儲(chǔ)位置與第二存儲(chǔ)位置的映射關(guān)系后生成,第二存儲(chǔ)位置為目標(biāo)數(shù)據(jù)在目標(biāo)數(shù)據(jù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。

第二處理模塊406,用于根據(jù)寫入操作結(jié)果將第一存儲(chǔ)位置保存至元數(shù)據(jù)模塊中并將寫入操作結(jié)果發(fā)送至應(yīng)用系統(tǒng)。

為了便于理解,下面結(jié)合圖5進(jìn)行詳細(xì)說明。

請(qǐng)參閱圖5,本發(fā)明實(shí)施例中征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)的另一實(shí)施例包括:

第一接收模塊501,用于接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求;

第一判斷模塊502,用于判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù);

查詢模塊503,用于在目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù),根據(jù)目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中現(xiàn)有數(shù)據(jù)的存儲(chǔ)布局;

分配模塊504,用于根據(jù)存儲(chǔ)資源池中的存儲(chǔ)布局、目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法為目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置,第一存儲(chǔ)位置為目標(biāo)數(shù)據(jù)在所存儲(chǔ)資源池中的存儲(chǔ)位置;

第一處理模塊505,根據(jù)第一存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作;

第一處理模塊505還用于接收存儲(chǔ)資源池生成的寫入操作結(jié)果,寫入操作結(jié)果為存儲(chǔ)資源池根據(jù)目標(biāo)數(shù)據(jù)的寫入操作將目標(biāo)數(shù)據(jù)存儲(chǔ)至第二存儲(chǔ)位置,并建立第一存儲(chǔ)位置與第二存儲(chǔ)位置的映射關(guān)系后生成,第二存儲(chǔ)位置為目標(biāo)數(shù)據(jù)在目標(biāo)數(shù)據(jù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。

第二處理模塊506,用于根據(jù)寫入操作結(jié)果將第一存儲(chǔ)位置保存至元數(shù)據(jù)模塊中并將寫入操作結(jié)果發(fā)送至應(yīng)用系統(tǒng);

第一獲取模塊507,用于在目標(biāo)數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)時(shí),從元數(shù)據(jù)模塊中獲取目標(biāo)數(shù)據(jù)的歸屬信息;

第一確定模塊508,用于根據(jù)目標(biāo)數(shù)據(jù)的歸屬信息確定目標(biāo)數(shù)據(jù)所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表在存儲(chǔ)資源池中的目標(biāo)存儲(chǔ)位置;

第三處理模塊509,用于根據(jù)目標(biāo)存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作;

第三處理模塊509,還用于接收存儲(chǔ)資源池生成的目標(biāo)數(shù)據(jù)的寫入操作結(jié)果,并將目標(biāo)數(shù)據(jù)的寫入操作結(jié)果發(fā)送至應(yīng)用系統(tǒng),目標(biāo)數(shù)據(jù)的寫入操作結(jié)果為存儲(chǔ)資源池根據(jù)目標(biāo)存儲(chǔ)位置映射關(guān)系將目標(biāo)數(shù)據(jù)發(fā)送至目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)之后生成,目標(biāo)存儲(chǔ)位置映射關(guān)系為目標(biāo)數(shù)據(jù)表在存儲(chǔ)資源池中的存儲(chǔ)位置與目標(biāo)數(shù)據(jù)表在目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置的映射關(guān)系;

第二接收模塊510,用于接收應(yīng)用系統(tǒng)發(fā)送的目標(biāo)數(shù)據(jù)的讀取請(qǐng)求;

第二判斷模塊511,用于判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù);

第二獲取模塊512,用于目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時(shí),根據(jù)目標(biāo)數(shù)據(jù)的讀取請(qǐng)求從元數(shù)據(jù)模塊中獲取目標(biāo)元數(shù)據(jù),目標(biāo)元數(shù)據(jù)為目標(biāo)數(shù)據(jù)在存儲(chǔ)資源池中的第一存儲(chǔ)位置;

第四處理模塊513,用于根據(jù)目標(biāo)元數(shù)據(jù)向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作;

第四處理模塊513,還用于接收存儲(chǔ)資源池讀取到的目標(biāo)數(shù)據(jù)并將目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng),目標(biāo)數(shù)據(jù)為存儲(chǔ)資源池根據(jù)第一存儲(chǔ)位置、以及第一存儲(chǔ)位置與第二存儲(chǔ)位置之間的映射關(guān)系來獲得第二存儲(chǔ)位置,并通過第二存儲(chǔ)位置獲得目標(biāo)數(shù)據(jù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置來讀取到的;

第三獲取模塊514,用于從元數(shù)據(jù)模塊獲取所述目標(biāo)數(shù)據(jù)的歸屬信息;

第二確定模塊515,用于根據(jù)目標(biāo)數(shù)據(jù)的歸屬信息確定目標(biāo)數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的第三存儲(chǔ)位置;

第五處理模塊516,用于根據(jù)第三存儲(chǔ)位置向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作;

第五處理模塊516,還用于接收存儲(chǔ)資源池讀取到的目標(biāo)數(shù)據(jù),且將目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng),目標(biāo)數(shù)據(jù)為存儲(chǔ)資源池根據(jù)第三存儲(chǔ)位置、以及第三存儲(chǔ)位置與第四存儲(chǔ)位置之間的映射關(guān)系來獲得第四存儲(chǔ)位置,并從第四存儲(chǔ)位置來讀取到的,第四存儲(chǔ)位置為目標(biāo)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的存儲(chǔ)位置。

其中,該元數(shù)據(jù)模塊中預(yù)先保存有目標(biāo)數(shù)據(jù)在目標(biāo)數(shù)據(jù)表中的位置信息與目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中的第三存儲(chǔ)位置的歸屬關(guān)系;存儲(chǔ)資源池中預(yù)先保存有目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)在存儲(chǔ)資源池中對(duì)應(yīng)的存儲(chǔ)位置與目標(biāo)數(shù)據(jù)表在目標(biāo)數(shù)據(jù)表所屬的數(shù)據(jù)庫(kù)對(duì)應(yīng)的物理存儲(chǔ)設(shè)備中的第四存儲(chǔ)位置的映射關(guān)系。

本實(shí)施例中的征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)的各模塊與單元之間的交互方式如前述圖2以及圖3所示實(shí)施例中的描述,具體此處不再贅述。

綜上所述,當(dāng)企業(yè)征信系統(tǒng)需要寫入數(shù)據(jù)時(shí),征信數(shù)據(jù)存儲(chǔ)調(diào)度系統(tǒng)中的存儲(chǔ)調(diào)度模塊通過第一接收模塊501接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的寫入請(qǐng)求,通過第一判斷模塊502判斷該目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù),通過查詢模塊503在目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)數(shù)據(jù)時(shí),根據(jù)目標(biāo)數(shù)據(jù)的寫入請(qǐng)求從元數(shù)據(jù)模塊中查詢存儲(chǔ)資源池中的存儲(chǔ)布局,通過分配模塊504根據(jù)存儲(chǔ)資源池中的存儲(chǔ)布局、目標(biāo)數(shù)據(jù)的寫入請(qǐng)求以及預(yù)置的調(diào)度算法為目標(biāo)數(shù)據(jù)分配第一存儲(chǔ)位置,通過第一處理模塊504,根據(jù)第一存儲(chǔ)模塊箱存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的寫入操作并接收存儲(chǔ)資源池生成的寫入操作結(jié)果,當(dāng)需要進(jìn)行征信數(shù)據(jù)的讀取操作時(shí),可以通過第二接收模塊510接收應(yīng)用系統(tǒng)發(fā)出的目標(biāo)數(shù)據(jù)的讀取請(qǐng)求,通過第二判斷模塊511判斷目標(biāo)數(shù)據(jù)是否為非結(jié)構(gòu)化數(shù)據(jù),通過第二獲取模塊512在目標(biāo)數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)時(shí),根據(jù)目標(biāo)數(shù)據(jù)的讀取請(qǐng)求從元數(shù)據(jù)模塊中獲取目標(biāo)元數(shù)據(jù),通過第四處理模塊513根據(jù)目標(biāo)元數(shù)據(jù)向存儲(chǔ)資源池發(fā)起目標(biāo)數(shù)據(jù)的讀取操作并接收存儲(chǔ)資源池讀取到的目標(biāo)數(shù)據(jù),且將目標(biāo)數(shù)據(jù)發(fā)送至應(yīng)用系統(tǒng)??梢钥闯?,首先是將存儲(chǔ)虛擬化,將數(shù)據(jù)資源中的結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群虛擬化為一個(gè)統(tǒng)一的存儲(chǔ)資源池,只要存儲(chǔ)空間足夠,則應(yīng)用系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)都可以寫入存儲(chǔ),數(shù)據(jù)的讀取操作,也可以通過元數(shù)據(jù)模塊來獲取到讀取位置,然后應(yīng)用系統(tǒng)可以讀取到所需的數(shù)據(jù)。其次,底層的結(jié)構(gòu)化數(shù)據(jù)集群和非結(jié)構(gòu)化數(shù)據(jù)集群采用了分布式集群架構(gòu),當(dāng)存儲(chǔ)資源池的存儲(chǔ)空間不夠時(shí),可以通過橫向擴(kuò)展,即在數(shù)據(jù)資源中心的結(jié)構(gòu)化數(shù)據(jù)集群中的增加整合庫(kù)或者在非結(jié)構(gòu)化數(shù)據(jù)集群中來增加數(shù)據(jù)節(jié)點(diǎn),來增加存儲(chǔ)容量,從而實(shí)現(xiàn)在邏輯上的數(shù)據(jù)容量無上限,充分體現(xiàn)存儲(chǔ)虛擬化的優(yōu)勢(shì)。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡(jiǎn)潔,上述描述的系統(tǒng),裝置和單元的具體工作過程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程,在此不再贅述。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom,read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
滦南县| 靖州| 金溪县| 祁东县| 江门市| 盐池县| 普兰店市| 临沭县| 安义县| 碌曲县| 民和| 怀宁县| 万源市| 望都县| 自治县| 封丘县| 德令哈市| 平凉市| 神木县| 丹寨县| 齐河县| 浏阳市| 新闻| 长沙县| 石首市| 新丰县| 温州市| 金溪县| 鄂州市| 安阳县| 元朗区| 油尖旺区| 水城县| 永泰县| 宁波市| 阜康市| 上犹县| 西乌珠穆沁旗| 天水市| 靖西县| 淅川县|