欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

基于特征分析的數(shù)據(jù)存取方法、存儲(chǔ)設(shè)備及存儲(chǔ)系統(tǒng)與流程

文檔序號(hào):11250993閱讀:562來(lái)源:國(guó)知局
基于特征分析的數(shù)據(jù)存取方法、存儲(chǔ)設(shè)備及存儲(chǔ)系統(tǒng)與流程

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域,特別是涉及基于特征分析的數(shù)據(jù)存取方法、存儲(chǔ)設(shè)備及存儲(chǔ)系統(tǒng)。



背景技術(shù):

隨著互聯(lián)網(wǎng)的普及,以及涉及各個(gè)領(lǐng)域的物聯(lián)網(wǎng)和大數(shù)據(jù)運(yùn)算等科技技術(shù)的快速發(fā)展,數(shù)據(jù)的產(chǎn)生也在呈爆發(fā)式的增長(zhǎng);從而使得現(xiàn)有技術(shù)中存儲(chǔ)系統(tǒng)的性能和效率越來(lái)越無(wú)法滿足當(dāng)前的需求。

具體來(lái)說(shuō),當(dāng)前的存儲(chǔ)系統(tǒng)需要處理數(shù)據(jù)的數(shù)據(jù)量越來(lái)越大,而且,對(duì)于數(shù)據(jù)處理的效率要求也越來(lái)高?,F(xiàn)有技術(shù)中,存儲(chǔ)系統(tǒng)可以通過(guò)在一個(gè)特定的存儲(chǔ)服務(wù)器中設(shè)有的控制裝置,來(lái)對(duì)整個(gè)存儲(chǔ)系統(tǒng)的存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)的存取和管理的控制。

發(fā)明人經(jīng)過(guò)研究發(fā)現(xiàn),現(xiàn)有技術(shù)中,至少還存在以下缺陷:

隨著數(shù)據(jù)量的不斷增長(zhǎng),存儲(chǔ)系統(tǒng)的性能和效率會(huì)不斷地下降。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明所要解決的技術(shù)問(wèn)題是提高存儲(chǔ)系統(tǒng)的性能和效率,具體的:

本發(fā)明實(shí)施例提供了一種基于特征分析的數(shù)據(jù)存取方法,包括步驟:

s11、存儲(chǔ)設(shè)備在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;

s12、存儲(chǔ)設(shè)備根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與所述待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;

s13、當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與所述數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;所述條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;

s14、所述存儲(chǔ)設(shè)備根據(jù)條件文件特征值與所述預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件。

優(yōu)選的,在本發(fā)明實(shí)施例中,所述屬性特性包括:

所述存儲(chǔ)文件的獲取時(shí)間、地點(diǎn)和文件類型。

優(yōu)選的,在本發(fā)明實(shí)施例中,所述屬性特性集包括:

當(dāng)所述存儲(chǔ)文件為包括人物的圖像文件時(shí),所述屬性特性包括:人物的年齡、性別和容貌體態(tài)特點(diǎn);當(dāng)所述存儲(chǔ)文件為包括車輛的圖像文件時(shí),所述屬性特性包括:車輛的品牌和車牌號(hào)碼。

優(yōu)選的,在本發(fā)明實(shí)施例中,

所述根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表,包括:

根據(jù)所述待存儲(chǔ)文件的文件特征值生成對(duì)應(yīng)的哈希值;

建立所述待存儲(chǔ)文件的文件名與所述哈希值的位映射表。

在本發(fā)明實(shí)施例的另一面,還提供了一種基于特征分析的存儲(chǔ)設(shè)備,包括數(shù)據(jù)接口、處理器、功能單元和用于存儲(chǔ)文件的存儲(chǔ)介質(zhì);

所述數(shù)據(jù)接口包括用于與存儲(chǔ)服務(wù)器數(shù)據(jù)交互的主機(jī)接口;

所述功能單元包括:

特征解析模塊,用于在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;

關(guān)聯(lián)模塊,用于根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;

命令解析模塊,用于當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與所述數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;所述條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;

匹配模塊,用于根據(jù)條件文件特征值與所述預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件;

所述處理器用于為所述功能單元中的各模塊提供數(shù)據(jù)處理能力。

優(yōu)選的,在本發(fā)明實(shí)施例中,所述存儲(chǔ)介質(zhì)包括閃存類存儲(chǔ)單元。

優(yōu)選的,在本發(fā)明實(shí)施例中,所述數(shù)據(jù)接口還包括:

同級(jí)接口,用于實(shí)現(xiàn)與存儲(chǔ)系統(tǒng)中相鄰存儲(chǔ)設(shè)備的存儲(chǔ)介質(zhì)的數(shù)據(jù)通信連接。

優(yōu)選的,在本發(fā)明實(shí)施例中,所述主機(jī)接口包括pcie接口、sas接口、sata接口、rapid-io接口和nvme接口中的一種或任意組合;

所述同級(jí)接口包括ethernet接口、fc接口、iscsi接口和san接口中的一種或任意組合。

在本發(fā)明實(shí)施例的另一面,還提供了一種基于特征分析的存儲(chǔ)系統(tǒng),包括存儲(chǔ)服務(wù)器和存儲(chǔ)設(shè)備;

所述存儲(chǔ)設(shè)備包括數(shù)據(jù)接口、處理器、功能單元和用于存儲(chǔ)文件的存儲(chǔ)介質(zhì);

所述數(shù)據(jù)接口包括用于與存儲(chǔ)服務(wù)器數(shù)據(jù)交互的主機(jī)接口;

所述功能單元包括:

特征解析模塊,用于在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;

關(guān)聯(lián)模塊,用于根據(jù)所述待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將所述文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;

命令解析模塊,用于當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與所述數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;所述條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;

匹配模塊,用于根據(jù)條件文件特征值與所述預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件;

所述處理器用于為所述功能單元中的各模塊提供數(shù)據(jù)處理能力。

優(yōu)選的,在本發(fā)明實(shí)施例中,所述存儲(chǔ)設(shè)備包括有兩個(gè)以上。

本發(fā)明實(shí)施中的存儲(chǔ)系統(tǒng)為分布處理式結(jié)構(gòu),即,存儲(chǔ)服務(wù)器端和存儲(chǔ)設(shè)備端均具有數(shù)據(jù)處理的功能;在存儲(chǔ)文件時(shí),首先將待存儲(chǔ)的文件預(yù)先進(jìn)行特征的提取,獲取對(duì)應(yīng)的文件特征值;接著,將文件的文件名與文件特征值進(jìn)行關(guān)聯(lián),并將該關(guān)聯(lián)關(guān)系記錄至預(yù)設(shè)的映射表,然后再將文件進(jìn)行存儲(chǔ);這樣,當(dāng)進(jìn)行文件的調(diào)用和查找時(shí),存儲(chǔ)設(shè)備根據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)管理指令,可以獲取或生成相應(yīng)的條件文件特征值,接著,可以獲得可以以條件文件特征值為匹配參數(shù),通過(guò)預(yù)設(shè)的映射表在存儲(chǔ)介質(zhì)中檢索對(duì)應(yīng)目標(biāo)文件的文件名或是目標(biāo)文件在存儲(chǔ)設(shè)備的物理地址,然后再將目標(biāo)文件上傳至存儲(chǔ)服務(wù)器。

現(xiàn)有技術(shù)中,與本申請(qǐng)較為接近的基于數(shù)據(jù)內(nèi)容的存儲(chǔ)技術(shù)(contentaddressablestorage,cas)中,一般的做法是,計(jì)算生成每個(gè)數(shù)據(jù)存取單元的內(nèi)容(如一個(gè)文件或是一個(gè)數(shù)據(jù)塊)的指紋,并依據(jù)該指紋來(lái)進(jìn)行文件或數(shù)據(jù)的匹配與查找。上述現(xiàn)有技術(shù)中,雖然能夠有效地在海量數(shù)據(jù)中查找與文件或數(shù)據(jù)塊內(nèi)容完全匹配的數(shù)據(jù),但是很難實(shí)現(xiàn)對(duì)于含有某一特性的所有文件或數(shù)據(jù)進(jìn)行分類的查找和檢索。而通過(guò)本發(fā)明實(shí)施例,可以檢索出存儲(chǔ)設(shè)備中所有符合條件文件特征值的文件,從而提高了數(shù)據(jù)的檢索效率。這樣,通過(guò)本發(fā)明實(shí)施例,通過(guò)對(duì)存儲(chǔ)文件的文件特征值提取和匹配過(guò)程,可以提高文件的檢索查找效率,方便和精確的獲取所需的文件,從而提高文件檢索效率;

另一方面,由于本發(fā)明實(shí)施例可以在存儲(chǔ)設(shè)備中進(jìn)行文件管理的初步處理,可以進(jìn)行文件的初步篩選,可以有效地減少?gòu)拇鎯?chǔ)設(shè)備向存儲(chǔ)服務(wù)器的數(shù)據(jù)傳輸量,所以還可以有效地減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,提高了有效文件的傳輸效率,進(jìn)而也從另一方面提高了存儲(chǔ)系統(tǒng)的效能。

附圖說(shuō)明

為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請(qǐng)中所述數(shù)據(jù)存取方法的步驟示意圖;

圖2為本申請(qǐng)中所述存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖;

圖3為本申請(qǐng)中所述存儲(chǔ)設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。

發(fā)明人經(jīng)過(guò)研究發(fā)現(xiàn),現(xiàn)有技術(shù)中,隨著數(shù)據(jù)量的不斷增長(zhǎng),存儲(chǔ)系統(tǒng)的性能和效率會(huì)不斷地下降,究其原因,是因?yàn)閿?shù)據(jù)量的不斷增大也會(huì)相應(yīng)的增加存儲(chǔ)系統(tǒng)中存儲(chǔ)服務(wù)器的處理負(fù)荷;此外,數(shù)據(jù)量的不斷增大也會(huì)相應(yīng)的增加存儲(chǔ)單元的數(shù)量和整個(gè)存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)的數(shù)據(jù)傳輸負(fù)荷,從而也會(huì)降低整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理的執(zhí)行效能;

基于以上研究,本發(fā)明實(shí)施例提供了一種基于特征分析的數(shù)據(jù)存取方法,參考圖1至圖3,包括步驟:

s11、存儲(chǔ)設(shè)備在將獲取自存儲(chǔ)服務(wù)器的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)所述待存儲(chǔ)文件進(jìn)行文件特征分析,獲取所述待存儲(chǔ)文件的文件特征值;所述文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;所述屬性特性集包括用于表征所述存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;

在本發(fā)明實(shí)施例中,其核心思想是將整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理的處理過(guò)程分布式設(shè)計(jì)為由服務(wù)器端和終端兩部分來(lái)實(shí)現(xiàn),具體來(lái)說(shuō),一部分處理過(guò)程可以由存儲(chǔ)服務(wù)器02(作為服務(wù)器端)來(lái)完成,另一部分可以由存儲(chǔ)設(shè)備01(作為終端)來(lái)完成;比如,可以由控制存儲(chǔ)設(shè)備01完成的本地?cái)?shù)據(jù)管理可以包括對(duì)于數(shù)據(jù)的查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換等;也就是說(shuō),上述這些數(shù)據(jù)管理的運(yùn)算和處理不是由存儲(chǔ)服務(wù)器02完成的。

需要說(shuō)明的是,本發(fā)明實(shí)施例中所提及的本地?cái)?shù)據(jù)管理的幾種數(shù)據(jù)處理方式(查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換)的只是存儲(chǔ)設(shè)備01進(jìn)行數(shù)據(jù)管理處理所涉及的具體應(yīng)用的典型舉例,而非限定,本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際的需要進(jìn)行相應(yīng)的處理功能的設(shè)計(jì),這些設(shè)計(jì)并不超出本發(fā)明實(shí)施例的保護(hù)范圍。

本發(fā)明實(shí)施例中,通過(guò)存儲(chǔ)系統(tǒng)可以實(shí)現(xiàn)基于不同應(yīng)用的文件(數(shù)據(jù))的存儲(chǔ)和讀取等操作;比如,可以是存儲(chǔ)由攝像頭所獲取的視頻幀文件。

以存儲(chǔ)設(shè)備為執(zhí)行主體,文件存取的過(guò)程分為文件存儲(chǔ)過(guò)程和文件的檢索讀取過(guò)程;

根據(jù)存儲(chǔ)服務(wù)器的指令,存儲(chǔ)設(shè)備可以接收待存儲(chǔ)文件,在將待存儲(chǔ)文件進(jìn)行存儲(chǔ)之前,首先要對(duì)待存儲(chǔ)文件進(jìn)行文件特征值分析,從而獲取文件的文件特征值;本發(fā)明實(shí)施例中,文件特征值是指預(yù)定義的用于表征存儲(chǔ)文件的屬性特征的屬性特性集,在實(shí)際應(yīng)用中,文件屬性特征可以是多方面的,根據(jù)不同的應(yīng)用來(lái)自定義的,當(dāng)所述存儲(chǔ)文件為包括人物的圖像文件時(shí),所述屬性特性包括:人物的年齡、性別和容貌體態(tài)特點(diǎn);當(dāng)所述存儲(chǔ)文件為包括車輛的圖像文件時(shí),所述屬性特性包括:車輛的品牌和車牌號(hào)碼;比如,針對(duì)攝像頭所獲取的視頻幀文件,可以將視頻幀的圖片中的內(nèi)容特性定義為文件特征值,具體來(lái)說(shuō)可以是,可以將車輛的品牌和車牌號(hào)分別預(yù)定義為文件特征值,同時(shí),還可以分別將人物的性別、年齡或容貌體態(tài)特點(diǎn)等也當(dāng)預(yù)定義為文件特征值,將這些屬性特征構(gòu)成屬性特征集作為文件特征值;這樣,在分析待存儲(chǔ)文件的文件特性過(guò)程中,當(dāng)從圖片中包括車輛時(shí),可以在文件特征值中記錄車輛的品牌和車牌號(hào)碼,當(dāng)圖片中出現(xiàn)人物時(shí),在文件特征值中記載任務(wù)的性別年齡等特征。

此外,在實(shí)際應(yīng)用中,還可以將待存儲(chǔ)文件的其他屬性(如文件的文件類型、生成時(shí)間和地點(diǎn)等屬性)也生成相應(yīng)的文件特征值,從而可以更加全面的通過(guò)文件屬性來(lái)記載。

s12、存儲(chǔ)設(shè)備根據(jù)待存儲(chǔ)文件的文件特征值生成文件特征值記錄,并將文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表;

在獲取了待存儲(chǔ)文件的文件特性后,可以生成文件特征值記錄,文件特征值記錄可以用來(lái)記載待存儲(chǔ)文件的屬性,每個(gè)待存儲(chǔ)文件對(duì)應(yīng)有文件特征值記錄;通過(guò)將文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表,可以為后續(xù)的文件的檢索和讀取等數(shù)據(jù)管理操作提供依據(jù)。

舉例來(lái)說(shuō),文件a(文件名為a)作為待存儲(chǔ)文件,進(jìn)行了文件特征值分析后生成了對(duì)應(yīng)的文件特征值記錄為“xyz”,其中,屬性特征x的值用于標(biāo)識(shí)車輛的品牌;此時(shí)映射表中所對(duì)應(yīng)的記錄中的內(nèi)容可以包括“xyza”。

優(yōu)選的,在本發(fā)明實(shí)施例中,還可以采用哈希算法來(lái)提高文件(數(shù)據(jù))的存儲(chǔ)效率和后期的文件(數(shù)據(jù))檢索效率,具體步驟可以如下:

根據(jù)所述待存儲(chǔ)文件的文件特征值生成對(duì)應(yīng)的哈希值;

建立所述待存儲(chǔ)文件的文件名(或是存儲(chǔ)文件在存儲(chǔ)設(shè)備的物理地址)與所述哈希值的位映射表。

s13、當(dāng)存儲(chǔ)設(shè)備接收到存儲(chǔ)服務(wù)器的數(shù)據(jù)管理命令時(shí),生成與數(shù)據(jù)管理命令對(duì)應(yīng)的條件文件特征值;條件文件特征值用于表征數(shù)據(jù)管理命令所對(duì)應(yīng)的查詢條件;

本步驟記載的是文件的訪問(wèn)讀取過(guò)程;在實(shí)際應(yīng)用中,典型的數(shù)據(jù)管理命令可以是檢索命令,用于查詢特定的文件,比如,檢索命令可以用于從視頻幀數(shù)據(jù)中查詢包括品牌為“福特”的車輛視頻文件;通常,檢索命令中一般會(huì)包含“車輛品牌為福特”這一查詢條件。

此時(shí),根據(jù)檢索命令,可以獲取“車輛品牌”這一條件文件特征值,即,本次檢索的查詢條件是“車輛品牌”的取值應(yīng)當(dāng)為“福特”,即,符合上述查詢條件的存儲(chǔ)文件即為目標(biāo)文件。

s14、存儲(chǔ)設(shè)備根據(jù)條件文件特征值與預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,獲取所需的目標(biāo)文件的文件名或是目標(biāo)文件在存儲(chǔ)設(shè)備的物理地址。

根據(jù)查詢條件進(jìn)行文件名的檢索,可以找到相應(yīng)的目標(biāo)文件的文件名;比如,可以方便的查詢到包括有“福特”車的視頻文件。當(dāng)然,在本發(fā)明實(shí)施例中,查詢條件的設(shè)置是可以根據(jù)需要來(lái)設(shè)定的,不同的查詢條件可以映射為不同的文件特征值,從而可以作為文件檢索是的匹配條件。

由上可知,在本發(fā)明實(shí)施例中存儲(chǔ)系統(tǒng)為分布處理式結(jié)構(gòu),即,存儲(chǔ)服務(wù)器端和存儲(chǔ)設(shè)備端均具有數(shù)據(jù)處理的功能;在存儲(chǔ)文件時(shí),首先將待存儲(chǔ)的文件預(yù)先進(jìn)行特征的提取,并將文件的文件名與文件特征值進(jìn)行關(guān)聯(lián),然后再將文件進(jìn)行存儲(chǔ);這樣,當(dāng)進(jìn)行文件的調(diào)用和查找時(shí),存儲(chǔ)設(shè)備根據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)管理指令,可以獲取或生成相應(yīng)的文件特征值,接著,可以獲得可以以文件特征值為匹配參數(shù),在存儲(chǔ)介質(zhì)中獲取對(duì)應(yīng)的目標(biāo)文件,然后再將目標(biāo)文件上傳至存儲(chǔ)服務(wù)器。

通過(guò)本發(fā)明實(shí)施例,對(duì)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)處理過(guò)程進(jìn)行了劃分,賦予了存儲(chǔ)設(shè)備端進(jìn)行文件特征值提取和文件特征值匹配等數(shù)據(jù)功能,通過(guò)對(duì)存儲(chǔ)文件的文件特征值提取和匹配過(guò)程,首先可以提高文件的檢索查找效率,方便和精確的獲取所需的文件,從而提高文件檢索效率;另一方面,由于本發(fā)明實(shí)施例可以在存儲(chǔ)設(shè)備中進(jìn)行文件管理的初步處理,可以進(jìn)行文件的初步篩選,可以有效地減少?gòu)拇鎯?chǔ)設(shè)備向存儲(chǔ)服務(wù)器的數(shù)據(jù)傳輸量,所以還可以有效地減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,提高了有效文件的傳輸效率,進(jìn)而也從另一方面提高了存儲(chǔ)系統(tǒng)的效能。

在本發(fā)明實(shí)施實(shí)施例的另一面,還提供了一種基于特征分析的存儲(chǔ)設(shè)備,參考圖2和圖3,包括數(shù)據(jù)接口11、處理器12、功能單元13和用于存儲(chǔ)文件的存儲(chǔ)介質(zhì)14;

數(shù)據(jù)接口11包括用于與存儲(chǔ)服務(wù)器02數(shù)據(jù)交互的主機(jī)接口;

功能單元13包括:特征解析模塊(圖中未示出),用于在將獲取自存儲(chǔ)服務(wù)器02的待存儲(chǔ)文件進(jìn)行存儲(chǔ)前,對(duì)待存儲(chǔ)文件進(jìn)行文件特征值分析,獲取待存儲(chǔ)文件的文件特征值;文件特征值為根據(jù)預(yù)設(shè)規(guī)則預(yù)定義的,用于表征存儲(chǔ)文件的屬性特征的屬性特性集;屬性特性集包括用于表征存儲(chǔ)文件內(nèi)容特性的內(nèi)容特性子集;關(guān)聯(lián)模塊(圖中未示出),用于建立并存儲(chǔ)待存儲(chǔ)文件的文件特征值與文件名的對(duì)應(yīng)關(guān)系;命令解析模塊(圖中未示出),用于當(dāng)存儲(chǔ)設(shè)備接收到所述存儲(chǔ)服務(wù)器02的查詢命令時(shí),生成與所述查詢命令對(duì)應(yīng)的文件特征值;匹配模塊(圖中未示出),用于根據(jù)存儲(chǔ)文件的文件特征值與文件名的對(duì)應(yīng)關(guān)系,進(jìn)行所述文件特征值的匹配,獲取目標(biāo)文件的文件名,并獲取所述目標(biāo)文件;

處理器12用于為功能單元13中的各模塊提供數(shù)據(jù)處理能力。

在本發(fā)明實(shí)施例中,其核心思想是將整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理的處理過(guò)程分布式設(shè)計(jì)為由服務(wù)器端和終端兩部分來(lái)實(shí)現(xiàn),具體來(lái)說(shuō),一部分處理過(guò)程可以由存儲(chǔ)服務(wù)器02(作為服務(wù)器端)來(lái)完成,另一部分可以由存儲(chǔ)設(shè)備01(作為終端)來(lái)完成;比如,可以由控制存儲(chǔ)設(shè)備01完成的本地?cái)?shù)據(jù)管理可以包括對(duì)于文件的查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換等;也就是說(shuō),上述這些數(shù)據(jù)管理的運(yùn)算和處理不是由存儲(chǔ)服務(wù)器02完成的。

需要說(shuō)明的是,本發(fā)明實(shí)施例中所提及的本地?cái)?shù)據(jù)管理的幾種數(shù)據(jù)處理方式(查找、分類、分析、哈希計(jì)算和數(shù)據(jù)轉(zhuǎn)換)的只是控存儲(chǔ)設(shè)備01進(jìn)行數(shù)據(jù)管理處理所涉及的具體應(yīng)用的典型舉例,而非限定,本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際的需要進(jìn)行相應(yīng)的處理功能的設(shè)計(jì),這些設(shè)計(jì)并不超出本發(fā)明實(shí)施例的保護(hù)范圍。

本發(fā)明實(shí)施例中的存儲(chǔ)設(shè)備作為存儲(chǔ)系統(tǒng)中的一部分,通過(guò)與存儲(chǔ)服務(wù)器的網(wǎng)絡(luò)通訊來(lái)協(xié)同實(shí)現(xiàn)文件的存??;在實(shí)際應(yīng)用中,一個(gè)存儲(chǔ)服務(wù)器可以同時(shí)與多個(gè)存儲(chǔ)設(shè)備網(wǎng)絡(luò)連接構(gòu)成一個(gè)存儲(chǔ)系統(tǒng)。

本發(fā)明實(shí)施例中的存儲(chǔ)設(shè)備承擔(dān)了擔(dān)部分運(yùn)算處理功能,不但可以分擔(dān)存儲(chǔ)服務(wù)器的運(yùn)算負(fù)荷,還可以有效的減少存儲(chǔ)系統(tǒng)中的網(wǎng)絡(luò)負(fù)載,為此,本發(fā)明實(shí)施例中的存儲(chǔ)設(shè)備從硬件構(gòu)成上來(lái)說(shuō),不但需要用于與存儲(chǔ)服務(wù)器02通訊的數(shù)據(jù)接口11和數(shù)據(jù)文件的存儲(chǔ)實(shí)體(即,存儲(chǔ)介質(zhì)14),還需要包括處理器12和功能單元13,其中,處理器12用于實(shí)現(xiàn)數(shù)據(jù)的運(yùn)算處理,功能單元13則可以是用于實(shí)現(xiàn)本發(fā)明實(shí)施例中的數(shù)據(jù)文件管理功能的軟件,當(dāng)然功能軟件也可由硬件構(gòu)成。只要能夠?qū)崿F(xiàn)存儲(chǔ)設(shè)備01的數(shù)據(jù)文件管理功能即可。

在本發(fā)明實(shí)施例中,存儲(chǔ)介質(zhì)14具體可以是閃存類存儲(chǔ)單元;此外,為了進(jìn)一步減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,存儲(chǔ)設(shè)備還可以包括有同級(jí)接口,來(lái)直接與存儲(chǔ)系統(tǒng)中相鄰的存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)通信。

在實(shí)際應(yīng)用中,主機(jī)接口具體可以包括pcie接口、sas接口、sata接口、rapid-io接口和nvme接口中的一種或任意組合;級(jí)接口具體可以包括ethernet接口、fc接口、iscsi接口和san接口中的一種或任意組合。

功能單元13的具體可以描述如下:

本發(fā)明實(shí)施例中,通過(guò)存儲(chǔ)系統(tǒng)可以實(shí)現(xiàn)基于不同應(yīng)用的文件(數(shù)據(jù))的存儲(chǔ)和讀取等操作;比如,可以是存儲(chǔ)由攝像頭所獲取的視頻幀文件。

存儲(chǔ)設(shè)備01作為執(zhí)行主體時(shí),文件存取的過(guò)程分為文件存儲(chǔ)過(guò)程和文件的檢索讀取過(guò)程;

根據(jù)存儲(chǔ)服務(wù)器02的指令,存儲(chǔ)設(shè)備01可以接收待存儲(chǔ)文件,在將待存儲(chǔ)文件進(jìn)行存儲(chǔ)之前,特征解析模塊首先要對(duì)待存儲(chǔ)文件進(jìn)行文件特征值分析,從而獲取文件的文件特征值;本發(fā)明實(shí)施例中,文件特征值是指預(yù)定義的用于表征存儲(chǔ)文件的屬性特征的屬性特性集,在實(shí)際應(yīng)用中,文件屬性特征可以是多方面的,根據(jù)不同的應(yīng)用來(lái)自定義的,當(dāng)所述存儲(chǔ)文件為包括人物的圖像文件時(shí),所述屬性特性包括:人物的年齡、性別和容貌體態(tài)特點(diǎn);當(dāng)所述存儲(chǔ)文件為包括車輛的圖像文件時(shí),所述屬性特性包括:車輛的品牌和車牌號(hào)碼;比如,針對(duì)攝像頭所獲取的視頻幀文件,可以將視頻幀的圖片中的內(nèi)容特性定義為文件特征值,具體來(lái)說(shuō)可以是,可以將車輛的品牌和車牌號(hào)分別預(yù)定義為文件特征值,同時(shí),還可以分別將人物的性別、年齡或容貌體態(tài)特點(diǎn)等也當(dāng)預(yù)定義為文件特征值,將這些屬性特征構(gòu)成屬性特征集作為文件特征值;這樣,在分析待存儲(chǔ)文件的文件特性過(guò)程中,當(dāng)從圖片中包括車輛時(shí),可以在文件特征值中記錄車輛的品牌和車牌號(hào)碼,當(dāng)圖片中出現(xiàn)人物時(shí),在文件特征值中記載任務(wù)的性別年齡等特征。

此外,在實(shí)際應(yīng)用中,還可以將待存儲(chǔ)文件的其他特性(如文件的文件類型、生成時(shí)間和地點(diǎn)等屬性)也為其生成對(duì)應(yīng)的文件特征值,從而可以更加全面的通過(guò)文件屬性來(lái)記載。

在獲取了待存儲(chǔ)文件的文件特性后,關(guān)聯(lián)模塊可以生成文件特征值記錄,文件特征值記錄可以用來(lái)記載待存儲(chǔ)文件的屬性,每個(gè)待存儲(chǔ)文件對(duì)應(yīng)有文件特征值記錄;通過(guò)將文件特征值記錄以及文件特征值記錄與待存儲(chǔ)文件的對(duì)應(yīng)關(guān)系存儲(chǔ)至預(yù)設(shè)映射表,可以為后續(xù)的文件的檢索和讀取等數(shù)據(jù)管理操作提供依據(jù)。

舉例來(lái)說(shuō),文件a(文件名為a)作為待存儲(chǔ)文件,進(jìn)行了文件特征值分析后生成了對(duì)應(yīng)的文件特征值記錄為“xyz”,其中,屬性特征x的值用于標(biāo)識(shí)車輛的品牌;此時(shí)映射表中所對(duì)應(yīng)的記錄中的內(nèi)容可以包括“xyza”。

優(yōu)選的,在本發(fā)明實(shí)施例中,還可以采用哈希算法來(lái)提高文件(數(shù)據(jù))的存儲(chǔ)效率和后期的文件(數(shù)據(jù))檢索效率,具體步驟可以如下:

根據(jù)所述待存儲(chǔ)文件的文件特征值生成對(duì)應(yīng)的哈希值;

建立所述待存儲(chǔ)文件的文件名與所述哈希值的位映射表。

在實(shí)際應(yīng)用中,典型的數(shù)據(jù)管理命令可以是檢索命令,用于查詢特定的文件,比如,檢索命令可以用于從視頻幀數(shù)據(jù)中查詢包括品牌為“福特”的車輛視頻文件;通常,檢索命令中一般會(huì)包含“車輛品牌為福特”這一查詢條件。

此時(shí),命令解析模塊根據(jù)檢索命令,可以獲取“車輛品牌”這一條件文件特征值,即,本次檢索的查詢條件是“車輛品牌”的取值應(yīng)當(dāng)為“福特”,即,符合上述查詢條件的存儲(chǔ)文件即為目標(biāo)文件。

匹配模塊根據(jù)查詢條件在預(yù)設(shè)映射表中的文件特征值記錄進(jìn)行匹配,可以找到相應(yīng)的目標(biāo)文件的文件名或目標(biāo)文件在存儲(chǔ)設(shè)備的物理地址;比如,可以方便的查詢到包括有“福特”車的視頻文件。當(dāng)然,在本發(fā)明實(shí)施例中,查詢條件的設(shè)置是可以根據(jù)需要來(lái)設(shè)定的,不同的查詢條件可以映射為不同的文件特征值,從而可以作為文件檢索是的匹配條件。

由上可知,在本發(fā)明實(shí)施例中存儲(chǔ)系統(tǒng)為分布處理式結(jié)構(gòu),即,存儲(chǔ)服務(wù)器端和存儲(chǔ)設(shè)備端均具有數(shù)據(jù)處理的功能;在存儲(chǔ)文件時(shí),首先將待存儲(chǔ)的文件預(yù)先進(jìn)行特征的提取,并將文件的文件名與文件特征值進(jìn)行關(guān)聯(lián),然后再將文件進(jìn)行存儲(chǔ);這樣,當(dāng)進(jìn)行文件的調(diào)用和查找時(shí),存儲(chǔ)設(shè)備根據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)管理指令,可以獲取或生成相應(yīng)的文件特征值,接著,可以獲得可以以文件特征值為匹配參數(shù),在存儲(chǔ)介質(zhì)中獲取對(duì)應(yīng)的目標(biāo)文件,然后再將目標(biāo)文件上傳至存儲(chǔ)服務(wù)器。

通過(guò)本發(fā)明實(shí)施例,對(duì)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)處理過(guò)程進(jìn)行了劃分,賦予了存儲(chǔ)設(shè)備端進(jìn)行文件特征值提取和文件特征值匹配等數(shù)據(jù)功能,通過(guò)對(duì)存儲(chǔ)文件的文件特征值提取和匹配過(guò)程,首先可以提高文件的檢索查找效率,方便和精確的獲取所需的文件,從而提高文件檢索效率;另一方面,由于本發(fā)明實(shí)施例可以在存儲(chǔ)設(shè)備中進(jìn)行文件管理的初步處理,可以進(jìn)行文件的初步篩選,可以有效地減少?gòu)拇鎯?chǔ)設(shè)備向存儲(chǔ)服務(wù)器的數(shù)據(jù)傳輸量,所以還可以有效地減少整個(gè)存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)負(fù)載,提高了有效文件的傳輸效率,進(jìn)而也從另一方面提高了存儲(chǔ)系統(tǒng)的效能。

在本發(fā)明實(shí)施例的另一面,還提供了一種存儲(chǔ)系統(tǒng),參考圖2和圖3,存儲(chǔ)系統(tǒng)包括存儲(chǔ)設(shè)備01和存儲(chǔ)服務(wù)器02;

本發(fā)明實(shí)施例中的技術(shù)方案、工作原理和能達(dá)到的有益效果在上述存儲(chǔ)設(shè)備的實(shí)施例中已經(jīng)進(jìn)行了記載和描述,在此就不再贅述。

在本發(fā)明實(shí)施例所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過(guò)其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。

所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:u盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(rom,read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、reram、mram、pcm、nandflash,norflash,memristor、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述,以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
绥江县| 泰顺县| 崇仁县| 兰溪市| 宁城县| 敖汉旗| 镇坪县| 凤城市| 虎林市| 资溪县| 青岛市| 连云港市| 宁河县| 康马县| 蓬溪县| 沿河| 古田县| 黑河市| 玉林市| 莒南县| 娱乐| 西乌| 福贡县| 红原县| 九江市| 彭州市| 万州区| 萨迦县| 麻阳| 望谟县| 吉林市| 田林县| 搜索| 淳化县| 莱西市| 花莲市| 额尔古纳市| 德清县| 河间市| 绍兴县| 托里县|