本發(fā)明具體涉及一種面向貿(mào)易服務平臺的大數(shù)據(jù)存儲方法。
背景技術：
：目前，貿(mào)易電子商務的發(fā)展吸引了社會各界的關注，政府部門也高度關注我國貿(mào)易電子商務的未來發(fā)展，為營造一個有利于其發(fā)展的環(huán)境，各部門紛紛出臺相關措施，建立貿(mào)易服務平臺(是網(wǎng)絡服務平臺)來積極引導貿(mào)易電子商務。貿(mào)易服務平臺內(nèi)部部署了大量的數(shù)據(jù)，如交易平臺數(shù)據(jù)、生產(chǎn)企業(yè)數(shù)據(jù)、政府公告數(shù)據(jù)、物流跟蹤數(shù)據(jù)等。這些數(shù)據(jù)往往業(yè)務上相互弱關聯(lián)而存儲卻互相獨立。隨著系統(tǒng)數(shù)量的膨脹，不斷重復的保存，大量獨立的存儲信息占用大量的存儲空間，每天存儲梁可達幾個g。如何高效且安全的存儲服務平臺數(shù)據(jù)，使其更好地為社會需求服務，已成為一個迫切需要解決的問題。目前貿(mào)易服務平臺的存儲方式主要通過文件和關系型數(shù)據(jù)庫進行存儲。發(fā)明人發(fā)現(xiàn)貿(mào)易服務平臺中數(shù)據(jù)屬于非結(jié)構(gòu)化的數(shù)據(jù)，為了解決大數(shù)據(jù)存儲問題，提出一種面向貿(mào)易服務平臺的分布式數(shù)據(jù)存儲方法。技術實現(xiàn)要素：本發(fā)明的目的在于克服現(xiàn)有技術中的不足，提供了一種面向貿(mào)易服務平臺的大數(shù)據(jù)存儲方法，占用空間小，查找文件方便。為解決上述技術問題，本發(fā)明提供了一種面向貿(mào)易服務平臺的大數(shù)據(jù)存儲方法，包括以下步驟：步驟s1，從待存儲的文件中選取符合用戶請求條件的數(shù)據(jù)的關鍵字，建立每個關鍵字與各文件之間的關聯(lián)映射表；步驟s2，將每個文件分割成多個數(shù)據(jù)段，每段以一條記錄的方式記錄；按照各文件分割的段數(shù)形成此文件相應的子集映射表；步驟s3，同一個文件的多個記錄分布地存儲于分片服務器中，每個分片服務器管理所有文件的子集映射表。進一步的，關聯(lián)映射表中存儲關鍵字索引與文件索引之間的映射關系。進一步的，建立映射表的具體過程為：為待存儲的文件按照生成時間的順序排列并為各文件建立文件索引，將關鍵字按照分頁排序的順序排列并為每個關鍵字建立關鍵字索引，然后將關鍵字索引按照排序結(jié)果依次存儲到關聯(lián)映射表中，再依次存儲每個關鍵字與其對應的文件索引。進一步的，每條記錄以鍵值對形式存儲。進一步的，各分片服務器以mongodb集群組建。進一步的，mongodb集群采用i53420處理器架構(gòu)的主機5臺，內(nèi)存型號為ddr34gb，硬盤為500gb。與現(xiàn)有技術相比，本發(fā)明所達到的有益效果是：本發(fā)明大數(shù)據(jù)存儲方法，占用空間小，查找文件方便。附圖說明圖1是本發(fā)明方法的流程示意圖；圖2是文件存儲分布圖。具體實施方式下面結(jié)合附圖對本發(fā)明作進一步描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術方案，而不能以此來限制本發(fā)明的保護范圍。本發(fā)明的一種面向貿(mào)易服務平臺的大數(shù)據(jù)存儲方法，如圖1所示，包括以下步驟：步驟s1，從待存儲的文件中選取符合用戶請求條件的數(shù)據(jù)的關鍵字，建立每個關鍵字與各文件之間的關聯(lián)映射表；為待存儲的文件按照生成時間的順序排列并為各文件建立文件索引，將關鍵字按照分頁排序的順序排列并為每個關鍵字建立關鍵字索引，然后將關鍵字索引按照排序結(jié)果依次存儲到關聯(lián)映射表中，再依次存儲每個關鍵字與其對應的文件索引，關聯(lián)映射表中存儲關鍵字索引與文件索引之間的映射關系，代表了各關鍵字與各文件之間的關聯(lián)；關鍵字索引、關鍵字及相應的文件索引之間的映射關系如下表1所示：關鍵字索引為id_1_1、id_1_2、……id_2_5，其中id_1_1表示第一頁第一個關鍵字，id_2_5表示第二頁第五個關鍵字，文件索引為doc_1、doc_2……，其中doc_1表示第一個文件，doc_2表示第2個文件。關鍵字索引id_1_1與文件索引doc_1、doc_5、doc_10關聯(lián)，表明第一、五、十個文件里均包含2017年關鍵字，其他映射關系依次類推。表1關鍵字索引、關鍵字及相應的文件索引之間的映射關系關鍵字索引關鍵字文件索引id_1_12017年doc_1、doc_5、doc_10id_1_2政府公告doc_1、doc_2、doc_6………………id_2_5交易doc_5、doc_6步驟s2，將每個文件分割成多個數(shù)據(jù)段，每段以一條記錄的方式記錄；按照各文件分割的段數(shù)形成此文件相應的子集映射表；每條記錄以鍵值對形式存儲。步驟s3，同一個文件的多個記錄分布地存儲于分片服務器中，每個分片服務器管理所有文件的子集映射表。各分片服務器以mongodb集群組建，mongodb集群采用i53420處理器架構(gòu)的主機5臺，內(nèi)存型號為ddr34gb，硬盤為500gb。mongodb是基于分布式文件存儲的數(shù)據(jù)庫，各文件在服務器中存儲的示意圖如圖2所示。查找某文件時，輸入要查找的關鍵字，依據(jù)此關鍵字的關鍵字索引查找關聯(lián)映射表，找到于此關鍵字關聯(lián)的各文件索引號，依據(jù)各文件索引號查找子集映射表，依據(jù)子集映射表從此文件分布的服務器中獲取此文件的各數(shù)據(jù)段，進而獲取需要的相關文件列表，從列出的相關文件列表中選取需要的文件，依據(jù)本發(fā)明的存儲方法進行存儲貿(mào)易服務平臺的數(shù)據(jù)，占用空間小，查找方便。以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本
技術領域：
的普通技術人員來說，在不脫離本發(fā)明技術原理的前提下，還可以做出若干改進和變型，這些改進和變型也應視為本發(fā)明的保護范圍。技術特征：技術總結(jié)本發(fā)明公開了面向貿(mào)易服務平臺的大數(shù)據(jù)存儲方法，包括以下步驟：步驟S1，從待存儲的文件中選取符合用戶請求條件的數(shù)據(jù)的關鍵字，建立每個關鍵字與各文件之間的關聯(lián)映射表；步驟S2，將每個文件分割成多個數(shù)據(jù)段，每段以一條記錄的方式記錄；按照各文件分割的段數(shù)形成此文件相應的子集映射表；步驟S3，同一個文件的多個記錄分布地存儲于分片服務器中，每個分片服務器管理所有文件的子集映射表。本發(fā)明大數(shù)據(jù)存儲方法占用空間小，查找文件方便。技術研發(fā)人員：王權(quán)受保護的技術使用者：江蘇金易達供應鏈管理有限公司技術研發(fā)日：2017.03.22技術公布日：2017.07.14