本發(fā)明涉及數據存儲，特別是一種分布式文件存儲方法。具體是一種基于shardingsphere分布式?sql?事務和查詢引擎、minio開源協議的對象存儲服務、mysql數據庫的分布式文件存儲方法。
背景技術：
：：1、隨著互聯網和大數據的發(fā)展，互聯網海量非結構化數據的存儲爆炸式增長，如：電商網站的海量商品圖片，視頻網站的海量視頻文件，社交網站的海量圖片等等，都需要海量文件存儲技術。而傳統行業(yè)的文件存儲都是和應用服務集成在一起，且部署在同一臺服務器上，無法滿足海量文件的存儲，在文件達到一定數量時，就會存在訪問性能嚴重下降、存儲空間不足且難以擴容、文件難以跨應用共享等一系列的問題。2、mini0?是一個基于apache?license?v2.0開源協議的對象存儲服務，非常適合于存儲大容量非結構化的數據，例如圖片、視頻、文件、備份數據等，一個對象文件可以是任意大小，從幾kb到最大5t不等。3、shardingsphere是一款開源的分布式數據庫中間件，旨在充分合理地在分布式的場景下利用關系型數據庫的計算和存儲能力，通過將數據水平或垂直拆分，然后將拆分后的數據存儲在不同的數據庫或表中，從而減輕單庫單表的數據存儲、查詢壓力，從而提升數據操作的性能。因此，我們結合mini0與shardingsphere的技術優(yōu)勢，提出一種分布式文件存儲的方法，可以很好的解決分布式場景下海量文件與文件元信息的存儲、查詢、刪除等問題。技術實現思路1、本發(fā)明解決現有技術不足提供一種分布式文件存儲方法；目的在于解決海量文件存儲面臨的復雜性、可擴展性、數據備份、數據一致性和可靠性等問題。2、一種分布式文件存儲方法，包括：3、步驟1：調用文件存儲服務提供的文件上傳接口，通過接口將文件與文件元信息數據提交，通過ngnix代理轉發(fā)到文件存儲服務應用中；文件存儲服務應用提供的文件上傳接口是一個http的post請求接口，文件與文件元信息數據通過json字符串提交的接口后臺處理；4、步驟2：文件存儲服務應用和minio集群中的客戶端節(jié)點進行通信，發(fā)起文件上傳請求，路由到最近可用存儲服務器ramacher，ramacher負責對文件進行分片和復制，將文件分成10mb大小的片段，每個片段被獨立的上傳到集群的不同服務器；當所有片段上傳完成后，ramacher將這些片段合并成一個完整的文件，并使用客戶端節(jié)點中的文件元信息，文件元信息由文件名、大小和類型組成，來生成文件唯一標識id；5、在文件存儲服務應用和minio集群進行文件上傳之前，需要搭建minio文件服務器集群建立一個文件存儲服務應用，利用springboot環(huán)境搭建一個上傳文件、查詢、刪除和保存文件元信息的應用服務；搭建文件存儲服務應用時需要引入minio的java客戶端對minio集群中的文件操作；其次，文件存儲服務應用集成了shardingsphere分表分庫組件分表分庫；6、步驟3：通過http形式調用文件存儲服務應用的上傳接口上傳文件，如果文件上傳失敗，文件存儲服務應用會拋出異常，并返回上傳失敗的提示信息；7、步驟4：如果文件上傳成功，minio集群將返回文件元信息包括文件路徑；8、步驟5：文件存儲服務應用接受到minio集群客戶端返回的文件存儲路徑，利用雪花算法給每個文件生成文件唯一標識id，調用shardingsphere組件api進行文件元信息的數據分片，將文件元信息作為唯一標識id，并將文件名、大小、文件存儲路徑保存到mysql數據庫中；9、步驟6：文件存儲服務應用最終將文件存儲結果返回給接口調用方，存儲成功會返回文件唯一標識id，根據文件唯一標識id調用文件存儲服務應用提供的文件查看、刪除接口實現文件的查看、刪除。10、所述步驟2中minio集群會將文件分成10mb大小的片段復制到其他服務器上。11、所述步驟5中數據分片通過shardingsphere根據文件唯一標識id按哈希算法取模，結果范圍規(guī)定到0-n，n表示mysql集群的服務器個數，若mysql集群的服務器個數是2，那么n=2；如果文件唯一標識id按哈希算法取模結果為0，則存儲在數據庫db1中，如果文件唯一標識id按哈希算法取模結果為1，則存儲在數據庫db2中；在db1和db2中分別創(chuàng)建table1和table2兩張表，將儲存在db1或db2的文件元信息id總數除以2取余，若余數為0則存儲在表table1中，否則存儲在table2中。12、有益效果13、1、本專利綜合集成各個中間件的優(yōu)勢，以minio為文件存儲的基礎，以shardingsphere和mysql為輔助存儲文件元信息，通過存儲服務應用api為對外開放文件上傳、查詢、刪除的能力，創(chuàng)造了shardingsphere、minio、mysql、存儲服務應用的組合儲存方式，為海量文件存儲提供具有可擴展性、易備份、高性能的分布式文件存儲方法。14、2、本專利使用shardingsphere結合mysql數據庫存儲文件元信息數據，利用shardingsphere靈活的數據分片、高可用性和橫向擴展能力，提高文件元信息查詢性能、簡化海量文件元信息的數據庫處理能力。15、3、本專利通過存儲服務對外提供文件上傳、查詢、刪除的能力，降低了使用成本，快速接入的能力。技術特征：1.一種分布式文件存儲方法，其特征在于包括如下步驟：2.根據權利要求1所述的一種分布式文件存儲方法，其特征在于所述步驟2中minio集群會將文件分成10mb大小的片段復制到其他服務器上。3.根據權利要求1所述的一種分布式文件存儲方法，其特征在于所述步驟5中數據分片通過shardingsphere根據文件唯一標識id按哈希算法取模，結果范圍規(guī)定到0-n，n表示mysql集群的服務器個數，若mysql集群的服務器個數是2，那么n=2；如果文件唯一標識id按哈希算法取模結果為0，則存儲在數據庫db1中，如果文件唯一標識id按哈希算法取模結果為1，則存儲在數據庫db2中；在db1和db2中分別創(chuàng)建table1和table2兩張表，將儲存在db1或db2的文件元信息id總數除以2取余，若余數為0則存儲在表table1中，否則存儲在table2中。技術總結本發(fā)明涉及數據存儲
技術領域：
：，特別是一種分布式文件存儲方法。具體是一種基于ShardingSphere分布式SQL事務和查詢引擎、MinIO開源協議的對象存儲服務、Mysql數據庫的分布式文件存儲方法。本專利綜合集成各個中間件的優(yōu)勢，以MinIO為文件存儲的基礎，以ShardingSphere和Mysql為輔助存儲文件元信息，通過存儲服務應用API為對外開放文件上傳、查詢、刪除的能力，為海量文件存儲提供具有可擴展性、易備份、高性能的分布式文件存儲方法。技術研發(fā)人員：魏得龍,邊文龍,孔永永,王江受保護的技術使用者：中電萬維信息技術有限責任公司技術研發(fā)日：技術公布日：2025/1/9