本發(fā)明涉及信息，尤其涉及一種文件合并方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在分布式文件系統(tǒng)處理大數(shù)據(jù)時(shí)經(jīng)常會(huì)遇到小文件問題，而小文件問題會(huì)影響存儲(chǔ)效率和計(jì)算性能，因此，在監(jiān)控到小文件達(dá)到一定數(shù)量后，需要啟動(dòng)合并任務(wù)。

2、相關(guān)技術(shù)中，文件合并方法通常使用預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型來判斷文件夾是否需要合并，然后對需要合并文件夾中的文件執(zhí)行合并，但是，在執(zhí)行合并任務(wù)時(shí)，設(shè)定的并發(fā)啟動(dòng)合并任務(wù)的文件夾數(shù)量與確定的需要合并文件夾的數(shù)量保持一致，在合并的過程中可能出現(xiàn)文件夾合并失敗的情況，無法動(dòng)態(tài)調(diào)整合并數(shù)量，降低文件夾合并的成功率和效率的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種文件合并方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決相關(guān)技術(shù)中當(dāng)文件夾合并失敗時(shí)，無法動(dòng)態(tài)調(diào)整合并數(shù)量，從而降低文件夾合并的成功率和效率的問題。

2、本發(fā)明提供一種文件合并方法，包括如下步驟：

3、獲取當(dāng)前時(shí)刻文件系統(tǒng)中至少一個(gè)文件夾各自對應(yīng)的第一相關(guān)特征；

4、基于各文件夾對應(yīng)的第一相關(guān)特征，從至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾；

5、利用文件合并調(diào)度器和初始執(zhí)行數(shù)量，對各第一待合并文件夾中的文件進(jìn)行初始合并，確定合并結(jié)果；其中，初始執(zhí)行數(shù)量是并發(fā)啟動(dòng)第一待合并文件夾執(zhí)行合并任務(wù)的數(shù)量；

6、基于合并結(jié)果，不斷調(diào)整初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量；

7、利用文件合并調(diào)度器和目標(biāo)執(zhí)行數(shù)量，對第二待合并文件夾中的文件進(jìn)行合并。

8、根據(jù)本發(fā)明提供的一種文件合并方法，基于合并結(jié)果，不斷調(diào)整初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量，包括：在合并結(jié)果中存在第一待合并文件夾合并失敗的情況下，將合并結(jié)果中第一待合并文件夾合并成功的數(shù)量確定為目標(biāo)執(zhí)行數(shù)量；在合并結(jié)果中不存在第一待合并文件夾合并失敗的情況下，利用文件合并調(diào)度器對初始執(zhí)行數(shù)量進(jìn)行數(shù)量調(diào)增，得到目標(biāo)執(zhí)行數(shù)量。

9、根據(jù)本發(fā)明提供的一種文件合并方法，基于各文件夾對應(yīng)的第一相關(guān)特征，從至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾，包括：將各文件夾對應(yīng)的第一相關(guān)特征輸入至預(yù)訓(xùn)練計(jì)算模型，得到各文件夾對應(yīng)的合并概率；其中，預(yù)訓(xùn)練計(jì)算模型是基于樣本文件夾的相關(guān)特征和樣本文件夾的合并概率訓(xùn)練得到的；基于合并概率，從至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾。

10、根據(jù)本發(fā)明提供的一種文件合并方法，在利用文件合并調(diào)度器和目標(biāo)執(zhí)行數(shù)量，對第二待合并文件夾中的文件進(jìn)行合并之前，方法還包括：在合并結(jié)果中存在第一待合并文件夾合并失敗的情況下，將初始合并失敗的第一待合并文件夾作為第二待合并文件夾；在合并結(jié)果中不存在第一待合并文件夾合并失敗的情況下，將下一時(shí)刻的待合并文件夾確定為第二待合并文件夾。

11、根據(jù)本發(fā)明提供的一種文件合并方法，下一時(shí)刻的待合并文件夾的確定方式包括：獲取下一時(shí)刻文件系統(tǒng)中至少一個(gè)文件夾各自對應(yīng)的第二相關(guān)特征；其中，當(dāng)前時(shí)刻與下一時(shí)刻之間的間隔為預(yù)設(shè)時(shí)間段；基于第二相關(guān)特征，確定下一時(shí)刻的待合并文件夾。

12、根據(jù)本發(fā)明提供的一種文件合并方法，預(yù)訓(xùn)練計(jì)算模型的訓(xùn)練過程包括：獲取樣本文件夾的相關(guān)特征和樣本文件夾的合并概率；將樣本文件夾的相關(guān)特征輸入至待訓(xùn)練計(jì)算模型，得到預(yù)測樣本合并概率；基于預(yù)測樣本合并概率與樣本文件夾的合并概率，確定損失信息；基于損失信息，不斷優(yōu)化待訓(xùn)練計(jì)算模型，得到預(yù)訓(xùn)練計(jì)算模型。

13、根據(jù)本發(fā)明提供的一種文件合并方法，基于損失信息，不斷優(yōu)化待訓(xùn)練計(jì)算模型，得到預(yù)訓(xùn)練計(jì)算模型，包括：獲取歷史待合并文件夾和歷史待合并文件夾對應(yīng)的歷史合并結(jié)果；歷史待合并文件夾是已經(jīng)執(zhí)行過合并任務(wù)的文件夾；基于損失信息，歷史待合并文件夾和歷史合并結(jié)果，不斷優(yōu)化待訓(xùn)練計(jì)算模型，得到預(yù)訓(xùn)練計(jì)算模型。

14、本發(fā)明還提供一種文件合并裝置，包括如下模塊：

15、獲取模塊，用于獲取當(dāng)前時(shí)刻文件系統(tǒng)中至少一個(gè)文件夾各自對應(yīng)的第一相關(guān)特征；

16、第一確定模塊，用于基于各文件夾對應(yīng)的第一相關(guān)特征，從至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾；

17、第二確定模塊，用于利用文件合并調(diào)度器和初始執(zhí)行數(shù)量，對各第一待合并文件夾中的文件進(jìn)行初始合并，確定合并結(jié)果；其中，初始執(zhí)行數(shù)量是并發(fā)啟動(dòng)待合并文件夾執(zhí)行合并任務(wù)的數(shù)量；

18、調(diào)整模塊，用于基于合并結(jié)果，不斷調(diào)整初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量；

19、合并模塊，用于利用文件合并調(diào)度器和目標(biāo)執(zhí)行數(shù)量，對第二待合并文件夾中的文件進(jìn)行合并。

20、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述文件合并方法。

21、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述文件合并方法。

22、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述文件合并方法。

23、本發(fā)明提供的一種文件合并方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法通過獲取當(dāng)前時(shí)刻文件系統(tǒng)中至少一個(gè)文件夾各自對應(yīng)的第一相關(guān)特征；基于各文件夾對應(yīng)的第一相關(guān)特征，從至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾；利用文件合并調(diào)度器和初始執(zhí)行數(shù)量，對各第一待合并文件夾中的文件進(jìn)行初始合并，確定合并結(jié)果；其中，初始執(zhí)行數(shù)量是并發(fā)啟動(dòng)第一待合并文件夾執(zhí)行合并任務(wù)的數(shù)量；基于合并結(jié)果，不斷調(diào)整初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量；利用文件合并調(diào)度器和目標(biāo)執(zhí)行數(shù)量，對第二待合并文件夾中的文件進(jìn)行合并。本發(fā)明的技術(shù)方案，首先，通過獲取當(dāng)前時(shí)刻文件系統(tǒng)中各個(gè)文件夾對應(yīng)的第一相關(guān)特征，提高第一相關(guān)特征的實(shí)時(shí)性；接著，根據(jù)第一相關(guān)特征，確定第一待合并文件夾，提高第一待合并文件夾的準(zhǔn)確性；然后，利用文件合并調(diào)度器和初始執(zhí)行數(shù)量，對第一待合并文件中的文件進(jìn)行初始合并，得到合并結(jié)果，再基于合并結(jié)果不斷調(diào)整初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量，利用目標(biāo)執(zhí)行數(shù)量對第二待合并文件夾中的文件夾進(jìn)行合并。如此，通過合并結(jié)果，不斷優(yōu)化調(diào)整執(zhí)行數(shù)量，使得并發(fā)執(zhí)行合并任務(wù)的文件夾數(shù)量能夠隨時(shí)調(diào)整，提高了文件夾合并的成功率和效率。

技術(shù)特征：

1.一種文件合并方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的文件合并方法，其特征在于，所述基于所述合并結(jié)果，不斷調(diào)整所述初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量，包括：

3.根據(jù)權(quán)利要求1或2所述的文件合并方法，其特征在于，所述基于各所述文件夾對應(yīng)的第一相關(guān)特征，從所述至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述在所述利用所述文件合并調(diào)度器和所述目標(biāo)執(zhí)行數(shù)量，對第二待合并文件夾中的文件進(jìn)行合并之前，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述下一時(shí)刻的待合并文件夾的確定方式包括：

6.根據(jù)權(quán)利要求3所述的文件合并方法，其特征在于，所述預(yù)訓(xùn)練計(jì)算模型的訓(xùn)練過程包括：

7.根據(jù)權(quán)利要求6所述的文件合并方法，其特征在于，基于所述損失信息，不斷優(yōu)化所述待訓(xùn)練計(jì)算模型，得到所述預(yù)訓(xùn)練計(jì)算模型，包括：

8.一種文件合并裝置，其特征在于，裝置包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述文件合并方法。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述文件合并方法。

技術(shù)總結(jié)
本發(fā)明提供一種文件合并方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取當(dāng)前時(shí)刻文件系統(tǒng)中至少一個(gè)文件夾各自對應(yīng)的第一相關(guān)特征；基于各文件夾對應(yīng)的第一相關(guān)特征，從至少一個(gè)文件夾中確定至少一個(gè)第一待合并文件夾；利用文件合并調(diào)度器和初始執(zhí)行數(shù)量，對各第一待合并文件夾中的文件進(jìn)行初始合并，確定合并結(jié)果；其中，初始執(zhí)行數(shù)量是并發(fā)啟動(dòng)第一待合并文件夾執(zhí)行合并任務(wù)的數(shù)量；基于合并結(jié)果，不斷調(diào)整初始執(zhí)行數(shù)量，得到目標(biāo)執(zhí)行數(shù)量；利用文件合并調(diào)度器和目標(biāo)執(zhí)行數(shù)量，對第二待合并文件夾中的文件進(jìn)行合并。通過動(dòng)態(tài)調(diào)整執(zhí)行數(shù)量，提高文件夾合并的成功率和效率。

技術(shù)研發(fā)人員：鄭揚(yáng)勇,鄒延義,郝博,付大偉
受保護(hù)的技術(shù)使用者：云粒智慧科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30