本技術(shù)涉及存儲系統(tǒng)，特別是涉及一種內(nèi)存使用方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著當(dāng)前ai深度學(xué)習(xí)和人工智能以及高性能計(jì)算任務(wù)等技術(shù)的發(fā)展，hpc(高性能計(jì)算，high?performance?computing)場景應(yīng)用越來越多。在未來，隨著hpc技術(shù)的不斷發(fā)展和普及，存儲系統(tǒng)也面臨hpc場景的適配和迭代。比如要求hpc存儲系統(tǒng)支持高性能計(jì)算任務(wù)的數(shù)據(jù)存儲和管理、大規(guī)模數(shù)據(jù)分析和挖掘的海量數(shù)據(jù)存儲、存儲大規(guī)模的數(shù)據(jù)集和模型參數(shù)，用來支持機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)和推理等各種場景。

2、hpc存儲系統(tǒng)為了適配上述場景，也要求使用高性能硬件設(shè)備，比如說高速存儲設(shè)備(ssd，nvme等)，高速網(wǎng)絡(luò)連接(infiniband、ethernet)，高性能cpu等。其中在對高速網(wǎng)絡(luò)連接的要求中，為了滿足上述高性能，網(wǎng)絡(luò)連接需要滿足高帶寬，低時(shí)延，業(yè)內(nèi)目前常用的是使用rmda(遠(yuǎn)程直接內(nèi)存訪問)支持，rdma技術(shù)可以減少內(nèi)存拷貝，降低數(shù)據(jù)傳輸?shù)难舆t和cpu負(fù)載。對于高性能cpu的選擇，更優(yōu)先選擇多numa架構(gòu)，可減少內(nèi)存訪問沖突，提高并行處理能力，用來適配高性能計(jì)算。

3、在上述cpu使用上，多numa架構(gòu)下不可避免的會出現(xiàn)一些numa間的內(nèi)存拷貝。尤其是在網(wǎng)絡(luò)傳輸過程中，網(wǎng)卡只能綁定在一個(gè)numa(非統(tǒng)一內(nèi)存訪問)上，對于其他numa的數(shù)據(jù)通過網(wǎng)卡進(jìn)行發(fā)送時(shí)，就需要把數(shù)據(jù)從當(dāng)前numa拷貝到網(wǎng)卡numa上。這一次的內(nèi)存拷貝，在分布式存儲系統(tǒng)的集群性能達(dá)到一定規(guī)格后，對分布式存儲系統(tǒng)的集群性能的影響就會暴露的更明顯。因?yàn)閿?shù)據(jù)需要通過網(wǎng)卡進(jìn)行發(fā)送，而網(wǎng)卡通常綁定在一個(gè)特定的numa上，在同一個(gè)物理節(jié)點(diǎn)下的多numa間之間的需要通過網(wǎng)卡來實(shí)現(xiàn)數(shù)據(jù)交互時(shí)，將影響分布式存儲系統(tǒng)的性能。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供一種內(nèi)存使用方法、裝置、設(shè)備及介質(zhì)，以便克服上述問題或者至少部分地解決上述問題。

2、本技術(shù)實(shí)施例第一方面提供了一種內(nèi)存使用方法，應(yīng)用于分布式存儲系統(tǒng)，所述分布式存儲系統(tǒng)包括多個(gè)物理節(jié)點(diǎn)，所述多個(gè)物理節(jié)點(diǎn)中部署有多個(gè)業(yè)務(wù)處理服務(wù)和多個(gè)業(yè)務(wù)請求服務(wù)，所述方法包括：

3、在所述業(yè)務(wù)處理服務(wù)啟動之后，針對每個(gè)業(yè)務(wù)處理服務(wù)，創(chuàng)建與所述業(yè)務(wù)處理服務(wù)對應(yīng)的共享內(nèi)存對象；

4、當(dāng)所述業(yè)務(wù)請求服務(wù)需要與所述業(yè)務(wù)處理服務(wù)之間進(jìn)行數(shù)據(jù)交互時(shí)，建立所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間的鏈接；

5、基于所述業(yè)務(wù)處理服務(wù)所在的第一物理節(jié)點(diǎn)的第一網(wǎng)卡信息和所述業(yè)務(wù)請求服務(wù)所在的第二物理節(jié)點(diǎn)的第二網(wǎng)卡信息，判斷所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)是否為同一個(gè)物理節(jié)點(diǎn)；

6、當(dāng)所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)為同一個(gè)物理節(jié)點(diǎn)時(shí)，使用所述共享內(nèi)存對象進(jìn)行所述業(yè)務(wù)請求服務(wù)需要與所述業(yè)務(wù)處理服務(wù)之間的數(shù)據(jù)交互。

7、可選地，所述分布式存儲系統(tǒng)的一個(gè)物理節(jié)點(diǎn)上還部署有集群控制服務(wù)；在創(chuàng)建與所述業(yè)務(wù)處理服務(wù)對應(yīng)的共享內(nèi)存對象之后，還包括：

8、基于所述業(yè)務(wù)處理服務(wù)的第一標(biāo)識，創(chuàng)建所述共享內(nèi)存對象的第二標(biāo)識；

9、通過所述業(yè)務(wù)處理服務(wù)，將所述第二標(biāo)識上報(bào)給所述集群控制服務(wù)，以使所述集群控制服務(wù)將所述第二標(biāo)識記錄在預(yù)先創(chuàng)建的第一數(shù)據(jù)結(jié)構(gòu)中；

10、在所述業(yè)務(wù)請求服務(wù)訂閱所述第一數(shù)據(jù)結(jié)構(gòu)之后，通過所述集群控制服務(wù)，將所述第一數(shù)據(jù)結(jié)構(gòu)推送給所述業(yè)務(wù)請求服務(wù)；

11、其中，所述第一數(shù)據(jù)結(jié)構(gòu)用于管理所述多個(gè)業(yè)務(wù)處理服務(wù)對應(yīng)的多個(gè)共享內(nèi)存對象。

12、可選地，所述方法還包括：

13、在所述業(yè)務(wù)處理服務(wù)啟動之后，選取所述業(yè)務(wù)處理服務(wù)的第一網(wǎng)卡信息；

14、將所述業(yè)務(wù)處理服務(wù)的第一信息記錄在所述第一數(shù)據(jù)結(jié)構(gòu)中，所述第一信息包括所述業(yè)務(wù)處理服務(wù)的第一地址、第一端口號以及第一進(jìn)程號；

15、針對所述第一信息，對所述業(yè)務(wù)處理服務(wù)進(jìn)行監(jiān)聽；

16、在所述業(yè)務(wù)請求服務(wù)啟動之后，選取所述業(yè)務(wù)請求服務(wù)的第二網(wǎng)卡信息；

17、將所述業(yè)務(wù)請求服務(wù)的第二信息和第二網(wǎng)卡信息記錄在第二數(shù)據(jù)結(jié)構(gòu)中，所述第二信息包括所述業(yè)務(wù)請求服務(wù)的第二地址、第二端口號以及第二進(jìn)程號；

18、針對所述第二信息，對所述業(yè)務(wù)請求服務(wù)進(jìn)行監(jiān)聽。

19、可選地，所述基于所述業(yè)務(wù)處理服務(wù)所在的第一物理節(jié)點(diǎn)的第一網(wǎng)卡信息和所述業(yè)務(wù)請求服務(wù)所在的第二物理節(jié)點(diǎn)的第二網(wǎng)卡信息，判斷所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)是否為同一個(gè)物理節(jié)點(diǎn)，包括：

20、通過所述業(yè)務(wù)請求服務(wù)，從所述第一數(shù)據(jù)結(jié)構(gòu)中，獲取所述業(yè)務(wù)處理服務(wù)所在的第一物理節(jié)點(diǎn)的第一網(wǎng)卡信息，以及，從所述第二數(shù)據(jù)結(jié)構(gòu)中獲取所述第二網(wǎng)卡信息；

21、將所述第一網(wǎng)卡信息和所述第二網(wǎng)卡信息進(jìn)行匹配；

22、判斷所述第一網(wǎng)卡信息和所述第一網(wǎng)卡信息中，是否存在至少一個(gè)第一網(wǎng)卡地址和至少一個(gè)第二網(wǎng)卡地址是相同的；

23、當(dāng)存在相同的所述至少一個(gè)第一網(wǎng)卡地址和所述至少一個(gè)第二網(wǎng)卡地址時(shí)，確定所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)為同一個(gè)物理節(jié)點(diǎn)；

24、當(dāng)不存在相同的所述第一網(wǎng)卡地址和所述第二網(wǎng)卡地址時(shí)，確定所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)不是同一個(gè)物理節(jié)點(diǎn)；

25、其中，所述第一網(wǎng)卡信息中至少包括一個(gè)第一網(wǎng)卡地址，所述第二網(wǎng)卡信息中至少包括一個(gè)第二網(wǎng)卡地址。

26、可選地，所述方法還包括：

27、在確定所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)為同一個(gè)物理節(jié)點(diǎn)之后，將所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間的鏈接標(biāo)記為第一設(shè)定值，所述第一設(shè)定值用于表示所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間通過所述共享內(nèi)存對象進(jìn)行數(shù)據(jù)交互；

28、通過所述業(yè)務(wù)請求服務(wù)，獲取所述業(yè)務(wù)處理服務(wù)的第一標(biāo)識，并基于所述第一標(biāo)識，確定出所述共享內(nèi)存對象的第二標(biāo)識；

29、通過所述業(yè)務(wù)請求服務(wù)，根據(jù)所述第二標(biāo)識，查詢所述共享內(nèi)存對象；

30、通過所述業(yè)務(wù)請求服務(wù)，使用所述共享內(nèi)存對象的申請內(nèi)存接口，申請目標(biāo)長度的內(nèi)存大小，并記錄申請的目標(biāo)長度的內(nèi)存大小對應(yīng)的內(nèi)存指針；

31、所述方法還包括：在確定所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)不為同一個(gè)物理節(jié)點(diǎn)之后，將所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間的鏈接標(biāo)記為第二設(shè)定值，所述第二設(shè)定值用于表示所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間通過網(wǎng)卡的內(nèi)存進(jìn)行數(shù)據(jù)交互。

32、可選地，所述方法還包括：

33、當(dāng)所述數(shù)據(jù)交互為寫請求時(shí)，通過所述業(yè)務(wù)請求服務(wù)，將所述寫請求對應(yīng)的數(shù)據(jù)寫入到所述共享內(nèi)存對象中所述內(nèi)存指針指向的位置；

34、通過所述業(yè)務(wù)請求服務(wù)，向所述業(yè)務(wù)處理服務(wù)發(fā)送第一消息，所述第一消息攜帶有所述寫請求對應(yīng)的第一內(nèi)存指針；

35、通過所述業(yè)務(wù)處理服務(wù)，將所述第一內(nèi)存指針指向的共享內(nèi)存對象中的所述寫請求對應(yīng)的數(shù)據(jù)寫入到磁盤中，并向所述業(yè)務(wù)請服務(wù)發(fā)送第二消息，所述第二消息用于告知所述業(yè)務(wù)請求服務(wù)完成數(shù)據(jù)寫入；

36、通過所述業(yè)務(wù)請求服務(wù)，調(diào)用所述共享內(nèi)存對象的釋放內(nèi)存接口，將所述第一內(nèi)存指針對應(yīng)的目標(biāo)長度的內(nèi)存大小進(jìn)行釋放。

37、可選地，所述方法還包括：

38、當(dāng)所述數(shù)據(jù)交互為讀請求時(shí)，通過所述業(yè)務(wù)請求服務(wù)，向所述業(yè)務(wù)處理服務(wù)發(fā)送第三消息，所述第三消息攜帶有所述讀請求對應(yīng)的第二內(nèi)存指針；

39、通過所述業(yè)務(wù)處理服務(wù)，將所述讀請求對應(yīng)的數(shù)據(jù)從所述磁盤中讀取到所述共享內(nèi)存對象中所述第二內(nèi)存指針指向的位置；

40、通過所述業(yè)務(wù)處理服務(wù)，向所述業(yè)務(wù)請求服務(wù)發(fā)送第四消息，所述第四消息用于通知所述業(yè)務(wù)請求服務(wù)進(jìn)行數(shù)據(jù)讀??；

41、通過所述業(yè)務(wù)請求服務(wù)，讀取所述第二內(nèi)存指針指向的共享內(nèi)存對象中的所述讀請求對應(yīng)的數(shù)據(jù)，并在讀取后將所述第二內(nèi)存指針對應(yīng)的目標(biāo)長度的內(nèi)存大小進(jìn)行釋放。

42、本技術(shù)實(shí)施例第二方面提供了一種內(nèi)存使用裝置，應(yīng)用于分布式存儲系統(tǒng)，所述分布式存儲系統(tǒng)包括多個(gè)物理節(jié)點(diǎn)，所述多個(gè)物理節(jié)點(diǎn)中部署有多個(gè)業(yè)務(wù)處理服務(wù)和多個(gè)業(yè)務(wù)請求服務(wù)，所述裝置包括：

43、創(chuàng)建模塊，用于在所述業(yè)務(wù)處理服務(wù)啟動之后，針對每個(gè)業(yè)務(wù)處理服務(wù)，創(chuàng)建與所述業(yè)務(wù)處理服務(wù)對應(yīng)的共享內(nèi)存對象；

44、建立模塊，用于當(dāng)所述業(yè)務(wù)請求服務(wù)需要與所述業(yè)務(wù)處理服務(wù)之間進(jìn)行數(shù)據(jù)交互時(shí)，建立所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間的鏈接；

45、判斷模塊，用于基于所述業(yè)務(wù)處理服務(wù)所在的第一物理節(jié)點(diǎn)的第一網(wǎng)卡信息和所述業(yè)務(wù)請求服務(wù)所在的第二物理節(jié)點(diǎn)的第二網(wǎng)卡信息，判斷所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)是否為同一個(gè)物理節(jié)點(diǎn)；

46、執(zhí)行模塊，用于當(dāng)所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)為同一個(gè)物理節(jié)點(diǎn)時(shí)，使用所述共享內(nèi)存對象進(jìn)行所述業(yè)務(wù)請求服務(wù)需要與所述業(yè)務(wù)處理服務(wù)之間的數(shù)據(jù)交互。

47、本技術(shù)實(shí)施例第三方面提供了一種電子設(shè)備，包括存儲器、處理器以及存儲在存儲器上的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)如第一方面所述的內(nèi)存使用方法。

48、本技術(shù)實(shí)施例第四方面提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的內(nèi)存使用方法。

49、本技術(shù)的有益效果：

50、本技術(shù)實(shí)施例提供一種內(nèi)存使用方法，應(yīng)用于分布式存儲系統(tǒng)，所述分布式存儲系統(tǒng)包括多個(gè)物理節(jié)點(diǎn)，所述多個(gè)物理節(jié)點(diǎn)中部署有多個(gè)業(yè)務(wù)處理服務(wù)和多個(gè)業(yè)務(wù)請求服務(wù)，所述方法包括：在所述業(yè)務(wù)處理服務(wù)啟動之后，針對每個(gè)業(yè)務(wù)處理服務(wù)，創(chuàng)建與所述業(yè)務(wù)處理服務(wù)對應(yīng)的共享內(nèi)存對象；當(dāng)所述業(yè)務(wù)請求服務(wù)需要與所述業(yè)務(wù)處理服務(wù)之間進(jìn)行數(shù)據(jù)交互時(shí)，建立所述業(yè)務(wù)處理服務(wù)和所述業(yè)務(wù)請求服務(wù)之間的鏈接；基于所述業(yè)務(wù)處理服務(wù)所在的第一物理節(jié)點(diǎn)的第一網(wǎng)卡信息和所述業(yè)務(wù)請求服務(wù)所在的第二物理節(jié)點(diǎn)的第二網(wǎng)卡信息，判斷所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)是否為同一個(gè)物理節(jié)點(diǎn)；當(dāng)所述第一物理節(jié)點(diǎn)和所述第二物理節(jié)點(diǎn)為同一個(gè)物理節(jié)點(diǎn)時(shí)，使用所述共享內(nèi)存對象進(jìn)行所述業(yè)務(wù)請求服務(wù)需要與所述業(yè)務(wù)處理服務(wù)之間的數(shù)據(jù)交互。

51、通過本技術(shù)的技術(shù)方案，針對每個(gè)業(yè)務(wù)處理服務(wù)都預(yù)先創(chuàng)建了共享內(nèi)存對象，當(dāng)其他的業(yè)務(wù)請求服務(wù)與該業(yè)務(wù)處理服務(wù)進(jìn)行交互時(shí)，能夠根據(jù)業(yè)務(wù)請求服務(wù)和業(yè)務(wù)處理服務(wù)各自對應(yīng)的網(wǎng)卡信息是否能夠匹配，來判斷需要進(jìn)行交互的業(yè)務(wù)請求服務(wù)和業(yè)務(wù)處理服務(wù)是否部署在同一個(gè)物理節(jié)點(diǎn)上，當(dāng)業(yè)務(wù)請求服務(wù)和業(yè)務(wù)處理服務(wù)部署在同一個(gè)物理節(jié)點(diǎn)上時(shí)，則可以直接利用業(yè)務(wù)處理服務(wù)在物理節(jié)點(diǎn)內(nèi)部預(yù)先創(chuàng)建的共享內(nèi)存對象進(jìn)行數(shù)據(jù)交互，而無需使用網(wǎng)卡，減少部署在同一個(gè)物理節(jié)點(diǎn)的業(yè)務(wù)請求服務(wù)和業(yè)務(wù)處理服務(wù)之間的數(shù)據(jù)交互的拷貝，無需使用網(wǎng)卡的內(nèi)存進(jìn)行拷貝，進(jìn)而提高了分布式存儲系統(tǒng)的性能。