本公開涉及計算系統(tǒng)的數(shù)據(jù)平臺,并且更具體地涉及從備份系統(tǒng)的數(shù)據(jù)檢索。
背景技術:
1、支持計算應用的數(shù)據(jù)平臺依賴于主存儲系統(tǒng)來支持時延敏感的應用。通常依賴于次級存儲系統(tǒng)來支持次級用例,諸如備份和存檔。
2、通常查詢備份數(shù)據(jù)來從存儲系統(tǒng)中檢索特定信息或數(shù)據(jù)集,從而使得能夠進行數(shù)據(jù)分析、數(shù)據(jù)恢復、數(shù)據(jù)挖掘、取證分析和遵守法規(guī)要求。許多數(shù)據(jù)平臺解決方案維持所備份數(shù)據(jù)的索引或目錄,這促進對備份數(shù)據(jù)的高效查詢。數(shù)據(jù)平臺可使得用戶能夠基于查詢準則搜索備份索引,并且數(shù)據(jù)平臺可依靠備份索引執(zhí)行查詢,其中查詢指定搜索準則和所需的任何附加參數(shù)。查詢可涉及搜索存儲在備份中的特定文件、文件夾、數(shù)據(jù)庫、電子郵件消息或其他類型的數(shù)據(jù)。基于可包括描述備份數(shù)據(jù)的元數(shù)據(jù)信息(諸如,文件名、大小、時間戳和備份版本)的查詢結果,用戶可選擇特定數(shù)據(jù)或數(shù)據(jù)集來從備份中進行檢索。這可涉及選擇各個對象或整體備份。
技術實現(xiàn)思路
1、一般來說,描述了從備份系統(tǒng)中進行人工智能(ai)增強的且高效的數(shù)據(jù)檢索的技術。在一些示例中,數(shù)據(jù)平臺可產生針對存儲在備份系統(tǒng)上的過濾后的備份數(shù)據(jù)的嵌入索引。該嵌入索引可有效地“圈定范圍(scope)”到從用戶或應用預計的一組一個或多個查詢的場境(context),并且在一些情況下,可基于所接收的輸入以按需方式生成。響應生成平臺可接收到響應生成平臺的指示查詢的場境的輸入。過濾器生成器可處理輸入以確定與查詢相關的數(shù)據(jù)類型。例如,過濾器生成器可使用機器學習模型分析輸入以對用戶感興趣的數(shù)據(jù)類型(例如,電子郵件數(shù)據(jù)、文件共享數(shù)據(jù)、數(shù)據(jù)庫或其他非結構化數(shù)據(jù))進行解碼。過濾器生成器可基于經解碼的數(shù)據(jù)類型生成獨特于輸入的過濾器,并且響應生成器平臺將過濾器應用于備份的數(shù)據(jù)以基于使用基于輸入生成的過濾器而過濾的數(shù)據(jù)創(chuàng)建嵌入索引。該嵌入索引然后可用于驅動備份數(shù)據(jù)的檢索增強生成(retrieval?augmented?generation,rag)查詢。
2、所述技術可提供一個或多個技術優(yōu)點。例如,所述技術可允許終端用戶或其他用戶通過創(chuàng)建所存儲數(shù)據(jù)的高級元數(shù)據(jù)/嵌入索引并且在一些方面通過細粒度的基于角色的訪問控制來使該索引安全而使所存儲備份、存檔或其他數(shù)據(jù)變?yōu)椤癮i就緒(ai-ready)”。將備份或其他數(shù)據(jù)存儲在存儲系統(tǒng)上的終端用戶和其他用戶可使用人工智能和機器學習模型來重新利用該數(shù)據(jù)以在其工作流程中的其他地方獲得其他效率,同時保持數(shù)據(jù)安全地與數(shù)據(jù)平臺相關聯(lián)。
3、在一些示例中,響應生成平臺可以是接受用戶或應用輸入(諸如問題或查詢)的檢索增強響應生成平臺。輸入可利用所提取的一些關鍵詞被詞元化,所述關鍵詞用于對包括備份數(shù)據(jù)的大量數(shù)據(jù)進行過濾以過濾縮減到更小的數(shù)據(jù)子集。響應生成平臺然后可選擇來自那些文檔或對象內的與用戶或機器查詢最相關的表示作為嵌入索引。嵌入索引可連同原始查詢一起被提供到語言模型以使得查詢處理器能夠提供場境感知響應。可接收與由輸入指示的場境相關的附加的一個或多個查詢,并且查詢處理器還可使用嵌入索引來生成一個或多個查詢的對應響應。該創(chuàng)新方法允許生成的響應不僅具知識性而且具多樣性,并且與領域特定內容相關。
4、所述技術可利用ai和機器學習(特定來說,生成式ai)來檢查由數(shù)據(jù)平臺管理的數(shù)據(jù)并基于該數(shù)據(jù)來產生新內容和原始內容。生成式ai工具使用復雜算法來評價數(shù)據(jù)并得出新穎且獨特的洞察,從而改進決策制定并精簡操作。本文描述的響應生成平臺可使用以對話為中心的方法遞送簡化并變換信息技術(it)操作的端到端云操作體驗,該以對話為中心的方法基于由數(shù)據(jù)平臺管理的數(shù)據(jù)以可動作的目標響應來響應自然語言問題。
5、在示例中,一種計算系統(tǒng)包括:一個或多個存儲裝置;和處理構件,該處理構件具有對一個或多個存儲裝置的訪問權并且被配置為:處理輸入以生成過濾器,其中輸入指示一個或多個查詢的場境;將過濾器應用于備份數(shù)據(jù)以從備份數(shù)據(jù)獲得過濾后的數(shù)據(jù);從過濾后的數(shù)據(jù)生成嵌入索引;基于嵌入索引處理查詢以生成對查詢的響應;以及輸出響應。
6、在示例中,一種方法包括:由計算系統(tǒng)處理輸入以生成過濾器,其中輸入指示一個或多個查詢的場境;將過濾器應用于備份數(shù)據(jù)以從備份數(shù)據(jù)獲得過濾后的數(shù)據(jù);從過濾后的數(shù)據(jù)生成嵌入索引;基于嵌入索引處理查詢以生成對查詢的響應;以及輸出響應。
7、在示例中,計算機可讀介質包括指令,所述指令在由處理構件執(zhí)行時使處理構件:處理輸入以生成過濾器,其中輸入指示一個或多個查詢的場境;將過濾器應用于備份數(shù)據(jù)以從備份數(shù)據(jù)獲得過濾后的數(shù)據(jù);從過濾后的數(shù)據(jù)生成嵌入索引;基于嵌入索引處理查詢以生成對查詢的響應;以及輸出響應。
8、本發(fā)明的一個或多個示例的細節(jié)闡述于附圖和以下說明中。依據(jù)說明書和附圖以及依據(jù)權利要求書,本發(fā)明的其他特征、目的和優(yōu)點將是顯而易見的。
1.一種計算系統(tǒng),包括:
2.如權利要求1所述的計算系統(tǒng),其中,所述處理構件被配置為:
3.如權利要求1或權利要求2所述的計算系統(tǒng),其中,所述過濾器指定以下中的一者或多者:文件類型、與實體的關聯(lián)、日期、時間和話題。
4.如任一項前述權利要求所述的計算系統(tǒng),其中,為了生成所述過濾器,所述處理構件被配置為:
5.如權利要求4所述的計算系統(tǒng),其中,為了應用所述過濾器,所述處理構件被配置為:
6.如任一項前述權利要求所述的計算系統(tǒng),其中,為了生成所述過濾器,所述處理構件被配置為:
7.如任一項前述權利要求所述的計算系統(tǒng),其中,為了生成所述過濾器,所述處理構件被配置為:
8.如任一項前述權利要求所述的計算系統(tǒng),其中,為了處理所述查詢,所述處理構件被配置為:
9.如任一項前述權利要求所述的計算系統(tǒng),其中,所述一個或多個查詢包括所述查詢。
10.如任一項前述權利要求所述的計算系統(tǒng),其中,所述查詢包括所述輸入。
11.如權利要求1至8中任一項所述的計算系統(tǒng),其中,所述處理構件被配置為在生成所述嵌入索引之后接收所述查詢。
12.如任一項前述權利要求所述的計算系統(tǒng),其中,為了處理所述查詢,所述處理構件被配置為使用語言模型和所述嵌入索引來處理所述查詢以執(zhí)行檢索增強生成從而生成對所述查詢的所述響應。
13.如任一項前述權利要求所述的計算系統(tǒng),其中,所述處理構件被配置為將所述備份數(shù)據(jù)的至少一部分存儲到高速緩存。
14.如權利要求13所述的計算系統(tǒng),其中,所述處理構件被配置為參考存儲到所述高速緩存的所述嵌入索引的嵌入的對應備份數(shù)據(jù)來生成或修改所述嵌入。
15.如權利要求13或權利要求14所述的計算系統(tǒng),其中,所述處理構件被配置為基于所述嵌入索引和所述高速緩存處理后續(xù)查詢以生成對所述后續(xù)查詢的響應。
16.一種方法,包括:
17.如權利要求16所述的方法,進一步包括:
18.如權利要求16或權利要求17所述的方法,其中,處理所述查詢包括使用語言模型和所述嵌入索引處理所述查詢以執(zhí)行檢索增強生成從而生成對所述查詢的所述響應。
19.如權利要求16至18中任一項所述的方法,其中,處理所述查詢包括使用所述查詢和所述嵌入索引應用檢索增強生成以生成對所述查詢的所述響應。
20.如權利要求16至19中任一項所述的方法,進一步包括:
21.一種計算機可讀介質,所述計算機可讀介質包括指令,所述指令在由處理構件執(zhí)行時使所述處理構件執(zhí)行如權利要求16至20中任一項所述的方法。