本申請涉及數(shù)據(jù)分析領(lǐng)域，應用于金融科技業(yè)務領(lǐng)域，尤其涉及一種基于多模態(tài)向量對齊的質(zhì)檢方法、裝置、設備及存儲介質(zhì)。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，在金融場景中，將語言模型與視覺感知結(jié)合對客服違規(guī)行為監(jiān)控，已成為當前行業(yè)的主流行為。目前的開源多模態(tài)大語言模型(mllms)主要通過預訓練的語言模型和視覺編碼器來實現(xiàn)視覺能力，但兩者的標記化和嵌入策略存在明顯差異。

2、傳統(tǒng)的做法包括通過多層感知器(mlp)等交叉模態(tài)連接器來在視覺和文本嵌入之間進行維度對齊，以便它們可以作為大語言模型的輸入。盡管這些方法在一些視覺語言任務上表現(xiàn)出色，但它們未能完全解決嵌入策略不一致所帶來的潛在限制。

3、例如，現(xiàn)有的系統(tǒng)往往依賴于預定義的文本和視覺特征提取器，這些特征提取器可能不夠靈活，無法充分適應各種復雜的金融數(shù)據(jù)場景。此外，目前的技術(shù)在處理多模態(tài)數(shù)據(jù)時，往往缺乏對數(shù)據(jù)向量對齊的全面和精確控制，導致模型在理解和處理特定金融場景下的數(shù)據(jù)時存在一定的不確定性和局限性。

4、另外，現(xiàn)有技術(shù)中的嵌入對齊通常僅限于視覺和文本之間的連接，而在處理更廣泛的多模態(tài)數(shù)據(jù)時，比如包含音頻、圖像和文本的復雜金融數(shù)據(jù)，現(xiàn)有方法的適用性和準確性仍然有待進一步提高。這些限制和不足表明，需要一種新的方法和系統(tǒng)，能夠有效地實現(xiàn)在金融場景下的多模態(tài)數(shù)據(jù)向量對齊，以提升模型在理解和分析復雜數(shù)據(jù)時的準確性和效率。因此，如何提高金融場景中提高多模態(tài)數(shù)據(jù)特征對齊效率，進而提高金融監(jiān)管的安全性成為了目前亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝艘环N基于多模態(tài)向量對齊的質(zhì)檢方法、裝置、設備及存儲介質(zhì)，以提高金融監(jiān)管的安全性。

2、第一方面，本申請?zhí)峁┝艘环N基于多模態(tài)向量對齊的質(zhì)檢方法，所述方法包括：

3、通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息；

4、基于預設多模態(tài)向量融合模型與各所述源特征向量信息，生成融合特征向量信息；

5、通過預設質(zhì)檢模型與所述融合特征向量信息，生成與所述源數(shù)據(jù)對應的質(zhì)檢結(jié)果。

6、第二方面，本申請還提供了一種基于多模態(tài)向量對齊的質(zhì)檢裝置，所述裝置包括：

7、源特征向量信息生成模塊，用于通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息；

8、融合特征向量信息生成模塊，用于基于預設多模態(tài)向量融合模型與各所述源特征向量信息，生成融合特征向量信息；

9、質(zhì)檢結(jié)果生成模塊，用于通過預設質(zhì)檢模型與所述融合特征向量信息，生成與所述源數(shù)據(jù)對應的質(zhì)檢結(jié)果。

10、第三方面，本申請還提供了一種計算機設備，所述計算機設備包括存儲器和處理器；所述存儲器用于存儲計算機程序；所述處理器，用于執(zhí)行所述計算機程序并在執(zhí)行所述計算機程序時實現(xiàn)如上述的基于多模態(tài)向量對齊的質(zhì)檢方法。

11、第四方面，本申請還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器實現(xiàn)如上述的基于多模態(tài)向量對齊的質(zhì)檢方法。

12、本申請公開了一種基于多模態(tài)向量對齊的質(zhì)檢方法、裝置、設備及存儲介質(zhì)，所述基于多模態(tài)向量對齊的質(zhì)檢方法包括通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息；基于預設多模態(tài)向量融合模型與各所述源特征向量信息，生成融合特征向量信息；通過預設質(zhì)檢模型與所述融合特征向量信息，生成與所述源數(shù)據(jù)對應的質(zhì)檢結(jié)果。通過上述方式，本申請通過融合不同模態(tài)的特征向量，可以更全面地分析源數(shù)據(jù)，提高質(zhì)檢的準確性和可靠性，實現(xiàn)對源數(shù)據(jù)的實時監(jiān)控，及時發(fā)現(xiàn)和解決質(zhì)量問題。根據(jù)需要添加或修改特征提取模塊、融合模型和質(zhì)檢模型，以適應不同的應用場景，提高了金融監(jiān)管的安全性。

技術(shù)特征：

1.一種基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，所述通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息之前，包括：

3.根據(jù)權(quán)利要求2所述的基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，所述特征信息為文本特征信息，所述預設特征提取模塊為文本特征提取模塊，所述對所述特征信息進行預處理，并通過預處理后的所述特征信息訓練所述預設特征提取模塊，包括：

4.根據(jù)權(quán)利要求2所述的基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，所述特征信息包括圖像特征信息，所述預設特征提取模塊包括圖像特征提取模塊，所述通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息，包括：

5.根據(jù)權(quán)利要求2所述的基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，所述特征信息包括語音特征信息，所述預設特征提取模塊包括語音特征提取模塊，所述通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息，包括：

6.根據(jù)權(quán)利要求1所述的基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，所述基于預設多模態(tài)向量融合模型與各所述源特征向量信息，生成融合特征向量信息，包括：

7.根據(jù)權(quán)利要求1至6中任一項所述的基于多模態(tài)向量對齊的質(zhì)檢方法，其特征在于，所述通過預設質(zhì)檢模型與所述融合特征向量信息，生成與所述源數(shù)據(jù)對應的質(zhì)檢結(jié)果，包括：

8.一種基于多模態(tài)向量對齊的質(zhì)檢裝置，其特征在于，包括：

9.一種計算機設備，其特征在于，所述計算機設備包括存儲器和處理器；

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器實現(xiàn)如權(quán)利要求1至7中任一項所述的基于多模態(tài)向量對齊的質(zhì)檢方法。

技術(shù)總結(jié)
本申請涉及數(shù)據(jù)分析領(lǐng)域，應用于金融科技業(yè)務領(lǐng)域，公開了一種基于多模態(tài)向量對齊的質(zhì)檢方法、裝置、設備及存儲介質(zhì)，所述方法包括通過預設特征提取模塊提取源數(shù)據(jù)的特征信息，生成至少一組源特征向量信息；基于預設多模態(tài)向量融合模型與各所述源特征向量信息，生成融合特征向量信息；通過預設質(zhì)檢模型與所述融合特征向量信息，生成與所述源數(shù)據(jù)對應的質(zhì)檢結(jié)果。通過上述方式，本申請通過融合不同模態(tài)的特征向量，可以更全面地分析源數(shù)據(jù)，提高質(zhì)檢的準確性和可靠性，實現(xiàn)對源數(shù)據(jù)的實時監(jiān)控，及時發(fā)現(xiàn)和解決質(zhì)量問題。根據(jù)需要添加或修改特征提取模塊、融合模型和質(zhì)檢模型，以適應不同的應用場景，提高了金融監(jiān)管的安全性。

技術(shù)研發(fā)人員：洪振厚,王健宗,瞿曉陽
受保護的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6