本技術(shù)涉及人工智能，尤其涉及一種基于大語言模型的保險(xiǎn)場(chǎng)景核驗(yàn)方法、裝置及相關(guān)設(shè)備。

背景技術(shù)：

1、目前，深度學(xué)習(xí)在場(chǎng)景核驗(yàn)領(lǐng)域有廣泛應(yīng)用，通過深度學(xué)習(xí)模型可以檢測(cè)場(chǎng)景中的目標(biāo)對(duì)象，并對(duì)目標(biāo)對(duì)象的屬性特征進(jìn)行分析，從而實(shí)現(xiàn)場(chǎng)景中目標(biāo)對(duì)象的合規(guī)性核驗(yàn)，例如檢查場(chǎng)景中人員著裝是否合規(guī)、車輛標(biāo)識(shí)是否合規(guī)、檢查豬體死亡情況或者預(yù)估重量等。

2、常見的算法包括基于特征匹配的方法、基于深度學(xué)習(xí)的方法以及基于目標(biāo)檢測(cè)的方法。然而，這些方法存在一些問題，在場(chǎng)景復(fù)雜、屬性豐富下，這些模型往往難以單獨(dú)完成這些任務(wù)，因此，如何提高復(fù)雜場(chǎng)景下的場(chǎng)景核驗(yàn)，成為了亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的主要目的在于提出一種基于大語言模型的保險(xiǎn)場(chǎng)景核驗(yàn)方法、裝置及相關(guān)設(shè)備，旨在實(shí)現(xiàn)復(fù)雜場(chǎng)景中的場(chǎng)景核驗(yàn)。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第一方面提出了一種基于大語言模型的保險(xiǎn)場(chǎng)景核驗(yàn)方法，所述方法包括：

3、獲取目標(biāo)保險(xiǎn)場(chǎng)景圖像和預(yù)訓(xùn)練的大語言模型；其中，所述大語言模型包括多個(gè)大語言子模型，所述大語言模型的多個(gè)所述大語言子模型中包括相互之間存在業(yè)務(wù)映射約束的業(yè)務(wù)關(guān)聯(lián)子模型，每一所述大語言子模型對(duì)應(yīng)于一種業(yè)務(wù)能力；

4、將所述目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入所述大語言模型中，以使所述大語言模型基于所述業(yè)務(wù)映射約束對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行業(yè)務(wù)分類，得到業(yè)務(wù)類型信息，并基于所述業(yè)務(wù)類型信息將所述目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入對(duì)應(yīng)的所述業(yè)務(wù)關(guān)聯(lián)子模型進(jìn)行業(yè)務(wù)核驗(yàn)，得到業(yè)務(wù)核驗(yàn)數(shù)據(jù)；

5、基于所述業(yè)務(wù)核驗(yàn)數(shù)據(jù)對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行核驗(yàn)，得到所述目標(biāo)保險(xiǎn)場(chǎng)景圖像對(duì)應(yīng)的場(chǎng)景核驗(yàn)數(shù)據(jù)。

6、在一些實(shí)施例，在獲取目標(biāo)場(chǎng)景圖像和預(yù)訓(xùn)練的大語言模型之前，還包括對(duì)所述大語言模型的預(yù)訓(xùn)練過程，具體包括：

7、獲取多個(gè)原始模型以及第一訓(xùn)練數(shù)據(jù)集；其中，所述第一訓(xùn)練數(shù)據(jù)集中訓(xùn)練場(chǎng)景圖像與所述目標(biāo)保險(xiǎn)場(chǎng)景圖像屬于同一目標(biāo)業(yè)務(wù)場(chǎng)景；

8、根據(jù)所述目標(biāo)業(yè)務(wù)場(chǎng)景對(duì)所述第一訓(xùn)練數(shù)據(jù)集進(jìn)行分類標(biāo)注處理，得到分類標(biāo)注數(shù)據(jù)集；

9、基于所述分類標(biāo)注數(shù)據(jù)集，對(duì)所述多個(gè)原始模型進(jìn)行訓(xùn)練，得到多個(gè)預(yù)訓(xùn)練子模型；

10、針對(duì)每一所述預(yù)訓(xùn)練子模型，生成對(duì)應(yīng)的提示詞，并將所述提示詞與對(duì)應(yīng)的所述預(yù)訓(xùn)練子模型進(jìn)行適配，得到多個(gè)提示詞適配的預(yù)訓(xùn)練子模型；

11、將所述多個(gè)提示詞適配的預(yù)訓(xùn)練子模型，基于所述業(yè)務(wù)映射約束進(jìn)行級(jí)聯(lián)，得到所述預(yù)訓(xùn)練的大語言模型。

12、在一些實(shí)施例，所述基于所述分類標(biāo)注數(shù)據(jù)集，對(duì)所述多個(gè)原始模型進(jìn)行訓(xùn)練，得到多個(gè)預(yù)訓(xùn)練子模型，包括：

13、基于所述分類標(biāo)注數(shù)據(jù)集，對(duì)第一原始模型進(jìn)行訓(xùn)練，得到第一預(yù)訓(xùn)練子模型；其中，所述第一原始模型用于判斷場(chǎng)景圖像中是否存在待檢查對(duì)象以及是否符合驗(yàn)標(biāo)需求；

14、基于所述分類標(biāo)注數(shù)據(jù)集，對(duì)第二原始模型進(jìn)行訓(xùn)練，得到第二預(yù)訓(xùn)練子模型；其中，所述第二原始模型用于判斷場(chǎng)景圖像中的檢查對(duì)象是否符合預(yù)設(shè)核驗(yàn)標(biāo)準(zhǔn)；

15、根據(jù)所述目標(biāo)業(yè)務(wù)場(chǎng)景，建立所述第一預(yù)訓(xùn)練子模型以及所述第二預(yù)訓(xùn)練子模型之間的業(yè)務(wù)映射約束關(guān)系。

16、在一些實(shí)施例，所述將所述多個(gè)提示詞適配的預(yù)訓(xùn)練子模型，基于所述業(yè)務(wù)映射約束進(jìn)行級(jí)聯(lián)，得到所述預(yù)訓(xùn)練的大語言模型，包括：

17、根據(jù)所述業(yè)務(wù)映射約束，確定所述多個(gè)提示詞適配的預(yù)訓(xùn)練子模型之間的級(jí)聯(lián)順序，構(gòu)建預(yù)訓(xùn)練子模型的級(jí)聯(lián)結(jié)構(gòu)；

18、基于所述業(yè)務(wù)映射約束對(duì)所述預(yù)訓(xùn)練子模型的輸入輸出進(jìn)行適配處理，以使相鄰的預(yù)訓(xùn)練子模型之間的輸入輸出格式匹配。

19、在一些實(shí)施例，在將所述多個(gè)提示詞適配的預(yù)訓(xùn)練子模型，基于所述業(yè)務(wù)映射約束進(jìn)行級(jí)聯(lián)，得到所述預(yù)訓(xùn)練的大語言模型之后，還包括：

20、獲取第二訓(xùn)練數(shù)據(jù)集；

21、將所述第二訓(xùn)練數(shù)據(jù)集輸入所述大語言模型中，得到訓(xùn)練預(yù)測(cè)數(shù)據(jù)；

22、將所述訓(xùn)練預(yù)測(cè)數(shù)據(jù)中的預(yù)測(cè)標(biāo)簽與所述第二訓(xùn)練數(shù)據(jù)集中的真實(shí)標(biāo)簽進(jìn)行比對(duì)，得到預(yù)測(cè)標(biāo)注數(shù)據(jù)；

23、基于所述預(yù)測(cè)標(biāo)注數(shù)據(jù)對(duì)所述大語言模型進(jìn)行微調(diào)，得到微調(diào)后的大語言模型。

24、在一些實(shí)施例，所述基于所述業(yè)務(wù)核驗(yàn)數(shù)據(jù)對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行核驗(yàn)，得到所述目標(biāo)保險(xiǎn)場(chǎng)景圖像對(duì)應(yīng)的場(chǎng)景核驗(yàn)數(shù)據(jù)，包括：

25、對(duì)每一所述業(yè)務(wù)核驗(yàn)數(shù)據(jù)進(jìn)行二值化處理，得到對(duì)應(yīng)的二值化核驗(yàn)數(shù)據(jù)；

26、將每一所述業(yè)務(wù)核驗(yàn)數(shù)據(jù)輸入對(duì)應(yīng)的所述二值化核驗(yàn)數(shù)據(jù)預(yù)設(shè)的線性回歸模型中，得到線性回歸數(shù)據(jù)；

27、當(dāng)所述線性回歸數(shù)據(jù)滿足預(yù)設(shè)的核驗(yàn)條件時(shí)，確定所述目標(biāo)保險(xiǎn)場(chǎng)景圖像通過核驗(yàn)，得到表示核驗(yàn)通過的場(chǎng)景核驗(yàn)數(shù)據(jù)；

28、當(dāng)所述線性回歸數(shù)據(jù)不滿足預(yù)設(shè)的核驗(yàn)條件時(shí)，確定所述目標(biāo)保險(xiǎn)場(chǎng)景圖像未通過核驗(yàn)，得到表示核驗(yàn)未通過的場(chǎng)景核驗(yàn)數(shù)據(jù)。

29、在一些實(shí)施例，在將所述目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入所述大語言模型中之前，還包括：

30、獲取所述目標(biāo)保險(xiǎn)場(chǎng)景圖像的圖像尺寸以及圖像清晰度；

31、當(dāng)所述圖像尺寸不滿足預(yù)設(shè)的尺寸條件時(shí)，根據(jù)預(yù)設(shè)的目標(biāo)尺寸對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行尺寸調(diào)整；其中，所述預(yù)設(shè)的目標(biāo)尺寸為所述大語言模型的輸入尺寸；

32、當(dāng)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像的清晰度低于預(yù)設(shè)的清晰度閾值時(shí)，利用預(yù)設(shè)的超分辨率模型對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行超分辨率重建。

33、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第二方面提出了一種基于大語言模型的場(chǎng)景核驗(yàn)裝置，所述裝置包括：

34、獲取模塊，用于獲取目標(biāo)保險(xiǎn)場(chǎng)景圖像和預(yù)訓(xùn)練的大語言模型；其中，所述大語言模型包括多個(gè)大語言子模型，所述大語言模型的多個(gè)所述大語言子模型中包括相互之間存在業(yè)務(wù)映射約束的業(yè)務(wù)關(guān)聯(lián)子模型，每一所述大語言子模型對(duì)應(yīng)于一種業(yè)務(wù)能力；

35、業(yè)務(wù)核驗(yàn)?zāi)K，用于將所述目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入所述大語言模型中，以使所述大語言模型基于所述業(yè)務(wù)映射約束對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行業(yè)務(wù)分類，得到業(yè)務(wù)類型信息，并基于所述業(yè)務(wù)類型信息將所述目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入對(duì)應(yīng)的所述業(yè)務(wù)關(guān)聯(lián)子模型進(jìn)行業(yè)務(wù)核驗(yàn)，得到業(yè)務(wù)核驗(yàn)數(shù)據(jù)；

36、場(chǎng)景核驗(yàn)?zāi)K，用于基于所述業(yè)務(wù)核驗(yàn)數(shù)據(jù)對(duì)所述目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行核驗(yàn)，得到所述目標(biāo)保險(xiǎn)場(chǎng)景圖像對(duì)應(yīng)的場(chǎng)景核驗(yàn)數(shù)據(jù)。

37、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第三方面提出了一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述第一方面所述的方法。

38、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的第四方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的方法。

39、本技術(shù)提出的基于大語言模型的保險(xiǎn)場(chǎng)景核驗(yàn)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，其通過獲取目標(biāo)保險(xiǎn)場(chǎng)景圖像和預(yù)訓(xùn)練的大語言模型；其中，大語言模型包括多個(gè)大語言子模型，大語言模型的多個(gè)大語言子模型中包括相互之間存在業(yè)務(wù)映射約束的業(yè)務(wù)關(guān)聯(lián)子模型，每一大語言子模型對(duì)應(yīng)于一種業(yè)務(wù)能力；將目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入大語言模型中，以使大語言模型基于業(yè)務(wù)映射約束對(duì)目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行業(yè)務(wù)分類，得到業(yè)務(wù)類型信息，并基于業(yè)務(wù)類型信息將目標(biāo)保險(xiǎn)場(chǎng)景圖像輸入對(duì)應(yīng)的業(yè)務(wù)關(guān)聯(lián)子模型進(jìn)行業(yè)務(wù)核驗(yàn)，得到業(yè)務(wù)核驗(yàn)數(shù)據(jù)；基于業(yè)務(wù)核驗(yàn)數(shù)據(jù)對(duì)目標(biāo)保險(xiǎn)場(chǎng)景圖像進(jìn)行核驗(yàn)，得到目標(biāo)保險(xiǎn)場(chǎng)景圖像對(duì)應(yīng)的場(chǎng)景核驗(yàn)數(shù)據(jù)。本技術(shù)利用預(yù)訓(xùn)練的大語言模型進(jìn)行保險(xiǎn)場(chǎng)景核驗(yàn)，相比傳統(tǒng)的規(guī)則或單一模型方法，大語言模型可以更好地理解場(chǎng)景語義，提取關(guān)鍵信息，從而提高核驗(yàn)準(zhǔn)確性。同時(shí)，保險(xiǎn)場(chǎng)景復(fù)雜多樣，單一的核驗(yàn)方法難以滿足所有場(chǎng)景需求，而傳統(tǒng)模型的級(jí)聯(lián)工程有十分復(fù)雜，因此本技術(shù)將大語言模型劃分為多個(gè)子模型，每個(gè)子模型對(duì)應(yīng)一種業(yè)務(wù)能力，通過業(yè)務(wù)映射約束建立子模型間的關(guān)聯(lián)，使得核驗(yàn)過程可以并行化，可以靈活適應(yīng)復(fù)雜的業(yè)務(wù)場(chǎng)景，因此本技術(shù)充分利用了大語言模型的語義理解和多任務(wù)處理能力，通過子模型分工協(xié)作，實(shí)現(xiàn)了復(fù)雜保險(xiǎn)場(chǎng)景中高效的場(chǎng)景核驗(yàn)。