本申請(qǐng)涉及圖像處理，具體涉及一種大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法及裝置。

背景技術(shù)：

1、目前傳統(tǒng)的基于深度學(xué)習(xí)方法的檢測(cè)技術(shù)存在可解釋性差等諸多不足，亟需發(fā)展一種基于多模態(tài)大語(yǔ)言模型的輔助檢測(cè)方法與系統(tǒng)，自動(dòng)識(shí)別消化道檢查圖片是否異常，給出規(guī)范化的檢查報(bào)告。而高質(zhì)量的圖文對(duì)數(shù)據(jù)集往往決定著多模態(tài)大語(yǔ)言模型的效果，傳統(tǒng)的數(shù)據(jù)集構(gòu)建方法考慮的因素較少，需要依靠人工標(biāo)注，導(dǎo)致大模型圖文對(duì)數(shù)據(jù)集的構(gòu)建效率較低，數(shù)據(jù)質(zhì)量參差不齊。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法及裝置，可以提高大模型圖文對(duì)數(shù)據(jù)集的構(gòu)建效率和數(shù)據(jù)質(zhì)量。

2、第一方面，本申請(qǐng)?zhí)峁┑拇竽Ｐ蛨D文對(duì)數(shù)據(jù)集構(gòu)建方法，包括：

3、獲取第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本；

4、基于多個(gè)第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定多個(gè)第二內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本；

5、基于多個(gè)所述第二內(nèi)鏡檢測(cè)圖像確定多個(gè)檢測(cè)圖像組，其中，所述檢測(cè)圖像組包括兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像；

6、計(jì)算所述檢測(cè)圖像組中的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像的第一相似度，得到所述檢測(cè)圖像組的第一相似度；

7、獲取對(duì)所述檢測(cè)圖像組的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像分別進(jìn)行病灶分割得到的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域；

8、基于兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域確定兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像的第二相似度，得到所述檢測(cè)圖像組的第二相似度；

9、基于所述檢測(cè)圖像組的第一相似度和所述檢測(cè)圖像組的第二相似度確定所述檢測(cè)圖像組的第三相似度，得到多個(gè)所述檢測(cè)圖像組的第三相似度；

10、將第三相似度大于預(yù)設(shè)相似度的所述檢測(cè)圖像組中的至少一個(gè)所述第二內(nèi)鏡檢測(cè)圖像從多個(gè)所述第二內(nèi)鏡檢測(cè)圖像中刪除，得到多個(gè)第三內(nèi)鏡檢測(cè)圖像；

11、將一個(gè)第三內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定為大模型圖文對(duì)數(shù)據(jù)，得到包含多個(gè)大模型圖文對(duì)數(shù)據(jù)的大模型圖文對(duì)數(shù)據(jù)集。

12、第二方面，本申請(qǐng)?zhí)峁┑拇竽Ｐ蛨D文對(duì)數(shù)據(jù)集構(gòu)建裝置，包括：

13、第一獲取模塊，用于獲取第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本；

14、第一確定模塊，用于基于多個(gè)第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定多個(gè)第二內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本；

15、第二確定模塊，用于基于多個(gè)所述第二內(nèi)鏡檢測(cè)圖像確定多個(gè)檢測(cè)圖像組，其中，所述檢測(cè)圖像組包括兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像；

16、計(jì)算模塊，用于計(jì)算所述檢測(cè)圖像組中的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像的第一相似度，得到所述檢測(cè)圖像組的第一相似度；

17、第二獲取模塊，用于獲取對(duì)所述檢測(cè)圖像組的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像分別進(jìn)行病灶分割得到的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域；

18、第三確定模塊，用于基于兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域確定兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像的第二相似度，得到所述檢測(cè)圖像組的第二相似度；

19、第四確定模塊，用于基于所述檢測(cè)圖像組的第一相似度和所述檢測(cè)圖像組的第二相似度確定所述檢測(cè)圖像組的第三相似度，得到多個(gè)所述檢測(cè)圖像組的第三相似度；

20、刪除模塊，用于將第三相似度大于預(yù)設(shè)相似度的所述檢測(cè)圖像組中的至少一個(gè)所述第二內(nèi)鏡檢測(cè)圖像從多個(gè)所述第二內(nèi)鏡檢測(cè)圖像中刪除，得到多個(gè)第三內(nèi)鏡檢測(cè)圖像；

21、第五確定模塊，用于將一個(gè)第三內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定為大模型圖文對(duì)數(shù)據(jù)，得到包含多個(gè)大模型圖文對(duì)數(shù)據(jù)的大模型圖文對(duì)數(shù)據(jù)集。

22、第三方面，本申請(qǐng)?zhí)峁┑碾娮釉O(shè)備，包括存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，處理器用于運(yùn)行存儲(chǔ)器內(nèi)的計(jì)算機(jī)程序，實(shí)現(xiàn)本申請(qǐng)所提供的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法中的步驟。

23、第四方面，本申請(qǐng)?zhí)峁┑挠?jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有多條指令，該指令適于處理器進(jìn)行加載，實(shí)現(xiàn)本申請(qǐng)所提供的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法中的步驟。

24、第五方面，本申請(qǐng)?zhí)峁┑挠?jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，該計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)所提供的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法中的步驟。

25、本申請(qǐng)中，相較于相關(guān)技術(shù)，獲取第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本；基于多個(gè)第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定多個(gè)第二內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本；基于多個(gè)第二內(nèi)鏡檢測(cè)圖像確定多個(gè)檢測(cè)圖像組，其中，檢測(cè)圖像組包括兩個(gè)第二內(nèi)鏡檢測(cè)圖像；計(jì)算檢測(cè)圖像組中的兩個(gè)第二內(nèi)鏡檢測(cè)圖像的第一相似度，得到檢測(cè)圖像組的第一相似度；獲取對(duì)檢測(cè)圖像組的兩個(gè)第二內(nèi)鏡檢測(cè)圖像分別進(jìn)行病灶分割得到的兩個(gè)第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域；基于兩個(gè)第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域確定兩個(gè)第二內(nèi)鏡檢測(cè)圖像的第二相似度，得到檢測(cè)圖像組的第二相似度；基于檢測(cè)圖像組的第一相似度和檢測(cè)圖像組的第二相似度確定檢測(cè)圖像組的第三相似度，得到多個(gè)檢測(cè)圖像組的第三相似度；將第三相似度大于預(yù)設(shè)相似度的檢測(cè)圖像組中的至少一個(gè)第二內(nèi)鏡檢測(cè)圖像從多個(gè)第二內(nèi)鏡檢測(cè)圖像中刪除，得到多個(gè)第三內(nèi)鏡檢測(cè)圖像；將一個(gè)第三內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定為大模型圖文對(duì)數(shù)據(jù)，得到包含多個(gè)大模型圖文對(duì)數(shù)據(jù)的大模型圖文對(duì)數(shù)據(jù)集。本申請(qǐng)可以提高大模型圖文對(duì)數(shù)據(jù)集的構(gòu)建效率和數(shù)據(jù)質(zhì)量。

技術(shù)特征：

1.一種大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，所述計(jì)算所述檢測(cè)圖像組中的兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像的第一相似度，得到所述檢測(cè)圖像組的第一相似度，包括：

3.根據(jù)權(quán)利要求2所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，所述基于兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域確定兩個(gè)所述第二內(nèi)鏡檢測(cè)圖像的第二相似度，得到所述檢測(cè)圖像組的第二相似度，包括：

4.根據(jù)權(quán)利要求3所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，所述基于多個(gè)第一內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定多個(gè)第二內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本，包括：

5.根據(jù)權(quán)利要求4所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，所述基于多個(gè)第四內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定多個(gè)第二內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本，包括：

6.根據(jù)權(quán)利要求5所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，所述基于多個(gè)第五內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本，確定多個(gè)第二內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本，包括：

7.根據(jù)權(quán)利要求6所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法，其特征在于，所述獲取所述第五內(nèi)鏡檢測(cè)圖像的亮度評(píng)分、對(duì)比度評(píng)分、噪聲評(píng)分、偽影評(píng)分、黏膜區(qū)域清晰度評(píng)分、黏膜區(qū)域異常評(píng)分、病灶區(qū)域評(píng)分以及拍攝部位評(píng)分，包括：

8.一種大模型圖文對(duì)數(shù)據(jù)集構(gòu)建裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器用于運(yùn)行所述存儲(chǔ)器內(nèi)的計(jì)算機(jī)程序，以執(zhí)行權(quán)利要求1至7任一項(xiàng)所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法中的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，所述指令適于處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1至7任一項(xiàng)所述的大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法中的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種大模型圖文對(duì)數(shù)據(jù)集構(gòu)建方法及裝置，其中，基于多個(gè)第二內(nèi)鏡檢測(cè)圖像確定多個(gè)檢測(cè)圖像組；計(jì)算檢測(cè)圖像組的第一相似度；基于兩個(gè)第二內(nèi)鏡檢測(cè)圖像上的病灶分割區(qū)域確定檢測(cè)圖像組的第二相似度；基于檢測(cè)圖像組的第一相似度和檢測(cè)圖像組的第二相似度確定檢測(cè)圖像組的第三相似度，得到多個(gè)檢測(cè)圖像組的第三相似度；將第三相似度大于預(yù)設(shè)相似度的檢測(cè)圖像組中的至少一個(gè)第二內(nèi)鏡檢測(cè)圖像從多個(gè)第二內(nèi)鏡檢測(cè)圖像中刪除，得到多個(gè)第三內(nèi)鏡檢測(cè)圖像；將一個(gè)第三內(nèi)鏡檢測(cè)圖像和對(duì)應(yīng)的圖像描述文本確定為大模型圖文對(duì)數(shù)據(jù)，得到包含多個(gè)大模型圖文對(duì)數(shù)據(jù)的大模型圖文對(duì)數(shù)據(jù)集。本申請(qǐng)可以提高大模型圖文對(duì)數(shù)據(jù)集的構(gòu)建效率和數(shù)據(jù)質(zhì)量。

技術(shù)研發(fā)人員：熊廷順,胡孝
受保護(hù)的技術(shù)使用者：武漢楚精靈醫(yī)療科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6