本發(fā)明涉及人工智能，尤其涉及一種售后安裝質(zhì)量檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、售后安裝服務(wù)因?yàn)槿狈ΡO(jiān)管以及人員流動(dòng)性等因素，導(dǎo)致服務(wù)質(zhì)量參差不齊，進(jìn)而容易造成產(chǎn)品品質(zhì)以及客戶投訴問(wèn)題的出現(xiàn)，因此如何做好售后安裝服務(wù)的監(jiān)管一直是行業(yè)內(nèi)重點(diǎn)關(guān)注的問(wèn)題，目前也暫無(wú)好的解決方案。

2、究其原因，現(xiàn)有技術(shù)下，家電產(chǎn)品的售后安裝服務(wù)缺乏高效的質(zhì)量檢測(cè)手段。安裝環(huán)境的多樣性和安裝師傅操作的差異性導(dǎo)致安裝質(zhì)量參差不齊，難以通過(guò)傳統(tǒng)人工方式進(jìn)行全面、及時(shí)地檢測(cè)。

3、因此，需要一種能夠自動(dòng)、快速且準(zhǔn)確地檢測(cè)售后安裝質(zhì)量的方法，以解決現(xiàn)有技術(shù)中安裝質(zhì)量檢測(cè)效率低下、準(zhǔn)確性不足的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種售后安裝質(zhì)量檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決目前采用人工檢測(cè)所存在的檢測(cè)精度低、工作量大、實(shí)時(shí)性差的缺陷。

2、本發(fā)明提供一種售后安裝質(zhì)量檢測(cè)方法，包括如下步驟：

3、將售后安裝完成后的產(chǎn)品圖像輸入至圖像識(shí)別模型，獲取由所述圖像識(shí)別模型輸出的圖像識(shí)別信息；所述圖像識(shí)別信息包括對(duì)所述產(chǎn)品圖像中至少一個(gè)目標(biāo)區(qū)域進(jìn)行識(shí)別后的識(shí)別結(jié)果，所述目標(biāo)區(qū)域是根據(jù)對(duì)所述售后安裝進(jìn)行質(zhì)量檢測(cè)的關(guān)鍵點(diǎn)確定的；

4、基于所述圖像識(shí)別信息和所述售后安裝的業(yè)務(wù)邏輯，判斷所述售后安裝是否異常；

5、所述圖像識(shí)別模型是利用圖像樣本以及每個(gè)所述圖像樣本的識(shí)別信息標(biāo)簽進(jìn)行訓(xùn)練后得到的。

6、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，所述圖像識(shí)別模型包括輸入層、特征提取層、注意力機(jī)制模塊、動(dòng)態(tài)稀疏注意力模塊和分類層；

7、所述將售后安裝完成后的產(chǎn)品圖像輸入至圖像識(shí)別模型，獲取由所述圖像識(shí)別模型輸出的圖像識(shí)別信息，包括：

8、將所述產(chǎn)品圖像輸入至所述圖像識(shí)別模型包括的輸入層，以對(duì)所述產(chǎn)品圖像進(jìn)行圖像大小、格式轉(zhuǎn)換和歸一化處理，獲取預(yù)處理后的標(biāo)準(zhǔn)圖像輸入至所述特征提取層；

9、所述特征提取層中的卷積層和池化層提取出所述標(biāo)準(zhǔn)圖像中的圖像特征信息，輸入至所述注意力機(jī)制模塊；

10、所述注意力機(jī)制模塊根據(jù)所述圖像特征信息的特征圖，并根據(jù)所述售后安裝進(jìn)行質(zhì)量檢測(cè)的關(guān)鍵點(diǎn)計(jì)算每個(gè)特征點(diǎn)的注意力權(quán)重；根據(jù)計(jì)算出的注意力權(quán)重對(duì)所述特征圖進(jìn)行加權(quán)求和，獲取加權(quán)特征圖輸入至所述動(dòng)態(tài)稀疏注意力模塊；

11、所述動(dòng)態(tài)稀疏注意力模塊從所述加權(quán)特征圖中選擇部分關(guān)鍵特征點(diǎn)，并根據(jù)所有所述關(guān)鍵特征點(diǎn)生成所述產(chǎn)品圖像相關(guān)的目標(biāo)特征信息；

12、所述分類層將所述目標(biāo)特征信息映射至各個(gè)分類標(biāo)簽上，獲取所述圖像識(shí)別信息。

13、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，所述圖像識(shí)別模型是基于以下方式訓(xùn)練得到的：

14、收集歷史售后安裝完成后的圖像樣本，并為每個(gè)所述圖像樣本標(biāo)注好所述識(shí)別信息標(biāo)簽，所述識(shí)別信息標(biāo)簽包括所述圖像樣本上各目標(biāo)區(qū)域中關(guān)鍵點(diǎn)的位置信息、類別信息中的至少一種；

15、獲取各個(gè)所述圖像樣本上的文本信息；

16、將任一圖像樣本相關(guān)的圖像信息與所述文本信息融合成多模態(tài)信息；

17、將所述任一圖像樣本及其對(duì)應(yīng)的所述多模態(tài)信息輸入至初始模型，根據(jù)所述初始模型輸出的識(shí)別信息結(jié)果與所述任一圖像樣本對(duì)應(yīng)的識(shí)別信息標(biāo)簽之間的比較結(jié)果，計(jì)算所述初始模型的預(yù)測(cè)損失；

18、根據(jù)每個(gè)所述圖像樣本所計(jì)算到的所述預(yù)測(cè)損失迭代更新所述初始模型的模型參數(shù)，直至訓(xùn)練結(jié)果收斂，獲取所述圖像識(shí)別模型。

19、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，所述獲取各個(gè)所述圖像樣本上的文本信息，包括：

20、從各圖像樣本上提取出與售后安裝相關(guān)的文字描述；

21、從所述文字描述中提取出與語(yǔ)義相關(guān)的核心文字；

22、從所述核心文字中抽取出與對(duì)所述售后安裝進(jìn)行質(zhì)量檢測(cè)相關(guān)的關(guān)鍵內(nèi)容作為所述文本信息。

23、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，所述將任一圖像樣本相關(guān)的圖像信息與所述文本信息融合成多模態(tài)信息，包括：

24、將所述圖像信息與所述文本信息輸入至圖像文字匹配模型，以將所述圖像信息與所述文本信息嵌入到一特征向量中，所述特征向量用于表征所述多模態(tài)信息；

25、所述圖像文字匹配模型是基于transformer模型的自注意機(jī)制構(gòu)建的。

26、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，任一所述圖像樣本的所述識(shí)別信息標(biāo)簽，是采用以下方式標(biāo)注的：

27、將任一所述圖像樣本輸入至視覺語(yǔ)言模型，獲取由所述視覺語(yǔ)言模型輸出的與所述售后安裝進(jìn)行質(zhì)量檢測(cè)的關(guān)鍵點(diǎn)相對(duì)應(yīng)的目標(biāo)檢查項(xiàng)；

28、根據(jù)所述目標(biāo)檢查項(xiàng)，確定對(duì)所述圖像樣本進(jìn)行目標(biāo)物體預(yù)標(biāo)注的目標(biāo)矩形框，所述目標(biāo)矩形框用于表征所述目標(biāo)物體在所述圖像樣本中的位置和大?。?/p>

29、根據(jù)所述目標(biāo)矩形框確定所述自動(dòng)標(biāo)注標(biāo)簽；

30、根據(jù)對(duì)所述自動(dòng)標(biāo)注標(biāo)簽進(jìn)行核查的核查結(jié)果，生成所述識(shí)別信息標(biāo)簽。

31、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，在收集歷史售后安裝完成后的圖像樣本之后，還包括對(duì)所有所述圖像樣本進(jìn)行預(yù)處理，所述預(yù)處理具體包括：

32、對(duì)所有所述圖像樣本進(jìn)行圖像清洗后，對(duì)得到的每個(gè)圖像樣本進(jìn)行增強(qiáng)操作，所述增強(qiáng)操作包括旋轉(zhuǎn)、縮放、隨機(jī)裁剪、色域變換中的一種或多種；

33、對(duì)增強(qiáng)操作后得到的至少一個(gè)圖像樣本進(jìn)行模糊度評(píng)估，以根據(jù)評(píng)估結(jié)果對(duì)所述圖像樣本進(jìn)行模糊增強(qiáng)操作，所述模糊增強(qiáng)操作包括增加噪聲、調(diào)整對(duì)比度、圖像降質(zhì)、圖像濾波、圖像插值中的一種或多種。

34、根據(jù)本發(fā)明提供的一種售后安裝質(zhì)量檢測(cè)方法，在所述售后安裝進(jìn)行質(zhì)量檢測(cè)的關(guān)鍵點(diǎn)為金屬混水閥檢測(cè)時(shí)，所述基于所述圖像識(shí)別信息和所述售后安裝的業(yè)務(wù)邏輯，判斷所述售后安裝是否異常，包括：

35、在根據(jù)所述圖像識(shí)別信息確定從所述產(chǎn)品圖像中檢測(cè)出圓形混水閥或者塑料混水閥時(shí)，確定所述售后安裝正常，否則執(zhí)行下一判斷；

36、確定從所述產(chǎn)品圖像中未檢測(cè)出熱水器時(shí)，確定所述售后安裝正常，否則執(zhí)行下一判斷；

37、確定從所述產(chǎn)品圖像中未檢測(cè)出金屬混水閥時(shí)，確定所述售后安裝正常，否則執(zhí)行下一判斷；

38、確定從所述產(chǎn)品圖像中所檢測(cè)出的金屬混水閥所在區(qū)域與所述產(chǎn)品圖像之間的交并比滿足預(yù)設(shè)閾值時(shí)，確定所述售后安裝正常，否則確定所述售后安裝異常。

39、本發(fā)明還提供一種售后安裝質(zhì)量檢測(cè)裝置，包括：

40、售后安裝圖像分析單元，用于將售后安裝完成后的產(chǎn)品圖像輸入至圖像識(shí)別模型，獲取由所述圖像識(shí)別模型輸出的圖像識(shí)別信息；所述圖像識(shí)別信息包括對(duì)所述產(chǎn)品圖像中至少一個(gè)目標(biāo)區(qū)域進(jìn)行識(shí)別后的識(shí)別結(jié)果，所述目標(biāo)區(qū)域是根據(jù)對(duì)所述售后安裝進(jìn)行質(zhì)量檢測(cè)的關(guān)鍵點(diǎn)確定的；

41、售后安裝質(zhì)量判斷單元，用于基于所述圖像識(shí)別信息和所述售后安裝的業(yè)務(wù)邏輯，判斷所述售后安裝是否異常；

42、所述圖像識(shí)別模型是利用圖像樣本以及每個(gè)所述圖像樣本的識(shí)別信息標(biāo)簽進(jìn)行訓(xùn)練后得到的。

43、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述售后安裝質(zhì)量檢測(cè)方法。

44、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述售后安裝質(zhì)量檢測(cè)方法。

45、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述售后安裝質(zhì)量檢測(cè)方法。

46、本發(fā)明提供的售后安裝質(zhì)量檢測(cè)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，本發(fā)明通過(guò)ai視覺技術(shù)構(gòu)建實(shí)時(shí)的售后安裝質(zhì)量檢測(cè)機(jī)制以及售后安裝圖像識(shí)別模型的訓(xùn)練方法，實(shí)現(xiàn)更精準(zhǔn)的售后安裝場(chǎng)景的監(jiān)管，便于實(shí)時(shí)預(yù)警違規(guī)情況、促進(jìn)問(wèn)題檔案及時(shí)溯源整改，逆向推動(dòng)安裝質(zhì)量提升。