本發(fā)明涉及人工智能，具體涉及人工智能技術(shù)深度學(xué)習(xí)領(lǐng)域，尤其是例如在智慧工廠中可應(yīng)用的、利用算力設(shè)備并輔以攝像頭對(duì)工廠內(nèi)(例如在工位、操作臺(tái)等等位置)的螺絲膠漏涂膠行為進(jìn)行檢測(cè)的技術(shù)。

背景技術(shù)：

1、深度學(xué)習(xí)技術(shù)作為人工智能技術(shù)領(lǐng)域的一個(gè)重要分支，近年來(lái)取得了顯著的進(jìn)展，并在多個(gè)領(lǐng)域?qū)崿F(xiàn)了廣泛應(yīng)用，深度學(xué)習(xí)已經(jīng)滲透到語(yǔ)音處理、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等多個(gè)領(lǐng)域。例如，在語(yǔ)音、圖像和視頻識(shí)別某些方面，基于深度學(xué)習(xí)的系統(tǒng)已經(jīng)達(dá)到或超越了人類(lèi)水平，深度學(xué)習(xí)框架流行與普及，使得大規(guī)模數(shù)據(jù)處理和模型訓(xùn)練變得更加高效，作為深度學(xué)習(xí)方法基礎(chǔ)之一的新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如transformer、gpt等在語(yǔ)言建模和生成任務(wù)中取得了顯著成功，顯示了模型結(jié)構(gòu)優(yōu)化的重要性，隨著標(biāo)注數(shù)據(jù)成本的增加，利用未標(biāo)注數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)成為研究熱點(diǎn)，有效降低了標(biāo)注成本并提高了模型泛化能力。通過(guò)基于含多個(gè)隱藏層的多層感知器的多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示，用“簡(jiǎn)單模型”即可完成復(fù)雜的分類(lèi)等學(xué)習(xí)任務(wù)。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一種，是實(shí)現(xiàn)人工智能的必經(jīng)路徑。

2、螺絲膠，一種將金屬完美粘合的膠水，以其出色的強(qiáng)度、韌性和耐久性，廣泛應(yīng)用于各種行業(yè)和領(lǐng)域。在過(guò)去，金屬粘合是一個(gè)令人頭疼的問(wèn)題。傳統(tǒng)的粘合劑往往無(wú)法承受金屬的硬度，耐久性差，甚至可能對(duì)金屬造成損害。而螺絲膠的出現(xiàn)，解決了這一問(wèn)題。它不僅對(duì)金屬無(wú)害，而且其強(qiáng)大的粘合力和耐久性可以確保金屬制品長(zhǎng)期穩(wěn)定，螺絲膠的特點(diǎn)主要有三點(diǎn)。首先，它的強(qiáng)度極高，可以在短時(shí)間內(nèi)達(dá)到峰值，使金屬件牢固粘合。其次，它具有出色的韌性，即使在極寒極熱的環(huán)境下也不會(huì)脆化或失去彈性。最后，它的耐久性極好，長(zhǎng)期使用不會(huì)出現(xiàn)老化、脫落等現(xiàn)象。但是，目前螺絲涂膠基本還是人工操作，這種人工操作或多或少會(huì)出現(xiàn)螺絲漏涂螺絲膠的情況發(fā)生，會(huì)造成很大的設(shè)備故障和損失，甚至在某些應(yīng)用場(chǎng)合會(huì)導(dǎo)致潛在的安全風(fēng)險(xiǎn)。因此，避免漏涂螺絲膠是業(yè)內(nèi)一直存在且必須解決的迫切技術(shù)問(wèn)題。

3、業(yè)內(nèi)始終需要改進(jìn)的、特別是基于人工智能深度學(xué)習(xí)算法識(shí)別的螺絲膠漏涂監(jiān)測(cè)技術(shù)，以克服上述和其它技術(shù)問(wèn)題。

4、本發(fā)明說(shuō)明書(shū)的此背景技術(shù)部分中所包括的信息，包括本文中所引用的任何參考文獻(xiàn)及其任何描述或討論，僅出于技術(shù)參考的目的而被包括在內(nèi)，并且不被認(rèn)為是將限制本發(fā)明范圍的主題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述以及其它更多的構(gòu)思而提出了本發(fā)明。

2、本發(fā)明的主要目標(biāo)之一，是為了解決在工廠實(shí)際場(chǎng)景中、操作工進(jìn)行螺絲涂膠作業(yè)時(shí)可能發(fā)生的螺絲漏涂情況，而提出的工廠內(nèi)螺絲膠漏涂膠行為的檢測(cè)技術(shù)。

3、鑒于以上所述，本發(fā)明旨在提供一種利用攝像頭配合深度學(xué)習(xí)算法進(jìn)行螺絲涂膠過(guò)程中異常行為的監(jiān)測(cè)的技術(shù)，當(dāng)出現(xiàn)螺絲漏涂膠的情況，能夠及時(shí)判斷、及時(shí)警示糾正，以防止出現(xiàn)螺絲漏涂的情況發(fā)生，從而克服了業(yè)內(nèi)一直存在的技術(shù)難題和缺陷。

4、根據(jù)本發(fā)明的一方面的構(gòu)思，提供了一種基于深度學(xué)習(xí)算法的螺絲膠漏涂膠行為的檢測(cè)方法，包括以下步驟：步驟1、對(duì)螺絲膠涂膠工位的實(shí)時(shí)視頻進(jìn)行預(yù)處理；步驟2、對(duì)經(jīng)過(guò)所述預(yù)處理的實(shí)時(shí)視頻，單幀單幀地進(jìn)行基于深度學(xué)習(xí)算法的算法識(shí)別，以識(shí)別所述螺絲膠涂膠工位中的螺絲膠盒、手、螺絲膠棒三種物體的類(lèi)別及其位置；步驟3、對(duì)所述實(shí)時(shí)視頻的所述算法識(shí)別的多幀識(shí)別結(jié)果進(jìn)行聯(lián)合判斷，以便對(duì)所述螺絲膠涂膠工位處于不涂膠狀態(tài)、待涂膠狀態(tài)和正在涂膠狀態(tài)的各自情形做出判斷和處理，包括在所述螺絲膠涂膠工位的不涂膠狀態(tài)、待涂膠狀態(tài)和正在涂膠狀態(tài)之間切換，其中，將所述螺絲膠涂膠工位的初始狀態(tài)設(shè)為不涂膠狀態(tài)；步驟4、根據(jù)所述步驟3輸出的所述螺絲膠涂膠工位是否存在螺絲膠漏涂行為，進(jìn)行相應(yīng)的處理，包括：如果所述螺絲膠涂膠工位存在螺絲膠漏涂行為，則指示所述螺絲膠涂膠工位的報(bào)警裝置報(bào)警，并記錄下所述實(shí)時(shí)視頻的當(dāng)前幀的時(shí)間。

5、根據(jù)一實(shí)施例，所述步驟1包括以下子步驟：步驟1-1：在實(shí)時(shí)視頻幀中手動(dòng)標(biāo)記出螺絲膠盒區(qū)域和螺絲區(qū)域；步驟1-2：利用攝像頭采集所述螺絲膠涂膠工位區(qū)域的所述實(shí)時(shí)視頻的數(shù)據(jù)；步驟1-3：對(duì)采集的所述實(shí)時(shí)視頻的數(shù)據(jù)進(jìn)行截幀；步驟1-4：利用幀差法對(duì)所述實(shí)時(shí)視頻的當(dāng)前幀和上幀進(jìn)行幀差計(jì)算，如果所述幀差的閾值低于設(shè)定值，對(duì)所述當(dāng)前幀不進(jìn)行預(yù)處理；和步驟1-5：如果所述幀差的閾值高于設(shè)定值，對(duì)所述當(dāng)前幀進(jìn)行預(yù)處理操作。

6、根據(jù)一實(shí)施例，所述步驟2包括以下子步驟：

7、步驟2-1：利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，對(duì)所述步驟1中的經(jīng)過(guò)所述預(yù)處理的所述當(dāng)前幀的圖像/視頻數(shù)據(jù)進(jìn)行特征的提??；

8、步驟2-2：將所述步驟2-1中提取的特征，放入到深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)的注意力機(jī)制和增強(qiáng)卷積注意力模塊相結(jié)合的方式特征增強(qiáng)模塊，進(jìn)行特征增強(qiáng)；和

9、步驟2-3：將所述步驟2-2中經(jīng)過(guò)所述特征增強(qiáng)的特征數(shù)據(jù)送入到多層感知機(jī)，進(jìn)行目標(biāo)位置和目標(biāo)類(lèi)別的預(yù)測(cè)，以識(shí)別所述螺絲膠涂膠工位中的螺絲膠盒、手、螺絲膠棒三種物體的類(lèi)別及其位置。

10、根據(jù)一實(shí)施例，所述改進(jìn)的注意力機(jī)制用以下公式1表達(dá)：

11、

12、其中，h是所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入張量的高，z是改進(jìn)的注意力值，w是所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入張量的寬，x是自注意力函數(shù)，i是所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入張量寬的索引，c是通道索引；

13、并且，所述增強(qiáng)卷積注意力模塊用以下公式2表達(dá)：

14、

15、其中，m是增強(qiáng)卷積注意力值，f是所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入張量，σ是sigmoid激活函數(shù)，w1是所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入張量第二維度的值，w0是所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入張量第一維度的值，maxpool是最大池化函數(shù)，avgpool是平均池化函數(shù)，mlp是多層感知機(jī)函數(shù)，max是取最大值函數(shù)，avg是取平均值函數(shù)，c是通道索引。

16、根據(jù)一實(shí)施例，所述步驟3包括以下子步驟：

17、步驟3-1：當(dāng)所述螺絲膠涂膠工位處于不涂膠狀態(tài)時(shí)，通過(guò)所述步驟2中的所述當(dāng)前幀的檢測(cè)結(jié)果判斷螺絲膠盒是否在螺絲膠盒區(qū)域內(nèi)，當(dāng)判斷所述螺絲膠盒在螺絲膠盒區(qū)域內(nèi)，則記錄所述螺絲膠盒在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)、并將所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)設(shè)置為0；當(dāng)判斷所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)，則記錄所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)、并將所述螺絲膠盒在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)設(shè)置為0；如果判斷所述螺絲膠盒在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)超過(guò)閾值，則將所述螺絲膠涂膠工位的狀態(tài)設(shè)置為待涂膠狀態(tài)；

18、步驟3-2：當(dāng)所述螺絲膠涂膠工位處于待涂膠狀態(tài)時(shí)，首先，判斷所述螺絲膠盒是否在所述螺絲膠盒區(qū)域內(nèi)，當(dāng)判斷所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)，則記錄所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)；當(dāng)判斷所述螺絲膠盒在所述螺絲膠盒區(qū)域內(nèi)，則將所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)設(shè)置為0；然后，根據(jù)所述步驟2的檢測(cè)結(jié)果判斷手是否觸所述碰螺絲盒區(qū)域，如果判斷手觸碰了所述螺絲盒區(qū)域，則將所述螺絲膠涂膠工位的狀態(tài)設(shè)置為正在涂膠狀態(tài)，并記錄正在涂膠狀態(tài)的開(kāi)始時(shí)間，將手是否處于拿螺絲狀態(tài)設(shè)置為是；之后，判斷所述螺絲膠盒不在所述螺絲膠盒區(qū)域內(nèi)的時(shí)長(zhǎng)，如果該時(shí)長(zhǎng)超過(guò)閾值、并且所述螺絲膠涂膠工位不處于正在涂膠狀態(tài)，則將所述螺絲膠涂膠工位的狀態(tài)設(shè)置為不涂膠狀態(tài)；和

19、步驟3-3：當(dāng)所述螺絲膠涂膠工位處于正在涂膠狀態(tài)時(shí)，則進(jìn)行基于下列判斷模塊項(xiàng)中的至少一者的判斷和處理：觸碰螺絲膠水區(qū)域邏輯判斷模塊、觸碰螺絲區(qū)域邏輯判斷模塊、螺絲膠漏涂時(shí)長(zhǎng)判斷模塊和正在涂膠狀態(tài)結(jié)束判斷模塊。

20、根據(jù)一實(shí)施例，所述步驟3-3包括以下細(xì)分步驟：

21、步驟3-3-1：當(dāng)所述螺絲膠涂膠工位處于正在涂膠狀態(tài)時(shí)，首先根據(jù)所述步驟2的檢測(cè)結(jié)果判斷手是否觸碰所述螺絲膠盒區(qū)域，當(dāng)判斷手觸碰了所述螺絲膠盒區(qū)域，則繼續(xù)下一步判斷是否處于手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)或者手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)；當(dāng)判斷為既非所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)也非所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)時(shí)，再判斷所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)結(jié)束的時(shí)間是否為空，如果是空，則認(rèn)為目前處于所述手觸碰螺絲膠盒拿膠棒狀態(tài)、并記錄所述手觸碰螺絲膠盒拿膠棒狀態(tài)開(kāi)始的時(shí)間，如果不為空，則認(rèn)為目前處于所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)、并記錄所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)開(kāi)始的時(shí)間；

22、當(dāng)判斷手沒(méi)觸碰螺絲膠盒區(qū)域，再判斷是否處于所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)，如果處于所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)，則記錄所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)在結(jié)束前的累計(jì)時(shí)長(zhǎng)，當(dāng)該累計(jì)時(shí)長(zhǎng)超過(guò)閾值，根據(jù)所述步驟2的檢測(cè)結(jié)果判斷膠棒是否處于螺絲膠盒區(qū)域內(nèi)，如果判斷所述膠棒處于螺絲膠盒區(qū)域內(nèi)，則認(rèn)為所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)無(wú)效；如果判斷所述膠棒處于螺絲膠盒區(qū)域內(nèi)，則認(rèn)為所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)有效、并記錄所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)結(jié)束的時(shí)間，否則，則判斷所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)無(wú)效，并將所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)的開(kāi)始時(shí)間設(shè)置為空；和

23、再判斷是否處于手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)，如果是處于所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)，則記錄所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)在結(jié)束前的累計(jì)時(shí)長(zhǎng)，當(dāng)該累計(jì)時(shí)長(zhǎng)超過(guò)閾值，則根據(jù)所述步驟2的檢測(cè)結(jié)果判斷所述膠棒是否處于螺絲膠盒區(qū)域內(nèi)；如果判斷所述膠棒不處于螺絲膠盒區(qū)域內(nèi)，則認(rèn)為所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)無(wú)效、并將所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)的開(kāi)始時(shí)間設(shè)置為空；如果判斷所述膠棒處于螺絲膠盒區(qū)域內(nèi)，則認(rèn)為所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)有效、并記錄所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)結(jié)束的時(shí)間；

24、步驟3-3-2：根據(jù)所述步驟2的檢測(cè)結(jié)果判斷手是否觸碰螺絲區(qū)域，當(dāng)判斷手觸碰了螺絲區(qū)域，再判斷是否處于手拿螺絲狀態(tài)，如果不是，則將手拿螺絲狀態(tài)設(shè)置為是、并將所述手拿螺絲狀態(tài)的結(jié)束時(shí)間設(shè)置為空；

25、當(dāng)判斷手沒(méi)有觸碰螺絲區(qū)域，再判斷是否處于所述手拿螺絲狀態(tài)，如果是，則記錄所述手拿螺絲狀態(tài)在結(jié)束前的累計(jì)時(shí)長(zhǎng)，如果該累計(jì)時(shí)長(zhǎng)超過(guò)閾值，則判斷所述手拿螺絲狀態(tài)結(jié)束，并記錄手觸碰螺絲區(qū)域拿取螺絲狀態(tài)的結(jié)束時(shí)間，并將所述手拿螺絲狀態(tài)在結(jié)束前的累計(jì)時(shí)長(zhǎng)設(shè)置為0；

26、步驟3-3-3：首先判斷所述手拿螺絲狀態(tài)的結(jié)束時(shí)間是否為空，如果所述手拿螺絲狀態(tài)的結(jié)束時(shí)間不為空，再判斷所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)的開(kāi)始時(shí)間是否為空，如果所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)的開(kāi)始時(shí)間不為空，則計(jì)算所述手觸碰螺絲膠盒拿膠棒狀態(tài)的開(kāi)始時(shí)間與所述手拿螺絲狀態(tài)的結(jié)束時(shí)間之間的差值；如果所述差值超過(guò)閾值，則判斷當(dāng)前存在螺絲漏涂膠行為、并觸發(fā)告警；如果所述手觸碰螺絲膠盒區(qū)域拿膠棒狀態(tài)的開(kāi)始時(shí)間為空，則計(jì)算所述實(shí)時(shí)視頻的當(dāng)前幀的時(shí)間與所述手觸碰螺絲區(qū)域拿取螺絲狀態(tài)的結(jié)束時(shí)間之間的時(shí)間差，如果所述時(shí)間差超過(guò)閾值，則判斷當(dāng)前存在螺絲漏涂膠行為；和

27、步驟3-3-4：首先，判斷所述實(shí)時(shí)視頻的當(dāng)前幀的時(shí)間與所述正在涂膠狀態(tài)的開(kāi)始時(shí)間之間的差是否超過(guò)閾值，如果超過(guò)該閾值，則將所述螺絲膠涂膠工位的當(dāng)前狀態(tài)設(shè)置為待涂膠狀態(tài)、并將相關(guān)流程變量初始化；之后，再判斷所述手觸碰螺絲膠盒區(qū)域放回膠棒狀態(tài)的結(jié)束時(shí)間是否為空，如果為空，則認(rèn)為一次螺絲涂膠流程結(jié)束，同時(shí)將所述螺絲膠涂膠工位的當(dāng)前狀態(tài)設(shè)置為待涂膠狀態(tài)、并將相關(guān)流程變量初始化。

28、根據(jù)一實(shí)施例，在所述步驟4結(jié)束后，重新進(jìn)入所述方法的下一個(gè)步驟循環(huán)，包括：重新執(zhí)行所述步驟1、所述步驟2、所述步驟3和所述步驟4。

29、根據(jù)一實(shí)施例，所述方法中的深度學(xué)習(xí)算法依賴(lài)于高性能計(jì)算服務(wù)器來(lái)執(zhí)行。

30、根據(jù)一實(shí)施例，所述高性能計(jì)算服務(wù)器包括邊緣算力服務(wù)器，其配置成能夠同時(shí)地對(duì)多個(gè)螺絲膠涂膠工位的螺絲膠漏涂膠行為進(jìn)行檢測(cè)。

31、根據(jù)一實(shí)施例，所述實(shí)時(shí)視頻的數(shù)據(jù)通過(guò)配置在各個(gè)螺絲膠涂膠工位的攝像頭的rtsp視頻流協(xié)議來(lái)獲取。

32、通過(guò)本發(fā)明的方法結(jié)合人工智能算法判斷識(shí)別技術(shù)，可以精確地、實(shí)時(shí)地判斷某工位是否出現(xiàn)螺絲膠漏涂行為并發(fā)出警示，從而可以及時(shí)、有效地避免螺絲膠漏涂膠情況的發(fā)生，大大降低了螺絲膠漏涂帶來(lái)的故障、損失和安全隱患。

33、本發(fā)明的更多實(shí)施例還能夠?qū)崿F(xiàn)其它未一一列出的有利技術(shù)效果，這些其它的技術(shù)效果在下文中可能有部分描述，并且對(duì)于本領(lǐng)域的技術(shù)人員而言在閱讀了本發(fā)明后是可以預(yù)期和理解的。