本發(fā)明涉及圖像識別技術(shù)，尤其涉及基于彩票門店違規(guī)異常識別方法及系統(tǒng)。

背景技術(shù)：

1、傳統(tǒng)的彩票門店違規(guī)異常識別方法主要依賴人工巡查和簡單的視頻監(jiān)控系統(tǒng)，存在覆蓋不全面、識別能力有限、數(shù)據(jù)源單一、評估方法僵化、忽視歷史記錄、實時性差、缺乏智能排查等多方面問題。

2、人工巡查方法存在人力成本高、覆蓋范圍有限、實時性差等問題。巡查人員無法24小時不間斷地監(jiān)督每個彩票銷售點，導(dǎo)致許多違規(guī)行為可能在巡查間隙發(fā)生而未被發(fā)現(xiàn)。

3、簡單的視頻監(jiān)控系統(tǒng)雖然在一定程度上改善了監(jiān)管的實時性和覆蓋范圍，但其分析能力有限。這類系統(tǒng)通常只能進行基礎(chǔ)的圖像采集和存儲，缺乏智能化的異常行為識別能力。監(jiān)管人員需要手動查看大量的視頻錄像，工作效率低下且容易遺漏重要信息。

4、一些稍微先進的系統(tǒng)開始引入基本的圖像識別技術(shù)，如人臉識別或簡單的動作檢測。然而，這些系統(tǒng)往往是針對單一任務(wù)設(shè)計的，無法全面考慮彩票銷售環(huán)境中的復(fù)雜情況。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供基于彩票門店違規(guī)異常識別方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實施例的第一方面，

3、提供基于彩票門店違規(guī)異常識別方法，包括：

4、在彩票門店內(nèi)安裝高分辨率rgb攝像頭、深度攝像頭和熱成像攝像頭，利用邊緣計算設(shè)備實時采集多源異構(gòu)圖像數(shù)據(jù)；對采集的多源異構(gòu)圖像數(shù)據(jù)進行預(yù)處理，形成包含空間、深度和熱力信息的立體圖像數(shù)據(jù)集；

5、構(gòu)建多任務(wù)深度學(xué)習(xí)模型,所述多任務(wù)深度學(xué)習(xí)模型包括人臉識別模塊、行為分析模塊和環(huán)境檢測模塊，利用標注數(shù)據(jù)集對所述多任務(wù)深度學(xué)習(xí)模型進行訓(xùn)練和優(yōu)化；所述人臉識別模塊用改進的retinaface算法進行人臉檢測，并使用基于se-resnet年齡估計模型估計年齡，通過年齡閾值判斷疑似未成年人;所述行為分析模塊,基于改進時空圖卷積網(wǎng)絡(luò)的行為識別方法，判斷是否存在低齡學(xué)生購票行為;所述環(huán)境檢測模塊，利用改進的mask?r-cnn算法對彩票門店內(nèi)的違規(guī)物品進行實例分割和識別，通過引入特征增強網(wǎng)絡(luò)提高對違規(guī)物品的識別能力；引入對比學(xué)習(xí)策略，提高對相似物品的區(qū)分能力；

6、將立體圖像數(shù)據(jù)集輸入到訓(xùn)練好的多任務(wù)深度學(xué)習(xí)模型中，同時執(zhí)行人臉識別、行為分析和環(huán)境檢測任務(wù)；基于多任務(wù)深度學(xué)習(xí)模型的執(zhí)行結(jié)果，應(yīng)用模糊綜合評判法生成違規(guī)評分,并考慮歷史違規(guī)記錄進行加權(quán)；基于違規(guī)評分結(jié)果，生成彩票門店現(xiàn)場排查計劃。

7、在一種可選的實施例中，

8、采用邊緣計算設(shè)備實時采集彩票門店內(nèi)的多源異構(gòu)圖像數(shù)據(jù)，所述多源異構(gòu)圖像數(shù)據(jù)包括rgb圖像數(shù)據(jù)、深度圖像數(shù)據(jù)和熱成像圖像數(shù)據(jù)；

9、對所述rgb圖像數(shù)據(jù)應(yīng)用改進的條件生成對抗網(wǎng)絡(luò)進行圖像增強，所述條件生成對抗網(wǎng)絡(luò)的生成器采用u-net結(jié)構(gòu)并在跳躍連接中引入通道注意力機制，判別器采用patchgan結(jié)構(gòu)，通過結(jié)合l1損失、對抗損失和感知損失函數(shù)優(yōu)化網(wǎng)絡(luò)參數(shù)；

10、利用基于深度學(xué)習(xí)的端到端配準框架對增強后的rgb圖像數(shù)據(jù)、深度圖像數(shù)據(jù)和熱成像圖像數(shù)據(jù)進行配準，所述端到端配準框架包括特征提取網(wǎng)絡(luò)和變換估計網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)采用孿生結(jié)構(gòu)分別處理不同模態(tài)的圖像數(shù)據(jù)，變換估計網(wǎng)絡(luò)采用多層感知機結(jié)構(gòu)輸出仿射變換參數(shù)，并通過多模態(tài)相似性度量損失函數(shù)優(yōu)化配準精度；

11、將配準后的圖像數(shù)據(jù)輸入多尺度特征融合網(wǎng)絡(luò)，所述多尺度特征融合網(wǎng)絡(luò)采用改進的特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，引入跨模態(tài)自注意力機制增強不同模態(tài)間的信息交互，并通過自適應(yīng)特征聚合模塊動態(tài)調(diào)整不同模態(tài)特征的融合權(quán)重；

12、將多尺度特征融合網(wǎng)絡(luò)的輸出轉(zhuǎn)換為統(tǒng)一的張量格式，生成包含空間、深度和熱力信息的立體圖像數(shù)據(jù)集。

13、在一種可選的實施例中，

14、構(gòu)建多任務(wù)深度學(xué)習(xí)模型,所述多任務(wù)深度學(xué)習(xí)模型包括人臉識別模塊、行為分析模塊和環(huán)境檢測模塊，利用標注數(shù)據(jù)集對所述多任務(wù)深度學(xué)習(xí)模型進行訓(xùn)練和優(yōu)化的步驟包括：

15、構(gòu)建多任務(wù)深度學(xué)習(xí)模型，所述多任務(wù)深度學(xué)習(xí)模型包括共享的特征提取主干網(wǎng)絡(luò)和多個任務(wù)分支網(wǎng)絡(luò)，所述共享的特征提取主干網(wǎng)絡(luò)采用改進的efficientnet-b4結(jié)構(gòu)，引入動態(tài)卷積和squeeze-and-excitation模塊，并通過多尺度特征融合機制生成多個尺度的特征圖；所述多個任務(wù)分支網(wǎng)絡(luò)包括人臉識別模塊分支網(wǎng)絡(luò)、行為分析模塊分支網(wǎng)絡(luò)和環(huán)境檢測模塊分支網(wǎng)絡(luò)；

16、設(shè)計動態(tài)任務(wù)權(quán)重分配策略，包括構(gòu)建任務(wù)困難度評估模塊，通過監(jiān)測每個任務(wù)的訓(xùn)練損失變化率動態(tài)調(diào)整任務(wù)權(quán)重，采用softmax函數(shù)將任務(wù)困難度映射到預(yù)定區(qū)間，將映射結(jié)果作為任務(wù)權(quán)重的縮放因子；

17、制定基于不確定性的多任務(wù)損失融合方法，為每個任務(wù)引入可學(xué)習(xí)的不確定性參數(shù)，將各任務(wù)損失除以相應(yīng)不確定性參數(shù)的平方，并加上所有不確定性參數(shù)乘積的對數(shù)值，得到總損失函數(shù)；

18、實施數(shù)據(jù)增強策略，包括對標注數(shù)據(jù)集進行幾何變換和顏色抖動處理，并使用快速梯度符號法生成對抗樣本，將對抗樣本與原始樣本混合形成增強后的標注數(shù)據(jù)集；

19、利用增強后的標注數(shù)據(jù)集對所述多任務(wù)深度學(xué)習(xí)模型進行訓(xùn)練，在訓(xùn)練過程中，基于動態(tài)任務(wù)權(quán)重分配策略調(diào)整各任務(wù)的權(quán)重，并使用基于不確定性的多任務(wù)損失融合方法計算總損失；

20、通過反向傳播算法優(yōu)化多任務(wù)深度學(xué)習(xí)模型參數(shù)，同時更新不確定性參數(shù)和任務(wù)權(quán)重，直至多任務(wù)深度學(xué)習(xí)模型收斂或達到預(yù)設(shè)的訓(xùn)練輪次。

21、在一種可選的實施例中，

22、所述人臉識別模塊用改進的retinaface算法進行人臉檢測，并使用基于se-resnet年齡估計模型估計年齡，通過年齡閾值判斷疑似未成年人的步驟包括：

23、基于立體圖像數(shù)據(jù)集，利用改進的retinaface算法進行人臉檢測，其中所述改進的retinaface算法包含特征金字塔網(wǎng)絡(luò)中的通道注意力模塊、多尺度上下文模塊和自適應(yīng)樣本選擇策略，所述通道注意力模塊通過自適應(yīng)平均池化和最大池化操作增強對不同尺度人臉的感知能力，所述多尺度上下文模塊通過不同卷積核尺寸捕獲多尺度上下文信息，所述自適應(yīng)樣本選擇策略根據(jù)類別概率動態(tài)調(diào)整正負樣本比例；

24、將檢測到的人臉圖像輸入到基于se-resnet的年齡估計模型中，其中所述se-resnet模型包含squeeze-and-excitation模塊；

25、基于所述se-resnet的年齡估計模型的輸出，采用軟閾值策略進行未成年人判斷，其中所述軟閾值策略通過sigmoid函數(shù)將年齡預(yù)測值轉(zhuǎn)化為未成年人概率，并根據(jù)設(shè)定的概率閾值做出最終判斷，輸出未成年人識別結(jié)果。

26、在一種可選的實施例中，

27、所述行為分析模塊,基于改進時空圖卷積網(wǎng)絡(luò)的行為識別方法，判斷是否存在低齡學(xué)生購票行為的步驟包括：

28、利用自適應(yīng)圖構(gòu)建模塊動態(tài)生成立體圖像數(shù)據(jù)集中人體特征點之間的連接關(guān)系，形成自適應(yīng)圖結(jié)構(gòu)；其中所述自適應(yīng)圖構(gòu)建模塊包含邊緣預(yù)測器，所述邊緣預(yù)測器通過多層神經(jīng)網(wǎng)絡(luò)根據(jù)輸入特征計算邊緣權(quán)重；

29、將所述自適應(yīng)圖結(jié)構(gòu)輸入到多尺度時空卷積模塊中，所述多尺度時空卷積模塊包含不同卷積核大小的圖卷積層和時間卷積層；

30、在所述多尺度時空卷積模塊的輸出特征上應(yīng)用時空注意力機制，包括空間注意力子模塊和時間注意力子模塊；

31、將空間注意力子模塊和時間注意力子模塊加權(quán)后的特征輸入到全連接層中進行特征融合和降維；

32、基于融合后的特征進行行為分類，輸出行為類別概率分布；

33、根據(jù)預(yù)定義的行為類別映射表，將識別出的行為類別概率分布與低齡學(xué)生購票行為進行匹配，輸出行為識別結(jié)果。

34、在一種可選的實施例中，

35、所述環(huán)境檢測模塊，利用改進的mask?r-cnn算法對彩票門店內(nèi)的違規(guī)物品進行實例分割和識別，通過引入特征增強網(wǎng)絡(luò)提高對違規(guī)物品的識別能力；引入對比學(xué)習(xí)策略，提高對相似物品的區(qū)分能力的步驟包括：

36、將立體圖像數(shù)據(jù)集輸入到改進的mask?r-cnn模型中，所述改進的mask?r-cnn模型包含主干網(wǎng)絡(luò)、特征增強網(wǎng)絡(luò)、改進的區(qū)域提議網(wǎng)絡(luò)和改進的roi?head；

37、通過所述主干網(wǎng)絡(luò)提取多層次特征；

38、將所述多層次特征輸入到所述特征增強網(wǎng)絡(luò)中，所述特征增強網(wǎng)絡(luò)包括多尺度特征融合模塊、注意力增強模塊和殘差密集塊，其中多尺度特征融合模塊對不同層級特征進行融合，注意力增強模塊包含通道和空間注意力機制，殘差密集塊利用多層次特征進行特征提取；

39、將特征增強網(wǎng)絡(luò)的輸出特征輸入到所述改進的區(qū)域提議網(wǎng)絡(luò)中，所述改進的區(qū)域提議網(wǎng)絡(luò)采用密集錨框生成策略，生成包括標準錨框和密集錨框的候選區(qū)域；

40、將所述候選區(qū)域和利用特征增強網(wǎng)絡(luò)增強后的特征輸入到所述改進的roi?head中，所述改進的roi?head包含自適應(yīng)特征池化層；在改進的roi?head之后引入對比學(xué)習(xí)模塊，對比學(xué)習(xí)模塊通過對比學(xué)習(xí)策略提高對相似物品的區(qū)分能力；

41、利用改進的損失函數(shù)對改進的mask?r-cnn模型進行訓(xùn)練，所述改進的損失函數(shù)包括focal?loss和iou-balanced?loss；對訓(xùn)練完成的模型進行推理，得到違規(guī)物品的實例分割結(jié)果和識別結(jié)果，所述違規(guī)物品包括電瓶車及大功率電器。

42、在一種可選的實施例中，

43、引入對比學(xué)習(xí)策略，提高對相似物品的區(qū)分能力的步驟包括：

44、將歷史圖像數(shù)據(jù)集輸入到包含主干網(wǎng)絡(luò)和投影頭的神經(jīng)網(wǎng)絡(luò)模型中；通過所述主干網(wǎng)絡(luò)提取歷史電器圖像的特征表示；將所述特征表示輸入到投影頭中，得到歸一化的特征投影；

45、對所述歷史圖像數(shù)據(jù)進行數(shù)據(jù)增強處理，生成增強后的歷史電器圖像數(shù)據(jù)，所述數(shù)據(jù)增強處理包括隨機旋轉(zhuǎn)、隨機裁剪、顏色抖動、高斯模糊和添加噪聲；將增強后的歷史電器圖像數(shù)據(jù)輸入到所述神經(jīng)網(wǎng)絡(luò)模型中，得到增強圖像的特征投影；

46、計算監(jiān)督對比損失，所述監(jiān)督對比損失基于歸一化的特征投影；計算自監(jiān)督對比損失，所述自監(jiān)督對比損失基于增強圖像的特征投影；

47、結(jié)合監(jiān)督對比損失和自監(jiān)督對比損失，得到聯(lián)合對比學(xué)習(xí)損失；

48、基于所述聯(lián)合對比學(xué)習(xí)損失對神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化訓(xùn)練；

49、利用訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型對立體圖像數(shù)據(jù)集進行特征提取和投影；

50、基于特征提取和投影計算立體圖像數(shù)據(jù)集與已知電器類別之間的相似度，確定立體圖像數(shù)據(jù)集的類別，得到電器識別結(jié)果。

51、在一種可選的實施例中，

52、基于多任務(wù)深度學(xué)習(xí)模型的執(zhí)行結(jié)果，應(yīng)用模糊綜合評判法生成違規(guī)評分,并考慮歷史違規(guī)記錄進行加權(quán)的步驟包括：

53、構(gòu)建模糊綜合評判模型，所述模糊綜合評判模型包括目標層、準則層和指標層，其中目標層為違規(guī)評分，準則層包括年齡因素、行為因素和物品因素，指標層包括未成年指標、成年指標、購買行為指標、滯留行為指標、交互行為指標、違規(guī)物品指標；采用機器學(xué)習(xí)算法確定模糊綜合評判模型中各層次的權(quán)重，包括使用歷史數(shù)據(jù)訓(xùn)練決策樹模型，生成特征重要性矩陣，計算特征向量并進行交叉驗證，得到權(quán)重向量；

54、設(shè)計隸屬度函數(shù)，將多任務(wù)深度學(xué)習(xí)模型的輸出轉(zhuǎn)化為模糊集合，所述隸屬度函數(shù)包括年齡隸屬度函數(shù)、行為隸屬度函數(shù)和物品隸屬度函數(shù)；基于隸屬度函數(shù)，將識別結(jié)果轉(zhuǎn)化為模糊集合；構(gòu)建單因素評判矩陣，所述單因素評判矩陣包括年齡評判矩陣、行為評判矩陣和物品評判矩陣；

55、利用權(quán)重向量和單因素評判矩陣計算模糊綜合評判結(jié)果；

56、將模糊綜合評判結(jié)果組合得到總評判矩陣；

57、將權(quán)重向量與總評判矩陣相乘得到最終評判結(jié)果；

58、將最終評判結(jié)果與預(yù)設(shè)的違規(guī)等級分值進行加權(quán)求和得到初始違規(guī)評分；

59、獲取歷史違規(guī)記錄，根據(jù)歷史違規(guī)次數(shù)計算加權(quán)因子；

60、利用加權(quán)因子對初始違規(guī)評分進行加權(quán)，得到最終違規(guī)評分；

61、輸出最終違規(guī)評分，作為彩票門店違規(guī)行為的評估結(jié)果。

62、本發(fā)明實施例的第二方面，

63、提供基于彩票門店違規(guī)異常識別系統(tǒng)，包括：

64、第一單元，用于在彩票門店內(nèi)安裝高分辨率rgb攝像頭、深度攝像頭和熱成像攝像頭，利用邊緣計算設(shè)備實時采集多源異構(gòu)圖像數(shù)據(jù)；對采集的多源異構(gòu)圖像數(shù)據(jù)進行預(yù)處理，形成包含空間、深度和熱力信息的立體圖像數(shù)據(jù)集；

65、第二單元，用于構(gòu)建多任務(wù)深度學(xué)習(xí)模型,所述多任務(wù)深度學(xué)習(xí)模型包括人臉識別模塊、行為分析模塊和環(huán)境檢測模塊，利用標注數(shù)據(jù)集對所述多任務(wù)深度學(xué)習(xí)模型進行訓(xùn)練和優(yōu)化；所述人臉識別模塊用改進的retinaface算法進行人臉檢測，并使用基于se-resnet年齡估計模型估計年齡，通過年齡閾值判斷疑似未成年人;所述行為分析模塊,基于改進時空圖卷積網(wǎng)絡(luò)的行為識別方法，判斷是否存在低齡學(xué)生購票行為;所述環(huán)境檢測模塊，利用改進的mask?r-cnn算法對彩票門店內(nèi)的違規(guī)物品進行實例分割和識別，通過引入特征增強網(wǎng)絡(luò)提高對違規(guī)物品的識別能力；引入對比學(xué)習(xí)策略，提高對相似物品的區(qū)分能力；

66、第三單元，用于將立體圖像數(shù)據(jù)集輸入到訓(xùn)練好的多任務(wù)深度學(xué)習(xí)模型中，同時執(zhí)行人臉識別、行為分析和環(huán)境檢測任務(wù)；基于多任務(wù)深度學(xué)習(xí)模型的執(zhí)行結(jié)果，應(yīng)用模糊綜合評判法生成違規(guī)評分,并考慮歷史違規(guī)記錄進行加權(quán)；基于違規(guī)評分結(jié)果，生成彩票門店現(xiàn)場排查計劃。

67、本發(fā)明實施例的第三方面，

68、提供一種電子設(shè)備，包括：

69、處理器；

70、用于存儲處理器可執(zhí)行指令的存儲器；

71、其中，所述處理器被配置為調(diào)用所述存儲器存儲的指令，以執(zhí)行前述所述的方法。

72、本文通過多源異構(gòu)圖像數(shù)據(jù)的采集和處理,實現(xiàn)了對場景信息的全面捕捉,為后續(xù)的分析任務(wù)提供了豐富的數(shù)據(jù)基礎(chǔ)。其次,改進的條件生成對抗網(wǎng)絡(luò)在圖像增強方面表現(xiàn)出色,能夠有效提升低質(zhì)量圖像的視覺效果和信息量。再次,端到端的深度學(xué)習(xí)配準框架提高了多模態(tài)圖像配準的精度和效率,為后續(xù)的特征融合奠定了基礎(chǔ)。最后,多尺度特征融合網(wǎng)絡(luò)的設(shè)計,特別是跨模態(tài)自注意力機制和自適應(yīng)特征聚合模塊的引入,實現(xiàn)了不同模態(tài)信息的有效整合,生成了包含豐富語義信息的立體圖像數(shù)據(jù)集。

73、本文采用的自適應(yīng)圖構(gòu)建模塊能夠動態(tài)調(diào)整人體關(guān)鍵點之間的連接關(guān)系，提高了模型對不同姿態(tài)和動作的適應(yīng)能力。其次，多尺度時空卷積模塊有效捕獲了不同尺度的空間和時間特征，增強了模型對復(fù)雜動作的理解能力。時空注意力機制則進一步突出了關(guān)鍵的空間區(qū)域和時間段，提高了識別的準確性。最后，通過預(yù)定義的行為類別映射表，系統(tǒng)能夠靈活地適應(yīng)不同場景下的低齡學(xué)生購票行為模式。這種綜合優(yōu)化的方法不僅提高了行為識別的準確性和魯棒性，還具有良好的泛化能力，可以應(yīng)用于各種復(fù)雜的實際場景。

74、本文采用的基于模糊綜合評判和歷史違規(guī)記錄加權(quán)的違規(guī)評分方法具有多方面的有益效果。首先，它能夠全面考慮多個影響因素，包括年齡、行為和物品等，使評估結(jié)果更加客觀和全面。其次，通過使用模糊理論，該方法能夠更好地處理現(xiàn)實世界中的不確定性和模糊性，避免了傳統(tǒng)硬閾值方法的局限性。再者，引入機器學(xué)習(xí)算法來確定權(quán)重，使得評判模型能夠自適應(yīng)地根據(jù)歷史數(shù)據(jù)調(diào)整各因素的重要性，提高了模型的準確性和適應(yīng)性。此外，考慮歷史違規(guī)記錄進行加權(quán)的設(shè)計，能夠?qū)掖芜`規(guī)的行為進行更嚴厲的懲處，有利于遏制重復(fù)違規(guī)行為。