本發(fā)明涉及安檢圖像識(shí)別技術(shù)改進(jìn)，具體涉及基于深度學(xué)習(xí)的多視角安檢圖像自動(dòng)識(shí)別方法，屬于安檢。

背景技術(shù)：

1、隨著檢測(cè)技術(shù)進(jìn)步及公共安全意識(shí)提高，安檢技術(shù)廣泛應(yīng)用于各種重要場(chǎng)所及交通運(yùn)輸樞紐中，機(jī)場(chǎng)、車站、政府機(jī)構(gòu)、大型活動(dòng)場(chǎng)所等公共場(chǎng)合都需要有效的安檢措施來預(yù)防潛在威脅，其中安檢對(duì)象通常是人員及其攜帶物品。將人員攜帶的箱包、包裹等物品送入傳送帶通過檢查通道的探查后，會(huì)形成安檢物品的x射線成像。

2、在現(xiàn)有技術(shù)中，安檢設(shè)備的成像是通過固定在檢查通道里的一個(gè)或者兩個(gè)相機(jī)來進(jìn)行圖像采集而成。在這種情況下，依然存在由于堆疊或是擺放角度原因使物品處于相機(jī)檢測(cè)盲區(qū)的情況，導(dǎo)致部分危險(xiǎn)品錯(cuò)檢漏檢，從而影響公共交通運(yùn)輸及群眾的生命財(cái)產(chǎn)安全。另外，現(xiàn)有的安檢模式大部分是人工檢查，即由安檢人員逐件查看x射線成像圖像，人工判斷是否存在違禁品。人工檢查方式存在以下不足：1、對(duì)檢查人員的經(jīng)驗(yàn)依賴較大，不同檢查人員的判斷識(shí)別水平有差異；而且當(dāng)人工長(zhǎng)時(shí)間高強(qiáng)度工作時(shí)，容易導(dǎo)致用眼疲勞而引發(fā)錯(cuò)誤判斷。2、在交通運(yùn)輸繁忙、人流量較大時(shí)，人工檢查可能存在忙不過來的情形，導(dǎo)致漏檢或誤檢發(fā)生，從而影響安檢效率和效果。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的上述不足，本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)的多視角安檢圖像自動(dòng)識(shí)別方法，本發(fā)明能夠解決現(xiàn)有技術(shù)因安檢角度存在檢測(cè)盲區(qū)導(dǎo)致的錯(cuò)漏檢以及人工檢查對(duì)人員依賴較大及由此帶來的系列問題。

2、本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、基于深度學(xué)習(xí)的多視角安檢圖像自動(dòng)識(shí)別方法，按如下步驟進(jìn)行，

4、1)準(zhǔn)備數(shù)據(jù)集；確定擬檢測(cè)的各類危險(xiǎn)品，將擬檢測(cè)的所有危險(xiǎn)品和不是危險(xiǎn)品的普通物品分別裝入箱包中，每個(gè)箱包中均混裝有普通物品和至少一種危險(xiǎn)品；將所有箱包分別通過安裝有多視角探頭的安檢設(shè)備，得到所有箱包多個(gè)視角的安檢圖像并進(jìn)行標(biāo)注，由此得到數(shù)據(jù)集；將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

5、2)對(duì)數(shù)據(jù)集中的每幅安檢圖像進(jìn)行預(yù)處理，使每個(gè)視角的安檢圖像尺度一致以便于后續(xù)處理；

6、3)將經(jīng)過步驟2)預(yù)處理的訓(xùn)練集中同一個(gè)箱包對(duì)應(yīng)的各個(gè)視角的安檢圖像輸入初始化設(shè)置后的卷積神經(jīng)網(wǎng)絡(luò)中，利用卷積神經(jīng)網(wǎng)絡(luò)從每個(gè)視角的安檢圖像中提取特征，特征中包含安檢圖像的局部信息及全局信息，并將其轉(zhuǎn)換為高維特征圖；

7、4)建立一個(gè)大小包含整個(gè)檢視平面的查詢矩陣，查詢矩陣用于收集多視角安檢圖像的特征及坐標(biāo)投影；查詢矩陣采用三維網(wǎng)格點(diǎn)，將查詢矩陣的三維網(wǎng)格點(diǎn)利用坐標(biāo)變化方法投影到每個(gè)二維視圖平面，計(jì)算網(wǎng)格點(diǎn)在視圖平面上的位置，在有映射值的區(qū)域內(nèi)查詢同一個(gè)箱包對(duì)應(yīng)的各個(gè)視角的安檢圖像的特征；

8、5)特征融合；將步驟4)查詢得到的同一個(gè)箱包對(duì)應(yīng)的各個(gè)視角的安檢圖像的特征進(jìn)行融合；

9、6)將每一個(gè)箱包融合后的特征分別輸入分類器進(jìn)行分類，以判斷是否含有危險(xiǎn)品，如有危險(xiǎn)品則判斷危險(xiǎn)品的類別；

10、7)將經(jīng)步驟2)預(yù)處理后訓(xùn)練集中其他數(shù)據(jù)重復(fù)步驟3)-6)，直到達(dá)到設(shè)定的條件，得到多視角安檢圖像自動(dòng)識(shí)別網(wǎng)絡(luò)模型；并將多視角安檢圖像自動(dòng)識(shí)別網(wǎng)絡(luò)模型部署到安檢設(shè)備中；

11、8)實(shí)際檢測(cè)時(shí)，使待檢測(cè)物體通過安檢設(shè)備，通過安檢設(shè)備的多視角探頭采集待檢測(cè)物體的多個(gè)視角安檢圖像，并輸入多視角安檢圖像自動(dòng)識(shí)別網(wǎng)絡(luò)模型；

12、9)多視角安檢圖像自動(dòng)識(shí)別網(wǎng)絡(luò)模型按照步驟2)對(duì)每幅安檢圖像進(jìn)行預(yù)處理，然后進(jìn)行步驟3)-6)，即得到待檢測(cè)物體是否含有危險(xiǎn)品，如有危險(xiǎn)品則判斷危險(xiǎn)品的類別。

13、進(jìn)一步地，步驟3)中卷積神經(jīng)網(wǎng)絡(luò)初始化設(shè)置的參數(shù)通過預(yù)訓(xùn)練得到，預(yù)訓(xùn)練利用vit模型進(jìn)行；預(yù)訓(xùn)練時(shí)，設(shè)定損失函數(shù)閾值以及最大訓(xùn)練次數(shù)，并初始化訓(xùn)練參數(shù)；通過預(yù)訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)初始化參數(shù)。

14、進(jìn)一步地，步驟5)中特征融合的步驟為，

15、5.1)建立鍵矩陣和值矩陣，鍵矩陣表示其他視角對(duì)于當(dāng)前視角的重要性，值矩陣表示各視角的特征值；

16、5.2)計(jì)算查詢矩陣和鍵矩陣的點(diǎn)積，得到表示不同視角之間相關(guān)性的注意力分?jǐn)?shù)；

17、5.3)對(duì)注意力分?jǐn)?shù)進(jìn)行歸一化處理，得到注意力權(quán)重；

18、5.4)將注意力權(quán)重和值矩陣相乘，得到加權(quán)后的特征表示。

19、進(jìn)一步地，步驟6)中分類器由全連接層和softmax層構(gòu)成，全連接層由zx＝(wx)thx表示，其中zx表示全連接層的輸出，即每個(gè)檢測(cè)類別的回歸值，hx表示步驟5)的輸出矩陣展平到一維數(shù)組后得到的特征向量，wx表示全連接層的權(quán)重矩陣；softmax層表示為其中k是檢測(cè)類別總數(shù)，zi是全連接層輸出矩陣zx中第i個(gè)類別的數(shù)值，pi是檢測(cè)樣本向量z屬于第i個(gè)類別的概率。

20、進(jìn)一步地，步驟3)中采用resnet與fpn結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)模型；輸入數(shù)據(jù)包括批大小、連續(xù)幀數(shù)、每幀中的圖像數(shù)量、圖像通道數(shù)、圖像長(zhǎng)度、圖像寬度；resnet包括初始卷積層、殘差模塊、全局平均池化層；殘差模塊包含多個(gè)卷積層，層與層之間存在恒等映射關(guān)系，即f(x)＝h(x)+x，其中x表示輸入，f(x)表示殘差模塊的輸出，h(x)表示卷積層的輸出；fpn包括上采樣器，從resnet的conv2、conv3、conv4和conv5層提取特征并通過卷積層輸出。

21、進(jìn)一步地，步驟4)中，建立查詢矩陣時(shí)，設(shè)查詢矩陣大小為(h，w)，分辨率為s，查詢矩陣的點(diǎn)記為(x，y)，在建立(x，y)坐標(biāo)位置的同時(shí)對(duì)z軸進(jìn)行采樣，以使網(wǎng)格點(diǎn)具有深度信息；在3d空間內(nèi)，采樣點(diǎn)表示為(x′，y′，z′x)

22、采樣點(diǎn)x′與y′表達(dá)式分別為：

23、x′＝(x-w/2)×s

24、y′＝(y-w/2)×s

25、將3d空間內(nèi)的采樣點(diǎn)映射回2d圖像平面，在有映射值的區(qū)域內(nèi)查詢特征。

26、進(jìn)一步地，步驟1)中多視角探頭包括主視探頭、俯視探頭和側(cè)視探頭，對(duì)應(yīng)的安檢圖像包括主視角安檢圖像、俯視角安檢圖像以及側(cè)視角安檢圖像。

27、進(jìn)一步地，步驟2)中，所述預(yù)處理包括裁剪、旋轉(zhuǎn)、縮放和歸一化處理。

28、進(jìn)一步地，步驟7)中，達(dá)到設(shè)定的條件是指map@50滿足設(shè)定要求；map@50指在交并比閾值為50％的情況下得到的平均精度。

29、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

30、1、本發(fā)明實(shí)現(xiàn)了安檢中危險(xiǎn)品違禁品的自動(dòng)識(shí)別。待檢測(cè)物品通過部署有多視角安檢圖像自動(dòng)識(shí)別模型的安檢設(shè)備，自動(dòng)識(shí)別待檢測(cè)物體是否含有危險(xiǎn)品，如有危險(xiǎn)品則判斷危險(xiǎn)品的類別。相比人工檢查，不存在長(zhǎng)時(shí)間高強(qiáng)度工作時(shí)引發(fā)的錯(cuò)誤判斷，能夠保持持續(xù)的可靠性。

31、2、本發(fā)明采用多視角探頭采集安檢圖像，每個(gè)探頭(攝像頭)捕捉到的圖像都含有其獨(dú)特的視角和空間信息，避免了物品堆疊或者擺放角度影響采集圖像后期識(shí)別。物品經(jīng)多角度采集后，再通過特征提取、視角變換、特征融合等處理，最后經(jīng)深度學(xué)習(xí)的模型識(shí)別，對(duì)各類危險(xiǎn)品具有較高的識(shí)別準(zhǔn)確性。對(duì)所有危險(xiǎn)品檢測(cè)的平均精確度(p)和召回率(r)分別能達(dá)到89.2％和83.6％，map@50和map@50：95分?jǐn)?shù)可達(dá)到91.8％和71.5％。