本發(fā)明屬于射線圖像分類技術(shù)領(lǐng)域，涉及一種基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法。

背景技術(shù)：

隨著多媒體技術(shù)與計(jì)算機(jī)網(wǎng)絡(luò)的廣泛應(yīng)用，數(shù)據(jù)的保存、傳輸變得更加便捷。在安檢工作中會(huì)產(chǎn)生大量的射線圖像數(shù)據(jù)，尤其是基于x射線的安檢機(jī)在車站、碼頭、機(jī)場(chǎng)、展覽會(huì)館等場(chǎng)所廣泛應(yīng)用。其中，x射線透視技術(shù)采用基于雙能曲線的材料識(shí)別方法，能夠快速準(zhǔn)確地計(jì)算被透視物體的密度或者原子序數(shù)，并且在此基礎(chǔ)上實(shí)現(xiàn)材料的定性和定量評(píng)價(jià)。將得到的有效原子序數(shù)根據(jù)物質(zhì)材料分類表對(duì)x射線圖像進(jìn)行渲染生成彩色x射線圖像，使其具有更加鮮明顯著的顏色特征信息和更直觀的視覺觀感。同時(shí)，x射線圖像的空間分辨率是固定的，通過x射線安檢機(jī)可以識(shí)別被檢物體的幾何尺寸，而不會(huì)像普通灰度圖像隨著景深的變化出現(xiàn)尺寸的改變?；谏鲜鰔射線在呈像領(lǐng)域的諸多優(yōu)點(diǎn)，能否有效的管理、利用這些射線圖像文件，為用戶提供更好的體驗(yàn)服務(wù)變得越來越重要。

目前，對(duì)射線圖像的管理與分類通常是通過基于輪廓、大小、灰階、所處環(huán)境等苛刻特征進(jìn)行特征匹配，從而實(shí)現(xiàn)對(duì)射線圖像進(jìn)行分類。然而，由于現(xiàn)有分類方法對(duì)于所基于的特征條件的要求較為苛刻，當(dāng)分類物品被其他物品遮擋、覆蓋時(shí)，造成分類物品不能完整顯示，會(huì)對(duì)分類結(jié)果產(chǎn)生較大的影響，從而導(dǎo)致射線圖像的分類效率和分類精確度較低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提供了一種基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法，本發(fā)明通過選擇與射線圖像類別與特征對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)，并通過該神經(jīng)網(wǎng)絡(luò)對(duì)射線圖像進(jìn)行分類，可以解決現(xiàn)有射線圖像的分類效率和分類精確度較低的問題。

本發(fā)明的技術(shù)解決方案是：一種基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法，包括如下步驟：

(1)獲取射線圖像的訓(xùn)練樣本并建立卷積神經(jīng)網(wǎng)絡(luò)模型，其中，不同類別的訓(xùn)練樣本分別對(duì)應(yīng)一個(gè)類別標(biāo)識(shí)；

(2)對(duì)步驟(1)中的卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整；

(3)將步驟(1)中的訓(xùn)練樣本進(jìn)行圖形學(xué)預(yù)處理后，輸入到步驟(2)中調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)模型，通過卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層獲取各個(gè)訓(xùn)練樣本分別在卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層對(duì)應(yīng)的特征信息，所述特征信息包括訓(xùn)練樣本的輪廓形狀特征和細(xì)節(jié)紋理特征；

(4)提取步驟(1)中各個(gè)訓(xùn)練樣本分別對(duì)應(yīng)的先驗(yàn)特征信息，所述先驗(yàn)特征信息包括圖像的尺寸大小和材料顏色表征特征信息；

(5)將所述步驟(4)中的先驗(yàn)特征信息和步驟(3)中卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層對(duì)應(yīng)的特征信息進(jìn)行全連接，并在所述全連接層保存與所述先驗(yàn)特征信息對(duì)應(yīng)的訓(xùn)練樣本的類別標(biāo)識(shí)后，生成射線圖像分類模型；

(6)將待分類圖像輸入到步驟(5)中的所述射線圖像分類模型中，得到所述待分類圖片的類別信息。

進(jìn)一步地，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整的方法為：根據(jù)公式和εi+1＝εi*(1-μ)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整，其中，v是卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的更新值，v1為符合正態(tài)分布的隨機(jī)初始化值，w1為符合正態(tài)分布的隨機(jī)初始化值，i是迭代次數(shù)，i為大于或等于1的正整數(shù)，w是卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的權(quán)重，ε是卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率，ε1為0.001，是對(duì)權(quán)重求偏導(dǎo)，μ為學(xué)習(xí)率變化的動(dòng)量。

進(jìn)一步地，所述步驟(3)中將訓(xùn)練樣本進(jìn)行圖形學(xué)預(yù)處理的方法為：對(duì)所述訓(xùn)練樣本進(jìn)行去均值處理后，進(jìn)行白化處理，其中，去均值處理的公式為白化處理的公式為x"j＝x′j/std(x′j)，xj為訓(xùn)練樣本，x′j為去均值處理后的訓(xùn)練樣本，std(x′j)為標(biāo)準(zhǔn)差，x"j為圖形學(xué)預(yù)處理后的訓(xùn)練樣本，n為訓(xùn)練樣本的總個(gè)數(shù)。

進(jìn)一步地，所述步驟(6)之后還包括：

根據(jù)步驟(1)中的所述卷積神經(jīng)網(wǎng)絡(luò)模型生成初始區(qū)域生成網(wǎng)絡(luò)模型，并根據(jù)步驟(5)中的射線圖像分類模型的卷積層參數(shù)更新所述初始區(qū)域生成網(wǎng)絡(luò)模型的卷積層參數(shù)；

將訓(xùn)練樣本輸入到所述更新后的區(qū)域生成網(wǎng)絡(luò)模型中，并將輸出結(jié)果輸入到所述射線圖像分類模型中，得到訓(xùn)練樣本圖像的預(yù)測(cè)窗口位置，每一個(gè)訓(xùn)練樣本圖像中包含有多個(gè)物品圖像以及各個(gè)物品圖像的真實(shí)窗口位置；

根據(jù)預(yù)測(cè)窗口位置和真實(shí)窗口位置獲取窗口位置回歸參數(shù)；

當(dāng)需要檢測(cè)射線圖像時(shí)，將射線圖像輸入到所述區(qū)域生成網(wǎng)絡(luò)模型中，并將輸出結(jié)果輸入到所述射線圖像分類模型中，得到射線圖像的預(yù)測(cè)窗口位置；

根據(jù)射線圖像的預(yù)測(cè)窗口位置和窗口位置回歸參數(shù)獲取所述射線圖像的最終窗口位置。

進(jìn)一步地，所述根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)模型生成初始區(qū)域生成網(wǎng)絡(luò)模型的步驟包括：

根據(jù)通過所述卷積神經(jīng)網(wǎng)絡(luò)模型輸出的輪廓形狀特征和細(xì)節(jié)紋理特征生成預(yù)測(cè)窗口區(qū)域的位置信息和預(yù)測(cè)窗口區(qū)域中包含物品圖像的概率信息；

將預(yù)測(cè)窗口區(qū)域的位置信息和預(yù)測(cè)窗口區(qū)域中包含物品圖像的概率信息保存在所述卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層，生成初始區(qū)域生成網(wǎng)絡(luò)模型。

進(jìn)一步地，根據(jù)預(yù)測(cè)窗口位置和真實(shí)窗口位置獲取窗口位置回歸參數(shù)的步驟包括：

根據(jù)公式計(jì)算最終窗口位置回歸參數(shù)，其中，w*為最終窗口位置回歸參數(shù)，φ5預(yù)測(cè)窗口區(qū)域的特征向量，λ為計(jì)算回歸參數(shù)的權(quán)重值，t*為預(yù)測(cè)窗口位置和真實(shí)窗口位置的差值，t*＝(tx,ty,tw,th)，(tx,ty)為平移量，(tw,th)為尺度縮放，(gx,gy,gw,gh)為真實(shí)窗口位置的坐標(biāo)值，(px,py,pw,ph)為預(yù)測(cè)窗口位置的坐標(biāo)值，x，y，w，h分別表示真實(shí)或者預(yù)測(cè)窗口位置的中心點(diǎn)坐標(biāo)和寬高。

進(jìn)一步地，根據(jù)射線圖像的預(yù)測(cè)窗口位置和窗口位置回歸參數(shù)獲取所述射線圖像的最終窗口位置的步驟包括：

根據(jù)公式計(jì)算所述射線圖像的最終窗口位置，其中，d*(p)為最終窗口位置。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：

(1)本發(fā)明充分利用了海量的訓(xùn)練樣本數(shù)據(jù)作為射線圖像數(shù)據(jù)庫(kù)，能夠有效地得到不同類別射線圖像大量重要的特征信息，對(duì)于提高圖像分類準(zhǔn)確率有著顯著的影響。

(2)本發(fā)明充分利用了射線圖像尺寸不變性、不同材料的顏色表征性、重疊物體的穿透性等，為神經(jīng)網(wǎng)絡(luò)提供了更豐富更多元的特征輸入，使得神經(jīng)網(wǎng)絡(luò)在提取復(fù)雜特征和數(shù)據(jù)重建的過程中數(shù)據(jù)更加完善。

(3)本發(fā)明采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行射線圖像的分類，通過權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。

(4)本發(fā)明采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行射線圖像的分類，卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。

附圖說明

圖1為本發(fā)明提出的基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法的流程圖；

圖2為本發(fā)明提出的基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法的射線物品檢測(cè)方法流程圖；

圖3為本發(fā)明提出的窗口修正示意圖。

具體實(shí)施方式

本發(fā)明方法的流程框圖如圖1所示，在具體說明本發(fā)明的實(shí)現(xiàn)過程之前，需要說明的是，利用神經(jīng)網(wǎng)絡(luò)的徑向基函數(shù)能夠降低x射線圖像的噪聲干擾。其中較優(yōu)的，通過卷積神經(jīng)網(wǎng)絡(luò)的卷積層對(duì)射線圖像進(jìn)行卷積運(yùn)算，可以使射線圖像的特征增強(qiáng)，并且有效地抑制噪聲。x射線圖像不同材料的顏色特征、空間分辨率固定時(shí)得到的尺寸不隨景深變化的特性，使得神經(jīng)網(wǎng)絡(luò)在提取復(fù)雜特征和數(shù)據(jù)重建的過程中相較于普通灰度圖像更為準(zhǔn)確有效。當(dāng)物品安檢機(jī)型設(shè)置不變時(shí)，生成的x射線圖像具有相同的尺寸，x射線圖像上的物品產(chǎn)生形變時(shí)會(huì)發(fā)生色彩的堆疊，這些都可以作為特征輸入到神經(jīng)網(wǎng)絡(luò)中，提高了使用神經(jīng)網(wǎng)絡(luò)進(jìn)行射線圖像分類的準(zhǔn)確率。

與普通灰度圖像重疊時(shí)造成的遮擋現(xiàn)象不同，x射線圖像中重疊的物體會(huì)形成灰度信息的堆疊，同時(shí)保留了所有重疊物品的輪廓。本發(fā)明應(yīng)用神經(jīng)網(wǎng)絡(luò)將x射線圖像中線性衰減系數(shù)基本一致的物體邊緣完整的跟蹤、連接出來，并且將線性衰減系數(shù)不同但重疊在一起的物體有效地分割開來，而不是通過傳統(tǒng)的邊緣延續(xù)假設(shè)獲取物品幾何特征，使用神經(jīng)網(wǎng)絡(luò)的方法提升了物品檢測(cè)的準(zhǔn)確率。深度神經(jīng)網(wǎng)絡(luò)參數(shù)眾多，為了更好地刻畫出模型在空間上的分布，必須要有足夠多的數(shù)據(jù)。在安檢工作中會(huì)產(chǎn)生大量的x射線圖像數(shù)據(jù)，能夠?yàn)闃?gòu)建精確的網(wǎng)絡(luò)模型提供有力的支撐。

下面結(jié)合x射線圖像的以上特點(diǎn)和神經(jīng)網(wǎng)絡(luò)對(duì)于處理x射線圖像的優(yōu)點(diǎn)和合適性，對(duì)本發(fā)明分類方法的具體步驟進(jìn)行詳細(xì)闡述，可以如圖1所示，具體包括：

1.通過掃描拍攝得到射線圖像的訓(xùn)練樣本，對(duì)不同類別的訓(xùn)練樣本設(shè)置對(duì)應(yīng)類別標(biāo)簽，創(chuàng)建射線圖像樣本庫(kù)。

其中，訓(xùn)練樣本的類別包括但不限于：刀具、警械、水瓶、金屬壓縮罐、槍支、爆破器材、煙花制品等國(guó)家法律法規(guī)規(guī)定的禁止攜帶運(yùn)輸?shù)?類物品。

2.安裝包含多種卷積神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)平臺(tái)。

其中，深度學(xué)習(xí)平臺(tái)包括但不限于卷積神經(jīng)網(wǎng)絡(luò)框架caffe、卷積神經(jīng)網(wǎng)絡(luò)框架torch、卷積神經(jīng)網(wǎng)絡(luò)框架tensorflow、卷積神經(jīng)網(wǎng)絡(luò)框架theano等。

具體地，以caffe深度學(xué)習(xí)平臺(tái)為例，在圖形處理器上安裝基于包含多種卷積神經(jīng)網(wǎng)絡(luò)模型的caffe深度學(xué)習(xí)框架的平臺(tái)。其中，caffe是目前流行的高效深度學(xué)習(xí)框架之一，通過軟件語(yǔ)言c++編寫的并且支持cuda架構(gòu)的運(yùn)算平臺(tái)，同時(shí)支持命令行、面向?qū)ο蟮慕忉屝陀?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言python和數(shù)學(xué)仿真matlab接口，可以在cpu和圖形處理器上直接無縫切換。

下面對(duì)caffe的安裝與配置進(jìn)行說明：caffe需要預(yù)先配置依賴項(xiàng)。首先配置visualstudio2013和matlab2014a；其次配置windows10下的cuda7.5的驅(qū)動(dòng)安裝；最后在配置了cuda之后，依次配置數(shù)據(jù)庫(kù)openblas，跨平臺(tái)計(jì)算機(jī)視覺庫(kù)opencv，矩陣庫(kù)boost即可。

3.選擇卷積神經(jīng)網(wǎng)絡(luò)模型caffenet。

其中，caffenet是卷積神經(jīng)網(wǎng)絡(luò)在圖像分類上的經(jīng)典模型，由5個(gè)卷積層和3層全連接層組成，2層全連接層用于連接圖像特征，1層全連接層用于連接分類特征。caffenet最大的特點(diǎn)就是提升了計(jì)算資源的利用率，在網(wǎng)絡(luò)需要的計(jì)算量不變的前提下，可提升網(wǎng)絡(luò)的寬度、深度以及正確率。所述卷積神經(jīng)網(wǎng)絡(luò)模型還可以為卷積神經(jīng)網(wǎng)絡(luò)模型zfnet、卷積神經(jīng)網(wǎng)絡(luò)模型vggnet、卷積神經(jīng)網(wǎng)絡(luò)模型googlenet等，本發(fā)明不做限定。

4.對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行調(diào)整。

其中，參數(shù)的調(diào)整包括：學(xué)習(xí)率的設(shè)定、學(xué)習(xí)策略的選擇、動(dòng)量的調(diào)整、最大迭代次數(shù)的設(shè)定、權(quán)重衰減、卷積層、激勵(lì)層、池化層、全連接層等層級(jí)結(jié)構(gòu)的權(quán)重和參數(shù)調(diào)整，輸入層輸入樣本數(shù)目的調(diào)整和輸出層輸出類別數(shù)目的調(diào)整等。

具體地，學(xué)習(xí)率初始值ε1：0.001，學(xué)習(xí)策略選擇為："step"，最大迭代次數(shù)：60000，動(dòng)量μ：0.9，權(quán)重衰減：0.004，訓(xùn)練模式：gpu，輸入層輸入樣本數(shù)目：100，輸出層輸出類別數(shù)目：7,學(xué)習(xí)率的變化方式如下：

εi+1＝εi*(1-μ)(1)

在模型中，學(xué)習(xí)率的變化動(dòng)量μ為0.9，權(quán)值衰減為0.004，雖然權(quán)值衰減很小，但是對(duì)于學(xué)習(xí)很重要，它減小了模型的訓(xùn)練錯(cuò)誤率，w的更新規(guī)則為：

其中，v是卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的更新值，v1為符合正態(tài)分布的隨機(jī)初始化值，w1為符合正態(tài)分布的隨機(jī)初始化值，i是迭代次數(shù)，i為大于或等于1的正整數(shù)，w是卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的權(quán)重，ε是卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率，ε1為0.001，是對(duì)權(quán)重求偏導(dǎo)，μ為學(xué)習(xí)率變化的動(dòng)量。

5.將樣本庫(kù)中的各類訓(xùn)練樣本進(jìn)行去均值、白化預(yù)處理，從而能夠有效地提高訓(xùn)練樣本的速度和精度。

其中去均值的步驟包括：將每個(gè)樣本xj減去所有樣本的均值圖像得到去均值后的x′j，公式如下：

白化是對(duì)去均值后的樣本圖像x′j在每個(gè)特征軸上的幅度進(jìn)行歸一化的操作，具體為對(duì)每一個(gè)去均值后的樣本除以標(biāo)準(zhǔn)差std(x′j)，公式如下：

x"j＝x′j/std(x′j)(4)

6.將預(yù)處理后的訓(xùn)練樣本的數(shù)據(jù)集輸入到所述的卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，通過卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層和池化層獲取各個(gè)訓(xùn)練樣本分別在卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層對(duì)應(yīng)的特征信息，所述特征信息包括訓(xùn)練樣本的輪廓形狀特征和細(xì)節(jié)紋理特征。

7.提取預(yù)處理后的訓(xùn)練樣本的數(shù)據(jù)集的先驗(yàn)特征信息。

其中，先驗(yàn)特征信息包括：樣本圖像的尺寸大小600*1000、材料顏色表征等特征。首先對(duì)于不同材料的物質(zhì)按照有效原子序數(shù)進(jìn)行劃分如：重金屬、有機(jī)物、輕金屬等，根據(jù)x射線的灰度圖像及其不同的物質(zhì)材料分類映射獲得射線圖像的顏色特征。

8、將步驟6中卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層對(duì)應(yīng)的特征信息與步驟7中先驗(yàn)特征信息進(jìn)行全連接，并在所述全連接層保存與所述先驗(yàn)特征信息對(duì)應(yīng)的訓(xùn)練樣本的類別標(biāo)識(shí)后，生成射線圖像分類模型。

9.將測(cè)試的射線圖像作為輸入加載到所述訓(xùn)練好的射線圖像分類模型中，得到輸出概率最大的類別，即為測(cè)試的射線圖像所屬的類別，如果輸出的類別與圖像標(biāo)注的類別相同，表明該測(cè)試圖像分類正確，從而實(shí)現(xiàn)射線圖像的分類。

進(jìn)一步地，基于上述射線圖像分類方法，本發(fā)明提供一種基于神經(jīng)網(wǎng)絡(luò)的射線物品檢測(cè)方法，可以如圖2所示，具體步驟包括：

1.通過掃描拍攝得到射線圖像的訓(xùn)練樣本，對(duì)每一個(gè)訓(xùn)練樣本的圖像劃分為一個(gè)或多個(gè)包含有物品圖像的窗口區(qū)域，每一個(gè)窗口區(qū)域?qū)?yīng)一個(gè)類別標(biāo)識(shí)，創(chuàng)建射線圖像樣本庫(kù)。

2.搭建包含多種神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)平臺(tái)。

3.生成區(qū)域生成網(wǎng)絡(luò)模型，其具體方法如下：

第一，根據(jù)通過所述卷積神經(jīng)網(wǎng)絡(luò)模型輸出的輪廓形狀特征和細(xì)節(jié)紋理特征生成預(yù)測(cè)窗口區(qū)域的位置信息和預(yù)測(cè)窗口區(qū)域中包含物品圖像的概率信息。具體地，對(duì)于給定尺寸大小為600*1000的輸入圖像，經(jīng)過卷積操作得到最后一層的卷積特征(大小約為40*60)，最后一層卷積層共有256個(gè)特征映射圖。然后在這個(gè)特征圖上使用3*3的卷積核(滑動(dòng)窗口)與特征圖進(jìn)行卷積，那么這個(gè)3*3的區(qū)域卷積后可以獲得一個(gè)256維的特征向量。因?yàn)檫@個(gè)3*3的區(qū)域上，每一個(gè)特征圖上得到一個(gè)1維向量，256個(gè)特性圖即可得到256維特征向量。

其中，大小為3*3的滑窗，在中心位置對(duì)應(yīng)預(yù)測(cè)輸入圖像3種尺度(128,256,512)，3種長(zhǎng)寬比(1:1,1:2,2:1)的預(yù)測(cè)區(qū)域，產(chǎn)生了k＝9個(gè)預(yù)測(cè)區(qū)域。即每個(gè)3*3區(qū)域可以產(chǎn)生9個(gè)預(yù)測(cè)區(qū)域。所以對(duì)于這個(gè)40*60的特征映射圖，總共有約20000個(gè)(40*60*9)預(yù)測(cè)區(qū)域，也就是預(yù)測(cè)20000個(gè)預(yù)測(cè)區(qū)域。

第二，將預(yù)測(cè)窗口區(qū)域的位置信息和預(yù)測(cè)窗口區(qū)域中包含物品圖像的概率信息保存在所述卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層，生成初始區(qū)域生成網(wǎng)絡(luò)模型。

具體地，將生成的預(yù)測(cè)區(qū)域接入到卷積神經(jīng)網(wǎng)絡(luò)模型的兩個(gè)全連接層，分別用于分類和邊框回歸。用于分類的全連接層包含2個(gè)元素，用于判別目標(biāo)和非目標(biāo)的估計(jì)概率。邊框回歸全連接層包含4個(gè)坐標(biāo)元素(x,y,w,h)，用于確定目標(biāo)位置。用于分類的全連接層包括：正樣本，與真實(shí)區(qū)域重疊大于0.7，負(fù)樣本，與真實(shí)區(qū)域重疊小于0.3。邊框全連接層用于返回區(qū)域位置。

4.根據(jù)射線圖像分類模型的卷積層參數(shù)更新所述初始區(qū)域生成網(wǎng)絡(luò)模型的卷積層參數(shù),將訓(xùn)練樣本輸入到所述更新后的區(qū)域生成網(wǎng)絡(luò)模型中，并將輸出結(jié)果輸入到所述射線圖像分類模型中，得到訓(xùn)練樣本圖像的預(yù)測(cè)窗口位置，每一個(gè)訓(xùn)練樣本圖像中包含有多個(gè)物品圖像以及各個(gè)物品圖像的真實(shí)窗口位置。

其中，將訓(xùn)練樣本輸入到所述更新后的區(qū)域生成網(wǎng)絡(luò)模型中的輸出結(jié)果包含有所有預(yù)測(cè)窗口位置，將所有預(yù)測(cè)窗口位置輸入到射線圖像分類模型可以對(duì)所有預(yù)測(cè)窗口位置中，在射線圖像分類模型中無法進(jìn)行類別匹配的預(yù)測(cè)窗口位置進(jìn)行過濾刪除，即將不包含有物品圖像的預(yù)測(cè)窗口位置進(jìn)行過濾刪除，從而得到訓(xùn)練樣本圖像的預(yù)測(cè)窗口位置，進(jìn)而提高了預(yù)測(cè)窗口位置的獲取精度。

5.根據(jù)預(yù)測(cè)窗口位置和真實(shí)窗口位置獲取最終窗口位置回歸參數(shù)。

具體如圖3所示，對(duì)于射線圖像中包含的每一個(gè)物品圖像的窗口一般使用思維向量(x,y,w,h)來表示，分別表示窗口的中心點(diǎn)坐標(biāo)和寬高，其中，框圖p代表預(yù)測(cè)窗口位置，框圖g代表目標(biāo)的真實(shí)窗口區(qū)域，代表修正后的窗口。

預(yù)測(cè)窗口位置(px,py,pw,ph)與真實(shí)窗口位置(gx,gy,gw,gh)之間得到的真正需要的平移量(tx,ty)和尺度縮放(tw,th)可以通過以下計(jì)算得到：

對(duì)于給定的原始窗口(px,py,pw,ph),尋找一種映射f，使得輸入原始的窗口經(jīng)過映射得到一個(gè)跟真實(shí)窗口g更接近的回歸窗口

其中：為位置變換，設(shè)平移變換(δx,δy)，δx＝pwdx(p)，δy＝phdy(p)。則：

其中：為尺度變換，尺度縮放比為(sw,sh)，sw＝pwdx(p)，sh＝phdh(p)。則：

為了使預(yù)測(cè)值p跟真實(shí)值g之間的差值t*＝(tx,ty,tw,th)差距最小，得到最終窗口位置回歸參數(shù)為：

其中，w*為最終窗口位置回歸參數(shù)窗口位置回歸參數(shù)，φ5預(yù)測(cè)窗口區(qū)域的特征向量，λ為計(jì)算回歸參數(shù)的權(quán)重值，t*為預(yù)測(cè)窗口位置和真實(shí)窗口位置的差值。

6.當(dāng)需要檢測(cè)射線圖像時(shí)，將射線圖像輸入到所述區(qū)域生成網(wǎng)絡(luò)模型中，并將輸出結(jié)果輸入到所述射線圖像分類模型中，得到射線圖像的預(yù)測(cè)窗口位置和預(yù)測(cè)窗口中包含的物品圖像類別，然后根據(jù)射線圖像的預(yù)測(cè)窗口位置和窗口位置回歸參數(shù)獲取所述射線圖像的最終窗口位置。

具體地，最終窗口位置的計(jì)算公式如下所示：

其中，d*(p)為最終窗口位置。

對(duì)于本發(fā)明實(shí)施例，在進(jìn)行最終窗口位置回歸參數(shù)的獲取過程時(shí)，由于訓(xùn)練樣本的物品圖像窗口位置是可以獲取的，即真實(shí)窗口位置是可以獲取的，因此可以根據(jù)大量樣本的真實(shí)窗口位置和對(duì)應(yīng)的預(yù)測(cè)窗口位置獲取到最終窗口位置回歸參數(shù)，進(jìn)而在實(shí)際應(yīng)用中，當(dāng)需要檢測(cè)射線圖像時(shí)，由于該射線圖像的真實(shí)窗口位置無法獲取，可以通過大量訓(xùn)練樣本訓(xùn)練得到的最終窗口位置回歸參數(shù)獲取該射線圖像的真實(shí)窗口位置，并且可以保證該射線圖像的真實(shí)窗口位置較為準(zhǔn)確。

進(jìn)一步地，在本發(fā)明所述的基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法的基礎(chǔ)上，還可以實(shí)現(xiàn)射線圖像分割，包括：

首先搭建基于包含多種神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)平臺(tái)。然后選擇合適的神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行網(wǎng)絡(luò)模型的調(diào)整。再將樣本庫(kù)中的各類訓(xùn)練樣本上的每一個(gè)像素點(diǎn)進(jìn)行分類達(dá)到分割的目的。其中，由于射線圖像的穿透性和灰度堆疊特性，將訓(xùn)練樣本圖像的像素點(diǎn)分類情況包括：背景類別、單一類別、混合類別。將每個(gè)像素點(diǎn)都帶有類別標(biāo)簽的所述訓(xùn)練樣本輸入到所述調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練得到訓(xùn)練好的射線圖像分割模型，最后將測(cè)試圖片加載到所述射線圖像模型中執(zhí)行分割，對(duì)測(cè)試圖片中特定部分物體進(jìn)行識(shí)別。

具體地，對(duì)網(wǎng)絡(luò)模型的調(diào)整包括以下步驟：將所述的基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類的網(wǎng)絡(luò)的全連接層轉(zhuǎn)化為卷積層；將所述全連接層轉(zhuǎn)化的卷積層進(jìn)行反卷積操作實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的反向傳播；將不同池化層的結(jié)果進(jìn)行上采樣，結(jié)合這些結(jié)果優(yōu)化還原圖像當(dāng)中的特征，最終完成整個(gè)圖像的還原。

進(jìn)一步地，在上述射線圖像分割方法和本發(fā)明提供的的基于神經(jīng)網(wǎng)絡(luò)的射線圖像分類方法的基礎(chǔ)上，本發(fā)明還可以實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的射線圖像映射可見光圖像，包括以下步驟：

首先通過掃描拍攝得到可見光圖像的訓(xùn)練樣本，對(duì)不同類別的訓(xùn)練樣本設(shè)置對(duì)應(yīng)標(biāo)簽，創(chuàng)建射線圖像樣本庫(kù)。然后搭建基于包含多種神經(jīng)網(wǎng)絡(luò)模型的深度學(xué)習(xí)平臺(tái)。再選擇合適的神經(jīng)網(wǎng)絡(luò)模型并根據(jù)訓(xùn)練樣本的類別進(jìn)行網(wǎng)絡(luò)模型的調(diào)整和參數(shù)的調(diào)優(yōu)，將所述訓(xùn)練樣本的數(shù)據(jù)集輸入到所述的卷積神經(jīng)網(wǎng)絡(luò)模型中訓(xùn)練得到不同類別真實(shí)圖像的特征模型，利用所述的基于神經(jīng)網(wǎng)絡(luò)的射線圖像分割方法進(jìn)行圖像分割。最后將分割后的射線圖像區(qū)域按照相應(yīng)類別選擇真實(shí)圖像的特征模型，按照預(yù)設(shè)比例從整體到局部的進(jìn)行填充，得到射線圖像映射的真實(shí)圖像。

本發(fā)明說明書中未作詳細(xì)描述的內(nèi)容屬本領(lǐng)域技術(shù)人員的公知技術(shù)。