本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，特別涉及一種基于半監(jiān)督學(xué)習(xí)的行人檢測方法和系統(tǒng)。

背景技術(shù)：

隨著計算機視覺技術(shù)的發(fā)展，行人檢測是當(dāng)前目標檢測方面的研究熱點之一，在視頻監(jiān)控、智能交通、人機交互、虛擬現(xiàn)實等領(lǐng)域有著廣泛的應(yīng)用?；谝曈X的行人檢測屬于人體運動分析的研究范疇，通過對人體的檢測、跟蹤、軌跡分析以及行為識別，系統(tǒng)可實時檢測異常事件并報警，變被動監(jiān)視為主動報警。隨著大數(shù)據(jù)時代的發(fā)展，計算機相關(guān)技術(shù)也相應(yīng)地需要解決大數(shù)據(jù)的挑戰(zhàn)。行人檢測除了具有的服飾變化、姿態(tài)變化、模式多樣等難點外，還具有中遠距離行人分辨率低、特征信息不明顯、場景復(fù)雜多變等問題，這些困難使得行人檢測成為一個極具挑戰(zhàn)性的研究課題。對于現(xiàn)有的一般的行人檢測方法，沒有用目標場景的樣本進行訓(xùn)練，因此應(yīng)用于特定的目標場景時往往會存在檢測準確率下降的問題。因此，這就需要利用計算機視覺和人工智能領(lǐng)域相關(guān)知識來產(chǎn)生一個適應(yīng)于該場景下的行人檢測器。

現(xiàn)有技術(shù)中，通常采用基于統(tǒng)計分類的方法進行行人檢測，基于統(tǒng)計分類的方法通過從一系列訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到分類器，常用的統(tǒng)計分類方法有基于神經(jīng)網(wǎng)絡(luò)的方法、基于支持向量機(SVM)的方法和基于Adaboost的方法。其中基于統(tǒng)計分類的方法，用于訓(xùn)練分類器的訓(xùn)練樣本集中，未標注樣本的數(shù)量遠大于已標注樣本的數(shù)量，如果只是用少量已標注樣本，訓(xùn)練得到學(xué)習(xí)模型不具有很好的泛化能力，同時造成大量未標注樣本的浪費，如果只是用大量未標注樣本，將會忽略已標注樣本的價值，而且得到的分類器將不夠精確。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點與不足，提供一種基于半監(jiān)督學(xué)習(xí)的行人檢測方法，該方法只需要人為對目標場景圖像集中一部分圖像進行行人標記即可得到具有很好泛化能力的行人檢測器，能夠有效節(jié)省人工標記圖像所花費的時間，具有行人檢測精度高的優(yōu)點。

本發(fā)明的目的通過下述技術(shù)方案實現(xiàn)：一種基于半監(jiān)督學(xué)習(xí)的行人檢測方法，步驟如下：

S1、獲取源圖像集中每幅圖像對應(yīng)的訓(xùn)練樣本和各訓(xùn)練樣本對應(yīng)的樣本特征；且獲取到源圖像集對應(yīng)的各訓(xùn)練樣本的所屬類別，其中所屬類別包括行人和非行人；

同時，獲取目標場景圖像集，將目標場景圖像集中的其中一部分圖像進行行人標記；然后將目標場景圖像集中的每幅圖像進行滑動窗的加窗處理后，得到目標場景圖像集對應(yīng)的各個訓(xùn)練樣本，其中帶有行人標記的圖像經(jīng)過滑動窗的加窗處理后得到訓(xùn)練樣本為知曉所屬類別的訓(xùn)練樣本；然后提取目標場景圖像集對應(yīng)的各個訓(xùn)練樣本的樣本特征；

S2、將源圖像集對應(yīng)的各訓(xùn)練樣本的樣本特征作為決策森林的輸入，且將源圖像集對應(yīng)的各訓(xùn)練樣本的所屬類別作為決策森林的輸出，對決策森林進行訓(xùn)練，生成一個包含多棵決策樹的決策森林；

S3、使用目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本的樣本特征對步驟S2獲取到的決策森林中的所有決策樹進行重組產(chǎn)生新的決策森林；

S4、將目標場景圖像集中未帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本的樣本特征輸入至步驟S3中產(chǎn)生的新的決策森林；然后通過該新的決策森林對這些訓(xùn)練樣本進行評分，得出這些訓(xùn)練樣本的置信度；最后將置信度單元大于等于定值X的訓(xùn)練樣本標記為行人訓(xùn)練樣本；

S5、將目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本以及步驟S4中行人訓(xùn)練樣本對應(yīng)的原始圖像輸入至神經(jīng)網(wǎng)絡(luò)，以對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)作為最終的行人檢測器；

S6、將待檢測的每幅目標場景圖像經(jīng)過滑動窗的加窗處理后得到測試樣本，然后提取各測試樣本的樣本特征，將各測試樣本的樣本特征輸入至步驟S3獲得的新決策森林，通過該新的決策森林對這些測試樣本進行評分，得到這些測試樣本的置信度，再者對這些測試樣本的置信度進行判斷，將置信度小于定值X的測試樣本判定為非行人測試樣本，將置信度大于等于一定值的測試樣本對應(yīng)的原始圖像輸入至步驟S5獲取到的行人檢測器中，通過行人檢測器判定出測試樣本所屬類別，得出測試樣本是否為行人樣本，從而得到行人檢測的結(jié)果。

優(yōu)選的，步驟S3中獲取到目標場景圖像集對應(yīng)的各個訓(xùn)練樣本的具體過程如下：

S31、將目標場景圖像集中每幅圖像進行各種尺度的縮放，形成多尺度的圖像空間，即圖像金字塔；

S32、使用滑動窗口在圖像金字塔空間上進行滑動，每滑動一次即得到一個訓(xùn)練樣本；

步驟S6中獲取到目標場景圖像集對應(yīng)的各個訓(xùn)練樣本的具體過程如下：

S6a、將待檢測的每幅目標場景圖像進行各種尺度的縮放，形成多尺度的圖像空間，即圖像金字塔；

S6b、使用滑動窗口在圖像金字塔空間上進行滑動，每滑動一次即得到一個測試樣本；

步驟S1中，源圖像集中每幅圖像對應(yīng)的訓(xùn)練樣本的樣本特征為Haar-like特征；

步驟S1中，針對目標場景圖像集對應(yīng)的每個訓(xùn)練樣本所提取的樣本特征為Haar-like特征；具體提取過程如下：

首先由目標場景圖像集對應(yīng)的每個訓(xùn)練樣本對應(yīng)的原始圖像計算出10個通道的特征圖；

然后使用人工預(yù)設(shè)的Haar-like濾波器對10通道的特征圖進行卷積，得到每個樣本對應(yīng)的Haar-like特征；

步驟S6中，針對各測試樣本所提取的樣本特征為Haar-like特征；具體提取過程如下：

首先由每個測試樣本對應(yīng)的原始圖像計算出10個通道的特征圖；

然后使用人工預(yù)設(shè)的Haar-like濾波器對10通道的特征圖進行卷積，得到每個樣本對應(yīng)的Haar-like特征。

優(yōu)選的，重組產(chǎn)生新的決策森林的具體過程如下：目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本的樣本特征來訓(xùn)練一個支持向量機(SVM)分類器，從而學(xué)習(xí)到一組最優(yōu)的組合系數(shù)，并通過上述學(xué)習(xí)得到的這組最優(yōu)的組合系數(shù)對步驟S2獲取到的決策森林中的決策樹進行重組產(chǎn)生新的決策森林；

其中新的決策森林為：

其中D為步驟S2獲取到的決策森林中的決策樹總數(shù)；x表示目標場景圖像集中帶有行人標記的圖像對應(yīng)的各訓(xùn)練樣本；表示第d棵決策樹的組合系數(shù)，是上述學(xué)習(xí)到的一組最優(yōu)的組合系數(shù)中的其中一個；bias是支持向量機(SVM)分類器的一個偏置；表示目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本x輸入至第d棵決策樹時的輸出，表示的是目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本x輸入至第d棵決策樹時得到的新的決策森林的輸出。

優(yōu)選的，步驟S4中將置信度單元大于等于定值X的訓(xùn)練樣本標記為行人訓(xùn)練樣本的同時，給行人訓(xùn)練樣本賦予樣本重要性權(quán)重；

所述步驟S5將目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本以及步驟S4中賦予樣本重要性權(quán)重的行人訓(xùn)練樣本對應(yīng)的原始圖像輸入至神經(jīng)網(wǎng)絡(luò)，以對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

優(yōu)選的，步驟S4中行人訓(xùn)練樣本被賦予的樣本重要性權(quán)重為：

其中w_r為行人訓(xùn)練樣本r被賦予的樣本重要性權(quán)重，s_r表示新的決策森林對行人訓(xùn)練樣本r的評分，s_min和s_max分別表示步驟S4中標記為行人訓(xùn)練樣本的所有樣本中評分的最小值和最大值，λ為一參數(shù)，λ＝0.5～2。

優(yōu)選的，所述神經(jīng)網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)，所述步驟S5中最終的行人檢測器即為訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)。

更進一步的，步驟S6中測試樣本對應(yīng)的原始圖像輸入至步驟S5中獲取到的行人檢測器后，通過以下處理后得到判定出測試樣本所屬類別，即是否為行人樣本：

S61、測試樣本對應(yīng)的原始圖像作為輸入層特征圖輸入到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)；

S62、卷積神經(jīng)網(wǎng)絡(luò)中首先對輸入層特征圖進行卷積和稀疏線性激活，得到卷積層C1；

S63、將卷積層C1特征圖進行最大值池化，得到降采樣層P1；

S64、將降采樣層P1特征圖進行局部響應(yīng)值歸一化，得到歸一化層N1；

S65、將歸一化層N1特征圖進行卷積和稀疏線性激活，得到卷積層C2；

S66、將卷積層C2特征圖進行最大值池化，得到降采樣層P2；

S67、將降采樣層P2特征圖進行局部響應(yīng)值歸一化，得到歸一化層N2；

S68、將歸一化層N2特征圖進行卷積和稀疏線性激活，得到卷積層C3；

S69、將卷積層C3特征圖進行卷積和稀疏線性激活，得到卷積層C4；

S70、將卷積層C4特征圖進行卷積和稀疏線性激活，得到卷積層C5；

S71、將卷積層C5特征圖進行最大值池化，得到降采樣層P5；

S72、將降采樣層P5特征圖進行全連接計算、稀疏線性激活和隨機性置零，得到全連接層FC6；

S73、將全連接層FC6特征圖進行全連接計算、稀疏線性激活和隨機性置零，得到全連接層FC7；

S74、將全連接層FC7特征圖進行全連接計算，然后采用Softmax函數(shù)計算出卷積神經(jīng)輸入的原始圖像對應(yīng)測試樣本屬于行人的概率以及不屬于行人的概率，以此判定出測試樣本所屬類別。

更進一步的，所述卷積層C1～C5和全連接層FC6～FC7均為帶參數(shù)的隱含層；

所述卷積層C1～C5的每個卷積層中，經(jīng)過當(dāng)前卷積層的第j個卷積核卷積得到的特征圖為：

其中，表示的是第a層卷積層第i個神經(jīng)元的第j個卷積核，為第a層卷積層的第j個卷積核的神經(jīng)元的偏置，f是激活函數(shù)，為當(dāng)前卷積層的上一層第i個神經(jīng)元輸出的特征圖；

步驟S74中采用的Softmax函數(shù)為：

其中，p∈{0,1,…,C-1}表示的是C個類別中的一個，C表示類別的總數(shù)，x_p表示全連接層全連接層FC7的第p個神經(jīng)元的輸出，x₀,x₁,…,x_C-1分別表示全連接層全連接層FC7的第0,1,…C-1個神經(jīng)元的輸出，y_p則是代表測試樣本屬于第p類類別的概率。

優(yōu)選的，步驟S6中訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)判定出待檢測的每幅目標場景圖像對應(yīng)的各測試樣本所屬類別后，進行非極大值抑制，以獲取到最終行人檢測結(jié)果，其中具體過程如下：

Sa、選取出待檢測的每幅目標場景圖像中屬于行人類別的測試樣本，并且根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出獲取到這些測試樣本屬于行人類別的概率；

Sb、將屬于行人類別的概率最大的測試樣本選取出來，然后將該測試樣本分別與其他各測試樣本進行重疊程度的計算，將與該測試樣本重疊程度是達到一定閾值Y的其他測試樣本進行抑制，同時將該測試樣本取出作為一個行人檢測結(jié)果；然后進入步驟Sc；

Sc、在當(dāng)前剩下的屬于行人類別的測試樣本中，將屬于行人類別的概率最大的測試樣本選取出來并且作為其中一個行人檢測結(jié)果；然后將該測試樣本分別與其他各測試樣本進行重疊程度的計算，將與該測試樣本重疊程度是達到一定閾值Y的其他測試樣本進行抑制；并且進入步驟Sd；

Sd、重新執(zhí)行步驟Sc，直到當(dāng)前剩下的屬于行人類別的測試樣本只有一個，則將該測試樣本作為一個行人檢測結(jié)果，并且結(jié)束檢測。

更進一步的，所述定值X取值為0.5以上，所述閾值Y為30％，所述步驟S2將目標場景圖像集中的5％的圖像進行行人標記。

本發(fā)明相對于現(xiàn)有技術(shù)具有如下的優(yōu)點及效果：

(1)在本發(fā)明中利用現(xiàn)有公知的源圖像集訓(xùn)練決策森林，并且只需要將目標場景圖像集中一部分圖像進行行人標記，其他的圖像均無需行人標記，通過帶行人標記的圖像獲取到的訓(xùn)練樣本重組后產(chǎn)生的新的決策森林即可對未帶行人標記的圖像對應(yīng)訓(xùn)練樣本進行評分，從而能夠?qū)⑵渲械男腥擞?xùn)練樣本選取出來，再通過這些行人訓(xùn)練樣本以及帶行人標記的圖像的訓(xùn)練樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到最終的行人檢測器。由上述可知，本發(fā)明只需要人為對目標場景圖像集中一部分圖像進行行人標記即可得到具有很好泛化能力的行人檢測器，能夠有效節(jié)省人工標記圖像所花費的時間。本發(fā)明中將傳統(tǒng)機器學(xué)習(xí)中的決策森林與深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)進行級聯(lián)實現(xiàn)基于半監(jiān)督學(xué)習(xí)的行人檢測，其中決策森林輸入對應(yīng)的是人為提取的樣本特征，而神經(jīng)網(wǎng)絡(luò)輸入的是樣本對應(yīng)的原始圖像，由于人為設(shè)計的特征與深度網(wǎng)絡(luò)學(xué)習(xí)到的特征空間具有互補性，因此使得整個行人檢測方法具有更好的表達能力和區(qū)分能力，并且這種級聯(lián)的方法能有效提高行人檢測方法的效率和準確率。

(2)本發(fā)明通過目標場景圖像集中知曉輸送類別的訓(xùn)練樣本對決策森林中的決策樹進行篩選，重組后產(chǎn)生新的決策森林，從而由該新的決策針對目標場景圖像集中未帶行人標記的圖像對應(yīng)訓(xùn)練樣進行所屬類別判定，其中新的決策森林是由已有的決策森林通過篩選一些共同的特征并且重新組合后產(chǎn)生的，因此新的決策森林在目標場景中使用更加可靠，能夠更加精確地檢測。

(3)本發(fā)明在通過最終的行人檢測器對測試樣本進行檢測之前，測試樣本首先通過新的決策樹進行評分，然后將置信度低的測試樣本直接判定為非行人樣本，而置信度高的測試樣本才輸入至最終的行人檢測器進行行人的檢測，這樣的操作使得本發(fā)明有效減少了行人檢測器的工作量，并且進一步提高了行人檢測的準確率。

(4)本發(fā)明采用神經(jīng)網(wǎng)絡(luò)作為最終的行人檢測器，相比其他的檢測器，神經(jīng)網(wǎng)絡(luò)的模型參數(shù)更多，因此具有更強大的分類能力，并且能夠同時進行特征提取和分類，不需要輸入人為設(shè)計的特征，而是直接輸入原始圖像即可實現(xiàn)分類。因此本發(fā)明通過神經(jīng)網(wǎng)絡(luò)可以更方便、快捷的實現(xiàn)行人檢測。另外本發(fā)明中的神經(jīng)網(wǎng)絡(luò)可以選用卷積神經(jīng)網(wǎng)絡(luò)，相比其他神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的卷積操作能夠從圖像中學(xué)到重要的邊緣局部特征以及全局特征，因此在處理圖像這種數(shù)據(jù)時效果會更好。并且卷積神經(jīng)網(wǎng)絡(luò)中卷積核的參數(shù)相對較少，能很好地避免過擬合。

(5)本發(fā)明針對于通過新的決策森林獲取到的目標場景圖像集對應(yīng)的行人訓(xùn)練樣本賦予樣本重要性權(quán)重，其中置信度高的行人訓(xùn)練樣本將被賦予更高的權(quán)重，而置信度低的行人訓(xùn)練樣本將被賦予相對較低的權(quán)重，從而通過權(quán)重體現(xiàn)各行人訓(xùn)練樣本的重要性，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)階段，行人訓(xùn)練樣本被賦予的權(quán)重將輸入至神經(jīng)網(wǎng)絡(luò)的一個最小化目標函數(shù)中，因此將權(quán)重輸入至目標函數(shù)中，可以使得目標函數(shù)求得最合適的分類器參數(shù)，能夠訓(xùn)練出更適合且更加準確的行人檢測器。

(6)本發(fā)明在最終的行人檢測器檢測出每幅目標場景圖像對應(yīng)的各測試樣本所屬類別后，再進行非極大值抑制，將每幅目標場景圖像中表示同一個行人的各測試樣本中所屬行人類別概率最大的測試樣本留下，而表示同一個行人的其他所屬行人類別概率低的測試樣本進行抑制，因此保留了最能表達行人的測試樣本，使得行人檢測精度更高。

附圖說明

圖1是本發(fā)明方法的流程圖。

圖2是本發(fā)明新的決策森林生成流程圖。

圖3是本發(fā)明卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合實施例及附圖對本發(fā)明作進一步詳細的描述，但本發(fā)明的實施方式不限于此。

實施例

本實施例公開了一種基于半監(jiān)督學(xué)習(xí)的行人檢測方法，如圖1所示，步驟如下：

S1、獲取源圖像集中每幅圖像對應(yīng)的訓(xùn)練樣本和各訓(xùn)練樣本對應(yīng)的樣本特征；且獲取到源圖像集對應(yīng)的各訓(xùn)練樣本的所屬類別，其中所屬類別包括行人和非行人；本實施例中源圖像集是比較通用的數(shù)據(jù)，并且這些圖像帶有標注信息，即每張源圖像上的行人的位置坐標都提供，因此利用這些圖像可以很好地初始化分類器；

同時，獲取目標場景圖像集，將目標場景圖像集中的其中一部分圖像進行行人標記，在本實施例中將目標場景圖像集中5％的圖像進行行人標記，例如當(dāng)獲取目標場景圖像集中有400張目標場景圖像時，則取其中20張圖像進行行人標記；然后將目標場景圖像集中的每幅圖像進行滑動窗的加窗處理后，得到目標場景圖像集對應(yīng)的各個訓(xùn)練樣本，其中帶有行人標記的圖像經(jīng)過滑動窗的加窗處理后得到訓(xùn)練樣本為知曉所屬類別的訓(xùn)練樣本；然后提取目標場景圖像集對應(yīng)的各個訓(xùn)練樣本的樣本特征；

本步驟中，獲取到目標場景圖像集對應(yīng)的各個訓(xùn)練樣本的具體過程如下：

S11、將目標場景圖像集中每幅圖像進行各種尺度的縮放，形成多尺度的圖像空間，即圖像金字塔；

S12、使用滑動窗口在圖像金字塔空間上進行滑動，每滑動一次即得到一個訓(xùn)練樣本；

本步驟中，針對目標場景圖像集對應(yīng)的每個訓(xùn)練樣本所提取的樣本特征為Haar-like特征；具體提取過程如下：

首先由目標場景圖像集對應(yīng)的每個訓(xùn)練樣本對應(yīng)的原始圖像計算出10個通道的特征圖(LUV顏色通道、6個梯度方向直方圖以及灰度圖)；

然后使用人工預(yù)設(shè)的Haar-like濾波器對10通道的特征圖進行卷積，得到每個樣本對應(yīng)的Haar-like特征。

S2、將源圖像集對應(yīng)的各訓(xùn)練樣本的樣本特征作為決策森林的輸入，且將源圖像集對應(yīng)的各訓(xùn)練樣本的所屬類別作為決策森林的輸出，對決策森林進行訓(xùn)練，生成一個包含多棵決策樹的決策森林；本實施例中決策森林則是由許多棵由AdaBoost算法進行組合起來的簡單的決策樹組成的，每棵決策樹實質(zhì)是對圖像塊中某些特定的局部特征的描述。

S3、使用目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本的樣本特征對步驟S2獲取到的決策森林中的所有決策樹進行重組產(chǎn)生新的決策森林，其中重組方法是利用目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本的樣本特征來訓(xùn)練一個支持向量機(SVM)分類器，從而學(xué)習(xí)到一組最優(yōu)的組合系數(shù)，并通過上述學(xué)習(xí)得到的這組最優(yōu)的組合系數(shù)對步驟S2獲取到的決策森林中的決策樹進行重組產(chǎn)生新的決策森林，如圖2所示，該新的決策森林為適用于目標場景圖像的新分類器；本實施例中得到的新的決策森林為：

其中D為步驟S2獲取到的決策森林中的決策樹總數(shù)；x表示目標場景圖像集中帶有行人標記的圖像對應(yīng)的各訓(xùn)練樣本；表示第d棵決策樹的組合系數(shù)，是上述一組最優(yōu)的組合系數(shù)中的其中一個；bias是支持向量機(SVM)分類器的一個偏置；表示目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本x輸入至第d棵決策樹時的輸出，表示的是目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本x輸入至第d棵決策樹時得到的新的決策森林的輸出。

S4、將目標場景圖像集中未帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本的樣本特征輸入至步驟S3中產(chǎn)生的新的決策森林；然后通過該新的決策森林對這些訓(xùn)練樣本進行評分，得出這些訓(xùn)練樣本的置信度；最后將置信度單元大于等于定值X的訓(xùn)練樣本標記為行人訓(xùn)練樣本，且為行人訓(xùn)練樣本賦予樣本重要性權(quán)重；在本實施例中X取值為0.5以上。

本步驟中，行人訓(xùn)練樣本被賦予的樣本重要性權(quán)重為：

其中w_r為行人訓(xùn)練樣本r被賦予的樣本重要性權(quán)重，s_r表示新的決策森林對行人訓(xùn)練樣本r的評分，s_min和s_max分別表示步驟S4中標記為行人訓(xùn)練樣本的所有樣本中評分的最小值和最大值，λ為一參數(shù)，本實施例中λ＝0.5～2。

S5、將目標場景圖像集中帶有行人標記的圖像對應(yīng)的訓(xùn)練樣本以及步驟S4中賦予樣本重要性權(quán)重的行人訓(xùn)練樣本對應(yīng)的原始圖像輸入至神經(jīng)網(wǎng)絡(luò)，以對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)作為最終的行人檢測器；

S6、將待檢測的每幅目標場景圖像經(jīng)過滑動窗的加窗處理后得到測試樣本，然后提取各測試樣本的樣本特征，將各測試樣本的樣本特征輸入至步驟S3獲得的新決策森林，通過該新的決策森林對這些測試樣本進行評分，得到這些測試樣本的置信度，再者對這些測試樣本的置信度進行判斷，將置信度小于定值X的測試樣本判定為非行人測試樣本，將置信度大于等于一定值的測試樣本對應(yīng)的原始圖像輸入至步驟S5獲取到的行人檢測器中，通過行人檢測器判定出測試樣本所屬類別，得出測試樣本是否為行人樣本，從而得到行人檢測的結(jié)果。其中行人檢測器將有兩個輸出，分別為是行人的輸出概率和不是行人的輸出概率。通過這兩個輸出概率判定出對應(yīng)測試樣本是否為行人樣本。

本步驟中，獲取到目標場景圖像集對應(yīng)的各個訓(xùn)練樣本的具體過程如下：

S6a、將待檢測的每幅目標場景圖像進行各種尺度的縮放，形成多尺度的圖像空間，即圖像金字塔；

S6b、使用滑動窗口在圖像金字塔空間上進行滑動，每滑動一次即得到一個測試樣本；

本步驟中，針對各測試樣本所提取的樣本特征為Haar-like特征；具體提取過程如下：

首先由每個測試樣本對應(yīng)的原始圖像計算出10個通道的特征圖(LUV顏色通道、6個梯度方向直方圖以及灰度圖)；

然后使用人工預(yù)設(shè)的Haar-like濾波器對10通道的特征圖進行卷積，得到每個樣本對應(yīng)的Haar-like特征。

本實施例上述步驟S6中訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)判定出待檢測的每幅目標場景圖像對應(yīng)的各測試樣本所屬類別后，進行非極大值抑制，以獲取到最終行人檢測結(jié)果，其中具體過程如下：

Sa、選取出待檢測的每幅目標場景圖像中屬于行人類別的測試樣本，并且根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出獲取到這些測試樣本屬于行人類別的概率；

Sb、將屬于行人類別的概率最大的測試樣本選取出來，然后將該測試樣本分別與其他各測試樣本進行重疊程度的計算，將與該測試樣本重疊程度是達到一定閾值Y的其他測試樣本進行抑制，同時將該測試樣本取出作為一個行人檢測結(jié)果；然后進入步驟Sc；本實施例中閾值Y為30％。

Sc、在當(dāng)前剩下的屬于行人類別的測試樣本中，將屬于行人類別的概率最大的測試樣本選取出來并且作為其中一個行人檢測結(jié)果；然后將該測試樣本分別與其他各測試樣本進行重疊程度的計算，將與該測試樣本重疊程度是達到一定閾值Y的其他測試樣本進行抑制；并且進入步驟Sd；

Sd、重新執(zhí)行步驟Sc，直到當(dāng)前剩下的屬于行人類別的測試樣本只有一個，則將該測試樣本作為一個行人檢測結(jié)果，并且結(jié)束檢測。

本實施例上述步驟中所使用的神經(jīng)網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)，所述步驟S5中最終的行人檢測器即為訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)。如圖3所示該卷積神經(jīng)網(wǎng)絡(luò)從輸入層至輸出層之間包括卷積層C1、降采樣層P1、歸一化層N1、卷積層C2、降采樣層P2、歸一化層N2、卷積層C3、卷積層C4、卷積層C5、降采樣層P5、全連接層FC6、全連接層FC7以及Softmax函數(shù)層。

在步驟S6中測試樣本對應(yīng)的原始圖像輸入至步驟S5中獲取到的行人檢測器后，通過以下處理后得到判定出測試樣本所屬類別，即是否為行人樣本：

S61、測試樣本對應(yīng)的原始圖像作為輸入層特征圖輸入到訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)；

S62、卷積神經(jīng)網(wǎng)絡(luò)中首先對輸入層特征圖進行卷積和稀疏線性激活，得到卷積層C1；

S63、將卷積層C1特征圖進行最大值池化，得到降采樣層P1；

S64、將降采樣層P1特征圖進行局部響應(yīng)值歸一化，得到歸一化層N1；

S65、將歸一化層N1特征圖進行卷積和稀疏線性激活，得到卷積層C2；

S66、將卷積層C2特征圖進行最大值池化，得到降采樣層P2；

S67、將降采樣層P2特征圖進行局部響應(yīng)值歸一化，得到歸一化層N2；

S68、將歸一化層N2特征圖進行卷積和稀疏線性激活，得到卷積層C3；

S69、將卷積層C3特征圖進行卷積和稀疏線性激活，得到卷積層C4；

S70、將卷積層C4特征圖進行卷積和稀疏線性激活，得到卷積層C5；

S71、將卷積層C5特征圖進行最大值池化，得到降采樣層P5；

S72、將降采樣層P5特征圖進行全連接計算、稀疏線性激活和隨機性置零，得到全連接層FC6；

S73、將全連接層FC6特征圖進行全連接計算、稀疏線性激活和隨機性置零，得到全連接層FC7；

S74、將全連接層FC7特征圖進行全連接計算，然后采用Softmax函數(shù)計算出卷積神經(jīng)輸入的原始圖像對應(yīng)測試樣本屬于行人的概率以及不屬于行人的概率，以此判定出測試樣本所屬類別。

其中上述卷積層C1～C5和全連接層FC6～FC7均為帶參數(shù)的隱含層；

所述卷積層C1～C5的每個卷積層中，經(jīng)過當(dāng)前卷積層的第j個卷積核卷積得到的特征圖為：

其中，表示的是第a層卷積層第i個神經(jīng)元的第j個卷積核，為第a層卷積層的第j個卷積核的神經(jīng)元的偏置，f是激活函數(shù)，可以是ReLU，Sigmoid，Tanh等類型的函數(shù)，為當(dāng)前卷積層的上一層第i個神經(jīng)元輸出的特征圖。

步驟S74中采用的Softmax函數(shù)為：

其中，p∈{0,1,…,C-1}表示的是C個類別中的一個，C表示類別的總數(shù)，x_p表示全連接層全連接層FC7的第p個神經(jīng)元的輸出，q＝0,1,…,C，x₀,x₁,…,x_C-1分別表示全連接層全連接層FC7的第0,1,…C-1個神經(jīng)元的輸出，y_p則是代表測試樣本屬于第p類類別的概率。

由上述可知，本實施例行人檢測方法在訓(xùn)練行人檢測器時，只需要目標場景圖像集中的其中一部分圖像進行行人標，而其他部分的圖像均無需進行行人標記，即目標場景圖像集只有一部分圖像對應(yīng)的訓(xùn)練樣本是知曉所屬類別的(即有監(jiān)督的)，而其他部分圖像對應(yīng)的訓(xùn)練樣本是不知曉類別的(即無監(jiān)督的)，因此本發(fā)明行人檢測方法是一種基于半監(jiān)督學(xué)習(xí)的行人檢測方法。

本實施例上述行人檢測方法首先獲取到源圖像集的訓(xùn)練樣本和訓(xùn)練樣本所屬類別，并且同時獲取目標場景圖像集，將目標場景圖像集中的其中一部分圖像進行行人標記，因此通過目標場景圖像集獲取到的訓(xùn)練樣本中，帶行人標記圖像對應(yīng)的訓(xùn)練樣本為知曉所屬類別的訓(xùn)練樣本；其次通過源圖像集的訓(xùn)練樣本訓(xùn)練生成決策森林，并且通過目標場景圖像集中知曉輸送類別的訓(xùn)練樣本對決策森林中的決策樹進行篩選，重組后產(chǎn)生新的決策森林；再者通過新的決策森林對目標場景圖像集中未知所屬類別的訓(xùn)練樣本進行評分，得出這些訓(xùn)練樣本的置信度，將置信度高的訓(xùn)練樣本標記為行人訓(xùn)練樣本；然后通過目標場景圖像集中知曉輸送類別的訓(xùn)練樣本以及上述行人訓(xùn)練樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)；最后將待檢測的每幅目標場景圖像對應(yīng)測試樣本輸入至新的決策森林，通過新的決策森警進行評分，將置信度高的測試樣本輸入至訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，通過神經(jīng)網(wǎng)絡(luò)得出行人檢測結(jié)果。由上述可知，本實施例只需要人為對目標場景圖像集中一部分圖像進行行人標記即可得到具有很好泛化能力的行人檢測器，能夠有效節(jié)省人工標記圖像所花費的時間。本實施例中將傳統(tǒng)機器學(xué)習(xí)中的決策森林與深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)進行級聯(lián)實現(xiàn)行人檢測，其中決策森林輸入對應(yīng)的是人為提取的樣本特征，而神經(jīng)網(wǎng)絡(luò)輸入的是樣本對應(yīng)的原始圖像，由于人為設(shè)計的特征與深度網(wǎng)絡(luò)學(xué)習(xí)到的特征空間具有互補性，因此使得整個行人檢測方法具有更好的表達能力和區(qū)分能力，并且這種級聯(lián)的方法能有效提高行人檢測方法的效率和準確率。

本實施例上述步驟S3通過目標場景圖像集中知曉輸送類別的訓(xùn)練樣本對決策森林中的決策樹進行篩選，重組后產(chǎn)生新的決策森林，從而由該新的決策針對目標場景圖像集中未帶行人標記的圖像對應(yīng)訓(xùn)練樣進行所屬類別判定，其中新的決策森林是由已有的決策森林通過篩選一些共同的特征并且重新組合后產(chǎn)生的，因此新的決策森林在目標場景中使用更加可靠，能夠更加精確地檢測。

本實施例上述步驟S6中，在通過最終的行人檢測器對測試樣本進行檢測之前，測試樣本首先通過新的決策樹進行評分，然后將置信度低的測試樣本直接判定為非行人樣本，而置信度高的測試樣本才輸入至最終的行人檢測器進行行人的檢測，這樣的操作使得本發(fā)明有效減少了行人檢測器的工作量，并且進一步提高了行人檢測的準確率。

本實施例上述步驟S4針對于通過新的決策森林獲取到的目標場景圖像集對應(yīng)的行人訓(xùn)練樣本賦予樣本重要性權(quán)重，其中置信度高的行人訓(xùn)練樣本將被賦予更高的權(quán)重，而置信度低的行人訓(xùn)練樣本將被賦予相對較低的權(quán)重，從而通過權(quán)重體現(xiàn)各行人訓(xùn)練樣本的重要性，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)階段，如圖所示，行人訓(xùn)練樣本被賦予的權(quán)重將輸入至神經(jīng)網(wǎng)絡(luò)的一個最小化目標函數(shù)中，因此將權(quán)重輸入至目標函數(shù)中，可以使得目標函數(shù)求得最合適的分類器參數(shù)，能夠訓(xùn)練出更適合且更加準確的行人檢測器。

本實施例上述步驟S6中，在最終的行人檢測器檢測出每幅目標場景圖像對應(yīng)的各測試樣本所屬類別后，再進行非極大值抑制，將每幅目標場景圖像中表示同一個行人的各測試樣本中所屬行人類別概率最大的測試樣本留下，而表示同一個行人的其他所屬行人類別概率低的測試樣本進行抑制，因此保留了最能表達行人的測試樣本，使得行人檢測精度更高。

上述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受上述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護范圍之內(nèi)。