基于樣本塊的圖像目標計數(shù)方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明設(shè)及一種基于樣本塊的圖像目標計數(shù)方法（曰口口1'〇義：1111曰1617 3口曰'3；[17- conshained example-based visual object counting,A沈-V0C)，屬于圖像處理技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 基于圖像的目標計數(shù)方法是用于計算單幅圖像或者視頻流中感興趣目標的數(shù)量。 運是種在現(xiàn)實生活中高度需求的計數(shù)技術(shù)，可W用來統(tǒng)計顯微鏡圖像里細胞的個數(shù)、野外 生物數(shù)量、街道或商場的行人數(shù)量，也可用于交通監(jiān)測和人群區(qū)域活動分析。
[0003] 最傳統(tǒng)的目標計數(shù)方法是通過檢測目標來統(tǒng)計個數(shù)。運種方法在目標重疊較多、 目標出現(xiàn)很密集的時候效果很差，因此實用性不強。
[0004] 現(xiàn)有主流的目標計數(shù)方法分成兩大類:一類是基于全局回歸的計數(shù)，另一類是基 于目標密度圖估計的計數(shù)。前者通過提取一些傳統(tǒng)的人工特征，將其融合并做特征選擇等 特征處理工作后，學習運個特征和其對應(yīng)的真實數(shù)量(通過樣本標記)之間的映射。運類方 法的缺陷在于：1.依賴于人工特征的提取;2.需要很大的訓練量來保證學習到的映射的有 效性。
[0005] 基于目標密度圖估計的計數(shù)是通過人工標記的樣本生成圖像的密度圖，通過累積 密度圖像素值之和得到要求的數(shù)量。其中和基于全局回歸的方法類似，也需要求單個像素 特征到像素的映射。其相比基于全局回歸的計數(shù)需要的訓練量少一些，但依然不小。
[0006] 現(xiàn)實生活中，考慮到對未知的新場景做目標計數(shù)時，人工標注訓練樣本是非常費 時費力的，一般情況下訓練樣本都會很少。面對運種情況，上面兩類方法的性能都有很嚴重 的下降。另外，特征的選擇和提取也是個令人頭疼的問題。

【發(fā)明內(nèi)容】

[0007] 為了解決使用少量標注樣本依舊能做精確的目標計數(shù)的問題，本發(fā)明提出一種基 于樣本塊的圖像目標計數(shù)方法。它是基于目標密度圖估計的，但不同于往常的通過計算映 射函數(shù)來求密度圖，本發(fā)明使用從少量訓練樣本中采集的圖像塊來估計密度圖。鑒于本方 法是通過對圖像塊的泛化來估計密度圖，因此需求的樣本量會很少。
[000引本發(fā)明提出的方法是基于局部線性嵌入的相關(guān)理論，即通過相關(guān)的觀察，假設(shè)圖 像塊形成的流形空間和圖像塊對應(yīng)的密度圖形成的流形空間共享相似的局部幾何結(jié)構(gòu)。通 過運個有相關(guān)統(tǒng)計學支持的假設(shè)，我們可W通過樣本圖像塊和輸入的測試圖像塊求出該測 試圖像塊的局部幾何結(jié)構(gòu)，所W測試圖像塊對應(yīng)的密度圖可用樣本圖像塊對應(yīng)的密度圖保 留求得的局部幾何結(jié)構(gòu)來重構(gòu)。最終通過求得的密度圖可W算出測試圖像中感興趣目標的 數(shù)量。該方法包括如下步驟：
[0009] a)輸入一張測試圖片X，用固定大小的滑動窗口（窗口大小:4X4,滑動距離:2)從 中提取圖像塊XU，即XU是從X中提取出第(i，j)個圖像塊。
[0010] b)從訓練樣本集帥基于相似度現(xiàn)慢函數(shù)D(.)、特征提取器f (.)和Κ近鄰算法選擇 和Xij最相似的Κ個圖像塊構(gòu)成候選塊字典％ =挺1，於。，...，;化J。運些候選塊對應(yīng)的密度圖 構(gòu)成的字典呆
[0011] C)使用正交匹配追蹤算法求解公式
[0012]
[0013] 求得最終選擇的樣本和對應(yīng)樣本使用的權(quán)重。
[0014] (1)根據(jù)公式：磚=0^^求得圖像塊化對應(yīng)的密度圖鳴。將磚煎置到《對應(yīng)密度圖 Xd的對應(yīng)位置。若XU是X中最后一個圖像塊則進行下一步驟，否則跳轉(zhuǎn)步驟a)。
[0015] e)計算出測試圖像X中感興趣目標數(shù)量
[0016] 本發(fā)明的有益效果在于:相較于主流方法需要幾百、幾千張訓練圖像進行學習，本 方法只要幾張或十幾張訓練圖像就能得出相似或更高的計數(shù)精度(表1和表2)。本發(fā)明的方 法在MAE、MSE上和主流方法相比接近或者更低，MAE或Μ沈值越低說明計數(shù)精度越高。并且本 方法不需要設(shè)計或挑選復雜的人工特征，只使用灰度圖或簡單的前景特征就好。另外本方 法對圖像的分辨率較魯棒，在低分辨視頻流或圖像上依然能獲取很高的計數(shù)精度。
[0017] 表1.統(tǒng)計細胞數(shù)量，WMAE指標評估算法性能 「00181
[0019] (1)密集SIFT采樣+詞袋模型；（2)密集SIFT采樣；（3)原始像素值(從藍色通道中提 取)。
[0020] 表2.統(tǒng)計行人數(shù)量，WMAE和MSE指標評估算法性能
[0021]
[0022] (1)融合特征(線段特征+內(nèi)部邊緣特征+紋理特征）；（2)累積屬性(在特征（1)的基 礎(chǔ)上做了特征編碼）；
[0023] (3)前景特征。
【附圖說明】
[0024] 圖1.包含感興趣目標的圖像(左）和其對應(yīng)生成的密度圖（右）：（a)細胞圖像；（b) 來自公開數(shù)據(jù)集Mall的行人圖像;（C)來自公開數(shù)據(jù)集UCSD的行人圖像。
[0025] 圖2.本發(fā)明提出方法的流程圖。
[0026] 圖3.本方法合成的密度圖效果(細胞）：（a)原始細胞圖；（b)使用高斯核生成的密 度圖；（c)Lempitsky的基于目標密度估計方法產(chǎn)生的密度圖；（d)本發(fā)明方法產(chǎn)生的密度 圖。
[0027] 圖4.本方法合成的密度圖效果(行人）：（a)原始行人監(jiān)測圖像；（b)差分圖（前景特 征）；（C)使用高斯核生成的密度圖；（d)本發(fā)明方法產(chǎn)生的密度圖。
[0028] 圖5.不同相似度測量方法對本方法計數(shù)精度的影響：左圖是平均絕對誤差(mean absolute error,MAE),右圖是平均均方誤差(mean square error,Μ沈）。上圖是使用不同 大小的訓練集和測量方式，通過五次交叉驗證得出結(jié)果。
【具體實施方式】
[0029] 下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步詳細描述。
[0030] 1.密度圖生成方法
[0031] 密度圖是根據(jù)人對訓練圖像感興趣目標的標注按照一定的原理自動生成的。通過 密度圖計數(shù)一般比標注的數(shù)量略少，但顯得更加真實，因為在圖像或視頻邊緣部分出現(xiàn)的 目標算成整數(shù)實際上不是很合適。圖像塊訓練集Υ和其對應(yīng)的密度圖訓練集yd生成方式如 下：
[0032] 1)給定N張訓練圖像Ii，l2,…，In。對于每張訓練圖像Ii(iy如），所有的感興趣 目標都使用2維點標注出其具體位置(一般標注在目標形狀的重屯、上，理論上標注在目標 形狀內(nèi)即可），運些2維點集合運里標記成Pi。因此對于Ii中的每一個像素 p(pEli)而言，其 對應(yīng)的真實目標密度函數(shù)可W定義為基于標注點的2維高斯核的累積。用公式可W表示為：
[0033]
[0034] 其中P是Pi種的一個標注點的位置，δ是控制2維高斯核平滑程度的參數(shù)，本發(fā)明設(shè) 置為3。
[0035] 2)根據(jù)1)中的公式，訓練圖像Ii的真實密度圖巧可W定義為
[0036]
[0037] 3)根據(jù)2)中生成的密度圖，Ii中的感興趣目標數(shù)量c(Ii)可W通過累加密度圖每個 像素值得到
[00；3 引
[0039] 對于每幅訓練圖像Il，ie{l，2，…，N}，使用固定大小的滑動窗口（窗口大小:4X 4,滑動距離:2)從中提取圖像塊。圖像塊構(gòu)成訓練集合-y =沙1，扔y?]從e ΠΤ")。相對應(yīng) 的，使用同樣的滑動窗口，從訓練圖像生成的密度圖巧，i E {1，2，…，N}中提取相應(yīng)的密度 圖圖像塊，其構(gòu)成訓練集合yd =沙^|娩...,34}。實際處理時，4X4大小的圖像塊通常拉伸成 16X1的列向量處理。
[0040] 2.輸入圖像塊在樣本集合中捜索最相似的K個樣本時，需要考慮相似度測量函數(shù) 的定義。本發(fā)明中采用了下面Ξ