本發(fā)明涉及圖像識別方法和圖像識別裝置,具體而言,涉及圖像識別中消除或減少誤檢測、降低誤檢率的方法、以及使用該方法的圖像識別裝置。
背景技術(shù):
近年來,圖像識別技術(shù)發(fā)展迅速,其在安全、金融、信息、教育等諸多領(lǐng)域有著廣泛的應(yīng)用前景。圖像識別一般基于已知的識別物體特征庫,利用計算機(jī)或嵌入式設(shè)備等分析圖像,進(jìn)而利用識別物體特征庫中的特征模式來檢測出目標(biāo)物體。具體來說,例如利用各種識別物體的特征模式,讓計算機(jī)對目標(biāo)物體進(jìn)行特征模式學(xué)習(xí),并利用分類算法將目標(biāo)物體檢測出來。
技術(shù)實現(xiàn)要素:
然而在實際的檢測中,經(jīng)常會有誤檢測的情況。例如圖7所示的情況。
圖7中,左圖為實際想要檢測的汽車的車頭,而右圖本來為一個監(jiān)控系統(tǒng)的視頻中顯示時間部分的畫面,卻被誤檢測為車頭。該監(jiān)控系統(tǒng)本來需要監(jiān)控的目標(biāo)是車頭,但卻將該顯示時間的畫面頻繁地誤檢測為是需要監(jiān)控的目標(biāo)。
之所以產(chǎn)生這樣的誤檢測,主要是因為當(dāng)將圖像進(jìn)行多尺度識別時,圖像中的某些局部圖像的特征模式與對目標(biāo)物體進(jìn)行學(xué)習(xí)后的特征模式非常相似。因此,該局部圖像容易被誤識別為目標(biāo)物體。一旦該局部圖像反復(fù)出現(xiàn),就會反復(fù)地被誤識別為目標(biāo)物體。例如圖7的例子中顯示時間的畫面在監(jiān)控視頻畫面經(jīng)常出現(xiàn),于是頻繁被誤認(rèn)為是需要監(jiān)控的目標(biāo),造成大量無用的干擾。
本發(fā)明鑒于上述現(xiàn)有技術(shù)中存在的問題,目的在于提供一種能夠 在圖像識別中消除或減少誤檢測、降低誤檢率的方法、以及使用該方法的圖像識別裝置。
為了解決上述技術(shù)問題,本發(fā)明提供一種圖像識別方法,用于降低圖像識別中的誤檢率,其特征在于,包括:圖像取得步驟,取得待識別圖像;預(yù)識別步驟,對上述待識別圖像進(jìn)行預(yù)識別,取得被預(yù)識別為包含目標(biāo)物體的多個圖像塊;明顯特征過濾步驟,用上述目標(biāo)物體的明顯特征對上述被識別為包含目標(biāo)物體的多個圖像塊進(jìn)行過濾,提取出誤識別可能性大的多個圖像塊;圖像塊分組步驟,基于圖像塊的位置、大小和像素特征對上述誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小和像素特征大致相同的圖像塊歸為一組,得到多個圖像塊組;圖像塊組選擇步驟,計算各上述圖像塊組中的圖像塊的個數(shù),選擇出圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組;光流計算步驟,對上述圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組中的每個圖像塊進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊;背景計算步驟,將沒有光流變化的各個圖像塊與該圖像塊所對應(yīng)的局部背景作比較,提取出與背景大致相同的圖像塊作為誤識別圖像塊;和反例學(xué)習(xí)步驟,將所得到的上述誤識別圖像塊的特征作為圖像識別的反例進(jìn)行反例學(xué)習(xí),在之后進(jìn)行的識別中剔除誤識別圖像塊,得到包含上述目標(biāo)物體的圖像塊作為識別結(jié)果。
本發(fā)明的圖像識別方法也可以包括:圖像取得步驟,取得待識別圖像;預(yù)識別步驟,對上述待識別圖像進(jìn)行預(yù)識別,取得被預(yù)識別為包含目標(biāo)物體的多個圖像塊;明顯特征過濾步驟,用上述目標(biāo)物體的明顯特征對上述被識別為包含目標(biāo)物體的多個圖像塊進(jìn)行過濾,提取出誤識別可能性大的多個圖像塊;圖像塊分組步驟,基于圖像塊的位置、大小和像素特征對上述誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小和像素特征大致相同的圖像塊歸為一組,得到多個圖像塊組;圖像塊組選擇步驟,計算各上述圖像塊組中的圖像塊的個數(shù),選擇出圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組;光流計算步驟,從上述圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊組;背景計算步驟,從沒有光流變化的多個圖像 塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表與該圖像塊所對應(yīng)的局部背景作比較,提取出與背景大致相同的圖像塊作為誤識別圖像塊;和反例學(xué)習(xí)步驟,將所得到的上述誤識別圖像塊的特征作為圖像識別的反例進(jìn)行反例學(xué)習(xí),在之后進(jìn)行的識別中剔除誤識別圖像塊,得到包含上述目標(biāo)物體的圖像塊作為識別結(jié)果。
在上述圖像識別方法中,上述圖像塊分組步驟包括:位置大小分組步驟,基于圖像塊的位置、大小對上述誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小大致相同的圖像塊歸為一組,得到多個圖像塊組;和像素分組步驟,將上述位置大小分組步驟中分類得到的多個圖像塊組基于像素特征進(jìn)行進(jìn)一步分組,將像素特征大致相同的圖像塊歸為一組,得到位置、大小和像素特征大致相同的多個圖像塊組。
在上述圖像識別方法中,在上述背景計算步驟與反例學(xué)習(xí)步驟之間還包括用戶確認(rèn)步驟,將上述背景計算步驟中得到的上述誤識別圖像塊顯示在圖形用戶界面上由用戶進(jìn)行確認(rèn),得到用戶確認(rèn)后的誤識別圖像塊。
在上述圖像識別方法中,上述明顯特征過濾步驟中,用下式進(jìn)行過濾:
E=ω0C+ΣωiCLi
當(dāng)E<TE時提取出該圖像塊,式中,E為誤識別可能評價值,C為圖像塊的確信度,CLi為明顯特征、局部特征的確信度,ω為權(quán)值;TE為設(shè)定的閾值。上述像素分組步驟中,判斷像素特征大致相同采用如下公式:
if│Gn(i,j)–Gn+1(i,j)│<T0,d(i,j)=0;
if│Gn(i,j)–Gn+1(i,j)│>T0,d(i,j)=1;
Σd(i,j)/(H*W)<T1
式中,Gn(i,j)為某個圖像塊的像素(i,j)的灰度值;Gn+1(i,j)為上述位置大小分組步驟中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的灰度值;d為對每一像素是否相近進(jìn)行判斷后的相近評價值;T0為灰度不同的閾值。
在上述圖像識別方法中,上述像素分組步驟中,判斷像素特征大致相同采用如下公式:
if│Rn(i,j)–Rn+1(i,j)│<TR0,dr(i,j)=0;
if│Gn(i,j)–Gn+1(i,j)│<TG0,dg(i,j)=0;
if│Bn(i,j)–Bn+1(i,j)│<TB0,db(i,j)=0
if│Rn(i,j)–Rn+1(i,j)│>TR0,dr(i,j)=1;
if│Gn(i,j)–Gn+1(i,j)│>TG0,dg(i,j)=1;
if│Bn(i,j)–Bn+1(i,j)│>TB0,db(i,j)=1
Σdr(i,j)+Σdg(i,j)+Σdb(i,j)/3*(H*W)<T1
式中,Rn(i,j)、Gn(i,j)、Bn(i,j)為某個圖像塊的像素(i,j)的紅色分量、藍(lán)色分量、綠色分量,Rn+1(i,j)、Gn+1(i,j)、Bn+1(i,j)為上述位置大小分組步驟中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的紅色分量、藍(lán)色分量、綠色分量;TR0、TG0、TB0為紅色分量、藍(lán)色分量、綠色分量不同的閾值;dr,dg,db為對每個像素的紅色分量、藍(lán)色分量、綠色分量是否相近進(jìn)行判斷后的相近評價值;T1為像素大致相同的閾值;H、W為圖像塊的高和寬。
在上述圖像識別方法中,上述像素分組步驟中,判斷像素特征大致相同采用如下公式:
ΣΣGn(i,j)Gn+1(i,j)/(SQRT(ΣΣGn(i,j)2)×SQRT(ΣΣGn+1(i,j)2))>T2
式中,Gn(i,j)為某個圖像塊的像素(i,j)的灰度值;Gn+1(i,j)為上述位置大小分組步驟中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的灰度值;T1、T2為閾值,T1的范圍在0~1之間,T2的范圍在-1~1之間。
在上述圖像識別方法中,上述光流計算步驟中,光流的計算采用如下公式:
式中I為亮度,Vx為x軸上的速度,Vy為y軸上的速度。
為了解決上述技術(shù)問題,本發(fā)明提供一種圖像識別裝置,其特征在于,包括:圖像取得單元,其取得待識別圖像;預(yù)識別單元,其對上述待識別圖像進(jìn)行預(yù)識別,取得被預(yù)識別為包含目標(biāo)物體的多個圖像塊;明顯特征過濾單元,其用明顯特征對上述被預(yù)識別為包含目標(biāo)物體的多個圖像塊進(jìn)行過濾,提取出誤識別可能性大的多個圖像塊;圖像塊分組單元,其基于圖像塊的位置、大小和像素特征對上述誤識 別可能性大的多個圖像塊進(jìn)行分組,將位置、大小和像素特征大致相同的圖像塊歸為一組,得到多個圖像塊組;圖像塊組選擇單元,其計算各上述圖像塊組中的圖像塊的個數(shù),選擇出圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組;光流計算單元,其對上述圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組中的每個圖像塊進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊;背景計算單元,其將沒有光流變化的各個圖像塊與該圖像塊所對應(yīng)的局部背景作比較,提取出與背景大致相同的圖像塊作為誤識別圖像塊;和反例學(xué)習(xí)單元,其將所得到的上述誤識別圖像塊的特征作為圖像識別的反例進(jìn)行反例學(xué)習(xí),在之后進(jìn)行的正式識別中剔除誤識別圖像塊,得到包含上述目標(biāo)物體的圖像塊作為識別結(jié)果。
本發(fā)明的圖像識別裝置也可以包括:圖像取得單元,其取得待識別圖像;預(yù)識別單元,其對上述待識別圖像進(jìn)行預(yù)識別,取得被預(yù)識別為包含目標(biāo)物體的多個圖像塊;明顯特征過濾單元,其用明顯特征對上述被預(yù)識別為包含目標(biāo)物體的多個圖像塊進(jìn)行過濾,提取出誤識別可能性大的多個圖像塊;圖像塊分組單元,其基于圖像塊的位置、大小和像素特征對上述誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小和像素特征大致相同的圖像塊歸為一組,得到多個圖像塊組;圖像塊組選擇單元,其計算各上述圖像塊組中的圖像塊的個數(shù),選擇出圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組;光流計算單元,其從上述圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊組;背景計算單元,其從沒有光流變化的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表與該圖像塊所對應(yīng)的局部背景作比較,提取出與背景大致相同的圖像塊作為誤識別圖像塊;和反例學(xué)習(xí)單元,其將所得到的上述誤識別圖像塊的特征作為圖像識別的反例進(jìn)行反例學(xué)習(xí),在之后進(jìn)行的正式識別中剔除誤識別圖像塊,得到包含上述目標(biāo)物體的圖像塊作為識別結(jié)果。
在圖像識別裝置中,上述圖像塊分組單元包括:位置大小分組單元,其基于圖像塊的位置、大小對上述誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小大致相同的圖像塊歸為一組,得到多個圖像 塊組;和像素分組單元,其將由上述位置大小分組單元分類得到的多個圖像塊組基于像素進(jìn)行進(jìn)一步分組,將像素特征大致相同的圖像塊歸為一組,得到位置、大小和像素特征大致相同的多個圖像塊組。
在圖像識別裝置中,還包括用戶確認(rèn)單元,將由上述背景計算單元得到的上述誤識別圖像塊顯示在圖形用戶界面上由用戶進(jìn)行確認(rèn),得到用戶確認(rèn)后的誤識別圖像塊。
在圖像識別裝置中,上述明顯特征過濾單元用下式進(jìn)行過濾:
E=ω0C+ΣωiCLi
當(dāng)E<TE時提取出該圖像塊,式中,E為誤識別可能評價值,C為圖像塊的確信度,CLi為明顯特征、局部特征的確信度,ω為權(quán)值;TE為設(shè)定的閾值。
在圖像識別裝置中,上述像素分組單元判斷像素特征大致相同采用如下公式:
if│Gn(i,j)–Gn+1(i,j)│<T0,d(i,j)=0;
if│Gn(i,j)–Gn+1(i,j)│>T0,d(i,j)=1;
Σd(i,j)/(H*W)<T1
式中,Gn(i,j)為某個圖像塊的像素(i,j)的灰度值;Gn+1(i,j)為上述位置大小分組步驟中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的灰度值;d為對每一像素是否相近進(jìn)行判斷后的相近評價值;T0為灰度不同的閾值。
在圖像識別裝置中,上述像素分組單元判斷像素特征大致相同采用如下公式:
if│Rn(i,j)–Rn+1(i,j)│<TR0,dr(i,j)=0;
if│Gn(i,j)–Gn+1(i,j)│<TG0,dg(i,j)=0;
if│Bn(i,j)–Bn+1(i,j)│<TB0,db(i,j)=0
if│Rn(i,j)–Rn+1(i,j)│>TR0,dr(i,j)=1;
if│Gn(i,j)–Gn+1(i,j)│>TG0,dg(i,j)=1;
if│Bn(i,j)–Bn+1(i,j)│>TB0,db(i,j)=1
Σdr(i,j)+Σdg(i,j)+Σdb(i,j)/3*(H*W)<T1
式中,Rn(i,j)、Gn(i,j)、Bn(i,j)為某個圖像塊的像素(i,j)的紅色分量、藍(lán)色分量、綠色分量,Rn+1(i,j)、Gn+1(i,j)、Bn+1(i,j)為上述位置大小分組步驟中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j) 的紅色分量、藍(lán)色分量、綠色分量;TR0、TG0、TB0為紅色分量、藍(lán)色分量、綠色分量不同的閾值;dr,dg,db為對每個像素的紅色分量、藍(lán)色分量、綠色分量是否相近進(jìn)行判斷后的相近評價值;T1為像素大致相同的閾值;H、W為圖像塊的高和寬。
在圖像識別裝置中,上述像素分組單元判斷像素特征大致相同采用如下公式:
ΣΣGn(i,j)Gn+1(i,j)/(SQRT(ΣΣGn(i,j)2)×SQRT(ΣΣGn+1(i,j)2))>T2
式中,Gn(i,j)為某個圖像塊的像素(i,j)的灰度值;Gn+1(i,j)為上述位置大小分組步驟中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的灰度值;T1、T2為閾值,T1的范圍在0~1之間,T2的范圍在-1~1之間。
在圖像識別裝置中,上述光流計算單元計算光流采用如下公式:
式中I為亮度,Vx為x軸上的速度,Vy為y軸上的速度。
(發(fā)明效果)
根據(jù)本發(fā)明,能夠在現(xiàn)有的圖像識別中提取誤檢測的圖像塊進(jìn)行反例學(xué)習(xí),從而消除或減少同類型的誤檢測,能夠提供一種能夠在圖像識別中消除或減少誤檢測、降低誤檢率的方法、以及使用該方法的圖像識別裝置。
附圖說明
圖1是本發(fā)明的實施方式1的功能框圖。
圖2是本發(fā)明的實施方式1的流程圖。
圖3是本發(fā)明的實施方式2的功能框圖。
圖4是本發(fā)明的實施方式2的流程圖。
圖5是本發(fā)明的實施方式3的功能框圖。
圖6是本發(fā)明的實施方式3的流程圖。
圖7是用于例示誤檢測的圖。
具體實施方式
下面參照附圖對本發(fā)明的實施方式和實施例進(jìn)行具體說明,圖中相同的標(biāo)號表示相同的元件或功能模塊。本發(fā)明不受下述具體的實施方式和實施例限制。
<實施方式1>
首先對本發(fā)明的實施方式1進(jìn)行詳細(xì)說明。
圖1是本發(fā)明的實施方式1的功能框圖。
圖1中,11為圖像取得單元,用于取得待識別圖像。此處所說的圖像,包括靜態(tài)圖像和視頻等動態(tài)圖像。
12為預(yù)識別單元,將由圖像取得單元11取得的待識別圖像用多尺度滑動窗口掃描進(jìn)行預(yù)識別,取得被預(yù)識別為目標(biāo)物體的多個圖像塊。預(yù)識別能夠用現(xiàn)有的圖像識別裝置進(jìn)行。
13為明顯特征過濾單元,用圖像塊的明顯特征對被預(yù)識別為目標(biāo)物體的多個圖像塊進(jìn)行過濾,排除明顯不可能為誤識別的圖像塊,提取出誤識別可能性大的多個圖像塊。
14為圖像塊分組單元,基于位置、大小和像素特征對誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小和像素大致相同的圖像塊歸為一組,得到多個圖像塊組。圖像塊分組單元14可以包括位置大小分組單元15和像素分組單元16。
位置大小分組單元15基于圖像塊的位置、大小對誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小大致相同的圖像塊歸為一組,得到多個圖像塊組。本說明書中的大致相同定義為量化差別不超過一定閾值。
像素分組單元16將由位置大小分組單元分類得到的多個圖像塊組基于像素特征進(jìn)行進(jìn)一步分組,將像素特征大致相同的圖像塊歸為一組,得到位置、大小和像素特征大致相同的多個圖像塊組。
20為圖像塊組選擇單元,計算各圖像塊組中的圖像塊的個數(shù),選擇出圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組。這個閾值用戶是可以修改的,默認(rèn)值例如為5。
17為光流計算單元,對圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組中的每個圖像塊進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊組。
18為背景計算單元,將沒有光流變化的各個圖像塊與該圖像塊所對應(yīng)的局部背景作比較,搜索得到與背景大致相同的圖像塊作為誤識別圖像塊。
19為反例學(xué)習(xí)單元,將所得到的誤識別圖像塊的特征作為圖像識別的反例進(jìn)行反例學(xué)習(xí),在之后進(jìn)行的正式識別中剔除誤識別圖像塊,得到包含目標(biāo)物體的圖像塊作為識別結(jié)果。
下面對實施方式1的具體流程進(jìn)行說明。
實施方式1的流程步驟如圖2所示。
首先,在圖像取得步驟21中,由圖像取得單元11取得待識別圖像。此處所說的圖像,包括靜態(tài)圖像和視頻等動態(tài)圖像。接著在預(yù)識別步驟22中,將由圖像取得單元11取得的待識別圖像劃分為多個圖像塊并進(jìn)行預(yù)識別,取得被預(yù)識別為目標(biāo)物體的多個圖像塊。圖像塊的劃分基于一定的規(guī)則,一般要使得到的各圖像塊中均包含能夠表征所述待識別圖像中的待識別目標(biāo)的特征的像素點。圖像塊通常為矩形,該矩形為能夠框住待識別目標(biāo)的最小矩形。當(dāng)然矩形只是一例,不一定必須為矩形,只要能夠框住帶識別目標(biāo),可以為任意形狀。圖像取得和預(yù)識別能夠用現(xiàn)有的裝置和方法來進(jìn)行。
接著,在明顯特征過濾步驟23中,用明顯特征對被預(yù)識別為目標(biāo)物體的多個圖像塊進(jìn)行過濾,排除明顯不可能為誤識別的圖像塊,提取出誤識別可能性大的多個圖像塊。明顯特征為待識別物體所具有的明顯的特征,例如包括人臉的顏色、紋理、人臉的局部特征,車的紋理、輪廓、局部特征等。在過濾的時候,進(jìn)行誤識別判斷的閾值優(yōu)選設(shè)置得比較寬泛以避免誤過濾,盡量把具有誤識別可能的圖像塊提取出來。經(jīng)過明顯特征過濾步驟23過濾后提取出的具有誤識別可能的圖像塊的集合,是誤識別可能性比較大的集合。
在明顯特征過濾步驟23中,例如可以采用如下算法進(jìn)行計算從而提取出誤識別可能性大的圖像塊。
E=ω0C+ΣωiCLi
當(dāng)E<TE時提取出該圖像塊,式中,E為誤識別可能評價值,C為圖像塊的確信度,CLi為明顯特征、局部特征各項的確信度,ω為權(quán)值,TE為設(shè)定的閾值。在這里確信度為PAC算法的錯誤分類概率相反值或者 為神經(jīng)網(wǎng)絡(luò)實際算出的接近目標(biāo)標(biāo)簽的值等。
接著在圖像塊分組步驟24中,基于圖像塊的位置、大小和像素特征對誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小和像素特征大致相同的圖像塊歸為一組,得到多個圖像塊組。圖像塊分組步驟24例如可以分為位置大小分組步驟25和像素分組步驟26來進(jìn)行。
在位置大小分組步驟25中,基于圖像塊的位置、大小對誤識別可能性大的多個圖像塊進(jìn)行分組,將位置、大小大致相同的圖像塊歸為一組,得到多個圖像塊組。本說明書中的大致相同定義為量化差別不超過一定閾值。其中,先搜索位置、尺寸大致相同的圖像塊。此處所說的圖像塊的位置、尺寸大致相同,是指定義一定的閾值,只要圖像塊的位置、大小尺寸在閾值的范圍內(nèi),就判斷為位置、尺寸大致相同。例如(例子中的數(shù)字為舉例的數(shù)字),對從一個攝像頭采集的待識別物體記錄進(jìn)行預(yù)識別之后的圖像塊的集合中,存在500個位置為(10,30,50,60)的圖像塊,本例中,圖像塊為矩形。其中10,30為圖像塊的左上角的橫坐標(biāo)、縱坐標(biāo)。50,60為圖像塊的右下角的橫坐標(biāo)、縱坐標(biāo)。這500個圖像塊的矩形的坐標(biāo)可以略有差異,只要不超過規(guī)定的閾值,就認(rèn)為它們是大小尺寸基本上相同的圖像塊。當(dāng)然,這只是一例,對從該攝像頭采集的待識別物體記錄進(jìn)行預(yù)識別之后的圖像塊的集合中還可能存在其他位置、尺寸大致相同的圖像塊。
然后,對搜索出的位置、尺寸大致相同的圖像塊進(jìn)行分組。也就是說,同組的圖像塊,位置、尺寸大致相同;不同組的圖像塊,大致的位置、尺寸不同。
接著在像素分組步驟26,將位置大小分組步驟中分類得到的多個圖像塊組基于像素進(jìn)行進(jìn)一步分組,將像素特征大致相同的圖像塊歸為一組,得到位置、大小和像素特征大致相同的多個圖像塊組。其中,先在位置大小分組步驟25中劃分的組中,搜索像素特征大致相同的圖像塊。然后,對搜索出的像素大致相同的圖像塊進(jìn)行分組。也就是說,同組的圖像塊,像素特征大致相同;不同組的圖像塊,像素特征大致不同。
判斷像素特征大致相同例如可以采用如下公式:
if│Gn(i,j)–Gn+1(i,j)│<T0,d(i,j)=0;
if│Gn(i,j)–Gn+1(i,j)│>T0,d(i,j)=1;
Σd(i,j)/(H*W)<T1
在式中,Gn(i,j)為某個圖像塊的像素(i,j)的灰度值;Gn+1(i,j)為位置大小分組步驟25中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的灰度值;d為對每一像素是否相近進(jìn)行判斷后的相近評價值;T0為灰度不同的閾值;T1為像素大致相同的閾值;H、W為圖像塊的高和寬。此處,作為相近評價值d的設(shè)置,可以讓用戶進(jìn)行選擇。作為預(yù)設(shè)的默認(rèn)值,可以選擇最大值的黃金分割比來作為默認(rèn)值。
此外,還可以采用如下方式來搜索像素特征大致相同的項目。
if│Rn(i,j)–Rn+1(i,j)│<TR0,dr(i,j)=0;
if│Gn(i,j)–Gn+1(i,j)│<TG0,dg(i,j)=0;
if│Bn(i,j)–Bn+1(i,j)│<TB0,db(i,j)=0
if│Rn(i,j)–Rn+1(i,j)│>TR0,dr(i,j)=1;
if│Gn(i,j)–Gn+1(i,j)│>TG0,dg(i,j)=1;
if│Bn(i,j)–Bn+1(i,j)│>TB0,db(i,j)=1
Σdr(i,j)+Σdg(i,j)+Σdb(i,j)/3*(H*W)<T1
式中,Rn(i,j)、Gn(i,j)、Bn(i,j)為某個圖像塊的像素(i,j)的紅色分量、藍(lán)色分量、綠色分量;Rn+1(i,j)、Gn+1(i,j)、Bn+1(i,j)為位置大小分組步驟25中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的紅色分量、藍(lán)色分量、綠色分量;TR0、TG0、TB0為紅色分量、藍(lán)色分量、綠色分量不同的閾值;dr,dg,db為對每一像素的紅色分量、藍(lán)色分量、綠色分量是否相近進(jìn)行判斷后的相近評價值;T1為像素大致相同的閾值;H、W為圖像塊的高和寬。
另外,還可以采用以下相似性算法公式來判斷像素相似性。
ΣΣGn(i,j)Gn+1(i,j)/(SQRT(ΣΣGn(i,j)2)×SQRT(ΣΣGn+1(i,j)2))>T2
式中Gn(i,j)為某個圖像塊的像素(i,j)的灰度值,Gn+1(i,j)為位置大小分組步驟25中分出的位置大小大致相同的組中的下一個圖像塊的像素(i,j)的灰度值。T1、T2為閾值。T1的范圍在0~1之間,T2的范圍在-1~1之間。
經(jīng)過位置大小分組步驟25和像素分組步驟26,圖像塊被分為位置、大小和像素大致相同的各個組。由此,具有重復(fù)性的圖像塊被合并。
接著在圖像塊組選擇步驟30中,計算各圖像塊組中的圖像塊的個數(shù),選擇出圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組。這個閾值用戶是可以修改的,默認(rèn)值例如為5。這是因為圖像塊的個數(shù)低于閾值的圖像塊組基本上不可能存在誤檢測的可能性,不是我們需要進(jìn)行處理的對象。
接著在光流計算步驟27中,對圖像塊組選擇步驟30中得到的多個圖像塊組中的每個圖像塊進(jìn)行光流計算,從中搜索得到?jīng)]有光流變化的多個圖像塊。搜索沒有光流的圖像塊,也就是說搜索沒有動作的各項。光流的計算采用如下方程式進(jìn)行運算。
式中I為亮度,Vx為x軸上的速度,Vy為y軸上的速度。利用光的變化,計算出待識別物體的速度。
接著,在背景計算步驟28中,將沒有光流變化的各個圖像塊與該圖像塊所對應(yīng)的局部背景作比較,搜索得到與背景大致相同的圖像塊作為誤識別圖像塊。在這里大致相同為上面的像素相似性公式來進(jìn)行計算判斷,當(dāng)像素的相似性在某閾值范圍內(nèi)時就認(rèn)為大致相同。在背景運算是可以采取差分法進(jìn)行背景的運算,也可以采用混合高斯模型來進(jìn)行背景的運算。例如對于檢測目標(biāo)為汽車的誤識別檢測系統(tǒng),進(jìn)行背景計算的幀圖像選擇最長時間,這樣是為了剔除把停滯車輛也作為誤檢測的情況。同樣也可以在明顯特征過濾步驟23中通過局部特征的模式識別、顏色紋理模式識別等的方式,剔除把停滯車輛也作為誤檢測的情況。
經(jīng)過以上運算,得到了誤識別圖像塊。
接著在反例學(xué)習(xí)步驟29中,將所得到的誤識別圖像塊的特征作為圖像識別的反例進(jìn)行反例學(xué)習(xí),在之后進(jìn)行的識別中剔除誤識別圖像塊,得到包含目標(biāo)物體的圖像塊作為識別結(jié)果。學(xué)習(xí)的方法可以采用SVM、深度學(xué)習(xí)的方式,學(xué)習(xí)出作為反例的誤識別模型。在學(xué)習(xí)中將采用誤識別的輪廓、紋理、顏色等作為特征進(jìn)行模型學(xué)習(xí)。然后用學(xué)習(xí)出的模型,作為反例進(jìn)行模式識別,防止出現(xiàn)再次誤識別。
<實施方式2>
接著對本發(fā)明的實施方式2進(jìn)行詳細(xì)說明。對實施方式2與實施方式1相同的部件標(biāo)注相同標(biāo)號并省略說明。
圖3是本發(fā)明的實施方式2的功能框圖。如圖3所示,本實施方式2與實施方式1相比,不同點在于,用光流計算單元17’替代光流計算單元17,用背景計算單元18’替代背景計算單元18。
其中,光流計算單元17’從圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊組。
背景計算單元18’從沒有光流變化的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表與該圖像塊所對應(yīng)的局部背景作比較,提取出與背景大致相同的圖像塊作為誤識別圖像塊。
實施方式2的流程步驟如圖4所示。
如圖4所示,本實施方式2的流程與實施方式1大致相同,不同點在于,用光流計算步驟27’替代光流計算步驟27,用背景計算步驟28’替代背景計算步驟28。
其中,光流計算步驟27’中,從圖像塊的個數(shù)多于規(guī)定閾值的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表進(jìn)行光流計算,提取出沒有光流變化的多個圖像塊組。
背景計算步驟28’中,從沒有光流變化的多個圖像塊組的每個圖像塊組中任選一個圖像塊作為該圖像塊組的代表與該圖像塊所對應(yīng)的局部背景作比較,提取出與背景大致相同的圖像塊作為誤識別圖像塊。
在本實施方式2中,光流計算步驟和背景計算步驟中不對圖像塊組中的所有圖像塊進(jìn)行計算,而是選取一個作為代表來進(jìn)行計算。這是因為,經(jīng)過圖像塊分組步驟24得到的圖像塊組中的每個圖像塊,其位置、大小和像素特征是大致相同的,所以可以任取一個作為代表來進(jìn)行計算,由此能夠大幅減少計算量。
但是需要注意的是,如果只選一個進(jìn)行計算,在某些情況下、例如圖像塊分組步驟24中的閾值設(shè)置過寬的情況下有可能發(fā)生漏檢。即如果圖像塊分組步驟24中的閾值設(shè)置過寬,則圖像塊分組步驟24中得到的圖像塊組中的各個圖像塊有可能并不滿足實際要求的大致相同的標(biāo)準(zhǔn)。在這種情況下,也可以選擇多個圖像塊作為代表,在最極端 的情況下選擇所有圖像塊進(jìn)行計算,則實際上與實施方式1相同。
<實施方式3>
接著對本發(fā)明的實施方式3進(jìn)行詳細(xì)說明。對實施方式3與實施方式1相同的部件標(biāo)注相同標(biāo)號并省略說明。
圖5是本發(fā)明的實施方式3的功能框圖。如圖5所示,本實施方式3與實施方式1相比,追加了用戶確認(rèn)單元50,將由背景計算單元18得到的誤識別圖像塊顯示在圖形用戶界面(GUI)上由用戶進(jìn)行確認(rèn),得到用戶確認(rèn)后的誤識別圖像塊。
實施方式3的流程步驟如圖6所示。
如圖6所示,本實施方式3的流程與實施方式1大致相同,不同點在于,在背景計算步驟28與反例學(xué)習(xí)步驟29之間追加了用戶確認(rèn)步驟60,將背景計算步驟28中得到的誤識別圖像塊顯示在圖形用戶界面(GUI)上由用戶進(jìn)行確認(rèn),得到用戶確認(rèn)后的誤識別圖像塊。眾所周知,人眼在圖像識別上有著先天的優(yōu)勢,經(jīng)過人工確認(rèn)的誤識別圖像塊能夠取得更好的準(zhǔn)確性。本實施方式3是在實施方式1的基礎(chǔ)上追加了用戶確認(rèn)步驟,當(dāng)然也可以在實施方式2的基礎(chǔ)上追加用戶確認(rèn)步驟,能夠獲得與本實施方式3相同的技術(shù)效果。
以上所述僅是本發(fā)明的優(yōu)選的實施方式,應(yīng)當(dāng)指出,對于本領(lǐng)域的技術(shù)人員來說,在不脫離本發(fā)明原理和基礎(chǔ)的前提下,還可以做出若干改進(jìn)、潤飾、更換步驟組合等,這些改進(jìn)、潤飾、更換步驟組合等也應(yīng)該是本發(fā)明的保護(hù)范圍。
本領(lǐng)域技術(shù)人員應(yīng)明白,本發(fā)明能夠提供為方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品。本發(fā)明能夠完全由硬件實現(xiàn)、完全由軟件實現(xiàn)、或結(jié)合軟件和硬件來實現(xiàn)。而且,本發(fā)明能夠采用在一個或多個包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn)品的形式。
本發(fā)明是根據(jù)本發(fā)明具體實施方式的方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解能夠由計算機(jī)程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。能夠?qū)⑦@些計算機(jī)程序指令提供給通用計算機(jī)、專用計算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理 器以實現(xiàn)一個通過計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機(jī)程序指令也能夠存儲在能引導(dǎo)計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機(jī)可讀存儲器中,使得存儲在該計算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機(jī)程序指令也能夠裝載到計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機(jī)實現(xiàn)的處理,從而在計算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
工業(yè)上的可利用性
本發(fā)明的圖像識別方法和圖像識別裝置,將取得的待識別圖像劃分為多個圖像塊并進(jìn)行預(yù)識別后,基于位置、大小和像素特征對誤識別可能性大的多個圖像塊進(jìn)行分組并進(jìn)一步進(jìn)行光流計算和背景計算,由此得到誤識別圖像塊用于反例學(xué)習(xí),從而消除或減少同類型的誤檢測,在圖像識別領(lǐng)域是極為有用的。