本申請涉及圖像處理領(lǐng)域,尤其涉及一種條紋集合查找方法、裝置以及系統(tǒng)。
背景技術(shù):
隨著人機交互應(yīng)用技術(shù)得發(fā)展,利用手勢擺動等運動物體取代直接接觸計算機裝置,來進行指令的輸入,已成為一種發(fā)展趨勢。進而為跟蹤人體手勢或者其他物體運動狀態(tài)成為目前需要解決的技術(shù)問題?,F(xiàn)有技術(shù)提供了一種運動跟蹤系統(tǒng),能夠通過圖像處理的方法對運動物體的光點進行圖像采集,以實現(xiàn)對運動物體的跟蹤。但是,在實際的應(yīng)用場景中,通常還會受環(huán)境中的日光燈,白熾燈等光源的影響,導(dǎo)致采集到的原始圖像中不僅包括光點,還包括日光燈和白熾燈等所形成的圖形,不利于對光點進行識別。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例申請的目的在于提供一種能夠排除日光燈和白熾燈等干擾的條紋集合查找方法。
本發(fā)明實施例第一方面提供了一種條紋集合查找方法,包括:接收卷簾式圖像傳感器采集得到的原始圖像,其中,所述原始圖像包括閃爍光源所形成的條紋圖形;根據(jù)二值化閾值,對所述原始圖像進行二值化以得到二值化圖像,其中,所述二值化圖像具有兩個像素點值,設(shè)兩個像素點值中的其中一個為預(yù)設(shè)的第一值;根據(jù)所述二值化圖像中像素值為第一值的像素點,查找第一值像素點的連通域以獲得多個第一連通域;從所述多個第一連通域中選擇出所述條紋圖形對應(yīng)的目標連通域;根據(jù)所述目標連通域確定條紋集合,其中,所述條紋集合為所述條紋圖形對應(yīng)的目標連通域所構(gòu)成的集合。
結(jié)合第一方面,第一方面的第一種可能的實施方式中,從所述多個第一連通域中選擇出所述條紋圖形對應(yīng)的目標連通域包括:確定所述多個第一連通域中每個第一連通域的寬度差,將所述每個第一連通域的寬度差和預(yù)設(shè)的寬度差進行比較,根據(jù)比較結(jié)果確定其中符合條件的第一連通域為目標連通域。
結(jié)合第一方面的第一種可能的實施方式,第一方面的第二種可能的實施方式中,將所述每個第一連通域的寬度差和預(yù)設(shè)的寬度差進行比較,確定其中符合條件的第一連通域為目標連通域,具體包括:根據(jù)卷簾式圖像傳感器成像平面,以預(yù)設(shè)條紋圖像的條紋長度方向為x軸,并令y軸垂直于所述x軸;遍歷所述多個第一連通域的所有像素點以獲得所述多個第一連通域?qū)?yīng)所有像素點的最大列坐標y1和最小列坐標y2,確定所述多個第一連通域中每個第一連通域的寬度差為:每個第一連通域中的像素點最大列坐標y1減去像素點最小列坐標y2;判斷所述多個第一連通域中每個第一連通域的寬度差是否≧kh1且≦kh2,其中,kh1為預(yù)設(shè)的第一邊界條件參數(shù),kh2為預(yù)設(shè)的第二邊界條件參數(shù);確定符合寬度差≧kh1且≦kh2的第一連通域為目標連通域。
結(jié)合第一方面的第二種可能的實施方式,第一方面的第三種可能的實施方式中,還包括以下步驟:從所述多個第一連通域中刪除寬度差﹤kh1或者﹥kh2的第一連通域。
結(jié)合第一方面至第一方面的第三種可能的實施方式中的任意一種,第一方面的第四種可能的實施方式中,接收卷簾式圖像傳感器采集得到的原始圖像之后,從所述多個第一連通域中選擇出目標連通域之前包括:對所述原始圖像進行處理以得到條紋圖形模板,并根據(jù)所述條紋圖形模板識別出目標連通域,其中,所述條紋圖形模板的形狀為所述原始圖像中的條紋圖形融合而成的斑狀。
結(jié)合第一方面的第四種可能的實施方式,第一方面的第五種可能的實施方式中,對所述原始圖像進行處理以得到條紋圖形模板具體為:根據(jù)所述濾波的參數(shù)對所述原始圖像進行濾波以得到模糊圖像,其中,所述濾波的參數(shù)設(shè)置為使得所述原始圖像中的各個圖形融合成各自對應(yīng)的斑塊;對所述模糊圖像進行二值化以得到二值化模糊圖像;對所述二值化模糊圖像查找連通域以獲得多個第二連通域;識別所述多個第二連通域的形狀,并根據(jù)與預(yù)設(shè)的所述閃爍光源所形成的條紋圖形形狀最接近的第二連通域作為條紋圖形模板。
結(jié)合第一方面的第四種可能的實施方式,第一方面的第六種可能的實施方式中,根據(jù)所述條紋圖形模板識別出目標連通域具體為:判斷所述第一連通域的像素點的坐標是否都包括在所述條紋圖形模板的像素點的坐標構(gòu)成的集合中;如果是,確定所述第一連通域為目標連通域。
結(jié)合第一方面至第一方面的第六種可能的實施方式中的任意一種,第一方面的第七種可能的實施方式中,所述原始圖像包括對多個閃爍光源感光拍攝所形成的多個條紋圖形,根據(jù)所述目標連通域確定條紋集合具體為:對所述目標連通域進行分類以獲得多個條紋集合。
結(jié)合第一方面的第七種可能的實施方式,第一方面的第八種可能的實施方式中,對所述目標連通域進行分類以獲得多個條紋集合包括:根據(jù)所述目標連通域構(gòu)成條紋集合的條件,確定初始條紋集合,篩選未歸入任何初始條紋集合的所述目標連通域;從未歸入任何初始條紋集合的所述目標連通域中,選取第j個目標連通域,其中j為正整數(shù);以所述第j個目標連通域的質(zhì)心為圓心,以所述第j個目標連通域的長度為直徑作圓;判斷所述初始條紋集合中的任意一個目標連通域區(qū)域是否與所述圓相交;如果相交,則將所述第j個目標連通域歸入對應(yīng)的所述初始條紋集合,從而得到條紋集合。
結(jié)合第一方面的第八種可能的實施方式,第一方面的第九種可能的實施方式中,對所述目標連通域進行分類以獲得多個條紋集合之后還包括:判斷所述條紋集合是否同時滿足以下條件:所述條紋集合中的目標連通域的數(shù)量是否大于數(shù)量閾值;所述條紋集合中最長的目標連通域的長度是否大于長度閾值;如果不是同時滿足所述條件,則刪除所述條紋集合。
本發(fā)明實施例第二方面提供了一種條紋集合查找裝置,所述裝置包括能夠?qū)崿F(xiàn)如上述任一項所述的方法的單元。
本發(fā)明實施例第三方面提供了一種終端,包括卷簾式圖像傳感器、存儲器以及分別與所述卷簾式圖像傳感器、存儲器耦合的處理器,所述存儲器用于存儲所述卷簾式圖像傳感器采集到的圖像以及指令,所述處理器用于執(zhí)行所述指令,當所述處理器在執(zhí)行所述指令時,可根據(jù)所述指令執(zhí)行如上述任一項的方法,以實現(xiàn)對所述卷簾式圖像傳感器采集到的圖像進行處理以查找到條紋集合。
本發(fā)明實施例第四方面提供了一種運動物體跟蹤系統(tǒng),包括終端、設(shè)置有閃爍光源的控制器,其中,所述終端設(shè)置有卷簾式圖像傳感器,所述設(shè)置有閃爍光源的控制器被安裝在運動物體上,所述終端為上述所述的終端。
本發(fā)明實施例第五方面提供了一種圖像處理裝置,包括:處理器以及存儲器,其中,所述處理器連接所述存儲器,所述存儲器用于存儲指令,所述處理器用于執(zhí)行所述指令,當所述處理器在執(zhí)行所述指令時,可根據(jù)所述指令執(zhí)行如上述任一項的方法,以實現(xiàn)對所述卷簾式圖像傳感器采集到的圖像進行處理以查找到條紋集合。
本發(fā)明實施例第六方面提供了一種圖像處理系統(tǒng),包括卷簾式圖像傳感器以及圖像處理裝置,所述圖像處理裝置耦合所述卷簾式圖像傳感器,其中,所述圖像處理裝置為如上述的圖像處理裝置。
本發(fā)明實施例第七方面提供了一種運動物體跟蹤系統(tǒng),包括卷簾式圖像傳感器、設(shè)置有閃爍光源的控制器以及圖像處理裝置,所述圖像處理裝置分別耦合所述卷簾式圖像傳感器以及所述控制器,其中,所述控制器被安裝在運動物體上,所述圖像處理裝置為如上述所述的圖像處理裝置。
本發(fā)明實施例第八方面提供了一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)存儲了查找條紋集合的程序代碼,所述程序代碼包括用于執(zhí)行如上述所述的方法的指令。
本發(fā)明中,可以通過對包含閃爍光源所形成的條紋圖形的原始圖像進行二值化,然后對二值化后的二值化圖像進行查找連通域,以獲得多個第一連通域,并從多個第一連通域中選擇出條紋圖形對應(yīng)的第一連通域以作為目標連通域,可以有效排除日光燈和白熾燈等干擾。
附圖說明
圖1是本發(fā)明實施例提供的一種運動跟蹤系統(tǒng)的結(jié)構(gòu)示意圖;
圖2是本發(fā)明實施例提供的一種運動跟蹤系統(tǒng)中卷簾式圖像傳感器采集到的閃爍光源的條紋圖形的示意圖;
圖3是本發(fā)明實施例提供的一種運動跟蹤系統(tǒng)中卷簾式圖像傳感器在實際工作環(huán)境中采集到原始圖像;
圖4是本發(fā)明實施例提供的一種條紋集合查找方法的流程圖;
圖5是本發(fā)明實施例提供的一種條紋集合查找方法中執(zhí)行步驟420后得到的圖像;
圖6是本發(fā)明實施例提供的一種條紋集合查找方法中執(zhí)行步驟440后得到的圖像;
圖7是本發(fā)明實施例提供的一種條紋集合查找方法中執(zhí)行步驟450后得到的圖像;
圖8是本發(fā)明實施例提供的一種終端的結(jié)構(gòu)示意圖。
具體實施方式
如圖1以及圖2所示,本發(fā)明實施例公開了一種運動跟蹤系統(tǒng),包括卷簾式圖像傳感器110、設(shè)置有閃爍光源121的控制器120以及圖像處理裝置130。
卷簾式圖像傳感器110為帶有卷簾快門(rollingshutter)功能的圖像傳感器,例如,設(shè)置有電子卷簾快門(electronicrollingshutter)的cmos(complementarymetaloxidesemiconductor,互補金屬氧化物半導(dǎo)體)傳感器以及設(shè)置有卷簾快門(rollingshutter)的ccd(charge-coupleddevice,電荷耦合元件)傳感器等等。卷簾式圖像傳感器可以設(shè)置在圖像處理裝置上,也可以設(shè)置在獨立的第三方設(shè)備上。卷簾式圖像傳感器為帶有卷簾快門(rollingshutter)功能的圖像傳感器以行掃描或者列掃描的方式進行掃描。
控制器120可以是帶有閃爍光源的游戲手柄、指示棒、體感鼠標等等。控制器的數(shù)量可以是一個,也可以是多個。每個控制器上的閃爍光源的數(shù)量可以是一個,也可以是多個。閃爍光源為具備有較穩(wěn)定閃爍頻率或者變化閃爍頻率的光源,例如,led燈等等,通過控制輸入到led等的電源的占空比,可以控制led燈按照固定的頻率或者非固定的頻率進行閃爍。其中,閃爍光源的閃爍頻率大于卷簾式圖像傳感器的掃描頻率。
圖像處理裝置130可以是嵌入式處理器、數(shù)字圖像處理器、智能手機、計算機、平板電腦、筆記本等具有良好計算能力的實體。圖像處理裝置上可以設(shè)置有卷簾式圖像傳感器,也可以不設(shè)置卷簾式圖像傳感器。
這里的卷簾式圖像傳感器110為帶有卷簾式快門功能的圖像傳感器,用于對控制器120上的閃爍光源進行曝光成像以得到原始圖像。閃爍光源為具備有較穩(wěn)定閃爍頻率或者變化閃爍頻率的光源,能夠影響卷簾式圖像傳感器110在原始圖像的水平方向上形成明暗間隔的圖形。具體地,當閃爍光源為“亮”時,卷簾式圖像傳感器110對閃爍光源進行掃描,則原始圖像中會對應(yīng)出現(xiàn)一個亮條紋;當閃爍光源為“滅”時,卷簾式圖像傳感器110對閃爍光源進行掃描,則原始圖像中會對應(yīng)出現(xiàn)一個暗條紋。由于閃爍光源的閃爍頻率大于卷簾式圖像傳感器110的掃描頻率,所以,卷簾式圖像傳感器110在完成對閃爍光源的掃描后,原始圖像中會對應(yīng)出現(xiàn)一個多個明暗間隔條紋所組成的圖形。
以圖3為例,由于實際成像環(huán)境的影響,曝光成像后,除了對閃爍光源331以及332拍攝所形成的圖形外,原始圖像中還會不可避免地存在環(huán)境中的日光燈310所形成的光斑狀的圖形和白熾燈320所形成的光斑狀的圖形。所以,在卷簾式圖像傳感器110采集到原始圖像后,需要將原始圖像發(fā)送給圖像處理裝置,并由圖像處理裝置對原始圖像進行圖像處理,以排除日光燈310所形成的光斑狀的圖形和白熾燈320所形成的光斑狀的圖形的影響,從原始圖像中識別出閃爍光源331和332所形成的條紋圖形。
其中,在一般情況下,原始圖像中的條紋圖形是由閃爍光源331和332所曝光形成的明暗間隔的圖形中的多個亮條紋或者多個暗條紋組成的。為了便于陳述,下面均以亮條紋為例。原始圖像中的條紋圖形的輪廓的形狀與閃爍光源331和332的形狀相關(guān),例如,如果閃爍光源331和332的形狀是圓形的,則條紋圖形是由長短不一的亮條紋所構(gòu)成,而且條紋圖形的輪廓是圓形,如果閃爍光源331和332的形狀是長方形狀的,則條紋圖形是由長度相同的亮條紋所構(gòu)成的,而且,條紋圖形的輪廓是長方形。條紋圖形中的亮條紋的寬度與閃爍光源331和332的閃爍周期相關(guān),閃爍光源331和332的閃爍周期越長,亮條紋的寬度越寬。在極限狀況下,如果閃爍光源331和332的閃爍周期為無窮大,則閃爍光源331和332在原始圖像上將會形成一個沒有條紋的全亮光斑。原始圖像中的條紋圖形的數(shù)量和卷簾式圖像傳感器采集范圍內(nèi)的閃爍光源331和332的個數(shù)一一對應(yīng),例如,卷簾式圖像傳感器110采集范圍內(nèi)的閃爍光源的個數(shù)為2個,則原始圖像中條紋圖形的數(shù)量也為2個。
下面進一步具體說明對所述圖像處理裝置對原始圖像進行處理以識別出閃爍光源所形成的條紋圖形的過程。如圖4所示,
410:圖像處理裝置接收卷簾式圖像傳感器采集得到的原始圖像。
420:圖像處理裝置根據(jù)二值化閾值,對原始圖像進行二值化以得到二值化圖像。
430:圖像處理裝置根據(jù)二值化圖像中像素值為第一值的像素點,查找第一值像素點的連通域以獲得多個第一連通域。
440:圖像處理裝置從所述多個第一連通域中選擇出所述條紋圖形對應(yīng)的目標連通域。
450:圖像處理裝置根據(jù)目標連通域確定條紋集合,其中,條紋集合為條紋圖形對應(yīng)的目標連通域所構(gòu)成的集合。
在一具體的實施例中,接收卷簾式圖像傳感器采集得到的原始圖像具體為:由于卷簾式圖像傳感器可以是集成在圖像處理裝置中的,也可以是設(shè)置在獨立的第三方設(shè)備中的,所以,原始圖像可以是圖像處理裝置直接通過卷簾式圖像傳感器對閃爍光源進行曝光成像得到的,也可以為圖像處理裝置間接接收到第三方設(shè)備轉(zhuǎn)發(fā)的對閃爍光源進行曝光成像的圖像得到的。
在一具體的實施例中,終端接收到卷簾式圖像傳感器采集得到的原始圖像后,對圖像進行二值化以得到二值化圖像。具體地,對于原始圖像,可以根據(jù)下面的公式進行二值化:
其中,i為原始圖像中的像素點的序號,為原始圖像中的像素點i的像素值,x為預(yù)設(shè)的二值化閾值,為預(yù)設(shè)的第一值,為預(yù)設(shè)的第二值。由于閃爍光源的像素值和白熾燈、日光燈的像素值相近,而閃爍光源的像素值遠不同于背景的像素值。所以,可以預(yù)先設(shè)置二值化閾值x使得閃爍光源所形成的條紋圖形和白熾燈、日光燈等所形成的光斑狀圖形對應(yīng)的像素點的像素值大于二值化閾值x,背景的像素點的像素值小于或等于二值化閾值x。通常而言,當?shù)谝恢殿A(yù)設(shè)為“1”時,第二值預(yù)設(shè)為“0”;當?shù)谝恢殿A(yù)設(shè)為“0”時,第二值預(yù)設(shè)為“1”。如圖5所示的,經(jīng)過二值化后得到的二值化圖像中,閃爍光源所形成的條紋圖形和白熾燈、日光燈等所形成的光斑狀圖形對應(yīng)的像素點的像素值被設(shè)置為“1”,背景對應(yīng)的像素點的像素值被設(shè)置為“0”。
在一具體的實施方式中,設(shè)置二值化閾值的方式可以包括:全局預(yù)設(shè)閾值法、自適應(yīng)閾值法以及局部閾值法等等。
在本發(fā)明實施方式中,所述全局預(yù)設(shè)閾值法可以通過如下方式實現(xiàn):預(yù)設(shè)一個全局閾值,對所有幀的原始圖像均采用同一個全局閾值作為二值化閾值。對于具體的一幀原始圖像,原始圖像中的所有像素點均和該二值化閾值進行比較,從而得到二值化圖像。其中,全局閾值可以根據(jù)經(jīng)驗人工設(shè)置。
在本發(fā)明實施方式中,所述自適應(yīng)閾值法可以通過如下方式實現(xiàn):根據(jù)以往的幾幀原始圖像的信息確定當前幀原始圖像的二值化閾值。對于當前幀原始圖像,原始圖像中的所有像素點均和當前幀原始圖像的二值化閾值進行比較,從而得到二值化圖像。
在本發(fā)明實施方式中,所述局部閾值法可以通過如下方式實現(xiàn):以從上往下以及從左往右的順序依次掃描圖像,對每個像素i,判斷像素i的像素值是否小于預(yù)設(shè)閾值。如果小于預(yù)設(shè)閾值,則暫時不作處理。如果大于或者等于預(yù)設(shè)閾值,在當前像素點i的n×n鄰域內(nèi)計算像素值的平均值或者高斯平均值,并將計算得到的平均值或者高斯平均值作為當前像素點i的二值化閾值,其中,n為大于0的正整數(shù)。將像素點i的像素值和像素點i的二值化閾值進行比較,如果大于像素點i的二值化閾值,則設(shè)置為第一值,最后,將小于預(yù)設(shè)閾值的像素點設(shè)置為第二值,從而得到二值化圖像。
在一具體的實施例中,在得到二值化圖像后,對二值化圖像中像素值為第一值的像素點查找連通域以獲得多個第一連通域。具體地,在二值化圖像中,如果像素點a與像素點b為4鄰接或者8鄰接,則像素點a與像素點b連通。其中,像素點i(x,y)與像素點i(x-1,y)、像素點i(x+1,y)、像素點i(x,y-1)、像素點i(x,y+1)4鄰接;像素點i(x,y)與像素點i(x-1,y-1)、像素點i(x-1,y)、像素點i(x-1,y+1)、像素點i(x,y-1)、像素點i(x,y+1)、像素點i(x+1,y-1)、像素點i(x+1,y)、像素點i(x+1,y+1)8鄰接。如果像素點a與像素點b連通,像素點b與像素點c連通,則像素點a、b和c均屬于同一個連通域。通過two-pass法或者seed-filling種子填充法等算法查找連通域后,可以得到多個第一連通域。以圖5為例,這些第一連通域中,包括:閃爍光源331和332所形成的條紋圖形所對應(yīng)的第一連通域,其中,條紋圖形中的每個條紋對應(yīng)得到一個第一連通域;白熾燈320所形成的光斑狀圖形對應(yīng)的第一連通域,其中,一個白熾燈320所形成的光斑狀圖形對應(yīng)得到一個第一連通域;日光燈310所形成的光斑狀圖形對應(yīng)的第一連通,其中,一個日光燈310所形成的光斑狀圖形對應(yīng)得到一個第一連通域。
在一具體的實施例中,在得到多個第一連通域后,從多個第一連通域中選擇出閃爍光源形成的條紋圖形對應(yīng)的第一連通域以作為目標連通域。具體地,可以通過以下的兩種方式獲得目標連通域:
在第一種方式中,確定多個第一連通域中每個第一連通域的寬度差,將每個第一連通域的寬度差和預(yù)設(shè)的寬度差進行比較,根據(jù)比較結(jié)果確定其中符合條件的第一連通域為目標連通域。具體地,由于條紋圖形中的條紋對應(yīng)的第一連通域的寬度差遠小于日光燈和白熾燈對應(yīng)的第一連通域的寬度差,而且,條紋圖形中的條紋對應(yīng)的第一連通域的寬度差不可能太小,所以,可以通過下面的方法判斷第一連通域是否為目標連通域。首先,根據(jù)卷簾式圖像傳感器成像平面,以預(yù)設(shè)條紋圖像的條紋長度方向為x軸,并令y軸垂直于所述x軸。遍歷多個第一連通域的所有像素點以獲得多個第一連通域?qū)?yīng)所有像素點的最大列坐標y1和最小列坐標y2,確定多個第一連通域中每個第一連通域的寬度差為:每個第一連通域中的像素點最大列坐標y1減去像素點最小列坐標y2;判斷多個第一連通域中每個第一連通域的寬度差是否≧kh1且≦kh2,其中,kh1為預(yù)設(shè)的第一邊界條件參數(shù),kh2為預(yù)設(shè)的第二邊界條件參數(shù)。確定符合寬度差≧kh1且≦kh2的第一連通域為目標連通域,不符合寬度差≧kh1且≦kh2的第一連通域不是目標連通域。將不是目標連通域的第一連通域刪去。以圖6為例,將不是目標連通域的第一連通域刪去后,如圖示的結(jié)果。
在一具體的實施方式中,第一邊界條件參數(shù)kh1以及第二邊界條件參數(shù)kh2可以根據(jù)如下方式確定:如果閃爍光源的閃爍周期為t,閃爍光源的調(diào)制信號的占空比為φ,卷簾式圖像傳感器行或列曝光時間為t,則第一邊界條件參數(shù)kh1=(φ*t)/(2t),第二邊界條件參數(shù)kh2=k*(φ*t)/(2t),其中k為調(diào)優(yōu)參數(shù)。
在第二種方式中,對原始圖像進行處理以得到條紋圖形模板,并根據(jù)條紋圖形模板識別出目標連通域,其中,條紋圖形模板的形狀為原始圖像中的條紋圖形融合而成的斑狀。具體地,根據(jù)濾波的參數(shù)對原始圖像進行濾波以得到模糊圖像,其中,濾波的參數(shù)設(shè)置為使得原始圖像中的各個圖形融合成各自對應(yīng)的斑塊。然后,對模糊圖像進行二值化以得到二值化模糊圖像。之后,對二值化模糊圖像查找連通域以獲得多個第二連通域。識別多個第二連通域的形狀,并根據(jù)與預(yù)設(shè)的閃爍光源所形成的條紋圖形形狀最接近的第二連通域作為條紋圖形模板。如此處理后所得到的第二連通域包括:條紋圖形所構(gòu)成的斑狀圖形對應(yīng)的第二連通域,其中,一個條紋圖形對應(yīng)得到一個第二連通域;白熾燈所形成的光斑狀圖形對應(yīng)的第二連通域,其中,一個白熾燈所形成的光斑狀圖形對應(yīng)得到一個第二連通域;日光燈所形成的光斑狀圖形對應(yīng)的第二連通,其中,一個日光燈所形成的光斑狀圖形對應(yīng)得到一個第二連通域。而且,由于條紋圖形所構(gòu)成的斑狀圖形對應(yīng)的第二連通域、白熾燈所形成的光斑狀圖形對應(yīng)的第二連通域和日光燈所形成的光斑狀圖形對應(yīng)的第二連通域的形狀各不相同,所以,可以識別多個第二連通域的形狀,并選擇與預(yù)設(shè)的閃爍光源所形成的條紋圖形形狀最接近的第二連通域作為條紋圖形模板。此后,找出條紋圖形模板中的像素點的坐標的集合。如果判斷第一連通域的所有像素點的坐標都落入條紋圖形模板的像素點的坐標構(gòu)成的集合內(nèi),則可以確定第一連通域為目標連通域,反之,則可以確定第一連通域不是目標連通域。對每一個第一連通域都進行上述的判斷,就可以將條紋圖形對應(yīng)的所有目標連通域都查找出來。
在一具體的實施例中,如果原始圖像包括多個閃爍光源所形成的多個條紋圖形,則還需要對查找到的目標連通域進行分類以獲得多個條紋集合。具體地,根據(jù)目標連通域構(gòu)成條紋集合的條件,確定初始條紋集合,篩選未歸入任何初始條紋集合的目標連通域。其中,目標連通域構(gòu)成條紋集合的條件可以是隨機選擇一個未歸入任何一個條紋集合的目標連通域,將選擇出來的目標連通域歸入初始條紋集合,從而得到初始條紋集合。然后,從未歸入任何條紋集合的目標連通域中,選取第j個目標連通域,其中j為正整數(shù)。以第j個目標連通域的質(zhì)心為圓心,以第j個目標連通域的長度為直徑作圓;判斷初始條紋集合中的任意一個目標連通域區(qū)域是否與圓相交。如果相交,則將第j個目標連通域歸入對應(yīng)的初始條紋集合。對所有未歸入任何一個條紋集合的目標連通域按上述的方法進行判斷后,則初始條紋集合被對應(yīng)更新為條紋集合。完成查找后,查找的結(jié)果如圖7所示。
在一具體的實施例中,由于目標連通域個數(shù)太少的條紋集合和最長的目標連通域長度太短的條紋集合都是不及格的條紋集合,所以,為了提高查找條紋集合的準確性,還可以在完成查找后進行如下判斷,以將不符合的條紋集合去掉。具體地,判斷條紋集合是否同時滿足以下條件:條紋集合中的目標連通域的數(shù)量是否大于數(shù)量閾值;條紋集合中最長的目標連通域的長度是否大于長度閾值。如果不是同時滿足所述條件,則刪除條紋集合,如果同時滿足所述條件,則保留條紋集合。
參閱圖8,本發(fā)明還提供了一種終端,具體來講:終端500可以包括rf(radiofrequency,射頻)電路510、包括有一個或一個以上計算機可讀存儲介質(zhì)的存儲器520、輸入單元530、顯示單元540、傳感器550、音頻電路5160、wifi(wirelessfidelity,無線保真)模塊570、包括有一個或者一個以上處理核心的處理器580、以及電源590等部件。本領(lǐng)域技術(shù)人員可以理解,圖8中示出的終端結(jié)構(gòu)并不構(gòu)成對終端的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。其中:
rf電路510可用于收發(fā)信息或通話過程中,信號的接收和發(fā)送,特別地,將基站的下行信息接收后,交由一個或者一個以上處理器580處理;另外,將涉及上行的數(shù)據(jù)發(fā)送給基站。通常,rf電路510包括但不限于天線、至少一個放大器、調(diào)諧器、一個或多個振蕩器、用戶身份模塊(sim)卡、收發(fā)信機、耦合器、lna(lownoiseamplifier,低噪聲放大器)、雙工器等。此外,rf電路510還可以通過無線通信與網(wǎng)絡(luò)和其他設(shè)備通信。所述無線通信可以使用任一通信標準或協(xié)議,包括但不限于gsm(globalsystemofmobilecommunication,全球移動通訊系統(tǒng))、gprs(generalpacketradioservice,通用分組無線服務(wù))、cdma(codedivisionmultipleaccess,碼分多址)、wcdma(widebandcodedivisionmultipleaccess,寬帶碼分多址)、lte(longtermevolution,長期演進)、電子郵件、sms(shortmessagingservice,短消息服務(wù))等。
存儲器520可用于存儲軟件程序以及模塊,處理器580通過運行存儲在存儲器520的軟件程序以及模塊,從而執(zhí)行各種功能應(yīng)用以及數(shù)據(jù)處理。存儲器520可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū),其中,存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等;存儲數(shù)據(jù)區(qū)可存儲根據(jù)終端500的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外,存儲器520可以包括高速隨機存取存儲器,還可以包括非易失性存儲器,例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。相應(yīng)地,存儲器520還可以包括存儲器控制器,以提供處理器580和輸入單元530對存儲器520的訪問。
輸入單元530可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與用戶設(shè)置以及功能控制有關(guān)的鍵盤、鼠標、操作桿、光學或者軌跡球信號輸入。具體地,輸入單元530可包括觸敏表面531以及其他輸入設(shè)備532。觸敏表面531,也稱為觸摸顯示屏或者觸控板,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸敏表面531上或在觸敏表面531附近的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動相應(yīng)的連接裝置??蛇x的,觸敏表面531可包括觸摸檢測裝置和觸摸控制器兩個部分。其中,觸摸檢測裝置檢測用戶的觸摸方位,并檢測觸摸操作帶來的信號,將信號傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點坐標,再送給處理器580,并能接收處理器580發(fā)來的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實現(xiàn)觸敏表面531。除了觸敏表面531,輸入單元530還可以包括其他輸入設(shè)備532。具體地,其他輸入設(shè)備532可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標、操作桿等中的一種或多種。
顯示單元540可用于顯示由用戶輸入的信息或提供給用戶的信息以及終端500的各種圖形用戶接口,這些圖形用戶接口可以由圖形、文本、圖標、視頻和其任意組合來構(gòu)成。顯示單元540可包括顯示面板541,可選的,可以采用lcd(liquidcrystaldisplay,液晶顯示器)、oled(organiclight-emittingdiode,有機發(fā)光二極管)等形式來配置顯示面板541。進一步的,觸敏表面531可覆蓋顯示面板541,當觸敏表面531檢測到在其上或附近的觸摸操作后,傳送給處理器580以確定觸摸事件的類型,隨后處理器580根據(jù)觸摸事件的類型在顯示面板541上提供相應(yīng)的視覺輸出。雖然在圖8中,觸敏表面531與顯示面板541是作為兩個獨立的部件來實現(xiàn)輸入和輸入功能,但是在某些實施例中,可以將觸敏表面531與顯示面板541集成而實現(xiàn)輸入和輸出功能。
終端500還可包括至少一種傳感器550,比如光傳感器、運動傳感器以及其他傳感器。具體地,光傳感器可包括環(huán)境光傳感器及接近傳感器,其中,環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來調(diào)節(jié)顯示面板541的亮度,接近傳感器可在終端500移動到耳邊時,關(guān)閉顯示面板541和/或背光。作為運動傳感器的一種,重力加速度傳感器可檢測各個方向上(一般為三軸)加速度的大小,靜止時可檢測出重力的大小及方向,可用于識別手機姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計姿態(tài)校準)、振動識別相關(guān)功能(比如計步器、敲擊)等;至于終端500還可配置的陀螺儀、氣壓計、濕度計、溫度計、紅外線傳感器等其他傳感器,在此不再贅述。
音頻電路560、揚聲器561,傳聲器562可提供用戶與終端500之間的音頻接口。音頻電路560可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號,傳輸?shù)綋P聲器561,由揚聲器561轉(zhuǎn)換為聲音信號輸出;另一方面,傳聲器562將收集的聲音信號轉(zhuǎn)換為電信號,由音頻電路560接收后轉(zhuǎn)換為音頻數(shù)據(jù),再將音頻數(shù)據(jù)輸出處理器580處理后,經(jīng)rf電路510以發(fā)送給比如另一終端,或者將音頻數(shù)據(jù)輸出至存儲器520以便進一步處理。音頻電路560還可能包括耳塞插孔,以提供外設(shè)耳機與終端500的通信。
wifi屬于短距離無線傳輸技術(shù),終端500通過wifi模塊570可以幫助用戶收發(fā)電子郵件、瀏覽網(wǎng)頁和訪問流式媒體等,它為用戶提供了無線的寬帶互聯(lián)網(wǎng)訪問。雖然圖8示出了wifi模塊570,但是可以理解的是,其并不屬于終端500的必須構(gòu)成,完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。
處理器580是終端500的控制中心,利用各種接口和線路連接整個手機的各個部分,通過運行或執(zhí)行存儲在存儲器520內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲在存儲器520內(nèi)的數(shù)據(jù),執(zhí)行終端500的各種功能和處理數(shù)據(jù),從而對手機進行整體監(jiān)控??蛇x的,處理器580可包括一個或多個處理核心;優(yōu)選的,處理器580可集成應(yīng)用處理器和調(diào)制解調(diào)處理器,其中,應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等,調(diào)制解調(diào)處理器主要處理無線通信??梢岳斫獾氖?,上述調(diào)制解調(diào)處理器也可以不集成到處理器580中。
終端500還包括給各個部件供電的電源590(比如電池),優(yōu)選的,電源可以通過電源管理系統(tǒng)與處理器580邏輯相連,從而通過電源管理系統(tǒng)實現(xiàn)管理充電、放電、以及功耗管理等功能。電源590還可以包括一個或一個以上的直流或交流電源、再充電系統(tǒng)、電源故障檢測電路、電源轉(zhuǎn)換器或者逆變器、電源狀態(tài)指示器等任意組件。
盡管未示出,終端500還可以包括攝像頭、藍牙模塊等,在此不再贅述。具體在本實施例中,終端的顯示單元是觸摸屏顯示器,終端還包括有存儲器,以及一個或者一個以上的程序,其中一個或者一個以上程序存儲于存儲器中,且經(jīng)配置以由一個或者一個以上處理器執(zhí)行述一個或者一個以上程序包含用于進行以下操作的指令:
接收卷簾式圖像傳感器采集得到的原始圖像,其中,所述原始圖像包括閃爍光源所形成的條紋圖形;
根據(jù)二值化閾值,對所述原始圖像進行二值化以得到二值化圖像,其中,所述二值化圖像具有兩個像素點值,設(shè)兩個像素點值中的其中一個為預(yù)設(shè)的第一值;
根據(jù)所述二值化圖像中像素值為第一值的像素點,查找第一值像素點的連通域以獲得多個第一連通域;
從所述多個第一連通域中選擇出所述條紋圖形對應(yīng)的目標連通域;根據(jù)所述目標連通域確定條紋集合,其中,所述條紋集合為所述條紋圖形對應(yīng)的目標連通域所構(gòu)成的集合。
可選地,從所述多個第一連通域中選擇出所述條紋圖形對應(yīng)的目標連通域包括:確定所述多個第一連通域中每個第一連通域的寬度差,將所述每個第一連通域的寬度差和預(yù)設(shè)的寬度差進行比較,根據(jù)比較結(jié)果確定其中符合條件的第一連通域為目標連通域。
可選地,將所述每個第一連通域的寬度差和預(yù)設(shè)的寬度差進行比較,確定其中符合條件的第一連通域為目標連通域,具體包括:根據(jù)卷簾式圖像傳感器成像平面,以預(yù)設(shè)條紋圖像的條紋長度方向為x軸,并令y軸垂直于所述x軸;遍歷所述多個第一連通域的所有像素點以獲得所述多個第一連通域?qū)?yīng)所有像素點的最大列坐標y1和最小列坐標y2,確定所述多個第一連通域中每個第一連通域的寬度差為:每個第一連通域中的像素點最大列坐標y1減去像素點最小列坐標y2;判斷所述多個第一連通域中每個第一連通域的寬度差是否≧kh1且≦kh2,其中,kh1為預(yù)設(shè)的第一邊界條件參數(shù),kh2為預(yù)設(shè)的第二邊界條件參數(shù);確定符合寬度差≧kh1且≦kh2的第一連通域為目標連通域。
可選地,還包括以下步驟:從所述多個第一連通域中刪除寬度差﹤kh1或者﹥kh2的第一連通域。
可選地,接收卷簾式圖像傳感器采集得到的原始圖像之后,從所述多個第一連通域中選擇出目標連通域之前包括:對所述原始圖像進行處理以得到條紋圖形模板,并根據(jù)所述條紋圖形模板識別出目標連通域,其中,所述條紋圖形模板的形狀為所述原始圖像中的條紋圖形融合而成的斑狀。
可選地,對所述原始圖像進行處理以得到條紋圖形模板具體為:根據(jù)所述濾波的參數(shù)對所述原始圖像進行濾波以得到模糊圖像,其中,所述濾波的參數(shù)設(shè)置為使得所述原始圖像中的各個圖形融合成各自對應(yīng)的斑塊;對所述模糊圖像進行二值化以得到二值化模糊圖像;對所述二值化模糊圖像查找連通域以獲得多個第二連通域;識別所述多個第二連通域的形狀,并根據(jù)與預(yù)設(shè)的所述閃爍光源所形成的條紋圖形形狀最接近的第二連通域作為條紋圖形模板。
可選地,根據(jù)所述條紋圖形模板識別出目標連通域具體為:判斷所述第一連通域的像素點的坐標是否都包括在所述條紋圖形模板的像素點的坐標構(gòu)成的集合中;如果是,確定所述第一連通域為目標連通域。
可選地,所述原始圖像包括對多個閃爍光源感光拍攝所形成的多個條紋圖形,根據(jù)所述目標連通域確定條紋集合具體為:對所述目標連通域進行分類以獲得多個條紋集合。
可選地,對所述目標連通域進行分類以獲得多個條紋集合包括:根據(jù)所述目標連通域構(gòu)成條紋集合的條件,確定初始條紋集合,篩選未歸入任何初始條紋集合的所述目標連通域;從未歸入任何初始條紋集合的所述目標連通域中,選取第j個目標連通域,其中j為正整數(shù);以所述第j個目標連通域的質(zhì)心為圓心,以所述第j個目標連通域的長度為直徑作圓;判斷所述初始條紋集合中的任意一個目標連通域區(qū)域是否與所述圓相交;如果相交,則將所述第j個目標連通域歸入對應(yīng)的所述初始條紋集合,從而得到條紋集合。
可選地,對所述目標連通域進行分類以獲得多個條紋集合之后還包括:判斷所述條紋集合是否同時滿足以下條件:所述條紋集合中的目標連通域的數(shù)量是否大于數(shù)量閾值;所述條紋集合中最長的目標連通域的長度是否大于長度閾值;如果不是同時滿足所述條件,則刪除所述條紋集合。
為進一步優(yōu)化運動跟蹤系統(tǒng),本發(fā)明實施例還公開了另一種運動跟蹤系統(tǒng),與圖1所示的運動跟蹤系統(tǒng)的不同之處在于,所述卷簾式圖像傳感器和所述圖像處理裝置均集成在終端中。其中,終端可以是智能手機、筆記本電腦、平板電腦、行車記錄儀、錄像機、投影儀等等。
本發(fā)明實施例還公開了一種圖像處理系統(tǒng),與圖1所示的運動跟蹤系統(tǒng)的不同之處在于,所述圖像處理系統(tǒng)只包括卷簾式圖像傳感器以及圖像處理裝置,不包括控制器。
本發(fā)明實施例還提供了一種條紋集合查找裝置,所述裝置包括能夠?qū)崿F(xiàn)如圖4所示的方法的單元,具體請參閱圖4以及相關(guān)描述,此處不再展開描述。
本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機,服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本申請各個實施方式所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:u盤、移動硬盤、只讀存儲器(rom,read-onlymemory)、隨機存取存儲器(ram,randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。