本發(fā)明涉及通信領(lǐng)域,尤其涉及一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋方法和裝置。
背景技術(shù):
目前,出于安保的需要,各種場所一般都設(shè)置有攝像機(jī)對需要監(jiān)控的區(qū)域進(jìn)行拍攝,由于攝像機(jī)有拍攝范圍的限制,監(jiān)控存在死角,因此推出了移動攝像機(jī),其按照一定的預(yù)設(shè)軌道和移動速度,進(jìn)行移動監(jiān)控,避免監(jiān)控死角問題,因此得到了廣泛的應(yīng)用。例如在銀行等場合,需要對用戶取款區(qū)域進(jìn)行監(jiān)控,但是用戶輸入銀行密碼的區(qū)域一般是不方便進(jìn)行監(jiān)控的,即攝像機(jī)的拍攝范圍內(nèi)可能會存在敏感區(qū)域,需要對其進(jìn)行遮擋,而對于移動攝像機(jī),在其移動過程中,由于攝像機(jī)由于無法感知自己的位置,導(dǎo)致敏感區(qū)域無法再被遮擋。
在現(xiàn)有技術(shù)中,為了解決該問題,可以采用wifi或gps等定位技術(shù),在攝像終端以及拍攝區(qū)域中需要遮擋的區(qū)域增加一些交互通信模塊,此類通信模塊通過感知攝像機(jī)和需要遮擋的實地位置的相對位移,從而計算出敏感區(qū)域位置,進(jìn)行遮擋。
但本申請發(fā)明人在實現(xiàn)本申請實施例中發(fā)明技術(shù)方案的過程中,發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問題:對于wifi或gps定位,由于此類定位技術(shù)依賴于交互模塊進(jìn)行位置信息傳輸,一般計算精度都比較低,通常在1~10米左右,而移動攝像機(jī)拍攝區(qū)域中的各物體和攝像機(jī)之間的相對位移是很小的,導(dǎo)致圖像遮擋的誤差偏大。
由此可見,對于現(xiàn)有技術(shù)中采用wifi或gps定位計算敏感區(qū)域與移動攝像機(jī)相對位移的方案,由于現(xiàn)有技術(shù)的計算精度較差,容易受環(huán)境干擾,無法滿足移動攝像機(jī)的高精度要求,導(dǎo)致圖像遮擋誤差偏大。
技術(shù)實現(xiàn)要素:
本申請實施例通過提供一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋方法和裝置,解決了現(xiàn)有技術(shù)中由計算精度較差以及易受環(huán)境干擾所導(dǎo)致的圖像遮擋誤差偏大的問題。
一方面,本申請實施例提供了一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋方法,所述方法包括:
獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo);
根據(jù)所述參考幀拍攝圖像的運動矢量,預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo);
根據(jù)所述預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋。
優(yōu)選的,所述目標(biāo)遮擋區(qū)域為矩形區(qū)域,所述目標(biāo)關(guān)鍵點為所述目標(biāo)遮擋區(qū)域的四個角點,所述目標(biāo)關(guān)鍵點間的連線形成第一輪廓,在所述第一輪廓的輪廓線上均勻選取目標(biāo)參考點;
所述根據(jù)所述參考幀拍攝圖像的運動矢量,預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo),具體包括:
根據(jù)所述參考幀拍攝圖像的運動矢量,在預(yù)設(shè)拍攝間隔后,預(yù)測下一幀拍攝圖像中所述目標(biāo)參考點對應(yīng)的預(yù)測參考點的坐標(biāo);
根據(jù)目標(biāo)參考點的坐標(biāo)及對應(yīng)的預(yù)測參考點的坐標(biāo),獲取所述移動攝像終端的移動矢量值和縮放比例;
根據(jù)所述移動矢量值和所述縮放比例,確定所述下一幀拍攝圖像中所述預(yù)測關(guān)鍵點的坐標(biāo)。
優(yōu)選的,所述方法還包括:
所述預(yù)測參考點間的連線形成第二輪廓;
針對所述第二輪廓中的每個預(yù)測參考點,判斷每個預(yù)測參考點相對于其他預(yù)測參考點的位置關(guān)系與該預(yù)測參考點對應(yīng)的目標(biāo)參考點在所述第一輪廓中相對于其他目標(biāo)參考點的位置關(guān)系是否一致,若不一致,則刪除該預(yù)測參考點;若一致,則保留該預(yù)測參考點。
優(yōu)選的,當(dāng)所述預(yù)測關(guān)鍵點的坐標(biāo)對應(yīng)的區(qū)域超過所述下一幀拍攝圖像的圖像邊界時,所述根據(jù)所述預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋,具體包括:
根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述預(yù)測關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
優(yōu)選的,所述方法還包括:
當(dāng)所述下一幀拍攝圖像中不存在所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域時,獲取初始拍攝圖像中初始遮擋區(qū)域的位置信息,所述位置信息包括初始關(guān)鍵點的特征信息;
在所述下一幀拍攝圖像的邊界搜索關(guān)鍵點,所述關(guān)鍵點的特征信息與所述初始關(guān)鍵點的特征信息匹配;
當(dāng)所述下一幀拍攝圖像的邊界存在所述關(guān)鍵點時,根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
第二方面,基于相同的發(fā)明構(gòu)思,本申請還提供了一種應(yīng)用于移動的攝像終端的拍攝區(qū)域遮擋裝置,所述裝置包括:
獲取模塊,用于獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo);
坐標(biāo)確定模塊,用于根據(jù)所述參考幀拍攝圖像的運動矢量,預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo);
遮擋模塊,用于根據(jù)所述預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋。
優(yōu)選的,所述目標(biāo)遮擋區(qū)域為矩形區(qū)域,所述目標(biāo)關(guān)鍵點為所述目標(biāo)遮擋區(qū)域的四個角點,所述目標(biāo)關(guān)鍵點間的連線形成第一輪廓,在所述第一輪廓的輪廓線上均勻選取目標(biāo)參考點;
所述坐標(biāo)確定模塊,具體包括:
坐標(biāo)預(yù)測子模塊,用于根據(jù)所述參考幀拍攝圖像的運動矢量,在預(yù)設(shè)拍攝間隔后,預(yù)測下一幀拍攝圖像中所述目標(biāo)參考點對應(yīng)的預(yù)測參考點的坐標(biāo);
移動處理模塊,用于根據(jù)目標(biāo)參考點的坐標(biāo)及對應(yīng)的預(yù)測參考點的坐標(biāo),獲取所述移動攝像終端的移動矢量值和縮放比例;
坐標(biāo)確定子模塊,用于根據(jù)所述移動矢量值和所述縮放比例,確定所述下一幀拍攝圖像中所述預(yù)測關(guān)鍵點的坐標(biāo)。
優(yōu)選的,所述裝置還包括:
輪廓確定模塊,用于所述預(yù)測參考點間的連線形成第二輪廓;
參考點刪除模塊,用于針對所述第二輪廓中的每個預(yù)測參考點,判斷每個預(yù)測參考點相對于其他預(yù)測參考點的位置關(guān)系與該預(yù)測參考點對應(yīng)的目標(biāo)參考點在所述第一輪廓中相對于其他目標(biāo)參考點的位置關(guān)系是否一致,若不一致,則刪除該預(yù)測參考點;若一致,則保留該預(yù)測參考點。
優(yōu)選的,當(dāng)所述預(yù)測關(guān)鍵點的坐標(biāo)對應(yīng)的區(qū)域超過所述下一幀拍攝圖像的圖像邊界時,所述遮擋模塊還用于根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述預(yù)測關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
所述裝置還包括:
位置信息確定模塊,用于當(dāng)所述下一幀拍攝圖像中不存在所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域時,獲取初始拍攝圖像中初始遮擋區(qū)域的位置信息,所述位置信息包括初始關(guān)鍵點的特征信息;
搜索模塊,用于在所述下一幀拍攝圖像的邊界搜索關(guān)鍵點,所述關(guān)鍵點的特征信息與所述初始關(guān)鍵點的特征信息匹配;
遮擋模塊,還用于當(dāng)所述下一幀拍攝圖像的邊界存在所述關(guān)鍵點時,根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
由此可見,通過應(yīng)用本申請的技術(shù)方案,通過獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo),預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo),最后根據(jù)預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋,相比與現(xiàn)有技術(shù),本方案不容易受到環(huán)境干擾,能夠?qū)崟r遮擋敏感區(qū)域并預(yù)測每個關(guān)鍵點的坐標(biāo)變化,相匹配地進(jìn)行平移和縮放后的遮擋,提高了用戶的使用體驗。
附圖說明
圖1為本申請實施例中一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋方法的流程圖;
圖2為本申請實施例中建立坐標(biāo)系確定遮擋區(qū)域位置的示意圖;
圖3為本申請實施例中計算圖像縮放比例的示意圖;
圖4為本申請實施例中移動攝像終端拍攝圖像的過程示意圖;
圖5為本申請實施例中一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋裝置的模塊圖。
具體實施方式
本申請實施例通過提供一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋方法和裝置,解決了現(xiàn)有技術(shù)中由于計算精度較差以及易受環(huán)境干擾所導(dǎo)致的圖像遮擋誤差偏大的問題,提高了用戶體驗。
如圖1所示,為本申請所提出的一種應(yīng)用于移動攝像終端的拍攝區(qū)域遮擋方法,所述方法包括:
步驟s101:獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo);
示例的,可以以初始拍攝的圖像幀作為參考幀,也可以以拍攝過程中的任意一幀作為參考幀,例如當(dāng)前圖像幀的前一幀,也可以是前3幀、前5幀等;目標(biāo)遮擋區(qū)域是參考幀拍攝圖像中需要遮擋的區(qū)域,目標(biāo)關(guān)鍵點是目標(biāo)遮擋區(qū)域所對應(yīng)的關(guān)鍵點,基于這些關(guān)鍵點的坐標(biāo)可以確定目標(biāo)遮擋區(qū)域的位置。
基于用戶的需求,如需要遮擋用戶取款時使用的密碼輸入鍵盤區(qū)域,也就是說,需要將密碼輸入鍵盤區(qū)域定義為需要遮擋的敏感區(qū)域,那首先需要在初始拍攝圖像上確定敏感區(qū)域所在范圍(即初始遮擋區(qū)域),初始遮擋區(qū)域?qū)?yīng)的初始關(guān)鍵點可以是初始遮擋區(qū)域的4個角點,也可以是其他可以確定初始遮擋區(qū)域位置的其他點。;
并進(jìn)一步的,以預(yù)設(shè)的坐標(biāo)原點建立坐標(biāo)系,獲取所述每個關(guān)鍵點相對于預(yù)設(shè)坐標(biāo)原點的坐標(biāo)。
如圖2所示,假設(shè)初始拍攝圖像的中心點坐標(biāo)(0,0),初始遮擋區(qū)域的四個邊角a、b、c、d的初始坐標(biāo)分別為(xa,ya)~(xd,yd),通過這四個角點,可以確定一個矩形邊框,其中,中心點可以作為預(yù)設(shè)的坐標(biāo)原點,以所述中心點建立坐標(biāo)系,在初始幀圖像中確定敏感區(qū)域的位置信息。
以矩形框為遮擋區(qū)域為例,在遮擋區(qū)域的四邊,可以每邊選取若干個參考點,例如每條邊上選取5個以上參考點,包含兩段、中間等3個點。這些參考點可以是宏塊,也可以是特征塊。
當(dāng)然,本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,在正常情況下每條邊只要2個點就可以,但圖像處理是存在一定誤識別的概率,所以需要多選點,用以提升準(zhǔn)確率。
步驟s102:根據(jù)所述參考幀拍攝圖像的運動矢量,預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo);
優(yōu)選的,所述目標(biāo)遮擋區(qū)域為矩形區(qū)域,所述目標(biāo)關(guān)鍵點為所述目標(biāo)遮擋區(qū)域的四個角點,所述目標(biāo)關(guān)鍵點間的連線形成第一輪廓,在所述第一輪廓的輪廓線上均勻選取目標(biāo)參考點;
對于步驟s102來說,所述根據(jù)所述參考幀拍攝圖像的運動矢量,預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo),具體包括:
步驟s1021,根據(jù)所述參考幀拍攝圖像的運動矢量,在預(yù)設(shè)拍攝間隔后,預(yù)測下一幀拍攝圖像中所述目標(biāo)參考點對應(yīng)的預(yù)測參考點的坐標(biāo);
步驟s1022,根據(jù)目標(biāo)參考點的坐標(biāo)及對應(yīng)的預(yù)測參考點的坐標(biāo),獲取所述移動攝像終端的移動矢量值和縮放比例;
步驟s1023,根據(jù)所述移動矢量值和所述縮放比例,確定所述下一幀拍攝圖像中所述預(yù)測關(guān)鍵點的坐標(biāo)。
對于已確定的遮擋區(qū)域,如果攝像終端相對遮擋區(qū)域只是簡單的前后移動,那么此時攝像終端拍攝的圖像中會相應(yīng)的縮小和放大,也即圖像出現(xiàn)縮放。此時,遮擋區(qū)域沒有移動矢量值,即在坐標(biāo)系中,水平方向和垂直方向沒有位移,那么只要調(diào)整拍攝圖像中遮擋區(qū)域的大小即可。
同理,如果攝像終端相對遮擋區(qū)域只是簡單的左右移動,這時就必須考慮平移。并且考慮到移動攝像終端運動的復(fù)雜性,除了簡單的前后左右移動,還可能是往左后方、右后方、或左前方、右前方運動,這時圖像就會在縮放的同時,又有平移。如圖3所示,因此為了得到a~d四個點的新坐標(biāo),我們需要通過計算得到縮放比例f、水平運動矢量δx、垂直運動矢量δy這三個參數(shù)。假設(shè)某一條邊上的5個參考點原始坐標(biāo)為(x1,y1)~(x5,y5),新坐標(biāo)為(x1′,y1′)~(x5′,y5′)。
通過每兩個點,得到求取縮放比例f、水平運動矢量δx、垂直運動矢量δy的公式如下:
y1/x1=tanα
y2/x2=tanβ
(y1′-δy)/(x1′-δx)=tanα
(y2′-δy)/(x2′-δx)=tanβ
(y1′-δy)/y1=f
(y2′-δy)/y2=f
在參考圖像幀中,對于每一個目標(biāo)關(guān)鍵點,其本質(zhì)映射到圖像中,是表征一塊區(qū)域內(nèi)的像素,用戶在圖像中指定的關(guān)鍵點,是覆蓋多個像素的一塊區(qū)域,可以稱之為特征塊,每個像素都記錄有一定的圖像信息,因此,在下一幀圖像中,可以根據(jù)初始圖像中每個像素點記錄的圖像信息,在新的拍攝圖像中進(jìn)行圖像識別以及匹配,達(dá)到識別特征塊的作用。比如可以針對某個當(dāng)前宏塊,在一定的搜索范圍內(nèi),根據(jù)一定的匹配算法找出與當(dāng)前塊最相似的匹配塊。匹配塊與當(dāng)前塊的相對位移即為運動矢量。由于參考幀拍攝圖像的運動矢量(即其水平運動矢量和垂直運動矢量的總和)都是已知且可以計算出來,以其中任意兩個點為例,按照如上計算公式可以得到縮放比例f。
為了提高計算的精度,進(jìn)一步的,對于步驟s1022,所述根據(jù)目標(biāo)參考點的坐標(biāo)及對應(yīng)的預(yù)測參考點的坐標(biāo),獲取所述移動攝像終端的移動矢量值和縮放比例,包括:
將每兩個參考點得到的移動矢量值和所述縮放比例分別取平均值;
將平均后的移動矢量值和所述縮放比例作為目標(biāo)矢量值和目標(biāo)縮放比例。
若每兩個點之間的縮放比例f、水平運動矢量δx、垂直運動矢量δy均相近,則所有累加得到的平均值,即為最終值。
因此遮蓋區(qū)域四個邊角a、b、c、d的新坐標(biāo),可通過如下公式得到:
xa’=xa*f+δx
ya’=y(tǒng)a*f+δy
依次類推得到其他b,c,d點的新坐標(biāo)值,也就可以確定在下一幀拍攝圖像中所述預(yù)測關(guān)鍵點的坐標(biāo),進(jìn)而得到新的敏感區(qū)域位置,進(jìn)行實時遮蓋。
但是在一副拍攝的圖像中,很多宏塊可能本身就比較相似,所以在找匹配塊時,有可能會找到其他宏塊。從而導(dǎo)致誤差或異常。考慮每次計算可能帶來誤差,為減小誤差累加,除了前后兩幀拍攝圖像的比對外,還考慮與前向多個已拍攝的圖像幀進(jìn)行比對。在具體實現(xiàn)時,可以將預(yù)設(shè)拍攝時候的圖像幀進(jìn)行保存,已供后續(xù)圖像幀進(jìn)行參考。例如取前第3幀、前第5幀、前第10幀的圖像,與當(dāng)前幀的關(guān)鍵點分別進(jìn)行移動矢量值和縮放比例的計算。具體方法如上所述。若通過多個圖像幀計算得到的每個關(guān)鍵點的新坐標(biāo)接近,則保留所述每個關(guān)鍵點的新坐標(biāo)值,如其中某個關(guān)鍵點計算的結(jié)果相差過大,則去除。并進(jìn)一步的,將相似坐標(biāo)值,再次取平均,則得到最終每個關(guān)鍵點對應(yīng)的新的坐標(biāo)。
優(yōu)選的,所述方法還包括:
對于下一幀拍攝圖像而言,可以基于預(yù)測參考點的坐標(biāo),將所述預(yù)測參考點間的連線形成第二輪廓;
針對所述第二輪廓中的每個預(yù)測參考點,判斷每個預(yù)測參考點相對于其他預(yù)測參考點的位置關(guān)系與該預(yù)測參考點對應(yīng)的目標(biāo)參考點在所述第一輪廓中相對于其他目標(biāo)參考點的位置關(guān)系是否一致,若不一致,則刪除該預(yù)測參考點;若一致,則保留該預(yù)測參考點。
根據(jù)本實施例中提供的計算方法,可以找到原始參考點在新圖像中的坐標(biāo)位置,也就是預(yù)測參考點的坐標(biāo)。由于預(yù)測參考點理論上,其應(yīng)該仍然保持原有圖形結(jié)構(gòu)和大致輪廓,例如在垂直方向上選取的原始參考點,移動后對應(yīng)預(yù)測參考點仍然應(yīng)該保持在一個垂直方向,從而可剔除掉異常點。
步驟s103:根據(jù)所述預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋。
進(jìn)一步的,所述方法包括:
步驟s201,根據(jù)每幀拍攝圖像相對于參考幀拍攝圖像確定的每個關(guān)鍵點的移動矢量值,可以獲取參考幀拍攝圖像的運動矢量;
步驟s202,根據(jù)參考幀拍攝圖像的運動矢量確定下一幀圖像中每個關(guān)鍵點的坐標(biāo),以使得在當(dāng)前幀中對下一幀圖像中由每個關(guān)鍵點的坐標(biāo)所對應(yīng)覆蓋的待遮擋的區(qū)域提前遮擋。
在攝像機(jī)移動過程中,可以根據(jù)連續(xù)多幀拍攝圖像中參考關(guān)鍵點確定參考幀拍攝圖像的運動矢量,包括水平運動矢量和垂直運動矢量,從而確定攝像終端的動作,比如是在平移,還是在縮放,從而提前進(jìn)行少量像素范圍的遮擋,以避免在運動過程中,遮擋不完全。
進(jìn)一步的,當(dāng)所述預(yù)測關(guān)鍵點的坐標(biāo)對應(yīng)的區(qū)域超過所述下一幀拍攝圖像的圖像邊界時,對應(yīng)步驟s103,所述根據(jù)所述預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋,具體包括:
步驟s1031,根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述預(yù)測關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
如圖4所示,在初始拍攝位置,遮擋區(qū)域(圖中以陰影部分為例),此時,遮擋區(qū)域在初始拍攝的圖像的右側(cè),隨著移動攝像終端的位置調(diào)整,在一段時間后,到達(dá)中間拍攝位置,此時,遮擋區(qū)域移動到拍攝圖像的左側(cè),再經(jīng)一段時間后,遮擋區(qū)域從拍攝圖像中消失。
在此過程中,預(yù)測關(guān)鍵點的坐標(biāo)對應(yīng)的區(qū)域會超過下一幀拍攝圖像的邊界,也即在拍攝圖像中預(yù)測關(guān)鍵點的坐標(biāo)對應(yīng)的區(qū)域是隨著每一幀拍攝圖像逐漸變小的,此時需要根據(jù)根據(jù)參考幀拍攝圖像的運動矢量和當(dāng)前幀拍攝圖像中關(guān)鍵點的坐標(biāo)預(yù)測下一幀拍攝圖像的每一個預(yù)測參考點在邊界附近的坐標(biāo),如果預(yù)測參考點的坐標(biāo)超出邊界,則認(rèn)為該預(yù)測參考點的區(qū)域已經(jīng)不在拍攝范圍內(nèi),再查找其他預(yù)測參考點的位置,通過剩余預(yù)測參考點的坐標(biāo)確定遮擋區(qū)域,直到所有預(yù)測參考點都超出邊界,此時認(rèn)為遮擋的區(qū)域已經(jīng)不在拍攝范圍內(nèi),進(jìn)而不必再進(jìn)行遮擋。
進(jìn)一步的,如圖4中的終點拍攝位置,到達(dá)終點拍攝位置后,移動攝像終端做往復(fù)運動,向初始拍攝位置靠近,此過程每一幀的拍攝圖像都是從初始拍攝位置到終點拍攝位置的逆過程。所述方法還包括:
步驟s1032,當(dāng)所述下一幀拍攝圖像中不存在所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域時,獲取初始拍攝圖像中初始遮擋區(qū)域的位置信息,所述位置信息包括初始關(guān)鍵點的特征信息;
步驟s1033,在所述下一幀拍攝圖像的邊界搜索關(guān)鍵點,所述關(guān)鍵點的特征信息與所述初始關(guān)鍵點的特征信息匹配;
步驟s1034,當(dāng)所述下一幀拍攝圖像的邊界存在所述關(guān)鍵點時,根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
在實際計算遮擋區(qū)域的位置坐標(biāo)等信息時,由于移動攝像終端的運動的復(fù)雜程度不同,僅預(yù)測計算關(guān)鍵點的坐標(biāo),可能會存在遮擋區(qū)域的誤差。
當(dāng)目標(biāo)遮擋區(qū)域不在拍攝圖像中時,由于此時無法通過每張拍攝圖像確定出目標(biāo)遮擋區(qū)域在消失后的坐標(biāo)移動,此時,考慮到目標(biāo)遮擋區(qū)域可能會基于移動攝像終端的位置變化,重新出現(xiàn)在拍攝圖像中,結(jié)合參考幀拍攝圖像的運動矢量,可能會存在坐標(biāo)計算的誤差,因此,需要在后續(xù)拍攝的每一幀圖像中,確定目標(biāo)遮擋區(qū)域每一個關(guān)鍵點是否重新出現(xiàn)。
對于每幀圖像,同樣采用運動估算法,在拍攝圖像區(qū)域中遍歷的查找與參考幀圖像中目標(biāo)關(guān)鍵點匹配的關(guān)鍵點。
為了提高識別的效率,需要基于每一幀拍攝的圖像,確認(rèn)關(guān)鍵點的信息,考慮到圖像運動的規(guī)律,以攝像終端往返循環(huán)運動為例,參考圖2和圖4,若待遮擋區(qū)域重新出現(xiàn)在拍攝圖像中,在拍攝圖像的上方,可以僅搜索ab邊上的關(guān)鍵點,如a點或者b點,或者是在a點和b點中間選取的其他關(guān)鍵點;類似的,在圖像的右方,僅搜索bc邊上的關(guān)鍵點;在圖像的下方,僅搜索cd邊上的關(guān)鍵點;在圖像的最左方,搜索da邊上的關(guān)鍵點。當(dāng)搜索到新的關(guān)鍵點后,參考上述實施例中描述的坐標(biāo)計算方法,可以得到新的遮擋區(qū)域。
若查找到所述匹配的特征塊,則確定與目標(biāo)關(guān)鍵點匹配的關(guān)鍵點重新出現(xiàn)在拍攝圖像中。
考慮到當(dāng)前圖像中敏感區(qū)域是從無到逐漸出現(xiàn)在后續(xù)每一幀拍攝圖像中,在計算每一關(guān)鍵點的新的坐標(biāo)信息時,為了確定每一個關(guān)鍵點的有效性,這時參與匹配的關(guān)鍵點可以適當(dāng)多設(shè)置一些,每個邊至少10個關(guān)鍵點,以保證準(zhǔn)確度。
對于每一個關(guān)鍵點,其本質(zhì)映射到圖像中,是表征一塊區(qū)域內(nèi)的像素,例如圖2中a點關(guān)鍵點,用戶在圖像中確定的關(guān)鍵點,是覆蓋多個像素的一塊區(qū)域,可以稱之為特征塊,每個像素都記錄有一定的圖像信息,因此,當(dāng)關(guān)鍵點重新出現(xiàn)在新的拍攝圖像中時,可以根據(jù)初始圖像中每個像素點記錄的圖像信息,在新的拍攝圖像中進(jìn)行匹配,已達(dá)到識別特征塊也就是關(guān)鍵點的作用。
通過采用以上技術(shù)方案,通過獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo),預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo),最后根據(jù)預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋,相比與現(xiàn)有技術(shù),本方案不容易受到環(huán)境干擾,能夠能夠?qū)崟r遮擋敏感區(qū)域并預(yù)測每個關(guān)鍵點的坐標(biāo)變化,相匹配地進(jìn)行平移和縮放后的遮擋,提高了用戶的使用體驗。
基于相同的發(fā)明構(gòu)思,本申請還提供了一種應(yīng)用于移動的攝像終端的拍攝區(qū)域遮擋裝置,如圖5所示,所述裝置200包括:
獲取模塊210,用于獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo);
坐標(biāo)確定模塊220,用于根據(jù)所述參考幀拍攝圖像的運動矢量,預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo);
遮擋模塊230,用于根據(jù)所述預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋。
進(jìn)一步的,所述目標(biāo)遮擋區(qū)域為矩形區(qū)域,所述目標(biāo)關(guān)鍵點為所述目標(biāo)遮擋區(qū)域的四個角點,所述目標(biāo)關(guān)鍵點間的連線形成第一輪廓,在所述第一輪廓的輪廓線上均勻選取目標(biāo)參考點;
所述坐標(biāo)確定模塊220,具體包括:
坐標(biāo)預(yù)測子模塊,用于根據(jù)所述參考幀拍攝圖像的運動矢量,在預(yù)設(shè)拍攝間隔后,預(yù)測下一幀拍攝圖像中所述目標(biāo)參考點對應(yīng)的預(yù)測參考點的坐標(biāo);
移動處理模塊,用于根據(jù)目標(biāo)參考點的坐標(biāo)及對應(yīng)的預(yù)測參考點的坐標(biāo),獲取所述移動攝像終端的移動矢量值和縮放比例;
坐標(biāo)確定子模塊,用于根據(jù)所述移動矢量值和所述縮放比例,確定所述下一幀拍攝圖像中所述預(yù)測關(guān)鍵點的坐標(biāo)。
進(jìn)一步的,所述裝置還包括:
輪廓確定模塊,用于所述預(yù)測參考點間的連線形成第二輪廓;
參考點刪除模塊,用于針對所述第二輪廓中的每個預(yù)測參考點,判斷每個預(yù)測參考點相對于其他預(yù)測參考點的位置關(guān)系與該預(yù)測參考點對應(yīng)的目標(biāo)參考點在所述第一輪廓中相對于其他目標(biāo)參考點的位置關(guān)系是否一致,若不一致,則刪除該預(yù)測參考點;若一致,則保留該預(yù)測參考點。
進(jìn)一步的,當(dāng)所述預(yù)測關(guān)鍵點的坐標(biāo)對應(yīng)的區(qū)域超過所述下一幀拍攝圖像的圖像邊界時,所述遮擋模塊230還用于根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述預(yù)測關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
進(jìn)一步的,所述裝置還包括:
位置信息確定模塊,用于當(dāng)所述下一幀拍攝圖像中不存在所述預(yù)測關(guān)鍵點對應(yīng)的區(qū)域時,獲取初始拍攝圖像中初始遮擋區(qū)域的位置信息,所述位置信息包括初始關(guān)鍵點的特征信息;
搜索模塊,用于在所述下一幀拍攝圖像的邊界搜索關(guān)鍵點,所述關(guān)鍵點的特征信息與所述初始關(guān)鍵點的特征信息匹配;
遮擋模塊210,還用于當(dāng)所述下一幀拍攝圖像的邊界存在所述關(guān)鍵點時,根據(jù)所述參考幀拍攝圖像的運動矢量和所述下一幀拍攝圖像的邊界點坐標(biāo),確定所述關(guān)鍵點在所述下一幀拍攝圖像中對應(yīng)的區(qū)域,并將所述區(qū)域進(jìn)行遮擋。
通過應(yīng)用本申請的技術(shù)方案,通過獲取參考幀拍攝圖像中目標(biāo)遮擋區(qū)域所對應(yīng)的目標(biāo)關(guān)鍵點的坐標(biāo),預(yù)測在預(yù)設(shè)拍攝間隔后拍攝的下一幀拍攝圖像中所述目標(biāo)關(guān)鍵點對應(yīng)的預(yù)測關(guān)鍵點的坐標(biāo),最后根據(jù)預(yù)測關(guān)鍵點的坐標(biāo),在所述下一幀拍攝圖像中對預(yù)測關(guān)鍵點對應(yīng)的區(qū)域進(jìn)行遮擋,相比與現(xiàn)有技術(shù),本方案不容易受到環(huán)境干擾,能夠能夠?qū)崟r遮擋敏感區(qū)域并預(yù)測每個關(guān)鍵點的坐標(biāo)變化,相匹配地進(jìn)行平移和縮放后的遮擋,提高了用戶的使用體驗。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品。因此,本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本發(fā)明可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn)品的形式。
盡管已描述了本發(fā)明的優(yōu)選實施例,但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
顯然,本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動和變型在內(nèi)。