本發(fā)明涉及信息技術(shù)技術(shù)領(lǐng)域，具體涉及一種增強(qiáng)AR追蹤穩(wěn)定性的電子穩(wěn)像方法。

背景技術(shù)：

在當(dāng)今工作生活中，AR系統(tǒng)已經(jīng)被廣泛使用，針對手機(jī)等移動設(shè)備的攝像頭采集的實(shí)時(shí)視頻資源進(jìn)行AR加工，檢測和識別標(biāo)志物的過程中，其效果會受到物體的姿態(tài)和振動的影響；在手持?jǐn)z像移動設(shè)備上，其視頻的輸出結(jié)果受到主體晃動嚴(yán)重情況的影響。當(dāng)這些不穩(wěn)定輸出到下一步檢測識別時(shí)，圖像信息的模糊，容易使檢測識別算法產(chǎn)生誤判漏判，給整個AR處理過程引入極大的不穩(wěn)定因素。傳統(tǒng)電子穩(wěn)像方式容易在運(yùn)動過程中產(chǎn)生錯誤的穩(wěn)像處理，更加降低了下一步圖像處理的穩(wěn)定性，傳統(tǒng)的灰度投影檢測運(yùn)動矢量的方式在光照強(qiáng)度變化的情況下，效果不理想。實(shí)時(shí)視頻素材的穩(wěn)像處理對AR追蹤穩(wěn)定具有較大的影響，尤其在當(dāng)今移動設(shè)備的長焦距和高像素，處理視頻抖動，圖像抖動情況更值得重視。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是：本發(fā)明針對以上問題，提供一種增強(qiáng)AR追蹤穩(wěn)定性的電子穩(wěn)像方法。

本發(fā)明所采用的技術(shù)方案為：

一種增強(qiáng)AR追蹤穩(wěn)定性的電子穩(wěn)像方法，所述方法通過將待處理圖像分隔成子圖像進(jìn)行灰度投影處理之后匹配，從而有效降低了環(huán)境光照強(qiáng)度變化的干擾。

所述方法實(shí)現(xiàn)過程如下：通過分析圖像信息來得到圖像序列，先實(shí)施圖像預(yù)處理，增強(qiáng)圖像信息，然后對其進(jìn)行運(yùn)動估計(jì)得到運(yùn)動參數(shù)，并針對求得的運(yùn)動參數(shù)實(shí)施運(yùn)動補(bǔ)償，從而減少視頻圖像的抖動，實(shí)現(xiàn)對圖像實(shí)施電子穩(wěn)像的目的。

所述灰度投影處理過程如下：通過準(zhǔn)確估算不同視頻圖像序列之間幀的位移，利用灰度投影算法實(shí)現(xiàn)。

所述灰度投影算法通過對圖像灰度值變換來提取運(yùn)動矢量，包括步驟：灰度映射和數(shù)值計(jì)算，經(jīng)過上述兩個步驟，就可以得到待處理的第k幀序列相對于參考幀的在水平和垂直方向上的運(yùn)動矢量，然后再將待處理圖像向著反方向移動，即可使圖像序列變得穩(wěn)定。

所述灰度映射過程如下：

將待處理的圖像序列分為一幀幀的圖像，并使用濾波方法優(yōu)化，再將其灰度值用兩個不相關(guān)的一維方程表示，公式如下：

其中,G_k(j)為運(yùn)算后第k幀圖像序列第j列處的灰度值；

G_k(i)為運(yùn)算后第k幀圖像序列第i行的灰度值；

G_k(i.j)為第k幀圖像序列上(i，j)處像素的灰度值。

所述數(shù)值計(jì)算過程如下：將待處理的第k幀圖像序列的行列灰度數(shù)值與參考幀的行列數(shù)值進(jìn)行互相關(guān)計(jì)算，得出待處理的圖像序列相對于參考幀的位移矢量差值。

所述方法利用灰度圖像的灰度投影統(tǒng)計(jì)特征判斷圖像的運(yùn)動狀態(tài)流程如下：

1)選定、讀取參考幀圖像；

2)讀取待處理幀圖像；

3)對當(dāng)前幀和參考幀轉(zhuǎn)換為灰度圖像進(jìn)行灰度投影；

4)分別計(jì)算行、列度投影差值，得出平均差值；

5)分別累計(jì)行、列投影差值大于平均差值比率，定義為運(yùn)動比率；

6)如果運(yùn)動比率超過閾值，則物體運(yùn)動屬于不穩(wěn)定狀態(tài)，匹配失敗，返回步驟1；

7)如果運(yùn)動比率不超過閾值，則進(jìn)入穩(wěn)像處理流程。

所述穩(wěn)像處理利用視頻幀中的子圖像的行列差異值最優(yōu)化最佳匹配準(zhǔn)備，在當(dāng)前幀中搜索出最佳匹配區(qū)域，具體流程如下：

1)視頻灰度圖像；

2)將圖像劃分為子圖像；

3)根據(jù)流程圖1中結(jié)果進(jìn)一步計(jì)算每個子圖像的行列灰度投影差值；

4)在參考幀中計(jì)算臨近范圍內(nèi)子區(qū)域與待處理幀圖像子圖像行、列對應(yīng)差值絕對值和；

5)比較得到最小值對應(yīng)子圖像，得到運(yùn)動矢量。

所述參考幀選擇的過程如下：

針對灰度投影的統(tǒng)計(jì)特征反應(yīng)的運(yùn)動矢量，設(shè)定一個最大的閾值，當(dāng)統(tǒng)計(jì)值比這個值大時(shí)，就將現(xiàn)在正在運(yùn)算的這一幀作為新的參考幀繼續(xù)處理。

所述參考幀選擇流程如下：

1)選擇參考幀流程；

2)如果上一待處理幀運(yùn)動比率大于閾值，相鄰幀補(bǔ)償，下一參考幀＝當(dāng)前處理幀；

3)如果上一待處理幀運(yùn)動比率小于或等于閾值，則計(jì)算穩(wěn)像后圖像運(yùn)動比率；

4)如果運(yùn)動比率大于閾值，則相鄰幀補(bǔ)償，下一參考幀＝當(dāng)前處理幀；

5)如果運(yùn)動比率小于或等于閾值，則固定幀補(bǔ)償；

6)判斷AR處理過程是否已經(jīng)檢測到MARKER，如果是，則參考幀選定為檢測到MARKER時(shí)圖像；

7)如果否，則更改固定幀為上一幀處理圖像。

本發(fā)明的有益效果為：

本發(fā)明針對手機(jī)等移動設(shè)備的攝像頭采集的實(shí)時(shí)視頻資源進(jìn)行AR加工，檢測和識別標(biāo)志物的過程中，其效果會受到物體的姿態(tài)和振動的影響，利用基于灰度投影的電子穩(wěn)像系統(tǒng)進(jìn)行穩(wěn)像，并針對AR應(yīng)用的特殊性做出優(yōu)化改良；

由于傳統(tǒng)電子穩(wěn)像方式容易在運(yùn)動過程中產(chǎn)生錯誤的穩(wěn)像處理，更加降低了下一步圖像處理的穩(wěn)定性，針對AR圖像識別的過程性特征本發(fā)明專利利用灰度圖像的灰度投影統(tǒng)計(jì)特征判斷圖像的運(yùn)動狀態(tài)，在穩(wěn)定狀態(tài)下進(jìn)行檢測、識別，并依據(jù)此優(yōu)化參考幀的選擇；

由于傳統(tǒng)的灰度投影檢測運(yùn)動矢量的方式在光照強(qiáng)度變化的情況下，效果不理想；本發(fā)明將待處理圖像分隔成子圖像進(jìn)行灰度投影處理之后匹配，有效降低了環(huán)境光照強(qiáng)度變化的干擾。

附圖說明

圖1為本發(fā)明方法操作流程圖；

圖2為圖像的運(yùn)動狀態(tài)判斷流程圖；

圖3為在當(dāng)前幀中搜索出最佳匹配區(qū)域的流程圖；

圖4為參考幀選擇流程圖。

具體實(shí)施方式

下面根據(jù)說明書附圖，結(jié)合具體實(shí)施方式對本發(fā)明進(jìn)一步說明：

實(shí)施例1：

一種增強(qiáng)AR追蹤穩(wěn)定性的電子穩(wěn)像方法，其特征在于，所述方法通過將待處理圖像分隔成子圖像進(jìn)行灰度投影處理之后匹配，從而有效降低了環(huán)境光照強(qiáng)度變化的干擾。

實(shí)施例2

如圖1所示，在實(shí)施例1的基礎(chǔ)上，本實(shí)施例所述方法實(shí)現(xiàn)過程如下：通過分析圖像信息來得到圖像序列，先實(shí)施圖像預(yù)處理，增強(qiáng)圖像信息，然后對其進(jìn)行運(yùn)動估計(jì)得到運(yùn)動參數(shù)，并針對求得的運(yùn)動參數(shù)實(shí)施運(yùn)動補(bǔ)償，從而減少視頻圖像的抖動，實(shí)現(xiàn)對圖像實(shí)施電子穩(wěn)像的目的。

實(shí)施例3

在實(shí)施例1或2的基礎(chǔ)上，本實(shí)施例灰度投影處理過程如下：通過準(zhǔn)確估算不同視頻圖像序列之間幀的位移，利用灰度投影算法實(shí)現(xiàn)。

實(shí)施例4

在實(shí)施例1或2的基礎(chǔ)上，本實(shí)施例所述灰度投影算法通過對圖像灰度值變換來提取運(yùn)動矢量，包括步驟：灰度映射和數(shù)值計(jì)算，經(jīng)過上述兩個步驟，就可以得到待處理的第k幀序列相對于參考幀的在水平和垂直方向上的運(yùn)動矢量，然后再將待處理圖像向著反方向移動，即可使圖像序列變得穩(wěn)定。

實(shí)施例5

在實(shí)施例4的基礎(chǔ)上，本實(shí)施例所述灰度映射過程如下：

將待處理的圖像序列分為一幀幀的圖像，并使用濾波方法優(yōu)化，比如余弦濾波、中值濾波，再將其灰度值用兩個不相關(guān)的一維方程表示，公式如下：

其中,G_k(j)為運(yùn)算后第k幀圖像序列第j列處的灰度值；

G_k(i)為運(yùn)算后第k幀圖像序列第i行的灰度值；

G_k(i.j)為第k幀圖像序列上(i，j)處像素的灰度值。

實(shí)施例6

在實(shí)施例5的基礎(chǔ)上，本實(shí)施例所述數(shù)值計(jì)算過程如下：將待處理的第k幀圖像序列的行列灰度數(shù)值與參考幀的行列數(shù)值進(jìn)行互相關(guān)計(jì)算，得出待處理的圖像序列相對于參考幀的位移矢量差值。

實(shí)施例7

如圖2所示，在實(shí)施例6的基礎(chǔ)上，本實(shí)施例所述方法利用灰度圖像的灰度投影統(tǒng)計(jì)特征判斷圖像的運(yùn)動狀態(tài)流程如下：

1)選定、讀取參考幀圖像；

2)讀取待處理幀圖像；

3)對當(dāng)前幀和參考幀轉(zhuǎn)換為灰度圖像進(jìn)行灰度投影；

4)分別計(jì)算行、列度投影差值，得出平均差值；

5)分別累計(jì)行、列投影差值大于平均差值比率，定義為運(yùn)動比率；

6)如果運(yùn)動比率超過閾值，則物體運(yùn)動屬于不穩(wěn)定狀態(tài)，匹配失敗，返回步驟1；

7)如果運(yùn)動比率不超過閾值，則進(jìn)入穩(wěn)像處理流程。

實(shí)施例8

因?yàn)楣庹諒?qiáng)度在發(fā)生變化的時(shí)候，所獲得的抖動視頻的相鄰幀，兩幀圖像的背景及同一運(yùn)動物體的灰度值會發(fā)生變化，那么，如果利用傳統(tǒng)的灰度投影發(fā)進(jìn)行運(yùn)動估計(jì)，所估計(jì)的運(yùn)動矢量信息可能就不夠準(zhǔn)確，無法精確匹配當(dāng)前幀的背景和參考幀的背景，降低了運(yùn)動估計(jì)的性能。

如圖3所示，在實(shí)施例7的基礎(chǔ)上，本實(shí)施例所述穩(wěn)像處理利用視頻幀中的子圖像的行列差異值最優(yōu)化最佳匹配準(zhǔn)備，在當(dāng)前幀中搜索出最佳匹配區(qū)域，具體流程如下：

1)視頻灰度圖像；

2)將圖像劃分為子圖像；

3)根據(jù)流程圖1中結(jié)果進(jìn)一步計(jì)算每個子圖像的行列灰度投影差值；

4)在參考幀中計(jì)算臨近范圍內(nèi)子區(qū)域與待處理幀圖像子圖像行、列對應(yīng)差值絕對值和；

5)比較得到最小值對應(yīng)子圖像，得到運(yùn)動矢量。

實(shí)施例9

在實(shí)施例8的基礎(chǔ)上，本實(shí)施例所述參考幀選擇的過程如下：

針對灰度投影的統(tǒng)計(jì)特征反應(yīng)的運(yùn)動矢量，設(shè)定一個最大的閾值，當(dāng)統(tǒng)計(jì)值比這個值大時(shí)，就將現(xiàn)在正在運(yùn)算的這一幀作為新的參考幀繼續(xù)處理。

實(shí)施例10

如圖4所示，在實(shí)施例8的基礎(chǔ)上，本實(shí)施例所述參考幀選擇流程如下：

1)選擇參考幀流程；

2)如果上一待處理幀運(yùn)動比率大于閾值，相鄰幀補(bǔ)償，下一參考幀＝當(dāng)前處理幀；

3)如果上一待處理幀運(yùn)動比率小于或等于閾值，則計(jì)算穩(wěn)像后圖像運(yùn)動比率；

4)如果運(yùn)動比率大于閾值，則相鄰幀補(bǔ)償，下一參考幀＝當(dāng)前處理幀；

5)如果運(yùn)動比率小于或等于閾值，則固定幀補(bǔ)償；

6)判斷AR處理過程是否已經(jīng)檢測到MARKER，如果是，則參考幀選定為檢測到MARKER時(shí)圖像(參考幀保持不變)；

7)如果否，則更改固定幀為上一幀處理圖像。

實(shí)施方式僅用于說明本發(fā)明，而并非對本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。