本發(fā)明涉及ar領(lǐng)域，特別是涉及一種應(yīng)用于ar場景下的武器瞄準(zhǔn)系統(tǒng)的圖層融合方法。

背景技術(shù)：

隨著ar技術(shù)的發(fā)展，市場上已有許多用于游戲互動和模擬訓(xùn)練的系統(tǒng)，但是此類系統(tǒng)中的武器瞄準(zhǔn)系統(tǒng)在使用眼鏡與瞄準(zhǔn)器相結(jié)合時(shí)，現(xiàn)有技術(shù)中的圖層融合方法存在許多缺陷，使得體驗(yàn)達(dá)不到令人滿意的效果；此外，在軍事應(yīng)用領(lǐng)域中，傳統(tǒng)的武器瞄準(zhǔn)系統(tǒng)缺少先進(jìn)的機(jī)器視覺輔助，無法做到每時(shí)每刻地進(jìn)行實(shí)時(shí)瞄準(zhǔn)，而通過ar輔助瞄準(zhǔn)，可以解決這一問題，使得武器與人結(jié)合得更加緊密，達(dá)到快速響應(yīng)，由此能更好地發(fā)揮出武器的作用。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的是提供一種應(yīng)用于ar場景下的武器瞄準(zhǔn)系統(tǒng)的圖層融合方法，在現(xiàn)實(shí)場景下生成虛擬3d目標(biāo)，能夠使眼鏡使用者在游戲互動的應(yīng)用領(lǐng)域完成模擬訓(xùn)練，在軍事實(shí)戰(zhàn)的應(yīng)用領(lǐng)域?qū)崿F(xiàn)人槍分離的實(shí)時(shí)瞄準(zhǔn)以及具有機(jī)器視覺輔助的射擊能力。

本發(fā)明采用以下方案實(shí)現(xiàn)：一種應(yīng)用于ar場景下的武器瞄準(zhǔn)系統(tǒng)的圖層融合方法，包括以下步驟：

步驟s1：提供一武器瞄準(zhǔn)系統(tǒng)，該系統(tǒng)包括一眼鏡和一瞄準(zhǔn)器；所述眼鏡與瞄準(zhǔn)器通過有線或無線的方式進(jìn)行通訊連接，相互傳輸數(shù)據(jù)；

步驟s2：將該武器瞄準(zhǔn)系統(tǒng)中瞄準(zhǔn)器采集到的圖像進(jìn)行處理，并傳輸至眼鏡上進(jìn)行顯示；

步驟s3：該武器瞄準(zhǔn)系統(tǒng)中將眼鏡與瞄準(zhǔn)器的圖層融合，使用者通過眼鏡實(shí)景部分與虛景部分，看到的實(shí)景部分是人眼實(shí)際看到的景象，虛景部分是圖像處理模塊生成的疊加圖層。

進(jìn)一步地，該武器瞄準(zhǔn)系統(tǒng)中將眼鏡與瞄準(zhǔn)器的圖層融合分別兩種方式：方式一為直接將瞄準(zhǔn)器中的瞄準(zhǔn)鏡的圖像混合到眼鏡的圖像上，方式二為通過一綜合傳感器信息判斷出當(dāng)前瞄準(zhǔn)器視角是否與眼鏡視角相交，如果相交，則啟動圖層融合；如果不相交，則不啟動圖層融合。

進(jìn)一步地，所述瞄準(zhǔn)器中的瞄準(zhǔn)鏡的放大系數(shù)大于等于1。

進(jìn)一步地，當(dāng)采用方式二進(jìn)行圖層融合時(shí)，當(dāng)瞄準(zhǔn)器視角與眼鏡視角相交時(shí)，啟動圖像識別，匹配瞄準(zhǔn)器圖像中的物體與眼鏡圖像中的物體的位置關(guān)系，分為以下兩種情況：

當(dāng)瞄準(zhǔn)鏡放大系數(shù)大于1時(shí)，需要先對圖像進(jìn)行縮放處理，由于圖像放大后，瞄準(zhǔn)鏡中只剩下物體的局部信息，通過此信息直接與眼鏡圖像進(jìn)行匹配相對困難，與瞄準(zhǔn)鏡上光學(xué)攝像頭拍攝的圖像先進(jìn)行匹配，然后再將結(jié)果送到眼鏡側(cè)進(jìn)行圖像比較；

當(dāng)瞄準(zhǔn)鏡放大系數(shù)為1時(shí)，由于視角透視的差異，瞄準(zhǔn)鏡的成像與眼鏡的成像存在一定差異，則采用圖像模糊匹配算法，視覺識別技術(shù)以及slam技術(shù)進(jìn)行輔助匹配；

當(dāng)匹配結(jié)束后，只將瞄準(zhǔn)器上的瞄準(zhǔn)點(diǎn)信息繪制到眼鏡圖層上。

進(jìn)一步地，采用所述slam技術(shù)進(jìn)行輔助匹配時(shí)，在匹配結(jié)束后，使用者在所述眼鏡圖層上看到一條三維的虛化的瞄準(zhǔn)鏡的中軸線。

特別地，通過slam技術(shù)，可實(shí)時(shí)進(jìn)行3d（三維）空間的地圖重建和目標(biāo)跟蹤，因此可做到精確的視角匹配，同時(shí)還能對瞄準(zhǔn)鏡的定位（位置和姿態(tài)）進(jìn)行實(shí)時(shí)的校準(zhǔn)補(bǔ)償。對于通過slam技術(shù)實(shí)現(xiàn)匹配的，匹配結(jié)束后，會在眼鏡圖層上看到一條三維的虛化的瞄準(zhǔn)鏡的中軸線。

相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明中提供的系統(tǒng)與方法主要應(yīng)用于軍事實(shí)戰(zhàn)，模擬訓(xùn)練，游戲娛樂等用途。對于軍事實(shí)戰(zhàn)，該方法能夠應(yīng)用于目視相對安全的環(huán)境，此時(shí)瞄準(zhǔn)器上的傳輸來的信息對眼鏡是一種補(bǔ)充，主要是輔助眼鏡使用者實(shí)時(shí)了解當(dāng)前瞄準(zhǔn)器的工作狀態(tài)（如瞄準(zhǔn)的位置，目標(biāo)距離等），對于眼鏡使用者的好處是：1.不必端起槍就能完成瞄準(zhǔn)，在戰(zhàn)斗過程中有利于節(jié)省體力，且保持視野開闊；2.由于免除了端槍和瞄準(zhǔn)這兩個(gè)“多余”動作，縮短了射擊判斷決策的時(shí)間，在戰(zhàn)斗中能提高射擊速度，比敵方能更快地發(fā)起攻擊，有利于提高作戰(zhàn)能力以及戰(zhàn)場生存能力；3.能夠保持對目標(biāo)的實(shí)時(shí)瞄準(zhǔn)和提供機(jī)器視覺輔助，有利于保持較高的射擊精度，以及對戰(zhàn)場信息的快速把握。對于模擬訓(xùn)練，游戲娛樂，該方法能在現(xiàn)實(shí)場景下生成虛擬3d目標(biāo)，與眼鏡使用者完成游戲互動或模擬訓(xùn)練，在這種場景下，眼鏡使用者會有較好的沉浸感。

附圖說明

圖1是本發(fā)明實(shí)施例中采用方式一進(jìn)行圖層融合時(shí)的示意圖。

圖2是本發(fā)明實(shí)施例中采用方式二進(jìn)行圖層融合時(shí)的示意圖。

具體實(shí)施方式

下面結(jié)合附圖及實(shí)施例對本發(fā)明做進(jìn)一步說明。

本實(shí)施例提供一種應(yīng)用于ar場景下的武器瞄準(zhǔn)系統(tǒng)的圖層融合方法，包括以下步驟：

步驟s1：提供一武器瞄準(zhǔn)系統(tǒng)，該系統(tǒng)包括一眼鏡和一瞄準(zhǔn)器；所述眼鏡與瞄準(zhǔn)器通過有線或無線的方式進(jìn)行通訊連接，相互傳輸數(shù)據(jù)；

步驟s2：將該武器瞄準(zhǔn)系統(tǒng)中瞄準(zhǔn)器采集到的圖像進(jìn)行處理，并傳輸至眼鏡上進(jìn)行顯示；

步驟s3：該武器瞄準(zhǔn)系統(tǒng)中將眼鏡與瞄準(zhǔn)器的圖層融合，使用者通過眼鏡實(shí)景部分與虛景部分，看到的實(shí)景部分是人眼實(shí)際看到的景象，虛景部分是圖像處理模塊生成的疊加圖層。

在本實(shí)施例中，該武器瞄準(zhǔn)系統(tǒng)中將眼鏡與瞄準(zhǔn)器的圖層融合分別兩種方式：方式一為直接將瞄準(zhǔn)器中的瞄準(zhǔn)鏡的圖像混合到眼鏡的圖像上，如圖1所示，方式二為通過一綜合傳感器信息判斷出當(dāng)前瞄準(zhǔn)器視角是否與眼鏡視角相交，如果相交，則啟動圖層融合；如果不相交（例如槍口朝向其它方位），則不啟動圖層融合，以降低計(jì)算功耗，如圖2所示。

在本實(shí)施例中，采用方式一的優(yōu)點(diǎn)為：直接融合，無需校準(zhǔn)，圖像時(shí)延低；缺點(diǎn)為：兩個(gè)圖層顯示，不夠直觀；采用方式二的優(yōu)點(diǎn)為：眼鏡上的圖像比較清爽，當(dāng)移動槍口時(shí)，只有紅色的瞄準(zhǔn)點(diǎn)在跟隨移動，缺點(diǎn)為需要校準(zhǔn)，計(jì)算量可能較大，可能會引入一定時(shí)延。

在本實(shí)施例中，所述瞄準(zhǔn)器中的瞄準(zhǔn)鏡的放大系數(shù)大于等于1。

在本實(shí)施例中，當(dāng)采用方式二進(jìn)行圖層融合時(shí)，當(dāng)瞄準(zhǔn)器視角與眼鏡視角相交時(shí)，啟動圖像識別，匹配瞄準(zhǔn)器圖像中的物體與眼鏡圖像中的物體的位置關(guān)系，分為以下兩種情況：

當(dāng)瞄準(zhǔn)鏡放大系數(shù)大于1時(shí)，需要先對圖像進(jìn)行縮放處理，由于圖像放大后，瞄準(zhǔn)鏡中只剩下物體的局部信息，通過此信息直接與眼鏡圖像進(jìn)行匹配相對困難，與瞄準(zhǔn)鏡上光學(xué)攝像頭拍攝的圖像先進(jìn)行匹配，然后再將結(jié)果送到眼鏡側(cè)進(jìn)行圖像比較；

當(dāng)瞄準(zhǔn)鏡放大系數(shù)為1時(shí)，由于視角透視的差異，瞄準(zhǔn)鏡的成像與眼鏡的成像存在一定差異，則采用圖像模糊匹配算法，視覺識別技術(shù)以及slam技術(shù)進(jìn)行輔助匹配；

當(dāng)匹配結(jié)束后，只將瞄準(zhǔn)器上的瞄準(zhǔn)點(diǎn)信息繪制到眼鏡圖層上。

在本實(shí)施例中，采用所述slam技術(shù)進(jìn)行輔助匹配時(shí)，在匹配結(jié)束后，使用者在所述眼鏡圖層上看到一條三維的虛化的瞄準(zhǔn)鏡的中軸線。

在本實(shí)施例中，采用圖像模糊匹配算法，這種方法計(jì)算量小，以損失一定精度為代價(jià)；通過視覺識別技術(shù)，能夠識別出目標(biāo)是同一物體，然后進(jìn)行相關(guān)合并。

在本實(shí)施例中，通過slam技術(shù)，可實(shí)時(shí)進(jìn)行3d空間的地圖重建和目標(biāo)跟蹤，因此可做到精確的視角匹配，同時(shí)還能對瞄準(zhǔn)鏡的定位（位置和姿態(tài)）進(jìn)行實(shí)時(shí)的校準(zhǔn)補(bǔ)償；更進(jìn)一步，如果此項(xiàng)技術(shù)做得好，甚至不需要進(jìn)行圖像匹配，而是通過解算瞄準(zhǔn)鏡的定位信息，就能夠得到瞄準(zhǔn)器在眼鏡視角圖像上的投影。對于通過slam技術(shù)實(shí)現(xiàn)匹配的，匹配結(jié)束后，會在眼鏡圖層上看到一條三維的虛化的瞄準(zhǔn)鏡的中軸線。

以上所述僅為本發(fā)明的較佳實(shí)施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。