本申請(qǐng)涉及圖像處理，尤其涉及一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法。

背景技術(shù)：

1、工業(yè)設(shè)備，往往為具有規(guī)則形狀的對(duì)稱性物體，且具有特征為標(biāo)準(zhǔn)化字體的字母及漢字，常用的單一跟蹤方法使得跟蹤精度低，不能很好的適應(yīng)于工業(yè)設(shè)備的跟蹤。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，能夠解決具有文本特征的對(duì)稱物體跟蹤精度低的技術(shù)問(wèn)題。

2、為達(dá)到上述目的，本申請(qǐng)的實(shí)施例采用如下技術(shù)方案：

3、第一方面，本申請(qǐng)實(shí)施例提供一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，該圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法包括：給定目標(biāo)設(shè)備的第一位姿信息；根據(jù)第一位姿信息，匹配目標(biāo)視點(diǎn)模板圖；目標(biāo)視點(diǎn)模板圖為稀疏視點(diǎn)模型中的一個(gè)模版圖；稀疏視點(diǎn)模型基于目標(biāo)設(shè)備在不同姿態(tài)的情況下生成；基于目標(biāo)設(shè)備的第一圖像幀、目標(biāo)視點(diǎn)模板圖，通過(guò)區(qū)域紋理跟蹤，確認(rèn)目標(biāo)設(shè)備的第二位姿信息；基于第二位姿信息，確認(rèn)目標(biāo)設(shè)備的跟蹤圖像結(jié)果。

4、基于上述對(duì)本申請(qǐng)實(shí)施例提供的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法的描述，可知，該圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法結(jié)合跟蹤產(chǎn)品外形結(jié)構(gòu)較為對(duì)稱，容易導(dǎo)致跟蹤效果不佳的問(wèn)題，提出了一種基于圖像多特征融合的跟蹤技術(shù)。以及，根據(jù)真實(shí)的空間站真實(shí)的設(shè)備，使用相關(guān)實(shí)驗(yàn)顯示實(shí)際有效性。

5、在第一方面可行的實(shí)現(xiàn)方式中，執(zhí)行根據(jù)第一位姿信息，匹配目標(biāo)視點(diǎn)模板圖的步驟時(shí)，圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：設(shè)置目標(biāo)設(shè)備模板采集的不同的視點(diǎn)位姿；基于視點(diǎn)位姿，生成多個(gè)姿態(tài)投影圖；計(jì)算每個(gè)姿態(tài)投影圖對(duì)應(yīng)的第一向量，第一向量為虛擬相機(jī)指向設(shè)備模型中心的向量；基于第一向量，計(jì)算目標(biāo)視點(diǎn)模板圖。

6、在第一方面可行的實(shí)現(xiàn)方式中，圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：基于三維信息，進(jìn)行區(qū)域紋理跟蹤；其中，三維信息包括輪廓采樣點(diǎn)的三維坐標(biāo)、三維法向量。

7、在第一方面可行的實(shí)現(xiàn)方式中，在執(zhí)行基于目標(biāo)設(shè)備的第一圖像幀、目標(biāo)視點(diǎn)模板圖，通過(guò)區(qū)域紋理跟蹤，確認(rèn)目標(biāo)設(shè)備的第二位姿信息的步驟時(shí)，圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：基于區(qū)域紋理跟蹤的概率密度函數(shù)，得到相機(jī)多個(gè)模態(tài)數(shù)據(jù)的特定姿勢(shì)的估計(jì)概率；基于最大化函數(shù)，最大化估計(jì)概率，確認(rèn)第二位姿信息。

8、在第一方面可行的實(shí)現(xiàn)方式中，在執(zhí)行基于最大化函數(shù)，最大化估計(jì)概率，確認(rèn)第二位姿信息的步驟時(shí)，圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：基于全局優(yōu)化或局部?jī)?yōu)化，優(yōu)化概率密度函數(shù)的自然對(duì)數(shù)的一階偏導(dǎo)數(shù)和二階偏導(dǎo)數(shù)，得到優(yōu)化一階偏導(dǎo)數(shù)和優(yōu)化二階偏導(dǎo)數(shù)；基于優(yōu)化一階偏導(dǎo)數(shù)和優(yōu)化二階偏導(dǎo)數(shù)，估計(jì)姿態(tài)變量。

9、在第一方面可行的實(shí)現(xiàn)方式中，同時(shí)滿足至少九個(gè)連續(xù)像素和中心點(diǎn)像素的灰度差值大于閾值，以及其余的像素和中心點(diǎn)的像素滿足相近閾值。

10、在第一方面可行的實(shí)現(xiàn)方式中，區(qū)域紋理跟蹤的計(jì)算公式包括：

11、

12、其中，p(θ|dr)表示為區(qū)域特征概率密度函數(shù)；p(θ|dt)表示為文本特征概率密度函數(shù)；nt表示為區(qū)域特征的輪廓采樣點(diǎn)的數(shù)量；nr表示為文本特征點(diǎn)的數(shù)量。

13、在第一方面可行的實(shí)現(xiàn)方式中，

14、

15、其中，n表示為文本特征點(diǎn)的數(shù)量；ρtuk表示為將異常值最小化影響的函數(shù)；σt表示為正則化方差系數(shù)；xi表示當(dāng)前幀檢測(cè)到的關(guān)鍵點(diǎn)；xi表示關(guān)鍵幀中的關(guān)鍵點(diǎn)；nc表示為輪廓采樣點(diǎn)數(shù)；dsi、ωsi和lsi表示為對(duì)應(yīng)線的離散點(diǎn)的值；θ表示為位姿變化量。

16、第二方面，本申請(qǐng)實(shí)施例提供一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤系統(tǒng)，該圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤系統(tǒng)包括：至少一個(gè)處理器；與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行第一方面提供的方法。

17、第三方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，計(jì)算機(jī)程序指令可被處理器執(zhí)行以實(shí)現(xiàn)如第一方面提供的方法。

技術(shù)特征：

1.一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，執(zhí)行所述根據(jù)所述第一位姿信息，匹配目標(biāo)視點(diǎn)模板圖的步驟時(shí)，所述圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：

3.根據(jù)權(quán)利要求2所述的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，所述圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，在執(zhí)行所述基于所述目標(biāo)設(shè)備的第一圖像幀、所述目標(biāo)視點(diǎn)模板圖，通過(guò)區(qū)域紋理跟蹤，確認(rèn)所述目標(biāo)設(shè)備的第二位姿信息的步驟時(shí)，所述圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：

5.根據(jù)權(quán)利要求4所述的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，在執(zhí)行所述基于最大化函數(shù)，最大化所述估計(jì)概率，確認(rèn)所述第二位姿信息的步驟時(shí)，所述圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：

6.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，所述圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法還包括：

7.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，其特征在于，所述區(qū)域紋理跟蹤的計(jì)算公式包括：

8.根據(jù)權(quán)利要求7所述的圖像區(qū)域和文本特征融合跟蹤方法，其特征在于，

9.一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤系統(tǒng)，其特征在于，包括：

10.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令可被處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)實(shí)施例提供一種圖像區(qū)域特征和視覺(jué)文本特征多特征融合跟蹤方法，能夠解決具有文本特征的對(duì)稱物體跟蹤精度低的技術(shù)問(wèn)題。該方法包括：給定目標(biāo)設(shè)備的第一位姿信息；根據(jù)第一位姿信息，匹配目標(biāo)視點(diǎn)模板圖；目標(biāo)視點(diǎn)模板圖為稀疏視點(diǎn)模型中的一個(gè)模版圖；稀疏視點(diǎn)模型基于目標(biāo)設(shè)備在不同姿態(tài)的情況下生成；基于目標(biāo)設(shè)備的第一圖像幀、目標(biāo)視點(diǎn)模板圖，通過(guò)區(qū)域文本紋理跟蹤，確認(rèn)目標(biāo)設(shè)備的第二位姿信息；基于第二位姿信息，確認(rèn)目標(biāo)設(shè)備的跟蹤圖像結(jié)果。本申請(qǐng)?zhí)嵘哂形谋咎卣鞯膶?duì)稱物體的工業(yè)設(shè)備的跟蹤精度。

技術(shù)研發(fā)人員：趙鑫,李俊杰,伏洪勇
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)院空間應(yīng)用工程與技術(shù)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9