一種單目視覺(jué)位姿測(cè)量系統(tǒng)的制作方法
【專利摘要】本實(shí)用新型提供了一種單目視覺(jué)位姿測(cè)量系統(tǒng)，至少包括搭載合作目標(biāo)模板的目標(biāo)物，位姿圖像采集單元、圖像處理單元、電源及顯示存儲(chǔ)單元，所述的合作目標(biāo)模板采用四個(gè)共面圓環(huán)組成，圓環(huán)面積大小不一；位姿圖像采集單元為基于USB接口的相機(jī)，位姿圖像采集單元與圖像處理單元相連接，將數(shù)據(jù)輸出至圖像處理單元；所述的圖像處理單元設(shè)置有USB接口和網(wǎng)口或串口，所述的圖像處理單元采用STM320DM8148硬件平臺(tái)，內(nèi)部集成了ARM和DSP的異構(gòu)雙核處理器；圖像處理單元通過(guò)網(wǎng)口或串口將數(shù)據(jù)輸出，所述的電源與圖像處理單元連接并供電。該系統(tǒng)提供了一種硬件平臺(tái)，能夠與算法相結(jié)合，從而實(shí)現(xiàn)單目視覺(jué)位姿精確測(cè)量。
【專利說(shuō)明】
-種單目視覺(jué)位姿測(cè)量系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本實(shí)用新型提供了一種單目視覺(jué)位姿測(cè)量系統(tǒng)，屬于視覺(jué)檢測(cè)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 視覺(jué)檢測(cè)技術(shù)是近二十幾年來(lái)發(fā)展的一口新興測(cè)量技術(shù)，采用了大量自動(dòng)化、智 能化技術(shù)，通過(guò)計(jì)算機(jī)識(shí)別和控制，測(cè)量過(guò)程只需很少的人工干預(yù)就可完成。隨著視覺(jué)技術(shù) 的不斷發(fā)展成熟，使得它在工業(yè)、醫(yī)學(xué)、航空航天、軍事等領(lǐng)域獲得了廣泛的應(yīng)用。視覺(jué)技術(shù) 可W代替人類進(jìn)行尺寸檢測(cè)、目標(biāo)物跟蹤、機(jī)器人導(dǎo)航等，而對(duì)于重復(fù)性高、非接觸精密測(cè) 量、信息獲取迅速W及現(xiàn)場(chǎng)環(huán)境惡劣的應(yīng)用更加適合。
[0003] 目前大多數(shù)對(duì)視覺(jué)測(cè)量的研究都是基于PC端，因其體積大、功耗高，大多不適合機(jī) 載，因此如何將嵌入式技術(shù)應(yīng)用到視覺(jué)檢測(cè)技術(shù)中逐漸受到關(guān)注，并日益成為研究的熱點(diǎn)。 但視覺(jué)檢測(cè)相關(guān)算法復(fù)雜，圖像處理計(jì)算量大，跟蹤的實(shí)時(shí)性問(wèn)題一直未得到有效解決，其 中硬件平臺(tái)的性能和軟件算法的效率是兩大影響因素，因此，在該領(lǐng)域仍須做大量的研究 工作。
[0004] 視覺(jué)測(cè)量系統(tǒng)中的圖像采集硬件平臺(tái)系統(tǒng)主要包括W下部分：圖像采集單元，圖 像處理分析單元，數(shù)據(jù)存儲(chǔ)單元和控制反饋單元等。其中，圖像采集單元是計(jì)算機(jī)視覺(jué)系統(tǒng) 中獲取信息的關(guān)鍵部件，其最本質(zhì)的功能就是將光信號(hào)轉(zhuǎn)變成為有序的電信號(hào)并通過(guò)一定 的方式傳輸?shù)叫盘?hào)處理平臺(tái)。而圖像采集單元的設(shè)計(jì)主要與光學(xué)敏感器及其接口有關(guān)。
[0005] 傳統(tǒng)的視覺(jué)測(cè)量系統(tǒng)大多基于乂CD十視頻信號(hào)處理忍片+C化D/FPGA+DSP"構(gòu)架 的。目前運(yùn)種構(gòu)架相對(duì)成熟，但CCD傳感器需要數(shù)量可觀的外部支持電路，在電源管理電路 設(shè)計(jì)上的難度更高。其功耗和體積較大，硬件設(shè)計(jì)復(fù)雜，開(kāi)發(fā)難度較大。
[0006] CMOS傳感器具有體積小、功耗低、高集成度、新型USB接口及紅外接口技術(shù)運(yùn)些突 出的優(yōu)點(diǎn)。其原有的出現(xiàn)雜點(diǎn)的幾率很大，很容易受干擾影響現(xiàn)在成熟的產(chǎn)品也都能從后 級(jí)電路上進(jìn)行補(bǔ)償和優(yōu)化，使得COMS技術(shù)的攝像頭成品成為市場(chǎng)主導(dǎo)產(chǎn)品。
[0007] 基于USB接口的COMS相機(jī)不需要額外的采集設(shè)備即可獲得實(shí)時(shí)無(wú)壓縮視頻數(shù)據(jù)和 對(duì)圖像的捕捉。但其傳輸過(guò)程設(shè)及復(fù)雜通信協(xié)議，若是基于傳統(tǒng)的乂化D/FPGA+DSP"構(gòu)架， 需要構(gòu)建相當(dāng)復(fù)雜的邏輯電路來(lái)管理。而ARM處理器在運(yùn)類系統(tǒng)中能很好的發(fā)揮控制功能， 只需要使用內(nèi)部的USB化S巧區(qū)動(dòng)接收攝像頭數(shù)據(jù)，就可W獲得完整的或者壓縮過(guò)的圖像或 者視頻。在圖像的存儲(chǔ)和處理方面，對(duì)于己經(jīng)上了操作系統(tǒng)的運(yùn)種圖像采集處理平臺(tái)，圖像 可W作為文件，存儲(chǔ)在文件系統(tǒng)里面對(duì)數(shù)據(jù)的處理。而單一的ARM處理器在處理復(fù)雜圖像算 法時(shí)稍顯不足，無(wú)法勝任運(yùn)算復(fù)雜度較高的任務(wù)。DSP忍片的可編程性和強(qiáng)大的處理能力， 使其可用于快速地實(shí)現(xiàn)各種數(shù)字信號(hào)處理算法，成為目前圖像處理系統(tǒng)的最佳選擇。因此， 我們提出采用乂 0MS+ARM+DSP"架構(gòu)來(lái)構(gòu)建視覺(jué)測(cè)量硬件平臺(tái)。TI公司的達(dá)芬奇系列處理器 集成了ARM和DSP的異構(gòu)雙核處理器，使得達(dá)芬奇處理器具備了ARM和DSP各自的優(yōu)勢(shì)，能很 好地滿足應(yīng)用需求。
[000引目前國(guó)內(nèi)對(duì)于單目視覺(jué)位姿測(cè)量系統(tǒng)的研究大多還處于理論仿真階段，還沒(méi)有成 型的產(chǎn)品。單目視覺(jué)位姿測(cè)量方法也大多基于PC端，依賴于化enCV計(jì)算機(jī)視覺(jué)庫(kù)。由于有PC 機(jī)強(qiáng)大的硬件作為保障，在應(yīng)用開(kāi)發(fā)的過(guò)程中不需要過(guò)多的考慮系統(tǒng)開(kāi)銷問(wèn)題，OpenCV視 覺(jué)庫(kù)提供豐富的視覺(jué)處理算法，簡(jiǎn)化了算法的實(shí)現(xiàn)難度。但考慮到PC機(jī)體型大不便于普及 應(yīng)用，隨著嵌入式技術(shù)的發(fā)展，相關(guān)的硬件平臺(tái)性能進(jìn)一步提升，讓嵌入式平臺(tái)對(duì)于視覺(jué)圖 像處理相關(guān)應(yīng)用也能夠較好的支持。而且嵌入式本身具有低功耗和低成本的特點(diǎn)，使得基 于嵌入式技術(shù)的視覺(jué)測(cè)量系統(tǒng)受到了越來(lái)越多的關(guān)注。因此，研究一種高效可靠的單目視 覺(jué)位姿測(cè)量系統(tǒng)很有必要。 【實(shí)用新型內(nèi)容】
[0009] 本實(shí)用新型提供了一種基于合作目標(biāo)的單目視覺(jué)位姿測(cè)量系統(tǒng)，解決了【背景技術(shù)】 中的不足，該系統(tǒng)提供了一種硬件平臺(tái)，能夠與算法相結(jié)合，從而實(shí)現(xiàn)單目視覺(jué)位姿精確測(cè) 量。
[0010] 實(shí)現(xiàn)本實(shí)用新型上述目的所采用的技術(shù)方案為：
[0011] -種單目視覺(jué)位姿測(cè)量系統(tǒng)，至少包括合作目標(biāo)模板、位姿圖像采集單元、圖像處 理單元、電源及顯示存儲(chǔ)單元，合作目標(biāo)模板搭載在目標(biāo)物上，所述的合作目標(biāo)模板為四個(gè) 共面的圓環(huán)，且四個(gè)圓環(huán)的面積大小均不相同；所述的位姿圖像采集單元為基于USB接口的 COMS相機(jī)，所述COMS相機(jī)中包括圖像傳感部分、信號(hào)讀出電路和控制電路，圖像傳感部分、 信號(hào)讀出電路和控制電路集成在一塊忍片上，位姿圖像采集單元與圖像處理單元相連接， 將位姿圖像數(shù)據(jù)通過(guò)USB接口輸出至圖像處理單元;所述的圖像處理單元設(shè)置有用于接收 位姿圖像數(shù)據(jù)的USB接口和用于傳輸數(shù)據(jù)的網(wǎng)口或串口，所述的圖像處理單元采用TI公司 的STM320DM814如則牛平臺(tái)，其內(nèi)部集成了ARM和DSP的異構(gòu)雙核處理器；圖像處理單元與顯 示存儲(chǔ)單元連接，所述的電源與圖像處理單元連接并給圖像處理單元供電。
[0012] 所述的顯示存儲(chǔ)單元為顯示屏加 SD卡，或者為PC端。
[001引與現(xiàn)有技術(shù)相比，本實(shí)用新型采用乂0MS+ARM+DSP"架構(gòu)來(lái)構(gòu)建視覺(jué)測(cè)量硬件平 臺(tái)?；赨SB接口的COMS相機(jī)不需要額外的采集設(shè)備即可獲得實(shí)時(shí)無(wú)壓縮視頻數(shù)據(jù)和對(duì)圖 像的捕捉。TI公司的達(dá)芬奇系列處理器集成了 ARM和DSP的異構(gòu)雙核處理器，使得達(dá)芬奇處 理器具備了 ARM和DSP各自的優(yōu)勢(shì)，ARM作為主控處理器，負(fù)責(zé)外設(shè)和數(shù)據(jù)采集功能，DSP因其 具備高效的運(yùn)算能力，用于位姿解算處理?？朔藗鹘y(tǒng)基于PC端視覺(jué)檢測(cè)技術(shù)中，針對(duì)應(yīng)用 于特殊環(huán)境時(shí)體積過(guò)大，不便于攜帶等問(wèn)題，同時(shí)也避免了基于普通嵌入式平臺(tái)實(shí)時(shí)性和 效率不好的問(wèn)題。具有低功耗和低成本的特點(diǎn)，能很好地滿足應(yīng)用需求。本系統(tǒng)所結(jié)合的算 法在位姿測(cè)量方法上提出采用化SU法進(jìn)行二值化，相比傳統(tǒng)的方法，Otsu法在嵌入式平臺(tái) 運(yùn)行效率更高。同時(shí)，因?yàn)閮商麍D像的差別不大，本系統(tǒng)計(jì)算闊值時(shí)可W采用上一帖計(jì)算好 的值，運(yùn)樣計(jì)算闊值和二值化可W并行進(jìn)行，速度可W極大提高。
【附圖說(shuō)明】

[0014] 圖1為本實(shí)用新型提供的位姿測(cè)量系統(tǒng)的原理框圖；
[0015] 圖2為算法流程圖；
[0016] 圖3為坐標(biāo)轉(zhuǎn)換圖；
[0017] 圖4為數(shù)據(jù)傳輸圖。
【具體實(shí)施方式】
[0018] 下面結(jié)合附圖對(duì)本實(shí)用新型做詳細(xì)具體的說(shuō)明，但是本實(shí)用新型的保護(hù)范圍并不 局限于W下實(shí)施例。
[0019] 本實(shí)用新型提供的位姿測(cè)量系統(tǒng)分為五個(gè)部分:合作目標(biāo)模板，位姿圖像采集單 元、圖像處理單元、電源及顯示和存儲(chǔ)單元。整個(gè)系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。
[0020] (1)合作目標(biāo)模板:本系統(tǒng)在使用時(shí)合作目標(biāo)模板搭載在目標(biāo)物上，所述的合作目 標(biāo)模板采用含四個(gè)共面圓環(huán)標(biāo)志作為合作目標(biāo)模板，為便于識(shí)別圓的對(duì)應(yīng)關(guān)系，四個(gè)圓環(huán) 的面積大小均設(shè)為不同。
[0021] (2)位姿圖像采集單元:本設(shè)計(jì)方案采用基于USB接口的COMS相機(jī)獲取位姿圖像， 所述COMS相機(jī)中包括圖像傳感部分、信號(hào)讀出電路和控制電路，圖像傳感部分、信號(hào)讀出電 路和控制電路集成在一塊忍片上，位姿圖像采集單元與圖像處理單元相連接，將位姿圖像 數(shù)據(jù)通過(guò)USB接口輸出至圖像處理單元，其輸出的數(shù)據(jù)為1280*1024灰度圖像。
[0022] (3)圖像處理單元:通過(guò)USB接口采集位姿圖像信息，經(jīng)智能圖像處理算法處理后， 將處理結(jié)果和原始圖像通過(guò)顯示單元顯示并通過(guò)存儲(chǔ)單元保存。其中，智能處理算法部分 主要設(shè)及到圖像二值化、特征點(diǎn)提取和位姿解算=部分。
[0023] (4)電源:將市電220V電壓轉(zhuǎn)換DC12V電壓并給DM814如更件平臺(tái)供電。
[0024] (5)顯示和存儲(chǔ)單元：負(fù)責(zé)與圖像處理單元建立連接，實(shí)時(shí)顯示并存儲(chǔ)圖像處理單 元輸出的原始圖像數(shù)據(jù)W及智能算法處理結(jié)果，并可對(duì)相機(jī)參數(shù)及存儲(chǔ)路徑進(jìn)行設(shè)置。通 過(guò)顯示測(cè)試系統(tǒng)精度和可靠性。所述的顯示存儲(chǔ)單元為顯示屏加 SD卡，或者為PC端，還可W 為其他裝置。
[0025] 系統(tǒng)的開(kāi)發(fā)基于TI公司提供的針對(duì)達(dá)芬奇系列忍片ARM+DSP體系結(jié)構(gòu)特點(diǎn)的一整 套軟件組件和框架標(biāo)準(zhǔn)。在此框架下進(jìn)行達(dá)芬奇應(yīng)用開(kāi)發(fā)能夠?qū)崿F(xiàn)ARM和DSP的實(shí)時(shí)通信和 協(xié)調(diào)工作?？蒞簡(jiǎn)化應(yīng)用的開(kāi)發(fā)難度，縮短開(kāi)發(fā)周期，同時(shí)保證了應(yīng)用的可移植性。數(shù)據(jù)傳 輸?shù)木唧w過(guò)程如圖4所示。
[0026] USB接口相機(jī):采集圖像，輸出圖像數(shù)據(jù)。攝像頭內(nèi)部己經(jīng)完成了圖像采集系統(tǒng)中 圖像的采集、轉(zhuǎn)換、輸出功能，最后通過(guò)USB Slave部件整理數(shù)據(jù)并輸出。
[0027] 圖像處理單元:采用TI公司的STM320DM814如更件平臺(tái)，其內(nèi)部集成了 ARM和DSP的 異構(gòu)雙核處理器。本系統(tǒng)中ARM處理器搭載Linux操作系統(tǒng)，作為主控處理器，使用內(nèi)部的 USB化S巧區(qū)動(dòng)接收攝像頭數(shù)據(jù)，就可W獲得完整的圖像或者視頻。通過(guò)USB接口采集來(lái)的圖 像數(shù)據(jù)存放在共享內(nèi)存中，為了優(yōu)化圖像數(shù)據(jù)在內(nèi)存中的存儲(chǔ)，提高系統(tǒng)的實(shí)時(shí)處理能力， 采用抓MA控制器將DSP需要處理的那一帖數(shù)據(jù)從共享內(nèi)存拷貝到DSP data段，同時(shí)將處理 完的結(jié)果傳送回共享內(nèi)存，便于ARM處理器調(diào)用，DSP處理器的CPU只用于圖像數(shù)據(jù)的計(jì)算。 最后ARM處理器將存于共享內(nèi)存的圖片原始數(shù)據(jù)和處理結(jié)果通過(guò)串口或者網(wǎng)口輸出并通過(guò) 顯示存儲(chǔ)單元進(jìn)行顯示和存儲(chǔ)。
[0028] 本實(shí)用新型所提供的系統(tǒng)結(jié)合W下方法進(jìn)行使用，具體的方法如下：
[0029] 基于達(dá)芬奇技術(shù)的單目視覺(jué)位姿測(cè)量方法的流程如圖2所示，具體步驟如下：
[0030] 1、二值化。（格式）
[0031] 在PC端二值化不需要考慮時(shí)間花費(fèi)，一般采用高斯模板進(jìn)行二值化，因嵌入式平 臺(tái)對(duì)速度要求較高，考慮將傳統(tǒng)的使用高斯模板二值化改成使用化SU法來(lái)計(jì)算。Otsu法被 公認(rèn)為是效果最好，應(yīng)用面最廣的二值化方法，對(duì)大多數(shù)樣本都實(shí)用。Otsu法二值化的主要 思想是從圖像的灰度直方圖中把灰度值的集合用闊值T分為兩類，然后根據(jù)兩個(gè)類別的平 均值方差(類間方差)和各類的方差(類內(nèi)方差)的比為最大來(lái)確定闊值T。
[0032] 因?yàn)閮商麍D像的差別不大，闊值可W采用上一帖計(jì)算好的值，運(yùn)樣計(jì)算闊值和二 值化可W并行進(jìn)行，速度可W極大提高。
[0033] 2、輪廓提取
[0034] 首先提取合作目標(biāo)圖片中的所有輪廓，根據(jù)圓的性質(zhì)依次檢驗(yàn)是否為圓，若是圓 則提取質(zhì)屯、。理論上來(lái)講，輪廓的大小不一，那么不同的輪廓上的像素點(diǎn)總數(shù)會(huì)有很大的差 別。4個(gè)圓環(huán)的輪廓上的像素點(diǎn)的總數(shù)滿足一定的范圍，遍歷所有的輪廓，判斷是否輪廓的 像素點(diǎn)總數(shù)處于一個(gè)范圍。通過(guò)像素點(diǎn)總數(shù)，過(guò)濾掉一部分不可能是圓的輪廓，運(yùn)樣可W進(jìn) 一步簡(jiǎn)化計(jì)算。圓的面積S等于31 丫 2,周長(zhǎng)C等于如r，不難發(fā)現(xiàn)
，運(yùn)用運(yùn)個(gè)比例關(guān)系， 我們可W識(shí)別該輪廓是否為圓。由于提取的輪廓存在噪聲點(diǎn)，提取的圓的輪廓不會(huì)嚴(yán)格的 滿足運(yùn)個(gè)比例關(guān)系，但是實(shí)際的比例在1的左右不會(huì)有太大的波動(dòng)。根據(jù)W上方法可W快速 檢測(cè)目標(biāo)圓。采用RANSAC算法進(jìn)行圓曲線擬合，確定圓屯、。根據(jù)圓環(huán)面積大小依次排序，找 到圓環(huán)間位置對(duì)應(yīng)關(guān)系。
[00巧]3位姿解算
[0036] 根據(jù)前面圖像處理得到的特征參數(shù)結(jié)合相機(jī)標(biāo)定參數(shù)求解相對(duì)位姿。如圖3所示， 建立圖像坐標(biāo)與空間位置之間的相互關(guān)系。Ow表示實(shí)物空間坐標(biāo)系，Oc表示相機(jī)坐標(biāo)系原 點(diǎn)，（u，v)表示成像平面。
[0037] 從Ow坐標(biāo)系到化，V)成像平面之間的轉(zhuǎn)換關(guān)系如公式（1)，即相機(jī)成像模型。其中， R和T分別表示相機(jī)坐標(biāo)系和世界坐標(biāo)系的姿態(tài)和位置變換矩陣。f是相機(jī)焦距，山和dy是像 元在xy方向上的尺寸。利用提取的合作目標(biāo)中的圓屯、坐標(biāo)和相應(yīng)的相點(diǎn)坐標(biāo)構(gòu)成二維成像 平面和S維實(shí)物空間匹配點(diǎn)對(duì)。結(jié)合公式（1)中的相機(jī)內(nèi)外參數(shù)矩陣，利用P4P算法進(jìn)行位 姿解算，得到合作目標(biāo)的位姿信息。
[00；3 引 (D。
【主權(quán)項(xiàng)】
1. 一種單目視覺(jué)位姿測(cè)量系統(tǒng)，至少包括合作目標(biāo)模板、位姿圖像采集單元、圖像處理 單元、電源及顯示存儲(chǔ)單元，其特征在于:合作目標(biāo)模板搭載在目標(biāo)物上，所述的合作目標(biāo) 模板為四個(gè)共面的圓環(huán)，且四個(gè)圓環(huán)的面積大小均不相同；所述的位姿圖像采集單元為基 于USB接口的COMS相機(jī)，所述COMS相機(jī)中包括圖像傳感部分、信號(hào)讀出電路和控制電路，圖 像傳感部分、信號(hào)讀出電路和控制電路集成在一塊芯片上，位姿圖像采集單元與圖像處理 單元相連接，將位姿圖像數(shù)據(jù)通過(guò)USB接口輸出至圖像處理單元;所述的圖像處理單元設(shè)置 有用于接收位姿圖像數(shù)據(jù)的USB接口和用于傳輸數(shù)據(jù)的網(wǎng)口或串口，所述的圖像處理單元 采用TI公司的STM320DM8148硬件平臺(tái)，其內(nèi)部集成了ARM和DSP的異構(gòu)雙核處理器；圖像處 理單元與顯示存儲(chǔ)單元連接，所述的電源與圖像處理單元連接并給圖像處理單元供電。2. 根據(jù)權(quán)利要求1所述的單目視覺(jué)位姿測(cè)量系統(tǒng)，其特征在于:所述的顯示存儲(chǔ)單元為 顯示屏加 SD卡，或者為PC端。
【文檔編號(hào)】G01C21/00GK205692214SQ201620447304
【公開(kāi)日】2016年11月16日
【申請(qǐng)日】2016年5月17日 公開(kāi)號(hào)201620447304.7, CN 201620447304, CN 205692214 U, CN 205692214U, CN-U-205692214, CN201620447304, CN201620447304.7, CN205692214 U, CN205692214U
【發(fā)明人】張莉君, 羅小依, 姜珺, 李能
【申請(qǐng)人】中國(guó)地質(zhì)大學(xué)（武漢）