專利名稱：考慮比例跟蹤圖像補(bǔ)丁的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
下面的描述涉及使用圖像的機(jī)器人定位。
背景技術(shù)：
廣泛地來(lái)說(shuō)，機(jī)器人是自己能夠做任務(wù)的自治機(jī)器。機(jī)器人的有用性可歸功于其 在極端情況下或在對(duì)人危險(xiǎn)的區(qū)域中的工作性能。具體地講，可行走和清潔房子的移動(dòng)機(jī) 器人正變得越來(lái)越受歡迎。這種移動(dòng)機(jī)器人具有包括定位的多種功能。移動(dòng)機(jī)器人可基于從安裝在移動(dòng)機(jī)器 人上的相機(jī)捕獲的圖像來(lái)定位它自己。同時(shí)定位和地圖創(chuàng)建(SLAM)是移動(dòng)機(jī)器人使用的 典型技術(shù)，以基于圖像跟蹤其當(dāng)前位置。SLAM允許通過(guò)在初始圖像中注冊(cè)特征點(diǎn)并跟蹤與注冊(cè)的特征點(diǎn)相應(yīng)的圖像在后 續(xù)圖像中的位置，基于在圖像幀之間特征點(diǎn)的位置關(guān)系，來(lái)找到機(jī)器人的位置。為了找到機(jī)器人的位置，需要在圖像幀之間跟蹤特征點(diǎn)的位置。通常通過(guò)當(dāng)特征 點(diǎn)初始被注冊(cè)時(shí)存儲(chǔ)特征點(diǎn)周圍的特定區(qū)域的圖像補(bǔ)丁(imag印atch)，并在后續(xù)幀中定位 存儲(chǔ)的圖像補(bǔ)丁，來(lái)跟蹤特征點(diǎn)。

發(fā)明內(nèi)容
下面的描述涉及一種考慮比例(scale)跟蹤圖像補(bǔ)丁的方法和設(shè)備，所述方法和 設(shè)備能夠執(zhí)行圖像補(bǔ)丁的更準(zhǔn)確的跟蹤，并縮短跟蹤時(shí)間。因此，在一個(gè)一般方面，提供了一種圖像補(bǔ)丁跟蹤器，所述圖像補(bǔ)丁跟蹤器包括 比例不變指數(shù)(SII)計(jì)算單元，對(duì)注冊(cè)的圖像補(bǔ)丁計(jì)算SII，基于與比例改變有關(guān)的像素值 改變定義所述SII ；比例特性確定單元，如果SII小于閾值，則比例特性確定單元將注冊(cè)的 圖像補(bǔ)丁確定為比例不變的圖像補(bǔ)丁 ；如果SII不小于所述閾值，則比例特性確定單元將 注冊(cè)的圖像補(bǔ)丁確定為比例變化的圖像補(bǔ)丁。所述圖像補(bǔ)丁跟蹤器還可包括圖像補(bǔ)丁跟蹤單元，如果注冊(cè)的圖像補(bǔ)丁被確定 為比例不變的圖像補(bǔ)丁，則圖像補(bǔ)丁跟蹤單元調(diào)整注冊(cè)的圖像補(bǔ)丁的位置以在接收的圖像 內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁 ；如果注冊(cè)的圖像補(bǔ)丁被確定為比例變化的圖像補(bǔ)丁，則圖像補(bǔ)丁 跟蹤單元調(diào)整注冊(cè)的圖像補(bǔ)丁的位置和尺寸以在接收的圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁。SII可被定義為每個(gè)比例參考點(diǎn)的最小均方像素值改變。在另一個(gè)一般方面，提供了一種考慮比例跟蹤圖像補(bǔ)丁的方法，所述方法包括 對(duì)注冊(cè)的圖像補(bǔ)丁計(jì)算比例不變指數(shù)(SII)，基于與比例改變有關(guān)的像素值改變定義所述 SII ；如果SII小于閾值，則將注冊(cè)的圖像補(bǔ)丁確定為比例不變的圖像補(bǔ)丁 ；如果SII不小 于所述閾值，則將注冊(cè)的圖像補(bǔ)丁確定為比例變化的圖像補(bǔ)丁。
計(jì)算SII的步驟可包括在注冊(cè)的圖像補(bǔ)丁內(nèi)設(shè)置至少一個(gè)比例參考點(diǎn)；對(duì)每個(gè) 比例參考點(diǎn)計(jì)算與比例改變有關(guān)的均方像素值改變，并選擇計(jì)算結(jié)果中的最小值作為比例 不變指數(shù)。所述方法還可包括如果注冊(cè)的圖像補(bǔ)丁被確定為比例不變的圖像補(bǔ)丁，則調(diào)整 注冊(cè)的圖像補(bǔ)丁的位置以在接收的圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁 ；如果注冊(cè)的圖像補(bǔ)丁被確 定為比例變化的圖像補(bǔ)丁，則調(diào)整注冊(cè)的圖像補(bǔ)丁的位置和尺寸以在接收的圖像內(nèi)跟蹤注 冊(cè)的圖像補(bǔ)丁。

從下面詳細(xì)的描述、附圖和權(quán)利要求，其他特征和方面將是清楚的。


圖1是根據(jù)本發(fā)明示例性實(shí)施例的機(jī)器人定位系統(tǒng)的框圖。圖2示出根據(jù)本發(fā)明示例性實(shí)施例的比例不變的圖像補(bǔ)丁。圖3示出根據(jù)本發(fā)明示例性實(shí)施例的比例變化的圖像補(bǔ)丁。圖4是根據(jù)本發(fā)明示例性實(shí)施例的圖像補(bǔ)丁跟蹤器的框圖。圖5示出根據(jù)本發(fā)明示例性實(shí)施例的比例不變指數(shù)(SII)。圖6示出根據(jù)本發(fā)明示例性實(shí)施例獲取的圖像。圖7是根據(jù)本發(fā)明示例性實(shí)施例的考慮比例跟蹤圖像補(bǔ)丁的方法的流程圖。在整個(gè)附圖和詳細(xì)描述中，用相同的標(biāo)號(hào)表示元件、特征和結(jié)構(gòu)，在附圖中，為了 清晰和方便，可放大一些元件的大小和比例。
具體實(shí)施例方式提供了下面的詳細(xì)描述，以幫助讀者獲得對(duì)這里描述的方法、設(shè)備和/或系統(tǒng)的 全面理解。對(duì)本領(lǐng)域的普通技術(shù)人員而言，這里描述的系統(tǒng)、設(shè)備和/或方法的各種改變、 修改和等同物將自我暗示。參照附圖的下面的描述提供了根據(jù)本發(fā)明實(shí)施例的裝置和方法 的說(shuō)明性的示例。這種描述僅僅是為了說(shuō)明的目的，而不是為了限制的目的。為了增強(qiáng)清 晰和簡(jiǎn)要，將省略對(duì)已知功能和結(jié)構(gòu)的描述。圖1是根據(jù)本發(fā)明示例性實(shí)施例的機(jī)器人定位系統(tǒng)的框圖。機(jī)器人定位系統(tǒng)100可包括成像單元101、特征點(diǎn)提取單元102、補(bǔ)丁注冊(cè)單元 103、存儲(chǔ)器104、補(bǔ)丁跟蹤單元105和位置計(jì)算單元106。當(dāng)機(jī)器人到處移動(dòng)以執(zhí)行特定任務(wù)時(shí)，成像單元101以規(guī)則間隔捕獲機(jī)器人周圍 的圖像。例如，成像單元101可通過(guò)檢測(cè)前方物體反射的光，并將光轉(zhuǎn)換成數(shù)字信號(hào)，來(lái)獲 取前向圖像。為此，成像單元101可包括圖像傳感器(例如，CCD (電荷耦合裝置)圖像傳 感器或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器)和圖像處理模塊，所述圖像處理模塊從自 圖像傳感器接收的輸出產(chǎn)生二維(2D)圖像。特征點(diǎn)提取單元102從自成像單元101獲取的圖像中提取特征點(diǎn)。例如，特征點(diǎn) 提取單元102可使用Harris角點(diǎn)檢測(cè)(Harris corner detection)從圖像中提取對(duì)象的 角點(diǎn)作為特征點(diǎn)。補(bǔ)丁注冊(cè)單元103將圖像補(bǔ)丁注冊(cè)到存儲(chǔ)器104。圖像補(bǔ)丁可以是與提取的特征 點(diǎn)周圍的區(qū)域相應(yīng)的部分圖像。
補(bǔ)丁跟蹤單元105在從成像單元101獲取的圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁。例如， 當(dāng)機(jī)器人到處移動(dòng)時(shí)，在機(jī)器人的先前位置獲取的圖像可能與在機(jī)器人的當(dāng)前位置獲取的 圖像不同。補(bǔ)丁跟蹤單元105可從在當(dāng)前位置獲取的圖像中提取與在先前位置注冊(cè)的圖像 補(bǔ)丁基本相同的圖像補(bǔ)丁。如果在當(dāng)前位置獲取的圖像中找到了注冊(cè)的圖像補(bǔ)丁，則位置計(jì)算單元106在注 冊(cè)的圖像補(bǔ)丁和提取的圖像補(bǔ)丁之間匹配特征點(diǎn)，以計(jì)算機(jī)器人的位置?？赏ㄟ^(guò)使用算法 (例如，基于擴(kuò)展的Kalman濾波器(EKF)或基于粒子的同時(shí)定位和地圖創(chuàng)建(SLAM))來(lái)計(jì) 算機(jī)器人的位置。在當(dāng)前實(shí)施例中，當(dāng)在圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁時(shí)，補(bǔ)丁跟蹤單元105可根據(jù) 注冊(cè)的圖像補(bǔ)丁的比例特性來(lái)僅調(diào)整圖像補(bǔ)丁的位置或調(diào)整圖像補(bǔ)丁的位置和比例，以掃 描圖像。可將圖像補(bǔ)丁的比例特性劃分成比例不變和比例變化。例如，對(duì)于比例變化的圖像補(bǔ)丁，可使用自由度為2的參數(shù)(例如，χ坐標(biāo)變量和y 坐標(biāo)變量)來(lái)跟蹤圖像補(bǔ)丁 ；對(duì)于比例變化的圖像補(bǔ)丁，可使用自由度為3的參數(shù)(例如， χ坐標(biāo)變量、y坐標(biāo)變量和比例變量)來(lái)跟著圖像補(bǔ)丁。圖2示出根據(jù)本發(fā)明示例性實(shí)施例的比例不變的圖像補(bǔ)丁。參照?qǐng)D2，比例不變的圖像補(bǔ)丁表示在從圖像補(bǔ)丁 201中的比例參考點(diǎn)202按比例 放大或按比例縮小之前和之后圖像的形狀基本保持相同的圖像補(bǔ)丁。比例參考點(diǎn)202可被 定義為用于按比例放大或按比例縮小的參考點(diǎn)。圖像補(bǔ)丁 201內(nèi)的任何點(diǎn)都可被設(shè)置為比 例參考點(diǎn)202。從圖2可看出，當(dāng)圖像補(bǔ)丁 201關(guān)于比例參考點(diǎn)202被放大成圖像補(bǔ)丁 203時(shí)，放 大的圖像補(bǔ)丁 203與原始的圖像補(bǔ)丁 201在形狀上基本相同。如果比例參考點(diǎn)202被設(shè)置 為不同點(diǎn)，則放大的圖像補(bǔ)丁 203可與原始的圖像補(bǔ)丁 201在形狀上不同。然而，如果圖像 補(bǔ)丁關(guān)于至少一個(gè)比例參考點(diǎn)202在形狀上沒(méi)有改變，則可認(rèn)為該圖像補(bǔ)丁是比例不變的 圖像補(bǔ)丁。如果注冊(cè)的圖像補(bǔ)丁是如圖2所示的比例不變的圖像補(bǔ)丁，則補(bǔ)丁跟蹤單元 105 (參看圖1)可通過(guò)簡(jiǎn)單地調(diào)整圖像補(bǔ)丁的位置來(lái)跟蹤圖像補(bǔ)丁。圖3示出根據(jù)本發(fā)明示例性實(shí)施例的比例變化的圖像補(bǔ)丁。參照?qǐng)D3，比例變化的圖像補(bǔ)丁表示在從圖像補(bǔ)丁 301中的比例參考點(diǎn)302按比例 放大或按比例縮小之前和之后圖像的形狀改變的圖像補(bǔ)丁。比例參考點(diǎn)302可被定義為用 于按比例放大或按比例縮小的參考點(diǎn)。圖像補(bǔ)丁 301內(nèi)的任何點(diǎn)都可被設(shè)置為比例參考點(diǎn) 302。從圖3可看出，盡管在圖像補(bǔ)丁 301內(nèi)的任何點(diǎn)設(shè)置比例參考點(diǎn)302，但放大的圖 像補(bǔ)丁 303與原始的圖像補(bǔ)丁 301在形狀上不同。如果注冊(cè)的圖像補(bǔ)丁是圖3中顯示的比例變化的圖像補(bǔ)丁，則補(bǔ)丁跟蹤單元 105(參看圖1)可通過(guò)調(diào)整圖像補(bǔ)丁的位置和比例來(lái)跟蹤圖像補(bǔ)丁。圖4是根據(jù)本發(fā)明示例性實(shí)施例的圖像補(bǔ)丁跟蹤器的框圖。 圖像補(bǔ)丁跟蹤器400可包括比例不變指數(shù)(SII)計(jì)算單元401、比例特性確定單元 402和圖像補(bǔ)丁跟蹤單元403。SII計(jì)算單元401計(jì)算注冊(cè)的圖像補(bǔ)丁的比例不變指數(shù)。比例不變指數(shù)與注冊(cè)的圖像補(bǔ)丁的比例特性有關(guān)，指示與比例改變有關(guān)的圖像改變。可基于與比例改變有關(guān)的圖 像補(bǔ)丁的像素值的均方強(qiáng)度改變(mean of squaredintensity，MSI)來(lái)定義SII。MSI可根 據(jù)圖像補(bǔ)丁內(nèi)的比例參考點(diǎn)的位置而改變。SII可以是關(guān)于每個(gè)比例參考點(diǎn)計(jì)算的MSI值 中的最小值。這將在下面詳細(xì)描述。比例特性確定單元402基于計(jì)算的SII確定注冊(cè)的圖像補(bǔ)丁的比例特性。例如， 比例特性確定單元402可將計(jì)算的SII與預(yù)定閾值(例如，大約800 1000)進(jìn)行比較，并 將注冊(cè)的圖像補(bǔ)丁確定為比例不變的圖像補(bǔ)丁或比例變化的圖像補(bǔ)丁。如果SII小于所述 閾值，則將注冊(cè)的圖像補(bǔ)丁確定為如圖2所示的比例不變的圖像補(bǔ)丁。如果SII不小于所 述閾值，則將注冊(cè)的圖像補(bǔ)丁確定為如圖3所示的比例變化的圖像補(bǔ)丁。圖像補(bǔ)丁跟蹤單元403基于注冊(cè)的圖像補(bǔ)丁的比例特性在接收的圖像內(nèi)跟蹤注 冊(cè)的圖像補(bǔ)丁。例如，圖像補(bǔ)丁跟蹤單元403可基于Lucas-Kanade算法在圖像內(nèi)定位注冊(cè) 的圖像補(bǔ)丁。在這種情況下，如果注冊(cè)的圖像補(bǔ)丁是比例不變的圖像補(bǔ)丁，則調(diào)整注冊(cè)的圖 像補(bǔ)丁的位置，以跟蹤注冊(cè)的圖像補(bǔ)丁 ；如果注冊(cè)的圖像補(bǔ)丁是比例變化的圖像補(bǔ)丁，則調(diào) 整注冊(cè)的圖像補(bǔ)丁的位置和比例，以跟蹤注冊(cè)的圖像補(bǔ)丁。圖5示出根據(jù)本發(fā)明示例性實(shí)施例的比例不變指數(shù)(SII)。將參照?qǐng)D5描述計(jì)算SII的方法。 如下定義MSI:MSi=丄 二(x,^-m+y^m)...(1)
ηoxoy其中，Xi= (xi; Yi)，η 補(bǔ)丁的像素?cái)?shù)。在等式1中，將MSI定義為與比例改變有關(guān)的圖像補(bǔ)丁 501的均方強(qiáng)度改變。術(shù) 語(yǔ)強(qiáng)度可表示圖像補(bǔ)丁 501的每個(gè)像素值。在等式1中，通過(guò)將比例參考點(diǎn)設(shè)置為圖像補(bǔ)丁 501的中心點(diǎn)502來(lái)確定MSI。然 而，如果將比例參考點(diǎn)設(shè)置為與圖像補(bǔ)丁 501的中心點(diǎn)502不同的點(diǎn)，則MSI可改變。因此，可考慮比例參考點(diǎn)如下定義MSI
1 令fdTr 、，， 、dT\ 、丫順卜-、沽⑷+以—凡^⑷]
".(2)在等式2中，術(shù)語(yǔ)Xtl和表示比例參考點(diǎn)。即，在等式2中，可根據(jù)比例參考點(diǎn)計(jì) 算多個(gè)MSI。在這種情況下，可將SII定義為最小的MSI，SII如下所示
I “ fQTQT VSII = min-λ·。)了(x;) + (》，,->，。)^(x,:)
LUU30」 λ η TTflvοχογ J
‘ …⑶在等式3中，可通過(guò)使用下面的線性最小二乘法來(lái)找到SII SlI = -(JrX0 "-J5JrCJiX0 -Ji)
ηX0 =( JfJfT1 JfJi
其中，
權(quán)利要求
1.一種圖像補(bǔ)丁跟蹤器，包括比例不變指數(shù)SII計(jì)算單元，對(duì)注冊(cè)的圖像補(bǔ)丁計(jì)算SII，基于與比例改變有關(guān)的像素 值改變來(lái)定義所述SII ；比例特性確定單元，如果SII小于閾值，則比例特性確定單元將注冊(cè)的圖像補(bǔ)丁確定 為比例不變的圖像補(bǔ)丁，如果SII不小于所述閾值，則比例特性確定單元將注冊(cè)的圖像補(bǔ) 丁確定為比例變化的圖像補(bǔ)丁。
2.如權(quán)利要求1所述的圖像補(bǔ)丁跟蹤器，其中，與比例改變有關(guān)的像素值改變根據(jù)比 例參考點(diǎn)的位置而變化，其中所述比例參考點(diǎn)被定義為用于按比例放大或按比例縮小注冊(cè) 的圖像補(bǔ)丁的參考點(diǎn)，SII被定義為每個(gè)比例參考點(diǎn)的均方像素值改變的最小值。
3.如權(quán)利要求2所述的圖像補(bǔ)丁跟蹤器，其中，SII計(jì)算單元在注冊(cè)的圖像補(bǔ)丁內(nèi)設(shè)置 至少一個(gè)比例參考點(diǎn)，對(duì)每個(gè)比例參考點(diǎn)計(jì)算與比例改變有關(guān)的均方像素值改變，并選擇 計(jì)算結(jié)果中的最小的一個(gè)作為比例不變指數(shù)。
4.如權(quán)利要求1所述的圖像補(bǔ)丁跟蹤器，還包括圖像補(bǔ)丁跟蹤單元，如果注冊(cè)的圖像 補(bǔ)丁被確定為比例不變的圖像補(bǔ)丁，則圖像補(bǔ)丁跟蹤單元調(diào)整注冊(cè)的圖像補(bǔ)丁的位置以在 接收的圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁 ；如果注冊(cè)的圖像補(bǔ)丁被確定為比例變化的圖像補(bǔ)丁， 則圖像補(bǔ)丁跟蹤單元調(diào)整注冊(cè)的圖像補(bǔ)丁的位置和比例以在接收的圖像內(nèi)跟蹤注冊(cè)的圖 像補(bǔ)丁。
5.一種考慮比例跟蹤圖像補(bǔ)丁的方法，包括對(duì)注冊(cè)的圖像補(bǔ)丁計(jì)算比例不變指數(shù)SII，基于與比例改變有關(guān)的像素值改變來(lái)定義 所述SII ；如果SII小于閾值，則將注冊(cè)的圖像補(bǔ)丁確定為比例不變的圖像補(bǔ)丁，如果SII不小于 所述閾值，則將注冊(cè)的圖像補(bǔ)丁確定為比例變化的圖像補(bǔ)丁。
6.如權(quán)利要求5所述的方法，其中，與比例改變有關(guān)的像素值改變根據(jù)比例參考點(diǎn)的 位置而變化，其中所述比例參考點(diǎn)被定義為用于按比例放大或按比例縮小注冊(cè)的圖像補(bǔ)丁 的參考點(diǎn)，SII被定義為每個(gè)比例參考點(diǎn)的最小均方像素值改變。
7.如權(quán)利要求6所述的方法，其中，計(jì)算SII的步驟包括在注冊(cè)的圖像補(bǔ)丁內(nèi)設(shè)置至少一個(gè)比例參考點(diǎn)；對(duì)每個(gè)比例參考點(diǎn)計(jì)算與比例改變有關(guān)的均方像素值改變，并選擇計(jì)算結(jié)果中最小的 一個(gè)作為比例不變指數(shù)。
8.如權(quán)利要求5所述的方法，所述方法還包括如果注冊(cè)的圖像補(bǔ)丁被確定為比例不變的圖像補(bǔ)丁，則調(diào)整注冊(cè)的圖像補(bǔ)丁的位置以 在接收的圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)??；如果注冊(cè)的圖像補(bǔ)丁被確定為比例變化的圖像補(bǔ)丁，則調(diào)整注冊(cè)的圖像補(bǔ)丁的位置和 比例以在接收的圖像內(nèi)跟蹤注冊(cè)的圖像補(bǔ)丁。
全文摘要
提供了一種考慮比例跟蹤圖像補(bǔ)丁的方法和設(shè)備。可根據(jù)預(yù)定比例不變指數(shù)(SII)將注冊(cè)的圖像補(bǔ)丁劃分成比例不變的圖像補(bǔ)丁和比例變化的圖像補(bǔ)丁。如果圖像內(nèi)的注冊(cè)的圖像補(bǔ)丁是比例不變的圖像補(bǔ)丁，則通過(guò)調(diào)整注冊(cè)的圖像補(bǔ)丁的位置來(lái)跟蹤比例不變的圖像補(bǔ)??；如果注冊(cè)的圖像補(bǔ)丁是比例變化的圖像補(bǔ)丁，則通過(guò)調(diào)整注冊(cè)的圖像補(bǔ)丁的位置和比例來(lái)跟蹤比例變化的圖像補(bǔ)丁。因此，可執(zhí)行更準(zhǔn)確的跟蹤。
文檔編號(hào)G06T7/20GK102044079SQ201010135629
公開日2011年5月4日 申請(qǐng)日期2010年3月30日 優(yōu)先權(quán)日2009年10月9日
發(fā)明者崔基浣, 樸志瑛, 李炯機(jī) 申請(qǐng)人:三星電子株式會(huì)社