專利名稱：：使用多尺度取向片段的多圖像匹配的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及確定場景的多圖像中的對應(yīng)點，更具體地說，涉及一種快速提取特征并找到場景中大量部分重疊圖像的對應(yīng)特征的系統(tǒng)和過程。
背景技術(shù)：
：在圖像中找到的通常指圖像匹配的對應(yīng)特征是幾乎任何視頻應(yīng)用的基本成分，這些應(yīng)用試圖從多于一個圖像中提取信息。圖像匹配的早期研究分成兩部分一基于特征的方法和直接方法?；谔卣鞯姆椒▏L試提取諸如邊和角的顯著特征，然后使用少量局部信息(例如小圖像片段相關(guān)性)建立匹配[8]。相比僅使用少量有效圖像數(shù)據(jù)的基于特征的方法而言，直接方法嘗試使用所有像素值以迭代排列圖像[1，9]。其他匹配和確定方法已經(jīng)不變地用于特征化對象，有時建立典型幀的方法用于此目的[14，15]。這些方法的交集是不變的特征，該特征使用顯著特征周圍的大量局部圖像數(shù)據(jù)以形成用于索引和匹配的不變描述符。首先研究該領(lǐng)域的是Schmid和Mohr[16]，他們使用一組高斯公差以形成Harris角周圍的循環(huán)不變的描述符。Lowe擴展這方法以結(jié)合尺度恒定性[10，11]。其他研究已經(jīng)開發(fā)了幾何學(xué)變換下不變的特征[3，20，5]。感興趣點檢測器從諸如Harris角或高斯差分(DOG)最大值的標(biāo)準(zhǔn)特征檢測器變化到諸如最大穩(wěn)定區(qū)域[12]和穩(wěn)定局部階段結(jié)構(gòu)[7]的更詳細方法。通常，認(rèn)為感興趣點提取和描述符匹配是兩個基本步驟，并且已經(jīng)關(guān)于感興趣點可重復(fù)性[17]和描述符性能[13]的各種技術(shù)進行評價。這己迫使應(yīng)用程序?qū)碜赃\動[19]和全景成像[6]的結(jié)構(gòu)環(huán)境進行多視角匹配。然而，目前為此，沒有一個這樣的過程提供快速提取特征并找到場景中大量部分重疊圖像的對應(yīng)特征的能力。在前述段落，以及該說明書的其余部分要注意的是，描述參考由包括在括號內(nèi)的數(shù)字指示確定的各種專門出版物。例如，這樣的參考可能由敘述確定，″參考[1]″或僅有″[1]″。多個參考由括號內(nèi)包括多于一個指示確定，例如，[2，3]。包括對應(yīng)每個指示的出版物的參考列表可以在詳細說明部分的結(jié)尾處找到。
發(fā)明內(nèi)容本發(fā)明涉及一種用于根據(jù)新類型不變特征在場景的多圖像中確定對應(yīng)點的系統(tǒng)和過程。該系統(tǒng)和過程能快速提取特征并在場景的大量部分地重疊的圖像中找到對應(yīng)關(guān)系。當(dāng)找到圖像縫合和視頻穩(wěn)定的圖像對應(yīng)關(guān)系時，這技術(shù)完成的相當(dāng)好。它也能容易擴展到更一般的多圖像對應(yīng)，例如，對于從多圖像中跟蹤視頻特征和構(gòu)建3-D模型。更具體地，本系統(tǒng)和過程包括首先確定在改變分辨率的每個圖像中的感興趣點。感興趣點是其在圖像中的位置由至少一個屬于該點周圍預(yù)定尺寸的象素鄰域內(nèi)的象素的屬性值定義的點。此外，每個感興趣點是能夠根據(jù)至少一個屬于該點周圍象素鄰域內(nèi)的象素的屬性值分配唯一取向(它可以是應(yīng)用到定義點位置的相同屬性或特征或另外屬性或特性)。第二個鄰域可以與用于定義該點位置的鄰域具有相同尺寸、或是不同尺寸的鄰域。一旦已經(jīng)確定感興趣點，對于每個感興趣點建立描述符。這個描述符以實際不改變圖像位置、取向和尺度，以及改變該點周圍區(qū)域的象素強度的方式特征化每個點。接下來，在各圖像中確定實際匹配描述符集合。然后指定每個在不同圖像中出現(xiàn)的匹配描述符集合相關(guān)的感興趣點作為對應(yīng)點(即描述場景相同部分的點)。關(guān)于確定每個圖像中的感興趣點，對于每個圖像，這可通過首先形成圖像分辨率金字塔來完成。在金字塔的每個級別中，確定表示圖像角特征的位置。例如，在本系統(tǒng)和過程的測試實施例中，使用稱為Harris的角特征。確定角特征位置的一種方法是找到每個角特征的位置，該位置顯示出角強度，它是該位置中心的預(yù)定最小鄰域半徑的象素鄰域的局部最大值并超過預(yù)定最小強度閾值。如果確定的角位置的總數(shù)超過預(yù)定最大數(shù)，則鄰域半徑增加一些預(yù)定整數(shù)值并確定是否每個先前確定位置的角強度仍然是當(dāng)前要考慮的象素鄰域的局部最大值并仍然超過最小強度閾值。如果兩個條件都不滿足，從考慮中刪除角位置。一旦所有角位置已經(jīng)重復(fù)測試，它重新確定是否總數(shù)超過最大允許值。如果超過，再次增加半徑并且重復(fù)前述過程。這交替過程繼續(xù)，直到角位置數(shù)目等于或降到最大允許值。在該點上，每個剩余的確定位置指定作為表示分開的角特征。每個剩余角特征的位置可以通過分配其位置提煉，其中示出要考慮的確定位置中心的預(yù)定尺寸局部鄰域上適合的二維方形表面的最大強度。每個剩余的角特征也分配取向。在本系統(tǒng)和過程的測試實施例中，這通過使用模糊梯度方法完成。最后，每個剩余的角特征的確定位置指定作為具有計算用于相關(guān)角特征的取向的分離的感興趣點。關(guān)于對于每個感興趣點產(chǎn)生描述符，這可通過首先建立要考慮的感興趣點位置中心的預(yù)定p×p大小的描述符區(qū)域完成，它是根據(jù)感興趣點取向進行取向。接下來，預(yù)定大小d×d描述符矢量形成，該矢量是小于描述符區(qū)域并且使用在該區(qū)域中的象素的強度值的雙線性內(nèi)差以通過從適當(dāng)金字塔級取樣避免偏差的方式取樣。然后，描述符矢量關(guān)于偏差和增益規(guī)格化，并在規(guī)格化的描述符矢量上實施Haar子波變換以產(chǎn)生變換的矢量。對于在圖像中找到實際匹配的描述符，這通常通過匹配每個變換的描述符矢量到特征空間中的它最近鄰的預(yù)定數(shù)來完成。完成該工作的一種方法是首先從每個變換的描述符矢量的三個非零子波系數(shù)的前個產(chǎn)生三維散列表。然后，對于散列表的每個結(jié)點(bin)，計算其中找到的每個三系數(shù)矢量的距離。依次選擇每個三系數(shù)矢量并根據(jù)計算距離確定相同結(jié)點(bin)的最近鄰的預(yù)定數(shù)，但它與選擇的矢量相同圖像無關(guān)。這形成潛在匹配矢量集合。這些集合中的每個矢量有關(guān)的感興趣點在這些圖像中指定作為對應(yīng)點。在匹配過程的測試實施例中，構(gòu)造每維10結(jié)點(bin)的散列表，每個結(jié)點(bin)具有一半的重疊區(qū)域。注意到，作為確定每個矢量最近鄰的可選預(yù)定數(shù)，在相同結(jié)點(bin)中發(fā)現(xiàn)分別與每個圖像相關(guān)的最近鄰，除了要考慮的矢量相關(guān)的圖像外，還要達到每個圖像的預(yù)定數(shù)，可以確定替代以形成潛在匹配矢量集合。指定每個潛在匹配矢量集合中矢量相關(guān)的感興趣點作為對應(yīng)點，它可能錯誤地刪除確定的匹配。通常，如果與其相關(guān)的感興趣點實際上不對應(yīng)在相同矢量集合中與另外三系數(shù)矢量相關(guān)的另外圖像的感興趣點，則必須從考慮為潛在匹配矢量中刪除任何三系數(shù)矢量。它可以多種方式完成。對于每個匹配矢量集合，一種方式必須首先為每個集合計算異常距離，然后確定是否該集合中計算的任何匹配矢量距離大于異常距離的65％。如果發(fā)現(xiàn)匹配矢量的距離大于異常距離的65％，刪除考慮作為相應(yīng)圖像點。該排除策略指的是使用異常距離約束的異常排除。另一種錯誤地從集合中刪除匹配矢量的方式是完成標(biāo)準(zhǔn)幾何異常排除過程和刪除與任何矢量有關(guān)的作為對應(yīng)點的發(fā)現(xiàn)為異常的感興趣點。本質(zhì)上，這個幾何異常排除過程包括找到兩個圖像中所有點最佳匹配的變換和當(dāng)變換時排除特定誤差中不對應(yīng)的點。它也可能使用前述兩種排除技術(shù)。例如，在本系統(tǒng)和過程的測試實施例中，使用異常距離約束的排除策略首先遵循幾何異常排除過程。除上述描述的優(yōu)勢外，當(dāng)結(jié)合附圖，本發(fā)明的其他優(yōu)點從下文的詳細說明書中變得更明顯。參照下述說明、附加權(quán)利要求和附圖，本發(fā)明的特定特征、方面和優(yōu)點將變得更好理解。圖1是描述構(gòu)成用于實施本發(fā)明的示例性系統(tǒng)的通用計算設(shè)備的圖。圖2是圖解根據(jù)本發(fā)明確定相同場景的多圖像中對應(yīng)點的整個過程的流程圖。圖3是比較調(diào)和平均值感興趣點檢測功能和Harris與Shi-Tomasi功能的等輪廓(isocontour)圖。圖4是演示具有子象素位置和沒有子象素位置的感興趣點重復(fù)性的圖。圖5A-5C是圖示根據(jù)本發(fā)明產(chǎn)生描述符矢量的過程的流程圖。圖6是山脈場景的圖，其中峰值上的感興趣點相關(guān)的描述符區(qū)域示出為白框子，和感興趣點的位置示出作為框子中心的白點以及包括從感興趣點延伸的線以指示分配給該點的取向方向。圖7是示出從圖6的描述符區(qū)域形成的8×8描述的圖像。圖8(a)和8(b)示出具有公共部分的山脈場景的兩個圖像，其中任何異常排除處理前確定的兩個圖像間的相應(yīng)位置示出為白點。圖9(a)和9(b)分別示出在使用異常距離約束的異常排除技術(shù)應(yīng)用后的圖8(a)和8(b)的相同圖像。圖10(a)和10(b)分別示出在應(yīng)用幾何基礎(chǔ)的異常排除技術(shù)后的圖9(a)和9(b)的相同圖像。圖11是使用根據(jù)圖5A-5C產(chǎn)生的描述符矢量在場景的圖像間發(fā)現(xiàn)對應(yīng)點的過程的流程圖。優(yōu)選實施例在下述本發(fā)明的優(yōu)選實施例中，參照構(gòu)成此部分的附圖，并且其中通過示出本發(fā)明可以實施的特定實施例示出。可以理解，在不脫離本發(fā)明范圍情況下，可以利用其他實施例并且可以有結(jié)構(gòu)的變化。1.0計算環(huán)境在提供本發(fā)明的優(yōu)選實施例的描述前，將描述本發(fā)明可以實施的合適計算環(huán)境的簡短、通用描述。圖1示出合適計算系統(tǒng)環(huán)境100的實例。該計算系統(tǒng)環(huán)境100僅是合適計算環(huán)境的一個實例而不試圖建議限制本發(fā)明功能或使用范圍。計算環(huán)境100既不解釋為具有一些任何一個有關(guān)的依賴或要求也不解釋為本示例性操作環(huán)境100中示出的組件的組合。本發(fā)明以大量其他通用或?qū)Ｓ玫挠嬎阆到y(tǒng)環(huán)境或配置運作。公知的適合用于本發(fā)明的計算系統(tǒng)、環(huán)境、和/或配置的實例包括但不限制個人計算機、服務(wù)器計算機、手持式或膝上型設(shè)備、多處理器系統(tǒng)、基于多處理器的系統(tǒng)、機頂盒、可編程消費電子裝置、網(wǎng)絡(luò)PC、小型計算機、大型計算機、任何包括上述系統(tǒng)或設(shè)備的分布式計算環(huán)境等等。本發(fā)明可以在諸如計算機執(zhí)行的程序模塊的計算機可執(zhí)行指令的常規(guī)環(huán)境描述。通常，程序模塊包括例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等等，它們完成特定任務(wù)或執(zhí)行特定抽象數(shù)據(jù)類型。本發(fā)明也可以在分布式計算環(huán)境方面實踐，其中任務(wù)由通過通信網(wǎng)絡(luò)連接的遠程處理設(shè)備實施。在分布式計算環(huán)境中，程序模塊可以位于局部和包括內(nèi)存儲器設(shè)備的遠程計算機存儲介質(zhì)。參照圖1，用于執(zhí)行本發(fā)明的示例性系統(tǒng)包括計算機110形式的通用計算設(shè)備。計算機110的組件包括但不限制處理單元120、系統(tǒng)存儲器130和連接若干包括系統(tǒng)存儲器的系統(tǒng)組件到處理器單元120的系統(tǒng)總線121。系統(tǒng)總線121可以是任何若干種類的總線結(jié)構(gòu)，包括存儲器總線或存儲器控制器、外圍總線和使用各種總線結(jié)構(gòu)的任何一種的局部總線。以實例方式而不是限制，這樣的體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線，微通道體系結(jié)構(gòu)(MCA)總線、增強的ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(VESA)局部總線和外圍組件互連(PCI)總線也公知為多層構(gòu)架總線。計算機110一般地包括各種計算機可讀介質(zhì)。計算機可讀介質(zhì)是計算機110可以訪問的任何可用介質(zhì)并包括易失性和非易失性介質(zhì)，可移動和不可移動介質(zhì)。通過實例而不是限制，計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)和通信介質(zhì)。計算機存儲介質(zhì)包括在任何方法或技術(shù)中實施用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的易失性和非易失性、可移動性和不可移動性介質(zhì)。計算機存儲介質(zhì)包括但不限制于RAM、ROM、EEPROM、快速閃存或其他存儲技術(shù)、CD-ROM、數(shù)字多功能光盤(DVD)或其他光盤存儲、磁卡、磁帶、磁盤存儲器或其他磁存儲設(shè)備，或任何其他可用于存儲想要的信息并可以被計算機110訪問的介質(zhì)。通信介質(zhì)典型地包括計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者調(diào)制數(shù)據(jù)信號中的諸如載波或其他傳輸機制的其他數(shù)據(jù)并包括任何信息傳遞介質(zhì)。術(shù)語″已調(diào)數(shù)據(jù)信號″指的是具有一個或多個其特征設(shè)置或以這種方式變化以便編碼信號中信息的信號。通過實例而不是限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接有線連接的有線介質(zhì)，和諸如聲學(xué)、RF、紅外和其他無線介質(zhì)的無線介質(zhì)。上述任何的組合也應(yīng)當(dāng)包括在計算機可讀介質(zhì)的范圍內(nèi)。系統(tǒng)存儲器130包括諸如只讀存儲器(ROM)131和隨機存取存儲器(RAM)132的易失性和/或非易失性存儲形式的計算機存儲介質(zhì)。包含有助于在計算機110中的元件間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)133(BIOS)，例如在開啟期間，通常存儲在ROM131。RAM132通常包含數(shù)據(jù)和/或程序模塊，它們立即易于訪問處理器單元120和/或很快由處理器單元操作。通過實例而不是限制，圖1示出操作系統(tǒng)134、應(yīng)用程序135、其他程序模塊136和程序數(shù)據(jù)137。計算機110也可包括其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)。僅實例，圖1示出硬盤驅(qū)動141，它讀取來自或?qū)懭氲讲豢梢苿有?、非易失性磁介質(zhì)；磁盤驅(qū)動151，它讀取來自或?qū)懭氲娇梢苿?、非易失性磁盤152；和光盤驅(qū)動155，它讀取來自或?qū)懭氲街T如CD-ROM或其他光介質(zhì)可移動、非易失性光盤156。其他可用于示例性操作環(huán)境的可移動/不可移動的，易失性/非易失性計算機存儲介質(zhì)包括但不限制磁帶框、快閃存卡、數(shù)字多功能盤，數(shù)字錄像帶、固態(tài)RAM，固態(tài)ROM等等。硬盤驅(qū)動141通常通過諸如接口140的不可移動存儲器接口連接到系統(tǒng)總線121，而磁盤驅(qū)動器151和光盤驅(qū)動器155由諸如接口150的可移動存儲器接口連接到系統(tǒng)總線121。上面描述的以及在圖1示出的驅(qū)動器和它們相關(guān)的計算機存儲介質(zhì)提供計算機110的計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖1中，例如，硬盤驅(qū)動141作為存儲操作系統(tǒng)144、應(yīng)用程序145、其他程序模塊146和程序數(shù)據(jù)147示出。注意，這些組件可以同于或異于操作系統(tǒng)134、應(yīng)用程序135、其他程序模塊136和程序數(shù)據(jù)137。操作系統(tǒng)144、應(yīng)用程序145、其他程序模塊146和程序數(shù)據(jù)147在這給定不同編號以示出在最小值上，它們是不同副本。用戶可以通過諸如鍵盤162和指示設(shè)備161輸入命令和信息到計算機110，通常指的是鼠標(biāo)、跟蹤球或接觸墊。其他輸入裝置(沒有示出)可包括話筒、操縱桿、游戲桿、衛(wèi)星天線、掃描器等等。這些和其他輸入設(shè)備通常通過連接到系統(tǒng)總線121的用戶輸入接口160連接到處理單元120，但也可通過其他接口和總線結(jié)構(gòu)連接，例如并行端口、游戲口或通用串口(USB)。監(jiān)視器191或其他類型顯示裝置也通過諸如視頻接口190的接口連接到系統(tǒng)總線121。除監(jiān)視器以外，計算機可包括諸如揚聲器197和打印機196的其他外圍輸出設(shè)備，它們可通過輸出外圍接口195連接。關(guān)于本發(fā)明特別有效的，能夠捕獲一系列圖像193的相機192(例如數(shù)字/電子靜態(tài)或攝像機，或圖片/相片掃描儀)也可包括作為個人計算機110的輸入設(shè)備。此外，盡管僅描述了一臺相機，多個相機可作為個人計算機110的輸入設(shè)備。從一臺相機或多臺相機中的圖像193通過適當(dāng)?shù)南鄼C接口194輸入到計算機110。這接口194連接到系統(tǒng)總線121，從而允許圖像路由到并存儲在RAM132或與計算機110相關(guān)的其他數(shù)據(jù)存儲設(shè)備的其中一個中。然而，注意的是，圖像數(shù)據(jù)不需要使用相機192可從上述的計算機可讀介質(zhì)的任何一種輸入到計算機110中。計算機110使用邏輯連接到一個或多個諸如遠程計算機180的遠程計算機在網(wǎng)絡(luò)環(huán)境中運行。遠程計算機180可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他通用網(wǎng)絡(luò)節(jié)點，并且通常包括上述與計算機110相關(guān)的許多或所有的元件，雖然在圖1中僅表示出存儲器設(shè)備181。圖1描述的邏輯連接包括局域網(wǎng)(LAN)171和廣域網(wǎng)(WAN)173，但也可包括其他網(wǎng)絡(luò)。這樣的網(wǎng)絡(luò)環(huán)境是辦公室公共地方、企業(yè)計算機網(wǎng)絡(luò)、內(nèi)部網(wǎng)和因特網(wǎng)。當(dāng)在LAN網(wǎng)絡(luò)環(huán)境中使用時，計算機110通過網(wǎng)絡(luò)接口或適配器170連接到LAN171。當(dāng)用于WAN網(wǎng)絡(luò)環(huán)境時，計算機110通常包括調(diào)制解調(diào)器172或其他用于在WAN173上建立通信的裝置，例如因特網(wǎng)。內(nèi)置的或外置的調(diào)制解調(diào)器172可以通過用戶輸入接口160或其他適當(dāng)機制連接到系統(tǒng)總線121。在網(wǎng)絡(luò)環(huán)境中，描述的與計算機110有關(guān)的或其中部分的程序模塊可以存儲在遠程存儲設(shè)備中。通過實例而不是限制，圖1示出作為駐留在存儲設(shè)備181上的遠程應(yīng)用程序185?？梢岳斫?，示出的網(wǎng)絡(luò)連接是示例性的并可以使用其他在計算機間建立通信連接的裝置。2.0多圖像特征匹配系統(tǒng)和過程現(xiàn)在討論示例性操作環(huán)境，說明書部分的余下部分將用于使用本發(fā)明的程序模塊的描述。通常，根據(jù)本發(fā)明的系統(tǒng)和過程包括在場景的多圖像中確定對應(yīng)點。通常，這是經(jīng)由圖2的高級流程圖中示出的下述過程操作完成。首先，在變化分辨率的每個圖像中，確定感興趣點(過程操作200)。感興趣點在圖像中的位置是由至少一個屬于該點周圍預(yù)定大小的象素鄰域的象素的屬性值定義的點。此外，每個感興趣點是可以根據(jù)該點周圍的象素鄰域的至少一個屬性值給象素分配唯一取向的點(它可以是使用相同屬性和特征以定義另一屬性和特征的點位置)。第二鄰域可以是與用于定義點位置的鄰域相同預(yù)定大小或不同大小鄰域。一旦在過程操作202中已經(jīng)確定感興趣點，對于每個感興趣點，建立描述符。該描述符以實際不改變圖像位置、取向和尺度，也不改變用于定義該點周圍區(qū)域的象素強度的方式描述每個點。接下來，在圖像中確定實際匹配描述符集合(過程操作204)。最后，在過程操作206，指定在不同圖像中出現(xiàn)的每個匹配描述符集合有關(guān)的感興趣點作為對應(yīng)點(即描述場景相同部分的點)。首先在下面部分將描述特征描述符表示的不變特征的前述新類型，該特征描述符通常是強度值的偏差/增益規(guī)格化的片段，接著描述特征匹配方案。2.1多尺度取向特征多尺度取向特征特點為四個幾何參數(shù)和兩個光度參數(shù)。幾何參數(shù)是t1，t2，θ，ι，即圖像中區(qū)域或片段中心的x，y位置、取向和尺度。光度參數(shù)是α，β，即片段增益和偏差。假定這種表示，使用用于片段匹配的簡單6參數(shù)模型，以及分析用來正確和錯誤匹配的噪聲統(tǒng)計。這導(dǎo)致根據(jù)每個特征異常距離的簡單匹配驗證過程。更具體地，相應(yīng)圖像片段間的變換是I′(x′)＝αI(x)+β+e(1)其中x′＝Ax+t和A=scosθsinθ-sinθcosθ.]]>誤差e表示圖像噪聲和模式錯誤。特征中心的x，y位置認(rèn)為是與各點一致，其中該變換是最佳定義-即其中I(x)自相關(guān)是峰值。這些點的備選將稱為感興趣點。為了比較特征，可以在原則上計算一對圖像位置間的變換參數(shù)的最大似然估計。假定高斯噪聲，這可通過解決非線性最小均方問題來迭代完成。然而，為了效率，每個特征可由前述模型下的不變式描述，以及可以使用對于特征對間模型參數(shù)的閉式近似。誤差e的統(tǒng)計可以用來驗證匹配是否正確與否。2.1.1感興趣點盡管在圖像中有許多可以描述具有位置和取向的點[17]，但選擇用于本發(fā)明系統(tǒng)和過程的測試實施例的感興趣點是與稱為Harris的角相關(guān)。發(fā)現(xiàn)如下與這些Harris角一致的感興趣點。對于每個輸入圖像I(x，y)，通過平滑和子抽樣操作形成最低層P0(x，y)＝I(x，y)和相關(guān)較高層的圖像金字塔，即P′l(x,y)=Pl(x,y)*gσp(x,y)]]>Pl+1(x，y)＝P′l(sx，sy)(2)其中ι表示金字塔層和gσ(x，y)表示標(biāo)準(zhǔn)偏差σ的高斯核心。s＝2的子取樣率和σp＝1.0的金字塔平滑，在該金字塔形成過程的測試實施例中成功使用。然后，通常，大約1.1到3.0范圍值可用于s，并且大約0.55到1.5范圍值可用于σp。從金字塔每層中抽取感興趣點。層ι和位置(x，y)的Harris矩陣是梯度平滑異常乘積Hl(x,y)=▿σdPl(x,y)▿σdPl(x,y)T*gσi(x,y)···(3)]]>其中σ表示在尺度σ的空間公差，即σf(x，y)f(x，y)*gσ(x，y)(4)在測試實施例中，綜合尺度設(shè)置為σi＝1.5而公差尺度設(shè)置為σd＝1.0。然后使用角檢測函數(shù)fHM(x,y)=detHl(x,y)trHl(x,y)=λ1λ2λ1+λ2···(5)]]>該函數(shù)是H的特征值(λ1，λ2)的調(diào)和平均值。在測試實施例中，認(rèn)為感興趣點是定位于其中角強度fHM(x，y)是鄰域內(nèi)周圍局部最大值并超過閾值10.0。然而，注意的是，大約0.5到2.5范圍的常規(guī)值可以用于σi，大于0，5到2.5范圍的值可用于σd，并且閾值可能是任何可降到零的值。上述鄰域周圍的大小將簡要描述。感興趣點檢測函數(shù)的前述選擇理由可根據(jù)H和局部自相關(guān)函數(shù)間的關(guān)系來理解。對于圖像I(x)，第一序泰勒展開對于局部自相關(guān)給于表述e(x)=|I(x)-I0|2=xT∂I∂x∂IT∂xx=xTHx···(6)]]>感興趣點位于自相關(guān)函數(shù)的峰值。這意味著e(u)對于所有單元矢量u是較大的，它是等同于要求H的兩個特征值是較大的。注意的是，除了調(diào)和平均值函數(shù)外，角檢測函數(shù)也可用于找到感興趣點位置。例如，稱為Harris(即fH＝λ1λ2-0.04(λ1+λ2)2＝detH-0.04(trH)2)和Shi-Tomasi(即fST＝min(λ1，λ2))函數(shù)可用于替代。圖3比較調(diào)和平均值感興趣點檢測函數(shù)和這些其他函數(shù)的等輪廓線(isocontours)。注意所有檢測器需要更大特征值。初步實驗建議這些檢測器的每個大概給定相同性能，因此可交替使用。2.1.1.1自適應(yīng)非最大壓縮由于計算上的考慮，期望對于每個圖像產(chǎn)生固定數(shù)目的感興趣點。為了選擇很好空間分布在圖像中的感興趣點，可以使用自適應(yīng)非最大壓縮策略。更具體地說，感興趣點基于角強度fHM壓縮和僅象素半徑r鄰域內(nèi)最大值的這些象素剩余。為了從每個圖像提取感興趣點的大約常定數(shù)nip，它可能搜索非最大壓縮半徑r。在測試實施例中，使用r＝rinit＝4.0的初始值，盡管這通常從1擴展到15。然后，在連續(xù)整數(shù)值中搜索r的最大值以便只從每個圖像中提取nip感興趣點。然而，在測試實施例中，nip＝500，這通常根據(jù)圖像大小和特征從最低的大約10變化到多達幾千。發(fā)現(xiàn)以上述方法空間分布的感興趣點，相比根據(jù)最大角強度選擇的感興趣點，可導(dǎo)致圖像匹配的較小降低。2.1.1.2子象素精度通過將二維二次方程式應(yīng)用到局部鄰域內(nèi)(按檢測尺度)角強度函數(shù)定位感興趣點到子象素精度并找到它的最大值可以獲得更好結(jié)果。更具體地，f(x)=f+∂fT∂xx+12xT∂2f∂x2x···(7)]]>其中x表示位置(x，y)，和f(x)＝fHM(x)是角強度計量。在測試實施例中，使用3×3鄰域。使用象素差值從3×3鄰域內(nèi)計算公差。即∂f∂x=(f1,0-f-1,0)/2]]>∂f∂y=(f0,1-f0,-1)/2]]>∂2f∂x2=f1,0-2f0,0+f-1,0···(8)]]>∂2f∂y2=f0,1-2f0,0+f0,-1]]>∂2f∂x∂y=(f-1,-1-f-1,1-f1,-1-f1,1)/4]]>子象素位置的x和y分量這樣給定xm=x0-∂2f-1∂x2∂f∂x]]>ym=y0-∂2f-1∂y2∂f∂y···(9)]]>重復(fù)性可定義為其變換的位置修正到少許公差的感興趣點的片段。圖4示出使用前述過程的具有和不具有子象素定位的感興趣點的重復(fù)性。注意，子象素定位給定重復(fù)性大約5％改進。2.1.2取向每個感興趣點具有取向θ，其中取向矢量[cosθ,sinθ]=u/|u|=u^]]>來自平滑的局部梯度ul(x，y)＝σ0Pl(x，y)(10)。測試實施例中用于取向的綜合尺度是σ0＝4.5。期望更大公差尺度以便運動域uι(x，y)平滑地從圖像中變化，使得取向估計穩(wěn)定感興趣點位置的錯誤。然而，通常，取向的綜合尺度在大約2.0到7.0間變動。注意，盡管在本系統(tǒng)和過程的測試實施例中使用模糊局部梯度方法以建立每個感興趣點的取向，也可使用其他方法。例如，取向測量方法的另外實例包括使用梯度直方圖或H矩陣的特征向量的最大值。2.1.3描述符矢量對于每個取向的感興趣點(x，y，ι，θ)，描述符區(qū)域是檢測尺度象素的p×p大小的片段。該片段在(x，y)中心并定位于角度θ。從p×p描述符區(qū)域，形成d×d大小的描述符矢量。在測試實施例，p＝40和d＝8，然而，通常p可以在以d尺度值在圖像大小的大約0.1％和10％間變化。圖6示出山脈場景圖像，其中峰值上感興趣點有關(guān)的描述符區(qū)域示出為白框。注意，感興趣點的位置示出為白點并包括從感興趣點擴展的線以分配給該點的取向趨勢。圖7示出從圖6示出的描述符區(qū)域中形成的8×8描述符。注意，感興趣點和定位線在圖中也示出為白色。為了避免取樣時偏差/模糊，在導(dǎo)致每個象素概略取樣的金字塔級取樣描述箝。實現(xiàn)這的一種方式是從檢測尺度層上的ιs層取樣描述符。其中描述符矢量使用內(nèi)插采樣。例如，在測試實施例中，其中p＝40，d＝8，和s＝2，描述符將在檢測尺度上的ιs＝2層取樣。然而，假定在層ι檢測感興趣點。這建議從Pl+ls(x,y)=Pl+2(x,y)]]>取樣描述符。然而，已經(jīng)發(fā)現(xiàn)通過使用替換過程獲得更好結(jié)果，其中替換的描述從P′l+1(x，y)采樣，其中，P′l+1(x,y)=Pl+1(x,y)*gσp(x,y),]]>即模糊但不下采樣。此外，通過從P′′l(x,y)=Pl(x,y)*g2×σp(x,y)]]>取樣獲得盡管更小增益。2.1.3.1規(guī)格化接下來規(guī)格化描述符矢量以便平均值是0和標(biāo)準(zhǔn)偏差是1，即di＝(d′i-μ)/σ(12)其中d′i，iε{1..d2}描述符矢量的元素，具有μ=1d2Σi=1d2d′i]]>和σ=1d2Σi=1d2(d′i-μ)2.]]>這使得特征不變以仿射強度變化(偏差和增益)。2.1.3.2Haar小波變換最后，Haar小波變換在d×d描述符矢量di上完成以形成包含子波系數(shù)ci的d2空間描述符矢量。由于Haar子波的正交屬性，保留各個距離，即Σi(di1-di2)2=Σi(ci1-ci2)2···(13)]]>因此，差平方和檢測中的最近鄰未變。然而，將簡要描述在索引策略中使用前個三個非零子波系數(shù)c1，c2，c3。2.1.4描述符產(chǎn)生過程概要用于根據(jù)使用Harris角特征以定義感興趣點和模糊局部梯度方法以建立每個特征的取向的本系統(tǒng)和過程的實施例對于每個感興趣點產(chǎn)生描述符的技術(shù)的先前描述在圖5A-C的流程過程中概要。該過程通過確定圖像中感興趣點開始。更具體地，對于每個圖像，形成圖像分辨率金字塔(過程操作500)。然后，選擇先前未選的金字塔級(過程操作502)，確定選擇級中每個Harris角位置(過程操作504)。接下來選擇其中一個先前未選的Harris角(過程操作506)，然后確定是否選擇角的角強度是表示角位置的感興趣點中心的預(yù)定最小鄰域半徑內(nèi)的鄰近象素的局部最大值(過程操作508)。如果選擇角的角強度是局部最大值，則它也確定是否角強度超過預(yù)定最小強度閾值(過程操作510)。如果是這樣，選擇的角指定作為備選角(過程操作512)并測試其他角(如果有)。然而，如果確定角強度不是局部最大值或確定角強度不超過最小閾值，則從考慮中刪除該選擇的角并測試其他角(如果有)。這樣，任何一種方式，接下來的操作負責(zé)確定是否有一些先前未選擇的角仍然可以考慮(過程操作514)。如果仍有剩余的角要考慮，則前述過程從過程操作506開始重復(fù)。否則，過程從過程操作516繼續(xù)，其中最近使用的鄰域半徑增加預(yù)定整數(shù)值(例如1)。然后，前述呈現(xiàn)的過程對于每個備選角重復(fù)。具體地，選擇先前未選擇的備選角(過程操作518)，然后確定它的角強度是否是當(dāng)前鄰域半徑值定義的象素附近的局部最大值(過程操作520)。如果選擇的備選角的角強度是局部最大值，則確定它是否也超過最小強度閾值(過程操作522)。如果是這樣，選擇的角保持它的備選角分配(過程操作524)，可以考慮其他備選角(如果有的話)。然而，如果確定角強度不是局部最大值或確定它不超過最小閾值，則考慮中刪除選擇的備選角并測試其他備選角(如果有的話)。這樣，在任一種情況中，下一操作確定是否有一些先前未選的備選角仍然可以考慮(過程操作526)。如果還有角可以考慮，則開始于過程操作518的過程部分重復(fù)。如果沒有剩余的備選角測試，接下來確定是否仍然指定作為備選角的角數(shù)目超過預(yù)定最大允許數(shù)(過程操作528)。如果備選角的最大允許數(shù)超過，則過程操作516到528適當(dāng)重復(fù)直到備選角數(shù)目不再超過最大允許數(shù)。一旦剩余可接受備選角數(shù)目，繼續(xù)與指定定義每個剩余備選角的位置的點作為要考慮圖像的感興趣點(過程操作530)。接下來，選擇先前未選擇感興趣點(過程操作532)，并提取它的位置。更具體地，在過程操作534，顯示感興趣點位置指定作為預(yù)定大小的局部附近合適的二維二次方程式表面的最大強度的位置，該位置是在選擇點的中心。一旦建立選擇的感興趣點的提取位置，給該點分配取向(過程操作536)。如前所示，這使用模糊梯度方法在本發(fā)明的測試實施例中完成。選擇感興趣點的位置和取向接下來用于產(chǎn)生該點的描述符矢量。這通過首先建立預(yù)定p×p大小的描述符區(qū)域(片段)來完成，它是位于感興趣點位置的中心并根據(jù)感興趣點的取向進行取向(過程操作538)。如前所述，使用雙線性內(nèi)插取樣強度值從描述符區(qū)域形成預(yù)定大小d×d的更小描述符矢量(過程操作540)。接下來規(guī)格化這描述符矢量(過程操作542)并受Haar小波變換(過程操作544)。變換的描述符矢量表示選擇的感興趣點描述符。然后該過程通過首先確定是否有任何未選的感興趣點存在而在其他感興趣點上實施(過程操作546)。如果這樣，過程操作532-546適當(dāng)重復(fù)直到所有感興趣點具有與它們相關(guān)的變換描述符矢量。最后，通過首先確定是否存在任何先前未選擇的金字塔級，對于圖像金字塔的所有其他分辨率級完成描述符產(chǎn)生過程(過程操作548)。如果有，則過程操作502-548適當(dāng)重復(fù)。一旦完成，在圖像金字塔每個級存在發(fā)現(xiàn)的感興趣點相關(guān)的變換的描述符矢量。注意，取代如上面描述符的確定的計算取向和產(chǎn)生每個感興趣點的變換描述符矢量，它也可能確定所有感興趣點，然后確定它們的取向并產(chǎn)生以作為可選方法的批量方式產(chǎn)生描述符矢量。2.2特征匹配假定多尺度定位片段從場景的圖像集合中的所有n圖像中提取，特征匹配的目標(biāo)是在所有圖像中幾何地找到合適的匹配。為了完成這個任務(wù)，首先開發(fā)用于特征匹配的似然模型。這導(dǎo)致對于特征匹配驗證的簡單約束，它稱為“異常距離約束”。此外，幾何約束可應(yīng)用到抵制異常并找到圖像匹配，或者除了應(yīng)用異常距離約束或它的空間內(nèi)。2.2.1特征匹配的似然模型理想地，可以對于正確和錯誤匹配從測試的數(shù)據(jù)中計算誤差p(e圖像)分布，并使用它似然確定是否給定的特征匹配是正確或錯誤。然而，已經(jīng)發(fā)現(xiàn)基于圖像的誤差e圖像＝|I′(x′)-(αI(x)+β)|(14)是用于確定是否特征匹配是正確/錯誤的僅有尺度。實際上，發(fā)現(xiàn)用于正確和錯誤匹配的|e圖像|值通常不能區(qū)別，并且閾值|e圖像|選擇正確/錯誤匹配是不可能的。對于片段的最近鄰有關(guān)的誤差隨著變化差異也成為關(guān)注。已經(jīng)發(fā)現(xiàn)盡管正確和錯誤匹配的誤差間總存在明顯的差距，但誤差尺度變化很大。具體地說，誤差對于高對比的片段更大，而低對比的片段更小。當(dāng)包括低對比的片段時，這使得在正確和錯誤匹配間很難區(qū)分。一種可能的解決是規(guī)格化片段的對比度，它等同于計算特征空間的誤差，即e特征對于正確和錯誤匹配的區(qū)分是很好分開的，但沒有明顯的閾值。因此，認(rèn)為匹配誤差的大小不僅是對比度問題。相信高頻率容量也重要，例如高梯度特征對于任何重合失調(diào)具有大誤差。然而，已經(jīng)發(fā)現(xiàn)，在特征基礎(chǔ)上的特征，存在對應(yīng)正確和錯誤匹配的特征距離的雙峰分布。實際上，認(rèn)為查詢的錯誤匹配的距離幾乎是常量。相信該現(xiàn)象是與稱為殼(shell)屬性的高尺度空間的屬性有關(guān)。在高尺度中，超球面體積的大部分是集中在外殼。這意味著，對于諸如高斯分布的普通分布，概率集中的大多數(shù)位于外殼。認(rèn)為統(tǒng)一分布點集合在d維超立方體中。離中心距離r中的點數(shù)目以rd增長，直到到達空間的邊界，在此它迅速下落。由于d變得更大，這意味著幾乎所有點具有從給定查詢點的相同距離，即，它們位于查詢的常量距離的小殼中。然而，注意，距離值依靠空間查詢點的位置。例如，靠邊的點具有從中心點的更大距離。Lowe[11]已經(jīng)建議，盡管根據(jù)第一最近鄰(1-NN)距離的閾值是不可靠，第一和第二最近鄰間的距離比e1-NN/e2-NN是用于確定匹配是否正確的很好尺度。在多圖像匹配情況中，可能有多于一個的正確匹配，所以檢測替代比ei/e異常，其中ei是考慮的匹配距離，e異常是“異常距離”。假定這是在每個特征iε{1..k}的大多數(shù)k匹配和異常距離計算作為最近鄰k+1到k+n0的平均距離。使用Bayes判決規(guī)則，可以分類匹配如下P正確(e/e異常)＞P錯誤(e/e異常)(16)這等于將特征匹配分為正確，如果e＜0.65×e異常(17)這指的是“異常距離約束”。仍然保留對于怎樣最佳計算的問題。注意，由于異常距離相關(guān)的距離σ′×e特征＝e圖像在特征空間與對于基于圖像的距離相同。這具有優(yōu)勢，可以簡單比較特征空間圖像距離并不用給每一對α，β計算就可以應(yīng)用異常距離。2.2.2使用異常排除的特征匹配特征匹配過程開始于對于先前計算的描述符矢量中每個快速估計最近鄰。這些最近鄰失量表示圖像間的備選匹配點。接下來，在本特征匹配技術(shù)的測試實施例中，兩階段方法用于刪除錯誤匹配。特別是使用非幾何異常排除技術(shù)，它采用上述異常距離約束來刪除錯誤匹配點。最后，標(biāo)準(zhǔn)的幾何異常排除技術(shù)用于進一步刪除任何剩余的錯誤匹配點。然而，如前所示，一個或其他排除技術(shù)可以根據(jù)需要的精度和使用本特征匹配技術(shù)的系統(tǒng)的過程限制而旁路。2.2.2.1使用子波索引的快速近似最近鄰從所有圖像中提取特征和每個匹配特征空間中k近似最近鄰?？焖俳谱罱徲嬎阃ㄟ^使用散列表索引特征完成。散列表是三維的并且維數(shù)對應(yīng)前個三個非零子波系數(shù)c1，c2，c3，它是片段上估計。在測試實施例中，k＝4，以及散列表每一維具有b＝10結(jié)點(bin)(它涵蓋尺寸平均值的±nσ＝3標(biāo)準(zhǔn)方差)。該結(jié)點(bin)一半重疊，以便確保結(jié)點(bin)寬度(=2nσb-112=σ3)]]>中的數(shù)據(jù)匹配。如果實際最近鄰位于其中一個三維外可能的話(但低概率)，這是近似最近鄰。每個描述符矢量匹配相同結(jié)點(bin)中的所有特征，并選擇k近似最近鄰。然后使用異常距離約束以驗證正確匹配和刪除異常，這在下面描述。注意，特征間距離用于確定最近鄰。在測試實施例中，這些距離計算作為64維特征矢量的方形差異的總數(shù)。2.2.2.2使用異常距離約束的異常排除。由于幾乎大多數(shù)錯誤匹配都具有從查詢點大約相同距離(即異常距離)，而正確匹配僅由于圖像和檢測噪聲而不同，因此上述殼(shell)屬性可以用作異常排除策略的基礎(chǔ)。異常距離可以估計的一種方式是使它等于每個圖像的2-NN距離的平均值或最小值。在計算的異常距離下，異常距離約束可用于減少錯誤匹配數(shù)量。更具體地，如果發(fā)現(xiàn)的在考慮中矢量的最近鄰的其中一個矢量與在異常距離65％內(nèi)的矢量有距離，則認(rèn)為該矢量與匹配點相關(guān)。如果矢量距離不在異常距離的65％內(nèi)時，則與該點相關(guān)的點不認(rèn)為是匹配的點。2.2.2.3使用幾何約束的異常排除一旦使用異常距離約束提取備選的匹配，可通過使用幾何匹配約束進一步提取匹配。本質(zhì)上，這包括使用標(biāo)準(zhǔn)方法以確定剩余的匹配點實際上對應(yīng)場景的圖像。如果該圖像從點獲取并且場景是靜態(tài)，全景運動模型(homography)是合適的。如果圖像用移動相機獲取和靜態(tài)場景，全三維運動模型(基本矩陣)是合適的。對于多個或移動對象設(shè)計更精細的運動模型也是可能的。對于自動全景拼接，匹配的全景運動模型和[6]中的概率性模型是合適的選擇。發(fā)現(xiàn)不實際匹配描述該場景相同部分的另一圖像的點的任何點將從匹配點集合中刪除。2.2.3特征匹配處理概要在圖11的流程圖中歸納了根據(jù)本系統(tǒng)和方法的實施例確定一個場景的一系列圖像中各對應(yīng)點的特征匹配技術(shù)的前述描述，其中該系統(tǒng)和方法使用三維散列表并且至少部分依據(jù)異常距離約束的異常排除。該方法開始于通過匹配每個變換描述符矢量到特征空間的其最近鄰的預(yù)定數(shù)。更具體地，三維散列表從每個變換描述符矢量的前個三個非零子波系數(shù)產(chǎn)生(過程操作1100)。如前所示，在本特征匹配技術(shù)的測試實施例中，散列表的每維有10個結(jié)點(bin)并且每個結(jié)點(bin)具有一半重疊區(qū)域。然后計算散列表的每個結(jié)點(bin)的每個三系數(shù)間的距離(過程操作1102)。這些距離接下來用來對于每個描述符矢量確定相同結(jié)點(bin)中的其最近鄰的預(yù)定數(shù)，它是不來自于考慮矢量的相同圖像(過程操作1104a)。注意，在特征匹配的可選實施例中，下面操作1104b替代過程操作1104a。即，對于每個描述符矢量，來自其他每個圖像的相同結(jié)點(bin)中的其最近鄰確定到預(yù)定最大數(shù)。通過使用點線框在圖11示出操作1104a和1104b的可選特征。一旦已經(jīng)確定每個描述符矢量的最近鄰，選擇先前未選擇的矢量(過程操作1106)。從考慮中刪除選擇的其相關(guān)感興趣點實際上不對應(yīng)與選擇的矢量相關(guān)的感興趣點的矢量的最近鄰描述符矢量。更具體地，在本特征匹配技術(shù)的測試實施例中，如前所述，它在兩階段完成。第一階段(過程操作1108)，指的是使用異常距離約束的異常排除，是比刪除許多可能不對應(yīng)點更快的過程。第二階段(過程操作1110)，指的是使用幾何約束的異常排除，使用如前所述的更精確的幾何基礎(chǔ)的比較，雖然以更高的計算成本。然而，由于許多錯誤匹配已經(jīng)在第一階段刪除，第二階段過程需要減少。實質(zhì)上，第二階段幾何基礎(chǔ)上的異常排除過程包括找到最好匹配兩圖像間所有點的變換和排除當(dāng)變換時特定尺度內(nèi)不對應(yīng)的點。圖8(a)和8(b)示例說明異常排除過程的值。這些圖示出兩圖像間的對應(yīng)位置部分相同的山脈圖像，任何異常排除過程前確定示出為白點(587匹配)。圖9(a)和9(b)分別示出在使用異常距離約束的異常排除技術(shù)應(yīng)用后的圖8(a)和8(b)的相同圖像。這里，242異常已經(jīng)刪除，留下345匹配。圖10(a)和10(b)分別示出在應(yīng)用基于幾何的異常排除技術(shù)后的圖9(a)和9(b)的相同圖像。確定另一個34異常并刪除，在圖像間保留311對應(yīng)點的最后的總數(shù)。注意，如果第一階段的異常排除過程充分對于本特征匹配技術(shù)的特定應(yīng)用產(chǎn)生正確結(jié)果，則如果希望，第二階段可以跳過。相反，如果不計較過程成本，則第二階段幾何基礎(chǔ)的異常排除過程可用在其上使用而第一階段可以跳過。關(guān)于第一異常排除技術(shù)，在測試實施例中，這包括首先對于選擇描述符矢量計算異常距離和其最近鄰，然后確定是否選擇矢量和它最近鄰的任何一個角的距離等于或大于異常距離的65％。只要發(fā)現(xiàn)最近鄰矢量具有對于選擇的矢量等于或大于異常距離的65％的距離，它從考慮中刪除作為表示對應(yīng)與選擇矢量相關(guān)的感興趣點的點。一旦異常排除過程完成，與描述確定作為選擇矢量的最近鄰的矢量有關(guān)的每個和還沒有從考慮中刪除的點，都指定作為對應(yīng)與選擇的矢量相關(guān)的感興趣點的點(過程操作1112)。對于每個其他描述符矢量，前述過程接下來實施以通過首先確定任何未選擇的矢量剩余來確定其他圖像中的它們的對應(yīng)點(過程操作1114)。如果這樣，過程1106-1114適當(dāng)重復(fù)直到已經(jīng)處理所有矢量。當(dāng)已經(jīng)選擇所有矢量并處理，過程結(jié)束。3.0參考文獻[1]P.Anandan.AComputationalFrameworkandanAlgorithmfortheMeasurementofVisualMotion.InternationalJournalofComputerVision，2283-310.1989.J.Bergen，P.Anandan，K.Hanna，andR.Hingorani.HierarchicalModel-BasedMotionEstimation.InProceedingsoftheEuropeanConferenceonComputerVision，pages237-252.Springer-Verlag，May1992.A.Baumberg.ReliableFeatureMatchingAcrossWidelySeparatedViews.InProceedingsoftheInternationalConferenceonComputerVisionandPatternRecognition，pages774-781，2000.C.Bishop.NeuralNetworksforPatternRecognition.Oxford，ISBN0198538642，1995.M.BrownandD.Lowe.InvariantFeaturesfromInterestPointGroups.InProceedingsofthe13thBritishMachineVisionConference，pages253-262，Cardiff，2002.M.BrownandD.Lowe.Recognisingpanoramas.InProceedingsofthe9thInternationalConferenceonComputerVision，volume2，pages1218-1225，Nice，October2003.G.CarneiroandA.Jepson.Multi-scaleLocalPhase-basedFeatures.InProceedingsoftheInternationalConferenceonComputerVisionandPatternRecognition，2003.C.Harris，GeometryfromVisualMotion.InA.BlakeandA.Yuille.editors，ActiveVision.pages263-284.MITPress，1992.B.LucasandT.Kanade.AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision.InInproceedingsofthe7thInternationalJointConferenceonArtificialIntelligence，pages674-679，1981.D.Lowe.ObjectRecognitionfromLocalScale-InvariantFeatures.InProceedingsoftheInternationalConferenceonComputerVision，pages1150-1157.Corfu，Greece，September1999.D.Lowe.DistinctiveImageFeaturesfromScale-InvariantKey-points.InternationalJournalofComputervision，2004.J.Matas，0.Chum，M.Urban，andT.Pajdla.Robustwidebaselinestereofrommaximallystableextremalregions.InProceedingsoftheBritishMachineVisionConference，2002.K.MikolajczykandC.Schmid.APefformanceEvaluationofLocalDescriptors.InProceedingsoftheInternationalConferenceonComputerVisionandPatternRecognition，2003.C.A.Rothwell.A.Zisserman，D.A.Forsyth，andJ.L.Mundy.Canonicalframesforplanarobjectrecognition.InProceedingsoftheEuropeanConferenceonComputerVision，pages757-772，1992.C.Rothwell.A.Zisserman，D.Forsyth，andJ.Mundy.PlanarObjectRecognitionUsingProjectiveShapeRepresentation，InInternationalJournalofComputerVision，number16，pages57-99，1995.C.SchmidandR.Mohr.LocalGrayvalueInvariantsforImageRetrieval.IEEETransactionsonPatternAnalysisandMachineIntelligence，19(5)530-535，May1997.C.Schmid，R.Mohr，andC.Bauckhage.EvaluationofInterestPointDetectors.InProceedingsoftheInternationalConferenceonComputerVision，pages230-235，Bombay，1998.JianboShiandCarloTomasi.Goodfeaturestotrack.InIEEEConferenceonComputerVisionandPatternRecognition(CVPR’94)，Seattle，June1994.F.SchaffalitzkyandA.Zisserman.Multi-viewMatchingforUnorderedImageSets，or″HowDoIOrganiseMyHolidaySnaps？”.InProceedingsoftheEuropeanConferenceonComputerVision，pages414-431，2002.T.TuytelaarsandL.VanGool.WideBaselineStereoMatchingbasedonLocal，AffinelyInvariantRegions.InProceedingsifthe11thBritishMachineVisionConference，pages412-422，Bristol，UK，2000.權(quán)利要求1.一種用于確定場景的多圖像中的對應(yīng)點的計算機實施過程，包括使用計算機完成下面過程操作在變化的清晰度確定每個圖像中的感興趣點，它在描述點的圖像中的位置由至少一個屬于該點周圍鄰域內(nèi)的第一預(yù)定尺寸的象素的特征屬性定義，并能根據(jù)至少一個屬于該點周圍相鄰的第二預(yù)定尺寸的象素的屬性值分配唯一取向；產(chǎn)生對于每個感興趣點的描述符，它以實際上不改變圖像位置、取向和尺度并且不改變用于定義該點位置和取向的象素的強度的方式描述每個點；找到圖像中的實質(zhì)匹配描述符；以及指定不同圖像出現(xiàn)的匹配描述符集合中每個相關(guān)的感興趣點作為對應(yīng)點。2.如權(quán)利要求1所述的過程，其中確定每個圖像中的感興趣點的過程操作包括對于每個圖像，操作形成圖像分辨率金字塔，以及對于所述金字塔的每個級；確定考慮表示角特征的圖像位置；確定每個角特征的取向；指定每個角特征的確定位置作為獨立的感興趣點；以及分配每個角特征的確定取向到與該特征有關(guān)的感興趣點。3.如權(quán)利要求2所述的過程，其中確定考慮表示角特征的圖像中的位置的過程操作包括操作確定每個角特征的位置，該角特征呈現(xiàn)預(yù)定最小鄰域半徑的象素鄰域的局部最大值并超過預(yù)定最小強度閾值的角強度；增加鄰域半徑預(yù)定的整數(shù)值，并確定這些先前確定的角強度仍然是當(dāng)前考慮的象素鄰域的局部最大值并仍然超過預(yù)定最小強度閾值的位置；重復(fù)增加和二次確定操作直到確定的位置數(shù)不再大于預(yù)定的最大數(shù)；和指定每個剩余的確定位置來表示獨立角特征。4.如權(quán)利要求2所述的過程，其中，指定每個角特征的確定位置為獨立感興趣點的過程操作包括指定作為每個感興趣點位置的操作，顯示其中在預(yù)定尺寸的局部附近適合的二維方形平面的最大強度，該位置在考慮的確定位置中心。5.如權(quán)利要求2所述的過程，其中確定每個角特征的取向的過程操作包括使用模糊的梯度方法確定每個角特征取向的操作。6.如權(quán)利要求2所述的過程，其中，每個角特征是Harris角。7.如權(quán)利要求1所述的過程，其中對于每個感興趣點產(chǎn)生描述符的過程操作對于每個感興趣點包括操作建立預(yù)定p×p大小的描述符區(qū)，它是在考慮的感興趣點位置中心并且是根據(jù)感興趣點的取向進行取向；形成預(yù)定大小d×d描述符矢量，該矢量是小于描述符區(qū)域并以導(dǎo)致每個象素粗略取樣一次的方式使用區(qū)域內(nèi)象素的強度值的線性內(nèi)插在此取樣；規(guī)格化描述符矢量；和在描述符矢量上的執(zhí)行Haar子波變換以產(chǎn)生變換矢量。8.如權(quán)利要求7所述的過程，其中在圖像中實際找到匹配描述符的過程操作包括匹配變換的描述符矢量到特征空間中其最靠近的鄰近的預(yù)定數(shù)的操作。9.如權(quán)利要求8所述的過程，其中匹配變換的描述符矢量的過程操作包括操作從每個變換的描述符矢量的子波系數(shù)的預(yù)定數(shù)(n)產(chǎn)生三維散列表以形成n系數(shù)矢量的散列表；對于散列表的每個結(jié)點(bin)，計算在考慮中的結(jié)點(bin)中找到的每個n系數(shù)矢量之間的距離；對于每個n系數(shù)矢量，根據(jù)計算的距離確定它的最近鄰內(nèi)的預(yù)定數(shù)，它駐留在相同的結(jié)點(bin)中但不同于考慮的矢量的圖像一樣以形成潛在匹配矢量組；指定與每個潛在匹配矢量組中的矢量相關(guān)的感興趣點作為描述相關(guān)圖像中場景的相同部分的對應(yīng)點。10.如權(quán)利要求9所述的過程，其中散列表每維具有10個結(jié)點(bin)并且每個結(jié)點(bin)具有一半的重疊區(qū)域，并且其中子波系數(shù)的預(yù)定數(shù)(n)包括前個三個非零子波系數(shù)，從而形成三系數(shù)矢量的散列表。11.如權(quán)利要求9所述的過程，其中指定每個潛在匹配矢量組中矢量相關(guān)的感興趣點作為對應(yīng)點的過程操作包括操作對于每個潛在的匹配矢量，刪除任何作為潛在匹配矢量的三系數(shù)矢量，它相關(guān)的感興趣點實際上不對應(yīng)相同矢量組中三系數(shù)矢量的另一個有關(guān)的另一圖像中的感興趣點；和對于每個保留在每個潛在匹配矢量組中三系數(shù)矢量，指定與該矢量相關(guān)的感興趣點作為相關(guān)圖像中的對應(yīng)點。12.如權(quán)利要求11所述的方法，其中刪除作為潛在匹配矢量的任何三系數(shù)矢量，它相關(guān)感興趣點實際上不對應(yīng)相同矢量組中的三系數(shù)矢量的另一個有關(guān)的另一圖像中的感興趣點，對于每個匹配的矢量組，包括操作對于要考慮的匹配矢量集合，計算異常距離；確定是否任何匹配矢量的計算距離是大于異常距離的65％；以及只要發(fā)現(xiàn)距離大于異常距離的65％，刪除與該矢量有關(guān)的作為對應(yīng)點的感興趣點。13.如權(quán)利要求11所述的方法，其中刪除任何作為潛在匹配矢量的三系數(shù)矢量，它相關(guān)感興趣點實際上不對應(yīng)相同矢量組中的三系數(shù)矢量的另一個有關(guān)的另一圖像中的感興趣點，對于每個匹配的矢量組，包括操作完成幾何異常排除過程；以及刪除與任何矢量相關(guān)的作為對應(yīng)點的發(fā)現(xiàn)為異常的感興趣點。14.如權(quán)利要求8所述的過程，其中匹配變換的描述符矢量的過程操作包括操作從每個變換的描述符矢量的前個三個非零子波系數(shù)產(chǎn)生三維散列表以形成三個系數(shù)矢量的散列表；對于散列表的每個結(jié)點(bin)，計算在要考慮的結(jié)點(bin)中找到的每個三系數(shù)矢量之間的距離；對于每個三系數(shù)矢量，確定相同結(jié)點(bin)中發(fā)現(xiàn)的最近鄰內(nèi)，它是分別與每個圖像相關(guān)，除要考慮的矢量有關(guān)的圖像外，多達每個圖像的預(yù)定數(shù)，根據(jù)計算的距離，以形成潛在匹配矢量集合；指定與每個潛在匹配矢量組中的矢量相關(guān)的感興趣點作為描述相關(guān)圖像中場景的相同部分的對應(yīng)點。15.如權(quán)利要求14所述的過程，其中所述散列表每維具有10個結(jié)點(bin)以及每個結(jié)點(bin)具有一半的重疊范圍。16.如權(quán)利要求1所述的過程操作，其中第一和第二預(yù)定尺寸鄰域是相同尺寸。17.一種用于在一個場景的多圖像中確定對應(yīng)點的系統(tǒng)，包括通用計算設(shè)備；計算機程序，包括計算設(shè)備執(zhí)行的程序模塊，其中計算設(shè)備由計算程序的程序模塊控制以確定表示每個圖像中潛在對應(yīng)點的感興趣點，其中每個感興趣點由根據(jù)該點周圍中心附近的象素預(yù)定屬性形成的模式分配給它的位置和取向定義；對于每個感興趣點產(chǎn)生描述符，它以實際不改變在圖像位置、取向和尺度以及用于定義該點位置和取向的象素的偏移和增益的方式描述每個點；在圖像中找到實際匹配描述符；和并指定不同圖像中出現(xiàn)的匹配描述符組每個相關(guān)的感興趣點作為對應(yīng)點。18.如權(quán)利要求17所述的系統(tǒng)，其中，用于確定感興趣點的程序模塊對于每個圖像包括子模塊(a)形成圖像分辨率金字塔；(b)選擇先前未選擇的金字塔級；(c)確定在選擇級出現(xiàn)的每個Harris角的位置；(d)選擇先前未選擇的Harris角；(e)確定是否選擇的Harris角的角強度是所述表示角位置的點中心的的預(yù)定最小值鄰近半徑的象素附近的局部最大值并超過預(yù)定最小強度閾值；(f)只要角強度是局部最大值并超過預(yù)定強度閾值，指定它作為備選角；(g)確定是否剩余任何先前未選的Harris角，和只要有剩余角，重復(fù)子模塊(d)到(g)直到所有角都考慮；(h)根據(jù)預(yù)定整數(shù)值增加最近使用的鄰域半徑；(i)選擇先前未選擇的Harris角；(j)確定是否選擇的備選角的角強度超過預(yù)定最小強度閾值并是表示選擇的角位置的點中心的象素鄰域的局部最大值，它的尺寸由當(dāng)前鄰域內(nèi)半徑定義；(k)只要角強度是局部最大值并超過預(yù)定最小強度閾值，保留它作為備選角的指定否則移除該指定；(1)確定是否剩余任何先前未選的備選Harris角，和只要有剩余角，重復(fù)子模塊(i)到(1)直到所有備選角都考慮；(m)確定是否仍然指定為備選角的Harris角數(shù)超過預(yù)定最大值允許數(shù)；(n)只要備選角數(shù)超過預(yù)定最大允許數(shù)目，重復(fù)子模塊(h)到(n)，直到備選角數(shù)目不再超過最大允許數(shù)；(o)指定定義每個剩余備選角位置的點作為考慮中的圖像的感興趣點；(p)通過指定它的位置提取點的每個感興趣點的位置，其中該選擇點中心的預(yù)定尺寸的局部鄰域適合的二維方形平面的最大強度發(fā)生。(q)分配使用模糊梯度方法確定的每個感興趣點的取向；以及(r)重復(fù)子模塊(b)到(q)，直到所有金字塔級都考慮過。19.如權(quán)利要求17所述的系統(tǒng)，其中，用于產(chǎn)生每個感興趣點描述符的程序模塊，對于每個圖像包括子模塊(a)建立預(yù)定尺寸p×p的描述符區(qū)域，它是在感興趣點位置的中心并根據(jù)感興趣點的取向進行取向；(b)使用區(qū)域的強度值的雙線性內(nèi)插法從描述符區(qū)形成更小預(yù)定尺寸d×d的描述符矢量取樣；(c)對于偏移和增益，規(guī)格化描述符矢量；(d)使規(guī)格化的描述符矢量受到Haar子波變換以形成要考慮的感興趣點的描述符。20.如權(quán)利要求19所述的系統(tǒng)，其中用于在圖像中找到實際匹配描述符的程序模塊包括子模塊，用于(e)從每個感興趣點描述符的前個三個非零子波系統(tǒng)產(chǎn)生三維散列表；(f)計算散列表每個結(jié)點(bin)中的每個描述符間的距離；(g)選擇以前未選擇的描述符；(h)確定在不與相同圖像相關(guān)的相同結(jié)點(bin)中的選擇描述符最鄰近的預(yù)定數(shù)作為選擇描述符；(i)對于選擇的描述符和其最近鄰內(nèi)的描述符計算異常距離；(j)分別確定是否計算的選擇的描述符和每個其最近鄰內(nèi)的描述符的距離是不到異常距離的65％；(k)只要它發(fā)現(xiàn)計算的選擇的描述符和每個其最近鄰內(nèi)的描述符的距離是不到異常距離的65％，對于選擇的描述符，指定最近鄰內(nèi)的描述符作為匹配描述符；和(l)實施基于幾何的外排除過程以確定是否任何對應(yīng)于指定作為匹配選擇的描述符的感興趣點不實際對應(yīng)選擇的描述符的感興趣點的位置；(m)刪除作為匹配描述符的任何描述符指定作為匹配選擇的描述符，它不實際對應(yīng)選擇描述符的感興趣點位置；以及(n)重復(fù)子模塊(g)到(m)直到所有剩余描述符都已經(jīng)考慮。21.如權(quán)利要求19所述的系統(tǒng)，其中用于在圖像中找到實際匹配描述符的程序模塊包括子模塊，用于(e)從每個感興趣點描述符的前個三個三非零子波系統(tǒng)產(chǎn)生三維散列表；(f)計算散列表每個結(jié)點(bin)中的每個描述符間的距離；(g)選擇以前未選擇的描述符；(h)確定在不與相同圖像相關(guān)的相同結(jié)點(bin)中的選擇描述符最近鄰的預(yù)定數(shù)作為選擇描述符；(i)計算每個選擇描述符和其最近鄰內(nèi)的異常距離；(j)分別確定是否計算的選擇描述符和每個其最鄰近的距離是小于異常距離的65％；(k)只要它發(fā)現(xiàn)計算的選擇的描述符和每個它的最近鄰內(nèi)的描述符的距離是不到異常距離的65％，對于選擇的描述符，指定最近鄰內(nèi)的描述符作為匹配描述符；和(l)重復(fù)子模塊(g)到(k)，直到所有剩余的描述符都考慮過。22.如權(quán)利要求19所述的系統(tǒng)，其中用于在圖像中找到實際匹配描述符的程序模塊包括子模塊，用于(e)從每個感興趣點描述符的前個三個非零子波系統(tǒng)產(chǎn)生三維散列表；(f)計算散列表每個結(jié)點(bin)中的每個描述符間的距離；(g)選擇以前未選擇的描述符；(h)確定在不與相同圖像相關(guān)的相同結(jié)點(bin)中的選擇描述符最鄰近的預(yù)定數(shù)作為選擇描述符；(i)完成基于幾何的外排除過程以確定對應(yīng)最鄰近描述符的感興趣點實際對應(yīng)選擇描述符的感興趣點位置；(j)僅當(dāng)發(fā)現(xiàn)對應(yīng)最鄰近描述符的感興趣點實際對應(yīng)選擇描述符的感興趣點的位置時，對于選擇的描述符指定最鄰近的描述符作為匹配描述符；(k)重復(fù)子模塊(g)到(j)，直到所有剩余的描述符都考慮過。23.一種具有用于在場景的多圖像中確定對應(yīng)點的計算機可執(zhí)行指令的計算機可讀介質(zhì)，所述計算機可執(zhí)行指令包括確定表示每個圖像中潛在對應(yīng)點的感興趣點，其中，每個感興趣點對應(yīng)圖像中的位置，它是該位置中心附近的象素的預(yù)定屬性形成的唯一模式確定；指定每個感興趣點的取向，其中該取向從該感興趣點周圍中心鄰近的象素的預(yù)定屬性形成的所述模式中得到；對于每個感興趣點產(chǎn)生描述符，它以實際不改變在圖像位置、取向和尺度以及用于定義該點位置和取向的象素的偏移和增益的方式描述每個點；在圖像中找到實際匹配描述符，以及并指定不同圖像中出現(xiàn)的匹配描述符組中每個相關(guān)的感興趣點作為對應(yīng)點。全文摘要提供用于確定場景的多圖像中的對應(yīng)點。這包括根據(jù)新類型的不變特征的多視圖匹配框架。特征定位于尺度空間的Harris角并使用模糊局部梯度定位。這定義采樣特征描述的相似不變框架。實際形成的描述是強度值的偏移/增益規(guī)格化片段。匹配使用在低頻率Haar子波系數(shù)上使用索引的快速最近鄰過程完成。使用對于片段匹配的簡單6參數(shù)模型并分析用于正確和錯誤匹配的噪聲統(tǒng)計。這導(dǎo)致根據(jù)每個特征異常距離簡單匹配驗證過程。文檔編號G06T7/00GK1776716SQ20051008964公開日2006年5月24日申請日期2005年4月27日優(yōu)先權(quán)日2004年4月27日發(fā)明者M·布朗,R·采里斯基申請人:微軟公司